生成AIパスポート LLM・基盤技術「大規模言語モデル・Transformer・Attention 機構・基盤モデル・スケーリング則・事前学習・トークンとパラメータ・自己注意」の練習問題8問です。解けなかった問題は、各問の解説末尾のリンクから対応する解説記事に進んでください。
Q1. LLM（大規模言語モデル）の説明として、もっとも適切なものはどれですか？
回答
解説
正解は「A」です。
LLM（Large Language Model: 大規模言語モデル）は、大量のテキストデータから単語のつながりや文脈のパターンを学習し、文章生成・要約・翻訳・質問応答など幅広い言語タスクをこなすモデルです。膨大な文章を読み込んで言葉の使い方を身につけた、言葉で動くアシスタントのようなものと考えると分かりやすくなります。
B は画像専用モデルの説明、C は定型応答の検索プログラムの説明で、いずれも幅広い言語タスクを学習する LLM とは異なるため誤りです。
Q2. 多くの LLM の基盤になっている Transformer の特徴として、もっとも適切なものはどれですか？
回答
解説
正解は「D」です。
Transformerは、2017年に提案されたニューラルネットワークの構造で、現在の多くの LLM の基盤になっているとされています。Attention（注意機構）によって、文中で離れた位置にある単語どうしの関係も同時に捉えられるのが特徴です。文章全体を見渡しながら大事な語に注目する読み方に近いイメージです。
A は並列処理ができる点と矛盾し、B の画像専用、C のルール手書きという説明も Transformer の特徴とは異なるため誤りです。
Q3. Attention（注意機構）が果たす役割として、もっとも適切なものはどれですか？
回答
解説
正解は「B」です。
Attention（注意機構）は、入力された文の中で、出力を決めるときにどの単語をどれだけ重視するかという重みを計算する仕組みです。文脈上の重要な語に注目できるため、離れた位置にある語の関係も捉えられます。長い文章を読むとき、キーワードに目を留めながら意味をつかむ動作に近いといえます。
A はデータ量の制限、C は画像変換の説明で、どちらも注目度を計算する Attention の役割とは異なるため誤りです。
Q4. 基盤モデル（Foundation Model）の説明として、もっとも適切なものはどれですか？
回答
解説
正解は「C」です。
基盤モデル（Foundation Model）は、大量かつ多様なデータで事前学習され、その後さまざまな用途（下流タスク）に応用できる土台となるモデルを指します。1つ作っておけば、追加学習や指示の工夫で翻訳・要約・分類など多くの作業に転用できる点が特徴です。一台で多くの料理に使える基本の調理器具のような位置づけです。
A は単一タスク専用、B は学習済みの重みを持たない、D は検索エンジンという説明で、いずれも幅広く応用できる基盤モデルの定義とは異なるため誤りです。
Q5. スケーリング則（Scaling Laws）が示す傾向として、もっとも適切なものはどれですか？
回答
解説
正解は「A」です。
スケーリング則は、モデルのパラメータ数・学習データ量・計算量を増やすほど、性能が一定の傾向で向上しやすいという経験的な関係を指します。LLM が大規模化してきた背景には、この傾向が知られていることがあるとされています。練習量を増やすほど上達しやすい、という関係に近いイメージです。
B は性能が下がる、C は無関係という説明で、いずれも規模を増やすほど性能が向上しやすいという傾向とは反対のため誤りです。
Q6. LLM の事前学習（pre-training）の説明として、もっとも適切なものはどれですか？
回答
解説
正解は「D」です。
事前学習は、特定の用途を決める前に、大量のテキストを使って言語の一般的なパターンを学ぶ工程です。代表的には、文章の次に来る単語を予測するといった方法で進められます。ここで言葉の土台を作っておき、その後の用途ごとの調整につなげます。基礎体力をつけてから競技ごとの練習に入る流れに似ています。
A の手作業分類、B の評価工程、C の画像保存は、いずれも大量テキストで言語パターンを学ぶ事前学習の説明とは異なるため誤りです。
Q7. LLM における「トークン」と「パラメータ」の説明として、もっとも適切なものはどれですか？
回答
解説
正解は「C」です。
トークンは、LLM がテキストを処理するときに区切る最小単位で、単語や単語の一部などにあたります。一方のパラメータは、学習によって調整されるモデル内部の数値で、規模を表す目安にもなります。トークンは文章を区切る「マス目」、パラメータはモデルが覚えた「調整つまみの数」とたとえると整理しやすくなります。
A はトークンとパラメータの説明が入れ替わっており、B は両方を料金単位とする点が誤りです。
Q8. 自己注意（Self-Attention）の説明として、もっとも適切なものはどれですか？
回答
解説
正解は「B」です。
自己注意（Self-Attention）は、同じ入力文の中で、各単語が他の単語とどれだけ関係しているかを計算する仕組みです。Transformer の中核で、これにより文脈に応じて語の意味をとらえやすくなります。たとえば「それ」が文中のどの語を指すかを、文全体を見渡して判断する働きにあたります。
A は別々の文の比較、C は手動指定が前提という説明で、いずれも同一文内の関係を自動で計算する自己注意とは異なるため誤りです。
試験全体の流れを俯瞰したい時は、生成AIパスポート 試験全体概要 に戻れます。
