機械学習の種類・事前学習
G検定の自己教師あり学習と半教師あり学習
G検定の機械学習の種類では、教師あり学習・教師なし学習・強化学習を区別します。さらに、生成AI・基盤モデルの項目には、事前学習とファインチューニングがあります。このページは、半教師あり学習と自己教師あり学習を、正解ラベルがどこから来るかで見分ける方法で整理し、BERTとGPTの原論文の記述で確かめます。
このサイトが確認したシラバスの語に、「半教師あり」「自己教師あり」そのものは挙がっていません。事前学習の仕組みと、学習方式の見分け方の補強として読んでください。数値例は架空です。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-10-02。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- 教師あり学習は、すべてのデータに人が付けた正解ラベルを使う
- 教師なし学習は、正解ラベルを使わず、データの構造を見つける
- 半教師あり学習は、少量のラベル付きデータと大量のラベルなしデータを両方使う
- 自己教師あり学習は、データの一部を隠して当てさせ、正解をデータ自身から作る
- BERTは文の単語の15%を予測対象に選び、その80%を[MASK]に、10%をランダムな単語に、10%をそのままにする
4つの学習方式の見分け方
4つを分ける問いは「正解ラベルは誰が、どのデータに付けたか」です。
| 学習方式 | 正解ラベルの扱い | 例 |
|---|---|---|
| 教師あり学習 | 人が付けた正解ラベル（すべてのデータに） | 画像と「猫」「犬」のラベルの組で学ぶ |
| 教師なし学習 | 正解ラベルを使わない | k-means法でデータをまとまりに分ける、主成分分析で次元を減らす |
| 半教師あり学習 | 一部のデータだけにラベルがあり、残りは付いていない | ラベル付きの少量と、ラベルなしの大量を一緒に使う |
| 自己教師あり学習 | データの一部を隠して当てさせ、正解をデータ自身から作る | 文の単語を隠して予測する（BERT） |
教師なし学習の代表手法は、k-means法と主成分分析のページで扱っています。
半教師あり学習の例
画像が10,000枚あり、人がラベルを付けたのは500枚だけとします。ラベル付きの割合は 500÷10,000=5% です。
- 教師あり学習：ラベル付きの500枚だけで学習する。残りの9,500枚は使えない
- 半教師あり学習：ラベル付きの500枚と、ラベルなしの9,500枚を両方使う
- 教師なし学習：10,000枚のラベルを使わず、似た画像のまとまりを探す
ラベル付けの手間が大きく、ラベルなしのデータが大量にある場面が、半教師あり学習の出番です。問題文に「少量のラベル付きデータ」と「大量のラベルなしデータ」の両方が出てきたら、半教師あり学習です。
自己教師あり学習：BERTのマスク予測
BERTの原論文は、BERTを「ラベルなしのテキストから、すべての層で左右両方の文脈を同時に使って深い双方向の表現を事前学習する」ように設計したと述べています。事前学習のコーパスは、BooksCorpus（8億語）と英語版Wikipedia（25億語）で、合計33億語です。人が正解を付ける必要がありません。
正解は、データ自身から作ります。論文のマスク言語モデルでは、系列の単語（WordPieceのトークン）のうち15%をランダムに選び、選んだ位置の元の単語を予測します。選んだ位置は、次のように置き換えます。
- 80%：[MASK]という特別なトークンに置き換える
- 10%：ランダムな別の単語に置き換える
- 10%：元の単語のまま残す
系列に1,000トークンあるなら、予測対象は 1,000×15%=150個です。内訳は、[MASK]が 150×80%=120個、ランダムな単語が 150×10%=15個、元のままが 150×10%=15個で、合計は 120+15+15=150個になります。どの位置でも、正解は「元の単語」です。[MASK]の位置の元の単語を人が付ける必要はなく、これが「正解をデータ自身から作る」の意味です。
GPTの事前学習と微調整
GPTの最初の論文（Radfordほか、2018年）は、言語理解のタスクに対して、教師なしの事前学習と教師ありの微調整を組み合わせた半教師ありの手法を探ると述べています。多様なラベルなしテキストで言語モデルを生成的に事前学習し、その後に各タスクのラベル付きデータで識別的に微調整すると、大きな改善が得られると説明しています。
- 事前学習：ラベルなしの大量のテキストで、言語モデルを学習する
- 微調整（ファインチューニング）：タスクごとの少量のラベル付きデータで、さらに学習する
この2段階は、先ほどの半教師あり学習の定義（大量のラベルなしと少量のラベル付きを使う）に当たります。同じ流れを、事前学習の段階に注目して自己教師あり学習と呼ぶ説明もあります。呼び方が資料によって違うので、問題文が示す定義で判断します。
問題文から読み取る
このページの内容から導いた読み方です。出題を予想するものではありません。
- 「すべてのデータに正解ラベルがある」とあれば、教師あり学習
- 「ラベルを使わずデータの構造を見つける」とあれば、教師なし学習
- 「少量のラベル付きと大量のラベルなしを併用する」とあれば、半教師あり学習
- 「データの一部を隠して予測させる」「正解をデータから自動で作る」とあれば、自己教師あり学習
- 「大量のラベルなしテキストで事前学習し、少量のラベル付きデータで微調整する」とあれば、BERTやGPTの流れ
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
よくある質問
自己教師あり学習は、教師なし学習の一種ですか？
人が付けたラベルを使わない点は、教師なし学習と同じで、資料によっては教師なし学習に含めて説明します。区別するときの違いは、自己教師あり学習では隠した部分の元の値を「正解」として予測の誤差を計算する点です。BERTでは、隠した単語の元の単語が正解になります。問題文で区別が求められたら、正解を作る仕組みがあるかどうかで判断します。
GPTの事前学習は、半教師あり学習と自己教師あり学習のどちらですか？
原論文（2018年）は、教師なしの事前学習と教師ありの微調整を組み合わせた「半教師あり」の手法と説明しています。事前学習そのものは、次の単語を当てる形でラベルをデータから作っています。呼び方は資料によって違うので、問題文が示す定義（ラベルの出どころ）で判断します。
BERTでマスクした単語は、すべて[MASK]に置き換えられますか？
いいえ。原論文は、予測対象に選んだ位置のうち80%を[MASK]に、10%をランダムな単語に、10%を元の単語のままにします。選ばれる位置の割合は、系列全体の15%です。
半教師あり学習で、ラベルなしのデータは何の役に立ちますか？
ラベル付きの少量だけで学習すると、学べる範囲が限られます。ラベルなしのデータを加えると、データ全体の分布や構造の情報を使えます。どの方法で使うかは手法によって違うため、問題文では「ラベルあり・なしの両方を使う」という条件で見分けます。