第7章 AIエンジニアリング基礎（AIシステム運用）
DS検定のAIシステム運用（MLOps・モデルの劣化・AutoML）
DS検定（リテラシーレベル）には、AIを公開したあとに性能を保つ運用の項目があります。MLOps、モニタリング、AutoML、Git、AIOpsが、公式チェックリストの★1つ星です。このページでは、運用中のモデルの正解率が3か月で90％から82％に下がる例と、AutoMLが試す組み合わせの数を使って、各項目の意味を数字で確かめます。AIモデルは、公開したあとも見続けて、下限を下回ったら作り直す対象です。
このページは試験の学習用の整理です。数値はすべて説明用の架空の例です。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-10-02。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- MLOpsは、AIモデルの性能を保つための維持管理。見て、劣化を見つけ、作り直して、入れ替える流れで考える
- モニタリングは3つの先を見る。モデルの劣化、予測対象データの不備、AIシステムの異常
- 劣化は、下限を決めて数字で判断する。この例では、正解率が下限の85％を下回った3か月後に再学習する
- AutoMLは、入力項目の組み合わせとモデルの候補を自動で試す。入力項目5つなら31通り
- Gitは、分析プログラムのソースをリポジトリに登録してチームで共有する道具
MLOpsの基本的な流れ
公式チェックリストの★1つ星は、MLOpsの概要を理解し、AIモデル性能の維持管理作業の基本的な流れを説明できることです。ここでは、次の順番で覚えると整理しやすくなります。
- 運用中のモデルを、数字で見続ける（モニタリング）
- 下限を下回る、または入力データに不備が出たら、原因を調べる
- 新しいデータで再学習し、テストデータで性能を確かめる
- 基準を満たせば、運用中のモデルと入れ替える。このとき、古い版に戻せるようにバージョンを管理する
作って終わりではなく、見て、直して、入れ替える繰り返しが、MLOpsの中心です。モデル管理の方針（更新頻度やリリース手順）の決定や、この流れ全体を自動化するパイプラインの設計は、チェックリストでは★2つ星以上です。見習いレベルでは、流れを説明できることまでが範囲です。
モニタリングで見る3つの先
チェックリストは、AIモデルの劣化状況、予測対象データの不備、AIシステムの異常を検知できることを挙げています。見る先ごとに、例と注意点を表にまとめます。
| 見る先 | 例（架空） | 注意点 |
|---|---|---|
| AIモデルの劣化 | 正解率の月次の推移。本ページの例では90％から82％ | 正解は後から分かるので、確認に時間差が出る |
| 予測対象データの不備 | 入力の欠損の割合が2％から15％に増えた、金額の欄に負の値が入った | モデルの前に、入ってくるデータ自体を見る |
| AIシステムの異常 | 応答に10秒かかる、エラーの応答が続く | モデルの良し悪しではなく、システムとして動いているかを見る |
正解率が保たれていても、入力の欠損が増えていれば、近いうちの劣化の前触れです。3つは別々の問題なので、試験では「どの先を見ているか」を選ぶ形で問われやすくなります。
モデルの劣化を数字で見る
公開時の正解率が90％のモデルを、月に1回、実際の結果と照らし合わせて確かめます。下限の目安は85％とします。
| 時点 | 正解率 | 判断 |
|---|---|---|
| 公開時（0か月目） | 90％ | 下限の85％より上 |
| 1か月後 | 89％ | 下限の85％より上 |
| 2か月後 | 86％ | 下限の85％より上（下がり続けている） |
| 3か月後 | 82％ | 下限の85％を下回る。再学習を始める |
3か月で8ポイント下がっています（90−82＝8）。2か月後の86％はまだ下限の上ですが、1か月で3ポイント下がる勢いのため、次の月に下限を割ると読めます。下限を先に決めておくと、再学習を始める時点を、人の感覚ではなく数字で決められます。劣化の原因になるデータの傾向の変化は、ホールドアウト法・交差検証のページのデータドリフトで確認できます。
AutoMLが試す組み合わせ
公式の★1つ星は、AutoMLで、予測に最適な入力データの組み合わせと予測モデルを選び出せることです。人が1つずつ試していた作業を、自動で進める仕組みと捉えます。
入力項目が5つあるとき、1つ以上を選ぶ組み合わせは、2の5乗−1＝31通りです。モデルの種類を3つ試すなら、31×3＝93通りの組み合わせを試すことになります。入力項目が10個なら2の10乗−1＝1,023通りになり、手作業では追いきれません。AutoMLは、候補が多すぎて手作業では試しきれない部分を自動化します。最終的にどのモデルを使うかを、テストデータで確かめる点は変わりません。
Gitで共有するもの
MLOpsの★1つ星には、Gitなどのバージョン管理ソフトウェアを活用して、開発した分析プログラムのソースをリポジトリに登録し、チームメンバーと共有できることが入っています。リポジトリは、ソースと、その変更の履歴をまとめて保存する場所です。
たとえば、分析プログラムを3人で直すとき、誰がいつどこを変えたかが履歴に残ります。再学習のあとに精度が悪化したら、直前の版に戻して比べられます。モデルを入れ替えるときに古い版へ戻せるのは、バージョンを管理しているからです。モデルやデータそのもののバージョン管理ツール（Hugging Face HubやMLFlowなど）は★2つ星で、見習いレベルの範囲外です。
コード作成の支援とAIOps
同じAIシステム運用の周辺には、LLMを使った開発の支援も★1つ星で入っています。LLMを利用してデータ分析やシステム開発のコードを作成・修正・改良できること、AIを用いたソースコードのレビュー機能やチェック機能で、バグ修正や性能改善に活用できること、LLMでテスト用のダミーデータを生成できることです。
テスト用のダミーデータは、実在の個人の情報を使わずに、動作確認のための名前や金額を並べたデータです。たとえば、会員表の動作確認に、実際の会員を使わず、架空の100人分を作れば、個人情報を扱わずに試せます。生成されたコードやデータは、そのまま信じず、人が内容を確かめてから使います。
AIOpsは、ITシステムの運用にAIを使うことです。★1つ星は、概要とメリットを説明できることで、ログから障害の予兆を検出するシステムの設計は★2つ星のため範囲外です。MLOpsはAIモデルの維持管理、AIOpsはITシステムの運用、と対象で分けて覚えます。
DS検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
よくある質問
DS検定で、MLOpsはどこまで問われますか？
公式スキルチェックリスト（data_engineering.csv）の★1つ星は、MLOpsの概要を理解してAIモデル性能の維持管理作業の基本的な流れを説明できること、モニタリング項目を理解して劣化・データの不備・システムの異常を検知できること、Gitなどのバージョン管理でソースをリポジトリに登録して共有できることです。モデルの管理方針の決定やパイプラインの設計は★2つ星以上で、見習いレベルの範囲には入っていません。
モデルの劣化は、なぜ起きますか？
学習に使ったデータと、運用中に入ってくるデータの性質がずれていくためです。入力データの傾向が変わって精度が下がる現象は、ホールドアウト法・交差検証のページで、データドリフトとして例を確認できます。
AutoMLを使えば、モデルの検証は不要ですか？
不要にはなりません。公式の★1つ星の項目は、AutoMLを用いて、予測対象を判定するために最適な入力データの組み合わせと予測モデルを抽出できることです。候補の中から選ぶ作業を自動で進める仕組みで、選ばれたモデルをテストデータで確かめる点は変わりません。
AIOpsとMLOpsは、何が違いますか？
MLOpsはAIモデルの性能を保つための運用です。AIOpsはITシステムの運用に、AIを使うものです。見習いレベルでは、AIOpsの概要とメリットを説明できることが範囲で、ログから障害の予兆を検出するシステムの設計は★2つ星のため範囲に入っていません。