DS検定 用語集
DS検定でよく問われる重要用語を、短い定義つきでまとめました。各用語は出題分野（問題と完全解説）にリンクしています。
他の資格の用語集も見るよくある質問
3件QDS検定用語集は何語収録されていますか？
A
現在233語を7分野に分けて収録しています。
Q用語集はどう使うのが効果的ですか？
A
気になる用語をクリックすると、定義や関連する分野の解説ページへ移動できます。演習中に迷った用語をその場で確認する使い方もできます。
Q用語の定義はどこを根拠に作成していますか？
A
各資格の公式シラバス・公式試験要項の範囲内で作成しています。本試験の問題・図表の転載はしていません。
分野から用語を探す7分野
- データドリブン
- 経験や勘だけでなく、データに基づいて分析的に判断・行動する考え方。
- 一次情報
- 調査や体験を通じて自分が直接入手した、加工されていない元の情報。
- 個人情報保護法
- 個人情報の適正な取得・利用・管理を事業者に義務づける、日本の法律。
- 目的やゴールの設定
- 分析を始める前に、解決したい課題と到達したい状態を明確にすること。
- 課題や仮説の言語化
- 検証したい課題と、データで確かめる仮説を文章として明確にすること。
- データのねつ造
- 実際には得ていないデータや結果を作り、得られた事実のように扱うこと。
- 改ざん
- 得られたデータや分析結果を意図的に変更し、本来と異なる状態にすること。
- 盗用
- 他者の成果や表現を、適切に示さず自分のものとして利用すること。
- データポータビリティ
- 本人に関するデータを受け取り、別のサービスでも利用しやすくする考え方。
- EU一般データ保護規則
- 個人データの保護と取扱いを定めるEUの規則。
- 主要な変数
- 課題や仮説を検証するうえで、結果との関係を重点的に確認する変数。
- 比率的な指標
- 全体に対する一部の割合など、二つの量の比で状態を表す指標。
- データが生み出される経緯・背景
- 誰が、どの場面で、どの方法によりデータを記録したかという生成過程。
- 論理とデータの重要性
- 感覚や経験だけに頼らず、筋道立てた考え方とデータの両方を根拠にして判断すること。
- データや事象の重複
- 同じデータや出来事を誤って重ねて数えてしまい、実態より多い・大きい結果として集計してしまうこと。
- 大まかな構造の把握
- 細部の分析に入る前に、データ全体がどのような要素で構成されているかをおおまかにつかむこと。
- 分析結果の意味合いの言語化
- 分析で得られた数値や傾向が、ビジネス上どのような意味を持つのかを言葉として説明すること。
- 収益モデル
- 事業がどのような仕組みで収益を生み出しているかを表す構造。
- 統計情報の不適切な解釈
- 統計データの前提や意味を誤って読み取り、実態と異なる結論を導いてしまうこと。
- ビジネス観点での仮説
- データ分析の前提として、事業の課題や成果に関わる形で立てる仮説。
- 分析結果の背景・意味合い
- 分析結果の数値そのものだけでなく、その結果が生まれた背景や持つ意味まで踏み込んで理解すること。
- Hallucination
- 大規模言語モデルが事実と異なる内容をさも正しいかのように生成する現象。構造上根本的に避けることができない。
- 大規模言語モデル
- 大量のテキストを学習し、文脈に応じた自然な文章を生成する言語モデル。
- データを可視化し眺めて考える重要性
- 集計値だけでなく図表も確認し、分布、偏り、外れた値や関係を探索する考え方。
- 出力を鵜呑みにしない
- 生成AIの回答をそのまま正しいとせず、根拠や元情報を確認して利用する姿勢。
- 他LLMの出力結果との比較
- 複数の大規模言語モデルの回答を比べ、内容の違いや確認すべき点を見つけること。
- マルウェア
- 情報の窃取や破壊など、利用者に害を与える目的で作られたソフトウェア。
- 漏洩
- 管理すべきデータが、許可されていない相手や場所へ流出すること。
- 消失
- 保存していたデータが失われ、必要なときに参照できなくなること。
- サービスの停止
- 障害や攻撃などにより、利用者がシステムの機能を使えなくなること。
- 生成AIの仕組み
- 大量のデータから学習したパターンをもとに、入力に応じた文章や画像などの出力を新しく作り出す仕組み。仕組みを理解したうえで出力の妥当性を判断することが求められる。
- データインク比
- 図表全体で使うインク量に対して、データそのものを表すインクが占める割合。比率が高いほど不要な装飾が少ない効率的な可視化とされる。
- ヒートマップ
- 値の大小を色の濃淡で表し、データの分布や傾向を直感的に把握できるようにした図表。
- 散布図行列
- 複数の変数を組み合わせたペアごとに散布図を並べ、変数間の関係を一覧できるようにした図表。
- 平行座標
- 変数ごとに縦軸を並べ、1件のデータを各軸の値をつなぐ折れ線として表すことで、多変量データの傾向を比較できるようにした図表。
- テーブルレンズ
- 表形式データの各セルを色や長さなどの視覚要素で表現し、大量データの分布や傾向を一覧できるようにした可視化手法。
- 固有値・固有ベクトル
- ある行列（線形変換）に対して、方向が変わらず長さだけが変化するベクトルを固有ベクトル、その倍率を固有値という。
- 偏微分
- 多変数関数について、着目する1つの変数以外を定数とみなして行う微分。
- ベクトルの内積
- 対応する成分同士を掛けて足し合わせ、二つのベクトルの関係を一つの値で表す演算。
- 行列の積
- 左の行と右の列の対応する要素を掛けて足し、新しい行列を得る演算。
- 逆行列
- 元の行列との積が単位行列になる行列。
- 連立方程式
- 複数の方程式を同時に満たす変数の値を求める問題。
- テンソル
- スカラー、ベクトル、行列を含む、多次元に並んだ数値データの表現。
- 転置
- 行列の行と列を入れ替える操作。
- リシェイプ
- 要素の値を保ったまま、配列やテンソルの形状を変更する操作。
- ブロードキャスト
- 形状の異なる配列同士を、要素を展開したように扱って演算する仕組み。
- 導関数
- 変数の変化に対する関数値の変化率を表す関数。
- 勾配
- 多変数関数の各変数に関する偏微分を並べたベクトル。
- 停留点
- 微分係数または勾配が0となる点。
- 確率密度関数
- 連続型確率変数がある値の近くをとる相対的な起こりやすさを表す関数。特定の範囲を積分すると、その範囲に値が入る確率が求まる。
- 定積分
- 関数のグラフとx軸との間で、指定した区間に囲まれる面積（符号付き）を求める積分。
- 局所最適解
- ある点の近傍だけで見たときに関数値が最も良くなる点。全体で見ても最良とは限らない。
- 大域最適解
- 定義域全体で見て関数値が最も良くなる点。局所最適解のうち、全体でも最良のもの。
- 和集合
- 二つの集合の少なくとも一方に含まれる要素を集めた集合。
- 積集合
- 二つの集合の両方に共通して含まれる要素を集めた集合。
- 差集合
- 二つの集合において、一方には含まれるが、もう一方には含まれない要素を集めた集合。
- 対称差集合
- 二つの集合において、いずれか一方にのみ含まれる要素を集めた集合。和集合から積集合を除いた要素にあたる。
- 補集合
- 考えている全体集合のうち、ある集合には属さない要素を集めた集合。
- ベン図
- 複数の集合の関係を、重なり合う円などの図形で視覚的に表した図。
- 論理演算
- 真または偽の値を持つ命題に対して、否定・論理積・論理和などの規則で新たな真偽を求める演算。
- p値
- 帰無仮説のもとで、観測された結果以上に極端な結果が得られる確率。
- 不偏分散
- 標本から母分散を推定する際、標本サイズnではなくn-1で割ることで偏りを補正した分散。
- 第1種の過誤
- 帰無仮説が本当は正しいのに、誤って棄却してしまう検定上の誤り。
- 交絡因子
- 原因と結果の両方に影響し、見かけ上の関係を生んでしまう第三の要因。
- 処置群
- 因果推論において、検証したい処置（介入）を実際に受けるグループ。処置を受けない対照群と比較して、処置の効果を評価する。
- 対照群
- 因果推論において、検証したい処置を受けず、比較の基準となるグループ。処置群の結果と比べることで、処置そのものの効果を評価できる。
- 選択バイアス
- データの収集・選定の過程に偏りがあるために、対象集団の性質を正しく反映しないデータになってしまう現象。原因と結果の両方に影響する交絡因子とは生じる仕組みが異なる。
- 共変量
- 結果に影響を与えうる、処置以外の変数。処置群と対照群の間でこの変数の分布をそろえる、または統計的に調整することで、処置そのものの効果を正しく取り出せる。
- 信頼区間
- 母数が含まれると考えられる範囲を、一定の信頼度で示した区間。
- 条件付き確率
- ある事象が起きたという条件のもとで、別の事象が起きる確率。
- 期待値
- 確率変数がとる値を、その確率で重み付けして平均した値。
- 独立
- 一方の事象が起きても、もう一方の事象が起きる確率が変わらない関係。
- 分散
- 平均からのずれを二乗して平均し、データのばらつきを表す指標。
- 標準偏差
- 分散の平方根で、元のデータと同じ単位でばらつきを表す指標。
- 四分位
- 小さい順に並べたデータを四つに分ける位置の値。
- パーセンタイル
- 小さい順に並べたデータを百分率の位置で区切る値。
- 標準正規分布
- 平均0、分散1の正規分布。
- 相関関係
- 二つの変数が、互いに関連して変化する関係。
- 因果関係
- 一方の変化が原因となり、もう一方の変化を生じさせる関係。
- 帰無仮説
- 仮説検定で、差や効果がないものとして棄却できるかを判断する基準の仮説。
- 対立仮説
- 帰無仮説に対し、差や効果があるとして検討する仮説。
- 有意水準
- 帰無仮説を棄却する判断で、第1種の過誤をどの程度まで許容するかの基準。
- 片側検定
- 母数が基準より大きい、または小さいという一方向の差を調べる検定。
- 両側検定
- 母数が基準と異なるかどうかを、大小どちらの方向の差も含めて調べる検定。一方向の差だけを調べる片側検定と対になる。
- 点推定
- 母集団の未知の値（母数）を、標本から計算した1つの値で推定する方法。
- 区間推定
- 母数を1つの値ではなく、一定の確率（信頼度）で母数が含まれると考えられる区間（信頼区間）で推定する方法。
- t検定
- 母分散が未知のとき、標本から求めたt統計量をもとに母平均などの差を検定する方法。
- z検定
- 母分散が既知、または標本サイズが十分大きいときに、標準正規分布をもとに母平均などの差を検定する方法。
- 第2種の過誤
- 帰無仮説が本当は誤っているのに、棄却せず採用してしまう検定上の誤り。帰無仮説が正しいのに誤って棄却してしまう第1種の過誤とは、間違える向きが逆になる。
- 母平均
- 母集団全体のデータから求まる平均の値。実際の調査では母集団全体を観測できないことが多く、標本平均から推定する対象となる。
- 標本平均
- 母集団から抽出した標本のデータから求めた平均の値。母平均を推定するために使う統計量。
- 標本分散
- 標本のデータから求めた分散のうち、偏差平方和を標本サイズnで割った値。母分散の推定に使う場合は、n-1で割って偏りを補正した不偏分散を使う。
- ピアソンの相関係数
- 二つの量的変数の間にある直線的な関係の強さと向きを、-1から1の範囲の数値で表す指標。二つの変数が関連して変化するという相関関係を、具体的な数値で示す。
- 順列
- 異なるn個のものから、順序を区別してr個を選び並べる場合の数。同じ要素の組でも並べる順序が違えば別のものとして数える。
- 組合せ
- 異なるn個のものから、順序を区別せずにr個を選ぶ場合の数。並べる順序ごとに別のものとして数える順列とは、同じ要素の組を1通りとみなすかどうかが異なる。
- 平均
- データの値をすべて足し合わせ、データの個数で割った代表値。外れ値が一つあるだけでも値が大きく変動しやすい。
- 中央値
- データを大きさの順に並べたとき、中央に位置する値。データの個数が偶数のときは中央二つの値の平均をとり、外れ値の影響を受けやすい平均と異なり、外れ値の影響を受けにくい代表値として使われる。
- 最頻値
- データの中で最も出現回数が多い値。度数が最大の値を代表値として使う。
- 二項分布
- 成功か失敗かの二つの結果しか起こらない試行を独立にn回繰り返したとき、成功する回数が従う確率分布。
- 名義尺度
- 値を分類・区別するためだけに使う尺度。性別や血液型のように、値同士の大小関係や差の計算に意味を持たない。
- 順序尺度
- 値に大小の順序はあるが、その間隔（差の大きさ）には意味がない尺度。満足度の5段階評価のように、1位と2位の差が2位と3位の差と同じとは限らない。
- 間隔尺度
- 目盛りの間隔が等しく、値同士の差の計算に意味がある尺度。原点(0)は基準点にすぎず「何もない」ことを表さないため、値同士の比（何倍か）には意味がない。
- 比例尺度
- 原点(0)が「何もない」ことを表し、差だけでなく比（何倍か）の計算にも意味がある尺度。0が基準点にすぎない間隔尺度とは、比を計算できるかどうかが異なる。
- 指数関数
- a^x（aは1でない正の定数）の形で表される関数。xが1増えるごとに値がa倍になり、変数が指数（べき）の位置にある。
- log関数
- 指数関数の逆関数で、「aを何乗すればxになるか」を返す関数。a^y=xとなるyを、xのlog（対数）として表す。
- ベイズの定理
- 条件付き確率を、逆向きの条件付き確率（尤度）と事前確率から計算する定理。事前確率に新しい情報（尤度）を反映し、事後確率へ更新する考え方の基礎となる。
- 過学習
- 訓練データに過剰に適合し、未知のデータへの予測性能（汎化性能）が下がってしまう現象。
- 混同行列
- 分類モデルの予測結果と実際の正解をクロス集計した表。Accuracy・Precision・Recall・F値などの評価指標の算出に使う。
- 交差検証
- データを複数に分割し、訓練とテストを繰り返してモデルの性能を評価する方法。
- 形態素解析
- 文章を意味を持つ最小単位（形態素）に分割し、それぞれの品詞などを特定する自然言語処理の基礎的な処理。係り受け解析など、より高度な解析の前段として使われる。
- 係り受け解析
- 文中の単語同士が、修飾する側とされる側としてどう結びついているかを解析する自然言語処理の手法。単語を分割する形態素解析の後工程にあたる。
- セグメンテーション
- 画像を画素単位、または対象を意味のあるまとまり単位で領域分割する処理。画像認識や顧客データの分類など複数の文脈で使われる。
- サンプリングレート
- 音声などのアナログ信号を一定時間ごとにデジタルの値へ変換する際の、1秒あたりの標本化回数。値が高いほど元の信号を細かく再現できる。
- サンプリングバイアス
- 標本の抽出方法に偏りがあるために、母集団全体の性質を正しく反映しない標本になってしまう現象。
- 標本誤差
- 母集団全体ではなく一部の標本だけを調べることによって生じる、真の値とのずれ。標本の抽出方法とは無関係に、標本を使う限り原理的に生じる。
- 実験計画法
- 実験の目的に応じて、処置の割り付け方や反復・ブロック化などの手順をあらかじめ設計する方法論。少ない実験回数で信頼できる結論を得ることを目指す。
- 教師あり学習
- 正解ラベル付きのデータから、入力と出力の関係を学習する方法。
- 決定係数
- 回帰モデルがデータの変動をどの程度説明できているかを表す指標。
- 標準化
- 各データから平均を引き標準偏差で割り、尺度をそろえて比較しやすくする処理。
- 次元の呪い
- 特徴量の次元が増えるほどデータが疎になり、学習が難しくなる問題。
- 欠損値
- 観測や入力が行われず、データの値が記録されていない状態。
- 外れ値
- ほかの観測値から大きく離れた値。原因を確認して扱いを判断する。
- スケーリング
- 特徴量の値の大きさや範囲をそろえ、比較や学習をしやすくする変換。
- ダミー変数
- カテゴリを数値で扱うため、該当の有無などで表した変数。
- 特徴量エンジニアリング
- モデルの学習に役立つ特徴量を、既存データから作成・変換・選択すること。
- 単回帰分析
- 一つの説明変数と目的変数の関係を回帰式で表す分析。
- 最小二乗法
- 観測値と予測値の差である残差の二乗和を最小にするよう係数を求める方法。
- 回帰係数
- 説明変数の変化に対して目的変数がどのように変化するかを回帰式で表す係数。
- ロジスティック回帰分析
- 事象が起きる確率を推定し、二値分類などに用いる回帰分析。
- ROC曲線
- 分類のしきい値を変えたときの真陽性率と偽陽性率の関係を表す曲線。
- AUC
- ROC曲線の下側の面積として分類モデルの識別性能を要約する指標。
- Accuracy
- 分類した全件のうち、正しく分類できた割合。
- Precision
- 陽性と予測したもののうち、実際に陽性だった割合。
- Recall
- 実際に陽性のもののうち、陽性として検出できた割合。
- F値
- PrecisionとRecallの調和平均。
- ホールドアウト法
- データを学習用と評価用に分け、学習に使わないデータで性能を確認する方法。
- 教師なし学習
- 正解ラベルのないデータから、まとまりや構造を見つける学習方法。
- 特異度
- 実際に陰性のもののうち、陰性と正しく判定できた割合。実際に陽性のもののうち陽性を検出できた割合を表すRecallとは、着目する対象のクラスが逆になる。
- RMSE
- 回帰モデルの予測値と実際の値との差を二乗して平均し、平方根をとった指標。値が小さいほど予測の誤差が小さいことを表す。
- MAPE
- 回帰モデルの予測値と実際の値との誤差を、実際の値に対する割合（パーセント）で表し、その絶対値を平均した指標。値が小さいほど予測の誤差が小さいことを表す。
- Random Forest
- 複数の決定木を互いに独立に学習させ、それぞれの予測結果の多数決や平均をとって精度を高めるアンサンブル学習の手法。
- 勾配ブースティング
- 決定木を1本ずつ順番に学習し、直前までの予測の誤差を次の決定木で補正していくアンサンブル学習の手法。決定木を互いに独立に学習させるRandom Forestとは、木の学習順序が異なる。
- XGBoost
- 決定木を用いた勾配ブースティングを高速かつ高精度に実装したアルゴリズム。目的関数に木の複雑さに対する正則化項を加え、過学習を抑えながら学習できるよう設計されている。
- LightGBM
- 決定木を用いた勾配ブースティングを高速に実装したアルゴリズム。誤差が最も大きい葉から分割していく木の成長方式やヒストグラムを用いた探索によって、大規模データでも高速に学習できる。
- ニューラルネットワーク
- 人間の脳の神経回路の仕組みを模し、層状に並んだユニットで入力から出力への変換を学習するモデルの総称。CNNやTransformerなど、目的に応じた構造の土台になる。
- CNN
- 画像のような格子状に並んだデータから、フィルタを使って局所的な特徴を抽出する層を重ねたニューラルネットワークの構造。画像認識で広く使われる。
- Transformer
- 文中の単語同士の関係性を踏まえながら並列に処理を進める構造を持つニューラルネットワーク。大規模言語モデルなど自然言語処理で広く使われる。
- 重回帰分析
- 複数の説明変数を用いて目的変数との関係を回帰式で表す分析。説明変数が一つの単回帰分析とは異なり、複数の要因が目的変数に与える影響を同時に評価できる。
- 偏回帰係数
- 重回帰分析において、他の説明変数の値を一定に保った条件で、ある一つの説明変数が目的変数に与える影響の大きさを表す係数。単回帰分析の回帰係数とは異なり、他の変数の影響を取り除いた効果を示す。
- MAE
- 回帰モデルの予測値と実際の値との差の絶対値を平均した指標。二乗してから平方根をとるRMSEとは異なり、大きな誤差を強調せずに誤差の大きさをそのまま反映する。値が小さいほど予測の誤差が小さいことを表す。
- 活性化関数
- ニューラルネットワークの各ユニットで、入力の重み付き和を非線形な値に変換する関数。線形変換を重ねるだけでは表現できない複雑なパターンを、層を重ねることで学習できるようにする役割を持つ。
- RNN
- 前の時点までの情報を内部状態として保持し、それを次の時点の入力とあわせて処理することで、順序を持つデータを扱うニューラルネットワークの構造。系列全体を並列に処理するTransformerとは異なり、時点ごとに逐次処理を行う。時系列データや自然言語などの分析に使われる。
- 強化学習
- エージェントが環境との試行錯誤を通じて、得られる報酬の合計を最大化するように行動方針を学習する機械学習の手法。正解ラベルを与える教師あり学習とは異なり、行動の結果として得られる報酬を手がかりに学習する。
- マルコフ決定過程
- 現在の状態と行動だけから次の状態への遷移確率と報酬が定まるという性質に基づき、意思決定の問題を状態・行動・報酬の枠組みで定式化したモデル。強化学習において、エージェントが学習する環境を表す理論的な基礎として用いられる。
- 時系列データ
- 時間の経過に沿って一定の間隔で観測した値を並べたデータ。観測の順序に意味があり、前後の値同士に依存関係を持つ点で、順序を問わない一般的なデータと区別される。
- 定常性
- 時系列データにおいて、平均や分散などの統計的な性質が時間によらず一定に保たれているという性質。値の並びそのものを指す時系列データと異なり、その統計的な特徴が時間で変化しないかどうかを表す性質であり、多くの時系列分析の手法はこの性質を満たすことを前提とする。
- クラスター分析
- データ同士の類似度をもとに、似た性質を持つデータをグループ（クラスター）へ分ける教師なし学習の分析手法の総称。階層クラスタリングなど、具体的な手法を含む上位の概念にあたる。
- 階層クラスタリング
- クラスター分析の具体的な手法の一つ。類似度の高いデータやクラスター同士を段階的に併合していくことで、クラスターの数をあらかじめ指定せずに階層構造を作る。結果はデンドログラムとして図示されることが多い。
- デンドログラム
- 階層クラスタリングでデータやクラスターが段階的に併合されていく過程を、木構造の図として表したもの。図の高さでクラスター間の類似度を読み取れ、どの水準で切ってクラスターの数を決めるかを判断する材料になる。
- 局所管理化
- フィッシャーの実験計画法における3原則の1つで、反復・無作為化と並ぶ考え方。実験場所や時間帯といった条件を均一に揃えきれないとき、条件の近い単位（ブロック）へ分割してから比較することで、揃えきれない条件の影響を小さくする。
- 反復
- 同一条件での実験を複数回繰り返すこと。偶然誤差の大きさを評価し、条件による違いが誤差より大きいかを判断する土台になる。フィッシャーの実験計画法の3原則の1つ。
- 無作為化
- 実験の条件（処置）をランダムに割り当てること。取り上げていない要因による影響を偶然誤差に含め、条件による系統誤差と区別しやすくする。フィッシャーの実験計画法の3原則の1つ。
- 異常値
- 入力ミスや測定機器の故障など、明確な原因によって生じた誤ったデータ値。統計的に極端な値である外れ値とは区別され、検出したうえで除去や修正の対応が必要になる。
- 離散化
- 連続的な数値データを、一定の範囲ごとに区切ってカテゴリ（区分）に変換する処理。特徴量エンジニアリングの手法の1つ。
- 対数変換
- データに対数をとることで、値の分布の偏り（歪み）を小さくする変換処理。特徴量エンジニアリングの手法の1つ。
- 固有表現抽出
- 文章から人名・地名・組織名・日付などの固有名詞（固有表現）を認識し、取り出す自然言語処理のタスク。
- 機械翻訳
- ある言語で書かれた文章を、別の言語の文章へコンピュータが自動的に変換する自然言語処理のタスク。
- 姿勢推定
- 画像や映像から、人物の関節位置や体の向きといった姿勢を推定する画像認識のタスク。
- 音声フォーマット
- wav・mp3など、音声データを記録・保存するためのファイル形式。サンプリングレートや符号化方式などの違いによって複数の形式がある。
- 第三正規化
- テーブル内の非キー属性間の従属関係（推移的関数従属）を解消し、テーブルを分割する正規化の段階。
- 第一正規化
- テーブルの各セルに単一の値だけが入るようにし、繰り返し項目や複数値をまとめて持つ列を排除する、正規化の最初の段階。
- REST API
- HTTPを使い、URLで指定したリソースに対して操作を行う設計思想に基づくWeb APIの形式。
- 構造化データ
- 行と列など、あらかじめ決められた形式で整理されているデータ。
- BIツール
- データを集計・可視化し、ビジネス上の意思決定を支援するツール。
- Docker
- アプリケーションと実行に必要な環境をコンテナとしてまとめて扱う技術。
- API
- ソフトウェア同士が機能やデータをやり取りするための接続方法。
- Webクローラー
- Webページを巡回し、情報を収集するプログラム。
- スクレイピング
- Webページなどから必要なデータを抽出する処理。
- DWH
- 分析に利用するため、複数のデータを統合して蓄積するデータ基盤。
- NoSQL
- 関係データベースの表形式だけに限定せずデータを扱うデータベースの総称。
- JSON
- キーと値などの構造でデータを表すテキスト形式。
- 内部結合
- 結合条件に一致する行だけを、複数のテーブルから組み合わせる操作。
- 外部結合
- 結合条件に一致しない行についても、片方または両方のテーブルの行を欠損値で補いながら残す結合方法。
- 自己結合
- 同じテーブル同士を、別名を付けて結合する操作。
- UNION
- 列構成が同じ複数のSQLの実行結果を、重複する行を取り除いて一つの結果へまとめる演算子。複数テーブルを列で組み合わせるJOINとは、結合の方向が異なる。
- 非構造化データ
- 雑多なテキスト・音声・画像・動画など、行と列といったあらかじめ決められた形式を持たないデータ。構造化データと対比され、扱う際は形態素解析や画像認識など別の処理が必要になる。
- ER図
- データベース内のエンティティ（実体）同士の関連（リレーションシップ）を図示したもの。テーブル間の結びつきを可視化するための設計手法。
- 正規化
- データの重複や更新時の不整合を防ぐため、テーブルを機能ごとに分割して整理する設計手法。第一正規化から第三正規化まで段階的に適用される。
- Hadoop
- 大量データを複数サーバーに分散して蓄積・処理するためのオープンソースの分散処理基盤。
- Spark
- Hadoopと並ぶ代表的な分散処理エンジン。データをメモリ上で処理することで高速な分散処理を実現する。
- オブジェクトストレージ
- ファイルをオブジェクト単位で管理するクラウド型のデータ格納サービス。Amazon S3等が代表例で、大容量データの保存に適する。
- データマート
- DWH（データウェアハウス）に蓄積されたデータから、特定の部門・業務目的向けに抽出・加工した小規模なデータ基盤。組織全体を横断するDWHに対し、部門単位の用途に特化して手軽に構築できる。
- データファブリック
- 企業内外に分散したデータを、場所や形式にかかわらず統合・管理・活用できるようにする技術的なアーキテクチャ。データが分散したままでも1つの統一されたシステムのように扱えるようにする。
- データメッシュ
- データの所有・管理をドメイン（事業領域）ごとに委ね、各ドメインが自らのデータをプロダクトとして設計・提供する分散型の運用思想。技術基盤の整備に重点を置くデータファブリックに対し、データメッシュは組織の運用体制の変革に重点を置く。
- コンテナ技術
- アプリケーションと実行環境を1つのパッケージにまとめ、どの環境でも同じ挙動で動かせるようにする仮想化技術。Dockerが代表的な実装として知られる。
- クラウドマネージドサービス
- クラウド事業者がインフラの構築・運用を代行するサービス。Amazon SageMaker・Azure Machine Learning・Google Cloud Vertex AI等、機械学習モデル開発向けのサービスが分析環境として利用される。
- SDK
- 特定のプラットフォームやサービス向けにアプリケーションを開発するための、ライブラリ・ツール一式。対象プラットフォームが提供する機能の概要を把握する手がかりになる。
- HTTPS
- HTTP通信を暗号化し、データの盗聴・改ざんを防ぐ通信プロトコル。データ収集先へ安全に格納するための通信機能として利用される。
- SFTP
- SSHの仕組みを使い、ネットワーク越しに安全にファイルを転送するプロトコル。データ収集・共有の通信手段として利用される。
- CSV
- 値をカンマで区切って表形式のデータを表すテキスト形式。IETFがRFC 4180としてまとめ、事実上の標準として広く使われている。
- XML
- 開始タグと終了タグで要素を囲み情報を階層的に構造化するマークアップ言語。W3Cが標準化している。
- MLOps
- 機械学習モデルの開発から運用までを継続的に管理し、性能を維持するための一連の取り組み。
- ハッシュ関数
- 入力データから固定長の値（ハッシュ値）を生成する関数。データの改ざん検出に使われる。
- 公開鍵暗号化方式
- 暗号化と復号に、公開鍵と秘密鍵という異なる鍵を使う暗号方式。
- 秘密鍵
- 公開鍵暗号化方式において、本人だけが保持し他者に公開しない鍵。公開鍵で暗号化されたデータの復号や、本人であることを証明する署名に使う。
- OAuth
- パスワードそのものを渡さずに、他のサービスが持つ情報へアクセスする権限だけを安全に委譲するための標準的な認可の仕組み。認可された結果はアクセストークンとして発行される。
- 機密性
- 許可された利用者だけが情報へアクセスできる状態を保つ性質。
- 完全性
- 情報が不正に変更・破壊されず、正確な状態に保たれる性質。
- 可用性
- 必要なときに情報やシステムを利用できる状態を保つ性質。
- アクセスレベル
- 利用者や役割ごとに割り当てる、情報や機能へアクセスできる範囲・権限の段階。
- 暗号化
- 権限のない者が内容を読めない形へ、データを変換すること。
- 電子署名
- 電子データの作成者と、作成後に改変されていないことの確認に用いる仕組み。
- アクセストークン
- 認可された範囲でAPIなどの資源へアクセスするために使う情報。
- データ型
- 整数・文字列・真偽値など、プログラムが扱う値の種類を区別する分類。
- フローチャート
- 処理の流れを、開始・処理・分岐・終了などを表す記号と矢印を使って図示したもの。
- オブジェクト指向
- データとそのデータに対する操作をひとつのまとまり（オブジェクト）として扱う、プログラムの設計・記述の考え方。
- スーパークラス
- オブジェクト指向のプログラムで、あるクラスが継承のもとにする、共通の性質や処理をまとめた側のクラス。
- ホワイトボックステスト
- プログラムの内部構造（処理の流れや分岐）を踏まえたうえで、想定通りに動作するかを確認するテスト手法。
- ブラックボックステスト
- プログラムの内部構造には立ち入らず、入力に対して期待通りの出力が得られるかだけに着目して行うテスト手法。
- Jupyter Notebook
- コードとその実行結果、説明文を1つのファイル上に記録しながら対話的にプログラムを実行できる開発環境。
- RStudio
- 統計解析向けのプログラミング言語Rを使った開発を支援する統合開発環境（IDE）。
- SQL
- リレーショナルデータベースに対して、データの操作や構造の定義を行うための言語。
- JOIN
- SQL文で複数のテーブルを共通の列をキーに結合し、一つの結果として取得するための句。内部結合や外部結合など、結合の種類を指定して使う。
- GROUP BY
- SQL文で指定した列の値ごとに行をグループ化し、集計関数と組み合わせて合計や件数などをグループ単位で求めるための句。
- CASE文
- SQL文で条件に応じて異なる値を返す条件分岐を記述するための構文。値を新しい区分やラベルへ変換する際に使う。
- DML
- SQLの命令のうち、データの検索・追加・更新・削除といったデータそのものの操作を行う命令群。テーブルの構造を定義するDDLとは、操作の対象が異なる。
- DDL
- SQLの命令のうち、テーブルなどデータベースの構造そのものを定義・変更する命令群。データの中身を操作するDMLとは、操作の対象が異なる。
- AutoML
- 特徴量選択、モデル選定、パラメータ調整といった機械学習モデルの構築工程を自動化する技術・仕組み。開発から運用までを継続的に管理するMLOpsとは、自動化の対象範囲が異なる。
- Gitバージョン管理
- ソースコードの変更履歴を記録・管理し、複数人での並行開発や過去の状態への復元を可能にする仕組み。
- AIモデルの劣化
- 運用を続けるうちに入力データの傾向が変化するなどの理由で、AIモデルの予測精度が徐々に低下していく現象。
- モニタリング
- AIモデルを運用環境に投入した後も、予測精度やシステムの状態を継続的に監視すること。
- AIOps
- AI技術を活用して、システム運用における異常検知や障害対応を自動化・効率化する取り組み。
- コーディング支援
- AIによるコード補完や生成の提案によって、プログラミング作業の効率化を助ける機能・仕組み。
執筆: ミナト編集部（運営者情報を見る）