用語比較
オブジェクトストレージとDWHの違い|置く場所と分析の場所(DS検定)
オブジェクトストレージはファイルをそのまま置く場所、データウェアハウス(DWH)はロードしてSQLなどで分析する場所です。DS検定のチェックリストは、クラウド上の2つを別々の項目で挙げています。
置くのがオブジェクトストレージ、ロードして分析で使うのがDWHと区別するのが出発点です。
この記事の目次
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。
オブジェクトストレージとデータウェアハウス(DWH)の要点
オブジェクトストレージ
データをオブジェクト(ファイルと、それを説明するメタデータ)として、バケットという入れ物に格納する。チェックリストは、接続してデータを格納できることを★1つで挙げる。
データウェアハウス(DWH)
チェックリストは、DWHサービスにロードして分析で利用できることを★2つで挙げる。BigQueryは標準SQLで問い合わせられる。
違いを表で確認
| 比較軸 | オブジェクトストレージ | データウェアハウス(DWH) |
|---|---|---|
| データの持ち方 | オブジェクト(ファイルとメタデータ)を、バケットという入れ物に格納する | データをロードし、結合や集計をSQLで行う |
| チェックリストの動詞 | 接続して、データを格納する | ロードして、分析で利用する |
| チェックリストの星 | ★1つ | ★2つ |
| 整理の仕方 | オブジェクトは、バケット内で一意のキー(キー名)で識別される | 設計では、集計を速くするためにスタースキーマなどのデータモデルを使う |
| 代表的なサービス(チェックリストの例示) | Amazon S3、Azure Blob Storage、Google Cloud Storage、IBM Cloud Object Storage | Amazon Redshift、Google BigQuery、IBM Db2 Warehouse、Microsoft Fabric Synapse Data Warehouse |
| 試験で探す語 | オブジェクト、バケット、キー、メタデータ | ロード、SQL、スタースキーマ、データマート |
DS検定の学習に使う書籍(Amazon)
PRどこで迷っているかを切り分ける
クラウドにデータを置くところから始めたい人
Amazon S3の公式ドキュメントは、S3をオブジェクトストレージサービスと呼び、データをバケット内のオブジェクトとして格納すると説明します。バケットを作り、名前とリージョンを指定してから、データをオブジェクトとしてアップロードする順です。
SQLで集計・結合して分析したい人
BigQueryの公式ドキュメントは、ANSI標準SQLで、結合、ネスト、繰り返しのフィールド、分析関数と集計関数を使えると説明します。分析で使うなら、チェックリストが挙げるDWHサービスへのロードが次の手順です。
2つのどちらかしか使えないと思っている人
BigQueryの公式ドキュメントは、BigQueryに保存したデータだけでなく、Cloud Storageなどに保存したデータへも、外部テーブルでクエリを実行できると説明します。置く場所と分析の場所は、組み合わせて使えます。
具体例で使い分ける
例 1
アプリが出力した大量のファイルを、まず保管しておきたい場合
形式や用途がまだ固まっていないデータを、先に置いておく場面です。
- Amazon S3の公式ドキュメントは、データレイク、バックアップ、アーカイブなど、さまざまな用途でどんな量のデータも格納できると説明します。
- データは、メタデータを添えたオブジェクトとして、バケットに入ります。取り出すときは、バケット内で一意のキーを使います。
- この段階は、チェックリストでいう接続してデータを格納することにあたります。
結論: まず置く段階なら、オブジェクトストレージが受け皿になります。
例 2
置いたデータを、売上の集計や結合に使いたい場合
複数の表を結びつけ、集計して分析する場面です。
- チェックリストは、クラウド上のDWHサービスにロードして分析で利用することを、★2つで挙げます。
- DWHでは、集計を速くするため、スタースキーマなどのデータモデルを設計することが、別の項目に挙がっています。
- BigQueryでは、標準SQLの結合や集計関数で問い合わせます。
結論: 集計や結合が目的なら、DWHにロードして分析します。
問題文から答えを選ぶ手順
- 1
問われている動詞を見る
接続して格納するならオブジェクトストレージ、ロードして分析で利用するならDWHです。
- 2
データの単位を見る
ファイルとメタデータをバケットに入れる話ならオブジェクトストレージ、表を結合・集計する話ならDWHです。
- 3
例示されたサービス名を見る
S3やBlob Storageはオブジェクトストレージの例示、BigQueryやRedshiftはDWHの例示です。
- 4
採用の判断なら要件に合うかを見る
クラウド上のデータストアは、機能要件と非機能要件に合うか評価して、採用の可否を判断します。
試験での見分け方
- 1オブジェクトストレージは、データをオブジェクトとして、バケットという入れ物に格納する。
- 2オブジェクトは、ファイルと、そのファイルを説明するメタデータである。
- 3オブジェクトは、バケット内で一意のキーで識別される。
- 4DWHは、ロードして分析で利用する。BigQueryは標準SQLで問い合わせられる。
- 5クラウド上のデータストアは、機能要件・非機能要件に合うかを評価して採用を判断する。
誤答しやすい選択肢
オブジェクトストレージも、DWHと同じように表を結合して集計する場所と考える
修正: オブジェクトストレージはオブジェクトとして格納する場所です。結合や集計を行って分析する場所として挙がるのは、DWHです。
バケットを、データそのものと考える
修正: バケットはオブジェクトを入れる入れ物です。データそのものは、メタデータを添えたオブジェクトです。
どちらか一方にしか置けないと考える
修正: BigQueryは、Cloud Storageなどに保存したデータへ、外部テーブルでクエリを実行できます。組み合わせて使えます。
DWHも、オブジェクトストレージと同じく、接続して格納するだけと考える
修正: チェックリストの動詞を見分けます。DWHの項目は、ロードして分析で利用することです。
確認問題
Q1Amazon S3で、ファイルとそれを説明するメタデータを合わせたものを何と呼びますか?
答え: オブジェクト
オブジェクトはバケットという入れ物に格納され、バケット内で一意のキーで識別されます。
Q2チェックリストで「ロードして分析で利用できる」と書かれているのは、オブジェクトストレージとDWHのどちらですか?
答え: DWH
オブジェクトストレージの項目は、接続してデータを格納できることです。
Q3チェックリストが、クラウド上のDWHサービスの例に挙げているのは、Amazon S3とGoogle BigQueryのどちらですか?
答え: Google BigQuery
Amazon S3は、オブジェクトストレージサービスの例に挙げられています。
到達チェック
- オブジェクトストレージとDWHで、チェックリストの動詞がどう違うか言える
- オブジェクト、バケット、キーを説明できる
- 各サービスがどちらの例にあたるか答えられる
- 2つを組み合わせて使えることを説明できる
関連ページで確認する
同じ資格で次に知りたいこと
- A/Bテストと多腕バンディットの違い|結果を比べてから決めるか、試しながら配分を変えるか(DS検定)
A/Bテストと多腕バンディットの違いを、目的、判断のタイミング、探索と活用の扱い、使う場面から解説。DS検定の解析技術(オペレーションズリサーチ)で問われる最適化の2項目の使い分けと確認問題つきです。
- 選択バイアスとサンプリングバイアスの違い|包含関係と見分け方(DS検定)
選択バイアスとサンプリングバイアスの違いを、包含関係、ランダム化の有無、カバレッジバイアスと無回答バイアス、標本誤差との区別、DS検定での見分け方と確認問題で整理します。
- ニュートン法と最急降下法の違い|2階微分まで使うか、勾配だけで進むか(DS検定)
ニュートン法と最急降下法の違いを、使う微分の階数、進む向きの決め方、1回の計算の重さ、2次関数での振る舞いから解説。DS検定の連続最適化(制約なし)で問われるアルゴリズムの区別と確認問題つきです。
よくある質問
QオブジェクトストレージとDWHの一番大きな違いは何ですか?
役割です。オブジェクトストレージはオブジェクトを格納する場所、DWHはロードしてSQLなどで分析する場所として、チェックリストでも別の項目に挙がっています。
Qオブジェクトとは何ですか?
Amazon S3の公式ドキュメントでは、ファイルと、そのファイルを説明するメタデータです。バケットという入れ物に入り、バケット内で一意のキーで識別されます。
QオブジェクトストレージとDWHは併用できますか?
できます。BigQueryは、Cloud Storageに保存したデータへ、外部テーブルでクエリを実行できます。
QDS検定にこの内容は出ますか?
データサイエンティスト協会のスキルチェックリストのデータエンジニアリング領域に、オブジェクトストレージへのデータ格納が★1つ、DWHサービスの利用が★2つの項目として含まれます。出題の形式は、受験前に公式の案内で確認してください。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い(統計検定2級の式と計算例)
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: AI資格ドリル編集部(運営者情報を見る)
