G検定の物体検出とセグメンテーションの違い（代表5手法の対応）

結論

1. 物体検出は、物体の位置を境界ボックスで囲み、クラスを出す
2. セマンティックセグメンテーションは、画素ごとにクラスを割り当てて領域を塗り分ける
3. インスタンスセグメンテーションは、同じクラスでも個体ごとに区別して塗り分ける
4. YOLO・SSD・R-CNN系は物体検出、FCN・U-Netはセグメンテーション、Mask R-CNNはインスタンスセグメンテーション
5. Mask R-CNNはFaster R-CNNを土台にしているので、検出とセグメンテーションの両方の名前で出てくる

4つのタスクの出力の違い

上から下へ、出力が細かくなります。用語はセマンティックセグメンテーションとインスタンスセグメンテーションの用語集でも確認できます。

物体検出の手法（YOLO・Faster R-CNN・SSD）

Faster R-CNNの原論文の抄録は、それまでの物体検出が、物体の位置を仮定する領域提案のアルゴリズムに依存していたと述べます。そのうえで、検出ネットワークと画像全体の畳み込み特徴を共有する領域提案ネットワーク（RPN）を導入し、領域提案の計算をほぼ無料にしたとしています。R-CNN系は「位置の候補を出してから分類する」二段階の流れが特徴です。

YOLOの原論文の抄録は、従来の物体検出が分類器を検出に転用していたのに対し、YOLOは物体検出を、境界ボックスとクラス確率への回帰問題として捉え直すと述べます。1つのニューラルネットワークが、画像全体から1回の評価で境界ボックスとクラス確率を直接予測します。基本のYOLOは毎秒45フレームでリアルタイムに処理すると述べられています。YOLOの特徴は「1回の評価で終わる」ことです。SSDも領域提案の段階を設けない一段階方式で、SSDの用語集にまとめています。

セグメンテーションの手法（FCN・U-Net・Mask R-CNN）

FCNの原論文の題名は「Fully Convolutional Networks for Semantic Segmentation」で、抄録は、畳み込みネットワークを画素から画素へ（pixels-to-pixels）端から端まで学習させる方法を示しています。任意の大きさの入力を受け取り、対応する大きさの出力を出す「全畳み込み」のネットワークです。AlexNet、VGG、GoogLeNetを全畳み込みネットワークに作り変えて転用した、とも書かれています。

U-Netの原論文の抄録は、文脈を捉える収縮パスと、精密な位置特定を可能にする対称的な拡張パスから成る構成で、ごく少数の画像から学習できると述べます。題名は生物医学画像のセグメンテーションを対象にしています。

Mask R-CNNの原論文の抄録は、物体のインスタンスセグメンテーションの枠組みと位置づけ、画像中の物体を検出しながら、各インスタンスの高品質なマスクを同時に生成すると述べます。Faster R-CNNに、境界ボックスを認識する既存の枝と並列に、物体のマスクを予測する枝を加えた構成です。Mask R-CNNは「Faster R-CNN＋マスクの枝」と覚えると、検出の手法からの拡張だと分かります。

手法とタスクの対応表

一次資料: 各手法の原論文の抄録（arXiv）、JDLA G検定シラバス。用語はMask R-CNN とU-Netの用語集にもあります。

問題文から読み取る

問題文の言い回しから、どのタスク・手法かを読み取れます。このページの整理から導いた読み方で、出題を予想するものではありません。

• 「物体の位置を境界ボックスで示す」「リアルタイムで検出」とあれば、物体検出（YOLOなど）
• 「領域提案ネットワーク」「領域の候補を出してから分類」とあれば、Faster R-CNN
• 「画素単位でクラスを割り当てる」「全結合層を畳み込み層に置き換える」とあれば、FCN
• 「収縮パスと拡張パス」「少数の画像から学習」とあれば、U-Net
• 「同じクラスの物体を個体ごとに区別して塗り分ける」とあれば、インスタンスセグメンテーション（Mask R-CNN）
• 「画像全体に1つのクラスを付ける」とあれば、画像分類。物体検出やセグメンテーションではない

よくある質問

次に読むと効率的なページ