(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022027557
(43)【公開日】2022-02-10
(54)【発明の名称】画像におけるオブジェクトをセグメント化するための方法
(51)【国際特許分類】
G06T 7/12 20170101AFI20220203BHJP
【ＦＩ】
G06T7/12
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2021121390
(22)【出願日】2021-07-26
(31)【優先権主張番号】20305874.8
(32)【優先日】2020-07-30
(33)【優先権主張国・地域又は機関】EP
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ウィンドウズ
２．ＵＮＩＸ
３．Ｌｉｎｕｘ
４．ブルートゥース
(71)【出願人】
【識別番号】500102435
【氏名又は名称】ダッソー システムズ
【氏名又は名称原語表記】ＤＡＳＳＡＵＬＴ ＳＹＳＴＥＭＥＳ
(74)【代理人】
【識別番号】110001243
【氏名又は名称】特許業務法人 谷・阿部特許事務所
(72)【発明者】
【氏名】ニコラ ベルトラン
(72)【発明者】
【氏名】ムーラッド ブファルギーヌ
(72)【発明者】
【氏名】ヴィンセント グイテニー
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096CA02
5L096DA01
5L096EA43
5L096GA02
5L096HA11
(57)【要約】
【課題】本発明はカメラ（ＣＡＭ）によって獲得された少なくとも１つの画像（ＩＭ）においてオブジェクト（ＯＢＪ）をセグメント化するためのコンピューター実装される方法に関する。
【解決手段】方法は、ａ）画像（ＩＭ）に基づいてエッジ確率画像（ＥＰＩ）を計算するステップであって、エッジ確率画像（ＥＰＩ）は画像（ＩＭ）の各ピクセルに対してピクセルがエッジである確率を含む、ステップと、ｂ）画像（ＩＭ）に基づいてセグメンテーション確率画像（ＳＰＩ）を計算するステップであって、セグメンテーション確率画像（ＳＰＩ）は画像（ＩＭ）の各ピクセルに対してピクセルがオブジェクト（ＩＭ）に属する確率を含む、ステップと、ｃ）エッジ確率画像（ＥＰＩ）に基づいておよびセグメンテーション確率画像（ＳＰＩ）に基づいてオブジェクト（ＯＢＪ）のバイナリマスク（ＭＡＳ）を計算するステップと、を含む。
【選択図】図３
【解決手段】方法は、ａ）画像（ＩＭ）に基づいてエッジ確率画像（ＥＰＩ）を計算するステップであって、エッジ確率画像（ＥＰＩ）は画像（ＩＭ）の各ピクセルに対してピクセルがエッジである確率を含む、ステップと、ｂ）画像（ＩＭ）に基づいてセグメンテーション確率画像（ＳＰＩ）を計算するステップであって、セグメンテーション確率画像（ＳＰＩ）は画像（ＩＭ）の各ピクセルに対してピクセルがオブジェクト（ＩＭ）に属する確率を含む、ステップと、ｃ）エッジ確率画像（ＥＰＩ）に基づいておよびセグメンテーション確率画像（ＳＰＩ）に基づいてオブジェクト（ＯＢＪ）のバイナリマスク（ＭＡＳ）を計算するステップと、を含む。
【選択図】図３
【特許請求の範囲】
【請求項1】
カメラ（ＣＡＭ）によって獲得された少なくとも１つの画像（ＩＭ）においてオブジェクト（ＯＢＪ）をセグメント化するためのコンピューター実装される方法であって、
ａ）前記画像（ＩＭ）に基づいてエッジ確率画像（ＥＰＩ）を計算するステップであって、前記エッジ確率画像（ＥＰＩ）は、前記画像（ＩＭ）の各ピクセルに対して前記ピクセルがエッジである確率を含む、ステップと、
ｂ）前記画像（ＩＭ）に基づいてセグメンテーション確率画像（ＳＰＩ）を計算するステップであって、前記セグメンテーション確率画像（ＳＰＩ）は、前記画像（ＩＭ）の各ピクセルに対して前記ピクセルが前記オブジェクト（ＩＭ）に属する確率を含む、ステップと、
ｃ）前記エッジ確率画像（ＥＰＩ）に基づいて、および前記セグメンテーション確率画像（ＳＰＩ）に基づいて、前記オブジェクト（ＯＢＪ）のバイナリマスク（ＭＡＳ）を計算するステップと
を備えることを特徴とする方法。
ａ）前記画像（ＩＭ）に基づいてエッジ確率画像（ＥＰＩ）を計算するステップであって、前記エッジ確率画像（ＥＰＩ）は、前記画像（ＩＭ）の各ピクセルに対して前記ピクセルがエッジである確率を含む、ステップと、
ｂ）前記画像（ＩＭ）に基づいてセグメンテーション確率画像（ＳＰＩ）を計算するステップであって、前記セグメンテーション確率画像（ＳＰＩ）は、前記画像（ＩＭ）の各ピクセルに対して前記ピクセルが前記オブジェクト（ＩＭ）に属する確率を含む、ステップと、
ｃ）前記エッジ確率画像（ＥＰＩ）に基づいて、および前記セグメンテーション確率画像（ＳＰＩ）に基づいて、前記オブジェクト（ＯＢＪ）のバイナリマスク（ＭＡＳ）を計算するステップと
を備えることを特徴とする方法。
【請求項2】
ステップｃ）は、次の
ｃ１）ｎ－リンクを介して１つをもう一方と連結した複数のノード（ｎi,j）を含むグラフ（ＧＲＡ）をビルドするサブステップであって、各ノードは、前記カメラ（ＣＡＭ）によって獲得された前記画像（ＩＭ）のピクセル（ｐi,j）を表し、前記グラフ（ＧＲＡ）は、前記オブジェクト（ＯＢＪ）を表すソース（ＳＲＣ）と、前記画像（ＩＭ）の背景を表すシンク（ＳＮＫ）とをさらに含み、各ノードは、ｔ－リンクを介して前記ソースとおよび前記シンクと連結される、サブステップと、
ｃ２）
－各ｎ－リンク対して、対応する隣接のピクセル間にエッジがない確率に等しいリンクコスト、
－各ｔ－リンク対して、前記対応するピクセルが前記オブジェクトに属する確率に等しいソースコスト、および前記対応するピクセルが前記オブジェクトに属さない確率に等しいシンクコスト
を定義するサブステップと、
ｃ３）前記ソース（ＳＲＣ）と前記シンク（ＳＮＫ）とを分離し、最小カットが切断する前記対応するｎ－リンクまたはｔ－リンクの前記リンクコスト、ソースコスト、およびシンクコストの合計を最小化する前記最小カットを計算するサブステップと
を含むことを特徴とする請求項１に記載の方法。
ｃ１）ｎ－リンクを介して１つをもう一方と連結した複数のノード（ｎi,j）を含むグラフ（ＧＲＡ）をビルドするサブステップであって、各ノードは、前記カメラ（ＣＡＭ）によって獲得された前記画像（ＩＭ）のピクセル（ｐi,j）を表し、前記グラフ（ＧＲＡ）は、前記オブジェクト（ＯＢＪ）を表すソース（ＳＲＣ）と、前記画像（ＩＭ）の背景を表すシンク（ＳＮＫ）とをさらに含み、各ノードは、ｔ－リンクを介して前記ソースとおよび前記シンクと連結される、サブステップと、
ｃ２）
－各ｎ－リンク対して、対応する隣接のピクセル間にエッジがない確率に等しいリンクコスト、
－各ｔ－リンク対して、前記対応するピクセルが前記オブジェクトに属する確率に等しいソースコスト、および前記対応するピクセルが前記オブジェクトに属さない確率に等しいシンクコスト
を定義するサブステップと、
ｃ３）前記ソース（ＳＲＣ）と前記シンク（ＳＮＫ）とを分離し、最小カットが切断する前記対応するｎ－リンクまたはｔ－リンクの前記リンクコスト、ソースコスト、およびシンクコストの合計を最小化する前記最小カットを計算するサブステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項3】
ステップｃ）の後に、
ｄ）前記画像ＩＭに重ね合わされた、部分的に透明の前記バイナリマスク（ＭＡＳ）を表示するステップと、
ｅ）
－取り除かれるべき前記バイナリマスクの一部に第１の予め定義された色のストローク（ＳＴＲ１）、および／または前記バイナリマスクに加えられるべき前記オブジェクトの一部に第２の予め定義された色のストローク（ＳＴＲ２）を描くように前記ユーザーに指示することと、
－
－前記対応するピクセルが前記第１の予め定義された色により描かれるならば前記ノードに空のソースコストを、および前記対応するピクセルが前記第２の予め定義された色により描かれるならば前記ノードに無限大のソースコストを割り当てることと、
－前記対応するピクセルが前記第１の予め定義された色により描かれるならば前記ノードに無限大のシンクコストを、および前記対応するピクセルが前記第２の予め定義された色により描かれるならば前記ノードに空のソースコストを割り当てることと
によって各ノードの前記シンクコストおよびソースコストを変更することと
によって前記バイナリマスク（ＭＡＳ）を訂正するステップと
を備え、
バイナリマスクＭＡＳを計算するステップｃ）は、前記変更されたソースコストおよびシンクコストにより再び行われることを特徴とする請求項２に記載の方法。
ｄ）前記画像ＩＭに重ね合わされた、部分的に透明の前記バイナリマスク（ＭＡＳ）を表示するステップと、
ｅ）
－取り除かれるべき前記バイナリマスクの一部に第１の予め定義された色のストローク（ＳＴＲ１）、および／または前記バイナリマスクに加えられるべき前記オブジェクトの一部に第２の予め定義された色のストローク（ＳＴＲ２）を描くように前記ユーザーに指示することと、
－
－前記対応するピクセルが前記第１の予め定義された色により描かれるならば前記ノードに空のソースコストを、および前記対応するピクセルが前記第２の予め定義された色により描かれるならば前記ノードに無限大のソースコストを割り当てることと、
－前記対応するピクセルが前記第１の予め定義された色により描かれるならば前記ノードに無限大のシンクコストを、および前記対応するピクセルが前記第２の予め定義された色により描かれるならば前記ノードに空のソースコストを割り当てることと
によって各ノードの前記シンクコストおよびソースコストを変更することと
によって前記バイナリマスク（ＭＡＳ）を訂正するステップと
を備え、
バイナリマスクＭＡＳを計算するステップｃ）は、前記変更されたソースコストおよびシンクコストにより再び行われることを特徴とする請求項２に記載の方法。
【請求項4】
前記カメラをキャリブレーションし、前記オブジェクト（ＯＢＪ）を取り囲み８つの頂点と６つの面とを有する３Ｄバウンディングボックス（３ＤＢＢ）を提供する準備ステップを備え、
セグメンテーション確率画像を計算するステップｂ）は、
－カメラ平面に前記８つの頂点を投影するサブステップと
－前記投影された８つの頂点を含む最小の長方形（ＲＥＣ）を生成するサブステップと、
－前記最小の長方形（ＲＥＣ）にセグメンテーションアルゴリズムを使用することによって前記セグメンテーション確率画像（ＳＰＩ）を計算するサブステップと
を含むことを特徴とする請求項１ないし３のいずれか一項に記載の方法。
セグメンテーション確率画像を計算するステップｂ）は、
－カメラ平面に前記８つの頂点を投影するサブステップと
－前記投影された８つの頂点を含む最小の長方形（ＲＥＣ）を生成するサブステップと、
－前記最小の長方形（ＲＥＣ）にセグメンテーションアルゴリズムを使用することによって前記セグメンテーション確率画像（ＳＰＩ）を計算するサブステップと
を含むことを特徴とする請求項１ないし３のいずれか一項に記載の方法。
【請求項5】
前記セグメンテーションアルゴリズムは、深層学習アルゴリズムであることを特徴とする請求項４に記載の方法。
【請求項6】
－前記カメラ平面（ＰＬＮ）において前記３Ｄバウンディングボックス（３ＤＤＢＢ）の前記６つの面（Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６）の各々を投影するサブステップと、
－第１の面に関して、前記バイナリマスク（ＭＡＳ）が前記投影された面（Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６）の１つの内側に完全に収まるかどうかを決定するサブステップと、
－そうであれば、前記マスク（ＭＡＳ）を取り囲む２Ｄ包括長方形（２ＤＢＲ）を生成し、前記２Ｄ包括長方形（２ＤＢＲ）の４つの角の点（ＣＰ１、ＣＰ２、ＣＰ３、ＣＰ４）を導出するサブステップと、
－それぞれの前記４つの角の点へ前記カメラ（ＣＡＭ）から４つの光線（Ｒ１、Ｒ２、Ｒ３、Ｒ４）をキャストするサブステップと、
－第２の面（Ｆ２）に関して、前記第１の面（Ｆ１）の平面と、および前記第１の面の向かい側である面の平面と、前記４つの光線（Ｒ１、Ｒ２、Ｒ３、Ｒ４）の交わりを計算することによって、８つの交点（ＩＰ１、ＩＰ２、ＩＰ３、ＩＰ４、ＩＰ５、ＩＰ６、ＩＰ７、ＩＰ８）を取得するサブステップと、
－前記８つの交点（ＩＰ１、ＩＰ２、ＩＰ３、ＩＰ４、ＩＰ５、ＩＰ６、ＩＰ７、ＩＰ８）を含む最小の３Ｄバウンディングボックス（ＳＢＢ）を生成するサブステップと、
－前記最小の３Ｄバウンディングボックス（ＳＢＢ）と前記３Ｄバウンディングボックス（３ＤＢＢ）の前記交わりであるリファインされた３Ｄバウンディングボックス（ＲＢＢ）を計算するサブステップと
を含む前記３Ｄバウンディングボックス（３ＤＢＢ）のリファインメントのステップｆ）をさらに備え、
ステップａ）～ｃ）は、次の反復ごとに前記リファインされた３Ｄバウンディングボックス（ＲＢＢ）を使用することによって、異なった視点から獲得された異なった画像に対して複数回反復される
ことを特徴とする請求項４または５に記載の方法。
－第１の面に関して、前記バイナリマスク（ＭＡＳ）が前記投影された面（Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６）の１つの内側に完全に収まるかどうかを決定するサブステップと、
－そうであれば、前記マスク（ＭＡＳ）を取り囲む２Ｄ包括長方形（２ＤＢＲ）を生成し、前記２Ｄ包括長方形（２ＤＢＲ）の４つの角の点（ＣＰ１、ＣＰ２、ＣＰ３、ＣＰ４）を導出するサブステップと、
－それぞれの前記４つの角の点へ前記カメラ（ＣＡＭ）から４つの光線（Ｒ１、Ｒ２、Ｒ３、Ｒ４）をキャストするサブステップと、
－第２の面（Ｆ２）に関して、前記第１の面（Ｆ１）の平面と、および前記第１の面の向かい側である面の平面と、前記４つの光線（Ｒ１、Ｒ２、Ｒ３、Ｒ４）の交わりを計算することによって、８つの交点（ＩＰ１、ＩＰ２、ＩＰ３、ＩＰ４、ＩＰ５、ＩＰ６、ＩＰ７、ＩＰ８）を取得するサブステップと、
－前記８つの交点（ＩＰ１、ＩＰ２、ＩＰ３、ＩＰ４、ＩＰ５、ＩＰ６、ＩＰ７、ＩＰ８）を含む最小の３Ｄバウンディングボックス（ＳＢＢ）を生成するサブステップと、
－前記最小の３Ｄバウンディングボックス（ＳＢＢ）と前記３Ｄバウンディングボックス（３ＤＢＢ）の前記交わりであるリファインされた３Ｄバウンディングボックス（ＲＢＢ）を計算するサブステップと
を含む前記３Ｄバウンディングボックス（３ＤＢＢ）のリファインメントのステップｆ）をさらに備え、
ステップａ）～ｃ）は、次の反復ごとに前記リファインされた３Ｄバウンディングボックス（ＲＢＢ）を使用することによって、異なった視点から獲得された異なった画像に対して複数回反復される
ことを特徴とする請求項４または５に記載の方法。
【請求項7】
前記バイナリマスク（ＭＡＳ）が、前記投影された面（Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６）のいずれの内側にも完全に収まらないことが決定されるならば、
－ボクセルの格子に前記３Ｄバウンディングボックス（３ＤＢＢ）を個別化するステップと、
－前記画像ＩＭの各ピクセル（ｐi,j）に対して、前記カメラから光線（Ｒ１１、Ｒ１２）をキャストし、前記ピクセルが前記マスクに属さないならば、前記光線と交差する前記ボクセルをカービングすることによって、新しいカービングボクセル格子を取得するステップと、
－別の画像に対して、前記カメラから光線をキャストし、前記別の画像の各ピクセルに対して、前記ピクセルが、カービングされないボクセルと交差するかどうかを決定し、そうであれば、前記ピクセルに予め定義されたバイナリ値を割り当てるステップと、
－前記予め定義された値を有する前記ピクセルを使用することによって、前記別の画像に新しい２Ｄバウンディングボックスを生成するステップと
を備えることを特徴とする請求項６に記載の方法。
－ボクセルの格子に前記３Ｄバウンディングボックス（３ＤＢＢ）を個別化するステップと、
－前記画像ＩＭの各ピクセル（ｐi,j）に対して、前記カメラから光線（Ｒ１１、Ｒ１２）をキャストし、前記ピクセルが前記マスクに属さないならば、前記光線と交差する前記ボクセルをカービングすることによって、新しいカービングボクセル格子を取得するステップと、
－別の画像に対して、前記カメラから光線をキャストし、前記別の画像の各ピクセルに対して、前記ピクセルが、カービングされないボクセルと交差するかどうかを決定し、そうであれば、前記ピクセルに予め定義されたバイナリ値を割り当てるステップと、
－前記予め定義された値を有する前記ピクセルを使用することによって、前記別の画像に新しい２Ｄバウンディングボックスを生成するステップと
を備えることを特徴とする請求項６に記載の方法。
【請求項8】
セグメンテーション確率画像を計算するステップｂ）は、
－前記オブジェクトの輪郭を閉じる線を描くように前記ユーザーに指示することよってループ（ＬＯＰ）を形成するサブステップと、
－前記ループ（ＬＯＰ）の内側に位置されるピクセルに最大の確率値を、および前記ループ（ＬＯＰ）の外側に位置されるピクセルに最小の確率値を割り当てるサブステップと、
－前記ループ（ＬＯＰ）の周りに位置される前記ピクセルへの周りに前記確率値に勾配を割り当てるサブステップと
を含むことを特徴とする請求項１ないし３のいずれか一項に記載の方法。
－前記オブジェクトの輪郭を閉じる線を描くように前記ユーザーに指示することよってループ（ＬＯＰ）を形成するサブステップと、
－前記ループ（ＬＯＰ）の内側に位置されるピクセルに最大の確率値を、および前記ループ（ＬＯＰ）の外側に位置されるピクセルに最小の確率値を割り当てるサブステップと、
－前記ループ（ＬＯＰ）の周りに位置される前記ピクセルへの周りに前記確率値に勾配を割り当てるサブステップと
を含むことを特徴とする請求項１ないし３のいずれか一項に記載の方法。
【請求項9】
前記ループのあし（ＥＬ１、ＥＬ２）が予め定義されたしきい値未満の遠距離であるならば前記ループ（ＬＯＰ）を自動的に完了するサブステップを含むことを特徴とする請求項８に記載の方法。
【請求項10】
前記予め定義されたしきい値は、前記画像（ＩＭ）の対角線の５％に等しいことを特徴とする請求項９に記載の方法。
【請求項11】
複数のループ（ＬＯＰ１、ＬＯＰ２）が互いへと描かれるならば、最小の確率値と最大の確率値とを代替的に割り当てるサブステップを含むことを特徴とする請求項８または９に記載の方法。
【請求項12】
エッジ確率画像（ＥＰＩ）を計算するステップａ）は、深層学習アルゴリズムを使用することを特徴とする請求項１ないし１１のいずれか一項に記載の方法。
【請求項13】
前記深層学習アルゴリズムは、ホリスティックにネストされたエッジ検出を使用することを特徴とする請求項１２に記載の方法。
【請求項14】
カメラ（ＣＡＭ）と結びつけられたコンピューターシステムに、請求項１ないし１３のいずれか一項に記載の方法を実行させるコンピューター実行可能な命令を含むことを特徴とするコンピュータープログラム製品。
【請求項15】
カメラ（ＣＡＭ）と結びつけられたコンピューターシステムに、請求項１ないし１３のいずれか一項に記載の方法を実行させるコンピューター実行可能な命令を含むことを特徴とする非一時的なコンピューター読み取り可能なデータ記録媒体（Ｍ１、Ｍ２、Ｍ３、Ｍ４）。
【請求項16】
コンピューターシステムであって、メモリー（Ｍ１、Ｍ２、Ｍ３、Ｍ４）に接続されたプロセッサー（Ｐ）と、スクリーン（ＤＹ）と、カメラを備え、前記メモリーは、前記コンピューターシステムに請求項１ないし１３のいずれか一項に記載の方法を実行させるコンピューター実行可能な命令を格納することを特徴とするコンピューターシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータービジョンおよび画像処理の分野に関し、より詳細には、オブジェクト追跡、オブジェクト検出、または３Ｄ再構成などのアプリケーションのためのコンピュータービジョンおよび画像処理の分野に関する。
【背景技術】
【0002】
画像セグメンテーションは、デジタル画像をピクセルの複数のグループに分割する処理である。今述べた技術は、オブジェクトについてとても粒状な理解を画像に与え、そして分析するのがより容易である。本発明にて、ピクセルの２つグループのみ、すなわち、関心の対象と背景とがある。結果のバイナリセグメンテーションは、マスクと呼ばれる。
【0003】
オブジェクトが、異なった視点から撮影されるとき、それから３Ｄモデルを作成するために（３Ｄスキャン）、すべてのキャプチャされている画像の後処理のうちの１つの種類は、画像の各々をセグメント化することにある。
【0004】
図１ａ～１Ｄは、オブジェクト（立像）の３Ｄスキャンと画像に重ね合わされた半透明の結果のマスクとについての再生のスクリーンショットを例示する。マスクは、Qiang et al.（「Fast Online Object Tracking and Segmentation: A Unifying Approach」、ＣＶＰＲ、２０１９年）に開示される方法のおかげで計算されている。本論文は、深層学習を使用するセグメンテーション方法を開示する。ユーザーは、２Ｄ画像において、セグメント化するオブジェクトの周りに包括長方形（bounding rectangle）を近似的に配置する必要があり、次に、ネットワークは、マスクを推論する。アルゴリズムは、画像のシーケンスにおいてオブジェクトを追跡するのに使用されることが可能であり、ゆえに、１つのマスクを各画像に提供する。マスクは、十分に正確ではなく、オブジェクトの境界を考慮しないことが判明する。マスクは、特に立像の頭の上に目立つ図１Ｂ、１Ｃ、および１Ｄに見られることが可能であるように、「たれる（drool）」傾向がある。それゆえ、セグメンテーションは、「たれる」効果を避けるために、できる限り正確である必要がある。
【0005】
他の既存のアプローチは、異なった視点からの同一オブジェクトのキャプチャについてのセグメンテーションという状況に必ずしも限定せずに、２Ｄ画像においてオブジェクトの２Ｄセグメンテーションを計算する問題と取り組む。
【0006】
Boykov et al.（「Graph Cuts and Efficient N-D Image Segmentation」、International Journal of Computer Vision、第７０巻、１０９～１３１頁、２００６年）は、領域項および境界項を組み合わせるコスト関数を使用して、エネルギーベースのオブジェクトセグメンテーションを導入した。基本的に、境界項は、近隣のピクセル間の画像勾配を反映するが、領域項は、ピクセルの強度が、オブジェクトおよび背景の既定の強度モデル（たとえば、ヒストグラム）にどれぐらい適合するかを反映する。引用されている論文の図８に例示されるように、画像のセグメンテーションは、２つのステップにて行われる。まず第１に、最初のセグメンテーションは、シーズ（seed）の既定のセット（簡単なテンプレートマッチングを使用して自動的に配置されることが可能であるきびしい制約）に対して行われ、シーズが、関心の対象の内側に、対応して関心の対象の外側に漠然と置かれる。第２に、ユーザーは、ユーザーが、エリアが誤ってセグメント化されていることに気づくことがある最初のセグメンテーションの結果を精査することによって、シーズを訂正する。それゆえ、彼は、誤ってセグメント化されている画像において追加のシーズを配置することによって、（オブジェクトに対して）赤色または（背景に対して）青色のマウス操作されるブラシを介してセグメンテーションを編集することが可能である。
【0007】
今述べた方法は、計算された画像勾配の不正確のために、および既定の強度モデルの不正確のために、まったく正確ではない。さらに、（オブジェクトの色および照明に従う）良い結果を生成することは、多くのユーザーストローク（user stroke）を必要とすることもある。加えて、素人は、適切なストロークを、すなわち、画像の正しい場所に描くことに困難を有するであろう。
【発明の概要】
【発明が解決しようとする課題】
【0008】
それゆえ、カメラによって獲得された少なくとも１つの画像においてオブジェクトをセグメント化するために、特に多重ビュー画像セグメンテーション（multiple view image segmentation）のために、ユーザー入力をほとんど必要とせず容易なユーザー入力のみ必要とするおよび従来技術よりもより良いセグメンテーション品質を提供する、コンピューター実装方法を提供する必要がある。
【課題を解決するための手段】
【0009】
本発明の目的は、カメラによって獲得された少なくとも１つの画像においてオブジェクトをセグメント化するためのコンピューター実装方法であり、次のステップを含む。
ａ）画像に基づいてエッジ確率画像（edge probabilities image）を計算し、前述のエッジ確率画像は、画像の各ピクセルに対して前述のピクセルがエッジである確率を含むこと、
ｂ）画像に基づいてセグメンテーション確率画像（segmentation probabilities image）を計算し、前述のセグメンテーション確率画像は、画像の各ピクセルに対して前述のピクセルがオブジェクトに属する確率を含むこと、
ｃ）エッジ確率画像に基づいておよびセグメンテーション確率画像に基づいてオブジェクトのバイナリマスクを計算すること。
ａ）画像に基づいてエッジ確率画像（edge probabilities image）を計算し、前述のエッジ確率画像は、画像の各ピクセルに対して前述のピクセルがエッジである確率を含むこと、
ｂ）画像に基づいてセグメンテーション確率画像（segmentation probabilities image）を計算し、前述のセグメンテーション確率画像は、画像の各ピクセルに対して前述のピクセルがオブジェクトに属する確率を含むこと、
ｃ）エッジ確率画像に基づいておよびセグメンテーション確率画像に基づいてオブジェクトのバイナリマスクを計算すること。
【0010】
本発明の別の目的は、カメラと結びつけられたコンピューターシステムに予め定義された方法を実行させるコンピューター実行可能な命令を含む、コンピューター読み取り可能なデータ記録媒体に格納されたコンピュータープログラム製品である。
【0011】
本発明の別の目的は、カメラと結びつけられたコンピューターシステムに予め定義された方法を実行させるコンピューター実行可能な命令を含むコンピューター読み取り可能なデータ記録媒体である。
【0012】
本発明の別の目的は、メモリーに接続されたプロセッサーと、スクリーンと、カメラとを含むコンピューターシステムであり、メモリーは、コンピューターシステムに予め定義された方法を実行させるコンピューター実行可能な命令を格納する。
【0013】
本発明の追加の特徴および利点は、添付の図面と共に得られる、後続の説明から明らかになるだろう。
【図面の簡単な説明】
【0014】
【図1A】すでに述べた最新のマルチビューセグメンテーションのスクリーンショットである。
【図1B】すでに述べた最新のマルチビューセグメンテーションのスクリーンショットである。
【図1C】すでに述べた最新のマルチビューセグメンテーションのスクリーンショットである。
【図1D】すでに述べた最新のマルチビューセグメンテーションのスクリーンショットである。
【図2】本発明に係る方法のフローチャートである。
【図3】画像例に基づいてバイナリマスクについて計算することを例示する。
【図4】バウンディングボックスがない（すなわち、カメラがキャリブレーションされない）ときに画像をセグメント化するためにオブジェクトのいくつかの輪郭についてスケッチすることを例示する。
【図5】カメラがキャリブレーションされないときに提供される３Ｄバウンディングボックスを例示する。
【図6】最大フロー／最小カットアルゴリズムに対して使用されるグラフを例示する。
【図7A】バイナリマスクを訂正するためのユーザーストロークを例示する。
【図7B】訂正の結果を例示する。
【図8】第１の態様に係る３Ｄバウンディングボックスのリファインメントのステップを例示する。
【図9】第２の態様に係る３Ｄバウンディングボックスのリファインメントのステップを例示する。
【図10】マルチビューセグメンテーションに対する本発明に係る方法の結果を例示する。
【図11】本発明の別々の態様に係る方法を実行するのに適したコンピューターシステムのブロック図である。
【図12】本発明の別々の態様に係る方法を実行するのに適したコンピューターシステムのブロック図である。
【発明を実施するための形態】
【0015】
図２を参照して、セグメンテーションは、セグメンテーションが行わなければならないオブジェクトの第１の画像ＩＭに関して開始する。画像ＩＭは、予めカメラによって獲得されている。画像ＩＭは、オブジェクトの周りの異なった視点から獲得されている画像の連続的なフロー（ビデオシーケンス）から抽出されることがある、または、異なったオブジェクトの視点から獲得されている画像についての個別のシーケンスの一部として考えられることがある。
【0016】
第１のステップａ）にて、エッジ確率画像ＥＰＩが計算される。エッジの検出は、画像において明るさの不連続性を検出することによって作動する。エッジおよびオブジェクト境界の検出は、例えば、Ｓｏｂｅｌ法、Ｃａｎｎｙ法、Ｐｒｅｗｉｔｔ法、Ｒｏｂｅｒｔｓ法、またはファジィ論理メソッドなど、異なったアルゴリズムを使用して行われることがある。望ましい態様にて、深層学習アルゴリズムが使用される。より格別に、深層学習アルゴリズムは、アルゴリズムがイメージツーイメージ（image-to-image）の流儀においてエッジをトレーニングし予測することに特に適合されるので、ホリスティックにネストされたエッジ検出（holistically-nested edge detection）を使用する。当業者は、論文「Holistically-Nested Edge Detection」 （Xie et al.、2015 IEEE International Conference on Computer Vision）を、さらに、https://github.com/s9xie/hedにおいてオンラインにより利用可能なソースコードと予めトレーニングされたモデルとを参照することがある。検出されているエッジに基づいて、画像ＩＭの各ピクセルに対して、ピクセルがエッジであるかないかという確率が決定されることが可能である。
【0017】
ホリスティックにネストされたエッジ検出ネットワーク（holistically-nested edge detection network）によって取得されたエッジの画像は、ピクセルあたり８ビットの灰色の陰影にある。ゆえに、各ピクセルは、０から２５５までの間の強度を有し、確率として解釈される。ネットワークは、教師ありのやり方においてトレーニングされる（各トレーニング画像に対して、取得されるべきエッジを含むグランドトゥルース画像が提供される）。ネットワークは、今述べたグランドトゥルース画像のピクセルと予測されるピクセルとを比較する損失関数のおかげでトレーニングされる。
【0018】
ネットワークは、トレーニング画像に対して、各ピクセルをカテゴリ｛edge, not edge｝に関連付けることによってトレーニングされる。ネットワークは、各ピクセルが各カテゴリ（または、ここではもう一方のカテゴリを導出することが可能であるのでただ１つのカテゴリ）に属する確率を有する画像を予測する。それゆえ、真のエッジピクセルのために、エッジカテゴリに対して確率１、またはエッジでないならば０を目指す。確率値は、２値ではないので、当然のことながら、損失を最適化すべき、不確実なピクセルは、＞０，１＜の確率を有するだろう。
【0019】
ホリスティックにネストされたエッジ検出を使用して、さらに、ピクセルがエッジである確率が決定されることが可能である。エッジ確率画像ＥＰＩの例図は、与えられている図３である。
【0020】
次に、第２のステップｂ）にて、セグメンテーション確率画像ＳＰＩが計算される。さらに、セグメンテーション確率画像ＳＰＩは、発明されている方法に影響を与えることなく、ステップａ）の前に、または同時に実装されることも可能である。セグメンテーション確率画像ＳＰＩは、画像ＩＭの各ピクセルに対して、前述のピクセルがオブジェクトＯＢＪに属する確率を含む。
【0021】
図３に例示されるように、画像がキャリブレーションされるか、されないかどうかが考えられなければならない。画像は、カメラの位置および向きがわかっているならばキャリブレーションされていると言われ、それは、カメラの本源的なおよび付帯的なパラメーターをキャリブレーションパターンのいくつかのビューから見つけることを意味する。さらに、最新の状況におけるカメラキャリブレーションの概念も参照される。
【0022】
画像がキャリブレーションされるならば、図５によって例示されるような、オブジェクトＯＢＪを取り囲む３Ｄバウンディングボックス３ＤＢＢは、３Ｄ空間において提供される。３Ｄバウンディングボックス３ＤＢＢは、オブジェクトＯＢＪに固着されており、３Ｄバウンディングボックス３ＤＢＢと相互に作用することによって、例えば、３Ｄバウンディングボックス３ＤＢＢのエッジまたは角をドラッグすることによって、ユーザーにより変更されることがある。３Ｄバウンディングボックス３ＤＢＢが、正確にオブジェクトＯＢＪの最小体積を取り囲むことは必要ない。以下に説明されるように、次元３Ｄのバウンディングボックス３ＤＢＢは、１つの画像からその他の画像へリファインされ得る。
【0023】
３Ｄバウンディングボックス３ＤＢＢは、８つの頂点と６つの面とを有する平行四辺形である。各画像ＩＭに対して、３Ｄバウンディングボックス３ＤＢＢの８つの頂点は、カメラ平面上に投影され、８つの投影されている頂点を含む最小の長方形ＲＥＣが計算される。定義によって、最小の長方形ＲＥＣは、セグメント化するオブジェクトを含む。各画像に対して、最小の長方形ＲＥＣおよび元の画像を使用して、セグメンテーション確率画像ＳＰＩは、セグメンテーションアルゴリズムを使用することによって推論される。セグメンテーションアルゴリズムは、しきい値処理、ヒストグラムベース（histogram-based）バンドリング、領域成長、ｋ平均法クラスタリング、ウォーターシェド（watershed）、動的輪郭（active contour）、グラフカット、条件付きマルコフランダムフィールド、およびスパースベース（sparsity-based）メソッドを含むグループにおいて選択されることがある。望ましい態様にて、深層学習アルゴリズムが使用されることがある。深層学習アルゴリズム、例えば、Ｄｅｅｐｌａｂｖ３は、画像のセグメンテーションに対して注目すべき結果を示した。
【0024】
画像がキャリブレーションされないならば、ユーザーは、３Dバウンディングボックスに頼ることは可能でない。それゆえ、画像ＩＭから開始して、オブジェクトの輪郭をセグメントに近づけるために、コンピューターのマウスにより、またはタッチモードにおいて従属物（指またはスタイラス）により線を引いて、図３によって例示されるようなループＬＯＰを形成する。ループＬＯＰは、粗大であることが可能であるが、しかしながら、ループＬＯＰにおいて別のオブジェクトを取り囲むことを避けるために、オブジェクトＯＢＪにできる限り接近する必要がある。もしループＬＯＰがぴったり接近していないならば、しきい値が適用されることがある。ループの２つのあし（ＥＬ１、ＥＬ２）が与えられ、ループＬＯＰは、両方のあし（ＥＬ１、ＥＬ２）が予め定義されたしきい値未満の遠距離であるならば、自動的に閉じられ得る。しきい値は、ピクセルにおいて、またはメトリック距離において表されることがある。しきい値は、画像の対角線（ピクセルにおける距離）の５％に等しいことがある。それゆえ、ユーザーによって引かれる線は、オブジェクトの実際の輪郭に正確に合わせる必要がない。
【0025】
次に、ユーザーがループＬＯＰを描き終えれば、おおよそのセグメンテーション確率画像が提供され、すべての外側のピクセルが最小の確率値（たとえば、８ビットスキームにおいて０）により満たされ、すべての内側のピクセルが極大の確率値（たとえば、灰色の陰影における画像を表するために８ビットスキームにおいて２５５）により満たされる。次に、勾配は、極大の確率値から最小の確率値へ適用される。勾配は、ループＬＯＰのピクセルにどちらでも、後者が複数のピクセルの幅を有するならば適用されることがある、またはさらに、勾配は、ループＬＯＰの予め定義された幅の、ループＬＯＰの両側に位置されるピクセルに適用されることもある。それゆえ、セグメンテーション確率画像ＳＰＩは、極小値（０）から極大値（２５５）までの滑らかな縁を有する。
【0026】
図４によって例示される別の態様にて、もし複数のループがその他において含まれている１つであるならば、代替えとして、極小の確率値および極大の確率値は、対応するエリア領域へ割り当てられる。図４の例に戻ると、セグメント化するオブジェクトは、真ん中に穴があるドーナツである。それゆえ、ユーザーは、ドーナツの外側の輪郭に対して第１のループＬＯＰ１を、穴の輪郭に対して第２のループＬＯＰ２を描く。その場合に、第１のループＬＯＰ１の外側と第２のループＬＯＰ２の内側とのすべてのピクセルは、最小の確率値により満たされるが、第１のループＬＯＰ１と第２のループＬＯＰ２との間に位置されるすべてのピクセルは、極小の確率値により満たされる。もちろん、本態様は、２つのループに限定されず、２つ以上のループに拡張されることが可能である。本態様に従って、さらに、極小値から極大値まで滑らかな縁を有するために勾配を適用することも可能である。さらに、ループＬＯＰ１およびＬＯＰ２は、ユーザーによってなされていないならば、自動的に閉じられることもある。
【0027】
さらに、２Ｄバウンディングボックスは、ループＬＯＰの最も小さい２Ｄバウンディングボックスを計算することによって、またはユーザーに指示して２Ｄバウンディングボックスの左上の点と右下の点（または右上の点と左下の点）とに対応する画像上の２点を配置させることによって、取得されることも可能である。
【0028】
エッジ確率画像ＥＰＩおよびセグメンテーション確率画像ＳＰＩが計算されれば、発明されている方法は、エッジ確率画像ＥＰＩに基づいて、およびセグメンテーション確率画像ＳＰＩに基づいて、オブジェクトＯＢＪのバイナリマスクＭＡＳを計算するステップｃ）を含む。セグメンテーションとエッジ検出の組み合わせは、これまで最新の状況において開示されておらず、１つの画像からもう一方の画像への「たれる」効果を避けるために高精度のマスクを提供する。
【0029】
望ましい態様にて、オブジェクトの最善のマスクは、エネルギー最小化によって計算される。最小化するエネルギーは、次である。
Ｅ＝Ｅmask probs＋λＥedges probs
ただし、Ｅが、最小化する大域的なエネルギー関数であり、Ｅmask probsが、セグメンテーション確率画像ＳＰＩのエネルギーコントリビューション（energy contribution）であり、Ｅedges probsが、エッジ確率画像ＥＰＩのエネルギーコントリビューションであり、λが、パラメーターである。
Ｅ＝Ｅmask probs＋λＥedges probs
ただし、Ｅが、最小化する大域的なエネルギー関数であり、Ｅmask probsが、セグメンテーション確率画像ＳＰＩのエネルギーコントリビューション（energy contribution）であり、Ｅedges probsが、エッジ確率画像ＥＰＩのエネルギーコントリビューションであり、λが、パラメーターである。
【0030】
第１のサブステップｃ１）にて、図６によって例示されるようなグラフＧＲＡがビルドされる。グラフＧＲＡは、複数のノードｎi,j（ｉ＝１・・・Ｍ，ｊ＝１・・・Ｎ、ＭおよびＮが２次元における画像ＩＭのピクセル数）を含み、各ノードは、カメラＣＡＭによって獲得された画像ＩＭのピクセルを表す。さらに、２つの特別に指定された終端ノード、それぞれ「ＯＢＪ」ラベルおよび「背景」ラベルを表すソースＳＲＣおよびとシンクＴがある。通常、近隣のピクセルは、規則的な格子のような（grid-like）流儀においてエッジによって相互に連結される。ピクセル間のエッジは、ｎが「近隣」を象徴する場合にｎ－リンクと呼ばれる。Ｔ－リンクと呼ばれる別のタイプのエッジは、ピクセルを終端ノードに連結するのに使用される。
【0031】
図６に、各エッジのコストは、エッジの厚さによって反映される。セグメンテーション確率画像ＳＰＩにおいてピクセルｐi,jの値（０と２５５との間の確率）をｍi,jと、エッジ確率画像ＥＰＩにおいてピクセルｐi,jの値をｅi,jと呼ぼう。グラフＧＲＡにおいて、各ノードは、ピクセルを表し、各リンクは、コスト（または容量）Ｃを有する。サブステップｃ２）にて、ここで、次の各リンクのＣコストを定義する。
【0032】
【数1】
【0033】
【数2】
【0034】
【数3】
【0035】
ただし、
【0036】
【数4】
【0037】
は、対応する隣接のピクセル間にエッジがない確率に等しいリンクコストであり、ただし、ｎi,jおよびｎi2,j2が水平または垂直の近隣のノードである。
【0038】
【数5】
【0039】
は、対応するピクセルがオブジェクトに属する確率に等しいソースコストである。
【0040】
【数6】
【0041】
は、対応するピクセルがオブジェクトに属さない確率に等しいシンクコストである。
【0042】
＜０，２５５＞にある整数から＜０，１＞にある浮動小数点数まで、すべての確率値を率に応じて決めることが可能であるだろうということは、気づかれることが可能である。＜０，２５５＞にある全ての値を保有する関心は、通常３２ビットまたは６４ビットでエンコードされる浮動小数点数とは違って、８ビット／ピクセルだけの値でエンコードし続けることができることである。今述べたことは、エネルギー最小化の分解能の計算時間を節約する。
【0043】
次に、サブステップｃ３）にて、大域的なエネルギー関数Ｅは、最大フローアルゴリズムを解くことによって最小化される。次に、セグメンテーションを行うために、最小カットが実行される。それは、ソースＳＲＣとシンクＳＮＫとを分離し、カットが切断する対応するｎ－リンクまたはｔ－リンクのリンクコスト、ソースコスト、およびシンクコストの合計を最小化する。今述べたカットから、ソースにリンクされたノードのみがオブジェクトに属しているとみなされる。それゆえ、図３（「最終セグメンテーション」）によって例示されるような、高精度のバイナリマスクＭＡＳが取得される。さらに、図３は、高精度のバイナリマスクＭＡＳが重ねられる最初の画像ＩＭも例示する。
【0044】
図２を参照して、発明されている方法は、マスクＭＡＳがステップｃ）にて計算されれば終了することがある。
【0045】
望ましい態様にて、さらに、ユーザーは、図７Ａおよび図７Ｂによって例示されるような、セグメンテーションの品質を改良するために、マスクＭＡＳを訂正することもある。訂正は、図２に例示されるような、ステップｄ）およびｅ）にてなされることがある。
【0046】
方法は、画像ＩＭに重ね合わされた、部分的に透明のバイナリマスクＭＡＳを表示するステップｄ）を含む。次に、テスト１００が行われ、ユーザーがマスクを訂正しないと決めるならば、またはマスクが訂正される必要がないことが自動的に検出されるならば、方法は、さらに開発されるだろう、テスト２００まで続く。例えば、マスクは、大域的なエネルギー関数が予め定義されたしきい値の下にあるならば正しいと考えられることがある。反対に、マスクＭＡＳは、図７Ａの場合であるような、訂正される必要があることがわかることがある。確かに、マスクＭＡＳは、ノートブックとカップの取っ手の内側部分とを誤って含むが、取っ手自体は、マスクに属さない。
【0047】
次に、ステップｅ）にて、ユーザーは、取り除かれるべきバイナリマスクの一部に第１の予め定義された色のストロークＳＴＲ１、および／またはバイナリマスクに加えられるべきオブジェクトの一部に第２の予め定義された色のストロークＳＴＲ２を描くように指示される。それに対して、ユーザーは、色を選択するためにパレットまたはメニューを使用することがある。例えば、ユーザーは、取り除かれるべき部分に赤いストロークＳＴＲ１を、加えられるべき部分に黄色のストロークＳＴＲ２を描くことがある。もちろん、本発明は、これらの組み合わせに限定されない。次に、前述したコストは、次のように更新される。
【0048】
空のソースコスト
【0049】
【数7】
【0050】
は、対応するピクセルが第１の予め定義された色により塗られる場合にノードに割り当てられ、無限大のソースコストは、対応するピクセルが第２の予め定義された色により塗られる場合にノードに割り当てられる。
【0051】
【数8】
【0052】
ｐijは、ノードｎijに対応する画像ＩＭのピクセルである。
【0053】
無限大のシンクコスト
【0054】
【数9】
【0055】
は、対応するピクセルが第１の予め定義された色により描かれる場合にノードに割り当てられ、空のソースコストは、対応するピクセルが第２の予め定義された色により描かれる場合にノードに割り当てられる。
【0056】
【数10】
【0057】
リンクコストは、変わらないままである。
【0058】
【数11】
【0059】
次に、バイナリマスクＭＡＳを計算するステップｃ）は、変更されたソースコストおよびシンクコストにより再び行われる。必要ならば、マスクの訂正のステップは、別の時間に実装されることがある。今述べた態様により、オブジェクトの信頼できる高精度のバイナリセグメンテーションは、最小のおよび簡単なユーザー入力（簡単なストローク）により取得される。
【0060】
テスト２００は、セグメント化する別の画像があるかどうかを決定する。「別の画像」によって、別の観点から、同じオブジェクトを有する別の画像が意味される。そうでないならば、方法は、取得されたマスクＭＡＳを有して終わる。反対に、画像がキャリブレーションされるか、されないかどうかが決定される（テスト３００）。
【0061】
第一の仮説によれば、画像がキャリブレーションされ、オブジェクトＯＢＪを取り囲む３Ｄバウンディングボックス３ＤＤＢＢが提供されることを暗示すると考える。次のステップｆ）は、その他の画像に対してマスクの品質を高めるために、図８に例示されるような、ユーザーによって認可された画像に対して３Ｄバウンディングボックス３ＤＤＢＢをリファインすることにある。３Ｄバウンディングボックス３ＤＤＢＢは、６つの面（Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６）を有し、それらのすべてがカメラ平面ＰＬＮに別々に投影される。マスク全体が、第１の面Ｆ１と呼ばれる、投影された面のうちの１つの内側に完全に収まる（通常、画像がオブジェクトのカノニカルなビューである場合に付加する）ならば、マスクＭＡＳを取り囲む２Ｄ包括長方形２ＤＢＲが生成される。２Ｄ包括長方形の４つの角の点（ＣＰ１、ＣＰ２、ＣＰ３、ＣＰ４）が導出される。カメラがキャリブレーションされるので、さらに、４つの角の点（ＣＰ１、ＣＰ２、ＣＰ３、ＣＰ４）の３Ｄ座標も知られていることも有する。次に、４つの光線（Ｒ１、Ｒ２、Ｒ３、Ｒ４）は、カメラＣＡＭから、それぞれの４つの角の点（ＣＰ１、ＣＰ２、ＣＰ３、ＣＰ４）にキャストされる。キャリブレーションされたカメラの中心を通り抜ける４つの（光線に対応する）３Ｄ直線の各々の式と、包括長方形の３Ｄの角の点とが計算される。今述べた４つの直線の、第１の面Ｆ１の平面との交わり、およびその反対側の面Ｆ２の平面との交わりは、８つの交点（ＩＰ１、ＩＰ２、ＩＰ３、ＩＰ４、ＩＰ５、ＩＰ６、ＩＰ７、ＩＰ８）を与える。次に、８つの交点（ＩＰ１、ＩＰ２、ＩＰ３、ＩＰ４、ＩＰ５、ＩＰ６、ＩＰ７、ＩＰ８）を含む最小の３ＤバウンディングボックスＳＢＢが生成される。最後に、３Ｄバウンディングボックス３ＤＢＢの、最小の３ＤバウンディングボックスＳＢＢとの交点が計算されて、リファインされた３ＤバウンディングボックスＲＢＢを取得する。
【0062】
３Ｄバウンディングボックスがリファインされれば、マスクＭＡＳは、最初の３Ｄバウンディングボックス３ＤＢＢを使用する代わりに、リファインされた３ＤバウンディングボックスＲＢＢによりステップａ）～ｃ）を反復することによって計算される。特に、セグメンテーション確率画像ＳＰＩは、リファインされた３ＤバウンディングボックスＲＢＢに基づいて計算される。バウンディングボックスは、（エネルギー関数が予め定義されたしきい値の下にあるならば、ユーザーによって、ユーザーストロークによるセグメンテーションの訂正を通じて、または自動的に）セグメンテーションが認可された各画像に対してリファインされる。
【0063】
ステップｆ）にて、マスク全体が、投影された面のうちの１つの内側に完全に収まらないこと（画像がオブジェクトのカノニカルなビューでないならば起こることが可能である）が判明するならば、３Ｄバウンディングボックス３ＤＢＢは、ボクセルの格子（例えば、各方向において２５６個のボクセル）に個別化される。図９によって例示されるように、画像ＩＭの各ピクセルｐijに対して、光線（Ｒ１１、Ｒ１２）は、カメラからキャストされ、ピクセルがマスクＭＡＳに属さないならば、前述の光線と交差する３Ｄバウンディングボックス３ＤＢＢのボクセルは、カービングされる。反対に、ピクセルがマスクＭＡＳに属するならば、前述の光線に沿う３Ｄバウンディングボックス３ＤＢＢのカービングはない。すべての光線がキャストされれば、すべてのピクセルに対して、新しいカービングボクセル格子（carved voxel grid）が取得される。次に、新しいカービングボクセル格子は、マスクが認可されていない各々の新しい画像に投影される。光線がカメラから画像の各ピクセルに向かってキャストされ、画像の各ピクセルに対して、前述の光線が、カービングされないボクセルと交差するかどうかが決定され、もしそうであるならば、バイナリの予め定義された値（例えば、ｖａｌｕｅ＝１）が前述のピクセルに割り当てられる。次に、新しい２Ｄバウンディングボックスは、バイナリの予め定義された値を有するすべてのピクセルを取り囲む最小の長方形を決定することによって、バイナリの予め定義された値を有するピクセルを使用することによって前述の別の画像上に生成される。
【0064】
それゆえ、（ユーザーの訂正後に）訂正されたマスクから取得される信頼できる情報は、その他の画像に伝播され、セグメンテーションの品質を高める。
【0065】
結論として、画像がキャリブレーションされる場合である、訂正されたマスクが他の画像に伝播されることが可能であるとき、別の視点からのオブジェクトのセグメンテーションは、リファインされた３Ｄバウンディングボックスによりなされることが可能である（ステップｈ）、図２）。次に、マスクが、前述したステップａ）～ｃ）により計算される。もしそうでなければ、セグメンテーション確率画像ＳＰＩが、ユーザーに指示してオブジェクトを取り囲むループを描かせることによって計算されるとき（図３参照）、マスクの伝播はない。それゆえ、他の画像に対して、ユーザーは、互いの画像に対してセグメンテーション確率画像ＳＰＩを取得するために、オブジェクトの輪郭を閉じる新しい線を描く必要がある（ステップｇ）、図２）。
【0066】
図１０は、左側に、セグメント化するオブジェクトの元の画像を例示する。画像は、異なった視点から獲得されている。セグメンテーションは、発明された方法によりなされており、マスクが、ビューのすべての点に対してとても正確であることが見られることが可能である。
【0067】
本発明の方法は、もしかしたらコンピューターネットワークを含む、適切なプログラムを非一時的なかたちにおいて、例えば、ハードディスク、ソリッドステートディスク、またはＣＤ－ＲＯＭなどのコンピューター読み取り可能な媒体に格納する、およびマイクロプロセッサー（複数可）とメモリーとを使用して前述のプログラムを実行する、適切にプログラムされた汎用のコンピューターまたはコンピューターシステムによって行われることが可能である。
【0068】
本発明の例示的な態様に係る方法を実行するのに適したコンピューターは、図１１に関して説明される。図１１にて、コンピューターは、上に説明された処理を行う中央処理装置ＣＰＵを含む。処理は、実行可能なプログラムとして、すなわち、例えば、ＲＡＭ Ｍ１もしくはＲＯＭ Ｍ２もしくはＨＤＤ（ハードディスクドライブ）もしくはＳＤＤ（ソリッドステートドライバ）Ｍ３、ＤＶＤ／ＣＤドライブ Ｍ４などのメモリーにおいてコンピューター読み取り可能な命令のセットとして格納されることが可能である、またはリモートに格納されることが可能である。さらにその上、１つまたは複数のデジタルボディモデルおよび／またはスケルトンを定義する１つまたは複数のコンピューターファイルは、メモリーデバイスＭ１～Ｍ４の１つまたは複数に、またはリモートに格納されることもある。
【0069】
主張される発明は、本発明の処理に関するコンピューター読み取り可能な命令、および／またはデジタルファイルが格納されるコンピューター読み取り可能な媒体のかたちによって限定されない。例えば、命令およびファイルは、ＣＤ、ＤＶＤに、フラッシュメモリー、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ハードディスク、またはコンピューターが通信するどんな他の情報処理デバイス、例えば、サーバーもしくは別のコンピューターなどにも格納されることが可能である。プログラムおよびファイルは、同一のメモリーデバイスに、または異なるメモリーデバイスに格納されることが可能である。
【0070】
さらに、本発明の方法を実行するのに適したコンピュータープログラムは、ＣＰＵと、例えば、マイクロソフト（登録商標）ウィンドウズ１０、ＵＮＩＸ、ソラリス、ＬＩＮＵＸ、アップルＭＡＣ－ＯＳ、および当業者に知られている他のシステムなどと共に実行されるユーティリティアプリケーション、バックグラウンドデーモン、もしくはオペレーティングシステムのコンポーネント、またはそれらの組み合わせとして提供されることが可能である。
【0071】
中央処理装置ＣＰＵは、アメリカのインテル（登録商標）からのＸｅｎｏｎプロセッサーまたはアメリカのＡＭＤ（登録商標）からのＯｐｔｅｒｏｎプロセッサーであることが可能であり、または他のプロセッサータイプ、例えば、フリースケールＣｏｌｄＦｉｒｅ、ＩＭＸ、またはアメリカのフリースケールコーポレーションからのＡＲＭプロセッサーなどであることが可能である。代替として、中央処理装置ＣＰＵは、例えば、アメリカのインテルコーポレーションからのＣｏｒｅ２ Ｄｕｏなどのプロセッサーであることが可能であり、または当業者が認めるような、ＦＰＧＡ、ＡＳＩＣ、ＰＬＤ上に、もしくは個別の論理回路（discrete logic circuit）を使用して実装されることが可能である。さらに、中央処理装置ＣＰＵは、上に説明された本発明の処理のコンピューター読み取り可能な命令を実行するために、協働して働く複数のプロセッサーとして実装されることが可能である。
【0072】
図１１のコンピューターは、ネットワーク、例えば、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）、インターネットなどとのインターフェイス接続のために、ネットワークインターフェイスＮＩ、例えば、アメリカのインテル（登録商標）コーポレーションからのインテルイーサネットＰＲＯネットワークインターフェイスカードなども含む。さらに、ＣＡＤ（Computer Aided Design）ステーションは、ディスプレイＤＹ、例えば、ヒューレット・パッカード（登録商標）のＨＰＬ２４４５ｗ ＬＣＤモニターなどとのインターフェイス接続のために、ディスプレイコントローラーＤＣ、例えば、アメリカのＮＶＩＤＩＡ（登録商標）コーポレーションからのＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＧＴＸグラフィックスアダプターなどを含む。汎用Ｉ／ＯインターフェイスＩＦは、キーボードＫＢおよびポインティングデバイスＰＤ、例えば、ローラーボール、マウス、タッチパッドなどとのインターフェイス接続をする。ディスプレイ、キーボード、およびポインティングデバイスは、ディスプレイコントローラーおよびＩ／Ｏインターフェイスとともに、入力コマンドを供給するために、たとえば、バウンディングボックスが提供されない場合にセグメント化するオブジェクトの輪郭を描く、マスクを訂正するためにストロークを描くためにユーザーによって、およびマスクと重ね合わされた画像を表示するためにＣＡＤステーションによって使用されるグラフィカルユーザーインターフェイスを形成する。
【0073】
ディスクコントローラーＤＫＣは、ＣＡＤステーションのコンポーネントのすべてを相互に連結させるために、ＨＤＤ Ｍ３およびＤＶＤ／ＣＤ Ｍ４を、ＩＳＡ、ＥＩＳＡ、ＶＥＳＡ、ＰＣＩまたは同様のであることが可能であるコミュニケーションバスＣＢＳに連結する。
【0074】
ディスプレイ、キーボード、ポインティングデバイスについての、ディスプレイコントローラー、ディスクコントローラー、ネットワークインターフェイスおよびＩ／Ｏインターフェイスも同様に、一般的な特徴および機能性の説明は、本明細書において簡潔さのために、これらの特徴が知られているとして省略される。
【0075】
図１２は、本発明の異なった例示的な態様に係る方法を実行するのに適したコンピューターシステムのブロック図である。
【0076】
図１２にて、実行可能プログラムＥＸＰと、マスク（複数可）を定義するコンピューターファイル（複数可）とは、サーバーＳＣに連結されたメモリーデバイスに格納される。メモリーデバイスと、サーバーの全体的なアーキテクチャとは、ディスプレイコントローラー、ディスプレイ、キーボード、および／またはポインティングデバイスがサーバーにおいて欠くことがあるのを除き、図１１に関して上に議論されたのと同じであることがある。次に、サーバーＳＣは、ネットワークＮＷを介して管理者システムＡＤＳおよびエンドユーザーコンピューターＥＵＣに連結される。管理者システムのおよびエンドユーザーコンピューターの全体的なアーキテクチャは、管理者システムのおよびエンドユーザーコンピューターのメモリーデバイスが、実行可能プログラムＥＸＰおよび／またはマスク（複数可）を定義するコンピューターファイル（複数可）を格納しないことを除き、図１１に関して上に議論されたのと同じであることがある。しかしながら、エンドユーザーコンピューターは、以下に議論されるような、サーバーの実行可能プログラムと協働するために設計されたクライアントプログラムを格納する。
【0077】
理解されることが可能であるように、ネットワークＮＷは、公共ネットワーク、例えば、インターネット、または例えば、ＬＡＮもしくはＷＡＮのネットワークなどのプライベートネットワーク、またはあらゆる組み合わせなどであることが可能であり、ＰＳＴＮまたはＩＳＤＮのサブネットワークを含むこともまた可能である。ネットワークＮＷは、有線、例えば、イーサネットネットワークなどであることもまた可能であり、または例えば、ＥＤＧＥ、３Ｇおよび４Ｇのワイヤレスセルラーシステムを含むセルラーネットワークなどの無線であることが可能である。ワイヤレスネットワークは、Ｗｉ－Ｆｉ、ブルートゥース、または知られている通信のどんな他のワイヤレスのかたちでもあることもまた可能である。したがって、ネットワークＮＷは、単に例示的であり、決して、本進歩の範囲を決して限定しない。
【0078】
クライアントプログラムは、エンドユーザーコンピューターのメモリーデバイスに格納され、後者のアクセスについてのＣＰＵによって実行され、ネットワークＮＷを介して、データベースＤＢは、サーバーＳＣに格納され、マスク（複数可）を定義するファイルを含む。サーバーは、上に説明されたような処理を行い、再びネットワークＮＷを使用して、エンドユーザーコンピューターに、マスクが重ね合わされた画像に対応する画像ファイルを送信する。
【0079】
１つの管理者システムＡＤＳおよび１つのエンドユーザーシステムＥＵＸだけが示されるが、システムは、限定なしに、管理者システムおよび／またはユーザーシステムの何個でもサポートすることが可能である。同様に、さらに、複数のサーバーは、本発明の範囲から逸脱することなくシステムにおいて実装されることも可能である。
【0080】
本明細書において説明されたどんな処理でも、モジュール、セグメント、または処理の特定の論理関数またはステップを実装する１つまたは複数の実行可能な命令を含むコードの部分を表すとして理解されるべきであり、および代替の実装は、本発明の例示的な態様の範囲内に含まれる。
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【外国語明細書】