(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-16
(54)【発明の名称】3D空間内の物体を自動的に検出、位置特定及び識別するための方法及びシステム
(51)【国際特許分類】
G06V 20/64 20220101AFI20220909BHJP
G06T 7/00 20170101ALI20220909BHJP
G06V 10/82 20220101ALI20220909BHJP
【FI】
G06V20/64
G06T7/00 350C
G06V10/82
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022500701
(86)(22)【出願日】2020-07-07
(85)【翻訳文提出日】2022-02-08
(86)【国際出願番号】 EP2020069056
(87)【国際公開番号】W WO2021008928
(87)【国際公開日】2021-01-21
(32)【優先日】2019-07-18
(33)【優先権主張国・地域又は機関】FR
(81)【指定国・地域】
(71)【出願人】
【識別番号】510255060
【氏名又は名称】シスピア
(71)【出願人】
【識別番号】511148123
【氏名又は名称】タレス
(74)【代理人】
【識別番号】110002468
【氏名又は名称】特許業務法人後藤特許事務所
(72)【発明者】
【氏名】ベレシェ ステファン
(72)【発明者】
【氏名】ベレシェ イオン
(72)【発明者】
【氏名】ベルギンク ジェラール
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096AA09
5L096DA02
5L096FA69
5L096HA09
5L096HA11
5L096KA04
(57)【要約】
本方法は、
- 複雑なシーンのボクセル3D空間(11)から、3D空間(11)内のk個の2D断面(15)を取得するステップと、
- このように取得した入力2D断面(21)ごとに、
- 現在の入力断面(21)(k)内で識別された各物体に対応するラベルと、
- このようにラベル付けされた各物体(25)を境界付ける2Dバウンディングボックス(24)と、
- このように抽出された2Dバウンディングボックス(24)によって定義される2Dアイコンと、
を出力において引き渡すように設計された専門の人工知能手法(23)を使用して、注目物体(25)を自動的に検出、位置特定及び識別するステップと、
- 出力2D断面(23)ごとに、2Dバウンディングボックス(24)によって定義された各2Dアイコンを意味的にセグメント化するステップと、
- 注目物体(25)の統合されたラベルを生成し、3Dバウンディングボックスを生成し、及びこのようにしてセグメント化された3Dアイコンを生成するために、出力2D断面(23)のすべての結果を3Dに連結するステップと、
を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
複雑なシーンに含まれている物体(25)を検出、位置特定及び識別するための方法であって、
- 前記複雑なシーンのボクセル3D空間(11)から、前記3D空間内(11)のk個の2D断面(15)を取得するステップと、
- このように取得した入力2D断面(21)ごとに、
- 前記現在の入力断面(21)内で識別された各物体に対応するラベルと、
- このようにラベル付けされた各物体(25)を境界付ける2Dバウンディングボックス(24)と、
- このように抽出された前記2Dバウンディングボックス(24)によって定義される2Dアイコンと、
を出力において引き渡すように設計された専門の人工知能手法(23)を使用して、注目物体(25)を自動的に検出、位置特定及び識別するステップと、
- 出力2D断面(23)ごとに、2Dバウンディングボックス(24)によって定義された各2Dアイコンを意味的にセグメント化するステップと、
- 前記注目物体(25)の前記統合されたラベルを生成し、3Dバウンディングボックスを生成し、及びこのようにしてセグメント化された3Dアイコンを生成するために、前記k個の出力2D断面(23)のすべての結果を3Dに連結するステップと、
を含むことを特徴とする、方法。
【請求項2】
前記複雑なシーンが、3D画像処理を通して3D空間に予め変換されることを特徴とする、請求項1に記載の方法。
【請求項3】
前記複雑なシーン内の前記注目物体のすべてに対する前記ラベルにインデックスを付けるステップをさらに含むことを特徴とする、請求項1に記載の方法。
【請求項4】
前記方法の分解能が前記2D断面の数及び性質に依存することを特徴とする、請求項1~3のいずれか一項に記載の方法。
【請求項5】
前記方法の分解能が前記2Dバウンディングボックスのサイズに依存することを特徴とする、請求項1~3のいずれか一項に記載の方法。
【請求項6】
前記方法の分解能が前記3Dバウンディングボックスのサイズに依存することを特徴とする、請求項1~3のいずれか一項に記載の方法。
【請求項7】
前記人工知能(AI)手法は、Faster R-CNN(Regions with Convolutional Neural Network features)ディープラーニングとしても知られるディープラーニングのタイプに基づいている、請求項1~6のいずれか一項に記載の方法。
【請求項8】
前記意味的セグメント化が、Mask R-CNN(Regions with Convolutional Neural Network)畳み込みニューラルネットワークを使用して行われる、請求項1~7のいずれか一項に記載の方法。
【請求項9】
前記注目物体の中からの1つの注目物体について、前記k個の出力2D断面のすべての前記結果を3Dに連結するために、
- 出力2D断面ごとに、局所的な3次元基準系を定義し、前記基準系の前記次元の1つが前記2D断面によって定義される平面に垂直であり、前記基準系を前記2D断面と関連付けるステップと、
- 前記出力2D断面内で、前記注目物体のサブセット又はスライスを識別するステップと、
- 前記注目物体の各識別されたサブセット又はスライスを、前記各識別されたサブセット又はスライスが属している前記2D断面の前記局所的な3次元基準系から所定の絶対デカルト基準座標系へと、前記基準系を変更することによって変換するステップと、
- 前記変換されたサブセット又はスライスを3Dアイコンに連結するステップと、
を含む、請求項1~8のいずれか一項に記載の方法。
【請求項10】
複雑なシーンに含まれている物体(25)を検出、位置特定及び識別するためのシステムであって、
- 前記複雑なシーンのボクセル3D空間(11)から、前記3D空間(11)内のk個の2D断面(15)を取得するように意図されたモジュール(12)と、
- このように取得した入力2D断面(21)ごとに、注目物体(25)を自動的に検出、位置特定及び識別することができ、
- 前記現在の入力断面(21)内で識別された各物体に対応するラベルと、
- このようにラベル付けされた各物体(25)(k,m)を境界付ける2Dバウンディングボックス(24)と、
- このように抽出された前記2Dバウンディングボックス(24)によって定義される2Dアイコンと、
を出力において引き渡すように設計された、人工知能モジュール(23)と、
- 出力2D断面(23)ごとに、2Dバウンディングボックス(24)によって定義された各2Dアイコンを意味的にセグメント化することができる、意味的セグメント化モジュールと、
- 前記注目物体の統合されたラベルを生成し、3Dバウンディングボックスを生成し、及びこのようにしてセグメント化された3Dアイコンを生成するために、前記k個の出力2D断面(23)のすべての結果を3Dに連結することができる、処理モジュールと、
を含むことを特徴とする、システム。
【請求項11】
前記プログラムがコンピュータ上で実行されるときに請求項1~9のいずれか一項に記載の方法を実行するためのプログラム命令を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3D空間内の物体の自動的な検出、位置特定、及び識別に関する。
【0002】
それは、一般に、目標物検出の分野、医療分野、マイクロエレクトロニクスの分野、及び同様に類似の分野に適用される。それによって、特に、石油探査コアサンプルを走査することによって再構成された大きい3D空間内の小さい化石(2~3ミクロン)の自動検出、複雑な3Dシーン内のカモフラージュされた物体の識別、3次元皮膚再構成に基づく癌腫又は黒色腫に進行する傾向がある良性色素障害の識別、OCT(光干渉断層撮影、Optical Coherence Tomography)断面における「発癌性異常」の識別、さらには断層撮影走査又はMRI(磁気共鳴画像法、Magnetic Resonance Imaging)の3次元再構成から生じる発癌性腫瘍/不完全なエリアの自動的な検出、位置特定及び識別などの、多くの状況で遭遇するアプリケーションベースのクエリに応答することが可能になる。
【背景技術】
【0003】
現在のところ、上述のアプリケーションベースのクエリは、多くの場合、当該分野の専門家(地球物理学者、物理学者、放射線科医、皮膚科専門医など)によって取り扱われており、専門家は、例えばMIP(最大値投影法、Maximum Intensity Projection)などの表示ツールを使用して3D空間内の注目物体を識別する。
【0004】
しかしながら、処理すべきデータの量が非常に大きいので、当該分野の専門家には取り扱いが難しい。加えて、当該分野の専門家による識別成功率は限定されており、めったに90%を超えない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、状況の改善を目指す。
【課題を解決するための手段】
【0006】
この目的に向けて、本発明は、複雑なシーンに含まれている物体を検出、位置特定及び識別するための方法を提案する。
【0007】
本発明の全体的な定義によれば、本方法は、
- 複雑なシーンのボクセル3D空間から、3D空間内のk個の2D断面を取得するステップと、
- このように取得された入力2D断面ごとに、
- 現在の入力2D断面内で識別された各物体に対応するラベルと、
- このようにラベル付けされた各物体を境界付けるバウンディングボックスと、
- このように抽出された2Dバウンディングボックスによって定義される2Dアイコンと、
を出力において引き渡すように設計された専門の人工知能手法を使用して、注目物体を自動的に検出、位置特定及び識別するステップと、
- 出力2D断面ごとに、2Dバウンディングボックスによって定義された各2Dアイコンを意味的にセグメント化するステップと、
- 注目物体の統合されたラベルを生成し、3Dバウンディングボックスを生成し、及びこのようにしてセグメント化された3Dアイコンを生成するために、k個の出力2D断面のすべての結果を連結するステップと、
を含む。
【0008】
したがって、本方法により、処理すべきシーンの3D空間を基準として、k個の2D断面を取得し、そのそれぞれにおいて人工知能及び意味的セグメント化を通して処理すべき物体を検出、位置特定及び識別し、結果を3Dに連結することによって、複雑なシーン内の物体の検出、位置特定及び識別の品質を著しく改善することが可能になる。これは、物体が互いにマスクされるときでさえも、非常に高い精度で自動的に物体を検出、位置特定及び識別する能力を与える。
【0009】
いくつかの好ましい実施形態によれば、本発明は、以下の特徴のうちの1つ又は複数を含み、それらの特徴は、別々に、又は互いに部分的に組み合わせて、又は互いに完全に組み合わせて使用することができる。
- 複雑なシーンは、3D画像処理を通して3D空間に予め変換される。
- 本方法は、複雑なシーン内の注目物体のすべてに対するラベルにインデックスを付けるステップをさらに含む。
- 本方法の分解能は、2D断面の数及び性質に依存する。
- 本方法の分解能は、2Dバウンディングボックスのサイズに依存する。
- 本方法の分解能は、3Dバウンディングボックスのサイズに依存する。
【0010】
有利には、本方法は、前記注目物体の中からの1つの注目物体について、k個の出力2D断面のすべての結果を3Dに連結するために、出力2D断面ごとに、局所的な3次元基準系を定義し、その基準系の次元の1つが2D断面によって定義される平面に垂直であり、前記基準系を前記2D断面と関連付けるステップと、出力2D断面内で、注目物体のサブセット又はスライスを識別するステップと、注目物体の各識別されたサブセット又はスライスを、それが属している2D断面の局所的な3次元基準系から所定の絶対デカルト基準座標系へと、基準系を変更することによって変換するステップと、変換されたサブセット又はスライスを3Dアイコンに連結するステップとを含む。
【0011】
本発明は、同様に、上に定義された方法を実装するためのシステムに関する。
【0012】
本発明は、さらに、コンピュータプログラムであって、前記プログラムがコンピュータ上で実行されるとき上に定義されたような方法を実行するためのプログラム命令を含む、コンピュータプログラムに関する。
【0013】
本発明の他の特徴及び利点は、例として、添付の図面を参照して与えられる、本発明の1つの好ましい実施形態の以下の説明を読めば明らかになろう。
【図面の簡単な説明】
【0014】
【
図1】本発明による方法の主なステップを概略的に例示する。
【
図1A】注目物体のクラスにインデックスを付けるインデックステーブルである。
【
図2】2D断面を取得するステップを概略的に示す。
【
図3】専門の人工知能を使用して各2D断面内の注目物体を自動的に検出、位置特定及び識別するステップを概略的に示す。
【
図4】本発明による方法に従って検出された物体を境界付けるバウンディングボックスを示す。
【
図5】本発明によるセグメント化されたアイコンを示す。
【
図6】本発明によるボクセルで再構成された3D空間を示す。
【
図7】本発明による反射型断層撮影法を使用して再構成された3D空間における主な断面を示す。
【
図8】OCT(光干渉断層撮影、Optical Coherence Tomography)断面の一例を示す。
【
図9】反射型断層撮影を使用して2D画像から再構成されたカモフラージュされた物体が含まれている複雑な3Dシーンの一例を示す。
【
図10】3Dシーンにおける2D断面の一例を示す。
【
図11】3Dシーンの2D断面におけるカモフラージュされた物体を境界付けるバウンディングボックスの自動検出及び生成を示す。
【
図12】3Dシーンの2D断面におけるカモフラージュされた物体の識別を示す。
【
図13】3Dシーンにおけるバウンディングボックスの生成及び物体の識別を示す。
【発明を実施するための形態】
【0015】
本発明は、3次元(3D)ボクセル(体積ピクセル)空間を形成する3次元(3D)画像処理における物体の自動的な検出、位置特定及び識別に関する。
【0016】
例えば、これに限定されないが、3D画像処理は、
図9に例示されるように、物体が互いをマスクする場合がある複雑なシーンに対応する。
【0017】
実際は、3次元空間は、透過ベース又は蛍光ベースの再構成法(光学的投射断層撮影、核イメージング又はX線コンピュータ断層撮影)又は反射ベースの再構成法(レーザ波の反射、又は可視帯域(0.4μm~0.7μmの間)若しくは近赤外帯域(0.7μm~1μmの間)若しくはSWIR帯域(1μm~3μmの間の短波赤外線)の場合太陽反射を使用)を使用して、又は物体の熱放射(3μm~5μmの間及び8μm~12μmの間のサーマルイメージング)を考慮に入れて取得することができ、この3次元再構成プロセスは、特許「Optronic system and method dedicated to identification for formulating three-dimensional images」(米国特許第8836762B2号明細書、欧州特許第2333481B1号明細書)に説明されている。
【0018】
関連強度を伴う3次元再構成から生じるボクセルのすべてが使用され、この再構成は、好ましくは反射を通して取得される。
【0019】
まず初めに、
図1Aを参照すると、注目物体のクラスにインデックスが付けられている。
【0020】
注目物体のクラスのすべてに対する対応テーブルTAB「インデックスクラス×ラベルクラス」は、このように作成される。例えば、インデックス作成の最後に、以下の要素、すなわち、クラス(n)→{インデックス(n),ラベル(n)}、n={1,2,..,N}が取得され、Nは、注目物体のクラスの数である。
【0021】
例として、インデックス(n)は値「n」にあり、インデックス(背景)は値「0」にある。
【0022】
本発明による検出、位置特定及び識別方法は、以下の一般的なステップを含み、それらは
図1を参照して説明される。
【0023】
参照される第1のステップ10で、k個の2D断面が、再構成された3D空間において獲得される。3D空間→{断面(k)}、k={1,2,..,K}、Kは獲得された2D断面の数である。
【0024】
ステップ20を参照すると、このように取得した入力2D断面ごとに、専門の人工知能(AI)手法を使用して、注目物体が自動的に検出、位置特定及び識別される。
【0025】
人工知能(AI)手法は、出力において以下の要素を生成する。
- 断面(k)内の物体(k,m)の検出、m={1,2,..,M(k)}、M(k)は断面(k)内で検出された物体の数である。
- 断面(k)内で識別された各物体(k,m)に対応するラベル(k,m)の生成。
- 断面(k)内の各物体(k,m)を境界付ける2Dboundingbox(k,m)と同様に呼ばれる、2Dバウンディングボックスの生成。
- 断面(k)からの、2Dバウンディングボックス2Dboundingbox(k,m)によって定義された2Dアイコン(k,m)の抽出。
【0026】
したがって、これは、以下の要素、断面(k)→{物体(k,m),ラベル(k,m),2Dboundingbox(k,m),2Dアイコン(k,m)}を与える。
【0027】
例えば、人工知能(AI)手法は、「Faster R-CNN(Regions with Convolutional Neural Network features)物体分類」ディープラーニングとしても知られるディープラーニングのタイプに基づいている。
【0028】
次に、本方法は、バウンディングボックス2Dboundingboxによって定義される各2Dアイコンの意味的セグメント化を適用する。
【0029】
実際には、2Dアイコン(k,m)と同じサイズのセグメント化2Dアイコン(k,m)の生成は、ピクセルごとに、断面(k)内で識別された物体(k,m)のインデックス(k,m)の値、又はインデックス(背景)の値のいずれかを有する。それゆえ、これは、出力において、2Dアイコン(k,m)→セグメント化2Dアイコン(k,m)を与える。
【0030】
例えば、意味的セグメント化は、ディープラーニング、例えば、画像の意味的セグメント化のために指定されたMask R-CNN(Regions with Convolutional Neural Network)を使用して行われる。
【0031】
ステップ30を参照すると、2D断面のすべての結果は、最終的に3Dに連結される。
【0032】
本発明の一組の実施形態で、2D断面の結果は、
・ 各2D断面と関連付けられた局所的な3次元基準系を定義するステップであって、その次元の1つが、2D断面によって定義される平面に垂直である、ステップと、
・ 注目物体のサブセット又はスライスが識別されている2D断面を識別するステップと、
・ 選択されたサブセット又はスライスの局所的な3次元基準系のすべてを、決定された絶対デカルト3次元基準座標系へと数学的に変換(平行移動及び/又は回転)するステップと
を通して3Dに連結される。
【0033】
これにより、物体のサブセット又はスライスの境界での連続性を確保しながら、3次元物体を再構成することが可能になる。
【0034】
したがって、出力において、これは以下の要素を与える。
ラベル(k,m)の連結→統合されたラベル(n)の生成
2Dboundingbox(k,m)の連結→3Dboundingbox(n)の生成
セグメント化2Dアイコン(k,m)の連結→セグメント化3Dアイコン(n)の生成
{物体(n),ラベル(n),3Dboundingbox(n),セグメント化3Dアイコン(k,n)}、(n)は{1,2,..,N}に属し、Nは注目物体のクラスの数である。
【0035】
本発明による方法は、複数の具体的詳細を呈する。
【0036】
第1の具体的詳細は、分解能とも呼ばれ、2D断面の数及び角度に関し、例えば、2D断面は、主断面、水平断面、垂直断面、斜め断面によって形成されるグループに属する。2D断面の数が多いほど、検出分解能が良くなる。加えて、異なる角度の2D断面は、より良い検出結果を提供することができ、以下により詳細に説明する、結果の3D連結で使用されることになる。
【0037】
第2の具体的詳細は、2Dバウンディングボックスに関し、2Dboundingbox=[(x1,x2),(y1,y2)]である。2Dバウンディングボックスのサイズが小さいほど、検出分解能が良くなる。
【0038】
第3の具体的詳細は、3Dバウンディングボックスに関し、3Dboundingbox=[(x1,x2),(y1,y2),(z1,z2)]である。3Dバウンディングボックスのサイズが小さいほど、検出分解能が良くなる。
【0039】
図2は、2D断面の獲得に関連したモジュールを示す。
【0040】
上に見られるように、2D断面の選択及び数は、検出の分解能に影響を与えることになる。
【0041】
3D空間11(ボクセルで再構成された)から、断面化モジュール12は、選択モジュール13からのコマンドに応答して、2D断面15(ピクセル単位)を生成する。2D断面15(ピクセル単位)は、インデックステーブルTAB(
図1A)に従って、管理モジュール14によって管理され、インデックスが付けられる。
【0042】
図3は、このようにして生成されインデックスが付けられた各入力2D断面21に適用される人工知能(AI)手法22に関連したモジュールを示す。
【0043】
AI手法22によって生成された出力2D断面23は、注目物体25を境界付ける2Dバウンディングボックス24を含む。
【0044】
図4を参照すると、物体25を境界付ける2Dバウンディングボックス24のサイズは、横軸X(x1及びx2)及び縦軸Y(y1及びy2)上のその座標によって定義される。
【0045】
図5は、本発明に従って意味的にセグメント化された2Dアイコン50を示す。例えば、物体25は、値「1」でインデックスが付けられ、一方で背景は、値「0」でインデックスが付けられる。
【0046】
図6は、インデックス「0」の背景空間で、注目物体25がインデックス「1」を有し、一方別の注目物体がインデックス「2」を有する、本発明によるボクセルで再構成された3D空間を示す。
【0047】
図7は、ここではXY、XZ及びZYに沿って、本発明による反射型断層撮影法を使用して再構成された3D空間における主な2D断面を示す。
【0048】
図8は、不完全なエリアが識別されることになる、OCT(光干渉断層撮影、Optical Coherence Tomography)断面の一例を示す。
【0049】
図9は、反射型断層撮影を使用して2D画像から再構成されたカモフラージュされた物体が含まれている、複雑な3Dシーンの一例を示す。
【0050】
例えば、複雑なシーンには、茂みの中にカモフラージュされた車両が含まれている。2Dショットは、415×693画素の2D画像を用いた空対地ショットである。
【0051】
図10は、
図9の3Dシーンにおける2D断面(YZ断面)の一例を示す。
【0052】
図11は、
図9及び
図10に例示された3Dシーンの2D断面におけるカモフラージュされた物体を境界付けるバウンディングボックスの自動検出及び生成を示す。
【0053】
図12は、2Dバウンディングボックスの座標を用いた、3Dシーンの2D断面におけるカモフラージュされた物体(インデックス1)の識別を示す。
【0054】
図13は、3Dシーンにおける3Dバウンディングボックス(その座標を含む)の生成及び物体の識別を示す。
【0055】
本出願の応用分野は広範囲であり、注目物体の検出、分類、認識及び識別を網羅する。
【国際調査報告】