特許 5655134 ３次元シーンにおけるテクスチャを生成する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5655134

(24)【登録日】2014年11月28日

(45)【発行日】2015年1月14日

(54)【発明の名称】３次元シーンにおけるテクスチャを生成する方法及び装置

(51)【国際特許分類】

   G01B 11/00 20060101AFI20141218BHJP

   G01C 3/06 20060101ALI20141218BHJP

   G06T 1/00 20060101ALI20141218BHJP

   H04N 13/00 20060101ALI20141218BHJP

【ＦＩ】

   G01B11/00 H

   G01C3/06 110B

   G01C3/06 140

   G06T1/00 315

   H04N13/00

【請求項の数】20

【全頁数】21

(21)【出願番号】特願2013-502774(P2013-502774)

(86)(22)【出願日】2011年3月30日

(65)【公表番号】特表2013-530380(P2013-530380A)

(43)【公表日】2013年7月25日

(86)【国際出願番号】US2011030413

(87)【国際公開番号】WO2011123483

(87)【国際公開日】20111006

【審査請求日】2014年3月3日

(31)【優先権主張番号】61/319,395

(32)【優先日】2010年3月31日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】510060316

【氏名又は名称】オムロン サイエンティフィック テクノロジーズ， インコーポレイテッド

【氏名又は名称原語表記】ＯＭＲＯＮ ＳＣＩＥＮＴＩＦＩＣ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＩＮＣ．

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(72)【発明者】

【氏名】ティヤギ， アンブリッシュ

(72)【発明者】

【氏名】ドリンカード， ジョン

【審査官】 神谷 健一

(56)【参考文献】

【文献】 特開２００２−３００６０５（ＪＰ，Ａ）

【文献】 特開２００８−０３３８１９（ＪＰ，Ａ）

【文献】 特開２００８−２３２７７６（ＪＰ，Ａ）

【文献】 特開２００２−０２２４２４（ＪＰ，Ａ）

【文献】 特開平０８−３３９４９８（ＪＰ，Ａ）

【文献】 特開２００３−１５３２９０（ＪＰ，Ａ）

【文献】 特開２００９−２１０４７０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００７／０２６３９０３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

Ｇ０１Ｃ ３／００− ３／３２

Ｇ０１Ｓ ７／４８− ７／５１

Ｇ０１Ｓ １７／００−１７／９５

Ｇ０６Ｔ １／００− １／４０

Ｇ０６Ｔ ３／００− ５／５０

Ｇ０６Ｔ ９／００− ９／４０

Ｈ０４Ｎ １３／００−１７／０６

(57)【特許請求の範囲】

【請求項1】

立体又は他の種類の多視点撮像システムを含む装置において実現される３Ｄ撮像の方法であって、該方法は、構成された監視境界により定義されるボリュームを監視することを含み、該監視することは
実行時モードでは、
前記定義されるボリュームとオーバーラップする視野を有する前記多視点撮像システムの複数センサを用いて、前記監視されるボリュームに対応する視野に対する多視点画像データを取り込み、
多視点対応アルゴリズムを用いて、前記複数センサからの多視点画像データを処理することで、前記視野に入る物体の位置を判定し、
前記構成された監視境界に対して前記視野に入る物体の位置を比較し、何れかの物体が前記構成された監視境界内に存在するか否かを判断し、
学習モードにおいて、前記実行時モードにおける動作のための準備時では、
十分に高密度の３Ｄレンジデータが判定できない視野内に何れかの低テクスチャ領域があるか否かを判定し、
１以上の低テクスチャ領域が特定された場合、
前記１以上の低テクスチャ領域に合成テクスチャを投影するために、テクスチャツールを制御するか又は前記テクスチャツールを制御するように前記装置の操作者を誘導するための出力データ又は信号を生成し、
前記特定された低テクスチャ領域のうち１以上が前記合成テクスチャを用いて照明されている間に、前記多視点撮像システムの複数センサを用いて、前記視野に対する多視点画像データを取り込み、
前記低テクスチャ領域の３Ｄ測距のための十分なテクスチャが提供されたか否かを判定し、そのようなテクスチャが提供された場合には、前記視野の３Ｄレンジマップ内における前記低テクスチャ領域に対する対応する３Ｄレンジデータを更新し、前記構成された監視境界に対して十分なテクスチャが提供されたことを、前記操作者に対して提供する
ことにより、前記構成された監視境界を検証する
ことに基づいていることを特徴とする方法。

【請求項2】

十分なテクスチャが提供されなかった場合、前記構成された監視境界に対して十分なテクスチャが提供されなかったことを、前記操作者に対して提供することを更に備えることを特徴とする請求項１記載の方法。

【請求項3】

前記合成テクスチャを投影するテクスチャツールを前記操作者が制御する場合、十分なテクスチャが提供されなかった低テクスチャ領域に少なくとも合成テクスチャを投影するために、前記テクスチャツールの制御の際に前記操作者を誘導するための出力データ若しくは信号を生成することを更に備えることを特徴とする請求項２記載の方法。

【請求項4】

前記操作者を誘導するための前記出力データ若しくは信号を生成することは、前記視野内の合成テクスチャの所望の位置決めに対する実際の位置決めに関して前記操作者に対して視覚的なガイダンスを提供する情報を生成すること、を含むことを特徴とする請求項３記載の方法。

【請求項5】

前記操作者を誘導するための前記出力データ若しくは信号を生成することは、前記視野の視覚的な描写を表示させることを含み、該視覚的な描写は、前記視野内で前記装置が現在検出した合成テクスチャの場所、十分なテクスチャが提供されなかった低テクスチャ領域が前記視野内で存在する場所、の少なくとも１つを示すことを特徴とする請求項３記載の方法。

【請求項6】

十分なテクスチャが提供されず且つ前記操作者が合成テクスチャを投影するテクスチャツールを制御する場合、前記方法は更に、前記視野の視覚的な描写を表示させる出力データ若しくは信号を生成することを含み、前記視覚的な描写は、前記視野に合成テクスチャを投影するテクスチャツールに対する前記操作者の制御に基づいて、十分に高密度の３Ｄレンジデータを有する低テクスチャ領域を塗りつぶすと見なされる、前記装置によってなされる処理を示すことを特徴とする請求項１記載の方法。

【請求項7】

最初に前記視野に対する３Ｄレンジマップを生成するために、前記学習モード時に前記視野に対する前記複数センサによって取り込まれ且つ前記多視点対応アルゴリズムを用いて処理される多視点画像データから自動的に境界情報を導出することに基づいて、前記学習モード時における動作の一部として、前記構成された監視境界を自動的に学習することを更に備えることを特徴とする請求項１記載の方法。

【請求項8】

前記構成された監視境界を検証することは、構成された３Ｄレンジデータに対して許容範囲内であることを検証すること、を含むことを特徴とする請求項１記載の方法。

【請求項9】

前記装置は、前記合成テクスチャに対してキャリブレートされていないことを特徴とする請求項１に記載の方法。

【請求項10】

前記装置は前記テクスチャツールを制御し、前記テクスチャツールを制御するように前記出力データ若しくは信号を生成することは、前記視野に合成テクスチャを投影するように前記テクスチャツールを誘導するための信号を前記装置が生成することを含む、ことを特徴とする請求項１記載の方法。

【請求項11】

立体又は他の種類の多視点撮像システムを含み、且つ構成された監視境界により定義されるボリュームを監視するように構成されている装置であって、該装置は１以上の処理回路を有しており、該１以上の処理回路は、
実行時モードでは、
前記定義されるボリュームとオーバーラップする視野を有する前記多視点撮像システムの複数センサを用いて、前記監視されるボリュームに対応する視野に対する多視点画像データを取り込み、
多視点対応アルゴリズムを用いて、前記複数センサからの多視点画像データを処理することで、前記視野に入る物体の位置を判定し、
前記構成された監視境界に対して前記視野に入る物体の位置を比較し、何れかの物体が前記構成された監視境界内に存在するか否かを判断し、
学習モードにおいて、前記実行時モードにおける動作のための準備時では、
十分に高密度の３Ｄレンジデータが判定できない視野内に低テクスチャ領域があるか否かを判定し、
１以上の低テクスチャ領域が特定された場合、
前記１以上の低テクスチャ領域に合成テクスチャを投影するために、テクスチャツールを制御するか又は前記テクスチャツールを制御するように前記装置の操作者を誘導するための出力データ又は信号を生成し、
前記低テクスチャ領域のうち１以上が前記合成テクスチャを用いて照明されている間に、前記多視点撮像システムの複数センサを用いて、前記視野に対する多視点画像データを取り込み、
前記低テクスチャ領域の３Ｄ測距のための十分なテクスチャが提供されたか否かを判定し、そのようなテクスチャが提供された場合には、前記視野の３Ｄレンジマップ内における前記低テクスチャ領域に対する対応する３Ｄレンジデータを更新し、前記構成された監視境界に対して十分なテクスチャが提供されたことを、前記操作者に対して提供する
ことにより、前記構成された監視境界を検証する
ように構成されていることを特徴とする装置。

【請求項12】

前記装置は、コンピュータインターフェース及びディスプレイのうち少なくとも１つを含む入出力回路を有し、十分なテクスチャが提供されなかった場合、前記１以上の処理回路は、前記入出力回路を用いて、前記構成された監視境界に対して十分なテクスチャが提供されなかったことを前記操作者に対して提供するように構成されていることを特徴とする請求項１１記載の装置。

【請求項13】

前記操作者は合成テクスチャを投影するテクスチャツールを制御し、前記１以上の処理回路は、前記入出力回路を用いて、合成テクスチャの所望の位置決めに対する実際の位置決めに関して前記操作者に対して視覚的なガイダンスを提供するように構成されていることを特徴とする請求項１２記載の装置。

【請求項14】

前記１以上の処理回路は、前記コンピュータインターフェース若しくは前記ディスプレイを介して前記視野の視覚的な描写を表示させることに基づいて前記視覚的なガイダンスを提供するように構成されており、該視覚的な描写は、前記視野内で現在検出した合成テクスチャの場所、十分なテクスチャが提供されなかった低テクスチャ領域が前記視野内で存在する場所、の少なくとも１つを示すことを特徴とする請求項１３記載の装置。

【請求項15】

前記１以上の処理回路は、前記視野の視覚的な描写に、前記視野に合成テクスチャを投影するテクスチャツールに対する前記操作者の制御に基づいて、十分に高密度の３Ｄレンジデータを有する低テクスチャ領域を塗りつぶすと見なされてなされる処理を示させるように構成されていることを特徴とする請求項１４記載の装置。

【請求項16】

前記１以上の処理回路は、最初に前記視野に対する３Ｄレンジマップを生成するために、前記学習モード時に前記複数センサによって取り込まれ且つ前記多視点対応アルゴリズムを用いて処理される多視点画像データから自動的に境界情報を導出するように構成されていることに基づいて、前記学習モード時における動作中に、前記構成された監視境界を自動的に学習するように構成されていることを特徴とする請求項１１記載の装置。

【請求項17】

前記１以上の処理回路は更に、前記視野内に何れかの低テクスチャ領域が存在するか否かに関しては、前記学習モード時に取り込まれた前記多視点画像データから、若しくはそれらから判定された初期の３Ｄレンジマップから判定するように構成されていることを特徴とする請求項１６記載の装置。

【請求項18】

前記１以上の処理回路は、構成された監視境界が、構成された３Ｄレンジデータに対して許容範囲内であることを検証するように構成されていることを特徴とする請求項１１記載の装置。

【請求項19】

前記装置は、前記合成テクスチャに対してキャリブレートされていないことを特徴とする請求項１１に記載の装置。

【請求項20】

前記装置は前記テクスチャツールを制御し、前記１以上の処理回路は、前記視野内の低テクスチャ領域に合成テクスチャを投影するように前記テクスチャツールを制御するように構成されていることを特徴とする請求項１１記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、マシンビジョン及び３次元撮像に関し、特に、３次元シーンにおけるテクスチャの生成に関する。

【背景技術】

【0002】

一般に、多視点再構成技術は、複数のセンサの各々により閲覧されるシーンの２次元（２Ｄ）画像間の対応を最初に確立する。例えば２つのカメラは、既知の角度及び並進オフセットで同一の領域を撮像するように重複する視野を有するように構成される。３次元（３Ｄ）シーン再構成は、異なるビューの間の幾何学的関係を与えられた２Ｄ画像間の対応の三角測量を含む。

【0003】

複数のビューにわたる対応関係を確立する作業は、関係する各２Ｄビュー内のロバスト性を有する画像特徴の抽出に依存する。通常、そのような特徴は、画像コントラストの局所的な変動により特徴付けられる。これらのコントラストの局所的な変動は、一般に「テクスチャ」と呼ばれる。一般的な場合、閲覧シーンは正常な対応のための十分なテクスチャを有さない表面に対応する領域を含むことがあり、シーンの完全な３Ｄ再構成を得ることが困難又は不可能となる。そのような領域は「テクスチャレス」と呼ばれる。いくつかの一般的な例は、平坦で均一に塗装及び照明された壁、床又はテーブルである。

【0004】

多くの場合、テクスチャが不十分であるため画像の対応を得ることができないという危険性は２つの方法の少なくとも一方を使用して改善される。第１の方法は、ペインティング又はテクスチャ付きマーカの添付等により問題の表面を変更する。別の手法は、テクスチャレスな領域にテクスチャを「追加」するために撮像中に領域に構造光を投影することを含む。

【0005】

主に全体的にテクスチャを有するビューを常に有する必要のあるアプリケーションは上記の改善から利益を得る。しかし、監視領域が広い場合、そのような改善はコストが高く且つ不便であることが多い。例えば、システムのセットアップ中に構成される境界により定義される所定の領域を監視することを意図する検出装置を仮定する。そのような境界は物理的表面に対応してもよく、あるいは３Ｄボリュームにより定義される仮想表面を表してもよい。立体カメラの使用に基づくマシンビジョンシステムは、そのようなシステムの好適な実施例を提供する。

【0006】

立体視に基づく装置は、検出可能な最小サイズより大きい物体の存在及び位置を確立するのに必要な基準を使用して被監視ボリューム内の３Ｄポイントのクラスタを解析する何らかの種類の立体視センサ又はレンジデータ解析器を含む。物体の位置は、被監視ボリュームを定義する構成された境界に対して比較され、侵入が発生したか否かが判定される。

【0007】

境界を構成するための１つの手法は、ユーザが手動入力する境界座標に依存する。例えば許可されたユーザは、定義された座標に従って監視境界を手動で構成するために、装置に対するインタフェースを提供するＰＣベースの構成ツールにアクセスできる。この手法では、ユーザがシステムのセットアップ前に境界を計算するか又は知っている必要があり、不便な場合がある。

【0008】

境界を構成するための別の方法は、装置に境界を測定させることである。この手法は一般に「学習」モードと呼ばれ、装置は閲覧領域内に既存する物理的表面の位置を自動的に学習する。境界は、学習された物理的表面に沿って位置決めされ且つ指定された公差／スタンドオフにより分離されるように自動的に構成される。その後、ユーザは、アプリケーション上の必要に応じて、構成された学習による境界を受け入れるか又は変更する。しかし、自動的に学習される境界の何らかの部分がテクスチャレスである限り、装置はそのような部分を認識しないか又は十分な精度で測距しない。ユーザが境界の問題部分に対する座標を手動入力してもよいが、そのような手動入力はユーザにとって不便であり、境界情報の完全な自動取得の妨げとなる。

【0009】

更に、そのような装置のセットアップ中、構成された境界（被監視ボリュームを定義する）がセンサの視野（例えば、装置内に含まれる立体視カメラの視野内）の投影特性と一致するように注意する必要がある。換言すると、構成された境界の各部分は、センサの視野内のどの場所でも影にならずに閲覧可能である必要がある。更に、境界が構成されると、通常、ユーザはそれらの有効性をチェックする必要がある。チェックは、特定のテクスチャ付きテストピース又はテストパネルを各境界にわたり移動することにより行われる。そのような手法は時間がかかり且つ不便であるため、誤りが生じやすい。更に、いくつかの安全に関するアプリケーションにおいて、センサからの最長距離内又は構成された境界からの最短距離内に物理背景が存在することを保証する必要のある場合がある。これらの条件の手動検証は、オペレータにとって困難な作業でもある。

【発明の概要】

【0010】

本開示は、立体又は他の種類の多視点撮像システムを含む装置において実現される３Ｄ撮像の方法を教示する。この方法は、構成された監視境界により定義されるボリュームを監視することを含み、該監視することは、実行時モードでは、前記定義されるボリュームとオーバーラップする視野を有する前記多視点撮像システムの複数センサを用いて、前記監視されるボリュームに対応する視野に対する多視点画像データを取り込むことに基づいている。更に、実行時モードでは、この方法は、多視点対応アルゴリズムを用いて、前記複数センサからの画像データを処理することで、前記視野に入る物体の位置を判定し、前記構成された監視境界に対して前記視野に入る物体の位置を比較し、何れかの物体が前記構成された監視境界内に存在するか否かを判断することを含む。

【0011】

更に、学習モードにおいて、前記実行時モードにおける動作を実行する前記装置のための準備時では、前記方法は、前記構成された監視境界を検証することを含む。ここで、前記構成された監視境界の検証は、十分に高密度の３Ｄレンジデータが判定できない視野内に何れかの低テクスチャ領域があるか否かを判定することに基づいている。１以上の低テクスチャ領域が特定された場合、前記方法は、前記１つ以上の低テクスチャ領域に合成テクスチャを投影するために、テクスチャツールを制御するか又は前記テクスチャツールを制御するようにユーザを誘導するための出力データ又は信号を生成すること、前記特定された低テクスチャ領域のうち１以上が前記合成テクスチャを用いて照明されている間に、前記多視点撮像システムの複数センサを用いて、前記視野に対する多視点画像データを取り込み、前記低テクスチャ領域の３Ｄ測距のための十分なテクスチャが提供されたか否かを判定し、そのようなテクスチャが提供された場合には、前記視野の３Ｄレンジマップ内における前記低テクスチャ領域に対する対応する３Ｄレンジデータを更新し、前記構成された監視境界に対して十分なテクスチャが提供されたことを、前記装置の操作者に対して提供する、ことを含む。

【0012】

また、本開示は、立体又は他の種類の多視点撮像システムを含み、且つ構成された監視境界により定義されるボリュームを監視するように構成されている装置の詳細の一例を提供する。該装置は１以上の処理回路を有しており、該１以上の処理回路は、実行時モードでは、前記定義されるボリュームとオーバーラップする視野を有する前記多視点撮像システムの複数センサを用いて、前記監視されるボリュームに対応する視野に対する多視点画像データを取り込み、多視点対応アルゴリズムを用いて、前記複数センサからの画像データを処理することで、前記視野に入る物体の位置を判定し、前記構成された監視境界に対して前記視野に入る物体の位置を比較し、何れかの物体が前記構成された監視境界内に存在するか否かを判断するように構成されている。

【0013】

これに対し、前記実行時モードにおける動作のための準備のために、前記１以上の処理回路は、学習モード時には、前記構成された監視境界を検証するように構成されている。境界検証は、十分に高密度の３Ｄレンジデータが判定できない視野内に低テクスチャ領域があるか否かを判定するように構成されている前記１以上の処理回路に基づいている。１以上の低テクスチャ領域が特定された場合、前記１以上の処理回路は、１つ以上の低テクスチャ領域に合成テクスチャを投影するために、テクスチャツールを制御するか又は前記テクスチャツールを制御するようにユーザを誘導するための出力データ又は信号を生成し、前記低テクスチャ領域のうち１以上が前記合成テクスチャを用いて照明されている間に、前記多視点撮像システムの複数センサを用いて、前記視野に対する多視点画像データを取り込み、前記低テクスチャ領域の３Ｄ測距のための十分なテクスチャが提供されたか否かを判定し、そのようなテクスチャが提供された場合には、前記視野の３Ｄレンジマップ内における前記低テクスチャ領域に対する対応する３Ｄレンジデータを更新し、前記構成された監視境界に対して十分なテクスチャが提供されたことを、前記装置の操作者に対して提供する。

【0019】

当然、本発明は上記の特徴及び利点に限定されない。実際、当業者は、以下の詳細な説明を読み且つ添付の図面を参照することにより更なる特徴及び利点を認識するだろう。

【図面の簡単な説明】

【0020】

【図1】図１は、マシンビジョンシステムを含む装置の一実施形態を示すブロック図である。

【図2a】、

【図2b】、

【図2c】図２ａ〜図２ｃは、マシンビジョンシステムにより撮像されるシーンにテクスチャを人工的に追加するために、パターン光を投影するように構成されるテクスチャツールにより投影される合成テクスチャパターンの例を示す図である。

【図3】図３は、視野内の１つ以上の領域が３Ｄ測距のための十分な「自然」テクスチャを有さず且つそのような領域に対する３Ｄレンジデータを得るために合成テクスチャが使用される場合に、例えば図１の装置により撮像されたシーンに対する３Ｄレンジデータを得る一実施形態を示す論理フローチャートである。

【図4】図４は、例えば図１の装置及びその視野内の表面に対する合成テクスチャの投影の一実施形態を示す図である。

【図5】図５は、視野内の１つ以上の領域が３Ｄ測距のための十分な「自然」テクスチャを有さず且つそのような領域に対する３Ｄレンジデータを得るために合成テクスチャが使用される場合に、例えば図１の装置により撮像されたシーンに対する３Ｄレンジデータを得る方法の別の実施形態を示す論理フローチャートである。

【図6】図６は、例えば図１の装置により撮像されたシーンに対する３Ｄレンジデータを得る方法の更に別の実施形態を示す論理フローチャートである。

【図7】図７は、視野内の「影になる」領域を示す図１の装置の一実施形態を示す図である。

【発明を実施するための形態】

【0021】

図１は、本明細書において考えられるマシンビジョン装置１０の一実施形態を示す。示される装置１０は、視野からの画像データを２つ以上の視点から取り込めるようにする多視点機能を有する（マシン）撮像システム１２（例えば、立体カメラシステム）を備える。多視点撮像システム１２は、１つ以上の画像プロセッサ１４を更に含むか又はそれに関連付けられる。画像プロセッサ１４は専用の視覚処理リソースであってもよく、あるいは、装置１０に同様に含まれる１つ以上の制御プロセッサ１６内に組み込まれてもよい。後者のオプションは、低コストのシステムにおいて及び／あるいは制御プロセッサ１６が十分に強力であるか、線形処理又はマシンビジョンに使用される他の数値アルゴリズムの実行に対して特に適応される場合に魅力的である。

【0022】

１つ以上の実施形態において、制御プロセッサ１６は、１つ以上のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、ＡＳＩＣ、ＦＰＧＡ又は他のデジタル処理回路を備える。画像プロセッサ１４及び／又は制御プロセッサ１６が１つ以上のマイクロコントローラ及び／又はＤＳＰ等の中のプログラム可能デジタルプロセッサを使用して実現される場合、そのようなプログラム可能デジタル処理回路網は、格納されたコンピュータプログラム命令の実行に基づいて、本明細書において提示される処理方法を実行するように特に構成されることが理解されるだろう。すなわち、画像プロセッサ１４及び制御プロセッサ１６は、示されるメモリ２０、あるいは画像プロセッサ１４及び／又は制御プロセッサ１６がアクセスできる別のコンピュータ可読媒体に保持された１つ以上の格納されたコンピュータプログラムの実行に基づく特定の機械、すなわち個別化処理回路として構成される。

【0023】

構成の一例として、図面は、機械警備センサ又は他の３Ｄボリューム監視センサとしての動作等の装置１０のトップレベルの機能性を備えるトップレベル又は「ノーマル」アプリケーション２２を示す。示される「学習モード」アプリケーション２４は、トップレベルプログラム２２のサブセット又は付属物であってもよい。構成の本例において、学習モードアプリケーション２４は、装置１０の初期セットアップ又は再構成のために呼び出される。メモリ２０は、機械警備又は他の３Ｄボリューム監視設備における装置１０の動作に関連する監視される背景等に対する学習したレンジ情報等の他のデータを保持することが理解されるだろう。この点において、メモリ２０は２つ以上のメモリ回路及び／又は２種類以上のメモリを備える場合がある。例えばメモリ２０は、ＲＡＭ及びＲＯＭ又はＥＰＲＯＭ（又はＥＥＰＲＯＭ、又はＦＬＡＳＨ）を含む。尚、画像プロセッサ１４及び制御プロセッサ１６は、作業データ及び／又はプログラムを格納するためのワンチップメモリを含む場合がある。

【0024】

装置１０の実施形態における更なる詳細によると、制御プロセッサ１６は、取り込み制御器３０、境界データマネージャ３２、３Ｄ画像データ評価器３４及び誘導データ生成器３６を含む。尚、これらの回路は、制御プロセッサ１６によるコンピュータプログラム命令の実行を介して機能要素としてプログラムで実現されてもよい。当然、これらの回路の一部又は全ては専用回路網で実現されてもよく、あるいは専用回路網及びソフトウェア回路網の何らかの組み合わせで実現されてもよい。更に、画像プロセッサ１４により実行される画像関連処理の一部と制御プロセッサ１６により実行される画像関連処理の一部とは重複する場合があり、画像プロセッサ１４により実現される特定の画像処理は使用される撮像システムの構成に依存することが理解されるだろう。多視点撮像システム１２が立体カメラ、すなわち重複する視野を有する２つ以上のカメラを使用するシステムである場合、マシンビジョン及び３Ｄレンジを抽出するための既知の立体撮像アルゴリズムが装置１０により使用される。

【0025】

示される装置１０は、ＵＳＢインタフェース等のＰＣインタフェース４２、キーパッド／タッチスクリーン４４、ディスプレイ及び／又は視覚表示器の集合４６、並びにテクスチャツール４８のうちのいずれか１つ以上を含む入出力（Ｉ／Ｏ）回路網４０を更に含む。テクスチャツール４８は、多視点撮像システム１２及び装置１０の関連する画像プロセッサ１４による３Ｄレンジ／特徴を抽出するための十分な自然テクスチャを有さない表面上に「合成テクスチャ」を投影するように構成された光源である。

【0026】

従って、少なくとも１つの実施形態において、装置１０は、多視点撮像システム１２の多視点センサにより取り込まれた３Ｄシーンを評価し且つ当該３Ｄシーンの何らかの部分が３Ｄレンジを判定するための十分な自然テクスチャを有さないかを判定するように構成される。そのようなテクスチャを有さない部分が存在する場合、装置１０は、自身に含まれるテクスチャツール４８を起動し、視野内の低テクスチャ領域に合成テクスチャを投影する。１つの例において、テクスチャツール４８は一般に視野を照明するフラッドパターンを提供し、テクスチャツール４８の「照準合わせ」は通常は必要ない。別の実施形態において、テクスチャツール４８はより指向性であり、装置１０は、パン／チルト／ズーム制御を使用して、３Ｄ測距のための十分な自然テクスチャを有さない視野の特定の部分への合成テクスチャの投影を方向付ける。

【0027】

この点において、少なくとも１つの実施形態における装置１０は、多視点センサにより提供された各視点から取り込まれた画像を表すデジタルデータセットを例えば既知の立体視処理アルゴリズムに従って評価し且つそのような画像又はそれらから得られた合成画像の何らかの部分が正確に測距されないかを判定するように構成されることが理解されるだろう。テクスチャツール４８が指向性である場合、装置１０は、視野内の低テクスチャ領域にテクスチャツール４８を向けるために必要なパン／チルト設定を決定し、合成テクスチャが低テクスチャ領域に投影されている間に少なくとも低テクスチャ領域に対する画像データを再度取り込む。（尚、照明ビームのサイズを増加又は減少するために使用可能なテクスチャツール４８の「ズーム」制御が更に存在する場合がある。）
装置１０は、新しく取り込まれた画像データを評価し、必要に応じて他の低テクスチャ領域に対して処理を繰り返すか、あるいは、適切なレンジ情報が得られるか又は繰り返しの数がプログラム上の限度に到達するまで同じ低テクスチャ領域に対する処理を繰り返す。これらの動作の一部として、装置１０は、テクスチャツール４８により投影されている合成テクスチャの種類及び／又はパターンを変更する場合がある。

【0028】

例えば図２ａ〜図２ｃを参照する。図２ａは、光の「ドット」のアレイに基づく合成テクスチャパターンを示す。ドットはランダムパターンで構成されてもよく、種々のサイズ及び照明強度のドットを含んでもよい。そのようなアレイは、例えばＬＥＤのアレイを使用して作成されるか、あるいは所望のドットパターンを用いてプリント又は形成されたマスクを介して投影される一般的な光源を使用して作成される。図２ｂは、回折格子を用いて生成されるマルチスケールテクスチャパターンを含む別の合成テクスチャパターンを示す。更に、図２ｃは、懐中電灯等のビームを用いて生成されるような強度減衰パターンを含む更に別の考えられるパターンを示す。

【0029】

テクスチャツールの実現例は、複数の異なる方法で実現可能である。１つの可能な実現例は、シーン上に投影可能なテクスチャパターンを提供できる発光ダイオード（ＬＥＤ）の所望の構成から構成される。別の変形例において、変更されたパターンフィルタを前方に有するか又は有さない強力な光源（例えば、懐中電灯）がシーンのテクスチャを生成するために使用される。あるいは、強力なレーザ光源がシーンの所望のテクスチャを同様に生成できるパターン回折格子を介して透過される。更に、新規の安価なハンドヘルド投影器技術の出現により、システムは要望に応じて高解像度の動的テクスチャパターンを生成できる。投影されるテクスチャパターンのいくつかの例を図２ａ、図２ｂ及び図２ｃに示す。

【0030】

テクスチャツール４８（「テクスチャブラシ」とも呼ばれる）の特定の実現例に関係なく、ツール４８は、それにより所定の表面上に投影された合成テクスチャが装置１０により測定されるか、あるいは確実にセンシング若しくは検出されるような十分な強度で反射されるように、十分なエネルギーを放出する必要がある。換言すると、テクスチャツールは、テクスチャツール４８により照明された領域に対する装置１０により取り込まれた画像データにおいて有意な変化を生成するのに十分な強度で合成テクスチャを投影する必要がある。

【0031】

投影されるパターンは、対応する画像データセット内の画像データの局所近傍が一意のシグネチャを有することで異なるビューにわたり明確にマッチングされることを保証することにより、ビューにわたり特徴のロバスト性を有する対応関係を容易にするように設計される必要がある。多視点撮像システム１２の異なる角度／ビューから得られた画像内のテクスチャパターンを互いに関連させる本機能は、テクスチャパターンが対応アルゴリズムにより採用されるマッチングウィンドウ内で繰り返さないことを必要とする。

【0032】

更に、合成テクスチャを付与したシーンの表面は装置１０から種々の距離に存在するため、テクスチャパターンは複数の縮尺／解像度のテクスチャを含む必要がある。生成されるテクスチャパターンはランダムであってもよく、あるいは、テクスチャツール４８の特定の実現例及び立体相関アルゴリズムに依存して構成されてもよい。

【0033】

本明細書において開示される１つ以上の実施形態の別の利点は、テクスチャツール４８を装置の位置に対して較正される必要がないことである。更に、テクスチャツール４８により生成されたテクスチャパターン／信号を装置１０により個別に識別する必要がなく、それにより投影されたテクスチャパターンの特定の特性を装置１０が事前に認識する必要もない。テクスチャツール４８は、装置１０の多視点撮像システム１２内の複数の撮像センサ又はデバイスにより取得された同一シーンの複数のビューの間のビュー対応を容易にするシーンの更なる特徴を単に生成することにより、装置１０により実現される３Ｄ視覚アルゴリズムの３Ｄ測距性能を向上する。これらの利益は、装置１０により実現される特定のマシンビジョンアルゴリズムに関係なく有用である。

【0034】

合成テクスチャ５８を適用する場合であっても、シーン内の３Ｄ物体又は特徴により生じる自己隠蔽の問題により、「測距可能」ではない小さい部分が視野５４により表される画像シーン内に依然として存在する場合がある。そのような隠蔽の問題は、多視点三角測量撮像システムでは一般的である。簡潔に述べると、装置１０から見えないシーン内に、影になる領域が存在する場合がある。同様に、装置１０から遠距離に存在するシーンのいくつかの部分はテクスチャツール４８から装置１０に十分なエネルギーを反射できない場合があるため、視野５４により表される撮像シーンの背景に対して装置１０により生成される３Ｄレンジマップ内に間隙又は穴が生じる可能性が残る。

【0035】

特に、１つ以上の実施形態におけるテクスチャツール４８は、２種類以上の合成テクスチャを提供し且つ１つのパターンから別のパターンへの手動又は自動切り替えを提供する。１つ以上の実施形態におけるテクスチャツール４８は、例えば１つのドットパターンから別のドットパターンへ変更するか又は１つのマルチスケールテクスチャパターンから別のマルチスケールテクスチャパターンへ変更することにより、１種類のパターン内でもパターンの詳細を変更するように更に構成される。手動切り替えの実施形態において、テクスチャツール４８は、オペレータ（ユーザ）がパターン及び／又はパターンの種類を変更できるようにする選択リング又はダイヤルを有する。テクスチャツール４８が装置１０の制御要素として組み込まれる場合等の自動切り替えの実施形態において、装置１０はテクスチャツール４８を起動し且つオプションでテクスチャツール４８により投影される合成テクスチャのパターン及び／又はパターンの種類を変更するための制御信号を生成する。

【0036】

例えば取り込み制御器３０は、多視点撮像システム１２を直接制御するか又は撮像プロセッサ１４を介して間接制御して、境界データマネージャ３２により管理される関連する境界データを有する定義された監視ボリュームに関連する１つ以上の３Ｄシーンを取り込む。そのようなデータは、キーパッド／タッチスクリーン４４を使用し且つ／又はＰＣインタフェース４２を介してオペレータにより装置１０に提供される。ＰＣインタフェース４２は、構成アプリケーションを実行するか又は装置１０上で実行する構成ソフトウェアとの対話インタフェースを提供するラップトップコンピュータ又は他のＰＣに装置１０を接続する。

【0037】

いずれの場合も、装置１０は、画像プロセッサ１４により出力された後処理済みデジタル画像を含む撮像データを取得する。すなわち、画像プロセッサ１４は、３Ｄ画像評価器３４により評価するためのデジタル画像データを生成するために、多視点撮像システム１２に含まれる多視点センサからの”ｒａｗ”センサデータを処理するように構成される。その場合、１つ以上の実施形態において、３Ｄ画像評価器３４は、デジタル画像により表される３Ｄシーン内の何らかの領域が３Ｄレンジを正確に判定するための十分なテクスチャを有さないかを判定するように構成される。そのような十分なテクスチャを有さない領域が存在する場合、１つ以上の実施形態における誘導データ生成器３６は誘導信号を生成する。装置１０がテクスチャツール４８を組み込み且つ制御する実施形態において、誘導信号はテクスチャツール４８を起動し且つ必要に応じてそれを制御するための制御信号として理解される。

【0038】

図３は、立体又は他の種類の多視点撮像システム１２を含む装置１０において実現される３Ｄ撮像の１つの方法の一実施形態を示す。示される方法１００は、多視点撮像システムの視野に対する多視点画像データを取り込むこと（ブロック１０２）と、対応する３Ｄレンジデータを判定するための十分なテクスチャを有さず低テクスチャ領域と見なされる視野内の領域を識別するために多視点画像データを評価すること（ブロック１０４）とを含む。

【0039】

１つ以上の低テクスチャ領域が識別される場合、方法１００は、１つ以上の低テクスチャ領域に合成テクスチャを投影するために、テクスチャツール４８を制御するか又はテクスチャツール４８を制御するようにユーザを誘導するための出力データ又は信号を生成すること（ブロック１０６）を含む。それに対応して、方法１００は、合成テクスチャを用いて照明されている間に少なくとも１つ以上の低テクスチャ領域に対する多視点画像データを取り込むこと（ブロック１０８）と、低テクスチャ領域の３Ｄ測距のための十分なテクスチャが提供されたかを判定し、そのようなテクスチャが提供された場合に低テクスチャ領域に対する対応する３Ｄレンジデータを更新すること（ブロック１１０）とを含む。

【0040】

方法１００は、ユーザが所望の監視境界に対応するデータを装置１０に入力するか又は装置１０が境界情報を「学習する」等の先行動作を含む場合がある。例えば方法１００は、低テクスチャ領域に対応する更新された３Ｄレンジデータを使用すること含む、装置１０により取得された視野に対する３Ｄレンジデータの使用により、視野内の監視境界を構成する等の後続動作を含むように拡張される。更に、方法１００は、装置１０による構成された監視境界の検証を含むように拡張される。そのような態様の選択された実施形態を本明細書中で以下に詳細に説明する。

【0041】

１つ以上の他の実施形態において、装置１０はテクスチャツール４８を組み込まない。その代わりに、テクスチャツール４８は、低テクスチャ領域に合成テクスチャを投影するためにオペレータにより使用される。この構成の一例のために図４を参照する。図４において、装置１０の示される実施形態が立体カメラ５０−１及び５０−２を含むことがわかる。これらは、装置１０に含まれる多視点撮像システム１２の多視点センサとして機能することが理解されるだろう。

【0042】

立体カメラ５０−１及び５０−２は、低テクスチャ領域５６を含む重複視野５４を有する。装置１０の３Ｄ画像データ評価器は、立体視野５４内に含まれる３Ｄシーンに対する取得したデジタル画像データの処理に基づいて低テクスチャ領域５６を識別する。それに対応して、誘導生成器３６は、テクスチャツール４８を向ける必要のある場所にオペレータを誘導するための例えば指示及び／又は視覚表示器である誘導信号を生成し、それにより、オペレータは低テクスチャ領域５６に合成テクスチャ５８を投影する。

【0043】

一般に、本明細書において考えられる撮像されたシーンに対する高密度３Ｄレンジマップを生成するためのアルゴリズムは、テクスチャツール４８の使用に依存する。第１のステップとして、装置１０は多視点撮像システム１２を介してシーンを取り込み、例えばシーンに対するレンジデータを表す初期３Ｄレンジマップである初期レンジ情報を判定するために画像データを処理する。これは、多視点撮像システム１２内の２つ以上のカメラにより取り込まれた２Ｄ画像内の画素に対するレンジデータを得ることとして理解される。この初期測距は、テクスチャツール４８を介する合成テクスチャ５６の適用を行わずに実行される。

【0044】

装置１０は初期データを評価し、十分なテクスチャを有さないためレンジ情報を含まないシーン内の領域を識別する。例えば装置１０は、視野５４内の低テクスチャ領域５６を識別する。各低テクスチャ領域５６に対して、装置１０は低テクスチャ領域５６の１つ以上に合成テクスチャ５８を投影するためにテクスチャツール４８を使用するようにオペレータ又は他のユーザを誘導する。それに対応して、装置１０は、テクスチャツール４８により照明されるシーン内の表面から反射される光が多い場合に生じる信号飽和を回避するために、多視点撮像システム１２を調節する。同様に、１つ以上の実施形態におけるアルゴリズムは、低テクスチャ領域５６の処理に集中することでシーンの無関係な部分を無視することにより、シーンの動的要素（例えば、テクスチャツール４８を操作するユーザ）による望ましくない干渉に対して更にロバスト性を有する（影響を受けにくくなる）。いずれの場合も、装置１０は、合成テクスチャ５８がシーンの物体の表面上に投影されている間にシーンのレンジ情報を更新する。更なる観察が必要である場合、装置１０はユーザを更に誘導し、３Ｄレンジ画像が十分に高密度で有効なレンジ測定値を含む場合（あるいは、測距の試行回数が所定の限度に到達した場合）、そのような誘導を停止する。

【0045】

上記のアルゴリズムを考慮して、図５は、前述の方法１００の変形又は拡張であると考えられる方法の一実施形態の一例を提供する。この場合、示される方法１２０は、（所望の）監視境界がユーザにより装置１０に手動入力されるか又は装置１０にロードされるという仮定に基づく。その場合、装置１０は、境界を検証するために、視野に対する高密度レンジマップを取り込む。

【0046】

更に詳細には、方法１２０は、装置１０により実現される動作アルゴリズムを表す。この動作アルゴリズムにおいて、低テクスチャ領域５６が識別され、対応するテクスチャツールの誘導がオペレータ（ユーザ）に提供されるか又はテクスチャツール４８が装置１０に組み込まれる場合は装置１０がテクスチャツール４８を制御する。装置１０は、例えば格納されたコンピュータプログラム命令を前述の制御プロセッサ１６を介して実行することにより、示される論理フローチャートにより実現される処理を実行する。

【0047】

示される非限定例である方法１２０は、学習モードに入るか否かの判定を含む（ブロック１２２）。本明細書において、装置１０が学習モードに入る必要があるかを反復チェックする「無限」ループを示すことによりフローチャートを簡略化する。そのような反復チェックは、通常の実行時動作の途中に実行される場合があることが理解されるだろう。例えば学習モードのチェックは、装置１０が領域の監視を提供する自身のトップレベル／ノーマルアプリケーションを実行している間に実行される。当然、装置１０がノーマルアプリケーションに従って動作するための適切な構成を有さない場合、装置１０は自動的に学習モードに入る。あるいは、装置１０は、動作の学習モードに入る必要があることを示す入力信号がＩ／Ｏ回路網４０を介して受信されるかを監視する。これは、外部で生成された信号の読み出し又は検出、並びに／あるいは許可されたコードが装置１０に入力されたかの判定を含む。

【0048】

学習モードが起動されると（ブロック１２２においてＹＥＳ）、視野に対する境界情報が判定される（ブロック１２４）。このステップは、装置１０が現在の視野５４に対するデータの取り込みに基づいて境界情報を自動的に導出することを含んでもよく、装置１０が１つ以上の構成ファイルを読み出し且つ／又はユーザ入力を受信すること含んでもよく、あるいは双方の組み合わせを含んでもよい。従って、画像データを取り込み且つ３Ｄ画像処理を実行する次のステップ（ブロック１２６）は、境界データを判定するステップに含まれる。

【0049】

その後、装置１０は、何らかの境界領域が十分なテクスチャを含まないかを判定する（ブロック１２８）。本明細書において、「十分な」は、レンジ情報を判定するための画像データの正確な空間処理をサポートするのに必要なテクスチャの最低レベルを示す。装置の多視点撮像システム１２の解像度及び関係する３Ｄアルゴリズムに依存して決定される識別可能なテクスチャのより低い限界が存在する場合があるが、当業者には即座に理解されるように、「十分なテクスチャ」の実際の意味は当面のアプリケーションに必要な信頼性及び精度のレベルに依存する。

【0050】

次に、装置１０は、必要に応じて、（識別された）低テクスチャ領域５６に合成テクスチャを投影するためにテクスチャツール４８を制御するか又はテクスチャツール４８を制御するようにユーザを誘導し、更新された画像データを取り込む（ブロック１３０）。一実施形態において、ユーザを「誘導すること」は、例えばオンスクリーン命令又は他の視覚的誘導を提供することを含み、装置１０は、合成テクスチャの所望の位置決めに対するユーザの実際の位置決めに関するフィードバックデータを提供する。例えば装置１０は、実際の視野の画像又はその簡略図のいずれかである視野５４の視覚的描写を表示させる。そのような場合、装置１０は、投影された合成テクスチャ５８が視野５４内で現在検出されている場所を示し且つ／又は低テクスチャ領域５６が視野５４内で存在する場所を示す。

【0051】

次に、装置１０は、十分なテクスチャが提供されたかを判定する（ブロック１３２）。新しい画像データが不十分である場合（ブロック１３４においてＮＯ）、必要に応じて、装置１０はテクスチャツール制御又は誘導ステップ（ブロック１３０）及び判定ステップ（ブロック１３２）を繰り返す。更に、ユーザがテクスチャツール４８を使用して所定の時間に視野５４の相対的に小さい部分しか照明できない場合があるため、装置１０は更なる低テクスチャ領域５６が残っているかをチェックする（ブロック１３６）。

【0052】

すなわち、装置１０は、テクスチャツール４８を使用して照明するか又はテクスチャツール４８を使用して照明するようにユーザに命令する必要のある他の何らかの低テクスチャ領域５６が存在するかをチェックする。そのような低テクスチャ領域５６が存在する場合（ブロック１３６においてＹＥＳ）、装置は必要に応じて誘導ステップ（ブロック１３０）及び判定ステップ（ブロック１３２）を繰り返すが、生成される誘導はそのような低テクスチャ領域５６毎に更新される。更に、１つ以上の実施形態において、装置１０は、境界の３Ｄ撮像／測距が徐々に完成する様子を示すために、更新された境界情報を提供又は表示するように構成される。

【0053】

すなわち、装置は、ユーザにより投影された合成テクスチャ５８からの３Ｄレンジデータの取得に応答して表示された背景情報を十分なデータで補充することにより、低テクスチャ領域５６の補充が進行中であることをユーザが確認できるようにする（この場合、「補充する」とは、低テクスチャ領域５６に対する３Ｄレンジ情報を取得するための十分なテクスチャを装置１０に提供することであると理解される）。これは、装置１０が、強調表示されるか又は示される低テクスチャ領域５６の相対的な場所と共に視野５４の表現を表示し（又は外部表示するためにデータを提供し）且つ低テクスチャ領域５６がテクスチャツール４８から投影された合成テクスチャ５８を使用して正常に測距される際に表示情報を更新することにより実行可能である。

【0054】

照明を必要とする低テクスチャ領域５６がそれ以上存在しない場合（ブロック１３６においてＮＯ）、方法１２０において、次に装置１０は構成された境界を検証する（ブロック１３８）。境界検証処理の例を本明細書中で以下に更に詳細に説明する。

【0055】

上記の処理において、ブロック１３４により表される評価に対して画像データが「十分」ではないと判定することは、低テクスチャ領域５６と識別された領域の１つ以上に対して不十分なテクスチャがテクスチャツール４８を使用するユーザにより提供されたと装置１０が判定することを含む。尚、装置１０は、領域が装置１０により正常に測距されるまで、あるいは何らかの構成された試行数の限度の下で、所定の低テクスチャ領域５６上に合成テクスチャ５８を投影するようにユーザを繰り返し誘導するように構成可能である。更に、試行を繰り返す必要がある場合、装置１０はテクスチャの投影角度を変更し且つ／又は投影される合成テクスチャ５８を変更するようにユーザを誘導する（テクスチャツール４８によりユーザはそのような変更を行えると仮定する）。

【0056】

一実施形態において、ユーザがＰＣツールを使用して境界情報を最初に入力し、その後、装置１０が指定された境界に対する３Ｄ／レンジ情報を取り込み、必要に応じてテクスチャを追加するようにユーザを誘導する。あるいは、装置１０は、（初期）３Ｄ／レンジ情報の取り込み及び検出された低テクスチャ領域の識別に基づき、境界定義ステップを実行又はサポートする。

【0057】

低テクスチャ領域５６の判定に関して、１つ以上の実施形態において、装置１０は、例えば個々のカメラからの２Ｄ画像である２Ｄ画像を解析して画像データ（例えば、画素データ）の近傍におけるコントラストの変動が少ない領域を検出することにより、現在の視野内の低テクスチャ領域５６を識別する。場所（ｘ，ｙ）におけるテクスチャに対するアドホック尺度の一例は以下のように定義可能である。

【数1】

式中、Ｌ（ｘ，ｙ）は２Ｄ画像における画素の場所（ｘ，ｙ）の絶対強度値を示し、Ｔｈは閾値に等しい。

【0058】

上記の式は、所定の点（ｘ，ｙ）の周囲の７×７近傍を評価して、当該領域における局所テクスチャ尺度を計算する。内項｜Ｌ（ｘ−ｉ，ｙ−ｊ）−Ｌ（ｘ，ｙ）｜は、参照画素（ｘ，ｙ）の強度に対する近傍画素（ｘ−ｉ，ｙ−ｊ）の強度の絶対差分を測定する。上記の式において定義される尺度は、中央（参照）画素から十分に異なる（すなわち、絶対強度差分が閾値Ｔｈを上回る）画素の数に等しい。これらの十分に異なる画素の数が近傍内に多いほど、良好なテクスチャ尺度を示す。同様に、この尺度の値が小さい領域は「テクスチャレス」であると考えられる。

【0059】

更に、装置１０は、検出された「テクスチャレス」領域を検査するために、所定のレンジ画像における対応する領域を解析する。従って、テクスチャレス領域は有効な３Ｄ測定値を計算できる十分な画像特徴を有さないと理解可能である。上述のように、少なくとも１つの実施形態において、装置１０はテクスチャツール４８を含み、必要に応じてテクスチャを自動で追加するためにテクスチャツール４８を制御するように構成される。少なくとも１つのそのような実施形態において、装置１０は、例えば学習モードで選択可能に起動するテクスチャツール４８を組み込む。１つ以上の他の実施形態において、学習モードアプリケーション２４を実行することにより、装置１０は視野５４から画像データを取り込み、当該データの３Ｄ解析を実行し、正確な３Ｄ撮像のための十分なテクスチャを有さない視野５４内の領域を識別する。従って、学習モードアプリケーション２４の実行に従って、装置１０は、通常はインストーラ又は他の許可された人物であるユーザと対話し、識別された低テクスチャ領域５６に合成テクスチャ５８を投影するためにハンドヘルド投影器等のテクスチャツール４８を使用するようにユーザに命令する。

【0060】

一実施形態において、装置１０は、当該処理の一部として接続ＰＣ（例えば、ラップトップコンピュータ）と通信する。例えば接続ＰＣは、接続装置１０との間でデータを転送するように構成されたスタンドアロンプログラムであってもよく、あるいは装置１０により提供又はサポートされるブラウザプログラム又は他のアプレットであってもよいプログラムを実行する。

【0061】

いずれの場合も、装置１０は接続ＰＣに情報を転送し、正確な３Ｄ撮像及び対応する測距のための十分なテクスチャを有さない視野５４内の領域を識別する。１つの例として、装置１０は、低テクスチャ領域５６を強調表示した視野／背景データを転送する。この表示は、ユーザがテクスチャツール４８を使用して低テクスチャ領域５６に合成テクスチャ５８を投影すると自動更新される（例えば、リアルタイム又はほぼリアルタイムに）。それに加えて又はその代わりに、装置１０のＩ／Ｏ回路網４０は、キーパッド及びディスプレイ等の１つ以上のユーザインタフェース要素を含む（尚、表示機能及び入力機能の双方を提供するためにタッチスクリーンが使用されてもよい）。図１に示すようなキーパッド／タッチスクリーン４４並びにディスプレイ／視覚表示器４６等のこれらのインタフェース要素は、接続ＰＣを置き換えるか又は補足する。

【0062】

従って、１つ以上の実施形態において、装置１０は、投影された合成テクスチャ５８を自動的に検出し、必要な画像解析を実行し、十分な背景測距精度が達成されたかを判定し、背景データの当該部分を更新するためにＰＣ（又は自身のディスプレイ）に情報を送出する。このように、ユーザは、合成テクスチャ５８の追加を依然として必要とする背景領域を通知される。尚、ディスプレイは、そのような不十分なテクスチャが検出される上記背景領域若しくは領域５６を強調表示し且つ必要に応じて合成テクスチャ５８を位置決めするための矢印又は他の誘導を提供し、取り込みが実行中である時を示すこと等により、ユーザによる合成テクスチャ５８の投影を誘導するために使用可能である。

【0063】

従って、１つ以上の実施形態において、装置１０は立体監視システムの一種であり、立体監視システムで使用される監視境界を検証する方法を提供する。そのような実施形態における装置１０は、装置が自身の視野（ＦＯＶ）に入り込む物体の位置を判定するために多視点対応アルゴリズムを使用できるように構成された２つ以上の撮像デバイス（例えば、カメラ５０）を使用する。装置１０は、ＦＯＶに入り込む物体の位置と事前に定義された監視境界とを比較し且つ検出された物体が事前に定義された監視境界の内側に存在するか否かを判定するように構成される。尚、第１の境界又は警告境界、並びにより近い侵入境界等の複数の境界が構成される場合がある。

【0064】

一般に、事前に定義された監視境界は、シーン内の静止物体、表面又は構造と重なり合わない（又はそれらの影にならない）ように構成される。しかし、影響を受ける領域が十分な画像コントラストを有さないため、装置１０がシーン内の静止物体、表面又は構造の位置を測定できない場合がある。従って、１つ以上の実施形態において、装置１０は監視境界が構成される境界構成ステップ及び検証ステップを提供する。

【0065】

検証ステップにおいて、装置１０は、初期画像データが３Ｄレンジ情報を計算するための十分なテクスチャ情報を有さないシーン内の領域を識別する。装置１０は、テクスチャツール４８を使用して、当該領域内の表面に合成テクスチャを投影することによりそれらの低テクスチャ領域を人工的に照明する。その場合、合成テクスチャは、低テクスチャ領域に対して装置１０により有効な奥行き測定値を生成するための十分な変動を有する種々の光強度のパターンを含む。尚、装置１０はテクスチャツール４８を直接制御してもよい。あるいは、オペレータがテクスチャツール４８を制御してもよく、その場合、装置１０は、合成テクスチャを投影するためにテクスチャツール４８を向けるべき場所をユーザに対して示す誘導／指示信号を生成することにより、そのような使用を「誘導」する。

【0066】

装置１０は、投影された合成テクスチャを追加することにより得られたレンジデータを使用して判定又は更新された奥行きマップを使用して、以前に検出されなかった表面の位置と所望の境界表面とを比較する。尚、合成テクスチャは不規則パターンの形態の投影光であり、１つ以上の実施形態における装置１０はユーザによるテクスチャツール４８の使用を誘導するためにユーザと対話するように構成される。いくつかの例において、装置１０は、合成テクスチャを必要とせずにシーン全体に対する３Ｄレンジデータを計算できる。他の例において、十分な自然テクスチャを有さない複数の領域が存在する場合がある。

【0067】

しかし、装置１０が定義された３Ｄボリュームを監視するマシンビジョンシステムとして使用されることが理解されるだろう。装置１０の非限定適用例は監視、セキュリティ又は機械警備のための使用を含み、その場合、システムの目的は定義された３Ｄボリュームに侵入する物体を検出することである。そのようなボリュームは、通常、装置１０の初期構成及びセットアップ中にオペレータにより判定されるプログラム境界により定義される。この点において、本明細書における教示は、装置１０が十分な精度及び／又は十分な密度の３Ｄレンジ情報を判定するための十分な自然テクスチャを境界領域の１つ以上の部分が有さない場合に、そのような境界の信頼性の高い構成において大きな利点を提供する。この場合、「十分な密度」の１つの例は、３Ｄレンジデータが、多視点画像の所定の小領域内に規則的に分布されたレンジポイントの何らかの定義された最小数に対して計算可能であることを必要とする。

【0068】

いずれの場合も、本明細書中の少なくとも１つの実施形態に対して考えられる装置１０は、境界設定処理を簡略化し、監視されているシーンの高密度レンジマップを都合よく学習することにより、所定のアプリケーションに対する境界の安全性の検証を容易にする。その際、装置１０は、完全な３Ｄレンジ情報を得るために、必要に応じて合成テクスチャ５８を投影するためにテクスチャツール４８を戦略的に使用するか又はその使用を誘導することにより、境界の学習を容易にするという利点を有する。

【0069】

機械警備及び領域監視の分野におけるアプリケーションでは、初期セットアップ中に完全な３Ｄシーンレンジマップを学習する必要がある。これは、３Ｄ世界座標系に対する保護／監視境界を定義するためにユーザにより最終的に使用される（例えば、構成ツールを使用して）。同一の３Ｄシーンレンジマップは、投影された影の検証と共に、３Ｄレンジマップの評価及びシーン内のテクスチャを十分に有さないか又は部分的に有する物体の識別に基づいて、選択された保護／監視境界を検証するために装置１０により更に使用可能である。

【0070】

そのようなアプリケーションにおいて、装置１０は最初にシーンを解析し、十分なテクスチャを含むシーンの場所で有効なレンジ測定値を得る。その後、装置１０は、使用可能なレンジ情報を生成するための十分なテクスチャを有さないシーン内の領域を自動的に識別する。装置１０は、テクスチャツール４８を使用して識別された低テクスチャ領域にテクスチャを「追加」するようにユーザに命令する。

【0071】

そのように命令されると、ユーザはテクスチャツール４８を使用して、閲覧シーンの十分なテクスチャを有さない部分に光パターンを投影する。ユーザは、単にテクスチャツール４８を使用してシーンの方向に向けることにより、投影パターンを物理的表面に放ってシーン内にテクスチャを効果的に「ペイントする」。それに対応して、装置１０は、シーンのテクスチャ不足部分に対する有効なレンジデータを生成するために、当技術において既知であるような何らかの１つ以上の対応及び三角測量アルゴリズムにより、この「合成」テクスチャを解析する。それにより、装置１０により実現される処理はシーンのより完全な３Ｄレンジマップを生成する。

【0072】

一例として、ユーザはＰＣツールを使用して境界情報を最初に入力し、その後、センサは背景に対する３Ｄ／レンジ情報を取り込み、必要に応じてテクスチャを追加するようにユーザを誘導する。あるいは、センサは、（初期）３Ｄ／レンジ情報の取り込み及び検出された低テクスチャ領域の識別に基づく境界定義ステップを実行又はサポートする。

【0073】

テクスチャツール４８の１つの種類は、ＦＯＶ全体に対する高密度テクスチャ投影を提供する。この種類のツールは、装置のＦＯＶ全体を「ペイントする」という利点を有し、必ずしも特定の低テクスチャ領域に移動されるか又は向けられる必要はない。より安価であり且つ必要とする電力の少ない別の種類のテクスチャツール４８は、装置１０のＦＯＶより狭いＦＯＶを有する。すなわち、このテクスチャツール４８は装置１０のＦＯＶ全体を同時に照明しないため、装置１０のより広いＦＯＶ内の特定の低テクスチャ領域にテクスチャを提供するための照準合わせを必要とする。そのため、テクスチャツール４８は例えばパン／チルト／ズーム制御される移動可能な光源であり、装置１０により誘導されるユーザにより照準を合わせられるか、あるいは装置１０により自動的に移動される。尚、テクスチャツール４８はテクスチャ投影のために可視光又は赤外線光を使用する場合がある。

【0074】

図６は、直前に上述した処理又はその変形例を実行するために装置１０により実現されるアルゴリズムの一実施形態に対する論理フローチャートの別の例を示す。本明細書において、示される方法１４０は、装置１０がシーンの高密度レンジマップを取り込んだ後に例えば監視境界を定義するために取り込んだ情報を使用する１つ以上の実施形態において装置１０により実行される処理を示す。従って、そのような処理は「自動的に」境界を学習する一実施形態と見なされる。例えば処理は、装置１０を「学習」又は「構成」モードにすることにより始動又は開始される。１つの例として、装置１０は、ユーザによる許可されたラップトップコンピュータと装置１０との接続、装置１０のユーザインタフェースへの事前に定義されたコードの入力、装置１０への定義された制御信号の適用、あるいはそのような動作の何らかの組み合わせの実行に応答して、構成モードに入る。

【0075】

いずれの場合も、方法１４０における動作アルゴリズムの実施形態は方法１００の拡張又は変形と見なされ、装置１０が視野に対する初期背景レンジマップを取り込むか又は得ることから開始する（ブロック１４２）。初期背景レンジマップは、例えば、装置１０が取り込んだ多視点画像データから装置１０が視野に対して計算できる３Ｄレンジデータセットを含む。

【0076】

方法１４０において、次に装置１０は低テクスチャ領域５６の存在に対して初期背景レンジマップを評価する（ブロック１４４）。１つ以上の低テクスチャ領域５６が識別される場合（ブロック１４６においてＹＥＳ）、方法１４０において、次に装置１０は、識別された低テクスチャ領域５６の１つ以上に合成テクスチャ５８を投影するために、テクスチャツール４８を制御するか又はテクスチャツール４８を制御するようにユーザを誘導する（ブロック１４８）。（これは、そのような低テクスチャ領域５６の全てが照明されるように、テクスチャツール４８が視野の塗りつぶしを提供することであってもよい。）
方法１４０において、次に装置１０は、合成テクスチャ５８が存在する間に、通常は視野全体に対してであるが少なくとも低テクスチャ領域５６の１つ以上に対して新しい画像データを取得し、低テクスチャ領域５６の１つ以上に対する３Ｄレンジデータを判定するか又は少なくとも判定を試み、投影された合成テクスチャ５８により十分に高密度の３Ｄレンジデータが提供された低テクスチャ領域５６に対する初期背景レンジマップを更新する（ステップ１５０）。例えば十分に高密度の３Ｄレンジデータがブロック１４４で識別された低テクスチャ領域５６の全てに対して取得されなかった場合、ブロック１４８及び１５０は繰り返される（ブロック１５２においてＹＥＳ）。しかし、そのような繰り返しは、例えば全体に対して定義された試行数及び／又は識別された低テクスチャ領域５６毎に定義された試行数に限定されてもよい。上述のように、装置によるテクスチャツール４８の制御又はテクスチャツール４８の制御に関するユーザの誘導は、繰り返される処理ブロックにわたり変化してもよい。例えば、テクスチャツール４８は各繰り返しにおいて異なる低テクスチャ領域５６に向けられてもよく、ユーザはそのようにテクスチャツール４８を向けるように誘導されてもよく、あるいは、ユーザは繰り返し間で異なるテクスチャパターン又は強度を使用するか又はテクスチャツール４８の照準視野を変更するように指示されてもよい。

【0077】

装置１０が視野における背景を学習すると、すなわち、十分に高密度の３Ｄレンジデータが視野全体にわたる背景に対して取得されると、方法１４０において、次に装置１０は学習した背景に対する監視境界を定義するか又は得る（ブロック１５４）。更に、方法１４０において、次に装置１０は、ユーザが学習された境界の何らかの面を変更したい場合は、学習された境界を閲覧し（あるいは、境界を表すデータを閲覧し）且つ学習された境界を変更する機会をユーザに提供する（ブロック１５６）。そのような変更が行われると、方法１４０において、次に装置１０は監視境界の有効性を検証する（ブロック１５８）。

【0078】

例えば前述のように、装置１０は視野の投影特性を検証する。例えば、装置１０の視野内の物体を示す図７を参照する。更に詳細には、物体は、学習された監視境界６２により境界付けられる監視ゾーン６０内に存在する。物体が装置１０の視野の一部を望ましくなく「影にする」ことにより、無効な境界を有する影になる領域を作成することがわかる。検証ステップは、測定された３Ｄレンジデータと構成された境界の位置とを比較することにより、そのような無効な境界を判定できる。投影座標（例えば、装置１０の多視点撮像システム１２を中心とする球面座標）において、構成された境界が全ての場所で背景表面に対応する測定された３Ｄレンジポイントより装置１０に近接する場合、この境界は有効である。換言すると、構成された境界は、センサの視点から見た場合に学習された背景表面の背後になってはならない。

【0079】

特に、開示された発明の変形及び他の実施形態は、上述の説明及び関連する図面において提示された教示の利益を有する当業者により着想されるだろう。従って、本発明は開示された特定の実施形態に限定されるべきではなく且つ変形及び他の実施形態は本開示の範囲に含まれることを意図することが理解されるべきである。特定の用語が本明細書中で採用されるが、それらは包括的であり且つ説明するために使用されており、限定する目的で使用されない。

【図1】

【図2a】

【図2b】

【図2c】

【図3】

【図4】

【図5】

【図6】

【図7】