特開 2024-175823 信頼度計算装置、三次元情報作成装置及び信頼度計算方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175823

(43)【公開日】2024-12-19

(54)【発明の名称】信頼度計算装置、三次元情報作成装置及び信頼度計算方法

(51)【国際特許分類】

   G01S 7/497 20060101AFI20241212BHJP

   G01C 3/06 20060101ALI20241212BHJP

   G01S 17/894 20200101ALI20241212BHJP

   G01S 17/86 20200101ALI20241212BHJP

【ＦＩ】

G01S7/497

G01C3/06 120Q

G01C3/06 140

G01S17/894

G01S17/86

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023093856

(22)【出願日】2023-06-07

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】杉山 友樹

【テーマコード（参考）】

2F112

5J084

【Ｆターム（参考）】

2F112AD01

2F112BA16

2F112CA12

2F112DA21

2F112FA03

2F112FA21

2F112FA25

2F112FA35

2F112FA45

5J084AA14

5J084AD01

5J084BA40

5J084EA19

(57)【要約】

【課題】測距値の信頼度を計算する。
【解決手段】三次元情報処理装置は、第１点群データ取得装置により第１のズーム倍率で取得した被写体の点群データである第１点群データを取得する第１取得部と、第１点群データ取得装置が第１点群データを取得する画角と、少なくとも一部が互いに重なり合う画角で点群データを取得する第２点群データ取得装置であって、第２点群データ取得装置により第２のズーム倍率で取得した被写体の点群データである第２点群データを取得する第２取得部と、第１点群データに含まれる点群と第２点群データに含まれる点群のうち、重複部分を特定する特定部と、特定された重複部分を突合させた場合における、第１点群データに対する第２点群データの縮小拡大倍率を算出する算出部と、算出された縮小拡大倍率が所定の閾値より小さいか否かを判定する判定部とを備える。
【選択図】図１５

【特許請求の範囲】

【請求項1】

二次元座標の各座標における距離情報を有する距離画像を取得する距離画像取得部と、
前記距離画像に対応する情報であって、前記距離画像の各座標における赤外光の受光量についての情報を有するＩＲ画像を取得するＩＲ画像取得部と、
特定の反射率を有する評価用チャートを用いて前記評価用チャートまでの距離と受光量との対応関係を予め測定したデータである対応データを参照し、取得した前記距離画像の各座標における距離情報に基づく理想光量を計算する理想光量計算部と、
各座標において、計算により得られた前記理想光量と、前記ＩＲ画像に含まれる赤外線の受光量とを比較した結果に基づき、各座標における信頼度を算出する算出部と
を備える信頼度計算装置。

【請求項2】

前記評価用チャートとは、互いに異なる複数のグレーレベルを有するグレーチャートであり、
前記対応データは、グレーレベルごとに距離と受光量とが互いに対応付けられたデータであり、
取得した前記距離画像の各座標における距離情報に基づき、複数のグレーレベルのうち好適なグレーレベルを選択する選択部を更に有し、
前記理想光量計算部は、選択部により選択されたグレーレベルのデータに基づき、前記理想光量を計算する
請求項１に記載の信頼度計算装置。

【請求項3】

請求項１又は請求項２に記載の信頼度計算装置を用いて三次元情報を作成する三次元情報作成装置であって、
前記距離画像取得部は、第１地点から被写体までの距離情報を有する第１距離画像と、前記第１地点とは異なる地点である第２地点から被写体までの距離情報を有する第２距離画像とを取得し、
前記ＩＲ画像取得部は、前記第１距離画像に対応する第１ＩＲ画像と、前記第２距離画像に対応する第２ＩＲ画像とを取得し、
前記第１距離画像及び前記第１ＩＲ画像に基づく信頼度と、前記第２距離画像及び前記第２ＩＲ画像に基づく信頼度とを比較し、信頼度が高い前記距離画像に基づいて三次元情報を作成する
三次元情報作成装置。

【請求項4】

前記距離画像に対応する情報であって、前記距離画像の各座標における被写体の偏光情報を有する偏光画像を取得する偏光画像取得部と、
取得された偏光画像に基づき、座標ごとに鏡面フラグを付与する鏡面フラグ付与部と、
前記距離画像が各座標において有する距離情報のうち、前記鏡面フラグが付与された座標における距離情報を除去するノイズ除去部と、
取得された前記偏光画像に基づき、面を特定する面特定部とを更に有し、
面と特定された範囲内において、除去された距離情報を補完することにより、面の凹凸を滑らかにすることにより、三次元情報を作成する
請求項３に記載の三次元情報作成装置。

【請求項5】

二次元座標の各座標における距離情報を有する距離画像を取得する距離画像取得工程と、
前記距離画像に対応する情報であって、前記距離画像の各座標における赤外光の受光量についての情報を有するＩＲ画像を取得するＩＲ画像取得工程と、
特定の反射率の被写体を用いて前記被写体までの距離と受光量との対応関係を予め測定したデータである対応データを参照し、取得した前記距離画像の各座標における距離情報に基づく理想光量を計算する理想光量計算工程と、
各座標において、計算により得られた前記理想光量と、前記ＩＲ画像に含まれる赤外線の受光量とを比較した結果に基づき、各座標における信頼度を算出する算出部工程と
を有する信頼度計算方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信頼度計算装置、三次元情報作成装置及び信頼度計算方法に関する。

【背景技術】

【0002】

従来、対象物に向けて測距光を照射し、測定対象物に反射した反射光を受光し、光を照射してから受光するまでの時間を測定することにより、対象物までの距離を算出する方法があった。これらの測距方法は、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式として広く知られている。このようなＴｏＦ方式による測距技術を用いて、多視点から被写体までの距離を観測し、多視点から観測された被写体までの距離情報を合成することにより、被写体の三次元情報を生成する技術があった（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７－１７４５３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＴｏＦ方式による測距技術を用いた場合の仕組み上の制約として、ショットノイズによる確率誤差がある。また、近赤外を吸収しやすい素材、又は赤外線を透過しやすい素材を被写体とする場合、ＴｏＦ方式による測距技術によれば、被写体に照射した測距光が正確に反射されず、測距値が不正確となってしまう問題があった。さらに、ＴｏＦ方式による測距技術によれば、マルチパスの光経路差の問題により、測距値が不正確となってしまう問題があった。

【0005】

不正確な測距値を含む距離画像に基づき被写体の三次元情報を生成する場合、異常値を手動で補正することが考えられる。手動で補正することは手間であるため、画素ごとの測距値の信頼度を知ることができれば、当該画素値を除いたうえで三次元情報を生成することが可能である。しかしながら、測距値の信頼度を判断することは容易でなかった。そこで、正確な三次元情報を生成するため、画素ごとの測距値の信頼度を計算することについての需要があった。

【0006】

本発明は、このような状況に鑑みてなされたものであって、測距値の信頼度を計算することが可能な信頼度計算装置、三次元情報作成装置及び信頼度計算方法の提供を目的とする。

【課題を解決するための手段】

【0007】

［１］本発明の一態様は、二次元座標の各座標における距離情報を有する距離画像を取得する距離画像取得部と、前記距離画像に対応する情報であって、前記距離画像の各座標における赤外光の受光量についての情報を有するＩＲ画像を取得するＩＲ画像取得部と、特定の反射率を有する評価用チャートを用いて前記評価用チャートまでの距離と受光量との対応関係を予め測定したデータである対応データを参照し、取得した前記距離画像の各座標における距離情報に基づく理想光量を計算する理想光量計算部と、各座標において、計算により得られた前記理想光量と、前記ＩＲ画像に含まれる赤外線の受光量とを比較した結果に基づき、各座標における信頼度を算出する算出部とを備える信頼度計算装置である。

【0008】

［２］また、本発明の一態様は、上記［１］に記載の信頼度計算装置において、前記評価用チャートとは、互いに異なる複数のグレーレベルを有するグレーチャートであり、前記対応データは、グレーレベルごとに距離と受光量とが互いに対応付けられたデータであり、取得した前記距離画像の各座標における距離情報に基づき、複数のグレーレベルのうち好適なグレーレベルを選択する選択部を更に有し、前記理想光量計算部は、選択部により選択されたグレーレベルのデータに基づき、前記理想光量を計算するものである。

【0009】

［３］また、本発明の一態様は、上記［１］又は［２］に記載の信頼度計算装置を用いて三次元情報を作成する三次元情報作成装置であって、前記距離画像取得部は、第１地点から被写体までの距離情報を有する第１距離画像と、前記第１地点とは異なる地点である第２地点から被写体までの距離情報を有する第２距離画像とを取得し、前記ＩＲ画像取得部は、前記第１距離画像に対応する第１ＩＲ画像と、前記第２距離画像に対応する第２ＩＲ画像とを取得し、前記第１距離画像及び前記第１ＩＲ画像に基づく信頼度と、前記第２距離画像及び前記第２ＩＲ画像に基づく信頼度とを比較し、信頼度が高い前記距離画像に基づいて三次元情報を作成する三次元情報作成装置である。

【0010】

［４］また、本発明の一態様は、上記［３］に記載の三次元情報作成装置において、前記距離画像に対応する情報であって、前記距離画像の各座標における被写体の偏光情報を有する偏光画像を取得する偏光画像取得部と、取得された偏光画像に基づき、座標ごとに鏡面フラグを付与する鏡面フラグ付与部と、前記距離画像が各座標において有する距離情報のうち、前記鏡面フラグが付与された座標における距離情報を除去するノイズ除去部と、取得された前記偏光画像に基づき、面を特定する面特定部とを更に有し、面と特定された範囲内において、除去された距離情報を補完することにより、面の凹凸を滑らかにすることにより、三次元情報を作成するものである。

【0011】

［５］また、本発明の一態様は、二次元座標の各座標における距離情報を有する距離画像を取得する距離画像取得工程と、前記距離画像に対応する情報であって、前記距離画像の各座標における赤外光の受光量についての情報を有するＩＲ画像を取得するＩＲ画像取得工程と、特定の反射率の被写体を用いて前記被写体までの距離と受光量との対応関係を予め測定したデータである対応データを参照し、取得した前記距離画像の各座標における距離情報に基づく理想光量を計算する理想光量計算工程と、各座標において、計算により得られた前記理想光量と、前記ＩＲ画像に含まれる赤外線の受光量とを比較した結果に基づき、各座標における信頼度を算出する算出部工程とを有する信頼度計算方法である。

【発明の効果】

【0012】

本発明によれば、測距値の信頼度を計算することができる。

【図面の簡単な説明】

【0013】

【図1】実施形態に係る三次元情報生成システムの概要を説明するための第１の図である。

【図2】実施形態に係る三次元情報生成システムの概要を説明するための第２の図である。

【図3】実施形態に係る三次元情報生成システムによる三次元情報の生成方法について説明するための図である。

【図4】実施形態に係る三次元情報生成システムの動作を説明するための第１のフローチャートである。

【図5】実施形態に係る三次元情報生成システムの動作を説明するための第２のフローチャートである。

【図6】実施形態に係る三次元情報生成システムの動作を説明するための第３のフローチャートである。

【図7】実施形態に係る理想ＩＲ値の求め方について説明するための第１の図である。

【図8】実施形態に係る理想ＩＲ値の求め方について説明するための第２の図である。

【図9】実施形態に係る三次元情報生成システムの動作を説明するための第４のフローチャートである。

【図10】実施形態に係る三次元情報生成システムの動作を説明するための第５のフローチャートである。

【図11】実施形態に係る特徴点について説明するための図である。

【図12】実施形態に係る三次元情報生成システムの動作を説明するための第６のフローチャートである。

【図13】実施形態に係る三次元情報生成システムの機能構成の一例について示す機能構成図である。

【図14】実施形態に係る信頼度計算装置の機能構成の一例について示す機能構成図である。

【図15】実施形態に係る信頼度計算部の機能構成の一例について示す機能構成図である。

【図16】実施形態に係る三次元情報作成装置の機能構成の一例について示す機能構成図である。

【図17】実施形態に係る信頼度計算装置及び三次元情報作成装置の内部構成の一例を示すブロック図である。

【発明を実施するための形態】

【0014】

［実施形態］
本発明の態様に係る信頼度計算装置、三次元情報作成装置及び信頼度計算方法について、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。なお、以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。

【0015】

［三次元情報生成システムの概要］
まず図１から図３を参照しながら、実施形態に係る三次元情報生成システム１の概要について説明する。

【0016】

図１は、実施形態に係る三次元情報生成システムの概要を説明するための第１の図である。三次元情報生成システム１は、被写体Ｓの三次元情報を生成する。三次元情報生成システム１は、１台以上の撮像装置１０を備える。撮像装置１０は、距離画像と、ＩＲ画像と、偏光画像と、ＲＧＢ画像とを取得可能な装置である。距離画像と、ＩＲ画像と、偏光画像と、ＲＧＢ画像とは、互いに同一の光軸を有していてもよい。すなわち、撮像装置１０は、距離画像及びＩＲ画像を取得するためのＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサと、偏光画像を取得するための偏光センサと、ＲＧＢ画像を取得するためのイメージセンサとを有しており、それぞれのセンサは、レンズに入射した光の光路を分けることにより、それぞれのセンサに入射するような位置に配置されていてもよい。なお、本実施形態は、同一の光軸を有する場合の一例に限定されず、距離画像、ＩＲ画像、偏光画像、及びＲＧＢ画像は、互いに対応する二次元座標系を有していればよい。

【0017】

撮像装置１０は、例えば、ＴｏＦ方式を用いて、撮像装置１０から被写体Ｓまでの距離情報を取得する。撮像装置１０は、複数の地点から（すなわち、多視点から）被写体Ｓまでの距離情報を取得し、取得した距離情報を合成することにより、被写体Ｓの三次元情報を生成する。なお、ＴｏＦ方式によれば、赤外光を被写体Ｓに照射し、反射光を受光するまでの時間に基づいて被写体Ｓまでの距離を測定する。以下の説明において、ＴｏＦセンサにより赤外光の照射が行われ、所定時間内に受光した光の光量についての情報を、ＩＲ画像と記載する場合がある。

【0018】

なお、撮像装置１０は、例えば図中に示す矢印のように、撮像地点を移動しながらフレーム画像を連続的に撮影することにより、複数の地点から被写体Ｓまでの距離情報を連続的に取得してもよい。撮像装置１０の移動は、例えば撮像装置１０が備える不図示の慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）により測定される加速度や角速度等に基づき特定されてもよい。

【0019】

また、撮像装置１０は、図中に示す２つの地点において、それぞれ異なる装置を予め配置しておき、それぞれの地点から被写体Ｓを撮像することにより、複数の地点から被写体Ｓまでの距離情報を取得してもよい。この場合、三次元情報生成システム１は、複数の撮像装置１０の位置関係を予め取得しておくことが好適である。三次元情報生成システム１が複数の撮像装置１０を備える場合、撮像装置１０の数は限定されず、より多くの撮像装置１０を用いた方が、より多くの情報を取得することが可能となり、より正確な三次元情報を生成することが可能となる。

【0020】

図２は、実施形態に係る三次元情報生成システムの概要を説明するための第２の図である。同図は、三次元情報生成システム１が１台の撮像装置１０により三次元情報を生成する場合の一例について示している。図示するように、被写体Ｓの前には、マーカーＭＫが置かれている。マーカーＭＫは、ワールド座標系の特定のために用いられるものである。したがって、マーカーＭＫは、撮像装置１０により撮像されることにより、位置と向きとが識別可能なものであることが好適である。マーカーＭＫとは、例えばＱＲコード（登録商標）等の識別コードであってもよい。マーカーＭＫは、例えば識別コードを示す画像が、紙やプラスチックの媒体に印刷されたものであってもよい。

【0021】

撮像装置１０は、被写体Ｓの他にマーカーＭＫを撮像する。撮像装置１０は、被写体ＳとマーカーＭＫとを、それぞれ別個独立に（すなわち、被写体Ｓが映されている画像と、マーカーＭＫが映されている画像とを、別のフレーム画像として）撮像してもよいし、被写体ＳとマーカーＭＫの両方が写されている画像を撮像してもよい。撮像装置１０は、例えば、マーカーＭＫを撮像した後に、被写体Ｓを多視点から撮像する。マーカーＭＫを撮像した位置を原点として、ワールド座標系が求められてもよい。すなわち、三次元情報生成システム１は、マーカーＭＫを撮像した地点から撮像装置１０の移動量を、慣性計測装置（不図示）により測定される加速度や角速度等に基づき特定し、撮像装置１０が撮像を行った地点（座標及び向き）を特定する。なお、本実施形態においては、必ずしもマーカーＭＫが用いられることを要せず、その他の方法によりワールド座標系が作成されてもよい。

【0022】

図３は、実施形態に係る三次元情報生成システムによる三次元情報の生成方法について説明するための図である。三次元情報生成システム１によれば、取得した被写体Ｓの距離情報のうち、画素ごと及び面ごとの信頼度を求める。信頼度の計算方法の詳細については後述する。

【0023】

図３（Ａ）は、被写体Ｓが円柱形である被写体Ｓ１である場合の一例である。被写体Ｓ１の３次元情報としては、符号１が付された面と、符号２が付された面が存在する。それぞれの面についての三次元情報は、撮像装置１０により多視点から撮像された画像のうち、当該面の信頼度が高い画像から取得される。それぞれの面についての三次元情報は、異なる画像から取得されてもよい。三次元情報生成システム１は、異なる画像から取得された、それぞれの面についての三次元情報を合成することにより被写体Ｓ１の三次元情報を生成する。

【0024】

図３（Ｂ）は、被写体Ｓが立方体である被写体Ｓ２である場合の一例である。被写体Ｓ２の３次元情報としては、符号１が付された面と、符号２が付された面と、符号３が付された面が存在する。被写体Ｓ２についても同様に、それぞれの面についての三次元情報が異なる画像から取得され、それぞれの面についての三次元情報が合成されることにより被写体Ｓ２の三次元情報が生成される。

【0025】

［三次元情報生成システムの動作］
次に、図４から図１２を参照しながら、実施形態に係る三次元情報生成システム１の動作の一例について説明する。

【0026】

図４は、実施形態に係る三次元情報生成システムの動作を説明するための第１のフローチャートである。同図は、三次元情報生成システム１が行う一通りの動作の一例について示している。以下の説明において、三次元情報生成システム１を操作することにより被写体Ｓの三次元情報を生成する者を、オペレータと記載する場合がある。

【0027】

（ステップＳ１０）まず、被写体Ｓが透過素材の場合、偏光ライト（不図示）がオンされる。偏光ライトは、三次元情報生成システム１に含まれ、被写体Ｓに照明可能な位置に設置される。偏光ライトは、撮像装置１０に備えられていてもよい。被写体Ｓが透過素材であると判断される場合に、例えば、偏光ライトのオンオフ制御は、オペレータにより手動で行われてもよい。また、偏光ライトのオンオフ制御は、撮像装置１０により取得されるＩＲ画像と偏光画像とに基づき解析された結果に応じて、機械的に行われてもよい。

【0028】

（ステップＳ１１）三次元情報生成システム１は、カメラ視点とフレーム数の初期設定を行う。具体的には、カメラ視点Ｎ＝０、フレーム数ＦｒａｍｅＣｎｔ＝０に値がリセットされる。

【0029】

（ステップＳ１２）撮像装置１０は、被写体Ｓの撮像を行う。当該撮像には、距離画像の取得と、ＩＲ画像の取得と、偏光画像の取得と、ＲＧＢ画像の取得とが含まれる。以下、撮像装置１０により撮像された距離画像と、ＩＲ画像と、偏光画像と、ＲＧＢ画像とを区別しない場合、単に画像と記載する場合がある。

【0030】

（ステップＳ１３）三次元情報生成システム１は、撮像が行われた画像の信頼度マップを生成する。信頼度マップとは、画像の座標ごとに信頼度が付与された情報である。信頼度マップは、時間的に連続して撮像された複数の画像それぞれについて生成される。信頼度マップの作成方法については、図５等を参照しながら後述する。三次元情報生成システム１は、作成した信頼度マップに基づき、好適な距離情報を選択的に合成することにより、被写体Ｓの三次元情報を生成する。

【0031】

（ステップＳ１４）三次元情報生成システム１は、生成した被写体Ｓの三次元情報（３Ｄモデル）を表示する。被写体Ｓの三次元情報は、例えば不図示のディスプレイ等に表示される。その他の具体例として、被写体Ｓの三次元情報は、視覚的に認識可能な態様において、所定の方法により投影されてもよい。オペレータは、表示された被写体Ｓの三次元情報を確認する。

【0032】

（ステップＳ１５）オペレータは、表示された被写体Ｓの三次元情報を確認した結果、三次元情報の生成処理を終了するか否かを判断する。オペレータは、例えば、表示された三次元情報にノイズが重畳しており、被写体Ｓの三次元形状が十分に表されていない（すなわち実物と異なる）と判断した場合に、三次元情報の生成処理を継続することができる。三次元情報の生成処理を終了すると判断された場合（すなわち、ステップＳ１５；ＹＥＳ）、処理がステップＳ１６に進められる。また、三次元情報の生成処理を終了しない（すなわち三次元情報の生成処理を継続する）と判断された場合（すなわち、ステップＳ１５；ＮＯ）、処理がステップＳ１７に進められる。

【0033】

（ステップＳ１６）三次元情報生成システム１は、三次元情報を対象のファイル形式にエクスポート（Ｅｘｐｏｒｔ）する。エクスポートされたファイルは、所定の記憶部に記憶される。

【0034】

（ステップＳ１７）三次元情報の生成処理が継続される場合、再度、撮像装置１０により撮像処理が行われる。撮像処理は、撮像装置１０の位置を移動して行われてもよいし、撮像装置１０の位置を移動せずに行われてもよい。撮像位置に起因して距離情報が正しく取得できていない場合、撮像装置１０の位置を移動させた方が好適であるし、撮像位置に起因せず距離情報が正しく取得できていない場合、撮像装置１０の位置を移動させることを要しない。撮像装置１０の位置が移動されたか否かは、例えば撮像装置１０に備えられる不図示の慣性計測装置により測定される加速度や角速度等に基づき判定されてもよい。撮像装置１０の位置が移動されたと判定された場合（すなわち、ステップＳ１７；ＹＥＳ）処理がステップＳ１８に進められる。撮像装置１０の位置が移動されていないと判定された場合（すなわち、ステップＳ１７；ＮＯ）処理がステップＳ１９に進められる。

【0035】

（ステップＳ１８）三次元情報生成システム１は、カメラ視点の値をインクリメントする処理を行う。具体的には、カメラ視点Ｎ＋＝１とする処理が行われる。

【0036】

（ステップＳ１９）三次元情報生成システム１は、フレーム数の値をインクリメントする処理を行う。具体的には、フレーム数ＦｒａｍｅＣｎｔ＋＝１とする処理が行われる。

【0037】

図５は、実施形態に係る三次元情報生成システムの動作を説明するための第２のフローチャートである。同図を参照しながら、信頼度マップの生成処理の一例について説明する。信頼度マップの生成処理とは、すなわち、ステップＳ１３として上述した処理である。

【0038】

（ステップＳ２０）三次元情報生成システム１は、ワールド座標として事前に設定した基準点に関する情報を取得する。当該基準点は、図２を参照しながら説明したマーカーＭＫの位置であってもよい。まだマーカーＭＫの位置が取得されていない場合、三次元情報生成システム１は、オペレータに対して、マーカーＭＫを撮像するような指示を行ってもよい。

【0039】

（ステップＳ２１）三次元情報生成システム１は、撮像装置１０に備えられる不図示の慣性計測装置から、加速度及び回転に関する情報等を取得する。

【0040】

（ステップＳ２２）ここで、取得した加速度が閾値以上である場合、手ブレが生じており、画像情報が正しくない（被写体Ｓの情報を好適に取得できていない）場合がある。そこで、三次元情報生成システム１は、取得した加速度が閾値以上である場合（すなわち、ステップＳ２２；ＹＥＳ）、当該画像については三次元情報の生成処理に用いないこととして、信頼度マップの生成処理を終了する。三次元情報生成システム１は、取得した加速度が閾値以上でない場合（すなわち、ステップＳ２２；ＮＯ）、信頼度マップの生成処理を継続し、処理をステップＳ２３に進める。

【0041】

（ステップＳ２３）三次元情報生成システム１は、前回のカメラ位置からの変位と、ステップＳ２０において取得した基準点に関する情報とに基づき、現在のカメラ位置を求める。前回のカメラ位置とは、連続するフレーム画像のうち、現在処理を行っている対象のフレーム画像より、１つ前の瞬間に得られたフレーム画像を撮像したカメラ位置であってもよい。現在のカメラ位置とは、現在処理を行っている対象のフレーム画像を撮像したカメラ位置であってもよい。

【0042】

（ステップＳ２４）三次元情報生成システム１は、求められたカメラ位置から被写体Ｓを撮像した場合における信頼度を作成する。具体的に、三次元情報生成システム１は、距離画像と、ＩＲ画像と、偏光画像とに基づき、信頼度マップを作成する。信頼度マップの具体的な作成方法の詳細については、図６等を参照しながら後述する。

【0043】

（ステップＳ２５）三次元情報生成システム１は、作成された信頼度マップに基づき、カメラ位置ごとに、被写体Ｓをパーツ化する。被写体Ｓについてのパーツ化処理の詳細については、図１１等を参照しながら後述する。

【0044】

図６は、実施形態に係る三次元情報生成システムの動作を説明するための第３のフローチャートである。同図を参照しながら、信頼度マップの生成処理の詳細な処理の一例について説明する。信頼度マップの生成処理の詳細な処理とは、すなわち、ステップＳ２４として上述した処理である。

【0045】

（ステップＳ３０）まず、三次元情報生成システム１は、距離画像と、ＩＲ画像とに基づき、各座標の距離値とＩＲ値とが有効値であるか否かを判定する。有効値であるか否かの判定は、値が所定の閾値内であるか否かに基づいて行われればよい。各座標の距離値とＩＲ値とが有効値でない場合とは、すなわち異常値である場合であり、対象の画素がいわゆるデッドピクセルである場合や、ノイズが重畳したことにより異常値となってしまった場合等を例示することができる。三次元情報生成システム１は、各座標の距離値とＩＲ値とが有効値である場合（すなわち、ステップＳ３０；ＹＥＳ）、処理をステップＳ３１に進める。また、三次元情報生成システム１は、各座標の距離値とＩＲ値とが有効値でない場合（すなわち、ステップＳ３０；ＮＯ）、処理をステップＳ３１に進める。

【0046】

（ステップＳ３１）次に、三次元情報生成システム１は、画素毎の距離値に基づき、理想のＩＲ値（受光量）を求める。ここで、被写体Ｓの赤外線反射率が一定である場合、被写体Ｓまでの距離が変化することに応じて、ＩＲ値も異なる。具体的に、被写体Ｓまでの距離が遠くなるほど受光量は減少し、被写体Ｓまでの距離が近くなるほど受光量が増加する。また、被写体Ｓまでの距離が一定である場合、被写体Ｓの赤外線反射率によって、受光量（ＩＲ値）も異なる。具体的に、被写体Ｓの赤外線反射率が低くなるほど受光量が減少し、被写体Ｓの赤外線反射率が高くなるほど受光量が増加する。

【0047】

本実施形態によれば、距離や被写体Ｓの赤外線反射率に応じてＩＲ値が異なるという特性を用いて、被写体Ｓまでの距離値に基づく理想のＩＲ値を求め、理想のＩＲ値と実際のＩＲ値とに基づいて信頼度を計算する。信頼度とは、具体的には、理想のＩＲ値に対する実際のＩＲ値の比率であってもよい。以下、図７及び図８を参照しながら、理想のＩＲ値（受光量）の計算方法の具体的な一例について説明する。

【0048】

図７は、実施形態に係る理想ＩＲ値の求め方について説明するための第１の図である。同図には、横軸に距離を示し、縦軸にＩＲ値（受光量）を示している。また、同図には、赤外線反射率が互いに異なる３つの被写体についての測定結果を線Ｗ１、線Ｗ２及び線Ｗ３として示している。線Ｗ１は、より赤外線反射率が低く、線Ｗ３は、より赤外線反射率が高い。図中、黒抜きで表現されている点はＩＲ値が十分である点である。一方、白抜きで表現されている点は、ＩＲ値が十分でない点である。

【0049】

なお、図示する情報は、評価用チャートを用いて実測により得られた情報である。評価用チャートとは、互いに異なる複数のグレーレベルを有するグレーチャートであってもよい。評価用チャートがグレーチャートである場合、線Ｗ１とは、より黒に近いグレーレベルを有するチャートであり、線Ｗ３とは、より白に近いグレーレベルを有するチャートである。なお、同図には３つの赤外線反射率を有する評価用チャートを用いた場合の一例が示されているが、例えば１６階調のグレーチャートを用いた場合、１６本の線が引かれることとなる。また、図示する情報は実測されたものであるが、本実施形態は実測により情報が取得される場合の一例に限定されず、何らかの方法により距離とＩＲ値との対応関係が求められればよい。

【0050】

なお、図示する一例において距離値として記載されている１乃至１１は、説明を簡略化するために相対的な距離（すなわち単位無し）を示すものである。実測を行った結果においては、実際の距離値が用いられてもよい。また、距離値の間隔は等間隔であることを要せず、複数の点について情報が存在すればよい。例えば、受光量の変化が小さい範囲においては、受光量の変化が大きい範囲と同様の間隔とすることを要しない。

【0051】

三次元情報生成システム１は、事前準備として、実験等を行うことにより予め図示するような距離と受光量との対応情報を取得しておき、取得した情報を記憶部に記憶しておく。なお、本実施形態は、実験等により距離と受光量との対応情報を取得する場合の一例に限定されず、シミュレーション等により当該対応情報を取得してもよい。

【0052】

三次元情報生成システム１は、信頼度の計算段階において、取得された距離画像に基づき、画素ごとに理想のＩＲ値を求めていく。まず、三次元情報生成システム１は、予め記憶されたデータの中から、信頼度の判定対象となる座標における距離値に最も近い２つのデータを選択する。データの選択においては、ＩＲ値が高いデータが選択される。また、赤外線反射率が低いデータが選択される。例えば図示する一例では、赤外線反射率が最も低い線Ｗ１において好適なデータがあるか否かが探索され、好適なデータが探索されなかった場合、線Ｗ１の次に赤外線反射率が低い線Ｗ２において好適なデータがあるか否かが探索される。例えば、処理対象となる画素における距離値が３．５の場合、線Ｗ１上には好適なデータが存在しない（白抜きの点である）が、線Ｗ２上に好適な２つのデータが存在する（黒抜きの点である）。より具体的には、処理対象となる画素における距離値が３．５の場合、線Ｗ２上における距離値が３であるデータと、距離値が４であるデータとが選択される。

【0053】

また、データの選択において、予め三次元情報の生成対象となる被写体Ｓの反射率が分かっている場合、当該反射率と近いデータを選択してもよい。被写体Ｓの反射率は、オペレータにより選択されてもよいし、撮像装置１０により撮像されたＩＲ画像やＲＧＢ画像等に基づいて判定されてもよい。

【0054】

図８は、実施形態に係る理想ＩＲ値の求め方について説明するための第２の図である。同図には、横軸に距離を示し、縦軸にＩＲ値（受光量）を示している。また、同図には、距離値に基づき選択された２つのデータが、点Ｐ１及び点Ｐ２として示されている。図７において上述した説明と対応付けて説明を行うと、点Ｐ１とは、例えば線Ｗ２上における距離値が３である点であり、点Ｐ２とは、例えば線Ｗ２上における距離値が４である点である。また、線Ｌ１は、点Ｐ１と点Ｐ２とを結ぶ線分である。理想ＩＲ値の計算対象となる座標における距離値（図中、ＣｕｒｒｅｎｔＤｅｐｔｈと記載されている点）と、線分Ｌ１とに基づき、理想ＩＲ値（図中、ＣｕｒｒｅｎｔＲｅｃｏｍｍｅｎｄＩＲと記載されている点）が求まる。

【0055】

図６に戻り、理想ＩＲ値が求められた後の処理について説明する。

【0056】

（ステップＳ３３）三次元情報生成システム１は、求められた理想ＩＲ値に基づき、信頼度を計算する。信頼度とは、信頼度の計算対象となる座標における理想ＩＲ値と、信頼度の計算対象となる座標における距離値との比率等であってもよい。理想ＩＲ値より、実際のＩＲ値が大きくなってしまうような場合、信頼度の上限を１００％として、１００％を超えた値については切り捨てられてもよい。

【0057】

（ステップＳ３２）なお、ステップＳ３０により画素値が有効値でないと判定された場合、信頼度は０とされる。

【0058】

（ステップＳ３４）三次元情報生成システム１は、ステップＳ３１及びステップＳ３２において求められた信頼度を、画素毎に記憶する。以下の説明において、二次元座標上の画素毎に信頼度を有する情報を、信頼度マップとも記載する。

【0059】

（ステップＳ３５）三次元情報生成システム１は、作成された信頼度マップのうち、信頼度が所定の閾値より低い値の画素を、距離画像及びＩＲ画像から除く。

【0060】

（ステップＳ３６）三次元情報生成システム１は、信頼度マップに対して、偏光画像に基づいた情報を付与する。偏光画像に基づいた情報の付与については、図９を参照しながら後述する。ここで、被写体Ｓの反射率及び被写体Ｓに対して照射される光の加減によっては、鏡面反射している場合があり、このような場合、距離情報が正確でない場合がある。本ステップにおける処理を行うことにより、鏡面反射していると推定される画素には鏡面反射フラグが付与されることとなる。また、被写体Ｓによっては、透過部材が用いられている場合があり、このような場合も距離情報が正確でない場合がある。本ステップにおける処理を行うことにより、透過部材が用いられていると推定される画素には透過フラグが付与されることとなる。

【0061】

（ステップＳ３７）三次元情報生成システム１は、鏡面反射フラグ又は透過フラグの少なくともいずれか一方が付与されている画素については、信頼度に関わらず、距離画像及びＩＲ画像から除く。

【0062】

（ステップＳ３８）三次元情報生成システム１は、被写体Ｓの面ごとに凹凸を補正する処理を行う。具体的に、三次元情報生成システム１は、被写体Ｓの面を特定し、面に沿って距離値を一律に滑らかな値に書き換えていくことにより、凹凸を補正する。距離値の書き換えとは、距離画像及びＩＲ画像から除かれた画素値を、当該画素の近傍の画素値に基づいて補完することであってもよい。また、距離値の書き換えとは、同一の面における画素値を、近傍の画素値に基づいて補正することであってもよい。

【0063】

図９は、実施形態に係る三次元情報生成システムの動作を説明するための第４のフローチャートである。同図を参照しながら、偏光画像に基づいた情報の付与処理の一例について説明する。偏光画像に基づいた情報の付与とは、すなわち、ステップＳ３６として上述した処理である。

【0064】

（ステップＳ４０）まず、撮像装置１０により撮像された偏光画像が取得される。当該偏光画像は、上述した説明において信頼度マップの作成に用いられた距離画像に対応するものである。

【0065】

（ステップＳ４１）三次元情報生成システム１は、取得した偏光画像に基づき、鏡面と拡散の反射成分を分離する。ここで、直線偏光の度合い（ＤｏＬＰ；Ｄｅｇｒｅｅ ｏｆ Ｌｉｎｅａｒ Ｐｏｌａｒｉｚａｔｉｏｎ）が大きい座標は、鏡面反射している可能性が高い。したがって、三次元情報生成システム１は、ＤｏＬＰが大きい座標に対して、鏡面フラグを付与する。

【0066】

（ステップＳ４２）次に、三次元情報生成システム１は、直線偏光の角度（ＡｏＬＰ；Ａｎｇｌｅ ｏｆ Ｌｉｎｅａｒ Ｐｏｌａｒｉｚａｔｉｏｎ）から、偏光方向を求める。三次元情報生成システム１は、求めた偏光方向と、ＤｏＬＰとに基づき、被写体Ｓの面と、面の法線とを特定する。特定された面は、ラベリング（クラスタリング）が行われる。連続する複数の画像において、同一の面と推定されるものには、同一のラベル（クラス）が付与される。

【0067】

なお、ＤｏＬＰと反射角（入射角）の関係上、ブリュースター角（偏光角）以外においては、２つの反射角が推定される。この曖昧性を解消するため、過去のフレーム画像の情報と現在のフレーム画像の情報とに基づき、接線深度に基づいた法線推定を行うことにより、近いものを選択してもよい。

【0068】

（ステップＳ４３）三次元情報生成システム１は、特定された面についての、ノイズ除去を行う。

【0069】

（ステップＳ４４）次に、三次元情報生成システム１は、偏光ライトを用いて被写体Ｓが透過素材であるか否かを判定する。しかしながら、撮像装置１０によっては、偏光ライトを有するものと、有しないものとが存在する。そこで、まず三次元情報生成システム１は、撮像装置１０が偏光ライトを有するか否かを判定する。撮像装置１０が偏光ライトを有する場合（すなわち、ステップＳ４４；ＹＥＳ）、処理をステップＳ４５に進めることにより、透過素材であるか否かの判定処理を行う。撮像装置１０が偏光ライトを有しない場合（すなわち、ステップＳ４４；ＮＯ）、処理を終了する。

【0070】

（ステップＳ４５）三次元情報生成システム１は、被写体Ｓが透過素材であるか否かを判定する。透過素材は、光学的性質が変化する素材が多いため、偏光ライトを照射することにより、透過素材であるか否かを判定することができる。透過素材であるか否かの判定は、画素ごとに行われてもよいし、面ごとに行われてもよい。具体的に、透過素材であるか否かの判定には、ＰａｓｓｉｖｅＩＲ画像が用いられる。ＰａｓｓｉｖｅＩＲ画像は、具体的には、ＴｏＦセンサによる赤外光の照射を行わず、環境光が取得された画像であってもよい。偏光ライトを有する撮像装置１０の場合、偏光ライトからの反射光による影響がＰａｓｓｉｖｅＩＲ画像に現れる。そこで、三次元情報生成システム１は、ＰａｓｓｉｖｅＩＲ画像に基づき、光源からの反射強度を求めることにより、透過素材であるか否かの判定を行う。

【0071】

（ステップＳ４６）三次元情報生成システム１は、透過素材であると判定された場合（すなわち、ステップＳ４６；ＹＥＳ）、処理をステップＳ４７に進める。三次元情報生成システム１は、透過素材であると判定されなかった場合（すなわち、ステップＳ４６；ＮＯ）、処理を終了する。

【0072】

（ステップＳ４７）三次元情報生成システム１は、透過素材であると判定された画素ごと、又は面ごとに透過フラグを付与する。なお、透過素材の形状等によっては、光学的特性変化が輪郭部分にしか現れない場合がある。すなわち、面の全てが透過素材であるにもかかわらず、面のエッジ部分周辺が透過素材と判定され、面の中心部分が透過素材であると判定されない場合がある。したがって、透過素材であると判定された画素を有する面と同一面の画素には、全て透過フラグが付与されてもよい。

【0073】

図１０は、実施形態に係る三次元情報生成システムの動作を説明するための第５のフローチャートである。同図を参照しながら、カメラ視点ごとのパーツ化処理の一例について説明する。カメラ視点ごとのパーツ化処理とは、すなわち、ステップＳ２５として上述した処理である。

【0074】

（ステップＳ５０）まず、三次元情報生成システム１は、現在フレームの信頼度マップと、過去フレームの信頼度マップとを取得する。

【0075】

（ステップＳ５１）次に、三次元情報生成システム１は、現在フレームと過去フレームそれぞれについて、面要素を求める。面であるか否かは、取得した信頼度マップに対応する距離画像に基づいて求められる。

【0076】

（ステップＳ５２）三次元情報生成システム１は、距離画像に基づいて特徴点を特定する。特徴点とは、面を構成する点のうち特徴となる点である。特徴点は、面ごとに例えば４点ずつ特定される。三次元情報生成システム１は、現在フレームの特徴点と、過去フレームの特徴点とを特定する。三次元情報生成システム１は、特定された現在フレームの特徴点と、過去フレームの特徴点とをマッチングさせることにより類似点を求める。特徴点の詳細について、図１１を参照しながら説明する。

【0077】

図１１は、実施形態に係る特徴点について説明するための図である。まず、面ごとに特定される特徴点の具体的な一例について、図１１（Ａ）を参照しながら説明する。図示する一例において、被写体Ｓは、面ＳＦ１と、面ＳＦ２と、面ＳＦ３とを少なくとも有する。同図には、面ＳＦ１についての特徴点を４点示している。具体的に面ＳＦ１は、矩形であり、矩形の頂点Ｐ１１乃至頂点Ｐ１４が特徴点として特定されている。なお、特徴点の数は面を特定するために必要な点数だけあればよく、図示したような４点の場合の一例に限定されない。特徴点の数は、面ごとに異なっていてもよい。例えば、複雑な形状を有する面の特徴点の数は多くてもよい。

【0078】

図１１（Ｂ）は、現在フレームの特徴点と、過去フレームの特徴点とのマッチングについて説明するための図である。同図に示すように、撮像装置１０は、複数の位置から被写体Ｓを撮像する。図示する一例において、撮像装置１０は、符号１０－１における地点と、符号１０－２における地点とから、被写体Ｓを撮像している。いずれの地点から撮像した場合においても、被写体Ｓの特徴点が特定される。三次元情報生成システム１は、特定された現在フレームの特徴点と、過去フレームの特徴点とをマッチングさせることにより、類似点を求める。

【0079】

（ステップＳ５３）図１０に戻り、三次元情報生成システム１は、撮像装置１０に備えられる慣性計測装置から取得した情報と、ステップＳ５２において求められた類似点とに基づき、撮像装置１０の変位を求める。撮像装置１０の変位とは、対象となる過去フレームを撮像した地点から、現在フレームを撮像した地点までの変位である。

【0080】

（ステップＳ５４）三次元情報生成システム１は、現在フレームにおける被写体Ｓの三次元情報を、基準点を原点としたワールド座標系の座標に変換する。ワールド座標系の座標とは、ステップＳ２０において取得されたものである。

【0081】

（ステップＳ５５）三次元情報生成システム１は、対象となるフレーム画像において、ラベル単位（すなわち、面単位）で、信頼度の高いフレーム画像を探索し、当該面の三次元情報を用いて、被写体Ｓの三次元情報を合成する。換言すれば、三次元情報生成システム１は、面ごとに、異なるフレーム画像から信頼度の高い三次元情報を抽出し、抽出された三次元情報をワールド座標系に合成していくことにより、被写体Ｓの三次元情報を生成する。

【0082】

図１２は、実施形態に係る三次元情報生成システムの動作を説明するための第６のフローチャートである。同図を参照しながら、三次元情報の合成処理の詳細な一例について説明する。三次元情報の合成処理とは、すなわち、ステップＳ５５として上述した処理である。

【0083】

（ステップＳ６０）三次元情報生成システム１は、対象となるフレーム画像に含まれるラベルが、新規のラベルであるか否かを判定する。新規のラベルとは、三次元情報生成システム１が複数のフレーム画像を処理する中で、これまでに現れていないラベルである。三次元情報生成システム１は、新規のラベルである場合（すなわち、ステップＳ６０；ＹＥＳ）、処理をステップＳ６１に進める。また、三次元情報生成システム１は、新規のラベルでない場合（すなわち、ステップＳ６０；ＮＯ）、処理をステップＳ６２に進める。

【0084】

（ステップＳ６１）三次元情報生成システム１は、新規のラベルである場合、当該ラベルが付与された面の三次元情報を、ワールド座標系に配置する。

【0085】

（ステップＳ６２）三次元情報生成システム１は、新規のラベルでない場合、現在フレームと過去フレームにおいて、同一のラベルを有する面の信頼度を比較する。信頼度の比較は、面に含まれる各座標の信頼度の平均等に基づいて算出された面の信頼度の比較であってもよい。

【0086】

（ステップＳ６３）三次元情報生成システム１は、現在フレームと過去フレームにおいて、同一のラベルを有する面の信頼度が同一である場合（すなわち、ステップＳ６３；ＹＥＳ）、処理をステップＳ６４に進める。また、三次元情報生成システム１は、現在フレームと過去フレームにおいて、同一のラベルを有する面の信頼度が同一でない場合（すなわち、ステップＳ６３；ＮＯ）、処理をステップＳ６５に進める。

【0087】

（ステップＳ６４）現在フレームと過去フレームにおいて、同一のラベルを有する面の信頼度が同一である場合、面の面積が大きい方のラベルが配置される。同一の面の面積を比較した場合、面の面積が大きい方が、面を正面から撮像したものであると推定され、より信頼性の高い情報と推定されるからである。

【0088】

（ステップＳ６５）現在フレームと過去フレームにおいて、同一のラベルを有する面の信頼度が同一でない場合、信頼度が大きい方のラベルが配置される。信頼度が大きい方が、ノイズが重畳しておらず、より三次元情報が正確に取得できていると推定されるからである。

【0089】

［三次元情報生成システムの機能構成］
次に、図１３から図１６を参照しながら、実施形態に係る三次元情報生成システム１の機能構成の一例について説明する。以下に説明する三次元情報生成システム１は、上述したような三次元情報生成処理を実現するための具体的な構成の一例である。

【0090】

図１３は、実施形態に係る三次元情報生成システムの機能構成の一例について示す機能構成図である。同図を参照しながら、三次元情報生成システム１の機能構成の一例について説明する。三次元情報生成システム１は、撮像装置１０と、慣性計測装置２０と、信頼度計算装置３０と、信頼度記憶部４０と、三次元情報作成装置５０とを備える。

【0091】

撮像装置１０は、被写体Ｓを撮像する。撮像装置１０により撮像される画像には、距離画像と、ＩＲ画像と、偏光画像と、ＲＧＢ画像とが含まれる。これらの画像の二次元座標は、互いに対応するものであることが好適である。撮像装置１０は、連続して画像を撮像する。撮像装置１０により撮像される連続した画像は、フレーム画像ということもできる。撮像装置１０は、所定のフレームレートで撮像を行う。所定のフレームレートとは、例えば、１［ＦＰＳ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）］等であってもよく、２４［ＦＰＳ］等であってもよい。

【0092】

慣性計測装置２０は、撮像装置１０の運動を計測する。慣性計測装置２０は、撮像装置１０が備える構成の１つとして構成されていてもよい。慣性計測装置２０は、具体的には、不図示の加速度センサと、ジャイロセンサとを備えており、３軸における加速度及び角速度等を検出する。

【0093】

信頼度計算装置３０は、撮像装置１０により撮像された画像と、慣性計測装置２０により取得された加速度及び角速度とに基づき、各フレーム画像について、座標ごとの信頼度を計算する。各画像における座標ごとの信頼度に関する情報を、信頼度マップとも記載する。信頼度計算装置３０の具体的な構成については、図１４を参照しながら後述する。

【0094】

信頼度記憶部４０は、信頼度計算装置３０により計算された画像ごとの信頼度を記憶する。信頼度記憶部４０には、時間的に連続する複数の画像（フレーム画像）について、信頼度マップが記憶されるということもできる。

【0095】

三次元情報作成装置５０は、信頼度計算装置３０により計算され、信頼度記憶部４０に記憶された複数の信頼度マップを用いて、被写体Ｓの三次元情報を作成する。三次元情報作成装置５０は、時間的に連続する複数の信頼度マップを横断的に参照することにより、被写体Ｓが有する構成（例えば、面）それぞれについて、信頼度が高い部分を特定する。三次元情報作成装置５０は、特定された信頼度が高い部分を、ワールド座標系に合成することにより、被写体Ｓの三次元情報を作成する。

【0096】

図１４は、実施形態に係る信頼度計算装置の機能構成の一例について示す機能構成図である。同図を参照しながら、信頼度計算装置３０の機能構成の一例について説明する。信頼度計算装置３０は、偏光画像取得部３１１と、ＩＲ画像取得部３１２と、距離画像取得部３１３と、信頼度計算部３１４と、キャリブレーション情報記憶部３１５と、鏡面フラグ付与部３１６と、面特定部３１７と、透過素材判定部３１８と、ノイズ除去部３１９と、透過フラグ付与部３２０と、慣性情報取得部３３１と、加速度閾値情報記憶部３３２と、比較部３３３と、変位計算部３３４と、信頼度出力部３４０とを備える。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有するコンピュータおよびソフトウェアによって実現するようにしてもよい。

【0097】

なお、信頼度計算装置３０が備える機能構成として説明する一部の構成は、三次元情報生成システム１に備えられるその他の装置（例えば、三次元情報作成装置５０）に備えられていてもよい。

【0098】

偏光画像取得部３１１は、撮像装置１０により撮像された偏光画像を取得する。当該偏光画像は、二次元座標系の各座標において、被写体Ｓの偏光情報を有するものである。

【0099】

ＩＲ画像取得部３１２は、撮像装置１０により撮像されたＩＲ画像を取得する。当該ＩＲ画像は、二次元座標系の各座標において、赤外光の受光量についての情報を有する。ＩＲ画像は、ＴｏＦセンサを用いて、照射光を照射しない状態における赤外線光量（すなわち、環境光）が取得されたものであってもよい。

【0100】

距離画像取得部３１３は、撮像装置１０により撮像された距離画像（Ｄｅｐｔｈ画像）を取得する。当該距離画像は、二次元座標系の各座標において、撮像装置１０から被写体Ｓまでの距離情報を有する。各座標における距離情報を、距離値又はＤｅｐｔｈ値と記載する場合がある。

【0101】

なお、偏光画像、ＩＲ画像、及び距離画像は、座標が互いに対応するものである。偏光画像、ＩＲ画像、及び距離画像の画素数（解像度）は互いに同一であることが好適であるが、互いに同一である場合の一例に限定されない。すなわち、偏光画像、ＩＲ画像、及び距離画像の各座標は、１対１で対応していることを要せず、互いに対応するものであればよい。

【0102】

撮像装置１０は、異なる複数の地点から被写体Ｓを撮像する。撮像装置１０は、撮像地点を異ならせて、被写体Ｓを撮像し続けてもよい。以下の説明においては、説明の簡略化のため、撮像装置１０が第１地点及び第２地点のそれぞれから被写体Ｓを撮像する場合について説明する。第１地点から撮像された偏光画像を第１偏光画像と、第１地点から撮像されたＩＲ画像を第１ＩＲ画像と、第１地点から撮像された距離画像を第１距離画像と記載する場合がある。第１地点とは異なる第２地点から撮像された偏光画像を第２偏光画像と、第２地点から撮像されたＩＲ画像を第２ＩＲ画像と、第２地点から撮像された距離画像を第２距離画像と記載する場合がある。

【0103】

信頼度計算部３１４は、ＩＲ画像取得部３１２からＩＲ画像を取得し、距離画像取得部３１３から距離画像を取得する。信頼度計算部３１４は、取得したＩＲ画像と距離画像とに基づき、画素ごとの信頼度を計算する。信頼度の計算は、対応データを参照することにより行われる。対応データとは、特定の反射率を有する評価用チャートを用いて、評価用チャートまでの距離と受光量との対応関係を予め測定したデータである。

【0104】

キャリブレーション情報記憶部３１５は、予め測定された対応データを記憶する。対応データは、評価用チャートを用いて測定された、距離とＩＲ値との対応関係であるということもできる。測定に用いられる評価用チャートとは、互いに異なる複数のグレーレベルを有するグレーチャートであることが好適である。測定にグレーチャートが用いられる場合、対応データは、グレーレベルごとに距離と受光量とが互いに対応付けられたデータとなる。

【0105】

図１５は、実施形態に係る信頼度計算部の機能構成の一例について示す機能構成図である。同図を参照しながら、信頼度計算部３１４の機能構成の一例について説明する。信頼度計算部３１４は、選択部３１４１と、理想光量計算部３１４２と、算出部３１４３とを備える。

【0106】

選択部３１４１は、距離画像取得部３１３から距離画像を取得する。選択部３１４１は、取得した距離画像の各座標における距離情報に基づき、複数のグレーレベルのうち好適なグレーレベルを選択する。グレーレベルの選択とは、すなわち被写体Ｓの赤外線反射率に応じたデータを選択することでもある。グレーレベルの選択には、キャリブレーション情報記憶部３１５に記憶された対応情報が参照される。なお、被写体Ｓの赤外線反射率が既知の場合、選択部３１４１は、当該被写体Ｓの赤外線反射率に応じたグレーレベルを選択してもよい。

【0107】

理想光量計算部３１４２は、選択部３１４１により選択されたデータと、距離画像取得部３１３により取得された距離画像の距離値とに基づき、各座標における理想光量を計算する。理想光量の計算は、キャリブレーション情報記憶部３１５に記憶された対応データを参照することにより行われる。

【0108】

算出部３１４３は、各座標において理想光量計算部３１４２が計算をしたことにより得られた理想光量と、ＩＲ画像取得部３１２により取得されたＩＲ画像に含まれる赤外線の受光量とを比較した結果に基づき、各座標における信頼度（すなわち、信頼度マップ）を算出する。図１４に戻り、信頼度計算部３１４により算出された信頼度マップは、鏡面フラグ付与部３１６に出力される。

【0109】

鏡面フラグ付与部３１６は、偏光画像取得部３１１から偏光画像を取得し、信頼度計算部３１４から信頼度マップを取得する。鏡面フラグ付与部３１６は、取得された偏光画像に基づき、信頼度マップに対し、座標ごとに鏡面フラグを付与する。鏡面フラグ付与部３１６は、具体的には、ＤｏＬＰが大きい座標に対して鏡面フラグを付与してもよい。

【0110】

面特定部３１７は、偏光画像取得部３１１から偏光画像を取得し、取得された偏光画像に基づき、被写体Ｓの面を特定する。面特定部３１７は、ＡｏＬＰに基づき偏光方向を求め、求められた偏光方向と、ＤｏＬＰとに基づき、被写体Ｓの面を特定してもよい。また、面特定部３１７は、特定した面ごとにラベリング（クラスタリング）を行う。

【0111】

透過素材判定部３１８は、偏光画像取得部３１１から偏光画像を取得し、取得された偏光画像に基づき、透過素材であるか否かの判定を行う。透過素材であるか否かの判定は、画素ごとに行われることが好適である。画素ごとに行われた透過素材であるか否かの判定結果は、面特定部３１７により特定された面に対して反映されてもよい。

【0112】

ノイズ除去部３１９は、面特定部３１７から面ごとにラベリングが行われた情報を取得し、鏡面フラグ付与部３１６から鏡面フラグが付与された後の信頼度マップについての情報を取得する。ノイズ除去部３１９は、距離画像が各座標において有する距離情報のうち、偏光フラグが付与された座標における距離情報を除去する。また、ノイズ除去部３１９は、面特定部３１７により面と特定された範囲内において、除去された距離情報を補完することにより、面の凹凸を滑らかにする。

【0113】

透過フラグ付与部３２０は、ノイズ除去部３１９から、ノイズが除去された後の信頼度マップを取得し、透過素材判定部３１８から、透過素材であるか否かの判定が行われた結果についての情報を取得する。透過フラグ付与部３２０は、ノイズが除去された後の信頼度マップの各座標のうち、透過素材であると判定された座標に対し、透過フラグを付与する。透過フラグ付与部３２０は、透過フラグを付与した後の信頼度マップを、信頼度出力部３４０に出力する。

【0114】

慣性情報取得部３３１は、慣性計測装置２０から、撮像装置１０の運動に関する情報を取得する。距離画像取得部３１３は、具体的には、３軸における加速度及び角速度等に関する情報を取得する。また、慣性情報取得部３３１は、撮像装置１０により画像が撮像されたタイミングに関する情報を取得してもよい。慣性情報取得部３３１は、撮像装置１０により画像が撮像されたタイミングに関する情報を取得することにより、撮像装置１０により第１の画像が撮像されてから第２の画像が撮像されるまでの間における撮像装置１０の運動に関する情報を取得する。

【0115】

加速度閾値情報記憶部３３２は、加速度閾値に関する情報を記憶する。加速度閾値とは、正常な画像と認められる限度となる加速度である。すなわち、慣性情報取得部３３１により取得された加速度が、加速度閾値以上であれば、正常な画像ではない（例えば、手ブレが生じている画像である）と推定される。

【0116】

比較部３３３は、慣性情報取得部３３１により取得された加速度と、加速度閾値情報記憶部３３２に記憶された加速度閾値とを比較する。比較部３３３は、比較した結果を、変位計算部３３４に出力する。比較した結果とは、すなわち、正常な画像であるか否かを示すものである。

【0117】

変位計算部３３４は、慣性情報取得部３３１から、フレーム画像間における撮像装置１０の運動に関する情報を取得し、比較部３３３から、正常な画像であるか否かの判定結果に関する情報を取得する。変位計算部３３４は、正常な画像である場合、フレーム画像間における撮像装置１０の変位を計算する。変位計算部３３４は、計算の結果得られたフレーム画像間における撮像装置１０の変位に関する情報を、信頼度出力部３４０に出力する。なお、比較部３３３又は変位計算部３３４は、画像が正常でない場合、信頼度マップの計算処理を停止することを、信頼度計算部３１４等に通知してもよい。

【0118】

信頼度出力部３４０は、透過フラグ付与部３２０から信頼度マップを取得し、変位計算部３３４から撮像装置１０の変位に関する情報を取得する。信頼度出力部３４０は、取得した情報を対応付けて信頼度記憶部４０に記憶させる。信頼度記憶部４０には、フレーム画像ごとに、信頼度マップと撮像装置１０の変位に関する情報とが対応付けられて記憶されることとなる。なお、信頼度記憶部４０には、信頼度マップと、撮像装置１０の変位に関する情報とに加え、信頼度マップに対応するＲＧＢ画像や距離画像等が対応付けられて記憶されていてもよい。

【0119】

図１６は、実施形態に係る三次元情報作成装置の機能構成の一例について示す機能構成図である。同図を参照しながら、三次元情報作成装置５０の機能構成の一例について説明する。三次元情報作成装置５０は、信頼度情報取得部５１と、面要素特定部５２と、類似点算出部５３と、合成部５５とを備える。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、ＣＰＵを有するコンピュータおよびソフトウェアによって実現するようにしてもよい。

【0120】

三次元情報作成装置５０は、信頼度記憶部４０に記憶された複数のフレーム画像ごとの信頼度と、撮像装置１０の変位に関する情報とに基づいて、被写体Ｓの三次元情報を生成する。三次元情報作成装置５０は、具体的には、第１の時点における信頼度と、第２の時点における信頼度とを比較し、信頼度が高い距離画像に基づいて三次元情報を作成する。三次元情報作成装置５０は、複数のフレーム画像から、信頼度の高い距離情報を選択的に用いることにより、信頼度の高い三次元情報を生成することができる。

【0121】

信頼度情報取得部５１は、信頼度記憶部４０に記憶された信頼度マップを取得する。また、信頼度情報取得部５１は、信頼度マップに対応付けられた、撮像装置１０の変位に関する情報や、ＲＧＢ画像に関する情報等を取得する。

【0122】

面要素特定部５２は、取得された信頼度マップに対応する距離画像に基づき、面要素を特定する。面要素は、例えば距離情報が連続している面（距離情報が離散的でない面）を特定してもよい。また、面要素特定部５２は、面を特定するための特徴点についても特定する。

【0123】

類似点算出部５３は、現在のフレーム画像における特徴点と、過去のフレーム画像における特徴点とに基づき、類似点を算出する。類似点を算出することにより、現在のフレーム画像と、過去のフレーム画像とをマッチングすることが可能となる。

【0124】

合成部５５は、マッチングされた結果に応じて、複数のフレーム画像のうち、最も信頼度が高いフレーム画像から、面についての距離情報を選択的に抽出し、抽出した面についての距離情報を合成することにより、被写体Ｓの三次元情報を生成する。生成された三次元情報は、オペレータに提示される。

【0125】

図１７は、本実施形態に係る信頼度計算装置３０及び三次元情報作成装置５０の内部構成の一例を示すブロック図である。同図には、信頼度計算装置３０又は三次元情報作成装置５０のいずれか一方の内部構成が示されている。信頼度計算装置３０と三次元情報作成装置５０とは、いずれも、ハードウェア構成として、図示するような内部構成を有していてもよい。信頼度計算装置３０及び三次元情報作成装置５０の少なくとも一部の機能は、コンピュータを用いて実現され得る。図示するように、そのコンピュータは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピュータ自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピュータ内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。

【0126】

［実施形態のまとめ］
以上説明した実施形態によれば、信頼度計算装置３０は、距離画像取得部３１３を備えることにより二次元座標の各座標における距離情報を有する距離画像を取得し、ＩＲ画像取得部３１２を備えることにより距離画像に対応する情報であって距離画像の各座標における赤外光の受光量についての情報を有するＩＲ画像を取得し、理想光量計算部３１４２を備えることにより特定の反射率を有する評価用チャートを用いて距離と受光量との対応関係を予め測定したデータである対応データを参照し取得した距離画像の各座標における距離情報に基づく理想光量を計算し、算出部３１４３を備えることにより各座標において、計算により得られた理想光量と、ＩＲ画像に含まれる赤外線の受光量とを比較した結果に基づき各座標における信頼度を算出する。信頼度計算装置３０は、このような構成を採用することにより、画素ごとの距離値の信頼度を計算することができる。信頼度計算装置３０により計算された信頼度に基づいた三次元情報を生成することにより、不正確な距離値を除いて、被写体の三次元情報を生成することができるため、ノイズの影響等による異常値を排除した、精度の高い三次元情報を生成することができる。

【0127】

また、上述した実施形態によれば、評価用チャートとは、互いに異なる複数のグレーレベルを有するグレーチャートであり、対応データは、グレーレベルごとに距離と受光量とが互いに対応付けられたデータである。また、信頼度計算装置３０は、選択部３１４１を更に有することにより、取得した距離画像の各座標における距離情報に基づき、複数のグレーレベルのうち好適なグレーレベルを選択し、理想光量計算部３１４２は、選択部３１４１により選択されたグレーレベルのデータに基づき、理想光量を計算する。ここで、被写体Ｓの赤外線反射率によっては、受光量が異なる。信頼度計算装置３０によれば、予め測定された赤外線反射率ごとの理想光量と、撮像により得られた光量とを比較することにより、信頼度を計算する。したがって、本実施形態によれば、信頼度を精度よく計算することができる。

【0128】

また、上述した実施形態によれば、三次元情報作成装置５０は、上述したような信頼度計算装置３０を用いて三次元情報を作成する。距離画像取得部３１３は、第１地点から被写体までの距離情報を有する第１距離画像と、第１地点とは異なる地点である第２地点から被写体までの距離情報を有する第２距離画像とを取得し、ＩＲ画像取得部３１２は、第１距離画像に対応する第１ＩＲ画像と、第２距離画像に対応する第２ＩＲ画像とを取得する。また、三次元情報作成装置５０は、第１距離画像及び第１ＩＲ画像に基づく信頼度と、第２距離画像及び第２ＩＲ画像に基づく信頼度とを比較し、信頼度が高い距離画像に基づいて三次元情報を作成する。よって、三次元情報作成装置５０は、信頼度が高い距離情報に基づいて被写体の三次元情報を生成することができるため、ノイズの影響等による異常値を排除した、精度の高い三次元情報を生成することができる。

【0129】

また、上述した実施形態によれば、三次元情報作成装置５０は、偏光画像取得部３１１を更に備えることにより距離画像に対応する情報であって距離画像の各座標における被写体の偏光情報を有する偏光画像を取得し、鏡面フラグ付与部３１６を備えることにより取得された偏光画像に基づき座標ごとに鏡面フラグを付与し、ノイズ除去部３１９を備えることにより距離画像が各座標において有する距離情報のうち鏡面フラグが付与された座標における距離情報を除去し、面特定部３１７を備えることにより取得された偏光画像に基づき面を特定する。また、三次元情報作成装置５０は、面と特定された範囲内において、除去された距離情報を補完することにより、面の凹凸を滑らかにすることにより、三次元情報を作成する。したがって、本実施形態によれば、鏡面等、ＴｏＦセンサが苦手とする素材を被写体Ｓが有していたとしても、被写体Ｓの正確な三次元情報を生成することができる。

【0130】

なお、上述した実施形態における三次元情報生成システム１が備える各装置の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0131】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0132】

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。また、上述した各実施形態を適宜組み合わせてもよい。

【符号の説明】

【0133】

１…三次元情報生成システム、１０…撮像装置、２０…慣性計測装置、３０…信頼度計算装置、４０…信頼度記憶部、５０…三次元情報作成装置、３１１…偏光画像取得部、３１２…ＩＲ画像取得部、３１３…距離画像取得部、３１４…信頼度計算部、３１５…キャリブレーション情報記憶部、３１６…鏡面フラグ付与部、３１７…面特定部、３１８…透過素材判定部、３１９…ノイズ除去部、３２０…透過フラグ付与部、３３１…慣性情報取得部、３３２…加速度閾値情報記憶部、３３３…比較部、３３４…変位計算部、３４０…信頼度出力部、３１４１…選択部、３１４２…理想光量計算部、３１４３…算出部、５１…信頼度情報取得部、５２…面要素特定部、５３…類似点算出部、５５…合成部、Ｓ…被写体、ＭＫ…マーカー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】