2024-162295 三次元情報生成装置及び三次元情報生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024162295

(43)【公開日】2024-11-21

(54)【発明の名称】三次元情報生成装置及び三次元情報生成方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20241114BHJP

   G06T 5/50 20060101ALI20241114BHJP

【ＦＩ】

G06T1/00 500Z

G06T5/50

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023077667

(22)【出願日】2023-05-10

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】籾山 悦郎

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA13

5B057CB13

5B057CE08

5B057DB02

5B057DB03

5B057DB06

5B057DB09

(57)【要約】

【課題】少ないカメラを用いて、容易に被写体の三次元形状を取得する。
【解決手段】三次元情報生成装置は、被写体を撮像した画像情報と、当該画像情報に対応する距離情報とを含む第１画像情報を取得する第１取得部と、少なくとも１つの画素情報を含む第２画像情報を取得する第２取得部と、取得した前記第１画像情報に含まれる画像情報と前記第２画像情報に含まれる情報とを合成することにより、合成画像を生成する画像合成部と、生成された前記合成画像と、前記第１画像情報に含まれる距離情報とに基づき点群データを生成する点群データ生成部とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

被写体を撮像した画像情報と、当該画像情報に対応する距離情報とを含む第１画像情報を取得する第１取得部と、
少なくとも１つの画素情報を含む第２画像情報を取得する第２取得部と、
取得した前記第１画像情報に含まれる画像情報と前記第２画像情報に含まれる情報とを合成することにより、合成画像を生成する画像合成部と、
生成された前記合成画像と、前記第１画像情報に含まれる距離情報とに基づき点群データを生成する点群データ生成部と
を備える三次元情報生成装置。

【請求項2】

前記画像合成部は、取得した前記第１画像情報に含まれる画像情報における列または行についての画素情報と、前記第２画像情報に含まれる画素情報とを交互に有する画像を、前記合成画像として生成する
請求項１に記載の三次元情報生成装置。

【請求項3】

前記第２画像情報は、前記被写体を前記第１画像情報に含まれる画像情報において前記被写体が撮像された方向とは異なる方向から撮像した画像情報と、当該画像情報に対応する距離情報とを含み、
取得した前記第１画像情報に含まれる距離情報と前記第２画像情報に含まれる距離情報とを合成することにより、合成距離画像を生成する距離情報合成部を更に備える
請求項１又は請求項２に記載の三次元情報生成装置。

【請求項4】

前記第１画像情報を撮像する第１撮像装置が設置された地点と、前記第２画像情報を撮像する第２撮像装置が設置された地点との間の距離に関する情報を取得する設置情報取得部を更に備え、
前記距離情報合成部は、取得した前記第１画像情報に含まれる距離情報における列または行方向の距離情報と、前記設置情報取得部により取得された距離から前記第２画像情報に含まれる距離情報における列または行方向の距離情報を引いた距離情報とを、交互に有する距離画像を、前記合成距離画像として生成する
請求項３記載の三次元情報生成装置。

【請求項5】

三次元情報生成装置が実行する三次元情報生成方法であって
被写体を撮像した画像情報と、当該画像情報に対応する距離情報とを含む第１画像情報を取得する第１取得工程と、
少なくとも１つの画素情報を含む第２画像情報を取得する第２取得工程と、
取得した前記第１画像情報に含まれる画像情報と前記第２画像情報に含まれる情報とを合成することにより、合成画像を生成する画像合成工程と、
生成された前記合成画像と、前記第１画像情報に含まれる距離情報とに基づき点群データを生成する点群データ生成工程と
を含む三次元情報生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元情報生成装置及び三次元情報生成方法に関する。

【背景技術】

【0002】

従来、現実世界に存在する物体の三次元形状を取得し、取得した三次元形状に基づき三次元モデルをモデリングすることが行われている。物体の三次元形状を正確に取得するため、複数台の測距カメラを用いて、多視点から被写体の三次元情報を取得する技術があった。複数台の測距カメラからそれぞれ得られた三次元情報は、１つの三次元情報に合成される。複数台の測距カメラを用いて多視点から被写体の三次元情報を取得することにより、１台の測距カメラにより１方向から三次元情報を取得する場合と比べて、より再現度の高い三次元情報を取得することが可能となる。複数台の測距カメラから得られた三次元情報を１つの三次元情報に合成するための技術として、例えば特許文献１に記載された技術を例示することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７－１７４５３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したような従来技術によれば、多視点において撮像された複数の画像データを用いて画像間の相対位置を算出し、画像データの座標変換パラメータを求め、求めた座標変換パラメータに基づいて三次元情報についての貼り合わせを行うことで、１つの三次元情報に合成する。しかしながら、より再現度の高い三次元情報を取得するには、より多くのカメラを用いることを要し、カメラの台数が増えるほど合成処理のための十分なハードウェアリソースが必要となり、また時間も要することとなる。特に、被写体の動的な三次元形状を取得するような場合には、三次元形状の取得が困難であるといった問題があった。また、上述したような従来技術によれば、複数台のカメラを要し、スタジオ設備等の大掛かりな設備を要するといった問題があった。

【0005】

そこで本発明は、このような状況に鑑みてなされたものであって、少ないカメラを用いて、容易に被写体の三次元形状を取得することが可能な三次元情報生成装置及び三次元情報生成方法の提供を目的とする。

【課題を解決するための手段】

【0006】

［１］本発明の一態様は、被写体を撮像した画像情報と、当該画像情報に対応する距離情報とを含む第１画像情報を取得する第１取得部と、少なくとも１つの画素情報を含む第２画像情報を取得する第２取得部と、取得した前記第１画像情報に含まれる画像情報と前記第２画像情報に含まれる情報とを合成することにより、合成画像を生成する画像合成部と、生成された前記合成画像と、前記第１画像情報に含まれる距離情報とに基づき点群データを生成する点群データ生成部と
を備える三次元情報生成装置である。

【0007】

［２］また、本発明の一態様は、上記［１］に記載の三次元情報生成装置において、前記画像合成部は、取得した前記第１画像情報に含まれる画像情報における列または行についての画素情報と、前記第２画像情報に含まれる画素情報とを交互に有する画像を、前記合成画像として生成するものである。

【0008】

［３］また、本発明の一態様は、上記［１］又は［２］に記載の三次元情報生成装置において、前記第２画像情報は、前記被写体を前記第１画像情報に含まれる画像情報において前記被写体が撮像された方向とは異なる方向から撮像した画像情報と、当該画像情報に対応する距離情報とを含み、取得した前記第１画像情報に含まれる距離情報と前記第２画像情報に含まれる距離情報とを合成することにより、合成距離画像を生成する距離情報合成部を更に備えるものである。

【0009】

［４］また、本発明の一態様は、上記［３］に記載の三次元情報生成装置において、前記第１画像情報を撮像する第１撮像装置が設置された地点と、前記第２画像情報を撮像する第２撮像装置が設置された地点との間の距離に関する情報を取得する設置情報取得部を更に備え、前記距離情報合成部は、取得した前記第１画像情報に含まれる距離情報における列または行方向の距離情報と、前記設置情報取得部により取得された距離から前記第２画像情報に含まれる距離情報における列または行方向の距離情報を引いた距離情報とを、交互に有する距離画像を、前記合成距離画像として生成するものである。

【0010】

［５］また、本発明の一態様は、三次元情報生成装置が実行する三次元情報生成方法であって被写体を撮像した画像情報と、当該画像情報に対応する距離情報とを含む第１画像情報を取得する第１取得工程と、少なくとも１つの画素情報を含む第２画像情報を取得する第２取得工程と、取得した前記第１画像情報に含まれる画像情報と前記第２画像情報に含まれる情報とを合成することにより、合成画像を生成する画像合成工程と、生成された前記合成画像と、前記第１画像情報に含まれる距離情報とに基づき点群データを生成する点群データ生成工程とを含む三次元情報生成方法である。

【発明の効果】

【0011】

本発明によれば、少ないカメラを用いて、容易に被写体の三次元形状を取得することができる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態に係る三次元情報生成システムの機能構成の一例を示す機能構成図である。

【図2】第１実施形態に係る三次元情報生成装置の機能構成の一例を示す機能構成図である。

【図3】第１実施形態に係る画像情報の合成について説明するための図である。

【図4】第１実施形態に係る三次元情報生成装置の一連の動作の一例について示すフローチャートである。

【図5】第１実施形態に係る三次元情報生成装置の内部構成の一例を示すブロック図である。

【図6】第２実施形態に係る三次元情報取得システムの機能構成の一例を示す機能構成図である。

【図7】第２実施形態に係る三次元情報生成装置の機能構成の一例を示す機能構成図である。

【図8】第２実施形態に係る画像情報の合成について説明するための図である。

【図9】第２実施形態に係る距離情報のオフセットについて説明するための図である。

【図10】第２実施形態に係る距離画像の合成について説明するための図である。

【図11】第２実施形態に係る三次元情報生成装置の一連の動作の一例について示すフローチャートである。

【発明を実施するための形態】

【0013】

本発明の態様に係る三次元情報生成装置及び三次元情報生成方法について、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。なお、以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。

【0014】

［第１実施形態］
まず、図１から図５を参照しながら、第１実施形態に係る三次元情報生成システム１について説明する。

【0015】

図１は、第１実施形態に係る三次元情報生成システムの機能構成の一例を示す機能構成図である。同図を参照しながら、三次元情報生成システム１の機能構成の一例について説明する。以降の説明において、ｘ軸、ｙ軸及びｚ軸の三次元直交座標系によって三次元情報生成システム１が有する各装置の姿勢や、各装置の位置関係等について説明する場合がある。

【0016】

三次元情報生成システム１は、三次元情報生成装置１０と、撮像装置２０とを備える。三次元情報生成システム１は、三次元情報生成装置１０と、撮像装置２０とを備えることにより、被写体Ｓの三次元情報を取得し、三次元モデルを生成する。撮像装置２０は、被写体Ｓからｚ軸方向に距離Ｄ離れた地点から被写体Ｓを撮像する。被写体Ｓの背後には、ブルースクリーン等のスクリーンＳＣＲが配置されていてもよい。なお、被写体Ｓの三次元形状が、背景と容易に分離可能な場合は、スクリーンＳＣＲを要しない。

【0017】

撮像装置２０は、被写体Ｓの三次元情報を取得可能な測距カメラである。撮像装置２０は、撮像する画像（又は映像）に対応して、被写体Ｓとの距離を二次元的に測定することにより、被写体Ｓの三次元情報を取得する。撮像装置２０により取得される被写体Ｓの三次元情報とは、例えば三次元点群データであってもよい。撮像装置２０は、例えばＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を用いて、被写体Ｓに対して二次元的に光を照射し、反射光を受光するまでの時間に基づいて距離を計測するものであってもよい。撮像装置２０は、取得した被写体Ｓの三次元情報を、第１画像情報ＩＭＧ１として三次元情報生成装置１０に出力する。

【0018】

第１画像情報ＩＭＧ１には、被写体Ｓを所定の方向から撮像した画像情報（例えば、ＲＧＢ画像）と、当該画像情報に対応する距離情報とが含まれる。第１画像情報ＩＭＧ１に含まれる距離情報には、ｘ－ｙ平面における座標情報に対応する複数の距離情報が含まれる。当該距離情報が有するｘ－ｙ平面における座標情報とは、画像が有する画素に対応するものである。以下、ｘ－ｙ平面における座標情報に対応する複数の距離情報を距離画像と記載する場合がある。なお、画像が有する画素ごとに距離情報を有することが好適ではあるが、複数の画素に対して１つの距離情報を有するものであってもよい。すなわち、距離情報についてのｘ－ｙ平面における解像度は、画像情報が有する解像度より低くてもよい。

【0019】

以下の説明において、被写体Ｓのうち、撮像装置２０が存在する面を、被写体Ｓの前面と記載し、スクリーンＳＣＲが存在する面を、被写体Ｓの背面と記載する場合がある。被写体Ｓの前面及び背面は、被写体Ｓの形状から特定されるものではなく、撮像装置２０と被写体Ｓとの位置関係により特定されるものである。したがって、第１画像情報ＩＭＧ１には、被写体Ｓの前面における画像情報と、当該画像情報に対応する距離情報とが含まれるということもできる。

【0020】

三次元情報生成装置１０は、撮像装置２０から第１画像情報ＩＭＧ１を取得する。三次元情報生成装置１０は、取得した第１画像情報ＩＭＧ１に基づき、被写体Ｓの三次元形状を有する三次元モデルを生成する。三次元情報生成装置１０により生成される三次元モデルとは、例えば点群データであってもよい。ここで、三次元情報生成システム１は、１台の撮像装置２０により、１つの方向から被写体Ｓの情報を取得している。したがって、三次元情報生成システム１は、被写体Ｓの背面における情報を十分に取得できない。三次元情報生成装置１０は、撮像装置２０から取得した情報に基づき、被写体Ｓの背面における三次元情報を補完し、三次元モデルを生成する。なお、本実施形態は、必ずしも１台の撮像装置２０のみを用いる場合に限定されるものではなく、複数の撮像装置２０が用いられてもよい。

【0021】

図２は、第１実施形態に係る三次元情報生成装置の機能構成の一例を示す機能構成図である。同図を参照しながら、三次元情報生成装置１０の機能構成の一例について説明する。三次元情報生成装置１０は、第１取得部１１と、第２取得部１２と、画像合成部１３と、点群データ生成部１４と、出力部１５とを備える。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、コンピュータおよびソフトウェアによって実現するようにしてもよい。

【0022】

第１取得部１１は、撮像装置２０から第１画像情報ＩＭＧ１を取得する。第１画像情報ＩＭＧ１には、被写体Ｓを撮像した画像情報と、当該画像情報に対応する距離情報とが少なくとも含まれる。第１取得部１１は、取得した第１画像情報ＩＭＧ１に含まれる画像情報を第１画像情報ＩＭＧ１－１として画像合成部１３に出力する。また、第１取得部１１は、取得した第１画像情報ＩＭＧ１に含まれる距離情報を第１画像情報ＩＭＧ１－２として点群データ生成部１４に出力する。

【0023】

第２取得部１２は、記憶装置２５から、第２画像情報ＩＭＧ２を取得する。第２画像情報ＩＭＧ２には、被写体Ｓの背面を補完するための画素情報が含まれる。また、好適には、第２画像情報ＩＭＧ２には、被写体Ｓの背面を補完するための画像情報が含まれていてもよい。例えば被写体Ｓが人物の顔部分であり、撮像装置２０により当該人物の正面が撮像された場合、被写体Ｓの背面を補完するための画素情報又は画像情報とは、背面における被写体Ｓの色情報又は被写体Ｓの背面の画像情報であってもよい。被写体Ｓの背面における色情報とは、例えば、髪の毛の色情報等であってもよい。この場合、第２画像情報ＩＭＧ２には、少なくとも髪の毛の色を特定する１つの色に関する情報が含まれていればよい。すなわち、第２画像情報ＩＭＧ２には、少なくとも１つの画素情報が含まれていればよい。また、被写体Ｓの背面を補完するための画像情報とは、少なくとも髪の毛の画像情報を有する画像パターンであってもよい。

【0024】

なお、第２画像情報ＩＭＧ２は、記憶装置２５に予め記憶されていることを要しない。例えば、第２画像情報ＩＭＧ２は、第１取得部１１により取得された第１画像情報ＩＭＧ１に含まれる画像情報の一部の画素情報（色情報）を抽出することにより、取得されてもよい。また、第２画像情報ＩＭＧ２は、第１取得部１１により取得された第１画像情報ＩＭＧ１に含まれる画像情報の一部のパターンを抽出することにより、取得されてもよい。また、第２画像情報ＩＭＧ２は、第１取得部１１により取得された第１画像情報ＩＭＧ１を画像解析することにより、推定される被写体Ｓの背面の色を第２画像情報ＩＭＧ２として取得してもよい。

【0025】

画像合成部１３は、第１取得部１１から第１画像情報ＩＭＧ１－１を取得し、第２取得部１２から第２画像情報ＩＭＧ２を取得する。画像合成部１３は、取得した第１画像情報ＩＭＧ１－１に含まれる画像情報と、第２画像情報ＩＭＧ２に含まれる画素情報又は画像情報とを合成することにより、合成画像を生成する。画像合成部１３により行われる画像合成の方法の一例については、図３を参照しながら詳細に説明する。

【0026】

図３は、第１実施形態に係る画像情報の合成について説明するための図である。同図を参照しながら、画像合成部１３により行われる画像合成の方法の一例について詳細に説明する。図３（Ａ）は、第１画像情報ＩＭＧ１－１に含まれる画像情報の一例である。図示するように、同図には、被写体Ｓを前面から撮像した画像情報が示されている。同図に示す一例において、被写体Ｓとは、人物の顔部分である。図３（Ｂ）は、第２画像情報ＩＭＧ２に含まれる画素情報の一例である。図示するように、同図には、被写体Ｓの背面における色の画素を有する画像が示されている。被写体Ｓの背面における色の画素とは、すなわち、被写体Ｓの髪の毛の色を示すものである。当該画素は、被写体Ｓから推定されたものであってもよい。また、図３（Ｂ）に示す画像は、被写体Ｓの背面における画像を表現したパターン画像（すなわち髪の毛のパターン）であってもよい。

【0027】

図３（Ｃ）は、画像合成部１３により画像合成処理が行われた結果として得られる合成画像の一例である。画像合成部１３は、まず、第１画像情報ＩＭＧ１－１に含まれる画像情報に基づき、被写体Ｓの部分をトリミング処理する。トリミング処理が行われた後、画像合成部１３は、被写体Ｓの部分について、第１画像情報ＩＭＧ１－１に含まれる画像情報と、第２画像情報ＩＭＧ２に含まれる画素情報とを交互に有する画像を、合成画像として生成する。画像合成部１３は、第１画像情報ＩＭＧ１－１に含まれる画像情報と、第２画像情報ＩＭＧ２に含まれる画素情報とを、列方向に交互に合成していってもよいし、行方向に交互に合成していってもよい。図示する一例において、画像合成部１３は、第１画像情報ＩＭＧ１－１に含まれる画像情報と、第２画像情報ＩＭＧ２に含まれる画素情報とを列方向に交互に合成している。すなわち、画像合成部１３は、第１画像情報ＩＭＧ１に含まれる画像情報における列または行についての画素情報と、第２画像情報ＩＭＧ２に含まれる画素情報とを交互に有する画像を、合成画像として生成する。

【0028】

なお、画像合成部１３は、１列又は１行ごとに交互に合成する場合の一例に限定されず。複数列又は複数行ごとに交互に合成してもよい。また、画像合成部１３は、列又は行のいずれかごとに交互に合成する場合の一例に限定されず、その他の方向ごとに交互に合成してもよい。更に、画像合成部１３は、所定の方向ごとに交互に合成する場合の一例に限定されず、例えば、１画素ごと、複数画素ごと、又は複数の画素を含んで構成される画素ブロックごとに交互に合成してもよい。

【0029】

図２に戻り、画像合成部１３は、生成した合成画像についての情報を、合成画像ＣＩＭＧとして点群データ生成部１４に出力する。

【0030】

点群データ生成部１４は、第１取得部１１から第１画像情報ＩＭＧ１－２を取得し、画像合成部１３から合成画像ＣＩＭＧを取得する。点群データ生成部１４は、取得した情報に基づき、点群データを生成する。ここで、第１取得部１１から取得した第１画像情報ＩＭＧ１－２には、被写体Ｓの前面における距離情報が含まれ、画像合成部１３から取得した合成画像ＣＩＭＧには、前面及び背面における画像情報が含まれている。点群データ生成部１４は、被写体Ｓの前面における距離情報と、合成画像ＣＩＭＧのうち被写体Ｓの前面部分の画素情報とに基づき、前面における点群データを生成する。また、点群データ生成部１４は、被写体Ｓの背面における距離データを補完し、補完した距離情報と、合成画像ＣＩＭＧのうち被写体Ｓの背面部分の画素情報とに基づき、背面における点群データを生成する。点群データ生成部１４は、前面における点群データと、背面における点群データとを合成し、被写体Ｓの点群データを生成する。点群データ生成部１４は、生成した点群データを、点群データＰＣＤとして出力部１５に出力する。

【0031】

ここで、点群データ生成部１４により行われる、被写体Ｓの背面部分の距離情報の補完処理は、被写体Ｓを物体検知することにより、物体の種類に応じて行われてもよい。また、背面部分の形状が重要でないような被写体の場合は、背面が平面となるように、背面部分の距離情報を一定の値として補完してもよい。

【0032】

出力部１５は、点群データ生成部１４から点群データＰＣＤを取得し、取得した点群データＰＣＤを、不図示の情報処理装置や、記憶装置、又は表示装置等に三次元モデルとして出力する。

【0033】

図４は、第１実施形態に係る三次元情報生成装置の一連の動作の一例について示すフローチャートである。同図を参照しながら、三次元情報生成装置１０により行われる三次元情報生成処理の一連の流れについて説明する。

【0034】

まず、第１取得部１１は、撮像装置２０から、被写体Ｓの前面の画像情報及び距離情報が含まれる第１画像情報ＩＭＧ１を取得する（ステップＳ１１）。次に、第２取得部１２は、記憶装置２５から、第２画像情報ＩＭＧ２を取得する（ステップＳ１２）。画像合成部１３は、取得した第１画像情報ＩＭＧ１と、第２画像情報ＩＭＧ２とに基づき、画像情報を合成することにより、合成画像ＣＩＭＧを生成する（ステップＳ１３）。点群データ生成部１４は、生成された合成画像ＣＩＭＧと、第１画像情報ＩＭＧ１に含まれる距離画像とに基づき、点群データを生成する（ステップＳ１４）。

【0035】

図５は、第１実施形態に係る三次元情報生成装置１０の内部構成の一例を示すブロック図である。三次元情報生成装置１０の少なくとも一部の機能は、コンピュータを用いて実現され得る。図示するように、そのコンピュータは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピュータ自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピュータ内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。

【0036】

［第１実施形態のまとめ］
以上説明した実施形態によれば、三次元情報生成装置１０は、第１取得部１１を備えることにより、被写体を撮像した画像情報と、当該画像情報に対応する距離情報とを含む第１画像情報ＩＭＧ１を取得し、第２取得部１２を備えることにより、少なくとも１つの画素情報を含む第２画像情報ＩＭＧ２を取得し、画像合成部１３を備えることにより、取得した第１画像情報ＩＭＧ１に含まれる画像情報と第２画像情報ＩＭＧ２に含まれる情報とを合成することにより合成画像ＣＩＭＧを生成し、点群データ生成部１４を備えることにより、生成された合成画像ＣＩＭＧと、第１画像情報ＩＭＧ１に含まれる距離情報とに基づき点群データＰＣＤを生成する。すなわち、本実施形態によれば、１台のカメラを用いて、容易に被写体Ｓの三次元形状を取得することができる。

【0037】

また、本実施形態によれば、従来技術のように被写体Ｓの前面における点群データと、背面における点群データとをそれぞれ作成し、点群データ同士を合成するのではなく、被写体Ｓの前面及び背面における情報を有する画像情報と、距離情報とを合成することにより点群データＰＣＤを生成する。ここで、点群データ同士の合成には、多くのリソースを要する。本実施形態によれば、点群データ同士の合成を要せず、予め合成された画像データと距離データとを合成することにより、従来技術より軽い処理により、被写体Ｓの点群データＰＣＤを生成することができる。また、本実施形態によれば、軽い処理により被写体Ｓの点群データＰＣＤを生成することができるため、被写体Ｓの動きを三次元的に取得したいような場合であっても、リアルタイムに変化する被写体Ｓの三次元形状を取得することができる。

【0038】

また、上述した実施形態によれば、画像合成部１３は、取得した第１画像情報ＩＭＧ１に含まれる画像情報における列または行についての画素情報と、第２画像情報ＩＭＧ２に含まれる画素情報とを交互に有する画像を、合成画像ＣＩＭＧとして生成する。当該画像は、点群データＰＣＤの生成のために用いられる画像である。本実施形態によれば、合成画像ＣＩＭＧに基づき、容易に被写体Ｓの三次元形状を表す点群データＰＣＤを生成することができる。

【0039】

［第２実施形態］
次に、図６から図１０を参照しながら、第２実施形態に係る三次元情報生成システム１Ａについて説明する。

【0040】

図６は、第２実施形態に係る三次元情報取得システムの機能構成の一例を示す機能構成図である。同図を参照しながら、三次元情報生成システム１Ａの機能構成の一例について説明する。

【0041】

三次元情報生成システム１Ａは、三次元情報生成装置１０Ａと、複数の撮像装置２０とを備える。以下の説明においては、三次元情報生成システム１Ａが、２台の撮像装置２０を備える場合の一例について説明する。しかしながら、本実施形態は、この一例に限定されず、３台以上の撮像装置２０を備えていてもよい。なお、図示する一例においては、具体的に、複数の撮像装置２０の一例として、第１撮像装置２０－１と、第２撮像装置２０－２とが記載されている。三次元情報生成システム１Ａは、２台以上の撮像装置２０を備える点において三次元情報生成システム１とは異なる。また、三次元情報生成システム１Ａは、三次元情報生成装置１０に代えて三次元情報生成装置１０Ａを備える点において、三次元情報生成システム１とは異なる。

【0042】

三次元情報生成システム１Ａは、三次元情報生成装置１０Ａと、複数の撮像装置２０とを備えることにより、被写体Ｓの三次元情報を、多視点的に観測し、被写体Ｓの三次元情報を生成する。具体的には、三次元情報生成システム１Ａは、被写体Ｓを挟んで互いに対向する位置に備えられた２台の撮像装置２０を備えることにより、被写体Ｓの前面及び背面それぞれについての画像情報及び距離情報を取得する。

【0043】

第１撮像装置２０－１は、被写体Ｓからｚ軸方向に第１距離Ｄ１離れた地点から被写体Ｓを撮像する。第２撮像装置２０－２は、第１撮像装置２０－１に対向する位置であって、被写体Ｓからｚ軸方向に第２距離Ｄ２離れた地点から被写体Ｓを撮像する。対向する位置とは、好適には、第１撮像装置２０－１の光軸と、第２撮像装置２０－２の光軸とが互いに一致する位置であることが好適である。しかしながら本実施形態はこの一例に限定されず、第１撮像装置２０－１の光軸と、第２撮像装置２０－２の光軸とが互いに略一致していればよい。ここで、光軸が互いに略一致する範囲とは、光軸が互いに略平行であり、三次元形状を生成した際の誤差として許容される範囲であってもよい。

【0044】

なお、後述する演算を考慮すると、第１距離Ｄ１と第２距離Ｄ２とは、互いに同一であることが好適である。しかしながら本実施形態はこの一例に限定されず、第１距離Ｄ１と第２距離Ｄ２とが異なる距離であってもよい。三次元情報生成装置１０Ａは、第１距離Ｄ１と第２距離Ｄ２とに関する情報を、予め記憶しているものとする。

【0045】

以下の説明において、被写体Ｓのうち、第１撮像装置２０－１が存在する面を、被写体Ｓの前面と記載し、第２撮像装置２０－２が存在する面を、被写体Ｓの背面と記載する場合がある。被写体Ｓの前面及び背面は、被写体Ｓの形状から特定されるものではなく、第１撮像装置２０－１及び第２撮像装置２０－２と被写体Ｓとの位置関係により特定されるものである。したがって、第１画像情報ＩＭＧ１には、被写体Ｓの前面における画像情報と、当該画像情報に対応する距離情報とが含まれており、第２画像情報ＩＭＧ２には、被写体Ｓの背面における画像情報と、当該画像情報に対応する距離情報とが含まれているということもできる。

【0046】

第１撮像装置２０－１は、被写体Ｓの前面における三次元情報を、第１画像情報ＩＭＧ１として三次元情報生成装置１０Ａに出力する。第２撮像装置２０－２は、被写体Ｓの背面における三次元情報を、第２画像情報ＩＭＧ２として三次元情報生成装置１０Ａに出力する。なお、三次元情報生成装置１０Ａは、第１撮像装置２０－１及び第２撮像装置２０－２によりそれぞれ撮像された画像に基づいて、第１距離Ｄ１と第２距離Ｄ２とを推定してもよい。

【0047】

三次元情報生成装置１０Ａは、第１撮像装置２０－１から第１画像情報ＩＭＧ１を取得し、第２撮像装置２０－２から第２画像情報ＩＭＧ２を取得する。三次元情報生成装置１０Ａは、取得した第１画像情報ＩＭＧ１と第２画像情報ＩＭＧ２とに基づき、被写体Ｓの三次元形状を有する三次元モデルを生成する。三次元情報生成装置１０Ａにより生成される三次元モデルとは、例えば点群データであってもよい。ここで、三次元情報生成システム１Ａは、２台の撮像装置２０により、２つの異なる方向から被写体Ｓの情報を取得している。したがって、三次元情報生成システム１Ａは、被写体Ｓの前面における情報と、背面における情報とを取得することができる。三次元情報生成装置１０Ａは、取得した被写体Ｓの前面における情報と、背面における情報とに基づき、三次元モデルを生成する。なお、本実施形態において、３台以上の撮像装置２０が用いられる場合、被写体Ｓの側面や、上下の面における三次元形状が更に取得されてもよい。

【0048】

図７は、第２実施形態に係る三次元情報生成装置の機能構成の一例を示す機能構成図である。同図を参照しながら、三次元情報生成装置１０Ａの機能構成の一例について説明する。三次元情報生成装置１０Ａは、第２取得部１２に代えて第２取得部１２Ａを、画像合成部１３に代えて画像合成部１３Ａを、点群データ生成部１４に代えて点群データ生成部１４Ａを備える点において三次元情報生成装置１０とは異なる。また、三次元情報生成装置１０Ａは、更に距離情報オフセット部１６と、設置情報取得部１７と、距離情報合成部１８とを備える点において、三次元情報生成装置１０とは異なる。三次元情報生成装置１０Ａの説明において、三次元情報生成装置１０と同様の構成要件については、同様の符号を付すことにより、説明を省略する場合がある。

【0049】

第１取得部１１は、第１撮像装置２０－１から第１画像情報ＩＭＧ１を取得する。第１画像情報ＩＭＧ１には、被写体Ｓを前面から撮像した画像情報と、当該画像情報に対応する距離情報とが少なくとも含まれる。第１取得部１１は、取得した第１画像情報ＩＭＧ１に含まれる画像情報を第１画像情報ＩＭＧ１－１として画像合成部１３Ａに出力する。また、第１取得部１１は、取得した第１画像情報ＩＭＧ１に含まれる距離情報を第１画像情報ＩＭＧ１－２として距離情報合成部１８に出力する。

【0050】

第２取得部１２Ａは、第２撮像装置２０－２から第２画像情報ＩＭＧ２を取得する。第２画像情報ＩＭＧ２には、被写体Ｓを背面から撮像した画像情報と、当該画像情報に対応する距離情報とが少なくとも含まれる。第２取得部１２Ａは、取得した第２画像情報ＩＭＧ２に含まれる画像情報を第２画像情報ＩＭＧ２－１として画像合成部１３Ａに出力する。また、第２取得部１２Ａは、取得した第２画像情報ＩＭＧ２に含まれる距離情報を第２画像情報ＩＭＧ２－２として距離情報オフセット部１６に出力する。

【0051】

画像合成部１３Ａは、第１取得部１１から第１画像情報ＩＭＧ１－１を取得し、第２取得部１２Ａから第２画像情報ＩＭＧ２－１を取得する。画像合成部１３Ａは、取得した第１画像情報ＩＭＧ１－１に含まれる画像情報と、第２画像情報ＩＭＧ２－１に含まれる画像情報とを合成することにより、合成画像を生成する。画像合成部１３Ａにより行われる画像合成の方法の一例については、図８を参照しながら詳細に説明する。

【0052】

図８は、第２実施形態に係る画像情報の合成について説明するための図である。同図を参照しながら、画像合成部１３Ａにより行われる画像合成の方法の一例について詳細に説明する。図８（Ａ）は、第１画像情報ＩＭＧ１－１に含まれる画像情報の一例である。図示するように、同図には、被写体Ｓを前面から撮像した画像情報が示されている。同図に示す一例において、被写体Ｓとは、人物の顔部分である。図８（Ｂ）は、第２画像情報ＩＭＧ２－１に含まれる画像情報の一例である。図示するように、同図には、被写体Ｓを背面から撮像した画像情報が示されている。

【0053】

ここで、画像合成部１３Ａは、まず、第２画像情報ＩＭＧ２－１に含まれる画像情報の左右反転処理を行う。図８（Ｃ）は、画像合成部１３Ａにより、左右反転処理が行われた後の第２画像情報ＩＭＧ２－１の一例が示されている。画像合成部１３Ａは、画像合成処理において、まず、背面の画像を左右反転させることにより、容易に画像合成を行うことができる。なお、左右反転処理は、本実施形態において必須ではなく、左右反転処理を行う前の画像から取り出す画素を左右反転させることにより、左右反転処理を行う前の画像を用いて直接的に画像合成を行うことも可能である。この場合、図８（Ｂ）は、説明の簡易化のための補助的な図であるということもできる。

【0054】

図８（Ｄ）は、画像合成部１３Ａにより画像合成処理が行われた結果として得られる合成画像の一例である。画像合成部１３Ａは、まず、第１画像情報ＩＭＧ１－１に含まれる画像情報に基づき、被写体Ｓの前面部分をトリミング処理する。画像合成部１３Ａは、次に、第２画像情報ＩＭＧ２－１に含まれる画像情報に基づき、被写体Ｓの背面部分をトリミング処理する。背面部分のトリミング処理は、前面部分のトリミング処理をした結果に基づいて、同様の部分がトリミング処理されるものであってもよい。

【0055】

トリミング処理が行われた後、画像合成部１３Ａは、被写体Ｓの部分について、第１画像情報ＩＭＧ１－１に含まれる画像情報と、第２画像情報ＩＭＧ２－１に含まれる画像情報とを交互に有する画像を、合成画像として生成する。画像合成部１３Ａは、第１画像情報ＩＭＧ１－１に含まれる画像情報と、第２画像情報ＩＭＧ２－１に含まれる画像情報とを、列方向に交互に合成していってもよいし、行方向に交互に合成していってもよい。図示する一例において、画像合成部１３Ａは、第１画像情報ＩＭＧ１－１に含まれる画像情報と、第２画像情報ＩＭＧ２－１に含まれる画像情報とを列方向に交互に合成している。すなわち、画像合成部１３Ａは、第１画像情報ＩＭＧ１に含まれる画像情報における列または行についての画素情報と、第２画像情報ＩＭＧ２に含まれる画像情報とを交互に有する画像を、合成画像として生成する。

【0056】

なお、画像合成部１３Ａは、１列又は１行ごとに交互に合成する場合の一例に限定されず。複数列又は複数行ごとに交互に合成してもよい。また、画像合成部１３Ａは、列又は行のいずれかごとに交互に合成する場合の一例に限定されず、その他の方向ごとに交互に合成してもよい。更に、画像合成部１３Ａは、所定の方向事に交互に合成する場合の一例に限定されず、例えば、１画素ごと、複数画素ごと、又は複数の画素を含んで構成される画素ブロックごとに交互に合成してもよい。

【0057】

図７に戻り、画像合成部１３Ａは、生成した合成画像についての情報を、合成画像ＣＩＭＧとして点群データ生成部１４Ａに出力する。

【0058】

設置情報取得部１７は、第１画像情報ＩＭＧ１を撮像する第１撮像装置２０－１が設置された地点と、第２画像情報ＩＭＧ２を撮像する第２撮像装置２０－２が設置された地点との間の距離に関する情報を取得する。当該距離は、すなわち、第１距離Ｄ１と第２距離Ｄ２とを足した距離である。設置情報取得部１７は、第１距離Ｄ１と第２距離Ｄ２とをそれぞれ別個独立に取得してもよいし、１つの距離情報として取得してもよい。

【0059】

距離情報オフセット部１６は、第２取得部１２Ａから、第２画像情報ＩＭＧ２－２を取得する。また、距離情報オフセット部１６は、設置情報取得部１７から、第１画像情報ＩＭＧ１を撮像する第１撮像装置２０－１が設置された地点と、第２画像情報ＩＭＧ２を撮像する第２撮像装置２０－２が設置された地点との間の距離に関する情報、すなわち第１距離Ｄ１と第２距離Ｄ２とを足した距離に関する情報を取得する。距離情報オフセット部１６は、第２撮像装置２０－２により取得された距離情報、すなわち第２撮像装置２０－２から被写体Ｓまでの距離情報を、第１撮像装置２０－１の位置から被写体Ｓまでの距離情報に変換する。以下、距離情報オフセット部１６により行われる距離情報の変換処理を、オフセット処理と記載する場合がある。

【0060】

図９は、第２実施形態に係る距離情報のオフセットについて説明するための図である。同図を参照しながら、距離情報オフセット部１６により行われるオフセット処理について説明する。同図には、第１撮像装置２０－１と、第２撮像装置２０－２と、被写体Ｓとの位置関係が示されている。第１撮像装置２０－１から被写体Ｓの中心位置までの距離は第１距離Ｄ１であり、第２撮像装置２０－２から被写体Ｓの中心位置までの距離は第２距離Ｄ２である。

【0061】

ここで、第２撮像装置２０－２から被写体Ｓまでの距離は、距離Ｄ２１である。距離情報オフセット部１６は、距離Ｄ２１を、第１撮像装置２０－１とｚ軸上において同一に存在する架空の第２撮像装置２０－２’から撮像されたものとして、距離Ｄ２２に変換する。距離Ｄ２１から距離Ｄ２２への変換式は、以下の式（１）により示される。

【0062】

距離Ｄ２２＝（第２距離Ｄ２－距離Ｄ２１）＋第１距離Ｄ１・・・（１）

【0063】

距離情報オフセット部１６は、ｚ－ｙ平面における各座標について、式（１）に基づくオフセット処理を行う。図７に戻り、距離情報オフセット部１６は、オフセット処理を行った結果得られる情報を、第２画像情報ＩＭＧ２－３として距離情報合成部１８に出力する。

【0064】

距離情報合成部１８は、第１取得部１１から第１画像情報ＩＭＧ１－２を取得し、距離情報オフセット部１６から第２画像情報ＩＭＧ２－３を取得する。距離情報合成部１８は、取得した第１画像情報ＩＭＧ１－２に含まれる距離情報と、第２画像情報ＩＭＧ２－３に含まれる距離情報とを合成することにより、合成距離画像ＣＤＩを生成する。

【0065】

図１０は、第２実施形態に係る距離画像の合成について説明するための図である。同図を参照しながら、距離情報合成部１８により行われる距離情報の合成方法の一例について詳細に説明する。図１０（Ａ）は、第１画像情報ＩＭＧ１－２に含まれる距離情報の一例である。図示するように、同図には、被写体Ｓを前面から撮像した距離画像についての情報が示されている。同図に示す一例において、被写体Ｓとは、人物の顔部分である。すなわち第１画像情報ＩＭＧ１－２には、人物の顔である被写体Ｓの前面における距離画像についての情報が含まれる。図１０（Ｂ）は、第２画像情報ＩＭＧ２－３に含まれる距離情報の一例である。図示するように、同図には、被写体Ｓを背面から撮像した距離画像についての情報が示されている。同図に示す一例において、被写体Ｓとは、人物の顔部分であるため、第２画像情報ＩＭＧ２－３には、人物の顔である被写体Ｓの背面における距離画像についての情報が含まれる。

【0066】

ここで、距離情報合成部１８は、まず、第２画像情報ＩＭＧ２－３に含まれる距離画像の左右反転処理を行う。図１０（Ｃ）は、距離情報合成部１８により、左右反転処理が行われた後の第２画像情報ＩＭＧ２－３の一例が示されている。距離情報合成部１８は、距離情報合成処理において、まず、背面の距離画像を左右反転させることにより、容易に距離画像の合成処理を行うことができる。なお、左右反転処理は、本実施形態において必須ではなく、左右反転処理を行う前の距離画像から取り出す距離情報を左右反転させることにより、左右反転処理を行う前の距離画像を用いて直接的に距離画像の合成処理を行うことも可能である。この場合、図８（Ｂ）は、説明の簡易化のための補助的な図であるということもできる。

【0067】

図１０（Ｄ）は、距離情報合成部１８により距離情報合成処理が行われた結果として得られる合成距離画像の一例である。距離情報合成部１８は、まず、第１画像情報ＩＭＧ１－２に含まれる距離画像に基づき、被写体Ｓの前面部分をトリミング処理する。距離情報合成部１８は、次に、第２画像情報ＩＭＧ２－３に含まれる距離画像に基づき、被写体Ｓの背面部分をトリミング処理する。背面部分のトリミング処理は、前面部分のトリミング処理をした結果に基づいて、同様の部分がトリミング処理されるものであってもよい。トリミング処理が行われた後、距離情報合成部１８は、第１画像情報ＩＭＧ１－２に含まれる距離情報と、第２画像情報ＩＭＧ２－３に含まれる距離情報とを交互に有する距離画像を、合成距離画像として生成する。距離情報合成部１８は、第１画像情報ＩＭＧ１－２に含まれる距離情報と、第２画像情報ＩＭＧ２－３に含まれる距離情報とを、列方向に交互に合成していってもよいし、行方向に交互に合成していってもよい。図示する一例において、距離情報合成部１８は、第１画像情報ＩＭＧ１－２に含まれる距離情報と、第２画像情報ＩＭＧ２－３に含まれる距離情報とを列方向に交互に合成している。すなわち、画像合成部１３Ａは、第１画像情報ＩＭＧ１に含まれる距離情報における列または行についての距離情報と、第２画像情報ＩＭＧ２に含まれる距離情報とを交互に有する画像を、合成画像として生成する。ここで、距離情報合成部１８により行われる合成の方向（すなわち、行方向に交互に合成する等）は、画像合成部１３Ａにより行われる合成の方向と互いに同一であることが好適である。

【0068】

図７に戻り、距離情報合成部１８は、合成した距離画像についての情報を、合成距離画像ＣＤＩとして点群データ生成部１４Ａに出力する。

【0069】

点群データ生成部１４Ａは、画像合成部１３Ａから合成画像ＣＩＭＧを取得し、距離情報合成部１８から合成距離画像ＣＤＩを取得する。点群データ生成部１４Ａは、取得した情報に基づき、点群データを生成する。ここで、画像合成部１３Ａから取得した合成画像ＣＩＭＧには、前面及び背面における画像情報が含まれており、距離情報合成部１８から取得した合成距離画像ＣＤＩには、前面及び背面における距離情報が含まれている。したがって、点群データ生成部１４Ａは、合成画像ＣＩＭＧと、合成距離画像ＣＤＩとに基づくことにより、被写体Ｓの全体の三次元形状を有する点群データを生成することができる。点群データ生成部１４Ａは、生成した点群データを、点群データＰＣＤとして出力部１５に出力する。

【0070】

図１１は、第２実施形態に係る三次元情報生成装置の一連の動作の一例について示すブロック図である。同図を参照しながら、三次元情報生成装置１０Ａにより行われる三次元情報生成処理の一連の流れについて説明する。

【0071】

まず、第１取得部１１は、第１撮像装置２０－１から、被写体Ｓの前面の画像情報及び距離情報が含まれる第１画像情報ＩＭＧ１を取得する（ステップＳ２１）。次に、第２取得部１２Ａは、第２撮像装置２０－２から、被写体Ｓの背面の画像情報及び距離情報が含まれる第２画像情報ＩＭＧ２を取得する（ステップＳ２２）。画像合成部１３Ａは、取得した第１画像情報ＩＭＧ１と、第２画像情報ＩＭＧ２とに基づき、画像情報を合成することにより、合成画像ＣＩＭＧを生成する（ステップＳ２３）。距離情報合成部１８は、取得した第１画像情報ＩＭＧ１と、第２画像情報ＩＭＧ２とに基づき、距離情報を合成することにより、合成距離画像ＣＤＩを生成する（ステップＳ２４）。点群データ生成部１４Ａは、生成された合成画像ＣＩＭＧと、合成距離画像ＣＤＩとに基づき、点群データを生成する（ステップＳ２５）。

【0072】

［第２実施形態のまとめ］
以上説明した実施形態によれば、第２取得部１２Ａにより取得される第２画像情報ＩＭＧ２は、被写体Ｓを第１画像情報ＩＭＧ１に含まれる画像情報とは異なる方向（例えば背面）から撮像した画像情報と、当該画像情報に対応する距離情報とを含む。また、三次元情報生成装置１０Ａは、距離情報合成部１８を更に備えることにより、取得した第１画像情報ＩＭＧ１に含まれる距離情報と第２画像情報ＩＭＧ２に含まれる距離情報とを合成することにより、合成距離画像ＣＤＩを生成する。更に点群データ生成部１４Ａは、生成された合成画像ＣＩＭＧと合成距離画像ＣＤＩとに基づき、点群データＰＣＤを生成する。すなわち、本実施形態によれば、被写体Ｓの背面の三次元形状についても取得することができる。したがって、本実施形態によれば、精度よく被写体Ｓの三次元形状を取得することができる。

【0073】

また、本実施形態によれば、従来技術のように被写体Ｓの前面における点群データと、背面における点群データとをそれぞれ作成し、点群データ同士を合成するのではなく、被写体Ｓの前面及び背面における情報を有する画像情報と、距離情報とを合成することにより点群データＰＣＤを生成する。したがって、本実施形態によれば、軽い処理により被写体Ｓの点群データＰＣＤを生成することができる。また、本実施形態によれば、軽い処理により被写体Ｓの点群データＰＣＤを生成することができるため、被写体Ｓの動きを三次元的に取得したいような場合であっても、リアルタイムに変化する被写体Ｓの三次元形状を取得することができる。

【0074】

また、上述した実施形態によれば、設置情報取得部１７を備えることにより、第１画像情報ＩＭＧ１を撮像する第１撮像装置２０－１が設置された地点と、第２画像情報ＩＭＧ２を撮像する第２撮像装置２０－２が設置された地点との間の距離に関する情報を取得する。また、距離情報合成部１８は、取得した第１画像情報ＩＭＧ１に含まれる距離情報における列または行方向の距離情報と、設置情報取得部１７により取得された距離から、第２画像情報ＩＭＧ２に含まれる距離情報における列または行方向の距離情報を引いた距離情報とを、交互に有する距離画像を、合成距離画像ＣＤＩとして生成する。すなわち、本実施形態によれば、被写体Ｓの背面から取得された距離情報を、被写体Ｓの前面からの距離情報に変換し、被写体Ｓの前面から見た、被写体Ｓの前面及び背面における距離情報を有する合成距離画像ＣＤＩを生成する。三次元情報生成装置１０Ａによれば、被写体Ｓの前面及び背面における画像情報を有する合成画像ＣＩＭＧと、被写体Ｓの前面及び背面における距離情報を有する合成距離画像ＣＤＩとに基づき点群データを生成する。したがって、本実施形態によれば、容易に、軽い処理により点群データを生成することができる。

【0075】

また、上述した実施形態によれば、画像合成部１３Ａは、取得した第１画像情報ＩＭＧ１に含まれる画像情報と、第２画像情報ＩＭＧ２に含まれる画像情報を左右反転した画像情報とを合成することにより、合成画像ＣＩＭＧを生成する、また、距離情報合成部１８は、取得した第１画像情報ＩＭＧ１に含まれる距離情報と、第２画像情報ＩＭＧ２に含まれる距離情報を左右反転した画像情報とを合成することにより、合成距離画像ＣＤＩを生成する。したがって、本実施形態によれば、容易に、前面及び背面における画像情報と、距離情報合成とを、それぞれ合成することができる。

【0076】

また、上述した実施形態によれば、三次元情報生成システム１Ａは、第１撮像装置２０－１を備えることにより被写体Ｓを第１の方向から撮像した画像情報と当該画像情報に対応する距離情報とを含む第１画像情報ＩＭＧ１を撮像し、第２撮像装置２０－２を備えることにより被写体Ｓを第２の方向から撮像した画像情報と当該画像情報に対応する距離情報とを含む第２画像情報ＩＭＧ２を撮像し、三次元情報生成装置１０Ａを備えることにより第１画像情報ＩＭＧ１と第２画像情報ＩＭＧ２とに基づき被写体Ｓの三次元情報を生成する。また、三次元情報生成装置１０Ａは、第１取得部１１を備えることにより第１画像情報ＩＭＧ１を取得し、第２取得部１２Ａを備えることにより第２画像情報ＩＭＧ２を取得し、画像合成部１３Ａを備えることにより取得した第１画像情報ＩＭＧ１に含まれる画像情報と第２画像情報ＩＭＧ２に含まれる画像情報とに基づき合成画像ＣＩＭＧを生成し、距離情報合成部１８を備えることにより取得した第１画像情報ＩＭＧ１に含まれる距離情報と第２画像情報ＩＭＧ２に含まれる距離情報とに基づき合成距離画像ＣＤＩを生成し、点群データ生成部１４Ａを備えることにより生成された合成画像ＣＩＭＧと合成距離画像ＣＤＩとに基づき点群データＰＣＤを生成する。また、第１撮像装置２０－１と第２撮像装置２０－２とは、互いに対向する位置に設置されるものである。すなわち、本実施形態によれば、２つの互いに対向し合う撮像装置２０により、被写体Ｓの三次元形状を取得する。したがって、本実施形態によれば、少ない撮像装置２０により、精度の良い三次元形状の測定を、リアルタイムで行うことができる。

【0077】

なお、上述した実施形態における各装置が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0078】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0079】

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。また、上述した各実施形態を適宜組み合わせてもよい。

【符号の説明】

【0080】

１、１Ａ…三次元情報生成システム、１０、１０Ａ…三次元情報生成装置、２０…撮像装置、Ｓ…被写体、ＳＣＲ…スクリーン、ＩＭＧ１…第１画像情報、１１…第１取得部、１２…第２取得部、１３…画像合成部、１４…点群データ生成部、１５…出力部、２５…記憶装置、２０…撮像装置、ＣＩＭＧ…合成画像、ＰＣＤ…点群データ、ＩＭＧ２…第２画像情報、１６…距離情報オフセット部、１７…設置情報取得部、１８…距離情報合成部、ＣＤＩ…合成距離画像、ＤＩＩ…設置情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】