知財求人 - 知財ポータルサイト「IP Force」
▶ 日本放送協会の特許一覧 ▶ 一般財団法人ＮＨＫサービスセンターの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024036757
(43)【公開日】2024-03-18
(54)【発明の名称】三次元撮像システム
(51)【国際特許分類】
G01C 3/06 20060101AFI20240311BHJP
G01B 11/00 20060101ALI20240311BHJP
G01B 11/245 20060101ALI20240311BHJP
G06T 7/55 20170101ALI20240311BHJP
【ＦＩ】
G01C3/06 130
G01C3/06 120Q
G01C3/06 140
G01C3/06 110B
G01B11/00 H
G01B11/245 H
G06T7/55
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2022141208
(22)【出願日】2022-09-06
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）２０２２年８月４日にＴｈｅ ＳＩＣＥ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ２０２２の予稿集のウェブサイト（ｈｔｔｐｓ：／／ｃｏｎｔｒｏｌｓ．ｐａｐｅｒｃｅｐｔ．ｎｅｔ／ｃｏｎｆｅｒｅｎｃｅｓ／ｃｏｎｆｅｒｅｎｃｅｓ／ＳＩＣＥ２２／ｐｒｏｇｒａｍ／ＳＩＣＥ２２＿ＣｏｎｔｅｎｔＬｉｓｔＷｅｂ＿２．ｈｔｍｌ＃ｗｅｂ０８＿０１）において公開 （２）２０２２年９月５日にＴｈｅ ＳＩＣＥ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ２０２２ （ウェブ開催）のＶｉｒｔｕａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｐｌａｔｆｏｒｍ（ｈｔｔｐｓ：／／ｅｖｅｎｔｓ．ｐａｐｅｒｈｏｓｔ．ｎｅｔ／ｃｏｎｆｅｒｅｎｃｅｓ／ｃｏｎｆｅｒｅｎｃｅｓ／ＳＩＣＥ２２／ｐｒｏｃｅｅｄｉｎｇｓ／ｖｃ）において公開
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(71)【出願人】
【識別番号】399060908
【氏名又は名称】一般財団法人ＮＨＫ財団
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】吉野 数馬
(72)【発明者】
【氏名】半田 拓也
(72)【発明者】
【氏名】久富 健介
【テーマコード（参考）】
2F065
2F112
5L096
【Ｆターム（参考）】
2F065AA04
2F065AA06
2F065AA53
2F065BB05
2F065CC16
2F065DD03
2F065FF01
2F065FF05
2F065FF09
2F065FF12
2F065FF32
2F065FF41
2F065GG08
2F065GG21
2F065JJ05
2F065JJ19
2F065JJ26
2F065NN08
2F065QQ24
2F065QQ31
2F065SS02
2F065SS13
2F065UU05
2F112AC03
2F112AC06
2F112AD01
2F112BA06
2F112CA02
2F112DA21
2F112DA28
2F112DA32
2F112EA05
2F112FA03
2F112FA21
2F112FA35
2F112FA45
2F112FA50
2F112GA01
5L096AA09
5L096CA04
5L096CA05
5L096FA66
5L096FA67
5L096FA69
5L096HA02
(57)【要約】
【課題】一方位からのボリュメトリック画像を好適に生成することが可能な三次元撮像システムを提供する。
【解決手段】三次元撮像システム１は、対象としてのヒト２を撮像する撮像部１１と、対象に赤外線を照射する赤外線照射部１２ａと、対象で反射した赤外線を受光する赤外線受光部１２ｂと、対象を赤外線受光部１２ｂとは異なる光軸で撮像する赤外線受光部２２，２２と、を備え、制御部１２ｃ，１３，２３，３０は、赤外線受光部１２ｂの受光結果に基づいて対象までの距離を検出することができない対象の部位に関して、赤外線受光部２２，２２の撮像結果に基づいて対象の部位までの距離を検出する。
【選択図】図１
【解決手段】三次元撮像システム１は、対象としてのヒト２を撮像する撮像部１１と、対象に赤外線を照射する赤外線照射部１２ａと、対象で反射した赤外線を受光する赤外線受光部１２ｂと、対象を赤外線受光部１２ｂとは異なる光軸で撮像する赤外線受光部２２，２２と、を備え、制御部１２ｃ，１３，２３，３０は、赤外線受光部１２ｂの受光結果に基づいて対象までの距離を検出することができない対象の部位に関して、赤外線受光部２２，２２の撮像結果に基づいて対象の部位までの距離を検出する。
【選択図】図１
【特許請求の範囲】
【請求項1】
対象を撮像する撮像部と、
前記対象に赤外線を照射する赤外線照射部と、
前記対象で反射した前記赤外線を受光する赤外線受光部と、
前記対象を前記赤外線受光部とは異なる光軸で撮像するステレオ撮像部と、
前記赤外線受光部の受光結果又は前記ステレオ撮像部の撮像結果に基づいて、前記対象の各部位までの距離を算出する制御部と、
を備え、
前記制御部は、
前記赤外線照射部によって照射された前記赤外線及び前記赤外線受光部によって受光された前記赤外線の照射時刻及び受光時刻の時間差、又は、位相差に基づいて、前記対象の各部位までの距離を算出する第一の距離算出部と、
前記ステレオ撮像部の撮像結果に基づいて、前記対象の各部位までの距離を算出する第二の距離算出部と、
前記第一の距離算出部によって算出された前記距離を前記撮像結果に付与する距離情報付与部と、
を備え、
前記距離情報付与部は、前記第一の距離算出部によって前記対象までの距離を算出することができない前記対象の部位に関して、前記第二の距離算出部によって算出された距離を付与する
ことを特徴とする三次元撮像システム。
前記対象に赤外線を照射する赤外線照射部と、
前記対象で反射した前記赤外線を受光する赤外線受光部と、
前記対象を前記赤外線受光部とは異なる光軸で撮像するステレオ撮像部と、
前記赤外線受光部の受光結果又は前記ステレオ撮像部の撮像結果に基づいて、前記対象の各部位までの距離を算出する制御部と、
を備え、
前記制御部は、
前記赤外線照射部によって照射された前記赤外線及び前記赤外線受光部によって受光された前記赤外線の照射時刻及び受光時刻の時間差、又は、位相差に基づいて、前記対象の各部位までの距離を算出する第一の距離算出部と、
前記ステレオ撮像部の撮像結果に基づいて、前記対象の各部位までの距離を算出する第二の距離算出部と、
前記第一の距離算出部によって算出された前記距離を前記撮像結果に付与する距離情報付与部と、
を備え、
前記距離情報付与部は、前記第一の距離算出部によって前記対象までの距離を算出することができない前記対象の部位に関して、前記第二の距離算出部によって算出された距離を付与する
ことを特徴とする三次元撮像システム。
【請求項2】
前記赤外線受光部及び前記ステレオ撮像部は、前記撮像部を挟むように配置されている
ことを特徴とする請求項１に記載の三次元撮像システム。
ことを特徴とする請求項１に記載の三次元撮像システム。
【請求項3】
前記赤外線受光部は、前記撮像部よりも下方に設けられており、
前記ステレオ撮像部は、前記撮像部よりも上方に設けられている
ことを特徴とする請求項２に記載の三次元撮像システム。
前記ステレオ撮像部は、前記撮像部よりも上方に設けられている
ことを特徴とする請求項２に記載の三次元撮像システム。
【請求項4】
前記ステレオ撮像部は、赤外線領域におけるアクティブステレオビジョン方式で前記対象を撮像する
ことを特徴とする請求項１に記載の三次元撮像システム。
ことを特徴とする請求項１に記載の三次元撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象を三次元的に撮像するための技術に関する。
【背景技術】
【0002】
対象を三次元的に撮像するための技術として、対象に対して赤外線を照射し、当該赤外線が対象で反射して戻ってくるまでの時間に基づいて対象までの距離を計測するＴｏＦ（Time of Flight）方式が用いられている。
【0003】
ＴｏＦ方式では、赤外線に対する反射が弱い物質（例えば、ヒトの黒髪）に対しては、距離の計測の精度が低下したり、距離を計測することができなかったりするという問題がある。これに対し、特許文献１には、距離画像によって生成され三次元モデルと、カラー画像によって生成された三次元モデルと、をブレンドすることによって前記した問題を解消する技術が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０２０／２０８９７６号
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載の技術は、全方位からのボリュメトリック画像の生成を想定したものである。これに対し、一方位からのボリュメトリック画像は、観察者の視点がある程度限定される環境（例えば、実空間に合成されたバーチャルなヒトを実空間でカメラマンが撮影する場合等）では十分な機能を満たしており、設営が簡単であることから需要があると考えられる。
【0006】
本発明は、前記の点に鑑みてなされたものであり、一方位からのボリュメトリック画像を好適に生成することが可能な三次元撮像システムを提供することを課題とする。
【課題を解決するための手段】
【0007】
前記した課題を解決するために、本発明の三次元撮像システムは、撮像部と、赤外線照射部と、赤外線受光部と、ステレオ撮像部と、制御部と、を備える。
【0008】
三次元撮像システムは、前記撮像部により、対象を撮像し、前記赤外線照射部により、前記対象に赤外線を照射し、前記赤外線受光部により、前記対象で反射した前記赤外線を受光し、前記ステレオ撮像部により、前記対象を前記赤外線受光部とは異なる光軸で撮像する。
また、三次元撮像システムは、前記制御部により、前記赤外線受光部の受光結果又は前記ステレオ撮像部の撮像結果に基づいて、前記対象の各部位までの距離を算出する。
また、三次元撮像システムは、前記制御部により、前記赤外線受光部の受光結果又は前記ステレオ撮像部の撮像結果に基づいて、前記対象の各部位までの距離を算出する。
【0009】
前記制御部は、前記赤外線照射部によって照射された前記赤外線及び前記赤外線受光部によって受光された前記赤外線の照射時刻及び受光時刻の時間差、又は、位相差に基づいて、前記対象の各部位までの距離を算出する第一の距離算出部と、前記ステレオ撮像部の撮像結果に基づいて、前記対象の各部位までの距離を算出する第二の距離算出部と、前記第一の距離算出部によって算出された前記距離を前記撮像結果に付与する距離情報付与部と、を備える。
【0010】
三次元撮像システムは、前記距離情報付与部により、前記第一の距離算出部によって前記対象までの距離を算出することができない前記対象の部位に関して、前記第二の距離算出部によって算出された距離を付与する。
【0011】
前記赤外線受光部及び前記ステレオ撮像部は、前記撮像部を挟むように配置されている構成であってもよい。
【0012】
前記赤外線受光部は、前記撮像部よりも下方に設けられており、前記ステレオ撮像部は、前記撮像部よりも上方に設けられている構成であってもよい。
【0013】
前記ステレオ撮像部は、赤外線領域におけるアクティブステレオビジョン方式で前記対象を撮像する構成であってもよい。
【発明の効果】
【0014】
本発明の三次元撮像システムによると、一方位からのボリュメトリック画像を好適に生成することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態に係る三次元撮像システムを模式的に示すブロック図である。
【図2】第一のカメラ装置の撮像部によって撮像された点及び距離検出部によって検出された点の位置合わせ手法を説明するための模式図である。
【図4】第一のカメラ装置及び第二のカメラ装置の動作例を説明するための模式図である。
【図5】本発明の実施形態に係る第一のカメラ装置の撮像部及び距離検出部と第二のカメラ装置との位置関係の一例を模式的に示す図である。
【図6】（ａ）は撮像部による撮像結果の例を模式的に示す図であり、（ｂ）は距離検出部による距離検出結果の例を模式的に示す図である。
【図7】（ａ）は、第一のカメラ装置によって撮像された三次元画像の例を模式的に示す図、（ｂ）は、当該三次元画像の距離を第二のカメラ装置の検出結果に基づいて距離が補完された三次元画像の例を模式的に示す図である。
【図9】本発明の実施形態に係る三次元撮像システムの動作例を説明するためのフローチャートである。
【発明を実施するための形態】
【0016】
次に、本発明の実施形態について、本発明を対象としてヒトの撮像に適用した場合を例にとり、適宜図面を参照しながら詳細に説明する。以下の説明において、同様の構成については同一の符号を付し、説明を省略する。
【0017】
図１に示すように、本発明の実施形態に係る三次元撮像システム１は、撮像対象としてのヒト２を一方位から撮像したボリュメトリック画像を生成するためのシステムである。三次元撮像システム１は、撮像対象としてのヒト２の一方位側（本実施形態では、平面視で撮像対象としてのヒト２の周囲３６０度における一方向側）に配置される第一のカメラ装置１０及び第二のカメラ装置２０と、制御部３０と、表示装置４０と、を備える。
【0018】
＜第一のカメラ装置＞
第一のカメラ装置１０は、ＴｏＦ（Time of Flight）方式での距離検出を実行可能なカメラ（例えば、ＡＫＤＫ：Azure Kinect DK）であり、撮像部１１と、距離検出部１２と、制御部１３と、を備える。
第一のカメラ装置１０は、ＴｏＦ（Time of Flight）方式での距離検出を実行可能なカメラ（例えば、ＡＫＤＫ：Azure Kinect DK）であり、撮像部１１と、距離検出部１２と、制御部１３と、を備える。
【0019】
＜撮像部＞
撮像部１１は、対象としてのヒト２をカラーで撮像し、撮像結果（画素ごとのＲＧＢ値）及び受光素子（画素）の位置情報を制御部１３へ出力する。
撮像部１１は、対象としてのヒト２をカラーで撮像し、撮像結果（画素ごとのＲＧＢ値）及び受光素子（画素）の位置情報を制御部１３へ出力する。
【0020】
＜距離検出部＞
距離検出部１２は、対象としてのヒト２までの距離をＴｏＦ方式で検出するための赤外線センサである。ＴｏＦ方式は、画素ごとに距離を検出することができるため、ステレオ方式と比較して、精度は高いが、特定の波長のみによって対象を観測するため、対象に対する波長の相性の影響を受けやすい。距離検出部１２は、赤外線照射部１２ａと、赤外線受光部１２ｂと、制御部１２ｃと、を備える。
距離検出部１２は、対象としてのヒト２までの距離をＴｏＦ方式で検出するための赤外線センサである。ＴｏＦ方式は、画素ごとに距離を検出することができるため、ステレオ方式と比較して、精度は高いが、特定の波長のみによって対象を観測するため、対象に対する波長の相性の影響を受けやすい。距離検出部１２は、赤外線照射部１２ａと、赤外線受光部１２ｂと、制御部１２ｃと、を備える。
【0021】
≪赤外線照射部≫
赤外線照射部１２ａは、対象としてのヒト２へ所定の波長を有する赤外線を照射する発光素子である。
赤外線照射部１２ａは、対象としてのヒト２へ所定の波長を有する赤外線を照射する発光素子である。
【0022】
≪赤外線受光部≫
赤外線受光部１２ｂは、対象としてのヒト２で反射した赤外線を受光する複数の受光素子と、当該受光素子の受光面に設けられるシャッタと、を備える。赤外線受光部１２ｂは、受光結果及び受光素子（画素）の位置情報を制御部１２ｃへ出力する。赤外線受光部１２ｂにおけるシャッタとしては、物理シャッタ、電子シャッタ、制御部１２ｃにおける赤外線の変調としての重みづけをゼロとする手法によるシャッタ等が好適に利用可能である。
赤外線受光部１２ｂは、対象としてのヒト２で反射した赤外線を受光する複数の受光素子と、当該受光素子の受光面に設けられるシャッタと、を備える。赤外線受光部１２ｂは、受光結果及び受光素子（画素）の位置情報を制御部１２ｃへ出力する。赤外線受光部１２ｂにおけるシャッタとしては、物理シャッタ、電子シャッタ、制御部１２ｃにおける赤外線の変調としての重みづけをゼロとする手法によるシャッタ等が好適に利用可能である。
【0023】
≪制御部（第一の距離算出部）≫
制御部１２ｃは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）、入出力回路等によって構成されている。制御部１２ｃは、赤外線照射部１２ａを制御することによって、赤外線照射部１２ａに対象としてのヒト２へ赤外線を照射させる。制御部１２ｃは、赤外線受光部１２ｂのシャッタを制御することによって、赤外線受光部１２ｂの画素に赤外線を受光させる。制御部１２ｃは、赤外線受光部１２ｂの受光結果及び各画素の位置情報を取得し、赤外線受光部１２ｂの画素ごとに、変調して照射された赤外線及び受光された赤外線を変調したものの位相差を算出する。制御部１２ｃは、算出された位相差に基づいて、赤外線受光部１２ｂと対象としてのヒト２との間の距離を算出し、算出結果（画素ごとの距離及び当該画素の位置情報）を制御部１３へ出力する。ここで、照射された赤外線と受光された赤外線とを重ねると、２つの赤外線の位相差が同位相（０＋２ｎπ、ｎは整数）に近い場合には、互いに強め合って振幅が大きくなり、２つの赤外線の位相差が逆位相（π＋２ｎπ、ｎは整数）に近い場合には、互いに弱め合って振幅が小さくなる。制御部１２ｃは、このように２つの赤外線を重ねる（合成波を生成する）ことによって、光速を時間積分可能な振幅に置き換えることができる。また、制御部１２ｃは、重ねる２つの赤外線のうち、一方の位相を所定の量（例えば、π／２）程度ずらしたものを一つ用意して、位相をずらさずに重ねられた赤外線と合わせて一組とすることによって、反射光の振幅強度に依存しないようにすることができ、これらを用いることによって、位相差として距離を計測することができる。また、別の手法として、制御部１２ｃは、赤外線照射部１２ａによる赤外線の照射時刻と、赤外線受光部１２ｂによる赤外線の受光時刻と、の時間差に基づいて、赤外線受光部１２ｂと対象としてのヒト２との間の距離を算出し、算出結果（画素ごとの距離及び当該画素の位置情報）を制御部１３へ出力することもできる。
制御部１２ｃは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）、入出力回路等によって構成されている。制御部１２ｃは、赤外線照射部１２ａを制御することによって、赤外線照射部１２ａに対象としてのヒト２へ赤外線を照射させる。制御部１２ｃは、赤外線受光部１２ｂのシャッタを制御することによって、赤外線受光部１２ｂの画素に赤外線を受光させる。制御部１２ｃは、赤外線受光部１２ｂの受光結果及び各画素の位置情報を取得し、赤外線受光部１２ｂの画素ごとに、変調して照射された赤外線及び受光された赤外線を変調したものの位相差を算出する。制御部１２ｃは、算出された位相差に基づいて、赤外線受光部１２ｂと対象としてのヒト２との間の距離を算出し、算出結果（画素ごとの距離及び当該画素の位置情報）を制御部１３へ出力する。ここで、照射された赤外線と受光された赤外線とを重ねると、２つの赤外線の位相差が同位相（０＋２ｎπ、ｎは整数）に近い場合には、互いに強め合って振幅が大きくなり、２つの赤外線の位相差が逆位相（π＋２ｎπ、ｎは整数）に近い場合には、互いに弱め合って振幅が小さくなる。制御部１２ｃは、このように２つの赤外線を重ねる（合成波を生成する）ことによって、光速を時間積分可能な振幅に置き換えることができる。また、制御部１２ｃは、重ねる２つの赤外線のうち、一方の位相を所定の量（例えば、π／２）程度ずらしたものを一つ用意して、位相をずらさずに重ねられた赤外線と合わせて一組とすることによって、反射光の振幅強度に依存しないようにすることができ、これらを用いることによって、位相差として距離を計測することができる。また、別の手法として、制御部１２ｃは、赤外線照射部１２ａによる赤外線の照射時刻と、赤外線受光部１２ｂによる赤外線の受光時刻と、の時間差に基づいて、赤外線受光部１２ｂと対象としてのヒト２との間の距離を算出し、算出結果（画素ごとの距離及び当該画素の位置情報）を制御部１３へ出力することもできる。
【0024】
＜制御部（位置合わせ部）＞
制御部１３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力回路等によって構成されている。制御部１３は、撮像部１１の撮像結果及び距離検出部１２の検出結果（算出結果）並びに撮像部１１及び赤外線受光部１２ｂのそれぞれにおける各画素の位置情報を取得し、予め記憶された撮像部１１及び距離検出部１２の位置情報及び姿勢情報に基づいて、撮像結果及び距離の検出結果の位置合わせを行う。制御部１３は、位置合わせされた撮像結果及び距離の検出結果を制御部３０へ出力する。位置情報及び姿勢情報としては、撮像部１１の各画素の位置情報、赤外線受光部１２ｂの各画素の位置情報、撮像部１１及び赤外線受光部１２ｂの間の距離及び位置関係、撮像部１１及び赤外線受光部１２ｂの光軸の向き等が挙げられる。すなわち、制御部１３は、撮像結果及び距離検出部１２による距離の検出結果の位置合わせを行う位置合わせ部であり、制御部（第一の距離算出部）１２ｃによって算出された距離を撮像結果に付与する距離情報付与部である。
制御部１３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力回路等によって構成されている。制御部１３は、撮像部１１の撮像結果及び距離検出部１２の検出結果（算出結果）並びに撮像部１１及び赤外線受光部１２ｂのそれぞれにおける各画素の位置情報を取得し、予め記憶された撮像部１１及び距離検出部１２の位置情報及び姿勢情報に基づいて、撮像結果及び距離の検出結果の位置合わせを行う。制御部１３は、位置合わせされた撮像結果及び距離の検出結果を制御部３０へ出力する。位置情報及び姿勢情報としては、撮像部１１の各画素の位置情報、赤外線受光部１２ｂの各画素の位置情報、撮像部１１及び赤外線受光部１２ｂの間の距離及び位置関係、撮像部１１及び赤外線受光部１２ｂの光軸の向き等が挙げられる。すなわち、制御部１３は、撮像結果及び距離検出部１２による距離の検出結果の位置合わせを行う位置合わせ部であり、制御部（第一の距離算出部）１２ｃによって算出された距離を撮像結果に付与する距離情報付与部である。
【0025】
図２に示すように、距離検出部１２は、当該距離検出部１２からの距離（深度：depth）を検出することができるので、線ＬＢ上で距離検出部１２からの距離を決めることができる。すなわち、制御部１３は、距離検出部１２の内部パラメータＫ２及び検出された距離に基づいて、距離検出部１２における画像平面５２上の点ｐ２の位置を、空間上の点ｐ０に戻すことができる。
【0026】
また、撮像部１１によって撮像された線ＬＡ上の点ｐ０は、撮像部１１の内部パラメータＫ１によって、画像平面５１上の点ｐ１に投影される。
【0027】
ここで、内部パラメータＫ１，Ｋ２は、三次元の点を画像平面５１，５２上の二次元の点に変換する変換行列を構成する演算子であり、各カメラの性能としての焦点距離、主点、せん断係数、歪み係数等を含む。
【0028】
制御部１３は、外部パラメータを用いることによって、点ｐ２が点ｐ０を介して点ｐ１と対応する旨を算出することができる。ここで、外部パラメータは、撮像部１１及び距離検出部１２の相対的な位置関係を示す変数であり、本実施形態では、回転Ｒ及び並進ｔである。
【0029】
制御部１３は、前記した点ｐ２と対応する点ｐ１を算出する手法を用いて、画像平面５２上の全ての画素が画像平面５１上のどの画素と対応するかを算出する。ここで、撮像部１１及び距離検出部１２がデジタル化されたもの（デジタルカメラ等）である場合には、各画素の位置関係（間隔等）がサンプリング化されているため、サンプリング化された各画素の位置関係（間隔等）に基づいて、撮像部１１の画像平面５１上の画素と距離検出部１２の画像平面５２上の画素との対応関係を算出することができる。
【0030】
なお、点ｐ２を点ｐ０に戻す手法としては、カメラパラメータ及び距離計測値を用いるもののほかに、ｘｙテーブル及び距離計測値を用いる手法が利用可能である。図３に示すように、ｘｙテーブルは、それぞれの画素がｚ＝１（所定の距離）である場合に、ｚ＝１の平面６２上でのどの位置になるかを示す表である。図３において、線Ｌ１，Ｌ２，Ｌ３は、それぞれ、距離検出部１２及び平面６２における、ある画素を通る線を例として示すものである。ここで、一例として画像平面上の点ｐ２について考える。制御部１３は、画像平面５２上の点ｐ２の座標と、ｘｙテーブルにおいて点ｐ２に対応する画素の座標と、に基づいて、これらを通る線Ｌ３を算出し、距離検出部１２の検出結果に基づいて、当該線Ｌ３上における点ｐ０の三次元座標を算出する。
【0031】
制御部１３による位置合わせで要求されるカメラパラメータは、第一のカメラ装置１０の製造段階で予め設定されたカメラパラメータ（内部パラメータ及び外部パラメータ）の工場出荷値によって実行されてもよい。カメラパラメータの工場出荷値が与えられない場合には、以下に示す位置合わせ手法が利用可能である。
・キャリブレーションボード等のマーカ撮影や複数の三次元空間上の基準位置の撮像による校正手法
・撮像部１１及び距離検出部１２(赤外線受光部１２ｂ)の相対的距離を保ったまま、これらによって異なる位置から同一空間及び／又は同一対象が撮像された複数枚の画像を用いる手法（弱校正法の一種）
・撮像部１１及び距離検出部１２（赤外線受光部１２ｂ）の位置を固定したままこれらによって撮像された画像と、第三のカメラ装置（図示せず）によって異なる位置から同一空間及び／又は同一対象が撮像された複数枚の画像と、を合わせることによる手法（弱校正法の一種）
・キャリブレーションボード等のマーカ撮影や複数の三次元空間上の基準位置の撮像による校正手法
・撮像部１１及び距離検出部１２(赤外線受光部１２ｂ)の相対的距離を保ったまま、これらによって異なる位置から同一空間及び／又は同一対象が撮像された複数枚の画像を用いる手法（弱校正法の一種）
・撮像部１１及び距離検出部１２（赤外線受光部１２ｂ）の位置を固定したままこれらによって撮像された画像と、第三のカメラ装置（図示せず）によって異なる位置から同一空間及び／又は同一対象が撮像された複数枚の画像と、を合わせることによる手法（弱校正法の一種）
【0032】
制御部１３は、位置合わせに要求されるパラメータにおいて、内部パラメータとして工場出荷値の内部パラメータを用い、外部パラメータとして算出された値を用いて位置合わせを実行してもよい。外部パラメータのみの算出とすることで、最低限必要となる対応点の数を少なくすることができる。
【0033】
＜第二のカメラ装置＞
第二のカメラ装置２０は、ステレオビジョン方式での距離検出を実行可能なカメラ（例えば、：ＲＳ：RealSense D435i）である。ステレオビジョン方式は、特徴点として取得しやすい場所を選択して距離を検出するため、ＴｏＦ方式と比較して、精度は低いが安定性は高い。本実施形態において、第二のカメラ装置２０は、アクティブステレオビジョン方式及びパッシブステレオビジョン方式の両方を採用している。第二のカメラ装置２０は、赤外線パターンを対象に投影し、かかる赤外線パターンを用いてステレオ画像のマッチングを実行する（アクティブステレオビジョン方式）。また、第二のカメラ装置２０は、赤外線パターンの反射が弱い領域では、ステレオ画像内の特徴点を用いてステレオ画像のマッチングを実行する（パッシブステレオビジョン方式）。第二のカメラ装置２０は、赤外線照射部２１と、ステレオ撮像部としての一対の赤外線受光部２２，２２と、制御部２３と、を備える。
第二のカメラ装置２０は、ステレオビジョン方式での距離検出を実行可能なカメラ（例えば、：ＲＳ：RealSense D435i）である。ステレオビジョン方式は、特徴点として取得しやすい場所を選択して距離を検出するため、ＴｏＦ方式と比較して、精度は低いが安定性は高い。本実施形態において、第二のカメラ装置２０は、アクティブステレオビジョン方式及びパッシブステレオビジョン方式の両方を採用している。第二のカメラ装置２０は、赤外線パターンを対象に投影し、かかる赤外線パターンを用いてステレオ画像のマッチングを実行する（アクティブステレオビジョン方式）。また、第二のカメラ装置２０は、赤外線パターンの反射が弱い領域では、ステレオ画像内の特徴点を用いてステレオ画像のマッチングを実行する（パッシブステレオビジョン方式）。第二のカメラ装置２０は、赤外線照射部２１と、ステレオ撮像部としての一対の赤外線受光部２２，２２と、制御部２３と、を備える。
【0034】
＜赤外線照射部＞
赤外線照射部２１は、対象としてのヒト２へ表面に対する特徴点付与のためのパターン化された（ランダムドット等といったランダムなパターンを含む）赤外線を照射する。
赤外線照射部２１は、対象としてのヒト２へ表面に対する特徴点付与のためのパターン化された（ランダムドット等といったランダムなパターンを含む）赤外線を照射する。
【0035】
＜赤外線受光部＞
赤外線受光部２２は、対象としてのヒト２で反射した赤外線（特徴点付与のためのパターン化された赤外線を含む）を受光し、受光結果及び受光素子（画素）の位置情報を制御部２３へ出力する。
赤外線受光部２２は、対象としてのヒト２で反射した赤外線（特徴点付与のためのパターン化された赤外線を含む）を受光し、受光結果及び受光素子（画素）の位置情報を制御部２３へ出力する。
【0036】
＜制御部（第二の距離算出部）＞
制御部２３は、赤外線照射部２１を制御することによって、赤外線照射部２１に対象としてのヒト２へ特徴点付与のための赤外線を照射させる。制御部２３は、赤外線受光部２２のシャッタを制御することによって、赤外線受光部２２の画素に、特徴点付与のための赤外線を含む赤外線領域の赤外線（映像）を受光させる。制御部２３は、特徴点付与のための赤外線の受光結果に基づいて、一対の赤外線受光部２２，２２の中から共通の特徴点を持つ点を検出し、ステレオの視差に基づいて、基準の位置（例えば、一対の赤外線受光部２２，２２の中間地点）からの対象としてのヒト２の各部位（画素に対応）までの距離を算出し、算出結果（各画素ごとの距離及び当該画素の位置情報）を制御部３０へ出力する。
制御部２３は、赤外線照射部２１を制御することによって、赤外線照射部２１に対象としてのヒト２へ特徴点付与のための赤外線を照射させる。制御部２３は、赤外線受光部２２のシャッタを制御することによって、赤外線受光部２２の画素に、特徴点付与のための赤外線を含む赤外線領域の赤外線（映像）を受光させる。制御部２３は、特徴点付与のための赤外線の受光結果に基づいて、一対の赤外線受光部２２，２２の中から共通の特徴点を持つ点を検出し、ステレオの視差に基づいて、基準の位置（例えば、一対の赤外線受光部２２，２２の中間地点）からの対象としてのヒト２の各部位（画素に対応）までの距離を算出し、算出結果（各画素ごとの距離及び当該画素の位置情報）を制御部３０へ出力する。
【0037】
制御部２３は、ステレオ視を行うために必要なパラメータとして、赤外線受光部２２，２２の内部パラメータ及び外部パラメータを制御部１３で用いられた手法と同様の手法で算出することができる。また、赤外線受光部２２，２２がアクティブステレオビジョン方式を採用している場合には、赤外線受光部２２，２２は、赤外線の検出が可能である。したがって、この場合には、赤外線照射部２１がマーカとしてのパターン化された赤外線を対象としてのヒト２及び撮像空間に照射するとともに、制御部２３が赤外線受光部２２，２２によるマーカの検出結果を用いて赤外線受光部２２，２２の内部パラメータ及び外部パラメータを算出することもできる。
【0038】
＜第一のカメラ装置及び第二のカメラ装置の動作例＞
図４に示すように、第一のカメラ装置１０において、赤外線照射部１２ａは、１フレーム中に複数回（本実施形態では、９回）オンオフ動作を繰り返し、赤外線受光部１２ｂのシャッタは、同様に１フレーム中に複数回（本実施形態では、９回）開閉動作を繰り返す。すなわち、赤外線受光部１２ｂは、１フレーム中に赤外線照射部１２ａがオンかつシャッタが開の複数回（本実施形態では、９回）のタイミングで赤外線を受光する。
図４に示すように、第一のカメラ装置１０において、赤外線照射部１２ａは、１フレーム中に複数回（本実施形態では、９回）オンオフ動作を繰り返し、赤外線受光部１２ｂのシャッタは、同様に１フレーム中に複数回（本実施形態では、９回）開閉動作を繰り返す。すなわち、赤外線受光部１２ｂは、１フレーム中に赤外線照射部１２ａがオンかつシャッタが開の複数回（本実施形態では、９回）のタイミングで赤外線を受光する。
【0039】
一方、第二のカメラ装置２０において、赤外線照射部２１は、１フレーム中に常にオン状態を維持し、赤外線受光部２２のシャッタは、１フレーム中に１回開閉動作を繰り返す。すなわち、赤外線受光部２２は、１フレーム中に赤外線照射部２１がオンかつシャッタが開の１回のタイミングで赤外線を受光する。
【0040】
ここで、赤外線受光部２２は、第一のカメラ装置１０の赤外線照射部１２ａによって照射されて対象としてのヒト２で反射した赤外線も受光する。すなわち、赤外線受光部２２における赤外線の受光強度は、赤外線照射部１２ａによる赤外線も積算されたものとなる。ここで、制御部２３は、赤外線照射部１２ａから照射された赤外線を外乱として考慮し、赤外線照射部２１の赤外線照射強度、赤外線受光部２２のシャッタの絞り及び開放時間等を調整することによって、赤外線照射部１２ａによる赤外線の影響を抑えることができる。
【0041】
＜制御部＞
図１に示すように、制御部３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力回路等によって構成されている。制御部３０は、機能部として、位置合わせ部３１と、距離補完部３２と、を備える。
図１に示すように、制御部３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力回路等によって構成されている。制御部３０は、機能部として、位置合わせ部３１と、距離補完部３２と、を備える。
【0042】
＜位置合わせ部＞
位置合わせ部３１は、第一のカメラ装置１０の位置合わせされた撮像結果及び距離の検出結果、第二のカメラ装置２０の距離検出部１２の検出結果（算出結果）、並びに、第一のカメラ装置１０及び第二のカメラ装置２０のそれぞれのカメラパラメータを取得し、取得されたカメラパラメータ、並びに、撮像部１１及び赤外線受光部２２の間のカメラパラメータ（外部パラメータ）に基づいて、制御部１３と同様の手法によって、撮像結果及び距離の検出結果の位置合わせを行う。
位置合わせ部３１は、第一のカメラ装置１０の位置合わせされた撮像結果及び距離の検出結果、第二のカメラ装置２０の距離検出部１２の検出結果（算出結果）、並びに、第一のカメラ装置１０及び第二のカメラ装置２０のそれぞれのカメラパラメータを取得し、取得されたカメラパラメータ、並びに、撮像部１１及び赤外線受光部２２の間のカメラパラメータ（外部パラメータ）に基づいて、制御部１３と同様の手法によって、撮像結果及び距離の検出結果の位置合わせを行う。
【0043】
すなわち、位置合わせ部３１による位置合わせには、第一のカメラ装置１０及び第二のカメラ装置２０の外部パラメータを算出する必要がある（ここで、第一のカメラ装置１０及び第二のカメラ装置２０の内部パラメータは、制御部１３，２３に予め設定されているため既知である）。位置合わせのために各カメラ（撮像部１１、赤外線受光部１２ｂ、赤外線受光部２２，２２）を対応付けて外部パラメータを算出する手法としては、例えば以下に示す手法が利用可能であり、その他の手法（例えば、第一のカメラ装置１０及び第二のカメラ装置２０が一体化されている場合には、カメラパラメータの工場出荷値を用いることができる）も利用可能である。
・第一のカメラ装置１０の撮像部１１と、第二のカメラ装置２０に設けられており、内部パラメータ及び赤外線受光部２２，２２との対応関係（外部パラメータ）が既知のカラー撮像部（図示せず）と、を対応付けることによって、第一のカメラ装置１０の撮像部１１と第二のカメラ装置２０の赤外線受光部２２，２２とを対応付ける手法。前記した制御部１３による位置合わせと同様の手法であり、カラー画像同士を用いるため、位置合わせが容易である。
・第一のカメラ装置１０の赤外線受光部１２ｂと第二のカメラ装置２０の赤外線受光部２２，２２とを対応付ける手法。前記した制御部２３による位置合わせの手法と同様に、赤外線照射部２１によってマーカを照射してもよい。
・第一のカメラ装置１０の撮像部１１と第二のカメラ装置２０の赤外線受光部２２，２２とを対応付ける手法。前記した制御部１３による位置合わせと同様の手法である。
・第一のカメラ装置１０の撮像部１１と、第二のカメラ装置２０に設けられており、内部パラメータ及び赤外線受光部２２，２２との対応関係（外部パラメータ）が既知のカラー撮像部（図示せず）と、を対応付けることによって、第一のカメラ装置１０の撮像部１１と第二のカメラ装置２０の赤外線受光部２２，２２とを対応付ける手法。前記した制御部１３による位置合わせと同様の手法であり、カラー画像同士を用いるため、位置合わせが容易である。
・第一のカメラ装置１０の赤外線受光部１２ｂと第二のカメラ装置２０の赤外線受光部２２，２２とを対応付ける手法。前記した制御部２３による位置合わせの手法と同様に、赤外線照射部２１によってマーカを照射してもよい。
・第一のカメラ装置１０の撮像部１１と第二のカメラ装置２０の赤外線受光部２２，２２とを対応付ける手法。前記した制御部１３による位置合わせと同様の手法である。
【0044】
＜距離補完部＞
距離補完部３２は、対象としてのヒト２の各部位の距離検出部１２によって検出された距離が検出不能を示すもの（本実施形態では、距離がゼロ）である場合に、当該部位の距離として、第二のカメラ装置２０によって検出された距離を採用する（補完する）。距離補完部３２は、対象としてのヒト２の撮像結果及び距離（必要によって補完済み）を表示装置４０へ出力する。すなわち、位置合わせ部３１及び距離補完部３２は、制御部（第一の距離算出部）１２ｃによって対象までの距離を算出することができない対象の部位に関して、制御部（第二の距離算出部）２３によって算出された距離を付与する距離情報付与部である。
距離補完部３２は、対象としてのヒト２の各部位の距離検出部１２によって検出された距離が検出不能を示すもの（本実施形態では、距離がゼロ）である場合に、当該部位の距離として、第二のカメラ装置２０によって検出された距離を採用する（補完する）。距離補完部３２は、対象としてのヒト２の撮像結果及び距離（必要によって補完済み）を表示装置４０へ出力する。すなわち、位置合わせ部３１及び距離補完部３２は、制御部（第一の距離算出部）１２ｃによって対象までの距離を算出することができない対象の部位に関して、制御部（第二の距離算出部）２３によって算出された距離を付与する距離情報付与部である。
【0045】
＜表示装置＞
表示装置４０は、対象としてのヒト２の撮像結果及び距離を取得し、取得された撮像結果及び距離に基づいて、対象としてのヒト２を三次元的に表示する。表示装置４０は、制御部３０からの出力に応じて、撮像部１１によって撮像されたヒトを撮像方向から見た状態で三次元的に表示したり（図７参照）、撮像方向以外の方向から見た状態（例えば、斜め上から下向きに見た状態）で三次元的に表示したりすることができる（図８参照）。
表示装置４０は、対象としてのヒト２の撮像結果及び距離を取得し、取得された撮像結果及び距離に基づいて、対象としてのヒト２を三次元的に表示する。表示装置４０は、制御部３０からの出力に応じて、撮像部１１によって撮像されたヒトを撮像方向から見た状態で三次元的に表示したり（図７参照）、撮像方向以外の方向から見た状態（例えば、斜め上から下向きに見た状態）で三次元的に表示したりすることができる（図８参照）。
【0046】
＜カメラ装置の配置による距離の補完手法＞
図５に示すように、本実施形態において、撮像部１１、赤外線受光部１２ｂ及び一対の赤外線受光部２２，２２は、対象としてのヒト２の一方位側（正面側）において１．２ｍの距離に配置されている。また、赤外線受光部１２ｂは、撮像部１１よりも下方に配置されており、一対の赤外線受光部２２，２２は、撮像部１１よりも上方に配置されている。撮像部１１は、光軸が水平となるように配置されており、一対の赤外線受光部２２，２２は、撮像部１１の３２０ｍｍ上方に光軸が水平から下へ１５度傾斜するように配置されている。すなわち、赤外線受光部１２ｂ及び一対の赤外線受光部２２，２２は、対象としてのヒト２から見て、撮像部１１を上下に挟むように配置されている。なお、撮像部１１、赤外線受光部１２ｂ及び一対の赤外線受光部２２，２２は、対象としてのヒト２の一方位側において、鉛直方向の一直線上に配置されていてもよく、左右方向、及び／又は、対象としてのヒト２に対する前後方向に互いにオフセットして配置されていてもよい。また、図１において上下を示す矢印は、撮像部１１、赤外線受光部１２ｂ及び一対の赤外線受光部２２，２２の位置関係を示すものである。
図５に示すように、本実施形態において、撮像部１１、赤外線受光部１２ｂ及び一対の赤外線受光部２２，２２は、対象としてのヒト２の一方位側（正面側）において１．２ｍの距離に配置されている。また、赤外線受光部１２ｂは、撮像部１１よりも下方に配置されており、一対の赤外線受光部２２，２２は、撮像部１１よりも上方に配置されている。撮像部１１は、光軸が水平となるように配置されており、一対の赤外線受光部２２，２２は、撮像部１１の３２０ｍｍ上方に光軸が水平から下へ１５度傾斜するように配置されている。すなわち、赤外線受光部１２ｂ及び一対の赤外線受光部２２，２２は、対象としてのヒト２から見て、撮像部１１を上下に挟むように配置されている。なお、撮像部１１、赤外線受光部１２ｂ及び一対の赤外線受光部２２，２２は、対象としてのヒト２の一方位側において、鉛直方向の一直線上に配置されていてもよく、左右方向、及び／又は、対象としてのヒト２に対する前後方向に互いにオフセットして配置されていてもよい。また、図１において上下を示す矢印は、撮像部１１、赤外線受光部１２ｂ及び一対の赤外線受光部２２，２２の位置関係を示すものである。
【0047】
また、対象としてのヒト２に対する撮像部１１、赤外線受光部１２ｂ及び赤外線受光部２２，２２の距離及び／又は角度、並びに、撮像部１、赤外線受光部１２ｂ及び赤外線受光部２２，２２の間の距離及び／又は角度は、前記したものに限定されず、対象までの距離、撮像部１１、赤外線受光部１２ｂ及び赤外線受光部２２，２２のそれぞれの性能等によって、適宜変更可能である。
【0048】
図６（ａ）に示すように、撮像部１１は、対象としてのヒト２を撮像する（撮像結果としてのヒト２ａ）。また、図６（ｂ）に示すように、距離検出部１２は、対象としてのヒト２までの距離を検出する（距離検出結果としてのヒト２ｂ）。図６（ｂ）において、白抜きの部位は、距離を検出することができた部位であり、模様で示される部位は、距離を検出することができなかった部位である。ここで、頭髪２ｂ１及び折り曲げられた左腕の上部２ｂ２は、撮像部１１よりも下方から距離が検出されるので、死角が発生して距離検出部１２では距離が検出されないことがある。また、黒い頭髪２ｂ１は、赤外線を反射しにくいので、距離検出部１２では距離が検出されないことがある。そのため、制御部１３によって位置合わせされた撮像結果及び距離に基づいて対象としてのヒト２が表示装置４０によって三次元表示される場合には、図７（ａ）及び図８（ａ）に示すように、頭髪及び左腕の上部が欠落したヒト２ｃが表示装置４０に表示される。
【0049】
これに対し、第二のカメラ装置２０は、撮像部１１よりも上方に配置されているので、距離検出部１２では死角となる部位までの距離を検出することができる。また、第二のカメラ装置２０は、距離検出部１２とは異なるステレオ撮像という手法を用いることによって（本実施形態では、赤外線を異なる方向から照射することで対象の反射特性を変えることによって）、距離検出部１２では距離を検出することができない部位までの距離を検出することができる。したがって、三次元撮像システム１では、距離補完部３２が、第二のカメラ装置２０によって検出された距離によって頭髪２ｂ１及び左腕の上部２ｂ２までの距離を補完するので、図７（ｂ）及び図８（ｂ）に示すように、頭髪及び左腕の上部を含むヒト２ｄが表示装置４０に表示される。
【0050】
なお、距離の補完対象としての赤外線を反射しにくい部位としては、黒い頭髪２ｂ１以外にも、メガネ等といった透過度の高い物体等が挙げられる。
【0051】
また、距離が補完された部位は、不自然となって表示装置４０の観察者に違和感を覚えさせる可能性がある。これに対し、三次元撮像システム１では、不自然な部位をヒトの左右ではなく上下（本実施形態では、上）に発生させるので、観察者が覚える違和感を低減することができる。
【0052】
＜変形例＞
距離補完部３２は、対象としてのヒト２の各部位のうち、距離検出部１２及び第二のカメラ装置２０の両方で距離を検出することができない部位に関して、撮像部１１の撮像結果を用いたフィルタ処理を実行してもよい。ここで、フィルタ処理は、色情報に基づいて対象の境界を判断し、距離の値を境界内で広げて採用することによって、距離を検出することができない部位の周辺の距離の値を用いて距離を補完する手法である。かかるフィルタ処理は、特徴点を有しておらず、パターン化された赤外線照射によっても特徴点付与が困難な（赤外線の反射が弱い、又は、赤外線の反射が周囲と比較して相対的に強すぎる等の）対象の部位に対して好適な手法である。
距離補完部３２は、対象としてのヒト２の各部位のうち、距離検出部１２及び第二のカメラ装置２０の両方で距離を検出することができない部位に関して、撮像部１１の撮像結果を用いたフィルタ処理を実行してもよい。ここで、フィルタ処理は、色情報に基づいて対象の境界を判断し、距離の値を境界内で広げて採用することによって、距離を検出することができない部位の周辺の距離の値を用いて距離を補完する手法である。かかるフィルタ処理は、特徴点を有しておらず、パターン化された赤外線照射によっても特徴点付与が困難な（赤外線の反射が弱い、又は、赤外線の反射が周囲と比較して相対的に強すぎる等の）対象の部位に対して好適な手法である。
【0053】
【0054】
まず、第一のカメラ装置１０が、対象としてのヒト２を撮像するとともに、対象としてのヒト２までの距離を検出し、撮像結果（ＲＧＢ値）及び距離（Ｄ値）を取得する（ステップＳ１）。ここで、ＲＧＢ値及びＤ値の位置合わせが実行される。
【0055】
続いて、第二のカメラ装置２０が、対象としてのヒト２までの距離を検出し、距離（Ｄ値）を取得する（ステップＳ２）。ステップＳ２は、ステップＳ１よりも先に実行されてもよく、ステップＳ１と同時に実行されてもよい。
【0056】
続いて、制御部３０が、第二のカメラ装置２０のＤ値を第一のカメラ装置１０のＲＧＢ値及びＤ値に位置合わせする（ステップＳ３）。
【0057】
続いて、制御部３０が、対象としてのヒト２の各部位のうち、第一のカメラ装置１０のＤ値が欠落している部位に関して、同じ部位における第二のカメラ装置２０のＤ値を用いて補完する（ステップＳ４）。
【0058】
なお、ステップＳ３，Ｓ４に関して、制御部３０は、対象としてのヒト２の各部位のうち、第一のカメラ装置１０のＤ値が欠落している部位がある場合に、当該部位に関してステップＳ３を実行する構成であってもよい。
【0059】
＜実施例＞
前記した三次元撮像システム１を用いて、対象として５名（男性４名、女性１名）を撮像し、顔周辺の距離補完について分析した。三次元撮像システム１は、距離検出部１２では距離が欠落していた画素の７０％以上に第二のカメラ装置２０によって検出された距離を付与することができ、画素（カラー画像）全体の７５％に距離が付与されていたものを９３％の付与に改善することができた。
前記した三次元撮像システム１を用いて、対象として５名（男性４名、女性１名）を撮像し、顔周辺の距離補完について分析した。三次元撮像システム１は、距離検出部１２では距離が欠落していた画素の７０％以上に第二のカメラ装置２０によって検出された距離を付与することができ、画素（カラー画像）全体の７５％に距離が付与されていたものを９３％の付与に改善することができた。
【0060】
本発明の第一の実施形態に係る三次元撮像システム１は、対象を撮像する撮像部１１と、前記対象に赤外線を照射する赤外線照射部１２ａと、前記対象で反射した前記赤外線を受光する赤外線受光部１２ｂと、前記対象を前記赤外線受光部１２ｂとは異なる光軸で撮像するステレオ撮像部（赤外線受光部２２，２２）と、前記赤外線受光部１２ｂの受光結果又は前記ステレオ撮像部の撮像結果に基づいて、前記対象の各部位までの距離を算出する制御部１２ｃ，１３，２３，３０と、を備える。
前記制御部１２ｃ，１３，２３，３０は、前記赤外線照射部１２ａによって照射された前記赤外線及び前記赤外線受光部１２ｂによって受光された前記赤外線の照射時刻及び受光時刻の時間差、又は、位相差に基づいて、前記対象の各部位までの距離を算出する第一の距離算出部（制御部１２ｃ）と、前記ステレオ撮像部の撮像結果に基づいて、前記対象の各部位までの距離を算出する第二の距離算出部（制御部２３）と、
前記第一の距離算出部によって算出された前記距離を前記撮像結果に付与する距離情報付与部（制御部１３，３０）と、を備える。
前記距離情報付与部は、前記第一の距離算出部１２ｃによって前記対象までの距離を算出することができない前記対象の部位に関して、前記第二の距離算出部２３によって算出された距離を付与する。
したがって、三次元撮像システム１は、赤外線照射部１２ａ及び赤外線受光部１２ｂを用いた距離検出を優先することによって、対象の各部位までの距離を高精度（かつ高解像度）に得ることができ、距離検出不能な部位に関しては、ステレオ撮像部を用いた距離検出によって、対象の各部位までの距離を安定的に得ることができる。すなわち、三次元撮像システム１は、一方位からの三次元画像（ボリュメトリック画像）を好適に生成することができる。
前記制御部１２ｃ，１３，２３，３０は、前記赤外線照射部１２ａによって照射された前記赤外線及び前記赤外線受光部１２ｂによって受光された前記赤外線の照射時刻及び受光時刻の時間差、又は、位相差に基づいて、前記対象の各部位までの距離を算出する第一の距離算出部（制御部１２ｃ）と、前記ステレオ撮像部の撮像結果に基づいて、前記対象の各部位までの距離を算出する第二の距離算出部（制御部２３）と、
前記第一の距離算出部によって算出された前記距離を前記撮像結果に付与する距離情報付与部（制御部１３，３０）と、を備える。
前記距離情報付与部は、前記第一の距離算出部１２ｃによって前記対象までの距離を算出することができない前記対象の部位に関して、前記第二の距離算出部２３によって算出された距離を付与する。
したがって、三次元撮像システム１は、赤外線照射部１２ａ及び赤外線受光部１２ｂを用いた距離検出を優先することによって、対象の各部位までの距離を高精度（かつ高解像度）に得ることができ、距離検出不能な部位に関しては、ステレオ撮像部を用いた距離検出によって、対象の各部位までの距離を安定的に得ることができる。すなわち、三次元撮像システム１は、一方位からの三次元画像（ボリュメトリック画像）を好適に生成することができる。
【0061】
三次元撮像システム１において、前記赤外線受光部１２ｂ及び前記ステレオ撮像部は、前記撮像部１１を挟むように配置されている。
したがって、三次元撮像システム１は、赤外線受光部１２ｂでは死角になる部位までの距離をステレオ撮像部によって好適に得ることによって、一方位からの三次元画像を好適に生成することができる。
したがって、三次元撮像システム１は、赤外線受光部１２ｂでは死角になる部位までの距離をステレオ撮像部によって好適に得ることによって、一方位からの三次元画像を好適に生成することができる。
【0062】
三次元撮像システム１において、前記赤外線受光部１２ｂは、前記撮像部１１よりも下方に設けられており、前記ステレオ撮像部は、前記撮像部１１よりも上方に設けられている。
したがって、三次元撮像システム１は、赤外線照射部１２ａ及び赤外線受光部１２ｂを用いた対象の各部位の距離検出では検出不能となるおそれがあるヒト２の頭髪（黒髪）部位に関して、ステレオ撮像部を用いた距離検出によって、死角を作ることなく好適に距離を得ることによって、一方位からの三次元画像を好適に生成することができる。
したがって、三次元撮像システム１は、赤外線照射部１２ａ及び赤外線受光部１２ｂを用いた対象の各部位の距離検出では検出不能となるおそれがあるヒト２の頭髪（黒髪）部位に関して、ステレオ撮像部を用いた距離検出によって、死角を作ることなく好適に距離を得ることによって、一方位からの三次元画像を好適に生成することができる。
【0063】
三次元撮像システム１において、前記ステレオ撮像部は、赤外線領域におけるアクティブステレオビジョン方式で前記対象を撮像する。
したがって、三次元撮像システム１は、赤外線照射部１２ａ及び赤外線受光部１２ｂを用いた対象の各部位の距離検出では検出不能となる部位に関しても、パターン化された赤外線の照射によって対象の表面における特徴点を増やし、距離を好適に検出することができる。
したがって、三次元撮像システム１は、赤外線照射部１２ａ及び赤外線受光部１２ｂを用いた対象の各部位の距離検出では検出不能となる部位に関しても、パターン化された赤外線の照射によって対象の表面における特徴点を増やし、距離を好適に検出することができる。
【0064】
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜変更可能である。例えば、制御部１２ｃ，１３，２３，３０は、同一基板上に一体化されてもよい。また、赤外線受光部１２ｂ及び赤外線受光部２２，２２は、時分割方式によって一体化されてもよい。また、撮像部１１の撮像結果、距離検出部１２の距離検出結果、及び、第二のカメラ装置２０の距離検出結果の位置合わせは、撮像結果及び距離検出結果のいずれかの位置を基準としてもよく、これらとは別の位置を基準としてもよく、位置合わせの順番も適宜変更可能である。また、撮像部１１は、第二のカメラ装置２０内に設けられて赤外線受光部２２，２２と一体化されていてもよく、第一のカメラ装置１０（距離検出部１２）及び第二のカメラ装置２０（赤外線受光部２２，２２）とは別体として独立したものであってもよい。また、本発明は、ヒト２以外の対象を三次元的に撮像することも可能である。
【符号の説明】
【0065】
１ 三次元撮像システム
２ ヒト（対象）
１０ 第一のカメラ装置
１１ 撮像部
１２ａ 赤外線照射部
１２ｂ 赤外線受光部
１２ｃ 制御部（第一の距離算出部）
１３ 制御部（距離情報付与部）
２０ 第二のカメラ装置
２２ 赤外線受光部（ステレオ撮像部）
２３ 制御部（第二の距離算出部）
３０ 制御部（距離情報付与部）
４０ 表示装置
２ ヒト（対象）
１０ 第一のカメラ装置
１１ 撮像部
１２ａ 赤外線照射部
１２ｂ 赤外線受光部
１２ｃ 制御部（第一の距離算出部）
１３ 制御部（距離情報付与部）
２０ 第二のカメラ装置
２２ 赤外線受光部（ステレオ撮像部）
２３ 制御部（第二の距離算出部）
３０ 制御部（距離情報付与部）
４０ 表示装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】