特開 2024-99222 三次元情報生成装置及び三次元情報生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024099222

(43)【公開日】2024-07-25

(54)【発明の名称】三次元情報生成装置及び三次元情報生成方法

(51)【国際特許分類】

   G01B 11/24 20060101AFI20240718BHJP

【ＦＩ】

G01B11/24 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023003006

(22)【出願日】2023-01-12

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】籾山 悦郎

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA04

2F065AA06

2F065AA53

2F065CC16

2F065DD06

2F065FF11

2F065GG06

2F065JJ03

2F065JJ26

2F065LL20

2F065QQ41

2F065QQ42

2F065RR08

(57)【要約】

【課題】三次元の点群データ等の三次元情報を生成する際の効率の向上を図る。
【解決手段】撮像部により撮像された正面撮像画像を取得する正面撮像画像取得部と、正面撮像画像に対応する二次元座標系の各座標における被写体までの距離を示す複数の距離情報を含む距離画像を取得する距離画像取得部と、正面撮像画像に含まれる人の輪郭を抽出する輪郭抽出部と、当該輪郭に基づいて距離画像から人に対応する部分の対象距離情報を抽出する対象距離情報抽出部と、半身判定条件に基づいて対象距離情報のうち人の半身であって撮像部側の半身に対応する正面距離情報を抽出し、正面距離情報に基づいて撮像部の側とは反対側の半身に対応する背面距離情報を生成する背面距離情報生成部と、正面距離情報と背面距離情報とに基づいて人の形状を示す三次元情報を生成する三次元情報生成部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

被写体である人が撮像部により撮像された正面撮像画像を取得する正面撮像画像取得部と、
前記正面撮像画像に対応する二次元座標系の各座標における前記被写体までの距離を示す複数の距離情報を含む距離画像を取得する距離画像取得部と、
前記正面撮像画像に含まれる人の輪郭を抽出する輪郭抽出部と、
前記輪郭抽出部により抽出された人の輪郭に基づいて、前記距離画像から人に対応する部分の対象距離情報を抽出する対象距離情報抽出部と、
人の半身判定条件を示す半身判定条件情報を記憶する半身判定条件情報記憶部と、
前記半身判定条件に基づいて前記対象距離情報のうち人の半身であって前記撮像部の側の半身に対応する正面距離情報を抽出し、前記正面距離情報に基づいて前記撮像部の側とは反対側の半身に対応する背面距離情報を生成する背面距離情報生成部と、
前記正面距離情報と前記背面距離情報とに基づいて、人の形状を示す三次元情報を生成する三次元情報生成部と、
を備える三次元情報生成装置。

【請求項2】

前記半身判定条件は、人の身体の半身境界面から表面までの距離の統計情報に基づく条件である、
請求項１に記載の三次元情報生成装置。

【請求項3】

前記輪郭抽出部は、前記正面撮像画像に含まれる人の身体の特定部位の輪郭を抽出し、
前記対象距離情報抽出部は、前記輪郭抽出部により抽出された人の身体の特定部位の輪郭に基づいて、前記距離画像から人の身体の特定部位に対応する部分の特定部位対象距離情報を抽出し、
前記半身判定条件情報記憶部は、人の身体の特定部位の半身判定条件を示す特定部位半身判定条件情報を記憶し、
前記背面距離情報生成部は、前記特定部位の半身判定条件に基づいて前記特定部位対象距離情報のうち人の半身であって前記撮像部の側の身体の特定部位の半身に対応する特定部位正面距離情報を抽出し、前記特定部位正面距離情報に基づいて前記撮像部の側とは反対側の身体の特定部位の半身に対応する特定部位背面距離情報を生成し、
前記三次元情報生成部は、前記特定部位正面距離情報と前記特定部位背面距離情報とに基づいて、人の身体の特定部位の形状を示す三次元情報を生成する、
請求項１に記載の三次元情報生成装置。

【請求項4】

前記三次元情報生成部は、前記正面距離情報に基づいて人の一方の半身の形状を示す三次元情報を生成し、前記背面距離情報に基づいて人のもう一方の半身の形状を示す三次元情報を生成する、
請求項１に記載の三次元情報生成装置。

【請求項5】

三次元情報生成装置が実行する三次元情報生成方法であって、
被写体である人が撮像部により撮像された正面撮像画像を取得する正面撮像画像取得ステップと、
前記正面撮像画像に対応する二次元座標系の各座標における前記被写体までの距離を示す複数の距離情報を含む距離画像を取得する距離画像取得ステップと、
前記正面撮像画像に含まれる人の輪郭を抽出する輪郭抽出ステップと、
前記輪郭抽出ステップにより抽出された人の輪郭に基づいて、前記距離画像から人に対応する部分の対象距離情報を抽出する対象距離情報抽出ステップと、
人の身体の半身判定条件に基づいて前記対象距離情報のうち人の半身であって前記撮像部の側の半身に対応する正面距離情報を抽出し、前記正面距離情報に基づいて前記撮像部の側とは反対側の半身に対応する背面距離情報を生成する背面距離情報生成ステップと、
前記正面距離情報と前記背面距離情報とに基づいて、人の形状を示す三次元情報を生成する三次元情報生成ステップと、
を含む三次元情報生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元情報生成装置及び三次元情報生成方法に関する。

【背景技術】

【0002】

従来、撮像装置のレンズを取り囲む位置にＶＣＳＥＬ（Vertical Cavity Surface Emitting Laser、垂直共振器型面発光レーザー）等の発光素子と、ＴｏＦセンサ等の受光素子とを備え、発光素子により照射された光が対象物に反射してＴｏＦセンサにより受光されるまでの時間を測定することにより、対象物までの距離を測定する距離検出装置があった（例えば、特許文献１，２を参照）。このような距離検出装置を用いて、撮像装置により撮像された画像（例えばＲＧＢ画像）と、ＴｏＦセンサにより取得された深度情報とを組み合わせて、三次元の点群データを生成することが考えられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－１５７０４４号公報

【特許文献2】特開２０２１－２６２３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した従来の距離検出装置を用いて三次元の点群データを生成する場合、１台の距離検出装置では、撮像装置から被写体の正面側までの距離を示す深度情報を取得することはできるが、撮像装置とは反対側である被写体の背面側の距離を示す深度情報を取得することはできない。このため、複数台の距離検出装置を準備したり、又は１台の距離検出装置を被写体の正面側の位置と被写体の背面側の位置とに移動してそれぞれの位置で測定を実施したりする必要があった。

【0005】

本発明は、このような事情を考慮してなされたものであり、その目的は、三次元の点群データ等の三次元情報を生成する際の効率の向上を図ることができる三次元情報生成装置及び三次元情報生成方法を提供することにある。

【課題を解決するための手段】

【0006】

（１）本発明の一態様は、被写体である人が撮像部により撮像された正面撮像画像を取得する正面撮像画像取得部と、前記正面撮像画像に対応する二次元座標系の各座標における前記被写体までの距離を示す複数の距離情報を含む距離画像を取得する距離画像取得部と、前記正面撮像画像に含まれる人の輪郭を抽出する輪郭抽出部と、前記輪郭抽出部により抽出された人の輪郭に基づいて、前記距離画像から人に対応する部分の対象距離情報を抽出する対象距離情報抽出部と、人の半身判定条件を示す半身判定条件情報を記憶する半身判定条件情報記憶部と、前記半身判定条件に基づいて前記対象距離情報のうち人の半身であって前記撮像部の側の半身に対応する正面距離情報を抽出し、前記正面距離情報に基づいて前記撮像部の側とは反対側の半身に対応する背面距離情報を生成する背面距離情報生成部と、前記正面距離情報と前記背面距離情報とに基づいて、人の形状を示す三次元情報を生成する三次元情報生成部と、を備える三次元情報生成装置である。

【0007】

（２）本発明の一態様は、上記（１）の三次元情報生成装置において、前記半身判定条件は、人の身体の半身境界面から表面までの距離の統計情報に基づく条件である、三次元情報生成装置である。

【0008】

（３）本発明の一態様は、上記（１）又は（２）の三次元情報生成装置において、前記輪郭抽出部は、前記正面撮像画像に含まれる人の身体の特定部位の輪郭を抽出し、前記対象距離情報抽出部は、前記輪郭抽出部により抽出された人の身体の特定部位の輪郭に基づいて、前記距離画像から人の身体の特定部位に対応する部分の特定部位対象距離情報を抽出し、前記半身判定条件情報記憶部は、人の身体の特定部位の半身判定条件を示す特定部位半身判定条件情報を記憶し、前記背面距離情報生成部は、前記特定部位の半身判定条件に基づいて前記特定部位対象距離情報のうち人の半身であって前記撮像部の側の身体の特定部位の半身に対応する特定部位正面距離情報を抽出し、前記特定部位正面距離情報に基づいて前記撮像部の側とは反対側の身体の特定部位の半身に対応する特定部位背面距離情報を生成し、前記三次元情報生成部は、前記特定部位正面距離情報と前記特定部位背面距離情報とに基づいて、人の身体の特定部位の形状を示す三次元情報を生成する、三次元情報生成装置である。

【0009】

（４）本発明の一態様は、上記（１）から（３）のいずれかの三次元情報生成装置において、前記三次元情報生成部は、前記正面距離情報に基づいて人の一方の半身の形状を示す三次元情報を生成し、前記背面距離情報に基づいて人のもう一方の半身の形状を示す三次元情報を生成する、三次元情報生成装置である。

【0010】

（５）本発明の一態様は、上記（１）から（３）のいずれかの三次元情報生成装置において、前記三次元情報生成部は、前記正面撮像画像と前記正面距離情報とに基づいて人の一方の半身の形状を示す三次元情報を生成し、前記正面撮像画像と前記背面距離情報とに基づいて人のもう一方の半身の形状を示す三次元情報を生成する、三次元情報生成装置である。

【0011】

（６）本発明の一態様は、上記（１）から（３）のいずれかの三次元情報生成装置において、前記三次元情報生成部は、前記正面撮像画像と前記正面距離情報とに基づいて人の一方の半身の形状を示す三次元情報を生成し、所定の画像処理方法と前記背面距離情報とに基づいて人のもう一方の半身の形状を示す三次元情報を生成する、三次元情報生成装置である。

【0012】

（７）本発明の一態様は、上記（６）の三次元情報生成装置において、前記画像処理方法は、人の身体の部位毎に設定された、三次元情報生成装置である。

【0013】

（８）本発明の一態様は、上記（１）から（３）のいずれかの三次元情報生成装置において、前記被写体である人の前記撮像部とは反対側が撮像された背面撮像画像を取得する背面撮像画像取得部をさらに備え、前記三次元情報生成部は、前記正面撮像画像と前記正面距離情報とに基づいて人の一方の半身の形状を示す三次元情報を生成し、前記背面撮像画像と前記背面距離情報とに基づいて人のもう一方の半身の形状を示す三次元画像情報を生成する、三次元情報生成装置である。

【0014】

（９）本発明の一態様は、三次元情報生成装置が実行する三次元情報生成方法であって、被写体である人が撮像部により撮像された正面撮像画像を取得する正面撮像画像取得ステップと、前記正面撮像画像に対応する二次元座標系の各座標における前記被写体までの距離を示す複数の距離情報を含む距離画像を取得する距離画像取得ステップと、前記正面撮像画像に含まれる人の輪郭を抽出する輪郭抽出ステップと、前記輪郭抽出ステップにより抽出された人の輪郭に基づいて、前記距離画像から人に対応する部分の対象距離情報を抽出する対象距離情報抽出ステップと、人の身体の半身判定条件に基づいて前記対象距離情報のうち人の半身であって前記撮像部の側の半身に対応する正面距離情報を抽出し、前記正面距離情報に基づいて前記撮像部の側とは反対側の半身に対応する背面距離情報を生成する背面距離情報生成ステップと、前記正面距離情報と前記背面距離情報とに基づいて、人の形状を示す三次元情報を生成する三次元情報生成ステップと、を含む三次元情報生成方法である。

【発明の効果】

【0015】

本発明によれば、三次元の点群データ等の三次元情報を生成する際の効率の向上を図ることができるという効果が得られる。

【図面の簡単な説明】

【0016】

【図1】一実施形態に係る三次元情報生成システムの概略について説明するための図である。

【図2】一実施形態に係る三次元情報取得装置の断面の一例を示す模式図である。

【図3】一実施形態に係る三次元情報生成装置の機能構成の一例を示す機能構成図である。

【図4】一実施形態に係る三次元情報生成方法の手順の一例を示すフローチャートである。

【図5】一実施形態に係る三次元情報生成処理を説明するための図である。

【図6】一実施形態に係る三次元情報生成処理を説明するための図である。

【図7】一実施形態に係る三次元情報生成処理を説明するための図である。

【図8】一実施形態に係る三次元情報生成処理を説明するための図である。

【図9】一実施形態に係る三次元情報生成処理を説明するための図である。

【図10】一実施形態に係る三次元情報生成処理を説明するための図である。

【図11】一実施形態に係る三次元情報生成方法の変形例を説明するための図である。

【図12】一実施形態に係る三次元情報生成システムの変形例の概略について説明するための図である。

【図13】一実施形態に係る三次元情報生成装置の機能構成の変形例を示す機能構成図である。

【発明を実施するための形態】

【0017】

本発明の態様に係る三次元情報生成装置及び三次元情報生成方法について、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。なお、以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。

【0018】

図１は、一実施形態に係る三次元情報生成システムの概略について説明するための図である。同図を参照しながら、三次元情報生成システム１の概略について説明する。三次元情報生成システム１は、三次元空間上に存在する被写体である人Ｕに関する三次元情報を生成する。人Ｕに関する三次元情報は、例えば人Ｕの形状を示す三次元情報である。人Ｕに関する三次元情報は、例えば人Ｕの三次元の点群データである。三次元の点群データは、三次元空間における点の座標を少なくとも含むデータである。三次元の点群データは、三次元空間における点の座標及び色の情報を含むデータであってもよい。

【0019】

被写体は１人であってもよく、複数人であってもよい。被写体が複数人（複数の人Ｕ）である場合は、三次元情報生成システム１は、各人Ｕを判別し、人Ｕ毎に三次元情報を生成する。

【0020】

三次元情報生成システム１は、三次元情報取得装置１０から人Ｕまでの距離Ｌ１を計測する。三次元情報取得装置１０は、二次元座標系の各座標において、人Ｕまでの距離Ｌ１をそれぞれ計測することにより、人Ｕの三次元的な形状を取得する。人Ｕの背後には、背景ＢＧが存在する場合がある。背景ＢＧとは、例えば撮影用に用いられるグリーンバック等のスクリーンであってもよいし、単なる壁や床、建造物、自然物等、その他通常の撮像時に映り込む背景等であってもよい。三次元情報生成システム１は、例えば屋内における撮影スタジオでプロのカメラマンにより使用されてもよいし、屋内外における通常の写真撮影と同様の状況において一般ユーザにより使用されてもよい。

【0021】

三次元情報生成システム１は、三次元情報取得装置１０と、三次元情報生成装置２０とを含んで構成される。三次元情報取得装置１０と三次元情報生成装置２０とは、１つのエッジデバイスとして存在していてもよいし、例えばインターネット等の通信ネットワークを介して互いに接続されていてもよい。また、三次元情報生成装置２０は、例えばインターネット等の通信ネットワークを介して三次元情報取得装置１０に接続されるサーバ装置（不図示）として存在していてもよい。三次元情報生成装置２０がサーバ装置として存在する場合、例えばインターネット等の通信ネットワークを介して、複数の三次元情報取得装置１０と一の三次元情報生成装置２０とが接続されてもよい。

【0022】

三次元情報取得装置１０は、受光部１１０と、照射部１２０とを備える。受光部１１０は、例えば、対物レンズ等の光学系レンズを含んで構成されてもよい。照射部１２０は、照射光を人Ｕに照射する。照射部１２０は、例えばレーザーダイオード等の光源であってもよい。より詳細には、照射部１２０は、基板面に対して垂直方向にレーザービームを放射可能なＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ、垂直共振器型面発光レーザー）等であってもよい。照射部１２０により照射された光（第１照射光ＢＭ１）は、人Ｕにより反射し、人Ｕにより反射した光（第２照射光ＢＭ２）は、受光部１１０に入射する。三次元情報取得装置１０は、光を照射してから受光するまでの時間（飛行時間）に応じて、三次元情報取得装置１０から人Ｕまでの距離Ｌ１を測距する。

【0023】

受光部１１０は、二次元アレイ状に配置された複数の受光素子を備える。三次元情報取得装置１０は、複数の受光素子それぞれにおける測距情報に応じて、人Ｕの三次元的な形状を測定する。なお、図示する一例では、一対の受光部１１０及び照射部１２０が示されているが、１つの受光部１１０に対して複数の照射部１２０が備えられるような構成であってもよい。この場合、複数の照射部１２０は、受光部１１０を中心として、その近傍に備えられることが好適である。

【0024】

三次元情報取得装置１０は、不図示のイメージセンサを備える。イメージセンサは、二次元アレイ状に配置された複数の画素を備え、イメージセンサが備える複数の画素は、受光部１１０が備える光学系レンズにより結像された可視光を受光し、受光した情報に基づき、可視光画像（ＲＧＢ画像）を生成する。可視光画像の方式としては、ＲＧＢ方式に限らず、ＹＣｂＣｒ方式やグレースケール（モノクロ）方式でもよい。

【0025】

三次元情報生成装置２０は、三次元情報取得装置１０により取得された三次元情報のうち、人Ｕの三次元情報を抽出する。三次元情報取得装置１０により取得された三次元情報は、図示するように三次元情報生成の対象となる人Ｕ以外にも、複数の物体（不図示）や、背景ＢＧ等の三次元情報をも含んでいる。そこで、三次元情報生成装置２０は、三次元情報取得装置１０により取得された三次元情報のうち、三次元情報生成の対象となる人Ｕの三次元情報を抽出する。なお、被写体が複数人（複数の人Ｕ）である場合、三次元情報生成装置２０が三次元情報生成の対象とする人Ｕは、三次元情報生成装置２０により自動的に判定されてもよいし、ユーザ等の選択により決定されてもよい。

【0026】

図２は、本実施形態に係る三次元情報取得装置の断面の一例を示す模式図である。同図を参照しながら、三次元情報取得装置１０におけるイメージセンサとＴｏＦセンサの配置の一例について説明する。三次元情報取得装置１０は、可視光反射ダイクロイック膜１１２と、イメージセンサ１１３と、ＴｏＦセンサ１１４とを更に備える。

【0027】

照射部１２０から照射され、人Ｕに反射した光は、受光部１１０に入射する。同図には、入射した光の光軸が、光軸ＯＡとして記載されている。受光部１１０に入射した光は、可視光反射ダイクロイック膜１１２に入射する。可視光反射ダイクロイック膜１１２よりも上流側には、不図示の光学系レンズ等が備えられていてもよい。

【0028】

可視光反射ダイクロイック膜１１２は、受光部１１０とＴｏＦセンサ１１４との間の光路上に設けられる。可視光反射ダイクロイック膜１１２は、入射する一部の光（具体的には近赤外光）を透過させ、その他の光（具体的には可視光）を反射する。可視光反射ダイクロイック膜１１２は、照射部１２０により照射された光が人Ｕに反射した光の一部を透過させることにより、光をＴｏＦセンサ１１４に導く。可視光反射ダイクロイック膜１１２が透過させる光を赤外光ＩＬと記載する。また、可視光反射ダイクロイック膜１１２が反射する光を可視光ＶＬとして記載する。赤外光ＩＬ及び可視光ＶＬは、可視光反射ダイクロイック膜１１２よりも上流側において略同一の光軸を通る。略同一の範囲とは、例えば共通のレンズにより、光路が形成される範囲であってもよい。

【0029】

可視光反射ダイクロイック膜１１２により二つの光路に分光された光は、それぞれの光路に配置されたセンサにより受光される。具体的には、可視光反射ダイクロイック膜１１２を透過した赤外光ＩＬはＴｏＦセンサ１１４により受光される。また、可視光反射ダイクロイック膜１１２に反射した可視光ＶＬはイメージセンサ１１３により受光される。

【0030】

イメージセンサ１１３は、二次元配列された複数の画素を備える。イメージセンサ１１３は、ベイヤー配列により配置されたＲＧＢ各色の画素を備えていてもよい。当該複数の画素は、それぞれ可視光ＶＬを受光し、可視光画像を生成するために必要な情報を取得する。

【0031】

ＴｏＦセンサ１１４は、二次元配列された複数の画素を備える。当該複数の画素は、それぞれ赤外光ＩＬを受光し、距離換算に必要な情報を取得する。

【0032】

図３は、本実施形態に係る三次元情報生成装置の機能構成の一例を示す機能構成図である。同図を参照しながら、三次元情報生成装置２０の機能構成の一例について説明する。三次元情報生成装置２０は、正面撮像画像取得部２１と、Ｄｅｐｔｈ画像取得部２２と、輪郭抽出部２３と、対象Ｄｅｐｔｈ値抽出部２４と、半身判定条件情報記憶部２５と、背面Ｄｅｐｔｈ値生成部２６と、三次元情報生成部２７と、出力部２８とを含んで構成される。これらの各機能部は、例えば、電子回路を用いて実現される。

【0033】

例えば、三次元情報生成装置２０がＣＰＵ（Central Processing Unit：中央演算処理装置）及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより、三次元情報生成装置２０の各機能が実現される。また、三次元情報生成装置２０は、ハードディスク装置や光磁気ディスク装置、例えばフラッシュメモリ等の不揮発性のメモリや、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリ、あるいはこれらの組み合わせにより構成される記憶手段を備えてもよい。

【0034】

なお、三次元情報生成装置２０として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。例えば、三次元情報生成装置２０は、例えばインターネット等の通信ネットワークに接続されるサーバコンピュータを使用して構成されてもよい。また、三次元情報生成装置２０の各機能はクラウドコンピューティングにより実現されてもよい。また、三次元情報生成装置２０は、単独のコンピュータにより実現するものであってもよく、又は三次元情報生成装置２０の機能を複数のコンピュータに分散させて実現するものであってもよい。また、三次元情報生成装置２０として、例えばＷＷＷシステム等を利用してウェブサイトを開設するように構成してもよい。

【0035】

正面撮像画像取得部２１は、三次元情報取得装置１０のイメージセンサ１１３（撮像部）が人Ｕを撮像した撮像画像（例えばＲＧＢ画像等の可視光画像）である正面撮像画像を含む正面撮像画像情報Ａを取得する。

【0036】

図１及び図２に示されるように、三次元情報取得装置１０のイメージセンサ１１３により人Ｕが撮像される側を正面側という。一方、人Ｕにおいて正面側とは反対側を背面側という。人Ｕの正面側は三次元情報取得装置１０のイメージセンサ１１３により撮像することができ、当該撮像された撮像画像を正面撮像画像という。一方、人Ｕの背面側は三次元情報取得装置１０のイメージセンサ１１３により撮像することができない。

【0037】

正面撮像画像情報Ａには、二次元座標系の各座標における輝度情報等が含まれる。当該輝度情報は、ＲＧＢ各色に対応するものであってもよい。正面撮像画像取得部２１は、イメージセンサ１１３から取得した正面撮像画像情報Ａを輪郭抽出部２３に出力する。

【0038】

Ｄｅｐｔｈ画像取得部２２は、ＴｏＦセンサ１１４が測定したＤｅｐｔｈ値から構成されるＤｅｐｔｈ画像（距離画像）を含むＤｅｐｔｈ画像情報Ｃを取得する。Ｄｅｐｔｈ画像には、二次元座標系の各座標における複数のＤｅｐｔｈ値（距離情報）が含まれる。Ｄｅｐｔｈ画像に係る二次元座標系は、正面撮像画像に係る二次元座標系に対応していることが好ましい。Ｄｅｐｔｈ値とは、ＴｏＦ方式により測距された人Ｕまでの距離を示す距離情報である。Ｄｅｐｔｈ画像取得部２２は、ＴｏＦセンサ１１４から取得したＤｅｐｔｈ画像情報Ｃを対象Ｄｅｐｔｈ値抽出部２４に出力する。

【0039】

ここで、正面撮像画像取得部２１により取得される正面撮像画像と、Ｄｅｐｔｈ画像とは、同一の画角で、同一の人Ｕを撮像したものであることが好ましい。換言すれば、正面撮像画像取得部２１により取得される正面撮像画像の座標と、Ｄｅｐｔｈ画像の座標とは対応していることが好ましい。互いの座標を対応させるため、本実施形態においては、図２を参照しながら説明したような、可視光反射ダイクロイック膜１１２を用いて赤外光ＩＬと可視光ＶＬとに分光するような構成が用いられる。

【0040】

なお、Ｄｅｐｔｈ画像に係る二次元座標系が正面撮像画像に係る二次元座標系に対応していない場合は、Ｄｅｐｔｈ画像に係る二次元座標系を正面撮像画像に係る二次元座標系に対応させるための座標変換機能をＤｅｐｔｈ画像取得部２２に持たせる。これにより、対象Ｄｅｐｔｈ値抽出部２４へ出力されるＤｅｐｔｈ画像に係る二次元座標系は、正面撮像画像に係る二次元座標系に対応したものになる。

【0041】

輪郭抽出部２３は、正面撮像画像情報Ａの正面撮像画像に含まれる人Ｕの輪郭を抽出する。輪郭抽出部２３は、例えばニューラルネットワークを用いた既知の人検出ライブラリに基づいて、正面撮像画像に含まれる人Ｕの輪郭を抽出してもよい。輪郭抽出部２３は、具体的には、Ｄｅｔｅｃｔｒｏｎ２等の既知のライブラリに基づいて、人Ｕの輪郭を検出する。輪郭抽出部２３は、抽出した人Ｕの輪郭を示す輪郭情報Ｂを対象Ｄｅｐｔｈ値抽出部２４に出力する。

【0042】

対象Ｄｅｐｔｈ値抽出部２４は、輪郭情報Ｂに示される人Ｕの輪郭に基づいて、Ｄｅｐｔｈ画像情報ＣのＤｅｐｔｈ画像から人Ｕに対応する部分のＤｅｐｔｈ値である対象Ｄｅｐｔｈ値（対象距離情報）を抽出する。具体的には、対象Ｄｅｐｔｈ値抽出部２４は、Ｄｅｐｔｈ画像情報ＣのＤｅｐｔｈ画像を参照することにより、輪郭情報Ｂに示される人Ｕの輪郭により特定される人Ｕの形状部分のＤｅｐｔｈ値（対象Ｄｅｐｔｈ値）を抽出する。対象Ｄｅｐｔｈ値抽出部２４は、抽出した対象Ｄｅｐｔｈ値を含む対象Ｄｅｐｔｈ値情報Ｄを背面Ｄｅｐｔｈ値生成部２６に出力する。

【0043】

半身判定条件情報記憶部２５は、人の半身判定条件を示す半身判定条件情報を記憶する。半身判定条件情報は、事前に準備されて予め半身判定条件情報記憶部２５に記憶される。

【0044】

半身判定条件は、人の半身を判定するための判定条件である。人の半身とは、例えば、人の腹側の半身である。人の半身とは、例えば、人の背中側の半身である。人の半身とは、例えば、人の右手右足側の半身である。人の半身とは、例えば、人の左手左足側の半身である。

【0045】

半身判定条件は、例えば、人の身体の半身境界面から表面までの距離の統計情報に基づいて人の身体の一方の半身を判定するための判定条件である。統計情報は、例えば平均値や標準偏差などである。人の身体の半身境界面とは、例えば、人の身体の腹側の半身と背中側の半身との境の面である。人の身体の半身境界面とは、例えば、人の身体の右手右足側の半身と左手左足側の半身との境の面である。

【0046】

背面Ｄｅｐｔｈ値生成部２６は、半身判定条件情報記憶部２５の半身判定条件情報の半身判定条件に基づいて、対象Ｄｅｐｔｈ値情報Ｄの対象Ｄｅｐｔｈ値のうちイメージセンサ１１３の側（正面側）の人Ｕの半身に対応するＤｅｐｔｈ値である正面Ｄｅｐｔｈ値（正面距離情報）を抽出する。具体的には、背面Ｄｅｐｔｈ値生成部２６は、対象Ｄｅｐｔｈ値情報Ｄの対象Ｄｅｐｔｈ値を参照し、半身判定条件を満たすＤｅｐｔｈ値（正面Ｄｅｐｔｈ値）を抽出する。

【0047】

背面Ｄｅｐｔｈ値生成部２６は、抽出した正面Ｄｅｐｔｈ値に基づいて、半身境界面からイメージセンサ１１３の側（正面側）とは反対側（背面側）の人Ｕの半身に対応するＤｅｐｔｈ値である背面Ｄｅｐｔｈ値（背面距離情報）を生成する。具体的には、背面Ｄｅｐｔｈ値生成部２６は、正面Ｄｅｐｔｈ値の各々について、半身境界面を中心にして正面Ｄｅｐｔｈ値とは面対称の位置を示すＤｅｐｔｈ値（背面Ｄｅｐｔｈ値）を生成する。背面Ｄｅｐｔｈ値生成部２６は、半身境界面を、正面Ｄｅｐｔｈ値から所定の算出式により決定する。半身境界面は、例えば、正面Ｄｅｐｔｈ値の平均値に対応する面である。背面Ｄｅｐｔｈ値生成部２６は、抽出した正面Ｄｅｐｔｈ値と、生成した背面Ｄｅｐｔｈ値とを含む総合Ｄｅｐｔｈ値情報Ｅを三次元情報生成部２７に出力する。

【0048】

三次元情報生成部２７は、総合Ｄｅｐｔｈ値情報Ｅの正面Ｄｅｐｔｈ値及び背面Ｄｅｐｔｈ値に基づいて、人Ｕの形状を示す三次元情報を生成する。例えば、三次元情報生成部２７は、正面Ｄｅｐｔｈ値に基づいて人Ｕの一方の半身の形状を示す三次元情報を生成し、背面Ｄｅｐｔｈ値に基づいて人Ｕのもう一方の半身の形状を示す三次元情報を生成する。具体的には、三次元情報生成部２７は、人Ｕの点群データを生成する際に、正面Ｄｅｐｔｈ値を人Ｕの一方の半身の形状を示す点群データに用い、背面Ｄｅｐｔｈ値を人Ｕのもう一方の半身の形状を示す点群データに用いる。

【0049】

例えば、三次元情報生成部２７は、正面撮像画像情報Ａの正面撮像画像と正面Ｄｅｐｔｈ値とに基づいて人Ｕの一方の半身の形状を示す三次元情報を生成し、当該正面撮像画像と背面Ｄｅｐｔｈ値とに基づいて人Ｕのもう一方の半身の形状を示す三次元情報を生成する。具体的には、三次元情報生成部２７は、人Ｕの点群データを生成する際に、正面Ｄｅｐｔｈ値と当該正面Ｄｅｐｔｈ値の位置に対応する正面撮像画像の色の情報とを人Ｕの一方の半身の形状を示す点群データに用い、背面Ｄｅｐｔｈ値と当該背面Ｄｅｐｔｈ値の面対称の正面Ｄｅｐｔｈ値の位置に対応する正面撮像画像の色の情報とを人Ｕのもう一方の半身の形状を示す点群データに用いる。

【0050】

例えば、三次元情報生成部２７は、正面撮像画像情報Ａの正面撮像画像と正面Ｄｅｐｔｈ値とに基づいて人Ｕの一方の半身の形状を示す三次元情報を生成し、所定の画像処理方法と背面Ｄｅｐｔｈ値とに基づいて人Ｕのもう一方の半身の形状を示す三次元情報を生成する。具体的には、三次元情報生成部２７は、人Ｕの点群データを生成する際に、正面Ｄｅｐｔｈ値と当該正面Ｄｅｐｔｈ値の位置に対応する正面撮像画像の色の情報とを人Ｕの一方の半身の形状を示す点群データに用い、背面Ｄｅｐｔｈ値と所定の画像処理方法により生成した色の情報とを人Ｕのもう一方の半身の形状を示す点群データに用いる。当該画像処理方法は、人の身体の部位毎に設定されてもよい。当該画像処理方法として、例えば、人Ｕの頭部の顔側とは反対側（背中側）の半身の色として適当な所定の色（例えば、髪色として適当な黒や灰色や茶色など）の情報を生成する。当該画像処理方法として、例えば、人Ｕの胴体部の背中側の半身の色として適当な所定の色（例えば黒や灰色など）の情報を生成する。

【0051】

三次元情報生成部２７は、生成した三次元情報Ｆを出力部２８に出力する。

【0052】

出力部２８は、所定の出力方法により三次元情報Ｆを出力する。三次元情報Ｆの出力方法としては、様々な方法が挙げられる。出力方法は、例えば、通信により所定の宛先へ三次元情報Ｆを送信する。出力方法は、例えば、三次元情報生成装置２０の内部の記憶手段や三次元情報生成装置２０の外部の記憶手段に三次元情報Ｆを記憶させる。出力方法は、例えば、三次元情報生成装置２０に接続される表示装置に三次元情報Ｆを表示させる。出力方法は、例えば、三次元情報生成装置２０に接続される印刷装置で三次元情報Ｆを印刷させる。

【0053】

図４は、本実施形態に係る三次元情報生成方法の手順の一例を示すフローチャートである。図５－図１０は、本実施形態に係る三次元情報生成処理を説明するための図である。図４－図１０を参照しながら、三次元情報生成装置２０の動作の一例について説明する。

【0054】

（ステップＳ１）正面撮像画像取得部２１は、三次元情報取得装置１０のイメージセンサ１１３（撮像部）が人Ｕを撮像した撮像画像（例えばＲＧＢ画像等の可視光画像）である正面撮像画像を含む正面撮像画像情報Ａを取得する。図５は、正面撮像画像の一例である。

【0055】

（ステップＳ２）Ｄｅｐｔｈ画像取得部２２は、ＴｏＦセンサ１１４が測定したＤｅｐｔｈ値から構成されるＤｅｐｔｈ画像（距離画像）を含むＤｅｐｔｈ画像情報Ｃを取得する。

【0056】

（ステップＳ３）輪郭抽出部２３は、正面撮像画像情報Ａの正面撮像画像に含まれる人Ｕの輪郭を抽出する。図６は、輪郭抽出部２３が図５の正面撮像画像に対して人Ｕの輪郭を抽出する処理を行った結果である。図６には、図５の正面撮像画像において抽出された人Ｕの輪郭に囲まれた内部の画像３００が示される。

【0057】

（ステップＳ４）対象Ｄｅｐｔｈ値抽出部２４は、輪郭抽出部２３が抽出した人Ｕの輪郭に基づいて、Ｄｅｐｔｈ画像情報ＣのＤｅｐｔｈ画像から人Ｕに対応する部分のＤｅｐｔｈ値である対象Ｄｅｐｔｈ値（対象距離情報）を抽出する。

【0058】

図７は、対象Ｄｅｐｔｈ値抽出部２４が行う対象Ｄｅｐｔｈ値抽出処理の一例について説明するための図である。図７を参照しながら、対象Ｄｅｐｔｈ値抽出部２４が行う対象Ｄｅｐｔｈ値抽出処理の一例について説明する。図７には、輪郭抽出部２３により図５の正面撮像画像において抽出された人Ｕの輪郭に囲まれた内部を中心とする各座標を示す。図７に示す画像の範囲は、図６における少なくとも画像３００を含む所定の範囲であってもよい。図７に示す一例では、輪郭抽出部２３により図５の正面撮像画像において抽出された人Ｕの輪郭に囲まれた内部（図６の画像３００に対応する部分）については網掛けをして示している。

【0059】

図７に示される各座標には、Ｄｅｐｔｈ値を格納する配列の各要素が対応付けられる。図７に示す一例では、要素ｄ［０］［０］から要素ｄ［１４］［６］までを有する配列が示されている。各要素には当該要素が割り当てられた座標に対応するＤｅｐｔｈ値が格納される。対象Ｄｅｐｔｈ値抽出部２４は、図７中の網掛けがされた部分に対応する要素のＤｅｐｔｈ値（対象Ｄｅｐｔｈ値）を抽出し、配列化を行う。図７中の網掛けがされた部分は、輪郭抽出部２３により図５の正面撮像画像において抽出された人Ｕの輪郭に囲まれた内部（図６の画像３００に対応する部分）に対応する。対象Ｄｅｐｔｈ値が配列化された配列情報は、対象Ｄｅｐｔｈ値情報Ｄの一例である。

【0060】

（ステップＳ５）背面Ｄｅｐｔｈ値生成部２６は、半身判定条件情報記憶部２５の半身判定条件情報の半身判定条件に基づいて、対象Ｄｅｐｔｈ値情報Ｄの対象Ｄｅｐｔｈ値のうちイメージセンサ１１３の側（正面側）の人Ｕの半身に対応するＤｅｐｔｈ値である正面Ｄｅｐｔｈ値（正面距離情報）を抽出する。

【0061】

図８は、背面Ｄｅｐｔｈ値生成部２６が行う正面Ｄｅｐｔｈ値抽出処理の一例について説明するための図である。図８を参照しながら、背面Ｄｅｐｔｈ値生成部２６が行う正面Ｄｅｐｔｈ値抽出処理の一例について説明する。図８には、正面Ｄｅｐｔｈ値抽出処理の説明のために、図６の画像３００に対応する対象Ｄｅｐｔｈ値による点群データについて人Ｕの右手右足側から見た場合の表示例が示されている。また図８には半身境界面４０１が示される。半身境界面４０１は、人Ｕの身体の腹側の半身と背中側の半身との境の面である。背面Ｄｅｐｔｈ値生成部２６は、対象Ｄｅｐｔｈ値情報Ｄの対象Ｄｅｐｔｈ値に基づいて、半身境界面４０１を算出する。半身境界面の算出方法は、予め、三次元情報生成装置２０に設定される。半身境界面の算出方法の一例は、対象Ｄｅｐｔｈ値情報Ｄの対象Ｄｅｐｔｈ値の平均値に基づく方法である。具体的には、背面Ｄｅｐｔｈ値生成部２６は、ＴｏＦセンサ１１４による測距における原点４００からのＴｏＦセンサ１１４の面に垂直方向（図２中の光軸ＯＡの方向）の距離４０２が対象Ｄｅｐｔｈ値情報Ｄの対象Ｄｅｐｔｈ値の平均値である面を半身境界面４０１として算出する。

【0062】

背面Ｄｅｐｔｈ値生成部２６は、算出した半身境界面４０１に対して半身判定条件を満たす対象Ｄｅｐｔｈ値を正面Ｄｅｐｔｈ値として抽出する。半身判定条件の一例は、半身境界面からイメージセンサ１１３の側（正面側）に距離４０２と同じ方向に半身判定標準偏差４０３だけ離れた面４０４までの範囲（正面Ｄｅｐｔｈ値抽出範囲）である。半身判定標準偏差４０３は、対象Ｄｅｐｔｈ値の標準偏差である。背面Ｄｅｐｔｈ値生成部２６は、対象Ｄｅｐｔｈ値情報Ｄの対象Ｄｅｐｔｈ値のうち正面Ｄｅｐｔｈ値抽出範囲内のＤｅｐｔｈ値を正面Ｄｅｐｔｈ値として抽出する。

【0063】

背面Ｄｅｐｔｈ値生成部２６は、抽出した正面Ｄｅｐｔｈ値に基づいて、半身境界面４０１からイメージセンサ１１３の側（正面側）とは反対側（背面側）の人Ｕの半身に対応するＤｅｐｔｈ値である背面Ｄｅｐｔｈ値（背面距離情報）を生成する。

【0064】

図９－図１０は、背面Ｄｅｐｔｈ値生成部２６が行う背面Ｄｅｐｔｈ値生成処理の一例について説明するための図である。図９－図１０を参照しながら、背面Ｄｅｐｔｈ値生成部２６が行う背面Ｄｅｐｔｈ値生成処理の一例について説明する。図９には、背面Ｄｅｐｔｈ値生成処理の説明のために、上記した図８に係る抽出された正面Ｄｅｐｔｈ値による点群データ５１０について人Ｕの右手右足側から見た場合の表示例が示されている。また図９には半身境界面４０１が示される。点群データ５１０は、半身境界面４０１よりもイメージセンサ１１３の側（正面側）の人Ｕの半身に対応する。

【0065】

背面Ｄｅｐｔｈ値生成部２６は、上記した図８に係る抽出された正面Ｄｅｐｔｈ値に基づいて、半身境界面４０１からイメージセンサ１１３の側（正面側）とは反対側（背面側）の人Ｕの半身に対応する点群データ５１１のＤｅｐｔｈ値（背面Ｄｅｐｔｈ値）を生成する。図１０には、点群データ５１１の一例が示される。図１０には、背面Ｄｅｐｔｈ値生成処理の説明のために、点群データ５１０及び点群データ５１１について人Ｕの右手右足側から見た場合の表示例が示されている。また図１０には半身境界面４０１が示される。点群データ５１１は、半身境界面４０１からイメージセンサ１１３の側（正面側）とは反対側（背面側）の人Ｕの半身に対応する。

【0066】

点群データ５１１の各Ｄｅｐｔｈ値（背面Ｄｅｐｔｈ値）は、点群データ５１０の各Ｄｅｐｔｈ値（正面Ｄｅｐｔｈ値）について、半身境界面４０１を中心にして正面Ｄｅｐｔｈ値とは面対称の位置を示すＤｅｐｔｈ値である。背面Ｄｅｐｔｈ値生成部２６は、点群データ５１０のＤｅｐｔｈ値（正面Ｄｅｐｔｈ値）の各々について、半身境界面４０１を中心にして正面Ｄｅｐｔｈ値とは面対称の位置を示すＤｅｐｔｈ値（背面Ｄｅｐｔｈ値）を生成する。生成された背面Ｄｅｐｔｈ値は点群データ５１１のＤｅｐｔｈ値となる。

【0067】

（ステップＳ６）三次元情報生成部２７は、背面Ｄｅｐｔｈ値生成部２６により抽出された正面Ｄｅｐｔｈ値及び生成された背面Ｄｅｐｔｈ値に基づいて、人Ｕの形状を示す三次元情報を生成する。図１０には、三次元情報生成部２７により生成される人Ｕの形状を示す三次元情報の一例として点群データ５１０，５１１が示される。三次元情報生成部２７は、正面Ｄｅｐｔｈ値を人Ｕの一方の半身の形状を示す点群データ５１０に用い、背面Ｄｅｐｔｈ値を人Ｕのもう一方の半身の形状を示す点群データ５１１に用いる。

【0068】

また、図１０の例では、三次元情報生成部２７は、正面撮像画像情報Ａの正面撮像画像と正面Ｄｅｐｔｈ値とに基づいて点群データ５１０を生成し、当該正面撮像画像と背面Ｄｅｐｔｈ値とに基づいて点群データ５１１を生成する。具体的には、三次元情報生成部２７は、正面Ｄｅｐｔｈ値と当該正面Ｄｅｐｔｈ値の位置に対応する正面撮像画像の色の情報とを点群データ５１０に用い、背面Ｄｅｐｔｈ値と当該背面Ｄｅｐｔｈ値の面対称の正面Ｄｅｐｔｈ値の位置に対応する正面撮像画像の色の情報とを点群データ５１１に用いる。

【0069】

但し、図１０の例では、点群データ５１１のうち人Ｕの頭部の背面側に対応する点群データ５１１ｂに対しては、正面側（顔側）の正面撮像画像の色の情報を使用せず、代わりに所定の色（例えば黒や灰色など）の情報を用いる。これは、人Ｕの頭部の背面側に対して正面側（顔側）の正面撮像画像の色の情報をそのまま使用すると、正面側と背面側の両方が顔になって不自然だからである。一方、図１０の例では、点群データ５１１のうち人Ｕの胴体部の背面側（背中側）に対応する点群データ５１１ａに対しては、正面側（腹側）の正面撮像画像の色の情報をそのまま使用している。なお、人Ｕの胴体部の背面側（背中側）に対応する点群データ５１１ａに対しても、正面側（腹側）の正面撮像画像の色の情報を使用せず、代わりに所定の色（例えば黒や灰色など）の情報を用いてもよい。

【0070】

（ステップＳ７）出力部２８は、三次元情報生成部２７により生成された三次元情報Ｆ（例えば人Ｕの点群データ５１０，５１１）を所定の出力方法により出力する。

【0071】

図１１は、本実施形態に係る三次元情報生成方法の変形例を説明するための図である。この変形例では、人の身体の特定部位についての三次元情報生成処理を実行する。図１１を参照しながら、三次元情報生成方法の変形例について説明する。輪郭抽出部２３は、正面撮像画像情報Ａの正面撮像画像に含まれる人Ｕの身体の特定部位の輪郭を抽出する。ここでの図１１の例では、人Ｕの身体の特定部位として人Ｕの頭部及び胴体部である。したがって、輪郭抽出部２３は、正面撮像画像情報Ａの正面撮像画像に含まれる人Ｕの頭部の輪郭と胴体部の輪郭とをそれぞれ抽出する。

【0072】

対象Ｄｅｐｔｈ値抽出部２４は、輪郭抽出部２３により抽出された人Ｕの頭部の輪郭に基づいて、Ｄｅｐｔｈ画像情報ＣのＤｅｐｔｈ画像から人Ｕの頭部に対応する部分のＤｅｐｔｈ値である頭部対象Ｄｅｐｔｈ値（特定部位対象距離情報）を抽出する。具体的には、対象Ｄｅｐｔｈ値抽出部２４は、図７中の網掛けがされた部分のうち人Ｕの頭部に対応する要素のＤｅｐｔｈ値（頭部対象Ｄｅｐｔｈ値）を抽出し、配列化を行う。

【0073】

また対象Ｄｅｐｔｈ値抽出部２４は、輪郭抽出部２３により抽出された人Ｕの胴体部の輪郭に基づいて、Ｄｅｐｔｈ画像情報ＣのＤｅｐｔｈ画像から人Ｕの胴体部に対応する部分のＤｅｐｔｈ値である胴体部対象Ｄｅｐｔｈ値（特定部位対象距離情報）を抽出する。具体的には、対象Ｄｅｐｔｈ値抽出部２４は、図７中の網掛けがされた部分のうち人Ｕの胴体部に対応する要素のＤｅｐｔｈ値（胴体部対象Ｄｅｐｔｈ値）を抽出し、配列化を行う。

【0074】

半身判定条件情報記憶部２５は、人の頭部の半身判定条件を示す頭部半身判定条件情報（特定部位半身判定条件情報）を記憶する。頭部半身判定条件情報は、事前に準備されて予め半身判定条件情報記憶部２５に記憶される。

【0075】

背面Ｄｅｐｔｈ値生成部２６は、頭部の半身判定条件に基づいて、頭部対象Ｄｅｐｔｈ値（特定部位対象距離情報）のうちイメージセンサ１１３の側（正面側）の人Ｕの頭部の半身に対応する頭部正面Ｄｅｐｔｈ値（特定部位正面距離情報）を抽出する。具体的には、背面Ｄｅｐｔｈ値生成部２６は、頭部対象Ｄｅｐｔｈ値に基づいて、頭部半身境界面５０１ｂを算出する。例えば、背面Ｄｅｐｔｈ値生成部２６は、図８に示されるように、ＴｏＦセンサ１１４による測距における原点４００からのＴｏＦセンサ１１４の面に垂直方向（図２中の光軸ＯＡの方向）の距離４０２が頭部対象Ｄｅｐｔｈ値の平均値である面を頭部半身境界面５０１ｂとして算出する。背面Ｄｅｐｔｈ値生成部２６は、算出した頭部半身境界面５０１ｂに対して頭部の半身判定条件を満たす頭部対象Ｄｅｐｔｈ値を頭部正面Ｄｅｐｔｈ値として抽出する。頭部の半身判定条件の一例は、頭部半身境界面からイメージセンサ１１３の側（正面側）に距離４０２と同じ方向に頭部半身判定標準偏差だけ離れた面までの範囲（頭部正面Ｄｅｐｔｈ値抽出範囲）である。頭部半身判定標準偏差は、頭部対象Ｄｅｐｔｈ値の標準偏差である。背面Ｄｅｐｔｈ値生成部２６は、頭部対象Ｄｅｐｔｈ値のうち頭部正面Ｄｅｐｔｈ値抽出範囲内のＤｅｐｔｈ値を頭部正面Ｄｅｐｔｈ値として抽出する。

【0076】

半身判定条件情報記憶部２５は、人の胴体部の半身判定条件を示す胴体部半身判定条件情報（特定部位半身判定条件情報）を記憶する。胴体部半身判定条件情報は、事前に準備されて予め半身判定条件情報記憶部２５に記憶される。

【0077】

背面Ｄｅｐｔｈ値生成部２６は、胴体部の半身判定条件に基づいて、胴体部対象Ｄｅｐｔｈ値（特定部位対象距離情報）のうちイメージセンサ１１３の側（正面側）の人Ｕの胴体部の半身に対応する胴体部正面Ｄｅｐｔｈ値（特定部位正面距離情報）を抽出する。具体的には、背面Ｄｅｐｔｈ値生成部２６は、胴体部対象Ｄｅｐｔｈ値に基づいて、胴体部半身境界面５０１ａを算出する。例えば、背面Ｄｅｐｔｈ値生成部２６は、図８に示されるように、ＴｏＦセンサ１１４による測距における原点４００からのＴｏＦセンサ１１４の面に垂直方向（図２中の光軸ＯＡの方向）の距離４０２が胴体部対象Ｄｅｐｔｈ値の平均値である面を胴体部半身境界面５０１ａとして算出する。背面Ｄｅｐｔｈ値生成部２６は、算出した胴体部半身境界面５０１ａに対して胴体部の半身判定条件を満たす胴体部対象Ｄｅｐｔｈ値を胴体部正面Ｄｅｐｔｈ値として抽出する。胴体部の半身判定条件の一例は、胴体部半身境界面からイメージセンサ１１３の側（正面側）に距離４０２と同じ方向に胴体部半身判定標準偏差だけ離れた面までの範囲（胴体部正面Ｄｅｐｔｈ値抽出範囲）である。胴体部半身判定標準偏差は、胴体部対象Ｄｅｐｔｈ値の標準偏差である。背面Ｄｅｐｔｈ値生成部２６は、胴体部対象Ｄｅｐｔｈ値のうち胴体部正面Ｄｅｐｔｈ値抽出範囲内のＤｅｐｔｈ値を胴体部正面Ｄｅｐｔｈ値として抽出する。

【0078】

図１１には、頭部の背面Ｄｅｐｔｈ値生成処理の説明のために、人Ｕの頭部に対応する点群データ５１０ｂ，５２１ｂについて人Ｕの右手右足側から見た場合の表示例が示されている。点群データ５１０ｂは、イメージセンサ１１３の側（正面側）の人Ｕの頭部の半身に対応する点群データである。頭部正面Ｄｅｐｔｈ値は、人Ｕの頭部の半身に対応する点群データ５１０ｂのＤｅｐｔｈ値に対応する。点群データ５２１ｂは、頭部半身境界面５０１ｂからイメージセンサ１１３の側（正面側）とは反対側（背面側）の人Ｕの頭部の半身に対応する点群データである。

【0079】

背面Ｄｅｐｔｈ値生成部２６は、抽出した頭部正面Ｄｅｐｔｈ値に基づいて、頭部半身境界面５０１ｂからイメージセンサ１１３の側（正面側）とは反対側（背面側）の人Ｕの頭部の半身に対応する点群データ５２１ｂのＤｅｐｔｈ値である頭部背面Ｄｅｐｔｈ値（特定部位背面距離情報）を生成する。具体的には、背面Ｄｅｐｔｈ値生成部２６は、点群データ５１０ｂのＤｅｐｔｈ値（頭部正面Ｄｅｐｔｈ値）の各々について、頭部半身境界面５０１ｂを中心にして頭部正面Ｄｅｐｔｈ値とは面対称の位置を示すＤｅｐｔｈ値（頭部背面Ｄｅｐｔｈ値）を生成する。生成された頭部背面Ｄｅｐｔｈ値は点群データ５２１ｂのＤｅｐｔｈ値となる。

【0080】

図１１には、胴体部の背面Ｄｅｐｔｈ値生成処理の説明のために、人Ｕの胴体部に対応する点群データ５１０ａ，５２１ａについて人Ｕの右手右足側から見た場合の表示例が示されている。点群データ５１０ａは、イメージセンサ１１３の側（正面側）の人Ｕの胴体部の半身に対応する点群データである。胴体部正面Ｄｅｐｔｈ値は、人Ｕの胴体部の半身に対応する点群データ５１０ａのＤｅｐｔｈ値に対応する。点群データ５２１ａは、胴体部半身境界面５０１ａからイメージセンサ１１３の側（正面側）とは反対側（背面側）の人Ｕの胴体部の半身に対応する点群データである。

【0081】

背面Ｄｅｐｔｈ値生成部２６は、抽出した胴体部正面Ｄｅｐｔｈ値に基づいて、胴体部半身境界面５０１ａからイメージセンサ１１３の側（正面側）とは反対側（背面側）の人Ｕの胴体部の半身に対応する点群データ５２１ａのＤｅｐｔｈ値である胴体部背面Ｄｅｐｔｈ値（特定部位背面距離情報）を生成する。具体的には、背面Ｄｅｐｔｈ値生成部２６は、点群データ５１０ａのＤｅｐｔｈ値（胴体部正面Ｄｅｐｔｈ値）の各々について、胴体部半身境界面５０１ａを中心にして胴体部正面Ｄｅｐｔｈ値とは面対称の位置を示すＤｅｐｔｈ値（胴体部背面Ｄｅｐｔｈ値）を生成する。生成された胴体部背面Ｄｅｐｔｈ値は点群データ５２１ａのＤｅｐｔｈ値となる。

【0082】

三次元情報生成部２７は、背面Ｄｅｐｔｈ値生成部２６により抽出された頭部正面Ｄｅｐｔｈ値及び生成された頭部背面Ｄｅｐｔｈ値に基づいて、人Ｕの頭部（特定部位）の形状を示す三次元情報を生成する。図１１には、三次元情報生成部２７により生成される人Ｕの頭部の形状を示す三次元情報の一例として点群データ５１０ｂ，５２１ｂが示される。三次元情報生成部２７は、頭部正面Ｄｅｐｔｈ値を人Ｕの頭部の一方の半身の形状を示す点群データ５１０ｂに用い、頭部背面Ｄｅｐｔｈ値を人Ｕの頭部のもう一方の半身の形状を示す点群データ５２１ｂに用いる。また図１１の例では、三次元情報生成部２７は、頭部正面Ｄｅｐｔｈ値と当該頭部正面Ｄｅｐｔｈ値の位置に対応する正面撮像画像の色の情報とを点群データ５１０ｂに用いる。一方、三次元情報生成部２７は、人Ｕの頭部の背面側に対応する点群データ５２１ｂに対しては、正面側（顔側）の正面撮像画像の色の情報を使用せず、代わりに所定の色（例えば黒や灰色など）の情報を用いる。例えば、三次元情報生成部２７は、頭部背面Ｄｅｐｔｈ値と黒色の情報とを点群データ５２１ｂに用いる。

【0083】

三次元情報生成部２７は、背面Ｄｅｐｔｈ値生成部２６により抽出された胴体部正面Ｄｅｐｔｈ値及び生成された胴体部背面Ｄｅｐｔｈ値に基づいて、人Ｕの胴体部（特定部位）の形状を示す三次元情報を生成する。図１１には、三次元情報生成部２７により生成される人Ｕの胴体部の形状を示す三次元情報の一例として点群データ５１０ａ，５２１ａが示される。三次元情報生成部２７は、胴体部正面Ｄｅｐｔｈ値を人Ｕの胴体部の一方の半身の形状を示す点群データ５１０ａに用い、胴体部背面Ｄｅｐｔｈ値を人Ｕの胴体部のもう一方の半身の形状を示す点群データ５２１ａに用いる。また図１１の例では、三次元情報生成部２７は、胴体部正面Ｄｅｐｔｈ値と当該胴体部正面Ｄｅｐｔｈ値の位置に対応する正面撮像画像の色の情報とを点群データ５１０ａに用い、胴体部背面Ｄｅｐｔｈ値と当該胴体部背面Ｄｅｐｔｈ値の面対称の胴体部正面Ｄｅｐｔｈ値の位置に対応する正面撮像画像の色の情報とを点群データ５２１ａに用いる。
以上が本実施形態に係る三次元情報生成方法の変形例の説明である。

【0084】

図１２は、本実施形態に係る三次元情報生成システムの変形例の概略について説明するための図である。図１２において図１の各部に対応する部分には同一の符号を付け、その説明を省略する。

【0085】

図１２の三次元情報生成システム１ａは、図１の三次元情報生成システム１に対してさらに撮像装置５０を備える。撮像装置５０は、被写体である人Ｕを撮像するものであって、三次元情報取得装置１０のイメージセンサ１１３（撮像部）とは反対側（背面側）を撮像する。撮像装置５０は、撮像画像として可視光画像（例えばＲＧＢ画像）を生成する。

【0086】

図１３は、本実施形態に係る三次元情報生成装置の機能構成の変形例を示す機能構成図である。図１３において図３の各部に対応する部分には同一の符号を付け、その説明を省略する。三次元情報生成装置２０ａは、図３と同様の構成であるが、さらに背面撮像画像取得部３１を備える。

【0087】

背面撮像画像取得部３１は、撮像装置５０が人Ｕの背面側を撮像した撮像画像（例えばＲＧＢ画像等の可視光画像）である背面撮像画像を含む背面撮像画像情報ＡＢを取得する。

【0088】

三次元情報生成部２７は、正面撮像画像情報Ａの正面撮像画像と正面Ｄｅｐｔｈ値とに基づいて人Ｕの一方の半身の形状を示す三次元情報を生成し、背面撮像画像情報ＡＢの背面撮像画像と背面Ｄｅｐｔｈ値とに基づいて人Ｕのもう一方の半身の形状を示す三次元情報を生成する。具体的には、三次元情報生成部２７は、人Ｕの点群データを生成する際に、正面Ｄｅｐｔｈ値と当該正面Ｄｅｐｔｈ値の位置に対応する正面撮像画像の色の情報とを人Ｕの一方の半身の形状を示す点群データに用い、背面Ｄｅｐｔｈ値と当該背面Ｄｅｐｔｈ値の位置に対応する背面撮像画像の色の情報とを人Ｕのもう一方の半身の形状を示す点群データに用いる。これにより、実際の人Ｕの背面により類似した点群データを生成することができる。
以上が本実施形態に係る三次元情報生成システムの変形例の説明である。

【0089】

上述したように本実施形態に係る三次元情報生成装置によれば、被写体である人が撮像部により撮像された正面撮像画像を取得し、前記正面撮像画像に対応する二次元座標系の各座標における前記被写体までの距離を示す複数の距離情報を含む距離画像を取得し、前記正面撮像画像に含まれる人の輪郭を抽出し、抽出された人の輪郭に基づいて前記距離画像から人に対応する部分の対象距離情報を抽出し、人の身体の半身判定条件に基づいて前記対象距離情報のうち人の半身であって前記撮像部の側の半身に対応する正面距離情報を抽出し、前記正面距離情報に基づいて前記撮像部の側とは反対側の半身に対応する背面距離情報を生成し、前記正面距離情報と前記背面距離情報とに基づいて人の形状を示す三次元情報を生成する。したがって、１台の三次元情報取得装置（距離検出装置に相当）のみを準備すればよく、且つ１台の三次元情報取得装置を被写体の正面側の位置と被写体の背面側の位置とに移動してそれぞれの位置で測定を実施する必要がない。これにより、三次元の点群データ等の三次元情報を生成する際の効率の向上を図ることができるという効果が得られる。

【0090】

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。また、上述した各実施形態を適宜組み合わせてもよい。

【符号の説明】

【0091】

１，１ａ…三次元情報生成システム、１０…三次元情報取得装置、１１０…受光部、１１２…可視光反射ダイクロイック膜、１１３…イメージセンサ、１１４…ＴｏＦセンサ、１２０…照射部、２０…三次元情報生成装置、２１…正面撮像画像取得部、２２…Ｄｅｐｔｈ画像取得部、２３…輪郭抽出部、２４…対象Ｄｅｐｔｈ値抽出部、２５…半身判定条件情報記憶部、２６…背面Ｄｅｐｔｈ値生成部、２７…三次元情報生成部、２８…出力部、３１…背面撮像画像取得部、５０…撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】