特開 2024-89738 三次元情報抽出装置及び三次元情報抽出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024089738

(43)【公開日】2024-07-04

(54)【発明の名称】三次元情報抽出装置及び三次元情報抽出方法

(51)【国際特許分類】

   G06T 7/55 20170101AFI20240627BHJP

   G01B 11/24 20060101ALI20240627BHJP

   G06T 7/70 20170101ALI20240627BHJP

   G06T 7/00 20170101ALI20240627BHJP

   G06T 7/12 20170101ALI20240627BHJP

【ＦＩ】

G06T7/55

G01B11/24 Z

G06T7/70 A

G06T7/00 660Z

G06T7/12

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022205111

(22)【出願日】2022-12-22

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】籾山 悦郎

(72)【発明者】

【氏名】杉山 友樹

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065BB05

2F065DD04

2F065FF04

2F065FF11

2F065GG04

2F065HH04

2F065JJ03

2F065JJ26

2F065QQ21

2F065QQ31

5L096AA06

5L096AA09

5L096BA04

5L096BA18

5L096CA05

5L096DA01

5L096EA05

5L096EA06

5L096EA35

5L096FA06

5L096FA16

5L096FA66

5L096FA67

5L096FA69

5L096GA30

5L096GA40

5L096GA55

5L096HA11

(57)【要約】

【課題】特定の物体を強調し、他の被写体と容易に区別することが可能な三次元情報抽出装置及び三次元情報抽出方法を提供する。
【解決手段】三次元情報抽出装置は、対象物を撮像した画像を取得する画像取得部と、取得された前記画像に含まれる物体の輪郭を抽出する物体抽出部と、前記対象物までの距離情報であるＤｅｐｔｈ値であって、二次元座標系の各座標における複数の前記Ｄｅｐｔｈ値を含むＤｅｐｔｈ画像を取得するＤｅｐｔｈ画像取得部と、取得された前記Ｄｅｐｔｈ画像に含まれる前記Ｄｅｐｔｈ値と、抽出された前記物体の輪郭とに基づき、前記物体の三次元情報を抽出するＤｅｐｔｈ値抽出部と、抽出された前記物体の輪郭の内側における前記Ｄｅｐｔｈ値のうち、所定の範囲内にある前記Ｄｅｐｔｈ値を切り出す切り出し部と、抽出された前記物体の輪郭の内側における画像情報と、切り出された前記Ｄｅｐｔｈ値とを対応付けて出力する出力部とを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

対象物を撮像した画像を取得する画像取得部と、
取得された前記画像に含まれる物体の輪郭を抽出する物体抽出部と、
前記対象物までの距離情報であるＤｅｐｔｈ値であって、二次元座標系の各座標における複数の前記Ｄｅｐｔｈ値を含むＤｅｐｔｈ画像を取得するＤｅｐｔｈ画像取得部と、
取得された前記Ｄｅｐｔｈ画像に含まれる前記Ｄｅｐｔｈ値と、抽出された前記物体の輪郭とに基づき、前記物体の三次元情報を抽出するＤｅｐｔｈ値抽出部と、
抽出された前記物体の輪郭の内側における前記Ｄｅｐｔｈ値のうち、所定の範囲内にある前記Ｄｅｐｔｈ値を切り出す切り出し部と、
抽出された前記物体の輪郭の内側における画像情報と、切り出された前記Ｄｅｐｔｈ値とを対応付けて出力する出力部と
を備える三次元情報抽出装置。

【請求項2】

前記切り出し部は、抽出された前記物体の輪郭の内側における前記Ｄｅｐｔｈ値に基づく統計値を求め、前記Ｄｅｐｔｈ値が、求められた統計値に基づく所定の範囲内にある前記Ｄｅｐｔｈ値を切り出す
請求項１に記載の三次元情報抽出装置。

【請求項3】

前記物体に含まれる複数の部位の位置を推定する姿勢推定部を更に備え、
前記切り出し部は、推定された部位ごとに異なる所定の範囲を適用する
請求項１に記載の三次元情報抽出装置。

【請求項4】

前記対象物には人物が含まれ、
前記姿勢推定部により推定される部位には、頭、胴及び腕が含まれ、
前記切り出し部は、頭、胴及び腕について異なる所定の範囲を適用する
請求項３に記載の三次元情報抽出装置。

【請求項5】

前記物体抽出部は、前記画像から複数の物体の輪郭を抽出し、
前記Ｄｅｐｔｈ値抽出部は、取得された前記Ｄｅｐｔｈ画像に含まれる前記Ｄｅｐｔｈ値と、抽出された複数の前記物体の輪郭とに基づき、複数の前記物体の三次元情報を抽出し、
前記切り出し部は、抽出された複数の前記物体それぞれの輪郭の内側における前記Ｄｅｐｔｈ値のうち、所定の範囲内にある前記Ｄｅｐｔｈ値を切り出し、
前記出力部は、抽出された複数の前記物体それぞれの輪郭の内側における画像情報と、切り出された前記Ｄｅｐｔｈ値とを対応付けて出力する
請求項１又は請求項２に記載の三次元情報抽出装置。

【請求項6】

前記出力部は、前記物体抽出部により抽出された前記物体の輪郭内部が切り取られた画像を更に出力する
請求項１又は請求項２に記載の三次元情報抽出装置。

【請求項7】

対象物を撮像した画像を取得する画像取得工程と、
取得された前記画像に含まれる物体の輪郭を抽出する物体抽出工程と、
前記対象物までの距離情報であるＤｅｐｔｈ値であって、二次元座標系の各座標における複数の前記Ｄｅｐｔｈ値を含むＤｅｐｔｈ画像を取得するＤｅｐｔｈ画像取得工程と、
取得された前記Ｄｅｐｔｈ画像に含まれる前記Ｄｅｐｔｈ値と、抽出された前記物体の輪郭とに基づき、前記物体の三次元情報を抽出するＤｅｐｔｈ値抽出工程と、
抽出された前記物体の輪郭の内側における前記Ｄｅｐｔｈ値のうち、所定の範囲内にある前記Ｄｅｐｔｈ値を切り出す切り出し工程と、
抽出された前記物体の輪郭の内側における画像情報と、切り出された前記Ｄｅｐｔｈ値とを対応付けて出力する出力工程と
を有する三次元情報抽出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元情報抽出装置及び三次元情報抽出方法に関する。

【背景技術】

【0002】

従来、撮像装置のレンズを取り囲む位置にＶＣＳＥＬ（Vertical Cavity Surface Emitting Laser、垂直共振器型面発光レーザー）等の発光素子と、ＴｏＦセンサ等の受光素子とを備え、発光素子により照射された光が対象物に反射してＴｏＦセンサにより受光されるまでの時間を測定することにより、対象物までの距離を測定する装置があった（例えば、特許文献１を参照）。このような装置を用いて、撮像装置により撮像された画像（例えばＲＧＢ画像）と、ＴｏＦセンサにより取得された深度情報とを組み合わせて、三次元の点群データを生成することが考えられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－２６２３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

深度情報の測定精度にはばらつきが存在し、通常ノイズが含まれていることが知られている。深度情報にノイズが含まれている場合、画像と深度情報とを単純に組み合わせて三次元の点群データを生成しようとすると、三次元情報を強調したい人物等の特定の物体と、他の被写体との境目が強調されず、当該特定の物体と他の被写体との区別が容易でないといった問題があった。

【0005】

本発明は、このような状況に鑑みてなされたものであって、特定の物体を強調し、他の被写体と容易に区別することが可能な三次元情報抽出装置及び三次元情報抽出方法の提供を目的とする。

【課題を解決するための手段】

【0006】

［１］本発明の一態様は、対象物を撮像した画像を取得する画像取得部と、取得された前記画像に含まれる物体の輪郭を抽出する物体抽出部と、前記対象物までの距離情報であるＤｅｐｔｈ値であって、二次元座標系の各座標における複数の前記Ｄｅｐｔｈ値を含むＤｅｐｔｈ画像を取得するＤｅｐｔｈ画像取得部と、取得された前記Ｄｅｐｔｈ画像に含まれる前記Ｄｅｐｔｈ値と、抽出された前記物体の輪郭とに基づき、前記物体の三次元情報を抽出するＤｅｐｔｈ値抽出部と、抽出された前記物体の輪郭の内側における前記Ｄｅｐｔｈ値のうち、所定の範囲内にある前記Ｄｅｐｔｈ値を切り出す切り出し部と、抽出された前記物体の輪郭の内側における画像情報と、切り出された前記Ｄｅｐｔｈ値とを対応付けて出力する出力部とを備える三次元情報抽出装置である。

【0007】

［２］また、本発明の一態様は、上記［１］に記載の三次元情報抽出装置において、前記切り出し部は、抽出された前記物体の輪郭の内側における前記Ｄｅｐｔｈ値に基づく統計値を求め、前記Ｄｅｐｔｈ値が、求められた統計値に基づく所定の範囲内にある前記Ｄｅｐｔｈ値を切り出すものである。

【0008】

［３］また、本発明の一態様は、上記［１］又は［２］に記載の三次元情報抽出装置において、前記物体に含まれる複数の部位の位置を推定する姿勢推定部を更に備え、前記切り出し部は、推定された部位ごとに異なる所定の範囲を適用するものである。

【0009】

［４］また、本発明の一態様は、上記［１］から［３］のいずれかに記載の三次元情報抽出装置において、前記対象物には人物が含まれ、前記姿勢推定部により推定される部位には、頭、胴及び腕が含まれ、前記切り出し部は、頭、胴及び腕について異なる所定の範囲を適用するものである。

【0010】

［５］また、本発明の一態様は、上記［１］から［４］のいずれかに記載の三次元情報抽出装置において、前記物体抽出部は、前記画像から複数の物体の輪郭を抽出し、前記Ｄｅｐｔｈ値抽出部は、取得された前記Ｄｅｐｔｈ画像に含まれる前記Ｄｅｐｔｈ値と、抽出された複数の前記物体の輪郭とに基づき、複数の前記物体の三次元情報を抽出し、前記切り出し部は、抽出された複数の前記物体それぞれの輪郭の内側における前記Ｄｅｐｔｈ値のうち、所定の範囲内にある前記Ｄｅｐｔｈ値を切り出し、前記出力部は、抽出された複数の前記物体それぞれの輪郭の内側における画像情報と、切り出された前記Ｄｅｐｔｈ値とを対応付けて出力するものである。

【0011】

［６］また、本発明の一態様は、上記［１］から［５］のいずれかに記載の三次元情報抽出装置において、前記出力部は、前記物体抽出部により抽出された前記物体の輪郭内部が切り取られた画像を更に出力するものである。

【0012】

［７］また、本発明の一態様は、対象物を撮像した画像を取得する画像取得工程と、取得された前記画像に含まれる物体の輪郭を抽出する物体抽出工程と、前記対象物までの距離情報であるＤｅｐｔｈ値であって、二次元座標系の各座標における複数の前記Ｄｅｐｔｈ値を含むＤｅｐｔｈ画像を取得するＤｅｐｔｈ画像取得工程と、取得された前記Ｄｅｐｔｈ画像に含まれる前記Ｄｅｐｔｈ値と、抽出された前記物体の輪郭とに基づき、前記物体の三次元情報を抽出するＤｅｐｔｈ値抽出工程と、抽出された前記物体の輪郭の内側における前記Ｄｅｐｔｈ値のうち、所定の範囲内にある前記Ｄｅｐｔｈ値を切り出す切り出し工程と、抽出された前記物体の輪郭の内側における画像情報と、切り出された前記Ｄｅｐｔｈ値とを対応付けて出力する出力工程とを有する三次元情報抽出方法である。

【発明の効果】

【0013】

本発明によれば、特定の物体を強調し、他の被写体と容易に区別することが可能な三次元情報抽出装置及び三次元情報抽出方法を提供することができる。

【図面の簡単な説明】

【0014】

【図1】実施形態１に係る三次元情報取得システムの概略について説明するための図である。

【図2】実施形態１に係る三次元情報取得装置の断面の一例を示す模式図である。

【図3】実施形態１に係る三次元情報抽出装置の機能構成の一例を示す機能構成図である。

【図4】実施形態１に係る物体抽出部が行う物体抽出処理の一例について説明するための図である。

【図5】実施形態１に係る物体抽出部が、複数の物体について物体抽出処理を行う場合の一例について説明するための図である。

【図6】実施形態１に係るＤｅｐｔｈ値抽出部が行うＤｅｐｔｈ値抽出処理の一例について説明するための図である。

【図7】実施形態１に係る切り出し部により切り出し処理が行われた前後における三次元情報の変化の一例を示す図である。

【図8】実施形態１に係る出力部による出力結果の第１の例を示す図である。

【図9】実施形態１に係る出力部による出力結果の第２の例を示す図である。

【図10】実施形態１に係る出力部による出力結果の第３の例を示す図である。

【図11】実施形態２に係る三次元情報抽出装置の機能構成の一例を示す機能構成図である。

【図12】実施形態２に係る姿勢推定部による姿勢推定の結果の一例を示す図である。

【発明を実施するための形態】

【0015】

本発明の態様に係る距離情報取得装置について、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。なお、以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。

【0016】

［従来技術］
まず、本実施形態において解決しようとする課題について説明する。従来技術によるＴｏＦカメラによれば、ＴｏＦ方式により測距された深度情報を二次元配列された画素ごとにビットマップ状に集め、距離画像が生成される。また、撮像装置によりＲＧＢ画像等の画像が撮像される。ＲＧＢ画像等の画像に距離画像の深度情報を組み合わせることにより、三次元の点群データを生成することが可能となる。しかしながら距離画像にはノイズが多く含まれる場合がある。距離画像にノイズが含まれていることに起因して、以下の課題が生じる場合があった。

【0017】

まず、距離画像に含まれるノイズにより生じる第１の課題について説明する。一般に、距離画像のうち三次元点群データの生成対象となる物体に係る部分（以下、物体部分と記載する。）と、その他の背景に係る部分（以下、背景部分と記載する。）との両方にノイズが含まれることが知られている。物体部分と背景部分の両方にノイズが存在するため、物体部分と背景部分とが結合してしまう場合がある。すなわち、距離画像に含まれるノイズにより、三次元点群データの生成対象となる物体と、その他の背景とが一体化してしまうという課題があった。三次元点群データの生成対象となる物体と背景とが一体化してしまうことにより、三次元点群データの生成対象となる物体が強調されず、メリハリのない三次元情報が生成されてしまう。

【0018】

次に、距離画像に含まれるノイズにより生じる第２の課題について説明する。距離画像の中には、複数の物体についての距離情報が存在する場合がある。また、距離情報が存在する複数の物体のうち、それぞれについて三次元点群データの生成対象としたい場合がある。このような場合、複数の物体それぞれについて三次元点群データを生成しようとすると、注目ポイントが分からなくなってしまうといった課題があった。例えば、二次元動画等の場合であれば、注目させたい部分にピントを合わせる等の処理をすることが可能であるが、被写体が横に並ぶような場合には、両方にピントが合い、注目ポイントを強調させるという点において効果的ではないといった課題があった。

【0019】

次に、距離画像に含まれるノイズにより生じる第３の課題について説明する。一般的に、三次元点群データを生成する際に、ノイズ除去のために空間フィルタを適用することが知られている。当該空間フィルタを適用する処理は、平坦化処理としても知られている。そこで、平坦化処理の際、三次元点群データの生成対象となる物体と背景とのエッジ部分が平坦化され、引っ張られるようなノイズ（フライングピクセルノイズ）が生じてしまうといった課題があった。当該ノイズは、三次元点群データの生成対象となる物体の前後に生じる場合がある。

【0020】

［実施形態１］
本実施形態は、上述したような問題を解決するためのものである。以下、図１から図１０を参照しながら、実施形態１について説明する。

【0021】

図１は、実施形態１に係る三次元情報取得システムの概略について説明するための図である。同図を参照しながら、三次元情報取得システム１の概略について説明する。三次元情報取得システム１は、三次元空間上に存在する対象物Ｔの三次元的な情報を取得する。対象物Ｔは、１つであってもよいし、複数であってもよい。三次元情報取得システム１により取得される三次元的な情報には、対象物Ｔの三次元的な形状についての情報が少なくとも含まれる。

【0022】

三次元情報取得システム１は、三次元情報取得装置１０から対象物Ｔまでの距離Ｌ１を計測する。三次元情報取得装置１０は、二次元座標系の各座標において、対象物Ｔまでの距離Ｌ１をそれぞれ計測することにより、対象物Ｔの三次元的な形状を取得する。三次元情報取得装置１０が対象とする対象物Ｔには、動物や物体等の三次元的な情報の取得の対象となるあらゆるものが含まれる。以降の説明においては、一例として対象物Ｔが人物である場合について説明する。対象物Ｔの背後には、背景ＢＧが存在する場合がある。背景ＢＧとは、例えば撮影用に用いられるグリーンバック等のスクリーンであってもよいし、単なる壁や床、建造物、自然物等、その他通常の撮像時に映り込む背景等であってもよい。また、対象物Ｔの近傍には、三次元情報の取得の対象とはならないが、三次元的な形状を有する物体Ｏが存在する場合がある。物体Ｏは、複数存在する場合もある。三次元情報取得システム１は、例えば屋内における撮影スタジオでプロのカメラマンにより使用されてもよいし、屋内外における通常の写真撮影と同様の状況において一般ユーザにより使用されてもよい。

【0023】

三次元情報取得システム１は、三次元情報取得装置１０と、三次元情報抽出装置２０とを含んで構成される。三次元情報取得装置１０と三次元情報抽出装置２０とは、１つのエッジデバイスとして存在していてもよいし、所定の通信ネットワークを介して互いに接続されていてもよい。また、三次元情報抽出装置２０は、三次元情報取得装置１０と所定の通信ネットワークを介して接続されたサーバ装置（不図示）として存在していてもよい。三次元情報抽出装置２０がサーバ装置として存在する場合、所定の通信ネットワークを介して複数の三次元情報取得装置１０と、一の三次元情報抽出装置２０とが接続されてもよい。

【0024】

三次元情報取得装置１０は、受光部１１０と、照射部１２０とを備える。受光部１１０は、例えば、対物レンズ等の光学系レンズを含んで構成されてもよい。照射部１２０は、照射光を対象物Ｔに照射する。照射部１２０は、例えばレーザーダイオード等の光源であってもよい。より詳細には、照射部１２０は、垂直方向にレーザービームを放射可能なＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ、垂直共振器型面発光レーザー）等であってもよい。照射部１２０により照射された光（第１照射光ＢＭ１）は、対象物Ｔにより反射し、対象物Ｔにより反射した光（第２照射光ＢＭ２）は、受光部１１０に入射する。三次元情報取得装置１０は、光を照射してから受光するまでの時間（飛行時間）に応じて、三次元情報取得装置１０から対象物Ｔまでの距離Ｌ１を測距する。

【0025】

受光部１１０は、二次元アレイ状に配置された複数の受光素子を備える。三次元情報取得装置１０は、複数の受光素子それぞれにおける測距情報に応じて、対象物Ｔの三次元的な形状を測定する。なお、図示する一例では、一対の受光部１１０及び照射部１２０が示されているが、１つの受光部１１０に対して複数の照射部１２０が備えられるような構成であってもよい。この場合、複数の照射部１２０は、受光部１１０を中心として、その近傍に備えられることが好適である。

【0026】

三次元情報取得装置１０は、不図示のイメージセンサを備える。イメージセンサは、二次元アレイ状に配置された複数の画素を備え、イメージセンサが備える複数の画素は、受光部１１０が備える光学系レンズにより結像された可視光を受光し、受光した情報に基づき、可視光画像（ＲＧＢ画像）を生成する。可視光画像の方式としては、ＲＧＢ方式に限らず、ＹＣｂＣｒ方式やグレースケール（モノクロ）方式でもよい。

【0027】

三次元情報抽出装置２０は、三次元情報取得装置１０により取得された三次元情報のうち、特定の物体の三次元情報を抽出する。三次元情報取得装置１０により取得された三次元情報は、図示するように三次元情報生成の対象となる対象物Ｔ以外にも、複数の物体Ｏや、背景ＢＧ等の三次元情報をも含んでいる。そこで、三次元情報抽出装置２０は、三次元情報取得装置１０により取得された三次元情報のうち、三次元情報生成の対象となる対象物Ｔの三次元情報を抽出する。なお、三次元情報抽出装置２０が三次元情報生成の対象とする対象物Ｔは、三次元情報抽出装置２０により自動的に判定されてもよいし、ユーザ等の選択により決定されてもよい。

【0028】

図２は、実施形態１に係る三次元情報取得装置の断面の一例を示す模式図である。同図を参照しながら、三次元情報取得装置１０におけるイメージセンサとＴｏＦセンサの配置の一例について説明する。三次元情報取得装置１０は、可視光反射ダイクロイック膜１１２と、イメージセンサ１１３と、ＴｏＦセンサ１１４とを更に備える。

【0029】

照射部１２０から照射され、対象物Ｔに反射した光は、受光部１１０に入射する。同図には、入射した光の光軸が、光軸ＯＡとして記載されている。受光部１１０に入射した光は、可視光反射ダイクロイック膜１１２に入射する。可視光反射ダイクロイック膜１１２より上流側には、不図示の光学系レンズ等が備えられていてもよい。

【0030】

可視光反射ダイクロイック膜１１２は、受光部１１０とＴｏＦセンサ１１４との間の光路上に設けられる。可視光反射ダイクロイック膜１１２は、入射する一部の光（具体的には近赤外光）を透過させ、その他の光（具体的には可視光）を反射する。可視光反射ダイクロイック膜１１２は、照射部１２０により照射された光が対象物Ｔに反射した光の一部を透過させることにより、光をＴｏＦセンサ１１４に導く。可視光反射ダイクロイック膜１１２が透過させる光を赤外光ＩＬと記載する。また、可視光反射ダイクロイック膜１１２が反射する光を可視光ＶＬとして記載する。赤外光ＩＬ及び可視光ＶＬは、可視光反射ダイクロイック膜１１２より上流側において略同一の光軸を通る。略同一の範囲とは、例えば共通のレンズにより、光路が形成される範囲であってもよい。

【0031】

可視光反射ダイクロイック膜１１２により二つの光路に分光された光は、それぞれの光路に配置されたセンサにより受光される。具体的には、可視光反射ダイクロイック膜１１２を透過した赤外光ＩＬはＴｏＦセンサ１１４により受光される。また、可視光反射ダイクロイック膜１１２に反射した光はイメージセンサ１１３により受光される。

【0032】

イメージセンサ１１３は、二次元配列された複数の画素を備える。イメージセンサ１１３は、ベイヤー配列により配置されたＲＧＢ各色の画素を備えていてもよい。当該複数の画素は、それぞれ可視光ＶＬを受光し、可視光画像を生成するために必要な情報を取得する。

【0033】

ＴｏＦセンサ１１４は、二次元配列された複数の画素を備える。当該複数の画素は、それぞれ赤外光ＩＬを受光し、距離換算に必要な情報を取得する。

【0034】

図３は、実施形態１に係る三次元情報抽出装置２０の機能構成の一例を示す機能構成図である。同図を参照しながら、三次元情報抽出装置２０の機能構成の一例について説明する。三次元情報抽出装置２０は、画像取得部２１と、Ｄｅｐｔｈ画像取得部２２と、物体抽出部２３と、Ｄｅｐｔｈ値抽出部２４と、切り出し部２５と、出力部２６とを含んで構成される。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、コンピュータおよびソフトウェアによって実現するようにしてもよい。

【0035】

画像取得部２１は、イメージセンサ１１３から、対象物Ｔを撮像した画像（ＲＧＢ画像等の可視光画像）についての情報を含む画像情報ＩＩを取得する。画像情報ＩＩには、二次元座標系の各座標における輝度情報等が含まれる。当該輝度情報は、ＲＧＢ各色に対応するものであってもよい。画像取得部２１は、取得した画像情報ＩＩを物体抽出部２３に出力する。

【0036】

Ｄｅｐｔｈ画像取得部２２は、Ｄｅｐｔｈ画像についての情報を含むＤｅｐｔｈ画像情報ＤＩを取得する。Ｄｅｐｔｈ画像には、二次元座標系の各座標における複数のＤｅｐｔｈ値が含まれる。Ｄｅｐｔｈ値とは、ＴｏＦ方式により測距された対象物Ｔまでの距離情報である。Ｄｅｐｔｈ画像取得部２２は、取得したＤｅｐｔｈ画像情報ＤＩをＤｅｐｔｈ値抽出部２４に出力する。

【0037】

ここで、画像取得部２１により取得される画像と、Ｄｅｐｔｈ画像とは、同一の画角で、同一の対象物Ｔを撮像したものであることが好適である。換言すれば、画像取得部２１により取得される画像の座標と、Ｄｅｐｔｈ画像の座標とは対応していることが好適である。互いの座標を対応させるため、本実施形態においては、図２を参照しながら説明したような、可視光反射ダイクロイック膜１１２を用いて赤外光ＩＬと可視光ＶＬとに分光するような構成が用いられる。

【0038】

物体抽出部２３は、画像取得部２１により取得された画像に含まれる物体の形状を抽出する。物体の形状を抽出するとは、具体的には、二次元の画像において、物体を形成する輪郭部分を抽出することであってもよい。物体抽出部２３は、例えばニューラルネットワークを用いた既知の物体検出ライブラリに基づいて、画像取得部２１により取得された画像に含まれる物体の形状を抽出してもよい。物体抽出部２３は、具体的には、Ｄｅｔｅｃｔｒｏｎ２等の既知のライブラリに基づいて、人物等の物体の輪郭を検出する。物体抽出部２３は、抽出した輪郭についての情報を、抽出情報ＥＩとしてＤｅｐｔｈ値抽出部２４に出力する。

【0039】

図４は、実施形態１に係る物体抽出部が行う物体抽出処理の一例について説明するための図である。同図を参照しながら、物体抽出部２３が行う物体抽出処理の一例について説明する。図４（Ａ）は、イメージセンサ１１３により撮像された画像の一例である。物体抽出部２３は、図４（Ａ）に示した画像のうち、三次元情報生成の対象となる物体の形状を検出する。本実施形態において、三次元情報抽出装置２０は、人物についての三次元情報の抽出を行うため、物体抽出部２３は、図４（Ａ）に示した画像のうち人物部分の形状を抽出する。図４（Ｂ）は、物体抽出処理を行った結果である。図示するように、物体抽出部２３は、人物の輪郭部分を特定し、当該輪郭の内部が人物であることを特定している。なお、図示する一例では、バウンディングボックスと、当該バウンディングに対応するクラス「ｐｅｒｓｏｎ」及び尤度「１００％」が示されている。物体抽出部２３は、クラス及び尤度を検出してもよいし、検出しなくてもよい。

【0040】

図５は、実施形態１に係る物体抽出部が、複数の物体について物体抽出処理を行う場合の一例について説明するための図である。同図を参照しながら、複数の物体について物体抽出処理を行う場合の一例について説明する。図５（Ａ）は、イメージセンサ１１３により撮像された画像の一例である。図示するように、図５（Ａ）には複数の人物が写されている。物体抽出部２３は、図５（Ａ）に示した画像のうち、三次元情報生成の対象となる複数の物体の形状を検出する。図５（Ｂ）は、物体抽出処理を行った結果である。図示するように、物体抽出部２３は、複数の人物それぞれについて輪郭部分を特定し、当該輪郭の内部が人物であることを特定している。なお、図示する一例では、複数の人物それぞれについてバウンディングボックスと、当該バウンディングに対応するクラス及び尤度が示されている。物体抽出部２３は、抽出した複数の物体それぞれについて、クラス及び尤度を検出してもよいし、検出しなくてもよい。

【0041】

図３に戻り、Ｄｅｐｔｈ値抽出部２４は、物体抽出部２３から抽出情報ＥＩを取得し、Ｄｅｐｔｈ画像取得部２２からＤｅｐｔｈ画像情報ＤＩを取得する。Ｄｅｐｔｈ値抽出部２４は、取得したＤｅｐｔｈ画像に含まれるＤｅｐｔｈ値と、抽出された物体の輪郭とに基づき、物体の三次元情報を抽出する。具体的には、Ｄｅｐｔｈ値抽出部２４は、Ｄｅｐｔｈ画像を参照することにより、抽出された物体の輪郭により特定される物体の形状部分のＤｅｐｔｈ値を抽出する。Ｄｅｐｔｈ値抽出部２４は、物体の形状部分のＤｅｐｔｈ値を抽出することにより、三次元情報生成の対象となる物体の三次元情報を抽出する。なお、Ｄｅｐｔｈ値抽出部２４により、抽出された三次元情報は、フライングピクセルノイズ等のノイズを含んだものであってもよい。Ｄｅｐｔｈ値抽出部２４は、抽出した情報を第１三次元情報３ＤＩ１として切り出し部２５に出力する。

【0042】

図６は、実施形態１に係るＤｅｐｔｈ値抽出部が行うＤｅｐｔｈ値抽出処理の一例について説明するための図である。同図を参照しながら、Ｄｅｐｔｈ値抽出部２４が行うＤｅｐｔｈ値抽出処理の一例について説明する。同図には、画像取得部２１により取得された画像のうち、物体抽出部２３により抽出された物体（図示する一例では人物）を中心とする各座標を示す。図６に示す画像の範囲は、例えば図４（Ｂ）におけるバウンディングボックスにより特定される範囲であってもよい。図６に示される各座標には、Ｄｅｐｔｈ値を格納する配列の各要素が対応付けられる。図示する一例では、要素ｄ［０］［０］から要素ｄ［１４］［６］を有する配列が示されている。各要素には当該要素が割り当てられた座標に対応するＤｅｐｔｈ値が格納される。また、図示する一例では、物体抽出部２３により抽出された物体の輪郭の内側部分については網掛けをして示している。Ｄｅｐｔｈ値抽出部２４は、網掛けがされた部分に対応する要素のＤｅｐｔｈ値を抽出し、配列化を行う。

【0043】

図３に戻り、切り出し部２５は、Ｄｅｐｔｈ値抽出部２４から第１三次元情報３ＤＩ１を取得する。ここで、第１三次元情報３ＤＩ１に含まれる物体の三次元情報は、フライングピクセルノイズ等のノイズを含む場合がある。そこで、切り出し部２５は、Ｄｅｐｔｈ値の調整を行うことにより、ノイズを除去する。切り出し部２５により行われるＤｅｐｔｈ値の調整の一例としては、所定の範囲から外れたＤｅｐｔｈ値を削除すること等であってもよい。具体的には、切り出し部２５は、抽出された物体の輪郭の内側におけるＤｅｐｔｈ値のうち、所定の範囲内にあるＤｅｐｔｈ値を切り出すことにより、所定の範囲から外れたＤｅｐｔｈ値の削除を行う。なお、以下の説明において、所定の範囲内にあるＤｅｐｔｈ値を切り出す処理を「切り出し」又は「切り出し処理」等と記載する場合がある。切り出し部２５は、切り出し処理を行った結果得られた三次元情報を、第２三次元情報３ＤＩ２として出力部２６に出力する。

【0044】

なお、Ｄｅｐｔｈ値が所定の範囲内であるか否かは、Ｄｅｐｔｈ値抽出部２４により抽出されたＤｅｐｔｈ値の統計演算を行うことにより決定されてもよい。すなわち、切り出し部２５は、抽出された物体の輪郭の内側における複数のＤｅｐｔｈ値に基づく統計演算を行うことにより統計値を求め、求められた統計値に基づく所定の範囲内にあるＤｅｐｔｈ値を切り出してもよい。統計演算には、例えば平均値や標準偏差等の演算が含まれる。切り出し部２５は、例えば、Ｄｅｐｔｈ値抽出部２４により抽出されたＤｅｐｔｈ値の平均値等を求め、所定の範囲を決定する。所定の範囲とは、例えば平均値±αの範囲であってもよい。切り出し部２５は、決定した所定の範囲内のＤｅｐｔｈ値の切り出しを行う。αの値は、予め定められていてもよいし、統計演算の結果に基づいて決定されてもよい。

【0045】

図７は、実施形態１に係る切り出し部により切り出し処理が行われた前後における三次元情報の変化の一例を示す図である。同図を参照しながら、切り出し部２５により切り出しを行う効果について説明する。図７（Ａ）は、切り出し部２５により切り出し処理が行われる前の三次元情報の一例を示す。図示するように、切り出し部２５により切り出し処理が行われる前の三次元情報は、フライングピクセルノイズ等のノイズが含まれ、人物が後方へ引っ張られているように見える。図示する一例では、人物以外の物体は特に示されていないが、例えばその他の物体等が存在する場合、切り出し部２５により切り出し処理が行われる前の三次元情報は、その他の物体等と結合している場合もある。図７（Ｂ）は、切り出し部２５により切り出し処理が行われた後の三次元情報の一例を示す。図示するように、図７（Ａ）において発生していたノイズが切り取られ、綺麗な三次元情報となっている。

【0046】

図３に戻り、出力部２６は、切り出し部２５から第２三次元情報３ＤＩ２を取得する。出力部２６は、取得した第２三次元情報３ＤＩ２に基づき、物体の三次元情報を出力する。出力部２６により出力される物体の三次元情報とは、抽出された物体の輪郭の内側における画像情報と、切り出されたＤｅｐｔｈ値とが対応付けられた情報であってもよく、具体的には、抽出された物体の三次元点群データであってもよい。

【0047】

なお、出力部２６は、三次元情報生成の対象となる物体の三次元情報と、二次元画像情報とを組み合わせて出力してもよい。この場合、出力部２６は、物体の三次元情報を出力することに加え、画像取得部２１により取得された画像、又は物体抽出部２３により抽出された物体の輪郭内部が切り取られた画像を更に出力してもよい。図８から図１０を参照し、出力部２６による出力結果の一例について説明する。

【0048】

図８は、実施形態１に係る出力部による出力結果の第１の例を示す図である。第１の例によれば、三次元情報生成の対象となる物体の三次元情報と、当該物体が切り取られた二次元画像情報とが出力されている。例えば出力部２６は、図示するように、三次元情報生成の対象となる物体の三次元情報から所定の距離離れた位置に、二次元画像を配置してもよい。三次元情報から所定の距離離れた位置に二次元画像を配置することにより、二次元画像から対象となる物体が浮かびあがったような視覚的効果を有する情報を生成することができる。このような出力方法は、例えば、講義を行う講師の三次元情報を抽出し、背後の黒板についての情報を二次元情報として出力するような場合に有効である。なお、背後の二次元画像は、必ずしも三次元情報生成の対象となる物体が切り取られたものでなくてもよく、画像取得部２１により取得された画像に基づくものであればよい。

【0049】

図９は、実施形態１に係る出力部による出力結果の第２の例を示す図である。第２の例によれば、二次元画像中に複数（図示する一例では２人）の人物が存在している。この場合、三次元情報取得装置１０は、画像中に存在する２人の人物のうち一方の人物の三次元情報と、一方の人物が切り取られた二次元画像情報とを表示してもよい。具体的には、物体抽出部２３により複数の物体が抽出された場合、不図示の選択部により三次元表示の対象となる物体が選択され、選択された物体についてのみ三次元情報を表示するような構成としてもよい。なお、図示する一例では、二次元画像中に２人の人物が存在する場合の一例を示したが、本実施形態はこの一例に限定されず、３人以上の人物が存在する場合についても同様であり、複数人のうち１人の三次元情報を表示してもよい。

【0050】

図１０は、実施形態１に係る出力部による出力結果の第３の例を示す図である。第３の例によれば、第２の例と同様に、二次元画像中に複数（図示する一例では２人）の人物が存在している。この場合、三次元情報取得装置１０は、画像中に存在する２人の人物のうち両方の三次元情報と、両方の人物が切り取られた二次元画像情報とを表示してもよい。具体的には、物体抽出部２３により複数の物体が抽出された場合、複数の物体の三次元情報を表示するような構成としてもよい。物体抽出部２３により抽出された複数の物体のうち、三次元表示の対象となる物体は、不図示の選択部により選択されてもよい。なお、図示する一例では、二次元画像中に２人の人物が存在する場合の一例を示したが、本実施形態はこの一例に限定されず、３人以上の人物が存在する場合についても同様であり、複数人の人物それぞれの三次元情報を表示してもよい。

【0051】

［実施形態１のまとめ］
以上説明した実施形態によれば、三次元情報抽出装置２０は、画像取得部２１を備えることにより対象物を撮像した画像を取得し、物体抽出部２３を備えることにより取得された画像に含まれる物体のうち三次元情報生成の対象となる物体の輪郭を抽出し、Ｄｅｐｔｈ画像取得部２２を備えることにより対象物までの距離情報であるＤｅｐｔｈ値であって、二次元座標系の各座標における複数のＤｅｐｔｈ値を含むＤｅｐｔｈ画像を取得し、Ｄｅｐｔｈ値抽出部２４を備えることにより取得されたＤｅｐｔｈ画像に含まれるＤｅｐｔｈ値と抽出された物体の輪郭とに基づき、物体の三次元情報を抽出し、切り出し部２５を備えることにより抽出された物体の輪郭の内側におけるＤｅｐｔｈ値のうち所定の範囲内にあるＤｅｐｔｈ値を切り出し、出力部２６を備えることにより抽出された物体の輪郭の内側における画像情報と切り出されたＤｅｐｔｈ値とを対応付けて三次元情報生成の対象となる物体の三次元情報を出力する。すなわち、本実施形態によれば、三次元情報抽出装置２０は、三次元情報取得装置１０により取得された三次元情報のうち、特定の物体の三次元情報を抽出し、切り出し、出力する。特定の物体の三次元情報を抽出することにより、特定の物体についての三次元情報を表示することが可能となり、切り出し処理を行うことによりノイズを除去し、特定の物体を強調することができる。よって、本実施形態によれば、特定の物体を強調し、他の被写体と容易に区別することができる。

【0052】

また、物体抽出部２３による物体の抽出処理は、他の物体が映り込んでいる場合であっても、特定の物体の輪郭を抽出することができる。すなわち、本実施形態によれば、グリーンバック等の特別な環境を用いて画像及びＤｅｐｔｈ画像を取得する必要がなく、容易に特定の物体についての三次元情報を生成することができる。

【0053】

また、上述した実施形態によれば、切り出し部２５は、物体抽出部２３により抽出された物体の輪郭の内側におけるＤｅｐｔｈ値に基づく統計値を求め、Ｄｅｐｔｈ値が、求められた統計値に基づく所定の範囲内にあるＤｅｐｔｈ値を切り出す。すなわち、三次元情報抽出装置２０は、切り出し部２５を備えることにより、ノイズと思われるＤｅｐｔｈ値については除外して、三次元情報生成の対象となる物体の三次元情報を生成する。したがって、本実施形態によればノイズを除去することができるため、三次元情報抽出装置２０により出力される特定の物体の三次元情報は、他の被写体と明確に区別され、特定の物体をより強調することができる。

【0054】

また、上述した実施形態によれば、物体抽出部２３は、画像から複数の物体の輪郭を抽出し、Ｄｅｐｔｈ値抽出部２４は、取得されたＤｅｐｔｈ画像に含まれるＤｅｐｔｈ値と、抽出された複数の物体の輪郭とに基づき、複数の物体の三次元情報を抽出し、切り出し部２５は、抽出された複数の物体それぞれの輪郭の内側におけるＤｅｐｔｈ値のうち、所定の範囲内にあるＤｅｐｔｈ値を切り出し、出力部２６は、抽出された複数の物体それぞれの輪郭の内側における画像情報と、切り出されたＤｅｐｔｈ値とを対応付けて出力する。すなわち、本実施形態によれば、三次元情報抽出装置２０は、一対の二次元画像及び距離画像から、複数の物体それぞれについての三次元情報を抽出する。したがって、本実施形態によれば、複数の物体をそれぞれ強調し、他の被写体と容易に区別することができる。

【0055】

また、上述した実施形態によれば、出力部２６は、物体抽出部２３により抽出された物体の輪郭内部が切り取られた画像を更に出力する。すなわち、出力部２６は、特定の物体を切り取った三次元情報と、当該物体が切り取られた二次元画像情報とを対応付けて出力する。したがって、本実施形態によれば、二次元画像から特定の物体が浮かび上がるような視覚的効果を有する情報を出力することができる。

【0056】

［実施形態２］
次に、図１１及び図１２を参照しながら、実施形態２について説明する。実施形態２においては、特定の物体の姿勢を推定し、推定された姿勢に応じた切り出し処理を行う点において第１の実施形態とは異なる。

【0057】

図１１は、実施形態２に係る三次元情報抽出装置の機能構成の一例を示す機能構成図である。同図を参照しながら、実施形態２に係る三次元情報抽出装置２０Ａの機能構成の一例について説明する。三次元情報抽出装置２０Ａは、姿勢推定部２７を更に備える点において三次元情報抽出装置２０とは異なる。三次元情報抽出装置２０Ａの説明において、三次元情報抽出装置２０と同様の構成については同様の符号を付すことにより説明を省略する場合がある。

【0058】

姿勢推定部２７は、物体抽出部２３により抽出された物体の姿勢を推定する。具体的には、姿勢推定部２７は、物体抽出部２３から抽出情報ＥＩを取得し、抽出情報ＥＩに基づき物体の姿勢を推定する。物体の姿勢を推定するとは、具体的には物体に含まれる複数の部位の位置を推定することであってもよい。例えば三次元情報抽出装置２０により生成される三次元情報の対象物が人物である場合、姿勢推定部２７により推定される部位には、頭、胴及び腕等が含まれてもよい。姿勢推定部２７は、推定した姿勢に関する情報を姿勢情報ＰＩとして切り出し部２５に出力する。切り出し部２５は、姿勢推定部２７から姿勢情報ＰＩを取得し、姿勢推定部２７により推定された部位ごとに異なる所定の範囲を適用することにより、切り出し処理を行う。例えば三次元情報抽出装置２０により生成される三次元情報の対象物が人物である場合、切り出し部２５は、頭、胴及び腕等について異なる所定の範囲を適用することにより、切り出し処理を行ってもよい。

【0059】

図１２は、実施形態２に係る姿勢推定部による姿勢推定の結果の一例を示す図である。同図を参照しながら、姿勢推定部２７による姿勢推定の結果の一例について説明する。図示する一例は、図４（Ａ）の画像について、姿勢推定を行った結果の一例である。姿勢推定部２７は、例えば人物の身体を構成するキーポイントを判定する。物体抽出部２３は、図示するように、人物の頭部分、胴部分及び腕部分をそれぞれ判別可能なよう姿勢の推定を行う。当該姿勢の推定には、具体的には、既知の機械学習モデルであるＰｏｓｅＮｅｔ等が用いられてもよい。

【0060】

切り出し部２５は、例えば、推定されたキーポイントごとに所定の範囲に対し±αのオフセットを行う。切り出し部２５は、具体的には、頭部分についてはα１のオフセットを適用し、胴部分についてはα２のオフセットを適用し、腕部分についてはα３のオフセットを適用する。頭部分、胴部分及び腕部分の厚みは互いに異なる場合があり、それぞれの部分の好適な厚みについては、予め定めることができる場合がある。そこで、本実施形態においては、姿勢推定部２７を更に備えることにより、所定の範囲に部分ごとに異なるオフセットを適用したうえで切り出し処理を行うことにより、物体の厚みを適切に切り出すことができる。

【0061】

［実施形態２のまとめ］
以上説明した実施形態によれば、三次元情報抽出装置２０Ａは、姿勢推定部２７を更に備えることにより、物体に含まれる複数の部位の位置を推定し、切り出し部２５は、推定された部位ごとに異なる所定の範囲を適用する。すなわち、三次元情報抽出装置２０Ａは、物体の部位ごとに好適な厚みを判定し、判定された厚みに応じた切り出し処理を行う。したがって、本実施形態によれば、好適にノイズを除去することができ、特定の物体を強調し、他の被写体と容易に区別することができる。また、本実施形態によれば、姿勢推定部２７を更に備えることにより、部位ごとに好適な厚みとすることができ、より自然な三次元情報を生成することができる。

【0062】

また、上述した実施形態によれば、三次元情報抽出装置２０が三次元情報生成の対象とする物体には人物が含まれ、姿勢推定部２７により推定される部位には、頭、胴及び腕が含まれ、切り出し部２５は、頭、胴及び腕についてそれぞれ異なる所定の範囲を適用する。すなわち、三次元情報抽出装置２０Ａは、人物の部位ごとに好適な厚みを判定し、判定された厚みに応じた切り出し処理を行う。したがって、本実施形態によれば、好適にノイズを除去することができ、特定の物体を強調し、他の被写体と容易に区別することができる。また、本実施形態によれば、人物を構成する部位ごとに好適な厚みとすることができ、より自然な三次元情報を生成することができる。

【0063】

なお、上述した実施形態では、静止画についての三次元情報の抽出処理を行うことを前提として説明を行った。しかしながら本実施形態は静止画の一例に限定されるものではなく、動画に適用されてもよい。本実施形態が動画に適用される場合、各フレームに対して上述したような三次元情報の抽出処理を行ってもよい、また、処理負荷軽減のため、数フレームごとに上述したような三次元情報の抽出処理を行ってもよい。本実施形態を動画に適用することにより、動画においても特定の物体を強調し、他の被写体と容易に区別することが可能となる。

【0064】

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。また、上述した各実施形態を適宜組み合わせてもよい。

【符号の説明】

【0065】

１…三次元情報取得システム、１０…三次元情報取得装置、１１０…受光部、１１２…可視光反射ダイクロイック膜、１１３…イメージセンサ、１１４…ＴｏＦセンサ、１２０…照射部、２０…三次元情報抽出装置、２１…画像取得部、２２…Ｄｅｐｔｈ画像取得部、２３…物体抽出部、２４…Ｄｅｐｔｈ値抽出部、２５…切り出し部、２６…出力部、２７…姿勢推定部、ＢＭ…照射光、ＶＬ…可視光、ＩＬ…赤外光、ＯＡ…光軸、ＩＩ…画像情報、ＤＩ…Ｄｅｐｔｈ画像情報、ＥＩ…抽出情報、３ＤＩ１…第１三次元情報、３ＤＩ２…第２三次元情報、ＰＩ…姿勢情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】