特許 7407963 距離情報生成装置および距離情報生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-21

(45)【発行日】2024-01-04

(54)【発明の名称】距離情報生成装置および距離情報生成方法

(51)【国際特許分類】

   G01C 3/06 20060101AFI20231222BHJP

   G01S 17/894 20200101ALI20231222BHJP

【ＦＩ】

G01C3/06 140

G01S17/894

【請求項の数】 12

(21)【出願番号】P 2022551482

(86)(22)【出願日】2020-09-24

(86)【国際出願番号】 JP2020035924

(87)【国際公開番号】W WO2022064583

(87)【国際公開日】2022-03-31

【審査請求日】2023-03-08

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】▲高▼野 晃洋

(72)【発明者】

【氏名】明官 佳宏

(72)【発明者】

【氏名】稲田 徹悟

【審査官】續山 浩二

(56)【参考文献】

【文献】米国特許出願公開第２０１５／００１５５６９（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１１６５２９２１（ＣＮ，Ａ）

【文献】特開２００７－１７９２３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ３／０６

Ｇ０１Ｓ １７／８９４

(57)【特許請求の範囲】

【請求項1】

撮像により得られた、物体までの距離値の分布を表す計測デプス画像のデータを取得する計測デプス画像取得部と、
前記計測デプス画像が表す距離値を所定の手法でアップサンプリングしてなる候補デプス画像を生成するアップサンプリング部と、
前記計測デプス画像と異なる情報に基づき、前記候補デプス画像が表す距離値の信頼度を画素ごとまたは領域ごとに決定する信頼度決定部と、
前記信頼度に基づき、前記候補デプス画像から、採用する距離値を読み出し画素値とした出力デプス画像を生成し出力する出力データ生成部と、
を備えたことを特徴とする距離情報生成装置。

【請求項2】

前記アップサンプリング部は、複数の手法でアップサンプリングを実施することにより複数の候補デプス画像を生成し、
前記出力データ生成部は、前記信頼度に基づき、前記複数の候補デプス画像のうち採用する距離値を画素ごとに選択することを特徴とする請求項１に記載の距離情報生成装置。

【請求項3】

前記信頼度決定部は、対応する視野で撮影されたカラー画像の、ＣＮＮ（Convolution Neural Network）による解析結果に基づき、前記信頼度を決定することを特徴とする請求項１または２に記載の距離情報生成装置。

【請求項4】

前記信頼度決定部は、前記カラー画像に基づき物体のエッジ領域を抽出し、当該エッジ領域か否かで、前記信頼度を変化させることを特徴とする請求項３に記載の距離情報生成装置。

【請求項5】

前記信頼度決定部は、前記カラー画像に基づき物体認識を行い、推定される形状に好適であることが登録されたアップサンプリング手法による距離値の前記信頼度を高くすることを特徴とする請求項３または４に記載の距離情報生成装置。

【請求項6】

前記信頼度決定部は、物体の色および表面の反射特性の少なくともいずれかに基づき、前記計測デプス画像における距離値の信頼性を評価し、前記信頼度に反映させることを特徴とする請求項１から５のいずれかに記載の距離情報生成装置。

【請求項7】

前記信頼度決定部は、前記計測デプス画像において距離値が得られている画素が所定範囲内にない、あるいは所定数に達しない画素を特定し、当該画素について、前記信頼度を調整することを特徴とする請求項１から６のいずれかに記載の距離情報生成装置。

【請求項8】

前記信頼度決定部は、前記物体、および前記計測デプス画像の取得に用いた撮像装置の少なくともいずれかに内蔵されたモーションセンサの計測値を取得し、当該計測値から得られる動きの大きさがしきい値を超えている期間において、前記信頼度の決定処理を中断することを特徴とする請求項１から７のいずれかに記載の距離情報生成装置。

【請求項9】

前記出力データ生成部は、前記出力デプス画像のうち異なる手法でアップサンプリングされた結果を採用した領域の境界において、平滑化処理を施すことを特徴とする請求項１から８のいずれかに記載の距離情報生成装置。

【請求項10】

前記出力データ生成部は、前記出力デプス画像のうち、信頼度が所定の基準に満たない画素について、無効データ対応づけることを特徴とする請求項１から９のいずれかに記載の距離情報生成装置。

【請求項11】

撮像により得られた、物体までの距離値の分布を表す計測デプス画像のデータを取得するステップと、
前記計測デプス画像が表す距離値を所定の手法でアップサンプリングしてなる候補デプス画像を生成しメモリに格納するステップと、
前記計測デプス画像と異なる情報に基づき、前記候補デプス画像が表す距離値の信頼度を画素ごとまたは領域ごとに決定するステップと、
前記信頼度に基づき、前記候補デプス画像から、採用する距離値を読み出し画素値とした出力デプス画像を生成し出力するステップと、
を含むことを特徴とする、距離情報生成装置による距離情報生成方法。

【請求項12】

撮像により得られた、物体までの距離値の分布を表す計測デプス画像のデータを取得する機能と、
前記計測デプス画像が表す距離値を所定の手法でアップサンプリングしてなる候補デプス画像を生成する機能と、
前記計測デプス画像と異なる情報に基づき、前記候補デプス画像が表す距離値の信頼度を画素ごとまたは領域ごとに決定する機能と、
前記信頼度に基づき、前記候補デプス画像から、採用する距離値を読み出し画素値とした出力デプス画像を生成し出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、実空間における物体の距離情報を取得する距離情報生成装置および距離情報生成方法に関する。

【背景技術】

【0002】

実物体の位置や動きを取得し、それに応じて情報処理を行ったり警告をしたりする技術は、電子コンテンツ、ロボット、車、監視カメラ、無人航空機（ドローン）、ＩｏＴ(Internet of Things)など幅広い分野で利用されている。例えば電子コンテンツの分野では、ヘッドマウントディスプレイを装着したユーザの動きを検出し、それに対応するようにゲームを進捗させ、表示中の仮想世界に反映させることにより、没入感のある仮想体験を実現できる。

【0003】

実物体の位置情報を取得する技術のひとつに、ＬｉＤＡＲ(Light Detection and Ranging)がある。ＬｉＤＡＲは、実物体に光を照射し、その反射光を観測することにより実物体までの距離を導出する技術である。ＬｉＤＡＲとして、パルス状の光の照射から反射光の観測までの時間差に基づき距離を求めるｄＴｏＦ(direct Time of Flight)と、周期変化させた光の位相差に基づき距離を求めるｉＴｏＦ(indirect Time of Flight)が実用化されている（例えば特許文献１および２、非特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１５２６１６号公報

【文献】特開２０１２－４９５４７号公報

【非特許文献】

【0005】

【文献】Dr. David Horsley、"World’s first MEMS ultrasonic time-of-flight sensors、[online]、TDK Technologies & Products Press Conference 2018、[令和２年７月８日検索]、インターネット<URL:https://www.tdk-electronics.tdk.com/download/2431644/f7219af118484fa9afc46dc1699bacca/02-presentation-summary.pdf>

【発明の概要】

【発明が解決しようとする課題】

【0006】

採用する手法によらず一般的な測距技術によれば、距離値が得られる実物体上のポイントが限られたり、粗い粒度での情報しか得られなかったりすることが多い。詳細な情報を計測によって得ようとすると、装置が大がかりになったり結果の出力に時間を要したりして汎用性に乏しくなる。今後、実物体の距離、ひいては位置情報や動きを利用してなされる情報処理が益々多様化することが考えられ、より高い精度で詳細な位置情報を容易に得ることが求められている。

【0007】

本発明はこうした課題に鑑みてなされたものであり、その目的は、実物体の詳細な位置情報を精度よく容易に取得する技術を提供することにある。

【課題を解決するための手段】

【0008】

本発明のある態様は距離情報生成装置に関する。この距離情報生成装置は、撮像により得られた、物体までの距離値の分布を表す計測デプス画像のデータを取得する計測デプス画像取得部と、計測デプス画像が表す距離値を所定の手法でアップサンプリングしてなる候補デプス画像を生成するアップサンプリング部と、計測デプス画像と異なる情報に基づき、候補デプス画像が表す距離値の信頼度を画素ごとまたは領域ごとに決定する信頼度決定部と、信頼度に基づき、候補デプス画像から、採用する距離値を読み出し画素値とした出力デプス画像を生成し出力する出力データ生成部と、を備えたことを特徴とする。

【0009】

本発明のさらに別の態様は距離情報生成方法に関する。この距離情報生成方法は、撮像により得られた、物体までの距離値の分布を表す計測デプス画像のデータを取得するステップと、計測デプス画像が表す距離値を所定の手法でアップサンプリングしてなる候補デプス画像を生成しメモリに格納するステップと、計測デプス画像と異なる情報に基づき、候補デプス画像が表す距離値の信頼度を画素ごとまたは領域ごとに決定するステップと、信頼度に基づき、候補デプス画像から、採用する距離値を読み出し画素値とした出力デプス画像を生成し出力するステップと、を含むことを特徴とする。

【0010】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0011】

本発明によると、実物体の詳細な位置情報を精度よく容易に取得できる。

【図面の簡単な説明】

【0012】

【図1】本実施の形態の距離情報生成システムによる測距環境を説明するための図である。

【図2】本実施の形態において距離情報生成装置が生成する距離情報を例示する図である。

【図3】本実施の形態における距離情報生成装置の内部回路構成を示す図である。

【図4】本実施の形態における距離情報生成装置の機能ブロックの構成を示す図である。

【図5】本実施の形態において距離情報生成装置が距離情報を生成する処理手順を示す図である。

【図6】本実施の形態においてアップサンプリング部が生成する候補デプス画像の実例を示す図である。

【図7】本実施の形態において信頼度決定部が信頼度を決定する際に根拠とするエッジ領域の抽出結果の実例を示す図である。

【図8】本実施の形態において出力データ生成部により生成される出力デプス画像の実例を示す図である。

【図9】本実施の形態における候補デプス画像と出力デプス画像の距離値の結果を比較する図である。

【発明を実施するための形態】

【0013】

本実施の形態は、物体の距離情報を生成する技術に関する。具体的には、従来の測距技術において取得される、粗い粒度での距離値の２次元分布を精度よく補完（アップサンプリング）し、詳細な距離情報を生成する。その限りにおいて採用する測距技術は特に限定されず、ＴＯＦセンサやステレオカメラなど実用化されている手段や測定方法のいずれにも適用できる。

【0014】

図１は、本実施の形態の距離情報生成システムによる測距環境を説明するための図である。距離情報生成システム１２は、撮像装置８と距離情報生成装置１０により構成される。撮像装置８はＴＯＦセンサやステレオカメラなど測距のためのセンサを含み、実物体６までの距離を２次元分布として取得する。ＴＯＦセンサによれば、特定の波長帯の光を実物体６に照射し、その反射光を撮像素子アレイによって観測することにより、その時間差や位相差により実物体６までの距離を取得できる。

【0015】

ステレオカメラによれば、左右に離間した２つのカメラにより撮影されたステレオ画像における、同じ実物体６の像の位置ずれに基づき、三角測量の原理により距離を取得できる。これらはいずれも公知の技術である。ＴＯＦセンサとステレオカメラは実物体６からの光の２次元分布を検出する点で「撮像」手段と捉えることができるため、本実施の形態ではそれらを撮像装置と総称している。ただし撮像装置８は必要に応じて、撮像した結果である画像に対し演算を行うなどして、距離値の２次元分布を取得する機能も有する。あるいは当該機能は、距離情報生成装置１０に設けてもよい。

【0016】

本実施の形態の撮像装置８はさらに、実物体６のカラー画像を撮影する機能を有する。例えば撮像装置８は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)など一般的なイメージセンサを含み、上述したＴＯＦのための反射光の検出とともにカラー画像を撮影してもよい。ステレオカメラにより距離を取得する場合は、その一方の撮影画像をカラー画像として利用してもよい。あるいは画角の対応が判明している限り、カラー画像を撮影するためのカメラを、測距のためのカメラと別に設けてもよい。

【0017】

いずれにしろ撮像装置８は、実物体６までの距離値の２次元分布と、実物体６の色情報の２次元分布であるカラー画像のデータを、所定のタイミングまたは所定の頻度で距離情報生成装置１０に出力する。なお後述するように、撮像装置８は複数方位の偏光画像を撮影してもよい。この場合も、カメラレンズの前面に回転により方位を変更可能な偏光板を装着するか、イメージセンサを構成する撮像素子に主軸角度の異なる偏光子層を設けるなどして、同じイメージセンサにより距離値の２次元分布、カラー画像、偏光画像を取得してもよいし、偏光カメラを別途設けてもよい。

【0018】

距離情報生成装置１０は、撮像装置８から距離値の２次元分布とカラー画像のデータを取得し、距離値をアップサンプリングすることにより詳細な距離情報を生成する。すなわち距離情報生成装置１０は、ＴＯＦあるいはステレオ画像により取得された、隙間のある、あるいは粒度の粗い距離値の２次元分布から、所定の解像度で均等に距離値が表された２次分布のデータを生成する。以後、前者を計測デプス画像、後者を出力デプス画像と呼ぶ。

【0019】

出力デプス画像の生成において、距離情報生成装置１０は、カラー画像など別途取得した実物体６を表す情報に基づき、アップサンプリングに用いる手法を画像平面で切り替える。なお撮像装置８と距離情報生成装置１０は同じ装置として実現してもよい。あるいは距離情報生成装置１０、または撮像装置８および距離情報生成装置１０を、ゲーム装置、携帯端末、パーソナルコンピュータ、ヘッドマウントディスプレイなど、距離情報を用いて情報処理を行う装置の一部としてもよい。

【0020】

図２は、距離情報生成装置１０が生成する距離情報を例示している。（ａ）は、図１で示した環境において、撮像装置８が実物体６を撮影した一般的な画像である。図ではグレースケールとしているが、カラー撮影することにより、距離情報生成装置１０において距離情報の生成に利用できる。（ｂ）は対応して取得される計測デプス画像を示している。この画像も、距離値をグレースケールで表しているが、実際には色の変化で表される。図示するように、計測デプス画像では比較的大きな領域単位で距離値が対応づけられる。

【0021】

（ｃ）は、距離情報生成装置１０が生成した出力デプス画像を示している。距離情報生成装置１０が、計測デプス画像を適切にアップサンプリングすることにより、格段に細かい単位で距離値が表されたデプス画像を生成できる。これにより、物体単位での距離のみならず、各物体の表面の形状なども特定でき、物体認識や動き検出なども精度よく行える。結果として、それらのデータを用いた情報処理の精度を高めたり、応用範囲を広げたりできる。

【0022】

図３は、距離情報生成装置１０の内部回路構成を示している。距離情報生成装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、必要に応じて外部の装置へデータを出力する出力部３６、撮像装置８や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

【0023】

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより距離情報生成装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの命令に従って描画処理や画像解析などを行う。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

【0024】

図４は、本実施の形態の距離情報生成装置１０の機能ブロックの構成を示している。図示する各機能ブロックは、ハードウェア的には、図３で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現でき、ソフトウェア的にはハードディスクや記録媒体からメインメモリ２６にロードされたコンピュータプログラムなどで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0025】

距離情報生成装置１０は、計測デプス画像のデータを取得する計測デプス画像取得部５０、カラー画像のデータを取得するカラー画像取得部５６、距離値のアップサンプリングを実施するアップサンプリング部５２、アップサンプリング結果の信頼度を画素ごとまたは領域ごとに決定する信頼度決定部５８、信頼度に基づきアップサンプリング結果を取捨選択し出力デプス画像を生成する出力データ生成部６０、および、生成された出力デプス画像を出力する出力部６２を備える。

【0026】

計測デプス画像取得部５０は、撮像装置８が計測したデプス画像のデータを取得する。距離情報生成装置１０が距離情報を継続して生成する場合、計測デプス画像取得部５０は計測デプス画像のデータを所定のフレームレートで取得する。カラー画像取得部５６は、撮像装置８が撮影してなるカラー画像のデータを取得する。当該カラー画像は、計測デプス画像取得部５０が取得する計測デプス画像と同じタイミングで撮影されたものである。上述のとおりカラー画像と計測デプス画像は、視野の対応がとれているものとする。

【0027】

例えば上述のとおり、同じイメージセンサにより両者を取得すれば、視野は自ずと一致する。異なるカメラとする場合は、事前のキャリブレーションにより、視野の対応関係を取得しておくことができる。アップサンプリング部５２は、計測デプス画像取得部５０が取得した計測デプス画像を、所定の手法によりアップサンプリングすることにより、候補となる距離値を表したデプス画像（以後、候補デプス画像と呼ぶ）を生成する。

【0028】

画素値の補間や画像の拡大において、従来、バイリニア法、ニアレストネイバー法、バイラテラル法、メディアン法、ガウス補間法など様々な手法が実用化されている。さらに近年では、深層学習（ディープラーニング）の分野における画像処理の技術としてＣＮＮ（Convolution Neural Network）も広く知られるようになってきた。これらの手法はいずれも、一般的な画像の見た目を良好にできる点で効果を発揮するが、デプス画像を対象とした場合、実物体がどのような形状変化をしているかといった観点で十分な精度を得られない場合がある。

【0029】

例えばバイリニア法やＣＮＮによると、物体の輪郭部分など段差がある形状においてその変化が鈍り、実際の段差より緩い傾斜があるような結果が得られやすい。これは、それらの手法では共通して、回帰分析により画素値に連続関数を当てはめることに起因する。一方、回帰を用いずサンプル点の画素値を直接利用するような手法によれば、サンプル点の選び方などが距離値の精度に影響する。

【0030】

例えばメディアン法は、近傍にある所定数のサンプル点の画素値の中央値を対象画素の画素値とする手法である。この場合、サンプル点に選ばれなかった画素値は結果に反映されないため、傾いた平面など滑らかに変化する物体表面の像の領域において精度が出ない場合がある。このように、デプス画像を処理対象としたアップサンプリングでは、どの手法においても実体を反映しづらい形状（距離の変化）が存在する。

【0031】

そこで本実施形態では、例えば複数の手法で仮にアップサンプリングした結果を候補デプス画像として取得しておき、信頼度の高い結果を画素ごと、あるいは領域ごとに取捨選択する。この場合、アップサンプリング部５２は図示するように、第１処理部５４ａ、第２処理部５４ｂ、第３処理部５４ｃ、・・・といった複数の独立した処理機構を有し、それぞれ異なる手法でデプス画像のアップサンプリングを実施する。例えば第１処理部５４ａ、第２処理部５４ｂ、第３処理部５４ｃはそれぞれ、ＣＮＮ、メディアン法、ニアレストネイバー法により、計測デプス画像のアップサンプリングを行う。

【0032】

アップサンプリング部５２が実施するアップサンプリングの手法は事前に決定し、第１処理部５４ａ、第２処理部５４ｂ、第３処理部５４ｃ、・・・に割り当てておく。したがって第１処理部５４ａ、第２処理部５４ｂ、第３処理部５４ｃ、・・・はそれぞれ、処理に必要なフィルタや各種パラメータを内部のメモリに保持している。またＣＮＮを用いる第１処理部５４ａは、適用する連続関数の学習結果を保持している。当該学習結果は、距離情報生成装置１０がネットワークを介して接続したサーバなどから取得してもよい。あるいは第１処理部５４ａ自体を、クラウド環境などに設けてもよい。

【0033】

なお図では、独立してアップサンプリングを行う機能ブロックとして、第１処理部５４ａ、第２処理部５４ｂ、第３処理部５４ｃ、・・・を示しているが、処理部の数は特に限定されない。例えば１つの処理部であっても、信頼度がしきい値以下の結果については無効とすることにより、誤差が大きいことが予測される距離値を出力データから外すことができる。アップサンプリング部５２に複数の処理部を設ける場合、その数を増やすほど処理の負荷が大きくなり結果の出力遅延にもつながる。また信頼度が低い傾向の手法は、結果の採用頻度が低く全体として無駄が大きい。

【0034】

したがって距離情報生成装置１０の処理性能と、出力データに求められる精度などに応じて適切な数を設定する。代表的には４つ程度の処理部を設ける。信頼度決定部５８は、カラー画像取得部５６が取得したカラー画像を利用して、物体の形状や表面の特性、計測状況などの観点から、アップサンプリング部５２における処理結果の信頼度を画素ごとまたは領域ごとに導出する。信頼度決定部５８は例えば、ＣＮＮを用いてカラー画像から物体の輪郭を表すエッジ領域を抽出する。当該処理はＣＮＮにおいて一般的なものである。

【0035】

そして信頼度決定部５８は、エッジ領域あるいは当該領域から所定範囲にある領域に含まれる画素に対しては、メディアン法によるアップサンプリング結果に高い信頼度を与え、それ以外の領域の画素に対しては、ＣＮＮによるアップサンプリング結果に高い信頼度を与える。このようにすると、上述した各種手法による弱点を補い合うようにして、全ての画素に対し精度の高い距離値が得られる。

【0036】

アップサンプリング部５２が１つの手法によりアップサンプリングを行う場合、信頼度決定部５８は、当該アップサンプリングの結果を採用するか否かを、信頼度として決定してもよい。例えばアップサンプリング部５２がＣＮＮによるアップサンプリングのみを実施する場合、信頼度決定部５８は、エッジ領域に含まれる画素に対してアップサンプリング結果を不採用とし、それ以外の領域では採用とする。前者の場合、出力デプス画像における当該画素の値として無効データが代入される。

【0037】

このように信頼度決定部５８が決定する信頼度は、複数のアップサンプリング結果に与える順位でもよいし、１つのアップサンプリング結果の採用／不採用を表すものでもよい。つまり信頼度は数として表すのに限らず、どの手法による結果を採用するか、または採用しないか、を表す情報でもよい。信頼度決定部５８が信頼度を決定する手段はＣＮＮに限らず、エッジ抽出、テンプレートマッチング、特徴点抽出など一般的な画像解析技術のいずれを用いてもよい。

【0038】

また信頼度決定部５８が信頼度を決定する根拠はエッジ領域か否かに限らない。例えば信頼度決定部５８は、カラー画像を用いてＣＮＮにより被写体認識を行い、推定される形状に好適なアップサンプリング手法、不向きなアップサンプリング手法を、事前の登録情報に基づき特定することにより、前者の信頼度を上げ、後者の信頼度を下げてもよい。

【0039】

あるいは信頼度決定部５８は、サンプル点、すなわち計測により得られた距離値の密度によって、サンプル点から直接アップサンプリングを行う手法の信頼度を調整してもよい。例えばメディアン法でアップサンプリングを行う場合、距離値が得られている画素が所定範囲内にない、あるいは所定数に達しない画素を特定し、当該画素についてはメディアン法による結果に低い信頼度を与える。あるいは信頼度決定部５８は、計測デプス画像における距離の計測値の信頼性が低い画素を特定し、当該画素から所定範囲の領域について、全てのアップサンプリング手法に低い信頼度を与えてもよい。

【0040】

ここで距離の計測値の信頼性が低い場合として、鏡面反射成分が多い領域、表面のテクスチャが一部のみ変化している領域、黒い物体の像、ＴＯＦセンサにおいて観測された光子の数の極大点が複数検出されている場合、などがある。信頼度決定部５８は、これらの状況に起因して計測値の信頼性が低いと推定される画素を、カラー画像を解析することにより特定してもよい。このとき、あらかじめ学習させた結果に基づき、ＣＮＮにより該当画素を推定してもよい。

【0041】

あるいは信頼度決定部５８は、上述した偏光画像により計測値の信頼性が低い画素を特定してもよい。カラーフィルタの上層に偏光子層を設けることにより、カラー偏光画像を撮影できる偏光カメラは広く知られている。例えば微細なワイヤグリッドからなる偏光子を０°、４５°、９０°、１３５°の主軸角度で撮像素子の上層に設け、偏光子およびカラーフィルタを透過した光を電荷に変換して読み出すことにより、４種類の方位の偏光画像をカラー画像として得ることができる（例えば特開２０１２－８００６５号公報参照）。

【0042】

この場合、４方位の偏光画像を画素ごとに足し合わせることによって自然光のカラー画像を取得できる。また各画素について、方位に対する偏光強度の依存性を得ることにより、物体表面の反射特性、すなわち鏡面反射成分が支配的か拡散反射成分が支配的かを特定できる（例えば特開２００９－５８５３３号公報）。したがって信頼度決定部５８は、４方位の偏光画像から鏡面反射成分が支配的な領域を特定し、当該領域において計測された距離値やそれを用いたアップサンプリングの結果の信頼度を低くする。

【0043】

さらに信頼度決定部５８は、撮像装置８と実物体との間の相対的な動き情報を信頼度決定の根拠に用いてもよい。例えば本実施の形態の距離情報生成システム１２を図示しないヘッドマウントディスプレイに搭載する場合、信頼度決定部５８は、ヘッドマウントディスプレイに内蔵させたモーションセンサの計測値を取得する。ヘッドマウントディスプレイの加速度や角速度が大きいと、撮影されたカラー画像にはぶれ（モーションブラー）が生じる。

【0044】

この場合、カラー画像を用いた画像認識には誤差が生じるため、それに基づく信頼度自体の精度が悪化する。そのため信頼度決定部５８は例えば、モーションセンサが計測する加速度や角速度、あるいはそれらから得られる速度など、動きの大きさを表すパラメータがしきい値を超えた期間において、信頼度の決定処理を中断してもよい。あるいは当該期間、信頼度決定部５８は、全てのアップサンプリング結果の信頼度を低く設定してもよいし、出力デプス画像の出力自体を中断するようにしてもよい。

【0045】

なお距離情報生成システム１２を固定とし、実物体を、コントローラなどモーションセンサを搭載した物とした場合も同様に動き情報を取得できる。距離情報生成システム１２と実物体の双方にモーションセンサを搭載してもよい。いずれにしろ、両者の相対的な動きを特定し、その大きさによって信頼度の決定処理を切り替えればよく、モーションセンサの代わりに外部カメラなどにより動き情報を取得してもよい。

【0046】

信頼度決定部５８にはあらかじめ、各アップサンプリング手法に対し、精度が高く得られる条件と精度が低くなりやすい条件とを対応づけたテーブルを格納しておく。ここで精度が低くなりやすい条件とは、フィルタ係数を変化させても、あるいはＣＮＮの場合はいくら学習しても、一定以上精度が出ない条件を意味し、事前の実験や学習結果により特定できる。精度が高く得られる条件も同様に、事前の実験や学習結果によって、最適なフィルタ係数やアルゴリズムなどとともに登録する。

【0047】

そして運用時、信頼度決定部５８は、カラー画像などの解析結果が、精度が高く得られる条件に合致するアップサンプリング手法の信頼度を上げる。また当該解析結果が、精度が低くなりやすい条件に合致するアップサンプリング手法の信頼度を下げる。あるいはベースとなるアップサンプリング手法を１つ定めておき、当該手法で精度が低くなりやすい条件を満たす部分のみ、精度が高く得られる別の手法を選択するように信頼度を決定してもよい。

【0048】

上述のとおり計測値自体の信頼性も考慮して、多角的に信頼度を評価する場合、信頼度決定部５８は例えば、ｉ番目のアップサンプリング手法の信頼度を表すスコアＳ（ｉ）を次のように算出してもよい。
Ｓ（ｉ）＝Σｓ_ｉ（ｘ）
ここでｓ_ｉ（ｘ）は、要素ｘに対する信頼度のスコアを表す関数である。要素ｘは例えば、エッジ領域か否か、物体の形状、色、反射特性、相対速度といったものである。関数ｓ_ｉ（ｘ）は、同じ要素ｘでもアップサンプリング手法によって変化する場合と、アップサンプリング手法によらず同じ変化となる場合とがある。

【0049】

出力データ生成部６０は、信頼度決定部５８が決定した信頼度に基づき、アップサンプリング部５２が生成した候補デプス画像から、信頼度の高い距離値を画素ごとに決定し読み出すことにより、出力デプス画像を生成する。信頼度決定部５８が、アップサンプリング結果に対し信頼度の順位を付与する場合、出力データ生成部６０は、最も順位の高いアップサンプリング結果を読み出す。信頼度決定部５８が、上述したスコア値を算出する場合、出力データ生成部６０は、最も高いスコア値を得たアップサンプリング結果を読み出す。

【0050】

また信頼度決定部５８が、アップサンプリングの結果を不採用と決定した画素、あるいは、スコア値が全てしきい値以下の画素については、出力データ生成部６０はアップサンプリング結果を読み出さない。この場合、出力データ生成部６０は、出力デプス画像の当該画素に対して、０など無効であることを示す値を格納する。

【0051】

なお出力データ生成部６０は、候補デプス画像から読み出した距離値からなるデプス画像に対し、さらにフィルタ処理を施してもよい。例えばガウシアンフィルタなどを用いて平滑化することにより、アップサンプリング手法が異なることに起因して、隣接する画素の距離値が不自然に変化するのを防止できる。この場合、出力データ生成部６０は、異なるアップサンプリング結果を採用した領域の境界近傍においてのみ、平滑化処理を実施してもよい。

【0052】

出力部６２は、出力データ生成部６０が生成した出力デプス画像を出力する。出力先は、出力デプス画像を用いて情報処理を行う別のモジュールでもよいし、距離情報生成装置１０の記憶領域などでもよい。なお計測デプス画像取得部５０やカラー画像取得部５６は、撮像装置８が計測あるいは撮影した画素列順に、計測デプス画像およびカラー画像を即時取得してもよい。

【0053】

アップサンプリング部５２の各処理部は、計測デプス画像のうちアップサンプリングに必要な行数のデータを一時格納するラインバッファと、アップサンプリングした結果を一時格納するラインバッファを内部に保持する。そして出力データ生成部６０は、アップサンプリングされた結果が一時格納されているラインバッファから、採用する距離値を画素ごとに読み出すことにより出力デプス画像を生成し、出力部６２に順次供給する。このように各機能ブロックが、前の機能ブロックにおける１フレーム分の処理を待たずに各自の処理を開始することにより、計測した距離情報を詳細化して出力するまでを低遅延で行える。

【0054】

図５は、距離情報生成装置１０が距離情報を生成する処理手順を示している。まず計測デプス画像取得部５０およびカラー画像取得部５６はそれぞれ、撮像装置８から計測デプス画像７０および撮影されたカラー画像７２を取得する。続いてアップサンプリング部５２は、計測デプス画像７０を所定の手法でアップサンプリングすることにより、１つまたは複数の候補デプス画像７４を生成する（Ｓ１０）。候補デプス画像７４の解像度（画像サイズ）は、出力デプス画像の解像度と同じとする。

【0055】

一方、信頼度決定部５８は、カラー画像を解析することにより、候補デプス画像が表す距離値の信頼度を画素ごとまたは領域ごとに決定する（Ｓ１２）。また信頼度決定部５８は、カラー画像とともに取得した偏光画像に基づき、物体表面の反射特性を取得したり、撮像装置８と物体の相対的な動き情報をモーションセンサから取得し、それに基づきモーションブラーの発生期間を検出したりして、信頼度に反映させてもよい。なおカラー画像の解析結果、物体の反射特性、撮像装置８と物体の相対的な動き情報は、その全てを信頼度に反映させてもよいし、いずれか１つあるいは２つを信頼度に反映させてもよい。

【0056】

例えばカラー画像を用いず、偏光画像による反射特性、および／または動き情報のみを信頼度決定の根拠としてもよい。いずれにしろ信頼度決定部５８は、出力デプス画像に対応する画像平面において、画素ごとに信頼度を対応づけた信頼度画像７６を生成する。出力データ生成部６０は、信頼度画像７６が表す信頼度の情報に基づき、採用する距離値を候補デプス画像７４から読み出すことで、最終的な出力デプス画像７８を生成する（Ｓ１４）。

【0057】

出力部６２は生成された出力デプス画像のデータを、外部のモジュールに出力したり内部の記憶領域に格納したりする。以上のとおりこれらの処理は実際には、画素列単位で実施し、１フレーム分の処理を待つことなく次の処理を開始することにより距離情報を高速に出力する。図示する処理を、撮像装置８が所定のレートで取得した各時刻の計測デプス画像７０について繰り返すことにより、出力デプス画像７８も当該レートで出力できる。

【0058】

図６は、アップサンプリング部５２が生成する候補デプス画像の実例を示している。（ａ）はＣＮＮによる結果、（ｂ）は重み付きメディアン法による結果であり、わかりやすさのため一部領域を拡大して示している。ＣＮＮによる候補デプス画像８０ａでは、例えば領域１０６ａに見られるように、実物体の輪郭において実際にはない中間値が表れる。結果として、同じ撮影環境において準備された真値（Ground Truth）との差分画像８２ａにおいて、例えば領域１０８ａに見られるように、輪郭部分に大きな誤差が現れる。重み付きメディアン法による候補デプス画像８０ｂでは、例えば領域１０６ｂに見られるように、傾斜している滑らかな表面に対し段差があるような距離値が算出される。結果として、真値との差分画像８２ｂにおいて、例えば領域１０８ｂに見られるように、表面を表す領域に比較的大きい誤差が表れる。

【0059】

図７は、信頼度決定部５８が信頼度を決定する際に根拠とするエッジ領域の抽出結果の実例を示している。信頼度決定部５８は、（ａ）に示すカラー画像に基づき、（ｂ）に示すエッジ画像を生成する。エッジ画像は上述のとおりＣＮＮにより推定してもよいし、一般的なエッジ抽出フィルタにより生成してもよい。図のエッジ画像は、ＣＮＮによりエッジが推定される領域を黒で表している。信頼度決定部５８は例えば、当該エッジの領域、あるいはそこから所定範囲内にある領域について、重み付きメディアン法など回帰解析のない手法の信頼度を上げ、それ以外の領域についてはＣＮＮなどサンプル点の依存性のない手法の信頼度を上げる。

【0060】

図８は、出力データ生成部６０により生成される出力デプス画像の実例を示している。この例で出力データ生成部６０は、図７で示したエッジ画像に基づき決定された信頼度により、図６で示した候補デプス画像から画素ごとにいずれかの距離値を読み出した結果、出力デプス画像８４を生成している。出力デプス画像８４および真値との差分画像８６に示すように、輪郭部分に中間値が発生せず、傾斜した滑らかな表面の変化がそのまま反映された、精度の高い距離値が得られている。

【0061】

図９は、候補デプス画像と出力デプス画像の距離値の結果を比較している。同図は、左上の破線９０で示すように、画像平面の左上の頂点から右下へ４５°の傾斜を有する直線上における距離値の変化を、真値９２、ＣＮＮによる候補デプス画像９４、重み付きメディアン法による候補デプス画像９６、および出力デプス画像９８で比較している。ＣＮＮによる候補デプス画像９４では、物体の輪郭を表すエッジ領域１００において、真値９２にはない中間値が表れている。

【0062】

一方、重み付きメディアン法による候補デプス画像９６では、物体表面の傾斜を表す領域１０２において距離値が離散的になっており、真値９２のような滑らかな変化が得られていない。図８で示したエッジ画像などに基づく信頼度を用い、出力データ生成部６０がそれらの候補データを統合した結果、生成される出力デプス画像９８では、エッジ領域や傾斜領域１０４において滑らかかつ中間値のない距離値が得られている。すなわち本実施の形態によって、真値９２に近い距離情報が生成されていることがわかる。

【0063】

以上述べた本実施の形態によれば、計測されたデプス画像をアップサンプリングするとともに、実物体や計測の状況を別の手段によって特定することにより、アップサンプリングの結果に信頼度を付与し、採用する結果を画素ごとに取捨選択する。例えば物体の輪郭を表すエッジ領域か否かで画素を分類し、それぞれに適した手法で得られた距離値を採用する。あるいは、精度が得られないことが予測される領域について、アップサンプリングの結果を無効とする。

【0064】

これにより、一般的な画像の補間とは異なり、見た目より値の精度が求められるデプス画像においても、従来の手法を利用しながら容易に良好な結果を導出できる。またアップサンプリング結果の信頼度は、ＣＮＮを用いたり、偏光画像に基づく物体表面の反射特性やモーションセンサによる動き情報などを利用したりして決定することにより、距離値の取捨選択の精度を高め、ひいては距離情報を高精度かつ高解像度で出力できる。

【0065】

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0066】

８ 撮像装置、 １０ 距離情報生成装置、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ５０ 計測デプス画像取得部、 ５２ アップサンプリング部、 ５４ａ 第１処理部、 ５４ｂ 第２処理部、 ５４ｃ 第３処理部、 ５６ カラー画像取得部、 ５８ 信頼度決定部、 ６０ 出力データ生成部、 ６２ 出力部。

【産業上の利用可能性】

【0067】

以上のように本発明は、距離情報生成装置、情報処理装置、ゲーム装置、コンテンツ処理装置、ヘッドマウントディスプレイなどの各種装置と、それを含むシステムなどに利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】