特開 2023-106227 深度情報処理装置、深度分布推定方法、深度分布検出システム及び学習済みモデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023106227

(43)【公開日】2023-08-01

(54)【発明の名称】深度情報処理装置、深度分布推定方法、深度分布検出システム及び学習済みモデル生成方法

(51)【国際特許分類】

   G01S 17/894 20200101AFI20230725BHJP

【ＦＩ】

G01S17/894

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022007432

(22)【出願日】2022-01-20

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100147692

【弁理士】

【氏名又は名称】下地 健一

(72)【発明者】

【氏名】林 佑介

【テーマコード（参考）】

5J084

【Ｆターム（参考）】

5J084AA04

5J084AA05

5J084AA10

5J084AB01

5J084AB07

5J084AD01

5J084AD05

5J084BA02

5J084BA04

5J084BA20

5J084BA34

5J084BA36

5J084BA40

5J084BA50

5J084BB01

5J084BB20

5J084BB26

5J084BB27

5J084BB28

5J084CA03

5J084CA10

5J084CA32

5J084CA65

5J084CA67

5J084EA11

(57)【要約】

【課題】測距装置の測定時刻のずれに起因する深度分布の歪み及びずれを低減する
【解決手段】本開示の実施形態の深度情報処理装置は、距離情報取得部と、画像取得部と、プロセッサとを備える。距離情報取得部は、走査型の測距装置から出力データを取得する。画像取得部は、測距装置の検出範囲と重複する範囲を撮像した画像を取得する。プロセッサは、出力データ及び画像に基づいて、測距装置の１フレームの期間である第１の期間内の所定のタイミングにおける深度分布を推定する。前記深度分布の推定を行うため、プロセッサは、出力データから、第１の期間を時間的に分割した複数の第２の期間のそれぞれについて、複数の処理を行い合成深度情報を生成する。プロセッサは、学習済みモデルに、生成した合成深度情報を入力することにより深度分布を推定する。
【選択図】図４

【特許請求の範囲】

【請求項1】

走査型の測距装置から出力データを取得する距離情報取得部と、
前記測距装置の検出範囲と重複する範囲を撮像した画像を取得する画像取得部と、
前記出力データ及び前記画像に基づいて、前記測距装置の１フレームの期間である第１の期間内の所定のタイミングにおける深度分布を推定するプロセッサであって、
前記プロセッサは、
前記出力データから、前記第１の期間を時間的に分割した複数の第２の期間のそれぞれについて、深度、該深度を検出した２次元方向の位置及び前記第２の期間に対応する時刻情報を含む複数の深度情報を生成し、
前記画像から、前記第２の期間のそれぞれについて、前記検出範囲の背景の領域と動体の領域とを分割する領域分割情報を生成し、
前記第２の期間のそれぞれについて、前記複数の深度情報を前記第１の期間に累積して得られる累積深度情報を前記背景の領域に含み、前記第２の期間の前記複数の深度情報を前記動体の領域に含む、合成深度情報を生成し、
複数の前記第２の期間の合成深度情報を入力とし、前記第１の期間内の前記所定のタイミングにおける深度分布を出力とする教師データを用いて学習させた学習済みモデルに、生成した前記合成深度情報を入力することにより前記深度分布を推定するプロセッサと
を備える深度情報処理装置。

【請求項2】

前記学習済みモデルは、前記教師データを用いて学習を行う際、不確実性を含む演算を行って生成されたものであり、前記不確実性は機械学習の出力を正規分布の確率表現として算出する場合における分散を表す、請求項１に記載の深度情報処理装置。

【請求項3】

前記測距装置の光学系の光軸と前記画像を撮像する光学系の光軸とが、実質的に一致している請求項１または２に記載の深度情報処理装置。

【請求項4】

時系列の前記画像に対して、オプティカルフロー、それぞれの前記画像の間の差分、又は、複数の前記画像から得られる輝度のヒストグラムに基づいて、前記画像から前記領域分割情報を生成する、請求項１から３の何れか一項に記載の深度情報処理装置。

【請求項5】

前記所定のタイミングは、前記第１の期間内の略中央の時刻である、請求項１から４の何れか一項に記載の深度情報処理装置。

【請求項6】

推定される前記深度分布は、前記第１の期間に生成される深度情報の数の合計よりも大きい数の深度情報を含む、請求項１から５の何れか一項に記載の深度情報処理装置。

【請求項7】

前記教師データの前記合成深度情報及び前記深度分布は、前記検出範囲に動体を仮想的に配置するシミュレーションを実行することにより生成される請求項１から６の何れか一項に記載の深度情報処理装置。

【請求項8】

コンピュータのプロセッサが実行する深度分布推定方法であって、
走査型の測距装置から出力データを取得し、
前記測距装置の検出範囲と重複する範囲を撮像した画像を取得し、
前記出力データから、前記測距装置の１フレームの期間である第１の期間を時間的に分割した複数の第２の期間のそれぞれについて、深度、該深度を検出した２次元方向の位置及び前記第２の期間に対応する時刻情報を含む複数の深度情報を生成し、
前記画像から、前記第２の期間のそれぞれについて、前記検出範囲の背景の領域と動体の領域とを分割する領域分割情報を生成し、
前記第２の期間のそれぞれについて、前記複数の深度情報を前記第１の期間に累積して得られる累積深度情報を前記背景の領域に含み、前記第２の期間の前記複数の深度情報を前記動体の領域に含む、合成深度情報を生成し、
複数の前記第２の期間の合成深度情報を入力とし、前記第１の期間内の所定のタイミングにおける深度分布を出力とする教師データを用いて学習させた学習済みモデルに、生成した前記合成深度情報を入力することにより前記深度分布を推定する、方法。

【請求項9】

走査型の測距装置と、
前記測距装置の検出範囲と重複する範囲を撮像する撮像装置と、
前記測距装置の出力データ及び前記撮像装置が撮像した画像に基づいて、前記測距装置の１フレームの期間である第１の期間内の所定のタイミングにおける深度分布を算出するプロセッサを含む深度情報処理装置と
を備え、
前記プロセッサは、
前記出力データから、前記第１の期間を時間的に分割した複数の第２の期間のそれぞれについて、深度、該深度を検出した２次元方向の位置及び前記第２の期間に対応する時刻情報を含む複数の深度情報を生成し、
前記画像から、前記第２の期間のそれぞれについて、前記検出範囲の背景の領域と動体の領域とを分割する領域分割情報を生成し、
前記第２の期間のそれぞれについて、前記複数の深度情報を前記第１の期間に累積して得られる累積深度情報を前記背景の領域に含み、前記第２の期間の前記複数の深度情報を前記動体の領域に含む、合成深度情報を生成し、
複数の前記第２の期間の合成深度情報を入力とし、前記第１の期間内の前記所定のタイミングにおける深度分布を出力とする教師データを用いて学習させた学習済みモデルに、生成した前記合成深度情報を入力することにより前記深度分布を推定する、深度分布検出システム。

【請求項10】

コンピュータが実行する学習済みモデル生成方法であって、
走査型の測距装置の１フレームの期間である第１の期間を時間的に分割した複数の第２の期間のそれぞれについて生成された複数の深度情報及び領域分割情報、並びに、前記第１の期間内の所定のタイミングにおける深度分布を組合せたデータであって、それぞれの前記深度情報は、深度、該深度を検出した２次元方向の位置及び前記第２の期間に対応する時刻情報を含み、前記領域分割情報は、前記測距装置の検出範囲の背景の領域と動体の領域とを分割する、前記データを複数取得又は生成し、
前記第２の期間のそれぞれについて、前記複数の深度情報を前記第１の期間に累積して得られる累積深度情報を前記背景の領域に含み、前記第２の期間の前記複数の深度情報を前記動体の領域に含む、合成深度情報を生成し、
前記複数の前記第２の期間の前記合成深度情報を入力とし、前記深度分布を出力とする教師データを用いて機械学習を行うことにより学習済みモデルを生成する、
学習済みモデル生成方法。

【請求項11】

前記教師データを用いて前記学習済みモデルを生成する際、不確実性を含む演算を行ない、前記不確実性は機械学習の出力を正規分布の確率表現として算出する場合における分散を表す、請求項１０に記載の学習済みモデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、深度情報処理装置、深度分布推定方法、深度分布検出システム及び学習済みモデル生成方法に関する。

【背景技術】

【0002】

物体の方位及び物体までの距離を測定するために、レーザレーダ等の走査型の測距装置が使用される。例えば、レーザレーダを用いて、自車両周囲にある物体までの距離及び方位を計測し、取得したデータ点列に基づき駐車車両の配置を判断する技術が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２－２４３８５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、通常のレーザレーダは、レーザによる順次スキャンを行うため、カメラ映像に比べると解像度及びフレームレートが低くなる。また、走査型のレーザレーダにおいて、解像度を上げるために測定点を増やすと、走査時間が更に長くなる。さらに、検出対象が動体の場合、動体は、走査の最中に移動してしまう。このため、１フレームの測定の間の測定時刻の違いに起因して、深度分布に歪み及びずれが生じ、正確な計測ができなくなってしまうことがある。

【0005】

したがって、これらの点に着目してなされた本開示の目的は、走査型の測距装置を用いた深度分布の測定において測定時刻の違いに起因する深度分布の歪み及びずれを低減することことにある。

【課題を解決するための手段】

【0006】

本開示の実施形態の深度情報処理装置は、距離情報取得部と、画像取得部と、プロセッサとを備える。前記距離情報取得部は、走査型の測距装置から出力データを取得する。前記画像取得部は、前記測距装置の検出範囲と重複する範囲を撮像した画像を取得する。前記プロセッサは、前記出力データ及び前記画像に基づいて、前記測距装置の１フレームの期間である第１の期間内の所定のタイミングにおける深度分布を推定する。前記プロセッサは、前記出力データから、前記第１の期間を時間的に分割した複数の第２の期間のそれぞれについて、深度、該深度を検出した２次元方向の位置及び前記第２の期間に対応する時刻情報を含む複数の深度情報を生成する。前記プロセッサは、前記画像から、前記第２の期間のそれぞれについて、前記検出範囲の背景の領域と動体の領域とを分割する領域分割情報を生成する。前記プロセッサは、前記第２の期間のそれぞれについて、前記複数の深度情報を前記第１の期間に累積して得られる累積深度情報を前記背景の領域に含み、前記第２の期間の前記複数の深度情報を前記動体の領域に含む、合成深度情報を生成する。前記プロセッサは、さらに、複数の前記第２の期間の合成深度情報を入力とし、前記第１の期間内の前記所定のタイミングにおける深度分布を出力とする教師データを用いて学習させた学習済みモデルに、生成した前記合成深度情報を入力することにより前記深度分布を推定する。

【0007】

本開示の実施形態の深度分布推定方法は、コンピュータのプロセッサが実行する方法である。前記方法は、走査型の測距装置から出力データを取得することと、前記測距装置の検出範囲と重複する範囲を撮像した画像を取得することとを含む。前記方法は、前記出力データから、前記第２の期間のそれぞれについて、前記測距装置の１フレームの期間である第１の期間を時間的に分割した複数の第２の期間のそれぞれについて、深度、該深度を検出した２次元方向の位置及び前記第２の期間に対応する時刻情報を含む複数の深度情報を生成することを含む。前記方法は、前記画像から、前記第２の期間のそれぞれについて、前記検出範囲の背景の領域と動体の領域とを分割する領域分割情報を生成することを含む。前記方法は、前記第２の期間のそれぞれについて、前記複数の深度情報を前記第１の期間に累積して得られる累積深度情報を前記背景の領域に含み、前記第２の期間の前記複数の深度情報を前記動体の領域に含む、合成深度情報を生成することを含む。前記方法は、複数の前記第２の期間の合成深度情報を入力とし、前記第１の期間内の所定のタイミングにおける深度分布を出力とする教師データを用いて学習させた学習済みモデルに、生成した前記合成深度情報を入力することにより前記深度分布を推定することを含む。

【0008】

本開示の実施形態に係る深度分布検出システムは、走査型の測距装置と、撮像装置と、
深度情報処理装置とを含む。前記撮像装置は、前記測距装置の検出範囲と重複する範囲を撮像する。前記深度情報処理装置は、前記測距装置の出力データ及び前記撮像装置が撮像した画像に基づいて、前記測距装置の１フレームの期間である第１の期間内の所定のタイミングにおける深度分布を算出するプロセッサを含む。前記プロセッサは、前記出力データから、前記第１の期間を時間的に分割した複数の第２の期間のそれぞれについて、深度、該深度を検出した２次元方向の位置及び前記第２の期間に対応する時刻情報を含む複数の深度情報を生成する。前記プロセッサは、前記画像から、前記第２の期間のそれぞれについて、前記検出範囲の背景の領域と動体の領域とを分割する領域分割情報を生成する。前記プロセッサは、前記第２の期間のそれぞれについて、前記複数の深度情報を前記第１の期間に累積して得られる累積深度情報を前記背景の領域に含み、前記第２の期間の前記複数の深度情報を前記動体の領域に含む、合成深度情報を生成する。前記プロセッサは、複数の前記第２の期間の合成深度情報を入力とし、前記第１の期間内の前記所定のタイミングにおける深度分布を出力とする教師データを用いて学習させた学習済みモデルに、生成した前記合成深度情報を入力することにより前記深度分布を推定する。

【0009】

本開示の実施形態に係る学習済みモデル生成方法は、コンピュータが実行する学習済みモデル生成方法である。前記方法は、走査型測距装置の１フレームの期間である第１の期間を時間的に分割した複数の第２の期間のそれぞれについて生成された複数の深度情報及び領域分割情報、並びに、前記第１の期間内の所定のタイミングにおける深度分布を組合せたデータを複数取得又は生成する。それぞれの前記深度情報は、深度、該深度を検出した２次元方向の位置及び前記第２の期間に対応する時刻情報を含み、前記領域分割情報は、前記測距装置の検出範囲の背景の領域と動体の領域とを分割する。前記方法は、前記第２の期間のそれぞれについて、前記複数の深度情報を前記第１の期間に累積して得られる累積深度情報を前記背景の領域に含み、前記第２の期間の前記複数の深度情報を前記動体の領域に含む、合成深度情報を生成する。前記方法は、前記複数の前記第２の期間の前記合成深度情報を入力とし、前記深度分布を出力とする教師データを用いて機械学習を行うことにより学習済みモデルを生成する。

【発明の効果】

【0010】

本開示の実施形態によれば、走査型の測距装置を用いた深度分布の測定において、測定時刻のずれに起因する深度分布の歪み及びずれを低減することができる。

【図面の簡単な説明】

【0011】

【図1】本開示の一実施形態に係る深度分布検出システムの基本的な構成を示す構成図である。

【図2】図１の深度分布検出システムのより詳細な一例を示す構成図である。

【図3】図１の深度情報処理装置の概略構成を示すブロック図である。

【図4】図１の深度情報処理装置が実行する処理を示すフローチャートである。

【図5】図１の測距装置及び撮像装置が検出する場面の一例を示す図である。

【図6】図１の測距装置の１フレームの測距期間に深度情報処理装置が取得する画像及び深度情報を説明する図である。

【図7】領域分割情報を生成する方法を説明する図である。

【図8】合成深度情報を生成する方法を説明する図である。

【図9】学習済みモデルを生成する学習用コンピュータの概略構成を示す構成図である。

【図10】学習用コンピュータにより学習済みモデルを生成する処理を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本開示の実施形態について、図面を参照して説明する。以下の説明で用いられる図は模式的なものである。図面上の寸法及び比率等は現実のものとは必ずしも一致していない。

【0013】

本開示の一実施形態に係る深度分布検出システム１０は、図１に示すように、測距装置１１、撮像装置１２及び深度情報処理装置１３を含む。なお、本願において、深度は測距装置１１から対象までの距離を意味する。本願において、深度は距離と同義に用いられる。

【0014】

測距装置１１は、レーザレーダ等の走査型の測距装置である。レーザレーダは、検出範囲にレーザ光を照射し、反射されたレーザ光が戻ってくるまでの時間を計測する。レーザレーダは、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）とも称される。撮像装置１２は、撮像光学系及び撮像素子を有し、検出範囲の画像を取得する。撮像装置１２は、測距装置１１の検出範囲と重複する範囲を撮像するように構成される。

【0015】

測距装置１１と撮像装置１２とは、対象を観察する座標系が実質的に一致又は近接するように構成することができる。このため、測距装置１１と撮像装置１２とは、被写体を検出又は撮像する光学系１４の光軸ａｘが、一致するように構成されてよい。光学系１４は、種々の構成のものが含まれる。また、測距装置１１と撮像装置１２とは、被写体を検出又は撮像する光学系の光軸が、互いに平行に近接して配置されてもよい。この場合、測距装置１１と撮像装置１２との光軸を一致させるための光学系１４は無くてもよい。測距装置１１と撮像装置１２とでは、検出するデータ及び画像間に視差が無いか、又は、視差が小さい。測距装置１１の出力する深度と撮像装置１２の出力する画像とは、位置が対応するように重ね合わせることができる。

【0016】

測距装置１１及び撮像装置１２は、背景に対して固定して配置される。このため、測距装置１１及び撮像装置１２は、静止物に対して固定されてよい。例えば、深度分布検出システム１０が屋外で使用される場合、測距装置１１及び撮像装置１２は、路側又は道路上部に設けられた構造物等に固定されてよい。

【0017】

深度情報処理装置１３は、コンピュータである。深度情報処理装置１３は、汎用コンピュータ、ワークステーション、及び、ＰＣ（Personal Computer）等を含む種々のコンピュータの何れかであってよい。深度情報処理装置１３は、専用のプログラム及びデータを読み込んで以下に説明する深度情報処理装置１３の各機能を実行してよい。

【0018】

深度情報処理装置１３が取得する測距装置１１からの出力データは、少なくとも測定対象の方向を示す２次元の位置情報と、距離の情報を含む。２次元の位置情報は、撮像装置１２により撮像される画像上の位置に対応する。出力データは、さらに、深度を測定した時刻の情報を含んでよい。深度情報処理装置１３は、さらに、撮像装置１２から撮像装置１２が撮像した画像を取得する。

【0019】

深度情報処理装置１３は、測距装置１１から出力された出力データ及び撮像装置１２から出力された画像に基づいて、測距装置１１の１フレームの期間である第１の期間Ｔ_１内の所定のタイミングにおける深度分布を推定する。本願において、「深度分布」は、測距装置１１が観察する検出範囲を平面視したときの２次元的な深度の分布を表す。「深度分布」は、「深度マップ」と類似の意味に用いられる。「深度分布」は画像として表現される必要は無い。所定のタイミングは、例えば、測距装置１１の１フレームの中央の時刻とすることができる。深度情報処理装置１３が推定する深度分布は、測距装置１１の測定時刻の違いに起因する歪み及びずれが低減されたものとなる。深度情報処理装置１３は、機械学習による学習済みモデルを備えており、測距装置１１から出力された出力データ及び撮像装置１２から出力された画像を用いて、機械学習により深度分布を推定することができる。

【0020】

深度分布検出システム１０のより具体的な一例を、図２を参照して説明する。深度分布検出システム１０は、測距装置１１及び撮像装置１２の機能を包含する検出装置２１と、深度情報処理装置１３とを含む。検出装置２１は、測距装置１１に対応する構成要素として、照射部２２、反射部２３、制御部２４、第１の光学系２５及び検出素子２６を含む。また、検出装置２１は、撮像装置１２に対応する構成要素として、制御部２４、第２の光学系２７及び撮像素子２８を含む。検出装置２１は、さらに、切替部３２を含む。

【0021】

（深度情報の取得）
照射部２２は、赤外線、可視光線、紫外線、および電波の少なくともいずれかの電磁波を放射する。一実施形態において、照射部２２は、赤外線を放射する。照射部２２は、放射する電磁波を、対象ｏｂに向けて、直接または反射部２３を介して間接的に、照射する。図２に図示する実施形態において、照射部２２は、放射する電磁波を、対象ｏｂに向けて、反射部２３を介して間接的に照射する。

【0022】

一実施形態においては、照射部２２は、幅の細い、例えば０．５°のビーム状の電磁波を放射する。また、一実施形態において、照射部２２は電磁波をパルス状に放射可能である。例えば、照射部２２は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）およびＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ）などを含む。照射部２２は、後述する制御部２４の制御に基づいて、電磁波の放射および停止を切替える。

【0023】

反射部２３は、照射部２２から放射された電磁波を、向きを変えながら反射することにより、対象ｏｂに照射される電磁波の照射位置を変更する。照射位置は、測距装置１１が距離を測定する検出位置に等しい。反射部２３は、照射部２２から放射される電磁波により、対象ｏｂを走査する。したがって、検出素子２６は、反射部２３と協同して、走査型の測距センサを構成する。

【0024】

反射部２３は、電磁波の照射位置を２次元方向に検出範囲で走査することができる。反射部２３は、測距装置１１が検出を行う照射位置を、プログレッシブ走査方式のように、水平方向に走査しながら順次垂直方向にずらしていく規則的な走査を行うことができる。また、反射部２３は、電磁波の照射位置を、順次２次元方向にランダムな位置に設定してよい。本開示では、ランダムに照射位置を変えて順次測定を行うことも、「走査」に含む。反射部２３は、他の任意の方法で、検出範囲を走査してよい。

【0025】

反射部２３は、照射部２２から放射されて反射した電磁波の照射領域の少なくとも一部が、検出素子２６の検出範囲に含まれるように構成されている。したがって、反射部２３を介して対象ｏｂに照射される電磁波の少なくとも一部は、検出素子２６において検出され得る。

【0026】

反射部２３は、例えば、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ミラー、ポリゴンミラー、およびガルバノミラーなどを含む。

【0027】

反射部２３は、後述する制御部２４の制御に基づいて、電磁波を反射する向きを変える。また、反射部２３は、例えばエンコーダなどの角度センサを有してもよく、角度センサが検出する角度を、電磁波を反射する方向情報として、制御部２４に通知してもよい。このような構成において、制御部２４は、反射部２３から取得する方向情報に基づいて、照射位置を算出し得る。また、制御部２４は、反射部２３に電磁波を反射する向きを変えさせるために入力する駆動信号に基づいて照射位置を算出し得る。

【0028】

制御部２４が、反射部２３から取得する方向情報、又は、反射部２３に入力する駆動信号に基づいて照射位置、すなわち深度を検出する検出位置を算出する場合、反射部２３は、電磁波を走査する方向の中心軸が光軸ａｘに実質的に平行且つ近接して配置することができる。この場合、測距装置１１による検出軸は、反射部２３により電磁波を走査する中心軸となる。

【0029】

制御部２４は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサの少なくともいずれかを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部２４は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）の少なくともいずれかを含んでもよい。

【0030】

制御部２４は、反射部２３及び切替部３２を制御可能に構成される。制御部２４は、反射部２３による電磁波の照射位置及び照射時刻に応じて、検出素子２６が反射された電磁波を取得できるように切替部３２を制御することができる。制御部２４は、後述するように、検出素子２６から検出情報を取得し、深度情報を生成することができる。また、制御部２４は、撮像素子２８から画像信号を取得することができる。制御部２４は、深度情報及び画像信号を深度情報処理装置１３に出力することができる。

【0031】

第１の光学系２５は、照射部２２から照射され且つ反射部２３により反射されることにより、検出範囲に向けて照射された電磁波の対象ｏｂからの反射波を、検出素子２６に検出されるように進行させる。

【0032】

検出素子２６は、照射部２２から出射した電磁波を検出可能な素子を含む。例えば、検出素子２６は、ＡＰＤ（Ａｖａｌａｎｃｈｅ ＰｈｏｔｏＤｉｏｄｅ）、ＰＤ（ＰｈｏｔｏＤｉｏｄｅ）および測距イメージセンサなどの単一の素子を含む。検出素子２６は、ＡＰＤアレイ、ＰＤアレイ、測距イメージングアレイ、および測距イメージセンサなどの素子アレイを含むものであってもよい。一実施形態において、検出素子２６は、被写体からの反射波を検出したことを示す検出情報を信号として制御部２４に送信する。検出素子２６は、例えば、赤外線の帯域の電磁波を検出する。

【0033】

なお、検出素子２６は、上述した測距センサを構成する単一の素子である構成において、電磁波を検出できればよく、対象ｏｂが検出面において結像される必要はない。それゆえ、検出素子２６は、第１の後段光学系３０による結像位置である二次結像位置に設けられなくてもよい。すなわち、この構成において、検出素子２６は、すべての画角からの電磁波が検出面上に入射可能な位置であれば、切替部３２により第１の方向ｄ１に進行した後に第１の後段光学系３０を経由して進行する電磁波の経路上のどこに配置されてもよい。

【0034】

制御部２４は、検出素子２６が検出した電磁波に基づいて、深度を取得する。制御部２４は、検出素子２６が検出する検出情報に基づいて、以下に説明するように、ＴｏＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）方式により、照射部２２により照射される照射位置の深度を取得する。

【0035】

制御部２４は、照射部２２に電磁波放射信号を入力することにより、照射部２２にパルス状の電磁波を放射させる。照射部２２は、入力された当該電磁波放射信号に基づいて電磁波を照射する。照射部２２が放射し且つ反射部２３が反射して任意の照射領域に照射された電磁波は、当該照射領域において反射する。そして、検出素子２６は、当該照射領域において反射された電磁波を検出するとき、検出情報を制御部２４に通知する。

【0036】

制御部２４は、照射部２２に電磁波を放射させた時刻から、検出情報を取得した時刻までの時間を計測する。制御部２４は、当該時間に、光速を乗算し、且つ２で除算することにより、照射位置までの距離を算出する。検出素子２６が単一の素子である場合、制御部２４は、上述のように、反射部２３から取得する方向情報、または自身が反射部２３に出力する駆動信号に基づいて、照射位置を算出する。検出素子２６が素子のアレイを含む場合、制御部２４は、対象ｏｂにより反射された電磁波が素子アレイ上で検出される位置により、照射位置を算出することができる。この場合、撮像素子２８から得られる画像と視差が無い略同じ座標軸で照射位置を特定できる。制御部２４は、照射位置を変えながら、各照射位置までの距離を算出することにより深度と検出位置の情報を含む出力データを作成する。

【0037】

（画像情報の取得）
第２の光学系２７は、検出素子２６の検出範囲、すなわち、測距装置１１の検出範囲と重複する範囲の対象ｏｂの像を撮像素子２８の検出面上に結像させる。

【0038】

撮像素子２８は、検出面において結像した像を電気信号に変換して、対象ｏｂを含む検出範囲の画像を生成する。撮像素子２８は、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）及びＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ）の何れかを含んでよい。

【0039】

撮像素子２８は、生成した画像を制御部２４に出力する。制御部２４は、画像について、歪み補正、明度調整、コントラスト調整、ガンマ補正等の任意の処理を行ってもよい。制御部２４は、検出素子２６から出力される出力データの座標系と、撮像素子２８から出力される画像の座標系との間にずれがある場合、これらが相互に近づけるように調整を行ってよい。

【0040】

（光学系と切替部の構成）
第１の光学系２５は、第２の光学系２７と共通の前段光学系２９と、切替部３２の後段に位置する第１の後段光学系３０を含む。第２の光学系２７は、第１の光学系２５と共通の前段光学系２９と、切替部３２の後段に位置する第２の後段光学系３１を含む。前段光学系２９は、例えば、レンズおよびミラーの少なくとも一方を含み、被写体となる対象ｏｂの像を結像させる。

【0041】

切替部３２は、前段光学系２９から所定の位置をおいて離れた対象ｏｂの像の、前段光学系２９による結像位置である一次結像位置、又は当該一次結像位置近傍に、設けられていればよい。切替部３２は、前段光学系２９を通過した電磁波が入射する作用面ａｓを有している。作用面ａｓは、２次元状に沿って並ぶ複数の画素ｐｘによって構成されている。作用面ａｓは、後述する第１の状態および第２の状態の少なくともいずれかにおいて、電磁波に、例えば、反射および透過などの作用を生じさせる面である。

【0042】

切替部３２は、作用面ａｓに入射する電磁波を、第１の方向ｄ１に進行させる第１の状態と、第２の方向ｄ２に進行させる第２の状態とに、画素ｐｘ毎に切替可能である。第１の状態は、作用面ａｓに入射する電磁波を、第１の方向ｄ１に反射する第１の反射状態である。また、第２の状態は、作用面ａｓに入射する電磁波を、第２の方向ｄ２に反射する第２の反射状態である。

【0043】

切替部３２は、さらに具体的には、画素ｐｘ毎に電磁波を反射する反射面を含んでいる。切替部３２は、画素ｐｘ毎の反射面の向きを変更することにより、第１の反射状態および第２の反射状態を画素ｐｘ毎に切替える。一実施形態において、切替部３２は、例えばＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏ ｍｉｒｒｏｒ Ｄｅｖｉｃｅ：デジタルマイクロミラーデバイス）を含む。ＤＭＤは、作用面ａｓを構成する微小な反射面を駆動することにより、画素ｐｘ毎に当該反射面を作用面ａｓに対して所定の角度、例えば＋１２°および－１２°のいずれかの傾斜状態に切替可能である。なお、作用面ａｓは、ＤＭＤにおける微小な反射面を載置する基板の板面に平行である。

【0044】

切替部３２は、制御部２４の制御に基づいて、第１の状態および第２の状態を、画素ｐｘ毎に切替える。例えば、切替部３２は、同時に、一部の画素ｐｘ１を第１の状態に切替えることにより当該画素ｐｘ１に入射する電磁波を第１の方向ｄ１に進行させ得、別の一部の画素ｐｘ２を第２の状態に切替えることにより当該画素ｐｘ２に入射する電磁波を第２の方向ｄ２に進行させ得る。また、切替部３２は、同一の画素ｐｘを第１の状態から第２の状態に切替えることにより、当該画素ｐｘに入射する電磁波を第１の方向ｄ１の次に第２の方向ｄ２に向けて進行させ得る。

【0045】

図２に示すように、第１の後段光学系３０は、切替部３２から第１の方向ｄ１に設けられている。第１の後段光学系３０は、例えば、レンズおよびミラーの少なくとも一方を含む。第１の後段光学系３０は、切替部３２において進行方向を切替えられた電磁波を、検出素子２６に入射させる。

【0046】

第２の後段光学系３１は、切替部３２から第２の方向ｄ２に設けられている。第２の後段光学系３１は、例えば、レンズおよびミラーの少なくとも一方を含む。第２の後段光学系３１は、切替部３２において進行方向を切替えられた電磁波としての対象ｏｂの画像を撮像素子２８の検出面上に結像させる。

【0047】

以上のような構成により、検出装置２１は、前段光学系２９の光軸を、第１の状態において電磁波を進行させる第１の方向ｄ１における第１の後段光学系３０の光軸に、かつ第２の状態において電磁波を進行させる第２の方向ｄ２における第２の後段光学系３１の光軸に合わせることが可能となる。したがって、検出装置２１は、切替部３２の画素ｐｘを第１の状態および第２の状態のいずれかに切替えることにより、素子アレイである場合の検出素子２６が検出する深度と撮像素子２８が撮像する画像との視差のずれを低減し得る。

【0048】

制御部２４は、反射部２３が照射位置を移動させるに従って、切替部３２における一部の画素ｐｘを第１の状態に切替え、且つ別の一部の画素ｐｘを第２の状態に切替え得る。したがって、検出装置２１は、一部の画素ｐｘにおいて検出素子２６に電磁波を検出させながら、同時に別の一部の画素ｐｘにおいて撮像素子２８に画像を検出させ得る。これにより、検出装置２１は、同じ視野内の深度と電磁波の照射位置の近傍を除いた部分の画像とを実質的に同時に取得することができる。

【0049】

なお、図２の構成例では、測距装置１１の検出光軸と、撮像装置１２の光軸とを一致又は近接させるために、切替部３２を含む光学系を用いた。しかし、測距装置１１と撮像装置１２との光軸を一致又は近接させる方法は、これに限られない。例えば、図１の光学系１４は、測距装置１１の検出する光と撮像装置１２の撮像する画像との波長の差異を利用し、ダイクロイックミラー又はダイクロイックプリズムを用いて、測距装置１１の光学系の光軸と撮像装置１２の光軸とを実質的に一致させる構成とすることができる。

【0050】

（深度情報処理装置）
一実施形態に係る深度情報処理装置１３は、図３に示すように、距離情報取得部４１、画像取得部４２、制御部４３、記憶部４４及び出力部４５を含む。

【0051】

距離情報取得部４１は、測距装置１１から出力データを取得する。距離情報取得部４１は、測距装置１１と通信する通信モジュールを含んでよい。図２の検出装置２１の場合、距離情報取得部４１は、測距装置１１の一部を構成する制御部２４から出力データを取得する。出力データは、少なくとも、検出範囲を平面視したときの検出位置を示す２次元の位置情報と、当該位置に位置する対象ｏｂまでの距離である深度の測定値を含む。出力データは、さらに、深度を検出した時刻の情報を含んでよい。時刻の情報は、深度情報処理装置１３が出力データを取得した時刻に基づいて付与することもできる。

【0052】

画像取得部４２は、撮像装置１２から画像を取得する。画像取得部４２は、撮像装置１２と通信する通信モジュールを含んでよい。図２の検出装置２１の場合、画像取得部４２は、撮像装置１２の一部を構成する制御部２４から画像を取得する。画像取得部４２が取得する画像は、画像を撮像した時刻の情報を含むことができる。時刻の情報は、深度情報処理装置１３が画像を取得した時刻に基づいて付与することもできる。測距装置１１の出力データの時刻の情報と、画像の時刻の情報とは同期している必要がある。

【0053】

制御部４３は、検出装置２１の制御部２４と同様に、１以上のプロセッサ及びメモリを含む。制御部４３は、検出装置２１の制御部２４と同様に、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサの少なくともいずれかを含んでよい。

【0054】

制御部４３は、深度情報処理装置１３の全体を制御するとともに、距離情報取得部４１で取得した出力データ及び画像取得部４２で取得した画像に基づいて、所定のタイミングの深度分布を推定するための種々の処理を実行する。制御部４３が実行する処理には、以下において説明する機械学習を用いた深度分布の推定が含まれる。

【0055】

記憶部４４は、半導体メモリ及び／又は磁気メモリを含む。記憶部４４は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部４４は、深度情報処理装置１３の動作に用いられる任意の情報を記憶する。例えば、記憶部４４は、システムプログラム、アプリケーションプログラム、管理データベース等を記憶してもよい。記憶部４４は、距離情報取得部４１で取得した出力データ及び画像取得部４２で取得した画像、並びに、これらから加工して得られた情報を、一時的に保存することができる。

【0056】

記憶部４４は、他のコンピュータ（「学習用コンピュータ」とする）又は深度情報処理装置１３で、機械学習により生成された学習済みモデル４６を記憶する。学習済みモデル４６は、距離情報取得部４１で取得した出力データ及び画像取得部４２で取得した画像を前処理したデータを入力とし、所定のタイミングの深度分布を出力とするデータセットを用いて機械学習により生成される。学習済みモデル４６は、プログラム及びパラメータの形式で記憶されてよい。制御部４３は、記憶部４４から学習済みモデル４６を読みだして使用することができる。

【0057】

出力部４５は、深度情報処理装置１３から外部に情報を出力可能に構成される。出力部４５は、ディスプレイ、外部のコンピュータに情報を送信する通信モジュール、記憶媒体に情報を出力する装置等の何れか一つ以上を含む。

【0058】

（深度分布の推定処理）
以下に、制御部４３が実行する深度分布の推定処理を、図４のフローチャートを用いて説明する。深度情報処理装置１３は、以下に説明する制御部４３が行う処理を、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。

【0059】

まず、制御部４３は、距離情報取得部４１を介して測距装置１１の出力データを取得し、画像取得部４２を介して撮像装置１２の撮像した画像を取得する（ステップＳ１０１）。

【0060】

図５は、深度分布検出システム１０の検出範囲内の場面の一例を示す図である。例えば、測距装置１１及び撮像装置１２又は検出装置２１が、道路の横又は上方の構造物に固定され、道路上を走行する動体ＭＯを検出しているものとする。動体ＭＯは、例えば、自動車、自転車及び歩行者の何れかであってよい。図５は一つの動体ＭＯを含むが、動体ＭＯの数は一つに限られない。検出範囲において、動体ＭＯ以外の部分は、時間的に変化しない背景ＢＧとなる。

【0061】

測距装置１１のフレームレート及び解像度は、撮像装置１２のフレームレート及び解像度よりも低い。測距装置１１の１フレームの期間を第１の期間Ｔ_１とする。例えば、測距装置１１のフレームレートは、３ｆｐｓであり、第１の期間Ｔ_１は、１／３秒である。また、測距装置１１が１フレームの間に、測定できる深度の数は、例えば、横方向１２０、縦方向２０の合計２４００とすることができる。例えば、動体ＭＯが自動車の場合、測距装置１１が１フレームの走査をする間に、動体ＭＯは、測距装置１１が測定を行う視野内で移動する。そのため、第１の期間Ｔ_１の間に得られる深度を集めて深度分布を生成しても、測定時刻の違いに起因して、特定の時刻の瞬間的な深度分布を得ることができない。そのため、制御部４３は以下の処理を行う。

【0062】

図６の下段に示すように、制御部４３は、測距装置１１の出力データに基づき、第１の期間Ｔ_１を分割した複数の第２の期間Ｔ_２のそれぞれについて、複数の深度を時刻情報と関連付けて抽出する（ステップＳ１０２）。制御部４３は、例えば、第１の期間Ｔ_１を１００の第２の期間Ｔ_２に分割することができる。例えば、第１の期間Ｔ_１の長さが、１／３秒の場合、第２の期間Ｔ_２の長さは、１／３００秒とすることができる。第１の期間Ｔ_１を第２の期間Ｔ_２に分割する数ｎは、１００に限られず任意の数とすることができる。

【0063】

図６に示すように、それぞれの第２の期間Ｔ_２について、それぞれの第２の期間Ｔ_２に測距装置１１で検出された深度が深度情報ｄｉとして抽出される。深度情報ｄｉは深度の測定値と、深度の検出位置を示す２次元の位置情報及び時刻情報とを関連付けた情報である。それぞれの第２の期間Ｔ_２に検出された複数の深度情報ｄｉの集合を短期間深度情報分布ＳＤｋ（ｋ＝１～ｎ）とする。例えば、測距装置１１が１フレームの間に、横方向１２０、縦方向２０の合計２４００の深度を測定し、ｎ＝１００の場合、各短期間深度情報分布ＳＤｋに含まれる深度情報ｄｉの数は横方向１２、縦方向２の合計２４とすることができる。図６は単に説明のための図であるから、各短期間深度情報分布ＳＤｋ内の深度情報ｄｉの数を少数の点で表示している。

【0064】

図６において、測距装置１１は、検出範囲内でランダムな位置の深度を順次取得するものとしている。しかし、測距装置１１は、検出範囲内で深度を規則的に走査して取得してよい。

【0065】

また、制御部４３は、第１の期間Ｔ_１に渡って、１フレームの深度情報ｄｉを累積した情報を、累積深度情報ＡＤとして生成してよい。累積深度情報ＡＤは、深度情報ｄｉを検出範囲の２次元の座標に対応付けて画像として表現したとき、測定時刻の違いに起因する歪み及びずれのある画像となる情報である。

【0066】

各短期間深度情報分布ＳＤｋ（ｋ＝１～ｎ）に含まれる深度情報ｄｉには、それぞれの各短期間深度情報分布ＳＤｋ（ｋ＝１～ｎ）に応じた時刻情報が付与される。一例として、各短期間深度情報分布ＳＤｋ（ｋ＝１～ｎ）に属する深度情報ｄｉには、第２の期間Ｔ_２の終了する時刻が時刻情報として付与されてよい。例えば、第１の期間Ｔ_１の開始時刻を０とする場合、短期間深度情報分布ＳＤｋ（ｋ＝１～ｎ）に含まれる深度情報ｄｉには、ｔ＝Ｔ_１×ｋ／ｎの時刻情報が付与される。なお、測距装置１１が出力する出力データに深度を測定した時刻の情報が含まれる場合、これをそのまま深度情報ｄｉの時刻情報としてもよい。このようにして、各深度情報ｄｉに含まれる深度の測定値は、検出範囲を平面視したときの検出位置を示す２次元の座標と時刻情報とを含む３次元のボクセル（Ｖｏｘｅｌ）に対応付けられる。

【0067】

次に、制御部４３は、第２の期間Ｔ_２のそれぞれについて、撮像装置１２から取得した画像に基づいて、検出範囲の背景ＢＧの領域と動体ＭＯの領域とを分割する領域分割情報ＳＩｋ（ｋ＝１～ｎ）（図７参照）を生成する（ステップＳ１０３）。このため、制御部４３は、撮像装置１２から取得した画像から、第１の期間Ｔ_１の所定のタイミングで画像を抽出する。例えば、図６に示すように、制御部４３は、第１の期間Ｔ_１の開始時刻をｔ＝０とするとき、ｔ＝０のときの画像ＩＭ１と、第１の期間Ｔ_１の終了時刻であるｔ＝Ｔ_１のときの画像ＩＭ２とを取得してよい。

【0068】

制御部４３は、撮像装置１２から取得した時系列の画像に対してオプティカルフロー法を用いて、それぞれの第２の期間Ｔ_２の終了時刻における、動体ＭＯの位置を推定する。すなわち、制御部４３は、図７に示すように、第１の画像ＭＩ１から動体ＭＯを抽出し、第２の画像ＭＩ２から同じ動体ＭＯ（図７において、ＭＯ’とする）を抽出する。制御部４３は、動体ＭＯの特徴点を抽出し第１の画像ＭＩ１と第２の画像ＭＩ２との間の特徴点の変位ベクトルｖを算出する。制御部４３は、各特徴点が等速で移動することを想定して、それぞれの第２の期間Ｔ_２に対応する時刻の動体ＭＯの位置を推定する。

【0069】

制御部４３は、それぞれの第２の期間Ｔ_２における動体ＭＯの位置に基づいて、領域分割情報ＳＩｋ（ｋ＝１～ｎ）を決定する。領域分割情報ＳＩｋ（ｋ＝１～ｎ）は、動体ＭＯが存在する領域である動体領域ＭＡと、動体領域ＭＡ以外の背景ＢＧの領域である背景領域ＢＡとの境界を示す領域境界ＡＢの情報を含む。図７では、単に説明のために領域境界ＡＢは、長方形で示しているが、領域境界は動体ＭＯを平面視した外形に沿うものとする。

【0070】

なお、領域分割情報ＳＩｋ（ｋ＝１～ｎ）を生成する方法は、オプティカルフローを用いるものに限られない。例えば、制御部４３はそれぞれの第２の期間Ｔ_２に対応する時刻ｔ＝Ｔ_１・ｋ／ｎに撮像された画像を取得し、直前の第２の期間Ｔ_２の画像と差分をとることができる。制御部４３は、差分が実質的に０の領域を、画像が変化していないので背景領域ＢＡであると判断しうる。また、制御部４３は、差分が実質的に０以外の領域を、画像が変化しているので動体領域ＭＡであると判断しうる。なお、差分が実質的に０であるとは、差分が０であるか検出誤差範囲内の僅かな値であることを示す。

【0071】

また、制御部４３は、各画素について複数の画像から輝度のヒストグラムを生成し、このヒストグラムに基づいて領域分割情報ＳＩｋ（ｋ＝１～ｎ）を生成することができる。ヒストグラムは、横軸に輝度、縦軸に頻度をとったグラフとして表現される。複数の画像に基づき、特定の輝度の頻度が所定値よりも高い画素の位置は、背景領域ＢＡに該当すると判断することができる。輝度の頻度が広く分布している画素の位置は、動体領域ＭＡと判断することができる。

【0072】

さらに、制御部４３は、図８に示すように、第２の期間Ｔ_２のそれぞれについて、累積深度情報ＡＤを背景領域ＢＡに含み、第２の期間Ｔ_２の複数の深度情報ｄｉを動体領域ＭＡに含む、合成深度情報ＣＤｋ（ｋ＝１～ｎ）を生成する（ステップＳ１０４）。

【0073】

すなわち、制御部４３は、第２の期間Ｔ_２のそれぞれについてステップＳ１０３で生成した領域分割情報ＳＩｋ（ｋ＝１～ｎ）を適用して、測距装置１１の検出範囲を平面視した２次元領域を分割する。制御部４３は、動体領域ＭＡには、短期間深度情報分布ＳＤｋ（ｋ＝１～ｎ）の深度情報ｄｉを採用し、背景領域ＢＡには累積深度情報ＡＤの深度情報ｄｉを採用して、合成深度情報ＣＤｋ（ｋ＝１～ｎ）を生成する。その結果、合成深度情報ＣＤｋ（ｋ＝１～ｎ）の背景領域ＢＡは、１フレームの深度情報ｄｉを反映した、高密度の深度情報ｄｉを含む。背景領域ＢＡでは、時間と共に検出対象が変化しないので、このように１フレームわたり累積した多数の深度情報ｄｉを使用することができる。一方、動体領域ＭＡでは、深度情報ｄｉが時間と共に変化するので、各第２の期間Ｔ_２の低解像度の深度情報ｄｉを使用する。なお、図８は単に説明のための図なので、深度情報ｄｉを少数の点で表している。深度情報ｄｉはより高密度に取得することができる。

【0074】

このように、背景領域ＢＡの深度情報ｄｉの密度を高くすることにより、合成深度情報ＣＤｋ（ｋ＝１～ｎ）を機械学習の入力として使用する場合に、深度分布の推定精度を向上させることができる。

【0075】

次に、制御部４３は、ステップＳ１０４で生成したｎ個の合成深度情報ＣＤｋ（ｋ＝１～ｎ）を学習済みモデル４６に入力して、所定のタイミングにおける深度分布を推定する（ステップＳ１０５）。所定のタイミングは、第１の期間Ｔ_１の間の任意の時刻に設定することができる。例えば、所定のタイミングは、第１の期間Ｔ_１内の略中央の時刻に設定することができる。すなわち、第１の期間Ｔ_１の開始時刻をｔ＝０とするとき、所定のタイミングは、ｔ＝Ｔ_１／２の近傍とすることができる。例えば、所定のタイミングがＴ_１×０．４以上Ｔ_１×０．６以下であれば、所定のタイミングは、第１の期間Ｔ_１内の略中央の時刻ということができる。制御部４３は、推定した所定のタイミングの深度分布を記憶部４４に記憶することができる。また、制御部４３は、推定した所定のタイミングの深度分布を、出力部４５から出力することができる。

【0076】

（学習用コンピュータ）
深度情報処理装置１３の深度分布の推定に使用される学習済みモデル４６は、予め学習用コンピュータ５０により生成される。学習用コンピュータ５０は、深度情報処理装置１３と異なるコンピュータとすることができる。あるいは、深度情報処理装置１３が、学習用コンピュータ５０の機能を有してもよい。一実施形態において、学習用コンピュータ５０は、シミュレーションにより機械学習の教師データを生成し、この教師データを使用して学習済みモデル４６を生成する。

【0077】

学習用コンピュータ５０は、仮想的な３次元空間内で仮想的な動体ＭＯを移動させ、仮想空間内の所定の位置に配置した測距装置１１及び撮像装置１２により検出される出力データ及び画像を算出する。学習用コンピュータ５０は、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）により画像を生成することができる。また、学習用コンピュータ５０は、所定のタイミングにおける遅延の無い深度分布をシミュレーション演算により算出する。

【0078】

学習用コンピュータ５０は、例えば、図９に示すように、入力部５１、演算部５２、記憶部５３及び出力部５４を含む。

【0079】

入力部５１は、シミュレーションに使用する各種のデータの入力を受ける。入力部５１は、キーボード、マウス等の入力装置、通信モジュール及び／又は記憶媒体の読取装置を含む。例えば、入力部５１は、仮想空間に配置される静止物又は背景の位置、大きさ等の情報の入力を受ける。また、入力部５１は、仮想空間に配置される動体ＭＯの位置、大きさ、移動方向及び速度の入力を受ける。さらに、入力部５１は、仮想空間に配置される測距装置１１及び撮像装置１２の位置及び向きの情報の入力を受ける。さらに、入力部５１は、シミュレーションを行うための各種条件の設定を受けてよい。例えば、入力部５１は、第１の期間Ｔ_１及び第２の期間Ｔ_２の設定を受ける。

【0080】

演算部５２は、学習済みモデル４６を生成するための各種演算を実行する。演算部５２は、検出装置２１の制御部２４及び深度情報処理装置１３の制御部４３と同様に、一つ以上のプロセッサを含んで構成される。演算部５２は、シミュレーションを行うシミュレーション部５５と機械学習を行う関数近似器５６とを含んでよい。関数近似器５６は、複数の入力と出力とを組み合わせたデータセットである教師データから入力と出力との関係を推定する。関数近似器５６は、例えば、ニューラルネットワークである。なお、本実施形態では、シミュレーションと機械学習とを同一の学習用コンピュータ５０で行うものとしたが、これらは別個のコンピュータにより実行されてよい。

【0081】

記憶部５３は、半導体メモリ及び／又は磁気メモリを含む。記憶部５３は、学習用コンピュータ５０の動作に使用される任意の情報及び学習用コンピュータ５０が出力する任意の情報を記憶することができる。例えば、記憶部５３は、入力部５１から取得したシミュレーションの各種設定情報、及び、機械学習の結果生成された学習済みモデル４６を記憶することができる。

【0082】

出力部５４は、学習用コンピュータ５０から外部に情報を出力可能に構成される。出力部５４は、ディスプレイ、外部のコンピュータに情報を送信する通信モジュール、記憶媒体に情報を出力する装置等を含む。

【0083】

（学習済みモデルの生成）
以下に、演算部５２が実行する学習済みモデル４６の生成処理を、図１０のフローチャートを用いて説明する。学習用コンピュータ５０は、以下に説明する演算部５２が行う処理の一部又は全部を、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。

【0084】

演算部５２は、シミュレーションにより、仮想空間における測距装置１１の出力データ及び撮像装置１２の出力する画像並びに第１の期間Ｔ_１の所定のタイミングにおける深度分布を生成する。以下において、所定のタイミングの深度分布を目標深度分布と呼ぶ。目標深度分布は、測距装置１１の１フレーム内の測定時刻の違いに起因するずれを含まない、所定のタイミングにおける正しい深度の分布である。演算部５２は、実際の測距装置１１が深度測定を可能な頻度に従って、出力データを生成する。演算部５２は、１フレームの期間である第１の期間Ｔ_１に実際に測距装置１１が検出可能な深度情報ｄｉの数よりも大きい数の深度情報ｄｉを含む目標深度分布を生成してよい。例えば、測距装置１１が、第１の期間Ｔ_１の間に横方向に１２０、縦方向に２０配列された検出位置の深度情報ｄｉを取得する場合、シミュレーションで算出する目標深度分布は、横方向に２４０、縦方向に４０配列された検出位置の深度の分布とすることができる。すなわち、目標深度分布は、測距装置１１が実際に検出可能な深度情報ｄｉより高い解像度の深度情報ｄｉを含むことができる。

【0085】

次に、演算部５２は、シミュレーションの結果得られた測距装置１１の出力データを第１の期間Ｔ_１を分割した第２の期間Ｔ_２のそれぞれについて、複数の深度情報ｄｉを時刻情報と関連付けて抽出する（ステップＳ２０２）。この処理は、図４のフローチャートにおけるステップＳ１０２と同じ処理である。ここで使用される第１の期間Ｔ_１及び第２の期間Ｔ_２は、ステップＳ１０２において使用される第１の期間Ｔ_１及び第２の期間Ｔ_２と同じに設定される。

【0086】

演算部５２は、第２の期間Ｔ_２のそれぞれについて、シミュレーションの結果得られた画像に基づいて、検出範囲の背景ＢＧの領域と動体ＭＯの領域とを分割する領域分割情報ＳＩｋ（ｋ＝１～ｎ）を生成する（ステップＳ２０３）。この処理は、図４のフローチャートにおけるステップＳ１０３と同じ処理である。

【0087】

さらに、演算部５２は、第２の期間Ｔ_２のそれぞれについて、複数の深度情報ｄｉを第１の期間Ｔ_１に累積して得られる累積深度情報ＡＤを背景領域ＢＡに含み、第２の期間Ｔ_２の複数の深度情報ｄｉを動体領域ＭＡに含む、合成深度情報ＣＤｋ（ｋ＝１～ｎ）を生成する（ステップＳ２０４）。この処理は、図４のフローチャートにおけるステップＳ１０４と同じ処理である。

【0088】

すなわち、演算部５２は、シミュレーションにより得られた測距装置１１の出力データ及び撮像装置１２の画像に対して、深度情報処理装置１３が機械学習により推論を行う前段階で行う処理と同じ処理を行って、合成深度情報ＣＤｋ（ｋ＝１～ｎ）を生成する。

【0089】

演算部５２は、１フレームのデータに対応する複数の合成深度情報ＣＤｋ（ｋ＝１～ｎ）と目標深度分布との組合せを一つのデータとし、これを複数含む教師データを生成する（ステップＳ２０５）。演算部５２は、上記ステップＳ２０１～Ｓ２０４において、複数のデータを平行して生成してよい。演算部５２は、機械学習のために多数の、例えば、１０００組から１００００組のデータからなるデータセットを生成する。

【0090】

演算部５２は、関数近似器５６により、合成深度情報ＣＤｋ（ｋ＝１～ｎ）を入力とし、目標深度分布を出力とする機械学習を実行し、学習済みモデル４６を生成する（ステップＳ２０６）。演算部５２は、学習済みモデル４６を記憶部５３に記憶し、及び／又は、出力部５４から出力する。学習済みモデル４６は、複数の深度情報処理装置１３で使用することができる。

【0091】

（機械学習の演算方法）
関数近似器５６は、例えば、ニューラルネットワークである。ネットワーク

【数1】

は、数式（１）に示すように、入力に対して深度推定値（Ｄｅｐｔｈ推定値）

【数2】

と不確実性

【数3】

とを出力する。

【数4】

【0092】

不確実性は、機械学習の出力を正規分布の確率表現として算出する場合における分散を表す。関数近似器５６は、数式（２）の損失関数Ｌ（θ）を算出する演算を行い、この損失関数Ｌ（θ）を最小化するように学習を行う。

【0093】

【数5】

【0094】

ここで、ｉは、教師データに含まれるそれぞれのデータを示す。また、Ｄｉは、教師データの深度である。式（２）で用いた不確実性は、推定が難しいデータの程度を表す。

【0095】

数式（２）の第２項は、不確実性（分散）を小さくする方向に作用する。一方で第１項の指数関数ｅｘｐ（）は、不確実性（分散）を大きくする方向に作用する。演算部５２は、損失関数Ｌ（θ）が小さくなるよう学習を行うので、第１項と第２項との間でバランスを取って学習を行うことができる。すなわち、本実施形態によれば、学習済みモデル４６の生成において不確実性が考慮される。不確実性を用いて学習することにより、空間的には遠方及び物体の境界付近、時間的には目的の時刻に遠い時刻、並びに、移動物体のように深度推定が困難な深度測定値に対して、頑健な出力となることが期待できる。

【0096】

本実施形態では、学習用コンピュータ５０は、上述のように、それぞれの第２の期間Ｔ_２の深度情報ｄｉに、第１の期間Ｔ_１よりも高い分解度の時刻情報を持たせて機械学習の入力となる合成深度情報ＣＤｋ（ｋ＝１～ｎ）を生成した。また、学習用コンピュータ５０は、測定時刻のずれに基づく歪を含まない目標深度分布をシミュレーションにより生成して機械学習の出力とした。これによって、生成された学習済みモデル４６を使用することにより、深度情報処理装置１３は、実際の測距装置１１からの出力データ及び撮像装置１２からの画像から生成した合成深度情報ＣＤｋ（ｋ＝１～ｎ）を学習済みモデル４６に入力して、所定のタイミングの深度分布を推定することが可能になる。推定された深度分布は、測距装置１１の測定時刻のずれに起因する深度分布の歪み及びずれを低減したものとなる。

【0097】

また、本実施形態では、学習用コンピュータ５０による学習と、深度情報処理装置１３による推定の両段階において、機械学習の入力として背景領域ＢＡに深度情報ｄｉを第１の期間Ｔ_１に渡り累積して得られる累積深度情報ＡＤを含むようにした。これにより、単に、１フレームの測距情報を、ｎ個に分割した短期間深度情報分布ＳＤｋ（ｋ＝１～ｎ）を機械学習の入力に用いるよりも、入力情報を高密度化することができる。これによって、機械学習の精度が向上するので、所定のタイミングにおける深度分布の予測精度が向上する。

【0098】

さらに、本実施形態では、機械学習の学習段階において、学習済みモデル４６を生成するために不確実性を含む演算を行った。これによって、深度情報ｄｉの推定が困難な位置及び時間の条件についても、不確実性をより小さくすることができる。これによって、深度分布の推定精度をさらに向上させることができる。

【0099】

実際に、本願の発明者がシミュレーションにより行った実験によれば、機械学習の入力となる深度情報ｄｉを時間的に分割して時刻情報を持たせることにより、深度分布の推定精度を向上させる効果が確認された。また、背景領域ＢＡに１フレームの間累積した深度情報ｄｉを持たせて高密度化することによっても、深度分布の推定精度を向上させる効果が確認された。さらに、機械学習の学習段階で不確実性を考慮することによっても、深度分布の推定精度を向上させる効果が確認された。これらの手法は、併用して実行することにより、深度分布の推定精度がさらに向上することも確認された。

【0100】

また、本実施形態によれば、学習段階で使用する出力としての目標深度分布の深度情報ｄｉの数を、第１の期間Ｔ_１に１フレームの深度情報ｄｉとして測距装置１１から出力される深度情報ｄｉの数より大きくした。これによって、深度情報処理装置１３は、所定のタイミングの深度分布として、測距装置１１が１フレームの間に取得できる深度分布よりも高い密度の深度分布を取得することができる。また、これにより、深度分布に基づいて、深度マップを生成する場合、深度情報処理装置１３は、測距装置１１から出力される深度分布を高解像度化した深度マップを生成することができる。

【0101】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

【符号の説明】

【0102】

１０ 深度分布検出システム
１１ 測距装置
１２ 撮像装置
１３ 深度情報処理装置
１４ 光学系
２１ 検出装置
２２ 照射部
２３ 反射部
２４ 制御部
２５ 第１の光学系
２６ 検出素子
２７ 第２の光学系
２８ 撮像素子
２９ 前段光学系
３０ 第１の後段光学系
３１ 第２の後段光学系
３２ 切替部
４１ 距離情報取得部
４２ 画像取得部
４３ 制御部
４４ 記憶部
４５ 学習済みモデル
５０ 学習用コンピュータ
５１ 入力部
５２ 演算部
５３ 記憶部
５４ 出力部
５５ シミュレーション部
５６ 関数近似器
ａｘ 光軸
ＭＯ 動体
ＢＧ 背景
Ｔ_１ 第１の期間
Ｔ_２ 第２の期間
ＩＭ１ 第１の画像
ＩＭ２ 第２の画像
ｄｉ 深度情報
ＳＤｋ（ｋ＝１～ｎ） 短期間深度情報分布
ＡＤ 累積深度情報
ＳＩｋ（ｋ＝１～ｎ） 領域分割情報
ＣＤｋ（ｋ＝１～ｎ） 合成深度情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】