特開 2023-127498 情報処理装置及び距離推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023127498

(43)【公開日】2023-09-13

(54)【発明の名称】情報処理装置及び距離推定システム

(51)【国際特許分類】

   G01S 17/86 20200101AFI20230906BHJP

【ＦＩ】

G01S17/86

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022031328

(22)【出願日】2022-03-01

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(72)【発明者】

【氏名】田口 賢佑

(72)【発明者】

【氏名】藤吉 弘亘

【テーマコード（参考）】

5J084

【Ｆターム（参考）】

5J084AA04

5J084AA05

5J084AA10

5J084AD01

5J084AD05

5J084BA02

5J084BA04

5J084BA14

5J084BA20

5J084BA34

5J084BA36

5J084BA40

5J084BA48

5J084BB01

5J084BB14

5J084BB26

5J084BB27

5J084BB28

5J084CA03

5J084CA32

5J084CA65

5J084CA67

5J084EA04

5J084EA05

(57)【要約】

【課題】フレームレートを向上させながら高密度の距離情報の距離精度を向上させる。
【解決手段】情報処理装置１０は取得部２４と制御部２５とを有する。制御部は第１の推定モデル及び第２の推定モデルとして機能する。第１の推定モデルは少なくとも画像に基づいて複数の物点までの距離の推定値の評価値を算出可能である。第２の推定モデルは画像と一部の物点までの距離の特定値に基づく第１の推定モデルを用いた距離の推定値に対する評価値を推定可能である。制御部２５は第１の推定モデルを用いた初期評価と初期評価の実行後に第２の推定モデルを用いた少なくとも１回の更新評価を行う。制御部２５は初期評価において評価値を算出し且つ評価値に基づいて位置を追加する。制御部２５は更新評価において評価値を推定し且つ評価値に基づいて位置を追加する。制御部２５は累積的に追加した位置に対応する方向を測距方向として決定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

周囲の光景を撮像した画像を取得する取得部と、
前記画像に基づいて、走査型の測距装置における測距を行う測距方向を決定する制御部と、を備え、
前記制御部は、
前記画像内の複数の位置に対応する複数の物点までの距離の推定値を該画像と前記複数の物点の中の一部の物点までの距離の特定値との中で少なくとも該画像に基づいて推定するとともに該推定値の評価値を算出可能な第１の推定モデル、並びに前記画像と前記複数の物点の中の一部の物点までの距離の特定値とに基づく前記第１の推定モデルを用いた他の物点までの距離の前記推定値に対する評価値を推定可能な第２の推定モデルとして機能し、
前記第１の推定モデルを用いた初期評価と、前記初期評価の実行後に前記第２の推定モデルを用いた少なくとも１回の更新評価とを行い、
前記初期評価において、前記画像に基づく前記評価値を算出し、該評価値に基づいて前記特定値を付与する該画像内の一部の位置を追加し、
前記更新評価において、該画像及び該画像内で累積して追加された一部の位置に対応する前記特定値に基づく前記評価値を推定し、該評価値に基づいて前記特定値を付与する該画像内の一部の位置を追加し、
実行済みの前記初期評価及び前記更新評価において累積的に追加された一部の位置に対応する方向を、前記測距方向として決定する
情報処理装置。

【請求項2】

請求項１に記載の情報処理装置において、
前記制御部は、前記測距方向の決定に、複数回の前記更新評価を行う
情報処理装置。

【請求項3】

請求項２に記載の情報処理装置において、
前記制御部は、１フレームの前記画像に対して定められた測距方向の数未満の回数で前記更新評価を行う
情報処理装置。

【請求項4】

請求項１から３のいずれか１項に記載の情報処理装置において、
前記評価値は、対応する位置における前記推定値の不確実性である
情報処理装置。

【請求項5】

請求項１から３のいずれか１項に記載の情報処理装置において、
前記評価値は、対応する位置を含む小領域内の前記推定値の不確実性の統計値である
情報処理装置。

【請求項6】

請求項１から５のいずれか１項に記載の情報処理装置において、
前記制御部は、前記初期評価及び前記更新評価において、前記評価値が示す不確実性が最大である前記推定値に対応する前記画像内の位置を、前記特定値を付与する一部の位置として追加する
情報処理装置。

【請求項7】

請求項１から６のいずれか１項に記載の情報処理装置において、
前記制御部が決定した前記測距方向を前記測距装置に通知する通知部を、更に備える
情報処理装置。

【請求項8】

請求項１から７のいずれか１項に記載の情報処理装置において、
前記取得部は、前記測距装置に通知した測距方向における物点の距離の測定値を取得し、
前記制御部は、第１の推定モデルを用いて画像及び測定値に基づいて、該物点に対応する画像内の位置の他の複数の位置に対応する推定値を推定することにより、補間された距離画像を生成する
情報処理装置。

【請求項9】

周囲の光景を撮像して画像を生成する撮像装置と、
前記画像の撮像範囲の少なくとも一部を含む範囲内を走査することにより測距方向別に測距を行う測距装置と、
前記画像に基づいて、前記測距方向を決定する情報処理装置と、を備え、
前記情報処理装置は、
前記画像内の複数の位置に対応する複数の物点までの距離の推定値を該画像と前記複数の物点の中の一部の物点までの距離の特定値との中で少なくとも該画像に基づいて推定するとともに該推定値の評価値を算出可能な第１の推定モデル、並びに前記画像と前記複数の物点の中の一部の物点までの距離の特定値とに基づく前記第１の推定モデルを用いた他の物点までの距離の前記推定値に対する評価値を推定可能な第２の推定モデルとして機能し、
前記第１の推定モデルを用いた初期評価と、前記初期評価の実行後に前記第２の推定モデルを用いた少なくとも１回の更新評価とを行い、
前記初期評価において、前記画像に基づく前記評価値を算出し、該評価値に基づいて前記特定値を付与する該画像内の一部の位置を追加し、
前記更新評価において、該画像及び該画像内で累積して追加された一部の位置に対応する前記特定値に基づく前記評価値を推定し、該評価値に基づいて前記特定値を付与する該画像内の一部の位置を追加し、
実行済みの前記初期評価及び前記更新評価において累積的に追加された一部の位置に対応する方向を、前記測距方向として決定する
距離推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及び距離推定システムに関するものである。

【背景技術】

【0002】

レーザレーダ等の距離計測装置を用いて、周囲の物体までの距離を測定可能である。このような距離計測装置では、指向性が強く且つ検知角度の狭いビームを放射して、その反射波を検出するまでの時間に基づいて距離を検出する（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２―２４３８５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

レーザレーダなどの距離計測装置では、測定方向別にビームの放射及び反射波の検出を行うため、フレームレートの向上と、高精度の距離情報の高密度化との両者を実現させることが難しかった。

【0005】

本開示の目的は、フレームレートを向上させながら高精度の距離情報の高密度化を実現させ得る情報処理装置及び距離推定システムを提供することである。

【課題を解決するための手段】

【0006】

上述した諸課題を解決すべく、第１の観点による情報処理装置は、
周囲の光景を撮像した画像を取得する取得部と、
前記画像に基づいて、走査型の測距装置における測距を行う測距方向を決定する制御部と、を備え、
前記制御部は、
前記画像内の複数の位置に対応する複数の物点までの距離の推定値を該画像と前記複数の物点の中の一部の物点までの距離の特定値との中で少なくとも該画像に基づいて推定するとともに該推定値の評価値を算出可能な第１の推定モデル、並びに前記画像と前記複数の物点の中の一部の物点までの距離の特定値とに基づく前記第１の推定モデルを用いた他の物点までの距離の前記推定値に対する評価値を推定可能な第２の推定モデルとして機能し、
前記第１の推定モデルを用いた初期評価と、前記初期評価の実行後に前記第２の推定モデルを用いた少なくとも１回の更新評価とを行い、
前記初期評価において、前記画像に基づく前記評価値を算出し、該評価値に基づいて前記特定値を付与する該画像内の一部の位置を追加し、
前記更新評価において、該画像及び該画像内で累積して追加された一部の位置に対応する前記特定値に基づく前記評価値を推定し、該評価値に基づいて前記特定値を付与する該画像内の一部の位置を追加し、
実行済みの前記初期評価及び前記更新評価において累積的に追加された一部の位置に対応する方向を、前記測距方向として決定する。

【0007】

第２の観点による距離推定システムは、
周囲の光景を撮像して画像を生成する撮像装置と、
前記画像の撮像範囲の少なくとも一部を含む範囲内を走査することにより測距方向別に測距を行う測距装置と、
前記画像に基づいて、前記測距方向を決定する情報処理装置と、を備え、
前記情報処理装置は、
前記画像内の複数の位置に対応する複数の物点までの距離の推定値を該画像と前記複数の物点の中の一部の物点までの距離の特定値との中で少なくとも該画像に基づいて推定するとともに該推定値の評価値を算出可能な第１の推定モデル、並びに前記画像と前記複数の物点の中の一部の物点までの距離の特定値とに基づく前記第１の推定モデルを用いた他の物点までの距離の前記推定値に対する評価値を推定可能な第２の推定モデルとして機能し、
前記第１の推定モデルを用いた初期評価と、前記初期評価の実行後に前記第２の推定モデルを用いた少なくとも１回の更新評価とを行い、
前記初期評価において、前記画像に基づく前記評価値を算出し、該評価値に基づいて前記特定値を付与する該画像内の一部の位置を追加し、
前記更新評価において、該画像及び該画像内で累積して追加された一部の位置に対応する前記特定値に基づく前記評価値を推定し、該評価値に基づいて前記特定値を付与する該画像内の一部の位置を追加し、
実行済みの前記初期評価及び前記更新評価において累積的に追加された一部の位置に対応する方向を、前記測距方向として決定する。

【発明の効果】

【0008】

本開示によれば、フレームレートを向上させながら高密度の距離情報の距離精度が向上する。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係る情報処理装置を含む距離推定システムの概略構成を示す機能ブロック図である。

【図2】図１の検出装置の概略構成を示す構成図である。

【図3】図１の情報処理装置における制御部によって機能される第１の推定モデルを用いた情報処理を説明するための概念図である。

【図4】図１の情報処理装置における制御部によって機能される第２の推定モデルを用いた情報処理を説明するための概念図である。

【図5】図１の情報処理装置における制御部によって行われる初期評価及び更新評価により測定方向が決定する工程を説明する状態図である。

【図6】図１の情報処理装置における制御部が実行する測距方向決定処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0010】

以下、本開示の実施形態について、図面を参照して説明する。以下の図面に示す構成要素において、同じ構成要素には同じ符号を付す。

【0011】

図１に示すように、本開示の一実施形態に係る情報処理装置１０を含む距離推定システム１１は、撮像装置１２、測距装置１３、及び情報処理装置１０を含んで構成される。撮像装置１２は、周囲の光景を撮像して画像を生成する。測距装置１３は、走査型の測距装置１３である。測距装置１３は、画像の撮像範囲の少なくとも一部を含む測定範囲内を走査することにより測距方向別に測距を行う。撮像装置１２及び測距装置１３は、別装置であってよく、又は検出装置１４として一体化されていてよい。

【0012】

図２に示すように、検出装置１４は、光源１５、偏向部１６、前段光学系１７、分離部１８、第１の検出部１９、切替部２０、第２の検出部２１、及び制御部２２を含んで構成されてよい。

【0013】

以後の図において、各機能ブロックを結ぶ破線は、制御信号または通信される情報の流れを示す。破線が示す通信は有線通信であってもよいし、無線通信であってもよい。また、各機能ブロックから突出する実線は、ビーム状の光を示す。

【0014】

光源１５は、赤外線、可視光線、及び紫外線の少なくともいずれかを放射してよい。本実施形態において、光源１５は、赤外線を放射する。光源１５は、幅の細い、例えば０．５°のビーム状の放射光を放射してよい。又、光源１５は電磁波をパルス状に放射してよい。光源１５は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）及びＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ）等を含んでよい。光源１５は、後述する制御部２２の制御に基づいて、放射光の放射及び停止を切替えてよい。

【0015】

光源１５は、放射光の放射領域の少なくとも一部が、検出装置１４における放射光の検出範囲に含まれるように、構成されている。更に具体的には、光源１５は、放射された放射光の照射領域の少なくとも一部が、第２の検出部２１における検出範囲に含まれるように、構成されている。したがって、対象ｏｂに照射される放射光の少なくとも一部は、第２の検出部２１により検出され得る。

【0016】

偏向部１６は、光源１５が放射する放射光を、空間内の異なる方向に偏向してよい。偏向部１６は、例えば傾斜を変更し得るミラーであってよい。偏向部１６は、光源１５から放射された放射光を、向きを変えながら反射することにより、光源１５が放射する放射光を空間内の複数の異なる方向に放射させてよい。偏向部１６は、後述する制御部２２の制御に基づいて、放射光を反射する向きを変えてよい。偏向部１６は、例えば、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ミラー、ポリゴンミラー、及びガルバノミラー等を含む。

【0017】

前段光学系１７には、空間からの光が入射する。空間からの光は、光源１５が放射した放射光が空間内の物体で反射した反射波を含み得る。空間内の物体は、対象ｏｂを含んでよい。前段光学系１７は、例えば、レンズ及びミラーの少なくとも一方を含み、被写体となる対象ｏｂの像を結像させてよい。

【0018】

分離部１８は、前段光学系１７と、前段光学系１７から所定の位置をおいて離れた対象ｏｂの像の、前段光学系１７による結像位置である一次結像位置との間に設けられてよい。分離部１８は、入射する放射光を第１の方向ｄ１及び第２の方向ｄ２に進行するように分離してよい。

【0019】

分離部１８は、入射する光の少なくとも反射波を除く帯域の光を第１の方向ｄ１に反射し、当該反射波を含む帯域の光を第２の方向ｄ２に透過してよい。又は、分離部１８は、入射する光の一部の帯域の光を第１の方向ｄ１に透過し、別の一部の帯域の光を第２の方向ｄ２に透過してもよい。又は、分離部１８は、入射する光の一部の帯域の光を第１の方向ｄ１に屈折させ、別の一部の帯域の光を第２の方向ｄ２に屈折させてもよい。分離部１８は、例えば、ハーフミラー、ビームスプリッタ、ダイクロイックミラー、コールドミラー、ホットミラー、メタサーフェス、偏向素子、及びプリズム等である。

【0020】

第１の検出部１９は、分離部１８から第１の方向ｄ１に進行する光路上に、設けられてよい。更に、第１の検出部１９は、分離部１８から第１の方向ｄ１における前段光学系１７による結像位置または当該結像位置近傍に、設けられてよい。前段光学系１７の結像位置は、前段光学系１７から所定の距離だけ離れた対象ｏｂに対する結像位置であってよい。

【0021】

第１の検出部１９は、後述する、切替部２０から第４の方向ｄ４の方向に位置してよい。第１の検出部１９が切替部２０から第４の方向ｄ４に位置する構成においては、第１の検出部１９及び切替部２０の間に結像光学系が設けられてよい。当該結像光学系は、切替部２０において進行方向を切替えられた対象ｏｂの像を第１の検出部１９の受光面に結像させてよい

【0022】

第１の検出部１９は、例えば、イメージセンサであってよい。第１の検出部１９は、受光面において結像した光学像を撮像して、撮像した対象ｏｂに相当する画像を生成してよい。第１の検出部１９は、生成した画像を信号として制御部２２に送信してよい。

【0023】

切替部２０は、分離部１８から第２の方向ｄ２に位置してよい。切替部２０は、前段光学系１７から所定の位置をおいて離れた対象ｏｂの像の、分離部１８から第２の方向ｄ２における前段光学系１７による一次結像位置または当該一次結像位置近傍に、設けられてよい。

【0024】

切替部２０は、前段光学系１７及び分離部１８を通過した光が入射する作用面ａｓを有してよい。作用面ａｓは、２次元状に沿って並ぶ複数の切替素子ｓｅによって構成されてよい。作用面ａｓは、後述する第１の状態及び第２の状態の少なくともいずれかにおいて、光に、例えば、反射及び透過等の作用を生じさせる面である。切替部２０は、作用面ａｓに入射する光を、第３の方向ｄ３に進行させる第１の状態と、第４の方向ｄ４に進行させる第２の状態とに、切替素子ｓｅ毎に切替可能であってよい。切替部２０は、更に具体的には、切替素子ｓｅ毎に電磁波を反射する反射面を含んでよい。切替部２０は、切替素子ｓｅ毎の反射面の向きを変更することにより、第１の状態及び第２の状態を切替素子ｓｅ毎に切替えてよい。

【0025】

切替部２０は、例えば、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏ ｍｉｒｒｏｒ Ｄｅｖｉｃｅ：デジタルマイクロミラーデバイス）である。ＤＭＤは、作用面ａｓを構成する微小な反射面を駆動することにより、切替素子ｓｅ毎に当該反射面を作用面ａｓに対して＋１２°及び－１２°のいずれかの傾斜状態に切替可能である。作用面ａｓは、ＤＭＤにおける微小な反射面を載置する基板の板面に平行であってよい。

【0026】

切替部２０は、後述する制御部２２の制御に基づいて、第１の状態及び第２の状態を、切替素子ｓｅ毎に切替えてよい。切替部２０は、例えば、同時に、一部の切替素子ｓｅ１を第１の状態に切替えることにより当該切替素子ｓｅ１に入射する電磁波を第３の方向ｄ３に進行させ得、別の一部の切替素子ｓｅ２を第２の状態に切替えることにより当該切替素子ｓｅ２に入射する電磁波を第４の方向ｄ４に進行させ得る。

【0027】

切替部２０は、前段光学系１７の一次結像位置又は一次結像位置近傍に位置するので、偏向部１６による偏向方向に応じた任意の位置に照射されるビーム状の放射光の反射波は、いずれかの切替素子ｓｅに結像する。放射光の偏向方向と、当該偏向方向に応じた反射波が結像する切替素子ｓｅとは、予め対応付けられている。

【0028】

第２の検出部２１は、切替部２０から第３の方向ｄ３に位置してよい。第２の検出部２１は、前段光学系１７に入射した光に含まれる、光源１５が放射した放射光が空間内の物体で反射した反射波を少なくとも検出する。第２の検出部２１は、赤外線、可視光線、及び紫外線の少なくともいずれかの電磁波を検出してよい。第２の検出部２１は、光源１５が放射する放射光と同じ帯域の放射光を検出してよい。第２の検出部２１は、物体からの反射波を検出したことを示す検出情報を信号として制御部２２に送信してよい。

【0029】

第２の検出部２１は、更に具体的には、測距センサを構成する素子を含む。例えば、第２の検出部２１は、ＡＰＤ（Ａｖａｌａｎｃｈｅ ＰｈｏｔｏＤｉｏｄｅ）、ＰＤ（ＰｈｏｔｏＤｉｏｄｅ）及び測距イメージセンサ等の単一の素子を含む。

【0030】

第２の検出部２１及び切替部２０の間には、後段光学系２３が設けられてよい。後段光学系２３は、例えば、レンズ及びミラーの少なくとも一方を含んでよい。後段光学系２３は、切替部２０において進行方向を切替えられた対象ｏｂの像を結像させてよい。

【0031】

なお、第２の検出部２１は、電磁波を検出できればよく、検出面において物体の像が結像される必要はない。それゆえ、第２の検出部２１は、後段光学系２３による結像位置である二次結像位置に設けられなくてもよい。第２の検出部２１は、すべての画角からの光が検出面上に入射可能な位置であれば、切替部２０により第３の方向ｄ３に進行した後に後段光学系２３を経由して進行する光路上のどこに配置されてもよい。

【0032】

制御部２２は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等であってもよい。

【0033】

制御部２２は、３０ｆｐｓ等の所定のフレームレートで光学像を撮像するように第１の検出部１９を制御してよい。制御部２２は、第１の検出部１９から画像を取得してよい。制御部２２は、画像に所定の画像処理を施してよい。制御部２２は、画像を、後述する情報処理装置１０に送信してよい。したがって、制御部２２は、第１の検出部１９とともに、上述の撮像装置１２として機能してよい。

【0034】

制御部２２は、光源１５から放射される放射光を特定の方向に偏向させるように、偏向部１６を制御してよい。制御部２２は、画像の生成に同期して、測定範囲内で偏向方向を連続的に変更することにより、放射光を用いて対象ｏｂを走査してよい。制御部２２は、後述する情報処理装置１０から少なくとも１つの測距方向を取得する場合、１フレームの走査内において、当該測距方向が偏向方向となるように偏向部１６を制御してよい。

【0035】

制御部２２は、偏向部１６の制御に合わせて、切替部２０を制御してよい。具体的には、制御部２２は、測距を行う方向を偏向方向にするように偏向部１６を制御する場合、当該偏向方向に対応付けられた切替素子ｓｅを第１の状態に切替え、他の切替素子ｓｅを第２の状態に切替えるように切替部２０を制御してよい。

【0036】

制御部２２は、上述のように、偏向部１６及び切替部２０を制御した状態で、光源１５にパルス状の放射光を放射させてよい。制御部２２は、時間計測ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）を有してよい。制御部２２は、光源１５に放射光を放射させた時点から、検出情報を取得した時点までの時間ΔＴを計測してよい。制御部２２は、当該時間ΔＴに、光速を乗算し、且つ２で除算することにより、照射位置までの距離を測定値として算出してよい。したがって、制御部２２は、光源１５、偏向部１６、及び第２の検出部２１とともに、上述の測距装置１３として機能してよい。

【0037】

制御部２２は、測距方向別の距離の測定値を含む、１フレームの距離画像を生成してよい。制御部２２は、距離画像を情報処理装置１０に信号として送信してよい。

【0038】

情報処理装置１０は、図１に示すように、通信部（取得部、通知部）２４及び制御部２５を含んで構成される。

【0039】

通信部２４は、例えば、有線または無線を含んで構成される通信線を介して撮像装置１２と通信する通信モジュールを含む。通信部２４は、周囲の光景を撮像した画像を信号として受信、言換えると取得する。通信部２４は、通信線を介して測距装置１３と通信する通信モジュールを含んでよい。通信部２４は、後述する、制御部２５が決定した測距方向を測距装置１３に通知してよい。通信部２４は、測距装置１３に通知した測距方向における物点の距離の測定値を取得してよい。通信部２４は、物点の距離の測定値を測定方向別に含む距離画像として取得してよい。なお、単一の通信部２４は、撮像装置１２及び測距装置１３と通信する構成であるが、別々に通信を行う別体の複数の通信モジュールにより構成されてよい。

【0040】

制御部２５は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ、ＧＰＵ等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ、ＡＳＩＣ等であってもよい。

【0041】

制御部２５は、画像に基づいて、以下に説明するように、測距装置１３における測距を行う測距方向を決定する。制御部２５は、測距方向の決定にも用いられる、第１の推定モデルとして機能する。更に、制御部２５は、測距方向の決定に用いられる、第２の推定モデルとして機能する。

【0042】

第１の推定モデルは、画像内の複数の位置に対応する複数の物点までの距離の推定値を推定可能である。具体的には、図３に示すように、第１の推定モデルＭ１は、測距方向別の距離の推定値により構成される距離画像Ｉｍ＿ｄを生成してよい。第１の推定モデルＭ１は、当該推定値を、少なくとも画像Ｉｍ＿ｒｇｂに基づいて推定可能である。第１の推定モデルＭ１は、当該推定値を、更に、複数の物点の中の一部の物点までの距離の特定値又は測定値にも基づいて推定可能である。特定値は、正しい値と仮定される任意の数値であってよい。言い換えると、第１の推定モデルＭ１は、当該推定値を、画像Ｉｍ＿ｒｇｂと一部の物点までの距離との中で少なくとも画像Ｉｍ＿ｒｇｂに基づいて推定可能である。なお、図１において、特定値画像Ｉｍ＿ｓｐは、黒点で示される位置における特定値又は測定値を含む。

【0043】

第１の推定モデルＭ１は、複数の物点までの距離の推定値を推定するとともに、各推定値の評価値を算出可能である。評価値は、推定値に対応する画像Ｉｍ＿ｒｇｂ内の位置における当該推定値の不確実性であってよい。又は、評価値は、推定値に対応する画像Ｉｍ＿ｒｇｂ内の位置を含む小領域内の複数の位置における各推定値の不確実性の統計値である。統計値は、加算平均値や、重付け平均値等の統計的に算出される値である。具体的には、第１の推定モデルＭ１は、評価値画像Ｉｍ＿ｅｖを生成してよい。

【0044】

第１の推定モデルＭ１は、任意の光景を撮像した画像Ｉｍ＿ｒｇｂと、当該光景の距離画像Ｉｍ＿ｄとを用いて、機械学習を行うことにより予め構築されてよい。

【0045】

第２の推定モデルは、第１の推定モデルＭ１を用いた物点までの距離の推定値に対する評価値を推定可能である。第２の推定モデルは、画像Ｉｍ＿ｒｇｂと複数の物点の中の一部の物点までの距離の特定値とに基づいて、評価値を推定する。特定値は、正しい値と仮定される任意の数値であってよく、例えば、当該特定値を用いずに第１の推定モデルＭ１を用いて推定した距離の推定値であってよい。第２の推定モデルにより推定される評価値は、特定値が用いられる一部の物点の他の物点までの距離の推定値に対する評価値である。図４に示すように、具体的には、第２の推定モデルＭ２は、画像Ｉｍ＿ｒｇｂ及び特定値画像Ｉｍ＿ｓｐに基づいて、評価値画像Ｉｍ＿ｅｖを生成してよい。

【0046】

第２の推定モデルＭ２の構築のために、画像Ｉｍ＿ｒｇｂと複数の物点の中の一部の物点までの距離の正解値とに基づいて第１の推定モデルＭ１を用いた、当該一部の他の物点までの距離の推定値を推定するとともに、各推定値に対する評価値が算出されてよい。距離の正解値とは、実際の測定等により正しいものと認定される距離値であってよい。正解値が用いられる物点の数および位置を多様に変えることにより、多様な位置及び多様な数の正解値に対する評価値が算出されてよい。第２の推定モデルＭ２は、画像Ｉｍ＿ｒｇｂ及び一部の物点までの距離の正解値と、当該画像Ｉｍ＿ｒｇｂ及び当該正解値に基づく第１の推定モデルＭ１を用いた評価値とを用いて機械学習を行うことにより予め構築されてよい。

【0047】

制御部２５は、測距方向の決定のために、第１の推定モデルＭ１を用いた初期評価と、当該初期評価の実行後に第２の推定モデルＭ２を用いた少なくとも１回の更新評価とを行う。

【0048】

図５に示すように、制御部２５は、初期評価において、第１の推定モデルＭ１を用いた画像Ｉｍ＿ｒｇｂに基づく評価値を、例えば評価値画像Ｉｍ＿ｅｖとして算出する。制御部２５は、初期評価において更に、算出した評価値に基づいて、特定値を付与する画像Ｉｍ＿ｒｇｂ内の一部の位置ｐを追加する。特定値を付与する一部の位置ｐは、以後に行う更新評価及び測距方向の決定に用いられる。

【0049】

制御部２５は、更新評価において、第２の推定モデルＭ２を用いた画像Ｉｍ＿ｒｇｂ及び当該画像Ｉｍ＿ｒｇｂ内で累積して追加された一部の位置ｐに対応する特定値に基づく評価値を推定する。制御部２５は、更新評価において更に、推定した評価値に基づいて、特定値を付与する画像Ｉｍ＿ｒｇｂ内の一部の位置ｐを追加する。特定値を付与する一部の位置ｐは、測距方向の決定に用いられる。又、特定値を付与する一部の位置ｐは、以後に更新評価を行う場合に、当該更新評価に用いられる。

【0050】

制御部２５は、初期評価及び各更新評価において、特定値を付与する一部の位置ｐとして単一の位置を追加してよい。又は、制御部２５は、初期評価及び書く更新評価において、特定値を付与する一部の位置ｐとして複数の位置を追加してよい。

【0051】

制御部２５は、初期評価及び更新評価において、推定値を推定した全位置それぞれの推定値の中で、評価値が示す不確実性が最大である推定値に対応する画像Ｉｍ＿ｒｇｂ内の位置を、特定値を付与する一部の位置ｐとして追加してよい。評価値が示す不確実性が最大であるとは、評価値が不確実性の統計値である構成においては、当該統計値が最大であることを意味する。なお、制御部２５は、特定値を付与する一部の位置ｐとして複数の位置を追加する構成の初期評価及び各更新評価において不確実性が大きい方から当該複数の推定値に対応する画像Ｉｍ＿ｒｇｂ内の位置を追加してよい。

【0052】

制御部２５は、測距方向の決定のために、複数回の更新評価を行ってよい。具体的には、制御部２５は、１フレームの画像Ｉｍ＿ｒｇｂに対して定められた距離方向の数未満の回数で更新評価を行ってよい。上記の測距装置１３において、単一の測距方向に対して測距を行うためには、偏向部１６及び切替部２０の制御にかかる時間、並びに想定する最大距離の対象ｏｂに光源１５から放射した放射光が第２の検出部２１に検出されるまでにかかる時間の合計時間がかかる。それゆえ、１フレームの画像Ｉｍ＿ｒｇｂに対して定められる距離方向の数は、画像Ｉｍ＿ｒｇｂを生成する時間間隔を、当該合計時間で除した数以下の最大の整数である。

【0053】

制御部２５は、実行済みの初期評価及び更新評価において累積的に追加された一部の位置ｐに対応する方向を測距方向として決定する。制御部２５は、決定した測距方向を測距装置１３に通知するように通信部２４を制御してよい。

【0054】

制御部２５は、１フレームの距離画像Ｉｍ＿ｄのように、測距装置１３から測距方向別の距離の測定値を取得する場合、第１の推定モデルＭ１を用いて当該測距方向の決定に用いた画像Ｉｍ＿ｒｇｂ及び当該測定値に基づいて、測距方向に対応する画像Ｉｍ＿ｒｇｂ内の位置の他の複数の位置に対応する推定値を推定することにより、補間された距離画像を生成してよい。制御部２５は、補間された距離画像を信号として外部の機器に送信してよい。

【0055】

次に、本実施形態において制御部２５が実行する、測距方向決定処理について、図６のフローチャートを用いて説明する。測距方向決定処理は、撮像装置１２から画像Ｉｍ＿ｒｇｂを取得するたびに開始する。

【0056】

ステップＳ１００において、制御部２５は、初期評価を行う。具体的には、制御部２５は、第１の推定モデルＭ１を用いた、取得した画像Ｉｍ＿ｒｇｂに基づく評価値を算出する。更に、制御部２５は、算出した評価値に基づいて特定値を付与する、画像Ｉｍ＿ｒｇｂ内の一部の位置ｐを追加する。初期評価の終了後、プロセスはステップＳ１０１に進む。

【0057】

ステップＳ１０１では、制御部２５は、更新評価を行う。具体的には、制御部２５は、第２の推定モデルＭ２を用いた、取得した画像Ｉｍ＿ｒｇｂ及び累積的に追加された一部の位置ｐに対応する特定値に基づく評価値を推定する。更に、制御部２５は、算出した評価値に基づいて特定値を付与する、画像Ｉｍ＿ｒｇｂ内の一部の位置ｐを追加する。更新評価の終了後、プロセスはステップＳ１０２に進む。

【0058】

ステップＳ１０２では、制御部２５は、ステップＳ１０１に更新評価を行った回数が所定の回数以上であるか否かを判別する。更新評価回数が所定の回数以上でない場合、プロセスはステップＳ１０１に戻る。更新評価回数が所定の回数以上である場合、プロセスはステップＳ１０３に進む。

【0059】

ステップＳ１０３では、制御部２５は、実行済みの初期評価及び更新評価において累積的に追加された位置ｐに対応する方向を測距方向に決定する。更に、制御部２５は、決定した測距方向を測距装置１３に通知する。通知後、プロセスはステップＳ１０４に進む。

【0060】

ステップＳ１０４では、制御部２５は、測距装置１３から、ステップＳ１０３において通知した測距方向に基づく距離画像Ｉｍ＿ｄを取得しているか否かを判別する。取得していない場合、プロセスはステップＳ１０４を繰返す。取得している場合、プロセスはステップＳ１０５に進む。

【0061】

ステップＳ１０５では、制御部２５は、ステップＳ１０４において取得を確認した距離画像Ｉｍ＿ｄと、ステップＳ１００における初期評価及びステップＳ１０１における更新評価に用いた画像Ｉｍ＿ｒｇｂとに基づいて、補間された距離画像を生成する。更に、制御部２５は、補間された距離画像を外部の機器に通知する。通知後、測距方向決定処理は終了する。

【0062】

以上のような構成の本施形態の情報処理装置１０は、第１の推定モデルＭ１を用いた初期評価と、初期評価の実行後に第２の推定モデルＭ２を用いた少なくとも１回の更新評価を行い、初期評価において画像Ｉｍ＿ｒｇｂに基づく評価値を算出し且つ当該評価値に基づいて特定値を付与する当該画像Ｉｍ＿ｒｇｂ内の一部の位置ｐを追加し、更新評価において当該画像Ｉｍ＿ｒｇｂ及び当該画像Ｉｍ＿ｒｇｂ内で累積して追加された一部の位置ｐに対応する特定値に基づく評価値を推定し且つ当該評価値に基づいて特定値を付与する当該画像Ｉｍ＿ｒｇｂ内の一部の位置ｐを追加し、実行済みの初期評価及び更新評価において累積的に追加された一部の位置ｐに対応する方向を、前記測距方向として決定する。測距装置１３が生成する距離画像Ｉｍ＿ｄに対して、当該距離画像Ｉｍ＿ｄよりもサイズ、言い換えると解像度の大きな画像Ｉｍ＿ｒｇｂを用いて、測距を行った方向以外の方向における距離の推定を行うことにより、距離画像Ｉｍ＿ｄの補間が行われ得る。ただし、補間された距離画像における距離の精度は、測距方向により変化する。また、画像Ｉｍ＿ｒｇｂを用いた距離の推定においては、任意の方向が測距方向に定められると、当該方向のみでなく、他の方向の距離の推定精度が変化する。このような距離の推定技術に対して、上述の構成を有する情報処理装置１０は、更新評価を行うことにより、測距方向が仮想的に追加された場合の測距方向以外の方向における距離の推定値の評価値が仮想的に推定される。したがって、情報処理装置１０は、仮想的に推定される評価値に基づいて画像Ｉｍ＿ｒｇｂにおける一部の位置ｐに対応する方向を測距方向として決定するので、実際に測距を行う前に、距離の推定精度を向上させる測距方向を把握し得る。その結果、情報処理装置１０は、フレームレートを向上させるように測距回数を低減しながら、画像Ｉｍ＿ｒｇｂを用いた距離の推定と組合わせることにより高精度の距離情報の距離精度を向上させ得る。

【0063】

また、本実施形態の情報処理装置１０は、測距方向の決定に複数回の更新評価を行う。前述のように、画像Ｉｍ＿ｒｇｂを用いた距離の推定においては、任意の方向が測距方向に定められると、当該方向のみでなく、他の方向の距離の推定精度が変化する。このような距離の推定技術に対して、上述の構成を有する情報処理装置１０は、仮の測距方向を累積的に追加しながら更新評価を行うことにより、各更新評価において仮想的に追加される測距方向に対して推定精度を向上させる測距方向が新規に追加され得る。したがって、情報処理装置１０は、距離の推定精度を更に向上させ得る。

【0064】

また、本実施形態の情報処理装置１０は、１フレームの画像Ｉｍ＿ｒｇｂに対して定められた測距方向の数未満の回数で更新評価を行う。このような構成により、情報処理装置１０は、定められたフレームレートにおけるフレーム毎に測距方向を決定し得る。

【0065】

また、本実施形態の情報処理装置１０では、評価値は対応する位置を含む小領域内の距離の推定値の不確実性の統計値である。このような構成により、情報処理装置１０は、不確実性が最大でありながら周囲の不確実性が低い位置よりも、周囲も含めて平均的に不確実性が高い位置を仮の測距方向に対応する位置として追加し得る。したがって、情報処理装置１０は、距離画像Ｉｍ＿ｄにおいてより広い範囲で距離の推定精度を向上させる方向を仮の測距方向として追加し得る。その結果、情報処理装置１０は、距離の推定精度を更に向上させ得る。

【0066】

また、本実施形態の情報処理装置１０では、測距装置１３に通知した測距方向における物点の距離の測定値を取得し、第１の推定モデルＭ１を用いて画像Ｉｍ＿ｒｇｂ及び当該測定値に基づいて距離を推定することにより、補間された距離画像を生成する。このような構成により、情報処理装置１０は、高精度で高密度な距離情報を生成し得る。

【0067】

以上、情報処理装置１０の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。

【0068】

また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。

【0069】

本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。

【0070】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

【0071】

本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。

【0072】

さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。

【0073】

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の検出部は、第２の検出部と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

【符号の説明】

【0074】

１０ 情報処理装置
１１ 距離推定システム
１２ 撮像装置
１３ 測距装置
１４ 検出装置
１５ 光源
１６ 偏向部
１７ 前段光学系
１８ 分離部
１９ 第１の検出部
２０ 切替部
２１ 第２の検出部
２２ 制御部
２３ 後段光学系
２４ 取得部
２５ 制御部
２６ 通知部
ａｓ 作用面
Ｉｍ＿ｄ 距離画像
Ｉｍ＿ｅｖ 評価値画像
Ｉｍ＿ｒｇｂ 画像
Ｍ１ 第１の推定モデル
Ｍ２ 第２の推定モデル
ｏｂ 対象
ｓｅ 切替素子

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】