特開 2022-152835 情報処理装置、車両、路側機、および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022152835

(43)【公開日】2022-10-12

(54)【発明の名称】情報処理装置、車両、路側機、および情報処理方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221004BHJP

   G01C 3/06 20060101ALI20221004BHJP

【ＦＩ】

G08G1/16 C

G01C3/06 120Q

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021055764

(22)【出願日】2021-03-29

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(72)【発明者】

【氏名】新 浩治

(72)【発明者】

【氏名】服部 成人

(72)【発明者】

【氏名】澤田 隆一

(72)【発明者】

【氏名】谷川 弘展

【テーマコード（参考）】

2F112

5H181

【Ｆターム（参考）】

2F112AD01

2F112BA06

2F112CA05

2F112CA12

2F112DA21

2F112DA28

2F112EA05

2F112FA09

2F112FA19

2F112FA35

2F112FA38

2F112FA41

2F112GA01

5H181AA01

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF27

5H181LL01

(57)【要約】

【課題】位置検出の検出精度を向上させる。
【解決手段】情報処理装置１０は画像インターフェース１９とセンサインターフェース２０とコントローラ２１とを有する。画像インターフェース１９は撮像部から撮像画像を取得する。センサインターフェース２０は測距センサから距離分布を取得する。測距センサは撮像部の撮像範囲の少なくとも一部と検出範囲が重複する。測距センサは投射波の物体における反射波を受信することにより距離分布を計測する。距離分布は複数の方向毎の反射点までの距離値を含む。コントローラ２１は撮像画像から対象である被写体像を検出する。コントローラ２１は被写体の幅方向における位置を撮像画像及び距離分布に基づいて算出する。被写体は被写体像に対応する。幅方向は水平方向に平行且つ撮像部の光軸方向に垂直である。
【選択図】図２

【特許請求の範囲】

【請求項1】

撮像部から撮像画像を取得する画像インターフェースと、
前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値を含む距離分布を計測する測距センサから、該距離分布を取得するセンサインターフェースと、
前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える
情報処理装置。

【請求項2】

請求項１に記載の情報処理装置において、
前記コントローラは、前記距離分布を優先して用いて、前記被写体までの距離を算出する
情報処理装置。

【請求項3】

請求項２に記載の情報処理装置において、
前記コントローラは、前記撮像画像の輝度に応じて、前記被写体までの距離の算出に用いる前記距離分布の優先度を変更する
情報処理装置。

【請求項4】

請求項１から３のいずれか１項に記載の情報処理装置において、
前記撮像画像は、可視光画像、近赤外画像、及び遠赤外画像の少なくとも一つを含み、前記距離分布は、レーダ、ソナー、及びＬｉＤＡＲの少なくとも一つの検出結果を含む
情報処理装置。

【請求項5】

請求項１から４のいずれか１項に記載の情報処理装置において、
前記コントローラは、
前記撮像画像における前記被写体像の存在する可能性の高い領域を、前記距離分布に基づいて特定し、
該領域において前記撮像画像の輝度ゲイン拡大及び被写体像の検出に用いる閾値緩和の少なくとも一方を実行した状態で、前記撮像画像からの前記被写体像の検出を行う
情報処理装置。

【請求項6】

請求項５に記載の情報処理装置において、
前記コントローラは、前記距離分布を構成する複数の方向別の距離値の中において距離値の差が所定値以下であり且つ方向が互いに近接する距離値群に対応する方向群に、前記撮像画像において対応する領域を、前記被写体像の存在する可能性の高い領域として特定する
情報処理装置。

【請求項7】

請求項１から６のいずれか１項に記載の情報処理装置において、
前記コントローラは、前記撮像画像に対する被写体像検出により前記被写体像を囲繞する物体個別領域枠を作成し、該物体個別領域枠に前記距離分布において対応する方向に基づいて、前記被写体の距離を算出する
情報処理装置。

【請求項8】

請求項７に記載の情報処理装置において、
前記コントローラは、前記物体個別領域枠及び前記被写体の距離に基づいて、前記幅方向の位置を算出する
情報処理装置。

【請求項9】

撮像画像を生成する撮像部と、
前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成する測距センサと、
前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える
車両。

【請求項10】

撮像画像を生成する撮像部と、
前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成する測距センサと、
前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える
路側機。

【請求項11】

撮像画像を生成し、
前記撮像画像の範囲の少なくとも一部と重複する検出範囲に対して、投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成し、
前記撮像画像から対象である被写体像を検出し、
該被写体像に対応する被写体の、水平方向に平行且つ前記撮像画像を生成する撮像部の光軸方向に垂直な幅方向における位置を、前記撮像画像及び前記距離分布に基づいて算出する
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、車両、路側機、および情報処理方法に関するものである。

【背景技術】

【0002】

車両の運転支援及び屋外監視等の用途で、特定の種類の被写体の実空間における位置の検出が求められている。高精度で位置を検出するために、近距離の範囲内では画像を用いて位置検出を行い、遠距離の範囲内ではミリ波レーダを用いて位置検出を行うことが提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－２０６７７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１において提案されている位置検出方法では、画像による位置検出で生じ得る誤検出、及びミリ波レーダのような投射波による位置検出方法で生じ得る誤検出の防止は難しかった。

【0005】

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、位置検出の検出精度を向上させる情報処理装置、車両、路側機、および情報処理方法を提供することにある。

【課題を解決するための手段】

【0006】

上述した諸課題を解決すべく、第１の観点による情報処理装置は、
撮像部から撮像画像を取得する画像インターフェースと、
前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値を含む距離分布を計測する測距センサから、該距離分布を取得するセンサインターフェースと、
前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える。

【0007】

また、第２の観点による移動体は、
撮像画像を生成する撮像部と、
前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成する測距センサと、
前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える。

【0008】

また、第３の観点による路側機は、
撮像画像を生成する撮像部と、
前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成する測距センサと、
前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える。

【0009】

また、第４の観点による情報処理方法は、
撮像画像を生成し、
前記撮像画像の範囲の少なくとも一部と重複する検出範囲に対して、投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成し、
前記撮像画像から対象である被写体像を検出し、
該被写体像に対応する被写体の、水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を、前記撮像画像及び前記距離分布に基づいて算出する。

【発明の効果】

【0010】

上記のように構成された本開示に係る情報処理装置、車両、路側機、および情報処理方法によれば、位置検出の検出精度が向上する。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る情報処理装置を含む路側機の概略構成を示すブロック図である。

【図2】図１の情報処理装置の概略構成を示すブロック図である。

【図3】図２のコントローラにより検出された被写体像及び物体個別領域枠を示す撮像画像である。

【図4】図３の被写体像及び物体個別領域枠の拡大図である。

【図5】図２のコントローラが実行する位置算出処理を説明するためのフローチャートである。

【図6】図４の物体個別領域枠を形成する一部の枠線に実空間において対応する点の軌跡を示す図４の撮像画像に対応する実空間を上空から見た図である。

【発明を実施するための形態】

【0012】

以下、本開示を適用した情報処理装置の実施形態について、図面を参照して説明する。

【0013】

図１に示すように、本開示の一実施形態に係る情報処理装置１０を含む路側機１１は、検出装置１２、メモリ１３、通信部１４、及びコントローラ１５を含んで構成されてよい。

【0014】

検出装置１２は、路側機１１周辺から伝播する波動を検出してよい。検出装置１２は、検出した波動に基づいて、路側機１１の周囲における測定対象である被写体の実空間における存在位置を検出してよい。存在位置は、例えば、ワールド座標系の位置である。本実施形態においては、測定対象は、例えば、人間、箱型車両、自動二輪車、及び自転車である。メモリ１３は、路側機１１の位置を記憶してよい。通信部１４は、有線または無線により外部機器と通信してよい。外部機器は、例えば、路側機１１に近接する車両において利用されるナビゲーション装置などの端末装置、または走行中の車両の現在位置を認識して当該車両に交通情報を送信するサーバ装置等である。外部機器は、検出装置１２の手動較正用の端末装置であってよい。コントローラ１５は、測定対象の種類および実空間における存在位置を、路側機１１の位置とともに、ユーザに報知する外部機器に送信するよう通信部１４を制御してよい。

【0015】

以下に、検出装置１２の詳細について説明する。検出装置１２は、検出部１６及び情報処理装置１０を有してよい。

【0016】

検出部１６は、撮像部１７及び測距センサ１８を有してよい。検出部１６には、検出部座標系が定められていてよい。検出部座標系は、検出部１６における任意の位置を原点とし、当該原点を通る互いに垂直な３軸を座標軸とする三次元座標系である。検出部座標系の原点は、例えば、撮像部１７の光軸と撮像素子の交点である。検出部座標系は、例えば、撮像部１７の光軸に平行な線を座標軸に含む。

【0017】

検出部１６は、例えば、信号装置、電柱、および街灯などの、屋外において路面を含む光景を撮像可能な高さを有する構造物に固定されてよい。構造物に対する検出部１６の位置及び姿勢は、事前に定められてよい。検出部１６の位置は、ワールド座標系において基準となる位置に対する検出部座標系の原点を意味する。検出部１６の姿勢は、ワールド座標系の座標軸に対する検出部座標系の座標軸の傾きを意味する。本開示において「ワールド座標系」は、検出部１６の外部の三次元空間に基づいて設定された座標系を意味する。

【0018】

撮像部１７は、複数の物点から伝播する電磁波を検出することにより、撮像画像を生成する。撮像部１７は、３０ｆｐｓ等の所定のフレームレートで撮像画像を生成してよい。撮像部１７は、可視光、近赤外光、及び遠赤外光の少なくとも一つを検出可能であってよい。言換えると、撮像部１７は、可視光画像を生成可能な可視光カメラ、近赤外画像又は遠赤外画像を生成可能な赤外線カメラであってよい。

【0019】

撮像部１７は、検出部座標系において定められた位置に固定されてよい。撮像部１７は、検出部座標系において定められた方向を向く姿勢で固定されてよい。

【0020】

測距センサ１８は、投射波を放射し、投射波の放射時点から当該投射波が照射された物体における反射波を受信時点までの時間に基づいて、当該物体における反射点までの距離値を計測する。測距センサ１８は、反射波が生じた方向毎の距離値を含む距離分布を生成する。測距センサ１８は、所定の周期で距離分布を生成してよい。距離分布の生成周期は、撮像部１７のフレームレートの逆数との差が小さいことが好ましい。

【0021】

投射波は、例えば、電波、音波、及び光波の少なくとも一つを含んでよい。言換えると、距離分布は、レーダ、ソナー、ＬｉＤＡＲの少なくとも一つの検出結果を含んでよい。本実施形態において、測距センサ１８は、ミリ波レーダである。

【0022】

測距センサ１８は、検出軸を有してよい。検出軸は、投射波の発生源を通り、投射波の投射範囲内の任意の進行方向に平行な直線であってよい。測距センサ１８は、検出軸に垂直な平面に平行な２直線を軸にして傾斜させた方向別に反射点からの距離値を検出してよい。

【0023】

測距センサ１８は、検出部座標系において定められた位置に固定されてよい。測距センサ１８は、検出部座標系において定められた方向を向く姿勢で固定されてよい。例えば、測距センサ１８は、撮像部１７と検出範囲の少なくとも一部が重複する位置及び姿勢で固定されてよい。例えば、測距センサ１８は、撮像部１７の光軸と、測距センサ１８の検出軸が平行且つ互いに近接する位置及び姿勢で固定されてよい。

【0024】

図２に示すように、情報処理装置１０は、画像インターフェース１９、センサインターフェース２０、及びコントローラ２１を含む。情報処理装置１０は、更にメモリ２２を含んでよい。

【0025】

画像インターフェース１９は、撮像部１７から撮像画像を取得する。センサインターフェース２０は、測距センサ１８から距離分布を取得する。

【0026】

メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ２２は、コントローラ２１を機能させる多様なプログラム、およびコントローラ２１が用いる多様な情報を記憶してよい。

【0027】

メモリ２２は、撮像画像を構成する各画素の位置と、距離分布に含まれる距離値に対応する各方向との対応を記憶してよい。各画素の位置と各方向との対応は、検出部座標系における撮像部１７及び測距センサ１８それぞれの位置および姿勢に基づいて、算出されてよい。

【0028】

メモリ２２は、測距センサ１８から路面又は床面までの距離値を測距センサ１８からの方向別に記憶してよい。測距センサ１８から路面までの距離値は、検出部１６を構造物に固定して路面又は床面上に何もない状態で測距センサ１８に距離を検出させることによりサンプルされてよい。路面上又は床面上とは、路面又は床面に接する状態を意味してよい。

【0029】

メモリ２２は、測距センサ１８から取得する距離分布における距離値及び対応する方向からのワールド座標系における座標位置への変換式又は変換表を記憶してよい。変換式又は変換表は、構造物に対する検出部１６の位置及び姿勢、並びに検出部１６における測距センサ１８の位置及び姿勢に基づいてよい。ワールド座標系は、実空間の鉛直方向と、および水平面に平行且つ互いに垂直な２方向とを軸としてよい。

【0030】

メモリ２２は、撮像部１７から取得する撮像画像を構成する画素が路面又は床面上の物体を示す場合の、当該画素の二次元座標系の座標からのワールド座標系への座標の変換式または変換表を記憶してよい。

【0031】

コントローラ２１は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。コントローラ２１は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。

【0032】

コントローラ２１は、測距センサ１８から取得する距離分布から、路面又は床面までの距離値と異なる距離値を、対応する方向とともに抽出してよい。

【0033】

コントローラ２１は、撮像画像から測定対象である被写体に対応する被写体像を検出する。より具体的には、コントローラ２１は、撮像部１７の撮像範囲及び測距センサ１８の検出範囲が重複する範囲内で、被写体像を検出する。コントローラ２１は、パターンマッチング、深層学習等の公知の方法により被写体像を検出してよい。コントローラ２１は、被写体像の検出に、以下に説明するように距離分布を用いてよい。

【0034】

コントローラ２１は、撮像画像において被写体像の存在する可能性の高い領域を、測距センサ１８から取得した距離分布、又は前述の抽出済みの距離分布に基づいて特定してよい。より具体的には、コントローラ２１は、距離分布を構成する複数の方向別の距離値の中から、距離値の差が所定値以下であり且つ対応する方向が互いに近接する距離値群を少なくとも一つ抽出してよい。距離値の差が所定値以下とは、例えば、距離値群の最大値及び最小値の差分が所定値以下であること、または互いに隣接する２方向に対応する２つの距離値の間の差分が所定値以下であることを意味してよい。更に、コントローラ２１は、抽出した距離値群に対応する方向群毎に、当該方向群に、撮像画像において対応する領域を少なくとも含む領域を、被写体像の存在する可能性の高い領域として特定してよい。

【0035】

コントローラ２１は、方向群の抽出において、任意の方向に対して最も近接する方向との間の角度が外縁閾値未満である方向を、当該最も近接する方向の属する方向群に含めてよい。外縁閾値は、２つの反射点の間に、単一の被写体像の外縁があるか否かを判別するための当該反射点に対応する方向間の角度を比較する閾値である。外縁閾値は、測距センサ１８から路面又は床面までの距離が長くなるにつれて低下するように定められてよい。

【0036】

コントローラ２１は、被写体像の存在する可能性の高い領域において、撮像画像の輝度ゲイン拡大及び被写体像の検出に用いる閾値の緩和の少なくとも一方を行ってよい。閾値は、例えば、パターンマッチングにおいて記憶済みのパターンとの相違度又は類似度と比較する閾値である。また、閾値は、例えば、深層学習に基づく被写体の推定の信頼度と比較する閾値である。コントローラ２１は、輝度ゲイン拡大及び閾値の緩和の少なくとも一方を行った状態で、撮像画像からの被写体像の検出を行ってよい。

【0037】

コントローラ２１は、撮像画像において検出した被写体像別に、被写体像を囲繞する物体個別領域枠を作成してよい。図３に示すように、物体個別領域枠ｓｆは、撮像画像ｉｍにおける被写体像ｓｉの第１の方向の両端に接する第２の方向に平行な２直線と、当該被写体像ｓｉの第２の方向の両端に接する第１の方向に平行な２直線を囲う矩形の枠である。第１の方向は、実空間において水平方向に平行且つ光軸方向に垂直な方向である幅方向に、撮像画像において対応する方向である。第２の方向は、実空間において鉛直下方に、撮像画像において対応する方向であって第１の方向に垂直な方向である。

【0038】

なお、被写体が車両等である場合に、例えば、夜間等の周囲が暗い状況下及び雨天等の悪天候の状況下等で被写体像ｓｉの鉛直下方側の端が不鮮明になり得るため、物体個別領域枠ｓｆの第２の方向側の直線には誤差が生じ得る。

【0039】

コントローラ２１は、検出した被写体像ｓｉに対応する被写体までの距離を、撮像画像ｉｍ及び距離分布の少なくとも一方に基づいて算出してよい。

【0040】

コントローラ２１は、撮像画像ｉｍのみに基づいて距離を算出可能であってよい。具体的には、コントローラ２１は、撮像画像ｉｍにおける物体個別領域枠ｓｆの第２の方向側の線を対応する被写体が実空間で路面上に存在する位置として、当該線の座標をワールド座標系の座標に変換することにより距離を算出可能であってよい。

【0041】

または、コントローラ２１は、距離分布に基づいて、前述の抽出された方向群における距離値を抽出することにより、被写体の距離を算出可能であってよい。なお、コントローラ２１は、方向群に対応する距離値群を平均化することにより距離を算出可能であってよい。または、コントローラ２１は、当該距離値群の中で、最小値側から１０％等の所定の割合の距離値を平均化することにより、距離を算出可能であってよい。

【0042】

コントローラ２１は、距離分布に基づく距離算出において、撮像画像ｉｍを用いてよい。具体的には、コントローラ２１は、物体個別領域枠ｓｆ内の領域に対応する方向群に対応する距離値群を距離分布から抽出してよい。更に、コントローラ２１は、抽出した距離値群を用いて、被写体までの距離を算出してよい。例えば、コントローラ２１は、抽出した複数の距離値群を平均化することにより距離を算出してよい。または、コントローラ２１は、抽出した複数の距離値群の中で、最小値側から所定の割合の距離を平均化することにより、距離を算出してよい。

【0043】

コントローラ２１は、物体個別領域枠ｓｆのみに基づいて算出された距離と、距離分布に基づいて算出された距離とを用いて、被写体の距離を最終的に算出してよい。例えば、コントローラ２１は、最終的な算出に、物体個別領域枠ｓｆのみに基づいて算出された距離と、距離分布に基づいて算出された距離との重付け平均を適用してよい。

【0044】

コントローラ２１は、距離分布を優先して用いて、被写体までの距離を算出してよい。例えば、コントローラ２１は、距離分布の優先使用として、距離分布に基づいて算出された距離に対する重付けを増加させてよい。コントローラ２１は、撮像画像ｉｍの輝度に応じて、被写体までの距離の算出に用いる距離分布の優先度、言換えると重付けを変更してよい。

【0045】

コントローラ２１は、検出した被写体像ｓｉに対応する被写体の幅方向における位置を撮像画像ｉｍ及び距離分布に基づいて算出する。具体的には、コントローラ２１は、物体個別領域枠ｓｆ及び被写体の距離に基づいて、被写体の幅方向の位置を算出してよい。更に具体的な幅方向の位置の算出方法を、以下に説明する。

【0046】

コントローラ２１は、距離分布に基づいて算出した被写体の距離、及び当該距離に対応する方向に基づいて、当該方向に対応する被写体の路面上のワールド座標系における位置を算出してよい。コントローラ２１は、被写体の路面上のワールド座標系における位置に対応する、撮像画像ｉｍにおける第２の方向の位置を算出してよい。図４に示すように、コントローラ２１は、算出した第２の方向の位置で第１の方向に延びる仮想直線ｖｌと、物体個別領域枠ｓｆの第２の方向に延びる２直線それぞれの延長線との２つの交点ｉｐの位置座標を算出してよい。コントローラ２１は、２つの交点ｉｐの中心点ｍｐの位置座標を算出してよい。コントローラ２１は、中心点ｍｐの位置座標に対応するワールド座標系における位置座標を算出してよい。コントローラ２１は、ワールド座標系における位置座標を算出することにより、被写体の幅方向における位置を算出してよい。

【0047】

次に、本実施形態においてコントローラ２１が実行する、位置算出処理について、図５のフローチャートを用いて説明する。位置算出処理は、それぞれ最新の撮像画像ｉｍ及び距離分布を取得するとき開始する。

【0048】

ステップＳ１００において、コントローラ２１は、取得した距離分布から、路面又は床面までの距離値と異なる距離値を、対応する方向とともに抽出する。抽出後、プロセスはステップＳ１０１に進む。

【0049】

ステップＳ１０１では、コントローラ２１は、取得した距離分布を構成する複数の方向別の距離値の中から、同一の被写体に属する方向群を抽出する。具体的には、コントローラ２１は、当該複数の方向別の距離値の中から距離値の差が所定値以下であり且つ互いに方向が近接する距離値群に対応する方向群を、同一の被写体に属する方向群として抽出する。抽出後、プロセスはステップＳ１０２に進む。

【0050】

ステップＳ１０２では、コントローラ２１は、ステップＳ１０１において抽出した方向群に、撮像画像ｉｍにおいて対応する領域を、被写体像ｓｉの存在する可能性の高い領域として特定する。特定後、プロセスはステップＳ１０３に進む。

【0051】

ステップＳ１０３では、コントローラ２１は、特定した領域において、撮像画像ｉｍの輝度ゲイン拡大及び被写体像ｓｉの検出に用いる閾値を緩和する。輝度ゲイン拡大及び閾値緩和後、プロセスはステップＳ１０４に進む。

【0052】

ステップＳ１０４では、コントローラ２１は、取得した撮像画像ｉｍから、被写体像ｓｉを検出する。検出後、プロセスはステップＳ１０５に進む。

【0053】

ステップＳ１０５では、コントローラ２１は、ステップＳ１０４において検出した被写体像ｓｉを別々に囲繞する物体個別領域枠ｓｆを作成する。作成後、プロセスはステップＳ１０６に進む。

【0054】

ステップＳ１０６では、コントローラ２１は、物体個別領域枠ｓｆ内の領域に対応する方向の距離値を、取得した距離分布から抽出する。抽出後、プロセスはステップＳ１０７に進む。

【0055】

ステップＳ１０７では、コントローラ２１は、ステップＳ１０６において抽出した距離値に基づいて、被写体の距離を算出する。算出後、プロセスはステップＳ１０８に進む。

【0056】

ステップＳ１０８では、ステップＳ１０５において作成した物体個別領域枠ｓｆ、及びステップＳ１０７において算出した被写体の距離に基づいて、被写体の幅方向の位置を算出する。算出後、位置算出処理は終了する。

【0057】

以上のような構成の本実施形態の情報処理装置１０は、撮像画像ｉｍから対象である被写体像ｓｉを検出し、当該被写体像ｓｉに対応する被写体の水平方向に平行且つ撮像部１７の光軸方向に垂直な幅方向における位置を撮像画像ｉｍ及び距離分布に基づいて算出する。このような構成により、情報処理装置１０は、距離分布に基づく検出精度の高い距離を用いるので、撮像画像ｉｍに基づく被写体の幅方向の位置の検出精度を向上し得る。したがって、情報処理装置１０は、位置検出の検出精度を向上し得る。

【0058】

また、本実施形態の情報処理装置１０は、距離分布を優先して用いて、被写体までの距離を算出する。このような構成により、情報処理装置１０は、検出精度が撮像画像ｉｍより高い距離分布が優先されて、被写体までの距離が算出されるので、撮像画像ｉｍのみを用いた距離検出よりも、距離の検出精度を向上し得る。

【0059】

また、本実施形態の情報処理装置１０は、撮像画像ｉｍの輝度に応じて被写体までの距離の算出に用いる距離分布の優先度を変更する。撮像画像ｉｍのみを用いた距離検出では、撮像画像ｉｍの輝度が検出精度に影響を与える。このような事象に対して上述の構成を有する情報処理装置１０は、撮像画像ｉｍのみを用いて距離検出の検出精度が悪化する状況において距離分布の優先度を変更するので、距離の検出精度をより向上し得る。

【0060】

また、本実施形態の情報処理装置１０は、撮像画像ｉｍにおける被写体像ｓｉの存在する可能性の高い領域を距離分布に基づいて特定し、当該領域において撮像画像ｉｍの輝度ゲイン拡大及び被写体像ｓｉの検出に用いる閾値緩和の少なくとも一方を実行した状態で撮像画像ｉｍからの被写体像ｓｉの検出を行う。撮像画像ｉｍにおける被写体像ｓｉの検出では、被写体像ｓｉと周囲の像との画素値の比較が行われることが一般的である。したがって、被写体像ｓｉと周囲の像との画素値の差分が低くなると、被写体像ｓｉの検出能が低下する。撮像画像ｉｍの輝度ゲインの拡大又は閾値の緩和により、被写体像ｓｉの検出能が向上するものの、誤検出が増加する。このような事象に対して上述の構成を有する情報処理装置１０は、距離分布に基づいて被写体が存在する可能性の高い領域のみにおいて輝度ゲインの拡大及び閾値の緩和の少なくとも一方を実行するので、被写体像ｓｉの誤検出を抑制しながら、被写体像ｓｉの検出能を向上させ得る。したがって、情報処理装置１０は、被写体像ｓｉの検出能が低下する夜間等の周囲が暗い状況下及び雨天等の悪天候の状況下等においても、被写体像ｓｉの誤検出を抑制しながら、被写体像ｓｉの検出能を向上させ得る。

【0061】

また、本実施形態の情報処理装置１０は、撮像画像ｉｍに対する被写体像検出により被写体像ｓｉを囲繞する物体個別領域枠ｓｆを作成し、当該物体個別領域枠ｓｆに距離分布において対応する方向に基づいて、被写体の距離を算出する。測距センサ１８による距離検出では、距離値に対応付けられる角度の精度は、比較的低いことが一般的である。それゆえ、例えば、距離値の差が所定値以下であり且つ対応する方向が互いに近接する距離値群に対応する方向群に単一の被写体が存在すると仮定して被写体の距離を算出する構成においては、被写体に向く複数の方向の一部が誤差によりずれが生じると当該一部の方向を間に挟む他の方向に対応する距離値の、距離値群からの漏れが生じ得る。このような事象に対して上述の構成を有する情報処理装置１０は、このような漏れの影響を低減するので、距離の算出精度を向上させ得る。

【0062】

また、本実施形態の情報処理装置１０は、物体個別領域枠ｓｆと、当該物体個別領域枠ｓｆに距離分布において対応する方向に基づいて算出される被写体の距離とに基づいて、幅方向の位置を算出する。当該構成の効果を説明するために、物体個別領域枠ｓｆによる被写体の距離算出について以下に説明する。物体個別領域枠ｓｆの第２の方向に平行な２直線は、実空間において鉛直方向に相当し点として表される。撮像画像ｉｍにおける当該２直線は、実空間において直線状の点の軌跡として表され、図６に示すように、測距センサ１８から延び、測距センサ１８から見た被写体ｓｂの幅方向における両端それぞれに接する直線状の２接線ｔｌに相当する。それゆえ、実空間において奥行き方向において被写体ｓｂを通る幅方向に平行な直線と２接線ｔｌとの交点を結ぶ線分状の任意の点、例えば中心点の位置を、被写体ｓｂの幅方向における位置として算出可能である。奥行き方向とは、実空間において鉛直方向に垂直な平面において幅方向に垂直な方向である。このような幅方向における位置の算出方法においては、２接線ｔｌの少なくとも一方は奥行き方向に対して傾斜するため、実空間における被写体ｓｂの奥行方向における位置に誤差があると、幅方向の位置にも誤差が生じる。例えば、実空間における分割線ｐｌと幅方向に平行な直線との交点を被写体ｓｂの幅方向の位置として算出する構成において、幅方向に平行な直線の位置が被写体ｓｂから外れた場合に算出される誤差位置ｅｐと、幅方向に平行な直線の位置が被写体ｓｂに重なる場合に算出される真位置ｔｐとの間には誤差Δが生じる。分割線ｐｌは、図４に示すように撮像画像ｉｍにおける物体個別領域枠ｓｆの第１の方向の両端の直線それぞれと第１の方向に延びる直線との交点の中心点を通る中心線ｃｌに、実空間において相当する直線である。特に、撮像画像ｉｍにおける位置認識では、撮像画像ｉｍにおける第１の方向及び第２の方向に同じ長さでのずれは、実空間において幅方向よりも奥行き方向において大きなずれを発生させる。それゆえ、上述のように被写体像ｓｉの検出精度が低下する状況において、物体個別領域枠ｓｆの第２の方向側の直線の位置に誤差が生じると、被写体ｓｂの幅方向の位置にも大きな誤差Δが生じ得る。このような事象に対して上述の構成を有する情報処理装置１０は、検出精度の高い距離分布に基づく被写体ｓｂの距離を用いるので、物体個別領域枠ｓｆによる被写体ｓｂの幅方向の位置の算出精度を向上させる。

【0063】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【0064】

例えば、本実施形態において、情報処理装置１０は路側機１１に適用される構成であるが、このような構成に限定されない。例えば、情報処理装置１０は、車両等に搭載されてもよい。

【0065】

本開示において「第１」、「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」、「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の方向は、第２の方向と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」、「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

【符号の説明】

【0066】

１０ 情報処理装置
１１ 路側機
１２ 検出装置
１３ メモリ
１４ 通信部
１５ コントローラ
１６ 検出部
１７ 撮像部
１８ 測距センサ
１９ 画像インターフェース
２０ センサインターフェース
２１ コントローラ
２２ メモリ
ｃｌ 中心線
ｅｌ 延長線
ｉｍ 撮像画像
ｉｐ 交点
ｍｐ 中心点
ｐｌ 分割線
ｓｂ 被写体
ｓｆ 物体個別領域枠
ｓｉ 被写体像
ｔｌ 接線
ｖｌ 仮想直線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】