特開 2024-179572 物体位置検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024179572

(43)【公開日】2024-12-26

(54)【発明の名称】物体位置検出装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241219BHJP

   G06T 7/00 20170101ALI20241219BHJP

   H04N 7/18 20060101ALI20241219BHJP

   G08G 1/16 20060101ALI20241219BHJP

【ＦＩ】

G06T7/70 A

G06T7/00 650B

H04N7/18 J

H04N7/18 K

G08G1/16 C

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023098529

(22)【出願日】2023-06-15

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】森 啓介

(72)【発明者】

【氏名】内田 芳裕

(72)【発明者】

【氏名】中村 頌太

【テーマコード（参考）】

5C054

5H181

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC15

5C054HA30

5H181AA01

5H181AA21

5H181CC04

5H181LL01

5H181LL02

5H181LL08

5L096BA04

5L096CA05

5L096DA02

5L096EA28

5L096FA64

5L096FA66

5L096FA69

5L096KA04

(57)【要約】

【課題】広角カメラで撮像された画像を用いつつも、処理負荷や計算リソースの軽減が可能な物体位置検出装置を提供する。
【解決手段】物体位置検出は、車室の周囲の状況を広角カメラで撮像した広角画像の撮像データを取得する画像取得部と、広角画像において物体が存在すると見なせる領域を囲む注目領域を設定する領域設定部と、注目領域を定義する境界線上または境界線の近傍位置に物体の存在位置の候補となり得る複数の候補点を設定する候補点設定部と、注目領域の領域内の所定位置に基準点を定め、当該基準点と前記候補点に対して歪み補正を施し、物体の接地位置と見なせる代表点を歪み補正後の候補点の中から選択する代表点選択部と、代表点の三次元座標を取得する座標取得部と、三次元座標に基づき、物体の接地位置の位置情報を出力する出力部と、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

車室の周囲の状況を広角カメラで撮像した広角画像の撮像データを取得する画像取得部と、
前記広角画像において物体が存在すると見なせる領域を囲む注目領域を設定する領域設定部と、
前記注目領域を定義する境界線上または境界線の近傍位置に前記物体の存在位置の候補となり得る複数の候補点を設定する候補点設定部と、
前記注目領域の領域内の所定位置に基準点を定め、当該基準点と前記候補点に対して歪み補正を施し、前記物体の接地位置と見なせる代表点を歪み補正後の前記候補点の中から選択する代表点選択部と、
前記代表点の三次元座標を取得する座標取得部と、
前記三次元座標に基づき、前記物体の接地位置の位置情報を出力する出力部と、
を含む、物体位置検出装置。

【請求項2】

前記代表点選択部は、前記基準点から鉛直方向下向きに下ろす法線に対して、当該法線と直交する方向において最も近い位置の前記候補点を前記代表点とする、請求項１に記載の物体位置検出装置。

【請求項3】

前記領域設定部は、前記物体を囲む矩形の前記注目領域を設定し、
前記候補点設定部は、前記注目領域の境界線上に略等間隔で複数の前記候補点を設定する、請求項１に記載の物体位置検出装置。

【請求項4】

前記代表点選択部は、前記注目領域の中心に前記物体の中心位置が存在すると見なし、前記注目領域の中心に前記基準点を設定する、請求項１に記載の物体位置検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物体位置検出装置に関する。

【背景技術】

【0002】

従来、車両の周囲に存在する物体を検出する技術として、車載カメラで撮像した画像に対して、物体検出（例えば、人物や他車両等の障害物の検出）を行う物体位置検出装置が種々提案されている。物体位置検出装置は、物体の有無の検出、物体までの距離の検出、物体の三次元座標の算出、物体が移動している場合、物体の移動速度や移動方向等を取得可能であり、それらの検出結果を車両制御に利用することができる。このような車載の物体位置検出装置で利用される車載カメラは、少ない台数のカメラで、できるだけ広範囲の情報（画像）を取得することが望ましく、広角レンズ（例えば、魚眼レンズ）を装着した広角カメラ（魚眼カメラ）が用いられる場合が多い。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１５５１０２号公報

【特許文献2】特許第６８９１９５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術において、物体位置検出装置で利用される広角カメラ（魚眼カメラ）で撮像された画像は、周縁部に向かうほど歪みが大きくなる傾向がある。そのため、正確な物体の位置を検出するためには、取得した画像に歪み補正を施した後、物体検出処理を行う必要があった。そのため、物体位置検出装置の処理負荷が大きく、計算リソースの限られた車載装置においては、改善の余地がある。

【0005】

そこで、本開示の課題の一つは、広角カメラ（魚眼カメラ）で撮像された画像を用いつつも、処理負荷や計算リソースの軽減が可能な物体位置検出装置を提供することである。

【課題を解決するための手段】

【0006】

本開示の一例としての物体位置検出は、車室の周囲の状況を広角カメラで撮像した広角画像の撮像データを取得する画像取得部と、前記広角画像において物体が存在すると見なせる領域を囲む注目領域を設定する領域設定部と、前記注目領域を定義する境界線上または境界線の近傍位置に前記物体の存在位置の候補となり得る複数の候補点を設定する候補点設定部と、前記注目領域の領域内の所定位置に基準点を定め、当該基準点と前記候補点に対して歪み補正を施し、前記物体の接地位置と見なせる代表点を歪み補正後の前記候補点の中から選択する代表点選択部と、前記代表点の三次元座標を取得する座標取得部と、前記三次元座標に基づき、前記物体の接地位置の位置情報を出力する出力部と、を含む。この構成によれば、例えば、歪み補正処理等の処理は、広角画像全体ではなく、基準点と補正点（代表点を含む）のみとするので、処理負荷や計算リソースの軽減ができる。

【0007】

また、上述の物体位置検出装置の前記代表点選択部は、例えば、前記基準点から鉛直方向下向きに下ろす法線に対して、当該法線と直交する方向において最も近い位置の前記候補点を前記代表点とするようにしてもよい。この構成によれば、例えば、代表点の選択をより正確かつ容易に実施することができる。

【0008】

また、上述の物体位置検出装置の前記領域設定部は、例えば、前記物体を囲む矩形の前記注目領域を設定し、前記候補点設定部は、前記注目領域の境界線上に略等間隔で複数の前記候補点を設定するようにしてもよい。この構成によれば、例えば、代表点となり得る候補点を効率的に設定することができる。

【0009】

また、上述の物体位置検出装置の前記代表点選択部は、例えば、前記注目領域の中心に前記物体の中心位置が存在すると見なし、前記注目領域の中心に前記基準点を設定するようにしてもよい。この構成によれば、例えば、代表点を選択するために用いる基準点の設定を容易かつより適切に行うことができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態にかかる物体位置検出装置を搭載可能な車両を示す例示的かつ模式的な平面図である。

【図2】図２は、実施形態にかかる物体位置検出装置を含む制御システムの構成を示す例示的かつ模式的なブロック図である。

【図3】図３は、実施形態にかかる物体位置検出装置（物体位置検出部）をＣＰＵで実現する場合の構成を示す例示的かつ模式的なブロック図である。

【図4】図４は、実施形態にかかる物体位置検出装置が利用する広角画像における注目領域の設定状態を示す例示的かつ模式的な図である。

【図5】図５は、実施形態にかかる物体位置検出装置において物体位置を検出する際に利用する注目領域に基準点と候補点の設定した状態を示す例示的かつ模式的な図である。

【図6】図６は、実施形態にかかる物体位置検出装置において候補点の設定を詳細に示す例示的かつ模式的な図である。

【図7】図７は、実施形態にかかる物体位置検出装置おける代表点を選択する際に用いるパノラマ変換処理のイメージを示す例示的かつ模式的な図である。

【図8】図８は、実施形態にかかる物体位置検出装置が利用する広角画像が、鉛直方向の歪みを含むことを示す例示的かつ模式的なイメージ図である。

【図9】図９は、実施形態にかかる物体位置検出装置が利用する広角画像に対して鉛直方向の歪みが正距円筒図法によるパノラマ変換で除去された状態を示す例示的かつ模式的なイメージ図である。

【図10】図１０は、実施形態にかかる物体位置検出装置おける物体位置検出処理の流れを示す例示的なフローチャートである。

【発明を実施するための形態】

【0011】

以下、本開示の実施形態および変形例を図面に基づいて説明する。以下に記載する実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。

【0012】

本実施形態の物体位置検出装置は、例えば、広角カメラ（例えば、魚眼カメラ）によって撮像された撮像画像に含まれる路面（地面）上の物体が存在する領域として認識される注目領域（例えば、バウンディングボックス）において、例えば物体の足元位置を特定するために利用する特定の画素を取得する。そして、特定した画素に対して歪み補正等の処理を行うことにより、低処理負荷、低リソースでの処理で、物体の足下位置の検出を行い、物体の位置情報として出力するものである。

【0013】

図１は、本実施形態の物体位置検出装置が搭載される車両１０の例示的かつ模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。

【0014】

図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ～１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１４は、それぞれ、広角レンズ（例えば魚眼レンズ）を有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、例えば、車両１０の外周部に配置される撮像部１４（１４ａ～１４ｄ）の光軸は斜め下方に向けて設定されていてもよい。よって、撮像部１４（１４ａ～１４ｄ）は、車両１０が移動可能な路面(地面)や路面に付されたマーク（矢印や区画線、駐車スペースを示す駐車枠、車線分離線等）や路面上に存在する物体（障害物として、例えば、歩行者、他車両、固定物体等）を含む車両１０の外部の周辺状況を逐次撮影し、撮像画像データとして出力する。

【0015】

撮像部１４ａは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ａやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ａ）を含む前方画像を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ｂの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ｂ）を含む後方領域を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像可能である。撮像部１４ｄは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｄに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像可能である。

【0016】

例えば、撮像部１４ａ～１４ｄで得られた各撮像画像データは、それぞれ演算処理や画像処理を実行することで、車両１０の周囲それぞれの方向における画像を表示したり周辺監視を実行したりすることができる。また、各撮像画像データに基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両１０を上方や前方、側方等から見た仮想的な画像（俯瞰画像（平面画像）や側方視画像、正面視画像等）を生成して表示したり、周辺監視を実行したりすることができる。

【0017】

各撮像部１４で撮像された撮像画像データは、上述したように、車両１０の周囲の状況を運転者等の利用者に提供するために、車室内の表示装置に表示される。また、撮像画像データは、物体（例えば、他車両や歩行者等の障害物）の検出や、位置の特定、距離の測定等各種検出を行うために利用され、検出された物体の位置情報は、車両１０を制御するために利用することができる。

【0018】

図２は、車両１０に搭載される物体検知装置を含む制御システム１００の構成の例示的かつ模式的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。使用者（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、利用者は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の例えば中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

【0019】

また、図２に例示されるように、制御システム１００（物体検知装置を含む）は、撮像部１４（１４ａ～１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（electronic control unit）、車輪速センサ２６、舵角センサ２８、シフトセンサ３０、走行支援部３２等が含まれる。制御システム１００において、ＥＣＵ２４やモニタ装置２２、車輪速センサ２６、舵角センサ２８、シフトセンサ３０、走行支援部３２等は、電気通信回線としての車内ネットワーク３４を介して電気的に接続されている。車内ネットワーク３４は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ２４は、車内ネットワーク３４を通じて制御信号を送ることで、各種システムの制御が実行できる。また、ＥＣＵ２４は、車内ネットワーク３４を介して、操作入力部２０や各種スイッチの操作信号等、車輪速センサ２６、舵角センサ２８、シフトセンサ３０等の各種センサの検出信号等を受け取ることができる。なお、車内ネットワーク３４には、車両１０を走行させるための種々のシステム（操舵システム、ブレーキシステム、駆動システム等）や種々のセンサが接続されているが、図２において、本実施形態の物体位置検出装置と関連性の低い構成は図示を省略するとともに、その説明を省略する。

【0020】

ＥＣＵ２４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１０の制御全般を司る。具体的には、ＥＣＵ２４は、ＣＰＵ（Central Processing Unit）２４ａ、ＲＯＭ（Read Only Memory）２４ｂ、ＲＡＭ（Random Access Memory）２４ｃ、表示制御部２４ｄ、音声制御部２４ｅ、およびＳＳＤ（Solid State Drive）２４ｆを備える。

【0021】

ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＣＰＵ２４ａは、例えば、撮像部１４が撮像した撮像画像に対して画像処理を施し、物体位置検出（認識）を実行して物体の三次元座標を取得して、物体の存在する位置、物体までの距離、物体が移動している場合は、その移動速度や移動方向等の推定を行うことができる。そして、例えば、操舵システム、ブレーキシステム、駆動システム等の制御や操作に必要な情報提供を行うことができる。

【0022】

ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａが物体位置検出処理を実行する際のワークエリアとして使用されるとともに、ＣＰＵ２４ａでの演算で用いられる各種のデータ（撮像部１４で逐次（時系列的に）撮像される撮像画像データ等）の一時的な格納エリアとして利用される。表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、撮像部１４から取得してＣＰＵ２４ａへ出力する画像データに対する画像処理、ＣＰＵ２４ａから取得した画像データを表示装置１６に表示させる表示用の画像データへの変換等を実行する。音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、ＣＰＵ２４ａから取得して音声出力装置１８に出力させる音声の処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもＣＰＵ２４ａから取得したデータを記憶し続ける。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。

【0023】

車輪速センサ２６は、車輪１２の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２６は、各車輪１２に配置され、各車輪１２で検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２６は、例えば、ホール素子などを用いて構成されうる。ＣＰＵ２４ａは、車輪速センサ２６から取得した検出値に基づいて車両１０の車速や加速度等を演算し、各種制御を実行する。

【0024】

舵角センサ２８は、例えば、ステアリングホイール等の操舵部の操舵量を検出するセンサである。舵角センサ２８は、例えば、ホール素子などを用いて構成される。ＣＰＵ２４ａは、運転者による操舵部の操舵量や、例えば駐車支援を実行する際の自動操舵時の前輪１２Ｆの操舵量等を、舵角センサ２８から取得して各種制御を実行する。

【0025】

シフトセンサ３０は、変速操作部の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、変速機の動作状態、変速段の状態や車両１０の走行可能方向（Ｄレンジ：前進方向、Ｒレンジ：後退方向)等を示す情報を検出する。

【0026】

走行支援部３２は、制御システム１００によって算出された移動経路または外部から提供された移動経路に基づいて、車両１０を移動させる走行支援を実現するために、操舵システム、ブレーキシステム、駆動システム等に制御情報を提供する。走行支援部３２は、例えば、操舵システム、ブレーキシステム、駆動システム等を全て自動制御する完全自動制御を実行させたり、操舵システム、ブレーキシステム、駆動システム等の一部の制御を自動制御する半自動制御を実行させたりする。また、走行支援部３２は、移動経路に沿って車両１０が移動できるように、操舵システム、ブレーキシステム、駆動システム等の操作案内を運転者に提供して、運転者に運転操作を実行させる手動制御を実行させてもよい。この場合、走行支援部３２は、表示装置１６や音声出力装置１８に対して操作情報を提供するようにしてもよい。また、走行支援部３２は、半自動制御を実行する場合も、運転者に操作させる、例えばアクセル操作等に関する情報を表示装置１６や音声出力装置１８を介して提供することができる。

【0027】

図３は、実施形態にかかる物体位置検出装置（物体位置検出部３６）をＣＰＵ２４ａで実現する場合の構成を例示的かつ模式的に示すブロック図である。ＣＰＵ２４ａは、ＲＯＭ２４ｂから読み出した物体位置検出プログラムを実行することにより、図３に示すように、画像取得部３８、領域設定部４０、候補点設定部４２、代表点選択部４４、座標取得部４６、出力部４８等のモジュールを実現する。なお、画像取得部３８、領域設定部４０、候補点設定部４２、代表点選択部４４、座標取得部４６、出力部４８の一部または全部を回路等のハードウェアによって構成してもよい。また、図３では、図示を省略しているが、ＣＰＵ２４ａは、車両１０の走行に必要な各種モジュールを実現することもできる。また、図２では、主として物体位置検出処理を実行するＣＰＵ２４ａを示しているが、車両１０の走行に必要な各種モジュールを実現するためのＣＰＵを備えてもよいし、ＥＣＵ２４とは別のＥＣＵを備えてもよい。

【0028】

画像取得部３８は、撮像部１４（広角カメラや魚眼カメラ等）により撮像された、車両１０が存在する路面（地面）を含む車両１０の周囲状況を示す撮像画像（広角（魚眼）画像）を取得し、領域設定部４０に提供する。なお、画像取得部３８は、各撮像部１４（１４ａ～１４ｄ）が撮像する撮像画像を逐次取得して領域設定部４０に提供するようにしてもよい。また、別の例では、画像取得部３８は、シフトセンサ３０から取得できる車両１０の進行可能方向（前進方向または後退方向）や舵角センサ２８から取得できる車両１０の旋回方向に関する情報に基づいて進行可能方向の物体検出が実行できるように、進行可能方向の撮像画像を選択的に取得して領域設定部４０提供するようにしてもよい。

【0029】

領域設定部４０は、画像取得部３８が取得した広角画像に含まれる物体のうち予め定められた対象物体（例えば、人物や他車両に相当する物体）を選択するための矩形の注目領域（例えば、矩形のバウンディングボックス）を設定する。すなわち、広角画像において処理対象となる物体が存在すると見なせる領域を囲む領域を設定する。注目領域で囲む物体は、車両１０の周囲の路面（地面）上に存在し得る物体であり、例えば、人物や他車両（自転車等も含む）等に相当する移動し得る物体の他、フェンス、電柱、街路樹、花壇等に相当する静止物体等を含んでもよい。注目領域で囲む物体は、予め、例えば機械学習等により学習させたモデルを参照して抽出することができる物体である。領域設定部４０は、周知の技術に従い学習させたモデルを広角画像に適用し、例えば、モデルとしての物体の特徴点と広角画像に含まれる画像の特徴点との一致度を求めて、広角画像上のどこに既知の物体が存在するかを検出する。そして、検出した物体を囲むように、例えば略矩形形状の注目領域（バウンディングボックス）を設定する。

【0030】

図４は、物体位置検出装置（物体位置検出部３６）が利用する広角画像５０における注目領域５２（５２ａ～５４ｄ）の設定状態を示す例示的かつ模式的な図である。図４の場合、車両１０の左前方に４人の人物５４（５４ａ～５４ｄ）が存在し、それぞれに注目領域５２が設定されている例である。上述したように、注目領域５２は、周知の技術に従い学習させたモデルとの比較により抽出された人物５４を囲むように設定される。したがって、各注目領域５２は、抽出された人物５４等と見なされる物体の大きさに応じた大きさ（横長×縦長）に設定される。注目領域５２は、例えば、広角画像５０上で、中央座標、横長、縦長（ｘ，ｙ，ｗ，ｈ）で定義される。

【0031】

候補点設定部４２は、広角画像５０上で設定された注目領域５２の中から一つを選択し、人物５４の足下を示し得る候補点の設定を行う。図５は、物体位置検出部３６（物体位置検出装置）において、物体位置を検出する際に利用する基準点５６と候補点５８の設定状態を示す例示的かつ模式的な図である。候補点設定部４２は、選択した注目領域５２を定義する境界線６０上または境界線６０の近傍位置に物体（例えば、人物５４）の存在位置（例えば、足下）の候補となり得る複数の候補点５８を設定する。

【0032】

前述したように、注目領域５２は、人物５４を囲むように設定された略矩形の領域である。また、図４に示されるように注目領域５２は、広角画像５０の横枠線５０ｗおよび縦枠線５０ｈに平行になるように例えば４本の境界線６０が設定される。このような、注目領域５２で物体（例えば、人物５４）を囲む場合、物体（例えば、人物５４）を中心として注目領域５２が設定される。この場合、人物５４が路面（地面）に起立姿勢で存在する場合を考えると、広角画像５０を中央で左右に分けた場合、右側に人物５４が存在する場合、人物５４の足元は、注目領域５２の左側の角部５２Ｌを形成する境界線６０側に存在することになる。逆に、広角画像５０の左側に人物５４が存在する場合、人物５４の足元は、注目領域５２の右側の角部５２Ｒを形成する境界線６０側に存在することになる。したがって、候補点設定部４２は、候補点５８を設定する場合、広角画像５０を中央で左右に分けた場合の左領域または右領域において、物体（例えば、人物５４）が存在する側に、候補点５８を設定する。その結果、物体（例えば、人物５４）の足下（接地位置）が存在し得る位置を効率的に限定し設定することができる。例えば、図４の場合、物体（例えば、人物５４）は、広角画像５０の右側に存在するため、人物５４の足元は、注目領域５２の左側の角部５２Ｌを形成する境界線６０側に存在することになる。

【0033】

図５は、注目領域５２ａに含まれる人物５４ａと認められる画像が概ね直立するように図示されるように、注目領域５２ａを傾けて示している。図５に示されるように、候補点設定部４２は、角部５２Ｌを形成する、境界線６０ａと境界線６０ｂの線上にそれぞれ複数の候補点５８を設定する。図５の場合、図面の簡略化のため、境界線６０ａ上に２点の候補点５８を示し、境界線６０ｂ上に３点の候補点５８を示しているが、実際には、それぞれ例えば、２０点程度の候補点５８を設定することができる。

【0034】

図６は、候補点５８の設定を詳細に示す例示的かつ模式的な図である。図６において図面の簡略化のため、境界線６０ａ上および境界線６０ｂ上にそれぞれ３点の候補点５８を示しているが、実際には、上述したように、それぞれ例えば２０点程度が設定され得る。図６に示されるように、各候補点５８は、物体である人物５４（図示省略）を囲む矩形の注目領域５２ａにおいて、境界線６０上に等間隔で複数配置されている。図５に示されるように、注目領域５２ａは、人物５４ａ（ほぼ全体）を囲むように設定されるため、人物５４ａの足下（接地位置）は、角部５２Ｌ側に存在することになる。したがって、注目領域５２ａにおいて、人物５４ａの足下が存在する可能性のある領域は、境界線６０において角部５２Ｌに近い側になると見なすことができる。そのため、候補点設定部４２は、候補点５８の設定範囲を、角部５２Ｌから例えば、境界線６０の１／２の範囲に設定している。例えば、境界線６０ａの場合、全長をｈとした場合、ｈ／２の範囲で略等間隔で候補点５８を設定する。同様に、境界線６０ｂの場合、全長をｗとした場合、ｗ／２の範囲で略等間隔で候補点５８を設定する。なお、境界線６０ａにおける候補点５８の間隔と境界線６０ｂにおける候補点５８の間隔は、同じでもよいし、異なっていてもよい。また、図５に示されるように、人物５４ａの足元の位置は、必ずしも角部５２Ｌに一致した位置にはならない場合が多い。むしろ角部５２Ｌから注目領域５２ａの内側領域にずれた位置や境界線６０ａや境界線６０ｂに偏った位置になる場合が多い。そのため、角部５２Ｌの位置や角部５２Ｌに極近い位置に候補点５８を設定すると、後述すように、代表点選択部４４が候補点５８の中から代表点６２を選択する際に好ましくない候補点５８を選択してしまう場合がある。このような不都合を回避するため、候補点設定部４２は、候補点５８の非設定領域を設けている。例えば、予め試験等で候補点５８が存在する可能性が低い領域を規定する除去率αを定めている。つまり、候補点設定部４２は、例えば、注目領域５２の横枠の境界線長ｗ×除去率αおよび縦枠の境界線長ｈ×除去率αで規定される領域には、候補点５８を設定しないようにしている。このように、候補点５８の非設定領域を設けることで、不適切な候補点５８が物体位置検出処理に利用されることを抑制することができる。

【0035】

なお、図６の例では、候補点５８を注目領域５２の境界線６０上に設定する例を示しているが、候補点５８は、必ずしも境界線６０でなくてもよい。例えば、注目領域５２の内側の領域で境界線６０の近傍に設定されてもよい。また、候補点５８は、注目領域５２の外側の領域で境界線６０の近傍に設定されてもよい。

【0036】

続いて、代表点選択部４４は、注目領域５２の領域内の所定位置に基準点５６を定め、当該基準点５６と候補点５８に対して歪み補正を施し、物体（例えば、人物５４）の接地位置（足元位置）と見なせる代表点６２（図５参照）を歪み補正後の候補点５８の中から選択する。

【0037】

まず、代表点選択部４４は、処理対象として選択した注目領域５２において、物体位置検出（人物５４の位置検出）の基準となる基準点５６を決定する。図５に示されるように、例えば、人物５４が路面（地面）に直立姿勢で存在する場合、腹部から路面に法線ＰＬを下した位置に足下ＦＯが存在する可能性が高い。そして、前述したように、注目領域５２は、物体（例えば、人物５４）を中心として、物体全体を囲むように設定される。つまり、物体（人物５４）の中心（例えば、腹部Ｓ）が注目領域５２の中心に存在すると見なすことができる。したがって、代表点選択部４４は、注目領域５２の中心（座標）に、注目領域５２で囲んでいる人物５４の中心（例えば、腹部Ｓ）が存在すると見なす。つまり、注目領域５２の中心座標を基準点５６の位置（座標）と設定する。

【0038】

続いて、代表点選択部４４は、注目領域５２に設定された複数の候補点５８の中から代表点６２を選択する。まず、広角画像５０から歪みを除去して処理対象点（例えば、基準点５６、代表点６２を含む候補点５８）の座標のパノラマ変換の一例を、図７を参照して説明する。図７は一例として、正距円筒図法によるパノラマ変換（極座標への変換）の手順Ｍを示す図である。

【0039】

まず、手順Ｍ１において、対象点を広角（魚眼）画像座標（ｕ，ｖ）から透視投影画像座標（ｕ′,ｖ′）へ変換する。すなわち、歪みを除去する。続いて、手順Ｍ２において、透視投影画像座標(ｕ′,ｖ′)からカメラ座標系（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）に変換する。世界座標系における視線ベクトルは、カメラ座標中心から対象点Ｔに向かうベクトルである。なお、手順Ｍ２の図は、カメラ座標系空間のイメージである。

【0040】

続いて、手順Ｍ３において、カメラ座標系（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）から世界座標系（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ）に変換する。世界座標系における視線ベクトルは、カメラ中心を原点とするため、回転行列のみ適用して求める。この時点で、接地面（地面）に対して水平な世界座標となる。この処理により、パノラマ変換時の鉛直方向の直線性を担保する。そして、手順Ｍ４において、世界座標系（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ）からパノラマ座標（Φ_ｗ，θ_ｗ）に変化する。この場合、世界座標系での方位角と仰角を求め、正距円筒図法におけるパノラマ座標とする。なお、Φ_ｗおよびθ_ｗは、以下の式で求めることができる。

【数1】

【数2】

【0041】

上述のように、パノラマ座標に変換された座標系において、基準点５６（ｕ，ｖ）に対応するパノラマ座標（Φ_ｗ，θ_ｗ）から下した法線ＰＬ上に人物５４の足下ＦＯが存在する可能性が高い。したがって、代表点選択部４４は、図５に示されるように、注目領域５２ａ（５２）中の基準点５６（ｕ，ｖ）に対応するパノラマ座標（Φ_ｗ，θ_ｗ）のΦ_ｗ座標に一番近いΦ_ｗ座標をもつ候補点５８を代表点６２として選択する。

【0042】

図８は、広角画像５０の鉛直方向の補助線６４を示すことで、広角画像５０(魚眼画像)の半径方向に歪みが生じていることを示した、広角画像の歪みイメージを示す例示的かつ模式的な図である。図８では、補助線６４が広角画像５０の周縁部（例えば、左右方向）に向かうほど歪んでいることが示されている。広角画像５０上では、路面に対して直立している人物５４ａの足下が路面に対して平行な方向にずれているように表示される。なお、図８において、複数の候補点５８は、候補点群５８Ｌとして示されている。一方、図９は、鉛直方向の歪みが正距円筒図法によるパノラマ変換の過程で除去されたイメージを示す例示的かつ模式的な図である。すなわち、各補助線６４が路面に対して鉛直方向に向いている。このように、鉛直方向の歪みが除去されている場合、基準点５６から下ろした法線ＰＬ上またはその近傍に人物５４の足下ＦＯがあるはずある。換言すれば、法線ＰＬに対して水平方向（Φ_ｗ座標）に最も近い位置に存在する候補点５８（最も近いΦ_ｗ座標をもつ候補点５８）が足下ＦＯ（代表点６２）であると推定できる。なお、図９において、複数の候補点５８は、候補点群５８Ｌとして示されている。

【0043】

このように、広角画像５０の中から最小限の画素（例えば、基準点５６、候補点５８）を特定して、その画像のみに歪み補正を含むパノラマ変換を実行することで、広角画像５０自体を正規化することなく物体（例えば、人物５４）の足下ＦＯの位置を正確に取得することができる。つまり、広角画像５０の全体に対して（全画像に対して）歪み補正を含むパノラマ変換を実行する場合に比べて、処理負荷の軽減、計算リソースの軽減に寄与しつつ、物体（人物５４）の足下ＦＯ、つまり、代表点６２の選択が可能になる。

【0044】

図３に戻り、座標取得部４６は、選択された代表点６２の座標を周知の変換方法を用いて三次元変換して、三次元座標を取得する。そして、出力部４８は、取得された三次元座標を、位置検出の対象となっている物体（例えば、人物５４）の位置情報として、車両１０の他の制御システム等に出力する。例えば、自動走行システムにおいて、物体との接触を回避するための物体情報として提供する。

【0045】

このように構成される物体位置検出装置（物体位置検出部３６）による物体位置検出処理の流れを、例示的に示す図１０のフローチャートを用いて説明する。

【0046】

まず、画像取得部３８は、撮像部１４（広角カメラ）から広角画像５０を取得する（Ｓ１００）。画像取得部３８は、例えば、シフトセンサ３０および舵角センサ２８の検出結果に基づき、車両１０の進行方向を含む広角画像５０を取得するようにしてもよい。続いて、領域設定部４０は、取得した広角画像５０に対して、物体（例えば、人物５４や他車両等）と見なされる画像が含まれる領域に対して、その物体を個別に囲むように注目領域５２（バウンディングボックス）を設定する（Ｓ１０２）。Ｓ１０２の処理において、注目領域５２が設定されなかった場合（Ｓ１０４のＮｏ）、つまり広角画像５０内に処理対象と見なされる物体が存在しないと判定できる場合、このフローを一旦終了する。

【0047】

Ｓ１０４の処理において、注目領域５２が設定された場合（Ｓ１０４のＹｅｓ）、候補点設定部４２は、広角画像５０内のいずれか一つの注目領域５２を選択する（Ｓ１０６）。例えば、物体位置検出処理が実行されていない複数の注目領域５２が存在する場合、予め定められた優先順位に従って注目領域５２を選択する。例えば、車両１０に近い順に選択する。

【0048】

Ｓ１０６の処理で、注目領域５２が選択された場合、候補点設定部４２は、図５、図６で説明したように、物体（例えば人物５４）の足下ＦＯが存在し得る位置に候補点５８を複数設定する（Ｓ１０８）。続いて、代表点選択部４４は、Ｓ１０６で選択した注目領域５２の領域内の所定位置（例えば、中央位置）に基準点５６を設定するとともに、この基準点５６と候補点５８に対して歪み補正を施し、物体（例えば人物５４）の接地位置（足下ＦＯ）と見なせる代表点６２を歪み補正後の候補点５８の中から選択する（Ｓ１１０）。このとき、代表点選択部４４は、上述したように、基準点５６および代表点６２を含む候補点５８に対してのみ歪み補正を含むパノラマ変換を実施する。そして、座標取得部４６は、選択された代表点６２の座標を周知の変換方法を用いて三次元変換して、三次元座標を取得する（Ｓ１１２）。そして、出力部４８は、取得された三次元座標を位置検出の対象となっている物体（例えば、人物５４）の位置情報として、例えば、車両１０の他の制御システムに出力する（Ｓ１１４）。

【0049】

Ｓ１１４の処理で、注目領域５２の位置情報の出力が完了した場合、候補点設定部４２は、処理中の広角画像５０に設定された全ての注目領域５２に対する位置検出が完了している場合（Ｓ１１６のＹｅｓ）、このフローを一旦終了し、次の物体位置検出処理のタイミングを待ち、Ｓ１００からの処理を繰り返す。また、Ｓ１１６の処理で、全ての注目領域５２に対する位置検出が完了していないと判定された場合（Ｓ１１６のＮｏ）、候補点設定部４２は、Ｓ１０６の処理に移行し、次の処理対象の注目領域５２を選択し、Ｓ１０８以降の処理を継続する。

【0050】

このように、本実施形態の物体検出装置においては、広角画像５０の中から最小限の画素（例えば、基準点５６、候補点５８）を特定して、その画像のみに歪み補正を含むパノラマ変換を実行する。つまり、位置検出に関与しない領域に対する演算処理を非実行とすることにより、処理負荷の軽減、計算リソースの軽減に寄与しつつ、物体（人物５４）の位置検出を効率的に行うことができる。

【0051】

なお、本実施形態のＣＰＵ２４ａが実現する物体位置検出処理のための物体位置検出プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0052】

さらに、本実施形態の物体位置検出処理を実行する物体位置検出プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される姿勢推定プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0053】

以上、本実施形態および変形例を説明したが、上述した実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態および変形例は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0054】

１０…車両、１４…撮像部、２４…ＥＣＵ、２４ａ…ＣＰＵ、３６…物体位置検出部、３８…画像取得部、４０…領域設定部、４２…候補点設定部、４４…代表点選択部、４６…座標取得部、４８…出力部、５０…広角画像、５２…注目領域、５４…人物、５６…基準点、５８…候補点、６０…境界線、６２…代表点、ＦＯ…足下、ＰＬ…法線。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】