特開 2022-139375 障害物検知装置及び障害物検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022139375

(43)【公開日】2022-09-26

(54)【発明の名称】障害物検知装置及び障害物検知方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220915BHJP

   G01B 11/00 20060101ALI20220915BHJP

   G08G 1/16 20060101ALI20220915BHJP

【ＦＩ】

G06T7/70

G01B11/00 H

G08G1/16 C

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021039727

(22)【出願日】2021-03-11

(71)【出願人】

【識別番号】000005821

【氏名又は名称】パナソニックホールディングス株式会社

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山川 健司

(72)【発明者】

【氏名】今村 隼

(72)【発明者】

【氏名】尾脇 義明

(72)【発明者】

【氏名】角谷 和重

(72)【発明者】

【氏名】岩田 洋一

【テーマコード（参考）】

2F065

5H181

5L096

【Ｆターム（参考）】

2F065AA04

2F065FF01

2F065FF05

2F065JJ03

2F065JJ08

2F065JJ26

2F065QQ38

5H181AA01

5H181BB13

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF27

5H181FF33

5H181LL01

5H181LL02

5H181LL04

5H181LL07

5H181LL08

5L096AA09

5L096BA04

5L096CA04

5L096DA01

5L096DA03

5L096FA66

5L096FA67

5L096FA69

(57)【要約】

【課題】単眼カメラを用いた移動ステレオ法における物体の誤検知を抑制すること。
【解決手段】本開示に係る障害物検知装置は、第１の検知部と、第２の検知部と、出力部とを備える。前記第１の検知部は、互いに異なる撮影位置で得られた一対の撮影画像に基づく移動ステレオ法により、前記一対の撮影画像にそれぞれ含まれる物体を検知する。前記第２の検知部は、前記第１の検知部による第１の検知範囲と少なくとも一部が重複する第２の検知範囲において物体を検知する。前記出力部は、前記第１の検知部及び前記第２の検知部が第１の物体に関して異なる検知結果を示したとき、前記第１の物体の検知結果を含まない前記第１の検知部の検知結果を出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

互いに異なる撮影位置で得られた一対の撮影画像に基づく移動ステレオ法により、前記一対の撮影画像にそれぞれ含まれる物体を検知する第１の検知部と、
前記第１の検知部による第１の検知範囲と少なくとも一部が重複する第２の検知範囲において物体を検知する第２の検知部と、
前記第１の検知部及び前記第２の検知部が第１の物体に関して異なる検知結果を示したとき、前記第１の物体の検知結果を含まない前記第１の検知部の検知結果を出力する出力部と
を具備する障害物検知装置。

【請求項2】

前記第１の検知部の検知結果のうちの前記第１の物体の検知結果を誤検知として棄却する誤検知判定部をさらに備える、請求項１に記載の障害物検知装置。

【請求項3】

前記第２の検知部は、レーダーにより前記第２の検知範囲を移動する物体を検知し、
前記誤検知判定部は、前記第２の検知部により検知された第２の物体が前記第１の物体より遠位側であるとき、前記第１の検知部の検知結果のうちの前記第１の物体の検知結果を誤検知として棄却する、
請求項２に記載の障害物検知装置。

【請求項4】

前記誤検知判定部は、前記第２の検知部により検知された第２の物体が前記第１の物体より遠位側であるときのうち、前記第１の検知部により検知された前記第１の物体が前記第２の検知範囲に含まれるとき、前記第１の検知部の検知結果のうちの前記第１の物体の検知結果を誤検知として棄却する、請求項３に記載の障害物検知装置。

【請求項5】

前記第２の検知部は、レーダーにより前記第２の検知範囲を移動する物体を検知し、
前記誤検知判定部は、前記第２の検知部により検知された第２の物体が前記第１の物体より近位側であるとき、前記第１の検知部の検知結果のうちの前記第１の物体の検知結果を採用する、
請求項２から請求項４のうちのいずれか一項に記載の障害物検知装置。

【請求項6】

前記第２の検知部は、レーダーにより前記第２の検知範囲を移動する物体を検知し、
前記誤検知判定部は、前記第１の検知部により検知された前記第１の物体が前記第２の検知範囲に含まれないとき、前記第１の検知部の検知結果のうちの前記第１の物体の検知結果を採用する、
請求項２から請求項５のうちのいずれか一項に記載の障害物検知装置。

【請求項7】

前記第２の検知部は、前記一対の撮影画像の一方の画像に対するパターン認識により当該画像上の前記第１の物体の下端位置を検知し、
前記誤検知判定部は、
前記第１の検知部による前記第１の物体の検知結果に基づいて、前記第１の物体上の複数の点の各々に対応する足元位置を示す複数の点を当該画像上に投影するとともに、
前記第２の検知部による前記第１の物体の下端位置を当該画像上に投影し、
前記下端位置及び前記足元位置の間の距離が予め定められた距離より大きいとき、前記第１の検知部の検知結果のうちの前記第１の物体の検知結果を誤検知として棄却する、
請求項２に記載の障害物検知装置。

【請求項8】

前記第２の検知部は、互いに異なる撮影位置で前記第１の検知部の第１の方向とは異なる第２の方向に関して得られた一対の撮影画像に基づく移動ステレオ法により、前記第２の方向の一対の撮影画像にそれぞれ含まれる物体を検知し、
前記誤検知判定部は、
前記第１の検知部による前記第１の物体の検知結果に基づいて、前記第１の物体上の第１の点を座標変換により前記第２の方向の一対の撮影画像の一方の画像に投影し、
前記第１の点に対応する当該画像上の第２の点と、投影された第３の点との間の当該画像上における距離が予め定められた距離より大きいとき、前記第１の検知部の検知結果のうちの前記第１の物体の検知結果を誤検知として棄却する、
請求項２に記載の障害物検知装置。

【請求項9】

前記誤検知判定部は、前記第１の点に対応する前記第２の点が存在しないとき、前記第２の検知部による第２の物体の検知結果の範囲内に前記第３の点が存在すれば前記第１の点を採用する、請求項８に記載の障害物検知装置。

【請求項10】

互いに異なる撮影位置で得られた一対の撮影画像に基づく移動ステレオ法により、前記一対の撮影画像にそれぞれ含まれる物体を第１の検知範囲で検知することと、
前記第１の検知範囲と少なくとも一部が重複する第２の検知範囲において物体を検知することと、
前記第１の検知範囲及び前記第２の検知範囲の間で第１の物体に関して異なる検知結果を示したとき、前記第１の物体の検知結果を含まない前記第１の検知範囲の検知結果を出力することと
を含む障害物検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、障害物検知装置及び障害物検知方法に関する。

【背景技術】

【0002】

従来、例えば車両やロボット等の自走可能な移動体に単眼カメラを搭載し、移動ステレオ法に基づき移動体の外部に存在する物体を検知する技術が知られている。単眼カメラを用いた移動ステレオ法は、単眼カメラの移動に伴い互いに異なる撮影位置で得られた撮影画像間での物体上の特徴点の対応に基づいて、三角測量の原理により当該特徴点に対応する静止物体上の点の位置を得ることができる。したがって、移動体に搭載された単眼カメラを用いた移動ステレオ法によれば、移動体の外部の静止物体を検知することができる。

【0003】

このような中、撮影画像から抽出された特徴点が移動物体上の点である場合には、三角測量の原理を適用することができない。このため、移動ステレオ法による物体検知においては、当該特徴点が静止物体上の静止点であるか、移動物体上の移動点であるかを判別する必要があった。静止点及び移動点の判別には、例えばエピポーラ拘束条件を用いることができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０－２０４８０５号公報

【特許文献2】特開２０１４－２４０７５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、単眼カメラの位置、速度及び移動方向によっては、エピポーラ拘束条件を満たす移動点が存在する場合がある。この場合、移動点が静止点であると判別されるため、誤った三角測量により、何も存在しない場所に静止物体が存在しているかのように、物体の誤検知が発生する場合があった。

【0006】

本開示は、単眼カメラを用いた移動ステレオ法における物体の誤検知を抑制することができる障害物検知装置及び障害物検知方法を提供する。

【課題を解決するための手段】

【0007】

本開示に係る障害物検知装置は、第１の検知部と、第２の検知部と、出力部とを備える。前記第１の検知部は、互いに異なる撮影位置で得られた一対の撮影画像に基づく移動ステレオ法により、前記一対の撮影画像にそれぞれ含まれる物体を検知する。前記第２の検知部は、前記第１の検知部による第１の検知範囲と少なくとも一部が重複する第２の検知範囲において物体を検知する。前記出力部は、前記第１の検知部及び前記第２の検知部が第１の物体に関して異なる検知結果を示したとき、前記第１の物体の検知結果を含まない前記第１の検知部の検知結果を出力する。

【発明の効果】

【0008】

本開示に係る障害物検知装置及び障害物検知方法によれば、移動体に搭載された単眼カメラを用いた移動ステレオ法における物体の誤検知を抑制することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、第１の実施形態に係る障害物検知装置のハードウェア構成の一例を示すブロック図である。

【図2】図２は、第１の実施形態に係る障害物検知装置の機能構成の一例を示すブロック図である。

【図3】図３は、単眼カメラを用いた移動ステレオ法による物体検知について説明するための図である。

【図4】図４は、移動ステレオ法における静止点及び移動点の判別について説明するための図である。

【図5】図５は、移動ステレオ法において移動点が静止点として判別される場合について説明するための図である。

【図6】図６は、移動ステレオ法による物体の誤検知について説明するための図である。

【図7】図７は、第１の実施形態に係る障害物検知処理の概要を説明するための図である。

【図8】図８は、第１の実施形態に係る障害物検知処理の概要を説明するための図である。

【図9】図９は、第１の実施形態に係る障害物検知処理の一例を示すフローチャートである。

【図10】図１０は、第２の実施形態に係る障害物検知処理の概要を説明するための図である。

【図11】図１１は、第３の実施形態に係る障害物検知処理の概要を説明するための図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、本開示に係る障害物検知装置及び障害物検知方法の各実施形態について説明する。

【0011】

従来、例えば車両やロボット等の自走可能な移動体に単眼カメラを搭載し、移動ステレオ法に基づき移動体の外部に存在する物体を検知する技術が知られている。単眼カメラを用いた移動ステレオ法は、単眼カメラの移動に伴い互いに異なる撮影位置で得られた撮影画像間での物体上の特徴点の対応に基づいて、三角測量の原理により当該特徴点に対応する静止物体上の点の位置を得ることができる。当該技術は、しばしばＳＦＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）とも呼称される。したがって、移動体に搭載された単眼カメラによるＳＦＭによれば、移動体の外部の静止物体を検知することができる。

【0012】

このような中、撮影画像から抽出された特徴点が移動物体上の点である場合には、三角測量の原理を適用することができない。このため、ＳＦＭによる物体検知においては、当該特徴点が静止物体上の静止点であるか、移動物体上の移動点であるかを判別する必要があった。静止点及び移動点の判別には、例えばエピポーラ拘束条件を用いることができる。

【0013】

しかしながら、単眼カメラの位置、速度及び移動方向によっては、エピポーラ拘束条件を満たす移動点が存在する場合がある。この場合、移動点が静止点であると判別されるため、誤った三角測量により、何も存在しない場所に静止物体が存在しているかのように、物体の誤検知が発生する場合があった。

【0014】

そこで、本開示の各実施形態は、移動体に搭載された単眼カメラによるＳＦＭにおける物体の誤検知を抑制することができる障害物検知装置及び障害物検知方法を例示する。

【0015】

なお、本開示に係る障害物検知装置は、各種の移動体に搭載することができる。移動体は、例えば自転車や自動二輪車、自動車、電車等の各種の車両であってもよいし、船舶や航空機等であっても構わない。また、移動体は、有人で移動する移動体であってもよいし、無人で移動する移動体であっても構わない。

【0016】

（第１の実施形態）
図１は、第１の実施形態に係る障害物検知装置１のハードウェア構成の一例を示すブロック図である。障害物検知装置１は、図１に示すように、プロセッサ１１、メモリ１３、カメラ１５１、センサ１５３、ディスプレイ１７１及びスピーカ１７３を有する。プロセッサ１１、メモリ１３、カメラ１５１、センサ１５３、ディスプレイ１７１及びスピーカ１７３は、通信可能に接続される。ここで、障害物検知装置１が移動体３としての車両に搭載される場合、プロセッサ１１及びメモリ１３は、例えばＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）の一例である。

【0017】

プロセッサ１１は、障害物検知装置１の全体の動作を制御する。プロセッサ１１としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の各種のプロセッサが適宜利用可能である。

【0018】

メモリ１３は、障害物検知装置１で使用される各種のデータやプログラムを記憶する。メモリ１３としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、Ｆｌａｓｈメモリ等の各種の記憶媒体や記憶装置が適宜利用可能である。また、メモリ１３には、一時的に作業中のデータを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）がさらに設けられる。なお、メモリ１３としては、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、Ｆｒｅｘｌａｙ、車載イーサネット（登録商標）等の電気通信回線を介して障害物検知装置１に接続された外部記憶装置が利用されても構わない。

【0019】

カメラ１５１は、単眼カメラである。カメラ１５１は、移動体の前方、後方、左方、右方、上方及び下方等の移動体の周囲を撮影可能に、移動体の複数の位置それぞれに配置される。なお、移動体に設けられるカメラ１５１の数は、１又は２以上の複数であってよい。本実施形態では、説明の簡単のために、移動体３としての車両の前方に配置されたカメラ１５１を例示する。カメラ１５１は、逐次撮影し、時系列の撮影画像を生成する。カメラ１５１は、生成された撮影画像を例えばメモリ１３に出力する。

【0020】

センサ１５３は、ソナーやレーダー、ＬｉＤＡＲ等のアクティブセンサである。センサ１５３は、移動体の前方、後方、左方、右方、上方及び下方等の移動体の周囲を探知可能に、移動体の複数の位置それぞれに配置される。なお、移動体に設けられるセンサ１５３の数は、１又は２以上の複数であってよい。本実施形態では、説明の簡単のために、移動体３としての車両の前方に配置されたレーダーとしてのセンサ１５３を例示する。センサ１５３は、連続又は間欠的にミリ波を発射し、物体等により反射されたミリ波を検知する。なお、センサ１５３は、ミリ波に限らず、赤外光等の他の波長の電磁波を利用してもよい。センサ１５３は、検知結果を例えばメモリ１３に出力する。

【0021】

ディスプレイ１７１は、画像データに応じた画像を表示することにより、各種の情報を表示する。ディスプレイ１７１は、障害物の検知を報知するための画面や操作者からの各種操作を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。ディスプレイ１７１としては、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ（ＯＬＥＤ）、プロジェクタ等が適宜利用可能である。

【0022】

スピーカ１７３は、音声データに応じた音声を出力することにより、各種の情報を出力する。スピーカ１７３は、障害物の検知を報知するための音声や操作者からの各種操作を受け付けるための音声ガイド等を出力する。

【0023】

なお、障害物検知装置１は、触れられた位置に応じた情報を出力するタッチパネルが表面に設けられた、操作者の入力を受け付けるタッチパネル等の入力装置を備えていても構わない。また、障害物検知装置１は、ユーザの音声入力を受け付ける入力装置としてのマイクロフォン等を備えていても構わない。

【0024】

図２は、第１の実施形態に係る障害物検知装置１の機能構成の一例を示すブロック図である。障害物検知装置１は、例えばメモリ１３にロードされた障害物検知プログラムをプロセッサ１１が実行することにより、ＳＦＭ検知部１１１、レーダー検知部１１３、誤検知判定部１１５及び出力部１１７としての機能を実現する。

【0025】

ＳＦＭ検知部１１１は、互いに異なる撮影位置で得られた一対の撮影画像に基づくＳＦＭにより、一対の撮影画像にそれぞれ含まれる物体を検知する。ＳＦＭ検知部１１１による物体検知については、後述する。ＳＦＭ検知部１１１による物体の検知範囲は、一対の撮影画像に関して重複する撮影範囲である。ここで、ＳＦＭ検知部１１１は、第１の検知部の一例である。また、ＳＦＭ検知部１１１による物体の検知範囲は、第１の検知範囲の一例である。

【0026】

レーダー検知部１１３は、レーダーとしてのセンサ１５３を用いて物体を検知する。レーダー検知部１１３による物体検知については、後述する。レーダー検知部１１３による物体の検知範囲は、ＳＦＭ検知部１１１による物体の検知範囲と少なくとも一部が重複する。ここで、レーダー検知部１１３は、第２の検知部の一例である。また、レーダー検知部１１３による物体の検知範囲は、第２の検知範囲の一例である。

【0027】

誤検知判定部１１５は、ＳＦＭ検知部１１１によるＳＦＭ検知結果と、レーダー検知部１１３によるレーダー検知結果との位置関係に基づいて、ＳＦＭ検知結果が正検知であるか誤検知であるか判定する。また、誤検知判定部１１５は、ＳＦＭ検知結果及びレーダー検知結果が任意の物体に関して異なる検知結果を示したとき、ＳＦＭ検知結果のうちの該当の物体のＳＦＭ検知結果を誤検知として棄却する。誤検知判定部１１５によるＳＦＭ検知結果に係る判定及びＳＦＭ検知結果の採用又は棄却については、後述する。ここで、任意の物体は、第１の物体の一例である。

【0028】

出力部１１７は、ＳＦＭ検知部１１１のＳＦＭ検知結果を出力する。出力部１１７は、ＳＦＭ検知結果及びレーダー検知結果が任意の物体に関して異なる検知結果を示したとき、該当の物体のＳＦＭ検知結果を含まないＳＦＭ検知部１１１のＳＦＭ検知結果を出力する。

【0029】

なお、出力部１１７は、ディスプレイ１７１において障害物の検知を報知するための画像データを出力してもよい。また、出力部１１７は、スピーカ１７３において障害物の検知を報知するための音声データを出力してもよい。また、障害物検知装置１が移動体３としての車両に搭載される場合、出力部１１７は、ブレーキやアクセル、ハンドル等の車両の動作を制御する車両制御部にＳＦＭ検知部１１１のＳＦＭ検知結果を出力してもよい。

【0030】

図３は、移動ステレオ法による物体検知について説明するための図である。図３は、移動体の移動に伴いカメラ１５１が移動体３の進行方向Ｄ１に移動している場合を例示する。ここで、ｔ＝０の時点におけるカメラ１５１の位置を位置ｃ１とする。また、ｔ＝１の時点におけるカメラ１５１の位置を位置ｃ２とする。また、撮影画像Ａ０及び撮影画像Ａ１は、それぞれ、位置ｃ１及び位置ｃ２においてカメラ１５１により生成された撮影画像であるとする。ここで、撮影画像Ａ０及び撮影画像Ａ１は、一対の撮影画像の一例である。

【0031】

ＳＦＭ検知部１１１は、撮影画像Ａ０及び撮影画像Ａ１のそれぞれから特徴点を抽出する。ＳＦＭ検知部１１１は、オプティカルフロー等の公知の方法により画像間で対応する同一な特徴点、すなわち２Ｄ対応点ｐ０，ｐ１を算出する。その後、ＳＦＭ検知部１１１は、２Ｄ対応点ｐ０，ｐ１に対応する静止物体上の特徴点、すなわち３Ｄ点である点ｐを三角測量の原理で３Ｄ復元し、静止物体を検知する。一例として、ＳＦＭ検知部１１１は、位置ｃ１及び２Ｄ対応点ｐ０を通る直線と、位置ｃ２及び２Ｄ対応点ｐ１を通る直線との交点を３Ｄ点の点ｐとして復元する。

【0032】

なお、位置ｃ１及び２Ｄ対応点ｐ０を通る直線と、位置ｃ２及び２Ｄ対応点ｐ１を通る直線とがねじれの関係にある場合もある。この場合、ＳＦＭ検知部１１１は、２つの直線上の２点が最接近するときの当該２点の中点を３Ｄ点の点ｐとして復元してもよいし、点ｐ０とｐ１との再投影誤差を最小化するように点ｐを復元してもよい。

【0033】

図３を参照して説明したように、ＳＦＭによる物体検知は、三角測量の原理を用いて３Ｄ点の点ｐを復元するため、移動物体に適用できない。したがって、対象となる点が静止点か移動点かを予め判別する必要がある。一例として、ＳＦＭ検知部１１１は、エピポーラ拘束条件を満たす点を静止点であると判別する。ここで、エピポーラ拘束条件とは、エピポーラ幾何により規定される条件であり、図３の例のように、ｔ＝０の時点と、ｔ＝１の時点とのいずれの時点においても、位置ｃ１、位置ｃ２及び点ｐが同一平面Π上に存在することである。

【0034】

図４は、移動ステレオ法における静止点及び移動点の判別について説明するための図である。図４は、図３の点ｐが移動物体上の点、すなわち物体の移動に伴い位置が変化する移動点である場合を例示する。図４の例では、ｔ＝０の時点における点ｐが、ｔ＝１の時点では点ｐ´に移動している。

【0035】

一方で、図４の例のように、点ｐが点ｐ´に移動している場合には、点ｐ´は、位置ｃ１、位置ｃ２及び点ｐにより張られる平面Π上に存在しない。このとき、ＳＦＭ検知部１１１は、点ｐが移動点であると判別する。

【0036】

点ｐが移動点である場合に三角測量の原理により３Ｄ点を復元すると、例えば図４の点ｑのように、実在しない３Ｄ点が進行方向Ｄ１に応じた位置に算出される。このため、ＳＦＭ検知部１１１は、エピポーラ拘束条件を満たさない点を除外して、静止物体の検知を行う。

【0037】

しかしながら、所定の条件を満たす動き方の移動物体については、原理上静止物体と見分けがつかないという問題、すなわちエピポーラ問題が知られている。図５は、移動ステレオ法において移動点が静止点として判別される場合について説明するための図である。

【0038】

例えば、位置ｃ１、位置ｃ２、点ｐ及び点ｐ´の位置関係によっては、点ｐ´と、平面Πとの間の距離Ｈ１がほぼゼロになるため、点ｐを移動点と判別できない場合がある。具体的には、カメラ１５１の位置（位置ｃ１及び位置ｃ２）と、対象物上の点（点ｐ及び点ｐ´）との間において、水平方向の距離Ｌ２に対して高さ方向の距離Ｌ１が小さく、かつ、対象物上の点がカメラ１５１の進行方向Ｄ１上又はその近傍に位置する場合である。一例として、移動体３としての車両において、カメラ１５１が０．５ｍの高さの自車フロントカメラである場合、１０ｍ前を走り、右左折を開始した高さ１．５ｍの先行車両上の点は、移動点であるが、静止点として判別される可能性がある。このように、静止点及び移動点の判別にエピポーラ拘束条件が用いられる場合、カメラ１５１と対象の点ｐの位置や速度、進行方向Ｄ１の関係性によっては、移動点が静止点であると誤って判別されることがある。これにより、誤った三角測量が実施されると、何も存在しない場所に静止物体が存在しているような誤検知が発生する。

【0039】

図６は、移動ステレオ法による物体の誤検知について説明するための図である。図６は、ｔ＝０の時点のカメラ１５１の位置を破線で例示する。また、ｔ＝１の時点のカメラ１５１の位置を実線で例示する。図６は、カメラ１５１が進行方向Ｄ１に移動する際、対象の物体Ｏが移動物体であるにもかかわらず、エピポーラ拘束条件に基づいて静止物体であると判別された場合に発生する誤検知を例示する。誤検知は、図６に示すように、カメラ１５１の進行方向Ｄ１に対する、対象の物体Ｏの移動方向Ｄ２に応じた位置に発生する。図６の（ａ）～（ｇ）において、丸枠で囲んだ領域に三角測量による虚像が発生している。

【0040】

例えば、図６の（ａ）～（ｄ）のように、カメラ１５１の右前方に位置する対象の物体Ｏが右方や右後方、右前方、後方に向かって移動するとき、三角測量による虚像、すなわちＳＦＭ検知における誤検知は、カメラ１５１の近傍に発生する。この誤検知は、実際の物体Ｏの位置よりもカメラ１５１の近傍に静止物体があることを示す。このような誤検知は、不要な急ブレーキに繋がるおそれがある。

【0041】

例えば、図６の（ｅ），（ｆ）のように、カメラ１５１の右前方に位置する対象の物体Ｏが前方や左方に向かって移動するとき、三角測量による虚像は、物体Ｏより遠方に発生する。この誤検知は、実際の物体Ｏの位置よりも遠方に静止物体があることを示す。このような誤検知は、カメラ１５１を搭載する移動体３が進行方向Ｄ１へさらに移動したときの、不要なブレーキ操作に繋がるおそれがある。

【0042】

例えば、図６の（ｇ）のように、カメラ１５１の右前方に位置する対象の物体Ｏが左方に向かって図６の（ｆ）より大きく移動するとき、三角測量による虚像は、カメラ１５１の後方に発生する。このような誤検知は、カメラ１５１を搭載する移動体３の進行方向Ｄ１に基づいて誤検知であると識別することができる。しかしながら、上述の（ａ）～（ｆ）の場合には、ＳＦＭ検知だけでは、正検知と誤検知とを識別することができなかった。

【0043】

そこで、本実施形態に係る障害物検知装置１は、ＳＦＭの検知結果に対して、レーダーの検知結果が同対象物に対して異なる検知結果を示す場合に、エピポーラ幾何に基づく静止物体の誤検知であると判定し、ＳＦＭの検知結果を棄却するように構成されている。また、ＳＦＭの検知結果のすべてが誤検知とは限らないため、誤検知判定部１１５は、エピポーラ幾何に基づく静止点のうちの誤検知部分を判別して棄却するように構成されている。具体的には、誤検知判定部１１５は、ＳＦＭ検知結果とレーダー検知結果との位置関係に基づいて、ＳＦＭの検知結果が正検知であるか誤検知であるかを判断するように構成されている。

【0044】

図７は、第１の実施形態に係る障害物検知処理の概要を説明するための図である。図７は、図６の（ａ）～（ｄ）のように、ＳＦＭ検知によりカメラ１５１の近傍に点群Ｇ２，Ｇ３が検知された場合を例示する。また、図７は、レーダー検知により物体Ｏ１上の点群Ｇ１が検知された場合を例示する。

【0045】

図７に示すように、ＳＦＭ検知結果と同じ方向の奥側にレーダー検知結果が存在する場合、誤検知判定部１１５は、ＳＦＭの検知結果は、エピポーラ問題に起因する誤検知であるとして除外する。ここで、エピポーラ問題に起因する誤検知とは、図５等を参照して上述したように、エピポーラ幾何に基づく静止物体の誤検知である。誤検知判定部１１５は、静止物の正検知と、移動物の誤検知との混合を分離するため、レーダー検知結果の点群Ｇ１が存在するレーダーによる正検知の方位角範囲Ｒ１に含まれるＳＦＭ検知結果の点群Ｇ３のみ棄却する。つまり、誤検知判定部１１５は、方位角範囲Ｒ１に含まれないＳＦＭ検知結果、すなわち物体Ｏ２上の点群Ｇ２については正検知であるとして採用する。

【0046】

図８は、第１の実施形態に係る障害物検知処理の概要を説明するための図である。図８は、図６の（ｅ），（ｆ）のように、物体Ｏ１より遠方にＳＦＭ検知により点群Ｇ２が検知された場合を例示する。また、図８は、レーダー検知により物体Ｏ１上の点群Ｇ１が検知された場合を例示する。

【0047】

図８に示すように、ＳＦＭ検知結果と同じ方向の手前側にレーダー検知結果が存在する場合、当該ＳＦＭ検知結果が移動体を検知するレーダー検知結果に含まれていないことから、誤検知判定部１１５は、静止点に関する正検知であるとしてＳＦＭの検知結果を採用する。つまり、誤検知判定部１１５は、レーダー検知結果より遠方にあるＳＦＭ検知結果、すなわち物体Ｏ３，Ｏ４上の点群Ｇ２については、例えば物体Ｏ１の奥にある壁等に関する正検知であるとして採用する。

【0048】

また、誤検知判定部１１５は、ＳＦＭ検知結果と同じ方向にレーダー検知結果が存在しない場合、ＳＦＭ検知結果を正検知として採用する。つまり、誤検知判定部１１５は、ＳＦＭ検知結果と同じ方向にレーダー検知結果が存在しない場合、すなわち当該ＳＦＭ検知結果が移動体を検知するレーダー検知結果に含まれていない場合、当該ＳＦＭ検知結果を正検知であるとして採用する。

【0049】

以下、図面を参照して、実施形態に係る障害物検知装置１の動作について説明する。なお、以下に説明する処理の流れは一例であり、処理順序の変更や一部の処理の削除、他の処理の追加も可能である。図９は、第１の実施形態に係る障害物検知処理の一例を示すフローチャートである。

【0050】

ＳＦＭ検知部１１１は、カメラ１５１からの一対の撮影画像に基づき、ＳＦＭ検知結果を取得する（Ｓ１０１）。また、レーダー検知部１１３は、レーダーとしてのセンサ１５３の出力に基づき、レーダー検知結果を取得する（Ｓ１０２）。

【0051】

誤検知判定部１１５は、ＳＦＭ検知結果と同じ方向にレーダー検知結果が存在するか否かを判定する（Ｓ１０３）。

【0052】

ＳＦＭ検知結果と同じ方向にレーダー検知結果が存在するとき（Ｓ１０３：Ｙｅｓ）、誤検知判定部１１５は、ＳＦＭ検知結果の奥側にレーダー検知結果が存在するか否かを判定する（Ｓ１０４）。

【0053】

ＳＦＭ検知結果と同じ方向にレーダー検知結果が存在しないとき（Ｓ１０３：Ｎｏ）及びＳＦＭ検知結果の奥側にレーダー検知結果が存在しないとき（Ｓ１０４：Ｎｏ）、誤検知判定部１１５は、Ｓ１０１で取得されたＳＦＭ検知結果を採用する。

【0054】

つまり、誤検知判定部１１５は、ＳＦＭ検知部１１１により検知された物体がレーダー正検知の方位角範囲に含まれないとき、当該ＳＦＭ検知部１１１により検知された物体のＳＦＭ検知結果を採用する。なお、ＳＦＭ検知結果の奥側にレーダー検知結果が存在しないときとは、ＳＦＭ検知結果の手前側にレーダー検知結果が存在するときを含む。つまり、誤検知判定部１１５は、レーダー検知部１１３により検知された物体がＳＦＭ検知部１１１により検知された物体より近位側であるとき、当該ＳＦＭ検知部１１１により検知された物体のＳＦＭ検知結果を採用する。出力部１１７によりＳＦＭ検知結果が出力された後、図９の流れは終了する。

【0055】

ＳＦＭ検知結果の奥側にレーダー検知結果が存在するとき（Ｓ１０４：Ｙｅｓ）、誤検知判定部１１５は、レーダー正検知の方位角範囲のＳＦＭ検知結果を棄却する。

【0056】

つまり、誤検知判定部１１５は、レーダー検知部１１３により検知された物体がＳＦＭ検知部１１１により検知された物体より遠位側であるとき、ＳＦＭ検知結果のうちの当該ＳＦＭ検知部１１１により検知された物体のＳＦＭ検知結果を誤検知として棄却する。より詳細には、誤検知判定部１１５は、レーダー検知部１１３により検知された物体がＳＦＭ検知部１１１により検知された物体より遠位側であるときのうち、ＳＦＭ検知部１１１により検知された物体がレーダー正検知の方位角範囲に含まれるとき、当該物体のＳＦＭ検知結果を誤検知として棄却する。ここで、ＳＦＭ検知部１１１により検知された物体は、第１の物体の一例である。レーダー検知部１１３により検知された物体は、第２の物体の一例である。レーダー正検知の方位角範囲は、第２の検知範囲の一例である。出力部１１７により他の棄却されていないＳＦＭ検知結果が出力された後、図９の流れは終了する。

【0057】

なお、図６の（ｅ），（ｆ）のように、実際の移動物体の位置よりも遠位側に静止物体があることを示すＳＦＭ検知結果については、例えばカメラ１５１を搭載する移動体３が検知された静止物体に接近するまでの経過時間に基づいて、正検知か誤検知かを判定してもよい。

【0058】

このように、実施形態の障害物検知装置１において、誤検知判定部１１５は、ＳＦＭ検知部１１１によるＳＦＭ検知結果と、レーダー検知部１１３によるレーダー検知結果との位置関係に基づいて、ＳＦＭ検知結果が正検知であるか誤検知であるか判定する。また、誤検知判定部１１５は、ＳＦＭ検知結果及びレーダー検知結果が任意の物体に関して異なる検知結果を示したとき、ＳＦＭ検知結果のうちの該当の物体のＳＦＭ検知結果を誤検知として棄却する。したがって、実施形態の障害物検知装置１は、ＳＦＭ検知結果及びレーダー検知結果が任意の物体に関して異なる検知結果を示したとき、該当の物体のＳＦＭ検知結果を含まないＳＦＭ検知結果を出力する。

【0059】

また、実施形態の障害物検知方法によれば、障害物検知装置１は、ＳＦＭ検知結果と、レーダー検知結果との位置関係に基づいて、ＳＦＭ検知結果が正検知であるか誤検知であるか判定し、ＳＦＭ検知結果及びレーダー検知結果が任意の物体に関して異なる検知結果を示したとき、ＳＦＭ検知結果のうちの該当の物体のＳＦＭ検知結果を誤検知として棄却する。したがって、実施形態の障害物検知方法は、ＳＦＭ検知結果及びレーダー検知結果が任意の物体に関して異なる検知結果を示したとき、該当の物体のＳＦＭ検知結果を含まないＳＦＭ検知結果を出力する。

【0060】

この構成によれば、単眼カメラを用いた移動ステレオ方式（ＳＦＭ）の静止物体検知において発生するエピポーラ拘束条件を満たす移動物体の誤検知が、レーダー検知とのフュージョン処理により棄却されたＳＦＭ検知結果を得ることができる。したがって、本開示に係る技術によれば、単眼カメラを用いた移動ステレオ法における物体の誤検知を抑制することができる。

【0061】

（第２の実施形態）
以下、第２の実施形態に係る障害物検知装置１について説明する。以下、主として第１の実施形態との相違点について説明し、重複する部分については説明を適宜省略する。図１０は、第２の実施形態に係る障害物検知処理の概要を説明するための図である。

【0062】

本実施形態に係る障害物検知装置１は、センサ１５３を有していなくてもよい。また、本実施形態に係るプロセッサ１１は、レーダー検知部１１３としての機能を有していなくてもよい。

【0063】

一方で、本実施形態に係る誤検知判定部１１５は、カメラ１５１からの撮影画像に対する画像認識処理により、撮影画像から物体を検知する。本実施形態において、誤検知判定部１１５は、第２の検知部の一例である。画像認識処理による物体抽出は、公知の方法により実現されればよい。誤検知判定部１１５は、検知された物体を包含する検知枠を、撮影画像の画像上に投影する。

【0064】

ここで、画像認識処理により物体を検知する撮影画像は、ＳＦＭ検知部１１１によるＳＦＭ検知結果に用いられる一対の撮影画像のいずれか一方である。したがって、ＳＦＭ検知部１１１によるＳＦＭ検知の検知範囲と、誤検知判定部１１５による物体の検知範囲とは、少なくとも一部が重複している。ＳＦＭ検知部１１１によるＳＦＭ検知の検知範囲は、第１の検知範囲の一例である。また、誤検知判定部１１５による物体の検知範囲は、第２の検知範囲の一例である。

【0065】

また、誤検知判定部１１５は、ＳＦＭ検知結果に基づいて、ＳＦＭ検知された対象物体上の複数の点それぞれについて、足元位置、すなわち当該点からの垂線の接地位置を示す点を算出する。誤検知判定部１１５は、算出された足元位置の複数の点を、検知枠が投影された撮影画像の画像上に投影し、投影された複数の点により規定される基準枠を作成する。基準枠は、例えば投影された複数の点に外接するように作成される。

【0066】

そして、誤検知判定部１１５は、撮影画像上に投影された検知枠の下端位置及び基準枠の下端位置に基づいて、対象の物体に関するＳＦＭ検知結果を棄却するか否かを判定する。一例として、図１０の（ａ），（ｂ）に例示するように、下端位置の間の距離Ｌ１，Ｌ２が予め定められた距離より大きいとき、誤検知判定部１１５は、ＳＦＭ検知結果のうちの対象物体の検知結果を誤検知として棄却する。つまり、誤検知判定部１１５は、検知枠の外部のＳＦＭ検知結果については、棄却しない。一方で、図１０の（ｃ）に例示するように、下端位置の間の距離Ｌ３が予め定められた距離より小さいとき、誤検知判定部１１５は、その対象物体に関するＳＦＭ検知結果を正検知として採用する。

【0067】

この構成であっても、上述の実施形態と同様の効果が得られる。また、この構成によれば、センサ１５３が設けられていなくてもよく、部品点数の削減やコスト削減の効果が得られる。

【0068】

（第３の実施形態）
以下、第３の実施形態に係る障害物検知装置１について説明する。以下、主として第１の実施形態との相違点について説明し、重複する部分については説明を適宜省略する。図１１は、第３の実施形態に係る障害物検知処理の概要を説明するための図である。

【0069】

第２の実施形態では、第１の実施形態に係るレーダー検知部１１３によるレーダー検知に代えて、誤検知判定部１１５による画像認識処理が行われる場合を例示した。一方で、本実施形態では、第１の実施形態に係るレーダー検知部１１３によるレーダー検知に代えて、ＳＦＭ検知部１１１により複数のカメラ１５１を用いた複数のＳＦＭ検知が行われる場合を例示する。

【0070】

本実施形態に係る障害物検知装置１は、センサ１５３を有していなくてもよい。また、本実施形態に係るプロセッサ１１は、レーダー検知部１１３としての機能を有していなくてもよい。

【0071】

一方で、本実施形態に係るカメラ１５１は、図１１に示すように、移動体３の前方に配置されたフロントカメラ１５１ａと、移動体３の側方に配置されたサイドカメラ１５１ｂとを有する。サイドカメラ１５１ｂは、例えば移動体３が車両である場合、車両のサイドミラー等に配置され得る。

【0072】

本実施形態において、フロントカメラ１５１ａにより得られた撮影画像Ｉａに基づくＳＦＭ検知を実行するＳＦＭ検知部１１１は、第１の検知部の一例である。また、フロントカメラ１５１ａの撮影方向は、第１の方向の一例である。また、撮影画像Ｉａに基づくＳＦＭ検知の検知範囲は、第１の検知範囲の一例である。

【0073】

同様に、サイドカメラ１５１ｂにより得られた撮影画像Ｉｂに基づくＳＦＭ検知を実行するＳＦＭ検知部１１１は、第２の検知部の一例である。また、サイドカメラ１５１ｂの撮影方向は、第２の方向の一例である。また、撮影画像Ｉｂに基づくＳＦＭ検知の検知範囲は、第２の検知範囲の一例である。

【0074】

ここで、フロントカメラ１５１ａと、サイドカメラ１５１ｂとは、撮影範囲の一部が重複している。したがって、撮影画像Ｉａに基づくＳＦＭ検知の検知範囲と、撮影画像Ｉｂに基づくＳＦＭ検知の検知範囲とは、少なくとも一部が重複している。

【0075】

図１１は、図７に例示する場合と同様に、フロントカメラ１５１ａにより得られた撮影画像Ｉａに基づくＳＦＭ検知によりフロントカメラ１５１ａの近傍に点群Ｇ２，Ｇ３が検知された場合を例示する。ここで、点群Ｇ２は、撮影画像Ｉａにおける物体Ｏ６に基づいてＳＦＭ検知された点群である。また、点群Ｇ３は、撮影画像Ｉａにおける物体Ｏ５に基づいてＳＦＭ検知された点群である。

【0076】

本実施形態に係る誤検知判定部１１５は、フロントカメラ１５１ａにより得られた撮影画像Ｉａに基づくＳＦＭ検知結果を、サイドカメラ１５１ｂにより得られた撮影画像Ｉｂの座標に合わせて座標変換する。ここで、フロントカメラ１５１ａにより得られた撮影画像Ｉａに基づくＳＦＭ検知結果は、図１１の撮影画像Ｉａに、白抜きの丸、太線枠の白抜きの丸及び黒塗りの丸で示す物体Ｏ５又は物体Ｏ６上の点群である。ここで、図１１において、白抜きの丸は、移動物体上の点を示す。また、太枠線の白抜きの丸は、白抜きの丸で示す点群のうちの説明のために特に注目している点を強調して示す。また、黒塗りの丸は、実際に静止物体上にある点を示す。また、誤検知判定部１１５は、座標変換された点群を撮影画像Ｉｂの画像上に投影する。図１１の撮影画像Ｉｂには、撮影画像Ｉｂの画像上に投影された撮影画像Ｉａに基づくＳＦＭ検知結果の投影点を星で示す。

【0077】

また、誤検知判定部１１５は、撮影画像Ｉａに基づくＳＦＭ検知において用いられた撮影画像Ｉａの画像上の特徴点に対応する撮影画像Ｉｂの画像上の点を特定する。図１１の撮影画像Ｉａには、撮影画像Ｉａに基づくＳＦＭ検知において用いられた撮影画像Ｉａの画像上の特徴点を、太線枠の白抜きの丸で示す。また、図１１の撮影画像Ｉｂには、当該特徴点に対応する撮影画像Ｉｂの画像上の対応点を、太線枠の白抜きの丸で示す。

【0078】

そして、誤検知判定部１１５は、図１１の撮影画像Ｉｂに実線の両矢印で示すように、当該投影点と、当該対応点との間の撮影画像Ｉｂの画像上における距離を算出する。誤検知判定部１１５は、算出された距離が予め定められてメモリ１３等に記憶された閾値より大きいとき、撮影画像Ｉａの画像上において対応点が存在する範囲のＳＦＭ検知結果を棄却する。図１１の撮影画像Ｉａでは、物体Ｏ５上の２つの太線枠の白抜きの丸の間の幅内の点群に関して棄却される。このように、本実施形態に係る誤検知判定部１１５は、撮影画像上の物体Ｏ５については、移動する物体Ｏ１を静止物体として検知した結果であるとして棄却することができる。

【0079】

一方で、誤検知判定部１１５は、撮影画像Ｉｂの画像上において対応点が存在しない場合、ＳＦＭ検知結果の撮影画像Ｉｂへの投影点が他の棄却されていない検知結果の範囲、例えば物体Ｏ６のＳＦＭ検知結果の存在する範囲に含まれていれば、視点変更によりオクルージョンが発生したとして、すなわち実際に静止物体が存在するとして採用することができる。もし他の棄却されていない検知結果の範囲に含まれなければ、オクルージョンが発生していないことと対応点が存在しないこととの矛盾に基づき棄却する。ここで、視点変更とは、フロントカメラ１５１ａ及びサイドカメラ１５１ｂの間の撮影方向の変更を意味する。また、オクルージョンとは、手前にある物体が背後にある物体を隠して見えないようにする状態を言う。

【0080】

このように、ＳＦＭ検知部１１１により複数のカメラ１５１を用いた複数のＳＦＭ検知を行う構成であっても、上述の実施形態と同様の効果が得られる。

【0081】

本実施形態の障害物検知装置１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録されて提供される。コンピュータで読み取り可能な記録媒体としては、例えば、ＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等が適宜利用可能である。また、可搬型の外部記憶装置としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、Ｆｌａｓｈメモリ等が適宜利用可能である。

【0082】

また、本実施形態の障害物検知装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の障害物検知装置１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

【0083】

また、障害物検知装置１で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0084】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0085】

１ 障害物検知装置
１１ プロセッサ
１１１ ＳＦＭ検知部（第１の検知部）
１１３ レーダー検知部（第２の検知部）
１１５ 誤検知判定部
１１７ 出力部
１３ メモリ
１５１ カメラ
１５１ａ フロントカメラ
１５１ｂ サイドカメラ
１５３ センサ
１７１ ディスプレイ
１７３ スピーカ
３ 移動体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】