特開 2022-190849 抽出装置および抽出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022190849

(43)【公開日】2022-12-27

(54)【発明の名称】抽出装置および抽出方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221220BHJP

   G06T 7/00 20170101ALI20221220BHJP

   G06T 7/20 20170101ALI20221220BHJP

   G06T 7/215 20170101ALI20221220BHJP

   G06T 7/60 20170101ALI20221220BHJP

【ＦＩ】

G08G1/16 C

G06T7/00 650

G06T7/00 650B

G06T7/20

G06T7/20 100

G06T7/215

G06T7/60 300A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021099316

(22)【出願日】2021-06-15

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】村角 周樹

(72)【発明者】

【氏名】垣田 直士

(72)【発明者】

【氏名】三野 敦

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181CC04

5H181LL01

5H181LL04

5H181LL08

5L096BA02

5L096BA04

5L096CA02

5L096DA03

5L096FA04

5L096FA66

5L096GA13

5L096HA04

(57)【要約】

【課題】カーブミラーに映る移動物体の抽出精度を向上させること。
【解決手段】実施形態に係る抽出装置は、検出部と、判定部と、設定部と、抽出部とを備える。検出部は、自車両の進行方向を撮像した撮像画像からカーブミラーを検出する。判定部は、検出部によって検出されたカーブミラーの外縁のオプティカルフローが示す第１移動量に基づき、自車両が移動状態か停止状態かを判定する。設定部は、判定部による判定結果が停止状態である場合に、移動状態である場合に比べて閾値を低く設定する。抽出部は、カーブミラーの内部のオプティカルフローが示す第２移動量が設定部によって設定された閾値を超える物体をカーブミラーに映る移動物体として抽出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

自車両の進行方向を撮像した撮像画像からカーブミラーを検出する検出部と、
前記検出部によって検出された前記カーブミラーの外縁のオプティカルフローが示す第１移動量に基づき、前記自車両が移動状態か停止状態かを判定する判定部と、
前記判定部による判定結果が前記停止状態である場合に、前記移動状態である場合に比べて閾値を低く設定する設定部と、
前記カーブミラーの内部のオプティカルフローが示す第２移動量が前記設定部によって設定された前記閾値を超える物体を前記カーブミラーに映る移動物体として抽出する抽出部と
を備えることを特徴とする抽出装置。

【請求項2】

前記抽出部は、
前記移動物体のうち、前記自車両へ接近する接近物体を抽出すること
を特徴とする請求項１に記載の抽出装置。

【請求項3】

前記判定部は、
前記第１移動量が第１閾値未満である場合に、停車状態カウンタを増加させ、前記第１移動量が前記第１閾値以上である場合に、移動状態カウンタを増加させるカウンタ部と、
前記停車状態カウンタまたは前記移動状態カウンタの値が切替閾値を超えた場合に、前記移動状態または前記停止状態の判定結果を切り替える切替部と
を備えることを特徴とする請求項１または２に記載の抽出装置。

【請求項4】

前記カウンタ部は、
前記停車状態カウンタまたは前記移動状態カウンタのうち、一方のカウンタの値を増加させた場合に、他方のカウンタの値をリセットすること
を特徴とする請求項３に記載の抽出装置。

【請求項5】

前記切替部は、
前記停車状態カウンタに対する前記切替閾値について、前記移動状態カウンタに対する前記切替閾値よりも高い値の前記切替閾値を用いること
を特徴とする請求項３または４に記載の抽出装置。

【請求項6】

自車両の進行方向を撮像した撮像画像からカーブミラーを検出する検出工程と、
前記検出工程によって検出された前記カーブミラーの外縁のオプティカルフローが示す第１移動量に基づき、前記自車両が移動状態か停止状態かを判定する判定工程と、
前記判定工程による判定結果が前記停止状態である場合に、前記移動状態である場合に比べて閾値を低く設定する設定工程と、
前記カーブミラーの内部のオプティカルフローが示す第２移動量が前記設定工程によって設定された前記閾値を超える物体を前記カーブミラーに映る移動物体として抽出する抽出工程と
を含むことを特徴とする抽出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、抽出装置および抽出方法に関する。

【背景技術】

【0002】

従来、車両の周囲を撮像した撮像画像からカーブミラーを抽出し、カーブミラーに映る特徴点の移動ベクトルに基づいて、自車両に近づいてくるあるいは自車両から遠ざかる移動物体を抽出する技術が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５－２３４９９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、カーブミラーに映る移動物体の抽出精度を向上させる点において改善の余地があった。

【0005】

本発明は、上記に鑑みてなされたものであって、カーブミラーに映る移動物体の抽出精度を向上させることができる抽出装置および抽出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る抽出装置は、検出部と、判定部と、設定部と、抽出部とを備える。前記検出部は、自車両の進行方向を撮像した撮像画像からカーブミラーを検出する。前記判定部は、前記検出部によって検出された前記カーブミラーの外縁のオプティカルフローが示す第１移動量に基づき、前記自車両が移動状態か停止状態かを判定する。前記設定部は、前記判定部による判定結果が前記停止状態である場合に、前記移動状態である場合に比べて閾値を低く設定する。前記抽出部は、前記カーブミラーの内部のオプティカルフローが示す第２移動量が前記設定部によって設定された前記閾値を超える物体を前記カーブミラーに映る移動物体として抽出する。

【発明の効果】

【0007】

本発明によれば、カーブミラーに映る移動物体の抽出精度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、抽出方法の概要を示す図である。

【図2】図２は、抽出装置のブロック図である。

【図3】図３は、判定部のブロック図である。

【図4】図４は、カウンタ部および切替部による処理の一例を示す図である。

【図5A】図５Ａは、接近物体の抽出処理の一例を示す図である。

【図5B】図５Ｂは、接近物体の抽出処理の一例を示す図である。

【図6】図６は、管理装置が実行する処理手順を示すフローチャートである。

【図7】図７は、図６に示すステップS１０３の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する抽出装置および抽出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

【0010】

まず、図１を用いて、実施形態に係る抽出装置および抽出方法の概要について説明する。図１は、抽出方法の概要を示す図である。なお、実施形態に係る抽出方法は、図１に示す抽出装置１によって実行される。

【0011】

図１に示すように、抽出装置１は、たとえば、自車両ＭＣに搭載される。たとえば、抽出装置１は、自車両ＭＣの進行方向（たとえば、前方）を撮像するカメラを備えたドライブレコーダであり、カメラで撮像した撮像画像から障害物を検出する障害物検知機能を有する。

【0012】

たとえば、図１に示すように、自車両ＭＣがＴ字路へこれから進入する場面を想定すると、通常、自車両ＭＣの運転者は、カーブミラーＭを目視することで、交差点に他方向から進入する他車両Ｃの存在を認識する。

【0013】

これに対して、抽出装置１は、撮像画像に対する画像処理を行うことで、カーブミラーＭに映る他車両Ｃ等の障害物を検出する。また、抽出装置１は、障害物を検出すると、たとえば、その存在を運転者へ報知することで、交差点における衝突事故を未然に防ぐ、いわゆるドライブアシスト機能を有する。なお、ここでいう障害物とは、他車両Ｃのみならず、歩行者、バイク、自転車などといったＴ字路において自車両ＭＣと衝突する可能性がある移動物体を指すものとする。

【0014】

ところで、たとえば、撮像画像からカーブミラーの鏡面内のオプティカルフローを算出することで、カーブミラーに映る障害物の動きや位置を認識することが可能である。たとえば、Ｔ字路に近づく移動物体は、鏡面内に映る大きさや向きが変化するので、その移動速度に応じたオプティカルフローが検出される。そのため、オプティカルフローの大きさが所定の判定閾値を超える物体がカーブミラーに映る障害物として検出される。

【0015】

しかしながら、実際には、障害物に加え、自車両ＭＣも走行する。そのため、カーブミラーの鏡面内のオプティカルフローから障害物を検出する場合には、障害物自体の移動成分に加え、自車両ＭＣの移動成分をも考慮する必要がある。

【0016】

より具体的には、他車両Ｃが一定の速度で走行していたとすると、自車両ＭＣが停車している場合には、自車両ＭＣが走行している場合に比べて、カーブミラーに映る他車両Ｃのオプティカルフローが小さい値を取りやすくなる。言い換えれば、自車両ＭＣが走行している場合には、自車両ＭＣが停車している場合に比べて、カーブミラーに映る他車両Ｃのオプティカルフローが大きい値を取りやすくなる。

【0017】

これに対して、障害物のオプティカルフローに対する閾値を一定としておくと、障害物の未抽出や誤抽出を招きやすく、障害物の抽出精度の低下につながるおそれがある。

【0018】

そこで、実施形態に係る抽出装置１では、自車両ＭＣの走行状態を判定するとともに、判定結果に応じて、障害物を検出するためのオプティカルフローの閾値を切り替えることにした。

【0019】

具体的には、図１に示すように、抽出装置１は、まず、撮像画像Ｉから撮像画像Ｉに映るカーブミラーＭを検出する（ステップＳ１）。抽出装置１は、たとえば、撮像画像Ｉに対する所定のエッジ抽出処理等によってカーブミラーＭの外縁Ｍａを検出するとともに、検出した外縁Ｍａの内部をカーブミラーＭの鏡面Ｍｍとして検出する。

【0020】

ここで、カーブミラーＭ自体は固定されて設置されているので、カーブミラーＭの外縁ＭａのオプティカルフローＦａは、自車両ＭＣの移動状態を示すこととなる。すなわち、自車両ＭＣが完全に停車している場合には、撮像画像Ｉに映るカーブミラーＭの位置は変化しないので、外縁ＭａのオプティカルフローＦａは検出されない。一方、たとえば、自車両ＭＣがカーブミラーＭに向かって走行している場合には、撮像画像Ｉに映るカーブミラーＭは位置や大きさが相対的に変化するので移動速度に応じたオプティカルフローＦａが検出されることになる。

【0021】

そのため、抽出装置１は、カーブミラーＭの外縁ＭａのオプティカルフローＦａが示す第１移動量に基づき、自車両ＭＣの走行状態を判定する（ステップＳ２）。なお、たとえば、第１移動量は、単位時間当たりの自車両ＭＣの移動距離に対応し、オプティカルフローＦａの大きさに対応する。

【0022】

たとえば、抽出装置１では、ステップＳ２の判定において、第１移動量が第１閾値Ｔｈ１を超える場合に、自車両ＭＣが移動状態であると判定し、第１移動量が第１閾値Ｔｈ１以下である場合に、自車両ＭＣが停止状態であると判定する。なお、たとえば、移動状態とは、自車両ＭＣとカーブミラーＭとの間の相対位置が変化している状態のことを示し、停止状態とは、自車両ＭＣとカーブミラーＭとの相対位置が変化していない状態のことを示す。

【0023】

つづいて、抽出装置１は、ステップＳ２の判定結果に応じて、カーブミラーＭから障害物を抽出するための閾値を設定する（ステップＳ３）。自車両ＭＣが移動状態である場合、障害物となる他車両Ｃに加え、自車両ＭＣがカーブミラーＭに近づくことになるので、自車両ＭＣが停止状態である場合に比べて、鏡面Ｍｍ内のオプティカルフローＦｍ（すなわち、カーブミラーＭに映る障害物に対応するオプティカルフロー）が大きくなる。

【0024】

そのため、ステップＳ３の処理において、抽出装置１では、自車両ＭＣが停止状態であると判定した場合には、自車両ＭＣが移動状態である場合よりも低い値の停止閾値Ｔｈ２２へ設定する。また、この際、抽出装置１では、自車両ＭＣが移動状態であると判定した場合には、第２閾値を停止閾値Ｔｈ２２よりも値の高い移動閾値Ｔｈ２１へ設定する。

【0025】

その後、抽出装置１は、カーブミラーＭの内部のオプティカルフローが示す第２移動量がステップＳ３において設定した第２閾値を超える物体について、カーブミラーＭに映る移動物体、すなわち、Ｔ字路へ近づく移動物体として抽出する（ステップＳ４）。

【0026】

すなわち、抽出装置１は、自車両ＭＣが移動状態である場合には、第２移動量が移動閾値Ｔｈ２１を超える物体を移動物体として抽出し、自車両ＭＣが停止状態である場合には、第２移動量が停止閾値Ｔｈ２２を超える物体を移動物体として抽出することになる。

【0027】

このように、実施形態に係る抽出装置１では、自車両ＭＣが移動状態か停止状態かに応じて、移動物体を抽出するための第２閾値を動的に設定するとともに、設定した第２閾値に基づき、カーブミラーＭに映る移動物体を抽出する。

【0028】

この際、実施形態に係る抽出装置１では、自車両ＭＣが停止状態である場合には、移動状態である場合に比べて、第２閾値を低く設定し、自車両ＭＣが移動状態である場合には、停止状態である場合に比べて、第２閾値を高く設定する。

【0029】

これにより、実施形態に係る抽出装置１では、自車両ＭＣが停止状態である場合に、より小さいオプティカルフローＦｍを有する障害物を抽出することが可能となるので、障害物の未抽出を抑制することができる。

【0030】

また、実施形態に係る抽出装置１では、自車両ＭＣが移動状態である場合には、自車両ＭＣの移動に伴い変化するオプティカルフローを考慮して、より大きなオプティカルフローＦｍを有する障害物のみを検出することで、障害物の誤抽出を抑制することができる。

【0031】

したがって、実施形態に係る抽出装置１によれば、カーブミラーＭに映る移動物体の抽出精度を向上させることができる。

【0032】

次に、図２を用いて、実施形態に係る抽出装置１の構成例について説明する。図２は、抽出装置１のブロック図である。なお、図２には、抽出装置１に加え、カメラ１００およびディスプレイ１１０を併せて示す。カメラ１００は、自車両ＭＣの進行方向を所定周期で撮像する。たとえば、カメラ１００は、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備える。

【0033】

ディスプレイ１１０は、車載ディスプレイであり、抽出装置１によって抽出された障害物に関する各種情報(たとえば、警告画像)を表示する。また、ディスプレイ１１０は、音声出力部を有し、障害物に関する各種情報として警告音を出力することにしてもよい。また、ディスプレイ１１０として、たとえば、自車両ＭＣのフロントガラスに映像を投影するヘッドアップディスプレイを採用することにしてもよい。

【0034】

図２に示すように、抽出装置１は、記憶部１０と、制御部２０とを備える。記憶部１０は、たとえば、不揮発性メモリやデータフラッシュ、ハードディスクドライブといった記憶デバイスで構成される。記憶部１０には、ミラー検知情報１１、特徴点情報１２および各種プログラムなどが記憶される。

【0035】

ミラー検知情報１１は、カーブミラーＭの検出結果に関する各種情報である。たとえば、自車両ＭＣと、検出したカーブミラーＭの相対位置、大きさ、向き等に関する情報がミラー検知情報１１として記憶部１０に記憶される。

【0036】

特徴点情報１２は、撮像画像Ｉから抽出した特徴点に関する各種情報である。たとえば、特徴点ごとの時系列変化に関する情報が特徴点情報１２として記憶部１０に記憶される。なお、特徴点の時系列変化に基づき、上述したオプティカルフローが算出され、第１移動量および第２移動量が算出されることになる。

【0037】

制御部２０は、検出部２１と、判定部２２と、設定部２３と、抽出部２４と、出力部２５とを備え、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ、入出力ポートなどを有するコンピュータや各種の回路を含む。

【0038】

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２０の検出部２１、判定部２２、設定部２３、抽出部２４および出力部２５として機能する。

【0039】

また、制御部２０の検出部２１、判定部２２、設定部２３、抽出部２４および出力部２５の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

【0040】

検出部２１は、自車両ＭＣの進行方向を撮像した撮像画像ＩからカーブミラーＭを検出する。まず、検出部２１は、カメラ１００から撮像画像Ｉを取得し、カーブミラーＭの形状に対応するミラー形状を抽出する。

【0041】

たとえば、検出部２１は、円形状、楕円形状、四角形状のエッジ部分（外縁）を有する形状をミラー形状として抽出する。つづいて、検出部２１は、抽出したミラー形状の外縁（エッジ部分）をカーブミラーＭの外縁Ｍａとして検出し、外縁Ｍａの内側を鏡面Ｍｍとして検出する。

【0042】

また、検出部２１は、カーブミラーＭの向きを検出する。たとえば、検出部２１は、外縁Ｍａの傾き（たとえば、楕円における主軸の回転角度）に基づき、カーブミラーＭの向きを検出する。具体的には、検出部２１は、外縁Ｍａが右側に傾いている場合(回転角度＞０)、カーブミラーＭの向きを右向きとして検出し、外縁Ｍａが左側に傾いている場合(回転角度＜０)、カーブミラーＭの向きを左向きとして検出する。

【0043】

検出部２１は、カーブミラーＭおよびカーブミラーＭの向きを検出すると、検出結果を記憶部１０にミラー検知情報１１として書き込む。なお、ここでの向きは、カメラ１００の光軸に対して右向きか左向きかを示す。

【0044】

判定部２２は、検出部２１によって検出されたカーブミラーＭの外縁ＭａのオプティカルフローＦａが示す第１移動量に基づき、自車両Ｍｃが移動状態か停止状態かを判定する。

【0045】

図３は、判定部２２のブロック図である。図３に示すように、判定部２２は、たとえば、カウンタ部２２ａと、切替部２２ｂとを備える。カウンタ部２２ａは、第１移動量が第１閾値Ｔｈ１未満である場合に、停止状態カウンタを増加させ、第１移動量が第１閾値Ｔｈ１以上である場合に、移動状態カウンタを増加させる。

【0046】

具体的には、カウンタ部２２ａは、カーブミラーＭの外縁Ｍａの特徴点に基づくオプティカルフローＦａ（図１参照）を算出し、算出したオプティカルフローＦａから自車両ＭＣの単位時間当たりの移動距離を示す第１移動量を算出する。そして、カウンタ部２２ａは、第１移動量に基づき、移動状態カウンタまたは停止状態カウンタの更新を行う。なお、第１移動量は、複数のオプティカルフローＦａの平均値や中間値であってもよく、代表値であってもよい。

【0047】

切替部２２ｂは、停止状態カウンタまたは移動状態カウンタの値が切替閾値を超えた場合に、移動状態または停止状態の判定結果を切り替える。ここで、図４を用いてカウンタ部２２ａおよび切替部２２ｂによる処理の具体例について説明する。

【0048】

図４は、カウンタ部２２ａおよび切替部２２ｂにより処理の具体例を示す図である。なお、図４のＡは、第１移動量の推移を示し、図４のＢおよびＣは、それぞれ移動状態カウンタ、停止状態カウンタの値の推移を示す。

【0049】

たとえば、カウンタ部２２ａは、図４のＡに示す第１移動量が第１閾値Ｔｈ１を超える場合に、図４のＢに示す移動状態カウンタの値を増加させていき、第１移動量が第１閾値Ｔｈ１を下回る場合に、図４のＣに示す停止状態カウンタの値を増加させていく。

【0050】

切替部２２ｂは、移動状態カウンタの値が切替閾値Ｔｈ３１を超えた時点で、自車両ＭＣの走行状態を停止状態から移動状態へ切り替える。また、切替部２２ｂは、停止状態カウンタの値が切替閾値Ｔｈ３２を超えた時点で、自車両ＭＣの走行状態を移動状態から停止状態へ切り替える。

【0051】

そのため、図４の例では、時刻ｔ１１において移動状態カウンタの値が切替閾値Ｔｈ３１を超えるので、切替部２２ｂは、時刻ｔ１１において、自車両ＭＣの走行状態を停止状態から移動状態へ切り替えることになる。

【0052】

その後、図４の例では、時刻ｔ１２において、停止状態カウンタの値が切替閾値Ｔｈ３２を超えるので、切替部２２ｂは、時刻ｔ１２において自車両ＭＣの走行状態を移動状態から停止状態へ切り替えることになる。このように、移動状態カウンタまたは停止状態カウンタの値に基づき、自車両ＭＣの走行状態を判定することで、ノイズ等による誤判定を抑制することができる。

【0053】

また、カウンタ部２２ａは、たとえば、第１移動量が第１閾値Ｔｈ１を下回った場合に、移動状態カウンタの値をリセットし、第１移動量が第１閾値Ｔｈ１を上回った場合に、停止状態カウンタの値をリセットする。

【0054】

すなわち、カウンタ部２２ａは、移動状態カウンタまたは停止状態カウンタのうち、一方のカウンタの値を増加させる場合には、他方のカウンタの値をリセットする。これにより、切替部２２ｂは、移動状態カウンタまたは停止状態カウンタの値が時間的にある程度連続して増加しない場合には、走行状態の切り替えを行わないことになる。

【0055】

つまり、走行状態の切り替えにヒステリシスを持たせることで、ノイズを除去した状態で移動状態および停止状態の切り替えを行うことができ、ある程度の確度を持った走行状態の判定を行うことができる。

【0056】

ところで、上述のように、カーブミラーＭに映る移動物体を抽出するための第２閾値は、自車両ＭＣが移動状態である場合には、移動閾値Ｔｈ２１を用い、停止状態である場合には、移動閾値Ｔｈ２１よりも小さい値の停止閾値Ｔｈ２２を用いることとしている(図１参照)。

【0057】

そのため、たとえば、自車両ＭＣが停止状態である場合には、移動状態である場合に比べて、移動物体の誤抽出が増えることが懸念される。そのため、たとえば、図４のＢ、Ｃに示す移動状態カウンタに用いる切替閾値Ｔｈ３１と、停止状態カウンタに用いる切替閾値Ｔｈ３２とを異なる値とすることにしてもよい。

【0058】

具体的には、切替閾値Ｔｈ３１に比べて、切替閾値Ｔｈ３２に高い値とする。これにより、自車両ＭＣの走行状態は、移動状態から停止状態へ切り替わりにくく、より移動状態として維持されやすくなる。つまり、移動状態から停止状態へと移行させにくくすることで、停止状態とすることによる誤抽出を抑制することができる。

【0059】

なお、切替閾値に代えて、たとえば、移動状態カウンタおよび停止状態カウンタの増加率を変更することにしてもよい。この場合、移動状態カウンタの増加率を停止状態カウンタの増加率よりも大きくすることで、同様の効果を享受することができる。

【0060】

図２の説明に戻り、設定部２３について説明する。設定部２３は、判定部２２による判定結果が停止状態である場合に、移動状態である場合に比べて閾値を低く設定する。すなわち、設定部２３は、判定部２２による判定結果が切り替わった場合に、切り替わり後の判定結果にあわせて閾値を設定する。

【0061】

たとえば、設定部２３は、判定部２２による判定結果が移動状態である場合、図１に示したように、閾値を移動閾値Ｔｈ２１に設定し、判定結果が停止状態である場合には、移動閾値Ｔｈ２１よりも低い値の停止閾値Ｔｈ２２に設定する。

【0062】

抽出部２４は、カーブミラーＭの内部（すなわち、鏡面Ｍｍ）のオプティカルフローＦｍが示す第２移動量が設定部２３によって設定された閾値を超える物体をカーブミラーＭに映る移動物体として抽出する。

【0063】

抽出部２４は、鏡面Ｍｍ内のオプティカルフローＦｍを算出し、オプティカルフローＦｍが示す第２移動量と、設定部２３によって設定された閾値とを比較する。この際、自車両ＭＣが移動状態である場合には、閾値は移動閾値Ｔｈ２１となり、抽出部２４は、第２移動量が移動閾値Ｔｈ２１を超える物体をカーブミラーＭに映る移動物体として抽出する。

【0064】

また、自車両ＭＣが停止状態である場合には、閾値は停止閾値Ｔｈ２２となり、抽出部２４は、第２移動量が停止閾値Ｔｈ２２を超える物体をカーブミラーＭに映る移動物体として抽出する。

【0065】

また、抽出部２４は、抽出した移動物体のうち、自車両ＭＣへ接近する接近物体を抽出することにしてもよい。すなわち、カーブミラーＭに映る移動物体のうち、自車両ＭＣの運転者に注意喚起が必要な接近物体のみを抽出することにしてもよい。

【0066】

図５Ａおよび図５Ｂは、接近物体の抽出処理の一例を示す図である。図５Ａに示すように、Ｔ字路において、自車両ＭＣから見て、カーブミラーＭが右向きに設置される場合において、自車両ＭＣおよび他車両ＣがともにＴ字路に接近する場合を想定する。

【0067】

この場合、他車両Ｃは図中右から左へ移動するので、カーブミラーＭに映る他車両ＣのオプティカルフローＦｍは左向きとなる。そのため、抽出部２４は、オプティカルフローＦｍが閾値を超える移動物体のうち、オプティカルフローＦｍが左向き成分を持つ移動物体について接近物体として抽出する。

【0068】

一方、たとえば、図５Ｂに示すように、他車両Ｃが左から右側へＴ字路から遠ざかる場合において、カーブミラーＭに映る他車両ＣのオプティカルフローＦｍは右向きとなる。そのため、抽出部２４は、オプティカルフローＦｍが閾値を超える移動物体であっても、オプティカルフローＦｍが右向き成分を持つ移動物体について接近物体として抽出しない。

【0069】

このように、抽出部２４は、移動物体のうち、接近物体を抽出することで、自車両ＭＣの運転者にとってより有益な情報のみを提供することができる。つまり、注意喚起に必要な情報のみを提供することができる。なお、カーブミラーＭの向きが逆（左向き）である場合には、上記のオプティカルフローＦｍに対する接近判定の向きは逆転する。

【0070】

図２の説明に戻り、出力部２５について説明する。出力部２５は、たとえば、抽出部２４によって抽出された接近物体に関する情報を出力する。たとえば、出力部２５は、警告画像を生成し、生成した警告画像をディスプレイ１１０へ出力する。これにより、ディスプレイ１１０には、警告画像が表示され、運転者に対して注意喚起を図ることができる。なお、出力部２５は、注意喚起を促すテキストを出力することにしてもよいし、音声を出力することにしてもよい。

【0071】

次に、図６および図７を用いて、実施形態に係る抽出装置１が実行する処理手順について説明する。図６は、抽出装置１が実行する処理手順を示す図である。図７は、図６に示すステップＳ１０３の処理手順を示す図である。なお、以下に示す処理手順は、制御部２０によって繰り返し実行される。

【0072】

図６に示すように、抽出装置１は、まず、撮像画像Ｉを取得すると（ステップＳ１０１）、撮像画像ＩからカーブミラーＭを検出する（ステップＳ１０２）。つづいて、抽出装置１は、自車両ＭＣの走行状態を判定し（ステップＳ１０３）、ステップＳ１０３の判定結果に応じて、閾値を設定する（ステップＳ１０４）。

【0073】

つづいて、抽出装置１は、カーブミラーＭの鏡面Ｍｍ内のオプティカルフローＦｍおよびステップＳ１０４にて設定した閾値に基づいて、接近物体を抽出する（ステップＳ１０５）。

【0074】

つづいて、抽出装置１は、ステップＳ１０５の抽出結果に基づき、接近物体があるか否かを判定する（ステップＳ１０６）。抽出装置１は、接近物体がある場合（ステップＳ１０６；Ｙｅｓ）、警告情報を出力し（ステップＳ１０７）、処理を終了する。

【0075】

また、抽出装置１は、接近物体がなかった場合（ステップＳ１０６；Ｎｏ）、ステップＳ１０７の処理を省略して、処理を終了する。

【0076】

次に、図７を用いて、図６のステップＳ１０３の処理について説明する。図７に示すように、抽出装置１は、カーブミラーＭの外縁ＭａのオプティカルフローＦａから第１移動量を算出し（ステップＳ２０１）、第１移動量が移動閾値より大きいか否かを判定する（ステップＳ２０２）。

【0077】

抽出装置１は、ステップＳ２０２の判定において、第１移動量が移動閾値よりも大きかった場合（ステップＳ２０２：Ｙｅｓ）、移動状態カウンタの値を増加させる（ステップＳ２０３）。一方、抽出装置１は、ステップＳ２０２の判定において、第１移動量が移動閾値以下であった場合（ステップＳ２０２；Ｎｏ）、停止状態カウンタの値を増加させる（ステップＳ２０６）。なお、ステップＳ２０３およびステップＳ２０６の処理において、移動状態カウンタの値を増加させる場合には、停止状態カウンタの値をリセットし、停止状態カウンタの値を増加させる場合には、移動状態カウンタの値をリセットする。なお、リセットするとは、カウンタの値をゼロにすることを示す。

【0078】

つづいて、抽出装置１は、カウンタ（移動状態カウンタまたは停止状態カウンタ）の値が切替閾値に到達したか否かを判定する（ステップＳ２０４）。抽出装置１は、カウンタの値が切替閾値に到達したと判定した場合（ステップＳ２０４；Ｙｅｓ）、自車両ＭＣの走行状態を切り替えて（ステップＳ２０５）、処理を終了する。

【0079】

また、抽出装置１は、ステップＳ２０４の判定において、カウンタの値が切替閾値に到達していないと判定した場合（ステップＳ２０４：Ｎｏ）、ステップＳ２０５の処理を省略して、処理を終了する。

【0080】

上述したように、実施形態に係る抽出装置１は、検出部２１と、判定部２２と、設定部２３と、抽出部２４とを備える。検出部２１は、自車両ＭＣの進行方向を撮像した撮像画像ＩからカーブミラーＭを検出する。判定部２２は、検出部２１によって検出されたカーブミラーＭの外縁ＭａのオプティカルフローＦａが示す第１移動量に基づき、自車両ＭＣが移動状態か停止状態かを判定する。

【0081】

設定部２３は、判定部２２による判定結果が停止状態である場合に、移動状態である場合に比べて閾値を低く設定する。抽出部２４は、カーブミラーＭの内部のオプティカルフローＦｍが示す第２移動量が設定部２３によって設定された閾値を超える物体をカーブミラーＭに映る移動物体として抽出する。

【0082】

したがって、実施形態に係る抽出装置１によれば、カーブミラーＭに映る移動物体の抽出精度を向上させることができる。

【0083】

ところで、上述した実施形態では、自車両ＭＣの前方を撮像した撮像画像ＩからカーブミラーＭに映る移動物体を抽出する場合について説明したが、撮像画像Ｉは自車両ＭＣの側方や後方を撮像したものであってもよい。

【0084】

また、上述した実施形態では、カーブミラーＭに映る移動物体を抽出した場合に、自車両ＭＣの運転者にその存在を報知する場合について説明したが、これに限定されるものではない。すなわち、本願発明を自動運転に適用することにしてもよい。たとえば、この場合、カーブミラーＭに映る移動物体を抽出した場合に、減速等の各種衝突回避措置を行うようにしてもよい。

【0085】

また、上述した実施形態では、自車両ＭＣが移動状態である場合の移動閾値Ｔｈ２１と、停止状態である場合の移動閾値Ｔｈ２２との間で閾値を切り替える場合について説明したがこれに限定さるものではない。すなわち、たとえば、第１移動量に基づき、段階的に閾値を切り替えることにしてもよい。

【0086】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0087】

１ 抽出装置
２１ 検出部
２２ 判定部
２２ａ カウンタ部
２２ｂ 切替部
２３ 設定部
２４ 抽出部
２５ 出力部
Ｍ カーブミラー
Ｍａ 外縁
Ｍｍ 鏡面

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】