特許 7192627 落下物判別装置、運転支援システムおよび落下物判別方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-12

(45)【発行日】2022-12-20

(54)【発明の名称】落下物判別装置、運転支援システムおよび落下物判別方法

(51)【国際特許分類】

   G06T 7/215 20170101AFI20221213BHJP

   G08G 1/16 20060101ALI20221213BHJP

   G06T 7/00 20170101ALI20221213BHJP

【ＦＩ】

G06T7/215

G08G1/16 C

G06T7/00 650B

【請求項の数】 11

(21)【出願番号】P 2019071687

(22)【出願日】2019-04-04

(65)【公開番号】P2020170370

(43)【公開日】2020-10-15

【審査請求日】2021-03-18

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】横山 隆久

(72)【発明者】

【氏名】井戸 準行

【審査官】増子 真

(56)【参考文献】

【文献】特開２０１８－１２０２８２（ＪＰ，Ａ）

【文献】特開２０１０－１０８３７１（ＪＰ，Ａ）

【文献】特開２０１２－１０３９１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｗ １０／００ － １０／３０

Ｂ６０Ｗ ３０／００ － ６０／００

Ｇ０１Ｓ ７／００ － ７／４２

Ｇ０１Ｓ １３／００ － １３／９５

Ｇ０１Ｌ ５／００ － ５／２８

Ｂ６０Ｐ １／００ － １／６４

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

車両（５００）に搭載される落下物判別装置（１００）であって、
前記車両の周囲を走行する周囲車両の荷台付近の物体の変位を示す情報を第１の検出信号として取得する取得部（１０３）と、
前記第１の検出信号を用いて、少なくとも前記物体の振動周波数と振幅と大きさとのいずれか一つ以上を算出し、算出結果と、前記物体の少なくとも一部が前記荷台上にあるか否かと、に応じて前記物体が前記荷台から落下する可能性がある落下可能性物体か前記物体が前記荷台から落下している落下中物体であるか判定する制御部（１０１）と、を備える、落下物判別装置。

【請求項2】

請求項１に記載の落下物判別装置であって、
前記制御部は、前記算出結果に応じて前記物体が前記車両に衝突することが許容できない場合に、前記判定を行う、落下物判別装置。

【請求項3】

請求項１または請求項２に記載の落下物判別装置であって、
前記制御部は、前記振動周波数が予め定められた閾値以上である場合に、前記物体を前記落下可能性物体と判定する、落下物判別装置。

【請求項4】

請求項１から請求項３のうちいずれか一項に記載の落下物判別装置であって、
前記制御部は、前記振幅が予め定められた閾値以上である場合に、前記物体を前記落下可能性物体と判定する、落下物判別装置。

【請求項5】

請求項１から請求項４のうちいずれか一項に記載の落下物判別装置であって、
前記制御部は、前記物体の大きさが予め定められた大きさ以上の場合に前記物体が前記車両に衝突することが許容できないとし、前記物体が前記荷台上になく、かつ、前記物体が落下可能性物体でなく、かつ、前記物体が路上にない場合に、前記物体を前記落下中物体と判定する、落下物判別装置。

【請求項6】

請求項５に記載の落下物判別装置であって、
前記制御部は、前記振動周波数が予め定められた第１閾値以下であって、かつ、前記振動周波数が予め定められた第１閾値よりも小さい第２閾値以上である場合に、前記物体を前記落下中物体と判定する、落下物判別装置。

【請求項7】

請求項１から請求項６のうちいずれか一項に記載の落下物判別装置であって、
前記制御部は、前記車両が有する前記車両の運転支援を実行する運転支援実行装置に前記運転支援の態様を指示し、
前記物体が落下中物体である場合に、前記運転支援の態様を第１運転支援態様に決定し、
前記物体が落下可能性物体である場合に、前記運転支援の態様を前記第１運転支援態様よりも支援の度合いが低い第２運転支援態様に決定する、落下物判別装置。

【請求項8】

請求項７に記載の落下物判別装置であって、
前記第１運転支援態様は、前記車両が前記物体に衝突することを回避するよう支援する態様である、落下物判別装置。

【請求項9】

請求項７または請求項８に記載の落下物判別装置であって、
前記第２運転支援態様は、前記車両と前記周囲車両との車間距離を広く取るよう支援する態様である、落下物判別装置。

【請求項10】

車両に搭載される運転支援システム（１０）であって、
請求項７から請求項９のうちいずれか一項に記載の落下物判別装置と、
前記第１の検出信号を出力する第１の検出器（２６，２６１）と、
前記制御部によって決定された前記運転支援の態様を実行する運転支援実行装置（３１）と、を備える、運転支援システム。

【請求項11】

落下物判別装置により実行される落下物判別方法であって、
車両の周囲を走行する周囲車両の荷台付近の物体の変位を示す情報を第１の検出信号として取得し、
前記第１の検出信号を用いて、少なくとも前記物体の振動周波数と振幅と大きさとのいずれか一つ以上を算出し、算出結果と、前記物体の少なくとも一部が前記荷台上にあるか否かと、に応じて前記物体が前記荷台から落下する可能性がある落下可能性物体か前記物体が前記荷台から落下している落下中物体であるか判定する、ことを備える落下物判別方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、落下物判別装置、運転支援システムおよび落下物判別方法に関する。

【背景技術】

【0002】

運転支援として、例えば、特許文献１に記載されているような、カメラの撮像画像と予め用意したテンプレートとを比較して、路上の歩行者を判別し、衝突を回避する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－１５７７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、自車両の周囲を走行する周囲車両の荷台から落下しそうな物体や、荷台から落下している最中の物体について、検出することが困難であった。また、これらの物体に対してテンプレートを用意するのは困難であり、判別できていなかった。そのため、落下しそうな物体や落下している最中の物体を判別できる技術が望まれていた。

【課題を解決するための手段】

【0005】

本開示の一形態によれば、車両（５００）に搭載される落下物判別装置（１００）が提供される。この落下物判別装置は、前記車両の周囲を走行する周囲車両の荷台付近の物体の変位を示す情報を第１の検出信号として取得する取得部（１０３）と、前記第１の検出信号を用いて、少なくとも前記物体の振動周波数と振幅と大きさとのいずれか一つ以上を算出し、算出結果と、前記物体の少なくとも一部が前記荷台上にあるか否かと、に応じて前記物体が前記荷台から落下する可能性がある落下可能性物体か前記物体が前記荷台から落下している落下中物体であるか判定する制御部（１０１）と、を備える。

【0006】

この落下物判別装置によれば、第１の検出信号を用いて荷台付近物体の振動周波数と振幅と大きさとのいずれか一つ以上を算出し、その算出結果に応じて荷台付近物体が落下可能性物体か落下中物体であるか判定する。そのため、落下しそうな物体や落下している最中の物体を判別できる。

【図面の簡単な説明】

【0007】

【図1】落下物判別装置が搭載された車両の一例を示す説明図。

【図2】落下物判別装置の機能的構成を示すブロック図。

【図3】運転支援処理の一例を示したフローチャート。

【図4】荷台付近物体検出処理の一例を示したフローチャート。

【図5】落下物判定処理の一例を示したフローチャート。

【発明を実施するための形態】

【0008】

Ａ．第１実施形態：
図１に示すように、第１の実施形態に係る車両における落下物判別装置１００は、車両５００に搭載されて用いられる。落下物判別装置１００は、少なくとも制御部および取得部を備えていれば良く、運転支援システム１０は、落下物判別装置１００に加え、検出器としてのレーダＥＣＵ２１、ミリ波レーダ２１１、カメラＥＣＵ２２、カメラ２２１、イベントカメラＥＣＵ２６、イベントカメラ２６１および運転支援実行装置３１を備えている。第１の実施形態における車両５００は、さらに、回転角センサ２３、車輪速度センサ２４およびヨーレートセンサ２５を備えている。車両５００はさらに、車輪５０１、制動装置５０２、制動ライン５０３、ステアリングホイール５０４、フロントガラス５１０、フロントバンパ５２０およびリアバンパ５２１を備えている。車両５００は、内燃機関および電動機の少なくとも一方を車両走行用の駆動力源５０５として備えている。

【0009】

レーダＥＣＵ２１は、電波を射出して物標からの反射波を検出するミリ波レーダ２１１と接続されており、ミリ波レーダ２１１により取得された反射波を用いて検出点、すなわち、反射点によって物標を表す第２の検出信号を生成し、出力する。カメラＥＣＵ２２は、単眼のカメラ２２１と接続されており、カメラ２２１によって取得された撮像画像から車両５００の周囲を走行する周囲車両の荷台位置を特定し、予め用意されている対象物の形状パターンを用いたパターンマッチング処理によって判定した周囲車両の荷台付近の物体（以下、「荷台付近物体」という）の有無を示す第２の検出信号を生成し、出力する。「荷台付近物体」とは少なくとも一部が荷台上に存在する物体である。例えば、長尺であり一部が荷台から突出している物体や、一部が荷台から垂れ下がっている物体、上下方向に揺れ動いており荷台から浮いている物体が含まれる。周囲車両は、例えば、車両５００の前方を走行する車両５００であるが、前方車両に限らず、車両５００と併走する車両や、車両５００の対向車線であって車両５００の後方を走行する車両でもよい。周囲車両の荷台位置の特定は、例えば、機械学習を用いたセマンティック・セグメンテーションなどによって実行される。撮像画像の各フレームに含まれる画素には、例えば、画素値情報（Ｒ、Ｇ，Ｂ）、位置情報としての座標情報が関連付けられている。

【0010】

イベントカメラＥＣＵ２６は、物体の変位に伴う物体の輝度値の変化を数μｓ単位で取得可能なイベントカメラ２６１と接続されており、物体の変位に応じた輝度値の変化が予め定められたしきい値以上の変化画素の情報を生成し、第１の検出信号として出力する。イベントカメラＥＣＵ２６およびイベントカメラ２６１は、物体の変位に応じて値が変化した変化画素の情報を取得し、第１の検出信号として出力する第１の検出器に相当する。

【0011】

各ＥＣＵ２１、２２、２６は、演算部、記憶部および入出力部を備えるマイクロプロセッサである。なお、レーダＥＣＵ２１およびミリ波レーダ２１１は検出波を射出して反射波および反射点を検出して、一般的に自車両と物標との間の距離を測距するための検出器に相当し、車両５００に対する物標の距離、相対速度および角度を検出する。この検出器としては、ミリ波レーダ２１１の他に、ライダー（ＬＩＤＡＲ：レーザレーダ）や、音波を射出しその反射波を検出する超音波検出器が用いられても良い。カメラＥＣＵ２２およびカメラ２２１は、物標の形状を３次元的に認識可能な検出器であり撮像装置が該当する、撮像装置としては、カメラ２２１の他に、３Ｄライダーが用いられても良い。カメラ２２１は、２以上のカメラによって構成されるステレオカメラやマルチカメラであっても良い。イベントカメラ２６１としては、フレーム群からなる検出信号を出力しないイメージセンサの他に、荷台付近物体の振動を算出可能な高フレームレート、例えば、１０００ｆｐｓでのフレーム群からなる検出信号を出力可能な撮像装置が用いられても良い。

【0012】

車両５００には、車両５００の制動を実現するための制動装置５０２、車両５００の操舵を実現するためのステアリングホイール５０４が備えられている。制動装置５０２は、各車輪５０１に備えられている。各制動装置５０２は、例えば、ディスクブレーキ、ドラムブレーキであり、運転者の制動ペダル操作に応じて制動ライン５０３を介して供給されるブレーキ液圧に応じた制動力で各車輪５０１を制動し、車両５００の制動を実現する。制動ライン５０３には制動ペダル操作に応じたブレーキ液圧を発生させるブレーキピストンおよびブレーキ液ラインが含まれる。なお、制動ライン５０３としては、ブレーキ液ラインに代えて、制御信号線とし、各制動装置５０２に備えられているアクチュエータを作動させる構成が採用されても良い。ステアリングホイール５０４は、ステアリングロッド、操舵機構および転舵軸４４を含む操舵装置４２を介して前側の車輪５０１と接続されている。

【0013】

図２に示すように、落下物判別装置１００は、制御部としての中央処理装置（ＣＰＵ）１０１およびメモリ１０２、取得部としての入出力インタフェース１０３、並びにバス１０４を備えている。ＣＰＵ１０１、メモリ１０２および入出力インタフェース１０３はバス１０４を介して双方向通信可能に接続されている。メモリ１０２は、自車両の運転支援を実行するための運転支援プログラムＰｒ１、イベントカメラ２６１の検出結果を用いて荷台付近物体を検出するための荷台付近物体検出プログラムＰｒ２、荷台付近物体が落下する可能性がある落下可能性物体か、荷台から落下している最中の落下中物体であるかを判定するための落下物判定プログラムＰｒ３、を不揮発的且つ読み出し専用に格納するメモリ、例えばＲＯＭと、ＣＰＵ１０１による読み書きが可能であって落下物判別フラグ格納領域１０２ａを有するメモリ、例えばＲＡＭとを含んでいる。「落下物」とは、車両に衝突することが許容できない物体であり、落下可能性物体と落下中物体とを含む物体である。「車両に衝突することが許容できない物体」とは、車両５００が物体に衝突した場合において、車両５００の走行に支障が生じる物体である。ＣＰＵ１０１はメモリ１０２に格納されている運転支援プログラムＰｒ１および荷台付近物体検出プログラムＰｒ２、落下物判定プログラムＰｒ３を読み書き可能なメモリに展開して実行することによって制御部としての機能を実現する。なお、ＣＰＵ１０１は、単体のＣＰＵであっても良く、各プログラムを実行する複数のＣＰＵであっても良く、あるいは、複数のプログラムを同時実行可能なマルチコアタイプのＣＰＵであっても良い。

【0014】

入出力インタフェース１０３には、レーダＥＣＵ２１、カメラＥＣＵ２２、イベントカメラＥＣＵ２６、回転角センサ２３、車輪速度センサ２４およびヨーレートセンサ２５、並びに運転支援実行装置３１がそれぞれ制御信号線を介して接続されている。レーダＥＣＵ２１、カメラＥＣＵ２２、イベントカメラＥＣＵ２６、回転角センサ２３、車輪速度センサ２４、ヨーレートセンサ２５からは、検出信号が入力され、運転支援実行装置３１には、要求トルクに応じた駆動力を指示する制御信号、制動レベルを指示する制御信号、操舵角を指示する制御信号が出力される。したがって、入出力インタフェース１０３は、第１の検出信号および第２の検出信号を含む、各種センサによって検出された検出信号を取得するための取得部として機能する。

【0015】

ミリ波レーダ２１１はミリ波を射出し、物標によって反射された反射波を受信するセンサである。本実施形態において、ミリ波レーダ２１１は、フロントバンパ５２０およびリアバンパ５２１に配置されている。ミリ波レーダ２１１から出力される未処理の検出信号は、レーダＥＣＵ２１において処理され、物標の１または複数の代表位置を示す検出点または検出点列からなる検出信号として落下物判別装置１００に入力される。あるいは、レーダＥＣＵ２１を備えることなく未処理の受信波を示す信号が検出信号としてミリ波レーダ２１１から落下物判別装置１００に入力されても良い。未処理の受信波が検出信号として用いられる場合には、落下物判別装置１００において物標の位置および距離を特定するための信号処理が実行される。

【0016】

カメラ２２１は、ＣＣＤ等の撮像素子または撮像素子アレイを１つ備える撮像装置であり、可視光を受光することによって対象物の外形情報または形状情報を検出結果である画像データとして出力するセンサである。カメラ２２１によって撮像された画像データに対しては、カメラＥＣＵ２２によって上述の処理が施され、荷台付近物体の有無を示す第２の検出信号が生成される。本実施形態において、カメラ２２１はフロントガラス５１０の上部中央に配置されている。カメラ２２１から出力される画素データは、モノクロの画素データであっても良い。この場合には、セグメンテーションに際して輝度値が用いられる。

【0017】

イベントカメラ２６１は、単一の撮像素子によって構成される複数の画素を有し、物体の変位に伴い生じる物体の輝度値の変化というイベントを数μｓ単位で検出可能なイベント検出型の撮像装置である。イベントカメラ２６１は、物体における輝度値が変化した位置に対応する変化画素の情報、例えば、受光強度、画素座標を検出結果として出力し、複数の画素全てを走査して得られるフレーム単位の検出結果を出力しない。したがって、イベントカメラ２６１の検出結果を用いることにより、荷台付近物体の変位を検出することが可能となる。本実施形態においては、イベントカメラＥＣＵ２６によって、検出した輝度値の変化が予め定められた閾値以上の変化画素に関する位置座標および輝度値を含む情報、すなわち、荷台付近物体の変位を示す情報が生成され、第１の検出信号として出力される。イベントカメラ２６１は、物体の変位に応じて値が変化した変化画素の情報を出力できれば良く、フレーム群からなる検出信号を出力しないイメージセンサの他に、荷台付近物体の振動を算出可能な高フレームレート、例えば、１０００ｆｐｓでのフレーム群からなる検出信号を出力可能な撮像装置が用いられても良い。

【0018】

回転角センサ２３は、ステアリングホイール５０４の操舵によりステアリンロッドに生じるねじれ量、すなわち、操舵トルク、を、ねじれ量に比例する電圧値として検出するトルクセンサであり、ステアリングホイール５０４の操舵角を検出する。本実施形態において、回転角センサ２３は、ステアリングホイール５０４と操舵機構とを接続するステアリングロッドに備えられている。

【0019】

車輪速度センサ２４は、車輪５０１の回転速度を検出するセンサであり、各車輪５０１に備えられている。車輪速度センサ２４から出力される検出信号は、車輪速度に比例する電圧値または車輪速度に応じた間隔を示すパルス波である。車輪速度センサ２４からの検出信号を用いることによって、車両速度、車両の走行距離等の情報を得ることができる。

【0020】

ヨーレートセンサ２５は、車両５００の回転角速度を検出するセンサである。ヨーレートセンサ２５は、例えば、車両の中央部に配置されている。ヨーレートセンサ２５から出力される検出信号は、回転方向と角速度に比例する電圧値である。

【0021】

運転支援実行装置３１は、運転者によるアクセルペダル操作に応じて、または、運転者によるアクセルペダル操作とは無関係に駆動力源５０５の出力の増減を制御し、運転者による制動ペダル操作とは無関係に制動装置５０２による制動を実現し、あるいは、運転者によるステアリングホイール５０４の操作とは無関係に操舵装置４２による操舵を実現する。

【0022】

第１の実施形態に係る落下物判別装置１００により実行される運転支援処理について説明する。図３に示す処理ルーチンは、例えば、車両の制御システムの始動時から停止時まで、または、スタートスイッチがオンされてからスタートスイッチがオフされるまで、所定の時間間隔、例えば数ｍｓにて繰り返して実行される。ＣＰＵ１０１が運転支援プログラムＰｒ１を実行することによって図３に示す運転支援処理が実行される。なお、図３に示す運転支援処理は、荷台付近物体が、荷台から落下する可能性がある物体（以下、「落下可能性物体」という）であるか、荷台から落下している最中の物体（以下、「落下中物体」という）であるかを判定し、実行されるべき運転支援の様態を決定する処理である。

【0023】

ＣＰＵ１０１は、入出力インタフェース１０３を介して周囲情報、すなわち、第２の検出信号を取得する（ステップＳ１００）。周囲情報は、例えば、ミリ波レーダ２１１やカメラ２２１によって検出された周囲車両の荷台位置の情報、に荷台付近物体の大きさを含む。

【0024】

ＣＰＵ１０１は、取得した周囲情報を用いて、自車両の周囲を走行する車両の荷台の付近の物体、すなわち荷台付近物体が検出されるか否かを判定する（ステップＳ１１０）。ＣＰＵ１０１は、例えば、カメラ２２１の撮像画像に荷台付近物体に相当する物標が検出されたには荷台付近物体が存在すると判定する。より具体的には、例えば、周囲車両のナンバープレート上の予め定められた範囲を荷台位置として検出し、荷台上に物体の少なくとも一部が存在するか否かを検出する。ＣＰＵ１０１は、後述するイベントカメラ２６１による検出結果を用いた荷台付近物体検出処理を運転支援処理と並行して実行しており、荷台付近物体検出処理によって得られる荷台付近物体情報と、本処理ルーチンにおいて検出した周囲情報とを用いて、荷台付近物体の有無を判定する。

【0025】

ＣＰＵ１０１は、荷台付近物体が検出されると（ステップＳ１１０：Ｙｅｓ）、荷台付近物体が落下物か否かを判定する（ステップＳ１２０）。本実施形態において、荷台付近物体が落下する可能性がある場合、落下可能性物体であると判定され、より具体的には、落下物判別フラグＦｅ＝１に設定される。また、荷台付近物体が落下中である場合、落下中物体であると判定され、より具体的には、落下物判別フラグＦｅ＝２に設定される。落下物判定処理の詳細については後述する。一方、ＣＰＵ１０１は、荷台付近物体が検出されないと（ステップＳ１１０：Ｎｏ）、運転支援処理を終了する。

【0026】

ＣＰＵ１０１は、荷台付近物体が落下中物体であるか否か判定する（ステップＳ１３０）。より具体的には、落下物判別フラグＦｅ＝２であるか否かを判定する。荷台付近物体が落下中物体である場合（ステップＳ１３０：ＹＥＳ）、ＣＰＵ１０１は、運転支援の態様を第１運転支援態様に決定する（ステップＳ１５０）。第１運転支援態様とは、例えば、急ブレーキを行う態様や、落下中物体の落下方向に応じて落下中物体を回避するように加減速や操舵の制御を行う態様である。また、第１運転支援態様として、落下中物体があることを運転者に通知する態様でもよい。一方、荷台付近物体が落下中物体でない場合（ステップＳ１３０：ＮＯ）、荷台付近物体が落下可能性物体であるか否か判定する（ステップＳ１４０）。より具体的には、落下物判別フラグＦｅ＝１であるか否かを判定する。荷台付近物体が落下可能性物体である場合（ステップＳ１４０：ＹＥＳ）、ＣＰＵ１０１は、運転支援の態様を第１運転支援態様よりも支援の度合いが低い第２運転支援態様に決定する（ステップＳ１５５）。第２運転支援態様とは、例えば、周囲車両の付近を走行することを回避するために、周囲車両との車間距離を広く取るように加減速や車線変更、周囲車両の追い越しをするための操舵の制御を行う予防的な態様である。また、第２運転支援態様として、落下可能性物体があることを運転者に通知する態様でもよい。一方、荷台付近物体が落下可能性物体でない場合（ステップＳ１４０：ＮＯ）、運転支援処理を終了する。

【0027】

第１の実施形態に係る落下物判別装置１００により実行される荷台付近物体検出処理について説明する。図４に示す処理ルーチンは、例えば、車両の制御システムの始動時から停止時まで、または、スタートスイッチがオンされてからスタートスイッチがオフされるまで、所定の時間間隔、例えば数μｓにて繰り返して実行される。ＣＰＵ１０１が荷台付近物体検出プログラムＰｒ２を実行することによって図４に示す荷台付近物体検出処理が実行される。すなわち、図３に示す運転支援処理と図４に示す移動物体検出処理は、並行して実行され、移動物体検出処理における移動物体の検出結果が運転支援処理において利用される。

【0028】

ＣＰＵ１０１は、イベントカメラ検出信号を取得する（ステップＳ２００）。具体的には、ＣＰＵ１０１は、イベントカメラＥＣＵ２６から出力される第１の検出信号を経時的に受信しており、イベントカメラ２６１によって検出された輝度値が変化した一または複数の変化画素の情報を取得する。人や自転車、あるいは車両といった物体が変位中、すなわち、移動中である場合には、物体の外形を示す複数の変化画素群の情報が第１の検出信号に含まれている。ＣＰＵ１０１は、取得した変化画素の情報に対してエゴモーション除去処理を実行する（ステップＳ２１０）。エゴモーションは、計測系自体の３次元空間挙動を意味し、車両に搭載されているイベントカメラ２６１の場合、車両の挙動を意味する。エゴモーションは、例えば、車輪速度センサ２４によって取得される車速、ヨーレートセンサ２５によって取得されるヨーレートを用いて自車両の垂直方向および水平方向の動きを求めることによって得られる。エゴモーション処理は、検出された変化画素のうち、自車両の挙動に起因して輝度値が変化した物体の相対的な変位を示す変化画素を除去することで、物体自身の変位を抽出するための処理である。

【0029】

ＣＰＵ１０１は、エゴモーション除去処理が施された変化画素の情報を用いてクラスタリング処理を実行する（ステップＳ２２０）。クラスタリング処理は、複数の変化画素から一のオブジェクトを抽出処理であり、一のオブジェクトを形成する変化画素群を関連付ける処理である。本実施形態におけるクラスタリング処理は、例えば、経時的に同一方向に移動する変化画素を一のオブジェクトを形成する変化画素群として関連付けることによって実行される。クラスタリング処理としては、この他に、変位画素の位置座標を用いて画素間距離が予め定められた距離よりも短い変化画素を同一のオブジェクトを示す画素群として関連付けることによって、あるいは、変位画素の輝度値を用いて輝度値が近似する変位画素を同一のオブジェクトを示す画素群として関連付けることによって実行されても良い。クラスタリング処理によって、変化画素群によって形成されるオブジェクトが得られ、判別のモデルとなるモデルパターンとのマッチングがなされても良い。

【0030】

ＣＰＵ１０１は、抽出されたオブジェクトが荷台の上にあるか否かを判定する（ステップＳ２３０）。具体的には、抽出されたオブジェクトを形成する変化画素群の位置座標を用いて、抽出されたオブジェクトが周囲車両の荷台の上にあるか否かが判定される。ＣＰＵ１０１は、抽出されたオブジェクトが荷台の上にあると判定すると（ステップＳ２３０：Ｙｅｓ）、荷台付近物体が検出されたこと、および、荷台付近物体の変位情報を示す荷台付近物体情報を出力して（ステップＳ２４０）、本処理ルーチンを終了する。荷台付近物体情報は、既述のように、図３に示す運転支援処理において用いられる。ＣＰＵ１０１は、抽出されたオブジェクトが荷台の上にない（ステップＳ２３０：Ｎｏ）と判定すると、本処理ルーチンを終了する。

【0031】

図５に示す落下物判定処理は、図３のステップＳ１２０において、ＣＰＵ１０１が、荷台付近物体が落下可能性物体か落下中物体かを判定する一連の処理である。まず、ＣＰＵ１０１は、荷台付近物体がまだ荷台上に存在するか否かを判別する（ステップＳ３００）。

【0032】

荷台付近物体が荷台上にある場合（ステップＳ３００：ＹＥＳ）、本実施形態において、ＣＰＵ１０１は、第１の検出信号、より具体的には第１の検出信号から求めることができる荷台付近物体情報を用いて、荷台付近物体の振動周波数ｆ１と振幅ａ１を算出する（ステップＳ３１０）。続いて、ＣＰＵ１０１は、算出した振動周波数ｆ１が閾値周波数ｆｔｈ以上か否か判別する（ステップＳ３２０）。閾値周波数ｆｔｈは、荷台付近物体が車両に衝突することが許容できない硬さと推定される周波数であり、例えば、鋼材やプラスチックを用いて予めシミュレーションや実験を行うことにより定めることができる。振動周波数ｆ１が閾値周波数ｆｔｈより小さい場合（ステップＳ３２０：ＮＯ）、つまり、荷台付近物体が車両に衝突することが許容できる固さと推定される場合、ＣＰＵ１０１は、落下物判定処理を終了する。

【0033】

一方、振動周波数ｆ１が閾値周波数ｆｔｈ以上の場合（ステップＳ３２０：ＹＥＳ）、つまり、荷台付近物体が車両５００に衝突することが許容できない固さと推定される場合、ＣＰＵ１０１は、振幅ａ１が閾値振幅ａｔｈ以上か否か判別する（ステップＳ３３０）。振幅ａ１が大きいほど、荷台付近物体が荷台から浮く高さが大きくなり、周囲車両が移動しているため、相対的に荷台の上でずれることにより、落下する可能性が高くなる。閾値振幅ａｔｈは、荷台付近物体が荷台から落下する可能性が高いと推定される振幅であり、予めシミュレーションや実験を行うことにより定めることができる。閾値振幅ａｔｈは、例えば、荷台付近物体の大きさ（高さ）の１０％以上の大きさである。振幅ａ１が閾値振幅ａｔｈより小さい場合（ステップＳ３３０：ＮＯ）、つまり、荷台付近物体が荷台から落下する可能性が低い場合、ＣＰＵ１０１は、落下物判定処理を終了する。

【0034】

一方、振幅ａ１が閾値振幅ａｔｈ以上の場合（ステップＳ３３０：ＹＥＳ）、つまり、荷台付近物体が荷台から落下する可能性が高い場合、ＣＰＵ１０１は、振幅ａ１が増加しているか判別する（ステップＳ３４０）。

【0035】

振幅ａ１が増加していない場合（ステップＳ３４０：ＮＯ）、ＣＰＵ１０１は、落下物判定処理を終了する。一方、振幅ａ１が増加している場合（ステップＳ３４０：ＹＥＳ）、ＣＰＵ１０１は荷台付近物体を落下可能性物体と判定する（ステップＳ３５０）。より具体的には、ＣＰＵ１０１は、落下物判別フラグＦｅ＝１とする。

【0036】

荷台付近物体が荷台上にない場合（ステップＳ３００：ＮＯ）、本実施形態において、ＣＰＵ１０１は、荷台付近物体が路上に存在するか否かを判別する（ステップＳ３２５）。ＣＰＵ１０１は、例えば、第１の検出信号を用いて荷台付近物体の移動の軌跡から求められる垂直方向における変位量の絶対値が、荷台から路上までの距離に近似しているか否かを判別することで、荷台付近物体が路上に存在するか否かを判別できる。荷台付近物体が路上にある場合（ステップＳ３２５：ＹＥＳ）、つまり、荷台付近物体が落下している最中ではなく落下しきった場合、ＣＰＵ１０１は、落下物判定処理を終了する。

【0037】

一方、荷台付近物体が路上にない場合（ステップＳ３２５：ＮＯ）、つまり、荷台付近物体が落下している最中である場合、ＣＰＵ１０１は、荷台付近物体の大きさｓ１を算出する（ステップＳ３３５）。ＣＰＵ１０１は、荷台付近物体情報や、周囲情報より荷台付近物体の大きさｓ１を取得してもよい。大きさｓ１とは、例えば、荷台付近物体の高さや幅、面積、容量である。続いて、ＣＰＵ１０１は、大きさｓ１が閾値ｓｔｈ以上か否か判別する（ステップＳ３４５）。閾値ｓｔｈは、荷台付近物体が車両５００に衝突することが許容できない大きさであり、予めシミュレーションや実験を行うことにより定めることができる。

【0038】

大きさｓ１が閾値ｓｔｈより小さい場合（ステップＳ３４５：ＮＯ）、つまり、荷台付近物体が車両５００に衝突することが許容できる大きさである場合、ＣＰＵ１０１は、落下物判定処理を終了する。一方、大きさｓ１が閾値ｓｔｈ以上の場合（ステップＳ３４５：ＹＥＳ）、つまり、荷台付近物体が車両５００に衝突することが許容できない大きさである場合、ＣＰＵ１０１は荷台付近物体を落下中物体と判定する（Ｓ３５５）。より具体的には、ＣＰＵ１０１は、落下物判別フラグＦｅ＝２とする。

【0039】

以上説明した第１の実施形態に係る落下物判別装置１００によれば、第１の検出信号を用いて荷台付近物体の振動周波数ｆ１と振幅ａ１と大きさｓ１とのいずれか一つ以上を算出し、その算出結果に応じて荷台付近物体が車両５００に衝突することが許容できない場合に、荷台付近物体が落下可能性物体か落下中物体であるか判定する。そのため、落下しそうな物体や落下している最中の物体を判別できる。また、落下物判別装置１００は、荷台付近物体が車両５００に衝突することが許容できない物体である場合に落下物の判定を行うため、車両５００に衝突することが許容できる物体を回避する運転支援や、その物体が荷台に載せている車両の周囲を走行することを回避する運転支援が過度に行われることを抑制できる。また、落下物判別装置１００は、荷台付近物体が落下中物体である場合に運転支援の態様を第１運転支援態様に決定し、荷台付近物体が落下可能性物体である場合に運転支援の態様を第２運転支援態様に決定するため、荷台付近物体の種別に応じて。運転支援の態様を決定することができる。

【0040】

Ｂ．他の実施形態：
（１）上記各実施形態においては、ＣＰＵ１０１が運転支援プログラムＰｒ１および落下物判定プログラムＰｒ３を実行することによって、ソフトウェア的に運転支援処理並びに移動物体検出処理を実行する制御部が実現されているが、予めプログラムされた集積回路またはディスクリート回路によってハードウェア的に実現されても良い。すなわち、上記各実施形態における制御部およびその手法は、コンピュータプログラムにより具体化された一つまたは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部およびその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部およびその手法は、一つまたは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【0041】

（２）上記実施形態において、ＣＰＵ１０１は、荷台付近物体が車両に衝突することが許容できない物体である場合に、落下物の判定を行っている。この代わりに、ＣＰＵ１０１は、荷台付近物体が車両５００に衝突することが許容できない物体か否かに関わらず、落下物であるか否かの判定を行ってもよい。具体的には、例えば、上述した落下物判定処理において、ステップＳ３２０やステップＳ３３５およびＳ３４５を省略してもよい。これにより、より多くの落下物に対応することができる。

【0042】

（３）上記実施形態において、ＣＰＵ１０１は、落下物判定処理において、荷台付近物体が荷台上ある場合（ステップＳ３００：ＹＥＳ）、荷台付近物体の振動周波数に応じて、荷台付近物体が車両５００に衝突することが許容できるか否かを判定している。この代わりに、また、これに加えて、ＣＰＵ１０１は、荷台付近物体の大きさに応じて、荷台付近物体が車両５００に衝突することが許容できるか否かを判定してもよい。また、落下物判定処理におけるステップＳ３３０およびステップＳ３４０を省略してもよい。この場合、荷台付近物体が車両５００に衝突することが許容できない場合、落下可能性物体と判定する。また、落下物判定処理におけるステップＳ３２０を省略してもよい。この場合、閾値振幅ａｔｈは、荷台付近物体が車両５００に衝突することが許容できない物体と推定される振幅に設定される。

【0043】

（４）上記実施形態において、ＣＰＵ１０１は、落下物判定処理において、荷台付近物体が荷台上になく、かつ、路上にもない場合（ステップＳ３２５：ＮＯ）、荷台付近物体の大きさに応じて、荷台付近物体が車両５００に衝突することが許容できるか否かを判定し、落下中物体の判断を行っている。つまり、ＣＰＵ１０１は、荷台上物体の大きさが予め定められた大きさ以上であって、かつ、落下可能性物体でなく、かつ路上にない場合に、荷台上物体を落下中物体と判断している。この代わりに、また、これに加えて、ＣＰＵ１０１は、荷台付近物体の落下速度を算出し、その落下速度に応じて、荷台付近物体が車両５００に衝突することが許容できるか否かを判定し、落下中物体の判断を行ってもよい。例えば、落下速度が遅い場合、布やビニールといった車両５００に衝突することが許容できる物であると判断する。また、ＣＰＵ１０１は、落下中の荷台付近物体の振動周波数を算出し、その振動周波数に応じて荷台付近物体が車両５００に衝突することが許容できるか否かを判定し、落下中物体の判断を行ってもよい。より具体的には、ＣＰＵ１０１は、落下中の荷台付近物体の振動周波数が、予め定められた第１閾値以下であって、かつ、第１閾値よりも小さい第２閾値以上である場合に、荷台付近物体を落下中物体と判断してもよい。例えば、振動周波数が第１閾値である１Ｈｚ以上の低周波数である場合、布やビニールといった車両５００に衝突することが許容できる物であると判断し、振動周波数が第２閾値である０Ｈｚ程度である場合、金属等の車両５００に衝突することが許容できない物であると判断する。

【0044】

以上、実施形態、変形例に基づき本開示について説明してきたが、上記した発明の実施の形態は、本開示の理解を容易にするためのものであり、本開示を限定するものではない。本開示は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本開示にはその等価物が含まれる。たとえば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0045】

１０ 運転支援システム、２６ イベントカメラＥＣＵ、１００ 落下物判別装置、１０１ ＣＰＵ、１０２ メモリ、２６１ イベントカメラ、５００ 車両、Ｐｒ１ 運転支援プログラム、Ｐｒ２ 荷台付近物体検出プログラム、Ｐｒ３ 落下物判定プログラム

【図1】

【図2】

【図3】

【図4】

【図5】