特許 7487460 運転支援装置、運転支援方法、および運転支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-13

(45)【発行日】2024-05-21

(54)【発明の名称】運転支援装置、運転支援方法、および運転支援プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240514BHJP

   H04N 7/18 20060101ALI20240514BHJP

   G06T 7/00 20170101ALI20240514BHJP

   G06V 20/58 20220101ALI20240514BHJP

   G07C 5/00 20060101ALI20240514BHJP

【ＦＩ】

G08G1/16 C

H04N7/18 J

G06T7/00 650B

G06V20/58

G07C5/00 Z

【請求項の数】 7

(21)【出願番号】P 2019175084

(22)【出願日】2019-09-26

(65)【公開番号】P2021051627

(43)【公開日】2021-04-01

【審査請求日】2022-07-29

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】桜木 友喜

【審査官】貞光 大樹

(56)【参考文献】

【文献】特開２０１２－４８４６０（ＪＰ，Ａ）

【文献】特開２０１３－２１０９８８（ＪＰ，Ａ）

【文献】特開２０１４－３５５６０（ＪＰ，Ａ）

【文献】特開２０１７－２２０１７８（ＪＰ，Ａ）

【文献】特開２０１２－３６０７（ＪＰ，Ａ）

【文献】特開２０１２－５８９９９（ＪＰ，Ａ）

【文献】特開２０１６－２４６０２（ＪＰ，Ａ）

【文献】特開２０１８－１１２８９２（ＪＰ，Ａ）

【文献】特開２０１９－３２７２５（ＪＰ，Ａ）

【文献】特開２０１４－８５８３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － １／１６

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０７Ｃ ５／００

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／６０ － ２３／６９８

Ｂ６０Ｗ １０／００ － １０／３０

Ｂ６０Ｗ ３０／００ － ６０／００

Ｂ６０Ｒ ２１／００ － ２１／０１７

(57)【特許請求の範囲】

【請求項1】

車両の周囲を撮影した映像を取得する映像取得部と、
前記取得される映像における所定範囲への物体の割り込みを検出する物体検出部と、
前記映像の少なくとも一部を記録媒体に記録して保存する記録制御部と、
前記所定範囲への物体の割り込みが検出された場合、複数種類の対応処理として、前記物体の割り込み検出を示す報知、および、前記検出された物体を含む映像の前記記録制御部による保存のうち少なくともいずれかを実行する対応処理部と、
を備え、
前記物体検出部は、前記検出された物体の前記所定範囲への割り込み態様が、前記車両の前進中において撮影範囲外から撮影範囲内へ物体が移動したことによる割り込みである第１の割り込み態様と、撮影方向の移動に応じて撮影範囲が移動したことによる物体の割り込みである第２の割り込み態様と、を少なくとも含む複数種類の割り込み態様のうちいずれであるかを判定し、
前記対応処理部は、前記第１の割り込み態様と判定された場合に、映像の保存契機として予め定められたイベントの発生が検出されたものとして、前記検出された物体を含む映像の前記記録制御部による保存を前記対応処理として選択して実行し、前記第２の割り込み態様と判定された場合に、前記物体の割り込み検出を示す報知を前記対応処理として選択して実行することを特徴とする運転支援装置。

【請求項2】

前記対応処理部は、前記物体の割り込み検出を示す視覚的な報知、および、前記物体の割り込み検出を示す聴覚的な報知のうち少なくともいずれかを、前記判定された割り込み態様に応じた対応処理として選択的に実行することを特徴とする請求項１に記載の運転支援装置。

【請求項3】

前記対応処理部は、前記報知の期間の長さを、前記判定された割り込み態様に応じた長さに設定することを特徴とする請求項１または２に記載の運転支援装置。

【請求項4】

前記物体検出部は、前記検出された物体の前記所定範囲への割り込み態様が複数種類の割り込み態様のうちいずれであるかを、所定の運転操作の有無に基づいて判定することを特徴とする請求項１から３のいずれかに記載の運転支援装置。

【請求項5】

前記物体検出部は、前記検出された物体の前記所定範囲への割り込み態様が複数種類の割り込み態様のうちいずれであるかを、車両の進行方向がいずれの方向に切り替えられたかに基づいて判定することを特徴とする請求項１から４のいずれかに記載の運転支援装置。

【請求項6】

車両の周囲を撮影した映像を取得する過程と、
前記取得される映像における所定範囲への物体の割り込みを検出する過程と、
前記映像の少なくとも一部を記録媒体に記録する過程と、
前記検出された物体の前記所定範囲への割り込み態様が、前記車両の前進中において撮影範囲外から撮影範囲内へ物体が移動したことによる割り込みである第１の割り込み態様と、撮影方向の移動に応じて撮影範囲が移動したことによる物体の割り込みである第２の割り込み態様と、を少なくとも含む複数種類の割り込み態様のうちいずれであるかを判定する過程と、
前記所定範囲への物体の割り込みが検出された場合、前記第１の割り込み態様と判定された場合には、映像の保存契機として予め定められたイベントの発生が検出されたものとして、前記検出された物体を含む映像の保存を対応処理として選択し、前記第２の割り込み態様と判定された場合には、前記物体の割り込み検出を示す報知を対応処理として選択する過程と、
前記選択した対応処理を実行する過程と、
を備えることを特徴とする運転支援方法。

【請求項7】

車両の周囲を撮影した映像を取得する機能と、
前記取得される映像における所定範囲への物体の割り込みを検出する機能と、
前記映像の少なくとも一部を記録媒体に記録して保存する機能と、
前記所定範囲への物体の割り込みが検出された場合、複数種類の対応処理として、前記物体の割り込み検出を示す報知、および、前記検出された物体を含む映像の保存のうち少なくともいずれかを実行する機能と、
をコンピュータに実現させ、
前記検出する機能は、前記検出された物体の前記所定範囲への割り込み態様が、前記車両の前進中において撮影範囲外から撮影範囲内へ物体が移動したことによる割り込みである第１の割り込み態様と、撮影方向の移動に応じて撮影範囲が移動したことによる物体の割り込みである第２の割り込み態様と、を少なくとも含む複数種類の割り込み態様のうちいずれであるかを判定し、
前記実行する機能は、前記第１の割り込み態様と判定された場合に、映像の保存契機として予め定められたイベントの発生が検出されたものとして、前記検出された物体を含む映像の保存を前記対応処理として選択して実行し、前記第２の割り込み態様と判定された場合に、前記物体の割り込み検出を示す報知を前記対応処理として選択して実行することを特徴とする運転支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両周囲の映像などの情報を記録する運転支援装置、運転支援方法、および運転支援プログラムに関する。

【背景技術】

【0002】

近年、ドライブレコーダとも呼ばれる装置を設置する車両が増えている。ドライブレコーダに走行中の映像や音声を記録することにより、例えば車両の周囲で事故やトラブルが発生したような場合に事故原因の究明やトラブル解決に記録映像や記録音声が寄与し得る。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－２３８１８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、事故やトラブル等の重大事象が発生していない場合でも、例えば自車両前方の道路上への横断可能性や飛び出し可能性を判定して警報を出力する技術が知られている（例えば、特許文献１参照）。しかしながら、事故等の事象が発生する可能性がある状況は様々であり、警報の出し方が事故の未然回避のために適切であるとは限らない。

【0005】

本発明はこうした状況に鑑みてなされたものであり、その目的は、車両周囲で事故等が発生する可能性のある状況に応じてより適切な対応を実行することができる運転支援装置を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の運転支援装置は、車両の周囲を撮影した映像を取得する映像取得部と、取得される映像における所定範囲への物体の割り込みを検出する物体検出部と、所定範囲への物体の割り込みが検出された場合、複数種類の対応処理のうち少なくともいずれかを実行する対応処理部と、を備える。物体検出部は、検出された物体の所定範囲への割り込み態様が複数種類の割り込み態様のうちいずれであるかを判定し、対応処理部は、判定された割り込み態様に対応する種類の対応処理を選択的に実行する。

【0007】

本発明の別の態様は、運転支援方法である。この方法は、車両の周囲を撮影した映像を取得する過程と、取得される映像における所定範囲への物体の割り込みを検出する過程と、検出された物体の所定範囲への割り込み態様が複数種類の割り込み態様のうちいずれであるかを判定する過程と、所定範囲への物体の割り込みが検出された場合、複数種類の対応処理のうち、判定された割り込み態様に対応する種類の対応処理を選択的に実行する過程と、を備える。

【0008】

なお、以上の構成要素の任意の組合せや本発明の構成要素や表現を、方法、装置、システム、プログラムなどの間で相互に置換したものもまた、本発明の態様として有効である。

【発明の効果】

【0009】

本発明によれば、車両周囲で事故等が発生する可能性のある状況に応じてより適切な対応を実行することができる。

【図面の簡単な説明】

【0010】

【図1】ドライブレコーダの機能構成を模式的に示すブロック図である。

【図2】表示装置に表示させる映像を模式的に例示する図である。

【図3】物体の検出から割り込み態様に応じた処理実行までの過程を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。以下説明する実施の形態においては、運転支援装置として主にドライブレコーダおよびナビゲーション装置を例示する。

【0012】

図１は、ドライブレコーダ１０の機能構成を模式的に示すブロック図である。図示する各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。

【0013】

ドライブレコーダ１０は、映像取得部１２、音声取得部１４、車両情報取得部１６、イベント検出部１８、記録制御部２０、一時記憶部２２、通信部２４、操作受付部２６、画像処理部５０、対応処理部５８、表示制御部２８、音声出力部２９を備える。映像取得部１２は、車両情報取得部１６の一部として構成されてもよく、映像取得部１２が車両情報取得部１６に含まれてもよい。ドライブレコーダ１０は、車両に搭載される。通信部２４は、外部機器との間で無線通信接続によって情報を送受信する。操作受付部２６は、ユーザの操作入力を受け付ける。表示制御部２８は、撮影した映像の表示装置４９への表示を制御する。表示装置４９は、ナビゲーション装置１１が備えるモニタであるが、変形例としては、ドライブレコーダ１０が表示装置４９を内蔵する形で構成してもよい。音声出力部２９は、録音した音声や警告音などの音声を出力するスピーカ４７への音声出力を制御する。スピーカ４７は、ナビゲーション装置１１が備えるスピーカであるが、変形例としては、ドライブレコーダ１０がスピーカ４７を内蔵する形で構成してもよい。ドライブレコーダ１０とナビゲーション装置１１の接続は、通信部２４を介した無線通信接続であってもよいし、ＵＡＲＴ（Universal Asynchronous Receiver/Transmitter）やＵＳＢ（Universal Serial Bus）などの有線通信接続であってもよい。

【0014】

映像取得部１２は、車両に設けられる前方カメラ４０および後方カメラ４２が撮影する映像データを取得する。前方カメラ４０は、車両の周囲、特に車両の前方を撮影するように構成される。後方カメラ４２は、車両の周囲、特に車両の後方を撮影するように構成される。前方カメラ４０は、車両の前方および室内の双方を撮影するように構成されてもよく、車両の前方および室内の双方を撮影する構成として、周囲３６０度を撮影可能な一つの全周カメラで構成してもよいし、前後を撮影する複数のカメラで構成してもよい。前方カメラ４０、後方カメラ４２は、ドライブレコーダ１０に内蔵されてもよいし、ドライブレコーダ１０とは別体であってもよい。後方カメラ４２は、ナビゲーション装置１１にも後方の映像を送るカメラであり、ドライブレコーダ１０とナビゲーション装置１１の両方のカメラとして兼用される。映像取得部１２は、車両の走行に関する車両情報として前方カメラ４０、後方カメラ４２が撮影した画像を取得してもよく、映像取得部１２を車両情報取得部１６の一部とみなしてもよい。映像取得部１２は、ギアがドライブやパーキングなどリバース以外に入れられていることを示す車両情報が取得される間は前方カメラ４０からの映像を取得し、ギアがリバースに入れられていることを示す車両情報が取得される間は後方カメラ４２からの映像を取得する。表示制御部２８もまた、ギアがドライブやパーキングなどリバース以外に入れられていることを示す車両情報が取得される間は前方カメラ４０からの映像を表示装置４９に表示させる。ギアがリバースに入れられていることを示す車両情報が取得される間は後方カメラ４２からの映像を表示装置４９に表示させる。

【0015】

音声取得部１４は、車両に設けられるマイク４４が取得する音声データを取得する。マイク４４は、車両の内外から集音するよう構成される。マイク４４は、ドライブレコーダ１０に内蔵されてもよいし、ドライブレコーダ１０とは別体であってもよいし、前方カメラ４０または後方カメラ４２と一体であってもよい。あるいは、ナビゲーション装置１１に内蔵されてもよい。ナビゲーション装置１１に内蔵される場合、マイク４４はナビゲーション装置１１の音声認識操作に用いられる。音声取得部１４は、車両の走行に関する車両情報としてマイク４４により音声を取得してもよく、音声取得部１４を車両情報取得部１６の一部とみなしてもよい。

【0016】

車両情報取得部１６は、車両に設けられる車載装置４６から車両の走行に関する車両情報を取得する。車載装置４６の具体例として、車速センサ、舵角センサ、アクセル操作量センサ、ブレーキ操作量センサ、加速度センサ、ジャイロセンサ、レーダセンサ、ライダ（ＬｉＤＡＲ；Light Detection and Ranging）、位置情報センサ（例えば、ＧＮＳＳ；Global Navigation Satellite System）、乗員の着座センサなどが挙げられるが、これらに限定されるものではない。車両情報取得部１６は、各種制御ＥＣＵ（Electronic Control Unit）を介して車両情報を取得してもよいし、ナビゲーション装置１１を介して車両情報を取得してもよい。また、ナビゲーション装置１１が内蔵する位置情報センサから位置情報を取得してもよい。車両情報取得部１６は、通信部２４を介してユーザの携帯電話等の端末に内蔵された加速度センサ、ジャイロセンサ、位置情報センサ等の各センサによって検出された情報を取得してもよい。車両情報取得部１６は、ドライブレコーダ１０が内蔵するセンサから車両の走行に関する情報を取得してもよい。例えば、ドライブレコーダ１０が加速度センサや位置情報センサなどのセンサを内蔵してもよい。なお、前方カメラ４０、後方カメラ４２やマイク４４を車載装置の一つとしてみなし、車両情報取得部１６が映像取得部１２や音声取得部１４を含むように構成されてもよい。

【0017】

車両情報取得部１６は、例えば車両の状態に関する情報、車両に対する操作に関する情報、車両の速度に関する情報、車両の位置に関する情報、車両の周囲の障害物に関する情報、車両の運転支援機能の作動状態に関する情報などを車載装置４６から取得する。車両情報取得部１６が取得する各種情報は、後述する画像処理部５０による画像認識で車両周囲の物体を検出するのとは異なり、カメラ以外のセンサからの検知情報である。車両情報取得部１６は、車両の状態に関する情報として、例えばドアや窓の開閉状態を示す情報を取得してもよい。車両情報取得部１６は、車両に対する操作に関する情報として、例えばドアや窓の開閉を指示する操作があったことを示す情報を取得してもよい。車両情報取得部１６は、車両の周囲の障害物に関する情報として、車両の周囲の一定範囲内に他車両が存在するか否かや、走行中の車線上に歩行者や自転車、落下物や建造物などの障害物が存在するか否かを示す情報を取得してもよい。車両情報取得部１６は、車両内に乗員が存在するか否かを示す情報を取得してもよい。車両情報取得部１６は、車両の運転支援機能の作動状態に関する状態として、自動運転機能や遠隔操作機能のオンオフに関する情報や、特定の運転支援機能が作動中であるか否かに関する情報を取得してもよい。運転支援機能として、例えば、アダプティブ・クルーズ・コントロール（ＡＣＣ；Adaptive Cruise Control）やレーン・キープ・アシスト（ＬＫＡＳ；Lane Keeping Assistance System）などが挙げられるが、これらに限定されるものではない。

【0018】

イベント検出部１８は、映像取得部１２が取得する映像データ、音声取得部１４が取得する音声データ、車両情報取得部１６が取得する車両情報に基づいて、予め定められた各種イベント（以下、「トリガーイベント」という）の発生を検出する。

【0019】

トリガーイベントは、車両の事故やトラブル等の重大事象として想定され、その発生や検出があった場合に映像データを上書き禁止データとして保存する契機となる保存契機イベントである。イベント検出部１８は、トリガーイベントとして、例えば車両の衝突、接触、横転、転落などの事故や、周囲の車両の運転者による粗暴行為や危険運転などのトラブルの発生を検知する。イベント検出部１８は、例えば前方カメラ４０、後方カメラ４２によって取得される映像データやマイク４４によって取得される音声データから、所定の認識パターンに基づく画像認識や音声認識によって事故やトラブルの発生を検出してもよい。イベント検出部１８は、例えば車両の走行速度や加速度の情報、アクセル、ブレーキおよびステアリングなどの操作情報から、急発進、急停止、急旋回などによる車両挙動の急激な変化を認識することでトリガーイベントの発生を検出してもよい。イベント検出部１８は、事故やトラブルの可能性が高い状態を認識するための所定の閾値または所定の認識パターンに基づいて車両挙動の急激な変化を認識することでトリガーイベントの発生を検出してもよい。イベント検出部１８は、前方カメラ４０、後方カメラ４２の映像データや車両のレーダセンサなどの情報から、所定の認識パターンに基づいて前方車両との接近、車両周囲の物体との接近、走行中の車線からの逸脱などを認識することでトリガーイベントの発生を検出してもよい。イベント検出部１８は、ドライブレコーダ１０に設けられた保存開始ボタンの押下や保存開始を示す音声指示を操作受付部２６が受け付けたときにも、これをトリガーイベントの発生として検出してもよい。

【0020】

画像処理部５０は、物体検出部５１、画像成形部５５、画像合成部５６を有する。物体検出部５１は、物体検出エンジン５２、割込検出部５３を含む。物体検出エンジン５２は、画像から様々な物体を検出するための画像認識パターンを予め記憶するとともに、その画像認識パターンに基づいて所定の画像認識アルゴリズムを用いて画像に写る物体を検出する。画像認識パターンは、深層学習などの機械学習によって定義されてもよいし、特にドライブレコーダのカメラによって撮影し得る物体、例えば四輪車、二輪車、歩行者、道路設置物などの道路およびその周辺に存在し得る物体に特化した画像認識パターンであってもよい。

【0021】

割込検出部５３は、映像取得部１２により取得される映像において、物体検出エンジン５２により検出された物体の、画面ないし画像の所定範囲への割り込みを検出する。ここでいう「所定範囲」は、前方カメラ４０または後方カメラ４２による撮影できる領域であり、「所定範囲への割り込み」はカメラの撮影範囲外にあった物体が撮影範囲内に入ることをいう。変形例として、「所定範囲」は、画像から認識される空間において車両が進行し得ると推定される領域およびその周辺領域を指してもよいし、車両からの推定距離が所定距離以内である領域を指してもよい。また「割り込み」は、画面ないし画像に写っていなかった物体が画面ないし画像に写る状態に変化することを指してもよい。例えば、物陰や死角からの物体の飛び出し、車両が移動または変位をすることによって画面ないし画像に含まれるようになった物体、撮影するカメラまたは撮影方向を切り替えたことによって画面ないし画像に含まれるようになった物体であってもよい。画面ないし画像に写っていたが遠くて小さいために検出できていなかった物体が近づいて検出できるようになった場合は、「写っていなかった物体が写る状態に変化した」とはいえないため「割り込み」に該当しない。また、画像に写ってはいたが広角レンズによる撮影範囲の四隅に位置することにより歪んでいるために物体として検出されなかったものが四隅以外の位置に写るようになって物体として検出できるようになった場合もまた「割り込み」に該当しない。「写っていなかった物体が写る状態に変化した」とはいえないためであり、また、運転者の視界に入っている物体がより鮮明に見えるようになったにすぎず、安全上の問題がほとんどないためである。

【0022】

割込検出部５３は、検出された物体の所定範囲への割り込み態様が複数種類の割り込み態様のうちいずれであるかを判定する。割込検出部５３は、検出された物体の所定範囲への割り込み態様が複数種類の割り込み態様のうちいずれであるかを、所定の運転操作の有無、または、車両の進行方向がいずれの方向に切り替えられたかに基づいて判定する。ここでいう「運転操作」は、例えば旋回（すなわち右左折）および後進であり、または、アクセルやブレーキの操作である。割込検出部５３は、所定の運転操作の有無、または、車両の進行方向がいずれの方向に切り替えられたかについて、車両情報取得部１６が取得する車両情報に基づいて判定する。例えば、ステアリングの操舵角の情報を取得し、操舵角が所定の基準値（例えば３０度）以上であった場合に右折中または左折中であると判定する。また、ギアないしシフトレバーがドライブに入れられたことを示す情報を取得して、前進中であると判定し、ギアないしシフトレバーがリバースに入れられたことを示す情報を取得して、前進やパーキングなどの状態から後進に切り替えられたと判定する。また、アクセルが踏まれていること、あるいはブレーキが踏まれていないことを示す情報を取得し、その情報に基づいて車両が走行中であると判定した場合に限り、前進中または旋回中における物体の割り込みを判定するように構成してもよい。車両が走行中でなければ、前進中における物体との衝突や旋回中における物体の巻き込みといった安全性の問題が生じないためである。または、走行中であると判定した場合のうち、車速が所定値を超える場合に限り、前進中または旋回中における物体の割り込みを判定するように構成してもよい。あるいは、物体の割り込みがいずれの割り当て態様に該当するかまでは、車両が走行中か否か、または車速がどのレベルであるかを判定せず、割り当て態様に応じた対応処理を選択する段階で車両が走行中か否か、または車速がどのレベルであるかに応じて選択する対応処理を変えるようにしてもよい。また、割込検出部５３は、旋回中であるか否かをステアリングの操舵角の情報に基づくのではなく、映像を画像認識し、撮影方向ないし画角が水平方向に変化していることを検出した場合に旋回中であると判定してもよい。

【0023】

上記の「進行方向」は前進、右折、左折、後進である。「いずれの方向に切り替えられたか」は、例えば後進以外の状態から後進に切り替えられた場合、前進から右折に切り替えられた場合、前進から左折に切り替えられた場合など、特定の進行方向にその特定の進行方向以外の方向から切り替えられることをいう。なお、「後進」はあくまでギアがリバースに入れられていることを示すのであって、ブレーキを踏んでいる限りは後進しないため、実際に後進中であるか否かは問わない。以上、割込検出部５３は、運転操作や進行方向の切替を示す情報に基づいて、検出された物体の所定範囲への割り込み態様が複数種類の割り込み態様のうちいずれであるかを判定する。本実施の形態における割り込み態様には、第１の割り込み態様、第２の割り込み態様、第３の割り込み態様がある。

【0024】

第１の割り込み態様は、「撮影範囲でない位置から撮影範囲へ物体が移動した」という態様であり、後述の第２の割り込み態様や第３の割り込み態様とは区別される。割込検出部５３は、物体の割り込みを検出したとき、車両情報に基づいて旋回中や後進中ではない、すなわち前進中であると判定された場合に第１の割り込み態様と判定する。第１の割り込み態様は、撮影方向や撮影範囲は大きく変化していないにもかかわらず撮影範囲に飛び込んできた物体である場合であり、物陰や死角からの物体の飛び出しである可能性が高い態様である。なお、車両が前進中に検出された物体であっても、遠い前方から前進に伴って近くなる物体のように、当初から撮影範囲内にはあるが物体として未検出状態から検出状態になったにすぎないものは、「撮影範囲でない位置から撮影範囲へ物体が移動した」とはいえないため、割り込みとは判定されない。また、車両が前進中に検出された物体であっても、広角レンズの撮影範囲の四隅に位置することによる歪みが影響して未検出状態であった物体が四隅以外に移動して検出状態になったにすぎない物体もまた、「撮影範囲でない位置から撮影範囲へ物体が移動した」とはいえない。この場合もまた、割り込みとは判定されない。

【0025】

第２の割り込み態様は、「死角に隠れていた物体が右左折によって撮影範囲が移動したことにより顕在化した」という態様であり、割込検出部５３は車両情報に基づいて、操舵角が所定の基準値以上であった場合に旋回中であると判定して、第２の割り込み態様と判定する。第２の割り込み態様は、撮影方向や撮影範囲が大きく変化することによって、それまで見えていなかった物体が結果的に見えるようになったことを示す。旋回中であると判定するための操舵角の基準値は、ユーザの設定により変更することができる。第２の割り込み態様においては、物体自体は必ずしも動いているとは限らず、最初から同じ位置にあって単に撮影範囲に含まれていなかったものが撮影方向の移動によって撮影範囲に入ったにすぎない場合が多い。なお、ここでは右折と左折を包含して「旋回」とし、両者を同じ第２の割り込み態様で説明しているが、厳密には右折時と左折時では撮影範囲の移動方向が逆方向であり、物体が出現する方向も逆である。したがって、以下説明する画像認識においては、車両が右折するときと左折するときとで区別し、旋回中の方向とは逆向きに物体が移動するのを検出する。

【0026】

第３の割り込み態様は、「撮影に使用するカメラが前方カメラから後方カメラに切り替わったことによって物体が撮影範囲に入った」という態様である。割込検出部５３はギアないしシフトレバーがドライブやパーキングなどからリバースに切り替えられたことを示す車両情報に基づいて前進から後進に切り替わったと判定した場合に、第３の割り込み態様と判定する。第３の割り込み態様においては、物体自体は必ずしも動いているとは限らず、最初から同じ位置にあって単に撮影範囲に含まれていなかったものがカメラ切替によって撮影範囲に入ったにすぎない場合が多い。なお、本実施の形態においては、割込検出部５３は物体の割り込みを検出した上で、その割り込みが第１～３の割り込み態様のいずれに該当するかを判定する構成を説明した。変形例においては、割込検出部５３は、第１～３の割り込み態様のいずれに該当するかを判定することによって結果として物体の割り込みがあったと判定する構成としてもよい。

【0027】

対応処理部５８は、割込検出部５３により物体の割り込みが検出された場合、複数種類の対応処理のうち、判定された割り込み態様に対応する種類の対応処理を選択的に実行する。対応処理部５８は、物体の割り込み検出を示す報知、および、検出された物体を含む映像の保存のうち少なくともいずれかを、判定された割り込み態様に応じた対応処理として選択的に実行する。物体の割り込み検出を示す報知には、視覚的な報知と聴覚的な報知があり、少なくともいずれかを選択的に実行する。視覚的な報知は、例えば物体を囲む強調枠の画面表示や、運転者に警告する画像および文字列の画面表示である。聴覚的な報知は、例えば運転者に警告する内容の音声や警告音である。対応処理部５８は、報知の期間の長さを、判定された割り込み態様に応じた長さに設定する。例えば、後進中は報知開始から所定時間、例えば３秒間だけ強調枠を表示する。３秒もあれば物体の存在を運転者に把握させることができるだけでなく、いつまでも強調枠を表示し続けると、映像に含まれる駐車区画の区切り線や停車ブロック等の視認性が低下するおそれもあるためである。また例えば、旋回中は物体を検出する間、時間制限なく強調枠を表示して報知する。強調枠の表示時間は、運転者の好みに応じて設定を変更できる。本実施の形態における報知態様として、視覚的な報知および聴覚的な報知を例示したが、変形例においては触覚による報知、例えばステアリングに振動を与えることにより運転者に注意喚起する報知態様を実現してもよい。

【0028】

画像成形部５５は、前方カメラ４０または後方カメラ４２で撮影された映像から歪みを除去して表示用の映像に成形する。画像合成部５６は、表示用の映像に、割込検出部５３によって割り込みが検出された物体を囲んでその存在を強調するための強調枠を、画像成形部５５で成形された映像における物体を囲むように合成する。画像合成部５６が合成する強調枠の大きさは、検出された物体の大きさに応じて設定され、車両の移動や物体の移動によって映像に写る物体の大きさが変化した場合はその変化に追随するように強調枠の大きさも変化させる。画像合成部５６が合成する強調枠の線の太さは、検出された物体までの推定距離に応じて設定され、距離が近いほど太い線で表示する。画像合成部５６が合成する強調枠の線の色もまた、検出された物体までの推定距離に応じて設定され、距離が近いほど赤や黄色など強調の度合いが強い色で表示する。なお、表示用の映像に強調枠を合成する処理は、ナビゲーション装置１１に含まれる画像合成部５６に相当する機能に実行させる仕様としてもよく、その場合、重ね合わせるオブジェクト画像とその画像を表示する位置座標の情報をナビゲーション装置１１に送信してもよい。

【0029】

記録制御部２０は、前方カメラ４０または後方カメラ４２により常時撮影されて映像取得部１２が取得した映像データ、マイク４４により常時集音されて音声取得部１４が取得した音声データ、車両情報取得部１６が取得した車両情報を、一時記憶部２２へ一時的に記憶させる。記録制御部２０は、一時記憶部２２に記憶される映像データおよび音声データをリングバッファ方式で記録媒体４８に記録する。

【0030】

一時記憶部２２は、フラッシュメモリないしソリッドステートドライブ（ＳＳＤ；Solid State Drive）などの不揮発性メモリ、または、ＤＲＡＭなどの揮発性メモリで構成されるバッファメモリであってもよい。記録媒体４８は、例えば、ＳＤカード（登録商標）などのメモリカードであり、ドライブレコーダ１０に設けられるスロットに挿入して使用され、ドライブレコーダ１０から取り外し可能となるよう構成される。記録媒体４８は、ソリッドステートドライブやハードディスクドライブなどの補助記憶装置で構成されてもよいし、このような補助記憶装置としてナビゲーション装置１１が内蔵する補助記憶装置を利用してもよい。なお、一時記憶部２２へ記憶させる音声データや記録媒体４８に記録される音声データは、映像データと合成された動画像データの形式で記憶ないし記録される。ただし、ユーザが選択するモードに応じて、音声データが含まれない無音の映像データとして動画像データが記憶ないし記録される場合もある。したがって、以下に説明する「映像データ」の概念には、特に説明しないが、音声データが含まれる場合と含まれない場合とがあり得る。

【0031】

一時記憶部２２へ記憶させる映像データは、ＭＰＥＧ２－ＴＳなどの所定時間で区切られたストリーミング形式の動画像データとして記憶させてもよい。記録媒体４８へ記録する映像データは、一時記憶部２２へ記憶させる映像データと同じ形式でもよいし、異なる形式、例えばＭＰ４形式などのより圧縮率の高い形式でもよい。

【0032】

記録制御部２０は、映像データをリングバッファ方式で一時記憶部２２および記録媒体４８へ記録するため、一時記憶部２２および記録媒体４８に記録されたデータが容量一杯になると、最も古いデータから上書きされる。記録制御部２０は、映像データを上書き可能の属性で一時記憶部２２および記録媒体４８にいったん記録する。

【0033】

記録制御部２０は、イベント検出部１８によりトリガーイベントの発生が検出された場合に、記録媒体４８に記録された映像データのうち、少なくともトリガーイベントの検出タイミングを含む期間の映像データに上書き不可の保存形式を設定する。また、対応処理部５８が第１の割り込み態様に応じた対応処理として映像データの保存を選択したときに、これをイベント検出部１８がトリガーイベントとして検出し、記録制御部２０がその検出タイミングを含む期間の映像データに上書き不可の保存形式を設定する。記録制御部２０は、上書き不可の保存形式を設定することにより、映像データの少なくとも一部を上書き禁止にする。上書き可能および上書き不可の属性は、例えば映像データに含まれる所定のフラグ等に書き込むことによって設定してもよいし、映像データから独立したインデックス等の管理ファイルに上書き可否の属性を書き込むことによって設定してもよい。元の映像データ自体に上書き可否の属性を書き込む場合、例えば元の映像データのうち上書き不可とする保存対象の期間の開始位置と終了位置を示す情報を書き込んでもよい。この場合、保存対象以外の部分、すなわち上書き可能とする部分を後から別データで上書きする際に、保存対象の開始位置から終了位置までが結果的に切り出されて残るようにそれ以外の部分に上書きする。また、保存対象とする部分を元の映像データから切り出して独立させたファイルの形で別途保存することで、上書き可能と上書き不可を区別する仕様としてもよい。保存対象として切り出す部分が複数の映像データをまたぐ場合、それぞれの映像データから切り出して連結したファイルを保存してもよい。独立させたファイルの形で別途保存する場合、上書き可能なデータが記録された領域とは異なる特定の領域、例えば特定のフォルダに記録することで、上書き可能と上書き不可を区別する仕様としてもよい。上書き不可の属性が設定されたデータは、ユーザの明示的な操作によって削除または上書き可能の属性への変更がされるまで上書き禁止の状態が保持される。

【0034】

図２は、表示装置に表示させる映像を模式的に例示する。図２（ａ）は前進中の画面例であり、図２（ｂ）は前進中に物体の飛び出しがあった場合の画面例である。図２（ｃ）は右折中に物体の出現があった場合の画面例である。図２（ｄ）は後進中に物体の出現があった場合の画面例である。

【0035】

図２（ａ）に示すように、前進時映像６０は車体７２の前方に道路６８が写る映像であり、この状態では画面に割り込む物体は検出されていない。ここで、図２（ａ）の前進時映像６０には、遠い前方に小さく第１歩行者７３が写っている。この時点では十分に遠く小さい物体であるため、物体検出エンジン５２によって物体として検出されない。または、物体検出エンジン５２によって物体として検出されても、映像にはその前から写っているが検出できていなかった物体が検出されるようになったにすぎないため、割込検出部５３によって「割り込み」としては検出されない。

【0036】

図２（ｂ）は撮影範囲でない位置から撮影範囲へ物体が移動した状態を示す。割込検出部５３は、図２（ｂ）に示すように、前進時映像６０において道路６８の左方にある物陰から飛び出してきた第２歩行者７４の画面への割り込みを検出する。また、割込検出部５３は、前進時映像６０において道路６８の右方にある物陰から飛び出してきた二輪車７６の画面への割り込みも検出する。本実施の形態においては、このような物体の飛び出しを割込検出部５３が「割り込み」として検出した上で、車両が前進中であること、または旋回中や後進中ではないことを車両情報に基づいて判定し、この割り込みを第１の割り込み態様として判定する。この場合、対応処理部５８は第１の割り込み態様に対応する種類の対応処理として、映像の保存処理を実行する。第１の割り込み態様の状態は、急に飛び出した物体が車両と衝突する可能性があるものの、まだ衝突はしていないため、イベント検出部１８による衝突の検出を契機とする映像データの保存はなされていない状況である。したがって、このような衝突が発生する前の時点から映像データを保存対象に設定することで、仮にこの直後に衝突した場合であってイベント検出部１８による衝突検出が適切に作動しなかったような場合でも、映像データが保存対象に設定される可能性が高い点で特に有効といえる。なお、第１の割り込み態様では、他の割り込み態様よりも車速が速い分、物体の割り込みを視覚的または聴覚的に報知しても運転者は対応困難である可能性が高いことから、対応処理部５８は映像の保存のみを実行し、運転者への報知を実行しない。ただし、変形例として、第１の割り込み態様と判定された物体を運転者への視覚的または聴覚的な報知の対象とする仕様としてもよい。その場合、対応処理部５８は映像の保存と運転者への報知の双方を実行する。

【0037】

一方、第１歩行者７３は物体検出エンジン５２により物体として検出されるものの、図２（ａ）の撮影範囲に含まれながら物体としては検出されていなかったものが前進により近づいて検出されるようになったにすぎない。したがって、割込検出部５３は第１歩行者７３を物体の割り込みとしては検出せず、割り込み態様の判定もなされない。なお、物体検出エンジン５２は、検出した物体を区別するために物体ごとに固有の識別情報を付与する。

【0038】

図２（ｃ）は死角に隠れていた物体が右左折によって撮影範囲が移動したことにより顕在化した状態を示す。図では右折時に撮影方向も右旋回し、撮影範囲が右方に移動したことにより、右方の物陰に隠れていた第３歩行者８２や、右脇にいる第４歩行者８３が見えるようになって撮影範囲に含まれるに至った状況を示す。物体検出エンジン５２は第３歩行者８２と第４歩行者８３を物体として検出する。割込検出部５３がそれぞれを物体の割り込みとして検出した上で、車両が旋回中（図では右折中）であることを車両情報に基づいて判定し、この割り込みを第２の割り込み態様として判定する。この場合、対応処理部５８は第２の割り込み態様に対応する種類の対応処理として、視覚的な報知および聴覚的な報知を実行する。第２の割り込み態様の状態は、必ずしも急な飛び出しとは限らず、また、旋回中は前進中に比べて車速が遅い場合も多く、運転者の注意によって物体の巻き込みを未然に防止することが十分に可能であることから、物体の割り込みを運転者に把握させる趣旨である。対応処理部５８は、第３歩行者８２を囲む形で強調枠８４を第３歩行者８２に重ねて表示させ、第４歩行者８３を囲む形で強調枠８５を第４歩行者８３に重ねて表示させることにより、右方に巻き込みやすい物体が存在することを運転者に報知する。さらに、対応処理部５８は画面上部に注意喚起のアイコンとともに警告文８６を表示することにより、物体の巻き込みの可能性を運転者に注意喚起する。対応処理部５８は所定の警告音を出力することによっても物体の巻き込みの可能性を運転者に注意喚起する。なお、第２の割り込み態様では、物体の巻き込みの可能性を運転者に注意喚起することが主目的であるため、対応処理部５８は運転者への報知のみを実行し、映像の保存を実行しない。ただし、変形例として、第２の割り込み態様と判定された場合に、運転者への報知と映像の保存の双方を実行してもよい。

【0039】

図２（ｄ）は撮影に使用するカメラが前方カメラから後方カメラに切り替わったことによって物体が撮影範囲に入った状態を示す。図では、線で区切られた駐車区画に車両を後進させる状況の画面を示すとともに、区画線の近辺にいる動物８８や障害物９２が画像に含まれている。動物８８や障害物９２は、急に飛び出してきた物体ではなく、物陰や死角から見えるようになった物体でもなく、車両が後進を始める前から同じ位置に存在していた可能性の高い物体である。物体検出エンジン５２は動物８８と障害物９２を物体として検出する。割込検出部５３がそれぞれを物体の割り込みとして検出した上で、ギアないしシフトレバーがリバースに切り替えられたことを示す車両情報に基づいて前進から後進、すなわち前方カメラ４０から後方カメラ４２に切り替わったと判定し、この割り込みを第３の割り込み態様として判定する。この場合、対応処理部５８は第３の割り込み態様に対応する種類の対応処理として、報知時間が制限される形での視覚的な報知および聴覚的な報知を実行する。第３の割り込み態様の状態は、必ずしも急な飛び出しとは限らず、また、ギアがリバースに切り替えられたばかりで実際には後進を開始していないか、少なくとも前進に比べて車速が遅い場合が多い。したがって、運転者の注意によって物体との接触を未然に防止することが十分に可能であることから、物体との接触可能性を運転者に把握させる趣旨である。対応処理部５８は、動物８８を囲む形で強調枠９０を動物８８に重ねて表示させ、障害物９２を囲む形で強調枠９４を障害物９２に重ねて表示させることにより、接触しかねない物体が存在することを運転者に報知する。さらに、対応処理部５８は画面上部に注意喚起のアイコンとともに警告文９５を表示することにより、物体への接触を運転者に注意喚起する。また、対応処理部５８は所定の警告音を出力することによっても物体との接触を運転者に注意喚起する。

【0040】

ここで、強調枠９０と強調枠９４は、後方カメラ４２へ切り替わって報知が開始されたタイミングから所定の報知時間、例えば３秒が経過したときに報知を終了する。図にも現れる通り、後進時には駐車区画が画像認識され、その駐車区画に沿って駐車目標の目安となるガイド線９３を重ねて表示するため、そのガイド線９３が強調枠９０や強調枠９４と重なってしまい、視認性が低下する可能性がある。そのため、強調枠９０と強調枠９４の表示時間を、運転者が物体の存在を把握し終わったと想定される時間、例えば３秒に限定して画面から消去し、ガイド線９３の視認性を妨げないようにする。強調枠の表示時間は、ユーザの設定により変更することができてもよいし、後方カメラ４２への切替からの表示時間と、その表示時間の経過後に新たな物体の検出があった場合の表示時間とで、異なる時間を設定できてもよい。

【0041】

後方カメラ４２へ切り替わったときの報知開始タイミングから所定の表示時間が経過した後であっても、撮影範囲でない位置から撮影範囲へ新たな物体が移動したことが検出された場合は、これを第３の割り込み態様とみなし、物体との接触可能性を注意喚起する報知を実行する。この場合もまた、強調枠の表示開始から所定の表示時間、例えば３秒が経過したときに報知を終了させる。

【0042】

なお、強調枠の表示期間が経過する前に、例えば動物８８などの物体が撮影範囲外へ移動した場合は、当然ながら表示期間の経過前であっても強調枠９０は画面から消去される。また、第３の割り込み態様では、後進時における物体との接触を運転者に注意喚起することが主目的であるため、対応処理部５８は運転者への報知のみを実行し、映像の保存を実行しない。ただし、変形例として、第３の割り込み態様と判定された場合に、運転者への報知と映像の保存の双方を実行してもよい。また、強調枠の表示期間を設けず、時間制限なしに強調枠を表示して報知を継続することとしてもよいし、強調枠がガイド線９３に重ならないなどの条件を満たす場合に、その条件を満たした強調枠のみを時間制限なしに表示して報知を継続することとしてもよい。

【0043】

図３は、物体の検出から割り込み態様に応じた処理実行までの過程を示すフローチャートである。まず、物体検出エンジン５２が映像から物体を検出するまでは、以降の処理をスキップ（Ｓ１０のＮ）する。物体検出エンジン５２が映像から物体を検出した場合であって（Ｓ１０のＹ）、後方カメラ４２で撮影された映像の表示中ではないことが車両情報に基づいて判定された場合（Ｓ１２のＮ）、Ｓ１４へ進む。Ｓ１０で検出された物体が新たな物体の割り込みであると判定された場合であって（Ｓ１４のＹ）、車両が旋回中でないことが車両情報から判定された場合に（Ｓ１６のＮ）、第１の割り込み態様と判定し、その態様に対応する処理として映像の保存が実行される（Ｓ１８）。Ｓ１０で検出された物体が新たな物体の割り込みであると判定された場合であって（Ｓ１４のＹ）、車両が旋回中であることが車両情報から判定された場合に（Ｓ１６のＹ）、第２の割り込み態様と判定し、その態様に対応する処理として物体の巻き込み注意の報知が実行される（Ｓ２０）。Ｓ１０で検出された物体が、図２（ｂ）の第１歩行者７３のように新たな物体の割り込みではないと判定された場合（Ｓ１４のＮ）、Ｓ１６以降の処理はスキップされ、割り込み態様の判定や態様に応じた処理は実行されない。

【0044】

物体検出エンジン５２が映像から物体を検出した場合であって（Ｓ１０のＹ）、後方カメラ４２で撮影された映像の表示中であることが車両情報に基づいて判定された場合（Ｓ１２のＹ）、Ｓ２２へ進む。この場合、物体検出から所定時間以内であれば（Ｓ２２のＹ）、第３の割り込み態様と判定し、その態様に対応する処理として物体との接触注意の報知が実行される（Ｓ２４）。一方、物体検出から所定時間経過後であっても（Ｓ２２のＮ）、Ｓ１０で検出された物体が新たな物体の割り込みであると判定された場合は（Ｓ２６のＹ）、第３の割り込み態様とみなし、その態様に対応する処理として物体との接触注意の報知が実行される（Ｓ２４）。Ｓ２６において、Ｓ１０で検出された物体が新たな物体の割り込みではない場合は（Ｓ２６のＮ）、Ｓ２４の処理はスキップされ、割り込み態様の判定や態様に応じた処理は実行されない。なお、変形例として、Ｓ２６において新たな物体の割り込みであると判定された場合（Ｓ２６のＹ）、第３の割り込み態様ではなく第１の割り込み態様と判定し、映像の保存を実行してもよい。

【0045】

なお、本実施の形態においては、Ｓ１６において車両が旋回中であるか否かによって第１の割り込み態様と第２の割り込み態様のいずれであるかを判定し、対応処理として映像の保存処理と報知のいずれを実行するかを判定する例を説明した。変形例においては、車速が所定値を超えるか否かに応じて映像の保存処理と報知のいずれを実行するかを判定することとしてもよい。この場合、車速が所定値を超える場合に映像の保存処理を実行し、所定値を超えない場合に報知を実行する。

【0046】

以上、実施の形態において説明したように、第１の割り込み態様を判定して対応処理を実行することにより、その後に衝突検出が適切になされたかどうかにかかわらず映像データを保存することができる。また、第２の割り込み態様を判定して対応処理を実行することにより、旋回中の物体の巻き込みを未然に防止することが期待できる。また、第３の割り込み態様を判定して対応処理を実行することにより、後進時における物体との接触を未然に防止することが期待できる。さらに、物体の割り込み態様を判定して区別することで、その割り込み態様に応じてより適切な対応処理を選択的に実行することができ、より効果的な運転支援を実施できる。

【0047】

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0048】

１０ ドライブレコーダ、 １１ ナビゲーション装置、 １２ 映像取得部、 １６ 車両情報取得部、 ２０ 記録制御部、 ２８ 表示制御部、 ４０ 前方カメラ、 ４２ 後方カメラ、 ４８ 記録媒体、 ４９ 表示装置、 ５０ 画像処理部、 ５１ 物体検出部、 ５２ 物体検出エンジン、 ５３ 割込検出部、 ５８ 対応処理部。

【図1】

【図2】

【図3】