特許 7354773 物体検出装置、物体検出方法、及び物体検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-25

(45)【発行日】2023-10-03

(54)【発明の名称】物体検出装置、物体検出方法、及び物体検出プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230926BHJP

   G08G 1/16 20060101ALI20230926BHJP

   G06T 7/00 20170101ALI20230926BHJP

   G06T 7/70 20170101ALI20230926BHJP

【ＦＩ】

H04N7/18 J

G08G1/16 C

G06T7/00 650Z

G06T7/70 A

【請求項の数】 7

(21)【出願番号】P 2019199782

(22)【出願日】2019-11-01

(65)【公開番号】P2021072592

(43)【公開日】2021-05-06

【審査請求日】2022-09-30

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】楊 尹誠

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２００７－０２５７３９（ＪＰ，Ａ）

【文献】特開２０１２－０１０２５１（ＪＰ，Ａ）

【文献】特開２０１５－１５４３８６（ＪＰ，Ａ）

【文献】特開２００４－１８０２４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｇ １／１６

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

非高速処理モードにおいて、撮影画像から物体を検出し、物体位置情報を出力する第１物体検出部と、
前記第１物体検出部により物体位置情報が出力された場合、高速処理モードに切り替える切替部と、
前記高速処理モードにおいて、第１物体検出部から出力された物体位置情報にもとづいて前記撮影画像からトリミング画像を抽出する画像トリミング部と、
前記トリミング画像から物体を検出し、物体位置情報を出力する第２物体検出部と、
前記第２物体検出部により検出された物体が前記トリミング画像からはみ出しているかどうかを判定するはみ出し判定部とを含み、
前記切替部は、前記第２物体検出部により検出された物体が前記トリミング画像からはみ出していると判定された場合、前記非高速処理モードに切り替えることを特徴とする物体検出装置。

【請求項2】

前記画像トリミング部は、前記撮影画像の左右の端に端トリミング画像をデフォールトで設定することを特徴とする請求項１に記載の物体検出装置。

【請求項3】

前記切替部は、前記高速処理モードにおいて所定の時間が経過した場合に、非高速処理モードに強制的に切り替えることを特徴とする請求項１または２に記載の物体検出装置。

【請求項4】

前記画像トリミング部は、前記第１物体検出部により検出された物体の移動方向に応じて前記トリミング画像の縦または横のサイズを決定することを特徴とする請求項１から３のいずれかに記載の物体検出装置。

【請求項5】

前記撮影画像は車に搭載された撮影装置により撮影された画像であり、
前記画像トリミング部は、前記車に対する前記第１物体検出部により検出された物体の相対移動速度に応じて前記トリミング画像のサイズを決定することを特徴とする請求項１から４のいずれかに記載の物体検出装置。

【請求項6】

非高速処理モードにおいて、撮影画像から物体を検出し、物体位置情報を出力する第１物体検出ステップと、
前記第１物体検出ステップにより物体位置情報が出力された場合、高速処理モードに切り替える切替ステップと、
前記高速処理モードにおいて、第１物体検出ステップから出力された物体位置情報にもとづいて前記撮影画像からトリミング画像を抽出する画像トリミングステップと、
前記トリミング画像から物体を検出し、物体位置情報を出力する第２物体検出ステップと、
前記第２物体検出ステップにより検出された物体が前記トリミング画像からはみ出しているかどうかを判定するはみ出し判定ステップとを含み、
前記切替ステップは、前記第２物体検出ステップにより検出された物体が前記トリミング画像からはみ出していると判定された場合、前記非高速処理モードに切り替えることを特徴とする物体検出方法。

【請求項7】

非高速処理モードにおいて、撮影画像から物体を検出し、物体位置情報を出力する第１物体検出ステップと、
前記第１物体検出ステップにより物体位置情報が出力された場合、高速処理モードに切り替える切替ステップと、
前記高速処理モードにおいて、第１物体検出ステップから出力された物体位置情報にもとづいて前記撮影画像からトリミング画像を抽出する画像トリミングステップと、
前記トリミング画像から物体を検出し、物体位置情報を出力する第２物体検出ステップと、
前記第２物体検出ステップにより検出された物体が前記トリミング画像からはみ出しているかどうかを判定するはみ出し判定ステップとをコンピュータに実行させ、
前記切替ステップは、前記第２物体検出ステップにより検出された物体が前記トリミング画像からはみ出していると判定された場合、前記非高速処理モードに切り替えることを特徴とする物体検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像から物体を検出する技術に関する。

【背景技術】

【0002】

自動車に搭載されたドライブレコーダなどのカメラによって自動車の周囲の映像を撮影し、他の車両や歩行者、障害物などの物体をリアルタイムで検出して警告を出力することで衝突事故や人身事故の回避に役立てることができる。

【0003】

特許文献１には、連続して取得される画像に含まれる被写体を検出し、被写体を追尾していることを示す追尾枠を表示して、撮影者に対して被写体の追尾状態を適切に認識させる被写体追尾装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－６９０６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

衝突事故や人身事故を回避するためには、撮影画像からリアルタイムで物体を正確に検出する必要がある。一般道路であれば少なくとも１５ｆｐｓ（frames per second）、高速道路では少なくとも３０ｆｐｓのフレームレートで物体検出ができなければ、事故防止に役立たない。ディープラーニングなどの学習アルゴリズムを用いて物体検出処理を行う場合、畳み込み演算に非常に時間がかかり、高速処理ができないという問題があった。

【0006】

本発明はこうした状況に鑑みてなされたものであり、その目的は、画像から物体を高速に検出する技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある態様の物体検出装置は、非高速処理モードにおいて、撮影画像から物体を検出し、物体位置情報を出力する第１物体検出部（３０）と、前記第１物体検出部により物体位置情報が出力された場合、高速処理モードに切り替える切替部（２０）と、高速処理モードにおいて、第１物体検出部から出力された物体位置情報にもとづいて前記撮影画像からトリミング画像を抽出する画像トリミング部（４０）と、前記トリミング画像から物体を検出し、物体位置情報を出力する第２物体検出部（６０）と、前記第２物体検出部により検出された物体が前記トリミング画像からはみ出しているかどうかを判定するはみ出し判定部（７０）とを含む。前記切替部（２０）は、前記第２物体検出部により検出された物体が前記トリミング画像からはみ出していると判定された場合、非高速処理モードに切り替える。

【0008】

本発明の別の態様は、物体検出方法である。この方法は、非高速処理モードにおいて、撮影画像から物体を検出し、物体位置情報を出力する第１物体検出ステップと、前記第１物体検出ステップにより物体位置情報が出力された場合、高速処理モードに切り替える切替ステップと、前記高速処理モードにおいて、第１物体検出ステップから出力された物体位置情報にもとづいて前記撮影画像からトリミング画像を抽出する画像トリミングステップと、前記トリミング画像から物体を検出し、物体位置情報を出力する第２物体検出ステップと、前記第２物体検出ステップにより検出された物体が前記トリミング画像からはみ出しているかどうかを判定するはみ出し判定ステップとを含む。前記切替ステップは、前記第２物体検出ステップにより検出された物体が前記トリミング画像からはみ出していると判定された場合、前記非高速処理モードに切り替える。

【0009】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0010】

本発明によれば、画像から物体を高速に検出することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施の形態に係る物体検出システムの構成図である。

【図2】図１の物体検出装置による物体検出方法を説明する図である。

【図3】図３（ａ）および図３（ｂ）は、物体の向きに応じたトリミング画像の例を説明する図である。

【図4】図４（ａ）および図４（ｂ）は、物体が移動方向に動いた場合のトリミング画像の例を説明する図である。

【図5】図５（ａ）および図５（ｂ）は、物体の相対移動速度に応じたトリミング画像の例を説明する図である。

【図6】トリミング画像の別の例を説明する図である。

【図7】実施の形態に係る物体検出装置による物体検出方法を説明するフローチャートである。

【発明を実施するための形態】

【0012】

図１は、本発明の実施の形態に係る物体検出システムの構成図である。物体検出システムは、撮影装置１１０、物体検出装置１００、および表示装置１２０を含む。撮影装置１１０の一例は、車両に搭載されるドライブレコーダなどの車載カメラである。表示装置１２０の一例は、車両に搭載されるカーナビゲーションシステムやヘッドアップディスプレイなどの車載ディスプレイである。物体検出装置１００は、ドライブレコーダの機能の一部として実装されてもよく、カーナビゲーションシステムやヘッドアップディスプレイの機能の一部として実装されてもよい。また、撮影装置１１０、物体検出装置１００、および表示装置１２０のすべての機能を一つの装置として一体的に実装してもよい。

【0013】

物体検出装置１００は、画像取得部１０、切替部２０、第１物体検出部３０、画像トリミング部４０、解像度変更部５０、第２物体検出部６０、はみ出し判定部７０、および物体検出モデル記憶部８０を含む。

【0014】

撮影装置１１０は、連続して撮影される画像を物体検出装置１００の画像取得部１０に供給する。

【0015】

切替部２０は、高速処理切替フラグの値により、非高速処理モードと高速処理モードを切り替える。高速処理切替フラグが０の場合、非高速処理モードであり、高速処理切替フラグが１の場合、高速処理モードである。高速処理切替フラグの初期値は０である。

【0016】

高速処理切替フラグが０、すなわち非高速処理モードの場合、画像取得部１０が取得した撮影画像は、第１物体検出部３０に供給される。高速処理切替フラグが１、すなわち高速処理モードの場合、画像取得部１０が取得した撮影画像は第１物体検出部３０をスキップして画像トリミング部４０に供給される。

【0017】

非高速処理モードでは、第１物体検出部３０が動作し、第１物体検出部３０が出力する物体位置情報にもとづいて表示装置１２０が撮影画像に物体検出枠を重畳させて表示する。

【0018】

高速処理モードでは、第１物体検出部３０は動作せず、過去の画像フレームに対して第１物体検出部３０が出力した物体位置情報を用いて、現在の画像フレームに対して、画像トリミング部４０、解像度変更部５０、および第２物体検出部６０が動作し、第２物体検出部６０が出力する物体位置情報にもとづいて表示装置１２０が撮影画像に物体検出枠を重畳させて表示する。

【0019】

第１物体検出部３０および第２物体検出部６０は、学習済みの物体検出モデルを用いて、ディープラーニングなどの学習アルゴリズムにより画像から物体を検出する。第１物体検出部３０および第２物体検出部６０は、その処理の一部又は全部がＡＩ（Artificial Intelligence）アクセラレータなどのニューラルネットワークの畳み込み演算に特化したＡＳＩＣ（Application Specific Integrated Circuit）によって実装されてもよい。

【0020】

第１物体検出部３０は、撮影画像全体から物体を検出するために、高解像度用の物体検出モデルを用いて、高解像度の撮影画像を入力して畳み込み演算を行う。ディープラーニングの畳み込み演算に入力される撮影画像の解像度は一例として縦４４８画素、横４４８画素の高解像度である。なお、撮影画像の解像度が縦４４８画素、横４４８画素よりも大きい場合、第１物体検出部３０は、撮像画像の解像度を縦４４８画素、横４４８画素になるように低減する。高解像度の入力データを用いるため、検出精度は非常に高いが、演算量が大きく、計算に時間がかかる。

【0021】

第２物体検出部６０は、撮影画像からトリミングした画像から物体を検出するために、中解像度または低解像度用の物体検出モデルを用いて、中解像度または低解像度のトリミング画像を入力して畳み込み演算を行う。ディープラーニングの畳み込み演算に入力されるトリミング画像の解像度は一例として縦２２４画素、横２２４画素の中解像度または縦１１２画素、横１１２画素の低解像度である。中解像度用の物体検出モデルは、高解像度用の物体検出モデルの１／４の計算時間で演算することができる。低解像度用の物体検出モデルは、高解像度用の物体検出モデルの１／１６の計算時間で演算することができる。よって中解像度または低解像度の入力データを用いるため、検出精度はやや低くなるが、演算量が大幅に減り、計算時間を短縮できる。

【0022】

第１物体検出部３０による非高速処理モードと、第２物体検出部６０による高速処理モードとを組み合わせ、条件によって切り替えることにより、検出精度を保ちつつ、演算量を減らして計算速度を上げることができる。

【0023】

非高速処理モードにおいて、第１物体検出部３０は、物体検出モデル記憶部８０に記憶された高解像度用の物体検出モデルを用いて、撮影画像全体から物体を検出する。第１物体検出部３０は、撮影画像全体から検出された物体位置情報を画像トリミング部４０および表示装置１２０に供給する。物体位置情報は、検出された物体を囲む枠（「物体検出枠」と呼ぶ）の座標値などで与えられる。

【0024】

第１物体検出部３０が物体位置情報を出力した場合、切替部２０は、高速処理切替フラグを０から１に更新し、高速処理モードに切り替える。

【0025】

高速処理モードにおいて、画像トリミング部４０は、第１物体検出部３０から与えられた物体位置情報にもとづいて、画像取得部１０から取得した撮影画像から画像をトリミングして抽出する。トリミング画像は、検出された物体を囲む物体検出枠よりも大きめに抽出する。

【0026】

画像トリミング部４０は、抽出されたトリミング画像を解像度変更部５０に供給する。解像度変更部５０は、トリミング画像の解像度を変更する。たとえば、トリミング画像のサイズに応じて、縦２２４画素、横２２４画素の中解像度や縦１１２画素、横１１２画素の低解像度に低減させる。トリミング画像のアスペクト比が１：１以外である場合、解像度変更部５０はトリミング画像のアスペクト比を１：１に変更する。例えば抽出されたトリミング画像が縦３３６画素×横３９２画素であった場合、トリミング画像の縦画素を２／３だけ低減して２２４画素にし、横画素を４／７だけ低減して２２４画素にする。ここで解像度を低減する方法としては、公知の画像圧縮処理技術や画素間引き処理技術を用いればよい。

【0027】

物体検出装置１００は、必ずしも解像度変更部５０を備えていなくてもよい。解像度変更部５０を備えない場合は、第２物体検出部６０がトリミング画像の解像度を変更してもよい。また、物体検出モデルの対応する解像度及びアスペクト比によっては、トリミング画像の解像度を変更しなくてもよい。例えば抽出されたトリミング画像が縦２２４画素×横２２４画素であった場合、第２物体検出部６０はトリミング画像の解像度を変更せずに中解像度用の物体検出モデルに入力する。

【0028】

第２物体検出部６０は、物体検出モデル記憶部８０からトリミング画像の解像度に応じた物体検出モデルを用いて、トリミング画像から物体を検出する。トリミング画像が中解像度であれば、中解像度用の物体検出モデルを用い、トリミング画像が低解像度であれば、低解像度用の物体検出モデルを用いる。

【0029】

第２物体検出部６０は、トリミング画像から検出された物体の位置情報を表示装置１２０に供給する。物体位置情報は、物体検出枠の座標値などで与えられる。

【0030】

非高速処理モードの場合、表示装置１２０は第１物体検出部３０から供給された物体位置情報にもとづいて撮影画像に物体検出枠を重畳させて表示する。高速処理モードの場合、表示装置１２０は第２物体検出部６０から供給された物体位置情報にもとづいて撮影画像に物体検出枠を重畳させて表示する。

【0031】

非高速処理モードの場合、画像取得部１０から取得した高解像度の撮影画像全体から第１物体検出部３０が物体を検出し、画像トリミング部４０、解像度変更部５０、および第２物体検出部６０の処理をスキップして、第１物体検出部３０が物体位置情報を表示装置１２０に供給し、撮影画像に物体検出枠が表示される。

【0032】

高速処理モードの場合、第１物体検出部３０が動作しないため、過去の画像フレームに対して第１物体検出部３０が出力した物体位置情報を用いて、画像トリミング部４０が現在の画像フレームをトリミングして、解像度変更部５０がトリミング画像の解像度を低減させる。解像度が低減されたトリミング画像から第２物体検出部６０が物体を検出して物体位置情報を表示装置１２０に供給し、撮影画像に物体検出枠が表示される。

【0033】

過去の画像フレームに対して第１物体検出部３０が検出した物体位置情報を用いて現在の画像フレームがトリミングされるため、自車または検出された物体、もしくはその両方が移動することにより、検出された物体がトリミング画像からはみ出てしまうことがある。

【0034】

はみ出し判定部７０は、第２物体検出部６０がトリミング画像から検出した物体がトリミング画像からはみ出しているかどうかを判定する。例えば第２物体検出部６０が生成する物体位置情報が示す物体検出枠は、はみ出していない場合連続して撮影される画像ではほぼ一定のアスペクト比をもつため、はみ出し判定部７０は、物体検出枠のアスペクト比を過去のフレームと比較し、変化の有無を監視することではみ出しているかどうかを判定する。物体がトリミング画像からはみ出している場合、切替部２０は、高速処理切替フラグを１から０に変更する。切替部２０は、高速処理切替フラグを０に更新すると、非高速処理モードに切り替え、次のフレームにおいては、第１物体検出部３０が動作して再度撮影画像全体から物体が検出される。

【0035】

物体がトリミング画像からはみ出していない場合、高速処理切替フラグは１のままであり、第１物体検出部３０は引き続きスキップされ、過去の画像フレームにおいて第１物体検出部３０により出力された物体位置情報にもとづいて現在の画像フレームがトリミングされ、解像度が低減されたトリミング画像から第２物体検出部６０により物体が検出され、物体位置情報が出力される。

【0036】

物体検出モデル記憶部８０は、高解像度用・中解像度用・低解像度用の３種類の物体検出モデルを記憶している。なお物体検出モデル記憶部８０は、４種類以上の異なる解像度が入力される物体検出モデルを記憶してもよい。物体検出モデルに入力される画像の解像度は上記の例に限らない。また、物体検出モデルに入力される画像のアスペクト比は上記の例の様に１：１であるとは限らない。例えば、高解像度用の物体検出モデルは縦２１６０画素×横４０９６画素などの４Ｋ解像度をもつ画像の入力に対応していてもよい。

【0037】

図２は、図１の物体検出装置１００による物体検出方法を説明する図である。

【0038】

撮影画像２００は、自車に搭載されたドライブレコーダなどの撮影装置１１０により撮影された前方の画像である。道路上に２台の対向車が撮影されている。

【0039】

非高速処理モードにおいて、第１物体検出部３０は、高解像度の物体検出モデル２１０を用いて撮影画像２００の全体から物体を検出し、物体位置情報２２０を生成する。ここでは、道路上に２台の対向車が検出される。表示装置１２０は、第１物体検出部３０により検出された物体位置情報２２０にもとづいて、２台の対向車の物体検出枠を撮影画像２００に重畳させて表示する。

【0040】

非高速処理モードにおいて、第１物体検出部３０が物体位置情報２２０を生成した後、次のフレームでは高速処理モードに切り替えられる。

【0041】

高速処理モードにおいて、画像トリミング部４０は、第１物体検出部３０により生成された物体位置情報２２０を用いて、次のフレームの撮影画像２３０からトリミング画像２３２、２３４を抽出する。ここで、物体位置情報２２０が示す物体検出枠よりも大きめにトリミング画像２３２、２３４を抽出する。具体的には、物体位置情報２２０が示す物体検出枠を上下左右それぞれ数画素から数十画素広げた大きさのトリミング画像２３２、２３４を抽出する。解像度変更部５０は、トリミング画像２３２、２３４の解像度を変更する。自車から遠く比較的小さい物体検出枠である対向車のトリミング画像２３２は低解像度に、自車に近く比較的大きい物体検出枠である対向車のトリミング画像２３４は中解像度に変更する。

【0042】

第２物体検出部６０は、低解像度のトリミング画像２３２、中解像度のトリミング画像２３４から、それぞれの解像度に対応する物体検出モデル２４０を用いて物体を検出し、物体位置情報２５０を生成する。

【0043】

自車に対する対向車の相対位置が変化することから、２台の対向車の位置はそれぞれのトリミング画像２３２、２３４内で変動する。第２物体検出部６０により抽出された物体位置情報２５０は、第１物体検出部３０により抽出された物体位置情報２２０とは異なるものになる。

【0044】

表示装置１２０は、第２物体検出部６０により検出された物体位置情報２５０にもとづいて、２台の対向車の物体検出枠を撮影画像２００に重畳させて表示する。

【0045】

２台の対向車がそれぞれのトリミング画像２３２、２３４からはみ出さない限り、高速処理モードが繰り返され、第２物体検出部６０がトリミング画像２３２、２３４から中解像度または低解像度の物体検出モデル２４０を用いて物体を検出し、物体位置情報２５０を生成する。

【0046】

２台の対向車のいずれかがトリミング画像２３２、２３４からはみ出したと判定されると、非高速処理モードに切り替えられ、第１物体検出部３０が撮影画像２００の全体から高解像度の物体検出モデル２１０を用いて物体を検出し、物体位置情報２２０を生成する。ここで、トリミング画像はトリミング画像２３２、２３４の２つに限らない。トリミング画像は１つでもよいし、３つ以上でもよい。いずれのトリミング画像数の場合においても、トリミング画像が１つでもはみ出したと判定されると、非高速処理モードに切替えられる。

【0047】

図３（ａ）および図３（ｂ）は、物体の向きに応じたトリミング画像の例を説明する図である。点線は物体検出枠を示し、実線はトリミング画像を示す。

【0048】

図３（ａ）は、撮影画像で検出された車が前を向いている場合であり、図３（ｂ）は、検出された車が左を向いている場合である。車が前または後ろを向いている場合は、車は画面上で上または下に移動する可能性が高いが、車が左または右を向いている場合は、車は画面上で左または右に移動する可能性が高い。

【0049】

このように、撮影画像で車が検出される場合、検出された車の向きによって画面上で車が移動する方向が異なる。画像トリミング部４０が撮影画像をトリミングする際、車が移動する方向に大きくトリミングすることで、車が移動してもトリミング画像内で検出することができ、高速処理モードを長く続けることができる。

【0050】

図３（ａ）の場合、車が前を向いているため、物体検出枠２８０に比べてトリミング画像２８２の縦方向のサイズが大きく抽出されている。例えば画像トリミング部４０は、横方向に比べて縦方向が数十画素から数百画素大きいトリミング画像２８２を抽出する。図３（ｂ）の場合、車が横を向いているため、物体検出枠２８４に比べてトリミング画像２８６の横方向のサイズが大きく抽出されている。例えば画像トリミング部４０は、縦方向に比べて横方向が数十画素から数百画素大きいトリミング画像２８６を抽出する。

【0051】

第１物体検出部３０は、検出された物体の位置情報から物体検出枠の形がわかるため、検出された車が前または後ろを向いているのか、横を向いているのかを判定することができる。例えば物体検出枠が縦方向に長い形であれば検出された車が前または後ろを向いている、物体検出枠が横方向に長い形であれば検出された車が横を向いていると判定する。第１物体検出部３０は、検出された物体の位置情報の他に、検出された物体の向きの情報を画像トリミング部４０に供給してもよい。

【0052】

画像トリミング部４０は、撮影画像に写された車体が正面であるか、背面であるか、側面であるかによって車の移動方向を予測して、トリミング画像の縦横のサイズを決定してもよい。あるいは、画像トリミング部４０は、画像フレーム間の車体の動きから車の移動方向を予測して、トリミング画像の縦横のサイズを決定してもよい。

【0053】

図４（ａ）および図４（ｂ）は、物体が移動方向に動いた場合のトリミング画像の例を説明する図である。

【0054】

図４（ａ）は、図３（ａ）のトリミング画像２８２内で車が前方に移動した場合を示す。実線のトリミング画像２８２内で、点線の物体検出枠２８０は下方向に移動している。トリミング画像２８２の縦方向のサイズを大きく抽出したため、車が前方に移動しても物体検出枠２８０はトリミング画像からはみ出すことがなく、高速処理モードを継続することができる。

【0055】

図４（ｂ）は、図３（ｂ）のトリミング画像２８６内で車が左に移動した場合を示す。実線のトリミング画像２８６内で、点線の物体検出枠２８４は左方向に移動している。トリミング画像２８６の横方向のサイズを大きく抽出したため、車が左に移動しても物体検出枠２８４はトリミング画像からはみ出すことがなく、高速処理モードを継続することができる。

【0056】

図５（ａ）および図５（ｂ）は、物体の相対移動速度に応じたトリミング画像の例を説明する図である。自車に対して物体の相対移動速度が大きい場合、自車から撮影した画像内で物体は大きく移動する。第１物体検出部３０が検出する物体の対象は、車だけでなく人物などを含んでいてもよい。また第１物体検出部３０は、検出された物体の位置情報の他に、検出した物体が車であるか人物であるかの情報、道路上の停止板や標識の情報、などを画像トリミング部４０に供給してもよい。画像トリミング部４０は、図示しない速度計などから自車の速度を取得してもよい。

【0057】

図５（ａ）は、道路上に停止板を出して一時停止している車を検出した場合を示す。前方の他車が自車と同じ方向に移動している場合、自車に対する他車の相対速度は小さくなる。しかし、停止している他車に対して自車が近づいている場合、自車に対する他車の相対移動速度は大きくなる。そこで、画像トリミング部４０は自車が走行中かつ検出した車が一時停止していると判断した場合、点線の物体検出枠２６０に対して実線のトリミング画像２６２を図２に示すトリミング画像２３２、２３４よりも大きめに抽出することで、後続の画像フレームで検出される他車がトリミング画像２６２からはみ出さない。例えば画像トリミング部４０は、点線の物体検出枠２６０を上下左右それぞれ数十画素から数百画素広げた大きさのトリミング画像２６２を抽出する。これにより、高速処理を継続して衝突事故を確実に回避することができる。

【0058】

図５（ｂ）は、道路に飛び出してきた人物を検出した場合を示す。人物の移動速度は小さいが、自車がスピードを出している場合、自車に対する人物の相対移動速度は大きくなる。そこで、画像トリミング部４０は自車がスピードを出しているかつ人物を検出したと判断した場合、点線の物体検出枠２７０に対して実線のトリミング画像２７２を図２に示すトリミング画像２３２、２３４よりも大きめに抽出することで、後続の画像フレームで検出される児童がトリミング画像２７２からはみ出さない。例えば画像トリミング部４０は、点線の物体検出枠２７０を上下左右それぞれ数十画素から数百画素広げた大きさのトリミング画像２７２を抽出する。これにより、高速処理を継続して人身事故を確実に回避することができる。

【0059】

図６は、トリミング画像の別の例を説明する図である。撮影画像２３０において検出される２台の車に対するトリミング画像２３２、２３４の他に、撮影画像２３０の左右の端に端トリミング画像２３６、２３８が設けられている。これは、道路の左右から突然、人や車などが進入してくる場合に備えるためである。例えば端トリミング画像２３６は、横方向に撮影画像２３０の左端から数百画素の範囲とする。例えば端トリミング画像２３８は、横方向に撮影画像２３０の右端から数百画素の範囲とする。端トリミング画像２３６、２３８の縦方向は撮影画像２３０の上端から下端までを範囲としても良いし、上端付近や下端付近は含まない範囲でも良い。

【0060】

非高速処理モードにおいて、第１物体検出部３０が検出した２台の車の物体位置情報にもとづいてトリミング画像２３２、２３４が設定された後、高速処理モードでは、後続の画像フレームから同じトリミング画像２３２、２３４が切り出され、トリミング画像２３２、２３４内で２台の車の追跡が行われる。しかし、高速処理モードでは、撮影画像２３０の全体で物体を検出することがないため、突然、左右から物体が侵入してきた場合でも物体が検出されない。そこで、画像トリミング部４０が撮影画像２３０の左右の端に端トリミング画像２３６、２３８をデフォールトで設定し、第２物体検出部６０が高速処理モードにおいて左右の端の端トリミング画像２３６、２３８においても物体の検出を行い、はみ出し判定部７０がはみ出しているかどうかを判定することで、万一、高速処理モードにおいて左右から物体が侵入してきた場合でも見逃すことを防止することができる。

【0061】

図７は、実施の形態に係る物体検出装置１００による物体検出手順を説明するフローチャートである。

【0062】

初期設定において高速処理切替フラグは０に初期化される。

【0063】

画像取得部１０は、撮影画像を撮影装置１１０から取得する（Ｓ１０）。

【0064】

切替部２０は、高速処理切替フラグにもとづいて高速処理モードであるかどうかを判定する（Ｓ２０）。

【0065】

高速処理切替フラグが０である非高速処理モードの場合（Ｓ２０のＮ）、第１物体検出部３０は、撮影画像全体から物体を検出し、物体位置情報を表示装置１２０に供給し（Ｓ３０）、切替部２０は高速処理切替フラグを１に変更し（Ｓ４０）、ステップＳ１００に進む。

【0066】

高速処理切替フラグが１である高速処理モードの場合（Ｓ２０のＹ）、ステップＳ５０、Ｓ６０、Ｓ７０、Ｓ８０、およびＳ９０が実行される。

【0067】

画像トリミング部４０は、過去のフレームの第１物体検出部３０が出力した物体位置情報にもとづいて現在の画像フレームからトリミング画像を抽出する（Ｓ５０）。解像度変更部５０は、トリミング画像のサイズに応じてトリミング画像の解像度を低減させる（Ｓ６０）。第２物体検出部６０は、解像度が低減されたトリミング画像から物体を検出し、物体位置情報を表示装置１２０に供給する（Ｓ７０）。なお、ステップＳ６０は必ずしも実行されなくてもよい。ステップＳ６０を実行せずにステップＳ７０に進んだ場合、第２物体検出部６０はステップＳ５０で抽出したトリミング画像から物体を検出する。

【0068】

はみ出し判定部７０は、第２物体検出部６０により検出された物体がトリミング画像からはみ出しているかどうかを判定する（Ｓ８０）。検出された物体がトリミング画像からはみ出している場合（Ｓ８０のＹ）、切替部２０は高速処理切替フラグを０に変更し（Ｓ９０）、ステップＳ１００に進む。検出された物体がトリミング画像からはみ出していない場合（Ｓ８０のＮ）、高速処理切替フラグを更新せずに、ステップＳ１００に進む。

【0069】

表示装置１２０は、非高速処理モードの場合、第１物体検出部３０により検出された物体位置情報にもとづいて撮影画像に物体検出枠を重畳させて表示し、高速処理モードの場合、第２物体検出部６０により検出された物体位置情報にもとづいて撮影画像に物体検出枠を重畳させて表示する（Ｓ１００）。

【0070】

変形例として、切替部２０は、高速処理モードが所定の時間続いた場合、自動的に高速処理切替フラグを０に変更して、強制的に非高速処理モードに移行させてもよい。所定の時間を超えて高速処理モードが継続した場合、高速処理モードでは撮影画像全体から物体を検出しないために突然の物体の侵入を見逃すことが起こりうる。所定の時間が経過する度に高速処理切替フラグをリセットして、非高速処理モードに移行して撮影画像全体からの物体検出を行うことで、突然の物体の侵入の見逃しを回避することができる。所定の時間は例えば１秒とすることができる。また、高速道路走行時と一般道走行時など、走行条件によって所定の時間を可変にしてもよい。

【0071】

以上説明した物体検出装置１００の各種の処理は、ＣＰＵやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。

【0072】

以上述べたように、本発明の実施の形態によれば、常時、解像度の高い撮影画像から物体を検出する代わりに、撮影画像全体から検出された物体の位置情報をもとに切り出された解像度の低いトリミング画像から物体を検出し、トリミング画像から物体がはみ出した場合は、解像度の高い撮影画像全体から物体を検出し直すため、検出精度を保ちながら、演算量を大幅に減らして高速に物体を検出することができる。

【0073】

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0074】

１０ 画像取得部、 ２０ 切替部、 ３０ 第１物体検出部、 ４０ 画像トリミング部、 ５０ 解像度変更部、 ６０ 第２物体検出部、 ７０ はみ出し判定部、 ８０ 物体検出モデル記憶部、 １００ 物体検出装置、 １１０ 撮影装置、 １２０ 表示装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】