特許 6974192 カメラずれ検出装置およびカメラずれ検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6974192

(24)【登録日】2021年11月8日

(45)【発行日】2021年12月1日

(54)【発明の名称】カメラずれ検出装置およびカメラずれ検出方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20211118BHJP

   B60R 1/00 20060101ALI20211118BHJP

   G06T 7/73 20170101ALI20211118BHJP

   H04N 7/18 20060101ALI20211118BHJP

【ＦＩ】

   H04N5/232

   B60R1/00 A

   G06T7/73

   H04N7/18 J

【請求項の数】5

【全頁数】12

(21)【出願番号】特願2018-9773(P2018-9773)

(22)【出願日】2018年1月24日

(65)【公開番号】特開2019-129403(P2019-129403A)

(43)【公開日】2019年8月1日

【審査請求日】2020年12月22日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】特許業務法人 佐野特許事務所

(72)【発明者】

【氏名】大西 康司

(72)【発明者】

【氏名】松本 武生

(72)【発明者】

【氏名】垣田 直士

(72)【発明者】

【氏名】小笹 隆幸

(72)【発明者】

【氏名】藤本 知之

(72)【発明者】

【氏名】上林 輝彦

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２０１７−１５８１４２（ＪＰ，Ａ）

【文献】 特開２００８−０１１１７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｂ６０Ｒ １／００

Ｇ０６Ｔ ７／７３

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

カメラで撮影された撮影画像を取得する取得部と、
前記撮影画像内の第１の検出領域中の特徴点の動きを検出する第１の検出部と、
前記第１の検出領域に含まれる前記第１の検出領域より小さい第２の検出領域中の特徴点の動きを検出する第２の検出部と、
前記第１の検出部の検出結果に基づいて前記カメラの位置ずれの有無を判定する判定部と、
前記判定部によって前記カメラの位置ずれがあると判定された場合に、前記第２の検出部の検出結果に基づいて前記カメラの位置ずれ方向を検出するカメラずれ方向検出部と、
を備える、カメラずれ検出装置。

【請求項2】

前記判定部によって前記カメラの位置ずれがないと判定された場合に、前記第２の検出部は前記第２の検出領域中の特徴点の動きを検出しない、請求項１に記載のカメラずれ検出装置。

【請求項3】

前記第２の検出部は、前記第２の検出領域を複数設定し、
前記カメラずれ方向検出部がＰＡＮ方向およびＲＯＬＬ方向のずれ方向を検出するときに用いる前記第２の検出部の検出結果と、
前記カメラずれ方向検出部がＴＩＬＴ方向のずれ方向を検出するときに用いる前記第２の検出部の検出結果とが、異なる前記第２の検出領域における検出によって得られる、請求項１又は請求項２に記載のカメラずれ検出装置。

【請求項4】

前記第２の検出部は、前記第１の検出領域中の特徴点の分布に応じて前記第２の検出領域を設定する、請求項１〜３のいずれか一項に記載のカメラずれ検出装置。

【請求項5】

カメラで撮影された撮影画像を取得する取得工程と、
前記撮影画像内の第１の検出領域中の特徴点の動きを検出する第１の検出工程と、
前記第１の検出領域に含まれる前記第１の検出領域より小さい第２の検出領域中の特徴点の動きを検出する第２の検出工程と、
前記第１の検出工程の検出結果に基づいて前記カメラの位置ずれの有無を判定する判定工程と、
前記判定工程によって前記カメラの位置ずれがあると判定された場合に、前記第２の検出工程の検出結果に基づいて前記カメラの位置ずれ方向を検出するカメラずれ方向検出工程と、
を備える、カメラずれ検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラの位置ずれを検出する技術に関する。

【背景技術】

【0002】

従来、車載カメラを用いて、例えば車両の駐車支援等の運転支援が行われている。車載カメラは、車両を工場から出荷する前に、車両に固定状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付状態から位置ずれを起こすことがある。車載カメラの位置（車両のボディに対する車載カメラの相対位置）がずれると、カメラ画像を利用して判断されるハンドルの操舵量等に誤差が生じるために、車載カメラの位置ずれを検出することは重要である。

【0003】

特許文献１には、車載カメラの光軸ずれを検出する技術が開示される。特許文献１における車載カメラの光軸ずれ検出装置は、画像処理手段と判断手段とを備える。画像処理手段は、運転支援する車体部上のマーキングを含む範囲を撮影する車載カメラの撮影画像から該マーキングの位置情報を検出する。判断手段は、初期設定されたマーキング位置情報と、新たに検出されたマーキングの位置情報とを比較することにより、撮影光軸ずれを判断する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４−１７３０３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

車載カメラの撮影画像には、車両周囲の風景等が映るために、例えばマーキングがボンネットの一部の特定形状である場合、当該特定形状を簡単に抽出できないことがある。当該特定形状が誤検出されると、車載カメラの光軸ずれが正確に判断されない可能性がある。

【0006】

本発明は、上記課題に鑑みて、カメラの位置ずれの方向を精度良く検出できる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明のカメラずれ検出装置は、カメラで撮影された撮影画像を取得する取得部と、前記撮影画像内の第１の検出領域中の特徴点の動きを検出する第１の検出部と、前記第１の検出領域に含まれる前記第１の検出領域より小さい第２の検出領域中の特徴点の動きを検出する第２の検出部と、前記第１の検出部の検出結果に基づいて前記カメラの位置ずれの有無を判定する判定部と、前記判定部によって前記カメラの位置ずれがあると判定された場合に、前記第２の検出部の検出結果に基づいて前記カメラの位置ずれ方向を検出するカメラずれ方向検出部と、を備える構成（第１の構成）である。

【0008】

上記第１の構成のカメラずれ検出装置において、前記判定部によって前記カメラの位置ずれがないと判定された場合に、前記第２の検出部は前記第２の検出領域中の特徴点の動きを検出しない構成（第２の構成）であってもよい。

【0009】

上記第１又は第２の構成のカメラずれ検出装置において、前記第２の検出部は、前記第２の検出領域を複数設定し、前記カメラずれ方向検出部がＰＡＮ方向およびＲＯＬＬ方向のずれ方向を検出するときに用いる前記第２の検出部の検出結果と、前記カメラずれ方向検出部がＴＩＬＴ方向のずれ方向を検出するときに用いる前記第２の検出部の検出結果とが、異なる前記第２の検出領域における検出によって得られる構成（第３の構成）であってもよい。

【0010】

上記第１〜第３いずれかの構成のカメラずれ検出装置において、前記第２の検出部は、前記第１の検出領域中の特徴点の分布に応じて前記第２の検出領域を設定する構成（第４の構成）であってもよい。

【0011】

本発明のカメラずれ検出方法は、カメラで撮影された撮影画像を取得する取得工程と、前記撮影画像内の第１の検出領域中の特徴点の動きを検出する第１の検出工程と、前記第１の検出領域に含まれる前記第１の検出領域より小さい第２の検出領域中の特徴点の動きを検出する第２の検出工程と、前記第１の検出工程の検出結果に基づいて前記カメラの位置ずれの有無を判定する判定工程と、前記判定工程によって前記カメラの位置ずれがあると判定された場合に、前記第２の検出工程の検出結果に基づいて前記カメラの位置ずれ方向を検出するカメラずれ方向検出工程と、を備える構成（第５の構成）である。

【発明の効果】

【0012】

本発明によると、カメラの位置ずれの方向を精度良く検出できる技術を提供できる。

【図面の簡単な説明】

【0013】

【図1】カメラずれ検出装置の構成を示すブロック図

【図2】４つの車載カメラが車両に配置される位置を例示する図

【図3】カメラずれ検出装置によるカメラずれの検出フローの一例を示すフローチャート

【図4】フロントカメラで撮影した画像の一例を示す模式図

【図5】カメラずれの検出処理の一例を示すフローチャート

【図6】撮影画像におけるＲＯＩの位置を示す模式図

【図7】撮影画像におけるＲＯＩの位置を示す模式図

【図8】撮影画像におけるＲＯＩの位置を示す模式図

【図9】撮影画像におけるＲＯＩの位置を示す模式図

【発明を実施するための形態】

【0014】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。また、本明細書では、カメラの位置ずれのことを、単にカメラずれと表現する場合がある。

【0015】

＜１．カメラずれ検出装置の概略＞
図１は、本実施の形態に係るカメラずれ検出装置１の構成を示すブロック図である。

【0016】

カメラずれ検出装置１は、車載カメラで撮影された撮影画像に基づいてカメラずれを検出する装置である。カメラずれ検出装置１は、車載カメラを搭載する車両ごとに備えられる。本実施の形態では、カメラずれ検出装置１は、撮影部２から撮影画像を取得して処理して、カメラずれの検出を行う。また、本実施の形態では、カメラずれ検出装置１は、センサ部３から情報を取得して、取得情報に基づいてカメラずれを検出する。

【0017】

撮影部２は、車両周辺の状況を監視する目的で設けられる。撮影部２は、４つのカメラ２１〜２４を備える。４つのカメラ２１〜２４は、車載カメラである。図２は、４つの車載カメラ２１〜２４が車両４に配置される位置を例示する図である。

【0018】

車載カメラ２１は車両４の前端に設けられる。このため、車載カメラ２１をフロントカメラ２１とも呼ぶ。フロントカメラ２１の光軸２１ａは上からの平面視で車両４の前後方向に沿っている。フロントカメラ２１は車両４の前方向を撮影する。車載カメラ２２は車両４の後端に設けられる。このため、車載カメラ２２をバックカメラ２２とも呼ぶ。バックカメラ２２の光軸２２ａは上からの平面視で車両４の前後方向に沿っている。バックカメラ２２は車両４の後方向を撮影する。フロントカメラ２１及びバックカメラ２２の取付位置は、車両４の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

【0019】

車載カメラ２３は車両４の左側ドアミラー４１に設けられる。このため、車載カメラ２３を左サイドカメラ２３とも呼ぶ。左サイドカメラ２３の光軸２３ａは上からの平面視で車両４の左右方向に沿っている。左サイドカメラ２３は車両４の左方向を撮影する。車載カメラ２４は車両４の右側ドアミラー４２に設けられる。このため、車載カメラ２４を右サイドカメラ２４とも呼ぶ。右サイドカメラ２４の光軸２４ａは上からの平面視で車両４の左右方向に沿っている。右サイドカメラ２４は車両４の右方向を撮影する。なお、車両４がいわゆるドアミラーレス車である場合には、左サイドカメラ２３は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられ、右サイドカメラ２４は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられる。

【0020】

各車載カメラ２１〜２４の水平方向の画角θは１８０度以上である。このため、車載カメラ２１〜２４によって、車両４の水平方向における全周囲を撮影することができる。また、車載カメラ２１〜２４によって撮影される画像には、車載カメラ２１〜２４を搭載する車両４のボディが映り込む。

【0021】

なお、本実施の形態では、車載カメラの数を４つとしているが、この数は適宜変更されてよく、複数であっても単数であってもよい。例えば、車両４がバックで駐車することを支援する目的で車載カメラが搭載されている場合には、車載カメラは、バックカメラ２２、左サイドカメラ２３、右サイドカメラ２４の３つで構成されてもよい。

【0022】

図１に戻って、センサ部３は、車載カメラ２１〜２４が搭載される車両４に関する情報を検出する複数のセンサを有する。車両４に関する情報には、車両自体の情報と、車両周辺の情報とが含まれてよい。本実施の形態では、センサ部３は、例えば、車両の速度を検出する車速度センサ、ステアリングホイールの回転角を検出する舵角センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ等を含む。本実施の形態では、センサ部３で検出された情報は、カメラずれ検出装置１に直接入力される構成としているが、これは例示にすぎない。例えば、センサ部３で検出された情報は、不図示の車両制御装置や運転支援装置を介してカメラずれ検出装置１に入力されてもよい。

【0023】

図３は、カメラずれ検出装置１によるカメラずれの検出フローの一例を示すフローチャートである。図３に示すように、例えば自動車メーカー等の工場において、各車両４に対して４つの車載カメラ２１〜２４が取り付けられる（ステップＳ１）。各車載カメラ２１〜２４は、所定の向きに光軸２１ａ〜２４ａが合された状態で、所定の取付位置に固定される。

【0024】

また、工場においては、車載カメラの初期位置（車両のボディに対する車載カメラの相対初期位置）に関するデータが取得される（ステップＳ２）。車載カメラの初期位置に関するデータは、車載カメラ２１〜２４を搭載した車両４が市場に出された後において、車載カメラ２１〜２４の位置ずれが発生しているか否かの判定を行うために使用されるデータである。本実施の形態において、車載カメラの初期位置に関するデータは、カメラずれ検出装置１を用いて、各車載カメラ２１〜２４に対して取得される。取得された車載カメラの初期位置に関するデータは、カメラずれ検出装置１が備える後述の記憶部１３に記憶される。

【0025】

本実施の形態においては、車載カメラ２１〜２４を搭載した車両４が市場に出された後、カメラずれ検出装置１によってカメラずれが検出される。カメラずれの検出処理は、各車載カメラ２１〜２４に対して行われる。カメラずれ検出装置１は、カメラずれの検出処理を開始するタイミングか否かを判断する（ステップＳ３）。カメラずれ検出装置１は、ステップＳ３でＮｏの場合、カメラずれの検出処理を開始するタイミングか否かの判断を繰り返す。

【0026】

カメラずれの検出処理を開始するタイミングは、例えば車両４が所定の速度（例えば５ｋｍ／ｈ）以下で前方又は後方に直進しているときにすればよい。これより、車両４の移動量をセンサ３の出力に基づいて精度良く推定できる条件下で、カメラずれの検出処理を開始することができる。

【0027】

カメラずれ検出装置１は、カメラずれの検出処理を開始するタイミングであると判断すると（ステップＳ３でＹｅｓ）、検出処理を実行する（ステップＳ４）。

【0028】

検出処理を実行した結果、車載カメラ２１〜２４の位置ずれが発生していないと判定された場合（ステップＳ５でＹｅｓ）、カメラずれ検出装置１は、ステップＳ３に戻り、次のカメラずれの検出処理開始タイミングを検出した場合にカメラずれの検出処理を繰り返す。カメラの位置ずれが発生していないと判定された場合、カメラずれ検出装置１は、例えば不図示の車両制御装置や運転支援装置等に車載カメラが正常であることを通知してもよい。

【0029】

車載カメラ２１〜２４の位置ずれが発生していると判定された場合（ステップＳ５でＮｏ）、カメラずれ検出装置１は、車載カメラ２１〜２４の位置ずれが発生したことを位置ずれの方向と合わせて報知する（ステップＳ６）。本実施の形態では、カメラずれ検出装置１は、車載カメラ２１〜２４の位置ずれが発生したこと及び位置ずれの方向を不図示の表示装置によって報知する。カメラの位置ずれ発生の報知には、音声等が使用されてもよい。さらに、カメラずれ検出装置１は、車両４に搭載されている不図示の通信装置を利用して、ドライバーが所持するスマートフォン等の外部機器にカメラの位置ずれ発生を報知する表示信号や音声信号を送信してもよい。また、カメラずれ検出装置１は、運転支援装置６に車載カメラ２１〜２４の位置ずれの発生を通知して、運転支援装置６による運転支援を停止させる。なお、本実施の形態では、４つの車載カメラ２１〜２４が存在するが、４つの車載カメラ２１〜２４のうちの１つでも位置ずれが発生した場合には、上記報知処理及び停止処理が行われることが好ましい。

【0030】

なお、車載カメラ２１〜２４の位置ずれが発生していると判定された場合（ステップＳ５でＮｏ）、自動運転制御部の制御によって、判定開始タイミングを検出した時点の位置に車両４を戻しておくことが好ましい。判定開始タイミングを検出した時点の位置が車両４の安全を確保できる場所（例えば駐車枠内）である可能性が高いからである。

【0031】

カメラずれの発生に伴い、車両のユーザは、例えばディーラにカメラの取付調整を依頼する。これに応じて、ディーラは、車載カメラの取付調整を行う（ステップＳ７）。また、ディーラは、カメラずれ検出装置１を用いて、上述した車載カメラの初期位置に関するデータの再取得処理を行う（ステップＳ８）。この後は、ステップＳ３に戻って、カメラずれ検出装置１は、判定開始タイミングを検出すると、再取得した車載カメラの初期位置に関するデータに基づいて、カメラの位置ずれを判定する。

【0032】

なお、本実施の形態では、カメラずれが発生していると判定された場合に、車載カメラの取付調整が行われる構成としているが、これは例示にすぎない。カメラずれが発生していると判定した場合に、カメラずれ検出装置１は、車載カメラの位置ずれを補正して撮影画像を用いる構成としてもよい。例えば、車載カメラの取付調整を前提とした、ずれ発生の報知処理や、運転支援の停止処理は、車載カメラのずれ状態が不明な場合にのみ行う構成としてもよい。カメラのずれ状態が不明とは、例えば、カメラがどの程度位置ずれや角度ずれを起しているかが不明な状態を指す。車載カメラのずれ状態が明確で補正して使用できる場合には、カメラずれ検出装置１は、ずれ発生の報知処理や、運転支援の停止処理を行わない構成としてよい。

【0033】

＜２．カメラずれ検出装置の詳細＞
図１に戻って、カメラずれ検出装置１は、取得部１１、マイコン１２、及び記憶部１３を含んで構成される。マイコン１２は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。記憶部１３は、不揮発性のメモリである。マイコン１２は、記憶部１３に記憶されたプログラムに基づいて情報の処理及び送受信を行う。マイコン１２は、有線又は無線で、撮影部２及びセンサ部３に接続される。

【0034】

取得部１１は、車載カメラ２１〜２４からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。すなわち、取得部１１によって取得される撮影画像の集合体が車載カメラ２１〜２４で撮影された動画像である。そして、取得した撮影画像がアナログの場合には、取得部１１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。取得部１１は、取得した撮影画像、或いは、取得及び変換した撮影画像をマイコン１２に出力する。取得部１１から出力される１つの撮影画像が１つのフレーム画像となる。

【0035】

マイコン１２は、第１の検出部１２１と、第２の検出部１２２と、判定部１２３と、カメラずれ方向検出部１２４と、を備える。マイコン１２が備えるこれらの各部１２１〜１２４の機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。

【0036】

第１の検出部１２１は、車載カメラ２１〜２４で撮影された撮影画像内の第１のＲＯＩ（Region of Interest）中の特徴点の動き（オプティカルフロー）を検出する。例えば、第１のＲＯＩ中の全ての特徴点の動きをヒストグラム化し、ヒストグラムでの平均値を、第１のＲＯＩ中の特徴点の動きとすればよい。ここで、「ＲＯＩ」とは、「カメラで撮影された撮影画像内の特徴点の動きを検出する領域である検出領域」を意味している。本実施の形態では、車載カメラ２１〜２４の数は４つであり、第１の検出部１２１による検出処理は、各車載カメラ２１〜２４ごとに行われる。

【0037】

なお、特徴点とは、際立って検出できる点であり、例えば、路面に描かれた白線のエッジ、路面上のヒビ、路面上のシミ、路面上の砂利等を挙げることができる。第１の検出部１２１は、特徴点を検出した後、検出した特徴点を見失わないように、検出した特徴点が第１のＲＯＩから外れるまで検出した特徴点を追跡する。

【0038】

第２の検出部１２２は、第１のＲＯＩに含まれる第１のＲＯＩより小さい第２のＲＯＩ中の特徴点の動きを検出する。例えば、第２のＲＯＩ中の全ての特徴点の動きをヒストグラム化し、ヒストグラムでの平均値を、第２のＲＯＩ中の特徴点の動きとすればよい。本実施の形態では、車載カメラ２１〜２４の数は４つであり、第２の検出部１２２による検出処理も、第１の検出部１２１による検出処理と同様に、各車載カメラ２１〜２４ごとに行われる。なお、第２の検出部１２２による検出処理では、第２のＲＯＩ中の特徴点の動きを一から検出するのではなく、第１の検出部１２１の検出結果を再構成して、第２のＲＯＩ中の特徴点の動きを検出することが望ましい。

【0039】

判定部１２３は、第１の検出部１２１の検出結果に基づいて車載カメラ２１〜２４の位置ずれの有無を判定する。例えば、第１のＲＯＩ中の特徴点の動きから推定される車両４の移動量と、センサ部３の出力から推定される車両４の移動量との差が所定量以上であれば、位置ずれがあると判定すればよい。第１のＲＯＩ中の特徴点の動きから車両４の移動量を推定する際には、第１のＲＯＩ中の特徴点が路面上の特徴点であることを前提として、車両４の移動量を推定すればよい。

【0040】

本実施の形態では、車載カメラ２１〜２４の数は４つであり、判定部１２３による判定処理も、第１の検出部１２１による検出処理及び第２の検出部１２２による検出処理と同様に、各車載カメラ２１〜２４ごとに行われる。なお、センサ部３の出力から推定される車両４の移動量の代わりに、判定対象である車載カメラ以外のカメラによって撮影された画像から求まる特徴点の動きから推定される移動量を用いてもよい。複数のカメラが同時に位置ずれを起こす可能性は低いからである。

【0041】

カメラずれ方向検出部１２４は、判定部１２３によって車載カメラ２１〜２４の位置ずれがあると判定された場合に、第２の検出部１２２の検出結果に基づいて車載カメラ２１〜２４の位置ずれ方向を検出する。カメラずれ方向検出部１２４による検出処理は、位置ずれがあると判定されたカメラごとに行われる。

【0042】

カメラの位置ずれには、カメラが鉛直軸回りに回転するＰＡＮ（パン）、カメラが水平軸回りに回転するＴＩＬＴ（チルト）、及びカメラが光軸又は光軸に平行な軸回りに回転するＲＯＬＬ（ロール）からなる３つの方向のずれが存在する。

【0043】

図４は、フロントカメラ２１で撮影した撮影画像Ｐ１の一例を示す模式図である。フロントカメラ２１は、画角θが１８０度以上であり、図４に示すように、撮影画像Ｐ１には、車両４のボディ４０が映り込む。図４（ａ）は、フロントカメラ２１が初期位置のまま固定されている状態で撮影された画像である。すなわち、フロントカメラ２１が正常な状態で撮影された画像である。図４（ｂ）は、フロントカメラ２１が初期位置からＰＡＮ方向にずれ、光軸が車両の右側に傾いた状態で撮影された画像である。図４（ｃ）は、フロントカメラ２１が初期位置からＴＩＬＴ方向にずれ光軸が上向きに傾いた状態で撮影された画像である。図４（ｄ）は、フロントカメラ２１が初期位置からＲＯＬＬ方向にずれ撮影領域が反時計回りに回転した状態で撮影された画像である。

【0044】

＜３．カメラずれの検出処理の詳細＞
図５は、カメラずれの検出処理の詳細、すなわち図３のステップＳ４の詳細を示すフローチャートである。

【0045】

ステップＳ４の処理が開始されると、まず第１の検出部１２１が、車載カメラ２１〜２４で撮影された撮影画像内の第１のＲＯＩ中の特徴点の動きを検出する（ステップＳ４１）。

【0046】

その後、判定部１２３は、第１の検出部１２１の検出結果に基づいて車載カメラ２１〜２４の位置ずれの有無を判定する（ステップＳ４２）。

【0047】

位置ずれが無いと判定されれば、そのままステップＳ４の処理を終了する。一方、位置ずれがあると判定されれば、第２の検出部１２２が、車載カメラ２１〜２４で撮影された撮影画像内の第２のＲＯＩ中の特徴点の動きを検出する（ステップＳ４３）。

【0048】

ステップＳ４３に続くステップＳ４４において、カメラずれ方向検出部１２４が、第２の検出部１２２の検出結果に基づいて車載カメラ２１〜２４の位置ずれ方向を検出し、その後、ステップＳ４の処理を終了する。

【0049】

上述した図５に示すフローチャートでは、判定部１２３によって位置ずれが無いと判定されているときに、言い換えれば、第２の検出部１２２による第２のＲＯＩ中の特徴点の動きの検出が不要なときに、第２の検出部１２２が第２のＲＯＩ中の特徴点の動きを検出しない。これにより、カメラずれ検出装置１の処理負荷を軽くすることができる。

【0050】

車載カメラ２１〜２４の位置ずれは非常に稀にしか起こらない。このため、第２の検出部１２２による第２のＲＯＩ中の特徴点の動きの検出が不要なときに、第２の検出部１２２が第２のＲＯＩ中の特徴点の動きを検出しないことによる処理負荷の軽減効果は、非常に大きい。

【0051】

また、上述した図５に示すフローチャートでは、判定部１２３によって位置ずれがあると判定されているときに、第２の検出部１２２が第１のＲＯＩに含まれる第１のＲＯＩより小さい第２のＲＯＩ中の特徴点の動きを検出する。第１のＲＯＩ中の特徴点の動きの検出結果からはカメラの位置ずれの方向が検出し難い場合があるが、そのような場合でも第２のＲＯＩ中の特徴点の動きの検出結果からカメラの位置ずれの方向を精度良く検出することができる。

【0052】

例えば図６に示すように第１のＲＯＩ５を設定した場合、特徴点が第１のＲＯＩ５全体にほぼ均一に分布していると、カメラの位置ずれの方向にＰＡＮ方向やＲＯＬＬ方向が含まれていても、第１のＲＯＩ５の左半分に位置する特徴点の動きと第１のＲＯＩ５の右半分に位置する特徴点の動きとが打ち消しあってヒストグラムでの平均値が小さくなってしまう。

【0053】

したがって、例えば図７に示すように撮影画像の左側領域に第２のＲＯＩ６１を設定し、撮影画像の右側領域に第２のＲＯＩ６２を設定した場合、第２のＲＯＩ６１の特徴点の動きの平均値と第２のＲＯＩ６２の特徴点の動きの平均とによって、カメラの位置ずれの方向に含まれ得るＰＡＮ方向やＲＯＬＬ方向を精度良く検出することできる。

【0054】

例えば図６に示すように第１のＲＯＩ５を設定した場合、特徴点が第１のＲＯＩ５の上側よりも下側の方に密に分布していると、カメラの位置ずれの方向にＴＩＬＴ方向が含まれていても、ヒストグラムでの平均値が小さくなってしまう。

【0055】

したがって、例えば図８に示すように撮影画像の中央領域に第２のＲＯＩ６３を設定した場合、第２のＲＯＩ６３の特徴点の動きの平均値によって、カメラの位置ずれの方向に含まれ得るＴＩＬＴ方向を精度良く検出することできる。

【0056】

つまり、カメラずれ方向検出部１２４がＰＡＮ方向およびＲＯＬＬ方向のずれ方向を検出するときに用いる第２の検出部１２２の検出結果と、カメラずれ方向検出部１２４がＴＩＬＴ方向のずれ方向を検出するときに用いる第２の検出部１２２の検出結果とを、異なる第２のＲＯＩにおける検出によって得ることが望ましい。なお、上述した図８に示すように、第２のＲＯＩ６１及び６２と第２のＲＯＩ６３とは一部が重複していてもよい。当然の事ながら、図９に示すように、第２のＲＯＩ６１及び６２と第２のＲＯＩ６３とは全く重複していなくてもよい。

【0057】

また、第２の検出部１２２は、第１のＲＯＩ中の特徴点の分布に応じて第２のＲＯＩを設定、より詳細には第２のＲＯＩの大きさや位置を設定することが望ましい。これにより、第２のＲＯＩ中に特徴点が含まれていない等の不具合を防止することができる。第２のＲＯＩは、予め定められた複数の第２のＲＯＩ候補の中から第２の検出部１２２が第１のＲＯＩ中の特徴点の分布に応じて選択してもよく、第２の検出部１２２が第１のＲＯＩ中の特徴点の分布に応じて任意に大きさや位置を決めてもよい。なお、カメラは、必ずしも自動車に搭載される必要はなく、自動車のほか、二輪車、鉄道、船舶等の移動体に用いられるものであればよい。

【0058】

＜４．変形例等＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。

【0059】

以上に示した実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的にマイコンの各種の機能が実現されていると説明したが、これらの機能のうちの少なくとも一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの少なくとも一部は、ソフトウェア的に実現されてもよい。

【符号の説明】

【0060】

１ カメラずれ検出装置
２１ フロントカメラ（車載カメラ）
２２ バックカメラ（車載カメラ）
２３ 左サイドカメラ（車載カメラ）
２４ 右サイドカメラ（車載カメラ）
１２１ 第１の検出部
１２２ 第２の検出部
１２３ 判定部
１２４ カメラずれ方向検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】