特許 6450530 車載カメラの取付角度調整処理、取付角度検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6450530

(24)【登録日】2018年12月14日

(45)【発行日】2019年1月9日

(54)【発明の名称】車載カメラの取付角度調整処理、取付角度検出装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20181220BHJP

   B60R 1/00 20060101ALI20181220BHJP

   G06T 1/00 20060101ALI20181220BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

   G06T1/00 330Z

【請求項の数】11

【全頁数】21

(21)【出願番号】特願2014-120318(P2014-120318)

(22)【出願日】2014年6月11日

(65)【公開番号】特開2016-1776(P2016-1776A)

(43)【公開日】2016年1月7日

【審査請求日】2017年3月1日

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100111970

【弁理士】

【氏名又は名称】三林 大介

(72)【発明者】

【氏名】下村 修

(72)【発明者】

【氏名】杉浦 大輔

(72)【発明者】

【氏名】柳川 博彦

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２０１３−１１５５４０（ＪＰ，Ａ）

【文献】 特開２００９−２１２７３４（ＪＰ，Ａ）

【文献】 特開２００８−１８２６５２（ＪＰ，Ａ）

【文献】 特開２００２−１４０６９６（ＪＰ，Ａ）

【文献】 特開２０１０−１９９７１２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

水平方向よりも斜め下方の方向で車両に取り付けられて、該車両の周囲の地面を含む画像を撮影する車載カメラの取付角度調整方法であって、
少なくとも３本の直線が既知の角度で交差し、前記地面上に形成された所定の基準図形を、前記車載カメラで撮影する撮影工程（Ｓ１００、Ｓ２０４）と、
前記基準図形を撮影した撮影画像を、該基準図形が形成された前記地面を上方から見下ろした鳥瞰画像に変換する鳥瞰変換工程（Ｓ１０１、Ｓ２１７）と、
前記鳥瞰画像中の前記基準図形の形状と、前記地面上に形成された前記基準図形の形状との偏差に基づいて、前記基準図形に対して前記車載カメラの光軸がなす角度を、該光軸の先端側を上下方向に動かすピッチ方向の角度成分と、該光軸周りに回転するロール方向の角度成分と、該光軸の先端側を左右方向に動かすヨウ方向の角度成分とについて決定するカメラ角度決定工程（Ｓ１０３、Ｓ２２０）と、
前記車両を直進させて前記基準図形を撮影し、少なくとも２箇所で撮影した該基準図形の前記鳥瞰画像に基づいて、該基準図形に対する前記車両の前記ヨウ方向の角度成分を決定する車両角度決定工程（Ｓ１０６、Ｓ２２１）と、
前記カメラ角度決定工程で得られた角度成分と、前記車両角度決定工程で得られた角度成分とに基づいて、前記車両に対する前記車載カメラの取付角度を調整する調整工程（Ｓ１０８、S２２３）と
を備える車載カメラの取付角度調整方法。

【請求項2】

請求項１に記載の車載カメラの取付角度調整方法であって、
前記カメラ角度決定工程は、
前記鳥瞰画像中の前記基準図形から、該基準図形に含まれる前記３本の直線の中で基準として用いる１本の基準直線と、他の２本の直線とを抽出して、該基準直線が他の２本の直線に対してなす角度と、該基準直線が前記車載カメラの光軸に対してなす角度とを検出する工程（Ｓ１０２、Ｓ２１９）を備え、
前記基準直線が他の２本の直線に対してなす角度と前記既知の角度との偏差と、該基準直線が前記車載カメラの光軸に対してなす角度と所定角度との偏差との合計が、所定の許容範囲内となるように、前記ピッチ方向の角度成分と、前記ロール方向の角度成分と、前記ヨウ方向の角度成分とを決定する工程であり、
前記車両角度決定工程は、少なくとも２箇所で得られた前記鳥瞰画像から、該鳥瞰画像上での前記基準図形の移動方向を検出することによって、該基準図形に対する前記車両の前記ヨウ方向の角度成分を決定する工程である
車載カメラの取付角度調整方法。

【請求項3】

請求項２に記載の車載カメラの取付角度調整方法であって、
前記撮影工程は、前記基準図形として駐車枠を撮影する工程である
車載カメラの取付角度調整方法。

【請求項4】

請求項１ないし請求項３の何れか一項に記載の車載カメラの取付角度調整方法であって、
前記車両角度決定工程は、前記車両を直進させながら複数の前記撮影画像を撮影することによって、前記ヨウ方向への角度成分を決定する工程である
車載カメラの取付角度調整方法。

【請求項5】

請求項１ないし請求項４の何れか一項に記載の車載カメラの取付角度調整方法であって、
前記車両角度決定工程は、前記撮影工程で前記基準図形を撮影した後、該基準図形から遠ざかる方向に前記車両を直進させて該基準図形を再び撮影することによって、前記ヨウ方向への角度成分を決定する工程である
車載カメラの取付角度調整方法。

【請求項6】

請求項１ないし請求項５の何れか一項に記載の車載カメラの取付角度調整方法であって、
前記車両角度決定工程は、前記車両を３メートル以内で直進させて複数の前記撮影画像を撮影することによって、前記ヨウ方向への角度成分を決定する工程である
車載カメラの取付角度調整方法。

【請求項7】

請求項１ないし請求項６の何れか一項に記載の車載カメラの取付角度調整方法であって、
前記車両を直進させる前に撮影した前記撮影画像中の所定範囲内に前記基準図形が写っているか否かを判断して、該基準図形が写っていない場合には、警告を出力する工程（Ｓ２０１、Ｓ２０２）を備える
車載カメラの取付角度調整方法。

【請求項8】

請求項１ないし請求項７の何れか一項に記載の車載カメラの取付角度調整方法であって、
前記車両の直進中に該車両の直進状態が維持されているか否かを監視して、該直進状態が維持されていない場合には、警告を出力する工程（Ｓ２０７、Ｓ２０８）を備える
車載カメラの取付角度調整方法。

【請求項9】

請求項１ないし請求項８の何れか一項に記載の車載カメラの取付角度調整方法であって、
前記車両の直進中に該車両の移動速度が所定の許容速度以内か否かを判断して、該移動速度が該許容速度を超えた場合には、警告を出力する工程（Ｓ２０５、Ｓ２０６）を備える
車載カメラの取付角度調整方法。

【請求項10】

請求項１ないし請求項９の何れか一項に記載の車載カメラの取付角度調整方法であって、
前記車両の直進中に該車両の移動範囲が所定の制限距離の範囲内を超えたか否かを判断して、該制限距離の範囲内を超えた場合には、警告を出力する工程（Ｓ２１１、Ｓ２１３）を備える
車載カメラの取付角度調整方法。

【請求項11】

水平方向よりも斜め下方の方向で車両（１）に取り付けられて、該車両の周囲の地面を含む画像を撮影する車載カメラ（１０）の取付角度検出装置（２０）であって、
少なくとも３本の直線が既知の角度で交差し、前記地面上に形成された所定の基準図形を、前記車載カメラで撮影した撮影画像を取得する撮影画像取得部（２１）と、
前記基準図形を撮影した撮影画像を、該基準図形が形成された前記地面を上方から見下ろした鳥瞰画像に変換する鳥瞰変換部（２２）と、
前記鳥瞰画像中の前記基準図形の形状と、前記地面上に形成された前記基準図形の形状との偏差に基づいて、前記基準図形に対して前記車載カメラの光軸がなす角度を、該光軸の先端側を上下方向に動かすピッチ方向の角度成分と、該光軸周りに回転するロール方向の角度成分と、該光軸の先端側を左右方向に動かすヨウ方向の角度成分とについて決定するカメラ角度決定部（２４）と、
前記車両を直進させて前記基準図形を撮影し、少なくとも２箇所で撮影した該基準図形の前記鳥瞰画像に基づいて、該基準図形に対する前記車両の前記ヨウ方向の角度成分を決定する車両角度決定部（２５）と、
前記カメラ角度決定部で得られた角度成分と、前記車両角度決定部で得られた角度成分とに基づいて、前記車両に対する前記車載カメラの取付角度を検出する取付角度検出部（２６）と
を備える車載カメラの取付角度検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両に搭載された車載カメラの取付角度を調整し、あるいは取付角度を検出する技術に関する。

【背景技術】

【0002】

車載カメラで撮影した画像をモニター画面に表示することで、運転者が車両の周辺の状況を容易に確認可能とする種々の技術が実用化されている。例えば、車両の後部に車載カメラを搭載しておき、車両の後進時に後方の状況を撮影した画像をモニター画面に表示させて、その撮影画像に重ねて車両の予測進路を表示することにより、後進運転を支援する技術が実用化されている。
また、車両の前後左右に車載カメラを搭載しておき、それらで撮影した画像を視線変換して、あたかも上方から車両の周囲を見たような画像としてモニター画面に表示することで、運転者が周囲の状況を容易に把握できるようにした技術も実用化されている。

【0003】

これらの技術では、車載カメラが車両に対して、設計されたとおりの正しい角度で取り付けられていることが前提となる。仮に、取付角度が設計値からずれている場合、例えば、車両の後進時に後方の撮影画像に重ねて表示する予測進路と、実際の進路との間にずれが生じてしまう。あるいは、車両の前後左右の車載カメラの画像を視線変換して、上方から車両の周囲を見たような画像として表示した時に、隣の車載カメラの画像との間に位置ずれが生じてしまう。

【0004】

もちろん、車載カメラの取付角度は、車両の工場出荷時に許容範囲内となるように調整されているが、長い間に亘る使用によって取付角度にずれが生じたり、あるいは修理のために車載カメラを取り外したりして、車載カメラの取付角度を再度、調整しなければならない場合も生じ得る。

【0005】

そこで、駐車枠のような既知の形状の枠内に車両を移動させて、車両の前後左右に搭載された車載カメラで撮影した画像を視線変換することによって、各車載カメラについての取付角度を決定する技術が提案されている（特許文献１）。仮に、各車載カメラの取付角度が正しいのであれば、各車載カメラの撮影画像を視線変換して得られた画像は、画像の繋ぎ目部分でも位置ずれが生じない筈である。
提案の技術はこの点に着目して、各車載カメラの撮影画像を視線変換して得られた画像間で位置ずれが生じないように、各車載カメラの車体に対する取付角度を決定する。こうして、各車載カメラの取付角度を求めることができれば、取付角度が許容範囲に収まるように調整することが可能となる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１１−１８２２３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、上記の提案の技術では、車両の前後左右に車載カメラが搭載されており、それらの車載カメラを用いて車両の全周の撮影画像が得られることを前提としている。このため、車両の前後左右の全てには車載カメラが搭載されていない場合（例えば車両の後方あるいは前方には車載カメラを搭載しているが、左右には車載カメラを搭載していない場合）には、車載カメラの取付角度を調整することができないという問題があった。

【0008】

この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、前後左右の全てには車載カメラが搭載されていない車両でも、車載カメラの取付角度を調整することが可能な技術の提供を目的とする。

【課題を解決するための手段】

【0009】

上述した課題を解決するために本発明の車載カメラの取付角度調整処理および取付角度検出装置は、既知の形状の基準図形を撮影した画像を、鳥瞰画像に変換して、鳥瞰画像中の基準図形の形状に基づいて、基準図形に対する車載カメラの角度を、ピッチ方向、ロール方向、およびヨウ方向について決定する。また、車両を直進させて、直進の前後で撮影した鳥瞰画像中での基準図形の移動方向から、基準図形に対する車両のヨウ方向の角度を決定する。そして、基準図形に対する車載カメラの角度と、基準図形に対する車両の角度とに基づいて、車載カメラの車両に対する取付角度を調整する。

【0010】

こうすれば、基準図形に対する車載カメラのヨウ方向の角度の中で、基準図形に対する車両の傾きによる寄与分が分かるので、車載カメラの車両に対するヨウ方向の取付角度を知ることができる。また、基準図形に対する車載カメラのピッチ方向およびロール方向の角度については、基準図形に対する車両の傾きによる寄与分は十分に小さくできるので、車載カメラの車両に対するピッチ方向およびロール方向の取付角度を知ることができる。その結果、車載カメラの車両に対する取付角度を正確に調整することが可能となる。

【図面の簡単な説明】

【0011】

【図1】車載カメラ１０を搭載した車両１の大まかな構成を示す説明図である。

【図2】第１実施例の制御装置２０の内部構造を示したブロック図である。

【図3】車載カメラ１０の取付角度を調整する第１実施例の取付角度調整処理の前半部分のフローチャートである。

【図4】駐車枠を撮影した画像を鳥瞰変換して得られる鳥瞰画像についての説明図である。

【図5】車体基準座標系とカメラ基準座標系との関係についての説明図である。

【図6】車体基準座標系を解析用の車体基準座標系に変換する方法についての説明図である。

【図7】解析用の車体基準座標系がカメラ基準座標系に変換される様子についての説明図である。

【図8】カメラ基準座標系が撮影画像上での画像面座標系に変換される様子についての説明図である。

【図9】鳥瞰変換についての説明図である。

【図10】車載カメラ１０の駐車枠に対する角度を変えながら撮影画像を鳥瞰変換する様子についての説明図である。

【図11】鳥瞰変換の結果を評価するための評価関数を例示した説明図である。

【図12】駐車枠に対する車載カメラ１０のヨウ方向の角度θｙと、駐車枠に対する車両１のヨウ方向の角度θｙｓとの関係についての説明図である。

【図13】車両１を直進させることによって駐車枠に対する車両１のヨウ方向の角度θｙｓが得られる理由を示す説明図である。

【図14】第２実施例の制御装置２０の内部構造を示したブロック図である。

【図15】車載カメラ１０の取付角度を調整する第２実施例の取付角度調整処理の前半部分のフローチャートである。

【図16】第２実施例の取付角度調整処理の一部分のフローチャートである。

【図17】第２実施例の取付角度調整処理の後半部分のフローチャートである。

【発明を実施するための形態】

【0012】

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、車載カメラ１０を搭載した車両１の大まかな構成が示されている。図示した例では、車載カメラ１０は車両１の後部の位置に、斜め下向きに搭載されており、車両１の後方の状況を斜め上方から撮影することができる。そして、車載カメラ１０で撮影した撮影画像は、制御装置２０を介してモニター１１に表示される。車両１の運転者は、モニター１１に表示された画像から、車両１の後方の状況を確認することができる。

【0013】

また、制御装置２０は、車載カメラ１０が斜め上方から撮影した画像を、あたかも真上から撮影した画像に鳥瞰変換する機能を有している。従って、運転者は、車載カメラ１０から得られた撮影画像を、必要に応じて制御装置２０で鳥瞰変換して、得られた鳥瞰画像をモニター１１に表示させることもできる。
更に、車両１には、車両情報を検出する車両情報センサー１２が搭載されており、制御装置２０は車両情報センサー１２の出力に基づいて車両情報を取得することができる。尚、車両情報センサー１２としては、車速センサーや、操舵角センサー、シフトポジションセンサーなどとすることができ、車両情報としては、車速や、操舵角、シフトポジションなどとすることができる。

【0014】

ここで、詳細には後述するが、鳥瞰変換は、車載カメラ１０が車両１に対して正しい角度で取り付けられていることを前提として、撮影画像を鳥瞰画像に変換する。もちろん、車両１の工場出荷時には、車載カメラ１０の取付角度は正しい角度に調整されているが、長い間の使用によって、あるいは何らかの理由で、車載カメラ１０の取付角度にずれが生じることが起こり得る。そして、取付角度にずれが生じると、鳥瞰変換によって得られた鳥瞰画像は歪んだ画像となってしまう。

【0015】

例えば、車両１を後進させて駐車枠の中に駐車させようとしている場合、車載カメラ１０の取付角度にずれが生じていなければ、図１（ｂ）に例示したように、駐車枠を真上から見たような鳥瞰画像がモニター１１に表示される。このため、モニター１１を確認することによって、車両１と駐車枠との位置関係が、距離感も含めて容易に把握することができる。
ところが、車載カメラ１０の取付角度にずれが生じていると、モニター１１に表示される駐車枠が、図１（ｃ）に例示したように歪んでしまうので、車両１と駐車枠との位置関係を把握することが困難となる。従って、このような場合には、車載カメラ１０の取付角度を調整する必要がある。こうした点に鑑みて、制御装置２０は、車載カメラ１０の取付角度を調整し、あるいは取付角度を検出するための機能を搭載している。
尚、本実施例では車両１の後部に車載カメラ１０が取り付けられているものとして説明するが、車両１の前方に車載カメラ１０が取り付けられている場合にも、同様にして取付角度を調整することが可能である。

【0016】

Ｂ．第１実施例 ：
図２には、第１実施例の制御装置２０の大まかな内部構造を示したブロック図が示されている。図示されるように制御装置２０は、撮影画像取得部２１と、鳥瞰変換部２２と、記憶部２３と、カメラ角度解析部２４と、車両角度解析部２５と、取付角度検出部２６とを備えている。
尚、これら６つの「部」は、車載カメラ１０の取付角度を調整し、あるいは取付角度を検出するために制御装置２０が備える機能に着目して、制御装置２０の内部を便宜的に分類した抽象的な概念であり、制御装置２０が物理的に６つの部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。
本実施例では、制御装置２０は、ＣＰＵやＲＯＭやＲＡＭなどを備えたマイクロコンピューターによって主に形成されており、ＣＰＵが実行するプログラムによって、上記の６つの「部」が実現されている。

【0017】

撮影画像取得部２１は、車載カメラ１０に接続されており、車載カメラ１０で撮影した画像の画像データを取得する。前述したように車載カメラ１０は斜め下向きに取り付けられているので、車載カメラ１０から得られる撮影画像は、車両１の後方の地面を斜め上方から撮影した画像となる。
また、車載カメラ１０の取付角度を調整（あるいは検出）する際には、取付角度調整用の基準図形が形成された地面を撮影する。基準図形には、駐車枠のように、少なくとも３本の直線が既知の角度で交差していれば、どのような図形であっても用いることができる。

【0018】

鳥瞰変換部２２は、撮影画像取得部２１から撮影画像の画像データを受け取ると、車両１の後方の地面を真上から撮影したような画像（鳥瞰画像）に変換する。本明細書中では、このように撮影対象を真上から撮影したような画像に変換する処理を、鳥瞰変換と称する。
記憶部２３には、撮影画像の鳥瞰変換に用いるデータが予め記憶されており、鳥瞰変換部２２は記憶部２３から必要なデータを読み出して、撮影画像を鳥瞰画像に変換する。そして、得られた鳥瞰画像はモニター１１に出力して表示させる。また、車載カメラ１０の取付角度を調整（あるいは検出）するために、基準図形が形成された地面を撮影した場合には、その撮影画像から得られた鳥瞰画像を記憶部２３にも出力して記憶させる。

【0019】

カメラ角度解析部２４は、記憶部２３に記憶された鳥瞰画像を読み出して、鳥瞰画像中の基準図形を解析することにより、地面上の基準図形に対して車載カメラ１０の光軸がなす角度を決定する。地面上の基準図形に対して車載カメラ１０の光軸がなす角度を決定する方法については後述する。

【0020】

また、車両角度解析部２５は、車両１が直進した時に少なくとも２箇所で得られた鳥瞰画像を読み出して、それら鳥瞰画像中での基本図形の移動方向を解析することにより、地面上の基準図形に対して車両１がヨウ方向になす角度を決定する。地面上の基準図形に対して車両１がヨウ方向になす角度を決定する方法については後述する。

【0021】

取付角度検出部２６は、カメラ角度解析部２４での解析結果と、車両角度解析部２５での解析結果とに基づいて、車両１に対する車載カメラ１０の取付角度を検出する。そして、検出した取付角度をモニター１１などの機器に出力する。

【0022】

図３には、車載カメラ１０の取付角度を調整する第１実施例の取付角度調整処理のフローチャートが示されている。尚、この処理は、車両１を駐車枠の付近に移動させた後に開始される処理である。
図示されるように、第１実施例の取付角度調整処理では、地面上に形成された駐車枠を含む撮影画像を取得する（Ｓ１００）。上述したように、車両１は、駐車枠が少なくとも車載カメラ１０の撮影範囲内に入るような位置に予め移動されているので、車載カメラ１０で撮影した画像を取得すれば、駐車枠を含む撮影画像を取得することができる。

【0023】

次に、取得した撮影画像を鳥瞰画像に変換する（Ｓ１０１）。鳥瞰画像とは、撮影画像に写った箇所をあたかも真上から撮影したかのように、撮影画像を鳥瞰変換して得られた画像である。
図４には、車載カメラ１０によって得られる撮影画像と、撮影画像を鳥瞰変換して得られる鳥瞰画像とが例示されている。
車載カメラ１０は駐車枠を斜め上方から見下ろすような角度で撮影するので、得られる撮影画像は、図４（ａ）に例示したような画像となる。駐車枠の２つの角部Ａ，Ｂの角度は直角であるが、車載カメラ１０は斜め上方から駐車枠を撮影しているので、撮影画像上での２つの角部Ａ，Ｂの角度は、本来の角度（ここでは直角）とは異なる角度で写っている。

【0024】

仮に、車載カメラ１０の取付角度がずれていなければ、図４（ａ）に例示した撮影画像を鳥瞰変換することによって、図４（ｂ）に例示したような鳥瞰画像を得ることができる。図４（ｂ）に例示したように、鳥瞰画像中での駐車枠の２つの角部Ａ，Ｂの角度は、本来の角度である直角となっている。
しかし、車載カメラ１０の取付角度にずれが生じている場合には、鳥瞰変換しても、駐車枠の２つの角部Ａ，Ｂは、本来の角度である直角とはならない。

【0025】

図４（ｃ）には、車載カメラ１０の取付角度がずれている場合に、撮影画像を鳥瞰変換して得られる鳥瞰画像が例示されている。図示されるように、鳥瞰画像中での駐車枠の角部Ａの角度θａや、角部Ｂの角度θｂは、本来の角度である直角とは異なる角度となっている。従って、鳥瞰画像中での駐車枠の２つの角部Ａ，Ｂが、本来の角度で写っていなければ、車載カメラ１０の取付角度がずれているものと判断することができる。

【0026】

そこで、図３に示した取付角度調整処理では、撮影画像を鳥瞰画像に変換すると（Ｓ１０１）、鳥瞰画像中の駐車枠を形成する各辺が交差する角度（図４（ｃ）の例では角度θａおよび角度θｂ）と、駐車枠を形成する任意の一辺が車載カメラ１０の光軸に対してなす角度（（図４（ｃ）の例では左側の辺がなす角度θｃ）とを検出する（Ｓ１０２）。
本実施例では、車両１から見て駐車枠の左側の辺が、本発明における「基準直線」に対応する。

【0027】

続いて、検出した３つの角度に基づいて、駐車枠に対する車載カメラ１０の角度（正確には、駐車枠に対して車載カメラ１０の光軸がピッチ方向になす角度と、車載カメラ１０がロール方向に回転した角度と、駐車枠の左側の辺に対して車載カメラ１０の光軸がヨウ方向になす角度）を算出する（Ｓ１０３）。尚、ピッチ方向とは、車載カメラ１０の光軸の先端が上下方向（鉛直方向）に移動するよう車載カメラ１０を回転させる方向であり、ロール方向とは、車載カメラ１０を光軸周りに回転させる方向である。また、ヨウ方向とは、車載カメラ１０の光軸の先端が左右方向（水平方向）に移動するよう車載カメラ１０を回転させる方向である。
以下では、鳥瞰画像中の駐車枠から検出した３つの角度から、駐車枠に対する車載カメラ１０の角度を算出する方法を説明するが、その準備として、先ず始めに、撮影画像を鳥瞰画像に変換する方法について説明する。

【0028】

図５には、撮影画像を鳥瞰画像に変換する方法を説明するために用いる各種の座標系が示されている。図示されるように、車両１を基準とする直交座標系と、車載カメラ１０を基準とする直交座標系とを考える。そして、車両１を基準とする直交座標系を形成する各座標軸は、車両１の前後方向に対して直角かつ水平方向に取った座標軸をＸｏ軸とし、車両１の前後方向に取った座標軸をＹｏ軸とし、車両１の前後方向に対して直角かつ鉛直方向に取った座標軸をＺｏ軸とする。また、このような３つの座標軸（Ｘｏ軸、Ｙｏ軸、Ｚｏ軸）による座標を、以下では車両基準座標と称し、座標値を（ｘｏ、ｙｏ、ｚｏ）と表すものとする。
車載カメラ１０を基準とする直交座標系を形成する各座標軸についても同様に、車載カメラ１０の光軸方向に取った座標軸をＣＹ軸とし、ＣＹ軸に直角かつ水平方向に取った座標軸をＣＸ軸とし、ＣＹ軸およびＣＸ軸に対して直角かつ上向きに取った座標軸をＣＺ軸とする。また、このような３つの座標軸（ＣＸ軸、ＣＹ軸、ＣＺ軸）による座標を、以下ではカメラ基準座標と称し、座標値を（ｃｘ、ｃｙ、ｃｚ）と表すものとする。

【0029】

また、車両基準座標（ｘｏ、ｙｏ、ｚｏ）とカメラ基準座標（ｃｘ、ｃｙ、ｃｚ）との関係は、車両１に取り付けられた車載カメラ１０の位置によって変化する。そこで、鳥瞰変換を容易とするために、車両１を基準とする直交座標系の原点Ｏが、車載カメラ１０を基準とする直交座標系の原点ＣＯに一致するように、車両１を基準とする直交座標系を平行移動させた新たな直交座標系を考える。この新たな直交座標系の各座標軸の中で、Ｘｏ軸に平行な座標軸をＸ軸とし、Ｙｏ軸に平行な座標軸をＹ軸とし、Ｚｏ軸に平行な座標軸をＺ軸とする。また、この新たな３つの座標軸（Ｘ軸、Ｙ軸、Ｚ軸）による座標は、以下では（解析用の）車両基準座標と称し、座標値を（ｘ、ｙ、ｚ）と表すものとする。
このような（解析用の）車両基準座標を考えると、車載カメラ１０のピッチ方向の回転はＸ軸周りの回転と考えることができ、車載カメラ１０のロール方向の回転はＹ軸周りの回転と、車載カメラ１０のヨウ方向の回転はＺ軸周りの回転と考えることができる。

【0030】

更に、これら車両基準座標の座標値（ｘｏ、ｙｏ、ｚｏ）と、（解析用の）車両基準座標の座標値（ｘ、ｙ、ｚ）とは、図６に示す式（１）によって容易に変換することができる。尚、式（１）中のｔｘ、ｔｙ、ｔｚは、カメラ基準座標の原点ＣＯの車両基準座標でのｘｏ座標、ｙｏ座標、ｚｏ座標を表している。
このように、車両基準座標の座標値（ｘｏ、ｙｏ、ｚｏ）と、（解析用の）車両基準座標の座標値（ｘ、ｙ、ｚ）とは相互に変換可能であり、また、解析にはもっぱら（解析用の）車両基準座標の座標値（ｘ、ｙ、ｚ）が用いられる。そこで、以下では、（解析用の）車両基準座標の座標値（ｘ、ｙ、ｚ）を、単に、車両基準座標の座標値（ｘ、ｙ、ｚ）と略称する。

【0031】

このような車両基準座標の座標値（ｘ、ｙ、ｚ）と、カメラ基準座標の座標値（ｃｘ、ｃｙ、ｃｚ）とは、図７中に示した式（２）によって関係づけられている。ここで、式（２）中の［Ｐ］は、車両基準座標をピッチ方向に回転させるための回転行列である。また、式（２）中の［Ｒ］は、車両基準座標をロール方向に回転させるための回転行列であり、［Ｙ］は、車両基準座標をヨウ方向に回転させるための回転行列である。また、回転行列［Ｐ］中の角度θｐは、カメラ基準座標の車両基準座標に対するピッチ方向の回転角度であり、回転行列［Ｒ］中の角度θｒは、カメラ基準座標の車両基準座標に対するロール方向の回転角度である。更に、回転行列［Ｙ］中の角度θｐは、カメラ基準座標の車両基準座標に対するヨウ方向の回転角度である。
車載カメラ１０で撮影される基準図形（ここでは駐車枠）の車両基準座標の座標値（ｘ、ｙ、ｚ）は、図７に示した式（２）によって、カメラ基準座標の座標値（ｃｘ、ｃｙ、ｃｚ）に変換される。

【0032】

こうしてカメラ基準座標に変換された基準図形の座標値（ｃｘ、ｃｙ、ｃｚ）は、撮影画像上での座標値（ｕ、ｖ）に変換することができる。尚、撮影画像上での座標値（ｕ、ｖ）を、以下では、画像面座標の座標値（ｕ、ｖ）と称するものとする。
図８には、カメラ基準座標に変換された基準図形の座標値（ｃｘ、ｃｙ、ｃｚ）を、画像面座標の座標値（ｕ、ｖ）に変換する方法が示されている。図示されるように、カメラ基準座標の原点ＣＯから適切な距離Ｌに、車載カメラ１０の光軸（座標軸ＣＹ）に直交する平面（画像面）を設定する。こうすれば、車載カメラ１０の撮影画像は、カメラ基準座標上の撮影対象を、画像面に投影したものと考えることができる。
従って、カメラ基準座標の座標軸ＣＹと画像面との交点を原点として、カメラ基準座標の座標軸ＣＸと平行に座標軸Ｕを取り、カメラ基準座標の座標軸ＣＺと平行に座標軸Ｖと取れば、地面に形成された基準図形（ここでは駐車枠）の座標値（ｃｘ、ｃｙ、ｃｚ）は、図８（ｃ）に示した式（３）によって、画像面上の座標値（ｕ、ｖ）に変換される。

【0033】

図９には、以上に説明した各座標値の関係がまとめて示されている。すなわち、車両基準座標の座標値（ｘ、ｙ、ｚ）は、図７（ｂ）中の式（２）によってカメラ基準座標の座標値（ｃｘ、ｃｙ、ｃｚ）に変換され、更に、図８（ｃ）中の式（３）によって画像面座標の座標値（ｕ、ｖ）に変換される。そして、この画像面座標の座標値（ｕ、ｖ）が撮影画像上での座標値に対応する。
このように、車両基準座標の座標値（ｘ、ｙ、ｚ）と、画像面座標の座標値（ｕ、ｖ）とは一対一に対応しているから、図９中に破線の矢印で示したように、画像面座標の座標値（ｕ、ｖ）を車両基準座標の座標値（ｘ、ｙ、ｚ）に逆変換することも可能である。そして、鳥瞰画像は、車両基準座標の画像をＺ軸方向から見た画像であるから、車両基準座標の座標値（ｘ、ｙ、ｚ）のＺ軸成分を削除することによって容易に得ることができる。

【0034】

従って、画像面座標の座標値（ｕ、ｖ）を車両基準座標の座標値（ｘ、ｙ、ｚ）に逆変換し、得られた車両基準座標の座標値（ｘ、ｙ、ｚ）からＺ軸成分を削除するという一連の変換を行えば、撮影画像を鳥瞰変換することができる。更に、これらの一連の変換を合成した変換を実行する鳥瞰変換モジュールを形成することも可能である。
図３に示した取付角度調整処理のＳ１０１では、このような鳥瞰変換モジュールを用いて、撮影画像を鳥瞰画像に変換する。尚、車両基準座標の座標値（ｘ、ｙ、ｚ）のＺ軸成分を削除して得られる座標値（ｘ、ｙ）を、鳥瞰座標の座標値（ｘ、ｙ）と称することがあるものとする。

【0035】

また、図７（ｂ）の式（２）に示されるように、車両基準座標の座標値（ｘ、ｙ、ｚ）からカメラ基準座標の座標値（ｃｘ、ｃｙ、ｃｚ）への変換は、車載カメラ１０のピッチ方向の角度θｐと、ロール方向の角度θｒと、ヨウ方向の角度θｙとに依存する。このことから当然に、撮像画像の画像面座標（ｕ、ｖ）を鳥瞰座標の座標値（ｘ、ｙ）に変換する鳥瞰変換も、車載カメラ１０のピッチ方向の角度θｐと、ロール方向の角度θｒと、ヨウ方向の角度θｙとに依存する。従って、鳥瞰変換モジュールは、車載カメラ１０の取付角度が適切な角度となっていることを前提として設定されている。
そして、図４（ｃ）に例示したように、基準図形（ここでは駐車枠）の角度が本来の角度とは異なってしまうのは、車載カメラ１０の取付角度がずれているためと考えられる。

【0036】

そこで、図１０に示したように、車載カメラ１０のピッチ方向の角度θｐと、ロール方向の角度θｒと、ヨウ方向の角度θｙとを、鳥瞰変換モジュールの外部から設定可能としておき、これら３つの角度θｐ、θｒ、θｙを種々の組合せに変更して、撮影画像を鳥瞰画像に変換する。そして、得られた鳥瞰画像中の基準図形（駐車枠）から、図４（ｃ）に示した３つの角度θａ、θｂ、θｃを検出して、それら３つの角度θａ、θｂ、θｃを、図１１に例示した評価関数Ｈを用いて評価する。
その結果、評価関数Ｈの値が最も小さくなった（あるいは評価関数Ｈの値が所定の許容値よりも小さくなった）角度θｐ、θｒ、θｙの組合せを、車載カメラ１０の光軸が基準図形（駐車枠）に対して成す角度として決定する。
図３に示した取付角度調整処理のＳ１０３では、以上のようにして、駐車枠に対する車載カメラ１０の角度を算出する。

【0037】

もっとも、車載カメラ１０の駐車枠に対する角度を求めても、直ちに、車載カメラ１０の取付角度を調整可能となるわけではない。これは、車載カメラ１０の取付角度の調整は、車両１に対する取付角度を調整するのであって、車両１の駐車枠に対する角度が分からなければ、たとえ車載カメラ１０の駐車枠に対する角度が分かっても、調整するべき（車載カメラ１０の車両１に対する）取付角度は分からないためである。そして、特に車両１が駐車枠に対してヨウ方向になす角度については、ピッチ方向やロール方向の角度に比べて変動の影響が避けられない。この点について、図１２を用いて説明する。

【0038】

例えば、駐車枠に対してできるだけ傾かないように車両１を停車した後、鳥瞰画像に写った駐車枠の画像を解析して、車載カメラ１０の駐車枠に対する角度を求めたところ、ヨウ方向には角度θｙだけずれていたものとする。
車両１は駐車枠に対してできるだけ傾かないように停車しているから、図１２（ａ）に示したように、車両１が駐車枠に対して傾いていないとすれば、車載カメラ１０が車両１に対してヨウ方向に角度θｙだけずれていることになる。
しかし、車両１を駐車枠に対して傾かないように停車させることは難しいので、図１２（ｂ）に示したように、車両１が駐車枠に対して角度θｙだけ傾いていることも考えられる。この場合は、車載カメラ１０は車両１に対しては真っ直ぐに取り付けられていることになる。
もちろん、実際には、図１２（ｃ）に示したように、車両１が駐車枠に対してヨウ方向に角度θｙｓ傾いて、その車両１に対して車載カメラ１０が角度θｙｃ傾いたために、結果として、車載カメラ１０が駐車枠に対して角度θｙ傾いたものと考えられる。

【0039】

同様なことは、ピッチ方向およびロール方向の角度についても起こり得る。しかし、車両１の駐車枠に対するピッチ方向およびロール方向の傾きは、車両１の乗員や積載状態（積載量や積載位置など）を一定にすることで、同じ角度に揃えることができる。このため、車両１の駐車枠に対するピッチ方向およびロール方向の角度は、予め見積もっておくことも可能である。
これに対して、車両１の駐車枠に対するヨウ方向の傾きについては、常に一定の傾きとなるように条件を揃えることが困難である。従って、車両１の駐車枠に対するヨウ方向の角度θｙｓを何らかの方法で検出しなければ、車載カメラ１０の車両１に対するヨウ方向の角度θｙｃを知ることができず、車載カメラ１０の取付角度を調整することもできなくなる。

【0040】

そこで、図３に示した取付角度調整処理では、駐車枠に対する車載カメラ１０の角度を算出すると（Ｓ１０３）、車両１を一定距離だけ直進させて、新たに撮影した駐車枠の撮影画像を取得する（Ｓ１０４）。
尚、車両１を移動させる距離は、原理的には、距離が長いほど、車両１の駐車枠に対するヨウ方向の角度θｙｓを精度良く検出することができる。しかし実際には、車両１を移動させる距離があまりに長くなると、車載カメラ１０の撮影範囲内から駐車枠が外れてしまう。また、たとえ車載カメラ１０の撮影範囲内に入っていても、駐車枠が車載カメラ１０から遠くなると、車載カメラ１０の解像度や、得られる像が歪み易くなる関係で、駐車枠の正確な形状を検出することが困難になる。このため、実際には、車両１を移動させる距離には適切な範囲が存在しており、本実施例では、２メートル〜３メートルの範囲で車両１を直進させる。

【0041】

続いて、新たに取得した撮影画像を鳥瞰画像に変換する（Ｓ１０５）。そして、新たに得られた鳥瞰画像と、車両１を直進させる前に得られていた鳥瞰画像とを比較して、鳥瞰画像中での駐車枠の移動方向を検出することにより、車両１の駐車枠に対するヨウ方向の角度θｙｓを検出する（Ｓ１０６）。
すなわち、図１３（ａ）に示されるように、モニター１１に表示された鳥瞰画像上で駐車枠が移動するのは、図１３（ｂ）に示すように、車両１が移動したことによって駐車枠が車両１から遠ざかったためである。従って、鳥瞰画像上での駐車枠の移動方向は、車両１が駐車枠に対して移動する方向となっており、そして、車両１が直進しているのであれば、車両１が駐車枠に対して移動する方向は、車両１の駐車枠に対する角度θｙｓとなる。このことから、鳥瞰画像上での駐車枠の移動方向を検出すれば、車両１の駐車枠に対する角度θｙｓを求めることができる。

【0042】

鳥瞰画像上で駐車枠が移動する方向は、例えば２つの鳥瞰画像間で画像相関を取ることによっても求めることもできるが、簡易的には、鳥瞰画像中の特徴点が移動する方向を検出することによって求めることができる。
例えば、図１３（ａ）に例示したように、駐車枠の角部Ａ、あるいは角部Ｂの位置を特徴点として検出して、２つの鳥瞰画像間で角部Ａあるいは角部Ｂが移動する方向を求めることによって、車両１の駐車枠に対する角度θｙｓを求めることができる。
図３に示した取付角度調整処理のＳ１０６では、このようにして、車両１の駐車枠に対する角度θｙｓを検出する。

【0043】

その後、Ｓ１０３で求めておいた車載カメラ１０の駐車枠に対するヨウ方向の角度θｙから、Ｓ１０６で求めた車両１の駐車枠に対するヨウ方向の角度θｙｓを減算することにより、車載カメラ１０の車両１に対するヨウ方向の取付角度θｙｃを算出する（Ｓ１０７）。

【0044】

以上のようにして、車載カメラ１０の駐車枠に対するピッチ方向の角度θｐおよびロール方向の角度θｒと、車載カメラ１０の車両１に対するヨウ方向の取付角度θｙｃとが得られたら、これらの角度に基づいて、車載カメラ１０の車両１に対する取付角度を調整する（Ｓ１０８）。
すなわち、ヨウ方向については、車載カメラ１０の車両１に対する取付角度θｙｃが求められているので、この取付角度θｙｃが適切な値となるように調整することができる。
また、ピッチ方向およびロール方向については、車両１の駐車枠に対する傾きが同じとなるように乗員や積載状態（積載量や積載位置など）を揃えた状態で、車載カメラ１０の駐車枠に対するピッチ方向の角度θｐおよびロール方向の角度θｒが適切な値となるように、車載カメラ１０の取付角度を調整することができる。
あるいは、乗員や積載状態（積載量や積載位置など）を揃えた状態で、車両１が駐車枠に対してピッチ方向およびロール方向に傾く角度を予め見積もっておき、車載カメラ１０の駐車枠に対するピッチ方向の角度θｐおよびロール方向の角度θｒから、これら見積もっておいた角度を減算してもよい。こうすれば、車載カメラ１０の車両１に対するピッチ方向およびロール方向の取付角度を求めることができるので、求めた角度が適切な角度となるように、車載カメラ１０の取付角度を調整することができる。

【0045】

尚、以上の説明では、車両１を直進させる前と後とで駐車枠の画像を撮影して鳥瞰画像に変換し、直進前の鳥瞰画像に基づいて車載カメラ１０の駐車枠に対する角度を算出し、直進前後の鳥瞰画像から、車両１の駐車枠に対する角度を検出するものとして説明した。
しかし、直進後の鳥瞰画像に基づいて、車載カメラ１０の駐車枠に対する角度を算出することとしても良い。

【0046】

また、車両１の駐車枠に対する角度を検出するために用いた２つの鳥瞰画像の中の一方は、車載カメラ１０の駐車枠に対する角度を算出するために用いた鳥瞰画像であるものとして説明した。
しかし、車載カメラ１０の駐車枠に対する角度を算出するために用いた鳥瞰画像とは別に、車両１の直進前後で新たな２つの鳥瞰画像を取得して、それらの鳥瞰画像に基づいて車載カメラ１０の駐車枠に対する角度を算出することとしても良い。

【0047】

以上に説明した第１実施例では、車両１の直進前と直進毎で撮影した基準図形（ここでは駐車枠）の画像を鳥瞰画像に変換し、それらの鳥瞰画像を解析することによって、車載カメラ１０の車両１に対する取付角度を調整することができる。このため、例えば車両１の後方あるいは前方には車載カメラ１０を搭載しているが、左右には搭載していない車両１であっても、車載カメラ１０の取付角度を調整することができる。

【0048】

また、車両１を基準図形（駐車枠）の近くに移動させて車載カメラ１０で基準図形の画像を撮影した後、車両１を直進させてもう一度、基準図形の画像を撮影すれば、車載カメラ１０の車両１に対する取付角度を求めることができる。このため、車載カメラ１０の取付角度を簡単に調整することが可能となる。

【0049】

加えて、始めに、基準図形（駐車枠）の近くで画像を撮影しているので、撮影画像中（あるいは鳥瞰画像中）での基準図形を容易に且つ確実に検出することができる。その後、車両１の直進中に基準図形をトラッキングしておけば、たとえ基準図形が遠くの位置で画像を撮影した場合でも、撮影画像中（あるいは鳥瞰画像中）での基準図形を誤検出することがない。

【0050】

Ｃ．第２実施例 ：
上述した第１実施例では、１つの鳥瞰画像に基づいて車載カメラ１０の基準図形（ここでは駐車枠）に対する角度を算出し、２つの鳥瞰画像に基づいて車両１の基準図形（駐車枠）に対する角度を検出するものとして説明した。しかし、複数の鳥瞰画像を用いて、車載カメラ１０の基準図形に対する角度を算出し、２つよりも多くの鳥瞰画像を用いて、車両１の基準図形に対する角度を検出してもよい。
こうすれば、それぞれの角度を算出あるいは検出する際に混入する誤差の影響を小さくすることができるので、車載カメラ１０の取付角度をより正確に調整することができる。

【0051】

図１４には、第２実施例の制御装置２０の大まかな内部構成が示されている。第２実施例の制御装置２０は、図２を用いて前述した第１実施例の制御装置２０に対して、直進監視部２７が追加されている点が異なるが、その他の点については同様である。以下では、第１実施例の制御装置２０との相違点を中心として、第２実施例の制御装置２０について説明する。

【0052】

直進監視部２７は、車両１の車両情報センサー１２に接続されており、車両情報センサー１２から車両１の操舵角に関する情報を取得することによって、取付角度の検出中に車両１が直進状態にあるか否かを監視する。そして、取付角度の検出中に車両１が直進状態から逸脱した場合には、その旨を取付角度検出部２６に出力する。ここで、前述したように取付角度検出部２６とは、カメラ角度解析部２４での解析結果と、車両角度解析部２５での解析結果とを用いて、車両１に対する車載カメラ１０の取付角度を検出する部である。第２実施例の取付角度検出部２６は、取付角度の検出中に車両１が直進状態から逸脱した旨の情報を、取付角度検出部２６から受け取ると、それまでの検出途中の結果を破棄して、始めから取付角度の検出を開始する。
また、直進監視部２７は、取付角度の検出中に車両１が直進状態から逸脱したことを検出すると、取付角度の検出中は車両１の直進状態を維持する旨の警告を、スピーカー３０などから出力する。

【0053】

このような直進監視部２７を備える第２実施例の制御装置２０は、車両１が直進状態にあるか否かを監視することができるので、複数の鳥瞰画像を用いて、車載カメラ１０の基準図形に対する角度や、車両１の基準図形に対する角度を検出することが可能となる。以下では、第２実施例の制御装置２０が、車載カメラ１０の取付角度を調整するために実施する取付角度調整処理について説明する。

【0054】

図１５、図１６、および図１７には、第２実施例の取付角度調整処理のフローチャートが示されている。この処理も、前述した第１実施例の取付角度調整処理と同様に、車両１を基準図形（ここでは駐車枠）の付近に移動させた後に開始される。
図示されるように、第２実施例の取付角度調整処理でも、先ず始めは、基準図形（駐車枠）の撮影画像を車載カメラ１０から取得する（Ｓ２００）。

【0055】

続いて、第２実施例の取付角度調整処理では、取得した撮影画像中の駐車枠を検出して、撮影画像中に予め設定しておいた所定範囲内に駐車枠が写っているか否かを判断する（Ｓ２０１）。
その結果、撮影画像中の所定範囲内に駐車枠が写っていない場合は（Ｓ２０１：ｎｏ）、車両１を停車した位置が適切でない旨の警告を、スピーカー３０やモニター１１などから出力する（Ｓ２０２）。そして、取得した撮影画像を破棄した後（Ｓ２０３）、Ｓ２００に戻って、もう一度、駐車枠を撮影した撮影画像を取得する。

【0056】

詳細には後述するが、第２実施例の取付角度調整処理では、予め設定されている制限距離内で車両１を移動させながら、駐車枠の撮影画像を取得する。従って、始めに車両１を駐車枠に対して正しい位置に停車していなければ、制限距離内で車両１を移動させている間に、駐車枠が車載カメラ１０の撮影範囲から外れてしまう可能性がある。
そこで、始めに駐車枠の撮影画像を取得したら、その撮影画像中で適切な範囲内に駐車枠が写っているか否かを判断し（Ｓ２０１）、適切な範囲内に駐車枠が写っていない場合は（Ｓ２０１：ｎｏ）、その旨を運転者に警告することとしている。

【0057】

これに対して、撮影画像中の適切な範囲内に駐車枠が写っていると判断した場合は（Ｓ２０１：ｙｅｓ）、車両１を直進させながら、新たな撮影画像の取得を継続する（Ｓ２０４）。
そして、車両情報センサー１２から検出した車速が、許容速度以内か否かを判断して（Ｓ２０５）、許容速度を超えていた場合は（Ｓ２０５：ｎｏ）、車速が高い旨の警告を、スピーカー３０あるいはモニター１１を用いて出力する（Ｓ２０６）。尚、車速が許容速度より高い場合に警告する理由については後述する。
また、車速が許容速度以内であった場合は（Ｓ２０５：ｙｅｓ）、運転者に対する警告は行わない。

【0058】

続いて、車両１が直進状態か否かを判断する（Ｓ２０７）。車両１が直進状態か否かは、車両情報センサー１２から操舵角に関する情報を取得することによって判断することができる。
その結果、車両１が直進状態でなかった場合は（Ｓ２０７：ｎｏ）、車両１の直進状態を保つ旨の警告を、スピーカー３０あるいはモニター１１を用いて出力する（Ｓ２０８）。そして、それまでに取得した全ての撮影画像を破棄した後（Ｓ２０９）、処理の先頭に戻って、駐車枠の撮影画像を取得する処理（Ｓ２００）からやり直す。ここで、全ての撮影画像を破棄する（Ｓ２０９）のは、車両１の駐車枠に対する角度θｙｓは、車両１が直進状態にあることを前提として検出しているので（図１３参照）、車両１が直進状態から逸脱すると、それまでの撮影画像は使えなくなるためである。

【0059】

一方、車両１が直進状態を保っていた場合は（Ｓ２０７：ｙｅｓ）、取得した撮影画像の枚数が、目標枚数（たとえば５０枚）に達したか否かを判断する（Ｓ２１０）。
その結果、撮影画像の枚数が目標枚数に達していない場合は（Ｓ２１０：ｎｏ）、車両１の移動距離が制限距離に達したか否かを判断する（Ｓ２１１）。これは、第１実施例で説明したように、駐車枠が車両１から遠くなると、駐車枠を精度良く検出することが困難となるためである。第２実施例の取付角度調整処理では、制限距離が２メートル〜３メートルの範囲から選択された所定の距離に設定されている。
そして、車両１の移動距離が制限距離に達していない場合は（Ｓ２１１：ｎｏ）、Ｓ２０５に戻って、車速が許容速度以内か否かを判断した後、続く上述した一連の処理（Ｓ２０６〜Ｓ２１１）を繰り返す。

【0060】

このような処理を繰り返しているうちに、撮影画像の枚数が目標枚数に達する前に（Ｓ２１０：ｎｏ）、車両１の移動距離が制限距離に達した場合には（Ｓ２１１：ｙｅｓ）、撮影画像の取得を中断する（図１６のＳ２１２）。
そして、車両１の移動距離が制限距離を超えた旨の警告を、スピーカー３０あるいはモニター１１などから出力し（Ｓ２１３）、更に、車両１を一旦停止させて進行方向を反転させる旨の指示を、運転者に対して出力する（Ｓ２１４）。ここで、撮影画像の取得を中断し、車両１の進行方向を反転させる旨を指示しているのは、車両１がそれ以上に駐車枠から離れると、駐車枠の検出精度が低下する虞が生じるためである。
尚、第２実施例では、車両１の停止と進行方向の反転とを運転者に対して指示するものとして説明する。しかし、運転者に対して指示するのではなく、制御装置２０が車両１の各種アクチュエータに対して指示することによって、車両１の停止と進行方向の反転とを自動で実行してもよい。

【0061】

その後、進行方向を反転させて車両１が進行を開始したか否かを判断する（Ｓ２１５）。車両１が進行を開始したか否か、および進行方向が反転しているか否かは、車両情報センサー１２から車両情報を取得することによって判断することができる。
その結果、進行方向を反転させて車両１が進行を開始していないと判断した場合には（Ｓ２１５：ｎｏ）、同様の判断を繰り返すことによって、そのまま待機状態となる。その結果、反転した方向に進行を開始したと判断したら（Ｓ２１５：ｙｅｓ）、撮影画像の取得を再開する（Ｓ２１６）。その後は、図１５のＳ２０５に戻って、車速が許容速度以内か否かを判断した後、続く上述した一連の処理（Ｓ２０６〜Ｓ２１１）を繰り返す。

【0062】

ここで、第２実施例の取付角度調整処理では、車両１の車速が許容速度を超えると、車速が高い旨を警告する（Ｓ２０６）理由について説明する。
上述したように第２実施例の取付角度調整処理では、車両１を制限距離内で移動させながら、目標枚数の撮影画像を取得する。従って、車両１の車速が高いと、取得した撮影画像が目標枚数に達するまでの間に、何度も車両１を停止させて進行方向を反転させなければならなくなるので、目標枚数の撮影画像を取得するために要する時間が長くなってしまう。
また、車両１を停止させて、進行方向を反転させる回数が増えるほど、車両１が直進状態から逸脱する可能性が高くなる。そして、直進状態から逸脱した場合には、それまでに取得した撮影画像は破棄されてしまうので、目標枚数の撮影画像を取得するために要する時間は、更に長くなってしまう。
従って、車両１の移動速度は、あまり高くない方が望ましい。そこで、第２実施例の取付角度調整処理では、車両１の車速が許容速度を超えている場合には（Ｓ２０５：ｎｏ）、車速が高い旨を警告する（Ｓ２０６）こととしている。

【0063】

尚、車両１の理想的な移動速度としては、車両１を１回往復させる間に、撮影画像の取得枚数が目標枚数に達する程度の速度が望ましい。そこで、このような理想的な移動速度を含む目標速度範囲を設定しておき、車両情報センサー１２で検出した車速が目標速度範囲より高くなった場合だけでなく、目標速度範囲よりも低くなった場合にも、その旨を警告するようにしても良い。

【0064】

以上のようにして、車両１を往復動させながら撮影画像を取得した結果、取得した撮影画像が目標枚数に達したと判断したら（Ｓ２１０：ｙｅｓ）、取得した全ての撮影画像を鳥瞰画像に変換して、それぞれの鳥瞰画像中から駐車枠を検出する（図１７のＳ２１７）。
そして、それぞれの鳥瞰画像中から検出した駐車枠の座標値を平均することによって、平均駐車枠を算出する（Ｓ２１８）。平均駐車枠は、目標枚数の鳥瞰画像中から検出した駐車枠を平均して算出されているので、たとえ個々の鳥瞰画像から検出した駐車枠の位置にノイズが混入していた場合でも、ノイズの影響を除去することができる。その結果、駐車枠を精度良く検出することができる。

【0065】

こうして得られた平均駐車枠に対して、前述した第１実施例の取付角度調整処理と同様に、鳥瞰画像中の駐車枠を形成する各辺が交差する角度と、駐車枠を形成する任意の一辺が車載カメラ１０の光軸に対してなす角度とを検出する（Ｓ２１９）。
続いて、前述した第１実施例の取付角度調整処理と同様に、検出した各辺の角度に基づいて、駐車枠に対する車載カメラ１０の角度を算出する（Ｓ２２０）。

【0066】

続いて、Ｓ２１７で変換した各鳥瞰画像に基づいて、鳥瞰画像上での駐車枠の移動方向を検出することにより、駐車枠に対する車両１のヨウ方向の角度θｙｓ（図１３参照）を検出する（Ｓ２２１）。第２実施例の取付角度調整処理では、目標枚数の鳥瞰画像を用いて、鳥瞰画像上での駐車枠の移動方向を検出することができる。このため、個々の鳥瞰画像にノイズが混入していた場合でも、ノイズの影響を受けることなく、鳥瞰画像上での駐車枠の移動方向を精度良く検出することができ、その結果、駐車枠に対する車両１のヨウ方向の角度θｙｓも精度良く検出することができる。

【0067】

その後の処理は、前述した第１実施例の取付角度調整処理と同様である。すなわち、Ｓ２１９で求めておいた車載カメラ１０の駐車枠に対するヨウ方向の角度θｙから、Ｓ２２１で求めた車両１の駐車枠に対するヨウ方向の角度θｙｓを減算することにより、車載カメラ１０の車両１に対するヨウ方向の取付角度θｙｃを算出する（Ｓ２２２）。
その後、車載カメラ１０の駐車枠に対するピッチ方向の角度θｐおよびロール方向の角度θｒと、車載カメラ１０の車両１に対するヨウ方向の取付角度θｙｃとに基づいて、車載カメラ１０の車両１に対する取付角度を調整する（S２２３）。

【0068】

以上に説明した第２実施例の取付角度調整処理では、複数の撮影画像に基づいて車載カメラ１０の取付角度を検出するので、ノイズの影響を受けることなく、確実に且つ精度良く取付角度を検出することができ、その結果、取付角度を正確に調整することができる。
また、複数の撮影画像を撮影するためには、車両１の直進状態を保ったまま、車両１を往復させればよいので、何ら作業が複雑になったり、煩雑になったりすることがなく、簡単に車載カメラ１０の取付角度を調整することができる。
加えて、車両１が直進状態にあるか否かを監視して、直進状態から逸脱した場合には、その旨を警告する。このため、車両１が直進状態から逸脱したことに気付かないまま、車載カメラ１０の取付角度の検出を継続して、取付角度を誤検出してしまうことも回避することができる。

【0069】

以上、各種の実施例について説明したが、本発明は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

【0070】

例えば、上述した各種の実施例では、車両１を直進させることによって、車両１の駐車枠に対するヨウ方向の角度θｙｓを求めるものとして説明した。しかし、車両１に搭載された操舵角センサーの情報を用いれば、車両１を必ずしも直進させなくても、駐車枠に対するヨウ方向の角度θｙｓを求めることが可能である。
すなわち、車両１の操舵角および車速が分かれば、駐車枠に対する車両１の相対位置の変化およびヨウ方向の角度の変化を推定することができる。従って、仮に、車載カメラ１０の車両１に対するヨウ方向の取付角度θｙｃが設計値通りであれば、撮影画像を鳥瞰変換して得られた画像中での駐車枠の移動量および移動方向は、推定した移動量および移動方向と一致するはずである。逆に、一致していないのであれば、車載カメラ１０の車両１に対するヨウ方向の取付角度θｙｃが設計値からずれていることになる。
そこで、ヨウ方向の取付角度θｙｃを様々な値に仮定して、鳥瞰変換した画像中での駐車枠の移動量および移動方向を算出する。そして、車両１の操舵角および車速から推定した値に最も近い値が得られる角度を、車載カメラ１０の車両１に対するヨウ方向の取付角度θｙｃとする。こうすれば、車両１を直進させない場合でも、車載カメラ１０の取付角度を簡単に検出して調整することが可能となる。

【符号の説明】

【0071】

１…車両、 １０…車載カメラ、 １１…モニター、
１２…車両情報センサー、 ２０…制御装置、 ２１…撮影画像取得部、
２２…鳥瞰変換部、 ２３…記憶部、 ２４…カメラ角度解析部、
２５…車両角度解析部、 ２６…取付角度検出部、 ２７…直進監視部、
３０…スピーカー。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】