特許 6782895 車載カメラの取付方向パラメータ算出装置および取付方向パラメータ算出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6782895

(24)【登録日】2020年10月23日

(45)【発行日】2020年11月11日

(54)【発明の名称】車載カメラの取付方向パラメータ算出装置および取付方向パラメータ算出方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20201102BHJP

   B60R 11/02 20060101ALI20201102BHJP

【ＦＩ】

   H04N5/232

   H04N5/232 990

   B60R11/02 Z

【請求項の数】7

【全頁数】19

(21)【出願番号】特願2017-44792(P2017-44792)

(22)【出願日】2017年3月9日

(65)【公開番号】特開2018-148520(P2018-148520A)

(43)【公開日】2018年9月20日

【審査請求日】2019年9月2日

(73)【特許権者】

【識別番号】501203344

【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構

(73)【特許権者】

【識別番号】000001878

【氏名又は名称】三菱マヒンドラ農機株式会社

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(72)【発明者】

【氏名】塙 圭二

(72)【発明者】

【氏名】林田 淳一

【審査官】 大西 宏

(56)【参考文献】

【文献】 特開２０１６−１４８５１２（ＪＰ，Ａ）

【文献】 特開２０１６−１４６０６１（ＪＰ，Ａ）

【文献】 特開２０１５−１２２５４７（ＪＰ，Ａ）

【文献】 特開平０７−０７７４３１（ＪＰ，Ａ）

【文献】 特開２０１４−０５９７９３（ＪＰ，Ａ）

【文献】 特開２０００−１２３３００（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／００６３２５２（ＵＳ，Ａ１）

【文献】 特開２０１２−１９４８７２（ＪＰ，Ａ）

【文献】 特開２０１０−０４１３２２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｂ６０Ｒ ９／００ −１１／０６

Ｂ６０Ｒ ２１／００ −２１／１３

Ｂ６０Ｒ ２１／３４ −２１／３８

(57)【特許請求の範囲】

【請求項1】

移動車両に搭載されたカメラにより撮像された走行方向前方の撮像画像内の地面上であって、上記撮像画像内の同じ高さの位置で左右方向に複数の追跡領域を設定する追跡領域設定部と、
上記移動車両の移動に伴い変化する撮像画像内において、上記追跡領域設定部により設定された上記複数の追跡領域内の画像をそれぞれ追跡することにより、上記複数の追跡領域の移動後の位置をそれぞれ検出する画像追跡部と、
上記追跡領域設定部により設定された上記複数の追跡領域の位置および上記画像追跡部により検出された上記複数の追跡領域の移動後の位置に基づいて、移動前後の追跡領域を結ぶ軌跡線から走行方向前方の消失点を算出する消失点算出部と、
上記消失点の上記撮像画像内での高さ方向の位置から上記カメラのピッチ角を算出し、上記消失点の上記撮像画像内での左右方向の位置から上記カメラのヨー角を算出し、左側に設定された追跡領域の移動前後の移動量と右側に設定された追跡領域の移動前後の移動量との差分に基づいて、上記カメラのロール角を算出する取付パラメータ算出部とを備えたことを特徴とする車載カメラの取付方向パラメータ算出装置。

【請求項2】

移動車両に搭載されたカメラにより撮像された走行方向前方の撮像画像内の地面上に複数の追跡領域を設定する追跡領域設定部と、
上記移動車両の移動に伴い変化する撮像画像内において、上記追跡領域設定部により設定された上記複数の追跡領域内の画像をそれぞれ追跡することにより、上記複数の追跡領域の移動後の位置をそれぞれ検出する画像追跡部と、
上記追跡領域設定部により設定された上記複数の追跡領域の位置および上記画像追跡部により検出された上記複数の追跡領域の移動後の位置に基づいて、移動前後の追跡領域を結ぶ軌跡線から走行方向前方の消失点を算出する消失点算出部と、
上記消失点の上記撮像画像内での高さ方向の位置から上記カメラのピッチ角を算出するとともに、上記消失点の上記撮像画像内での左右方向の位置から上記カメラのヨー角を算出する取付パラメータ算出部とを備え、
上記追跡領域設定部は、３個以上の追跡領域を設定し、
上記消失点算出部は、上記３個以上の追跡領域に基づいて、上記移動前後の追跡領域を結ぶ軌跡線から求められる複数の交点を統計処理することによって定まる１点を、上記消失点として算出することを特徴とする車載カメラの取付方向パラメータ算出装置。

【請求項3】

上記追跡領域設定部は、３個以上の追跡領域を設定し、
上記消失点算出部は、上記３個以上の追跡領域に基づいて、上記移動前後の追跡領域を結ぶ軌跡線から求められる複数の交点を統計処理することによって定まる１点を、上記消失点として算出することを特徴とする請求項１に記載の車載カメラの取付方向パラメータ算出装置。

【請求項4】

移動車両に搭載されたカメラにより撮像された走行方向前方の撮像画像内の地面上の同じ高さの位置で左右方向に複数の追跡領域を設定する追跡領域設定部と、
上記移動車両の移動に伴い変化する撮像画像内において、上記追跡領域設定部により設定された上記複数の追跡領域内の画像をそれぞれ追跡することにより、上記複数の追跡領域の移動後の位置をそれぞれ検出する画像追跡部と、
上記追跡領域設定部により左側に設定された追跡領域の移動前後の移動量と、右側に設定された追跡領域の移動前後の移動量との差分に基づいて、上記カメラのロール角を算出する取付パラメータ算出部とを備えたことを特徴とする車載カメラの取付方向パラメータ算出装置。

【請求項5】

上記画像追跡部は、上記カメラにより撮像された上記撮像画像上の走行方向前方の遠点位置に設定された目標領域の上記撮像画像内での左右位置が維持されるように、上記移動車両に搭載された自動操舵装置により上記移動車両の操舵が自動制御された状態で、上記移動車両の移動に伴い変化する撮像画像内において上記複数の追跡領域内の画像をそれぞれ追跡することを特徴とする請求項１〜４の何れか１項に記載の車載カメラの取付方向パラメータ算出装置。

【請求項6】

画像処理装置の追跡領域設定部が、 移動車両に搭載されたカメラにより撮像された走行方向前方の撮像画像内の地面上であって、上記撮像画像内の同じ高さの位置で左右方向に複数の追跡領域を設定する第１のステップと、
上記画像処理装置の画像追跡部が、上記移動車両の移動に伴い変化する撮像画像内において、上記追跡領域設定部により設定された上記複数の追跡領域内の画像をそれぞれ追跡することにより、上記複数の追跡領域の移動後の位置をそれぞれ検出する第２のステップと、
上記画像処理装置の消失点算出部が、上記追跡領域設定部により設定された上記複数の追跡領域の位置および上記画像追跡部により検出された上記複数の追跡領域の移動後の位置に基づいて、移動前後の追跡領域を結ぶ軌跡線から走行方向前方の消失点を算出する第３のステップと、
上記画像処理装置の取付パラメータ算出部が、上記消失点の上記撮像画像内での高さ方向の位置から上記カメラのピッチ角を算出するとともに、上記消失点の上記撮像画像内での左右方向の位置から上記カメラのヨー角を算出する第４のステップと、
上記取付パラメータ算出部が、左側に設定された追跡領域の移動前後の移動量と、右側に設定された追跡領域の移動前後の移動量との差分に基づいて、上記カメラのロール角を算出する第５のステップとを有することを特徴とする車載カメラの取付方向パラメータ算出方法。

【請求項7】

画像処理装置の追跡領域設定部が、 移動車両に搭載されたカメラにより撮像された走行方向前方の撮像画像内の地面上に複数の追跡領域を設定する第１のステップと、
上記画像処理装置の画像追跡部が、上記移動車両の移動に伴い変化する撮像画像内において、上記追跡領域設定部により設定された上記複数の追跡領域内の画像をそれぞれ追跡することにより、上記複数の追跡領域の移動後の位置をそれぞれ検出する第２のステップと、
上記画像処理装置の消失点算出部が、上記追跡領域設定部により設定された上記複数の追跡領域の位置および上記画像追跡部により検出された上記複数の追跡領域の移動後の位置に基づいて、移動前後の追跡領域を結ぶ軌跡線から走行方向前方の消失点を算出する第３のステップと、
上記画像処理装置の取付パラメータ算出部が、上記消失点の上記撮像画像内での高さ方向の位置から上記カメラのピッチ角を算出するとともに、上記消失点の上記撮像画像内での左右方向の位置から上記カメラのヨー角を算出する第４のステップとを有し、
上記第１のステップにおいて上記追跡領域設定部は、３個以上の追跡領域を設定し、
上記第３のステップにおいて上記消失点算出部は、上記３個以上の追跡領域に基づいて、上記移動前後の追跡領域を結ぶ軌跡線から求められる複数の交点を統計処理することによって定まる１点を、上記消失点として算出することを特徴とする車載カメラの取付方向パラメータ算出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載カメラの取付方向パラメータ算出装置および取付方向パラメータ算出方法に関し、特に、運転支援用として移動車両に搭載したカメラの取付方向を示すパラメータを算出する装置および方法に用いて好適なものである。

【背景技術】

【0002】

トラクタや田植機などの移動型の農用車両による播種、移植、畝立て、畦塗りおよび資材散布などの作業では、その作業の精度や能率向上のため、また、それ以降の管理や収穫などの作業のために、各行程を直進かつ平行に行うことが重要である。従来、カメラ、画像処理装置、操舵制御装置などを農用車両に搭載し、直進走行などの自動操舵を行う装置（以下、自動操舵装置という）が提供されている（例えば、特許文献１参照）。

【0003】

特許文献１に記載の自動操舵装置では、撮像画像上の地平線と車両の正面方向との交点を消失点（無限遠点）として設定し、撮像画像中の地面上に設定される複数の基準領域の位置の変化を消失点の位置と比較することにより、車両の前後、左右の移動量を算出する。ここで、算出された車両の左右方向の位置ずれ量に基づいて第１補正量を算出する。また、算出された車両の移動量に基づいて、撮像画像の視野外に出た過去の目標位置と現在の車両位置を推定し、過去の目標位置と車両位置との位置ずれ量に基づいて第２補正量を算出する。さらに、目標位置を撮像画像の輝度分布情報を用いて遠方に向かって追跡した位置情報と、過去の目標位置の位置情報とを組み合せて目標追従ラインを特定し、目標追従ラインの曲率に基づいて第３補正量を算出する。そして、目標位置と第１補正量と第２補正量と第３補正量とに基づいて、目標舵角を算出する。

【0004】

この種の自動操舵装置において、高い走行制御精度を得るためには、農用車両に対するカメラの取り付け方向を示す取付パラメータとして精確な値を自動操舵装置に入力しておくことが重要である。従来は、この取付パラメータの入力を、次のように行っていた。すなわち、平坦な場所に農用車両を置き、農用車両が直進走行すべき走路前方の延長線上に設置されるターゲットランプ等の物体を、農用車両に搭載したカメラで撮像する。そして、作業者が、農用車両の正面に位置する物体がモニタ上で映っている位置を確認しながら、カメラの方向を調整する。また、正面の物体がモニタ上で映っている位置をもとに、カメラの取付方向を示すパラメータを算出し、算出された取付パラメータを、作業者がパーソナルコンピュータ等を使って自動操舵装置に入力している。

【0005】

このように、農用車両にカメラを取り付ける際に、カメラの方向を調整し、取り付けられたカメラの方向を示す取付パラメータを自動操舵装置側に入力する作業は、現状では専門知識と熟練を有する作業者が行うことを要している。そのため、自動操舵装置を広く普及させるにあたり、一般の作業者でもこれらの作業を容易に行うことができるようにすることが求められている。

【0006】

これに対し、カメラの設置パラメータを自動的に算出する方法も提案されている（例えば、特許文献２参照）。この特許文献２に記載のキャリブレーション装置では、車両の移動前と移動後にカメラによって撮像されたカメラ画像を取得し、移動前のカメラ画像と移動後のカメラ画像からそれぞれ２つの特徴点を抽出する。そして、移動前のカメラ画像の２つの特徴点の座標と、移動後のカメラ画像における上記特徴点に対応する２つの特徴点の座標との位置関係に基づいて、カメラの設置パラメータを算出する。

【0007】

具体的には、図１３に示すように、移動前のカメラ画像から抽出した２つの特徴点をａ１，ｂ１、移動後のカメラ画像から抽出した２つの特徴点をａ２，ｂ２とした場合、特徴点ａ１，ａ２を結ぶ直線６１０と、特徴点ｂ１，ｂ２を結ぶ直線６１１との交点を深消失点して算出するとともに、特徴点ａ１，ｂ１を結ぶ直線６２０と、特徴点ａ２，ｂ２を結ぶ直線６２１との交点を消失点として算出し、深消失点と消失点とを通る直線を消失線として算出する。そして、算出した深消失点と消失点と消失線とに基づいてカメラの設置パラメータを算出する。

【0008】

すなわち、画像空間上での座標として、左上を原点、右方向をＸ軸、下方向をＹ軸と定義し、Ｘ軸に平行な直線と消失線とのなす角をカメラのロール角（カメラの光軸を軸とする回転角）として算出する。また、カメラの焦点距離、消失点の座標および上記算出したロール角を用いて、カメラのピッチ角（移動平面に平行でカメラの光軸に対して直角となる方向を軸とする回転角）を算出する。さらに、カメラの焦点距離、深消失点の座標、消失線および上記算出したピッチ角を用いて、カメラのヨー角（移動平面に垂直な方向を軸とする回転角）を算出する。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２０１６−１４６０６１号公報

【特許文献2】特開２０１５−１２２５４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、上記特許文献２に記載の技術では、撮像画像内の特徴点の動きから深消失点と消失点とを算出し、当該深消失点と消失点とから消失線を算出する必要がある。ここで、消失点は、図１３に示されるように、撮像画像の範囲外に計算されることがある。この場合、撮像画像の中心から外側に大きく離れた領域では、農用車両の前進に伴う被写体の位置変化が大きくなる傾向となるため、特徴点を結んだ直線の交点という図形的な処理によって算出される消失点が、撮像画像における本来の正しい消失点を表しているとは限らない。特許文献２では、このような消失点を用いてロール角を算出し、さらにそのロール角を用いてピッチ角およびヨー角を順に算出しているため、各パラメータの算出精度が良くないという問題があった。

【0011】

本発明は、このような問題を解決するために成されたものであり、移動車両に搭載したカメラの取付方向を示す取付パラメータの算出精度を向上させることができるようにすることを目的とする。

【課題を解決するための手段】

【0012】

上記した課題を解決するために、本発明では、車載カメラにより撮像された撮像画像内の地面上に複数の追跡領域を設定し、移動車両の移動に伴い変化する撮像画像内において、複数の追跡領域内の画像をそれぞれ追跡することにより、複数の追跡領域の移動後の位置をそれぞれ検出する。そして、移動前後の追跡領域を結ぶ軌跡線から走行方向前方の消失点を算出し、当該消失点の撮像画像内での高さ方向の位置からカメラのピッチ角を算出するとともに、消失点の撮像画像内での左右方向の位置からカメラのヨー角を算出するようにしている。また、本発明では、撮像画像内の地面上の同じ高さの位置で左右方向に複数の追跡領域を設定するようにし、上述と同様にして追跡した左側の追跡領域の移動量と右側の追跡領域の移動量との差分に基づいて、カメラのロール角を算出するようにしている。

【0013】

本発明の他の態様では、３個以上の追跡領域を設定し、当該３個以上の追跡領域に基づいて、移動前後の追跡領域を結ぶ軌跡線から求められる複数の交点を統計処理することによって定まる１点を消失点として算出するようにしている。

【発明の効果】

【0014】

上記のように構成した本発明によれば、撮像画像内に設定される追跡領域の移動軌跡から撮像画像内に消失点が算出され、その撮像画像内の消失点からカメラのピッチ角とヨー角とが直接的に算出される。また、本発明の他の特徴によれば、撮像画像内に設定される追跡領域の移動量からカメラのロール角が直接的に算出される。このため、図形的な処理によって撮像画像の範囲外に計算されるような誤差の大きい消失点を用いて取付パラメータが算出されることはない。これにより、移動車両に搭載したカメラの取付方向を示す取付パラメータの算出精度を向上させることができる。

【図面の簡単な説明】

【0015】

【図1】本実施形態による車載カメラの取付方向パラメータ算出装置を実施した移動車両の一形態である農用車両の側面図である。

【図2】本実施形態による画像処理装置の機能構成例を示すブロック図である。

【図3】本実施形態の目標領域設定部により設定される目標領域の一例を示す図である。

【図4】本実施形態の追跡領域設定部により設定される複数の追跡領域の一例を示す図である。

【図5】追跡領域の移動前後の位置の一例を示す図である。

【図6】本実施形態の消失点算出部による消失点の算出例を示す図である。

【図7】カメラのロール角の算出方法を説明するための図である。

【図8】カメラのロール角の算出方法を説明するための図である。

【図9】カメラのピッチ角の算出方法および地面点のＸ座標の算出方法を説明するための図である。

【図10】カメラのピッチ角の算出方法および地面点のＸ座標の算出方法を説明するための図である。

【図11】本実施形態による画像処理装置の動作例を示すフローチャートである。

【図12】本実施形態による画像追跡部の他の動作例を示す図である。

【図13】従来のカメラ取付パラメータの算出方法を説明するための図である。

【発明を実施するための形態】

【0016】

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による車載カメラの取付方向パラメータ算出装置（以下、単に取付方向パラメータ算出装置という）を実施した移動車両の一形態である農用車両の側面図である。

【0017】

図１に示すように、農用車両１は、車両客室２、前輪３、後輪４、ステアリングホイール９とステアリングシャフト１０とを含むステアリング機構、操舵駆動機構６およびブレーキ機構７を備え、農用車両１の後方には作業機８が取り付けられている。作業機８は、例えば、圃場１００において播種や畝立て、耕うんなどの作業をするためのものである。

【0018】

また、農用車両１は、直進走行などの自動操舵を行う自動操舵装置を搭載している。自動操舵装置は、カメラ１１、画像処理装置１２およびＥＣＵ（Electronic control unit）１３を備えて構成される。カメラ１１は、車両客室２の上部に配置され、 農用車両１の走行方向前方を撮像する。カメラ１１は、撮像した画像を画像処理装置１２に出力する。

【0019】

画像処理部１２は、カメラ１１から取得した撮像画像を処理することにより、農用車両１のヨー角を検出し、ＥＣＵ１３に供給する。ＥＣＵ１３は、画像処理装置１２から供給されるヨー角に基づいて、操舵駆動機構６を介して前輪３の操舵を制御する。これにより、ＥＣＵ１３は、前方に向かってまっすぐ直進走行するように農用車両１の走行を制御する。

【0020】

ステアリング機構は、ステアリングホイール９と、ステアリングシャフト１０と、当該ステアリングシャフト１０の動きを前輪３の動きに変換するギヤ装置（不図示）とを有する。ステアリング機構は、ハンドルとしてのステアリングホイール９の回動を前輪３の転舵運動に変換する。ステアリングホイール９は、車両客室２内に設けられ、運転者によって回動操作される。ステアリングシャフト１０は、ステアリングホイール９とともに回転するように一端がステアリングホイール９に連結されており、ステアリングホイール９の回転をギヤ装置に伝達する回転軸として機能する。

【0021】

操舵駆動機構６は、舵角センサ（不図示）およびモータ（不図示）を備える。操舵駆動機構６は、モータを駆動し、ステアリング機構に転舵力を与える。舵角センサは、ステアリング機構のステアリングシャフト１０やギヤ装置に設けられ、ステアリングホイール９による操舵角および操舵方向を検出する。操舵駆動機構６はＥＣＵ１３に接続されており、舵角センサの検出値はＥＣＵ１３に出力される。

【0022】

ブレーキ機構７は、運転者のブレーキペダル（不図示）の操作量に応じて後輪４に制動力を与える。ブレーキペダルは、左後輪用ブレーキペダルと右後輪用ブレーキペダルとを有する。運転者が各ブレーキペダルを操作することで、左後輪と右後輪に対して個別に制動力を与えることができる。例えば、農用車両１を右方向に旋回するとき、運転者が、右後輪用ブレーキペダルを踏み込んで右後輪に制動力を与えることで、右後輪を軸として農用車両１を旋回させることができる。ブレーキ機構７はＥＣＵ１３に接続され、ＥＣＵ１３により後輪４に与える制動力が制御される。なお、農用車両１の前輪３にブレーキ機構は無くてよい。

【0023】

また、農用車両１は、本実施形態の取付方向パラメータ算出装置も搭載している。本実施形態の取付方向パラメータ算出装置は、画像処理装置１２により構成される。図２は、本実施形態による画像処理装置１２の機能構成例を示すブロック図である。

【0024】

図２に示すように、本実施形態の画像処理装置１２は、その機能構成として、画像取得部２００、自動操舵部２０１、取付方向パラメータ算出部２０２および記憶部２０３を備えて構成されている。自動操舵部２０１は、目標領域設定部２１およびヨー角検出部２２を備えている。また、取付方向パラメータ算出部２０２は、追跡領域設定部２３、画像追跡部２４、消失点算出部２５、取付パラメータ算出部２６および取付パラメータ設定部２７を備えている。

【0025】

画像処理装置１２が備える各機能ブロック２００〜２０２は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック２００〜２０２は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

【0026】

画像取得部２００は、カメラ１１により撮像された走行方向前方の画像を取得する。本実施形態では、画像取得部２００は、カメラ１１から撮像画像を所定の時間間隔（例えば、０．１秒毎）で取得する。

【0027】

自動操舵部２０１の目標領域設定部２１は、画像取得部２００により取得された撮像画像上の走行方向前方の遠点位置に目標領域を設定する。この目標領域は、自動操舵装置が直進走行のための自動操舵制御を行う際に用いるものである。目標領域設定部２１は、例えば、あらかじめ設定したカメラ１１のヨー角およびピッチ角に基づいて、農用車両１の正面方向および地平線の位置を算出し、その算出した位置に目標領域を設定する。

【0028】

図３は、目標領域設定部２１により設定される目標領域３００の一例を示す図である。図３において、目標領域３００の中に示されている縦線は、事前に入力したカメラ１１のヨー角の値に基づいて算出した農用車両１の正面方向の位置である。また、目標領域３００の中に示されている横線は、事前に入力したカメラ１１のピッチ角の値に基づいて算出した地平線の位置である。以下では、この縦横の十字線の交点を無限遠点と呼ぶ。

【0029】

目標領域設定部２１は、このような無限遠点の位置に目標領域３００を設定し、その目標領域３００内の遠方風景の画像（以下、目標画像という）を記憶部２０３に記憶させる。目標領域３００は、図３に示されるように、無限遠点を中心とし、複数の画素値から構成される所定サイズの矩形領域である。

【0030】

なお、事前に入力されるヨー角およびピッチ角は、必ずしもカメラ１１の実際の取付姿勢に合致した正しい値を示したものとは限らない。そのため、農用車両１の実際の正面方向および実際の地平線が交わる位置に無限遠点が設定されるとは限らない。本実施形態では、以下に説明するようにカメラ１１の実際のヨー角とピッチ角を算出し、算出した値で取付パラメータを設定し直す。これにより、取付パラメータの算出後は、目標領域３００を正しい位置に設定することが可能となる。

【0031】

なお、目標領域３００の設定は、事前に入力されたヨー角およびピッチ角から算出される無限遠点の位置に設定する方法に限らない。例えば、作業者が撮像画像上の無限遠点と思われる位置に目標領域３００を手動で設定するようにしてもよい。すなわち、カメラ１１または画像処理装置１２にモニタを設け、撮像画像上に重ねて目標領域３００の表示枠を表示させる。そして、作業者がカメラ１１または画像処理装置１２に設けた操作部により、この表示枠を移動させて確定することにより、目標領域３００の設定を行うようにすることも可能である。

【0032】

自動操舵部２０１のヨー角検出部２２は、農用車両１の移動に伴い変化する撮像画像内において、目標領域設定部２１により設定された目標領域３００内の目標画像を追跡し、追跡した目標領域３００の位置に基づいて、目標領域３００内の無限遠点に対する農用車両１のヨー角を検出する。このヨー角検出部２２により検出されるヨー角は、無限遠点の方向に対して、農用車両１の正面がどちらにどの程度向いているかを示す値である。

【0033】

すなわち、ヨー角検出部２２は、画像取得部２００によりカメラ１１からの撮像画像が所定時間毎（０．１秒毎）に取得される都度、当該撮像画像と記憶部２０３に記憶しておいた目標画像とを比較することにより、目標画像と合致する合致領域を撮像画像内から検出する。そして、合致領域の位置と農用車両１の正面方向（無限遠点の方向）の位置との差異から、目標領域３００内の無限遠点に対する農用車両１のヨー角を検出する。

【0034】

ＥＣＵ１３は、ヨー角検出部２２により検出されたヨー角に基づいて、農用車両１の操舵を制御する。すなわち、ＥＣＵ１３は、ヨー角検出部２２により検出されたヨー角に基づいて、操舵駆動機構６を介して前輪３の操舵を制御することにより、農用車両１が前方に向かってまっすぐ直進走行するように制御する。

【0035】

取付方向パラメータ算出部２０２の追跡領域設定部２３は、カメラ１１により撮像された走行方向前方の撮像画像内の地面上に複数の追跡領域を設定する。例えば、追跡領域設定部２３は、目標領域設定部２１により算出された無限遠点の下方で、あらかじめ設定した画像上の同じ高さ（例えば、撮像画像の下端から無限遠点までの高さの２／７）の位置に、複数の追跡領域を横一列に設定し、各追跡領域内の画像（以下、追跡用画像という）を記憶部２０３に記憶させる。

【0036】

図４は、追跡領域設定部２３により設定される複数の追跡領域４０１〜４０４の一例を示す図である。図４に示すように、本実施形態では一例として、撮像画像内の同じ高さの位置で左右方向に４個の追跡領域４０１〜４０４を設定している。４個の追跡領域４０１〜４０４は、撮像画像の左右方向で無限遠点がある位置を境界として、左右対称の位置に設定する。なお、追跡領域の設定数は４個に限らず、２個、３個または５個以上であってもよい。

【0037】

画像追跡部２４は、農用車両１の移動に伴い変化する撮像画像内において、追跡領域設定部２３により設定された複数の追跡領域４０１〜４０４内の追跡用画像をそれぞれ追跡することにより、複数の追跡領域４０１〜４０４の移動後の位置をそれぞれ検出する。

【0038】

例えば、画像追跡部２４は、画像取得部２００によりカメラ１１からの撮像画像が所定時間後（この時間間隔は、ヨー角検出部２２がヨー角を検出する時間間隔と同じ０．１秒としてもよいし、それとは異なる時間間隔としてもよい）に取得されたとき、当該撮像画像と記憶部２０３に記憶しておいた各追跡領域４０１〜４０４の追跡用画像とを比較することにより、各追跡用画像と合致する合致領域を撮像画像内からそれぞれ検出する。そして、それぞれの合致領域を、４個の追跡領域４０１〜４０４の移動後の位置として検出する。

【0039】

図５は、追跡領域４０１〜４０４の移動前後の位置の一例を示す図である。図５において、４個の追跡領域４０１〜４０４は、農用車両１の走行開始前に追跡領域設定部２３により当初の位置に初期設定されたものである。一方、４個の追跡領域４０１’〜４０４’は、農用車両１が走行を開始してから所定時間後に画像追跡部２４により検出された４個の移動後の追跡領域である。図５に示すように、追跡領域設定部２３により初期設定された４個の追跡領域４０１〜４０４は、農用車両１の移動に伴って、当初の設定位置から、４個の追跡領域４０１’〜４０４’で示される撮像画像の下方の位置へと移動する。

【0040】

なお、追跡領域４０１〜４０４内の画像は、農用車両１の走行に伴うカメラ１１と追跡領域４０１〜４０４との距離の接近により、その大きさが拡大する。ここでは、推定される距離に応じて、追跡領域４０１〜４０４の内部の画像を拡大した後、追跡領域４０１〜４０４の周囲にはみ出した部分はカットして、元の追跡領域４０１〜４０４の大きさを保持する手法を採用するので、各図における追跡領域４０１〜４０４，４０１’〜４０４’の大きさは一定として表記する。

【0041】

なお、農用車両１の移動に関しては、作業者がステアリングホイール９をマニュアルで操作しながら走行するようにしてもよいが、自動操舵装置による自動操舵制御を用いて農用車両１を自動走行させるのが好ましい。すなわち、画像追跡部２４は、目標領域設定部２１により設定された目標領域３００の撮像画像内での左右位置が維持されるように、自動操舵装置により農用車両１の操舵が自動制御された状態で、農用車両１の移動に伴い変化する撮像画像内において複数の追跡領域４０１〜４０４内の画像をそれぞれ追跡する。

【0042】

消失点算出部２５は、追跡領域設定部２３により設定された複数の追跡領域４０１〜４０４の位置および画像追跡部２４により検出された移動後の複数の追跡領域４０１’〜４０４’の位置に基づいて、移動前後の追跡領域を結ぶ軌跡線から走行方向前方の消失点を算出する。

【0043】

図６は、消失点算出部２５による消失点の算出例を示す図である。図６に示すように、消失点算出部２５は、例えば、追跡領域設定部２３により初期設定された追跡領域４０１〜４０４の各中心点と、画像追跡部２４により検出された移動後の追跡領域４０１’〜４０４’の各中心点とを結ぶ直線６０１〜６０４を、追跡領域の軌跡線として求める。そして、これら複数の直線６０１〜６０４の交点を消失点６０５として算出する。

【0044】

なお、追跡領域設定部２３が３個以上の追跡領域を設定して、消失点算出部２５が３本以上の軌跡線を算出した場合は、それら軌跡線の交点が唯一に定まるとは限らない。図６の例では４本の直線６０１〜６０４があるので、それらの交点が唯一に定まるとは限らない。この場合、消失点算出部２５は、４本の直線６０１〜６０４から求められる複数の交点を統計処理することによって定まる１点を、消失点６０５として算出することにより、尤度の高い交点の位置を算出する。統計処理の一例として、複数の交点の位置の平均化を適用することが可能である。

【0045】

移動前後の追跡領域を結ぶ軌跡線を算出する際、初期設定された追跡領域４０１〜４０４の各中心点の位置情報と、移動後の追跡領域４０１’〜４０４’の各中心点の位置情報とがあれば軌跡線を算出することが可能である。そこで、追跡領域設定部２３が追跡領域４０１〜４０４を設定した際に、追跡領域４０１〜４０４内の追跡用画像を記憶部２０３に記憶させることに加え、追跡領域４０１〜４０４の各中心点の位置情報も記憶部２０３に記憶させるようにしてもよい。このようにすれば、画像追跡部２４により検出された移動後の追跡領域４０１’〜４０４’の各中心点の位置情報と、記憶部２０３に記憶されている初期設定された追跡領域４０１〜４０４の各中心点の位置情報とから、軌跡線を求めることが可能である。

【0046】

なお、追跡領域４０１〜４０４の位置情報を記憶部２０３に記憶させることに代えて、画像追跡部２４により移動後の追跡領域４０１’〜４０４’が検出された際に、追跡領域設定部２３が４個の追跡領域４０１〜４０４を当初の位置に追加設定するようにしてもよい。この場合、消失点算出部２５は、画像追跡部２４により検出された移動後の追跡領域４０１’〜４０４’の各中心点の位置情報と、追跡領域設定部２３により追加設定された追跡領域４０１〜４０４の各中心点の位置情報とから、軌跡線を求めることが可能である。

【0047】

ここでは、追跡領域４０１〜４０４，４０１’〜４０４’の各中心点を通る軌跡線を求めて消失点６０５を算出する例について説明したが、中心点を用いるのはあくまでも一例であって、他の代表点であってもよい。例えば、追跡領域４０１〜４０４の下端の中央の位置を代表点としてもよい。または、追跡領域の４つの角のうち何れか１つを代表点としてもよい。ただし、後者の場合、初期設定する追跡領域４０１〜４０４の位置も変える必要がある。

【0048】

取付パラメータ算出部２６は、消失点算出部２５により算出された消失点６０５の撮像画像内での高さ方向の位置からカメラ１１のピッチ角を算出するとともに、消失点６０５の撮像画像内での左右方向の位置からカメラ１１のヨー角を算出する。

【0049】

ここで、図９および図１０を用いて、カメラ１１のピッチ角の算出方法を説明する。なお、撮像画像上の座標は、図９のように、左下隅を原点として右方向にI座標、上方向にJ座標を設定し、単位は画素とする（例えば、図９の画像のサイズは横７５２画素、縦４８０画素である）。また、実空間上の座標は、図１０のように、カメラ１１の直下の地面上の位置を原点として、左右方向にＸ軸、高さ方向にＹ軸、農用車両１の直進走行方向にＺ軸を設定するものとする。

【0050】

カメラ１１のピッチ角は、図１０（ａ）に示すθvcであり、カメラ１１の光軸方向、すなわち画面中心方向Jcと、地面に対して平行な方向、すなわち地平線方向Jvとが成す角度である。図９のような撮像画像上では、Jvは地平線方向のＪ座標値、Jcは画面中心のJ座標であり、ピッチ角θvcは次の式(P1)で計算される。
tan(θvc) ＝ PWH×(Jv−Jc) ・・・(P1)
なお、PWHは１画素当たりの視野角のtan値である。

【0051】

また、カメラ１１のヨー角は、カメラ１１の光軸方向と、農用車両１の方向とが成す水平方向の角度であるが、農用車両１の「方向」の取り方によって、定義は異なるものとなる。例えば、カメラ１１の撮像画像をモニタに表示し、運転者が車外を監視する目的で撮像画像が使用される場合は、カメラ１１のヨー角は、車体フレームの中心線の方向に対する、カメラ１１の光軸方向が成す角度と定義される。

【0052】

一方、本実施形態のようにカメラ１１の撮像画像を使って自動操舵を行い、農用車両１を走行制御する場合には、カメラ１１のヨー角は、農用車両１の走行における正面方向に対する、カメラ１１の光軸方向の角度と定義される。ここで、「車両の走行における正面方向」とは、農用車両１が旋回せずに直進走行できる方向である。例えば、農用車両１の後輪車軸の取り付け誤差や左右の車輪の磨耗状態の違いなどによって、車両の走行における正面方向は車体フレームの中心線の方向とは差異が生じてくる。

【0053】

よって、農用車両１を精確に直進走行させ、その状態において消失点算出部２５により撮像画像上の消失点６０５を求め、消失点６０５の撮像画像内での左右方向の位置、すなわちI座標Ivと、カメラ１１の光軸方向、すなわち画面中心方向Icとから、ヨー角θyは次の式(Y1)で計算される。
tan(θy) ＝ PWH×(Iv−Ic) ・・・(Y1)
なお、検出された消失点６０５の位置は、画像処理では無限遠点の位置として使用される。

【0054】

取付パラメータ算出部２６は、さらに、４個の追跡領域４０１〜４０４のうち、左側に設定された追跡領域の移動前後の移動量と、右側に設定された追跡領域の移動前後の移動量との差分に基づいて、カメラ１１のロール角を算出する。ここで、左側に設定された追跡領域とは、一番左の追跡領域４０１または左から２番目の追跡領域４０２である。また、右側に設定された追跡領域とは、一番右の追跡領域４０４または右から２番目の追跡領域４０３である。ここでは、左右対称の位置にある追跡領域の移動量を用いる。

【0055】

図７および図８は、カメラ１１のロール角の算出方法を説明するための図である。なお、図７において、撮像画像上の座標は、図９と同様、左下隅を原点として右方向にI座標、上方向にJ座標を設定し、単位は画素とする（例えば、図７の画像のサイズは横７５２画素、縦４８０画素である）。また、図８において、実空間上の座標は、図１０と同様、カメラ１１の直下の地面上の位置を原点として、左右方向にＸ軸、高さ方向にＹ軸、農用車両１の直進走行方向にＺ軸を設定するものとする。

【0056】

図７において、GL,Gc,Ghは、画面上で水平の位置に設定した地面点であり、J座標はいずれもJ0である。Gcは画面の左右の中心方向Ic上の点、GLは画面中心点Gcから左方向（Ｉ軸に平行）に所定画素離れた点、Ghは画面中心点Gcから右方向（Ｉ軸に平行）に所定画素離れた点である。これらの地面点GL,Gc,Ghは、各追跡領域の各中心点に相当するものであり、説明の簡素化のため、各追跡領域の各中心点を地面点GL,Gc,Ghとして説明する。これらの地面点GL,Gc,Ghは、農用車両１の前方への移動に伴って、撮像画像の下方の位置へと移動する。カメラ１１にロール角がなく、撮像画像のI軸が地面と平行であれば、移動後の地面点GL’,Gc’,Gh’もI軸と平行になる。しかし、ロール角がある場合には、移動後の地面点GL’,Gc’,Gh’は、図７のようにI軸と平行ではなくなる。

【0057】

図７において、J1Lは、左側に設定された地面点GLの移動後の地面点GL’の画面下端からの高さ（Ｊ座標値）である。J1hは、右側に設定された地面点Ghの移動後の地面点Gh’の画面下端からの高さ（Ｊ座標値）である。図７では、左側の地面点GL’の高さJ1Lと、右側の地面点Gh’の高さJ1hとが異なる値を示している。これらの値J1L,J1hと、設定した地面点GL,Gc,GhのJ座標、すなわちJ0とから、カメラ１１のロール角が算出される。

【0058】

図７のようにカメラ１１にロール角がある状態を、カメラ１１に対して真横の方向から見た状態は、図８（ａ）のようになる。すなわち、ＸＹＺ座標軸において、左右方向のＸ軸を、カメラ１１の横方向のI軸と平行に回転させた状態である。よって、カメラ１１の正面位置での地面点Gcからカメラ１１までの高さはCAHとなるのに対して、左側の地面点GLからカメラ１１までの高さはCAH よりもdyだけ高くなる。一方、右側の地面点Ghからカメラ１１までの高さはCAH よりもdyだけ低くなる。この結果、図７のように画面上では水平の位置に設定した地面点GL，Gc，Ghについても、カメラ１１の直下の地面上の位置までの距離は、正面の地面点Gcの距離Z0cに対し、左右の地面点GL, Ghの距離Z0L，Z0hが異なる値となる（３点を結ぶ直線は地面上では前後方向に斜めの直線となる）。

【0059】

次に、農用車両１が距離Zdだけ前進した図８（ｂ）の状態では、図７に示すように、地面点GL’，Gc’，Gh’は撮像画像上でも水平ではなくなる。これは、図８（ｂ）において、点Ｂの位置にあるカメラ１１から、それぞれの地面点GL’，Gc’，Gh’を見込む角度θ1L，θ1c，θ1hに差異が生じることに相当する現象である。

【0060】

ここで、走行前における各地面点GL，Gc，Ghのカメラ位置Ａからの距離Z0L，Z0c，Z0hは、それぞれの次のように表される。
Z0L ＝ (CAH＋dy)／(PWH×(Jv−J0)) ・・・(1)
Z0c ＝ CAH／(PWH×(Jv−J0)) ・・・ (2)
Z0h ＝ (CAH−dy)／(PWH×(Jv−J0)) ・・・(3)
なお、PWHは１画素当たりの視野角のtan値、Jvは地平線方向のＪ座標値、J0は地面点GL，Gc，Gh方向のＪ座標値である。

【0061】

また、走行後における各地面点GL’，Gc’，Gh’のカメラ位置Ｂからの距離Z1L，Z1c，Z1hは、それぞれの次のように表される。
Z1L ＝ Z0L−Zd ＝ (CAH＋dy)／(PWH×(Jv−J1L)) ・・・(4)
Z1c ＝ Z0c−Zd ＝ CAH／(PWH×(Jv−J1c)) ・・・(5)
Z1h ＝ Z0h−Zd ＝ (CAH−dy)／(PWH×(Jv−J1h)) ・・・(6)

【0062】

ここで、式(1)に式(4)を、式(3)に式(6)を代入して変形すると、
Zd ＝ (CAH＋dy)／(PWH×(Jv−J0))−(CAH＋dy)／(PWH×(Jv−J1L)) ・・・(7)
Zd ＝ (CAH−dy)／(PWH×(Jv−J0))−(CAH−dy)／(PWH×(Jv−J1h)) ・・・(8)
となる。さらに、式(7)に式(8)を代入して変形すると、
(CAH＋dy)／(PWH×(Jv−J0))−(CAH−dy)／(PWH×(Jv−J0))
＝(CAH＋dy)／(PWH×(Jv−J1L))−(CAH−dy)／(PWH×(Jv−J1h)) ・・・(9)
となる。

【0063】

さらに、式(9)を整理すると、次のように表すことができる。
(2×dy)／(Jv−J0) ＝ (CAH＋dy)／(Jv−J1L)−(CAH−dy)／(Jv−J1h) ・・・(10)
この式(10)に対してカメラ１１の高さCAH、Jv，J0などの画像上の各設定値、およびJ1L，J1hなどの画像上の計測値を代入することで、高低差dyが算出される。

【0064】

次に、左右の地面点GL,GhのＸ座標XL，Xhは、下記の近似式で算出することができる。
XL ＝ (CAH＋dy)×(IL−Iv)／(Jv−J0) ・・・(11)
Xh ＝ (CAH−dy)×(Ih−Iv)／(Jv−J0) ・・・(12)
なお、dyは式(10)で算出した値、Ivは無限遠点のI座標値であり、ここでは説明の簡単化のため、撮像画像の左右方向の中心における地面点GcのＩ座標値Icと一致するものとする。また、ILは左側の地面点GLのＩ座標値、Ihは右側の地面点GhのＩ座標値である。

【0065】

ここで、ロール角を左右方向の傾き、すなわちdY／dXと定義すると、左右の地面点GL，Ghの左右方向の距離の差dXおよび高さ方向の差dYの値は、次に式(13a),(13b)に示す通りとなる。
dX ＝ Xh−XL ・・・(13a)
dY ＝ dy×2 ・・・(13b)
以上により、ロール角dY／dXは、式(13)のように算出される。
dY／dX ＝ (2×dy)／(Xh−XL) ・・・(13)

【0066】

ここで、左右の地面点GL,GhのＸ座標XL，Xhを求める式(11),(12)について補足する。図９および図１０は、式(11),(12)による地面点のＸ座標の算出方法を説明するための図である。なお、Ｘ座標の求め方は左右で同様なので、図９では代表として地面点GのＸ座標を求める方法を説明している。

【0067】

図９に示す地面点Gは、画面上のI座標およびJ座標がそれぞれIg，Jgであり、Ｚ座標Zgは、厳密には式(14)で表され、近似的には式(15)で表すことができる。
Zg ＝ CAH／tan(θvc＋θcg) ・・・(14)
Zg ＝ CAH／(PWH×(Jv−Jg)) ・・・(15)
なお、図１０（ａ）に示すように、θvcは地平線方向Jvと画面中心方向Jcとが成す角度、θcgは画面中心方向Jcと地面点Gの方向とが成す角度である。

【0068】

カメラ１１の位置をＡとすると、点ＡＧ間の側面距離Dg、カメラ中心線上の点ＡＣ間の距離Dcは、それぞれ次のように表される。
Dg ＝ CAH／sin(θvc＋θcg) ・・・(16)
Dc ＝ Dg×cos(θcg) ・・・(17)

【0069】

また、地面点GのＸ座標Xgは、次のように表される。
Xg ＝ Dc×tan(θhg) ・・・(18)
tan(θhg) ＝ PWH×(Ig−Iv) ・・・(19)
なお、図１０（ｂ）は、図１０（ａ）における画像中心Jcの線に対して、垂直方向から俯瞰した図であり、θhgは画像中心線上の点Cと地面上の点Gとの間の水平方向の角度である。

【0070】

以上をまとめると、点ＧのＸ座標Xgは、厳密には以下のように表される。
Xg ＝ CAH／sin(θvc＋θcg)×cos(θcg)×PWH×(Ig−Iv) ・・・(20)
これに対し、sin，cosを以下の式(21)、(22)のように近似すると、点GのＸ座標Xgは式(23)のように簡素化することができる。
sin(θvc＋θcg0) ＝ PWH×(Jv−Jg) ・・・(21)
cos(θcg) ＝ 1.0 ・・・(22)
Xg ＝ CAH×(Ig−Iv)／(Jv−Jg) ・・・(23)

【0071】

取付パラメータ設定部２７は、以上のようにして取付パラメータ算出部２６により算出されたカメラ１１の取付パラメータ（ピッチ角、ヨー角、ロール角）を画像処理装置１２に設定する。画像処理装置１２に設定された取付パラメータは、以後の各種の画像処理に反映される。なお、取付パラメータ算出部２６により算出された取付パラメータの値をモニタ等に表示させることにより、カメラ１１の取付方向の調整を作業者に促すようにしてもよい。あるいは、取付パラメータ算出部２６により算出された取付パラメータの値に基づいて、カメラ１１の取付方向をＥＣＵ１３等が自動的に調整するようにしてもよい。

【0072】

図１１は、以上のように構成した本実施形態による画像処理装置１２の動作例を示すフローチャートである。

【0073】

まず、画像取得部２００は、カメラ１１により撮像された走行方向前方の画像を取得する（ステップＳ１）。次に、目標領域設定部２１は、あらかじめ設定したカメラ１１のヨー角およびピッチ角に基づいて、農用車両１の正面方向と地平線とが交わる無限遠点を算出し（ステップＳ２）、その算出した無限遠点を中心点とする矩形形状の目標領域を設定する（ステップＳ３）。次いで、追跡領域設定部２３は、目標領域設定部２１により算出された無限遠点の下方で、あらかじめ設定した画像上の同じ高さの位置に、複数の追跡領域を横一列に設定する（ステップＳ４）。これで、初期の準備が完了する。

【0074】

準備が完了したら、作業者が自動操舵による走行開始ボタンを押下することにより、農用車両１の自動走行を開始する（ステップＳ５）。自動走行の開始後に、画像取得部２００は、カメラ１１により撮像された走行方向前方の画像を再び取得する（ステップＳ６）。そして、画像追跡部２４は、自動走行の開始から所定時間が経過したか否かを判定する（ステップＳ７）。所定時間がまだ経過していない場合、処理はステップＳ６に戻る。

【0075】

図１１のフローチャート上には図示していないが、ステップＳ６，Ｓ７のループ処理が繰り返されている間、ヨー角検出部２２は、画像取得部２００によりカメラ１１からの撮像画像が所定時間毎に取得される都度、農用車両１の移動に伴い変化する撮像画像内において目標画像との比較により目標領域を追跡し、追跡した目標領域の位置に基づいて、無限遠点に対する農用車両１のヨー角を検出する。そして、検出したヨー角に基づいてＥＣＵ１３が農用車両１の直進走行を制御する。

【0076】

そして、自動走行の開始から所定時間が経過したと判定された場合、画像追跡部２４は、そのとき画像取得部２００により取得された撮像画像と、ステップＳ４で追跡領域設定部２３により設定された追跡領域内の追跡用画像とを比較することにより、撮像画像内において各追跡用画像と合致する合致領域を、移動後の複数の追跡領域として検出する（ステップＳ８）。

【0077】

次に、消失点算出部２５は、ステップＳ４で追跡領域設定部２３により設定された複数の追跡領域の位置と、ステップＳ８で画像追跡部２４により検出された移動後の複数の追跡領域の位置とに基づいて、移動前後の追跡領域を結ぶ軌跡線から走行方向前方の消失点を算出する（ステップＳ９）。

【0078】

次いで、取付パラメータ算出部２６は、消失点算出部２５により算出された消失点の撮像画像内での高さ方向の位置からカメラ１１のピッチ角を算出するとともに、消失点の撮像画像内での左右方向の位置からカメラ１１のヨー角を算出する（ステップＳ１０）。さらに、取付パラメータ算出部２６は、左側に設定された追跡領域の移動前後の移動量と、右側に設定された追跡領域の移動前後の移動量との差分に基づいて、カメラ１１のロール角を算出する（ステップＳ１１）。

【0079】

そして、取付パラメータ設定部２７は、以上のようにして取付パラメータ算出部２６により算出されたカメラ１１の取付パラメータ（ピッチ角、ヨー角、ロール角）を画像処理装置１２に設定する（ステップＳ１２）。これにより、図１１に示すフローチャートの処理を終了する。

【0080】

なお、ステップＳ６で新たな画像が取得される毎に、ステップＳ８の追跡用画像と合致する合致領域の検出を行い、追跡用画像の移動量が十分に発生したことが判断された後、ステップＳ９の消失点の算出を行うようにしてもよい。

【0081】

以上詳しく説明したように、本実施形態では、カメラ１１により撮像された撮像画像内の地面上に複数の追跡領域を設定し、農用車両１の移動に伴い変化する撮像画像内において、複数の追跡領域内の画像をそれぞれ追跡することにより、複数の追跡領域の移動後の位置をそれぞれ検出する。そして、移動前後の追跡領域を結ぶ軌跡線から走行方向前方の消失点を算出し、当該消失点の撮像画像内での高さ方向の位置からカメラのピッチ角を算出するとともに、消失点の撮像画像内での左右方向の位置からカメラのヨー角を算出するようにしている。また、本実施形態では、撮像画像内の地面上の同じ高さの位置で左右方向に複数の追跡領域を設定するようにし、上述のように追跡した左右方向の追跡領域の移動量の差分に基づいて、カメラのロール角を算出するようにしている。

【0082】

このように構成した本実施形態によれば、撮像画像内に設定される追跡領域の移動軌跡から撮像画像内に消失点が算出され、その撮像画像内の消失点からカメラ１１のピッチ角とヨー角とが直接的に算出される。また、本実施形態によれば、撮像画像内に設定される追跡領域の移動量からカメラ１１のロール角が直接的に算出される。このため、従来のように図形的な処理によって撮像画像の範囲外に計算されるような誤差の大きい消失点を用いて取付パラメータが算出されることはない。これにより、農用車両１に搭載したカメラ１１の取付方向を示す取付パラメータの算出精度を向上させることができる。

【0083】

また、本実施形態では、自動操舵によって農用車両１を精確に直進走行させ、これによって農用車両１の走行における正面方向を検出することができるというメリットも有する。上述したように、「農用車両１の走行における正面方向」とは、農用車両１が旋回せずに直進走行できる方向であり、車体フレーム上の正面方向とは異なる。操舵制御を精確に実行するには、実際の走行における正面方向を精確に把握しておくことが重要である。例えば、農用車両１の後輪車軸が、製造誤差や経年劣化などで車体に対して前後に斜めになっていると、農用車両１は車体を斜めにして直進する状態となる（カニ走り）。このような状態は、停止した農用車両１を観察しても容易には分らないが、本実施形態によれば、精確な検出を容易に行うことが可能となる。

【0084】

なお、上記実施形態では、農用車両１の自動走行を開始してから所定時間が経過したときに、画像追跡部２４による追跡領域の追跡を行う例について説明したが、本発明はこれに限定されない。例えば、自動走行を開始してから農用車両１が所定距離走行したことを検出したときに、画像追跡部２４による追跡領域の追跡を行うようにしてもよい。また、新たな画像が取得される毎に追跡用画像の探索を行い、追跡用画像の移動量が十分に発生したことを検出したときに、移動前後の追跡領域を結ぶ軌跡線から走行方向前方の消失点を算出するようにしてもよい。または、初期設定した追跡領域が、当該追跡領域と重ならない位置まで移動したことを検出したときに、画像追跡部２４による追跡領域の追跡を行うようにしてもよい。

【0085】

また、上記実施形態では、初期設定した追跡領域４０１〜４０４と、移動後の追跡領域４０１’〜４０４’との２組から軌跡線を求めて消失点を算出す例について説明したが、本発明はこれに限定されない。例えば、図１２に示すように、画像追跡部２４は、画像取得部２００によりカメラ１１からの撮像画像が所定時間毎に取得される都度、移動後の追跡領域を検出するようにしてもよい。この場合、消失点算出部２５は、例えば、追跡領域設定部２３により初期設定された追跡領域の各中心点と、画像追跡部２４により所定時間毎に検出されたそれぞれの追跡領域の各中心点とから近似直線を算出し、当該近似直線の交点を消失点として検出する。

【0086】

このようにすることにより、より精確な位置に消失点を検出することが可能となる。すなわち、農用車両１の自動走行をしているとき、路面の凹凸や傾斜等により農用車両１に揺れが生じる場合がある。図６のように２組の追跡領域から軌跡線を算出した場合、移動後の追跡領域４０１’〜４０４’を検出したときにたまたま農用車両１が大きく揺れていると、精確な位置に消失点を検出することができない。これに対し、図１２のように３組以上の追跡領域から軌跡線を算出した場合、どこかのタイミングで農用車両１が大きく揺れていたとしても、近似直線からほぼ精確な位置に消失点を算出することが可能となる。

【0087】

なお、ここでは、図１２のように複数組の追跡領域がそれぞれ離間して配置される例について示しているが、互いに重複するように配置してもよい。

【0088】

また、上記実施形態では、移動車両の一例として農用車両１を挙げて説明したが、本発明はこれに限定されない。例えば、建設機械の車両や一般の自動車にも適用可能である。

【0089】

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0090】

１１ カメラ
１２ 画像処理装置
２１ 目標領域設定部
２２ ヨー角検出部
２３ 追跡領域設定部
２４ 画像追跡部
２５ 消失点算出部
２６ 取付パラメータ算出部
２７ 取付パラメータ設定部
２００ 画像取得部
２０１ 自動操舵部
２０２ 取付方向パラメータ算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】