特許 6587172 操舵制御装置および旋回状態推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6587172

(24)【登録日】2019年9月20日

(45)【発行日】2019年10月9日

(54)【発明の名称】操舵制御装置および旋回状態推定方法

(51)【国際特許分類】

   G05D 1/02 20060101AFI20191001BHJP

   A01B 69/00 20060101ALI20191001BHJP

   B60W 30/10 20060101ALI20191001BHJP

   G06T 7/20 20170101ALI20191001BHJP

   G06T 7/00 20170101ALI20191001BHJP

   G06T 1/00 20060101ALI20191001BHJP

【ＦＩ】

   G05D1/02 W

   G05D1/02 K

   A01B69/00 303M

   B60W30/10

   G06T7/20 100

   G06T7/00 300D

   G06T7/00 650Z

   G06T1/00 330Z

【請求項の数】4

【全頁数】16

(21)【出願番号】特願2015-52148(P2015-52148)

(22)【出願日】2015年3月16日

(65)【公開番号】特開2016-173634(P2016-173634A)

(43)【公開日】2016年9月29日

【審査請求日】2018年1月17日

(73)【特許権者】

【識別番号】501203344

【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構

(73)【特許権者】

【識別番号】000001878

【氏名又は名称】三菱マヒンドラ農機株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】塙 圭二

(72)【発明者】

【氏名】山下 貴史

(72)【発明者】

【氏名】山田 祐一

(72)【発明者】

【氏名】林田 淳一

【審査官】 永田 和彦

(56)【参考文献】

【文献】 特開２００２−１８６３０９（ＪＰ，Ａ）

【文献】 特開２００９−１７４６２（ＪＰ，Ａ）

【文献】 特開２０１０−２００６７４（ＪＰ，Ａ）

【文献】 特開２０１３−２０１９５８（ＪＰ，Ａ）

【文献】 特開平１０−２５３３７２（ＪＰ，Ａ）

【文献】 特開２０１１−１３６６６２（ＪＰ，Ａ）

【文献】 特開２０１３−４５２９８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／０２８８８３４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０５Ｄ １／００−１／１２，

Ａ０１Ｂ ６９／００−６９／０８，

Ｂ６０Ｗ ３０／００−３０／２０，

Ｇ０６Ｔ １／００−１／６０，７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

車両が走行する地面を車両前方の遠景を含んで撮像する撮像部と、
前記撮像部により撮像した撮像画像を処理する画像処理部と、
前記画像処理部の処理結果にもとづいて車両の操舵を制御する操舵制御部と、を備え、
前記画像処理部は、
前記撮像画像の複数の画素値から構成される特徴領域を設定する特徴領域設定部と、
車両走行中に新たに撮像された撮像画像において前記特徴領域の位置情報を導出する特徴領域追跡部と、
前記特徴領域の位置変化量にもとづいて車両の走行距離を算出する走行距離算出部と、
前記撮像画像の複数の画素値から構成され、車両走行の目標となる目標領域を検出する目標領域検出部と、
車両走行中に新たに撮像された撮像画像の前記目標領域の位置情報を導出する目標領域追跡部と、
前記目標領域の位置変化量にもとづいて車両の旋回角を算出する旋回角算出部と、
前記走行距離および前記旋回角にもとづいて車両の旋回半径を推定し、または前記走行距離および前記旋回角にもとづいて車両の推定舵角を推定する旋回状態推定部と、を有する操舵制御装置。

【請求項2】

前記画像処理部は、算出された前記目標領域の位置情報にもとづいて目標舵角を算出する目標舵角算出部と、
前記操舵制御部は、前記目標舵角および前記推定舵角にもとづいて車両の操舵を制御することを特徴とする請求項１に記載の操舵制御装置。

【請求項3】

前記特徴領域設定部は、前記目標領域より実空間上で車両に近い位置に前記特徴領域を設定することを特徴とする請求項１または２に記載の操舵制御装置。

【請求項4】

車両に設けられた撮像部により撮像した撮像画像を処理して車両の旋回状態を推定する旋回状態推定方法であって、
前記撮像画像の複数の画素値から構成される特徴領域を設定するステップと、
前記撮像画像の複数の画素値から構成され、車両走行の目標となる目標領域を検出するステップと、
車両走行中に新たに撮像された撮像画像において前記特徴領域の位置情報および前記目標領域の位置情報を導出するステップと、
前記特徴領域の位置変化量にもとづいて車両の走行距離を算出し、前記目標領域の位置変化量にもとづいて車両の旋回角を算出するステップと、
前記走行距離および前記旋回角にもとづいて車両の旋回半径を推定し、または前記走行距離および前記旋回角にもとづいて車両の推定舵角を推定するステップと、を備えることを特徴とする旋回状態推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の操舵を制御する操舵制御装置および車両の旋回状態を推定する旋回状態推定方法に関する。

【背景技術】

【0002】

農用車両による播種、移植、畝立て、畦塗りおよび資材散布などの作業では、その作業の精度や能率向上のため、また、それ以降の管理や収穫などの作業のために、各行程を直進かつ平行に行うことが重要である。これらの作業は広い圃場で長時間にわたることが多く、やり直すことができない作業もあるため、作業者への肉体的、精神的な負担が大きく、熟練を必要とする。そのため、農用車両を自動的に操舵する技術へのニーズが多い。

【0003】

車両の操舵を制御する技術として、以下に示すような技術がある。例えば特許文献１には、トラクタにＧＰＳ装置や方位センサを設けて、それらの検出結果にもとづいて目標操舵角を算出し、操舵角センサを用いて操舵角を目標操舵角になるよう制御して自動走行させる技術が開示される。

【0004】

特許文献２には、車両に設置されたカメラにより車両の周辺を撮影し、移動中に取得した複数のカメラ画像を処理して車両の移動速度と回転角（操舵角）を推定し、移動速度と回転角にもとづいて車両進行ガイドラインを算出する運転支援システムが開示される。具体的にこの運転支援システムは、３つの時刻で取得したカメラ画像から実空間で同じ特徴点を抽出して、３つの特徴点の位置座標から得られる２つの移動ベクトルを車両の移動軌跡として算出する。そして、カメラ画像を鳥瞰画像に変換し、鳥瞰画像上の２つの移動ベクトルにもとづいて車両の移動速度と回転角を推定することが開示される。

【0005】

特許文献３には、目標地点に設置された目標ランプをカメラで撮像し、撮像画像から目標ランプを検出し、目標ランプに向かって車両を自動的に直進走行させる車両の走行制御装置が開示される。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００２−１８６３０９号公報

【特許文献2】特開２００９−１７４６２号公報

【特許文献3】特開２０１０−２００６７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１の技術では、ＧＰＳ情報等により目標操舵角を算出し、操舵角センサを用いて車両の操舵角を目標操舵角に合わせるように制御するが、圃場などの柔らかい地面では車輪のグリップ力が低下し、操舵角に対して車両の旋回量が不足し、走行制御の精度が低下するおそれがある。

【0008】

特許文献２の技術は、車両周辺を撮影したカメラ画像を用いて２つの移動ベクトルを算出し、２つの移動ベクトルの長さと角度差から車両の旋回半径を推定する方法である。この技術は、駐車時に小さい旋回半径で走行する場合に有効であるが、車両を自動的に直進走行させる際に発生する大きな旋回半径を検出することは困難である

【0009】

本発明はこうした状況に鑑みてなされたものであり、その目的は、車両の旋回状態を精度良く推定することにより、車両の走行制御の精度を高めると同時に、舵角センサを不要化して、装置のコストを低減する技術を提供することにある。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本発明のある態様の操舵制御装置は、車両が走行する地面を車両前方の遠景を含んで撮像する撮像部と、撮像部により撮像した撮像画像を処理する画像処理部と、画像処理部の処理結果にもとづいて車両の操舵を制御する操舵制御部と、を備える。画像処理部は、撮像画像の複数の画素値から構成される特徴領域を設定する特徴領域設定部と、車両走行中に新たに撮像された撮像画像において特徴領域の位置情報を導出する特徴領域追跡部と、特徴領域の位置変化量にもとづいて車両の走行距離を算出する走行距離算出部と、撮像画像の複数の画素値から構成され、車両走行の目標となる目標領域を検出する目標領域検出部と、車両走行中に新たに撮像された撮像画像の目標領域の位置情報を導出する目標領域追跡部と、目標領域の位置変化量にもとづいて車両の旋回角を算出する旋回角算出部と、走行距離および旋回角にもとづいて車両の旋回状態を推定する旋回状態推定部と、を有する。

【0011】

この態様によると、撮像画像を用いて走行距離と旋回角をそれぞれ算出し、それらにもとづいて車両の旋回状態を算出することで、車両の旋回状態を精度良く推定することができる。

【発明の効果】

【0012】

本発明によれば、車両に設けられた撮像部によって撮像した撮像画像から車両の旋回状態を精度良く推定することができ、舵角センサを不要化して装置のコストを低減できる。

【図面の簡単な説明】

【0013】

【図1】圃場における実施形態に係る操舵制御装置を側方から見たときの説明図である。

【図2】圃場における実施形態に係る操舵制御装置を上方から見たときの説明図である。

【図3】実施形態に係るＥＣＵの機能構成を示す図である。

【図4】実施形態に係る画像処理部の機能構成を示す図である。

【図5】撮像画像上の目標領域および特徴領域を説明するための図である。

【図6】図５に示す撮像画像を写真で示す図である。

【図7】時刻ｔ１の撮像画像の目標領域および特徴領域の位置を時刻ｔ２の撮像画像に上書きした時刻ｔ２の撮像画像を示す図である。

【図8】図７に示す撮像画像を写真で示す図である。

【図9】特徴領域の追跡により車両の移動軌跡を算出する方法を説明するための図である。

【図10】旋回する車両の動きを説明するための図である。

【図11】変形例の操舵制御装置の画像処理を説明するための図である。

【図12】図１１に示す撮像画像を写真で示す図である。

【図13】時刻ｔ１の撮像画像の目標領域および特徴領域の位置を時刻ｔ２の撮像画像に上書きした時刻ｔ２の撮像画像を示す図である。

【図14】図１３に示す撮像画像を写真で示す図である。

【発明を実施するための形態】

【0014】

農業用の作業車両によって圃場に畝立てや播種などの作業を行う場合には、作業車両の運転者は、作業車両の後部に備えられる作業機の作業状態を確認するため、後方に振り返りつつ、直進運転をすることを強いられる。農場によっては５００ｍ以上の長さがあり、この距離を直進させるのは運転者の負担が大きい。そこで、実施形態の操舵制御装置は、進行方向を撮像した画像から車両走行の目標となる目標ランプを検出し、その目標ランプに向かって車両を自動的に操舵させることで、運転者の負担を軽減させる。

【0015】

圃場を走行する作業車両は、地面の傾斜や凹凸、土塊などの影響を受けて、車両の向きまたは進行方向の変化や横滑りが頻繁に発生するので、作業車両を元の目標とするラインに戻すために、頻繁に前輪を操舵する必要がある。従来の一般的な操舵制御方法では、まず、車両を戻すために必要な走行軌跡、次に、その走行軌跡を得るための旋回半径、その旋回半径を得るための前輪の操舵角（以下、単に「舵角」という場合がある。）の順に計算し、その舵角を目標舵角として設定する。続いて、舵角センサから現在の舵角を読み取り、舵角が目標舵角となるようにモータ等を駆動しフィードバック制御を行う。このとき、車両の舵角と旋回半径の関係は、地面の硬さなどによって変化する。例えば、硬い舗装路などと比べて、柔らかい地面ではタイヤのグリップ力が低下するため、同じ舵角に対して旋回半径は大きくなる。このため、所望の旋回半径を得るには、地面の硬さなどに応じて舵角を変化させる必要がある。例えば目標とする旋回半径から舵角を計算する際に、地面の柔らかさなどに応じて予め設定した定数を乗算し、操舵量を一定割合で増減させる手法が用いられる。しかし、適切な定数を設定することは難しく、また、圃場内の地面も均一でないため、作業車両の走行軌跡の誤差が拡大する要因となる。そこで実施形態の操舵制御装置は、車両に搭載したカメラによる複数の撮像画像から現在の旋回半径を算出し、これを目標とする旋回半径となるように、舵角を増減される制御方法である。これにより、舵角センサが不要になると共に、旋回半径をフィードバックの制御対象とするため、地面の硬さなどの影響を受け難く、走行軌跡の誤差をより小さくすることが出来る。

【0016】

図１は、圃場における実施形態に係る操舵制御装置２０を側方から見たときの説明図である。図２は、圃場における実施形態に係る操舵制御装置２０を上方から見たときの説明図である。図面の説明において同一の要素には同一の符号を付し、重複する説明を適宜省略する。車両１は、操縦室３、左前輪８ａと右前輪８ｂ（以下、総称する場合は「前輪８」という）、左後輪１０ａと右後輪１０ｂ（以下、総称する場合は「後輪１０」という）を有し、作業機１６が装着される。操舵制御装置２０は、車両１に搭載され、左ブレーキ機構６ａと右ブレーキ機構（不図示）（以下、総称する場合は「ブレーキ機構６」という）、カメラ１１、ＥＣＵ（Electronic control unit）１２、操舵駆動機構１４およびステアリング機構１５を備える。

【0017】

車両１は、農用トラクタや土木用作業車両などの作業車両であってよく、車両１の後方には作業機１６が取り付けられる。作業機１６は、たとえば、圃場４において播種や畝立てなどの作業をする。

【0018】

ステアリング機構１５は、ステアリングホイール（不図示）、ステアリングシャフト（不図示）、およびステアリングシャフトの動きを前輪の動きに変換するギヤ装置（不図示）と、を有する。ステアリング機構１５は、ハンドルとしてのステアリングホイールの回動を前輪８の転舵運動に変換する。ステアリングホイールは、操縦室３内に設けられ、運転者によって回動操作される。ステアリングシャフトは、ステアリングホイールとともに回転するように一端がステアリングホイールに連結されており、ステアリングホイールの回転をギヤ装置に伝達する回転軸として機能する。

【0019】

操舵駆動機構１４は、モータを駆動し、ステアリング機構１５に転舵力を与える。操舵駆動機構１４はＥＣＵ１２に接続されている。なお、操舵駆動機構１４は、液圧式であってよく、液圧ポンプを駆動して、ステアリング機構１５に転舵力を与えてよい。

【0020】

ブレーキ機構６は、運転者のブレーキペダル（不図示）の操作量に応じて後輪１０に制動力を与える。ブレーキペダルは、左後輪用ブレーキペダルと右後輪用ブレーキペダルを有する。運転者が各ブレーキペダルを操作することで、左後輪１０ａと右後輪１０ｂに対して個別に制動力を与えることができる。たとえば、車両１を右方向に旋回するとき、運転者が、右後輪用ブレーキペダルを踏み込んで右後輪１０ｂに制動力を与えることで、右後輪１０ｂを軸として車両１を小回りさせることができる。ブレーキ機構６は、ＥＣＵ１２に接続され、ＥＣＵ１２により後輪１０に与える制動力を制御されてよい。なお、車両１の前輪８に、ブレーキ機構は無くてよい。更に、ブレーキ機構６はＥＣＵ１２に接続され、ＥＣＵ１２によって左または右のブレーキ機構６が動作され、車両１を旋回させることができる。

【0021】

目標ランプ２は、発光部２１および発光部２１を収容する筐体２４を備える。発光部２１は、筐体２４の開口から発光する。発光部２１は、発光ダイオード（ＬＥＤ）であってよく、所定の大きさを有し、目標部として機能する。発光部２１は、所定の制御周期で点滅してよい。目標部は、ＥＣＵ１２が既知の大きさであって、カメラ１１によって撮像した画像からＥＣＵ１２にて目標部を認識できるように発光する。

【0022】

操縦室３の上部には、単眼のカメラ１１が配置される。カメラ１１は、撮像部として機能し、車両走行の目標となる目標ランプ２および進行方向の地面を撮像し、前方の遠景と、前方の地面とを撮像する。前方の遠景とは、例えば地平線を含む車両前方の遠景をいう。カメラ１１の向きは車両の正面方向に合わせられる。カメラ１１は、撮像した画像をＥＣＵ１２に出力する。またカメラ１１には傾斜センサが設けられ、撮像時の地面に対する傾斜角として、車両のロール角およびピッチ角をＥＣＵ１２に出力してよい。またカメラ１１はステレオカメラであってよい。

【0023】

図２に示す目標走行ライン２６は、撮像画像に含まれる目標ランプ２の位置と車両１の初期位置との関係で定まる。図２では目標ランプ２が車両走行の目標とする方向の位置に配置されている。車両１の初期位置とは、運転者がＥＣＵ１２に接続された自動操舵開始スイッチ（不図示）をオンしたときの車両１の位置をいい、操舵制御装置２０による操舵制御を開始する位置をいう。運転者による自動操舵開始スイッチのオン／オフにより、操舵制御装置２０による制御が実行／停止される。

【0024】

運転者が自動操舵開始スイッチをオンすると、ＥＣＵ１２は、カメラ１１から撮像画像を受け取り、目標ランプ２が撮像された画像から目標ランプ２の位置を算出し、車両１の初期位置と目標ランプ２の位置とを結ぶラインを目標走行ライン２６として定める。

【0025】

ＥＣＵ１２は、撮像された撮像画像を処理する画像処理手段として機能するとともに、車両１の操舵を制御する操舵制御手段としても機能する。ＥＣＵ１２は、各種演算処理を実行するＣＰＵ、各種制御プログラムを格納するＲＯＭ、データ格納やプログラム実行のためのワークエリアとして利用されるＲＡＭ、エンジン停止時にも記憶内容を保持できるバックアップＲＡＭ等の不揮発性メモリ、入出力インターフェース、各種センサ等から入力されたアナログ信号をデジタル信号に変換して取り込むためのＡ／Ｄコンバータ、計時用のタイマ等を備えるものである。なお、画像処理手段と走行制御手段は、それぞれ画像処理装置と操舵制御装置とする、別のユニットであってよい。

【0026】

図３は、実施形態に係るＥＣＵ１２の機能構成を示す。ＥＣＵ１２は、画像取得部３０、画像処理部３２、記憶部３４および操舵制御部３６を備える。画像取得部３０は、カメラ１１が所定の撮像周期で撮像した撮像画像を取得する。

【0027】

画像処理部３２は、画像取得部３０から受け取った撮像画像を処理する。画像処理部３２は、特開２０１０−２００６７４号公報に記載するように、撮像画像から目標走行ライン２６に対する横偏差と、目標ランプ２に対する車両のヨー角を算出し、算出した横偏差とヨー角にもとづいて目標舵角を算出して、操舵制御部３６に供給する。また、画像処理部３２は、撮像画像から車両の旋回状態を算出して、操舵制御部３６に供給する。記憶部３４には撮像画像の情報が記憶される。

【0028】

ヨー角は、車両１の向きと、目標ランプ２と車両１の位置とを結ぶラインと、にもとづく鋭角である。たとえば、車両１の前後方向が目標ランプ２に対して真っ直ぐ向いていれば、ヨー角をゼロとしてよい。車両１の左右への横偏差がそれぞれプラスとマイナスで算出される場合に、横偏差がゼロである位置が目標走行ライン２６上の位置となる。車両の旋回状態は、車両の走行距離および旋回角にもとづく状態量であり、例えば車両の旋回半径または推定舵角であってよい。推定舵角は、撮像画像から算出した車両の旋回状態を示す状態量であって、目標舵角と比較するため舵角として換算した数値である。画像処理部３２は、車両の旋回状態として推定舵角を操舵制御部３６に供給する。

【0029】

目標舵角は、目標位置に向かう目標走行ライン２６上を車両が走行するように算出される。たとえば、操舵制御部３６は、目標ランプ２に対するヨー角がゼロであり車両１の進行方向が目標ランプ２に真っ直ぐ向いている場合であっても、横偏差にもとづいて横偏差を小さくするように前輪８を操舵する。

【0030】

操舵制御部３６は、操舵駆動機構１４を駆動して前輪８の舵角を制御する。操舵制御部３６は、画像処理部３２から受け取った目標舵角と推定舵角とにもとづいて車両１を走行するように制御する。操舵制御部３６は、目標舵角から推定舵角を減算して舵角修正量を算出し、舵角修正量に応じたモータの駆動量を操舵駆動機構１４に送出する。例えば圃場の地面が想定以上に軟弱なために、目標舵角で操舵制御を行っても車両の旋回量が不足するような場合には、推定舵角は目標舵角より低い値が算出され、舵角修正量が生成されて追加の操舵制御が行われることで所望の旋回量を得ることができる。

【0031】

実施形態の操舵制御装置２０を既存の作業車両に取り付ける場合、一般のユーザがステアリング機構１５のステアリングシャフトなどに舵角センサを取り付けることは難しい。そこで、例えば舵角センサを取付容易な前輪８に取り付けてもよいが、泥などにより耐久性が低くなるという問題がある。操舵制御装置２０は、圃場の凹凸により前輪８が転舵されても、画像処理結果によって舵角を修正し、舵角センサを用いずとも精度良く操舵を制御でき、コストを抑えることができる。

【0032】

図４は、実施形態に係る画像処理部３２の機能構成を示す。画像処理部３２は、目標領域検出部４０、目標舵角算出部４２、目標領域追跡部４４、旋回角算出部４６、特徴領域設定部４８、特徴領域追跡部５０、走行距離算出部５２および旋回状態推定部５４を有する。

【0033】

目標領域検出部４０は、画像取得部３０から受け取った撮像画像における画像上の発光部２１（以下、「目標領域」という）を検出する。具体的には、目標領域検出部４０は、所定の閾値以上の輝度を示す画素の集合を目標ランプ２として検出し、それらの画素の集合を含む領域を目標領域として検出する。目標領域検出部４０において、点滅する発光部２１を撮像した撮像画像を受け取り、点灯した発光部２１の撮像画像と消灯した発光部２１の撮像画像の輝度を比較し、所定の輝度差以上の画素の集合を目標ランプ２として判定してよく、所定の輝度差以上の画素の集合が所定の面積および所定のアスペクト比を満たせば、目標ランプ２であると判定してよい。さらに、点滅する発光部２１の撮像画像を受け取り、目標領域検出部４０が検出した目標領域において、発光部２１の点滅の周期に応じた輝度の時間的変化を満たすかどうか判定し、目標領域の検出が妥当であるかどうか判定してよい。

【0034】

目標領域検出部４０は、撮像画像と、検出した目標領域の位置情報を記憶部３４に記憶させる。目標領域検出部４０は、目標舵角算出部４２および目標領域追跡部４４に目標領域の位置情報を供給する。なお、位置情報は、実空間の距離に対応する仮想２次元空間または仮想３次元空間の座標であってよい。また、位置情報は、撮像画像の画素を単位とする仮想２次元空間の座標であってよく、撮像画像上の所定の位置を基準とした座標であってよい。

【0035】

目標舵角算出部４２は、目標領域検出部４０から目標領域の位置情報を受け取り、車両１の向きと目標領域の位置から目標ランプ２に対する車両１のヨー角を算出する。車両１の向きは、あらかじめ設定されたカメラ１１の撮像方向であってよく、たとえば撮像画像の中心位置を通る縦方向のベクトルであってよい。また、目標舵角算出部４２は、撮像画像から目標走行ライン２６からの横偏差を算出する。目標舵角算出部４２は、算出したヨー角および横偏差にもとづいて目標走行ライン２６上に目標位置を設定し、車両１が目標位置に直進するように目標舵角を算出する。

【0036】

目標領域追跡部４４は、車両走行中に新たに撮像された撮像画像から目標領域を検出し、目標領域の位置情報を導出する。目標領域追跡部４４は、新たに撮像された撮像画像の目標領域の位置情報を記憶部３４に記憶させる。

【0037】

旋回角算出部４６は、過去の目標領域の位置情報と新たに算出した目標領域の位置情報から、撮像画像上の横座標の位置変化量を算出し、その位置変化量にもとづいて車両の旋回角を算出する。旋回角算出部４６は、実空間上で遠方にある目標ランプ２の位置変化を用いて車両の旋回角を算出するため、車両の近傍に位置する領域の位置変化を用いる場合と比べて、車両の旋回角を精度良く算出できる。旋回角算出部４６は、算出した旋回角を旋回状態推定部５４に送出する。

【0038】

ここで、凹凸の多い圃場を走行したときは、走行に伴って車体が頻繁に振動する状態で撮像する場合が想定され、算出した目標領域の位置情報には、ノイズ状の細かい変動が含まれる。旋回角算出部４６は、例えば０．１秒間隔で撮像される撮像画像に対し、過去５回分の位置変化量を移動平均処理した値から車両の旋回角を算出する。また、０．１秒毎に算出される位置変化量をフィルター処理によって平滑化してよい。これにより、ノイズ状の細かい振動の影響を抑えることができ、旋回角を精度よく算出できる。

【0039】

特徴領域設定部４８は、画像取得部３０から目標領域検出部４０と並行して、撮像画像を供給される。特徴領域設定部４８は、撮像画像から特徴的な部分画像を検出し、それを撮像画像の複数の画素値から構成される特徴領域として設定する。特徴領域とは、所定の閾値以上の輝度勾配が分布している領域であってよく、大きさが定められたウィンドウ内の部分画像であってよい。

【0040】

特徴領域設定部４８は、目標領域より実空間上で車両に近い位置に特徴領域を設定してよい。つまり、特徴領域設定部４８は、特徴領域が撮像画像上で目標領域より縦方向下側に位置するよう設定する。

【0041】

特徴領域設定部４８は、特徴領域追跡部５０が設定された特徴領域を追跡できなくなった場合に、新たに特徴領域を設定する。特徴領域として検出した領域は、車両１が進行すれば、大きくなり、変形する。そこで、特徴領域の形状は縦方向に短い長方形に定められてよい。特徴領域設定部４８は、設定した特徴領域をテンプレートとして、画素値情報および位置情報を記憶部３４に記憶させる。なお、特徴領域は複数設定されてよい。

【0042】

特徴領域追跡部５０は、新たな撮像画像が撮像される度に、設定された特徴領域のテンプレートと同じような輝度勾配等をもつ領域を探索して追跡する。特徴領域追跡部５０は、テンプレートの位置の周囲の位置座標の範囲を探索する。特徴領域追跡部５０は、テンプレートと新たな撮像画像上のウィンドウで取り出した領域との画素値分布が所定の閾値以上に一致していれば、新たな撮像画像上のウィンドウがテンプレートと実空間上の同じ領域であると判定する。たとえば、特徴領域追跡部５０は、正規化相関法などの手法を用いて、新たな撮像画像上のウィンドウがテンプレートと実空間上の同じ領域であるかどうか判定する。

【0043】

特徴領域追跡部５０は、テンプレートと実空間上の同じ領域であると判定すれば、その新たな撮像画像上のウィンドウの位置情報を走行距離算出部５２に送出する。特徴領域追跡部５０は、テンプレートと実空間上で同じ領域である新たな撮像画像上の領域がなければ、特徴領域設定部４８に新たな特徴領域を設定するよう指令信号を供給する。

【0044】

特徴領域のテンプレートは、同じ領域であると判定されるたびに、その撮像画像上の位置が記憶部３４に記憶され、また、次回の撮像までの間に車両が移動する量を推算し、次回の撮像画像において推定されるテンプレートの位置と、その位置での変位量に応じて特徴領域を拡大、変形して新たなテンプレートを生成し、記憶部３４に記憶する。

【0045】

走行距離算出部５２は、追跡する特徴領域の位置の変化量から車両の走行距離を算出する。ある特徴領域の、前回の処理で追跡した位置と、今回の処理で追跡した位置の変化量を算出し、その位置変化量にもとづいて車両の走行距離を算出する。特徴領域は、車両に近い領域ほど撮像画像上の縦方向の位置変化量が大きくなる。実空間上で目標領域より車両に近い位置で特徴領域の位置変化量を算出することで、走行距離を精度良く算出できる。走行距離算出部５２は、算出した走行距離を旋回状態推定部５４に送出する。

【0046】

旋回状態推定部５４は、算出された走行距離および旋回角にもとづいて車両の旋回状態を推定する。旋回状態推定部５４は、走行距離および旋回角により車両の旋回半径を算出し、旋回半径と車両のホイールベースにもとづいて推定舵角を算出する。

【0047】

操舵制御部３６は、目標舵角と推定舵角にもとづいて操舵を制御する。このように、撮像画像から車両の旋回状態を推定して舵角を修正することで、車両の実際の挙動を操舵に反映し、精度良く操舵制御ができる。撮像画像を参照して画像処理について詳細に説明する。

【0048】

図５は、撮像画像上の目標領域および特徴領域を説明するための図である。図５（ａ）に示す撮像画像６０は車両走行中の時刻ｔ１に撮像され、図５（ｂ）に示す撮像画像６２は時刻ｔ１より後の時刻ｔ２に撮像された画像である。また、図６は、図５に示す撮像画像を写真で示す図である。

【0049】

撮像画像６０および撮像画像６２には、圃場にて車両走行の目標となる目標ランプ２および進行方向の地面が撮像されている。図５（ａ）に示す目標領域６４ａは目標ランプ２を含む領域であり、点滅する発光部２１が点灯した状態であり、図５（ｂ）に示す目標領域６４ｂは発光部２１が消灯した状態である。目標領域６４ａは発光部２１が中央に位置するように設定される。また、発光部２１は点灯と消灯の異なる状態があるため、撮像画像上で追跡するには、目標領域６４ａは目標ランプ２より広く、周囲の風景も含むように設定され、発光部２１の形状に応じて縦方向ｊに長尺の長方形状のウィンドウに設定される。このように、カメラ１１により撮像される撮像画像は、進行方向の少し先の地面だけでなく、進行方向の先の遠景まで含む。

【0050】

図５（ａ）に示す特徴領域６６ａ、特徴領域６８ａ、特徴領域７０ａ、特徴領域７２ａおよび特徴領域７４ａは、目標ランプ２より手前の地面上で、予め設定した閾値以上に明暗の変化が大きい撮像画像上の特徴的な領域に設定され、また、横方向ｉに長尺の長方形状のウィンドウに設定される。図５（ａ）に示す各特徴領域は、縦方向ｊに離れて複数設定される。図５（ｂ）に示す特徴領域６６ｂ、特徴領域６８ｂ、特徴領域７０ｂ、特徴領域７２ｂおよび特徴領域７４ｂは、パターンマッチングによる追跡処理により、特徴領域６６ａ、特徴領域６８ａ、特徴領域７０ａ、特徴領域７２ａおよび特徴領域７４ａのそれぞれと実空間上で同じ領域であると判定された領域である。

【0051】

図７は、時刻ｔ２の撮像画像６２であって、時刻ｔ２の撮像画像６２に時刻ｔ１の撮像画像６０で検出された目標領域および特徴領域の位置を、説明用として重ね書きしたものである。また、図８は、図７に示す撮像画像を写真で示す図である。

【0052】

車両の進行による撮像位置の変化により、時刻ｔ１で撮像された各特徴領域が、時刻ｔ２での撮像画像６２上では下側に移動する。各特徴領域の位置変化量は、最も下側にある特徴領域７４ａと特徴領域７４ｂが最も大きくなる。車両から遠方にある領域ほど、縦方向ｊの位置変化量が小さく、車両に近い領域ほど縦方向ｊの位置変化量が大きくなり、車両に近い領域ほど縦方向ｊの位置変化量を精度良く算出できる。

【0053】

目標領域６４ａと目標領域６４ｂの横方向ｉの位置ずれは、カメラ１１の向き、つまり車両の進行方向が変化したことを示す。撮像画像上での横方向iの変化量は、車両の方向の変化と、車両の前後・左右の移動の両方が影響する。車両から遠い領域ほど、前後・左右の移動の影響は小さくなり、車両の方向の変化を精度よく抽出できるようになる。このように、特徴領域より車両から遠方にある目標領域の位置変化量をもとに旋回角を算出することで、旋回角を精度良く算出できる。

【0054】

図９は、特徴領域の追跡により車両１の移動軌跡を算出する方法を説明するための平面図である。図９（ａ）では、時刻ｔ１での車両１と特徴領域６６ａとの位置関係を示す。特徴領域６６ａは、車両１の中心ライン７６ａの延長線上に設定された状態である。カメラ１１は車両１の中心ライン７６ａ上に設置されるため、撮像画像の中心ラインは、車両１の中心ライン７６ａと一致している。

【0055】

図９（ｂ）では、時刻ｔ２の車両１と特徴領域６６ｂとの位置関係を示す。特徴領域６６ｂは、特徴領域６６ａと実空間上で同じ領域である。時刻ｔ２では、車両１の前進により特徴領域６６ｂは車両１に接近するとともに、撮像画像の中心ライン７６ｂから右側に位置した状態となる。

【0056】

図９（ｃ）に示すように特徴領域６６ｂを、図９（ｃ）の左右中央の位置になるように配置すると、車両１は左方向に少し旋回した状態となる。続いて、特徴領域６６ａと特徴領域６６ｂは実空間上で同じ領域であるので、これを重ね合わせると図９（ｄ）に示すようになり、時刻ｔ１から時刻ｔ２の間での車両１の移動軌跡７８、つまり移動量および旋回量がわかる。このように撮像画像から特徴領域を追跡することで、車両１の移動軌跡を算出できる。また、特徴領域追跡部５０は、図５（ａ）に示すような複数の特徴領域を追跡し、その算出結果を平均化することで、車両１の移動軌跡を精度よく算出できる。

【0057】

走行距離の算出方法を詳細に説明する。撮像画像上での縦座標ｊｂの実空間での車両前後方向の座標Ｚは、下記式（１）により算出され、横座標ｉｂの実空間での横座標Ｘは、下記式（２）により算出される。ここで、実３次元空間でのＸＹＺ座標は次のように設定する。まず、カメラ１１の直下の地面上を原点とし、垂直上向きにＹ座標または高さＨ、車両の前後方向をＺ座標、左右方向をＸ座標とする。
Ｚ＝（ＣＡＨ）／（ＰＷＶ・（ｊｖ−ｊｂ）） ・・・（１）
Ｘ＝Ｚ・ＰＷＨ（ｉｂ−ｉｖ） ・・・（２）
ＣＡＨは地面からカメラまでの高さ、ＰＷＶは１画素の上下方向の視野角のｔａｎ値、ｊｖは撮像画像上での地平線の縦座標、ＰＷＨは１画素の左右方向の視野角のｔａｎ値、ｉｖは撮像画像上の車両の正面方向の横座標である。これにより、撮像画像上の位置を実空間での位置に変換でき、式（１）を用いて撮像画像上の縦方向ｊの位置変化量から、車両の走行距離を算出できる。

【0058】

旋回角の算出方法を詳細に説明する。車両１の旋回角ｄＳは、撮像画像上の目標領域の横方向ｉの位置変化量ｎ１にもとづいて、下記式（３）により算出できる。
ｄＳ＝ｎ１×ＰＷＨ ・・・（３）
次に走行距離と旋回角から推定舵角を算出する方法を詳細に説明する。

【0059】

図１０は、旋回する車両の動きを説明するための図である。図１０では、旋回する車両に設けられた時刻ｔ１でのカメラ１１と時刻ｔ２でのカメラ１１の位置を示す。なお、実際には車両の中央付近にカメラ１１が設けられているが、ここでは説明の簡略化のためカメラ１１が後輪車軸の中央の真上に設定されているものとして、推定舵角の算出方法を説明する。

【0060】

車両が旋回半径Ｒｒで旋回する場合のＺ軸方向の走行距離ｄＺと旋回角ｄＳとの関係は下記式（４）となり、式（４）から旋回半径Ｒｒを算出する下記式（５）が導かれる。
ｄＺ＝Ｒｒ×ｓｉｎ（ｄＳ） ・・・（４）
Ｒｒ＝ｄＺ／ｓｉｎ（ｄＳ） ・・・（５）

【0061】

旋回半径Ｒｒと車両のホイールベースＷｂと舵角Ｓｗの関係は、以下の式（６）を満たす。
ｔａｎ（Ｓｗ）＝Ｗｂ／Ｒｒ ・・・（６）
式（５）と式（６）から下記式（７）が導かれる。
ｔａｎ（Ｓｗ）＝（Ｗｂ／ｄＺ）×ｓｉｎ（ｄＳ） ・・・（７）
式（７）は、旋回角ｄＳ、走行距離ｄＺ、舵角Ｓｗの関係を示し、旋回角ｄＳおよび走行距離ｄＺから舵角Ｓｗが算出される。舵角Ｓｗを推定舵角に置き換えることで推定舵角が算出できる。このように、旋回角ｄＳおよび走行距離ｄＺから舵角を推定でき、車両の旋回状態を推定できる。

【0062】

図１１は、変形例の操舵制御装置２０の画像処理を説明するための図である。図１１（ａ）に示す撮像画像８０は車両走行中の時刻ｔ１に撮像され、図１１（ｂ）に示す撮像画像８２は、時刻ｔ１より後の時刻ｔ２に撮像された画像である。また、図１２は、図１１に示す撮像画像を写真で示す図である。

【0063】

変形例の操舵制御装置２０では目標ランプ２を使用せず、圃場に形成された畝や溝などの凹凸を撮像画像から走行の目標となる目標走行ライン２６として検出し、車両が目標走行ライン２６上を走行するように操舵を制御する。そのため、変形例の操舵制御装置２０は、図５で示した実施形態の操舵制御装置２０と比べて、目標領域および特徴領域の設定方法が異なる。

【0064】

図１１（ａ）に示す車両走行の目標となる目標領域８４は、消失点８５を含む複数の画素値から構成される。また、特徴領域８６ａ、特徴領域８８ａおよび特徴領域９０ａは、横方向ｉに並んで設定される。

【0065】

目標領域検出部４０は、操舵制御を開始時に撮像画像８０から消失点８５を検出し、消失点８５を含む複数の画素値を目標領域８４として設定する。消失点８５の縦座標ｊは水平線８７上にあり、横座標ｉは車両の正面方向の横座標ｉｖに位置する。検出した目標領域８４の画素値および位置情報を記憶部３４に記憶する。目標領域検出部４０は、特徴領域より実空間上で遠方に位置する特徴的な領域であって、操舵制御の開始時に撮像画像の横座標ｉの中央に位置する目標領域として検出してもよい。また、水平線８７の縦座標ｊは、車両１に取り付けた傾斜センサの検出結果にもとづいて、撮像画像上の水平線８７の縦座標ｊを算出してよい。

【0066】

特徴領域設定部４８は、撮像画像８０の複数の画素値から構成される領域を横一列に直線状に複数設定し、特徴領域８６ａ、特徴領域８８ａおよび特徴領域９０ａは横一列に直線状に設定される。特徴領域設定部４８は、横一列の特徴領域に集合に限定されず、上下方向に直線状の特徴領域の集合を複数設定してよい。

【0067】

図１１（ｂ）において、目標領域追跡部４４は、車両走行中に新たに撮像された撮像画像８２から目標領域８８を検出し、目標領域８８の位置情報を導出する。目標領域追跡部４４は、新たな撮像画像８２の目標領域８８の位置情報を記憶部３４に記憶させる。目標領域追跡部４４は、パターンマッチングにより、目標領域８４の画素値と最も一致する撮像画像８２の領域を目標領域８４と、実空間上で同じ領域であると判定する。

【0068】

また、特徴領域追跡部５０は、新たな撮像画像が取得されるたびに、特徴領域８６ａ、特徴領域８８ａおよび特徴領域９０ａのそれぞれの画素値と最も一致する領域を実空間上で同じ領域であると判定して、特徴領域８６ｂ、特徴領域８８ｂおよび特徴領域９０ｂを導出する。

【0069】

図１１（ａ）に示す横一列の直線状に設定した各特徴領域が、図１１（ｂ）では、縦方向ｊにずれている。これは、地面の凹凸によりカメラ１１と各特徴領域との実空間の間隔が異なるためである。特徴領域８６ｂ、特徴領域８８ｂおよび特徴領域９０ｂのうち、溝の底に設定された特徴領域８８ｂが実空間で最もカメラ１１から離れているためである。変形例の操舵制御装置２０は、特徴領域８６ｂ、特徴領域８８ｂおよび特徴領域９０ｂの縦方向ｊの位置変化により地面の凹凸（畝や溝）を検出することができ、畝や溝に沿って車両が走行するように操舵を制御する。

【0070】

図１３は、時刻ｔ２の撮像画像であって、時刻ｔ１の撮像画像８０の目標領域および特徴領域を、時刻ｔ２の撮像画像８２に説明用として重ね書きしたものである。時刻ｔ２の撮像画像８２に上書きした撮像画像８０の目標領域および特徴領域は、撮像画像８０上での位置情報である。また、図１４は、図１３に示す撮像画像を写真で示す図である。

【0071】

時刻ｔ１の目標領域８４ａの位置と時刻ｔ２の目標領域８４ｂの位置が移動しており、時刻ｔ１の特徴領域８６ａ、８８ａ、９０ａと、時刻ｔ２の特徴領域８６ｂ、８８ｂ、９０ｂとの位置が移動している。

【0072】

旋回角算出部４６は、時刻ｔ１の目標領域８４ａと時刻ｔ２の目標領域８４ｂの横座標の位置変化量を算出し、その位置変化量にもとづいて車両の旋回角を算出する。

【0073】

走行距離算出部５２は、時刻ｔ１の特徴領域８６ａ、８８ａ、９０ａと、時刻ｔ２の特徴領域８６ｂ、８８ｂ、９０ｂとのそれぞれの縦座標の位置変化量を算出し、それらの位置変化量を平均化し、平均化して位置変化量にもとづいて車両の走行距離を算出する。

【0074】

旋回状態推定部５４は、旋回角と走行距離から推定舵角を算出し、車両の旋回状態を推定する。操舵制御部３６は、推定舵角を目標舵角に反映して操舵を制御する。このように変形例の操舵制御装置２０においては、目標ランプ２を用いることなく操舵を制御でき、コストを抑えることができる。

【0075】

以上、本発明について実施例をもとに説明した。この実施例は例示であり、それらの各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0076】

実施形態では、スイッチを押せば操舵制御装置２０が車両を自動で走行させる制御、つまり操舵量および走行を制御する態様を示したが、この態様に限られない。操舵制御装置２０が車両１の操舵量を制御して、運転者がアクセルペダルなどで車両進行を制御してもよい。

【0077】

実施形態では、傾斜センサの検出結果にもとづいて撮像画像を補正する態様も示したが、この態様に限られない。画像処理部３２は、撮像画像から水平線を検出してもよい。画像処理部３２は、撮像画像上で直線状に輝度差を持つ境界線で、横軸に対する傾斜角が所定の範囲内にある画素値の集合を水平線として検出する。画像処理部３２は、地平線が横軸と平行になるように撮像画像を回転させる補正をしてよい。

【符号の説明】

【0078】

１ 車両、 ２ 目標ランプ、 ３ 操縦室、 ４ 圃場、 ６ ブレーキ機構、 ８ 前輪、 １０ 後輪、 １１ カメラ、 １２ ＥＣＵ、 １４ 操舵駆動機構、 １５ ステアリング機構、 １６ 作業機、 ２０ 操舵制御装置、 ２１ 発光部、 ２６ 目標走行ライン、 ３０ 画像取得部、 ３２ 画像処理部、 ３４ 記憶部、 ３６ 操舵制御部、 ４０ 目標領域検出部、 ４２ 目標舵角算出部、 ４４ 目標領域追跡部、 ４６ 旋回角算出部、 ４８ 特徴領域設定部、 ５０ 特徴領域追跡部、 ５２ 走行距離算出部、 ５４ 旋回状態推定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】