(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023150357
(43)【公開日】2023-10-16
(54)【発明の名称】作業車両
(51)【国際特許分類】
A01B 69/00 20060101AFI20231005BHJP
B62D 6/00 20060101ALI20231005BHJP
G05D 1/02 20200101ALI20231005BHJP
【FI】
A01B69/00 303M
B62D6/00
G05D1/02 W
G05D1/02 N
A01B69/00 303F
【審査請求】未請求
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2022059442
(22)【出願日】2022-03-31
(71)【出願人】
【識別番号】000001878
【氏名又は名称】三菱マヒンドラ農機株式会社
(74)【代理人】
【識別番号】110003133
【氏名又は名称】弁理士法人近島国際特許事務所
(72)【発明者】
【氏名】内山 直人
(72)【発明者】
【氏名】石川 昌範
(72)【発明者】
【氏名】佐々木 勇介
(72)【発明者】
【氏名】森岡 成貴
(72)【発明者】
【氏名】坂本 俊平
【テーマコード(参考)】
2B043
3D232
5H301
【Fターム(参考)】
2B043AA04
2B043AB16
2B043BA02
2B043BA09
2B043BB01
2B043BB03
2B043EA06
2B043EB08
2B043EB18
2B043EC12
2B043EC13
2B043EC15
2B043EC16
2B043ED12
3D232CC20
3D232DA03
3D232DA74
3D232DA76
3D232EC22
3D232GG12
5H301AA03
5H301BB01
5H301CC03
5H301CC06
5H301CC08
5H301CC09
5H301CC10
5H301DD01
5H301DD06
5H301DD07
5H301DD15
5H301FF11
5H301GG08
5H301GG17
5H301HH01
5H301HH02
5H301HH11
5H301HH13
5H301HH15
5H301HH18
(57)【要約】
【課題】傾斜した圃場においても安定して操舵制御を継続可能とする作業車両を提供する。
【解決手段】作業車両(1)は、傾斜した圃場を走行可能な走行機体(4)と、前記走行機体(4)に設けられ、前記走行機体(4)の前方を撮像可能な撮像部(15)と、前記撮像部の姿勢を調整する調整機構(35)と、前記走行機体を操舵する操舵部と、前記調整機構及び前記操舵部を制御可能な制御部(50)と、を備える。前記制御部(50)は、前記撮像部(15)の画角内に固定された基準点の位置と、前記撮像部(15)から得られた撮像画像から検出される目標点の位置とに基づいて、前記操舵部を制御する第1の制御と、前記第1の制御において前記基準点の位置と前記目標点の位置との差分が閾値以上の場合には、前記目標点が前記基準点に近づくように前記調整機構(35)を制御する第2の制御とを実行可能である。
【選択図】
図2
【特許請求の範囲】
【請求項1】
傾斜した圃場を走行可能な走行機体と、
前記走行機体に設けられ、前記走行機体の前方を撮像可能な撮像部と、
前記撮像部の姿勢を調整する調整機構と、
前記走行機体を操舵する操舵部と、
前記調整機構及び前記操舵部を制御可能な制御部と、を備え、
前記制御部は、
前記撮像部の画角内に固定された基準点の位置と、前記撮像部から得られた撮像画像から検出される目標点の位置とに基づいて、前記操舵部を制御する第1の制御と、
前記第1の制御において前記基準点の位置と前記目標点の位置との差分が閾値以上の場合には、前記目標点が前記基準点に近づくように前記調整機構を制御する第2の制御とを実行可能である、
ことを特徴とする作業車両。
【請求項2】
前記制御部は、前記走行機体が旋回したことに基づいて前記第1の制御を解除すると共に前記撮像部の姿勢が所定姿勢に復帰するように前記調整機構を制御する、
ことを特徴とする請求項1に記載の作業車両。
【請求項3】
前記撮像部の姿勢に関する複数の姿勢データを記憶可能な記憶部を更に備え、
前記制御部は、前記複数の姿勢データの中でオペレータに選択された姿勢データに基づき、前記調整機構を制御する、
ことを特徴とする請求項1又は2に記載の作業車両。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、トラクタ等の作業車両に関する。
【背景技術】
【0002】
従来、例えば特許文献1、2に開示されているように、カメラの撮像によって得られた撮像画像を用いて走行機体を操舵制御する技術が知られている。具体的には、撮像画像を用いて、特徴となる物体や圃場に形成された溝などの目標地点を設定し、走行機体が目標地点に向かうよう撮像画像から検出した目標点の位置に基づいて走行機体を操舵制御するように構成されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2016-146061号公報
【特許文献2】特開2017-211893号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、走行機体を走行させる圃場が傾斜している場合、カメラの画角から目標地点が外れる、即ち撮像画像から目標点を見失うことがあった。カメラの画角から目標地点が外れる要因として、圃場における走行機体の走行位置によって圃場の傾斜方向や傾斜角度が変化したり、圃場の傾斜によって走行機体が横滑りしたり、圃場の傾斜によって横滑りした走行機体を操舵制御することで走行機体の姿勢が変化したりするなどが例に挙げられる。このように、撮像画像から目標点を検出することができなかった場合、操舵制御を解除する、即ちオペレータが手動で走行機体の操舵部を操作する必要があった。
【0005】
本発明は、傾斜した圃場においても安定して操舵制御を継続可能とする作業車両を提供することを目的とするものである。
【課題を解決するための手段】
【0006】
本発明の作業車両(1)は、傾斜した圃場を走行可能な走行機体(4)と、
前記走行機体(4)に設けられ、前記走行機体(4)の前方を撮像可能な撮像部(15)と、
前記撮像部(15)の姿勢を調整する調整機構(35)と、
前記走行機体(4)を操舵する操舵部(25)と、
前記調整機構(35)及び前記操舵部(25)を制御可能な制御部(50)と、を備え、
前記制御部(50)は、
前記撮像部(15)の画角内に固定された基準点(P0)の位置(vi)と、前記撮像部(15)から得られた撮像画像から検出される目標点(P1)の位置(ti)とに基づいて、前記操舵部(25)を制御する第1の制御と、
前記第1の制御において前記基準点(P0)の位置(vi,vj)と前記目標点(P1)の位置(ti,tj)との差分が閾値以上の場合には、前記目標点(P1)が前記基準点(P0)に近づくように前記調整機構(35)を制御する第2の制御とを実行可能である。
【0007】
例えば、
図2(a)、
図2(b)、及び
図7を参照し、前記制御部(50)は、前記走行機体(4)が旋回したことに基づいて前記第1の制御を解除すると共に前記撮像部(15)の姿勢が所定姿勢に復帰するように前記調整機構(35)を制御する。
【0008】
また例えば、
図2(b)、
図3、
図8及び
図9を参照し、前記撮像部(15)の姿勢に関する複数の姿勢データを記憶可能な記憶部(43)を更に備え、
前記制御部(50)は、前記複数の姿勢データの中でオペレータに選択された姿勢データに基づき、前記調整機構(35)を制御する。
【0009】
なお、上述カッコ内の符号は、図面と対照するためのものであるが、何ら本発明の構成を限定するものではない。
【発明の効果】
【0010】
請求項1に係る本発明によると、傾斜した圃場においても安定して操舵制御を継続可能となり、安定した作業が実現される。
【0011】
請求項2に係る本発明によると、走行機体の旋回時に撮像部が所定姿勢に復帰され、安定した作業が実現される。
【0012】
請求項3に係る発明によると、撮像部の姿勢をオペレータの選択に応じた姿勢に調整することができ、安定した作業が実現される。
【図面の簡単な説明】
【0013】
【
図1】実施の形態に係る作業車両の一例であるトラクタの側面図。
【
図2】(a)は実施の形態に係るトラクタを後方から見た斜視図、(b)は実施の形態に係るトラクタの一部の斜視図。
【
図3】実施の形態に係るトラクタの制御系の要部のブロック図。
【
図4】(a)及び(b)は実施の形態に係る撮像画像を示す説明図。
【
図5】(a)及び(b)は実施の形態に係る撮像画像を示す説明図。
【発明を実施するための形態】
【0014】
以下、図面に沿って、本発明の実施の形態について説明する。
図1は、実施の形態に係る作業車両の一例であるトラクタ1の側面図である。
図2(a)は、
図1のトラクタ1を後方から見た斜視図である。
図2(b)は、カメラユニット15を含むトラクタ1の一部分をトラクタ1の前方から見た部分斜視図である。
【0015】
トラクタ1は、左右一対の前輪2及び後輪3を有する走行機体4と、走行機体4に取り付けられたカメラユニット15と、を備える。走行機体4の後方には、作業機(図示せず)が昇降リンク5を介して昇降可能に連結される。走行機体4は、圃場や道路を走行可能に構成されている。走行機体4は、前輪2及び後輪3に支持された機体フレーム7と、該機体フレーム7の前部に設置されたエンジン(図示せず)の上面をカバーするボンネット8と、該ボンネット8の後方に設置され、オペレータが乗込んで操縦等を行う操縦部9が設けられたキャビン10と、を備える。エンジンは、変速機構(図示せず)を介して前輪2及び後輪3を駆動すると共に、PTO軸(図示せず)を介して作業機に駆動力を供給している。作業機は、圃場において播種や畝立てなどの作業をするのに用いられるものであり、例えばロータリ耕耘機である。
【0016】
上記操縦部9は、オペレータが着座する座席11と、該座席11の前方に配置されたステアリングハンドル12及び上下方向に延設されたステアリングシャフト21を含む操舵部25と、を備える。操舵部25は、オペレータ又は駆動ユニット20が走行機体4を操舵するためのものである。
【0017】
また、上記操縦部9は、該ステアリングハンドル12の前方に配置された表示パネル13と、ステアリングハンドル12の左側方に配置された前後進切換えレバー14と、ステアリングハンドル12の右側方に配置されたスロットルレバー(図示せず)と、該スロットルレバーの手前に配置されて上記作業機の昇降作動を操作する昇降レバー(図示せず)と、該スロットルレバーの奥側に配置された方向指示器レバー16と、座席11とステアリングハンドル12の間に設けられた床面であるフロアステップ18と、座席11の右側方に配置された操作盤(図示せず)と、を備える。
【0018】
キャビン10は、一対のフロントフレーム10aと、一対のリアフレーム10bと、これらフレーム10a,10bに支持された天井10cと、を有し、その内側に操縦部9が形成されている。
【0019】
ステアリングハンドル12の回転軸とステアリングシャフト21の上端との間には、ステアリングシャフト21を回転駆動して走行機体4の操舵を制御(アシスト)する駆動ユニット20が設けられている。該駆動ユニット20は、ステアリングシャフト21の上端側に装着されるとともに、該ステアリングシャフト21を覆うステアリングコラム22の上部側とに取り付け固定されている。これにより、ステアリングシャフト21は、ステアリングハンドル12を介してオペレータによって軸回転操作(操向操作)されるとともに、駆動ユニット20によって軸回転駆動されることによって操向操作が制御(アシスト)可能に構成されている。トラクタ1は、駆動ユニット20のケース上に配置された操作パネル27と、駆動ユニット20のケース内に配置された操舵側制御モジュール200と、を備える。操舵側制御モジュール200は、操舵部25を制御可能に構成されている。
【0020】
カメラユニット15は、撮像部の一例である。カメラユニット15は、例えば単眼のデジタルカメラである。カメラユニット15は、キャビン10の天井10cの前部フレーム10dに設けられている。カメラユニット15は、走行機体4の前方の風景を撮像可能である。本実施の形態において、走行機体4が圃場を走行中であれば、カメラユニット15の画角に収まる走行機体4の前方の風景には、圃場(地面)及び遠景が含まれる。即ち、走行機体4が圃場を走行中、カメラユニット15は、走行機体4の前方の圃場及び遠景を撮像可能である。
【0021】
カメラユニット15は、前部フレーム10dに固定された調整機構35によって走行機体4に対する姿勢が調整される。調整機構35は、カメラ駆動モータ32及びカメラ駆動モータ33を有する。カメラ駆動モータ32及びカメラ駆動モータ33は、電動モータであり、例えばステッピングモータである。
【0022】
カメラ駆動モータ32は、Z軸まわりのヨー方向θyawにカメラユニット15を調整可能なモータである。Z軸は、地面に対して垂直な、走行機体4の上下方向に延びる仮想的な軸線である。カメラ駆動モータ33は、Y軸まわりのピッチ方向θpitchにカメラユニット15を調整可能なモータである。Y軸は、地面に対して水平な、走行機体4の左右方向に延びる仮想的な軸線である。
【0023】
トラクタ1は、カメラユニット15のケース内に配置されたカメラ側制御モジュール100を備える。カメラ側制御モジュール100は、カメラユニット15の撮像制御、カメラユニット15から取得した撮像画像の画像処理、画像処理に基づいた操舵角の制御量を示す指令を生成する制御、調整機構35の駆動制御などを実行可能に構成されている。即ち、カメラ側制御モジュール100は、調整機構35を制御することによりカメラユニット15の姿勢を制御可能である。また、操舵側制御モジュール200は、カメラ側制御モジュール100から取得した操舵角の制御量を示す指令に基づいて、操舵部25を制御可能である。
【0024】
図3は、実施の形態に係るトラクタ1の制御系の要部のブロック図である。本実施の形態では、カメラ側制御モジュール100及び操舵側制御モジュール200によって制御部50が構成されている。よって、制御部50は、カメラユニット15、調整機構35及び操舵部25を制御可能である。
【0025】
カメラ側制御モジュール100及び操舵側制御モジュール200は、それぞれ例えばマイクロコンピュータなどのコンピュータにより構成され、それぞれ不図示のCPU、ROM、RAM及びI/O等を有する。カメラ側制御モジュール100及び操舵側制御モジュール200は、不図示のECUとは別のコンピュータで構成されている。ECUは、走行機体4及び作業機を制御するユニットである。
図1に示す駆動ユニット20は、操舵角センサ30、操作スイッチ31及びステアリング用モータ39を備える。
【0026】
カメラ側制御モジュール100の入力側には、カメラユニット15が接続され、カメラ側制御モジュール100の出力側には、カメラ駆動モータ32,33が接続されている。操舵側制御モジュール200の入力側には、操舵角センサ30及び操作スイッチ31が接続され、操舵側制御モジュール200の出力側には、ステアリング用モータ39が接続されている。
【0027】
カメラユニット15は、カメラ側制御モジュール100の指令により風景を撮像して撮像画像(データ)を生成し、該撮像画像をカメラ側制御モジュール100に出力する。
【0028】
操舵角センサ30は、前輪2の操舵角を検出するデバイスである。ステアリング用モータ39は、ステアリングシャフト21を軸回転させる電動モータであり、例えばステッピングモータである。ステアリング用モータ39は、操舵側制御モジュール200によって制御される。該ステアリング用モータ39のモータ出力軸には、ギヤ減速する減速機構(図示せず)が設けられている。前記ステアリング用モータ39による回転出力は、減速機構によって減速されて、ステアリングシャフト21へと伝動される。
【0029】
制御部50は、手動操舵モードと自動操舵モードとを有し、いずれか一方を選択的に実行可能に構成されている。手動操舵モードは、オペレータが走行機体4の操舵部25を操舵するモードである。自動操舵モードは、制御部50が走行機体4の操舵部25を制御するモードである。
【0030】
操作スイッチ31は、オペレータが操作可能なスイッチであり、例えば
図2(a)の操作パネル27に配置されている。制御部50は、操作スイッチ31の操作により手動操舵モードと自動操舵モードとを切り替え可能に構成されている。操作スイッチ31は、不図示のLEDを有し、オン状態でLEDを点灯させ、オフ状態でLEDを消灯させる。操作スイッチ31のオン状態は自動操舵モードに対応し、操作スイッチ31のオフ状態は手動操舵モードに対応する。
【0031】
カメラ側制御モジュール100には通信部41が接続され、操舵側制御モジュール200には通信部42が接続されている。また、カメラ側制御モジュール100には、記憶部43が接続されている。記憶部43は、データを記憶可能なストレージである。
【0032】
携帯情報端末300は、コンピュータ端末であり、例えばタブレットPC、又はスマートフォンである。携帯情報端末300は、CPU等で構成された、携帯情報端末全体を制御する制御部301、通信部302、及びディスプレイ303を有する。ディスプレイ303は、画像を表示可能なデバイスである。本実施の形態では、ディスプレイ303は、タッチパネルディスプレイであり、入力部としても機能する。
【0033】
カメラ側制御モジュール100、操舵側制御モジュール200、及び携帯情報端末300の制御部301は、通信部41,42,302を介して無線又は有線により相互にデータ通信可能となっている。
【0034】
以下、カメラ側制御モジュール100及び操舵側制御モジュール200による制御処理について説明する。操舵側制御モジュール200は、操作スイッチ31がオン状態かオフ状態かを判断する。圃場においてトラクタ1により作業を行う際には、オペレータにより操作スイッチ31がオン状態にされる。なお、オペレータは、自動操舵モードに切り替える前に手動操舵モードにおいて、目標とする方向に予め走行機体4を向けておき、その状態で操作スイッチ31をオン状態に操作して自動操舵モードに切り替える。
【0035】
操作スイッチ31がオン状態である場合、カメラ側制御モジュール100及び操舵側制御モジュール200は、自動操舵モードに応じた操舵制御を実行する。自動操舵モードには、2つの操舵制御モード、例えば遠景直進モード及びV溝追従モードが含まれる。オペレータにより操作パネル27(
図2(a))の不図示のボタンが押下されることにより、2つの操舵制御モードのいずれかが選択される。遠景直進モードでは、カメラユニット15が前方を撮像した撮像画像を用いて遠方にある目印となる目標地点を設定し、目標地点に向かうように走行機体4を走行させるモードである。V溝追従モードは、カメラユニット15が前方を撮像した画像を用いて圃場に形成されたV字形状の溝(V溝)のラインを検出し、ライン上に目標地点を設定して、目標地点に向かうように走行機体4を走行させるモードである。V溝のラインは、現行程の1つ前の行程において圃場に形成したマーカーである。つまり、トラクタ1は、前行程において形成したV溝に沿って走行して現行程の作業をしながら、次の行程に使用するV溝のラインを圃場に形成する。
【0036】
なお、カメラ側制御モジュール100及び操舵側制御モジュール200は、自動操舵モードに対応した操舵制御を実行中にオペレータに操作スイッチ31が再度操作された場合、操作スイッチ31がオフ状態となって操舵制御、即ち自動操舵モードを解除し、手動操舵モードに移行するようにする。また、操舵側制御モジュール200は、自動操舵モードに対応した操舵制御を実行中にオペレータにステアリングハンドル12が回転操作された場合、即ち走行機体4の旋回を検知した場合、自動操舵モードを解除して、自動操舵モードから手動操舵モードに移行するようにする。その際、操作スイッチ31はオフ状態とされる。
【0037】
まず、遠景直進モードに設定された場合の制御動作について詳細に説明する。カメラ側制御モジュール100は、カメラユニット15から撮像画像(データ)を所定の時間間隔で取得する。
図4(a)は、操舵制御を開始して最初に取得された撮像画像500の説明図である。
図4(b)は、操舵制御を開始してからある時間が経過して取得された撮像画像501の説明図である。
【0038】
撮像画像500,501中、横軸をI軸、縦軸をJ軸とし、単位は画素(ピクセル)である。撮像画像中、左下の画素を原点とする。撮像画像500,501においてI軸方向の中心の位置(座標値)をviとする。初期設定では、カメラユニット15は、走行機体4の正面方向(進行方向)を向いている。この設定姿勢(所定姿勢)に対応する姿勢データは、予め記憶部43に記憶されており、カメラ側制御モジュール100は、記憶部43から読み出した姿勢データに基づいてカメラユニット15が設定姿勢(所定姿勢)となるように調整機構35を制御する。このとき、カメラユニット15の左右方向の中心、即ち撮像画像のI軸方向の中心は、走行機体4の左右方向の中心である。
【0039】
カメラ側制御モジュール100は、撮像画像500内に目標領域R0を設定する。目標領域R0の情報は、記憶部43に記憶される。目標領域R0は、複数の画素値から構成される所定サイズの矩形領域である。遠景直進モードにおける目標領域R0の中心点は、実空間における目標地点に対応する。目標地点とは、走行機体4が圃場で直線的な作業を行う場合において、作業行程の圃場の遠方側の終端の地点をいう。
【0040】
目標領域R0の設定について具体例を示す。位置viを通過するJ軸方向に延びる垂直線は、走行機体4に走行させる目標のライン(目標走行ライン)に対応する。カメラ側制御モジュール100は、撮像画像500において、位置viを通過するJ軸方向に延びる垂直線上における特徴点、例えば地平線と垂直線とが交差する点が目標領域R0の中心点となるように目標領域R0を設定する。なお、この目標領域R0の位置やサイズは、オペレータによって調整可能としてもよい。
【0041】
目標領域R0の中心点のI軸方向の位置(座標値)をvi、J軸方向の位置(座標値)をvjとする。この座標値(vi,vj)の点を基準点P0とする。基準点P0は、新たな撮像画像が取得されてもリセットされるまで変わらない、カメラユニット15の画角内に固定された定点である。カメラ側制御モジュール100は、操作スイッチ31がオペレータに操作されて操舵制御を開始する都度、目標領域R0、即ち基準点P0の設定を行う。
【0042】
カメラ側制御モジュール100は、目標領域R0に基づいてテンプレート画像を生成する。テンプレート画像は、目標領域R0の画像そのものであってもよく、また目標領域R0の画像に加工を施した画像、例えば目標領域R0の画像を拡大加工した画像であってもよい。テンプレート画像は、記憶部43に記憶される。新たな撮像画像501を取得する度に、カメラ側制御モジュール100は、取得した撮像画像501と記憶部43に記憶させておいたテンプレート画像とのテンプレートマッチングにより、テンプレート画像と類似する領域(以下、検出領域)R1を撮像画像501の中から検出する。テンプレート画像と類似する領域は、例えばテンプレート画像との類似度が所定値以上であって最も高い類似度の領域である。検出領域R1のI軸方向及びJ軸方向の中心点を目標点P1とする。遠景直進モードにおいては、目標点P1は、I軸方向の位置情報と、J軸方向の位置情報とを含む。目標点P1のI軸方向の位置(座標値)をtiとする。また、目標点P1のJ軸方向の位置(座標値)をtjとする。
【0043】
カメラ側制御モジュール100は、以上のようにして検出した目標点P1の位置tiと、基準点P0の位置viとの差分に基づき、目標地点の方向に対する走行機体4のヨー角を求める。カメラ側制御モジュール100は、求めたヨー角を用いて所定の演算を行い、その演算値、又はその演算値を補正値で補正した値(例えば演算値に補正値を加えた値)を、操舵角の制御量とする。
【0044】
カメラ側制御モジュール100は、操舵側制御モジュール200に、操舵角の制御量のデータを指令として出力する。操舵側制御モジュール200は、カメラ側制御モジュール100から得らえた操舵角の制御量に基づいて操舵部25を制御する。これにより、走行機体4は前方の目標地点に向かって走行するように操舵制御される。
【0045】
圃場が傾斜地であった場合、走行機体4が傾斜に沿って横滑りすることがある。このため、本実施の形態では、カメラ側制御モジュール100は、互いに異なるタイミングにおいて撮像された複数の撮像画像の画像解析により、目標走行ラインに対する走行機体4の横ずれ量を求め、横ずれ量に応じた補正値を求める。そして、カメラ側制御モジュール100は、該補正値で前記演算値を補正して操舵角の制御量を求め、この操舵角の制御量を、操舵側制御モジュール200に出力する。
【0046】
以下、目標走行ラインに対する走行機体4の横ずれ量を求める方法の一例について簡単に説明する。カメラ側制御モジュール100は、撮像画像500において、圃場に対応する部分に、I軸方向に並んだ複数の基準領域511からなる領域群510を設定する。複数の基準領域511は、互いに部分的に重なっていてもよい。そして、カメラ側制御モジュール100は、新たな撮像画像を取得する度に、新たな撮像画像において、領域群510の基準領域511をテンプレート画像とし、撮像画像とテンプレート画像とのテンプレートマッチングにより、領域群510の基準領域511を追跡する。なお、この新たな撮像画像においても、新たに複数の基準領域511からなる領域群510を設定し、新たな領域群510の基準領域511についても、次の撮像画像において追跡に用いるテンプレート画像とする。
図4(b)には、このような追跡処理によって得られた4つの領域群520が一例として図示されている。走行機体4が前進するため、新たな撮像画像501において、領域群520は、領域群510よりJ軸方向の下側に検出される。
【0047】
カメラ側制御モジュール100は、1つの領域群520または複数の領域群520に基づいて走行機体4の横ずれ量を求め、この横ずれ量に基づいて補正値を算出し、該補正値で前記演算値を補正して操舵角の制御量を求め、この操舵角の制御量を、操舵側制御モジュール200に出力する。演算値を補正する補正値は、横ずれ量に基づく補正値だけでなく、他の演算により求めた補正値を含んでもよい。
【0048】
次に、V溝追従モードに設定された場合の制御動作について説明する。カメラ側制御モジュール100は、カメラユニット15から撮像画像(データ)を所定の時間間隔で取得する。
図5(a)は、操舵制御を開始して最初に取得された撮像画像600の説明図である。
図5(b)は、操舵制御を開始してからある時間が経過して取得された撮像画像601の説明図である。
【0049】
ここで、V溝追従モードに切り替える前、即ち手動操舵モードにおいて、オペレータは、走行機体4を操縦して目標走行ライン(V溝のライン)が走行機体4から見て走行機体4の中心となるようにしておく。これにより、
図5(a)に示すように、V溝のラインに対応する網掛の部分630がI軸方向の中心位置viにある垂直線と重なる。この状態でオペレータによりV溝追従モードに切り替えられる。
【0050】
カメラ側制御モジュール100は、遠景直進モードと同様、撮像画像600内に目標領域R0を設定する。また、カメラ側制御モジュール100は、撮像画像600内に直線状にI軸方向に並ぶ複数の基準領域611からなる領域群610を設定する。複数の基準領域611は、互いに部分的に重なっていてもよい。そして、カメラ側制御モジュール100は、新たな撮像画像を取得する度に、新たな撮像画像において、領域群610の基準領域611をテンプレート画像とし、撮像画像とテンプレート画像とのテンプレートマッチングにより、領域群610の基準領域611を追跡する。なお、この新たな撮像画像においても、新たに複数の基準領域611からなる領域群610を設定し、新たな領域群610の基準領域611についても、次の撮像画像において追跡に用いるテンプレート画像とする。
【0051】
新たな撮像画像を撮像画像601として説明する。カメラ側制御モジュール100は、基準領域611を追跡することにより求めた領域のI軸方向の各位置において、基準領域611を基準とするJ軸方向の変化量を求めて圃場断面の凹凸形状を求め、凹凸形状からV溝に対応する点を求める。
図5(b)の例では、4つの点V1,V2,V3,V4が求められている。カメラ側制御モジュール100は、複数の点V1,V2,V3,V4の座標値を平均することで、目標点P1のI軸方向の位置tiを求める。
【0052】
カメラ側制御モジュール100は、以上のようにして検出した目標点P1の位置tiと、基準点P0の位置viとの差分に基づき、目標地点の方向に対する走行機体4のヨー角を求める。カメラ側制御モジュール100は、求めたヨー角を用いて所定の演算を行い、その演算値、又はその演算値を補正値で補正した値(例えば演算値に補正値を加えた値)を、操舵角の制御量とする。
【0053】
カメラ側制御モジュール100は、操舵側制御モジュール200に、操舵角の制御量のデータを出力する。操舵側制御モジュール200は、カメラ側制御モジュール100から得らえた操舵角の制御量に基づいて操舵部25を制御する。これにより、走行機体4は前方の目標地点に向かって走行するように操舵制御される。
【0054】
V溝追従モードにおいても圃場が傾斜地であった場合、走行機体4が傾斜に沿って横滑りすることがある。このため、V溝追従モードにおいても、遠景直進モードと同様、カメラ側制御モジュール100は、互いに異なるタイミングにおいて撮像された複数の撮像画像の画像解析により、目標走行ラインに対する走行機体4の横ずれ量を求め、横ずれ量に応じた補正値を求める。目標走行ラインは、V溝のラインである。そして、カメラ側制御モジュール100は、該補正値で前記演算値を補正して操舵角の制御量を求め、この操舵角の制御量を、操舵側制御モジュール200に出力する。V溝追従モードでは、横ずれ量の検出に領域群610を用いることができる。つまり、遠景直進モードでは、横ずれ量の検出に領域群510を用いたが、V溝追従モードでは、領域群510の代わりに領域群610を用いればよい。
【0055】
以上、制御部50は、カメラユニット15の画角内に固定された基準点P0の位置viと、カメラユニット15から得られた撮像画像から検出される目標点P1の位置tiとに基づいて、操舵部25を制御する操舵制御(第1の制御)を実行する。つまり、制御部50は、目標点P1の位置tiが基準点P0の位置viに近づくように操舵部25を制御する。
【0056】
ところで、走行機体4を走行させる圃場が傾斜している場合、カメラユニット15の撮像方向がヨー方向及びピッチ方向にずれるずれ量が大きいため、カメラユニット15の画角から目標地点が外れないようにすることが好ましい。例えば、操舵制御中に走行機体4が傾斜に沿って横滑りし、上述した横ずれ量に応じた補正が行われると、横ずれを解消すべく操舵された走行機体4の正面方向は、目標走行ラインに対して斜面上側を向くように大きく傾くことがある。なお、カメラユニット15の画角から目標地点が外れた場合、即ち操舵制御中に取得した撮像画像において目標点P1の検出ができなかった場合、制御部50は、自動操作モードから手動操舵モードに切り替える、即ち操舵制御を解除する。
【0057】
そこで、本実施の形態では、カメラ側制御モジュール100は、走行機体4が目標走行ラインに対して大きく傾いた場合など、撮像画像において目標点P1が基準点P0から大きくずれた場合、カメラユニット15の姿勢を調整すべく、調整機構35を制御する姿勢制御(第2の制御)を実行する。なお、このカメラユニット15の姿勢を制御する姿勢制御は、操舵制御において実行される。即ち、カメラユニット15の姿勢制御は、遠景直進モード又はV溝追従モードの制御の実行中に実行される。よって、操舵制御が解除されると姿勢制御も解除される。即ち、制御部50は、操舵制御を解除する際には、姿勢制御も解除する。
【0058】
以下、操舵制御中の調整機構35の制御、即ちカメラユニット15の姿勢制御について説明する。
図6は、カメラユニット15の姿勢制御を示すフローチャートである。なお、初期状態において、カメラユニット15は、予め設定された設定姿勢(所定姿勢)に制御されているものとする。まず、遠景直進モードにおけるカメラユニット15の姿勢制御について説明する。
【0059】
図6に示すフローチャートに示す制御処理は、新たに撮像画像を取得する度に行う。新たに取得した撮像画像が
図4(b)に示す撮像画像501であるものとして説明する。カメラ側制御モジュール100は、撮像画像501の中から目標点P1を探索する(S101)。このとき探索される目標点P1の位置情報は、I軸方向の位置tiとJ軸方向の位置tjとを含む。
【0060】
次に、カメラ側制御モジュール100は、基準点P0の位置(vi,vj)と、目標点P1の位置(ti,tj)との差分(|ti-vi|,|tj-vj|)を求める(S102)。つまり、カメラ側制御モジュール100は、I軸成分とJ軸成分のそれぞれにおいて差分を求める。
【0061】
カメラ側制御モジュール100は、差分|ti-vi|と閾値ψiとを比較する(S103)。閾値ψiのデータは、予め記憶部43に記憶されている。|ti-vi|≧ψiであった場合(S103:Yes)、即ち、差分|ti-vi|が閾値ψi以上であった場合、カメラ側制御モジュール100は、差分|tj-vj|と閾値ψjとを比較する(S104)。閾値ψjのデータは、予め記憶部43に記憶されている。
【0062】
|tj-vj|≧ψjであった場合(S104:Yes)、即ち、差分|tj-vj|が閾値ψj以上であった場合、カメラ側制御モジュール100は、
図2(b)に示すカメラユニット15がピッチ方向θ
pitch及びヨー方向θ
yawに回転するよう調整機構35を制御する(S105)。
【0063】
つまり、ステップS105において、カメラユニット15の姿勢を調整する。カメラユニット15の姿勢の調整量、つまりカメラユニット15のピッチ方向θ
pitchの角度及びヨー方向θ
yawの角度のそれぞれの調整量は、予め定めた量であってもよいし、差分に応じた量であってもよい。また、ピッチ方向θ
pitch及びヨー方向θ
yawのうち、カメラユニット15の姿勢の調整方向は、目標点P1が基準点P0に近づく方向である。
図4(b)に示す例では、カメラユニット15は、上方向及び左方向に調整される。
【0064】
ステップS104において|tj-vj|<ψjであった場合(S104:No)、即ち、差分|tj-vj|が閾値ψj未満であった場合、カメラ側制御モジュール100は、
図2(b)に示すカメラユニット15がヨー方向θ
yawに回転するよう調整機構35を制御する(S106)。
【0065】
ステップS106においても、カメラユニット15の姿勢の調整量、つまりカメラユニット15のヨー方向θyawの角度の調整量は、予め定めた量であってもよいし、差分に応じた量であってもよい。また、ヨー方向θyawのうち、カメラユニット15の姿勢の調整方向は、目標点P1が基準点P0に近づく方向である。
【0066】
ステップS103において|ti-vi|<ψiであった場合(S103:No)、即ち、差分|ti-vi|が閾値ψi未満であった場合、カメラ側制御モジュール100は、差分|tj-vj|と閾値ψjとを比較する(S107)。
【0067】
|tj-vj|≧ψjであった場合(S107:Yes)、即ち、差分|tj-vj|が閾値ψj以上であった場合、カメラ側制御モジュール100は、
図2(b)に示すカメラユニット15がピッチ方向θ
pitchに回転するよう調整機構35を制御する(S108)。
【0068】
ステップS108においても、カメラユニット15の姿勢の調整量、つまりカメラユニット15のピッチ方向θpitchの角度の調整量は、予め定めた量であってもよいし、差分に応じた量であってもよい。また、ピッチ方向θpitchのうち、カメラユニット15の姿勢の調整方向は、目標点P1が基準点P0に近づく方向である。
【0069】
いずれの差分も閾値未満であった場合(S103:No 及び S107:No)、目標点P1が基準点P0に近いので、カメラユニット15の姿勢を調整する必要はなく、カメラ側制御モジュール100は、ステップS101の処理に戻る。
【0070】
以上のように、カメラユニット15の撮像方向を、目標地点に向けることができるため、圃場が傾斜しているような場合においても、カメラユニット15の画角から目標地点が外れるのを防止することができる。これにより、圃場で作業中に操舵制御が切れる頻度、即ち操舵制御が解除される頻度を低くすることができ、安定して操舵制御を継続することができる。
【0071】
ここで、ステップS105,S106,S108のいずれかにおいてカメラユニット15の姿勢を調整するよう調整機構35を制御した場合、次の撮像タイミングにおいてはカメラユニット15の撮像方向が変更されている。このため、カメラ側制御モジュール100は、調整機構35の制御量、即ちカメラユニット15の姿勢の調整量に基づいて、次の制御サイクルで求める前記演算値を補正するための補正値、即ち次に取得される撮像画像で求める前記演算値を補正するための補正値を、演算しておく(S109)。これにより、次回以降の制御サイクルにおいても、操舵制御が安定する。
【0072】
以上、遠景直進モードを例に説明したが、V溝追従モードにおいても同様に制御すればよい。ただし、目標点P1の座標値が遠景直進モードと異なる。V溝追従モードにおいて、目標点P1の位置情報に含まれるI軸方向の位置tiは、V溝の点V1~V4のI軸方向の平均位置である。一方、J軸方向において、V溝の点V1~V4では、J軸方向の変位を判別するのが困難であるため、目標点P1の位置情報に含まれるJ軸方向の位置tjは、検出領域R1のJ軸方向の中心位置である。
【0073】
圃場における1行程の終点に走行機体4が到達した場合、次の行程の始点に走行機体4を移動させるために、オペレータは、ステアリングハンドル12を回転させて、枕地において走行機体4を旋回させる。このとき、カメラユニット15の姿勢は、元の状態に復帰させることが好ましい。
【0074】
図7は、実施の形態に係る制御のフローチャートである。制御部50は、走行機体4が旋回を検知したかどうかを判定する(S201)。走行機体4が旋回したかどうかは、
図3に示す操舵角センサ30を用いて検知することができる。例えば、制御部50は、操舵角センサ30により検知した操舵角が予め設定された閾値以上であることに基づき走行機体4が旋回したと検知することができる。走行機体4の旋回を検知した場合(S201:Yes)、制御部50は、操舵制御を解除して自動操舵モードから手動操舵モードに切り替え、カメラユニット15の姿勢が前記設定姿勢(所定姿勢)に復帰するように調整機構35を制御する(S202)。つまり、カメラユニット15の姿勢を初期状態に復帰させる。ここで、カメラユニット15の姿勢制御は、操舵制御中に行われるため、操舵制御が解除されることにより、カメラユニット15の姿勢制御も解除される。つまり、走行機体4の旋回を検知した場合、制御部50は、カメラユニット15の姿勢制御を解除し、カメラユニット15の姿勢を設定姿勢(所定姿勢)に復帰させる。本実施の形態では、走行機体4の旋回を検知した場合、制御部50は、操舵制御及び姿勢制御を解除し、カメラユニット15の姿勢を設定姿勢(所定姿勢)に復帰させる。
【0075】
走行機体4の旋回を検知しなかった場合(S201:No)、制御部50は、
図6に示す姿勢制御の処理を継続する(S203)。
【0076】
カメラユニット15の設定姿勢は、変更可能であることが好ましい。
図8及び
図9は、実施の形態に係る設定画面の一例を示す説明図である。
図8に示す設定画面A及び
図9に示す設定画面Bは、例えば
図3の携帯情報端末300のディスプレイ303に表示されるUI画面である。
【0077】
手動操舵モードにおいて、
図8に示す設定画面Aがディスプレイ303に表示される。設定画面Aには、カメラユニット15によって撮像された撮像画像の表示画面801と、複数の操作ボタン802,803と、が含まれる。操作ボタン802,803は、オペレータが操作可能なボタンである。操作ボタン802は、カメラユニット15の姿勢データを記憶部43に保存したり、記憶部43に保存されている姿勢データを適用したりするための設定画面Bに遷移させるためのボタンである。操作ボタン802がオペレータに操作されると、
図9に示す設定画面Bに遷移する。操作ボタン803は、カメラユニット15の姿勢を、設定姿勢(初期姿勢)として適用されている姿勢にリセットするためのリセットボタンである。即ち、カメラ側制御モジュール100は、操作ボタン803がオペレータに操作されると、設定姿勢として適用されている姿勢データに基づいて調整機構35を制御する。これにより、カメラユニット15の姿勢が設定姿勢に復帰させる。
【0078】
図9に示す設定画面Bには、前記表示画面801及び前記操作ボタン802のほか、複数の操作ボタン804,805、複数のチェックボックス806、操作キー807が含まれる。操作ボタン804,805、チェックボックス806、及び操作キー807は、オペレータが操作可能である。
【0079】
設定画面Bにおいて再び操作ボタン802が操作されると、
図8に示す設定画面Aに遷移する。操作キー807は、オペレータが調整機構35に指令を与えてカメラユニット15の姿勢を直接操作することができるキーである。複数のチェックボックス806は、オペレータが択一的に選択可能なボックスである。操作ボタン804は、選択されたチェックボックス806と紐づけした状態で記憶部43に姿勢データを保存するための保存ボタンである。操作ボタン805は、選択されたチェックボックス806と紐づけされた姿勢データを、設定姿勢として適用する適用ボタンである。
【0080】
図9の例では、「作業1」から「作業4」までの4つのチェックボックス806が表示されている。よって、4つの姿勢データが保存(登録)可能となっている。また、
図9の例では、「作業1」のチェックボックス806が選択されている状態である。この状態で操作ボタン804が操作されると、「作業1」のチェックボックス806と紐づけした姿勢データを、記憶部43に記憶させる。また、この状態で操作ボタン805が操作されると、予め記憶部43に保存されている「作業1」のチェックボックス806と紐づけされた姿勢データが、設定姿勢として適用される。
【0081】
このように、記憶部43は、カメラユニット15の姿勢に関する複数(例えば4つ)の姿勢データを記憶可能となっている。そして、カメラ側制御モジュール100は、複数(例えば4つ)の姿勢データの中でオペレータに選択された姿勢データに基づき、調整機構35を制御することができるように構成されている。
【0082】
以上、本実施の形態によると、操舵制御において基準点P0の位置と目標点P1の位置との差分が閾値以上の場合には、目標点P1が基準点P0に近づくように調整機構35を制御する姿勢制御が実行される。したがって、圃場が傾斜地である場合に走行機体4の姿勢が変化しても、目標地点を向くようにカメラユニット15の姿勢が調整される。このように、カメラユニット15の画角から目標地点が外れるのを抑制することができ、傾斜した圃場においても操舵制御が継続され、安定した作業が可能となる。また、撮像画像におけるI軸方向の中心付近に目標点があるため、走行機体4の姿勢が目標に対してヨー角やピッチ角が生じても、目標を見失うのを防止することができる。
【0083】
また、本実施の形態によると、走行機体4が旋回した際に所定姿勢に復帰(リセット)されるので、オペレータが工程ごとにカメラユニット15の姿勢を復帰させる必要がなく、安定した作業が可能となる。
【0084】
また、本実施の形態によると、走行機体4が旋回するようオペレータが操舵部25を操作した際にカメラユニット15の姿勢が設定姿勢(所定姿勢)に自動でリセットされるので、オペレータの操作が多くなる走行機体4の旋回時に、オペレータによるカメラユニット15の操作が必要なく、操作性が向上する。
【0085】
また、本実施の形態によると、記憶部43に記憶された複数の姿勢データの中からオペレータが選択した姿勢データに基づく姿勢に、走行機体4の姿勢が調整される。これにより、作業する圃場を変えたり、走行機体4に接続する作業機を変えたりする場合など、状況に適した姿勢にカメラユニット15の姿勢を調整することができる。よって、安定した作業が可能となる。
【0086】
また、本実施の形態によると、記憶部43に記憶された姿勢データに基づく姿勢にカメラユニット15をセット可能であるので、カメラユニット15の姿勢の再調整の操作時間を短縮でき、作業性が向上する。
【0087】
なお、以上の実施の形態では、カメラ側制御モジュール100と操舵側制御モジュール200とが別々のコンピュータで構成される場合について説明したが、これに限定されるものではなく、例えばカメラ側制御モジュール100と操舵側制御モジュール200とが1つのコンピュータで構成されてもよい。即ち、制御部50が1つのコンピュータで構成されてもよい。この場合において、1つのコンピュータは、操舵制御の機能と姿勢制御の機能とが実現されるように構成されていればよい。
【0088】
また、カメラ側制御モジュール100及び操舵側制御モジュール200がECUとは異なるコンピュータで構成される場合について説明したが、これに限定されるものではなく、例えばカメラ側制御モジュール100及び操舵側制御モジュール200がECUに含まれてもよい。即ち、カメラ側制御モジュール100の機能及び操舵側制御モジュール200の機能が、ECUの機能の一部であってもよい。
【0089】
また、カメラユニット15が単眼カメラである場合について説明したが、これに限定されるものではない。例えばカメラユニット15がステレオカメラであってもよい。
【0090】
また、操舵制御として、2つのモード、例えば遠景直進モードとV溝追従モードを例に説明したが、これに限定されるものではない。例えば、操舵制御として、畦や畝に追従させるモードがあってもよいし、前行程の跡に追従させるモードがあってもよい。
【符号の説明】
【0091】
1 トラクタ(作業車両)
4 走行機体
15 カメラユニット(撮像部)
25 操舵部
35 調整機構
43 記憶部
50 制御部