知財求人 - 知財ポータルサイト「IP Force」
特開2024-169446自動走行システム、自動走行方法、及び自動走行プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024169446
(43)【公開日】2024-12-05
(54)【発明の名称】自動走行システム、自動走行方法、及び自動走行プログラム
(51)【国際特許分類】
A01B 69/00 20060101AFI20241128BHJP
G05D 1/622 20240101ALI20241128BHJP
【ＦＩ】
A01B69/00 303J
A01B69/00 303D
A01B69/00 303F
G05D1/622
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
(21)【出願番号】P 2024157210
(22)【出願日】2024-09-11
(62)【分割の表示】P 2020200358の分割
【原出願日】2020-12-02
(71)【出願人】
【識別番号】720001060
【氏名又は名称】ヤンマーホールディングス株式会社
(74)【代理人】
【識別番号】100167302
【弁理士】
【氏名又は名称】種村 一幸
(74)【代理人】
【識別番号】100135817
【弁理士】
【氏名又は名称】華山 浩伸
(74)【代理人】
【識別番号】100181869
【弁理士】
【氏名又は名称】大久保 雄一
(72)【発明者】
【氏名】岩瀬 卓也
(57)【要約】
【課題】作業車両の安全性を確保しつつ、作業効率の低下を防ぐことが可能な自動走行システム、自動走行方法、及び自動走行プログラムを提供する。
【解決手段】取得処理部１１１は、作業車両１０に設置されるカメラ１５から撮像画像Ｐ１を取得する。検出処理部１１２は、取得処理部１１１により取得される撮像画像Ｐ１に基づいて障害物を検出する。受付処理部２１７は、検出処理部１１２により障害物が検出された場合に、作業車両１０の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付ける。走行処理部１１３は、受付処理部２１７が前記走行停止指示を受け付けた場合に作業車両１０の自動走行を停止させ、受付処理部２１７が前記走行継続指示を受け付けた場合に作業車両１０の自動走行を継続させる。
【選択図】図１
【解決手段】取得処理部１１１は、作業車両１０に設置されるカメラ１５から撮像画像Ｐ１を取得する。検出処理部１１２は、取得処理部１１１により取得される撮像画像Ｐ１に基づいて障害物を検出する。受付処理部２１７は、検出処理部１１２により障害物が検出された場合に、作業車両１０の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付ける。走行処理部１１３は、受付処理部２１７が前記走行停止指示を受け付けた場合に作業車両１０の自動走行を停止させ、受付処理部２１７が前記走行継続指示を受け付けた場合に作業車両１０の自動走行を継続させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
作業車両に設置される撮像部から撮像画像を取得する取得処理部と、
前記取得処理部により取得される前記撮像画像に基づいて障害物を検出する検出処理部と、
前記検出処理部により前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付ける受付処理部と、
前記受付処理部が前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記受付処理部が前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させる走行処理部と、
を備える自動走行システム。
前記取得処理部により取得される前記撮像画像に基づいて障害物を検出する検出処理部と、
前記検出処理部により前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付ける受付処理部と、
前記受付処理部が前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記受付処理部が前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させる走行処理部と、
を備える自動走行システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業車両を自動走行させる自動走行システム、自動走行方法、及び自動走行プログラムに関する。
【背景技術】
【0002】
作業車両は、圃場において予め設定された走行経路に沿って自動走行している途中に障害物を検出した場合に、自動走行を停止する機能を備えている。従来、作業車両のオペレータが、作業車両が障害物を検出した場合に作業車両の自動走行を停止させる通常モードと、作業車両が障害物を検出しても作業車両の走行を継続させる解除モードとを切り替えることが可能な技術が知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－１１３９３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、前記従来の技術では、前記解除モードが設定されている場合には作業車両が障害物を検出したとしても自動走行が継続されるため、作業車両が障害物に接触する危険性がある。このように、作業車両が障害物を検出した場合に自動走行を一律に停止させるシステムでは作業効率が低下する一方、作業車両が障害物を検出しても自動走行を継続可能とするシステムでは作業車両の安全性が低下する問題が生じる。
【0005】
本発明の目的は、作業車両の安全性を確保しつつ、作業効率の低下を防ぐことが可能な自動走行システム、自動走行方法、及び自動走行プログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明に係る自動走行システムは、取得処理部と検出処理部と受付処理部と走行処理部とを備える。前記取得処理部は、作業車両に設置される撮像部から撮像画像を取得する。前記検出処理部は、前記取得処理部により取得される前記撮像画像に基づいて障害物を検出する。前記受付処理部は、前記検出処理部により前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付ける。前記走行処理部は、前記受付処理部が前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記受付処理部が前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させる。
【0007】
本発明に係る自動走行方法は、一又は複数のプロセッサーが、作業車両に設置される撮像部から撮像画像を取得することと、取得する前記撮像画像に基づいて障害物を検出することと、前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付けることと、前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させることと、を実行する方法である。
【0008】
本発明に係る自動走行プログラムは、作業車両に設置される撮像部から撮像画像を取得することと、取得する前記撮像画像に基づいて障害物を検出することと、前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付けることと、前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させることと、を一又は複数のプロセッサーに実行させるためのプログラムである。
【発明の効果】
【0009】
本発明によれば、作業車両の安全性を確保しつつ、作業効率の低下を防ぐことが可能な自動走行システム、自動走行方法、及び自動走行プログラムを提供することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
【0012】
図１に示されるように、本発明の実施形態に係る自動走行システム１は、作業車両１０と操作端末２０とを含んでいる。作業車両１０及び操作端末２０は、通信網Ｎ１を介して通信可能である。例えば、作業車両１０及び操作端末２０は、携帯電話回線網、パケット回線網、又は無線ＬＡＮを介して通信可能である。
【0013】
本実施形態では、作業車両１０がトラクタである場合を例に挙げて説明する。なお、他の実施形態として、作業車両１０は、田植機、コンバイン、建設機械、又は除雪車などであってもよい。作業車両１０は、圃場Ｆ（図３参照）内を予め設定された走行経路Ｒに沿って自動走行（自律走行）可能な構成を備える、所謂ロボットトラクタである。例えば、作業車両１０は、測位装置１７により算出される作業車両１０の現在位置の位置情報に基づいて、圃場Ｆに対して予め生成された走行経路Ｒに沿って自動走行することが可能である。
【0014】
例えば、作業車両１０は、図３に示す圃場Ｆの作業領域において、作業開始位置Ｓから作業終了位置Ｇに向けて平行に往復走行する。圃場Ｆの外周側は例えば枕地領域であり、作業車両１０は旋回走行する。走行経路Ｒは、図３に示す経路に限定されず、作業内容に応じて適宜設定される。
【0015】
［作業車両１０］
図１及び図２に示すように、作業車両１０は、車両制御装置１１、記憶部１２、走行装置１３、作業機１４、カメラ１５、通信部１６、測位装置１７、及び検出処理装置１９などを備える。車両制御装置１１は、記憶部１２、走行装置１３、作業機１４、測位装置１７、及び検出処理装置１９などに電気的に接続されている。なお、車両制御装置１１及び測位装置１７は、無線通信可能であってもよい。また、カメラ１５は、検出処理装置１９に電気的に接続されている。
図１及び図２に示すように、作業車両１０は、車両制御装置１１、記憶部１２、走行装置１３、作業機１４、カメラ１５、通信部１６、測位装置１７、及び検出処理装置１９などを備える。車両制御装置１１は、記憶部１２、走行装置１３、作業機１４、測位装置１７、及び検出処理装置１９などに電気的に接続されている。なお、車両制御装置１１及び測位装置１７は、無線通信可能であってもよい。また、カメラ１５は、検出処理装置１９に電気的に接続されている。
【0016】
記憶部１２は、各種の情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性の記憶部である。記憶部１２には、車両制御装置１１に後述の自動走行処理（図１０参照）を実行させるための自動走行プログラムなどの制御プログラムが記憶されている。例えば、前記自動走行プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、所定の読取装置（不図示）で読み取られて記憶部１２に記憶される。なお、前記自動走行プログラムは、サーバー（不図示）から通信網Ｎ１を介して作業車両１０にダウンロードされて記憶部１２に記憶されてもよい。また、記憶部１２には、操作端末２０において生成される走行経路Ｒのデータ、障害物を判定するための判定用データなどが記憶される。前記判定用データは、障害物の一例である人間を判定するためのデータであって、例えば、人間の特徴を示すデータ、人間の部位又は全体を示す画像（サンプル画像）のデータなどである。前記判定用データは、検出処理装置１９に記憶されてもよい。また、記憶部１２には、作業情報（旋回態様、作業順序など）が記憶されてもよい。なお、本発明の障害物は、作業車両１０の走行を妨げる物体であり、例えば人間、動物、機器（他の作業車両など）などである。
【0017】
走行装置１３は、作業車両１０を走行させる駆動部である。図２に示すように、走行装置１３は、エンジン１３１、前輪１３２、後輪１３３、トランスミッション１３４、フロントアクスル１３５、リアアクスル１３６、ハンドル１３７などを備える。なお、前輪１３２及び後輪１３３は、作業車両１０の左右にそれぞれ設けられている。また、走行装置１３は、前輪１３２及び後輪１３３を備えるホイールタイプに限らず、作業車両１０の左右に設けられるクローラを備えるクローラタイプであってもよい。
【0018】
エンジン１３１は、不図示の燃料タンクに補給される燃料を用いて駆動するディーゼルエンジン又はガソリンエンジンなどの駆動源である。走行装置１３は、エンジン１３１とともに、又はエンジン１３１に代えて、電気モーターを駆動源として備えてもよい。なお、エンジン１３１には、不図示の発電機が接続されており、当該発電機から作業車両１０に設けられた車両制御装置１１等の電気部品及びバッテリー等に電力が供給される。なお、前記バッテリーは、前記発電機から供給される電力によって充電される。そして、作業車両１０に設けられている車両制御装置１１及び測位装置１７等の電気部品は、エンジン１３１の停止後も前記バッテリーから供給される電力により駆動可能である。
【0019】
エンジン１３１の駆動力は、トランスミッション１３４及びフロントアクスル１３５を介して前輪１３２に伝達され、トランスミッション１３４及びリアアクスル１３６を介して後輪１３３に伝達される。また、エンジン１３１の駆動力は、ＰＴＯ軸（不図示）を介して作業機１４にも伝達される。作業車両１０が自動走行を行う場合、走行装置１３は、車両制御装置１１の命令に従って走行動作を行う。
【0020】
作業機１４は、例えば草刈機、耕耘機、プラウ、施肥機、又は播種機などであって、作業車両１０に着脱可能である。これにより、作業車両１０は、作業機１４各々を用いて各種の作業を行うことが可能である。本実施形態では、作業機１４は草刈機である場合を例に挙げて説明する。
【0021】
例えば、作業機１４は、作業車両１０に対して左右一方側にオフセットして装着される。例えば、作業車両１０は、左右一方側にオフセットして直装型の作業機１４を装着して圃場内を走行することにより草刈作業などを行う。なお、作業機１４は、作業車両１０に固定される直装型の作業機（図２参照）に限定されず、作業車両１０に牽引される牽引型の作業機であってもよい。
【0022】
カメラ１５は、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。カメラ１５は、被写体を所定のフレームレートで連続して撮像し、所定の解像度のフレーム画像を生成して逐次、検出処理装置１９に送信する。カメラ１５は、本発明の撮像部の一例である。
【0023】
本実施形態では、５個のカメラ１５が、作業車両１０の異なる場所に設置されている。具体的には、図４に示すように、作業車両１０の前部にカメラ１５Ｆ（以下「カメラ１」ともいう。）が設置され、作業車両１０の後部にカメラ１５Ｂ（以下「カメラ２」ともいう。）が設置され、作業車両１０の右側部にカメラ１５Ｒ（以下「カメラ３」ともいう。）が設置され、作業車両１０の左側部にカメラ１５Ｌ（以下「カメラ４」ともいう。）が設置され、作業機１４の右前部にカメラ１５Ｃ（以下「カメラ５」ともいう。）が設置されている。なお、カメラ１５は、例えば両面テープなどにより作業車両１０に設置されてもよい。
【0024】
また、各カメラ１５には、撮像可能な所定の撮像範囲（検出エリア）が設定されている。例えばカメラ１５Ｆは作業車両１０の前方の検出エリアＫ１を撮像し、カメラ１５Ｂは作業車両１０の後方の検出エリアＫ２を撮像し、カメラ１５Ｒは作業車両１０の右側方の検出エリアＫ３を撮像し、カメラ１５Ｌは作業車両１０の左側方の検出エリアＫ４を撮像し、カメラ１５Ｃは作業機１４の右側前方の検出エリアＫ５を撮像する。各カメラ１５は、各検出エリアを所定のフレームレートで撮像し、撮像画像を逐次、検出処理装置１９に送信する。検出処理装置１９は、前記撮像画像及び後述する検出結果（判定結果）を車両制御装置１１及び操作端末２０に送信する。
【0025】
なお、検出処理装置１９は、カメラ１５が作業車両１０に電気的に接続されることによりカメラ１５と通信可能になる。検出処理装置１９は、カメラ１５と通信可能になると、カメラ１５の個数と、各カメラ１５の識別情報（機器情報）とを取得する。また、検出処理装置１９は、取得したカメラ１５の個数情報及び識別情報を車両制御装置１１に出力し、車両制御装置１１は当該個数情報及び識別情報を操作端末２０に出力する。オペレータは、カメラ１５を追加したり、設置位置を変更したりすることができる。
【0026】
ハンドル１３７は、オペレータ又は車両制御装置１１によって操作される操作部である。例えば走行装置１３では、車両制御装置１１によるハンドル１３７の操作に応じて、不図示の油圧式パワーステアリング機構などによって前輪１３２の角度が変更され、作業車両１０の進行方向が変更される。
【0027】
また、走行装置１３は、ハンドル１３７の他に、車両制御装置１１によって操作される不図示のシフトレバー、アクセル、ブレーキ等を備える。そして、走行装置１３では、車両制御装置１１による前記シフトレバーの操作に応じて、トランスミッション１３４のギアが前進ギア又はバックギアなどに切り替えられ、作業車両１０の走行態様が前進又は後進などに切り替えられる。また、車両制御装置１１は、前記アクセルを操作してエンジン１３１の回転数を制御する。また、車両制御装置１１は、前記ブレーキを操作して電磁ブレーキを用いて前輪１３２及び後輪１３３の回転を制動する。
【0028】
測位装置１７は、測位制御部１７１、記憶部１７２、通信部１７３、及び測位用アンテナ１７４などを備える通信機器である。例えば、測位装置１７は、図２に示すように、オペレータが搭乗するキャビン１８の上部に設けられている。また、測位装置１７の設置場所はキャビン１８に限らない。さらに、測位装置１７の測位制御部１７１、記憶部１７２、通信部１７３、及び測位用アンテナ１７４は、作業車両１０において異なる位置に分散して配置されていてもよい。なお、前述したように測位装置１７には前記バッテリーが接続されており、当該測位装置１７は、エンジン１３１の停止中も稼働可能である。また、測位装置１７として、例えば携帯電話端末、スマートフォン、又はタブレット端末などが代用されてもよい。
【0029】
測位制御部１７１は、一又は複数のプロセッサーと、不揮発性メモリ及びＲＡＭなどの記憶メモリとを備えるコンピュータシステムである。記憶部１７２は、測位制御部１７１に測位処理を実行させるためのプログラム、及び測位情報、移動情報などのデータを記憶する不揮発性メモリなどである。例えば、前記プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、所定の読取装置（不図示）で読み取られて記憶部１７２に記憶される。なお、前記プログラムは、サーバー（不図示）から通信網Ｎ１を介して測位装置１７にダウンロードされて記憶部１７２に記憶されてもよい。
【0030】
通信部１７３は、測位装置１７を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介して基地局サーバーなどの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
【0031】
測位用アンテナ１７４は、衛星から発信される電波（ＧＮＳＳ信号）を受信するアンテナである。
【0032】
測位制御部１７１は、測位用アンテナ１７４が衛星から受信するＧＮＳＳ信号に基づいて作業車両１０の現在位置を算出する。例えば、作業車両１０が圃場Ｆ内を自動走行する場合に、測位用アンテナ１７４が複数の衛星のそれぞれから発信される電波（発信時刻、軌道情報など）を受信すると、測位制御部１７１は、測位用アンテナ１７４と各衛星との距離を算出し、算出した距離に基づいて作業車両１０の現在位置（緯度及び経度）を算出する。また、測位制御部１７１は、作業車両１０に近い基地局（基準局）に対応する補正情報を利用して作業車両１０の現在位置を算出する、リアルタイムキネマティック方式（ＲＴＫ－ＧＰＳ測位方式（ＲＴＫ方式））による測位を行ってもよい。このように、作業車両１０は、ＲＴＫ方式による測位情報を利用して自動走行を行う。
【0033】
車両制御装置１１及び検出処理装置１９は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、車両制御装置１１及び検出処理装置１９は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより作業車両１０を制御する。
【0034】
検出処理装置１９は、カメラ１５から撮像画像を取得し、当該撮像画像に基づいて検出エリアに障害物（例えば人間）が含まれるか否かを判定する。具体的には、図１に示すように、検出処理装置１９は、取得処理部１１１、検出処理部１１２などの各種の処理部を含む。検出処理装置１９は、ＣＰＵで前記自動走行プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、一部又は全部の前記処理部が電子回路で構成されていてもよい。なお、前記自動走行プログラムは、複数のプロセッサーを前記処理部として機能させるためのプログラムであってもよい。
【0035】
取得処理部１１１は、一又は複数のカメラ１５から撮像画像を取得する。例えば、取得処理部１１１は、作業車両１０及び作業機１４に設置された５個のカメラ１５Ｆ，１５Ｂ，１５Ｒ，１５Ｌ，１５Ｃのそれぞれから検出エリアＫ１～Ｋ５のそれぞれの撮像画像を順にフレームごとに取得する。取得処理部１１１は、取得した前記撮像画像を撮像時刻とともに記憶部１２に記憶する。
【0036】
また、取得処理部１１１は、取得した前記撮像画像の画像データを操作端末２０に出力する。取得処理部１１１は、本発明の取得処理部の一例である。
【0037】
検出処理部１１２は、取得処理部１１１により取得される前記撮像画像において障害物（例えば人間）を検出する。具体的には、検出処理部１１２は、前記撮像画像に基づいて検出エリアに人間が含まれるか否かを判定する。例えば、検出処理部１１２は、前記撮像画像を画像解析して、記憶部１２又は検出処理装置１９に記憶された前記判定用データと照合することにより、検出エリアにおける人間の有無を判定する。また、検出処理部１１２は、取得処理部１１１が順に取得する前記撮像画像ごとに判定処理を実行する。例えば、検出処理部１１２は、カメラ１５Ｆの撮像画像について前記判定処理を実行し、次にカメラ１５Ｂの撮像画像について前記判定処理を実行し、次にカメラ１５Ｒの撮像画像について前記判定処理を実行し、次にカメラ１５Ｌの撮像画像について前記判定処理を実行し、次にカメラ１５Ｃの撮像画像について前記判定処理を実行する。検出処理部１１２は、検出結果（判定結果）を操作端末２０に送信する。検出処理部１１２は、本発明の検出処理部の一例である。
【0038】
図１に示すように、車両制御装置１１は、走行処理部１１３などの各種の処理部を含む。なお、車両制御装置１１は、前記ＣＰＵで前記自動走行プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、一部又は全部の前記処理部が電子回路で構成されていてもよい。なお、前記自動走行プログラムは、複数のプロセッサーを前記処理部として機能させるためのプログラムであってもよい。
【0039】
走行処理部１１３は、作業車両１０の走行を制御する。具体的には、走行処理部１１３は、操作端末２０から作業開始指示を取得すると作業車両１０の自動走行を開始させる。例えば、操作端末２０の操作画面においてオペレータが作業開始ボタンを押下すると、操作端末２０は作業開始指示を作業車両１０に出力する。走行処理部１１３は、操作端末２０から作業開始指示を取得すると、作業車両１０の自動走行を開始させる。これにより、作業車両１０は、走行経路Ｒに従って自動走行を開始し、作業機１４による作業を開始する。なお、作業車両１０が走行する走行経路Ｒは、例えば操作端末２０により生成される。作業車両１０は、操作端末２０から走行経路Ｒを取得して、走行経路Ｒに従って圃場Ｆ内を自動走行する。
【0040】
また、走行処理部１１３は、操作端末２０から走行停止指示を取得すると作業車両１０の自動走行を停止させる。例えば、操作端末２０の操作画面においてオペレータが走行停止ボタンを押下すると、操作端末２０は走行停止指示を作業車両１０に出力する。また例えば、検出処理部１１２が人間を検出した場合において、操作端末２０の操作画面においてオペレータが走行停止指示及び走行継続指示のいずれかを所定時間行わなかった場合に、操作端末２０は走行停止指示を作業車両１０に出力する。走行処理部１１３は、操作端末２０から走行停止指示を取得すると、作業車両１０の自動走行を停止させる。これにより、作業車両１０は、自動走行を停止し、作業機１４による作業を停止する。走行停止指示及び走行継続指示の具体例については後述する。
【0041】
また、走行処理部１１３は、操作端末２０から走行再開指示を取得すると作業車両１０の自動走行を再開させる。例えば、検出処理部１１２が人間を検出して作業車両１０が走行を停止した後に操作端末２０の操作画面においてオペレータが走行再開ボタンを押下すると、操作端末２０は走行再開指示を作業車両１０に出力する。走行処理部１１３は、操作端末２０から走行再開指示を取得すると、作業車両１０の自動走行を再開させる。これにより、作業車両１０は、再び、走行経路Ｒに従って自動走行を再開する。走行処理部１１３は、本発明の走行処理部の一例である。
【0042】
［操作端末２０］
図１に示すように、操作端末２０は、操作制御部２１、記憶部２２、操作表示部２３、及び通信部２４などを備える情報処理装置である。操作端末２０は、タブレット端末、スマートフォンなどの携帯端末で構成されてもよい。
図１に示すように、操作端末２０は、操作制御部２１、記憶部２２、操作表示部２３、及び通信部２４などを備える情報処理装置である。操作端末２０は、タブレット端末、スマートフォンなどの携帯端末で構成されてもよい。
【0043】
通信部２４は、操作端末２０を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介して一又は複数の作業車両１０などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
【0044】
操作表示部２３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるタッチパネル、マウス、又はキーボードのような操作部とを備えるユーザーインターフェースである。オペレータは、前記表示部に表示される操作画面において、前記操作部を操作して各種情報（後述の作業車両情報、圃場情報、作業情報など）を登録する操作を行うことが可能である。また、オペレータは、前記操作部を操作して作業車両１０に対する作業開始指示、走行停止指示、走行再開指示などを行うことが可能である。さらに、オペレータは、作業車両１０から離れた場所において、操作端末２０に表示される走行軌跡により、圃場Ｆ内を走行経路Ｒに従って自動走行する作業車両１０の走行状態を把握することが可能である。
【0045】
記憶部２２は、各種の情報を記憶するＨＤＤ又はＳＳＤなどの不揮発性の記憶部である。記憶部２２には、操作制御部２１に後述の自動走行処理（図１０参照）を実行させるための自動走行プログラムなどの制御プログラムが記憶されている。例えば、前記自動走行プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、所定の読取装置（不図示）で読み取られて記憶部２２に記憶される。なお、前記自動走行プログラムは、サーバー（不図示）から通信網Ｎ１を介して操作端末２０にダウンロードされて記憶部２２に記憶されてもよい。
【0046】
操作制御部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、操作制御部２１は、前記ＲＯＭ又は記憶部２２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより操作端末２０を制御する。
【0047】
図１に示すように、操作制御部２１は、車両設定処理部２１１、圃場設定処理部２１２、作業設定処理部２１３、経路生成処理部２１４、出力処理部２１５、表示処理部２１６、受付処理部２１７などの各種の処理部を含む。なお、操作制御部２１は、前記ＣＰＵで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、一部又は全部の前記処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサーを前記処理部として機能させるためのプログラムであってもよい。
【0048】
車両設定処理部２１１は、作業車両１０に関する情報（以下、作業車両情報という。）を設定する。車両設定処理部２１１は、作業車両１０の機種、作業車両１０において測位用アンテナ１７４が取り付けられている位置、作業機１４の種類、作業機１４のサイズ及び形状、作業機１４の作業車両１０に対する位置、作業車両１０の作業中の車速及びエンジン回転数、作業車両１０の旋回中の車速及びエンジン回転数等の情報について、オペレータが操作端末２０において登録する操作を行うことにより当該情報を設定する。
【0049】
圃場設定処理部２１２は、圃場Ｆに関する情報（以下、圃場情報という。）を設定する。圃場設定処理部２１２は、圃場Ｆの位置及び形状、作業を開始する作業開始位置Ｓ及び作業を終了する作業終了位置Ｇ（図３参照）、作業方向等の情報について、操作端末２０において登録する操作を行うことにより当該情報を設定する。
【0050】
なお、作業方向とは、圃場Ｆから枕地、非耕作地等の非作業領域を除いた領域である作業領域において、作業機１４で作業を行いながら作業車両１０を走行させる方向を意味する。
【0051】
圃場Ｆの位置及び形状の情報は、例えばオペレータが作業車両１０に搭乗して圃場Ｆの外周に沿って一回り周回するように運転し、そのときの測位用アンテナ１７４の位置情報の推移を記録することで、自動的に取得することができる。また、圃場Ｆの位置及び形状は、操作端末２０に地図を表示させた状態でオペレータが操作端末２０を操作して当該地図上の複数の点を指定することで得られた多角形に基づいて取得することもできる。取得された圃場Ｆの位置及び形状により特定される領域は、作業車両１０を走行させることが可能な領域（走行領域）である。
【0052】
作業設定処理部２１３は、作業を具体的にどのように行うかに関する情報（以下、作業情報という。）を設定する。作業設定処理部２１３は、作業情報として、作業車両１０（無人トラクタ）と有人の作業車両１０の協調作業の有無、作業車両１０が枕地において旋回する場合にスキップする作業経路の数であるスキップ数、枕地の幅、及び非耕作地の幅等を設定可能に構成されている。
【0053】
経路生成処理部２１４は、前記設定情報に基づいて、作業車両１０を自動走行させる経路である走行経路Ｒを生成する。走行経路Ｒは、例えば作業開始位置Ｓから作業終了位置Ｇまでの作業経路である（図３参照）。図３に示す走行経路Ｒは、圃場Ｆの作業領域において作業車両１０を平行に往復走行させる経路である。経路生成処理部２１４は、車両設定処理部２１１、圃場設定処理部２１２及び作業設定処理部２１３で設定された前記各設定情報に基づいて、作業車両１０の走行経路Ｒを生成して記憶することができる。
【0054】
【0055】
作業車両１０は、操作端末２０において生成された走行経路Ｒのデータが作業車両１０に転送され、記憶部１２に記憶されるとともに、測位用アンテナ１７４により作業車両１０の現在位置を検出しつつ走行経路Ｒに沿って自律的に走行可能に構成されている。なお、作業車両１０の現在位置は、通常は測位用アンテナ１７４の位置と一致している。
【0056】
本実施形態に係る作業車両１０は、図３に示すような略長方形状の圃場Ｆを走行する。作業車両１０は、現在位置が圃場Ｆ内に位置している場合に自動走行できるように構成されており、現在位置が圃場Ｆ外（公道等）に位置している場合には自動走行できないように構成されている。また、作業車両１０は、例えば現在位置が作業開始位置Ｓと一致している場合に、自動走行できるように構成されている。
【0057】
作業車両１０は、現在位置が作業開始位置Ｓと一致している場合に、オペレータにより操作画面において作業開始ボタンが押されて作業開始指示が与えられると、走行処理部１１３によって、自動走行を開始し、作業機１４（図２参照）による作業を開始する。すなわち、操作制御部２１は、現在位置が作業開始位置Ｓと一致していることを条件に作業車両１０の自動走行を許可する。なお、作業車両１０の自動走行を許可する条件は、前記条件に限定されない。
【0058】
出力処理部２１５は、経路生成処理部２１４が生成した走行経路Ｒの情報を作業車両１０に出力する。また、出力処理部２１５は、通信部２４を介して制御信号を作業車両１０に送信することにより、作業車両１０に対して自動走行の開始及び停止等を指示することができる。これにより、作業車両１０を自動走行させることが可能となる。
【0059】
例えば、走行処理部１１３は、操作端末２０から取得する走行経路Ｒに基づいて、作業車両１０を作業開始位置Ｓから作業終了位置Ｇまで自動走行させる。また、走行処理部１１３は、作業車両１０が作業を終了すると、作業終了位置Ｇから圃場Ｆの入口まで自動走行させてもよい。作業車両１０が自動走行している場合、操作制御部２１は、作業車両１０の状態（位置、走行速度等）を作業車両１０から受信して操作表示部２３に表示させることができる。
【0060】
表示処理部２１６は、各種情報を操作表示部２３に表示させる。例えば、表示処理部２１６は、作業車両情報、圃場情報、作業情報などを登録する操作画面、作業車両１０に設置された複数のカメラ１５のそれぞれの撮像画像を表示する画像表示欄Ｌ１のレイアウトを設定する設定画面Ｄ１（図５参照）、前記撮像画像を表示する走行状態画面Ｄ２（図６～図８参照）、作業車両１０の走行を停止させる走行停止指示又は走行を継続させる走行継続指示を選択する走行選択画面Ｄ３（図９参照）などを操作表示部２３に表示させる。
【0061】
受付処理部２１７は、オペレータから各種操作を受け付ける。例えば、受付処理部２１７は、オペレータから画像表示欄Ｌ１のレイアウトを設定する操作（本発明の設定操作の一例）を受け付ける。また、受付処理部２１７は、オペレータから作業車両１０に作業を開始させる作業開始指示を受け付ける。また、受付処理部２１７は、オペレータから自動走行中の作業車両１０の走行を停止させる走行停止指示を受け付ける。また、受付処理部２１７は、作業車両１０が人間を検出した場合に、オペレータから作業車両１０の走行停止指示又は走行継続指示を受け付ける。また、受付処理部２１７は、オペレータから走行を停止した作業車両１０の走行を再開させる走行再開指示を受け付ける。受付処理部２１７が前記各指示を受け付けると、出力処理部２１５は、前記各指示を作業車両１０に出力する。受付処理部２１７は、本発明の受付処理部の一例である。
【0062】
作業車両１０の走行処理部１１３は、操作端末２０から作業開始指示を取得すると、作業車両１０の走行及び作業を開始させる。また、走行処理部１１３は、操作端末２０から走行停止指示を取得すると、作業車両１０の走行及び作業を停止させる。また、走行処理部１１３は、操作端末２０から走行継続指示を取得すると、作業車両１０の走行及び作業を継続させる。また、走行処理部１１３は、操作端末２０から走行再開指示を取得すると、作業車両１０の走行及び作業を再開させる。
【0063】
ここで、具体例について説明する。例えば、図４に示すように５個のカメラ１５Ｆ，１５Ｂ，１５Ｒ，１５Ｌ，１５Ｃ（カメラ１～５）が作業車両１０に設置されている場合に、表示処理部２１６は、作業車両１０から取得するカメラ１５の個数及び識別情報を取得すると、画像表示欄Ｌ１のレイアウトを設定する設定画面Ｄ１を操作表示部２３に表示させる。例えば図５Ａに示すように、表示処理部２１６は、カメラ１５Ｆ（カメラ１）、カメラ１５Ｂ（カメラ２）、カメラ１５Ｒ（カメラ３）、カメラ１５Ｌ（カメラ４）、カメラ１５Ｃ（カメラ５）のそれぞれの撮像画像を表示する５個の画像表示欄Ｌ１を任意の順に並べて表示させる。また例えば図５Ｂに示すように、表示処理部２１６は、前記５個の画像表示欄Ｌ１を作業車両１０におけるカメラ１５の設置レイアウトに対応する位置に配列してもよい。また、オペレータは、設定画面Ｄ１において、画像表示欄Ｌ１のレイアウトを変更することができる。例えば、オペレータは、設定画面Ｄ１において、各画像表示欄Ｌ１をドラッグアンドドロップ操作などにより所望の位置に配置することができる。
【0064】
また、表示処理部２１６は、設定画面Ｄ１の左側に示すように、作業車両１０に対する各カメラ１５の配置位置を識別可能な画像（カメラ配置画像Ｐｃ）を表示することが望ましい。これにより、オペレータは、各カメラ１５の配置位置と各画像表示欄Ｌ１のレイアウトとの対応関係を容易に把握することができる。なお、表示処理部２１６は、設定画面Ｄ１において、カメラ配置画像Ｐｃを省略してもよい。
【0065】
表示処理部２１６は、設定画面Ｄ１における前記設定操作に応じて複数の撮像画像Ｐ１を配置して表示させる。例えば、図５Ａに示す画像表示欄Ｌ１のレイアウトが設定されると、表示処理部２１６は、図６Ａに示すように、作業車両１０の自動走行の状態を表示する走行状態画面Ｄ２に、各カメラ１５の撮像画像を表示するカメラ画像表示欄Ａ１を表示させる。走行状態画面Ｄ２には、自動走行中の作業車両１０の現在の状態がリアルタイムに表示される。オペレータは、走行状態画面Ｄ２において、作業車両１０の現在の走行状況及び作業状況を把握することができる。表示処理部２１６は、カメラ画像表示欄Ａ１に、設定画面Ｄ１で設定されたレイアウトに応じて各画像表示欄Ｌ１を表示させる。図６Ｂには、各画像表示欄Ｌ１に撮像画像Ｐ１が表示された走行状態画面Ｄ２の一例を示している。各画像表示欄Ｌ１に表示される撮像画像Ｐ１は、リアルタイムに更新される。
【0066】
画像表示欄Ｌ１が図５Ｂに示すレイアウトに設定された場合には、表示処理部２１６は、図７Ａに示す各画像表示欄Ｌ１を表示させる。図７Ｂには、各画像表示欄Ｌ１に撮像画像Ｐ１が表示された走行状態画面Ｄ２の一例を示している。
【0067】
ここで、５個のカメラ１５の撮像画像のうち少なくともいずれかの撮像画像において障害物（ここでは人間）が検出された場合には、操作端末２０は以下の処理を実行する。例えば、作業車両１０の検出処理部１１２がカメラ１５Ｌ（カメラ４）から取得した撮像画像において人間を検出した場合に、検出処理部１１２は、人間を検出したことを示す判定結果と当該撮像画像に対応するカメラ１５Ｌ（カメラ４）の識別情報とを操作端末２０に出力する。また、取得処理部１１１は、各カメラ１５から取得した前記撮像画像の画像データを操作端末２０に出力する。
【0068】
操作端末２０の表示処理部２１６は、作業車両１０から前記画像データを取得すると、各画像表示欄Ｌ１に撮像画像Ｐ１を表示させる。また、表示処理部２１６は、作業車両１０から前記判定結果及び前記識別情報を取得すると、図８Ａに示すように、カメラ１５Ｌ（カメラ４）に対応する画像表示欄Ｌ１及び撮像画像Ｐ１を拡大して表示させる。これにより、障害物として検出された人間の画像が拡大表示される。
【0069】
他の実施形態として、表示処理部２１６は、複数の画像表示欄Ｌ１のうちカメラ１５Ｌ（カメラ４）に対応する画像表示欄Ｌ１を強調して表示させてもよい。例えば図８Ｂに示すように、表示処理部２１６は、カメラ１５Ｌ（カメラ４）に対応する画像表示欄Ｌ１の枠を太線で表示させる。また、表示処理部２１６は、カメラ１５Ｌ（カメラ４）に対応する画像表示欄Ｌ１をカラー表示、点灯、又は点滅させてもよい。また、表示処理部２１６は、カメラ画像表示欄Ａ１に、カメラ１５Ｌ（カメラ４）に対応する画像表示欄Ｌ１のみ表示させて、他のカメラ１５に対応する画像表示欄Ｌ１を非表示にしてもよい。
【0070】
また、表示処理部２１６は、作業車両１０から人間を検出したことを示す判定結果を取得すると、作業車両１０の走行を停止させる走行停止指示又は走行を継続させる走行継続指示を選択する走行選択画面Ｄ３を操作表示部２３に表示させる。図９には、走行選択画面Ｄ３の一例を示している。表示処理部２１６は、走行選択画面Ｄ３に、障害物を検出したことを示すメッセージと、走行を停止するか又は継続するかを選択させるメッセージと、走行を停止させる走行停止ボタンＢ１と、走行を継続させる走行継続ボタンＢ２とを表示させる。オペレータが走行選択画面Ｄ３において走行停止ボタンＢ１を押下すると、受付処理部２１７は、走行停止指示を受け付ける。受付処理部２１７が前記走行停止指示を受け付けると、出力処理部２１５は作業車両１０に前記走行停止指示を出力する。作業車両１０の走行処理部１１３は、操作端末２０から前記走行停止指示を取得すると、作業車両１０の走行及び作業を停止させる。
【0071】
これに対して、オペレータが走行選択画面Ｄ３において走行継続ボタンＢ２を押下すると、受付処理部２１７は、走行継続指示を受け付ける。受付処理部２１７が前記走行継続指示を受け付けると、出力処理部２１５は作業車両１０に前記走行継続指示を出力する。作業車両１０の走行処理部１１３は、操作端末２０から前記走行継続指示を取得すると、作業車両１０の走行及び作業を停止させず、走行及び作業を継続する。なお、受付処理部２１７が前記走行継続指示を受け付けた場合に、出力処理部２１５は作業車両１０に前記走行継続指示を出力しない構成であってもよい。これにより、走行処理部１１３は、作業車両１０の走行を停止させる処理を行わないため、結果的に走行及び作業を継続する。
【0072】
ここで、オペレータが走行選択画面Ｄ３において走行停止ボタンＢ１及び走行継続ボタンＢ２のいずれも押下しないことが考えられる。例えば、オペレータが、障害物が検出されたこと又は走行選択画面Ｄ３が表示されたことに気が付かないことが考えられる。この場合には、作業車両１０と障害物とが接触する危険性を回避するために、出力処理部２１５は、作業車両１０に前記走行停止指示を出力する。具体的には、受付処理部２１７が前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、走行処理部１１３は、作業車両１０の自動走行を停止させる。例えば、表示処理部２１６が走行選択画面Ｄ３を表示させてから、又は、検出処理部１１２が人間を検出してから、所定時間経過するまでの間にオペレータが走行停止ボタンＢ１及び走行継続ボタンＢ２のいずれも押下しない場合に、出力処理部２１５は、作業車両１０に前記走行停止指示を出力する。
【0073】
このように、検出処理部１１２により障害物（人間）が検出された場合において、受付処理部２１７が所定時間経過するまでの間に前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、走行処理部１１３は、作業車両１０の自動走行を停止させる。すなわち、作業車両１０は、障害物を検出した場合にオペレータから指示を受け付けなかった場合には、走行及び作業を停止する。
【0074】
ここで、前記所定時間は、予め設定された一定の時間であってもよいし、障害物を検出したときの障害物の大きさに応じた時間であってもよい。例えば、前記撮像画像において前記障害物の大きさが大きい場合には、前記撮像画像における前記障害物の大きさが小さい場合と比較して、作業車両１０と前記障害物との間の距離が近くなるため、操作制御部２１は、前記撮像画像における前記障害物の大きさが大きい程、前記所定時間を短く設定する。また、操作制御部２１は、前記撮像画像における前記障害物の大きさが小さい程、前記所定時間を長く設定する。これにより、作業車両１０と前記障害物との間の距離が近い場合には、前記走行停止指示及び前記走行継続指示の受付時間を短くし、作業車両１０と前記障害物との間の距離が長い場合には、前記走行停止指示及び前記走行継続指示の受付時間を長くすることができる。なお、走行処理部１１３は、前記所定時間の間は、作業車両１０を減速走行させてもよい。
【0075】
なお、操作制御部２１は、作業車両１０が障害物を検出したことを示す情報をオペレータに報知してもよい。例えば、操作制御部２１は、作業車両１０が障害物を検出したときに音声（警告音）を出力してもよい。
【0076】
作業車両１０が前記走行停止指示により停止した後に、オペレータが操作端末２０において前記走行再開指示を行うと、受付処理部２１７が前記走行再開指示を受け付け、出力処理部２１５が作業車両１０に前記走行再開指示を出力する。作業車両１０の走行処理部１１３は、操作端末２０から前記走行再開指示を取得すると、作業車両１０の走行及び作業を再開させる。
【0077】
なお、操作端末２０は、サーバー（不図示）が提供する農業支援サービスのウェブサイト（農業支援サイト）に通信網Ｎ１を介してアクセス可能であってもよい。この場合、操作端末２０は、操作制御部２１によってブラウザプログラムが実行されることにより、前記サーバーの操作用端末として機能することが可能である。そして、前記サーバーは、上述の各処理部を備え、各処理を実行する。
【0078】
他の実施形態として、上述した車両制御装置１１及び検出処理装置１９の各機能は、操作端末２０の操作制御部２１に含まれてもよい。すなわち、例えば操作制御部２１は、作業車両１０の各カメラ１５から撮像画像の画像データを取得して、障害物を検出する処理を実行してもよい。また、検出処理装置１９の各機能（取得処理部１１１及び検出処理部１１２）は、車両制御装置１１に含まれてもよい。
【0079】
［自動走行処理］
以下、図１０を参照しつつ、車両制御装置１１、検出処理装置１９、及び操作制御部２１によって実行される前記自動走行処理の一例について説明する。例えば、前記自動走行処理は、作業車両１０が自動走行を開始した場合に車両制御装置１１、検出処理装置１９、及び操作制御部２１によって開始される。
以下、図１０を参照しつつ、車両制御装置１１、検出処理装置１９、及び操作制御部２１によって実行される前記自動走行処理の一例について説明する。例えば、前記自動走行処理は、作業車両１０が自動走行を開始した場合に車両制御装置１１、検出処理装置１９、及び操作制御部２１によって開始される。
【0080】
なお、本願発明は、車両制御装置１１、検出処理装置１９、及び操作制御部２１が前記自動走行処理の一部又は全部を実行する自動走行方法の発明、又は、当該自動走行方法の一部又は全部を車両制御装置１１、検出処理装置１９、及び操作制御部２１に実行させるための自動走行プログラムの発明として捉えてもよい。また、前記自動走行処理は、一又は複数のプロセッサーが実行してもよい。
【0081】
ステップＳ１において、車両制御装置１１は、作業車両１０に作業を開始させる。例えば、操作端末２０の操作画面においてオペレータが作業開始ボタンを押下すると、操作制御部２１は、作業開始指示を作業車両１０に出力する。車両制御装置１１は、操作端末２０から作業開始指示が取得すると、作業車両１０の自動走行を開始させる。これにより、作業車両１０は、走行経路Ｒに従って自動走行を開始し、作業機１４による作業を開始する。
【0082】
次にステップＳ２において、検出処理装置１９は、作業車両１０に設置された各カメラ１５から撮像画像を取得する。例えば、検出処理装置１９は、５個のカメラ１５Ｆ，１５Ｂ，１５Ｒ，１５Ｌ，１５Ｃのそれぞれから所定のフレームレートで連続して撮像画像（フレーム画像）を取得する。
【0083】
次にステップＳ３において、検出処理装置１９は、取得した前記撮像画像において障害物（例えば人間）を検出する。具体的には、検出処理装置１９は、前記撮像画像に基づいて検出エリアに人間が含まれるか否かを判定する。検出処理装置１９が人間を検出した場合（Ｓ３：Ｙｅｓ）、処理はステップＳ４に移行する。一方、検出処理装置１９が人間を検出しない場合（Ｓ３：Ｎｏ）、処理はステップＳ３１に移行する。
【0084】
ステップＳ３１では、車両制御装置１１は、作業車両１０が作業を終了したか否かを判定する。作業車両１０が作業を終了した場合（Ｓ３１：Ｙｅｓ）、処理は終了する。一方、作業車両１０が作業を終了していない場合（Ｓ３１：Ｎｏ）処理はステップＳ２に戻る。このように、検出処理装置１９は、人物を検出しない場合には所定の作業が終了するまで撮像画像を取得しながら走行及び作業を行う。
【0085】
また、検出処理装置１９は、取得した撮像画像の画像データと、当該撮像画像に対応するカメラ１５の識別情報と、前記撮像画像に人間が含まれるか否かを示す判定結果とを操作端末２０に出力する。操作制御部２１は、作業車両１０の検出処理装置１９から前記画像データを取得すると、各画像表示欄Ｌ１に撮像画像Ｐ１を表示させる（図６Ｂ参照）。
【0086】
ステップＳ４では、操作制御部２１は、人物を含む撮像画像を拡大して表示させる。例えばカメラ１５Ｌ（カメラ４）に対応する撮像画像において人間が検出された場合に、操作制御部２１は、図８Ａに示すように、カメラ１５Ｌ（カメラ４）に対応する画像表示欄Ｌ１を拡大して撮像画像Ｐ１を拡大して表示させる。これにより、障害物として検出された人間の画像が拡大表示される。
【0087】
次にステップＳ５において、操作制御部２１は、作業車両１０の走行を停止させる走行停止指示又は走行を継続させる走行継続指示を選択する走行選択画面Ｄ３を操作表示部２３に表示させる（図９参照）。
【0088】
次にステップＳ６において、操作制御部２１は、走行選択画面Ｄ３おいてオペレータから前記走行停止指示を受け付けたか否かを判定する。例えば図９に示す走行選択画面Ｄ３においてオペレータが走行停止ボタンＢ１を押下すると、操作制御部２１は走行停止指示を受け付け（Ｓ６：Ｙｅｓ）、処理はステップＳ９に移行する。一方、図９に示す走行選択画面Ｄ３においてオペレータが走行停止ボタンＢ１を押下しない場合（Ｓ６：Ｎｏ）、処理はステップＳ７に移行する。
【0089】
次にステップＳ７において、操作制御部２１は、走行選択画面Ｄ３おいてオペレータから前記走行継続指示を受け付けたか否かを判定する。例えば図９に示す走行選択画面Ｄ３においてオペレータが走行継続ボタンＢ２を押下すると、操作制御部２１は走行継続指示を受け付け（Ｓ７：Ｙｅｓ）、処理はステップＳ７１に移行する。一方、図９に示す走行選択画面Ｄ３においてオペレータが走行継続ボタンＢ２を押下しない場合（Ｓ７：Ｎｏ）、処理はステップＳ８に移行する。
【0090】
ステップＳ７１では、操作制御部２１は、作業車両１０の走行及び作業を停止させず、走行及び作業を継続させる。その後、処理はステップＳ２に戻る。
【0091】
ステップＳ８では、操作制御部２１は、所定時間が経過したか否かを判定する。具体的には、操作制御部２１は、操作制御部２１が走行選択画面Ｄ３を表示させてから、又は、検出処理装置１９が人間を検出してから、前記走行停止指示及び前記走行継続指示のいずれも受け付けることなく前記所定時間が経過したか否かを判定する。前記走行停止指示及び前記走行継続指示のいずれも受け付けることなく前記所定時間が経過した場合（Ｓ８：Ｙｅｓ）、処理はステップＳ９に移行する。前記所定時間が経過しない場合（Ｓ８：Ｎｏ）、処理はステップＳ６に戻る。
【0092】
ステップＳ９では、操作制御部２１が作業車両１０に前記走行停止指示を出力し、車両制御装置１１が作業車両１０の走行及び作業を停止させる。
【0093】
ステップＳ１０において、操作制御部２１は、オペレータから走行再開指示を受け付けたか否かを判定する。操作制御部２１は、オペレータから前記走行再開指示を受け付けると（Ｓ１０：Ｙｅｓ）、処理はステップＳ２に戻る。一方、操作制御部２１がオペレータから前記走行再開指示を受け付けない場合（Ｓ１０：Ｎｏ）、処理は終了する。車両制御装置１１、検出処理装置１９、及び操作制御部２１は、作業車両１０が作業を終了するまでステップＳ１～Ｓ１０の処理を繰り返し実行する。
【0094】
以上説明したように、本実施形態に係る自動走行システム１は、作業車両１０に設置されるカメラ１５から撮像画像Ｐ１を取得し、撮像画像Ｐ１に基づいて障害物を検出する。また、自動走行システム１は、前記障害物が検出された場合に、作業車両１０の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付ける。そして、自動走行システム１は、前記走行停止指示を受け付けた場合に作業車両１０の自動走行を停止させ、前記走行継続指示を受け付けた場合に作業車両１０の自動走行を継続させる。これにより、作業車両１０が自動走行中に障害物を検出した場合に、オペレータは自動走行を停止させるか又は自動走行を継続させるかを選択することができる。例えば障害物が自動走行を妨げるものでない場合には、オペレータが自動走行を継続させる指示を行うことにより、作業車両１０は停止することなく自動走行を継続するため、作業効率の低下を防ぐことができる。また、例えば障害物が自動走行を妨げるものである場合には、オペレータが自動走行を停止させて前記障害物を取り除くなどして安全性を確保することができる。そして、オペレータは作業車両１０の安全性を確保した場合に自動走行を再開させることができる。よって、作業車両１０の安全性を確保しつつ、作業効率の低下を防ぐことが可能となる。
【0095】
また、作業車両１０が自動走行中に障害物を検出した場合において、オペレータが所定時間内に自動走行を停止させる操作及び自動走行を継続させる操作のいずれも行わない場合には、自動走行システム１は、自動走行を停止させる。これにより、オペレータが気が付かないうちに作業車両１０が自動走行を継続して障害物に接触する事態を回避することができる。
【0096】
本発明は上述の実施形態に限定されず、以下の実施形態であってもよい。
【0097】
上述の実施形態では、検出処理部１１２により障害物（人間）が検出された場合において、受付処理部２１７が所定時間経過するまでの間に前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、走行処理部１１３は、作業車両１０の自動走行を停止させている。他の実施形態として、検出処理部１１２により障害物が検出された場合において、受付処理部２１７が、作業車両１０と障害物との間の距離が所定距離になるまでの間に前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、走行処理部１１３は、作業車両１０の自動走行を停止させてもよい。
【0098】
操作制御部２１は、作業車両１０から取得する連続するフレーム画像に基づいて作業車両１０と障害物との間の距離の変化を算出してもよい。例えば図１１に示すように、操作制御部２１は、撮像画像Ｐ１における人間を囲む枠Ｗ１の大きさに基づいて前記距離を算出することができる。
【0099】
ここで、前記所定距離は、予め設定された一定の距離であってもよいし、障害物を検出したときの障害物の大きさに応じた距離であってもよい。例えば、前記撮像画像において前記障害物の大きさが大きい場合には、前記撮像画像における前記障害物の大きさが小さい場合と比較して、作業車両１０と前記障害物との間の距離が近くなるため、操作制御部２１は、前記撮像画像における前記障害物の大きさが大きい程、前記所定距離を短く設定する。また、操作制御部２１は、前記撮像画像における前記障害物の大きさが小さい程、前記所定距離を長く設定する。これにより、作業車両１０と前記障害物との間の距離が近い場合には、前記走行停止指示及び前記走行継続指示の受付時間を短くし、作業車両１０と前記障害物との間の距離が長い場合には、前記走行停止指示及び前記走行継続指示の受付時間を長くすることができる。なお、走行処理部１１３は、前記所定距離の間は、作業車両１０を減速走行させてもよい。
【0100】
他の実施形態として、例えば検出処理部１１２が特定の人物を検出して、オペレータが走行継続指示を行った場合において、その後に検出処理部１１２が同一人物を再び検出した場合に、作業車両１０は、オペレータの走行継続指示を取得することなく自動走行を継続してもよい。これにより、例えば自動走行を妨げることのない同一の障害物が検出される度に、オペレータに走行停止指示又は走行継続指示の選択操作を要求する必要がなくなるため、利便性を向上させることができる。
【0101】
また、本実施形態では、カメラによって撮影された画像を基に障害物の検出および判定を行ったが、他の実施形態としては、カメラとＬｉｄａｒ（障害物検出センサ）とを併用させても良い。具体的には、Ｌｉｄａｒによって障害物の検出を行い、カメラによって障害物の判定を行うこととしても良い。前記障害物検出センサは、超音波などを利用したセンサであってもよい。
【0102】
［発明の付記］
＜付記１＞
作業車両に設置される撮像部から撮像画像を取得する取得処理部と、
前記取得処理部により取得される前記撮像画像に基づいて障害物を検出する検出処理部と、
前記検出処理部により前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付ける受付処理部と、
前記受付処理部が前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記受付処理部が前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させる走行処理部と、
を備える自動走行システム。
＜付記１＞
作業車両に設置される撮像部から撮像画像を取得する取得処理部と、
前記取得処理部により取得される前記撮像画像に基づいて障害物を検出する検出処理部と、
前記検出処理部により前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付ける受付処理部と、
前記受付処理部が前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記受付処理部が前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させる走行処理部と、
を備える自動走行システム。
【0103】
＜付記２＞
前記受付処理部が前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、前記走行処理部は、前記作業車両の自動走行を停止させる、
付記１に記載の自動走行システム。
前記受付処理部が前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、前記走行処理部は、前記作業車両の自動走行を停止させる、
付記１に記載の自動走行システム。
【0104】
＜付記３＞
前記検出処理部により前記障害物が検出された場合において、前記受付処理部が所定時間経過するまでの間に前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、前記走行処理部は、前記作業車両の自動走行を停止させる、
付記２に記載の自動走行システム。
前記検出処理部により前記障害物が検出された場合において、前記受付処理部が所定時間経過するまでの間に前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、前記走行処理部は、前記作業車両の自動走行を停止させる、
付記２に記載の自動走行システム。
【0105】
＜付記４＞
前記所定時間は、前記撮像画像に含まれる前記障害物の大きさが大きい程、短い時間に設定され、前記撮像画像に含まれる前記障害物の大きさが小さい程、長い時間に設定される、
付記３に記載の自動走行システム。
前記所定時間は、前記撮像画像に含まれる前記障害物の大きさが大きい程、短い時間に設定され、前記撮像画像に含まれる前記障害物の大きさが小さい程、長い時間に設定される、
付記３に記載の自動走行システム。
【0106】
＜付記５＞
前記検出処理部により前記障害物が検出された場合において、前記受付処理部が、前記作業車両と前記障害物との間の距離が所定距離になるまでの間に前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、前記走行処理部は、前記作業車両の自動走行を停止させる、
付記２に記載の自動走行システム。
前記検出処理部により前記障害物が検出された場合において、前記受付処理部が、前記作業車両と前記障害物との間の距離が所定距離になるまでの間に前記走行停止指示及び前記走行継続指示のいずれも受け付けない場合に、前記走行処理部は、前記作業車両の自動走行を停止させる、
付記２に記載の自動走行システム。
【0107】
＜付記６＞
前記所定距離は、前記撮像画像に含まれる前記障害物の大きさが大きい程、短い距離に設定され、前記撮像画像に含まれる前記障害物の大きさが小さい程、長い距離に設定される、
付記５に記載の自動走行システム。
前記所定距離は、前記撮像画像に含まれる前記障害物の大きさが大きい程、短い距離に設定され、前記撮像画像に含まれる前記障害物の大きさが小さい程、長い距離に設定される、
付記５に記載の自動走行システム。
【0108】
＜付記７＞
前記撮像部は、前記作業車両の異なる場所に複数設置されており、
前記取得処理部により取得される複数の前記撮像部に対応する複数の前記撮像画像を操作端末に並べて表示させる表示処理部をさらに備え、
前記表示処理部は、複数の前記撮像画像のうち前記障害物が検出された前記撮像画像を強調して表示させる、
付記１～６のいずれかに記載の自動走行システム。
前記撮像部は、前記作業車両の異なる場所に複数設置されており、
前記取得処理部により取得される複数の前記撮像部に対応する複数の前記撮像画像を操作端末に並べて表示させる表示処理部をさらに備え、
前記表示処理部は、複数の前記撮像画像のうち前記障害物が検出された前記撮像画像を強調して表示させる、
付記１～６のいずれかに記載の自動走行システム。
【0109】
＜付記８＞
前記受付処理部は、さらに、前記操作端末に表示される複数の前記撮像画像のレイアウトを設定する設定操作を受け付け、
前記表示処理部は、前記操作端末において、前記設定操作に応じて複数の前記撮像画像を配置して表示させる、
付記７に記載の自動走行システム。
前記受付処理部は、さらに、前記操作端末に表示される複数の前記撮像画像のレイアウトを設定する設定操作を受け付け、
前記表示処理部は、前記操作端末において、前記設定操作に応じて複数の前記撮像画像を配置して表示させる、
付記７に記載の自動走行システム。
【0110】
＜付記９＞
一又は複数のプロセッサーが、
作業車両に設置される撮像部から撮像画像を取得することと、
取得する前記撮像画像に基づいて障害物を検出することと、
前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付けることと、
前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させることと、
を実行する自動走行システム。
一又は複数のプロセッサーが、
作業車両に設置される撮像部から撮像画像を取得することと、
取得する前記撮像画像に基づいて障害物を検出することと、
前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付けることと、
前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させることと、
を実行する自動走行システム。
【0111】
＜付記１０＞
作業車両に設置される撮像部から撮像画像を取得することと、
取得する前記撮像画像に基づいて障害物を検出することと、
前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付けることと、
前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させることと、
を一又は複数のプロセッサーに実行させるための自動走行プログラム。
作業車両に設置される撮像部から撮像画像を取得することと、
取得する前記撮像画像に基づいて障害物を検出することと、
前記障害物が検出された場合に、前記作業車両の自動走行を停止させる走行停止指示又は自動走行を継続させる走行継続指示を受け付けることと、
前記走行停止指示を受け付けた場合に前記作業車両の自動走行を停止させ、前記走行継続指示を受け付けた場合に前記作業車両の自動走行を継続させることと、
を一又は複数のプロセッサーに実行させるための自動走行プログラム。
【符号の説明】
【0112】
１ ：自動走行システム
１０ ：作業車両
１１ ：車両制御装置
１３ ：走行装置
１４ ：作業機
１５ ：カメラ（撮像部）
１７ ：測位装置
１９ ：検出処理装置
２０ ：操作端末
２１ ：操作制御部
２３ ：操作表示部
１１１ ：取得処理部
１１２ ：検出処理部
１１３ ：走行処理部
２１１ ：車両設定処理部
２１２ ：圃場設定処理部
２１３ ：作業設定処理部
２１４ ：経路生成処理部
２１５ ：出力処理部
２１６ ：表示処理部
２１７ ：受付処理部
１０ ：作業車両
１１ ：車両制御装置
１３ ：走行装置
１４ ：作業機
１５ ：カメラ（撮像部）
１７ ：測位装置
１９ ：検出処理装置
２０ ：操作端末
２１ ：操作制御部
２３ ：操作表示部
１１１ ：取得処理部
１１２ ：検出処理部
１１３ ：走行処理部
２１１ ：車両設定処理部
２１２ ：圃場設定処理部
２１３ ：作業設定処理部
２１４ ：経路生成処理部
２１５ ：出力処理部
２１６ ：表示処理部
２１７ ：受付処理部
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図8A】
【図8B】
【図9】
【図10】
【図11】