特許 7006449 作業車両の管理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-11

(45)【発行日】2022-01-24

(54)【発明の名称】作業車両の管理システム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220117BHJP

   B64C 39/02 20060101ALI20220117BHJP

   B64D 47/08 20060101ALI20220117BHJP

   B64C 27/08 20060101ALI20220117BHJP

【ＦＩ】

H04N5/232 030

B64C39/02

B64D47/08

B64C27/08

H04N5/232 939

H04N5/232 990

【請求項の数】 2

(21)【出願番号】P 2018065260

(22)【出願日】2018-03-29

(65)【公開番号】P2019176418

(43)【公開日】2019-10-10

【審査請求日】2020-09-25

(73)【特許権者】

【識別番号】000000125

【氏名又は名称】井関農機株式会社

(72)【発明者】

【氏名】関谷 大地

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１７－２０７８１５（ＪＰ，Ａ）

【文献】特開２０１７－１９９１７２（ＪＰ，Ａ）

【文献】特開２０１４－１８７９０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０５Ｄ １／０２

Ａ０１Ｂ ６９／００

Ｈ０４Ｑ ９／００

Ｂ６４Ｃ ３９／０２

Ｂ６４Ｄ ４７／０８

Ｂ６４Ｃ ２７／０８

(57)【特許請求の範囲】

【請求項1】

圃場を走行する作業車両と、
カメラを搭載し、作業車両と通信しつつ空中を飛行する無人航空機と、
前記作業車両と前記無人航空機と通信する端末装置とを備え、
前記カメラは撮影方向を変更する撮影方向変更手段を有し、
前記作業車両は第１測位装置を搭載して車両位置情報を取得し、
前記無人航空機は第２測位装置を搭載して無人航空機位置情報を取得し、
前記車両位置情報と前記無人航空機位置情報を比較して前後方向相対位置と上下方向相対位置を取得し、
前記撮影方向変更手段のうち、ピッチ角に関するカメラモータを前記前後方向相対位置と前記上下方向相対位置から求められる角度に基づいて制御し、前記作業車両を撮影する、
作業車両の管理システム。

【請求項2】

前記撮影方向変更手段はヨー角に関するカメラモータを備え、
前記車両位置情報と前記無人航空機位置情報を比較して横方向相対位置を取得し、
前記ヨー角に関するカメラモータは前記前後方向相対位置と前記横方向相対位置から求められる角度に基づいて制御され、
前記端末装置は前記作業車両から受信した車速情報を含む車両情報と、前記無人航空機から受信したカメラ映像を重ねて表示する、
請求項１に記載の作業車両の管理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、圃場で走行しながら作業を行う作業車両の管理システムに関する。

【背景技術】

【0002】

重機等の移動機器に追従して移動機器の上空を飛行可能な飛行体と、飛行体に搭載したカメラ等の周囲状況検出手段と、移動機器に搭載または遠隔地に設置され周囲状況検出手段からの検出データを表示する表示手段を備えることにより、移動機器の振動等の影響等を受けることなく、移動機器の周囲を精度よく表示する技術が公知である（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１８１１１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上記の技術では、上空から移動機器の周囲の映像をできるが、例えば移動機器側面を見たい場合など、撮影の方向を変更したい場合には飛行体を手動操作に切り替えて操作し、相対位置を変更する必要があり、相対位置を変更した後はカメラの向きを操作して移動機器を撮影する必要があった。本発明では、撮影対象の作業車両を自動で撮影して、状況を簡単に確認することができる作業車両の管理システムを提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明は、上記課題を解決すべく次のような特徴を有する。

【0006】

圃場（Ｆ）を走行する作業車両（１）と、カメラ（６１）を搭載し、作業車両（１）と通信しつつ空中を飛行する無人航空機（３１）と、前記作業車両（１）と前記無人航空機（３１）と通信する端末装置（４１）とを備え、前記カメラ（６１）は撮影方向を変更する撮影方向変更手段（Ｍ５，Ｍ６）を有し、前記作業車両（１）は第１測位装置（２１）を搭載して車両位置情報を取得し、前記無人航空機（３１）は第２測位装置（３３）を搭載して無人航空機位置情報を取得し、前記車両位置情報と前記無人航空機位置情報を比較して前後方向相対位置（ｄｙ）と上下方向相対（ｄｚ）位置を取得し、前記撮影方向変更手段のうち、ピッチ角に関するカメラモータ（Ｍ６）は、前後方向相対位置（ｄｙ）と上下方向相対位置（ｄｚ）から求められる角度（ａ２）に基づいて制御し、前記作業車両（１）を撮影することを特徴とする。

【0007】

これにより、無人航空機（３１）と作業車両（１）の相対位置に基づいて無人航空機（３１）のカメラ（６１）のピッチ角の向きを自動で調整できるため、作業車両の周辺の状況を簡単に確認することが可能となる。

【0008】

第２の発明は、第１の特徴を有する作業車両の管理システム（Ｓ）において、前記撮影方向変更手段（Ｍ５，Ｍ６）はヨー角に関するカメラモータ（Ｍ５）を備え、前記車両位置情報と前記無人航空機位置情報を比較して横方向相対位置（ｄｘ）を取得し、前記ヨー角に関するカメラモータは前記前後方向相対位置（ｄｙ）と前記横方向相対位置（ｄｘ）から求められる角度（ａ１）に基づいて制御され、前記端末装置（４１）は前記作業車両（１）から受信した車速情報（５１）を含む車両情報（５０）と、前記無人航空機（３１）から受信したカメラ映像（４３ａ）を重ねて表示することを特徴とする。

【0009】

これにより、作業車両（１）の車両情報（５０）を取得して端末装置（４１）の表示部（４３）にカメラ映像（４３ａ）と同時に表示するので、作業車両（１）の周辺の状況を目視しながら車両に関する情報を同時に取得可能となる。

【発明の効果】

【0010】

以上の発明の特徴を有する作業車両の管理システムによれば、作業車両周辺の状況を簡単に確認することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施例の作業車両システムの全体説明図。

【図2】本発明の実施例の作業車両の制御システムが有する機能ブロック図の説明図。

【図3】トラクタとドローンとの相対位置の説明図。

【図4】圃場内のトラクタとドローンの平面図。

【図5】コントローラのタッチパネル表示画像の説明図。

【発明を実施するための形態】

【0012】

図１は本発明の実施例の作業車両システムの全体説明図である。以下、図面に基づき、本発明の好ましい実施の形態について説明する。なお、各図において、発明の説明に不要な部材は適宜図示や説明を省略している。また、本明細書では作業車両の前進方向を向いて左右方向をそれぞれ左、右と言い、前進方向を前、後退方向を後と言うことにする。

【0013】

図１において、作業車両の管理システムＳは、作業車両の一例として、農業機械のトラクタ１を有する。トラクタ１は、機体の前後部に前輪２，２と後輪３，３とを備え、機体前部のエンジンルーム４内に搭載したエンジンＥの回転動力をトランスミッションケース５内の変速装置によって適宜減速して、これら前輪２，２と後輪３，３に伝えるように構成している。前記エンジンルーム４はボンネット６で覆う構成である。また、機体後部にロータリなどの作業機２００を装着し、ＰＴＯ軸（図示せず）で作業機を駆動する構成としている。

【0014】

機体の上部には、キャビン７が支持されている。キャビン７の内部では、トランスミッションケース５の上部位置に運転座席８が配置され、この運転座席８の前方には、ステアリングハンドル１１や、駐車ブレーキ（図示せず）や作業機の回転速度を変更するＰＴＯ変速レバー（図示せず）等を配置して構成されている。また、運転座席８の前方には、速度メータ（図示せず）や、操作用の各種スイッチ（図示せず）、外部との通信用の通信ユニット（図示せず）などが配置されている。運転座席８の前方下部には、クラッチペダル１２や、アクセルペダル１３、などが配置されている。

【0015】

キャビン７のルーフ７ａ上面には、車両位置情報を取得する第１測位装置の一例として、測位衛星から信号を受信して測位を行うＧＰＳユニット２１が配置されている。

【0016】

作業車両の制御システムＳは、無人航空機の一例としてのドローン３１を有する。実施例のドローン３１は、制御部（図示せず）や、バッテリー（図示せず）、通信ユニット（図示せず）等が備えられた本体部３２を有する。本体部３２には、無人航空機位置情報を取得する第２測位装置の一例として、測位衛星から信号を受信して測位を行うＧＰＳユニット３３が支持されている。前記本体部３２には、本体部から水平方向外側に向かって延びるアーム部３４が支持されている。

【0017】

アーム部３４の先端には、駆動源（図示せず）が配置されており、上下方向に延びる駆動軸には、回転翼３６が支持されている。実施例では、アーム部３４が十字方向に延びて、各アーム部３４の先端には各回転翼３６が支持されている。すなわち、実施例のドローン１は、いわゆる、クアドコプターとして構成されている。

【0018】

本体部３２の下部には、撮像部材の一例としてのドローン３１の下方を撮像するカメラ６１が垂直軸周りに回動する第１カメラモータＭ５と水平軸周りに回動する第２カメラモータＭ６による回転２自由度のジンバル機構を有するカメラステー６２により支持されている。また、本体部３２の下部には、下方との距離Ｈを測定する高度センサの一例としてのレーダ３８が支持されている。

【0019】

作業車両の制御システムＳは、端末装置の一例としてのコントローラ４１を有する。コントローラ４１は、本体部の一例としてのタブレット端末部４２を有する。タブレット端末部４２は、制御部（図示せず）や、通信ユニット（図示せず）を有する。また、タブレット端末部４２は、表示部の一例であり、入力部の一例としてのタッチパネル４３を有する。タッチパネル４３には、前記ドローン３１のカメラ６１のカメラ映像等が表示される。タブレット端末部４２に対して左右には、操作部の一例としてのジョイスティック４４，４６が支持されている。左右のジョイスティック４４，４６が操作されることで、前記ドローン３１を作業者が遠隔操作可能に構成されている。

【0020】

図２は本発明の実施例の作業車両の制御システムが有する機能ブロック図の説明図である。図２において、実施例の作業車両の制御システムＳは、ドローンの制御部ＣＡ、コントローラの制御部ＣＢ、トラクタの位置情報処理制御部ＣＣ、トラクタの車両制御部ＣＤを有する。各制御部ＣＡ～ＣＤは、外部との信号の入出力等を行う入出力インターフェース（Ｉ／Ｏ）、必要な処理を行うためのプログラムおよび情報等が記憶されたＲＯＭ（リードオンリーメモリ）、必要なデータを一時的に記憶するためのＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ等に記憶されたプログラムに応じた処理を行うＣＰＵ（中央演算処理装置）、ならびに発振器等を有する小型情報処理装置、いわゆる、マイクロコンピュータにより構成されており、前記ＲＯＭやＲＡＭ、不揮発性メモリ等の記憶部材に記憶されたプログラムを実行することにより種々の機能を実現することができる。

【0021】

ここで、実施例のトラクタ１において、位置情報処理制御部ＣＣと、車両制御部ＣＤとは、いわゆる、ＥＣＵ：Electronic Control Unitで構成されており、通信回線としてのＣＡＮ：Controller Area Networkで接続されている。ＣＡＮには、外部メモリＭｅが接続されており、トラクタ１の制御部ＣＣ，ＣＤが、外部メモリＭｅに対して互いにアクセス可能に構成されている。

【0022】

図２において、ドローンの制御部ＣＡには、ＧＰＳユニット３３や、カメラ６１、下方距離測定用のレーダ３８、飛行状態センサＳＮ１、通信ユニット（図示せず）などの出力信号が入力されている。

【0023】

ここで、実施例の飛行状態センサＳＮ１は、いわゆる、６軸ジャイロセンサにより構成されている。飛行状態センサＳＮ１は、ドローン３１に固定された３軸直交方向について、各軸方向の加速度と、各軸周りの角速度とを検出して、ドローン３１の加速度や姿勢状態などの飛行状態を検出する。

【0024】

実施例では、ドローンの姿勢状態は、角速度の時間積分により重力方向に対する各軸の回転角度として検出可能である。すなわち、重力方向（重力加速度方向）を基準とする各軸周りの回転角度により、ドローン３１の姿勢状態を検出することが可能である。なお、実施例では、６軸ジャイロセンサの構成を例示するが、加速度を検出するセンサと角速度を検出するセンサとを、別々に設ける構成も可能である。また、制御部ＣＡは、回転翼３６のモータＭ１～Ｍ４の制御信号や、通信ユニットの制御信号などを出力している。

【0025】

図２において、位置情報処理制御部ＣＣは、ＧＰＳユニット２１や、通信ユニット（図示せず）などの出力信号が入力されている。また、位置情報処理制御部ＣＣは、通信ユニットの制御信号などを出力している。

【0026】

図２において、位置情報処理制御部ＣＣは、前記信号出力要素からの出力信号に応じた処理を実行して、前記制御要素に制御信号を出力する機能を有しおり、コントローラ４１に記憶されている圃場情報や、作業工程の情報を取得して、外部メモリＭｅに記憶させる。

【0027】

車両制御部ＣＤは、車速センサＳＮ１１から車速情報、ハンドル切れ角センサＳＮ１２から前輪２，２の操舵角情報、変速センサＳＮ１３から変速段情報、ＰＴＯ回転数センサＳＮ１４からＰＴＯ回転情報が入力されている。また車両制御部ＣＤは、エンジンＥや、ステアリングモータＭ１１、変速装置ＨＳ、ブレーキシリンダＢＳ、その他の図示しない制御要素に接続されている。

【0028】

位置情報処理制御部ＣＣと車両制御部ＣＤは有線接続により情報通信を行い、ドローン制御部ＣＡ、コントローラ制御部ＣＢ、車両制御部ＣＤはそれぞれドローン通信ユニットＡＵ、コントローラ通信ユニットＢＵ、車両通信ユニットＤＵを有しており、相互に無線通信を行う。車両制御部ＣＤは車両認識手段の一例としての車両識別情報ＩＤを有しており、これをドローン制御部ＣＡとコントローラ制御部ＣＢが受信して撮影対象車両を認識できる。

【0029】

図３はトラクタとドローンとの相対位置の説明図である。トラクタ１とドローン３１との相対位置は車両位置情報の一例としてのトラクタ位置情報と無人航空機位置情報の一例としてのドローン位置情報、及びドローン３１のレーダ３８の検出値から算出される。

【0030】

トラクタ１を基準としたドローン３１の横方向相対位置ｄｘはトラクタ１のＧＰＳユニット２１を中心としてトラクタ１の右方向を正とした値で算出される。前後方向相対位置ｄｙはトラクタ１の後方向を正とした値で算出される。上下方向相対位置ｄｚはドローン３１のレーダ３８により得られる地面との距離Ｈ（図１参照）が適用される。

【0031】

ドローン３１のヨー角に関するカメラモータＭ５は前後方向相対位置ｄｙと横方向相対位置ｄｘの比から求められる角度ａ１に基づいて制御され、ピッチ角に関するカメラモータＭ６は上下方向相対位置ｄｚと前後方向相対位置ｄｙから求められる角度ａ２に基づいて制御されて常にトラクタ１を撮影するようにカメラ６１の向きが調整される。

【0032】

これにより、手動操作の必要なくコントローラ４１のタッチパネル４３には常にトラクタ１が表示されるため、管理者は簡単にトラクタ１の周辺状況を確認することができる。

【0033】

図４は圃場を走行するトラクタとドローンの平面図である。トラクタ１は圃場Ｆ内にあらかじめ定められた予定走行経路Ｒに沿って自律運転を行う。コントローラ４１でドローン３１の飛行位置が設定されると、コントローラ制御部ＣＢに予め記憶されている複数の相対位置の中から対応する横方向相対位置ｄｘ、前後方向相対位置ｄｙ、上下方向相対位置ｄｚの組み合わせが目標値としてドローン制御部ＣＡに送信され、ドローン制御部ＣＡは受信した目標値に合致するようにドローン３１を制御する。

【0034】

例えば、トラクタ１の後方位置Ｐ１が指定された場合は、横方向相対位置ｄｘが０、前後方向相対位置ｄｙが正の所定値（例えば、５ｍ）、上下方向相対位置ｄｚも正の所定値（例えば、７ｍ）が指示される。前方位置Ｐ４の場合は横方向相対位置ｄｘ、上下方向相対位置ｄｚは後方位置Ｐ１と同様の値で、前後方向相対位置ｄｙだけ負の所定値（例えば、－５ｍ）となる。

【0035】

右側方位置Ｐ２や左側方位置Ｐ３が指定された場合、前後方向相対位置ｄｙが０となり、横方向相対位置ｄｘが所定値を取り、上下方向相対位置ｄｚはキャビン７のルーフ７ａよりも低い位置（例えば、２ｍ）が指示され、トラクタ１を真横から撮影できる位置を飛行する。

【0036】

図５はコントローラのタッチパネル表示画像の説明図である。タッチパネル４３にはドローン３１のカメラ６１で撮影されるカメラ映像４３ａが表示される。コントローラ制御部ＣＢは、タッチパネル４３にドローン制御部ＣＡから受信したカメラ３７のカメラ映像４３ａを表示するとともに、撮影対象車両の車両制御部ＣＤから受信した車速情報５１、ＰＴＯ回転情報５２、変速段情報５３を含む車両情報５０を撮影画像４３ａに重ねて表示する。

【0037】

これにより、タッチパネル４３に作業車両１の周辺の状況を目視確認できるカメラ映像４３ａと同時に、映像からだけでは把握することが困難な車速情報、ＰＴＯ回転情報、変速情報を表示できるため、作業車両の周辺の状況を目視しながら車両に関する情報を同時に取得可能となる。

【0038】

また、タッチパネル４３には撮影画像４３ａに重ねて飛行位置設定手段の一例としてのドローン位置ボタン６３が表示される。ドローン位置ボタン６３は現在選択されている位置が色反転して表示され、他のボタンがタッチ操作されると、操作されたボタンに対応する横方向相対位置ｄｘ、前後方向相対位置ｄｙ、上下方向相対位置ｄｚの組み合わせが目標値としてドローン制御部ＣＡに送信される。

【0039】

上記実施例に係る作業車両の管理システムによれば、作業車両の周辺の状況をさまざまな方向から簡単に確認することが可能となる。

【符号の説明】

【0040】

１ トラクタ（作業車両）
３１ ドローン（無人航空機）
４１ コントローラ（端末装置）
４３ａ カメラ映像
５０ 車両情報
５１ 車速情報
６１ カメラ
６３ ドローン位置ボタン（飛行位置設定手段）
Ｆ 圃場
Ｍ５ カメラモータ（撮影方向変更手段）
Ｍ６ カメラモータ（撮影方向変更手段）

【図1】

【図2】

【図3】

【図4】

【図5】