特開 2023-160359 飛行体の制御方法、制御プログラム、及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023160359

(43)【公開日】2023-11-02

(54)【発明の名称】飛行体の制御方法、制御プログラム、及び記録媒体

(51)【国際特許分類】

   G05D 1/00 20060101AFI20231026BHJP

   A01D 41/12 20060101ALI20231026BHJP

   A01D 41/127 20060101ALI20231026BHJP

   A01D 69/00 20060101ALI20231026BHJP

   B64C 13/20 20060101ALI20231026BHJP

   B64C 27/04 20060101ALI20231026BHJP

   B64C 39/02 20060101ALI20231026BHJP

   B64D 47/08 20060101ALI20231026BHJP

   H04Q 9/00 20060101ALI20231026BHJP

   H04Q 9/02 20060101ALI20231026BHJP

【ＦＩ】

G05D1/00 Z

A01D41/12 D

A01D41/127

A01D69/00 302B

B64C13/20 Z

B64C27/04

B64C39/02

B64D47/08

H04Q9/00 301B

H04Q9/02 B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022070686

(22)【出願日】2022-04-22

(71)【出願人】

【識別番号】000001878

【氏名又は名称】三菱マヒンドラ農機株式会社

(74)【代理人】

【識別番号】110003133

【氏名又は名称】弁理士法人近島国際特許事務所

(72)【発明者】

【氏名】錦織 将浩

【テーマコード（参考）】

2B074

2B076

5H301

5K048

【Ｆターム（参考）】

2B074AA01

2B074BA09

2B074EA01

2B074EA03

2B074EA06

2B074EB01

2B074EB05

2B074EB06

2B074EB15

2B074EC01

2B074FA10

2B074FB02

2B074FC02

2B074GJ07

2B076AA03

2B076EA02

2B076EB01

2B076EC14

2B076ED01

2B076ED06

5H301AA03

5H301AA06

5H301BB01

5H301CC03

5H301CC04

5H301CC06

5H301CC07

5H301CC10

5H301GG07

5H301GG09

5H301GG16

5H301QQ08

5K048AA05

5K048BA45

5K048BA48

5K048DA01

5K048DC01

5K048EB02

5K048FC01

5K048HA01

5K048HA02

(57)【要約】

【課題】作業車両の走行速度に関わらず、作業車両の周囲の状況をより的確に取得する。
【解決手段】制御装置が、作業車両の位置情報を取得する車両位置取得工程と、飛行体の位置情報を取得する飛行体位置取得工程と、を備える（ステップＳ１）。制御装置が、走行経路に沿って設定された飛行経路において飛行体が飛行するように制御し、かつ、飛行体が飛行経路において作業車両の走行経路における走行位置よりも進行方向前方上空を飛行するように、飛行体の作業車両に対する相対位置を制御する飛行位置制御工程と、作業車両が直進走行する際に、作業車両の速度が第１速度であるときは作業車両と飛行体との離間距離が第１距離であり、作業車両の速度が第１速度より速い第２速度であるときは離間距離が第１距離より長い第２距離となるように、相対位置を変更する変更工程と、を備える（ステップＳ４）。
【選択図】図４

【特許請求の範囲】

【請求項1】

圃場を走行する作業車両の位置に対して、カメラを搭載して飛行する飛行体の飛行位置を制御装置によって制御する飛行体の制御方法であって、
前記制御装置が、前記作業車両の位置情報を取得する車両位置取得工程と、
前記制御装置が、前記飛行体の位置情報を取得する飛行体位置取得工程と、
前記制御装置が、前記作業車両が走行する所定の走行経路に沿って設定された飛行経路において前記飛行体が飛行するように制御し、かつ、前記車両位置取得工程及び前記飛行体位置取得工程により得られた情報に基づいて、前記飛行体が前記飛行経路において前記作業車両の前記走行経路における走行位置よりも進行方向前方上空を飛行するように、前記飛行体の前記作業車両に対する相対位置を制御する飛行位置制御工程と、
前記制御装置が、前記作業車両が直進走行する際に、前記作業車両の速度が第１速度であるときは前記作業車両と前記飛行体との距離が第１距離であり、前記作業車両の速度が第１速度より速い第２速度であるときは前記距離が前記第１距離より長い第２距離となるように、前記相対位置を変更する変更工程と、を備える、
ことを特徴とする飛行体の制御方法。

【請求項2】

前記制御装置が、前記作業車両が前記走行経路に沿って自律走行するように制御する走行位置制御工程を備える、
ことを特徴とする請求項１に記載の飛行体の制御方法。

【請求項3】

前記作業車両は、前記圃場の穀稈の刈取り作業を行う刈取部を有するコンバインであり、
前記制御装置が、前記カメラから取得した穀稈の倒伏情報に基づいて、前記刈取部における刈取速度と、前記作業車両の車速と、を調節する調節工程を備える、
ことを特徴とする請求項１に記載の飛行体の制御方法。

【請求項4】

前記倒伏情報は、穀稈の倒れる方向に関する情報を含む、
ことを特徴とする請求項３に記載の飛行体の制御方法。

【請求項5】

請求項１乃至４のいずれか１項に記載の飛行体の制御方法の各工程を、コンピュータに実行させるための制御プログラム。

【請求項6】

請求項５に記載の制御プログラムを記録した、前記コンピュータにより読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、農作業に用いられる作業車両に対して飛行させたカメラを搭載した飛行体の制御方法、制御プログラム、及び記録媒体に関する。

【背景技術】

【0002】

従来、農作業に用いられる作業車両の一例であるコンバインを圃場で使用する際に、コンバインの周囲の状況を取得するために、例えばカメラを搭載したドローン（飛行体）をコンバインの近傍に飛行させる技術が知られていた。そのような技術として、例えば、事前に入力した刈取経路に基づいて自律走行するコンバインに対し、機体前方上空を刈取経路に対応した飛行経路を設定して、この飛行経路でドローンを飛行させ、コンバインが圃場の障害物を回避できるように画像解析する技術が開発されている（特許文献１参照）。このドローンの制御方法によれば、自律走行するコンバインに対して、ドローンの相対位置を細かく設定する必要が無く飛行させることができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－２８６８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１に記載したドローンの制御方法では、ドローンは予め決まった飛行経路を飛行するものの、例えば、コンバインの走行速度に応じたドローンの相対位置の微細な設定などはできなかった。このため、作業車両の走行速度によっては、作業車両の周囲の状況を的確に取得することは困難であった。

【0005】

そこで、本発明は、作業車両の走行速度に関わらず、作業車両の周囲の状況をより的確に取得できる飛行体の制御方法、制御プログラム、及び記録媒体を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の飛行体（１００）の制御方法は、圃場（３０）を走行する作業車両（１）の位置に対して、カメラ（１０３）を搭載して飛行する飛行体（１００）の飛行位置を制御装置（１０）によって制御する飛行体（１００）の制御方法であって、
前記制御装置（１０）が、前記作業車両（１）の位置情報を取得する車両位置取得工程と、
前記制御装置（１０）が、前記飛行体（１００）の位置情報を取得する飛行体位置取得工程と、
前記制御装置（１０）が、前記作業車両（１）が走行する所定の走行経路（Ｐ１）に沿って設定された飛行経路（Ｐ２）において前記飛行体（１００）が飛行するように制御し、かつ、前記車両位置取得工程及び前記飛行体位置取得工程により得られた情報に基づいて、前記飛行体（１００）が前記飛行経路（Ｐ２）において前記作業車両（１）の前記走行経路（Ｐ１）における走行位置よりも進行方向前方上空を飛行するように、前記飛行体（１００）の前記作業車両（１）に対する相対位置を制御する飛行位置制御工程と、
前記制御装置（１０）が、前記作業車両（１）が直進走行する際に、前記作業車両（１）の速度が第１速度であるときは前記作業車両（１）と前記飛行体（１００）との距離が第１距離（Ｌ１）であり、前記作業車両（１）の速度が第１速度より速い第２速度であるときは前記距離が前記第１距離（Ｌ１）より長い第２距離（Ｌ２）となるように、前記相対位置を変更する変更工程と、を備える。

【0007】

例えば、図４を参照して、前記制御装置（１０）が、前記作業車両（１）が前記走行経路（Ｐ１）に沿って自律走行するように制御する走行位置制御工程を備える。

【0008】

例えば、図１及び図８を参照して、前記作業車両（１）は、前記圃場の穀稈の刈取り作業を行う刈取部（４）を有するコンバイン（１）であり、
前記制御装置（１０）が、前記カメラ（１０３）から取得した穀稈の倒伏情報に基づいて、前記刈取部（４）における刈取速度と、前記作業車両（１）の車速と、を調節する調節工程を備える。

【0009】

例えば、図８を参照して、前記倒伏情報は、穀稈の倒れる方向に関する情報を含む。

【0010】

本発明の制御プログラムは、上記に記載の飛行体（１００）の制御方法の各工程を、コンピュータに実行させる。

【0011】

本発明のコンピュータにより読み取り可能な記録媒体は、上記に記載の制御プログラムを記録している。

【0012】

なお、上述カッコ内の符号は、図面と対照するためのものであるが、何ら本発明の構成を限定するものではない。

【発明の効果】

【0013】

請求項１に係る本発明は、このため、走行速度が速くなるにつれて遠くを撮影するから、迅速な対応が可能となり、また、走行速度が遅くなるにつれて近くを撮影するから、畔際でデバイダ周辺の確認も行うことができる。したがって、作業車両の走行速度に関わらず、作業車両の周囲の状況をより的確に取得できるようになる。

【0014】

請求項２に係る本発明は、オペレータの負荷を軽減することができる。

【0015】

請求項３に係る本発明は、飛行体の画像データを解析することで、きめ細かい作業車両の設定を自動でできるため、オペレータの負荷が軽減されるよって、より適切な刈り取り作業を実行することができる。

【0016】

請求項４に係る本発明は、特に倒伏材刈取などにおいて、より適切な刈り取り作業を実行することができる。

【図面の簡単な説明】

【0017】

【図1】実施形態に係るコンバインとドローンを示す側面図。

【図2】コンバインを示すブロック図。

【図3】ドローンを示すブロック図。

【図4】飛行体の制御方法の処理手順を示すフローチャート。

【図5】コンバインとドローンとの相対位置を示す側面図であり、（ａ）はコンバインが停止した状態、（ｂ）はコンバインが低速前進している状態、（ｃ）はコンバインが高速前進している状態である。

【図6】圃場を示す平面図であり、（ａ）はコンバインの走行経路、（ｂ）はドローンの飛行経路、（ｃ）はコンバインの走行経路とドローンの飛行経路とを示す。

【図7】排出時におけるコンバインとドローンとの相対位置を示す図であり、（ａ）は背面図、（ｂ）は平面図である。

【図8】コンバインによる刈取調整制御の処理手順を示すフローチャート。

【発明を実施するための形態】

【0018】

［コンバイン］
以下、図面に沿って、本発明の飛行体の制御システムを実行する飛行体の制御方法の実施形態について説明する。本実施形態では、本発明の飛行体の制御方法をコンバイン１の周囲を飛行するドローン１００を制御する方法に適用している。本実施形態に係るコンバイン１は、図１に示すように、左右一対のクローラ式走行装置２に支持された走行機体３を有している。走行機体３の前方には、圃場の穀稈の刈取り作業を行う刈取部４が昇降自在に設けられており、走行機体３の前方一側方には、オペレータが着座してコンバイン１を操縦する運転操作部５が設けられている。走行機体３の他側方には、刈取部４で刈取り・搬送された穀稈を脱穀する脱穀部６が設けられていると共に、脱穀部６の下方には、脱穀された選別物を選別する選別部７が設けられている。

【0019】

運転操作部５の後方には、選別部７で選別された脱穀した穀粒を貯留するグレンタンク８が配置されており、グレンタンク８の後方には、グレンタンク８内に貯留された穀粒を機外に排出する排出オーガ９が設けられている。なお、本実施形態では、水平に載置されたコンバイン１の運転操作部５に着座したオペレータが向いている正面方向を前方とする。走行機体３の右前部には不図示のエンジンが設けられ、エンジンで発生した動力は、走行系の動力と作業系の動力とに分岐される。走行系の動力は、左右のクローラ式走行装置２に伝動され、作業系の動力は、不図示の刈取クラッチを介して刈取部４に伝動される他、不図示の脱穀クラッチを介して脱穀部６及びグレンタンク８等に伝動される。

【0020】

図２に示すように、コンバイン１には、走行機体３に接続されて走行機体３を制御する制御装置の一例であるＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１０が搭載されている。ＥＣＵ１０は、ＣＰＵや、ＲＯＭやＲＡＭ等の記憶部１１を含むマイクロコンピュータにより構成され、飛行体の制御方法を実行可能である。記憶部１１は、予め取得した圃場マップ情報１２（圃場情報）と、予め取得した走行経路情報１３とを保存する。尚、本実施形態では、自律走行の場合は走行経路情報１３に沿って自動走行するが、オペレータの運転による手動走行の場合は走行経路情報１３をモニタ表示部１９に表示してオペレータはそれに従って走行するようにできる。

【0021】

また、記憶部１１は、ドローン１００から取得した画像情報を解析する画像解析処理部１４を有し、ドローン１００から取得した画像情報の解析により取得された穀稈の倒伏マップ情報１５を保存する。更に、記憶部１１は、刈取部４を調整する刈取調整部１６と、クローラ式走行装置２を調整する走行調整部１７とを有している。記憶部１１は、コンバイン１及びドローン１００の各部を制御するための制御プログラムが記憶されている。ＥＣＵ１０は、記憶部１１に記憶されている制御プログラムを実行して、コンバイン１及びドローン１００の各部を制御する。

【0022】

本実施形態では、記憶部１１としてＲＡＭやＲＯＭを適用しているが、記憶媒体はこれらに限られず、例えば、磁気記憶媒体（フロッピーディスク、ハードディスク、磁気テープ等）、光ディスク（ＭＯやＰＤ等の光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋ＲＷ等）、半導体ストレージ、紙テープ、ＲＯＭ素子などを挙げることができる。

【0023】

尚、本実施形態に係る飛行体の制御方法を実現するためのＥＣＵ１０の処理プログラムは、ＲＯＭやＲＡＭから成る記憶部１１やＨＤＤやＳＳＤなどから成る記憶装置に格納しておくことができる。その場合、飛行体の制御方法を実現するためのＥＣＵ１０の処理プログラムは、ネットワークインターフェイスを介して、上記の各記憶部に供給し、また新しい別のプログラムに更新することができる。あるいは、飛行体の制御方法を実現するためのＥＣＵ１０の処理プログラムは、各種の磁気ディスクや光ディスク、フラッシュメモリなどの記憶手段と、そのためのドライブ装置を経由して、上記の各記憶部に供給し、またその内容を更新することができる。飛行体の制御方法を実現するためのＥＣＵ１０の処理を実行可能なプログラムを格納した状態における各種の記憶手段、記憶部、ないし記憶デバイスは、本発明の飛行体の制御方法、コンピュータ読み取り可能な記録媒体である。

【0024】

ＥＣＵ１０には、ドローン１００や不図示のインターネットに接続するためのアンテナや電装部品等のハードウェアとして通信部１８と、運転操作部５に配置されてＥＣＵ１０からの出力を表示するモニタ表示部１９と、警報などを報知するブザー２０と、が接続されている。ＥＣＵ１０には、コンバイン１の稼働情報を検出するための各種のセンサが設けられており、例えば、ＧＰＳセンサ２１やＩＭＵ２２が設けられている。ＧＰＳセンサ２１は、ＧＰＳ衛星からの電波（データ）を受信する機体位置検出センサ（ＧＮＳＳ）であり、ＧＰＳによって走行機体３の位置を計測し、取得した位置情報をＥＣＵ１０に送信する。ＩＭＵ２２は３軸のジャイロと３方向の加速度計からなり、コンバイン１の姿勢情報を取得する。尚、本実施形態では、コンバイン１はオペレータの操作による手動走行と、オペレータの操作を要しない自動走行とのいずれも実施可能であるものとしている。自動走行の場合は、ＥＣＵ１０は、ＧＰＳセンサ２１とＩＭＵ２２から求められるコンバイン１の位置情報と姿勢情報を取得し、取得したコンバイン１の位置情報及び姿勢情報に基づいて、予め設定した走行経路情報１３に沿ってクローラ式走行装置２が走行するように操舵量を演算し、この演算した操舵量を不図示の操舵部側制御部に伝える。操舵部側制御部４２は、クローラ式走行装置２の操舵量が指示された操舵量になるように操舵する。

【0025】

本実施形態では、モニタ表示部１９にドローン１００のバッテリ情報を表示するようにしている。これにより、オペレータは、コンバイン１で刈取しながら、ドローン１００のバッテリ容量が少なくなったことを検知できるので、ダウンタイムの短縮につながる。

【0026】

ＥＣＵ１０には、刈取部４における刈取搬送速度を調整可能な刈取搬送ＨＳＴ２３と、走行速度を調整可能な走行ＨＳＴ２４と、が接続されている。尚、ＨＳＴとは、油圧ポンプが有する斜板の角度に応じた供給油を油圧モータに供給することにより、エンジンからの動力を無段階に変速して刈取部４あるいはクローラ式走行装置２へ伝達する静油圧式無段変速装置である。また、ＥＣＵ１０には、刈取部４による刈取搬送速度を検出する刈取搬送速度センサ２５と、走行機体３の走行速度を検出する走行速度センサ２６と、が接続されている。刈取搬送ＨＳＴ２３及び走行ＨＳＴ２４は、刈取搬送速度センサ２５及び走行速度センサ２６により得られた情報や倒伏マップ情報１５に基づき刈取搬送速度及び走行速度を調節する。

【0027】

また、圃場情報については、例えば、単純に撮影した画像を運転操縦部のモニタ表示部１９に表示するものとしてもよく、これによれば圃場情報を刈取作業に活かすことができる。あるいは、撮影画像を分析し、分析結果に基づき、コンバイン１の制御を自動的に調節するようにしてもよい。また、制御モードの切替については、切替スイッチを設けて手動で切り替える構成としても良い。あるいは、状況に応じて自動的に切り替わる構成としても良い。

【0028】

［ドローン］
次に、飛行体の一例であるドローン１００について、図１及び図３を用いて説明する。図１に示すように、ドローン１００は、水平方向外側に向かって延びた形状のアーム部１０１と、アーム部１０１の先端に設けられたモータ１１９（図３参照）に取り付けられたプロペラ１０２と、下部に設けられたカメラ１０３と、を有している。本実施形態では、アーム部１０１が十字方向に延びて、各アーム部１０１の先端にそれぞれプロペラ１０２が支持されている。カメラ１０３は、ドローン１００の下方を撮影可能であり、撮影方向は不図示の揺動機構により調整可能になっている。カメラ１０３としては、例えば、高感度カメラ、赤外線カメラ、マルチスペクトルカメラ等を適用することができる。

【0029】

図３に示すように、ドローン１００は、制御部１１０を有している。制御部１１０は、ＣＰＵや、ＲＯＭやＲＡＭ等の記憶部１１１を含むマイクロコンピュータにより構成されている。記憶部１１１は、予め取得した圃場マップ情報１１２と、予め取得した飛行経路情報１１３とを保存する。尚、本実施形態では、飛行経路はコンバイン１の位置によって変わるものであり、飛行経路情報１１３は無くてもよい。また、記憶部１１１は、ドローン１００の目標位置を算出する目標位置算出部１１４と、飛行調整部１１５と、カメラ１０３により撮影された画像情報であるカメラ撮影情報１１６とを保存している。

【0030】

制御部１１０には、コンバイン１に無線接続するためのアンテナや電装部品等のハードウェアとして通信部１１８と、プロペラ１０２を駆動するためのモータ１１９と、が接続されている。制御部１１０には、ドローン１００の位置や傾斜を検出するための各種のセンサが設けられており、例えば、ＧＰＳセンサ１２１、ＩＭＵ１２２、高度計１２３が設けられている。ＧＰＳセンサ１２１及びＩＭＵ１２２は、コンバイン１に搭載したＧＰＳセンサ２１及びＩＭＵ２２と同様の構成であるので、詳細な説明を省略する。高度計１２３は、例えば、下方との距離を測定するレーダなどからなる。

【0031】

本実施形態では、ドローン１００で取得した画像データをコンバイン１へ通信させ、コンバイン１がデータ受け取れるようにする。そして、コンバイン１で画像データを解析して、コンバイン１の刈取速度・搬送速度や脱穀選別部の制御を自動的に行わせる。但し、画像データの解析は、ドローン側、又は通信手段を介してコンバイン１以外の外部端末側で行っても良い。また、予め入手している圃場情報と、ドローン情報の両方に基づいて制御を行っても良い。

【0032】

［ドローンの飛行制御］
次に、本実施形態における飛行体の制御システムについて、図４～図８を用いて説明する。まず、本実施形態でのコンバイン１の走行経路Ｐ１とドローン１００の飛行経路Ｐ２について、図６（ａ）～（ｃ）を用いて説明する。図６（ａ）は、圃場３０におけるコンバイン１と走行経路Ｐ１とを示す。圃場３０は内部に作付け範囲３１を有している。コンバイン１は、圃場３０の作付け範囲３１の中で作付けなどの作業を実行するものであり、例えば、コンバイン１が直進して作付け範囲３１の境界線に近付くと旋回して反転するように走行経路Ｐ１が設定されている。図６（ｂ）は、圃場３０におけるドローン１００と飛行経路Ｐ２とを示す。飛行経路Ｐ２は、コンバイン１が走行する所定の走行経路Ｐ１に沿って設定されている。図６（ｃ）は、圃場３０におけるコンバイン１及び走行経路Ｐ１とドローン１００及び飛行経路Ｐ２とを示す。ドローン１００は飛行経路Ｐ２に沿って自動的に飛行しながらも、コンバイン１の前方上空を飛行するように設定されている。尚、本実施形態では、コンバイン１は走行経路Ｐ１に沿って自律走行するものとしている。但し、コンバイン１が自律走行せずにオペレータが手動で走行させるものとしてもよい。

【0033】

図４は、ドローン１００の飛行を制御する飛行体の制御方法の手順を示すフローチャートである。ここでの飛行体の制御方法は、圃場を走行するコンバイン１の位置に対して、カメラ１０３を搭載して飛行するドローン１００の飛行位置をＥＣＵ１０によって制御する制御方法である。図４に示すように、ＥＣＵ１０は、コンバイン１の作業中に情報の検出を実行する（ステップＳ１）。ここでは、例えば、圃場情報の検出、ドローン１００の飛行経路情報の検出、コンバイン１の稼働情報や位置・向き・速度に関する情報の検出、ドローン１００のカメラ１０３による撮像情報や位置・速度に関する情報の検出を実行する。即ち、ＥＣＵ１０は、コンバイン１の位置情報を取得する車両位置取得工程と、ドローン１００の位置情報を取得する飛行体位置取得工程と、を実行する。

【0034】

ＥＣＵ１０は、コンバイン１がグレンタンク８に貯留された穀粒を機外に排出する排出作業中であるか否かを判断する（ステップＳ２）。ＥＣＵ１０は、コンバイン１が排出作業中でないと判断した場合は（ステップＳ２のＮＯ）、コンバイン１が走行中であるか否かを判断する（ステップＳ３）。本実施形態では、コンバイン１は自律走行するので、ここでの判断は、ＥＣＵ１０が、コンバイン１が走行経路Ｐ１に沿って自律走行するように制御する走行位置制御工程を実行しているか否かによって判断する。ＥＣＵ１０は、コンバイン１が走行中であると判断した場合は（ステップＳ３のＹＥＳ）、ドローン１００がコンバイン１から離間している距離を算出し、また、ドローン１００の目標位置を算出する（ステップＳ４）。即ち、ＥＣＵ１０は、飛行経路Ｐ２においてドローン１００が飛行するように制御し、かつ、車両位置取得工程及び飛行体位置取得工程により得られた情報に基づいて、ドローン１００が飛行経路Ｐ２においてコンバイン１の走行経路Ｐ１における走行位置よりも進行方向前方上空を飛行するように、ドローン１００のコンバイン１に対する相対位置を制御する飛行位置制御工程を実行する。尚、ドローン１００の目標位置は、原則としてはコンバイン１の前方上空であるが、条件によっては前方上空ではない場合もあり、それについては後述する。

【0035】

ここで、ドローン１００の目標位置について図５（ａ）～（ｃ）を用いて説明する。図５（ａ）は、コンバイン１が停止している状態、図５（ｂ）はコンバイン１が低速（例えば、０．５ｍ／ｓ）で直線上を前進走行している状態、図５（ｃ）はコンバイン１が高速（例えば、１．０ｍ／ｓ）で直線上を前進走行している状態をそれぞれ示す。この場合、図５（ａ）に示すように、コンバイン１が停止しているときは、コンバイン１が前進するのを待機するために、ドローン１００はコンバイン１の前方のすぐ近の相対位置を目標位置とし、その位置でホバリング飛行（飛行位置を停止した飛行）をする。ここでは、コンバイン１の最前端からドローン１００の中心位置までの水平距離をＬ０とする。

【0036】

図５（ｂ）に示すように、コンバイン１が低速前進しているときは、ドローン１００はコンバイン１の前方の比較的近い相対位置を目標位置とし、その相対位置を維持するようにコンバイン１と同じ速度で前方に移動する。ここでは、コンバイン１の最前端からドローン１００の中心位置までの水平距離をＬ１とする。図５（ｃ）に示すように、コンバイン１が高速前進しているときは、ドローン１００はコンバイン１の前方の比較的遠い相対位置を目標位置とし、その相対位置を維持するようにコンバイン１と同じ速度で前方に移動する。ここでは、コンバイン１の最前端からドローン１００の中心位置までの水平距離をＬ２とする。これは、ドローン１００で撮影した画像に基づいてコンバイン１の進行速度や作業内容を制御するためには、コンバイン１からできるだけ近い位置での現状を制御に反映させる方がより適切な制御を実現できるものの、進行速度が速い時には制御を反映させる時間に余裕が少なくなり、制御が間に合わなくなる可能性もあるため、コンバイン１の進行速度が速いほどドローン１００の目標位置を離れたものとし、制御に余裕をもたせるようにする。

【0037】

コンバイン１の前進速度とドローン１００の離間距離との関係は、例えば、線形の関係としたり、前進速度を段階的に区切って段階ごとに離間距離を異ならせるようにしてもよく、予め設定したテーブルなどに記憶させておく。いずれの場合も、ＥＣＵ１０は、図４に示すステップＳ４において、コンバイン１が直進走行する際に、コンバイン１の速度が第１速度であるときはコンバイン１とドローン１００との離間距離が第１距離Ｌ１であり、コンバイン１の速度が第１速度より速い第２速度であるときは離間距離が第１距離Ｌ１より長い第２距離Ｌ２となるように、相対位置を変更する変更工程を実行する。

【0038】

図４に示すように、ＥＣＵ１０は、目標位置を算出した後、コンバイン１が旋回中であるか否かを判断する（ステップＳ５）。ＥＣＵ１０は、コンバイン１が旋回中でないと判断した場合は（ステップＳ５のＮＯ）、ドローン１００を目標位置に移動飛行させ（ステップＳ７）、処理を終了する。

【0039】

一方、ＥＣＵ１０は、コンバイン１が旋回中であると判断した場合は（ステップＳ５のＹＥＳ）、ドローン１００はコンバイン１との距離を維持するために、飛行経路Ｐ２の途中の現在位置でホバリング飛行を実行する（ステップＳ８）。即ち、ＥＣＵ１０は、位置制御工程において、コンバイン１の旋回中にはドローン１００をホバリング飛行させる。

【0040】

また、ＥＣＵ１０は、コンバイン１が走行中でないと判断した場合は（ステップＳ３のＮＯ）、図５（ａ）に示すように、コンバイン１の次の前進走行に備えるために、ドローン１００は現在位置（ここではコンバイン１の直前）でホバリング飛行を実行する（ステップＳ８）。このため、コンバイン１が機体停止状態から発進する際に、コンバイン１の周囲状況を俯瞰的に把握できることで、安全性を向上することができる。

【0041】

また、図７（ａ）、（ｂ）に示すように、ＥＣＵ１０は、コンバイン１が排出作業中であると判断した場合は（ステップＳ２のＹＥＳ）、ドローン１００を排出オーガ９の先端部の上空でホバリング飛行させる（ステップＳ９）。ここで、コンバイン１が排出作業中である場合は、排出オーガ９を利用して、例えばトラック４０に穀粒を排出する。このとき、トラック４０の荷台に対して、穀粒の上面が平坦になるように排出オーガ９を移動させながら穀粒を排出することが望まれるが、積載状態の情報が無い場合は平坦になるように移動させることは困難である。そこで、ドローン１００からの画像と高度計１２３の測定結果を利用して、穀粒の上面が平坦になるように排出オーガ９を移動させるため、ドローン１００を排出オーガ９の先端の上空に位置させる。即ち、ＥＣＵ１０は、コンバイン１による穀粒排出時にドローン１００が排出オーガ９の先端の上空でホバリング飛行するように制御する排出制御工程を実行する（ステップＳ９）。

【0042】

具体的には、例えば、ドローン１００の高度計１２３を用いて穀粒の上面の高さをリアルタイムで計測し、上面が低い場所に排出オーガ９の先端部を移動させるよう、モニタ表示部１９にその方向を示すようにする。あるいは、単に画像のみをモニタ表示部１９に表示して、オペレータの目測によって上面が低い場所に排出オーガ９の先端部を移動させるようにしてもよい。尚、ダウンウォッシュで穀粒を飛ばさないように、ドローン１００の高度は必要以上に下げないようにすることが好ましい。

【0043】

［刈取調整制御］
次に、本実施形態における飛行体の制御システムにおける刈取調整の制御について説明する。ここでは、ＥＣＵ１０は、カメラ１０３から取得した穀稈の倒伏情報に基づいて、刈取部４における刈取速度と、コンバイン１の車速と、を調節する調節工程を実行する。尚、ここでの倒伏情報は、穀稈の倒れる方向に関する情報を含むものとする。この調整工程について、図８に示すフローチャートを用いて説明する。尚、予め刈取前の植立穀稈を撮影し、画像解析により、早期の青材や倒伏材などの判別を行うようにしてもよい。また、既刈り地か未刈り地かを判別し、既刈り地のデータは使用しない。既刈り地又は未刈り地の判別は、撮影した画像データを解析して行っても良いし、圃場情報および機体走行経路情報に基づいて行っても良い。

【0044】

ＥＣＵ１０は、コンバイン１の作業中に情報の検出を実行する（ステップＳ１０）。ここでは、例えば、圃場情報の検出、カメラ１０３の画像情報の検出を実行する。ＥＣＵ１０は、画像情報の処理を実行し、倒伏マップを作成する（ステップＳ１１）。ＥＣＵ１０は、コンバイン１の位置を検出し、作成した倒伏マップの情報から刈取搬送速度を調節する（ステップＳ１２）。

【0045】

ＥＣＵ１０は、倒伏マップに基づいて、直後に刈取を実行する作物の倒伏の程度を判断する（ステップＳ１３）。ＥＣＵ１０は、倒伏の程度が倒伏の無い立毛状態であると判断した場合は、刈取速度は標準モード、走行速度は標準、報知は特に無しとして刈取を実行する（ステップＳ１４）。ＥＣＵ１０は、ステップＳ１３において、倒伏の程度がやや倒伏である中倒伏であると判断した場合は、刈取方向について判断する（ステップＳ１５）。ここで、刈取方向としては、向い刈り、右倒伏刈り、追い刈り、左倒伏刈りの４種が挙げられる。向い刈りは、運転席から見て手前側に穀稈の穂先が倒れた状態で刈るものであり、刈取部４に対して穂先側から入ってきて詰り易い。右倒伏刈りは、運転席から見て右側に穀稈の穂先が倒れた状態で刈るものであり、右側デバイダが稈に隠れて株元位置が見えず、また、刈取部４が左側にオフセットした機種では右クローラで踏む虞がある。追い刈りは、運転席から見て奥側に穀稈の穂先が倒れた状態で刈るものであり、株元側から入ってくるので引起しが可能であり、向い刈りより詰り難い。左倒伏刈りは、運転席から見て左側に穀稈の穂先が倒れた状態で刈るものであり、未刈り穀稈が左側に倒れるので未刈り穀稈の株元が見易く、右側デバイダの位置調整がし易く、右倒伏狩りより刈易い。

【0046】

ＥＣＵ１０は、ステップＳ１５において、刈取方向が右倒伏刈り、追い刈り、左倒伏刈りのいずれかであると判断した場合は、刈取速度は標準モード、走行速度は標準、報知は特に無しとして刈取を実行する（ステップＳ１６）。ＥＣＵ１０は、ステップＳ１５において、刈取方向が向い刈りであると判断した場合は、刈取速度は標準モード、走行速度は低速、報知は低速として刈取を実行する（ステップＳ１７）。

【0047】

ＥＣＵ１０は、ステップＳ１３において、中倒伏より程度の高い倒伏であると判断した場合は、刈取方向について判断する（ステップＳ１８）。ＥＣＵ１０は、ステップＳ１８において、刈取方向が追い刈り又は左倒伏刈りであると判断した場合は、刈取速度は倒伏モード、走行速度は低速、報知は倒伏モードかつ低速として刈取を実行する（ステップＳ１９）。ＥＣＵ１０は、ステップＳ１８において、刈取方向が向い刈り又は右倒伏刈りであると判断した場合は、刈取速度は倒伏モード、走行速度は停止、報知は刈取不可として刈取を停止する（ステップＳ２０）。

【0048】

上述したように本実施形態の飛行体の制御方法によれば、変更工程において、コンバイン１に対するドローン１００の相対位置を、コンバイン１の速度に応じて変更する。具体的には、コンバイン１が直進走行する際に、コンバイン１の速度が第１速度であるときはコンバイン１とドローン１００との離間距離が第１距離Ｌ１であり、コンバイン１の速度が第１速度より速い第２速度であるときは離間距離が第１距離Ｌ１より長い第２距離Ｌ２となるように、相対位置を変更する。このため、走行速度が速くなるにつれて遠くを撮影するから、迅速な対応が可能となり、また、走行速度が遅くなるにつれて近くを撮影するから、畔際でデバイダ周辺の確認も行うことができる。また、コンバイン１の進行速度が速いほどドローン１００の目標位置を離れたものとし、制御に余裕をもたせるようにできる。一方、走行速度が遅くなると機体に近づいて飛ぶため、コンバイン１が速度を落として旋回する時にドローン１００も小回りになって追従性が良くなる。これらのことから、コンバイン１の走行速度に関わらず、コンバイン１の周囲の状況をより的確に取得できるようになる。

【0049】

また、本実施形態の飛行体の制御方法によれば、ドローン１００の飛行経路Ｐ２が予め設定されているので、飛行経路Ｐ２を設定せずにコンバイン１を基準とする相対位置で飛行位置を制御する場合に比べて、制御を簡易にすることができる。これにより、制御処理の負荷を軽減することができる。

【0050】

また、本実施形態の飛行体の制御方法によれば、ドローン１００の画像データを解析することで、きめ細かいコンバイン１の設定を自動でできるため、オペレータの負荷が軽減される。特に、倒伏材刈取や早期の青材刈取などに有効である。また、圃場条件での最適な刈取速度で作業が可能となり、作業能率や燃料消費率が向上する。更に、コンバイン１に備え付けのカメラでなく、機体の前方を飛ぶドローン１００のカメラ１０３を用いているので、刈取前の植立穀稈の情報をいち早く検出し、且つ、機体周辺を舞う塵埃の影響を小さくして制御に活かすことができる。また、機体姿勢や機体振動等の影響を受けずに安定した撮影が可能となり、分析データの精度が向上して、安定したコンバイン１の刈取・脱穀性能を確保することができる。更に、ドローン１００をコンバイン１から制御して自動で飛ばすようにしたので、操縦技量がなくてもドローンを活用できる。

【0051】

また、本実施形態の飛行体の制御方法によれば、コンバイン１が走行経路Ｐ１に沿って自律走行するように制御されるので、オペレータの負荷を更に軽減することができる。

【0052】

また、本実施形態の飛行体の制御方法によれば、コンバイン１による穀粒排出時にドローン１００が排出オーガ９の先端の上空でホバリング飛行する。このため、ドローン１００を利用してトラックの荷台を俯瞰的に見ることができるので、効率良く排出作業を行うことができる。また、刈取後のコンバイン１からの排出物を撮影し、画像解析により、穀粒ロスの多少を判別することができる。

【0053】

また、本実施形態の飛行体の制御方法によれば、カメラ１０３から取得した穀稈の倒伏情報に基づいて、刈取部４における刈取速度と、コンバイン１の車速と、を調節する。これにより、ドローン１００の画像データを解析することで、きめ細かいコンバイン１の設定を自動でできるため、オペレータの負荷が軽減される。しかも、倒伏情報は穀稈の倒れる方向に関する情報を含むので、特に、倒伏材刈取などに有効である。よって、より適切な刈り取り作業を実行することができる。

【0054】

また、本実施形態の飛行体の制御方法によれば、ドローン１００の風力を強くすることで、ダウンウォッシュにて朝露や粉塵を飛ばすこともでき、穀粒排出状況の確認を容易にできるようになる。

【0055】

また、本実施形態の飛行体の制御方法によれば、ドローン１００のカメラ１０３を用いてコンバイン１の各所の注意ラベルが剥がれていないか自動点検をできるようになる。具体的には、ドローン１００に各所の注意ラベルの位置を予め入力しておき、自動飛行にてカメラ１０３を用いて注意ラベルを点検し、破損やはがれのある場合は写真を撮影して整備車に通知する。これにより、作業者がコンバイン１の各所に付された注意ラベルを１つずつ目視して回る場合に比べて、手間を減らすことができる。また、高所などでオペレータには点検しにくい場所であっても容易に点検できるようになる。

【0056】

なお、上述した実施形態においては、作業車両としてコンバイン１について説明をしたが、これに限定されない。作業車両は、例えば、トラクタや田植え機等、他の作業車両であってもよい。

【0057】

なお、本技術は以下のような構成も取ることができる。
（１）
圃場を走行する作業車両の位置に対して、カメラを搭載して飛行する飛行体の飛行位置を制御装置によって制御する飛行体の制御方法であって、
前記制御装置が、前記作業車両の位置情報を取得する車両位置取得工程と、
前記制御装置が、前記飛行体の位置情報を取得する飛行体位置取得工程と、
前記制御装置が、前記作業車両が走行する所定の走行経路に沿って設定された飛行経路において前記飛行体が飛行するように制御し、かつ、前記車両位置取得工程及び前記飛行体位置取得工程により得られた情報に基づいて、前記飛行体が前記飛行経路において前記作業車両の前記走行経路における走行位置よりも進行方向前方上空を飛行するように、前記飛行体の前記作業車両に対する相対位置を制御する飛行位置制御工程と、
前記制御装置が、前記作業車両が直進走行する際に、前記作業車両の速度が第１速度であるときは前記作業車両と前記飛行体との距離が第１距離であり、前記作業車両の速度が第１速度より速い第２速度であるときは前記距離が前記第１距離より長い第２距離となるように、前記相対位置を変更する変更工程と、を備える、
飛行体の制御方法。
（２）
前記制御装置が、前記作業車両が前記走行経路に沿って自律走行するように制御する走行位置制御工程を備える、
前記（１）に記載の飛行体の制御方法。
（３）
前記作業車両は、前記圃場の穀稈の刈取り作業を行う刈取部を有するコンバインであり、
前記制御装置が、前記カメラから取得した穀稈の倒伏情報に基づいて、前記刈取部における刈取速度と、前記作業車両の車速と、を調節する調節工程を備える、
前記（１）又は（２）に記載の飛行体の制御方法。
（４）
前記倒伏情報は、穀稈の倒れる方向に関する情報を含む、
前記（３）に記載の飛行体の制御方法。
（５）
前記（１）乃至（４）のいずれか１つに記載の飛行体の制御方法の各工程を、コンピュータに実行させるための制御プログラム。
（６）
前記（５）に記載の制御プログラムを記録した、前記コンピュータにより読み取り可能な記録媒体。

【符号の説明】

【0058】

１…コンバイン（作業車両）
４…刈取部
１０…ＥＣＵ（制御装置）
３０…圃場
１００…ドローン（飛行体）
１０３…カメラ
Ｌ１…第１距離
Ｌ２…第２距離
Ｐ１…走行経路
Ｐ２…飛行経路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】