特許 6764511 ドローン制御装置およびこれを用いた花粉・着果剤自動付着システム、ドローン制御プログラム、ドローン制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6764511

(24)【登録日】2020年9月15日

(45)【発行日】2020年9月30日

(54)【発明の名称】ドローン制御装置およびこれを用いた花粉・着果剤自動付着システム、ドローン制御プログラム、ドローン制御方法

(51)【国際特許分類】

   A01H 1/02 20060101AFI20200917BHJP

   B64C 27/08 20060101ALI20200917BHJP

   B64C 39/02 20060101ALI20200917BHJP

   B64D 47/08 20060101ALI20200917BHJP

【ＦＩ】

   A01H1/02 A

   B64C27/08

   B64C39/02

   B64D47/08

【請求項の数】7

【全頁数】15

(21)【出願番号】特願2019-168500(P2019-168500)

(22)【出願日】2019年9月17日

【審査請求日】2020年6月15日

【早期審査対象出願】

(73)【特許権者】

【識別番号】519337123

【氏名又は名称】一般財団法人未来科学研究所

(74)【代理人】

【識別番号】100110766

【弁理士】

【氏名又は名称】佐川 慎悟

(74)【代理人】

【識別番号】100165515

【弁理士】

【氏名又は名称】太田 清子

(74)【代理人】

【識別番号】100169340

【弁理士】

【氏名又は名称】川野 陽輔

(74)【代理人】

【識別番号】100195682

【弁理士】

【氏名又は名称】江部 陽子

(74)【代理人】

【識別番号】100206623

【弁理士】

【氏名又は名称】大窪 智行

(72)【発明者】

【氏名】沢森 優樹

(72)【発明者】

【氏名】嶋村 茂治

(72)【発明者】

【氏名】佐鳥 新

(72)【発明者】

【氏名】武田 聖悟

(72)【発明者】

【氏名】相浦 悟

【審査官】 山本 匡子

(56)【参考文献】

【文献】 韓国公開特許第２０１９−００６２８７２（ＫＲ，Ａ）

【文献】 中国特許出願公開第１０８７８２２２３（ＣＮ，Ａ）

【文献】 特開２０１３−１５０５８４（ＪＰ，Ａ）

【文献】 特開２０１８−０１４９２９（ＪＰ，Ａ）

【文献】 特開２０１７−０１２１３７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１８／００６５７４９（ＵＳ，Ａ１）

【文献】 韓国登録特許第１０−１６６８６３５（ＫＲ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ０１Ｈ １／００−１７／００

Ａ０１Ｇ

ＢＩＯＳＩＳ／ＷＰＩＤＳ／ＣＡＢＡ／ＡＧＲＩＣＯＬＡ（ＳＴＮ）

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

雌しべに花粉または着果剤を付着させる付着用アタッチメントを備えたドローンを制御するドローン制御装置であって、
前記ドローンから花の画像データを取得する画像データ取得部と、
花の学習用画像と花の開花状態に関する情報とからなる教師データを用いて事前学習させた学習済みの開花判定モデルによって、前記画像データに撮像されている花が花粉を付着可能な程度に開花しているか否かを判定する開花状態判定部と、
前記花の学習用画像と花の雌しべおよび雄しべに関する情報とからなる教師データを用いて事前学習させた学習済みの花心特定モデルによって、前記開花状態判定部によって開花していると判定された花の画像データに含まれる雌しべおよび雄しべを特定する花心特定部と、
前記花心特定部によって特定された雌しべおよび雄しべから前記付着用アタッチメントの先端までの距離を算出する距離算出部と、
前記距離算出部によって算出された距離に基づいて、前記付着用アタッチメントの先端を前記雌しべに接触させる制御信号、および前記付着用アタッチメントの先端を前記雄しべに接触させる制御信号を前記ドローンへ出力する制御信号出力部と、
を有し、
前記開花状態判定部によって開花していると判定された花に対して、
前記花心特定部が雄しべを特定し、前記距離算出部が当該雄しべから前記付着用アタッチメントの先端までの距離を算出し、当該距離に基づいて、前記制御信号出力部が前記付着用アタッチメントの先端を前記雄しべに接触させる制御信号を出力することにより、前記雄しべから花粉を採取した後、
前記花心特定部が雌しべを特定し、前記距離算出部が当該雌しべから前記付着用アタッチメントの先端までの距離を算出し、当該距離に基づいて、前記制御信号出力部が前記付着用アタッチメントの先端を前記雌しべに接触させる制御信号を出力することにより、前記雄しべから採取した花粉を前記雌しべに付着させる、ドローン制御装置。

【請求項2】

前記ドローンが初期位置を離陸してから授粉しようとする花に接近し、授粉させ、前記初期位置に戻って着陸するまでの飛行経路における一通りの画像データと、各状況におけるドローンの情報と、授粉しようとする花や前記初期位置の位置情報とからなる教師データを用いて事前学習させた学習済みの飛行経路判定モデルによって、前記ドローンが前記画像データに撮像されている対象物と衝突することなく、予め設定された飛行経路を飛行しているか否かを判定する飛行経路判定部を有している、請求項１に記載のドローン制御装置。

【請求項3】

前記開花状態に関する情報は、開花前から開花後の時間経過に応じた花の形状および色によって構成されており、
前記開花状態判定部は、前記画像データに撮像されている花の花弁が６割以上開いており、かつ、花弁および花心に萎れまたは変色がない場合に開花していると判定する、請求項１または請求項２に記載のドローン制御装置。

【請求項4】

雌しべに花粉を付着させる前記付着用アタッチメントは、授粉しようとする花の向きに応じて屈曲可能なアーム部材によって構成されており、
花が上向きの場合は前記付着用アタッチメントの先端を下方に向け、
花が横向きの場合は前記付着用アタッチメントの先端を略水平方向に向け、
花が下向きの場合は前記付着用アタッチメントの先端を斜め上方に向ける、請求項１から請求項３のいずれかに記載のドローン制御装置。

【請求項5】

請求項１から請求項４のいずれかに記載のドローン制御装置と、前記ドローン制御装置によって制御されるドローンとからなる、花粉・着果剤自動付着システム。

【請求項6】

雌しべに花粉または着果剤を付着させる付着用アタッチメントを備えたドローンを制御するドローン制御プログラムであって、
前記ドローンから花の画像データを取得する画像データ取得部と、
花の学習用画像と花の開花状態に関する情報とからなる教師データを用いて事前学習させた学習済みの開花判定モデルによって、前記画像データに撮像されている花が花粉を付着可能な程度に開花しているか否かを判定する開花状態判定部と、
前記花の学習用画像と花の雌しべおよび雄しべに関する情報とからなる教師データを用いて事前学習させた学習済みの花心特定モデルによって、前記開花状態判定部によって開花していると判定された花の画像データに含まれる雌しべおよび雄しべを特定する花心特定部と、
前記花心特定部によって特定された雌しべおよび雄しべから前記付着用アタッチメントの先端までの距離を算出する距離算出部と、
前記距離算出部によって算出された距離に基づいて、前記付着用アタッチメントの先端を前記雌しべに接触させる制御信号、および前記付着用アタッチメントの先端を前記雄しべに接触させる制御信号を前記ドローンへ出力する制御信号出力部と、
してコンピュータを機能させるとともに、
前記開花状態判定部によって開花していると判定された花に対して、
前記花心特定部が雄しべを特定し、前記距離算出部が当該雄しべから前記付着用アタッチメントの先端までの距離を算出し、当該距離に基づいて、前記制御信号出力部が前記付着用アタッチメントの先端を前記雄しべに接触させる制御信号を出力することにより、前記雄しべから花粉を採取した後、
前記花心特定部が雌しべを特定し、前記距離算出部が当該雌しべから前記付着用アタッチメントの先端までの距離を算出し、当該距離に基づいて、前記制御信号出力部が前記付着用アタッチメントの先端を前記雌しべに接触させる制御信号を出力することにより、前記雄しべから採取した花粉を前記雌しべに付着させる、ドローン制御プログラム。

【請求項7】

雌しべに花粉または着果剤を付着させる付着用アタッチメントを備えたドローンを制御するドローン制御方法であって、
前記ドローンから花の画像データを取得する画像データ取得ステップと、
花の学習用画像と花の開花状態に関する情報とからなる教師データを用いて事前学習させた学習済みの開花判定モデルによって、前記画像データに撮像されている花が花粉を付着可能な程度に開花しているか否かを判定する開花状態判定ステップと、
前記花の学習用画像と花の雌しべおよび雄しべに関する情報とからなる教師データを用いて事前学習させた学習済みの花心特定モデルによって、前記開花状態判定ステップで開花していると判定された花の画像データに含まれる雌しべおよび雄しべを特定する花心特定ステップと、
前記花心特定ステップで特定された雌しべおよび雄しべから前記付着用アタッチメントの先端までの距離を算出する距離算出ステップと、
前記距離算出ステップで算出された距離に基づいて、前記付着用アタッチメントの先端を前記雌しべに接触させる制御信号、および前記付着用アタッチメントの先端を前記雄しべに接触させる制御信号を前記ドローンへ出力する制御信号出力ステップと、
を有し、
前記開花状態判定ステップにおいて開花していると判定された花に対して、
前記花心特定ステップにおいて雄しべを特定し、前記距離算出ステップにおいて当該雄しべから前記付着用アタッチメントの先端までの距離を算出し、当該距離に基づいて、前記制御信号出力ステップにおいて前記付着用アタッチメントの先端を前記雄しべに接触させる制御信号を出力することにより、前記雄しべから花粉を採取した後、
前記花心特定ステップにおいて雌しべを特定し、前記距離算出ステップにおいて当該雌しべから前記付着用アタッチメントの先端までの距離を算出し、当該距離に基づいて、前記制御信号出力ステップにおいて前記付着用アタッチメントの先端を前記雌しべに接触させる制御信号を出力することにより、前記雄しべから採取した花粉を前記雌しべに付着させる、ドローン制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ドローンによって雌しべに花粉や着果剤を自動的に付着させるためのドローン制御装置およびこれを用いた花粉・着果剤自動付着システム、ドローン制御プログラム、ドローン制御方法に関するものである。

【背景技術】

【0002】

従来、果樹や野菜等の様々な植物に対して、花粉を人工的に雌しべに付着させる人工授粉技術が知られている。例えば、特開２０１８−０１４９２９号公報には、遠隔操作可能なドローンを用いて人工授粉させるものであって、操縦者が花粉の散布タイミングや散布量をリモートコントローラによって操作しながら花粉を散布する人工授粉機が開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８−０１４９２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載された発明においては、散布作業に際して操縦者によるドローンの手動操作が必要不可欠である。このため、授粉させようとする植物が多いほど、散布作業にかかる時間や労力が増大し、操縦者の負担が大きいという問題がある。また、ドローンの手動操作には熟練を要するため、そのような人材を確保することが難しいという問題もある。

【0005】

さらに、特許文献１では、授粉させようとする植物の生育範囲全体に渡って花粉を上方から散布しているに過ぎない。このため、下向きに咲いた花や葉の下方で咲いた花等については特に、雌しべに花粉が付着されにくく、着果ムラや収量の低下を発生させるおそれがある。また、特許文献１では、散布する花粉として、増量剤を混ぜた人工授粉用の花粉を使用している。このため、花粉を全体に渡って闇雲に散布すると、散布量が無駄に増大し、花粉費用がかさんでしまうという問題もある。

【0006】

本発明は、このような問題点を解決するためになされたものであって、雌しべに花粉や着果剤を自動的かつ高精度に付着させることができるドローン制御装置およびこれを用いた花粉・着果剤自動付着システム、ドローン制御プログラム、ドローン制御方法を提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明に係るドローン制御装置は、雌しべに花粉や着果剤を自動的かつ高精度に付着させるという課題を解決するために、雌しべに花粉または着果剤を付着させる付着用アタッチメントを備えたドローンを制御するドローン制御装置であって、前記ドローンから花の画像データを取得する画像データ取得部と、花の学習用画像と花の開花状態に関する情報とからなる教師データを用いて事前学習させた学習済みの開花判定モデルによって、前記画像データに撮像されている花が花粉または着果剤を付着可能な程度に開花しているか否かを判定する開花状態判定部と、前記花の学習用画像と花の雌しべに関する情報とからなる教師データを用いて事前学習させた学習済みの花心特定モデルによって、前記開花状態判定部によって開花していると判定された花の画像データに含まれる雌しべを特定する花心特定部と、前記花心特定部によって特定された雌しべから前記付着用アタッチメントの先端までの距離を算出する距離算出部と、前記距離算出部によって算出された距離に基づいて、前記付着用アタッチメントの先端を前記雌しべに接触させる制御信号、または前記付着用アタッチメントの先端を前記雌しべに近接させ前記着果剤を噴霧させる制御信号を前記ドローンへ出力する制御信号出力部と、を有する。

【0008】

また、本発明の一態様として、雄しべから新鮮な花粉を自動的かつ高精度に採取するという課題を解決するために、前記花心特定部は、前記花の学習用画像と花の雄しべに関する情報とからなる教師データを用いて事前学習させた学習済みの花心特定モデルによって、前記開花状態判定部によって開花していると判定された花の画像データに含まれる雄しべを特定し、前記距離算出部は、前記花心特定部によって特定された雄しべから前記付着用アタッチメントの先端までの距離を算出し、前記制御信号出力部は、前記距離算出部によって算出された距離に基づいて、前記付着用アタッチメントの先端を前記雄しべに接触させる制御信号を前記ドローンへ出力してもよい。

【0009】

さらに、本発明の一態様として、花粉または着果剤を付着可能な程度に開花しているか否かを高精度に判定するという課題を解決するために、前記開花状態に関する情報は、開花前から開花後の時間経過に応じた花の形状および色によって構成されており、前記開花状態判定部は、前記画像データに撮像されている花の花弁が６割以上開いており、かつ、花弁および花心に萎れまたは変色がない場合に開花していると判定してもよい。

【0010】

また、本発明の一態様として、どの向きに咲いた花でも雌しべに花粉を漏れなく付着させるという課題を解決するために、雌しべに花粉を付着させる前記付着用アタッチメントは、授粉しようとする花の向きに応じて屈曲可能なアーム部材によって構成されており、花が上向きの場合は前記付着用アタッチメントの先端を下方に向け、花が横向きの場合は前記付着用アタッチメントの先端を略水平方向に向け、花が下向きの場合は前記付着用アタッチメントの先端を斜め上方に向けてもよい。

【0011】

さらに、本発明の一態様として、雌しべに着果剤を高精度に付着させるという課題を解決するために、雌しべに着果剤を付着させる前記付着用アタッチメントは、超音波によって着果剤をミスト化して噴霧する超音波スプレーによって構成されていてもよい。

【0012】

本発明に係る花粉・着果剤自動付着システムは、雌しべに花粉や着果剤を自動的かつ高精度に付着させるという課題を解決するために、請求項１から請求項５のいずれかに記載のドローン制御装置と、前記ドローン制御装置によって制御されるドローンとからなる。

【0013】

また、本発明に係るドローン制御プログラムは、雌しべに花粉や着果剤を自動的かつ高精度に付着させるという課題を解決するために、雌しべに花粉または着果剤を付着させる付着用アタッチメントを備えたドローンを制御するドローン制御プログラムであって、前記ドローンから花の画像データを取得する画像データ取得部と、花の学習用画像と花の開花状態に関する情報とからなる教師データを用いて事前学習させた学習済みの開花判定モデルによって、前記画像データに撮像されている花が花粉または着果剤を付着可能な程度に開花しているか否かを判定する開花状態判定部と、前記花の学習用画像と花の雌しべに関する情報とからなる教師データを用いて事前学習させた学習済みの花心特定モデルによって、前記開花状態判定部によって開花していると判定された花の画像データに含まれる雌しべを特定する花心特定部と、前記花心特定部によって特定された雌しべから前記付着用アタッチメントの先端までの距離を算出する距離算出部と、前記距離算出部によって算出された距離に基づいて、前記付着用アタッチメントの先端を前記雌しべに接触させる制御信号、または前記付着用アタッチメントの先端を前記雌しべに近接させ前記着果剤を噴霧させる制御信号を前記ドローンへ出力する制御信号出力部と、してコンピュータを機能させる。

【0014】

さらに、本発明に係るドローン制御方法は、雌しべに花粉や着果剤を自動的かつ高精度に付着させるという課題を解決するために、雌しべに花粉または着果剤を付着させる付着用アタッチメントを備えたドローンを制御するドローン制御方法であって、前記ドローンから花の画像データを取得する画像データ取得ステップと、花の学習用画像と花の開花状態に関する情報とからなる教師データを用いて事前学習させた学習済みの開花判定モデルによって、前記画像データに撮像されている花が花粉または着果剤を付着可能な程度に開花しているか否かを判定する開花状態判定ステップと、前記花の学習用画像と花の雌しべに関する情報とからなる教師データを用いて事前学習させた学習済みの花心特定モデルによって、前記開花状態判定ステップで開花していると判定された花の画像データに含まれる雌しべを特定する花心特定ステップと、前記花心特定ステップで特定された雌しべから前記付着用アタッチメントの先端までの距離を算出する距離算出ステップと、前記距離算出ステップで算出された距離に基づいて、前記付着用アタッチメントの先端を前記雌しべに接触させる制御信号、または前記付着用アタッチメントの先端を前記雌しべに近接させ前記着果剤を噴霧させる制御信号を前記ドローンへ出力する制御信号出力ステップと、を有する。

【発明の効果】

【0015】

本発明によれば、雌しべに花粉や着果剤を自動的かつ高精度に付着させることができる。

【図面の簡単な説明】

【0016】

【図1】本発明に係るドローン制御装置とドローンとからなる花粉・着果剤自動付着システムの第１実施形態を示すブロック図である。

【図2】本第１実施形態において、（ａ）花が上向きの場合、（ｂ）花が横向きの場合、および（ｃ）花が下向きの場合における、付着用アタッチメントの使用例を示す図である。

【図3】本第１実施形態のドローン制御装置およびこれを用いた花粉・着果剤自動付着システム、ドローン制御プログラム、ドローン制御方法によって、雄しべから花粉を採取して雌しべに付着させる処理を示すフローチャートである。

【図4】本第２実施形態において、雌しべに着果剤を付着させる付着用アタッチメントを取り付けたドローンを示す図である。

【図5】本第２実施形態のドローン制御装置およびこれを用いた花粉・着果剤自動付着システム、ドローン制御プログラム、ドローン制御方法によって、雌しべに着果剤を付着させる処理を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明に係るドローン制御装置およびこれを用いた花粉・着果剤自動付着システム、ドローン制御プログラム、ドローン制御方法の第１実施形態について図面を用いて説明する。

【0018】

本第１実施形態の花粉・着果剤自動付着システム１００は、図１に示すように、遠隔制御可能な飛行体であるドローン１０と、このドローン１０を制御信号によって遠隔制御するドローン制御装置１とを有している。以下、各構成について詳細に説明する。

【0019】

本第１実施形態において、ドローン１０は、複数の回転翼を備えたマルチコプタ型の無人航空機によって構成されており、主として、花等の画像を撮影するカメラ１１と、ドローン１０の状態や対象物等を検知する各種のセンサ１２と、ドローン１０における各種の制御を行うコントローラ１３と、雌しべに花粉を付着させるための付着用アタッチメント１４とを有している。

【0020】

カメラ１１としては、ドローン１０の機体下部にＲＧＢカメラが設けられている。また、カメラ１１はコントローラ１３によって制御され、所定のタイミングで花の画像を撮影するとともに、撮影した画像をコントローラ１３に出力する。なお、本第１実施形態では、カメラ１１をドローン１０の機体下部に設けているが、花の画像を撮影しうるのであれば、機体の側面に設けてもよく、機体の下部と側面の両方に設けてもよい。

【0021】

センサ１２としては、対象物を検知する光学センサと、ドローン１０の高度を検知する気圧センサと、ドローン１０の姿勢を検知するジャイロセンサと、ドローン１０の現在位置を検知するＧＰＳセンサとを有している。なお、本第１実施形態において、光学センサは、一対の光学式カメラの視差によって、対象物までの距離を算出するステレオビジョン方式を採用しており、ドローン１０の機体における前後左右の４箇所に設けられている。しかしながら、対象物を検知するセンサは、ステレオビジョン方式に限定されるものではなく、超音波式、赤外線式またはレーザ方式のものでもよい。

【0022】

コントローラ１３は、ＣＰＵ（Central Processing Unit）等によって構成されており、ドローン制御装置１からの制御信号に従って、ドローン１０の各構成を制御する。また、コントローラ１３は、各センサ１２からの出力を取得し、ドローン制御装置１へ送信したり、ドローン１０の機体が適切な状態を保持するように、回転翼の回転数等を制御する。

【0023】

付着用アタッチメント１４は、雌しべに花粉を付着させるためのものである。本第１実施形態において、付着用アタッチメント１４は、図１に示すように、授粉しようとする花の向きに応じて屈曲可能なアーム部材１４ａによって構成されている。また、付着用アタッチメント１４の先端には、花粉を保持するための花粉保持部１４ｂが設けられている。

【0024】

本第１実施形態において、付着用アタッチメント１４の向きは、図２に示すように、授粉させようとする花の開花特性に応じてアーム部材１４ａの角度が調節される。具体的には、以下のように設定することで、どの向きに咲いた花でも雌しべに花粉保持部１４ｂが接触し、花粉を漏れなく付着させることが可能となる。
花が上向きの場合は付着用アタッチメント１４の先端を下方に向ける。
花が横向きの場合は付着用アタッチメント１４の先端を略水平方向に向ける。
花が下向きの場合は付着用アタッチメント１４の先端を斜め上方に向ける。

【0025】

つぎに、本第１実施形態のドローン制御装置１について説明する。

【0026】

ドローン制御装置１は、パーソナルコンピュータやスマートフォン等のコンピュータによって構成されており、ドローン１０を制御するものである。本第１実施形態において、ドローン制御装置１は、図１に示すように、主として、ドローン１０との間で無線通信を行う通信手段２と、本第１実施形態のドローン制御プログラム１ａや各種のデータを記憶する記憶手段３と、各種の演算処理を実行し後述する各構成部として機能する演算処理手段４とを有している。以下、ドローン制御装置１の各構成手段について説明する。

【0027】

通信手段２は、ドローン制御装置１に無線通信機能を実装するものである。本第１実施形態において、通信手段２は、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮ規格を利用して、ドローン１０との間で無線接続する。具体的には、図１に示すように、ドローン制御装置１からドローン１０には制御信号が送信され、ドローン１０からドローン制御装置１には撮影された画像データ等が送信される。

【0028】

記憶手段３は、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等で構成されており、各種のデータを記憶するとともに、演算処理手段４が各種の演算処理を実行する際のワーキングエリアとして機能するものである。本第１実施形態において、記憶手段３は、図１に示すように、プログラム記憶部３１と、開花判定用パラメータ記憶部３２と、花心特定用パラメータ記憶部３３と、飛行用パラメータ記憶部３４とを有している。

【0029】

プログラム記憶部３１には、本第１実施形態のドローン制御プログラム１ａがインストールされている。そして、演算処理手段４がドローン制御プログラム１ａを実行することにより、本第１実施形態のドローン制御装置１を構成する各構成部としてコンピュータを機能させるようになっている。

【0030】

なお、ドローン制御プログラム１ａの利用形態は、上記構成に限られるものではない。例えば、メモリーカード等のように、コンピュータで読み取り可能な非一時的な記録媒体にドローン制御プログラム１ａを記憶させておき、当該記録媒体から直接読み出して実行してもよい。また、外部サーバ等からクラウドコンピューティング方式やＡＳＰ（Application Service Provider）方式で利用してもよい。

【0031】

開花判定用パラメータ記憶部３２は、事前学習によって得られた学習済みの開花判定用パラメータを記憶するものである。本第１実施形態では、後述するとおり、開花状態を判定するためのアルゴリズムとして、機械学習アルゴリズムである学習・推論モデルに開花判定用パラメータを適用してなる学習済みの開花判定モデルを採用している。このため、開花判定用パラメータ記憶部３２には、花の学習用画像と花の開花状態に関する情報とからなる教師データを用いて、開花判定モデルに事前学習させて得られる開花判定用パラメータが記憶されている。

【0032】

花心特定用パラメータ記憶部３３は、事前学習によって得られた学習済みの花心特定用パラメータを記憶するものである。本第１実施形態では、後述するとおり、雌しべや雄しべを特定するためのアルゴリズムとして、機械学習アルゴリズムである学習・推論モデルに花心特定用パラメータを適用してなる学習済みの花心特定モデルを採用している。このため、花心特定用パラメータ記憶部３３には、花の学習用画像と花の雌しべや雄しべに関する情報とからなる教師データを用いて、花心特定モデルに事前学習させて得られる花心特定用パラメータが記憶されている。

【0033】

なお、教師データとなる花の学習用画像は、ユーザによって直接撮影されたものでもよく、ドローン１０を用いて撮影されたものでもよい。また、花の開花状態に関する情報としては、開花前から開花後にかけての時間経過に応じた花の形状および色に関する情報が用いられる。さらに、花の雌しべおよび雄しべに関する情報としては、雌しべと雄しべのそれぞれの形状および色に関する情報が用いられる。

【0034】

飛行用パラメータ記憶部３４は、事前学習によって得られた学習済みの飛行用パラメータを記憶するものである。本第１実施形態では、ドローン１０の飛行アルゴリズムとして、機械学習アルゴリズムである学習・推論モデルに飛行用パラメータを適用してなる学習済みの飛行経路判定モデルを採用している。このため、飛行用パラメータ記憶部３４には、充電スタンド等の初期位置を離陸してから授粉しようとする花に接近し、授粉させ、初期位置に戻って着陸するまでの飛行経路における一通りの画像データと、各状況におけるドローン１０の情報（対象物との距離、高度、加速度等）と、授粉しようとする花や初期位置の位置情報とからなる教師データを用いて、飛行経路判定モデルに事前学習させて得られる飛行用パラメータが記憶されている。

【0035】

演算処理手段４は、ＣＰＵ（Central Processing Unit）等によって構成されており、プログラム記憶部３１にインストールされたドローン制御プログラム１ａを実行することにより、図１に示すように、制御信号出力部４１と、画像データ取得部４２と、飛行経路判定部４３と、開花状態判定部４４と、花心特定部４５と、距離算出部４６として機能するようになっている。以下、各構成部についてより詳細に説明する。

【0036】

制御信号出力部４１は、ドローン１０を制御するための制御信号を出力するものである。本第１実施形態において、制御信号出力部４１は、飛行経路判定部４３による判定結果やドローンから受信したセンサ１２の出力値等に基づいて、ドローン１０に所定の飛行経路を移動させるための制御信号を出力する。所定の飛行経路としては、充電スタンド等の初期位置を離陸してから授粉しようとする花に接近し、授粉させ、初期位置に戻って着陸するまでの飛行経路が予め設定される。

【0037】

また、本第１実施形態において、制御信号出力部４１は、距離算出部４６によって算出された雌しべや雄しべから付着用アタッチメントの先端までの距離に基づいて、付着用アタッチメント１４の先端に設けられた花粉保持部１４ｂを雌しべや雄しべに接触させる制御信号を出力する。なお、接触させるだけではなく、付着用アタッチメントの先端を振動させることにより、雄しべからの花粉採取率や雌しべに対する花粉付着率を高めてもよい。

【0038】

画像データ取得部４２は、ドローン１０によって撮影された画像データを取得するものである。本第１実施形態において、画像データ取得部４２は、ドローン１０が飛行経路を飛行している間、短い時間間隔で定期的に画像データを取得し、必要に応じて飛行経路判定部４３、開花状態判定部４４および花心特定部４５に提供するようになっている。

【0039】

飛行経路判定部４３は、ドローン１０の飛行経路を判定するものである。本第１実施形態において、飛行経路判定部４３は、機械学習アルゴリズムである学習・推論モデルに飛行用パラメータを適用してなる学習済みの飛行経路判定モデルによって構成されている。そして、飛行経路を判定する場合、飛行経路判定部４３は、飛行用パラメータ記憶部３４に記憶されている学習済みの飛行用パラメータを飛行経路判定モデルに適用するとともに、当該学習済の飛行経路判定モデルに、画像データ取得部４２によって取得された画像データを入力する。これにより、当該画像データに撮像されている対象物と衝突することなく、予め設定された飛行経路を飛行しているか否かが判定される。

【0040】

開花状態判定部４４は、画像データに撮像されている花の開花状態を判定するものである。本第１実施形態において、開花状態判定部４４は、機械学習アルゴリズムである学習・推論モデルに開花判定用パラメータを適用してなる学習済みの開花判定モデルによって構成されている。そして、花の開花状態を判定する場合、開花状態判定部４４は、開花判定用パラメータ記憶部３２に記憶されている学習済みの開花判定用パラメータを開花判定モデルに適用するとともに、当該学習済みの開花判定用モデルに、画像データ取得部４２によって取得された花の画像データを入力する。これにより、当該画像データに撮像されている花が花粉を付着可能な程度に開花しているか否かを判定する。

【0041】

本第１実施形態において、開花状態判定部４４は、画像データに撮像されている花の花弁が６割以上開いており、かつ、花弁および花心に萎れまたは変色がない場合に開花していると判定する。しかしながら、開花の判定基準は上記に限定されるものでなく、授粉させようとする植物の特性等に応じて適宜変更してもよい。

【0042】

花心特定部４５は、画像データに撮像されている花の花心を特定するものである。本第１実施形態において、花心特定部４５は、機械学習アルゴリズムである学習・推論モデルに花心特定用パラメータを適用してなる学習済みの花心特定モデルによって構成されている。そして、花の花心を特定する場合、花心特定部４５は、花心特定用パラメータ記憶部３３に記憶されている学習済みの花心特定用パラメータを花心特定モデルに適用するとともに、当該学習済みの花心特定モデルに、画像データ取得部４２によって取得された花の画像データを入力する。これにより、当該画像データに撮像されている花の雌しべや雄しべを特定する。

【0043】

なお、本第１実施形態では、機械学習アルゴリズムとして、ディープラーニング手法のうち、画像のクラス分類に特化したモデルである畳み込みニューラルネットワーク（Convolutional Neural Network：CNN）を採用しているが、これに限定されるものではなく、他の機械学習アルゴリズムを用いてもよい。

【0044】

距離算出部４６は、雌しべや雄しべから付着用アタッチメント１４の先端までの距離を算出するものである。本第１実施形態において、距離算出部４６は、まず、ドローン１０に設けられた光学センサ１２からの出力値に基づいて、花心特定部４５によって特定された雌しべや雄しべから光学センサ１２までの距離を算出する。そして、距離算出部４６は、事前に登録しておいた、光学センサ１２と付着用アタッチメント１４の先端との差分情報に基づき、雌しべや雄しべから付着用アタッチメント１４の先端までの距離を算出するようになっている。

【0045】

つぎに、本第１実施形態のドローン制御装置１およびこれを用いた花粉・着果剤自動付着システム１００、ドローン制御プログラム１ａ、ドローン制御方法の作用について説明する。なお、本第１実施形態では、付着用アタッチメント１４によって雄しべから新鮮な花粉を採取した後、当該花粉を雌しべに付着させる場合の処理について説明する。

【0046】

まず、図３に示すように、制御信号出力部４１が、授粉させようとする花に移動させるための制御信号をドローン１０へ出力する（ステップＳ１）。これにより、ドローン１０が充電スタンド等の初期位置から離陸し、所定の飛行経路に従って飛行を開始する。ドローン１０が飛行している間、画像データ取得部４２が画像データを定期的に取得する（ステップＳ２）。これにより、ドローン１０が対象物と衝突することなく、予め設定された飛行経路を飛行しているか否かが飛行経路判定部４３によって常時判定される。

【0047】

ドローン１０が対象となる花の近くに到着すると、開花状態判定部４４が、画像データに撮像されている花の開花状態を判定する（ステップＳ３）。当該判定の結果、花粉を付着可能な程度に開花していない場合（ステップＳ３：ＮＯ）、当該花に対する授粉処理を中止し、後述するステップＳ１０へと進む。一方、花粉を付着可能な程度に開花している場合（ステップＳ３：ＹＥＳ）、花心特定部４５が当該花における雄しべを探索する（ステップＳ４）。

【0048】

このとき、本第１実施形態では、開花しているか否かの判定に際して、花の花弁が６割以上開いており、かつ、花弁や花心に萎れや変色がないことを開花の判定基準として用いている。このため、花粉を付着可能な程度に開花しているか否かが高精度に判定される。

【0049】

花心特定部４５によって雄しべが特定されると（ステップＳ４：ＹＥＳ）、距離算出部４６が、雄しべから付着用アタッチメント１４の先端までの距離を算出する（ステップＳ５）。そして、当該距離に基づいて、制御信号出力部４１が、付着用アタッチメント１４の先端を雄しべに接触させる制御信号を出力する（ステップＳ６）。これにより、付着用アタッチメント１４の先端が雄しべに付着するため、当該雄しべで生成された新鮮な花粉が自動的かつ高精度に採取される。

【0050】

雄しべから花粉が採取されると、花心特定部４５が別途、雌しべを探索する（ステップＳ７）。そして、花心特定部４５によって雌しべが特定されると（ステップＳ７：ＹＥＳ）、距離算出部４６が、雌しべから付着用アタッチメント１４の先端までの距離を算出する（ステップＳ８）。そして、当該距離に基づいて、制御信号出力部４１が、付着用アタッチメント１４の先端を雌しべに接触させる制御信号を出力する（ステップＳ９）。これにより、付着用アタッチメント１４の先端が雌しべに付着するため、雄しべから採取した新鮮な花粉が自動的かつ高精度に雌しべに付着され授粉作業が完了する。

【0051】

このとき、本第１実施形態では、付着用アタッチメント１４が、授粉しようとする花の向きに応じた角度に設定されている。このため、どの向きに咲いた花でも雄しべから花粉が漏れなく採取されるとともに、雌しべに花粉が漏れなく付着される。

【0052】

なお、一般的に、花粉は開花後の鮮度が重要であり、貯留しておいて使用することは好ましくない。このため、本第１実施形態では、雄しべから花粉を採取する動作も自動化することにより、新鮮な花粉を確保している。しかしながら、人工授粉用の花粉でも十分な着果率を見込めるような植物については、予め付着用アタッチメント１４の先端に花粉を付着させておき、当該花粉を雌しべに付着させる動作のみを実行してもよい。この場合、ステップＳ４からステップＳ６までの処理は不要である。

【0053】

授粉作業の完了後、ドローン１０のバッテリ残量があり（ステップＳ１０：ＹＥＳ）、他の花に授粉する場合は（ステップＳ１１：ＹＥＳ）、ステップＳ１へと戻り、上述した処理を繰り返す。一方、ドローン１０のバッテリ残量が少ない場合（ステップＳ１０：ＮＯ）や他の花に授粉しない場合は（ステップＳ１１：ＮＯ）、飛行経路判定部４３が現在位置から初期位置までの距離を算出し（ステップＳ１２）、当該初期位置に帰還させるための制御信号をドローン１０へ出力する（ステップＳ１３）。

【0054】

以上のような本第１実施形態によれば、以下のような効果を奏する。
１．雌しべに花粉や着果剤を自動的かつ高精度に付着させることができる。
２．雄しべから新鮮な花粉を自動的かつ高精度に採取することができ、着果率を向上することができる。
３．花粉を付着可能な程度に開花しているか否かを高精度に判定することができる。
４．どの向きに咲いた花でも雌しべに花粉を漏れなく付着させることができる。
５．機械学習を重ねることで、最終的には、花粉や着果剤の付着作業を完全に自動化することができる。

【0055】

つぎに、本発明に係るドローン制御装置１およびこれを用いた花粉・着果剤自動付着システム１００、ドローン制御プログラム１ａ、ドローン制御方法の第２実施形態について説明する。なお、本第２実施形態の構成のうち、上述した第１実施形態と同一もしくは相当する構成については同一の符号を付し、再度の説明を省略する。

【0056】

本第２実施形態のドローン制御装置１およびこれを用いた花粉・着果剤自動付着システム１００、ドローン制御プログラム１ａ、ドローン制御方法の特徴は、第１実施形態における、花粉を雌しべに付着させる付着用アタッチメント１４の代わりに、着果剤を雌しべに付着させる付着用アタッチメント１５がドローンに搭載されている点にある。

【0057】

本第２実施形態において、雌しべに着果剤を付着させる付着用アタッチメント１５は、図４に示すように、超音波によって着果剤をミスト化して噴霧する超音波スプレーによって構成されている。そして、植物の生育状況に応じて、第１実施形態の付着用アタッチメント１４と、第２実施形態の付着用アタッチメント１５とを付け替え、授粉作業と着果剤の付着作業の双方において、ドローン１０を使い回せるようになっている。

【0058】

つぎに、本第２実施形態のドローン制御装置１およびこれを用いた花粉・着果剤自動付着システム１００、ドローン制御プログラム１ａ、ドローン制御方法の作用について説明する。なお、本第２実施形態のステップのうち、上述した第１実施形態と同一もしくは相当するステップについては同一の符号を付し、再度の説明を省略する。

【0059】

図５に示すように、本第２実施形態では、まず、ステップＳ１からステップＳ３までの処理を実行し、着果剤を付着可能な程度に開花している花を探し出す。このとき、開花状態判定部４４は、第１実施形態と同様の判定基準を用いて、開花状態を判定する。

【0060】

つぎに、ステップＳ７およびステップＳ８の処理を実行し、開花している花の雌しべから付着用アタッチメント１５の先端までの距離を算出する。そして、当該距離に基づいて、制御信号出力部４１が、付着用アタッチメント１５の先端を雌しべに近接させ着果剤を噴射させる制御信号をドローン１０へ出力する（ステップＳ２１）。これにより、付着用アタッチメント１５の先端から着果剤が噴射されるため、当該着果剤が自動的かつ高精度に雌しべに付着される。

【0061】

その後、ステップＳ１０およびステップＳ１１の処理によって、他の花にも着果剤を噴射するか否かを判定し、噴射しない場合には、ステップＳ１２およびステップＳ１３の処理によって、ドローンを初期位置へ帰還させる。

【0062】

以上のような本第２実施形態によれば、第１実施形態の作用効果に加えて、雌しべに着果剤を自動的かつ高精度に付着させることができるという効果を奏する。

【0063】

なお、本発明は、上述した各実施形態に限定されるものではなく、適宜変更することができる。例えば、上述した各実施形態では、授粉作業や噴霧作業を継続するにあたって、ドローン１０のバッテリ残量を確認している（ステップＳ１０）。しかしながら、この構成に限定されるものではなく、初期位置から離陸する際にも、バッテリ残量を確認し、十分に充電されている場合のみ離陸させるようにしてもよい。

【0064】

また、上述した各実施形態では、事前に学習済みの開花判定用パラメータ、花心特定用パラメータおよび飛行用パラメータを用意しているが、ドローン１０を飛行させるたびに画像データ等を取得して機械学習させ、各学習済みパラメータを逐次、更新するようにしてもよい。

【0065】

さらに、上述した第１実施形態では、付着用アタッチメント１４の向きを手動で調節しているが、これに限定されるものではなく、自動調節するようにしてもよい。具体的には、ドローン１０においては、アーム部材１４ａの屈曲角度を駆動制御可能に構成する。一方、ドローン制御装置１においては、画像データから画像認識によって花の種類や向き等を判定し、当該判定結果に応じて屈曲角度を指定する制御信号を出力する。

【0066】

また、ドローン１０によって教師データを収集する際には、スマートフォンやタブレット等によってドローン１０を手動操作してもよい。

【符号の説明】

【0067】

１ ドローン制御装置
１ａ ドローン制御プログラム
２ 通信手段
３ 記憶手段
４ 演算処理手段
１０ ドローン
１１ カメラ
１２ センサ
１３ コントローラ
１４ 付着用アタッチメント（第１実施形態）
１４ａ アーム部材
１４ｂ 花粉保持部
１５ 付着用アタッチメント（第２実施形態）
３１ プログラム記憶部
３２ 開花判定用パラメータ記憶部
３３ 花心特定用パラメータ記憶部
３４ 飛行用パラメータ記憶部
４１ 制御信号出力部
４２ 画像データ取得部
４３ 飛行経路判定部
４４ 開花状態判定部
４５ 花心特定部
４６ 距離算出部
１００ 花粉・着果剤自動付着システム

【要約】      （修正有）

【課題】雌しべに花粉や着果剤を自動的かつ高精度に付着させることができるドローン制御装置およびこれを用いた花粉・着果剤自動付着システム、ドローン制御プログラム、ドローン制御方法を提供する。
【解決手段】ドローン１０から花の画像データを取得する画像データ取得部４２と、学習済みの開花判定モデルによって画像データ内の花が開花しているか否かを判定する開花状態判定部４４と、学習済みの花心特定モデルによって画像データ内の雌しべを特定する花心特定部４５と、雌しべから付着用アタッチメント１４の先端までの距離を算出する距離算出部４６と、付着用アタッチメント１４の先端を雌しべに接触させる制御信号をドローンへ出力する制御信号出力部４１と、を有する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】