IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 学校法人日本工業大学の特許一覧 ▶ 国立大学法人電気通信大学の特許一覧 ▶ 独立行政法人森林総合研究所の特許一覧

<>
  • 特開-制御装置 図1
  • 特開-制御装置 図2
  • 特開-制御装置 図3
  • 特開-制御装置 図4
  • 特開-制御装置 図5
  • 特開-制御装置 図6
  • 特開-制御装置 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023051016
(43)【公開日】2023-04-11
(54)【発明の名称】制御装置
(51)【国際特許分類】
   G06Q 50/02 20120101AFI20230404BHJP
   A01H 1/02 20060101ALI20230404BHJP
   G06T 7/00 20170101ALI20230404BHJP
【FI】
G06Q50/02
A01H1/02 A
G06T7/00 640
【審査請求】未請求
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2021161438
(22)【出願日】2021-09-30
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和2年度、国立研究開発法人・食品作業技術総合研究機構生物系特定産業技術研究支援センター、イノベーション創出強化研究推進事業「害虫防除と受粉促進のダブル効果!スマート農業に貢献する振動技術の開発」委託研究、産業技術強化法第17条の適用を受ける特許出願。
(71)【出願人】
【識別番号】591287118
【氏名又は名称】学校法人日本工業大学
(71)【出願人】
【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
(71)【出願人】
【識別番号】501186173
【氏名又は名称】国立研究開発法人森林研究・整備機構
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】平栗 健史
(72)【発明者】
【氏名】進藤 卓也
(72)【発明者】
【氏名】高梨 琢磨
(72)【発明者】
【氏名】小池 卓二
【テーマコード(参考)】
2B030
5L049
5L096
【Fターム(参考)】
2B030HA07
5L049CC01
5L096CA02
5L096CA18
5L096FA69
5L096JA28
(57)【要約】
【課題】植物に対する自家受粉を効率的に実行する技術を提供する。
【解決手段】第1入力部410は、無人飛行体200を撮像した第1種画像を受けつけ、取得部412は、受けつけた第1種画像をもとに、複数の無人飛行体200のそれぞれの位置を取得する。制御部414は、取得した位置に対して群知能アルゴリズムを使用することによって、複数の無人飛行体200のそれぞれが移動すべき位置を導出し、導出した位置へ複数の無人飛行体200を移動させる。第2入力部420は、複数の無人飛行体200のそれぞれにおいて撮像された第2種画像を受けつける。検知部422は、第2種画像をもとに、受粉可能な植物を検知する。制御部414は、受粉可能な植物を検知した場合、複数の無人飛行体200のうちの少なくとも1つに対して、群知能アルゴリズムの使用を停止して、検知した植物の位置に移動させる。
【選択図】図2
【特許請求の範囲】
【請求項1】
植物が栽培される栽培領域内を飛行可能な複数の無人飛行体を制御する制御装置であって、
前記栽培領域を撮像する第1種撮像装置により撮像された第1種画像を受けつける第1入力部と、
前記第1入力部において受けつけた前記第1種画像をもとに、前記複数の無人飛行体のそれぞれの位置を取得する取得部と、
前記取得部において取得した前記位置に対して群知能アルゴリズムを使用することによって、前記複数の無人飛行体のそれぞれが移動すべき位置を導出し、導出した前記位置へ前記複数の無人飛行体を移動させる制御部と、
前記複数の無人飛行体のそれぞれに搭載された第2種撮像装置により撮像された第2種画像を受けつける第2入力部と、
前記第2入力部において受けつけた前記第2種画像をもとに、受粉可能な植物を検知する検知部とを備え、
前記制御部は、前記検知部が受粉可能な植物を検知した場合、前記複数の無人飛行体のうちの少なくとも1つに対して、前記群知能アルゴリズムの使用を停止して、前記検知部において検知した前記植物の位置に移動させる制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御技術に関し、特に無人飛行体の動作を制御する制御装置に関する。
【背景技術】
【0002】
自家受粉により果実ができる植物を受粉させるために、ミツバチやマルハナバチなどの花粉媒介昆虫が利用されたり、人の手が利用されたりする。例えば、完全人工光の植物工場において、受粉にミツバチを利用した栽培がなされる。植物工場とは、植物の成長に必要な環境条件を施設内で高度に人工制御して、年間を通じて計画的かつ安定的に植物を栽培するシステムである(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2013-226132号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
屋外等の広い領域において植物を栽培する場合、植物に対する自家受粉を効率的に実行することが望まれる。
【0005】
本発明はこうした状況に鑑みてなされたものであり、その目的は、植物に対する自家受粉を効率的に実行する技術を提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある態様の制御装置は、植物が栽培される栽培領域内を飛行可能な複数の無人飛行体を制御する制御装置であって、栽培領域を撮像する第1種撮像装置により撮像された第1種画像を受けつける第1入力部と、第1入力部において受けつけた第1種画像をもとに、複数の無人飛行体のそれぞれの位置を取得する取得部と、取得部において取得した位置に対して群知能アルゴリズムを使用することによって、複数の無人飛行体のそれぞれが移動すべき位置を導出し、導出した位置へ複数の無人飛行体を移動させる制御部と、複数の無人飛行体のそれぞれに搭載された第2種撮像装置により撮像された第2種画像を受けつける第2入力部と、第2入力部において受けつけた第2種画像をもとに、受粉可能な植物を検知する検知部とを備える。制御部は、検知部が受粉可能な植物を検知した場合、複数の無人飛行体のうちの少なくとも1つに対して、群知能アルゴリズムの使用を停止して、検知部において検知した植物の位置に移動させる。
【0007】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0008】
本発明によれば、植物に対する自家受粉を効率的に実行できる。
【図面の簡単な説明】
【0009】
図1】実施例に係る受粉システムの動作概要を示す図である。
図2図1の受粉システムの構成を示す図である。
図3図2の無人飛行体の外観を示す図である。
図4図4(a)-(b)は、図3の無人飛行体の動作概要を示す図である。
図5図5(a)-(d)は、第2種画像に含まれる花の態様を示す図である。
図6図2の検知部の構成を示す図である。
図7図2の制御装置による処理手順を示すフローチャートである。
【発明を実施するための形態】
【0010】
本実施例を具体的に説明する前に、まず概要を述べる。本実施例は、栽培領域において栽培される自家受粉の植物、例えばトマトを受粉させる受粉システムに関する。自家受粉とは、花粉が同じ個体のめしべについて受粉することであり、おしべをめしべに接触させることによってなされる。本実施例に係る受粉システムは、ドローン等の無人飛行体に棒状の受粉棒を取り付け、受粉棒を花に接触させるように無人飛行体を飛行させることによって、自家受粉を実行する。ここで、花には、受粉不可能な状態(以下、「不可能状態」という)と受粉可能な状態(以下、「可能状態」という)があり、可能状態の植物に受粉棒を接触させる必要がある。植物に対する自家受粉を効率的に実行するためには、可能状態の植物を効率的に発見するための動作(以下、「探索動作」という)と、可能状態の植物に受粉を実行させるための動作(以下、「受粉動作」という)とを効率的に実行することが求められる。
【0011】
受粉システムでは、無人飛行体に搭載された撮像装置により撮像された画像に対して、畳み込みニューラルネットワーク等の機械学習を実行することによって、可能状態の植物が検知される。その際、探索動作を効率化するために、複数の無人飛行体が使用されるとともに、複数の無人飛行体に対する飛行の制御に群知能アルゴリズムが使用される。これにより、複数の無人飛行体が栽培領域をまんべんなく飛行する。また、可能状態の植物を検知した場合、受粉動作を効率化するために、少なくとも1つの無人飛行体に対する群知能アルゴリズムの使用を停止し、当該無人飛行体を可能状態の植物に向かって移動させる。
【0012】
図1は、受粉システム1000の動作概要を示す。栽培領域150では、複数の植物100が栽培される。植物100は、自家受粉の植物であり、前述のごとく、例えばトマトである。植物100には花110が咲いているが、可能状態の花110(植物100)と不可能状態の花110(植物100)が混在する。栽培領域150内を飛行する無人飛行体200は、例えば、ドローンである。無人飛行体200は、探索動作により、可能状態の植物100を検知し、受粉動作により、可能状態の植物100に対する受粉を実行する。
【0013】
図2は、受粉システム1000の構成を示す。受粉システム1000は、無人飛行体200と総称される第1無人飛行体200aから第3無人飛行体200c、赤外線撮像装置300と総称される第1赤外線撮像装置300aから第3赤外線撮像装置300c、制御装置400、基地局装置500を含む。制御装置400は、第1入力部410、取得部412、制御部414、出力部416、通信部418、第2入力部420、検知部422を含む。受粉システム1000に含まれる無人飛行体200の数は「3」に限定されず、赤外線撮像装置300の数は「3」に限定されない。
【0014】
無人飛行体200は、携帯電話システム、無線LAN(Local Area Network)等の無線通信システムに対応した無線通信機能を備え、無線通信により基地局装置500と通信可能である。無人飛行体200は、基地局装置500を介して制御装置400からの制御信号を受信し、制御信号に含まれた指示にしたがって、栽培領域150内を飛行する。指示にしたがった飛行には公知の技術が使用されればよいので、ここでは説明を省略する。図3は、無人飛行体200の外観を示す。無人飛行体200の上面には、識別番号210が示される。識別番号210は、各無人飛行体200を識別するための番号であり、無人飛行体200毎に異なる。以下では、無人飛行体200の上面に示された番号と、受粉システム1000における処理のために使用される番号のいずれも、識別番号210と呼ぶ。図2に戻る。
【0015】
赤外線撮像装置300は、物体から放射される赤外線を可視化するための撮像装置であり、モーションキャプチャを実行する。第1赤外線撮像装置300aの撮像範囲、第2赤外線撮像装置300bの撮像範囲、第3赤外線撮像装置300cの撮像範囲の組合せにより、栽培領域150全体をカバーするように、第1赤外線撮像装置300aから第3赤外線撮像装置300cが設置される。そのため、赤外線撮像装置300は栽培領域150を撮像するといえる。栽培領域150の形状によっては、栽培領域150全体をカバーするための赤外線撮像装置300の台数が「3」以外であってもよい。赤外線撮像装置300は、通信用ケーブルあるいは無線回線により制御装置400と接続されており、モーションキャプチャにより生成した映像(以下、「第1種画像」という)を制御装置400に順次送信する。
【0016】
制御装置400は、植物100が栽培される栽培領域150内を飛行可能な複数の無人飛行体200を制御するためのコンピュータである。第1入力部410は、複数の赤外線撮像装置300のそれぞれから第1種画像を受けつける。各第1種画像には、送信元になる赤外線撮像装置300を識別するための識別情報が付加される。そのため、どの赤外線撮像装置300によって撮像された第1種画像であるかが識別可能である。
【0017】
取得部412は、第1入力部410において受けつけた第1種画像をもとに、複数の無人飛行体200のそれぞれの位置を取得する。例えば、取得部412は、第1種画像に画像認識処理を実行することにより、第1種画像に識別番号210が含まれているか否かを判定する。識別番号210が含まれている場合、取得部412は、識別番号210の値を認識することによって、各無人飛行体200を特定する。
【0018】
ここで、第1赤外線撮像装置300aから第3赤外線撮像装置300cは、固定して設置されているので、それぞれで撮像される映像の画角は固定である。そのため、第1赤外線撮像装置300aからの第1種画像に無人飛行体200が写っている場合、第1種画像における無人飛行体200の位置と大きさ、あるいは第1種画像における識別番号210の位置と大きさをもとに、当該無人飛行体200の位置が特定される。このような位置の特定には公知の技術が使用されればよいので、ここでは説明を省略する。各無人飛行体200の位置は、座標x、y、zで示される位置情報として表される。第2赤外線撮像装置300bからの第1種画像、第3赤外線撮像装置300cからの第1種画像のそれぞれに対しても同様である。また、第1赤外線撮像装置300aから第3赤外線撮像装置300cのそれぞれにおいて撮像された第1種画像における無人飛行体200等の位置と大きさとを組み合わせることによって、無人飛行体200の位置が特定されてもよい。
【0019】
制御部414は、探索動作として、取得部412において取得した各無人飛行体200の位置に対して群知能アルゴリズムを使用することによって、複数の無人飛行体200のそれぞれが移動すべき位置を導出する。ここでは、群知能アルゴリズムとして、ミツバチの群れの採餌行動から着想を得たABC(Artificial Bee Colony)アルゴリズムが使用される。ABCアルゴリズムの探索手順の一例は、次のように示される。
【0020】
(1)初期化
制御部414は、各探索点、つまり各無人飛行体200の初期位置をランダムに設定する。その際、1つの無人飛行体200を最良個体xbestを設定する。
【数1】
ここで、iは個体番号、iは最良個体番号、xbestとxibは最良個体位置を示す。個体番号、最良個体番号は、識別番号210によって示される。ψijは[-C,C]の範囲で発生させる一様乱数である。Cは定数で、評価関数の探索領域を設定する。
【0021】
(2)働き蜂による探索
制御部414は、次のように探索を実行する。
【数2】
ここで、iは個体番号、jはランダムに決定された次元番号、gは世代数、mはランダムに決定された個体番号を示す。φは[-1,1]の範囲で発生する一様乱数、xは個体iの位置、vijはxijの更新候補個体、fは個体iの適応度、Cは連続して個体iの位置が更新されなかった回数を示す。
【0022】
(3)見物蜂による探索
制御部414は、個々体の相対適応度を算出し、ルーレット戦略により更新候補個体を選択し、次のように位置を更新する。
【数3】
ここで、iは個体番号、jはランダムに決定された次元番号、gは世代数、mはランダムに決定された個体番号を示す。φは[-1,1]の範囲で発生する一様乱数、xは個体iの位置、vijはxijの更新候補個体、fは個体iの適応度、Cは連続して個体cの位置が更新されなかった回数を示す。
【0023】
cはルーレット選択により選択した個体番号を示す。ζは[0,1]の一様乱数である。pは世代gにおける相対適応度を示し、Pはルーレット戦略における選択確率を示す。fは世代gにおける適応度を示す。
【0024】
(4)偵察蜂よる探索
制御部414は、更新が一定回数なされなかった個体に対して次のように新たな位置を探索する。
【数4】
ここで、xmaxjは探索個体の中で最大となる位置を示し、xminjは探索個体の中で最小となる位置を示す。ψは[0,1]の範囲での一様乱数を示す。Cは連続して個体iの位置が更新されなかった回数を示し、Climitはそのしきい値である。
【0025】
(5)最適値の更新
制御部414は、現世代と現世代までに得られた最良個体を比較して、現時点での最良個体を更新する。制御部414は、最良個体の適応度が最適解に収束していれば処理を終了し、収束していなければ(2)働き蜂による探索に戻る。
【数5】
ここで、iは個体番号、iは最良個体番号、xibは現世代での最良個体、xbestは前世代までの最良個体を示す。
【0026】
制御部414は、各無人飛行体200に対する位置情報が含まれた信号(以下、「制御信号」という)を生成する。制御信号には、各無人飛行体200に対する識別番号210と位置情報との組合せが含まれる。出力部416は、制御部414において生成した制御信号を通信部418に出力する。通信部418は、通信用ケーブルあるいは無線回線により基地局装置500と接続されており、制御信号を基地局装置500に送信する。基地局装置500は、無人飛行体200の無線通信システムと同一の無線通信システムに対応した無線通信機能を備え、無線通信により無人飛行体200と通信可能である。基地局装置500は、各無人飛行体200に制御信号を送信する。
【0027】
各無人飛行体200は、制御信号を基地局装置500から受信する。無人飛行体200は、自らの識別番号210に対応した位置情報を制御信号から抽出する。無人飛行体200は、GNSS(Global Navigation Satellite System)等の測位機能を有し、現在の位置を取得する。無人飛行体200は、現在の位置から、抽出した位置情報に向かって移動する。つまり、制御装置400の制御部414は、導出した位置へ複数の無人飛行体200を移動させる。
【0028】
図4(a)-(b)は、無人飛行体200の動作概要を示す。図4(a)は、無人飛行体200の側面図を示す。無人飛行体200の下部には、撮像装置220が搭載される。撮像装置220の搭載位置は、無人飛行体200の下部に限定されない。撮像装置220は、無人飛行体200からの風景を撮像し、撮像した映像(以下、「第2種画像」という)が含まれた信号(以下、「画像信号」という)を基地局装置500経由で制御装置400に送信する。その際、画像信号には、送信元になる無人飛行体200の識別番号210も含まれる。また、無人飛行体200が花110の近傍に存在する場合、第2種画像には花110が含まれる。赤外線撮像装置300を第1種撮像装置と呼ぶ場合、撮像装置220は第2種撮像装置と呼ばれてもよい。図4(b)は後述し、図2に戻る。
【0029】
制御装置400の通信部418は、基地局装置500経由で各無人飛行体200からの画像信号を受信する。第2入力部420は、画像信号に含まれた第2種画像と識別番号210とを通信部418から受けつける。
【0030】
検知部422は、第2入力部420において受けつけた第2種画像をもとに、受粉可能な植物100を検知する。図5(a)-(d)は、第2種画像に含まれる花110の態様を示す。図5(a)は、つぼみの状態であり、時間の経過とともに、図5(b)、図5(c)、図5(d)の順に花110の態様が変化する。ここで、図5(a)-(c)は不可能状態に対応し、図5(d)は可能状態に対応する。つまり、検知部422には、図5(d)の花110を有する植物100を、受粉可能な植物100として検知することが求められる。検知部422は、受粉可能な植物100を検知するために、例えば、畳み込みニューラルネットワークを使用する。
【0031】
図6は、検知部422の構成を示す。検知部422は、特徴抽出部430、識別部432を含む。特徴抽出部430は、畳み込み層440と総称される第1畳み込み層440aから第N畳み込み層440n、プーリング層442と総称される第1プーリング層442aから第Nプーリング層442nを含み、識別部432は、結合層450、ドロップアウト層452、出力層454を含む。検知部422には第2種画像が入力される。畳み込み層440は、特徴量の畳み込みを実行し、プーリング層442は、画素値を縮小する。畳み込みニューラルネットワークにより、不可能状態、可能状態のいずれかへの分類がなされる。出力層454は、可能状態の植物100を検知した場合、第2種画像を撮像した無人飛行体200の識別番号210を制御部414に出力する。図2に戻る。
【0032】
制御部414は、検知部422から識別番号210を受けつけた場合、つまり検知部422が受粉可能な植物100を検知した場合、受けつけた識別番号210の無人飛行体200(以下、「発見無人飛行体200」という)に対して、探索動作として既に指示した位置を特定する。特定した位置は、検知部422において検知した植物100の位置(以下、「受粉可能位置」という)に相当する。
【0033】
制御部414は、受粉可能位置をもとに、他の無人飛行体200を選択する。例えば、制御部414は、受粉可能位置から一定の範囲内に存在する他の無人飛行体200を選択する。また、制御部414は、受粉可能位置に近い方から一定台数の他の無人飛行体200を選択してもよい。あるいは、制御部414は、すべての他の無人飛行体200を選択してもよい。
【0034】
制御部414は、発見無人飛行体200と、選択した他の無人飛行体200に対して、群知能アルゴリズムの使用を停止するとともに、受粉可能位置が含まれた信号(以下、これもまた「制御信号」という)を生成する。制御信号には、発見無人飛行体200と、選択した他の無人飛行体200のそれぞれに対する識別番号210も含まれる。制御信号は、出力部416、通信部418、基地局装置500を介して、発見無人飛行体200と、選択した他の無人飛行体200に送信される。
【0035】
発見無人飛行体200と、選択した他の無人飛行体200は、制御信号を受信すると、制御信号に含まれた受粉可能位置に移動する。図4(b)は、花110に接近した無人飛行体200を示す側面図である。無人飛行体200の下部には、横方向に延びる棒状の受粉棒222が取り付けられる。無人飛行体200は、受粉棒222の先端付近を花110に接触させることにより、自家受粉を実行させる。無人飛行体200は振動子(図示せず)を備え、振動子により受粉棒222を振動させてもよい。つまり、制御部414は、発見無人飛行体200と、選択した他の無人飛行体200に受粉動作を実行させる。
【0036】
一方、制御部414は、選択されなかった他の無人飛行体200に対して、これまでと同様に、群知能アルゴリズムを使用することによって、これらの無人飛行体200のそれぞれが移動すべき位置を導出する。これに続く処理はこれまでと同様に実行する。つまり、制御部414は、選択されなかった他の無人飛行体200に探索動作を継続させる。
【0037】
この構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【0038】
以上の構成による受粉システム1000の動作を説明する。図7は、制御装置400による処理手順を示すフローチャートである。第1入力部410は第1種画像を受けつけ(S10)、取得部412は無人飛行体200の位置を取得する(S12)。第2入力部420が受けつけた第2種画像をもとに検知部422が受信可能な植物100を検知しない場合(S14のN)、制御部414は、群知能アルゴリズムを使用して位置を導出する(S16)。出力部416は、導出した位置への移動を指示する(S18)。
【0039】
第2入力部420が受けつけた第2種画像をもとに検知部422が受信可能な植物100を検知した場合(S14のY)、制御部414は、一部の無人飛行体200を植物100の位置に向かって移動させる(S20)。制御部414は、残りの無人飛行体200に対して、群知能アルゴリズムを使用して位置を導出し(S22)、出力部416は、導出した位置への移動を指示する(S24)。
【0040】
本実施例によれば、複数の無人飛行体のそれぞれに対して、群知能アルゴリズムを使用することによって移動先の位置を導出するので、受粉可能な植物の探索を効率的に実行できる。また、受粉可能な植物を検知した場合、少なくとも1つの無人飛行体に対して、群知能アルゴリズムの使用を停止して、受粉可能な植物の位置に移動させるので、受粉を効率的に実行できる。また、受粉可能な植物を検知した場合、残りの無人飛行体に対して群知能アルゴリズムを使用することによって移動先の位置を導出するので、受粉可能な植物の探索を継続できる。
【0041】
以上、本発明の実施例をもとに説明した。この実施例は例示であり、それらの各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0042】
本実施例において植物100としてトマトが栽培される。しかしながらこれに限らず例えば、トマト以外の植物が栽培されてもよい。本変形例によれば、本実施例の適用範囲を拡大できる。
【符号の説明】
【0043】
100 植物、 110 花、 150 栽培領域、 200 無人飛行体、 210 識別番号、 220 撮像装置、 222 受粉棒、 300 赤外線撮像装置、 400 制御装置、 410 第1入力部、 412 取得部、 414 制御部、 416 出力部、 418 通信部、 420 第2入力部、 422 検知部、 430 特徴抽出部、 432 識別部、 440 畳み込み層、 442 プーリング層、 450 結合層、 452 ドロップアウト層、 454 出力層、 500 基地局装置、 1000 受粉システム。
図1
図2
図3
図4
図5
図6
図7