IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シンフォニアテクノロジー株式会社の特許一覧

<>
  • 特許-植物観察システム 図1
  • 特許-植物観察システム 図2
  • 特許-植物観察システム 図3
  • 特許-植物観察システム 図4
  • 特許-植物観察システム 図5
  • 特許-植物観察システム 図6
  • 特許-植物観察システム 図7
  • 特許-植物観察システム 図8
  • 特許-植物観察システム 図9
  • 特許-植物観察システム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-15
(45)【発行日】2022-11-24
(54)【発明の名称】植物観察システム
(51)【国際特許分類】
   A01G 7/00 20060101AFI20221116BHJP
【FI】
A01G7/00 603
【請求項の数】 5
(21)【出願番号】P 2018101409
(22)【出願日】2018-05-28
(65)【公開番号】P2019205363
(43)【公開日】2019-12-05
【審査請求日】2021-03-09
(73)【特許権者】
【識別番号】000002059
【氏名又は名称】シンフォニアテクノロジー株式会社
(74)【代理人】
【識別番号】110001841
【氏名又は名称】弁理士法人ATEN
(72)【発明者】
【氏名】臼井 一哉
【審査官】吉田 英一
(56)【参考文献】
【文献】特開2010-062962(JP,A)
【文献】特開2017-042133(JP,A)
【文献】米国特許出願公開第2014/0168412(US,A1)
【文献】米国特許出願公開第2004/0122592(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A01G 7/00
(57)【特許請求の範囲】
【請求項1】
複数の植物体が栽培されている空間内を鉛直方向と交差する所定方向に沿って移動可能に構成された、前記植物体を撮影するための撮影装置と、
各植物体に割り当てられ、割り当てられた植物体とともに前記所定方向に沿って移動可能に構成され、且つ、各植物体の個体を識別可能に構成された識別タグと、
前記撮影装置によって撮影された画像が前記識別タグを含むか否かを判断するタグ判断部と、を備えることを特徴とする植物観察システム。
【請求項2】
前記撮影装置は、前記空間を構成する天井部材から吊り下げられた、前記所定方向に延びる軌道に沿って移動することを特徴とする請求項1に記載の植物観察システム。
【請求項3】
複数の植物体が栽培されている空間内を移動可能に構成された、前記植物体を撮影するための撮影装置と、
各植物体に割り当てられ、割り当てられた植物体とともに移動する識別タグと、
前記撮影装置によって撮影された画像が前記識別タグを含むか否かを判断するタグ判断部と、を備え、
前記撮影装置は、前記空間を構成する天井部材から吊り下げられた、鉛直方向と交差する所定方向に延びる軌道に沿って移動し、
前記撮影装置は、撮影を行う撮影部と、前記撮影部を前記軌道に沿って移動させる第1移動機構と、前記撮影部を少なくとも鉛直方向に移動させる第2移動機構と、を有し、
前記撮影部と前記第1移動機構と前記第2移動機構とを制御する制御部と、
前記画像が前記植物体の撮影対象部分を含むか否かを判断する対象判断部と、をさらに備え、
前記制御部は、
前記第1移動機構の動作中に撮影された画像に前記識別タグが含まれると前記タグ判断部が判断した後、前記第1移動機構の動作を停止させ、且つ、前記第2移動機構の動作を開始させ、
前記第2移動機構の動作中に撮影された画像に前記撮影対象部分が含まれると前記対象判断部が判断した後、前記第2移動機構の動作を停止させることを特徴とする植物観察システム。
【請求項4】
前記植物体の上方に、前記所定方向に延びる延在部材が配置され、
前記植物体を支持するための支持部材が、前記延在部材によって前記所定方向に移動可能に支持され、
前記識別タグは、前記支持部材と一体的に移動可能に設けられていることを特徴とする請求項1~3のいずれかに記載の植物観察システム。
【請求項5】
前記画像に基づいて前記植物体の少なくとも一部のサイズを算出するための基準となる基準マークが、前記撮影装置によって撮影可能な位置に配置されていることを特徴とする請求項1~4のいずれかに記載の植物観察システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、栽培されている植物体を観察する植物観察システムに関する。
【背景技術】
【0002】
特許文献1には、一般的に知られたハイワイヤー方式(図8参照)で栽培されるトマト等の植物体が開示されている。ハイワイヤー方式とは、水平に張られたワイヤーに糸巻を移動可能に吊り下げ、糸巻から垂らされた誘引線に植物体の茎を沿わせて、茎を誘引線に固定する方式である。これにより、植物体の成長に応じて、糸巻の位置の変更により茎の位置を変更することで、収穫等の作業を一定の高さで行うことが可能となり、作業性の向上が図られる。
【0003】
ところで、近年、AI技術を利用して、植物体の画像データに基づいて植物体の育成状態を判断する技術の開発が進められている。このような技術を用いて、多数の植物体の育成状態を判断したい場合には、膨大な量の画像データが必要となりうる。そこで、特許文献2に記載のように、ロボットを用いて植物体を撮影することが考えられる。詳細には、ロボットは、植物体を撮影して画像データを取得するカメラと、カメラを移動させる駆動装置と、制御装置とを備える。これにより、制御装置が駆動装置にカメラを移動させ、カメラに植物体を撮影させることによって、画像データ取得の手間が軽減される。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2001-231373号公報
【文献】特開2017-42133号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献2に記載のロボットを、例えば特許文献1に記載のハイワイヤー方式で栽培されている植物体の撮影に用いようとすると、以下のような問題が生じうる。すなわち、仮に植物体の位置が固定されているならば、例えば各植物体の位置情報を制御装置に予め記憶させることで、容易に撮影を行うことができる。一方、ハイワイヤー方式では、植物体の茎の位置が頻繁に変更され、撮影対象部分の位置が頻繁に変わりうる。このため、各植物体の位置情報を予め記憶させておく方法では、位置情報を頻繁に修正する必要が生じ、非常に手間がかかるおそれがある。
【0006】
本発明の目的は、植物体が移動させられた場合でも、当該植物体を容易に見つけて撮影することである。
【課題を解決するための手段】
【0007】
第1の発明の植物観察システムは、複数の植物体が栽培されている空間内を移動可能に構成された、前記植物体を撮影するための撮影装置と、各植物体に割り当てられ、割り当てられた植物体とともに移動する識別タグと、前記撮影装置によって撮影された画像が前記識別タグを含むか否かを判断するタグ判断部と、を備えることを特徴とするものである。
【0008】
本発明では、画像に識別タグが含まれるとタグ判断部が判断するまで撮影装置を移動させることで、植物体の近傍に撮影装置を到達させることができる。また、識別タグによって、ある植物体を他の植物体と容易に区別することができる。したがって、植物体が移動させられた場合でも、当該植物体を容易に見つけて撮影することができる。
【0009】
第2の発明の植物観察システムは、前記第1の発明において、前記植物体の上方に、鉛直方向と交差する所定方向に延びる延在部材が配置され、前記植物体を支持するための支持部材が、前記延在部材によって前記所定方向に移動可能に支持され、前記識別タグは、前記支持部材と一体的に移動可能に設けられていることを特徴とするものである。
【0010】
例えば、植物体の茎等を支持部材によって支持し、植物体の成長に伴って支持部材を延在部材に沿って移動させる(すなわち、植物体を誘引する)栽培方式では、植物体の観察対象部分の位置が頻繁に変更されうる。このような栽培方式において、本発明のように識別タグの有無を判断して植物体を見つけることができることは、特に有効である。
【0011】
第3の発明の植物観察システムは、前記第1又は第2の発明において、前記撮影装置は、前記空間を構成する天井部材から吊り下げられた、鉛直方向と交差する方向に延びる軌道に沿って移動することを特徴とするものである。
【0012】
本発明では、軌道を略水平に配置することで、撮影装置を高い位置に配置した状態で移動させることができる。したがって、例えば撮影装置が地上走行する場合と比べて、撮影装置と作業者等との干渉を抑制することができる。
【0013】
第4の発明の植物観察システムは、前記第3の発明において、前記撮影装置は、撮影を行う撮影部と、前記撮影部を前記軌道に沿って移動させる第1移動機構と、前記撮影部を少なくとも鉛直方向に移動させる第2移動機構と、を有し、前記撮影部と前記第1移動機構と前記第2移動機構とを制御する制御部と、前記画像が前記植物体の撮影対象部分を含むか否かを判断する対象判断部と、をさらに備え、前記制御部は、前記第1移動機構の動作中に撮影された画像に前記識別タグが含まれると前記タグ判断部が判断した後、前記第1移動機構の動作を停止させ、且つ、前記第2移動機構の動作を開始させ、前記第2移動機構の動作中に撮影された画像に前記撮影対象部分が含まれると前記対象判断部が判断した後、前記第2移動機構の動作を停止させることを特徴とするものである。
【0014】
本発明では、撮影部は、植物体の大まかな位置を示す識別タグが検出されるまでは第1移動機構によって移動し、その後、撮影対象部分が検出されるまでは第2移動機構によって移動する。このようにして、撮影対象部分が撮影可能となる位置まで撮影部を速やかに移動させることができる。したがって、撮影の効率を向上させることができる。
【0015】
第5の発明の植物観察システムは、前記第1~第4のいずれかの発明において、前記画像に基づいて前記植物体の少なくとも一部のサイズを算出するための基準となる基準マークが、前記撮影装置によって撮影可能な位置に配置されていることを特徴とするものである。
【0016】
本発明では、基準マークの画像データを撮影装置によって取得できる。これにより、例えば、当該画像データにおける1画素あたりのサイズの情報を取得できる。この情報を基準にして、例えば、植物体の画像データにおける1画素あたりのサイズを算出することで、植物体の撮影対象部分のサイズを算出することができる。したがって、植物体の画像データに基づいて、撮影対象部分の実際のサイズを知ることができる。
【図面の簡単な説明】
【0017】
図1】本実施形態に係る植物育成システムの概略図である。
図2図1のA矢視図である。
図3】植物育成システムの電気的構成を示すブロック図である。
図4】撮影ロボット及びその周辺構成を示す説明図である。
図5】撮影ロボットによる撮影の手順を示すフローチャートである。
図6】原点位置に位置している撮影ロボットを示す説明図である。
図7】撮影の詳細な手順を示すフローチャートである。
図8】撮影ロボットの水平移動中における画像撮影を示す説明図である。
図9】カメラの上下移動中における画像撮影を示す説明図である。
図10】基準データの算出に関する説明図である。
【発明を実施するための形態】
【0018】
次に、本発明の実施の形態について、図1図10を参照しながら説明する。なお、図1の紙面上下方向(すなわち、重力の作用する鉛直方向)を上下方向とする。図1の紙面上下方向と直交する方向を水平方向とする。
【0019】
(植物育成システム)
まず、本実施形態に係る植物育成システム1(本発明の植物観察システム)の構成について、図1図3を用いて説明する。図1は、植物育成システム1の概略図である。図2は、図1のA矢視図であり、植物体Pの栽培方式の一つであるハイワイヤー方式を示す図である。図3は、植物育成システム1の電気的構成を示すブロック図である。
【0020】
植物育成システム1は、栽培されているトマト等の植物体Pの周辺環境や育成状況等に関する情報を取得し、その情報に基づいて植物体Pを育成するためのものである。図1に示すように、植物育成システム1は、栽培ハウス2と、撮影ロボット3(本発明の撮影装置)と、システム制御装置4等を備える。
【0021】
栽培ハウス2は、ビニールハウス等の建物である。栽培ハウス2は、地面101に立設された複数の柱102と、柱102に支持されて水平方向に延びる梁103(本発明の天井部材)と、柱102及び梁103の上方に設置された屋根104等を有する。屋根104には、開閉可能な天窓(不図示)が設けられている。柱102、梁103、屋根104等によって、栽培ハウス2の内部空間105(本発明の空間)が形成されている。内部空間105内では、複数の植物体Pが栽培されている。複数の植物体Pは、例えば、地面101上の土台106の上に設けられた畝107に植えられている。
【0022】
複数の植物体Pは、図2に示すように、一般的に知られたハイワイヤー方式で栽培されている。ハイワイヤー方式とは、水平方向と略平行な所定方向に張られたワイヤー111(本発明の延在部材)に糸巻112(本発明の支持部材)を移動可能に吊り下げ、糸巻112から垂らされた誘引線113に植物体Pの茎Sを沿わせて、茎Sを誘引線113に固定する方式である。ハイワイヤー方式は、例えばトマト、ナス、キュウリ、パプリカ等の栽培に用いられる。ワイヤー111は、不図示の吊下部材を介して梁103(図1参照)等に吊り下げられている。糸巻112は、ワイヤー111に沿って移動可能なフック114を有し、フック114を介してワイヤー111に吊るされている。糸巻112は、例えば作業者によって、ワイヤー111に沿って所定方向に移動させられる。植物体Pの茎Sは、例えばピンチ等のロック部材115によって誘引線113に固定される。糸巻112と誘引線113とロック部材115によって、茎Sが支持され、植物体Pが上下方向に沿って延びる。これにより、植物体Pの成長に合わせて糸巻112を所定方向に移動させ、茎Sの固定される位置を変更する(図2の二点鎖線参照)ことで、収穫等の作業を一定の高さで行うことが可能となり、作業性を向上させることができる。
【0023】
栽培ハウス2内には、内部空間105の温度等の環境を把握するための計測装置、内部空間105の環境を整えるための調節装置、及び、植物体Pに水や肥料を与えるための供給装置が設けられている。図3に示すように、計測装置として、例えば、温度計11、湿度計12、二酸化炭素濃度計13等が設けられている。調節装置として、例えば、温度調節用の空調装置14、天窓を開閉させる天窓作動装置15、加湿を行うミスト生成装置16、内部空間105内に二酸化炭素を供給する二酸化炭素供給装置17等が設けられている。供給装置として、各植物体Pに水を供給する給水装置18、各植物体Pに肥料を供給する肥料供給装置19等が設けられている。これらの装置は、有線又は無線によってシステム制御装置4と電気的に接続されている。
【0024】
撮影ロボット3(図1参照)は、内部空間105内を移動し、植物体Pを撮影して画像データを生成し、画像データをシステム制御装置に送信する。撮影ロボット3の詳細については後述する。
【0025】
システム制御装置4(図1図3参照)は、内部空間105の環境の把握及び調節、並びに植物体Pへの水や肥料の供給等を行うためのものである。システム制御装置4は、例えば一般的なPCによって構成されており、CPUと、ROMと、RAM等を有する。図3に示すように、システム制御装置4は、前述の撮影ロボット3や計測装置、調節装置、供給装置と電気的に接続されている。システム制御装置4は、ROMに格納されたプログラムに従い、CPUにより各装置を動作させる。また、システム制御装置4は、撮影ロボット3によって撮影された画像に基づき、画像認識によって植物体Pの育成状態を判断することが可能である。
【0026】
以上の構成を備える植物育成システム1において、以下のように植物体Pの育成が行われる。システム制御装置4は、温度計11によって内部空間105の温度を把握し、空調装置14や天窓作動装置15を動作させて内部空間105の温度を一定に保つこと等により、内部空間105の環境を適切に維持する。また、システム制御装置4は、撮影ロボット3に植物体Pを撮影させて画像データを取得し、画像認識によって植物体Pの育成状態を判断する。その上で、システム制御装置4は、給水装置18や肥料供給装置19を制御し、適切な量の水や肥料を植物体Pに供給する。
【0027】
ここで、例えば上述したハイワイヤー方式では、植物体Pの茎Sの位置が頻繁に変更され、撮影ロボット3による撮影対象部分の位置が頻繁に変わりうる。そこで、本実施形態では、植物体Pが移動させられた場合でも、撮影ロボット3が植物体Pを容易に見つけて撮影することができるように、植物育成システム1が以下のような構成をさらに備える。
【0028】
(植物体を撮影するための構成)
撮影ロボット3によって植物体Pを撮影するための構成について、図1図4を用いて説明する。図4は、撮影ロボット3及びその周辺構成を示す説明図である。
【0029】
まず、図2に示すように、各植物体Pには、個体を識別するための識別タグ120が割り当てられている。識別タグ120は、例えばQRコード(登録商標)などの2次元コード130が印刷されたカードである。識別タグ120は、糸巻112に取り付けられている。つまり、識別タグ120は、糸巻112と一体的に所定方向に移動可能である。これにより、識別タグ120は、各植物体Pの大まかな位置を示す指標となっている。例えば、植物体P1には、識別タグ121が割り当てられている。識別タグ121には、2次元コード131が印刷されている。また、植物体P1に隣接する植物体P2には、識別タグ122が割り当てられている。識別タグ122には、2次元コード131と異なる2次元コード132が印刷されている。識別タグ120には、2次元コード130の代わりに、バーコード等が印刷或いは刻印されていても良い。
【0030】
次に、撮影ロボット3及びその周辺の構成について説明する。まず、図1及び図4に示すように、内部空間105内には、撮影ロボット3が走行するためのレール141(本発明の軌道)が設けられている。レール141は、吊下部材142等を介して梁103から吊り下げられている(図1参照)。レール141が延びている延在方向は、水平方向と略平行である。レール141上の所定位置には、撮影ロボット3の充電を行うための充電装置143と、原点位置を示すドグ144とが設けられている。充電装置143及びドグ144の近傍には、キャリブレーション用の基準マーク150が配置されている。基準マーク150は、撮影ロボット3によって撮影された画像に基づいて、植物体Pの少なくとも一部のサイズを算出するための基準となるマークである(詳細については後述する)。基準マーク150は、例えば、識別タグ120に印刷された2次元コード130と同様のマークである。基準マーク150は、例えばレール141に取り付けられたプレート151に付され、撮影ロボット3によって撮影可能な位置に配置されている。
【0031】
図4に示すように、撮影ロボット3は、ロボット本体20と、カメラ30(本発明の撮影部)と、第1移動機構40と、第2移動機構50と、ロボット制御装置60(図3参照)とを有する。撮影ロボット3は、第1移動機構40によってレール141上を走行し、第2移動機構50によってカメラ30を上下移動させ、カメラ30によって植物体Pを撮影する。撮影ロボット3には、動力源として、例えば充電池21が搭載されている。充電池21は、上述した充電装置143によって充電される。
【0032】
カメラ30は、カメラ本体31と、レンズ32と、撮像素子(不図示)等を有する。カメラ30は、レンズ32を通過した画像を撮像素子によって画像データに変換することで、複数の画素の集合体である画像を撮影する。カメラ本体31は、例えば、ワイヤロープ54、55によってロボット本体20に吊り下げられている。カメラ30は、カメラ本体31が上下方向における移動範囲の上端に位置しているときに、識別タグ120及び基準マーク150を撮影できるように配置されている。カメラ本体31は、不図示の回転機構によって、水平回転可能に構成されている。レンズ32は、いわゆるズームレンズであり、焦点距離を変更可能(つまり、撮影範囲を変更可能)に構成されている。或いは、カメラ30は、単焦点の広角レンズと望遠レンズとを有しており、レンズを切換可能に構成されていても良い。カメラ30は、ロボット制御装置60と電気的に接続されている(図3参照)。
【0033】
第1移動機構40は、カメラ30をレール141に沿って延在方向に走行させるためのものである。図4に示すように、第1移動機構40は、第1モータ41と、車輪42~45とを有する。第1モータ41は、例えば一般的なサーボモータである。第1モータは、例えばロータリーエンコーダ(不図示)を有する。これにより、延在方向における撮影ロボット3の位置を検知することが可能となっている。第1モータ41は、ロボット制御装置60と電気的に接続されている(図3参照)。車輪42~45は、ロボット本体20に回転可能に取り付けられている。車輪42~45は、レール141を上下に挟むように配置されている。より具体的には、車輪42、43が上方から、車輪44、45が下方から、それぞれレール141を挟み込むように配置されている。これにより、ロボット本体20がレール141に安定的に吊り下げられる。車輪42は、例えば無端ベルト46を介して第1モータ41の回転軸に接続されている。これにより、第1モータ41の動力が車輪42に伝達され、撮影ロボット3がレール141に沿って走行する。
【0034】
第2移動機構50は、カメラ30を上下方向に移動させるためのものである。第2移動機構50は、例えば、第2モータ51と、ドラム52、53とを有する。第2移動機構50は、ワイヤロープ54、55がそれぞれ巻きつけられているドラム52、53に第2モータ51の動力を伝えることでドラム52、53を回転させ、カメラ30を昇降させる。第2モータ51は、例えば、第1モータ41と同様のサーボモータである。第2モータ51は、ロボット制御装置60と電気的に接続されている(図3参照)。ドラム52、53は、不図示の無端ベルトやプーリ等を介して、第2モータ51の回転軸に接続されている。これにより、第2モータ51の動力がドラム52、53に伝達されてドラム52、53が回転し、ワイヤロープ54、55のドラム52、53に巻き付けられていない部分の長さが変化する。このようにして、カメラ30が上下駆動される(図4の二点鎖線参照)。
【0035】
また、撮影ロボット3には、撮影ロボット3が原点位置に位置しているかどうか検知するための検知センサ70が設けられている。検知センサ70は、例えば、発光部71と受光部72とを有する光電センサである。検知センサ70は、ロボット制御装置60と電気的に接続されている(図3参照)。撮影ロボット3が原点位置に位置しているとき、発光部71が発する光が前述したドグ144によって遮られる。このとき、検知センサ70は、ドグ144が検知されていることを示す検知信号を動作制御部61に送信する。
【0036】
図3に示すように、ロボット制御装置60は、撮影ロボット3に内蔵されている。ロボット制御装置60は、CPUと、ROMと、RAM等を有する。ロボット制御装置60は、ROMに格納されたプログラムに従い、CPUにより各部を制御する。ROMには、例えば、カメラ30等を動作させるための動作プログラム、画像から2次元コードを抽出するための画像認識プログラム、及び、画像から植物体Pの撮影対象部分を抽出するための画像認識プログラム等が格納されている。ロボット制御装置60は、以下のように、動作制御部61(本発明の制御部)、タグ判断部62、対象判断部63及び基準算出部64として機能する。動作制御部61は、カメラ30、第1モータ41及び第2モータ51の動作を制御する。タグ判断部62は、カメラ30によって撮影された画像に識別タグ120(より詳細には、識別タグ120に印刷された2次元コード130)が含まれるか否かについて、画像認識によって判断する。対象判断部63は、カメラ30によって撮影された画像に植物体Pの撮影対象部分(例えば、茎や実など)が含まれるか否かについて、画像認識によって判断する。基準算出部64は、基準マーク150の画像に基づき、キャリブレーション用の基準値(例えば、カメラ30と基準マーク150との距離や、画像における1画素あたりの被写体のサイズ)を算出する。
【0037】
(撮影ロボットによる撮影の手順)
次に、撮影ロボット3による植物体Pの撮影の手順について、図5図9を用いて説明する。図5は、撮影ロボット3による撮影の手順を示すフローチャートである。図6は、原点位置に位置している撮影ロボット3を示す説明図である。図7は、図6に示すステップS103の詳細手順を示すフローチャートである。図8(a)は、撮影ロボット3の水平移動中における画像撮影を示す説明図である。図8(b)は、識別タグ120を含む画像201を示す図である。図9(a)は、カメラ30の上下移動中における画像撮影を示す説明図である。図9(b)は、植物体Pを含む画像202を示す図である。
【0038】
まず、撮影の大まかな手順について、主に図5を用いて説明する。初期状態として、例えば、撮影ロボット3の電源がオフ状態である。この状態で、撮影ロボット3は原点位置に位置していても良く、他の場所に位置していても良い。撮影ロボット3の電源がオン状態に切り換えられたとき、システム制御装置4からロボット制御装置60に原点移動命令の信号が送信される。原点移動命令の信号を受信したとき、ロボット制御装置60は、第1モータ41を制御して撮影ロボット3を原点位置へ移動させる(S101)。検知センサ70によってドグ144(図6参照)が検知されると、検知信号がロボット制御装置60に送信される。検知信号を受信したとき、ロボット制御装置60は、第1モータ41の動作を停止させ、位置情報をリセットする。また、ロボット制御装置60は、第2モータ51を制御して、カメラ本体31を上下方向における移動範囲の上端に位置させる。
【0039】
次に、ロボット制御装置60は、カメラ30に基準マーク150を撮影させる。その際、ロボット制御装置60は、例えば、焦点距離が短い広角モードと、広角モードよりも焦点距離が長い望遠モードとで基準マーク150をカメラ30に撮影させ、2つの画像データを生成させる。ロボット制御装置60は、これらの画像データに基づいて、上述したキャリブレーション用の基準値を算出し、システム制御装置4に送信する(S102)。言い換えると、このとき、ロボット制御装置60は、基準算出部64として機能する。なお、基準値の算出方法については後述する。
【0040】
次に、ロボット制御装置60は、撮影ロボット3を移動させ、植物体Pの画像をカメラ30に撮影させる(S103)。ロボット制御装置60は、必要な全ての撮影が完了するまで、撮影ロボット3の移動及びカメラ30による植物体Pの撮影を繰り返す(S104)。以上のようにして、複数の植物体Pの撮影が行われる。
【0041】
ステップS103の詳細について、主に図7を用いて説明する。まず、ロボット制御装置60は、第1モータ41を制御して撮影ロボット3の水平移動を開始する(図8(a)参照)とともに、カメラ30を制御して、広角モードで画像の撮影を開始する(S201)。ロボット制御装置60は、カメラ30に動画を撮影させても良い。或いは、ロボット制御装置60は、所定の単位時間が経過するたびに、カメラ30に静止画を撮影させても良い。カメラ30は、撮影した画像をロボット制御装置60に送る。ロボット制御装置60は、撮影ロボット3の水平移動中に撮影された画像に識別タグ120が含まれているか否か、画像認識によって判断する(S202)。言い換えると、このとき、ロボット制御装置60は、タグ判断部62として機能する。ロボット制御装置60は、撮影された画像(例えば、図8(b)の画像201参照)に識別タグ120が含まれていると判断するまで、撮影ロボット3の水平移動及びカメラ30による画像の撮影を行う。
【0042】
ロボット制御装置60は、上記画像に識別タグ120が含まれていると判断した後、第1モータ41の動作を停止させ、第1移動機構40によるカメラ30の水平移動を停止させる。そして、ロボット制御装置60は、第2モータ51を制御してカメラ30を下方へ移動させながら(図9(a)の矢印参照)、カメラ30に植物体Pを撮影させる(S203)。ロボット制御装置60は、下方へのカメラ30の移動中に撮影された画像に植物体Pの撮影対象部分(茎や実など)が含まれているか否か、画像認識によって判断する(S204)。言い換えると、このとき、ロボット制御装置60は、対象判断部63として機能する。ロボット制御装置60は、撮影された画像(例えば、図9(b)の画像202参照)に植物体Pの撮影対象部分が含まれていると判断するまで、下方へのカメラ30の移動及びカメラ30による画像の撮影を行う。
【0043】
ロボット制御装置60は、上記画像に撮影対象部分が含まれていると判断した後、第2モータ51の動作を停止させ、第2移動機構50による下方へのカメラ30の移動を停止させる(S205)。そして、ロボット制御装置60は、カメラ30を制御して、植物体Pの育成状態を判断するための画像を撮影させる。ロボット制御装置60は、広角モード及び望遠モードで、植物体Pの静止画像をカメラ30に撮影させる。ロボット制御装置60は、上記撮影に際し、第1モータ41及び第2モータ51を制御して、植物体Pを広範囲にわたって撮影しても良い。ロボット制御装置60は、このようにして撮影された画像のデータをシステム制御装置4に送信する(S206)。撮影完了後、ロボット制御装置60は、第2モータ51を動作させて、カメラ30の上下方向における位置を元に戻す(S207)。以上のようにして、植物体Pの画像の撮影が行われる。
【0044】
(基準値の算出方法)
基準算出部64による基準値の算出方法について、図10を用いて説明する。図10(a)は、カメラ30によって撮影された基準マーク150の画像203を示す図である。図10(b)は、カメラ30と基準マーク150を上方から見た図である。図10(a)の紙面左右方向及び図10(b)の紙面上下方向を幅方向とする。カメラ30によって基準マーク150が撮影されたとき、図10(a)に示すように、基準マーク150を含む画像203が生成される。画像203は、複数の画素160の集合体である(なお、見やすさのため、図10(a)においては一部の画素160のみ図示している)。画像203全体の、幅方向における画素160の数をNmaxとする。画像203に含まれる基準マーク150の幅方向における画素160の数をNとする。基準マーク150の実際の幅をWとする。カメラ30のレンズ32の画角(撮影範囲の広さを示す数値)をθとする(図10(b)参照)。このとき、カメラ30と基準マーク150との距離(L)は、L=((1/2×W×(Nmax/N)/tan(θ/2)という数式から求められる。Nmax、W、及びθは既知の値であるため、基準マーク150の幅方向における画素数(N)が分かれば、カメラ30と基準マーク150との距離(L)を算出できる。また、WとNの値から、画像203における1画素あたりの基準マーク150のサイズ(W/N)を算出できる。さらに、カメラ30によって識別タグ120を撮影した場合、同様の方法で、カメラ30と識別タグ120との距離や、画像における1画素あたりの識別タグ120のサイズを算出することができる。これにより、画像における1画素あたりの植物体Pのサイズを算出し、植物体Pの少なくとも一部のサイズを推定することができる。
【0045】
以上のように、画像に識別タグ120が含まれるとロボット制御装置60(タグ判断部62)が判断するまで撮影ロボット3を移動させることで、植物体Pの近傍に撮影ロボット3を到達させることができる。また、識別タグ120によって、ある植物体Pを他の植物体Pと容易に区別することができる。したがって、植物体Pが移動させられた場合でも、当該植物体Pを容易に見つけて撮影することができる。
【0046】
また、ハイワイヤー方式では、植物体Pの観察対象部分の位置が頻繁に変更されうる。このような栽培方式において、本実施形態のように識別タグ120の有無を判断して植物体Pを見つけることができることは、特に有効である。
【0047】
また、撮影ロボット3がレール141上を走行するので、撮影ロボット3を高い位置に配置した状態で移動させることができる。したがって、例えば撮影ロボット3が地上走行する場合と比べて、撮影ロボット3と作業者等との干渉を抑制することができる。さらに、栽培ハウス2の梁103にレール141が吊り下げられるので、栽培ハウス2内の既存の部材を効果的に利用してレール141を設置できる。したがって、レール141の設置コストを低減できる。
【0048】
また、カメラ30は、植物体Pの大まかな位置を示す識別タグ120が検出されるまでは第1移動機構40によって移動し、その後、撮影対象部分が検出されるまでは第2移動機構50によって移動する。このようにして、撮影対象部分が撮影可能となる位置までカメラ30を速やかに移動させることができる。したがって、撮影の効率を向上させることができる。
【0049】
また、基準マーク150の画像データを撮影ロボット3によって取得できる。これにより、例えば、当該画像データにおける1画素あたりのサイズの情報を取得できる。この情報を基準にして、例えば、植物体Pの画像データにおける1画素あたりのサイズを算出することで、植物体Pの撮影対象部分のサイズを算出することができる。したがって、植物体Pの画像データに基づいて、撮影対象部分の少なくとも一部のサイズを知ることができる。
【0050】
次に、前記実施形態に変更を加えた変形例について説明する。但し、前記実施形態と同様の構成を有するものについては、同じ符号を付して適宜その説明を省略する。
【0051】
(1)前記実施形態において、撮影ロボット3は、梁103から吊り下げられたレール141に沿って移動するものとしたが、これには限られない。撮影ロボット3は、例えば、地上に配置されたレール(不図示)に沿って地上走行しても良い。また、レールは、必ずしも水平方向と平行に延びていなくても良く、水平方向に対して傾きを有していても良い。
【0052】
(2)前記までの実施形態において、撮影ロボット3は、充電池21によって駆動されるものとしたが、これには限られない。例えば、レール141に給電用のトロリー線(不図示)が取り付けられており、トロリー線を介して撮影ロボット3への給電が行われても良い。
【0053】
(3)前記までの実施形態において、カメラ30は、広角モード及び望遠モードの2つの撮影モードで植物体Pを撮影するものとしたが、これには限られない。すなわち、カメラ30は、3つ以上の撮影モードで植物体Pを撮影しても良い。或いは、カメラ30は、1つの撮影モードで(すなわち、単焦点で)植物体Pを撮影しても良い。
【0054】
(4)前記までの実施形態において、植物体Pは、ハイワイヤー方式で栽培されているものとしたが、これには限られない。例えば、移動可能なプランタ(不図示)等の容器に植えられているコチョウラン等を育成する植物育成システムに対し、本発明を適用しても良い。この場合、プランタに識別タグ120を取り付けても良い。
【0055】
(5)前記までの実施形態において、原点位置の近傍に基準マーク150が配置されているものとしたが、これには限られない。すなわち、植物育成システム1は、必ずしも基準マーク150を備えていなくても良い。
【0056】
(6)前記までの実施形態において、ロボット制御装置60が動作制御部61、タグ判断部62、対象判断部63、基準算出部64として機能するものとしたが、これには限られない。例えば、システム制御装置4が動作制御部61等として機能しても良い。
【0057】
(7)前記までの実施形態において、撮影ロボット3による撮影の対象は植物体Pの茎や実などであるものとしたが、これには限られない。例えば、植物体Pに付着している虫などを撮影対象物としても良い。
【符号の説明】
【0058】
1 植物育成システム(植物観察システム)
3 撮影ロボット(撮影装置)
30 カメラ(撮影部)
40 第1移動機構
50 第2移動機構
61 動作制御部(制御部)
62 タグ判断部
63 対象判断部
103 梁(天井部材)
105 内部空間(空間)
111 ワイヤー(延在部材)
112 糸巻(支持部材)
120 識別タグ
141 レール(軌道)
150 基準マーク
P 植物体
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10