(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-22
(45)【発行日】2024-01-30
(54)【発明の名称】植物センシングデバイスおよびリアルタイム植物モニタリングシステム
(51)【国際特許分類】
G01N 21/17 20060101AFI20240123BHJP
A01G 7/00 20060101ALI20240123BHJP
【FI】
G01N21/17 A
A01G7/00 603
(21)【出願番号】P 2019181055
(22)【出願日】2019-09-30
【審査請求日】2022-08-10
(73)【特許権者】
【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
(74)【代理人】
【識別番号】100163186
【氏名又は名称】松永 裕吉
(72)【発明者】
【氏名】春田 牧人
(72)【発明者】
【氏名】久保 稔
(72)【発明者】
【氏名】水本 旭洋
(72)【発明者】
【氏名】太田 淳
(72)【発明者】
【氏名】笹川 清隆
(72)【発明者】
【氏名】出村 拓
(72)【発明者】
【氏名】安本 慶一
【審査官】三宅 克馬
(56)【参考文献】
【文献】特開2018-080936(JP,A)
【文献】米国特許出願公開第2008/0054166(US,A1)
【文献】米国特許出願公開第2016/0231237(US,A1)
【文献】特開2016-208853(JP,A)
【文献】米国特許出願公開第2017/0161921(US,A1)
【文献】特開平06-229957(JP,A)
【文献】中国特許出願公開第102495066(CN,A)
【文献】特開昭64-049941(JP,A)
【文献】特開2019-039993(JP,A)
【文献】特開2009-229274(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00 - G01N 21/01
G01N 21/17 - G01N 21/61
A01G 7/00
G01J 3/00 - G01J 4/04
G01J 7/00 - G01J 9/04
G01N 33/48 - G01N 33/98
(57)【特許請求の範囲】
【請求項1】
生きている植物の葉
の任意の箇所に取り付けられて葉表面の接写画像を取得する植物センシングデバイスであって、
面発光する光源を有
し、他の部材に保持されずに自由にされた光源パーツと、
前記光源パーツとは別体として構成され、イメージセンサーおよび一端面が前記イメージセンサーの撮像面に接した状態で前記イメージセンサーの撮像面上に配置されたファイバーオプティックプレート(FOP)を有
し、他の部材に保持されずに自由にされたセンサーパーツと、
前記光源パーツおよび前記センサーパーツが互いに引き合うように少なくとも一方のパーツの所定位置に配置された磁石で構成され、植物の葉を挟んで前記光源パーツの前記光源の発光面と前記センサーパーツの前記FOPの表面とを互いに対向させた状態で植物の葉の表面に押し当てて、前記光源パーツと前記センサーパーツとを植物の葉の両面にずれないように
かつ植物の葉を潰さないように固定するパーツ固定手段とを備えた植物センシングデバイス。
【請求項2】
前記光源パーツおよび前記センサーパーツのそれぞれに指でつまめる持ち手が設けられている、請求項1に記載の植物センシングデバイス。
【請求項3】
前記パーツ固定手段が複数の前記磁石で構成されている、請求項
1に記載の植物センシングデバイス。
【請求項4】
前記センサーパーツの前記イメージセンサーにヒートシンクが取り付けられている、請求項1ないし3のいずれかに記載の植物センシングデバイス。
【請求項5】
請求項1ないし4のいずれかに記載の複数の植物センシングデバイスと、
前記複数の植物センシングデバイスのそれぞれに電力を供給するとともに前記複数の植物センシングデバイスのそれぞれから植物の葉の接写画像データを取得して他機器へ転送する複数のコントロールモジュールと、
前記複数のコントロールモジュールから植物の葉に取り付けられた前記複数の植物センシングデバイスが撮像した植物の葉表面の接写画像データを受信して、当該接写画像データを、植物の葉表面の接写画像データを収集および解析する中央装置に転送するデータ中継装置と、
前記中央装置からユーザー所望のデータ解析結果を受信して当該データ解析結果を画面表示するモニタリング装置とを備えたリアルタイム植物モニタリングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、植物の組織や細胞の生理情報を取得する植物センシングデバイス、およびそのようなデバイスを用いて植物の状態をリアルタイムに監視するリアルタイム植物モニタリングシステムに関する。
【背景技術】
【0002】
近年の計測技術の向上に伴い、農業分野においても発育情報などを利用した作物栽培の効率化が進んでいる。例として、植物生育状況計測システムのフィールドサーバーが挙げられる。フィールドサーバーは植物の見た目(形状)情報や環境情報を取得することが可能であり、利用者が作業の至適時期を決定する手助けとなっている。また、フィールドサーバーの新たな試みとして、クラウドに情報を集約・分析することで作業の至適時期の探索が進められている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
現状の植物生育状況計測システムは植物の見た目(形状)情報や環境情報といった定性的なデータの計測に留まっており、そのような定性的なデータを評価しようとすると利用者自身の農業経験が重要となってくるためデータを活用できる人が限られてしまう。これに対して、定量的なデータを計測することができれば利用者の経験有無にかかわらずデータの評価がしやすくなる。
【0005】
研究室レベルではMRI(Magnetic Resonance Imaging)やX線CT(Computed Tomography)といった技術を用いて植物の生理活性を定量的に測定する方法が研究されている。しかし、現在の研究内容を農業応用するには、1)高コストで大がかりな装置が必要、2)計測可能範囲が小さい、という課題がある。そのため、現時点での計測デバイスをそのまま農業に利用することは難しい。さらに、植物の生理活性を測定するデバイスは植物の育成に及ぼす影響を小さくするために小型かつ非侵襲で計測可能なものであることが望ましい。
【0006】
上記問題に鑑み、本発明は、非侵襲で植物の生理活性を定量的に測定できる小型の植物センシングデバイスおよびそのようなデバイスを用いて植物の状態をリアルタイムに監視するリアルタイム植物モニタリングシステムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一局面に従うと、生きている植物の葉の任意の箇所に取り付けられて葉表面の接写画像を取得する植物センシングデバイスであって、面発光する光源を有し、他の部材に保持されずに自由にされた光源パーツと、光源パーツとは別体として構成され、イメージセンサーおよび一端面が前記イメージセンサーの撮像面に接した状態で前記イメージセンサーの撮像面上に配置されたファイバーオプティックプレート(FOP)を有し、他の部材に保持されずに自由にされたセンサーパーツと、前記光源パーツおよび前記センサーパーツが互いに引き合うように少なくとも一方のパーツの所定位置に配置された磁石で構成され、植物の葉を挟んで光源パーツの光源の発光面とセンサーパーツのFOPの表面とを互いに対向させた状態で植物の葉の表面に押し当てて、前記光源パーツと前記センサーパーツとを植物の葉の両面にずれないようにかつ植物の葉を潰さないように固定するパーツ固定手段とを備えた植物センシングデバイスが提供される。
【0008】
また、本発明の別の一局面に従うと、複数の上記植物センシングデバイスと、複数の植物センシングデバイスのそれぞれに電力を供給するとともに複数の植物センシングデバイスのそれぞれから植物の葉の接写画像データを取得して他機器へ転送する複数のコントロールモジュールと、複数のコントロールモジュールから植物の葉に取り付けられた複数の植物センシングデバイスが撮像した植物の葉表面の接写画像データを受信して、当該接写画像データを、植物の葉表面の接写画像データを収集および解析する中央装置に転送するデータ中継装置と、中央装置からユーザー所望のデータ解析結果を受信して当該データ解析結果を画面表示するモニタリング装置とを備えたリアルタイム植物モニタリングシステムが提供される。
【発明の効果】
【0009】
本発明によると、小型の植物センシングデバイスにより非侵襲で植物の生理活性を定量的に測定することができる。また、そのような植物センシングデバイスを用いてリアルタイムに植物の状態を監視することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の一実施形態に係る植物センシングデバイスの外観図
【
図2】本発明の一実施形態に係る植物センシングデバイスを植物の葉に取り付けたときの様子を表す図
【
図3】本発明の一実施形態に係る植物センシングデバイスの撮像系の模式図
【
図4】本発明の一実施形態に係る植物センシングデバイスにより撮像された植物の葉表面の接写画像例
【
図5】植物加圧耐性試験の様子を側面から写した写真
【
図6】植物サンプルが加圧力に耐えているときの写真
【
図7】加圧力が大き過ぎて植物サンプルが潰れたときの写真
【
図8】本発明の一実施形態に係るリアルタイム植物モニタリングシステムの構成図
【発明を実施するための形態】
【0011】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【0012】
≪植物センシングデバイス≫
図1は、本発明の一実施形態に係る植物センシングデバイス10の外観図である。本実施形態に係る植物センシングデバイス10は、植物の葉に取り付けられて葉表面の接写画像を取得するものである。植物センシングデバイス10は、互いに別体として構成された光源パーツ1およびセンサーパーツ2の二つのパーツからなる。なお、両パーツとも平面形状が一辺1cm程度の略方形をした直方体状の小型部材である。
【0013】
光源パーツ1は、面発光する光源11と、フレーム12と、持ち手13とを備えている。光源11は、発光モジュール111と光拡散体112とが積層されて構成されている。発光モジュール111は、図略のLED(Light Emitting Diode)などの発光素子で構成することができる。発光モジュール111の発光素子はフレキシブルケーブル14を通じて通電されるようになっている。光拡散体112は発光モジュール111の光を面状に拡散する部材であり、ガラスや樹脂などで構成することができる。具体的には、光拡散体112は略直方体状の形状をしており、その上面に発光モジュール111が配置されている。発光モジュール111から光拡散体112に入射した光は光拡散体112内部で拡散されて光拡散体112の下面全体から面状光となって出射される。
【0014】
なお、植物センシングデバイス10が取り付けられる植物の光合成などへの影響を極力少なくするために、発光モジュール111の発光色として波長500~570nmの緑色を使用することが好ましい。また、発光モジュール111に発光色の異なる複数の発光素子を実装して発光モジュール111の発光色を適宜変更できるように、また、複数の発光素子を個別に点灯制御して下述のイメージセンサー22による撮像画像を高解像度化するようにしてもよい。
【0015】
光源11はフレーム12に実装されている。フレーム12は一辺1cm程度のロ字状の樹脂または金属製の部材である。光源11の光はフレーム12の中央開口部より外部へと出射される。また、フレーム12の所定位置3箇所(後述するセンサーパーツ2における3つの小型マグネット27と対応する位置)に図略の小型マグネットが配置されている。
【0016】
フレーム12の一辺、具体的にはフレキシブルケーブル14が繋がれている辺と対向する辺からフレーム12に対して垂直に、具体的には光源11が実装されている側に、フレーム12と一体形成された持ち手13が2cm程度延びている。持ち手13は軽量化を図るために矩形フレーム形状をしている。利用者はこの持ち手13を指でつまんで光源パーツ1を取り扱うことができるようになっている。
【0017】
センサーパーツ2は、ファイバーオプティックプレート(FOP)21と、イメージセンサー22と、ヒートシンク23と、フレーム24と、持ち手25とを備えている。このうちFOP21、イメージセンサー22、およびヒートシンク23は積層されている。イメージセンサー22は、4K解像度のカラーCMOSイメージセンサーなどで構成することができる。FOP21は、光ファイバーを束にした光学デバイスである。FOP21は、その一端面がイメージセンサー22の撮像面に接した状態でイメージセンサー22の撮像面上に配置されている。イメージセンサー22は、フレキシブルケーブル26を通じて通電、制御、および撮像画像データの転送を行うようになっている。ヒートシンク23は、イメージセンサー22に取り付けられておりイメージセンサー22が発する熱を放熱する。
【0018】
FOP21、イメージセンサー22、およびヒートシンク23からなる積層部材はフレーム24に実装されている。フレーム24は、光源パーツ1のフレーム12と同じく一辺1cm程度のロ字状の樹脂または金属製の部材である。フレーム24の中央開口部からFOP21の他端面が覗いており、FOP21の他端面とフレーム24の表面とは面一にされている。
【0019】
フレーム24の一辺、具体的にはフレキシブルケーブル26が繋がれている辺と対向する辺からフレーム24に対して垂直に、具体的にはFOP21などが実装されている側に、フレーム24と一体形成された持ち手25が2cm程度延びている。持ち手25は軽量化を図るために矩形フレーム形状をしている。利用者はこの持ち手25を指でつまんでセンサーパーツ2を取り扱うことができるようになっている。
【0020】
フレーム24において持ち手25が設けられた辺側に1箇所およびそれと対向する辺側に2箇所、合計3箇所に小型マグネット27が配置されている。上述したように、光源パーツ1のフレーム12において、センサーパーツ2のフレーム24に配置されたマグネット27と対応する位置にも小型マグネットが配置されている。光源パーツ1およびセンサーパーツ2のそれぞれにおいて対応する位置に配置されたマグネットどうしは互いに引き合うような磁極に設定されている。なお、小型マグネット27としてネオジム磁石などの強力磁石を採用して、植物の葉を挟んで光源パーツ1とセンサーパーツ2とが植物の葉の両面にずれないようにしっかりと固定されるようにすることが好ましい。
【0021】
図2は、植物センシングデバイス10を植物の葉100に取り付けたときの様子を表す図である。なお、
図2では、植物センシングデバイス10を葉100に取り付けたときの光源パーツ1とセンサーパーツ2との位置関係を説明するために、葉100の陰になって見えないセンサーパーツ2を見えるように描画している。
図2に示したように、光源パーツ1およびセンサーパーツ2の両パーツは、葉100を挟んで光源パーツ1の光源11の発光面とセンサーパーツ2のFOP
21の表面とが互いに対向した状態で葉100の表面に押し当てられて葉100に固定される。
【0022】
図3は、葉100に取り付けたときの植物センシングデバイス10の撮像系の模式図である。葉100を挟んで光源パーツ1およびセンサーパーツ2を葉100に取り付けることで、発光モジュール111、光拡散体112、FOP21、イメージセンサー22の順で並ぶ撮像系が形成される。当該撮像系では、発光モジュール111の光が光拡散体112で拡散されて葉100の表面に面状光が照射され、葉100を透過した光がFOP21を通ってイメージセンサー22の撮像面に透過光の像が投影される。イメージセンサー22はその投影像を光電変換して葉100の表面の接写画像を生成する。
【0023】
図4は、植物センシングデバイス10により撮像された植物の葉表面の接写画像例である。実際にはフルカラー画像が取得されるが、便宜上グレースケールで画像例を示している。4K解像度のカラーCMOSイメージセンサーを使用することにより、葉100の表面の気孔や葉脈を高精細画像で観察することができる。
【0024】
≪植物加圧耐性試験≫
図2に示したように、植物センシングデバイス10は植物の葉100に取り付けて使用される。ここで光源パーツ1およびセンサーパーツ2は単に葉100を挟む力だけで葉100に固定されているため、その力、すなわち、光源パーツ1およびセンサーパーツ2の植物の葉100表面への押し当て力が弱ければ、葉100が揺れたり、葉表面に露が付いたりした場合などに植物センシングデバイス10の取り付け位置がずれる、あるいは葉100から植物センシングデバイス10が外れてしまうおそれがある。したがって、できるだけ強い力で光源パーツ1およびセンサーパーツ2を葉表面にしっかりと押し当てる必要がある。一方、この押し当て力が強すぎると葉表面の細胞が潰れてしまい、植物の生理活性観察に支障を来したり、場合によっては植物の生育に悪影響を与えたりするおそれがある。そこで、植物加圧耐性試験を行って、葉表面への光源パーツ1およびセンサーパーツ2の押し当て力の限界を求めた。
【0025】
試験は、各種植物の葉から約1cm四辺のサンプル(以下、植物サンプルという)を切り取り、植物サンプル表面に直径3mmのコレットをさまざまな圧力で押し当てたときの植物サンプルの状態を画像と目視により確認して行った。
図5は、植物加圧耐性試験の様子を側面から写した写真である。試験は、植物サンプルをサンプルステージに載置してサンプルステージを上昇させコレットを植物サンプルに押し当てて行った。なお、植物サンプルとして、アブラナ科の代表としてキャベツ、ナス科の代表としてトマト、イネ科の代表としてトウモロコシの3種類の植物の葉を採用した。
【0026】
次表に各種植物の加圧耐性試験結果を示す。表中「N」の右側の数字はステージにより印加される力(単位:ニュートン)、「N/cm2」および「Mpa」の右側の数字は植物サンプルに対するコレットの押し当て力(圧力)およびそのメガパスカル換算値、「サンプル」の下の数字は植物サンプルの番号である。表中「○」は植物サンプルがコレットの加圧力に耐えたことを表す。
図6は、植物サンプルが加圧力に耐えているときの写真である。この写真のように、葉の断面部分から水分が出ていない場合には、植物サンプルは潰れずにコレットの加圧力に耐えていると判断した(表中の「○」)。表中「×」は植物サンプルが潰れてしまったことを表す。
図7は、加圧力が大き過ぎて植物サンプルが潰れたときの写真である。この写真のように、葉の断面部分から水分が染み出しているような場合には、植物サンプルがコレットに強い力で押されて潰れてしまったと判断した(表中「×」)。また、表中「△」は、特に葉脈部分のみが潰れてしまったことを表す。
【0027】
【0028】
表に示した結果から、キャベツの葉は、加圧力が0.14MPaで葉脈部分が潰れたものがあるものの0.85MPaまでなら潰れず、1.13MPa以上になると潰れることがわかる。トウモロコシの葉は、加圧力が0.28MPaまでなら潰れず、0.42MPa以上になると潰れるものが出てくることがわかる。トウモロコシの葉は、加圧力が0.57MPaまでなら潰れず、1.13MPa以上になると潰れるものが出てくることがわかる。
【0029】
以上の試験結果から、植物の種類を問わず植物全般に適用可能な加圧力の限界は0.42MPaであると言える。したがって、光源パーツ1およびセンサーパーツ2は0.42MPaを超えない圧力で植物の葉100に押し当てて葉100に固定するのが適当である。
【0030】
以上のように、本実施形態に係る植物センシングデバイス10は、小型で扱いやすく、植物の葉に簡単に取り付け/取り外することができる。また、取り付けられる植物の葉を潰すことがなく、非侵襲で植物の生理活性を定量的に測定できる。
【0031】
≪リアルタイム植物モニタリングシステム≫
次に、植物センシングデバイス10を応用したリアルタイム植物モニタリングシステムについて説明する。
図8は、本発明の一実施形態に係るリアルタイム植物モニタリングシステム200の構成図である。本実施形態に係るリアルタイム植物モニタリングシステム200は、複数の植物センシングデバイス10と、複数のコントロールモジュール20と、データ中継装置30と、中央装置40と、モニタリング装置50とから構成される。
【0032】
複数の植物センシングデバイス10は、畑や農場などの露地あるいはビニールハウスや植物工場などの屋内といった各フィールド内で監視対象となる植物の葉に取り付けられる。
【0033】
複数のコントロールモジュール20は、複数の植物センシングデバイス10と上述のフレキシブルケーブル14、26で接続されており、接続先の植物センシングデバイス10に電力を供給するとともに、センサーパーツ2のイメージセンサー22を制御して植物センシングデバイス10から植物の葉の接写画像データを取得する。取得する画像データは静止画像および動画像のいずれでもよい。さらに、コントロールモジュール20は無線通信機能を有しており、植物センシングデバイス10から取得した画像データをデータ中継装置30に無線通信により転送することができる。なお、コントロールモジュール20は、監視対象となる植物の茎やその植物の近傍に設けられた図略の支持物などに固定される。
【0034】
コントロールモジュール20の電源としてバッテリーや太陽電池を使用することができる。また、コントロールモジュール20の無線通信デバイスとしてBluetooth(登録商標)やWiFi(登録商標)などの小型かつ小電力のデバイスを採用することが望ましい。これにより、植物センシングデバイス10が長期間に渡って動作し続けることができる。
【0035】
データ中継装置30は、フィールド内に設置された複数のコントロールモジュール20から植物の葉に取り付けられた複数の植物センシングデバイス10が撮像した植物の葉表面の接写画像データを受信して、当該接写画像データを、植物の葉表面の接写画像データを収集および解析する中央装置40に転送する。具体的には、データ中継装置30は、パソコンなどの汎用コンピュータで実現することができる。
【0036】
中央装置40は例えばクラウド環境に配置されており、ストレージ装置41や解析装置42などからなる。すなわち、データ中継装置30から送られてくるさまざまな植物の葉表面の接写画像データはストレージ装置41に蓄積され、解析装置42がそのビッグデータを機械学習して監視対象の各植物の水輸送、蒸散状態、色および形状情報から病状をリアルタイムに評価する。解析装置42は、データ中継装置30から受信した画像データだけでなく、その他のさまざまな情報源から天気情報や気候情報などを取得して、それら情報も加味して、監視対象の植物の育成状態を総合評価するようにしてもよい。
【0037】
モニタリング装置50は、中央装置40からユーザー所望のデータ解析結果を適宜受信して当該データ解析結果を画面表示する。具体的には、モニタリング装置50は、スマートフォンやタブレット端末などで実現することができる。なお、モニタリング装置50は1台に限られず何台あってもよい。また、データ中継装置30にモニタリング装置50の機能を搭載することで、データ中継装置30でデータ解析結果を見ることもできる。
【0038】
以上のように、本実施形態に係るリアルタイム植物モニタリングシステム200によれば、農作業者などのユーザーがスマートフォンなどを用いてリアルタイムに農作物(植物)の育成状態を知ることができ、農業における人手不足の問題の解消の一助になると期待される。
【0039】
≪変形例≫
上述の実施形態に係る植物センシングデバイス10およびリアルタイム植物モニタリングシステム200を次のように変形してもよい。
【0040】
光源11を有機EL(Electro-Luminescence)で構成してもよい。有機ELは面発光可能であるため、光拡散体112が不要になる。
【0041】
光源パーツ1およびセンサーパーツ2の互いに対向する位置に配置される小型マグネット27のうち一方を金属プレートにしてもよい。また、小型マグネット27をなくして、例えば光源パーツ1およびセンサーパーツ2をクランプクリップの両先端に取り付けて、当該クランプクリップで植物の葉を挟むことで光源パーツ1およびセンサーパーツ2を植物の葉の表面に押し当てて植物の葉に固定するようにしてもよい。
【0042】
データ中継装置30に中央装置40のストレージ装置41および解析装置42の機能を搭載してもよい。すなわち、クラウドを利用せずにフィールド内でリアルタイム植物モニタリングシステム200を構築するようにしてもよい。
【0043】
以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【符号の説明】
【0044】
10…植物センシングデバイス、1…光源パーツ、11…光源、13…持ち手、2…センサーパーツ、21…FOP、22…イメージセンサー、23…ヒートシンク、25…持ち手、27…小型マグネット(パーツ固定手段)、200…リアルタイム植物モニタリングシステム、20…コントロールモジュール、30…データ中継装置、40…中央装置、50…モニタリング装置