(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024163651
(43)【公開日】2024-11-22
(54)【発明の名称】表示制御装置、表示制御システム、表示制御方法、及びプログラム
(51)【国際特許分類】
A01G 7/00 20060101AFI20241115BHJP
G09G 5/00 20060101ALI20241115BHJP
G09G 5/38 20060101ALI20241115BHJP
G09G 5/36 20060101ALI20241115BHJP
【FI】
A01G7/00 603
G09G5/00 550C
G09G5/38
G09G5/36 100
G09G5/00 510D
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023079443
(22)【出願日】2023-05-12
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100110412
【弁理士】
【氏名又は名称】藤元 亮輔
(74)【代理人】
【識別番号】100104628
【弁理士】
【氏名又は名称】水本 敦也
(74)【代理人】
【識別番号】100121614
【弁理士】
【氏名又は名称】平山 倫也
(72)【発明者】
【氏名】江口 薫
【テーマコード(参考)】
5C182
【Fターム(参考)】
5C182AC12
5C182AC33
5C182AC39
5C182BA14
5C182BA24
5C182BA25
5C182BA26
5C182BA28
5C182CA32
5C182CB41
5C182DA64
(57)【要約】
【課題】本発明によれば、ユーザーが現在の状況を適切に判断可能とするための表示制御装置を提供すること。
【解決手段】表示制御装置は、環境情報と植物の情報の少なくとも一方に基づく複数の植物の生育情報を取得する取得部と、生育情報とユーザーが行うアクションに関する情報とに応じて、表示部に表示させる情報を決定する決定部とを有する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
環境情報と植物の情報の少なくとも一方に基づく複数の前記植物の生育情報を取得する取得部と、
前記生育情報とユーザーが行うアクションに関する情報とに応じて、表示部に表示させる情報を決定する決定部とを有することを特徴とする表示制御装置。
【請求項2】
前記決定部は、前記生育情報と前記アクションに関する情報とに応じて、前記表示部における前記生育情報の表示順を決定することを特徴とする請求項1に記載の制御装置。
【請求項3】
前記決定部は、前記生育情報と前記アクションに関する情報とに応じて、前記アクションを促す表示を前記表示部に表示させることを特徴とする請求項1又は2に記載の制御装置。
【請求項4】
前記決定部は、前記アクションが完了したことを示す表示を前記表示部に表示させることを特徴とする請求項3に記載の制御装置。
【請求項5】
前記アクションに関する情報は、前記アクションに対応する前記生育情報に対する条件を含むことを特徴とする請求項1又は2に記載の制御装置。
【請求項6】
前記アクションに関する情報は、前記アクションの優先順位を規定する情報を含むことを特徴とする請求項5に記載の情報処理システム。
【請求項7】
前記アクションに関する情報を記憶する記憶部を更に有することを特徴とする請求項5に記載の制御装置。
【請求項8】
前記表示部に表示させる前記情報が前回の前記表示部に表示させた前記情報から変化する場合、該変化を通知する通知部を更に有することを特徴とする請求項1又は2に記載の制御装置。
【請求項9】
前記アクションに関する情報は、ユーザーの指示に応じて変更可能であることを特徴とする請求項1又は2に記載の制御装置。
【請求項10】
請求項1又は2に記載の表示制御装置と、
前記環境情報や前記植物の情報を検出する検出部とを有することを特徴とする表示制御システム。
【請求項11】
前記検出部は、第1の検出部と第2の検出部とを含み、
前記第1の検出部と前記第2の検出部は、異なる地域における前記環境情報や前記植物の情報を取得することを特徴とする請求項10に記載の表示制御システム。
【請求項12】
環境情報と植物の情報の少なくとも一方に基づく複数の前記植物の生育情報を取得するステップと、
前記生育情報とユーザーが行うアクションに関する情報とに応じて、表示部に表示させる情報を決定するステップとを有することを特徴とする表示制御方法。
【請求項13】
請求項12に記載の表示制御方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置、表示制御システム、表示制御方法、及びプログラムに関する。
【背景技術】
【0002】
近年、農作業の効率化や省力化を目的として、リモートセンシング技術を用いたスマート農業が提案されている。特許文献1には、農作物に関する計測の結果をグラフとして表示する際に、複数の項目のそれぞれに設定された基準値がグラフ上で一致した値になるように、複数の項目ごとに計測値のグラフ上の表示座標値への変換を行う構成が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の構成では、どの圃場でどのアクションを行えばよいか等の現在の状況を適切に判断することはできない。
【0005】
本発明は、ユーザーが現在の状況を適切に判断可能とするための表示制御装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一側面としての表示制御装置は、環境情報と植物の情報の少なくとも一方に基づく複数の植物の生育情報を取得する取得部と、生育情報とユーザーが行うアクションに関する情報とに応じて、表示部に表示させる情報を決定する決定部とを有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、ユーザーが現在の状況を適切に判断可能とするための表示制御装置を提供することができる。
【図面の簡単な説明】
【0008】
【
図1】実施例1の情報処理システムのブロック図である。
【
図2】実施例1の生育情報取得システムのブロック図である。
【
図3】実施例1の生育情報取得システムを用いて被写体を撮像する様子を示す図である。
【
図4】実施例1の表示部に情報が表示されるまでの処理を示すフローチャートである。
【
図5】実施例1の表示部に表示される情報の一例を示す図である。
【
図6】実施例2の情報処理システムのブロック図である。
【
図7】実施例2の表示部に情報が表示されるまでの処理を示すフローチャートである。
【
図8】実施例2の表示部に表示される情報の一例を示す図である。
【
図9】実施例2のアクション優先順位情報の一例を示す図である。
【
図10】実施例2の表示部に表示される他の例を示す図である。
【
図11】実施例2の表示部に表示される他の例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
【実施例0010】
図1は、本実施例の情報処理システム(表示制御システム)100のブロック図である。情報処理システム100は、生育情報取得システム101,102,103,104を有する。また、情報処理システム100は、解析部120、制御部121、記憶部130、及び表示部140を有する。解析部120と制御部121とにより表示制御装置が構成される。情報処理システム100の各部は、少なくとも表示制御装置と通信可能に接続されていればよい。
【0011】
生育情報取得システム101-104はそれぞれ、センサ部(検出部)111,112,113,114を有する。各センサ部は、例えば、カメラ、カラーセンサ、距離センサ、温度センサ、及び水位センサ等を備え、環境情報や植物の情報を検出する。本実施例では、各センサ部は、異なる地域の環境情報や植物の情報を検出するものとする。環境情報は、例えば、温度、湿度、照度、環境光の色、及び水位等である。植物の情報は、例えば、植物(作物)の各部分の色、大きさ、及び数等である。本実施例では、植物として水稲を例に挙げて説明する。なお、本実施例では、生育情報取得システムの数は4であるが、他の数であってもよい。
【0012】
解析部120は、センサ部で検出された環境情報や植物の情報を解析して、環境情報や植物の情報の少なくとも一方に基づく植物の生育情報を含む解析結果情報131を取得する。生育情報とは、例えば、葉色、草丈、茎数、籾色、積算温度、推定された水稲の移植日情報、推定された水稲の出穂日情報、及び推定された収穫量情報等である。解析結果情報131は、横軸を時系列、縦軸を生育情報とするグラフであってもよい。また、解析結果情報131は、障害物情報やシステム異常情報等の異常に関する情報も含んでいてもよい。
【0013】
制御部(決定部)121は、植物の生育情報とユーザーが行うアクションに関する情報とに応じて、表示部140に表示させる情報を決定する。表示部140に表示させる情報を決定するとは、生育情報の表示順の決定であってもよいし、ユーザーにアクションを促す表示を表示させることであってもよい。
【0014】
記憶部130は、解析結果情報131を記憶する。記憶部130は、ユーザーのアクションに関する情報を含むアクションデータベース132を記憶するユーザーのアクションに関する情報は、ユーザーが行うアクションをリスト化したアクション情報133と、アクションに対応する植物の生育情報に対する条件であるアクションスケジュール情報134を含む。アクション情報133は、例えば、中干し、かん水、農薬散布、施肥、収穫、障害物除去、及び機材故障に基づく交換等のアクションをリスト化した情報である。アクションスケジュール情報134は、例えば、対応するアクションが「中干しを行う」であれば「水稲1株あたりの茎数が20本以上」や、対応するアクションが「収穫を行う」であれば「水稲の出穂日を基準として積算温度が1000度に達した」等である。
【0015】
なお、ユーザーのアクションに関する情報は、ユーザーの指示に応じて変更可能に構成されてもよいし、項目を追加可能に構成されてもよい。
【0016】
表示部140は、複数の生育情報取得システム101-104ごとの生育情報を並列表示する。本実施例では、制御部121は、表示部140における生育情報の表示順を決定する。
【0017】
図2は、生育情報取得システム101のブロック図である。なお、他の生育情報取得システムは、生育情報取得システム101と同様の構成を有するため、詳細な説明は省略する。
【0018】
生育情報取得システム101は、前述したセンサ部111、画像処理部154、制御部155、記憶部156、及び通信部157を有する。
【0019】
センサ部111は、カラーセンサで構成された環境光情報取得部150、温度計で構成された温度情報取得部151、水位計で構成された水位情報取得部152、及びカメラで構成された撮像部153を備える。
【0020】
撮像部153は、撮像光学系153aと撮像素子153bとを含み、少なくとも可視光画像を取得可能である。撮像素子153bは、撮像光学系153aを介して形成された光学像(被写体像)を光電変換して、画像処理部154に画像(画像データ)を出力する。画像処理部154は、取得手段154aと分離手段154bとを備える。
【0021】
なお、本実施例では、センサ部111は、4つのセンサ部材(センシングデバイス)を備えるが、解析部120で解析結果情報131を取得可能な情報を検出する少なくとも1つ以上のセンサ部材を備えていればよい。また、画像に関わるセンサ部材が設けられていない場合、画像処理部154は不要である。
【0022】
生育情報取得システム101は、カメラや各種センサ部材等の電子機器の内部に設けられてもよい。また、生育情報取得システム101は、画像処理部154等の一部の機能が、電子機器から離れたコンピュータ(ユーザPC)やクラウドコンピューティング上で実現されるように構成されてもよい。この場合、電子機器は、生育情報取得システム101の一部の機能を有するように構成される。
【0023】
図3は、生育情報取得システム101を用いて、屋外環境光下にて植物である被写体160を撮像する様子を示す図である。環境光情報取得部150は、被写体160に入射する光の照度を所定の波長ごとに取得する環境光センサ150aを含む。環境光センサ150aが取得可能な波長範囲は、可視光の波長範囲であり、具体的には400nm-700nm程度の領域の青、緑、赤の波長範囲である。環境光センサ150aは、例えば、CCDやCMOSセンサ等の光電変換素子上に赤、緑、青のカラーフィルターを設けたものでよい。
図3中の点線で示した範囲は、撮像部153の画角範囲171である。
【0024】
図4は、表示部140に情報が表示されるまでの処理を示すフローチャートである。
図4の各ステップの処理は、表示制御装置により実行される。
【0025】
ステップS11では、制御部121は、ユーザーによる解析結果情報131の表示要求を取得する。ユーザーは、例えば、スマートフォンやPC等で実行可能なブラウザやアプリケーションを経由して、解析結果情報131の表示要求を行う。
【0026】
ステップS12では、解析部120は、解析結果情報131を取得する。
【0027】
ステップS13では、制御部121は、アクションスケジュール情報134を取得する。また、制御部121は、現在の日時情報とアクションスケジュール情報134とに基づいて、表示部140に表示すべきアクション項目があるかどうかを確認する。
【0028】
なお、本実施例ではステップS12の処理の後にステップS13の処理が行われるが、ステップS13の処理の後にステップS12の処理が実行されてもよい。
【0029】
ステップS14では、制御部121は、ステップS13までの実行内容に基づいて表示部140に表示させる情報を決定する。本実施例では、制御部121は、生育情報の表示順を決定する。なお、制御部121は、本実施例では優先順位が高くなるように表示順を決定するが、優先順位が高い生育情報を強調表示させてもよいし、表示枠の色を変更させてもよい。また、優先順位が高いことをユーザーに伝えるためのメッセージを表示させてもよい。
【0030】
なお、制御部121は、記憶部130から前回ユーザーが表示要求を行った際に最後に閲覧した生育情報を取得し、取得した生育情報に基づいて表示部140に表示させる情報を決定することが好ましい。例えば、ユーザーが表示要求を行うたびに、初期設定に基づく表示が行われると、閲覧したい情報を表示させるために毎回、生育情報を選択する必要がある。そこで、制御部121は、ユーザーが最後に閲覧した情報(例えば収穫時期が早い順に並べた表示内容)を維持した状態で生育情報を表示させることが好ましい。これにより、一度表示を消した後にもう一度表示させる場合でも、すぐに前回と同じ状態に復帰させることができる。
【0031】
また、前回表示した履歴がなく、初めて表示させる場合、制御部121は、生育情報のアクションスケジュール情報134との一致度に応じて表示部140に表示させる情報を決定すればよい。
【0032】
ステップS15は、制御部121は、ステップS14で決定した情報を表示部140に表示させる。本実施例では、制御部121は、ステップS14で決定した表示順で表示部140に生育情報を表示させる。
【0033】
図5は、表示部140に表示される情報の一例を示す図であり、水田の稲の様子をセンシングする各生育情報取得システムからの情報に基づく生育情報が並べて表示された例を示している。
図5において、最も左側の生育情報がユーザーに最も閲覧してほしい(優先順位が最も高い)情報であり、右側に位置するにつれて優先順位が下がっていく。
図5の各生育情報の横軸は日時であり、縦軸は生育情報の一例である茎数である。アクション項目は前述したように多岐にわたるが、ここでは簡単のために中干しに絞って説明する。また、「品種Aの稲で茎数が20本以上」というアクションスケジュール情報134が満たされた場合に、中干しを促す表示が表示されるように設定されている。更に、「品種Bの稲で茎数が25本以上」というアクションスケジュール情報134が満たされた場合に、中干しを促すアクションスケジュール情報134が表示されるように設定されている。
【0034】
図5では、中干しのタイミングに到達している稲をセンシングする生育情報取得システム104からの情報に基づく茎数が左側から数えて1番目(最も左側)に表示されている。左側から数えて2番目以降は、現在の茎数と中干しを促す表示が行われる茎数との差分が少ない(中干しのタイミングが近い)稲をセンシングする生育情報取得システムからの情報に基づく茎数が順に表示される。例えば、生育情報取得システム101から取得される茎数は生育情報取得システム102から取得される茎数よりもが多いが、生育情報取得システム102が取得する稲の方が現在の茎数と中干しのタイミングとなる茎数との差分が少ない。そのため、生育情報取得システム102から取得される茎数が生育情報取得システム102から取得される茎数よりも優先度が高い情報として表示されている。
【0035】
なお、
図5では、中干しを促す表示が行われる茎数との差分が少ない茎数を、優先順位が高くなるように表示させるが、中干しのタイミングとなる可能性が高い稲の情報の茎数を、優先順位が高くなるように表示可能であればこれに限定されない。例えば、差分ではなく割合を用いてもよい。
【0036】
また、「中干し」等のユーザーがアクションを起こす必要がある場合は、
図5の「中干しのタイミングです」のようにどのようなアクションを必要としているか等のアクションを促す表示を表示させることが好ましい。
【0037】
また、アクションを促す表示が行われた後、ユーザーが対応するアクションを行った場合、アクションが完了したことを示す表示を表示部140に表示させてもよい。なお、アクションを行うユーザーは、表示部140を閲覧しているユーザーではなく、対応する生育取得システムの近くのユーザー(作業者)であってもよい。
【0038】
また、アクションに関する情報は、工場出荷時に予め設定されているが、ユーザーにより変更可能に構成されてもよいし、項目を追加可能に構成されてもよい。例えば、初期状態において茎数と草丈を生育情報として出力可能である場合に、茎数と草丈を掛け合わせた指標を生育情報として表示するように変更することも可能である。
【0039】
以上説明したように、本実施例の構成によれば、ユーザーが現在の状況を適切に判断可能とすることができる。
本実施例では、記憶部130がクラウド上に構成されている点が実施例1と異なる。また、アクションに関する情報は、アクション優先順位情報135とアクション補助情報136を含む点が実施例1と異なる。また、生育情報取得システムの数は、一部図示していないが、5つ以上である点が実施例1と異なる。
アクション優先順位情報135は、アクションの優先順位を規定する情報である。例えば、異なる生育情報取得システムによりセンシングされる複数の稲において、肥料を撒く日と、農薬を散布する日が同日である場合にアクション優先順位情報135を用いてどちらを先に(優先順位が高くなるように)表示するかを決めればよい。これにより、異なるアクションを同日に実施することになったとしてもアクション優先順位情報135に基づいて制御部121は表示順を決定することができる。
アクション補助情報136は、アクションをより効率的に行うための情報であり、アクション情報133と組み合わせて使用される。アクション補助情報136は、例えば、ユーザーの現在位置情報、生育情報取得システムシステムの設置位置情報、過去の解析結果情報、栽培暦情報、生育情報取得システムが設置されている圃場の植物の品種情報、水稲の移植日、及び水稲の出穂日等である。
ステップS24では、制御部121は、アクション優先順位情報とアクション補助情報とを取得する。なお、本実施例ではステップS23の処理の後にステップS24の処理が行われるが、ステップS21の処理からステップS25までの処理の間にステップS24の処理が実行されてもよい。
左側から3番目以降の草丈については、次のアクションが必要な順番(例えば病害虫を防除するための農薬を撒くタイミング)等が日程的に近い順で、それを判断するための指標(例えば茎数)で並んで表示されている。
なお、本実施例では、表示順をユーザーの現在位置に近い順としたが、ユーザーの現在位置から遠い順としてもよい。また、過去の解析結果情報からのずれが大きい順としてもよいし、解析結果情報の信頼性が高い/低い順としてもよいであったりしてもよい。このようにアクション情報133とアクション補助情報136を組み合わせることで、ユーザーにとってより効率的な検討が行える提案を含む表示順で表示することができるため好ましい。