特開 2022-103491 情報処理装置、制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022103491

(43)【公開日】2022-07-08

(54)【発明の名称】情報処理装置、制御方法、及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220701BHJP

   G06K 7/10 20060101ALI20220701BHJP

   G06K 7/015 20060101ALI20220701BHJP

   G06K 7/14 20060101ALI20220701BHJP

   G03B 17/18 20210101ALI20220701BHJP

   G03B 15/00 20210101ALI20220701BHJP

【ＦＩ】

H04N5/232 220

H04N5/232 939

H04N5/232 300

G06K7/10 372

G06K7/015

G06K7/14 017

G03B17/18 Z

G03B15/00 U

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020218161

(22)【出願日】2020-12-28

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

(71)【出願人】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(71)【出願人】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】佐野 彰彦

【テーマコード（参考）】

2H102

5C122

【Ｆターム（参考）】

2H102AA71

2H102BB08

5C122EA48

5C122FA01

5C122FA16

5C122FH11

5C122FH18

5C122FK12

5C122FK24

5C122FK41

5C122GA20

5C122GA34

5C122GC07

5C122GC14

5C122GC52

5C122HA01

5C122HB01

(57)【要約】

【課題】 携帯端末でも精度の高い解析、予測が可能な定点撮影の補助・表示を行う仕組みを提供することが可能となる技術を提供する。
【解決手段】定点撮影を行う為の情報処理装置において、撮影対象物と対応づけて設置された２次元コードを読み取り、撮影した２次元コードに対応する定点撮影を行う為の情報を取得して、定点撮影を行う為の情報を表示する。
【選択図】 図３

【特許請求の範囲】

【請求項1】

２次元コードを含む撮影対象物を撮影する撮影手段と、
前記撮影手段で撮影した２次元コードに対応する定点撮影を行う為の情報を取得する取得手段と、
前記取得手段で取得した前記定点撮影を行う為の情報を、前記撮影手段による撮影対象物を表示する画面上に表示する表示手段と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記定点撮影を行う為の情報とは、前記撮影手段による撮影範囲を一意に特定可能にする情報であることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記定点撮影を行う為の情報とは、前記撮影手段により撮影された撮影画像をイメージ化した画像であることを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記イメージ化した画像とは、前回定点撮影時の定点撮影画像を透過処理した画像であることを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記表示手段は、撮影手段により撮影される撮影対象物を表示した画像に前記イメージ化した画像を重畳表示することを特徴とする請求項３または４に記載の情報処理装置。

【請求項6】

前記情報処理装置は、
撮影手段で撮影した定点撮影画像を基に、次回の定点撮影時に備えて前記イメージ化した画像を更新する更新手段と、
を備えることを特徴とする請求項３乃至５の何れか１項に記載の情報処理装置。

【請求項7】

前記情報処理装置は、
前記２次元コードと対応する前記イメージ化した画像を管理する管理手段と、
を備えることを特徴とする請求項３乃至６の何れか１項に記載の情報処理装置。

【請求項8】

定点撮影を行う為の情報処理装置の制御方法であって、
前記情報処理装置は、
撮影対象物と対応づけて設置された２次元コードを読み取る撮影ステップと、
前記撮影ステップで撮影した２次元コードから定点撮影位置を特定する情報を取得する取得ステップと、
前記取得ステップで取得した情報と対応する定点撮影を行う為の情報を表示する表示ステップとを、
実行することを特徴とする情報処理装置の制御方法。

【請求項9】

定点撮影を行う為の情報処理装置を、
撮影対象物と対応づけて設置された２次元コードを読み取る撮影手段と、
前記撮影手段で撮影した２次元コードから定点撮影位置を特定する情報を取得する取得手段と、
前記取得手段で取得した情報と対応する定点撮影を行う為の情報を表示する表示手段と、
して機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、個体追跡システム、個体追跡方法とプログラムの技術に関する。

【背景技術】

【0002】

近年、農作物の生育状況の解析や収量予測について、ＡＩ技術を使い、行うことが増えてきている。農作物の生育状況の解析や収量予測は、解析や予測を行いたい農作物を定点で映すカメラを設置して、カメラから得られた画像を継続的にＡＩに学ばせることで実現している。このカメラは、ＡＩにデータを送る必要がある為、監視カメラなどのネットワークカメラが用いられることが多い。

【0003】

しかしながら、上記のような方法は企業が運営するような大規模な農場や畑、ビニールハウスでは可能ではあるが、一般的な農家で上記の方法を実施することは下記のような理由から難しかった。

【0004】

農家に導入する上でネットワークカメラの設置は、ネットワークの工事に始まり、ビニールハウスによっては取り付けが困難であり、ビニールハウスや畑の作業スペースの関係で機材を常設することが難しい為である。

【0005】

また、仮に機材を設置出来たとしても作業状況によっては移動する必要があり、定点撮影することが出来ないなどの問題もあった。

【0006】

そこで、一般的な農家でも導入、運用がしやすいスマートフォンやタブレット端末で定点撮影を実現して、生育状況の解析や収量予測を出来るようにすることが求められている。

【0007】

例えば、カメラ付き情報処理端末を用いて、対象物の定点撮影を行い、対象物の時間的に前後する写真を比較表示する技術として、特許文献１がある。（特許文献１参照）

【0008】

また、デジタルカメラ等での撮影時に、前回の撮影画像を表示することにより、今回の撮影画像の画角、倍率、色合いなどを前回の撮影画像と統一することにより、観察対象の比較を行いやすくさせる技術として、特許文献２がある。（特許文献２参照）

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２０１５－１９５４５０号公報

【特許文献2】特開２００５－０２６８７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、特許文献１の技術は被写体が、住宅や店舗、オフィス等のリフォーム工事のような構造物を対象としており、出入口のように構造上変わらないものを含むような撮影を前提としており、農作物のように成長するものについては対応ができない。

【0011】

また、特許文献２の技術は、被写体として、成長する作物についても対応しているが、１つの観察対象物にしか対応できない。その為、１か所ではなくハウス内の複数の観察地点で撮影を行い、画像を解析する場合には対応することが出来ず、精度の高い解析結果が求められない。

【0012】

そこで本発明では、携帯端末でも精度の高い解析、予測が可能な定点撮影の補助・表示を行う仕組みを提供することを目的とする。

【課題を解決するための手段】

【0013】

上記目的を達成するための本発明は、定点撮影を行う為の情報処理装置であって、撮影対象物と対応づけて設置された２次元コードを読み取る撮影手段と、２次元コードと対応する情報を管理する管理手段と、管理手段から前記撮影手段で撮影した２次元コードに対応する定点撮影を行う為の情報を取得する取得手段と、取得手段で取得した前記定点撮影を行う為の情報を表示する表示手段と、を備えることを特徴とする。

【発明の効果】

【0014】

本発明によれば、携帯端末でも精度の高い解析、予測が可能な定点撮影の補助・表示を行うことが出来るという効果を奏する。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態におけるシステムの概略構成を示す図である。

【図2】本発明の実施形態におけるハードウェア構成図の一例を示す図である。

【図3】携帯端末側のアプリケーション上での全体フローを示す図である。

【図4】ガイドイメージを活用した携帯端末側の定点撮影処理フローを示す図である。

【図5】クラウド上に画像を登録する登録処理フローを示す図である。

【図6】ガイドイメージを更新する処理フローを示す図である。

【図7】撮影画面の一例を示す図である。

【図8】携帯端末上にガイドイメージをオーバーレイする一例を示す図である。

【図9】ＰＣ端末上の画面構成の一例を示す図である。

【図10】ユーザ管理テーブルを示す図である。

【図11】ガイドデータ管理テーブルを示す図である。

【図12】映像データ管理テーブルを示す図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して、本発明の実施形態を詳細に説明する。
図１は、本発明の定点撮影観測解析システム（情報処理システム）のシステム構成の一例を示す図である。本発明の情報処理システムは、携帯端末１０１と、クラウドで全体を連携させる遠隔業務支援システムサーバ１０４および撮影画像データを解析する生育解析システムサーバ１０３と、解析結果を確認して現場の農場に指導を行う為のクライアントＰＣ１０２とがネットワーク１０５で接続されている。

【0017】

観察対象を撮影する農場側では、観察モバイルアプリケーションをインストールした携帯端末１０１があり、インターネット１０５を介して、遠隔業務支援システムサーバ１０４と接続される構成になっている。

【0018】

研究センターには、観察ＰＣアプリケーションをインストールしたクライアントＰＣ１０２があり、インターネット１０５を介して遠隔業務支援システムサーバ１０４と接続される構成になっている。

【0019】

クラウド上には、ディープラーニングにより生成された学習済みモデル（ＡＩ）を用いて農作物の生育状況を解析する生育解析サーバ１０３、遠隔業務支援システムサーバ１０４があり、それぞれインターネット１０５を介して接続されている。以上で図１の説明を終了する。

【0020】

次に図２を参照して、本発明の実施形態における携帯端末１０１及びクライアントＰＣ１０２に適用可能なハードウェア構成の一例について説明する。

【0021】

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

【0022】

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

【0023】

また、２０５は入力コントローラで、入力デバイス２０９からの入力を制御する。入力デバイス２０９としては、キーボード、タッチパネル、及びマウス等のポインティングデバイス等が挙げられる。

【0024】

なお、入力デバイス２０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

【0025】

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

【0026】

２０６はビデオコントローラで、ディスプレイ２１０等の表示機への表示を制御する。なお、ディスプレイ２１０は、ＣＲＴ、液晶ディスプレイ等の表示機のことを指す。または、その他の表示機であってもよい。

【0027】

尚、本体と一体になったノート型パソコンのディスプレイも含まれるものとする。外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。

【0028】

また、図２のハードウェア構成を適用する装置が前述のタッチ操作を受け付け可能な装置である場合には、ディスプレイ２１０が入力デバイス２０９としての機能を提供する。

【0029】

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

【0030】

２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

【0031】

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォント展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0032】

本発明を実現するための後述する各種プログラムは、ＲＯＭ２０２あるいは外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。

【0033】

さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報、テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。

【0034】

カメラコントローラ２１２は、カメラ２１４等による映像取得を制御し、音声コントローラ２１３はマイク／スピーカ２１５等による音声取得制御やスピーカへの出力を制御する。カメラ２１４は、図２のハードウェア構成を適用する装置に内蔵されているカメラである。また、マイク／スピーカ２１５は、図２のハードウェア構成を適用する装置に内蔵されているマイク及びスピーカである。以上が図２の説明である。

【0035】

図３は本発明の実施形態における、全体動作を示す図である。全体動作としては、定点撮影処理、ガイドイメージを活用した撮影ガイド処理、撮影画像データをクラウドに保存して、次の撮影に使用する撮影ガイドの準備といった処理が行われている。

【0036】

ステップＳ３０１では、携帯端末１０１にインストールしたアプリケーションの起動指示を受け付ける。アプリケーションの起動は、ユーザが携帯端末１０１をタッチ操作することにより、アプリケーションの起動指示を受け付け、アプリケーションを起動させる。

【0037】

ステップＳ３０２では、ログイン指示を受け付け、一般的なマルチテナントのログイン処理を行う。

【0038】

ステップＳ３０３では、携帯端末１０１に搭載されているカメラを起動し、カメラから映像を取得し、携帯端末１０１の画面に表示するとともに撮影可能状態とする。撮影ポイントループを開始する。

【0039】

ステップＳ３０４では、撮影処理を開始する。Ｓ３０４で行われる処理については、図４を用いて説明する。

【0040】

ここから図４を用いて、ステップＳ３０４で行われる携帯端末１０１を用いた定点撮影処理について説明する。

【0041】

まず、本定点撮影処理における前提について説明する。本定点撮影処理では、生育解析を精度良く行う為に、複数の撮影ポイントで写真を撮影し、生育解析システムに連携する必要がある。その為、事前に撮影ポイントには２次元コード（例えばＱＲコード）などの撮影ポイントを一意に特定可能な情報を設置して定点撮影を行う。

【0042】

ステップＳ４０１では、ユーザからログイン指示を受け付けると、携帯端末１０１のモバイルアプリケーションを撮影可能状態にする。定点撮影を行いたい対象物がある撮影ポイントに設置してある２次元コード（ＱＲコード）が、カメラに映るようにかざす。（カメラで２次元コードを撮影する。）

【0043】

具体的には、図７の撮影画面７００に示すような形で行う。撮影する際は、予め撮影ポイントに設置されている２次元コード７０１を読み取る。

【0044】

ステップＳ４０２では、かざされた２次元コード（ＱＲコード）を読み取り、撮影ポイントＩＤやグループIDなどの撮影ポイントを一意に特定出来る情報を取得する。撮影ポイントを一意に特定出来る情報は、ＧＰＳの座標情報などでもよい。

【0045】

ステップＳ４０３では、撮影ポイントＩＤをクラウド上の遠隔業務支援システムサーバ１０４に送信し、遠隔業務支援システムサーバのガイドデータ管理テーブル１１００から撮影ポイントＩＤに該当するガイドデータを取得する。

【0046】

ガイドデータとは、携帯端末１０１の画面上に表示するガイドイメージと、撮影結果の登録前検証で類似判定に使うデータからなるデータである。

【0047】

類似判定に使うデータとは、ガイドイメージの元画像から抽出した特徴ベクトルと撮影結果の画像から抽出した特徴ベクトルのことである。

【0048】

ステップＳ４０３で送信された撮影ポイントＩＤ１１０１が、１（図１１の１１０６）であった場合は、当該ＩＤのレコードのガイドデータ１１０８を取得する。

【0049】

ステップS４０２で読み取った２次元コードの情報にグループID１１０２を含んでいるので、他の農場、ハウスの撮影ポイントIDと混同することなく、読み取った２次元コードに該当するガイドデータの取得が可能となる。

【0050】

ステップＳ４０４では、モバイルアプリケーションは、ステップＳ４０３で取得したガイドイメージを、図７の７０４に示すような形で、携帯端末１０１に表示しているカメラ映像の上にオーバーレイする。

【0051】

その際、ガイドイメージは、図８の８０３に示すように透過イメージデータとなっており、透けているのでユーザはカメラ映像を認識しつつガイドイメージを確認できる。

【0052】

上述のガイドデータは、同じ撮影ポイントにおいて撮影された直近の撮影画像を加工し、ガイドイメージ化したものであり、生育対象のエッジを抽出した線と、２次元コードを強調し透過したものである。

【0053】

ステップS４０５では、携帯端末１０１は、ユーザから撮影指示を受け付けると観察対象を撮影する。この際、ユーザは、携帯端末１０１上にオーバーレイ表示されたガイドイメージにカメラ映像を合わせることで、定点撮影が容易となる。また、２次元コードを基準に撮影することで観察対象が成長した場合であっても、定点撮影が容易となる。

【0054】

このガイドイメージを使った撮影を行うことで、モバイルアプリケーションは、観察対象を前回撮影と同じ定点で撮影したかのような撮影画像を取得することが出来る。

【0055】

ステップＳ４０６では、取得した撮影画像に対して撮影画像としてクラウド上に登録してよいか、写真としての検証（手振れ）やガイドデータとの類似判定を行う登録前検証を実施する。登録前検証では、農作物の生育解析システムに画像をインプットして、画像を解析する際に、同じ視点で撮影された画像で解析を行う必要がある為、ピンボケの画像、手振れの画像やガイドデータとズレた状態で撮影された画像について、問題がある画像として処理を行う。

【0056】

ステップＳ４０６の判定で問題があると判定された場合は、ステップＳ４０９に進み、問題の内容（手振れ、ピンボケ、ガイドデータとのズレ）を携帯端末１０１の画面上に表示し、ユーザに通知する。ユーザに問題の内容を通知したのち、再撮影の通知を行い、撮影画面を表示する。

【0057】

ステップＳ４０６の判定で問題がないと判定された場合は、ステップＳ４０７に進み、撮影画像をクラウド上の遠隔業務支援システムサーバの映像データ管理テーブル１２００にアップロードする。アップロードの際に、撮影画像１２０６に加えて撮影ポイントＩＤ１２０２と撮影日時１２０５、撮影者１２０３、撮影デバイス１２０４などの情報も一緒にアップロードする。尚、上記の定点撮影処理は、複数の撮影ポイントで繰り返し実施可能である。

【0058】

ステップＳ４０８では、ステップＳ４０７でアップロードした撮影画像を遠隔業務支援サーバのクラウドサーバへ登録する処理である。ステップS４０８の処理主体は、携帯端末１０１ではなく、クラウド側での処理である。撮影した写真をクラウドサーバへ登録する処理については、図５を用いて説明する。

【0059】

ここからステップＳ４０８で行われる撮影した写真をクラウドサーバへ登録する処理について、図５を用いて説明する。

【0060】

ステップＳ５０１では、モバイルアプリケーションからアップロードされたデータ（画像）を受信する。このデータはステップＳ４０７でアップロードされた画像である。

【0061】

ステップＳ５０２では、遠隔業務支援システムサーバ１０４で、アップロードされたデータを受信すると、遠隔業務支援システムサーバ１０４は、ユニークなＩＤであるＩｍａｇｅＩＤ１２０１を発行し、遠隔業務支援システムサーバ１０４の映像データ管理テーブル１２００に、撮影ポイントＩＤ１２０２と撮影日時１２０５をキーにして、データを保管する。

【0062】

続いて、ステップＳ５０３でガイドデータの更新処理を行う。ガイドデータの更新処理は、ガイドデータ内のガイドイメージを撮影対象が成長することを考慮して、直近の撮影画像を基にして更新する処理である。

【0063】

ステップＳ５０３の詳細な処理について図６を用いて、説明を行う。図６はガイドイメージを更新する処理である。

【0064】

ステップＳ６０１で、撮影画像を２次元コードと観察対象に分ける。分ける方法としては、撮影画像から２次元コードを特定して読み取るオープンソースソフトウェアや既知の画像編集エンジンなどの技術を用いて、２次元コードの位置座標を特定して分ける。撮影画像を２次元コードと観察対象とに分けるのは、ガイドイメージに変換する際に２次元コードのみを強調処理したい為である。

【0065】

ステップＳ６０２では、ステップＳ６０１で分けたうちの観察対象についてガイドラインとするため、エッジ抽出処理を行う。エッジ抽出処理をすることで、撮影する際にガイドとして合わせやすくする為である。

【0066】

ステップＳ６０３では、ステップＳ６０１で分けたうちの２次元コードについて、強調表示して、エッジ抽出処理を行う。２次元コードを強調表示して、エッジ抽出処理を行うのはイメージガイドを撮影した映像上にオーバーレイ表示するときに、２次元コードを基準と出来るようにするためである。

【0067】

ステップＳ６０４では、ステップＳ６０２とステップＳ６０３で抽出したデータを透過してイメージ化する。イメージ化することで、撮影した映像にオーバーレイ表示することが可能となる。

【0068】

ステップＳ６０５で、作成したガイドイメージにガイドデータを更新する。ステップＳ６０５での更新は、類似判定で使用するデータとしても更新を行う。類似判定の手法としては、特開2020-107272に記載の方法などを用いて行う。図６の更新処理が全て終了したら、ステップＳ５０４へと処理を戻す。以上が図６のガイドイメージ更新処理に関する説明である。

【0069】

ステップＳ５０４では、農作物生育解析システムとの連携を行う。生育解析システムサーバ１０３に、撮影画像、撮影ポイントＩＤ、撮影日時をアップロードする。生育解析システムは、アップロードデータを基に解析を実施し、解析結果をレスポンスとして遠隔業務支援システムに返す。

【0070】

上記の処理を行い、遠隔業務支援システムは解析結果を映像データ管理テーブル１２００に保管することで、観察モバイルアプリケーションと観察ＰＣからの解析結果表示要求に応えられるようになる。以上で図５の処理は終了であり、図４の処理も図５の処理が完了すれば、終了する。

【0071】

ここまでのステップＳ３０４内の処理について説明してきたが、上記のループ処理が終了すると、ステップＳ３０５でログアウト指示を受け付ける。

【0072】

ステップＳ３０６では、アプリで終了指示を受け付ける。以上で図３の説明を終了する。

【0073】

図８は、前回撮影した画像からガイドイメージを作成して、撮影時にカメラ映像の上にガイドイメージをオーバーレイ表示する画面のイメージ図である。

【0074】

前回の撮影画像８００を、２次元コード８０１と観察対象８０２でそれぞれ分けてエッジ抽出処理を行う。エッジ抽出処理を行う際は、２次元コードについては強調表示する処理を行う。

【0075】

ガイドイメージ８０３は、抽出したデータを透過してイメージ化したものである。前回の撮影画像８００の２次元コード８０１と、観察対象物８０２がそれぞれエッジ抽出処理された結果、８０４、８０５のように表示されるようになる。

【0076】

オーバーレイ表示画像８０６は、撮影時にカメラ映像の上にガイドイメージ８０３をオーバーレイ表示したものである。それぞれの２次元コード８０１と８０４が合わさり、ガイドイメージに合わせて写真を撮ることが出来るようになる。以上で図８の説明を終了する。

【0077】

図９は、本実施形態における、観察ＰＣアプリケーションおよび観察モバイルアプリケーションの画面構成の一例である。

【0078】

ユーザは観察ＰＣアプリケーションおよび観察モバイルアプリケーションを用いて、観察対象の生育状態を確認することができる。
どの撮影ポイントで撮影されたかを示すＩＤとして場所ＩＤ９０１が表示される。

【0079】

画面上には、オリジナル画像９０２、解析結果９０４、グラフ結果９０７が表示される。
オリジナル画像９０２には、２次元コード９０３も表示される。

【0080】

解析結果９０４には、オリジナル画像９０２を解析した結果を表示する。観察対象における所定の色や対象物の数を９０５の領域に表示する。９０４の例であると、ｆｌｏｗｅｒが４、ｇｒｅｅｎが２９、ｗｈｉｔｅが１０、ｒｅｄが０、ｈａｒｖが８というように画像中に占める所定の色や対象物の数を示す。グラフ結果９０７は、解析結果９０４で解析した結果をグラフとして反映させて表示している。以上で図９の説明を終了する。

【0081】

図１０は、ユーザ管理テーブルは、一般的なマルチテナントアプリケーションにおけるユーザごとの管理テーブルであり、テナントＩＤ１００１と、ユーザＩＤ１００２と、グループＩＤ１００３から構成される。ユーザは，ユーザＩＤを持ち、所属するテナントを表すテナントＩＤ１００１と所属するグループを表すグループＩＤ１００３との紐づけを持つ。ユーザ管理テーブルは、ログインを行う際に使用される。以上で図１０の説明を終了する。

【0082】

図１１は、ガイドデータ管理テーブルは、アップロード時のガイドデータ更新処理において作られたガイドデータを保管するテーブルである。撮影ポイントＩＤ１１０１、グループＩＤ１１０２、ガイドデータ１１０３、更新日時１１０４、撮影日時１１０５から構成される。

【0083】

観察モバイルアプリケーションから撮影ポイントＩＤをもとにガイドデータの要求があった際は、ガイドデータ管理テーブルから撮影ポイントＩＤに応じた最新のガイドデータを返す。グループＩＤは、同じ農場・ハウスを管理する単位である。以上で図１１の説明を終了する。

【0084】

図１２は、映像データ管理テーブルである。観察モバイルアプリケーションからアップロードされたデータは、映像データ管理テーブルに保管する。

【0085】

イメージＩＤ１２０１、撮影ポイントＩＤ１２０２、ユーザＩＤ１２０３、撮影デバイス１２０４、撮影日時１２０５、撮影画像１２０６、検出結果１２０７、解析結果１２０８で構成される。映像データ保管テーブルの検出結果１２０７と解析結果１２０８は、生育解析システムと連携した際に生育解析システムの解析結果を含め更新する項目である。ユーザＩＤ１２０３には、撮影者をマッピングする。イメージＩＤはユニークＮｏである。以上で図１１の説明を終了する。

【0086】

このように、任意の撮影ポイントで２次元コードを読み取り、撮影ポイントＩＤを取得して、撮影ポイントに対応するガイドイメージをクラウド上のガイドデータ管理テーブル１１００から取得することで、前回撮影時に作成したガイドイメージが撮影時にオーバーレイ表示されるので、常時定点に固定されるカメラでない携帯端末であっても、固定式のカメラと同様に生育解析や収量予測が可能になる。

【0087】

また、携帯端末という誰しもが扱いやすい端末で、定点撮影が行えることが出来るので、ＡＩを用いた生育解析や収量予測が身近なものとなる。

【0088】

また、ネットワークカメラなどを設置する際は、複数の撮影箇所に対して１つ１つデバイスを設置する必要がある為、デバイスコスト、設置コスト、ネットワークコストがかかる。

【0089】

しかしながら、本願発明によれば、ユーザが携帯端末を持って、複数の撮影ポイントへ向かい、２次元コードを撮影すれば定点撮影が可能なので、大幅なコストダウンが可能となる。

【0090】

また、農場では広大な面積で様々な栽培を行っているので複数の地点の撮影画像を使った解析を行う必要があり、精度向上の為には本願発明は極めて有効である。

【0091】

本発明の実施形態においては、携帯端末を用いて、２次元コードを読み取ったが、２次元コードが読み取れ、撮影機能がある端末やデバイスであれば、いかなる構成でもよい。
そのため、本実施例においては農作物を撮影するものとして説明したが、撮影対象は農作物に限らず、建築物や風景などいかなるものであっても良い。

【0092】

このように、本願発明によれば、携帯端末でも精度の高い解析、予測が可能な定点撮影をすることが可能となる。

【0093】

以上、本願の実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0094】

また、本発明におけるプログラムは、図４に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図４の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図１の各装置の処理方法ごとのプログラムであってもよい。

【0095】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0096】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0097】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0098】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0099】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0100】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0101】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0102】

携帯端末１０１
ＰＣ１０２
生育解析システムサーバ１０３
遠隔業務支援システムサーバ１０４
インターネット１０５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】