特開 2022-111052 青果物品質推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022111052

(43)【公開日】2022-07-29

(54)【発明の名称】青果物品質推定システム

(51)【国際特許分類】

   G06Q 50/02 20120101AFI20220722BHJP

【ＦＩ】

G06Q50/02

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021185864

(22)【出願日】2021-11-15

(31)【優先権主張番号】P 2021006449

(32)【優先日】2021-01-19

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】519045387

【氏名又は名称】ＡＳＳＥＳＴ株式会社

(74)【代理人】

【識別番号】100120868

【弁理士】

【氏名又は名称】安彦 元

(72)【発明者】

【氏名】澤田 綾子

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC01

(57)【要約】

【課題】青果物の品質をより人手に頼ることなく高精度かつ自動的に推定する。
【解決手段】青果物の外観に関する外観情報を撮像すると共に、撮像した青果物の部位に関する第１撮像対象部位情報を取得し、過去において青果物について撮像した参照用外観情報と、青果物の品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力を青果物の品質とした学習済みモデルを利用し、上記情報取得手段により取得された外観情報と同一又は類似の参照用外観情報に基づき、上記連関度のより高いものを優先させて、青果物の品質を推定する上で、参照用外観情報と、青果物の品質との３段階以上の連関度を上記青果物の部位毎に予め取得しておき、取得した第１撮影対象部位情報に応じた青果物の部位の上記連関度を読み出して青果物の品質を推定する。
【選択図】図１９

【特許請求の範囲】

【請求項1】

青果物の品質を推定する青果物品質推定システムにおいて、
ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、当該ユーザ端末を介して推定対象の青果物の外観に関する外観情報を撮像すると共に、撮像した青果物の部位に関する第１撮像対象部位情報を取得する情報取得手段と、
過去において青果物の外観の撮像した参照用外観情報と、青果物の品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力を青果物の品質とした学習済みモデルを利用し、上記情報取得手段により取得された外観情報と同一又は類似の参照用外観情報に基づき、上記連関度のより高いものを優先させて、青果物の品質を推定する推定手段と、
上記参照用外観情報に含まれる青果物の部位に関する第２撮像対象部位情報を当該参照用外観情報に紐付けて予め記録した記録手段とを備え、
上記ユーザ端末は、上記情報取得手段により取得された第１撮像対象部位情報と、上記情報取得手段により取得された外観情報と同一又は類似の参照用外観情報に紐付けられて上記記録手段に記録されている第２撮像対象部位情報とに基づいて、上記ユーザに対して撮影方法についての示唆を通知すること
を特徴とする青果物品質推定システム。

【請求項2】

青果物の品質を推定する青果物品質推定システムにおいて、
ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、当該ユーザ端末を介して推定対象の青果物の外観に関する外観情報を撮像すると共に、撮像した青果物の部位に関する第１撮像対象部位情報を取得する情報取得手段と、
過去において青果物について撮像した参照用外観情報と、青果物の品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力を青果物の品質とした学習済みモデルを利用し、上記情報取得手段により取得された外観情報と同一又は類似の参照用外観情報に基づき、上記連関度のより高いものを優先させて、青果物の品質を推定する推定手段とを備え、
上記推定手段は、上記参照用外観情報と、青果物の品質との３段階以上の連関度を上記青果物の部位毎に予め取得しておき、上記情報取得手段により取得された上記第１撮影対象部位情報に応じた青果物の部位の上記連関度を読み出して青果物の品質を推定し、
上記ユーザ端末は、上記ユーザに対して上記推定手段により推定された青果物の品質を通知すること
を特徴とする青果物品質推定システム。

【請求項3】

青果物の品質を推定する青果物品質推定システムにおいて、
ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、当該ユーザ端末を介して推定対象の青果物の外観に関する外観情報を撮像すると共に、撮像した青果物の品種に関する第１撮影対象品種情報を取得する情報取得手段と、
過去において青果物について撮像した参照用外観情報と、青果物の品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力を青果物の品質とした学習済みモデルを利用し、上記情報取得手段により取得された外観情報と同一又は類似の参照用外観情報に基づき、上記連関度のより高いものを優先させて、青果物の品質を推定する推定手段と
を備え、
上記推定手段は、上記参照用外観情報と、青果物の品質との３段階以上の連関度を上記青果物の品種毎に予め取得しておき、上記情報取得手段により取得された上記第１撮影対象品種情報に応じた青果物の品種の上記連関度を読み出して青果物の品質を推定し、
上記ユーザ端末は、上記ユーザに対して上記推定手段により推定された青果物の品質を透過状態で表示する表示部を有すること
を特徴とする青果物品質推定システム。

【請求項4】

青果物の品質を推定する青果物品質推定システムにおいて、
ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、当該ユーザ端末を介して推定対象の青果物の外観に関する外観情報を撮像すると共に、撮像した青果物の栽培履歴に関する第１栽培履歴情報を取得する情報取得手段と、
過去において青果物について撮像した参照用外観情報と、青果物の品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力を青果物の品質とした学習済みモデルを利用し、上記情報取得手段により取得された外観情報と同一又は類似の参照用外観情報に基づき、上記連関度のより高いものを優先させて、青果物の品質を推定する推定手段と
を備え、
上記推定手段は、上記参照用外観情報と、青果物の品質との３段階以上の連関度を上記青果物の栽培履歴毎に予め取得しておき、上記情報取得手段により取得された上記第１栽培履歴情報に応じた青果物の栽培履歴の上記連関度を読み出して青果物の品質を推定し、
上記ユーザ端末は、上記ユーザに対して上記推定手段により推定された青果物の品質を透過状態で表示する表示部を有すること
を特徴とする青果物品質推定システム。

【請求項5】

上記連関度は、人工知能におけるニューラルネットワークのノードで構成されること
を特徴とする請求項１～５のうち何れか１項記載の青果物品質推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、青果物の品質を高精度に推定する上で好適な青果物品質推定システムに関する。

【背景技術】

【0002】

青果物の品質は、青果物の大きさ、形状、色、キズの度合等をはじめとする外観情報に加え、食感や味（甘さ、酸っぱさ、香ばしさ）等の味覚的な観点から評価される。このような青果物の品質は、外観に関しては人の視覚を通じて評価されており、また食感や味に関しては、試食を通じて評価されてきた。

【0003】

しかしながら、これら青果物の品質の評価をすべて人手による作業に頼るのであれば、その労力の負担は増大し、また判別精度に関しても相当のスキルと経験が必要になる。ベテランの品質評価人が引退した場合等には、その評価精度を維持できる後継者が必要になるが、近年の人手不足により、後継者の確保が困難になっている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

このため、青果物の品質評価を、人手に頼ることなく高精度に評価することができるシステムが従来より望まれていた。

【0005】

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、青果物の品質をより人手に頼ることなく高精度かつ自動的に推定することが可能な青果物品質推定システムを提供することにある。

【課題を解決するための手段】

【0006】

本発明に係る青果物品質推定システムは、青果物の品質を推定する青果物品質推定システムにおいて、ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、当該ユーザ端末を介して推定対象の青果物の外観に関する外観情報を撮像すると共に、撮像した青果物の部位に関する第１撮像対象部位情報を取得する情報取得手段と、過去において青果物の外観の撮像した参照用外観情報と、青果物の品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力を青果物の品質とした学習済みモデルを利用し、上記情報取得手段により取得された外観情報と同一又は類似の参照用外観情報に基づき、上記連関度のより高いものを優先させて、青果物の品質を推定する推定手段と、上記参照用外観情報に含まれる青果物の部位に関する第２撮像対象部位情報を当該参照用外観情報に紐付けて予め記録した記録手段とを備え、上記ユーザ端末は、上記情報取得手段により取得された第１撮像対象部位情報と、上記情報取得手段により取得された外観情報と同一又は類似の参照用外観情報に紐付けられて上記記録手段に記録されている第２撮像対象部位情報とに基づいて、上記ユーザに対して撮影方法についての示唆を通知することを特徴とする。

【発明の効果】

【0007】

青果物の品質をより人手に頼ることなく高精度かつ自動的に推定することができる。

【図面の簡単な説明】

【0008】

【図1】本発明を適用したシステムの全体構成を示すブロック図である。

【図2】探索装置の具体的な構成例を示す図である。

【図3】本発明の動作について説明するための図である。

【図4】本発明の動作について説明するための図である。

【図5】本発明の動作について説明するための図である。

【図6】本発明の動作について説明するための図である。

【図7】本発明の動作について説明するための図である。

【図8】本発明の動作について説明するための図である。

【図9】本発明の動作について説明するための図である。

【図10】本発明の動作について説明するための図である。

【図11】本発明の動作について説明するための図である。

【図12】本発明の動作について説明するための図である。

【図13】本発明の動作について説明するための図である。

【図14】本発明の動作について説明するための図である。

【図15】本発明の動作について説明するための図である。

【図16】本発明の動作について説明するための図である。

【図17】本発明の動作について説明するための図である。

【図18】本発明の動作について説明するための図である。

【図19】本発明の動作について説明するための図である。

【図20】本発明の動作について説明するための図である。

【図21】本発明の動作について説明するための図である。

【図22】本発明の動作について説明するための図である。

【図23】本発明の動作について説明するための図である。

【図24】本発明の動作について説明するための図である。

【発明を実施するための形態】

【0009】

第１実施形態
以下、本発明を適用した青果物品質推定モデル構築システム、及び青果物品質推定システムの例について、図面を参照しながら詳細に説明をする。

【0010】

以下の例において青果物とは、あらゆる果物、野菜が含まれる。以下でいう果物は、地球上にある全ての果物が含まれるが、その中でも特に核果実（アンズ、梅、さくらんぼ、スモモ、ネクタリン、プルーン、桃等）、仁果実（梨、西洋梨、びわ、リンゴ）、熱帯産果実（アボカド、キウイフルーツ、ドリアン、パパイヤ、マンゴー等）、果実的野菜（イチゴ、すいか、パイナップル、バナナ、メロン）、ぶどう類（ぶどう、巨峰、マスカット、ブルーベリー）、柿、栗の品質を推定する際において本発明は好適である。以下、果物というときは、地球上にある全ての果物のうち何れかの種類で、かつ何れかの品種のものにターゲットを当てた場合について説明をする。ここでいう果物の種類とは、（メロン、マンゴー、梨、さくらんぼ等の種別を示し、また品種とは、同じ種別として例えば梨を例に挙げた場合においても、「豊水」、「南水」、「長十郎」、「菊水」、「二十世紀」等の品種の別を示すものである。

【0011】

野菜は、ピーマン、アスパラガス、ナス、サヤインゲン、ササゲ、オクラ、とうもろこし、長ねぎ、玉ねぎ、コマツナ、ラッキョウ、ニンニク、タケノコ、シイタケ、マツタケ、マッシュルーム、カブ、かぼちゃ、食用菊、キャベツ、きゅうり、京菜（水菜）、グリンピース、春菊、ほうれん草、くわい、ごぼう、トマト、しそ（大葉）、じゅんさい、しょうが、瓜、ずいき、ズッキーニ、にんじん、レタス、サツマイモ、ジャガイモ、カリフラワー、ブロッコリー、セロリ、大根、高菜、サトウキビ等が代表的なものとして挙げられるが、これに限定されるものでは無く、他のいかなる野菜も含まれる。

【0012】

以下の説明において、本発明を適用した青果物品質推定プログラムとして、青果物としてリンゴに焦点を当てたリンゴ品質推定プログラムを例に挙げて説明をするが、リンゴ以外の他の青果物も同様の方法を用いることにより、品質推定を実現できることは勿論である。

【0013】

図１は、本発明を適用したリンゴ品質推定プログラムが実装されるリンゴ品質推定システム１の全体構成を示すブロック図である。リンゴ品質推定システム１は、情報取得部９と、情報取得部９に接続された推定装置２と、推定装置２に接続されたデータベース３とを備えている。

【0014】

情報取得部９は、本システムを活用する者が各種コマンドや情報を入力するためのデバイスであり、具体的にはキーボードやボタン、タッチパネル、マウス、スイッチ等により構成される。情報取得部９は、テキスト情報を入力するためのデバイスに限定されるものではなく、マイクロフォン等のような音声を検知してこれをテキスト情報に変換可能なデバイスで構成されていてもよい。また情報取得部９は、カメラ等の画像を撮影可能な撮像装置として構成されていてもよい。情報取得部９は、紙媒体の書類から文字列を認識できる機能を備えたスキャナで構成されていてもよい。また情報取得部９は、後述する推定装置２と一体化されていてもよい。情報取得部９は、検知した情報を推定装置２へと出力する。また情報取得部９は地図情報をスキャニングすることで位置情報を特定する手段により構成されていてもよい。また情報取得部９は、温度センサ、湿度センサ、風向センサ、を測るための照度センサで構成されていてもよい。また情報取得部９は、天候についてのデータを気象庁や民間の天気予報会社から取得する通信インターフェースで構成されていてもよい。また情報取得部９は身体に装着して身体のデータを検出するための身体センサで構成されていてもよく、この身体センサは、例えば体温、心拍数、血圧、歩数、歩く速度、加速度を検出するためのセンサで構成されていてもよい。また情報取得部９は図面等の情報をスキャニングしたり、或いはデータベースから読み出すことで取得するデバイスとして構成されていてもよい。情報取得部９は、これら以外に臭気や香りを検知する臭気センサにより構成されていてもよい。

【0015】

データベース３は、リンゴ品質推定を行う上で必要な様々な情報や学習データが蓄積される。リンゴ品質推定を行う上で必要な情報としては、過去において取得したリンゴの外観に関する参照用外観情報、参照用外観情報を取得する際のリンゴの品種に関する参照用品種情報、参照用外観情報を取得する際のリンゴから取得した参照用スペクトル情報、参照用外観情報を取得する際のリンゴの香りに関する参照用香り情報、参照用外観情報を取得する際のリンゴの重量に関する参照用重量情報、参照用外観情報を取得する際のリンゴの栽培履歴に関する参照用栽培履歴情報と、これらに対して実際に判断がなされたリンゴの品質とのデータセットが記憶されている。

【0016】

つまり、データベース３には、このような学習データや参照用外観情報に加え、参照用品種情報、参照用スペクトル情報、参照用香り情報、参照用重量情報、参照用栽培履歴情報の何れか１以上と、リンゴの品質が互いに紐づけられて記憶されている。なお、データベース３にこのような学習データを記憶する代わりに、推定装置２や情報取得部９側に学習データを記憶させるようにしてもよい。即ち、推定装置２や情報取得部９をいわゆるエッジデバイスとし、このエッジデバイスに、人工知能を搭載し、学習データを蓄積させて推論を行うようにしてもよい。

【0017】

推定装置２は、例えば、パーソナルコンピュータ（ＰＣ）等を始めとした電子機器で構成されているが、ＰＣ以外に、携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等、他のあらゆる電子機器で具現化されるものであってもよい。ユーザは、この推定装置２による探索解を得ることができる。

【0018】

図２は、推定装置２の具体的な構成例を示している。この推定装置２は、推定装置２全体を制御するための制御部２４と、操作ボタンやキーボード等を介して各種制御用の指令を入力するための操作部２５と、有線通信又は無線通信を行うための通信部２６と、各種判断を行う推定部２７と、ハードディスク等に代表され、実行すべき検索を行うためのプログラムを格納するための記憶部２８とが内部バス２１にそれぞれ接続されている。さらに、この内部バス２１には、実際に情報を表示するモニタとしての表示部２３が接続されている。

【0019】

制御部２４は、内部バス２１を介して制御信号を送信することにより、推定装置２内に実装された各構成要素を制御するためのいわゆる中央制御ユニットである。また、この制御部２４は、操作部２５を介した操作に応じて各種制御用の指令を内部バス２１を介して伝達する。

【0020】

操作部２５は、キーボードやタッチパネルにより具現化され、プログラムを実行するための実行命令がユーザから入力される。この操作部２５は、上記実行命令がユーザから入力された場合には、これを制御部２４に通知する。この通知を受けた制御部２４は、推定部２７を始め、各構成要素と協調させて所望の処理動作を実行していくこととなる。この操作部２５は、前述した情報取得部９として具現化されるものであってもよい。

【0021】

推定部２７は、探索解を推定する。この推定部２７は、推定動作を実行するに当たり、必要な情報として記憶部２８に記憶されている各種情報や、データベース３に記憶されている各種情報を読み出す。この推定部２７は、人工知能により制御されるものであってもよい。この人工知能はいかなる周知の人工知能技術に基づくものであってもよい。

【0022】

表示部２３は、制御部２４による制御に基づいて表示画像を作り出すグラフィックコントローラにより構成されている。この表示部２３は、例えば、液晶ディスプレイ（ＬＣＤ）等によって実現される。

【0023】

記憶部２８は、ハードディスクで構成される場合において、制御部２４による制御に基づき、各アドレスに対して所定の情報が書き込まれるとともに、必要に応じてこれが読み出される。また、この記憶部２８には、本発明を実行するためのプログラムが格納されている。このプログラムは制御部２４により読み出されて実行されることになる。

【0024】

上述した構成からなるリンゴ品質推定システム１における動作について説明をする。

【0025】

リンゴ品質推定システム１では、例えば図３に示すように、参照用外観情報と、リンゴの品質との３段階以上の連関度が予め設定されていることが前提となる。参照用外観情報とは、リンゴの外観について、リンゴを撮像することにより得られた画像情報から得られるものであり、画像情報を解析することで得ることができる。この画像は静止画のみならず動画であってもよい。この参照用外観情報は、リンゴについて撮像した画像を解析することで、リンゴの大きさ、形状、色、キズの度合の何れかに基づいて、リンゴの外観を特定するようにしてもよい。これらのリンゴの外観は、以前において学習させた特徴量に基づいて判別するようにしてもよい。このとき、人工知能を活用し、リンゴの大きさ、形状、色、キズの度合等の画像データと、リンゴの品質を学習させておき、実際に参照用外観情報を取得する際には、これらの学習させた画像データと照らし合わせて、そのリンゴの品質を判別するようにしてもよい。また、この参照用外観情報は、実際にもぎ取って収穫した摘果後のリンゴに限定されるものではなく、まだ枝になっている摘果前のリンゴの画像情報を得るようにしてもよい。

【0026】

かかる場合には、画像情報と、リンゴの大きさ、形状、色、キズの度合の何れかの外観とを教師データとして機械学習された予想モデルを用い、入力を上記画像情報とし、出力を上記外観として判定した結果に基づいて、外観を特定するようにしてもよい。

【0027】

リンゴの品質は、評価者による以前の経験に基づいてその良しあしを判断してもよいし、実際に試食をしてその味を判断するようにしてもよい。かかる場合にはリンゴを試食する複数人の検査者がその味について、甘さ、酸っぱさ、柔らかさ、硬さ、香ばしさ、歯ごたえ、苦み等の各項目について複数段階で評価し、それらを統計的に分析して品質評価値としてもよい。また、リンゴの品質は、味覚を検知可能な味覚センサを通じて判別するようにしてもよい。またリンゴの品質は、病気の有無に関する情報で構成されていてもよいし、病気が発生しているのであれば、その病気の種類に関する情報で構成してもよい。また、探索解として、リンゴの品質の代替として、リンゴにおいて発生している病気を適用するようにしてもよい。これにより、リンゴにおいて発生している病気を同様の手順で推定することが可能となる。

【0028】

図３の例では、入力データとして例えば参照用外観情報Ｐ０１～Ｐ０３であるものとする。このような入力データとしての参照用外観情報Ｐ０１～Ｐ０３は、出力としてのリンゴの品質に連結している。この出力においては、出力解としての、リンゴの品質が表示されている。

【0029】

参照用外観情報は、この出力解としてのリンゴの品質Ａ～Ｄに対して３段階以上の連関度を通じて互いに連関しあっている。参照用外観情報がこの連関度を介して左側に配列し、各リンゴの品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用外観情報に対して、何れのリンゴの品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用外観情報が、いかなるリンゴの品質に紐付けられる可能性が高いかを示す指標であり、参照用外観情報から最も確からしいリンゴの品質を選択する上での的確性を示すものである。図３の例では、連関度としてｗ１３～ｗ１９が示されている。このｗ１３～ｗ１９は以下の表１に示すように１０段階で示されており、１０点に近いほど、中間ノードとしての各組み合わせが出力としてのリンゴの品質と互いに関連度合いが高いことを示しており、逆に１点に近いほど中間ノードとしての各組み合わせが出力としての値段と互いに関連度合いが低いことを示している。

【0030】

【表1】

【0031】

推定装置２は、このような図３に示す３段階以上の連関度ｗ１３～ｗ１９を予め取得しておく。つまり推定装置２は、実際の探索解の判別を行う上で、参照用外観情報と、その場合のリンゴの品質の何れが採用、評価されたか、過去のデータセットを蓄積しておき、これらを分析、解析することで図３に示す連関度を作り上げておく。

【0032】

例えば、参照用外観情報が、リンゴの外観が大きさ、形状、色、キズの度合等が複数段階の数値で評価されたαであるものとする。このような参照用外観情報に対するリンゴの品質としてはリンゴの品質Ａが多く評価されたものとする。このようなデータセットを集めて分析することにより、参照用外観情報との連関度が強くなる。

【0033】

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用外観情報Ｐ０１である場合に、過去のリンゴの品質の評価を行った結果の各種データから分析する。こ参照用外観情報Ｐ０１である場合に、リンゴの品質Ａの事例が多い場合には、このリンゴの品質の評価につながる連関度をより高く設定し、リンゴの品質Ｂの事例が多い場合には、このリンゴの品質の評価につながる連関度をより高く設定する。例えば参照用外観情報Ｐ０１の例では、リンゴの品質Ａと、リンゴの品質Ｃにリンクしているが、以前の事例からリンゴの品質Ａにつながるｗ１３の連関度を７点に、リンゴの品質Ｃにつながるｗ１４の連関度を２点に設定している。

【0034】

また、この図３に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

【0035】

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを、以前の評価対象のリンゴの外観の画像等と実際に推定・評価したリンゴの品質とのデータセットを通じて作った後に、実際にこれから新たにリンゴの品質の判別を行う上で、上述した学習済みデータを利用してリンゴの品質を探索することとなる。かかる場合には、実際に判別対象の領域において外観情報を新たに取得する。新たに取得する外観情報は、上述した情報取得部９により入力される。外観情報は、リンゴの品質を判別しようとする画像を撮像することで取得する。この判別方法は、上述した参照用外観情報と同様の手法で行うようにしてもよい。

【0036】

このようにして新たに取得した外観情報に基づいて、リンゴの品質を判別する。かかる場合には、予め取得した図３（表１）に示す連関度を参照する。例えば、新たに取得した外観情報がＰ０２と同一かこれに類似するものである場合には、連関度を介してリンゴの品質Ｂがｗ１５、リンゴの品質Ｃが連関度ｗ１６で関連付けられている。かかる場合には、連関度の最も高いリンゴの品質Ｂを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められるリンゴの品質Ｃを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

【0037】

このようにして、新たに取得する外観情報から、最も好適なリンゴの品質を探索し、ユーザに表示することができる。この探索結果を見ることにより、ユーザ、即ちリンゴ生産業者、販売業者、流通業者は、探索されたリンゴの品質に基づいてリンゴの選別を行うことができ、リンゴの味を予測することができ、さらにリンゴの値段を決めることができる。しかもリンゴに接触することなく、非破壊検査を通じてこれらの品質を予測することができるため、リンゴに傷をつけることがなくなり、歩留まりを向上させることが可能となる。

【0038】

なお、摘果前のリンゴの外観を参照用外観情報として学習させている場合、外観情報としても同様に推定対象のリンゴの摘花前の外観を撮像することで取得するようにしてもよい。これにより、木になっている摘果前の状態においてリンゴの品質を推定することができる。このとき、各リンゴの品質を収穫時期情報と紐付けておくようにしてもよい。ここでいう収穫時期情報とは、いつ収穫すべきかを示す情報であり、例えば、今すぐ収穫すべきか、或いは２日後、４日後、１週間後等、収穫すべき時期が盛り込まれている。そして、リンゴの品質を推定した後、これに紐づけられた収穫時期状況を表示する。これにより、摘花前のリンゴを収穫する時期をユーザは把握することができる。

【0039】

かかる場合には、収穫時期情報の代替として、リンゴの品質に対して紐付けられた収穫の適否を学習させるようにしてもよい。収穫の適否は、今すぐに収穫してよいか、或いは今は収穫すべきでないかを示す情報である。

【0040】

このとき、情報取得部９、又は情報取得部９及び推定装置を眼鏡型端末やヘッドマウントディスプレイ（ＨＭＤ）で構成する場合、ＨＭＤを介して判別対象の木になっている摘果前のリンゴを含むように撮像することで外観情報を得るようにしてもよい。そして、得られた探索解としてのリンゴの品質、又はそれに紐付けられた収穫時期情報をＨＭＤの表示ディスプレイ上に表示するようにしてもよい。かかる場合には、いわゆるＡＲ（拡張現実）の技術を利用し、提案された摘花すべき花に関する情報を透過状態で表示する表示ディスプレイ上に表示するようにしてもよい。これにより、画面上において視認している摘果前のリンゴの画像において、何れのリンゴを今すぐ収穫すべき、収穫の適否も含めて、透過状態で表示させることができ、ユーザの作業の利便性向上を図ることができる。

【0041】

図４の例では、参照用外観情報と、参照用品種情報との組み合わせが形成されていることが前提となる。参照用品種情報とは、リンゴの品種に関する品種情報である。

【0042】

リンゴの品質は、参照用外観情報に加え、リンゴの品種に応じて異なる。リンゴの品種は、「ふじ」「ジョナゴールド」「つがる」等の品種が存在するが、いずれも品種ごとに期待される味は異なる。つまり「ふじ」は、「ふじ」に期待されるしゃくしゃくとした食感、甘みと酸味のバランスがあり、それらは何れも外観の画像（色合い、大きさ等）と相関性を持っている。このため、参照用外観情報に加え、このような参照用品種情報と組み合わせてリンゴの品質を定義することにより、リンゴの品質を高精度に評価することができる。参照用品種情報は、参照用外観情報を取得するリンゴに関し、生産者からインタビューし、個別に品種名をデータ入力してもよいし、あらかじめシステム上で選択・設定されていてもよい。

【0043】

図４の例では、入力データとして例えば参照用外観情報Ｐ０１～Ｐ０３、参照用品種情報Ｐ１４～１７であるものとする。このような入力データとしての、参照用外観情報に対して、参照用品種情報が組み合わさったものが、図４に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、リンゴの品質が表示されている。

【0044】

参照用外観情報と参照用品種情報との各組み合わせ（中間ノード）は、この出力解としての、リンゴの品質に対して３段階以上の連関度を通じて互いに連関しあっている。参照用外観情報と参照用品種情報がこの連関度を介して左側に配列し、リンゴの品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用外観情報と参照用品種情報に対して、リンゴの品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用外観情報と参照用品種情報が、いかなるリンゴの品質に紐付けられる可能性が高いかを示す指標であり、参照用外観情報と参照用品種情報から最も確からしいリンゴの品質を選択する上での的確性を示すものである。このため、これらの参照用外観情報と参照用品種情報の組み合わせで、最適なリンゴの品質を探索していくこととなる。

【0045】

図４の例では、連関度としてｗ１３～ｗ２２が示されている。このｗ１３～ｗ２２は表１に示すように１０段階で示されており、１０点に近いほど、中間ノードとしての各組み合わせが出力と互いに関連度合いが高いことを示しており、逆に１点に近いほど中間ノードとしての各組み合わせが出力と互いに関連度合いが低いことを示している。

【0046】

推定装置２は、このような図４に示す３段階以上の連関度ｗ１３～ｗ２２を予め取得しておく。つまり推定装置２は、実際の探索解の判別を行う上で、参照用外観情報と参照用品種情報、並びにその場合のリンゴの品質が何れが見合うものであったか、過去のデータを蓄積しておき、これらを分析、解析することで図４に示す連関度を作り上げておく。

【0047】

例えば、過去にあった実際の事例における参照用外観情報が、外観αであるものとする。また参照用品種情報が、「つがる」であるものとする。かかる場合に、実際にそのリンゴの品質がいくらであったかを示すリンゴの品質をデータセットとして学習させ、上述した連関度という形で定義しておく。なお、このような参照用外観情報や、参照用品種情報は、生産業者、販売業者、流通業者等が管理する管理データベースから抽出するようにしてもよい。

【0048】

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用外観情報Ｐ０１で、参照用品種情報Ｐ１６である場合に、そのリンゴの品質を過去のデータから分析する。リンゴの品質がＡ（甘さ度合〇〇、酸味度合〇〇、苦み度合〇〇、歯ごたえ〇〇等）の事例が多い場合には、この品質Ａにつながる連関度をより高く設定し、リンゴの品質Ｂの事例が多く、リンゴの品質Ａの事例が少ない場合には、リンゴの品質Ｂにつながる連関度を高くし、リンゴの品質Ａにつながる連関度を低く設定する。例えば中間ノード６１ａの例では、リンゴの品質Ａと品質Ｂの出力にリンクしているが、以前の事例からリンゴの品質Ａにつながるｗ１３の連関度を７点に、リンゴの品質Ｂにつながるｗ１４の連関度を２点に設定している。

【0049】

また、この図４に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

【0050】

図４に示す連関度の例で、ノード６１ｂは、参照用外観情報Ｐ０１に対して、参照用品種情報Ｐ１４の組み合わせのノードであり、リンゴの品質Ｃの連関度がｗ１５、リンゴの品質Ｅの連関度がｗ１６となっている。ノード６１ｃは、参照用外観情報Ｐ０２に対して、参照用位置情報Ｐ１５、Ｐ１７の組み合わせのノードであり、リンゴの品質Ｂの連関度がｗ１７、リンゴの品質Ｄの連関度がｗ１８となっている。

【0051】

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれからリンゴの品質を判別する際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際に外観情報と、品種情報とを取得する。品種情報は、実際に品質を推定しようとするリングの品質を入力又は選択する。

【0052】

このようにして新たに取得した外観情報、品種情報に基づいて、最適なリンゴの品質を探索する。かかる場合には、予め取得した図４（表１）に示す連関度を参照する。例えば、新たに取得した外観情報がＰ０２と同一かこれに類似するものである場合であって、品種情報がＰ１７である場合には、連関度を介してノード６１ｄが関連付けられており、このノード６１ｄは、リンゴの品質Ｃがｗ１９、リンゴの品質Ｄが連関度ｗ２０で関連付けられている。かかる場合には、連関度の最も高いリンゴの品質Ｃを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められるリンゴの品質Ｄを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

【0053】

また、入力から伸びている連関度ｗ１～ｗ１２の例を以下の表２に示す。

【0054】

【表2】

【0055】

この入力から伸びている連関度ｗ１～ｗ１２に基づいて中間ノード６１が選択されていてもよい。つまり連関度ｗ１～ｗ１２が大きいほど、中間ノード６１の選択における重みづけを重くしてもよい。しかし、この連関度ｗ１～ｗ１２は何れも同じ値としてもよく、中間ノード６１の選択における重みづけは何れも全て同一とされていてもよい。

【0056】

図５は、上述した参照用外観情報に加え、上述した参照用品種情報の代わりに参照用スペクトル情報との組み合わせと、当該組み合わせに対するリンゴの品質との３段階以上の連関度が設定されている例を示している。

【0057】

参照用位置情報の代わりに説明変数として加えられるこの参照用スペクトル情報は、リンゴから得られる赤外、遠赤外、可視光、近紫外、紫外の各スペクトルの情報である。リンゴからのスペクトル情報を取得することで、リンゴの品質（味、光沢）と関係することが既に知られている。このため、この参照用スペクトル情報を組み合わせて連関度を形成することにより、リンゴの品質の判断精度を向上させる趣旨である。

【0058】

図５の例では、入力データとして例えば参照用外観情報Ｐ０１～Ｐ０３、参照用スペクトル情報Ｐ１８～２１であるものとする。このような入力データとしての、参照用外観情報に対して、参照用スペクトル情報が組み合わさったものが、図５に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、リンゴの品質が表示されている。

【0059】

参照用外観情報と参照用スペクトル情報との各組み合わせ（中間ノード）は、この出力解としての、リンゴの品質に対して３段階以上の連関度を通じて互いに連関しあっている。参照用外観情報と参照用スペクトル情報がこの連関度を介して左側に配列し、リンゴの品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用外観情報と参照用スペクトル情報に対して、リンゴの品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用外観情報と参照用スペクトル情報が、いかなるリンゴの品質に紐付けられる可能性が高いかを示す指標であり、参照用外観情報と参照用スペクトル情報から最も確からしいリンゴの品質を選択する上での的確性を示すものである。

【0060】

推定装置２は、このような図５に示す３段階以上の連関度ｗ１３～ｗ２２を予め取得しておく。つまり推定装置２は、実際の探索解の判別を行う上で、参照用外観情報と、参照用外観情報を取得する際に得た参照用スペクトル情報、並びにその場合のリンゴの品質が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図５に示す連関度を作り上げておく。参照用スペクトル情報は、例えば、スペクトル情報を分析可能な計測器やカメラ等を通じて取得してもよい。

【0061】

例えば、過去にあった実際のリンゴの品質の評価時において、ある参照用外観情報に対して、参照用スペクトル情報が、近赤外においてピークが〇〇ｎｍにおいて発生したものとする。かかる場合に、リンゴの品質がＡと判別されている事例が多い場合には、これらをデータセットとして学習させ、上述した連関度という形で定義しておく。

【0062】

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用外観情報Ｐ０１で、参照用スペクトル情報Ｐ２０である場合に、そのリンゴの品質を過去のデータから分析する。リンゴの品質Ａの事例が多い場合には、このリンゴの品質がＡにつながる連関度をより高く設定し、リンゴの品質がＢの事例が多く、リンゴの品質がＡの事例が少ない場合には、リンゴの品質がＢにつながる連関度を高くし、リンゴの品質がＡにつながる連関度を低く設定する。例えば中間ノード６１ａの例では、リンゴの品質Ａとリンゴの品質Ｂの出力にリンクしているが、以前の事例からリンゴの品質Ａにつながるｗ１３の連関度を７点に、リンゴの品質Ｂにつながるｗ１４の連関度を２点に設定している。

【0063】

また、この図５に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

【0064】

図５に示す連関度の例で、ノード６１ｂは、参照用外観情報Ｐ０１に対して参照用スペクトル情報Ｐ１８の組み合わせのノードであり、リンゴの品質Ｃの連関度がｗ１５、リンゴの品質Ｅの連関度がｗ１６となっている。ノード６１ｃは、参照用外観情報Ｐ０２に対して、参照用スペクトル情報Ｐ１９、Ｐ２１の組み合わせのノードであり、リンゴの品質Ｂの連関度がｗ１７、リンゴの品質Ｄの連関度がｗ１８となっている。

【0065】

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれからリンゴの品質の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にそのリンゴの品質の判別対象の外観情報と、スペクトル情報とを取得する。ここでスペクトル情報は、リンゴの品質を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用スペクトル情報と同様である。

【0066】

このようにして新たに取得した外観情報と、スペクトル情報に基づいて、最適なリンゴの品質を探索する。かかる場合には、予め取得した図５（表１）に示す連関度を参照する。例えば、新たに取得した外観情報がＰ０２と同一かこれに類似するものである場合であって、スペクトル情報がＰ２１と同一か又は類似する場合には、連関度を介してノード６１ｄが関連付けられており、このノード６１ｄは、リンゴの品質Ｃがｗ１９、リンゴの品質Ｄが連関度ｗ２０で関連付けられている。かかる場合には、連関度の最も高いリンゴの品質Ｃを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められるリンゴの品質Ｄを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

【0067】

図６は、上述した参照用外観情報に加え、上述した参照用品種情報の代わりに参照用香り情報との組み合わせと、当該組み合わせに対するリンゴの品質との３段階以上の連関度が設定されている例を示している。

【0068】

参照用位置情報の代わりに説明変数として加えられるこの参照用香り情報は、リンゴの香りに関するあらゆる情報である。参照用香り情報は、リンゴから臭いセンサ、香りセンサ等を通じて取得してもよい。このリンゴの香りは、リンゴの味に大きく影響を及ぼすことが知られている。仮にリンゴが腐っていた場合には異臭がし、当然味も劣化し、品質は低下する。

【0069】

図６の例では、入力データとして例えば参照用外観情報Ｐ０１～Ｐ０３、参照用香り情報Ｐ１８～２１であるものとする。このような入力データとしての、参照用外観情報に対して、参照用香り情報が組み合わさったものが、図６に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、リンゴの品質が表示されている。

【0070】

参照用外観情報と参照用香り情報との各組み合わせ（中間ノード）は、この出力解としての、リンゴの品質に対して３段階以上の連関度を通じて互いに連関しあっている。参照用外観情報と参照用香り情報がこの連関度を介して左側に配列し、リンゴの品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用外観情報と参照用香り情報に対して、リンゴの品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用外観情報と参照用香り情報が、いかなるリンゴの品質に紐付けられる可能性が高いかを示す指標であり、参照用外観情報と参照用香り情報から最も確からしいリンゴの品質を選択する上での的確性を示すものである。

【0071】

推定装置２は、このような図６に示す３段階以上の連関度ｗ１３～ｗ２２を予め取得しておく。つまり推定装置２は、実際の探索解の判別を行う上で、参照用外観情報と、参照用外観情報を取得する際に得た参照用香り情報、並びにその場合のリンゴの品質が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図６に示す連関度を作り上げておく。

【0072】

例えば、過去にあった実際のリンゴの品質の評価時において、ある参照用外観情報に対して、参照用香り情報が、臭気指数相当値〇〇であるものとする。かかる場合に、リンゴの品質がＡと判別されている事例が多い場合には、これらをデータセットとして学習させ、上述した連関度という形で定義しておく。

【0073】

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用外観情報Ｐ０１で、参照用香り情報Ｐ２０である場合に、そのリンゴの品質を過去のデータから分析する。リンゴの品質Ａの事例が多い場合には、このリンゴの品質がＡにつながる連関度をより高く設定し、リンゴの品質がＢの事例が多く、リンゴの品質がＡの事例が少ない場合には、リンゴの品質がＢにつながる連関度を高くし、リンゴの品質がＡにつながる連関度を低く設定する。例えば中間ノード６１ａの例では、リンゴの品質Ａとリンゴの品質Ｂの出力にリンクしているが、以前の事例からリンゴの品質Ａにつながるｗ１３の連関度を７点に、リンゴの品質Ｂにつながるｗ１４の連関度を２点に設定している。

【0074】

また、この図６に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

【0075】

図６に示す連関度の例で、ノード６１ｂは、参照用外観情報Ｐ０１に対して参照用香り情報Ｐ１８の組み合わせのノードであり、リンゴの品質Ｃの連関度がｗ１５、リンゴの品質Ｅの連関度がｗ１６となっている。ノード６１ｃは、参照用外観情報Ｐ０２に対して、参照用香り情報Ｐ１９、Ｐ２１の組み合わせのノードであり、リンゴの品質Ｂの連関度がｗ１７、リンゴの品質Ｄの連関度がｗ１８となっている。

【0076】

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれからリンゴの品質の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にそのリンゴの品質の判別対象の外観情報と、香り情報とを取得する。ここで香り情報は、リンゴの品質を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用香り情報と同様である。

【0077】

このようにして新たに取得した外観情報と、香り情報に基づいて、最適なリンゴの品質を探索する。かかる場合には、予め取得した図６（表１）に示す連関度を参照する。例えば、新たに取得した外観情報がＰ０２と同一かこれに類似するものである場合であって、香り情報がＰ２１と同一か又は類似する場合には、連関度を介してノード６１ｄが関連付けられており、このノード６１ｄは、リンゴの品質Ｃがｗ１９、リンゴの品質Ｄが連関度ｗ２０で関連付けられている。かかる場合には、連関度の最も高いリンゴの品質Ｃを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められるリンゴの品質Ｄを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

【0078】

図７は、上述した参照用外観情報に加え、上述した参照用品種情報の代わりに参照用重量情報との組み合わせと、当該組み合わせに対するリンゴの品質との３段階以上の連関度が設定されている例を示している。

【0079】

参照用位置情報の代わりに説明変数として加えられるこの参照用重量情報は、リンゴの重量に関するあらゆる情報である。参照用重量情報は、リンゴから重量計等を通じて取得してもよい。このリンゴの重量は、リンゴの品質に大きく影響を及ぼすことが知られている。仮にリンゴが小さすぎる場合には、果肉の量が少なくなり、低品質とみなされる。

【0080】

図７の例では、入力データとして例えば参照用外観情報Ｐ０１～Ｐ０３、参照用重量情報Ｐ１８～２１であるものとする。このような入力データとしての、参照用外観情報に対して、参照用重量情報が組み合わさったものが、図７に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、リンゴの品質が表示されている。

【0081】

参照用外観情報と参照用重量情報との各組み合わせ（中間ノード）は、この出力解としての、リンゴの品質に対して３段階以上の連関度を通じて互いに連関しあっている。参照用外観情報と参照用重量情報がこの連関度を介して左側に配列し、リンゴの品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用外観情報と参照用重量情報に対して、リンゴの品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用外観情報と参照用重量情報が、いかなるリンゴの品質に紐付けられる可能性が高いかを示す指標であり、参照用外観情報と参照用重量情報から最も確からしいリンゴの品質を選択する上での的確性を示すものである。

【0082】

推定装置２は、このような図７に示す３段階以上の連関度ｗ１３～ｗ２２を予め取得しておく。つまり推定装置２は、実際の探索解の判別を行う上で、参照用外観情報と、参照用外観情報を取得する際に得た参照用重量情報、並びにその場合のリンゴの品質が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図６に示す連関度を作り上げておく。

【0083】

例えば、過去にあった実際のリンゴの品質の評価時において、ある参照用外観情報に対して、参照用重量情報が、〇〇グラムであるものとする。かかる場合に、リンゴの品質がＡと判別されている事例が多い場合には、これらをデータセットとして学習させ、上述した連関度という形で定義しておく。

【0084】

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用外観情報Ｐ０１で、参照用重量情報Ｐ２０である場合に、そのリンゴの品質を過去のデータから分析する。リンゴの品質Ａの事例が多い場合には、このリンゴの品質がＡにつながる連関度をより高く設定し、リンゴの品質がＢの事例が多く、リンゴの品質がＡの事例が少ない場合には、リンゴの品質がＢにつながる連関度を高くし、リンゴの品質がＡにつながる連関度を低く設定する。例えば中間ノード６１ａの例では、リンゴの品質Ａとリンゴの品質Ｂの出力にリンクしているが、以前の事例からリンゴの品質Ａにつながるｗ１３の連関度を７点に、リンゴの品質Ｂにつながるｗ１４の連関度を２点に設定している。

【0085】

また、この図７に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

【0086】

図７に示す連関度の例で、ノード６１ｂは、参照用外観情報Ｐ０１に対して参照用重量情報Ｐ１８の組み合わせのノードであり、リンゴの品質Ｃの連関度がｗ１５、リンゴの品質Ｅの連関度がｗ１６となっている。ノード６１ｃは、参照用外観情報Ｐ０２に対して、参照用重量情報Ｐ１９、Ｐ２１の組み合わせのノードであり、リンゴの品質Ｂの連関度がｗ１７、リンゴの品質Ｄの連関度がｗ１８となっている。

【0087】

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれからリンゴの品質の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にそのリンゴの品質の判別対象の外観情報と、重量情報とを取得する。ここで重量情報は、リンゴの品質を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用重量情報と同様である。

【0088】

このようにして新たに取得した外観情報と、重量情報に基づいて、最適なリンゴの品質を探索する。かかる場合には、予め取得した図７（表１）に示す連関度を参照する。例えば、新たに取得した外観情報がＰ０２と同一かこれに類似するものである場合であって、重量情報がＰ２１と同一か又は類似する場合には、連関度を介してノード６１ｄが関連付けられており、このノード６１ｄは、リンゴの品質Ｃがｗ１９、リンゴの品質Ｄが連関度ｗ２０で関連付けられている。かかる場合には、連関度の最も高いリンゴの品質Ｃを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められるリンゴの品質Ｄを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

【0089】

図８は、上述した参照用外観情報に加え、上述した参照用品種情報の代わりに参照用栽培履歴情報との組み合わせと、当該組み合わせに対するリンゴの品質との３段階以上の連関度が設定されている例を示している。

【0090】

参照用位置情報の代わりに説明変数として加えられるこの参照用栽培履歴情報は、リンゴの栽培履歴に関するあらゆる情報である。参照用栽培履歴情報は、リンゴの木に実がなる前の期間に対する栽培履歴から、収穫に至るまでのすべての栽培履歴を含むものである。この栽培履歴情報としては、リンゴの木に対する施肥や水やり、農薬散布の時期や回数、量が含まれることは勿論であるが、これに加えて栽培の過程における気温、日照時間、降水量、湿度、天候（晴れ、曇り、雨等の履歴や、台風の来襲時期等）等も含まれる。また、ある時間単位（数時間、一日、週、月）における温度差もリンゴの品質に影響を及ぼすファクターであることから、これを参照用栽培履歴情報に含めてもよい。また参照用栽培履歴情報は、生産地を含めてもよく、この生産地の情報として標高や土壌成分、さらに土壌における水の含有量等の情報等も含めてもよい。また参照用栽培履歴情報として、リンゴの木の年齢も含めてもよい。また参照用栽培履歴情報としては、リンゴが生育していく際のサイズや形状の時系列的変化と、気温や寒暖差の同じ時系列での変化を組み合わせてもよい。このような栽培の過程がリンゴの品質に影響を及ぼす。栽培の過程はユーザインターフェース、ユーザ端末を介して入力することで取得してもよい。

【0091】

図８の例では、入力データとして例えば参照用外観情報Ｐ０１～Ｐ０３、参照用栽培履歴情報Ｐ１８～２１であるものとする。このような入力データとしての、参照用外観情報に対して、参照用栽培履歴情報が組み合わさったものが、図８に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、リンゴの品質が表示されている。

【0092】

参照用外観情報と参照用栽培履歴情報との各組み合わせ（中間ノード）は、この出力解としての、リンゴの品質に対して３段階以上の連関度を通じて互いに連関しあっている。参照用外観情報と参照用栽培履歴情報がこの連関度を介して左側に配列し、リンゴの品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用外観情報と参照用栽培履歴情報に対して、リンゴの品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用外観情報と参照用栽培履歴情報が、いかなるリンゴの品質に紐付けられる可能性が高いかを示す指標であり、参照用外観情報と参照用栽培履歴情報から最も確からしいリンゴの品質を選択する上での的確性を示すものである。

【0093】

推定装置２は、このような図８に示す３段階以上の連関度ｗ１３～ｗ２２を予め取得しておく。つまり推定装置２は、実際の探索解の判別を行う上で、参照用外観情報と、参照用外観情報を取得する際に得た参照用栽培履歴情報、並びにその場合のリンゴの品質が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図８に示す連関度を作り上げておく。

【0094】

例えば、過去にあった実際のリンゴの品質の評価時において、ある参照用外観情報に対して、参照用栽培履歴情報が、施肥の時期が〇〇、水やりの時期が〇〇、台風が来襲した日が８月１６日、であるものとする。かかる場合に、リンゴの品質がＡと判別されている事例が多い場合には、これらをデータセットとして学習させ、上述した連関度という形で定義しておく。

【0095】

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用外観情報Ｐ０１で、参照用栽培履歴情報Ｐ２０である場合に、そのリンゴの品質を過去のデータから分析する。リンゴの品質Ａの事例が多い場合には、このリンゴの品質がＡにつながる連関度をより高く設定し、リンゴの品質がＢの事例が多く、リンゴの品質がＡの事例が少ない場合には、リンゴの品質がＢにつながる連関度を高くし、リンゴの品質がＡにつながる連関度を低く設定する。例えば中間ノード６１ａの例では、リンゴの品質Ａとリンゴの品質Ｂの出力にリンクしているが、以前の事例からリンゴの品質Ａにつながるｗ１３の連関度を７点に、リンゴの品質Ｂにつながるｗ１４の連関度を２点に設定している。

【0096】

また、この図８に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

【0097】

図８に示す連関度の例で、ノード６１ｂは、参照用外観情報Ｐ０１に対して参照用栽培履歴情報Ｐ１８の組み合わせのノードであり、リンゴの品質Ｃの連関度がｗ１５、リンゴの品質Ｅの連関度がｗ１６となっている。ノード６１ｃは、参照用外観情報Ｐ０２に対して、参照用栽培履歴情報Ｐ１９、Ｐ２１の組み合わせのノードであり、リンゴの品質Ｂの連関度がｗ１７、リンゴの品質Ｄの連関度がｗ１８となっている。

【0098】

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれからリンゴの品質の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にそのリンゴの品質の判別対象の外観情報と、栽培履歴情報とを取得する。ここで栽培履歴情報は、リンゴの品質を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用栽培履歴情報と同様である。

【0099】

このようにして新たに取得した外観情報と、栽培履歴情報に基づいて、最適なリンゴの品質を探索する。かかる場合には、予め取得した図８（表１）に示す連関度を参照する。例えば、新たに取得した外観情報がＰ０２と同一かこれに類似するものである場合であって、栽培履歴情報がＰ２１と同一か又は類似する場合には、連関度を介してノード６１ｄが関連付けられており、このノード６１ｄは、リンゴの品質Ｃがｗ１９、リンゴの品質Ｄが連関度ｗ２０で関連付けられている。かかる場合には、連関度の最も高いリンゴの品質Ｃを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められるリンゴの品質Ｄを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

【0100】

なお、本発明においては、過去において取得したリンゴの糖度に関する参照用糖度情報と、リンゴの品質との３段階以上の連関度を同様に学習させるようにしてもよい。そして新たに推定対象のリンゴの糖度に関する糖度情報を取得し、糖度情報に応じた参照用糖度情報から、上記連関度を利用してリンゴの品質を推定するようにしてもよい。この推定方法の詳細は、上述と同様である。ちなみに、参照用糖度情報、糖度情報は、一般的な糖度計により測定するようにしてもよい。

【0101】

なお、参照用糖度情報、糖度情報の代替として、参照用酸度情報、酸度情報を利用して解探索を行うようにしてもよい。参照用酸度情報、酸度情報は、リンゴに含まれる酸の濃度であり、中和滴定法で測定される滴定酸度以外に、中和滴定だけでは検出された酸も含めた、全ての種類の酸全体の総酸度で表されるものであってもよい。

【0102】

また、参照用糖度情報、糖度情報の代替として、参照用硬度情報、硬度情報を利用してもよい。参照用硬度情報、硬度情報は、リンゴの硬度に関する情報であり、例えば一般的な硬度計で測定してもよいし、テクスチャー試験により評価してもよい。

【0103】

この摘果前のリンゴについて品質推定する場合には、摘果前のリンゴ及びこれにつながる枝も含めた参照用形態情報と、リンゴの品質との３段階以上の連関度を利用するようにしてもよい。摘果前のリンゴ及びこれにつながる枝とは、摘果前のリンゴとこれにつながる枝を含めた画像データ、あるいは摘果前のリンゴと枝との関係性を示す数値データや図表で構成される。この摘果前のリンゴに対してつながっている枝の太さや角度、長さや分岐の度合い、分岐の方向、分岐数、更にはその分岐した枝に対して実っているリンゴの数や当該リンゴの枝に対する付き方や態様も含めてもよい。

【0104】

この参照用形態情報としては、枝に生える葉とリンゴの関係を含めてもよい。ここでいう枝に生えている葉とリンゴの関係とは、葉とリンゴの位置関係、葉の量に対するリンゴの密度、リンゴに対する各葉の距離、各葉の大きさ等の情報である。

【0105】

かかる場合においても、解探索時には新たに形態情報を取得する。形態情報は、判別対象の摘果前のリンゴ及びこれにつながる枝の情報であり、必要に応じて枝に生える葉とリンゴの関係もこれに含める。そして取得した形態情報を利用し、連関度を参照して解探索する方法は、上述と同様である。

【0106】

かかる場合において、上述した参照用形態情報と、リンゴの枝への付き方に関する類型、或いはリンゴに対する葉の付き方に関する類型との３段階以上の連関度を予め形成するようにしてもよい。ここでいう類型は、予めシステム側、又はユーザ側が自由に決めた類型であってもよい。ここでいう類型とは、例えば類型Ｐは、太い枝の先端にりんごが１個のみで葉が殆どないもの、類型Ｑは、細い枝に分岐した先に複数のリンゴがなっており、その細い枝に小さい葉がたくさんついているもの、類型Ｒは、太い枝が２つに分岐しており、分岐した一方の枝には複数のリンゴが付いている葉が殆どなく、他方の枝には葉が沢山ついている代わりにリンゴが一切ついていないもの、等である。このような類型をあらかじめ決めておき、実際に参照用形態情報を類型に当てはめる。この当てはめは専門家等が行うようにしてもよい。そして、各参照用形態情報と、類型からなるデータセットを学習させた連関度を形成しておく。この参照用形態情報は、摘果前のリンゴとこれにつながる枝に生えている葉との関係を含めたものであってもよいことは勿論である。

【0107】

これにより、新たに形態情報が入力された場合に、その連関度を参照することで上述と同様に解探索を行うことが可能となる。

【0108】

なお、上述した各類型とリンゴの品質とを互いに紐付けておくようにしてもよい。上述した類型に応じてリンゴの品質が変わる場合もあることから、その類型に対して１対１でリンゴの品質を紐づけておく。そして、上述した方法に基づいて、出力解としての類型を探索できた場合に、その探索した類型に紐付けられているリンゴの品質を推定するようにしてもよい。

【0109】

このとき、摘果前のリンゴ及びこれにつながる枝も含めた木全体の参照用形態情報を学習させてもよい。木の一部の枝やリンゴではなく、木全体の形状に応じてリンゴの品質が支配される場合もあるためである。かかる場合には、形態情報として同様に推定対象のリンゴがなっている木全体の形態情報を取得することは勿論である。

【0110】

上述した連関度においては、１０段階評価で連関度を表現しているが、これに限定されるものではなく、３段階以上の連関度で表現されていればよく、逆に３段階以上であれば１００段階でも１０００段階でも構わない。一方、この連関度は、２段階、つまり互いに連関しているか否か、１又は０の何れかで表現されるものは含まれない。

【0111】

上述した構成からなる本発明によれば、特段のスキルや経験が無くても、誰でも手軽にリンゴの品質の探索を行うことができる。また本発明によれば、この探索解の判断を、人間が行うよりも高精度に行うことが可能となる。更に、上述した連関度を人工知能（ニューラルネットワーク等）で構成することにより、これを学習させることでその判別精度を更に向上させることが可能となる。

【0112】

なお、上述した入力データ、及び出力データは、学習させる過程で完全に同一のものが存在しない場合も多々あることから、これらの入力データと出力データを類型別に分類した情報であってもよい。つまり、入力データを構成する情報Ｐ０１、Ｐ０２、・・・・Ｐ１５、１６、・・・は、その情報の内容に応じて予めシステム側又はユーザ側において分類した基準で分類し、その分類した入力データと出力データとの間でデータセットを作り、学習させるようにしてもよい。

【0113】

なお、上述した連関度では、参照用外観情報に加え、参照用品種情報、参照用スペクトル情報、参照用香り情報、参照用重量情報、参照用栽培履歴情報、参照用糖度情報の何れかとの組み合わせで構成されている場合を例にとり説明をしたが、これに限定されるものではない。つまり連関度は、参照用外観情報に加え、参照用品種情報、参照用スペクトル情報、参照用香り情報、参照用重量情報、参照用栽培履歴情報、参照用糖度情報の何れか２以上との組み合わせで構成されていてもよい。また連関度は、参照用外観情報に加え、参照用品種情報、参照用スペクトル情報、参照用香り情報、参照用重量情報、参照用栽培履歴情報、参照用糖度情報の何れか１以上に加え、他のファクターがこの組み合わせに加わって連関度が形成されていてもよい。

【0114】

いずれの場合も、その連関度の参照情報に合わせたデータの入力がなされ、その連関度を利用してリンゴの品質を求める。

【0115】

また、本発明によれば、３段階以上に設定されている連関度を介して最適な解探索を行う点に特徴がある。連関度は、上述した１０段階以外に、例えば０～１００％までの数値で記述することができるが、これに限定されるものではなく３段階以上の数値で記述できるものであればいかなる段階で構成されていてもよい。

【0116】

このような３段階以上の数値で表される連関度に基づいて最も確からしいリンゴの品質、を判別することで、探索解の可能性の候補として複数考えられる状況下において、当該連関度の高い順に探索して表示することも可能となる。このように連関度の高い順にユーザに表示できれば、より確からしい探索解を優先的に表示することも可能となる。

【0117】

これに加えて、本発明によれば、連関度が１％のような極めて低い出力の判別結果も見逃すことなく判断することができる。連関度が極めて低い判別結果であっても僅かな兆候として繋がっているものであり、何十回、何百回に一度は、その判別結果として役に立つ場合もあることをユーザに対して注意喚起することができる。

【0118】

更に本発明によれば、このような３段階以上の連関度に基づいて探索を行うことにより、閾値の設定の仕方で、探索方針を決めることができるメリットがある。閾値を低くすれば、上述した連関度が１％のものであっても漏れなく拾うことができる反面、より適切な判別結果を好適に検出できる可能性が低く、ノイズを沢山拾ってしまう場合もある。一方、閾値を高くすれば、最適な探索解を高確率で検出できる可能性が高い反面、通常は連関度は低くてスルーされるものの何十回、何百回に一度は出てくる好適な解を見落としてしまう場合もある。いずれに重きを置くかは、ユーザ側、システム側の考え方に基づいて決めることが可能となるが、このような重点を置くポイントを選ぶ自由度を高くすることが可能となる。

【0119】

更に本発明では、上述した連関度を更新させるようにしてもよい。この更新は、例えばインターネットを始めとした公衆通信網を介して提供された情報を反映させるようにしてもよい。また参照用外観情報、参照用品種情報、参照用スペクトル情報、参照用香り情報、参照用重量情報、参照用栽培履歴情報、参照用糖度情報を取得し、これらに対するリンゴの品質、改善施策に関する知見、情報、データを取得した場合、これらに応じて連関度を上昇させ、或いは下降させる。

【0120】

つまり、この更新は、人工知能でいうところの学習に相当する。新たなデータを取得し、これを学習済みデータに反映させることを行っているため、学習行為といえるものである。

【0121】

また、この連関度の更新は、公衆通信網から取得可能な情報に基づく場合以外に、専門家による研究データや論文、学会発表や、新聞記事、書籍等の内容に基づいてシステム側又はユーザ側が人為的に、又は自動的に更新するようにしてもよい。これらの更新処理においては人工知能を活用するようにしてもよい。

【0122】

また学習済モデルを最初に作り上げる過程、及び上述した更新は、教師あり学習のみならず、教師なし学習、ディープラーニング、強化学習等を用いるようにしてもよい。教師なし学習の場合には、入力データと出力データのデータセットを読み込ませて学習させる代わりに、入力データに相当する情報を読み込ませて学習させ、そこから出力データに関連する連関度を自己形成させるようにしてもよい。

【0123】

第２実施形態
図９の例では、入力データとして例えば参照用栽培履歴情報Ｐ０１～Ｐ０３であるものとする。このような入力データとしての参照用栽培履歴情報Ｐ０１～Ｐ０３は、出力としてのリンゴの品質に連結している。この出力においては、出力解としての、リンゴの品質が表示されている。

【0124】

参照用栽培履歴情報は、この出力解としてのリンゴの品質Ａ～Ｄに対して３段階以上の連関度を通じて互いに連関しあっている。参照用栽培履歴情報がこの連関度を介して左側に配列し、各リンゴの品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用栽培履歴情報に対して、何れのリンゴの品質と関連性が高いかの度合いを示すものである。推定装置２は、このような図９に示す３段階以上の連関度ｗ１３～ｗ１９を予め取得しておく。つまり推定装置２は、実際の探索解の判別を行う上で、参照用栽培履歴情報と、その場合のリンゴの品質の何れが採用、評価されたか、過去のデータセットを蓄積しておき、これらを分析、解析することで図９に示す連関度を作り上げておく。この分析、解析は人工知能により行うようにしてもよい。つまり、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。このような連関度が、人工知能でいうところの学習済みデータとなる。

【0125】

実際の品質判別時には、判別対象のリンゴについて栽培履歴情報を新たに取得する。新たに取得する栽培履歴情報は、上述した情報取得部９により入力される。

【0126】

このようにして新たに取得した栽培履歴情報に基づいて、リンゴの品質を判別する。かかる場合には、予め取得した図９（表１）に示す連関度を参照する。例えば、新たに取得した栽培履歴情報がＰ０２と同一かこれに類似するものである場合には、連関度を介してリンゴの品質Ｂがｗ１５、リンゴの品質Ｃが連関度ｗ１６で関連付けられている。かかる場合には、連関度の最も高いリンゴの品質Ｂを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められるリンゴの品質Ｃを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

【0127】

このようにして、新たに取得する栽培履歴情報から、最も好適なリンゴの品質を探索し、ユーザに表示することができる。

【0128】

図１０は、上述した参照用栽培履歴情報に加え、参照用品種情報との組み合わせと、当該組み合わせに対するリンゴの品質との３段階以上の連関度が設定されている例を示している。

【0129】

図１０の例では、入力データとして例えば参照用栽培履歴情報Ｐ０１～Ｐ０３、参照用品種情報Ｐ１８～２１であるものとする。このような入力データとしての、参照用栽培履歴情報に対して、参照用品種情報が組み合わさったものが、図１０に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、リンゴの品質が表示されている。

【0130】

参照用栽培履歴情報と参照用品種情報との各組み合わせ（中間ノード）は、この出力解としての、リンゴの品質に対して３段階以上の連関度を通じて互いに連関しあっている。参照用栽培履歴情報と参照用品種情報がこの連関度を介して左側に配列し、リンゴの品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用栽培履歴情報と参照用品種情報に対して、リンゴの品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用栽培履歴情報と参照用品種情報が、いかなるリンゴの品質に紐付けられる可能性が高いかを示す指標であり、参照用栽培履歴情報と参照用品種情報から最も確からしいリンゴの品質を選択する上での的確性を示すものである。

【0131】

推定装置２は、このような図１０に示す３段階以上の連関度ｗ１３～ｗ２２を予め取得しておく。つまり推定装置２は、実際の探索解の判別を行う上で、参照用栽培履歴情報と、参照用栽培履歴情報を取得する際に得た参照用品種情報、並びにその場合のリンゴの品質が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図１０に示す連関度を作り上げておく。

【0132】

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用栽培履歴情報Ｐ０１で、参照用品種情報Ｐ２０である場合に、そのリンゴの品質を過去のデータから分析する。リンゴの品質Ａの事例が多い場合には、このリンゴの品質がＡにつながる連関度をより高く設定し、リンゴの品質がＢの事例が多く、リンゴの品質がＡの事例が少ない場合には、リンゴの品質がＢにつながる連関度を高くし、リンゴの品質がＡにつながる連関度を低く設定する。例えば中間ノード６１ａの例では、リンゴの品質Ａとリンゴの品質Ｂの出力にリンクしているが、以前の事例からリンゴの品質Ａにつながるｗ１３の連関度を７点に、リンゴの品質Ｂにつながるｗ１４の連関度を２点に設定している。

【0133】

図１０に示す連関度の例で、ノード６１ｂは、参照用栽培履歴情報Ｐ０１に対して参照用品種情報Ｐ１８の組み合わせのノードであり、リンゴの品質Ｃの連関度がｗ１５、リンゴの品質Ｅの連関度がｗ１６となっている。ノード６１ｃは、参照用栽培履歴情報Ｐ０２に対して、参照用品種情報Ｐ１９、Ｐ２１の組み合わせのノードであり、リンゴの品質Ｂの連関度がｗ１７、リンゴの品質Ｄの連関度がｗ１８となっている。

【0134】

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれからリンゴの品質の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にそのリンゴの品質の判別対象の栽培履歴情報と、品種情報とを取得する。ここで品種情報は、リンゴの品質を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用品種情報と同様である。

【0135】

このようにして新たに取得した栽培履歴情報と、品種情報に基づいて、最適なリンゴの品質を探索する。かかる場合には、予め取得した図１０（表１）に示す連関度を参照する。例えば、新たに取得した栽培履歴情報がＰ０２と同一かこれに類似するものである場合であって、品種情報がＰ２１と同一か又は類似する場合には、連関度を介してノード６１ｄが関連付けられており、このノード６１ｄは、リンゴの品質Ｃがｗ１９、リンゴの品質Ｄが連関度ｗ２０で関連付けられている。かかる場合には、連関度の最も高いリンゴの品質Ｃを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められるリンゴの品質Ｄを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

【0136】

上述した図１０に示す連関度では、参照用品種情報の代替として、参照用スペクトル情報、参照用香り情報、参照用重量情報の何れかとの組み合わせで構成されるものであってもよい。かかる場合には、入力データとして、栽培履歴情報に加え、スペクトル情報、香り情報、重量情報が入力され、これらに基づいて上述した方法に基づいて解探索が行われる。

【0137】

また連関度は、参照用栽培履歴情報に加え、参照用品種情報、参照用スペクトル情報、参照用香り情報、参照用重量情報の何れか２以上との組み合わせで構成されていてもよい。また連関度は、参照用栽培履歴情報に加え、参照用品種情報、参照用スペクトル情報、参照用香り情報、参照用重量情報の何れか１以上に加え、他のファクターがこの組み合わせに加わって連関度が形成されていてもよい。

【0138】

また、第１実施形態～第２実施形態ともに、上述した実施の形態に限定されるものでは無く、例えば図１１に示すように、基調となる参照用情報と、リンゴの品質との３段階以上の連関度を利用するようにしてもよい。かかる場合には、新たに取得した情報に応じた参照用情報とリンゴの品質との３段階以上の連関度に基づき、解探索を行うことになる。基調となる参照用情報は、上述した全ての参照用情報（参照用外観情報、参照用栽培履歴情報に加え、参照用品種情報、参照用スペクトル情報、参照用香り情報、参照用重量情報、参照用糖度情報等）を適用可能である。

【0139】

これらの場合も同様に、学習用データとして用いられた参照用情報に応じた情報が入力された場合に、上述した方法に基づいて解探索が行われることとなる。

【0140】

連関度を通じて求められる探索解は、更に、他の参照用情報に基づいて修正され、或いは重み付けを変化させるようにしてもよい。

【0141】

ここでいう他の参照用情報とは、上述した参照用情報の何れかを基調となる参照用情報とした場合、当該基調となる参照用情報以外のいかなる参照用情報に該当する。

【0142】

例えば、他の参照用情報の一つとして、ある参照用栽培履歴情報Ｐ１４において、以前においてリンゴの品質Ｂが判別される経緯が多かったものとする。このような参照用栽培履歴情報Ｐ１４に応じた栽培履歴情報を新たに取得したとき、リンゴの品質としての探索解Ｂに対して、重み付けを上げる処理を行い、換言すればリンゴの品質の探索解Ｂにつながるようにする処理を行うように予め設定しておく。

【0143】

例えば、他の参照用情報Ｇが、よりリンゴの品質としての探索解Ｃを示唆するような分析結果であり、参照用情報Ｆが、よりリンゴの品質としての探索解Ｄを示唆するような分析結果であるものとする。このように参照用情報との間での設定の後、実際に取得した情報が参照用情報Ｇと同一又は類似する場合には、リンゴの品質Ｃの重み付けを上げる処理を行う。これに対して、実際に取得した情報が参照用情報Ｆと同一又は類似する場合には、リンゴの品質Ｄの重み付けを上げる処理を行う。つまり、リンゴの品質につながる連関度そのものを、この参照用情報Ｆ～Ｈに基づいてコントロールするようにしてもよい。或いは、リンゴの品質を上述した連関度のみで決定した後、この求めた探索解に対して参照用情報Ｆ～Ｈに基づいて修正を加えるようにしてもよい。後者の場合において、参照用情報Ｆ～Ｈに基づいてどのように探索解としてのリンゴの品質にいかなるウェートで修正を加えるかは、都度システム側において設計したものを反映させることとなる。なお、ここで用いられる他の参照用情報としては、育成中のリンゴへ照射する日光に関する日照情報を用いるようにしてもよい。日照情報は、リンゴの木に対して、いかなる方向から日光が照射するのか、またその照射する日光の各方向に対する時間帯、更には日照時間に関する情報である。取得した日照情報に基づいて上述と同様に探索解を求めるようにしてもよい。

【0144】

また参照用情報は、何れか１種で構成される場合に限定されるものではなく、２種以上の参照用情報に基づいて解探索するようにしてもよい。かかる場合も同様に、参照用情報の示唆するリンゴの品質につながるケースほど、連関度を介して求められた探索解としての当該判別類型をより高く修正するようにしてもよい。

【0145】

同様に、図１２に示すように、基調となる参照用情報と、他の参照用情報とを有する組み合わせに対する、リンゴの品質との連関度を形成する場合においても、基調となる参照用情報は、第１実施形態、第２実施形態におけるいかなる参照用情報（参照用外観情報、参照用栽培履歴情報に加え、参照用品種情報、参照用スペクトル情報、参照用香り情報、参照用重量情報、参照用糖度情報等）も適用可能である。他の参照用情報は、基調となる参照用情報以外の第１実施形態、第２実施形態におけるいかなる参照用情報が含まれる。

【0146】

このとき、基調となる参照用情報が、参照用外観情報であれば、他の参照用情報としては、これ以外の１実施形態、第２実施形態におけるいかなる参照用情報が含まれる。かかる場合において、基調となる参照用情報、他の参照用情報が、参照用形態情報と、参照用外観情報である場合、参照用形態情報を取得する際のリンゴの外観に関する参照用外観情報とを有する組み合わせで連関度が構成していることとなる。

【0147】

かかる場合も同様に解探索を行うことで、リンゴの品質を推定することができる。このとき、上述した図１１に示すように、連関度を通じて得られた探索解に対して、更なる他の参照用情報（参照用情報Ｆ、Ｇ、Ｈ等）を通じて、リンゴの品質を修正するようにしてもよい。

【0148】

このとき、他の参照用情報が１のみならず、２以上組み合わさるようにして連関度が学習されるものであってもよい。

【0149】

また、図１３に示すように基調となる参照用情報のみと、リンゴの品質との間で連関度が形成されるものであってもよい。この基調となる参照用情報は、第１実施形態、第２実施形態におけるいかなる参照用情報（参照用外観情報、参照用栽培履歴情報に加え、参照用品種情報、参照用スペクトル情報、参照用香り情報、参照用重量情報、参照用糖度情報等）も適用可能である。この図１３の解探索方法は、図３の説明を引用することで以下での説明を省略する。

【0150】

第３実施形態
第３実施形態においては、出力側の探索解として摘果情報を探索する。この摘果情報とは、実際にリンゴの実が、リンゴの木から収穫される上で、当該リンゴが中心花又は何れの側花から摘果されたかに関する情報である。リンゴは、通常、花が４～６本が群となって咲く。実際に花が咲く場合に、中心花が先に咲く。次に、その中心花の周囲にある複数本の側花が遅れて咲く。一般的に中心花に最も栄養がいきわたる場合が多いため、中心花から成ったリンゴの方が、側花からなったリンゴよりも味がよく、高品質である場合が多い。このため、通常は、側花又は側花になっているリンゴの実を間引くことにより、中心花になっているリンゴを大きく成長させる。しかし、諸事情により、中心花にリンゴをならせることが難しい場合、あるいは何らかの意図の下であえて中心花にリンゴをならせない場合には、側花になっているリンゴを成長させる場合もある。

【0151】

このように、中心花、側花のいずれからなっているリンゴかを判別することで、リンゴの品質を推定することができる。中心花になっているリンゴとその品質、側花になっているリンゴとその品質を互いに結びつけることにより、中心花、側花の何れかから成長したリンゴであるかを判別することで、それに紐付けられた品質を推定することも可能である。

【0152】

なお、滴果情報としては、中心花からなっているリンゴか、側花からなっているリンゴかの２値のみで判断するのではなく、同じ側花であってもいかなる側花であるかに関する情報もこれに含めるようにしてもよい。

【0153】

実際にこのような推定を行うためには、図１４に示すように、参照用外観情報と、当該リンゴが中心花又は何れの側花から摘果されたかに関する摘果情報との３段階以上の連関度を利用する。かかる場合には、探索解としての摘果情報を探索する上で予め学習させる参照用外観情報としては、リンゴの外観形状、推定対象のリンゴの芯の方向、リンゴの表面の縞模様、摘果前のリンゴ及びこれにつながる枝等で構成される。

【0154】

このリンゴの外観形状はリンゴの外郭の形状で構成される。リンゴが円形に近い状態か、円柱に近い形状か、扁平に近い状態か、あるいは同じ摘果前のリンゴ及びこれにつながる枝等円形に近いものであってもその外郭の曲率は微妙に違う場合もあり、また円弧状ではなく、ところどころに平らな面を形成する場合もある。このようにリンゴの外観形状を数値データまたは画像で取得する。

【0155】

また、リンゴの芯の方向は、リンゴの頭部から突出する線状の芯がいかなる方向に向いているかを示す情報である。このリンゴの芯の方向は、測定した数値データまたは画像で構成される。

【0156】

リンゴの表面の縞模様は、品種によって多岐にわたるが、この縞模様がいかなる方向に向いているか否かというデータと、リンゴが中心花か、またいかなる側花から実ったものかについて、関係性があることを見出し、これを外観情報の一つに含めている。このリンゴの表面の縞模様は、画像データで構成される。

【0157】

摘果前のリンゴ及びこれにつながる枝とは、摘果前のリンゴとこれにつながる枝を含めた画像データ、あるいは摘果前のリンゴと枝との関係性を示す数値データや図表で構成される。この摘果前のリンゴに対してつながっている枝の太さや角度、長さや分岐の度合い、分岐の方向、分岐数、更にはその分岐した枝に対して実っているリンゴの数や当該リンゴの枝に対する付き方や態様も含めてもよい。

【0158】

このような参照用外観情報と、摘果情報からなるデータセットを予め学習させておく。そして、新たに外観情報を取得する。この取得する外観情報は、参照用外観情報に対応させる。即ち、参照用外観情報を構成するリンゴの外観形状、推定対象のリンゴの芯の方向、リンゴの表面の縞模様、摘果前のリンゴ及びこれにつながる枝、の何れかを対応させて、外観情報としてのリンゴの外観形状、推定対象のリンゴの芯の方向、リンゴの表面の縞模様、摘果前のリンゴ及びこれにつながる枝を取得する。

【0159】

そして、取得した外観情報を入力することにより、これに応じた参照用外観情報を介して摘果情報を探索する。この探索の詳細は、上述した第１実施形態、第２実施形態の説明を引用することにより、以下での説明を省略する。

【0160】

第３実施形態においては、探索した摘果情報を表示することで終了してもよいが、これに限定されるものではなく、摘果情報に対して予め紐付けてあるリンゴの品質を表示するようにしてもよい。

【0161】

また、第３実施形態においては、図１５に示すように、基調となる参照用情報と、他の参照用情報とを有する組み合わせに対する、摘果情報との連関度を形成するようにしてもよい。かかる場合において基調となる参照用情報としては、参照用外観情報を構成するリンゴの外観形状、推定対象のリンゴの芯の方向、リンゴの表面の縞模様、摘果前のリンゴ及びこれにつながる枝、の何れか一つであり、他の参照用情報としては、リンゴの外観形状、推定対象のリンゴの芯の方向、リンゴの表面の縞模様、摘果前のリンゴ及びこれにつながる枝、において、基調となる参照用情報以外の何れかで構成される。例えば、基調となる参照用情報がリンゴの外観形状であれば、他の参照用情報は、それ以外のリンゴの芯の方向、リンゴの表面の縞模様、摘果前のリンゴ及びこれにつながる枝、の何れかで構成される。

【0162】

この図１５に示す連関度の解探索方法は、上述した第１実施形態、第２実施形態の説明を引用することにより、以下での説明を省略する。

【0163】

すなわち、この図１５に示す例では、推定対象のリンゴの外観形状、推定対象のリンゴの芯の方向、推定対象の摘果前のリンゴ及びこれにつながる枝、推定対象のリンゴの表面の縞模様のうち何れか２以上の外観情報を取得する。そしてあらかじめ準備した、リンゴの外観形状、リンゴの芯の方向、摘果前のリンゴ及びこれにつながる枝、リンゴの表面の縞模様のうち上記外観情報に応じた２以上の参照用外観情報と、当該リンゴが中心花又は何れの側花から摘果されたかに関する摘果情報との３段階以上の連関度を利用し、取得した外観情報に応じた参照用外観情報に基づき、摘果情報を探索する。

【0164】

なお、この第３実施形態においては、基調となる参照用情報として、参照用外観情報を構成するリンゴの外観形状、推定対象のリンゴの芯の方向、リンゴの表面の縞模様、摘果前のリンゴ及びこれにつながる枝、の何れか一つで構成した場合には、他の参照用情報として、第１実施形態、第２実施形態におけるいかなる参照用情報を学習させるようにしてもよい。このとき、基調となる参照用情報が、上述した参照用外観情報であれば、他の参照用情報としては、これ以外の１実施形態、第２実施形態におけるいかなる参照用情報が含まれる。

【0165】

かかる場合も同様に解探索を行うことで、リンゴの品質を推定することができる。このとき、上述した図１１に示すように、基調となる参照用情報から連関度を通じて得られた探索解（摘果情報）に対して、更なる他の参照用情報（参照用情報Ｆ、Ｇ、Ｈ等）を通じて、リンゴの品質を修正するようにしてもよい。

【0166】

このとき、他の参照用情報が１のみならず、２以上組み合わさるようにして連関度が学習されるものであってもよい。

【0167】

即ち、推定対象のリンゴの外観形状、推定対象のリンゴの芯の方向、推定対象の摘果前のリンゴ及びこれにつながる枝、推定対象のリンゴの表面の縞模様のうち何れか２以上の外観情報を取得する。かかる場合において、何れか一の上記外観情報に応じたリンゴの外観形状、リンゴの芯の方向、摘果前のリンゴ及びこれにつながる枝、リンゴの表面の縞模様に関する参照用外観情報と、当該リンゴが中心花又は何れの側花から摘果されたかに関する摘果情報との３段階以上の連関度を予め準備しておく。そして、入力データとしての外観情報を受け付けたときに、予め準備しておいた連関度を参照することで摘果情報を探索することは上述した通りである。これに加えて、取得した他の外観情報に基づいて、摘果情報を探索する。例えば、参照用外観情報が、リンゴの芯の方向である場合には、外観情報としてのリンゴの芯の方向を取得して、この連関度を利用して摘果情報を探索する。このとき、他の外観情報（リンゴの外観形状、摘果前のリンゴ及びこれにつながる枝、リンゴの表面の縞模様の何れか１以上）に基づいて、この摘果情報を探索するようにしてもよい。

【0168】

また、本発明においては、また中心花、側花が開花しているか、その前後の状態であり、リンゴの実が成っていない段階において、リンゴの木の中心花と側花に対して摘花すべき花を提案するようにしてもよい。ここでいう摘花すべき花とは、摘花すべき花に関する情報である。

【0169】

かかる場合には、図１６に示すように、過去において中心花と側花を含むように撮像した参照用画像情報と、摘花すべき花との３段階以上の連関度を利用する。摘花すべき花とは、リンゴの木において中心花、側花が開花しているか、その前後の状態であるとき、専門家や熟練の農業者に判別してもらい、いかなる花を摘花すべきかをインタビューで聞き出すようにしてもよい。このとき判別してもらったリンゴの木の中心花、側花についてそれぞれ画像を撮像することで参照用画像情報を取得する。

【0170】

このような参照用画像情報と摘花すべき花とのデータセットを学習させる。そして、新たにリンゴの木の中心花と側花に対して摘花すべき花を提案してもらいたいときには、その提案対象のリンゴの木の中心花と側花の画像を撮像することで画像情報を得る。この画像情報に応じた参照用画像情報に基づき、連関度を参照して摘花すべき花を提案する。探索解の探索方法は、上述と同様である。

【0171】

このとき、情報取得部９、又は情報取得部９及び推定装置を眼鏡型端末やヘッドマウントディスプレイ（ＨＭＤ）で構成する場合、ＨＭＤを介して提案対象の中心花と側花を含むように撮像することで画像情報を得るようにしてもよい。そして、得られた探索解としての摘花すべき花をＨＭＤの表示ディスプレイ上に表示するようにしてもよい。かかる場合には、いわゆるＡＲ（拡張現実）の技術を利用し、提案された摘花すべき花に関する情報を透過状態で表示する表示ディスプレイ上に表示するようにしてもよい。これにより、画面上において視認している画像において、摘花すべき花に関する情報を透過状態で表示させることができ、ユーザの作業性の向上を図ることができる。

【0172】

なお、第２実施形態、第３実施形態においても第１実施形態と同様に、探索解として、リンゴの品質の代替として、リンゴにおいて発生している病気を適用するようにしてもよい。これにより、リンゴにおいて発生している病気を同様の手順で推定することが可能となる。

【0173】

また、第１実施形態～第３実施形態においても、探索解として、リンゴの品質の代替として、リンゴの収穫時期情報を適用するようにしてもよい。これにより、リンゴの収穫時期情報を同様の手順で推定することが可能となる。

【0174】

第４実施形態
第４実施形態は、探索解として、リンゴの品質の代わりに、リンゴの栽培方法を求めるものである。

【0175】

図１７は、栽培方法を探索解とする連関度の例を示している。この例では、入力としては、参照用形態情報であり、出力は、リンゴの栽培方法としている。この第４実施形態においては、現在育成中のリンゴに関する最適な栽培方法を提案するものであることから、それに応じた参照用情報としては、参照用形態情報、参照用栽培履歴情報、参照用外観情報等を適用することが望ましいが、これらに限定されるものではなく、上述した第１実施形態～第３実施形態において説明したいかなる参照用情報を適用するようにしてもよい。

【0176】

ここでいう栽培方法は、現在育成中のリンゴに関する最適な栽培方法に関する情報である。例えば、「肥料〇〇の散布を週２回、農薬△△の散布を月１回」や、「水の散布を一日２回、摘花を〇〇のタイミングで行う」等、具体的な栽培方法に関する助言に近い内容が含まれていてもよい。また栽培方法は、追肥の回数やタイミング、消毒の回数やタイミング、剪定や受粉、摘果のタイミング、袋かけや除袋、支柱入れのタイミングやその方法、更にはリンゴに日光を上手く当てるための葉摘み、玉回し等のタイミングやその方法が規定されるものであってもよい。中でも剪定は、日光が木の内側のリンゴにも届くように、いかなる枝を切り落とし、いかなる枝の配置に整えるかを、専門家等の意見を反映した上で、それを情報化、データ化しておく。

【0177】

そして、新たに参照用情報に応じた情報が入力された場合に、上述した連関度を介して、出力解としての栽培方法を探索し、ユーザに提案するための表示等を行う。このとき、図１２に示すように複数の参照用情報を入力して解探索するようにしてもよいし、図１１に示すように基調となる参照用情報と、他の参照用情報に基づいて解探索するようにしてもよい。

【0178】

これにより、リンゴを育成する過程において、参照用形態情報、参照用栽培履歴情報、参照用外観情報等に応じた形態情報、栽培履歴情報、外観情報等を順次取得することで、これに応じてより好適な栽培方法をユーザに提案することが可能となる。

【0179】

第５実施形態
第５実施形態においては、推定装置２、又はこの推定装置２及び情報取得部９をウェアラブル端末の中でも特に眼鏡型端末、ヘッドマウントディスプレイ（ＨＭＤ）を利用するものである。このＨＭＤは、ユーザの頭部又は眼鏡に一体又は部分的に装着され、拡張現実（ＡＲ：Augmented Reality）或いは複合現実（ＭＲ：Mixed Reality）といった技術を利用し、取得した各種の映像情報に基づいて生成された情報を透過状態で表示する表示部を備える。ユーザは、表示すべき情報をＨＭＤ上において透過して表示する表示部を介して、視認し、理解することができる。これによりユーザは、目の前の状況を見つつ、取得された各種の映像情報に基づいて生成された情報や各種コンテンツを合わせて確認することが可能となる。

【0180】

このため、本発明においては、例えば、外観情報や形態情報をこのＨＭＤに実装された情報取得部９を介して取得する。そして、ＨＭＤ内において実装された推定装置２により解探索を行い、得られた探索解（リンゴの品質やその販売価格等）を、表示部を介して透過状態で表示するようにしてもよい。

【0181】

このような第５実施形態において学習用データとして学習させる参照用外観情報や、参照用形態情報は、実際にＨＭＤ等を始めとする眼鏡型端末で撮像したものであってもよいが、これに限定されるものではなく、通常のデジタルカメラやスマートフォン等で撮像したものであってもよい。

【0182】

また、この参照用外観情報、参照用形態情報を実際に得る上で、リンゴのいかなる部位を撮像しているかを紐づけるようにしてもよい。

【0183】

例えば参照用外観情報を得る上で、リンゴの品質を評価する熟練のベテランの農業者が、リンゴのいかなる部位を見ているかを検出する。仮にベテラン農業者が、リンゴの底面の部位を中心に視認しているか、或いはリンゴの芯の部位を中心に視認しているか、或いはリンゴの側面の部位を中心に視認しているのかを検出する。

【0184】

この検出は、例えばベテラン農業者に眼鏡型端末を装着させて実際にリンゴを手に取って検出する作業を行わせ、その間において眼鏡型端末に実装されている情報取得部９を介して随時ベテラン農業者が視認している方向の画像を撮像し続ける。そして、事後的にその録画した画像を解析し、或いは画像を再生することにより、実際にベテラン農業者がリンゴの外観情報や形態情報を介してリンゴの品質を評価する作業を行う上で、リンゴのいかなる部位を視認しているかを検知することが可能となる。

【0185】

かかる場合において、図１８に示すように、眼鏡型端末で撮像された動画像を時系列的に並べた場合に、リンゴの底部の画像（Ｐ１）、リンゴの芯の画像（Ｐ２）、芯の拡大画像（Ｐ３）、側面の画像（Ｐ４）であったものとする。このようにして時系列的に得られた画像から、撮影対象部位情報を検出するようにしてもよい。ここでいう撮影対象部位情報とは、眼鏡型端末で撮像された画像がリンゴのいかなる部位を撮像しているかに関する情報である。この撮影対象部位情報は、図１８に示すように、底部、芯、側面等のように実際に撮像している部位の名称で構成されていてもよいし、当該部位を特定するための記号や数値、番号等で表現されるものであってもよい。また撮影対象部位情報は、例えば、撮影が拡大画像であるか縮小画像であるか否か、また撮影する際の撮影方向や画角等の情報も盛り込むようにしてもよい。

【0186】

この撮影対象部位情報の取得は、撮影対象となる部位を都度人間が判別して手入力してもよいが、取得した画像を周知の画像解析技術を利用することで得るようにしてもよい。この撮影対象部位情報の取得は、以前において学習させた特徴量に基づいて判別するようにしてもよい。例えばリンゴの底部、芯、側面等の各部の画像を、ディープラーニング技術を利用して、人工知能を通じて抽出することで判別するようにしてもよい。かかる場合には、参照用外観情報に含まれるリンゴの部位と、撮影対象部位情報とを教師データとして用い、入力を参照用外観情報とし、出力を撮影対象部位情報とした機械学習モデルを利用する。そして、新たにユーザ端末を介して撮像された参照用外観情報に基づいて撮影対象部位情報を取得する。また、撮影対象部位情報の取得は、これ以外に、ＨＭＤや眼鏡型端末において搭載されている、アイトラッキング機能を利用して検出した視線の方向、加速度センサやジャイロセンサを利用して検出した頭部の向き、操作デバイスやハンドトラッキング機能を利用したユーザの手の動き等を介して、撮影対象部位情報を取得するようにしてもよい。

【0187】

このようにして得られた撮影対象部位情報を上述した各画像Ｐ１～Ｐ４等と紐付けて記録しておくことにより、各画像Ｐ１～Ｐ４がリンゴのいかなる部位を撮影した画像であるかをセットで取得することができる。仮にベテランの農業者からこのような参照用外観情報を構成する画像Ｐ１～Ｐ４と、撮影対象部位情報を取得することで、ベテランの農業者が実際にリンゴの検査を行う上でいかなる部位をいかなる順番で確認しているのか、また拡大画像であるか否か、また撮影角度等のような撮影環境も取得することができる。参照用形態情報についても同様に撮影対象部位情報を取得して、これを紐付けて記録しておくことが可能となる。

【0188】

第５実施形態においては、撮影対象部位情報を活用することで、実際の解探索時の利便性を高めることができる。上述した学習データを予め構築した上で、ＨＭＤを装着したユーザが本発明を実施する場合、探索解（品質、販売価格等）の探索は、上述した第１実施形態～第４実施形態において説明した方法に基づいて実行する。このとき、ＨＭＤを装着したユーザが自ら視認しているリンゴについて撮像した外観情報、形態情報を取得する過程で、同様に撮影対象部位情報を得るようにしてもよい。外観情報、形態情報からこの撮影対象部位情報を取得する方法としては、上述したように学習させた特徴量に基づいて判別するようにしてもよく、例えば外観情報中のリンゴの底部、芯、側面等のリンゴの各部の画像を、ディープラーニング技術を利用して、人工知能を通じて抽出することで判別するようにしてもよい。かかる場合には、外観情報に含まれるリンゴの部位と、撮影対象部位情報とを教師データとして用い、入力を外観情報とし、出力を撮影対象部位情報とした機械学習モデルを利用する。そして、新たにユーザ端末を介して撮像された外観情報に基づいて撮影対象部位情報を取得する。形態情報からも同様に撮影対象部位情報を取得することができる。

【0189】

以下、外観情報、形態情報等を始めとする情報から取得した撮影対象部位情報を第１撮影対象部位情報ともいい、参照用外観情報、参照用形態情報等を始めとする参照用情報から取得した撮影対象部位情報を第２撮影対象部位情報ともいう。

【0190】

外観情報、形態情報を取得する過程で、このような第１撮影対象部位情報を都度取得することで以下に説明する優れた効果がある。撮像した外観情報の第１撮影対象部位情報と、参照用外観情報の第２撮影対象部位情報が一致しているかを都度確認することが可能となる。撮像した外観情報の第１撮影対象部位情報と、参照用外観情報の第２撮影対象部位情報が不一致の場合には、ＨＭＤの表示部を介してユーザに注意喚起の表示をすることができる。

【0191】

例えば、撮像した外観情報の第１撮影対象部位情報が“側面”であり、これに対応させるための参照用外観情報の第２撮影対象部位情報が“芯”である場合には、ＨＭＤを装着するユーザが外観情報を撮影するリンゴの部位が誤った部位を撮影していることとなる。かかる場合には、上述のように注意喚起をすることで正しい部位に撮影対象を合わせることをユーザに促すことが可能となる。また、参照用外観情報に紐付けられた第２撮影対象部位情報が、底部を拡大して視認するものであるのに対して、外観情報に紐付けられた第１撮影対象部位情報が同じ底部の画像であるが拡大して視認していない場合には、同様にユーザに対して、画像を拡大して視認するように促すことが可能となる。

【0192】

このようにして、撮像した外観情報の第１撮影対象部位情報と、参照用外観情報の第２撮影対象部位情報との一致度、又は撮像した形態情報の撮影対象部位情報と、参照用形態情報の撮影対象部位情報との一致度を介して、ＨＭＤを装着したユーザに対して、実際に外観情報、形態情報の撮影方法について様々な示唆を行い、又は様々な修正を促すことが可能となる。このとき、このような示唆や修正の促進を、ＨＭＤや眼鏡型端末の表示部を介して透過状態で表示する、上述したＡＲやＭＲを実現するようにしてもよい。なお、この撮影方法についての示唆は、第１撮影対象部位情報と、第２撮影対象部位情報とに基づいたものであればいかなる示唆を表示するものであってもよい。

【0193】

なお、上述した図１８の例においてリンゴについて複数箇所を順次撮像対象を切り替える場合を例にとり説明をしたが、これに限定されるものではなく、参照用外観情報等が１箇所のリンゴについて得られたものである場合においても同様に撮影対象部位情報を取得して紐付けておくことで、実際に外観情報等を取得するユーザに対して上述した誘導を行うことが可能となる。

【0194】

なお、本発明は、図１９に示すように、参照用外観情報又は参照用形態情報と、リンゴの品質との３段階以上の連関度を上記リンゴの部位毎に予め取得するようにしてもよい。かかる場合には、側面用、底部用、芯用等のリンゴの各部位毎に、独立して参照用外観情報又は参照用形態情報と、リンゴの品質との連関度を学習させて保存しておく。

【0195】

そして、取得した第１撮影対象部位情報に応じたリンゴの部位の連関度を読み出し、上述と同様に解探索する。仮に第１撮影対象部位情報がリンゴの底部であれば、その底部用の連関度からなる評価モデルを選択し、品質推定を行う。これにより、リンゴの部位毎に特化した評価モデルを選択することができ、より高精度な品質推定を行うことができる。

【0196】

なお、本発明は、図２０に示すように、連関度を上述したようにリンゴの各部位について構築するとともに、その連関度を各参照用栽培履歴情報毎に分類されていてもよい。かかる場合には、例えば図２０に示すように、栽培履歴Ａに対してそれぞれ側面用、底部用、芯用等のリンゴの各部位毎の連関度が形成されており、栽培履歴Ｂに対してそれぞれ側面用、底部用、芯用等のリンゴの各部位毎の連関度が形成されている。このような各参照用栽培履歴情報毎に分類された、各部位毎の連関度を準備しておく。そして、新たに解探索を行う場合には、上述した撮影対象部位情報を取得すると共に、栽培履歴情報を取得する。そして、栽培履歴情報に応じた栽培履歴におけるリンゴの部位毎に分類された評価モデルを選択し、同様に解探索を行う。

【0197】

第６実施形態
次に、第６実施形態におけるリンゴ品質推定モデル構築システム、及びリンゴ品質推定システムの一例について説明する。上述した実施形態と、第６実施形態との違いは、撮影対象品種情報を用いる点である。なお、上述した実施形態と同様の内容については、説明を省略する。

【0198】

撮影対象品種情報は、リンゴの品種に関する情報を示す。撮影対象品種情報は、リンゴの外観を撮影した外観情報や形態情報に基づき、周知の画像解析技術を利用することで得られるほか、例えば利用者等が外観情報に紐づくように入力してもよい。

【0199】

例えば撮影対象品種情報の取得は、以前において学習させた特徴量に基づいて判別するようにしてもよい。例えばリンゴの外観に基づき、ディープラーニング技術を利用して、人工知能を通じて品質を推定するようにしてもよい。かかる場合には、参照用外観情報（又は参照用形態情報、以下同様）と、撮影対象品種情報とを教師データとして用い、入力を参照用外観情報とし、出力を撮影対象品種情報とした機械学習モデルを利用する。そして、新たにユーザ端末等を介して撮像された外観情報（又は形態情報、以下同様）に基づき、外観情報に対応する撮影対象品種情報を取得する。なお、外観情報及び形態情報の詳細や取得方法については、上述した実施形態と同様のため、説明を省略する。

【0200】

撮影対象品種情報は、例えばリンゴにつながる枝の外観を含む形態情報に基づき推定されてもよい。この場合、リンゴの外観に加えて枝の特徴を踏まえてリンゴの品種を推定できる。これにより、リンゴの品種を推定する精度を向上させることが可能となる。

【0201】

撮影対象品種情報は、例えば「シナノゴールド」、「秋映」、「シナノプッチ」等の公知の品種が用いられる。撮影対象品種情報は、１種類の品種を示すほか、例えば複数の品種、及び各品種である確率を示してもよい。

【0202】

第６実施形態においては、撮影対象品種情報を活用することで、実際の解探索時の利便性を高めることができる。上述した学習データを予め構築した上で、ＨＭＤを装着したユーザが本発明を実施する場合、探索解（品質、販売価格等）の探索は、上述した実施形態において説明した方法に基づいて実行する。このとき、ＨＭＤを装着したユーザが自ら視認しているリンゴについて撮像した外観情報を取得する過程で、同様に撮影対象品種情報を得るようにしてもよい。外観情報からこの撮影対象品種情報を取得する方法としては、上述したように学習させた特徴量に基づいて判別するようにしてもよく、例えばディープラーニング技術を利用して、人工知能を通じて外観情報から撮影対象品種情報を推定するようにしてもよい。かかる場合には、外観情報を教師データとして用い、入力を外観情報とし、出力を撮影対象品種情報とした機械学習モデルを利用する。そして、新たにユーザ端末を介して撮像された外観情報に基づいて撮影対象品種情報を取得する。なお、上述した外観情報と同様に、形態情報からも撮影対象品種情報を取得することができる。

【0203】

以下、外観情報、形態情報等を始めとする情報から取得した撮影対象品種情報を第１撮影対象品種情報ともいい、参照用外観情報、参照用形態情報等を始めとする参照用情報から取得した撮影対象品種情報を第２撮影対象品種情報ともいう。

【0204】

外観情報、形態情報を取得する過程で、このような第１撮影対象品種情報を都度取得することで以下に説明する優れた効果がある。撮像した外観情報の第１撮影対象品種情報と、参照用外観情報の第２撮影対象品種情報が一致しているかを都度確認することが可能となる。撮像した外観情報の第１撮影対象品種情報と、参照用外観情報の第２撮影対象品種情報が不一致の場合には、ＨＭＤの表示部を介してユーザに注意喚起の表示をすることができる。また、撮像した外観情報の第１撮影対象品種情報と、参照用外観情報の第２撮影対象品種情報が一致の場合には、ＨＭＤの表示部を介し、ユーザに一致する旨を認識させるための表示をすることができる。

【0205】

例えば、撮像した外観情報の第１撮影対象品種情報が「シナノゴールド」であり、これに対応させるための参照用外観情報の第２撮影対象品種情報が「秋映」である場合には、ＨＭＤを装着するユーザが外観情報を撮影するリンゴが誤った品種を撮影していることとなる。かかる場合には、上述のように注意喚起をすることで正しい品種のリンゴに撮影対象を合わせることをユーザに促すことが可能となる。

【0206】

このようにして、撮像した外観情報の第１撮影対象品種情報と、参照用外観情報の第２撮影対象品種情報との一致度、又は撮像した形態情報の撮影対象品種情報と、参照用形態情報の撮影対象品種情報との一致度を介して、ＨＭＤを装着したユーザに対して、実際に外観情報、形態情報の撮影方法について様々な示唆を行い、又は様々な修正を促すことが可能となる。このとき、このような示唆や修正の促進を、ＨＭＤや眼鏡型端末の表示部を介して透過状態で表示する、上述したＡＲやＭＲを実現するようにしてもよい。なお、この撮影方法についての示唆は、第１撮影対象品種情報と、第２撮影対象品種情報とに基づいたものであればいかなる示唆を表示するものであってもよい。

【0207】

例えば図２１に示すように、参照用外観情報又は参照用形態情報と、リンゴの品質との３段階以上の連関度を、上記リンゴの品種毎に予め取得するようにしてもよい（図２１の「複数の評価モデル」に対応）。かかる場合には、「シナノゴールド用」、「秋映用」、「シナノプッチ用」等のリンゴの品種毎に、独立して参照用外観情報又は参照用形態情報と、リンゴの品質との連関度を学習させて保存しておく。

【0208】

そして、取得した第１撮影対象品種情報に応じたリンゴの品種の連関度を読み出し、上述と同様に解探索する。仮に第１撮影対象品種情報が「シナノゴールド」であれば、その「シナノゴールド用」の連関度からなる評価モデルを選択し、品質推定を行う。これにより、リンゴの品種毎に特化した評価モデルを選択することができ、より高精度な品質推定を行うことができる。特に、リンゴの品種毎に特化した評価モデルを用いることで、リンゴの品質推定に伴う収穫可否判断を高精度に実現することができる。

【0209】

なお、本発明は、図２２に示すように、連関度を上述したようにリンゴの各品種について構築するとともに、その連関度を参照用栽培履歴情報毎に分類されてもよい。かかる場合には、例えば図２２に示すように、栽培履歴Ａに対してそれぞれ「シナノゴールド用」等のリンゴの品種毎の連関度が形成されており、栽培履歴Ｂに対してそれぞれ「シナノゴールド用」等のリンゴの品種毎の連関度が形成されている。このような参照用栽培履歴情報毎に分類された、リンゴの品種毎の連関度を準備しておく。そして、新たに解探索を行う場合には、上述した撮影対象品種情報を取得すると共に、栽培履歴情報を取得する。そして、栽培履歴情報に応じた栽培履歴におけるリンゴの品種毎に分類された評価モデルを選択し、同様に解探索を行う。

【0210】

なお、リンゴの各品種について構築する連関度は、上述した参照用栽培履歴情報毎に構築する場合以外に、他のいかなる参照用情報毎に構築してもよい。かかる場合も同様に参照用情報に応じた情報を取得し、取得した情報に応じて連関度を選択することとなる。

【0211】

本実施形態におけるリンゴ品質推定モデル構築システムによれば、摘果後のリンゴの外観を撮像した参照用外観情報と、リンゴの品質とを取得する情報取得手段と、情報取得手段により取得された参照用外観情報と、リンゴの品質とを教師データとして用い、入力を参照用外観情報とし、出力をリンゴの品質とした推定モデルを機械学習により生成するモデル生成手段とを備える。また、情報取得手段は、リンゴの外観に対応したリンゴの品種に関する撮影対象品種情報を取得し、これを参照用外観情報に紐付けて記録する。このため、リンゴの品種を踏まえたリンゴの品質を評価するための推定モデルを生成することができる。これにより、リンゴの品質をより人手に頼ることなく高精度かつ自動的に推定することが可能となる。

【0212】

また、本実施形態におけるリンゴ品質推定モデル構築システムによれば、摘果前のリンゴの外観を撮像した参照用形態情報と、リンゴの品質とを取得する情報取得手段と、情報取得手段により取得された参照用形態情報と、リンゴの品質とを教師データとして用い、入力を参照用形態情報とし、出力をリンゴの品質とした推定モデルを機械学習により生成するモデル生成手段とを備える。また、情報取得手段は、リンゴの品種に関する撮影対象品種情報を取得し、これを参照用形態情報に紐付けて記録する。このため、リンゴの品種を踏まえたリンゴの品質を評価するための推定モデルを生成することができる。これにより、リンゴの品質をより人手に頼ることなく高精度かつ自動的に推定することが可能となる。

【0213】

また、本実施形態におけるリンゴ品質推定システムによれば、ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、ユーザ端末を介して推定対象の摘果後のリンゴの外観に関する外観情報を撮像すると共に、撮像したリンゴの品種に関する第１撮影対象品種情報を取得する情報取得手段と、過去において摘果後のリンゴについて撮像した参照用外観情報と、リンゴの品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力をリンゴの品質とした学習済みモデルを利用し、情報取得手段により取得された外観情報と同一又は類似の参照用外観情報に基づき、連関度のより高いものを優先させて、リンゴの品質を推定する推定手段とを備える。また、推定手段は、参照用外観情報と、リンゴの品質との３段階以上の連関度を上記リンゴの品種毎に予め取得しておき、情報取得手段により取得された第１撮影対象品種情報に応じたリンゴの品種の連関度を読み出してリンゴの品質を推定し、ユーザ端末は、ユーザに対して推定手段により推定されたリンゴの品質を透過状態で表示する表示部を有する。このため、リンゴの品種を踏まえたリンゴの品質を容易に評価することができる。これにより、リンゴの品質をより人手に頼ることなく高精度かつ自動的に推定することが可能となる。

【0214】

また、本実施形態におけるリンゴ品質推定システムによれば、情報取得手段は、参照用外観情報と、参照用外観情報に対応する第１撮影対象品種情報との３段階以上の連関度が設定され、入力を参照用外観情報とし、出力を第１撮影対象品種情報とした学習済みモデルを利用し、外観情報と同一又は類似の参照用外観情報に基づき、外観情報に対応する第１撮影対象品種情報を取得してもよい。この場合、リンゴの品質を見分けることが困難な利用者においても、外観情報からリンゴの品種（第１撮影対象品種情報）を取得することができる。これにより、利用者がリンゴの品種に精通していない場合においても、高精度な品質評価を実現することが可能となる。

【0215】

また、本実施形態におけるリンゴ品質推定システムによれば、ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、ユーザ端末を介して推定対象の摘果前のリンゴの外観を含む形態情報を撮像すると共に、撮像したリンゴの品種に関する第１撮影対象品種情報を取得する情報取得手段と、過去において摘果前のリンゴの外観を含んで撮像した参照用形態情報と、リンゴの品質との３段階以上の連関度が規定され、入力を参照用形態情報とし、出力をリンゴの品質とした学習済みモデルを利用し、情報取得手段により取得された形態情報と同一又は類似の参照用形態情報に基づき、連関度のより高いものを優先させて、リンゴの品質を推定する推定手段とを備える。また、推定手段は、参照用形態情報と、リンゴの品質との３段階以上の連関度をリンゴの品種毎に予め取得しておき、情報取得手段により取得された第１撮影対象品種情報に応じたリンゴの品種の連関度を読み出してリンゴの品質を推定し、ユーザ端末は、ユーザに対して推定手段により推定されたリンゴの品質を透過状態で表示する表示部を有する。このため、リンゴの品種を踏まえたリンゴの品質を容易に評価することができる。これにより、リンゴの品質をより人手に頼ることなく高精度かつ自動的に推定することが可能となる。

【0216】

また、本実施形態におけるリンゴ品質推定システムによれば、情報取得手段は、参照用形態情報と、参照用形態情報に対応する第１撮影対象品種情報との３段階以上の連関度が設定され、入力を参照用形態情報とし、出力を第１撮影対象品種情報とした学習済みモデルを利用し、形態情報と同一又は類似の参照用形態情報に基づき、形態情報に対応する第１撮影対象品種情報を取得してもよい。この場合、リンゴの品質を見分けることが困難な利用者においても、外観情報からリンゴの品種（第１撮影対象品種情報）を取得することができる。これにより、利用者がリンゴの品種に精通していない場合においても、高精度な品質評価を実現することが可能となる。

【0217】

また、本実施形態における品質推定システムによれば、表示部は、情報取得手段により取得された第１撮影対象品種情報と、情報取得手段により取得された外観情報（又は形態情報）と同一又は類似の参照用外観情報（又は参照用形態情報）に対応する第２撮影対象品種情報とに基づいて、第１撮影対象品種情報と、第２撮影対象品種情報との一致度を評価した結果を、透過状態で表示する。このため、ユーザ端末を装着したユーザに対して、外観情報（又は形態情報）として撮像対象としたリンゴの品種について様々な示唆を行い、又は様々な修正を促すことが可能となる。これにより、リンゴの評価をさらに効率的に進めることが可能となる。

【0218】

第７実施形態
次に、第７実施形態におけるリンゴ品質推定モデル構築システム、及びリンゴ品質推定システムの一例について説明する。上述した実施形態と、第７実施形態との違いは、栽培履歴情報を踏まえ、推定モデルの生成やリンゴの品質を評価する点である。なお、上述した実施形態と同様の内容については、説明を省略する。

【0219】

栽培履歴情報は、リンゴの栽培履歴に関する情報を示し、例えば上述した実施形態と同様の情報を示し、例えばリンゴの木に実がなる前の期間に対する栽培履歴から、収穫に至るまでのすべての栽培履歴を含む。栽培履歴情報は、例えば利用者が外観情報に紐づくように入力することで取得される。栽培履歴情報は、例えば栽培履歴が蓄積されたデータベース等より受信することで取得できるほか、例えばインターネット上の情報を受信することで取得してもよい。栽培履歴情報は、例えばユーザ端末に設けられたＧＰＳを利用して、位置情報を取得してもよい。

【0220】

栽培履歴情報は、例えば枝の剪定条件を含む。枝の剪定条件は、例えば摘果前後のリンゴ及びこれにつながる枝の外観から特定することができる。このため、枝の剪定条件を含む栽培履歴情報は、リンゴの外観及びリンゴにつながる枝の外観を撮影した外観情報や形態情報に基づき、周知の画像解析技術を利用することで得られる。

【0221】

また、栽培履歴情報は、例えば摘花条件を含んでもよい。摘花条件は、例えばリンゴの形状から特定することができる。このため、摘花条件を含む栽培履歴情報は、リンゴの形状を撮影した外観情報や形態情報に基づき、周知の画像解析技術を利用することで得られる。

【0222】

例えば栽培履歴情報の取得は、以前において学習させた特徴量に基づいて判別するようにしてもよい。例えばリンゴの外観に基づき、ディープラーニング技術を利用して、人工知能を通じて品質を推定するようにしてもよい。かかる場合には、参照用外観情報（又は参照用形態情報、以下同様）と、栽培履歴情報とを教師データとして用い、入力を参照用外観情報とし、出力を栽培履歴情報とした機械学習モデルを利用する。そして、新たにユーザ端末等を介して撮像された外観情報（又は形態情報、以下同様）に基づき、外観情報に対応する栽培履歴情報を取得する。なお、外観情報及び形態情報の詳細や取得方法については、上述した実施形態と同様のため、説明を省略する。

【0223】

第７実施形態においては、栽培履歴情報を活用することで、実際の解探索時の利便性を高めることができる。上述した学習データを予め構築した上で、ＨＭＤを装着したユーザが本発明を実施する場合、探索解（品質、販売価格等）の探索は、上述した実施形態において説明した方法に基づいて実行する。このとき、ＨＭＤを装着したユーザが自ら視認しているリンゴについて撮像した外観情報を取得する過程で、同様に栽培履歴情報を得るようにしてもよい。外観情報からこの栽培履歴情報を取得する方法としては、上述したように学習させた特徴量に基づいて判別するようにしてもよく、例えばディープラーニング技術を利用して、人工知能を通じて外観情報から栽培履歴情報を推定するようにしてもよい。かかる場合には、外観情報を教師データとして用い、入力を外観情報とし、出力を栽培履歴情報とした機械学習モデルを利用する。そして、新たにユーザ端末を介して撮像された外観情報に基づいて栽培履歴情報を取得する。なお、上述した外観情報と同様に、形態情報からも栽培履歴情報を取得することができる。

【0224】

以下、外観情報、形態情報等を始めとする情報から取得した栽培履歴情報を第１栽培履歴情報ともいい、参照用外観情報、参照用形態情報等を始めとする参照用情報から取得した栽培履歴情報を第２栽培履歴情報ともいう。

【0225】

外観情報、形態情報を取得する過程で、このような第１栽培履歴情報を都度取得することで以下に説明する優れた効果がある。撮像した外観情報の第１栽培履歴情報と、参照用外観情報の第２栽培履歴情報が一致しているかを都度確認することが可能となる。撮像した外観情報の第１栽培履歴情報と、参照用外観情報の第２栽培履歴情報が不一致の場合には、ＨＭＤの表示部を介してユーザに注意喚起の表示をすることができる。また、撮像した外観情報の第１栽培履歴情報と、参照用外観情報の第２栽培履歴情報が一致の場合には、ＨＭＤの表示部を介し、ユーザに一致する旨を認識させるための表示をすることができる。

【0226】

例えば、撮像した外観情報の第１栽培履歴情報が「栽培履歴Ａ」であり、これに対応させるための参照用外観情報の第２栽培履歴情報が「栽培履歴Ｂ」である場合には、ＨＭＤを装着するユーザが外観情報を撮影するリンゴが誤った栽培履歴を撮影していることとなる。かかる場合には、上述のように注意喚起をすることで正しい栽培履歴のリンゴに撮影対象を合わせることをユーザに促すことが可能となる。

【0227】

このようにして、撮像した外観情報の第１栽培履歴情報と、参照用外観情報の第２栽培履歴情報との一致度、又は撮像した形態情報の栽培履歴情報と、参照用形態情報の栽培履歴情報との一致度を介して、ＨＭＤを装着したユーザに対して、実際に外観情報、形態情報の撮影方法について様々な示唆を行い、又は様々な修正を促すことが可能となる。このとき、このような示唆や修正の促進を、ＨＭＤや眼鏡型端末の表示部を介して透過状態で表示する、上述したＡＲやＭＲを実現するようにしてもよい。なお、この撮影方法についての示唆は、第１栽培履歴情報と、第２栽培履歴情報とに基づいたものであればいかなる示唆を表示するものであってもよい。

【0228】

例えば図２３に示すように、参照用外観情報又は参照用形態情報と、リンゴの品質との３段階以上の連関度を、上記リンゴの栽培履歴毎に予め取得するようにしてもよい（図２３の「複数の評価モデル」に対応）。かかる場合には、「栽培履歴Ａ用」、「栽培履歴Ｂ用」、「栽培履歴Ｃ用」等のリンゴの栽培履歴毎に、独立して参照用外観情報又は参照用形態情報と、リンゴの品質との連関度を学習させて保存しておく。

【0229】

そして、取得した第１栽培履歴情報に応じたリンゴの栽培履歴の連関度を読み出し、上述と同様に解探索する。仮に第１栽培履歴情報が「栽培履歴Ｂ」であれば、その「栽培履歴Ｂ用」の連関度からなる評価モデルを選択し、品質推定を行う。これにより、リンゴの栽培履歴毎に特化した評価モデルを選択することができ、より高精度な品質推定を行うことができる。特に、リンゴの栽培履歴毎に特化した評価モデルを用いることで、リンゴの品質推定に伴う収穫可否判断を高精度に実現することができる。

【0230】

本実施形態におけるリンゴ品質推定モデル構築システムによれば、摘果後のリンゴの外観を撮像した参照用外観情報と、リンゴの品質とを取得する情報取得手段と、情報取得手段により取得された参照用外観情報と、リンゴの品質とを教師データとして用い、入力を参照用外観情報とし、出力をリンゴの品質とした推定モデルを機械学習により生成するモデル生成手段とを備える。また、情報取得手段は、リンゴの栽培履歴に関する栽培履歴情報を取得し、これを参照用外観情報に紐付けて記録する。このため、リンゴの栽培履歴を踏まえたリンゴの品質を評価するための推定モデルを生成することができる。これにより、リンゴの品質をより人手に頼ることなく高精度かつ自動的に推定することが可能となる。

【0231】

また、本実施形態におけるリンゴ品質推定モデル構築システムによれば、摘果前のリンゴの外観を撮像した参照用形態情報と、リンゴの品質とを取得する情報取得手段と、情報取得手段により取得された参照用形態情報と、リンゴの品質とを教師データとして用い、入力を参照用形態情報とし、出力をリンゴの品質とした推定モデルを機械学習により生成するモデル生成手段とを備える。また、情報取得手段は、リンゴの栽培履歴に関する栽培履歴情報を取得し、これを参照用形態情報に紐付けて記録する。このため、リンゴの栽培履歴を踏まえたリンゴの品質を評価するための推定モデルを生成することができる。これにより、リンゴの品質をより人手に頼ることなく高精度かつ自動的に推定することが可能となる。

【0232】

また、本実施形態におけるリンゴ品質推定システムによれば、ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、ユーザ端末を介して推定対象の摘果後のリンゴの外観に関する外観情報を撮像すると共に、撮像したリンゴの栽培履歴に関する第１栽培履歴情報を取得する情報取得手段と、過去において摘果後のリンゴについて撮像した参照用外観情報と、リンゴの品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力をリンゴの品質とした学習済みモデルを利用し、情報取得手段により取得された外観情報と同一又は類似の参照用外観情報に基づき、連関度のより高いものを優先させて、リンゴの品質を推定する推定手段とを備える。また、推定手段は、参照用外観情報と、リンゴの品質との３段階以上の連関度を上記リンゴの栽培履歴毎に予め取得しておき、情報取得手段により取得された第１栽培履歴情報に応じたリンゴの栽培履歴の連関度を読み出してリンゴの品質を推定し、ユーザ端末は、ユーザに対して推定手段により推定されたリンゴの品質を透過状態で表示する表示部を有する。このため、リンゴの栽培履歴を踏まえたリンゴの品質を容易に評価することができる。これにより、リンゴの品質をより人手に頼ることなく高精度かつ自動的に推定することが可能となる。

【0233】

また、本実施形態におけるリンゴ品質推定システムによれば、情報取得手段は、参照用外観情報と、参照用外観情報に対応する第１栽培履歴情報との３段階以上の連関度が設定され、入力を参照用外観情報とし、出力を第１栽培履歴情報とした学習済みモデルを利用し、外観情報と同一又は類似の参照用外観情報に基づき、外観情報に対応する第１栽培履歴情報を取得してもよい。この場合、リンゴの品質を見分けることが困難な利用者においても、外観情報からリンゴの栽培履歴（第１栽培履歴情報）を取得することができる。これにより、利用者がリンゴの栽培履歴に精通していない場合においても、高精度な品質評価を実現することが可能となる。

【0234】

また、本実施形態におけるリンゴ品質推定システムによれば、ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、ユーザ端末を介して推定対象の摘果前のリンゴの外観を含む形態情報を撮像すると共に、撮像したリンゴの栽培履歴に関する第１栽培履歴情報を取得する情報取得手段と、過去において摘果前のリンゴの外観を含んで撮像した参照用形態情報と、リンゴの品質との３段階以上の連関度が規定され、入力を参照用形態情報とし、出力をリンゴの品質とした学習済みモデルを利用し、情報取得手段により取得された形態情報と同一又は類似の参照用形態情報に基づき、連関度のより高いものを優先させて、リンゴの品質を推定する推定手段とを備える。また、推定手段は、参照用形態情報と、リンゴの品質との３段階以上の連関度をリンゴの栽培履歴毎に予め取得しておき、情報取得手段により取得された第１栽培履歴情報に応じたリンゴの栽培履歴の連関度を読み出してリンゴの品質を推定し、ユーザ端末は、ユーザに対して推定手段により推定されたリンゴの品質を透過状態で表示する表示部を有する。このため、リンゴの栽培履歴を踏まえたリンゴの品質を容易に評価することができる。これにより、リンゴの品質をより人手に頼ることなく高精度かつ自動的に推定することが可能となる。

【0235】

また、本実施形態におけるリンゴ品質推定システムによれば、情報取得手段は、参照用形態情報と、参照用形態情報に対応する第１栽培履歴情報との３段階以上の連関度が設定され、入力を参照用形態情報とし、出力を第１栽培履歴情報とした学習済みモデルを利用し、形態情報と同一又は類似の参照用形態情報に基づき、形態情報に対応する第１栽培履歴情報を取得してもよい。この場合、リンゴの栽培履歴を見分けることが困難な利用者においても、外観情報からリンゴの栽培履歴（第１栽培履歴情報）を取得することができる。これにより、利用者がリンゴの栽培履歴に精通していない場合においても、高精度な品質評価を実現することが可能となる。

【0236】

また、本実施形態における品質推定システムによれば、表示部は、情報取得手段により取得された第１栽培履歴情報と、情報取得手段により取得された外観情報（又は形態情報）と同一又は類似の参照用外観情報（又は参照用形態情報）に対応する第２栽培履歴情報とに基づいて、第１栽培履歴情報と、第２栽培履歴情報との一致度を評価した結果を、透過状態で表示する。このため、ユーザ端末を装着したユーザに対して、外観情報（又は形態情報）として撮像対象としたリンゴの栽培履歴について様々な示唆を行い、又は様々な修正を促すことが可能となる。これにより、リンゴの評価をさらに効率的に進めることが可能となる。

【0237】

第８実施形態
次に、第８実施形態におけるリンゴ品質推定モデル構築システム、及びリンゴ品質推定システムの一例について説明する。上述した実施形態と、第７実施形態との違いは、顧客要求情報を踏まえ、推定モデルの生成やリンゴの品質を評価する点である。なお、上述した実施形態と同様の内容については、説明を省略する。

【0238】

顧客要求情報は、リンゴの購入者からの要求に関する情報を示し、例えば生産者情報、評論家情報、卸先情報、個別趣向情報の少なくとも何れかを含む。

【0239】

生産者情報は、リンゴの生産者に関する情報を示し、例えば生産者の名前や品評会の受賞履歴等を含む。リンゴを生産する際、生産者毎にリンゴの栽培方法や収穫のタイミング等が異なる。このため、生産者情報を踏まえたリンゴの評価を実施することで、リンゴの購入者が要求する品質のリンゴを特定するときの精度を向上させることが可能となる。

【0240】

例えば生産者情報は、枝の剪定条件を含む。枝の剪定条件は、生産者毎に異なるため、例えば摘果前後のリンゴ及びこれにつながる枝の外観から特定することができる。このため、枝の剪定条件を含む生産者情報は、リンゴの外観及びリンゴにつながる枝の外観を撮影した外観情報や形態情報に基づき、周知の画像解析技術を利用することで得られる。

【0241】

また、生産者情報は、例えば摘花条件を含んでもよい。摘花条件は、生産者毎に異なるため、例えばリンゴの形状から特定することができる。このため、摘花条件を含む生産者情報は、リンゴの形状を撮影した外観情報や形態情報に基づき、周知の画像解析技術を利用することで得られる。

【0242】

評論家情報は、リンゴ又はリンゴを使用した料理に対して評論する専門家に関する情報を示し、例えば評論家の名前や評論履歴等を含む。評論家毎に持論を備えているため、評論家情報を踏まえたリンゴの評価を実施することで、リンゴの購入者が要求する品質のリンゴを特定するときの精度を向上させることが可能となる。

【0243】

卸先情報は、リンゴの卸先に関する情報を示し、例えばスーパー等の小売店の名前や購入したリンゴの用途等を含む。リンゴの卸先毎に、リンゴの要求品質が異なるため、卸先情報を踏まえたリンゴの評価を実施することで、リンゴの購入者が要求する品質のリンゴを特定するときの精度を向上させることが可能となる。

【0244】

個別趣向情報は、リンゴを購入する個人に関する情報を示し、例えば個人の名前や過去にリンゴを購入した際の評価（例えば満足度や星の数等）履歴等を含む。リンゴを美味しいと感じる指標は、個人の好みによって大きく異なるため、個別趣向情報を踏まえたリンゴの評価を実施することで、リンゴの購入者が要求する品質のリンゴを特定するときの精度を向上させることが可能となる。

【0245】

顧客要求情報は、例えば利用者が外観情報に紐づくように入力することで取得される。顧客要求情報は、例えば顧客要求情報が蓄積されたデータベース等より受信することで取得できるほか、例えばインターネット上の情報を受信することで取得してもよい。

【0246】

例えば、ユーザ端末に設けられた個人認証を利用して、卸先情報又は個別趣向情報を取得してもよい。この場合、リンゴを購入する顧客本人がユーザ端末を利用し、購入したい品質のリンゴを直接特定することができる。これにより、リンゴの評価に関する知識を有しない顧客でも、生産者や卸売業者を介さずに、要求品質に見合うリンゴを特定することが可能となる。

【0247】

例えば顧客要求情報の取得は、以前において学習させた特徴量に基づいて判別するようにしてもよい。例えばリンゴの外観に基づき、ディープラーニング技術を利用して、人工知能を通じて品質を推定するようにしてもよい。かかる場合には、参照用外観情報（又は参照用形態情報、以下同様）と、顧客要求情報とを教師データとして用い、入力を参照用外観情報とし、出力を顧客要求情報とした機械学習モデルを利用する。そして、新たにユーザ端末等を介して撮像された外観情報（又は形態情報、以下同様）に基づき、外観情報に対応する顧客要求情報を取得する。なお、外観情報及び形態情報の詳細や取得方法については、上述した実施形態と同様のため、説明を省略する。

【0248】

第８実施形態においては、顧客要求情報を活用することで、実際の解探索時の利便性を高めることができる。上述した学習データを予め構築した上で、ＨＭＤを装着したユーザが本発明を実施する場合、探索解（品質、販売価格等）の探索は、上述した実施形態において説明した方法に基づいて実行する。このとき、ＨＭＤを装着したユーザが自ら視認しているリンゴについて撮像した外観情報を取得する過程で、同様に顧客要求情報を得るようにしてもよい。外観情報からこの顧客要求情報を取得する方法としては、上述したように学習させた特徴量に基づいて判別するようにしてもよく、例えばディープラーニング技術を利用して、人工知能を通じて外観情報から顧客要求情報を推定するようにしてもよい。かかる場合には、外観情報を教師データとして用い、入力を外観情報とし、出力を顧客要求情報とした機械学習モデルを利用する。そして、新たにユーザ端末を介して撮像された外観情報に基づいて顧客要求情報を取得する。なお、上述した外観情報と同様に、形態情報からも顧客要求情報を取得することができる。

【0249】

以下、外観情報、形態情報等を始めとする情報から取得した顧客要求情報を第１顧客要求情報ともいい、参照用外観情報、参照用形態情報等を始めとする参照用情報から取得した顧客要求情報を第２顧客要求情報ともいう。

【0250】

外観情報、形態情報を取得する過程で、このような第１顧客要求情報を都度取得することで以下に説明する優れた効果がある。撮像した外観情報の第１顧客要求情報と、参照用外観情報の第２顧客要求情報が一致しているかを都度確認することが可能となる。撮像した外観情報の第１顧客要求情報と、参照用外観情報の第２顧客要求情報が不一致の場合には、ＨＭＤの表示部を介してユーザに注意喚起の表示をすることができる。また、撮像した外観情報の第１顧客要求情報と、参照用外観情報の第２顧客要求情報が一致の場合には、ＨＭＤの表示部を介し、ユーザに一致する旨を認識させるための表示をすることができる。

【0251】

例えば、撮像した外観情報の第１顧客要求情報が「顧客要求Ａ」であり、これに対応させるための参照用外観情報の第２顧客要求情報が「顧客要求Ｂ」である場合には、ＨＭＤを装着するユーザが外観情報を撮影するリンゴが誤った顧客要求に対して撮影していることとなる。かかる場合には、上述のように注意喚起をすることで正しい顧客要求に対応するリンゴに撮影対象を合わせることをユーザに促すことが可能となる。

【0252】

このようにして、撮像した外観情報の第１顧客要求情報と、参照用外観情報の第２顧客要求情報との一致度、又は撮像した形態情報の顧客要求情報と、参照用形態情報の顧客要求情報との一致度を介して、ＨＭＤを装着したユーザに対して、実際に外観情報、形態情報の撮影方法について様々な示唆を行い、又は様々な修正を促すことが可能となる。このとき、このような示唆や修正の促進を、ＨＭＤや眼鏡型端末の表示部を介して透過状態で表示する、上述したＡＲやＭＲを実現するようにしてもよい。なお、この撮影方法についての示唆は、第１顧客要求情報と、第２顧客要求情報とに基づいたものであればいかなる示唆を表示するものであってもよい。

【0253】

例えば図２４に示すように、参照用外観情報又は参照用形態情報と、リンゴの品質との３段階以上の連関度を、上記リンゴの顧客要求毎に予め取得するようにしてもよい（図２４の「複数の評価モデル」に対応）。かかる場合には、「顧客要求Ａ用」、「顧客要求Ｂ用」、「顧客要求Ｃ用」等のリンゴに対する顧客要求毎に、独立して参照用外観情報又は参照用形態情報と、リンゴの品質との連関度を学習させて保存しておく。

【0254】

そして、取得した第１顧客要求情報に応じた顧客要求の連関度を読み出し、上述と同様に解探索する。仮に第１顧客要求情報が「顧客要求Ｂ」であれば、その「顧客要求Ｂ用」の連関度からなる評価モデルを選択し、品質推定を行う。これにより、顧客要求毎に特化した評価モデルを選択することができ、より高精度な品質推定を行うことができる。特に、顧客要求毎に特化した評価モデルを用いることで、リンゴの品質推定に伴う収穫可否判断を高精度に実現することができる。

【0255】

本実施形態におけるリンゴ品質推定モデル構築システムによれば、摘果後のリンゴの外観を撮像した参照用外観情報と、リンゴの品質とを取得する情報取得手段と、情報取得手段により取得された参照用外観情報と、リンゴの品質とを教師データとして用い、入力を参照用外観情報とし、出力をリンゴの品質とした推定モデルを機械学習により生成するモデル生成手段とを備える。また、情報取得手段は、リンゴの購入者の要求に関する顧客要求情報を取得し、これを参照用外観情報に紐付けて記録する。このため、顧客要求を踏まえたリンゴの品質を評価するための推定モデルを生成することができる。これにより、リンゴの品質をより人手に頼ることなく高精度かつ自動的に推定することが可能となる。

【0256】

また、本実施形態におけるリンゴ品質推定モデル構築システムによれば、摘果前のリンゴの外観を撮像した参照用形態情報と、リンゴの品質とを取得する情報取得手段と、情報取得手段により取得された参照用形態情報と、リンゴの品質とを教師データとして用い、入力を参照用形態情報とし、出力をリンゴの品質とした推定モデルを機械学習により生成するモデル生成手段とを備える。また、情報取得手段は、リンゴの購入者の要求に関する顧客要求情報を取得し、これを参照用形態情報に紐付けて記録する。このため、顧客要求を踏まえたリンゴの品質を評価するための推定モデルを生成することができる。これにより、リンゴの品質をより人手に頼ることなく高精度かつ自動的に推定することが可能となる。

【0257】

また、本実施形態におけるリンゴ品質推定システムによれば、ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、ユーザ端末を介して推定対象の摘果後のリンゴの外観に関する外観情報を撮像すると共に、撮像したリンゴの購入者の要求に関する第１顧客要求情報を取得する情報取得手段と、過去において摘果後のリンゴについて撮像した参照用外観情報と、リンゴの品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力をリンゴの品質とした学習済みモデルを利用し、情報取得手段により取得された外観情報と同一又は類似の参照用外観情報に基づき、連関度のより高いものを優先させて、リンゴの品質を推定する推定手段とを備える。また、推定手段は、参照用外観情報と、リンゴの品質との３段階以上の連関度を顧客要求毎に予め取得しておき、情報取得手段により取得された第１顧客要求情報に応じた顧客要求の連関度を読み出してリンゴの品質を推定し、ユーザ端末は、ユーザに対して推定手段により推定されたリンゴの品質を透過状態で表示する表示部を有する。このため、顧客要求を踏まえたリンゴの品質を容易に評価することができる。これにより、リンゴの品質をより人手に頼ることなく高精度かつ自動的に推定することが可能となる。

【0258】

また、本実施形態におけるリンゴ品質推定システムによれば、情報取得手段は、参照用外観情報と、参照用外観情報に対応する第１顧客要求情報との３段階以上の連関度が設定され、入力を参照用外観情報とし、出力を第１顧客要求情報とした学習済みモデルを利用し、外観情報と同一又は類似の参照用外観情報に基づき、外観情報に対応する第１顧客要求情報を取得してもよい。この場合、リンゴの品質を見分けることが困難な利用者においても、外観情報から顧客要求（第１顧客要求情報）を取得することができる。これにより、利用者が顧客要求に対するリンゴの選定に精通していない場合においても、高精度な品質評価を実現することが可能となる。

【0259】

また、本実施形態におけるリンゴ品質推定システムによれば、ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、ユーザ端末を介して推定対象の摘果前のリンゴの外観を含む形態情報を撮像すると共に、撮像したリンゴの購入者の顧客要求に関する第１顧客要求情報を取得する情報取得手段と、過去において摘果前のリンゴの外観を含んで撮像した参照用形態情報と、リンゴの品質との３段階以上の連関度が規定され、入力を参照用形態情報とし、出力をリンゴの品質とした学習済みモデルを利用し、情報取得手段により取得された形態情報と同一又は類似の参照用形態情報に基づき、連関度のより高いものを優先させて、リンゴの品質を推定する推定手段とを備える。また、推定手段は、参照用形態情報と、リンゴの品質との３段階以上の連関度を顧客要求毎に予め取得しておき、情報取得手段により取得された第１顧客要求情報に応じた顧客要求の連関度を読み出してリンゴの品質を推定し、ユーザ端末は、ユーザに対して推定手段により推定されたリンゴの品質を透過状態で表示する表示部を有する。このため、顧客要求を踏まえたリンゴの品質を容易に評価することができる。これにより、リンゴの品質をより人手に頼ることなく高精度かつ自動的に推定することが可能となる。

【0260】

また、本実施形態におけるリンゴ品質推定システムによれば、情報取得手段は、参照用形態情報と、参照用形態情報に対応する第１顧客要求情報との３段階以上の連関度が設定され、入力を参照用形態情報とし、出力を第１顧客要求情報とした学習済みモデルを利用し、形態情報と同一又は類似の参照用形態情報に基づき、形態情報に対応する第１顧客要求情報を取得してもよい。この場合、顧客要求を満たすリンゴを見分けることが困難な利用者においても、外観情報から顧客要求（第１顧客要求情報）を取得することができる。これにより、利用者が顧客要求に対するリンゴの選定に精通していない場合においても、高精度な品質評価を実現することが可能となる。

【0261】

また、本実施形態における品質推定システムによれば、表示部は、情報取得手段により取得された第１顧客要求情報と、情報取得手段により取得された外観情報（又は形態情報）と同一又は類似の参照用外観情報（又は参照用形態情報）に対応する第２顧客要求情報とに基づいて、第１顧客要求情報と、第２顧客要求情報との一致度を評価した結果を、透過状態で表示する。このため、ユーザ端末を装着したユーザに対して、外観情報（又は形態情報）として撮像対象としたリンゴに対する顧客要求について様々な示唆を行い、又は様々な修正を促すことが可能となる。これにより、リンゴの評価をさらに効率的に進めることが可能となる。

【0262】

また、本実施形態における品質推定システムによれば、ユーザの保有するユーザ端末に含まれ、ユーザ端末を介して推定対象の摘果前、又は摘果後のリンゴの外観に関する外観情報を撮像すると共に、撮像したリンゴの購入者の要求に関する第１顧客要求情報を取得する情報取得手段と、過去において摘果後のリンゴについて撮像した参照用外観情報と、リンゴの品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力をリンゴの品質とした学習済みモデルを利用し、情報取得手段により取得された外観情報と同一又は類似の参照用外観情報に基づき、連関度のより高いものを優先させて、リンゴの品質を推定する推定手段とを備える。また、推定手段は、参照用外観情報と、リンゴの品質との３段階以上の連関度を顧客要求毎に予め取得しておき、情報取得手段により取得された第１顧客要求情報に応じた顧客要求の連関度を読み出してリンゴの品質を推定する。情報取得手段は、他のユーザ端末から入力された第１顧客要求情報を取得する。このため、リンゴを購入する顧客本人は、他のユーザ端末を介して第１顧客要求情報を入力でき、ユーザ端末を介して好みのリンゴを選定することができる。これにより、顧客がリンゴから離れた場所にいても、顧客の要求に沿ったリンゴの品質を容易に評価することができる。これにより、リンゴの品質をより人手に頼ることなく高精度かつ自動的に推定することが可能となる。

【0263】

なお、上述した実施の形態においては、青果物についてリンゴの品質推定を行う場合を例にとり説明をしたが、これに限定されるものではない。他のいかなる青果物についても同様に実現することができる。かかる場合には、上述した説明において「リンゴ」という記載を「青果物」と読み替えることにより以下での説明を省略する。他の青果物の場合も、上述したリンゴの品質推定と同様の方法に基づいて解探索を行うことができる。リンゴの例の場合には、摘果前、摘果後についてそれぞれ分けて説明をしたが、他の青果物の場合も同様に収穫前、或いは収穫後のそれぞれについて、品質の推定対象としてもよい。

【符号の説明】

【0264】

１ リンゴ品質推定システム
２ 推定装置
２１ 内部バス
２３ 表示部
２４ 制御部
２５ 操作部
２６ 通信部
２７ 推定部
２８ 記憶部
６１ ノード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】