特開 2024-971 青果物品質評価システム、青果物選別システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024000971

(43)【公開日】2024-01-09

(54)【発明の名称】青果物品質評価システム、青果物選別システム

(51)【国際特許分類】

   G01N 21/85 20060101AFI20231226BHJP

   G06T 7/00 20170101ALI20231226BHJP

   G06Q 50/02 20240101ALI20231226BHJP

【ＦＩ】

G01N21/85 A

G06T7/00 600

G06Q50/02

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023090101

(22)【出願日】2023-05-31

(31)【優先権主張番号】P 2022099432

(32)【優先日】2022-06-21

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000001247

【氏名又は名称】株式会社ジェイテクト

(74)【代理人】

【識別番号】110000648

【氏名又は名称】弁理士法人あいち国際特許事務所

(72)【発明者】

【氏名】大久保 勇佐

【テーマコード（参考）】

2G051

5L049

5L096

【Ｆターム（参考）】

2G051AA05

2G051AB02

2G051CA04

2G051CA07

2G051CB01

2G051DA06

2G051EC01

5L049CC01

5L096BA03

5L096CA05

5L096EA39

5L096FA77

(57)【要約】

【課題】青果物の品質評価の精度に優れた青果物品質評価システムを提供する。
【解決手段】青果物品質評価システム１は、撮像装置１０と、演算部４０及び記憶部５０を有するコンピュータ装置２０と、を備え、記憶部５０は、撮像装置１０で取得した各部分画像Ｉと各部分画像Ｉにラベリングされる個別品質スコアＳａとの関係性を規定した個別品質推定用モデルＭａと、複数の個別品質スコアＳａの組み合わせと青果物Ｗの全体品質情報である等級Ｔとの関係性を規定した全体品質推定用モデルＭｂと、を格納し、演算部４０は、撮像装置１０で取得した複数の部分画像Ｉを個別品質推定用モデルＭａに入力して個別品質スコアＳａを取得する個別品質評価部４５と、複数の個別品質スコアＳａを全体品質推定用モデルＭｂに入力して青果物Ｗの等級Ｔを取得する全体品質評価部４６と、を有する。
【選択図】図５

【特許請求の範囲】

【請求項1】

青果物を複数方向から撮影して前記青果物の全体画像を構成する複数の部分画像を取得する撮像装置と、
前記撮像装置と通信可能であり、演算部及び記憶部を有するコンピュータ装置と、を備え、
前記記憶部は、
前記撮像装置で取得した前記複数の部分画像のそれぞれと、前記複数の部分画像のそれぞれにラベリングされる個別品質スコアと、の関係性を規定した個別品質推定用モデルと、
複数の前記個別品質スコアの組み合わせと、前記青果物の全体品質情報と、の関係性に基づく全体品質推定用モデルと、を格納し、
前記演算部は、
前記撮像装置で取得した前記複数の部分画像を前記個別品質推定用モデルに入力して複数の前記個別品質スコアを取得する個別品質評価部と、
前記個別品質評価部で取得した複数の前記個別品質スコアを前記全体品質推定用モデルに入力して前記全体品質情報を取得する全体品質評価部と、を有する、
青果物品質評価システム。

【請求項2】

前記撮像装置は、前記複数の部分画像が部分的にオーバーラップするように前記青果物を撮影する、請求項１に記載の青果物品質評価システム。

【請求項3】

前記複数の部分画像は、各部分画像の全領域が他の部分画像にオーバーラップする、請求項２に記載の青果物品質評価システム。

【請求項4】

前記個別品質スコアは、１または複数の評価項目に基づいたスコアである、請求項１～３のいずれか一項に記載の青果物品質評価システム。

【請求項5】

前記記憶部は、前記個別品質スコアの前記評価項目が互いに異なる複数の前記個別品質推定用モデルを格納する、請求項４に記載の青果物品質評価システム。

【請求項6】

前記個別品質推定用モデルは、前記青果物の異常の有無を評価する異常評価モデルと、前記青果物の形状を評価する形状評価モデルと、前記青果物の外観全般を評価する外観評価モデルと、のうちの少なくとも１つである、請求項１に記載の青果物品質評価システム。

【請求項7】

前記全体品質評価部は、前記個別品質評価部で取得した前記個別品質スコアに重み係数を掛けて前記全体品質推定用モデルに入力する、請求項６に記載の青果物品質評価システム。

【請求項8】

前記重み係数を前記青果物の種類に応じて変更可能である、請求項７に記載の青果物品質評価システム。

【請求項9】

前記個別品質推定用モデルが前記異常評価モデルと前記形状評価モデルと前記外観評価モデルである場合、前記全体品質評価部は、前記異常評価モデルから取得した前記個別品質スコアに掛ける前記重み係数を、前記形状評価モデル及び前記外観評価モデルのそれぞれから取得した前記個別品質スコアに掛ける前記重み係数に比べて重み付けの影響度が高くなる値に設定する、請求項７または８に記載の青果物品質評価システム。

【請求項10】

前記青果物がリンゴ属の果物である場合、前記全体品質評価部は、前記外観評価モデルから取得した前記個別品質スコアに掛ける前記重み係数を、前記形状評価モデルから取得した前記個別品質スコアに掛ける前記重み係数に比べて重み付けの影響度が高くなる値に設定する、請求項９に記載の青果物品質評価システム。

【請求項11】

前記青果物がリンゴ属の果物である、請求項６～８のいずれか一項に記載の青果物品質評価システム。

【請求項12】

前記撮像装置は、前記青果物を収容可能な撮像箱に取り付けられており、前記青果物を前記撮像箱に収容した状態で撮影するように構成されている、請求項１～３のいずれか一項に記載の青果物品質評価システム。

【請求項13】

前記撮像装置は、搬送ラインで搬送されるトレイに取り付けられており、前記青果物を前記トレイに置かれた状態で撮影するように構成されている、請求項１～３のいずれか一項に記載の青果物品質評価システム。

【請求項14】

前記コンピュータ装置は、前記演算部の前記全体品質評価部が取得した前記全体品質情報をユーザに対して出力する出力部を有する、請求項１～３のいずれか一項に記載の青果物品質評価システム。

【請求項15】

前記撮像装置において、前記複数方向は、互いに逆向きの関係にある第１方向及び第２方向と、互いに逆向きの関係にあり前記第１方向及び前記第２方向と直交する第３方向及び第４方向と、互いに逆向きの関係にあり前記第１方向及び前記第２方向と直交し且つ前記第３方向及び前記第４方向と直交する第５方向及び第６方向である、請求項１～３のいずれか一項に記載の青果物品質評価システム。

【請求項16】

請求項１～３のいずれか一項に記載の青果物品質評価システムと、
前記青果物品質評価システムの前記全体品質評価部で取得した前記全体品質情報に基づいて前記青果物を品質別に振り分ける振り分け装置と、
を備える、青果物選別システム。

【請求項17】

青果物を複数方向から撮影して前記青果物の全体画像を構成する複数の部分画像を取得する撮像装置と、
前記撮像装置と通信可能であり、演算部及び記憶部を有するコンピュータ装置と、を備え、
前記記憶部は、
前記撮像装置で取得した前記複数の部分画像と、前記青果物の全体品質情報と、の関係性を規定した全体品質推定用モデルを格納し、
前記演算部は、
前記撮像装置で取得した前記複数の部分画像を前記全体品質推定用モデルに入力して前記全体品質情報を取得する全体品質評価部を有する、
青果物品質評価システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、青果物の品質を評価する技術に関する。

【背景技術】

【0002】

従来、果物や野菜などの青果物の生産者は、出荷前の青果物の外観を１つずつ目視で確認して選別する選別作業を行う。この選別作業は、生産者にとって青果物の価格に直結する収益上の重要な作業であるが、同じ姿勢で長時間にわたる目視作業であるゆえ、その作業負担が大きいという問題を抱えている。しかも、青果物の選別には精度の高い熟練度が要求されるため、一部の熟練者に選別作業が集中し易く、このような問題がより顕著になり得る。

【0003】

そこで、このような問題に対処するべく、熟練度の高い目視による総合的心象を忠実に再現できるシステムを構築する技術が求められている。例えば、下記特許文献１には、この種の技術として、リンゴの品質を推定する技術が開示されている。この技術では、リンゴの品質をその外観情報と栽培履歴に基づいて推定するリンゴ推定品質プログラムを実装したリンゴ品質推定システムが使用されている。このリンゴ品質推定システムにおいて、リンゴの外観情報を得るために、リンゴの撮像によって得られた画像情報の解析結果が用いられている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６８３０６８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、例えば、リンゴのような評価対象の場合、全体的な形状が良好であるときでも、表面に目立つキズなどの欠点が１箇所でもあると選別結果で等級が大きく下がる可能性がある。そこで、品質評価の精度を高めるためには、評価対象の外観上の情報自体の精度を高める必要があり、評価対象の外観の全体の状態を木目細かく把握するという点が重要になる。

【0006】

しかしながら、この点について、特許文献１に開示のリンゴ品質推定システムは、単にリンゴの撮像によりその外観上の情報を得るという技術に止まるものである。このため、このリンゴ品質推定システムは、評価対象の外観の全体の状態を木目細かく把握するという観点での技術を用いるものとはいえず、品質評価について所望の精度を得るのが難しいという問題を抱えている。そして、このような問題は、リンゴのような果実類のみならず、トマトのような野菜類においても同様に起こり得る。

【0007】

本発明は、かかる課題に鑑みてなされたものであり、青果物の品質評価の精度に優れた青果物品質評価システムを提供しようとするものである。

【課題を解決するための手段】

【0008】

本発明の一態様は、
青果物を複数方向から撮影して前記青果物の全体画像を構成する複数の部分画像を取得する撮像装置と、
前記撮像装置と通信可能であり、演算部及び記憶部を有するコンピュータ装置と、を備え、
前記記憶部は、
前記撮像装置で取得した前記複数の部分画像のそれぞれと、前記複数の部分画像のそれぞれにラベリングされる個別品質スコアと、の関係性を規定した個別品質推定用モデルと、
複数の前記個別品質スコアの組み合わせと、前記青果物の全体品質情報と、の関係性に基づく全体品質推定用モデルと、を格納し、
前記演算部は、
前記撮像装置で取得した前記複数の部分画像を前記個別品質推定用モデルに入力して複数の前記個別品質スコアを取得する個別品質評価部と、
前記個別品質評価部で取得した複数の前記個別品質スコアを前記全体品質推定用モデルに入力して前記全体品質情報を取得する全体品質評価部と、を有する、
青果物品質評価システム、
にある。

【0009】

また、本発明の他の態様は、
青果物を複数方向から撮影して前記青果物の全体画像を構成する複数の部分画像を取得する撮像装置と、
前記撮像装置と通信可能であり、演算部及び記憶部を有するコンピュータ装置と、を備え、
前記記憶部は、
前記撮像装置で取得した前記複数の部分画像と、前記青果物の全体品質情報と、の関係性を規定した全体品質推定用モデルを格納し、
前記演算部は、
前記撮像装置で取得した前記複数の部分画像を前記全体品質推定用モデルに入力して前記全体品質情報を取得する全体品質評価部を有する、
青果物品質評価システム、
にある。

【発明の効果】

【0010】

上述の各態様の青果物品質評価システムは、青果物を複数方向から撮影して複数の部分画像を取得する撮像装置を備える。撮像装置が取得する複数の部分画像は、青果物の全体画像を構成するものである。したがって、この撮像装置によれば、青果物の一部のみを撮影するのに比べて取得できる青果物の外観情報の精度が高めることができ、青果物の外観の全体の状態を木目細かく把握することが可能になる。そして、撮像装置が取得した複数の部分画像は、コンピュータ装置に伝送される。

【0011】

本発明の一態様において、コンピュータ装置の演算部は、個別品質評価部及び全体品質評価部を有する。個別品質評価部によれば、撮像装置で取得した複数の部分画像が、記憶部から読み出した個別品質推定用モデルに入力されることで、複数の個別品質スコアを取得できる。また、全体品質評価部によれば、個別品質評価部で取得した複数の個別品質スコアが、記憶部から読み出した全体品質推定用モデルに入力されることで、青果物の全体品質情報を取得できる。撮像装置から個別品質推定用モデルに入力される青果物の外観情報の精度が高いため、この個別品質推定用モデルから得られる個別品質スコアの精度も高くなる。また、これに伴い、個別品質スコアの入力によって全体品質推定用モデルから得られる全体品質情報の精度も同様に高くなる。その結果、青果物の品質評価の精度を高めることができる。

【0012】

本発明の他の態様において、コンピュータ装置の演算部は、全体品質評価部を有する。全体品質評価部によれば、撮像装置で取得した複数の部分画像が、記憶部から読み出した全体品質推定用モデルに入力されることで、青果物の全体品質情報を取得できる。全体品質推定用モデルに入力される青果物の外観情報の精度が高いため、この全体品質推定用モデルから得られる全体品質情報の精度も同様に高くなる。その結果、青果物の品質評価の精度を高めることができる。

【0013】

以上のごとく、上述の態様によれば、青果物の品質評価の精度に優れた青果物品質評価システムを提供することができる。

【図面の簡単な説明】

【0014】

【図1】実施形態１の青果物品質評価システムの構成を示す図。

【図2】図１の青果物品質評価システムを備える青果物選別システムの構成を示す図。

【図3】２つの部分画像のオーバーラップについて説明するための図。

【図4】各部分画像の全領域が他の部分画像にオーバーラップすることを説明するための図。

【図5】図１中のコンピュータ装置の構成を示すブロック図。

【図6】実施形態１の個別品質スコア化段階について説明するための図。

【図7】実施形態１の閾値設定段階について説明するための図。

【図8】青果物の等級と閾値との関係を説明するための図。

【図9】実施形態１の利用段階について説明するための図。

【図10】実施形態２の青果物品質評価システムのコンピュータ装置の構成を示すブロック図。

【図11】実施形態３の青果物品質評価システムの個別品質推定用モデルの種類を説明するための図。

【図12】実施形態３の閾値設定段階について説明するための図。

【図13】実施形態３の利用段階について説明するための図。

【図14】実施形態３の各評価モデルと評価項目及び個別品質スコアとの関係について説明するための図。

【図15】実施形態４の閾値設定段階について説明するための図。

【図16】実施形態４の利用段階について説明するための図。

【図17】実施形態４の各評価モデルと評価項目及び個別品質スコアとの関係について説明するための図。

【発明を実施するための形態】

【0015】

以下、青果物の品質を評価する技術の一実施形態について図面を参照しつつ説明する。

【0016】

なお、本形態を説明するための図面では、特にことわらない限り、水平方向をＸ軸方向とし、Ｘ軸方向と直交する上下方向をＹ軸方向とし、Ｘ軸方向とＹ軸方向の両方と直交する方向をＺ軸方向とする。

【0017】

（実施形態１）
図１に示される、実施形態１の青果物品質評価システム１は、青果物Ｗの品質を評価するためのシステムである。この青果物品質評価システム１は、１または複数の略球状の実を有する果実類や野菜類のように、全体の外観状態を把握するのに複数方向から撮影した部分画像を組み合わせることが有効な青果物Ｗに用いられるのが好ましい。このような青果物Ｗとして典型的には、リンゴ、桃、梨、ブドウ、柑橘類などの各種の果物類や、トマトなどの野菜類などが挙げられる。この点を踏まえて、以下では、便宜上、青果物Ｗを略球体として説明する。

【0018】

青果物品質評価システム（以下、単に「評価システム」ともいう。）１は、その基本構成として、複数の撮像装置１０と、コンピュータ装置２０と、を備えている。必要に応じてその他の装置が追加されても良い。

【0019】

１．撮像装置１０の構成
各撮像装置１０は、撮像素子（図示省略）を内蔵するカメラである。この撮像装置１０によれば、青果物Ｗの外表面で反射した反射光を撮像素子で受光することで、この撮像素子に画像が撮像される。撮像素子として、典型的には、ＣＣＤ（Charge Coupled Device）イメージセンサーや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーが採用される。

【0020】

このとき、青果物Ｗを適正に撮影できるように、青果物Ｗに照射光を投光するのが好ましい。青果物Ｗの影が形成されたり関係のない反射光が入り込んだりして青果物Ｗの撮影環境が悪化するのを抑制するために、例えば、間接照明を使用することができる。

【0021】

各撮像装置１０は、制御装置であるコンピュータ装置に電気的に接続されている。複数の撮像装置１０はいずれも、撮影対象である青果物Ｗに向けて配置されている。本形態では、青果物Ｗを仮想の正六面体で囲む状態を想定したとき、この正六面体を構成する６つの外表面のそれぞれの法線方向である６方向から青果物Ｗが撮影されるように６つの撮像装置１０が配置されている。これら６つの撮像装置１０によれば、青果物Ｗを６方向から撮影して青果物Ｗの全体画像を構成する６つの部分画像Ｉ（Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５，Ｉ６）を取得することができる。このとき、各部分画像Ｉは、カラー画像でもモノクロ画像でもよいが、青果物Ｗの品質評価の精度を高めるためには、カラー画像であるのが好ましい。

【0022】

ここでいう「青果物Ｗの全体画像を構成する６つの部分画像Ｉ」とは、それらの組み合わせによって青果物Ｗの全体の外観情報を取得できる複数の部分画像のことを意味するものである。したがって、複数の部分画像の組み合わせによって取得した情報が、青果物Ｗの全体の外観情報に相当するものでなく、青果物Ｗの部分的な外観情報のみにとどまるときには、当該複数の部分画像は除外される。

【0023】

また、ここでいう「６方向」とは、図１中の、第１方向Ｄ１、第２方向Ｄ２、第３方向Ｄ３、第４方向Ｄ４、第５方向Ｄ５、第６方向Ｄ６である。第１方向Ｄ１及び第２方向Ｄ２は、いずれもＸ軸方向に平行で互いに逆向きの関係にある。第３方向Ｄ３及び第４方向Ｄ４は、いずれもＹ軸方向に平行で互いに逆向きの関係にあり第１方向Ｄ１及び第２方向Ｄ２と直交する方向である。第５方向Ｄ５及び第６方向Ｄ６は、いずれもＺ軸方向に平行で互いに逆向きの関係にあり第１方向Ｄ１及び第２方向Ｄ２と直交し且つ第３方向Ｄ３及び第４方向Ｄ４と直交する方向である。このため、６つの部分画像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５，Ｉ６はそれぞれ、青果物Ｗを６方向Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６のそれぞれからから撮影する撮像装置１０によって取得される。

【0024】

青果物Ｗの撮影においては、この青果物Ｗを収容可能であり、正六面体に相当する形状を有する撮像箱１１を使用することができる。この場合、撮像箱１１の６つの壁部のそれぞれの内側に撮像装置１０を取り付けて撮影を行う。或いは、撮像箱１１の各壁部を透明の素材によって構成し、各壁部の外側に撮像装置１０を取り付けて撮影を行うようにしても良い。これにより、青果物Ｗを撮像箱１１に収容した状態で６つの撮像装置１０によって６方向の全方位から撮影することができる。

【0025】

青果物Ｗを撮影するとき、環状（「ドーナツ状」ともいう。）の支持部材１２を使用するのが好ましい。この支持部材１２には、青果物Ｗの外径の最小値を下回る内径を有する開口１２ａが設けられている。このため、青果物Ｗを支持部材１２にその上方から開口１２ａを塞ぐように置くことによって、この青果物Ｗは支持部材１２によって下方から支持される。このとき、青果物Ｗは、支持部材１２の開口１２ａを通じて撮像装置１０による下方からの撮影が可能になる。したがって、撮像箱１１に収容された支持部材１２に青果物Ｗを置いた状態で、この青果物Ｗを全方位から撮影できる。支持部材１２を使用すれば、青果物Ｗが隠れる領域を小さく抑えることができ、青果物Ｗの概ね全体を６つの撮像装置１０で撮影することが可能になる。

【0026】

上記構成の評価システム１によれば、支持部材１２を収容する撮像箱１１に撮像装置１０を取り付けることによって、青果物Ｗを６方向から撮影する構造を具現化することができる。

【0027】

なお、図２に示されるように、図１中の撮像箱１１を使用する評価システム１とは別構造の評価システム２を採用することもできる。評価システム２は、振り分け装置１７との組み合わせによって、青果物Ｗの選別を行う青果物選別システム１０１を構成している。

【0028】

評価システム２では、搬送ライン１３のベルトコンベア１４で搬送されるトレイ１５が使用されている。搬送ライン１３においてベルトコンベア１４は、青果物Ｗの振り分け装置１７に向けて図２中の矢印で示される搬送方向に動く。これにより、ベルトコンベア１４上に置かれているトレイ１５もこの搬送方向と同方向に振り分け装置１７に向けて移動する。

【0029】

トレイ１５は、例えば、青果物Ｗを置くことができる上蓋付きの箱状部材であり、前記の支持部材１２と同様の機能を有する中段プレート１６を収容している。すなわち、中段プレート１６には、青果物Ｗの外径の最小値を下回る内径を有する開口１６ａが設けられている。このトレイ１５では、特に図示しないものの、蓋部と、４つの側壁部と、底壁部のそれぞれの内側に撮像装置１０が取り付けられている。これにより、搬送ライン１３における搬送過程でトレイ１５に置かれている青果物Ｗの全方位からの撮影を搬送と並行して行うことができる。

【0030】

振り分け装置１７は、評価システム２で評価済の青果物Ｗを品質別に振り分けるための装置である。詳細な構造については特に図示しないものの、この振り分け装置１７は、トレイ１５に置かれている青果物Ｗの品質に応じて、当該トレイ１５を青果物Ｗの品質に相当する処理エリア（品質別に設けられた箱詰めエリアないし廃棄エリア）に搬送する機能を有する。

【0031】

青果物Ｗの全体品質情報として、例えば、５つの等級（高品質のものから順に、Ａ等級、Ｂ等級、Ｃ等級、Ｄ等級、Ｅ等級）と、ＮＧ（廃棄）と、の６つの品質を設定することができる。この場合、トレイ１５は、振り分け装置１７による振り分けにしたがって、６つの処理エリアのいずれかに搬送される。

【0032】

なお、上記構成の評価システム２は、既存の搬送ライン１３に後付けできる取付構造を有するのが好ましい。これにより、評価システム２の汎用性を高めることができる。また、トレイ１５に代えて或いは加えて、撮像箱１１を搬送ライン１３で搬送するようにしてもよい。

【0033】

上記構成の評価システム２によれば、搬送ライン１３で搬送されるトレイ１５に撮像装置１０を取り付けることによって、青果物Ｗを搬送時に６方向から撮影する構造を具現化することができる。

【0034】

また、上記構成の青果物選別システム１０１によれば、青果物Ｗの全体品質評価から最終的な選別までの一例の作業を自動化することができる。その結果、作業者の作業負担を軽減させることができる。

【0035】

本形態の場合、６つの撮像装置１０を使用することにより、６つの部分画像Ｉが部分的に重なり合うようにオーバーラップするように青果物Ｗが撮影される。つまり、青果物Ｗの互いに隣り合う２つの部分画像Ｉについては、一方の部分画像Ｉの一部と他方の部分画像Ｉの一部とがオーバーラップ部となり、このオーバーラップ部については少なくも２方向からの画像情報を得ることができる。

【0036】

例えば、図３に示されるように、青果物Ｗを第１方向Ｄ１から撮影する撮像装置１０が取得した、青果物Ｗの半球部分の部分画像Ｉ１と、青果物Ｗを第５方向Ｄ５から撮影する撮像装置１０が取得した、青果物Ｗの半球部分の部分画像Ｉ５と、を参照する。このとき、便宜上、部分画像Ｉ１，Ｉ５の形状を円として説明する。この場合、２つの部分画像Ｉ１，Ｉ５は、青果物Ｗの重なり撮像領域Ｗａに相当するオーバーラップ部Ｊでオーバーラップする。青果物Ｗをこのように撮影すれば、１つの部分画像Ｉのみでの品質評価に比べて、品質評価の精度を高めるのに有効である。例えば、色むらなどの検出を高精度で行うことが可能になる。

【0037】

また、本形態のように、青果物Ｗを６方向Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６から撮影することにより、６つの部分画像Ｉは、各部分画像Ｉの全領域が他の部分画像Ｉにオーバーラップするようになる。特に、各部分画像Ｉの全領域が他の２つの部分画像Ｉにオーバーラップするようになる。これにより、青果物Ｗの大きさや形状などにかかわらず、各部分画像Ｉにオーバーラップ部Ｊを確実に形成させることができる。

【0038】

例えば、図４に示されるように、部分画像Ｉ１について確認すれば、部分画像Ｉ１の１つの四分円（図中の右上の四分円）は、他の２つの部分画像Ｉ３，Ｉ５の両方とオーバーラップするオーバーラップ部Ｊ１となる。また、部分画像Ｉ１の他の四分円（図中の左上の四分円）は、他の２つの部分画像Ｉ３，Ｉ６の両方とオーバーラップするオーバーラップ部Ｊ２となる。また、部分画像Ｉ１の他の四分円（図中の左下の四分円）は、他の２つの部分画像Ｉ４，Ｉ６の両方とオーバーラップするオーバーラップ部Ｊ３となる。また、部分画像Ｉ１の他の四分円（図中の右下の四分円）は、他の２つの部分画像Ｉ４，Ｉ５の両方とオーバーラップするオーバーラップ部Ｊ４となる。このように、部分画像Ｉ１の全領域が他の２つの部分画像Ｉにオーバーラップしている。これにより、部分画像Ｉ１の４つの四分円のいずれについても、合計で３つの部分画像Ｉから品質情報を得ることができる。その結果、品質評価の精度をさらに高めることができる。

【0039】

なお、前述の評価システム１，２（図１及び図２を参照）のように、１つの青果物Ｗの６つの部分画像Ｉを６つの撮像装置１０で取得する構造に代えて、１つの青果物Ｗの６つの部分画像Ｉを１つの撮像装置１０で取得する構造を採用するようにしてもよい。この構造では、例えば、青果物Ｗと撮像装置１０の少なくとも一方をロボットアーム（図示省略）で動かして、青果物Ｗと撮像装置１０の相対位置を可変とする機構を用いることができる。

【0040】

２．コンピュータ装置２０の全体構成
図１に示されるように、コンピュータ装置２０は、各撮像装置１０と通信可能に構成されている。このコンピュータ装置２０は、その基本構成として、撮像制御部３０と、演算部４０と、記憶部５０と、出力部６０と、を有する。このコンピュータ装置２０は、既知のＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、外部機器との間での入出力を行うインターフェース等を有するデスクトップ型若しくはノート型のパーソナルコンピュータ（ＰＣ）、タブレット端末、モバイル端末などによって構成されるのが好ましい。このコンピュータ装置２０は、通信ネットワークを介して外部機器に送受信可能に接続されるのが好ましい。

【0041】

撮像制御部３０は、青果物Ｗの撮影時に６つの撮像装置１０に制御信号を出力するように構成されている。この撮像制御部３０によれば、各撮像装置１０の作動条件が制御される。このとき、６つの撮像装置１０によって６つの部分画像Ｉが出力される。これら６つの部分画像Ｉ（Ｉ１～Ｉ６）は、コンピュータ装置２０に伝送されて適宜に処理される。

【0042】

３．記憶部５０の構成
図５に示されるように、記憶部５０は、データ記憶部５１と、モデル記憶部５２と、を有する。

【0043】

データ記憶部５１は、演算部４０の画像取得部４１から入力された６つの部分画像Ｉと、演算部４０のデータ入力部４３から入力された各種のデータと、を格納する。一方で、モデル記憶部５２は、いずれも演算部４０のモデル生成部４４で生成した個別品質推定用モデルＭａ及び全体品質推定用モデルＭｂを格納する。

【0044】

ここで、個別品質推定用モデルＭａは、６つの撮像装置１０で取得した６つの部分画像Ｉのそれぞれと、６つの複数の部分画像Ｉのそれぞれにラベリングされる個別品質スコアＳａと、の関係性を規定したモデルである。全体品質推定用モデルＭｂは、６つの個別品質スコアＳａの組み合わせと、青果物Ｗの全体品質情報である等級Ｔと、の関係性を規定したモデルである。

【0045】

４．演算部４０の構成
図５に示されるように、演算部４０は、画像取得部４１，４２と、データ入力部４３と、モデル生成部４４と、個別品質評価部４５と、全体品質評価部４６と、を有する。

【0046】

画像取得部４１は、６つの撮像装置１０から６つの部分画像Ｉを取得して、これら６つの部分画像Ｉをデータ記憶部５１に入力する。これに対して、画像取得部４２は、６つの撮像装置１０から６つの部分画像Ｉを取得して、これら６つの部分画像Ｉを個別品質評価部４５に入力する。

【0047】

データ入力部４３は、個別品質推定用モデルＭａ及び全体品質推定用モデルＭｂを生成するために必要となる各種のデータをデータ記憶部５１に入力する。ここでいう「各種のデータ」には、予め準備された訓練データセット、訓練用プログラム（訓練前パラメータ）、相関モデルや回帰モデルに基づいて予め準備された相関プログラムなどが含まれている。

【0048】

モデル生成部４４は、データ記憶部５１から読み出した訓練データセットを使用した機械学習によって個別品質推定用モデルＭａを生成する。一方で、モデル生成部４４は、データ記憶部５１から読み出した相関モデルや回帰モデルにしたがって全体品質推定用モデルＭｂを生成する。そして、このモデル生成部４４は、生成したこれらの個別品質推定用モデルＭａ及び全体品質推定用モデルＭｂをモデル記憶部５２に出力する。なお、モデル生成部４４が機械学習によって全体品質推定用モデルＭｂを生成するようにしても良い。

【0049】

個別品質評価部４５は、６つの撮像装置１０で取得した６つの部分画像Ｉを、モデル記憶部５２から読み出した個別品質推定用モデルＭａに入力する。これにより、個別品質評価部４５は、各部分画像Ｉの個別品質スコアＳａを取得する。全体品質評価部４６は、個別品質評価部４５で取得した６つの個別品質スコアＳａを、モデル記憶部５２から読み出した全体品質推定用モデルＭｂに入力する。これにより、全体品質評価部４６は、青果物Ｗの等級Ｔを取得する。

【0050】

５．出力部６０の構成
出力部６０は、演算部４０の全体品質評価部４６が取得した、青果物Ｗの等級Ｔをユーザに対して外部出力する機能を有する。この出力部６０として典型的には、情報を表示出力するモニター、情報を音声出力するスピーカー、情報を印字出力するプリンター等の出力手段を用いることができる。この出力部６０によれば、青果物Ｗの等級Ｔをユーザに教示することができ、ユーザは青果物Ｗの等級Ｔを容易に認識できるようになる。必要に応じて、この出力部６０を省略してもよい。

【0051】

６．青果物Ｗの品質評価方法
次に、図６～図９を参照しながら、青果物Ｗの品質評価方法について説明する。この品質評価方法には、以下の、個別品質スコア化段階と、学習段階と、閾値設定段階と、利用段階が少なくとも含まれている。

【0052】

６．１ 個別品質スコア化段階
先ず、個別品質スコア化段階では、青果物Ｗの個別品質評価のために、６つの部分画像Ｉのそれぞれを品質評価スキルに優れた熟練者がスコア化する。ここでいう「スコア化」を「ラベル付け」或いは「ラベリング」ということもできる。

【0053】

本形態では、各部分画像Ｉを５段階でスコア化する評価形態を例示している。この評価形態において、最良品から品質が低くなるスコア順に５点、４点、３点、２点、１点とし、最も品質が低いＮＧ品を１点としている。例えば、色むら、キズ、割れ、穴あき等の不良の度合いが出荷基準を超えるような低品質の場合に、個別品質スコアを１点とすることができる。なお、このスコアの値は特に限定されるものではなく、ユーザが適宜に設定することができる。

【0054】

熟練者が青果物Ｗのスコア化を予め行うことにより、各部分画像Ｉと個別品質スコアとの関係についてのデータセットを取得できる。取得したデータセットは、データ入力部４３からデータ記憶部５１に入力される（図５を参照）。

【0055】

ここで、６つの部分画像Ｉが熟練者による評価結果にしたがって図６に示されるような個別品質スコアＳａにスコア化された場合を検討する。部分画像Ｉ１は、その個別品質スコアＳａが「１点」とされている。２つの部分画像Ｉ２，Ｉ３はいずれも、その個別品質スコアＳａが「３点」とされている。２つの部分画像Ｉ４，Ｉ５はいずれも、その個別品質スコアＳａが「５点」とされている。部分画像Ｉ６は、その個別品質スコアＳａが「４点」とされている。

【0056】

個別品質推定用モデルＭａで使用する個別品質スコアＳａは、１つの評価項目に基づいたスコアであっても良いし、或いは、複数の評価項目に基づいたスコアであっても良い。ここでいう「評価項目」として、例えば、色むら、キズ、割れ、穴あきなどが挙げられる。複数の評価項目の組み合わせを適宜に変更することで、部分画像Ｉの評価のバリエーションを増やすことが可能になる。

【0057】

１つの評価項目を使用する場合には、その評価項目自体が個別品質スコアＳａになる。したがって、各部分画像Ｉには、その評価項目についての１つのラベル付けがなされる。これに対して、複数の評価項目を使用する場合には、各評価項目について部分画像Ｉをスコア化し、それら複数の評価項目のスコアを予め定めたルールにしたがって組み合わせることにより、最終的に１つの個別品質スコアＳａが導出される。したがって、各部分画像Ｉには、複数の評価項目が統合された包括評価項目についての１つのラベル付けがなされる。

【0058】

なお、モデル記憶部５２に格納する個別品質推定用モデルＭａの数は１つであっても良いし、或いは複数であっても良い。この場合、個別品質推定用モデルＭａとして、例えば、「色むら」という評価項目に特化した「色むら推定用モデル」、「キズ」という評価項目に特化した「キズ推定用モデル」、「割れ」という評価項目に特化した「割れ推定用モデル」、「穴あき」という評価項目に特化した「穴あき推定用モデル」、複数の評価項目を統合した「包括推定用モデル」などを採用することができる。互いに評価項目が異なる複数の個別品質推定用モデルＭａを採用する場合、例えば、品質評価に対する影響度合いの大きい順番や発生する可能性の高い順番を予め定めて、当該順番にしたがって各個別品質推定用モデルＭａを用いて個別品質スコアＳａを導出することができる。

【0059】

６．２ 学習段階
学習段階では、各部分画像Ｉと個別品質スコアＳａとの関係を、所謂「ＡＩ（人工知能）」により機械学習する。このときの訓練データセットとして、前記のスコア化段階で熟練者がスコア化することによって取得したデータセットを使用する。これにより、個別品質推定用モデルＭａを生成する。この個別品質推定用モデルＭａは、訓練済みパラメータを含む訓練済みモデルである。

【0060】

なお、この学習段階で使用する個別品質スコアＳａの数は特に限定されるものではない。すなわち、６つの部分画像Ｉについての６つの個別品質スコアＳａの全てを使用しても良いし、或いは６つの個別品質スコアＳａのうちの一部のみを使用しても良い。例えば、確信度が高い個別品質スコアＳａを優先的に学習段階で使用することができる。具体的には、スコアが「５点」および「１点」である個別品質スコアＳａの確信度が高いときには、スコアが「５点」および「１点」である個別品質スコアＳａのみを学習段階で使用し、それ以外の個別品質スコアＳａは学習段階で使用しないように設定することができる。また、確信度に応じてスコアを変更するようにしても良い。例えば、「５点」である確信度が基準値を下回るときに、スコアを「４点」に変更することができる。

【0061】

６．３ 閾値設定段階
図７に示されるように、閾値設定段階では、６つの個別品質スコアＳａのうちの複数を予め定めたルールにしたがって組み合わせたうえで、予め準備された相関プログラム（相関式）Ｐに導入する。この相関プログラムＰは、全体品質推定用モデルＭｂを構成するものであり、６つの個別品質スコアＳａの組み合わせと全体品質スコアＳｂとの相関を示すプログラムである。このため、この相関プログラムＰによれば、複数の個別品質スコアＳａの組み合わせから全体品質スコアＳｂを自動で演算することができる。そして、全体品質スコアＳｂの演算結果に基づいて閾値Ｔｈの設定を行う。

【0062】

なお、６つの個別品質スコアＳａの組み合わせについては、６つの個別品質スコアＳａの全てを組み合わせるようにしても良いし、或いは６つの個別品質スコアＳａのうちの一部の複数を組み合わせるようにしても良い。また、これら複数の個別品質スコアＳａのそれぞれに重み付けをしたうえで互いに組み合わせるようにしても良い。また、機械学習を用いてもよい。

【0063】

図８に示されるように、本形態では、Ａ等級からＥ等級までの５つの等級Ｔを区分するための閾値Ｔｈとして、４つの閾値Ｔｈ１，Ｔｈ２，Ｔｈ３，Ｔｈ４を設定している。例えば、相関プログラムＰで演算した全体品質スコアＳｂが閾値Ｔｈ１を上回る場合には、青果物Ｗの等級ＴがＡ等級であると判定される。また、相関プログラムＰで演算した全体品質スコアＳｂが閾値Ｔｈ２と閾値Ｔｈ３との間にある場合には、青果物Ｗの等級ＴがＣ等級であると判定される。なお、青果物ＷがＮＧ（廃棄）であるか否かの判定は、閾値による判定とは別に実施するのが好ましい。

【0064】

６．４ 利用段階
図８に示されるように、利用段階では、先ず、個別品質評価部４５において、訓練済みモデルである個別品質推定用モデルＭａに６つの部分画像Ｉ（Ｉ１～Ｉ６）を入力する。これにより、６つの部分画像Ｉ（Ｉ１～Ｉ６）のそれぞれの個別品質スコアＳａが導出される。引き続いて、全体品質評価部４６において、複数の個別品質スコアＳａを全体品質推定用モデルＭｂに入力する。これにより、青果物Ｗの全体品質情報である等級Ｔが導出される。そして、この等級Ｔは、出力部６０によってユーザに出力される。

【0065】

なお、本形態では、等級Ｔを全体品質情報とする場合について例示したが、この等級Ｔに代えて或いは加えて、全体品質スコアＳｂを全体品質情報とすることもできる。

【0066】

７．作用効果
上述の実施形態１によれば、以下のような作用効果が得られる。

【0067】

実施形態１の評価システム１，２は、青果物Ｗを６方向から撮影して６つの部分画像Ｉを取得する撮像装置１０を備える。撮像装置１０が取得する６つの部分画像Ｉは、青果物Ｗの全体画像を構成するものである。したがって、この撮像装置１０によれば、青果物Ｗの一部のみを撮影するのに比べて取得できる青果物Ｗの外観情報の精度が高めることができ、青果物Ｗの外観の全体の状態を木目細かく把握することが可能になる。そして、撮像装置１０が取得した６つの部分画像Ｉは、コンピュータ装置２０に伝送される。

【0068】

コンピュータ装置２０の演算部４０は、個別品質評価部４５及び全体品質評価部４６を有する。個別品質評価部４５によれば、撮像装置１０で取得した６つの部分画像Iが、モデル記憶部５２から読み出した個別品質推定用モデルＭａに入力されることで、６つの個別品質スコアＳａを取得できる。また、全体品質評価部４６によれば、個別品質評価部４５で取得した６つの個別品質スコアＳａが、モデル記憶部５２から読み出した全体品質推定用モデルＭｂに入力されることで、青果物Ｗの全体品質情報である等級Ｔを取得できる。

【0069】

本形態では、撮像装置１０から個別品質推定用モデルＭａに入力される青果物Ｗの外観情報の精度が高いため、この個別品質推定用モデルＭａから得られる個別品質スコアＳａの精度も高くなる。また、これに伴い、個別品質スコアＳａの入力によって全体品質推定用モデルＭｂから得られる等級Ｔの精度も同様に高くなる。その結果、青果物Ｗの等級Ｔの精度を高めることができる。

【0070】

以上のごとく、上述の実施形態１によれば、青果物Ｗの品質評価の精度に優れた青果物品質評価システム１，２を提供することができる。この青果物品質評価システム１，２は、熟練度の高い目視による総合的心象を忠実に再現できるシステムであり、青果物Ｗの選別作業に要する作業負担を軽減するのに有効である。

【0071】

以下、上述の実施形態１に関連する他の実施形態について図面を参照しつつ説明する。他の実施形態において、実施形態１の要素と同一の要素には同一の符号を付しており、当該同一の要素についての説明は省略する。

【0072】

（実施形態２）
図１０に示される、実施形態２の評価システム３は、そのコンピュータ装置２０Ａの構成が実施形態１の評価システム１のものと相違している。コンピュータ装置２０Ａは、撮像制御部３０（図１を参照）と、演算部４０Ａと、記憶部５０Ａと、出力部６０と、を有する。

【0073】

８．記憶部５０Ａの構成
図１０に示されるように、記憶部５０Ａは、データ記憶部５１と、モデル記憶部５２と、を有する。データ記憶部５１は、演算部４０Ａの画像取得部４１から入力された６つの部分画像Ｉ（Ｉ１～Ｉ６）と、演算部４０Ａのデータ入力部４３から入力された各種のデータと、を格納する。モデル記憶部５２は、いずれも演算部４０Ａのモデル生成部４４で生成した全体品質推定用モデルＭｃを格納する。

【0074】

ここで、全体品質推定用モデルＭｃは、６つの撮像装置１０で取得した６つの部分画像Ｉ（（Ｉ１～Ｉ６））と、青果物Ｗの等級Ｔと、の関係性を規定したモデルである。

【0075】

９．演算部４０Ａの構成
図１０に示されるように、演算部４０Ａは、画像取得部４１，４２と、モデル生成部４４と、全体品質評価部４６と、を有する。

【0076】

画像取得部４１は、６つの撮像装置１０から６つの部分画像Ｉを取得して、これら６つの部分画像Ｉをデータ記憶部５１に入力する。これに対して、画像取得部４２は、６つの撮像装置１０から６つの部分画像Ｉを取得して、これら６つの部分画像Ｉを全体品質評価部４６に入力する。

【0077】

データ入力部４３は、全体品質推定用モデルＭｃを生成するために必要となる各種のデータをデータ記憶部５１に入力する。

【0078】

モデル生成部４４は、データ記憶部５１から読み出した訓練データセットを使用した機械学習によって全体品質推定用モデルＭｃを生成する。そして、このモデル生成部４４は、生成した全体品質推定用モデルＭｃをモデル記憶部５２に出力する。ディープラーニング(深層学習)を使用して全体品質推定用モデルＭｃを生成しても良い。

【0079】

全体品質評価部４６は、画像取得部４２で取得した６つの部分画像Ｉを、モデル記憶部５２から読み出した全体品質推定用モデルＭｃに入力する。これにより、全体品質評価部４６は、青果物Ｗの等級Ｔを取得する。

【0080】

その他の構成は、実施形態１と同様である。

【0081】

上述の実施形態２において、コンピュータ装置２０の演算部４０Ａは、全体品質評価部４６を有する。全体品質評価部４６によれば、撮像装置１０で取得した６つの部分画像Iが、モデル記憶部５２から読み出した全体品質推定用モデルＭｃに入力されることで、青果物の全体品質情報である等級Ｔを取得できる。本形態では、全体品質推定用モデルＭｃに入力される青果物Ｗの外観情報の精度が高いため、この全体品質推定用モデルＭｃから得られる等級Ｔの精度も同様に高くなる。その結果、青果物Ｗの品質評価の精度を高めることができる。

【0082】

したがって、上述の実施形態２によれば、青果物Ｗの品質評価の精度に優れた青果物品質評価システム３を提供することができる。

【0083】

その他、実施形態１と同様の作用効果を奏する。

【0084】

（実施形態３）
実施形態３では、実施形態１の場合と同様の評価システム１（図５を参照）を使用する。一方で、実施形態３では、使用する個別品質推定用モデルＭａが実施形態１のものと相違している。その他は、実施形態１と同様である。

【0085】

図１１に示されるように、実施形態３の個別品質推定用モデルＭａは、異常評価モデルＭａ１と形状評価モデルＭａ２と外観評価モデルＭａ３によるものである。異常評価モデルＭａ１は、青果物Ｗの異常の有無を評価するためのモデルである。形状評価モデルＭａ２は、青果物Ｗの形状を評価するためのモデルである。外観評価モデルＭａ３は、青果物Ｗの外観全般を評価するためのモデルである。要するに、本形態では、青果物Ｗの評価項目に「異常の有無」と「形状」と「外観全般」の３種類を採用している。これら３種類の評価モデルＭａ１，Ｍａ２，Ｍａ３は、モデル記憶部５２に格納される。

【0086】

異常評価モデルＭａ１は、青果物Ｗの部分画像Ｉと、部分画像Ｉにラベリングされる個別品質スコアＳａ１と、の関係性を規定したモデルである。個別品質スコアＳａ１は、異常の有無について予め評価したスコアである。形状評価モデルＭａ２は、青果物Ｗの部分画像Ｉと、部分画像Ｉにラベリングされる個別品質スコアＳａ２と、の関係性を規定したモデルである。個別品質スコアＳａ２は、形状について予め評価したスコアである。外観評価モデルＭａ３は、青果物Ｗの部分画像Ｉと、部分画像Ｉにラベリングされる個別品質スコアＳａ３と、の関係性を規定したモデルである。個別品質スコアＳａ３は、形状について予め評価したスコアである。

【0087】

なお、実施形態３では、３種類の評価モデルＭａ１，Ｍａ２，Ｍａ３のうちの少なくとも１つを使用することができる。また、３種類の評価モデルＭａ１，Ｍａ２，Ｍａ３のそれぞれの数は１つであっても良いし、複数の異なる評価項目に応じて複数であっても良い。

【0088】

図１２に示されるように、実施形態３の閾値設定段階では、３つの個別品質スコアＳａ１，Ｓａ２，Ｓａ３を予め定めたルールにしたがって組み合わせたうえで、予め準備された相関プログラムＰに導入する。この相関プログラムＰは、全体品質推定用モデルＭｂを構成するものであり、３つの個別品質スコアＳａ１，Ｓａ２，Ｓａ３と全体品質スコアＳｂとの相関を示すプログラムである。このため、この相関プログラムＰによれば、３つの個別品質スコアＳａ１，Ｓａ２，Ｓａ３の組み合わせから全体品質スコアＳｂを自動で演算することができる。そして、実施形態１の場合と同様に、全体品質スコアＳｂの演算結果に基づいて閾値Ｔｈの設定を行う。

【0089】

図１３に示されるように、実施形態３の利用段階では、先ず、個別品質評価部４５において、訓練済みモデルである個別品質推定用モデルＭａに部分画像Ｉを入力する。これにより、部分画像Ｉについて３つの個別品質スコアＳａ１，Ｓａ２，Ｓａ３が導出される。すなわち、個別品質評価部４５は、モデル記憶部５２から読み出した異常評価モデルＭａ１に部分画像Ｉを入力することにより個別品質スコアＳａ１を取得する。また、個別品質評価部４５は、モデル記憶部５２から読み出した異常評価モデルＭａ２に部分画像Ｉを入力することにより個別品質スコアＳａ２を取得する。さらに、個別品質評価部４５は、モデル記憶部５２から読み出した異常評価モデルＭａ３に部分画像Ｉを入力することにより個別品質スコアＳａ３を取得する。

【0090】

引き続いて、全体品質評価部４６において、３つの個別品質スコアＳａ１，Ｓａ２，Ｓａ３を全体品質推定用モデルＭｂに入力する。これにより、実施形態１の場合と同様に、青果物Ｗの全体品質情報である等級Ｔが導出される。そして、この等級Ｔは、出力部６０によってユーザに出力される。

【0091】

ここで、実施形態３において、青果物Ｗがリンゴ属の果物である場合の具体例について説明する。図１４に示されるように、この場合には、例えば、３つの異常評価モデルＭａ１と、１つの形状評価モデルＭａ２と、１つの外観評価モデルＭａ３を使用することができる。本形態では、「異常の有無」という評価項目の重要性に鑑みて、３つの異常評価モデルＭａ１を使用して異常の種類を細分化するようにしている。

【0092】

１つの目の異常評価モデルＭａ１では、評価項目を「大キズ（「生キズ」ともいう。）」とする。例えば、大キズが有る場合に部分画像Ｉにラベリングする個別品質スコアＳａ１を「０」とし、大キズが無い場合に部分画像Ｉにラベリングする個別品質スコアＳａ１を「１」とすることができる。これにより、利用段階において、０～１までの間の数値の個別品質スコアＳａ１がこの異常評価モデルＭａ１から取得される。このときの個別品質スコアＳａ１は、大キズによる異常が大きいほど低くなり、大キズによる異常が小さいほど高くなる。この異常評価モデルＭａ１の場合、６方向の部分画像Ｉを使用するのが好ましい。

【0093】

２つの目の異常評価モデルＭａ１では、評価項目を「ツル割れ」とする。例えば、ツル割れが有る場合に部分画像Ｉにラベリングする個別品質スコアＳａ１を「０」とし、ツル割れが無い場合に部分画像Ｉにラベリングする個別品質スコアＳａ１を「１」とすることができる。これにより、利用段階において、０～１までの間の数値の個別品質スコアＳａ１がこの異常評価モデルＭａ１から取得される。このときの個別品質スコアＳａ１は、ツル割れによる異常が大きいほど低くなり、ツル割れによる異常が小さいほど高くなる。この異常評価モデルＭａ１の場合、ツル割れの発生する箇所に対応した上方向（例えば、図１中の第３方向Ｄ３）からの部分画像Ｉのみを使用すれば良い。

【0094】

３つの目の異常評価モデルＭａ１では、評価項目を「虫食い」とする。例えば、虫食いが有る場合に部分画像Ｉにラベリングする個別品質スコアＳａ１を「０」とし、虫食いが無い場合に部分画像Ｉにラベリングする個別品質スコアＳａ１を「１」とすることができる。これにより、利用段階において、０～１までの間の数値の個別品質スコアＳａ１がこの異常評価モデルＭａ１から取得される。このときの個別品質スコアＳａ１は、虫食いによる異常が大きいほど低くなり、虫食いによる異常が小さいほど高くなる。この異常評価モデルＭａ１の場合、虫食いの発生する箇所に対応した下方向（例えば、図１中の第４方向Ｄ４）からの部分画像Ｉのみを使用すれば良い。

【0095】

形状評価モデルＭａ２では、評価項目を「形状」とする。例えば、形状が不合格である場合に部分画像Ｉにラベリングする個別品質スコアＳａ２を「０」とし、形状が合格である場合に部分画像Ｉにラベリングする個別品質スコアＳａ２を「１」とすることができる。これにより、利用段階において、０～１までの間の数値の個別品質スコアＳａ２が形状評価モデルＭａ２から取得される。このときの個別品質スコアＳａ２は、形状が悪いほど低くなり、形状が良いほど高くなる。この異常評価モデルＭａ２の場合、６方向の部分画像Ｉを使用するのが好ましい。

【0096】

外観評価モデルＭａ３では、評価項目を「外観全般」とする。ここでいう「外観全般」とは、形状に関係しない項目であって、色むら、小キズ、さび、葉痕、枝痕のそれぞれの状況を包括した概念である。本形態では、外観の評価は人によって変わる可能性が高いことを踏まえて、あえて複数の項目を含む概念についての評価とした。例えば、外観全般が不合格である場合に部分画像Ｉにラベリングする個別品質スコアＳａ３を「０」とし、外観全般が合格である場合に部分画像Ｉにラベリングする個別品質スコアＳａ３を「１」とすることができる。これにより、利用段階において、０～１までの間の数値の個別品質スコアＳａ３が外観評価モデルＭａ３から取得される。このときの個別品質スコアＳａ３は、外観全般が悪いほど低くなり、外観全般が良いほど高くなる。この異常評価モデルＭａ３の場合、６方向の部分画像Ｉを使用するのが好ましい。

【0097】

実施形態３によれば、青果物Ｗの評価項目に「異常の有無」と「形状」と「外観全般」の３種類を採用することによって、青果物Ｗの等級判別の精度を高めることができる。必要に応じて、これら３種類のうちの１種類或いは２種類に評価項目を変更しても良い。特に「異常の有無」を必須の評価項目にするのが好ましい。これにより、例えば、青果物Ｗを生食用として出荷できるか否かを精度良く判定する助けになる。

【0098】

（実施形態４）
実施形態４は、実施形態３と類似の形態であり、３種類の評価モデルＭａ１，Ｍａ２，Ｍａ３を使用する。実施形態４は、個別品質スコアＳａ１，Ｓａ２，Ｓａ３に重み付けを実施する点と、全体品質評価部４６の全体品質推定用モデルＭｂで重み付け後の個別品質スコアＳａ１’，Ｓａ２’，Ｓａ３’を使用する点で、実施形態３と相違している。その他は、実施形態３と同様である。

【0099】

図１５に示されるように、実施形態４の閾値設定段階では、３つの個別品質スコアＳａ１，Ｓａ２，Ｓａ３をそれぞれ重み係数ｗｔで重み付けしたのち、予め定めたルールにしたがって組み合わせたうえで、予め準備された相関プログラムＰに導入する。この相関プログラムＰは、全体品質推定用モデルＭｂを構成するものであり、重み付け後の３つの個別品質スコアＳａ１’，Ｓａ２’，Ｓａ３’と全体品質スコアＳｂとの相関を示すプログラムである。このため、この相関プログラムＰによれば、３つの個別品質スコアＳａ１’，Ｓａ２’，Ｓａ３’の組み合わせから全体品質スコアＳｂを自動で演算することができる。そして、実施形態１の場合と同様に、全体品質スコアＳｂの演算結果に基づいて閾値Ｔｈの設定を行う。

【0100】

全体品質評価部４６の全体品質推定用モデルＭｂは、３つの個別品質スコアＳａ１’，Ｓａ２’，Ｓａ３’の組み合わせと青果物Ｗの全体品質スコアＳｂとの関係性を規定したモデルである。この場合、個別品質スコアＳａ１’，Ｓａ２’，Ｓａ３’が個別品質スコアＳａ１，Ｓａ２，Ｓａ３を重み付けしたスコアであるため、全体品質推定用モデルＭｂを、「重み付け前の３つの個別品質スコアＳａ１，Ｓａ２，Ｓａ３の組み合わせと青果物Ｗの全体品質情報Ｓｂとの関係性に基づくモデル」ということもできる。

【0101】

図１６に示されるように、実施形態４の利用段階では、先ず、個別品質評価部４５において、訓練済みモデルである個別品質推定用モデルＭａに部分画像Ｉを入力する。これにより、部分画像Ｉについて３つの個別品質スコアＳａ１，Ｓａ２，Ｓａ３が導出される。引き続いて、全体品質評価部４６において、３つの個別品質スコアＳａ１，Ｓａ２，Ｓａ３に重み係数ｗｔを掛けて重み付け後の３つの個別品質スコアＳａ１’，Ｓａ２’，Ｓａ３’を導出する。

【0102】

引き続いて、全体品質評価部４６において、３つの個別品質スコアＳａ１’，Ｓａ２’，Ｓａ３’を全体品質推定用モデルＭｂに入力する。これにより、実施形態３の場合と同様に、青果物Ｗの全体品質情報である等級Ｔが導出される。そして、この等級Ｔは、出力部６０によってユーザに出力される。

【0103】

ここで、実施形態４において、青果物Ｗがリンゴ属の果物である場合の具体例について説明する。図１７に示されるように、この場合には、実施形態３の場合と同様に、例えば、３つの異常評価モデルＭａ１と、１つの形状評価モデルＭａ２と、１つの外観評価モデルＭａ３を使用することができる。

【0104】

各異常評価モデルＭａ１から導出された個別品質スコアＳａ１に重み係数ｗｔ１を掛けることによって個別品質スコアＳａ１’が算出される。３つの異常評価モデルＭａ１につては同一の重み係数ｗｔ１を使用するのが好ましい。形状評価モデルＭａ２から導出された個別品質スコアＳａ２に重み係数ｗｔ２を掛けることによって個別品質スコアＳａ２’が算出される。外観評価モデルＭａ３から導出された個別品質スコアＳａ３に重み係数ｗｔ３を掛けることによって個別品質スコアＳａ３’が算出される。

【0105】

なお、３つの重み係数ｗｔ１，ｗｔ２，ｗｔ３は、全てが同一の値であっても良いし、或いは全てが異なる値であっても良いし、或いはいずれか２つが同一の値であっても良い。

【0106】

３つの重み係数ｗｔ１，ｗｔ２，ｗｔ３の関係については、青果物Ｗがリンゴ属の果物であるか否かにかかわらず、重み係数ｗｔ１を、残りの２つの重み係数ｗｔ２，ｗｔ３に比べて重み付けの影響度が高くなる値に設定するのが好ましい。例えば、異常があるほど個別品質スコアＳａ１が大きくなるような設定である場合には、重み係数ｗｔ１を最も大きい値に設定する。これに対して、異常があるほど個別品質スコアＳａ１が小さくなるような設定である場合には、重み係数ｗｔ１を最も小さい値に設定する。

【0107】

さらに、青果物Ｗがリンゴ属の果物である場合に限っては、２つの重み係数ｗｔ２，ｗｔ３の関係については、重み係数ｗｔ３を、重み係数ｗｔ２に比べて重み付けの影響度が高くなる値に設定するのが好ましい。例えば、形状や外観全般が悪いほど個別品質スコアＳａ２，Ｓａ３が大きくなるような設定である場合には、重み係数ｗｔ３を重み係数ｗｔ２よりも大きい値に設定する。これに対して、形状や外観全般が悪いほど個別品質スコアＳａ１が小さくなるような設定である場合には、重み係数ｗｔ３を重み係数ｗｔ２よりも小さい値に設定する。

【0108】

上述のように、発明者による評価実績の知見に基づいた場合、青果物Ｗがリンゴ属の果物であるときには、重み係数ｗｔ１による重み付けの影響度が最も高く、重み係数ｗｔ２による重み付けの影響度が最も低くなるように、重み付けに優先順位を付けることが有効であることが見出されている。

【0109】

実施形態４によれば、ユーザが重み係数ｗｔを適宜にチューニングにして重み付けの影響度を変更することが可能になる。これにより、青果物Ｗの種類に適した判定を実現することができる。

【0110】

なお、実施形態４では、重み係数ｗｔ（ｗｔ１，ｗｔ２，ｗｔ３）を青果物Ｗの種類に応じて変更可能とされているのが好ましい。これにより、青果物Ｗの種類に適して重み付けが可能になる。

【0111】

１０．変形態様
本開示は、上述の形態に準拠して記述されているが、本開示は当該形態や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

【0112】

上述の形態では、青果物Ｗを撮像装置１０によって６方向から撮影する場合について例示したが、青果物Ｗの全体を撮影することができれば、撮影方向の数（したがって、部分画像Ｉの数）は６つに限定されるものではなく、必要に応じて適宜に変更可能である。

【0113】

上述の形態では、各部分画像Ｉに他の部分画像Ｉとのオーバーラップ部Ｊが形成されるように青果物Ｗを撮影する場合について例示したが、これに代えて、複数の部分画像Ｉから青果物Ｗの全体画像に関する情報を取得できることを条件に、各部分画像Ｉが他の部分画像Ｉにオーバーラップ部Ｊを形成することなく接するように青果物Ｗを撮影するようにしても良い。

【符号の説明】

【0114】

１，２，３：青果物品質評価システム、 １０：撮像装置、 １１：撮像箱、 １３：搬送ライン、 １５：トレイ、 １７：振り分け装置、 ２０，２０Ａ：コンピュータ装置、 ４０，４０Ａ：演算部、 ４５：個別品質評価部、 ４６：全体品質評価部、 ５０，５０Ａ：記憶部、 ６０：出力部、 １０１：青果物選別システム、 Ｄ１；第１方向、 Ｄ２：第２方向、 Ｄ３：第３方向、 Ｄ４：第４方向、 Ｄ５：第５方向、 Ｄ６：第６方向、 部分画像：Ｉ，Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５，Ｉ６、 Ｍａ：個別品質推定用モデル、 Ｍａ１：異常評価モデル（個別品質推定用モデル）、 Ｍａ２：形状評価モデル（個別品質推定用モデル）、 Ｍａ３：外観評価モデル（個別品質推定用モデル）、 Ｍｂ，Ｍｃ：全体品質推定用モデル、 Ｓａ，Ｓａ１，Ｓａ２，Ｓａ３：個別品質スコア、 Ｔ：等級（全体品質情報）、 Ｗ：青果物、 ｗｔ，ｗｔ１，ｗｔ２，ｗｔ３：重み係数

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】