特開 2022-18322 穀粒検査システム、穀粒検査装置、穀粒検査方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022018322

(43)【公開日】2022-01-27

(54)【発明の名称】穀粒検査システム、穀粒検査装置、穀粒検査方法及びコンピュータプログラム

(51)【国際特許分類】

   G01N 21/85 20060101AFI20220120BHJP

   G16Y 10/05 20200101ALI20220120BHJP

【ＦＩ】

G01N21/85 A

G16Y10/05

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020121365

(22)【出願日】2020-07-15

(71)【出願人】

【識別番号】516356402

【氏名又は名称】株式会社スカイマティクス

(74)【代理人】

【識別番号】110000279

【氏名又は名称】特許業務法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】渡邉 善太郎

(72)【発明者】

【氏名】倉本 泰隆

(72)【発明者】

【氏名】榎本 真貴

(72)【発明者】

【氏名】サビリン ホウアリ

(72)【発明者】

【氏名】丸田 洋

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA04

2G051AB02

2G051CA04

2G051EA11

2G051EA12

2G051EA14

2G051EA17

2G051EA21

2G051EB01

2G051EB02

2G051EC01

2G051ED07

(57)【要約】

【課題】農家が簡易にかつ安価に穀粒に対する事前検査を行うことを可能にする。
【解決手段】穀粒検査システムＳの管理装置２０は、検査すべき複数の個別穀粒を含む穀粒集合が携帯端末１０の撮像部１２により撮像された穀粒集合画像データを受信する情報受信部２４と、穀粒集合画像データから個別穀粒の個別穀粒画像データを抽出し、それぞれの個別穀粒画像データに基づいて個別穀粒の個別品質を判別するとともに、判別した個別穀粒の個別品質に基づいて穀粒集合の集合品質を判別する画像解析部２５と、穀粒集合画像データに判別された個別穀粒の個別品質を表示するマークを重畳した個別判定結果データと、判別された穀粒集合の集合品質を表示する集合品質判定結果データとを表示部に表示させるために携帯端末１０に送信する情報送信部２７とを有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

携帯端末と管理装置とを有する穀粒検査システムであって、
前記携帯端末は撮像部と表示部とを有し、
前記管理装置は、
検査すべき複数の個別穀粒を含む穀粒集合が前記撮像部により撮像された穀粒集合画像データを前記携帯端末から受信する受信部と、
前記穀粒集合画像データから前記個別穀粒の個別穀粒画像データを抽出し、それぞれの前記個別穀粒画像データに基づいて前記個別穀粒の個別品質を判別するとともに、判別した前記個別穀粒の前記個別品質に基づいて前記穀粒集合の集合品質を判別する画像解析部と、
前記穀粒集合画像データに判別された前記個別穀粒の前記個別品質を表示するマークを重畳した個別判定結果データと、判別された前記穀粒集合の前記集合品質を表示する集合品質判定結果データとを前記表示部に表示させるために前記携帯端末に送信する送信部と
を有することを特徴とする穀粒検査システム。

【請求項2】

前記携帯端末は入力部を有し、
前記管理装置は、前記入力部を介して入力された前記穀粒集合の前記集合品質を教示する教示データと前記画像解析部による前記穀粒集合の前記集合品質の判別結果とに基づいて、前記画像解析部による前記集合品質の判別手順を修正する再学習部を有する
ことを特徴とする請求項１に記載の穀粒検査システム。

【請求項3】

前記携帯端末は入力部を有し、
前記管理装置は、前記入力部を介して入力された前記穀粒集合を識別するための穀粒集合の識別情報を前記穀粒集合の前記集合品質の判別結果と紐付けて保存する結果保存部を有する
ことを特徴とする請求項１または２に記載の穀粒検査システム。

【請求項4】

前記送信部は、前記撮像部による前記穀粒集合の撮像の際に、この穀粒集合が撮像されるべき撮像範囲とこの撮像範囲の中心とが表示されたガイド画像データを前記携帯端末に送信することを特徴とする請求項１～３のいずれかに記載の穀粒検査システム。

【請求項5】

前記画像解析部は、前記個別穀粒画像データの色空間データを用いて前記個別穀粒の前記個別品質を判別する第一の手順と、前記管理装置に保存されている教師データに基づいて学習モデルを用いて前記個別穀粒の前記個別品質を判別する第二の手順とを有し、これら第一及び第二の手順による判別結果を用いて前記穀粒集合の前記集合品質を判別することを特徴とする請求項１～４のいずれかに記載の穀粒検査システム。

【請求項6】

前記画像解析部は、前記穀粒集合の前記集合品質を判定するとともに判別した前記集合品質のばらつきを算出し、
前記送信部は、前記集合品質判定結果データに前記ばらつきを表示するためのデータを付加する
ことを特徴とする請求項１～５のいずれかに記載の穀粒検査システム。

【請求項7】

検査すべき複数の個別穀粒を含む穀粒集合が撮像された穀粒集合画像データを携帯端末の撮像部から受け入れる受信部と、
前記穀粒集合画像データから前記個別穀粒の個別穀粒画像データを抽出し、それぞれの前記個別穀粒画像データに基づいて前記個別穀粒の個別品質を判別するとともに、判別した前記個別穀粒の前記個別品質に基づいて前記穀粒集合の集合品質を判別する画像解析部と、
前記穀粒集合画像データに判別された前記個別穀粒の前記個別品質を表示するマークを重畳した個別判定結果データと、判別された前記穀粒集合の前記集合品質を表示する集合品質判定結果データとを前記携帯端末の表示部に表示させるために送出する送信部と
を有することを特徴とする穀粒検査装置。

【請求項8】

穀粒検査装置による穀粒検査方法であって、
検査すべき複数の個別穀粒を含む穀粒集合が撮像された穀粒集合画像データを携帯端末の撮像部から受け入れ、
前記穀粒集合画像データから前記個別穀粒の個別穀粒画像データを抽出し、それぞれの前記個別穀粒画像データに基づいて前記個別穀粒の個別品質を判別するとともに、判別した前記個別穀粒の前記個別品質に基づいて前記穀粒集合の集合品質を判別し、
前記穀粒集合画像データに判別された前記個別穀粒の前記個別品質を表示するマークを重畳した個別判定結果データと、判別された前記穀粒集合の前記集合品質を表示する集合品質判定結果データとを前記携帯端末の表示部に表示させるために送出する
ことを特徴とする穀粒検査方法。

【請求項9】

コンピュータにより実行されるコンピュータプログラムであって、
このコンピュータプログラムが実行されると、前記コンピュータを
検査すべき複数の個別穀粒を含む穀粒集合が撮像された穀粒集合画像データを携帯端末の撮像部から受け入れる受信部と、
前記穀粒集合画像データから前記個別穀粒の個別穀粒画像データを抽出し、それぞれの前記個別穀粒画像データに基づいて前記個別穀粒の個別品質を判別するとともに、判別した前記個別穀粒の前記個別品質に基づいて前記穀粒集合の集合品質を判別する画像解析部と、
前記穀粒集合画像データに判別された前記個別穀粒の前記個別品質を表示するマークを重畳した個別判定結果データと、判別された前記穀粒集合の前記集合品質を表示する集合品質判定結果データとを前記携帯端末の表示部に表示させるために送出する送信部と
して機能させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、穀粒検査システム、穀粒検査装置、穀粒検査方法及びコンピュータプログラムに関する。

【背景技術】

【0002】

生産された米穀の品質を、市場に出すより前に、試験場など公共機関が検査して等級づけることが広く行われている。

【0003】

米を例に取れば、農家は、生産した米（例えば、玄米）を検査所へ持ち込み、米の等級を判定してもらう。検査所では、高価で精密な穀粒判別機、または、専門家の目視により、米の品質の判定が行われて、米に等級が与えられる。結果、期待より悪い等級が出ると買い取り価格が低くなるので、農家は、米を持ち帰って等級が上がるよう米を再選別して、再び検査場に行って検査を受けるという面倒がある。

【0004】

農家は、高価で精密な穀粒判別機を自ら持たない限り、米の等級を自ら判断して、期待通りの等級になるように米を選別をするなどの対策が取り難い。また、等級の良し悪しと米の生産方法との関係性（例えば、圃場、育成や手入れの方法、乾燥やもみすりの方法、選別方法などがどう等級に影響するか）の把握も難しく、ゆえに、等級を高めるための方策立案が難しい。

【0005】

特許文献１には、粒状物を撮像し撮像データを取得し、撮像データに基づいて測定品位情報を粒単位で求めて粒画像を作成する一方、測定品位情報と品位を判別するためのあらかじめ定めたしきい値又は検量線となる設定品位情報によって各粒状物の品位を判別し、判別した判別品位及び粒画像を表示する技術が開示されている。また、特許文献２には、試料台の上に置かれた白米又は玄米をカメラで撮影し、白米又は玄米の画像を分離し、それぞれの白米又は玄米の画像に対してラベリングした後、ラベリングされた各白米又は玄米の画像を分析して完全米、粉状質の米、屑米、ひびわれ米、着色米又は完全玄米、粉状質の玄米、屑米、ひびわれ玄米、着色玄米の中の一つ以上の割合及び個数を判定する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１７－１５０８２３号公報

【特許文献2】特表２０１０－５４０９５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、これら特許文献１、２に開示された技術はいずれも上述した検査所における検査を念頭に置いたものであり、農家が簡易にかつ安価に事前検査を行う目的で開発されたものではない。

【0008】

本発明は上記の課題に鑑みてなされたもので、農家が簡易にかつ安価に穀粒に対する事前検査を行うことが可能な穀粒検査システム、穀粒検査装置、穀粒検査方法及びコンピュータプログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決すべく、本発明の一つの観点に従う穀粒検査システムは、携帯端末と管理装置とを有し、携帯端末は撮像部と表示部とを有し、管理装置は、検査すべき複数の個別穀粒を含む穀粒集合が撮像部により撮像された穀粒集合画像データを携帯端末から受信する受信部と、穀粒集合画像データから個別穀粒の個別穀粒画像データを抽出し、それぞれの個別穀粒画像データに基づいて個別穀粒の個別品質を判別するとともに、判別した個別穀粒の個別品質に基づいて穀粒集合の集合品質を判別する画像解析部と、穀粒集合画像データに判別された個別穀粒の個別品質を表示するマークを重畳した個別判定結果データと、判別された穀粒集合の集合品質を表示する集合品質判定結果データとを表示部に表示させるために携帯端末に送信する送信部とを有する。

【発明の効果】

【0010】

本発明によれば、農家が簡易にかつ安価に穀粒に対する事前検査を行うことが可能となる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る穀粒検査システムの機能構成を示す図である。

【図2】実施形態に係る穀粒検査システムの全体構成を示す図である。

【図3】実施形態に係る穀粒検査装置の解析結果テーブルの一例を示す図である。

【図4】実施形態に係る穀粒検査システムの動作の一例を示すフローチャートである。

【図5】実施形態に係る穀粒検査システムの携帯端末に表示される画面の一例を示す図である。

【図6】実施形態に係る穀粒検査システムの携帯端末による米粒の撮像手順の一例を示す図である。

【図7】実施形態に係る穀粒検査システムの携帯端末に表示される画面の他の例を示す図である。

【図8】実施形態に係る穀粒検査システムによる米粒の認識手順を説明するための図である。

【図9】実施形態に係る穀粒検査システムによる検査結果の一例を示す図である。

【図10】実施形態に係る穀粒検査システムの画像解析動作の一例を示すフローチャートである。

【図11】実施形態に係る穀粒検査システムの等級判定動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0013】

本実施形態の穀粒検査システムは、シャーレに置かれた多数の米粒を携帯端末により撮像し、撮像した画像を管理装置に送信してこの管理装置が個々の米粒の品質を判定し、個々の米粒の品質判定結果に基づいて、シャーレに置かれた米粒全体の品位（等級）を判定するシステムである。本実施例の穀粒検査システムは米粒の品位判定に用いられるが、穀粒検査システムにより検査される穀粒は米粒に限定されず、小麦などの他の穀粒にも適用可能である。

【0014】

＜システムの全体構成＞
図１は、実施形態に係る穀粒検査システムの機能構成を示す図、図２は実施形態に係る穀粒検査システムの全体構成を示す図である。

【0015】

図１及び図２に示すように、本実施形態の穀粒検査システムＳは、携帯端末１０及び管理装置２０を有し、これら携帯端末１０及び管理装置２０はネットワーク４０により相互に通信可能にされている。

【0016】

携帯端末１０は、例えばスマートフォン、タブレット端末、カメラが付属したノートパソコンなど、所有者が携帯可能な情報処理端末である。携帯端末１０は、表示部１１、撮像部１２、入力部１３、情報送信部１４及び情報受信部１５を有する。

【0017】

表示部１１は、例えば液晶ディスプレイ、有機ＥＬディスプレイなど、所定の表示画面が表示可能なデバイスである。

【0018】

撮像部１２は、携帯端末１０の周囲にある被写体を撮像し、撮像した被写体の画像データが出力可能なデバイスである。好ましくは、撮像部１２は、撮像部１２を通して撮像対象となる被写体を見た画像を適宜出力して表示部１１に表示させ、被写体がどのように撮像されるか、言い換えれば、表示部１１をモニターとして動作させる機能を有する。このような撮像部１２は、スマートフォンやタブレット端末に内蔵されるカメラにより実現可能である。

【0019】

入力部１３は、携帯端末１０の操作者からの操作入力を受け入れるデバイスである。入力部１３の一例として、表示部１１の表示画面の上に重畳されたタッチパネルや、キーボード、マウス等が挙げられる。入力部１３はまた、撮像部１２による被写体の撮像動作指示入力を受け入れる。

【0020】

情報送信部１４は、撮像部１２から出力された画像データや入力部１３を介して入力されたデータなどを、ネットワーク４０を介して管理装置２０を含む外部装置に送信する。

【0021】

情報受信部１５は、管理装置２０を含む外部装置からネットワーク４０を介して送信された各種データを受信する。このような各種データには、後述する管理装置２０から送信される検査結果を示す画像データなどが含まれる。

【0022】

管理装置２０は、各種情報処理が可能な装置、一例としてコンピュータ等の情報処理装置である。管理装置２０は、図２に示すように、ＣＰＵ（Central Processing Unit）２１、記憶部２２及び通信部２３を有する。

【0023】

ＣＰＵ２１は演算素子の一例であり、他の演算素子としては、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等が挙げられる。

【0024】

記憶部２２は、例えばＨＤＤ（Hard Disk Drive）などの磁気記憶媒体、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）などの半導体記憶媒体等を有する。また、ＤＶＤ（Digital Versatile Disk）等の光ディスク及び光ディスクドライブの組み合わせも記憶部２２として用いられる。その他、磁気テープメディアなどの公知の記憶媒体も記憶部２２として用いられる。

【0025】

記憶部２２には、プログラムとして情報通信プログラム２２０、画像処理プログラム２２１、学習モデルプログラム２２２、結果保存プログラム２２３、情報送信プログラム２２４及び再学習プログラム２２５が格納されている。これら情報通信プログラム２２０等が管理装置２０の動作開始時（例えば電源投入時）に実行されることで、管理装置２０を、図１に示す情報受信部２４、画像解析部２５、結果保存部２６、情報送信部２７及び再学習部２８といった各種機能部として動作させる。以下、これら各種機能部により管理装置２０の動作を説明する。

【0026】

また、記憶部２２には、データとして解析結果テーブル２２６及び教師データ２２７が格納されている。これ以外にも、記憶部２２には、管理装置２０の動作時に一時的に使用される各種データが格納されている。

【0027】

なお、本実施例の管理装置２０は、複数の情報処理装置が通信ネットワークを介して通信可能に構成された、いわゆるクラウドにより構成されてもよい。

【0028】

情報受信部２４は、携帯端末１０を含む外部装置からネットワーク４０を介して送信された各種データを受信する。このような各種データには、携帯端末１０から送信される画像データ、入力データなどが挙げられる。

【0029】

画像解析部２５は、情報受信部２４を介して受信した画像データに基づいて、米粒の品位（等級）を判定する。具体的には、携帯端末１０からの画像データは検査すべき複数の個別米粒を含む米粒集合を撮像した米粒集合画像データであるので、画像解析部２５は、この米粒集合画像データから個別米粒の個別米粒画像データを抽出し、それぞれの個別米粒画像データに基づいて、個別米粒の個別品質を判別する。次いで、画像解析部２５は、判別した個別米粒の個別品質に基づいて、米粒集合の集合品質、つまり、携帯端末１０により撮像された米粒集合全体としての品位（等級）を判別する。

【0030】

ここで、本実施例の画像解析部２５は、一般的な画像処理手順による個別品質の判定と、ＡＩ（人工知能）による手順、より詳細には教師データ２２７に基づいて学習モデルプログラム２２２が教師あり学習モデルを用いて行う個別品質の判定とを併用し、米粒集合の集合品質の判別を行う。さらに、本実施例の画像解析部２５は、米粒集合の集合品質を判別するとともに、判別した集合品質のばらつきも算出する。画像解析部２５の動作の詳細については後述する。

【0031】

結果保存部２６は、情報受信部２４が受信した各種データや、画像解析部２５が行った個別米粒の個別品質判別結果、米粒集合の集合品質判別結果などを記憶部２２に格納する。また、結果保存部２６は、携帯端末１０の入力部１３を介して入力された米粒集合の収穫日及びロット識別情報を米粒集合の集合品質の判別結果と紐付けて保存する。結果保存部２６が格納したデータの少なくとも一部は、解析結果テーブル２２６として記憶部２２に格納される。

【0032】

情報送信部２７は、ネットワーク４０を介して携帯端末１０を含む外部装置に各種データを送信する。各種データには、米粒集合画像データに判別された個別穀粒の個別品質を表示するマークを重畳した個別判定結果データと、判別された米粒集合の集合品質を表示する集合品質判定結果データとが含まれる。また、各種データには、米粒集合が撮像されるべき撮像範囲とこの撮像範囲の中心とが表示されたガイド画像データが含まれる。

【0033】

再学習部２８は、携帯端末１０の入力部１３を介して入力された米粒集合の集合品質を教示する教示データと画像解析部２５による米粒集合の集合品質の判別結果とに基づいて、画像解析部２５による集合品質の判別手順を修正する。具体的には、再学習部２８は、学習モデルプログラム２２２の修正を行う。

【0034】

図３は、実施形態に係る管理装置２０の記憶部２２に格納されている解析結果テーブル２２６の一例を示す図である。解析結果テーブル２２６は、エントリとしてＩＤ２２６０、撮影名２２６１、撮影日２２６２、稲刈日２２６３、乾燥日２２６４、もみすり日２２６５、ロットＮｏ．２２６６、品種２２６７、実際の等級２２６８及び解析データ２２６９を有する。このうち、ＩＤ２２６０は結果保存部２６により自動的に入力され、解析データ２２６９は画像解析部２５により判別結果が出されたら結果保存部２６によりこの判別結果が入力される。これ以外の項目は、撮影された米粒集合を識別するための米粒集合識別情報であり、携帯端末１０の入力部１３を介して操作者からの操作入力がされると、情報受信部２４を介して入力される。

【0035】

＜システムの動作＞
図４は、実施形態に係る穀粒検査システムＳの動作の一例を示すフローチャートである。

【0036】

まず、管理装置２０の情報送信部２７は、図５に示すような入力画面を携帯端末１０の表示部１１に表示させるための画像データを生成し、ネットワーク４０を介して携帯端末１０に送信する。携帯端末１０の表示部１１は、管理装置２０から送信された画像データに基づいて、表示部１１に入力画面を表示する。携帯端末１０の操作者は、この入力画面を見ながら、入力部１３を介して操作入力を行う（ステップＳ１００）。

【0037】

図５に示す入力画面では、携帯端末１０の操作者は、撮影名、撮影日、稲刈日、乾燥日、もみすり日、ロットＮｏ．及び品種を入力する。なお、図５に示す入力画面では、実際の等級及びコメントの入力欄があるが、これらは後日操作者が入力する。

【0038】

携帯端末１０の情報送信部１４は、ステップＳ１００において操作者が入力した各種データを送信し（ステップＳ１０１）、管理装置２０の情報受信部２４は、ステップＳ１０１において携帯端末１０から送信された各種データを受信して、結果保存部２６はこの各種データを解析結果テーブル２２６に格納する（ステップＳ１０２）。

【0039】

次に、管理装置２０の情報送信部２７は、携帯端末１０の撮像部１２を用いて米粒集合を撮像するためのガイド画像データを送信し、携帯端末１０の操作者は、このガイド画像データに基づいて表示部１１に表示されたガイド画像を参照して、撮像部１２により米粒集合を撮像する（ステップＳ１０３）。

【0040】

検査所における米粒集合の集合品質の判定（等級判定）は、通常、寸法が定められたシャーレ（カルトンともいう）の平坦部に米粒集合を入れた状態で行われる。シャーレ３００は、図６及び図７に示すように略円板皿状に形成され、シャーレ３００の外径及び中央部にある米粒集合を入れる略平板状の平坦部３０１の径も定められている。従って、この平坦部３０１をほぼ覆うように米粒集合を入れると、略一定数の米粒がこの平坦部３０１に入れられる。また、シャーレ３００は黒色を有しているので、白色透明の整粒とそれ以外の色を持つ死米、着色粒、異種穀粒、異物及びその他との判別が容易になっている。

【0041】

そこで、本実施例の穀粒検査システムＳでは、シャーレ３００の平坦部３０１の中心が撮像部１２による撮像の際にモニター画面（表示部１１の画面）に位置すべき中心ガイド３０２及び平坦部３０１の外周が撮像部１２による撮像の際にモニター画面（表示部１１の画面）に位置すべき周縁ガイド３０３をガイド画像に表示し、操作者が携帯端末１０の撮像部１２を用いて米粒集合を撮像する際に、携帯端末１０とシャーレ３００との間の距離、及び、携帯端末１０の撮像部１２がシャーレ３００を撮像するアングルを常時一定にしている。これにより、携帯端末１０の操作者が撮像する米粒集合の画像を略同一条件にすることができ、後述する米粒の品質（個別品質及び集合品質）の判定に妥当性と再現性を持たせることができる。

【0042】

携帯端末１０の撮像部１２による米粒集合の撮像が終了したら、携帯端末１０の情報送信部１４は、撮像部１２が出力した画像データを、ネットワーク４０を介して管理装置２０に送信する（ステップＳ１０４）。管理装置２０の情報受信部２４は、携帯端末１０から送信された画像データを受信し、記憶部２２に一時的に格納する（ステップＳ１０５）。

【0043】

次いで、管理装置２０の画像解析部２５は、携帯端末１０から送信された画像データに基づいて、個別米粒の個別品質及び米粒集合の集合品質の判定動作を行う（ステップＳ１０６）。

【0044】

携帯端末１０から送信された画像データは、上述したように米粒集合を撮像した米粒集合画像データであるので、まず、画像解析部２５は、この米粒集合画像データから個別米粒の個別米粒画像データを抽出する。

【0045】

具体的には、図８に示すように、画像解析部２５は、米粒集合画像データ（入力画像）に対して適切な閾値を設定して２値化画像を得る。上述したように、米粒集合が入れられたシャーレ３００は黒色であるので、ほぼ白色透明をした米粒（米粒集合も個別米粒も）が存在する領域（米領域）は、２値化画像を得ることにより比較的容易に特定することができる。

【0046】

そして、画像解析部２５は、得られた米領域内の２値化画像を入力画像に重畳し、フィルタリング処理等を行って個別米粒を認識し、最終的に、認識領域毎に入力画像を分割することで個別米粒画像データを得る。

【0047】

この後、画像解析部２５は、個別米粒の個別品質の判定及びこの判定結果に基づく米粒集合の集合品質の判定動作を行う。この一連の動作を図１０のフローチャートを参照して説明する。

【0048】

まず、画像解析部２５は、個別米粒画像データに基づいて、画像処理に基づく解析を行う（ステップＳ２００）。ここにいう画像処理に基づく解析とは、個別米粒画像データの画素単位の色空間データを用いて個別米粒の個別品質を判定することである。より詳細には、個別米粒画像データの画素単位の特定の色空間（例えばＲＧＢ色空間、ＨＳＶ色空間、ＨＬＳ色空間）データを用いて各画素の色相、彩度、明度等を求め、これら色相等により個別米粒の個別品質を判定する。

【0049】

個別米粒の個別品質の判定は、農林水産省が公表している玄米の検査規格に準拠して、個別米粒を整粒、死米、着色粒、異種穀粒、異物、及びそれ以外に分類することにより行う。この判定基準は、後述する米粒集合の集合品質においても用いる。

【0050】

これと並行して、画像解析部２５は、個別米粒画像データに基づいて、ＡＩによる解析を行う（ステップＳ２０１）。ここにいうＡＩによる解析とは、管理装置２０の記憶部２２には、整粒、死米、着色粒、異種穀粒、異物を撮像した個別米粒単位の画像データに基づく教師データ２２７が格納されており、画像解析部２５が、この教師データ２２７に基づいて、自身が持つ学習モデル（学習モデルプログラム２２２）を用いて個別米粒の個別品質を判定することである。

【0051】

次いで、画像解析部２５は、画像処理に基づく解析結果とＡＩによる解析結果とを統合して、個別米粒の個別品質の判別結果を最終決定する（ステップＳ２０２）。個別米粒の個別品質の判別結果を図９に示す。図では白黒（濃淡）表示をしているが、実際には、個別品質の輪郭に、整粒、死米、着色粒、異種穀粒、異物、及びそれ以外の判定結果毎に異なる色の輪郭を表示することで、判定結果を表示している。

【0052】

さらに、画像解析部２５は、判別した個別米粒の個別品質に基づいて、米粒集合の集合品質を判定する（ステップＳ２０３）。ここにいう米粒集合の集合品質の判定とは、農林水産省が公表している玄米の検査規格における等級判定のことである。玄米の検査規格では、検査する米粒集合における整粒等の割合に基づいて玄米を１等、２等、３等及び規格外に等級判定している。本実施例の穀粒検査システムＳにおいても、この玄米の検査規格に準拠して等級判定を行う。

【0053】

図１１は、ステップＳ２０４における米粒集合の集合品質判定、すなわち等級判定動作の詳細を示すフローチャートである。このフローチャートでは、農林水産省が公表している玄米の検査規格に準拠して米粒集合の等級判定を行っている。

【0054】

まず、画像解析部２５は、米粒集合に含まれる粒数のうちステップＳ２０２において整粒と判定した個別米粒の粒数の割合、つまり整粒率を算出する（ステップＳ３００）。そして、画像解析部２５は、整粒率が７０％以上であるか否かを判定する（ステップＳ３０１）。判定の結果、判定が肯定されたら（ステップＳ３０１においてＹＥＳ）ステップＳ３０４に進み、判定が否定されたらステップＳ３０２に進む。

【0055】

ステップＳ３０２では、画像解析部２５は、整粒率が６０％以上であるか否かを判定する。判定の結果、判定が肯定されたら（ステップＳ３０２においてＹＥＳ）ステップＳ３０５に進み、判定が否定されたらステップＳ３０３に進む。

【0056】

ステップＳ３０３では、画像解析部２５は、整粒率が４５％以上であるか否かを判定する。判定の結果、判定が肯定されたら（ステップＳ３０３においてＹＥＳ）ステップＳ３０６に進み、判定が否定されたらステップＳ３１９に進む。

【0057】

ステップＳ３０４～Ｓ３０６では、画像解析部２５は、米粒集合に含まれる粒数のうちステップＳ２０２において死米と判定した個別米粒の粒数の割合、つまり死米率を算出する。そして、画像解析部２５は、死米率が７％以内であるか否かを判定する（ステップＳ３０７）。判定の結果、判定が肯定されたら（ステップＳ３０７においてＹＥＳ）ステップＳ３１０に進み、判定が否定されたらステップＳ３０８に進む。

【0058】

ステップＳ３０８では、画像解析部２５は、死米率が１０％以内であるか否かを判定する。判定の結果、判定が肯定されたら（ステップＳ３０８においてＹＥＳ）ステップＳ３１１に進み、判定が否定されたらステップＳ３０９に進む。

【0059】

ステップＳ３０９では、画像解析部２５は、死米率が２０％以内であるか否かを判定する。判定の結果、判定が肯定されたら（ステップＳ３０９においてＹＥＳ）ステップＳ３１２に進み、判定が否定されたらステップＳ３１９に進む。

【0060】

ステップＳ３１０～Ｓ３１２では、画像解析部２５は、米粒集合に含まれる粒数のうちステップＳ２０２において着色粒と判定した個別米粒の粒数の割合、つまり着色粒率を算出する。そして、画像解析部２５は、着色粒率が０．１％以内であるか否かを判定する（ステップＳ３１３）。判定の結果、判定が肯定されたら（ステップＳ３１３においてＹＥＳ）ステップＳ３１６に進み、判定が否定されたらステップＳ３１４に進む。

【0061】

ステップＳ３１４では、画像解析部２５は、着色粒率が０．３％以内であるか否かを判定する。判定の結果、判定が肯定されたら（ステップＳ３１４においてＹＥＳ）ステップＳ３１７に進み、判定が否定されたらステップＳ３１５に進む。

【0062】

ステップＳ３１５では、画像解析部２５は、着色粒率が０．７％以内であるか否かを判定する。判定の結果、判定が肯定されたら（ステップＳ３１５においてＹＥＳ）ステップＳ３１８に進み、判定が否定されたらステップＳ３１９に進む。

【0063】

ステップＳ３１６では、画像解析部２５は、米粒集合の集合品質は１等であると判定する。ステップＳ３１７では、画像解析部２５は、米粒集合の集合品質は２等であると判定する。ステップＳ３１８では、画像解析部２５は、米粒集合の集合品質は３等であると判定する。ステップＳ３１９では、画像解析部２５は、米粒集合の集合品質は規格外であると判定する。

【0064】

なお、等級判定動作において判定する内容は図１１に示すものに限らず、例えば、異種穀粒と異物の割合などについても判定しても良い。

【0065】

図１０に戻って、等級判定の後、画像解析部２５は、等級判定の確からしさに基づいて、等級判定を表示するときの幅を算出する（ステップＳ２０４）。ＡＩによる解析を行うと、学習モデルは個別米粒の個別品質の判定結果とともにその確からしさ（推論結果の確度）を出力する。画像解析部２５は、個別米粒の個別品質の判定（推論）結果の確度を集計して、確度の分散を考慮して等級判定の確からしさとして等級判定の幅を算出する。この幅は、確度が高ければ狭くなり、確度が低くなれば広くなる。

【0066】

図１０の右側に、管理装置２０が米粒集合の集合品質の判定結果として携帯端末１０に送信する画面データを示す。この画面データには、等級判定結果（１等は１ｓｔ、２等は２ｎｄ、３等は３ｒｄ）と等級判定の幅とが表示されている。また、図９に示す個別米粒の個別品質の判定結果を表示した画像データも含まれる。図１０に示すように、確からしさが高ければ等級判定の幅が狭く表示され、確からしさが低ければ等級判定の幅が広く表示される。

【0067】

そして、結果保存部２６は、画像解析部２５による米粒集合の集合品質の等級判定結果と目盛り幅とを解析結果テーブル２２６に格納する（ステップＳ２０５）。

【0068】

図４に戻って、情報送信部２７は、画像解析部２５による米粒集合の集合品質の等級判定結果として、図１０の右側に示すような画面データを携帯端末１０に送信する（ステップＳ１０７）。携帯端末１０の情報受信部１５は、管理装置２０から送信された画面データを受信し（ステップＳ１０８）、表示部１１によりこの画面データを表示させる（ステップＳ１０９）。

【0069】

この後、携帯端末１０の操作者は、携帯端末１０により撮像した米粒集合を含む米を検査所に持ち込み、実際の等級判定を受ける。そして、携帯端末１０の操作者は、入力部１３を介して実際に判定された等級及びコメントを入力し（ステップＳ１１０、図５参照）、携帯端末１０の情報送信部１４は、入力された実際の等級やコメントに関するデータを管理装置２０に送信する（ステップＳ１１１）。

【0070】

管理装置２０の情報受信部２４は、携帯端末１０から送信されたデータを受信し（ステップＳ１１２）、再学習部２８は、携帯端末１０から送信されたデータのうち、実際の等級に関するデータに基づいて学習モデル（学習モデルプログラム２２２）の再学習を行う（ステップＳ１１３）。そして、再学習部２８は、再学習を行った学習モデルで学習モデルの更新を行う（ステップＳ１１４）。

【0071】

＜システムの効果＞
このように構成される本実施例によれば、農家が簡易にかつ安価に米粒に対する事前検査を行うことが可能となる。

【0072】

すなわち、本実施例の穀粒検査システムＳによれば、農家が検査所に赴くことなく事前に米粒集合の集合品質を把握することができる。これにより、農家がより良い等級判定が得られるように自身の精米工程を再検討することができる。あるいは、本実施例の穀粒検査システムＳにより良好な等級判定が得られれば、その判定結果に基づいて検査所における実際の等級判定を受けることができる。いずれにしても、農家はより良好な等級判定を得るために何度も検査所に赴く手間を省くことができる。

【0073】

しかも、農家である携帯端末１０の操作者は、ガイド画像に基づいてシャーレに入れられた米粒集合を撮像して管理装置２０に送信するだけで等級判定を得ることができ、農家自身が高価な穀粒判別機を購入することなく等級判定を得ることができ、簡易にかつ安価に米粒に対する事前検査を行うことができる。

【0074】

しかも、等級判定結果は、それ以外に入力した各種データ（稲刈日、もみすり日など）と紐付けられているので、判定された等級と米の生産方法との関係性を容易に把握することができる。

【0075】

特に、本実施例の穀粒検査システムＳでは、個別米粒の個別品質の判定結果を画像データとして得ることができ、判定結果を農家が自分で目視確認できる。これにより、穀粒検査システムＳの判定結果の妥当性を農家自身が確認できるとともに、農家の目視による判定との関係も農家自身が確認することができ、農家の判定スキルを高めることにもなる。

【0076】

さらに、本実施例の穀粒検査システムＳでは、検査所による実際の等級判定結果をフィードバックし、再学習部２８によって学習モデルの更新を行っているので、穀粒検査システムＳによる等級判定の精度をより高めることができる。

【0077】

さらに、本実施例の穀粒検査システムＳでは、等級判定結果に加えてその確からしさを示す幅を表示しているので、携帯端末１０の操作者である農家は、等級判定結果の確からしさを直感的に把握することができる。

【変形例】

【0078】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0079】

一例として、上述した実施形態では、図６及び図７に示すように、シャーレ３００として円板状のものを使用した例を示した。しかしながら、等級判定が可能な粒数の米粒が収納可能なものであればシャーレの形状に特段の限定はなく、平面視正方形状のものであってもよい。この場合、シャーレの形状に合わせて周縁ガイド３０３の形状も変更することが好ましい。

【0080】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0081】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0082】

Ｓ…穀粒検査システム １０…携帯端末 １１…表示部 １２…撮像部 １３…入力部 １４…情報送信部 １５…情報受信部 ２０…管理装置 ２４…情報受信部 ２５…画像解析部 ２６…結果保存部 ２７…情報送信部 ２８…再学習部 ４０…ネットワーク ２２２…学習モデルプログラム ２２６…解析結果テーブル ２２７…教師データ ３００…シャーレ ３０２…中心ガイド ３０３…周縁ガイド

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】