特許 7440044 コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法

(51)【国際特許分類】

   G01N 21/85 20060101AFI20240220BHJP

   G01N 21/88 20060101ALI20240220BHJP

   G06V 10/82 20220101ALI20240220BHJP

   G01N 33/02 20060101ALI20240220BHJP

   B07C 5/342 20060101ALI20240220BHJP

   A23F 5/00 20060101ALN20240220BHJP

【ＦＩ】

G01N21/85 A

G01N21/88 J

G06V10/82

G01N33/02

B07C5/342

A23F5/00

【請求項の数】 10

(21)【出願番号】P 2022018053

(22)【出願日】2022-02-08

(65)【公開番号】P2023115692

(43)【公開日】2023-08-21

【審査請求日】2023-03-24

【早期審査対象出願】

(73)【特許権者】

【識別番号】390006600

【氏名又は名称】ユーシーシー上島珈琲株式会社

(73)【特許権者】

【識別番号】000125347

【氏名又は名称】学校法人近畿大学

(74)【代理人】

【識別番号】110000729

【氏名又は名称】弁理士法人ユニアス国際特許事務所

(72)【発明者】

【氏名】竹田 史章

(72)【発明者】

【氏名】菅野 朋弘

(72)【発明者】

【氏名】藤原 朋宏

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】国際公開第２０１９／１５１３９３（ＷＯ，Ａ１）

【文献】特開２０２０－０３４４８９（ＪＰ，Ａ）

【文献】特開２０１８－１３６１５３（ＪＰ，Ａ）

【文献】特開２０１９－１４８４３１（ＪＰ，Ａ）

【文献】特開２０２２－０１９５６９（ＪＰ，Ａ）

【文献】国際公開第２０１３／１４５８７３（ＷＯ，Ａ１）

【文献】中国特許出願公開第１１２８１９０１７（ＣＮ，Ａ）

【文献】SAAD, et al.，Recognizing the ripeness of bananas using artificial neural network based on histogram approach，2009 IEEE International Conference on Signal and Image Processing Applications，11361071，2009年，pp.536-541，DOI: 10.1109/ICSIPA.2009.5478715

【文献】KILIC, et al.，A classification system for beans using computer vision system and artificial neural networks，Journal of Food Engineering，2007年，Volume 78, Issue 3，pp.897-904，https://doi.org/10.1016/j.jfoodeng.2005.11.030

【文献】PINTO, et al.，Classification of Green coffee bean images basec on defect types using convolutional neural network (CNN)，2017 International Conference on Advanced Informatics, Concepts, Theory, and Applications (ICAICTA)，2017年，DOI: 10.1109/ICAICTA.2017.8090980

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ １／００ － Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００ － Ｇ０６Ｔ ９／４０

Ｇ０６Ｆ １８／００ － Ｇ０６Ｆ １８／４０

Ｇ０６Ｖ １０／８２

Ｇ０１Ｎ ３３／０２

Ｂ０７Ｃ ５／３４２

Ａ２３Ｆ ５／００

(57)【特許請求の範囲】

【請求項1】

良品と不良品とのそれぞれの画像データから得られるＲＧＢそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルを記憶する記憶装置と、
不良品を含む検査対象物を撮像した画像データから得られるＲＧＢそれぞれの濃度ヒストグラムが入力されると、前記学習モデルを用いて前記良品と不良品とを識別した識別結果を出力する推定実行部と、を備え、
前記不良品は、欠点を含むコーヒー豆類および異物を含み、
前記ＲＧＢそれぞれの濃度ヒストグラムは、Ｒ濃度ヒストグラムの全度数、Ｇ濃度ヒストグラムの全度数、Ｂ濃度ヒストグラムの全度数に分けて一度に前記学習モデルに入力され、
前記全度数は、全階調に対応する、
コーヒー豆類の良品推定システム。

【請求項2】

前記学習モデルは、不良品の種類数に応じた学習モデルを含む、請求項１に記載のコーヒー豆類の良品推定システム。

【請求項3】

撮像手段で撮像された画像データあるいは前処理した画像データからＲＧＢそれぞれの濃度ヒストグラムを求める濃度ヒストグラム算出部と、
濃度ヒストグラムの階調に所定範囲の閾値を設定し、背景を切り抜く背景除去部と、
を備える、
請求項１または２に記載のコーヒー豆類の良品推定システム。

【請求項4】

前記推定実行部で出力される前記識別結果から良品か否かを判定する良品判定部を備える、
請求項１から３のいずれか１項に記載のコーヒー豆類の良品推定システム。

【請求項5】

コーヒー豆類の良品識別機能を備える良品検査システムであって、
請求項１から４のいずれか１項に記載のコーヒー豆類の良品推定システムと、
搬送装置と
ドーム型照明装置と、
前記ドーム型照明装置のドーム型頂点に設けられる、検査対象物を撮像する撮像手段と、備える、
良品検査システム。

【請求項6】

コーヒー豆類の良品識別機能を備える良品検査方法であって、
良品と不良品とのそれぞれの画像データから得られるＲＧＢそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルに、不良品を含む検査対象物を撮像した画像データから得られるＲＧＢそれぞれの濃度ヒストグラムを入力し、前記良品と不良品とを識別した識別結果を出力するステップと、を含み、
前記不良品は、欠点を含むコーヒー豆類および異物を含み、
前記ＲＧＢそれぞれの濃度ヒストグラムは、Ｒ濃度ヒストグラムの全度数、Ｇ濃度ヒストグラムの全度数、Ｂ濃度ヒストグラムの全度数に分けて一度に前記学習モデルに入力され、
前記全度数は、全階調に対応する、
良品検査方法。

【請求項7】

検査対象物を搬送装置で搬送しながら撮像手段で撮像する撮像ステップと、
前記撮像ステップで得られた画像データを判定単位に分割して切り出す前処理ステップと、
前記前処理ステップで前処理された画像データからＲＧＢそれぞれの濃度ヒストグラムを求める濃度ヒストグラム算出ステップと、
前記濃度ヒストグラム算出ステップで得られた、ＲＧＢそれぞれの濃度ヒストグラムの度数に所定範囲の閾値を設定し、背景を切り抜く背景除去ステップと、
前記背景除去ステップで処理された、ＲＧＢそれぞれの濃度ヒストグラムの度数で構成される入力データを作成する入力データ作成ステップと、
前記入力データ作成ステップで作成された濃度ヒストグラムの度数を前記学習モデルに入力して前記識別結果を出力する推定実行ステップと、
前記推定実行ステップで出力される前記識別結果から良品か否かを判定する良品判定ステップと、を含む、
請求項６に記載の良品検査方法。

【請求項8】

コーヒー豆類の良品検査プログラムであって、
少なくとも１つのプロセッサーにより、請求項６または７に記載の良品検査方法を実現するプログラム。

【請求項9】

コンピュータ命令が記憶されているコンピュータ読み取り可能な記録媒体であって、
コーヒー豆類における良品と不良品とのそれぞれの画像データから得られるＲＧＢそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルであって、コーヒー豆類における不良品を含む検査対象物を撮像した画像データから得られるＲＧＢそれぞれの濃度ヒストグラムを入力し、コーヒー豆類における良品と不良品とを識別した識別結果を出力する学習モデルを記憶する構成であり、
前記不良品は、欠点を含むコーヒー豆類および異物を含み、
前記ＲＧＢそれぞれの濃度ヒストグラムは、Ｒ濃度ヒストグラムの全度数、Ｇ濃度ヒストグラムの全度数、Ｂ濃度ヒストグラムの全度数に分けて一度に前記学習モデルに入力され、前記全度数は、全階調に対応する、
コンピュータ読み取り可能な記録媒体。

【請求項10】

少なくとも１つのプロセッサーと、
前記プロセッサーで実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサーは、実行可能な命令を実行することにより請求項６または７に記載の良品検査方法を実現する、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法に関する。例えば、コーヒーの生豆（焙煎前の状態の豆）などの良品検査に関する。

【背景技術】

【0002】

麻袋などに収納されているコーヒー豆原料には、多種の異物が混入している。これら異物は概ね１０種程度ある。コーヒー豆原料から、それら異物を検出する方法として、カメラで撮像した検査対象物（コーヒー豆と異物）の画像を解析し異物を検出する方法がある。また、コーヒー豆の品質検査として、近赤外光をコーヒー豆に照射しラインセンサで検出することで良品豆と不良品豆を区別する方法がある（特許文献１参照）。

【0003】

また、検査対象物を撮像した画像を学習させたニューラルネットワークを用いた検査方法が多く提案され実用化されている。特許文献２は、食肉、例えば鶏肉の血合いや異物を検出するためにニューラルネットワークを利用している。特許文献３は、複数種類のいりこなどが混在した検査対象物から選別したい物とそれ以外を識別するためにニューラルネットワークを利用している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１４８６０７号公報

【文献】国際公開第２０１９／１５１３９３号

【文献】特許第４８１２０８３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

コーヒー豆類と異物との識別を、高速かつ高精度に行いたいとの要望がある。しかしながら、異物の種類は多く、常に一定した異物が混入しているとも限らない。そのため、上述したカメラ撮像画像を解析する方法や、近赤外光を使用した検出方法（例えば、特許文献２）では、異物と検出するための設置値の変更（メンテナンス）を定期的に行う必要があった。また、高精度検出を追求すると検出速度が遅くなるという問題もある。

【0006】

一方、学習によるニューラルネットワークを利用した方法では、一定の学習である程度の汎化性が期待できる。また、再学習をさせる作業も比較的簡単であることから、上述のようなメンテナンスの手間も少ない。

【0007】

本発明の第一の目的は、良品のコーヒー豆類と不良品（異物および不良のコーヒー豆類）を高速かつ高精度に識別できる良品識別機能を備える良品検査システムおよび良品検査方法を提供することである。
また、第二の目的は、上記第一の目的と共に、不良品の種類を特定できる良品識別機能を備える良品検査システムおよび良品検査方法を提供することである。

【課題を解決するための手段】

【0008】

コーヒー豆類の良品推定システム（良品識別機能）は、
良品と不良品とのそれぞれの画像データから得られるＲＧＢそれぞれの濃度ヒストグラムを教師データ（「訓練データ」ともいう。）として用いてニューラルネットワークによって生成される学習モデル（「識別器」ともいう。）を記憶する記憶装置と、
不良品を含む検査対象物を撮像した画像データから得られるＲＧＢそれぞれの濃度ヒストグラムが入力されると、前記学習モデルを用いて前記良品と不良品とを識別した識別結果を出力する推定実行部と、を備える。
上記構成によれば、画像データを学習モデルに入力するだけで簡単に検査できる。また、画像データをヒストグラム化することにより、異物の大きさ、形、搬送状態で位置や傾きに依存せずに検査が可能となる。
コーヒー豆類原料の検査は、一般的に、粗選別（一次選別）、色彩選別、重量選別、金属検査などの複数選別工程からなるが、上記検査システムによれば、一次選別以降の選別をすべて１度の検査で行え、検査時間短縮、設備コスト低減、設置スペース縮小などが可能となる。

【0009】

「コーヒー豆類」は、コーヒー豆の産地（銘柄）および種類を問わず、すべてのコーヒー豆を含む。焙煎前の生豆、焙煎後の豆も含む。
前記良品は、正常な色、正常なサイズおよび正常な形状であることが挙げられる。
前記不良品は、欠点を含むコーヒー豆類、異物などである。欠点は、例えば、正常でない色、正常でないサイズ、正常でない形状である。コーヒー豆類の欠点としては、例えば、黒豆、発酵豆、欠け豆、貝殻豆、一部カビのある豆、正常な生豆の色と異なる色や小さいサイズの豆などが挙げられる。異物は、例えば、良品と異なる種類のコーヒー豆類、木の実、種子、種皮、皮、木片、樹脂片、金属片、紐、骨などが挙げられる。
良品は良品として学習させ、不良品は不良品として学習させてもよく、いずれか一方を学習させてもよい。

【0010】

前記学習モデルは、前記良品と前記不良品の２種を識別するように学習されており、前記良品と前記不良品の２種を識別して出力する構成であってもよい。これにより、良品と多種の異物群との２つのカテゴリ分類を行える。
前記学習モデルは、不良品の種類数（Ｎ種類）に応じた学習モデル（第１学習モデルから第Ｎ学習モデル）を含んでいてもよい。第一学習モデルは、前記良品と前記不良品の１種（例えば木片）とを識別するように学習されており、前記良品と前記不良品の１種（例えば木片）を識別して出力する構成であってもよい。第二学習モデルは、前記良品と前記不良品の１種（例えば木片）とは異なる１種（例えば樹脂片）とを識別するように学習されており、前記良品と前記不良品の１種（例えば木片）とは異なる１種（例えば樹脂片）を識別して出力する構成であってもよい。これにより、特定の異物と良品との２つのカテゴリ分類を複数行え、異物の種類も特定できる。

【0011】

前記良品推定システム（良品識別機能）は、
前記撮像手段で撮像された画像データを前処理する前処理部を有していてもよい。
前記前処理部は、前記画像データを、好ましくは検査対象物が１～４つ含まれるサイズ、より好ましくは検査対象物が１～３つ含まれるサイズ、さらに好ましくは検査対象物が１～２つ含まれるサイズの識別判定単位に分割して切り出す処理をしてもよい。切り出す画像データの形状は、矩形、円状、楕円状であってもよい。
これにより、例えば、コーヒー豆類１つあるいは４つ程度の領域単位で異物を検査し、コーヒー豆類の大きさと同程度以上の異物の検知能力を高め、さらに、選別振分け能力を高めることができる。
前記前処理部は、識別判定単位に分割された画像データから背景を切り抜く背景除去処理を行ってもよい。

【0012】

前記良品推定システム（良品識別機能）は、
前記撮像手段で撮像された画像データあるいは前記前処理した画像データからＲＧＢそれぞれの濃度ヒストグラムを求める濃度ヒストグラム算出部をさらに有していてもよい。
前記良品推定システム（良品識別機能）は、
ＲＧＢそれぞれの濃度ヒストグラムの度数（階調）に所定範囲の閾値を設定し、背景を切り抜く背景除去部を有していてもよい。
前記良品推定システム（良品識別機能）は、
背景除去部で処理された、ＲＧＢそれぞれの濃度ヒストグラムの度数（階調）で構成される教師データを作成する教師データ作成部を有していてもよい。教師データ作成部は、ニューラルネットワークの入力層に入力できるように、Ｒ濃度ヒストグラムの度数、Ｇ濃度ヒストグラムの度数、Ｂ濃度ヒストグラムの度数の順に並び替えてもよい。
前記良品推定システム（良品識別機能）は、
背景除去部で処理された、ＲＧＢそれぞれの濃度ヒストグラムの度数（階調）で構成される入力データを作成する入力データ作成部を有していてもよい。入力データ作成部は、ニューラルネットワークの入力層に入力できるように、Ｒ濃度ヒストグラムの度数、Ｇ濃度ヒストグラムの度数、Ｂ濃度ヒストグラムの度数の順に並び替えてもよい。

【0013】

前記良品推定システム（良品識別機能）は、
教師データをニューラルネットワーク（学習モデル）に入力し学習を実行する学習実行部を有していてもよい。
前記学習実行部は、別の教師データを用いて再学習も実行する構成であってもよい。

【0014】

前記良品推定システム（良品識別機能）は、
前記推定実行部で出力される前記識別結果から良品か否（不良品）かを判定する良品判定部をさらに有していてもよい。
「識別結果」は、例えば、良品であると推定される確率（良品確信度）、不良品であると推定される確率（不良品確信度）を含んでいてもよい。
前記良品推定システム（良品識別機能）は、
前記学習モデルから得られる識別結果から正解率（「正答率」ともいう。）、適合率、および／または再現率の精度結果を演算する精度評価部をさらに有していてもよい。精度評価部は、学習実行部による学習処理において実行されてもよく、推定実行部による良品推定処理において実行されてもよい。
前記良品推定システム（良品識別機能）は、
前記推定実行部で出力された前記識別結果、前記良品判定部で判定された判定結果（良品、不良品）および／または前記精度評価部で演算された精度結果を出力する結果情報出力部をさらに有していてもよい。
前記推定実行部による出力および前記結果情報出力部による出力は、例えば、表示装置に表示する、別装置へ送信する、印刷する、音声を発する、記憶装置へ記憶するなどの各種手段で構成されていてもよい。

【0015】

コーヒー豆類の良品識別機能を備える良品検査システムは、
上記良品推定システムと、
搬送装置と
ドーム型照明装置と、
前記ドーム型照明装置のドーム型頂点に設けられる、検査対象物を撮像する撮像手段と、を備えていてもよい。
前記撮像手段で撮像された画像データは、前記学習モデルの入力データおよび／または前記教師データに用いてもよい。
ドーム型照明装置を採用することで、影や乱反射を低減した画像を取得できる。

【0016】

前記搬送装置は、
駆動プーリおよび受動プーリ（「駆動ローラおよび受動ローラ」でもよい。）に掛け渡される無端ベルトと、
駆動プーリを回転駆動させるモータと、
無端ベルトに振動を与える振動発生器と、を有していてもよい。
振動発生器による振動で、無端ベルト上の検査対象物同士の重なりを無くし均一に散らばらせることができる。

【0017】

コーヒー豆類の良品検査方法は、
良品と不良品とのそれぞれの画像データから得られるＲＧＢそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルに、不良品を含む検査対象物を撮像した画像データから得られるＲＧＢそれぞれの濃度ヒストグラムを入力し、前記良品と不良品とを識別した識別結果を出力するステップと、を含む。
前記良品検査方法は、
検査対象物を搬送装置で搬送しながら、（ドーム型照明装置のドーム型頂点に設けられる）撮像手段で撮像する撮像ステップと、
前記撮像ステップで得られた画像データを識別判定単位に分割して切り出す前処理ステップと、
前記前処理ステップで前処理された画像データからＲＧＢそれぞれの濃度ヒストグラムを求める濃度ヒストグラム算出ステップと、
前記濃度ヒストグラム算出ステップで得られた、ＲＧＢそれぞれの濃度ヒストグラムの度数(階調)）に所定範囲の閾値を設定し、背景を切り抜く背景除去ステップと、
前記背景除去ステップで処理された、ＲＧＢそれぞれの濃度ヒストグラムの度数（階調）で構成される入力データを作成する入力データ作成ステップと、
前記入力データ作成ステップで作成された濃度ヒストグラムの度数を前記学習モデルに入力して前記識別結果を出力する推定実行ステップと、
前記推定実行ステップで出力される前記識別結果から良品か否（不良品）かを判定する良品判定ステップと、
を含んでいてもよい。
前記良品検査方法は、
前記学習モデルから得られる識別結果から正解率、適合率、および／または再現率を演算する精度評価ステップを含んでいてもよい。
前記良品検査方法は、
前記推定実行ステップで出力された前記識別結果、前記良品判定ステップで判定された判定結果（良品、不良品）および／または前記精度評価ステップで演算された精度結果を出力する結果情報出力ステップを含んでいてもよい。

【0018】

情報処理装置は、
少なくとも１つのプロセッサーと、
前記プロセッサーで実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサーは、実行可能な命令を実行することにより前記コーヒー豆類の良品検査方法の各ステップを実現する、情報処理装置である。

【0019】

コーヒー豆類の良品検査プログラムは、
少なくとも１つのプロセッサーにより、前記コーヒー豆類の良品検査方法の各ステップを実現するプログラムである。

【0020】

コンピュータ命令が記憶されているコンピュータ読み取り可能な記録媒体は、
良品と不良品とのそれぞれの画像データから得られるＲＧＢそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルを記憶する、コンピュータ読み取り可能な記録媒体である。

【0021】

前記ニューラルネットワークは、例えば、単層型あるいは多層階層型ニューラルネットワークなどが挙げられる。前記学習モデルは、ソフトウエアプログラムである。

【0022】

前記良品推定システムの各構成部は、メモリ、プロセッサー、ソフトウエアプログラムを有する情報処理装置（例えば、コンピュータ、サーバ）や、専用回路、ファームウエアなどで構成してもよい。情報処理装置は、オンプレミスまたはクラウドのいずか一方、あるいは両方の組み合わせであってもよい。

【図面の簡単な説明】

【0023】

【図1】実施形態１のコーヒー豆の良品検査システムの一例を示す図である。

【図2】異物の一例を示す図である。

【図3】濃度ヒストグラムの一例を示す図である。

【図4】推定処理の動作フローの一例を示す図である。

【図5】表示画面の一例を示す図である。

【図6A】実施例の４パターン背景除去処理の正答率の結果を示す図である。

【図6B】実施例の精度結果を示す図である。

【発明を実施するための形態】

【0024】

（実施形態１）
実施形態１では、コーヒーの生豆の例を示すが、例えば、焙煎後のコーヒー豆へも適用できる。
図１は、実施形態１のコーヒー豆の良品検査システム１の一例を示す。本実施形態１のコーヒー豆の良品検査システム１は、良品推定システム１０、搬送装置２、ドーム型照明装置２７、撮像手段２８を備える。

【0025】

搬送装置２は、駆動プーリ２３と受動プーリ２２に掛け渡される無端ベルト２１と、駆動プーリ２３を回転駆動させるモータ（不図示）と、無端ベルト２１に振動を与える振動発生器２６と、投入ホッパ２４と、排出容器２５を備える。無端ベルト２１の上方にドーム型照明装置２７が設置され、撮像手段２８がドーム型照明装置２７のドーム型頂点に設けられる。
ドーム型照明装置２７は、内部に、蛍光灯、ＬＥＤ光、ハロゲン光から選択されるバー状、面上あるいはリング状光源と、ドーム型内壁面に反射材を有して構成されていてもよい。照明色は、ＲＧＢの階調値のそれぞれを変更できる。撮像手段２８として、例えば、カラーカメラが挙げられる。
振動発生部２６は、複数の突起が凹凸を形成するように設けられた回転ロールおよびその回転駆動モータで構成される。投入ホッパ２４とドーム型照明装置２７との間に、無端ベルト２１の裏側（コーヒー豆搬送面の裏側）に配置され、無端ベルト２１の裏面に、凹凸の突起が回転しながら接触させることで、無端ベルト２１に振動を与えることができる。

【0026】

（撮影動作フロー）
投入ホッパ２４から検査対象物（不良品と良品を含むコーヒー生豆）を投入し、無端ベルト２１を回転駆動する。振動発生器２６で振動が与えられた状態で無端ベルト２１が回転し、検査対象物を均一に分散した状態で、排出容器２５まで搬送する。搬送途中にドーム型照明装置２７が配置されており、その天頂から垂直下方に向かって撮像手段２８が搬送されている状態の検査対象物を撮影する。撮像手段２８で撮像された画像データは、動画あるいは静止画として後述する良品推定システム１０へ送られる。画像データは良品推定システム１０の通信手段１４で受信され、記憶装置１１あるいは不図示のメモリに保存される。

【0027】

良品推定システム１０は、記憶装置１１、表示装置１３、通信手段１４、前処理部１５１、濃度ヒストグラム算出部１５２、背景除去部１５２１、入力データ作成部１５２２、学習実行部１５３、推定実行部１５４、良品判定部１５５、精度評価部１５６、結果情報出力部１５７を備える。

【0028】

記憶装置１１は、学習済みの学習モデル１２を記憶している。学習モデルは、良品のコーヒー豆と不良品とのそれぞれの画像データから得られるＲＧＢそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成されている。記憶装置１１は、例えば、揮発性或いは不揮発性のメモリで構成されていてもよい。記憶装置１１は、１種の学習モデルでもよく、２種以上の学習モデルを記憶していてもよい。

【0029】

前処理部１５１は、撮像手段２８で撮像された画像データを前処理する。画像データは、撮像手段２８から送られて通信手段１４で受信し、記憶装置１１で記憶されている。
前処理部１５１は、画像データ（例えば２４ｃｍ×２４ｃｍ）を、コーヒー豆１粒から２粒が含まれるサイズ（例えば、１．２ｃｍ×１ｃｍ）の識別判定単位に分割して切り出す処理を実行する。通信手段１４は、無線手段、有線手段のいずれであってもよい。

【0030】

濃度ヒストグラム算出部１５２は、撮像手段２８で撮像された画像データあるいは前処理した画像データからＲＧＢそれぞれの濃度ヒストグラムを求める。濃度ヒストグラム算出部１５２は、例えば、ＲＧＢそれぞれ、１２８階調、２５６階調あるいは１０２４階調でのヒストグラムを求めてもよい。
背景除去部１５２１は、ＲＧＢそれぞれの濃度ヒストグラムの階調（度数）に所定範囲の閾値を設定し、背景を切り抜く処理を実行する。
入力データ作成部１５２２は、ニューラルネットワークの入力層に入力できるように、Ｒ濃度ヒストグラムの度数、Ｇ濃度ヒストグラムの度数、Ｂ濃度ヒストグラムの度数の順に並び替えを行う。本実施形態において、入力データ作成部１５２２は、教師データ作成部の機能を兼用している。

【0031】

学習実行部１５３は、教師データをニューラルネットワーク（学習モデル）に入力し学習を実行する。

【0032】

推定実行部１５４は、入力データ作成部１５２２で得られた入力データ（ＲＧＢそれぞれの濃度ヒストグラム）が入力されると、学習モデル１２を用いてコーヒー豆の良品と不良品とを識別した識別結果（例えば、良品確信度、不良品確信度）を出力する。
良品判定部１５５は、推定実行部１５４で出力された識別結果（例えば、良品確信度、不良品確信度）から良品か否（不良品）かを判定する。

【0033】

精度評価部１５６は、学習モデルから得られた識別結果から正解率、適合率、および／または再現率の精度結果を演算する。

【0034】

結果情報出力部１５７は、識別結果（例えば、良品確信度、不良品確信度）、判定結果（良品ＯＫ、不良品ＮＧ）、精度結果を出力する。本実施形態では、結果情報出力部１５７による出力は、例えば、表示装置１３に表示する。表示装置１３は、特に制限されず、液晶モニター、有機ＥＬモニター、ＣＲＴモニター、スマートフォン、タブレット、汎用パソコンのモニターなどが例示される。

【0035】

（教師データおよび学習モデルの生成）
まず、教師データおよび学習モデルの生成について説明する。
図２に不良品の一例を示す。不良品として、コーン（約０．５ｃｍ四方）、黒豆（約０．５ｃｍ四方）、骨片大（約０．５×１．５ｃｍ）、透明樹脂（約０．５×１．５ｃｍ）、細木片（約０．２×３ｃｍ）、石（大）（約１．５ｃｍ四方）、木（大）（約０．５×１．５ｃｍ）、赤色石（約０．５ｃｍ四方）、麻紐（太さ約０．２ｃｍ）、一部カビ（約０．５ｃｍ四方）、木の実１（約０．５ｃｍ四方）、樹脂片大（約０．５×１．５ｃｍ）、透明樹脂２（約０．５ｃｍ四方）、樹脂片大２（約０．５×１．５ｃｍ）を挙げているが、これ以外の不良品もある。これらのすべてを不良品として、撮像手段２８で撮像し画像データを生成する。また、良品の生豆も撮像手段２８で撮像し画像データを生成する。良品と不良品の画像データは良品推定システム１０へ送られ、記憶装置１１に記憶される。良品推定システム１０が動画から静止画を生成してもよく、撮像手段２８が静止画を生成してもよい。
前処理部１５１、濃度ヒストグラム算出部１５２、背景除去部１５２１を実行し、良品と不良品の教師データセット（訓練データセット）を作成する。図３に濃度ヒストグラムの一例を示す。図３の横軸は濃度数、縦軸は画素数であり、Ｒ、Ｇ、Ｂのそれぞれが示される。教師データは、Ｒ、Ｇ、Ｂのそれぞれの各度数（２５６×３）の画素数である。背景除去部１５２１により、複数パターンの背景除去処理が施された、複数の背景除去パターンの教師データを生成してもよい。
学習実行部１５３を実行し、複数の背景除去パターンの教師データセットをニューラルネットワークに入力し、複数の背景除去パターンの学習モデルを生成する。精度評価部１５６により、生成されたそれぞれの学習パターンの精度評価を行い、最良結果であった学習モデル１２を記憶装置１１へ記憶する。
学習モデルの背景除去処理に対応して、実推定時にも背景除去処理を実行して学習モデルに入力する構成であってもよく、背景除去処理をしなくてもよい。

【0036】

良品と不良品の２カテゴリ分類を識別する学習モデルに限らず、異物の種類数（Ｎ種類）に応じた学習モデル（第１学習モデルから第Ｎ学習モデル）を生成してもよい。例えば、第一学習モデルは、良品と不良品の１種（例えば木片）とを識別するように学習されている。第二学習モデルは、良品と不良品の１種（例えば木片）とは異なる１種（例えば木の実）とを識別するように学習されている。これにより、特定の異物と良品のコーヒー豆の２つのカテゴリ分類を複数行え、異物の種類も特定できる。

【0037】

（推定処理の動作フロー）
図４に推定処理（識別処理）の動作フローを示す。図４（ａ）は、撮像手段２８で撮像された画像データ（静止画）を示す。画像サイズは縦２４ｃｍ×横２４ｃｍである。図４（ｂ）の領域分割において、前処理部１５１は、画像データ（２４ｃｍ×２４ｃｍ）を縦１．２ｃｍ×横１ｃｍのサイズに分割し判定領域を作成する。図４（ｃ）のＲＧＢヒストグラム算出において、濃度ヒストグラム算出部１５２は、判定領域単位（１．２ｃｍ×１ｃｍ）で、ＲＧＢそれぞれの２５６階調の濃度ヒストグラムを作成する。次いで背景除去処理および入力データ作成処理が実行される。
図４（ｄ）の学習モデル実行において、推定実行部１５４は、作成された２５５階調（度数）のそれぞれの画素数を縦一列にしてそのまま、学習モデル１２の入力層（７６８ノード）に入力する。学習モデル１２は入力層（７６８ノード）、単層の中間層（２００ノード）、出力層（２ノード）で構成されている。出力層（２ノード）の識別結果として良品確信度と不良品確信度が出力される。
良品判定部１５５は、推定実行部１５４で出力された識別結果から良品か否（不良品）かを判定する。識別結果の数値の大小から良品か否かをそのまま判定してもよく、良品判定部１５５は、精度結果から識別不能の判定をしてもよい。良品確信度が、例えば８０％以上であれば良品、不良品確信度が、例えば８０％以上であれば不良品、両方の確信度が５０％以上から７０％未満であれば識別不能と判定してもよい。識別不能を不良品として判定してもよい。

【0038】

（表示画面の一例）
図５に表示装置１３の表示画面の一例を示す。撮像手段２８で撮像された画像データ（撮影動画）は、表示領域１３１に映される。検査ボタン１３２をクリックすると検査が実行される。分割された判定領域の静止画像が、表示領域１３３に表示される。現に検査中の判定領域が、表示領域１３４に表示される。推定実行部１５４による識別結果として、良品確信度と不良品確信度のバー表示、その数値が表示領域１３５に表示される。良品判定部１５５による判定結果（ＯＫ、ＮＧ）が識別結果に対応して表示領域１３６に表示される。
画面左下領域１３７の学習ボタンは、学習（再学習）を実行させるための指示ボタンである。評価ボタンは、精度評価部による演算を実行させるための指示ボタンである。

【0039】

（実施例１）
背景除去の最適化を行う。４パターンの階調範囲の教師データを作成し、４パターンの学習モデルを生成した。４パターンの学習モデルの正答率を比較し、最良の学習モデルを採用する。
（条件）
良品１２０枚、異物３０種各４枚で合計１２０枚を一つの不良品とした教師データを、図４のニューラルネットワークに入力し学習させた。
各画像データのＲＧＢ濃度ヒストグラムを算出した。背景除去処理の階調閾値範囲４パターンは以下とした。
（１）Ｒの階調１～１５０，Ｇの階調１～９０，Ｂの階調１～７０
（２）Ｒの階調１～１５０，Ｇの階調１～１１５，Ｂの階調１～９０
（３）Ｒの階調１～１８０，Ｇの階調１～１８０，Ｂの階調１～１８０
（４）Ｒの階調０～２５５，Ｇの階調０～２５５，Ｂの階調０～２５５
上記閾値範囲の画素数がそのまま入力され、その範囲以外は「零」値が入力される。
（結果）
４パターンの学習モデルのそれぞれにおいて、上記学習データを再度入力した再評価と、未学習データ（良品３４０枚、不良品１３８０枚）での汎化性評価を正答率で比較した。
図６Ａに４パターンの学習モデルの正答率の比較結果を示す。再評価および未学習データの両方の結果で最良の（２）パターンの学習モデルを採用する。

【0040】

（実施例２）
良品と不良品１種ごとの教師データを作成し、各学習モデルを生成する。
（条件）
良品２０枚、異物１種２０枚を不良品とした教師データを、図４のニューラルネットワークに入力し学習させた。２３種類の異物を変えて順次学習させ、２３種の学習モデルを生成した。
各画像データのＲＧＢ濃度ヒストグラムを算出し、実施例１で採用された（２）パターンの階調範囲による背景除去処理をした。
（結果）
各３０種の学習モデルのそれぞれにおいて、上記学習データを再度入力した再評価と、未学習データ（良品３０枚、不良品３０枚）での汎化性評価を正答率で比較した。
図６Ｂに、２３種の学習モデルの正答率の比較結果を示す。再評価では、概ね９０％以上であり、未学習データの結果では、概ね７０％を超える結果であった。

【0041】

（別実施形態）
（１）実施例では教師データ数が比較的少ないが、これに限定されず、全異物を網羅した教師データを増やすことで、汎化性を高めることが可能である。
（２）背景除去処理における階調範囲の閾値の設定は、例えば、検査対象物、無端ベルトの色、照明装置によって変更する。
（３）ニューラネットワークは、単層に限定されず、多階層型ニューラルネットワークであってもよい。
（４）ＲＧＢ濃度ヒストグラムの階調（度数）は、２５６階調に限定されない。
（５）生豆に限定されず、焙煎後のコーヒー豆でも同様の方法で学習を行わせ良品判定を行える。

【0042】

（検査方法）
コーヒー豆類の良品検査方法は、良品と不良品とのそれぞれの画像データから得られるＲＧＢそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルに、不良品を含む検査対象物を撮像した画像データから得られるＲＧＢそれぞれの濃度ヒストグラムを入力し、前記良品と不良品とを識別した識別結果を出力するステップと、を含む。
前記良品検査方法は、検査対象物を搬送装置で搬送しながら、ドーム型照明装置のドーム型頂点に設けられる撮像手段で撮像する撮像ステップと、前記撮像ステップで得られた画像データを判定単位に分割して切り出す前処理ステップと、前記前処理ステップで前処理された画像データからＲＧＢそれぞれの濃度ヒストグラムを求める濃度ヒストグラム算出ステップと、前記濃度ヒストグラム算出ステップで得られた、ＲＧＢそれぞれの濃度ヒストグラムの階調（度数）に所定範囲の閾値を設定し、背景を切り抜く背景除去ステップと、前記背景除去された濃度ヒストグラムを前記学習モデルに入力して前記識別結果を出力する推定実行ステップと、前記推定実行ステップで出力される前記識別結果から良品か否（不良品）かを判定する良品判定ステップと、を含んでいてもよい。
前記良品検査方法は、前記学習モデルから得られる識別結果から正解率、適合率、および／または再現率を演算する精度評価ステップを含んでいてもよい。
前記良品検査方法は、前記推定実行ステップで出力された前記識別結果、前記良品判定ステップで判定された判定結果（良品、不良品）および／または前記精度評価ステップで演算された精度結果を出力する結果情報出力ステップを含んでいてもよい。

【0043】

（プログラム）
コーヒー豆類の良品検査プログラムは、少なくとも１つのプロセッサーにより、前記コーヒー豆類の良品検査方法の各ステップを実現するプログラムである。
コンピュータ命令が記憶されているコンピュータ読み取り可能な記録媒体は、良品と不良品とのそれぞれの画像データから得られるＲＧＢそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルを記憶する、コンピュータ読み取り可能な記録媒体である。

【符号の説明】

【0044】

１ 良品検査システム
１０ 良品推定システム
１１ 記憶装置
１２ 学習モデル
１３ 表示装置
１４ 通信手段
１５１ 前処理部
１５２ 濃度ヒストグラム算出部
１５２１ 背景除去部
１５３ 学習実行部
１５４ 推定実行部
１５５ 良品判定部
１５６ 精度評価部
１５７ 結果情報出力部
２ 搬送装置
２７ ドーム型照明装置
２８ 撮像手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】