IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ユーシーシー上島珈琲株式会社の特許一覧 ▶ 学校法人近畿大学の特許一覧

特開2023-115692コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法
<>
  • 特開-コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法 図1
  • 特開-コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法 図2
  • 特開-コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法 図3
  • 特開-コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法 図4
  • 特開-コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法 図5
  • 特開-コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法 図6A
  • 特開-コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法 図6B
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023115692
(43)【公開日】2023-08-21
(54)【発明の名称】コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法
(51)【国際特許分類】
   G01N 21/85 20060101AFI20230814BHJP
   G01N 21/88 20060101ALI20230814BHJP
   G06V 10/82 20220101ALI20230814BHJP
   G01N 33/02 20060101ALI20230814BHJP
   B07C 5/342 20060101ALI20230814BHJP
   A23F 5/00 20060101ALN20230814BHJP
【FI】
G01N21/85 A
G01N21/88 J
G06V10/82
G01N33/02
B07C5/342
A23F5/00
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022018053
(22)【出願日】2022-02-08
(71)【出願人】
【識別番号】390006600
【氏名又は名称】ユーシーシー上島珈琲株式会社
(71)【出願人】
【識別番号】000125347
【氏名又は名称】学校法人近畿大学
(74)【代理人】
【識別番号】110000729
【氏名又は名称】弁理士法人ユニアス国際特許事務所
(72)【発明者】
【氏名】竹田 史章
(72)【発明者】
【氏名】菅野 朋弘
(72)【発明者】
【氏名】藤原 朋宏
【テーマコード(参考)】
2G051
3F079
4B027
5L096
【Fターム(参考)】
2G051AA04
2G051AB01
2G051AB02
2G051BA20
2G051BB11
2G051CA04
2G051DA06
2G051EA17
2G051EB05
2G051EC02
3F079AC14
3F079CA32
3F079CA41
3F079CB06
3F079CB25
3F079CB29
3F079CB33
3F079CB35
3F079DA12
4B027FB21
4B027FC10
4B027FQ01
4B027FQ03
4B027FQ20
4B027FR20
5L096EA35
5L096FA37
5L096FA52
5L096GA51
5L096HA11
(57)【要約】
【課題】良品のコーヒー豆類と不良品とを高速かつ高精度に識別できる良品識別機能を備える良品検査システムを提供する。
【解決手段】良品推定システム10は、良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデル12を記憶する記憶装置11と、不良品を含む検査対象物を撮像した画像データから得られるRGBそれぞれの濃度ヒストグラムが入力されると、前記学習モデル12を用いて前記良品と不良品とを識別した識別結果を出力する推定実行部154とを備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルを記憶する記憶装置と、
不良品を含む検査対象物を撮像した画像データから得られるRGBそれぞれの濃度ヒストグラムが入力されると、前記学習モデルを用いて前記良品と不良品とを識別した識別結果を出力する推定実行部と、を備える、
コーヒー豆類の良品推定システム。
【請求項2】
前記学習モデルは、不良品の種類数に応じた学習モデルを含む、請求項1に記載のコーヒー豆類の良品推定システム。
【請求項3】
前記撮像手段で撮像された画像データあるいは前処理した画像データからRGBそれぞれの濃度ヒストグラムを求める濃度ヒストグラム算出部と、
濃度ヒストグラムの階調に所定範囲の閾値を設定し、背景を切り抜く背景除去部と、
を備える、
請求項1または2に記載のコーヒー豆類の良品推定システム。
【請求項4】
前記推定実行部で出力される前記識別結果から良品か否かを判定する良品判定部を備える、
請求項1から3のいずれか1項に記載のコーヒー豆類の良品推定システム。
【請求項5】
コーヒー豆類の良品識別機能を備える良品検査システムであって、
請求項1から4のいずれか1項に記載のコーヒー豆類の良品推定システムと、
搬送装置と
ドーム型照明装置と、
前記ドーム型照明装置のドーム型頂点に設けられる、検査対象物を撮像する撮像手段と、備える、
良品検査システム。
【請求項6】
コーヒー豆類の良品識別機能を備える良品検査システムであって、
良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルに、不良品を含む検査対象物を撮像した画像データから得られるRGBそれぞれの濃度ヒストグラムを入力し、前記良品と不良品とを識別した識別結果を出力するステップと、を含む、
良品検査方法。
【請求項7】
検査対象物を搬送装置で搬送しながら撮像手段で撮像する撮像ステップと、
前記撮像ステップで得られた画像データを判定単位に分割して切り出す前処理ステップと、
前記前処理ステップで前処理された画像データからRGBそれぞれの濃度ヒストグラムを求める濃度ヒストグラム算出ステップと、
前記濃度ヒストグラム算出ステップで得られた、RGBそれぞれの濃度ヒストグラムの度数に所定範囲の閾値を設定し、背景を切り抜く背景除去ステップと、
前記濃度ヒストグラム算出ステップで得られた、RGBそれぞれの濃度ヒストグラムの度数に所定範囲の閾値を設定し、背景を切り抜く背景除去ステップと、
前記背景除去ステップで処理された、RGBそれぞれの濃度ヒストグラムの度数で構成される入力データを作成する入力データ作成ステップと、
前記入力データ作成ステップで作成された濃度ヒストグラムの度数を前記学習モデルに入力して前記識別結果を出力する推定実行ステップと、
前記推定実行ステップで出力される前記識別結果から良品か否かを判定する良品判定ステップと、を含む、
請求項6に記載の良品検査方法。
【請求項8】
コーヒー豆類の良品検査プログラムであって、
少なくとも1つのプロセッサーにより、請求項6または7に記載の良品検査方法を実現するプログラム。
【請求項9】
コンピュータ命令が記憶されているコンピュータ読み取り可能な記録媒体であって、
良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルを記憶する、コンピュータ読み取り可能な記録媒体。
【請求項10】
少なくとも1つのプロセッサーと、
前記プロセッサーで実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサーは、実行可能な命令を実行することにより請求項6または7に記載の良品検査方法を実現する、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法に関する。例えば、コーヒーの生豆(焙煎前の状態の豆)などの良品検査に関する。
【背景技術】
【0002】
麻袋などに収納されているコーヒー豆原料には、多種の異物が混入している。これら異物は概ね10種程度ある。コーヒー豆原料から、それら異物を検出する方法として、カメラで撮像した検査対象物(コーヒー豆と異物)の画像を解析し異物を検出する方法がある。また、コーヒー豆の品質検査として、近赤外光をコーヒー豆に照射しラインセンサで検出することで良品豆と不良品豆を区別する方法がある(特許文献1参照)。
【0003】
また、検査対象物を撮像した画像を学習させたニューラルネットワークを用いた検査方法が多く提案され実用化されている。特許文献2は、食肉、例えば鶏肉の血合いや異物を検出するためにニューラルネットワークを利用している。特許文献3は、複数種類のいりこなどが混在した検査対象物から選別したい物とそれ以外を識別するためにニューラルネットワークを利用している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2019-148607号公報
【特許文献2】国際公開第2019/151393号
【特許文献3】特許第4812083号
【発明の概要】
【発明が解決しようとする課題】
【0005】
コーヒー豆類と異物との識別を、高速かつ高精度に行いたいとの要望がある。しかしながら、異物の種類は多く、常に一定した異物が混入しているとも限らない。そのため、上述したカメラ撮像画像を解析する方法や、近赤外光を使用した検出方法(例えば、特許文献2)では、異物と検出するための設置値の変更(メンテナンス)を定期的に行う必要があった。また、高精度検出を追求すると検出速度が遅くなるという問題もある。
【0006】
一方、学習によるニューラルネットワークを利用した方法では、一定の学習である程度の汎化性が期待できる。また、再学習をさせる作業も比較的簡単であることから、上述のようなメンテナンスの手間も少ない。
【0007】
本発明の第一の目的は、良品のコーヒー豆類と不良品(異物および不良のコーヒー豆類)を高速かつ高精度に識別できる良品識別機能を備える良品検査システムおよび良品検査方法を提供することである。
また、第二の目的は、上記第一の目的と共に、不良品の種類を特定できる良品識別機能を備える良品検査システムおよび良品検査方法を提供することである。
【課題を解決するための手段】
【0008】
コーヒー豆類の良品推定システム(良品識別機能)は、
良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データ(「訓練データ」ともいう。)として用いてニューラルネットワークによって生成される学習モデル(「識別器」ともいう。)を記憶する記憶装置と、
不良品を含む検査対象物を撮像した画像データから得られるRGBそれぞれの濃度ヒストグラムが入力されると、前記学習モデルを用いて前記良品と不良品とを識別した識別結果を出力する推定実行部と、を備える。
上記構成によれば、画像データを学習モデルに入力するだけで簡単に検査できる。また、画像データをヒストグラム化することにより、異物の大きさ、形、搬送状態で位置や傾きに依存せずに検査が可能となる。
コーヒー豆類原料の検査は、一般的に、粗選別(一次選別)、色彩選別、重量選別、金属検査などの複数選別工程からなるが、上記検査システムによれば、一次選別以降の選別をすべて1度の検査で行え、検査時間短縮、設備コスト低減、設置スペース縮小などが可能となる。
【0009】
「コーヒー豆類」は、コーヒー豆の産地(銘柄)および種類を問わず、すべてのコーヒー豆を含む。焙煎前の生豆、焙煎後の豆も含む。
前記良品は、正常な色、正常なサイズおよび正常な形状であることが挙げられる。
前記不良品は、欠点を含むコーヒー豆類、異物などである。欠点は、例えば、正常でない色、正常でないサイズ、正常でない形状である。コーヒー豆類の欠点としては、例えば、黒豆、発酵豆、欠け豆、貝殻豆、一部カビのある豆、正常な生豆の色と異なる色や小さいサイズの豆などが挙げられる。異物は、例えば、良品と異なる種類のコーヒー豆類、木の実、種子、種皮、皮、木片、樹脂片、金属片、紐、骨などが挙げられる。
良品は良品として学習させ、不良品は不良品として学習させてもよく、いずれか一方を学習させてもよい。
【0010】
前記学習モデルは、前記良品と前記不良品の2種を識別するように学習されており、前記良品と前記不良品の2種を識別して出力する構成であってもよい。これにより、良品と多種の異物群との2つのカテゴリ分類を行える。
前記学習モデルは、不良品の種類数(N種類)に応じた学習モデル(第1学習モデルから第N学習モデル)を含んでいてもよい。第一学習モデルは、前記良品と前記不良品の1種(例えば木片)とを識別するように学習されており、前記良品と前記不良品の1種(例えば木片)を識別して出力する構成であってもよい。第二学習モデルは、前記良品と前記不良品の1種(例えば木片)とは異なる1種(例えば樹脂片)とを識別するように学習されており、前記良品と前記不良品の1種(例えば木片)とは異なる1種(例えば樹脂片)を識別して出力する構成であってもよい。これにより、特定の異物と良品との2つのカテゴリ分類を複数行え、異物の種類も特定できる。
【0011】
前記良品推定システム(良品識別機能)は、
前記撮像手段で撮像された画像データを前処理する前処理部を有していてもよい。
前記前処理部は、前記画像データを、好ましくは検査対象物が1~4つ含まれるサイズ、より好ましくは検査対象物が1~3つ含まれるサイズ、さらに好ましくは検査対象物が1~2つ含まれるサイズの識別判定単位に分割して切り出す処理をしてもよい。切り出す画像データの形状は、矩形、円状、楕円状であってもよい。
これにより、例えば、コーヒー豆類1つあるいは4つ程度の領域単位で異物を検査し、コーヒー豆類の大きさと同程度以上の異物の検知能力を高め、さらに、選別振分け能力を高めることができる。
前記前処理部は、識別判定単位に分割された画像データから背景を切り抜く背景除去処理を行ってもよい。
【0012】
前記良品推定システム(良品識別機能)は、
前記撮像手段で撮像された画像データあるいは前記前処理した画像データからRGBそれぞれの濃度ヒストグラムを求める濃度ヒストグラム算出部をさらに有していてもよい。
前記良品推定システム(良品識別機能)は、
RGBそれぞれの濃度ヒストグラムの度数(階調)に所定範囲の閾値を設定し、背景を切り抜く背景除去部を有していてもよい。
前記良品推定システム(良品識別機能)は、
背景除去部で処理された、RGBそれぞれの濃度ヒストグラムの度数(階調)で構成される教師データを作成する教師データ作成部を有していてもよい。教師データ作成部は、ニューラルネットワークの入力層に入力できるように、R濃度ヒストグラムの度数、G濃度ヒストグラムの度数、B濃度ヒストグラムの度数の順に並び替えてもよい。
前記良品推定システム(良品識別機能)は、
背景除去部で処理された、RGBそれぞれの濃度ヒストグラムの度数(階調)で構成される入力データを作成する入力データ作成部を有していてもよい。入力データ作成部は、ニューラルネットワークの入力層に入力できるように、R濃度ヒストグラムの度数、G濃度ヒストグラムの度数、B濃度ヒストグラムの度数の順に並び替えてもよい。
【0013】
前記良品推定システム(良品識別機能)は、
教師データをニューラルネットワーク(学習モデル)に入力し学習を実行する学習実行部を有していてもよい。
前記学習実行部は、別の教師データを用いて再学習も実行する構成であってもよい。
【0014】
前記良品推定システム(良品識別機能)は、
前記推定実行部で出力される前記識別結果から良品か否(不良品)かを判定する良品判定部をさらに有していてもよい。
「識別結果」は、例えば、良品であると推定される確率(良品確信度)、不良品であると推定される確率(不良品確信度)を含んでいてもよい。
前記良品推定システム(良品識別機能)は、
前記学習モデルから得られる識別結果から正解率(「正答率」ともいう。)、適合率、および/または再現率の精度結果を演算する精度評価部をさらに有していてもよい。精度評価部は、学習実行部による学習処理において実行されてもよく、推定実行部による良品推定処理において実行されてもよい。
前記良品推定システム(良品識別機能)は、
前記推定実行部で出力された前記識別結果、前記良品判定部で判定された判定結果(良品、不良品)および/または前記精度評価部で演算された精度結果を出力する結果情報出力部をさらに有していてもよい。
前記推定実行部による出力および前記結果情報出力部による出力は、例えば、表示装置に表示する、別装置へ送信する、印刷する、音声を発する、記憶装置へ記憶するなどの各種手段で構成されていてもよい。
【0015】
コーヒー豆類の良品識別機能を備える良品検査システムは、
上記良品推定システムと、
搬送装置と
ドーム型照明装置と、
前記ドーム型照明装置のドーム型頂点に設けられる、検査対象物を撮像する撮像手段と、を備えていてもよい。
前記撮像手段で撮像された画像データは、前記学習モデルの入力データおよび/または前記教師データに用いてもよい。
ドーム型照明装置を採用することで、影や乱反射を低減した画像を取得できる。
【0016】
前記搬送装置は、
駆動プーリおよび受動プーリ(「駆動ローラおよび受動ローラ」でもよい。)に掛け渡される無端ベルトと、
駆動プーリを回転駆動させるモータと、
無端ベルトに振動を与える振動発生器と、を有していてもよい。
振動発生器による振動で、無端ベルト上の検査対象物同士の重なりを無くし均一に散らばらせることができる。
【0017】
コーヒー豆類の良品検査方法は、
良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルに、不良品を含む検査対象物を撮像した画像データから得られるRGBそれぞれの濃度ヒストグラムを入力し、前記良品と不良品とを識別した識別結果を出力するステップと、を含む。
前記良品検査方法は、
検査対象物を搬送装置で搬送しながら、(ドーム型照明装置のドーム型頂点に設けられる)撮像手段で撮像する撮像ステップと、
前記撮像ステップで得られた画像データを識別判定単位に分割して切り出す前処理ステップと、
前記前処理ステップで前処理された画像データからRGBそれぞれの濃度ヒストグラムを求める濃度ヒストグラム算出ステップと、
前記濃度ヒストグラム算出ステップで得られた、RGBそれぞれの濃度ヒストグラムの度数(階調))に所定範囲の閾値を設定し、背景を切り抜く背景除去ステップと、
前記背景除去ステップで処理された、RGBそれぞれの濃度ヒストグラムの度数(階調)で構成される入力データを作成する入力データ作成ステップと、
前記入力データ作成ステップで作成された濃度ヒストグラムの度数を前記学習モデルに入力して前記識別結果を出力する推定実行ステップと、
前記推定実行ステップで出力される前記識別結果から良品か否(不良品)かを判定する良品判定ステップと、
を含んでいてもよい。
前記良品検査方法は、
前記学習モデルから得られる識別結果から正解率、適合率、および/または再現率を演算する精度評価ステップを含んでいてもよい。
前記良品検査方法は、
前記推定実行ステップで出力された前記識別結果、前記良品判定ステップで判定された判定結果(良品、不良品)および/または前記精度評価ステップで演算された精度結果を出力する結果情報出力ステップを含んでいてもよい。
【0018】
情報処理装置は、
少なくとも1つのプロセッサーと、
前記プロセッサーで実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサーは、実行可能な命令を実行することにより前記コーヒー豆類の良品検査方法の各ステップを実現する、情報処理装置である。
【0019】
コーヒー豆類の良品検査プログラムは、
少なくとも1つのプロセッサーにより、前記コーヒー豆類の良品検査方法の各ステップを実現するプログラムである。
【0020】
コンピュータ命令が記憶されているコンピュータ読み取り可能な記録媒体は、
良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルを記憶する、コンピュータ読み取り可能な記録媒体である。
【0021】
前記ニューラルネットワークは、例えば、単層型あるいは多層階層型ニューラルネットワークなどが挙げられる。前記学習モデルは、ソフトウエアプログラムである。
【0022】
前記良品推定システムの各構成部は、メモリ、プロセッサー、ソフトウエアプログラムを有する情報処理装置(例えば、コンピュータ、サーバ)や、専用回路、ファームウエアなどで構成してもよい。情報処理装置は、オンプレミスまたはクラウドのいずか一方、あるいは両方の組み合わせであってもよい。
【図面の簡単な説明】
【0023】
図1】実施形態1のコーヒー豆の良品検査システムの一例を示す図である。
図2】異物の一例を示す図である。
図3】濃度ヒストグラムの一例を示す図である。
図4】推定処理の動作フローの一例を示す図である。
図5】表示画面の一例を示す図である。
図6A】実施例の4パターン背景除去処理の正答率の結果を示す図である。
図6B】実施例の精度結果を示す図である。
【発明を実施するための形態】
【0024】
(実施形態1)
実施形態1では、コーヒーの生豆の例を示すが、例えば、焙煎後のコーヒー豆へも適用できる。
図1は、実施形態1のコーヒー豆の良品検査システム1の一例を示す。本実施形態1のコーヒー豆の良品検査システム1は、良品推定システム10、搬送装置2、ドーム型照明装置27、撮像手段28を備える。
【0025】
搬送装置2は、駆動プーリ23と受動プーリ22に掛け渡される無端ベルト21と、駆動プーリ23を回転駆動させるモータ(不図示)と、無端ベルト21に振動を与える振動発生器26と、投入ホッパ24と、排出容器25を備える。無端ベルト21の上方にドーム型照明装置27が設置され、撮像手段28がドーム型照明装置27のドーム型頂点に設けられる。
ドーム型照明装置27は、内部に、蛍光灯、LED光、ハロゲン光から選択されるバー状、面上あるいはリング状光源と、ドーム型内壁面に反射材を有して構成されていてもよい。照明色は、RGBの階調値のそれぞれを変更できる。撮像手段28として、例えば、カラーカメラが挙げられる。
振動発生部26は、複数の突起が凹凸を形成するように設けられた回転ロールおよびその回転駆動モータで構成される。投入ホッパ24とドーム型照明装置27との間に、無端ベルト21の裏側(コーヒー豆搬送面の裏側)に配置され、無端ベルト21の裏面に、凹凸の突起が回転しながら接触させることで、無端ベルト21に振動を与えることができる。
【0026】
(撮影動作フロー)
投入ホッパ24から検査対象物(不良品と良品を含むコーヒー生豆)を投入し、無端ベルト21を回転駆動する。振動発生器26で振動が与えられた状態で無端ベルト21が回転し、検査対象物を均一に分散した状態で、排出容器25まで搬送する。搬送途中にドーム型照明装置27が配置されており、その天頂から垂直下方に向かって撮像手段28が搬送されている状態の検査対象物を撮影する。撮像手段28で撮像された画像データは、動画あるいは静止画として後述する良品推定システム10へ送られる。画像データは良品推定システム10の通信手段14で受信され、記憶装置11あるいは不図示のメモリに保存される。
【0027】
良品推定システム10は、記憶装置11、表示装置13、通信手段14、前処理部151、濃度ヒストグラム算出部152、背景除去部1521、入力データ作成部1522、学習実行部153、推定実行部154、良品判定部155、精度評価部156、結果情報出力部157を備える。
【0028】
記憶装置11は、学習済みの学習モデル12を記憶している。学習モデルは、良品のコーヒー豆と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成されている。記憶装置11は、例えば、揮発性或いは不揮発性のメモリで構成されていてもよい。記憶装置11は、1種の学習モデルでもよく、2種以上の学習モデルを記憶していてもよい。
【0029】
前処理部151は、撮像手段28で撮像された画像データを前処理する。画像データは、撮像手段28から送られて通信手段14で受信し、記憶装置11で記憶されている。
前処理部151は、画像データ(例えば24cm×24cm)を、コーヒー豆1粒から2粒が含まれるサイズ(例えば、1.2cm×1cm)の識別判定単位に分割して切り出す処理を実行する。通信手段14は、無線手段、有線手段のいずれであってもよい。
【0030】
濃度ヒストグラム算出部152は、撮像手段28で撮像された画像データあるいは前処理した画像データからRGBそれぞれの濃度ヒストグラムを求める。濃度ヒストグラム算出部152は、例えば、RGBそれぞれ、128階調、256階調あるいは1024階調でのヒストグラムを求めてもよい。
背景除去部1521は、RGBそれぞれの濃度ヒストグラムの階調(度数)に所定範囲の閾値を設定し、背景を切り抜く処理を実行する。
入力データ作成部1522は、ニューラルネットワークの入力層に入力できるように、R濃度ヒストグラムの度数、G濃度ヒストグラムの度数、B濃度ヒストグラムの度数の順に並び替えを行う。本実施形態において、入力データ作成部1522は、教師データ作成部の機能を兼用している。
【0031】
学習実行部153は、教師データをニューラルネットワーク(学習モデル)に入力し学習を実行する。
【0032】
推定実行部154は、入力データ作成部1522で得られた入力データ(RGBそれぞれの濃度ヒストグラム)が入力されると、学習モデル12を用いてコーヒー豆の良品と不良品とを識別した識別結果(例えば、良品確信度、不良品確信度)を出力する。
良品判定部155は、推定実行部154で出力された識別結果(例えば、良品確信度、不良品確信度)から良品か否(不良品)かを判定する。
【0033】
精度評価部156は、学習モデルから得られた識別結果から正解率、適合率、および/または再現率の精度結果を演算する。
【0034】
結果情報出力部157は、識別結果(例えば、良品確信度、不良品確信度)、判定結果(良品OK、不良品NG)、精度結果を出力する。本実施形態では、結果情報出力部157による出力は、例えば、表示装置13に表示する。表示装置13は、特に制限されず、液晶モニター、有機ELモニター、CRTモニター、スマートフォン、タブレット、汎用パソコンのモニターなどが例示される。
【0035】
(教師データおよび学習モデルの生成)
まず、教師データおよび学習モデルの生成について説明する。
図2に不良品の一例を示す。不良品として、コーン(約0.5cm四方)、黒豆(約0.5cm四方)、骨片大(約0.5×1.5cm)、透明樹脂(約0.5×1.5cm)、細木片(約0.2×3cm)、石(大)(約1.5cm四方)、木(大)(約0.5×1.5cm)、赤色石(約0.5cm四方)、麻紐(太さ約0.2cm)、一部カビ(約0.5cm四方)、木の実1(約0.5cm四方)、樹脂片大(約0.5×1.5cm)、透明樹脂2(約0.5cm四方)、樹脂片大2(約0.5×1.5cm)を挙げているが、これ以外の不良品もある。これらのすべてを不良品として、撮像手段28で撮像し画像データを生成する。また、良品の生豆も撮像手段28で撮像し画像データを生成する。良品と不良品の画像データは良品推定システム10へ送られ、記憶装置11に記憶される。良品推定システム10が動画から静止画を生成してもよく、撮像手段28が静止画を生成してもよい。
前処理部151、濃度ヒストグラム算出部152、背景除去部1521を実行し、良品と不良品の教師データセット(訓練データセット)を作成する。図3に濃度ヒストグラムの一例を示す。図3の横軸は濃度数、縦軸は画素数であり、R、G、Bのそれぞれが示される。教師データは、R、G、Bのそれぞれの各度数(256×3)の画素数である。背景除去部1521により、複数パターンの背景除去処理が施された、複数の背景除去パターンの教師データを生成してもよい。
学習実行部153を実行し、複数の背景除去パターンの教師データセットをニューラルネットワークに入力し、複数の背景除去パターンの学習モデルを生成する。精度評価部156により、生成されたそれぞれの学習パターンの精度評価を行い、最良結果であった学習モデル12を記憶装置11へ記憶する。
学習モデルの背景除去処理に対応して、実推定時にも背景除去処理を実行して学習モデルに入力する構成であってもよく、背景除去処理をしなくてもよい。
【0036】
良品と不良品の2カテゴリ分類を識別する学習モデルに限らず、異物の種類数(N種類)に応じた学習モデル(第1学習モデルから第N学習モデル)を生成してもよい。例えば、第一学習モデルは、良品と不良品の1種(例えば木片)とを識別するように学習されている。第二学習モデルは、良品と不良品の1種(例えば木片)とは異なる1種(例えば木の実)とを識別するように学習されている。これにより、特定の異物と良品のコーヒー豆の2つのカテゴリ分類を複数行え、異物の種類も特定できる。
【0037】
(推定処理の動作フロー)
図4に推定処理(識別処理)の動作フローを示す。図4(a)は、撮像手段28で撮像された画像データ(静止画)を示す。画像サイズは縦24cm×横24cmである。図4(b)の領域分割において、前処理部151は、画像データ(24cm×24cm)を縦1.2cm×横1cmのサイズに分割し判定領域を作成する。図4(c)のRGBヒストグラム算出において、濃度ヒストグラム算出部152は、判定領域単位(1.2cm×1cm)で、RGBそれぞれの256階調の濃度ヒストグラムを作成する。次いで背景除去処理および入力データ作成処理が実行される。
図4(d)の学習モデル実行において、推定実行部154は、作成された255階調(度数)のそれぞれの画素数を縦一列にしてそのまま、学習モデル12の入力層(768ノード)に入力する。学習モデル12は入力層(768ノード)、単層の中間層(200ノード)、出力層(2ノード)で構成されている。出力層(2ノード)の識別結果として良品確信度と不良品確信度が出力される。
良品判定部155は、推定実行部154で出力された識別結果から良品か否(不良品)かを判定する。識別結果の数値の大小から良品か否かをそのまま判定してもよく、良品判定部155は、精度結果から識別不能の判定をしてもよい。良品確信度が、例えば80%以上であれば良品、不良品確信度が、例えば80%以上であれば不良品、両方の確信度が50%以上から70%未満であれば識別不能と判定してもよい。識別不能を不良品として判定してもよい。
【0038】
(表示画面の一例)
図5に表示装置13の表示画面の一例を示す。撮像手段28で撮像された画像データ(撮影動画)は、表示領域131に映される。検査ボタン132をクリックすると検査が実行される。分割された判定領域の静止画像が、表示領域133に表示される。現に検査中の判定領域が、表示領域134に表示される。推定実行部154による識別結果として、良品確信度と不良品確信度のバー表示、その数値が表示領域135に表示される。良品判定部155による判定結果(OK、NG)が識別結果に対応して表示領域136に表示される。
画面左下領域137の学習ボタンは、学習(再学習)を実行させるための指示ボタンである。評価ボタンは、精度評価部による演算を実行させるための指示ボタンである。
【0039】
(実施例1)
背景除去の最適化を行う。4パターンの階調範囲の教師データを作成し、4パターンの学習モデルを生成した。4パターンの学習モデルの正答率を比較し、最良の学習モデルを採用する。
(条件)
良品120枚、異物30種各4枚で合計120枚を一つの不良品とした教師データを、図4のニューラルネットワークに入力し学習させた。
各画像データのRGB濃度ヒストグラムを算出した。背景除去処理の階調閾値範囲4パターンは以下とした。
(1)Rの階調1~150,Gの階調1~90,Bの階調1~70
(2)Rの階調1~150,Gの階調1~115,Bの階調1~90
(3)Rの階調1~180,Gの階調1~180,Bの階調1~180
(4)Rの階調0~255,Gの階調0~255,Bの階調0~255
上記閾値範囲の画素数がそのまま入力され、その範囲以外は「零」値が入力される。
(結果)
4パターンの学習モデルのそれぞれにおいて、上記学習データを再度入力した再評価と、未学習データ(良品340枚、不良品1380枚)での汎化性評価を正答率で比較した。
図6Aに4パターンの学習モデルの正答率の比較結果を示す。再評価および未学習データの両方の結果で最良の(2)パターンの学習モデルを採用する。
【0040】
(実施例2)
良品と不良品1種ごとの教師データを作成し、各学習モデルを生成する。
(条件)
良品20枚、異物1種20枚を不良品とした教師データを、図4のニューラルネットワークに入力し学習させた。23種類の異物を変えて順次学習させ、23種の学習モデルを生成した。
各画像データのRGB濃度ヒストグラムを算出し、実施例1で採用された(2)パターンの階調範囲による背景除去処理をした。
(結果)
各30種の学習モデルのそれぞれにおいて、上記学習データを再度入力した再評価と、未学習データ(良品30枚、不良品30枚)での汎化性評価を正答率で比較した。
図6Bに、23種の学習モデルの正答率の比較結果を示す。再評価では、概ね90%以上であり、未学習データの結果では、概ね70%を超える結果であった。
【0041】
(別実施形態)
(1)実施例では教師データ数が比較的少ないが、これに限定されず、全異物を網羅した教師データを増やすことで、汎化性を高めることが可能である。
(2)背景除去処理における階調範囲の閾値の設定は、例えば、検査対象物、無端ベルトの色、照明装置によって変更する。
(3)ニューラネットワークは、単層に限定されず、多階層型ニューラルネットワークであってもよい。
(4)RGB濃度ヒストグラムの階調(度数)は、256階調に限定されない。
(5)生豆に限定されず、焙煎後のコーヒー豆でも同様の方法で学習を行わせ良品判定を行える。
【0042】
(検査方法)
コーヒー豆類の良品検査方法は、良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルに、不良品を含む検査対象物を撮像した画像データから得られるRGBそれぞれの濃度ヒストグラムを入力し、前記良品と不良品とを識別した識別結果を出力するステップと、を含む。
前記良品検査方法は、検査対象物を搬送装置で搬送しながら、ドーム型照明装置のドーム型頂点に設けられる撮像手段で撮像する撮像ステップと、前記撮像ステップで得られた画像データを判定単位に分割して切り出す前処理ステップと、前記前処理ステップで前処理された画像データからRGBそれぞれの濃度ヒストグラムを求める濃度ヒストグラム算出ステップと、前記濃度ヒストグラム算出ステップで得られた、RGBそれぞれの濃度ヒストグラムの階調(度数)に所定範囲の閾値を設定し、背景を切り抜く背景除去ステップと、前記背景除去された濃度ヒストグラムを前記学習モデルに入力して前記識別結果を出力する推定実行ステップと、前記推定実行ステップで出力される前記識別結果から良品か否(不良品)かを判定する良品判定ステップと、を含んでいてもよい。
前記良品検査方法は、前記学習モデルから得られる識別結果から正解率、適合率、および/または再現率を演算する精度評価ステップを含んでいてもよい。
前記良品検査方法は、前記推定実行ステップで出力された前記識別結果、前記良品判定ステップで判定された判定結果(良品、不良品)および/または前記精度評価ステップで演算された精度結果を出力する結果情報出力ステップを含んでいてもよい。
【0043】
(プログラム)
コーヒー豆類の良品検査プログラムは、少なくとも1つのプロセッサーにより、前記コーヒー豆類の良品検査方法の各ステップを実現するプログラムである。
コンピュータ命令が記憶されているコンピュータ読み取り可能な記録媒体は、良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルを記憶する、コンピュータ読み取り可能な記録媒体である。
【符号の説明】
【0044】
1 良品検査システム
10 良品推定システム
11 記憶装置
12 学習モデル
13 表示装置
14 通信手段
151 前処理部
152 濃度ヒストグラム算出部
1521 背景除去部
153 学習実行部
154 推定実行部
155 良品判定部
156 精度評価部
157 結果情報出力部
2 搬送装置
27 ドーム型照明装置
28 撮像手段
図1
図2
図3
図4
図5
図6A
図6B
【手続補正書】
【提出日】2023-06-06
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルを記憶する記憶装置と、
不良品を含む検査対象物を撮像した画像データから得られるRGBそれぞれの濃度ヒストグラムが入力されると、前記学習モデルを用いて前記良品と不良品とを識別した識別結果を出力する推定実行部と、を備える、
コーヒー豆類の良品推定システム。
【請求項2】
前記学習モデルは、不良品の種類数に応じた学習モデルを含む、請求項1に記載のコーヒー豆類の良品推定システム。
【請求項3】
像手段で撮像された画像データあるいは前処理した画像データからRGBそれぞれの濃度ヒストグラムを求める濃度ヒストグラム算出部と、
濃度ヒストグラムの階調に所定範囲の閾値を設定し、背景を切り抜く背景除去部と、
を備える、
請求項1または2に記載のコーヒー豆類の良品推定システム。
【請求項4】
前記推定実行部で出力される前記識別結果から良品か否かを判定する良品判定部を備える、
請求項1から3のいずれか1項に記載のコーヒー豆類の良品推定システム。
【請求項5】
コーヒー豆類の良品識別機能を備える良品検査システムであって、
請求項1から4のいずれか1項に記載のコーヒー豆類の良品推定システムと、
搬送装置と
ドーム型照明装置と、
前記ドーム型照明装置のドーム型頂点に設けられる、検査対象物を撮像する撮像手段と、備える、
良品検査システム。
【請求項6】
コーヒー豆類の良品識別機能を備える良品検査システムであって、
良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルに、不良品を含む検査対象物を撮像した画像データから得られるRGBそれぞれの濃度ヒストグラムを入力し、前記良品と不良品とを識別した識別結果を出力するステップと、を含む、
良品検査方法。
【請求項7】
検査対象物を搬送装置で搬送しながら撮像手段で撮像する撮像ステップと、
前記撮像ステップで得られた画像データを判定単位に分割して切り出す前処理ステップと、
前記前処理ステップで前処理された画像データからRGBそれぞれの濃度ヒストグラムを求める濃度ヒストグラム算出ステップと、
前記濃度ヒストグラム算出ステップで得られた、RGBそれぞれの濃度ヒストグラムの度数に所定範囲の閾値を設定し、背景を切り抜く背景除去ステップと、
前記濃度ヒストグラム算出ステップで得られた、RGBそれぞれの濃度ヒストグラムの度数に所定範囲の閾値を設定し、背景を切り抜く背景除去ステップと、
前記背景除去ステップで処理された、RGBそれぞれの濃度ヒストグラムの度数で構成される入力データを作成する入力データ作成ステップと、
前記入力データ作成ステップで作成された濃度ヒストグラムの度数を前記学習モデルに入力して前記識別結果を出力する推定実行ステップと、
前記推定実行ステップで出力される前記識別結果から良品か否かを判定する良品判定ステップと、を含む、
請求項6に記載の良品検査方法。
【請求項8】
コーヒー豆類の良品検査プログラムであって、
少なくとも1つのプロセッサーにより、請求項6または7に記載の良品検査方法を実現するプログラム。
【請求項9】
コンピュータ命令が記憶されているコンピュータ読み取り可能な記録媒体であって、
良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルを記憶する、コンピュータ読み取り可能な記録媒体。
【請求項10】
少なくとも1つのプロセッサーと、
前記プロセッサーで実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサーは、実行可能な命令を実行することにより請求項6または7に記載の良品検査方法を実現する、情報処理装置。
【手続補正書】
【提出日】2023-08-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルを記憶する記憶装置と、
不良品を含む検査対象物を撮像した画像データから得られるRGBそれぞれの濃度ヒストグラムが入力されると、前記学習モデルを用いて前記良品と不良品とを識別した識別結果を出力する推定実行部と、を備える、
コーヒー豆類の良品推定システム。
【請求項2】
前記学習モデルは、不良品の種類数に応じた学習モデルを含む、請求項1に記載のコーヒー豆類の良品推定システム。
【請求項3】
撮像手段で撮像された画像データあるいは前処理した画像データからRGBそれぞれの濃度ヒストグラムを求める濃度ヒストグラム算出部と、
濃度ヒストグラムの階調に所定範囲の閾値を設定し、背景を切り抜く背景除去部と、
を備える、
請求項1または2に記載のコーヒー豆類の良品推定システム。
【請求項4】
前記推定実行部で出力される前記識別結果から良品か否かを判定する良品判定部を備える、
請求項1から3のいずれか1項に記載のコーヒー豆類の良品推定システム。
【請求項5】
コーヒー豆類の良品識別機能を備える良品検査システムであって、
請求項1から4のいずれか1項に記載のコーヒー豆類の良品推定システムと、
搬送装置と
ドーム型照明装置と、
前記ドーム型照明装置のドーム型頂点に設けられる、検査対象物を撮像する撮像手段と、備える、
良品検査システム。
【請求項6】
コーヒー豆類の良品識別機能を備える良品検査システムであって、
良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルに、不良品を含む検査対象物を撮像した画像データから得られるRGBそれぞれの濃度ヒストグラムを入力し、前記良品と不良品とを識別した識別結果を出力するステップと、を含む、
良品検査方法。
【請求項7】
検査対象物を搬送装置で搬送しながら撮像手段で撮像する撮像ステップと、
前記撮像ステップで得られた画像データを判定単位に分割して切り出す前処理ステップと、
前記前処理ステップで前処理された画像データからRGBそれぞれの濃度ヒストグラムを求める濃度ヒストグラム算出ステップと、
前記濃度ヒストグラム算出ステップで得られた、RGBそれぞれの濃度ヒストグラムの度数に所定範囲の閾値を設定し、背景を切り抜く背景除去ステップと、
前記濃度ヒストグラム算出ステップで得られた、RGBそれぞれの濃度ヒストグラムの度数に所定範囲の閾値を設定し、背景を切り抜く背景除去ステップと、
前記背景除去ステップで処理された、RGBそれぞれの濃度ヒストグラムの度数で構成される入力データを作成する入力データ作成ステップと、
前記入力データ作成ステップで作成された濃度ヒストグラムの度数を前記学習モデルに入力して前記識別結果を出力する推定実行ステップと、
前記推定実行ステップで出力される前記識別結果から良品か否かを判定する良品判定ステップと、を含む、
請求項6に記載の良品検査方法。
【請求項8】
コーヒー豆類の良品検査プログラムであって、
少なくとも1つのプロセッサーにより、請求項6または7に記載の良品検査方法を実現するプログラム。
【請求項9】
コンピュータ命令が記憶されているコンピュータ読み取り可能な記録媒体であって、
コーヒー豆類における良品と不良品とのそれぞれの画像データから得られるRGBそれぞれの濃度ヒストグラムを教師データとして用いてニューラルネットワークによって生成される学習モデルであって、コーヒー豆類における不良品を含む検査対象物を撮像した画像データから得られるRGBそれぞれの濃度ヒストグラムを入力し、コーヒー豆類における良品と不良品とを識別した識別結果を出力する学習モデルを記憶する、コンピュータ読み取り可能な記録媒体。
【請求項10】
少なくとも1つのプロセッサーと、
前記プロセッサーで実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサーは、実行可能な命令を実行することにより請求項6または7に記載の良品検査方法を実現する、情報処理装置。