(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-07-02
(45)【発行日】2025-07-10
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G01N 21/27 20060101AFI20250703BHJP
G06T 7/00 20170101ALI20250703BHJP
G06V 10/82 20220101ALI20250703BHJP
G06V 20/68 20220101ALI20250703BHJP
G06T 7/90 20170101ALI20250703BHJP
G06V 10/143 20220101ALI20250703BHJP
G06V 10/56 20220101ALI20250703BHJP
G06N 20/00 20190101ALI20250703BHJP
【FI】
G01N21/27 B
G06T7/00 350C
G06V10/82
G06V20/68
G06T7/90 A
G06V10/143
G06V10/56
G06N20/00
(21)【出願番号】P 2024001595
(22)【出願日】2024-01-10
【審査請求日】2024-01-11
(31)【優先権主張番号】P 2023022996
(32)【優先日】2023-02-17
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】593085428
【氏名又は名称】三菱総研DCS株式会社
(74)【代理人】
【識別番号】100207619
【氏名又は名称】渡辺 知晴
(72)【発明者】
【氏名】若林 政光
(72)【発明者】
【氏名】本田 禎二
【審査官】今井 彰
(56)【参考文献】
【文献】特開2019-174481(JP,A)
【文献】特開2015-232543(JP,A)
【文献】特表2020-524328(JP,A)
【文献】国際公開第2015/146821(WO,A1)
【文献】国際公開第02/12969(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00-21/01、21/17-21/61
21/84-21/958
G06V 20/68
(57)【特許請求の範囲】
【請求項1】
対象物の選別に用いる情報処理装置であって、
選別の対象となる前記対象物に関する所定の波長領域における光の強度に関する情報を取得する取得手段と、
1以上の正常対象物及び欠陥対象物における所定の波長領域における反射又は散乱の強度に関する
学習情報に統計的手段を適用して、学習された結果に基づいて、選別の対象となる前記対象物の性質又は品質を判定する判定手段と、
前記判定手段による判定の結果を出力する出力手段と、
を備え
、
前記判定手段は、前記対象物のコーヒー豆の表側と裏側を少なくとも含む場所で取得された前記学習情報に対して、前記学習情報のぞれぞれのスペクトル強度を平滑化した平均スペクトルを生成し、当該平均スペクトルを正規化した演算処理の結果に対して、所定の統計的手法を適用することで、正常豆かPTD豆かの判定に寄与する優先度の高い波長領域を選択し、選択した波長領域の組における前記学習情報に対して学習処理を実行することにより生成されたアルゴリズムに基づいて、前記対象物のコーヒー豆が正常豆かPTD豆かを判定する、
情報処理装置。
【請求項2】
正常豆かPTD豆かの判定に寄与する優先度の高い波長領域の選択が、600nmから1100nmにおけるスペクトル強度の差異に基づいて行われた、
請求項1に記載の情報処理装置。
【請求項3】
前記判定手段は、310nmから1180nmの波長領域における反射又は散乱の強度に関する
前記学習情報に統計的手段を適用して、学習された結果に基づいて、選別の対象となる前記対象物が正常対象物か欠陥対象物かを判定する、
請求項1に記載の情報処理装置。
【請求項4】
前記波長領域は、選別の対象となる前記対象物の2以上の領域における反射又は散乱の強度に関する
前記学習情報に統計的手法を実行することで算出される、
請求項
3に記載の情報処理装置。
【請求項5】
前記統計的手法には、選別の対象となる前記対象物の2以上の領域における反射又は散乱の強度に関する
前記学習情報に対する空間分解能を下げる処理が含まれる、
請求項
4に記載の情報処理装置。
【請求項6】
対象物の選別にかかる情報処理装置であって、
1以上の正常対象物及び欠陥対象物における所定の波長領域における反射又は散乱の強度に関する
学習情報を取得するデータ取得手段と、
前記データ取得手段により取得された前記
学習情報に統計的手段を適合することにより学習を行う学習手段と、
を備え
、
前記学習手段は、
前記対象物のコーヒー豆の表側と裏側を少なくとも含む場所で取得された前記学習情報に対して、前記学習情報のぞれぞれのスペクトル強度を平滑化した平均スペクトルを生成し、当該平均スペクトルを正規化した演算処理の結果に対して、所定の統計的手法を適用することで、正常豆かPTD豆かの判定に寄与する優先度の高い波長領域を選択し、選択した波長領域の組における前記学習情報に対して学習処理を実行する、
情報処理装置。
【請求項7】
対象物の選別に用いるコンピュータが実行する情報処理方法であって、
選別の対象となる前記対象物に関する所定の波長領域における光の強度に関する情報を取得する取得
ステップと、
1以上の正常対象物及び欠陥対象物における所定の波長領域における反射又は散乱の強度に関する
学習情報に統計的手段を適用して、学習された結果に基づいて、選別の対象となる前記対象物の性質又は品質を判定する判定
ステップと、
前記判定
ステップによる判定の結果を出力する出力
ステップと、
を含
み、
前記判定ステップは、前記対象物のコーヒー豆の表側と裏側を少なくとも含む場所で取得された前記学習情報に対して、前記学習情報のぞれぞれのスペクトル強度を平滑化した平均スペクトルを生成し、当該平均スペクトルを正規化した演算処理の結果に対して、所定の統計的手法を適用することで、正常豆かPTD豆かの判定に寄与する優先度の高い波長領域を選択し、選択した波長領域の組における前記学習情報に対して学習処理を実行することにより生成されたアルゴリズムに基づいて、前記対象物のコーヒー豆が正常豆かPTD豆かを判定する、
情報処理方法。
【請求項8】
対象物の選別に用いるコンピュータに、
選別の対象となる
前記対象物に関する所定の波長領域における光の強度に関する情報を取得する取得手段と、
1以上の正常対象物及び欠陥対象物における所定の波長領域における反射又は散乱の強度に関する
学習情報に統計的手段を適用して、学習された結果に基づいて、選別の対象となる前記対象物の性質又は品質を判定する判定手段と、
前記判定手段による判定の結果を出力する出力手段と、
を含む制御処理を実行させ、
前記判定手段は、前記対象物のコーヒー豆の表側と裏側を少なくとも含む場所で取得された前記学習情報に対して、前記学習情報のぞれぞれのスペクトル強度を平滑化した平均スペクトルを生成し、当該平均スペクトルを正規化した演算処理の結果に対して、所定の統計的手法を適用することで、正常豆かPTD豆かの判定に寄与する優先度の高い波長領域を選択し、選択した波長領域の組における前記学習情報に対して学習処理を実行することにより生成されたアルゴリズムに基づいて、前記対象物のコーヒー豆が正常豆かPTD豆かを判定する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来より、食品等の分野において、食品自体の品質に問題がある場合や食品に異物等が含まれている場合に、それを検知し、取り除くことは重要な課題である。これに対して、例えば、検査対象となる食品等に対して光を照射することにより得られる吸収スペクトルに対して、2次微分処理を行い、2次微分分光画像を作成することによって、食品等に含まれる異物を検出できる方法が提案されている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の特許文献1に記載の技術では、各種演算処理や分光画像の取得に時間がかかる。また、上述の特許文献1に記載の技術は、単に所定の演算処理を適用するのみで、異物の検出を行うものであり、検査対象物の種別やデータの取得状況によっては、検出の精度が不十分な場合がある。さらに言えば、上述の特許文献1に記載の技術を含む従来技術は、あくまでも検査対象物に含まれる異物を検出することが目的のものがほとんどであり、検査対象物の品質の検出を目的とするものはほとんどない。
【0005】
本発明は、このような状況に鑑みてなされたものであり、対象物のうちから、所定の条件を満たす対象物を精度よく検出できる技術を提供することを目的とする。
【0006】
上記目的を達成するため、本発明の一態様の情報処理装置は、
対象物の選別に用いる情報処理装置であって、
選別の対象となる前記対象物に関する所定の波長領域における光の強度に関する情報を取得する取得手段と、
1以上の正常対象物及び欠陥対象物における所定の波長領域における反射又は散乱の強度に関する情報に統計的手段を適用して、学習された結果に基づいて、選別の対象となる前記対象物の性質又は品質を判定する判定手段と、
前記判定手段による判定の結果を出力する出力手段と、
を備える。
【0007】
本発明の一態様の情報処理方法及びプログラムも、本発明の一態様の情報処理装置に対応する情報処理方法又はプログラムとして提供される。
【発明の効果】
【0008】
本発明によれば、対象物のうちから、所定の条件を満たす対象物を精度よく検出できる技術を提供することができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の一実施形態に係る情報処理システムの構成を示す図である。
【
図2】
図1の情報処理システムのうち学習装置のハードウェア構成の一例を示すブロック図である。
【
図3】
図1の情報処理システムのうち推論装置のハードウェア構成の一例を示すブロック図である。
【
図4】
図1の分析装置、
図2の学習装置及び
図3の推論装置の機能的構成の一例を示すブロック図である。
【
図5】典型的な正常豆及びPTD豆の視覚的な特徴を含む画像の一例を示す図である。
【
図6】
図4の分析装置が各種情報を取得する方法の一例を示す図である。
【
図7】測定情報を平滑化して生成された平均スペクトルの一例を示す図である。
【
図8】
図7の平均スペクトルに対して、所定の統計処理を行った結果の一例を示す図である。
【
図9】
図7の平均スペクトルに対して、所定の統計処理を行った結果の一例を示す図であり、
図8の例とは異なる例を示す図である。
【
図10】
図8の統計処理の結果に対して、さらに所定の統計処理を行った結果の一例を示す図である。
【
図11】生データに対して、各種統計処理を行った結果の一例を示す図であり、
図7乃至
図10の例とは異なる例を示す図である。
【
図12】
図4の学習装置により実行される学習処理の流れを説明するフローチャートである。
【
図13】
図4の推論装置により実行される推論処理の流れを説明するフローチャートである。
【
図14】各種統計的前処理を行った結果を示すプロット図の一例である。
【発明を実施するための形態】
【0010】
<概要の説明>
以下、本発明の一実施形態について、図面を用いて説明する。
図1は、本発明の一実施形態に係る情報処理システム(以下、「本システム」と呼ぶ)の構成を示す図である。
【0011】
ここで、
図1の説明をするに先立ち、本システムに関わるPоtato Taste Defect(以下、「PTD」と呼ぶ)について説明する。
PTDは、特にルワンダ、ブルンジ、コンゴ共和国、コンゴ民主共和国、ウガンダ等で問題となる品質の劣悪なコーヒー豆及びそれに関連する各種課題を意味している。なお、PTDの原因は正確には明らかとなっていないが、例えば、カメムシ等がコーヒー豆に刺激を与えることによるストレスやカメムシの唾液等に含まれる細菌により引き起こされるものと考えられている。
具体的にPTDの特徴を有するコーヒー豆(以下、「PTD豆」と呼ぶ)は、通常のコーヒー豆(以下、「正常豆」と呼ぶ)とは異なり、焙煎時に強い異臭を発し、コーヒー特有の風味が損なわれることが知られている。そのため、上述の各国では、コーヒー豆の出荷にあたり、コーヒーチェリー(果実)収穫後の複数段階で、PTD豆を選別することが一般的に行われている。しかしながら、この正常豆とPTD豆の選別は、現状、多くの場合、人の手作業(目視や手触り)により行われており、非常に手間のかかる作業となっており、完全に分別することも困難である。
本システムは、汎用的な検査対象物に対して適用できるものの、このPTD豆と正常豆の選別を効率的に行うことに対して、特に有用である。
【0012】
図1は、本システムの構成を示す図である。
図1に示すように、本システムは、分析装置1と、学習装置2と、推論装置3とを含み構成される。分析装置1と、学習装置2と、推論装置3とは、インターネット等による所定のネットワークNを介して相互に接続されている。なお、ネットワークNは、必須な構成要素ではなく、例えば、NFC(Near Field Communication)、ブルートゥース(登録商標)、LAN(Local Area Network)等が利用されてもよい。
【0013】
ここで、分析装置1の分析する分析対象物は、例えば、食品、果実、薬品、飲料、調味料等であり、上述の通り、典型的にはコーヒー豆である。分析装置1は、正常豆又はPTD豆を含む分析対象物に対して、所定の波長の光を照射し、得られた反射スペクトルに基づいて、分析対象物が正常豆であるかPTD豆であるかを判定する。具体的に分析装置1には、分光器11と、光源12と、制御部13と、記憶部14とが備えられている。
【0014】
分光器11は、分析対象物を介した反射光を分光し、スペクトルの強度を測定する。分光器11は、汎用的な分光器、CCDカメラ、RGBカメラ、ハイパースペクトルカメラ、マルチスペクトルカメラ等により構成される。
【0015】
光源12は、例えば、ハロゲンランプ等により構成される。光源12は、例えば、所定の波長領域の光を分析対象物等に対して、照射する。
【0016】
制御部13は、分光器11で得られたスペクトルの強度に関する情報(以下、「スペクトル情報」と呼ぶ)に対して、各種演算処理を実行する。制御部13は、CPU(Central Processing Unit)等で構成される。
【0017】
記憶部14は、各種データを記憶する。記憶部14は、汎用的なHDD(Hard Disk Drive)やSSD(Solid State Drive)等で構成される。
【0018】
学習装置2は、各種データに基づく学習のための各種演算処理を実行し、学習の結果を出力する。学習装置2は、汎用的なPC(Personal Computer)等で構成される。
【0019】
推論装置3は、学習装置2で出力された学習結果を含むプログラムに基づいて、分析対象物が正常豆であるかPTD豆であるかを判定するための各種処理を実行し、その結果を出力する。推論装置3は、汎用的なPC(Personal Computer)等で構成される。
【0020】
<ハードウェア構成>
図2は、
図1の情報処理システムのうち学習装置のハードウェア構成の一例を示すブロック図である。
学習装置2は、汎用的なPC(Personal Computer)等で構成される。
図2に示すように、学習装置2は、制御部21と、ROM(Read Only Memory)22と、RAM(Random Access Memory)23と、バス24と、入出力インターフェース25と、出力部26と、入力部27と、記憶部28と、通信部29と、ドライブ30と、を備えている。
【0021】
制御部21は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)、及び半導体メモリを含むマイクロコンピュータ等で構成され、ROM22に記録されているプログラム、または、記憶部28からRAM23にロードされたプログラムに従って各種の処理を実行する。
RAM23には、制御部21が各種の処理を実行する上において必要な情報等も適宜記憶される。
【0022】
制御部21、ROM22およびRAM23は、バス24を介して相互に接続されている。このバス24にはまた、入出力インターフェース25も接続されている。入出力インターフェース25には、出力部26、入力部27、記憶部28、通信部29、ドライブ30が接続されている。
【0023】
出力部26は、各種液晶ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
【0024】
入力部27は、キーボードやマウス等で構成され、各種情報を入力する。
【0025】
記憶部28は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等で構成され、各種データを記憶する。本実施形態では、例えば、各種プログラムや各種データベースを含む各種情報が記憶されている。
【0026】
通信部29は、インターネットを含むネットワークNを介して他の情報処理装置等との間で行う通信を制御する。
【0027】
ドライブ30は、必要に応じて設けられる。ドライブ30には磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア41が適宜装着される。ドライブ30によってリムーバブルメディア41から読み出されたプログラムは、必要に応じて記憶部28にインストールされる。またリムーバブルメディア41は、記憶部28に記憶されている各種データも、記憶部28と同様に記憶することができる。
【0028】
図3は、
図1の情報処理システムのうち推論装置のハードウェア構成の一例を示すブロック図である。
推論装置3は、汎用的なPC(Personal Computer)等で構成される。
図3に示すように、推論装置3は、制御部51と、ROM(Read Only Memory)52と、RAM(Random Access Memory)53と、バス54と、入出力インターフェース55と、出力部56と、入力部57と、記憶部58と、通信部59と、ドライブ60と、を備えている。
なお、ドライブ60には磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア71が適宜装着される。
ただし、推論装置3の各ハードウェア構成は、学習装置2の各ハードウェア構成と、基本的に同様とすることができるため、ここでは説明を省略する。
【0029】
図4は、
図1の分析装置、
図2の学習装置及び
図3の推論装置の機能的構成の一例を示すブロック図である。
【0030】
図4に示すように、学習装置2の制御部21には、測定情報取得部80と、演算処理部82と、学習処理部84とが設けられている。
また、学習装置2の記憶部28の一領域には、学習結果DB300が設けられている。
【0031】
測定情報取得部80は、1以上の正常対象物及び欠陥対象物における所定の波長領域における反射又は散乱の強度に関する情報を取得する。
具体的に測定情報取得部80は、分析装置1から送信されてきた学習のための分析対象物(以下、「学習用分析対象物」と呼ぶ)の測定された結果に関する情報(以下、「測定情報」と呼ぶ)を、通信部29を介して取得する。なお、測定情報は、例えば、学習用分析対象物に対して照射された光に対する反射光のスペクトルの強度に関する情報等である。
なお、ここで取得される測定情報は、学習のための教師データとして機能するのが望ましい。すなわち、測定情報には、正常豆から取得された測定情報なのか、PTD豆から取得された測定情報なのかの情報が含まれていてもよい。
【0032】
演算処理部82は、測定情報に対する各種演算処理を実行する。具体的に演算処理部82には、平滑化処理部90と、正規化処理部92と、中心化処理部94と、波長選択部96とが設けられている。
【0033】
平滑化処理部90は、各測定点における測定情報を平滑化する処理を実行する。なお、平滑化処理部90で行われる平滑化処理は、例えば、ノイズ除去や局所的な傾向に捕らわれることなく差異を検知することを目的とするものである。
また、演算処理部82は、測定情報取得部80で取得された測定情報のそれぞれのスペクトル強度を平滑化した平均スペクトルを生成する。
【0034】
正規化処理部92及び中心化処理部94はそれぞれ、平滑化処理部90で生成された平均スペクトルを正規化し、中心化する演算処理を実行する。このような処理を行うことで、各種情報の統計的な差異を際立たせることができることが知られている。なお、中心化処理部94による具体的な中心化処理の結果等については、
図9等を参照しながら後述する。
【0035】
波長選択部96は、各種統計的手法を用いて、正常豆かPTD豆かの判定に寄与する優先度の高い波長領域を選択する。
具体的に、本実施形態で波長選択部96は、部分的最小二乗法(PLS,Partial Least Squares)と関連する変数選択法であるPLS-βと呼ばれる手法を採用して、正常豆かPTD豆かの判定に寄与する優先度の高い波長領域を選択する。
ここで、PLS法及びPLS-β法について簡単に説明する。
PLS法は、主成分回帰法と同じく潜在変数による線形回帰モデルを生成する方法であるが、潜在変数を決定する際に、主成分回帰と異なり、潜在変数と目的変数との共分散が最大となるように決定する方法である。PLS法は、説明変数同士の相関が高い場合に有用であることが多く、本システムのように、スペクトル強度等のデータに適用するには好適である。
PLS-β法は、PLS回帰モデルを線形重回帰モデルに変換し、回帰係数の絶対値の大きさに基づいて、重要な説明変数を選択する方法である。本システムでは、正常豆かPTD豆かの判定に寄与の大きい変数(波長領域)を選択するためにPLS-β法を採用している。なお、波長選択部96による具体的な波長選択の方法や結果については、
図10等を参照しながら後述する。
【0036】
学習処理部84は、前記データ取得手段により取得された前記情報に統計的手段を適合することにより学習を行う。具体的に学習処理部84は、波長選択部96で選択された各波長領域における測定情報に対して、学習処理を実行し、学習結果を生成する。学習処理部84は、生成した学習結果を学習結果DB300に格納し、学習結果に関する情報(以下、「学習結果情報」と呼ぶ)を推論装置3へ送信する。
なお、本システムは、学習の手法として、例えば、ニューラルネットワーク、ディープラーニング、各種回帰モデル等の任意の統計的手法を組み合わせて学習処理を実行することができる。
また、学習結果情報とは、例えば、いわゆる学習済みモデルを含み、正常豆とPTD豆の判定に利用される各種プログラム、アルゴリズム、数式等に関する各種情報が含まれ得る。
【0037】
図4に示すように、推論装置3の制御部51には、学習結果取得部120と、対象情報取得部122と、演算処理部124と、判定部126と、出力部128とが設けられている。
また、推論装置3の記憶部58の一領域には、学習結果DB400が設けられている。
【0038】
学習結果取得部120は、1以上の正常対象物及び欠陥対象物における所定の波長領域における反射又は散乱の強度に関する情報に統計的手段を適用して、学習された結果を取得する。具体的に学習結果取得部120は、学習装置2から送信されてくる学習結果情報を、通信部59を介して取得する。また、学習結果取得部120は、取得した学習結果情報を学習結果DB400に格納する。
【0039】
対象情報取得部122は、選別の対象となる前記対象物における所定の波長領域における反射又は散乱の強度に関する情報を取得する。具体的に対象情報取得部122は、分析装置1から送信されてくる選別の対象となる分析対象物(以下、「測定用分析対象物」と呼ぶ)に対するそれぞれの反射光のスペクトルの強度に関する情報(以下、「対象情報」と呼ぶ)を、通信部59を介して取得する。なお、対象情報は、例えば、測定用分析対象物に対して照射された光に対する反射光のスペクトルの強度に関する情報等である。
【0040】
演算処理部124は、対象情報に対して、各種統計処理(正規化処理や中心化処理等)を実行する。
【0041】
判定部126は、1以上の正常対象物及び欠陥対象物における所定の波長領域における反射又は散乱の強度に関する情報に統計的手段を適用して、学習された結果に基づいて、選別の対象となる前記対象物が正常対象物か欠陥対象物かを判定する。具体的に判定部126は、学習結果取得部120で取得された学習結果情報及び対象情報取得部122で取得された対象情報に基づいて、対象情報が取得されたそれぞれの測定用分析対象物が、正常豆かPTD豆かを判定する。
【0042】
出力部128は、判定部126で行われた判定結果を出力するための各種処理を実行する。
【0043】
図5は、典型的な正常豆及びPTD豆の視覚的な特徴を含む画像の一例を示す図である。
具体的に
図5には、典型的な正常豆の画像と典型的なPTD豆の画像が表示されている。まず、
図5の(A)に示す通り、正常豆は、特段の変色や内部障害はなく、自然な豆として人が認識できる。これに対して、
図5の(B)に示す通り、PTD豆は(カメムシの侵入によって生じた)穴が表示されている。PTD豆は、このような不自然な穴の存在に加えて、豆の内部に緑や黒の変色が確認できる場合もあり、このような所見があるか否かが正常豆かPTD豆かの判断基準となり得る。また、たとえ豆の表面に穴があったとしても内部には影響がないものも存在する。
図5の例は、極めて分かりやすい例を例示しているが、実際には、穴の大きさや穴の角度などによっては分かりにくく、画像認識等での区別が難しかったり、目視による確認に時間がかかってしまうような場合も存在する。そのため、このようなPTD豆を効率的かつ正確に除外することができれば、PTD豆による被害を大幅に減らすことができると考えられる。
【0044】
図6は、
図4の分析装置が各種情報を取得する方法の一例を示す図である。
本システムは、
図6に示す通り、コーヒー豆の表側に3点、裏側に3点の合計6点で各種情報(反射スペクトルの強度等)を取得する。これにより、本システムは、粗いながらも空間分解能を持つ情報を取得でき、より高い精度で正常豆とPTD豆との判定を行うことができると考えられる。
【0045】
次に、
図7乃至
図9を参照しながら、取得された測定情報に対して各種統計処理を行った結果の一例を説明していく。なお、
図7乃至
図9に示す統計処理の目的の一つは、測定情報の統計的な差異を際立たせ、本手法により取得された情報が正常豆及びPTD豆のスペクトル強度の傾向の差異を反映していることを確認することにある。
まず、
図7は、測定情報を平均化して生成された平均スペクトルの一例を示す図である。すなわち、
図7は、
図6に示した6点において測定された測定情報を平均化することで、生成された平均スペクトルのグラフである。
【0046】
図7の例では、正常豆では概ね600nmから1100nmまでの波長領域においてグラフの立ち上がりが急であるのに対して、PTD豆では急な立ち上がりは認められなかった。
【0047】
次に、
図8は、
図7で示した平均スペクトルに対して平滑化等の処理を行ったうえで、微分した結果を示すグラフである。
図8の例では、より分かりやすく傾向が表現されているが、正常豆の一次微分データでは概ね600nmから1100nmまでの波長領域において減少の傾向が認められるのに対して、PTD豆の一次微分データでは概ね600nmから1100nmまでの波長領域において増加の傾向が認められる。
【0048】
同様に
図9は、
図7で示した平均スペクトルに対して、平滑化等の処理を行ったうえで、正規化処理及び中心化処理を行った結果を示すグラフである。
図9の例においても、特に正常豆の概ね600nmから1100nmの波長領域において、数値が右肩下がりに推移しているのに対して、PTD豆の同波長領域では、数値が右肩に下がっている傾向は見られず、むしろ全体として左下方向から右上方向に立ち上がっている傾向が認められる。
【0049】
図10は、
図9の統計処理の結果に対して、さらに所定の統計処理を行った結果の一例を示す図である。すなわち、
図10は、
図9の中心化処理の結果に対して、さらにPLS-β法を適用した結果の一例を示すグラフである。
【0050】
図10の例では、学習用データ、検証用データのデータ分割に用いる乱数を変え、2500回の試行の結果の中から選択された各波長領域の頻度(回数 縦軸)が結果として表示されている。そのため、
図10の例では、縦軸の波長の頻度が多い波長領域が、正常豆かPTD豆かの判定に寄与するか否か検証するにあたって優先度の高い波長領域ということができる。具体的に
図10の例では、370nm,410nm,450nm,490nm,520nm,550nm,565nm,580nm,600nm,620nm,635nm,660nm,675nm,730nm,760nm,800nm,875nm,935nm,960nm,995nm,1020nm,1080nm,1090nm,1100nm,1120nm,1140nm,1155nmが寄与の大きい波長と推測することができる。
これらのデータから、本出願の発明者等は、例えば、550nmから580nm、600nmから680nm、715nmから745nm、785nmから815nm、935から995nm、1005nmから1035nm、1080nmから1120nmの波長領域が特に寄与の大きい波長領域と推定した。
【0051】
選択波長の組み合わせを変更して、学習を行った場合の例を
図11に示す。
図11は、生データから選択波長におけるスペクトル強度のみをデータとしたものに対して、各種統計処理と学習を行い、精度を確認した結果の一例を示す図であり、
図7乃至
図10の例とは異なる例を示す図である。
図11の例では、各処理の結果選択された波長の個数、選択された波長の長さ、正常豆に対する正解率、異常豆(PTD豆)に対する正解率、全体(正常豆及びPTD豆)に対する正解率等の情報が、リストとしてまとめられている。
本出願の発明者等は、さらに他の多くのサンプルや統計処理の組み合わせを含む検討を行い、特に550nmから580nm,600nmから680nm,715nmから745nm,785nmから815nmの4つ波長領域を選択することで、安定して高い精度で正常豆とPTD豆の判定を行えることを明らかにした。また、例えば、875nm,935nmの2波長を選択した場合も、十分な精度で正常豆とPTD豆の判定を行えることを明らかにした。
【0052】
ここで、本発明者等は、測定実験中の観察からPTD豆には正常豆と変わらない部分とPTD豆特有のスペクトルの特徴を持つ部分があることを知ることができた。この点、本システムは、平均化処理等の空間分解能を下げる処理を行った状態でもPTD豆特有のスペクトルの特徴の影響が残るような演算処理の結果を利用して、学習処理や波長領域の選択を行うことができる。
そして、本システムは、その結果から特定された所定の波長領域が有効であるかどうかを、任意の空間分解能の高いデータの該当する波長領域のデータのみを用いて学習処理を行い、正常豆かPTD豆かの判定の精度を検討し、高い精度で判定を実現できる条件を検討した。
本システムは、このような方法により、学習処理と波長領域の選択の負荷を減らすことができ、また、他に組み合わせて採用する演算処理の選択肢を広く確保する。
【0053】
図12は、
図4の学習装置により実行される学習処理の流れを説明するフローチャートである。
【0054】
ステップS1において、学習装置2の測定情報取得部80は、分析装置1から送信されてきたコーヒー豆の外側と内側を含む合計6点の測定情報を、通信部29を介して取得する。
【0055】
ステップS2において、学習装置2の平滑化処理部90は、測定情報取得部80で取得された測定情報のそれぞれのスペクトル強度を平滑化した平均スペクトルを生成する。
【0056】
ステップS3において、正規化処理部92及び中心化処理部94はそれぞれ、平滑化処理部90で生成された平均スペクトルを正規化し、中心化する演算処理を実行する。
【0057】
ステップS4において、学習装置2の波長選択部96は、中心化処理部94で実行された演算処理の結果に対して、各種統計的手法(例えば、PLS-β)を適用することで、正常豆かPTD豆かの判定に寄与する優先度の高い波長領域を選択する。
【0058】
ステップS5において、学習装置2の学習処理部84は、波長選択部96で選択された各波長領域の組における測定情報に対して、学習処理を実行し、学習結果を生成する。
ここで、学習処理部84が学習に使用する測定情報は、取得された測定情報をそのまま利用してもよいし、測定情報に基づく平均スペクトルを使用してもよい。なお、本実施形態では、学習処理部84は、平均化した測定情報に基づいて決定された選択波長における、平均化していない測定情報を利用して学習処理を実行するものとする。
【0059】
ステップS6において、学習装置2の学習処理部84は、生成した学習結果に関する学習結果情報を推論装置3へ送信する。これにより、学習装置2で実行される学習処理は終了する。
【0060】
続いて、推論装置3により実行される推論処理の流れを説明する。
図13は、
図4の推論装置により実行される推論処理の流れを説明するフローチャートである。
【0061】
ステップS21において、推論装置3の学習結果取得部120は、学習装置2から送信されてくる学習結果情報を、通信部59を介して取得する。
【0062】
ステップS22において、推論装置3の対象情報取得部122は、分析装置1から送信されてくる、それぞれの測定用分析対象物における選択波長の対象情報を、通信部59を介して取得する。
【0063】
ステップS23において、演算処理部124は、対象情報に対して、各種統計処理(正規化処理や中心化処理等)を実行する。
【0064】
ステップS24において、推論装置3の判定部126は、学習結果取得部120で取得された学習結果情報及び対象情報取得部122で取得された対象情報に基づいて、対象情報が取得されたそれぞれの測定用分析対象物が、正常豆かPTD豆かを判定する。
【0065】
ステップS25において、推論装置3の出力部128は、判定部126で行われた判定結果を出力する。これにより、推論装置3で実行される推論処理は終了する。
【0066】
以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0067】
ここで、
図14を参照しながら、本システムの応用例の一例を示す。
図14は、各種統計的前処理を行った結果を示すプロット図の一例である。
【0068】
図14の例では、重要な潜在変数を軸とする二次元空間上に、演算処理を施した各々のスペクトルを射影したグラフが表示されている。例えば、
図14の例では、図の左上方向に正常豆の群が、図の右下方向にPTD豆の群が比較的多く表示されている。本システムは、このように生データに対して、各種前処理を行い、その結果をそのまま利用することで、測定用分析対象物が正常豆であるかPTD豆であるかの判定を行うことができる可能性もある。
【0069】
また、上述の実施形態において、本システムは、コーヒー豆の表側と裏側の合計6点で各種情報を取得するものとして説明したが限定されない。本システムが各種情報を取得する場所や数は任意であり、限定されない。
さらに言えば、本システムは、各種カメラやイメージング技術等、より空間分解能の高い手法を採用し、各種情報(反射スペクトルの強度等)を取得してもよい。
【0070】
また、上述の実施形態では、本システムは、PLS-β法を用いて波長領域の選択を行うものとして説明したが、限定されない。本システムは、例えば、PLS-VIP(Variable Importance in Projection),LASSO(Least Absolute Shrinkage and Selection Operator),Stepwise,GA-PLS(Genetic Algorithm-PLS)等の各種変数選択のための統計的手法を採用してもよい。
【0071】
また、上述の実施形態では、本システムは、550nmから580nm,615nmから645nm,715nmから745nm,785nmから815nmの4つ波長領域を選択することで、安定して高い精度で正常豆とPTD豆の判定を行えるものとして説明したが、あくまでもこれらの選択波長は例示である。本システムは、例えば、上述の波長領域以外を選択波長として選択してもよいし、例えば、550nmから580nm,615nmから645nm,715nmから745nm,785nmから815nmの4つ波長領域のうち1又は複数の波長領域のみを選択波長として選択してもよい。
【0072】
また、上述の実施形態では説明を省略したが、本システムは、例えば、カメラで撮像した画像に対して、スペクトル情報、画像の領域選択、豆の品質(正常又はPTD豆)水分含有量等の情報を追加で取得又はラベル付け等を行ってもよい。なお、この場合、本システムは、例えば、これらの情報を測定情報の一部として取得してもよい。
【0073】
また例えば、上述のシステム構成は、一例であり、限定されない。特に、分析装置1、学習装置2、推論装置3は必ずしも、個別のハードウェアとして機能する必要はなく、例えば、分析装置1と学習装置2の機能は一体となって提供されてもよいし、分析装置1と推論装置3の機能も一体となって提供されてもよいし、学習装置2と、推論装置3の機能も一体となって提供されてもよい。
【0074】
また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
すなわち、
図4の機能的構成は例示に過ぎず限定されない。上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるかは特に限定されない。また、機能ブロックの存在場所も、
図4の例に限定されず、任意でよい。
さらに言えば、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0075】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータ等は、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータ等は、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンや汎用的なPC(Personal Computer)であってもよい。
【0076】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成されてもよい。
【0077】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
すなわち、
図12及び
図13のステップの一部のステップは、適宜、変更もしくは省略されてもよい。
【0078】
また例えば、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0079】
以上を換言すると、本発明が適用される情報処理装置は、次のような構成を有していれば足り、各種各様な実施の形態を取ることができる。
即ち、本発明が適用される情報処理装置は、
対象物の選別に用いる情報処理装置であって、
選別の対象となる前記対象物に関する所定の波長領域における光の強度に関する情報を取得する取得手段(例えば、対象情報取得部122)と、
1以上の正常対象物及び欠陥対象物における所定の波長領域における反射又は散乱の強度に関する情報に統計的手段を適用して、学習された結果に基づいて、選別の対象となる前記対象物の性質又は品質を判定する(例えば、判定部126)判定手段と、
前記判定手段による判定の結果を出力する出力手段(例えば、出力部128)と、
を備える情報処理装置であれば足りる。
【0080】
また、前記判定手段は、310nmから1180nmの波長領域における反射又は散乱の強度に関する情報に統計的手段を適用して、学習された結果に基づいて、選別の対象となる前記対象物が正常対象物か欠陥対象物かを判定してもよい。
【0081】
また、前記波長領域は、選別の対象となる前記対象物の2以上の領域における反射又は散乱の強度に関する情報に統計的手法を実行することで算出されてもよい。
【0082】
また、前記統計的手法には、選別の対象となる前記対象物の2以上の領域における反射又は散乱の強度に関する情報に対する空間分解能を下げる処理が含まれてもよい。
【0083】
前記判定手段は、550nmから580nm、600nmから680nm、715nmから745nm、785nmから815nm、935から995nm、1005nmから1035nm、1080nmから1120nmのうちの少なくとも1つを含む波長領域における反射又は散乱の強度に関する情報に統計的手段を適用して、学習された結果に基づいて、選別の対象となる前記対象物が正常対象物か欠陥対象物かを判定してもよい。
【0084】
また、本発明の第2の態様として、本発明が適用される情報処理装置は、
対象物の選別にかかる情報処理装置であって、
1以上の正常対象物及び欠陥対象物における所定の波長領域における反射又は散乱の強度に関する情報を取得するデータ取得手段(例えば、測定情報取得部80)と、
前記データ取得手段により取得された前記情報に統計的手段を適合することにより学習を行う学習手段(例えば、学習処理部84)と、
を備える情報処理装置であれば足りる。
【0085】
また、本発明の第3の態様として、本発明が適用される情報処理方法は、
対象物の選別に用いるコンピュータが実行する情報処理方法であって、
選別の対象となる対象物に関する所定の波長領域における光の強度に関する情報を取得する取得手段と、
1以上の正常対象物及び欠陥対象物における所定の波長領域における反射又は散乱の強度に関する情報に統計的手段を適用して、学習された結果に基づいて、選別の対象となる前記対象物の性質又は品質を判定する判定手段と、
前記判定手段による判定の結果を出力する出力手段と、
を含む情報処理方法であれば足りる。
【0086】
また、本発明の第4の態様として、本発明が適用されるプログラムは、
対象物の選別に用いるコンピュータに、
選別の対象となる対象物に関する所定の波長領域における光の強度に関する情報を取得する取得手段と、
1以上の正常対象物及び欠陥対象物における所定の波長領域における反射又は散乱の強度に関する情報に統計的手段を適用して、学習された結果に基づいて、選別の対象となる前記対象物の性質又は品質を判定する判定手段と、
前記判定手段による判定の結果を出力する出力手段と、
を含む制御処理を実行させるプログラムであれば足りる。
【符号の説明】
【0087】
1・・・分析装置
2・・・学習装置
21・・・制御部
80・・・測定情報取得部
82・・・演算処理部
90・・・平滑化処理部
92・・・正規化処理部
94・・・中心化処理部
96・・・波長選択部
84・・・学習処理部
300・・・学習結果DB
3・・・推論装置
51・・・制御部
120・・・学習結果取得部
122・・・対象情報取得部
124・・・演算処理部
126・・・判定部
128・・・出力部
400・・・学習結果DB