▶ フォス アナリティカル アグシャセルスガーッブの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-06
(45)【発行日】2023-11-14
(54)【発明の名称】ミルクを分類するためのミルク分析器
(51)【国際特許分類】
G01N 21/17 20060101AFI20231107BHJP
【ＦＩ】
G01N21/17 A
【請求項の数】
5
(21)【出願番号】P 2021519844
(86)(22)【出願日】2019-10-11
(65)【公表番号】
(43)【公表日】2022-01-13
(86)【国際出願番号】 IB2019058694
(87)【国際公開番号】W WO2020095131
(87)【国際公開日】2020-05-14
【審査請求日】2022-09-02
(31)【優先権主張番号】PA201800836
(32)【優先日】2018-11-07
(33)【優先権主張国・地域又は機関】DK
(73)【特許権者】
【識別番号】513134993
【氏名又は名称】フォス アナリティカル アグシャセルスガーッブ
【氏名又は名称原語表記】ＦＯＳＳ ＡＮＡＬＹＴＩＣＡＬ Ａ／Ｓ
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】タウロ，サンディープ クリストファー
(72)【発明者】
【氏名】バルトヴァル，サマース
(72)【発明者】
【氏名】シュパラー，サラ ゾールフランク
【審査官】清水 靖記
(56)【参考文献】
【文献】米国特許出願公開第２００７／０２８９３６４（ＵＳ，Ａ１）
【文献】欧州特許出願公開第１２６４５３７（ＥＰ，Ａ１）
【文献】国際公開第２００４／１０２１８３（ＷＯ，Ａ２）
【文献】特表２００２－５０３０９７（ＪＰ，Ａ）
【文献】ZAKERI, Atefe ，An Early Detection System for Proactive Management of Raw Milk Quality: An Australian Case Study，IEEE Access，2018年10月25日，Volume 6，Pages 64333-64349，DOI:10.1109/ACCESS.2018.2877970
【文献】DA CRUZ, A. G. ，Monitoring the authenticity of low-fat yogurts by an artificial neural network，JOURNAL OF DAIRY SCIENCE，2009年10月，Volume 92, Issue 10，Pages 4797-4804，DOI: 10.3168/jds.2009-2227
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／９５８
Ｇ０１Ｎ ３３／００ － Ｇ０１Ｎ ３３／９８
Ｇ０１Ｎ １／００ － Ｇ０１Ｎ １／４４
Ｇ０１Ｎ ３５／００ － Ｇ０１Ｎ ３５／１０
Ａ０１Ｊ １／００ － Ａ０１Ｊ ９９／００
Ｇ０６Ｔ ７／００ － Ｇ０６Ｔ ７／９０
Ｇ０６Ｎ ２０／００ － Ｇ０６Ｎ ２０／２０
Ｇ０６Ｖ １０／００ － Ｇ０６Ｖ １０／９８
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
Ｓｃｏｐｕｓ
(57)【特許請求の範囲】
【請求項1】
分析モダリティを有するミルク分析ユニット（４０２、５０２、５２２）を含むミルク分析器（４００、５００、５２０）であって、前記ミルク分析ユニット（４０２、５０２、５２２）は、デジタル画像データ（Ｍ）の生成のためにミルクを画像化するように構成された画像化デバイス（４０４２、４０４４、５１０２、５３４）を有するミルク分類システム（３００、４０４）と、プログラムコードを実行して、前記画像化されたミルク内で視覚的に明らかであるクラス特徴に従って、前記画像化されたミルクを割り当てることができるクラスのセットからのクラスでラベル付けされたミルク画像を使用してトレーニングされた深層学習ニューラルネットワーク分類器を実装するように適合され、かつ前記画像化されたミルクをクラスの前記セットのクラスに割り当てるように動作可能であるプロセッサ（３０４４、３０４）と、前記割り当てられたクラスに応じて制御信号を出力して、前記ミルク分析ユニット（４０２、５０２、５２２）へのミルクの供給を制御するように構成されたコントローラ（３０６６）と、をさらに含む、ミルク分析器（４００、５００、５２０）。
【請求項2】
前記ミルク分析ユニット（４０２、５０２、５２２）は、前記制御信号に応答して、前記分析モダリティへのミルクの流れを阻止するように適合されたサンプル採取システム（４０２２、５０４、５３０、５３６）を含む、請求項１に記載のミルク分析器（４００、５００、５２０）。
【請求項3】
前記サンプル採取システム（４０２２、５０４）は、前記制御信号に応答して、移動するように構成された可動ピペット（４０２４、５０８）を含む、請求項２に記載のミルク分析器（４００、５００）。
【請求項4】
前記サンプル採取システムは、流れ導管（５３０）と、前記流れ導管（５３０）に接続された弁ユニット（５３６）であって、前記制御信号に応答して、流れ導管の中のミルクの前記流れを制御する、弁ユニット（５３６）と、を含む、請求項２に記載のミルク分析器（５２０）。
【請求項5】
前記流れ導管（５３０）は、透明セクション（５３０２）を含み、前記画像化デバイス（５３４）が、前記透明セクション（５３０２）内のミルクを画像化するように位置する、請求項４に記載のミルク分析器（５２０）。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ミルクを分類するための方法およびシステム、ならびにそれを採用するミルク分析器に関する。
【0002】
腐ったミルクとは、意図せずに、酸っぱくなったか、凝固したか、異物を含有するか、または別様に腐敗したミルクである。腐ったミルクを引き起こし得る様々な理由が存在する。それらとしては、搾乳前後の種（牛、山羊、羊など）の不適切なクリーニング、病気の種、輸送状態の管理の欠如または異常が挙げられる。タンパク質は、酵素作用または光への曝露によって分解され得る。タンパク質分解の主な原因は、プロテアーゼと呼ばれる酵素によるものである。望ましくない分解（タンパク質分解）は、異臭および低品質のミルクをもたらす。腐ったミルクは、小さなクラスタまたは塊の形で現れることが多く、次いで、これらは、視覚的な分類のために使用され得る。加えて、保管中または輸送中のいずれかの極端な温度サイクル、汚れた容器、誤った量の防腐剤、希釈剤、または他の添加物が、Ｃｅｎｔｒａｌ Ｍｉｌｋ Ｔｅｓｔｉｎｇ（ＣＭＴ）もしくは他の研究所または分析器に送られる前に、ミルクに導入されると、分解が加速する。
【0003】
しかしながら、引き起こされた腐ったミルクサンプルは、多かれ少なかれ自動化された分析機器での分析のために、必然的にＣＭＴおよび他の研究所または分析場所に到着する。これらの腐ったミルクサンプルは通常、分析前に視覚的に精査されないため、通常のサンプルワークフローの一部になり、良質なミルクサンプルと腐ったミルクサンプルとが混在して構成される。しかしながら、これらの腐ったミルクサンプルを分析機器に通すと、機器に重大な閉塞問題が引き起こされ得る。場合によっては、機器は、数日間使用されない可能性があり、研究所の運用に深刻な影響を与え得る。腐ったミルクサンプルの性質および／または「不良」の程度に応じて、腐ったミルクサンプルは、ピペットなどの分析機器の採取部分のブロックなどの単純な問題を引き起こし得るか、または機器内の深いより複雑な部分をブロックし得る。
【0004】
時には、ブロックされたピペットは、自動クリーニングルーチンで洗浄され得るが、常にそうであるとは限らない。自動クリーニングルーチンで適切な洗浄ができない場合、オペレータは、機械的ツールを使用して採取システムを洗浄する必要がある。これはまた、閉塞が、分析機器内のより深いところで発生し、任意のそのような閉塞に対処することが、困難であり、時間がかかる場合にも当てはまる。そのような閉塞は、影響を受けた分析機器のスループットを低下させ、ＣＭＴ研究所の運用コストを増加させる重大なダウンタイムにつながり得る。さらに、閉塞後の通常のワークフローは、様々な測定チェックを実行して、クリーニングが完全であることを確認することである。これらのチェック測定は、標準およびチェックサンプルなどの余分なサンプルを使用して、サービスに戻す前に、クリーニングの有効性を検証するため、研究所の機器の運用コストを増加させる。
【0005】
しばしば、腐ったミルクは、明確な視覚的外観だけでなく、明確な嗅覚特徴も有する。しかしながら、これは、常に当てはまるわけではなく、腐ったミルク、または視覚的に現れる他の特徴、特に望ましくない特徴を有するミルクの検出は、困難であることが判明する場合がある。例えば、視覚障害者、または視覚症状が微妙であり、ミルクが輸送タンカに積み込まれる前に農家が特定のミルク特徴の知識から利益を受け得る農場、または消費前に腐ったミルクを特定することが有用であり得る消費者など、おそらく、十分にトレーニングされた個人にのみ識別可能な場合である。
【0006】
本発明によると、分析モダリティを有するミルク分析ユニットを含むミルク分析器であって、ミルク分析ユニットは、デジタル画像データの生成のためにミルクを画像化するように構成された画像化デバイスを有するミルク分類システムと、プログラムコードを実行して、画像化されたミルク内で視覚的に明らかであるクラス特徴に従って、画像化されたミルクを分類することができるクラス内のミルクからのラベル付けされたミルク画像を使用してトレーニングされた深層学習ニューラルネットワーク分類器を実装するように適合され、かつ画像化されたミルクの分類を生成するように動作可能であるプロセッサと、生成された分類に応じて制御信号を出力して、分析ユニットへのミルクの供給を制御するように構成されたコントローラと、をさらに含む、ミルク分析器を提供する。
【0007】
いくつかの実施形態では、サンプル採取は、既定のクラスを示す出力デバイスからの信号出力に依存するサンプルの配列の他のサンプルから、あるサンプルを分離するように適合されたソータを含み、既定のクラスは、サンプル採取の動作が依存している既定のクラスと同じか、または異なっていてもよい。
【0008】
ミルクを分類するコンピュータ実装方法は、
－プロセッサに、ミルク画像のデジタル表現を含むトレーニングデータセットを使用してトレーニングされた第１の深層学習ニューラルネットワーク分類器を実装するステップであって、プロセッサは、１つ以上の相互運用可能な処理ユニットを含み得、各画像は、それが属するミルククラスでラベル付けされている、実装するステップと、
－プロセッサに、分類されるミルクの表現を含むデジタル画像データを得るステップと、
－プロセッサで、実装された第１の深層学習ニューラルネットワーク分類器を使用してデジタル画像データを処理して、デジタル画像データで表されるミルクの分類を、クラスのセット内のクラスに属するものとして生成するステップと、を含み得る。
－プロセッサに、ミルク画像のデジタル表現を含むトレーニングデータセットを使用してトレーニングされた第１の深層学習ニューラルネットワーク分類器を実装するステップであって、プロセッサは、１つ以上の相互運用可能な処理ユニットを含み得、各画像は、それが属するミルククラスでラベル付けされている、実装するステップと、
－プロセッサに、分類されるミルクの表現を含むデジタル画像データを得るステップと、
－プロセッサで、実装された第１の深層学習ニューラルネットワーク分類器を使用してデジタル画像データを処理して、デジタル画像データで表されるミルクの分類を、クラスのセット内のクラスに属するものとして生成するステップと、を含み得る。
【0009】
いくつかの実施形態では、デジタル画像データは、実装された第１の深層学習ニューラルネットワークを使用して処理され、デジタル画像データの特徴ベクトルを抽出し、抽出された特徴ベクトルについて、そのクラスに属する特徴ベクトルのクラスのセットの各クラスの確率を判定し、判定された確率に依存する分類を生成する。
【0010】
いくつかの実施形態では、深層学習ニューラルネットワーク分類器は、ミルクが望ましくない特徴を有するかどうかを示すクラス「ＧＯＯＤ」および「ＢＡＤ」、または同様のモニカのうちの１つに属するものとしてミルクを分類するように適合されている。他の実施形態では、深層学習ニューラルネットワーク分類器は、ミルクを、「異物」、「異物タイプ」、「凝集」、または色であり得る、といった異なるまたは追加のクラスに分類するように適合され得、ミルクは、深層学習ニューラルネットワーク分類器のクラスの１つ以上に属するものとして分類され得る。
【0011】
いくつかの実施形態では、深層学習ニューラルネットワーク分類器は、画像データ内のサンプル容器の存在およびミルクサンプルの存在のうちの一方または両方を判定するようにトレーニングされた１つ以上の層を含み、方法は、画像データ内のミルクサンプルの判定された存在に依存するミルクサンプルの分類を生成することを含む。深層学習ニューラルネットワーク分類器は、画像データから、サンプル容器を、十分または不十分なミルクサンプルを保持するものとして分類するようにトレーニングされた１つ以上の層を含み得る。
【0012】
いくつかの実施形態では、深層学習ニューラルネットワーク分類器は、いずれかの転移学習を使用して生成され得る。いくつかの実施形態では、深層学習ニューラルネットワーク分類器は、畳み込みニューラルネットワーク（「ＣＮＮ」）を含み得る。いくつかの実施形態では、深層学習ニューラルネットワーク分類器は、深層信念ネットワークまたは他の階層型ニューラルネットワークアーキテクチャを使用して生成され得、ここで、１つの層の入力は、前の層の出力である。
【0013】
深層学習モデルでは、過学習を回避するためのかなりの量のトレーニングインスタンスが必要である。そのため、深層学習には、かなりの量のトレーニング画像データとかなりの量の時間の投資が必要である。この負担を軽減するために、特にトレーニング画像の数が限られている場合に、転移学習を有効に採用することができる。転移学習は、１つのタスク用に開発されたモデルを、第２のタスクのために使用されるモデルの開始点として再使用する機械学習方法である。本発明の文脈において、深層学習モデルは、最初に、ミルク画像とは無関係の、多数の無関係なラベル付けされた（「分類された」）画像でトレーニングされて、分類器を構築する。次に、ラベル付けされたミルク画像のトレーニングデータセット（各ラベル付けされた画像はまた、「トレーニング画像データ」とも呼ばれる）が提供され、各画像は、１つ以上のクラスに属するものとしてラベル付けされ、深層学習モデルは、トレーニングデータセットに関するクラスを特定するのに役立つように分類器を変更するために、トレーニングデータセットを使用して、さらにトレーニングされる。
【0014】
ＣＮＮでは、より低い畳み込み層は、低レベルの画像特徴を捕捉し、より高い畳み込み層は、ますます複雑な画像詳細を捕捉し、最終的な層の数は、必要なクラス数を特定するために、必要な画像詳細の複雑さによって設定される。ＣＮＮアーキテクチャは一般に、畳み込み層およびプーリング（またはサブサンプリング）層からなり、モジュールまたはブロックにグループ化される。標準のフィードフォワードニューラルネットワークのように、１つまたは複数のいずれかの完全に接続された層は、これらのＣＮＮモジュールに従う。モジュールは、互いの上に積み重ねられて、深層モデルを形成する。画像は、ネットワークに直接入力され、その後、ＣＮＮモジュールで畳み込みおよびプーリングのいくつかのステージが続く。その後、これらの動作からの表現は、１つ以上の完全に接続された層に供給される。最後に、最後に完全に接続された層がクラスラベルを出力する。畳み込みモジュールは、特徴抽出器として機能するため、入力画像の特徴表現を学習する。畳み込みモジュールを含む畳み込み層のニューロンは、特徴マップに配設される。特徴マップの各ニューロンは、受容野を有し、トレーニング可能な重みのセットを介して、前の層のニューロンの近傍に接続されている。新しい特徴マップを計算するために、入力は、学習された重みで畳み込まれる。プーリング層の目的は、特徴マップの空間解像度を低下させ、入力歪みおよび平行移動に対する空間不変性を実現させることである。典型的に、画像の小さな近傍のすべての入力値の平均を次の層に伝播する平均プーリング集約層を採用することができる。代替的に、受容野内の最大値を次の層に伝播する最大プーリング集約層を採用することができる。これらの層に続く完全に接続された層は、モジュールによって抽出された抽象的な特徴表現を解釈し、高レベルの推論および分類の機能を実施し、しばしばサポートベクトルマシンとして実現されるか、またはＳｏｆｔｍａｘアプリケーション機能を実装するように構成されている。
【0015】
いくつかの実施形態では、デジタル画像データは、モノクロ（または少なくとも縮小色情報）画像を表し、そのモノクロカラーまたは縮小色パレットを選択して、画像内の関連する特徴（すなわち、分類に寄与する特徴）の可視性を高めることができる。
【0016】
いくつかの実施形態では、デジタル画像データは、ミルクの層を通る光の透過から得られた画像を表すことができる。
【0017】
いくつかの実施形態では、入力デバイスは、例えば、ミルクサンプルの記録された画像をデジタル表現に変換するように適合されたスキャナであり得、デジタルビデオカメラなどのビデオカメラ、およびミルクサンプルを含む動画の単一フレームをデジタル表現に変換するように適合されたフレームグラバであり得るか、または視野内に位置するミルクのサンプルのデジタル表現を生成するように適合されたデジタルスチルカメラであり得る。いくつかの実施形態では、入力デバイスは、固定有線リンクを介して、無線で、または２つの組み合わせを介して、電話ネットワークローカルエリアネットワーク、またはインターネットなどであるが、限定されないネットワークを通じて、リモートで生成されたデジタル画像データにアクセスするように構成された通信インターフェースを含み、リモートで生成されたデジタル画像データを、深層学習ネットワーク分類器への入力として提供し得る。
【0018】
いくつかの実施形態では、検出器を採用して、デジタルカメラの視野内のミルクサンプルの存在を検出することができ、デジタルカメラは、ミルクサンプルの存在を検出する検出器に依存するデジタル画像データを取得するように適合されている。いくつかの実施形態では、検出器は、サンプル容器によるエミッタと検出器との間を通過する光線の遮断が、デジタル画像データの生成のためのミルク画像の取得をトリガーするために使用可能なサンプル容器の存在を示す信号を生成する遮断型検出器であり得る。
【0019】
本発明の実施形態のいくつかの態様は、上記に要約されているが、この要約は、本発明を限定することを意図するものではなく、その範囲は、添付の特許請求の範囲によって適切に決定されることを認識されたい。
【図面の簡単な説明】
【0020】
本発明を含む例示的な実施形態は、添付の図の図面を参照して、以下により詳細に説明される。
【図1】本発明によるミルク分析器でミルクを分類する例示的な方法を例解する。
【図3】本発明によるミルク分析器でミルクを分類するためのミルク分類システムを例解する。
【図4】本発明によるミルク分析器を概略的に例解する。
【図5】本発明によるミルク分析器の他の２つの実施形態の一部分を概略的に例解する。
【図6】本発明によるミルク分類システムの別の実施形態を例解する。
【0021】
本発明の範囲は、以下に例解および考察される構成、構成要素、および方法ステップに限定されないことを認識されたい。むしろ、これらは、添付の特許請求の範囲に含まれる例としてのみ開示されている。
【0022】
図１では、本発明によるミルクを分類する方法の実施形態が例解されている。方法は、コンピューティングデバイスのプロセッサによって、ステッププログラムコードがアクセスおよび実行されて、プロセッサに深層学習ニューラルネットワーク（ＤＬＮＮ）分類器を実装するモデル実装ステップ１００を含む。このようにしてプロセッサに得られるＤＬＮＮ分類器は、分類される画像化されたミルクの表現を含むデジタル画像データから特徴ベクトルを抽出し、抽出された特徴ベクトルから、そのクラスに属するデジタル画像データで表された任意のミルクのクラスのセットの各クラスの確率を判定するようにトレーニングされた分類器である。クラスのセットの各クラスは、ミルクの特性を示す。取得ステップ１０２で、ミルクサンプルの表現を含むデジタル画像データは、プロセッサに得られる。特徴抽出ステップ１０４で、デジタルミルク画像データは、得られたＤＬＮＮ分類器を使用してプロセッサで処理され、デジタルミルク画像データの特徴ベクトルを抽出する。割り当てステップ１０６で、抽出された特徴ベクトルは、得られたＤＬＮＮ分類器を使用してプロセッサで処理され、そのクラスに属する抽出された特徴ベクトルのクラスのセットの各クラスの確率を判定する。分類ステップ１０８で、判定された確率は、得られたＤＬＮＮ分類器を使用してプロセッサで処理され、判定された確率に依存するクラスのセットのクラスに属するものとして、デジタル画像データに表されるミルクサンプルの分類を生成する。出力ステップ１１０で、分類を表す信号は、生成され、プロセッサの外部で使用するために出力される。
【0023】
いくつかの実施形態では、図１に例解されるように、方法は、有利であるが必須ではない確認ステップ１１２をさらに含み、ここでは、画像が処理されて（１０４、１０６）、ミルクサンプル自体を分類する（１０８）前に、取得ステップ１０２で取得されたデジタル画像データが処理されて、画像を、ミルクサンプルを含むものか、または含まないものとして分類する。いくつかの実施形態では、取得ステップ１０２で取得されたものとは異なるデジタル画像データを採用することができ、ただし、この他のデジタル画像データは、上記の１０２で取得されたが他の条件下で取り出されたデジタル画像データによって表されているものと同じミルクサンプルの画像を表す。これらの条件は、例えば、異なる視点、異なる露光時間、または異なる照明条件であり得、各々が、以下に記載されるさらなる処理ステップに最も適したデジタル画像データを提供するように選択されることを認識されたい。
【0024】
この確認ステップ１１２で、物体検出のサブステップ１１２２が実施される。この物体検出サブステップ１１２２で、デジタル画像データは、入力デジタル画像データ内のサンプル容器の表現の存在または不在を特定するようにトレーニングされ、プロセッサで実装される分類器、好ましくはＤＬＮＮ分類器に入力される。このサブステップ１１２２で採用されるＤＬＮＮ分類器は、いくつかの実施形態では、上記の実装ステップ１００でミルクを分類するために実装されるものであり得るか、または他の実施形態では、別個のＤＬＮＮ分類器であり得る。
【0025】
この物体検出サブステップ１１２２で、ＤＬＮＮ分類器は、デジタル画像データで表されるサンプル容器に関する特徴を抽出し、適切な特徴ベクトルを生成するように動作する。決定サブステップ１１２４で、物体検出サブステップ１１２２で抽出された特徴ベクトルは、処理されて、デジタル画像データにおけるサンプル容器の表現の存在または不在を判定する。存在しない場合、決定サブステップ１１２４で分岐Ｎによって例解されるように、ミルクを分類するためのデジタル画像データの処理（ステップ１０４～１１０）は実施される必要がなく、方法は終了サブステップ１１２６で終了する。
【0026】
決定サブステップ１１２４で分岐Ｙによって例解されるサンプル容器が存在する場合、方法は、第２の物体検出サブステップ１１２８に続く。
【0027】
この第２の物体検出サブステップ１１２８で、デジタル画像データは、分類器、好ましくはＤＬＮＮ分類器に入力され、分類器は、入力デジタル画像データ中のミルクの表現の存在または不在（いくつかの実施形態では、追加的または代替的に量）を特定するようにトレーニングされており、プロセッサに実装されている。このサブステップ１１２８で採用されるＤＬＮＮ分類器は、いくつかの実施形態では、上記の実装ステップ１００でミルクを分類するために実装されるものであり得、他の実施形態では、別個のＤＬＮＮ分類器であり得、他の実施形態では、物体検出サブステップ１１２４でのサンプル容器の検出において採用されたものと同じＤＬＮＮ分類器であり得る。異なるＤＬＮＮ分類器を採用してミルクを分類し、サンプル容器を検出し、デジタル画像データでミルクを検出する利点は、各ＤＬＮＮ分類器を、個別の分類タスクを実施するように特別にトレーニングできるため、そのタスクを実施するようにより良好に最適化することができることである。
【0028】
この第２の物体検出サブステップ１１２８で、ＤＬＮＮ分類器は、デジタル画像データで表されるミルクに関する特徴を抽出し、適切な特徴ベクトルを生成するように動作する。第２の決定サブステップ１１３０で、第２の物体検出サブステップ１１２８で生成された特徴ベクトルは、デジタル画像データにおけるミルクの表現の存在または不在を判定するために処理される。存在しない場合、第２の決定サブステップ１１３０で分岐Ｎによって例解されるように、ミルクを分類するためのデジタル画像データの処理（ステップ１０４～１１０）は実施される必要がなく、方法は、終了サブステップ１１２６で終了する。
【0029】
ミルクが存在する場合、第２の決定サブステップ１１３０で分岐Ｙによって例解されるように、方法は、続行され（ステップ１０４～１１０）、ステップ１０２で取得されたデジタルミルク画像データで表されるミルクの分類を実装する。
【0030】
任意選択の確認ステップ１１２を採用することにより、不必要な画像処理および分類が回避され、したがって、処理および時間のオーバーヘッドが削減される。いくつかの実施形態では、デジタル画像データにミルクの表現がない場合、ミルク分類を実施できないため、サンプル容器検出ステップ１１２２、１１２４を省略することによって、処理および時間のオーバーヘッドのさらなる削減を得ることができる。
【0031】
１つ以上のプロセッサに実装され、本発明による方法、例えば、図１を参照して説明した方法で使用可能なＤＬＮＮ分類器２００の例を、ここで、図２を参照してより詳細に説明する。例示的なＤＬＮＮ分類器２００は、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを使用して本実施形態で実現される抽出器２０２と、抽出器２０２に先行する入力２０４と、抽出器２０２に続く出力２０６と、を含む。分類中、ＤＬＮＮ分類器２００のデータは、入力２０４から抽出器２０２を通って出力２０６に順方向に流れる。
【0032】
本例では、入力２０４は、画像２０８を、デジタル画像データを保持するマトリックスＭに変換し、これを、抽出器２０２に提供するように構成されている。マトリックスＭの各セルは、入力画像２０８の異なるピクセル強度値を受信し、保持する。したがって、例えば幅７２０ピクセル、高さ４８０ピクセルの入力画像には、サイズ７２０ｘ４８０のマトリックスＭが必要になる。入力画像２０８がカラー画像である場合、各ピクセルは、３つの強度値、つまり赤、緑、および青の強度値によって表され得、したがって、いくつかの実施形態（図２に示される）では、マトリックスＭは、７２０ｘ４８０ｘ３セルであり、３は、チャネル、ここでは、赤、緑、および青のチャネルの数である。いくつかの実施形態では、画像は、ハイパースペクトル画像であり得、画像を表現させるために、マトリックスは、必然的に４つ以上のチャネルを有することになる。いくつかの実施形態では、入力２０４はまた、例えば、抽出器２０２に提供されるあらゆるマトリックスＭが、画像の特定の機能を強化するために、同じ量のデータまたは色変更を行うことを保証するように画像サイズ変更などの画像処理も実施するように既知の方法で構成され得る。
【0033】
抽出器２０２は、マトリックスＭに保持された入力デジタル画像データから特徴を抽出し、出力２０６への伝播のための特徴ベクトルＦを形成するように当技術分野で周知の方法で動作するいくつかの（ここでは、２つが例解される）隠れ畳み込みモジュールＣ１、Ｃ２を含む。本例では、隠れ畳み込みモジュールＣ１は、各チャネルを１つの重み付けフィルタＷＦ１（いくつかの実施形態では、複数の重み付けフィルタ）で順番に畳み込むことによって、入力２０４から伝播されたマトリックスＭの入力デジタル画像データを処理して、本質的に、入力デジタル画像データによって表される画像内の関連する特徴の場所（複数可）のマップである１つの特徴マップＦＭ１（いくつかの実施形態では、複数の特徴マップ）を生成する。２つ以上の特徴を抽出する場合は、対象となる特徴を抽出するように各々トレーニングされた異なる重み付けフィルタを、伝播されたマトリックスＭの入力デジタル画像データと畳み込み、対応する特徴マップを生成する。次に、特徴マップ（または各特徴マップ）は、特徴マップを処理して、空間全体にダウンサンプリング集約を提供し、入力歪みおよび平行移動に対する空間的不変性を有する関連する縮小された特徴マップＲＦＭ１を生成するプーリング層Ｐ１に伝播される。この縮小された特徴マップ（または複数のマップ）は、本例では、次の隠れ畳み込みモジュールＣ２に伝播され、そこで、前の畳み込みモジュール（ここではＣ１）からのこの縮小された特徴マップは、１つ以上の他の重み付けフィルタＷＦ２との畳み込みによって処理され、ＷＦ３および結果として得られる１つ以上の特徴マップＦＭ２は、上記のプーリング層Ｐ１と同様に、プーリング層Ｐ２で処理されて、新しい縮小された特徴マップＲＦＭ２を生成する。新しい縮小された特徴マップＲＦＭ２は、一般に、入力２０４からのデジタル画像データにおけるより高いレベルの特徴をマッピングする。
【0034】
いくつかの実施形態では、および当技術分野で知られているように、隠れ畳み込みモジュールＣ１、Ｃ２のうちの１つ以上は、モデルのロバスト性を改善するために提供される他の層、例えば、非線形化を提供するための層、いわゆる「活性化関数」、例えば、負の値をゼロに変換するように動作するＲｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ（ＲｅＬＵ）層、および／または白色化または側抑制を提供し得る正規化層を含み得る。
【0035】
すべての畳み込みモジュールＣ１、Ｃ２による処理後に生成された、最終的な縮小された特徴マップ、ここでは特徴マップＲＦＭ２の特徴は、このＣＮＮベースの抽出器２０２の最終層で連結され、出力２０６の隠れラベル予測層Ｌに伝播される特徴ベクトルＦを生成する。ラベル予測層Ｌは、完全に接続されたノードの１つ以上の層を含み、これはまた、活性化関数を含み得る。１つの層の各ノードは、個別に重み付けされた接続によって前の層のあらゆるノードに接続され、各ノードは、個別にバイアスされる場合がある。いくつかの実施形態では、ＤＬＮＮ分類器２００の予測を改善するために、これらの重みおよび／またはバイアスを更新するために、追加のトレーニング画像データを採用することができる。
【0036】
ラベル予測層Ｌは、ｎ次元ベクトルを生成するように機能し、ここで、ｎは、入力画像２０８が分類され得る可能なクラスの数である（本実施形態では、２つの可能なクラスＧＯＯＤ／ＢＡＤ）。このｎ次元ベクトルの各数は、画像２０８（またはその一部分）がｎ個のクラスのうちの特定のクラスに属する確率を表す。このラベル予測層Ｌは、例えば、これらの確率を導出するために、いわゆる「ソフトマックス」活性化関数を使用するように構成され得るか、またはいわゆるサポートベクトルマシン（ＳＶＭ）として構成され得る。本実施形態では、各可能なクラスの出力Ｏ１、Ｏ２には、ｎ次元ベクトルの確率スコアが投入される。これらの出力Ｏ１およびＯ２、またはいくつかの実施形態では、最も高い確率を有する出力のみが、例えば、表示画面に表示するための１つ以上の依存メッセージの生成、またはミルクサンプルを流用するための外部デバイスの動作を制御するための制御信号の生成に使用するために、ＤＬＮＮ分類器２００の外部でアクセス可能であるように構成されている。
【0037】
入力画像２０８から特徴情報を抽出するために、畳み込み処理以外のネットワークを採用することができることを認識されたい。例えば、制限付きボルツマンマシンの積み重ねられた層である深層信念ネットワークは、オートエンコーダおよび一般的な敵対的ネットワークと同様に、この機能を実施するために採用され得る。
【0038】
本発明の深層学習ニューラルネットワーク分類器、例えば図２のＤＬＮＮ分類器２００は、畳み込みモジュールＣ１、Ｃ２の重み付けフィルタを生成するために、転移学習によってトレーニング（または再トレーニング）され得る。ラベル予測層Ｌの各接続の重みおよび／またはバイアスは、この方法で追加的または代替的に再トレーニングされ得る。典型的に、畳み込みモジュールＣ１、Ｃ２の重み付けフィルタは、固定されたままであり、以下で説明するように、後続のファインチューニング中に調整されるのは、ラベル予測層Ｌの接続の重みおよび／またはバイアスである。
【0039】
ほんの一例として、深層学習ニューラルネットワーク分類器のトレーニングは、ミルクサンプルを２つのクラス（例えば、ＧＯＯＤまたはＢＡＤ）にのみ分類することを参照して説明するが、分類器は、ミルクサンプルを、クラス特徴がミルクの画像に視覚的に明らかである場合、任意の数のクラスのうちの１つ以上に属するものとして分類するようにトレーニングし得ることを認識されたい。
【0040】
深層学習ニューラルネットワーク分類器、例えばＤＬＮＮ分類器２００は、前のデータまたは情報の恩恵を受けずに（つまり、最初から）トレーニングするか、またはアプリケーションドメインのトレーニングセットのサイズに応じてファインチューニングすることもできる。深層学習ニューラルネットワーク分類器は、２つのフェーズでトレーニングし得る。初期化トレーニングフェーズ中に、ミルクとは関係のない様々な主題を含む画像の非常に大きなセットが、トレーニングデータとして深層学習ニューラルネットワーク分類器に供給され得る。例えば、ＩｍａｇｅＮｅｔコレクションなどからの画像は、重み付けフィルタ、ならびに深層学習ニューラルネットワーク分類器の重みおよびバイアスを初期化するのに役立ち得る。トレーニングのチューニングフェーズとして、予想される異常を含み、そのように注釈が付けられたミルクサンプルの特殊な画像（トレーニング画像データ）を、トレーニングデータとして、深層学習ニューラルネットワーク分類器に供給することができる。トレーニングデータには、異常がないことがわかっており、そのように注釈が付けられているミルクサンプルの画像のセットが含まれ得る。ラベルは、画像内の任意の異常な部分の存在に基づいて、トレーニング画像全体に対して定義し得、これは、大規模なラベル付け作業なしでリアルタイムで容易に得ることができる。トレーニング画像の異常領域を定義、セグメント化、または輪郭を描く必要はない。適切なトレーニング画像は、少なくとも１つの異常なピクセルを有するものとして定義し得る。各トレーニング画像は、ＤＬＮＮ分類器のトレーニングの前に、ラベルを付けするか、または注釈を付けて記憶され得る。例えば、異常領域を有するミルクサンプルのトレーニング画像は、「ＢＡＤ」として注釈が付けられ得、異常領域を有さないミルクサンプルのトレーニング画像は、「ＧＯＯＤ」として注釈が付けられ得る。画像レベルベースの注釈の適用により、トレーニングプロセスは、大幅に合理化され、労力を軽減して完了することができる。画像レベルのラベルを有するトレーニングデータは、画像レベルのラベルを有するクラスごとに、数百のサンプルなど、かなりの数のサンプルでからなり得る。バウンディングボックスラベルを有するトレーニングデータ用に選択された画像は、クラスごとに約２０個の画像など、より少ない数のサンプルからなり得、バウンディングボックスは、異常を検出するために役立つ画像内のキーマーカーを囲む。画像パッチは、各クラスのサンプル画像からトリミングすることができ、パッチがトリミングされる画像に対応する同じ画像レベルのクラスラベルを有するマーカーを含むようにラベル付けすることができる。画像パッチは、元の画像のサイズに一致するようにサイズ変更することができる。トレーニングデータ画像のすべてのセットが生成され、サイズが変更されると、トレーニングデータを適用することによって、深層学習ニューラルネットワーク分類器をトレーニングすることができる。ＤＬＮＮ２００分類器は、既知の転移学習手法を使用してトレーニングすることができ、ここでは、トレーニングデータは、公開されているトレーニングデータセットのうちの１つ、例えば、ＩｍａｇｅＮｅｔ、Ｏｐｅｎ Ｉｍａｇｅｓ、またはＭｉｃｒｏｓｏｆｔ Ｃｏｍｍｏｎ Ｏｂｊｅｃｔｓ ｉｎ Ｃｏｎｔｅｘｔによる深層学習ニューラルネットワーク分類器の初期化トレーニングフェーズに続いて、再トレーニングまたは「チューニング」として適用される。典型的に、この初期化トレーニングフェーズ中に学習された重み付けフィルタは、固定されたままであり、ラベル予測層Ｌの層のノード間の接続重みおよびバイアスのみが、その後、改良または「チューニング」トレーニングフェーズ中に変更され得る。ラベル付けされたミルク画像のトレーニングデータセットは、拡張されるか、または他のラベル付けされたミルク画像に置き換えられ、既存のＤＬＮＮミルク分類器に適用して、再トレーニングまたはそのトレーニングを改善することができる。
【0041】
いくつかの実施形態では、１つ以上の追加のＤＬＮＮ分類器を採用することができ、これらは各々、入力画像内の追加の関連する特徴を特定するために別々にトレーニングされる。これらの追加の特徴は、ミルク分類を行うためにＤＬＮＮ分類器２００で採用されている特徴とは別のものであり、ＤＬＮＮ分類器２００をトレーニングして、これらの特定を行うこともできるが、ＤＬＮＮ分類器を１つの目的でトレーニングする方が、しばしば柔軟性および信頼性がより高い。本実施形態では、図１の任意選択の確認ステップ１１２を参照して、２つの追加のＤＬＮＮ分類器を実装することができ、１つは、サンプル容器の存在または不在を判定する（ステップ１１２２）ためのもの、１つは、ミルクの（十分な量の存在さえも）存在または不在を判定する（ステップ１１２８）ためのものである。各追加のＤＬＮＮ分類器は、ＤＬＮＮ分類器２００に関する上記の構成およびトレーニングに類似した方法で、構成およびトレーニングすることができ、ミルクを分類するように構成されたＤＬＮＮ分類器２００と直列に動作するように構成され得、列内の後続のＤＬＮＮ分類器が、列内の直前のＤＬＮＮ分類器によって行われた分類に依存して動作するように構成されている。したがって、図１の例示的な方法によれば、画像２０８の第１のＤＬＮＮ分類（ステップ１１２２）が行われて、サンプル容器の存在または不在が判定される。第１の分類器がサンプルカップの存在を判定した場合、第２のＤＬＮＮ分類器がトリガーされて分類を実施する（ステップ１１２４）。次に、画像データの第２のＤＬＮＮ分類（ステップ１１２８）が行われて、入力画像２０８におけるミルクの存在または不在が判定され、ミルクが存在する場合（ステップ１１３０）、ＤＬＮＮ分類器２００の動作がトリガーされて、画像２０８のミルクの分類を行う。他の実施形態では、１つ以上の別個の画像を表す入力デジタル画像データは、適切なＤＬＮＮ分類器の抽出器に伝播され得る。
【0042】
デジタル画像データで表されるミルクを、複数のクラスの中の１つのクラスに属するものとして分類するための、図２のＤＬＮＮ分類器２００を実装するのに好適な、本発明によるミルク分類システム３００の実施形態が、図３に概略的に例解されている。
【0043】
システム３００は、入力デバイス３０２、コンピューティングデバイス３０４、および出力デバイス３０６を含む。
【0044】
入力デバイス３０２は、ミルクサンプルの画像２０８のデジタル表現を生成し、コンピューティングデバイス３０４で処理するために、この表現を提供するように構成されている。
【0045】
いくつかの実施形態では、入力デバイス３０２は、デジタルカメラまたは他の検出器配設３０２２を含み、任意選択的に、デジタルカメラまたは検出器配設３０２２の視野内の画像化ステージ３０２４に位置し得るミルクサンプルのデジタル画像を生成するように適合された調整光学要素（レンズおよびフィルタなど）を含む。いくつかの実施形態における画像化ステージ３０２４は、ミルクサンプルが、例えば、可動ベルトまたはトラック上に配置または輸送されるか、または噴霧されるか、または別様に自由空間を通って流される空間内の領域であり得るか、またはミルクサンプルが固定または配置されるホルダであり得る。任意選択的に、入力デバイス３０２は、画像化ステージ３０２４に位置するサンプルを照明するように適合された照明源３０２６を含み得る。調整光学系および／または照明源３０２６は、例えば、その波長範囲の光が、フィルタおよび／または照明源３０２６によって放出される放出波長の賢明な選択を通して、サンプルを照明することを確実にすることによって、特定の波長範囲内の光のみが、（カメラまたは検出器配設の）検出器に到達することを確実にするように適合され得る。限られた波長範囲のみのこの選択はまた、対象となる波長領域に関係のない取得された画像からの情報を除去するためのデジタル画像データの好適な取得後処理によって達成され得る。いくつかの実施形態では、照明源３０２６およびカメラ／検出器配設３０２２は、画像化ステージ３０２４でサンプルを透過した光のみがカメラ／検出器配設３０２２によって検出されるように、画像化ステージ３０２４に対して配向され得、他の実施形態では、構成は、サンプルから反射された光が検出されるようなものであり得、さらに他の実施形態では、構成は、透過光および反射光の各々について別個の画像が生成されるようなものであり得る。
【0046】
いくつかの実施形態では、入力デバイス３０２は、ミルクサンプルの画像の紙のコピーを、その画像のデジタル表現に変換するように適合されたフラットベッドスキャナなどの従来のデジタイザであり得る。
【0047】
いくつかの実施形態では、入力デバイス３０２は、記憶デバイスおよびリーダを含み得る。記憶デバイスは、ミルクサンプルのデジタル画像を、有形のコンピュータ可読媒体に記憶するように適合されており、例えば、ＣＤ－ＲＯＭもしくは他の光記憶媒体、ＵＳＢもしくは他の固体記憶デバイス、または１つ以上のサーバで実現される遠隔大容量記憶デバイスであり得る。リーダは、記憶デバイスにアクセスし、デジタル画像データとしてコンピューティングデバイス３０４に伝播するために、デバイスに記憶されたミルクサンプルのデジタル画像を得るように構成されている。
【0048】
コンピューティングデバイス３０４は、コンピューティングデバイス３０４にデータを受信すること、およびコンピューティングデバイス３０４からデータを送信することのうちの一方または両方のための１つ以上の通信インターフェース３０４２と、例えば、専用マイクロプロセッサ、従来のシングルコアもしくはマルチコアコンピュータ処理ユニット（ＣＰＵ）、好適に適合されたグラフィカル処理ユニット（ＧＰＵ）、またはニューラル処理ユニット（ＮＰＵ）のうちの１つ以上などの１つ以上の処理ユニットを含み得るプロセッサ３０４４と、システムメモリ３０４６と、任意選択的に、内部またはリモートでアクセス可能な記憶デバイス３０４８と、を含む。
【0049】
プログラムコードは、本実施形態では、プロセッサ３０４４による実行のためにシステムメモリ３０４６にロードされる。このプログラムコードは、システムメモリ３０４６に一時的または永続的に記憶され得、存在する場合、内部または外部記憶デバイス３０４８からシステムメモリ３０４６（またはプロセッサ３０４４に直接）にアクセス可能にし得、または、一部は、コンピューティングデバイス３０４の内部に、一部は、コンピューティングデバイス３０４の外部に記憶され得る。外部に記憶されたプログラムコードには、ＤＬＮＮ分類器、例えば図２に例解するＤＬＮＮ分類器２００の再トレーニングまたはさらなるトレーニングを、中央で実施し、同じ新しいモデルを、１つ以上のミルク分類システム３００の１つ以上のコンピューティングデバイス３０４に展開できるという利点がある。
【0050】
プログラムコードは、プロセッサ３０４４の１つ以上のプロセッサユニット上で実行されるときに、プロセッサ３０４４に、本発明による上記のＤＬＮＮ分類器２００などのＤＬＮＮ分類器を実装させる命令を含む。具体的には、本実施形態では、プログラムコードがプロセッサ３０４４の１つ以上の処理ユニットによって実行されると、コンピューティングデバイス３０４は、抽出器２０２、入力２０４、およびＤＬＮＮ分類器２００の出力２０６に関して本明細書に記載のタスクを実施するように構成された専用コンピュータに変換される。すなわち、入力デバイス３０２によって生成されたデジタル画像データは、所望のデータフォーマットを得るための好適な前処理の有無にかかわらず、通信インターフェース３０４２を介して、プロセッサ３０４４に直接、またはシステムメモリ３０４６を介してプロセッサ３０４４に間接的に利用可能になり得、プロセッサ３０４４は、このデジタル画像データに作用して、実装されたＤＬＮＮ分類器を介してそれを処理し、入力デジタル画像データに基づいてミルクサンプルの分類を生成し、生成された分類が外部で、ここでは通信インターフェース３０４２を介して利用可能になる。ＤＬＮＮ分類器が利用できる他のクラスに属するミルクサンプルの確率の一部またはすべては、通信インターフェース３０４２を介して外部から利用可能にすることもでき、これらの他の確率もまた、プロセッサ３０４４によって実装される分類プロセスで判定される。
【0051】
本実施形態の出力デバイス３０６は、通信インターフェース３０６２、ディスプレイデバイス３０６４、および制御信号発生器３０６６を含む。コンピューティングデバイス３０４の通信インターフェース３０４２を介して外部で利用可能にされたデジタル情報（すなわち、入力デバイス３０２によって得られた画像に描写されるミルクサンプルの分類、および任意選択的に、ＤＬＮＮ分類器に利用可能なクラスの一部またはすべてに属するミルクサンプルの確率（プログラムされたプロセッサ３０４４によって判定される）は、その通信インターフェース３０６２を介して出力デバイス３０６に受信される。制御信号発生器３０６６は、通信インターフェース３０６２からデジタル情報を受信し、これに応じて信号を生成し、例えば、本実施形態に例解されるように、プロセッサ３０４４によって実装されたＤＬＮＮ分類器によって生成されたミルクサンプル分類に関連する情報を表示するようにディスプレイデバイス３０６４を駆動する。そのような表示される情報は、単に分類自体（例えば、「ＧＯＯＤ」もしくは「ＢＡＤ」、または「ＳＵＩＴＡＢＬＥ」もしくは「ＵＮＳＵＩＴＡＢＬＥ」などの代替の二項分類）であり得るか、または分類に関連するオペレータへの指示（例えば、サンプルが「ＢＡＤ」または「ＵＮＳＵＩＴＡＢＬＥ」であると分類されている場合は、「ＲＥＭＯＶＥ ＳＡＭＰＬＥ」）であり得る。いくつかの実施形態では、ディスプレイデバイス３０６４は、「ＢＡＤ」の赤色光および「ＧＯＯＤ」の緑色光などの一連の光であり得、これらは、制御信号に応じて別々に照明する。いくつかの実施形態では、ディスプレイデバイス３０６４は、分類の結果を音声で表示するためのサウンドジェネレータであり得る。
【0052】
追加的または代替的に、制御信号発生器３０６６は、以下に説明するように、コンピューティングデバイス３０４で生成された分類に応じて、１つ以上の外部デバイスを制御するために使用可能な制御信号を生成するように構成され得る。そのような実施形態では、制御信号は、通信インターフェース３０６２を介して出力デバイス３０６の外部で利用可能にされ得、いくつかの実施形態では、ディスプレイ３０６４は、有用な目的を果たさず、省略され得る。
【0053】
システム３００は、固定コンピュータ、携帯用電子デバイス、ラップトップコンピュータもしくはモバイルコンピュータ、ネットワークコンピュータもしくはサーバコンピュータ、またはメインフレームコンピュータを使用して実装することができる。特定の機能は、単一のデバイス上で実施されると説明されているが、本発明をこれに限定する意図はないことを認識され、本発明はまた、機能が、ローカルまたはリモートデバイスであり得る、異種であるがリンクされたデジタル処理デバイスおよびメモリデバイスの中で共有され得る分散環境でも実践され得ることを理解されたい。これらの処理デバイスおよびメモリデバイスは、ローカルエリアネットワーク、ワイドエリアネットワークまたはインターネットなどの通信ネットワークを介してリンクすることができる。好適なプロセッサに実装される命令は、コンピュータディスク、事前にプログラムされたコンピュータチップ、または取り外し可能な固体記憶デバイス（ＵＳＢメモリスティックなど）などの有形のコンピュータ可読媒体に記憶することができる。追加的または代替的に、命令は、ネットワーク上に分散され、好適な伝搬媒体で信号として伝搬され得る（電磁波または音波を採用するなど）。
【0054】
入力デバイス３０２からコンピューティングデバイス３０４へ、コンピューティングデバイス３０４から出力デバイス３０６へ、およびコンピューティングデバイス３０４の外部からそのシステムメモリ３０４６またはそのプロセッサ３０４４へのデジタル情報の転送、実際には、本発明によるシステム内のデジタル情報の任意の通信は、変調されたデータ信号を運ぶハードワイヤードネットワークまたは有線通信接続などの固定リンクを介し得るか、または無線周波数または赤外線リンクなどの１つ以上の変調されたデータ信号またはキャリア波を通信するための無線リンクを介し得る。
【0055】
本発明によるミルク分析器４００の例が図４に例解されている（原寸に比例していない）。ミルク分析器４００は、ミルク分析ユニット４０２およびそれと動作可能に接続されたミルク分類システム４０４を含む。ミルク分析ユニット４０２は、ミルクがサンプル容器から分析ユニット４０２内の分析モダリティ（図示せず）に供給される可動ピペット４０２４の動作を制御するように構成されたサンプル採取システム４０２２を含む。ピペット４０２４は、表面上のその先端４０２６の高さを調整するために移動可能である。既知の赤外線分光法またはフローサイトメトリー分析モダリティなどの任意の分析モダリティを、ミルク分析ユニット４０２内で採用することができることを認識されよう。
【0056】
ミルク分類システム４０４は、サンプル容器からミルクを画像化するように構成されており、画像化されたミルクが分類され得るクラスからのラベル付けされたミルク画像を使用してトレーニングされ、ミルク分類システム４０４のプロセッサに実装され得る、図２を参照して上記で説明されたＤＬＮＮ分類器２００などのＤＬＮＮ分類器を使用して、画像化されたミルクの分類を生成し、生成された分類に応じて、分析ユニットへのミルクの供給を制御する。
【0057】
本実施形態では、ミルク分析器４００は、ベルトコンベヤなどのコンベヤシステム４０６に対して位置し、そのピペット４０２４を、コンベヤシステム４０６の水平面４０６２の上に位置決めして、移動したときに、図に例解される矢印の方向のコンベヤシステム４０６の移動に伴い、サンプルラック４１０に保持されたサンプル容器４０８ａ．．ｄがピペット４０２４の下を順次通過するときに、そこから出入りできるようにする。サンプル容器４０８ａ．．ｄは、ミルク（例えば４０８ａ、４０８ｂ、および４０８ｄ）を含み得るが、サンプル容器（例えば４０８ｂ）は、分析のために不十分な量のミルクを含み得、サンプル容器（例えば４０８ｃ）は、空であるか、またはサンプル容器が欠落している可能性があり、ラック４１０は、空のホルダ位置を有する（例えば４１０２）。
【0058】
ほんの一例として、説明を容易にするために、本実施形態のミルク分類システム４０４は、図３を参照して上記で既に説明したミルク分類システム３００の機能要素を含むものとして説明される。したがって、ミルク分類システム４０４は、入力デバイス３０２、コンピューティングデバイス３０４、および出力デバイス３０６を含む。
【0059】
本実施形態の入力デバイス３０２は、２つのデジタルビデオカメラ４０４２、４０４４を含む。第１のデジタルビデオカメラ４０４２は、その視野が垂直に下向きに配設され、第２のデジタルビデオカメラ４０４４は、その視野が第１のデジタルビデオカメラ４０４２の視野と交差し、第１のカメラ４０４２の視野に垂直になるように配設され、任意のサンプル容器４０８ａ．．ｄは、第１のデジタルビデオカメラ４０４２によって上から、および第２のデジタルビデオカメラ４０４４によって横から画像化され得る。横からの画像化の利点は、サンプル容器４０８ａ．．ｄの存在、および任意選択的にサンプル容器４０８ａ、ｂ、ｄ内のミルクのレベルが、本実施形態において、コンピューティングデバイス３０２に実装されたＤＬＮＮ分類器を使用して、画像から判定され得ることである。第１のデジタルビデオカメラ４０４２を使用して上から得られた画像は、コンピューティングデバイス３０４にも実装され、ラベル付けされたミルク画像を使用してミルクの分類を行うようにトレーニングされたさらなるＤＬＮＮ分類器に処理され、ミルク分析器４００での分析に好適または不適（すなわち、閉塞を引き起こす可能性が低いか、または可能性が高い）として特定する。このさらなるＤＬＮＮ分類器は、例えば、図２のＤＬＮＮ分類器２００に関して上記で考察されるように動作することができる。本実施形態の２つのビデオカメラ４０４２、４０４４は、ピペット４０２４の上流（コンベヤシステム４０６の移動方向）の場所、したがって、ミルク分析ユニット４０２内の分析モダリティの上流の場所を画像化するように配設されており、コンベヤシステム４０６上の任意のサンプル容器４０８ａ．．ｄは、それがピペット４０２４の下を通過する前に、上からおよび横から画像化されることになる。
【0060】
サンプル容器を異なる角度から見ることができるように、または多かれ少なかれデジタルカメラを使用することができるように、またはスチルカメラまたはＣＣＤセンサアレイなどの画像化検出器を、クレームされた本発明から逸脱することなく、ビデオカメラ４０４２、４０４４の代わりに使用することができるように、デジタルカメラ４０４２、４０４４の他の配設が採用され得ることを認識されたい。本実施形態では、画像は、周囲光で得られるべきであるが、他の実施形態では、入力デバイス３０２はまた、１つ以上の光学バンドパスフィルタおよび／またはレンズなど他の光学調整素子とともに、特定の狭いスペクトル領域で照明を生成するように適合された光源を含み得る１つ以上の照明源を含み得る。
【0061】
ここで、分類システムの出力デバイス３０６は、コンピューティングデバイス３０４で生成されたミルクの二項分類の結果に依存する制御信号を生成するコントローラ３０６６を含む。制御信号は、この制御信号に応じて動作して、ミルク分析ユニット４０２へのミルクサンプルの採取を制御するように構成されているサンプル採取システム４０２２に出力される。本実施形態では、生成された分類が不適なミルクのサンプル（「ＢＡＤ」ミルク）の存在を示す場合、生成された制御信号は、サンプル採取システム４０２２内で解釈され、ピペット４０４２からミルク分析ユニット４０２の分析モダリティへのいかなるミルクサンプルの供給も阻止する。
【0062】
いくつかの実施形態では、制御信号は、ミルク分析ユニット４０２の外側で、サンプル容器を矢印によって示される経路をたどるように偏向させるためのロボットアームまたは偏向器などのソータ（図示せず）に渡され、それは、コンベヤシステム４０６から、不適または不十分なミルクサンプルを含むと分類された容器、例えば４０８ｂ、４０８ｃを除去し、したがって、ミルク分析ユニット４０２の分析モダリティへの不適なサンプルの供給を阻止するための制御信号に応答して動作する。
【0063】
いくつかの実施形態では、破線構造４１２、３０４’によって図４に例解されているように、ＤＬＮＮ分類器の全体または一部分は、リモートコンピューティングデバイス３０４’に実装され得る。入力デバイス３０２によって捕捉された画像は、ここではインターネット４１２を使用して、リモートコンピューティングデバイス３０４’に送信される。リモートコンピューティングデバイス３０４’は、上記のコンピューティングデバイス３０４のように、ＤＬＮＮ分類器を実装して、上記で考察されるように、捕捉された画像を処理し、制御信号の構築に使用するために出力デバイス３０６への入力として戻される画像の二項分類を行う。代替的に、リモートコンピューティングデバイス３０４’はまた、制御信号を構築し、これを、ミルク分析ユニット４０２へのミルクサンプルの採取を制御する際に使用するために戻すことができる（例えば、サンプル採取セクション４０２２またはソータの制御を介して）。
【0064】
ミルク分析器５００の別の実施形態の一部分が図５ａに例解されている。ミルク分析器５００は、サンプル採取システム５０４を含むミルク分析ユニット５０２（部分的にのみ例解されている）を含む。サンプル採取システム５０４は、容器ホルダ５０６と、容器ホルダ５０６内に配置されたサンプル容器（図示せず）からのミルクが、ミルク分析ユニット５０２内の分析モダリティに輸送される可動ピペット５０８と、を含む。ピペット５０８は、軸Ａに沿ってサンプル採取システム５０４の制御下で移動可能であり、容器ホルダ５０６のベース５０６２より上の高さを変化させ、したがって、容器ホルダ５０６内に配置されたサンプル容器内のミルクと接触する、および接触しないように移動可能である。
【0065】
本発明による、図３を参照して上記に例解されたミルク分類システムの入力デバイス５１０は、少なくとも部分的に、サンプル採取システム５０４内に位置する。ここでの入力デバイス５１０は、容器ホルダ５０６内に配置されたミルクサンプル容器の上から画像を得るように構成されたデジタルスチルカメラ５１０２を含む。
【0066】
図４に描写されるミルク分析器４００に関連して上記で考察されるように、入力デバイス５１０によって得られた画像を表すデジタル画像データは、コンピューティングデバイス、例えば、図３のコンピューティングデバイス３０４に渡され、その後、上記のように、トレーニングされたＤＬＮＮ分類器（例えば図２の２００）を実装するプログラムコードを実行するプロセッサ（例えば図３の３０４４）の１つ以上の処理ユニットは、画像内の任意のミルクの、ＤＬＮＮ分類器で使用可能なクラスのセットのクラスへの分類を生成するためにデジタル画像データを処理する。出力デバイス（例えば図３の出力デバイス３０６）は、コンピューティングデバイスによって生成された分類を受信し、それに依存する出力信号を生成する。次に、出力信号は、ミルク分析ユニット５０２で採用されて、ユニット５０２へのミルクの供給を阻止する。本実施形態では、制御信号が、ミルクのサンプルの不在（サンプル容器がないか、またはサンプル容器が空であるか、またはサンプル容器が十分に満たされていない）、および／またはミルクの不適なサンプル（「ＢＡＤ」ミルク）の存在を示す分類に依存する場合に、制御信号をサンプル採取システムで使用して、ミルクの採取を防止するように、ピペット５０８の動作を制御することに加えて、またはその代わりに、制御信号を採用して、ライト５１２、および／または本発明のミルク分類システム（例えば、図３のミルク分類システム３００）の出力デバイス（例えば、図３の出力デバイス３０６）のディスプレイ（例えば、図３のディスプレイ３０６４）を構成する他の可視または音響信号発生器を動作させる。
【0067】
【0068】
ミルク分析器５２０は、バイパス導管５２８を介してフローライン５２４（または他のバルクミルク源）内のミルクと液体連通しているミルク分析ユニット５２２（部分的にのみ例解されている）を含む。バイパス導管５２８は、ミルク分析ユニット５２２内の内部流れ導管５３０に接続され、いくつかの実施形態では、解放可能に接続されている。照明源５３２および検出器アレイ５３４は、協働して、本発明による分類システムの入力デバイスの一部を形成する。照明源は、複数の個別の光発生器５３２２を含み得、その各々は、同じまたは異なる波長の光を放出し得、その各々は、所望の波長プロファイルの照明を提供するために、任意の順序で、例えば、個別に直列に、または組み合わせて、または同時に、光を放出するようにエネルギーを与えられ得る。いくつかの実施形態では、検出器アレイ５３４は、既知の方法で、個別にアドレス指定可能なセンサ要素のマトリックスを含み得、その出力は、感光面に入射する照明の強度に依存し、例えば、０～２５６の範囲にわたり得る値を有する。個々のセンサ要素のこれらの値は、伝播され、分類システム３００のコンピューティングデバイス（例えばコンピューティングデバイス３０４）に実装された本発明によるＤＬＮＮ分類器（例えば図２のＤＬＮＮ分類器２００）の好適な寸法の入力マトリックスアレイＭのセルを投入する。
【0069】
本実施形態では、照明源５３２および検出器アレイ５３４は、内部流れ導管５３０の透明セクション５３０２を横切って互いに向かい合って位置し、検出器アレイ５３４は、透明セクション５３０２にミルクの透過画像を生成する。
【0070】
多方向弁５３６は、内部流れ導管５３０の接合部に位置し、導管５３０内のミルクの流れを、内部流れ導管５３０の第１の分岐５３０４または第２の分岐５３０６のいずれかに選択するように制御可能である。第１の分岐５３０４は、廃棄物（図示せず）に接続され得、第２の分岐５３０６は、ミルク分析ユニット５２２内の分析モダリティ（図示せず）に接続され得る。
【0071】
ミルク分類システム３００と同様に、コンピューティングデバイス３０４は、図２に例解され、上記で説明され、検出器アレイ５３４によって生成されたデジタル画像データで表されるミルクサンプルの二項分類を行うようにトレーニングされた、分類器２００などのＤＬＮＮ分類器を実装するためにプログラムコードが実行される１つ以上の処理ユニットを有するプロセッサを含む。
【0072】
コンピューティングデバイス３０４によって生成された分類に依存するコンピューティングデバイス３０４からの出力は、多方向弁５３６の動作を制御する際に使用するために、コンピューティングデバイス３０４からの出力に応答する制御信号を生成するように適合されている出力デバイス（例えば出力デバイス３０６）に渡される。コンピューティングデバイス３０４に実装されたＤＬＮＮ分類器によって生成された分類が、分析に不適な画像データに表されたミルクに関連する場合、多方向弁５３６は、出力デバイス３０６から送信された制御信号に応答して制御され、第２の分岐５３０６ではなく、第１の分岐５３０４を通るミルクの流れを可能にする。逆に、分類が好適なミルクに関連する場合、多方向弁５３６は、出力デバイス３０６から送信された制御信号に応答して制御され、第２の分岐５３０４ではなく、第２の分岐５３０６を通るミルクの流れを可能にする。
【0073】
図６は、本発明によるミルク分類システムのさらなる実施形態、例えば、バルクミルクをスクリーニングするために、例えば、農場またはミルク受け入れステーションに位置するバルクミルクテスタ７００として実現される、図３の分類システム３００を例解する。バルクミルクテスタ７００は、透明画像化ステージ７０２、噴霧ユニット７０４、デジタル画像発生器、ここではデジタルカメラ（スチルまたはビデオ）７０６、照明源７０８、およびコンピューティングデバイス７１０を含み、コンピューティングデバイスは、固定コンピュータまたはラップトップなどのパーソナルコンピュータを含み得るか、または専用のコンピューティングデバイスであり得るか、または電気通信ネットワークを介して接続されたリモートコンピューティングデバイスであり得る。
【0074】
噴霧ユニット７０４は、透明画像化ステージ７０２の上面７０２２の幅（またはその一部分）にわたって、ここではその第１の端部７０２４に向けて、ミルクを噴霧するように配設されたノズル（例えば７０４２）のアレイ（ここでは６つのノズルの線形アレイ）を含む。ミルクは、表面７０２２に噴霧されると、表面７０２２上で、透明画像化ステージ７０２の第２の端部７０２６に向かって薄い層で移動し、その後、ミルクは、画像化ステージ７０２を離れ、本実施形態では、トラフ７１２に収集され、いくつかの実施形態では、廃棄物システム７１４に収集され、いくつかの実施形態では、廃棄物システム７１４または戻りラインに選択的に接続されて、さらなる使用のためにトラフ７１２にミルクを戻す。噴霧されたミルクが上面７０２２上を移動するのを助けるために、透明画像化ステージ７０２は、本実施形態に例解されるように、その上面７０２２が水平に対してある角度で位置し得る。噴霧ユニット７０４は、入口、ここでは流量制御弁７０４４を介して、ミルクの供給源７１８、本実施形態では、バルクミルクフローラインに接続可能である。
【0075】
デジタルカメラ７０６は、透明画像化ステージ７０２の片側に位置し、ミルクが上面７０２２上を薄い層として移動するときに、ミルクの少なくとも一部分を含む視野を有する。照明源７０８は、透明画像化ステージ７０２の反対側に配設され、デジタルカメラ７０６の視野内のミルクの少なくとも一部分を、上面７０２２とは反対側の透明画像化ステージ７０２の下面７０２８を通して照明する。デジタルカメラ７０６および照明源７０８は、協働し、デジタルカメラ７０６が、照明源７０８から透明画像化ステージ７０２の上面７０２２上のミルクの薄層を通って送信された光を検出することによって、デジタル画像データを生成する。
【0076】
デジタルカメラ７０６は、通信インターフェース、ここでは、生成されたデジタルミルク画像データがコンピューティングデバイス７１０に提供されるワイヤレスインターフェース７０６２を備えていてもよい。コンピューティングデバイス７１０の通信インターフェース、ここではワイヤレスインターフェース７１０２は、デジタルカメラ７０６によって生成されたデジタルミルク画像データを受信し、それをコンピューティングデバイスの内部ストレージ７１０４に提供し、そこで、プロセッサ７１０６による処理に利用可能に保持され、プロセッサは、上記のＤＬＮＮ分類器２００など、複数のクラスのうちの１つに属するものとしてミルクを分類するようにトレーニングされた、本発明によるＤＬＮＮ分類器を実装するように好適に構成されたコンピューティングデバイス７１０の中央処理ユニット（ＣＰＵ）および／またはグラフィカル処理ユニット（ＧＰＵ）などの１つ以上の処理ユニットを含み得る。
【0077】
いくつかの実施形態では、透明画像化ステージ７０２は省略され得、デジタルカメラ７０６および照明源７０８は、噴霧ユニット７０４からカーテンとして噴霧されるミルクなどの自由空間内のミルクを介して透過画像を生成するように配設され得る。
【0078】
プログラムコードは、インターネットを介してリモートサーバ／ストレージ設備からなど、その通信インターフェース７１０２を介して内部ストレージ７１０４から、または外部コンピューティングデバイス７１０からのいずれかで、コンピューティングデバイス７１０のシステムメモリ７１０８に得られる。プロセッサ７１０６は、このプログラムコードを実行し、ＤＬＮＮ分類器、例えば、ＤＬＮＮ分類器２００を実装させて、内部ストレージ７１０４に記憶された入力画像データ内のミルクを、ＧＯＯＤもしくはＢＡＤ（または別様に許容範囲であるか否か、もしくは他の何らかの二項分類）のいずれかであるとして分類する。システム３００の出力デバイス３０６と同様に、本実施形態の出力デバイス７１１０は、制御信号発生器７１１２およびディスプレイアダプタ７１１４を含み、これらは両方とも、プロセッサ７１０６に実装されたＤＬＮＮ分類器、例えばＤＬＮＮ分類器２００によって生成された分類に依存する制御信号を生成するように適合されている。制御信号発生器７１１２は、外部デバイスの制御のための制御信号を生成するように構成されている。本実施形態では、制御信号発生器は、ワイヤレス通信インターフェース７１０２に接続されて、制御信号を、ほんの一例として、バルクミルクフローライン７１８を通るミルクの流れを調節する遮断弁７２０に送信する。ディスプレイアダプタ７１１４は、ディスプレイ制御信号を生成して、ＤＬＮＮ分類器によって生成された分類に応答して、コンピューティングデバイスの視覚的ディスプレイユニット７１１６にラベル７１１８を表示させるように構成されている。
【0079】
例えば、プロセッサ７１０６によって実装されたＤＬＮＮ分類器が、デジタルミルク画像データ内のミルクを不適な（例えば腐敗した）ものとして分類する場合、制御信号発生器７１１２は、制御信号を生成して遮断弁７２０を閉じるように動作して、ライン７１８（例えば貯蔵容器または運搬装置）内のミルクの流れを防止し、一方、ディスプレイアダプタは、分類に基づいて、１つ以上のメッセージ、例えば、視覚的ディスプレイユニット７１１６上に表示され、画像化されているミルクの望ましくない状態をユーザに警告するのに役立ち得る警告ラベル７１１８（ＨＡＬＴまたはＳＴＯＰＰＥＤなど）を自動的に生成するように動作する。
【0080】
本発明の態様は、汎用データ処理デバイス、例えば、パーソナルコンピュータによって実行されるルーチンなどのコンピュータ実行可能命令の一般的な文脈で上に説明され得るが、関連技術分野の当業者は、本発明が、ワイヤレスデバイス、マルチプロセッサシステム、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなどを含む、他の通信、データ処理、またはコンピュータシステム構成で実践することができることを認識するだろう。
【0081】
特定の機能などの本発明の態様は、単一のデバイスまたはユニット上で排他的に実施されると説明されているが、本発明はまた、機能が、異種の処理デバイス間およびいくつかのデバイスまたはユニット間で共有される分散環境でも実践することができる。異種の処理デバイス、ユニット、およびデバイスは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、もしくはインターネットなどの通信ネットワークを介してリンクされ得るか、またはハードワイヤード通信され得る。
【0082】
本発明のＤＬＮＮ分類器を実装するためのプログラムコードは、磁気的または光学的に読み取り可能なコンピュータディスク、ハードワイヤードもしくは事前にプログラムされたチップ（例えば、ＥＥＰＲＯＭ半導体チップ）、ナノテクノロジーメモリ、生物学的メモリ、または他のデータ記憶媒体を含む有形のコンピュータ可読媒体に記憶または配布され得る。代替的に、本発明に関するプログラムコードおよび他のデータは、電磁波などの伝搬媒体上の伝搬信号上で、インターネットまたは他のネットワーク（ワイヤレスネットワークを含む）を通じて配布され得る。
【0083】
本発明の実施形態を構成するモジュール、ユニット、およびデバイスは、いくつかの場合には統合され得、他の場合には、一部またはすべてが相互接続された個々のモジュール、ユニット、およびデバイスであり得る。
【図1】
【図2】
【図3】
【図4】
【図5(a)】
【図5(b)】
【図6】