(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】機械学習装置、方法、プログラム、およびシステム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241001BHJP
G06V 10/778 20220101ALI20241001BHJP
G06V 20/69 20220101ALI20241001BHJP
【ＦＩ】
G06N20/00 130
G06V10/778
G06V20/69
【請求項の数】
8
(21)【出願番号】P 2021558339
(86)(22)【出願日】2020-11-12
(86)【国際出願番号】 JP2020042269
(87)【国際公開番号】W WO2021100606
(87)【国際公開日】2021-05-27
【審査請求日】2023-10-02
(31)【優先権主張番号】P 2019208576
(32)【優先日】2019-11-19
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004455
【氏名又は名称】株式会社レゾナック
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100108187
【弁理士】
【氏名又は名称】横山 淳一
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】奥野 好成
(72)【発明者】
【氏名】武田 領子
(72)【発明者】
【氏名】渋谷 純一
(72)【発明者】
【氏名】中尾 悠基
(72)【発明者】
【氏名】小川 兼司
【審査官】真木 健彦
(56)【参考文献】
【文献】国際公開第２０１８／１５３４６９（ＷＯ，Ａ１）
【文献】特表２０１９－５２９８８２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ １０／７７８
Ｇ０６Ｖ ２０／６９
(57)【特許請求の範囲】
【請求項1】
第一学習モデルに基づいて、データを分類可能データと分類不明データとに分類する第一分類部と、前記分類可能データに注釈を付与する第一付与部と、
第二学習モデルに基づいて、前記分類不明データを分類する第二分類部と、
前記分類不明データに付与すべき注釈を取得する注釈取得部と、
前記分類不明データに注釈を付与する第二付与部と、
前記第二分類部が分類した結果および前記注釈取得部が取得した注釈に基づいて前記注釈を付与された前記分類不明データに基づいて、前記第二学習モデルを更新する第二学習モデル更新部と、
前記第二分類部が分類した結果に少なくとも基づいて前記注釈を付与された前記分類不明データに基づいて、前記第一学習モデルを更新する第一学習モデル更新部と
を備えた、機械学習装置。
【請求項2】
前記注釈は、前記データを２つにクラス分類するための注釈である、請求項１に記載の機械学習装置。
【請求項3】
前記データは、粒子画像であり、前記注釈は、前記粒子画像に含まれる粒子の形状が所定の基準を満たしている粒子であることを示す注釈、または、前記粒子画像に含まれる粒子の形状が所定の基準を満たしていない粒子であることを示す注釈である、請求項１または２に記載の機械学習装置。
【請求項4】
前記注釈取得部は、前記第二分類部が分類したＯＫ粒子画像である確度が所定の値未満であり、かつ、ＮＧ粒子画像である確度が所定の値未満である分類不明データに付与すべき注釈のみを取得する、請求項１から３のいずれか一項に記載の機械学習装置。
【請求項5】
前記データは、対象物の画像の全粒子画像であり、前記第一付与部は、前記全粒子画像に対するＯＫ粒子画像の割合と、前記全粒子画像に対するＮＧ粒子画像の割合と、前記全粒子画像に対する前記分類不明データの割合と、を通知する、請求項１から４のいずれか一項に記載の機械学習装置。
【請求項6】
第一学習モデルに基づいて、データを分類可能データと分類不明データとに分類するステップと、前記分類可能データに注釈を付与するステップと、
第二学習モデルに基づいて、前記分類不明データを分類するステップと、
前記分類不明データに付与すべき注釈を取得するステップと、
前記分類不明データに注釈を付与するステップと、
前記分類不明データの分類の結果および前記分類不明データに付与すべき注釈に基づいて前記注釈を付与された前記分類不明データに基づいて、前記第二学習モデルを更新するステップと、
前記第二学習モデルに基づいて分類した結果に少なくとも基づいて前記注釈を付与された前記分類不明データに基づいて、前記第一学習モデルを更新するステップと
を含む方法。
【請求項7】
コンピュータを第一学習モデルに基づいて、データを分類可能データと分類不明データとに分類する第一分類部、
前記分類可能データに注釈を付与する第一付与部、
第二学習モデルに基づいて、前記分類不明データを分類する第二分類部、
前記分類不明データに付与すべき注釈を取得する注釈取得部、
前記分類不明データに注釈を付与する第二付与部、
前記第二分類部が分類した結果および前記注釈取得部が取得した注釈に基づいて前記注釈を付与された前記分類不明データに基づいて、前記第二学習モデルを更新する第二学習モデル更新部、
前記第二分類部が分類した結果に少なくとも基づいて前記注釈を付与された前記分類不明データに基づいて、前記第一学習モデルを更新する第一学習モデル更新部
として機能させるためのプログラム。
【請求項8】
機械学習装置とユーザ端末とを含むシステムであって、第一学習モデルに基づいて、データを分類可能データと分類不明データとに分類する第一分類部と、
前記分類可能データに注釈を付与する第一付与部と、
第二学習モデルに基づいて、前記分類不明データを分類する第二分類部と、
前記分類不明データに付与すべき注釈を取得する注釈取得部と、
前記分類不明データに注釈を付与する第二付与部と、
前記第二分類部が分類した結果および前記注釈取得部が取得した注釈に基づいて前記注釈を付与された前記分類不明データに基づいて、前記第二学習モデルを更新する第二学習モデル更新部と、
前記第二分類部が分類した結果に少なくとも基づいて前記注釈を付与された前記分類不明データに基づいて、前記第一学習モデルを更新する第一学習モデル更新部と
を備えた、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、日本特許庁に２０１９年１１月１９日に出願された基礎出願２０１９-２０８５７６号の優先権を主張するものであり、その全内容を参照によりここに援用する。
【0002】
本発明は、機械学習装置、方法、プログラム、およびシステムに関する。
【背景技術】
【0003】
従来、機械学習の教師あり学習では、大量の教師データが用いられている。例えば、データサイエンティストとも呼ばれる者が、データに注釈（ラベルともいう）を付与すること（アノテーションともいう）によって教師データを作成し、それらの教師データを用いて機械学習が行われ、学習モデルが生成される。教師データが不適切であると学習モデルの精度が低くなるため、適切な教師データを作成することが望まれている。
【0004】
機械学習の手法の一つであるクラス分類では、入力データを２つに分類（二項分類、二値分類、２クラス分類ともいう）、あるいは、３つ以上に分類（多クラス分類ともいう）する。このようなクラス分類の教師データを作成するためのデータには、どの注釈が付与されるべきかを高い確度で判断できるデータと、どの注釈が付与されるべきかを低い確度でしか判断できないデータと、がある。
【0005】
例えば、特許文献１では、教師データ作成装置が、正評価、負評価及び無視評価の何れか１つをラベルの評価としてラベルごとに取得して、教師データを作成している。そして、学習装置が、正評価又は負評価のラベルの認識スコアと正評価又は負評価の正解スコアとが近づくように中間層の重み係数を調整し、かつ、無視評価のラベルの認識スコアが中間層の重み係数の調整に影響を与えないようにしている（特許文献１の段落［００１０］）。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１８－１８５３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献１では、人であるアノテータが、全てのラベルに評価を指定する操作をしなければならず、大量の教師データを作成するためには多くの人手を要する。そのため、機械学習の精度を向上することが困難であった。
【0008】
そこで、本発明の一実施形態では、機械学習の精度を向上することを目的とする。
【課題を解決するための手段】
【0009】
本発明は、以下の示す構成を備える。
［１］第一学習モデルに基づいて、データを分類可能データと分類不明データとに分類する第一分類部と、
前記分類可能データに注釈を付与する第一付与部と、
第二学習モデルに基づいて、前記分類不明データを分類する第二分類部と、
前記分類不明データに付与すべき注釈を取得する注釈取得部と、
前記分類不明データに注釈を付与する第二付与部と、
前記第二分類部が分類した結果および前記注釈取得部が取得した注釈に基づいて前記注釈を付与された前記分類不明データに基づいて、前記第二学習モデルを更新する第二学習モデル更新部と
を備えた、機械学習装置。
［２］前記第二分類部が分類した結果に少なくとも基づいて前記注釈を付与された前記分類不明データに基づいて、前記第一学習モデルを更新する第一学習モデル更新部、をさらに備えた［１］に記載の機械学習装置。
［３］前記注釈は、前記データを２つにクラス分類するための注釈である、［１］または［２］に記載の機械学習装置。
［４］前記データは、粒子画像であり、
前記注釈は、前記粒子画像に含まれる粒子の形状が所定の基準を満たしている粒子であることを示す注釈、または、前記粒子画像に含まれる粒子の形状が所定の基準を満たしていない粒子であることを示す注釈である、［１］から［３］のいずれかに記載の機械学習装置。
［５］前記注釈取得部は、前記第二分類部が分類したＯＫ粒子画像である確度が所定の値未満であり、かつ、ＮＧ粒子画像である確度が所定の値未満である分類不明データに付与すべき注釈のみを取得する、［１］から［４］のいずれかに記載の機械学習装置。
［６］前記データは、対象物の画像の全粒子画像であり、
前記第一付与部は、前記全粒子画像に対するＯＫ粒子画像の割合と、前記全粒子画像に対するＮＧ粒子画像の割合と、前記全粒子画像に対する前記分類不明データの割合と、を通知する、［１］から［５］のいずれかに記載の機械学習装置。
［７］第一学習モデルに基づいて、データを分類可能データと分類不明データとに分類するステップと、
前記分類可能データに注釈を付与するステップと、
第二学習モデルに基づいて、前記分類不明データを分類するステップと、
前記分類不明データに付与すべき注釈を取得するステップと、
前記分類不明データに注釈を付与するステップと、
前記分類不明データの分類の結果および前記分類不明データに付与すべき注釈に基づいて前記注釈を付与された前記分類不明データに基づいて、前記第二学習モデルを更新するステップと
を含む方法。
［８］コンピュータを
第一学習モデルに基づいて、データを分類可能データと分類不明データとに分類する第一分類部、
前記分類可能データに注釈を付与する第一付与部、
第二学習モデルに基づいて、前記分類不明データを分類する第二分類部、
前記分類不明データに付与すべき注釈を取得する注釈取得部、
前記分類不明データに注釈を付与する第二付与部、
前記第二分類部が分類した結果および前記注釈取得部が取得した注釈に基づいて前記注釈を付与された前記分類不明データに基づいて、前記第二学習モデルを更新する第二学習モデル更新部
として機能させるためのプログラム。
［９］機械学習装置とユーザ端末とを含むシステムであって、
第一学習モデルに基づいて、データを分類可能データと分類不明データとに分類する第一分類部と、
前記分類可能データに注釈を付与する第一付与部と、
第二学習モデルに基づいて、前記分類不明データを分類する第二分類部と、
前記分類不明データに付与すべき注釈を取得する注釈取得部と、
前記分類不明データに注釈を付与する第二付与部と、
前記第二分類部が分類した結果および前記注釈取得部が取得した注釈に基づいて前記注釈を付与された前記分類不明データに基づいて、前記第二学習モデルを更新する第二学習モデル更新部と
を備えた、システム。
［１］第一学習モデルに基づいて、データを分類可能データと分類不明データとに分類する第一分類部と、
前記分類可能データに注釈を付与する第一付与部と、
第二学習モデルに基づいて、前記分類不明データを分類する第二分類部と、
前記分類不明データに付与すべき注釈を取得する注釈取得部と、
前記分類不明データに注釈を付与する第二付与部と、
前記第二分類部が分類した結果および前記注釈取得部が取得した注釈に基づいて前記注釈を付与された前記分類不明データに基づいて、前記第二学習モデルを更新する第二学習モデル更新部と
を備えた、機械学習装置。
［２］前記第二分類部が分類した結果に少なくとも基づいて前記注釈を付与された前記分類不明データに基づいて、前記第一学習モデルを更新する第一学習モデル更新部、をさらに備えた［１］に記載の機械学習装置。
［３］前記注釈は、前記データを２つにクラス分類するための注釈である、［１］または［２］に記載の機械学習装置。
［４］前記データは、粒子画像であり、
前記注釈は、前記粒子画像に含まれる粒子の形状が所定の基準を満たしている粒子であることを示す注釈、または、前記粒子画像に含まれる粒子の形状が所定の基準を満たしていない粒子であることを示す注釈である、［１］から［３］のいずれかに記載の機械学習装置。
［５］前記注釈取得部は、前記第二分類部が分類したＯＫ粒子画像である確度が所定の値未満であり、かつ、ＮＧ粒子画像である確度が所定の値未満である分類不明データに付与すべき注釈のみを取得する、［１］から［４］のいずれかに記載の機械学習装置。
［６］前記データは、対象物の画像の全粒子画像であり、
前記第一付与部は、前記全粒子画像に対するＯＫ粒子画像の割合と、前記全粒子画像に対するＮＧ粒子画像の割合と、前記全粒子画像に対する前記分類不明データの割合と、を通知する、［１］から［５］のいずれかに記載の機械学習装置。
［７］第一学習モデルに基づいて、データを分類可能データと分類不明データとに分類するステップと、
前記分類可能データに注釈を付与するステップと、
第二学習モデルに基づいて、前記分類不明データを分類するステップと、
前記分類不明データに付与すべき注釈を取得するステップと、
前記分類不明データに注釈を付与するステップと、
前記分類不明データの分類の結果および前記分類不明データに付与すべき注釈に基づいて前記注釈を付与された前記分類不明データに基づいて、前記第二学習モデルを更新するステップと
を含む方法。
［８］コンピュータを
第一学習モデルに基づいて、データを分類可能データと分類不明データとに分類する第一分類部、
前記分類可能データに注釈を付与する第一付与部、
第二学習モデルに基づいて、前記分類不明データを分類する第二分類部、
前記分類不明データに付与すべき注釈を取得する注釈取得部、
前記分類不明データに注釈を付与する第二付与部、
前記第二分類部が分類した結果および前記注釈取得部が取得した注釈に基づいて前記注釈を付与された前記分類不明データに基づいて、前記第二学習モデルを更新する第二学習モデル更新部
として機能させるためのプログラム。
［９］機械学習装置とユーザ端末とを含むシステムであって、
第一学習モデルに基づいて、データを分類可能データと分類不明データとに分類する第一分類部と、
前記分類可能データに注釈を付与する第一付与部と、
第二学習モデルに基づいて、前記分類不明データを分類する第二分類部と、
前記分類不明データに付与すべき注釈を取得する注釈取得部と、
前記分類不明データに注釈を付与する第二付与部と、
前記第二分類部が分類した結果および前記注釈取得部が取得した注釈に基づいて前記注釈を付与された前記分類不明データに基づいて、前記第二学習モデルを更新する第二学習モデル更新部と
を備えた、システム。
【発明の効果】
【0010】
本発明の一実施形態では、機械学習の精度を向上することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係る機械学習装置を含む全体のシステム構成を示す図である。
【図2】本発明の一実施形態に係る機械学習装置のハードウェア構成を示す図である。
【図3】本発明の一実施形態に係る機械学習装置の機能ブロックを示す図である。
【図4】本発明の一実施形態に係る対象物画像格納部に格納されている対象物の画像の一例である。
【図5】本発明の一実施形態に係る粒子画像格納部に格納されている粒子画像の一例である。
【図6】本発明の一実施形態に係るデータの流れを示すデータフロー図である。
【図7】本発明の一実施形態に係る教師データ作成処理の流れを示すフローチャートである。
【図8】本発明の一実施形態に係る第一学習モデルの更新処理の流れを示すフローチャートである。
【図9】本発明の一実施形態に係るデータの分類結果の推論処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0013】
なお、本明細書では、教師データとして画像データを用いる場合を説明するが、本発明は、テキストデータ、音声データ等の任意のデータを用いる場合に適用することができる。
【0014】
また、本明細書では、教師データとして、酸化アルミニウム粉末等に含まれる酸化アルミニウム粒子の粒子画像を用いる場合を説明するが、本発明は、任意の物質の粒子の粒子画像を用いる場合に適用することができる。また、本明細書では、データ（粒子画像）を２つに分類する場合（二項分類、二値分類、２クラス分類ともいう）を説明するが、本発明は、データ（粒子画像）を３つ以上に分類する場合（多クラス分類ともいう）にも適用することができる。また、本明細書では、教師データとして、光学顕微鏡により得られた画像を用いる場合を説明するが、本発明は、光学顕微鏡のほか走査型電子顕微鏡（ＳＥＭ）等の任意の機器により得られた画像を用いる場合に適用することができる。
【0015】
以下、教師データを作成する実施形態（下記の＜実施形態１＞＜実施形態２＞）と、入力データの分類結果を推論する実施形態（下記の＜実施形態３＞）と、に分けて説明する。
【0016】
＜実施形態１＞
＜システム構成＞
図１は、本発明の一実施形態に係る機械学習装置１０２を含む全体のシステム構成を示す図である。機械学習装置１０２は、品質検査を行うためのシステム（品質検査システム１００）にて用いられうる。品質検査システム１００は、光学顕微鏡１０１、機械学習装置１０２、ユーザ端末１０３を含むことができる。機械学習装置１０２は、機械学習装置１０２に接続された光学顕微鏡１０１から、光学顕微鏡が撮影した画像を取得する。また、機械学習装置１０２は、任意のネットワーク１０４を介してユーザ端末１０３とデータを送受信する。なお、機械学習装置１０２と光学顕微鏡１０１またはユーザ端末１０３とのデータの送受信は、後述する半導体メモリ等の記憶媒体を介して行われてもよい。以下、それぞれについて説明する。
＜システム構成＞
図１は、本発明の一実施形態に係る機械学習装置１０２を含む全体のシステム構成を示す図である。機械学習装置１０２は、品質検査を行うためのシステム（品質検査システム１００）にて用いられうる。品質検査システム１００は、光学顕微鏡１０１、機械学習装置１０２、ユーザ端末１０３を含むことができる。機械学習装置１０２は、機械学習装置１０２に接続された光学顕微鏡１０１から、光学顕微鏡が撮影した画像を取得する。また、機械学習装置１０２は、任意のネットワーク１０４を介してユーザ端末１０３とデータを送受信する。なお、機械学習装置１０２と光学顕微鏡１０１またはユーザ端末１０３とのデータの送受信は、後述する半導体メモリ等の記憶媒体を介して行われてもよい。以下、それぞれについて説明する。
【0017】
光学顕微鏡１０１は、対象物（例えば、酸化アルミニウム粉末等に含まれる酸化アルミニウム粒子）を撮影する。光学顕微鏡１０１は、デジタルカメラ等の撮影装置および対象物を撮影した画像を保存する記憶装置を備えることができる。また、光学顕微鏡１０１は、撮影して得た対象物の画像を、光学顕微鏡１０１に接続された機械学習装置１０２へ送ることができる。光学顕微鏡１０１が有する顕微鏡は、反射型顕微鏡や透過型顕微鏡であってもよい。また、光学顕微鏡１０１は、超高圧水銀灯、キセノンランプ、三原色を含む各色ＬＥＤ、紫外線ＬＥＤ、レーザー光等の光源を備えてもよく、また、画像の観察方法としては、明視野観察法、暗視野観察法、位相差観察法、微分干渉観察法、偏光観察法、蛍光観察法等の観察方法を用いることができる。
【0018】
機械学習装置１０２は、データに注釈（ラベルともいう）を付与すること（アノテーションともいう）によって教師データを作成するための装置である。具体的には、機械学習装置１０２は、第一学習モデルに基づいて、データを分類可能データと分類不明データとに分類する。また、機械学習装置１０２は、第二学習モデルに基づいて、分類不明データを分類する。また、機械学習装置１０２は、ユーザ端末１０３からの修正を反映して、第二学習モデルを更新する。機械学習装置１０２は、例えば、１または複数のコンピュータからなる。後段で、図３を参照しながら、機械学習装置１０２について詳細に説明する。
【0019】
ユーザ端末１０３は、機械学習装置１０２の第二学習モデルに基づく分類を修正する者が利用する端末である。具体的には、ユーザ端末１０３は、機械学習装置１０２から、分類不明データを受信して、ユーザ端末１０３上またはユーザ端末１０３に接続された表示装置（図示せず）上に表示する。また、ユーザ端末１０３は、機械学習装置１０２へ、ユーザ端末１０３に入力された注釈のデータを送信する。ユーザ端末１０３は、例えば、パーソナルコンピュータなどのコンピュータである。
【0020】
なお、本明細書では、機械学習装置１０２とユーザ端末１０３とを別々のコンピュータとして説明するが、機械学習装置１０２とユーザ端末１０３とを１つのコンピュータで実装するようにしてもよい。また、機械学習装置１０２がユーザ端末１０３の一部の機能を有するようにしてもよいし、ユーザ端末１０３が機械学習装置１０２の一部の機能を有するようにしてもよい。
【0021】
＜機械学習装置１０２のハードウェア構成＞
図２は、本発明の一実施形態に係る機械学習装置１０２のハードウェア構成の例を示す図である。機械学習装置１０２は、ＣＰＵ（Central Processing Unit）１、ＲＯＭ（Read Only Memory）２、ＲＡＭ（Random Access Memory）３を有する。ＣＰＵ１、ＲＯＭ２、ＲＡＭ３は、いわゆるコンピュータを形成する。
図２は、本発明の一実施形態に係る機械学習装置１０２のハードウェア構成の例を示す図である。機械学習装置１０２は、ＣＰＵ（Central Processing Unit）１、ＲＯＭ（Read Only Memory）２、ＲＡＭ（Random Access Memory）３を有する。ＣＰＵ１、ＲＯＭ２、ＲＡＭ３は、いわゆるコンピュータを形成する。
【0022】
また、機械学習装置１０２は、さらに、ＧＰＵ（Graphics Processing Unit）４、補助記憶装置５、Ｉ／Ｆ（Interface）装置６、ドライブ装置７を有することができる。なお、機械学習装置１０２の各ハードウェアは、バス８を介して相互に接続されている。
【0023】
ＣＰＵ１は、補助記憶装置５にインストールされている各種プログラムを実行する演算デバイスである。
【0024】
ＲＯＭ２は、不揮発性メモリである。ＲＯＭ２は、補助記憶装置５にインストールされている各種プログラムをＣＰＵ１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。
【0025】
ＲＡＭ３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３は、補助記憶装置５にインストールされている各種プログラムがＣＰＵ１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【0026】
ＧＰＵ４は、画像処理に特化した演算デバイスである。
【0027】
補助記憶装置５は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。
【0028】
Ｉ／Ｆ装置６は、光学顕微鏡１０１、ユーザ端末１０３と通信を行うための通信デバイスである。
【0029】
ドライブ装置７は記憶媒体９をセットするためのデバイスである。ここでいう記憶媒体９には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体９には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0030】
なお、補助記憶装置５にインストールされる各種プログラムは、例えば、配布された記憶媒体９がドライブ装置７にセットされ、該記憶媒体９に記録された各種プログラムがドライブ装置７により読み出されることでインストールされる。あるいは、補助記憶装置５にインストールされる各種プログラムは、Ｉ／Ｆ装置６を介して、ネットワークよりダウンロードされることでインストールされてもよい。
【0031】
＜機械学習装置１０２の機能ブロック＞
図３は、本発明の一実施形態に係る機械学習装置１０２の機能ブロックを示す図である。機械学習装置１０２は、対象物画像取得部３０１、対象物画像格納部３０２、粒子画像抽出部３０３、粒子画像格納部３０４、第一分類部３０５、第一付与部３０６、第一学習モデル格納部３０８、第二分類部３０９、第二付与部３１０、第二学習モデル更新部３１１、第二学習モデル格納部３１２、注釈取得部３１３、分類不明データ格納部３１４を含む。機械学習装置１０２は、さらに第一学習モデル更新部３０７、を含むことができる。また、機械学習装置１０２は、プログラムを実行することで、対象物画像取得部３０１、粒子画像抽出部３０３、第一分類部３０５、第一付与部３０６、第二分類部３０９、第二付与部３１０、第二学習モデル更新部３１１、注釈取得部３１３として機能する。機械学習装置１０２は、プログラムを実行することで、さらに第一学習モデル更新部３０７として機能することができる。以下、それぞれについて説明する。
図３は、本発明の一実施形態に係る機械学習装置１０２の機能ブロックを示す図である。機械学習装置１０２は、対象物画像取得部３０１、対象物画像格納部３０２、粒子画像抽出部３０３、粒子画像格納部３０４、第一分類部３０５、第一付与部３０６、第一学習モデル格納部３０８、第二分類部３０９、第二付与部３１０、第二学習モデル更新部３１１、第二学習モデル格納部３１２、注釈取得部３１３、分類不明データ格納部３１４を含む。機械学習装置１０２は、さらに第一学習モデル更新部３０７、を含むことができる。また、機械学習装置１０２は、プログラムを実行することで、対象物画像取得部３０１、粒子画像抽出部３０３、第一分類部３０５、第一付与部３０６、第二分類部３０９、第二付与部３１０、第二学習モデル更新部３１１、注釈取得部３１３として機能する。機械学習装置１０２は、プログラムを実行することで、さらに第一学習モデル更新部３０７として機能することができる。以下、それぞれについて説明する。
【0032】
対象物画像取得部３０１は、光学顕微鏡１０１等が撮影した対象物の画像を取得する。また、対象物画像取得部３０１は、取得した対象物の画像を対象物画像格納部３０２に記憶する。
【0033】
対象物画像格納部３０２には、対象物画像取得部３０１が取得した対象物の画像が格納されている。以下、図４を参照しながら、対象物画像格納部３０２に格納されている対象物の画像について説明する。
【0034】
図４は、本発明の一実施形態に係る対象物画像格納部３０２に格納されている対象物の画像４００の一例である。例えば、対象物の画像４００は、酸化アルミニウム粉末等に含まれる酸化アルミニウム粒子が撮影された画像である。図４に示されるように、対象物の画像４００には、複数の粒子の画像が含まれている。
【0035】
図３の説明に戻る。粒子画像抽出部３０３は、対象物画像格納部３０２内の対象物の画像から、粒子の画像を抽出する。また、粒子画像抽出部３０３は、抽出した粒子の画像を粒子画像格納部３０４に記憶する。
【0036】
例えば、粒子画像抽出部３０３は、対象物の画像を２値化して、マスク画像を生成する。また、粒子画像抽出部３０３は、マスク画像に基づいて、対象物の画像から周囲に他の粒子がない粒子の画像を抽出（クロップ、切り抜きともいう）する。
【0037】
なお、以下で説明するように、本発明の一実施形態では、対象物の画像に含まれる粒子の画像（以下、粒子画像ともいう）が、教師データを作成するためのデータとして用いられる。つまり、粒子画像に注釈が付与されることによって、教師データが作成される。また、以下では、データ（粒子画像）をＯＫ粒子画像とＮＧ粒子画像との２つに分類する場合（二項分類、二値分類、２クラス分類ともいう）を説明するが、本発明は、データ（粒子画像）を３つ以上に分類する場合（多クラス分類ともいう）にも適用することができる。
【0038】
粒子画像格納部３０４には、粒子画像抽出部３０３が抽出した粒子画像が格納されている。以下、図５を参照しながら、粒子画像格納部３０４に格納されている粒子画像について説明する。
【0039】
図５は、本発明の一実施形態に係る粒子画像格納部３０４に格納されている粒子画像５００の一例である。後段で詳細に説明するように、粒子画像５００には、第一付与部３０６が注釈を付与することができる分類可能データ（ＯＫ粒子画像５０１、ＮＧ粒子画像５０３）と、第一付与部３０６が注釈を付与することができない分類不明データ５０２と、が含まれている。
【0040】
ここで、ＯＫ粒子画像およびＮＧ粒子画像について説明する。本明細書において、粒子画像に含まれる粒子の形状が所定の基準を満たしている粒子（以下、ＯＫ粒子ともいう）の粒子画像を、ＯＫ粒子画像と呼ぶ。また、粒子画像に含まれる粒子の形状が所定の基準を満たしていない粒子（以下、ＮＧ粒子ともいう）の粒子画像を、ＮＧ粒子画像と呼ぶ。
【0041】
例えば、ＯＫ粒子画像は、粒子の真円度が閾値以上である粒子が含まれる画像である。ここで真円度とは、ＪＩＳ Ｂ０６２１－１９８４「幾何偏差の定義および表示」において定義されているとおり、「円形形体の幾何学的に正しい円からの狂いの大きさ」をいう。例えば、ＮＧ粒子画像は、粒子の真円度が閾値よりも低い粒子が含まれる画像である。なお、粒子の形状が満たすべき基準は真円度に限らず、粒子の形状が楕円等である場合も含んでよく、粒子の面積、粒子の長径、短径、円相当径、フェレ径等の長さ、または粒子の周囲長などの特徴量で構成した基準を用いてもよい。
【0042】
図３の説明に戻る。第一分類部３０５は、データ（例えば、粒子画像）を分類可能データ（例えば、ＯＫ粒子画像、ＮＧ粒子画像）と分類不明データとに分類する。具体的には、第一分類部３０５は、第一学習モデル格納部３０８に格納されている第一学習モデルを用いて、粒子画像がＯＫ粒子画像である確度（確信度、信頼度、確率ともいう）と、ＮＧ粒子画像である確度と、を出力する。また、第一分類部３０５は、粒子画像がＯＫ粒子画像である確度が所定の値以上であると、その粒子画像をＯＫ粒子画像に分類する。また、第一分類部３０５は、粒子画像がＮＧ粒子画像である確度が所定の値以上であると、その粒子画像をＮＧ粒子画像に分類する。また、第一分類部３０５は、ＯＫ粒子画像にもＮＧ粒子画像にも該当しない粒子画像（つまり、ＯＫ粒子画像である確度が所定の値未満であり、かつ、ＮＧ粒子画像である確度が所定の値未満である）を、分類不明データに分類する。
【0043】
第一学習モデル格納部３０８には、第一学習モデルが格納されている。第一学習モデルは、機械学習により生成されたクラス分類のためのモデルである。例えば、第一学習モデルは、粒子画像が入力されると、その粒子画像がＯＫ粒子画像である確度と、ＮＧ粒子画像である確度と、を出力するためのモデルである。
【0044】
第一付与部３０６は、第一分類部３０５が分類した分類可能データ（例えば、ＯＫ粒子画像、ＮＧ粒子画像）に注釈を付与して、教師データを作成する。具体的には、第一付与部３０６は、第一分類部３０５が分類したＯＫ粒子画像と、注釈（つまり、粒子画像に含まれる粒子はＯＫ粒子であるという注釈）と、を紐付けて、粒子画像格納部３０４に記憶する。また、第一付与部３０６は、第一分類部３０５が分類したＮＧ粒子画像と、注釈（つまり、粒子画像に含まれる粒子はＮＧ粒子であるという注釈）と、を紐付けて、粒子画像格納部３０４に記憶する。
【0045】
なお、第一付与部３０６は、対象物画像格納部３０２内の各対象物の画像に、その対象物の画像の全粒子画像に対するＯＫ粒子画像の割合と、全粒子画像に対するＮＧ粒子画像の割合と、全粒子画像に対する分類不明データの割合と、を紐付けて記憶する構成とすることもできる。また、第一付与部３０６は、ユーザ端末１０３等の任意の端末に対して、各対象物の画像の、その対象物の画像の全粒子画像に対するＯＫ粒子画像の割合と、全粒子画像に対するＮＧ粒子画像の割合と、全粒子画像に対する分類不明データの割合と、を通知する構成とすることもできる。
【0046】
第一学習モデル更新部３０７については＜実施形態２＞にて説明する。
【0047】
第二分類部３０９は、第一分類部３０５が分類した分類不明データを分類する。
【0048】
第二学習モデル格納部３１２には、第二学習モデルが格納されている。第二学習モデルは、機械学習により生成されたクラス分類のためのモデルである。
【0049】
以下、分類不明データを＜＜ＯＫ粒子画像とＮＧ粒子画像とに分類＞＞する場合と、＜＜ＯＫ粒子画像とＮＧ粒子画像と分類不明データとに分類＞＞する場合とに分けて説明する。
【0050】
＜＜ＯＫ粒子画像とＮＧ粒子画像とに分類＞＞
第二分類部３０９は、第二学習モデル格納部３１２に格納されている第二学習モデルを用いて、分類不明データをＯＫ粒子画像とＮＧ粒子画像とに分類する。
第二分類部３０９は、第二学習モデル格納部３１２に格納されている第二学習モデルを用いて、分類不明データをＯＫ粒子画像とＮＧ粒子画像とに分類する。
【0051】
＜＜ＯＫ粒子画像とＮＧ粒子画像とに分類＞＞する場合、第二学習モデルは、分類不明データが入力されると、その分類不明データがＯＫ粒子画像であるかまたはＮＧ粒子画像であるかを出力するためのモデルである。
【0052】
＜＜ＯＫ粒子画像とＮＧ粒子画像と分類不明データとに分類＞＞
第二分類部３０９は、第二学習モデル格納部３１２に格納されている第二学習モデルを用いて、分類不明データをＯＫ粒子画像とＮＧ粒子画像と分類不明データとに分類する。具体的には、第二分類部３０９は、第二学習モデルを用いて、分類不明データがＯＫ粒子画像である確度（確信度、信頼度、確率ともいう）と、ＮＧ粒子画像である確度と、を出力する。また、第二分類部３０９は、分類不明データがＯＫ粒子画像である確度が所定の値以上であると、その分類不明データをＯＫ粒子画像に分類する。また、第二分類部３０９は、分類不明データがＮＧ粒子画像である確度が所定の値以上であると、その分類不明データをＮＧ粒子画像に分類する。また、第二分類部３０９は、ＯＫ粒子画像にもＮＧ粒子画像にも該当しない分類不明データ（つまり、ＯＫ粒子画像である確度が所定の値未満であり、かつ、ＮＧ粒子画像である確度が所定の値未満である）を、分類不明データに分類する。
第二分類部３０９は、第二学習モデル格納部３１２に格納されている第二学習モデルを用いて、分類不明データをＯＫ粒子画像とＮＧ粒子画像と分類不明データとに分類する。具体的には、第二分類部３０９は、第二学習モデルを用いて、分類不明データがＯＫ粒子画像である確度（確信度、信頼度、確率ともいう）と、ＮＧ粒子画像である確度と、を出力する。また、第二分類部３０９は、分類不明データがＯＫ粒子画像である確度が所定の値以上であると、その分類不明データをＯＫ粒子画像に分類する。また、第二分類部３０９は、分類不明データがＮＧ粒子画像である確度が所定の値以上であると、その分類不明データをＮＧ粒子画像に分類する。また、第二分類部３０９は、ＯＫ粒子画像にもＮＧ粒子画像にも該当しない分類不明データ（つまり、ＯＫ粒子画像である確度が所定の値未満であり、かつ、ＮＧ粒子画像である確度が所定の値未満である）を、分類不明データに分類する。
【0053】
＜＜ＯＫ粒子画像とＮＧ粒子画像と分類不明データとに分類＞＞する場合、第二学習モデルは、分類不明データが入力されると、その分類不明データがＯＫ粒子画像である確度と、ＮＧ粒子画像である確度と、を出力するためのモデルである。
【0054】
注釈取得部３１３は、分類不明データに付与すべき注釈のデータを取得する。具体的には、注釈取得部３１３は、ユーザ端末１０３へ、分類不明データ（例えば、粒子画像）を送信する。なお、注釈取得部３１３は、ユーザ端末１０３へ、分類不明データ（例えば、粒子画像）とともに、第二分類部３０９が分類した分類結果の情報（例えば、ＯＫ粒子画像であるかまたはＮＧ粒子画像であるか、確度など）を送信する構成とすることもできる。また、注釈取得部３１３は、ユーザ端末１０３から、ユーザ端末１０３に入力された注釈のデータを受信する。ユーザ端末１０３を操作する者は、分類不明データ（例えば、粒子画像）を目視して、分類不明データに付与すべき注釈を判断する。
【0055】
なお、上記の分類不明データを＜＜ＯＫ粒子画像とＮＧ粒子画像と分類不明データとに分類＞＞する場合、注釈取得部３１３は、ＯＫ粒子画像である確度が所定の値未満であり、かつ、ＮＧ粒子画像である確度が所定の値未満である分類不明データ、に付与すべき注釈のデータのみを取得する構成とすることもできる。
【0056】
第二付与部３１０は、第二分類部３０９が分類した分類結果（例えば、ＯＫ粒子画像であるかまたはＮＧ粒子画像であるか）および注釈取得部３１３が取得した注釈に基づいて、分類不明データに注釈を付与する。具体的には、第二付与部３１０は、第二分類部３０９が分類した分類結果と注釈取得部３１３が取得した注釈とが同一の場合には、その注釈を分類不明データに付与する。また、第二付与部３１０は、第二分類部３０９が分類した分類結果と注釈取得部３１３が取得した注釈とが異なる場合には、注釈取得部３１３が取得した注釈を分類不明データに付与する。また、第二付与部３１０は、分類不明データと、付与した注釈と、を紐付けて、分類不明データ格納部３１４に記憶する。
【0057】
分類不明データ格納部３１４には、分類不明データと、第二付与部３１０が付与した注釈と、が紐付けられて格納されている。
【0058】
第二学習モデル更新部３１１は、第二付与部３１０が注釈を付与した分類不明データに基づいて、第二学習モデル格納部３１２内の第二学習モデルを更新する。具体的には、第二学習モデル更新部３１１は、第二付与部３１０が注釈を付与した分類不明データを教師データとして機械学習することによって、第二学習モデルを更新する。
【0059】
このように、＜実施形態１＞では、分類不明データを分類するための第二学習モデルが更新されるので、分類不明データをより正確に分類できるようになる。また、上記の分類不明データを＜＜ＯＫ粒子画像とＮＧ粒子画像と分類不明データとに分類＞＞する場合、注釈取得部３１３が、ＯＫ粒子画像である確度が所定の値未満であり、かつ、ＮＧ粒子画像である確度が所定の値未満である分類不明データ、に付与すべき注釈のデータのみを取得する構成とすることによって、第二学習モデルが更新されるにつれて第二学習モデルの学習精度が向上して分類不可能データが減るので、人が目視して付与すべき注釈を判断しなければならないデータを減らすことができる。
【0060】
＜実施形態２＞
以下、＜実施形態２＞について説明する。なお、＜実施形態１＞と異なる点を主に説明する。
以下、＜実施形態２＞について説明する。なお、＜実施形態１＞と異なる点を主に説明する。
【0061】
＜実施形態２＞では、機械学習装置１０２は、図３の第一学習モデル更新部３０７を備える。以下、第一学習モデル更新部３０７について説明する。
【0062】
第一学習モデル更新部３０７は、第二付与部３１０が注釈を付与した分類不明データに基づいて、第一学習モデル格納部３０８内の第一学習モデルを更新する。なお、第一学習モデル更新部３０７は、ユーザ端末１０３等の任意の端末から第一学習モデルを更新するよう指示されると、第一学習モデルを更新する構成とすることもできる。
【0063】
具体的には、第一学習モデル更新部３０７は、第二付与部３１０が注釈を付与した分類不明データを取得して、粒子画像格納部３０４に追加する。また、第一学習モデル更新部３０７は、粒子画像格納部３０４内の、第一付与部３０６が注釈を付与したデータ（例えば、ＯＫ粒子画像およびＮＧ粒子画像）および第二付与部３１０が注釈を付与した分類不明データを教師データとして機械学習することによって、第一学習モデルを更新する。
【0064】
＜＜第一学習モデルの更新の自動化＞＞
第一学習モデル更新部３０７は、人の手を介さずに、第一学習モデルを更新する構成とすることもできる。具体的には、第二付与部３１０が、第二分類部３０９がＯＫ粒子画像である確度が所定の値以上であると判断した分類不明データ、および、第二分類部３０９がＮＧ粒子画像である確度が所定の値以上であると判断した分類不明データ（つまり、分類不可能データ以外のデータ）のみに基づいて、分類不明データに注釈を付与する（つまり、注釈取得部３１３が取得する注釈は用いられない）。第一学習モデル更新部３０７は、粒子画像格納部３０４内の、第一付与部３０６が注釈を付与したデータ（例えば、ＯＫ粒子画像およびＮＧ粒子画像）と、第二付与部３１０が注釈を付与した、分類不可能データ以外のデータと、を教師データとして機械学習することによって、第一学習モデルを更新する。
第一学習モデル更新部３０７は、人の手を介さずに、第一学習モデルを更新する構成とすることもできる。具体的には、第二付与部３１０が、第二分類部３０９がＯＫ粒子画像である確度が所定の値以上であると判断した分類不明データ、および、第二分類部３０９がＮＧ粒子画像である確度が所定の値以上であると判断した分類不明データ（つまり、分類不可能データ以外のデータ）のみに基づいて、分類不明データに注釈を付与する（つまり、注釈取得部３１３が取得する注釈は用いられない）。第一学習モデル更新部３０７は、粒子画像格納部３０４内の、第一付与部３０６が注釈を付与したデータ（例えば、ＯＫ粒子画像およびＮＧ粒子画像）と、第二付与部３１０が注釈を付与した、分類不可能データ以外のデータと、を教師データとして機械学習することによって、第一学習モデルを更新する。
【0065】
＜＜分類不明データの割合の表示＞＞
＜実施形態１＞で説明したように、第一付与部３０６は、対象物画像格納部３０２内の各対象物の画像に、その対象物の画像の全粒子画像に対するＯＫ粒子画像の割合と、全粒子画像に対するＮＧ粒子画像の割合と、全粒子画像に対する分類不明データの割合と、を紐付けて記憶する構成とすることもできる。また、第一付与部３０６は、ユーザ端末１０３等の任意の端末に対して、各対象物の画像の、その対象物の画像の全粒子画像に対するＯＫ粒子画像の割合と、全粒子画像に対するＮＧ粒子画像の割合と、全粒子画像に対する分類不明データの割合と、を通知する構成とすることもできる。そのため、第一学習モデルが更新されるにつれて分類不明データが減少することが、ユーザ端末１０３等の任意の端末に提示される。
＜実施形態１＞で説明したように、第一付与部３０６は、対象物画像格納部３０２内の各対象物の画像に、その対象物の画像の全粒子画像に対するＯＫ粒子画像の割合と、全粒子画像に対するＮＧ粒子画像の割合と、全粒子画像に対する分類不明データの割合と、を紐付けて記憶する構成とすることもできる。また、第一付与部３０６は、ユーザ端末１０３等の任意の端末に対して、各対象物の画像の、その対象物の画像の全粒子画像に対するＯＫ粒子画像の割合と、全粒子画像に対するＮＧ粒子画像の割合と、全粒子画像に対する分類不明データの割合と、を通知する構成とすることもできる。そのため、第一学習モデルが更新されるにつれて分類不明データが減少することが、ユーザ端末１０３等の任意の端末に提示される。
【0066】
このように、＜実施形態２＞では、データ（例えば、粒子画像）を分類するための第一学習モデルが更新されるので、データ（例えば、粒子画像）をより正確に分類できるようになる。また、第一学習モデルが更新されるにつれて分類不明データが減るので、人が目視して付与すべき注釈を判断しなければならないデータを減らすことができる。
【0067】
＜実施形態３＞
以下、＜実施形態３＞について説明する。なお、＜実施形態１＞＜実施形態２＞と異なる点を主に説明する。
以下、＜実施形態３＞について説明する。なお、＜実施形態１＞＜実施形態２＞と異なる点を主に説明する。
【0068】
＜実施形態３＞では、機械学習装置１０２は、入力データの分類結果を推論する。以下、第一学習モデルのみによる分類と、第一学習モデルと第二学習モデルとの二段階での分類と、に分けて説明する。
【0069】
＜＜第一学習モデルのみによる分類＞＞
第一分類部３０５は、入力データ（例えば、粒子画像）を取得して、第一学習モデル格納部３０８内の第一学習モデルを用いて、分類可能データ（例えば、ＯＫ粒子画像、ＮＧ粒子画像）と、分類不明データと、に分類する。第一分類部３０５は、ユーザ端末１０３等の任意の端末に対して、分類結果を通知する。
第一分類部３０５は、入力データ（例えば、粒子画像）を取得して、第一学習モデル格納部３０８内の第一学習モデルを用いて、分類可能データ（例えば、ＯＫ粒子画像、ＮＧ粒子画像）と、分類不明データと、に分類する。第一分類部３０５は、ユーザ端末１０３等の任意の端末に対して、分類結果を通知する。
【0070】
＜＜第一学習モデルと第二学習モデルとの二段階での分類＞＞
第一分類部３０５は、入力データ（例えば、粒子画像）を取得して、第一学習モデル格納部３０８内の第一学習モデルを用いて、分類可能データ（例えば、ＯＫ粒子画像、ＮＧ粒子画像）と、分類不明データと、に分類する。第二分類部３０９は、分類不明データを、（例えば、ＯＫ粒子画像とＮＧ粒子画像とに）分類する。第二分類部３０９は、ユーザ端末１０３等の任意の端末に対して、分類結果を通知する。通知される分類結果は、二段階で分類した結果のみでもよく、第一分類部３０５と第二分類部３０９の分類の結果がそれぞれ示されてもよい。
第一分類部３０５は、入力データ（例えば、粒子画像）を取得して、第一学習モデル格納部３０８内の第一学習モデルを用いて、分類可能データ（例えば、ＯＫ粒子画像、ＮＧ粒子画像）と、分類不明データと、に分類する。第二分類部３０９は、分類不明データを、（例えば、ＯＫ粒子画像とＮＧ粒子画像とに）分類する。第二分類部３０９は、ユーザ端末１０３等の任意の端末に対して、分類結果を通知する。通知される分類結果は、二段階で分類した結果のみでもよく、第一分類部３０５と第二分類部３０９の分類の結果がそれぞれ示されてもよい。
【0071】
＜データフロー＞
図６は、本発明の一実施形態に係るデータの流れを示すデータフロー図である。図６に示されるように、データ（例えば、粒子画像）が、第一学習モデルによって、分類可能データ（例えば、ＯＫ粒子画像、ＮＧ粒子画像）と、分類不明データと、に分類される。その後、分類不明データが、第二学習モデルによって、（例えば、ＯＫ粒子画像とＮＧ粒子画像とに）分類される。そして、第二学習モデルによる分類結果が人によって修正される。
図６は、本発明の一実施形態に係るデータの流れを示すデータフロー図である。図６に示されるように、データ（例えば、粒子画像）が、第一学習モデルによって、分類可能データ（例えば、ＯＫ粒子画像、ＮＧ粒子画像）と、分類不明データと、に分類される。その後、分類不明データが、第二学習モデルによって、（例えば、ＯＫ粒子画像とＮＧ粒子画像とに）分類される。そして、第二学習モデルによる分類結果が人によって修正される。
【0072】
＜処理方法＞
以下、図７～９を参照しながら、各処理について説明する。
以下、図７～９を参照しながら、各処理について説明する。
【0073】
図７は、本発明の一実施形態に係る教師データ作成処理の流れを示すフローチャートである。
【0074】
ステップ１１（Ｓ１１）において、対象物画像取得部３０１は、光学顕微鏡１０１等が撮影した対象物の画像を取得する。
【0075】
ステップ１２（Ｓ１２）において、粒子画像抽出部３０３は、Ｓ１１で取得された対象物の画像から、粒子画像を抽出する。
【0076】
ステップ１３（Ｓ１３）において、第一分類部３０５は、データ（例えば、Ｓ１２で抽出された粒子画像）を分類可能データ（例えば、ＯＫ粒子画像、ＮＧ粒子画像）と分類不明データとに分類する。
【0077】
ステップ１４（Ｓ１４）において、第一付与部３０６は、Ｓ１３で分類された分類可能データ（例えば、ＯＫ粒子画像、ＮＧ粒子画像）に注釈を付与して、教師データを作成する。
【0078】
ステップ１５（Ｓ１５）において、第二分類部３０９は、Ｓ１３で分類された分類不明データを分類する。
【0079】
ステップ１６（Ｓ１６）において、第二付与部３１０は、Ｓ１５で分類された分類結果（例えば、ＯＫ粒子画像であるかまたはＮＧ粒子画像であるか）および注釈取得部３１３が取得した注釈に基づいて、分類不明データに注釈を付与する。
【0080】
ステップ１７（Ｓ１７）において、第二学習モデル更新部３１１は、Ｓ１６で注釈が付与された分類不明データに基づいて、第二学習モデル格納部３１２内の第二学習モデルを更新する。
【0081】
図８は、本発明の一実施形態に係る第一学習モデルの更新処理の流れを示すフローチャートである。
【0082】
ステップ２１（Ｓ２１）において、第一学習モデル更新部３０７は、第二付与部３１０が注釈を付与した分類不明データを取得する。
【0083】
ステップ２２（Ｓ２２）において、第一学習モデル更新部３０７は、Ｓ２１で取得した分類不明データを、粒子画像格納部３０４に追加する。
【0084】
ステップ２３（Ｓ２３）において、第一学習モデル更新部３０７は、粒子画像格納部３０４内の、第一付与部３０６が注釈を付与したデータ（例えば、ＯＫ粒子画像およびＮＧ粒子画像）およびＳ２２で追加した分類不明データを教師データとして機械学習することによって、第一学習モデルを更新する。
【0085】
図９は、本発明の一実施形態に係るデータの分類結果の推論処理の流れを示すフローチャートである。
【0086】
ステップ３１（Ｓ３１）において、第一分類部３０５は、入力データ（例えば、粒子画像）を取得する。
【0087】
ステップ３２（Ｓ３２）において、第一分類部３０５は、Ｓ３１で取得したデータを、第一学習モデル格納部３０８内の第一学習モデルを用いて、分類可能データ（例えば、ＯＫ粒子画像、ＮＧ粒子画像）と、分類不明データと、に分類する。
【0088】
ステップ３３（Ｓ３３）において、第一分類部３０５は、Ｓ３２で推論した分類結果を、ユーザ端末１０３等の任意の端末に通知する。
【0089】
なお、上記で説明したように、第一学習モデルと第二学習モデルとの二段階で分類する構成とすることもできる。
【0090】
＜効果＞
本発明の一実施形態では、機械学習装置１０２が、データを"分類可能データ"と"分類不明データ"とに分類し、その後、"分類不明データ"を分類する。そして、"分類不明データ"の分類結果が人によって修正される。このように、本発明の一実施形態では、第一学習モデルと第二学習モデルとの二段階で分類し、第二学習モデルによる分類では"分類不明データ"のみに特化して分類しているので、どの注釈が付与されるべきかを低い確度でしか判断できないデータの分類の精度を上げることができる。
本発明の一実施形態では、機械学習装置１０２が、データを"分類可能データ"と"分類不明データ"とに分類し、その後、"分類不明データ"を分類する。そして、"分類不明データ"の分類結果が人によって修正される。このように、本発明の一実施形態では、第一学習モデルと第二学習モデルとの二段階で分類し、第二学習モデルによる分類では"分類不明データ"のみに特化して分類しているので、どの注釈が付与されるべきかを低い確度でしか判断できないデータの分類の精度を上げることができる。
【0091】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0092】
１００ 品質検査システム
１０１ 光学顕微鏡
１０２ 機械学習装置
１０３ ユーザ端末
１０４ ネットワーク
３０１ 対象物画像取得部
３０２ 対象物画像格納部
３０３ 粒子画像抽出部
３０４ 粒子画像格納部
３０５ 第一分類部
３０６ 第一付与部
３０７ 第一学習モデル更新部
３０８ 第一学習モデル格納部
３０９ 第二分類部
３１０ 第二付与部
３１１ 第二学習モデル更新部
３１２ 第二学習モデル格納部
３１３ 注釈取得部
３１４ 分類不明データ格納部
１０１ 光学顕微鏡
１０２ 機械学習装置
１０３ ユーザ端末
１０４ ネットワーク
３０１ 対象物画像取得部
３０２ 対象物画像格納部
３０３ 粒子画像抽出部
３０４ 粒子画像格納部
３０５ 第一分類部
３０６ 第一付与部
３０７ 第一学習モデル更新部
３０８ 第一学習モデル格納部
３０９ 第二分類部
３１０ 第二付与部
３１１ 第二学習モデル更新部
３１２ 第二学習モデル格納部
３１３ 注釈取得部
３１４ 分類不明データ格納部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】