特許 7308775 機械学習方法および機械学習用情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-06

(45)【発行日】2023-07-14

(54)【発明の名称】機械学習方法および機械学習用情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230707BHJP

   G06N 20/00 20190101ALI20230707BHJP

【ＦＩ】

G06T7/00 350B

G06N20/00 130

【請求項の数】 15

(21)【出願番号】P 2020021453

(22)【出願日】2020-02-12

(65)【公開番号】P2021128415

(43)【公開日】2021-09-02

【審査請求日】2022-07-26

(73)【特許権者】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテク

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】樋口 晴彦

(72)【発明者】

【氏名】池田 光二

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１９－２１１９６９（ＪＰ，Ａ）

【文献】特開２０１７－２２４１８４（ＪＰ，Ａ）

【文献】特開２０１９－０２１２０１（ＪＰ，Ａ）

【文献】特開２０１５－１２９９８８（ＪＰ，Ａ）

【文献】Alex Kendall, Yarin Gal，What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?，[online]，2017年10月05日， [retrieved on 2023.06.15], Retrieved from the Internet : <url: https://arxiv.org/pdf/1703.04977v2.pdf>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像解析結果の正誤情報を生成する正誤情報生成部と、
画像解析処理において解析に関わる信頼性を判定する信頼性判定部と、
前記正誤情報および前記信頼性に基づき学習条件を提示する学習条件出力部と、
を備える、機械学習用情報処理装置。

【請求項2】

前記正誤情報生成部において、
前記画像解析結果と前記画像解析結果に対して入力される利用者の操作結果から前記正誤情報を生成する、
ことを特徴とする請求項１記載の機械学習用情報処理装置。

【請求項3】

前記正誤情報生成部において、
解析対象となる画像を別の手法により解析した結果を正解情報とし、前記画像解析結果と前記正解情報と照合することにより前記正誤情報を生成する、
ことを特徴とする請求項１記載の機械学習用情報処理装置。

【請求項4】

前記正誤情報生成部において、
画像１つに対して１つの正誤情報を生成する、
ことを特徴とする請求項１記載の機械学習用情報処理装置。

【請求項5】

前記正誤情報生成部において、
画像１つに含まれる２つ以上の解析結果に対して２つ以上の正誤情報を生成する、
ことを特徴とする請求項１記載の機械学習用情報処理装置。

【請求項6】

前記学習条件は、
前記正誤情報が生成された画像解析結果に対応する画像を学習データに追加することを含む、
ことを特徴とする請求項１記載の機械学習用情報処理装置。

【請求項7】

前記学習条件は、
前記正誤情報が生成された画像解析結果に対応する画像を学習データに追加することを非推奨とすることを含む、
ことを特徴とする請求項１記載の機械学習用情報処理装置。

【請求項8】

前記学習条件は、
学習に関わる設定値を変更することを含む、
ことを特徴とする請求項１記載の機械学習用情報処理装置。

【請求項9】

前記学習条件は、
前記正誤情報が生成された画像解析結果に対応する画像を再取得することを含む、
ことを特徴とする請求項１記載の機械学習用情報処理装置。

【請求項10】

前記学習条件出力部において、
信頼性を数値として扱い、当該数値が閾値よりも大きいときに、当該数値が閾値よりも小さいときと異なる学習条件を提示する、
ことを特徴とする請求項１記載の機械学習用情報処理装置。

【請求項11】

前記解析に関わる信頼性について、
画像解析処理のモデルに起因するモデルの信頼性を用いる、
ことを特徴とする請求項１記載の機械学習用情報処理装置。

【請求項12】

前記解析に関わる信頼性について、
解析対象である画像データに起因するデータの信頼性を用いる、
ことを特徴とする請求項１記載の機械学習用情報処理装置。

【請求項13】

学習データを用いた機械学習が適用されたモデルが実装され、入力された画像に対して画像解析を行う画像解析装置の機械学習方法であって、
入力された画像に関する画像解析装置の解析結果に対して正誤判定を行う、第１のステップ、
モデルの信頼性およびデータの信頼性の少なくとも一つを含む画像解析の信頼性を評価する、第２のステップ、
前記正誤判定と前記画像解析の信頼性に基づいて、現状維持、前記入力された画像を学習データに利用することの推奨、前記入力された画像を学習データに利用しないことの推奨、および学習設定値の変更、の少なくとも一つを提示する第３のステップ、
を実行する機械学習方法。

【請求項14】

前記モデルの信頼性を所定の閾値と比較して大小を識別する第４のステップを実行し、
前記第３のステップでは、
解析結果が正であり、かつモデルの信頼性が大のとき、現状維持を提示し、
解析結果が正であり、かつモデルの信頼性が小のとき、前記入力された画像を学習データに利用することの推奨を提示し、
解析結果が誤であり、かつモデルの信頼性が大のとき、学習設定値の変更を提示し、
解析結果が誤であり、かつモデルの信頼性が小のとき、前記入力された画像を学習データに利用することの推奨を提示する、
請求項１３記載の機械学習方法。

【請求項15】

前記データの信頼性を所定の閾値と比較して大小を識別する第５のステップを実行し、
前記第３のステップでは、
解析結果が正であり、かつデータの信頼性が大のとき、現状維持を提示し、
解析結果が正であり、かつデータの信頼性が小のとき、前記入力された画像を学習データに利用しないことの推奨を提示し、
解析結果が誤であり、かつデータの信頼性が大のとき、学習設定値の変更を提示し、
解析結果が誤であり、かつデータの信頼性が小のとき、前記入力された画像を学習データに利用しないことの推奨を提示する、
請求項１３記載の機械学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習にかかわる情報処理技術に関する。

【背景技術】

【0002】

機械学習を用いた処理装置においては、学習によって得られる認識等の処理の信頼性や精度の向上が求められる。

【0003】

例えば特許文献１では、機械学習を用いた画像認識技術において、学習用データを選択する技術を開示している。特許文献１に開示されている技術によれば、想定外の環境変化に対して、学習による画像認識処理の認識精度の低下を抑制することができる。

【0004】

また非特許文献１では、深層学習において、認識における不確かさ（Epistemic Uncertainty）と偶発的な不確かさ（Aleatoric Uncertainty）を評価する技術が報告されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－２１２０１号公報

【非特許文献】

【0006】

【文献】“What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?” Alex Kendall et.al, 31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA.

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１では、画像認識処理を行うときに、判別の信頼度が低くかつ頻度が少ないデータを、学習に用いるデータとして選択している。

【0008】

しかし、電子顕微鏡による材料解析のように、解析すべきデータの量が多くデータもしくはデータから認識すべき対象に異なる重要度があるような場合においては、判別の信頼度が低くかつ頻度が少ないデータを学習に用いても解析精度が低下することがあり得る。例えば、撮影環境が変化したとしても、より重要度の高い物体を検出できることが求められる。

【0009】

本発明は、画像解析の精度を向上し得る学習条件を提示する手法を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の好ましい一側面は、画像解析結果の正誤情報を生成する正誤情報生成部と、画像解析処理において解析に関わる信頼性を判定する信頼性判定部と、正誤情報および信頼性に基づき学習条件を提示する学習条件出力部と、を備える、機械学習用情報処理装置である。

【0011】

本発明の好ましい他の一側面は、学習データを用いた機械学習が適用されたモデルが実装され、入力された画像に対して画像解析を行う画像解析装置の機械学習方法である。この方法では、入力された画像に関する画像解析装置の解析結果に対して正誤判定を行う、第１のステップ、モデルの信頼性およびデータの信頼性の少なくとも一つを含む画像解析の信頼性を評価する、第２のステップ、正誤判定と画像解析の信頼性に基づいて、現状維持、入力された画像を学習データに利用することの推奨、入力された画像を学習データに利用しないことの推奨、および学習設定値の変更、の少なくとも一つを提示する第３のステップ、を実行する
さらに具体的な態様を説明すると、モデルの信頼性を所定の閾値と比較して大小を識別する第４のステップを実行し、第３のステップでは、解析結果が正であり、かつモデルの信頼性が大のとき、現状維持を提示し、解析結果が正であり、かつモデルの信頼性が小のとき、前記入力された画像を学習データに利用することの推奨を提示し、解析結果が誤であり、かつモデルの信頼性が大のとき、学習設定値の変更を提示し、解析結果が誤であり、かつモデルの信頼性が小のとき、前記入力された画像を学習データに利用することの推奨を提示する。

【0012】

別のさらに具体的な態様を説明すると、データの信頼性を所定の閾値と比較して大小を識別する第５のステップを実行し、第３のステップでは、解析結果が正であり、かつデータの信頼性が大のとき、現状維持を提示し、解析結果が正であり、かつデータの信頼性が小のとき、前記入力された画像を学習データに利用しないことの推奨を提示し、解析結果が誤であり、かつデータの信頼性が大のとき、学習設定値の変更を提示し、解析結果が誤であり、かつデータの信頼性が小のとき、前記入力された画像を学習データに利用しないことの推奨を提示する。

【発明の効果】

【0013】

本発明によれば、画像解析の精度を向上し得る学習条件を提示することができる。上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0014】

【図1】機械学習用情報処理装置の機能構成例を示すブロック図である。

【図2】解析対象の画像および解析結果の画像の一例を示す説明図である。

【図3】利用者により解析の正誤を選択する方法の例を説明する説明図である。

【図4】学習条件の判定の例を説明するための表図である。

【図5】信頼性と解析結果の正誤の対応の一例を示す説明図である。

【図6】機械学習用情報処理を示すフローチャートである。

【図7】機械学習用情報処理で用いるインターフェースの画面例を示す平面図である。

【発明を実施するための形態】

【0015】

以下、図面に基づき、本発明の実施形態を詳述する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また、実施形態の中で説明されている諸要素およびその組み合わせの全てが発明の解決手段に必須であるとは限らない。また実施形態の中で説明されている諸要素を適宜組み合わせた形態も、本願が開示する実施形態に含まれる。

【0016】

以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。

【0017】

同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。

【0018】

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

【0019】

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

【0020】

本明細書で引用した刊行物、特許および特許出願は、そのまま本明細書の説明の一部を構成する。

【0021】

本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。

【0022】

実施例で説明される機械学習用情報処理装置の一例は、機械学習が適用される解析装置の学習を支援する用途に用いられるものである。機械学習としては、学習データ（教師データ）を用いてニューラルネットワークを学習するものがあげられる。この装置は、画像解析結果の正誤情報を生成する正誤情報生成部と、画像解析処理において解析に関わる信頼性を判定する信頼性判定部と、正誤情報および信頼性に基づき学習条件を提示する学習条件出力部と、を備える。

【0023】

このような機械学習用情報処理装置は、一般的な情報処理装置、例えばサーバーによって構成可能である。一般的なサーバーと同様に、かかる機械学習用情報処理装置は、制御装置と、記憶装置と、入力装置と、出力装置と、各部を接続するバスを備えている。装置で実行されるプログラムは、記憶装置に予め組み込んでおくものとする。以下の説明では、情報処理装置が当然備える制御装置、記憶装置、入力装置、出力装置を敢えて図示することはなく、装置で実現される機能に着目して説明する。

【0024】

具体的には、各機能は記憶装置に記憶され、処理装置で実行されるプログラムによって実現される。すなわち、本実施例では計算や制御等の機能は、記憶装置に格納されたプログラムが処理装置によって実行されることで、定められた処理を他のハードウェアと協働して実現される。計算機などが実行するプログラム、その機能、あるいはその機能を実現する手段を、「機能」、「手段」、「部」、「ユニット」、「モジュール」等と呼ぶ場合がある。

【0025】

機械学習用情報処理装置の構成は、単体の装置で構成してもよいし、あるいは、入力装置、出力装置、処理装置、記憶装置の任意の部分が、ネットワークで接続された他のコンピュータで構成されてもよい。発明の思想としては等価であり、変わるところがない。

【0026】

本実施例中、ソフトウェアで構成した機能と同等の機能は、FPGA（Field Programmable Gate Array）、ASIC（Application Specific Integrated Circuit）などのハードウェアでも実現できる。そのような態様も本願発明の範囲に含まれる。

【0027】

図１は、実施形態に係る機械学習用情報処理装置１００の構成例を示すブロック図である。機械学習用情報処理装置１００は、正誤情報生成部１０１、信頼性判定部１０２、学習条件出力部１０３および表示内容生成部１０４を備える。正誤情報生成部１０１、信頼性判定部１０２、学習条件出力部１０３および表示内容生成部１０４は、バス１０６を介して接続されている。バス１０６は、バス１０６に接続されている各処理部で扱われるデータ、制御情報および解析情報を保持し、もしくは伝送を仲介する。

【0028】

冒頭で述べたように、本実施例では、正誤情報生成部１０１、信頼性判定部１０２、学習条件出力部１０３および表示内容生成部１０４はソフトウェアで実装するものとする。また、機械学習用情報処理装置１００は情報処理装置として通常備える、各種の入出力装置やインターフェースを備えるものとする。

【0029】

機械学習用情報処理装置１００は、バス１０６を介して画像解析装置１１０および入出力装置１１１に接続されている。機械学習用情報処理装置１００は、画像解析装置１１０および入出力装置１１１と有線接続されてもよいし、無線接続されてもよい。なお、図１では、画像解析装置１１０および入出力装置１１１は、機械学習用情報処理装置１００の外部に設けた例で示したが、機械学習用情報処理装置１００に内蔵されていてもよい。

【0030】

画像解析装置１１０は、画像から特定の対象を解析する機能を有する。画像を解析する処理は、画像を特定の特徴を有するか否かを分類して、1つ以上の分類結果を算出するものでも良いし、画像において特定の対象が含まれる領域を検出して、画像における対象の位置や大きさを算出するものでもよいし、画像において特定の対象が含まれる領域をセグメントとして分けて、他の対象と色を分けた画像として算出するものでも良い。以降、画像の分類、画像の検出、画像のセグメント分けに代表されるように、画像から特定の対象を解析する処理を、画像解析と呼ぶこととする。画像解析処理については公知の技術を用いる。

【0031】

画像解析装置１１０は、典型的な例示としては、教師有り学習によって内部パラメータを設定されるディープニューラルネットワーク（DNN）等で構成することができる。当該構成は、ソフトウェアで実装してもよいし、FPGAのようなハードウェアで構成してもよい。画像解析装置１１０は、一般的には所定の入力に対して所定の出力を行う関数近似器として定義される。一般的な関数近似器とした場合、入力は上記のように画像データでもよいし、音声その他の種類のデータを入力としてもよい。

【0032】

図２に、画像解析装置１１０による画像解析結果の例を示す。撮影画像２１０は顕微鏡により撮影される画像の例として三日月状の物体２０１と楕円状の物体２０２が混在している状態を示している。画像解析装置１１０は、例えば撮影画像２１０を入力とすると、三日月状の物体２０１と楕円状の物体２０２を識別して分類する。

【0033】

例えば、この撮影画像２１０について、三日月状の物体２０１は白色に色分けしてセグメント化し、楕円状の物体２０２及び背景は灰色に色分けしてセグメント化するように画像解析した結果の画像例を解析結果画像２２０に示す。

【0034】

解析結果画像２２０においては、三日月状の物体２０１Ａ，２０１Ｂ，２０１Ｄを正しく白色にセグメント化したセグメント２１１Ａ，２１１Ｂ，２１１Ｄおよび、楕円状の物体２０２Ａを正しく灰色にセグメント化したセグメント２１２Ａがある。一方で、三日月状の物体２０１Ｃが正しくセグメント化されていないセグメント２１１Ｃや、楕円状の物体２０２Ｂが正しくセグメント化されていないセグメント２１２Ｂを含んでいる。

【0035】

入出力装置１１１は、画像解析装置１１０により処理された解析結果の正誤に関する情報を機械学習用情報処理装置１００に出力する機能を有する。正誤に関する情報を出力する例としては、例えば、画像解析装置１１０による解析結果を解析結果画像２２０のような形態で入出力装置１１１に画像として表示し、利用者により解析の正誤を選択させ、選択した結果を機械学習用情報処理装置１００に出力する。

【0036】

この場合、入出力装置１１１は、例として画像を表示するディスプレイと利用者が操作できるマウスもしくはキーボードを有するＰＣにより構成されるが、解析結果画像２２０を利用者に出力して、解析結果の正誤を利用者により入力するものであればよい。例えばスマートフォンやタブレット端末が有するタッチパネルディスプレイでも良いし、画像結果をプリンタにより印刷するのでも良いし、音声により利用者の選択を入力するものでも良い。

【0037】

入出力装置１１１が処理し機械学習用情報処理装置１００に出力する情報は、解析結果の正誤を利用者により選択したものでも良いし、期待される解析結果を利用者により作成したものでも良い。また、正誤に関する情報を出力する別の例としては、画像解析装置１１０とは異なる解析手段による情報を入出力装置１１１から機械学習用情報処理装置１００に出力する。例えば、単眼カメラで物体を撮影した画像を用いて、画像解析装置１１０によりカメラから物体までの距離を解析する場合では、予めレーザースキャナやＴＯＦカメラなどの３Ｄセンサにより計測した距離を正解情報として、入出力装置１１１はこの正解情報を機械学習用情報処理装置１００に出力する。正解情報を得る手段については、公知の技術を用いる。

【0038】

図３を用いて、利用者により解析の正誤を選択する方法の例を説明する。利用者に提示する画像３１０は、解析結果画像２２０に基づき作成したもので、利用者に解析結果の正誤を選択するよう促す。利用者による選択の例として、図３ではカーソル３０１を操作し各セグメントの正誤を選択させる。利用者が選択した結果を正誤選択結果画像３２０に示す。

【0039】

利用者による選択の結果、解析結果が正しい（三日月状の物体２０１を白色にセグメント化、もしくは楕円状の物体２０２を灰色にセグメント化）と判断したものについては、「正」と表示しており、解析結果が誤っている（三日月状の物体２０１ではないものを白色にセグメント化、もしくは三日月状の物体２０１を灰色にセグメント化）と判断したものを「誤」、解析結果が重要でない（以降の学習に反映させる必要がない）と判断したものを「未選択」として表示している。

【0040】

正誤情報生成部１０１は、入出力装置１１１から入力する情報に基づき、画像解析結果の正誤情報を生成する。正誤情報の粒度は任意であるが、図３の例では、セグメント対応で正誤情報を与えている。すなわち、この例では、正誤情報は画像の部分的な領域に対応している。あるいは、正誤のカウント数や正誤の比率によって、画像毎に正誤判定を行ってもよい。

【0041】

信頼性判定部１０２は、画像解析の信頼性を判定する。ここで信頼性とは、画像解析における不確かさを指す。画像解析処理を機械学習などにより統計学的にモデル化するとき、モデル化が十分に精緻になされていないと、解析の難度が高いデータを与えたときに、モデル化した解析処理が不確かさを持つことにより、解析結果にばらつきが生じて解析精度が低下し得る。このとき、「モデルが不確かである」ということができ、以降では「モデルの信頼性が低い」と呼ぶ。このケースは、前述の非特許文献１で認識における不確かさと呼ばれているものである。

【0042】

また、画像解析処理のモデル化が十分に精緻であっても、解析対象のデータが他と比べて局所的にノイズを含み解析の難度が高くなっているような場合では、当該データが不確かさを持つことにより、解析結果にばらつきが生じて解析精度が低下し得る。このとき、「データが不確かである」ということができ、以降では「データの信頼性が低い」と呼ぶ。このケースは前述の非特許文献１で偶発的な不確かさと呼ばれているものである。

【0043】

信頼性判定部１０２では、モデルの信頼性およびデータの信頼性を算出する。信頼性判定部１０２が判定する信頼性は、モデルの信頼性のみでも良いし、データの信頼性のみでも良いし、モデルの信頼性とデータの信頼性の両方でも良い。モデルの信頼性およびデータの信頼性を算出する手法については、例えば非特許文献１記載の公知の技術を用いる。非特許文献１にも記載されているように、モデルの信頼性およびデータの信頼性は、画像の部分的な領域に対応した連続値として、例えばコントラストや色の差で視覚的に示すことができる。

【0044】

学習条件出力部１０３は、正誤情報生成部１０１により生成される画像解析結果の正誤情報と信頼性判定部１０２により判断される画像解析の信頼性より、学習条件を判定して提示する。

【0045】

図４は、画像解析結果の正誤情報と画像解析の信頼性に基づいて、学習条件を判定するルールの例を示す表図である。このようなルールは、予め使用者が定めておき、例えばテーブル形式のデータとして機械学習用情報処理装置１００の記憶装置（図示せず）に記憶させておく。学習条件出力部１０３は当該ルールを参照して判定を行う。

【0046】

図４のうちテーブル４１０は、解析結果の正誤情報およびモデルの信頼性から学習条件を判定する例であり、モデルの信頼性に対して閾値ａもしくはｂを用いて信頼性が高いか否かを判定している。閾値はルールの一部として予め使用者が定めておく。

【0047】

４１０（１）では、解析結果が正しくかつモデルの信頼性が高いと判定していることから、画像解析装置１１０の学習は適切と考えられる。この場合、学習条件を維持（現状維持）するよう判定結果を提示する。

【0048】

４１０（２）（４）では、モデルの信頼性が低いことから、共に該当するデータを学習データに追加して学習することにより解析精度が向上すると判定している。閾値ｂを閾値ａよりも小さく設定することにより、解析結果が誤っている（４）の方を優先的に学習データに追加させることができる。

【0049】

図５は、正誤選択結果画像３２０と信頼性表示画像５１０の関係を示している。信頼性表示画像５１０は非特許文献１にも開示されておりモデルの信頼性を示しているが、データの信頼性も同様に表示できる。この例では、信頼性が閾値より低い部分をグレーで、閾値以上の部分を白で示している。ここで、セグメント５１１の部分は、解析結果が正しいがモデルの信頼性が低い４１０（２）に該当する。セグメント５１２の部分は、解析結果が誤りでモデルの信頼性が低い４１０（４）に該当する。

【0050】

学習データへの追加は、正誤選択結果画像３２０に対応する原画像（画像解析装置１１０への入力画像）と正解の組を学習データに追加すればよい。あるいは、画像中の該当する部分（例えばセグメント５１１あるいは５１２に対応する部分）をカーソル３０１で指定して切り出し、学習データに追加してもよい。

【0051】

４１０（３）では、解析結果が誤っているにもかかわらずモデルの信頼性が高い状態であり、図５のセグメント５１３の部分に対応する。ここでは、学習データの追加よりも学習設定値を変更することによりモデルを大きく変更することが効果的であると判断している。学習設定値とは、例えば学習実行時に学習条件を設定するパラメータや、モデルをチューニングするハイパーパラメータである。

【0052】

一方、図４のうちテーブル４２０は、解析結果の正誤情報およびデータの信頼性から学習条件を判定する例であり、データの信頼性に対して閾値ｃもしくはｄを用いて信頼性が高いか否かを判定している。

【0053】

４２０（５）では、解析結果が正しくかつデータの信頼性が高いと判定していることから、学習条件を維持するよう判定結果を提示する。

【0054】

４２０（６）（８）では、データの信頼性が低く該当するデータに偶発的なノイズが生じていると考えられ、該当するデータを学習データに追加しても解析精度は向上せず、かえって解析精度が低下する恐れがある。すなわち、該当するデータは学習データに使用しない方が良いということである。このことから、当該データの学習データとしての使用は推奨しないことを提示する。さらに学習データを追加して解析精度を向上するためには、データの再取得を提示する。再取得とは、異なる対象についての画像を取得することと、同じ対象についての画像を再取得することの両方があり得る。同じ対象についての画像であっても、条件（例えば撮影条件）によっては学習データに適切なものが取得できる可能性があるからである。具体的には、再度の撮影により、画像中のノイズやハレーションが改善されることが期待される。

【0055】

４２０（７）では、解析結果が誤っているにも関わらずデータの信頼性が高い状態であり、データの再取得よりも学習設定値を変更することによりモデルを大きく変更することが効果的であると判断している。

【0056】

表示内容生成部１０４は、図３で説明したように、入出力装置１１１にて利用者が画像解析の正誤を選択する際に、利用者に提示する表示内容を生成する。解析結果が正しいもしくは誤っていると利用者が判断できるような表示内容であればよく、画像分類であれば分類結果を文字として表示するのでも良いし画像として表示するのでも良い。画像の検出であれば、画像のうち検出した領域を枠や色を付与して表示するのでも良いし検出した領域のみを切り出して表示するのでも良い。画像のセグメント分けであれば、画像のうちセグメント分けした領域に色を付与して表示するのでも良いし、セグメント分けした領域のみを切り出して表示するのでも良い。ほかにも、画像のうち画像解析した結果を示す手法であれば、公知の技術でも構わない。また、２つ以上ある複数の画像解析結果を並べて表示させ、その中から画像解析の正誤を選択するような表示内容でも構わない。

【0057】

また、表示内容生成部１０４は、学習条件出力部１０３の出力結果を表示するための画像データも生成する。また、後に図７で説明するようなインターフェース画像の生成を行う。

【0058】

図４に示した、モデルの信頼性に基づく判定と、データの信頼性に基づく判定は、片方だけを独立に行ってもよいし、両方を行ってもよい。両方行う場合には、先にデータの信頼性に基づく判定を行い、４２０（６）（８）で学習データへの採用が推奨されない画像を除外してから、モデルの信頼性に基づく判定を行うことで、非推奨データが学習データに用いられることを防止するのがよい。

【0059】

図６は、機械学習用情報処理装置１００による機械学習用情報処理を示すフローチャートである。図６では、解析結果の正誤情報およびモデルの信頼性から学習条件を判定する処理をフローチャート図により示している。

【0060】

機械学習用情報処理装置１００への入力は、画像解析装置１１０から入力される画像解析結果と、入出力装置１１１から入力される例えば使用者による正解である。学習データの追加を想定している場合には、画像解析装置１１０の解析対象として学習データ以外の新しい画像（追加しようとする学習データ候補）を使用する。

【0061】

Ｓ６０１では、画像解析装置１１０と入出力装置１１１から入力される情報に基づき、正誤情報生成部１０１により正誤情報を生成する。正誤情報は、解析結果画像の各々について付与されるものでも良いし、図３の例のように解析結果画像に含まれる１以上の解析結果の各々について付与されるものでも良い。また、入出力装置１１１において利用者が正誤を判断した画像についてのみ正誤情報を生成するのでも良く、その場合はＳ６０３で対象とするデータは、利用者が正誤を判断したデータに限定する。

【0062】

Ｓ６０２では、信頼性判定部１０２によりモデルの信頼性を判定する。モデルの信頼性は、解析結果画像に対して例えば画像の大きさ（水平方向画素数×垂直方向画素数）の数だけ数値を有するものでも良いし、解析結果画像1つに対して単一の数値を有するものでも良い。信頼性判定の具体例については、例えば非特許文献１に開示がある。

【0063】

Ｓ６０３では解析結果画像のうち本実施例で参照するデータ（たとえば追加しようとする学習データ候補）を判定しており、対象データ全ての参照が完了するまでＳ６０４からＳ６１０までの処理を実行する。参照が全て完了すると、処理を終了する。

【0064】

Ｓ６０４では、解析結果の正誤情報を参照し、解析結果が「正」であった場合はＳ６０５に、解析結果が「誤」であった場合はＳ６０６にすすむ。Ｓ６０５ではモデルの信頼性が閾値ａ以上か否かを判定し、Ｓ６０７もしくはＳ６０８にすすむ。Ｓ６０６ではモデルの信頼性が閾値ｂ以上か否かを判定し、Ｓ６０９もしくはＳ６１０にすすむ。Ｓ６０７からＳ６１０に示す学習条件については、前述のとおりである。

【0065】

図６では、モデルの信頼性を用いた判定について説明しているが、データの信頼性でも同様の処理を行うことができる。その際には、閾値としてｃ、ｄを用いることはいうまでもない。

【0066】

図７に、機械学習用情報処理装置１００を実行するときに用いるＧＵＩ（Graphical User Interface）の例を示す。

【0067】

ＧＵＩの画面７００は、実行モード７０４、初期深層ネットワークモデルを格納したディレクトリを指定する欄７０５、入力データ及び学習データを格納したディレクトリを指定する欄７０６、推定結果データ、信頼性データ、及び学習後の深層ネットワークモデルを格納するディレクトリを指定する欄７０７、解析後の推奨データや深層ネットワークモデルを格納するディレクトリを指定する欄７０８、実行パラメータもしくは解析用パラメータを入力する欄７１１、実行ボタン７１４、レポート出力ボタン７１５、画像もしくは信頼性データを表示する画面７０２、画面７０２に表示する情報を指定するための欄７０１、７０３、７１６～７２１を備える。

【0068】

画面７００の内容は、表示内容生成部１０４により生成され、入出力装置１１１の例えば画像モニタに表示される。欄７０５では、画像解析装置１１０に実装するモデルを選択する。欄７０６では、記憶装置に記憶済みの種々のデータを選択して呼び出す。欄７０７では、生成したデータを記憶装置に保存する。欄７０８では、図６で示した処理の結果得られる推奨データやモデルを保存する。欄７１１では、モデルの学習時あるいは実行時に設定するパラメータを入力する。実行ボタン７１４では、学習や解析の処理を実行する。レポート出力ボタン７１５では、例えば図６で示した処理の結果得られる推奨データをレポート形式で出力する。画面７０２では、図２、図３、図５で示したような画像を同時あるいは切り替えて表示する。

【0069】

欄７１６及び７１９は、入力データ（例えば図２の２１０のように表示できる）、正解データ（学習データ）、訓練データ、推論結果データ（例えば図２の２２０のように表示できる）、信頼性データ（例えば図３の３１０のように表示できる）などが選択できる。欄７１７及び７２０には、欄７１６及び７１９で選択したデータのリストが一覧表示される。各データは、機械学習用情報処理装置１００の記憶装置あるいは外部の記憶装置に格納しておく。欄７１８及び７２１は、欄７１７及び７２０に表示されるリストの位置を示すゲージである。

【0070】

欄７０１では、合成（濃淡）、合成（カラー）が選択でき、欄７１７及び７２０で選択されたデータを、７０３のゲージの比率で合成したデータが画面７０２に表示される。すなわち、この例では、異なる画像をオーバラップ表示可能である。そのほか、複数の画像を並べて表示してもよい。

【0071】

実行モード７０４には、訓練（ｔｒａｉｎｉｎｇ）、推論（ｉｎｆｅｒｅｎｃｅ）、解析（ａｎａｌｙｓｉｓ）などが選択できる。

【0072】

まずは、実行モード７０４で訓練モードもしくは推論モードに設定し、欄７０５～７０７に適切なディレクトリを、欄７１１に実行パラメータを設定し、実行ボタン７１４を押下すると、設定したディレクトリ及び実行パラメータにしたがって、画像解析装置１１０のモデルの訓練もしくは推論が実行される。モデルの訓練や推論は、公知の手順で実行可能である。実行後、学習後の深層ネットワークモデル、推論結果データ、信頼性データが出力ディレクトリに格納される。

【0073】

実行後、欄７０１、７０３、７１６～７２１を設定することにより、画面７０２に表示したいデータを表示することができる。すなわち、入力データ、学習データ、訓練データ、推論結果データ、信頼性データが参照できる。

【0074】

次に、解析モードに設定し、欄７０８に、解析後の推奨データなどを格納したディレクトリを設定する。解析モードが実行されると、図６に示した処理が実行される。解析後の推奨データとは、学習データとして追加が推奨されるデータであり、図６の処理Ｓ６０８，Ｓ６１０で追加されたデータである。

【0075】

欄７０１、７０３、７１６～７２１を設定して、画面７０２に表示したいデータを表示し、正誤の選択などを行うことで、解析結果の正誤情報の生成処理Ｓ６０１が実行できる。もっとも、解析結果の正誤情報は前もって生成して記憶しておいてもよい。その後、実行ボタン７１４を押下することにより、処理Ｓ６０２～Ｓ６１０が実行され欄７０８のディレクトリに推奨データが格納される。

【0076】

また、図６の処理Ｓ６０７で学習条件を維持すべきとの判定結果があった場合も、入出力装置１１１は、例えば画面７０２にその旨を表示する。図６の処理Ｓ６０９で学習設定値を変更すべきとの判定結果があった場合は、使用者は欄７１１で任意のパラメータを調整する。

【0077】

このようにして追加学習あるいはパラメータ変更を実行した後、訓練モードに設定し、欄７０６を推奨データが格納されているディレクトリに設定して、実行ボタン７１４を押下することにより、欄７０７のディレクトリに、改善された学習後の深層ネットワークモデル、推論結果データ、信頼性データが格納される。

【符号の説明】

【0078】

機械学習用情報処理装置１００、正誤情報生成部１０１、信頼性判定部１０２、学習条件出力部１０３、表示内容生成部１０４、バス１０６

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】