(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-20
(45)【発行日】2023-12-28
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231221BHJP
【ＦＩ】
G06T7/00 614
G06T7/00 350B
【請求項の数】
14
(21)【出願番号】P 2019142515
(22)【出願日】2019-08-01
(65)【公開番号】P2021026406
(43)【公開日】2021-02-22
【審査請求日】2022-07-26
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】植田 竜太
【審査官】大塚 俊範
(56)【参考文献】
【文献】特開２００１－０８３９８６（ＪＰ，Ａ）
【文献】特開２０１９－０４５９２９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／００５３２１１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
医用データをクラス分類する第一の分類器を用いて、正解ラベルが付与された医用データに対するクラス尤度を取得する尤度取得部と、前記尤度取得部により取得した前記クラス尤度と、前記正解ラベルに対応するクラスとに基づいて乖離の程度を評価する分類結果の評価部と、
前記分類結果の評価部による前記乖離の程度が所定の基準を満たすか否かを判定する判定部と、
前記判定部により所定の基準を満たすと判定された前記乖離の程度が所定の基準以上の医用データを教師データとした第二の分類器の学習をする分類器の学習部と、を有し、
前記判定部により所定の基準を満たさないと判定された前記乖離の程度が所定の基準よりも小さい医用データを、前記所定の基準を満たさないと判定された医用データを分類した分類器に対応する分類データとして記憶することを特徴とする情報処理装置。
【請求項2】
前記教師データにより学習された第二の分類器を、前記医用データをクラス分類する前記第一の分類器とし、前記所定の基準を満たすと判定された前記乖離の程度が所定の基準以上の医用データを前記医用データとして、前記尤度取得部、前記分類結果の評価部、前記判定部、前記学習部の処理を繰り返し実行できる制御部を有することを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記繰り返しにより、複数の分類器と、前記複数の分類器のそれぞれに対応する複数の分類データと、を有することを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記複数の分類器のそれぞれをラベルとして付与した分類データを教師データとして学習した分類器を用いて、分類対象の医用データを評価する分類対象の医用データ評価部を有することを特徴とする請求項３に記載の情報処理装置。
【請求項5】
前記分類対象の医用データ評価部による評価結果を通知する通知部を有することを特徴とする請求項４に記載の情報処理装置。
【請求項6】
前記分類対象の医用データ評価部における分類器は、前記複数の分類器に対応するクラスへの分類結果を尤度で算出することを特徴とする請求項４に記載の情報処理装置。
【請求項7】
前記分類対象の医用データ評価部による評価結果に基づいて前記複数の分類器のうち、前記分類対象の医用データを分類する分類器を設定する分類器の設定部を有することを特徴とする請求項６に記載の情報処理装置。
【請求項8】
前記分類器の設定部は、前記尤度が最も高い分類器を、前記分類対象の医用データを分類する分類器として設定することを特徴とする請求項７に記載の情報処理装置。
【請求項9】
前記分類器の設定部は、前記尤度が閾値を超える分類器を、前記分類対象の医用データを分類する分類器として設定をすることを特徴とする請求項７または８に記載の情報処理装置。
【請求項10】
前記分類器の設定部により設定された分類器を示す情報と、前記分類器による分類結果を通知する通知部を有することを特徴とする請求項７乃至９のいずれか一項に記載の情報処理装置。
【請求項11】
前記繰り返しは、分類器を学習する教師データの数が所定以下と判定、分類器の分類精度が所定以下と判定、過学習の判定、未学習の判定、ユーザの指定回数を超えると判定、のうちいずれかの判定処理が行われた際に繰り返しを終了することを特徴とする請求項２または３に記載の情報処理装置。
【請求項12】
医用データをクラス分類する第１の分類器を用いて、正解ラベルが付与された医用データに対するクラス尤度を取得する尤度取得ステップと、前記クラス尤度と、前記正解ラベルに対応するクラスとに基づいて乖離の程度を評価する分類結果の評価ステップと、
前記乖離の程度が所定の基準を満たすか否かを判定する判定ステップと、
前記所定の基準を満たすと判定された場合に、所定の基準を満たすと判定された前記乖離の程度が所定の基準以上の医用データを教師データとした第２の分類器の学習をする分類器の学習ステップと、
前記所定の基準を満たさないと判定された場合に、所定の基準を満たさないと判定された前記乖離の程度が所定の基準より小さい医用データを、前記所定の基準を満たさないと判定された医用データを分類した分類器に対応する分類データとして記憶するステップと、を有することを特徴とする情報処理方法。
【請求項13】
前記教師データにより学習された第２の分類器を、前記医用データをクラス分類する分類器とし、前記所定の基準を満たすと判定された医用データを前記医用データとして、前記尤度取得ステップ、前記分類結果の評価ステップ、前記判定ステップ、前記学習ステップの処理を繰り返し実行できる制御ステップを有することを特徴とする請求項１２に記載の情報処理方法。
【請求項14】
請求項１２または請求項１３に記載の情報処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、正解ラベルが付与された医用データに対する分類器の分類結果に基づいて当該分類器と異なる分類器を学習する情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
医用画像を解析し、医師に読影の助けとなる情報を提示するコンピュータ支援診断（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）システムが知られている。医用画像から鑑別診断の候補となる診断名を分類し提示するＣＡＤシステムには、医用データと正解の診断名（正解ラベル）を対とした教師データを用いて分類器に機械学習をさせることにより実現されるものがある。
【0003】
特許文献１で開示されたＣＡＤシステムは、機械学習に基づく異常陰影等の異常検出処理システムによる病変検出等の支援結果と、当該支援結果を医師が訂正した後の訂正結果と、を対応付けて保存し、支援処理の性能の定量評価を行う。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第４１０４０３６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１における技術では、単一の分類器の分類結果に対する訂正情報を基に分類器の性能を評価することはできる。一方で、正解ラベルが付与された医用データに対する分類器の分類結果に基づいて当該分類器と異なる分類器を学習することは開示されていない。
【課題を解決するための手段】
【0006】
本発明に係る情報処理装置は、以下の構成を備える。すなわち、
医用データをクラス分類する第一の分類器を用いて、正解ラベルが付与された医用データに対するクラス尤度を取得する尤度取得部と、尤度取得部により取得したクラス尤度と、正解ラベルに対応するクラスとに基づいて乖離の程度を評価する分類結果の評価部と、分類結果の評価部による乖離の程度が所定の基準を満たすか否かを判定する判定部と、
判定部により所定の基準を満たすと判定された医用データを教師データとした第二の分類器の学習をする分類器の学習部と、を備える。
医用データをクラス分類する第一の分類器を用いて、正解ラベルが付与された医用データに対するクラス尤度を取得する尤度取得部と、尤度取得部により取得したクラス尤度と、正解ラベルに対応するクラスとに基づいて乖離の程度を評価する分類結果の評価部と、分類結果の評価部による乖離の程度が所定の基準を満たすか否かを判定する判定部と、
判定部により所定の基準を満たすと判定された医用データを教師データとした第二の分類器の学習をする分類器の学習部と、を備える。
【発明の効果】
【0007】
本発明によれば、正解ラベルが付与された医用データに対する分類器の分類結果に基づいて当該分類器と異なる分類器を学習することが可能となる。
【図面の簡単な説明】
【0008】
【図1】実施形態１乃至４の情報処理装置を含む情報処理システムのシステム構成図
【図2】実施形態１乃至４の情報処理装置のハードウェア構成図
【図3】実施形態１乃至４の医用画像ＤＢの構成を示す概念図
【図4】情報処理装置の分類器作成処理のフロー図
【図5】情報処理装置の分類対象の医用データ評価フロー図
【図6】実施形態１の情報処理装置の機能ブロック図
【図7】実施形態１の情報処理装置の表示画面の例
【図8】実施形態１の情報処理装置の処理のフロー図
【図9】実施形態１の情報処理装置の表示画面の例
【図10】実施形態２の情報処理装置の機能ブロック図
【図11】実施形態２の情報処理装置の表示画面の例
【図12】実施形態２の情報処理装置の処理のフロー図
【図13】実施形態３の分類データ図
【図14】実施形態３の情報処理装置の表示画面の例
【図15】実施形態３の情報処理装置の表示画面の例
【図16】実施形態４の情報処置装置の機能ブロック図
【図17】実施形態４の情報処理装置の処理のフロー図
【発明を実施するための形態】
【0009】
以下、添付の図面を参照して、本発明の実施形態に基づいて発明の詳細を説明する。尚、特に断らない限り、他の実施形態等で説明した項目については、同一の番号を付し、その説明を省略するものとする。また、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【実施例】
【0010】
＜実施形態１＞
実施形態１では、胸部Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像上の肺結節影に対する診断名の分類を行うＣＡＤシステムである情報処理装置について説明する。本実施形態の情報処理装置は、分類器による分類の尤度と正解との乖離の程度を評価し、当該乖離の程度に基づいて判定したデータと、処理対象となるデータとの類似性を評価し、結果をユーザに通知する。ユーザは、当該通知に基づき、処理を続けるか否かを選択できる。
実施形態１では、胸部Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像上の肺結節影に対する診断名の分類を行うＣＡＤシステムである情報処理装置について説明する。本実施形態の情報処理装置は、分類器による分類の尤度と正解との乖離の程度を評価し、当該乖離の程度に基づいて判定したデータと、処理対象となるデータとの類似性を評価し、結果をユーザに通知する。ユーザは、当該通知に基づき、処理を続けるか否かを選択できる。
【0011】
（システム構成）
図１は、本実施形態の情報処理装置を含む情報処理システムのシステム構成図である。
図１は、本実施形態の情報処理装置を含む情報処理システムのシステム構成図である。
【0012】
図１において、情報処理システムは、医用画像データベース（以降、医用画像ＤＢと呼ぶ）１０２、情報処理装置１０１、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）１０３から構成される。
【0013】
医用画像ＤＢ １０２は、ＣＴ装置など医用画像の撮像装置で撮影された医用画像と、その医用画像の診断名とを含む医用データを記憶する。また、医用データを、ＬＡＮ １０３を介して検索、取得するための既知のデータベース機能を提供する。医用画像ＤＢ １０２に記憶される医用データの構成については図３を用いて説明する。
【0014】
（ハードウェア構成）
図２は、本実施形態の情報処理装置１０１のハードウェア構成図である。
図２は、本実施形態の情報処理装置１０１のハードウェア構成図である。
【0015】
図２において、記憶媒体２０１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や本実施形態に係る各種処理を行うための処理プログラム、各種情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶媒体である。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２はＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等、ハードウェアを初期化しＯＳを起動するためのプログラムを記憶する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０３はＢＩＯＳやＯＳ、処理プログラムを実行する際の演算処理を行う。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０４は、ＣＰＵ ２０３がプログラムを実行する際の情報を一時記憶する。ＬＡＮインタフェース２０５は、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．３ａｂ等の規格に対応し、ＬＡＮ １０３を介して通信を行うためのインタフェースである。２０７は表示画面を表示するディプレイであり、２０６はディスプレイ２０７に表示する画面情報を信号に変換し出力するディスプレイインタフェースである。２０９はキー入力を行うキーボード、２１０は画面上の座標位置を指定及びボタン操作の入力を行うマウス、２０８はキーボード２０９及びマウス２１０からの信号を受信するための入力インタフェースである。２１１は、各ブロックが通信を行うための内部バスである。
【0016】
（医用データの構成）
図３は、医用画像ＤＢ １０２に記憶される医用データの構成を示す概念図である。
図３は、医用画像ＤＢ １０２に記憶される医用データの構成を示す概念図である。
【0017】
図３において、医用画像ＤＢ １０２に記憶される医用データは、第１の医用データセット３１０と分類対象の医用データセット３２０から構成される。第１の医用データセット３１０は分類器の検証に用いる医用データセットである。第１の医用データセット３１０は複数の第１の医用データ３１１－ｊ（ｊ＝１，．．．，Ｎ１）を含み構成され、第１の医用データ３１１－ｊ（ｊ＝１，．．．，Ｎ１）はそれぞれ患者情報３０１、診断名３０２、画像３０３等の情報から構成される。ここで、患者情報３０１は、患者ＩＤ、患者の氏名、年齢、性別など、患者に関する情報である。診断名３０２は、画像３０３に関する診断名であり、例えば本実施形態のおいては「原発」、「転移」、「良性」の３種類である。ここで、「原発」とは原発性肺癌、「転移」とは転移性肺癌、「良性」とは良性結節を指す。画像３０３は、ＣＴ画像から抽出した、肺結節を含む三次元の部分領域画像である。分類対象の医用データセット３２０は情報処理装置１０１によって分類を行う医用データセットである。分類対象の医用データセット３２０は複数の分類対象の医用データ３２１－ｊ（ｊ＝１，．．．，Ｎ３）を含み構成され、分類対象の医用データ３２１－ｊ（ｊ＝１，．．．，Ｎ３）は、患者情報３０１、シリーズ画像３０４から構成される。ここで、シリーズ画像３０４は、ＣＴ装置によって１回の撮影で得られる画像であり、複数の断面の画像（以降、スライス画像と呼ぶ）から構成される。
【0018】
尚、診断名３０２は、「悪性」、「良性」であっても、原発、転移、良性を更に細分化した診断名でもよい。また、画像３０３は、ＣＴ画像と肺結節を含む三次元の部分領域を示す座標情報との組み合わせでもよい。尚、第１の医用データ３１１－ｉ、第３の医用データ３２１－ｉには上述した以外の情報を含んでいてもよい。
【0019】
図４および図５は情報処理装置１０１が分類対象のデータ（入力データ）を評価し、通知をするまでの構成を簡便に示した図である。ここでは、まず図４を用いて、第１の医用データセット３１０に基づいて分類対象の医用データを評価するための分類データセットを作成する構成について説明する。次に図５で作成された分類データセットに基づいて分類対象の医用データセットを評価する構成（図５）の説明をする。
【0020】
図４は、分類対象の医用データを評価するための分類データセット及び分類器を作成するフローについて示している。分類データセットを生成するにあたって、ここでは開始条件としてｉに１が設定されているものとして説明する。ここで、少なくとも一つの分類器が学習済みで存在するものとする。もしくは、学習済みの分類器が存在しなかった場合には第１の医用データセットを学習した分類器を設ける。このような前提条件のもとにフローを説明する。
【0021】
まず、第ｉの医用データ取得部４０１が医用ＤＢ １０２より第ｉの医用データを取得する。第ｉのデータはｉ＝１の場合には、第１の医用データセットである。つまり第ｉの医用データ取得部４０１により、第１の医用データセット３１０が取得される。第ｉの医用データ取得部４０１により取得された医用データは第ｉの分類器４０２に送信され、第ｉ（第１）の分類器によって診断名の分類を尤度で算出する。分類器に関する説明は、後述する。
【0022】
次に、第ｉの分類器４０２による分類結果を受けて、分類結果の評価部４０３により分類結果と、正解との乖離の程度を評価する。評価方法についても後述する。正解との乖離が所定の基準以上かどうかを判定し、第ｉの医用データから第ｉ＋１の医用データの生成を行う。尚、第ｉ分類器に対し、乖離が所定の基準を満たさないデータを第ｉの分類データとして記憶する。分類データは即ち第ｉの分類器において、分類と正解との乖離の程度が所定の基準よりも小さい（所定の基準を満たさない）、分類器にとって精度よく分類できるデータ群となる。
【0023】
一方で、乖離の程度が所定の基準よりも大きい（所定の基準を満たす）医用データである第ｉ＋１の医用データを第ｉ＋１の分類器の学習部４０４に送信する。第ｉ＋１の医用データを基に第ｉ＋１の学習部は第ｉ＋１のデータに対応する診断名３０２をクラス（ラベル）として、学習を行う。そしてｉにｉ＋１を代入して４０１からのフローを再度実行する。本構成により、乖離の程度が所定の基準以上のデータを再帰的に評価、分類データセットを作成し、作成された分類データセットと入力データとを比較することにより、図５で説明をする分類対象のデータ（入力データ）に対して評価が可能となる。
【0024】
なお、本フローにおいては終了条件を明記してないが、例えば学習データ数が一定以下になった場合に処理を終了してもよいし、精度が一定以下になった場合や、モデル構造に対して学習データが不足すると判定された際に本フローを終了する終了条件としてもよい。また過学習や未学習の判定がなされた場合を終了条件としてもよいし、ユーザが決めた所定回数のみ実施しても、医用データセットのデータ数や、データの分散によって終了条件が設定されてもよい。
【0025】
次に図５を用いて、分類対象の医用データセット３２０を入力した際に情報処理装置１０１が行うフローについて説明をする。まず、分類対象の医用データ取得部５０１によって医用ＤＢ１０２より分類対象の医用データセット３２０を取得する。そして取得した分類対象の医用データ３２０を分類対象の医用データ評価部５０２に送信する。分類対象の医用データ評価部５０２は、入力された分類対象の医用データセット３２０と、分類データセットとの類似性を評価する。すなわち分類器のそれぞれに対応する精度よく分類できるデータの集合である分類データセットに対して、分類対象の医用データセット３２０の類似性が一定以上かどうかを評価する。そして評価結果を通知部５０３に送信し、受診した評価結果に基づいて通知部５０３が通知をする。分類器の分類データとの類似性の評価方法についても後述する。
【0026】
【0027】
（機能ブロック）
図６は、本実施形態の情報処理装置１０１の機能ブロック図である。
図６は、本実施形態の情報処理装置１０１の機能ブロック図である。
【0028】
図６において、情報処理装置１０１は、図４および図５に記載の機能ブロックに加えて、分類器による分類結果として尤度を取得する尤度取得部６０１、乖離の程度が所定の基準を超える医用データを判定する判定部６０２、判定部６０２により所定の基準を超えると判定されたデータである第ｉ＋１の医用データセット６０３、判定部６０２により所定の基準を超えないと判定された医用データを第ｉの分類器における分類データとして記憶をする医用画像ＤＢ１０２における分類データセット６２０から構成される。以下より各部の機能について述べる。
【0029】
ここでは、図４と、図５のフローに則って分類対象の医用データセット３２０を評価するための分類データセット６２０を作成するフローと、作成された分類データセット６２０に基づいて分類対象の医用データセット３２０を評価するフローとに分けて説明をする。
【0030】
（分類データセット６２０を作成するフロー）
第ｉの医用データ取得部４０１は、医用画像ＤＢ１０２より医用データを取得する。ｉ＝１の場合には、例えば第１の医用データセット３１０を取得する。そして取得した医用データセットを尤度取得部６０１に送信する。
第ｉの医用データ取得部４０１は、医用画像ＤＢ１０２より医用データを取得する。ｉ＝１の場合には、例えば第１の医用データセット３１０を取得する。そして取得した医用データセットを尤度取得部６０１に送信する。
【0031】
第ｉの分類器４０２（第１の分類器）は、ｉ＝１の場合には、例えば第１の医用データを構成する画像３０３における肺結節の部分領域画像が入力されると診断名（クラス）に分類する。第ｉの分類器４０２（第１の分類器）は診断名の分類結果として、入力された画像がどのクラスに分類されるかを尤度で出力する。すなわち、分類器４０４による分類結果として、「原発」である尤度、「転移」である尤度、「良性」である尤度を出力する。具体的には、分類器４０１は、第ｉの医用データセット３１０を用いて機械学習したＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。
【0032】
尤度取得部６０１は、第ｉの医用データ取得部より取得した第１の医用データセット３１０を構成する画像３０３を、第ｉの分類器４０２（第１の分類器）へ入力し、第ｉの分類器４０２による分類結果である分類の尤度を取得する。具体的には、第ｉの分類器４０２による分類結果はＣＮＮの最終層からの出力であり、「原発」、「転移」、「良性」に対応する３つのノードの出力値にＳｏｆｔｍａｘと呼ばれる演算を施した値を取得する。
【0033】
分類結果の評価部４０３は、ｉ＝１の場合には、尤度取得部６０１で取得した第１の医用データセット３１０のおける第１の医用データ３１１－ｊ（ｊ＝１，．．．，Ｎ１）に対するクラスへの分類の尤度と正解との乖離の程度を評価する。例えば、正解ラベルに対応するクラスである正解クラスへの尤度と、所定の値との差を比較する。具体的には、分類結果の評価部４０３は正解に該当するクラスについては、分類器４０１の分類結果のうち正解クラスへの尤度と１．０の差の絶対値を算出する。そして正解クラス以外のクラス分類について、第１の評価部４０３は、正解クラスへの尤度を除いたクラスの内、最も高い尤度を持つクラスの尤度と０．０の差の絶対値を算出し、正解クラスへの尤度差と、正解クラス以外への尤度差の和をとって評価値とする。例えば、診断名が「原発」の場合のクラスの正解を（１．０，０．０，０．０）と表記し、また、分類結果において「原発」である尤度が０．８、「転移」である尤度が０．２、「良性」である尤度が０．０を（０．８，０．２，０．０）と表記するとする。判定部６０２が分類結果に基づいて尤度（０．８，０．２，０．０）と正解（１．０，０．０，０．０）との乖離を評価すると、｜０．８－１．０｜＋｜０．２－０．０｜＝０．４となる。同様に、尤度が（０．８，０．１，０．１）の場合の乖離は０．３となる。また、尤度（０．６，０．４，０．０）の場合は０．８、尤度（０．６，０．２，０．２）の場合は０．６となる。従って、分類結果が正解と一致する「原発」であっても、「原発」に対する尤度が低く、「原発」以外で最も高い尤度が高い場合には乖離が大きくなる。同様に、尤度（０．３，０．７，０．０）の場合は１．４、尤度（０．３，０．３５，０．３５）の場合は１．０５、尤度（０．１，０．９，０．０）の場合は１．８、尤度（０．１，０．４５，０．４５）の場合は１．３５となる。従って、分類結果が正解の「原発」と異なる場合であっても、「原発」に対する尤度が高く、「原発」以外で最も高い尤度が低い場合には乖離が小さくなる。すなわち、本実施形態で評価する乖離は、単なる正解率や正解と分類する尤度とは異なり、正解の程度と不正解の程度を総合している。尚、分類結果の評価部４０３による評価値は、本形態のみに限定されず、例えば、第ｉの分類器４０２による正解クラスと、１．０との差の絶対値に、正解クラス以外のクラスの尤度と０．０の差を加算した値を評価値として算出してもよい。つまり、分類結果の評価部４０３によって算出される評価値はあくまで、正解と、第ｉの分類器４０２による分類結果との乖離の程度を評価できれば形態は問わない。
【0034】
判定部６０２は、分類結果の評価部４０３の評価結果に基づいて、第１の医用データセット３１０（ｉ＝１の場合）の第１の医用データ３１１－ｊ（ｉ＝１，．．．，Ｎ１）から、所定の基準を満たすかを判定し、所定の基準を満たす医用データである第ｉ＋１の医用データセット６０３を取得する。ｉ＝１の場合においては、所定の基準を満たすと判定された医用データセットは第二の医用データセットとなる。ここで、所定の基準とは予め定義された固定値であり、例えば、前記乖離の値が１．２以上である。この場合、正解が「原発」で分類結果が異なるデータであっても、尤度が（０．３，０．３５，０．３５）や（０．２５，０．３７５，０．３７５）となるデータは乖離が各々１．０５、１．１２５となるため所定の基準を満たすデータセットである第２の医用データセット６０３とは判定されない。他方で、尤度が（０．３，０．５，０．２）のデータの場合は乖離が１．２、尤度が（０．２５，０．４５，０．３）のデータの場合も乖離が１．２となるため所定の基準を満たす医用データセットである第２の医用データセット６０３のデータとなる。なお所定の基準を設定する設定部（不図示）が別途設けられてもよいし、ユーザによってＧＵＩ等を介して所定の基準値の入力を受け付けてもよい。また判定部６０２が、分類結果の評価部４０３による評価結果に基づいて所定の基準を満たさないと判定をしたデータを第ｉの分類器における分類データ６２０として記憶部（医用画像ＤＢ １０２）に対応付けて記憶をする。所定の基準を満たさないと判定された医用データとは例えば、乖離の値が１．２未満のデータである。判定部４０３により、分類器による分類結果と、正解との乖離が所定の基準未満であるデータを所定の基準を満たさないと判定された医用データを指す。判定部４０３は、所定の基準か満たすか否かを判定する。所定の基準とは例えば閾値であり、所定の基準を満たすとは、ここでは乖離の程度が閾値を超える医用データ、所定の基準を満たさないとは、ここでは乖離の程度が閾値を超えない医用データを指す。
【0035】
即ち、判定部４０３により所定の基準を満たさないと判定された医用データを、所定の基準を満たさないと判定された医用データを分類した分類器に対応する分類データとすることを特徴とする。ここで、分類データと分類データを構成する医用データを分類した分類器が対応付けられて医用画像ＤＢに記憶される。
【0036】
第ｉ＋１の分類器の学習部４０４（ｉ＝１の場合は第２の分類器）は、判定部６０２により判定された第ｉ＋１の医用データセット６０３と診断名を対にした教師データを用いて第ｉ＋１の分類器の学習を行う。第ｉ＋１の分類器も同様に分類対象の画像を入力されると診断名を尤度で算出する構成となる。即ち、情報処理装置１０１は、医用データをクラス分類する第ｉの分類器４０２を用いて、正解ラベルが付与された医用データに対応するクラス尤度を取得する尤度取得部６０１と、尤度取得部６０１により取得したクラス尤度と、正解ラベルに対応するクラスとに基づいて乖離の程度を評価する分類結果の評価部４０３を有する。また、分類結果の評価部４０３による乖離が所定の基準を満たすか否かを判定する判定部６０２と、判定部６０２により所定の基準を満たすと判定された医用データを教師データとした第ｉ＋１の分類器の学習する第ｉ＋１の分類器の学習部を有することを特徴とする。
【0037】
ここまでのフローが終了すると、前述した終了条件等により終了判定がされない場合は、ｉにｉ＋１を代入することで、上記のフローを繰り返す。すなわち、情報処理装置１０１は、教師データにより学習された第ｉ＋１の分類器を、医用データをクラス分類する分類器（第ｉの分類器４０２）とし、所定の基準を満たすと判定された医用データを対象にして、尤度取得部６０１、分類結果の評価部４０３、判定部６０２、学習部４０４の処理を繰り返し実行できる制御部（ＣＰＵ ２０３）を有することを特徴とする。繰り返し処理により、情報処理装置１０１は、複数の分類器と、複数の分類器のそれぞれに対応する分類データを記憶部（医用ＤＢ １０２）に記憶する。
【0038】
尚、分類器の作成および分類データの作成フローの繰り返しは、上述した終了条件のいずれかにより規定されてもよい。例えば、フローの繰り返しにより分類器を学習する学習データが減少することがある。教師データの減少は分類器の精度低下の原因となるため教師データの数が分類器のモデル構造等に対して所定の数以下になった場合には、繰り返しフローの終了条件とする。もしくは分類器の分類精度が所定未満になった場合において終了してもよい。もしくは、分類器への教師データの偏在や、数、学習回数により引き起こされる、過学習や、未学習が判定された場合に繰り返しの終了条件としてもよい。もちろんユーザが規定した回数のみ繰り返しフローを実行する構成でもよい。すなわち、情報処理装置１０１は、分類器を学習する教師データの数が所定以下と判定、分類器の分類精度が所定以下と判定、過学習の判定、未学習の判定、ユーザによる指定回数を超えると判定のうちのいずれかの判定処理が行われた際に繰り返しを終了することを特徴とする。
【0039】
以下より作成された情報処理装置１０１を構成する複数の分類器と、複数の分類器のそれぞれに対応する分類データセット６２０とに基づいて、分類対象の医用データセット３２０が入力される場合の処理について説明する。
【0040】
（分類対象の医用データセット３２０を評価するフロー）
分類対象の医用データ取得部５０１は、分類対象の医用データセット３２０を医用画像ＤＢ１０２より取得する。分類対象の医用データ取得部５０１は、取得した分類対象の医用データセット３２０を分類対象の医用データ評価部５０２に送信する。
分類対象の医用データ取得部５０１は、分類対象の医用データセット３２０を医用画像ＤＢ１０２より取得する。分類対象の医用データ取得部５０１は、取得した分類対象の医用データセット３２０を分類対象の医用データ評価部５０２に送信する。
【0041】
分類対象の医用データ評価部５０２は、分類データセット６２０と分類対象の医用データセット３２０のシリーズ画像３０４から抽出された肺結節の部分領域画像との類似性を評価する。即ち、分類対象の医用データ評価部５０２は、分類データ６２０と分類対象の医用データセット３２０との類似性を評価することを特徴とする。
【0042】
肺結節の部分領域画像は、図７で説明する表示画面上での操作に基づき抽出される。類似性は、上記分類データ作成フローで作成された分類データに、分類データに対応付けられた分類器をクラス（ラベル）として付与し、機械学習した分類器（分類対象医用データを分類する分類器）により評価をする。分類対象医用データを分類する分類器は例えばＣＮＮである。ＣＮＮから出力される尤度を類似性とする（以降、類似度と呼ぶ）。即ち情報処理装置１０１は、複数の分類器のそれぞれをラベルとして付与した分類データを教師データとして学習をした分類器を用いて、分類対象の医用データを評価する分類対象の医用データ評価部５０２を有する。また分類対象の医用データ評価部５０２は、分類結果を尤度で算出する。
【0043】
通知部５０３は、分類対象の医用データ評価部５０２による評価結果に基づく情報を通知する。具体的には、各分類器に対応する分類データとの類似度を表示画面に表示する。表示画面については図７を用いて説明する。
【0044】
（表示画面）
図７は、本実施形態の情報処理装置１０１の表示画面の一例を示す図である。
図７は、本実施形態の情報処理装置１０１の表示画面の一例を示す図である。
【0045】
図７において、表示画面７００は、ディスプレイ２０７に表示されるユーザインタフェース画面である。表示画面７００は、患者情報表示領域７０１、画像表示領域７０２、診断支援ボタン７０４から構成される。また、図７において、７０３は肺結節部分領域、通知領域７０５は通知部５０３により表示される通知領域である。
【0046】
患者情報表示領域７０１には、分類対象の医用データ３２１－ｊ（ｊ＝１，．．．，Ｎ３）の患者情報３０１の情報を表示する。図７では、患者氏名が「下丸子 太郎」、患者ＩＤが「ｐａｔ０１２３４５６」、年齢が「７５歳」、性別が「男」の場合の表示例を示している。
【0047】
画像表示領域７０２には、分類対象の医用データ３２１－ｊ（ｊ＝１，．．．，Ｎ３）のシリーズ画像３０４を表示する。画像表示領域７０２では、表示するシリーズ画像のスライス送りやＷＬ（Ｗｉｎｄｏｗ Ｌｅｖｅｌ）／ＷＷ（Ｗｉｎｄｏｗ Ｗｉｄｔｈ）と呼ばれる階調表示条件の変更など表示の変更ができる。
【0048】
肺結節部分領域７０３の指定は例えばユーザが画像表示領域７０２でマウスをドラッグする操作により行われ、マウスのクリックで解除される。ドラッグに合わせて結節部分領域７０３がスライス画像上に表示され、表示中のスライス画像を中心として、同じ奥行きを持つ３次元領域（立方体）が指定される。尚、部分領域の指定は、ユーザの操作によってのみ指定されるものに限定されず、例えば他の画像処理手段では部分領域の指定が行われてもよいし、画像領域中から部分領域を抽出するように設計された機械学習に基づくモデルにより指定されても構わない。
【0049】
診断支援ボタン７０４は、肺結節部分領域７０３の画像から診断名の分類を行うためのボタンであり、診断支援ボタン７０４をマウスでクリックすると、情報処理装置１０１は肺結節部分領域７０３の画像を抽出し、抽出した画像から診断名の分類を行う。
【0050】
通知領域７０５は、肺結節部分領域７０３の画像と、分類器に対応付けられた分類データセット６２０との類似性に基づく情報が表示される。具体的には、ポップアップ表示されるウインドウであり、類似度を表示すると共に、処理を実施するか中止するかを指定するボタンを備える。
【0051】
（処理フロー）
図８は、本実施形態の情報処理装置１０１の処理のフロー図である。
図８は、本実施形態の情報処理装置１０１の処理のフロー図である。
【0052】
本処理は、情報処理装置１０１の起動後に、ユーザからの指示に基づき実行される。ユーザは処理の実行を指示する際に、処理の対象とする分類対象の医用データ３２１－ｊ（ｊ＝１，．．．，Ｎ３）を指定する。
【0053】
ステップＳ８０１で、第ｉの医用データ取得部４０１は医用画像ＤＢ １０２より第ｉの医用データセット３１０を読みだす。
【0054】
尤度取得部６０１は、ステップＳ６０１で読み出した第ｉの医用データセット３１０を構成する画像３０３を第ｉの分類器４０２に入力し、第ｉの分類器４０２からの分類結果としてクラス（診断名）への分類の尤度を取得する。
【0055】
ステップＳ８０３で、分類結果の評価部４０３は、尤度取得部６０１で取得したクラスへの分類の尤度と第ｉの医用データセット３１０の診断名３０２に基づき、クラスへの分類の尤度と正解の乖離の程度を評価する。
【0056】
ステップＳ８０４で、判定部４０４は、第１の評価部４０３で評価した乖離の程度が所定の基準を満たすかを判定し、第ｉの医用データセット３１０の第１の医用データ３１１－ｊ（ｊ＝１，．．．，Ｎ１）が第ｉ＋１の医用データセット６０３のデータであるか否を判定する。乖離の程度が所定の基準を超える場合には、第ｉ＋１の医用データセット６０３であるとし、所定の基準を超えない場合には、第ｉの分類器４０２における分類データセット６２０として医用画像ＤＢに記憶をする。正解ラベルと分類結果との乖離の程度が所定の基準を超えるとは、ここでは両者の乖離の程度が所定の閾値を上回る場合を指す。また所定の基準を超えないとは、ここでは正解ラベルと分類結果との乖離の程度が所定の閾値を超えない場合を指す。
【0057】
ステップＳ８０５で、第ｉ＋１の分類器の学習部４０４は、診断名３０２を正解ラベル（クラス）として第ｉ＋１の分類器の機械学習を行う。即ち、第ｉ＋１の医用データを学習データとし、診断名をクラスとして分類をする第ｉ＋１の分類器が生成される。
【0058】
ステップＳ８０６で、ｉ＋１をｉに代入して、ｉの値を更新する。
【0059】
ステップＳ８０７は、分類器生成の終了判定を行う。終了判定は上述の他にも例えば学習データ数が一定以下になった場合に処理を終了してもよいし、精度が一定以下になった場合や、モデル構造に対して学習データが不足すると判定された際に本フローを終了する条件としてもよい。また過学習や未学習の判定がなされた場合を終了条件としてもよいし、ユーザが決めた所定回数のみ実施しても、医用データセットのデータ数や、データの分散によって終了条件が設定されてもよい。終了条件を満たさない場合に、ステップＳ８０１から再度分類器の学習フローを繰り返す。終了条件が満たされた場合に、次のステップＳ８０７に移る。ここでまでが上述の図４の処理である分類データの作成フローに該当する。ここから作成された分類対象の医用データセット３２０を評価するフロー（図５）に対応するステップについて説明をする。なおステップＳ８０１～ステップＳ８０７までのフローは分類器を学習・作成するフローであって、異なる情報処理装置もしくは、同一の情報処理装置において既に学習済みの分類器が存在する場合においては、本フローは省略されても構わない。
【0060】
ステップＳ８０８において、分類対象の医用データ取得部５０１は、医用画像ＤＢ１０２より分類対象の医用データセット３２０を取得し、分類対象データの読み出しを行う。ユーザインタフェース制御部（ＣＰＵ ２０３）は、ステップＳ８０８で、本処理の実行時に指定された分類対象の医用データ３２１－ｊ（ｊ＝１，．．．，Ｎ３）を読み出し、ステップＳ８０９で、図７に一例を示した表示画面７００を表示する。また、ステップＳ８１０では、ユーザによる操作に基づき指定された肺結節部分領域７０３の画像を抽出する。
【0061】
ステップＳ８１１で、分類対象の医用データ評価部５０２は、ステップＳ８１０で抽出した画像と分類データセット６２０の画像との類似性を評価する。分類対象の医用データ評価部５０２は、分類データに対応付けられた分類器をクラス（ラベル）として付与し、機械学習した分類器（分類対象医用データを分類する分類器）による分類結果に基づいて評価をする。
【0062】
ステップＳ８１２で、通知部５０３は、ステップＳ８１１での評価結果に基づき、表示画面７００上に通知領域７０５を表示する。尚、通知領域７０５は、ステップＳ８１１での評価結果が所定の値を超える場合のみ通知部５０３によって表示されてもよい。
【0063】
以上説明したように、本実施形態によれば、情報処理装置１０１は分類結果の評価部４０３において第ｉの分類器による分類の尤度と正解との乖離の程度を評価し、当該乖離に基づいて判定部６０２が判定した分類データと、分類対象となるデータとの類似性を分類対象の医用データ評価部５０２が評価し、通知部５０３を介して評価結果をユーザに通知する。本発明は、分類対象に対して複数の分類器を設け、複数の分類器に対応する分類データセット６２０と比較をする構成をとる。この構成により、例えば入力データの分散により一つの分類器では、学習データから該医用データの分類を行うための特徴が十分に学習できない場合においても複数の分類器を設けることで適切な入力データの評価が可能となる。また、例えば教師データに誤ってラベリングがなされたデータを教師データから分離して、異なる分類器への教師データ（分類データ）もしくは、医用データとしてプールすることができる。複数の分類器に対応する分類データのいずれとも所定の基準を満たす類似性が確認できない場合に、分類器を学習する際の学習データに分類対象の医用データを分類するための特徴を含むデータが含まれていないと評価することができる。故に、本発明の課題である分類器の分類結果に基づいて入力データを適切に評価することが可能となる。
【0064】
また本実施形態は分類対象の医用データ評価部５０２による評価結果を、通知部５０３を介してユーザに認識させることができる。通知部５０３による当該通知により、ユーザは分類処理を実行するか否かを判断することができる。また分類対象となるデータが、情報処理装置１０１に設けられた分類器において、分類データとの類似性が低い場合において、ユーザは、分類器による分類結果が信頼性に欠けるものであるということを予め認知することができる。さらにユーザは分類結果が信頼性に欠けると予想される分類処理の中止をあらかじめ選択することが可能となる。尚、複数の分類器は単一の情報処理装置１０１に備わっていても、複数の情報処理装置に備わっていても、複数の情報処理装置間で構築された仮想環境において分類処理が行われてもよい。
【0065】
（変形例１－１）
本実施形態における分類器の作成フローは、フローの回数を重ねるたびに分類データや第ｉ＋１の医用データセットにおけるデータの数や、クラスの数が減少することが予想される。そのため、複数回フローによって作成された分類器に対応する分類データセットへの尤度が、その分類器よりもフロー数の少ない分類器に対応する分類データセットよりも大きい場合においても同様の基準において乖離が判定されることが好ましくない場合がある。当該場合においては、例えば、フローの回数が増えるに伴って、判定部６０２による基準を大きく設定したり、分類処理を実行するための閾値を高く設定したりしてもよい。尚、本変形例１－１の骨子は、ユーザに入力データへの評価を認知させることであって、例えば、判定の基準を変えなくとも、尤度の高い分類器を作成するために実施されたフロー回数を通知しても、分類器を学習したデータの数を通知してもよい。もしくは両者を組み合わせてもよい。
本実施形態における分類器の作成フローは、フローの回数を重ねるたびに分類データや第ｉ＋１の医用データセットにおけるデータの数や、クラスの数が減少することが予想される。そのため、複数回フローによって作成された分類器に対応する分類データセットへの尤度が、その分類器よりもフロー数の少ない分類器に対応する分類データセットよりも大きい場合においても同様の基準において乖離が判定されることが好ましくない場合がある。当該場合においては、例えば、フローの回数が増えるに伴って、判定部６０２による基準を大きく設定したり、分類処理を実行するための閾値を高く設定したりしてもよい。尚、本変形例１－１の骨子は、ユーザに入力データへの評価を認知させることであって、例えば、判定の基準を変えなくとも、尤度の高い分類器を作成するために実施されたフロー回数を通知しても、分類器を学習したデータの数を通知してもよい。もしくは両者を組み合わせてもよい。
【0066】
（変形例１－２）
実施形態１の分類結果の評価部４０３は、第ｉの分類器４０２による分類結果と正解との乖離の程度を、正解のクラスに該当するクラスについては、正解クラスへの分類の尤度と１．０の差の絶対値を算出する。さらに正解以外のクラスへの分類について、正解以外のクラスの内、最も高い尤度を持つクラスの尤度と０．０の差の絶対値を算出し、正解クラスへの尤度差と、正解クラス以外への尤度差の和を算出することにより評価した。一方、実施形態１の変形例１に対応する分類結果の評価部４０３は、正解のクラスに対応するクラスへの分類の尤度から正解以外のクラスで最も高い尤度を有するクラスの尤度を減ずることにより乖離の評価（評価値の算出）をおこなう。本評価値の算出方法を適用した場合に、分類結果の評価部４０３によって算出される評価値のうち、最も小さい乖離の値は１．０であり、最も大きい乖離の値は－１．０となる。また、判定部６０２は、所定の基準として例えば、－０．２以下を第ｉ＋１の医用データセットのデータと判定する。
実施形態１の分類結果の評価部４０３は、第ｉの分類器４０２による分類結果と正解との乖離の程度を、正解のクラスに該当するクラスについては、正解クラスへの分類の尤度と１．０の差の絶対値を算出する。さらに正解以外のクラスへの分類について、正解以外のクラスの内、最も高い尤度を持つクラスの尤度と０．０の差の絶対値を算出し、正解クラスへの尤度差と、正解クラス以外への尤度差の和を算出することにより評価した。一方、実施形態１の変形例１に対応する分類結果の評価部４０３は、正解のクラスに対応するクラスへの分類の尤度から正解以外のクラスで最も高い尤度を有するクラスの尤度を減ずることにより乖離の評価（評価値の算出）をおこなう。本評価値の算出方法を適用した場合に、分類結果の評価部４０３によって算出される評価値のうち、最も小さい乖離の値は１．０であり、最も大きい乖離の値は－１．０となる。また、判定部６０２は、所定の基準として例えば、－０．２以下を第ｉ＋１の医用データセットのデータと判定する。
【0067】
尚、分類結果の評価部４０３は、正解の分類の尤度と１．０の差の絶対値だけでもよく、この場合、判定部６０２の所定の基準は、分類数に基づき決定する。具体的には、乖離の値が分類数の逆数からどの程度下回るかで第ｉ＋１の医用データセットのデータか否かを判定する。例えば３分類の場合、１／３＝０．３３・・より約５％下回る０．３１３５以下の場合に第ｉ＋１の医用データセットのデータであると判定する。尚、本変形例の場合は、正解の分類以外の他の分類の間違え方の程度を考慮した評価はできない。例えば、正解が「原発」であるデータに対して（０．３２，０．６８，０．０）と分類しても（０．３２，０．３４，０．３４）と分類しても乖離の値は同じとなり、第ｉ＋１の医用データセットのデータでないと判定する。
【0068】
（変形例１－３）
実施形態１の通知部５０３は、分類処理の開始前に通知領域７０５を表示し、ユーザに処理の実行と中止を選択させたが、図９Ａに示すように、分類処理後に分類結果と共に類似度を表示してもよい。また、図９Ｂに示すように、分類対象の医用データ評価部５０２が、類似度が所定の値を超える場合には、第ｉの分類器４０２による分類処理を実行しないよう制御し、通知部５０３が、処理を実行しなかった旨を、類似度と共に表示しても良い。即ち、情報処理装置１０１は、分類対象の医用データ評価部５０２による類似性に基づいて、分類対象の医用データを第ｉの分類器への入力データとするか否かを決定する。
実施形態１の通知部５０３は、分類処理の開始前に通知領域７０５を表示し、ユーザに処理の実行と中止を選択させたが、図９Ａに示すように、分類処理後に分類結果と共に類似度を表示してもよい。また、図９Ｂに示すように、分類対象の医用データ評価部５０２が、類似度が所定の値を超える場合には、第ｉの分類器４０２による分類処理を実行しないよう制御し、通知部５０３が、処理を実行しなかった旨を、類似度と共に表示しても良い。即ち、情報処理装置１０１は、分類対象の医用データ評価部５０２による類似性に基づいて、分類対象の医用データを第ｉの分類器への入力データとするか否かを決定する。
【0069】
図９Ａの通知部５０３における通知領域９０１は、本変形例の通知領域の一例である。通知領域９０１では、「原発」である尤度が８３％、「転移」である尤度が１２％、「良性」である尤度が５％という分類結果と共に、第３の分類データとの類似度が９５％である旨を表示する。
【0070】
図９Ｂの通知領域９０２も、本変形例の通知領域の一例である。通知領域９０２は、第３の分類データとの類似度が９５％であり、処理を実行しなかった旨を表示する。また、ユーザによる確認のボタンも表示する。尚、確認ボタンを表示せずに、一定時間表示後自動的に当該通知領域のウインドウを閉じても良い。
【0071】
本変形例によれば、複数回の分類器作成フローにより作成された分類器に対応する分類データセットとの類似度が所定の値を超える場合に、ユーザが処理の実行の実施と中止を指示する操作が不要となる。
【0072】
（変形例１－４）
本変形例では学習済みの分類器が存在し、学習済みの分類器を用いて分類処理を実行する場合について記載する。ここでは、学習済みの分類器が単数でかつ教師データが取得できる状態にある場合についての処理について述べる。まずは、学習済みの分類器を作成する際に用いた教師データと第１の医用データセットの比較を行い、重複データを削除して両者のデータを統合し、第１のデータセット３１０としてステップＳ８０１の処理を実行してもよい。本構成により、分類器が作成された後に新たな教師データが取得された場合や、他の学習済みの分類器を用いて、当該分類処理を可能とする。尚、学習済みモデルの分類対象が異なる場合や、学習済みの分類器を作成する際に用いた教師データと第１の医用データセットの分散が大きい場合には、第１の医用データセットとして追加をしなくとも、第１の医用データセットに追加をせずに、第１の医用データセットを用いて、学習済みの分類器に対するファインチューニングや転移学習によって第１の分類器が作成されてもよい。本構成により教師データの数や質に対して分類の精度やロバスト性の向上が期待される。
本変形例では学習済みの分類器が存在し、学習済みの分類器を用いて分類処理を実行する場合について記載する。ここでは、学習済みの分類器が単数でかつ教師データが取得できる状態にある場合についての処理について述べる。まずは、学習済みの分類器を作成する際に用いた教師データと第１の医用データセットの比較を行い、重複データを削除して両者のデータを統合し、第１のデータセット３１０としてステップＳ８０１の処理を実行してもよい。本構成により、分類器が作成された後に新たな教師データが取得された場合や、他の学習済みの分類器を用いて、当該分類処理を可能とする。尚、学習済みモデルの分類対象が異なる場合や、学習済みの分類器を作成する際に用いた教師データと第１の医用データセットの分散が大きい場合には、第１の医用データセットとして追加をしなくとも、第１の医用データセットに追加をせずに、第１の医用データセットを用いて、学習済みの分類器に対するファインチューニングや転移学習によって第１の分類器が作成されてもよい。本構成により教師データの数や質に対して分類の精度やロバスト性の向上が期待される。
【0073】
＜実施形態２＞
実施形態２では、実施形態１と同様に、胸部Ｘ線ＣＴ画像上の肺結節影に関する診断推論を行うＣＡＤシステムである情報処理装置について説明する。
実施形態２では、実施形態１と同様に、胸部Ｘ線ＣＴ画像上の肺結節影に関する診断推論を行うＣＡＤシステムである情報処理装置について説明する。
【0074】
実施形態１では、判定部６０２が分類器の尤度と正解との乖離の程度を評価し、分類対象の医用データ評価部５０２により、当該乖離の程度に基づいて判定したデータ（分類データセット６２０）と、分類対象の医用データセットとの類似性を評価し、結果をユーザに通知した。本実施形態２では、分類対象の医用データ評価部の評価結果に基づいて、分類器の設定を行う分類器の設定部１００１をさらに有する。即ち、情報処理装置１０１は、分類対象の医用データ評価部５０２による評価結果に基づいて複数の分類器のうち、分類対象の医用データを分類する分類器を設定する分類器の設定部１００１を有する。
【0075】
尚、本実施形態に係る情報処理装置のシステム構成、ハードウェア構成、医用画像ＤＢ １０２の構成は実施形態１と同様であるため説明を省略する。
【0076】
【0077】
分類器設定部１００１は、分類対象の医用データ評価部５０２による評価結果に基づいて、分類対象の医用データセット３２０に対して、診断名を分類する第ｉの分類器を設定する。分類対象の医用データ評価部５０２は、複数の分類器をクラスとして分類する尤度を算出する。そのため、例えば分類器の作成フローが３度実施された場合には、分類器は第１から第３の分類器が存在する構成になる。ここで、分類対象の医用データ評価部５０２は、それぞれの分類器をクラス（ラベル）として、それぞれの分類器に対応する分類データを対にした教師データを用いて分類器の学習をする。分類対象の医用データセットを入力した際の分類結果は、Ｓｏｆｔｍａｘ演算をし、各クラスに振られる値（尤度）を合計すると１となるように算出される。例えば（第１の分類器、第２の分類器、第３の分類器、その他）のクラス分類をした際に、分類結果が（０．６、０．２、０．１、０．１）となり、それぞれのクラスの分類データである尤度が示される。この場合において分類対象の医用データは、第１の分類器に対応する分類データである尤度が最も高いことを示す。言い換えると、第１の医用データセットのうち、第１の分類器が分類した分類結果との乖離の程度が所定の基準よりも小さいデータである尤度が高いことを示す。つまり当該分類対象の医用データを分類器１で分類をした際の分類結果に対して０．６の尤度で信頼性が保たれることを示している。分類対象の医用データ評価部５０２からの分類結果を受けて、入力する分類器を選択する。
【0078】
分類器設定部１００１が分類対象の医用データ評価部５０２による分類結果に基づいて、分類対象の医用データの分類器への入力の可否を決定し、分類器の入力を決定した際には、当該分類対象の医用データセット３２０を入力する分類器を設定し、設定された分類器に対して診断名の分類を実施させる。分類器設定部１００１は、単純には分類対象の医用データ評価部５０２からの分類結果のうち、最も高い尤度を示す分類器を分類処理を行う分類器として設定をする。もしくは、分類器の設定部１００１は閾値を設定し、閾値を超えて且つ、最も高い尤度をもつ分類器を分類器として設定してもよい。または、分類器の設定部１００１により、尤度が閾値を超える分類器を分類対象の医用データを分類させる分類器として設定を行ってもよい。尚、分類器の設定部１００１は、尤度が閾値を超えてかつ、最も高い尤度を有する分類器を分類器として設定してもよい。
【0079】
分類器の設定部１００１が分類対象の医用データセット３２０に対して分類器への入力を許可しない場合には、例えば、分類対象の医用データ評価部５０２の分類結果のうち尤度が閾値よりも小さい場合や、クラスへの尤度間の差が小さい場合が考えられる。もしくは、変形例１－１に記載をしたように、複数回の分類器作成フローにより作成された分類器は、当該分類器よりも少数回のフローで作成された分類器よりも、学習データやクラス数において信頼性が低い場合がある。そのため、第ｉの分類器のうち、ｉ以下の分類器にのみ診断名の分類を許可するように閾値を設定しても、分類器に対する学習データ数の下限や、学習データを構成する診断名を有する学習データの数の下限によって入力を許可しなくともよい。
【0080】
図１１は、本実施形態の情報処理装置の表示画面の例である。
【0081】
図１１において、通知領域１１０１は通知部５０３による通知領域の一例である。本実施形態の通知領域１１０１には、分類対象の医用データ評価部５０２の分類器による分類結果と共に、第３の分類器（表示画面例では「分類器３」と記載）を使用した旨の通知が表示される。即ち、通知部５０３は分類対象の医用データを分類した分類器を示す情報と、分類器による分類結果を通知することを特徴とする。
【0082】
図１２は、本実施形態の情報処理装置の処理のフロー図である。
【0083】
本実施形態の処理では、ステップＳ８１１に続き、ステップＳ１２１２を実行する。ステップＳ１２１２は、分類対象の医用データ評価部５０２により分類処理を実行し算出された分類結果を基に、分類器の設定部１００１が分類器への入力の可否を判定する。終了条件は上述したようにデータ数、尤度、クラス数、分類器の番号（何回のフローにより作成された分類器かを示す番号ｉ）等により設定される。分類器の設定部１００１はステップＳ１２１２により、終了条件を満たす場合には、ステップＳ１２１３を実行し、終了条件を満たすと判定された場合には、ステップＳ１２１４を実行する。
【0084】
ステップＳ１２１３で、終了条件を満たした旨を通知部５０３により通知したうえで、再度分類処理を実行するかをユーザにより選択させる。ユーザが分類を選択した場合には、ステップＳ１２１４を実行する。
【0085】
ステップＳ１２１４において、分類器の設定部１２１４は、分類対象の医用データセットＳ３２０を入力する分類器をすくなくともひとつ設定する。分類器の設定方法は、上述の尤度や、分類器の番号、データ数、クラス数等により決定される。
【0086】
ステップＳ１２１５において、ステップＳ１２１４において、分類器設定部１００１により設定された第ｉの分類器（単一または複数）で診断名の分類処理をする。
【0087】
ステップＳ１２１６において通知部５０３は第ｉの分類器（単一または複数）の分類結果と、分類に使用した分類器を表示する。
【0088】
以上説明したように、本実施形態によれば、複数の分類器と、分類器に対応付けた分類データとの類似性を判定し、類似性に基づいて、分類器の設定部１００１が分類器への入力の可否を判定する。複数の分類器との分類データとの比較によって、分類対象の医用データセットＳ３２０が学習データに含まれていながら、特徴を充分に学習できなかったデータと、学習データに含まれていなかったデータの区別をより明確に行うことが可能となる。さらに、分類データに基づいた分類器による類似性判定を行い、所定の基準を満たす第ｉの分類器に基づいて、診断名を分類することで、当該分類器が示す分類結果の信頼性が向上し、さらに分類器からの出力結果を分類データとの類似性という形で予め認知することが可能となる。
【0089】
（変形例２－１）
実施形態２では、分類データを学習させた分類器による分類結果に基づいて、類似度や、データ数、クラス数が所定の基準以上である場合において、分類器の設定部１００１が分類器の設定を行った。なお、通知部５０３は、類似度やデータ数、クラス数等、分類器を選択する情報を通知した上で、ユーザが分類器を設定できる入力手段を有する構成でもよい。例えば、分類器をプルダウンやチェックボックス等への入力受付部を介して、分類器を設定することが考えられる。本構成により、作成された複数の分類器を用いて結果を参照したい場合や、診断名を確認したいクラスを含む分類器を選択することが可能となる。
実施形態２では、分類データを学習させた分類器による分類結果に基づいて、類似度や、データ数、クラス数が所定の基準以上である場合において、分類器の設定部１００１が分類器の設定を行った。なお、通知部５０３は、類似度やデータ数、クラス数等、分類器を選択する情報を通知した上で、ユーザが分類器を設定できる入力手段を有する構成でもよい。例えば、分類器をプルダウンやチェックボックス等への入力受付部を介して、分類器を設定することが考えられる。本構成により、作成された複数の分類器を用いて結果を参照したい場合や、診断名を確認したいクラスを含む分類器を選択することが可能となる。
【0090】
（変形例２－２）
実施形態２では、分類器への分類対象の医用データセット３２０の入力をしない条件として、分類器ごとの尤度の差が小さいことを条件として述べた。しかしながら、尤度の差が小さい分類器がいずれも分類対象の医用データセット３２０に対して分類能を発揮していた場合には、両者の分類器間での尤度差は小さくなることが考えられる。この場合においては、尤度差が小さくても、いずれかの分類器で分類をすることで信頼度の高い診断名が分類されることになる。
実施形態２では、分類器への分類対象の医用データセット３２０の入力をしない条件として、分類器ごとの尤度の差が小さいことを条件として述べた。しかしながら、尤度の差が小さい分類器がいずれも分類対象の医用データセット３２０に対して分類能を発揮していた場合には、両者の分類器間での尤度差は小さくなることが考えられる。この場合においては、尤度差が小さくても、いずれかの分類器で分類をすることで信頼度の高い診断名が分類されることになる。
【0091】
つまり分類器間に割り振られる尤度差が小さいことは、分類器における分類結果と正解との乖離が小さい分類データ（所定基準を満たさない医用データ）との類似性が低いと判断することは適切ではないことがある所以である。故に、分類器の分類結果におけるクラス（分類器）間の尤度差が小さい場合には、分類器に対応する分類データに分類されなかったその他のラベルとの尤度の差を比較する。つまり、分類器間の尤度差が小さく、かつその他のクラスとの尤度差が大きい場合には、分類器設定部１００１は尤度差の小さい複数の分類器を分類するための分類器として設定をし、設定された分類器を用いて診断名を分類する。そして複数の分類器による診断名の分類結果を比較して、分類結果とする。本構成により、分類器が分類能を有しているにも関わらず、尤度差が小さいために分類器への入力データから除外される可能性が低減する。
【0092】
（変形例２－３）
変形例２－２では、分類器による分類結果である分類器（クラス）間の尤度の差が小さい場合に、例えばその他のクラスへの尤度と、尤度の差が小さい分類器のクラスに対応する尤度との差を比較し、その差が所定の基準よりも大きい場合には、分類対象医用データを分類する分類器として分類器設定部１００１が設定を行う構成を説明した。
変形例２－２では、分類器による分類結果である分類器（クラス）間の尤度の差が小さい場合に、例えばその他のクラスへの尤度と、尤度の差が小さい分類器のクラスに対応する尤度との差を比較し、その差が所定の基準よりも大きい場合には、分類対象医用データを分類する分類器として分類器設定部１００１が設定を行う構成を説明した。
【0093】
変形例２－３では、分類器設定部１００１は複数の分類器を分類器として設定をし、複数の分類器の結果を正規化した後に、総和を比較することで診断名の分類結果としてもよい。
【0094】
ここでは、例として分類器が第３の分類器まで存在し、診断名がＡ、Ｂ、Ｃ、Ｄ（その他）であるとする。分類対象の医用データ取得部５０１により取得された医用データを基に、分類対象の医用データ評価部５０２により、各分類器に対応する分類データを学習データとし、ラベルに分類器名を付与したクラス分類を行う。その場合の尤度が次のように分類されたとする。（第１の分類器、第２の分類器、第３の分類器）＝（０．６、０．２、０．２）。本変形例では、分類器の設定部１００１は、それぞれの分類器を分類対象の医用データセットを分類するための分類器として設定をし、分類処理を実行させる。そして結果が次のようであると仮定をする。分類器Ａに関して、（診断名Ａ、診断名Ｂ、診断名Ｃ、診断名Ｄ）＝（０．６、０．４、０．０、０．０）。分類器Ｂは、（診断名Ａ、診断名Ｂ、診断名Ｃ、診断名Ｄ）＝（０．９、０．１、０．０、０．０）。分類器Ｃは診断名Ａ、診断名Ｂ、診断名Ｃ、診断名Ｄ）＝（０．５、０．５、０．０、０．０）。ここでは、分類器間の学習データ数や、クラス数が互いに同一であると仮定をしているが、仮に学習データ数や、クラス数が異なる場合には、互いの分類器間の分類の尤度のばらつきをなくすための正規化処理や、学習データの数が所定の基準より少ない場合など信頼性が小さい場合には、分類器ごとの尤度に係数として乗算を行ってもよい。
【0095】
そして分類器名をラベルとしたクラス分類の結果を、それぞれの分類器によって診断名を分類した結果に乗算する。即ち、分類器Ａ＝（０．６×０．６、０．６×０．４、０．６×０．０、０．６×０．０）となり、他の分類器でも同様の処理を行う。そして分類器ごとの診断名の総和を取得する。診断名の総和＝（０．６４、０．３６、０．０、０．０）となる。診断名の総和を受けて診断名を分類する分類処理による分類結果としてもよい。
【0096】
＜実施形態３＞
本発明の一側面として、分類器の分類結果と正解との乖離の程度が所定の基準を満たさないデータを当該分類器における分類データとして記憶し、所定の基準を満たす苦手データは、他の分類器の教師データもしくは、医用データとしてプールをした。結果として複数の分類器が作成され、複数の分類器のそれぞれに対応する分類データと、分類対象の医用データとの類似性を評価することによって、分類対象の医用データに対する分類の信頼性をユーザに認知させることができ、かつ異なる特徴を学習した分類器を複数設けることにより、当該分類対象の医用データを入力するのにふさわしい分類器を認知、選択することが可能となった。
本発明の一側面として、分類器の分類結果と正解との乖離の程度が所定の基準を満たさないデータを当該分類器における分類データとして記憶し、所定の基準を満たす苦手データは、他の分類器の教師データもしくは、医用データとしてプールをした。結果として複数の分類器が作成され、複数の分類器のそれぞれに対応する分類データと、分類対象の医用データとの類似性を評価することによって、分類対象の医用データに対する分類の信頼性をユーザに認知させることができ、かつ異なる特徴を学習した分類器を複数設けることにより、当該分類対象の医用データを入力するのにふさわしい分類器を認知、選択することが可能となった。
【0097】
本実施形態では、分類データおよび分類器の作成フローと、フローの繰り返しによって教師データに対して情報処理装置１０１が行う処理について述べる。
【0098】
第ｉの医用データから分類データおよび分類器の作成フローの回数を繰り返すほどデータ数や、クラス数は減少する。他方で、複数の分類器間に同一のラベルが付与された分類データが存在することが考えられる。ここでは、簡便のために、ラベルを診断名とし、第１の医用データセットに対してＡ～Ｅ（診断名）のラベルが付与されているものとし、図１３を用いて説明をする。図１３は第１から第Ｎの分類器に対応する分類データと、分類データを構成する診断名のラベルごとの分類データのサンプル数を示している。上述までに説明したように、第１の分類器に対応する第１の分類データから第Ｎの分類器に対応する第Ｎの分類データまで下段の分類データになるにつれて、データの数と、クラスの数が減少していることを示している。一方で、例えば第１の分類データと第２の分類データについて考えてみると、第１の分類データは第１の分類器で、所定の基準を満たさないデータ（正解との分類結果との乖離の程度が例えば所定の閾値未満）、つまり第１の分類器で精度よく分類できたデータになる。比較して、第２の分類データは、第１の分類器では精度よく分類できなかったものの、第２の分類器では精度よく分類されたデータであり、第１の分類データにおける各ラベルに対応するデータと、第２の各ラベルに対応するデータ間には、両者を隔てるための特徴が存在することが考えられる。ここでは、第１の分類データにおける診断名Ａと第２の分類データにおける診断名Ａをそれぞれ別のラベルとして、分類器を学習させる。同一の診断名Ａを互いに有する分類器に対応する分類データをそれぞれの分類器のラベルを付与して学習をさせることにより、診断名Ａに対するロバスト性を複数の分類器によって実現することが可能になる。尚、診断名Ａを有する複数の分類器をそれぞれラベルとして設けてもよいし、複数の診断名と複数の分類データをラベルとして分類器を学習してもよい。
【0099】
本構成により、作成された分類器を、分類対象の医用データ評価部５０２で用いる分類器とすることによって、複数の分類器のそれぞれに対応する分類データをクラスとして分類する分類器での分類よりも、より詳細な評価結果を取得することができる。
【0100】
たとえば、分類対象の医用データセット３２０を構成する分類対象の医用データが、第２の分類器の診断名Ａが付与されたデータと類似度が９５％であった場合に、図１４（ａ）の通知領域１４０５は分類器の番号と、診断名、類似度を通知する。また、本構成の場合には、分類対象の医用データの評価部５０２における分類器が、複数分類器のそれぞれのクラスを包含したクラスを有する分類器となる。そのため、分類対象の医用データ評価部５０２における評価結果が、分類器設定部１００１による分類器の設定の工程を経ずに評価をすることが可能となる。つまり第２の分類器の診断名Ａへの尤度は高いが、第１の分類器の診断名Ａへの尤度が小さかった場合には、第１の分類器とは異なる特徴で学習ができ、かつ信頼度が高い診断名の分類が可能になったことを指す。尚、通知内容はこれらのうちいずれかを含んでいれば、他の情報と共に通知されてもよい。例えば、図１４（ｂ）における通知領域１４０６に示したように複数の診断名が分類され、それぞれの診断名に対して類似性が高い分類データが異なることがある。このような場合には、診断名のそれぞれに対して類似度と、診断名を通知部５０３により通知をしてもよい。また一例として図１５の円グラフ１５００のように、それぞれの分類器に対応する分類データの割合と、分類器による分類結果を対応付けて通知を行ってもよい。
【0101】
（変形例３－１）ユーザが分類したい診断名 カスタム
変形例３－１では、ユーザが選択した特定の診断名に対して評価を行う構成について述べる。ユーザが例えば診断名Ａおよび診断名Ｂに関して、分類処理を実行したいとする。診断名Ａと診断名Ｂにおいて、実施形態３の構成のように複数の分類器における分類データを構成する診断名をラベルとして学習を行った場合について述べる。複数の分類器が分類を行うクラスは例えば（第１の分類器の診断名Ａ、第２の分類器の診断名Ａ・・・第Ｎ－１の分類器の診断名Ａ、第Ｎの分類器の診断名Ａ、第１の分類器の診断名Ｂ、第２の分類器の診断名Ｂ・・・第Ｎ－１の分類器の診断名Ｂ、第Ｎの分類器の診断名Ｂ、その他）となる。尚、ユーザは、入力インターフェース２０８を介して、診断したい診断名を入力してもよいし、クラスの構成を指定してもよい。ここで、作成されたクラスに対応する分類データを用いて診断名を分類する分類器の学習を行う。本構成により、ユーザ所望の診断名に対してのみ、クラス尤度が出力される。尚作成されたクラスに対応する分類データを用いて分類器の学習ができると上述までの分類器の作成フローによってさらに複数の分類を作成してもよい。
変形例３－１では、ユーザが選択した特定の診断名に対して評価を行う構成について述べる。ユーザが例えば診断名Ａおよび診断名Ｂに関して、分類処理を実行したいとする。診断名Ａと診断名Ｂにおいて、実施形態３の構成のように複数の分類器における分類データを構成する診断名をラベルとして学習を行った場合について述べる。複数の分類器が分類を行うクラスは例えば（第１の分類器の診断名Ａ、第２の分類器の診断名Ａ・・・第Ｎ－１の分類器の診断名Ａ、第Ｎの分類器の診断名Ａ、第１の分類器の診断名Ｂ、第２の分類器の診断名Ｂ・・・第Ｎ－１の分類器の診断名Ｂ、第Ｎの分類器の診断名Ｂ、その他）となる。尚、ユーザは、入力インターフェース２０８を介して、診断したい診断名を入力してもよいし、クラスの構成を指定してもよい。ここで、作成されたクラスに対応する分類データを用いて診断名を分類する分類器の学習を行う。本構成により、ユーザ所望の診断名に対してのみ、クラス尤度が出力される。尚作成されたクラスに対応する分類データを用いて分類器の学習ができると上述までの分類器の作成フローによってさらに複数の分類を作成してもよい。
【0102】
＜実施形態４＞
分類器の性能の向上のためには、教師データの数と質が一つの課題となっている。教師データの質に関して、質は例えばアノテーション（ラベルを指す）が適切に付与されているかどうかにより判断される。教師データの中には、誤ってアノテーションがなされていたり、学習した特徴では適切に分類できないようなデータに同一のアノテーションが付与されていたりすることがある。
分類器の性能の向上のためには、教師データの数と質が一つの課題となっている。教師データの質に関して、質は例えばアノテーション（ラベルを指す）が適切に付与されているかどうかにより判断される。教師データの中には、誤ってアノテーションがなされていたり、学習した特徴では適切に分類できないようなデータに同一のアノテーションが付与されていたりすることがある。
【0103】
本実施形態では、上述までで述べた複数の分類器および分類データの作成フローに基づいて、教師データに対して再度アノテーションもしくは新規の医用データに対してアノテーションを行う（以下再ラベリング）形態について説明をする。ここでは、上述した医用データに対して適切なアノテーションが付与されていない、もしくは分類のモデル構造に対して異なるラベルを付与することが適切である場合に、再ラベリングをユーザに促すことができる。図１３のように、複数の分類器に対応する分類データ間に重複する診断名を有する医用データが存在すると仮定をし、診断名に対応する分類器の作成を行う。例えば図１３の診断名Ａのように複数の分類データに対して複数のサンプルが存在する場合に有効である。ここで作成する分類器は、診断名Ａの第１の分類データと、診断名Ａの第２の分類データの２クラス分類をする。もちろんクラス数は多値でも数は問わない。分類器は、例えば、Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ（以降Ｇｒａｄ－ＣＡＭ）と呼ばれる分類器を用いる。Ｇｒａｄ－ＣＡＭはクラスごとの影響が大きい画像箇所をヒートマップと尤度を表示することができる技術である。即ち、診断名Ａに対して第１の分類器のクラスと、第２の分類器のクラスのそれぞれに対応する分類データを２クラスに分類する際の特徴を尤度と共にユーザに認識させることができる。さらにユーザは、Ｇｒａｄ－ＣＡＭによるヒートマップに基づいて、当該分類データに対して再ラベリングすることができ、再ラベリングデータを教師データに加えて分類器を学習させることにより、分類器による分類結果の信頼性とロバスト性が確保できる。以下、図１６を用いて情報処理装置１０１の機能ブロックについて説明をする。尚、情報処理装置１０１は他の実施形態で述べた他の構成を有していてもよいし、以下説明をする機能ブロックのみを別途有していてもよいし、複数の情報処理装置によって構成されてもよい。
【0104】
図１６において、情報処理装置１０１は、正解ラベルを有する医用データに対して、複数の分類器のそれぞれによる分類結果のうち、正解ラベルと分類結果との乖離の程度が所定の基準を満たさない（乖離の程度が所定の閾値未満）医用データである分類データを取得する分類データ取得部１６０１を有する。そして、分類データ取得部１６０１は、取得された分類データのうち、異なる分類器に対応する分類データで且つ、同一の正解ラベルが付されている分類データを教師データとして分類器の学習部１６０２に送信する。分類器の学習部１６０２は送信された分類データに基づいて、分類器の学習を行う。そして、医用データ取得部１６０３は、医用画像ＤＢ １０２より、医用データを取得し、医用データのラベル評価部１６０４に送信する。医用データのラベル評価部１６０４は、取得した医用データを分類器の学習部１６０２に送信し、分類器の学習部１６０２で学習された分類器に分類処理を実行させる。そして分類処理が実行された医用データと分類結果を正解ラベル設定部１６０５に送信する。医用データと分類結果を取得した正解ラベル設定部１６０５は、医用データにラベルが付されているかを判定し、医用データにラベルが付されていない場合には、新規にラベルを設定する。一方で医用データにラベルが伏されていた場合は、ラベルの置換を行う。医用データのラベル評価部１６０４は、分類器による分類結果を通知部１６０６に送信をする。通知部１６０６は分類結果の通知を行う。即ち、本実施形態において情報処理装置１０１は、医用データをクラス分類する複数の分類器を有する情報処理装置であって、正解ラベルが付与された医用データに対する前記複数の分類器のそれぞれによる分類結果のうち、正解ラベルと分類結果との乖離の程度が所定の基準を満たさない分類データを取得する分類データ取得部１６０１を有する。さらに取得した分類データのうち、異なる分類器に対応する分類データで且つ同一の正解ラベルを有する分類データを教師データとして分類器の学習を行う分類器の学習部１６０２と、を有する。
【0105】
また、学習された分類器の分類結果に基づいて、医用データの正解ラベルを設定する正解ラベル設定部１６０５を有していてもよい。さらには、分類結果を通知する通知部１６０６を有する。
【0106】
図１７は、本実施形態の処理フローである。ステップＳ１７０１は、分類データ取得部１６０１により、医用画像ＤＢ １０２における分類データセット６２０の内、異なる分類器に対応する分類データで且つ同一のラベルを有する分類データセットを取得する。ステップＳ１７０２において、分類器の学習部１６０２は、例えばＧｒａｄ－ＣＡＭに基づいた学習器で、取得された分類データの学習を行う。ステップＳ１７０３は、分類データ取得部１６０１によってさらに分類器の学習（生成）を必要とする分類データの有無を判定し、分類器の生成が必要であると判定された場合には、ステップＳ１７０１に戻ってさらに処理を実行する。分類データ取得部１６０１により、分類器の学習（生成）が終了したと判定された場合には、後段のステップに移行する。ステップＳ１７０４は、医用データの取得部１６０３によって医用データを取得するステップである。医用データ取得部１６０３によって取得される医用データは、正解ラベルが付与されたデータでも、付与されていないデータでもよい。例えば、上述の実施形態で記載した分類器をクラスとした分類器によるクラス尤度の差が小さいデータや、新たに教師データとして正解ラベルの付与が必要なデータ等が対象として考えられる。ステップＳ１７０５において医用データのラベルの評価を行う。医用データのラベル評価部１６０４は、分類器の学習部１６０２によって作成された学習器に対して分類処理を実行させる。そして分類結果として各クラスへの尤度と、Ｇｒａｄ－ＣＡＭによるヒートマップを取得し、通知部１６０６を介して分類結果の通知を行う。即ち学習された分類器による分類結果が尤度であることを特徴とする。また分類器がＧｒａｄ－ＣＡＭに基づく分類器であることを特徴とする。通知部１６０６は、Ｇｒａｄ－ＣＡＭによるヒートマップを通知することを特徴とする。また通知部１６０６は、図１５で上述したように、各分類器に対応する学習データの数および割合の少なくとも一方を通知してもよい。ステップＳ１７０６において、正解ラベル設定部１６０５は、現在のラベルの有無を判定し、ラベルが付されている場合には、ラベルとの整合性を判定する。正解ラベル設定部１６０５は、当該分類器による分類器のうち最も高いクラスを正解ラベルとしてもよいし、閾値を超えるクラスを正解クラスとしてもよい。尚、両者を組み合わせて正解ラベルを設定してもよい。ステップＳ１７０７においてラベルの置換を行う。またラベルが付与されていない場合には分類結果に基づいてラベルの付与を行う（ステップＳ１７０７）。ステップＳ１７０６において、ラベルが付されていて且つ、ラベルの信頼性が高い場合には、処理の終了をする。即ち、情報処理装置１０１における正解ラベルの設定部１６０５は、正解ラベルを付与された医用データの正解ラベルを置換することを特徴とする。
【0107】
（変形例４－１）
上述の実施形態４は、誤ってアノテーションされたもしくは、分類器が学習した特徴では分類できない分類データを再ラベリングする手法について述べた。変形例４－１は、正解ラベル設定部１６０５が新規に画像データに対してアノテーションをする際に、実施形態４で説明をしたＧｒａｄ－ＣＡＭを用いて、ラベリングを促す。即ち、新たにラベリングが必要なデータをＧｒａｄ－ＣＡＭを基にした分類器に対して入力を行うと、例えば第１の分類器の診断名Ａの場合に着目すべき画像領域と、第２の分類器の診断名Ａの場合に注目すべき画像領域をそれぞれ取得することができる。ユーザは、第１の分類器の診断名Ａにおける注目部位と、第２の分類器の診断名Ａにおける注目部位とに基づいて、いずれのラベルを新規の画像データに対して付すかを決定することができる。なお、Ｇｒａｄ－ＣＡＭによるヒートマップに基づいてユーザにラベリングをさせる形態に捉われず、複数の分類器の診断名をラベルとして分類器が分類した尤度に基づいて情報処理装置１０１がラベリングを行ってもよい。また、情報処理装置１０１がラベリングを行ったデータを医用画像ＤＢ １０２における医用データとして分類器を作成するフローに用いてもよい。即ち、正解ラベル設定部による正解ラベルの設定は、正解ラベルが付与されていない医用データに正解ラベルを付与することを特徴とする。
上述の実施形態４は、誤ってアノテーションされたもしくは、分類器が学習した特徴では分類できない分類データを再ラベリングする手法について述べた。変形例４－１は、正解ラベル設定部１６０５が新規に画像データに対してアノテーションをする際に、実施形態４で説明をしたＧｒａｄ－ＣＡＭを用いて、ラベリングを促す。即ち、新たにラベリングが必要なデータをＧｒａｄ－ＣＡＭを基にした分類器に対して入力を行うと、例えば第１の分類器の診断名Ａの場合に着目すべき画像領域と、第２の分類器の診断名Ａの場合に注目すべき画像領域をそれぞれ取得することができる。ユーザは、第１の分類器の診断名Ａにおける注目部位と、第２の分類器の診断名Ａにおける注目部位とに基づいて、いずれのラベルを新規の画像データに対して付すかを決定することができる。なお、Ｇｒａｄ－ＣＡＭによるヒートマップに基づいてユーザにラベリングをさせる形態に捉われず、複数の分類器の診断名をラベルとして分類器が分類した尤度に基づいて情報処理装置１０１がラベリングを行ってもよい。また、情報処理装置１０１がラベリングを行ったデータを医用画像ＤＢ １０２における医用データとして分類器を作成するフローに用いてもよい。即ち、正解ラベル設定部による正解ラベルの設定は、正解ラベルが付与されていない医用データに正解ラベルを付与することを特徴とする。
【符号の説明】
【0108】
１０１ 情報処理装置
１０２ 医用画像ＤＢ
１０３ ＬＡＮ
３１０ 第ｉの医用データセット
３２０ 分類対象の医用データセット
４０１ 第ｉの医用データ取得部
４０２ 第ｉの分類器
４０３ 分類結果の評価部
４０４ 第ｉ＋１の分類器の学習部
５０１ 分類対象の医用データ取得部
５０２ 分類対象の医用データ評価部
５０３ 通知部
６０１ 尤度取得部
６０２ 判定部
６０３ 第ｉ＋１の医用データセット
１０２ 医用画像ＤＢ
１０３ ＬＡＮ
３１０ 第ｉの医用データセット
３２０ 分類対象の医用データセット
４０１ 第ｉの医用データ取得部
４０２ 第ｉの分類器
４０３ 分類結果の評価部
４０４ 第ｉ＋１の分類器の学習部
５０１ 分類対象の医用データ取得部
５０２ 分類対象の医用データ評価部
５０３ 通知部
６０１ 尤度取得部
６０２ 判定部
６０３ 第ｉ＋１の医用データセット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】