特許 7529592 画像診断支援装置、画像診断支援方法、遠隔診断支援システム、ネット受託サービスシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】画像診断支援装置、画像診断支援方法、遠隔診断支援システム、ネット受託サービスシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240730BHJP

   G01N 33/483 20060101ALI20240730BHJP

【ＦＩ】

G06T7/00 630

G06T7/00 350C

G01N33/483 C

【請求項の数】 15

(21)【出願番号】P 2021033977

(22)【出願日】2021-03-03

(65)【公開番号】P2022134681

(43)【公開日】2022-09-15

【審査請求日】2023-05-12

(73)【特許権者】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテク

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】服部 英春

(72)【発明者】

【氏名】柿下 容弓

(72)【発明者】

【氏名】内田 憲孝

(72)【発明者】

【氏名】桜井 智也

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０２０－００９１６０（ＪＰ，Ａ）

【文献】特開２０００－２４２７８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ３３／４８３

(57)【特許請求の範囲】

【請求項1】

対象画像に対して画像処理するためのプログラムを実行するプロセッサと、
画像処理の結果を格納するためのメモリと、を有し、
前記プロセッサは、
画像を入力する処理と、
前記対象画像から物体の特徴量を抽出する処理と、
学習用画像の特徴量を抽出して特徴量辞書を作成する処理と、
前記特徴量から対象画像を識別して識別値を算出する処理と、
前記特徴量辞書を用いて前記対象画像の特徴量類似度を識別して特徴量類似度識別値を算出する処理と、
前記識別値と前記特徴量類似度識別値を用いて、前記対象画像毎に物体の有無及び物体の確からしさを判定する処理と、
を実行することを特徴とする画像診断支援装置。

【請求項2】

前記プロセッサは、前記特徴量辞書を作成する処理では、機械学習のネットワークにおける任意の層の特徴量を用いて特徴量辞書を作成することを特徴とする請求項１に記載の画像診断支援装置。

【請求項3】

対象画像に対して画像処理するためのプログラムを実行するプロセッサと、
画像処理の結果を格納するためのメモリと、を有し、
前記プロセッサは、
画像を入力する処理と、
前記対象画像から物体の特徴量を抽出する処理と、
学習用画像の特徴量を抽出して特徴量辞書を作成する処理と、
前記特徴量辞書を用いて対象画像が未学習か否かを判定する処理と、
前記特徴量から対象画像を識別して識別値を算出する処理と、
前記特徴量辞書を用いて前記対象画像の特徴量類似度を識別して特徴量類似度識別値を算出する処理と、
前記未学習か否かの判定結果と前記識別値と前記特徴量類似度識別値を用いて、前記対象画像毎に物体の有無及び物体の確からしさを判定する判定処理と、
を実行することを特徴とする画像診断支援装置。

【請求項4】

前記プロセッサは、前記特徴量辞書を作成する処理では、機械学習のネットワークにおける任意の層の特徴量を用いて特徴量辞書を作成することを特徴とする請求項３に記載の画像診断支援装置。

【請求項5】

対象画像に対して画像処理するためのプログラムを実行するプロセッサと、
画像処理の結果を格納するためのメモリと、を有し、
前記プロセッサは、
画像を入力する処理と、
前記対象画像から物体の特徴量を抽出する処理と、
学習用画像の特徴量を抽出して特徴量辞書を作成する処理と、
前記特徴量から対象画像を識別して識別値を算出する処理と、
前記特徴量辞書を用いて前記対象画像の特徴量類似度を識別して特徴量類似度識別値を算出する処理と、
前記特徴量辞書を用いて前記対象画像と学習用画像との類似度を算出し、算出した前記類似度を用いて前記対象画像に対する識別理由を提示する処理と、
前記識別値と前記特徴量類似度識別値を用いて、前記対象画像毎に物体の有無及び物体の確からしさを判定する判定処理と、
を実行することを特徴とする画像診断支援装置。

【請求項6】

前記プロセッサは、前記特徴量辞書を作成する処理では、機械学習のネットワークにおける任意の層の特徴量を用いて特徴量辞書を作成することを特徴とする請求項５に記載の画像診断支援装置。

【請求項7】

対象画像において所望の物体を分類する画像診断支援方法であって、
前記対象画像に対して画像処理するためのプログラムを実行するプロセッサが、物体を撮像した画像を入力するステップと、
前記プロセッサが、前記対象画像の物体の特徴量を抽出するステップと、
前記プロセッサが、学習用画像の特徴量を抽出して特徴量辞書を作成するステップと、
前記プロセッサが、前記特徴量から対象画像を識別して識別値を算出するステップと、
前記プロセッサが、前記特徴量辞書を用いて前記対象画像の特徴量類似度を識別して特徴量類似度識別値を算出するステップと、
前記プロセッサが、前記識別値と前記特徴量類似度識別値を用いて、前記対象画像毎に物体の有無及び物体の確からしさを判定するステップと、
を実行することを特徴とする画像診断支援方法。

【請求項8】

前記特徴量辞書を作成するステップでは、機械学習のネットワークにおける任意の層の特徴量を用いて特徴量辞書を作成することを特徴とする請求項７に記載の画像診断支援方法。

【請求項9】

対象画像において所望の物体を分類する画像診断支援方法であって、
前記対象画像に対して画像処理するためのプログラムを実行するプロセッサが、物体を撮像した画像を入力するステップと、
前記プロセッサが、前記対象画像の物体の特徴量を抽出するステップと、
前記プロセッサが、学習用画像の特徴量を抽出して特徴量辞書を作成するステップと、
前記プロセッサが、前記特徴量辞書を用いて対象画像が未学習か否かを判定するステッ
プと、
前記プロセッサが、前記特徴量から対象画像を識別して識別値を算出するステップと、
前記プロセッサが、前記特徴量辞書を用いて前記対象画像の特徴量類似度を識別して特徴量類似度識別値を算出するステップと、
前記プロセッサが、前記未学習か否かの判定結果と前記識別値と前記特徴量類似度識別値を用いて、前記対象画像毎に物体の有無及び物体の確からしさを判定するステップと、
を実行することを特徴とする画像診断支援方法。

【請求項10】

前記特徴量辞書を作成するステップでは、機械学習のネットワークにおける任意の層の特徴量を用いて特徴量辞書を作成することを特徴とする請求項９に記載の画像診断支援方法。

【請求項11】

対象画像において所望の物体を分類する画像診断支援方法であって、
前記対象画像に対して画像処理するためのプログラムを実行するプロセッサが、物体を撮像した画像を入力するステップと、
前記プロセッサが、前記対象画像の物体の特徴量を抽出するステップと、
前記プロセッサが、学習用画像の特徴量を抽出して特徴量辞書を作成するステップと、
前記プロセッサが、前記特徴量から対象画像を識別して識別値を算出するステップと、
前記プロセッサが、前記特徴量辞書を用いて前記対象画像の特徴量類似度を識別して特徴量類似度識別値を算出するステップと、
前記プロセッサが、前記特徴量辞書を用いて前記対象画像と学習用画像との類似度を算出し、算出した前記類似度を用いて前記対象画像に対する識別理由を提示するステップと、
前記プロセッサが、前記識別値と前記特徴量類似度識別値を用いて、前記対象画像毎に物体の有無及び物体の確からしさを判定するステップと、
を実行することを特徴とする画像診断支援方法。

【請求項12】

前記特徴量辞書を作成するステップでは、機械学習のネットワークにおける任意の層の特徴量を用いて特徴量辞書を作成することを特徴とする請求項１１に記載の画像診断支援方法。

【請求項13】

対象画像において所望の物体を分類する画像診断支援方法であって、
前記対象画像に対して画像処理するためのプログラムを実行するプロセッサが、物体を撮像した画像を入力するステップと、
前記プロセッサが、前記対象画像の物体の特徴量を抽出するステップと、
前記プロセッサが、学習用画像の特徴量を抽出して特徴量辞書を作成するステップと、
前記プロセッサが、前記特徴量辞書を用いて対象画像が未学習か否かを判定するステップと、
前記プロセッサが、前記特徴量から対象画像を識別して識別値を算出するステップと、
前記プロセッサが、前記特徴量辞書を用いて前記対象画像の特徴量類似度を識別して特徴量類似度識別値を算出するステップと、
前記プロセッサが、前記特徴量辞書を用いて前記対象画像と学習用画像との類似度を算出し、算出した前記類似度を用いて前記対象画像に対する識別理由を提示するステップと、
前記プロセッサが、前記未学習か否かの判定結果と前記識別値と前記特徴量類似度識別値を用いて、前記対象画像毎に物体の有無及び物体の確からしさを判定するステップと、
を実行することを特徴とする画像診断支援方法。

【請求項14】

対象画像に対して画像処理するためのプログラムを実行するプロセッサと、画像処理の結果を格納するためのメモリと、を有し、前記プロセッサが、物体を撮像した画像を入力する処理と、前記対象画像の物体の特徴量を抽出する処理と、学習用画像の特徴量を抽出して特徴量辞書を作成する処理と、前記特徴量から対象画像を識別して識別値を算出する処理と、前記特徴量辞書を用いて前記対象画像の特徴量類似度を識別して特徴量類似度識別値を算出する処理と、前記識別値と前記特徴量類似度識別値を用いて、前記対象画像毎に物体の有無及び物体の確からしさを判定する判定処理と、を実行する画像診断支援装置を有するサーバーと、
画像データを撮影する撮像装置を有する画像取得装置と、を有し、
前記画像取得装置は、前記サーバーに前記画像データを送信し、
前記サーバーは、受信した前記画像データを前記画像診断支援装置で処理して前記判定された物体の画像と判定結果をメモリに格納するとともに、前記画像取得装置に送信し、
前記画像取得装置は、受信した前記判定された物体の画像と判定結果を表示装置に表示することを特徴とする遠隔診断支援システム。

【請求項15】

対象画像に対して画像処理するためのプログラムを実行するプロセッサと、画像処理の結果を格納するためのメモリと、を有し、前記プロセッサが、物体を撮像した画像を入力する処理と、 前記対象画像の物体の特徴量を抽出する処理と、学習用画像の特徴量を抽出して特徴量辞書を作成する処理と、前記特徴量から対象画像を識別して識別値を算出する処理と、前記特徴量辞書を用いて前記対象画像の特徴量類似度を識別して特徴量類似度識別値を算出する処理と、前記識別値と前記特徴量類似度識別値を用いて、前記対象画像毎に物体の有無及び物体の確からしさを判定する判定処理と、を実行する画像診断支援装置を有するサーバーと、
画像データを撮影する撮像装置と前記画像診断支援装置を有する画像取得装置と、を有し、
前記画像取得装置は、前記サーバーに前記画像データを送信し、
前記サーバーは、受信した前記画像データを前記画像診断支援装置で処理して前記判定された物体の画像と識別器と特徴量辞書をメモリに格納するとともに、前記判定された物体の画像と識別器と特徴量辞書を前記画像取得装置に送信し、
前記画像取得装置は、受信した前記判定された物体の画像と識別器と特徴量辞書を格納し、
前記画像取得装置内の前記画像診断支援装置は、前記識別器と特徴量辞書を用いて撮像装置で新たに撮影した画像内の物体を判定するとともに、前記判定の結果を表示装置に表示することを特徴とするネット受託サービス提供システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法に関し、例えば、顕微鏡に搭載したカメラなどの撮影装置によってスライドガラス上の組織・細胞切片等を撮影した画像内に含まれる特定の組織や細胞（例えば、がん等）を検出するための画像処理技術に関するものである。

【背景技術】

【0002】

近年、病気の診断においては、病変部組織標本の顕微鏡観察による「病理診断」が重要な位置を占めている。病理診断では、標本作成から診断までの多くを人手に頼っており、自動化が困難である。特に、診断における病理医の能力と経験が重要であり、その個人的能力に依存している。一方で、高齢化に伴うがん患者の増加など、医療現場では病理医が不足している。以上より、病理診断を支援する画像処理技術や遠隔診断などのニーズが増加している。

【0003】

このように、病理診断支援に向け、病理組織か否かを判定するために、例えば、特許文献１に提案される技術がある。当該特許文献１では、高倍率画像から低倍率画像を生成し、低倍率画像で画像を簡易分類後、低倍率画像の元となる高倍率画像を用いて、病理組織を分類している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－２０３９４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、画像(例えば、組織・細胞画像等)においては、物体(例えば、腫瘍等)を高精度に検出しようとすると、物体以外(例えば、非腫瘍等)を物体(例えば、腫瘍等)と判定する割合が増え、過検出が膨大となるという課題がある。また、画像(例えば、組織・細胞画像等)に含まれる物体(例えば、腫瘍や病理組織等)が未学習であるかを判定できないという課題がある。また、物体(例えば、腫瘍や病理組織等)を分類したときの識別理由が不明確であるという課題がある。このため、特許文献１のように、高倍率画像から低倍率画像を生成し、低倍率画像で画像を簡易分類後、低倍率画像の元となる高倍率画像を用いて、組織・細胞を分類したとしても、腫瘍の検出率を100%に近付けようとすると、非腫瘍を非腫瘍と分類できず、非腫瘍を腫瘍と判定して腫瘍の過検出が膨大になるという課題が存在する。また、画像中の腫瘍や病理組織が未学習であるかを判定できないという課題がある。また、病理組織の分類時の識別理由が不明確であるという課題がある。

【0006】

本発明はこのような状況に鑑みてなされたものであり、高精度に物体を判定しつつ過検出を抑制することを実現するための技術を提供することを目的とするものである。また、画像に含まれる物体が未学習であるかを判定することを実現するための技術を提供することを目的とするものである。また、物体の識別理由を提示することを実現するための技術を提供するものである。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の一態様にかかる画像診断支援装置は、対象画像に対して画像処理するためのプログラムを実行するプロセッサと、画像処理の結果を格納するためのメモリと、を有し、前記プロセッサは、画像を入力する処理と、前記対象画像から物体の特徴量を抽出する処理と、学習用画像の特徴量を抽出して特徴量辞書を作成する処理と、前記特徴量から対象画像を識別して識別値を算出する処理と、前記特徴量辞書を用いて前記対象画像の特徴量類似度を識別して特徴量類似度識別値を算出する処理と、前記識別値と前記特徴量類似度識別値を用いて、前記対象画像毎に物体の有無及び物体の確からしさを判定する処理と、を実行することを特徴とする画像診断支援装置として構成される。

【0008】

また、本発明の別の一態様にかかる画像診断支援装置は、対象画像に対して画像処理するためのプログラムを実行するプロセッサと、画像処理の結果を格納するためのメモリと、を有し、前記プロセッサは、画像を入力する処理と、前記対象画像から物体の特徴量を抽出する処理と、学習用画像の特徴量を抽出して特徴量辞書を作成する処理と、前記特徴量辞書を用いて対象画像が未学習か否かを判定する処理と、前記特徴量から対象画像を識別して識別値を算出する処理と、前記特徴量辞書を用いて前記対象画像の特徴量類似度を識別して特徴量類似度識別値を算出する処理と、前記未学習か否かの判定結果と前記識別値と前記特徴量類似度識別値を用いて、前記対象画像毎に物体の有無及び物体の確からしさを判定する判定処理と、を実行することを特徴とする画像診断支援装置として構成される。

【0009】

また、本発明の別の一態様にかかる画像診断支援装置は、対象画像に対して画像処理するためのプログラムを実行するプロセッサと、画像処理の結果を格納するためのメモリと、を有し、前記プロセッサは、画像を入力する処理と、前記対象画像から物体の特徴量を抽出する処理と、学習用画像の特徴量を抽出して特徴量辞書を作成する処理と、前記特徴量から対象画像を識別して識別値を算出する処理と、前記特徴量辞書を用いて前記対象画像の特徴量類似度を識別して特徴量類似度識別値を算出する処理と、前記特徴量辞書を用いて前記対象画像と学習用画像との類似度を算出し、算出した前記類似度を用いて前記対象画像に対する識別理由を提示する処理と、前記識別値と前記特徴量類似度識別値を用いて、前記対象画像毎に物体の有無及び物体の確からしさを判定する判定処理と、を実行することを特徴とする画像診断支援装置として構成される。

【0010】

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。本明細書の記述は典型的な例示に過ぎず、本発明の特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。

【発明の効果】

【0011】

本発明の一態様によれば、高精度に物体を判定しつつ過検出を抑制することを実現することができる。また、本発明の別の一態様によれば、さらに画像に含まれる物体が未学習であるかを判定することを実現することができる。また、本発明の別の一態様によれば、さらに物体の識別理由を提示することを実現することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の第１の実施形態による画像診断支援装置の機能を示すブロック図である。

【図2】本発明の第１及び第２の実施形態による画像診断支援装置のハードウェア構成例を示す図である。

【図3】特徴抽出部の動作の一例を説明するための図である。

【図4】特徴抽出部の動作の一例を説明するための図である。

【図5】識別部の動作の一例を説明するための図である。

【図6】識別部の動作の一例を説明するための図である。

【図7】描画部の動作の一例を説明するための図である。

【図8】描画部の動作の一例を説明するための図である。

【図9】識別部の動作を説明するためのフローチャートである。

【図10】第１の実施形態による画像診断支援装置の全体動作を説明するためのフローチャートである。

【図11】描画部の判定結果表示の一例を説明するための図である。

【図12】本発明の第２の実施形態による画像診断支援装置の機能を示すブロック図である。

【図13】識別理由提示部の動作の一例を説明するための図である。

【図14】第２の実施形態による画像診断支援装置の全体動作を説明するためのフローチャートである。

【図15】本発明の画像診断支援装置を搭載した遠隔診断支援システムの概略構成を示す図である。

【図16】本発明の画像診断支援装置を搭載したネット受託サービス提供システムの概略構成を示す図である。

【発明を実施するための形態】

【0013】

本発明の実施形態は、学習用画像の特徴量辞書を用いて対象画像が未学習か否かを判定し、さらに識別器の識別結果と特徴量辞書を用いて識別した識別結果を用いて対象画像内の物体(腫瘍等)を判定することで、高精度に物体を判定しつつ過検出を抑制し、物体の識別理由を提示することを実現する画像診断支援装置及びその方法を提供する。より具体的には、対象画像内の物体(腫瘍等)の検出率を100%に近付けようとして物体(腫瘍等)の過検出を抑制できない場合でも、学習用画像の特徴量辞書を作成して対象画像が未学習か否かを判定し、さらに識別器の識別結果と特徴量辞書を用いて識別した識別結果を用いて対象画像内の物体(腫瘍等)を判定することで、高精度に物体を判定しつつ過検出を抑制し、物体の識別理由を提示することができるようになる。

【0014】

以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

【0015】

本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

【0016】

更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。

【0017】

以下では「プログラムとしての各処理部（例えば、特徴抽出部等）」を主語（動作主体）として本発明の実施形態における各処理について説明を行うが、プログラムはプロセッサ（ＣＰＵ等）によって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。

【0018】

（１）第１の実施形態
＜画像診断支援装置の機能構成＞
図１は、本発明の実施形態による画像診断支援装置の機能構成を示すブロック図である。

【0019】

画像診断支援装置１は、入力部１０と、特徴抽出部１１と、識別部１２と、特徴量類似度識別部１３と、未学習判定部１４と、識別結果判定部１５と、描画部１６と、記録部１７と、制御部９１と、メモリ９０と、を有している。当該画像診断支援装置は、撮像部を有する画像取得装置内に実装しても良いし、また、バーチャルスライド等の組織・細胞画像取得装置内に実装しても良いし、後述する（第３乃至第４の実施形態）ように、画像取得装置とネットワークを介して接続されるサーバー内に実装しても良い。

【0020】

画像診断支援装置１における、入力部１０、特徴抽出部１１、識別部１２、特徴量類似度識別部１３、未学習判定部１４、識別結果判定部１５、描画部１６、及び記録部１７は、プログラムによって実現しても良いし、モジュール化して実現しても良い。

【0021】

入力部１０には画像データが入力される。例えば、入力部１０は、顕微鏡にビルトインされたカメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を取得して、その画像を入力画像としてもよい。また、入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像としてもよい。また、入力部１０は、撮像手段がバスやネットワーク等を介して取得した画像を入力画像としてもよい。また、入力部１０は、脱着可能な記録媒体に、既に記憶されていた画像を入力画像としてもよい。

【0022】

特徴抽出部１１は、画像(組織・細胞画像等)内から、物体(組織や細胞等)に関する特徴量を算出する。また、学習時には、全学習用画像の特徴量を算出し、それらの特徴量を格納した特徴量辞書５０を作成する。特徴抽出部１１は、機械学習のネットワークにおける任意の層の特徴量を用いて特徴量辞書を作成してもよい。

【0023】

識別部１２は、学習時には、全学習用画像と公知の機械学習技術(例えば、Convolutional Neural Network等)を使用して、物体か否かを識別するための識別器を作成し、識別器をメモリ９０に格納する。また、識別部１２は、評価時には、メモリ９０から識別器を読込み、識別器を用いて、入力画像から抽出した特徴量から物体らしさ(組織や細胞の異常らしさ等)と識別値である識別結果CCを算出し、入力画像に関して、検出すべき物体か否か(正常組織か異常組織か、また、正常細胞か異常細胞か等)を分類する。

【0024】

特徴量類似度識別部１３は、特徴量辞書５０を用いて、特徴量抽出部１１にて抽出した入力画像の特徴量と特徴量辞書５０内の全特徴量との類似度を算出し、その中で最も類似した特徴量を求め、その特徴量と識別器を用いて識別値である特徴量類似度識別結果CFを求める。

【0025】

未学習判定部１４は、特徴量辞書５０を用いて、特徴量抽出部１１にて抽出した入力画像の特徴量と特徴量辞書５０内の全特徴量との類似度を算出し、算出した類似度から入力画像内の物体が学習済みか未学習かを判定する。

【0026】

識別結果判定部１５は、識別部１２で求めた識別結果CCと特徴量類似度識別部１３で求めた特徴量類似度識別結果CFを用いて、入力画像内の物体が検出すべき物体(腫瘍等)か否か(非腫瘍等)、判定不能か未学習かを判定する。

【0027】

描画部１６は、前記識別結果判定部１５で判定した物体(腫瘍、異常組織、異常細胞等)を囲むように検出枠を画像上に描画する。

【0028】

記録部１７は、前記描画部１６で入力画像上に検出枠を描画した画像をメモリ９０に保存する。

【0029】

識別部１２は、学習時、入力画像内の物体、例えば、正常の組織や細胞を正常の組織や細胞と識別するように、また、入力画像内の異常の組織や細胞を異常の組織や細胞と識別するように、機械学習を行って識別に必要な各パラメータ(フィルター係数、オフセット値等)を算出する。

【0030】

制御部９１は、プロセッサで実現され、画像診断支援装置１内の各要素に接続される。画像診断支援装置１の各要素の動作は、上述した各構成要素の自律的な動作、又は制御部９１の指示により動作する。

【0031】

このように本実施形態の画像診断支援装置１では、特徴抽出部１１で求めた入力画像に関する物体らしさ(例えば、組織や細胞の異常らしさ等)を示す特徴量、識別部１２で求めた識別結果、特徴量類似度識別部１３で求めた特徴量類似度識別結果を用いて、識別結果判定部１５で、入力画像に関して、検出すべき物体か否か(例えば、非腫瘍か腫瘍か、正常組織か異常組織か、正常細胞か異常細胞か等)を分類することを特徴とする。

【0032】

＜画像診断支援装置のハードウェア構成＞
図２は、本発明の実施形態による画像診断支援装置１のハードウェア構成例を示す図である。

【0033】

画像診断支援装置１は、各種プログラムを実行するＣＰＵ（プロセッサ）２０１と、各種プログラムを格納するメモリ２０２と、各種データを格納する記憶装置（メモリ９０に相当）２０３と、検出後画像を出力するための出力装置２０４と、ユーザによる指示や画像等を入力するための入力装置２０５と、他の装置と通信を行うための通信デバイス２０６と、を有し、これらがバス２０７によって相互に接続されている。

【0034】

ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、実行する。

【0035】

メモリ２０２は、プログラムとしての、入力部１０と、特徴抽出部１１と、識別部１２と、特徴量類似度識別部１３と、未学習判定部１４と、識別結果判定部１５と、描画部１６と、記録部１７とを格納する。ただし、実施例１の画像診断支援装置１のメモリ２０２には、識別理由提示部２０は含まない。

【0036】

記憶装置２０３は、処理対象画像、識別部１２によって生成された入力画像に関する識別結果とその数値、特徴量類似度識別部１３によって生成された入力画像に関する特徴量類似度識別結果とその数値、未学習判定部１４によって生成された入力画像に関する未学習か否かの判定結果、識別結果判定部１５によって生成された入力画像に関する判定結果とその数値、描画部１６によって生成された検出枠を描画するための位置情報、識別部１２によって生成した後述の式（１）と式（２）の各パラメータ等を記憶している。

【0037】

出力装置２０４は、ディスプレイ、プリンタ、スピーカー等のデバイスで構成される。例えば、出力装置２０４は、描画部１６によって生成されたデータをディスプレイ画面上に表示する。

【0038】

入力装置２０５は、キーボード、マウス、マイク等のデバイスで構成される。入力装置２０５によってユーザによる指示（処理対象画像の決定を含む）が画像診断支援装置１に入力される。

【0039】

通信デバイス２０６は、画像診断支援装置１としては必須の構成ではなく、画像取得装置に接続されたパソコン等に通信デバイスが含まれる場合には、画像診断支援装置１は通信デバイス２０６を保持していなくても良い。通信デバイス２０６は、例えば、ネットワークを介して接続される他の装置（例えば、サーバー）から送信されてきたデータ（画像を含む）を受信し、記憶装置２０３に格納する動作を行う。

【0040】

本発明の画像診断支援装置１は、入力画像に関する物体(組織や細胞等)の特徴量を算出し、それらの特徴量を用いて入力画像内の物体(組織や細胞等)らしさの識別結果を算出し、また、それらの特徴量と特徴量辞書を用いて入力画像内の物体(組織や細胞等)らしさの特徴量類似度識別結果と未学習判定結果を算出し、識別結果と特徴量類似度識別結果を用いて入力画像内の物体らしさ(腫瘍らしさや組織や細胞の病変らしさ等)を判定する。

【0041】

＜各部の構成と動作＞
以下、各要素の構成と動作について詳細に説明する。

【0042】

（i）特徴抽出部１１
入力画像の特徴量を求める。一例として、特徴量を求める例を図３に示す。図３のCNNは、Convolutional Neural Networkを表す。

【0043】

例えば、特徴抽出器Aを用いて、式（１）により、入力画像A1から入力画像A1の物体(例えば、組織・細胞等)の特徴量FAiを求める。また、事前の機械学習により、全学習用画像の特徴量FAiを算出し、それらの特徴量FAiを用いて特徴量辞書５０を作成する。

【0044】

式（１）に示すフィルター係数wjは、検出すべき物体以外を検出すべき物体以外(例えば、正常組織や正常細胞を正常組織や正常細胞等)と識別するように、また、検出すべき物体を検出すべき物体(例えば、異常組織や異常細胞を異常組織や異常細胞等)と識別するように、機械学習等により求めた係数である。

【0045】

式（１）において、pjは画素値、biはオフセット値、mはフィルター係数の数、hは非線形関数を示す。図４に示すように、式（１）を用いて、対象画像の左上から右下に対して、各フィルターの計算結果を求めることで、任意のフィルターiの特徴量fiを求める。例えば、特徴抽出器Aで求めた特徴量fiの行列を入力画像A1の特徴量FAiとする。特徴抽出器Aの作成方法については、後述する識別部１２にて説明する。

【0046】

【数1】

【0047】

（ii）識別部１２
識別部１２は、図５に示すように、前記特徴抽出部１１で求めた特徴抽出器Aの特徴量FAi(行列f)を用いて、ロジスティック回帰処理にて、式（２）により、検出すべき物体らしさ(腫瘍らしさ、病変らしさ等)の値を算出して、入力画像A1内の物体(例えば、組織・細胞)が検出すべき物体(腫瘍等)か検出すべき物体以外(非腫瘍等)かを判定する。式（２）において、ｗは重みの行列、bはオフセット値、gは非線形関数、yは計算結果をそれぞれ示し、後述に示すように、学習用画像を用いて、事前の機械学習により、ｗの重みとbのオフセット値を求める。

【0048】

【数2】

【0049】

識別部１２は、式（２）により、入力した画像内の物体が検出すべき物体以外(例えば、組織や細胞が正常組織や正常細胞等)であれば、例えば、ロジスティック回帰処理にて、検出すべき物体以外(例えば、正常組織や正常細胞等)と判定するように、例えば、公知の機械学習の技術を用いて、物体(例えば、組織や細胞等)の特徴量を学習する。また、入力した画像内の物体が検出すべき物体(例えば、組織や細胞が異常組織や異常細胞等)であれば、ロジスティック回帰処理にて、検出すべき物体(例えば、異常組織や異常細胞等)と判定するように、物体(例えば、組織や細胞等)の特徴量を学習する。例えば、機械学習の技術として、Convolutional Neural Networkを用いてもよい。

【0050】

識別部１２は、図６に示すように、事前の機械学習により、入力画像A1(例えば、HE染色画像)を用いて、検出すべき物体を検出すべき物体(例えば、異常組織や異常細胞を異常組織や異常細胞等)と判定するように、また、検出すべき物体以外を検出すべき物体以外(例えば、正常組織や正常細胞を正常組織や正常細胞等)と判定するように、式（１）と式（２）により、入力画像A1の特徴量fi(FAiとする)を算出する特徴抽出器Aを作成する。

【0051】

識別部１２は、複数の学習用画像を用いて、前記特徴抽出部１１と前記識別部１２を繰り返して行い、式（１）と式（２）に示す重みｗ、フィルター係数wj、オフセット値bとbiを求め、入力画像A1から入力画像A1の特徴量FAiを算出する特徴抽出器Aを作成する。また、識別部１２は、特徴抽出器Aを用いて、対象画像の識別結果を算出する。

【0052】

識別部１２は、求めたそれぞれの重みｗ、フィルター係数wj、オフセット値bとbiをメモリ９０に格納する。

【0053】

（iii）特徴量類似度識別部１３
特徴量類似度識別部１３は、特徴抽出部１１で求めた入力画像の特徴量FAiと特徴量辞書５０内のグループ(例えば、検出すべき物体、検出すべき物体以外等)毎の学習用画像の特徴量FXi(Xは１～N(N:グループ番号))を用いて、式（３）により、グループ毎に特徴量FAiに最も類似した特徴量FXiとSX値を求める。次に、全グループの中で最小のSX値(Smin)とグループ番号を求め、特徴量類似度識別結果にグループ番号を設定する。式（３）にて、aj(jは1～m)は特徴量FAiの各次元の値、bjは特徴量FXiの各次元の値をそれぞれ示す。

【0054】

【数3】

【0055】

例えば、２グループ(検出すべき物体(グループ番号は１)と検出すべき物体以外(グループ番号は２))の場合、特徴量FAiと特徴量F1iについて、式（３）により、最も類似した特徴量F1iとS1を求める。また、特徴量FAiと特徴量F2iについて、式（３）により、最も類似した特徴量F2iとS2を求める。そして、S1とS2の中で最小値Sminを求める。

【0056】

（iv）未学習判定部１４
未学習判定部１４は、特徴量類似度識別部１３で求めた最小値のSminと閾値Hを比較して、Smin≦Hの場合、未学習判定結果に例えば０(学習済み)を設定し、Smin>Hの場合、未学習判定結果に例えば－１(未学習)を設定し、未学習判定結果を求める。

【0057】

（v）識別結果判定部１５
識別結果判定部１５は、識別部１２で求めた識別結果と特徴量類似度識別部１３で求めた特徴量類似度識別結果と未学習判定部１４で求めた未学習判定結果を用いて、入力画像の判定結果を求める。すなわち、識別結果と特徴量類似度識別結果が同様の検出すべき物体(腫瘍等)である場合、入力画像内の物体は検出すべき物体と判定し、判定結果に例えば１を設定する。また、識別結果と特徴量類似度識別結果が同様の検出すべき物体以外(非腫瘍等)である場合、入力画像内の物体は検出すべき物体以外と判定し、判定結果に例えば０を設定する。また、識別結果と特徴量類似度識別結果が不一致の場合、入力画像内の物体は判定不能と判定し、判定結果に例えば２を設定する。ただし、未学習判定結果が－１の場合は、識別結果と特徴量類似度識別結果に関わらず、入力画像は未学習と判定し、判定結果に例えば－１(未学習)を設定する。識別結果判定部１５により、入力画像内の検出すべき物体に類似した検出すべき物体以外を判定不能と判定することで、入力画像内の検出すべき物体以外を検出すべき物体に判定することを抑制し、過検出を抑制することが可能となる。

【0058】

（vi）描画部１６
描画部１６は、識別結果判定部１５において、ユーザに優先して確認を促す箇所(例えば、腫瘍、判定不能、未学習等)と判定した箇所を示すために、図７に示すように、入力した対象画像内に検出枠を描画する。また、検出すべき物体(例えば、腫瘍、異常組織や異常細胞等)と判定された場合、図７に示すように、判定した物体らしさ（例えば、病変らしさ等）の判定結果(例えば、腫瘍等)を表示する。

【0059】

また、描画部１６は、図８(Ａ)に示すように、判定不能や未学習等と表示した箇所に対して、ユーザが正解ラベルを付与(入力)した場合、例えば、マウスをクリックして正解ラベル(例えば、非腫瘍等)を入力した場合、新たな学習用画像として、学習用画像と正解ラベルをセットにしてメモリ９０に格納する。また、描画部１６は、図８(Ｂ)に示すように、複数の判定結果を対象画像上に描画する場合がある。この場合、検出すべき物体(例えば、腫瘍等)、判定不能、未学習と判定した箇所については、ユーザに優先して確認を促すためにそれらの箇所を強調して画面上に表示する。

【0060】

一方、検出すべき物体以外(例えば、非腫瘍、正常組織や正常細胞等)と判定された場合は、検出枠を入力した対象画像上に描画せず、入力した対象画像をそのまま表示する。また、また、一例として、図１１に示すＧＵＩ（グラフィカルユーザーインタフェース）にて、物体らしさ判定(例えば、病変らしさ判定)の結果を表示する。

【0061】

図１１は、乳房の場合の一例であり、非腫瘍、腫瘍の分類結果を示す図である。図１１の例では、乳房について、識別結果判定部１５は、入力された対象画像に異常組織・細胞である腫瘍を含むと分類し、腫瘍の物体らしさの値を0.89と算出した例である。

【0062】

（v）記録部１７
記録部１７は、描画部１６で入力した対象画像上に検出枠を描画するための座標情報とその対象画像をメモリ９０に保存する。

【0063】

＜画像診断支援装置の処理手順＞
図９は、本発明の実施形態による画像診断支援装置１の特徴抽出部１１と識別部１２の機械学習時の動作を説明するためのフローチャートである。以下では、特徴抽出部１１と識別部１２を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。

【0064】

（i）ステップ９０１
入力部１０は、学習用に入力された画像を受け付け、当該入力画像A1を特徴抽出部１１に出力する。

【0065】

（ii）ステップ９０２
特徴抽出部１１は、式（１）により、フィルターを用いて入力画像A1から入力画像A1の物体(例えば、組織・細胞等)の特徴量FAiを求める。また、全学習用画像の特徴量FAiを算出し、それらの特徴量FAiを用いて特徴量辞書５０を作成する。

【0066】

（iii）ステップ９０３
識別部１２は、機械学習によって、上述の式（１）と式（２）により、フィルターを用いて入力画像A1の物体(例えば、組織や細胞等)の特徴量FAiを算出する特徴抽出器Aを作成する。

【0067】

（iv）ステップ９０４
特徴量FAiから成る行列をfとした場合について、重みｗ、フィルター係数wj、オフセット値bとbiを求める。

【0068】

（v）ステップ９０５
識別部１２は、算出した特徴抽出器Aの重みw、フィルター係数wj、オフセット値b、biをメモリ９０に保存する。

【0069】

図１０は、本実施の形態による画像診断支援装置１の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部１１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。

【0070】

（i）ステップＳ１００１
入力部１０は、当該入力画像A1を特徴抽出部１１に出力する。

【0071】

（ii）ステップＳ１００２
特徴抽出部１１は、メモリ９０から特徴抽出器Aのフィルター係数wj、オフセットbiを読込み、上述の式（１）により、フィルターを用いて入力画像A1の検出すべき物体(例えば、組織・細胞等)の特徴量FAiを求める。

【0072】

（iii）ステップＳ１００３
識別部１２は、メモリ９０から重みw、オフセットbを読込み、式（２）により、特徴量FAiから成る行列をfとした場合の計算結果yを算出する。

【0073】

（iv）ステップＳ１００４
識別部１２は、算出した計算結果yと閾値Th1を比較する。すなわち、計算結果y≧閾値Th1の場合、処理はステップ１００５に移行する。一方、計算結果y＜閾値Th1の場合、処理はステップ１００６に移行する。

【0074】

（v）ステップＳ１００５
識別部１２は、識別結果ccに検出すべき物体(例えば、１：腫瘍)を設定する。

【0075】

（vi）ステップＳ１００６
識別部１２は、識別結果ccに検出すべき物体以外(例えば、０：非腫瘍)を設定する。

【0076】

（vii）ステップＳ１００７
特徴量類似度識別部１３は、特徴抽出部１１が算出した入力画像A1の特徴量FAiと特徴量辞書５０内のグループ毎の学習用画像の特徴量FXi(Xは１～N)を用いて、式（３）により、グループ毎に特徴量FAiに最も類似した特徴量FXiとSX値を求める。次に、全グループの中で最小のSX値とグループ番号GNを求め、特徴量類似度識別結果cfにグループ番号(例えば、１：検出すべき物体(腫瘍等)、０：検出すべき物体以外(非腫瘍等)を設定する。

【0077】

（viii）ステップＳ１００８
未学習判定部１４は、特徴量類似度識別部１３で求めたSXの最小値であるSminと閾値Hを比較する。すなわち、Smin≦閾値Hの場合、処理はステップ１００９に移行する。一方、Smin>閾値Hの場合、処理はステップ１０１０に移行する。

【0078】

（ix）ステップＳ１００９
未学習判定部１４は、未学習判定結果ulに学習済み(例えば、０)を設定する。
（x）ステップＳ１０１０
未学習判定部１４は、未学習判定結果ulに未学習(例えば、－１)を設定する。

【0079】

（xi）ステップＳ１０１１
識別結果判定部１５は、識別部１２で求めた識別結果ccと特徴量類似度識別部１３で求めた特徴量類似度識別結果cfと未学習判定部１４で求めた未学習判定結果ulを用いて、入力画像の判定結果jrを求める。すなわち、未学習判定結果ulが学習済みの場合、処理はステップＳ１０１２に移行する。一方、未学習判定結果ulが未学習の場合、処理はステップＳ１０１３に移行する。

【0080】

（xii）ステップＳ１０１２
識別結果判定部１５は、識別部１２で求めた識別結果ccと特徴量類似度識別部１３で求めた特徴量類似度識別結果cfを同じ検出すべき物体であるか否かを判定する。すなわち、ccとcfが同じ検出すべき物体であれば、処理はステップＳ１０１４に移行する。一方、ccとcfが同じ検出すべき物体でない場合は、処理はステップＳ１０１５に移行する。

【0081】

（xiii）ステップＳ１０１３
識別結果判定部１５は、判定結果jrに未学習(例えば、－１：未学習)を設定する。

【0082】

（xiv）ステップＳ１０１４
識別結果判定部１５は、判定結果jrに検出すべき物体(例えば、１：腫瘍)を設定する。

【0083】

（xv）ステップＳ１０１５
識別結果判定部１５は、識別部１２で求めた識別結果ccと特徴量類似度識別部１３で求めた特徴量類似度識別結果cfが不一致か検出すべき物体以外かを判定する。すなわち、ccとcfが同じ検出すべき物体以外であれば、処理はステップ１０１６に移行する。一方、ccとcfが不一致であれば、処理はステップ１０１７に移行する。

【0084】

（xvi）ステップＳ１０１６
識別結果判定部１５は、判定結果jrに検出すべき物体以外(例えば、０：非腫瘍)を設定する。

【0085】

（xvii）ステップＳ１０１７
識別結果判定部１５は、判定結果jrに判定不能(例えば、２：判定不能)を設定する。

【0086】

（xviii）ステップＳ１０１８
識別結果判定部１５は、判定結果jrから検出すべき物体の物体らしさを判定する。例えば、乳房について、判定結果jrには、腫瘍、非腫瘍等の結果が設定される。従って、判定結果jrにより、病変有無(例えば、腫瘍等)や病変らしさ(y=0.89：値域(0～1))を求めることが可能となる。

【0087】

（xix）ステップＳ１０１９
描画部１６は、腫瘍、判定不能、未学習等と判定された場合は、図７や図８に示すように、ユーザに確認を促す箇所を示す検出枠を画像上に描画して表示する。描画部１６は、検出すべき物体以外(例えば、正常組織や正常細胞等)と分類された場合は、検出枠を画像上に描画することはしない。また、描画部１６は、図１１に示すように、入力画像から算出した物体らしさ(病変らしさ等)の値を表示する。

【0088】

（xx）ステップＳ１０２０
記録部１７は、描画部１６で入力した対象画像上に検出枠を描画するための座標情報とその対象画像をメモリ９０（記憶装置２０３に相当）に保存する。

【0089】

第１の実施形態によれば、入力画像から入力画像内の物体(例えば、組織や細胞等)の特徴量を機械学習し、重み、フィルター係数、オフセットを算出して、検出すべき物体か否かを分類する識別器(各特徴抽出器とロジスティック回帰層から構成)を作成し、特徴量辞書を用いて入力画像と学習用画像との類似度を算出し、識別器と類似度による識別結果を用いて検出すべき物体か否かを判定することにより、検出すべき物体の有無および物体の確からしさを判定するため、検出すべき物体(病変等)の過検出を抑制して、画像から精度よく検出すべき物体(例えば、腫瘍、異常組織、異常細胞等)を分類することが可能となる。

【0090】

また、識別器と類似度による識別結果を用いて判定不能か否かを判定するため、検出すべき物体か検出すべき物体以外かのどちらかに必ず分類することを防止し、さらにユーザに優先して確認を促す箇所を提示することが可能となる。

【0091】

また、入力画像と特徴量辞書内の学習用画像との特徴量の類似度を算出するため、未学習と判定した箇所を提示することが可能となる。

【0092】

（２）第２の実施形態
図１２は、第２の実施形態に係る画像診断支援装置１の構成例を示す図である。第２の実施形態に掛かる画像診断支援装置１は、第１の実施形態における画像診断支援装置１（図１参照）と同様な構成を多く含むが、描画部２６の動作が図１と異なる。また、新たな構成として識別理由提示部２０を含む。従って、ここでは、主として図１とは異なる構成について説明をする。

【0093】

第２の実施形態に係る画像診断支援装置１は、特徴量辞書を用いて、入力画像と学習用画像との類似度を算出し、その類似度を用いて入力画像の識別理由を画面上に表示する。

【0094】

＜各部の構成と動作＞
以下、図１と異なる各要素の構成と動作について詳細に説明する。

【0095】

（i）識別理由提示部２０
識別理由提示部２０は、図１３の(Ａ)に示す識別理由ボタンを押下すると、図１３の(Ｂ)に示すように、入力画像の特徴量と入力画像の特徴量に最も類似した学習用画像の特徴量(例えば、m次元の特徴量で、各次元の値miの値域は－１≦mi≦１)および類似度の識別スコアを表示する。ここで、式（３）で求めたSXを用いて、式（４）より、類似度の識別スコアSSを求める。また、特徴量辞書の中に学習用画像も格納していた場合、入力画像と入力画像に最も類似した学習用画像も画面上に表示する。

【0096】

【数4】

【0097】

（ii）描画部２６
描画部２６は、描画部１６と同様の機能を有する。描画部２６は、図１１の代わりに図１３の（Ａ）を表示し、図１１の表示内容以外に識別理由ボタンを追加で表示する。

【0098】

＜画像診断支援装置のハードウェア構成＞
第２の実施形態に係る画像診断支援装置１は、図２に示す構成と同様であるが、第１の実施形態に係る画像診断支援装置１とは異なり、メモリ２０２に識別理由提示部２０を含んでいる。

【0099】

第２の実施形態に係る画像診断支援装置１の記憶装置２０３は、識別理由提示部２０によって算出した類似度の識別スコア、学習用画像、描画部２６によって生成された検出枠を描画するための位置情報等を記憶している。

【0100】

図１４は、本実施形態による画像診断支援装置１の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部２１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。図１４に示すステップＳ１４０１～Ｓ１４１８までの各ステップは、図１０に示したステップＳ１００１～Ｓ１０１８までの各ステップと同様であるため、以下では、ステップＳ１４１９以降の処理について説明する。

【0101】

（xix）ステップＳ１４１９
描画部２６は、第１の実施形態の場合と同様、腫瘍、判定不能、未学習等と判定された場合は、図７や図８に示すように、ユーザに確認を促す箇所を示す検出枠を画像上に描画して表示する。描画部２６は、検出すべき物体以外(例えば、正常組織や正常細胞等)と分類された場合は、検出枠を画像上に描画することはしない。また、第２の実施形態では、描画部２６は、図１３の（Ａ）に示すように、入力画像から算出した物体らしさ(病変らしさ等)の値を表示する。

【0102】

（xx）ステップＳ１４２０
識別理由提示部２０は、式（４）を用いて、入力画像の特徴量と入力画像の特徴量に最も類似した学習用画像の特徴量から類似度の識別スコアSSを算出し、図１３の(Ａ)に示す識別理由ボタンを押下すると、図１３の(Ｂ)に示すように、入力画像の特徴量と入力画像の特徴量に最も類似した学習用画像の特徴量および類似度の識別スコアを表示する。また、特徴量辞書の中に学習用画像も格納していた場合、入力画像と入力画像に最も類似した学習用画像(判定用画像)も画面上に表示する。

【0103】

（xxi）ステップＳ１４２１
記録部１７は、描画部２６で入力した対象画像上に検出枠を描画するための座標情報とその対象画像、識別理由提示部２０によって算出した類似度の識別スコアをメモリ９０（記憶装置２０３に相当）に保存する。

【0104】

以上のような第２の実施形態によれば、入力画像から入力画像内の物体(例えば、組織や細胞等)の特徴量を機械学習し、重み、フィルター係数、オフセットを算出して、検出すべき物体か否かを分類する識別器(各特徴抽出器とロジスティック回帰層から構成)を作成し、特徴量辞書を用いて入力画像と学習用画像との類似度を算出し、識別器と類似度による識別結果を用いて検出すべき物体か否かを判定することにより、検出すべき物体の有無および物体の確からしさを判定するため、検出すべき物体(病変等)の過検出を抑制して、画像から精度よく検出すべき物体(例えば、腫瘍、異常組織、異常細胞等)を分類することが可能となる。

【0105】

また、識別器と類似度による識別結果を用いて判定不能か否かを判定するため、検出すべき物体か検出すべき物体以外かのどちらかに必ず分類することを防止し、さらにユーザに優先して確認を促す箇所を提示することが可能となる。

【0106】

また、入力画像と特徴量辞書内の学習用画像との特徴量の類似度を算出するため、未学習と判定した箇所を提示することが可能となる。

【0107】

また、入力画像と特徴量辞書内の学習用画像との特徴量から類似度の識別スコアを算出するため、識別理由を示す特徴量や判定用画像を提示することが可能となる。

【0108】

（３）第３の実施形態
図１５は、第３の実施形態による遠隔診断支援システム１５００の構成を示す機能ブロック図である。遠隔診断支援システム１５００は、サーバー１５０３と、画像取得装置１５０５と、を有する。

【0109】

画像取得装置１５０５は、例えばバーチャルスライド装置やカメラを装備したパソコンのような装置であり、画像データを撮影する撮像部１５０１と、サーバー等１５０３から伝送されてきた判定結果を表示するための表示部１５０４と、を有している。なお、画像取得装置１５０５は、図示されてはいないが、画像データをサーバー等１５０３に送信したり、サーバー等１５０３から送信されてきたデータを受信したりする通信デバイスを有している。

【0110】

サーバー等１５０３は、画像取得装置１５０５から伝送されてきた画像データに対して、本発明の第１や第２の実施形態による画像処理を行う画像診断支援装置１と、画像診断支援装置１から出力された判定結果を格納する格納部１５０２と、を有している。なお、サーバー等１５０３は、図示されてはいないが、画像取得装置１５０５から送信されてきた画像データを受信したり、画像取得装置１５０５に判定結果データを送信したりする通信デバイスを有している。

【0111】

画像診断支援装置１は、撮像部１５０１で撮影した画像データ内の物体(例えば、組織や細胞等)について、検出すべき物体(例えば、異常組織や異常細胞(例：がん)等)の有無を分類する。また、入力画像の各物体(例えば、組織・細胞等)の特徴量を算出する識別器による識別結果と特徴量辞書を用いた特徴量類似度識別結果を用いて、検出すべき物体(例えば、異常組織や異常細胞(例：がん)等)の状態(例えば、進行度等)に応じた検出すべき物体(例えば、異常組織や異常細胞(例：がん)等)の物体らしさ(例えば、病変らしさ等)の判定を行う。表示部１５０４は、サーバー等１５０３から伝送された判定結果を、画像取得装置１５０５の表示画面に表示する。

【0112】

画像取得装置１５０５として、撮影部を有する再生医療装置やｉＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。

【0113】

第３の実施形態によれば、地点の異なる施設等から伝送された画像内の物体(例えば、組織や細胞等)について、検出すべき物体(例えば、異常組織や異常細胞等)か、検出すべき物体以外(例えば、正常組織か正常細胞等)かを判定し、判定結果を地点の異なる施設等に伝送して、その施設等にある画像取得装置の表示部で判定結果を表示することで、遠隔診断支援システムを提供することが可能となる。

【0114】

（４）第４の実施形態
図１６は、本発明の第４の実施形態によるネット受託サービス提供システム１６００の構成を示す機能ブロック図である。ネット受託サービス提供システム１６００は、サーバー等１６０３と、画像取得装置１６０５と、を有している。

【0115】

画像取得装置１６０５は、例えばバーチャルスライド装置やカメラを装備したパソコンのような装置であり、画像データを撮影する撮像部１６０１と、サーバー等１６０３から伝送された識別器を格納する格納部１６０４と、サーバー等１６０３から伝送された識別器を読込んで、画像取得装置１６０５の撮像部１６０１にて新たに撮影した画像内の物体(例えば、組織や細胞等)について、検出すべき物体(例えば、異常組織か異常細胞等)か、検出すべき物体以外(例えば、正常組織か正常細胞等)かを判定する第１及び第２の実施形態による画像処理を行う画像診断支援装置１とを有している。

【0116】

なお、画像取得装置１６０５は、図示されてはいないが、画像データをサーバー等１６０３に送信したり、サーバー等１６０３から送信されてきたデータを受信したりする通信デバイスを有している。

【0117】

サーバー等１６０３は、画像取得装置１６０５から伝送されてきた画像データに対して、本発明の第１や第２の実施形態による画像処理を行う画像診断支援装置１と、画像診断支援装置１から出力された識別器を格納する格納部１６０２と、を有している。なお、サーバー等１６０３は、図示されてはいないが、画像取得装置１６０５から送信されてきた画像データを受信したり、画像取得装置１６０５に識別器を送信したりする通信デバイスを有している。

【0118】

画像診断支援装置１は、撮像部１６０１で撮影した画像データ内の物体(例えば、組織や細胞等)について、検出すべき物体以外(例えば、正常の組織や細胞等)は検出すべき物体以外(正常の組織や細胞等)と判定するように、また、検出すべき物体(例えば、異常の組織や細胞等)は検出すべき物体(例えば、異常の組織や細胞等)と判定するように機械学習を行い、地点の異なる施設等の画像の物体(例えば、組織・細胞等)の特徴量を算出する識別器と学習用画像から作成した特徴量辞書を作成する。

【0119】

格納部１６０４は、サーバー等１６０３から伝送された識別器と特徴量辞書等を格納する。

【0120】

画像取得装置１６０５内の画像診断支援装置１は、格納部１６０４から識別器、特徴量辞書等を読込み、その識別器と特徴量辞書を用いて、画像取得装置１６０５の撮像部１６０１にて新たに撮影した画像内の物体(例えば、組織や細胞等)について、検出すべき物体(例えば、異常組織か異常細胞等)か、検出すべき物体以外(例えば、正常組織か正常細胞等)かを判定し、画像診断支援装置１の出力装置２０４の表示画面に判定結果を表示する。

【0121】

画像取得装置１６０５として、撮影部を有する再生医療装置やｉＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。

【0122】

第４の実施形態によれば、地点の異なる施設等から伝送された画像内の物体(例えば、組織や細胞等)について、検出すべき物体以外(例えば、正常の組織や細胞等)は検出すべき物体以外(例えば、正常の組織や細胞等)と判定するように、また、検出すべき物体(例えば、異常の組織や細胞等)は検出すべき物体(例えば、異常の組織や細胞等)と判定するように機械学習を行って識別器等を作成し、また、学習用画像から特徴量辞書を作成し、識別器と特徴量辞書等を地点の異なる施設等に伝送して、その施設等にある画像取得装置にて識別器と特徴量辞書を読込み、新たに撮影した画像内の物体(例えば、組織や細胞等)について、検出すべき物体(例えば、異常組織か異常細胞等)か、検出すべき物体以外(例えば、正常組織か正常細胞等)かを判定することで、ネット受託サービス提供システムを提供することが可能となる。

【0123】

以上説明した各実施形態については、次のような変形が可能である。例えば、特徴抽出部１１及び識別部１２では、機械学習によりフィルターを用いて複数特徴量を求めたが、ＨＯＧ等の他の特徴量を用いてもよく、同様の効果を有する。

【0124】

識別部１２では、ロジスティック回帰を用いて物体(例えば、組織や細胞等)の特徴量を機械学習したが、線形回帰やポアソン回帰等を用いてもよく、同様の効果を有する。

【0125】

特徴量類似度識別部１３では、マンハッタン距離を用いて最も類似した特徴量を算出したが、ユークリッド距離等を用いてもよく、同様の効果を有する。

【0126】

特徴抽出部１１では、入力画像に対して１つの特徴抽出器を用いて特徴量を算出したが、２つ以上の特徴抽出器を用いて特徴量を算出してもよく、同様の効果を有する。

【0127】

本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

【0128】

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

【0129】

さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

【0130】

最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本技術分野における通常の知識を有する者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

【0131】

さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。

【0132】

加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。

【符号の説明】

【0133】

１……画像診断支援装置、１０……入力部、１１……特徴抽出部、１２……識別部、１３……特徴量類似度識別部、１４……未学習判定部、１５……識別結果判定部、１６……描画部、１７……記録部、２０……識別理由提示部、２６……描画部、９１……制御部、１５００……遠隔診断支援システム、１６００……ネット受託サービス提供システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】