特許 7412279 画像診断方法、画像診断支援装置、及び計算機システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-28

(45)【発行日】2024-01-12

(54)【発明の名称】画像診断方法、画像診断支援装置、及び計算機システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240104BHJP

   G01N 15/14 20240101ALI20240104BHJP

   G01N 33/48 20060101ALI20240104BHJP

【ＦＩ】

G06T7/00 630

G01N15/14 C

G01N33/48 M

【請求項の数】 9

(21)【出願番号】P 2020097112

(22)【出願日】2020-06-03

(65)【公開番号】P2021189960

(43)【公開日】2021-12-13

【審査請求日】2023-02-20

(73)【特許権者】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテク

(73)【特許権者】

【識別番号】000173588

【氏名又は名称】公益財団法人がん研究会

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】服部 英春

(72)【発明者】

【氏名】柿下 容弓

(72)【発明者】

【氏名】内田 憲孝

(72)【発明者】

【氏名】桜井 智也

(72)【発明者】

【氏名】秋山 太

【審査官】小太刀 慶明

(56)【参考文献】

【文献】国際公開第２０１０／０８７１１２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ １５／１４

Ｇ０１Ｎ ３３／４８

(57)【特許請求の範囲】

【請求項1】

画像診断支援装置が実行する画像診断方法であって、
前記画像診断支援装置は、演算装置、記憶装置、及び外部装置と接続するための接続インタフェースを有し、
前記画像診断方法は、
前記演算装置が、前記接続インタフェースを介して、組織及び細胞の少なくともいずれかを要素として含む画像を取得し、前記記憶装置に格納する第１のステップと、
前記演算装置が、前記画像の一部分である部分画像毎に、前記部分画像に含まれる前記要素の性質を識別し、前記識別の結果を前記記憶装置に格納する第２のステップと、
前記演算装置が、複数の前記部分画像の前記識別の結果に基づいて、前記画像を、病変要素が存在しないことを示す良性、病変要素が存在することを示す悪性、及び、経過観察のいずれかに分類し、前記分類の結果を診断結果として前記記憶装置に格納する第３のステップと、
前記演算装置が、前記接続インタフェースを介して、前記診断結果を出力する第４のステップと、
を含み、
前記要素の前記性質は複数存在し、
前記第２のステップは、前記演算装置が、複数の前記性質の各々について前記部分画像に含まれる前記要素が前記性質に該当する程度を示す識別強度を算出し、複数の前記識別強度を含む前記識別の結果を前記記憶装置に格納するステップを含み、
前記第３のステップは、
前記演算装置が、複数の前記部分画像の前記識別の結果に基づいて、複数の前記性質の各々について前記画像における前記性質の識別面積を算出し、複数の前記識別面積を前記記憶装置に格納する第５のステップと、
前記演算装置が、複数の前記識別強度及び閾値の比較結果に基づいて、複数の前記識別面積及び閾値の比較を行い、当該比較の結果に基づいて、前記画像を、前記良性、前記悪性、及び前記経過観察のいずれかに分類する第６のステップと、を含むことを特徴とする画像診断方法。

【請求項2】

請求項１に記載の画像診断方法であって、
前記第４のステップは、前記演算装置が、前記診断結果とともに、前記画像の分類の根拠情報を出力することを特徴とする画像診断方法。

【請求項3】

請求項２に記載の画像診断方法であって、
前記根拠情報は、複数の前記識別面積を示す画像、及び複数の前記識別強度に基づいて算出される、病変らしさの程度を示す値の少なくともいずれかであることを特徴とする画像診断方法。

【請求項4】

演算装置、記憶装置、及び外部装置と接続するための接続インタフェースを備える画像診断支援装置であって、
前記接続インタフェースを介して、組織及び細胞の少なくともいずれかを要素として含む画像を取得する入力部と、
前記画像の一部分である部分画像毎に、前記部分画像に含まれる前記要素の性質を識別し、前記識別の結果を前記記憶装置に格納する識別部と、
複数の前記部分画像の前記識別の結果に基づいて、前記画像を、病変要素が存在しないことを示す良性、病変要素が存在することを示す悪性、及び、経過観察のいずれかに分類し、前記分類の結果を診断結果として前記記憶装置に格納する判定部と、
前記接続インタフェースを介して、前記診断結果を出力する出力部と、を有し、
前記要素の前記性質は複数存在し、
前記識別部は、複数の前記性質の各々について前記部分画像に含まれる前記要素が前記性質に該当する程度を示す識別強度を算出し、複数の前記識別強度を含む前記識別の結果を前記記憶装置に格納し、
前記判定部は、
複数の前記部分画像の前記識別の結果に基づいて、複数の前記性質の各々について前記画像における前記性質の識別面積を算出し、複数の前記識別面積を前記記憶装置に格納し、
複数の前記識別強度及び閾値の比較結果に基づいて、複数の前記識別面積及び閾値の比較を行い、当該比較の結果に基づいて、前記画像を、前記良性、前記悪性、及び前記経過観察のいずれかに分類することを特徴とする画像診断支援装置。

【請求項5】

請求項４に記載の画像診断支援装置であって、
前記出力部は、前記診断結果とともに、前記画像の分類の根拠情報を出力することを特徴とする画像診断支援装置。

【請求項6】

請求項５に記載の画像診断支援装置であって、
前記根拠情報は、複数の前記識別面積を示す画像、及び複数の前記識別強度に基づいて算出される、病変らしさの程度を示す値の少なくともいずれかであることを特徴とする画像診断支援装置。

【請求項7】

請求項４に記載の画像診断支援装置と、処理画像を撮像し、前記画像診断支援装置に送信する計算機と、を備えることを特徴とする計算機システム。

【請求項8】

請求項７に記載の計算機システムであって、
前記画像診断支援装置は、前記計算機から前記処理画像を受信した場合、前記処理画像の前記診断結果を前記計算機に送信することを特徴とする計算機システム。

【請求項9】

請求項７に記載の計算機システムであって、
前記計算機は、前記入力部、前記識別部、前記判定部、及び前記出力部を有し、
前記画像診断支援装置は、前記計算機から前記処理画像を受信した場合、前記処理画像に対して正しい前記診断結果が得られるように、前記部分画像に含まれる前記要素の前記性質を識別する前記識別部を実現するための識別器の情報を生成し、前記計算機に前記識別器の情報を送信し、
前記計算機は、診断用画像を取得し、前記識別器の情報を用いて、前記診断用画像の前記診断結果を出力することを特徴とする計算機システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を用いて特定の組織又は細胞を検出する画像診断方法、装置、及びシステムに関する。

【背景技術】

【0002】

近年、病気の診断においては、病変部組織標本の顕微鏡観察による「病理診断」が重要な位置を占めている。病理診断では、標本作成から診断まで作業の多くを人手に頼っており、自動化が困難である。特に、正確な診断を行うためには能力及び経験が重要な因子であり、診断の精度は病理医の能力に依存する。一方で、高齢化に伴うがん患者の増加などに起因して、医療現場では病理医が不足している。そのため、病理診断を支援する画像処理技術及び遠隔診断等のニーズが増加している。

【0003】

このように、病理診断を支援するための技術として、例えば、特許文献１に記載されているような技術が知られている。特許文献１には、「画像診断支援装置は、標本組織の高倍率の画像データを取得する画像データ取得手段を備えている。また、画像診断支援装置は、画像データ取得手段により取得された高倍率の画像データから低倍率の画像データを生成し、該生成した低倍率の画像データを、複数の病理組織の画像データパターン毎のグループに分類する画像分類手段と、画像分類手段により分類された低倍率の画像データの元となる高倍率の画像データが、分類されたグループの病理組織であるか否かを判定する画像判定手段と、を備えている」ことが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－２０３９４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術では、組織／細胞を含む画像から異常組織／細胞（例えば、悪性であることを示す組織／細胞）及び良性組織／細胞のいずれであるかを判定している。しかし、現状では異常又は良性のいずれであるかを見極めるのが難く、経過観察を行った方がよいケースもある。このようなケースにおいて、異常又は良性のいずれかの判定を行った場合、異常組織／細胞の検出漏れ（悪性の組織／細胞の見逃し）又は異常組織／細胞の誤検出が発生するという課題がある。異常組織／細胞の検出漏れにより、症状の重症化等を引き起こす可能性があり、異常組織／細胞の誤検出により、誤った部位切除等が発生する可能性がある。

【0006】

本発明はこのような状況に鑑みてなされたものであり、組織／細胞を含む画像から悪性及び良性だけでなく、経過観察を診断結果として提示するための技術を提供するものである。

【課題を解決するための手段】

【0007】

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、画像診断支援装置が実行する画像診断方法であって、前記画像診断支援装置は、演算装置、記憶装置、及び外部装置と接続するための接続インタフェースを有し、前記画像診断方法は、前記演算装置が、前記接続インタフェースを介して、組織及び細胞の少なくともいずれかを要素として含む画像を取得し、前記記憶装置に格納する第１のステップと、前記演算装置が、前記画像の一部分である部分画像毎に、前記部分画像に含まれる前記要素の性質を識別し、前記識別の結果を前記記憶装置に格納する第２のステップと、前記演算装置が、複数の前記部分画像の前記識別の結果に基づいて、前記画像を、病変要素が存在しないことを示す良性、病変要素が存在することを示す悪性、及び、経過観察のいずれかに分類し、前記分類の結果を診断結果として前記記憶装置に格納する第３のステップと、前記演算装置が、前記接続インタフェースを介して、前記診断結果を出力する第４のステップと、を含み、前記要素の前記性質は複数存在し、前記第２のステップは、前記演算装置が、複数の前記性質の各々について前記部分画像に含まれる前記要素が前記性質に該当する程度を示す識別強度を算出し、複数の前記識別強度を含む前記識別の結果を前記記憶装置に格納するステップを含み、前記第３のステップは、前記演算装置が、複数の前記部分画像の前記識別の結果に基づいて、複数の前記性質の各々について前記画像における前記性質の識別面積を算出し、複数の前記識別面積を前記記憶装置に格納する第５のステップと、前記演算装置が、複数の前記識別強度及び閾値の比較結果に基づいて、複数の前記識別面積及び閾値の比較を行い、当該比較の結果に基づいて、前記画像を、前記良性、前記悪性、及び前記経過観察のいずれかに分類する第６のステップと、を含む。

【発明の効果】

【0008】

本発明によれば、画像診断支援装置は、画像から、悪性、良性、及び経過観察のいずれかを診断結果として提示することができる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】実施例１の画像診断支援装置１の機能構成の一例を示すブロック図である。

【図2】実施例１の画像診断支援装置１のハードウェア構成の一例を示す図である。

【図3】実施例１の特徴量抽出部及び識別部の具体的な構成を示す図である。

【図4】実施例１の特徴量抽出部の動作を説明する図である。

【図5A】実施例１の識別部の動作を説明する図である。

【図5B】実施例１の識別部の動作を説明する図である。

【図6A】実施例１の描画部によって提示される画面の一例を示す図である。

【図6B】実施例１の描画部によって提示される画面の一例を示す図である。

【図7】実施例１の画像診断支援装置が実行する処理を説明するフローチャートである。

【図8】実施例２の遠隔診断支援システムの構成の一例を示す図である。

【図9】実施例３のネット受託サービス提供システムの構成の一例を示す図である。

【発明を実施するための形態】

【0010】

本発明の実施例は、悪性、良性、及び経過観察のいずれかを診断結果として出力することによって、例えば、がん等の病変の組織／細胞を示す異常組織／細胞の検出漏れ及び誤検出を抑制する画像診断支援装置及びその方法を提供する。

【0011】

以下、添付図面を参照して本発明の実施例について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

【0012】

本実施例では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装／形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成／構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

【0013】

さらに、本発明の実施例は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装してもよいし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装してもよい。

【0014】

以下では「プログラムとしての各処理部（例えば、特徴量抽出部等）」を主語（動作主体）として本発明の実施形態における各処理について説明を行うが、プログラムは、プロセッサ及びＣＰＵ等の演算装置によって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、演算装置を主語とした説明としてもよい。

【実施例1】

【0015】

図１は、実施例１の画像診断支援装置１の機能構成の一例を示すブロック図である。

【0016】

画像診断支援装置１は、入力部１００、特徴量抽出部１０１、識別部１０２、経過観察判定部１０３、描画部１０４、記録部１０５、及び制御部１０６を有する。

【0017】

入力部１００、特徴量抽出部１０１、識別部１０２、経過観察判定部１０３、描画部１０４、記録部１０５、及び制御部１０６は、プログラムによって実現されてもよいし、モジュール化して実現されてもよい。

【0018】

入力部１００は、画像の入力を受け付ける。例えば、入力部１００は、顕微鏡にビルトインされたカメラ等の撮像手段が、所定間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像等を、入力画像として受け付けてもよい。また、入力部１００は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像から、所定間隔のフレームの静止画像を抜き出して、当該静止画像を入力画像として受け付けてもよい。また、入力部１００は、撮像手段がバス又はネットワーク等を介して取得した画像を入力画像として受け付けもよい。また、入力部１００は、脱着可能な記録媒体に記憶された画像を入力画像として受け付けてもよい。

【0019】

特徴量抽出部１０１は、副記憶装置２０３に格納されるアルゴリズム（モデル）の定義情報を取得し、当該アルゴリズムを用いて、組織／細胞を含む画像（入力画像）の一部である部分画像から、組織／細胞に関する特徴量を抽出する。

【0020】

識別部１０２は、副記憶装置２０３に格納されるアルゴリズム（モデル）の定義情報を取得し、当該アルゴリズム及び特徴量を用いて、入力画像の各部分画像に対して、正常組織／細胞（例えば、良性の組織／細胞等）らしさを表す識別強度と異常組織／細胞（例えば、悪性の組織／細胞等）らしさを表す識別強度を算出する。すなわち、組織／細胞がある性質に該当する程度を示す値が算出される。また、識別部１０２は、各識別強度に基づいて、各部分画像の良性及び悪性のいずれかの識別結果を出力する。

【0021】

経過観察判定部１０３は、各部分画像の識別結果に基づいて、入力画像における各識別結果の面積（識別面積）を算出する。また、経過観察判定部１０３は、各部分画像の各識別強度及び識別面積に基づいて、入力画像を、悪性、良性、及び経過観察のいずれかに分類する。

【0022】

描画部１０４は、識別部１０２によって算出された各識別結果の識別強度の分布を表す画像を表示する。描画部１０４は、例えば、各識別結果に対応した色分けを行った入力画像を表示する。また、描画部１０４は、経過観察判定部１０３の分類結果（診断結果）を表示する。

【0023】

記録部１０５は、描画部１０４が表示した画像及び診断結果を副記憶装置２０３（図２参照）に保存する。

【0024】

制御部１０６は、画像診断支援装置１全体を制御する。制御部１０６は、入力部１００、特徴量抽出部１０１、識別部１０２、経過観察判定部１０３、描画部１０４、及び記録部１０５と接続する。画像診断支援装置１の各機能部は、自律的に動作し、又は制御部１０６の指示により動作する。

【0025】

実施例１の画像診断支援装置１は、特徴量抽出部１０１を用いて、入力画像に含まれる組織／細胞の異常らしさを示す特徴量を抽出し、識別部１０２を用いて、入力画像に関して、組織／細胞の正常らしさ及び異常らしさの程度を示す識別強度を算出する。さらに、画像診断支援装置１は、経過観察判定部１０３を用いて、各識別結果（正常及び異常）の識別面積を算出し、各部分画像の識別結果の識別強度及び識別面積を用いて、悪性、良性、及び経過観察のいずれかをクラスに分類する。

【0026】

なお、画像診断支援装置１が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。例えば、識別部１０２に特徴量抽出部１０１を含めてもよい。

【0027】

なお、画像診断支援装置１は、装置としてではなく、機能として実装することもできる。この場合、当該機能は、バーチャルスライド等の組織／細胞画像取得装置に実装されてもよいし、実施例２及び実施例３で説明するように、組織／細胞画像取得装置とネットワークを介して接続されるサーバに実装されてもよい。

【0028】

図２は、実施例１の画像診断支援装置１のハードウェア構成の一例を示す図である。

【0029】

画像診断支援装置１は、ＣＰＵ２０１、主記憶装置２０２、副記憶装置２０３、出力装置２０４、入力装置２０５、通信装置２０６を有する。前述した各ハードウェアは、バス２０７を介して相互に接続される。

【0030】

ＣＰＵ２０１は、演算装置の一例であり、必要に応じて主記憶装置２０２からプログラムを読み出し、プログラムを実行する。

【0031】

主記憶装置２０２は、メモリ等の記憶装置であり、入力部１００、特徴量抽出部１０１、識別部１０２、経過観察判定部１０３、描画部１０４、記録部１０５、及び制御部１０６を実現するプログラムを格納する。また、主記憶装置２０２は、プログラムが一時的に使用するワークエリアを含む。

【0032】

副記憶装置２０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置であり、永続的にデータを格納する。実施例１の副記憶装置２０３は、入力画像、識別部１０２によって出力された入力画像の各部分画像の識別結果及び識別強度、経過観察判定部１０３によって出力された各識別結果の識別面積及び診断結果、並びに、描画部１０４によって生成された画像（識別強度を描画するための識別強度の数値と位置情報）を格納する。また、副記憶装置２０３は、特徴量抽出部１０１及び識別部１０２が使用するアルゴリズムの情報等を格納する。

【0033】

出力装置２０４は、ディスプレイ、プリンタ、及びスピーカ等のデバイスで構成される。例えば、出力装置２０４は、描画部１０４によって生成された表示データをディスプレイに表示する。

【0034】

入力装置２０５は、キーボード、マウス、及びマイク等のデバイスで構成される。ユーザは、入力装置２０５を用いて、入力画像の決定及びパラメータの設定等の各種指示を画像診断支援装置１に入力する。

【0035】

通信装置２０６は、ネットワークを介して他の装置と通信する。例えば、通信装置２０６は、サーバ等、ネットワークを介して接続される装置から送信された、画像等のデータを受信し、副記憶装置２０３に格納する。なお、通信装置２０６は、画像診断支援装置１の必須の構成ではない。例えば、画像取得装置に接続された計算機等に通信装置が含まれる場合、画像診断支援装置１は通信装置２０６を有していなくてもよい。

【0036】

次に、画像診断支援装置１が有する機能部の詳細を説明する。

【0037】

図３は、実施例１の特徴量抽出部１０１及び識別部１０２の具体的な構成を示す図である。図４は、実施例１の特徴量抽出部１０１の動作を説明する図である。図５Ａ及び図５Ｂは、実施例１の識別部１０２の動作を説明する図である。図６Ａ及び図６Ｂは、実施例１の描画部１０４によって提示される画面の一例を示す図である。

【0038】

まず、特徴量抽出部１０１について説明する。

【0039】

特徴量抽出部１０１は、入力画像の特徴量を抽出する。特徴量抽出部１０１は、図３に示すように、Ｎ層のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の識別器を用いて、入力画像に含まれる組織／細胞の特徴量を算出する。識別器は、特徴量を算出して画像内の物体を識別する。

【0040】

例えば、特徴量抽出部１０１は、図４に示すように、式（１）のような演算処理を行うＣＮＮを用いて、入力画像の左上から右下に対してフィルタｉを移動させて、フィルタｉの特徴量ｆｉを算出する。特徴量抽出部１０１は、特徴量ｆｉの行列を、入力画像に含まれる組織／細胞の特徴量ＦＡｉとして算出する。

【0041】

【数1】

【0042】

ここで、式（１）のｗｊは示すフィルタ係数を表し、ｐｊは画素値を表し、ｂｉはオフセット値を表し、ｍはフィルタ係数の数を表し、ｈは非線形関数を表す。フィルタ係数ｗｊは、識別器の係数であり、正常組織／細胞及び異常組織／細胞を識別できるように、公知の機械学習の技術を用いて算出される。副記憶装置２０３には、フィルタ係数ｗｊ及びオフセット値ｂｉ等のパラメータ等が格納される。

【0043】

次に、識別部１０２について説明する。

【0044】

識別部１０２は、特徴量抽出部１０１によって算出された特徴量ＦＡｉから構成される行列ｆを用いたロジスティック回帰処理を実行して、病変らしさを示す値（識別強度）を算出する。

【0045】

識別部１０２は、例えば、式（２）に基づいて、各識別結果の識別強度ｙを算出する。すなわち、識別部１０２は、図３に示すように、各識別結果の識別強度に基づいて、部分画像に含まれる組織／細胞が正常又は異常のいずれであるかを識別し、識別結果を出力する。ここでは、識別強度が大きい識別結果が採用される。

【0046】

【数2】

【0047】

ここで、式（２）のｗは重みの行列を表し、ｂはオフセット値を表し、ｇは非線形関数を表し、ｙは識別結果の識別強度を表す。重みの行列ｗ及びオフセット値ｂは、公知の機械学習の技術を用いて算出される。例えば、機械学習の技術としてＣＮＮを用いてもよい。副記憶装置２０３には、重みの行列ｗ及びオフセット値ｂ等のパラメータ等が格納される。

【0048】

次に、経過観察判定部１０３について説明する。

【0049】

経過観察判定部１０３は、識別部１０２が出力した各部分画像の識別結果に基づいて、図５Ａ及び図５Ｂに示すように、入力画像における各識別結果の識別面積を算出する。図５Ａ及び図５Ｂでは、識別結果「正常」の部分を白色で示し、識別結果「異常」の部分を斜線で表示している。

【0050】

例えば、経過観察判定部１０３は、入力画像の各色の総数（例えば、画素数）から識別面積を算出する。又は、経過観察判定部１０３は、入力画像から組織領域を検出し、その組織領域の各色の総数（例えば、画素数）から識別面積を算出する。

【0051】

また、経過観察判定部１０３は、複数の部分画像の各識別結果の識別強度ｙを用いて、入力画像に対する病変らしさ（ＨＥ）の値を算出する。病変らしさの値は０から１の間の実数である。

【0052】

経過観察判定部１０３は、各識別結果の識別領域に関する判定条件に基づいて、入力画像が悪性、良性、及び経過観察のいずれかのクラスに該当するかを判定する。

【0053】

例えば、以下のような判定処理が考えられる。

【0054】

（Ｓｔｅｐ０）経過観察判定部１０３は、識別結果「異常」の識別強度がＡ１以上の領域が存在するか否かを判定する。前述の判定条件を満たす場合、経過観察判定部１０３は、入力画像のクラスを「悪性」と判定する。前述の判定条件を満たさない場合、経過観察判定部１０３は、Ｓｔｅｐ１に進む。

【0055】

（Ｓｔｅｐ１）経過観察判定部１０３は、識別結果「異常」の識別強度がＡ１より小さくかつＡ２以上の識別面積がＢ１％未満であるか否かを判定する。前述の判定条件を満たす場合、経過観察判定部１０３は入力画像のクラスを「良性」と判定する。前述の判定条件を満たさない場合、経過観察判定部１０３は、Ｓｔｅｐ２に進む。

【0056】

（Ｓｔｅｐ２）経過観察判定部１０３は、識別結果「異常」の識別強度がＡ１より小さくかつＡ２以上の識別面積がＢ１％以上かつＢ２％未満であるか否かを判定する。前述の判定条件を満たす場合、経過観察判定部１０３は入力画像のクラスを「経過観察」と判定する。前述の判定条件を満たさない場合、経過観察判定部１０３は、Ｓｔｅｐ３に進む。

【0057】

（Ｓｔｅｐ３）経過観察判定部１０３は、識別結果「異常」の識別強度がＡ１より小さくかつＡ２以上の識別面積がＢ２％以上の場合、入力画像のクラスを「悪性」と判定する。

【0058】

Ａ１、Ａ２、Ｂ１、Ｂ２は、予め設定された閾値である。Ａ１及びＡ２は、例えば、０．８及び０．５等の値であり、また、Ｂ１及びＢ２は、例えば５又は１０等の値である。図５Ａの例では、上記の判定処理を実行した場合、入力画像のクラスは「悪性」と判定される。図５Ｂに示す例では、上記の判定処理を実行した場合、入力画像のクラスは「経過観察」と判定される。

【0059】

このように、実施例１の画像診断支援装置１は、識別結果の識別強度及び識別結果の面積を考慮した判定を実行することによって、「良性」及び「悪性」だけではなく、「経過観察」の分類が可能となる。

【0060】

次に、描画部１０４について説明する。

【0061】

描画部１０４は、根拠とともに診断結果を提示する。例えば、描画部１０４は、図６Ａに示すようなＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）６００を用いて診断結果を提示する。図６Ａは、乳房の画像が入力された場合に診断結果を提示するＧＵＩを示す図である。

【0062】

ＧＵＩ６００は、診断結果分類欄６０１、表示欄６０２、画像ボタン６０３、及び診断結果提示欄６０４を含む。診断結果分類欄６０１は、診断結果として出力するクラスを表示する欄である。診断結果分類欄６０１の各クラスのアイコンの内、該当するクラスが強調表示される。表示欄６０２は、識別部１０２によって算出された病変らしさの値を表示する欄である。画像ボタン６０３は、画像を表示するための操作ボタンである。診断結果提示欄６０４は、経過観察判定部１０３によって出力された診断結果を表示する欄である。

【0063】

図５Ｂに示すように、乳房の画像に悪性の組織／細胞（異常組織／細胞）がほとんど含まれていないため、経過観察判定部１０３によって診断結果が「経過観察」に分類され、また、分類の根拠として病変らしさの値を提示している。病変らしさの値は小さい値（０．０８）となっている。

【0064】

画像ボタン６０３が操作された場合、描画部１０４は、図６Ｂに示すようなＧＵＩ６１０を提示する。ＧＵＩ６１０には、識別結果が「異常」の領域と、識別結果が「正常」の領域とを示すために、識別結果に基づいて色分けされた入力画像が表示される。図６Ｂでは、斜線の領域は識別結果が「異常」の領域を示し、白色の領域は識別結果が「正常」の領域を示す。また、入力画像には、診断結果が重畳して表示される。図６Ｂでは、色分けされた入力画像が分類の根拠として提示される。

【0065】

次に、記録部１０５について説明する。

【0066】

記録部１０５は、入力画像、各識別結果の識別強度、診断結果、及び描画部１０４が各識別結果に応じて色分けされた入力画像を描画するための座標情報等を副記憶装置２０３に保存する。

【0067】

以上が、画像診断支援装置１が有する機能部の説明である。次に、画像診断支援装置１が実行する処理について説明する。

【0068】

図７は、実施例１の画像診断支援装置１が実行する処理を説明するフローチャートである。以下では、画像診断支援装置１の各処理部を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えてもよい。

【0069】

画像診断支援装置１は、入力画像を受け付けた場合、以下で説明する処理を開始する。

【0070】

入力部１００は、入力画像を特徴量抽出部１０１に入力する（ステップＳ７０１）。

【0071】

特徴量抽出部１０１は、副記憶装置２０３に格納される識別器の定義情報を取得し、当該識別器の定義情報を用いて入力画像の部分画像の特徴量ＦＡｉを算出する（ステップＳ７０２）。

【0072】

具体的には、特徴量抽出部１０１は、副記憶装置２０３からフィルタ係数ｗｊ及びオフセット値ｂｉ等のパラメータを取得し、式（１）を用いて特徴量ＦＡｉを算出する。

【0073】

識別部１０２は、副記憶装置２０３に格納される識別器の定義情報を取得し、当該識別器の定義情報及び特徴量ＦＡｉから構成される行列ｆを用いて、部分画像の識別結果の識別強度ｙを算出する（ステップＳ７０３）。

【0074】

具体的には、識別部１０２は、副記憶装置２０３から重みの行列ｗ及びオフセット値ｂ等のパラメータを取得し、式（２）を用いて、部分画像の識別結果の識別強度ｙを算出する。

【0075】

識別部１０２は、識別強度ｙと閾値Ｔｈ１の比較結果に基づいて、部分画像に含まれる組織／細胞が正常及び異常のいずれであるかを判定する（ステップＳ７０４）。

【0076】

具体的には、識別部１０２は、識別強度ｙが閾値Ｔｈ１以上であるか否かを判定する。

【0077】

識別強度ｙが閾値Ｔｈ１以上である場合、識別部１０２は、識別結果ｒｅｓに異常組織／細胞を示す値（例えば、１）を設定し（ステップＳ７０５）、その後、ステップＳ７０７に進む。識別強度ｙが閾値Ｔｈ１より小さい場合、識別部１０２は、識別結果ｒｅｓに正常組織／細胞を示す値（例えば、０）を設定し（ステップＳ７０６）、その後、ステップＳ７０７に進む。

【0078】

識別部１０２は、入力画像の全ての部分画像の識別が完了したか否かを判定する（ステップＳ７０７）。

【0079】

入力画像の全ての部分画像の識別が完了していない場合、識別部１０２は、特徴量抽出部１０１を呼び出し、ステップＳ７０２に移行する。入力画像の全ての部分画像の識別が完了した場合、識別部１０２は、経過観察判定部１０３を呼び出し、ステップＳ７０８に移行する。

【0080】

経過観察判定部１０３は、複数の部分画像の識別結果に基づいて、各識別結果の識別面積を算出し、各識別結果の識別強度及び識別面積を用いて、入力画像を分類する（ステップＳ７０８）。

【0081】

具体的には、経過観察判定部１０３は、前述した判定処理を実行することによって、入力画像を良性、悪性、及び経過観察のいずれかのクラスに分類する。また、経過観察判定部１０３は、各識別結果の識別強度に基づいて病変らしさの値を算出する。

【0082】

描画部１０４は、診断結果を提示する（ステップＳ７０９）。

【0083】

具体的には、描画部１０４は、図５Ａ及び図５Ｂに示すような、診断結果とともに、分類根拠として各識別結果に基づいて色分けされた入力画像を表示する。例えば、描画部１０４は、「異常」と識別された領域を斜線で表示し、「正常」と識別された領域を白で表示する。また、描画部１０４は、図６Ａに示すように、診断結果とともに、分類根拠として病変らしさの値を表示する。

【0084】

記録部１０５は、入力画像、各識別結果の識別強度、診断結果、及び各識別結果に応じて色分けされた入力画像を描画するための座標情報等を副記憶装置２０３に保存する（ステップＳ７１０）。

【0085】

以上で説明したように、実施例１によれば、画像診断支援装置１は、各識別結果の識別強度及び識別面積に基づいて、入力画像を良性、悪性、及び経過観察のいずれかに分類することができる。これによって、良性及び悪性の誤った分類によって発生する病変の誤検出及び過検出を抑制できる。

【実施例2】

【0086】

実施例２では、実施例１で説明した画像診断支援装置１を利用したシステムについて説明する。

【0087】

図８は、実施例２の遠隔診断支援システム８００の構成の一例を示す図である。

【0088】

遠隔診断支援システム８００は、画像取得装置を有するサーバ８０１及び画像診断支援装置１の機能を有するサーバ８０２を含む。二つのサーバ８０１、８０２は、物理的に離れた地点に設置されており、ネットワーク８０３を介して互いに接続される。ネットワーク８０３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）及びＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等であり、接続方式は有線及び無線のいずれでもよい。

【0089】

サーバ８０１は、バーチャルスライド装置及びカメラ等の画像取得装置を搭載した計算機である。サーバ８０１は、画像を撮影する撮像部８１１、及びサーバ８０２から送信される診断結果を表示する表示部８１２を有する。

【0090】

なお、サーバ８０１は、図示しない、演算装置、記憶装置、及び、サーバ８０２への画像の送信及びサーバ８０２からのデータの受信を行う通信装置を有する。

【0091】

サーバ８０２は、実施例１の画像診断支援装置１と同様の画像処理を実行する計算機である。サーバ８０２は、サーバ８０１が送信した画像に対して、実施例１の画像処理を実行する画像診断支援部８２１、画像診断支援部８２１から出力された診断結果を格納する格納部８２２、画像診断支援部８２１から出力された診断結果を表示する表示部８２３を有する。

【0092】

なお、サーバ８０２は、図示しない、演算装置、記憶装置、及び、サーバ８０１への診断結果の送信及びサーバ８０１からの画像の受信を行う通信装置を有する。なお、サーバ８０２は、画像診断支援装置１と同等のハードウェアとして画像診断支援部８２１を搭載してもよいし、プログラムとして画像診断支援部８２１を搭載してもよい。

【0093】

画像診断支援部８２１は、撮像部８１１によって撮影された画像について、がん等の異常組織／細胞の有無を識別する。また、画像診断支援部８２１は、入力画像の特徴量を用いた識別結果を用いて、異常組織／細胞の進行度（識別強度）に応じた病変らしさの分類を行う。また、画像診断支援部８２１は、各識別結果の識別強度及び識別面積を用いて、入力画像を良性、悪性、及び経過観察のいずれかに分類し、診断結果として出力する。

【0094】

表示部８１２、８２３は、サーバ８０１、８０２に接続される画面に、入力画像の識別結果及び診断結果等を表示する。

【0095】

なお、画像取得装置は、撮影部を有する再生医療装置及びｉＰＳ細胞の培養装置、又はＭＲＩ及び超音波画像撮像装置等を用いてもよい。

【0096】

実施例２によれば、ある地点に設置される計算機（又はシステム）が、異なる地点の施設等から送信された画像を良性、悪性、及び経過観察のいずれかに分類し、診断結果を異なる地点の施設等に送信できる。これによって、画像を送信した施設等に含まれる計算機が診断結果を表示できる。このように、実施例２によれば、遠隔診断支援システムを提供することが可能となる。

【実施例3】

【0097】

実施例３では、実施例１で説明した画像診断支援装置１を利用したシステムについて説明する。

【0098】

図９は、実施例３のネット受託サービス提供システム９００の構成の一例を示す図である。

【0099】

ネット受託サービス提供システム９００は、画像取得装置を有するサーバ９０１及び画像診断支援装置１の機能を有するサーバ９０２を含む。二つのサーバ９０１、９０２は、物理的に離れた地点に設置されており、ネットワーク９０３を介して互いに接続される。ネットワーク９０３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）及びＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等であり、接続方式は有線及び無線のいずれでもよい。

【0100】

サーバ９０１は、バーチャルスライド装置及びカメラ等の画像取得装置を搭載した計算機である。サーバ９０１は、画像を撮影する撮像部９１１、サーバ９０２から送信される識別器情報を格納する格納部９１２、及び識別器情報を用いて、撮像部９１１が新たに撮影した画像に対して実施例１の画像処理を実行する画像診断支援部９１３を有する。

【0101】

なお、サーバ９０１は、図示しない、演算装置、記憶装置、及び、サーバ９０２への画像の送信及びサーバ９０２からの識別器情報の受信を行う通信装置を有する。なお、サーバ９０１は、画像診断支援装置１と同等のハードウェアとして画像診断支援部９１３を搭載してもよいし、プログラムとして画像診断支援部９１３を搭載してもよい。

【0102】

サーバ９０２は、実施例１の画像診断支援装置１と同様の画像処理を実行する計算機である。サーバ９０２は、実施例１の画像処理を実行する画像診断支援部９２１、及び画像診断支援部９２１から出力された識別器情報を格納する格納部９２２を有する。

【0103】

なお、サーバ９０２は、図示しない、演算装置、記憶装置、及び、サーバ９０１への識別器情報の送信及びサーバ９０１からの画像の受信を行う通信装置を有する。なお、サーバ９０２は、画像診断支援装置１と同等のハードウェアとして画像診断支援部９２１を搭載してもよいし、プログラムとして画像診断支援部９２１を搭載してもよい。

【0104】

サーバ９０２は、撮像部９１１によって撮影された画像に対して実施例１の画像処理を実行して、正常組織／細胞及び異常組織／細胞を正しく識別するための識別器（モデル）を生成するための機械学習を実行する。ここで、識別器は、特徴量抽出部１０１及び識別部１０２を含む。サーバ９０２は、識別器の定義情報である識別器情報を、異なる地点の施設等に設置されたサーバ９０１に送信する。

【0105】

サーバ９０１は、実際の診断を行う場合、格納部９１２から識別器情報を呼び出し、当該識別器情報にて定義される識別器を用いて、撮像部９１１によって撮影された画像への識別処理と分類処理を実行する。

【0106】

なお、画像取得装置は、撮影部を有する再生医療装置及びｉＰＳ細胞の培養装置、又はＭＲＩ及び超音波画像撮像装置等を用いてもよい。

【0107】

なお、サーバ９０２は、画像診断支援部９２１を用いて、予め、特性が異なる画像を用いて複数回学習処理を実行し、複数の識別器情報を格納部９２２に格納してもよい。サーバ９０２は、サーバ９０１から画像を受信した場合、各識別器を設定した画像診断支援部９２１を用いて識別処理と分類処理を実行し、最も精度のよい識別器の識別器情報をサーバ９０１に送信する。

【0108】

実施例３によれば、ある地点に設置された計算機（又はシステム）が、異なる地点の施設等から送信された画像を用いて識別器を生成し、識別器の情報を異なる地点の施設等に送信できる。これによって、画像を送信した施設等に含まれる計算機が、新たな画像に対して良性、悪性、及び経過観察のいずれかの診断結果を出力することができる。このように、実施例３によれば、ネット受託サービス提供システムを適用することが可能となる。

【0109】

以上で説明した各実施例については、次のような変形が可能である。

【0110】

特徴量抽出部１０１は、機械学習により生成されたフィルタ（ＣＮＮ等）を用いて特徴量を算出していたが、ＨＯＧ等の他の特徴量を用いてもよく、同様の効果を有する。

【0111】

特徴量抽出部１０１は、入力画像に対して一つの識別器を用いて特徴量を算出したが、二つ以上の識別器を用いて特徴量を算出してもよく、同様の効果を有する。

【0112】

識別部１０２は、ロジスティック回帰処理を実行して、組織／細胞を識別していたが、線形回帰及びポアソン回帰等を用いてもよく、同様の効果を有する。

【0113】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。

【0114】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

【0115】

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｐｙｔｈｏｎ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

【0116】

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

【0117】

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

【符号の説明】

【0118】

１ 画像診断支援装置
１００ 入力部
１０１ 特徴量抽出部
１０２ 識別部
１０３ 経過観察判定部
１０４ 描画部
１０５ 記録部
１０６ 制御部
２０１ ＣＰＵ
２０２ 主記憶装置
２０３ 副記憶装置
２０４ 出力装置
２０５ 入力装置
２０６ 通信装置
２０７ バス
６００、６１０ ＧＵＩ
８００ 遠隔診断支援システム
８０１、８０２ サーバ
８０３ ネットワーク
８１１ 撮像部
８１２、８２３ 表示部
８２１ 画像診断支援部
８２２ 格納部
９００ ネット受託サービス提供システム
９０１、９０２ サーバ
９０３ ネットワーク
９１１ 撮像部
９１２、９２２ 格納部
９１３、９２１ 画像診断支援部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】

【図9】