特許 5780306 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5780306

(24)【登録日】2015年7月24日

(45)【発行日】2015年9月16日

(54)【発明の名称】情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム

(51)【国際特許分類】

   G01N 33/48 20060101AFI20150827BHJP

   G01N 21/27 20060101ALI20150827BHJP

   G06T 1/00 20060101ALI20150827BHJP

【ＦＩ】

   G01N33/48 M

   G01N21/27 A

   G06T1/00 295

【請求項の数】16

【全頁数】34

(21)【出願番号】特願2013-528922(P2013-528922)

(86)(22)【出願日】2012年8月17日

(86)【国際出願番号】JP2012005182

(87)【国際公開番号】WO2013024600

(87)【国際公開日】20130221

【審査請求日】2014年2月7日

(31)【優先権主張番号】特願2011-179094(P2011-179094)

(32)【優先日】2011年8月18日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】吉原 慶子

(72)【発明者】

【氏名】喜友名 朝春

(72)【発明者】

【氏名】佐野 亨

(72)【発明者】

【氏名】上條 憲一

【審査官】 黒田 浩一

(56)【参考文献】

【文献】 特開２００９−１８０５３９（ＪＰ，Ａ）

【文献】 特開２００９−１６０２０５（ＪＰ，Ａ）

【文献】 特表２０１０−５００５７１（ＪＰ，Ａ）

【文献】 特開２００６−３１４７０４（ＪＰ，Ａ）

【文献】 特開２０１０−２８１６３７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ３３／００−３３／９８

Ａ６１Ｂ １／００−１６／００

(57)【特許請求の範囲】

【請求項1】

生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成手段と、
前記領域生成手段が生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成手段と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記特徴量は、癌細胞の分化の程度を表わす分化度と、癌細胞の病理組織学的悪性度評価であるグレードと、細胞核の大きさや形状による評価である核異型度と、腺管形成の程度を表わす構造異型度と、細胞核の核分裂の数／割合と、粘膜や腺から分泌される粘液の度合いと、印環細胞癌の可能性と、そのいずれかの組み合わせと、を含むことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記オーバーレイ用画像生成手段は、前記特徴量の大小関係が識別可能な画像として、色の色相が異なる画像または色の輝度が異なる画像または注目度の異なる模様の画像を前記領域に割り当てることを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記オーバーレイ用画像生成手段は、前記特徴量が複数の場合に、異なる前記特徴量に対して異なる色または異なる模様を割り当てることを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記領域生成手段は、前記組織標本画像が有する３つの特徴量の各々を前記特徴量の大小に基づいて複数レベルに分けて、前記複数レベルの各レベルに属する前記組織標本画像上の領域を生成し、
前記オーバーレイ用画像生成手段は、３つの前記特徴量に対して光の三原色の１つをそれぞれ割り当て、３つの前記オーバーレイ用画像を生成することを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記３つの特徴量は、細胞核の核異型度と、腺管の構造異型度と、分泌される粘液の度合いと、であることを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記組織標本画像を、ネットワークを介して受信する組織標本画像受信手段と、
前記オーバーレイ用画像生成手段が生成した前記オーバーレイ用画像を、ネットワークを介して送信するオーバーレイ用画像送信手段と、
をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。

【請求項8】

前記少なくとも１つの特徴量を選択する特徴量選択手段をさらに備え、
前記領域生成手段は、前記選択された特徴量を前記特徴量の大小に基づいて複数レベルに分けて、前記複数レベルの各レベルに属する前記組織標本画像上の領域を生成し、
前記オーバーレイ用画像生成手段は、前記選択された特徴量にそれぞれ対応するオーバーレイ用画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

前記組織標本画像を特定する特定情報を受信する特定情報受信手段をさらに備え、
前記特徴量選択手段は、受信した前記特定情報に基づいて前記少なくとも１つの特徴量を選択することを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記特徴量の大小を識別可能な画像を含む割り当て画像を選択する画像選択手段をさらに備え、
前記オーバーレイ用画像生成手段は、前記領域生成手段が生成した各レベルの前記領域に前記選択された割り当て画像の各画像を割り当てることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。

【請求項11】

前記領域の選択指示に応答して、前記選択指示で選択された領域の特徴量に応じた前記組織標本画像の倍率を選択する倍率選択手段と、
前記倍率選択手段が選択した倍率を前記領域に対応付けてネットワークを介して送信する倍率送信手段と、
をさらに備えることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記組織標本画像は複数の組織標本画像を含み、
前記オーバーレイ用画像生成手段は、同じ特徴量の同じレベルを有する領域には同じ画像を割り当てることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。

【請求項13】

生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
を含むことを特徴とする情報処理装置の制御方法。

【請求項14】

生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御プログラムであって、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。

【請求項15】

生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記撮像した組織標本画像を入力する入力手段と、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成手段と、
前記領域生成手段が生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応づけたオーバーレイ用画像を生成するオーバーレイ用画像生成手段と、
前記オーバーレイ用画像生成手段が生成した前記オーバーレイ用画像を前記組織標本画像に重畳して表示する重畳表示手段と、
を備えることを特徴とする情報処理システム。

【請求項16】

生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記撮像した組織標本画像を入力する入力ステップと、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
前記オーバーレイ用画像生成ステップにおいて生成した前記オーバーレイ用画像を前記組織標本画像に重畳して表示する重畳表示ステップと、
を含むことを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体組織を撮像した組織標本画像に基づく診断を支援する情報処理技術に関する。

【背景技術】

【0002】

上記技術分野において、特許文献１に示されているように、印環細胞の核の形状の判別を容易にするため、印環細胞核の長手方向の角度を色分け表示する技術が知られている。また、特許文献２には、組織標本画像を格子状の領域に分割して各区分領域の重要度を求めて表示する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−１８０５３９号公報

【特許文献2】特開２０１０−２８１６３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記文献に記載の技術では、病理医が組織標本画像を観察しながら、病理診断の対象となる特徴量がどんなレベルでどの範囲に分布しているかを一目で判断できなかった。

【0005】

本発明の目的は、上述の課題を解決する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る装置は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成手段と、
前記領域生成手段が生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成手段と、
を備えることを特徴とする。

【0007】

上記目的を達成するため、本発明に係る方法は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
を含むことを特徴とする。

【0008】

上記目的を達成するため、本発明に係るプログラムは、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御プログラムであって、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
をコンピュータに実行させることを特徴とする。

【0009】

上記目的を達成するため、本発明に係るシステムは、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記撮像した組織標本画像を入力する入力手段と、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成手段と、
前記領域生成手段が生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応づけたオーバーレイ用画像を生成するオーバーレイ用画像生成手段と、
前記オーバーレイ用画像生成手段が生成した前記オーバーレイ用画像を前記組織標本画像に重畳して表示する重畳表示手段と、
を備えることを特徴とする。

【0010】

上記目的を達成するため、本発明に係る方法は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記撮像した組織標本画像を入力する入力ステップと、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
前記オーバーレイ用画像生成ステップにおいて生成した前記オーバーレイ用画像を前記組織標本画像に重畳して表示する重畳表示ステップと、
を含むことを特徴とする。

【発明の効果】

【0011】

本発明によれば、病理医が組織標本画像を観察しながら、病理診断の対象となる特徴量がどんなレベルでどの範囲に分布しているかを一目で判断できる。

【図面の簡単な説明】

【0012】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0013】

【図1】本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。

【図2】本発明の第２実施形態に係る情報処理システムの構成を示すブロック図である。

【図3A】本発明の第２実施形態に係る組織標本画像の表示を示す図である。

【図3B】本発明の第２実施形態に係るオーバーレイ用画像の表示を示す図である。

【図3C】本発明の第２実施形態に係るオーバーレイ用画像を重畳した組織標本画像の表示を示す図である。

【図3D】本発明の第２実施形態に係る組織標本画像およびオーバーレイ用画像を重畳した組織標本画像の表示を示す図である。

【図4A】本発明の第２実施形態に係る特徴量用ＤＢの構成例を示す図である。

【図4B】本発明の第２実施形態に係る特徴量用ＤＢの構成例を示す図である。

【図4C】本発明の第２実施形態に係る特徴量用ＤＢの構成例を示す図である。

【図4D】本発明の第２実施形態に係る特徴量用ＤＢの構成例を示す図である。

【図4E】本発明の第２実施形態に係る特徴量用ＤＢの構成例を示す図である。

【図5】本発明の第２実施形態に係るレベル分割用ＤＢの構成を示す図である。

【図6】本発明の第２実施形態に係る割り当て画像用ＤＢの構成を示す図である。

【図7A】本発明の第２実施形態に係る領域情報の一例を示す図である。

【図7B】本発明の第２実施形態に係る領域情報の他例を示す図である。

【図7C】本発明の第２実施形態に係る領域情報のさらに他例を示す図である。

【図8A】本発明の第２実施形態に係るオーバーレイ用画像情報の一例を示す図である。

【図8B】本発明の第２実施形態に係るオーバーレイ用画像情報の他例を示す図である。

【図9】本発明の第２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。

【図10】本発明の第２実施形態に係る情報処理装置の処理手順を示すフローチャートである。

【図11】本発明の第３実施形態に係る情報処理システムの構成を示すブロック図である。

【図12】本発明の第３実施形態に係る割り当て画像用ＤＢの構成を示す図である。

【図13】本発明の第３実施形態に係るオーバーレイ用画像情報を示す図である。

【図14】本発明の第４実施形態に係る情報処理システムの構成を示すブロック図である。

【図15】本発明の第４実施形態に係る特徴量およびレベル画像を選択する画面を示す図である。

【図16】本発明の第４実施形態に係る情報処理システムの動作手順を示すシーケンス図である。

【図17】本発明の第４実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。

【図18】本発明の第４実施形態に係る情報処理装置の処理手順を示すフローチャートである。

【図19】本発明の第５実施形態に係る情報処理システムの構成を示すブロック図である。

【図20】本発明の第５実施形態に係る組織標本画像を特定する画面を示す図である。

【図21】本発明の第５実施形態に係る決定用テーブルの構成を示す図である。

【図22】本発明の第５実施形態に係る情報処理装置の処理手順を示すフローチャートである。

【図23】本発明の第６実施形態に係る情報処理システムの構成を示すブロック図である。

【図24】本発明の第６実施形態に係る組織標本画像の領域を拡大する画面を示す図である。

【図25】本発明の第６実施形態に係る倍率選択テーブルの構成を示す図である。

【図26】本発明の第６実施形態に係る拡大送信データの構成を示す図である。

【図27】本発明の第６実施形態に係る情報処理装置の処理手順を示すフローチャートである。

【図28】本発明の第７実施形態に係る複数の組織標本画像にオーバーレイ用画像を重畳した画面を示す図である。

【図29】本発明の第７実施形態に係る領域情報を示す図である。

【図30】本発明の第７実施形態に係るオーバーレイ用画像情報を示す図である。

【発明を実施するための形態】

【0014】

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

【0015】

［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、生体組織を撮像した組織標本画像に基づく診断を支援する装置である。

【0016】

図１に示すように、情報処理装置１００は、領域生成部１１０と、オーバーレイ用画像生成部１２０と、を含む。領域生成部１１０は、組織標本画像１０１が有する少なくとも１つの特徴量を特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する組織標本画像上の領域１１１を生成する。オーバーレイ用画像生成部１２０は、領域生成部１１０が生成した各レベルの領域１１１に、当該領域と同一の形状かつ同一の位置関係に加工された特徴量の大小関係が識別可能な画像１２１を対応付けたオーバーレイ用画像１０２を生成する。

【0017】

本実施形態によれば、病理医が組織標本画像を観察しながら、病理診断の対象となる特徴量がどんなレベルでどの範囲に分布しているかを一目で判断できる。

【0018】

［第２実施形態］
次に、本発明の第２実施形態に係る情報処理システムについて説明する。本実施形態において、情報処理装置１００は、病理医が診断対象とする組織標本画像内に、特徴量に応じてあるいは特徴量のレベルに応じて領域を設定して、各領域に、当該領域と同一の形状かつ同一の位置関係に加工され、色や模様によって特徴量のレベルを識別可能な画像を対応付ける。そして、情報処理装置１００は、割り当て画像を含むオーバーレイ用画像を生成して病理医の通信端末に送信する。病理医の通信端末では、組織標本画像にオーバーレイ用画像を重畳して表示する。

【0019】

本実施形態によれば、診断対象とする組織標本画像の病理医による次の操作、例えば注目領域の選別や詳細診断をする領域の拡大など、への移行を容易に行なうための支援が可能となる。

【0020】

《情報処理システムの構成》
図２は、本実施形態に係る情報処理システム２００の構成を示すブロック図である。

【0021】

情報処理システム２００は、ネットワーク２５０を介して接続された病理診断支援装置である情報処理装置２１０と、病理医２４０が操作可能であって病理診断支援を受ける通信端末２３０とを含む。なお、ネットワーク２５０は、病院内のＬＡＮであっても、病院外と接続する公衆回線や無線通信であってもよい。

【0022】

情報処理装置２１０は、ネットワーク２５０を介する通信端末２３０との通信を制御する通信制御部２１１を有する。通信制御部２１１を介し、組織標本画像受信部２１２によって通信端末２３０から受信した組織標本画像は、組織標本画像記憶部２１３に記憶される。そして、情報処理装置２１０が特徴量解析部２１４において対応する特徴量用データベース（以下、ＤＢ：図４Ａから図４Ｅ参照）２１５の情報を参照することにより、記憶された組織標本画像の特徴量が求められる。

【0023】

特徴量は１つであっても図２のように複数であってもよい。例えば、特徴量としては、癌細胞の分化の程度を表わす分化度と、癌細胞の病理組織学的悪性度評価であるグレードと、細胞核の大きさや形状による評価である核異型度と、腺管形成の程度を表わす構造異型度と、細胞核の核分裂の数／割合と、粘膜や腺から分泌される粘液の度合いと、印環細胞癌の可能性と、が含まれる。また、特徴量として、上記特徴量のいずれかの組み合わせを使用することができる。

【0024】

領域生成部２１６は、レベル分割用ＤＢ２１７（図５参照）を参照して、特徴量解析部２１４から受信した特徴量を複数のレベルに分割し、共通のレベルを有する領域情報２１６ａを生成する。この時、領域生成部２１６は、基となる組織標本画像上の相対的な位置関係を維持しつつ、各領域を生成する。オーバーレイ用画像生成部２１８は、割り当て画像用ＤＢ２１９（図６参照）に記憶された特徴量あるいはレベルに対応して割り当てられた画像（色や模様で識別可能な）を当該領域と同一の形状かつ同一の位置関係に加工して、各領域に対応付ける。この時、オーバーレイ用画像生成部２１８は、領域生成部２１６が維持した相対的な位置関係を用いて、各領域と画像とを対応付ける。そして、オーバーレイ用画像生成部２１８は、画像が対応付けられた領域を含むオーバーレイ用画像情報２１８ａを生成する。オーバーレイ用画像送信部２２０は、オーバーレイ用画像情報２１８ａを通信制御部２１１によりネットワーク２５０を介して病理医２４０の通信端末２３０に送信する。

【0025】

通信端末２３０は、情報処理装置２１０に送信した組織標本画像と受信したオーバーレイ用画像と重畳して表示する。ここで、オーバーレイ用画像は、上述のように、複数の領域の相対的な位置関係を維持して生成されるため、当該領域を生成する基となった組織標本画像とも位置関係が一致する。そのため、通信端末２３０は、これらの画像を重畳した際に位置関係を揃えることができる。なお、本実施形態ではオーバーレイ用画像のみを送信したが、情報処理装置２１０は、組織標本画像とオーバーレイ用画像とを重畳した重畳画像を送信してもよい。しかしながら、通信のトラフィックを考慮するとオーバーレイ用画像のみを送信するのが望ましい。

【0026】

（表示画面）
図３Ａ〜図３Ｄを参照して、本実施形態における通信端末２３０の表示画面におけるオーバーレイ用画像の重畳表示を説明する。

【0027】

図３Ａは、通信端末２３０における、本実施形態に係る組織標本画像３１１の表示を示す図である。図３Ａにおいては、病理医の通信端末２３０には１つの組織標本画像３１１が表示されているが、これに限定されない。

【0028】

図３Ｂは、通信端末２３０における、本実施形態に係るオーバーレイ用画像３２１の表示を示す図である。オーバーレイ用画像３２１は、図３Ａの組織標本画像３１１の特徴量解析によって得られた特徴量のレベルが同様である（所定範囲内の）領域をそれぞれ生成して、そのレベルに対応した画像を割り当てたものである。なお、図３Ｂにおいては、斜線／縦線／横線と、その線の太さや密度などで特徴量やレベルの相違を表わしているが、色相の相違や色の輝度の相違で表現する方が病理医の判断を容易にする点から望ましい。明細書の図面では色を示せないので、以下の線の模様の相違は色の相違を含むものとする。また、模様とその模様を表示する色とを組み合わせるとさらに病理医による差別化を容易にすることが可能である。なお、模様の場合の差別化は、病理医の注目度が異なる模様であればよく、同じ模様である必要は特にない。

【0029】

図３Ｃは、通信端末２３０における、本実施形態に係るオーバーレイ用画像を重畳した組織標本画像３３１の表示を示す図である。図３Ｃにおいては、オーバーレイ用画像３２１内の重畳された領域の一部を３３２で示している。病理医は、図３Ｃに示すような表示画面から、さらに詳細に診断すべきと判断する領域や拡大して診断すべき領域の情報である、特徴量とそのレベルを一目で把握することができるので、病理診断にとって有用である。

【0030】

図３Ｄは、通信端末２３０における他の表示例である、本実施形態に係る組織標本画像とオーバーレイ用画像とを重畳した組織標本画像の表示を示す図である。図３Ｄに示す通信端末２３０の表示画面には、オーバーレイ用画像が重畳されていない組織標本画像３４１と、オーバーレイ用画像が重畳された組織標本画像３４２とが、比較可能に並べて表示されている。図３Ｄにおいては、オーバーレイ用画像３２１内の重畳された領域の一部を３４３で示している。

【0031】

（特徴量用ＤＢ）
以下に、図４Ａ〜図４Ｅを参照して、特徴量を解析するためにあらかじめ用意された特徴量用ＤＢ２１５の例を示す。

【0032】

図４Ａは、本実施形態に係る特徴量用ＤＢ２１５の構成例２１５−１を示す図である。図４Ａは、細胞核の大きさや形状による評価である核異型度を特徴量とする場合の特徴量用ＤＢの構成例２１５−１である。

【0033】

特徴量用ＤＢの構成例２１５−１は、身体の部位にそれぞれ対応して、核の大きさ４１１、核の均一性４１２、クロマチンの分布４１３、核小体の分布４１４、核の形状４１５などの条件と、これらの条件に対応付く核異型度のスコア４１０（特徴量の大小）とを記憶している。

【0034】

図４Ｂは、本実施形態に係る特徴量用ＤＢ２１５の構成例２１５−２を示す図である。図４Ｂは、癌領域の分化の程度を表わす分化度を特徴量とする場合の特徴量用ＤＢの構成例２１５−２である。

【0035】

特徴量用ＤＢの構成例２１５−２は、身体の部位にそれぞれ対応して、細胞の配列４２１、腺管形状４２２、核の大小不同性４２３などの条件と、これらの条件に対応付く分化度のスコア４２０（特徴量の大小）とを記憶している。なお、一般には、分化度は高分化状態、中分化状態、低分化状態と、レベル分けして判別する。その場合には、既にレベル分けされているのでそのまま画像を割り当ててもよい。

【0036】

図４Ｃは、本実施形態に係る特徴量用ＤＢ２１５の構成例２１５−３を示す図である。図４Ｃは、複数の細胞により形成された腺管などの評価である構造異型度として腺管異型度を特徴量とする場合の特徴量用ＤＢの構成例２１５−３である。

【0037】

特徴量用ＤＢの構成例２１５−３は、身体の部位にそれぞれ対応して、管状や線状を含む腺管の形状４３１、腺管内の細胞核数４３２、基底部領域の細胞核の分布４３３などの条件と、これらの条件に対応付く構造（腺管）異型度のスコア４３０（特徴量の大小）とを記憶している。なお、かかる腺管異型度についての詳細は、特開２０１０−２８１６３６を参照されたい。

【0038】

図４Ｄは、本実施形態に係る特徴量用ＤＢ２１５の構成例２１５−４を示す図である。図４Ｄは、病巣内の粘液領域の評価である粘液の度合いを特徴量とする場合の特徴量用ＤＢの構成例２１５−４である。

【0039】

特徴量用ＤＢの構成例２１５−４は、身体の部位にそれぞれ対応して、病巣内に占める粘液の割合４４１、粘液中に浮遊する粘液以外の組織像の割合／分布４４２、印環細胞様異型度４４３などの条件と、これらの条件に対応付く粘液の度合いのスコア４４０（特徴量の大小）とを記憶している。なお、粘液領域の抽出方法については、例えば、特許文献１を参照されたい。

【0040】

図４Ｅは、本実施形態に係る特徴量用ＤＢ２１５の構成例２１５−５を示す図である。図４Ｅは、図４Ａの核異型度などを含んだトータルの癌細胞の病理組織学的悪性度評価である組織学的グレードを特徴量とする場合の特徴量用ＤＢの構成例２１５−５である。

【0041】

特徴量用ＤＢの構成例２１５−５は、身体の部位にそれぞれ対応して、核異型度４５１、核分裂の数４５２の条件と、これらの条件に対応付く核グレードのスコア４５０（特徴量の大小）とを記憶している。さらに、核異型度４５１と核分裂の数４５２に追加して、構造異型度４６１の条件と、これらの条件に対応付く組織学的グレードのスコア４６０（特徴量の大小）とを記憶している。なお、構造異型度４６１としては、例えば腺管形成の程度が含まれる。

【0042】

（レベル分割用ＤＢ）
図５は、本実施形態に係るレベル分割用ＤＢ２１７の構成を示す図である。なお、実際には、身体の部位などにより、特徴量のスコアが異なるレベルに分けられることもあるが、図５にはその一例を示す。

【0043】

レベル分割用ＤＢ２１７は、各特徴量あるいは複数の特徴量の組み合わせから成る特徴量５０１と、そのスコア範囲５０２とに対応付けて、レベル値が記憶されている。図５には、１０段階のレベルの例を示しているがこれに限定されない。例えば、分化度を高／中／低とすれば３段階のレベルとなる。

【0044】

（割り当て画像用ＤＢ）
図６は、本実施形態に係る割り当て画像用ＤＢ２１９の構成を示す図である。なお、本実施形態では、表示された画像から病理医が色と模様とを識別可能とする例を示すが、他の識別可能な例も適用が可能である。また、図６においても、レベルは１０段階を例とするがこれに限定されない。

【0045】

割り当て画像用ＤＢ２１９は、レベル６０１に対応付けて、色に関する情報が記憶されている。図６では、色の例として、第１色相グループ６０２、第２色相グループ６０３、赤（Ｒ）の輝度６０４、緑（Ｇ）の輝度６０５、青（Ｂ）の輝度６０６が記憶されている。色相グループは本例の組み合わせに限定されず、輝度についても他の混合色であってもよい。

【0046】

また、レベル６０１に対応付けて、模様に関する情報が記憶されている。図６では、模様の例として、第１模様グループ６０７として斜線模様が、第２模様グループ６０８として横線模様が記憶されている。なお、模様についても図６の例に限定されない。しかし、複雑な模様はレベルの差異を判別しにくいので、簡単な模様が望ましい。

【0047】

（領域情報）
図７Ａ〜図７Ｃを参照して、領域生成部２１６がオーバーレイ用画像生成部２１８に出力する領域情報２１６ａの例について説明する。なお、領域情報はビットマップに展開した情報とすることも可能であるが、情報量が多くなり装置の処理速度に影響するので、以下の例のように、表示ライン単位あるいは領域単位のデータとすることが望ましい。

【0048】

図７Ａは、本実施形態に係る領域情報２１６ａの一例２１６ａ−１を示す図である。本例は、表示ライン単位に領域を示したデータである。

【0049】

領域情報の一例２１６ａ−１においては、ライン７１１に対応付けて、そのライン上の領域に含まれる開始画素座標７１２と終了画素座標７１３とが記憶され、その領域の特徴量７１４とレベル７１５とが記憶される。なお、ライン７１１としては、領域生成部２１６が生成した領域と交差するすべてのラインが記憶される。

【0050】

図７Ｂは、本実施形態に係る領域情報１２６ａの他例２１６ａ−２を示す図である。本例は、領域単位にベクトルで領域を示したデータである。すなわち、本例は、領域の輪郭線をベクトルで表わしている。

【0051】

領域情報の他例２１６ａ−２においては、領域７２１に対応付けて、特徴量７２２とレベル７２３とが記憶され、その領域を形成する特異点を開始画素座標７２４と終了画素座標７２５とで記憶し、その特異点を結ぶ曲線関数７２６が記憶されている。なお、曲線関数７２６は、例えば、スプライン曲線などとそのパラメータで記憶されてよい。本例では、領域生成部２１６が生成した領域のみが記憶される。

【0052】

図７Ｃは、本実施形態に係る領域情報１２６ａのさらに他例２１６ａ−３を示す図である。図７Ｃの例は、ＸＭＬ形式のテキストデータで領域を示した例である。なお、ＸＭＬ形式で記述されたテキストデータは周知であるので、ここでの詳細な説明は省略する。

【0053】

（オーバーレイ用画像情報）
図８Ａおよび図８Ｂは、上記図７Ａおよび図７Ｂの領域情報に基づいて生成されたオーバーレイ用画像情報の例である。なお、オーバーレイ用画像情報においてもビットマップに展開した情報とすることも可能であるが、情報量が多くなり通信のトラフィックに影響するので、以下の例のように、表示ライン単位あるいは領域単位のデータとすることが望ましい。なお、オーバーレイ用画像は、上記図７Ｃで示したＸＭＬ形式のテキストデータに基づいて生成された形式で記述されたオーバーレイ用画像情報であってもよい（図示せず）。

【0054】

図８Ａは、本実施形態に係るオーバーレイ用画像情報２１８ａの一例２１８ａ−１を示す図である。本例は、図７Ａの領域情報に対応する表示ライン単位のオーバーレイ用画像情報である。

【0055】

オーバーレイ用画像情報の一例２１８ａ−１においては、ライン８１１に対応付けて、そのライン上の領域に含まれる開始画素座標８１２と終了画素座標８１３とが記憶され、その領域にオーバーレイ用画像生成部２１８において割り当てられた割り当て画像８１４が記憶される。なお、ライン８１１としては、領域生成部２１６が生成した領域と交差するすべてのラインが記憶され、通信端末２３０に送信される。

【0056】

図８Ｂは、本実施形態に係るオーバーレイ用画像情報の他例を示す図である。本例は、図７Ｂの領域情報に対応する領域単位のオーバーレイ用画像情報である。

【0057】

オーバーレイ用画像情報の一例２１８ａ−２においては、領域８２１に対応付けて、その領域にオーバーレイ用画像生成部２１８において割り当てられた割り当て画像８２２が記憶され、その領域を形成する特異点を開始画素座標８２３と終了画素座標８２４とで記憶し、その特異点を結ぶ曲線関数８２５が記憶されている。なお、曲線関数８２５は、例えば、スプライン曲線などとそのパラメータで記憶されてよい。本例では、領域生成部２１６が生成した領域のみが記憶され、通信端末２３０に送信される。

【0058】

《情報処理装置のハードウェア構成》
図９は、本実施形態に係る情報処理装置２１０のハードウェア構成を示すブロック図である。

【0059】

図９で、ＣＰＵ９１０は演算制御用のプロセッサであり、プログラムを実行することで図２の各機能構成部を実現する。ＲＯＭ９２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部２１１は、病理医の通信端末２３０と通信する。なお、通信は無線でも有線でもよい。

【0060】

ＲＡＭ９４０は、ＣＰＵ９１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ９４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。９４１は、病理医の通信端末２３０からネットワーク２５０を介して受信した組織標本画像を記憶する領域である。９４２は、組織標本画像９４１を送信した通信端末２３０の通信端末ＩＤや病理医ＩＤなどの、組織標本画像９４１を特定する情報を記憶する領域である。組織標本画像９４１を特定する情報９４２には、例えば、患者ＩＤや組織標本を採取した部位、性別、年齢、病歴なども含まれる。９４３は、特徴量解析によって算出された特徴量を記憶する領域である。９４４は、算出された特徴量９４３に基づいて分けられたレベルとそのレベルを有する領域の情報を記憶する領域である（図７Ａ〜図７Ｃ参照）。９４５は、通信端末ＩＤの通信端末２３０に送信するオーバーレイ用画像情報を記憶する領域である（図８Ａおよび図８Ｂ参照）。

【0061】

ストレージ９５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムを記憶している。２１５は、特徴量用ＤＢである(図４Ａ〜図４Ｅ参照）。２１７は、レベル分割用ＤＢである（図５参照）。２１９は、割り当て画像用ＤＢである（図６参照）。ストレージ９５０には、以下のプログラムが格納される。９５１は、全体の処理を実行させる病理診断支援プログラムである情報処理プログラムである。９５２は、情報処理プログラム９５１において、組織標本画像の特徴量を解析する特徴量解析モジュールである。９５３は、情報処理プログラム９５１において、同じ特徴量の同じレベルの領域を生成する領域生成モジュールである。９５４は、情報処理プログラム９５１において、同じ特徴量の同じレベルの領域に識別可能な画像を割り当ててオーバーレイ用画像を生成するオーバーレイ用画像生成モジュールである。９５５は、情報処理プログラム９５１において、通信端末２３０との通信制御部２１１による通信を制御する通信制御モジュールである。

【0062】

なお、図９には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。

【0063】

《情報処理装置の処理手順》
図１０は、本実施形態に係る情報処理装置２１０の処理手順を示すフローチャートである。このフローチャートは、図９のＣＰＵ９１０がＲＡＭ９４０を使用しながら実行し、図２の情報処理装置２１０の機能構成部を実現する。

【0064】

まず、ステップＳ１００１において、情報処理装置２１０は、受信したデータがいずれかの通信端末２３０からの組織標本画像であるか否かを判定する。受信したデータが組織標本画像でなければ他の処理に進む。

【0065】

受信したデータが組織標本画像であればステップＳ１００３に進んで、情報処理装置２１０は、組織標本画像を送信した通信端末２３０の通信端末ＩＤ（例えば、ＩＰアドレスなど）と、組織標本画像を特定する情報（病理医ＩＤや患者ＩＤ、部位など）とを取得する。ステップＳ１００５において、情報処理装置２１０は、受信した組織標本画像を記憶する。

【0066】

ステップＳ１００７において、情報処理装置２１０は、特徴量用ＤＢ２１５を参照しながら特徴量解析処理を実行する。次に、ステップＳ１００９において、情報処理装置２１０は、レベル分割用ＤＢ２１７を参照しながら領域生成処理を実行する。次に、ステップＳ１０１１において、情報処理装置２１０は、割り当て画像用ＤＢ２１９を参照しながらオーバーレイ用画像生成処理を実行する。そして、ステップＳ１０１３において、情報処理装置２１０は、組織標本画像を送信した通信端末２３０に生成したオーバーレイ用画像を返送する。

【0067】

なお、一般に、病理診断の支援で組織標本画像を取得する場合に、最初は粗い診断をするために低解像度の組織標本画像を取得し、詳細な診断が必要な場合に高解像度の組織標本画像を取得することが行なわれている。本例の手順においても、その手順を適用してよい。あるいは、病理医の詳細診断のヒントとする程度の支援であれば、低解像度の組織標本画像のみからオーバーレイ用画像を生成してよい。一方、病理医の診断方向を示すあるいは診断結果を評価するレベルの支援が必要であれば、高解像度の組織標本画像により予備診断を行なってオーバーレイ用画像を生成するのが望ましい。

【0068】

［第３実施形態］
次に、本発明の第３実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、解析する特徴量を３つにして、この３つの特徴量に対して光の三原色である赤（Ｒ）・緑（Ｇ）・青（Ｂ）を割り当てた点で異なる。その結果、３つの特徴量のレベルの組み合わせが、色の違いで表示される。なお、本実施形態では、核の特徴量に赤を割り当て、腺管の特徴量に緑を割り当て、粘液の特徴量に青を割り当てたが、３つの特徴量や色の割り当ては本例に限定されない。

【0069】

本実施形態によれば、色の傾向（赤っぽい／青っぽい／白っぽいなど）から３つの特徴量のレベルを同時に判断できる。したがって、３つの特徴量の選択と色の割り当てとを適切に選択することによって、複数の特徴量による総合的な判断を色相から判断可能となる。

【0070】

なお、本実施形態に特徴的な構成のみを説明し、その他の構成および動作は第２実施形態と同様であるため、その詳しい説明を省略する。

【0071】

《情報処理システムの構成》
図１１は、本実施形態に係る情報処理システム１１００の構成を示すブロック図である。なお、第２実施形態と同様の構成要素および情報処理装置の機能構成部には、同じ参照番号を付して説明は省略する。

【0072】

図１１の情報処理装置１１１０は、３つの特徴量を解析して、各特徴量に光の三原色を割り当て、特徴量のレベルを輝度に対応させて、３つのオーバーレイ用画像を生成する。このようにすることで、２つの特徴量の組み合わせ、いずれか１つの特徴量のレベル表示などが、簡単な操作（３つのオーバーレイ用画像の取り外し操作や追加操作）で可能である。

【0073】

情報処理装置１１１０の特徴量解析部１１１４と特徴量用ＤＢ１１１５とは、特徴量が３つ、本例では核特徴量と腺管特徴量と粘液特徴量と、に限定されたのみで、その構成に大きな違いはない。

【0074】

オーバーレイ用画像生成部１１１８においては、あらかじめ選択された３つの特徴量と三原色の割り当てとに基づいて、格納された割り当て画像用ＤＢ１１１９を参照して、３つのオーバーレイ用画像を生成する。オーバーレイ用画像送信部１１２０は、生成された３つのオーバーレイ用画像をネットワーク２５０を介して通信端末２３０に送信する。

【0075】

（割り当て画像用ＤＢ）
図１２は、本実施形態に係る割り当て画像用ＤＢ１１１９の構成を示す図である。

【0076】

割り当て画像用ＤＢ１１１９には、特徴量１２０１とそのレベル１２０２に対応付けて、三原色中の色１２０３と輝度１２０４とが記憶されている。本例では、特徴量１２０１として、核と腺管と粘液とが記憶され、それぞれ赤（Ｒ）と緑（Ｇ）と青（Ｂ）とが対応付けられている。

【0077】

（オーバーレイ用画像情報）
図１３は、本実施形態に係るオーバーレイ用画像情報１１１８ａを示す図である。なお、図１３のオーバーレイ用画像情報１１１８ａは、図８Ｂに示したベクトルによる領域の輪郭線表示の例を適用している。

【0078】

オーバーレイ用画像情報１１１８ａは、三原色に対応する３つのオーバーレイ用画像を識別するオーバーレイ番号１３０１のそれぞれについて、生成された領域１３０２が記憶される。その領域１３０２に対応付けて、輝度１３０３と、領域の輪郭線を表わす開始画素座標１３０４、終了画素座標１３０５、曲線関数１３０６とが記憶される。

【0079】

［第４実施形態］
次に、本発明の第４実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、解析する特徴量や特徴量に割り当てる割り当て画像を、病理医２４０が通信端末２３０から選択できる点で異なる。なお、本実施形態では、病理医が特徴量と割り当て画像との双方を選択可能な構成を示すが、一方のみが選択可能な構成であってもよい。

【0080】

本実施形態によれば、病理医が望む特徴量の解析を行ない、病理医が注目する特徴量やレベルが一目で判別できるように表示させることができる。

【0081】

なお、本実施形態に特徴的な構成のみを説明し、その他の構成および動作は第２実施形態と同様であるため、その詳しい説明を省略する。

【0082】

《情報処理システムの構成》
図１４は、本実施形態に係る情報処理システム１４００の構成を示すブロック図である。なお、第２実施形態と同様の構成要素および情報処理装置の機能構成部には、同じ参照番号を付して説明は省略する。

【0083】

情報処理装置１４１０の特徴量選択情報受信部１４０１は、ネットワーク２５０を介して通信端末２３０から送信された病理医２４０の特徴量選択指示の情報を受信する。特徴量選択部１４０２は、特徴量選択情報受信部１４０１が受信した病理医２４０の選択に従った特徴量を解析する。

【0084】

また、割り当て画像選択情報受信部１４０３は、ネットワーク２５０を介して通信端末２３０から送信された病理医２４０の割り当て画像選択指示の情報を受信する。その受信結果は、割り当て画像用ＤＢ２１９に通知されて、病理医２４０が選択した割り当て画像が各特徴量に対応付けられ、オーバーレイ用画像が生成されることになる。

【0085】

（特徴量およびレベル画像を選択する画面）
図１５は、通信端末２３０における、本実施形態に係る特徴量およびレベル画像を選択する画面を示す図である。図１５は一例であってこれに限定されない。

【0086】

図１５の１５１０は、送信した組織標本画像の表示領域である。１５２０は、情報処理装置１４１０とのインタラクティブなやりとりが可能な表示領域である。１５２２は、組織標本画像の送信に応答した、情報処理装置１４１０からの特徴量とその割り当て画像とを問い合わせる選択指示領域である。１５２３は、割り当て画像の一覧である。割り当て画像の一覧１５２３には、左側に色相グループが示され、右側に模様グループが示されている。レベル数はこれに限定されるものではない。１５２１は、選択指示領域１５２２からの選択に従って、情報処理装置１４１０において送信した組織標本画像から生成されたオーバーレイ用画像を、組織標本画像に重畳した表示画像である。

【0087】

《情報処理システムの動作手順》
図１６は、本実施形態に係る情報処理システムの動作手順１６００を示すシーケンス図である。

【0088】

まず、ステップＳ１６０１において、通信端末２３０が組織標本画像を取得する。組織標本画像の取得は、通信端末２３０に接続されたスキャナ（図示せず）からの読み込みであっても、記憶媒体などを介した取得であってもよい。ステップＳ１６０３において、通信端末２３０は取得した組織標本画像を情報処理装置１４１０に送信する。情報処理装置１４１０は、ステップＳ１６０５において受信した組織標本画像を記憶する。続いて、情報処理装置１４１０は、ステップＳ１６０７において、特徴量選択と割り当て画像割り当てを問い合わせる画面を通信端末に送信する。

【0089】

通信端末２３０は、ステップＳ１６０９において病理医２４０による特徴量選択と割り当て画像選択とを待って、選択されたならばステップＳ１６１１に進む。信端末２３０は、ステップＳ１６１１において選択された特徴量と割り当て画像との情報を取得して、ステップＳ１６１３において情報処理装置１４１０に返信する。

【0090】

情報処理装置１４１０は、ステップＳ１６１５において病理医２４０の選択した特徴量の解析処理を行なう。続いて、情報処理装置１４１０は、ステップＳ１６１７において、特徴量に対応するレベルの領域生成処理を行なう。次に、情報処理装置１４１０は、ステップＳ１６１９において、各領域に病理医２４０が選択した割り当て画像を割り当てたオーバーレイ用画像の生成処理を行なう。そして、情報処理装置１４１０は、病理医２４０が選択した特徴量と割り当て画像とに従ってステップＳ１６２１において生成されたオーバーレイ用画像を通信端末２３０に送信する。

【0091】

通信端末２３０は、ステップＳ１６２３において、送信した組織標本画像に受信したオーバーレイ用画像を重畳して表示する。病理医２４０は、表示された重畳画像を参照して、引き続いて詳細診断すべき領域や拡大表示すべき領域を判断する。なお、ステップＳ１６２５において、病理医２４０は、表示された重畳画像が望んだ結果であるか否かを判断して、再度異なる特徴量や割り当て画像を選択する場合には、通信端末２３０を操作し、ステップＳ１６０９に戻って処理を繰り返す。

【0092】

なお、組織標本画像の送信は、特徴量選択情報や割り当て画像選択情報と同時であってもよい。また、特徴量選択情報の問合せと、割り当て画像選択の問合せとは、違う手順で行なってもよい。

【0093】

《情報処理装置のハードウェア構成》
図１７は、本実施形態に係る情報処理装置１４１０のハードウェア構成を示すブロック図である。なお、図１７において、第２実施形態の図９の構成と同様な機能を果たす要素には同じ参照番号を付して、説明は省略する。

【0094】

図１７において、図９との相違は、ＲＡＭ１７４０とストレージ１７５０との構成である。

【0095】

ＲＡＭ１７４０において、図９との相違点は、まず、通信端末２３０へ特徴量と割り当て画像とを問い合わせる画面１７４１（図１５参照）である。そして、病理医２４０が選択して通信端末２３０から送信された選択特徴量情報１７４２と選択割り当て画像情報１７４３とである。

【0096】

また、ストレージ１７５０において、図９との相違点は、病理診断支援プログラムである情報処理プログラム１７５１の変更である。その変更は、主に、特徴量と割り当て画像を病理医２４０に問い合わせる特徴量／割り当て画像問合せモジュール１７５２によるものである。

【0097】

《情報処理装置の処理手順》
図１８は、本実施形態に係る情報処理装置１４１０の処理手順を示すフローチャートである。このフローチャートは、図１７のＣＰＵ９１０がＲＡＭ１７４０を使用しながら実行し、図１４の情報処理装置１４１０の機能構成部を実現する。なお、図１８において、第２実施形態の図１０と同様の処理を行なうステップには同じステップ番号を付し、説明は省略する。

【0098】

情報処理装置１４１０は、ステップＳ１８０１において、特徴量と割り当て画像の問合せ画面を通信端末２３０に送信する。そして、ステップＳ１８０３において、情報処理装置１４１０は、通信端末２３０からの特徴量と割り当て画像とを選択する選択情報の受信を待って、受信があればステップＳ１８０５に進む。そして、ステップＳ１８０５において、情報処理装置１４１０は、受信した特徴量と割り当て画像とを選択する選択情報を記憶する。続くステップＳ１００７〜Ｓ１０１１では、情報処理装置１４１０は、病理医２４０が選択した特徴量と割り当て画像とにより、特徴量解析、領域生成、オーバーレイ用画像生成の各処理を実行する。そして、ステップＳ１０１３において、情報処理装置１４１０は、生成したオーバーレイ用画像を通信端末２３０に送信する。

【0099】

ステップＳ１８０７において、情報処理装置１４１０は、特徴量の選択と割り当て画像の選択から所望の結果が得られたかの判断結果である、ＯＫか否かの病理医２４０からの入力を待つ。ＯＫでなければステップＳ１８０１に戻り、情報処理装置１４１０は、通信端末２３０からの特徴量と割り当て画像との選択情報を再度待ち、上述した処理を繰り返す。

【0100】

［第５実施形態］
次に、本発明の第５実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第４実施形態と比べると、特徴量や割り当て画像の選択が病理医２４０によって行なわれるのではなく、組織標本画像の特定情報から情報処理装置が自動的に行なう点で異なる。

【0101】

本実施形態によれば、病理医による選択なしに組織標本画像から所望の特徴量と割り当て画像とが適切に選択されるので、客観的に病理医が注目すべき特徴量やレベルを一目で判別させることができる。

【0102】

なお、本実施形態に特徴的な構成のみを説明し、その他の構成および動作は第４実施形態と同様であるため、その詳しい説明を省略する。

【0103】

《情報処理システムの構成》
図１９は、本実施形態に係る情報処理システム１９００の構成を示すブロック図である。なお、第４実施形態と同様の構成要素および情報処理装置の機能構成部には、同じ参照番号を付して説明は省略する。

【0104】

情報処理装置１９１０の組織標本画像特定情報受信部１９０１は、ネットワーク２５０を介して通信端末２３０から送信された組織標本画像を特定する特定情報を受信する。特定情報には、病理医ＩＤ、患者ＩＤ、部位、性別、年齢、病歴などが含まれる。なお、病理医ＩＤと患者ＩＤとに基づいて、情報処理装置１９１０が病理診断支援履歴ＤＢ１９０３から上記他の情報を獲得できる構成であってもよい。

【0105】

特徴量／割り当て画像決定部１９０２は、病理診断支援履歴ＤＢ１９０３を参照し、決定用テーブル１９０２ａを使用して、受信した特定情報から特徴量と割り当て画像とを自動的に決定する。特徴量／割り当て画像決定部１９０２は、決定した特徴量と割り当て画像とに従って、特徴量選択部１４０２で特徴量を選択し、割り当て画像用ＤＢ２１９からは割り当てられる割り当て画像を選択する。

【0106】

（組織標本画像を特定する画面）
図２０は、通信端末２３０における、本実施形態に係る組織標本画像を特定する画面を示す図である。図２０は一例であってこれに限定されない。

【0107】

図２０の２０１０は、送信した組織標本画像の表示領域である。２０２０は、情報処理装置１９１０とのインタラクティブなやりとりが可能な表示領域である。２０２２は、組織標本画像の送信に応答した、情報処理装置１９１０からの送信した組織標本画像の特定情報を問い合わせる入力領域である。２０２１は、入力領域２０２２からの選択に従って、情報処理装置１９１０において送信した組織標本画像から生成されたオーバーレイ用画像を、組織標本画像に重畳した表示画像である。

【0108】

（決定用テーブル）
図２１は、本実施形態に係る決定用テーブル１９０２ａの構成を示す図である。

【0109】

決定用テーブル１９０２ａには、病理医ＩＤ２１０１、患者ＩＤ２１０２、患者の属性２１０３、採取した部位２１０４、病理診断支援履歴２１０５に対応付けて、選択特徴量２１０６と選択割り当て画像２１０７とが記憶されている。この決定用テーブル１９０２ａに基づいて、特徴量／割り当て画像決定部１９０２は、受信した組織標本画像に対する選択特徴量と選択割り当て画像とを決定する。

【0110】

《情報処理装置の処理手順》
図２２は、本実施形態に係る情報処理装置１９１０の処理手順を示すフローチャートである。このフローチャートは、図１７のＣＰＵ９１０がＲＡＭ１７４０を使用しながら実行し、図１９の情報処理装置１９１０の機能構成部を実現する。なお、図２２において、第４実施形態の図１８と同様のステップには同じステップ番号を付して、説明を省略する。

【0111】

ステップＳ２２０１において、情報処理装置１９１０は、病理医ＩＤや患者ＩＤなどを含む特定情報を取得する。続いて、ステップＳ２２０３において、情報処理装置１９１０は、取得した特定情報から特徴量と割り当て画像とを決定する。以降の手順は図１８と同様である。なお、ステップＳ１８０７において、情報処理装置１９１０は、ＯＫでない場合は自動選択を止めて、他の特徴量や割り当て画像の選択を行なう処理に進むことになる。

【0112】

［第６実施形態］
次に、本発明の第６実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、オーバーレイ用画像を組織標本画像に重畳して通信端末２３０に表示させた後、病理医２４０の領域拡大指示に応答して指定領域を特徴量に応じた拡大率で拡大表示する点で異なる。なお、本実施形態では、病理医が操作する通信端末の画面上の別領域に拡大画像を表示する例を示すが、別画面における表示や虫眼鏡のように組織標本画像の指示位置上に拡大画像を表示してもよい。

【0113】

本実施形態によれば、病理医が組織標本画像の注目すべき特徴量やレベルを判別した後、所望の領域の拡大表示を指示した場合、指示された領域の特徴量に応じた拡大倍率で当該領域の拡大表示を行うことができる。これにより、病理医による倍率調整を不要とすることができ、作業の手間を低減することができる。

【0114】

なお、本実施形態に特徴的な構成のみを説明し、その他の構成および動作は第２実施形態と同様であるため、その詳しい説明を省略する。

【0115】

《情報処理システムの構成》
図２３は、本実施形態に係る情報処理システム２３００の構成を示すブロック図である。なお、第２実施形態と同様の構成要素および情報処理装置の機能構成部には、同じ参照番号を付して説明は省略する。

【0116】

情報処理装置２３１０の拡大領域情報受信部２３０１は、オーバーレイ用画像送信部２２０が送信したオーバーレイ用画像を重畳して表示した通信端末２３０の画面における領域指示を受信する。すなわち、病理医２４０が通信端末２３０に表示されたオーバーレイ用画像中の領域を指示すると、通信端末２３０は、その領域情報を拡大指示と共に情報処理装置に送信する。

【0117】

倍率選択部２３０２は、通信端末２３０から受信した領域情報と一致する、領域生成部２１６からの領域情報に対応する特徴量に従って、倍率選択テーブル２３０２ａを用いて拡大倍率を選択する。拡大画像生成部２３０３は、倍率選択部２３０２が選択した倍率に従い組織標本画像の対応領域を拡大する。そして、拡大画像生成部２３０３は、倍率情報および対応領域の拡大画像を含む拡大送信データ２３００ａを通信端末２３０に返信する。なお、拡大画像生成部２３０３は、通信端末２３０において倍率を受信すれば拡大可能なアプリケーションが動作可能であれば必須な構成ではない。そもそも通信端末２３０が最も解像度の高い組織標本画像を有しているので、通信端末２３０において受信した特徴量に対応した倍率で拡大する構成の方が、通信のトラフィックを考慮すると望ましい。

【0118】

（組織標本画像の領域を拡大する画面）
図２４は、通信端末２３０における、本実施形態に係る組織標本画像の領域を拡大する画面を示す図である。図２４は一例であってこれに限定されない。

【0119】

図２４において、２４１０は送信した組織標本画像に情報処理装置２３１０から受信したオーバーレイ用画像を重畳した画像表示領域である。

【0120】

この重畳画像のオーバーレイ用画像から、病理医２４０が、領域２４１１を拡大して詳細診断する領域として選択したと仮定する。図２４の２４２０は、領域２４１１をその特徴量に応じた倍率で拡大した拡大画像である。図２４の倍率は適当であり、実際の倍率を反映しているものではない。

【0121】

（倍率選択テーブル）
図２５は、本実施形態に係る倍率選択テーブル２３０２ａの構成を示す図である。

【0122】

倍率選択テーブル２３０２ａには、病理医２４０により指定された領域２５０１に対応して領域生成部２１６から取得した特徴量２５０２と、倍率２５０３とが記憶されている。なお、図示しないが、倍率選択部２３０２は特徴量と倍率とを関連付ける情報があらかじめ準備されている。この情報は、他のＤＢに記憶されていてもよい。倍率選択部２３０２は、この情報を用いて、病理医２４０により指定された領域２５０１に対応して領域生成部２１６から取得した特徴量２５０２に関連付く倍率を取得できる。図２５の例では、核領域は４０倍の拡大倍率、腺管領域は５倍の拡大倍率、粘液領域は１０倍の拡大倍率が特徴量の適した倍率として選択される。

【0123】

（拡大送信データ）
図２６は、本実施形態に係る拡大送信データ２３００ａの構成を示す図である。

【0124】

図２６において、２６１０は最も通信情報量を削減できる拡大送信データであり、領域ＩＤ２６１１と倍率２６１２のみから構成される。図２６の２６２０は領域情報も含む次善の拡大送信データであり、領域２６２１に対応付けて、倍率２６２２と領域の輪郭ベクトル２６２３とが記憶される。かかる２６２０に示す拡大送信データ２３００ａによれば、領域の輪郭ベクトル２６２３を用いることができるため、拡大処理が単純になる。

【0125】

《情報処理装置の処理手順》
図２７は、本実施形態に係る情報処理装置２３１０の処理手順を示すフローチャートである。なお、図２７においては、第２実施形態の図１０と同様のステップは同じステップ番号を付して、説明は省略する。

【0126】

図２７においては、新たにステップＳ２７０１の分岐が追加される。ステップＳ２７０１において、情報処理装置２３１０は、領域拡大の指示を通信端末２３０から受信したか否かが判定される。

【0127】

領域拡大の指示を受信したと判定すれば、情報処理装置２３１０は、ステップＳ２７０３に進んで、受信した拡大領域情報から領域情報を取得する。そして、情報処理装置２３１０は、取得した領域情報を用いて領域生成部２１６から特徴量情報を取得する。そして、ステップＳ２７０５において、情報処理装置２３１０は、倍率選択テーブル２３０２ａを用いて、取得した領域情報に対応する特徴量情報に応じた倍率を選択する。そして、ステップＳ２７０７において、情報処理装置２３１０は、倍率のみ、または拡大した領域画像を通信端末２３０に送信する。

【0128】

［第７実施形態］
次に、本発明の第７実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、複数の組織標本画像に対して共通の特徴量およびレベルに対して同じ画像を割り当てた表示を行なう点で異なる。

【0129】

本実施形態によれば、複数の組織標本画像にわたって注目すべき特徴量やレベルを一目で判別できる。

【0130】

なお、本実施形態に特徴的な構成のみを説明し、その他の構成および動作は第２実施形態と同様であるため、その詳しい説明を省略する。

【0131】

（複数の組織標本画像にオーバーレイ用画像を重畳した画面）
図２８は、通信端末２３０における、本実施形態に係る複数の組織標本画像にオーバーレイ用画像を重畳した画面２８００を示す図である。図２８においては、３つの組織標本画像を示したが、その数に制限は無い。しかし、余り多いと１つが小さく表示されて領域の判別が難しくなるので、例えば、ローリングして次の組織標本画像を表示することが望ましい。

【0132】

図２８において、２８０１〜２８０３が３つの組織標本画像である。各組織標本画像には共通の割り当て画像によるオーバーレイ用画像が重畳されている。例えば、２８１１や２８１２は、それぞれ同じ特徴量の同じレベルを示している。なお、オーバーレイ用画像は、３つの組織標本画像に対して共通のものであっても、各組織標本画像個別のものであってもよい。

【0133】

（領域情報）
図２９は、本実施形態に係る領域情報２１６ａ−３を示す図である。領域情報２１６ａ−３は、第２実施形態の領域情報の他例２１６ａ−２に対応する構成である。なお、第２実施形態の領域情報の他例２１６ａ−２と同じデータには同じ参照番号を付して、説明は省略する。

【0134】

領域情報２１６ａ−３は、組織標本画像ＩＤ２９０１が先頭に不可されたのみで、領域７２１以降のデータは図７Ｂと同様である。図２９には、組織標本画像ＩＤ（ＩＭ１００１）の領域（ＡＲ１０１）と、組織標本画像ＩＤ（ＩＭ１００２）の領域（ＡＲ２０１）とが、同じ特徴量（粘液の度合い）でレベルが"９"である例を示している。

【0135】

（オーバーレイ用画像情報）
図３０は、本実施形態に係るオーバーレイ用画像情報２１８ａ−３を示す図である。オーバーレイ用画像情報２１８ａ−３は、第２実施形態のオーバーレイ用画像情報の他例２１８ａ−２に対応する構成である。なお、第２実施形態のオーバーレイ用画像情報の他例２１８ａ−２と同じデータには同じ参照番号を付して、説明は省略する。

【0136】

オーバーレイ用画像情報２１８ａ−３は、組織標本画像ＩＤ３００１が先頭に不可されたのみで、領域８２１以降のデータは図８Ｂと同様である。図３０では、組織標本画像ＩＤ（ＩＭ１００１）の領域（ＡＲ１０１）と、組織標本画像ＩＤ（ＩＭ１００２）の領域（ＡＲ２０１）とが、同じ特徴量（粘液の度合い）でレベルが"９"であるので、同じ割り当て画像（橙、横線の中太）が割り当てられる。したがって、本実施形態では、複数の組織標本画像に対して利用可能な共通の判断基準を提示することができ、病理医２４０は、当該判断基準に従い、複数の組織標本画像に対してどの領域を詳細診断の対象にするかを判定できる。

【0137】

［他の実施形態］
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0138】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
以下、参考形態の例を付記する。
１．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成手段と、
前記領域生成手段が生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成手段と、
を備えることを特徴とする情報処理装置。
２．
前記特徴量は、癌細胞の分化の程度を表わす分化度と、癌細胞の病理組織学的悪性度評価であるグレードと、細胞核の大きさや形状による評価である核異型度と、腺管形成の程度を表わす構造異型度と、細胞核の核分裂の数／割合と、粘膜や腺から分泌される粘液の度合いと、印環細胞癌の可能性と、そのいずれかの組み合わせと、を含むことを特徴とする１．に記載の情報処理装置。
３．
前記オーバーレイ用画像生成手段は、前記特徴量の大小関係が識別可能な画像として、色の色相が異なる画像または色の輝度が異なる画像または注目度の異なる模様の画像を前記領域に割り当てることを特徴とする１．または２．に記載の情報処理装置。
４．
前記オーバーレイ用画像生成手段は、前記特徴量が複数の場合に、異なる前記特徴量に対して異なる色または異なる模様を割り当てることを特徴とする３．に記載の情報処理装置。
５．
前記領域生成手段は、前記組織標本画像が有する３つの特徴量の各々を前記特徴量の大小に基づいて複数レベルに分けて、前記複数レベルの各レベルに属する前記組織標本画像上の領域を生成し、
前記オーバーレイ用画像生成手段は、３つの前記特徴量に対して光の三原色の１つをそれぞれ割り当て、３つの前記オーバーレイ用画像を生成することを特徴とする４．に記載の情報処理装置。
６．
前記３つの特徴量は、細胞核の核異型度と、腺管の構造異型度と、分泌される粘液の度合いと、であることを特徴とする５．に記載の情報処理装置。
７．
前記組織標本画像を、ネットワークを介して受信する組織標本画像受信手段と、
前記オーバーレイ用画像生成手段が生成した前記オーバーレイ用画像を、ネットワークを介して送信するオーバーレイ用画像送信手段と、
をさらに備えることを特徴とする１．乃至６．のいずれか１つに記載の情報処理装置。
８．
前記少なくとも１つの特徴量を選択する特徴量選択手段をさらに備え、
前記領域生成手段は、前記選択された特徴量を前記特徴量の大小に基づいて複数レベルに分けて、前記複数レベルの各レベルに属する前記組織標本画像上の領域を生成し、
前記オーバーレイ用画像生成手段は、前記選択された特徴量にそれぞれ対応するオーバーレイ用画像を生成することを特徴とする１．乃至７．のいずれか１つに記載の情報処理装置。
９．
前記組織標本画像を特定する特定情報を受信する特定情報受信手段をさらに備え、
前記特徴量選択手段は、受信した前記特定情報に基づいて前記少なくとも１つの特徴量を選択することを特徴とする８．に記載の情報処理装置。
１０．
前記特徴量の大小を識別可能な画像を含む割り当て画像を選択する画像選択手段をさらに備え、
前記オーバーレイ用画像生成手段は、前記領域生成手段が生成した各レベルの前記領域に前記選択された割り当て画像の各画像を割り当てることを特徴とする１．乃至９．のいずれか１つに記載の情報処理装置。
１１．
前記領域の指示に応答して、前記領域の特徴量に応じた前記組織標本画像の倍率を選択する倍率選択手段と、
前記倍率選択手段が選択した倍率を前記領域に対応付けてネットワークを介して送信する倍率送信手段と、
をさらに備えることを特徴とする１．乃至１０．のいずれか１つに記載の情報処理装置。
１２．
前記組織標本画像は複数の組織標本画像を含み、
前記オーバーレイ用画像生成手段は、同じ特徴量の同じレベルを有する領域には同じ画像を割り当てることを特徴とする１．乃至１１．のいずれか１つに記載の情報処理装置。
１３．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
を含むことを特徴とする情報処理装置の制御方法。
１４．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御プログラムであって、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
１５．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記撮像した組織標本画像を入力する入力手段と、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成手段と、
前記領域生成手段が生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応づけたオーバーレイ用画像を生成するオーバーレイ用画像生成手段と、
前記オーバーレイ用画像生成手段が生成した前記オーバーレイ用画像を前記組織標本画像に重畳して表示する重畳表示手段と、
を備えることを特徴とする情報処理システム。
１６．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記撮像した組織標本画像を入力する入力ステップと、
前記組織標本画像が有する少なくとも１つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
前記オーバーレイ用画像生成ステップにおいて生成した前記オーバーレイ用画像を前記組織標本画像に重畳して表示する重畳表示ステップと、
を含むことを特徴とする情報処理方法。

【0139】

この出願は、２０１１年８月１８日に出願された日本出願特願２０１１−１７９０９４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】