(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025036805
(43)【公開日】2025-03-17
(54)【発明の名称】病理診断支援システム、病理診断支援方法及びプログラム
(51)【国際特許分類】
G16H 30/20 20180101AFI20250310BHJP
G01N 33/48 20060101ALI20250310BHJP
【FI】
G16H30/20
G01N33/48 M
【審査請求】有
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023143360
(22)【出願日】2023-09-05
(71)【出願人】
【識別番号】518118220
【氏名又は名称】メドメイン株式会社
(74)【代理人】
【識別番号】110004440
【氏名又は名称】弁理士法人ソシデア知的財産事務所
(74)【代理人】
【識別番号】100177220
【弁理士】
【氏名又は名称】小木 智彦
(72)【発明者】
【氏名】飯塚 統
(72)【発明者】
【氏名】常木 雅之
【テーマコード(参考)】
2G045
5L099
【Fターム(参考)】
2G045CB01
2G045JA01
5L099AA26
(57)【要約】
【課題】医療機関と、検査・診断機関との間で、病理診断の診断結果を遣り取りする際、時間及び手間を低減するとともに、円滑な意思疎通を図る。
【解決手段】病理画像を出力する病理診断支援システムは、患者から採取された標本に基づいたオリジナル病理画像を取得し、取得した前記オリジナル病理画像に基づいて、所定の倍率で拡大した拡大病理画像及び所定の倍率で縮小した縮小病理画像を生成し、生成した前記拡大病理画像及び前記縮小病理画像を、階層的に記憶し、記憶した前記拡大病理画像及び前記縮小病理画像を、所定の倍率で出力する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
病理画像を出力する病理診断支援システムであって、
患者から採取された標本に基づいたオリジナル病理画像を取得する取得部と、
取得した前記オリジナル病理画像に基づいて、所定の倍率で拡大した拡大病理画像及び所定の倍率で縮小した縮小病理画像を生成する生成部と、
生成した前記拡大病理画像及び前記縮小病理画像を、階層的に記憶する記憶部と、
記憶した前記拡大病理画像及び前記縮小病理画像を、所定の倍率で出力する出力部と、
を備える病理診断支援システム。
【請求項2】
記憶した前記拡大病理画像及び前記縮小病理画像を解析する解析部と、
解析結果に基づいて、前記拡大病理画像及び前記縮小病理画像における病変リスクを判定する判定部と、
判定結果に基づいて、前記拡大病理画像及び前記縮小病理画像に重要度を設定する重要度設定部と、
を更に備える請求項1に記載の病理診断支援システム。
【請求項3】
前記拡大病理画像及び前記縮小病理画像に、設定した前記重要度に応じた態様を設定する態様設定部、
を更に備え、
前記出力部は、前記重要度に応じた態様を設定した前記拡大病理画像及び前記縮小病理画像を出力する、
請求項2に記載の病理診断支援システム。
【請求項4】
前記態様が、ヒートマップによるものである、
請求項3に記載の病理診断支援システム。
【請求項5】
前記態様が、明度、彩度、コントラスト、カラーバランスの少なくとも一つを変化させたものである、
請求項3に記載の病理診断支援システム。
【請求項6】
前記態様が、所定のアイコンを重畳させるものである、
請求項3に記載の病理診断支援システム。
【請求項7】
前記態様が、病変リスクが無い位置を所定の色相、明度、彩度の少なくとも一つで表すものである、
請求項3に記載の病理診断支援システム。
【請求項8】
病理画像を出力するコンピュータが実行する病理診断支援方法であって、
患者から採取された標本に基づいたオリジナル病理画像を取得するステップと、
取得した前記オリジナル病理画像に基づいて、所定の倍率で拡大した拡大病理画像及び所定の倍率で縮小した縮小病理画像を生成するステップと、
生成した前記拡大病理画像及び前記縮小病理画像を、階層的に記憶するステップと、
記憶した前記拡大病理画像及び前記縮小病理画像を、所定の倍率で出力するステップと、
を備える病理診断支援方法。
【請求項9】
病理画像を出力するコンピュータに、
患者から採取された標本に基づいたオリジナル病理画像を取得するステップ、
取得した前記オリジナル病理画像に基づいて、所定の倍率で拡大した拡大病理画像及び所定の倍率で縮小した縮小病理画像を生成するステップ、
生成した前記拡大病理画像及び前記縮小病理画像を、階層的に記憶するステップ、
記憶した前記拡大病理画像及び前記縮小病理画像を、所定の倍率で出力するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、病理診断の支援に有効な技術に関する。
【背景技術】
【0002】
従来、患者のがん等の診断において、病理医による病理診断が行われている。病理診断では、患者が受診した医療機関が、患者から採取した細胞や組織等を、検査・診断機関宛に送付し、検査・診断機関が、切出、標本作成、マクロ初見の記述、観察等を行い、確定診断を行っている。検査・診断機関は、診断結果に基づいた結果レポートを作成し、この結果レポートを、細胞や組織等が採取された患者が受診する医療機関宛に送付する。
また、医療機関等のデジタル化に伴い、結果レポートを物理的に送付するのではなく、医療機関と、検査・診断機関とが、この結果レポートを、インターネットを介して電子的に遣り取りすることも行われている。
更に、近年では、病理診断において、AI(Artificial Intelligence)が用いられるようにもなっている。例えば、特許文献1では、患者の身体の診断対象部位が写る画像から、病変範囲を特定し、この特定結果と予め学習された検証モデルとを用いて、診断結果を出力する技術が開示されている。また、他には、特許文献2では、病理画像を予め設定された病理画像モデルに入力し、診断結果を出力する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-112407号公報
【特許文献2】特開2023-086503号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来のような細胞や組織等の送付、病理診断、結果レポートの送付を行う場合、時間及び手間が掛かっていた。また、医療機関と、検査・診断機関とが、この結果レポート等を、インターネットを介して電子的に遣り取りする場合であっても、データ量(画像データ等)が大き過ぎる等の理由により、データ転送が重くなってしまい、医療機関と、検査・診断機関との間で円滑な意思疎通が困難となるおそれがあった。特に医療で扱う画像データはサイズが極めて大きくなることが多く、データ転送が重くなりがちであった。
そこで、本発明者は、病理画像を、医療機関と、検査・診断機関との間で電子的に遣り取りする際、データ量を抑制することができないかと着想した。
【0005】
本発明は、医療機関と、検査・診断機関との間で、病理診断の診断結果を遣り取りする際、時間及び手間を低減するとともに、円滑な意思疎通を図ることが可能な病理診断支援システム、病理診断支援方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、病理画像を出力する病理診断支援システムであって、
患者から採取された標本に基づいたオリジナル病理画像を取得する取得部と、
取得した前記オリジナル病理画像に基づいて、所定の倍率で拡大した拡大病理画像及び所定の倍率で縮小した縮小病理画像を生成する生成部と、
生成した前記拡大病理画像及び前記縮小病理画像を、階層的に記憶する記憶部と、
記憶した前記拡大病理画像及び前記縮小病理画像を、所定の倍率で出力する出力部と、
を備える病理診断支援システムを提供する。
【0007】
本発明によれば、取得したオリジナル病理画像から、拡大病理画像及び縮小病理画像を生成し、これらを、階層的に記憶し、所定の倍率で出力する。
この結果、画像データ同士が、倍率毎に階層的に記憶される。画像データの出力時、画像の拡大又は縮小に際して、元の画像で途中まで拡大又は縮小を行いながら、次の階層の画像とシームレスに遷移して出力可能である。このため、出力先に対して不要な過分に詳細なデータや出力先が表示しきれない領域のデータを通信することなく、画像データの遣り取りを行うことが可能となる。
【0008】
本発明は、システムのカテゴリであるが、方法及びプログラムであっても同様の作用、効果を奏する。
【発明の効果】
【0009】
本発明によれば、医療機関と、検査・診断機関との間で、病理診断の診断結果を遣り取りする際、時間及び手間を低減するとともに、円滑な意思疎通を図ることが可能となる。
【図面の簡単な説明】
【0010】
【
図1】病理診断支援システム1の概要を説明する図である。
【
図2】病理診断支援システム1の機能構成を示す図である。
【
図3】コンピュータ10が実行する画像記憶処理のフローチャートを示す図である。
【
図4】コンピュータ10が実行する画像出力処理のフローチャートを示す図である。
【
図5】病理画像を解析中の状況を模式的に示す図である。
【
図6】病理画像を解析中の状況を模式的に示す図である。
【
図7】病理画像を解析中の状況を模式的に示す図である。
【
図8】病理画像を解析中の状況を模式的に示す図である。
【
図9】病理医端末3が表示する各病理画像を模式的に示す図である。
【
図10】病理医端末3が表示する各病理画像を模式的に示す図である。
【
図11】病理医端末3が表示する各病理画像を模式的に示す図である。
【
図12】病理医端末3が表示する各病理画像を模式的に示す図である。
【
図13】病理医端末3が表示する各病理画像を模式的に示す図である。
【
図14】病理医端末3が表示する各病理画像を模式的に示す図である。
【
図15】コンピュータ10が実行する診断結果取得処理のフローチャートを示す図である。
【
図16】コンピュータ10が実行する診断結果出力処理のフローチャートを示す図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して、本発明を実施するための形態(以下、実施形態)について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。
【0012】
[病理診断支援システム1の概要]
図1は、病理診断支援システム1の概要を説明するための模式図である。
図1に基づいて、病理診断支援システム1の構成物について説明する。
病理診断支援システム1は、少なくともサーバ機能を有するコンピュータ10からなる病理画像を出力するシステムである。本実施形態において、病理診断支援システム1は、コンピュータ10に加え、検査・診断機関において病理診断を行う病理医2が管理する病理医端末3、医療機関において、患者を診断する担当医4が管理する担当医端末5を備える。
コンピュータ10は、サーバ機能を有し、例えば、1台のコンピュータで実現されても良いし、クラウドコンピュータのように、複数のコンピュータで実現されても良い。
本明細書におけるクラウドコンピュータとは、ある特定の機能を果たす際に、任意のコンピュータをスケーラブルに用いるものや、あるシステムを実現するために複数の機能モジュールを含み、その機能を自由に組み合わせて用いるものの何れであっても良い。
病理医端末3は、病理医2が管理する端末装置であり、例えば、タブレット端末、パーソナルコンピュータ、ラップトップコンピュータ等の端末装置である。病理医端末3の数は、病理医2の数に応じた数であれば良く、特に限定されるものではなく、適宜設計可能である。
担当医端末5は、担当医4が管理する端末装置であり、例えば、タブレット端末、パーソナルコンピュータ、ラップトップコンピュータ等の端末装置である。担当医端末5の数は、担当医4の数に応じた数であれば良く、特に限定されるものではなく、適宜設計可能である。
【0013】
病理診断支援システム1が、病理画像を出力する際の処理ステップの概要について説明する。
【0014】
コンピュータ10は、患者から採取された標本に基づいたオリジナル病理画像を取得する(ステップS1)。
コンピュータ10は、病理医端末3又は所定の集中データ化センター等から、このオリジナル病理画像を取得する。
【0015】
コンピュータ10は、取得したオリジナル病理画像に基づいて、所定の倍率で拡大した拡大病理画像及び所定の倍率で縮小した縮小病理画像を生成する(ステップS2)。
コンピュータ10は、取得したオリジナル病理画像を、予め設定された所定の倍率毎に拡大し、複数の拡大病理画像を生成する。また、コンピュータ10は、予め設定された所定の倍率毎に縮小し、複数の縮小病理画像を生成する。
【0016】
コンピュータ10は、生成した拡大病理画像及び縮小病理画像を、階層的に記憶する(ステップS3)。
コンピュータ10は、元々のオリジナル病理画像を基点とし、拡大率が小さい順に、拡大病理画像を階層的に関連付けて記憶する。また、コンピュータ10は、元々のオリジナル病理画像を基点とし、縮小率が大きい順に、縮小病理画像を階層的に関連付けて記憶する。
【0017】
コンピュータ10は、記憶した拡大病理画像及び縮小病理画像を、所定の倍率で出力する(ステップS4)。
コンピュータ10は、記憶した拡大病理画像及び縮小病理画像を、病理医端末3に送信する。病理医端末3は、この拡大病理画像及び縮小病理画像を受信し、自身の表示部に表示する。
病理医2は、この拡大病理画像及び縮小病理画像を閲覧し、診断を行う。
病理医端末3は、診断結果を、コンピュータ10に送信し、コンピュータ10は、この診断結果を受信する。
コンピュータ10は、担当医端末5からの要求等に基づいて、診断結果として、記憶した拡大病理画像、縮小病理画像及び病理医2の診断の結果を、担当医端末5に送信する。担当医端末5は、この診断結果を受信し、自身の表示部に表示する。
担当医4は、この診断結果を閲覧し、病理医2の診断結果を確認し、問題が無い場合、患者に対して、診断結果を提示する。
【0018】
また、コンピュータ10は、記憶した拡大病理画像及び縮小病理画像に対して、所定の学習モデルを用いて、各病理画像における注目病変の病変リスクを判定する構成も可能である。この場合、判定した病変リスクに基づいて各病理画像に重要度を設定し、この重要度に応じた態様を各病理画像に対して設定する。コンピュータ10は、この重要度に応じた態様が設定された拡大病理画像及び縮小病理画像を、病理医端末3に出力する。
病理医2は、この重要度に応じた態様を参照しつつ、診断を行う。
【0019】
以上が、病理診断支援システム1の処理ステップの概要である。
本病理診断支援システム1によれば、医療機関と、検査・診断機関との間で、病理診断の診断結果を遣り取りする際、時間及び手間を低減するとともに、円滑な意思疎通を図ることが可能となる。
【0020】
[装置構成]
図2は、病理診断支援システム1の構成を示すブロック図である。
図2に基づいて、病理診断支援システム1の装置構成について説明する。
病理診断支援システム1は、病理画像を出力するシステムであり、少なくともコンピュータ10により構成される。本実施形態において、病理診断支援システム1は、コンピュータ10に加え、検査・診断機関において病理診断を行う病理医2が管理する病理医端末3、医療機関において患者を診断する担当医4が管理する担当医端末5により構成される。
病理診断支援システム1は、コンピュータ10が、公衆回線網等のネットワーク8を介して、病理医端末3、担当医端末5の其々と、データ通信可能に接続されたシステムである。
なお、病理診断支援システム1は、上述したコンピュータ10、病理医端末3及び担当医端末5に加え、その他の端末や装置類(撮影装置、スキャナ等)等が含まれていても良く、その数、種類及び機能については、特に限定されるものではなく、適宜設計可能である。
【0021】
コンピュータ10は、サーバ機能を有し、例えば、1台のコンピュータで実現されても良いし、クラウドコンピュータのように、複数のコンピュータで実現されても良い。
コンピュータ10は、制御部として、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス、患者から採取された標本に基づいたオリジナル病理画像を取得する取得部11、記憶した拡大病理画像及び縮小病理画像を、所定の倍率で出力する出力部12等を備える。
コンピュータ10は、記憶部13として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部等を備える。コンピュータ10は、記憶部13において、生成した拡大病理画像及び縮小病理画像を、階層的に記憶する。
コンピュータ10は、処理部として、各種処理を実行する各種デバイス、取得したオリジナル病理画像に基づいて、所定の倍率で拡大した拡大病理画像及び所定の倍率で縮小した縮小病理画像を生成する生成部14等を備える。
【0022】
コンピュータ10において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、病理画像取得モジュール、解析設定受付モジュール、病理画像出力モジュール、アノテーション取得モジュール、診断結果取得モジュール、要求受付モジュール、診断結果出力モジュールを実現する。
また、コンピュータ10において、制御部が所定のプログラムを読み込むことにより、記憶部13と協働して、画像記憶モジュールを実現する。
また、コンピュータ10において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、画像生成モジュール、解析モジュール、病変リスク判定モジュール、重要度設定モジュール、レポート作成モジュール、態様設定モジュール、アノテーション付与モジュール、修正判定モジュール、反映モジュールを実現する。
【0023】
病理医端末3は、検査・診断機関において病理診断を行う病理医2が管理する端末装置であり、例えば、上述した端末装置である。
病理医端末3は、端末制御部として、CPU、GPU、RAM、ROM等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス等を備え、入出力部として、所定のデータの入出力等を実行する各種デバイス等を備える。映像出力デバイスとして、外付けもしくは内臓のモニターを搭載しており、典型的には1500×2000画素程度の解像度を持つ。本実施例において、この解像度を「端末解像度」と称することがある。
【0024】
担当医端末5は、医療機関において患者を診断する担当医4が管理する端末装置であり、例えば、上述した端末装置である。
担当医端末5は、端末制御部として、CPU、GPU、RAM、ROM等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス等を備え、入出力部として、所定のデータの入出力等を実行する各種デバイス等を備える。映像出力デバイスとして、外付けもしくは内臓のモニターを搭載しており、典型的には上記と同様1500×2000画素程度の端末解像度を持つ。
【0025】
以下、病理診断支援システム1が実行する各処理について、上述した各モジュールが実行する処理と併せて説明する。
本明細書において、各モジュールは、その処理内容を、自身が有する機能として実行するものであっても良いし、所定のアプリケーションを介して実行するものであっても良い。
【0026】
[コンピュータ10が実行する画像記憶処理]
図3に基づいて、コンピュータ10が実行する画像記憶処理について説明する。同図は、コンピュータ10が実行する画像記憶処理のフローチャートを示す図である。本画像記憶処理は、患者から採取された標本に基づいたオリジナル病理画像を取得する取得処理(ステップS1)、取得したオリジナル病理画像に基づいて、所定の倍率で拡大した拡大病理画像及び所定の倍率で縮小した縮小病理画像を生成する生成処理(ステップS2)、生成した拡大病理画像及び縮小病理画像を、階層的に記憶する記憶処理(ステップS3)の詳細である。
【0027】
病理画像取得モジュールは、患者から採取された標本に基づいたオリジナル病理画像を取得する(ステップS10)。
オリジナル病理画像は、患者の身体から採取された標本から作製したスライドガラス標本をデジタルスキャンした画像であり、例えば、スライドガラス標本の顕微鏡画像である。
担当医4は、患者から外科的手法等により身体の細胞等を採取し、採取した細胞等を、検査・診断機関や、所定の集中データ化センターへ郵送する。
病理画像取得モジュールは、病理医端末3又は所定の集中データ化センターから、オリジナル病理画像を取得する。
病理医端末3が、オリジナル病理画像をコンピュータ10に送信する場合について説明する。病理医2は、担当医4が患者から採取した標本に基づいたスライドガラス標本を作製する。病理医端末3は、このスライドガラス標本を撮影し、撮影した画像を、オリジナル病理画像として、標本が採取された患者の識別子(ID、氏名、管理番号等)と、受診した医療機関や担当医4の識別子(ID、名称、管理番号等)とを併せてコンピュータ10に送信する。なお、病理医端末3が、スライドガラス標本を直接撮影するのではなく、病理医端末3が、カメラ等の撮影装置が撮影したスライドガラス標本の画像を取得し、取得したこの画像をオリジナル病理画像としてコンピュータ10に送信しても良い。オリジナル病理画像は、スキャナーの光学レンズの倍率、例えば20倍で撮影しているので、20倍の拡大率となっている。
所定の集中データ化センターが、オリジナル病理画像をコンピュータ10に送信する場合について説明する。集中データ化センターにおいて、担当者等が、担当医4が採取した標本に基づいたスライドガラス標本を作製する。集中データ化センターにおいて、所定の端末により、このスライドガラス標本を撮影し、撮影した画像を、オリジナル病理画像として、標本が採取された患者の識別子(ID、氏名、管理番号等)と、受診した医療機関や担当医4の識別子(ID、名称、管理番号等)とを併せてコンピュータ10に送信する。ここで、オリジナル病理画像は典型的には50000×50000程度の画素数で構成され、500Mのデータサイズを有する。なお、集中データ化センターにおいて、所定の端末が、スライドガラス標本を直接撮影するのではなく、所定の端末が、カメラ等の撮影装置が撮影したスライドガラス標本の画像を取得し、取得したこの画像をオリジナル病理画像としてコンピュータ10に送信しても良い。
なお、スライドガラス標本を作製するのは、病理医2や集中データ化センターにおける担当者等に限らず、それ以外の人物(例えば、担当医4、技師)や方法(例えば、作成用機械)等であっても良い。
【0028】
画像生成モジュールは、取得したオリジナル病理画像に基づいて、所定の倍率で拡大した拡大病理画像及び所定の倍率で縮小した縮小病理画像を生成する(ステップS11)。
画像生成モジュールは、取得したオリジナル病理画像を、予め設定された所定の倍率毎(2倍毎、2.5倍毎、3倍毎等)に拡大し、倍率毎の拡大病理画像を生成する。ここで、最も拡大率の大きな画像とは、オリジナル病理画像の解像度そのままに分割した画像であり、これがいわば最大拡大画像である。2番目に拡大率の大きな画像である第2拡大率画像は、隣接する最大拡大画像4枚を結合し、これを端末解像度の画素数に合わせて解像度を落とす処理を行うことで作成できる。同様に、3番目に拡大率の大きな画像である第3拡大率画像は隣接する第2拡大率画像4枚を結合、解像度を落として作成する。
また、画像生成モジュールは、取得したオリジナル病理画像を、予め設定された所定の倍率毎(0.75倍毎、0.5倍毎、0.25倍毎等)に縮小し、倍率毎の縮小病理画像を生成する。ここで、最も縮小率の大きな画像とは、病理医端末3や担当医端末5で用いられているモニターでスライドガラス標本の全体像が把握できる縮小全体画像である。なお、所定の倍率は、コンピュータ10の管理者や、病理医2等により設定されたものであっても良いし、それ以外の方法により設定されたものであっても良い。例えば20倍であったオリジナル病理画像の解像度を100分の1に落とすと、0.2倍と表記される。同様に、オリジナル病理画像を1/20に縮小したものが1倍と表記される。また、倍率は、上述した例に限定されるものではなく、適宜設計可能である。また、倍率は、X倍に限定されるものではなく、X%等のその他の形式によるものであっても良い。また、画像生成モジュールは、所定の倍率毎に拡大及び縮小するのではなく、予め設定された複数の倍率により、拡大及び縮小するものであっても良い。また、画像生成モジュールは、取得したオリジナル病理画像の縦横の比率を維持したまま拡大及び縮小を行うものであっても良いし、縦横の比率を変更し拡大及び縮小を行うものであっても良い。
画像生成モジュールは、拡大病理画像及び縮小病理画像を生成する際、拡大病理画像及び縮小病理画像を、所定の形式(TIFF(Tagged Image File Format)等)で生成する。画像生成モジュールは、取得したオリジナル病理画像についても同様に、拡大病理画像及び縮小病理画像に合わせた形式に変換しても良い。なお、拡大病理画像及び縮小病理画像の形式は、上述した例に限定されるものではなく、適宜設計可能である。
【0029】
画像記憶モジュールは、生成した拡大病理画像及び縮小病理画像を、階層的に記憶する(ステップS12)。
階層的に記憶するとは、拡大病理画像については、元々の病理画像(拡大も縮小もされていないオリジナル病理画像)を基点として、拡大率が小さい順に並べた状態(例えば、元々の病理画像を底面として、ピラミッド状に、拡大率が小さい順に拡大病理画像を並べた状態)で記憶することである。また、縮小病理画像については、元々の病理画像を基点として、縮小率が大きい順に並べた状態(例えば、元々の病理画像を底面として、ピラミッド状に、縮小率が大きい順に縮小病理画像を並べた状態)で記憶することである。
画像記憶モジュールは、病理画像を、倍率によって階層的に関連付けて記憶する。
拡大病理画像及び縮小病理画像を階層的に記憶することにより、後述する処理において、病理画像を病理医端末3や担当医端末5が表示する際、病理画像の拡大・縮小が行われた場合、元々の病理画像で途中まで拡大・縮小を行いながら、次の階層の病理画像をシームレスに遷移して表示可能となる。このため、表示に不要な過分に詳細なデータや表示しきれない領域のデータを通信することなく表示することができるので、コンピュータ10に存在する病理画像をストレスなくスクロールや拡大・縮小ができる。このような構成とすることで、オリジナル病理画像全体を送信するのに比較して、十分に短い通信時間で、所定の部分の所定の倍率の画像を、必要十分な画質で病理医端末3や担当医端末5に遅延なく表示することができる。
また、病理画像を階層的に記憶することにより、学習モデルを用いたデータの学習を行う際、広く用いられる形式に統一してデータの蓄積を行うことが容易となる。
【0030】
以上が、画像記憶処理である。
【0031】
[コンピュータ10が実行する画像出力処理]
図4に基づいて、コンピュータ10が実行する画像出力処理について説明する。同図は、コンピュータ10が実行する画像出力処理のフローチャートを示す図である。本画像出力処理は、記憶した拡大病理画像及び縮小病理画像を、所定の倍率で出力する出力処理(ステップS4)の詳細である。
【0032】
解析設定受付モジュールは、使用する学習モデル及び注目病変を受け付ける(ステップS20)。
解析設定受付モジュールは、病理医端末3や担当医端末5から、記憶した病理画像の解析に関する解析設定を受け付ける。解析設定は、例えば、解析に用いる学習モデル及び注目病変である。学習モデルは、例えば、所定の臓器の病変を学習したものである。注目病変は、例えば、診断すべき病気に関するものである。
病理医端末3は、病理医2から、病理画像に対して解析を行う際に使用する学習モデル及び注目病変の入力を受け付ける。例えば、病理医2は、病理医端末3が表示する予め設定された複数の学習モデル及び注目病変の内、自身が所望する学習モデル及び注目病変を選択する。病理医2は、例えば、病理医端末3が表示する複数の学習モデルの内、自身が所望する学習モデルを所定の入力方法(所望する学習モデルを示すアイコンやテキスト等をタップやクリックする等)により選択し、病理医端末3が表示する複数の注目病変の内、自身が所望する注目病変を所定の入力方法(所望する注目病変を示すアイコンやテキスト等をタップやクリックする等)により選択する。病理医端末3は、受け付けた学習モデル及び注目病変を、コンピュータ10に送信する。
担当医端末5は、担当医4から、病理画像に対して解析を行う際に使用する学習モデル及び注目病変の入力を受け付ける。例えば、担当医4は、担当医端末5が表示する予め設定された複数の学習モデル及び注目病変の内、自身が所望する学習モデル及び注目病変をタップする。担当医端末5は、受け付けた学習モデル及び注目病変を、コンピュータ10に送信する。
解析設定受付モジュールは、この学習モデル及び注目病変を受信し、使用する学習モデル及び注目病変を受け付ける。
なお、コンピュータ10は、病理医端末3や担当医端末5以外からの入力によらず、予め指定された学習モデル及び注目病変を後述する処理に用いても良い。
【0033】
解析モジュールは、記憶した拡大病理画像及び縮小病理画像を解析する(ステップS21)。
解析モジュールは、階層的に記憶した各病理画像を、受け付けた学習モデル及び注目病変に基づいて解析する。解析モジュールは、この学習モデル及び注目病変を用いて、タイリングされた各病理画像中に、がん等の特定の疾患の細胞が存在する確率を解析する。
解析モジュールは、元々の病理画像、拡大病理画像及び縮小病理画像の各病理画像に対して、所定の大きさのタイル(例えば、1024ピクセル×1024ピクセルのタイル)を切り出していく。例えば、解析モジュールは、各病理画像を、このタイルに相当する大きさに所定の位置(病理画像の端、中心等)から分割し、タイルを順に切り出す。
解析モジュールは、切り出した各タイルを受け付けた学習モデルに入力し、各タイルにおける学習モデルにおける注目病変の判定寄与率(学習モデルを用いたがん等の特定の疾患の細胞が存在するか否かの判定に寄与した割合)を算出する。解析モジュールは、算出した判定寄与率に応じた態様を、各タイルに設定する。この態様は、例えば、ヒートマップによるもの、明度、彩度、コントラスト、カラーバランスの少なくとも一つを変化させたもの、所定のアイコン(判定寄与率毎に異なるアイコン等)を重畳させるものである。例えば、解析モジュールは、ヒートマップによるものである場合、判定寄与率が高いタイル程、赤みを強くし、判定寄与率が低いタイル程、青みを強くする等により、各タイルに判定寄与率に応じた態様を設定する。
解析モジュールは、タイルの切出位置を変更し、別の位置からタイルを切り出す。この場合も、同様に、切り出した各タイルにおける学習モデルにおける注目病変の判定寄与率を算出し、算出した判定寄与率に応じた態様を、各タイルに設定する。
解析モジュールは、この処理を繰り返し、病理画像における各タイルの学習モデルにおける注目病変の判定寄与率の構造(近接したタイル同士の注目病変の判定寄与率の状況等)に基づいて、WSI(Whole Slide Image)の注目病変の判定寄与率を算出し、元々の病理画像、拡大病理画像及び縮小病理画像の各病理画像における注目病変の判定寄与率を其々算出する。
【0034】
解析モジュールが実行する解析の具体例について、
図5~
図8に基づいて、説明する。各図は、病理画像を解析中の状況を模式的に示す図である。
各図において、縮小病理画像20、拡大病理画像21が示されている。また、拡大病理画像21が縮小病理画像20におけるどの位置を拡大した病理画像であるかを示すために、赤枠22が縮小病理画像20に付与されている。すなわち、同図において、縮小病理画像20全体を拡大したものが拡大病理画像21である。
解析モジュールは、この縮小病理画像20及び拡大病理画像21に対して、タイルを順に切り出していく(
図5参照)。
解析モジュールは、切り出した各タイルを学習モデルに入力し、注目病変の判定寄与率を算出した結果、注目病変が発生していると疑われるタイルに対して、ハイライト23(
図6参照)を付与し、それ以外のタイルに対しては、そのままの状態を維持する。判定寄与率が高いとき、確率に高く寄与するタイルは、病理医2や担当医4が注意を払って観察する必要のあるタイルであり、注目タイルと称する。ここで、AIの構成が、多段的に構成され、初段のAIの判定寄与率に対し、別のAIが重みづけをかけて最終的な判定をしていたり、複数のAIが異なる結果を出し、その多数決によって最終的な判定をしていたりする場合には、個々のAIの判定寄与率が高いタイルが仮に最終的な判定で判定寄与率に高く寄与していなかったとしても、注目タイルとしてハイライトを付与して良い。AI総体としての判定には採用されていなかったとしても、人間である医師の注目を促し、偽陰性を避けてより正しい診断を促すために、個々のAIの途中の結果も参考情報として人間の医師の注目を促して良いからである。
解析モジュールは、拡大病理画像21に対して、タイルの切出位置を変更し、別の位置からもタイルを切り出していき、切り出した各タイルを学習モデルに入力し、学習モデルにおける注目病変の判定寄与率を算出する。
解析モジュールは、算出した注目病変の判定寄与率に応じて、ヒートマップを用いて、各タイルに判定寄与率に応じた態様を拡大病理画像21に設定する(
図7参照)。
解析モジュールは、ヒートマップを設定した拡大病理画像21に対して、グラデーション処理等の所定の処理を実行する(
図8参照)。
なお、
図5~
図8は、あくまでも例に過ぎず、解析モジュールが実行する解析の具体例は、上述した例に限定されるものではないことは言うまでもない。
【0035】
図4に戻り、画像出力処理の続きを説明する。
病変リスク判定モジュールは、解析結果に基づいて、拡大病理画像及び縮小病理画像における病変リスクを判定する(ステップS22)。
病変リスク判定モジュールは、元々の病理画像、拡大病理画像及び縮小病理画像の各病理画像における各タイルの学習モデルにおける注目病変の判定寄与率に基づいて、各病理画像における病変リスクを判定する。病変リスク判定モジュールは、病理画像における各タイルの構造に基づいて、一又は複数のタイルに該当する病理画像の位置毎に、病変リスクを判定する。病変リスク判定モジュールは、一のタイルである場合、この一のタイルそのものの位置毎に病変リスクを判定する。病変リスク判定モジュールは、複数のタイルである場合、この複数のタイルを統合した位置毎に病変リスクを判定する。統合方法は、単純に、複数のタイルをまとめたものであれば良いし、それ以外の方法によるものであっても良い。病変リスク判定モジュールは、例えば、この位置における各タイルの最も高い判定寄与率、各タイルの最も低い判定寄与率、各タイルの判定寄与率の平均値等に基づいて、位置毎の病変リスクを判定する。この病変リスクは、数字(X%等)で表されるものであっても良いし、テキスト(高、低、中、無等)で表されるものであっても良い。
【0036】
重要度設定モジュールは、判定結果に基づいて、拡大病理画像及び縮小病理画像に、重要度を設定する(ステップS23)。
重要度は、病変リスクに基づいたものであり、数字(X%等)で表されるものであっても良いし、テキスト(高、低、中、無等)で表されるものであっても良い。この重要度は、病理医2や担当医4に対して、視覚的に注意喚起するためのものである。
重要度設定モジュールは、判定した各病理画像における位置毎の病変リスクに基づいて、各病理画像における位置毎に、重要度を設定する。
【0037】
なお、コンピュータ10は、解析結果に基づいて、レポートを作成する構成も可能である。この場合について説明する。
レポート作成モジュールは、拡大病理画像及び縮小病理画像の各解析結果を、受け付けた学習モデルに入力し、診断を行う。レポート作成モジュールは、この診断結果に基づいたレポートを作成する。このレポートは、例えば、病変リスク、病状、所感等をまとめたものである。
コンピュータ10は、このレポートを後述する記憶した拡大病理画像及び縮小病理画像を、所定の倍率で出力する際、併せて出力しても良い。
【0038】
態様設定モジュールは、拡大病理画像及び縮小病理画像に、設定した重要度に応じた態様を設定する(ステップS24)。
重要度に応じた態様は、例えば、ヒートマップによるもの、明度、彩度、コントラスト、カラーバランスの少なくとも一つを変化させたもの、所定のアイコン(判定寄与率毎に異なるアイコン等)を重畳させるものである。
態様設定モジュールは、元々の病理画像、拡大病理画像及び縮小病理画像の各病理画像における位置毎に設定された重要度に応じた態様を設定する。
態様設定モジュールは、ヒートマップを用いる場合、重要度が高い位置程、濃色を着色し、重要度が低い位置程、薄色を着色する等により、各病理画像における位置毎に設定された重要度に応じたヒートマップを設定する。他には、態様設定モジュールは、重要度が低い位置から重要度が高い位置に向かって、青色、黄色、赤色の順番に着色し、ヒートマップを設定する。また、タイルが所定の数(8×8等)以上存在する場合、着色したタイルに所定のフィルタ(ガウシアンフィルタ等)をかけても良い。
態様設定モジュールは、明度を変化させたものを用いる場合、重要度が高い位置程、高明度を着色し、重要度が低い位置程、低明度を着色する等により、各病理画像における位置毎に設定された重要度に応じた明度を設定する。
態様設定モジュールは、彩度を変化させたものを用いる場合、重要度が高い位置程、その高彩度を着色し、重要度が低い位置程、その低彩度を着色する等により、各病理画像における位置毎に設定された重要度に応じた彩度を設定する。
態様設定モジュールは、コントラストを変化させたものを用いる場合、重要度が高い位置程、高コントラストを着色し、重要度が低い位置程、低コントラストを着色する等により、各病理画像における位置毎に設定された重要度に応じたコントラストを設定する。
態様設定モジュールは、カラーバランスを変化させたものを用いる場合、重要度が高い位置程、赤みを強くし、重要度が低い位置程、青みを強くする等により、各病理画像における位置毎に設定された重要度に応じたカラーバランスを設定する。
態様設定モジュールは、所定のアイコンを重畳させるものを用いる場合、重要度が高い位置程、目立つアイコンを重畳させ、重要度が低い位置程、目立たないアイコンを重畳させる等により、各病理画像における位置毎に設定された重要度に応じたアイコンを設定する。
なお、態様設定モジュールは、上述した態様の例を一つのみで設定するだけでなく、複数を組み合わせて設定しても良い。
態様設定モジュールは、病変リスクが無いと判定された各病理画像における位置を、所定の色相、明度、彩度の少なくとも一つで表す態様に設定する。例えば、態様設定モジュールは、病変リスクが無いと判定された(重要度が無いと設定された)位置に対して、オリジナルの色彩を、その態様として設定する。また、態様設定モジュールは、この位置に対して、各病理画像がカラー画像である場合、グレースケールをその態様として設定する等の彩度をゼロにする、明度を落とす、コントラストを変化させる、カラーバランスを変化させる等の態様を設定する。
重要度が無いと設定された位置は、病理医2や担当医4が注意する必要がない位置であり、この位置に変化を与えることにより、病理医2や担当医4が注意すべき箇所を把握することが容易となる。
また、態様設定モジュールは、各病理画像における重要度が高いと判断した位置を、最も目立つ態様に設定しても良い。また、態様設定モジュールは、各病理画像に対して、同一の態様を設定しても良いし、異なる態様を設定しても良い。
【0039】
病理画像出力モジュールは、記憶した拡大病理画像及び縮小病理画像を、所定の倍率で出力する(ステップS25)。
所定の倍率は、全体が観察できる縮小全体画像を初期値としても良いし、別の予め設定された倍率や、病理医2等が指定した倍率の中心部もしくは注目タイルであっても良い。いずれにせよ、病理画像出力モジュールは指定された倍率に相当する拡大病理画像もしくは縮小病理画像の所定位置のタイルの画像を出力する。
病理画像出力モジュールは、態様が設定された元々の病理画像、拡大病理画像及び縮小病理画像を、病理医端末3に送信する。そして、直ちに当該出力したタイルの周囲のタイル、及び拡大・縮小率の両隣のタイルの画像を順次送信する。
病理医端末3は、各病理画像を受信し、自身の表示部に表示する。
病理医2は、まず最初に受信した拡大病理画像及び縮小病理画像を閲覧し、病理診断を行う。
病理医端末3は、病理医2により、拡大病理画像又は縮小病理画像に対して所定の入力(病理画像の拡大、縮小、スクロール等)を受け付け、受け付けた入力に応じた処理を実行する。人間である病理医2が拡大、縮小、スクロールの必要性の判断を行い、そのような入力をするまでの間に、近隣のタイルの画像はおおむね受信が完了している。病理医端末3は、病理画像に対して拡大の入力を受け付ける場合、病理画像を、拡大する。病理医端末3は、病理画像に対して縮小の入力を受け付ける場合、病理画像を、縮小する。病理医端末3は、病理画像に対してスクロールの入力を受け付ける場合、病理画像をスクロールする。このとき、病理医端末3は、受け付けた入力内容に応じた信号を、コンピュータ10に送信し、病理画像出力モジュールは、この信号に応じた処理(出力した拡大病理画像の次の倍率の拡大病理画像、出力した縮小病理画像の次の倍率の縮小病理画像、現在病理医端末3が表示中の拡大病理画像の未表示の領域等の出力等)を実行する。そして、病理画像出力モジュールは指定された拡大率、スクロール先の画像を送信し終えると、直ちに周辺のタイルと拡大率・縮小率の両隣のタイルの画像を順次送信する。
病理画像出力モジュールは、病理医端末3が表示する各病理画像に対する拡大又は縮小の入力を受け付けた場合、現在病理医端末3が表示している倍率を優先し、拡大又は縮小の入力を受け付けた周囲の倍率と、周囲の領域とを現在表示している倍率の送信(コンピュータ10側)及びダウンロード(病理医端末3側)が完了した後に、送信及びダウンロードを実行する。また、病理画像出力モジュールは、病理医端末3が表示する各病理画像に対してスクロールの入力を受け付けた際(現在表示している領域とは異なる領域を表示しようとする入力を受け付けた際等)、現在出力中の病理画像の送信及びダウンロードを一時的に停止し、スクロールの完了後、スクロール後の病理画像の送信及びダウンロードを再開する。
【0040】
図9~
図13に基づいて、病理画像出力モジュールが出力する各病理画像について説明する。各図は、病理医端末3が表示する各病理画像を模式的に示す図である。
図9、
図10において、縮小病理画像30及びヒートマップを用いた拡大病理画像31が示されている。また、拡大病理画像31が縮小病理画像30におけるどの位置を拡大した病理画像であるかを示すために、赤枠32が縮小病理画像30に付与されている。
病理画像出力モジュールは、拡大病理画像及び縮小病理画像を、所定の倍率で出力し、病理医端末3に、縮小病理画像30及び拡大病理画像31を表示させる(
図9参照)。
病理医端末3は、縮小病理画像30又は拡大病理画像31に対して、所定の入力(病理画像拡大、縮小、スクロール等)の入力を受け付けた際、入力内容に応じた信号を、コンピュータ10に送信する。病理画像出力モジュールは、この信号に応じた病理画像を、再度出力し、病理医端末3に表示させる。
病理医端末3が、拡大病理画像31を更に拡大させる入力を受け付けた場合、この入力内容に応じた信号をコンピュータ10に送信し、病理画像出力モジュールが、この信号に応じた病理画像を、再度出力し、病理医端末3に表示させる(
図10参照)。
拡大病理画像31がヒートマップを用いた態様が設定されている場合、病理医端末3が低倍率の表示を行っている間も、着色されたタイルが存在する場合には、このタイルの位置とサイズとが着色して表示される。ただし、このタイルが小さすぎて低倍率で視認性が低い場合、実際の位置よりも拡大した領域が着色して表示される。
また、タイルが所定の数(8×8等)以上存在する場合、着色したタイルに所定のフィルタ(ガウシアンフィルタ等)をかけることで、より自然に表示されるようにしても良い。この結果、病理医2に対して、注意喚起を促すことができ、より注目すべき箇所を区別して表示することができるので、病理医2の見落としを抑制することができる。
また、病理医2が病理画像を観察する、病理画像出力モジュールは、病理画像を十分に拡大した状態で出力した後に、通常の拡大病理画像及び縮小病理画像に切り替えて出力する構成も可能である。
図11~
図13において、縮小病理画像40及び所定の色で着色した拡大病理画像41が示されている。また、拡大病理画像41が縮小病理画像40におけるどの位置を拡大した病理画像であるかを示すために、赤枠42が縮小病理画像40に付与されている。また、注目病変が発生していると疑われる位置に対してハイライト43が付与されている。
病理画像出力モジュールは、拡大病理画像及び縮小病理画像を、所定の倍率で出力し、病理医端末3に、縮小病理画像40及び拡大病理画像41を表示させる(
図11参照)。
病理医端末3は、縮小病理画像40又は拡大病理画像41に対して、所定の入力(病理画像拡大、縮小、スクロール等)の入力を受け付けた際、入力内容に応じた信号を、コンピュータ10に送信する。病理画像出力モジュールは、この信号に応じた病理画像を、再度出力し、病理医端末3に表示させる。
病理医端末3が、拡大病理画像41を更に拡大させる入力を受け付けた場合、この入力内容に応じた信号をコンピュータ10に送信し、病理画像出力モジュールが、この信号に応じた病理画像を、再度出力し、病理医端末3に表示させる(
図12、
図13参照)。
【0041】
更に、病理医端末3は、自身が表示する拡大病理画像及び縮小病理画像に対して、アノテーションの入力を受け付ける構成も可能である(
図14参照)。
図14において、縮小病理画像50及び所定の色で着色した拡大病理画像51が示されている。また、拡大病理画像51が縮小病理画像50におけるどの位置を拡大した病理画像であるかを示すために、赤枠52が縮小病理画像50に付与されている。また、注目病変が発生していると疑われる位置に対してハイライト53が付与されている。また、拡大病理画像51には、アノテーション54が付与されている。
アノテーションは、例えば、文字列、ハイライト、点群、曲線、色、アイコンである。
病理医端末3は、病理医2からアノテーションの入力を受け付ける。病理医端末3は、アノテーションを受け付けた際、アノテーションの名称と、アノテーションを入力した病理医2の識別子(氏名、ID、管理番号等)を併せて設定する。アノテーションの名称及び病理医2の識別子は、予め設定されたものであっても良いし、その都度入力を受け付けるものであっても良い。
病理医端末3は、拡大病理画像51に対して受け付けたアノテーション54を、コンピュータ10に送信する。このとき、アノテーション54の内容(名称及び病理医2の識別子も含む)と、このアノテーション54の縮小病理画像50及び拡大病理画像51の位置(各病理画像を特定可能な識別子、各病理画像における座標等)とを併せてコンピュータ10に送信する。
アノテーション取得モジュールは、このアノテーション54の内容を受信する。アノテーション付与モジュールは、自身が記憶する拡大病理画像及び縮小病理画像に対して、アノテーションを付与する。
コンピュータ10が、病理医端末3や担当医端末5にアノテーションが付与された病理画像を出力する際、倍率によらず、そのサイズが不変であっても良いし、倍率により、そのサイズが可変であっても良い。ここで、倍率により、アノテーションのサイズが大きくなった際には、所定のアノテーション(アイコン等)については、病理画像の所定の割合を超過する場合、病理画像の閲覧を邪魔しないようにアノテーションに所定の処理(透明化、縮小等)を実行しても良い。
なお、アノテーション付与モジュールは、病理医端末3が表示中の倍率に対応する拡大病理画像及び縮小病理画像のみに対して、アノテーションを付与するものであっても良いし、病理医端末3が表示中の倍率に対応する拡大病理画像のみに対して、アノテーションを付与するものであっても良いし、記憶する各拡大病理画像及び各縮小病理画像の其々に対して、アノテーションを付与するものであっても良い。
また、アノテーションの位置に関して、所定のアノテーション(矢印アイコン等のポインティングアイコン等)は、その一部(矢印の先端等)だけの位置を、アノテーションの位置としても良い。
【0042】
以上が、画像出力処理である。
なお、画像出力処理において、コンピュータ10は、学習モデル及び注目病変の受付、拡大病理画像及び縮小病理画像の解析、病変リスクの判定、重要度の設定、態様の設定を行っているが、これらの処理を行わず、単に、記憶した拡大病理画像及び縮小病理画像を、所定の倍率で出力する構成も可能である。
【0043】
[コンピュータ10が実行する診断結果取得処理]
図15に基づいて、コンピュータ10が実行する診断結果取得処理について説明する。同図は、コンピュータ10が実行する診断結果取得処理のフローチャートを示す図である。
【0044】
診断結果取得モジュールは、診断結果を取得する(ステップS30)。
診断結果は、病理医2による病理診断の結果(病理画像に写る細胞が実際に病変細胞であったか否か等)だけでなく、病理医端末3に出力した各病理画像やレポートに対する修正(設定された重要度の変更、設定した態様の変更等)、上述したアノテーション等を含むものである。
病理医端末3は、病理医2による診断結果の入力を受け付け、受け付けた診断結果を送信する。
診断結果取得モジュールは、この診断結果を受信し、診断結果を取得する。
【0045】
修正判定モジュールは、修正の有無を判定する(ステップS31)。
修正判定モジュールは、出力した各病理画像やレポートに対して、修正が行われたか否かを判定する。
修正判定モジュールは、修正が無かったと判定した場合(ステップS31 NO)、コンピュータ10は、本診断結果取得処理を終了する。
【0046】
一方、修正判定モジュールは、修正が有ったと判定した場合(ステップS31 YES)、反映モジュールは、修正された内容を、記憶した拡大病理画像及び縮小病理画像に反映する(ステップS32)。
反映モジュールは、修正された内容に基づいて、この内容を記憶した各病理画像や作成したレポートに反映する。
更に、反映モジュールは、診断結果として、病理医2が病変細胞であると診断した位置を含む拡大病理画像及び縮小病理画像に対して、病変の診断結果を付与する。
【0047】
以上が、診断結果取得処理である。
コンピュータ10が判定した病変リスクが、実際に病理医2が各病理画像に基づいて行った診断の結果、病理医2が病変細胞であると診断した場合、コンピュータ10は、各病理画像に病変の診断を反映することになる。
【0048】
[コンピュータ10が実行する診断結果出力処理]
図16に基づいて、コンピュータ10が実行する診断結果出力処理について説明する。同図は、コンピュータ10が実行する診断結果出力処理のフローチャートを示す図である。
【0049】
要求受付モジュールは、診断結果の出力要求を受け付ける(ステップS40)。
担当医端末5は、担当医4による診断結果の出力要求の入力を受け付け、診断結果の出力要求を、コンピュータ10に送信する。この出力要求には、患者の識別子、担当医4の識別子等の患者及び担当医4を識別可能な内容が含まれる。
要求受付モジュールは、この出力要求を受信し、診断結果の出力要求を受け付ける。
【0050】
診断結果出力モジュールは、診断結果を出力する(ステップS41)。
診断結果出力モジュールは、診断結果として、記憶した各病理画像、病理医2による病理診断の結果、コンピュータ10自身が作成したレポート等を、担当医端末5に送信する。
担当医端末5は、この診断結果を受信し、自身の表示部に表示する。
診断結果出力モジュールは、診断結果における記憶した拡大病理画像及び縮小病理画像を、所定の倍率で出力する。所定の倍率は、予め設定された倍率であっても良いし、担当医4等が指定した倍率であっても良い。
診断結果出力モジュールが出力する拡大病理画像及び縮小病理画像について説明する。
診断結果出力モジュールは、診断結果に含まれる拡大病理画像及び縮小病理画像を、担当医端末5に送信する。
担当医端末5は、各病理画像を受信し、自身の表示部に表示する。
担当医4は、この拡大病理画像及び縮小病理画像を用い、患者に対して、診断結果の説明を行う。
担当医端末5は、担当医4により、拡大病理画像又は縮小病理画像に対して所定の入力(病理画像の拡大、縮小、スクロール等)を受け付け、受け付けた入力に応じた処理を実行する。担当医端末5は、病理画像に対して拡大の入力を受け付ける場合、病理画像を、拡大する。担当医端末5は、病理画像に対して縮小の入力を受け付ける場合、病理画像を、縮小する。担当医端末5は、病理画像に対してスクロールの入力を受け付ける場合、病理画像をスクロールする。このとき、担当医端末5は、受け付けた入力内容に応じた信号を、コンピュータ10に送信し、診断結果出力モジュールは、この信号に応じた処理(出力した拡大病理画像の次の倍率の拡大病理画像、出力した縮小病理画像の次の倍率の縮小病理画像、現在担当医端末5が表示中の拡大病理画像の未表示の領域等の出力等)を実行する。
診断結果出力モジュールは、担当医端末5が表示する各病理画像に対する拡大又は縮小の入力を受け付けた場合、現在担当医端末5が表示している倍率を優先し、拡大又は縮小の入力を受け付けた周囲の倍率と、周囲の領域とを現在表示している倍率の送信(コンピュータ10側)及びダウンロード(担当医端末5側)が完了した後に、送信及びダウンロードを実行する。また、診断結果出力モジュールは、担当医端末5が表示する各病理画像に対してスクロールの入力を受け付けた際(現在表示している領域とは異なる領域を表示しようとする入力を受け付けた際等)、現在出力中の病理画像の送信及びダウンロードを一時的に停止し、スクロールの完了後、スクロール後の病理画像の送信及びダウンロードを再開する。
【0051】
以上が、診断結果出力処理である。
担当医4が診断結果を閲覧し、病理医2が行った病理診断に対して同意することにより確定診断となる。この結果、ダブルチェックが発生し、より正確な診断結果を患者に提供することができる。
また、コンピュータ10は、確定診断に用いられた箇所を、学習データとした学習モデルを生成する構成も可能である。ただし、誤診断が含まれていると、学習が正確に行われないおそれがあるため、データの蓄積だけを行い、この箇所を学習データとして用いるか否かを判断する構成も可能である。この構成の場合、ダブルチェックの結果や実際の手術結果等により、病変が実際に認められた箇所を、学習データとして用いると判断する等の構成が可能である。また、病理医2と、担当医4との診断結果が異なる箇所については、学習データとして用いないと判断する等の構成が可能である。
また、コンピュータ10は、病理医2の識別子と、診断結果とを紐付けてデータを記憶し、この病理医2個人のデータのみを学習データとした学習モデルを生成する構成も可能である。この場合、この病理医2個人の診断に近い診断を行う学習が行われる。更に、複数の病理医2のデータを学習データとした学習モデルを同時に用い、解析等を行う構成も可能である。
【0052】
上述した各処理は、別個の処理として記載しているが、コンピュータ10は、上述した各処理の一部又は全部を組み合わせて実行する構成も可能である。
【0053】
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される(SaaS:ソフトウェア・アズ・ア・サービス)形態やクラウドサービスで提供されて良い。また、プログラムは、コンピュータ読取可能な記録媒体に記録された形態で提供されて良い。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記録装置又は外部記録装置に転送し記録して実行する。また、そのプログラムを、記録装置(記録媒体)に予め記録しておき、その記録装置から通信回線を介してコンピュータに提供するようにしても良い。
【0054】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【0055】
本実施形態に開示される第1の態様は、病理画像を出力する病理診断支援システムであって、
患者から採取された標本に基づいたオリジナル病理画像を取得する取得部と、
取得した前記オリジナル病理画像に基づいて、所定の倍率で拡大した拡大病理画像及び所定の倍率で縮小した縮小病理画像を生成する生成部と、
生成した前記拡大病理画像及び前記縮小病理画像を、階層的に記憶する記憶部と、
記憶した前記拡大病理画像及び前記縮小病理画像を、所定の倍率で出力する出力部と、
を備える病理診断支援システムを提供する。
【0056】
本実施形態に開示される第2の態様は、記憶した前記拡大病理画像及び前記縮小病理画像を解析する解析部と、
解析結果に基づいて、前記拡大病理画像及び前記縮小病理画像における病変リスクを判定する判定部と、
判定結果に基づいて、前記拡大病理画像及び前記縮小病理画像に重要度を設定する重要度設定部と、
を更に備える第1の態様に記載の病理診断支援システムを提供する。
【0057】
本実施形態に開示される第3の態様は、前記拡大病理画像及び前記縮小病理画像に、設定した前記重要度に応じた態様を設定する態様設定部、
を更に備え、
前記出力部は、前記重要度に応じた態様を設定した前記拡大病理画像及び前記縮小病理画像を出力する、
第2の態様に記載の病理診断支援システムを提供する。
【0058】
本実施形態に開示される第4の態様は、前記態様が、ヒートマップによるものである、
第3の態様に記載の病理診断支援システムを提供する。
【0059】
本実施形態に開示される第5の態様は、前記態様が、明度、彩度、コントラスト、カラーバランスの少なくとも一つを変化させたものである、
第3の態様に記載の病理診断支援システムを提供する。
【0060】
本実施形態に開示される第6の態様は、前記態様が、所定のアイコンを重畳させるものである、
第3の態様に記載の病理診断支援システムを提供する。
【0061】
本実施形態に開示される第7の態様は、前記態様が、病変リスクが無い位置を所定の色相、明度、彩度の少なくとも一つで表すものである、
第3の態様に記載の病理診断支援システムを提供する。
【符号の説明】
【0062】
1 病理診断支援システム
2 病理医
3 病理医端末
4 担当医
5 担当医端末
8 ネットワーク
10 コンピュータ
11 取得部
12 出力部
13 記憶部
14 生成部
20、30、40、50 縮小病理画像
21、31、41、51 拡大病理画像
22、32、42、52 赤枠
23、43、53 ハイライト
54 アノテーション
【手続補正書】
【提出日】2024-10-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
病理画像を出力する病理診断支援システムであって、
患者から採取された標本に基づいたオリジナル病理画像を取得する取得部と、
取得した前記オリジナル病理画像を、所定の倍率で拡大した拡大病理画像を生成する生成部と、
生成した前記拡大病理画像を、前記オリジナル病理画像との位置関係を保持して階層的に記憶する記憶部と、
記憶した前記拡大病理画像を、所定の倍率で出力する出力部と、
を備える病理診断支援システム。
【請求項2】
記憶した前記拡大病理画像を解析する解析部と、
解析結果に基づいて、前記拡大病理画像における病変リスクを判定する判定部と、
判定結果に基づいて、前記拡大病理画像に重要度を設定する重要度設定部と、
を更に備える請求項1に記載の病理診断支援システム。
【請求項3】
前記拡大病理画像に、設定した前記重要度に応じた態様を設定する態様設定部、
を更に備え、
前記出力部は、前記重要度に応じた態様を設定した前記拡大病理画像を出力する、
請求項2に記載の病理診断支援システム。
【請求項4】
前記態様が、ヒートマップによるものである、
請求項3に記載の病理診断支援システム。
【請求項5】
前記態様が、明度、彩度、コントラスト、カラーバランスの少なくとも一つを変化させたものである、
請求項3に記載の病理診断支援システム。
【請求項6】
前記態様が、所定のアイコンを重畳させるものである、
請求項3に記載の病理診断支援システム。
【請求項7】
前記態様が、病変リスクが無い位置を所定の色相、明度、彩度の少なくとも一つで表すものである、
請求項3に記載の病理診断支援システム。
【請求項8】
病理画像を出力するコンピュータが実行する病理診断支援方法であって、
患者から採取された標本に基づいたオリジナル病理画像を取得するステップと、
取得した前記オリジナル病理画像を、所定の倍率で拡大した拡大病理画像を生成するステップと、
生成した前記拡大病理画像を、前記オリジナル病理画像との位置関係を保持して階層的に記憶するステップと、
記憶した前記拡大病理画像を、所定の倍率で出力するステップと、
を備える病理診断支援方法。
【請求項9】
病理画像を出力するコンピュータに、
患者から採取された標本に基づいたオリジナル病理画像を取得するステップ、
取得した前記オリジナル病理画像を、所定の倍率で拡大した拡大病理画像を生成するステップ、
生成した前記拡大病理画像を、前記オリジナル病理画像との位置関係を保持して階層的に記憶するステップ、
記憶した前記拡大病理画像を、所定の倍率で出力するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0006
【補正方法】変更
【補正の内容】
【0006】
本発明は、病理画像を出力する病理診断支援システムであって、
患者から採取された標本に基づいたオリジナル病理画像を取得する取得部と、
取得した前記オリジナル病理画像を、所定の倍率で拡大した拡大病理画像を生成する生成部と、
生成した前記拡大病理画像を、前記オリジナル病理画像との位置関係を保持して階層的に記憶する記憶部と、
記憶した前記拡大病理画像を、所定の倍率で出力する出力部と、
を備える病理診断支援システムを提供する。