(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023075979
(43)【公開日】2023-06-01
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230525BHJP
G16H 30/40 20180101ALI20230525BHJP
【FI】
G06T7/00 612
G16H30/40
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2021189095
(22)【出願日】2021-11-22
【国等の委託研究の成果に係る記載事項】(出願人による申告)2019年度、国立研究開発法人医薬基盤・健康・栄養研究所、戦略的イノベーション創造プログラム AI(人工知能)ホスピタルによる高度診断・治療システム、人工知能を有する統合がん診療支援システム委託研究開発、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】000173588
【氏名又は名称】公益財団法人がん研究会
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】溝部 秀謙
(72)【発明者】
【氏名】長門 優喜
(72)【発明者】
【氏名】川岸 将実
(72)【発明者】
【氏名】高松 学
(72)【発明者】
【氏名】津山 直子
【テーマコード(参考)】
5L096
5L099
【Fターム(参考)】
5L096BA06
5L096BA13
5L096HA08
5L096JA03
5L096JA11
5L099AA26
(57)【要約】
【課題】検体から組織切片を切り出す位置を適切に決定すること。
【解決手段】実施形態に係る情報処理装置は、検体画像取得部と、切り出しポリシー取得部と、興味領域認識部と、切り出し位置決定部とを備える。検体画像取得部は、病理検体を撮影した検体画像を取得する。切り出しポリシー取得部は、病理検体から組織切片を切り出す際の規則を定めた切り出しポリシーを取得する。興味領域認識部は、検体画像から第一の興味領域を認識する。切り出し位置決定部は、第一の興味領域および切り出しポリシーに基づいて、検体画像における組織切片の切り出し位置を決定する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
病理検体を撮影した検体画像を取得する検体画像取得部と、
前記病理検体から組織切片を切り出す際の規則を定めた切り出しポリシーを取得する切り出しポリシー取得部と、
前記検体画像から第一の興味領域を認識する興味領域認識部と、
前記第一の興味領域および前記切り出しポリシーに基づいて、前記検体画像における前記組織切片の切り出し位置を決定する切り出し位置決定部と、
を備える情報処理装置。
【請求項2】
前記興味領域認識部は、前記切り出しポリシーに基づいて、前記検体画像から認識すべき興味領域の特徴を特定した上で、前記検体画像から当該特徴に応じた前記第一の興味領域を認識する、
請求項1に記載の情報処理装置。
【請求項3】
前記切り出しポリシー取得部は、前記病理検体の種類に応じて、前記病理検体から組織切片を切り出す際の規則を定めた複数の切り出しポリシーの候補のうち、前記病理検体の切り出しに適用する切り出しポリシーを取得することを特徴とする、
請求項1に記載の情報処理装置。
【請求項4】
前記切り出しポリシー取得部は、前記検体画像から抽出された興味領域に基づいて、前記病理検体から組織切片を切り出す際の規則を定めた複数の切り出しポリシーの候補のうち、前記病理検体の切り出しに適用する切り出しポリシーを取得することを特徴とする、
請求項1に記載の情報処理装置。
【請求項5】
前記切り出し位置決定部によって決定された切り出し位置で切り出される前記組織切片の大きさが閾値以上となる場合に、前記組織切片を複数に分割するための分割位置候補を決定する分割位置候補決定部、をさらに備える、
請求項1に記載の情報処理装置。
【請求項6】
前記切り出し位置を表す切り出し線を重畳した前記検体画像を表示部に表示させる表示制御部、をさらに備える、
請求項1から5のいずれか1項に記載の情報処理装置。
【請求項7】
前記検体画像は2次元画像であり、
前記興味領域認識部は、前記検体画像に描出された検体表面の特徴に基づいて、前記第一の興味領域を認識する、
請求項1から6のいずれか1項に記載の情報処理装置。
【請求項8】
前記検体画像は3次元画像であり、
前記興味領域認識部は、前記検体画像に描出された検体表面および検体内部の特徴に基づいて、前記第一の興味領域を認識する、
請求項1から6のいずれか1項に記載の情報処理装置。
【請求項9】
前記病理検体から切り出された複数の組織切片を撮影した組織画像を取得する組織画像取得部と、
前記組織画像において前記複数の組織切片が描出された領域を複数の組織領域として認識する組織領域認識部と、
前記検体画像における前記複数の組織切片の採取位置を表す複数の切り出し位置を取得する切り出し位置取得部と、
前記複数の切り出し位置と前記複数の組織領域との対応関係を特定する切り出し位置対応付け部と、
前記検体画像における前記第一の興味領域と前記対応関係とに基づいて、前記複数の組織領域において、前記組織画像における前記第一の興味領域に対応する複数の第二の興味領域の位置を特定する興味領域対応付け部と、をさらに備える、
請求項1から8のいずれか1項に記載の情報処理装置。
【請求項10】
前記切り出し位置取得部は、前記切り出し位置を表す切り出し線に基づいて、前記検体画像における切り出し位置を特定する、
請求項9に記載の情報処理装置。
【請求項11】
前記切り出し位置決定部によって決定された切り出し位置、または前記切り出し位置取得部によって取得された切り出し位置が、実際の前記検体画像における前記組織領域に対応する前記組織切片の採取位置と異なる場合に、該切り出し位置を修正する切り出し位置修正部を備える、
請求項9または10に記載の情報処理装置。
【請求項12】
前記切り出し位置対応付け部は、予め定められた運用ルールに従って前記複数の切り出し位置と前記複数の組織領域との対応関係を特定する、
請求項9から11のいずれか1項に記載の情報処理装置。
【請求項13】
前記切り出し位置対応付け部は、ユーザによる操作に基づいて、前記複数の切り出し位置と前記複数の組織領域との対応関係を特定する、
請求項9から11のいずれか1項に記載の情報処理装置。
【請求項14】
前記組織画像に前記複数の第二の興味領域を表す画像を重畳して表示部に表示させる表示制御部、を備える、
請求項9から11のいずれか1項に記載の情報処理装置。
【請求項15】
前記表示制御部は、前記検体画像と、前記複数の第二の興味領域を表す画像が重畳して表示された前記組織画像とを対応づけて前記表示部に表示させる、
請求項14に記載の情報処理装置。
【請求項16】
前記表示制御部は、前記検体画像に前記第一の興味領域を表す画像を重畳して前記表示部に表示させる、
請求項15に記載の情報処理装置。
【請求項17】
前記表示部に表示された前記第二の興味領域に対するユーザの操作を受け付けた場合に、当該第二の興味領域に対応する切り出し位置を含む前記検体画像を前記表示部に表示させる、
請求項15または16に記載の情報処理装置。
【請求項18】
前記第二の興味領域を、ユーザの操作に基づいて修正する興味領域修正部、を備える、
請求項9から17のいずれか1項に記載の情報処理装置。
【請求項19】
病理検体を撮影した検体画像を取得する検体画像取得ステップと、
前記病理検体から組織切片を切り出す際の規則を定めた切り出しポリシーを取得する切り出しポリシー取得ステップと、
前記検体画像から第一の興味領域を認識する興味領域認識ステップと、
前記第一の興味領域および前記切り出しポリシーに基づいて、前記検体画像における前記組織切片の切り出し位置を決定する切り出し位置決定ステップと、
を含む情報処理方法。
【請求項20】
病理検体を撮影した検体画像を取得する検体画像取得ステップと、
前記病理検体から組織切片を切り出す際の規則を定めた切り出しポリシーを取得する切り出しポリシー取得ステップと、
前記検体画像から第一の興味領域を認識する興味領域認識ステップと、
前記第一の興味領域および前記切り出しポリシーに基づいて、前記検体画像における前記組織切片の切り出し位置を決定する切り出し位置決定ステップと、
をコンピュータに実行させる含むプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
従来、病理学の分野等では、検体である組織片の全体が撮像された検体画像と、該検体から切り出された組織切片が検体画像よりも高倍率で撮像された組織画像とが、医師等による病理組織診断等に使用されている。
【0003】
しかしながら、このような病理組織診断において、検体から組織切片を切り出す位置を作業者が決定していたため、作業者の習熟度によっては適切な位置で組織切片を切り出すことが困難な場合があった。このため、検体中の病巣領域等が適切に切り出されるとは限らず、診断精度にばらつきが生じることがあった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2015-38467号公報
【特許文献2】特開2019-200090号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、検体から組織切片を切り出す位置を適切に決定することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0006】
実施形態に係る情報処理装置は、検体画像取得部と、切り出しポリシー取得部と、興味領域認識部と、切り出し位置決定部とを備える。検体画像取得部は、病理検体を撮影した検体画像を取得する。切り出しポリシー取得部は、病理検体から組織切片を切り出す際の規則を定めた切り出しポリシーを取得する。興味領域認識部は、検体画像から第一の興味領域を認識する。切り出し位置決定部は、第一の興味領域および切り出しポリシーに基づいて、検体画像における組織切片の切り出し位置を決定する。
【図面の簡単な説明】
【0007】
【
図1】
図1は、第1の実施形態に係る情報処理システムの全体構成の一例を示す図である。
【
図2】
図2は、第1の実施形態に係る組織画像が撮像されるまでの流れについて説明する図である。
【
図3】
図3は、第1の実施形態に係る情報処理装置100によって実行される処理の概要の一例を示す図である。
【
図4】
図4は、第1の実施形態に係る興味領域の認識について説明する図である。
【
図5】
図5は、第1の実施形態に係る切り出しポリシー(8)「組織切片の採取数が規定の間隔で最も多くなるように切り出す。」に基づく切り出し位置の一例を示す図である。
【
図6】
図6は、第1の実施形態に係る切り出しポリシー(9)「組織切片の採取数が規定の間隔で最も少なくなるように切り出す。」に基づく切り出し位置の一例を示す図である。
【
図7】
図7は、第1の実施形態に係る切り出し位置決定処理の流れの一例を示すフローチャートである。
【
図8】
図8は、第1の実施形態の変形例1に係る切り出し位置の一例を示す図である。
【
図9】
図9は、第1の実施形態の変形例2に係る切り出し位置の一例を示す図である。
【
図10】
図10は、第1の実施形態の変形例5に係る切り出し位置の一例を示す図である。
【
図11】
図11は、第1の実施形態の変形例6に係る切り出し位置の一例を示す図である。
【
図12】
図12は、第1の実施形態の変形例7に係る切り出し位置の一例を示す図である。
【
図13】
図13は、第3の実施形態に係る切り出し位置決定処理の流れの一例を示すフローチャートである。
【
図14】
図14は、第3の実施形態の変形例1に係る切り出し位置の一例を示す図である。
【
図15】
図15は、第4の実施形態に係る情報処理システムの全体構成の一例を示す図である。
【
図16】
図16は、第4の実施形態に係る分割位置候補の一例を示す図である。
【
図17】
図17は、第4の実施形態に係る切り出し位置および分割位置候補の決定処理の流れの一例を示すフローチャートである。
【
図18】
図18は、第4の実施形態の変形例1に係る分割位置候補の一例を示す図である。
【
図19】
図19は、第5の実施形態に係る情報処理システムの全体構成の一例を示す図である。
【
図20】
図20は、第5の実施形態に係る検体画像と組織画像の一例を示す図である。
【
図21】
図21は、第5の実施形態に係る検体画像における切り出し位置の一例を示す図である。
【
図22】
図22は、第5の実施形態に係る検体画像における複数の切り出し位置と組織画像における複数の組織領域と対応関係の一例を示す図である。
【
図23】
図23は、第5の実施形態に係るユーザにより設定されたIDの一例を示す図である。
【
図24】
図24は、第5の実施形態に係る検体画像における切り出し線と組織画像上の組織領域との対応関係の一例を示す図である。
【
図25】
図25は、
図24に図示した切り出し位置と組織領域との対応関係に基づく興味領域のマッピングの一例を示す図である。
【
図26】
図26は、第5の実施形態に係る興味領域のマッピング処理の流れの一例を示すフローチャートである。
【
図27】
図27は、第5の実施形態の変形例1に係る興味領域のマッピング処理の流れの一例を示すフローチャートである。
【
図28】
図28は、第6の実施形態に係る情報処理システムの全体構成の一例を示す図である。
【
図29】
図29は、第6の実施形態に係る興味領域のマッピング処理の流れの一例を示すフローチャートである。
【
図30】
図30は、第7の実施形態に係る切り出し位置の一例を示す図である。
【
図31】
図31は、第7の実施形態に係る興味領域のマッピングの一例を示す図である。
【発明を実施するための形態】
【0008】
以下、図面を参照しながら、情報処理装置、情報処理方法、およびプログラムの実施形態について詳細に説明する。
【0009】
(第1の実施形態)
図1は、第1の実施形態に係る情報処理システムSの全体構成の一例を示す図である。
図1に示すように、情報処理システムSは、情報処理装置100と、検体画像保管装置201と、組織画像保管装置202と、第一の撮影装置401と、第二の撮影装置402とを備える。
【0010】
情報処理装置100と、検体画像保管装置201と、組織画像保管装置202と、第一の撮影装置401と、第二の撮影装置402とは、院内LAN(Local Area Network)等のネットワーク300を介して検体画像保管装置201および組織画像保管装置202と通信可能に接続している。
【0011】
なお、情報処理システムSは、さらに、検体管理システム、病院情報システム(Hospital Information System:HIS)、臨床検査システム(Laboratory Information System:LIS)、及び放射線情報システム(Radiology Information System:RIS)等を含んでもよい。あるいは、情報処理システムSは、病院情報システムの一部であってもよい。また、情報処理システムSは、さらに、PC(Personal Computer)やタブレット端末等の端末装置を含んでもよい。
【0012】
情報処理システムSは、例えば、病院等の医療機関、大学等の研究機関、または検査センター等に設けられる。また、情報処理システムSを構成する装置の一部または全てが、クラウド環境に設けられてもよい。
【0013】
第一の撮影装置401は、検体である組織片を撮影する。本実施形態においては、病理検体(以下、単に検体という)である組織片の全体が撮像された画像を検体画像という。第一の撮影装置401は、例えば、デジタルカメラであるが、これに限定されるものではない。例えば、第一の撮影装置401は、アナログカメラ、またはビデオカメラであってもよい。また、第一の撮影装置401は、検体の三次元断層画像を撮影可能なOCT(Optical Coherence Tomography)装置、MicroCT(Computed Tomography)装置、MicroMRI(Magnetic Resonance Imaging)装置、またはX線CT装置、またはMRI(Magnetic Resonance Imaging)装置等であってもよい。また、第一の撮影装置401は、検体の表面点群を取得する三次元スキャナ等であってもよい。なお、検体画像は染色等の異常領域を視認しやすくするための処理がされることがある。なお、検体画像は、マクロ画像ともいう。
【0014】
本実施形態においては、検体は、患者の身体や、動物等から採取された一部組織とする。例えば、検体は、内視鏡的粘膜切除(Endoscopic Mucosal Resection:EMR)および内視鏡的粘膜下層はく離術(Endoscopic Submucosal Dissection:ESD)によって切除された消化器の粘膜および粘膜下層等の組織片であるが、これに限定されるものではなく、開腹手術等によって切除された組織片であってもよい。
【0015】
第二の撮影装置402は、検体である組織片から切り出された少なくとも1つの切片を、検体画像よりも高倍率で撮影する。本実施形態においては、検体である組織片から切り出された少なくとも1つの切片を、検体画像よりも高倍率で撮影された画像を組織画像という。第二の撮影装置402は、例えば、WSS(Whole Slide Scanner)、またはデジタル顕微鏡である。WSSは、スライドガラスに載せられた切片全体またはその一部を高精度にデジタル画像化したWSI(Whole Slide Imaging)画像を撮影する装置であるが、これらに限定されるものではない。なお、組織画像は、ミクロ画像ともいう。
【0016】
なお、第一の撮影装置401および第二の撮影装置402は、情報処理システムSに含まれなくともよい。
【0017】
検体画像保管装置201は、第一の撮影装置401により撮影された検体画像を保管する装置である。なお、検体画像保管装置201は、第一の撮影装置401以外の装置により撮影された検体画像を保管してもよい。
【0018】
組織画像保管装置202は、第二の撮影装置402により撮影された組織画像を保管する装置である。なお、組織画像保管装置202は、第二の撮影装置402以外の装置により撮影された検体画像を保管してもよい。
【0019】
検体画像保管装置201および組織画像保管装置202は、例えばサーバ装置またはPC等である。なお、検体画像保管装置201および組織画像保管装置202を総称して画像保管装置と呼んでもよい。また、
図1では検体画像保管装置201と組織画像保管装置202とを、別個の装置として記載したが、検体画像保管装置201と組織画像保管装置202とは一体の装置として構成されてもよい。また、検体画像保管装置201、組織画像保管装置202、および情報処理装置100が、一体の装置として構成されてもよい。
【0020】
図2は、第1の実施形態に係る組織画像が撮像されるまでの流れについて説明する図である。例えば、診断医によって患者Pから採取された検体5は、病理診断のために、病理医または検査技師に移送される。この際、病理診断の依頼(オーダー)毎に、病理番号が採番される。また、病理診断の対象となる検体ごとに、異なる検体番号が採番される。なお、1回の病理診断の依頼において、診断対象の検体が複数ある場合には、1つの病理番号に、複数の検体番号が対応付けられる。以下、本実施形態においては、病理医または検査技師を病理医等という。
【0021】
なお、本実施形態における情報処理装置100が実行する処理は、必ずしも病理診断を目的としなくてもよい。例えば、研究機関による研究、または医療機関から委託されて病理学的検査を行う検査センターにおける報告書の作成を目的としてもよい。
【0022】
また、検体5がデジタルカメラ等によって撮像された検体画像51の識別情報として、検体画像IDが付与される。検体画像IDは、検体画像51の付帯情報として登録されてもよい。また、検体画像51の撮像対象である検体5の病理番号、検体5の検体番号、検体5に係る病理診断のオーダー番号、検体5の取得元の患者Pの患者ID、検体画像51の撮像日時等の検体画像51に関する情報が、検体画像51の付帯情報として登録されてもよい。また、検体画像ID、およびその他の検体画像51に関する情報は、検体画像51上に文字情報として描出されてもよい。
【0023】
病理医等は、検体5から組織切片60a~60eを切り出し、染色等の処理を施した後、例えば、組織切片60a~60eの断面を薄切し、スライドガラス7に載置する。以下、個々の組織切片60a~60eを区別しない場合は、単に組織切片60という。
【0024】
本実施形態においては、スライドガラス7に載置された切片群を、組織標本6という。組織標本6は、少なくとも1つの組織切片60を含む。
【0025】
また、
図2では、各組織切片60がそのままスライドガラス7に載置されているが、組織切片60の長さが長い場合や、切り出し位置の形状によっては、1つの組織切片60が、複数の断片に分割されてスライドガラス7に載置される場合がある。
【0026】
なお、
図2では一例として、組織切片60a~60eは断面を撮像装置側に向けた状態で撮像されるが、載置の向きはこれに限定されるものではない。例えば、組織切片60は、検体画像51の撮像時の検体5と同じ向きで、撮像されてもよい。また、
図2では組織画像61の横方向が組織領域62の長手方向となるように、組織切片60がスライドガラス7上に配置されていたが、配置方向はこれに限定されるものではない。例えば、組織画像61の縦方向が組織領域62の長手方向となるように、組織切片60がスライドガラス7上に配置されてもよい。あるいは、組織切片60は、スライドガラス7上に斜めに配置されてもよい。組織切片60の配置は、例えば、医療機関ごとの切片配置規則によって定められているものとする。
【0027】
スライドガラス7に載置された組織標本6を撮像したWSI画像等の画像が、組織画像61である。組織画像61には、組織切片60a~60eを含む組織標本6が描出される。
【0028】
組織画像61の識別情報として、組織画像IDが付与される。組織画像IDは、組織画像61の付帯情報として登録されてもよい。また、組織画像61の撮像対象である切片の取得元である検体5の病理番号、検体5の検体番号、検体5に係る病理診断のオーダー番号、検体5の取得元の患者Pの患者ID、組織画像61の撮像日時等の組織画像61に関する情報が、組織画像61の付帯情報として登録されてもよい。また、組織画像ID、およびその他の組織画像61に関する情報は、組織画像61上に文字情報として描出されてもよい。また、組織画像61の付帯情報として、組織画像61を撮像した医療機関等の施設の識別情報が含まれてもよい。組織画像61の撮像処理を撮像した医療機関等の施設の識別情報は、例えば、臨床検査システムまたは検体管理システムから取得されてもよい。
【0029】
組織画像61は、スライドガラス7が描出された背景領域70と、組織標本6が描出された複数の組織領域62a~62eとを含む。以下、個々の組織領域62a~62eを区別しない場合は、単に組織領域62という。
【0030】
本実施形態の情報処理装置100は、組織画像61が撮影される前に、検体5から組織標本6を切り出す切り出し位置を決定することにより、技師等の作業を支援する。
【0031】
図3は、第1の実施形態に係る情報処理装置100によって実行される処理の概要の一例を示す図である。
図3に示すように、情報処理装置100は、検体画像51から興味領域を抽出し、抽出した興味領域と、組織切片の切り出しポリシーとに基づいて、組織切片の切り出し位置を決定する。情報処理装置100は、決定した切り出し位置を示す切り出し線53を検体画像51に重畳して表示させることにより、技師等に対して切り出し位置を提示することができる。
【0032】
興味領域は、一例として、検体画像51のうち、病理診断において重要視される特定の組織が描出された画像領域である。一例として、興味領域は、病巣部位が描出された病巣領域である。病巣部位は、例えば、腺腫や腺がんなどの腫瘍である。また、興味領域は、病巣とは限定されないが、何らかの異常が生じている異常領域であってもよい。以下、本実施形態における病巣領域という記載は、異常領域に読み替えてもよい。
【0033】
また、興味領域は、例えば腫瘍等の異常部位が描出された画像領域とする。あるいは、興味領域は、例えば消化管であれば、粘膜、粘膜筋板、粘膜下層、固有筋層、または漿膜下層等の正常組織、その他の臓器であれば血管、筋肉、脂肪、各種臓器固有の実質等の正常部位が描出された画像領域が含まれてもよい。腫瘍等のない正常領域は、例えば腫瘍の計測等に利用される。興味領域には、いずれか一の組織が含まれてもよいし、複数種類の組織が含まれてもよい。
【0034】
図3に示す例では、検体画像51のうち、検体5が描出された検体領域510に含まれる病巣領域511が興味領域であるものとする。また、検体領域510が興味領域であってもよい。
【0035】
図1に戻り、情報処理装置100は、例えばサーバ装置またはPC等であり、NWインタフェース110と、記憶回路120と、入力インタフェース130と、ディスプレイ140と、処理回路150とを有する。
【0036】
NWインタフェース110は、処理回路150に接続されており、情報処理装置100と第一の撮影装置401、第二の撮影装置402、検体画像保管装置201、および組織画像保管装置202との間で行われる各種データの伝送および通信を制御する。NWインタフェース110は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
【0037】
記憶回路120は、処理回路150で使用される各種の情報を予め記憶する。また、記憶回路120は、各種のプログラムを記憶する。また、記憶回路120は、後述の切り出しポリシーを記憶する。
【0038】
入力インタフェース130は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インタフェース130は、処理回路150に接続されており、操作者から受け取った入力操作を電気信号へ変換し処理回路150へと出力する。なお、本明細書において入力インタフェースはマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、情報処理装置100とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路150へ出力する電気信号の処理回路も入力インタフェース130の例に含まれる。
【0039】
ディスプレイ140は、液晶ディスプレイや有機EL(Organic Electro-Luminescence:OEL)ディスプレイ等である。なお、入力インタフェース130とディスプレイ140とは統合してもよい。例えば、入力インタフェース130とディスプレイ140とは、タッチパネルによって実現されてもよい。ディスプレイ140は、表示部の一例である。
【0040】
処理回路150は、記憶回路120からプログラムを読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。本実施形態の処理回路150は、検体画像取得機能151、切り出しポリシー取得機能152、興味領域認識機能153、切り出し位置決定機能154、表示制御機能155、および受付機能156を備える。検体画像取得機能151は、検体画像取得部の一例である。切り出しポリシー取得機能152は、切り出しポリシー取得部の一例である。興味領域認識機能153は、興味領域認識部の一例である。切り出し位置決定機能154は、切り出し位置決定部の一例である。表示制御機能155は、表示制御部の一例である。受付機能156は、受付部の一例である。
【0041】
ここで、例えば、処理回路150の構成要素である検体画像取得機能151、切り出しポリシー取得機能152、興味領域認識機能153、切り出し位置決定機能154、表示制御機能155、および受付機能156の各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路120に記憶されている。処理回路150は、プロセッサである。例えば、処理回路150は、プログラムを記憶回路120から読み出し、実行することで各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路150は、
図1の処理回路150内に示された各機能を有することとなる。なお、
図1においては単一のプロセッサにて検体画像取得機能151、切り出しポリシー取得機能152、興味領域認識機能153、切り出し位置決定機能154、表示制御機能155、および受付機能156にて行われる処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路150を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、
図1においては単一の記憶回路120が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路150は個別の記憶回路から対応するプログラムを読み出す構成としても構わない。
【0042】
上記説明では、「プロセッサ」が各機能に対応するプログラムを記憶回路から読み出して実行する例を説明したが、実施形態はこれに限定されない。「プロセッサ」という文言は、例えば、CPU(Central Processing Unit )、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device :CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサが例えばCPUである場合、プロセッサは記憶回路に保存されたプログラムを読み出して実行することで機能を実現する。一方、プロセッサがASICである場合、記憶回路120にプログラムを保存する代わりに、当該機能がプロセッサの回路内に論理回路として直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、
図1における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0043】
検体画像取得機能151は、第一の撮影装置401または検体画像保管装置201から検体画像51を取得する。
【0044】
取得対象の検体画像51は、例えば、後述の受付機能156が受け付けたユーザの操作によって指定される。情報処理装置100のユーザは、病理医等である。
【0045】
ユーザは、例えば、病理番号、患者ID、検体番号、オーダー番号、または撮像日等のいずれか、またはこれらの組み合わせを入力することにより、取得対象の検体画像51を指定する。
【0046】
また、ユーザは、検体画像保管装置201に保存された検体画像51のリストから、取得対象を選択してもよい。なお、検体画像51は、予め記憶回路120に記憶され、ユーザの操作によって読み出されてもよい。
【0047】
切り出しポリシー取得機能152は、検体5から組織切片60を切り出す際の規則を定めた切り出しポリシーを取得する。
【0048】
切り出しポリシー取得機能152は、例えば、処理に用いられる切り出しポリシーを入力するユーザの操作を受け付ける。また、切り出しポリシー取得機能152は、例えば、記憶回路120に予め記憶された複数の切り出しポリシーのうち、処理に用いられる切り出しポリシーを選択するユーザの操作を受け付けてもよい。また、切り出しポリシーがデフォルト値として記憶回路120に設定されている場合、切り出しポリシー取得機能152は、当該デフォルト値として設定された切り出しポリシーを取得してもよい。切り出しポリシーのデフォルト値は、例えば、ユーザまたは管理者により予め設定される。また、切り出しポリシー取得機能152は、各種のアルゴリズムにより、処理に用いられる一の切り出しポリシーを自動的に選択してもよい。また、切り出しポリシー取得機能152は、検体画像51に対応付けられた切り出しポリシーを、第一の撮影装置401、検体画像保管装置201またはその他の装置から取得してもよい。
【0049】
本実施形態における切り出しポリシーは、例えば、以下のいずれかであるものとする。
(1)検体領域の長径に直交するように切り出し位置を設定する。
(2)病巣領域の長径に直交するように切り出し位置を設定する。
(3)検体領域の短径に直交するように切り出し位置を設定する。
(4)病巣領域の短径に直交するように切り出し位置を設定する。
(5)検体領域の重心を通るように任意の切り出し位置を設定する。
(6)病巣領域の重心を通るように任意の切り出し位置を設定する。
(7)切り出し位置を仮に設定し、仮設定した切り出し位置を回転させて条件を満たす切り出し位置を設定する。
(8)組織切片の採取数が規定の間隔で最も多くなるように切り出す。
(9)組織切片の採取数が規定の間隔で最も少なくなるように切り出す。
(10)組織切片が病巣領域を含むように切り出す。
(11)各組織切片が指定サイズより小さくなるように切り出す。
(12)各組織切片が指定サイズより大きくなるように切り出す。
(13)各組織切片が指定サイズに近くなるように切り出す。
(14)各組織切片がなるべく均一なサイズとなるように切り出す。
(15)各組織切片を指定された本数で等間隔に切り出す。
(16)各組織切片を指定された本数で、病巣領域らしさを示す確率が高い順に切り出す。
(17)指定した切り出し回数で最も病巣領域を含むように切り出す。
(18)指定した切り出し回数で最も病巣領域の確立が高い順に切り出す。
(19)組織切片の厚みが最も厚くなるように切り出す。
(20)組織切片の厚みが最も薄くなるように切り出す。
(21)病巣領域を含む組織切片の数が規定の間隔で最も多くなるように切り出す。
(22)切り出し位置を設定しない。
【0050】
切り出しポリシー取得機能152は、互いに矛盾しない切り出しポリシーであれば、上記切り出しポリシーのうちの複数を選択してもよい。例えば、上記切り出しポリシー(1)~(7)は、「興味領域」の定義を検体領域とするか、病巣領域とするかで切り出し方が異なる。(8)~(21)と組み合わせ可能である。切り出しポリシー(1)~(6)は、なお、切り出しポリシーは、上述の例に限定されるものではない。切り出しポリシーは、切片切り出し規則ともいう。
【0051】
興味領域認識機能153は、検体画像51から興味領域を認識する。
【0052】
図4は、第1の実施形態に係る興味領域の認識について説明する図である。
図4に示す例では、上述の
図3と同様に、検体画像51のうち、検体5が描出された検体領域510の一部に含まれる病巣領域511が興味領域であるものとする。
【0053】
興味領域認識機能153は、検体画像51が2次元画像である場合には、検体画像51に描出された検体5の表面の特徴に基づいて、興味領域を認識する。
【0054】
より詳細には、興味領域認識機能153は、検体画像51から、画像セグメンテーション処理によって、検体領域510および病巣領域511を抽出する。
【0055】
本実施形態における検体画像51上の病巣領域511は、本実施形態における第一の興味領域の一例である。また、検体画像51のうち、検体5が描出された検体領域510を、第一の興味領域の一例としてもよい。
【0056】
なお、興味領域認識機能153は、画像セグメンテーション処理に限らず、Selective Search等のルールベースの画像処理、ユーザによる手動操作、または機械学習による推論によって認識してもよい。例えば、深層学習により予め検体領域510および病巣領域が学習された学習済みモデルが記憶回路120に記憶されていてもよい。この場合、興味領域認識機能153は、当該学習済みモデルを記憶回路120から読み出して検体画像51を入力する。また、当該学習済みモデルが興味領域認識機能153に組み込まれていてもよい。なお、興味領域認識機能153は、検体領域510と病巣領域のいずれか一方のみを認識してもよい。
【0057】
なお、
図4では、検体画像51が2次元画像である例を図示したが、検体画像51が三次元断層画像の場合には、興味領域認識機能153は、検体5の内部の病巣領域511を興味領域として認識する。例えば、興味領域認識機能153は、検体画像51が3次元画像である場合には、検体画像51に描出された検体5の表面の特徴および検体5の内部の特徴に基づいて、興味領域を認識する。また、検体画像51が表面点群の場合には、興味領域認識機能153は、検体領域510を興味領域として認識する。
【0058】
また、興味領域認識機能153は、興味領域の範囲を一意に特定するのではなく、検体画像51上の各点の「興味領域らしさ」を表す確率を算出してもよい。
【0059】
図1に戻り、切り出し位置決定機能154は、興味領域認識機能153によって認識された興味領域(例えば、検体領域510または病巣領域511)および切り出しポリシー取得機能152によって取得された切り出しポリシーに基づいて、検体画像51における組織切片60の切り出し位置を決定する。
【0060】
図5は、第1の実施形態に係る切り出しポリシー(8)「組織切片の採取数が規定の間隔で最も多くなるように切り出す。」に基づく切り出し位置の一例を示す図である。
【0061】
この場合、切り出し位置決定機能154は、検体領域510の長径521を特定する。検体領域510の長径521は、検体領域510の2つの端部を結ぶ直線のうち、最も長い直線である。切り出し位置決定機能154は、特定した長径521に直交する切り出し位置を、規定の間隔で設定する。規定の間隔は、例えば記憶回路120に予め保存されてもよいし、当該処理の実行時にユーザが指定してもよい。
【0062】
切り出し位置決定機能154は、切り出し位置を、例えば検体画像51上の座標により定義する。
図5では、切り出し位置を、複数の切り出し線53で図示する。
【0063】
なお、切り出しポリシー(1)「検体領域の長径を算出し、長径に直交するように切り出し位置を設定する。」が選択された場合でも、切り出し位置決定機能154は、
図5と同様の手法で切り出し位置を決定する。
【0064】
また、
図6は、第1の実施形態に係る切り出しポリシー(9)「組織切片の採取数が規定の間隔で最も少なくなるように切り出す。」に基づく切り出し位置の一例を示す図である。
【0065】
この場合、切り出し位置決定機能154は、検体領域510の短径522を特定する。検体領域510の短径522は、検体領域510の2つの端部を結ぶ直線のうち、検体領域510の長径521に直交する最も長い直線である。切り出し位置決定機能154は、特定した短径522に直交する切り出し位置を、規定の間隔で設定する。
図6では、切り出し位置を、複数の切り出し線53で図示する。
【0066】
なお、切り出しポリシー(3)「検体領域の短径に直交するように切り出し位置を設定する。」が選択された場合でも、切り出し位置決定機能154は、
図6と同様の手法で切り出し位置を決定する。
【0067】
また、切り出し位置決定機能154は、切り出しポリシー(22)「切り出し位置を設定しない。」が選択された場合は、切り出し位置を設定しない。
【0068】
図1に戻り、表示制御機能155は、切り出し位置決定機能154によって決定された切り出し位置を表す切り出し線53を重畳した検体画像51をディスプレイ140に表示させる。
【0069】
技師等は、ディスプレイ140に表示された検体画像51上の切り出し線53の位置で、検体5から組織切片60を切り出すことにより、切り出しポリシーに沿った適切な位置で組織切片60を切り出すことができる。
【0070】
受付機能156は、入力インタフェース130を介して、ユーザによる各種の操作を受け付ける。
【0071】
次に、以上のように構成された本実施形態の情報処理装置100で実行される切り出し位置決定処理の流れについて説明する。
【0072】
図7は、第1の実施形態に係る切り出し位置決定処理の流れの一例を示すフローチャートである。
【0073】
まず、検体画像取得機能151は、第一の撮影装置401または検体画像保管装置201から検体画像51を取得する(S101)。
【0074】
そして、切り出しポリシー取得機能152は、ユーザの操作またはデフォルト設定等に基づいて切り出しポリシーを取得する(S102)。
【0075】
次に、興味領域認識機能153は、S101で取得された検体画像51から画像セグメンテーション処理または学習済みモデルを用いた処理等により興味領域を認識する(S103)。また、興味領域認識機能153は、検体画像51から検体領域510を認識する。
【0076】
そして、切り出し位置決定機能154は、興味領域認識機能153によって認識された興味領域および切り出しポリシー取得機能152によって取得された切り出しポリシーに基づいて、検体画像51における組織切片60の切り出し位置を決定する(S104)。例えば、ポリシー(8)「組織切片の採取数が規定の間隔で最も多くなるように切り出す。」が取得された場合、切り出し位置決定機能154は、
図5に図示したように、検体領域510の長径521に直交する切り出し位置が規定の間隔で並ぶように切り出し位置を決定する。切り出し位置決定機能154は、決定した切り出し位置を、記憶回路120に保存する。
【0077】
そして、表示制御機能155は、切り出し位置決定機能154により決定された切り出し位置を表す切り出し線53を検体画像51上に重畳して、ディスプレイ140に表示させる(S105)。なお、当該表示のタイミングは、特に限定されない。例えば、表示制御機能155は、切り出し位置決定機能154による切り出し位置の決定の直後に表す切り出し線53を検体画像51上に重畳して表示させてもよいし、受付機能156がユーザの切り出し位置の照会の操作を受け付けた場合に表示させてもよい。ここで、このフローチャートの処理は終了する。
【0078】
このように、本実施形態の情報処理装置100は、検体画像51から認識した興味領域および切り出しポリシーに基づいて、検体画像51における組織切片60の切り出し位置を決定する。このため、本実施形態の情報処理装置100によれば、技師等の習熟度の程度に関わらず、検体5から組織切片を切り出す位置を適切に決定することができる。
【0079】
(第1の実施形態の変形例1)
本変形例では、切り出しポリシー(10)「組織切片が病巣領域を含むように切り出す。」が取得された場合における切り出し位置の決定手法について説明する。
【0080】
図8は、第1の実施形態の変形例1に係る切り出し位置の一例を示す図である。
【0081】
切り出し位置決定機能154は、検体画像51における興味領域認識機能153によって認識された病巣領域511の重心523の位置を特定する。検体画像51上の重心523の座標は、例えば、検体画像51における病巣領域511に含まれる各画素の座標の平均値である。切り出し位置決定機能154は、検体領域510の2つの端部を結ぶ直線のうち、特定した重心523を通る最も長い第一の直線と、第一の直線に直交する第二の直線の位置を算出して、切り出し位置として決定する。
図8では、第一の直線に相当する切り出し位置を切り出し線53a、第二の直線に相当する切り出し位置を切り出し線53bとして図示する。
【0082】
なお、切り出し位置決定機能154は、重心523の代わりに、病巣領域511の長径と短径の交点を用いてもよい。あるいは、興味領域認識機能153が興味領域らしさを示す確率を算出した場合は、当該確率が最も高い点を重心523の代わりに用いてもよい。また、当該確率が最も高い点が複数ある場合は、切り出し位置決定機能154は、それらの点の重心とそれらの点を切り出し位置が通るように切り出し位置を決定してもよい。
【0083】
なお、切り出しポリシー(6)「病巣領域の重心を通るように任意の切り出し位置を設定する。」が選択された場合でも、切り出し位置決定機能154は、
図8と同様の手法で切り出し位置を決定する。
【0084】
(第1の実施形態の変形例2)
本変形例では、切り出しポリシー(12)「各組織切片が指定サイズより大きくなるように切り出す。」が取得された場合における切り出し位置の決定手法について説明する。組織切片60のサイズは、組織切片60の長手方向の長さを表す。指定サイズは、記憶回路120に予め保存されていてもよいし、ユーザにより入力されてもよい。
【0085】
図9は、第1の実施形態の変形例2に係る切り出し位置の一例を示す図である。切り出し位置決定機能154は、検体領域510の長径に直交する切り出し位置を、規定の間隔で仮設定する。
図9では、仮設定された切り出し位置を、仮設定線530により示す。
【0086】
切り出し位置決定機能154は、仮設定した切り出し位置を回転させて、仮設定された切り出し位置により切り出される組織切片60が指定サイズより大きくなる位置を、切り出し位置として決定する。具体的には、切り出し位置決定機能154は、検体領域510上の仮設定線530の長さが指定サイズより長くなる位置を、切り出し位置として決定する。
図9では、決定された切り出し位置を、切り出し線53により示す。回転の中心は検体領域510の重心または中心とする。
【0087】
また、切り出しポリシー(11)「各組織切片が指定サイズより小さくなるように切り出す。」が取得された場合、切り出し位置決定機能154は、短径に直交する切り出し位置を仮設定し、仮設定した切り出し位置を回転させて、仮設定された切り出し位置により切り出される組織切片60が指定サイズより小さくなる位置を、切り出し位置として決定する。具体的には、切り出し位置決定機能154は、検体領域510上の仮設定線530の長さが指定サイズより短くなる位置を、切り出し位置として決定する。
【0088】
(第1の実施形態の変形例3)
本変形例では、切り出しポリシー(13)「各組織切片が指定サイズに近くなるように切り出す。」が取得された場合における切り出し位置の決定手法について説明する。
【0089】
この場合、切り出し位置決定機能154は、検体領域510の長径または短径を特定し、長径または短径に直交する切り出し位置を、規定の間隔で仮設定する。切り出し位置決定機能154は、仮設定した切り出し位置を回転させて、仮設定された切り出し位置により切り出される組織切片60の大きさと指定サイズとの差が最も小さくなる位置を切り出し位置として決定する。組織切片60の大きさと指定サイズとの差は、具体的には、検体領域510上の仮設定線530の長さと指定サイズとの差である。
【0090】
また、切り出しポリシー(14)「各組織切片がなるべく均一なサイズとなるように切り出す。」が取得された場合、切り出し位置決定機能154は、検体領域510の長径または短径を特定し、長径または短径に直交する切り出し位置を、規定の間隔で仮設定する。切り出し位置決定機能154は、仮設定した切り出し位置を回転させて、仮設定された切り出し位置により切り出される組織切片60の大きさの分散が最も小さくなる位置を切り出し位置として決定する。具体的には、切り出し位置決定機能154は、検体領域510上の仮設定線530の長さの分散が最も小さくなる位置を切り出し位置として決定する。
【0091】
(第1の実施形態の変形例4)
本変形例では、切り出しポリシー(15)「各組織切片を指定された本数で等間隔に切り出す。」が取得された場合における切り出し位置の決定手法について説明する。組織切片60の本数の指定は、例えば、ユーザにより入力されるものとする。
【0092】
この場合、切り出し位置決定機能154は、検体領域510の長径または短径を特定し、特定した長径または短径に直交する切り出し位置を、指定された本数で等間隔に設定する。
【0093】
(第1の実施形態の変形例5)
本変形例では、切り出しポリシー(16)「各組織切片を指定された本数で、病巣領域らしさを示す確率が高い順に切り出す。」が取得された場合における切り出し位置の決定手法について説明する。組織切片60の本数の指定は、例えば、ユーザにより入力されるものとする。興味領域らしさを示す確率は、興味確率ともいう。
【0094】
図10は、第1の実施形態の変形例5に係る切り出し位置の一例を示す図である。本変形例では、切り出し位置決定機能154は、検体領域510の長径521(または短径522)を特定する。本変形例では、検体画像51上の各点の興味確率を算出するものとする。切り出し位置決定機能154は、特定した長径521(または短径522)に直交する切り出し位置を、指定された本数で興味確率の高い順に設定する。なお、切り出し位置同士の間隔の最小値が予め定められていてもよい。
図10では、決定された切り出し位置を、切り出し線53により示す。
【0095】
(第1の実施形態の変形例6)
本変形例では、検体画像51が3次元画像である場合について説明する。
【0096】
図11は、第1の実施形態の変形例6に係る切り出し位置の一例を示す図である。
図11に示す検体画像51は、3次元画像である。
【0097】
本変形例では、切り出しポリシー(8)「組織切片の採取数が規定の間隔で最も多くなるように切り出す。」および(10)「組織切片が病巣領域を含むように切り出す。」が取得されたものとする。この場合、切り出し位置決定機能154は、病巣領域511の長径524を特定する。切り出し位置決定機能154は、特定した長径524に直交する切り出し位置を規定の間隔で決定する。
【0098】
本変形例のように検体画像51が3次元画像の場合、切り出し位置は線に限らず3次元空間的な切断面を表してもよい。例えば、切り出し位置決定機能154は、検体5が載置された切り出し台に対して斜め方向の面等を切り出し位置として決定してもよい。
【0099】
なお、切り出しポリシー(8)の代わりに切り出しポリシー(9)「組織切片の採取数が規定の間隔で最も少なくなるように切り出す。」が選択された場合、切り出し位置決定機能154は、病巣領域511の短径を特定する。切り出し位置決定機能154は、特定した短径に直交する切り出し位置を規定の間隔で決定する。
【0100】
(第1の実施形態の変形例7)
本変形例では、検体画像51が3次元画像である場合であって、切り出しポリシー(19)「組織切片の厚みが最も厚くなるように切り出す。」が選択された場合について説明する。
【0101】
図12は、第1の実施形態の変形例7に係る切り出し位置の一例を示す図である。この場合、切り出し位置決定機能154は、検体領域510の長径521(または短径522)を特定する。切り出し位置決定機能154は、特定した長径521(または短径522)に直交する切り出し位置を、規定の間隔で仮設定する。
図12では、仮設定された切り出し位置を、仮設定線530により示す。
【0102】
切り出し位置決定機能154は、仮設定した切り出し位置を、長径521(または短径522)に沿って移動させ、切り出し位置における検体5の厚みの平均が最も厚くなる位置を切り出し位置として決定する。
図12では、決定された切り出し位置を、切り出し線53により示す。
【0103】
なお、切り出しポリシー(8)の代わりに切り出しポリシー(20)「組織切片の厚みが最も薄くなるように切り出す。」が選択された場合、切り出し位置決定機能154は、仮設定した切り出し位置を、長径521(または短径522)に沿って移動させ、切り出し位置における検体5の厚みの平均が最も薄くなる位置を切り出し位置として決定する。
【0104】
(第2の実施形態)
上述の第1の実施形態では、興味領域認識機能153は、切り出しポリシーに関わらず、検体画像51から画像セグメンテーション処理または学習済みモデルを用いた処理等により興味領域を認識していた。この第2の実施形態では、興味領域認識機能153は、切り出しポリシーに基づいて、検体画像51から認識すべき興味領域の特徴を特定した上で、検体画像51から当該特徴に応じた興味領域を認識する。
【0105】
本実施形態の情報処理装置100の処理回路150は、第1の実施形態と同様に、検体画像取得機能151、切り出しポリシー取得機能152、興味領域認識機能153、切り出し位置決定機能154、表示制御機能155、および受付機能156を備える。検体画像取得機能151、切り出しポリシー取得機能152、切り出し位置決定機能154、表示制御機能155、および受付機能156は、第1の実施形態と同様の機能を備える。
【0106】
本実施形態の興味領域認識機能153は、切り出しポリシー取得機能152により取得された切り出しポリシーに、興味領域の定義に関する記載がある場合、検体画像51内の当該記載に応じた領域を、興味領域として認識する。
【0107】
例えば、切り出しポリシー取得機能152により切り出しポリシー(21)「病巣領域を含む組織切片の数が規定の間隔で最も多くなるように切り出す。」が取得されたとする。当該ポリシーには病巣領域511についての記載が含まれるため、興味領域認識機能153は、病巣領域511を、興味領域として認識する。
【0108】
他の例として、切り出しポリシー(1)「検体領域の長径に直交するように切り出し位置を設定する。」が取得されたとする。この場合、当該ポリシーには検体領域510についての記載が含まれるため、興味領域認識機能153は、検体領域510を、興味領域として認識する。この場合は、興味領域認識機能153は、病巣領域511を認識しなくともよい。
【0109】
また、興味領域認識機能153は、切り出しポリシー取得機能152により取得された切り出しポリシーに興味領域の定義に関する記載が明記されていない場合、検体領域510を興味領域として認識してもよい。例えば、切り出しポリシー(8)「組織切片の採取数が規定の間隔で最も多くなるように切り出す。」のように興味領域の定義に関する記載が明記されていない切り出しポリシーは、検体5全体を基準として切り出し位置を規定するものである。このため、興味領域認識機能153は、切り出しポリシーに興味領域の定義に関する記載が明記されていない場合、検体領域510を、興味領域として認識する。この場合も、興味領域認識機能153は、病巣領域511を認識しなくともよい。
【0110】
このように、本実施形態の情報処理装置100によれば、切り出しポリシーに基づいて検体画像51から認識すべき興味領域の特徴を特定した上で、検体画像51から当該特徴に応じた興味領域を認識することにより、第1の実施形態と同様の効果に加えて、不要な認識処理を低減することができる。
【0111】
(第3の実施形態)
上述の第1、第2の実施形態では、切り出しポリシー取得機能152は、検体5の種類に関わらず、ユーザによる入力または予め定められた設定により切り出しポリシーを取得していた。この第3の実施形態では、切り出しポリシー取得機能152は、検体5の種類に応じて、複数の切り出しポリシーの候補のうち、検体5の切り出しに適用する切り出しポリシーを取得する。
【0112】
本実施形態の記憶回路120は、複数の切り出しポリシーの候補と、検体5の種類とを対応づけて記憶する。
【0113】
検体5の種類は、例えば、検体5が切り出された解剖学的組織を示す。例えば、「胃粘膜」、「大腸粘膜」、「乳腺組織」、「腎組織」等が検体5の種類となる。
【0114】
記憶回路120では、1つの切り出しポリシーの候補に対して、複数の種類が対応付けられてもよい。複数の切り出しポリシーの候補は、例えば、第1の実施形態で例示した切り出しポリシー(1)~(21)とするが、これらに限定されるものではない。
【0115】
本実施形態の情報処理装置100の処理回路150は、第1の実施形態と同様に、検体画像取得機能151、切り出しポリシー取得機能152、興味領域認識機能153、切り出し位置決定機能154、表示制御機能155、および受付機能156を備える。検体画像取得機能151、興味領域認識機能153、切り出し位置決定機能154、表示制御機能155、および受付機能156は、第1の実施形態と同様の機能を備える。
【0116】
本実施形態の切り出しポリシー取得機能152は、検体5の種類に応じて、記憶回路120に記憶された複数の切り出しポリシーの候補から、検体5の切り出しに適用する切り出しポリシーを取得する。
【0117】
より詳細には、本実施形態の切り出しポリシー取得機能152は、興味領域認識機能153によって認識された興味領域に基づいて、検体5の種類を特定する。例えば、切り出しポリシー取得機能152は、検体画像と当該検体画像に描出された検体の種類とを対応付けて学習した学習済みモデルを用いて、検体画像取得機能151により取得された検体画像51の種類を特定する。当該学習済みモデルは、記憶回路120に記憶されていてもよい。この場合、切り出しポリシー取得機能152は、当該学習済みモデルを記憶回路120から読み出して検体画像51を入力する。また、当該学習済みモデルが切り出しポリシー取得機能152に組み込まれていてもよい。
【0118】
あるいは、検体画像51に検体5の種類が予め対応付けられていてもよい。例えば、検体5の種類が、検体画像51の付帯情報として登録されてもよい。この場合、切り出しポリシー取得機能152は、検体画像51の付帯情報として登録された検体5の種類を読み出す。検体5の種類の特定方法はこれらに限定されるものではなく、例えばユーザにより入力されてもよい。
【0119】
そして、切り出しポリシー取得機能152は、記憶回路120に保存された複数の切り出しポリシーの候補のうち、特定した検体5の種類に対応付けられた切り出しポリシーを取得する。
【0120】
図13は、第3の実施形態に係る切り出し位置決定処理の流れの一例を示すフローチャートである。
【0121】
S101の検体画像51の取得処理は、
図7で説明した第1の実施形態と同様である。また、S201の検体画像51からの興味領域の認識処理は、第1の実施形態のS103と同様の処理である。
【0122】
次に、本実施形態の切り出しポリシー取得機能152は、興味領域認識機能153によって認識された興味領域に基づいて検体5の種類を特定し、記憶回路120に保存された複数の切り出しポリシーの候補のうち、特定した検体5の種類に対応付けられた切り出しポリシーを取得する(S202)。
【0123】
S104の切り出し位置の決定からS105の切り出し線53を検体画像51上に表示させる処理については第1の実施形態と同様である。ここで、このフローチャートの処理は終了する。
【0124】
(第3の実施形態の変形例1)
上述の第3の実施形態では、検体5の種類に応じて、複数の切り出しポリシーの候補のうち、検体5の切り出しに適用する切り出しポリシーを取得していた。本変形では、検体画像51の興味領域に応じて検体5の切り出しに適用する切り出しポリシーを取得する。
【0125】
図14は、第3の実施形態の変形例1に係る切り出し位置の一例を示す図である。
【0126】
例えば、本変形の興味領域認識機能153は、切り出しポリシーの取得の前に、
図14に示すように、興味領域として検体領域510と病巣領域511とを認識するものとする。
【0127】
検体領域510および病巣領域511の特性と、各特性に対応する切り出しポリシーとは、例えば、記憶回路120に保存されている。検体領域510および病巣領域511の特性は、例えば、「病巣領域511の縦横比が閾値以上である」、「病巣領域511の縦横比が閾値未満である」、「検体領域510の大きさが閾値以下である」、「病巣領域511の大きさが閾値以下である」等である。
【0128】
例えば、病巣領域511の特性「病巣領域511の縦横比が閾値以上である」には切り出しポリシー(8)が対応付けられているものとする。また、病巣領域511の特性「病巣領域511の縦横比が閾値未満である」および「病巣領域511の大きさが閾値以下である」には切り出しポリシー(10)が対応付けられているものとする。また、検体領域510の特性「検体領域510の大きさが閾値以下である」には、いずれの切り出しポリシーも対応せず「切り出し位置を設定しない」ことが対応付けられていてもよい。
【0129】
この場合、切り出しポリシー取得機能152は、興味領域として認識された病巣領域511の縦横比が閾値以上の場合は、切り出しポリシー(1)~(21)のうち切り出しポリシー(8)「組織切片の採取数が規定の間隔で最も多くなるように切り出す。」を取得し、病巣領域511の縦横比が閾値未満の場合は、切り出しポリシー(10)「組織切片が病巣領域を含むように切り出す。興味領域を含むように切り出す」を選択する。
図14では、病巣領域511の縦横比が閾値以上である場合を例示する。この場合、切り出しポリシー取得機能152は、切り出しポリシー(8)を選択する。
【0130】
また、検体画像51の興味領域に応じた切り出しポリシーの選択は、これに限定されるものではない。例えば、切り出しポリシー取得機能152は、興味領域として認識された検体領域510の大きさが閾値以下の場合は、いずれの切り出しポリシーも選択せず、「切り出し位置を設定しない」ことを選択する。また、切り出しポリシー取得機能152は、興味領域として認識された病巣領域511の大きさが閾値以下の場合は、切り出しポリシー(10)「組織切片が病巣領域を含むように切り出す。」を選択する。なお、検体領域510および病巣領域511の特性と、各特性に対応する切り出しポリシーとの対応付けは、上述の例に限定されるものではない。
【0131】
このように、本実施形態の情報処理装置100によれば、検体画像51から抽出された興味領域に基づいて、複数の切り出しポリシーの候補のうち、検体5の切り出しに適用する切り出しポリシーを取得するため、興味領域の特性に応じた適切な切り出しポリシーを選択することができる。
【0132】
(第4の実施形態)
上述の第1から第3の実施形態では、情報処理装置100は、検体5から組織切片60を切り出す切り出し位置を決定する機能を備えるものとして説明した。この第4の実施形態では、情報処理装置100は、さらに、1つの切り出し位置から切り出された組織切片60の分割の要否、および適切な分割位置の提案をする。
【0133】
図15は、第4の実施形態に係る情報処理システムSの全体構成の一例を示す図である。本実施形態の情報処理システムSは、第1から第3の実施形態と同様に、情報処理装置100と、検体画像保管装置201と、組織画像保管装置202と、第一の撮影装置401と、第二の撮影装置402とを備える。
【0134】
本実施形態の情報処理装置100の処理回路150は、検体画像取得機能151、切り出しポリシー取得機能152、興味領域認識機能153、切り出し位置決定機能154、表示制御機能155、受付機能156、および分割位置候補決定機能157を備える。分割位置候補決定機能157は、分割位置候補決定部の一例である。検体画像取得機能151、切り出しポリシー取得機能152、興味領域認識機能153、切り出し位置決定機能154、および受付機能156は、第1の実施形態と同様の機能を備える。
【0135】
分割位置候補決定機能157は、切り出し位置決定機能154によって決定された切り出し位置で切り出される組織切片60の大きさが閾値以上となる場合に、組織切片60を複数に分割するための分割位置候補を決定する。また、分割位置候補決定機能157は、切り出し位置決定機能154によって決定された切り出し位置で切り出される組織切片60の大きさが閾値未満の場合は、分割は不要と判定する。組織切片60の大きさは、具体的には、組織切片60の長手方向の長さである。
【0136】
より詳細には、分割位置候補決定機能157は、検体画像51の切り出し線53のうち、検体領域510内の部分の長さと、検体画像51の拡大率とから、組織切片60の長手方向の長さを算出する。検体画像51の拡大率は、例えば第一の撮影装置401ごとに決まっていてもよいし、検体画像51の付帯情報に含まれていてもよい。
【0137】
そして、分割位置候補決定機能157は、長手方向の長さが閾値以上となる組織切片60について、分割対象であると判定する。当該閾値は、特に限定されるものではない。閾値は、ユーザにより入力されてもよいし、予め定められてもよい。
【0138】
また、分割位置候補決定機能157は、分割対象であると判定した組織切片60を複数に分割するための分割位置候補を決定する。分割位置候補は、例えば、病巣領域511以外の領域であり、かつ、分割後の各切片の長手方向の長さが閾値未満となる位置とする。
【0139】
分割位置候補決定機能157は、分割推奨の度合いに応じて、分割推奨領域と、準分割推奨領域とを定めてもよい。例えば、分割位置候補決定機能157は、分割対象の組織切片60内に病巣領域511以外の領域であり、かつ、分割後の各切片の長手方向の長さが閾値未満となる領域がある場合、当該領域を分割推奨領域とする。
【0140】
また、分割位置候補決定機能157は、分割対象の組織切片60内に分割推奨領域がない場合、病巣領域511に含まれるが、分割後の各切片の長手方向の長さが閾値未満となる領域を、準分割推奨領域とする。分割推奨領域および準分割推奨領域は、本実施形態における分割位置候補の一例である。
【0141】
また、分割位置候補決定機能157は、分割対象の組織切片60内で分割推奨領域でも準分割推奨領域でもない領域を、分割非推奨領域とする。また、分割位置候補決定機能157は、分割の必要がない組織切片60については、当該組織切片60全体を分割非推奨領域とする。
【0142】
図16は、第4の実施形態に係る分割位置候補の一例を示す図である。
図16に示す例では、上から2番目の組織切片の長手方向の長さd1は、閾値未満であるものとする。この場合、分割位置候補決定機能157は、当該組織切片は分割対象ではないと判定する。分割位置候補決定機能157は、当該組織切片全体を分割非推奨領域とする。
【0143】
また、上から3番目の組織切片の長手方向の長さd2は、閾値以上であるものとする。この場合、分割位置候補決定機能157は、当該組織切片を分割対象と判定する。分割位置候補決定機能157は、分割対象であると判定した組織切片のうち、病巣領域511に含まれず、かつ、分割後の各切片の長手方向の長さが閾値未満となる領域がある場合、当該領域を分割推奨領域とする。分割位置候補決定機能157は、検体領域510内の各組織切片について、分割の要否を判定し、分割推奨領域、準分割推奨領域、分割非推奨領域を決定する。
【0144】
本実施形態の表示制御機能155は、第1の実施形態と同様の機能を備えた上で、分割推奨領域、準分割推奨領域、および分割非推奨領域を表す分割候補位置画像590を検体画像51上に重畳して表示させる。例えば、表示制御機能155は、
図16に示すように、分割推奨領域、準分割推奨領域、および分割非推奨領域をそれぞれ異なる表示態様で表す矩形を、検体画像51上に重畳して表示させてもよい。
【0145】
なお、
図16では各組織切片を最大2つに分割する場合について例示したが、分割位置候補決定機能157は、組織切片の大きさによっては、組織切片を3つ以上に分割する分割位置候補を決定してもよい。
【0146】
次に、以上のように構成された本実施形態の情報処理装置100で実行される切り出し位置および分割位置候補の決定処理の流れについて説明する。
【0147】
図17は、第4の実施形態に係る切り出し位置および分割位置候補の決定処理の流れの一例を示すフローチャートである。
【0148】
S101の検体画像51の取得処理から、S104の切り出し位置の決定の処理までは、
図7で説明した第1の実施形態と同様である。
【0149】
次に、本実施形態の分割位置候補決定機能157は、切片分割位置候補を決定する(S301)。具体的には、分割位置候補決定機能157は、各切り出し位置で切り出される複数の組織切片60の長手方向の長さに基づいて、各組織切片60が分割対象か否かを判定する。分割位置候補決定機能157は、分割対象であると判定した組織切片60内に病巣領域511以外の領域であり、かつ、分割後の各切片の長手方向の長さが閾値未満となる領域を、分割推奨領域とする。また、分割位置候補決定機能157は、分割対象の組織切片60内に分割推奨領域がない場合、病巣領域511に含まれるが、分割後の各切片の長手方向の長さが閾値未満となる領域を、準分割推奨領域とする。分割位置候補決定機能157は、検体領域510内の分割推奨領域でも準分割推奨領域でもない領域を、分割非推奨領域とする。分割位置候補決定機能157は、検体画像51における分割推奨領域、準分割推奨領域、および分割非推奨領域の位置情報を、記憶回路120に保存する。
【0150】
そして、表示制御機能155は、切り出し線53、および分割推奨の程度を表す分割候補位置画像590を検体画像51上に重畳して、ディスプレイ140に表示させる(S302)。
【0151】
このように、本実施形態の情報処理装置100によれば、切り出し位置で切り出される組織切片60の大きさが閾値以上となる場合に、当該組織切片60を複数に分割するための分割位置候補を決定するため、技師等が組織切片60を適切な位置で分割することを支援することができる。
【0152】
(第4の実施形態の変形例1)
本変形例では、分割位置候補決定機能157は、さらに、分割対象の複数の組織切片60に共通する分割可能な領域を、複数の組織切片60における分割位置候補として決定する。
【0153】
図18は、第4の実施形態の変形例1に係る分割位置候補の一例を示す図である。
図18の左側に示す例では、
図16と同様に、各組織切片ごとに分割推奨領域および準分割推奨領域が定められている。本変形例では、分割位置候補決定機能157は、
図18の右側に示すように、連続する複数の組織切片で共通する分割推奨領域または準分割推奨領域がある場合、当該共通する領域のみを残し、他の分割推奨領域および準分割推奨領域を分割非推奨領域に変更する。これにより、
図18に示すように、連続する複数の組織切片において、切り出し位置と直交する直線上に分割推奨領域および準分割推奨領域が連続して配置される。
【0154】
また、本変形例の表示制御機能155は、
図18に示すように、連続する複数の組織切片で共通する分割推奨領域および準分割推奨領域を表す分割候補位置画像590を検体画像51上に重畳して表示させる。
【0155】
このため、本変形例の情報処理装置100によれば、複数の組織切片60を分割する場合に連続する複数の組織切片60を一度に切断可能な位置を、技師等が容易に把握させることができる。
【0156】
(第5の実施形態)
上述の第1から第4の実施形態では、情報処理装置100は、検体画像51における切り出し位置を決定していた。この第5の実施形態では、情報処理装置100は、検体5から切り出された各組織切片60が撮影された後に、検体画像51における興味領域と、各組織切片60が描出された組織画像61における興味領域とをマッピングする。
【0157】
図19は、第5の実施形態に係る情報処理システムSの全体構成の一例を示す図である。本実施形態の情報処理システムSは、第1から第4の実施形態と同様に、情報処理装置100と、検体画像保管装置201と、組織画像保管装置202と、第一の撮影装置401と、第二の撮影装置402とを備える。
【0158】
本実施形態の情報処理装置100の処理回路150は、検体画像取得機能151、切り出しポリシー取得機能152、興味領域認識機能153、切り出し位置決定機能154、表示制御機能155、受付機能156、組織画像取得機能158、組織領域認識機能159、切り出し位置取得機能160、切り出し位置対応付け機能161、および興味領域対応付け機能162を備える。組織画像取得機能158は、組織画像取得部の一例である。組織領域認識機能159は、組織領域認識部の一例である。切り出し位置取得機能160は、切り出し位置取得部および切り出し位置特定部の一例である。切り出し位置対応付け機能161は、切り出し位置対応付け部の一例である。興味領域対応付け機能162は、興味領域対応付け部の一例である。
【0159】
検体画像取得機能151、切り出しポリシー取得機能152、興味領域認識機能153、切り出し位置決定機能154、および受付機能156は、第1の実施形態と同様の機能を備える。
【0160】
組織画像取得機能158は、第二の撮影装置402または組織画像保管装置202から組織画像61を取得する。組織画像61には、検体5から切り出された組織切片群が描出されている。
【0161】
組織領域認識機能159は、組織画像61において複数の組織切片60が描出された領域の各々を、組織領域62として認識する。なお、複数の組織切片60を総称する場合、組織切片群という。組織領域認識機能159は、画像セグメンテーション処理、ルールベース、ユーザによる手動操作、または機械学習による学習済みモデル等により、組織領域62を認識する。
【0162】
図20は、第5の実施形態に係る検体画像51と組織画像61の一例を示す図である。
図20に示す例では、検体画像51に描出された検体5から切り出された3つの組織切片60が、組織画像61上で組織領域62a~62cとして描出される。各組織領域62a~62cの長さは、検体画像51上の検体領域510上の切り出し位置の長さに線形対応する。また、組織領域62a~62cには、検体領域510内の病巣領域511に相当する範囲に、病巣が描出される。
【0163】
図19に戻り、切り出し位置取得機能160は、検体画像51における複数の組織切片60の採取位置を表す複数の切り出し位置を取得する。例えば、切り出し位置取得機能160は、切り出し位置決定機能154によって決定された切り出し位置を記憶回路120から読み出す。
【0164】
あるいは、切り出し位置取得機能160は、他の病理作図システムやLIS等に記録されている切り出し位置を取得してもよい。また、切り出し位置取得機能160は、検体画像51を印刷した用紙に記入された切り出し位置を示す線を光学的に読み取って取得してもよい。あるいは、切り出し位置取得機能160は、ディスプレイ140上に表示された検体画像51上でユーザが入力した切り出し線53の位置から、切り出し位置を取得してもよい。本実施形態における切り出し位置は、実際に組織片が採取された範囲を示すことが目的であり、実態に従って、検体5の端に到達していなかったり、途切れていたりする場合がある。
【0165】
図21は、第5の実施形態に係る検体画像51における切り出し位置の一例を示す図である。
図21では、切り出し線53のうち、実際に組織切片60が切り出された部分を実線の実切り出し線533、切り出し線53のうち、実際には組織切片60が切り出されていない部分を破線の表示用切り出し線532で示す。
【0166】
図21に示す切り出しパターン1では、検体領域510を縦断して実切り出し線533が引かれているため、検体5の端から端までが組織切片60として切り出されている。
【0167】
また、切り出しパターン2では、検体5の端から端までではなく、一部分のみが組織切片60として切り出されている。切り出し位置取得機能160は、例えば、他の病理作図システムやLIS等に記録されている切り出し位置において、検体領域510中の一部分のみを切り出したことが記録されている場合、当該記録に従って、実際の切り出し位置を特定する。
【0168】
図19に戻り、切り出し位置対応付け機能161は、検体領域510における複数の切り出し位置と、組織画像61における複数の組織領域62との対応関係を特定する。
【0169】
図22は、第5の実施形態に係る検体画像51における複数の切り出し位置と組織画像61における複数の組織領域62d~62fと対応関係の一例を示す図である。この
図22では、切り出し線53c~53eにより示される各切り出し位置と、組織領域62d~62fとが、1対1で対応する。
【0170】
検体領域510における複数の切り出し位置と、組織画像61における複数の組織領域62との対応付けは、切り出し位置対応付け機能161により自動的に実施されてもよいし、ユーザによる手動での対応付けを受け付けてもよいし、自動的に実施された後にユーザによる修正を受け付けてもよい。
【0171】
例えば、切り出し位置および組織領域62のそれぞれにIDが設定されている場合、切り出し位置対応付け機能161は、切り出し位置のそれぞれのIDと、組織領域62のそれぞれのIDが一致したものを対応付ける。
【0172】
切り出し位置および組織領域62のそれぞれのIDは、他の病理作図システムまたはLISにおいて設定される場合がある。あるいは、情報処理装置100を運用する医療機関ごとに予め定められた運用ルールに従って、検体領域510における複数の切り出し位置のそれぞれのIDと、組織画像61における複数の組織領域62のそれぞれのIDとが裁判されてもよい。医療機関ごとの運用ルールは、例えば、組織切片60をスライドガラス7に載置する際の切片配置規則である。例えば、組織切片60を検体画像51中の上から切り出した順にスライドガラス7に載置する切片配置規則である場合、切り出し位置のそれぞれのIDと、組織領域62のそれぞれのIDは、検体画像51と組織画像61のそれぞれの上側に描出された順に採番される。医療機関ごとの運用ルールは、例えば、記憶回路120に保存されていてもよい。
【0173】
あるいは、ユーザの操作により、検体画像51中の切り出し位置のそれぞれと、組織画像61における複数の組織領域62のそれぞれに対して、対応するIDを登録してもよい。この場合、受付機能156が受け付けたユーザの操作に基づいて、切り出し位置対応付け機能161は、切り出し位置のそれぞれのIDと、組織領域62のそれぞれのIDとを取得する。ユーザは、例えば、技師等である。
【0174】
図23は、第5の実施形態に係るユーザにより設定されたIDの一例を示す図である。
図23では、検体画像51の一部である画像55dと、組織画像61の一部である画像65d,65eとを図示する。
図23では、1つの切り出し線53(53g,53f)から、2つの組織切片60が切り出され、各組織切片60が異なる画像65(65e,65d)に描出された場合について図示する。
【0175】
図23に示す例では、ユーザは、切り出し線53fにより示される切り出し位置にID“1”、切り出し線53gにより示される切り出し位置にID“2”、切り出し線53hにより示される切り出し位置にID“3”を入力したものとする。1つの検体画像51内で、各切り出し位置のIDは一意となる。
【0176】
画像65dに描出された組織領域62gは、画像55dにおける切り出し線53fにより示される切り出し位置から切り出された組織切片60である。この場合、ユーザは、組織領域62gに切り出し線53fにより示される切り出し位置のIDと同じID“1”を設定する。また、画像65eに描出された組織領域62hは、画像55dにおける切り出し線53gにより示される切り出し位置から切り出された組織切片60である。この場合、ユーザは、組織領域62hに切り出し線53gにより示される切り出し位置のIDと同じID“2”を設定する。
【0177】
図19に戻り、興味領域対応付け機能162は、検体画像51における興味領域と、複数の切り出し位置と複数の組織領域62との対応関係とに基づいて、組織画像61における興味領域に対応する複数の組織領域62における複数の興味領域の位置を特定する。
【0178】
複数の組織領域62における複数の興味領域は、本実施形態における複数の第二の興味領域の一例である。本実施形態における興味領域は、例えば病巣領域511である。
【0179】
より具体的には、複数の組織領域62における複数の興味領域は、検体画像51上の切り出し線53と病巣領域511との交点間の範囲と対応する組織画像61上の複数の組織領域62における範囲である。
【0180】
図24は、第5の実施形態に係る検体画像51における切り出し線53iと組織画像61上の組織領域62iとの対応関係の一例を示す図である。
図24では、検体画像51の一部である画像55eと、組織画像61の一部である画像65fとを図示する。
【0181】
図24では、切り出し線53iにより示される切り出し位置の長さd11と、組織領域62iの長さd12とが線形対応する。
【0182】
図25は、
図24に図示した切り出し位置と組織領域62iとの対応関係に基づく興味領域のマッピングの一例を示す図である。興味領域対応付け機能162は、切り出し位置の長さd11と、組織領域62iの長さd12との縮尺関係から、切り出し線53iにおける病巣領域511の範囲(第一の興味領域の範囲)に相当する組織領域62i上の範囲を特定する。興味領域対応付け機能162は、特定した範囲を第二の興味領域の範囲として組織領域62iにマッピングする。
【0183】
興味領域対応付け機能162は、特定した組織領域62i上の第二の興味領域の範囲の位置情報を、記憶回路120に保存する。また、興味領域対応付け機能162は、特定した組織領域62i上の第二の興味領域の範囲の位置情報を、組織画像61と対応付けて、LISまたはその他の病理レポートシステム等の外部システムに送信してもよい。なお、処理回路150は、当該外部システムへの送信の処理を実行する送信機能を、興味領域対応付け機能162とは別に備えてもよい。送信機能は、送信部の一例である。
【0184】
図19に戻り、本実施形態の表示制御機能155は、第1の実施形態と同様の機能を備えた上で、組織画像61に複数の第二の興味領域を表す画像を重畳して、ディスプレイ140に表示させる。例えば、表示制御機能155は、
図25に示したように、組織領域62上にマッピングされた第二の興味領域を表す画像を組織画像61または組織画像61の一部に相当する画像65上に表示させる。なお、
図25では、第二の興味領域を表す画像は説明のために不透過で記載されているが、表示制御機能155は、半透明の画像を、組織画像61上の第二の興味領域に相当する位置にオーバーレイ表示させてもよい。あるいは、表示制御機能155は、組織画像61上の第二の興味領域に相当する位置を囲む枠や、組織画像61上の第二の興味領域に相当する位置の近傍に位置する線などにより、複数の第二の興味領域を表してもよい。
【0185】
また、表示制御機能155は、検体画像51と、複数の第二の興味領域が重畳して表示された組織画像61とを対応づけてディスプレイ140に表示させる。例えば、
図25に示したように、表示制御機能155は、検体画像51または検体画像51の一部と、当該検体画像51に描出された検体5から切り出された組織切片60が撮影された組織画像61または組織画像61の一部を、対応付けて表示させる。
【0186】
例えば、表示制御機能155は、複数の第二の興味領域が重畳して表示された組織画像61をディスプレイ140に表示させて、ユーザによる第二の興味領域に対するクリック等の選択操作を受け付けた場合に、選択された第二の興味領域に対応する切り出し位置を含む検体画像51をディスプレイ140に表示させてもよい。
【0187】
また、表示制御機能155は、検体画像51上の第一の興味領域に相当する範囲に、第一の興味領域を表す画像を重畳して、ディスプレイ140に表示させてもよい。
【0188】
図26は、第5の実施形態に係る興味領域のマッピング処理の流れの一例を示すフローチャートである。当該フローチャートの処理の前提として、検体画像51および組織画像61が撮影され、検体画像取得機能151および組織画像取得機能158により取得されているものとする。
【0189】
まず、興味領域認識機能153は、検体画像51における興味領域を認識する(S401)。本フローチャートにおける興味領域は、例えば病巣領域511である。
【0190】
そして、組織領域認識機能159は、組織画像61において複数の組織切片60が描出された領域の各々を、組織領域62として認識する(S402)。
【0191】
そして、切り出し位置取得機能160は、検体画像51における複数の組織切片60の採取位置を表す複数の切り出し位置を取得する(S403)。
【0192】
そして、切り出し位置対応付け機能161は、検体領域510における複数の切り出し位置と、組織画像61における複数の組織領域62との対応関係を特定する(S404)。
【0193】
興味領域対応付け機能162は、検体画像51の切り出し位置における病巣領域511の範囲(第一の興味領域の範囲)と、組織画像61上で当該切り出し位置に対応する組織領域62における第二の興味領域の範囲とをマッピングする(S405)。
【0194】
そして、受付機能156は、S406のマッピング結果をディスプレイ140に表示させる(S406)。例えば、表示制御機能155は、第一の興味領域を表す画像が重畳して表示された検体画像51と、複数の第二の興味領域を表す画像が重畳して表示された組織画像61とを対応づけてディスプレイ140に表示させる。ここで、このフローチャートの処理は終了する。
【0195】
このように、本実施形態の情報処理装置100によれば、検体画像51における第一の興味領域に対応する、組織画像61における第一の興味領域に対応する複数の第二の興味領域の位置を特定することにより、病理医等が組織画像61を観察して病理診断をする際に、組織画像61における病巣領域511等の興味領域を把握することを支援することができる。
【0196】
例えば、比較例として、単に組織画像と検体画像とを単体で表示する場合、病理医等が病理組織診断の際に判断補助のため、組織切片の切り出し元の検体画像の病巣領域を参照しようとしても、検体画像上の病巣領域が組織画像上のどこに対応するのかを把握することが困難な場合があった。
【0197】
これに対して、本実施形態の情報処理装置100のように検体画像51における第一の興味領域と組織画像61における第一の興味領域に対応する複数の第二の興味領域の位置を特定することにより、病理医等に対して検体画像51上の病巣領域511が組織画像61上のどこに対応するのかを容易に把握させることができる。このため、本実施形態の情報処理装置100によれば、病理医等が組織画像61の観察中に検体画像51を参照する際のわかりやすさを向上させるとともに、第一の興味領域と複数の第二の興味領域との対応関係を病理医等が正確に把握することを支援することにより誤診断の低減をすることができる。
【0198】
また、本実施形態の情報処理装置100によれば、組織画像61に複数の第二の興味領域を表す画像を重畳してディスプレイ140に表示させることにより、病理医等に組織画像61上の第二の興味領域を容易に把握させることができる。
【0199】
また、本実施形態の情報処理装置100によれば、検体画像51と、複数の第二の興味領域を表す画像が重畳して表示された組織画像61とを対応づけてディスプレイ140に表示させることにより、病理医等に検体画像51と、組織画像61上の第二の興味領域との対応関係を容易に把握させることができる。
【0200】
(第5の実施形態の変形例1)
本変形例では、切り出し位置取得機能160は、例えば、検体画像51上の切り出し位置を表す切り出し線53に基づいて、検体画像51における切り出し位置を特定する。
【0201】
より詳細には、切り出し位置取得機能160は、例えば、切り出し位置決定機能154によって決定された切り出し位置に対応する切り出し線53のうち、検体領域510からはみ出た部分を除去することによって、実際の切り出し位置を特定する。
【0202】
例えば、
図21で図示したように、切り出し線53は、検体領域510外の範囲など、実際には組織切片60が切り出されていない部分を含む場合がある。
図21のように、切り出し線53のうち実際には組織切片60が切り出されず、目安として引かれた部分については破線など、実際に組織切片60が切り出された部分とは異なる態様で切り出し線53が引かれている場合もあるが、検体領域510内外に関わらず同じ表示態様で切り出し線53が引かれる場合もある。
【0203】
図27は、第5の実施形態の変形例1に係る興味領域のマッピング処理の流れの一例を示すフローチャートである。
【0204】
まず、興味領域認識機能153は、検体画像51における興味領域を認識する(S501)。変形例における興味領域は、例えば検体領域510と病巣領域511である。
【0205】
そして、組織領域認識機能159は、組織画像61において複数の組織切片60が描出された領域の各々を、組織領域62として認識する(S502)。
【0206】
そして、切り出し位置取得機能160は、検体画像51上の複数の切り出し線53を取得する(S503)。切り出し位置取得機能160は、例えば、検体画像51を印刷した用紙に記入された切り出し線を光学的に読み取って取得してもよい。また、切り出し位置取得機能160は、切り出し位置決定機能154によって決定された切り出し線53を記憶回路120から読み出してもよい。
【0207】
切り出し位置取得機能160は、各切り出し線53のうち検体領域510からはみ出した部分を除去して、実際の切り出し位置に対応する複数の実切り出し線533を取得する(S504)。
【0208】
そして、切り出し位置対応付け機能161は、切り出し位置取得機能160によって取得された実際の切り出し位置に対応する複数の実切り出し線533と、組織画像61における複数の組織領域62との対応関係を特定する(S505)。
【0209】
S506のマッピング処理およびS507の表示処理は、
図26で説明したS405およびS406の処理と同様である。ここで、このフローチャートの処理は終了する。
【0210】
このように、本実施形態の情報処理装置100によれば、実際の切り出し位置が不明の場であっても、切り出し線53と検体領域510とから実際の切り出し位置を特定することができる。
【0211】
(第6の実施形態)
この第6の実施形態では、切り出し位置および興味領域の修正をユーザによる修正を可能とする。
【0212】
図28は、第6の実施形態に係る情報処理システムSの全体構成の一例を示す図である。本実施形態の情報処理システムSは、第1から第5の実施形態と同様に、情報処理装置100と、検体画像保管装置201と、組織画像保管装置202と、第一の撮影装置401と、第二の撮影装置402とを備える。
【0213】
本実施形態の情報処理装置100の処理回路150は、検体画像取得機能151、切り出しポリシー取得機能152、興味領域認識機能153、切り出し位置決定機能154、表示制御機能155、受付機能156、組織画像取得機能158、組織領域認識機能159、切り出し位置取得機能160、切り出し位置対応付け機能161、興味領域対応付け機能162、切り出し位置修正機能163、および興味領域修正機能164を備える。切り出し位置修正機能163は、切り出し位置修正部の一例である。興味領域修正機能164は、興味領域修正部の一例である。
【0214】
検体画像取得機能151、切り出しポリシー取得機能152、興味領域認識機能153、切り出し位置決定機能154、表示制御機能155、受付機能156、組織画像取得機能158、組織領域認識機能159、切り出し位置取得機能160、切り出し位置対応付け機能161、および興味領域対応付け機能162は、第5の実施形態と同様の機能を備える。
【0215】
切り出し位置修正機能163は、切り出し位置決定機能154によって決定された切り出し位置、または切り出し位置取得機能160によって特定された切り出し位置が、実際の検体画像51における組織領域62に対応する組織切片60の採取位置と異なる場合に、該切り出し位置を修正する。
【0216】
一般に、検体画像51上の切り出し線53は、実際に技師等が検体5から組織切片60を切り出す前に引かれるため、実際の切り出し位置と異なる場合がある。このような場合、例えば、切り出し位置修正機能163は、ユーザによる切り出し線53を移動または伸縮させる操作に基づいて、検体画像51における切り出し位置を移動させたり、伸縮させたりしてもよい。切り出し位置修正機能163は、修正後の切り出し位置を記憶回路120に保存する。
【0217】
また、興味領域修正機能164は、興味領域対応付け機能162により組織領域62にマッピングされた第二の興味領域を修正する。
【0218】
より詳細には、興味領域修正機能164は、ディスプレイ140に表示された組織画像61上の第二の興味領域を表す画像を移動または伸縮させるユーザの操作を受け付けた場合に、当該操作に基づいて、組織画像61における病巣領域511を示す第二の興味領域を移動させたり、伸縮させたりしてもよい。興味領域修正機能164は、修正後の第二の興味領域の位置を記憶回路120に保存する。なお、興味領域修正機能164は、第二の興味領域だけでなく、第一の興味領域についてのユーザの操作に基づく修正を実施してもよい。
【0219】
あるいは、興味領域修正機能164は、興味領域対応付け機能162により組織領域62にマッピングされた第二の興味領域を修正または確定するユーザの操作を受け付けた場合に、当該第二の興味領域については診断済みであるものとして、当該第二の興味領域を含む組織画像61を、病理レポートシステム等の外部システムに送信してもよい。
【0220】
図29は、第6の実施形態に係る興味領域のマッピング処理の流れの一例を示すフローチャートである。
【0221】
S601の興味領域の認識処理からS603の切り出し位置群の取得までは、
図26で説明したS401からおよびS403の処理と同様である。
【0222】
そして、切り出し位置修正機能163は、ユーザの操作に基づいて、切り出し位置決定機能154によって決定された切り出し位置を、実態に合わせて修正する(S604)。
【0223】
S605の切り出し位置と組織領域62との対応付けの処理からS607の表示処理は、
図26で説明したS404からS406の処理と同様である。ここで、このフローチャートの処理は終了する。
【0224】
なお、
図29では興味領域の修正処理を省略したが、S607の後に、興味領域修正機能164による興味領域の修正処理が実行されてもよい。
【0225】
(第7の実施形態)
上述の各実施形態では、組織切片60が断面を撮像装置側に向けた状態で撮像された場合について説明したが、組織切片60は、検体画像51の撮像時の検体5と同じ向きで撮像されてもよい。
【0226】
図30は、第7の実施形態に係る切り出し位置の一例を示す図である。検体画像51における検体表面と、組織切片60の薄切面とが同じ向きの場合、
図30に示すように、切り出し位置は切り出し線53ではなく、切り出し矩形54で表される。当該切り出し矩形54は、検体領域510からはみ出さないように整形される。
【0227】
切り出し位置取得機能160は、切り出し位置を示す切り出し矩形54と、検体領域510とに基づいて複数の切り出し領域を取得する。切り出し位置対応付け機能161は、切り出し位置取得機能160によって取得された複数の切り出し領域と、複数の組織領域62との対応関係を特定する。また、切り出し位置対応付け機能161は、切り出し領域を対応する組織領域62へ位置合わせする際に、組織領域62の形状に合わせて切り出し領域を変形させてもよい。
【0228】
また、
図31は、第7の実施形態に係る興味領域のマッピングの一例を示す図である。興味領域対応付け機能162は、切り出し領域が対応する組織領域62へ位置合わせされた際に得られる変形場を、検体領域510の第一の興味領域(例えば病巣領域511)に適用し、組織画像61上へ第二の興味領域をマッピングしてもよい。また、この際、興味領域対応付け機能162は、マッピングされた第二の興味領域のうち、組織領域62からはみ出した領域は取り除いてもよい。
【0229】
なお、本明細書において扱う各種データは、典型的にはデジタルデータである。
【0230】
以上説明した少なくとも1つの実施形態によれば、検体から組織切片を切り出す位置を適切に決定することができる。
【0231】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0232】
5 検体
6 組織標本
7 スライドガラス
51 検体画像
53,53a~53i 切り出し線
60,60a~60e 組織切片
61 組織画像
62,62a~62j 組織領域
100 情報処理装置
110 NWインタフェース
120 記憶回路
130 入力インタフェース
140 ディスプレイ
150 処理回路
151 検体画像取得機能
152 切り出しポリシー取得機能
153 興味領域認識機能
154 切り出し位置決定機能
155 表示制御機能
156 受付機能
157 分割位置候補決定機能
158 組織画像取得機能
159 組織領域認識機能
160 切り出し位置取得機能
161 切り出し位置対応付け機能
162 興味領域対応付け機能
163 切り出し位置修正機能
164 興味領域修正機能
201 検体画像保管装置
202 組織画像保管装置
300 ネットワーク
401 第一の撮影装置
402 第二の撮影装置
510 検体領域
511 病巣領域
590 分割候補位置画像
S 情報処理システム