(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022162437
(43)【公開日】2022-10-24
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G01N 33/48 20060101AFI20221017BHJP
【FI】
G01N33/48 M
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2021067292
(22)【出願日】2021-04-12
【国等の委託研究の成果に係る記載事項】(出願人による申告)2019年度、国立研究開発法人医薬基盤・健康・栄養研究所、戦略的イノベーション創造プログラム AI(人工知能)ホスピタルによる高度診断・治療システム、人工知能を有する統合がん診療支援システム委託研究開発、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(71)【出願人】
【識別番号】000173588
【氏名又は名称】公益財団法人がん研究会
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】植野 峻也
(72)【発明者】
【氏名】高松 学
(72)【発明者】
【氏名】津山 直子
【テーマコード(参考)】
2G045
【Fターム(参考)】
2G045AA24
2G045CB01
2G045FA19
2G045JA01
2G045JA07
(57)【要約】
【課題】組織画像に描出された切片に関する情報を、切片が描出された領域に重複しない位置に表示させること。
【解決手段】実施形態に係る情報処理装置は、認識部と、興味領域情報取得部と、生成部と、表示制御部とを備える。認識部は、診断用画像における観察対象領域を認識する。興味領域情報取得部は、診断用画像における興味領域を表す第1の興味領域情報を取得する。生成部は、観察対象領域および第1の興味領域情報に基づいて、興味領域を表す第2の領域情報を生成する。表示制御部は、第2の領域情報を、表示部において、観察対象領域に重複しない位置に表示させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
診断用画像における観察対象領域を認識する認識部と、
前記診断用画像における興味領域を表す第1の興味領域情報を取得する興味領域情報取得部と、
前記観察対象領域および前記第1の興味領域情報に基づいて、前記興味領域を表す第2の領域情報を生成する生成部と、
前記第2の領域情報を、表示部において、前記観察対象領域に重複しない位置に表示させる表示制御部と、
を備える情報処理装置。
【請求項2】
前記診断用画像は、少なくとも1つの切片を含む組織標本が描出された組織画像であり、
前記観察対象領域は、前記組織画像において前記組織標本が描出されている組織領域であり、
前記興味領域は、前記組織領域における異常部位であり、
前記興味領域情報取得部は、画像処理により、前記組織画像から、前記異常部位の位置を示す情報を前記第1の興味領域情報として取得し、
前記生成部は、前記第1の興味領域情報に基づいて、前記異常部位の位置を表し、かつ、前記組織領域に重複しない表示用アノテーションを前記第2の領域情報として生成し、
前記表示制御部は、前記診断用画像上に前記表示用アノテーションを表示させる、
請求項1に記載の情報処理装置。
【請求項3】
前記表示用アノテーションは、前記組織領域の輪郭の外側に沿う形状であり、
前記組織画像の第1の方向における前記表示用アノテーションの範囲は、前記第1の方向における前記異常部位の範囲と一致する、
請求項2に記載の情報処理装置。
【請求項4】
前記第1の興味領域情報は、前記興味領域を示す指示用アノテーションであり、
前記興味領域情報取得部は、ユーザによる前記指示用アノテーションの入力操作を受け付け
前記生成部は、前記観察対象領域および前記指示用アノテーションに基づいて、前記観察対象領域と重複しない表示用アノテーションを第2の領域情報として生成する、
請求項1に記載の情報処理装置。
【請求項5】
前記診断用画像は、少なくとも1つの切片を含む組織標本が描出された組織画像であり、
前記観察対象領域は、前記組織画像において前記組織標本が描出されている組織領域であり、
前記指示用アノテーションは、前記組織領域における前記興味領域の位置および範囲を示す画像であり、
前記表示用アノテーションは、前記組織領域の外側に、前記組織領域の輪郭線に沿って配置される画像であり、
前記表示用アノテーションの位置および範囲は、前記指示用アノテーションに対応する、
請求項4に記載の情報処理装置。
【請求項6】
前記表示制御部は、
ユーザによって選択されている組織領域に対応する前記指示用アノテーションおよび前記表示用アノテーションを前記表示部に表示させ、
ユーザによって選択されていない組織領域に対応する前記指示用アノテーションは前記表示部に表示させない、
請求項4または5に記載の情報処理装置。
【請求項7】
診断用画像における観察対象領域を認識する認識ステップと、
前記診断用画像における興味領域を表す第1の興味領域情報を取得する取得ステップと、
前記観察対象領域および前記第1の興味領域情報に基づいて、前記興味領域を表す第2の領域情報を生成する生成ステップと、
前記第2の領域情報を、表示部において、前記観察対象領域に重複しない位置に表示させる表示ステップと、
を含む情報処理方法。
【請求項8】
診断用画像における観察対象領域を認識する認識ステップと、
前記診断用画像における興味領域を表す第1の興味領域情報を取得する取得ステップと、
前記観察対象領域および前記第1の興味領域情報に基づいて、前記興味領域を表す第2の領域情報を生成する生成ステップと、
前記第2の領域情報を、表示部において、前記観察対象領域に重複しない位置に表示させる表示ステップと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
従来、病理学の分野等において、検体から切り出された複数の切片が撮像された組織画像に対して、ユーザの操作または画像処理結果等に基づいて、アノテーション等の情報設定を行う技術が知られている。
【0003】
しかしながら、組織画像上に表示された情報が、組織画像に描出された切片に重なってしまい、医師等が観察したい領域が見えにくくなる場合があった。また、組織画像上に表示された情報が切片に重ならないようにユーザが手動で表示位置を調整する場合、作業負荷が高くなる場合があった。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、組織画像に描出された切片に関する情報を、切片が描出された領域に重複しない位置に表示させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0006】
実施形態に係る情報処理装置は、認識部と、興味領域情報取得部と、生成部と、表示制御部とを備える。認識部は、診断用画像における観察対象領域を認識する。興味領域情報取得部は、診断用画像における興味領域を表す第1の興味領域情報を取得する。生成部は、観察対象領域および第1の興味領域情報に基づいて、興味領域を表す第2の領域情報を生成する。表示制御部は、第2の領域情報を、表示部において、観察対象領域に重複しない位置に表示させる。
【図面の簡単な説明】
【0007】
【
図1】
図1は、第1の実施形態に係る情報処理システムの全体構成の一例を示す図である。
【
図2】
図2は、第1の実施形態に係る組織画像が撮像されるまでの流れについて説明する図である。
【
図3】
図3は、第1の実施形態に係る組織画像の一例を示す図である。
【
図4】
図4は、第1の実施形態に係る異常部位の一例を示す図である。
【
図5】
図5は、第1の実施形態に係る表示用アノテーションの一例を示す図である。
【
図6】
図6は、第1の実施形態に係る表示用アノテーションの生成処理の流れの一例を示すフローチャートである。
【
図7】
図7は、第2の実施形態に係る指示用アノテーションの一例を示す図である。
【
図8】
図8は、第2の実施形態に係る表示用アノテーションの一例を示す図である。
【
図9】
図9は、第2の実施形態に係る指示用アノテーションおよび表示用アノテーションの他の一例を示す図である。
【
図10】
図10は、第2の実施形態に係る表示用アノテーションの生成処理の流れの一例を示すフローチャートである。
【
図11】
図11は、変形例1に係る指示用アノテーションおよび表示用アノテーションの一例を示す図である。
【
図12】
図12は、変形例2に係る指示用アノテーションおよび表示用アノテーションの一例を示す図である。
【
図13】
図13は、変形例3に係る指示用アノテーションおよび表示用アノテーションの一例を示す図である。
【
図14】
図14は、変形例4に係る画面表示の一例を示す図である。
【発明を実施するための形態】
【0008】
以下、図面を参照しながら、情報処理装置、情報処理方法、およびプログラムの実施形態について詳細に説明する。
【0009】
(第1の実施形態)
図1は、第1の実施形態に係る情報処理システムSの全体構成の一例を示す図である。
図1に示すように、情報処理システムSは、情報処理装置100と、検体画像保管装置201と、組織画像保管装置202とを備える。情報処理装置100は、院内LAN(Local Area Network)等のネットワーク300を介して検体画像保管装置201および組織画像保管装置202と通信可能に接続している。
【0010】
なお、情報処理システムSは、さらに、病院情報システム(Hospital Information System:HIS)、臨床検査システム(Laboratory Information System:LIS)、及び放射線情報システム(Radiology Information System:RIS)等を含んでも良い。あるいは、情報処理システムSは、病院情報システムの一部であっても良い。また、情報処理システムSは、さらに、PC(Personal Computer)やタブレット端末等の端末装置を含んでも良い。
【0011】
情報処理システムSは、例えば、病院等の医療機関、大学等の研究機関、または検査センター等に設けられる。また、情報処理システムSを構成する装置の一部または全てが、クラウド環境に設けられても良い。
【0012】
検体画像保管装置201は、検体画像を保管する装置である。検体画像は、検体である組織片の全体が撮像された画像である。また、検体画像は、例えば、デジタルカメラ等の撮像装置によって撮像されたデジタル画像とする。検体画像は、マクロ画像ともいう。
【0013】
本実施形態においては、検体は、患者の身体や、動物等から採取された一部組織とする。例えば、検体は、内視鏡的粘膜下層はく離術(Endoscopic Submucosal Dissection:ESD)によって切除された消化器の粘膜および粘膜下層であるが、これに限定されるものではなく、開腹手術等によって切除された組織片であっても良い。
【0014】
組織画像保管装置202は、組織画像を保管する装置である。組織画像は、検体である組織片から切り出された少なくとも1つの切片が、検体画像よりも高倍率で撮像された画像である。例えば、組織画像は、スライドガラスに載せられた切片全体またはその一部を高精度にデジタル画像化したWSI(Whole Slide Imaging)画像である。組織画像は、WSS(Whole Slide Scanner)、またはデジタル顕微鏡で撮像された顕微鏡写真、あるいはその他の手法で撮像された画像であっても良い。組織画像は、ミクロ画像ともいう。組織画像は、本実施形態における診断用画像の一例である。
【0015】
検体画像保管装置201および組織画像保管装置202は、例えばサーバ装置またはPC等である。なお、検体画像保管装置201および組織画像保管装置202を総称して画像保管装置と呼んでも良い。また、
図1では検体画像保管装置201と組織画像保管装置202とを、別個の装置として記載したが、検体画像保管装置201と組織画像保管装置202とは一体の装置として構成されても良い。また、検体画像保管装置201、組織画像保管装置202、および情報処理装置100が、一体の装置として構成されても良い。
【0016】
図2は、第1の実施形態に係る組織画像が撮像されるまでの流れについて説明する図である。例えば、診断医によって患者Pから採取された検体5は、病理診断のために、病理医または検査技師に移送される。この際、病理診断の依頼(オーダー)毎に、病理番号が採番される。また、病理診断の対象となる検体ごとに、異なる検体番号が採番される。なお、1回の病理診断の依頼において、診断対象の検体が複数ある場合には、1つの病理番号に、複数の検体番号が対応付けられる。以下、本実施形態においては、病理医または検査技師を病理医等という。
【0017】
なお、本実施形態における情報処理装置100が実行する処理は、必ずしも病理診断を目的としなくても良い。例えば、研究機関による研究、または医療機関から委託されて病理学的検査を行う検査センターにおける報告書の作成を目的としても良い。
【0018】
また、検体5がデジタルカメラ等によって撮像された検体画像51の識別情報として、検体画像IDが付与される。検体画像IDは、検体画像51の付帯情報として登録されても良い。また、検体画像51の撮像対象である検体5の病理番号、検体5の検体番号、検体5に係る病理診断のオーダー番号、検体5の取得元の患者Pの患者ID、検体画像51の撮像日時等の検体画像51に関する情報が、検体画像51の付帯情報として登録されても良い。また、検体画像ID、およびその他の検体画像51に関する情報は、検体画像51上に文字情報として描出されても良い。
【0019】
病理医等は、検体5から切片60a~60eを切り出し、染色等の処理を施した後、例えば、切片60a~60eの断面を薄切し、スライドガラス7に載置する。以下、個々の切片60a~60eを区別しない場合は、単に切片60という。
【0020】
本実施形態においては、スライドガラス7に載置された切片群を、組織標本6という。組織標本6は、少なくとも1つの切片60を含む。
【0021】
また、
図2では、各切片60がそのままスライドガラス7に載置されているが、切片60の長さが長い場合や、切り出し位置の形状によっては、1つの切片60が、複数の断片に分割されてスライドガラス7に載置される場合がある。
【0022】
なお、
図2では一例として、切片60a~60eは断面を撮像装置側に向けた状態で撮像されるが、載置の向きはこれに限定されるものではない。例えば、切片60は、検体画像51の撮像時の検体5と同じ向きで、撮像されても良い。また、
図2では組織画像61の横方向が組織領域62の長手方向となるように、切片60がスライドガラス7上に配置されていたが、配置方向はこれに限定されるものではない。例えば、組織画像61の縦方向が組織領域62の長手方向となるように、切片60がスライドガラス7上に配置されても良い。あるいは、切片60は、スライドガラス7上に斜めに配置されても良い。本実施形態においては、切片60は、運用施設で定められた方法によって配置される。
【0023】
スライドガラス7に載置された組織標本6を撮像したWSI画像等の画像が、組織画像61である。組織画像61には、切片60a~60eを含む組織標本6が描出される。
【0024】
組織画像61の識別情報として、組織画像IDが付与される。組織画像IDは、組織画像61の付帯情報として登録されても良い。また、組織画像61の撮像対象である切片の取得元である検体5の病理番号、検体5の検体番号、検体5に係る病理診断のオーダー番号、検体5の取得元の患者Pの患者ID、組織画像61の撮像日時等の組織画像61に関する情報が、組織画像61の付帯情報として登録されても良い。また、組織画像ID、およびその他の組織画像61に関する情報は、組織画像61上に文字情報として描出されても良い。
【0025】
組織画像61は、スライドガラス7が描出された背景領域70と、組織標本6が描出された複数の組織領域62a~62eとを含む。以下、個々の組織領域62a~62eを区別しない場合は、単に組織領域62という。
【0026】
図1に戻り、情報処理装置100は、例えばサーバ装置またはPC等であり、NWインタフェース110と、記憶回路120と、入力インタフェース130と、ディスプレイ140と、処理回路150とを有する。
【0027】
NWインタフェース110は、処理回路150に接続されており、情報処理装置100と検体画像保管装置201または組織画像保管装置202との間で行われる各種データの伝送および通信を制御する。NWインタフェース110は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
【0028】
記憶回路120は、処理回路150で使用される各種の情報を予め記憶する。また、記憶回路120は、各種のプログラムを記憶する。
【0029】
入力インタフェース130は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インタフェース130は、処理回路150に接続されており、操作者から受け取った入力操作を電気信号へ変換し処理回路150へと出力する。なお、本明細書において入力インタフェースはマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路150へ出力する電気信号の処理回路も入力インタフェース130の例に含まれる。
【0030】
ディスプレイ140は、液晶ディスプレイや有機EL(Organic Electro-Luminescence:OEL)ディスプレイ等である。なお、入力インタフェース130とディスプレイ140とは統合しても良い。例えば、入力インタフェース130とディスプレイ140とは、タッチパネルによって実現されても良い。ディスプレイ140は、表示部の一例である。
【0031】
処理回路150は、記憶回路120からプログラムを読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。本実施形態の処理回路150は、取得機能151と、認識機能152と、画像処理機能153と、生成機能154と、受付機能155と、表示制御機能156とを備える。取得機能151は、取得部の一例である。認識機能152は、認識部の一例である。画像処理機能153は、画像処理部および興味領域情報取得部の一例である。生成機能154は、生成部の一例である。受付機能155は、受付部の一例である。表示制御機能156は、表示制御部の一例である。
【0032】
ここで、例えば、処理回路150の構成要素である取得機能151、認識機能152、画像処理機能153、生成機能154、受付機能155、および表示制御機能156の各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路120に記憶されている。処理回路150は、プロセッサである。例えば、処理回路150は、プログラムを記憶回路120から読み出し、実行することで各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路150は、
図1の処理回路150内に示された各機能を有することとなる。なお、
図1においては単一のプロセッサにて取得機能151、認識機能152、画像処理機能153、生成機能154、受付機能155、および表示制御機能156にて行われる処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路150を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、
図1においては単一の記憶回路120が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路150は個別の記憶回路から対応するプログラムを読み出す構成としても構わない。
【0033】
上記説明では、「プロセッサ」が各機能に対応するプログラムを記憶回路から読み出して実行する例を説明したが、実施形態はこれに限定されない。「プロセッサ」という文言は、例えば、CPU(Central Processing Unit )、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device :CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサが例えばCPUである場合、プロセッサは記憶回路に保存されたプログラムを読み出して実行することで機能を実現する。一方、プロセッサがASICである場合、記憶回路120にプログラムを保存する代わりに、当該機能がプロセッサの回路内に論理回路として直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、
図1における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0034】
取得機能151は、組織画像保管装置202から、組織画像61を取得する。また、取得機能151は、検体画像保管装置201から、検体画像51を取得する。なお、検体画像51および組織画像61の取得元は、検体画像保管装置201および組織画像保管装置202に限定されるものではない。例えば、取得機能151は、組織画像61を撮像した撮像装置から組織画像61を取得しても良い。
【0035】
取得対象の検体画像51および組織画像61は、例えば、受付機能155が受け付けたユーザの操作によって指定される。情報処理装置100のユーザは、病理医等である。
【0036】
ユーザは、例えば、病理番号、患者ID、検体番号、オーダー番号、または撮像日等のいずれか、またはこれらの組み合わせを入力することにより、取得対象の検体画像51または組織画像61を指定する。また、一の病理番号には一のオーダー番号が対応し、一の病理番号には1以上の検体番号および検体画像IDが対応付けられ、一の検体番号には1以上の組織画像IDが対応付けられる。このため、ユーザが一の病理診断の依頼を処理するために一の病理番号を入力した場合、1以上の検体画像51および1以上の組織画像61が取得される。
【0037】
また、ユーザは、検体画像保管装置201に保存された検体画像51および組織画像61のリストから、取得対象を選択しても良い。
【0038】
なお、検体画像51および組織画像61は、予め記憶回路120に記憶され、ユーザの操作によって読み出されても良い。
【0039】
認識機能152は、画像処理により、組織画像61において組織標本6が描出されている複数の組織領域62を認識する。
【0040】
図3は、第1の実施形態に係る組織画像61の一例を示す図である。
図3の左側は、組織標本6に含まれる切片60a~60cが描出された組織画像61である。組織画像61には、背景として映り込んだスライドガラス7と、切片60f~60hとが描出される。
図3の右側に示すように、認識機能152は、スライドガラス7が描出された背景領域70と、切片60f~60hが描出された組織領域62f~62hとを認識する。
【0041】
組織画像61から組織領域62を認識する手法は特に限定されるものではないが、例えば、認識機能152は、組織画像61に対して画像セグメンテーション処理を実行することにより、背景領域70と組織領域62との境界を認識しても良い。また、例えば、認識機能152は、画素レベルで類似する領域をグルーピングしていくことで候補領域を選出するSelective Searchのようなルールベースによる画像処理を採用しても良い。
【0042】
または、組織画像61から組織領域62を認識する手法として、深層学習(Deep Learning)等の機械学習による画像処理を採用しても良い。深層学習を採用する場合には、認識機能152は、記憶回路120に記憶された学習済みモデルに組織画像61を入力し、学習済みモデルから出力される組織領域62の認識結果を取得する。組織領域62の認識処理に使用される学習済みモデルは、複数の組織画像61と、複数の組織画像61における組織領域62との対応関係が深層学習等の手法により学習されたモデルである。なお、当該学習済みモデルは、認識機能152に組み込まれていても良い。
【0043】
また、認識機能152は、認識した複数の組織領域62のうち、1つの切片60に対応する1以上の組織領域62毎にグルーピングする。例えば、1つの切片60が、複数の断片に分割されてスライドガラス7に配置される場合がある。このような場合、複数の組織領域62が1つの切片60に対応する。1つの切片60に由来する1以上の組織領域62のグループを、切片領域という。認識機能152が切片領域を認識する手法は特に限定されるものではないが、例えば、深層学習等の機械学習による画像処理を採用しても良い。
【0044】
図3に示す例では、いずれの組織領域62f~62hも単独の切片60f~60hを撮像したものであるので、組織領域62と切片領域とが等しくなる。
【0045】
図1に戻り、画像処理機能153は、組織画像61における興味領域を表す第1の興味領域情報を取得する。本実施形態において「取得する」という場合、画像処理によって情報を得ることを含む。
【0046】
本実施形態においては、組織領域62における異常部位を、興味領域の一例とする。また、本実施形態においては、組織画像61上の異常部位の位置を示す情報が、第1の興味領域情報の一例である。異常部位の位置を示す情報は、例えば、組織画像61において異常部位が描出された画素の座標情報である。
【0047】
異常部位は、例えば、病巣が描出された部位である。具体的には、組織領域62上で腺腫や腺がんなどの腫瘍が描出された領域が異常部位となる。
【0048】
画像処理機能153は、組織領域62における、異常程度、異常の有無、および異常領域の範囲等を解析する。異常を解析する画像処理の手法は、特に限定されるものではなく、公知の手法を採用可能である。例えば、画像処理機能153は、深層学習等の技術により生成された学習済みモデルを用いた画像セグメンテーション処理によって、組織領域62から異常部位を認識する。学習済みモデルは、例えば、組織画像61の入力を受けた場合に、異常部位の位置を示す情報を出力する。
【0049】
なお、画像処理機能153は、複数の組織領域62が1つの切片領域に含まれる場合、切片領域ごとに異常を解析する画像処理を実行しても良い。画像処理機能153が解析した異常部位に関する情報は、当該異常部位が検出された切片領域に対応付けられる。
【0050】
図4は、第1の実施形態に係る異常部位の一例を示す図である。
図4に示す例では、組織画像61に含まれる組織領域62iには、3つの異常部位91a~91cが含まれる。
図4では、異常部位91a~91cの範囲を示すために輪郭線で異常部位91a~91cをそれぞれ囲んでいるが、実際の画像ビューワ上では当該輪郭線は表示されなくとも良い。以下、個々の異常部位91a~91cを区別しない場合には、単に異常部位91という。1つの組織領域62iに含まれる異常部位91の数は特に限定されるものではない。
【0051】
生成機能154は、組織領域62および第1の興味領域情報に基づいて、興味領域を表す第2の領域情報を生成する。本実施形態においては、生成機能154は、組織領域62および組織画像61上の異常部位の位置を示す情報に基づいて、異常部位を表す表示用アノテーションを生成する。
【0052】
一般に、アノテーションとは、組織領域62に関する注釈またはその他の情報を示す画像またはコメントである。本実施形態において、表示用アノテーションは、組織領域62における異常部位の位置を示す画像である。
【0053】
図5は、第1の実施形態に係る表示用アノテーション81a~81cの一例を示す図である。
図5は、
図4で説明した異常部位91a~91cに対応する表示用アノテーション81a~81cを示す。以下、個々の表示用アノテーション81a~81cを区別しない場合は、単に表示用アノテーション81という。
【0054】
生成機能154は、異常部位91a~91cの位置に基づいて、異常部位91a~91cの位置を表し、かつ、組織領域62iに重複しない表示用アノテーション81a~81cを生成する。表示用アノテーション81a~81cは、組織領域62iが描出されていない、背景領域70上に表示される。
【0055】
本実施形態においては、表示用アノテーション81a~81cは、組織領域62iの輪郭の外側に沿う形状である。組織画像61の横方向における表示用アノテーション81a~81cの左右の端部の座標は、異常部位91a~91cの左右の端部の座標と一致する。
【0056】
換言すれば、組織画像61の横方向における表示用アノテーション81の始端および終端の座標は、異常部位91の始端および終端の座標と一致する。つまり、組織画像61の横方向において、表示用アノテーション81の範囲は、異常部位91の範囲と一致する。横方向は、第1の方向の一例である。組織領域62が縦方向に並んでいる場合は、第1の方向は縦方向でも良い。なお、左側の端部を始端、右側の端部を終端としても良いし、その逆としても良い。
【0057】
図5に示す例では、表示用アノテーション81aの横方向の範囲は、異常部位91aと同様に、組織画像61の左端から直線L1までである。表示用アノテーション81aと異常部位91aの左側の端部は、共に組織画像61の左端であり、表示用アノテーション81aと異常部位91aの右側の端部は、共に、直線L1に示す位置にある。
【0058】
また、表示用アノテーション81bと異常部位91bの横方向の範囲は、共に直線L2から直線L3までである。表示用アノテーション81cと異常部位91cの横方向の範囲は、共に直線L4から組織画像61の右端までである。
【0059】
また、
図5に示すように複数の表示用アノテーション81の横方向の範囲が重複する場合、生成機能154は、いずれかの表示用アノテーション81を組織領域62iから離れる方向に移動させることで、複数の表示用アノテーション81同士が重なって見えなくなることを回避する。なお、表示用アノテーション81の表示位置は、生成機能154が生成した時点で定められても良いし、表示制御機能156が表示する際に調整しても良い。
【0060】
なお、表示用アノテーション81a~81cの位置および形状は
図5に示す例に限定されるものではなく、組織領域62i上に重ならない位置および形状であれば良い。
【0061】
なお、
図5に示す例では表示用アノテーション81a~81cは横方向に伸長しているが、これは組織領域62iの粘膜面に沿った方向に伸長しているためである。粘膜面が画像に対して縦や斜めになるように組織領域62iが載置される場合は表示用アノテーション81a~81cも縦や斜めに伸長する。この場合、第1の方向は粘膜面に沿った方向となり、第1の方向における表示用アノテーション81の端部の座標は、第一の方向における異常部位91の端部の座標と一致する。
【0062】
図1に戻り、受付機能155は、入力インタフェース130を介して、ユーザによる各種の操作を受け付ける。例えば、受付機能155は、組織画像61に複数の組織領域62が含まれる場合に、いずれかの組織領域62を選択するユーザの操作を受け付ける。選択の手法はマウスによるクリック操作であるが、これに限定されるものではない。
【0063】
表示制御機能156は、表示用アノテーション81を、ディスプレイ140において、組織領域62に重複しない位置に表示させる。本実施形態においては、
図5に示したように、表示制御機能156は、組織画像61上に表示用アノテーション81を表示させる。
【0064】
次に、以上のように構成された情報処理装置100で実行される表示用アノテーションの生成処理の流れについて説明する。
【0065】
図6は、第1の実施形態に係る表示用アノテーションの生成処理の流れの一例を示すフローチャートである。
【0066】
まず、取得機能151は、検体画像保管装置201から、検体画像51を取得する(S1)。
【0067】
そして、認識機能152は、画像処理により、組織画像61から組織標本6が描出されている複数の組織領域62を認識する。また、認識機能152は、複数の組織領域62が1つの切片60に対応する場合、画像セグメンテーション処理等により、同一の切片60に対応する複数の組織領域62のグループである切片領域を認識する(S2)。
【0068】
次に、画像処理機能153は、画像処理により、組織画像61上の異常部位91を認識する(S3)。画像処理機能153は、認識した異常部位9の、組織画像61上の位置および範囲を特定する。
【0069】
次に、生成機能154は、異常部位91の、組織画像61上の位置および範囲と、組織画像61上の位置とに基づいて、表示用アノテーション81を生成する(S4)。生成機能154は、表示用アノテーション81を、異常部位91を含む組織領域62または切片領域に対応付けて記憶回路120に記憶させる。
【0070】
そして、表示制御機能156は、表示用アノテーション81を組織画像61上に重畳して、ディスプレイ140に表示させる(S5)。なお、表示用アノテーション81の表示タイミングは、ユーザによって組織画像61が表示対象として選択された時でも良いし、組織画像61が表示された上で、表示用アノテーション81がユーザによって選択された場合でも良い。ここで、このフローチャートの処理は終了する。
【0071】
このように、本実施形態の情報処理装置100は、組織画像61における組織領域62および異常部位91の位置を示す情報に基づいて、異常部位91を表す表示用アノテーション81を生成する。本実施形態の情報処理装置100は、表示用アノテーション81をディスプレイ140において、組織領域62に重複しない位置に表示させる。このため、本実施形態の情報処理装置100によれば、組織画像61に描出された切片60に関する情報を、切片60が描出された組織領域62に重複しない位置に表示させることである。
【0072】
また、本実施形態の情報処理装置100は、組織画像61から、異常部位91の位置を示す情報を取得し、異常部位91の位置を示す情報に基づいて、異常部位91の位置を表し、かつ、組織領域62に重複しない表示用アノテーション81を生成し、組織画像61上に表示用アノテーション81を表示させる。このため、本実施形態の情報処理装置100によれば、ユーザは、表示用アノテーション81によって組織領域62の観察が妨げられることを回避することができる。
【0073】
また、本実施形態の表示用アノテーション81は、組織領域62の輪郭の外側に沿う形状であり、組織画像61の第1の方向における表示用アノテーション81の範囲は、第1の方向における異常部位91の範囲と一致する。このため、本実施形態の情報処理装置100によれば、ユーザは、組織領域62における異常部位91の位置および範囲を容易に把握することができる。
【0074】
(第2の実施形態)
上述の第1の実施形態では、画像処理によって取得された異常部位91の位置を示す情報に基づいて表示用アノテーションを表示していた。この第2の実施形態では、ユーザによる興味領域の指定に基づいて、表示用アノテーションを表示する。
【0075】
本実施形態の受付機能155は、ユーザによる指示用アノテーションの入力操作を受け付ける。受付機能155は、本実施形態における興味領域情報取得部および受付部の一例である。本実施形態においては、「取得する」という場合に、ユーザによる入力から情報を得ることも含む。また、指示用アノテーションは、本実施形態における第1の興味領域情報の一例である。
【0076】
図7は、第2の実施形態に係る指示用アノテーション91dの一例を示す図である。ユーザは、例えば、ディスプレイ140上に表示された組織画像61上で、マウス操作等により、指示用アノテーション91dを描画する。組織画像61は、診断用画像の一例である。
【0077】
指示用アノテーション91dは、組織領域62における興味領域の位置および範囲を示す画像である。
【0078】
組織領域62jの粘膜面の方向における指示用アノテーション91dの範囲は、組織領域62jの粘膜面の方向における興味領域の範囲と一致する。本実施形態においては、興味領域は、ユーザによって定められる。例えば、ユーザが病変部位の可能性があると判断した領域が、興味領域となる。組織領域62jは、観察対象領域の一例である。
【0079】
本実施形態の生成機能154は、組織領域62および指示用アノテーション91dに基づいて、組織領域62と重複しない表示用アノテーションを生成する。表示用アノテーションは第2の領域情報の一例である。
【0080】
図8は、第2の実施形態に係る表示用アノテーション81dの一例を示す図である。表示用アノテーション81dの位置および範囲は、指示用アノテーション91dに対応する。組織画像61の横方向における表示用アノテーション81dの範囲は、横方向における指示用アノテーション91dの範囲に等しい。
【0081】
表示用アノテーション81dと指示用アノテーション91dの横方向の範囲は、共に直線L5から直線L6までである。表示用アノテーション81dは、組織領域62jの外側に、組織領域62jの輪郭線に沿って配置される線状の画像である。表示用アノテーション81dは、組織領域62jには重複せず、例えば背景領域70上に表示される。
【0082】
図9は、第2の実施形態に係る指示用アノテーション91e,91fおよび表示用アノテーション81e,81fの他の一例を示す図である。
【0083】
また、組織画像61に複数の組織領域62が含まれる場合、ユーザによって選択されている切片領域に含まれる組織領域62が、指示用アノテーション91e,91fの指示対象となる。なお、切片領域に含まれる組織領域62が1つである場合、切片領域を選択することは、組織領域62を選択するものと実質的に同一である。また、1つの切片領域が複数の組織領域62を含む場合、ユーザには切片領域単位で選択されるものとする。なお、ユーザは、切片領域単位で選択していることを自覚していなくとも良く、ユーザの選択した組織領域62と同一の切片領域に属する他の組織領域62は自動的に選択されても良い。
【0084】
図9では、組織領域62kがユーザによって選択されているものとする。この場合、生成機能154は、指示用アノテーション91e,91fに対応する表示用アノテーション81e,81fを組織領域62kに対応付ける。ユーザによる組織領域62の選択は、例えば、マウスによるクリックであるが、これに限定されない。
【0085】
組織画像61上には組織領域62k,62l,62mが含まれるが、ユーザによって選択されていない組織領域62l,62mには、指示用アノテーション91e,91fの指示対象ではないため、表示用アノテーション81e,81fが設定されない。
【0086】
また、本実施形態の表示制御機能156は、ユーザによって選択されている組織領域62に対応する指示用アノテーション91e,91fおよび表示用アノテーション81e,81fをディスプレイ140に表示させる。
【0087】
また、表示制御機能156は、ユーザによって選択されていない組織領域62に対応する指示用アノテーション91e,91fは、ディスプレイ140に表示させない。例えば、
図9に示す例では、ユーザが組織領域62kの選択を解除していずれの組織領域62も選択されていない状態になったり、ユーザが他の組織領域62l,62mを選択したりした場合は、表示制御機能156は、組織領域62に対応する指示用アノテーション91e,91fの表示を終了する。また、表示制御機能156は、表示用アノテーション81e,81fについては、ユーザによる選択の有無に関わらず表示する。なお、表示用アノテーション81e,81fの表示、非表示をユーザの操作により切り替え可能であっても良い。
【0088】
また、ユーザは、
図9のように、複数の指示用アノテーション91e,91fを1つの組織領域62に設定しても良い。複数の指示用アノテーション91e,91fの範囲が重複する場合、生成機能154は、重複する複数の指示用アノテーション91e,91fに対応する表示用アノテーション81e,81fが重なり合わないように位置または形状を変化させる。また、生成機能154は、複数の表示用アノテーション81e,81fの色または線の態様等を変化させても良い。また、ユーザがいずれかの組織領域に対して複数の指示用アノテーション91e,91fを設定する操作中である場合は、表示制御機能156は、当該操作中は他の指示用アノテーションおよび表示用アノテーションを非表示にしても良い。
【0089】
図10は、第2の実施形態に係る表示用アノテーション81の生成処理の流れの一例を示すフローチャートである。
【0090】
S1の組織画像の取得の処理から、S2の組織画像61に描出された組織領域62および切片領域を認識する処理までは、第1の実施形態と同様である。
【0091】
受付機能155は、ユーザによる切片領域の選択を受け付ける(S21)。そして、受付機能155は、選択された切片領域に含まれる組織領域62に対してユーザが設定した指示用アノテーション91d~91fを取得する(S22)。
【0092】
生成機能154は、組織領域62および指示用アノテーション91d~91fに基づいて、組織領域62と重複しない表示用アノテーション81を生成する(S23)。
【0093】
そして、表示制御機能156は、表示用アノテーション81を組織画像61上に重畳して、ディスプレイ140に表示させる(S24)。ここで、このフローチャートの処理は終了する。
【0094】
このように、本実施形態の情報処理装置100は、ユーザによって設定された指示用アノテーション91d~91fに基づいて、組織領域62を隠蔽しない表示用アノテーション81を表示させることができる。このため、本実施形態の情報処理装置100によれば、ユーザが指示用アノテーション91d~91fを描画する際に、組織領域62を避けて記入する等の手間をかけなくとも良く、作業の効率化を図ることができる。
【0095】
また、本実施形態では、指示用アノテーション91d~91fは、組織領域62における興味領域の位置および範囲を示す画像であり、表示用アノテーション81d~81fは、組織領域の外側に、組織領域62の輪郭線に沿って配置される画像である。また、表示用アノテーション81d~81fの位置および範囲は、指示用アノテーション91d~91fに対応する。このため、本実施形態の情報処理装置100によればユーザは、単に興味領域の位置および範囲を指定する操作をするだけで、組織領域62に重複しない位置に興味領域の位置および範囲を示す表示用アノテーション81d~81fを表示させることができる。
【0096】
また、本実施形態の情報処理装置100は、ユーザによって選択されている組織領域62に対応する指示用アノテーション91d~91fおよび表示用アノテーション81d~81fをディスプレイ140に表示させる。また、情報処理装置100は、ユーザによって選択されていない組織領域62に対応する指示用アノテーション91d~91fは、ディスプレイ140に表示させない。このため、本実施形態の情報処理装置100によれば、ユーザの選択に基づいて、組織領域62ごとまたは切片領域ごとに指示用アノテーション91d~91fおよび表示用アノテーション81d~81fの表示、非表示を管理することができる。
【0097】
(変形例1)
なお、指示用アノテーション91d~91fの表示態様は、上述の第2の実施形態のものに限定されない。例えば、第2の実施形態では、指示用アノテーション91d~91fは、ユーザが描画した位置に表示されるものとしたが、これに限定されるものではない。
図11は、変形例1に係る指示用アノテーション91g,911gおよび表示用アノテーション81gの一例を示す図である。
図11に示すように、ユーザが指示用アノテーション91gを描画した位置が組織領域62n上である場合、表示制御機能156は、指示用アノテーション91gを、背景領域70上に移動させ、指示用アノテーション911gとして表示させても良い。
【0098】
(変形例2)
また、上述の第1の、第2の実施形態では表示用アノテーション81は線状であったが、これに限定されるものではない。また、表示用アノテーション81は、組織画像61の片側の輪郭に沿って表示されるだけではなく、組織画像61の両側に表示されても良い。
図12は、変形例2に係る表示用アノテーション81h,81iの一例を示す図である。表示用アノテーション81h,81iは、
図12に示すように、興味領域を含む範囲に沿って、組織画像61の両側に設けられても良い。
【0099】
(変形例3)
また、
図13は、変形例3に係る表示用アノテーション81j,81kの一例を示す図である。
図13に示すように表示用アノテーション81j,81kは、興味領域を含む範囲を囲む図形であっても良い。
【0100】
(変形例4)
また、上述の各第2の実施形態では、ユーザが指示用アノテーション91d~91fを操作する画面と、表示用アノテーション81d~81fが表示される画面とが同一であった。これに対して、本変形例では、操作用のウィンドウと、表示用のウィンドウとが個別に設けられる。
【0101】
図14は、変形例4に係る画面表示の一例を示す図である。
図14に示す例では、表示制御機能156は、ディスプレイ140上に、操作用ウィンドウ141と、表示用ウィンドウ142とを設ける。操作用ウィンドウ141と表示用ウィンドウ142には、同一の組織画像61が表示されるが、拡大縮小等の設定は個々のウィンドウごとに変更可能である。例えば、
図14に示すように、ユーザは、操作用ウィンドウ141に表示された組織画像61を、表示用ウィンドウ142に表示された組織画像61よりも拡大してもよい。この場合、ユーザは、表示用ウィンドウ142に拡大表示された組織画像61上で指示用アノテーション91x,91yを操作することにより、微細な設定が容易となる。
【0102】
図14では、操作用ウィンドウ141と表示用ウィンドウ142には同一の組織画像61を表示したが、表示制御機能156は、操作用ウィンドウ141と表示用ウィンドウ142に異なる態様の画像を表示させても良い。例えば、表示用ウィンドウ142には、組織画像61を3次元表示した画像を表示させ、操作用ウィンドウ141には2次元の組織画像61を表示させても良い。
【0103】
なお、上述の各実施形態では線状のアノテーションを例示したが、表示されるアノテーションの態様はこれに限定されない。例えば、テキストデータや画像がディスプレイ140上に表示されても良い。表示制御機能156は、例えば、ユーザによって選択されている切片領域の近傍の背景領域70等に、選択されている切片領域8に関する各種のメタ情報を表示しても良い。また、ディスプレイ140に表示されたGUI上に、メタ情報が表示される特定のエリアが設けられても良い。
【0104】
(変形例5)
また、上述の各実施形態では、「取得する」という場合、画像処理によって情報を得ること、およびユーザによる入力から情報を得ることを含むとした。この他に、他の情報処理装置から情報を受信することも「取得する」に含まれる。例えば、取得機能151がNWインタフェース110を介して病院情報システム、または臨床検査システム等から興味領域を表す第1の興味領域情報を受信することも、取得するに含まれる。この場合、取得機能151が、興味領域情報取得部の一例となる。
【0105】
(変形例6)
また、上述の各実施形態では、ユーザが組織画像61上の切片領域内をクリックする等の操作によって、指示用アノテーションの設定対象の切片領域を決定していたが、指示用アノテーションの対応付けは、当該手法に限定されるものではない。例えば、ユーザが、所望の切片領域上に指示用アノテーションを描画しても良い。この場合、生成機能154は、指示用アノテーションが重畳された切片領域に対応付けて、表示用アノテーションを生成する。
【0106】
また、生成機能154は、選択操作の有無に関わらず、指示用アノテーションと切片領域との距離の近さに基づいて、指示用アノテーションと切片領域との対応付けを決定しても良い。例えば、生成機能154は、ユーザが指示用アノテーションを描画した位置と最も近い切片領域に、当該指示用アノテーションに対応する表示用アノテーションを対応付けて生成しても良い。
【0107】
(変形例7)
上述の各実施形態では、指示用アノテーションおよび表示用アノテーションの伸長方向は組織画像61の横方向であったが、組織領域62の粘膜面の方向に応じて、指示用アノテーションおよび表示用アノテーションの伸長方向は組織画像61の縦方向や斜め方向であっても良い。
【0108】
(変形例8)
上述の各実施形態では、情報処理装置100はサーバ装置またはPC等であるとしたが、これに限定されるものではない。例えば、情報処理装置100は、組織画像61を撮像する撮像装置に内蔵されたコンピュータであっても良い。撮像装置は、例えば、WSS、デジタルカメラ、またはデジタル顕微鏡であるがこれらに限定されるものではない。
【0109】
(変形例9)
また、上述の各実施形態では、組織画像61を診断用画像の一例としたが、診断用画像は、X線診断装置等のモダリティで撮像された医用画像であっても良い。
【0110】
なお、本明細書において扱う各種データは、典型的にはデジタルデータである。
【0111】
以上説明した少なくとも1つの実施形態によれば、組織画像に描出された切片に関する情報を、切片が描出された領域に重複しない位置に表示させることができる。
【0112】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0113】
5 検体
6 組織標本
7 スライドガラス
51 検体画像
60,60a~60e 切片
61 組織画像
62,62a~62p 組織領域
70 背景領域
81a~81k,81x, 81y 表示用アノテーション
91d~91g, 91x, 91y, 911g, 911x, 911y 指示用アノテーション
91a~91c 異常部位
100 情報処理装置
110 NWインタフェース
120 記憶回路
140 ディスプレイ
141 操作用ウィンドウ
142 表示用ウィンドウ
150 処理回路
151 取得機能
152 認識機能
153 画像処理機能
154 生成機能
155 受付機能
156 表示制御機能
S 情報処理システム