ホーム > 特許ランキング > 公益財団法人がん研究会
▶ 公益財団法人がん研究会の特許一覧 ▶ 東芝メディカルシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-29
(45)【発行日】2024-09-06
(54)【発明の名称】情報処理装置および情報処理システム
(51)【国際特許分類】
G01N 21/17 20060101AFI20240830BHJP
G06T 7/00 20170101ALI20240830BHJP
G06T 7/30 20170101ALI20240830BHJP
G06T 1/00 20060101ALI20240830BHJP
【ＦＩ】
G01N21/17 A
G06T7/00 630
G06T7/30
G06T1/00 295
【請求項の数】
15
(21)【出願番号】P 2020117121
(22)【出願日】2020-07-07
(65)【公開番号】P2022014659
(43)【公開日】2022-01-20
【審査請求日】2023-05-18
【国等の委託研究の成果に係る記載事項】（出願人による申告）２０１９年度、国立研究開発法人医薬基盤・健康・栄養研究所、戦略的イノベーション創造プログラム ＡＩ（人工知能）ホスピタルによる高度診断・治療システム、人工知能を有する統合がん診療支援システム委託研究開発、産業技術力強化法第１９条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000173588
【氏名又は名称】公益財団法人がん研究会
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】高松 学
(72)【発明者】
【氏名】津山 直子
(72)【発明者】
【氏名】竹内 賢吾
(72)【発明者】
【氏名】溝部 秀謙
【審査官】田中 洋介
(56)【参考文献】
【文献】特開２０１５－０８７１６７（ＪＰ，Ａ）
【文献】特開２０１３－１６５９５３（ＪＰ，Ａ）
【文献】特開２０００－２７６５４５（ＪＰ，Ａ）
【文献】特開２０１９－０００３４０（ＪＰ，Ａ）
【文献】特開２０１１－１３７７８０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／００－２１／９５８
Ｇ０１Ｎ ３３／４８－３３／９８
Ｇ０６Ｔ １／００－１／６０
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｖ １０／００－１０／９８
(57)【特許請求の範囲】
【請求項1】
検体の全体が撮像された画像である第１の画像と、前記検体から切り出された少なくとも１つの標本組織が前記第１の画像よりも高倍率で撮像された画像である第２の画像と、を取得する取得部と、前記第２の画像から、前記標本組織が描出された組織領域を認識する組織領域認識部と、
前記組織領域に含まれる興味領域を認識する興味領域認識部と、
前記第１の画像における前記標本組織の切り出し位置を認識する切り出し位置認識部と、
前記第１の画像における前記切り出し位置と、前記第２の画像における前記組織領域とを対応付ける対応付け部と、
前記切り出し位置と前記組織領域との対応付けに基づいて、前記第２の画像の前記興味領域と、前記第１の画像において前記興味領域に相当する対象領域とをマッピングするマッピング部と、
前記マッピング部によって前記興味領域と前記対象領域とがマッピングされた前記第１の画像および前記第２の画像を対応付けて、それぞれ別個の画像として表示部の同一画面上に表示させ、前記第１の画像上の前記切り出し位置と、前記切り出し位置から切り出された前記標本組織の前記第２の画像上の表示位置とを対応付けて表示させる表示制御部と、
を備える情報処理装置。
【請求項2】
前記第１の画像における前記切り出し位置と、前記第２の画像における前記組織領域との対応付けを修正するユーザの操作を受け付ける受付部、をさらに備え、前記対応付け部は、前記受付部によって受け付けられた前記ユーザの操作に基づいて、前記切り出し位置と前記組織領域との対応付けを修正する、
請求項１に記載の情報処理装置。
【請求項3】
ユーザによる前記第１の画像における前記切り出し位置の指定を受け付ける受付部と、前記受付部によって受け付けられた前記切り出し位置の指定に基づいて、前記第１の画像に切り出し位置を設定する切り出し位置設定部と、をさらに備える、
請求項１または２に記載の情報処理装置。
【請求項4】
前記マッピング部は、前記第１の画像の前記切り出し位置における前記検体が描出された検体領域の寸法と、前記切り出し位置に対応する前記組織領域の寸法と、の差異に基づいて前記興味領域の寸法を補正し、寸法を補正した前記興味領域を、前記対象領域にマッピングする、請求項１から３のいずれか１項に記載の情報処理装置。
【請求項5】
前記マッピング部は、前記興味領域を含む前記組織領域に対応付けられた前記切り出し位置の近傍に、前記対象領域を表す図形を描画する、請求項１から４のいずれか１項に記載の情報処理装置。
【請求項6】
前記マッピング部は、前記興味領域を含む前記組織領域に対応付けられた前記切り出し位置を示す切り出し線の、前記標本組織が切り出された側に、前記対象領域を表す図形を描画する、請求項１から４のいずれか１項に記載の情報処理装置。
【請求項7】
前記興味領域の寸法を補正するユーザの操作を受け付ける受付部、をさらに備え、前記マッピング部は、前記ユーザによって補正された前記興味領域の寸法に基づいて前記対象領域の寸法を変更する、
請求項１から６のいずれか１項に記載の情報処理装置。
【請求項8】
前記興味領域は、前記標本組織のうちの病巣部位であり、前記興味領域認識部は、複数の標本画像と、前記複数の標本画像において病巣部位が描出された画像領域との対応関係が学習された学習済みモデルに前記第２の画像を入力し、前記学習済みモデルから出力された画像領域を、前記興味領域が描出された画像領域として認識する、
請求項１から７のいずれか１項に記載の情報処理装置。
【請求項9】
前記マッピング部は、前記第２の画像における前記興味領域の、前記検体の深さ方向の長さに応じて、前記第１の画像における前記対象領域を、異なる態様で描画する、請求項１から８のいずれか１項に記載の情報処理装置。
【請求項10】
前記興味領域は、腫瘍、粘膜、粘膜筋板、粘膜下層、または固有筋層のうちのいずれかの組織を含み、前記マッピング部は、前記興味領域に複数種類の組織が含まれる場合には、前記組織の種類ごとに、前記第１の画像における前記対象領域を、異なる表示態様で描画する、
請求項１から９のいずれか１項に記載の情報処理装置。
【請求項11】
前記マッピング部によって前記興味領域に相当する前記対象領域がマッピングされた前記第１の画像を外部装置に送信する送信部、をさらに備える、請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項12】
前記表示制御部は、前記第１の画像と、前記第１の画像に描出された前記検体から切り出された前記標本組織が撮像された前記第２の画像とを、前記表示部の一画面上に表示し、前記第１の画像上にマッピングされた前記対象領域を線形の図形として表示する、
請求項１から１１のいずれか１項に記載の情報処理装置。
【請求項13】
前記第１の画像は、複数の前記切り出し位置を含み、前記表示制御部は、前記第１の画像上の前記切り出し位置ごとに、前記第２の画像のうち該切り出し位置に対応付けられた前記組織領域が描出された部分が切り出された画像を表示する、
請求項１から１１のいずれか１項に記載の情報処理装置。
【請求項14】
前記表示制御部は、ユーザが前記第１の画像を選択した場合には前記第１の画像を前記第２の画像よりも大きく表示し、前記ユーザが前記第２の画像を選択した場合には前記第２の画像を前記第１の画像よりも大きく表示する、
請求項１から１１のいずれか１項に記載の情報処理装置。
【請求項15】
画像保管装置と、情報処理装置とを備えた情報処理システムであって、前記画像保管装置は、
検体の全体が撮像された画像である第１の画像と、前記検体から切り出された少なくとも１つの標本組織が前記第１の画像よりも高倍率で撮像された画像である第２の画像とを保管し、
前記情報処理装置は、
前記画像保管装置から、前記第１の画像と前記第２の画像とを取得する取得部と、
前記第２の画像から、前記標本組織が描出された組織領域を認識する組織領域認識部と、
前記組織領域に含まれる興味領域を認識する興味領域認識部と、
前記第１の画像における前記標本組織の切り出し位置を認識する切り出し位置認識部と、
前記第１の画像における前記切り出し位置と、前記第２の画像における前記組織領域とを対応付ける対応付け部と、
前記切り出し位置と前記組織領域との対応付けに基づいて、前記第２の画像の前記興味領域と、前記第１の画像において前記興味領域に相当する対象領域とをマッピングするマッピング部と、
前記マッピング部によって前記興味領域と前記対象領域とがマッピングされた前記第１の画像および前記第２の画像を対応付けて、それぞれ別個の画像として表示部の同一画面上に表示させ、前記第１の画像上の前記切り出し位置と、前記切り出し位置から切り出された前記標本組織の前記第２の画像上の表示位置とを対応付けて表示させる表示制御部と、を備える、
情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、情報処理装置および情報処理システムに関する。
【背景技術】
【0002】
従来、病理学の分野等において、検体である組織片の全体が撮像された検体画像と、該検体から切り出された標本組織が検体画像よりも高倍率で撮像された標本画像とを、デジタルデータとして保存する技術が知られている。このような病理検体画像および標本画像は、例えば、医師による病理組織診断に使用される。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－０００３４０号公報
【文献】特開２０１９－０９５８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、検体画像に描出された検体における標本組織の切り出し位置と、標本画像に描出された標本組織上の病巣領域等の興味領域との対応関係を、医師等が把握することを容易にすることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0005】
実施形態に係る情報処理装置は、取得部と、組織領域認識部と、興味領域認識部と、切り出し位置認識部と、対応付け部と、マッピング部と、表示制御部とを備える。取得部は、検体の全体が撮像された画像である第１の画像と、検体から切り出された少なくとも１つの標本組織が第１の画像よりも高倍率で撮像された画像である第２の画像と、を取得する。組織領域認識部は、第２の画像から、標本組織が描出された組織領域を認識する。興味領域認識部は、組織領域に含まれる興味領域を認識する。切り出し位置認識部は、第１の画像における標本組織の切り出し位置を認識する。対応付け部は、第１の画像における切り出し位置と、第２の画像における組織領域とを対応付ける。マッピング部は、切り出し位置と組織領域との対応付けに基づいて、第２の画像の興味領域と、第１の画像において興味領域に相当する対象領域とをマッピングする。表示制御部は、マッピング部によって興味領域と対象領域とがマッピングされた第１の画像および第２の画像を対応付けて、それぞれ別個の画像として表示部の同一画面上に表示させ、第１の画像上の切り出し位置と、切り出し位置から切り出された標本組織の第２の画像上の表示位置とを対応付けて表示させる。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下、図面を参照しながら、情報処理装置および情報処理システムの実施形態について詳細に説明する。
【0008】
図１は、実施形態に係る情報処理システムＳの全体構成の一例を示す図である。図１に示すように、情報処理システムＳは、情報処理装置１００と、検体画像保管装置２０１と、標本画像保管装置２０２とを備える。情報処理装置１００は、院内ＬＡＮ（Local Area Network）等のネットワーク３００を介して検体画像保管装置２０１および標本画像保管装置２０２と通信可能に接続している。
【0009】
なお、情報処理システムＳは、さらに、病院情報システム（ＨＩＳ：Hospital Information System）、臨床検査システム（ＬＩＳ：Laboratory Information System）、及び放射線情報システム（ＲＩＳ：Radiology Information System）等を含んでも良い。あるいは、情報処理システムＳは、病院情報システムの一部であっても良い。また、情報処理システムＳは、さらに、ＰＣ（Personal Computer）やタブレット端末等の端末装置を含んでも良い。
【0010】
情報処理システムＳは、例えば、病院等の医療機関、大学等の研究機関、または検査センター等に設けられる。また、情報処理システムＳを構成する装置の一部または全てが、クラウド環境に設けられても良い。
【0011】
検体画像保管装置２０１は、検体画像を保管する装置である。検体画像は、検体である組織片の全体が撮像された画像である。また、検体画像は、例えば、デジタルカメラ等の撮像装置によって撮像されたデジタル画像とする。検体画像は、本実施形態における第１の画像の一例である。
【0012】
本実施形態においては、検体は、患者の身体や、動物等から採取された一部組織とする。例えば、検体は、内視鏡的粘膜下層はく離術（Endoscopic Submucosal Dissection: ESD）によって切除された消化器の粘膜および粘膜下層であるが、これに限定されるものではなく、開腹手術等によって切除された組織片であっても良い。
【0013】
標本画像保管装置２０２は、標本画像を保管する装置である。標本画像は、検体である組織片から切り出された標本組織の撮像画像である。より詳細には、標本画像は、検体である組織片から切り出された少なくとも１つの標本組織が、検体画像よりも高倍率で撮像された画像である。例えば、標本画像は、スライドガラスに載せられた標本組織全体またはその一部を高精度にデジタル画像化したＷＳＩ(Whole Slide Imaging)である。また、標本画像は、電子顕微鏡で撮像された顕微鏡写真、あるいはその他の手法で撮像された画像であっても良い。標本画像は、本実施形態における第２の画像の一例である。
【0014】
検体画像保管装置２０１および標本画像保管装置２０２は、例えばサーバ装置またはＰＣ等である。なお、検体画像保管装置２０１および標本画像保管装置２０２を総称して画像保管装置と呼んでも良い。また、図１では検体画像保管装置２０１と標本画像保管装置２０２とを、別個の装置として記載したが、検体画像保管装置２０１と標本画像保管装置２０２とは一体の装置として構成されても良い。また、検体画像保管装置２０１、標本画像保管装置２０２、および情報処理装置１００が、一体の装置として構成されても良い。
【0015】
図２は、実施形態に係る検体画像５１および標本画像６１について説明する図である。例えば、診断医によって患者Ｐから採取された検体５は、病理診断のために、病理医または検査技師に移送される。この際、病理診断の依頼（オーダー）毎に、病理番号が採番される。また、病理診断の対象となる検体ごとに、異なる検体番号が採番される。なお、１回の病理診断の依頼において、診断対象の検体が複数ある場合には、１つの病理番号に、複数の検体番号が対応付けられる。以下、本実施形態においては、病理医または検査技師を病理医等という。
【0016】
なお、本実施形態における情報処理装置１００が実行する処理は、必ずしも病理診断を目的としなくても良い。例えば、研究機関による研究、または医療機関から委託されて病理学的検査を行う検査センターにおける報告書の作成を目的としても良い。
【0017】
また、検体５がデジタルカメラ等によって撮像された検体画像５１の識別情報として、検体画像ＩＤが付与される。検体画像ＩＤは、検体画像５１の付帯情報として登録されても良い。また、検体画像５１の撮像対象である検体５の病理番号、検体５の検体番号、検体５の取得元の患者Ｐの患者ＩＤ、検体画像５１の撮像日時等の検体画像５１に関する情報が、検体画像５１の付帯情報として登録されても良い。また、検体画像ＩＤ、およびその他の検体画像５１に関する情報は、検体画像５１上に文字情報として描出されても良い。
【0018】
病理医等は、検体５から標本組織６ａ～６ｅを切り出し、染色等の処理を施した後、例えば、標本組織６ａ～６ｅの断面を撮像装置側に向けてスライドガラス７に載置する。以下、個々の標本組織６ａ～６ｅを区別しない場合は、単に標本組織６という。標本組織６は、例えば、検体５が薄切りされた切片であるが、これに限定されるものではない。
【0019】
なお、図２では一例として、標本組織６は断面を撮像装置側に向けた状態で撮像されるが、載置の向きはこれに限定されるものではない。例えば、標本組織６は、検体画像５１の撮像時の検体５と同じ向きで、撮像されても良い。
【0020】
スライドガラス７に載置された標本組織６を撮像したＷＳＩ等の画像が、標本画像６１である。標本画像６１の識別情報として、標本画像ＩＤが付与される。なお、図２では、１つの検体５から切り出された標本組織６ａ～６ｅが、１つのスライドガラス７に載置されているが、複数のスライドガラス７に分けて載置されても良い。標本画像６１はスライドガラス７毎に撮像されるため、標本組織６ａ～６ｅが複数のスライドガラス７に分けて載置された場合は、複数の標本画像６１が撮像される。この場合、標本画像６１毎に、異なる標本画像ＩＤが付与される。
【0021】
標本画像ＩＤは、標本画像６１の付帯情報として登録されても良い。また、標本画像６１の撮像対象である標本組織の取得元である検体５の病理番号、検体５の検体番号、検体５の取得元の患者Ｐの患者ＩＤ、標本画像６１の撮像日時等の標本画像６１に関する情報が、標本画像６１の付帯情報として登録されても良い。また、標本画像ＩＤ、およびその他の標本画像６１に関する情報は、標本画像６１上に文字情報として描出されても良い。
【0022】
図１に戻り、情報処理装置１００は、例えばサーバ装置またはＰＣ等であり、ＮＷインタフェース１１０と、記憶回路１２０と、入力インタフェース１３０と、ディスプレイ１４０と、処理回路１５０とを有する。
【0023】
ＮＷインタフェース１１０は、処理回路１５０に接続されており、情報処理装置１００と検体画像保管装置２０１または標本画像保管装置２０２との間で行われる各種データの伝送および通信を制御する。ＮＷインタフェース１１０は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。
【0024】
記憶回路１２０は、処理回路１５０で使用される各種の情報を予め記憶する。また、記憶回路１２０は、各種のプログラムを記憶する。
【0025】
入力インタフェース１３０は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インタフェース１３０は、処理回路１５０に接続されており、操作者から受け取った入力操作を電気信号へ変換し処理回路１５０へと出力する。なお、本明細書において入力インタフェースはマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１５０へ出力する電気信号の処理回路も入力インタフェース１３０の例に含まれる。
【0026】
ディスプレイ１４０は、液晶ディスプレイや有機ＥＬ（Organic Electro－Luminescence： ＯＥＬ）ディスプレイ等である。なお、入力インタフェース１３０とディスプレイ１４０とは統合しても良い。例えば、入力インタフェース１３０とディスプレイ１４０とは、タッチパネルによって実現されても良い。ディスプレイ１４０は、本実施形態における表示部の一例である。
【0027】
処理回路１５０は、記憶回路１２０からプログラムを読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。本実施形態の処理回路１５０は、取得機能１５１と、受付機能１５２と、組織領域認識機能１５３と、興味領域認識機能１５４と、切り出し位置認識機能１５５と、対応付け機能１５６と、マッピング機能１５７と、表示制御機能１５８と、送信機能１５９と、切り出し位置設定機能１６０とを備える。取得機能１５１は、取得部の一例である。受付機能１５２は、受付部の一例である。組織領域認識機能１５３は、組織領域認識部の一例である。興味領域認識機能１５４は、興味領域認識部の一例である。切り出し位置認識機能１５５は、切り出し位置認識部の一例である。対応付け機能１５６は、対応付け部の一例である。マッピング機能１５７は、マッピング部の一例である。表示制御機能１５８は、表示制御部の一例である。送信機能１５９は、送信部の一例である。切り出し位置設定機能１６０は、切り出し位置設定部の一例である。
【0028】
ここで、例えば、処理回路１５０の構成要素である取得機能１５１、受付機能１５２、組織領域認識機能１５３、興味領域認識機能１５４、切り出し位置認識機能１５５、対応付け機能１５６、マッピング機能１５７、表示制御機能１５８、送信機能１５９、および切り出し位置設定機能１６０の各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１２０に記憶されている。処理回路１５０は、プロセッサである。例えば、処理回路１５０は、プログラムを記憶回路１２０から読み出し、実行することで各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路１５０は、図１の処理回路１５０内に示された各機能を有することとなる。なお、図１においては単一のプロセッサにて取得機能１５１、受付機能１５２、組織領域認識機能１５３、興味領域認識機能１５４、切り出し位置認識機能１５５、対応付け機能１５６、マッピング機能１５７、表示制御機能１５８、送信機能１５９、および切り出し位置設定機能１６０にて行われる処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１５０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、図１においては単一の記憶回路１２０が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路１５０は個別の記憶回路から対応するプログラムを読み出す構成としても構わない。
【0029】
上記説明では、「プロセッサ」が各機能に対応するプログラムを記憶回路から読み出して実行する例を説明したが、実施形態はこれに限定されない。「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサが例えばＣＰＵである場合、プロセッサは記憶回路に保存されたプログラムを読み出して実行することで機能を実現する。一方、プロセッサがＡＳＩＣである場合、記憶回路１２０にプログラムを保存する代わりに、当該機能がプロセッサの回路内に論理回路として直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0030】
取得機能１５１は、検体画像保管装置２０１から、検体画像５１を取得する。また、取得機能１５１は、標本画像保管装置２０２から、標本画像６１を取得する。なお、検体画像５１および標本画像６１の取得元は、検体画像保管装置２０１および標本画像保管装置２０２に限定されるものではない。
【0031】
取得対象の検体画像５１および標本画像６１は、例えば、受付機能１５２が受け付けたユーザの操作によって指定される。情報処理装置１００のユーザは、病理医等である。
【0032】
ユーザは、例えば、病理番号、患者ＩＤ、検体番号、または撮像日等のいずれか、またはこれらの組み合わせを入力することにより、取得対象の検体画像５１または標本画像６１を指定する。また、一の病理番号には１以上の検体番号および検体画像ＩＤが対応付けられ、一の検体番号には１以上の標本画像ＩＤが対応付けられる。このため、ユーザが一の病理診断の依頼を処理するために一の病理番号を入力した場合、１以上の検体画像５１および１以上の標本画像６１が取得される。
【0033】
また、ユーザは、検体画像保管装置２０１に保存された検体画像５１のリストから、所望の検体画像５１を選択しても良い。リストは、病理番号等の検体画像５１に関する情報が文字情報で表された一覧であっても良いし、検体画像５１が画像として表示された一覧であっても良い。この場合、取得機能１５１は、ユーザによって選択された検体画像５１の検体番号と同じ検体番号に対応付けられた標本画像６１を標本画像保管装置２０２から取得する。
【0034】
なお、検体画像５１または標本画像６１の取得のタイミングは、ユーザの操作に限定されるものではなく、例えば、標本画像保管装置２０２に標本画像６１が保存されたタイミングであっても良い。
【0035】
なお、本実施形態では、取得機能１５１が検体画像５１および標本画像６１を取得するものとして説明するが、検体画像５１を取得する機能と、標本画像６１を取得する機能とは、それぞれ別個の機能として構成されても良い。
【0036】
受付機能１５２は、入力インタフェース１３０を介して、ユーザによる各種の操作を受け付ける。例えば、受付機能１５２は、ユーザによる検体画像５１における切り出し位置の指定を受け付ける。また、受付機能１５２は、検体画像５１における切り出し位置と、標本画像６１における組織領域との対応付けを修正するユーザの操作を受け付ける。なお、切り出し位置および組織領域については後述する。
【0037】
組織領域認識機能１５３は、標本画像６１から、標本組織６が描出された組織領域を認識する。
【0038】
図３は、実施形態に係る標本画像６１の一例を示す図である。図３の左側の図は、標本組織６ａ～６ｃが描出された標本画像６１である。標本画像６１には、背景として映り込んだスライドガラス７と、標本組織６ａ～６ｃとが描出される。
【0039】
図３に示す例では、標本組織６ａ～６ｃは断面を撮像装置側に向けて撮像されている。検体５が消化器の粘膜および粘膜下層である場合、標本画像６１の上方が、標本組織６ａ～６ｃの粘膜側であり、標本画像６１の下方が、標本組織６ａ～６ｃの粘膜下層側となる。
【0040】
組織領域認識機能１５３は、画像処理によって、標本画像６１から標本組織６ａ～６ｃが描出された領域である組織領域６２ａ～６２ｃを認識する。図３の右側の図は、左側の図に示す標本画像６１から、組織領域認識機能１５３が組織領域６２ａ～６２ｃを認識した結果を示す図である。組織領域認識機能１５３は、標本画像６１において、標本組織６ａ～６ｃが描出された領域に含まれる画素の座標を特定することにより、組織領域６２ａ～６２ｃを認識する。以下、組織領域６２ａ～６２ｃを区別しない場合には、単に組織領域６２という。
【0041】
なお、図３の右側の図では、説明のために、組織領域６２の輪郭線を表示しているが、組織領域６２の輪郭線は、描出されなくとも良い。また、ユーザの操作によって、組織領域６２の輪郭線の表示または非表示が選択可能であっても良い。
【0042】
標本画像６１から組織領域６２を認識する手法は特に限定されるものではないが、例えば、組織領域認識機能１５３は、画素レベルで類似する領域をグルーピングしていくことで候補領域を選出するＳｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈのようなルールベースによる画像処理を採用しても良い。
【0043】
または、標本画像６１から組織領域６２を認識する手法として、深層学習（Deep Learning）等の機械学習による画像処理を採用しても良い。深層学習を採用する場合には、組織領域認識機能１５３は、記憶回路１２０に記憶された学習済みモデルに標本画像６１を入力し、学習済みモデルから出力される組織領域６２の認識結果を取得する。組織領域６２の認識処理に使用される学習済みモデルは、複数の標本画像６１と、複数の標本画像６１における組織領域６２との対応関係が学習されたモデルである。なお、学習済みモデルは、組織領域認識機能１５３に組み込まれていても良い。
【0044】
図１に戻り、興味領域認識機能１５４は、標本画像６１から、組織領域６２に含まれる興味領域を認識する。
【0045】
興味領域は、標本組織６のうち、病理診断において重要視される特定の組織である。一例として、興味領域は、標本組織６のうちの病巣部位である。病巣部位は、例えば、腺腫や腺がんなどの腫瘍領域である。
【0046】
また、興味領域は、腫瘍、粘膜、粘膜筋板、粘膜下層、または固有筋層のうちのいずれかの組織を含むものであっても良い。粘膜、粘膜筋板、粘膜下層、または固有筋層は、腫瘍のない正常領域であり、腫瘍の計測等に利用される。興味領域には、いずれか一の組織が含まれても良いし、複数種類の組織が含まれても良い。
【0047】
【0048】
図４の右側の図は、左側の図に示す標本画像６１から、興味領域認識機能１５４が興味領域６３を認識した結果を示す図である。図４の右側の図に示すように、組織領域６２のうち、興味領域６３が描出された画像領域に含まれる画素の座標を特定することにより、興味領域６３が描出された画像領域を認識する。
【0049】
なお、図４の右側の図では、説明のために、興味領域６３の輪郭線を表示しているが、興味領域６３の輪郭線は、描出されなくとも良い。また、ユーザの操作によって、興味領域６３の輪郭線の表示または非表示が選択可能であっても良い。
【0050】
標本画像６１から興味領域６３を認識する手法は特に限定されるものではないが、Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈのようなルールベースによる画像処理を採用しても良い。
【0051】
または、標本画像６１から興味領域６３を認識する手法として、深層学習（Deep Learning）等の機械学習による画像処理を採用しても良い。
【0052】
図５は、実施形態に係る深層学習による興味領域６３の認識処理を説明する図である。深層学習を採用する場合には、興味領域認識機能１５４は、図５に示すように、記憶回路１２０に記憶された学習済みモデル９０に標本画像６１を入力し、学習済みモデル９０から出力される興味領域６３の認識結果を取得する。興味領域６３の認識結果は、例えば、標本画像６１における興味領域６３の範囲を示す座標情報である。
【0053】
興味領域６３の認識処理に使用される学習済みモデル９０は、例えば、複数の標本画像６１と、複数の標本画像６１における興味領域６３との対応関係が学習されたモデルである。なお、学習済みモデル９０は、興味領域認識機能１５４に組み込まれていても良い。
【0054】
図１に戻り、切り出し位置認識機能１５５は、検体画像５１における標本組織６の切り出し位置を認識する。切り出し位置とは、検体５から、標本組織６が切り出された位置である。また、本実施形態において、単に切り出し位置という場合には、検体画像５１に描出された検体５上の切り出し位置のことをいう。
【0055】
図６は、実施形態に係る切り出し位置の一例を示す図である。検体５が消化器の粘膜および粘膜下層である場合、検体５は、粘膜側を撮像装置に向けた状態で撮像されているものとする。
【0056】
図６に示す例では、検体画像５１上に引かれた切り出し線５３ａ～５３ｆに、切り出し位置ＩＤ“１”～“６”がそれぞれ付与されている。切り出し線５３ａ～５３ｆは、検体５から標本組織６を切り出すＹ方向の位置を示す。以下、個々の切り出し線５３ａ～５３ｆを特に区別しない場合には、単に切り出し線５３という。
【0057】
１つの検体画像５１当たりの切り出し線５３の数は特に限定されるものではないが、例えば、本実施形態においては、１つの検体画像５１当たり１本以上の切り出し線５３が引かれているものとする。
【0058】
図６の左側の図に示す切り出し線５３および切り出し位置ＩＤは、後述の切り出し位置設定機能１６０によって設定されたものとする。切り出し線５３および切り出し位置ＩＤの設定方法の詳細については、後述する。
【0059】
例えば、切り出し位置設定機能１６０によって記憶回路１２０に、検体画像５１の検体画像ＩＤと、検体画像５１上の切り出し線５３の座標と、切り出し位置ＩＤとが対応付けられた切り出し位置情報が保存されている。切り出し位置認識機能１５５は、記憶回路１２０から、切り出し位置情報を読み出して、検体画像５１上の切り出し線５３の位置、および各切り出し線５３の切り出し位置ＩＤを特定する。切り出し位置情報は、検体画像５１の付帯情報として、検体画像５１に対応付けられて記憶されていても良い。
【0060】
また、切り出し位置認識機能１５５は、検体画像５１における検体領域５２を認識する。検体領域５２は、検体画像５１上で検体５が描出された画像領域である。検体領域５２を認識する手法は特に限定されるものではないが、Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈのようなルールベースによる画像処理を採用しても良いし、深層学習等の機械学習による画像処理を採用しても良い。また、検体画像５１の背景画像が予め定められている場合は、切り出し位置認識機能１５５は、検体画像５１から該背景画像を削除して残った画像領域を、検体領域５２として認識しても良い。
【0061】
図６の中央の図は、切り出し位置認識機能１５５が検体画像５１から認識した検体領域５２の一例である。
【0062】
また、切り出し位置認識機能１５５は、特定した切り出し線５３および切り出し位置ＩＤと、認識した検体領域５２とに基づいて、切り出し線５３を補正する。具体的には、切り出し位置認識機能１５５は、切り出し線５３のうち、検体領域５２からはみ出る部分を削除することにより、切り出し線５３の幅を、検体領域５２の幅に揃える。ここでは、検体領域５２の幅および切り出し線５３の幅は、検体領域５２および切り出し線５３の図６のＸ方向の長さのことをいう。
【0063】
補正後の切り出し線５３は、検体画像５１に描出された検体５から標本組織６が切り出された切り出し位置を表す。
【0064】
なお、切り出し位置の認識の手法は、上述の例に限定されるものではない。例えば、切り出し位置認識機能１５５は、検体画像５１に描出された線画像または文字情報から、切り出し位置を認識しても良い。文字情報は、例えば、組織片を切り出す位置の指示や切り出した位置の記録等の情報である。文字情報を認識する手段は、例えばＯＣＲ（Optical Character Recognition／Reader、光学的文字認識）でも良い。また、線画像または文字情報は、検体画像５１自体に描出されたものに限定されず、検体画像５１と対応付けられた帳票等に記載されたものでも良い。
【0065】
また、図６では、標本組織６が切り出される前の検体５を撮像した検体画像５１から切り出し位置を認識しているが、切り出し位置認識機能１５５は、標本組織６が切り出された後の検体５を撮像した検体画像５１から切り出し位置を、画像処理によって認識しても良い。また、この場合、切り出し位置認識機能１５５は、所定の運用ルールに基づいて、切り出し位置に切り出し位置ＩＤを付与する。
【0066】
所定の運用ルールは、例えば、“検体画像５１の上方から、１から昇順に切り出し位置ＩＤを付与する”等である。所定の運用ルールは、標本組織６の切り出し順、およびスライドガラス７への標本組織６の配置順を規定する運用ルールである。該運用ルールは、情報処理装置１００が設けられた医療機関または検査センター固有の運用ルールでも良い。この場合、受付機能１５２が、ユーザによって入力された運用ルールを受け付け、予め記憶回路１２０に保存しておくものとしても良い。あるいは、例えば、ユーザによる設定の前に、複数の運用ルールが記憶回路１２０に登録されており、ユーザが、複数の運用ルールのうち、採用する一の運用ルールを選択可能な構成を採用しても良い。
【0067】
図１に戻り、対応付け機能１５６は、検体画像５１における切り出し位置と、該切り出し位置から切り出された標本組織６が描出された標本画像６１における組織領域６２とを対応付ける。
【0068】
図７は、本実施形態に係る切り出し位置と組織領域６２との対応付けの一例を示す図である。図７に示すように、対応付け機能１５６は、切り出し位置認識機能１５５によって認識された切り出し位置と、切り出し位置から切り出された組織領域６２とを１対１で対応付ける。
【0069】
より詳細には、対応付け機能１５６は、標本画像６１に含まれる個々の組織領域６２に、標本領域ＩＤを付与する。対応付け機能１５６は、例えば、“標本画像６１の上方から、１から昇順に標本領域ＩＤを付与する”等の運用ルールに基づいて、標本領域ＩＤを付与する。また、図７のように、１つの検体画像５１に対して、複数の標本画像６１ａ，６１ｂが対応付けられる場合は、対応付け機能１５６は、複数の標本画像６１ａ，６１ｂのうち、撮像日時が早い順に、標本領域ＩＤを付与する。
【0070】
標本領域ＩＤの付与に用いられる運用ルールは、切り出し位置認識機能１５５の説明の際に述べた運用ルールと同様に、標本組織６の切り出し順、およびスライドガラス７への標本組織６の配置順を規定する運用ルールである。
【0071】
このため、標本画像６１における個々の組織領域６２に付与された標本領域ＩＤは、基本的に、該組織領域６２に描出された標本組織が切り取られた切り取り位置の切り取り位置ＩＤと一致する。対応付け機能１５６は、切り出し位置ＩＤと、該切り出し位置ＩＤと同じ番号の標本領域ＩＤとを対応付ける。図７に示す例では、検体画像５１における切り出し位置ＩＤ“１”～“６”の切り出し位置と、標本画像６１における標本領域ＩＤ“１”～“６”の組織領域６２とがそれぞれ対応付けられる。
【0072】
なお、標本領域ＩＤを付与する手法は上述の例に限定されるものではない。図８は、本実施形態に係る標本画像６１に描出されたラベル７１の一例を示す図である。例えば、図８に示すように、標本画像６１に描出されたラベル７１に、標本組織６が切り出された位置を示す切り出し位置ＩＤまたは標本領域ＩＤが記載されている場合、対応付け機能１５６は、ＯＣＲ等の手法によって該切り出し位置ＩＤを認識する。
【0073】
また、ユーザが、ディスプレイ１４０に表示されたＧＵＩ（Graphical User Interface）から、標本領域ＩＤを入力する操作を行っても良い。また、対応付け機能１５６によって付与された標本組織ＩＤに誤りがある場合、ユーザがＧＵＩから標本領域ＩＤを変更する操作を行っても良い。この場合、受付機能１５２が、ユーザによる標本領域ＩＤの入力、または変更の操作を受け付ける。対応付け機能１５６は、受け付けられたユーザの操作に基づいて、切り出し位置と組織領域６２との対応付けを修正する。
【0074】
図９は、本実施形態に係る標本領域ＩＤの設定操作画面１４１の一例を示す図である。設定操作画面１４１は、ＧＵＩの一種である。設定操作画面１４１の表示処理は、後述の表示制御機能１５８が実行する。設定操作画面１４１には、検体画像５１と、該検体画像５１と対応付けられた標本画像６１とが含まれる。
【0075】
図９に示すように、リストボックス６０等によって、ユーザが、標本領域ＩＤを入力または変更可能であっても良い。
【0076】
また、例えば、ユーザがマウスまたはスタイラスペン等で画面上の番号修正ボタン８０を押下した場合に、対応付け機能１５６によって設定された切り出し位置ＩＤおよび標本領域ＩＤが表示される。なお、対応付け機能１５６によって標本領域ＩＤがまだ設定されていない場合には、標本領域ＩＤは表示されなくとも良い。
【0077】
例えば、ユーザが切り出し位置ＩＤの数字または切り出し線５３を押下すると、該切り出し位置ＩＤと同じ番号の標本領域ＩＤを設定可能な組織領域６２が選択可能に表示される。選択の手法は、例えば、ドロップボックスや、ラジオボタン等である。
【0078】
また、ユーザが切り出し位置ＩＤの数字または切り出し線５３を押下した後にクリックした組織領域６２が、該切り出し位置ＩＤと対応付けられても良い。
【0079】
また、ユーザが切り出し位置ＩＤの数字または切り出し線５３を、組織領域６２にドラッグアンドドロップすること、またはユーザが組織領域６２を切り出し位置ＩＤの数字または切り出し線５３にドラッグアンドドロップすることによって、切り出し位置ＩＤと組織領域６２とが対応付けられても良い。例示した操作は一例であり、検体画像５１における切り出し位置と、該切り出し位置から切り出された標本組織６が描出された標本画像６１における組織領域６２とを対応付ける手法および対応付けを変更する手法は、これらに限定されるものではない。
【0080】
また、切り出し後に標本組織６が分割された場合など、切り出し位置の数よりも、組織領域６２の数の方が多い場合、対応付け機能１５６は、余った組織領域６２には自動的にアスタリスク等の記号を仮の標本領域ＩＤとして付与しても良い。この場合、ユーザが、手動で標本領域ＩＤを修正しても良い。また、切り出し後に標本組織６が分割された場合に、分割された標本組織６に合わせて、検体画像５１の切り出し線５３を、ユーザが分割しても良い。
【0081】
図１に戻り、マッピング機能１５７は、対応付け機能１５６による切り出し位置と組織領域６２との対応付けに基づいて、標本画像６１の興味領域６３と、検体画像５１において標本画像６１の興味領域６３に相当する対象領域とをマッピングする。
【0082】
図１０は、本実施形態に係るマッピングの一例を示す図である。マッピング機能１５７は、標本画像６１に描出された興味領域６３の範囲を、切り出し位置ＩＤおよび標本領域ＩＤに基づいて、標本画像６１に対応付ける。また、マッピング機能１５７は、興味領域６３を含む組織領域６２に対応付けられた切り出し位置の近傍に、対象領域５４を表す図形を描画する。図形は、例えば線分でも良いし、矩形等であっても良い。
【0083】
より詳細には、マッピング機能１５７は、興味領域６３を含む組織領域６２に対応付けられた切り出し位置を示す切り出し線５３の、標本組織６が切り出された側に、対象領域５４を表す図形を描画する。例えば、切り出し位置ＩＤ“２”に対応付けられた標本領域ＩＤ“２”の組織領域６２ｂには、興味領域６３ａと興味領域６３ｂが含まれる。組織領域６２ｂに描出された標本組織６が、切り出し線５３ｂの上方から切り出されたものである場合、マッピング機能１５７は、検体画像５１における切り出し位置ＩＤ“２”が付与された切り出し線５３ｂの上方に、興味領域６３ａに対応する対象領域５４ａと、興味領域６３ｂに対応する対象領域５４ｂとを描画する。
【0084】
また、切り出し位置ＩＤ“３”に対応付けられた標本領域ＩＤ“３”の組織領域６２ｂには、興味領域６３ｃが含まれる。マッピング機能１５７は、検体画像５１における切り出し位置ＩＤ“３”が付与された切り出し線５３ｃの上方に、興味領域６３ｃに対応する対象領域５４ｃを描画する。以下、個々の対象領域５４ａ～５４ｃを特に区別しない場合には、単に対象領域５４という。
【0085】
図１０では、対象領域５４を線形的に描画したが、描画の態様はこれに限定されるものではない。
【0086】
なお、切り出し線５３の上方と下方のいずれに対象領域５４をマッピングするかは、標本組織６がスライドガラス７に載置される際の切断面の向きに応じて異なる。マッピング機能１５７は、例えば、運用ルールに基づいて、切り出し線５３の上方と下方のいずれに対象領域５４をマッピングするかを決定する。あるいは、切り出し線５３の上方と下方のいずれに対象領域５４をマッピングするかユーザが選択可能であっても良い。また、マッピング機能１５７は、切り出し線５３に重畳して対象領域５４を描画しても良い。
【0087】
また、標本画像６１は検体画像５１よりも高倍率で撮像されているため、マッピング機能１５７は、興味領域６３に対応する対象領域５４を検体画像５１に描画する際、興味領域６３の縮尺を、検体画像５１に合わせて補正する。
【0088】
具体的には、マッピング機能１５７は、検体画像５１の切り出し位置における検体領域５２の寸法と、切り出し位置に対応する組織領域６２の寸法と、の差異に基づいて、興味領域６３の寸法を補正する。マッピング機能１５７は、寸法を補正した興味領域６３を、検体画像５１上の対象領域５４にマッピングする。検体領域５２の寸法とは、より具体的には、検体画像５１の幅方向における検体領域５２の長さ、つまり検体領域５２の幅である。また、組織領域６２の寸法とは、より具体的には、検体領域５２の幅方向と同じ方向における組織領域６２の長さである。
【0089】
マッピング機能１５７は、例えば（１）式によって、補正後の対象領域５４の寸法および位置を算出する。
【0090】
【数1】
【0091】
（１）式のｉは検体画像５１の切り出し位置ＩＤおよび標本画像６１の標本領域ＩＤである。Ｒｍａｃｒｏ，ｉは、切り出し位置ＩＤ“ｉ”に対応付けられた対象領域５４の範囲を示す。Ｒｍｉｃｒｏ，ｉは、標本画像６１上における標本領域ＩＤ“ｉ”に対応付けられた興味領域６３の範囲である。対象領域５４の範囲および興味領域６３の範囲は、検体画像５１または標本画像６１上の座標で表される。ｌｍａｃｒｏ，ｉは、検体画像５１における切り出し位置ＩＤ“ｉ”に対応付けられた補正後の切り出し線５３のＸ方向の長さ（幅）である。また、ｌｍｉｃｒｏ，ｉは、標本画像６１上における組織領域６２のＸ方向の長さ（幅）である。また、ｏｆｆｓｅｔは、補正後の組織領域６２を対象領域５４として検体画像５１上に描画するための移動量である。例えば、ｏｆｆｓｅｔは、切り出し位置ＩＤ“ｉ”に対応付けられた補正後の切り出し線５３の左端部の座標である。
【0092】
なお、標本画像６１を撮像した顕微鏡の倍率と、検体画像５１を撮像したデジタルカメラの倍率とが特定可能な場合、マッピング機能１５７は、該倍率の差に基づいて、切り出し線５３のＸ方向の長さ（幅）を補正しても良い。
【0093】
また、標本画像６１上の組織領域６２は、必ずしも検体画像５１の切り出し線５３と同じ向きに並んでいるとは限らないため、マッピング機能１５７は、検体画像５１のＸ方向（幅方向）に相当する組織領域６２の方向を、組織領域６２の重心の並びに基づいて特定する。
【0094】
図１１は、実施形態に係る標本画像における組織領域の重心群の並びの一例を示す図である。重心６５ａ～６５ｃは、それぞれ、組織領域６２ａ～６２ｃに含まれる各画素の分布の中心である。例えば、重心６５ａ～６５ｃの座標は、それぞれ、組織領域６２ａ～６２ｃに含まれる各画素の座標の平均値である。
【0095】
マッピング機能１５７は、重心６５ａ～６５ｃの並ぶ方向を判定し、重心６５ａ～６５ｃが並ぶ方向をＹ軸方向、重心６５ａ～６５ｃが並ぶ方向に垂直な方向をＸ軸方向（幅方向）と認識する。マッピング機能１５７は、認識したＸ軸方向にそって、組織領域６２のＸ方向の長さ（幅）Ｌ１を求める。Ｘ軸方向（幅方向）は、基準軸方向ともいう。
【0096】
図１１では、標本画像６１における組織領域６２が並ぶ方向は、検体画像５１における切り出し線５３と略同じ方向であるが、組織領域６２が並ぶ方向はこれに限定されるものではない。図１２は、実施形態に係る標本画像における組織領域６２の重心群の並びの他の一例を示す図である。図１２に示すように、組織領域６２が、標本画像６１の縦方向に並ぶ場合もある。この場合、マッピング機能１５７は、重心６５ａ～６５ｃが並ぶ方向に基づいて、標本画像６１の縦方向を、組織領域６２の幅方向と判定する。
【0097】
なお、重心６５ａ～６５ｃの並ぶ方向の求め方は、例えば、座標群におけるＸ座標およびＹ座標の分散の比の算出、または主成分分析等を採用しても良い。具体的には、マッピング機能１５７は、重心６５ａ～６５ｃの座標を主成分分析し、第一主成分方向と垂直な方向を基準軸方向としても良い。また、マッピング機能１５７は、第一主成分と第二主成分の寸法の比が閾値よりも大きい場合は、重心６５ａ～６５ｃの並ぶ方向を判定できないことを、後述の表示制御機能１５８に通知しても良い。この場合、表示制御機能１５８は、ユーザが基準軸方向を入力可能なＧＵＩ等の画面を表示しても良い。第一主成分と第二主成分の寸法の比の閾値は、例えば０．８とするが、これに限定されるものではない。
【0098】
また、マッピング機能１５７は、“重心６５ａ～６５ｃが標本画像６１の縦方向に並ぶ場合は、組織領域６２の幅の計測は標本画像６１の横方向を基準とする”、“重心６５ａ～６５ｃが標本画像６１の横方向に並ぶ場合は、組織領域６２の幅の計測は標本画像６１の縦方向を基準とする”というように規則に従って組織領域６２のＸ方向の長さ（幅）Ｌ１を求めても良い。この場合、重心６５ａ～６５ｃが斜めに並んでいる場合、または、重心６５ａ～６５ｃの並びに一定の方向性が無い場合は、ユーザが基準軸方向を入力するものとする。
【0099】
なお、本実施形態では、マッピング機能１５７が対象領域５４を描画するとしたが、マッピング機能１５７は単に検体画像５１上の対象領域５４の座標を特定するだけでも良い。
【0100】
図１に戻り、表示制御機能１５８は、ディスプレイ１４０に、ＧＵＩ等の種々の画面を表示させる。また、表示制御機能１５８は、マッピング機能１５７によって興味領域６３と対象領域５４とがマッピングされた検体画像５１および標本画像６１を対応付けてディスプレイ１４０に表示させる。
【0101】
図１３は、本実施形態に係るマッピング表示画面１４２の一例を示す図である。例えば、図１３に示すように、表示制御機能１５８は、検体画像５１と、該検体画像５１に描出された検体５から切り出された標本組織６が撮像された標本画像６１ａ，６１ｂとを、マッピング表示画面１４２として、一画面上に表示する。また、表示制御機能１５８は、マッピング機能１５７によって検体画像５１上にマッピングされた対象領域５４を、例えば線形の図形として表示する。対象領域５４の表示態様およびマッピング表示画面１４２の態様は、これに限定されるものではない。
【0102】
図１４は、本実施形態に係るマッピング表示画面１４２の他の一例を示す図である。図１４に示す画像６１０は、標本画像６１のうち、ユーザによって選択された検体画像５１上の切り出し線５３が示す切り出し位置に対応付けられた組織領域６２が描出された部分が切り出された画像である。例えば、表示制御機能１５８は、図１４に示すように、検体画像５１上の切り出し位置ごとに、該切り出し位置に対応付けられた組織領域６２を表示しても良い。
【0103】
また、図１５は、本実施形態に係るマッピング表示画面１４２の他の一例を示す図である。検体画像５１と標本画像６１とは同じ大きさで表示されていなくとも良い。例えば、ユーザが標本画像６１を選択した場合には、表示制御機能１５８は、図１５に示すように、標本画像６１を拡大して表示し、検体画像５１は標本画像６１よりも小さく表示する。また、ユーザが検体画像５１を選択した場合には、表示制御機能１５８は、検体画像５１を拡大して表示し、標本画像６１は検体画像５１よりも小さく表示する。
【0104】
また、マッピング表示画面１４２は、ユーザによるマッピングの変更または切り出し線５３の変更等の各種の変更操作の受け付けが可能な操作画面を兼ねていても良い。
【0105】
また、ユーザは、操作画面上で変更した結果を、保存または出力する操作をすることができる。例えば、図１５に示す保存ボタン８１をユーザが押下した場合には、ユーザによる変更後の状態で、マッピングや、切り出し線５３等の情報が、検体画像５１および標本画像６１と対応付けられて記憶回路１２０に保存される。
【0106】
また、図１５に示す出力ボタン８２をユーザが押下した場合には、マッピング後の検体画像５１および標本画像６１が出力される。出力先は、記憶回路１２０内の任意の保存先でも良いし、ネットワーク３００を介して情報処理装置１００と接続する他の情報処理装置であっても良い。他の情報処理装置は、例えば、ＨＩＳ、ＬＩＳ、ＲＩＳ等を構成する情報処理装置であるが、これらに限定されるものではない。出力先が情報処理装置１００外である場合は、ユーザによって出力対象として指定されたマッピング後の検体画像５１および標本画像６１は、後述の送信機能１５９によって、出力先に送信されるものとする。
【0107】
また、本実施形態では、表示制御機能１５８は、情報処理装置１００のディスプレイ１４０にマッピング表示画面１４２や、その他のＧＵＩが表示させるものとしたが、ネットワーク３００を介して情報処理装置１００と接続するＰＣやタブレット端末等の端末装置のディスプレイに、マッピング表示画面１４２や、その他のＧＵＩが表示させても良い。この場合、ＰＣやタブレット端末等の端末装置のディスプレイが、表示部の一例となる。
【0108】
図１に戻り、送信機能１５９は、マッピング機能１５７によって興味領域６３に相当すると対象領域５４がマッピングされた検体画像５１を外部装置に送信する。
【0109】
マッピング機能１５７によって興味領域６３に相当すると対象領域５４がマッピングされた検体画像５１とは、検体画像５１上に対象領域５４を示す図形が描画された画像である。また、マッピング機能１５７によって興味領域６３に相当すると対象領域５４がマッピングされた検体画像５１は、検体画像５１の付帯情報として、対象領域５４の位置および寸法が登録された画像データであっても良い。
【0110】
また、この際、送信機能１５９は、検体画像５１に対応付けられた標本画像６１も、検体画像５１と共に外部装置に送信しても良い。この場合、検体画像５１および標本画像６１には、切り出し位置情報およびマッピングの情報が対応付けられているものとする。
【0111】
送信先の外部装置は、例えば、ネットワーク３００を介して情報処理装置１００と接続する他の情報処理装置である。他の情報処理装置は、例えば、ＨＩＳ、ＬＩＳ、ＲＩＳ等を構成する情報処理装置であるが、これらに限定されるものではない。なお、送信機能１５９は、マッピング機能１５７によって興味領域６３と対象領域５４とがマッピングされた検体画像５１および標本画像６１を自動的に送信するものとしても良いし、ユーザによって指定された検体画像５１または標本画像６１を送信しても良い。
【0112】
切り出し位置設定機能１６０は、ユーザによる切り出し位置の指定に基づいて、検体画像５１に切り出し位置を設定する。ユーザによる切り出し位置の指定は、受付機能１５２によって受け付けられる。
【0113】
図１６は、本実施形態に係る切り出し位置の設定画面１４３の一例を示す図である。切り出し位置の設定画面１４３は、表示制御機能１５８によってディスプレイ１４０に表示される。切り出し位置の設定画面１４３には、標本組織６が切り出される前の検体画像５１が表示される。
【0114】
図１６に示すように、ユーザが、切り出し位置の設定画面１４３に表示された検体画像５１上で、マウス等の操作によって切り出し線５３を描画すると、切り出し位置設定機能１６０は、検体画像５１上の切り出し線５３の座標を、切り出し位置として記録する。また、切り出し位置設定機能１６０は、各切り出し線５３に、運用ルールに基づいて、切り出し位置ＩＤを付与する。例えば、切り出し位置設定機能１６０は、検体画像５１の上方から昇順に、切り出し位置ＩＤを付与する。
【0115】
切り出し線５３は、検体画像５１の幅方向と平行でなくとも良く、ユーザによって任意の角度で設定可能である。また、切り出し位置設定機能１６０は、例えば、検体画像５１の幅方向に対する切り出し線５３のなす角θが閾値未満の場合には、切り出し線５３の上方を標本組織６が採取される方向と認識し、なす角θが閾値以上の場合には、切り出し線５３の下方を標本組織６が採取される方向と認識しても良い。なす角θの閾値は、例えば２７０度するが、これに限定されるものではない。なお、図１６において、なす角θが開始位置を示すために記載した検体画像５１の幅方向と平行な線は、実際には切り出し位置の設定画面１４３上に表示されなくとも良い。
【0116】
また、切り出し位置設定機能１６０は、所定のガイドラインに従って、一定の間隔で切り出し線５３を自動的に設定しても良い。
【0117】
切り出し線５３が設定された検体画像５１は、例えば、ユーザの操作によって記憶回路１２０に保存される。切り出し線５３が設定された検体画像５１とは、切り出し位置情報と対応付けられた検体画像５１である。切り出し位置情報は、検体画像５１の検体画像ＩＤと、検体画像５１上の切り出し線５３の座標と、切り出し位置ＩＤとが対応付けられた情報である。切り出し位置情報は、検体画像５１の付帯情報として１つの画像データ内に登録されても良いし、別個のデータファイルとして保存されても良い。また、切り出し線５３が設定された検体画像５１の保存先は記憶回路１２０に限定されるものではなく、検体画像保管装置２０１でも良い。切り出し位置情報は、アノテーション情報（正解情報）ともいう。
【0118】
切り出し線５３が設定された検体画像５１に基づいて、病理医等が、検体５から標本組織６を切り出し、標本組織６に染色等の処理を施した後、標本画像６１を撮像する。
【0119】
また、切り出し位置設定機能１６０は、検体５から標本組織６を切り出す前だけではなく、切り出した後に、検体画像５１の切り出し位置と標本画像６１の組織領域６２の対応付けの修正の際に、ユーザによる切り出し位置の分割等の操作を受け付けても良い。
【0120】
図１７は、本実施形態に係る切り出し位置の分割の一例を示す図である。例えば、表示制御機能１５８によってディスプレイ１４０に表示された操作画面１４６上で、ユーザが分割ボタン８６を押下した場合、切り出し線５３の分割位置を示すマーカ９７が、検体画像５１上に表示される。ユーザは、マウス等の操作によってマーカ９７を移動させることにより、分割位置を設定可能である。切り出し線５３が分割された場合、切り出し位置ＩＤは、分割された切り出し線ごとに枝番で表される。
【0121】
図１８は、本実施形態に係る切り出し線５３が分割された場合における切り出し位置ＩＤの一例を示す図である。図１８に示す例では、３本目の切り出し線５３が、切り出し線５３１と、切り出し線５３２とに分割されたものとする。この場合、切り出し位置設定機能１６０は、切り出し線５３１に切り出し位置ＩＤ“３－１”、切り出し線５３２に切り出し位置ＩＤ“３－２”を設定する。また、この場合、切り出し線５３１と、切り出し線５３２に対応する組織領域６２ｃ、組織領域６２ｄの組織領域ＩＤも、上述の対応付け機能１５６またはユーザの操作によって“３－１”、“３－２”に変更される。なお、切り出し線５３の分割は、標本画像６１の撮像前に、予め実施されても良い。
【0122】
なお、本実施形態においては、切り出し位置設定機能１６０は、情報処理装置１００の機能の一例として説明したが、切り出し位置設定機能１６０は、情報処理装置１００とは異なる装置に備えられても良い。
【0123】
次に、以上のように構成された情報処理装置１００で実行される切り出し位置の設定処理の流れについて説明する。
【0124】
図１９は、本実施形態に係る切り出し位置の設定処理の流れの一例を示すフローチャートである。このフローチャートの処理の前提として、検体画像５１がデジタルカメラ等によって撮像されて、検体画像保管装置２０１に保存されているものとする。
【0125】
まず、受付機能１５２は、ユーザによる検体画像５１を指定する操作を受け付ける（Ｓ１）。ユーザは、例えば、病理番号、患者ＩＤ、検体番号、または撮像日等のいずれか、またはこれらの組み合わせを入力することにより、取得対象の検体画像５１を指定する。また、ユーザは、検体画像保管装置２０１に保存された検体画像５１のリストから、所望の検体画像５１を選択しても良い。
【0126】
そして、取得機能１５１は、ユーザによって指定された検体画像５１を、検体画像保管装置２０１から取得する（Ｓ２）。ここで、表示制御機能１５８は、検体画像５１を含む切り出し位置の設定画面１４３を、ディスプレイ１４０に表示させる。
【0127】
また、受付機能１５２は、ユーザによる検体画像５１における切り出し位置を指定する操作を受け付ける（Ｓ３）。ユーザによる検体画像５１における切り出し位置を指定する操作は、例えば、切り出し位置の設定画面１４３において、切り出し線５３を検体画像５１上に描画する操作である。
【0128】
切り出し位置設定機能１６０は、ユーザによって指定された切り出し位置に、例えば運用ルールに基づいて、切り出し位置ＩＤを付与する（Ｓ４）。
【0129】
また、受付機能１５２は、ユーザによる切り出し位置の変更操作を受け付けたか否かを判定する（Ｓ５）。
【0130】
受付機能１５２がユーザによる切り出し位置の変更操作を受け付けたと判定した場合（Ｓ５“Ｙｅｓ”）、切り出し位置設定機能１６０は、変更操作に基づいて、切り出し位置を変更する（Ｓ６）。また、切り出し位置の変更だけではなく、切り出し線を分割するユーザの操作を受け付けた場合にも、切り出し位置設定機能１６０は、ユーザの操作に基づいて、切り出し線を分割する。そして、Ｓ５の処理に戻る。
【0131】
受付機能１５２は、ユーザによる切り出し位置の変更操作を受け付けていないと判定した場合（Ｓ５“Ｎｏ”）、ユーザによる切り出し位置の保存操作を受け付けたか否かを判定する（Ｓ７）。受付機能１５２は、ユーザによる切り出し位置の保存操作を受け付けていないと判定した場合（Ｓ７“Ｎｏ”）、Ｓ５の処理に戻る。
【0132】
また、受付機能１５２がユーザによる切り出し位置の保存操作を受け付けたと判定した場合（Ｓ７“Ｙｅｓ”）、切り出し位置設定機能１６０は、切り出し位置付きの検体画像５１、つまり切り出し位置情報と対応付けられた検体画像５１を、記憶回路１２０に保存する（Ｓ８）。なお、切り出し位置設定機能１６０は、切り出し位置付きの検体画像５１を、送信機能１５９を介して、検体画像保管装置２０１に送信しても良い。ここで、このフローチャートの処理は終了する。
【0133】
次に、本実施形態に係る検体画像５１と標本画像６１のマッピング処理の流れについて説明する。
【0134】
図２０は、本実施形態に係る検体画像５１と標本画像６１のマッピング処理の流れの一例を示すフローチャートである。このフローチャートの処理の前提として、検体画像５１および標本画像６１が撮像されて、検体画像保管装置２０１および標本画像保管装置２０２に保存されているものとする。また、検体画像５１の切り出し位置の設定を情報処理装置１００の切り出し位置設定機能１６０が行った場合には、検体画像５１は、情報処理装置１００の記憶回路１２０に保存されていても良い。
【0135】
まず、受付機能１５２は、ユーザによる検体画像５１および標本画像６１を指定する操作を受け付ける（Ｓ１０１）。例えば、ユーザは、ユーザは、例えば、病理番号、患者ＩＤ、検体番号、または撮像日等のいずれか、またはこれらの組み合わせを入力することにより、取得対象の検体画像５１および標本画像６１を指定する。また、ユーザは、検体画像保管装置２０１に保存された検体画像５１のリストから、所望の検体画像５１を選択しても良い。この場合、選択された検体画像５１と同じ検体番号に対応付けられた標本画像６１が、自動的に選択される。
【0136】
そして、取得機能１５１は、取得対象として指定された検体画像５１を検体画像保管装置２０１から取得する（Ｓ１０２）。なお、検体画像５１が記憶回路１２０に保存されている場合には、取得機能１５１は、記憶回路１２０から取得対象として指定された検体画像５１を記憶回路１２０から取得する。
【0137】
また、取得機能１５１は、取得対象として指定された標本画像６１を標本画像保管装置２０２から取得する（Ｓ１０３）。
【0138】
次に、組織領域認識機能１５３は、取得された標本画像６１から、深層学習等によって組織領域６２を認識する（Ｓ１０４）。
【0139】
また、興味領域認識機能１５４は、取得された標本画像６１から、深層学習等によって興味領域６３を認識する（Ｓ１０５）。
【0140】
次に、切り出し位置認識機能１５５は、取得された検体画像５１から、切り出し位置を認識する（Ｓ１０６）。例えば、検体画像５１の切り出し線５３および切り出し位置ＩＤが切り出し位置設定機能１６０によって設定されたものである場合には、切り出し位置認識機能１５５は、検体画像５１に対応付けられた切り出し位置情報から、切り出し線５３および切り出し位置ＩＤを特定する。また、検体画像５１の切り出し線５３および切り出し位置ＩＤが切り出し位置設定機能１６０によって設定されていない場合は、例えば、切り出し位置認識機能１５５は、ＯＣＲや所定の運用ルール等に基づいて、切り出し線５３および切り出し位置ＩＤを特定する。そして、切り出し位置認識機能１５５は、検体画像５１における検体領域５２を認識し、特定した切り出し線５３および切り出し位置ＩＤと、認識した検体領域５２とに基づいて、切り出し線５３を補正することにより、検体画像５１における切り出し位置を認識する。
【0141】
次に、対応付け機能１５６は、標本画像６１の組織領域６２と検体画像５１の切り出し位置とを対応付ける（Ｓ１０７）。例えば、対応付け機能１５６は、運用ルールに基づいて、組織領域６２に組織領域ＩＤを設定する。対応付け機能１５６は、該組織領域ＩＤと切り出し位置の切り出し位置ＩＤとを１対１の関係で対応付ける。
【0142】
次に、マッピング機能１５７は、標本画像６１の組織領域６２の含まれる興味領域６３を、検体画像５１にマッピングする（Ｓ１０８）。例えばマッピング機能１５７は、検体画像５１上で興味領域６３に対応する画像範囲である対象領域５４に、対象領域５４を示す図形を描画する。ここで、表示制御機能１５８は、例えば図１３で説明したマッピング表示画面１４２をディスプレイ１４０に表示させる。
【0143】
そして、受付機能１５２は、ユーザによる対応付けの変更操作を受け付けたか否かを判定する（Ｓ１０９）。受付機能１５２は、ユーザによる対応付けの変更操作を受け付けたと判定した場合（Ｓ１０９“Ｙｅｓ”）、ユーザの操作に基づいて、組織領域ＩＤまたは切り出し位置ＩＤを変更することによって対応付けを変更する（Ｓ１１０）。その後、Ｓ１０９の処理に戻る。
【0144】
そして、受付機能１５２は、ユーザによる対応付けの変更操作を受け付けていないと判定した場合（Ｓ１０９“Ｎｏ”）、ユーザによる保存操作を受け付けたか否かを判定する（Ｓ１１１）。受付機能１５２は、ユーザによる対応付けの変更操作を受け付けていないと判定した場合（Ｓ１１１“Ｎｏ”）、Ｓ１０９の処理に戻る。
【0145】
受付機能１５２がユーザによる保存操作を受け付けたと判定した場合（Ｓ１１１“Ｙｅｓ”）、マッピング機能１５７は、マッピング処理済みの検体画像５１と標本画像６１とを対応付けて記憶回路１２０に保存する（Ｓ１１２）。
【0146】
このように、本実施形態の情報処理装置１００は、検体画像５１における切り出し位置と、該切り出し位置から切り出された標本組織６が描出された標本画像６１における組織領域６２とを対応付けると共に、標本画像６１の興味領域６３と、検体画像５１において標本画像６１の興味領域６３に相当する対象領域５４とをマッピングする。このため、本実施形態の情報処理装置１００によれば、検体画像５１に描出された検体５における標本組織６の切り出し位置と、標本画像６１に描出された標本組織６上の病巣領域等の興味領域６３との対応関係を、医師等が把握することを容易にすることができる。
【0147】
例えば、従来、病理医等が病理診断のレポートを作成する際に、検体の一部組織を顕微鏡等で拡大して目視しながら、該一部組織に含まれる興味領域に対応する検体画像の領域を目視で把握し、把握した結果を手作業で検体画像上に記入する作業を行う場合があった。このような作業では、病理医等が、興味領域と検体画像との対応関係を高精度に把握することが困難な場合があった。また、興味領域を書き写すために顕微鏡と検体画像を交互に確認するため、作業の負荷が高くなる場合があった。これに対して、本実施形態の情報処理装置１００は、検体画像５１上に標本画像６１の興味領域６３に相当する対象領域５４をマッピングするため、病理医等が、興味領域と検体画像との対応関係を高精度に把握することを可能にする。
【0148】
また、本実施形態の情報処理装置１００は、興味領域６３と対象領域５４とがマッピングされた検体画像５１および標本画像６１を対応付けてディスプレイ１４０に表示させる。このため、本実施形態の情報処理装置１００によれば、標本画像６１に描出された標本組織６上の病巣領域等の興味領域６３との対応関係を、医師等が視覚的に把握することができる。
【0149】
また、本実施形態の情報処理装置１００は、検体画像５１における切り出し位置と、標本画像６１における組織領域６２との対応付けを修正するユーザの操作を受け付け、受け付けられたユーザの操作に基づいて、切り出し位置と組織領域６２との対応付けを修正する。このため、本実施形態の情報処理装置１００によれば、スライドガラス７に標本組織６が載置された位置が運用ルール通りではない場合であっても、ユーザの操作によって切り出し位置と、組織領域６２との対応付けを柔軟に修正することができる。
【0150】
また、本実施形態の情報処理装置１００は、ユーザによる検体画像５１における切り出し位置の指定を受け付け、受け付けられた切り出し位置に基づいて、検体画像５１に切り出し位置を設定する。このため、本実施形態の情報処理装置１００によれば、ユーザの所望の位置に切り出し位置を設定することができるとともに、切り出し位置と組織領域６２との対応付けの際に、切り出し位置を正確に特定することが可能になる。
【0151】
また、本実施形態の情報処理装置１００は、検体画像５１の切り出し位置における検体領域５２の寸法と、組織領域６２の寸法と、の差異に基づいて、興味領域６３の寸法を補正し、寸法を補正した興味領域６３を検体画像５１上の対象領域５４にマッピングする。このため、本実施形態の情報処理装置１００によれば、標本画像６１と検体画像５１との縮尺の差異を補正して、検体画像５１上の興味領域６３に相当する位置を対象領域５４として表せるため、検体５における興味領域６３の位置および範囲を、医師等が高精度に把握することができる。
【0152】
また、本実施形態の情報処理装置１００は、興味領域６３を含む組織領域６２に対応付けられた切り出し位置の近傍に、対象領域５４を表す図形を描画する。このため、本実施形態の情報処理装置１００によれば、標本画像６１で認識された興味領域６３の検体５における位置および範囲を、医師等が視覚的に把握することができる。
【0153】
さらに、本実施形態の情報処理装置１００は、興味領域６３を含む組織領域６２に対応付けられた切り出し位置を示す切り出し線５３の、標本組織６が切り出された側に、対象領域５４を表す図形を描画する。このため、本実施形態の情報処理装置１００によれば、標本画像６１から認識された興味領域６３が、切り出し線５３のいずれの側に位置するのかを、医師等が容易に把握することができる。
【0154】
また、本実施形態の情報処理装置１００は、複数の標本画像と、複数の標本画像において病巣部位が描出された画像領域との対応関係が学習された学習済みモデル９０に標本画像６１を入力し、学習済みモデル９０から出力された画像領域を、興味領域６３が描出された画像領域として認識する。このため、本実施形態の情報処理装置１００によれば、医師等が標本画像上に手動で興味領域の範囲を記入する等の作業を削減し、効率的に興味領域６３を特定することができる。
【0155】
また、本実施形態の情報処理装置１００は、興味領域６３に相当する対象領域５４がマッピングされた検体画像５１を外部装置に送信する。このため、本実施形態の情報処理装置１００によれば、検体画像５１における対象領域５４のマッピング結果を、ＨＩＳ等の外部装置に登録することができる。
【0156】
なお、本実施形態において説明した学習済みモデル９０は、ユーザのフィードバックを取得することにより、学習済みモデル９０の内部アルゴリズムをさらに更新する「自己学習するモデル」を含むものとする。また、学習済みモデル９０だけではなく、本実施形態において説明した他の学習済みモデルについても、「自己学習するモデル」を含むものとする。また、学習済みモデル９０およびその他の本実施形態において説明した学習済みモデルは、ＡＳＩＣ、ＦＰＧＡ等の集積回路によって構築されても良い。また、学習済みモデル９０およびその他の本実施形態において説明した学習済みモデルの代わりに、数式モデル、ルックアップテーブル、またはデータベース等が適用されても良い。
【0157】
なお、本実施形態においてマッピング機能１５７が実行するものとして説明した処理は、表示制御機能１５８が実行しても良い。例えば、対象領域５４を表す図形が描画された画像を予め生成および保存しておくのではなく、ディスプレイ１４０に表示する際に、表示制御機能１５８が対象領域５４を表す図形を一時的に表示させても良い。
【0158】
（変形例１）
上述の実施形態においては、マッピング機能１５７は、標本画像６１の興味領域６３に対応する検体画像５１の対象領域５４を表す図形を、検体画像５１上に描画していた。本変形例においては、マッピング機能１５７は、興味領域６３に複数種類の組織が含まれる場合には、組織の種類ごとに、検体画像５１上の対象領域５４を、異なる表示態様で描画する。
上述の実施形態においては、マッピング機能１５７は、標本画像６１の興味領域６３に対応する検体画像５１の対象領域５４を表す図形を、検体画像５１上に描画していた。本変形例においては、マッピング機能１５７は、興味領域６３に複数種類の組織が含まれる場合には、組織の種類ごとに、検体画像５１上の対象領域５４を、異なる表示態様で描画する。
【0159】
例えば、上述の実施形態で説明したように、興味領域６３は、腫瘍、粘膜、粘膜筋板、粘膜下層、または固有筋層のうち、いずれか一の組織が含まれても良いし、複数種類の組織が含まれても良い。
【0160】
図２１は、変形例１に係る対象領域５４の表示態様の一例を示す図である。図２１の上段に示すように、標本画像６１の組織領域６２には、３つの興味領域６３ｇ，６３ｘ，６３ｈが含まれる。このうち、興味領域６３ｇおよび興味領域６３ｈが良性腫瘍であり、興味領域６３ｘは悪性腫瘍である。つまり、興味領域６３ｇおよび興味領域６３ｈは同じ種類の組織であるが、興味領域６３ｘは興味領域６３ｇおよび興味領域６３ｈとは異なる種類の組織である。
【0161】
興味領域認識機能１５４は、Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈのようなルールベースによる画像処理または深層学習等によって、興味領域６３ｇ，６３ｘ，６３ｈのそれぞれの組織の種類を認識する。例えば、興味領域認識機能１５４は、興味領域６３ｇおよび興味領域６３ｈが良性腫瘍であること、および、興味領域６３ｘが悪性腫瘍であることを認識する。
【0162】
マッピング機能１５７は、興味領域認識機能１５４による興味領域６３の組織の種類の認識結果に基づいて、興味領域６３に複数種類の組織が含まれるか否かを判定する。マッピング機能１５７は、興味領域６３に複数種類の組織が含まれる場合には、組織の種類ごとに、検体画像５１上の対象領域５４を表す図形を、異なる表示態様で描画する。
【0163】
例えば、図２１に示す表示例１～３では、マッピング機能１５７は、興味領域６３ｇ，６３ｈに対応する対象領域５４ｇ，５４ｈと、興味領域６３ｘに対応する対象領域５４ｘとを異なる表示態様で描写する。例えば、マッピング機能１５７は、対象領域５４ｇ，５４ｈと対象領域５４ｘとを、異なる色の線分で表示する。なお、表示態様の差異は、これに限定されるものではない。
【0164】
また、表示例１では、マッピング機能１５７は、対象領域５４ｘを、対象領域５４ｇ，５４ｈに重畳して表示させている。悪性腫瘍の方が良性腫瘍よりも病理診断における優先度が高いため、マッピング機能１５７は、このような描画により、対象領域５４ｘが対象領域５４ｇ，５４ｈで隠れることを回避する。なお、描画の際の優先度は、興味領域認識機能１５４が決定するものとしても良い。また、ユーザによる優先度を変更する操作によって、描画の際の優先度が変更されても良い。
【0165】
また、表示例２では、マッピング機能１５７は、対象領域５４ｘ，５４ｇ，５４ｈを表す線分の位置をずらして描画する。これにより、全ての対象領域５４ｘ，５４ｇ，５４ｈに対応する線分が、検体画像５１上に表示される。
【0166】
また、表示例３では、マッピング機能１５７は、対象領域５４ｘを表す線分の太さと、対象領域５４ｇ，５４ｈを表す線分の太さとを変更して描画する。これにより、全ての対象領域５４ｘ，５４ｇ，５４ｈに対応する線分が、検体画像５１上に表示される。
【0167】
表示例１～３のうち、いずれの態様で検体画像５１上の対象領域５４を表す図形が描画されるかは、例えばユーザが選択可能であっても良いし、予め定められていてもよい。
【0168】
（変形例２）
また、上述の実施形態では、マッピング機能１５７は、興味領域６３に相当する対象領域５４を検体画像５１上にマッピングしたが、マッピングの対象はこれに限定されるものではない。
また、上述の実施形態では、マッピング機能１５７は、興味領域６３に相当する対象領域５４を検体画像５１上にマッピングしたが、マッピングの対象はこれに限定されるものではない。
【0169】
図２２は、変形例２に係るマーカ６６，５６の一例を示す図である。本変形例においては、受付機能１５２は、図２２の上段に示すように、標本画像６１上で、例えば注意を要する箇所にマーカ６６を入力するユーザの操作を受け付ける。
【0170】
マッピング機能１５７は、標本画像６１上に記載されたマーカ６６に相当する検体画像５１上の位置を特定し、特定した位置に、マーカ５６を描画する。このような処理により、マッピング機能１５７は、標本画像６１上に記載されたマーカ６６を、検体画像５１上にマッピングする。
【0171】
標本画像６１上に記載されたマーカ６６に相当する検体画像５１上の位置は、例えば、標本画像６１上でマーカ６６が描出された画素の代表座標に対応する検体画像５１上の座標である。代表座標は、標本画像６１上でマーカ６６が描出された複数の画素の座標群のうちのいずれか一の点を示す座標である。例えば、図２２に示すようにマーカ６６の形状が三角形である場合は、三角形の先端部の座標が代表座標となる。また、マーカ６６の形状が円形である場合は、円形の中心の座標が代表座標となる。また、（１）式で説明したように、補正後の切り出し線５３の左端部の座標を基準にオフセットされても良い。
【0172】
本変形例の情報処理装置１００によれば、標本画像６１上で、注意を要する箇所が、検体画像５１においてどの位置に相当するのかを、医師等が容易に把握することができる。
【0173】
なお、本変形例ではマーカ５６はユーザが入力するものとしたが、マーカ５６は自動的に設定されても良い。例えば、興味領域認識機能１５４が、Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈのようなルールベースによる画像処理または深層学習等によって、注意を要すると認識した領域に、マーカ５６を設定しても良い。注意を要する領域とは、例えば、悪性腫瘍が血管に達している領域等であるが、これに限定されるものではない。また、マーカ５６が示す箇所は、興味領域６３内でも良いし、興味領域６３外でも良い。
【0174】
（変形例３）
上述の実施形態では、情報処理装置１００は、ユーザによる切り出し位置等の変更操作を受け付け可能であることを説明した。さらに、情報処理装置１００は、興味領域６３の寸法を修正するユーザの操作を受け付け可能であっても良い。
上述の実施形態では、情報処理装置１００は、ユーザによる切り出し位置等の変更操作を受け付け可能であることを説明した。さらに、情報処理装置１００は、興味領域６３の寸法を修正するユーザの操作を受け付け可能であっても良い。
【0175】
図２３は、変形例３に係るレンジバー９１～９３の長さの変更操作の一例を示す図である。レンジバー９１～９３は、組織領域６２に含まれる興味領域６３の幅および幅方向の位置を示す。なお、図２３では、興味領域６３の輪郭線は非表示としているが、レンジバー９１～９３だけではなく、興味領域６３の輪郭線も表示されても良い。
【0176】
受付機能１５２は、例えば、ユーザがマウスのポインタ９等でレンジバー９１～９３の端部をドラッグアンドドロップすることにより、レンジバー９１～９３の長さおよび位置を変更する操作を受け付ける。レンジバー９１～９３の長さおよび位置を変更する操作は、興味領域６３の寸法を補正するユーザの操作の一例である。
【0177】
マッピング機能１５７は、ユーザによって補正された興味領域６３の寸法に基づいて、検体画像５１上の対象領域５４の寸法を変更する。
【0178】
図２４は、変形例３に係る操作画面１４４の一例を示す図である。操作画面１４４は、表示制御機能１５８によって表示される。操作画面１４４は、例えば、検体画像５１および標本画像６１を含む。また、例えば、受付機能１５２が、興味領域修正ボタン８３を押下するユーザの操作を受け付けた場合、表示制御機能１５８は、レンジバー９４、９５を操作画面１４４上に表示する。
【0179】
図２４に示すレンジバー９４が対応づけられた興味領域６３は、検体画像５１上の対象領域５４ａに対応する。この場合、ユーザの操作によってレンジバー９４の長さが変更された場合、マッピング機能１５７は、検体画像５１上の対象領域５４ａの幅を変更する。
【0180】
なお、図２３、図２４では、興味領域６３の幅および幅方向の位置のみを変更していたが、幅方向と垂直に交差する方向の興味領域６３の長さについても、ユーザが変更可能であっても良い。例えば、図２３では、標本組織６の断面が撮像されているが、検体５が消化器の粘膜および粘膜下層である場合、標本画像６１の縦方向、つまり粘膜および粘膜下層の深さ方向について、興味領域６３の範囲をユーザが変更または新規に設定可能であっても良い。
【0181】
また、興味領域６３の寸法を補正するユーザの操作は、レンジバー９１～９３を変更する操作に限定されるものではなく、ピクセル単位、または一定の大きさの画像領域単位で興味領域６３の寸法をユーザが指定可能であっても良い。また、興味領域６３の寸法の修正だけではなく、ユーザによる興味領域６３の削除も可能であっても良い。
【0182】
（変形例４）
また、情報処理装置１００は、ユーザの操作に応じて、興味領域６３の面積、最長幅、または深さ方向の長さ等の数値情報を、検体画像５１または標本画像６１に表示しても良い。
また、情報処理装置１００は、ユーザの操作に応じて、興味領域６３の面積、最長幅、または深さ方向の長さ等の数値情報を、検体画像５１または標本画像６１に表示しても良い。
【0183】
図２５は、変形例４に係る操作画面１４５の一例を示す図である。操作画面１４５は、検体画像５１および標本画像６１を含む。例えば、受付機能１５２が、長さ計測ボタン８４を押下するユーザの操作を受け付けた後に、いずれかの組織領域６２を選択するユーザの操作を受け付けたとする。この場合、表示制御機能１５８は、選択された組織領域６２における興味領域６３の最長幅の数値を表示する。
【0184】
例えば、表示制御機能１５８は、標本画像６１上の興味領域６３の最長幅と、標本画像６１を撮像した撮像装置の拡大率とに基づいて、実際の興味領域６３の最長幅を算出し、算出結果を表示するものとする。
【0185】
なお、最長幅の算出は、興味領域認識機能１５４が実行するものとしても良い。また、興味領域６３の面積、最長幅、または深さ方向の長さ等の数値情報は、表示制御機能１５８によって表示されるのではなく、マッピング機能１５７によって検体画像５１または標本画像６１上に描画されるものとしても良い。
【0186】
なお、図２５では、表示制御機能１５８が標本画像６１上に数値情報を表示したが、検体画像５１上に数値情報を表示しても良い。
【0187】
（変形例５）
また、医療機関等における運用ルールによっては、標本組織６の撮像面の切り出し位置対する位置が、切り出し位置によって異なる場合がある。
また、医療機関等における運用ルールによっては、標本組織６の撮像面の切り出し位置対する位置が、切り出し位置によって異なる場合がある。
【0188】
図２６は、変形例５に係る切り出し位置と組織領域６２の関係の一例を示す図である。図２６に示す切り出し位置ＩＤ“１”～“３”については、切り出し位置の上方が組織領域６２ｉ～６２ｋに対応する。また、切り出し位置ＩＤ“４”については、切り出し位置の下方が組織領域６２ｌに対応する。図２６では、切り出し位置ＩＤ“４”が切り出し位置の下方が組織領域６２ｌに対応することを、切り出し位置ＩＤを示す番号“４”を上下反転させて表しているが、当該表示は必須ではない。また、他の手法によって、切り出し位置の上方と下方のいずれが組織領域６２に対応するかが表されても良い。
【0189】
また、例えば、切り出し位置ＩＤ“４”の上方から、さらに標本組織６が切り取られた場合、１つの切り出し位置ＩＤ“４”に上方と下方の２つ分の標本領域ＩＤが対応付けられても良い。この場合、上方と下方の２つ分の標本領域ＩＤは、例えば、“４－１”、“４－２”のように枝番で表される。
【0190】
（変形例６）
上述の実施形態では、検体画像５１は検体５の表面が上方から撮像された画像であり、標本画像６１は検体５から切り出された標本組織６の断面が高倍率で撮像された画像であるものとしたが、撮像方向は、これらに限定されるものではない。
上述の実施形態では、検体画像５１は検体５の表面が上方から撮像された画像であり、標本画像６１は検体５から切り出された標本組織６の断面が高倍率で撮像された画像であるものとしたが、撮像方向は、これらに限定されるものではない。
【0191】
例えば、検体画像５１は検体５の断面が撮像された画像であっても良い。この場合、マッピング機能１５７は、標本画像６１において認識された興味領域６３の輪郭に相当する範囲を、対象領域５４として、検体画像５１にマッピングしても良い。
【0192】
図２７は、変形例６に係る検体画像５１および標本画像６１の一例を示す図である。図２７に示す検体画像５１および標本画像６１は、共に検体５の断面を撮像面とする画像である。このため、マッピング機能１５７は、標本画像６１における興味領域６３の輪郭を、検体画像５１の倍率に合わせて補正した結果を、対象領域５４として、検体画像５１にマッピングする。本変形例によれば、検体画像５１および標本画像６１において検体５の撮像方向が同じ向きである場合には、興味領域６３を幅方向の長さ等の一次元情報にすることなく、より高精度に検体画像５１上にマッピングすることができる。
【0193】
（変形例７）
マッピング機能１５７は、さらに、標本画像６１における興味領域６３の深さ方向の長さに応じて、検体画像５１上の対象領域５４を、異なる態様で描画しても良い。
マッピング機能１５７は、さらに、標本画像６１における興味領域６３の深さ方向の長さに応じて、検体画像５１上の対象領域５４を、異なる態様で描画しても良い。
【0194】
図２８は、変形例７に係る検体画像５１に対する興味領域６３の深さ情報のマッピングの一例を示す図である。例えば、マッピング機能１５７は、興味領域６３における検体５の深さ方向の長さに応じて、ヒートマップのように表示態様を変更した対象領域５４を描画する。例えば、興味領域６３における検体５の深さ方向の長さが長いほど、マッピング機能１５７は、対象領域５４の色が濃くなるように描画しても良い。また、マッピング機能１５７は、興味領域６３における検体５の深さ方向の長さが長いほど、対象領域５４の色が赤色に近づくように、異なる色のグラデーションで対象領域５４を表示しても良い。
【0195】
マッピング機能１５７は、例えば、標本画像６１内の相対的な長さの差異に応じて、対象領域５４の表示態様が異なるように描画しても良い。
【0196】
また、興味領域認識機能１５４が、標本画像６１を撮像した顕微鏡の拡大率に基づいて、興味領域６３の実際の深さ方向の長さを算出しても良い。この場合、マッピング機能１５７は、算出された興味領域６３の実際の深さ方向の長さの絶対値に応じて、対象領域５４の表示態様が異なるように描画しても良い。
【0197】
また、マッピング機能１５７は、上述の実施形態において、（１）式によって興味領域６３の寸法を補正し、補正結果を対象領域５４の寸法として認識した手法と同様に、検体画像５１の切り出し位置における検体領域５２の幅方向の長さと、標本画像６１における切り出し位置に対応する組織領域６２の幅方向の長さと、の差異から検体画像５１と標本画像６１の幅方向の倍率を算出し、算出した倍率を、興味領域６３の深さ方向の長さに乗算した値に応じて、対象領域５４の表示態様が異なるように描画しても良い。
【0198】
本変形例に寄れば、興味領域６３に描出された病巣組織等の相対的または絶対的な深さが検体画像５１上に表示されるため、医師等が病理診断をする際の参考情報を提示することができる。
【0199】
（変形例８）
また、マッピング機能１５７は、標本画像６１に描出された標本組織６の表面の起伏を、検体画像５１に描写しても良い。例えば、検体５が消化器の粘膜および粘膜下層である場合に、標本組織６の断面を撮像した標本画像６１によって検体５の粘膜表面の起伏が特定可能である。
また、マッピング機能１５７は、標本画像６１に描出された標本組織６の表面の起伏を、検体画像５１に描写しても良い。例えば、検体５が消化器の粘膜および粘膜下層である場合に、標本組織６の断面を撮像した標本画像６１によって検体５の粘膜表面の起伏が特定可能である。
【0200】
マッピング機能１５７は、当該起伏の相対的または絶対的な高低差を、検体５の面膜面側を撮像面として撮像された検体画像５１上に、等高線等によって描画する。なお、描画の手法は等高線に限定されるものではなく、ヒートマップのように色のグラデーションによって高低差を表すものであっても良い。
【0201】
（変形例９）
また、上述の実施形態では、ユーザが任意の位置に、切り出し線５３を設定していたが、情報処理装置１００は、ユーザが切り出し線５３を設定する際の支援をしても良い。
また、上述の実施形態では、ユーザが任意の位置に、切り出し線５３を設定していたが、情報処理装置１００は、ユーザが切り出し線５３を設定する際の支援をしても良い。
【0202】
図２９は、変形例９に係る切り出し位置の設定画面１４３の一例を示す図である。切り出し位置設定機能１６０は、例えば、Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈのようなルールベースによる画像処理または深層学習によって、検体画像５１において病巣が含まれる可能性の高い領域を推定する。表示制御機能１５８は、切り出し位置設定機能１６０によって推定された領域を、切り出し位置の設定画面１４３上に表示させる。図２９に示す領域５００は、検体画像５１において病巣が含まれる可能性の高い領域の一例である。
【0203】
本変形例の情報処理装置１００によれば、ユーザが、病巣が含まれる可能性の高い領域５００の断面を取得できるように、切り出し位置を設定することを、支援することができる。
【0204】
（変形例１０）
また、上述の実施形態では、情報処理装置１００から、マッピング処理後の検体画像５１等を外部装置に送信するものとしたが、情報処理装置１００の記憶回路１２０に保存されたマッピング処理後の検体画像５１に対する外部装置のアクセスを許可しても良い。例えば、外部装置がＰＣ等である場合、該ＰＣを使用するユーザは、記憶回路１２０に保存されたマッピング処理後の検体画像５１を、該ＰＣのディスプレイ１４０で閲覧することができる。また、情報処理装置１００の記憶回路１２０に保存されたマッピング処理後の検体画像５１等を、外部装置にダウンロードすることを許可しても良い。
また、上述の実施形態では、情報処理装置１００から、マッピング処理後の検体画像５１等を外部装置に送信するものとしたが、情報処理装置１００の記憶回路１２０に保存されたマッピング処理後の検体画像５１に対する外部装置のアクセスを許可しても良い。例えば、外部装置がＰＣ等である場合、該ＰＣを使用するユーザは、記憶回路１２０に保存されたマッピング処理後の検体画像５１を、該ＰＣのディスプレイ１４０で閲覧することができる。また、情報処理装置１００の記憶回路１２０に保存されたマッピング処理後の検体画像５１等を、外部装置にダウンロードすることを許可しても良い。
【0205】
以上説明した少なくとも１つの実施形態によれば、検体画像５１に描出された検体５における標本組織６の切り出し位置と、標本画像６１に描出された標本組織６上の病巣領域等の興味領域６３との対応関係を、医師等が把握することを容易にすることができる。
【0206】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0207】
５ 検体
６，６ａ～６ｅ 標本組織
５１ 検体画像
５２ 検体領域
５３，５３ａ～５３ｆ，５３１，５３２ 切り出し線
５４，５４ａ～５４ｃ，５４ｇ，５４ｈ，５４ｘ 対象領域
５６，６６ マーカ
６１，６１ａ，６１ｂ 標本画像
６２，６２ａ～６２ｆ，６２ｉ～６２ｌ，６２１，６２２ 組織領域
６３，６３ａ～６３ｃ，６３ｇ，６３ｈ，６３ｘ 興味領域
６５ａ～６５ｃ 重心
９１～９４ レンジバー
１００ 情報処理装置
１１０ ＮＷインタフェース
１２０ 記憶回路
１３０ 入力インタフェース
１４０ ディスプレイ
１４１ 設定操作画面
１４２ マッピング表示画面
１４３ 切り出し位置の設定画面
１４４～１４６ 操作画面
１５０ 処理回路
１５１ 取得機能
１５２ 受付機能
１５３ 組織領域認識機能
１５４ 興味領域認識機能
１５５ 切り出し位置認識機能
１５６ 対応付け機能
１５７ マッピング機能
１５８ 表示制御機能
１５９ 送信機能
１６０ 切り出し位置設定機能
２０１ 検体画像保管装置
２０２ 標本画像保管装置
３００ ネットワーク
Ｐ 患者
Ｓ 情報処理システム
６，６ａ～６ｅ 標本組織
５１ 検体画像
５２ 検体領域
５３，５３ａ～５３ｆ，５３１，５３２ 切り出し線
５４，５４ａ～５４ｃ，５４ｇ，５４ｈ，５４ｘ 対象領域
５６，６６ マーカ
６１，６１ａ，６１ｂ 標本画像
６２，６２ａ～６２ｆ，６２ｉ～６２ｌ，６２１，６２２ 組織領域
６３，６３ａ～６３ｃ，６３ｇ，６３ｈ，６３ｘ 興味領域
６５ａ～６５ｃ 重心
９１～９４ レンジバー
１００ 情報処理装置
１１０ ＮＷインタフェース
１２０ 記憶回路
１３０ 入力インタフェース
１４０ ディスプレイ
１４１ 設定操作画面
１４２ マッピング表示画面
１４３ 切り出し位置の設定画面
１４４～１４６ 操作画面
１５０ 処理回路
１５１ 取得機能
１５２ 受付機能
１５３ 組織領域認識機能
１５４ 興味領域認識機能
１５５ 切り出し位置認識機能
１５６ 対応付け機能
１５７ マッピング機能
１５８ 表示制御機能
１５９ 送信機能
１６０ 切り出し位置設定機能
２０１ 検体画像保管装置
２０２ 標本画像保管装置
３００ ネットワーク
Ｐ 患者
Ｓ 情報処理システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
