特許 7079283 情報処理システム、表示制御システム、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-24

(45)【発行日】2022-06-01

(54)【発明の名称】情報処理システム、表示制御システム、およびプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20220525BHJP

   G01N 33/48 20060101ALI20220525BHJP

   G01N 1/30 20060101ALI20220525BHJP

   G01N 21/64 20060101ALI20220525BHJP

   G01N 21/17 20060101ALI20220525BHJP

   G06T 7/00 20170101ALI20220525BHJP

   G06T 7/11 20170101ALI20220525BHJP

   G02B 21/36 20060101ALI20220525BHJP

【ＦＩ】

G06T1/00 295

G01N33/48 P

G01N1/30

G01N21/64 Z

G01N21/17 A

G06T7/00 630

G06T7/11

G02B21/36

【請求項の数】 105

(21)【出願番号】P 2020070225

(22)【出願日】2020-04-09

(62)【分割の表示】P 2018087947の分割

【原出願日】2013-08-23

(65)【公開番号】P2020119588

(43)【公開日】2020-08-06

【審査請求日】2020-05-07

(31)【優先権主張番号】P 2012196008

(32)【優先日】2012-09-06

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(73)【特許権者】

【識別番号】000173588

【氏名又は名称】公益財団法人がん研究会

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】大橋 武史

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０１１－１１８００５（ＪＰ，Ａ）

【文献】特開２０１１－２１５０６１（ＪＰ，Ａ）

【文献】特開２０１０－２４３５９７（ＪＰ，Ａ）

【文献】特開２０００－３４２５５８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ １／００－ １／４４

Ｇ０１Ｎ ２１／００－２１／０１

Ｇ０１Ｎ ２１／１７－２１／７４

Ｇ０１Ｎ ３３／４８－３３／９８

Ｇ０２Ｂ １９／００－２１／００

Ｇ０２Ｂ ２１／０６－２１／３６

Ｇ０６Ｔ １／００－ １／４０

Ｇ０６Ｔ ３／００－ ９／４０

(57)【特許請求の範囲】

【請求項1】

第１の細胞組織領域および第２の細胞組織領域を、暗視野画像、明視野画像、または位相差観察画像のうち少なくともいずれかである、第１の病理画像および第２の病理画像から、細胞領域を検出するための識別関数に基づき、対応する領域を含むように抽出し、前記第１の細胞組織領域および前記第２の細胞組織領域を対応づける画像抽出部、
を備え、
前記第１の病理画像および前記第２の病理画像は、同一の検体から切り出された生体組織を含む画像であり、
前記画像抽出部は、対応づけられた前記第１の細胞組織領域、および、前記第１の細胞組織領域に基づいて組織の形状、向き、位置またはサイズのうち少なくともいずれかを調整した前記第２の細胞組織領域を出力する、情報処理システム。

【請求項2】

前記第１の病理画像は、前記暗視野画像、前記明視野画像、または前記位相差観察画像のうち、前記第２の病理画像とは異なる画像である、請求項１に記載の情報処理システム。

【請求項3】

前記第１の病理画像および前記第２の病理画像は、前記同一の検体から切り出された細胞組織を異なる試薬で染色した組織を撮像した画像である、
請求項１または２に記載の情報処理システム。

【請求項4】

前記第１の病理画像および前記第２の病理画像は、H&E染色または免疫染色された組織の画像である、
請求項１～３のいずれか一項に記載の情報処理システム。

【請求項5】

前記第１の病理画像および前記第２の病理画像は、発色が異なる免疫染色された組織の画像である、
請求項１～４のいずれか一項に記載の情報処理システム。

【請求項6】

前記第１の病理画像および前記第２の病理画像は、前記同一の検体から切り出された細胞組織の隣り合う切片の組織を撮像した画像である、
請求項１～５のいずれか一項に記載の情報処理システム。

【請求項7】

前記対応する領域は、同一の細胞を含む領域である、
請求項１～６のいずれか一項に記載の情報処理システム。

【請求項8】

前記画像抽出部は、前記第１の細胞組織領域および前記第２の細胞組織領域を、画像パターンに基づいたグループに分類する、
請求項１～７のいずれか一項に記載の情報処理システム。

【請求項9】

前記画像抽出部は、同一の前記グループに分類した前記第１の細胞組織領域および前記第２の細胞組織領域ごとに、向き、位置またはサイズのうち少なくともいずれかを調整する、
請求項８に記載の情報処理システム。

【請求項10】

前記画像抽出部は、前記第１の病理画像から抽出した複数の第１の細胞組織領域、および前記第２の病理画像から抽出した複数の第２の細胞組織領域を、生検ごとに前記グループに分類する、
請求項８または９に記載の情報処理システム。

【請求項11】

前記画像抽出部は、抽出した前記第１の細胞組織領域および前記第２の細胞組織領域を、クラスタリング手法を用いて前記グループに分類する、
請求項８～１０のいずれか一項に記載の情報処理システム。

【請求項12】

前記識別関数は、背景部分が中心の画像と、細胞を含む画像と、を含む学習データに基づいて生成される、
請求項１～１１のいずれか一項に記載の情報処理システム。

【請求項13】

前記画像抽出部は、前記背景部分が中心の画像と前記細胞を含む画像とに基づく統計学習により得られた前記識別関数を用いて前記第１の細胞組織領域および前記第２の細胞組織領域を抽出する、
請求項１２に記載の情報処理システム。

【請求項14】

前記画像抽出部は、前記第１の病理画像および前記第２の病理画像の全画素を順次中心としたパッチ画像を切り出し、前記識別関数に基づいて、前記パッチ画像の中心の画素が前記細胞であるのか前記背景部分であるのかを判別する、
請求項１３に記載の情報処理システム。

【請求項15】

前記第１の細胞組織領域および前記第２の細胞組織領域の表示部への表示を制御する表示制御部、
をさらに備える、
請求項１～１４のいずれか一項に記載の情報処理システム。

【請求項16】

前記表示制御部と、前記画像抽出部とが、互いに異なる装置または同一の装置に配設される、
請求項１５に記載の情報処理システム。

【請求項17】

前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域を同期させて表示するよう制御する、
請求項１５または１６に記載の情報処理システム。

【請求項18】

前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域の少なくとも一方に対するユーザの操作に基づいて、前記第１の細胞組織領域および前記第２の細胞組織領域を同期させて表示するよう制御する、
請求項１７に記載の情報処理システム。

【請求項19】

前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域の少なくとも一方の組織形状に基づき、スクロール方向を制御する、
請求項１５～１８のいずれか一項に記載の情報処理システム。

【請求項20】

前記表示制御部は、少なくとも前記第１の細胞組織領域または前記第２の細胞組織領域の画像のひとつに基づいて、前記表示部に表示する表示領域を制御する、
請求項１５～１９のいずれか一項に記載の情報処理システム。

【請求項21】

前記表示制御部は、前記第１の細胞組織領域または前記第２の細胞組織領域の組織の形状に基づいて、前記表示部の表示領域を、縦方向または横方向に分割してそれぞれの領域に前記第１の細胞組織領域または前記第２の細胞組織領域を表示するよう制御する、
請求項１５～２０のいずれか一項に記載の情報処理システム。

【請求項22】

前記第１の細胞組織領域の表示領域および前記第２の細胞組織領域の表示領域は、同じサイズである、
請求項１５～２１のいずれか一項に記載の情報処理システム。

【請求項23】

前記表示制御部は、前記第１の細胞組織領域または前記第２の細胞組織領域を切り替えて表示するよう制御する、
請求項１５～２２のいずれか一項に記載の情報処理システム。

【請求項24】

前記表示制御部は、前記表示部の所定の領域に、前記第１の細胞組織領域と前記第２の細胞組織領域とを切り替えて表示するよう制御する、
請求項１５～２３のいずれか一項に記載の情報処理システム。

【請求項25】

前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域の前記対応する領域の少なくとも一部が、表示領域の所定の位置にくるように、切り替えて表示するように制御する、
請求項１５～２４のいずれか一項に記載の情報処理システム。

【請求項26】

前記表示制御部は、前記第１の細胞組織領域の所定の位置に付与された第１のアノテーション情報に基づき、前記第２の細胞組織領域の対応する位置に、第２のアノテーション情報を表示するよう制御する、
請求項１５～２５のいずれか一項に記載の情報処理システム。

【請求項27】

前記第２のアノテーション情報は、テキスト情報である請求項２６に記載の情報処理システム。

【請求項28】

前記表示制御部は、前記第１の細胞組織領域に対応する前記第２の細胞組織領域を、前記第１の細胞組織領域に重畳して表示するよう制御する、
請求項１５～２７のいずれか一項に記載の情報処理システム。

【請求項29】

前記表示制御部は、前記表示部に、前記第１の細胞組織領域、および、前記第２の細胞組織領域の一部である第２の領域であって、前記第１の細胞組織領域の一部である第１の領域に対応する前記第２の領域、を表示するよう制御する、
請求項１５～２８のいずれか一項に記載の情報処理システム。

【請求項30】

前記表示制御部は、前記第２の領域を、前記第１の領域とは異なる位置に表示するよう制御する、
請求項２９に記載の情報処理システム。

【請求項31】

前記表示制御部は、前記第２の領域を、前記第１の領域に重なるように、重畳して表示するよう制御する、
請求項２９に記載の情報処理システム。

【請求項32】

前記表示制御部は、ユーザの操作に基づき、前記第２の領域を、前記第１の領域に重なるように、重畳して表示するよう制御する、
請求項３１に記載の情報処理システム。

【請求項33】

前記表示制御部は、ユーザの操作に基づき、前記第１の領域に重畳して表示する前記第２の領域と、前記第１の領域と、を切り替えて表示するよう制御する、
請求項３１または３２に記載の情報処理システム。

【請求項34】

前記表示制御部は、前記第１の細胞組織領域と、前記第２の細胞組織領域とを合成して表示するよう制御する、
請求項１５～２８のいずれか一項に記載の情報処理システム。

【請求項35】

前記画像抽出部は、第３の細胞組織領域を、暗視野画像、明視野画像、または位相差観察画像のうち少なくともいずれかである第３の病理画像から、前記識別関数に基づき、前記対応する領域を含むように抽出し、
前記第３の細胞組織領域は、前記第１の病理画像および前記第２の病理画像と同一の前記検体から切り出された前記生体組織を含む画像であり、
前記画像抽出部は、前記第１の細胞組織領域、前記第２の細胞組織領域、および、前記第３の細胞組織領域を出力する、
請求項１～３４のいずれか一項に記載の情報処理システム。

【請求項36】

前記画像抽出部は、前記第１の細胞組織領域および前記第２の細胞組織領域をグルーピングすることで、対応づけを行う請求項１～３５のいずれか一項に記載の情報処理システム。

【請求項37】

前記画像抽出部は、前記第１の細胞組織領域および前記第２の細胞組織領域の特性に基づき、対応づけを行う請求項１～３６のいずれか一項に記載の情報処理システム。

【請求項38】

前記特性は、前記第１の病理画像および前記第２の病理画像の画像パターンである請求項３７に記載の情報処理システム。

【請求項39】

第１の病理画像、および、前記第１の病理画像の撮像条件とは異なる撮像条件で撮像された第２の病理画像を取得し、
前記第１の病理画像および前記第２の病理画像から、細胞領域を検出するための識別関数に基づき、それぞれ対応する領域を含むように、第１の細胞組織領域および第２の細胞組織領域を抽出し、前記第１の細胞組織領域および前記第２の細胞組織領域を対応づける画像抽出部、
を備え、
前記第１の病理画像および前記第２の病理画像は、同一の検体から切り出された生体組織を含む画像であり、
前記画像抽出部は、対応づけられた前記第１の細胞組織領域、および、前記第１の細胞組織領域に基づいて組織の形状、向き、位置またはサイズのうち少なくともいずれかを調整した前記第２の細胞組織領域を出力する、情報処理システム。

【請求項40】

第１の医療画像、および、前記第１の医療画像の撮像条件とは異なる撮像条件で撮像された第２の医療画像を取得し、
前記第１の医療画像および前記第２の医療画像から、所定の生体領域を検出するための識別関数に基づき、それぞれ対応する領域を含むように、第１の生体領域および第２の生体領域を抽出し、前記第１の生体領域および前記第２の生体領域を対応づける画像抽出部、
を備え、
前記第１の医療画像および前記第２の医療画像は、同一の患者の生体組織を含む画像であり、
前記画像抽出部は、対応づけられた前記第１の生体領域、および、前記第１の生体領域に基づいて組織の形状、向き、位置またはサイズのうち少なくともいずれかを調整した前記第２の生体領域を出力する、情報処理システム。

【請求項41】

前記第１の医療画像および前記第２の医療画像は、ＣＴ、ＭＲＩ、または、Ｘ線を用いて前記患者を撮像した画像である、
請求項４０に記載の情報処理システム。

【請求項42】

コンピュータを、
第１の細胞組織領域および第２の細胞組織領域を、暗視野画像、明視野画像、または位相差観察画像のうち少なくともいずれかである、第１の病理画像および第２の病理画像から、細胞領域を検出するための識別関数に基づき、対応する領域を含むように抽出し、前記第１の細胞組織領域および前記第２の細胞組織領域を対応づける画像抽出部、
を備え、
前記第１の病理画像および前記第２の病理画像は、同一の検体から切り出された生体組織を含む画像であり、
前記画像抽出部は、対応づけられた前記第１の細胞組織領域、および、前記第１の細胞組織領域に基づいて組織の形状、向き、位置またはサイズのうち少なくともいずれかを調整した前記第２の細胞組織領域を出力する、情報処理装置
として機能させるためのプログラム。

【請求項43】

前記第１の病理画像および前記第２の病理画像は、異なる撮像条件で撮像された画像である、請求項４２に記載のプログラム。

【請求項44】

前記第１の病理画像は、前記暗視野画像、前記明視野画像、または前記位相差観察画像のうち、前記第２の病理画像とは異なる画像である、請求項４２または４３に記載のプログラム。

【請求項45】

前記第１の病理画像および前記第２の病理画像は、前記同一の検体から切り出された細胞組織を異なる試薬で染色した組織を撮像した画像である、
請求項４２～４４のいずれか一項に記載のプログラム。

【請求項46】

前記第１の病理画像および前記第２の病理画像は、H&E染色または免疫染色された組織の画像である、
請求項４２～４５のいずれか一項に記載のプログラム。

【請求項47】

前記第１の病理画像および前記第２の病理画像は、発色が異なる免疫染色された組織の画像である、
請求項４２～４６のいずれか一項に記載のプログラム。

【請求項48】

前記第１の病理画像および前記第２の病理画像は、前記同一の検体から切り出された細胞組織の隣り合う切片の組織を撮像した画像である、
請求項４２～４７のいずれか一項に記載のプログラム。

【請求項49】

前記対応する領域は、同一の細胞を含む領域である、
請求項４２～４８のいずれか一項に記載のプログラム。

【請求項50】

前記画像抽出部は、前記第１の細胞組織領域および前記第２の細胞組織領域を、画像パターンに基づいたグループに分類する、
請求項４２～４９のいずれか一項に記載のプログラム。

【請求項51】

前記画像抽出部は、同一の前記グループに分類した前記第１の細胞組織領域および前記第２の細胞組織領域ごとに、向き、位置またはサイズのうち少なくともいずれかを調整する、
請求項５０に記載のプログラム。

【請求項52】

前記画像抽出部は、前記第１の病理画像から抽出した複数の第１の細胞組織領域、および前記第２の病理画像から抽出した複数の第２の細胞組織領域を、生検ごとに前記グループに分類する、
請求項５０または５１に記載のプログラム。

【請求項53】

前記画像抽出部は、抽出した前記第１の細胞組織領域および前記第２の細胞組織領域を、クラスタリング手法を用いて前記グループに分類する、
請求項５０～５２のいずれか一項に記載のプログラム。

【請求項54】

前記識別関数は、背景部分が中心の画像と、細胞を含む画像と、を含む学習データに基づいて生成される、
請求項４２～５３のいずれか一項に記載のプログラム。

【請求項55】

前記画像抽出部は、前記背景部分が中心の画像と前記細胞を含む画像とに基づく統計学習により得られた前記識別関数を用いて前記第１の細胞組織領域および前記第２の細胞組織領域を抽出する、
請求項５４に記載のプログラム。

【請求項56】

前記画像抽出部は、前記第１の病理画像および前記第２の病理画像の全画素を順次中心としたパッチ画像を切り出し、前記識別関数に基づいて、前記パッチ画像の中心の画素が前記細胞であるのか前記背景部分であるのかを判別する、
請求項５５に記載のプログラム。

【請求項57】

前記第１の細胞組織領域および前記第２の細胞組織領域の表示部への表示を制御する表示制御部、
をさらに備える、
請求項４２～５６のいずれか一項に記載のプログラム。

【請求項58】

前記表示制御部と、前記画像抽出部とが、互いに異なる装置または同一の装置に配設される、
請求項５７に記載のプログラム。

【請求項59】

前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域を同期させて表示するよう制御する、
請求項５７または５８に記載のプログラム。

【請求項60】

前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域の少なくとも一方に対するユーザの操作に基づいて、前記第１の細胞組織領域および前記第２の細胞組織領域を同期させて表示するよう制御する、
請求項５９に記載のプログラム。

【請求項61】

前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域の少なくとも一方の組織形状に基づき、スクロール方向を制御する、
請求項５７～６０のいずれか一項に記載のプログラム。

【請求項62】

前記表示制御部は、少なくとも前記第１の細胞組織領域または前記第２の細胞組織領域の画像のひとつに基づいて、前記表示部に表示する表示領域を制御する、
請求項５７～６１のいずれか一項に記載のプログラム。

【請求項63】

前記表示制御部は、前記第１の細胞組織領域または前記第２の細胞組織領域の組織の形状に基づいて、前記表示部の表示領域を、縦方向または横方向に分割してそれぞれの領域に前記第１の細胞組織領域または前記第２の細胞組織領域を表示するよう制御する、
請求項５７～６２のいずれか一項に記載のプログラム。

【請求項64】

前記第１の細胞組織領域の表示領域および前記第２の細胞組織領域の表示領域は、同じサイズである、
請求項５７～６３のいずれか一項に記載のプログラム。

【請求項65】

前記表示制御部は、前記第１の細胞組織領域または前記第２の細胞組織領域を切り替えて表示するよう制御する、
請求項５７～６４のいずれか一項に記載のプログラム。

【請求項66】

前記表示制御部は、前記表示部の所定の領域に、前記第１の細胞組織領域と前記第２の細胞組織領域とを切り替えて表示するよう制御する、
請求項５７～６５のいずれか一項に記載のプログラム。

【請求項67】

前記表示制御部は、前記第１の細胞組織領域および前記第２の細胞組織領域の前記対応する領域の少なくとも一部が、表示領域の所定の位置にくるように、切り替えて表示するように制御する、
請求項５７～６６のいずれか一項に記載のプログラム。

【請求項68】

前記表示制御部は、前記第１の細胞組織領域の所定の位置に付与された第１のアノテーション情報に基づき、前記第２の細胞組織領域の対応する位置に、第２のアノテーション情報を表示するよう制御する、
請求項５７～６７のいずれか一項に記載のプログラム。

【請求項69】

前記第２のアノテーション情報は、テキスト情報である請求項６８に記載のプログラム。

【請求項70】

前記表示制御部は、前記第１の細胞組織領域に対応する前記第２の細胞組織領域を、前記第１の細胞組織領域に重畳して表示するよう制御する、
請求項５７～６９のいずれか一項に記載のプログラム。

【請求項71】

前記表示制御部は、前記表示部に、前記第１の細胞組織領域、および、前記第２の細胞組織領域の一部である第２の領域であって、前記第１の細胞組織領域の一部である第１の領域に対応する前記第２の領域、を表示するよう制御する、
請求項５７～７０のいずれか一項に記載のプログラム。

【請求項72】

前記表示制御部は、前記第２の領域を、前記第１の領域とは異なる位置に表示するよう制御する、
請求項７１に記載のプログラム。

【請求項73】

前記表示制御部は、前記第２の領域を、前記第１の領域に重なるように、重畳して表示するよう制御する、
請求項７１に記載のプログラム。

【請求項74】

前記表示制御部は、ユーザの操作に基づき、前記第２の領域を、前記第１の領域に重なるように、重畳して表示するよう制御する、
請求項７３に記載のプログラム。

【請求項75】

前記表示制御部は、ユーザの操作に基づき、前記第１の領域に重畳して表示する前記第２の領域と、前記第１の領域と、を切り替えて表示するよう制御する、
請求項７３または７４に記載のプログラム。

【請求項76】

前記表示制御部は、前記第１の細胞組織領域と、前記第２の細胞組織領域とを合成して表示するよう制御する、
請求項５７～７０のいずれか一項に記載のプログラム。

【請求項77】

前記画像抽出部は、前記第１の細胞組織領域および前記第２の細胞組織領域をグルーピングすることで、対応づけを行う請求項４２～７６のいずれか一項に記載のプログラム。

【請求項78】

前記画像抽出部は、前記第１の細胞組織領域および前記第２の細胞組織領域の特性に基づき、対応づけを行う請求項４２～７７のいずれか一項に記載のプログラム。

【請求項79】

前記特性は、前記第１の病理画像および前記第２の病理画像の画像パターンである請求項７８に記載のプログラム。

【請求項80】

顕微鏡と、前記顕微鏡により撮像される対象物に対応する病理画像の処理に使われるソフトウェアとを含んで構成される表示制御システムであって、
前記ソフトウェアは、
第１の細胞組織領域および第２の細胞組織領域を、暗視野画像、明視野画像、または位相差観察画像のうち少なくともいずれかである、第１の病理画像および第２の病理画像から、細胞領域を検出するための識別関数に基づき、対応する領域を含むように抽出し、前記第１の細胞組織領域および前記第２の細胞組織領域を対応づけ、
前記第１の病理画像および前記第２の病理画像は、同一の検体から切り出された生体組織を含む画像であり、
対応づけられた前記第１の細胞組織領域、および、前記第１の細胞組織領域に基づいて組織の形状、向き、位置またはサイズのうち少なくともいずれかを調整した前記第２の細胞組織領域を出力する処理を情報処理システムに実行させる、
表示制御システム。

【請求項81】

前記ソフトウェアは、
前記第１の病理画像および前記第２の病理画像をサーバに送信し、
前記サーバにて、前記第１の病理画像および前記第２の病理画像から、前記識別関数に基づき、それぞれ所定の被写体を含むように、第１の領域および第２の領域を抽出し、
前記第１の領域および前記第２の領域を受信し、
前記第１の領域および前記第２の領域を表示部に表示するよう制御する処理を前記情報処理システムに実行させる、
請求項８０に記載の表示制御システム。

【請求項82】

前記サーバは、インターネット上に設けられる、
請求項８１に記載の表示制御システム。

【請求項83】

前記第１の細胞組織領域および前記第２の細胞組織領域の表示部への表示を制御する、
請求項８０～８２のいずれか一項に記載の表示制御システム。

【請求項84】

前記第１の細胞組織領域および前記第２の細胞組織領域を同期させて表示するよう制御する、
請求項８３に記載の表示制御システム。

【請求項85】

前記第１の細胞組織領域および前記第２の細胞組織領域の少なくとも一方に対するユーザの操作に基づいて、前記第１の細胞組織領域および前記第２の細胞組織領域を同期させて表示するよう制御する、
請求項８４に記載の表示制御システム。

【請求項86】

前記第１の細胞組織領域および前記第２の細胞組織領域の少なくとも一方の組織形状に基づき、スクロール方向を制御する、
請求項８３～８５のいずれか一項に記載の表示制御システム。

【請求項87】

少なくとも前記第１の細胞組織領域または前記第２の細胞組織領域の画像のひとつに基づいて、前記表示部に表示する表示領域を制御する、
請求項８３～８６のいずれか一項に記載の表示制御システム。

【請求項88】

前記第１の細胞組織領域または前記第２の細胞組織領域の組織の形状に基づいて、前記表示部の表示領域を、縦方向または横方向に分割してそれぞれの領域に前記第１の細胞組織領域または前記第２の細胞組織領域を表示するよう制御する、
請求項８３～８７のいずれか一項に記載の表示制御システム。

【請求項89】

前記第１の細胞組織領域の表示領域および前記第２の細胞組織領域の表示領域は、同じサイズである、
請求項８３～８８のいずれか一項に記載の表示制御システム。

【請求項90】

前記第１の細胞組織領域または前記第２の細胞組織領域を切り替えて表示するよう制御する、
請求項８３～８９のいずれか一項に記載の表示制御システム。

【請求項91】

前記表示部の所定の領域に、前記第１の細胞組織領域と前記第２の細胞組織領域とを切り替えて表示するよう制御する、
請求項８３～９０のいずれか一項に記載の表示制御システム。

【請求項92】

前記第１の細胞組織領域および前記第２の細胞組織領域の前記対応する領域の少なくとも一部が、表示領域の所定の位置にくるように、切り替えて表示するように制御する、
請求項８３～９１のいずれか一項に記載の表示制御システム。

【請求項93】

前記第１の細胞組織領域の所定の位置に付与された第１のアノテーション情報に基づき、前記第２の細胞組織領域の対応する位置に、第２のアノテーション情報を表示するよう制御する、
請求項８３～９２のいずれか一項に記載の表示制御システム。

【請求項94】

前記第２のアノテーション情報は、テキスト情報である請求項９３に記載の表示制御システム。

【請求項95】

前記第１の細胞組織領域に対応する前記第２の細胞組織領域を、前記第１の細胞組織領域に重畳して表示するよう制御する、
請求項８３～９４のいずれか一項に記載の表示制御システム。

【請求項96】

前記表示部に、前記第１の細胞組織領域、および、前記第２の細胞組織領域の一部である第２の領域であって、前記第１の細胞組織領域の一部である第１の領域に対応する前記第２の領域、を表示するよう制御する、
請求項８３～９５のいずれか一項に記載の表示制御システム。

【請求項97】

前記第２の領域を、前記第１の領域とは異なる位置に表示するよう制御する、
請求項９６に記載の表示制御システム。

【請求項98】

前記第２の領域を、前記第１の領域に重なるように、重畳して表示するよう制御する、
請求項９６に記載の表示制御システム。

【請求項99】

ユーザの操作に基づき、前記第２の領域を、前記第１の領域に重なるように、重畳して表示するよう制御する、
請求項９８に記載の表示制御システム。

【請求項100】

ユーザの操作に基づき、前記第１の領域に重畳して表示する前記第２の領域と、前記第１の領域と、を切り替えて表示するよう制御する、
請求項９８または９９に記載の表示制御システム。

【請求項101】

前記第１の細胞組織領域と、前記第２の細胞組織領域とを合成して表示するよう制御する、
請求項８３～９５のいずれか一項に記載の表示制御システム。

【請求項102】

前記第１の細胞組織領域および前記第２の細胞組織領域をグルーピングすることで、対応づけを行う請求項８０～１０１のいずれか一項に記載の表示制御システム。

【請求項103】

前記第１の細胞組織領域および前記第２の細胞組織領域の特性に基づき、前記グルーピングを行う請求項１０２に記載の表示制御システム。

【請求項104】

前記特性は、前記第１の病理画像および前記第２の病理画像の画像パターンである請求項１０３に記載の表示制御システム。

【請求項105】

コンピュータを、
同一の検体から切り出された細胞組織を含む画像である、第１の病理画像および第２の病理画像から、細胞領域を検出するための識別関数に基づき、それぞれ第１の細胞組織領域および第２の細胞組織領域を抽出し、前記第１の細胞組織領域および前記第２の細胞組織領域を対応づけ、
対応づけられた前記第１の細胞組織領域に基づき、前記第２の細胞組織領域の形状、向き、位置またはサイズのうち少なくともいずれかを調整する情報処理装置、として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、表示制御システム、およびプログラムに関する。

【背景技術】

【0002】

従来、医療の場において、腫瘍などの病理組織を診断する（例えば、癌などの悪性腫瘍であるか否かを判断する）方法として、患者から病理組織の一部を採取して薄く切り、その切片（以下、生検と称する）をスライドガラス上に配置して染色することによりプレパラートを作成し、顕微鏡などで観察、診断する方法がある。

【0003】

染色方法（試薬など）と染色対象とその色については、以下の関係が知られている。
染色方法 染色対象 色
ヘマトキシリン 細胞核 青紫
エオジン 細胞質、結合組織 淡赤
PAS染色 粘液 紫
KB染色 神経線維 青
ケラチン903 基底細胞 茶色
この他にも染色方法としては、H&E（Hematoxylin&Eosin）、IHC(Immunohistochemistry）、FISH（Fluorescence In Situ Hybridization）などを挙げることができる。

【0004】

H&Eは、好塩基性の細胞核、骨組織、軟骨組織の一部、漿液成分などを青紫色に、好酸性の細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒などを赤ピンク色に分けて染色できる。

【0005】

IHCは、抗原抗体反応を可視化することができる。FISHは、遺伝子のマッピングや染色体異常などを検出することができる。

【0006】

このように、各染色は、それぞれ染色対象が異なるので、生体組織の同一部位に対して、異なる染色を施して観察すれば、より正確に診断することが可能となる。

【0007】

ただし、１枚のプレパラート上の切片を異なる複数の染色方法により染色した場合、染色の発色状態が悪くなって診断しづらくなる傾向がある。また、染色方法の組み合わせによっては同時に使えないものもある。したがって、１枚のプレパラートに複数の異なる染色が混在する状態は避けることが望ましい。

【0008】

図１は、生成されたプレパラートの例を示している。同図ＡのプレパラートＰ１と同図ＢのプレパラートＰ２は、採取された病理組織から隣り合って切り出された生検から成る。例えば、プレパラートＰ１，Ｐ２の一方の染色がH&Eであり、他方の染色がIHCであるとする。

【0009】

同図ＡのプレパラートＰ１上の左端の生検ｂ１１と同図ＢのプレパラートＰ２上の左端の生検ｂ１２とは穿刺採取された病理組織から隣り合って切り出されたものである。以下、生検ｂ１１と生検ｂ２１との関係を対応する生検と称する。同図中央の生検ｂ２１，ｂ２２、および同図右端の生検ｂ３１，ｂ３２についても同様である。

【0010】

なお、プレパラートＰ１，Ｐ２上の矩形枠は、プレパラート上の同一座標の領域を示し
ており、両者を比較して明らかなように、２枚のプレパラートＰ１，Ｐ２上の対応する生検は、必ずしも同一の座標に配置されているわけではない。また、生検を切り出すときの力具合などよって、その形状が変形したりすることも発生し得る。

【0011】

２枚のプレパラートＰ１，Ｐ２を見比べる最もシンプルな方法は、病理医などの診断者が顕微鏡下で２枚のプレパラートＰ１，Ｐ２を並べて持ち、観察する位置を高速に移動させながら、対応する部位を探して診断する方法である。しかしながら、この場合、プレパラートを移動させ過ぎてしまったり、移動量が足らなかったりして、対応する部位を正しく効率的に観察することが困難であった。

【0012】

そこで、このような診断者によるプレパラートの移動を必要としない方法としてバーチャル顕微鏡システムが提案されている（例えば、特許文献１参照）。

【0013】

該バーチャル顕微鏡システムでは、診断対象とするプレパラート上の生検を小領域に分割し、分割した小領域を解像度の高い対物レンズを用いて各々撮影した後、撮影によって得られた複数の小領域の画像をつなぎ合わせることによって診断対象の生検の画像をデジタル画像データとして再構築している。

【0014】

該バーチャル顕微鏡システムにより２枚のプレパラートをデジタル画像データとして再構築すれば、それらを同時に並べてパーソナルコンピュータの画面などに表示させることができる。

【先行技術文献】

【特許文献】

【0015】

【文献】特開平０９－２８１４０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0016】

しかしながら、該バーチャル顕微鏡システムを使用したとしても、２枚のプレパラートにおける対応する部位を正確に並べて表示させるためには、診断者による画像の拡大、縮小、回転などを指示する操作が依然として必要である。

【0017】

本開示はこのような状況に鑑みてなされたものであり、複数の画像における対応する部位を正確に並べて表示できるようにするものである。

【課題を解決するための手段】

【0018】

本開示によれば、第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得する画像取得部と、前記第１の領域および前記第２の領域の表示を制御する表示制御部と、を備え、前記第１の領域および前記第２の領域は画像パターンに基づいたグループに分類され、前記画像取得部は、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、情報処理装置が提供される。

【0019】

また、本開示によれば、第１の病理画像および第２の病理画像を画像処理部に供給し、前記第１の病理画像から抽出された第１の細胞領域と、前記第２の病理画像から抽出された第２の細胞領域と、を取得する画像取得部と、前記第１の細胞領域および前記第２の細胞領域の表示を制御する表示制御部と、を備え、前記第１の細胞領域および前記第２の細胞領域は画像パターンに基づいたグループに分類され、前記画像取得部は、同一の前記グループに分類された前記第１の細胞領域および前記第２の細胞領域を取得し、前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の細胞領域および前記第２の細胞領域に係る表示を制御する、情報処理装置が提供される。

【0020】

また、本開示によれば、プロセッサが、第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得することと、前記第１の領域および前記第２の領域の表示を制御することと、を含み、前記第１の領域および前記第２の領域は画像パターンに基づいたグループに分類され、前記取得することは、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、前記制御することは、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、情報処理方法が提供される。

【0021】

また、本開示によれば、コンピュータを、第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得する画像取得部と、前記第１の領域および前記第２の領域の表示を制御する表示制御部と、を備え、前記第１の領域および前記第２の領域は前記被写体に基づいたグループに分類され、前記画像取得部は、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、情報処理装置、として機能させるためのプログラムが提供される。

【0022】

以上説明したように本開示によれば、複数の画像における対応する部位を正確に並べて表示することが可能となる。

【0023】

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

【図面の簡単な説明】

【0024】

【図1】プレパラートの例を示す図である。

【図2】本開示の実施の形態である病理画像表示制御装置の構成例を示すブロック図である。

【図3】病理画像の例を示す図である。

【図4】生検領域画像生成サーバの構成例を示すブロック図である。

【図5】検出辞書の生成手順を説明する図である。

【図6】細胞組織領域の検出と、生体領域のグルーピング、およびその切り出しを説明する図である。

【図7】切り出された生検領域画像の拡大図である。

【図8】生検領域画像の位置とサイズの補正を説明する図である。

【図9】補正された生検領域画像の拡大図である。

【図10】病理画像シンクロ表示処理を説明するフローチャートである。

【図11】自動縦横割選択表示の表示例を示す図である。

【図12】瞬時切り替え表示の表示例を示す図である。

【図13】切り出し並べ表示の表示例を示す図である。

【図14】めくり表示の表示例を示す図である。

【図15】多染色合成表示の表示例を示す図である。

【図16】コメント対応表示の表示例を示す図である。

【図17】コンピュータの構成例を示すブロック図である。

【発明を実施するための形態】

【0025】

以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

【0026】

［病理画像表示制御装置の構成例］
本開示の情報処理装置の実施の形態である病理画像表示制御装置は、採取した病理組織から隣り合って切り出された生検が写っている複数の病理画像の対応する部位の位置を正確に並べて表示させるものである。

【0027】

ただし、以下においては２枚の病理画像を並べて表示する場合について説明するが、本開示は３枚以上の病理画像を並べて表示する場合にも適用可能である。

【0028】

ここで、病理画像とは、人体などの生体組織から採取された検体またはサンプルから病理診断を目的に作製された病理標本（プレパラート）を、専用のスキャナで読み込んで作成したデジタル画像データを指す。

【0029】

さらに、本開示は病理画像のみならず、ＣＴ、MRI、Ｘ線などより人体などを撮像して得られる医療画像、医療分野に限定されない任意の画像を並べて表示させる場合にも適用できる。

【0030】

図２は、本開示の情報処理装置を適用した病理画像表示制御装置の構成例を示している。

【0031】

病理画像表示制御装置１０は、操作入力部１１、病理画像入力部１２、生検領域画像取得部１３、および表示制御部１４から構成される。

【0032】

操作入力部１１は、ユーザ（診断者）による病理画像の選択操作、表示に関する様々な操作などを受け付けて、それに対応する操作信号を病理画像入力部１２または表示制御部１４に出力する。

【0033】

病理画像入力部１２は、ユーザの選択操作に基づく操作信号に従い、予め用意されている病理画像のうち、見比べて診断に用いるための、対応する生検が写っている２枚の病理画像PP1，PP2を生検領域画像取得部１３に入力する。

【0034】

図３は、病理画像入力部１２から生検領域画像取得部１３に入力される２枚の病理画像PP1，PP2の一例である。これらは、図１に示されたプレパラートＰ１，Ｐ２をスキャナなどによりスキャニングして得られたものである。

【0035】

生検領域画像取得部１３は、２枚の病理画像を生検領域画像生成サーバ２０に送信し、生検領域画像生成サーバ２０にて２枚の病理画像PP1，PP2それぞれに基づいて生成される生検領域画像を取得して表示制御部１４に供給する。

【0036】

なお、生検領域画像生成サーバ２０は、例えばインターネット上に設けるようにするが、生検領域画像生成サーバ２０の全体またはその一部を病理画像表示制御装置１０に内蔵するようにしてもよい。

【0037】

生検領域画像とは、病理画像（プレパラート全体の画像）上に存在する細胞組織の領域を検出し、検出した細胞組織の領域を生検毎に区分けて抽出し、その向きやサイズを補正して統一したものを指す。

【0038】

表示制御部１４は、ユーザの操作に対応し、生検領域画像取得部１３から供給される２
枚の生検領域画像を後段のディスプレイ３０に並べて表示させる。以下、生検領域画像を並べて表示させることをシンクロ表示とも称する。表示制御部１４による様々なシンクロ表示の方法については、図１１乃至図１６を参照して後述する。

【0039】

次に、図４は生検領域画像生成サーバ２０の構成例を示している。

【0040】

生検領域画像生成サーバ２０は、細胞組織領域検出部２１、検出辞書２２、生検領域グルーピング部２３、生検領域切り出し部２４、および位置補正部２５から構成される。

【0041】

細胞組織領域検出部２１は、検出辞書２２を用いることにより、図３に示されたような病理画像PP1，PP2の全領域から細胞組織領域（すなわち、図３Ａの生検ｂ１１，ｂ２１，ｂ３１の領域、図３Ｂのｂ１２，ｂ２２，ｂ３２の領域）を検出する。

【0042】

検出辞書２２は、学習用の細胞組織領域画像を用いた統計学習により予め生成されたものである。検出辞書２２の生成について図５を参照して説明する。

【0043】

まず、学習用の細胞組織領域画像から細胞組織領域を中心として切り出したパッチ画像と、背景部分（非細胞組織領域）を中心として切り出したパッチ画像を学習データセットとして準備し、それぞれの画像特徴量を抽出する。そして、細胞組織領域が中心の画像をPositiveデータ、背景部分が中心の画像をNegativeデータとして統計学習を行う。

【0044】

パッチ画像の画像特徴量の抽出方法については任意であるが、例えば特開２００５－２８４３４８に開示されている、パッチ画像上の所定の２点の輝度差分を算出するPixDif輝度差分特徴量を適用することができる。統計学習の方法についても任意であるが、例えばBoostingを適用することができる。

【0045】

検出辞書２２を用いることにより、入力パッチ画像ｘに対して、学習で得られたＴ個の弱仮説ｆ、重みαを用いて次式（１）により表される最終仮説Ｆを得ることができる。

【数1】

【0046】

したがって、細胞組織領域検出部２１において、病理画像PP1，PP2の全画素を順次中心として入力パッチ画像を切り出し、その入力パッチ画像に対して最終仮説Ｆを算出し、そのＦの値を閾値処理することで、入力パッチ画像の中心の画素がPositive領域（細胞組織領域）であるのかNegative領域（非細胞組織領域）であるのかを判別することができる。

【0047】

細胞組織領域検出部２１による細胞組織領域の検出結果は、例えば図６Ｂに示されるようなものとなる。

【0048】

図４に戻る。生検領域グルーピング部２３は、細胞組織領域検出部２１により検出された細胞組織領域を生検毎に区分けする。

【0049】

具体的には、細胞組織領域とされた画素を病理画像上の生検を表す生検番号毎にグルーピングする。なお、病理画像における生検数は、一般的にプレパラート作成時に既知である。したがって、このグルーピングは、クラスタ数が既知であるクラスタリング問題となる。以下に、スペクトラルクラスタリングによりクラスタリングを行なう方法を説明する。

【0050】

細胞組織領域の画素数をｎ、目標とするグルーピングのクラスタ数（生検数）をＣ、画素ｉと画素ｊの座標値におけるユークリッド距離をｄ_ijとする。

【0051】

さらに、affinity matrix Ａ_ijを次式（２）のように定義する。

【数2】

【0052】

ここで、σは、スケールパラメータであり、対象に適切な値（例えば、０．１）を設定する。

【0053】

次に、次式（３）のように対角行列Ｄを定義して行列Ｌを求める。

【数3】

【0054】

次に、行列Ｌの固有値の大きい順にＣ個の固有ベクトルｘ₁，ｘ₂，・・・，ｘ_Cを求め、行列Ｘ＝［ｘ₁，ｘ₂，・・・，ｘ_C］を作成する。そして、次式（４）のように、このＸを各行で正規化した行列Ｙを求める。

【数4】

【0055】

この行列Ｙの各行を要素ベクトルとしてK-meansによりＣ個にクラスタリングすると、行列Ｙの行番号ｉのクラスタが画素ｉのクラスタと対応する。

【0056】

なお、生検領域グルーピング部２３におけるグルーピングには、スペクトラルクラスタリングの他、入力データに直接K-meansを適応するなどの任意のクラスタリングの技術を用いることもできる。その場合、入力されるデータの特性に応じて、適切なクラスタリング技術を用いることが望ましい。

【0057】

生検領域グルーピング部２３によるグルーピング結果は、例えば図６Ｃに示されるように、図６Ｂに示されていた細胞組織領域が生検の数と同じ数の３つのグループにグルーピングされたものとなる。

【0058】

再び図４に戻る。生検領域切り出し部２４は、グルーピングされた生検領域毎に、病理
画像の回転補正と切り出しを行なう。

【0059】

回転補正は、各生検領域毎に、重心周りのｘ軸のｐ次のモーメント、ｙ軸のｑ次のモーメントをｕ_pqとして、次式（５）に基づいて慣性主軸の傾きθが求められる。

【数5】

【0060】

そして、慣性主軸の傾きθだけ、元の病理画像が回転補正される。この後、生検領域の周囲に所定の幅（例えば、数百ピクセル）の余白を確保した領域を、回転補正後の病理画像から切り出すことにより、図６Ｄに示されるような生検領域画像を生成する。

【0061】

なお、図６Ｄ以降においては、病理画像PP1，PP2上に存在していた３つの生体のうち、左端の生検ｂ１１，ｂ１２についてのみを図示しているが、中央の生検ｂ２１，ｂ２２、右端の生検ｂ３１，ｂ３２についても同様の処理が行われる。

【0062】

図７は、生検領域切り出し部２４により切り出された生検領域画像の拡大図である。なお、同図Ａは、病理画像PP1の左端の生検ｂ１１から切り出された生検領域画像であり、同図Ｂは、病理画像PP2の左端の生検ｂ１２から切り出された生検領域画像である。

【0063】

同図から明らかなように、生検ｂ１１と生検ｂ１２とは縦方向に若干のずれが生じ、サイズも変化してしまっている（伸びている、または縮んでいる）。これは、生検ｂ１１，ｂ１２を生体組織から切り出したり、スライドガラスに載せたりするときの力加減などに起因するものと考えられ、このままでは、生検ｂ１１，ｂ１２の対応する部位を正確に並べて観察、診断するに際して不都合である。

【0064】

そこで、生検領域切り出し部２４の後段の位置補正部２５は、切り出された生検領域画像の位置とサイズを補正して統一する。具体的手順について、図８を参照して説明する。なお、図８においては、生検領域画像の縦方向の位置ずれとサイズの補正についてのみ説明するが、横方向についても同様の処理を行うものとする。

【0065】

まず、同図Ａに示される生検領域画像から、同図Ｂに示される細胞組織領域と背景（非細胞組織領域）と区別して表す２値化画像を得る。次に、２値化画像の縦方向の同一座標に位置する細胞組織領域に属する画素数をカウントし、同図Ｃに示される、縦軸が２値化画像の縦座標を示し、横軸が画素数を示すヒストグラムを生成する。

【0066】

さらに、得られた２つのヒストグラムを同図Ｄに示すようにして重ね、２つのヒストグラムが十分に重なるまで（実際には、所定の評価関数値（例えば、内積値）が所定の値以上となるまで）一方を固定し、他方についてのみ縦方向に位置を調整し、縦方向にサイズを伸縮補正することを繰り返して実行する。

【0067】

そして、最終的な縦方向の位置の調整値と、縦方向のサイズの伸縮補正値を元の生検領域画像に適用する。これにより、図９に示されるように、ずれの生じていた２枚の生検領域画像が、ずれのない２枚の生検領域画像に補正される。なお、図９は、図７に示されたずれの生じていた２枚の生検領域画像の補正後の状態である。

【0068】

このようにして補正された生検領域画像は、生検領域画像生成サーバ２０から生検領域画像取得部１３に戻される。

【0069】

［動作説明］
次に、病理画像表示制御装置１０による病理画像シンクロ表示処理について、図１０を参照して説明する。図１０は、病理画像シンクロ表示処理を説明するフローチャートである。

【0070】

ステップＳ１において、病理画像入力部１２は、ユーザの選択操作に基づく操作信号に従い、見比べて診断に用いる２枚の病理画像PP1，PP2を生検領域画像取得部１３に入力する。生検領域画像取得部１３は、２枚の病理画像を生検領域画像生成サーバ２０に送信する。

【0071】

ステップＳ２において、生検領域画像生成サーバ２０の細胞組織領域検出部２１は、検出辞書２２を用いることにより、病理画像PP1，PP2から細胞組織領域を検出する。

【0072】

ステップＳ３において、生検領域グルーピング部２３は、細胞組織領域検出部２１により検出された細胞組織領域を生検毎に区分けする。生検領域切り出し部２４は、グルーピングされた生検領域毎に、その慣性主軸の傾きθに基づいて回転補正を行い、その後、生検領域の周囲に所定の幅（例えば、数百ピクセル）の余白を確保した領域を、回転補正後の病理画像から切り出すことにより生検領域画像を生成する。

【0073】

ステップＳ４において、位置補正部２５は、生検領域画像の位置とサイズを補正する。補正後の生検領域画像は、生検領域画像生成サーバ２０から生検領域画像取得部１３に戻される。

【0074】

ステップＳ５において、表示制御部１４は、ユーザの操作に対応し、生検領域画像取得部１３から供給される２枚の生検領域画像を後段のディスプレイ３０にシンクロ表示させる。以上で、病理画像シンクロ表示処理の説明を終了する。

【0075】

[シンクロ表示の具体例]
以下、表示制御部１４によるシンクロ表示の例を説明する。

【0076】

「ガイドスクロール表示」
生検領域画像をより拡大して上下方向または左右方向にスクロールしながらシンクロ表示させる場合、表示画面の中心を生検領域画像の形状に合わせて移動させる。例えば、生検領域画像の形状が図９に示されたような「く」の字状である場合に、上方から下方にスクロール表示するときには、画面の中心が生検領域画像の形状に合わせて始めは左側に移動され、その後は右側に移動される。これにより、ユーザは常に診断に必要な部位のみをスクロールさせながら観察することができる。

【0077】

「自動縦横割選択表示」
生検領域画像における生検領域の形状が縦長の場合には、図１１Ａに示されるように、画面５０を縦方向に分割して２枚の生検領域画像を左右に並べて表示する。生検領域画像における生検領域の形状が横長の場合には、図１１Ｂに示されるように、画面６０を横方向に分割して２枚の生検領域画像を上下に並べて表示する。これにより画面に表示される生検領域が広くなるのでユーザによって観察、診断し易くなる。

【0078】

生検領域が縦長であるか横長であるかの判断は、生検領域の慣性主軸の角度（傾き）に基づいて行なう。すなわち、慣性主軸の角度を、垂直上向きを０度、反時計回りに正の角度と定義した場合、算出された慣性主軸の角度が－４５度から＋４５度まで、または１３５度から２２５度までのときには縦長、それ以外のときには横長と判断して表示を切り
替えるようにする。

【0079】

「瞬時切り替え表示」
図１２Ａに示されるような生検領域画像７０と、それに対応する図１２Ｂに示されるような生検領域画像７１を、ユーザからの所定の操作に応じて瞬間的に切り替えて表示するようにしてもよい。この表示方法の場合、空間的に２枚の画像を並べて同時に表示するよりも、ユーザは視点を動かさないで済むので、より容易に２枚生検領域画像の対応する部位を見比べることができる。

【0080】

「切り出し並べ表示」
図１３Ａに示されるように、生体ｂ１１を示す生検領域画像８０においてユーザが任意のサイズの選択領域８１を設定すると、図１３Ｂに示されるように、選択領域８１の隣に切り出し表示領域８３が設けられる。切り出し表示領域８３には、選択領域８１により指定された生体ｂ１１の部位に対応する、生体ｂ１２の部位が表示される。なあお、切り出し表示領域８３の表示位置は、選択領域８１の隣からユーザが任意に移動させることができる。また、ユーザは生検領域画像８０の選択領域８１を任意に移動させることができ、この移動に伴って切り出し表示領域８３も移動され、そこに表示される生体ｂ１２の部位も変更される。この表示方法の場合、ユーザは見比べたい部位を任意の位置に並べることができる。

【0081】

「めくり表示」
図１４Ａに示されるように、生体ｂ１１を示す生検領域画像９１においてユーザが任意のサイズの選択領域９２を設定し、選択領域９２に対してユーザが所定の操作（マウスドラッグなど）を行なうと、図１４Ｂに示されるように、選択領域８１内の表示が、生体ｂ１１の部位から、それに対応する生体ｂ１２の部位に徐々に切り替えられる。この表示方法により、ユーザは視点を動かすことなく、生体ｂ１１と生体ｂ１２の対応する部位を見比べることができる、また、ユーザの操作量（マウスドラッグの量など）により、見比べる領域の比率を調整することができる。

【0082】

「多染色合成表示」
図１５Ａに示されるように、複数の対応する生検に対して発色が異なる複数のIHC（免疫染色）を施し、それぞれの染色部位（同図Ｂ）を、H&E染色された生検領域画像（同図Ｃ）に重畳し、同図Ｄに示されるような複数のIHCとH&Eの結果を同時に表示するようにしてもよい。これにより、ユーザはIHCとH&Eの結果を同時に見て診断することができる。なお、発色が異なる複数のIHC（免疫染色）の染色部位（同図Ｂ）を、H&E染色された生検領域画像（同図Ｃ）に重畳せず、発色が異なる複数のIHC（免疫染色）の染色部位（同図Ｂ）を合成して表示するようにしてもよい。

【0083】

「コメント対応表示」
ユーザは上述した「瞬時切り替え表示」において一方の生検ｂ１１を示す生検領域画像１１０の所定の部位に対して診断コメント１１１を画面上に貼付することができる。この後、他方の生検ｂ１２を示す生検領域画像１１２に表示が切替えられた場合、生検ｂ１２の対応する部位に対して、生検ｂ１１に基づいて下した診断コメント１１１が貼付表示される。これによりユーザは、診断が下された生検ｂ１１の部位に対応する、生検ｂ１２の部位を確認することができる。

【0084】

以上説明したように、本実施の形態である病理画像表示制御装置１０によれば、複数の画像をシンクロ表示することが可能となる。

【0085】

具体的には、複数の画像における対応する部位を同時表示することができるので、ユー
ザは診断精度を改善することができる。また、１つの生検を異なる複数の染色方法により染色してそれらの発色を分離する場合にさせることに比較し、クオリティの高い多染色の画像をシンクロ表示できる。さらに、複数の生検領域画像の位置とサイズを補正する処理を行うため、位置ズレなく対応する画像を表示することができる。

【0086】

またさらに、通常では同時に施すことができない染色方法を組み合わせてシンクロ表示することができる。また、暗視野観察と明視野観察と位相差観察による撮影の画像など、従来の顕微鏡では同時に見ることができなかった組み合わせの画像もシンクロ表示することができる。

【0087】

以上のような効果の結果として、ユーザ（診断者）は診断精度を向上させることができ、また、診断時間を短縮することができる。

【0088】

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

【0089】

図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

【0090】

コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

【0091】

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。

【0092】

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

【0093】

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

【0094】

コンピュータ（CPU２０１）が実行するプログラムは、例えば、インターネット上の所定のサーバにアクセスすることにより取得、実行することができる、いわゆるwebアプリケーションとして提供することができる。

【0095】

また、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。さらに、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

【0096】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。また、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

【0097】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0098】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0099】

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得する画像取得部と、
前記第１の領域および前記第２の領域の表示を制御する表示制御部と、
を備え、
前記第１の領域および前記第２の領域は画像パターンに基づいたグループに分類され、
前記画像取得部は、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、
前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、
情報処理装置。
（２）
前記グループに係る分類は、学習データに基づいて実行される、
前記（１）に記載の情報処理装置。
（３）
前記学習データは、背景部分が中心の画像と、当該画像を除く前記被写体を含む画像と、を含む、
前記（２）に記載の情報処理装置。
（４）
前記画像取得部は、向き、位置、サイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域を、それぞれ第１の切り出し画像および第２の切り出し画像として取得する、
前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）
前記表示制御部は、前記第１の切り出し画像および前記第２の切り出し画像に係る同期表示を制御する、
前記（４）に記載の情報処理装置。
（６）
前記表示制御部は、ガイドスクロール表示、自動縦横割選択表示、瞬時切り替え表示、切り出し並べ表示、めくり表示、または多染色合成表示のうちの少なくとも１つに係る表示制御を行う、
前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）
前記第１の画像および前記第２の画像は、医療画像である、
前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
前記被写体は生体組織から切り出された生検であり、
前記医療画像は、同一の生体組織から隣り合って切り出された前記生検がスライドガラスに配置されて、異なる種類の染色が施されているプレパラートをスキャニングした病理画像である、
前記（７）に記載の情報処理装置。
（９）
前記画像処理部は、ネットワーク上に設けられたサーバである、
前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
前記画像処理部をさらに備える、
前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１１）
第１の病理画像および第２の病理画像を画像処理部に供給し、前記第１の病理画像から抽出された第１の細胞領域と、前記第２の病理画像から抽出された第２の細胞領域と、を取得する画像取得部と、
前記第１の細胞領域および前記第２の細胞領域の表示を制御する表示制御部と、
を備え、
前記第１の細胞領域および前記第２の細胞領域は画像パターンに基づいたグループに分類され、
前記画像取得部は、同一の前記グループに分類された前記第１の細胞領域および前記第２の細胞領域を取得し、
前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の細胞領域および前記第２の細胞領域に係る表示を制御する、
情報処理装置。
（１２）
前記第１の細胞領域および前記第２の細胞領域は、生検を含む領域であり、
前記グループに係る分類は、前記生検に基づいて実行される、
前記（１１）に記載の情報処理装置。
（１３）
プロセッサが、第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得することと、
前記第１の領域および前記第２の領域の表示を制御することと、
を含み、
前記第１の領域および前記第２の領域は画像パターンに基づいたグループに分類され、
前記取得することは、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、
前記制御することは、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、
情報処理方法。
（１４）
コンピュータを、
第１の画像および第２の画像を画像処理部に供給し、前記第１の画像から抽出された特定の被写体を含む第１の領域と、前記第２の画像から抽出された前記被写体を含む第２の領域と、を取得する画像取得部と、
前記第１の領域および前記第２の領域の表示を制御する表示制御部と、
を備え、
前記第１の領域および前記第２の領域は前記被写体に基づいたグループに分類され、
前記画像取得部は、同一の前記グループに分類された前記第１の領域および前記第２の領域を取得し、
前記表示制御部は、向き、位置、またはサイズのうち少なくともいずれかが調整された前記第１の領域および前記第２の領域に係る表示を制御する、
情報処理装置、
として機能させるためのプログラム。

【符号の説明】

【0100】

１０ 病理画像表示制御装置， １１ 操作入力部， １２ 病理画像入力部， １３
生検領域画像取得部， １４ 表示制御部， ２０ 生検領域画像生成サーバ， ２１
細胞組織領域検出部， ２２ 検出辞書， ２３ 生検領域グルーピング部， ２４ 生検領域切り出し部， ２５ 位置補正部， ３０ ディスプレイ， ２００ コンピュータ， ２０１ CPU

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】