特許 6861717 リアル・タイムで調節可能なインターフェースを有するコンピュータ実装複合組織画像

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6861717

(24)【登録日】2021年4月1日

(45)【発行日】2021年4月21日

(54)【発明の名称】リアル・タイムで調節可能なインターフェースを有するコンピュータ実装複合組織画像

(51)【国際特許分類】

   G06T 7/33 20170101AFI20210412BHJP

   G06T 7/00 20170101ALI20210412BHJP

   G01N 33/48 20060101ALI20210412BHJP

   G01N 33/483 20060101ALI20210412BHJP

   G01N 33/53 20060101ALI20210412BHJP

   G01N 1/28 20060101ALI20210412BHJP

   G01N 1/30 20060101ALI20210412BHJP

   G01N 21/64 20060101ALI20210412BHJP

   C12M 1/34 20060101ALI20210412BHJP

   C12M 1/00 20060101ALI20210412BHJP

【ＦＩ】

   G06T7/33

   G06T7/00 630

   G01N33/48 P

   G01N33/483 C

   G01N33/53 Y

   G01N1/28 J

   G01N1/30

   G01N21/64 E

   C12M1/34 B

   C12M1/00 A

【請求項の数】15

【全頁数】26

(21)【出願番号】特願2018-541532(P2018-541532)

(86)(22)【出願日】2016年11月2日

(65)【公表番号】特表2019-506681(P2019-506681A)

(43)【公表日】2019年3月7日

(86)【国際出願番号】EP2016076351

(87)【国際公開番号】WO2017076865

(87)【国際公開日】20170511

【審査請求日】2019年9月6日

(31)【優先権主張番号】62/250,413

(32)【優先日】2015年11月3日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】507179346

【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100120112

【弁理士】

【氏名又は名称】中西 基晴

(74)【代理人】

【識別番号】100173565

【弁理士】

【氏名又は名称】末松 亮太

(72)【発明者】

【氏名】ブレドノ，イェルク

(72)【発明者】

【氏名】チュッカ，スリニヴァス

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 米国特許出願公開第２０１２／００６９０４９（ＵＳ，Ａ１）

【文献】 特開２０１４−２２５２７４（ＪＰ，Ａ）

【文献】 特開平１０−１８７２３３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／９０

Ｃ１２Ｍ １／００ − １／３４

Ｇ０１Ｎ １／２８ − １／３０

Ｇ０１Ｎ ３３／４８ − ３３／５３

(57)【特許請求の範囲】

【請求項1】

方法であって、
組織標本の隣接する組織切片の２つ以上のディジタル画像ファイルを取得するステップと、
前記ディジタル画像ファイルに基づいて、表示のために、２つ以上の領域を含む１つの出力ディジタル画像を供給するステップであって、各領域が、サイズを有し、異なる隣接組織切片からの画像データを示す、ステップと、
ユーザからの修正入力を得るステップと、
前記修正入力に応答して、前記１つの出力ディジタル画像内における各領域のサイズを修正するステップと、
を含み、各領域のサイズを修正するステップが、修正される領域の界面に沿った組織構造を一致させるために、局所画像位置決めプロセスを実行するステップを含む、方法。

【請求項2】

請求項１記載の方法において、前記１つの出力ディジタル画像の異なる領域が、異なる隣接組織切片からの画像データを、並存フォーマットで示す、方法。

【請求項3】

請求項２記載の方法において、前記１つの出力ディジタル画像が、隣接する組織切片の５つのディジタル画像の複合から生成される５つの領域を含み、４つの正方形に囲まれた中央正方形として表示され、１つの正方形が前記中央正方形の各側に隣接する、方法。

【請求項4】

請求項１または２記載の方法において、前記１つの出力ディジタル画像の異なる領域が、重ね合わせフォーマットで、異なる隣接組織切片からの画像データを示す、方法。

【請求項5】

請求項４記載の方法において、前記１つの出力ディジタル画像が、第１隣接組織切片の第１ディジタル画像から得られた上側層であって、第１領域についての画像データを供給する上側層と、第２隣接組織切片の第２ディジタル画像から得られた第２層であって、複数の第２領域についての画像データを供給し、前記複数の第２領域の各々がサイズと形状とを有する、第２層とを含む、方法。

【請求項6】

請求項１〜５のいずれか１項記載の方法であって、更に、
１人の患者の隣接する組織切片のスライドから得られた１組のディジタル画像から、第１ディジタル画像を選択するステップであって、各スライドが、当該組における他のスライドと比較して、異なる染料、異なる撮像モード、または双方を使用して準備される、ステップと、
前記１組のディジタル画像から１つ以上の追加のディジタル画像を選択するステップと、
前記組織切片の前記１つの出力画像を、前記第１ディジタル画像および１つ以上の追加のディジタル画像の複合体として表示するステップと、
を含む、方法。

【請求項7】

請求項６記載の方法において、前記染料が、ヘマトキシリンおよびエオシン染料（「Ｈ＆Ｅ」染料）、および免疫組織科学染料（「ＩＨＣ」染料）から選択される、方法。

【請求項8】

請求項６〜７のいずれか１項記載の方法において、前記撮像モードが、明視野顕微鏡撮影法および蛍光顕微鏡撮影法から選択される、方法。

【請求項9】

画像分析システムであって、
ａ．プロセッサと、
ｂ．前記プロセッサによる実行のための命令を収容するメモリであって、前記命令が実行される結果、
ｉ．組織切片のディジタル複合画像の表示であって、前記ディジタル複合画像が２つ以上の領域を含み、各領域が移動可能な境界において終了し、隣接する組織切片の１組のスライドにおける異なるスライドからの画像データから得られる、表示、
ｉｉ．１つ以上の領域のサイズ、形状、または双方の修正、および
ｉｉｉ．領域の数の修正、
が行われる、メモリと、
ｃ．前記プロセッサに前記命令を実行させるのをトリガするクライアント・ユーザ・インターフェースと、
ｄ．前記クライアント・ユーザ・インターフェース、隣接組織切片の前記１つ以上の画像、結果、およびこれらの組み合わせを表示することができるモニタと、
を含み、領域のサイズ、形状、または双方を修正する前記命令が、修正される領域の界面に沿った組織構造を一致させる局所画像位置決めプロセスを含む、画像分析システム。

【請求項10】

請求項９記載の画像分析システムにおいて、領域のサイズ、形状、または双方を修正する前記命令が、前記移動可能な境界を移動させるために、ユーザが前記モニタと対話処理することによってトリガされる、画像分析システム。

【請求項11】

請求項９記載の画像分析システムにおいて、前記ディジタル複合画像が、１つ以上の領域を並存表示した領域と、隣接する並存領域の各対間における移動可能な境界とを含む、画像分析システム。

【請求項12】

請求項１１記載の画像分析システムにおいて、前記移動可能な境界を移動させるために、前記モニタと対話処理することにより、１つの領域のサイズを増大させつつ、前記隣接領域のサイズを減少させる命令をプロセッサに実行させる、画像分析システム。

【請求項13】

請求項９記載の画像分析システムにおいて、前記ディジタル複合画像が、１つの領域を他の領域内においてスポットライト表示した領域を含む、画像分析システム。

【請求項14】

請求項１３記載の画像分析システムにおいて、前記スポットライトがサイズを有し、前記移動可能な境界を移動させるために前記モニタと対話処理することによって、前記スポットライトのサイズを拡大または縮小する命令を前記プロセッサに実行させるようにトリガする、画像分析システム。

【請求項15】

組織標本を可視化するためのコンピュータ・プログラム製品であって、コンピュータ読み取り可能プログラム・コードが内部に具体化された非一時的コンピュータ読み取り可能記憶媒体を含み、前記コンピュータ読み取り可能プログラム・コードが、
ａ．前記標本の隣接する組織切片の１組のディジタル画像における１つ以上のディジタル画像の複合体である、前記組織標本の複合画像を生成および表示するように構成され、前記１つ以上のディジタル画像の各々が、前記複合画像のある割合を構成し、前記隣接する組織切片の前記１組のディジタル画像における各ディジタル画像が、異なる染料、異なる撮像モード、または双方を使用して得られ、
ｂ．前記複合画像における前記ディジタル画像の１つ以上の前記割合を修正するように構成され、
前記組織標本の複合画像を生成し、前記複合画像における１つ以上のディジタル画像の前記割合を修正するステップが、前記複合画像におけるディジタル画像間における境界において組織構造を一致させることを含む、コンピュータ・プログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本開示は、２０１５年１１月３日に出願された米国仮特許出願第６２／２５０，４１３号の優先権を主張する。この出願をここで引用したことにより、その内容は本願にも含まれるものとする。

【0002】

分野
本明細書は、とりわけ、組織標本(tissue sample)のディジタル化画像の操作および／または分析のためのデバイス、システム、および方法に関する。また、本明細書は、２つ以上の一連の組織切片標本の複合画像のような組織標本を視認するというように、同じまたは異なる患者、動物、あるいはその他の試料(specimen)からの２つ以上の画像の複合画像を視認するためのコンピュータ実装デバイス、システム、および方法に関する。また、本明細書は、リアル・タイムで調節可能なインターフェースを有し、複合画像のような、同じまたは異なる患者、動物、あるいはその他の試料からの組織試料を比較するコンピュータ実装デバイス、システム、および方法に関する。

【背景技術】

【0003】

ディジタル病理学とは、ディジタル環境における病理学情報の管理および解釈を言う。組織切片のスライドを撮像するためにスキャニング・デバイスが使用される。組織切片は、ディジタル・スライド、例えば、スライド画像全体が生成されるように染色することができる。ディジタル病理学ソフトウェアは、ディジタル・スライドをコンピュータ・メモリ・デバイスに格納し、コンピュータ・モニタ上で目視し、病理学情報を求めて分析することを可能にする。しかしながら、ディジタル病理学が広く採用され、種々の利益が約束されるためには、撮像性能、スケーラビリティ、および管理というような、多くの障害がある。

【0004】

以下では特定の新規な特徴を示して説明するが、それらの一部または全部が請求項において指摘されるにしても、本開示のデバイス、システム、および方法は、特定的に説明する詳細に限定されることを意図するのではない。何故なら、関連技術における当業者であれば、例示する実施形態およびその動作における形態および詳細の種々の省略、修正(modification)、交換、および変更(change)が、本開示の主旨から全く逸脱することなく、行えることを熟知しているからである。本明細書において説明する特徴について、明示的に「肝要である」または「必須である」と明言されていないならば、その特徴は肝要でも必須でもない。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示は、組織標本のディジタル化画像の操作および／または分析のためのデバイス、システム、および方法を提供する。例えば、ある実施形態では、本開示は、組織標本を、２つ以上のディジタル画像の複合ディジタル画像として可視化するためのコンピュータ実装デバイス、システム、および方法を提供する。更に他の実施形態では、各複合ディジタル画像が、２つ以上のディジタル画像の他方と比較して、異なる撮像モード（例えば、明視野顕微鏡撮影法および蛍光顕微鏡撮影法）を使用したガラス・スライドから、または異なる染料（例えば、ＨＥ、ＩＨＣ染料）を使用して組織切片が準備されたガラス・スライドから、または双方から、生成される。

【0006】

ある実施形態では、本プロセスは、組織標本の１つの出力ディジタル画像表示を作成するステップを含む。この１つの出力ディジタル画像表示は、標本の隣接する組織切片の２つ以上のディジタル画像ファイルの複合体である。更に他の実施形態では、２つ以上のディジタル画像ファイルは、２〜５つのディジタル画像ファイルからのものである。ある実施形態では、２つ以上のディジタル画像ファイルは、２つのディジタル画像ファイルである。ある実施形態では、ディジタル画像表示は対話型であり、調節可能なインターフェースを含む。更に他の実施形態では、ディジタル画像表示は２つ以上の領域を含み、各領域は、ディスプレイとの対話処理によって変更することができるサイズを有し、これらの領域の内少なくとも２つは、異なる隣接組織切片からの画像データを示す。更に他の実施形態では、１つの出力ディジタル画像を修正するためにディスプレイとの対話処理を行うことによって、修正領域間の界面(interface)に沿って組織構造を一致させるために、局所画像位置決めプロセスが実行される。ある実施形態では、複合画像を並存カーテン・ビュー(side-by-side curtain view)で表示する。ある実施形態では、複合画像を重ね合わせフラッシュライト・ビュー(overlaid flashlight view)で表示する。

【0007】

ある実施形態では、本開示は画像分析システムを提供する。この画像分析システムは、１）プロセッサと、このプロセッサによる実行のための命令を収容するメモリであって、命令が実行されると、組織切片のディジタル複合画像の表示であって、複合画像が２つ以上の領域を含み、各領域が調節可能な境界において終了し、隣接する組織切片の１組のスライドにおける異なるスライドからの画像データから得られる、表示、１つ以上の領域のサイズ、形状、または双方の修正、および領域の数の修正の内１つ以上が行われる、メモリと、２）プロセッサに命令を実行させるクライアント・ユーザ・インターフェースと、３）クライアント・ユーザ・インターフェース、隣接組織切片の１つ以上の画像、結果、およびこれらの組み合わせを表示することができるモニタと、を含む。ある実施形態では、領域のサイズ、形状、または双方を修正する命令は、調節可能な境界を移動させるために、ユーザがディスプレイと対話処理することによって呼び出される(trigger)。他の実施形態では、領域のサイズ、形状、または双方を修正する命令は、局所画像位置決めプロセスを含む。

【0008】

ある実施形態では、本開示は、組織標本を可視化するためのコンピュータ・プログラム製品を提供する。このコンピュータ・プログラム製品は、コンピュータ読み取り可能プログラム・コードが内部に具体化された有形コンピュータ読み取り可能記憶媒体を含む。コンピュータ読み取り可能プログラム・コードは、１）標本の隣接する組織切片の１組のディジタル画像における１つ以上のディジタル画像の複合体である、組織標本の画像を生成および表示するように構成される。１つ以上のディジタル画像の各々は、複合画像のある割合を構成し(comprise)、隣接する組織切片の１組のディジタル画像における各ディジタル画像が、異なる染料、異なる撮像モード、または双方を使用して得られ、ｂ）複合画像におけるディジタル画像の１つ以上の割合を修正するように構成される。ある実施形態では、組織標本の複合画像を生成すること、および／または複合画像における１つ以上のディジタル画像の割合を修正することは、複合画像のディジタル画像間の境界において、局所画像位置決めを実行する(implement)ことを含む。

【0009】

本明細書では、位置決め(registration)とは、組織切片のディジタル画像を整列する(align)ための画像分析ステップを言う。このステップの目標は、組織切片を作成する前に組織ブロックにおいて空間的に近い組織の部分が、この組織ブロックからの切片から取り込まれ整列されたディジタル画像において近くなるように、整列ディジタル画像を供給することである。ディジタル画像を位置決めし整列する多くの方法が当業者には知られており、１つの実施態様例が、Biomedical Imaging (ISBI), 2014 IEEE 11th International Symposium on, pp. 762-765. IEEE, 2014におけるSarkar A., Quan Yuan, and Chukka Srinivas, "A robust method for inter-marker whole slide registration of digital pathology images using lines based features" （ラインに基づく構造を使用するディジタル病理学画像のマーカ間ホール・スライド位置決めのためのロバストな方法）という文献に記載されている。この文献をここで引用したことにより、本願にもその内容全体が含まれるものとする。本開示では、２種類の異なる位置決めについて述べる。全域位置決め方法(global registration method)は、組織ブロックにおいて近かった組織切片を識別することを可能にする(provide for)制約を課し、対応するディジタル画像における組織切片の近さを反映する全体画像を生成することによって、画像を整列する。局所位置決め方法(local registration method)は、画像における対象領域に対してこの制約が最良に満たされる解を求める。ある実施形態では、局所位置決めの対象エリアは、隣り合って位置する２つ以上の組織切片からの画像データを分離する表示上の界面となる。

【0010】

ある実施形態では、本開示は、組織標本をディジタル的に目視する方法を提供する。この方法は、１）隣接する組織切片の１組のディジタル画像から第１画像を選択するステップであって、各画像が、異なる染料、異なる撮像モード、または双方を使用して得られたスライドから生成される、ステップと、２）１組から１つ以上の第２画像を選択するステップと、３）選択した第１画像および１つ以上の第２画像を積み重ねて整列し、整列画像層を形成する命令を実行するようにコンピュータ・プロセッサに命令するステップであって、以前に画像が位置決めされていない場合、更に、１つ以上の表示画像の位置および向きを調節するステップを伴う(involve)のでもよい、ステップと、４）第２画像の内１つ以上の一部を表出させることによって組織標本の複合画像を表示する命令を実行するようにコンピュータ・プロセッサに命令するステップとを含む。ある実施形態では、この方法は、更に、１つ以上の画像の表出部分を修正する命令を実行するようにコンピュータ・プロセッサに命令するステップを含む。ある実施形態では、修正を命令するステップが、隣接する画像間に表示される境界を移動させるステップを伴い、修正命令を実行するステップが、隣接する画像間における境界に沿って組織構造を一致させるために、局所画像位置決めプロセスを実行するステップを伴う。

【0011】

本開示は特定の具体的な実施形態を提示するが、本発明はこれらの実施形態に限定されるのではない。本明細書における説明から、当業者には、説明される実施形態には修正を行うことができ、したがって、本明細書は、説明する実施形態よりも範囲が広いことが認められよう。したがって、全ての例は非限定的である。

【図面の簡単な説明】

【0012】

【図1】図１は、本開示によるデバイス、システム、および方法を実現することができる医療用画像処理ワークステーション・システムの実施形態の斜視視覚表現図である。

【図2】図２は、本開示によるデバイス、システム、および方法を実現することができるネットワーク型システムの実施形態を示すネットワーク図である。

【図3】図３は、対話処理メニュー・バーおよびウィンドウによって構成されたホーム・スクリーンのスクリーンショットであり、ホーム・スクリーンは、本開示による画像分析プログラムの実施形態に関連付けられたウィンドウ型グラフィカル・クライアント・ユーザ・インターフェースの一部をなすことができる。

【図4】図４は、１つの組織ブロックからの全てのスライドが選択され、メニュー選択肢「スライドを位置決めする」が強調されている、図３のホーム・スクリーンの他のスクリーンショットである。

【図5】図５は、更に他のメニュー選択肢「ビューア」が強調されている、図３のホーム・スクリーンの他のスクリーンショットである。

【図6】図６は、ビュー融合モード(fused-view mode)を起動した後におけるホール・スライド・ビューアの実施形態の流れ図である。

【図7】図７は、ビュー融合モードＧＵＩの実施形態のスクリーンショットであり、２つ以上のディジタル・スライドをカーテン・ビュー複合画像において見ることができ、ビュー融合モジュールＧＵＩは、図３のホーム・スクリーンから起動することができる。

【図8】図８は、異なるディジタル画像間の境界を移動させた後における、図７のビュー融合モジュールＧＵＩの他のスクリーンショットである。

【図9】図９は、異なるディジタル画像間の境界を再度移動した後における図８の画面の他のスクリーンショットである。

【図10】図１０は、ビュー融合モジュールＧＵＩの他実施形態のスクリーンショットであり、２つ以上のディジタル・スライドをカーテン・ビュー複合画像において見ることができ、ビュー融合モジュールＧＵＩは、図３のホーム・スクリーンから起動することができる。

【図11】図１１は、ビュー融合モジュールＧＵＩの実施形態のスクリーンショットであり、２つ以上のディジタル・スライドをフラッシュライト複合画像において見ることができ、ビュー融合モジュールＧＵＩは、図３のホーム・スクリーンから起動することができる。

【図12】図１２は、異なるディジタル画像間の境界を移動させた後における、図１１のビュー融合モジュールＧＵＩの他のスクリーンショットである。

【図13】図１３は、異なるディジタル画像間の境界を移動させた後における、図１１のビュー融合モジュールＧＵＩの他のスクリーンショットである。

【図14】図１４は、本開示にしたがって画像分析ソフトウェア・プログラムによって実行される方法の実施形態を示す流れ図である。

【発明を実施するための形態】

【0013】

本明細書では、１つ以上の実施形態について詳細な説明を行う。しなしながら、本開示によるデバイス、システム、および方法は、種々の形態で具体化できることは理解されよう。したがって、本明細書において開示する具体的な詳細を限定と解釈してはならず、逆に、請求項に対する代表的な論拠として、そして本デバイス、システム、および方法を任意の適した様式で採用することを当業者に教示するための代表的な論拠として解釈するものとする。

【0014】

特に定められていなければ、本明細書において使用する全ての技術用語および科学用語は、本開示が属する技術分野における当業者によって一般に理解されるのと同じ意味を有するものとする。本明細書において１つの用語に対して複数の定義がある場合、特に記載がない場合、本章におけるものを優先する。

【0015】

「例えば」(for example)、「のような」(such as)、「含む」(including)等の用語が本明細書において使用されるときはいつでも、明示的にそうでないことが言明されていなければ、「そして限定ではなく」(and without limitation)という語句が以下に続くと理解されるものとする。同様に、「例」(example)、「例示的な」(exemplary)等は非限定的であると理解されるものとする。

【0016】

「実質的に」(substantially)という用語は、意図する目的に悪影響を及ぼさない、記述子(descriptor)からの逸脱(deviation)を認める。記述的用語(descriptive terms)は、「実質的に」という単語が明示的に記載されていなくても、「実質的に」という用語によって修飾されていると理解することとする。

【0017】

「約」(about)という用語は、実験誤差によるばらつきを含む(account for)ことを意味する。測定値または数量が明示的に「約」という単語によって修飾されていなくても、全ての測定値または数量は、暗示的に「約」という単語によって修飾されていると理解することとする。

【0018】

「備えている」(comprising)、「含んでいる」(including)、「有している」(having)、および「伴っている」(involving) 等の用語は、相互交換可能に使用され、同じ意味を有するものとする。同様に、「備える」(comprises)、「含む」(includes)、「有する」(has)、および「伴う」(involves)等も、相互交換可能に使用され、同じ意味を有するものとする。具体的には、これらの用語の各々は、共通の米国特許法における「備えている」(comprising)の法的な定義に倣って定義されることとし、したがって「少なくとも以下の」を意味する開放用語(open term)であると解釈され、更に追加の特徴、限定、態様等を除外しないと解釈されるものとする。つまり、例えば、「コンポーネントａ、ｂ、およびｃを有するデバイス」とは、このデバイスが少なくともコンポーネントａ、ｂ、およびｃを含むことを意味する。同様に、「ステップａ、ｂ、およびｃを伴う方法」という語句は、この方法が少なくともステップａ、ｂ、およびｃを含むことを意味する。

【0019】

「ａ」または「ａｎ」という用語が使用されるときはいつでも、別段明示的に言明されていないならば、またはこのような解釈が文脈上無意味でないならば、「１つ以上」と理解されるものとする。

【0020】

「整列する」(align)および「位置決めする」(register)という用語、ならびにそれらの形態の全て（例えば、「整列している」(aligning)および「位置決めしている」(registering)）は、選択的に使用され、「画像」という用語と関連して使用されるときには同じことを意味するものとする。例えば、「整列された画像」(aligned images)および「位置決めされた画像」(registered images)という語句は、選択的に使用され、画像位置決めプロセス（例えば、粗い位置決めおよび／または細かい位置決めプロセス）を受けたディジタル画像を記述する。

【0021】

「組織標本の隣接する組織切片」とは、スライド上における使用のために準備された組織標本の切片を指す。本開示のコンテキストでは、隣接組織切片とは、組織切片が同じ標本から取り出されたことだけを意味するのであり、組織切片が必ずしも互いに境を接することを意味するのではない。つまり、例えば、本開示が２つのディジタル画像、第１組織切片から得られた１つおよび隣接する組織切片から得られた他の１つ、または隣接する組織切片から得られた１つおよび第２の隣接する組織切片から得られた他の１つを互いに融合することに言及する場合、２つの切片は同じ組織標本から得られたことだけを意味し、２つの切片が組織標本において互いに境を接することを必ずしも意味するのではない。

【0022】

当技術分野では理解されるように、ディジタル画像ファイルはデータ（画像データ）を含む。したがって、ディジタル画像に言及するときは、画像データに言及することにもなる。例えば、１組のディジタル画像に言及するときは、暗示的に、１つ以上の画像データ・ファイルを含む１組の画像データを開示する／に言及することになる。

【0023】

診断、治療決定、および追跡のための病理学スライドの分析では、一般に、細胞、腺、腫瘍等のような生物学的構造の染色応答の存在、形状、強度、およびその他の特徴を評価する。多くの場合、１つのスライド上で見ることができる情報だけでは、当面の作業には十分ではなく、組織の隣接する切片を異なるアッセイによって染色し、組織から複数のプロパティのデータを得る(interrogate)ことができる。複数のアッセイによって染色された複数のスライドから入手可能な情報は、通例、連続する組織切片の分析において最大限使用されない。何故なら、組織において一致する領域(matching regions)を発見し、視認し、分析することは、観察者にとって困難でありそして厄介であるからである。従来の顕微鏡撮影法では、一度に見ることができるスライドは１つだけであり、異なるスライド上の組織上において同じ領域および位置に誘導するツールは容易に入手できない。

【0024】

本開示は、ディジタル病理学に関し、ビュー融合コンピュータ実装画像処理のためのデバイス、システム、および方法を含む。ある実施形態では、これらのデバイス、システム、および方法を単体のワークステーション（インターネットへのアクセスのためのモデムを含むとよい）上に実装する。ある実施形態では、これらのデバイス、システム、および方法は、コンピュータ・ネットワークを通じて実装することもできる。

【0025】

病理学データに対する２つの異なるアッセイおよび分析問題を使用して、本明細書において開示するビュー融合ディジタル画像処理デバイス、システム、および方法を例示し、そのコンテキストを規定する(provide)。一実施形態では、腫瘍に対する免疫応答の評価のために、免疫細胞をＩＨＣアッセイによって染色する。例えば、アッセイは、抗ＣＤ３一次抗体染色Ｔリンパ球を含み、腫瘍、腫瘍周囲間質、または腫瘍内の間質におけるＴリンパ球の発生(occurrence)の評価を容易にする。更に総合的な分析のために、このような免疫細胞が腫瘍または周囲構造に浸透したか否か、そしてどのように浸透したか評価することができる。通例、免疫細胞は、ＩＨＣ染色によって見ることができるようになり、一方腫瘍、腫瘍内の間質、リンパ管等は、ヘマトキシリンおよびエオジン（Ｈ＆Ｅ）によって染色されたスライド上の方が良く見ることができる。したがって、一例では、ＣＤ３−ＩＨＣ染色組織切片を使用して準備されたスライドから得られたディジタル画像と、Ｈ＆Ｅ染色された隣接組織切片を使用して準備されたスライドから得られたディジタル画像との融合(fusion)を伴う。第２実施形態では、腫瘍に対する免疫応答の評価のために、ＰＤ−Ｌ１／ＩＨＣアッセイを使用してＰＤ−Ｌ１陽性免疫細胞を染色する。腫瘍細胞もＰＤ−Ｌ１抗体を搬送する(carry)ことができ、そしてＰＤ−Ｌ１染色細胞が腫瘍細胞かまたは免疫細胞か判断することも望ましいので、Ｈ＆Ｅ染色アッセイを隣接する組織切片上において使用する。つまり、第２の例では、ＰＤ−Ｌ１／ＩＨＣ染色組織切片を使用して準備されたスライドから得られたディジタル画像と、Ｈ＆Ｅ染色された隣接組織切片を使用して準備されたスライドから得られたディジタル画像との融合を伴う。しかしながら、双方の例は、Ｈ＆Ｅ染色と組み合わされた、ＣＤ３およびＰＤ−Ｌ１ＩＨＣ染色の内の１つを伴い、そして双方共２つのスライドの融合を伴うが、本開示は、異なるＩＨＣおよび特殊な染色アッセイによって染色された複数のスライドから得られるディジタル画像の融合を包含し、更に、これらのディジタル画像をＨ＆Ｅ染色スライドから得られるディジタル画像と組み合わせることもできるが、組み合わせなくてもよい。

【0026】

単体ワークステーション上に実装されるか、ネットワークを通じて実装されるかには関係なく、本開示によるシステムは、次にあげるハードウェア・コンポーネント、即ち、モニタのような画像および／または結果を表示するための出力デバイスと、ソフトウェア・プログラムと対話処理するためのキーボードおよびマウスまたはトラックボールのような１つ以上の入力デバイスと、ソフトウェア・プログラムを実行するためのプロセッサとを含むコンピュータの内、少なくとも一部を含むことができる。また、本システムは、複数組のディジタル画像ファイルを格納するための記憶デバイスも含むことができ、各１組は、１人の患者の同じ組織の隣接する組織切片の１つ以上のホール・スライド画像を含む。１組における各ディジタル画像ファイルは、その組における他方のディジタル画像ファイルと比較して、異なる撮像モード（例えば、明視野顕微鏡撮影法および蛍光顕微鏡撮影法）を使用してガラス・スライドから生成することができ、または異なる染料（例えば、ＨＥ、ＩＨＣ染料）を使用して組織切片が準備されたガラス・スライドから生成することができ、または双方から生成することができる。記憶デバイスは、コンピュータ自体の一部となることができ、またはネットワーク・アクセス可能な記憶デバイスのような、別個のデバイスであることも可能である。また、本システムは、ガラス・スライドからディジタル画像ファイルを生成するためのスキャナも含むことができる。

【0027】

本開示の範囲内における特定の実施形態では、生物学的試料（組織試料であってもなくてもよい）を基板上に載せる。基板は、ガラスまたは顕微鏡スライドであってもなくてもよい。本開示の範囲内における特定の実施形態では、撮像および比較される生物学的試料（例えば、組織試料）は、患者の同じ切片またはブロックから採取されなくてもよい(originate)。本開示の範囲内における特定の実施形態では、本開示の範囲内の方法にしたがって位置決めされ使用のために利用可能になるディジタル画像は、１人の患者からの隣接しない組織切片の画像であってもよい。本開示の範囲内における特定の実施形態では、本開示の範囲内の方法にしたがって位置決めされ使用のために利用可能になるディジタル画像は、異なる患者からの生物学的試料の画像であってもよい。本開示の範囲内における特定の実施形態では、本システムは、同じまたは異なる患者、動物、またはその他の試料からの組織試料を比較するために使用することもできる。このような実施形態についての一例では、正常な組織および罹患された組織、あるいは罹患過程の異なる段階における組織を、並存させて視認および比較しつつ、視認された組織ブロックの基礎的な解剖構造(underlying anatomy)を照合する(matching)することを可能にする。

【0028】

単体ワークステーション上に実装されるか、ネットワークを通じて実装されるかには関係なく、本システムは、次にあげるソフトウェア・コンポーネント、即ち、画像位置決めモジュールとビュー融合画像処理モジュール（これ自体が、随意の局所位置決めモジュールと、任意の全域位置決めモジュール（粗雑位置決めモジュールおよび／または精細位置決めモジュールを有する）とを含むことができる）とを含む画像分析プログラムも含むことができる。

【0029】

ビュー融合画像処理モジュールは、プロセッサによって実行されると、組織標本の画像が得られる。この画像は、位置決めされている２つ以上の選択されたディジタル画像の複合体であり、選択されたディジタル画像の各々は、組織標本の異なる隣接組織切片から得られたものである。言い換えると、複合画像の異なる領域は、異なるディジタル隣接組織切片のスライド画像からの画像データを示す。更に、ビュー融合画像処理モジュールは、ユーザが、複合画像上のどの領域が、どの選択されたディジタル画像からのデータを含むのか、クライアント・ユーザ・インターフェースを使用して、判定し、その領域を操作することを可能にする。１つの可能な実施形態では、表示された複合画像と同じサイズの２つ以上の位置決めされた視野（ＦＯＶ）を、２つ以上のディジタル組織画像からの領域として取得する。選択された領域は、画像情報の部分集合(subset)を含むことができ、またはこれらがディジタル画像全体であることも可能である。ＦＯＶ画像の第１、第２、または任意のその他の画像からの画像コンテンツを示すために、領域を表示エリアに割り当てる。これらの領域の表示エリアへの割り当ては、入力デバイスを使用するユーザによって、または表示画像と対話処理することによって、対話的に修正することができる。実施形態のいくつかでは、表示は、ユーザが領域の割り当てを変更したときはいつでも、リアル・タイムに更新される。例えば、ある実施形態では、クライアント・ユーザ・インターフェースが「カーテン・ビュー」(curtain view)内に実装され、隣接する領域の境界にスライダが設けられ、このスライダが、選択された画像の１つから複合画像に供給される画像データの割合を高めつつ、境を接するディジタル画像から複合画像に供給される画像データの割合を同時に下げることをユーザに可能にする。他のまたは別の例(another or further example)では、クライアント・ユーザ・インターフェースが「フラッシュライト・ビュー」(flashlight view)に実装され、ディジタル画像の一部が、例えば、円盤形状に「照明されて」、副選択ディジタル画像(secondary, selected digital)からの画像データを円盤形状内に供給し、主選択ディジタル画像(the main, selected digital image)からの画像データを円盤形状の外側に残す。この実施形態では、複合ディスプレイにおける第２画像に割り当てられた領域は円盤形状をなし、この円盤の位置およびサイズは、システムのユーザによって調節することができる。しかしながら、この領域は円盤形状に限定されるのではなく、矩形または正方形のような、任意の他の所望の形状にすることもできる。照明エリアは、画像のどの部分を、主選択スライドではなく、副選択スライドから得るのか選択するために、拡大する、縮小する、および／または画像の周囲において、移動させることができる。また、この例では、ユーザの対話処理によって、表示エリアにおける円盤形状領域のそれぞれの割り当てを修正する。

【0030】

「全域」位置決めモジュールは、プロセッサによって実行することによって、隣接組織切片の１組のディジタル画像において少なくとも２つのディジタル画像を整列し、これによって１組の整列ディジタル画像を形成する。位置決めは、当技術分野において知られている任意の方法によって行うことができ、例えば、２０１４年３月１２日に出願され、"Whole Slide Image Registration and Cross-Image Annotation Devices, Systems and Methods"（ホール・スライド画像位置決めおよび画像間注釈付けデバイス、システム、ならびに方法）と題するＰＣＴ出願第ＰＣＴ／ＥＰ２０１４／０５４７８１号に記載されているように達成することができる。この出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。

【0031】

ビュー融合画像処理モジュール内における随意の「局所」位置決めプロセスは、界面が調節されたときに、ビュー融合画像上において、ビュー融合画像を構成する２つ以上のディジタル画像を、２つ以上のディジタル画像間の界面に沿って整列させるように動作する。例えば、実施形態において、他の画像を犠牲にして１つの画像のビューを広げるように、隣接画像間の界面を示す(denote)スライダを移動させた場合、２つの画像間の重なり合い(overlay)は、画像が隣接する切片から得られたが同一ではない可能性があるという事実から、不完全となるおそれがある。局所位置決めは、例えば、境界領域に沿って組織構造を一致させることによって、重なり合う領域の境界における視覚的アーチファクトを最小限に抑えるまたは低減することを意図している。カーテン・ビュー、フラッシュライト・ビュー、および本発明のその他の実施形態では、界面領域とは、表示画像において、領域のディスプレイに対する割り当てが変化する領域と定義する。局所位置決めのプロセスは、この界面領域内に表示された２つ以上のＦＯＶからの画像コンテンツができるだけ同様になるように、表示されたＦＯＶの内１つ以上の位置および／または方位を修正する。局所位置決めは、画像変換、例えば、画像の内、界面エリアにおける画像類似性の定量的尺度を最大にする１つの並行移動および回転を決定することによって、実施することができる。例えば、界面領域における１つ以上のＦＯＶ画像の相関を、類似性尺度として使用することができる。尚、このタスクを遂行するために、多くの異なる種類の画像変換、および画像類似性の多くの異なる尺度を使用できることは、当業者には明らかであろう。

【0032】

ある実施形態では、コンピュータ実装方法は、更に、１人の患者の同じ組織ブロック、切片、または標本からの少なくとも２つのディジタル画像を整列させ、１組の整列ディジタル画像を得るためのコンピュータ実装「全域」位置決めプロセスも含む。１組における各ディジタル画像は、その１組における他方のディジタル画像と比較して、異なる染料、異なる撮像モード、または双方を使用して得られた画像から得ることもできる。本発明のある実施形態では、全域画像位置決めステップは、異なる組織画像から、同じ組織領域を示すＦＯＶを選択するために使用され、一方局所位置決めは、複合表示の界面領域における表示組織の類似性を向上させるために、ＦＯＶ画像に適用される。

【0033】

本明細書において説明する例では、特定の染色または撮像方法を使用して準備されたスライドのディジタル撮像を引用するが、本明細書はこれらの染色や撮像方法には限定されず、スライドを準備するときに可能な全てのディジタル撮像を包含する。更に、本明細書において説明する例は、特定の画像を主画像（例えば、Ｈ＆Ｅ画像）と記述し、他の画像を副画像（例えば、ＩＨＣ染色）とするが、本明細書はこれらのコンテキストに限定されるのでもない。例えば、特定の実施形態では、ＩＨＣ染色が主であり、Ｈ＆Ｅが副であってもよい。また、例では、「カーテン」ビューおよび「フラッシュライト」ビューについて記述するが、本明細書はこれらの撮像モードにも限定されず、複合画像の１つの領域における１つのディジタル画像からの画像データを視認し、スライドの他の領域における１つ以上の追加のディジタル画像からの画像データを視認することによってビュー融合画像を分析する全ての可能な方法を包含する。言い換えると、本明細書は、包括的に、組織標本の２つの画像の典型的な並存表示(side-by-side viewing)ではなく、組織標本の任意の２つ以上のスライドから得られる情報を、この組織標本の１つの複合画像において可視化することを対象とし、複数のスライド上において複数のアッセイによって染色された組織の分析のための機能を提供する。これは、典型的な並存表示手法では得ることができない、即ち、それとは相違するものである。

【0034】

これより図面を参照するが、同様の参照番号は全体を通じて同様の部分を指す。図１は、医療用画像処理ワークステーション・システム１０の実施形態の斜視視覚表現図である。このシステム１０において、本開示によるデバイス、システム、および方法を実装することができる。図示のように、医療用画像処理ワークステーション・システム１０は、プロセッサ（「ＣＰＵ」）（図示せず）、記憶デバイス（図示せず）、グラフィクス・プロセッサ・ユニット（「ＧＰＵ」）（図示せず）、および、必要に応じて、モデム（図示せず）というようなハードウェア・コンポーネント３０のための筐体を有するコンピュータ２０、図示する例ではモニタ４０である第１出力デバイス、図示する例ではキーボード５０である第１ユーザ入力デバイス、ならびに図示する例では、トラックボールまたはマウス６０のような、ディスプレイと対話処理するためのポインティング・デバイスである第２ユーザ入力デバイスを含む。当技術分野では周知であるが、コンピュータ２０、ハードウェア・コンポーネント３０、モニタ４０、およびユーザ入力デバイス５０、６０は別個のコンポーネントとして図示されているが、これらは全てラップトップ・コンピュータの形態で統合することもできるので、これらを統合して部品数を減らすこともできる。また、医療用画像処理ワークステーション・システム１０は、コンピュータ実装医療用画像処理システムに付随することが知られているデバイスの中でもとりわけ、図示する例ではスライド・スキャナ７０である第３入力デバイス、図示する例ではプリンタ８０である第２出力デバイス、バックアップ電源９０、および外部記憶デバイス（図示せず）のような、追加の周辺機器も含むことができる。ある実施形態では、医療用画像処理ワークステーション・システム１０は、複数の画面上における複数のディジタル組織画像の同時視認を容易にするために、１つよりも多いモニタ４０を含むこともできる。当業者には認められるであろうが、これらの具体的なコンポーネントは、技術が変更すれば、変更することもあり得る。例えば、周辺ポインティング・デバイスは、画面がユーザの指または音声コマンドに応答する場合、不要になる可能性がある。

【0035】

また、医療用画像処理ワークステーション・システム１０は、画像分析プログラムのような、ソフトウェア・コンポーネントも含む。画像分析プログラムは、局所位置決めモジュール、および、必要に応じて、全域位置決めモジュールを含む、ビュー融合画像処理モジュールを含む。ソフトウェア・コンポーネントは、記憶デバイス上に格納される（例えば、ソフトウェア・コンポーネントを内部ハード・ドライブ上に格納してもよい）、１つ以上のファイルであってもよく、および／またはソフトウェア・コンポーネントは、ＤＶＤ、ＣＤのようなメモリ・ディスク、またはメモリ・カード上に格納されてもよく、メモリ・ディスク受入ポート２５を介してメモリ・ディスクが筐体３０に挿入されたときに、プロセッサによってメモリ・ディスクにアクセスすることができる。

【0036】

ＣＰＵは、記憶デバイスおよびＧＰＵを含む、種々の周辺およびハードウェア・コンポーネントに動作可能に接続されている。記憶デバイスは、複数組のディジタル画像を一時的または永続的に格納することができる。ディジタル画像は、例えば、スキャニング・デバイスによってシステムにインポートすることができる。複数組のディジタル画像は、１人の患者の隣接する組織切片の１つ以上のディジタル画像を含み、各画像は、他の画像と比較して、異なる染料／標識／マーカ、異なる撮像モード、または双方を使用して得ることができる。ＧＰＵは、画像表示プログラムおよび画像分析プログラム（１つのプログラムにおいて組み合わせてもよい）からの命令を処理する。例えば、ＧＰＵによって実行することによって、画像表示プログラムは、複数のウィンドウがあるウィンドウ型グラフィカル・ユーザ・インターフェース（「ＧＵＩ」）をモニタ４０上に表示する(provide)ことができ、ユーザはＧＵＩと対話処理して、例えばＣＰＵのようなプロセッサに、画像分析プログラムの１つ以上の態様(aspect)を実行させる命令を与えること、および／またはモニタ４０の１つ以上おいて、格納されているディジタル画像の内１つ以上を、それらの本来の（元々スキャンされたときのままの）フォーマットで、または画像分析プログラムによって修正して、表示することができる。既に述べたように、画像分析プログラムは、位置決めモジュールとビュー融合画像処理モジュールとを含むことができる。例えばＣＰＵによって実行することによって、位置決めモジュールは、格納されているディジタル画像が、異なる染色、異なる撮像モード、または双方を使用して得られたのであっても、格納されているディジタル画像の内少なくとも２つを整列させて、１組の整列画像を形成する。例えばＣＰＵによって実行することによって、ビュー融合画像処理モジュールは、組織標本の画像を表示する。この画像は、隣接する組織切片のスライドから得られた２つ以上のディジタル画像で構成され、この画像を修正することにより、１つのディジタル画像から複合画像に取り込む部分を、他の画像と対比して、変更することができる。

【0037】

図１４は、本発明の例示的実施形態によるシステム９００、例えば、画像分析用画像処理システムを示す。システム９００は、多チャネル画像または多チャネル画像データ（例えば、ＲＧＢ画像またはＲＧＢ画像データおよび／または多スペクトル画像または多スペクトル画像データ）を生成するソース９０１を含む。例えば、ソース９０１は、蛍光顕微鏡、カメラ、光学スキャナ、ＣＣＤ、または蛍光画像を生成する撮像システム、もしくは明視野顕微鏡、カメラ、光学スキャナ、あるいはＲＧＢ画像、多スペクトル画像、および／またはＲＧＢまたは多スペクトル画像データを生成する撮像システムであってもよく、またはこれらを含むのでもよい。撮像システムの例には、例えば、スペクトル・フィルタ・ホイール(spectral filter wheel)またはホール・スライド・スキャナを有する任意の蛍光顕微鏡または明視野顕微鏡をあげることができる。ソース９０１は、メモリ９０３と通信することができ、メモリ９０３は、複数の処理モジュールまたは論理動作を含み、これらはコンピュータ・インターフェース９０７に結合されたプロセッサ９０５によって実行される。例えば、顕微鏡、カメラ、スキャナ、ＣＣＤ、またはメモリ９０３に結合された他の光学システムによる撮像の目的のために、生物学的試料のような標本をスライドまたは他の基板またはデバイス上に装着することができ、試料の画像の分析は、本開示にしたがってメモリ９０３上に格納されている複数のモジュールの内１つ以上を実行するプロセッサ９０５によって実行される。分析は、試料の同定(identification)および研究を目的とするのでもよい。例えば、生物学的システムまたは病理学的システムが試料を研究して、タンパク質、タンパク質断片、あるいは癌またはその他の疾患の存在を示すその他のマーカというような生物学的情報を求めることもでき、あるいはゲノムＤＮＡ検出、メッセンジャＲＮＡ検出、タンパク質検出、ウィルスの検出、遺伝子の検出等というような、他の目的のために研究することもできる。

【0038】

試料、例えば、組織試料または細胞診試料は、１つ以上の異なる量子ドット、蛍光体（１つまたは複数）、またはその他の染料を含有することができる１つ以上の異なる染料の適用によって、染色することができる。例えば、蛍光スライドでは、異なる染料が異なる量子ドットおよび／または蛍光体に対応することができる。蛍光体は、１つ以上のナノ結晶半導体蛍光体（例えば、量子ドット）を構成する(comprise)ことができ、各々異なる波長範囲においてピーク発光応答を生成する。量子ドットは、周知であり、Ｉｎｖｉｔｒｏｇｅｎ Ｃｏｒｐ．、Ｅｖｉｄｅｎｔ Ｔｅｃｈｎｏｌｏｇｉｅｓ、およびその他から商業的に入手することができる。例えば、５６５、５８５、６０５、および６５５ｎｍにおいてピーク発光応答をそれぞれ生成する様々な異なる量子ドットによって、試料を処置することができる。試料に適用される蛍光体の内１つ以上は、有機蛍光体１４（例えば、ＤＡＰＩ、Ｔｅｘａｓ Ｒｅｄ）であってもよい。有機蛍光体１４は、当技術分野では周知であり、少なくとも、本願と所有者および譲受者が同じである米国特許第８，２９０，２３６号に記載されている。この特許をここで引用したことにより、その内容全体が本願にも含まれるものとする。更に、典型的な試料は、染色／アッセイ・プラットフォームを利用して処理される。この染色／アッセイ・プラットフォームは、自動化することができ、染料、例えば、量子ドットおよび／または有機蛍光体を含有する染料を試料に適用する。市場には、染色／アッセイ・プラットフォームとしての使用に適した種々の市販品(commercial products)がある。

【0039】

暫定的な組織処理および染色の後、ソース９０１において、例えば、スキャナ、ＣＣＤアレイ・スペクトル・カメラ、または材料の標本を含む(contain)スライドを撮像するために使用されるその他の撮像システムによって、試料の１つ以上のディジタル画像を取り込みし、スライド上の標本のディジタル画像を生成することができる（本発明によれば、融合画像は少なくとも２つの異なるスライドの複数の部分を含む）。標本を含むスライドは、試料に適用された染料からの発光応答を生成することを意図した波長で試料を照明するために、光源に晒される(subjected to)。量子ドットの場合、光源は広帯域スペクトル光源とするとよい。あるいは、光源は、レーザのような、狭帯域光源を含んでもよい。ＲＧＢ明視野画像も取り込むことができる。撮像システムは、例えば、ディジタル・カメラ、顕微鏡、または１つ以上の対物レンズ、および光源、更には１組のスペクトル・フィルタを有するその他の光学システムを含むことができる。異なる波長において画像を取り込む他の技法を使用することもできる。染色された生物学的試料を撮像するのに適したカメラ・プラットフォームは、当技術分野では周知であり、Ｚｅｉｓｓ、Ｃａｎｏｎ、Ａｐｐｌｉｅｄ Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ、およびその他というような会社から市販されており、このようなプラットフォームは、本開示のシステム、方法、および装置における使用のために、容易に適応可能である。画像は、メモリまたは記憶デバイス９０３に、ワイヤレスまたはワイヤライン接続を介して、例えば、ソース９０１とコンピュータ９０７との間のケーブル接続を介して、コンピュータ・ネットワークを通じて、あるいはディジタル情報をコンピュータ間で転送するために一般に使用される任意の他の媒体を使用して供給することができる。また、画像は、ネットワークを通じてネットワーク・サーバまたはデータベースに、コンピュータ９０７による格納および後における検索(retrieval)のために供給することもできる。プロセッサ９０５およびメモリ９０３以外にも、コンピュータ９０７は、キーボード、マウス、スタイラス、およびディスプレイ／タッチスクリーンのような、ユーザ入力および出力デバイスも含む。以下の論述において説明するが、プロセッサ９０５は、メモリ９０３上に格納されているモジュールを実行し、画像の分析、このような画像から得られる画像または画像データの(of the image or image data derived from such images)、定量的分析を行い、更に定量的結果／結果の図表を、コンピュータ９０７を操作するユーザに表示する。

【0040】

メモリ９０３上に格納されているモジュールは、以上で説明し更に本明細書において説明するように、画像位置決めモジュール９０２と、ビュー融合画像処理モジュール９０４とを含むことができる。しかしながら、これらのモジュールによって実行される動作は、本明細書において記載するものに限定されるのではなく、モジュールのシーケンス、構成(arrangement)、および総数は変更されてもよく、ここに説明する実施形態は単に例示を目的にするに過ぎない。ソフトウェア・モジュールは、クライアント・ユーザ・インターフェース、例えば、コンピュータ９０７に関連付けられたユーザ・インターフェースを介してアクセスすることができる。

【0041】

一旦プログラムを起動したなら、ユーザは、分析のためにディジタル画像９２１を選択することができる。ここで説明する実施形態では、ユーザは、隣接する連続切片の一連の画像から画像を選択し、例えば、これらの切片の内少なくとも１つはＨ＆Ｅによって染色されており、他の切片は１つ以上の異なるＩＨＣ染料によって染色されている。しかしながら、本発明は、隣接する一連の切片のビュー融合画像処理に限定されるのではない。例えば、他の実施形態では、観察者(viewer)が、例えば、通常および罹患組織、または疾病過程の異なる段階における組織を視認および比較するために、同じまたは異なる患者、動物、またはその他の試料からの組織試料の画像から選択することができる。

【0042】

クライアント・インターフェースを介して、次に、ユーザは画像位置決めモジュール９０２を呼び出すことができる。画像位置決めモジュール９０２は、例えば、ＣＰＵまたはプロセッサ９０５によって実行されると、例えば、視認された組織ブロックの基礎解剖学的構造の照合(matching)によって、選択された画像を整列する(align)。

【0043】

クライアント・インターフェースを介して、ユーザはビュー融合画像処理モジュール９０４も呼び出すことができる。ビュー融合画像処理モジュール９０４は、例えば、ＣＰＵまたはプロセッサ９０５によって実行されると、画像位置決めモジュールによって位置決めされた選択画像(selected images)９２１の融合画像を生成する。例えば、ビュー融合画像処理モジュール９０４は、選択され位置決めされたスライドの複合画像を、並存「カーテン」ビュー(side-by-side curtain view)（１つ以上のカーテンを含む）で、および／または「フラッシュライト」ビューで生成することができる。１つ以上の副スライドの１つ以上の部分は、主スライド内における１つ以上の部分と入れ替わるように現れる。

【0044】

図２は、本開示によるデバイス、システム、および方法を実装することができるネットワーク型システムの実施形態を示すネットワーク図である。図示のように、システム２００は、データベース・サーバ２１０と、ネットワーク・アクセス可能な記憶デバイス２１５とを含む。これらの各々は、ネットワーク２２０に接続されている。記憶デバイス２１５は、複数組のディジタル画像を格納する。各組は、１人の患者の隣接する組織切片の１つ以上のディジタル画像を含む。１組における各画像は、１組における他の画像と比較して、異なる染料、異なる撮像モード、または双方を使用することによって得ることができる。１つ以上のクライアント・コンピュータ２３０は、キーボード２３２、マウス（図示せず）、およびプリンタ（図示せず）のような関連する入力および出力デバイスを有することができ、当技術分野では周知の任意の手段によってネットワーク２２０にも接続されている（例えば、専用接続、ＤＳＬまたはケーブル・モデム、ワイヤレス・インターネット接続、ダイアルアップ・モデム等）。クライアント・コンピュータ２３０はウェブ・ブラウザを含む。ウェブ・ブラウザは、記憶デバイス２１５内にあるディジタル画像にアクセスするために使用される。本発明の例示的な実施形態では、ディジタル画像を格納するために、クラウド・ストレージを利用することもできる。

【0045】

クライアント・コンピュータ２３０は、画像分析プログラムに関係する命令を実行するように構成された少なくとも１つのプロセッサを含む。画像分析プログラムは、サーバ２１０からクライアント・コンピュータ２３０にダウンロードすることができる。画像分析プログラムは、画像ビューア・モジュールを含むことができる。クライアント・ユーザ・インターフェースを提供する画像ビューア・モジュールを実行することによって、この画像ビューア・モジュールがウィンドウ型ＧＵＩを表示する(provide)ことができ（更に、複数のウィンドウを含むことができる）、このウィンドウ型ＧＵＩが、プロセッサに画像分析プログラムの１つ以上の態様(aspect)を実行させる命令をユーザが与えることを可能にし、および／または格納されているディジタル画像の内１つ以上を、それらの元々スキャンされたフォーマットのまま表示する、あるいは画像分析プログラムによって修正された通りに表示することができる。格納されている画像が未だ位置決めされていない場合（あるいはユーザが第２のまたは異なる位置決め方法を使用することを望む場合）、画像分析プログラムは、必要に応じて、ユーザが、１人の患者の組織切片から得られた１組の画像から、位置決めのために画像を選択することを可能にすることができ、この１組における画像の少なくとも一部は、この１組における他の画像と比較して、異なる染料、または異なるモード、または双方を使用して作られたのでもよい。また、画像分析プログラムは、１組のディジタル画像における２つ以上のディジタル画像の複合体である組織標本のディジタル画像を、ユーザが視認することを可能にする。ある実施形態では、システム２００は、ホール・スライド２５０をスキャンし、ディジタル画像を生成するスキャナ２４０も含む。ディジタル画像は、記憶デバイス２１５内に格納される。

【0046】

当業者には理解されようが、コンピュータ化ネットワークのコンテキストにおいて画像分析プログラムを実装すると、そうしない単体のワークステーションでは限定される特定のアクティビティが可能になる。例えば、同じ場所におらず、実際には互いに離れている病理学者であっても、画像の分析において協働することができ、または場所には関係なく、相応しい(correct)病理学者に正確な時に到達することができる。

【0047】

図１および図２は、１つ以上のコンピュータ・システムまたはネットワーク・トポロジ内に存在することができる特定のエレメントを示す。本開示によるデバイスおよびシステムを実装することができるコンピュータ・システムおよびネットワークは、他のコンピュータ・システムやネットワーク・トポロジを包含することができ、更にそれら他のコンピュータ・システムおよびネットワーク・トポロジにおいて、もっと多いまたは少ないエレメントを含んでもよいことは、習熟者(person of skill)には理解されよう。言い換えると、図１および図２の実施形態は限定ではない。例えば、ある実施形態では、ディジタル画像を格納するために、クラウド・ストレージを利用することもできる。

【0048】

したがって、本開示にしたがった使用のためのコンピュータ・システムの例示的な実施形態は、ワークステーション、パーソナル・コンピュータ、サーバ、ハンドヘルド・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベースまたはプログラマブル消費者用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレーム・コンピュータ、あるいは任意のその他の現行または今後のコンピュータというような、任意の数のコンピュータ・プラットフォームまたは複数の型式のコンピュータ・プラットフォームを含むことができる。

【0049】

また、例示的な実施形態は、分散型コンピューティング環境において実施することもでき、この場合、通信ネットワークにおいて接続されている（例えば、ハードワイヤ接続、ワイヤレス接続、またはこれらの組み合わせによって）ローカルおよび／またはリモート処理デバイスによってタスクが実行される。分散型コンピューティング環境では、プログラム・モジュールは、メモリ記憶デバイスを含むローカルおよびリモート双方のコンピュータ記憶媒体に配置することもできる。しかしながら、ここで説明するような前述のコンピュータ・プラットフォームは、説明する発明の特殊な動作を実行するように特別に構成され、汎用コンピュータとは考えられないことは、当業者には認められよう。

【0050】

コンピュータは、通例、プロセッサ、オペレーティング・システム、システム・メモリ、メモリ記憶デバイス、入力−出力コントローラ、入力−出力デバイス、およびディスプレイ・デバイスのような、周知のコンポーネントを含む。また、関連技術の当業者には、コンピュータには多くの可能な構成およびコンポーネントがあり、キャッシュ・メモリ、データ・バックアップ・ユニット、および多くのその他のデバイスも含んでもよいことも理解されよう。

【0051】

入力デバイスの例には、キーボード、カーソル制御デバイス（例えば、マウス）、マイクロフォン、スキャナ等が含まれる。

【0052】

出力デバイスの例には、ディスプレイ・デバイス（例えば、モニタまたは投射機）、スピーカ、プリンタ、ネットワーク・カード等が含まれる。ディスプレイ・デバイスは、視覚情報を提供するディスプレイ・デバイスを含むことができ、この情報は、通例、画素のアレイとして論理的および／または物理的に編成することができる。

【0053】

また、インターフェース・コントローラも含むことができる。インターフェース・コントローラは、入力および出力インターフェースを設けるための種々の既知のまたは今後のソフトウェア・プログラムの内任意のものを含むことができる。例えば、インターフェースは、1つ以上のグラフィック表現をユーザに提示する(provide)、一般に「グラフィカル・ユーザ・インターフェース」と呼ばれる（ＧＵＩと呼ばれることが多い）ものを含んでもよい。インターフェースは、通例、関連技術における当業者には周知の選択手段または入力手段を使用して、ユーザ入力を受け入れるために使用可能である。また、インターフェースはタッチ・スクリーン・デバイスでもよい。

【0054】

同じまたは代わりの実施形態において、コンピュータ上のアプリケーションは、「コマンド・ライン・インターフェース」（ＣＬＩと呼ばれることが多い）と呼ばれるものを含むインターフェースを採用することもできる。ＣＬＩは、通例、アプリケーションとユーザとの間におけるテキスト・ベースの対話処理に対応する。通例、コマンド・ライン・インターフェースは、ディスプレイ・デバイスを通じて、テキストのラインとして出力を提示し、入力を受け取る。例えば、ある実施態様では、関連技術における当業者には周知の、Ｕｎｉｘ ＳｈｅｌｌｓまたはＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｐｏｗｅｒｓｈｅｌｌのような、「シェル」と呼ばれるものを含むことができる。Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｐｏｗｅｒｓｈｅｌｌは、Ｍｉｃｒｏｓｏｆｔ ＮＥＴフレームワークのような、オブジェクト指向型プログラミング・アーキテクチャを採用する。尚、インターフェースは、１つ以上のＧＵＩ、ＣＬＩ、またはこれらの組み合わせを含んでもよいことは、関連技術における当業者には認められよう。

【0055】

プロセッサは、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎが製造するＣｅｌｅｒｏｎ、Ｃｏｒｅ、またはＰｅｎｔｉｕｍプロセッサ、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓが製造するＳＰＡＲＣプロセッサ、ＡＭＤ Ｃｏｒｐｏｒａｔｉｏｎが製造するＡｔｈｌｏｎ、Ｓｅｍｐｒｏｎ、Ｐｈｅｎｏｍ、またはＯｐｔｅｒｏｎというような、市販のプロセッサを含むことができ、あるいは入手可能なまたは今後入手可能になる他のプロセッサの１つであってもよい。プロセッサの実施形態の中には、マルチコア・プロセッサと呼ばれるものを含み、および／または単一コアまたはマルチコア構成において並列処理技術を採用することが可能なものもある。例えば、マルチコア・アーキテクチャは、通例、２つ以上のプロセッサ「実行コア」を含む。本例では、各実行コアは、複数のスレッドの並列実行を可能にする独立したプロセッサとして実行することができる。加えて、プロセッサは、一般に３２または６４ビット・アーキテクチャと呼ばれるもの、あるいは現在知られているまたは今後開発される可能性があるその他のアーキテクチャ構成で構成することもできることは、関連技術における当業者には認められよう。

【0056】

プロセッサは、通例、オペレーティング・システムを実行する。オペレーティング・システムは、例えば、Ｍｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎからのＷｉｎｄｏｗｓ型オペレーティング・システム、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｃｏｒｐ．からのＭａｃ ＯＳ Ｘオペレーティング・システム、多くの販売業者から入手可能なＵｎｉｘまたはＬｉｎｕｘ型オペレーティング・システム、あるいはオープン・ソースと呼ばれるもの、その他のオペレーティング・システムまたは今後のオペレーティング・システム、もしくはこれらの何らかの組み合わせであってもよい。オペレーティング・システムは、ファームウェアおよびハードウェアと周知の様式でインターフェースし、種々のプログラミング言語で書かれることもある種々のコンピュータ・プログラムの機能を調整および実行するときに、プロセッサを補助する(facilitate)。オペレーティング・システムは、通例、プロセッサと協働して、コンピュータの他のコンポーネントの機能を調整および実行する。また、オペレーティング・システムは、スケジューリング、入力−出力制御、ファイルおよびデータ管理、メモリ管理、ならびに通信制御および関連サービスも、全て周知の技法にしたがって、提供する。

【0057】

システム・メモリは、所望の情報を格納するために使用することができ、コンピュータによってアクセスすることができる種々の既知のメモリ記憶デバイスまたは今後のメモリ記憶デバイスの内任意のものを含んでもよい。コンピュータ読み取り可能記憶媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含むことができ、コンピュータ読み取り可能命令、データ構造、プログラム・モジュール、またはその他のデータというような情報の格納のための任意の方法または技術で実現される。例には、一般に入手可能なあらゆるランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、電子的消去可能プログラマブル・リード・オンリ・メモリ（ＥＥＰＲＯＭ）、ディジタル・バーサタイル・ディスク（ＤＶＤ）、常駐ハード・ディスクまたはテープのような磁気媒体、リードおよびライト・コンパクト・ディスクのような光媒体、あるいはその他のメモリ記憶デバイスが含まれる。メモリ記憶デバイスには、種々の周知のデバイスまたは今後のデバイスの内任意のものを含んでもよく、コンパクト・ディスク・ドライブ、テープ・ドライブ、リムーバブル・ハード・ディスク・ドライブ、ＵＳＢまたはフラッシュ・ドライブ、あるいはディスケット・ドライブが含まれる。このようなタイプのメモリ記憶デバイスは、通例、コンパクト・ディスク、磁気テープ、リムーバブル・ハード・ディスク、ＵＳＢまたはフラッシュ・ドライブ、あるいはフロッピ・ディスケットのようなプログラム記憶媒体からそれぞれ読み取りを行い、および／またはこれらに書き込みを行う。これらのプログラム記憶媒体、あるいは現在使用されている他のプログラム記憶媒体、または今後開発される可能性があるプログラム記憶媒体はいずれも、コンピュータ・プログラム製品と見なすことができる。

【0058】

認められるであろうが、これらのプログラム記憶媒体は、通例、コンピュータ・ソフトウェア・プログラムおよび／またはデータを格納する。コンピュータ・ソフトウェア・プログラムは、コンピュータ制御ロジックとも呼ばれ、メモリ記憶デバイスと共に使用されるシステム・メモリおよび／またはプログラム記憶デバイスに格納されるのが通例である。ある実施形態では、コンピュータ・プログラム製品は、制御ロジック（プログラム・コードを含むコンピュータ・ソフトウェア・プログラム）が内部に格納されているコンピュータ使用可能媒体を含むというように記述される。制御ロジックは、プロセッサによって実行されると、本明細書において説明した機能をこのプロセッサに実行させる。他の実施形態では、一部の機能は、例えば、ハードウェア状態機械を使用して、主にハードウェアで実現される。本明細書において説明した機能を実行するハードウェア状態機械の実現は、関連技術の当業者には明白であろう。

【0059】

入力−出力コントローラは、人間または機械に関係なく、ローカルまたはリモートにも関係なく、ユーザから情報を受け入れて処理するための種々の既知のデバイスの内任意のものを含むことができる。このようなデバイスは、例えば、モデム・カード、ワイヤレス・カード、ネットワーク・インターフェース・カード、サウンド・カード、または種々の既知の入力デバイスの内任意のもののための他のタイプのコントローラを含む。出力コントローラは、人間または機械に関係なく、ローカルまたはリモートにも関係なく、ユーザに情報を提示するための種々の既知のディスプレイ・デバイスの内任意のもののためのコントローラを含むことができる。

【0060】

現在説明している実施形態では、コンピュータの機能エレメントがシステム・バスを介して互いに通信する。コンピュータの実施形態には、ネットワークまたは他のタイプの遠隔通信を使用して、いくつかの機能エレメントと通信できるものもある。関連技術の当業者には明白であろうが、計器制御および／またはデータ処理アプリケーションがソフトウェアで実装される場合、システム・メモリおよび／またはメモリ記憶デバイスにロードされ、そこから実行されればよい。また、計器制御および／またはデータ処理アプリケーションの全部または一部は、メモリ記憶デバイスのリード・オンリ・メモリまたは同様のデバイスに存在してもよく、このようなデバイスは、計器制御および／またはデータ処理アプリケーションを最初に入力−出力コントローラを介してロードする必要がない。尚、実行に有利であれば、計器制御および／またはデータ処理アプリケーション、あるいはその一部がプロセッサによってシステム・メモリ、またはキャッシュ・メモリ、あるいは双方に、既知の様式でロードされてもよいことは、関連技術の当業者には理解されよう。

【0061】

加えて、インターネット・クライアントが、ネットワークを使用して他のコンピュータ上にあるリモート・サービスにアクセスするために使用可能な(enabled)アプリケーションを含んでもよく、例えば、一般に「ウェブ・ブラウザ」と呼ばれるものを備えてもよい(comprise)。この例では、いくつかの一般に採用されるウェブ・ブラウザには、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔ Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ、Ｍｏｚｉｌｌａ ＣｏｒｐｏｒａｔｉｏｎからのＭｏｚｉｌｌａ Ｆｉｒｅｆｏｘ、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｃｏｒｐ．からのＳａｆａｒｉ、Ｇｏｏｇｌｅ ＣｏｒｐｏｒａｔｉｏｎからのＧｏｏｇｌｅ Ｃｈｒｏｍｅ、あるいは当技術分野において現在知られているまたは今後開発されるその他のタイプのウェブ・ブラウザが含まれる。また、同じまたは他の実施形態において、インターネット・クライアントが、生物学的用途のためのデータ処理アプリケーションのような、ネットワークを通じて遠隔情報にアクセスするために使用可能な、特殊ソフトウェア・アプリケーションを含んでもよく、またはそのエレメントであることも可能である。

【0062】

ネットワークは、当業者には周知の多くの種々のタイプのネットワークの１つ以上を含むことができる。例えば、ネットワークは、ＴＣＰ／ＩＰプロトコル・スイートと一般に呼ばれるものを通信のために採用することがある、ローカルまたはワイド・エリア・ネットワークを含むことができる。ネットワークは、一般にインターネットと呼ばれる、相互接続コンピュータ・ネットワークの世界規模のシステムを構成するネットワークを含んでもよく、または種々のイントラネット・アーキテクチャを含むこともできる。また、ネットワーク接続環境におけるユーザの中には、ハードウェアおよび／またはソフトウェア・システムとの間の情報トラフィックを制御するために、一般に「ファイアウォール」（ときとしてパケット・フィルタまたは境界保護デバイスと呼ばれることもある）と呼ばれるものを採用することを好む者がいることも、関連技術における当業者には認められよう。

【0063】

図３〜図５は、纏めて、ビュー融合フォーマットで画像を表示する(view)ためにプロセッサと対話処理するクライアント・ユーザ・インターフェースの実施形態を示す。図示する実施形態では、クライアント・ユーザ・インターフェースは、２つの基本的なツールに跨がって実装され、これらのツールに基づいて、ビュー融合画像処理フレームワークが提示される。第１ソフトウェア・ツール（図３）は、利用可能な組織画像のリストを提示する。通例、組織画像は、組織切片が得られた組織ブロック毎に一緒に集合化される。このリストにおいてスライドを選択することができ、全域位置決め(global registration)またはスライドの表示(viewing)というようなアクションを起動する(trigger)ことができる。例えば、図４に示すように、１つの組織ブロックからの全てのスライド（即ち、画像毎にブロックＩｄは同じである）が選択され、「スライドを位置決めする」というメニュー選択肢が強調および／または選択される。別の例として、そして図５に示すように、組織ブロックから特定の位置決めされたスライドが選択され、「ビューア」(viewer)という異なるメニュー選択肢が強調および／または選択される。第２のソフトウェア・ツール（図７〜図１３）は、本開示において更に開示される表示機能(viewing functionality)を提供する。しかしながら、本開示において提供される機能は、他の注釈／ビューア(annotation/viewer)ＧＵＩツールおよび他の画像分析／管理ツールと統合することができる。例えば、Ｖｅｎｔａｎａ Ｉｍａｇｅ Ｖｉｅｗｅｒ、Ｖｅｎｔａｎａ ＶＩＲＴＵＯＳＯ Ｖｉｅｗｅｒ、およびＶｅｎｔａｎａ ＶＥＣＴＯＲビューアを含む、本開示の製品および方法を実装するために、任意のホール・スライド・ビューアを使用することができる。

【0064】

また、図７に示すように、例えば、ビューアＧＵＩは「ビューア」ウィンドウ３２６を含む。ビューア・ウィンドウ３２６は、表示された画像（ズーム・ボタン３４０およびパンニング・ボタン３５０のような）とのユーザの対話処理をし易くするために、メニュー・バーおよび多数のアイコンを有する。表示ツール(viewing tool)の中に含まれるのは、カーテン・ビュー・モード３６０およびフラッシュライド・モード３７０のような、ビュー融合可視化ボタンである。

【0065】

図７に示すように、カーテン・ビューでは、選択されたスライドが、互いに重なり合って現われ、複合画像のどの部分を、１つの画像から、他の画像と対比して、得るか決定するために、スライダ・エレメントをドラッグすることができる。即ち、スライダ・ボタンを動かして、副基礎画像を表出させ、「カーテン・ビュー」融合可視化の外観を与える。図示する実施形態では、画面の左側にあるディジタル画像は、Ｈ＆Ｅで染色された組織切片のスライドから得られ、右側にあるディジタル画像は、ＩＨＣアッセイ、例えば、二重ＩＨＣアッセイで染色された隣接する組織切片のスライドから得られたものである。

【0066】

図７〜図９は、スライダ・ボタンを左から右に動かした結果として、複合画像の外観を示す。見て分かるように、スライダ・ボタンをずらすと、各画像の複合画像に対する寄与の割合が変わる。ある実施形態では、局所位置決めは、異なるスライドからの画像データが、カーテンの左右の境界エリアにおいてできるだけ同様になるように、これらの画像の少なくとも１つを調節する。パンニング、ズーム、注釈の作成を含む、他のビューア機能も使用してもよい。

【0067】

図１０に示すように、カーテン・ビューは、隣接する組織切片の２つだけのディジタル画像の複合画像や、スライダ・ボタンの左右移動に限定されるのではない。図１０の例では、カーテン・ビューは５つのスライドに適用され、４つのスライダ・ボタンを含み、上から下、下から上、左から右、そして右から左の制御に対応する。図示するカーテン・ビューの実施形態の可視化では、中央の画像はＨ＆Ｅ染色スライドから得られ、隣接する組織切片のＩＨＣ染色スライドから得られたディジタル画像からの画像データは、それぞれのカーテン・ビュー（スライダ・ボタン）制御によって、可視化（または不可視化）される。

【0068】

融合表示(fusion viewing)は、カーテン・ビューの実施態様に限定されるのではなく、複合画像を可視化および／または操作することができる任意の様式を包含する。一例として、図１１は、標本の隣接する組織切片の２つ以上の位置決めされたディジタル画像の融合表示の他の実施形態、即ち、ＩＨＣデータがＨ＆Ｅデータ上に重ね合わされた「フラッシュライト」または「スポットライト」融合表示を示す。ここでは、ユーザが副画像の任意の領域を選択することができ、それが主（上側）画像の下に重ねられたように現われ、主画像の対応する画像データと置き換わる。ある実施態様では、主スライド内に融合された副スライドからの領域は、フラッシュライトまたはスポットライトが、置き換えられた領域上で輝いているかのような円盤形状となる。しかしながら、本開示は円盤形状に限定されるのではない。ユーザは、更に、クライアント・ユーザ・インターフェースを介してコンピュータと対話処理し、領域のサイズを増減すること、または領域の形状を修正することもできる。更に、図１１〜図１３に示すように、ユーザは、例えば、マウス・ポインタ（または音声制御のような任意の他の対話処理手段）を動かすことによって、領域の位置をずらすことができる。ここでもまた、領域間の整列を調節するために、領域間の境界において局所位置決めを使用することができる。

【0069】

図１１〜図１３の例では、ＩＨＣデータがＨ＆Ｅデータ上に重ね合わされているが、ユーザはどちらの画像を主（上側）にし、どちらの画像を副（積み重ねられる／重ね合わされる）(stacked/overlaid)にするか選択することもできる。つまり、例えば、Ｈ＆ＥデータをＩＨＣデータ上に重ね合わせることもできる。順序の選択（即ち、どの画像を主に指定し、副下地画像の層状体(layering)として指定するか）は、融合表示に使用される画像を選択する時点において、ユーザによって行うことができる。あるいは、または加えて、積み重ねの順序は、例えば、スタックを入れ替えることによって（例えば、上側の画像をスタックの後ろに移動するように命令することによって）、表示(viewing)の間に変更することができる。

【0070】

更に、図１１〜図１３の例は１つの融合（スポットライト）領域しか示さないが、ある実施形態では、複数の融合領域があることも可能である。これらの領域の各々は、１つの副スライドからの画像データを提示する(provide)ことができ、またはこれらの領域の一部または全部が、異なる副スライドからの画像データを提示することもできる。

【0071】

図１４は、本開示による画像分析ソフトウェア・プログラムの実施形態によって実行される方法の実施態様を示す流れ図である。この画像分析ソフトウェア・プログラムは、ユーザがビュー融合・モードにおいて２つ以上の画像を表示する(view)ようにプロセッサに命令することを可能にする。ある実施形態では、選択された画像が整列されていない場合、このプログラムは、選択したディジタル画像（例えば、組織切片をスキャンしたスライドのディジタル画像であり、ホール・スライド画像、部分的スライド画像、あるいはホールまたは部分的スライド画像の部分を含む）をユーザが位置決めすることを可能にすることもできる。

【0072】

図６に示すように、方法６００は開始ブロック６０２において始まる。ブロック６０４において、１組の画像データまたはディジタル画像を操作のために取得する（例えば、スキャンする、あるいはデータベースから選択する、またはソースから受け取る）。各組の画像データは、例えば、１人の患者の１組の隣接する組織切片からの組織切片に対応する画像データを含む。各画像は、他の画像と比較して、異なる染色がなされた組織切片、または異なる撮像モードを使用してディジタル化された組織切片、または双方から得ることができる。ある実施形態では、隣接する組織切片から準備されたスライド（例えば、顕微鏡ガラス・スライド）をスキャンすることによって、ディジタル画像を生成する。

【0073】

ブロック６０６において、ユーザは、選択した画像の中から、１つの画像を主（即ち、上側）画像として指定する。副画像が１つしかない場合、本手順はブロック６１２に進む。そうでない場合、ブロック６１０において、ユーザは副画像に順序を指定する。

【0074】

ブロック６１２に移り、選択した画像が既に整列されている場合、本プロセスはブロック６１６に進む。そうでない場合、ブロック６１４において、任意の画像位置決め方法を使用して、画像を整列する。ブロック６１６において、選択し位置決めした（整列した）画像を、共通格子上に表示する。画像は１つの画像内において重ね合わされ、モニタ上（または数個のモニタ上）に表示される。ブロック６１８において、クライアント・ユーザは、カーテン・ビュー、多重カーテン・ビュー、フラッシュライト・ビュー、多重フラッシュライト・ビューのような、ビュー融合可視化ツールを選択することによって、画像が複合画像（スライダ・ボタンまたはスポットライトのような対話処理機能(features)を含む）として表示される。ここで、複合画像の異なる領域が異なるディジタル画像からの画像データを表示するように、例えば、カーテン・ビュー、多重カーテン・ビュー、フラッシュライト・ビュー、および多重フラッシュライト・ビュー・モードに関して先に説明したように、主ディジタル画像および１つ以上の副ディジタル画像からの情報が組み合わせられる。

【0075】

ブロック６２０において、クライアント・ユーザは、ディスプレイと対話処理して、主ディジタル画像および１つ以上の副ディジタル画像が寄与する画像データの割合を増大または減少させるために、複合画像を操作することができる。例えば、カーテン・ビューでは、これは、１つのカーテンのサイズを増大させ、他方を犠牲にすることによって行うことができる。他の例として、フラッシュライト・ビューでは、これは、スポットライトのサイズを増大または減少させること、および／またはスポットライトの数を増大または減少させることの内１つ以上によって行うことができる。

【0076】

ある実施形態では、このブロック６２０の間に、２つのディジタル画像の界面において、複合画像を修正するために対話処理エレメント（スライダまたはスポットライトのような）が有効化された（例えば、動かされた）ときに、局所位置決めが行われる。局所位置決めは、２つの画像が同一ではないが隣接する組織切片から得られた場合に、その境界において発生するおそれがある整列の問題を低減するために使用される。

【0077】

次いで、クライアント・ユーザは、本手順を終了することを決定しても（ブロック６２２に進む）よく、または主画像および副画像の選択を修正することによって、複合画像を修正することを決定してもよい。これは、既存のスタックの順序を変えることによって（例えば、新たな画像を主として特定するため）、またはデータベースから新たな（位置決めされた）画像を選択しこれらをスタックに追加することによって、またはスタックにおいて既存の画像を部分的または全体的に、新たに選択した画像と置き換えることによって、行うことができる。この場合も、画像が既に整列されている場合、新たな複合画像を表示し、融合表示ツール(fusion viewing tool)のいずれかを使用して、この新たな複合画像を操作することができる。または、画像を最初に整列し、次いで、操作の準備ができた複合画像として表示する。

【0078】

以上、特定の実施形態について説明したが、更に他の実施形態も本開示によって包含されることは、当業者には理解されよう。尚、以上で説明した実施形態には、その広義の発明概念から逸脱することなく、変更も行えることは、当業者によって認められよう。例えば、本開示は、２つのスライドの融合に限定されるのではなく、例えば、複数のスライドを異なるＩＨＣおよび特殊染色アッセイによって染色し、表示のために一緒に融合することができる。他の例として、Ｈ＆Ｅ染色スライドを、ＩＨＣまたはその他の染色スライドと共に使用することができるが、それが必要という訳ではない。したがって、本開示および発明概念は、開示した特定の(particular)実施形態に限定されるのではなく、例えば、添付した特許請求の範囲において定められる発明概念の主旨および範囲内における修正(modification)を受け入れる(cover)ことは理解されよう。したがって、以上の種々の実施形態についての説明は、必ずしも除外を含意するのではない。例えば、「ある」(some)実施形態または「他の」(other)実施形態は、本発明の範囲内において、「ある」、「その他の」、「更に他の」(further)、および「特定の」(certain)実施形態の全部または一部を含むこともできる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】