知財求人 - 知財ポータルサイト「IP Force」
▶ ベンタナ メディカル システムズ， インコーポレイテッドの特許一覧
特許6378701ホール・スライド画像レジストレーションおよび画像間注釈デバイス、システム、ならびに方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6378701
(24)【登録日】2018年8月3日
(45)【発行日】2018年8月22日
(54)【発明の名称】ホール・スライド画像レジストレーションおよび画像間注釈デバイス、システム、ならびに方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20180813BHJP
A61B 5/00 20060101ALI20180813BHJP
G06T 1/00 20060101ALI20180813BHJP
【ＦＩ】
G06T7/00 300Z
A61B5/00 D
G06T1/00 290Z
【請求項の数】12
【全頁数】36
(21)【出願番号】特願2015-562106(P2015-562106)
(86)(22)【出願日】2014年3月12日
(65)【公表番号】特表2016-517559(P2016-517559A)
(43)【公表日】2016年6月16日
(86)【国際出願番号】EP2014054781
(87)【国際公開番号】WO2014140070
(87)【国際公開日】20140918
【審査請求日】2016年11月14日
(31)【優先権主張番号】61/781,008
(32)【優先日】2013年3月14日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】507179346
【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド
(74)【代理人】
【識別番号】100140109
【弁理士】
【氏名又は名称】小野 新次郎
(74)【代理人】
【識別番号】100075270
【弁理士】
【氏名又は名称】小林 泰
(74)【代理人】
【識別番号】100101373
【弁理士】
【氏名又は名称】竹内 茂雄
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100147991
【弁理士】
【氏名又は名称】鳥居 健一
(72)【発明者】
【氏名】チュッカ，スリニヴァス
(72)【発明者】
【氏名】サバタ，ビカシュ
(72)【発明者】
【氏名】サーカー，アニンディア
(72)【発明者】
【氏名】ユアン，クアン
【審査官】
佐田 宏史
(56)【参考文献】
【文献】
国際公開第２００８／１０８０５９（ＷＯ，Ａ１）
【文献】
米国特許出願公開第２０１２／００７６３９０（ＵＳ，Ａ１）
【文献】
特開２０００−３４２５５８（ＪＰ，Ａ）
【文献】
Chuntao Wei et al.，"A hierarchical approach for image registration using line features"，Proceedings Volume 7285, International Conference on Earth Observation Data Processing and Analysis，米国，SPIE，２００８年１２月２８日，Vol.7285，pp.1-7
【文献】
木谷 拓也、外２名，“暗視野画像を利用した肝病理組織標本画像からの線維と核位置の抽出”，ＦＩＴ２００８ 第７回情報科学技術フォーラム 講演論文集 第２分冊 査読付き論文・一般論文，日本，社団法人電子情報通信学会、社団法人情報処理学会，２００８年 ８月２０日，pp.455-456
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ １／００，７／００−７／９０，１１／００
Ａ６１Ｂ ５／００
Ｇ０１Ｎ ３３／４８
(57)【特許請求の範囲】
【請求項1】
コンピュータ化された画像レジストレーションのための方法であって、
ａ．１人の被験者の隣接組織切片の１組のデジタル画像から第１組織切片の第１デジタル画像を選択するステップと、
ｂ．前記１組から第２組織切片の第２デジタル画像を選択するステップと、
ｃ．前記第１デジタル画像と前記第２デジタル画像との間で組織構造を照合するステップであって、粗いレジストレーションモードを含み、前記第１デジタル画像および前記第２デジタル画像の整列の精度を高めるための精細レジストレーションモードをさらに含む、ステップと、
ｄ．前記第１デジタル画像上に描かれた注釈を前記第２デジタル画像に自動的にマッピングするステップと
を含み、
前記粗いレジストレーションモードは、
前記第１デジタル画像から第１グレー・レベル組織前景画像を生成し、前記第２デジタル画像から第２グレー・レベル組織前景画像を生成するステップと、
前記第１グレー・レベル組織前景画像から第１組織二進エッジ・マップを計算し、前記第２グレー・レベル組織前景画像から第２組織二進エッジ・マップを計算するステップと、
前記第１二進エッジ・マップおよび前記第２二進エッジ・マップを整列するために、グローバル変換パラメータを計算するステップと、
前記グローバル変換パラメータに基づいて、前記第１および第２デジタル画像の双方を含む共通格子に、前記第１デジタル画像および前記第２デジタル画像をマッピングするステップと
を含み、
前記精細レジストレーションモードは、
前記第１デジタル画像に注釈を付けるステップと、
前記共通格子上における前記注釈を、前記第２デジタル画像における対応する位置にマッピングするステップと、
前記二進組織エッジ・マップに基づいて、面取り距離照合を使用して、前記位置を更新するステップと
を含み、
前記組織エッジ二進マップの抜粋バージョンが使用され、前記方法が、更に、前記粗いレジストレーションモードに対して照合を改良する最少コスト・ウインドウを選択するステップを含み、前記最少コスト・ウインドウが前記注釈を囲むように選択される、コンピュータ化された画像レジストレーションのための方法。
ａ．１人の被験者の隣接組織切片の１組のデジタル画像から第１組織切片の第１デジタル画像を選択するステップと、
ｂ．前記１組から第２組織切片の第２デジタル画像を選択するステップと、
ｃ．前記第１デジタル画像と前記第２デジタル画像との間で組織構造を照合するステップであって、粗いレジストレーションモードを含み、前記第１デジタル画像および前記第２デジタル画像の整列の精度を高めるための精細レジストレーションモードをさらに含む、ステップと、
ｄ．前記第１デジタル画像上に描かれた注釈を前記第２デジタル画像に自動的にマッピングするステップと
を含み、
前記粗いレジストレーションモードは、
前記第１デジタル画像から第１グレー・レベル組織前景画像を生成し、前記第２デジタル画像から第２グレー・レベル組織前景画像を生成するステップと、
前記第１グレー・レベル組織前景画像から第１組織二進エッジ・マップを計算し、前記第２グレー・レベル組織前景画像から第２組織二進エッジ・マップを計算するステップと、
前記第１二進エッジ・マップおよび前記第２二進エッジ・マップを整列するために、グローバル変換パラメータを計算するステップと、
前記グローバル変換パラメータに基づいて、前記第１および第２デジタル画像の双方を含む共通格子に、前記第１デジタル画像および前記第２デジタル画像をマッピングするステップと
を含み、
前記精細レジストレーションモードは、
前記第１デジタル画像に注釈を付けるステップと、
前記共通格子上における前記注釈を、前記第２デジタル画像における対応する位置にマッピングするステップと、
前記二進組織エッジ・マップに基づいて、面取り距離照合を使用して、前記位置を更新するステップと
を含み、
前記組織エッジ二進マップの抜粋バージョンが使用され、前記方法が、更に、前記粗いレジストレーションモードに対して照合を改良する最少コスト・ウインドウを選択するステップを含み、前記最少コスト・ウインドウが前記注釈を囲むように選択される、コンピュータ化された画像レジストレーションのための方法。
【請求項2】
請求項１記載のコンピュータ化された画像レジストレーションのための方法において、前記第１デジタル画像が、染料および撮像モードを使用して得られた画像から導き出され、前記第２デジタル画像が、前記第１デジタル画像と比較して、異なる染料、異なる撮像モード、または双方を使用して得られた画像から導き出される、コンピュータ化された画像レジストレーションのための方法。
【請求項3】
請求項２記載のコンピュータ化された画像レジストレーションのための方法において、前記染料が、ヘマトキシリンおよびエオシン染料（「ＨＥ」染料）、免疫組織化学染料（「ＩＨＣ」染料）、または蛍光染料から選択される、コンピュータ化された画像レジストレーションのための方法。
【請求項4】
請求項２記載のコンピュータ化された画像レジストレーションのための方法において、前記撮像モードが、明視野顕微鏡検査および蛍光顕微鏡検査から選択される、コンピュータ化された画像レジストレーションのための方法。
【請求項5】
請求項１記載のコンピュータ化された画像レジストレーションのための方法において、前記グローバル変換パラメータを計算するステップが、モーメントベースのマッピング方法を使用して、前記第１二進エッジ・マップと前記第２二進エッジ・マップとの間にアフィン・マッピングを生成するステップを含む、コンピュータ化された画像レジストレーションのための方法。
【請求項6】
画像レジストレーションシステムであって、
ｅ．プロセッサと、
ｆ．前記プロセッサによる実行のための命令を収容するメモリであって、前記命令が実行されると、組織構造の照合に基づいて隣接組織切片の１つ以上の画像を整列して１組の整列画像を得ることと、ユーザによって前記整列された画像の１つに付けられた注釈を、前記整列された画像の少なくとも他の１つに複製することの内１つ以上が行われ、画像を整列するための前記命令が、粗いレジストレーションプロセスおよび精細レジストレーションプロセスを含むレジストレーションモジュールを含み、前記粗いレジストレーションプロセスが、デジタル画像からソフト加重前景画像を計算し、前記前景画像から二進組織エッジ・マップを抽出し、前記組織エッジ・マップに基づいてグローバル変換パラメータを計算し、前記グローバル変換パラメータに基づいて、前記組織エッジ・マップを共通格子にマッピングする命令を含み、前記精細レジストレーションプロセスが、第１整列画像上の注釈を囲む第１領域を識別し、第２整列画像において第２領域を識別し、前記第２領域が前記第１領域よりも大きく、前記第１領域と共に前記共通格子上に一緒に位置し、距離変換および最少コスト関数計算に基づいて、繰り返しプロセスを使用して、前記第２領域における前記第１領域の位置を最適化する命令を含む、メモリと、
ｇ．前記命令を実行するように前記プロセッサを動作させるクライアント・ユーザ・インターフェースと、
ｈ．前記クライアント・ユーザ・インターフェース、前記第１画像および前記第２画像、結果、ならびにその組み合わせを表示することができるモニタと、
を含む、画像レジストレーションシステム。
ｅ．プロセッサと、
ｆ．前記プロセッサによる実行のための命令を収容するメモリであって、前記命令が実行されると、組織構造の照合に基づいて隣接組織切片の１つ以上の画像を整列して１組の整列画像を得ることと、ユーザによって前記整列された画像の１つに付けられた注釈を、前記整列された画像の少なくとも他の１つに複製することの内１つ以上が行われ、画像を整列するための前記命令が、粗いレジストレーションプロセスおよび精細レジストレーションプロセスを含むレジストレーションモジュールを含み、前記粗いレジストレーションプロセスが、デジタル画像からソフト加重前景画像を計算し、前記前景画像から二進組織エッジ・マップを抽出し、前記組織エッジ・マップに基づいてグローバル変換パラメータを計算し、前記グローバル変換パラメータに基づいて、前記組織エッジ・マップを共通格子にマッピングする命令を含み、前記精細レジストレーションプロセスが、第１整列画像上の注釈を囲む第１領域を識別し、第２整列画像において第２領域を識別し、前記第２領域が前記第１領域よりも大きく、前記第１領域と共に前記共通格子上に一緒に位置し、距離変換および最少コスト関数計算に基づいて、繰り返しプロセスを使用して、前記第２領域における前記第１領域の位置を最適化する命令を含む、メモリと、
ｇ．前記命令を実行するように前記プロセッサを動作させるクライアント・ユーザ・インターフェースと、
ｈ．前記クライアント・ユーザ・インターフェース、前記第１画像および前記第２画像、結果、ならびにその組み合わせを表示することができるモニタと、
を含む、画像レジストレーションシステム。
【請求項7】
請求項６記載の画像レジストレーションシステムであって、前記プロセッサと、前記メモリと、前記クライアント・ユーザ・インターフェースと、前記モニタとを含むコンピュータの少なくとも１つを含むワークステージョン上に実装される、画像レジストレーションシステム。
【請求項8】
請求項６記載の画像レジストレーションシステムであって、コンピュータ・ネットワーク上に実装される、画像レジストレーションシステム。
【請求項9】
請求項８記載の画像レジストレーションシステムにおいて、前記コンピュータ・ネットワークが、１つ以上のクライアント・コンピュータと、サーバと、ネットワーク・アクセス可能なデータベースとを含み、全てがネットワークを介して接続され、前記１つ以上のクライアント・コンピュータが、前記プロセッサと、前記モニタと、前記クライアント・ユーザ・インターフェースとを含み、前記ネットワーク・アクセス可能なデータベースが、少なくとも１組の隣接組織切片の画像を格納し、前記メモリが、前記サーバまたは１つ以上のクライアント・コンピュータ、または双方に存在する、画像レジストレーションシステム。
【請求項10】
請求項６から９のいずれか１項に記載の画像レジストレーションシステムにおいて、前記１つ以上の画像の各々が、異なる染料、異なる撮像モード、または双方を使用して準備される、画像レジストレーションシステム。
【請求項11】
画像を整列し、１つの整列画像から他の整列画像に注釈をマッピングするためのコンピュータ読み取り可能プログラム・コードが埋め込まれたコンピュータ読み取り可能記憶媒体であって、前記コンピュータ読み取り可能プログラム・コードが、１組の隣接組織切片のデジタル画像からの第１デジタル画像と前記１組の隣接組織切片のデジタル画像からの第２デジタル画像との間において組織構造を照合するように構成され、前記第１デジタル画像と前記第２デジタル画像との間の照合は、粗いレジストレーションプロセスおよび精細レジストレーションプロセスを含み、前記コンピュータ読み取り可能プログラム・コードが、前記照合した組織構造に基づいて、前記第１デジタル画像から前記第２デジタル画像に注釈を転記するように構成され、組織構造を照合することが、前記第１および第２デジタル画像の各々についてソフト加重前景画像を計算するステップと、前記第１および第２前景デジタル画像の各々について二進組織エッジ・マップを抽出するステップと、前記第１および第２組織エッジ・マップに基づいてグローバル変換パラメータを計算するステップと、前記グローバル変換パラメータに基づいて前記第１画像および第２画像を共通格子にマッピングするステップとを含み、前記共通格子が中心を有し、前記第１前景画像および前記第２前景画像が、各々、中心を有し、前記共通格子の中心が、前記第１前景画像の中心および前記第２前景画像の中心と一致するように、前記第１および第２前景画像が、前記共通格子上に置かれ、注釈を転記することが、前記第１デジタル画像上の注釈を、前記共通格子によって決定される、前記第２画像上の対応する位置にマッピングするステップを含み、前記注釈を転記することが、更に、前記第１画像上の前記注釈の周囲に第１ウインドウを定めるステップを含む、前記精細レジストレーションプロセスに基づいて、前記第２画像上の前記注釈の位置を調節するステップと、前記第２画像上の前記注釈の周囲に第２ウインドウを定めるステップであって、前記第２ウインドウが前記第１ウインドウよりも大きい、ステップと、前記第２ウインドウ内に、前記第１ウインドウと同じサイズを有する第３ウインドウを繰り返しシフトするステップと、前記第３ウインドウの各位置について、距離変換およびコスト関数計算に基づいて、前記第３ウインドウに対して最適位置を計算するステップと、前記第３ウインドウの最適位置に基づいて、前記第２画像における前記注釈の位置を調節するステップとを含む、コンピュータ読み取り可能記憶媒体。
【請求項12】
請求項１１記載のコンピュータ読み取り可能記憶媒体において、前記１組における各画像が、異なる染料、異なる撮像モード、または双方を使用して得られる、コンピュータ読み取り可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、組織サンプルのデジタル化画像の操作および／または分析デバイス、システム、ならびに方法に関する。また、本明細書は、近隣組織切片サンプルの１組のデジタル化画像の画像レジストレーション（位置合わせ、registration）デバイス、システム、および方法に関する。そして、本明細書は、隣接組織切片サンプルの１組の画像における１つの画像から、隣接組織切片サンプルの１組の画像における他の画像に注釈を転記するデバイス、システム、および方法にも関する。
【背景技術】
【0002】
デジタル病理学とは、デジタル環境における病理情報の管理および解釈を指す。組織切片のスライドを撮像するために、走査デバイスが使用される。組織切片は、デジタル・スライド、例えば、ホール・スライド画像(whole slide image)が生成されるように、染色することができる。デジタル病理学ソフトウェアは、デジタル・スライドをコンピュータ・メモリ・デバイスに格納し、コンピュータ・モニタ上で確認し、分析して病理学情報を得ることを可能にする。
【0003】
デジタル病理学が、とりわけ、紙面および電子的記録、臨床背景情報、以前の事例、画像、および結果というような病理学情報の種々の側面の統合を可能にできることが期待される。また、デジタル病理学が、可能な効率の中でもとりわけ、作業負荷能力増大、正しい病理学者の適時抜擢、事例および診断の素早い引き出し、およびワークフローの改善というような、効率向上を可能にできることも期待される。しかしながら、デジタル病理学の幅広い採用およびその種々の便益の裏付け(promise)には、撮像性能、スケーラビリティ、および管理というような、多数の障害がある。
【0004】
以下にある種の新規な特徴を示し説明し、その一部または全部は特許請求の範囲において指摘される場合があるが、本開示のデバイス、システム、および方法は、明示される詳細に限定されることは意図していない。何故なら、例示する実施形態の形式および詳細、ならびにそれらの動作における種々の省略、修正、交換および変更が、本開示の主旨から全く逸脱することなく行えることを、当業者は認めるからである。本明細書において記載する特徴は、明確に「肝要」または「必須」であると述べられない限り、肝要でも必須でもないものとする。
【発明の概要】
【発明が解決しようとする課題】
【0005】
組織サンプルのデジタル化画像の操作および／または分析デバイス、システム、ならびに方法を提供する。
【課題を解決するための手段】
【0006】
本開示は、組織サンプルのデジタル化画像の操作および／または分析のためのデバイス、システム、および方法を提供する。例えば、本開示は、隣接組織切片に対応するデジタル・スライドのコンピュータ化された画像レジストレーション、および／またはデジタル・スライドの内少なくとも１つからデジタル・スライドの内少なくとも１つの他のものへの注釈転記のためのデバイス、システム、および方法を提供する。
【0007】
ある実施形態では、本デバイスは、１組の隣接する組織切片のデジタル画像の一部である画像を整列し、および／または整列画像間で注釈をマッピングするためのコンピュータ・プログラム製品を含む。１組における各画像は、異なる染料（また、標識、以後「染料（stain）」）、異なる撮像モード、または双方を使用して得ることができる。ある実施形態では、コンピュータ・プログラム製品は、コンピュータ読み取り可能プログラム・コードが埋め込まれた有形コンピュータ読み取り可能記憶媒体を含み、コンピュータ読み取り可能プログラム・コードが、画像レジストレーションプロセス（即ち、例えば、異なる複数組のデータを１つの座標系に変換することを目的とするプロセス）を使用し、組織構造の照合に基づいて、１組において選択されたデジタル画像を整列させて１組の整列デジタル画像を得るように構成され、更に、コンピュータ読み取り可能プログラム・コードは、１組の整列デジタル画像における少なくとも１つのデジタル画像から、１組の整列画像におけるデジタル画像の少なくとも他の１つに注釈を転記するように構成することもできる。他の実施形態では、コンピュータ・プログラム製品は、コンピュータ読み取り可能プログラム・コードが埋め込まれた有形コンピュータ読み取り可能記憶媒体を含み、コンピュータ読み取り可能プログラム・コードは、組織構造の照合に基づいて、画像レジストレーションプロセスを使用して、１組の隣接組織切片のデジタル画像からの第１デジタル画像と、この１組からの第２デジタル画像とを整列して整列画像対を得るように構成され、コンピュータ読み取り可能プログラム・コードは、整列対における第１または第２デジタル画像の一方から、整列対における第１または第２デジタル画像の他方に注釈を転記するように構成することもできる。
【0008】
更に他の実施形態では、組織構造を照合する動作は、１組の隣接組織切片のデジタル画像において選択された画像の各々について、ソフト加重前景画像(soft weighted foreground image)を計算する動作（例えば、前記第１および第２デジタル画像の各々についてソフト加重前景画像を計算する）と、得られた前景デジタル画像の各々について二進組織エッジ・マップを抽出する動作（例えば、第１および第２前景デジタル画像の各々について）と、組織エッジ・マップに基づいてグローバル変換パラメータを計算する動作（例えば、第１および第２組織エッジ・マップに基づいて）とを伴う。 更に他の実施形態では、組織構造を照合する動作は、更に、グローバル変換パラメータに基づいて、元々選択された画像（例えば、第１画像および第２画像）の少なくとも一部を共通格子にマッピングする動作を伴う。更に他の実施形態では、共通格子の中心が、前景画像の中心と一致する。
【0009】
他の実施形態では、注釈を転記する動作は、整列画像の少なくとも１つ（例えば、第１画像またはソース画像）から、整列画像の少なくとも他の１つ（例えば、第２画像またはターゲット画像）における対応する位置に、共通格子（ある実施形態では、ターゲット画像のような、特定の画像の格子でもよい）に基づいて、注釈をマッピングする動作を含む。更に他の実施形態では、注釈を転記する動作は、更に、精細レジストレーションプロセスに基づいて、転記された注釈の位置の精度を高める(refine)動作を含む。更に他の実施形態では、精細レジストレーションプロセスは、ソース画像（例えば、１対の整列画像の内第１画像）における元の注釈の周囲にウインドウを識別する動作と、ターゲット画像（例えば、１対の整列画像の内第２画像）における対応する位置に、第２のそれよりも大きなウインドウを識別する動作と、第２ウインドウ内において第１ウインドウに対応する第３ウインドウを繰り返しシフトする動作と、第３ウインドウに最適な位置を識別する動作とを含む。更に他の実施形態では、最適な位置を識別する動作は、距離変換およびコスト関数計算に基づく。
【0010】
ある実施形態では、本システムは、プロセッサと、このプロセッサによる実行のための命令を収容するメモリであって、命令がプロセッサによって実行されると、組織構造に基づいて第１画像および第２画像を整列し、第１画像および第２画像が１組の隣接組織切片の画像の内の一部であり、１組の画像の各々は、異なる染料、異なる撮像モード、または双方を使用して準備することができ、および／または少なくとも第１画像または第２画像の一方における注釈（例えば、既存の注釈および／またはユーザが印した注釈）を、少なくとも第１画像および第２画像の他方に複製するという結果が得られる、メモリと、命令を実行するようにプロセッサをトリガーするクライアント・ユーザ・インターフェースと、クライアント・ユーザ・インターフェース、画像、結果、ならびにその組み合わせを表示することができるモニタとを含む。ある実施形態では、本システムはコンピュータ・ワークステーション上に実装される。ある実施形態では、本システムは、コンピュータ・ネットワークを使用して実装される。
【0011】
ある実施形態では、本方法は、１組の隣接組織切片のデジタル画像から画像を選択するステップと、組織照合に基づいてレジストレーションプロセスを使用して、選択された画像を整列するステップを伴う画像レジストレーションプロセスを含む。各デジタル画像は、１組における他のデジタル画像と比較して、異なる染料、異なる撮像モード、または双方を使用して得ることができる。更に他の実施形態では、画像レジストレーションプロセスは、１人の被験者の１組の隣接組織切片のデジタル画像から第１組織切片の第１デジタル画像を選択するステップと、１組から第２組織切片の第２デジタル画像を選択するステップと、第１デジタル画像と第２デジタル画像との間における組織構造の照合に基づいて、レジストレーションプロセスを実行するプロセスとを含む。ある実施形態では、レジストレーションプロセスは粗い（coarse）レジストレーションモードを含む。ある実施形態では、レジストレーションプロセスは精細（fine）レジストレーションモードも含む。
【0012】
ある実施形態では、粗いレジストレーションモードは、第１デジタル画像から第１グレー・レベル組織前景画像を生成するステップと、第２デジタル画像から第２グレー・レベル組織前景画像を生成するステップと、第１グレー・レベル組織前景画像から第１組織二進エッジ・マップを計算するステップと、第２グレー・レベル組織前景画像から第２組織二進エッジ・マップを生成するステップと、第１二進組織エッジ・マップおよび第２二進組織エッジ・マップを整列するために、グローバル変換パラメータを計算するステップと、グローバル変換パラメータに基づいて、第１デジタル画像および第２デジタル画像を共通格子にマッピングするステップとを伴う。更に他の実施形態では、グローバル変換パラメータを計算するステップが、モーメントベースのマッピング方法を使用して、第１組織二進エッジ・マップと第２組織二進エッジ・マップとの間にアフィン・マッピングを生成するステップを含む。ある実施形態では、精細レジストレーションプロセスは、第１デジタル画像に注釈を付けるステップと、共通格子上における注釈を、第２デジタル画像における対応する位置にマッピングするステップと、二進組織エッジ・マップに基づいて、面取り距離マッピング(Chamfer distance-mapping)を使用して、第２画像上における注釈の位置を更新するステップとを含む。
【0013】
ある実施形態では、本方法は、１組の隣接組織切片のデジタル画像からの第１デジタル画像から、この１組における第２デジタル画像に注釈をマッピングする方法である。ある実施形態では、この方法は、整列された１対のデジタル画像を選択するステップと、選択された画像のいずれにも以前に注釈が付けられていない場合この対におけるデジタル画像の一方に注釈を付ける（または、任意に、以前に注釈が付けられていた場合にも画像に注釈を付ける）ステップと、この対の他方のデジタル画像に注釈を転記するステップとを伴う。ある実施形態では、マッピング方法は、１組の隣接組織切片のデジタル画像から第１画像を選択するステップと、この１組から第２画像を選択するステップと、例えば、本明細書において更に説明するように、組織構造の照合に基づいて、粗いレジストレーションプロセスを使用して、共通格子上において第１画像を第２画像と整列する結果となる命令をコンピュータ・プロセッサに実行させるステップと、第１画像に未だ注釈が付けられていない場合これに注釈を付ける（または、任意に、既に注釈が付けられている場合も、第１画像に注釈を付ける）ステップと、注釈を第２画像に転記するようにコンピュータ・プロセッサに命令するステップとを伴う。ある実施形態では、注釈を転記するステップは自動的に行われ、レジストレーションさせるべき１対における画像に既に注釈が付いている場合には、初期レジストレーションプロセス（例えば、粗いレジストレーションプロセス）と実質的に同時に行うことができ、あるいは第１画像に注釈を付けるのと実質的に同時に行うこともできる。ある実施形態では、注釈を転記するステップは、第１および第２画像が整列された後に行われる。ある実施形態では、注釈を転記するステップは、更に、精細レジストレーションプロセスに基づいて、例えば、本明細書において更に説明するように、第２画像上において注釈の位置を調節するステップも含む。本発明のある実施形態では、第１画像上にある注釈（例えば、コンピュータに関連付けられたメモリ内における画像に関連付けられた図またはメモ）が第２画像に自動的にマッピングされる。本発明のある実施形態では、ユーザが、手作業で、コンピュータ・インターフェースまたはプログラム（例えば、画像ビューア・ソフトウェア・アプリケーション）によって、コンピュータ・プロセッサによって転記された注釈の位置、サイズ、および形状の内少なくとも１つを調節する。
【0014】
本開示はある種の具体的な実施形態を提示するが、本発明はこれらの実施形態に限定されるのではない。本明細書における説明から、説明する実施形態には変更が可能であること、したがって、明細書は、説明する実施形態よりも範囲が広いことを、当業者は認めよう。したがって、全ての例は非限定的である。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
１つ以上の実施形態の詳細な説明をここに示す。しかしながら、本開示によるデバイス、システム、および方法は、種々の形態で具体化できることは理解されるはずである。したがって、本明細書において開示される具体的な詳細は、限定と解釈してはならず、逆に、特許請求の範囲に対する代表的基準として、そして当業者に本デバイス、システム、および方法を任意の適した様態で採用することを教示するための代表的基準として解釈することとする。
【0017】
別段定められなければ、本明細書において使用される全ての技術的用語および科学的用語は、本開示が属する技術分野における当業者によって共通に理解されるのと同じ意味を有するものとする。本明細書において１つの用語に複数の定義がある場合、別段述べられなければ、この章におけるものが優先する。
【0018】
「例えば」、「のような」、「含む」等の句が本明細書において使用される場合はいつも、明示的に別段述べられなければ、「そして限定ではなく」が続くと理解されるものとする。同様に、「例」、「例示的な」等も非限定的であると理解されるものとする。
【0019】
「実質的に」という用語は、意図する目的に否定的な影響を与えない、記述子(descriptor)からの逸脱を考慮する。記述的用語は、「実質的に」という単語が明示的に指定されなくても、「実質的に」という用語によって修飾されると理解されるものとする。
【0020】
「約」という用語は、実験的誤差によるばらつきを考慮することを意味する。全ての測定値および数値は、その測定値または数値が以上の単語によって明示的に修飾されなくても、以上の単語によって修飾されることが暗黙に認められるものとする。
【0021】
「備える」(comprising)および「含む」(including)、ならびに「有する」(having)および「伴う」(involving)等の用語は、相互交換可能に使用され、同じ意味を有するものとする。同様に、「備える」(comprises)、「含む」(includes)、「有する」(has)、および「伴う」(involves)等も相互交換可能に使用され、同じ意味を有するものとする。具体的には、これらの用語の各々は、「備える」(comprising)の一般的な米国特許法の定義と一貫して定められ、したがって「少なくとも以下のこと」を意味する開いた用語であると解釈され、更に追加の特徴、制限、態様等を除外しないように解釈されるものとする。つまり、例えば、「コンポーネントａ、ｂ、およびｃを有するデバイス」とは、そのデバイスが少なくともコンポーネントａ、ｂ、およびｃを含むことを意味する。同様に、「ステップａ、ｂ、およびｃを伴う方法」という句は、この方法が少なくともステップａ、ｂ、およびｃを含むことを意味する。
【0022】
「ａ」または「ａｎ」という用語が使用される場合はいつも、別段明示的に述べられなければ、またはこのような解釈が文脈において無意味でなければ、「１つ以上」と理解されるものとする。
【0023】
「整列する」(align)および「レジストレーションする」(register)という単語、ならびにそれらの形態の全て（例えば、「整列している」(aligning)および「レジストレーションしている」(registering)）は、選択的に使用され、「画像」という用語に関して使用されるときは、同じことを意味するものとする。例えば、「整列された画像」および「レジストレーションされた画像」という句は、画像レジストレーションプロセス（例えば、粗いレジストレーションおよび／または精細レジストレーションプロセス）を受けたデジタル画像を記述するために、選択的に使用される。
【0024】
本開示は、デジタル病理学に関し、デジタル組織画像分析のためのコンピュータ実装デバイス、システム、および方法を提供する。ある実施形態では、本デバイス、システム、および方法は、単体のワークステーション（インターネットへのアクセスのためにモデムを含んでもよい)上に実現される。ある実施形態では、本デバイス、システム、および方法は、コンピュータ・ネットワークを跨いで実現されてもよい。
【0025】
単体のワークステーションにおいて実現されてもまたはネットワークを跨いで実現されてもそれには関係なく、本開示によるシステムは、以下のハードウェア・コンポーネントの内少なくとも一部を含むことができる。モニタのような画像および／または結果を表示する出力デバイスと、ソフトウェア・プログラムと対話処理するためのキーボードおよびマウスまたはトラック・ボールのような１つ以上の入力デバイスと、更にはソフトウェア・プログラムを実行するためのプロセッサとを含むコンピュータ。また、本システムは、複数組のデジタル画像ファイルを格納する記憶デバイスも含むことができる。各組は、１人の被験者の同じ組織の隣接組織切片の１つ以上のホール・スライド画像を含む。１組における各デジタル画像ファイルは、その１組における他のデジタル画像ファイルと比較して、異なる撮像モード（例えば、明視野顕微鏡および蛍光顕微鏡）を使用するガラス・スライド、または異なる染料（例えば、ＨＥ、ＩＨＣ染料）を使用して組織切片が準備されたガラス・スライド、あるいは双方から生成することができる。記憶デバイスは、コンピュータ自体の一部であることが可能であり、またはネットワーク・アクセス可能な記憶デバイスのような、別のデバイスであることも可能である。また、本システムは、ガラス・スライドからデジタル画像ファイルを生成するスキャナも含むことができる。本開示の範囲内におけるある種の実施形態では、生体試料（組織資料であってもなくてもよい）が、基板上に置かれる。基板は、ガラスまたは顕微鏡スライドであってもなくてもよい。本開示の範囲内におけるある種の実施形態では、複数の生体試料（例えば、組織試料）が撮像され比較されるが、被験者の同じ切片またはブロックから由来するのではなくてもよい。本開示の範囲内におけるある種の実施形態では、デジタル画像が、本開示の範囲内における方法にしたがってレジストレーションされ使用のために利用可能となるが、これらのデジタル画像は、１人の被験者からの隣接しない組織切片の画像であってもよい。本開示の範囲内におけるある種の実施形態では、デジタル画像が、本開示の範囲内における方法にしたがってレジストレーションされ使用のために利用可能となるが、これらのデジタル画像は、異なる被験者からの生体試料の画像であってもよい。
【0026】
単体のワークステーションにおいて実現されてもまたはネットワークを跨いで実現されてもそれには関係なく、本システムは、以下のソフトウェア・コンポーネントも含むことができる。レジストレーションモジュール（粗いレジストレーションモジュールおよび／または精細レジストレーションモジュールを含むことができる）、注釈モジュール、または双方を含む画像分析プログラム。レジストレーションモジュールは、プロセッサによって実行されると、その結果、隣接する組織切片の１組のデジタル画像において少なくとも２つのデジタル画像を整列させることにより、１組の整列デジタル画像を作成する。注釈モジュールは、プロセッサによって実行されると、その結果、隣接する組織切片の１組のデジタル画像におけるデジタル画像の内少なくとも１つについての注釈を、その１組におけるデジタル画像の内少なくとも他の１つにマッピングする。ある実施形態では、注釈モジュールは、プロセッサによって実行されると、その結果、デジタル画像の内少なくとも１つに注釈を付け、および／またはデジタル画像の内少なくとも１つについての注釈を、デジタル画像の内少なくとも他の１つにマッピングする。ある実施形態では、レジストレーションモジュールは注釈モジュールと実質的に同時に実行される。例えば、１つのスライドから他のスライドに注釈をマッピングする要求は、プロセッサに、これらの画像の少なくとも１つからこれらの画像の少なくとも他の１つに、注釈の整列およびマッピングの双方を行わせる。ある実施形態では、注釈は、ソース画像上に予め存在することができる。ある実施形態では、注釈は、画像分析プログラムにおいて、例えば、ある画像をソース画像として選択し、画像分析プログラムを使用してその画像に注釈を付けることによって、ユーザが生成する。ある実施形態では、レジストレーションモジュールは、注釈モジュールの前に実行される。例えば、注釈モジュールは、プロセッサによって実行されると、その結果、１組の整列画像の一部である少なくとも１つのデジタル画像から、１組の整列画像の一部である少なくとも１つの他のデジタル画像に注釈をマッピングする。また、本システムは、画像確認モジュールも含む。画像確認モジュールは、画像分析プログラムの一部であってもよく、ユーザが１つ以上のデジタル画像ファイルにアクセスし、モニタ（１つまたは複数）上でファイルを見て、ある実施形態では、クライアント・ユーザ・インターフェースを使用してデジタル・スライドを操作することを可能にする。本発明の実施形態例では、ユーザが手作業で注釈（例えば、注釈の位置、大きさ、形状）を編集および／または調節することもできる。注釈は、コンピュータ・インターフェースまたはコンピュータ入力デバイスを介して、注釈モジュールによって生成されたものである。
【0027】
本開示によるコンピュータ実装方法は、１人の被験者の同じ組織ブロック、セクション、またはサンプルからの少なくとも２つのデジタル画像を、組織構造に基づいて整列し、１組の整列デジタル画像を得るコンピュータ実装レジストレーションプロセスであって、１組における各デジタル画像が、１組における他のデジタル画像と比較して、異なる染料、異なる撮像モード、または双方を使用して得られた画像から導き出すことができる、プロセスと、１組の整列デジタル画像におけるデジタル画像の内少なくとも１つについての注釈を、１組の整列デジタル画像におけるデジタル画像の内少なくとも他の１つにマッピングするコンピュータ実装マッピング・プロセスとを含む。ある実施形態では、画像レジストレーションプロセスおよび注釈プロセスは、実質的に同一の広がりをもって行われる。例えば、注釈を１つのデジタル・スライドから他のものにマッピングする命令は、結果的に、これらのスライドを整列させ、スライドに注釈を付けるという双方を実行する。例えば、注釈命令の結果、最初に画像を整列させ、次いで注釈を一方の画像から他方の画像に転記する。ある実施形態では、画像レジストレーションプロセスが最初に行われ、注釈プロセスは、最初に少なくとも１対の整列画像を選択し、次いで少なくとも１対の整列画像における画像の少なくとも１つに注釈を付けることによって開始される。ある実施形態では、レジストレーションプロセスは粗いレジストレーションプロセスを含む。ある実施形態では、レジストレーションプロセスは、粗いレジストレーションプロセスおよび精細レジストレーションプロセスを含む。更に他の実施形態では、精細レジストレーションモジュールが使用される前、および／または粗いレジストレーションプロセスが使用される前に、ソース画像の注釈付けが行われる。このように、例えば、ある実施形態では、ユーザがソース画像およびターゲット画像双方の同時確認を望む場合、具体的な注釈を全く付ける必要なく、粗いレジストレーションプロセスを呼び出して、双方の画像の総合的なレジストレーションを実行することができる。ある実施形態では、ユーザが印したソース画像の注釈をターゲット画像に戻すことを望む場合、例えば、ユーザ注釈に近い領域において、精細レジストレーションプロセスを呼び出して、粗いレジストレーションだけに頼った場合と比較して、ソース画像およびターゲット画像の整列を改良することができる。
【0028】
ある実施形態では、粗いレジストレーションプロセスが、整列のためにデジタル画像を選択し、選択したデジタル画像の各々からグレー・スケール画像を生成し、得られたグレー・スケール画像間で組織構造を照合する動作を伴うこともできる。更に他の実施形態では、グレー・スケール画像を生成する動作が、染色された組織切片のホール・スライド画像から、ソフト加重(soft-weighted)前景画像を生成する動作を伴う。他の実施形態では、組織構造を照合する動作は、組織エッジ二進マップを、得られたグレー・スケール画像の各々から抽出し、この組織エッジ二進マップを整列するためにグローバル変換パラメータを計算する動作を伴う。ある実施形態では、グローバル変換パラメータは、モーメント・ベースのマッピング方法(moments-based mapping method)を使用して、第１二進組織エッジ・マップと第２二進組織エッジ・マップとの間にアフィン・マッピングを生成するために計算される。更に他の実施形態では、粗いレジストレーションプロセスは、グローバル変換パラメータに基づいて、選択されたデジタル画像を共通格子にマッピングする動作を含み、この格子は、選択されたデジタル画像を覆う(encompass)ことができる。ある実施形態では、精細レジストレーションプロセスは、１組の整列デジタル画像における第１デジタル画像の第１副領域、例えば、注釈を含む副領域を識別する動作と、１組の整列デジタル画像における第２デジタル画像上で第２副領域を識別する動作であって、第２副領域が第１副領域よりも大きく、第１副領域が共通格子上において第２副領域の実質的に内部に位置する、動作と、第２副領域において第１副領域に最適化された位置を計算する動作とを伴う。
【0029】
ある実施形態では、マッピング・プロセスは、粗いレジストレーションプロセスの後に１組の整列画像における第１デジタル画像に注釈を付ける動作と、この注釈を、１組の整列デジタル画像における第２デジタル画像にマッピングする動作とを伴うこともできる。更に他の実施形態では、精細レジストレーションプロセスの結果に基づいて、注釈の位置が正しく決められる(refine)。
【0030】
これより図面を参照すると、同様の参照番号は、全体を通じて同様の部分を指す。図１は、医療用撮像ワークステーション・システム１０の実施形態を表す斜視図であり、本開示によるデバイス、システム、および方法を実現することができる。図示のように、医療用撮像ワークステーション・システム１０は、プロセッサ（「ＣＰＵ」）（図示せず）、記憶デバイス（図示せず）、グラフィクス・プロセッサ・ユニット（「ＧＰＵ」）（図示せず）、および任意のモデム（図示せず）のようなハードウェア・コンポーネント３０のための筐体、図示する例ではモニタ４０である第１出力デバイス、図示する例ではキーボード５０である第１ユーザ入力デバイス、ならびに図示する例では、トラック・ボールまたはマウス６０のような、ディスプレイと対話処理するためのポインティング・デバイスである、第２ユーザ入力デバイスを有するコンピュータ２０を含む。当技術分野では周知のように、コンピュータ２０、ハードウェア・コンポーネント３０、モニタ４０、およびユーザ入力デバイス５０、６０は、別々のコンポーネントとして図示されるが、これらは、全てラップトップ・コンピュータの形態に統合してもよいというように、もっと少ない部品に統合してもよい。また、医療用撮像ワークステーション・システム１０は、コンピュータ実装医療用撮像システムと関連付けられることが知られている他のデバイスの中でもとりわけ、図示の例ではスライド・スキャナ７０である第３入力デバイス、図示の例ではプリンタ８０である第２出力デバイス、バックアップ電源９０、および外部記憶デバイス（図示せず）というような、追加の周辺機器も含むことができる。ある実施形態では、医療用撮像ワークステーション・システム１０は、多数のスクリーン上で多数のデジタル組織画像を同時に見やすくするために、１つよりも多いモニタ４０を含むこともできる。当業者には認められようが、特定のコンポーネントは、技術が変化するに連れて、変化することもあり得る。例えば、周辺ポインティング・デバイスは、スクリーンがユーザの指または音声コマンドに応答する場合、不要になるかもしれない。
【0031】
また、医療用撮像ワークステーション・システム１０は、レジストレーションモジュールを含む画像分析プログラム、注釈モジュール、または双方、および画像分析プログラムの一部であってもよい画像確認モジュールのような、ソフトウェア・コンポーネントも含む。ソフトウェア・コンポーネントは、１つ以上のファイルとすることができ、記憶デバイスに格納することができ（例えば、ソフトウェア・コンポーネントを内部ハード・ドライブに格納することができる）、および／またはソフトウェア・コンポーネントを、ＤＶＤ、ＣＤ、またはメモリ・カードのようなメモリ・ディスクに格納することもできる。メモリ・ディスクは、メモリ・ディスク受入ポート２５を介して筐体３０内に挿入されるときに、プロセッサによってアクセスすることができる。
【0032】
ＣＰＵは、記憶デバイスおよびＧＰＵを含む、種々の周辺機器およびハードウェア・コンポーネントに動作可能に接続される。記憶デバイスは、一時的または永続的に、複数組のデジタル画像を格納することができ、デジタル画像は、例えば、走査デバイスによってシステム内にインポートすることができる。複数組のデジタル画像は、１人の被験者の隣接組織切片の１つ以上のデジタル画像を含み、各画像は、他の画像と比較して、異なる染料／ラベル／マーカ、異なる撮像モード、または双方を使用して得ることができる。ＧＰＵは、画像表示プログラムおよび画像分析プログラム（１つのプログラムに組み合わせることもできる）からの命令を処理する。例えば、ＧＰＵによって実行されると、画像表示プログラムは、ユーザがＧＵＩと対話処理して命令を供給し、その結果、例えば、ＧＰＵのようなプロセッサが画像分析プログラムの１つ以上の態様(aspect)を実行する結果となるように、および／またはモニタ４０の１つ以上に格納されているデジタル画像の内１つ以上を、それらのネーティブな（本来走査されたままの）フォーマットで表示するまたは画像分析プログラムによって修正される通りに表示する結果となるように、多数のウインドウを有する、ウインドウ型グラフィカル・ユーザ・インターフェース（「ＧＵＩ」）をモニタ４０上に提供することができる。既に述べたように、画像分析プログラムは、レジストレーションモジュールおよび注釈モジュールを含む。例えば、ＣＰＵによって実行されると、レジストレーションモジュールは、その結果、格納されているデジタル画像が異なる染料、異なる撮像モード、または双方を使用して得られたのであっても、格納されているデジタル画像の内少なくとも２つを共通格子上に組織構造に基づいて整列させ、１組の整列画像を作成する。例えば、ＣＰＵによって実行されると、注釈モジュールは、その結果、１組の整列画像におけるデジタル画像の内１つから、１組の整列画像におけるデジタル画像の内少なくとも他の１つに注釈をマッピングする。
【0033】
図２は、本開示によるデバイス、システム、および方法を実現することができるネットワーク型システムの実施形態を示すネットワーク図である。図示のように、システム２００は、データベース・サーバ２１０と、ネットワーク・アクセス可能な記憶デバイス２１５とを含み、各々がネットワーク２２０に接続される。記憶デバイス２１５は、複数組のデジタル画像を格納し、各組は、１人の被験者の隣接する組織切片の１つ以上のデジタル画像を含む。１組における各画像は、１組における他の画像と比較して、異なる染料、異なる撮像モード、または双方を使用することによって得ることができる。１つ以上のクライアント・コンピュータ２３０は、キーボード２３２、マウス（図示せず）、およびプリンタ（図示せず）のような、関連付けられた入力および出力デバイスを有することができ、当技術分野では周知の任意の手段によって（例えば、専用接続、ＤＳＬまたはケーブル・モデム、ワイヤレス・インターネット接続、ダイアルアップ・モデム等）、同様にネットワーク２２０に接続される。クライアント・コンピュータ２３０は、記憶デバイス２１５におけるデジタル画像にアクセスするために使用されるウェブ・ブラウザを含む。本発明の実施形態例では、デジタル画像を格納するためにクラウド・ストレージを使用することもできる。
【0034】
クライアント・コンピュータ２３０は、画像分析プログラムに関係する命令を実行するように構成された少なくとも１つのプロセッサを含む。画像分析プログラムは、サーバ２１０からクライアント・コンピュータ２３０にダウンロードすることができる。画像分析プログラムは、クライアント・ユーザ・インターフェースを提供する画像ビューア・モジュールを含むことができる。実行されると、画像ビューア・モジュールは、多数のウインドウを有しユーザが命令を供給することを可能にするウインドウ型ＧＵＩを提供することができ、その結果、プロセッサが画像分析プログラムの１つ以上の態様を実行し、および／またはその結果、格納されているデジタル画像の内１つ以上を、それらの本来走査されたフォーマットで、または画像分析プログラムによって修正される通りに、表示することができる。画像分析プログラムは、ユーザが１人の被験者の組織切片から得られた１組の画像において整列（レジストレーション）のために画像を選択することを可能にするが、１組における各画像は、その１組における他の画像と比較して、異なる染料、または異なるモード、あるいは双方を使用して作られたのでもよい。また、画像分析プログラムは、ユーザが１組のデジタル画像において選択された１つ以上のデジタル画像に注釈を付けること、およびこれらの注釈を、１組のデジタル画像における他のデジタル画像の内１つ以上にマッピングさせることを可能にする。ある実施形態では、システム２００は、スライド全体２５０を走査し、デジタル画像を生成するためにスキャナ２４０も含み、デジタル画像は記憶デバイス２１５に格納される。
【0035】
当業者は認めるであろうが、コンピュータ化ネットワークのコンテキストにおいて画像分析プログラムを実装すると、他の場合では単体のワークステーションによって制限されるかもしれない、ある種の活動が可能になる。例えば、同じ場所にいない、実際には互いに離れているかもしれない病理医が、画像を分析するときに協働することができ、場所には関係なく、正しい病理医に正しい時点に到達することができる。
【0036】
図１および図２は、１つ以上のコンピュータ・システムまたはネットワーク・トポロジにおいて存在することができるある種のエレメントを示す。本開示によるデバイスおよびシステムを実現することができるコンピュータ・システムおよびネットワークは、他のコンピュータ・システムおよびネットワーク・トポロジも包含することができ、これら他のコンピュータ・システムおよびネットワーク・トポロジにおけるよりも多いまたは少ないエレメントを含むのでもよいことは、当業者には理解されよう。言い換えると、図１よび図２の実施形態は限定ではない。例えば、ある実施形態では、デジタル画像を格納するために、クラウド・ストレージを使用してもよい。
【0037】
図３〜図５は、併せて、画像を管理し、整列し、および／または注釈を付けるためにプロセッサと相互作用するクライアント・ユーザ・インターフェースの実施形態を示す。図示する実施形態では、クライアント・ユーザ・インターフェースは、２つの基本ツールに跨がって実装される。「WorkBench」は、スライド投影管理ツールであり、一方「VersoViewer」（または「Verso」）は、スライド・ビューアおよび注釈ツールである。また、Versoは、分析プラットフォームとして使用することもできる。何故なら、画像分析アルゴリズムはVersoから呼び出すことができるからである。WorkBenchおよびVersoは、インターフェースおよびワークフロー・ツールの例として提示され、これらに基づいて、レジストレーションフレームワークが提示される。しかしながら、レジストレーションワークフローは、他の注釈／ビューアＧＵＩツールおよび他の画像分析／管理ツールと使用することができる、および／またはこれらとの使用のために適応させることができるように、十分に汎用的になっている。
【0038】
図３および図４は、WorkBenchＧＵＩ用のホーム・スクリーンの実施形態を示し、このホーム・スクリーンは、例えば、レジストレーション問題のために分析プロジェクトを作成するために画像分析プログラムが起動されるときに開く。図示する実施形態では、このホーム・スクリーンは、多数の異なるウインドウで構成される（図示のように、「レジストレーション」ウインドウ３００、「ナビゲータ」ウインドウ３０２、および「プロジェクト・ブラウザ」ウインドウ３０４）。このウインドウ型環境内において、ユーザは、種々の選択肢から最終的にどれを呼び出すか選択し、画像レジストレーション、画像注釈付け、ならびに画像および結果表示を実施することができる。プロジェクト・ブラウザ・ウインドウ３０４は、例えば、ユーザが新たなプロジェクトを開始していない場合に、既に作成されたプロジェクトをユーザが突き止めるのに役立ち、一方ナビゲータ・ウインドウ３０２は、例えば、離れたサーバ上に位置するかもしれない画像にユーザがアクセスするのに役立つ。レジストレーションウインドウ３００は、種々のボタンを含み、その機能性について以下で更に詳しく説明する。
【0039】
プログラムを起動した後、一旦プロジェクトが作成されたなら、ユーザは、図３に示すような、画像レジストレーションモジュールの「画像ギャラリー」セクション３０６（例えば、レジストレーションウインドウ３００）を選択して、レジストレーションが考慮される画像を前もって見ることができる。図示する例では、画像ギャラリー３０６は、２つの画像、ＨＥ画像３０８およびＩＨＣ画像３１０を収容し、これらは全体スライド画像のサム・ネイル写真として表示され、全体スライド画像の名称が、サム・ネイルの下に現れる。しかしながら、画像ギャラリー３０６は、任意の数の画像（例えば、システムの記憶容量によって制限される）を収容することができ、隣接する組織切片から撮られた複数組の画像全体を含むこともできる。画像は、当技術分野では周知の手段にしたがって、例えば、画像ギャラリー・タブ３０６をクリックしたときに、画像ギャラリー３０６に追加され、ユーザ・インターフェースのエリアまたはデータベースからこれらを画像ギャラリー３０６にドラッグおよびドロップすることによって、画像を追加することができる。
【0040】
図４に示すように、レジストレーションウインドウ３００の「分析ジョブ」フォルダ３１２を選択すると、画像ギャラリー３０６において入手可能な画像のリスト、および関連情報、例えば、画像ギャラリー３０６において画像のために既に利用可能な異なる注釈が現れる。この例では、画像ギャラリー３０６における画像のいずれにも、利用可能な注釈はない。
【0041】
図５に示すように、画像レジストレーションタブ３１４の下において、ユーザはプロジェクトにおける１つの画像をソース画像として識別することができ（ユーザ注釈を有する、またはユーザの注釈が付けられる）、またユーザはプロジェクトにおける１つの画像をターゲット画像として識別することができる（レジストレーションモジュールは、この画像についての注釈を引き出す）。図示する例では、ＨＥ画像３０８は、既に「ソースＷＳＩ」（ホール・スライド画像）パネル３１６にドラッグおよびドロップされており、ＨＥ画像３０８をソース画像として識別し、ＩＨＣ画像３１０は既に「ターゲットＷＳＩ」パネル３１８にドラッグおよびドロップされており、このＩＨＣ画像をターゲット画像として識別する。各ＷＳＩパネル３１８内において、「マーカ・タイプ」３２０において該当するタグ選択肢を選択することによって、画像毎に染料のタイプが入力される。
【0042】
ソース画像が既にユーザ注釈を含む場合、画像レジストレーションタブ３１４の下にある「分析」ボタン３２２上でクリックすることによって、レジストレーションルーチンを呼び出すことができる。同様に画像レジストレーションタブ３１４の下にある横並びＦＯＶ確認ボタン３２４は、ソースおよびターゲット画像からの一致した視野（「ＦＯＶ」）の横並び表示を与え、ユーザがターゲット画像において、ユーザが印を付けたＦＯＶをアルゴリズムが引き出したＦＯＶと比較することを可能にする。代表的に挙げた例では、一旦分析ボタン３２２がクリックされレジストレーションが完了すると、Versoビューアが自動的に起動して、図９に示すように、ソース３０８およびターゲット３１０画像を横並びで表示する。
【0043】
ユーザ注釈がないとき、ユーザはビューアにおいてソース画像を開き、対象領域に印を付ける（注釈を付ける）ことができる。更に具体的には、図６に示すように、ソース画像上でダブル・クリックすると、注釈モジュールに関連付けられたビューア・インターフェース（Versoビューア）が起動され、このビューアにおいて、ソース画像（図示する実施形態ではＨＥ画像）が表示され、ソース画像を操作し、および／または注釈を付けることができる。図示のように、VersoビューアＧＵＩは、メニュー・バーおよび多数のアイコンを有する「ビューア」ウインドウ３２６を含み、表示された画像、注釈モジュール、ならびにレジストレーションおよび注釈プログラム全体とのユーザの対話処理を容易にする。例えば、インポート・ボタン３２８は、ユーザが注釈をインポートすることを可能にし、プレー・ボタン３３０は、ユーザが１つの注釈から次に進むことを可能にし、ズーム・ボタン３４０およびスライダ３５０は、ユーザが種々の解像度でホール・スライド画像を見ることを可能にする。更に、注釈は、例えば、注釈ツール３６０を使用して付けることができる。注釈ツール３６０は、それぞれ、矩形３６２、楕円３６４、またはフリー・ハンド描画３６６ボタンを使用して、矩形、楕円、またはポリライン・ベースの（フリー・ハンド描画のような）領域を作るために使用することができる。一旦ソース画像に少なくとも１つのＦＯＶが印されたなら、そして印された注釈が保存されたなら、ユーザはレジストレーションに進むことができる（例えば、WorkBench環境において画像レジストレーションタブ３１４の下にある「分析」ボタン３２２上でクリックすることによって）。
【0044】
ある実施形態では、Versoビューアを独立して開くこともできる。しかしながら、使い易さのために、WorkBenchにおけるソース画像上でダブル・クリックすると、その結果、Versoウインドウ・タブにおいて画像が開く。一例として、ビューアが最初に開かれる場合、ソース画像をビューア・ウインドウにドラッグおよびドロップことができる。代わりに、画像を開くために、ファイル−＞開くメニューを使用することもできる。
【0045】
図７は、同じＨＥソース画像３０８を示す。これも注釈スクリーン内に表示されるが、注釈モジュール（例えば、Verso）において提供され図に示されるツール３６８を使用してそれに注釈が付けられた後である。具体的には、ＨＥ画像３０８内では、３つの対象領域（矩形として図示され、ＦＯＶ１、ＦＯＶ２、およびＦＯＶ３と称される）に印されている。ＨＥ画像３０８におけるこれら３つの領域の各々について、レジストレーションモジュールは、ターゲット画像（この例ではＩＨＣ画像３１０）における対応する注釈を戻すことになる。
【0046】
図５は、画像レジストレーションモジュール（例えば、WorkBench）ＧＵＩの他のスクリーンショットである図８と共に、注釈モジュール（例えば、Verso）における変更が、どのように画像レジストレーションモジュールに更新され反映されるかを示す。具体的には、図５に示すように、画像レジストレーションタブ３１４の下において、注釈モジュールにおける注釈付けの後、ＦＯＶタブ３０９の＃が更新され、ＨＥソース画像３０８には３つの異なるＦＯＶ画像（「ＦＯＶ」）が利用可能であることを示す。図８は、ユーザがソース画像（この例では、ＨＥ画像３０８）およびターゲット画像（この例では、ＩＨＣ画像３１０）を整列するようにプログラムに命令した後における画像レジストレーションモジュールに対する更新を示す。具体的には、画像レジストレーションタブ３１４の下において、画像レジストレーションの後に、今では３つの異なるＦＯＶがＩＨＣターゲット画像３１０に利用可能となる。
【0047】
図９は、注釈モジュール（例えば、Verso）ＧＵＩの他のスクリーンショットを示す。図示のように、図示する実施形態では、一旦WorkBenchフレームワークを介して画像レジストレーションが完了したなら、注釈スクリーンが注釈モジュール内に自動的に開き、ＨＥソース画像３０８およびＩＨＣターゲット画像３１０が一緒に同じがスクリーン内に、例えば、図示のように、横並びで表示され、一致するＦＯＶ（即ち、ユーザが印した注釈３１１ａ〜３１１ｃがＨＥソース画像３０８上で表示され、対応する引き出された注釈３１１ｄ〜３１１ｆがＩＨＣターゲット画像３１０上で表示される）。図示する実施形態では、３つのＦＯＶ全てを双方のホール・スライド画像に対して横並びで見ることができるように、ホール・スライド画像が１×解像度で示される。
【0048】
図１０に示すように、図示の実施形態では、Versoビューアは、注釈が付けられた領域を次々に見るモードも含む。進むボタン３３０をクリックすると、ユーザは１つの注釈から次に前進することができ、一方前ボタン３３２は、ユーザに、現在見ている注釈から直前に見た注釈に移動させる。また、図示の実施形態では、ユーザが画像１に対する１つのＦＯＶ（例えば、第１ＦＯＶ）から他のＦＯＶ（例えば、第２ＦＯＶ）に移ると、右ペインにおける表示も同様に画像２に対する対応するＦＯＶ（ここでは、第１ＦＯＶから第２ＦＯＶに）まで進む。
【0049】
図１１は、WorkBenchの画像レジストレーションタブ３１４の下において利用可能な個々のＦＯＶを見るための代替画像表示を示すスクリーンショットである。横並び画像ＦＯＶ確認ボタン３２４（図５）上でクリックすると、図１１のスクリーンが開く。Versoビューアの実施態様と同様、WorkBenchビューも分割スクリーンであり、注釈が付けられたＨＥソース画像３０８の少なくとも一部がこのスクリーンの一部上に表示され、注釈が付けられたＩＨＣターゲット画像３１０の対応する部分が、スクリーンの第２部上に表示される。図１０および図１１は、それぞれ、注釈モジュールおよび画像レジストレーションモジュールにおける第１注釈ＦＯＶを示し、WorkBenchと比較して、Versoビューアを使用すると、照合される注釈をどのように比較することができるかを示す。これらの図から明らかなように、注釈モジュール（Versoビューア）では、注釈が各分割スクリーンの中央に、スライド画像の他の部分に加えて表示される。対照的に、画像レジストレーションモジュール（WorkBench)では、デジタル画像の注釈部分だけを見ることができる。画像レジストレーションモジュールでは、注釈モジュールと同様、利用可能な画像対全てを見渡す(run through)選択肢がある。この例では、３つの画像対があり、ユーザによる独立した確認のために選択することができる。したがって、第２および第３注釈の同様の分割スクリーン・ビューも、注釈モジュールおよび／またはレジストレーションモジュールにおいて発生させる(launch)ことができ、レジストレーションモジュールの場合、例えば、上／下矢印を使用して画像対全域をスクロールすることによってアクセスされる。また図示のように、注釈モジュールは、ユーザに、どのように結果を確認するかに関して柔軟性を与える。例えば、ユーザは、ズーム・ボタン３４０および／またはズーム・スライダ３５０を使用して、画像を確認する解像度（スクリーン・ショットでは４×が示される）を選択することができる。
【0050】
図１２は、本開示による画像分析ソフトウェア・プログラムの実施形態によって実行される方法の実施態様を示す流れ図である。画像分析ソフトウェア・プログラムは、ユーザが、プロセッサに、選択されたデジタル画像（例えば、ホール・スライド画像、部分的スライド画像、あるいはホールまたは部分的スライド画像の部分を含む、組織切片の走査スライドのデジタル画像）を整列し、これらの画像の１つ以上に注釈を付け、注釈を１つ以上の画像から他の画像またはその組み合わせにマッピングするように命令することを可能にする。図１２に示すように、方法６００は開始ブロック６０２において開始する。ブロック６０４において、１組のデジタル画像を操作のために取得する（例えば、走査またはデータベースから選択する）。各組のデジタル画像は、例えば、１人の被験者の１組の隣接する組織切片からの組織切片に対応する１つ以上のデジタル画像を含む。各組のデジタル画像は、１人の被験者の１組の隣接組織切片からの組織切片に対応する１つ以上のデジタル画像を含む。各画像は、他の画像と比較して、異なる染色がなされた組織切片、または異なる撮像モードを使用してデジタル化された組織切片、あるいはその双方から導き出すことができる。ある実施形態では、デジタル画像は、隣接する組織切片から準備されたスライド（例えば、顕微鏡のガラス・スライド）を走査することによって生成される。
【0051】
ブロック６０６において、１つの画像対のみが選択された場合、プロセスは直接ブロック６１０に進む。１対よりも多い画像が選択された場合、ブロック６１０に進む前に、ブロック６０８においてこの１組の選択された画像を対に纏める。ある実施形態では、画像対は隣接対として選択される。つまり、例えば、１組の選択された画像が、１０枚の平行な隣接するスライド（Ｌ１・・・Ｌ１０）を含む場合、Ｌ１およびＬ２が１対として纏められ、Ｌ３およびＬ４が１対として纏められる等となる。一方、どの画像対が互いに最も類似するかに関して情報が入手可能でない場合、ある実施形態では、それらの離間距離にしたがって画像が纏められ（例えば、種々の画像のＨマップ間の面取り距離(chamfer distance)に対応するエッジ間または画像間距離）、互いに最も近い画像を一緒にして対にする。本発明の実施形態例では、エッジ間／画像間距離が、画像の対に利用される。ある実施形態では、エッジに基づく面取り距離が、画像間／エッジ間距離を計算するために使用されてもよい。画像対には以前に粗いレジストレーションプロセスが行われ、画像が粗く整列され結果が保存されていた場合、本プロセスはブロック６１４に進む。そうでなければ、ブロック６１２において、選択された画像対に対して、粗いレジストレーションプロセスを実行する。粗いレジストレーションプロセスについては、以下で更に詳しく説明する。
【0052】
ブロック６１４に移り、選択されて、今ではレジストレーションされた（整列された）画像を、共通格子上に表示する。画像は、１つのモニタ上において、１つの画像に重ね合わされ、別々の画像として表示され、または双方であり、あるいは数個のモニタに跨がって広げられる。ブロック６１６において、クライアント・ユーザは、１対の画像からの画像の内１つを、ソース画像として選択することができる。既に所望通りにソース画像に注釈が付けられている場合、本プロセスはブロック６２２に進む。そうでなければ、クライアント・ユーザは、ブロック６２０において、ソース画像に所望通りに注釈を付ける。ある実施形態では、注釈は、例えば、ユーザが注釈を入力するとの実質的に同時に、その選択された画像上に再現される。ある実施形態では、ユーザは最初にソース画像およびターゲット画像を識別し、ソース画像に注釈が付いていた場合、ユーザは次に進んで画像をレジストレーションするように（例えば、粗いレジストレーションプロセスを実行する）プログラムに命令する。ソース画像に未だ注釈が付けられていない場合、ユーザは、１対の画像をレジストレーションする前に、ソース画像に注釈を付けることができる。ブロック６２２は、ブロック６２０と実質的に同時に行われても（または行われなくても）よく、ブロック６２２において、対における他方の画像（ターゲット画像）に注釈をマッピングし、図式的にターゲット画像上で再現する。注釈付けが粗いレジストレーションに先立って行われる実施形態では、画像の対がレジストレーションされる（整列される）のと実質的に同時に、注釈をソース画像からターゲット画像にマッピングすることができる。ブロック６２４に移り、マッピングされた注釈の位置および／または画像の整列を最適化するために、精細レジストレーションプロセスを実行することができる。精細レジストレーションプロセスについては、以下で更に詳しく論じる。ブロック６２６において、注釈が付けられた画像対を、精細レジストレーションプロセスの結果と共に表示する（または、精細レジストレーションが使用されない場合には、注釈が付けられた画像対は、粗いレジストレーションプロセスの結果のみと共に表示されてもよい）。次いで、本方法は最終ブロック６２８において終了する。
【0053】
図１３は、ブロック６１２の粗いレジストレーションプロセスに関する更なる詳細を示す。粗いレジストレーションプロセスを開始する前に、整列のために２つの画像が選択される（図１２のブロック６０４）。図１３に示すように、ある実施形態では、２つの画像に適用される粗いレジストレーションプロセスは、１）ソフト加重（連続値）前景画像（ここでは「グレー・スケール」画像とも呼ぶ）を、選択された画像の各々から入手する（図１３のブロック６１２ａ）、２）得られた前景画像の各々からエッジ画像を抽出する（図１３のブロック６１２ｂ）、および３）エッジ・マップに基づく照合、およびソフト加重前景画像から得られたモーメント情報を使用して、グローバル変換パラメータ（例えば、回転、スケール、シフト）（図１３のブロック６１２ｃ）を計算する動作を伴うことができる。最後に、図１３に示すように、２つの画像は、グローバル変換パラメータを使用して整列され、モニタ（または複数のモニタ）上の共通格子上に表示されればよい。
【0054】
図１４〜図１８は、ブロック６１２ａの更なる詳細を示し、ここでソフト加重前景（即ち、染色画像に適用されたソフト加重に対応する画像であり、高い／低い値は、ある種の染色が多く／少なく存在することを示す）が得られる。ソフト加重方法とは、離散値符号無しキャラクタ画像から、連続ドメイン値画像を得る方法である（例えば、画素値の範囲は０〜２５５である）。ある実施形態では、ソフト加重前景画像を得るという目標は、デジタル画像において組織を非組織から分離すること、そしてスケーリングおよび平行移動推定(translation estimation)のためにスライド全体からモーメント計算のための基礎を与えることである。ある実施形態では、グレー・スケール前景画像は、色ディコンボリューション・プロセスを、選択されたデジタル画像に適用することによって得られ、デジタル画像は、染色されている組織切片から準備されたガラス・スライドのスキャンでもよい。特定の色ディコンボリューション・プロセスは、特定の染色に依存し、ここでは、３つの例、ＨＥ染色、ＩＨＣ染色、および蛍光画像について説明する。
【0055】
図１４〜図１６は、ＨＥ画像のためのソフト加重前景画像抽出プロセスを示す。図１４〜図１６に示すように、この画像抽出プロセスは、本質的に色ディコンボリューション・プロセスであり、染色(color stain)が元のＨＥ画像（図１５ａ）から除去されて、その結果ソフト加重前景画像（図１５ｂ）が得られる。ＨＥ色ディコンボリューションは、例えば、Ruifrok AC, Johnston DA, Quantification of histological staining by color deconvolution（色ディコンボリューションによる組織学的染色の定量化）, Anal Quant Cytol Histol 23: 291-299, 2001に記載されるように、当技術分野において周知の任意の方法によって実行することができる。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。
【0056】
図１４および図１６は、併せて、図１５ｂの画像を得るために使用されるプロセスの実施形態を示す。図１４に示すように、図１５ａの複合画像ＨＥ画像を形成するために混合／追加された２つの画像成分（具体的には、Ｈ（ヘマトキシリン：青着色）およびＥ（エオシン：赤着色））を除去することによって、Ｈチャネル画像およびＥチャネル画像が得られる。ある実施形態では、２つの（ＨおよびＥ）チャネルが得られた後（例えば、色ディコンボリューション・プロセスの後）、ＯＴＳＵおよびソフトウェア加重方法が、Ｈチャネル画像およびＥチャネル画像の各々に対して実行される。ＯＴＳＵ方法は、ヒストグラム形状に基づく閾値判定(thresholding)を自動的に実行するために使用される閾値判定方法であり、例えば、Otsu, Nobuyuki, “A Threshold Selection Method From Gray-Level Histograms”（グレー・レベル・ヒストグラムからの閾値選択方法）、Automatica 11.285-296 (1975): 23-27に記載されている。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。加重Ｈ画像（例えば、Ｈチャネルの染色寄与を反映する画像であり、Ｈチャネルの染色寄与が高い／低い程、加重Ｈ画像は高い／低い値を有する）が、ＯＴＳＵに基づく閾値判定およびＨ−チャネル画像に対するソフト加重の後に得られる。同様に、加重Ｅ画像も、ＯＴＳＵに基づく閾値判定およびＥ−チャネル画像に対するソフト加重の後に得られる。最後に、加重ＨＥ画像が次のように得られる。加重ＨＥ画像における各画素＝（Ｈチャネル画像画素、Ｅチャネル画像画素）の最大値。即ち、これは、ＨおよびＥチャネル画像における対応する画素値の最大値である。
【0057】
図１６は、Ｈチャネル画像のためのソフト加重プロセスの実施形態を示す。ＯＴＳＵに基づく閾値判定が実行された後、閾値（前景を背景Ｈチャネルから分けるための）がlevelHとして採用される。したがって、levelHは、Ｈチャネル上で計算されたＯＴＳＵに基づく閾値であり、lowHは、端数×levelHの値であり、maxHは最大（Ｈチャネル画像）、即ち、Ｈチャネル画像における全ての画素の最大値である。この説明から理解できるように、ＨおよびＥチャネルにおいて、強度値が低い（または高い）ほど、画像における暗い（または明るい）領域に対応する。例えば、Ｈチャネルにおいて、領域が暗い程、ヘマトキシリン（青成分）が一層強く表現されたエリアを示す。最終的な加重Ｈ画像では、これらの暗い領域程（青が濃い領域程）には高い値が予想される。同様に、加重Ｈ画像では、ヘマトキシリンの寄与が低い明るい領域程、低い値が予想される。
【0058】
ある実施形態では、青いヘマトキシリン・チャネルの寄与が高いときに一層高い値となり、青チャネル寄与が低いときには一層低い値になる加重Ｈ画像を得ることが目的である。図１６において、端数項が、ソフト重みが加重Ｈ画像にどのように割り当てられるかを制御する。例えば、端数＝１の場合、lowH＝levelHとなり、青チャネル寄与（Ｈチャネルの値）がlowHよりも少ない画像画素には１の値が割り当てられる。端数が１であるとき、加重Ｈ画像は、［levelH，maxH］の範囲内においてゼロでない画素強度値を有する（ここで、levelHは、Hチャネルに対して計算されたＯＴＳＵに基づく閾値を表し、maxHはＨチャネル画像の最大値を表す）。このようなある実施形態では、ＨチャネルにおいてlevelHよりも低い画素／画素強度値に対して、加重Ｈ画像には１の値が割り当てられる。Ｈチャネルにおいて［lowH，maxH］の範囲にある値に対して、加重Ｈ値は［１，０］の範囲になる。Ｈチャネルにおける［lowH，maxH］の範囲は、加重Ｈ画像における［１，０］の範囲にマッピングされる。ある実施形態では、端数は、経験的に選択された０．８という値である。したがって、加重Ｈ画像は、更に広い画素値の範囲において値を有する。多くの場合、ぼんやりした画像領域程、ＯＴＳＵによって戻される閾値は正確でないおそれがあり、したがって、ＯＴＳＵ閾値よりも値が僅かしか高くない画像画素には、もっと低い値が加重画像に割り当てられる。
【0059】
図１７および図１８は、併せて、ＩＨＣ画像のためのソフト加重前景画像抽出プロセスを示す。図１７ｃに示すように、この画像抽出プロセスは、本質的に、色ディコンボリューション・プロセスであり、主要な色成分が画像から抽出される。例えば、図示する実施形態では、ヘマトキシリン（青）およびＤＡＢ（茶色）が主要な染色成分であり、ＩＨＣ画像をこれら２つの色チャネルに分離するために、色ディコンボリューションが使用される。
【0060】
ＨＥ画像に使用したのと同じソフト加重方法が、次にＩＨＣ画像に使用される。加重ＤＡＢ画像は、ＯＴＳＵに基づく閾値判定およびＤＡＢチャネル画像に対するソフト加重の後に得られる。同様に、加重ヘマトキシリン画像が、ＯＴＳＵに基づく閾値判定およびヘマトキシリン画像に対するソフト加重の後に得られる。最後に、加重ＩＨＣ画像は、画素毎にｍａｘ（加重ＤＡＢ画像、加重ヘマトキシリン画像）となる。即ち、加重ＩＨＣ画像における各画素は、ＤＡＢおよびヘマトキシリン・チャネル画像における２つの対応する画素の内最大値となる。
【0061】
図１８は、ＤＢＡチャネル画像のためのソフト加重プロセスの実施形態を示す。ＯＴＳＵに基づく閾値判定が実行された後、閾値（ＤＢＡ（茶色）チャネルにおいて前景を背景から分離するため）がlevelBrとして採用される。したがって、levelBrは、茶色チャネルについて計算されたＯＴＳＵに基づく閾値であり、lowbrowは端数×levelBr（ここでは、端数は０．８である）であり、maxBrはｍａｘ（茶色チャネル画像）である。即ち、maxBrは、茶色チャネル画像における全ての画素値の内最大値である。茶色チャネルにおいてlowBrよりも低い値に対して、加重ＤＡＢ画像には１の値が割り当てられる。茶色チャネルにおける［lowBr，maxBr］の範囲が、加重ＤＡＢ画像における［１，０］の範囲にマッピングされる。この説明から理解できるように、茶色および青チャネルでは、強度値が低い程（または高い程）、画像領域における暗い（または明るい）領域に対応する。このプロセス全体の結果、図１７ｃに示すようなソフト加重前景画像が、図１７ａに示すような元のＩＨＣ画像から生成される。
【0062】
また、ソフト加重前景画像は、例えば、グレー・スケール画像を準備し、ＯＴＳＵを適用してこのグレー・スケール画像を二進画像に変換することによって、蛍光画像から抽出することもできる。ある実施形態では、ソフト加重前景画像を抽出する開始点として、蛍光画像からグレースケール・サムネイル画像が読み出される(read off)。次いで、ＯＴＳＵを使用して、グレースケール・サムネイル画像を二進画像に変換する。そして次に、例えば、Samet, Hanan, “An Improved Approach to Connected Component Labeling of Images”（画像の連接成分標識付けに対する改良された手法）、Proceedings, IEEE Computer Society Press, 1986に記載されるように、二進画像に対して連接成分(connected components)を実行する。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。ある実施形態では、標準的なアルゴリズムを使用して、二進画像における連続領域を戻すために、連接成分分析が使用される。連接成分の後に戻された連続領域から、外側領域の一部が、小さい方からのセル・サイズというような、所定の判断基準に基づいて破棄される。このプロセスの結果、サム・ネイル画像において、各領域がある一定の最少サイズを超過する前景領域を有することになる。ある実施形態では、Ｎが前景画像におけるＯＮ画素の総数とすると、連接成分から得られた１つのブロブから抽出される最少サイズは、少なくともＮ／２０、最少エリアの選択となるはずであり、Ｎ／２０は経験的に選択される。これらの領域では、値が高い程、サム・ネイルが暗いソフト加重前景画像に割り当てられる（強度値が暗い領域程（または低い程）組織領域である可能性が高くなり、強度値が明るい領域程（または高い程）、組織でない、ガラス領域である可能性が高くなる）。
【0063】
ソフト加重前景画像が抽出された後、グローバル変換パラメータが推定される（図１３のブロック６１２ｃ）。ある実施形態では、グローバル変換を計算するために、第１画像（例えば、ユーザ／病理医がある種の領域に印したソース画像）および第２画像（例えば、ユーザ／病理医が、印された領域を引き出すために選択したターゲット画像）が比較される。図１９に示すように、ある実施形態では、エッジ・マップの検出（図１３のブロック６１２ｂ）によってこの比較が行われる。図１９ａは、ＨＥ画像のためのエッジ・マップ抽出を示し、この図の上半分は加重前景画像を示し、下半分はＨＥ画像のエッジ・マップを示す。図１９ｂは、ＩＨＣ画像のためのエッジ・マップ抽出を示し、この図の上半分はＩＨＣ画像の加重前景画像を示し、この図の下半分はＩＨＣ画像のエッジ・マップを示す。
【0064】
ある実施形態では、例えば、Canny, John, “A Computational Approach to Edge Detection”（エッジ検出に対する計算的手法）、Pattern Analysis and Machine Intelligence, IEEE Transactions at 6 (1986); 679-698に記載されるように、キャニー・エッジ検出モード(Canny edge detection mode)を使用して、エッジ・マップが抽出される。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。第１ステップにおいて、ソフト加重前景画像に対して勾配画像(gradient image)が計算され、次いでエッジ検出のために使用される。次いで、これら２つの画像間におけるグローバル変換を判定するために、エッジ・マップが使用される。ある実施形態では、画像１を画像２にマッピングするときに補助するグローバル変換のパラメータは、１）ｘ軸およびｙ軸に沿った平行移動、２）ｘ軸およびｙ軸のスケーリング、３）回転角、および４）ｘ軸、ｙ軸、または双方に沿うことができる反射である。ソフト加重前景画像に基づいて、画像毎に重心画像が計算され、それらの差が、第１画像を第２画像と整列するために使用される、ｘ軸およびｙ軸に沿った平行移動を示す。ソフト加重前景画像にモーメントを使用して（例えば、Hu, Ming-Kuei, “Visual Pattern Recognition by Moment Invariants” （モーメント不変系による視覚的パターン認識）、Information Theory, IRE Transactions, vol IT-8, pp. 179-187, 1962に記載されるように（この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする）、第１画像を第２画像に整列することができるｘ軸およびｙ軸に対する倍率が計算される。一旦ソフト加重前景画像が計算されたなら、染色画像からマスク画像（二進画像）を得るために、ＯＴＳＵに基づく閾値判定が実行される。第１および第２画像におけるマスク画像に基づいて、Ｈｕモーメントを使用して、双方のドメインにおける正準角が計算される。例えば、Hu, Ming-Kuei, “Visual Pattern Recognition by Moment Invariants”（モーメント不変系による視覚的パターン認識）、Information Theory, IRE Transactions, vol IT-8, pp. 179-187, 1962に記載されるように、角度差が回転を与える。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。画像１および２の間の角度差は、画像１を画像２にマッピングすることができる変換角のあり得る値として考慮され（角度Φ＝（画像２からの正準角）−（画像１からの正準角））、正準角は、以上で述べた刊行物に記載されるように、モーメントの方法を使用して計算される。
【0065】
加えて、ある実施形態では、８通りの可能な変換事例が考慮され（各変換事例は、ソース画像、即ち画像１に適用されるある種のアフィン・グローバル変換に対応する）、そして事例毎に、ａ）画像１に対して変換エッジ・マップが計算され、更にｂ）画像２のエッジ・マップからのその距離も計算される。ある実施形態では、変換エッジ・マップ（ａ）は、最良の変換事例に基づき、ある実施形態では、画像１に対する変換エッジ・マップと画像２に対するエッジ・マップとの間で最少距離を生成するものである。８通りの可能な変換事例は、１）Φだけ回転する、２）（１８０−Φ）だけ回転する、３）ｘ軸に沿って反射する、４）ｙ軸に沿って反射する、５）ｘ軸およびｙ軸双方に沿って反射する、６）０だけ回転する、７）９０だけ回転する、そして８）−９０だけ回転する（全ての事例について、スケーリングおよび平行移動が含まれる）。図２０は、以上の８通りの条件の各々にしたがって変換された後におけるＨＥエッジ・マップを示す。
【0066】
ある実施形態では、画像１を画像２に粗雑にマッピングするグローバル変換を得るために、エッジ・マップ間の距離が、面取り距離方法（例えば、Borgefors, Gunilla, “Distance Transformations In Digital Images"（デジタル画像における距離変換）、 Computer Vision, Graphics, and Image Processing,（コンピュータ映像、グラフィクス、および画像処理）、34.3 (1986): 344-371に記載されるように。これらの文献をここで引用したことにより、その内容全体が本願にも含まれるものとする）を使用して計算される。面取り距離（エッジ・マップＡ、エッジ・マップＢ）（各画像に対応する。エッジ・マップＡは、ソース画像、画像１から得られ、一方エッジ・マップＢはターゲット画像、画像２から得られる）は、ＡにおけるあらゆるＯＮエッジ画素と、Ｂにおける最も近いＯＮエッジ画素との間における平均距離である。ある実施形態では、面取り距離は、次のように計算することができる。
【0067】
・ＥＡは、エッジ・マップＡ，二進画像を示し、ＤＡは距離変換の後に得られる行列であるとする。ＤＡにおける各画素は、ＥＡにおけるその画素からＥＡにおける最も近いＯＮ画素までの距離を示す。
【0068】
・例えば、 EA = [1 0 0 1 10 1 1 1 0
1 0 0 1 0
0 0 0 0 1
0 1 0 0 1]
そして、 DA = [0 1.0000 1.0000 0 0
1.0000 0 0 0 1.0000
0 1.0000 1.0000 0 1.0000
1.0000 1.0000 1.4142 1.0000 0
1.0000 0 1.0000 1.0000 0]
である場合、
・例えば、ＥＡにおいて、第４行および第３列における画素を考える。１の値を有し、これに最も近い２つの画素は、第３行第４列、および第５行第２列にある。画素の位置を（ｉ，ｊ）で示す場合、これは、行列ＥＡの第ｉ行および第ｊ列にその画素が存在することを示す。したがって、（ｉ１，ｊ１）および（ｉ２，ｊ２）で与えられる位置に２つの画素がある場合、これら２つの画素間のＬ２距離は、ｓｑｒｔ（（ｉ１-ｉ２）２＋（ｊ１-ｊ２）２）で表される。したがって、それに最も近い２つの画素の距離は、それぞれ、ｓｑｒｔ（２）およびｓｑｒｔ（２）となり、ＤＡにおける第４行および第３列の値は、ｍｉｎ（ｓｑｒｔ（２），ｓｑｒｔ（２））＝ｓｑｒｔ（２）となる。
【0069】
・面取り距離（Ａのエッジ・マップ、Ｂのエッジ・マップ）＝（ＥＡ．*ＤＢ）／（ＥＡにおける１の数）、ここで、ＤＢはエッジ・マップＢの距離変換である。・（ＥＡ．*ＤＢ）＝（ＥＡにおける各エレメントを、ＤＢにおける各対応エレメントと乗算する）および（次いで数値を合計する）
当業者は理解するはずであるが、面取り距離は、その非可換的性質(non-commutative nature)のために、距離メトリックではない。更に具体的には、面取り距離は、２つのエッジ・マップ間における類似性／相違を説明するために使用することができる距離関数である。この距離関数は、形状がエッジ・マップによって表される場合に、形状を比較するために使用することができる。本開示によるある実施形態に適用されると、面取り距離は、主に、画像間で組織領域を比較する。それらのエッジ・マップが似ているとき、２つの組織領域は似ており、これは面取り距離によって正しく把握することができる。画像間には色および染色強度に差があることがあり得るが、エッジ・マップは、組織の構造を取り込むので、他よりも比較的一貫性が高い特徴である。同じ／並列する組織スライスが比較されるとき、組織はある程度同じままで残る。距離関数がメトリックであるためには、エッジ・マップＡからエッジ・マップＢへの距離が得られるとき、この距離は、エッジ・マップＢからエッジ・マップＡに得られても、同一であるはずである。面取り距離については、この可換的性質は当てはまらず、したがってメトリックではない。このため、ある実施形態では、２つの距離値、ＡからＢまでの面取り距離、およびＢからＡまでの面取り距離の内最大値が、２つのエッジ・マップ間の最終有効距離を得るために使用される。端的に言うと、面取り距離（エッジ・マップＡ、エッジ・マップＢ）は、面取り距離（エッジ・マップＢ、エッジ・マップＡ）と等しい必要はない。このため、ある実施形態では、エッジ・マップＡおよびＢ間で使用される最終距離尺度は、ｍａｘ（面取り距離（エッジ・マップＡ、エッジ・マップＢ）、面取り距離（エッジ・マップＢ、エッジ・マップＡ））となる。そして、ある実施形態では、一旦８通りの条件全てについてこれらの距離値が計算されたなら、最も低い距離値が得られた条件が選択される。
【0070】
図２１は、８つの計算された距離値の例である（第１および第２画像の変換バージョン間で使用される距離関数は、面取り距離に基づくそれらのエッジ・マップの関数である）。この例によれば、最良の変換は、７．４１の回転角を使用するそれであることがわかる。第１変換条件が選択されたのは、これが最少面取り距離になるからである。
【0071】
図２２は、グローバル変換パラメータが計算された後（図１３のブロック６１２ｃ）において、レジストレーションされた画像が共通格子上に表示される、図１２のブロック６１２の実施形態を示す。更に具体的には、この実施形態では、図２２は、共通の大型画像格子上にマッピングされたＨＥ画像およびＩＨＣ画像を示し、図２２ａでは、格子の中心が、ソフト加重前景ＨＥ画像共通格子のモーメントベースの中心と一致し、図２２ｂでは、格子の中心が、ソフト加重前景ＩＨＣ画像のモーメントベースの中心と一致する。共通格子は、第１（例えば、ソース）および第２（例えば、ターゲット）画像の変換バージョン双方を含み、第１画像において印された領域に基づいて、第２画像におけるいずれの領域を復元するためにも有用であることができる。
【0072】
画像間注釈(cross-image annotation)（図１２のブロック６２０、６２２）は、双方の画像を含むこの大型共通格子が得られるときに、行うことができる。例えば、ある実施形態では、図２３に示すように、ユーザが印した点（第１画像において）を、最初に大型格子における一致領域にマッピングすることができ、次いで大型格子における点を、第２画像における対応する位置にマッピングする。その結果、この説明している実施形態では、第１画像は、病理医がある領域に印した画像となる。画像間注釈は、８通りの条件から得られた最良の変換（この例では、回転角７．４１）を使用して、大型共通画像格子に到達することによって実行される。この例では、大型共通画像格子は、ソフト加重前景画像をその中心に含む。大型共通格子に到達するプロセスについて、例えば、以下のように、更に具体的に説明することができる。
【0073】
ソース画像１は、Ｍ１行およびＮ１列を有する画像であるとし、その重心位置が（ｘ１，ｙ１）にあるとする。すると、画像１の最も左側および最も右側の点から重心までの距離が、（ｘ１−０）および（Ｎ１−１−ｘ１）となる。同様に、画像１における最も上側の点および最も下側の点から重心までの距離は、（ｙ１−０）および（Ｍ１−１−ｙ１）となる。ターゲット画像、画像２では、そのサイズがＭ２行およびＮ２列であるとする。その重心の位置は（ｘ２，ｙ２）とする。すると、画像２の最も左側の点および最も右側の点から重心までの距離は、（ｘ２−０）および（Ｎ２−１−ｘ２）となる。同様に、画像２の最も上側および最も下側の点から重心までの距離は、（ｙ２−０）および（Ｍ２−１−ｙ２）となる。画像１よび２は、大型共通格子の中心が画像１および画像２双方の中心と一致するように、共通の大型格子上に置かれる。したがって、大型共通画像格子における重心の、その境界点（最も左、最も右、最も上、最も下）の内任意のものまでの最大距離は、これら８つの項｛（ｘ１−０），（Ｎ１−１−ｘ１），（ｙ１−０），（Ｍ１−１−ｙ１）、（ｘ２−０）、（Ｎ２−１−ｘ２）、（ｙ２−０）、（Ｍ２−１−ｙ２）｝の内の最大値となる。この最大距離項をｄで示すとする。すると、この大型共通画像格子のサイズは、各辺が２×ｄ＋１となる。この格子は、正方形の格子であり、したがって、２×ｄ＋１行および２×ｄ＋１列を有する。
【0074】
図２３において見られるように、第１画像においてユーザが印した点と、第２画像において復元された点との間には、多少のずれがあることもある。このような場合、注釈領域を更に正確に決めるために、精細レジストレーションモジュール（図１２のブロック６２４）を実装することができる。一般に、ある実施形態では、精細レジストレーションプロセスは、第１画像においてユーザが印した領域周囲に第１ウインドウを定め、第２画像において第２ウインドウを定め、第２ウインドウは第１ウインドウよりも大きいが、実質的に共通格子上の第１ウインドウと同じ位置に置かれ、第２ウインドウにおける第１ウインドウに最適な位置を計算する動作を伴う。ある実施形態では、第２ウインドウにおける第１ウインドウの位置は、第２ウインドウ内において第１ウインドウとサイズが等しいまたは実質的に等しいウインドウを繰り返しずらして最良の一致を識別することによって最適化される。図２４および図２５を参照しながら、説明する精細レジストレーションプロセスの実施形態を一例として以下に示す。
【0076】
・粗雑変換が正確である場合、引き出された点に対する最良の選択は、大型格子におけるＰに近い。・最良の一致点になりそうな候補を発見するために、大型格子において点Ｐの周囲にＷ×Ｗ（画素×画素）（Ｗ＝３００とする）ウインドウを考える。各場合において、画像１を考慮して、大型格子内の点Ｐ周囲にＬ×Ｌ（画素×画素）（Ｌ＝３７５とする）領域を考え、画像２を考慮して、大型格子内において新たにずらして各点の周囲にＬ×Ｌ領域を考える（図２５では、Ｗ＝３００およびＬ＝３７５が使用される）。
【0077】
・これらのＬ×Ｌ領域においてローカル・エッジ・マップに基づいて、ローカル・面取りが行われ、粗雑照合の結果を最適にずらすために、最少コスト・ウインドウが選択される。
【0078】
・一例として、Ｌ−Ｗ＝７５、５画素ずつの刻みで、可能な限り最良のシフトを探す場合、検索点の総数＝（７５／５）２＝２２５となる（５を選択したのは、計算の複雑さを軽減するためであり、１画素のシフトによって、７５×５＝５６２５個のデータ点が得られる）。計算の観点から、２２５個の検索点の各々についてエッジ・マップ、およびエッジ・マップの距離変換を計算するのは、計算集約的であるおそれがある。したがって、ある実施形態では、エッジ・マップ全体の距離変換を計算し格納することによって、起こり得る計算上の問題に取り組む。次いで、ある実施形態では、計算を高速化するために、エッジ画像および距離変換画像から、適したウインドウを抜粋する(crop out)。ある実施形態では、適したウインドウは十分に大きいので、２つの領域が２つの画像において比較されるとき、十分なエッジに基づくコンテンツがこれらのウインドウ領域にあるため、第１画像における所与のテンプレート・ウインドウに対して、第２画像において正しいウインドウが発見されたときを明確に判断ことができる。ウインドウ・サイズが非常に小さい場合、「テンプレート・ウインドウ／検索ウインドウ」間の距離は非常に小さくなり、検索画像において最良のウインドウを識別することが困難になるおそれがあり、一方ウインドウ・サイズが大きくなる程、計算の複雑さが増大する。言い換えると、エッジ・マップ計算およびあらゆるエッジ・マップに対する距離変換（ローカル領域に基づく）は、計算集約的となるおそれがある。したがって、ある実施形態では、画像１および画像２双方が大型画像格子にマッピングされた後に、画像１および画像２についてエッジ・マップが１回計算され、次いでこれらの距離変換行列が保存される。ある実施形態では、ローカル領域（ウインドウ）を考えるとき、エッジ・マップおよび距離変換マップの抜粋バージョンを使用してもよい。したがって、ローカル領域についてエッジ・マップおよび距離変換マップを再計算することを回避することができる。
【0079】
・二進画像（エッジ・マップ画像）の距離変換は、Borgefors, Gunilla, “Distance Transformations In Digital Images, Computer Vision, Graphics, and Image Processing（デジタル画像、コンピュータ映像、グラフィクス、および画像処理における距離変換）, 34.3 (1986): 344-371に記載される公式を使用して計算することもできる。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。[0089]において説明したように、距離変換には単位が関連付けられない。これは、述べられた距離が画素数に関することを暗示する。所与の画像画素における距離変換値は、その画素から最も近いＯＮ画像画素までの距離である（ＯＮ画素とは、エッジ・マップにおいて値が１である画素のことである。即ち、これはエッジ点となる）。
【0080】
・ウインドウのサイズは、ユーザによって印される、または既に画像１内に存在する入力注釈のサイズに依存する。例えば、分析が行われるスケールにおいてユーザが６０×７０画素のサイズの注釈に印した場合（例えば、２×解像度）、ソース画像（画像１）におけるウインドウを、ターゲット画像におけるその周囲の領域と比較するために使用されるウインドウ・サイズも６０×７０となる。一旦粗いレジストレーションが行われたなら、図２３、図２４、および図２５に示すように、２つの画像は大まかに互いに整列され、一致する双方の画像が同じ格子上に重畳される。これは、図２５において実証したように、最良に一致するウインドウを発見するために近隣領域を検索するときに役立つ。
【0081】
コンピュータは、通例、プロセッサ、オペレーティング・システム、システム・メモリ、メモリ記憶デバイス、入力−出力コントローラ、入力−出力デバイス、およびディスプレイ・デバイスというような、既知のコンポーネントを含む。また、コンピュータには多くの可能な構成およびコンポーネントがあり、更に、キャッシュ・メモリ、データ・バックアップ・ユニット、および多くの他のデバイスを含んでもよいことも、当業者には理解されよう。入力デバイスの例には、キーボード、カーソル制御デバイス（例えば、マウス）、マイクロフォン、スキャナ等が含まれる。出力デバイスの例には、ディスプレイ・デバイス（例えば、モニタまたはプロジェクタ）、スピーカ、プリンタ、ネットワーク・カード等が含まれる。ディスプレイ・デバイスは、視覚的情報を提供するディスプレイ・デバイスを含むことができ、この情報は、通例、画素のアレイとして、論理的および／または物理的に編成することができる。また、入力および出力インターフェースを設けるための種々の既知のまたは今後のソフトウェア・プログラムの内任意のものを含むことができるインターフェース・コントローラも含むことができる。例えば、インターフェースには、１つ以上のグラフィカル表現をユーザに供給する「グラフィカル・ユーザ・インターフェース」（ＧＵＩと呼ばれることも多い）と一般に呼ばれるものを含むことができる。インターフェースは、通例、当業者には周知の選択または入力手段を使用して、ユーザ入力を受け入れることが可能にされる(enable)。また、インターフェースはタッチ・スクリーン・デバイスであってもよい。同一または代替実施形態において、コンピュータ上のアプリケーションは、「コマンド・ライン・インターフェース」（ＣＬＩと呼ばれることも多い）と呼ばれるものを含むインターフェースを採用することができる。ＣＬＩは、通例、アプリケーションとユーザとの間で、テキストに基づく対話処理を可能にする。通例、コマンド・ライン・インターフェースは、ディスプレイ・デバイスを介して、テキストのラインとして出力を提示し、入力を受ける。例えば、ある実施態様は、当業者には周知であるUnix（登録商標） Shellsのような「シェル」と呼ばれるもの、または Microsoft.NETフレームワークのようなオブジェクト指向型プログラミング・アーキテクチャを採用する Microsoft Windows（登録商標） Powershellを含むこともできる。インターフェースは、１つ以上のＧＵＩ、ＣＬＩ、またはその組み合わせを含むことができることは、当業者には認められよう。プロセッサは、Intel Corporation（インテル社）によって製造されるCeleron、 Core、またはPentium（登録商標）プロセッサ、 Sun Microsystems（サン・マイクロシステムズ社）によって製造されるSPARC プロセッサ、AMD Corporation（ＡＭＤ社）によって製造されるAthlon、Sempron、Phenom、またはOpteronプロセッサのような、市販のプロセッサを含むことができ、あるいは入手可能なまたは入手可能になる他のプロセッサの内の１つでもよい。プロセッサのある実施形態は、マルチコア・プロセッサと呼ばれるものを含んでもよく、および／または単一コアまたはマルチコア構成とした並列処理技術を採用することが可能にされてもよい。例えば、マルチコア・アーキテクチャは、通例、２つ以上のプロセッサ「実行コア」を含む。この例では、各実行コアが、多数のスレッドの並列実行を可能にする、独立したプロセッサとして実行することができる。加えて、プロセッサは、３２または６４ビット・アーキテクチャと一般に呼ばれるもの、あるいは現在知られているまたは今後開発されるかもしれない他のアーキテクチャ構成で構成されてもよいことも、当業者には認められよう。プロセッサは、通例、オペレーティング・システムを実行する。オペレーティング・システムは、例えば、Microsoft Corporation（マイクロソフト社）からのWindows（登録商標）型オペレーティング・システム、Apple Computer Corp.（アップル・コンピュータ社）からのMac OS Xオペレーティング・システム、多くの販売業者から入手可能なUnix（登録商標）またはLinux（登録商標）型オペレーティング・システムまたはオープン・ソースと呼ばれるもの、他のまたは今後のオペレーティング・システム、あるいはその何らかの組み合わせでもよい。オペレーティング・システムは、周知の様態でファームウェアおよびハードウェアとインターフェースし、プロセッサが種々のコンピュータ・プログラムの機能を調整および実行し易くする。コンピュータ・プログラムは、種々のプログラミング言語で書かれてもよい。オペレーティング・システムは、通例、プロセッサと協働して、コンピュータの他のコンポーネントの機能を調整および実行する。また、オペレーティング・システムは、スケジューリング、入力−出力制御、ファイルおよびデータ管理、メモリ管理、ならびに通信制御および関連サービスも提供し、これらは全て既知の技法に従う。システム・メモリは、所望の情報を格納するために使用することができコンピュータによってアクセスすることができる種々の既知のまたは今後のメモリ記憶デバイスの内任意のものを含むことができる。コンピュータ読み取り可能記憶媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含むことができ、コンピュータ読み取り可能命令、データ構造、プログラム・モジュール、または他のデータというような情報の格納のための任意の方法または技術で実現される。その例には、あらゆる一般に入手可能なランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリＲＯＭ）、電子的消去可能プログラマブル・リード・オンリ・メモリ（ＥＥＰＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、常駐ハード・ディスクまたはテープのような磁気媒体、リードおよびライト・コンパクト・ディスクのような光媒体、あるいはその他のメモリ記憶デバイスが含まれる。メモリ記憶デバイスは、コンパクト・ディスク・ドライブ、テープ・ドライブ、リムーバブル・ハード・ディスク・ドライブ、ＵＳＢまたはフラッシュ・ドライブ、またはディスケット・ドライブを含む、種々の既知のまたは今後のデバイスの内任意のものを含むことができる。このようなタイプのメモリ記憶デバイスは、それぞれ、コンパクト・ディスク、磁気テープ、リムーバブル・ハード・ディスク、ＵＳＢまたはフラッシュ・ドライブ、あるいはフロッピ・ディスケットのような、プログラム記憶媒体から読み出す、および／またはこれらに書き込むのが通例である。これらのプログラム記憶媒体、あるいは現在使用されているまたは今後開発されるかもしれないその他のものはいずれも、コンピュータ・プログラム製品と見なすことができる。認められようが、これらのプログラム記憶媒体は、通例、コンピュータ・ソフトウェア・プログラムおよび／またはデータを格納する。コンピュータ制御ロジックとも呼ばれるコンピュータ・ソフトウェア・プログラムは、通例、メモリ記憶デバイスと併せて使用されるシステム・メモリおよび／またはプログラム記憶デバイスに格納される。ある実施形態では、コンピュータ・プログラム製品は、制御ロジック（プログラム・コードを含むコンピュータ・ソフトウェア・プログラム）が内部に格納されたコンピュータ使用可能媒体を含むと説明した。制御ロジックは、プロセッサによって実行されると、このプロセッサに、その内部に記述された機能を実行させる。他の実施形態では、ある機能は、例えば、ハードウェア状態機械を使用して、主にハードウェアで実現される。本明細書において説明した機能を実行するようなハードウェア状態機械の実装は、当業者には明白であろう。入力−出力コントローラは、人であれ機械であれ、ローカルであれリモートであれ、ユーザからの情報を受け入れて処理する種々の既知のデバイスの内任意のものを含むことができる。このようなデバイスは、例えば、モデム・カード、ワイヤレス・カード、ネットワーク・インターフェース・カード、サウンド・カード、または種々の既知の入力デバイスの内任意のもののための他のタイプのコントローラを含む。出力コントローラは、人であれ機械であれ、ローカルであれリモートであれ、ユーザに情報を提示する種々の既知のディスプレイ・デバイスの内任意のもののコントローラを含むことができる。現在説明している実施形態では、コンピュータの機能エレメントは、システム・バスを通じて互いに通信する。コンピュータのある実施形態は、ネットワークまたは他のタイプの遠隔通信を使用して、ある機能エレメントと通信することができる。当業者には明白であろうが、計器制御および／またはデータ処理アプリケーションは、ソフトウェアで実現される場合、システム・メモリおよび／またはメモリ記憶デバイスにロードされ、そこから実行することができる。また、計器制御および／またはデータ処理アプリケーションの全部または一部は、メモリ記憶デバイスのリード・オンリ・メモリまたは同様のデバイスに存在してもよく、このようなデバイスでは、計器制御および／またはデータ処理アプリケーションが最初に入力−出力コントローラを介してロードされる必要はない。尚、計器制御および／またはデータ処理アプリケーション、あるいはその一部が、プロセッサによってシステム・メモリ、またはキャッシュ・メモリ、あるいは双方に、実行のために有利なように、既知の様態でロードされてもよいことは当業者には理解されよう。また、コンピュータは、システム・メモリに格納された１つ以上のライブラリ・ファイル、実験データ・ファイル、およびインターネット・クライアントを含んでもよい。例えば、実験データは、検出された信号値、あるいは合成（ＳＢＳ）実験またはプロセスによる１つ以上のシーケンス処理(sequencing)に関連付けられた他の値というような、１つ以上の実験または分析評価に関するデータを含むことができる。加えて、インターネット・クライアントは、ネットワークを使用して他のコンピュータ上におけるリモート・サービスにアクセスすることが可能にされた(enabled)アプリケーションを含むこともでき、例えば、一般に「ウェブ・ブラウザ」と呼ばれるものを含むことができる。この例では、一般に採用されるウェブ・ブラウザには、Microsoft Corporationから入手可能なMicrosoft Internet Explorer、 Mozilla Corporation（モジラ社）から入手可能なMozilla Firefox、Apple Computer Corp.から入手可能なSafari、Google Corporation（グーグル社）から入手可能なGoogle Chrome、または当技術分野において現在知られているまたは今後開発される他のタイプのウェブ・ブラウザが含まれる。また、同じまたは他の実施形態において、インターネット・クライアントが、生物学的用途のためのデータ処理アプリケーションというような、ネットワークを通じて離れた情報にアクセスすることが可能な特殊ソフトウェア・アプリケーションを含んでもよく、またはそのエレメントとなることもできる。ネットワークは、当業者には周知である多くの種々のタイプのネットワークの内１つ以上を含むことができる。例えば、ネットワークは、通信するために、ＴＣＰ／ＩＰプロトコル・スイートと一般に呼ばれるものを採用することができるローカルまたはワイド・エリア・ネットワークを含むこともできる。ネットワークは、インターネットと一般に呼ばれる、相互接続されたコンピュータ・ネットワークの世界規模のシステムを構成する(comprise)ネットワークを含んでもよく、または種々のイントラネット・アーキテクチャを含むこともできる。また、ネットワーク接続環境におけるあるユーザは、一般に「ファイヤウォール」（パケット・フィルタ、または境界保護デバイスと呼ばれることもある）と呼ばれるものを、ハードウェアおよび／またはソフトウェア・システムへおよびからの情報トラフィックを制御するために採用することを好む場合もあることを、当業者は認めよう。例えば、ファイヤウォールは、ハードウェア・エレメントまたはソフトウェア・エレメント、あるいはその何らかの組み合わせを含むことができ、通例、例えば、ネットワーク管理者等のような、ユーザによって導入されるセキュリティ方針を施行するために設計される。以
上、多数の実施形態について説明したが、更に他の実施形態も本開示によって包含されることは、当業者には理解されよう。尚、以上で説明した実施形態には、その広い発明概念から逸脱することなく、変更が可能であることは、当業者には認められよう。したがって、本開示および発明概念は、開示された特定の実施形態に限定されるのではなく、添付した特許請求の範囲において定められる通りのものを含む発明概念の主旨および範囲内における変更をカバーすることを意図することは理解されよう。したがって、種々の実施形態の以上の説明は、必然的に除外を暗示しない。例えば、「ある」(some)実施形態または「他の」(other)実施形態は、本発明の範囲内に該当する「ある」、「他の」、「今後の」、および「ある種の」実施形態の全部または一部を含むことができる。