▶ ベンタナ メディカル システムズ， インコーポレイテッドの特許一覧 ▶ プロヴィデンス・ヘルス・アンド・サービシーズ−オレゴンの特許一覧
特許7153095生体試料の複数の画像を表示するための画像処理システムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-04
(45)【発行日】2022-10-13
(54)【発明の名称】生体試料の複数の画像を表示するための画像処理システムおよび方法
(51)【国際特許分類】
G06T 1/00 20060101AFI20221005BHJP
【ＦＩ】
G06T1/00 290Z
【請求項の数】
20
(21)【出願番号】P 2021001982
(22)【出願日】2021-01-08
(62)【分割の表示】P 2018511146の分割
【原出願日】2016-08-25
(65)【公開番号】P2021073566
(43)【公開日】2021-05-13
【審査請求日】2021-01-28
(31)【優先権主張番号】62/213,487
(32)【優先日】2015-09-02
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507179346
【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド
(73)【特許権者】
【識別番号】516343550
【氏名又は名称】プロヴィデンス・ヘルス・アンド・サービシーズ－オレゴン
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100138759
【弁理士】
【氏名又は名称】大房 直樹
(72)【発明者】
【氏名】バーンズ，マイケル
(72)【発明者】
【氏名】チェン，ティーン
(72)【発明者】
【氏名】シェフドテル，クリストフ
(72)【発明者】
【氏名】タブス，アリサ
(72)【発明者】
【氏名】ビフルコ，カルロ
【審査官】村松 貴士
(56)【参考文献】
【文献】国際公開第２０１４／０８９４９９（ＷＯ，Ａ１）
【文献】国際公開第２０１４／１５０２７４（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
対象物体の同じ領域の複数のビューを同時に表示するためのシステムであって、プロセッサと、
前記プロセッサに結合されたメモリであって、コンピュータ読み取り可能命令を格納するメモリと、
を備え、前記コンピュータ読み取り可能命令は、前記プロセッサによって実行されると、前記システムに、
前記対象物体の少なくとも一部分に対応する前記同じ領域の複数のビューを表す複数の前処理画像を受け取るステップであって、各々の前処理画像は、（ｉ）画像ビュー・モード、および（ｉｉ）グローバル標準基準画像フレーム（ＧＳＲＦ）に関する前処理画像を記述するメタデータ、に関連付けられる、ステップと、
前記複数の前処理画像の同時表示を可能とする前記グローバル標準基準画像フレームに関する表示画像テンプレートを決定するステップと、
一組の表示可能画像を生成するステップであって、前記一組の表示可能画像のうちの各表示可能画像は、前記表示画像テンプレートに基づいて、前処理画像の画素位置を前記表示可能画像の対応する画素位置にマッピングするように生成される、ステップと、
前記一組の表示可能画像を表示画面上におけるビューのための表示パターンに配列するステップと、
前記配列された一組の表示可能画像を前記表示画面上に表示させるステップと、
を含む動作を実行させる、システム。
【請求項2】
前記表示画像テンプレートは、前記複数の前処理画像のうちの１つの前処理画像における画素の位置を示す基準画像フレームであり、各前処理画像の前記メタデータは、前処理画像のローカル基準画像フレーム（ＰＩ－ＬＲＦ）を含む、請求項１に記載のシステム。
【請求項3】
前記ＧＳＲＦは、各前処理画像のローカル基準フレームと前記グローバル標準基準画像フレームとの間のアフィン・マッピングを定めることによって、前記複数の前処理画像のうちの２つ以上の前処理画像間の空間的関係を示す固定基準画像フレームであり、前記メタデータは、前記ＰＩ－ＬＲＦと前記ＧＳＲＦとの間の第１のアフィン・マッピングを更に含む、請求項２に記載のシステム。
【請求項4】
前記動作は、更に、前記配列された一組の表示可能画像のうちの１つの表示可能画像を操作するためのユーザ動作を受け取るステップと、
前記配列された一組の表示可能画像のうちの他の全ての表示可能画像を、前記ユーザ動作に基づいて前記表示可能画像と調和するように操作するステップと、
を含む、請求項３に記載のシステム。
【請求項5】
前記表示画像テンプレートを決定するステップは、表示画像画素格子を作成するステップと、
前記表示画像画素格子に関連する画素位置を示す表示画像ローカル基準フレーム（ＤＩ－ＬＲＦ）を構築するステップであって、前記ＤＩ－ＬＲＦは、前記表示画像テンプレートに対応する、ステップと、
前記ＧＳＲＦを参照して前記ＤＩ－ＬＲＦに関する位置、方位、および倍率を決定するステップと、
前記ＤＩ－ＬＲＦの画素位置を前記ＧＳＲＦの画素位置にマッピングするアフィン変換を計算するステップと、
前記計算されたアフィン変換に基づいて前記表示画像テンプレートのアフィン部分マッピングを生成するステップと、
を含む、請求項３に記載のシステム。
【請求項6】
前記一組の表示可能画像を生成するステップは、更に、前記表示画像テンプレートおよび前記表示画像テンプレートの前記アフィン部分マッピングのコピーを構築するステップと、
前記アフィン部分マッピングを前記前処理画像の第１アフィン・マッピングと共に処理して複合マッピングを生成するステップであって、前記複合マッピングは、前記表示可能画像の前記対応する画素位置に対する、前記前処理画像の前記画素位置を示す、ステップと、
前記一組の表示可能画像のうちの１つの表示可能画像を生成するステップであって、前記表示可能画像は、一組の画素を含み、前記表示可能画像は、
一組の画像画素のうちの画像画素毎に、
前記複合マッピングを用いて、前記画像画素の位置を前記前処理画像における画素の対応する位置へマッピングするステップと、
前記対応する位置に基づいて前記前処理画像における近隣画素の画素値を推定するステップと、
前記近隣画素の前記推定された画素値を前記画像画素の画素値として指定するステップと、
を含む動作に基づいて生成される、ステップと、
を含む、請求項５に記載のシステム。
【請求項7】
前記対象物体は、生体組織標本である、請求項３に記載のシステム。
【請求項8】
前記一組の表示可能画像を生成するステップは、更に、前記複数の前処理画像の各前処理画像に対して非線形補正を行うステップを含む、請求項３に記載のシステム。
【請求項9】
前記動作は、更に、（ｉ）前記表示可能画像上における前記ユーザ動作に応答して、前記表示画面上で調和して前記一組の表示可能画像の倍率レベルを増加させるステップ、（ｉｉ）前記表示可能画像上における前記ユーザ動作に応答して、前記表示画面上で調和して前記一組の表示可能画像を移動させるステップ、（ｉｉｉ）前記表示可能画像上における前記ユーザ動作に応答して、前記表示画面上で調和して前記一組の表示可能画像を回転するステップ、または（ｉｖ）それらの組み合わせ、を含む、請求項４に記載のシステム。
【請求項10】
命令を格納した非一時的コンピュータ読み取り可能媒体であって、前記命令は、対象物体の同じ領域の複数のビューを同時に表示するためのシステムの１または複数のプロセッサによって実行されると、前記システムに、前記対象物体の少なくとも一部分に対応する前記同じ領域の複数のビューを表す複数の前処理画像を受け取るステップであって、各々の前処理画像は、（ｉ）画像ビュー・モード、および（ｉｉ）グローバル標準基準画像フレーム（ＧＳＲＦ）に関する前処理画像を記述するメタデータ、に関連付けられる、ステップと、
前記複数の前処理画像の同時表示を可能とする前記グローバル標準基準画像フレームに関する表示画像テンプレートを決定するステップと、
一組の表示可能画像を生成するステップであって、前記一組の表示可能画像のうちの各表示可能画像は、前記表示画像テンプレートに基づいて、前処理画像の画素位置を前記表示可能画像の対応する画素位置にマッピングするように生成される、ステップと、
前記一組の表示可能画像を表示画面上におけるビューのための表示パターンに配列するステップと、
前記配列された一組の表示可能画像を前記表示画面上に表示させるステップと、
を含む方法を実行させる、非一時的コンピュータ読み取り可能媒体。
【請求項11】
前記表示画像テンプレートは、前記複数の前処理画像のうちの１つの前処理画像における画素の位置を示す基準画像フレームであり、各前処理画像の前記メタデータは、前処理画像のローカル基準画像フレーム（ＰＩ－ＬＲＦ）を含む、請求項１０に記載の非一時的コンピュータ読み取り可能媒体。
【請求項12】
前記ＧＳＲＦは、各前処理画像のローカル基準フレームと前記グローバル標準基準画像フレームとの間のアフィン・マッピングを定めることによって、前記複数の前処理画像のうちの２つ以上の前処理画像間の空間的関係を示す固定基準画像フレームであり、前記メタデータは、前記ＰＩ－ＬＲＦと前記ＧＳＲＦとの間の第１のアフィン・マッピングを更に含む、請求項１１に記載の非一時的コンピュータ読み取り可能媒体。
【請求項13】
前記表示画像テンプレートを決定するステップは、表示画像画素格子を作成するステップと、
前記表示画像画素格子に関連する画素位置を示す表示画像ローカル基準フレーム（ＤＩ－ＬＲＦ）を構築するステップであって、前記ＤＩ－ＬＲＦは、前記表示画像テンプレートに対応する、ステップと、
前記ＧＳＲＦを参照して前記ＤＩ－ＬＲＦに関する位置、方位、および倍率を決定するステップと、
前記ＤＩ－ＬＲＦの画素位置を前記ＧＳＲＦの画素位置にマッピングするアフィン変換を計算するステップと、
前記計算されたアフィン変換に基づいて前記表示画像テンプレートのアフィン部分マッピングを生成するステップと、
を含む、請求項１２に記載の非一時的コンピュータ読み取り可能媒体。
【請求項14】
前記一組の表示可能画像を生成するステップは、更に、前記表示画像テンプレートおよび前記表示画像テンプレートの前記アフィン部分マッピングのコピーを構築するステップと、
前記アフィン部分マッピングを前記前処理画像の第１アフィン・マッピングと共に処理して複合マッピングを生成するステップであって、前記複合マッピングは、前記表示可能画像の前記対応する画素位置に対する、前記前処理画像の前記画素位置を示す、ステップと、
前記一組の表示可能画像のうちの１つの表示可能画像を生成するステップであって、前記表示可能画像は、一組の画素を含み、前記表示可能画像は、
一組の画像画素のうちの画像画素毎に、
前記複合マッピングを用いて、前記画像画素の位置を前記前処理画像における画素の対応する位置へマッピングするステップと、
前記対応する位置に基づいて前記前処理画像における近隣画素の画素値を推定するステップと、
前記近隣画素の前記推定された画素値を前記画像画素の画素値として指定するステップと、
を含む動作に基づいて生成される、ステップと、
を含む、請求項１３に記載の非一時的コンピュータ読み取り可能媒体。
【請求項15】
前記対象物体は、生体組織標本である、請求項１２に記載の非一時的コンピュータ読み取り可能媒体。
【請求項16】
コンピュータ実装方法であって、対象物体の少なくとも一部分に対応する同じ領域の複数のビューを表す複数の前処理画像を受け取るステップであって、各々の前処理画像は、（ｉ）画像ビュー・モード、および（ｉｉ）グローバル標準基準画像フレーム（ＧＳＲＦ）に関する前処理画像を記述するメタデータ、に関連付けられる、ステップと、
前記複数の前処理画像の同時表示を可能とする前記グローバル標準基準画像フレームに関する表示画像テンプレートを決定するステップと、
一組の表示可能画像を生成するステップであって、前記一組の表示可能画像のうちの各表示可能画像は、前記表示画像テンプレートに基づいて、前処理画像の画素位置を前記表示可能画像の対応する画素位置にマッピングするように生成される、ステップと、
前記一組の表示可能画像を表示画面上におけるビューのための表示パターンに配列するステップと、
前記配列された一組の表示可能画像を前記表示画面上に表示させるステップと、
を含む、コンピュータ実装方法。
【請求項17】
前記表示画像テンプレートは、前記複数の前処理画像のうちの１つの前処理画像における画素の位置を示す基準画像フレームであり、各前処理画像の前記メタデータは、前処理画像のローカル基準画像フレーム（ＰＩ－ＬＲＦ）を含み、前記対象物体は、生体組織標本である、請求項１６に記載のコンピュータ実装方法。
【請求項18】
前記ＧＳＲＦは、各前処理画像のローカル基準フレームと前記グローバル標準基準画像フレームとの間のアフィン・マッピングを定めることによって、前記複数の前処理画像のうちの２つ以上の前処理画像間の空間的関係を示す固定基準画像フレームであり、前記メタデータは、前記ＰＩ－ＬＲＦと前記ＧＳＲＦとの間の第１のアフィン・マッピングを更に含む、請求項１７に記載のコンピュータ実装方法。
【請求項19】
前記表示画像テンプレートを決定するステップは、表示画像画素格子を作成するステップと、
前記表示画像画素格子に関連する画素位置を示す表示画像ローカル基準フレーム（ＤＩ－ＬＲＦ）を構築するステップであって、前記ＤＩ－ＬＲＦは、前記表示画像テンプレートに対応する、ステップと、
前記ＧＳＲＦを参照して前記ＤＩ－ＬＲＦに関する位置、方位、および倍率を決定するステップと、
前記ＤＩ－ＬＲＦの画素位置を前記ＧＳＲＦの画素位置にマッピングするアフィン変換を計算するステップと、
前記計算されたアフィン変換に基づいて前記表示画像テンプレートのアフィン部分マッピングを生成するステップと、
を含む、請求項１８に記載のコンピュータ実装方法。
【請求項20】
前記一組の表示可能画像を生成するステップは、更に、前記表示画像テンプレートおよび前記表示画像テンプレートの前記アフィン部分マッピングのコピーを構築するステップと、
前記アフィン部分マッピングを前記前処理画像の第１アフィン・マッピングと共に処理して複合マッピングを生成するステップであって、前記複合マッピングは、前記表示可能画像の前記対応する画素位置に対する、前記前処理画像の前記画素位置を示す、ステップと、
前記一組の表示可能画像のうちの１つの表示可能画像を生成するステップであって、前記表示可能画像は、一組の画素を含み、前記表示可能画像は、
一組の画像画素のうちの画像画素毎に、
前記複合マッピングを用いて、前記画像画素の位置を前記前処理画像における画素の対応する位置へマッピングするステップと、
前記対応する位置に基づいて前記前処理画像における近隣画素の画素値を推定するステップと、
前記近隣画素の前記推定された画素値を前記画像画素の画素値として指定するステップと、
を含む動作に基づいて生成される、ステップと、
を含む、請求項１９に記載のコンピュータ実装方法。
【発明の詳細な説明】
【技術分野】
【0001】
[0001] 本開示は、医療診断用の撮像に関する。更に特定すれば、本開示は、視野（ＦＯＶ：field of view）画像の調和した表示および変換に関する。
【背景技術】
【0002】
[0002] 組織切片、血液、細胞培養等のような生体試料の分析において、生体試料は、染料の１つ以上の組み合わせによって染色され、結果的に得られたアッセイが、更なる分析のために、視認または撮像される。アッセイを観察すると、種々のプロセスが可能になり、これらのプロセスには、疾病の診断、処置に対する応答の評価、および疾病と闘うための新たな薬剤の開発が含まれる。アッセイは、試料内におけるタンパク質、タンパク質断片、またはその他の対象物体に結合する(bind)抗体に共役された(conjugated)１つ以上の染料を含む。これらのことを以下ではターゲット(target)またはターゲット物体と呼ぶ。試料においてターゲットを染料に結合する抗体またはその他の複合体(compound)を、本開示では、バイオマーカと呼ぶ。一部のバイオマーカは染料に対して固定関係を有し（例えば、しばしば使用される対比染色ヘマトキシリン）、一方他のバイオマーカでは、新たなアッセイを開発および作成するために染料の選択を使用することができる。染色に続いて、組織試料の内容の更なる分析のために、アッセイを撮像することができる。スライド全体の画像は、通例、ホール・スライド画像、または単純に、ホール・スライドと呼ばれる。
【0003】
[0003] 通例、浸潤度の計算では、科学者は、例えば、同じ組織ブロック内において複数のタンパク質または核酸等を検出または定量化するために、組織の一片を染色することを伴う多重アッセイ、または隣接する連続組織切片を染色することを伴う単純アッセイを使用する。利用可能になった染色スライドによって、免疫学的データ、例えば、免疫細胞の種類、密度、および位置を、腫瘍組織標本(sample)から推定することができる。このデータは、大腸癌の患者の生存(survival)を予測するために使用することができ、重要な予後的役割を明示することが報告されている。
【0004】
[0004] 湿潤度計算のための従前からのワークフローでは、病理学者または生物学者のような専門家の読み手(expert reader)が、初期ステップとして、ディスプレイ上におい
て既に走査／ディジタル化されているスライドを見直すまたはスライドの画像を読み取ることによって、手作業で代表的な視野（ＦＯＶ）または対象領域（ＲＯＩ）を顕微鏡の下で選択する。組織スライドが走査されるとき、走査された画像は独立した読み手によって目視され、読み手の個人的好みに基づいてＦＯＶに手作業マークされる。ＦＯＶを選択した後、コンピュータは、各ＦＯＶにおいて自動アルゴリズムによって免疫細胞の数量(counts)を生成するか、または病理学者／読み手が、選択されたＦＯＶ内において手作業で免疫細胞の個数を数える。異なる読み手が異なるＦＯＶを選択して数える可能性があるので、手作業でのＦＯＶの選択および計数は、非常に主観的であり、読み手よって偏りが生ずる。したがって、湿潤度の研究はもはや再現可能ではない。視野の選択を自動化することによって、均一な方法を適用し、個々の読み手の主観性を低減する。更に、ＦＯＶ選択を実行するために低解像度の画像を使用することによって、計算効率が向上し、分析者が素早く組織領域の分析に進むことが可能になる。
て既に走査／ディジタル化されているスライドを見直すまたはスライドの画像を読み取ることによって、手作業で代表的な視野（ＦＯＶ）または対象領域（ＲＯＩ）を顕微鏡の下で選択する。組織スライドが走査されるとき、走査された画像は独立した読み手によって目視され、読み手の個人的好みに基づいてＦＯＶに手作業マークされる。ＦＯＶを選択した後、コンピュータは、各ＦＯＶにおいて自動アルゴリズムによって免疫細胞の数量(counts)を生成するか、または病理学者／読み手が、選択されたＦＯＶ内において手作業で免疫細胞の個数を数える。異なる読み手が異なるＦＯＶを選択して数える可能性があるので、手作業でのＦＯＶの選択および計数は、非常に主観的であり、読み手よって偏りが生ずる。したがって、湿潤度の研究はもはや再現可能ではない。視野の選択を自動化することによって、均一な方法を適用し、個々の読み手の主観性を低減する。更に、ＦＯＶ選択を実行するために低解像度の画像を使用することによって、計算効率が向上し、分析者が素早く組織領域の分析に進むことが可能になる。
【0005】
[0005] 組織標本のビューは、いずれの１つからでも、疾病状態の様々な診断が可能になるのはよくあることである。様々な異なるビューの厄介な試験は、いずれの特定の診断においても焦点を絞るためには、専門家の読み手の記憶に頼らなければならない。
【0006】
[0006] 先行技術は、例えば、Graham et al.によるＵＳ２００３／０２１０２６２を
含む。これは、大まかには、互いに隣接する顕微鏡スライドの同じ領域の少なくとも２つのビューを表示し、これらのビューは異なる照明条件を提供し(offer)、目視デバイスは
同様の直線的平行移動を提供する。
含む。これは、大まかには、互いに隣接する顕微鏡スライドの同じ領域の少なくとも２つのビューを表示し、これらのビューは異なる照明条件を提供し(offer)、目視デバイスは
同様の直線的平行移動を提供する。
【0007】
[0007] 最後に、Ruddle et al.によるＵＳ２０１２／０３２００９４は、概略的に、
目視画面上において互いに隣接する同じ領域の少なくとも２つの顕微鏡スライド画像を異なる倍率で表示することを教示する。
目視画面上において互いに隣接する同じ領域の少なくとも２つの顕微鏡スライド画像を異なる倍率で表示することを教示する。
【0008】
[0008] ＦＯＶの自動識別は、ＵＳ６２／００５，２２２およびＰＣＴ／ＥＰ２０１５／０６２０１５に開示されている。これらの文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。
【発明の概要】
【0009】
[0010] 本発明は、独立請求項１および９において特許請求するように、生体組織領域の複数の画像を表示するための画像処理方法、およびそれぞれの画像処理システムを提供する。本発明の実施形態、および本発明の更に別の態様は、更に別の従属請求項および独立請求項において提供する。
【0010】
[0011] 「組織標本」(tissue sample)とは、本明細書において解釈する場合、解剖病
理学のためにヒトまたは動物の身体から得られた外科生検試料(surgical biopsy specimen)のような、組織領域から得られた任意の生体標本(biological sample)である。組織標本は、平伏組織標本、胸部組織標本、結腸組織標本、あるいは他の臓器または身体領域から得られた組織標本であってもよい。
理学のためにヒトまたは動物の身体から得られた外科生検試料(surgical biopsy specimen)のような、組織領域から得られた任意の生体標本(biological sample)である。組織標本は、平伏組織標本、胸部組織標本、結腸組織標本、あるいは他の臓器または身体領域から得られた組織標本であってもよい。
【0011】
[0012] 「マルチチャネル画像」(multi-channel image)とは、本明細書において解釈
する場合、核構造および組織構造のような異なる生体構造が特定の蛍光色素によって同時に染色される生体組織標本から得られたディジタル画像を包含する。蛍光色素の各々は、異なるスペクトル帯域において蛍光し、つまり、マルチチャネル画像のチャネルの内１つを構成する。生体組織標本は、複数の染料によって、および／または１つの染料および１つの対比染料によって染色されてもよく、後者を「単一マーカ画像」とも呼ぶ。
する場合、核構造および組織構造のような異なる生体構造が特定の蛍光色素によって同時に染色される生体組織標本から得られたディジタル画像を包含する。蛍光色素の各々は、異なるスペクトル帯域において蛍光し、つまり、マルチチャネル画像のチャネルの内１つを構成する。生体組織標本は、複数の染料によって、および／または１つの染料および１つの対比染料によって染色されてもよく、後者を「単一マーカ画像」とも呼ぶ。
【0012】
[0013] 「分離画像」(unmixed image)とは、本明細書において解釈する場合、マルチ
チャネル画像の１つのチャネルについて得られる中間値またはスカラー画像を含む。マルチチャネル画像を分離することによって、チャネル毎に１つの分離画像が得られる。
チャネル画像の１つのチャネルについて得られる中間値またはスカラー画像を含む。マルチチャネル画像を分離することによって、チャネル毎に１つの分離画像が得られる。
【0013】
[0014] 「カラー・チャネル」(color channel)とは、本明細書において解釈する場合
、画像センサのチャネルである。例えば、画像センサは、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）のような、３つのカラー・チャネルを有することができる。
、画像センサのチャネルである。例えば、画像センサは、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）のような、３つのカラー・チャネルを有することができる。
【0014】
[0015] 「ヒート・マップ」(heat map)とは、本明細書において解釈する場合、マトリクス内に含まれる個々の値がカラーとして表されるデータのグラフィック表現である。
[0016] 「閾値設定」(thresholding)とは、本明細書において解釈する場合、既定の閾値の適用、または並び替えリストを提供するための極大値の並び替え、および並び替えリストの上位からの所定数の極大値の選択を包含する。
[0016] 「閾値設定」(thresholding)とは、本明細書において解釈する場合、既定の閾値の適用、または並び替えリストを提供するための極大値の並び替え、および並び替えリストの上位からの所定数の極大値の選択を包含する。
【0015】
[0017] 「空間ロー・パス・フィルタリング」とは、本明細書において解釈する場合、画像画素の近隣においてロー・パス・フィルタリング処理を実行する空間フィルタを使用する空間フィルタリングを包含し、具体的には線形または非線形処理である。具体的には、空間ロー・パス・フィルタリングは、畳み込みフィルタを適用することによって実行されてもよい。空間フィルタリングは、先行技術（Digital Image Processing（ディジタル画像処理）, Third Edition, Rafael C. Gonzalez, Richard E. Woods, page 145, chapter 3.4.1を参照のこと）から周知のようなものである。
【0016】
[0018] 「極大値フィルタリング」(local maximum filtering)とは、本明細書におい
て解釈する場合、画素が部分画像エリア内における最大値に等しい場合、これを極大値と見なすフィルタリング処理を包含する。極大値フィルタリングは、いわゆるマックス・フィルタ(max filter)を適用することによって実現することができる（Digital Image Processing（ディジタル画像処理）, Third Edition, Rafael C. Gonzalez, Richard E. Woods, page 326, chapter 5を参照のこと）。
て解釈する場合、画素が部分画像エリア内における最大値に等しい場合、これを極大値と見なすフィルタリング処理を包含する。極大値フィルタリングは、いわゆるマックス・フィルタ(max filter)を適用することによって実現することができる（Digital Image Processing（ディジタル画像処理）, Third Edition, Rafael C. Gonzalez, Richard E. Woods, page 326, chapter 5を参照のこと）。
【0017】
[0019] 「視野（ＦＯＶ）」(field of view)とは、本明細書において解釈する場合、
所定のサイズ、および矩形または円形のような形状を有する画像部分を包含する。
[0020] 本発明の実施形態によれば、癌生検組織標本の組織領域を近隣組織スライスにスライスする。これらの組織スライスは、それぞれの生物学的特徴の識別のために、１つまたは複数の染料によってマークすることができる。ＲＧＢ画像センサのような、多数のカラー・チャネルを有する画像センサによって、マークした組織スライスの各々からディジタル画像を取得する(acquire)。
所定のサイズ、および矩形または円形のような形状を有する画像部分を包含する。
[0020] 本発明の実施形態によれば、癌生検組織標本の組織領域を近隣組織スライスにスライスする。これらの組織スライスは、それぞれの生物学的特徴の識別のために、１つまたは複数の染料によってマークすることができる。ＲＧＢ画像センサのような、多数のカラー・チャネルを有する画像センサによって、マークした組織スライスの各々からディジタル画像を取得する(acquire)。
【0018】
[0021] 取得した複数のディジタル画像に関して、画像レジストレーション・アルゴリズム(image registration algorithm)を実行する。先行技術から周知のものというような、種々の適した画像レジストレーション・アルゴリズムを、画像レジストレーションを実行するために使用することができる（https://en.wikipedia.org/wiki/lmage registrationおよびhttp://tango.andrew.cmu.edu/~gustavor/42431-intro-bioimaging/readings/ch8.pdfを参照のこと）。具体的に、画像レジストレーションを実行するためにアフィン変
換を利用することができる。
換を利用することができる。
【0019】
[0022] 画像レジストレーション・アルゴリズムは、画像の対応する点を位置合わせする幾何学的変換(geometrical transformation)を実行する(generate)。幾何学的変換は、マッピングの形態で提供することができ、各マッピングは、画像の１つの点を、画像の他の１つの対応する点にマッピングする。
【0020】
[0023] 画像は、画像レジストレーションにしたがって位置合わせされる。言い換えると、画像を位置合わせしディスプレイ上の二次元平面に位置合わせ画像を表示するために、画像レジストレーション・アルゴリズムによって生成された幾何学的変換を画像に適用する。その結果、ディスプレイは、二次元平面で表示される画像の各１つが一致する組織領域(matching tissue region)を示すように、レジストレーションおよび位置合わせ後の複数の画像を示す。
【0021】
[0024] 表示された画像の１つに関して、画像上でマウス・クリックを実行する、マウス・ホイールを回転させる、またはタッチ感応表示画面を介して入力されるジェスチャを実行することによってというようにして、画像変換コマンドをグラフィカル・ユーザ・インターフェースを介して入力することができる。例えば、画像変換コマンドは、視野を選択することによってというようにして、拡大ズームまたは縮小ズームを実行するため、あるいは回転または他の画像変換を実行するためのコマンドである。
【0022】
[0025] 表示画像の１つを変換するための画像変換コマンドの入力に応答して、他の画像を同時に同様に変換する。これは、画像レジストレーション・アルゴリズムによって既に生成されている、マッピングのような、幾何学的変換を使用して行われる。その結果、画像変換コマンドに応答して画像の全てにおいて画像変換が調和して実行される。
【0023】
[0026] 本発明の実施形態は、病理学者のようなユーザが、直観的な方法で組織領域の組織スライスから得られた画像を容易に視認し操作することができ、診断を実行するタスクを容易に行えるようにするので、特に有利である。
【0024】
[0027] 本発明の実施形態によれば、組織スライスの少なくとも１つが、マルチチャネル画像の取得のために、複数の染料によってマークされる。マルチチャネル画像を分離して(unmixed)、１組の分離画像を供給する。分離画像は、互いに関しても、マルチチャネ
ル画像に関しても一致させる(register)必要はない。何故なら、これらは全て、組織スライスの１つから光センサによって取得された同一のデータ集合に基づくからである。マルチチャネル画像は、１組の分離画像を除いて、複数の画像に関して画像レジストレーション・アルゴリズムを実行するための基準画像として選択される。これによって、分離画像を除いて、複数の画像の各々の基準画像に対するマッピングが得られる。
ル画像に関しても一致させる(register)必要はない。何故なら、これらは全て、組織スライスの１つから光センサによって取得された同一のデータ集合に基づくからである。マルチチャネル画像は、１組の分離画像を除いて、複数の画像に関して画像レジストレーション・アルゴリズムを実行するための基準画像として選択される。これによって、分離画像を除いて、複数の画像の各々の基準画像に対するマッピングが得られる。
【0025】
[0028] 画像レジストレーションのための基準画像としてマルチチャネル画像を使用することが有利なのは、画像レジストレーションおよび画像の位置合わせを実行する計算コストが低減するからである。これは、分離画像には画像レジストレーションおよび位置合わせが不要であるからである。
【0026】
[0029] 本発明の一実施形態によれば、画像変換コマンドは、拡大ズームまたは縮小ズーム・コマンドであり、ジェスチャ認識を使用して、グラフィカル・ユーザ・インターフェースを介して受け取られる。例えば、拡大ズームまたは縮小ズーム画像変換コマンドを入力するために行われるユーザのジェスチャは、２本の指を表示画像の１つに置くことによって実行されるピンチ・ジェスチャ(pinch gesture)である。つまり、画像変換コマンドは、表示画像の内ユーザが彼または彼女の指を置いた１つに関して受け取られ、この画像に関して、そして他の表示画像に関して同期して実行される。
【0027】
[0030] 本発明の更に他の実施形態によれば、取得した複数の画像をサーバ・コンピュータ上に格納する。これらの画像は、サーバ・コンピュータから、スマートフォンまたは移動体コンピュータのような、移動体バッテリ給電型電気通信デバイスに、電気通信ネットワークを通じて、電気通信デバイスのディスプレイ上に画像を表示するために送信される。これによって、画像のアクセスおよび視認に関して、最大限度の柔軟性が得られる。
【0028】
[0031] 本発明の一実施形態によれば、画像レジストレーション・アルゴリズムの少なくとも実行は、サーバ・コンピュータによって実行され、マッピングのような、結果的に行われる幾何学的変換は、画像と共に、サーバ・コンピュータから電気通信デバイスに送信される。これは、画像レジストレーション・アルゴリズムが相当な計算処理電力を必要とする場合もあるので、有利であると考えられる。移動体バッテリ給電型電気通信デバイス上ではなく、サーバ・コンピュータによって画像レジストレーション・アルゴリズムを前処理ステップとして実行することは、バッテリ電力を節約し、ユーザが感じる(experienced)レイテンシ時間を短縮する利点がある。
【0029】
[0032] 本発明の実施形態によれば、画像の１つ以上において、１つ以上の視野が自動的に画定される。画像の１つにおける視野の位置を示すために、矩形ボックスのような図形シンボルを表示してもよい。ユーザは、タッチ感応ディスプレイ上でこの図形シンボルをタッチすることによってというようにして、それぞれの図形シンボルを選択することによって、視野に関して画像変換コマンドを入力することができる。図形シンボルの選択に応答して、拡大ズーム画像変換を、その視野に関して、そして他の画像において位置合わせされた画像部分に関して同期して実行することができる。
【0030】
[0033] また、電気通信デバイスの計算負担を低減するために、視野の自動画定もサーバ・コンピュータによって実行し、バッテリ寿命を伸ばし、レイテンシ時間を短縮することができる。この場合、画定された視野を記述するメタデータをサーバ・コンピュータによって生成し、サーバ・コンピュータによって画定された視野の位置を示す図形シンボルを電気通信デバイスが表示することを可能にするために、画像と一緒にネットワークを通じてメタデータを送信する。
【0031】
[0034] 本発明の更に他の態様によれば、本発明の方法を実行するように構成された画像処理システムを提供する。
[0035] 本発明は、１つの目視画面上に互いに隣接して示される同じ組織領域の複数の診断画像の一斉検討(coordinated review)を可能にするという驚異的な効果がある。全ての画像は、共通基準フレームに対して位置合わせおよび拡縮調整され(scale)、これらを
全て一緒に平行移動(translate)および拡縮ズーミング(zoom)することができ、各々が組
織学の重要な側面を示す。これによって、１つの画像はいずれも、専門家の読み手からの不確実性が高い(more tentative)結論を支持するだけかもしれないが、重要な条件の確定診断を目的を絞って行うことを可能にする。
[0035] 本発明は、１つの目視画面上に互いに隣接して示される同じ組織領域の複数の診断画像の一斉検討(coordinated review)を可能にするという驚異的な効果がある。全ての画像は、共通基準フレームに対して位置合わせおよび拡縮調整され(scale)、これらを
全て一緒に平行移動(translate)および拡縮ズーミング(zoom)することができ、各々が組
織学の重要な側面を示す。これによって、１つの画像はいずれも、専門家の読み手からの不確実性が高い(more tentative)結論を支持するだけかもしれないが、重要な条件の確定診断を目的を絞って行うことを可能にする。
【0032】
[0036] 本発明は、少なくとも、以下の有利な特徴およびロバスト性を有する。
[0037] １．画像ビジュアライゼーション(image visualization)のために、共通の表
示基準フレームを選択し使用する。
[0037] １．画像ビジュアライゼーション(image visualization)のために、共通の表
示基準フレームを選択し使用する。
【0033】
[0038] ２．表示可能な画像を生成するために前処理画像毎に目的ビューを構築することによって、生体組織標本の前処理画像を共通表示基準フレームに変換する。
[0039] ３．共通表示基準フレームを動的に変更するために、ユーザ・ジェスチャを受け入れる。例えば、画像を同時に平行移動させる、回転させる、倍率を高めることができる。
[0039] ３．共通表示基準フレームを動的に変更するために、ユーザ・ジェスチャを受け入れる。例えば、画像を同時に平行移動させる、回転させる、倍率を高めることができる。
【0034】
[0040] ４．各画像が生体試料標本の重要な面(aspect)を強調するために異なる染色を示すとき、同時ビューは、これらの同じ画像の順次検査を行う専門家の読み手の記憶に頼ることによって行うことができる診断よりも、一層確実な組織条件の診断を提供する。
【0035】
[0041] 更に、本発明は、連続ミクロトム・スライスから導き出される画像も受け入れることができる。これらのスライスは、対象の共通する特徴を位置合わせするために、平行移動に加えて回転も必要となる場合がある。また、本発明は、組織切片における画像の位置を記述するために、画像にメタデータをタグ付けすることができ、この情報は、表示のために画像を共通基準フレームに対して調節するアフィン変換の構築(construction)に使用される。加えて、本発明は、全ての画像を同じ倍率で同時に拡大することも可能にする。
【0036】
[0042]
[0043] 一実施形態では、本開示は、生体組織標本の同じ領域の複数のビューを同時に表示するシステムを特徴とする。このシステムは、プロセッサと、このプロセッサに結合されたメモリとを含むのでもよい。メモリは、コンピュータ読み取り可能命令を格納することができ、このコンピュータ読み取り可能命令がプロセッサによって実行されると、このプロセッサに動作を実行させる。
[0043] 一実施形態では、本開示は、生体組織標本の同じ領域の複数のビューを同時に表示するシステムを特徴とする。このシステムは、プロセッサと、このプロセッサに結合されたメモリとを含むのでもよい。メモリは、コンピュータ読み取り可能命令を格納することができ、このコンピュータ読み取り可能命令がプロセッサによって実行されると、このプロセッサに動作を実行させる。
【0037】
[0044] 他の実施形態では、本開示は、生体組織標本の同じ領域の複数のビューを同時に表示する方法を特徴とする。この方法は、撮像分析システムによって実現されてもよく、コンピュータ読み取り可能媒体上に格納されてもよい。この方法は、動作を実行するためにプロセッサによって実行される論理命令を含んでもよい。
【0038】
[0045] ある実施形態では、前述の動作は、生体組織標本の複数の前処理画像を受け取る動作、画像ビジュアライゼーションに使用される共通表示基準フレームを選択する(choose)動作、複数の表示可能な画像を生成するために複数の前処理画像の各前処理画像に目的ビューを構築することによって、複数の前処理画像を共通表示基準フレームに変換する動作、表示画面上における目視のために、複数の表示可能画像を表示パターンに配列する動作、複数の表示可能な画像を表示画面上に表示する動作、および共通表示基準フレームを動的に変更するためにユーザ・ジェスチャを受け入れる動作を含んでもよい。
【0039】
[0046] 更に他の実施形態では、前述の動作は、更に、インターフェース・デバイスからの入力ジェスチャに応答して表示画面上で調和して複数の画像を平行移動、回転、ならびに拡大ズーミングおよび縮小ズーミングし、撮像した生体組織標本の所望の視点(perspective)を提供する動作、表示画面上で複数の画像から１つ以上の画像を除去して表示画
面を片付ける動作、新たなモード画像を表示画面上に追加する動作、表示パターンを再構成して代替表示パターンを形成する動作、２つ以上の画像モードを積み重ねて画像の特徴を補強する(reinforce)する動作、および現在の試験の表示パターンを、今後の試験のた
めの保存テンプレートとして保存する動作も含んでもよい。
面を片付ける動作、新たなモード画像を表示画面上に追加する動作、表示パターンを再構成して代替表示パターンを形成する動作、２つ以上の画像モードを積み重ねて画像の特徴を補強する(reinforce)する動作、および現在の試験の表示パターンを、今後の試験のた
めの保存テンプレートとして保存する動作も含んでもよい。
【0040】
[0047] 本特許の一実施形態では、予備レジストレーション画像の集合体をＦＯＶ分析によって供給してもよい。ＦＯＶ分析の例については、本明細書において説明する。画像には、共通基準フレームに関してこれらの個々の配置、回転、倍率を記述するメタデータを、タグ付けする。いずれの新たな基準フレームとでも、メタデータは、画像の本来の基準フレームと、新たなフレームとの間におけるアフィン・マッピングを定めることができる。
【0041】
[0048] 新たなフレームへの再撮像は、新たなフレームにおけるディスティネーション画素(destination pixel)を、画像のソース・フレームにおけるその対応する位置に逆に
マッピングし、その画素値あるいは周囲のソース画素値の内挿補間をディスティネーション画素値として選択することによって、行われてもよい。このように、同時表示のための準備において、任意の画像を、全ての他の画像によって共有される新たな基準フレームに平行移動、回転、伸長、または短縮することができる。
マッピングし、その画素値あるいは周囲のソース画素値の内挿補間をディスティネーション画素値として選択することによって、行われてもよい。このように、同時表示のための準備において、任意の画像を、全ての他の画像によって共有される新たな基準フレームに平行移動、回転、伸長、または短縮することができる。
【0042】
[0049] 診断にとってどの配列(arrangement)が重要であるかの決断は、完全に専門家
の読み手の最良の判断に基づけばよい。あるビューは差し当たっては(for the case at hand)重要でないと見なされるかもしれないが、他のビューは診断にとって一層重要であるとして集合体に追加される場合もある。
の読み手の最良の判断に基づけばよい。あるビューは差し当たっては(for the case at hand)重要でないと見なされるかもしれないが、他のビューは診断にとって一層重要であるとして集合体に追加される場合もある。
【0043】
[0050] 本発明の実施形態が特に有利なのは、マルチチャネル画像において複数の視野を識別するために自動で信頼性のある技法を提供しつつも、病理学者または生物学者によってマルチチャネル画像における視野に手作業でマークする厄介な手間を回避し、これによって主観的判断や人間の誤りも廃絶するからである。特殊なロー・パス・フィルタリングとして、極大値フィルタリングおよび閾値設定動作を、高い処理速度で実行することができ、ユーザが受ける計算費用およびレイテンシ時間を最小限に抑えることができる。これは、視野の画定がマルチチャネル画像に対して直接行われるのではなく、フィルタリングされ閾値が設定された画像に基づいて行われるので、高い処理速度を可能にするという事実によるものである。
【0044】
[0051] 尚、ステップｆにおける分析は、最大解像度のマルチチャネル画像に対して実行されるのであって、空間ロー・パス・フィルタリングした分離画像に対してではないことは、注記してしかるべきである。これによって、最大量の利用可能な図式情報を、同様
の分析を実行するために使用することができることが確保され、一方フィルタリング処理、即ち、ステップｂ、ｃ、およびｄは、単に、完全な分析が実行されるべき関連視野の識別に役立つに過ぎない。
の分析を実行するために使用することができることが確保され、一方フィルタリング処理、即ち、ステップｂ、ｃ、およびｄは、単に、完全な分析が実行されるべき関連視野の識別に役立つに過ぎない。
【0045】
[0052] 本発明の更に他の実施形態によれば、前述のように視野を画定するために分離画像の１つを処理し、一方組織領域の識別のために、分離画像の他の１つをセグメント化する。分離画像は、１つの染色画像（染色および対比染色による２－チャネル、例えば、図２の実施形態）から、または多重画像(multiplex image)（２つよりも多いチャネル）
から生成することができる。
から生成することができる。
【0046】
[0053] 適したセグメント化技法は、先行技術から公知であるようなものである（Digital Image Processing（ディジタル画像処理）, Third Edition, Rafael C. Gonzalez, Richard E, Woods, chapter 10, page 689、および Handbook of Medical Imaging（医療用撮像便覧）, Processing and Analysis, Isaac N. Bankman, Academic Press, 2000, chapter 2を参照のこと）。セグメント化によって非組織領域は除去される。何故なら、非組織領域は分析の対象にならないからであり
[0054] セグメント化によって、非組織領域を除去するマスクが得られる。結果的に得られた組織マスクは、空間ロー・パス・フィルタリングまたは極大値フィルタリングあるいは閾値設定処理の前または後、および視野が画定される前または後に、分離画像に適用することができる。空間ロー・パス・フィルタリングの実行の前というように、組織マスクを早い段階で適用することは、処理負荷を更に低減するために有利な場合がある。
[0054] セグメント化によって、非組織領域を除去するマスクが得られる。結果的に得られた組織マスクは、空間ロー・パス・フィルタリングまたは極大値フィルタリングあるいは閾値設定処理の前または後、および視野が画定される前または後に、分離画像に適用することができる。空間ロー・パス・フィルタリングの実行の前というように、組織マスクを早い段階で適用することは、処理負荷を更に低減するために有利な場合がある。
【0047】
[0055] 本発明の実施形態によれば、分離画像の内、組織マスクを供給するためにセグメント化された他の１つは、請求項１のステップｂ～ｅにしたがって処理された分離画像によって表される染色に対して対比染色である１つの染色を表すチャネルから得られる。
【0048】
[0056] 本発明の実施形態によれば、視野は、分離画像の内少なくとも２つについて画定される。２つの異なる分離画像において画定された視野は、これらが同じまたはほぼ同じ画像位置に位置する場合には、併合する(merge)ことができる。これは、共通する生物
学的構造を識別する共配染色(co-located stains)に対して１つの視野が得られるように
、共配する(co-located)ことができる染色には特に有利である。このような視野を併合することにより、処理負荷は更に低減され、ステップｆにおける分析は、併合された視野に対して１回だけ実行すれば済む。更に、２つの関係する結果ではなく、１つの分析結果だけが提示されるので、病理学者または生物学者にとって認知の負担も軽減される。実施態様によっては、２つの視野の空間重複度が重複閾値よりも高い場合に併合するのでもよい。
学的構造を識別する共配染色(co-located stains)に対して１つの視野が得られるように
、共配する(co-located)ことができる染色には特に有利である。このような視野を併合することにより、処理負荷は更に低減され、ステップｆにおける分析は、併合された視野に対して１回だけ実行すれば済む。更に、２つの関係する結果ではなく、１つの分析結果だけが提示されるので、病理学者または生物学者にとって認知の負担も軽減される。実施態様によっては、２つの視野の空間重複度が重複閾値よりも高い場合に併合するのでもよい。
【0049】
[0057] 本発明の実施形態によれば、視野の分析は、対象(considered)視野内のマル
チチャネル画像に示される生体細胞の細胞計数(cell counting)によって実行される。細
胞計数は、適した画像分析技法を使用し、これを視野に適用することによって実行することができ、具体的には、画像分類技法によって細胞計数を実行することができる。
チチャネル画像に示される生体細胞の細胞計数(cell counting)によって実行される。細
胞計数は、適した画像分析技法を使用し、これを視野に適用することによって実行することができ、具体的には、画像分類技法によって細胞計数を実行することができる。
【0050】
[0058] 本発明の更に他の実施形態によれば、視野の分析は、視野またはこの視野から取り込んだ画像パッチ(image patch)を畳み込みニューラル・ネットワークに入力するこ
とによってというように、訓練済み畳み込みニューラル・ネットワークによって、視野または画像パッチ内における生体特徴の存在確率をそれぞれ判定するために実行される。画像パッチは、畳み込みニューラル・ネットワークへの入力のために、視野から抽出されてもよく、最初に視野内において対象物体(object of interest)を特定し、次いでこの対象物体を含む画像パッチを抽出する。
とによってというように、訓練済み畳み込みニューラル・ネットワークによって、視野または画像パッチ内における生体特徴の存在確率をそれぞれ判定するために実行される。画像パッチは、畳み込みニューラル・ネットワークへの入力のために、視野から抽出されてもよく、最初に視野内において対象物体(object of interest)を特定し、次いでこの対象物体を含む画像パッチを抽出する。
【0051】
[0059] 本発明の更に他の実施形態によれば、分析は、ステップｆにおいて、クラスタ分析または統計的分析のようなデータ分析として実行される。
本発明の他の態様によれば、複数の染料によって染色された生体組織標本から得られたマルチチャネル画像を分析するための画像処理システムを提供する。このシステムは本発明の方法を実行するように構成される。
本発明の他の態様によれば、複数の染料によって染色された生体組織標本から得られたマルチチャネル画像を分析するための画像処理システムを提供する。このシステムは本発明の方法を実行するように構成される。
【0052】
[0060] 本開示は、ホール・スライド画像における各細胞マーカの密度に基づく自動視野（ＦＯＶ）選択のための前処理システムおよび方法を特徴とする。本明細書において説明する動作は、分離した多重スライドまたは単一染色スライドから個々のマーカの画像を読み取る動作と、個々のマーカ画像から組織領域マスクを計算する動作とを含む。
【0053】
[0061] 個々のマーカ画像チャネルにロー・パス・フィルタを適用し、マーカ毎に候補ＦＯＶとして最も密度が高い上位Ｋ箇所の領域をヒート・マップから選択することによって、各マーカのヒート・マップを判定してもよい。個々のマーカ画像からの候補ＦＯＶは、一緒に併合される。併合は、同じ座標系におけるＦＯＶの全てを一緒に追加すること、または入力優先度または選択(choice)に基づいて、選択されたマーカ画像からのＦＯＶだけを追加することの一方または双方を含んでもよく、最初に全ての個々のマーカ画像を共通座標系に一致させ、形態学的処理(morphologic operation)によって併合する。その後、逆レジストレーションを使用して、識別されたＦＯＶの全てを元の画像に転移させて、高解像度の対応ＦＯＶ画像を得る。
【0054】
[0062] ある実施形態では、ＦＯＶの計算を高速化するために、解像度が低い画像を使用する。これらの画像は解像度が低いので、ヒート・マップおよび組織領域マスクを計算するのは、計算的に遙かに速くなる。これによって、ＦＯＶの選択を自動化および高速化することが可能となり、組織標本の分析を高速化することが可能になる。
【0055】
[0063] 組織スライド画像は多くの特徴を含むが、いずれの特定の研究についても関心があるのはその一部だけである。これら関心領域は、選択的染色取り込みによって引き起こされた特異のカラーを有することができる。また、これらは広い空間範囲を有する場合もある。重要なのは、非関心領域は何らかの特定空間周波数を有する場合があり、空間周波数フィルタリングによって、画像からのこれらの除去が可能であるということである。このようなフィルタは、ロー・パス・フィルタ、ハイ・パス・フィルタ、およびバンド・パス・フィルタを含むが、これらに限定されるのではない。更に注意深くチューニングされた空間周波数フィルタは、マッチド・フィルタとして知られているものであってもよい。空間周波数フィルタの非限定的な例には、ロー・パス・フィルタ、ハイ・パス・フィルタ、バンド・パス・フィルタ、多重バンド・パス・フィルタ、およびマッチド・フィルタが含まれるが、これらに限定されるではない。このようなフィルタは、統計的に定められてもよく、または適応的に生成されてもよい。
【0056】
[0064] したがって、対象領域を突き止めるプロセスにおいて、分離プロセスによって適当なカラーを最初に選択することは有用である。これは、画像の原色チャネルＲ、Ｇ、およびＢに適用される線形演算子と見なすことができる。また、空間周波数フィルタリングは、画像における対象構造(feature of interest)に対する優先度(preference)を与え
るためにも適用される。これらの動作は、双方とも線形演算子であるので、いずれの順序で適用されてもよい。
るためにも適用される。これらの動作は、双方とも線形演算子であるので、いずれの順序で適用されてもよい。
【0057】
[0065] この領域選択と並行して、完全に異なるチューニングがなされた空間周波数フィルタを使用して、例えば、スライド画像の内組織が位置する全領域(gross region)のみを選択し、空領域を拒否することによって、セグメント化を広くしたマスク(broader segmentation mask)を形成することもできる。したがって、同じ組織スライド画像に複数の異なる空間周波数フィルタを適用することができる。
【0058】
[0066] 一旦フィルタリングされると、極大値フィルタ(local max filter)を適用することによって、対象領域を突き止めることができる。極大値フィルタは、形態学的非線形フィルタの一種であり、結果の各画素に、極大値フィルタのカーネル直下に位置するソース画像からの最大画素値の値(value of the maximum pixel value)を保持させることによって、画像を生成する。カーネルとは、任意の形状およびサイズの幾何学的マスクであるが、この目的のために、関心構造程度の寸法を有するように構築される。極大値フィルタからの出力画像は、カーネルと同様の形状をなし、その領域における最大画素値に等しい一定値を有する島を有する傾向がある。
【0059】
[0067] ある実施形態では、極大値フィルタ画像のこの構造によって、閾値よりも高い対応フィルタ画像画素に１の二進マスク値を割り当て、閾値よりも低い対応フィルタ画像画素に０の値を割り当てることによって、フィルタ画像を二進マスクに変換するために閾値を適用することもできる。その結果、領域として標識付けることができ、測定可能な空間の広がりを有する１のブロブ(blob)となる。これらの領域標識、位置、および空間的な広がりが一緒になって、対象領域（ＲＯＩ）または視野（ＦＯＶ）の記録が得られる。
【図面の簡単な説明】
【0060】
【発明を実施するための形態】
【0061】
[0092] 本開示の詳細な説明
[0093] 本発明は、生体試料、例えば、組織標本の同じ領域の複数のビューを同時に表示するシステムおよび方法を特徴とする。ある実施形態では、このシステムは、プロセッサと、このプロセッサに結合されたメモリとを含むのでもよい。メモリは、コンピュータ読み取り可能命令を格納することができ、このコンピュータ読み取り可能命令がプロセッサによって実行されると、プロセッサに動作を実行させる。
[0093] 本発明は、生体試料、例えば、組織標本の同じ領域の複数のビューを同時に表示するシステムおよび方法を特徴とする。ある実施形態では、このシステムは、プロセッサと、このプロセッサに結合されたメモリとを含むのでもよい。メモリは、コンピュータ読み取り可能命令を格納することができ、このコンピュータ読み取り可能命令がプロセッサによって実行されると、プロセッサに動作を実行させる。
【0062】
[0094] 他の実施形態では、この方法は、撮像分析システムによって実現されてもよく、コンピュータ読み取り可能媒体上に格納されてもよい。この方法は、動作を実行するためにプロセッサによって実行される論理命令を含んでもよい。
【0063】
[0095] 図１４に示すように、本明細書において説明するシステムおよび方法の動作は、生体組織標本の複数の前処理画像を受け取る動作（２１００）、画像ビジュアライゼーションに使用される共通表示基準フレームを選択する動作（２１１０）、複数の前処理画像の各前処理画像に対して目的ビューを構築して複数の表示可能画像を生成することによって、複数の前処理画像を共通表示基準フレームに変換する動作（２１２０）、表示画面上における目視のために、複数の表示可能画像を表示パターンに配列する動作（２１３０）、表示画面上に複数の表示可能画像を表示する動作（２１４０）、および共通表示基準フレームを動的に変更するためにユーザ・ジェスチャを受け入れる動作（２１５０）を含むことができるが、これらに限定されるのではない。本発明を特定の理論やメカニズムに限定することを望むのではなく、本発明は、１つの目視画面上に互いに隣接して示される複数の画像の一斉検討を可能にする。
【0064】
[0096] ある実施形態では、複数の表示可能画像を表示する動作（２１４０）は、撮像された生体組織標本の異なる側面の同時動的目視に対処することもできる。変換プロセス（２１２０）を繰り返すことによって、全ての表示可能な画像に、見かけ上一斉の(coordinated)平行移動、回転、または倍率変化を同時に実行させることができる。
【0065】
[0097] ある実施形態では、各前処理画像は、生体組織標本の同じ領域のビュー・モードを示してもよく、各前処理画像は、グローバル標準基準フレーム(global standard reference frame)に関する画像基準フレームを記述するメタデータを有してもよい。各前処理画像のメタデータは、グローバル標準基準フレーム（ＧＳＲＦ：global standard reference frame）に関する前処理画像のローカル基準フレーム（ＰＩ－ＬＲＦ：preprocessed image local reference frame）を記述することもできる。例えば、メタデータは、グローバル標準基準フレームに関する前処理画像の空間位置、方位、および倍率を記述することができる。他の例として、メタデータは、標準基準フレームに関する各画像の平行移動、回転、および倍率を記述する。共通表示基準フレームを知ることによって、ソース画像画素を、画像モード・ビューに対して表示された画素に関連付けるためにアフィン変換を実行する(create)。本明細書において使用する場合、アフィン変換、または代わりにアフィン・マッピングとは、拡張位置ベクトル(augmented position vector)と対比して行列演算子として表現可能な、線形変換と定義することができる。拡張位置ベクトルは、これらのベクトルの任意の平行移動、回転、および倍率を表すことができる。アフィン変換は、当業者には周知である。
【0066】
[0098] ある実施形態では、前処理画像のローカル基準フレーム（ＰＩ－ＬＲＦ）は、前処理画像における画素の位置を記述するために使用される二次元基準フレームである。
[0099] 他の実施形態では、グローバル標準基準フレームは、画素位置の空間を記述するために使用される、承認済みの(agreed-upon)固定二次元基準フレームであり、各画像
のローカル基準フレーム（ＰＩ－ＬＲＦ）とグローバル標準基準フレームとの間におけるアフィン・マッピングを定めることによって、異なる画像間における空間関係の理解を可能にする。ある実施形態では、各前処理画像のメタデータは、ＧＳＲＦに関する前処理画像の空間位置、方位、および倍率を記述する。例えば、メタデータは、画像基準フレームとグローバル標準基準フレームとの間における第１アフィン・マッピングを定めることができる。
[0099] 他の実施形態では、グローバル標準基準フレームは、画素位置の空間を記述するために使用される、承認済みの(agreed-upon)固定二次元基準フレームであり、各画像
のローカル基準フレーム（ＰＩ－ＬＲＦ）とグローバル標準基準フレームとの間におけるアフィン・マッピングを定めることによって、異なる画像間における空間関係の理解を可能にする。ある実施形態では、各前処理画像のメタデータは、ＧＳＲＦに関する前処理画像の空間位置、方位、および倍率を記述する。例えば、メタデータは、画像基準フレームとグローバル標準基準フレームとの間における第１アフィン・マッピングを定めることができる。
【0067】
[00100] ある実施形態では、図１５に示すように、共通表示基準フレームを選択する
動作（２１１０）は、更に、二次元表示画像画素格子を作成する動作（２１１１）、表示画像画素格子における画素位置を記述するために使用される二次元表示画像ローカル基準フレーム（ＤＩ－ＬＲＦ：two-dimensional display image local reference frame）を
構築する動作（２１１２）、ＧＳＲＦに関するＤＩ－ＬＲＦの位置、方位、および倍率を選択する動作（２１１３）、およびＤＩ－ＬＲＦにおける画素位置をＧＳＲＦにおける位置にマッピングするアフィン変換を計算する動作（２１１４）を含んでもよい。格子の交差点は画素位置を示すことができる。この構造は、表示画像テンプレートとして役割を果たすことができ、表示画像の生成のためにアフィン部分マッピング(affine partial mapping)に供することもできる。
動作（２１１０）は、更に、二次元表示画像画素格子を作成する動作（２１１１）、表示画像画素格子における画素位置を記述するために使用される二次元表示画像ローカル基準フレーム（ＤＩ－ＬＲＦ：two-dimensional display image local reference frame）を
構築する動作（２１１２）、ＧＳＲＦに関するＤＩ－ＬＲＦの位置、方位、および倍率を選択する動作（２１１３）、およびＤＩ－ＬＲＦにおける画素位置をＧＳＲＦにおける位置にマッピングするアフィン変換を計算する動作（２１１４）を含んでもよい。格子の交差点は画素位置を示すことができる。この構造は、表示画像テンプレートとして役割を果たすことができ、表示画像の生成のためにアフィン部分マッピング(affine partial mapping)に供することもできる。
【0068】
[00101] ある実施形態では、図１６に示すように、複数の前処理画像を共通表示基準
フレームに変換する動作（２１２０）は、更に、ＣＤＲＦ表示画像テンプレートおよびアフィン部分マッピングの作業用コピーを構築する動作（２１２１）、表示画像のＤＩ－ＬＲＦにおける画素位置を、前処理画像のＰＩ－ＬＲＦにおける位置に変換する複合マッピングを生成するために、アフィン部分マッピングを、前処理画像のための第１アフィン・マッピングと複合する(compose)動作（２１２２）、および表示画像画素毎に動作を実行
することによって表示画像をペイントする動作（２１２３）を含んでもよい。ある実施形態では、表示画像テンプレートの作業コピーは、表示画像に対する画素値を保持するメモリ・セルを含む。
フレームに変換する動作（２１２０）は、更に、ＣＤＲＦ表示画像テンプレートおよびアフィン部分マッピングの作業用コピーを構築する動作（２１２１）、表示画像のＤＩ－ＬＲＦにおける画素位置を、前処理画像のＰＩ－ＬＲＦにおける位置に変換する複合マッピングを生成するために、アフィン部分マッピングを、前処理画像のための第１アフィン・マッピングと複合する(compose)動作（２１２２）、および表示画像画素毎に動作を実行
することによって表示画像をペイントする動作（２１２３）を含んでもよい。ある実施形態では、表示画像テンプレートの作業コピーは、表示画像に対する画素値を保持するメモリ・セルを含む。
【0069】
[00102] 表示画像をペイントする動作は、表示画像画素のＤＩ－ＬＲＦ位置から前処
理画像のＰＩ－ＬＲＦにおける位置への複合アフィン変換によって、マッピングする動作（２１２４）、前処理画像において、そのマッピングされた位置周囲の近隣画素間で画素値を内挿補間する動作（２１２５）、および表示画像画素において表示画像に使用される画素値として、内挿補間した画素値を伝達する動作（２１２６）を含んでもよいが、これ
らに限定されるのではない。表示画像画素毎にこれらの動作を実行することによって、各前処理画像を、表示画面上における表現のために表示画像に変換することができる。
理画像のＰＩ－ＬＲＦにおける位置への複合アフィン変換によって、マッピングする動作（２１２４）、前処理画像において、そのマッピングされた位置周囲の近隣画素間で画素値を内挿補間する動作（２１２５）、および表示画像画素において表示画像に使用される画素値として、内挿補間した画素値を伝達する動作（２１２６）を含んでもよいが、これ
らに限定されるのではない。表示画像画素毎にこれらの動作を実行することによって、各前処理画像を、表示画面上における表現のために表示画像に変換することができる。
【0070】
[00103] ある実施形態では、近隣画素間における内挿補間（２１２５）は、単に最も
近い画素をその値に選択することによって、または４つの最も近い近隣画素間においてバイリニア内挿補間を使用することによって実行されてもよい。他の実施形態では、ソースおよびターゲット画像間で倍率を変更するとき、空間ロー・パス・フィルタリングのような、更に精巧な方法が、サンプル・エリアシングまたは撮像アーチファクトを回避するために必要となる場合もある。何故なら、これはサンプル率変換と同等であるからである。
近い画素をその値に選択することによって、または４つの最も近い近隣画素間においてバイリニア内挿補間を使用することによって実行されてもよい。他の実施形態では、ソースおよびターゲット画像間で倍率を変更するとき、空間ロー・パス・フィルタリングのような、更に精巧な方法が、サンプル・エリアシングまたは撮像アーチファクトを回避するために必要となる場合もある。何故なら、これはサンプル率変換と同等であるからである。
【0071】
[00104] 他の実施形態では、複数の前処理画像を変換する動作（２１２０）は、光学
的歪みを除去するために、複数の前処理画像に対して非線形補正を実行してもよい。例示的な非線形補正には、ピンクッション(pincushion)またはバレル歪み、焦点ぼけ、コマ、または非点収差の除去を含むことができる。
的歪みを除去するために、複数の前処理画像に対して非線形補正を実行してもよい。例示的な非線形補正には、ピンクッション(pincushion)またはバレル歪み、焦点ぼけ、コマ、または非点収差の除去を含むことができる。
【0072】
[00105] ある実施形態では、二次元ローカル基準フレーム（ＰＩ－ＬＲＦおよびＤＩ
－ＬＲＦ）および承認済み固定二次元基準フレーム（ＧＳＲＦ）のような、以上で述べたような二次元基準フレームの内任意のものは、直交デカルト基準フレームであることができる。他の実施形態では、ここで述べたような二次元基準フレームの内任意のものが、非直交および／または非デカルト基準フレームであることができる。
－ＬＲＦ）および承認済み固定二次元基準フレーム（ＧＳＲＦ）のような、以上で述べたような二次元基準フレームの内任意のものは、直交デカルト基準フレームであることができる。他の実施形態では、ここで述べたような二次元基準フレームの内任意のものが、非直交および／または非デカルト基準フレームであることができる。
【0073】
[00106] ある実施形態では、複数の画像は、生体組織標本の画像を前処理することに
よって生成される。画像の前処理は、本明細書において説明するＦＯＶ方法のような方法を利用すればよい。しかしながら、画像を前処理するために他の適した方法を使用してもよいことは言うまでもない。
よって生成される。画像の前処理は、本明細書において説明するＦＯＶ方法のような方法を利用すればよい。しかしながら、画像を前処理するために他の適した方法を使用してもよいことは言うまでもない。
【0074】
[00107] ある実施形態では、表示パターンは行および列の形態でもよい。この表示パ
ターンは、「ｍ」本の行および「ｎ」本の列を特徴としてもよく、ここで「ｍ」および「ｎ」は任意の自然数とすることができる。例えば、表示パターンは２行および３列を有してもよい。他の実施形態では、表示パターンは環状または正方形であってもよい。更に他の実施形態では、表示パターンは角錐形でもよい。
ターンは、「ｍ」本の行および「ｎ」本の列を特徴としてもよく、ここで「ｍ」および「ｎ」は任意の自然数とすることができる。例えば、表示パターンは２行および３列を有してもよい。他の実施形態では、表示パターンは環状または正方形であってもよい。更に他の実施形態では、表示パターンは角錐形でもよい。
【0075】
[00108] 他の実施形態では、前述の動作は、更に、インターフェース・デバイスから
の入力ジェスチャに応答して、表示画面上で複数の画像を調和して平行移動させる動作、インターフェース・デバイスからの入力ジェスチャに応答して表示画面上で複数の画像を調和して回転させる動作、およびインターフェース・デバイスからの入力ジェスチャに応答して表示画面上で複数の画像を調和して拡大ズーミングおよび縮小ズーミングする動作を含んでもよい。図１７～図１９に示すように、複数の画像を平行移動、回転、およびズーミングする動作は、撮像された生体組織標本の所望の視点を与えることができる。例えば、複数の画像の平行移動は、画像を線形方向に滑らせる(slide)ことを伴ってもよい。複数の画像の回転は、時計回り方向または反時計回り方向に行われてもよい。複数の画像の拡大ズームは、生体組織標本のある領域に接近したビューを提供することができる。複数の画像の縮小ズームは、生体組織標本の離れたビューを提供することができる。
の入力ジェスチャに応答して、表示画面上で複数の画像を調和して平行移動させる動作、インターフェース・デバイスからの入力ジェスチャに応答して表示画面上で複数の画像を調和して回転させる動作、およびインターフェース・デバイスからの入力ジェスチャに応答して表示画面上で複数の画像を調和して拡大ズーミングおよび縮小ズーミングする動作を含んでもよい。図１７～図１９に示すように、複数の画像を平行移動、回転、およびズーミングする動作は、撮像された生体組織標本の所望の視点を与えることができる。例えば、複数の画像の平行移動は、画像を線形方向に滑らせる(slide)ことを伴ってもよい。複数の画像の回転は、時計回り方向または反時計回り方向に行われてもよい。複数の画像の拡大ズームは、生体組織標本のある領域に接近したビューを提供することができる。複数の画像の縮小ズームは、生体組織標本の離れたビューを提供することができる。
【0076】
[00109] ある実施形態では、図２０に示すように、前述の動作は、更に、表示画面上
において複数の画像から１つ以上の画像を除去して、表示画面を片付ける動作を含んでもよい。例えば、ある画像が生体組織標本の望ましくないビューまたは関係ないビューを示す場合、その画像を除去することもできる。他の実施形態では、前述の動作は、更に、新たなモード画像を表示画面上に追加する動作を含んでもよい。新たなモード画像は、他の画像モードと連携して目視されてもよい。
において複数の画像から１つ以上の画像を除去して、表示画面を片付ける動作を含んでもよい。例えば、ある画像が生体組織標本の望ましくないビューまたは関係ないビューを示す場合、その画像を除去することもできる。他の実施形態では、前述の動作は、更に、新たなモード画像を表示画面上に追加する動作を含んでもよい。新たなモード画像は、他の画像モードと連携して目視されてもよい。
【0077】
[00110] 画像を目視することができるモードの非限定的な例には、種々のカラー・チ
ャネル、画像フィルタ状態、またはエッジ検出状態を含むことができる。一般に、本来の画像には一定の特性を強調する有用な変更(alteration)があることもあり、専門家の読み手に関心を起こさせる重要な診断の特徴を含む同時ビューを提供することができる。
ャネル、画像フィルタ状態、またはエッジ検出状態を含むことができる。一般に、本来の画像には一定の特性を強調する有用な変更(alteration)があることもあり、専門家の読み手に関心を起こさせる重要な診断の特徴を含む同時ビューを提供することができる。
【0078】
[00111] ある実施形態では、図２１に示すように、前述の動作は、更に、代替表示パ
ターンを形成するために、表示パターンを再配列する動作を含んでもよい。代替表示パターンは、一層緊密な調査を行うために、複数の画像モードを結集することができる。他の実施形態では、図２２に示すように、前述の動作は、更に、画像の特徴を補強するために２つ以上の画像モードを積み重ねる(stack)動作を含んでもよい。２つ以上の画像モードの積み重ねは、インターフェース・デバイスからの入力ジェスチャに応答して行うことができる。ある実施形態では、２つ以上の画像モードが半透明(translucent)であってもよい。
ターンを形成するために、表示パターンを再配列する動作を含んでもよい。代替表示パターンは、一層緊密な調査を行うために、複数の画像モードを結集することができる。他の実施形態では、図２２に示すように、前述の動作は、更に、画像の特徴を補強するために２つ以上の画像モードを積み重ねる(stack)動作を含んでもよい。２つ以上の画像モードの積み重ねは、インターフェース・デバイスからの入力ジェスチャに応答して行うことができる。ある実施形態では、２つ以上の画像モードが半透明(translucent)であってもよい。
【0079】
[00112] 他の実施形態では、前述の動作は、更に、今後の試験において他の複数の画
像の表示を容易にするために、現行の試験の表示パターンを保存テンプレートとして保存する動作を含んでもよい。
像の表示を容易にするために、現行の試験の表示パターンを保存テンプレートとして保存する動作を含んでもよい。
【0080】
[00113] 本発明の一実施形態では、専門家の読み手は、全ての画像が連携して応答す
るように、画像の内１つだけにおいてアクションを呼び出すことによって、全ての画像に同時に作用させる(affect)ことができる。非限定的な例示的入力ジェスチャおよびインターフェース・デバイスには、マウス、触覚センサ、眼球センサ、および電子カメラを含むことができるが、これらに限定されるのではない。例えば、専門家の読み手がマウス・クリックを使用して画像の１つを有効化し、次いでマウス・ホイールを回転させて画像のズーム倍率に作用させるのでもよい。有効化された画像内におけるマウス・クリックおよびドラッグが、全ての画像を同じ方向にドラッグさせることができる。他の例として、選択した画像変更を実行するために、触覚センサが使用されてもよい。触覚センサは、回転、平行移動、ズーミング、積み重ね等を提供する(offer)ことができ、単純なコンピュータ・マウスよりも精巧であると言って差し支えない。
るように、画像の内１つだけにおいてアクションを呼び出すことによって、全ての画像に同時に作用させる(affect)ことができる。非限定的な例示的入力ジェスチャおよびインターフェース・デバイスには、マウス、触覚センサ、眼球センサ、および電子カメラを含むことができるが、これらに限定されるのではない。例えば、専門家の読み手がマウス・クリックを使用して画像の１つを有効化し、次いでマウス・ホイールを回転させて画像のズーム倍率に作用させるのでもよい。有効化された画像内におけるマウス・クリックおよびドラッグが、全ての画像を同じ方向にドラッグさせることができる。他の例として、選択した画像変更を実行するために、触覚センサが使用されてもよい。触覚センサは、回転、平行移動、ズーミング、積み重ね等を提供する(offer)ことができ、単純なコンピュータ・マウスよりも精巧であると言って差し支えない。
【0081】
[00114] 眼球センサは、注視(sight attention)の中心の変化、瞬き等のような、専門家の読み手の眼球ジェスチャ(eye gesture)を検出することができる。電子カメラは、手
の動きのような、操作員の特殊なジェスチャを目撃することができる。特殊ジェスチャは、画像の平行移動、回転、倍率、表示再配列、画像の積み重ね、および積み重ねにおける透け(translucence)の制御等を示す。他の実施形態では、コンピュータのようなデバイスと対話処理する方法(manner)は、十分で有効であるのであればいずれでも、専門家の読み手の目標を達成するための最も簡単で最も直接的な対話処理に対する好みと併せて使用することができる。
の動きのような、操作員の特殊なジェスチャを目撃することができる。特殊ジェスチャは、画像の平行移動、回転、倍率、表示再配列、画像の積み重ね、および積み重ねにおける透け(translucence)の制御等を示す。他の実施形態では、コンピュータのようなデバイスと対話処理する方法(manner)は、十分で有効であるのであればいずれでも、専門家の読み手の目標を達成するための最も簡単で最も直接的な対話処理に対する好みと併せて使用することができる。
【0082】
[00115] 代替実施形態では、同じ領域の複数のビューを同時に表示する方法は、遠隔
検知用途または戦場管理のためのマルチスペクトル地表作像(imagery)の試験において使
用することもできる。
検知用途または戦場管理のためのマルチスペクトル地表作像(imagery)の試験において使
用することもできる。
【0083】
[00116] 表示画面上で生体組織標本の同じ領域の複数のビューを同時に表示する方法
を実現する非限定的な例は、以下を特徴とすることができる。
[00117] １．生体組織標本についてのデータをロードする。
を実現する非限定的な例は、以下を特徴とすることができる。
[00117] １．生体組織標本についてのデータをロードする。
【0084】
[00118] ２．ファイル・リストからファイルを選択する。
[00119] ３．選択したファイルからの６枚の画像を、３列×２行の表示パターンで表
示する。
[00119] ３．選択したファイルからの６枚の画像を、３列×２行の表示パターンで表
示する。
【0085】
[00120] ４．重要なマーカを選択する。
[00121] ５．画像サンプルのマーカに対してヒート・マップを表示する。
[00122] ６．本来のビュー、ヒート・マップ・ビュー、または個々のマーカ・ビュー
間における切り替え。
[00121] ５．画像サンプルのマーカに対してヒート・マップを表示する。
[00122] ６．本来のビュー、ヒート・マップ・ビュー、または個々のマーカ・ビュー
間における切り替え。
【0086】
[00123] ７．画像サンプルのホット・スポットを表示する。
[00124] ８．同じ座標系に位置合わせさせる。
[00125] ９．画像の回転、平行移動、または拡大および縮小ズーム。
[00124] ８．同じ座標系に位置合わせさせる。
[00125] ９．画像の回転、平行移動、または拡大および縮小ズーム。
【0087】
[00126] １０．ＦＯＶの併合。
[00127] １１．撮像されたサンプルの領域に標識を割り当てる。
[00128] １２．画像の名称を変更する。
[00127] １１．撮像されたサンプルの領域に標識を割り当てる。
[00128] １２．画像の名称を変更する。
【0088】
[00129] １３．画像を追加または削除する。
[00130] １４．ファイルを保存する。
[00131] 画像の前処理
[00132] ある実施形態では、本発明は、生体スライド画像の前処理システムおよび方
法を利用してもよい。尚、画像を前処理するためには、任意の適したシステムまたは方法を使用してもよいことは言うまでもない。一実施形態では、前処理システムまたは方法の非限定的な例は、ホール・スライド画像における各細胞マーカの密度に基づく自動視野（ＦＯＶ）選択を特徴としてもよい。本明細書において説明する動作には、分離多重スライドからまたは単一染色スライドからの個々のマーカに対する画像を読み取り、個々のマーカ画像から組織領域マスクを計算する動作が含まれるが、これらに限定されるのではない。各マーカのヒート・マップは、個々のマーカ画像チャネル上でロー・パス・フィルタを適用することによって決定することができ、ヒート・マップから最も明暗度(intensity)が高い上位Ｋ箇所の領域をマーカ毎の候補ＦＯＶとして選択する。次いで、個々のマーカ画像からの候補ＦＯＶを一緒に併合することができる。この併合は、入力の優先順位または選択(choice)に基づいて、同じ座標系におけるＦＯＶの全てを一緒に追加すること、または選択されたマーカ画像からのＦＯＶのみを追加することの内一方または双方を含んでもよく、最初に個々のマーカ画像の全てを共通座標系に一致させ、形態学的処理によって併合する。続いて、高解像度の対応するＦＯＶ画像を得るために、逆レジストレーション(inverse registration)を使用して、識別されたＦＯＶの全てを逆に本来の画像に移転させる。本発明をいずれの理論やメカニズムにも限定することを望むのではないが、本発明のシステムおよび方法は、再現可能である、人間の読み手に偏らない、そして効率が向上するというような利点を提供することができる。
[00130] １４．ファイルを保存する。
[00131] 画像の前処理
[00132] ある実施形態では、本発明は、生体スライド画像の前処理システムおよび方
法を利用してもよい。尚、画像を前処理するためには、任意の適したシステムまたは方法を使用してもよいことは言うまでもない。一実施形態では、前処理システムまたは方法の非限定的な例は、ホール・スライド画像における各細胞マーカの密度に基づく自動視野（ＦＯＶ）選択を特徴としてもよい。本明細書において説明する動作には、分離多重スライドからまたは単一染色スライドからの個々のマーカに対する画像を読み取り、個々のマーカ画像から組織領域マスクを計算する動作が含まれるが、これらに限定されるのではない。各マーカのヒート・マップは、個々のマーカ画像チャネル上でロー・パス・フィルタを適用することによって決定することができ、ヒート・マップから最も明暗度(intensity)が高い上位Ｋ箇所の領域をマーカ毎の候補ＦＯＶとして選択する。次いで、個々のマーカ画像からの候補ＦＯＶを一緒に併合することができる。この併合は、入力の優先順位または選択(choice)に基づいて、同じ座標系におけるＦＯＶの全てを一緒に追加すること、または選択されたマーカ画像からのＦＯＶのみを追加することの内一方または双方を含んでもよく、最初に個々のマーカ画像の全てを共通座標系に一致させ、形態学的処理によって併合する。続いて、高解像度の対応するＦＯＶ画像を得るために、逆レジストレーション(inverse registration)を使用して、識別されたＦＯＶの全てを逆に本来の画像に移転させる。本発明をいずれの理論やメカニズムにも限定することを望むのではないが、本発明のシステムおよび方法は、再現可能である、人間の読み手に偏らない、そして効率が向上するというような利点を提供することができる。
【0089】
[00133] ある実施形態では、自動化ホール・スライド分析の品質制御システムは、画
像取得システム（１０２）と、プロセッサ（１０５）と、プロセッサに結合されたメモリ（１１０）とを含む。このメモリは、コンピュータ読み取り可能命令を格納するように構成され、このコンピュータ読み取り可能命令がプロセッサによって実行されると、以下の動作の内１つ以上の動作をプロセッサに実行させる（しかし、以下の動作に限定されるのではない）。これらの動作は、画像取得システム（１０２）から高解像度入力画像（２３１）を読み取る動作、高解像度入力画像の低解像度バージョンを計算する動作、画像取得システム（１０２）から複数の低解像度画像マーカ画像を読み取る動作であって、各画像マーカ画像が、低解像度入力画像の１つのカラー・チャネル（２３２）のものである、動作、低解像度入力画像に対応する組織領域マスク（２３３）を計算する動作、各画像マーカ画像（１１４）をロー・パス・フィルタリングした画像（２３４）を計算する動作、画像マーカ画像（１１３）毎にマスク・フィルタ画像(masked filtered image)を生成する動作であって、マスク・フィルタ画像が、低パス・フィルタリングした画像を乗算した組織領域マスクである、動作、各マスク・フィルタ画像（１１６）内において複数の候補視野（ＦＯＶ）を識別する動作、画像マーカ画像（１１７）毎の複数の候補ＦＯＶの内部分集合を、複数の併合ＦＯＶに併合する動作、入力画像上で複数の候補視野の併合部分を描写する(depict)動作を含む。
像取得システム（１０２）と、プロセッサ（１０５）と、プロセッサに結合されたメモリ（１１０）とを含む。このメモリは、コンピュータ読み取り可能命令を格納するように構成され、このコンピュータ読み取り可能命令がプロセッサによって実行されると、以下の動作の内１つ以上の動作をプロセッサに実行させる（しかし、以下の動作に限定されるのではない）。これらの動作は、画像取得システム（１０２）から高解像度入力画像（２３１）を読み取る動作、高解像度入力画像の低解像度バージョンを計算する動作、画像取得システム（１０２）から複数の低解像度画像マーカ画像を読み取る動作であって、各画像マーカ画像が、低解像度入力画像の１つのカラー・チャネル（２３２）のものである、動作、低解像度入力画像に対応する組織領域マスク（２３３）を計算する動作、各画像マーカ画像（１１４）をロー・パス・フィルタリングした画像（２３４）を計算する動作、画像マーカ画像（１１３）毎にマスク・フィルタ画像(masked filtered image)を生成する動作であって、マスク・フィルタ画像が、低パス・フィルタリングした画像を乗算した組織領域マスクである、動作、各マスク・フィルタ画像（１１６）内において複数の候補視野（ＦＯＶ）を識別する動作、画像マーカ画像（１１７）毎の複数の候補ＦＯＶの内部分集合を、複数の併合ＦＯＶに併合する動作、入力画像上で複数の候補視野の併合部分を描写する(depict)動作を含む。
【0090】
[00134] ある実施形態では、マスク・フィルタ画像に対してヒート・マップを計算す
ることができる。ある実施形態では、ヒート・マップは、マスク・フィルタ画像の着色を含み、低明暗度領域には青色が割り当てられ、明暗度が高くなるに連れて、黄色、橙色、および赤色が領域に割り当てられる。低および高明暗度領域に割り当てるには、任意の他のしかるべきカラーまたはカラーの組み合わせが使用されてもよい。
ることができる。ある実施形態では、ヒート・マップは、マスク・フィルタ画像の着色を含み、低明暗度領域には青色が割り当てられ、明暗度が高くなるに連れて、黄色、橙色、および赤色が領域に割り当てられる。低および高明暗度領域に割り当てるには、任意の他のしかるべきカラーまたはカラーの組み合わせが使用されてもよい。
【0091】
[00135] ある実施形態では、組織領域マスクの生成は、以下の動作の内１つ以上を含
む（しかし、以下の動作に限定されるのではない）。低解像度入力画像（３３６）の輝度（３３７）を計算する動作、輝度画像（３３８）を生成する動作、標準偏差フィルタを輝度画像（３３９）に適用する動作、フィルタリングした輝度画像（３４０）を生成する動作、および所与の閾値よりも高い輝度を有する画素が１に設定され、この閾値よりも低い画素が０に設定されるように、フィルタリングした輝度画像（３４１）に閾値を適用する動作、組織領域マスク（３４２）を生成する動作。
む（しかし、以下の動作に限定されるのではない）。低解像度入力画像（３３６）の輝度（３３７）を計算する動作、輝度画像（３３８）を生成する動作、標準偏差フィルタを輝度画像（３３９）に適用する動作、フィルタリングした輝度画像（３４０）を生成する動作、および所与の閾値よりも高い輝度を有する画素が１に設定され、この閾値よりも低い画素が０に設定されるように、フィルタリングした輝度画像（３４１）に閾値を適用する動作、組織領域マスク（３４２）を生成する動作。
【0092】
[00136] ある実施形態では、組織領域マスクは、高解像度入力画像から直接計算され
る。この場合、組織領域マスクが、フィルタリングした画像マーカ画像への適用前に、解像度がもっと低い画像に変換されてもよい。
る。この場合、組織領域マスクが、フィルタリングした画像マーカ画像への適用前に、解像度がもっと低い画像に変換されてもよい。
【0093】
[00137] ある実施形態では、画像マーカ画像は、多重スライドを分離する（１１１）
ことによって得られ、分離モジュールは、基準カラー・マトリクス（１１２）を使用して、どのカラーが個々のカラー・チャネルに対応するか判定する。他の実施形態では、画像マーカ画像は単一染色スライド(single stain slide)から得られる。
ことによって得られ、分離モジュールは、基準カラー・マトリクス（１１２）を使用して、どのカラーが個々のカラー・チャネルに対応するか判定する。他の実施形態では、画像マーカ画像は単一染色スライド(single stain slide)から得られる。
【0094】
[00138] ある実施形態では、画像レジストレーション・プロセスは、基準画像として
役割を果たすために１つの画像マーカ画像を選択する動作と、各画像マーカの基準画像の座標フレームへの変換を計算する動作とを含む。各画像の基準画像への変換を計算する方法は、当業者には周知である。他の実施形態では、多重基準スライドを分離することによって画像が得られる場合、分離画像の全ては既に同じ座標系にあるので、レジストレーションは不要となる。
役割を果たすために１つの画像マーカ画像を選択する動作と、各画像マーカの基準画像の座標フレームへの変換を計算する動作とを含む。各画像の基準画像への変換を計算する方法は、当業者には周知である。他の実施形態では、多重基準スライドを分離することによって画像が得られる場合、分離画像の全ては既に同じ座標系にあるので、レジストレーションは不要となる。
【0095】
[00139] 本開示は、自動視野（ＦＯＶ）選択システムおよび方法を提供する。ある実
施形態では、ＦＯＶ選択は、ホール・スライド画像における各細胞マーカの密度に基づく。ここで説明する動作は、分離多重スライドからまたは単一染色スライドからの個々のマーカに対して画像を読み取る動作と、個々のマーカ画像から組織領域マスクを計算する動作とを含む。各マーカのマスク・フィルタ画像(masked filtered image)は、個々のマーカ画像チャネルにロー・パス・フィルタを適用し、組織領域マスクを適用することによって決定されてもよい。マスク・フィルタ画像から明暗度が最も高い上位Ｋ箇所の領域を、マーカ毎の候補ＦＯＶとして選択する。個々のマーカ画像からの候補ＦＯＶを一緒に併合する。この併合は、入力の優先順位または選択に基づいて、同じ座標系におけるＦＯＶの全てを一緒に追加すること、または選択されたマーカ画像からのＦＯＶのみを追加することの内一方または双方を含んでもよく、最初に個々のマーカ画像の全てを共通座標系に一致させ、形態学的処理によって併合する。その後、高解像度の対応するＦＯＶ画像を得るために、逆レジストレーション(inverse registration)を使用して、識別されたＦＯＶの全てを逆に本来の画像に移転させる。本発明をいずれの理論やメカニズムにも限定することを望むのではないが、本発明のシステムおよび方法は、再現可能である、人間の読み手に偏らない、そして効率が向上するというような利点を提供することができる。その結果、本開示による自動ＦＯＶ選択のためのディジタル病理学ワークフローは、候補ＦＯＶを自動的に供給する、コンピュータ・ベースのＦＯＶ選択アルゴリズムを含む。これらの候補ＦＯＶは、病理学者またはその他の評価者によって更に分析することができる。
施形態では、ＦＯＶ選択は、ホール・スライド画像における各細胞マーカの密度に基づく。ここで説明する動作は、分離多重スライドからまたは単一染色スライドからの個々のマーカに対して画像を読み取る動作と、個々のマーカ画像から組織領域マスクを計算する動作とを含む。各マーカのマスク・フィルタ画像(masked filtered image)は、個々のマーカ画像チャネルにロー・パス・フィルタを適用し、組織領域マスクを適用することによって決定されてもよい。マスク・フィルタ画像から明暗度が最も高い上位Ｋ箇所の領域を、マーカ毎の候補ＦＯＶとして選択する。個々のマーカ画像からの候補ＦＯＶを一緒に併合する。この併合は、入力の優先順位または選択に基づいて、同じ座標系におけるＦＯＶの全てを一緒に追加すること、または選択されたマーカ画像からのＦＯＶのみを追加することの内一方または双方を含んでもよく、最初に個々のマーカ画像の全てを共通座標系に一致させ、形態学的処理によって併合する。その後、高解像度の対応するＦＯＶ画像を得るために、逆レジストレーション(inverse registration)を使用して、識別されたＦＯＶの全てを逆に本来の画像に移転させる。本発明をいずれの理論やメカニズムにも限定することを望むのではないが、本発明のシステムおよび方法は、再現可能である、人間の読み手に偏らない、そして効率が向上するというような利点を提供することができる。その結果、本開示による自動ＦＯＶ選択のためのディジタル病理学ワークフローは、候補ＦＯＶを自動的に供給する、コンピュータ・ベースのＦＯＶ選択アルゴリズムを含む。これらの候補ＦＯＶは、病理学者またはその他の評価者によって更に分析することができる。
【0096】
[00140] ここで説明した動作は、例示の目的に限って、免疫細胞の識別と関連付けて
、そして浸潤度の計算における使用に合わせて説明した。しかしながら、本システムおよび方法は、細胞または生体試料のいずれの種類の画像にも適用可能であると言って差し支えなく、任意の種類の細胞または細胞のグループに対する種類、密度、および位置の判定に適用することができる。本明細書において使用する場合、「生体試料」(biological specimen)および「生体組織標本」(biological tissue sample)という用語は、相互交換可能に使用されてもよい。更に、癌組織および免疫マーカ以外でも、本開示は任意の疾病または非疾病状態の任意の生体試料または腫瘍にも適用可能であり、更に、蛍光および非蛍光染料によって染色された生体試料の画像というような、任意の種類の染色を受けた生体試料の画像にも適用可能である。また、ステップの順序は、本明細書において説明するものとは異なってもよいことは、当業者には認められよう。
、そして浸潤度の計算における使用に合わせて説明した。しかしながら、本システムおよび方法は、細胞または生体試料のいずれの種類の画像にも適用可能であると言って差し支えなく、任意の種類の細胞または細胞のグループに対する種類、密度、および位置の判定に適用することができる。本明細書において使用する場合、「生体試料」(biological specimen)および「生体組織標本」(biological tissue sample)という用語は、相互交換可能に使用されてもよい。更に、癌組織および免疫マーカ以外でも、本開示は任意の疾病または非疾病状態の任意の生体試料または腫瘍にも適用可能であり、更に、蛍光および非蛍光染料によって染色された生体試料の画像というような、任意の種類の染色を受けた生体試料の画像にも適用可能である。また、ステップの順序は、本明細書において説明するものとは異なってもよいことは、当業者には認められよう。
【0097】
[00141] 図１Ａ～図１Ｂは、それぞれ、本開示の例示的な実施形態による自動ＦＯＶ
選択のためのシステム１００およびワークフローを示す。図１Ａを参照すると、システム１００は、メモリ１１０を含む。メモリ１１０は、コンピュータ１０１に結合されたプロセッサ１０５によって実行される複数の処理モジュールまたは論理命令を格納する。画像取得システム１０２からの入力が、複数の処理モジュールの内１つ以上の実行をトリガすることができる。プロセッサ１０５およびメモリ１１０の他に、コンピュータ１０１は、キーボード、マウス、スタイラス、およびディスプレイ／タッチスクリーンのような、ユーザ入力および出力デバイスも含む。以下の論述において説明するように、プロセッサ１０５は、メモリ１１０上に格納されている論理命令を実行し、１つ以上の染料（例えば、蛍光体、量子ドット、試薬、チラミド、ＤＡＰＩ等）によって染色されたスライド（組織標本のような生体試料を含む）の画像において１つ以上のＦＯＶを自動的に識別することを含む。
選択のためのシステム１００およびワークフローを示す。図１Ａを参照すると、システム１００は、メモリ１１０を含む。メモリ１１０は、コンピュータ１０１に結合されたプロセッサ１０５によって実行される複数の処理モジュールまたは論理命令を格納する。画像取得システム１０２からの入力が、複数の処理モジュールの内１つ以上の実行をトリガすることができる。プロセッサ１０５およびメモリ１１０の他に、コンピュータ１０１は、キーボード、マウス、スタイラス、およびディスプレイ／タッチスクリーンのような、ユーザ入力および出力デバイスも含む。以下の論述において説明するように、プロセッサ１０５は、メモリ１１０上に格納されている論理命令を実行し、１つ以上の染料（例えば、蛍光体、量子ドット、試薬、チラミド、ＤＡＰＩ等）によって染色されたスライド（組織標本のような生体試料を含む）の画像において１つ以上のＦＯＶを自動的に識別することを含む。
【0098】
[00142] 画像取得システム１０２は、ＣＣＤ検出システムのような検出システム、あ
るいはスペクトル・カメラのようなスキャナまたはカメラ、あるいは顕微鏡または顕微鏡および／または撮像コンポーネントを有するホール・スライド・スキャナ上のカメラを含んでもよい（画像取得システムは以上の例に限定されるのではない）。例えば、スキャナが生体試料（スライドのような基板上に置かれているとよい）を走査するのでもよく、画像は、ディジタル化画像としてシステムのメモリに保存されてもよい。画像取得システム１０２から受け取られた入力情報は、ターゲット組織の種類または物体についての情報、ならびに染色および／または撮像プラットフォームの識別を含むことができる。例えば、標本は、明視野撮像用の発色性染料または蛍光撮像用の蛍光体と関連付けられた１つ以上の異なるバイオマーカを含有する染色アッセイの適用によって染色されていてもよい。染色アッセイは、明視野撮像用の発色性染料、有機蛍光体、量子ドット、または蛍光撮像用の量子ドットと併せた有機蛍光体、あるいは染料、バイオマーカ、および目視デバイスまたは撮像デバイスの任意の他の組み合わせを使用することができる。更に、典型的な標本は、染色アッセイを標本に適用し、染色標本が得られる自動染色／アッセイ・プラットフォームにおいて処理される。更に、入力情報は、腫瘍マーカまたは特異免疫細胞のバイオマーカのような、組織上における特定の結合部位(binding site)またはターゲットに、どの特異抗体分子が、どの程度結合するかについての情報も含むことができる。バイオマーカおよび／またはターゲットの選択をシステムに入力することもでき、染料の最適な組み合わせの判定をアッセイに適用することが可能になる。システム１００に入力される追加情報には、染色プラットフォームに関係する任意の情報を含むことができ、染色に使用される化学薬品の濃度、染色において組織に適用される化学薬品の反応時間、および／または組織の経年数(age)、固定方法、期間、どのように標本が埋め込まれたか、切除等のような、組織の分析前状態が含まれる。画像データおよびその他の入力情報は、直接送信することができ、あるいはネットワークを通じて、またはユーザの操作用コンピュータ１０１を介して提供されてもよい。
るいはスペクトル・カメラのようなスキャナまたはカメラ、あるいは顕微鏡または顕微鏡および／または撮像コンポーネントを有するホール・スライド・スキャナ上のカメラを含んでもよい（画像取得システムは以上の例に限定されるのではない）。例えば、スキャナが生体試料（スライドのような基板上に置かれているとよい）を走査するのでもよく、画像は、ディジタル化画像としてシステムのメモリに保存されてもよい。画像取得システム１０２から受け取られた入力情報は、ターゲット組織の種類または物体についての情報、ならびに染色および／または撮像プラットフォームの識別を含むことができる。例えば、標本は、明視野撮像用の発色性染料または蛍光撮像用の蛍光体と関連付けられた１つ以上の異なるバイオマーカを含有する染色アッセイの適用によって染色されていてもよい。染色アッセイは、明視野撮像用の発色性染料、有機蛍光体、量子ドット、または蛍光撮像用の量子ドットと併せた有機蛍光体、あるいは染料、バイオマーカ、および目視デバイスまたは撮像デバイスの任意の他の組み合わせを使用することができる。更に、典型的な標本は、染色アッセイを標本に適用し、染色標本が得られる自動染色／アッセイ・プラットフォームにおいて処理される。更に、入力情報は、腫瘍マーカまたは特異免疫細胞のバイオマーカのような、組織上における特定の結合部位(binding site)またはターゲットに、どの特異抗体分子が、どの程度結合するかについての情報も含むことができる。バイオマーカおよび／またはターゲットの選択をシステムに入力することもでき、染料の最適な組み合わせの判定をアッセイに適用することが可能になる。システム１００に入力される追加情報には、染色プラットフォームに関係する任意の情報を含むことができ、染色に使用される化学薬品の濃度、染色において組織に適用される化学薬品の反応時間、および／または組織の経年数(age)、固定方法、期間、どのように標本が埋め込まれたか、切除等のような、組織の分析前状態が含まれる。画像データおよびその他の入力情報は、直接送信することができ、あるいはネットワークを通じて、またはユーザの操作用コンピュータ１０１を介して提供されてもよい。
【0099】
[00143] 分離モジュール１１１は、例えば、画像が多重画像である場合に、この画像
を分離するために実行することができる。分離モジュール１１１は、画像を個々のマーカ・カラー・チャネルに分離する。分離モジュール１１１は、基準カラー・マトリクス・データベース１１２から読み取り、基準カラー・マトリクスを得て、分離動作を実行するためにこの基準カラー・マトリクスを使用することができる。画像が単一染色スライドのものである場合、この画像はＦＯＶ選択に直接使用することができる。いずれの場合でも、ヒート・マップ計算モジュール１１３を実行して、個々のマーカ画像または単一染色画像に対してヒート・マップを評価することができる。ヒート・マップは、ホール・スライド画像上の種々の構造またはバイオマークの密度をマッピングする。これを遂行するために、ヒート・マップ計算モジュール１１３は、ロー・パス・フィルタ・モジュール１１４によって処理されたロー・パス・フィルタ画像(low pass filtered image)にカラーを割り当てるというような動作を実行することができる。また、組織領域マスクもロー・パス・フィルタ画像に適用することもできる。ヒート・マップは、画素のそれぞれの密度にしたがって画素を図示し(illustrate)、つまり各画像における細胞分布の密度に対応する。例えば、ヒート・マップは、密度が高い画素程低密度画素に使用されるカラーよりも暖かいカラーで図示することによって、高密度画素を低密度画素から区別する。極大値フィルタ・モジュール１１５は、極大値フィルタをロー・パス・フィルタ画像に適用して画像の極大値を得るために実行することができる。続いて、上位Ｋ個ＦＯＶ選択モジュール１１６が、極大値フィルタ画像から、最も密度が高い上位Ｋ箇所の領域を選択するために実行することができる。上位Ｋ箇所の領域は、画像毎に候補ＦＯＶに指定される。例えば、細胞は、高密度領域では一緒に集まるが、低密度領域ではもっと散乱すると言って差し支えない。各画像からのＦＯＶは、ＦＯＶ併合モジュール１１７によって一緒に併合される。ＦＯＶ併合モジュールは、全てのＦＯＶを取り込む、または選択したマーカからのＦＯＶのみを取り込む、およびこれらを併合するというような動作を実行する。レジストレーション・モジュール(registration module)１１８は、全ての画像を同じ座標系に転移させ、ＦＯＶの座標を直接同じ座標系において追加できる(add up)ようにするために呼び出される。
を分離するために実行することができる。分離モジュール１１１は、画像を個々のマーカ・カラー・チャネルに分離する。分離モジュール１１１は、基準カラー・マトリクス・データベース１１２から読み取り、基準カラー・マトリクスを得て、分離動作を実行するためにこの基準カラー・マトリクスを使用することができる。画像が単一染色スライドのものである場合、この画像はＦＯＶ選択に直接使用することができる。いずれの場合でも、ヒート・マップ計算モジュール１１３を実行して、個々のマーカ画像または単一染色画像に対してヒート・マップを評価することができる。ヒート・マップは、ホール・スライド画像上の種々の構造またはバイオマークの密度をマッピングする。これを遂行するために、ヒート・マップ計算モジュール１１３は、ロー・パス・フィルタ・モジュール１１４によって処理されたロー・パス・フィルタ画像(low pass filtered image)にカラーを割り当てるというような動作を実行することができる。また、組織領域マスクもロー・パス・フィルタ画像に適用することもできる。ヒート・マップは、画素のそれぞれの密度にしたがって画素を図示し(illustrate)、つまり各画像における細胞分布の密度に対応する。例えば、ヒート・マップは、密度が高い画素程低密度画素に使用されるカラーよりも暖かいカラーで図示することによって、高密度画素を低密度画素から区別する。極大値フィルタ・モジュール１１５は、極大値フィルタをロー・パス・フィルタ画像に適用して画像の極大値を得るために実行することができる。続いて、上位Ｋ個ＦＯＶ選択モジュール１１６が、極大値フィルタ画像から、最も密度が高い上位Ｋ箇所の領域を選択するために実行することができる。上位Ｋ箇所の領域は、画像毎に候補ＦＯＶに指定される。例えば、細胞は、高密度領域では一緒に集まるが、低密度領域ではもっと散乱すると言って差し支えない。各画像からのＦＯＶは、ＦＯＶ併合モジュール１１７によって一緒に併合される。ＦＯＶ併合モジュールは、全てのＦＯＶを取り込む、または選択したマーカからのＦＯＶのみを取り込む、およびこれらを併合するというような動作を実行する。レジストレーション・モジュール(registration module)１１８は、全ての画像を同じ座標系に転移させ、ＦＯＶの座標を直接同じ座標系において追加できる(add up)ようにするために呼び出される。
【0100】
[00144] 先に説明したように、モジュールは、プロセッサ１０５によって実行される
ロジックを含む。「ロジック」とは、この説明においてそして本開示全体で使用する場合、プロセッサの動作に作用するために供給することができる命令信号および／またはデータの形態を有する任意の情報を指す。ソフトウェアは、このようなロジックの一例である。プロセッサの例には、コンピュータ・プロセッサ（処理ユニット）、マイクロプロセッサ、ディジタル信号プロセッサ、コントローラおよびマイクロコントローラ等がある。ロジックは、メモリ１１０のようなコンピュータ読み取り可能媒体上に格納された信号で形成することができ、例示的な実施形態では、コンピュータ読み取り可能媒体は、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、消去可能／電気的消去可能プログラマブル・リード・オンリ・メモリ（ＥＰＲＯＭ／ＥＥＰＲＯＭ）、フラッシュ・メモリ等であってもよい。また、ロジックは、ディジタルおよび／またはアナログ・ハードウェア回路、例えば、論理ＡＮＤ、ＯＲ、ＸＯＲ、ＮＡＮＤ、ＮＯＲ、およびその他の論理演算を構成する(comprise)ハードウェア回路も含むことができる。ロジックは、ソフトウェアおよびハードウェアの組み合わせで形成することもできる。ネットワーク上では、ロジックはサーバまたはサーバの複合体においてプログラミングすることができる。特定のロジック・ユニットがネットワーク上の１つの論理位置に限定されることはない。更に、モジュールは特定の順序で実行される必要は全くない。各モジュールは、他のモジュールを実行する必要があるときには、コールすることができる。
ロジックを含む。「ロジック」とは、この説明においてそして本開示全体で使用する場合、プロセッサの動作に作用するために供給することができる命令信号および／またはデータの形態を有する任意の情報を指す。ソフトウェアは、このようなロジックの一例である。プロセッサの例には、コンピュータ・プロセッサ（処理ユニット）、マイクロプロセッサ、ディジタル信号プロセッサ、コントローラおよびマイクロコントローラ等がある。ロジックは、メモリ１１０のようなコンピュータ読み取り可能媒体上に格納された信号で形成することができ、例示的な実施形態では、コンピュータ読み取り可能媒体は、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、消去可能／電気的消去可能プログラマブル・リード・オンリ・メモリ（ＥＰＲＯＭ／ＥＥＰＲＯＭ）、フラッシュ・メモリ等であってもよい。また、ロジックは、ディジタルおよび／またはアナログ・ハードウェア回路、例えば、論理ＡＮＤ、ＯＲ、ＸＯＲ、ＮＡＮＤ、ＮＯＲ、およびその他の論理演算を構成する(comprise)ハードウェア回路も含むことができる。ロジックは、ソフトウェアおよびハードウェアの組み合わせで形成することもできる。ネットワーク上では、ロジックはサーバまたはサーバの複合体においてプログラミングすることができる。特定のロジック・ユニットがネットワーク上の１つの論理位置に限定されることはない。更に、モジュールは特定の順序で実行される必要は全くない。各モジュールは、他のモジュールを実行する必要があるときには、コールすることができる。
【0101】
[00145] ＦＯＶ選択のための例示的なワークフローを図１Ｂに示す。図１Ｂにおいて
、Ｎはスライドに適用されるマーカの数を表す。多重スライド１２１に対しては、例えば、"Image Adaptive Physiologically Plausible Color Separation"（生理学的にもっともらしい画像適応カラー分離）と題し、２０１３年６月３日に出願された特許出願第６１／８３０，６２０号およびＷＯ２０１４／１９５１９３ Ａ１に開示されている分離方法にしたがって、カラー分離１２２を実行する。これらの特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。２０１４年２月２１日に出願され "Group Sparsity Model for Image Unmixing"（画像分離用のグループ・スパース・モデル）と題する特許出願第６１／９４３，２６５号、および２０１４年１２月１８日に出願されたＰＣＴ／ＥＰ２０１４／０７８３９２に開示されている方法は、マーカ毎に画像１２３を得るために利用される例示的な実施形態に入る。これらの特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。他の方法では、画像が単一染色スライドである場合、マーカ毎の単一染色スライドを走査した画像１２４が、図１Ａに示すシステムのような自動ＦＯＶ選択システムへの入力として利用される。例えば、各マーカの画像からホット・スポット１２５を計算して、マーカ毎に上位の候補ＦＯＶ１２６を生成するために、ヒート・マップ計算動作を実行してもよい。候補ＦＯＶ１２６を統合して（１２７）、最終的なＦＯＶリスト１２８を生成してもよい。最終的なＦＯＶリスト１２８は、生体試料、例えば、免疫細胞を評価するために病理学者が利用するために選択することができるＦＯＶのリストを含む。
、Ｎはスライドに適用されるマーカの数を表す。多重スライド１２１に対しては、例えば、"Image Adaptive Physiologically Plausible Color Separation"（生理学的にもっともらしい画像適応カラー分離）と題し、２０１３年６月３日に出願された特許出願第６１／８３０，６２０号およびＷＯ２０１４／１９５１９３ Ａ１に開示されている分離方法にしたがって、カラー分離１２２を実行する。これらの特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。２０１４年２月２１日に出願され "Group Sparsity Model for Image Unmixing"（画像分離用のグループ・スパース・モデル）と題する特許出願第６１／９４３，２６５号、および２０１４年１２月１８日に出願されたＰＣＴ／ＥＰ２０１４／０７８３９２に開示されている方法は、マーカ毎に画像１２３を得るために利用される例示的な実施形態に入る。これらの特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。他の方法では、画像が単一染色スライドである場合、マーカ毎の単一染色スライドを走査した画像１２４が、図１Ａに示すシステムのような自動ＦＯＶ選択システムへの入力として利用される。例えば、各マーカの画像からホット・スポット１２５を計算して、マーカ毎に上位の候補ＦＯＶ１２６を生成するために、ヒート・マップ計算動作を実行してもよい。候補ＦＯＶ１２６を統合して（１２７）、最終的なＦＯＶリスト１２８を生成してもよい。最終的なＦＯＶリスト１２８は、生体試料、例えば、免疫細胞を評価するために病理学者が利用するために選択することができるＦＯＶのリストを含む。
【0102】
[00146] この説明においてそして本開示全体で使用する場合、ホット・スポットとは
、高密度のマークされた（即ち、染色）細胞を含む領域であり、例えば、ホット・スポットは、ＩＳＨ、ＩＨＣ、蛍光体、量子ドット等のような異なる種類の画像およびマーカからの細胞とすることができる。本開示は、この特徴を実証するための例として、ＩＨＣ画像において免疫細胞を使用する（既に論じたように、本発明はＩＣＨ画像における免疫細胞に限定されるのではない）。本開示を考慮すると、ホット・スポットを発見するため、そして浸潤度計算において自動ホット・スポット選択をモジュールとして使用するために、種々のアルゴリズムを当業者が使用することができる。本開示の例示的な実施形態は、手作業で選択されるＦＯＶの偏りを回避する問題を解決するために、本明細書において説明する自動ＦＯＶ選択動作を利用する。病理学者またはその他の評価者が関心を寄せると思われるＦＯＶを自動的に識別するために、低解像度画像に基づいて（例えば、５倍ズーム画像）、マーカ毎または単一マーカを表す画像毎に、ヒート・マップを計算する。
、高密度のマークされた（即ち、染色）細胞を含む領域であり、例えば、ホット・スポットは、ＩＳＨ、ＩＨＣ、蛍光体、量子ドット等のような異なる種類の画像およびマーカからの細胞とすることができる。本開示は、この特徴を実証するための例として、ＩＨＣ画像において免疫細胞を使用する（既に論じたように、本発明はＩＣＨ画像における免疫細胞に限定されるのではない）。本開示を考慮すると、ホット・スポットを発見するため、そして浸潤度計算において自動ホット・スポット選択をモジュールとして使用するために、種々のアルゴリズムを当業者が使用することができる。本開示の例示的な実施形態は、手作業で選択されるＦＯＶの偏りを回避する問題を解決するために、本明細書において説明する自動ＦＯＶ選択動作を利用する。病理学者またはその他の評価者が関心を寄せると思われるＦＯＶを自動的に識別するために、低解像度画像に基づいて（例えば、５倍ズーム画像）、マーカ毎または単一マーカを表す画像毎に、ヒート・マップを計算する。
【0103】
[00147] 図２は、本開示の例示的な実施形態によるヒート・マップの計算を示す。図
２において説明する動作は、ホット・スポットを識別するためにヒート・マップ計算をどのように利用するかについて例示する。例えば、入力画像２３１の単一マーカ・チャネル２３２を仮定すると、ロー・パス・フィルタ画像２３４を使用してヒート・マップ２３５を生成する。これは、基本的に、ロー・パス・フィルタ画像２３４を入力として取り込み、その上に、ビジュアライゼーションの目的でカラー・マップを適用する。例えば、赤色がロー・パス・フィルタ画像における高明暗度画素に対応してもよく、青色が低明暗度画素に対応してもよい。他のカラーおよび／または明暗度の描画も、本開示を考慮すれば、当業者には明白であろう。組織領域を識別し背景領域を除外することによって、組織領域マスク２３３を作成することができる。この識別は、エッジ検出等のような画像分析動作によって可能にすればよい。組織領域マスク２３３は、画像における非組織背景ノイズ、例えば、非組織領域を除去するために使用される。
２において説明する動作は、ホット・スポットを識別するためにヒート・マップ計算をどのように利用するかについて例示する。例えば、入力画像２３１の単一マーカ・チャネル２３２を仮定すると、ロー・パス・フィルタ画像２３４を使用してヒート・マップ２３５を生成する。これは、基本的に、ロー・パス・フィルタ画像２３４を入力として取り込み、その上に、ビジュアライゼーションの目的でカラー・マップを適用する。例えば、赤色がロー・パス・フィルタ画像における高明暗度画素に対応してもよく、青色が低明暗度画素に対応してもよい。他のカラーおよび／または明暗度の描画も、本開示を考慮すれば、当業者には明白であろう。組織領域を識別し背景領域を除外することによって、組織領域マスク２３３を作成することができる。この識別は、エッジ検出等のような画像分析動作によって可能にすればよい。組織領域マスク２３３は、画像における非組織背景ノイズ、例えば、非組織領域を除去するために使用される。
【0104】
[00148] 図２に関して検討した実施形態では、入力画像２３１が染料およびそのそれ
ぞれの対比染料によって染色され、２つのチャネル、即ち、ＦＰ３チャネルおよびＨＴＸチャネルが得られる。この２チャネル画像２３１を分離して、それぞれ、ＦＰ３およびＨＴチャネルの分離画像２３２および２３８を供給する。
ぞれの対比染料によって染色され、２つのチャネル、即ち、ＦＰ３チャネルおよびＨＴＸチャネルが得られる。この２チャネル画像２３１を分離して、それぞれ、ＦＰ３およびＨＴチャネルの分離画像２３２および２３８を供給する。
【0105】
[00149] 次いで、空間ロー・パス・フィルタによって、分離画像２３２にロー・パス
・フィルタリングして、ロー・パス・フィルタ画像(low pass filtered image)２３４を
得る。次に、ビジュアライゼーションの目的で、ロー・パス・フィルタ画像２３４にヒート・マップ２３５を追加する。
・フィルタリングして、ロー・パス・フィルタ画像(low pass filtered image)２３４を
得る。次に、ビジュアライゼーションの目的で、ロー・パス・フィルタ画像２３４にヒート・マップ２３５を追加する。
【0106】
[00150] 次いで、分離画像２３８を使用して、図３において説明する方法によって組
織領域マスク２３３を計算する。
[00151]
[00152] 次に、ヒート・マップ２３５が追加されたまたはされないロー・パス・フィ
ルタ画像２３４に、極大値フィルタリングを行い、極大値フィルタ画像(local max filtered image)２３６を得る。極大値フィルタ画像２３６は、複数の極大値２３９、ここで検討する例では、図２に示すように、５つの極大値２３９．１～２３９．５を含む。次に、閾値を上回る極大値２３９．１および２３９．４のみが閾値設定動作によって除去されないように、この閾値を極大値フィルタ画像２３６に適用することによってというようにして、閾値設定動作を極大値フィルタ画像２３６に対して行う。
織領域マスク２３３を計算する。
[00151]
[00152] 次に、ヒート・マップ２３５が追加されたまたはされないロー・パス・フィ
ルタ画像２３４に、極大値フィルタリングを行い、極大値フィルタ画像(local max filtered image)２３６を得る。極大値フィルタ画像２３６は、複数の極大値２３９、ここで検討する例では、図２に示すように、５つの極大値２３９．１～２３９．５を含む。次に、閾値を上回る極大値２３９．１および２３９．４のみが閾値設定動作によって除去されないように、この閾値を極大値フィルタ画像２３６に適用することによってというようにして、閾値設定動作を極大値フィルタ画像２３６に対して行う。
【0107】
[00153] あるいは、極大値２３９を並び替えリストにおいて順序付けし、上位Ｋ個の
極大値だけをリストから取り出す。ここでＫは、ここで検討する実施形態における説明に限っては、２であり、極大値２３９．１および２３９．４が得られる。極大値２３９の各々は、１組の近隣画素から成る。
極大値だけをリストから取り出す。ここでＫは、ここで検討する実施形態における説明に限っては、２であり、極大値２３９．１および２３９．４が得られる。極大値２３９の各々は、１組の近隣画素から成る。
【0108】
[00154] この閾値設定動作によって、絞り込み画像(thresholded image)２３７が得られる。絞り込み画像２３７における極大値２３９．１および２３９．４の各々は、それぞれの視野２４０．１および２４０．２の位置を、それぞれ、画定することができる。実施態様に応じて、これらの視野２４０．１および２４０．２は、図６に関して以下で説明するような後続の処理動作において、これらの視野を他の視野と併合できるか否か検査するための候補視野となることができる。視野２４０．１および２４０．２の位置は、絞り込み画像２３７およびその極大値によって画定される。しかしながら、全ての描画情報コンテンツを利用してそれぞれの視野の画像分析を行うために、元のマルチチャネル画像２３１内におけるそれぞれの画像エリアからこれらの視野のコンテンツが取り込まれる。
【0109】
[00155] 図３は、セグメント化技法によって分離画像２３８から組織マスク２３３を
計算するためというような、本開示の例示的な実施形態による組織マスク計算を示す。組織ＲＧＢ画像のＲＧＢチャネル３３６の線形結合３３７を計算して、グレースケール輝度画像３３８を作成する。Ｒ、Ｇ、およびＢチャネルに対する結合重み（例えば、３３７における０．３、０．６、０．１）は、異なる用途に基づいて変更される可能性がある。３画素×３画素の標準偏差フィルタ３３９を輝度画像３３８にかけて、フィルタ輝度画像(filtered luminance image)３４０を得る。ここで、フィルタ・サイズ（例えば、３×３、５×５）は、異なる用途に基づいて変更される可能性がある。組織マスク３４２は、フィルタ輝度画像３４０に閾値設定した（３４１）ことによって得られた二進画像である。例えば、組織マスク３４２は、画素明暗度値が１．５よりも大きい領域を含むのでもよい。閾値設定パラメータＭａｘＬｕｍ（例えば、１．５、２．０、３．０）は、異なる用途に基づいて、変動する可能性がある。
計算するためというような、本開示の例示的な実施形態による組織マスク計算を示す。組織ＲＧＢ画像のＲＧＢチャネル３３６の線形結合３３７を計算して、グレースケール輝度画像３３８を作成する。Ｒ、Ｇ、およびＢチャネルに対する結合重み（例えば、３３７における０．３、０．６、０．１）は、異なる用途に基づいて変更される可能性がある。３画素×３画素の標準偏差フィルタ３３９を輝度画像３３８にかけて、フィルタ輝度画像(filtered luminance image)３４０を得る。ここで、フィルタ・サイズ（例えば、３×３、５×５）は、異なる用途に基づいて変更される可能性がある。組織マスク３４２は、フィルタ輝度画像３４０に閾値設定した（３４１）ことによって得られた二進画像である。例えば、組織マスク３４２は、画素明暗度値が１．５よりも大きい領域を含むのでもよい。閾値設定パラメータＭａｘＬｕｍ（例えば、１．５、２．０、３．０）は、異なる用途に基づいて、変動する可能性がある。
【0110】
[00156] 図４は、本開示の例示的な実施形態による候補ＦＯＶを示す。候補視野４４
３は、ヒート・マップの最も密度が高い上位Ｋ箇所の領域（ホット・スポットとも呼ぶ）から選択される。例えば、Ｋは、５、１０、１５、２０等から選択することができる。極大値フィルタ画像２３６を得るために、ヒート・マップ２３５（図２参照）が追加されたロー・パス・フィルタ画像２３４に、極大値フィルタを適用する。尚、ヒート・マップ２３５はこの処理のために必須なのではなく、ビジュアライゼーションの目的に供することは注記してしかるべきである。極大値フィルタは、一定値の画素を接続して、その境界の外側にある画素が全てその一定値よりも低い値を有する領域を識別する機能である。これは、２－Ｄ画像では、４つまたは８つの接続した近隣画素を使用することができる。この機能の実現例(implementation)はＭａｔｌａｂ（http://www.mathworks.com/help/images/ref/imregionalmax.html）において入手可能である。
３は、ヒート・マップの最も密度が高い上位Ｋ箇所の領域（ホット・スポットとも呼ぶ）から選択される。例えば、Ｋは、５、１０、１５、２０等から選択することができる。極大値フィルタ画像２３６を得るために、ヒート・マップ２３５（図２参照）が追加されたロー・パス・フィルタ画像２３４に、極大値フィルタを適用する。尚、ヒート・マップ２３５はこの処理のために必須なのではなく、ビジュアライゼーションの目的に供することは注記してしかるべきである。極大値フィルタは、一定値の画素を接続して、その境界の外側にある画素が全てその一定値よりも低い値を有する領域を識別する機能である。これは、２－Ｄ画像では、４つまたは８つの接続した近隣画素を使用することができる。この機能の実現例(implementation)はＭａｔｌａｂ（http://www.mathworks.com/help/images/ref/imregionalmax.html）において入手可能である。
【0111】
[00157] 極大値は、接続領域内における平均明暗度として得られる。極大値をソート
して、ホット・スポットの順序付けを行うための並び替えリストを得て、上位Ｋ箇所のホット・スポットを報告し、こうして極大値フィルタ画像に閾値設定を行う。あるいは、閾値よりも高い全てのホット・スポットが報告されるように、極大値フィルタ画像に既定の閾値を適用する。極大値フィルタ計算モジュールによって戻される領域は、極大値の位置である。
して、ホット・スポットの順序付けを行うための並び替えリストを得て、上位Ｋ箇所のホット・スポットを報告し、こうして極大値フィルタ画像に閾値設定を行う。あるいは、閾値よりも高い全てのホット・スポットが報告されるように、極大値フィルタ画像に既定の閾値を適用する。極大値フィルタ計算モジュールによって戻される領域は、極大値の位置である。
【0112】
[00158]
[00159] 本明細書において説明するように、多重スライドの分離からまたは単一染色
スライドから生成される異なるマーカ画像毎に、異なるＦＯＶを得ることができる。診断対象の患者毎に、同じ１組のＦＯＶが異なるマーカにわたって参照されることを確保するために、これらのＦＯＶを統合する。ＦＯＶを統合するには、様々な可能な選択肢がある。図５Ａ～図５Ｂは、それぞれ、本開示の例示的な実施形態による、全てのマーカからのＦＯＶ、および選択したマーカからのＦＯＶの併合を示す。例えば、図５Ａに示すように、異なるマーカ画像からの全ての候補ＦＯＶを併合してもよい。代わりに、図５Ｂに示すように、異なるマーカ画像毎に異なるＦＯＶを選択し併合してもよい。
[00159] 本明細書において説明するように、多重スライドの分離からまたは単一染色
スライドから生成される異なるマーカ画像毎に、異なるＦＯＶを得ることができる。診断対象の患者毎に、同じ１組のＦＯＶが異なるマーカにわたって参照されることを確保するために、これらのＦＯＶを統合する。ＦＯＶを統合するには、様々な可能な選択肢がある。図５Ａ～図５Ｂは、それぞれ、本開示の例示的な実施形態による、全てのマーカからのＦＯＶ、および選択したマーカからのＦＯＶの併合を示す。例えば、図５Ａに示すように、異なるマーカ画像からの全ての候補ＦＯＶを併合してもよい。代わりに、図５Ｂに示すように、異なるマーカ画像毎に異なるＦＯＶを選択し併合してもよい。
【0113】
[00160] 更に、異なるマーカ画像に対する異なるＦＯＶは、ユーザの要望に基づいて
、独立して分析することもできる。図６Ａ～図６Ｂは、本開示の例示的な実施形態による、ＦＯＶの統合を示す。図６Ａを参照すると、全てのＦＯＶが選択され、図６Ｂを参照すると、特定のマーカに対応するＦＯＶだけが選択される。各円６６１は、マーカに対して可能なＦＯＶを表す。各円６６１における各ドット６６２は、各ＦＯＶに対する極大点を表す。各円６６１が異なるマーカを包囲してもよい。線６６３は、腫瘍領域と非腫瘍領域との間の分離に対応する。腫瘍領域の外側にあるＦＯＶ６６４は、結合(union)および交差(intersection)というような形態学的処理によって除外される。最終的なＦＯＶ（即ち、分析のために選択されたＦＯＶ）は、図５Ａおよび図５Ｂの方法によって図示されるように、各マーカからの全てのＦＯＶの結合となる。
、独立して分析することもできる。図６Ａ～図６Ｂは、本開示の例示的な実施形態による、ＦＯＶの統合を示す。図６Ａを参照すると、全てのＦＯＶが選択され、図６Ｂを参照すると、特定のマーカに対応するＦＯＶだけが選択される。各円６６１は、マーカに対して可能なＦＯＶを表す。各円６６１における各ドット６６２は、各ＦＯＶに対する極大点を表す。各円６６１が異なるマーカを包囲してもよい。線６６３は、腫瘍領域と非腫瘍領域との間の分離に対応する。腫瘍領域の外側にあるＦＯＶ６６４は、結合(union)および交差(intersection)というような形態学的処理によって除外される。最終的なＦＯＶ（即ち、分析のために選択されたＦＯＶ）は、図５Ａおよび図５Ｂの方法によって図示されるように、各マーカからの全てのＦＯＶの結合となる。
【0114】
[00161] ある実施形態では、ＦＯＶは極大値の周囲にある矩形であってもよい。他の
実施形態では、ＦＯＶは任意の形状でもよい。ある実施形態では、ＦＯＶは高明暗度領域の周りの境界であってもよい。
実施形態では、ＦＯＶは任意の形状でもよい。ある実施形態では、ＦＯＶは高明暗度領域の周りの境界であってもよい。
【0115】
[00162] 図６Ｂは、所与の問題に対してユーザによって最も重要なマーカを指定し、
選択されたマーカに基づいてＦＯＶを併合する動作を示す。例えば、ＰＦ３およびＣＤ８が最も重要なマーカであると仮定する。画像レジストレーション(image registration)を使用して、単一マーカの全ての画像を同じ座標系に位置合わせさせることもできる（例えば、基準座標は、組織ブロックの中央にあるスライド・セクション、または特定のマーカがあるスライドとすることができる）。したがって、各画像をその古い座標系から新たな基準座標系に位置合わせさせることができる。個々のマーカ画像から選択されたマーカ（
例えば、ＦＰ３およびＣＤ８）のＦＯＶを共通空間に位置合わせさせ、結合および交差のような形態学的処理を使用して併合し、併合ＦＯＶ（図６ＢにおけるＦＯＶ６６５）を得ることもできる。図６Ｃは、形態学的処理を示す。ＡはＣＤ８画像からのＦＯＶであり、ＢはＦＰ３画像からのＦＯＶであると仮定する。最初に、ＡおよびＢを同じ座標系において重ね合わせ、ＡおよびＢの交差を計算することによって重複領域Ｃを求める。次いで、Ｃの面積とＡ（またはＢ）の面積との比率を評価する。この比率が閾値（例えば、０．６、０．８等）よりも大きい場合、これらのＦＯＶを選択し、そうでない場合、これらのＦＯＶを破棄する。併合したＦＯＶは、更なる分析のために、逆レジストレーション（即ち、新たな座標系において一致させた画像を、逆にその本来の古い座標系に位置合わせさせる）を使用して、単一マーカ画像の全てに逆にマッピングすることができる。腫瘍領域の外側にあるＦＯＶ６６４は除外される。
選択されたマーカに基づいてＦＯＶを併合する動作を示す。例えば、ＰＦ３およびＣＤ８が最も重要なマーカであると仮定する。画像レジストレーション(image registration)を使用して、単一マーカの全ての画像を同じ座標系に位置合わせさせることもできる（例えば、基準座標は、組織ブロックの中央にあるスライド・セクション、または特定のマーカがあるスライドとすることができる）。したがって、各画像をその古い座標系から新たな基準座標系に位置合わせさせることができる。個々のマーカ画像から選択されたマーカ（
例えば、ＦＰ３およびＣＤ８）のＦＯＶを共通空間に位置合わせさせ、結合および交差のような形態学的処理を使用して併合し、併合ＦＯＶ（図６ＢにおけるＦＯＶ６６５）を得ることもできる。図６Ｃは、形態学的処理を示す。ＡはＣＤ８画像からのＦＯＶであり、ＢはＦＰ３画像からのＦＯＶであると仮定する。最初に、ＡおよびＢを同じ座標系において重ね合わせ、ＡおよびＢの交差を計算することによって重複領域Ｃを求める。次いで、Ｃの面積とＡ（またはＢ）の面積との比率を評価する。この比率が閾値（例えば、０．６、０．８等）よりも大きい場合、これらのＦＯＶを選択し、そうでない場合、これらのＦＯＶを破棄する。併合したＦＯＶは、更なる分析のために、逆レジストレーション（即ち、新たな座標系において一致させた画像を、逆にその本来の古い座標系に位置合わせさせる）を使用して、単一マーカ画像の全てに逆にマッピングすることができる。腫瘍領域の外側にあるＦＯＶ６６４は除外される。
【0116】
[00163] 図７および図８は、本開示の例示的な実施形態による、全てのマーカ・ビュ
ーおよび個々のマーカ・ビューを使用する画像分析のためのユーザ・インターフェースを示す。これらの例示的な実施形態では、コンピューティング・デバイスに付随するユーザ・インターフェースを利用してＦＯＶ選択を実行してもよい。このユーザ・インターフェースは、全マーカ機能（図７）および単一マーカ機能（図８）を有することができる。ユーザ・インターフェースの上位にあるタブから選択することによって、マーカ機能にアクセスすることができる。図７に示す全マーカ機能を使用するとき、全てのマーカを目視することができ、ヒート・マップ計算、ＦＯＶ選択、キー・マーカ選択、レジストレーションおよび逆レジストレーションを実行することができる。全マーカ・ビュー（即ち、全てのマーカを並べて表示するビュー）では、画像フォルダのリスト７７１をロードする（ａ）というような選択肢を設けることもできる。各フォルダは、同じ場合について多重染色および単一染色を含む全ての画像を収容する。リストにおける画像全てのバッチ処理が可能である。機能パネル(feature panel)７７２において設けられる他の選択肢には、画像を同時に拡大ズーミングまたは縮小ズーミングして対応する領域を目視するために全ての画像の軸をリンクする（ｂ）、ＦＯＶの数を選択する（ｃ）、画像を共通座標系に位置合わせさせる（ｄ）、およびＦＯＶを統合するために、ユーザに最も重要なマーカを選別させる(pick)（ｅ）動作を含むことができる。マーカに色を付けて、ＦＯＶの選択に関わったことを示してもよい。更に他の選択肢を設けるのであれば、ヒート・マップ・ビューとＩＨＣビューとの間でユーザに切り替えさせる機能７７４、各画像のヒート・マップを計算する機能７７３を含むことができる。
ーおよび個々のマーカ・ビューを使用する画像分析のためのユーザ・インターフェースを示す。これらの例示的な実施形態では、コンピューティング・デバイスに付随するユーザ・インターフェースを利用してＦＯＶ選択を実行してもよい。このユーザ・インターフェースは、全マーカ機能（図７）および単一マーカ機能（図８）を有することができる。ユーザ・インターフェースの上位にあるタブから選択することによって、マーカ機能にアクセスすることができる。図７に示す全マーカ機能を使用するとき、全てのマーカを目視することができ、ヒート・マップ計算、ＦＯＶ選択、キー・マーカ選択、レジストレーションおよび逆レジストレーションを実行することができる。全マーカ・ビュー（即ち、全てのマーカを並べて表示するビュー）では、画像フォルダのリスト７７１をロードする（ａ）というような選択肢を設けることもできる。各フォルダは、同じ場合について多重染色および単一染色を含む全ての画像を収容する。リストにおける画像全てのバッチ処理が可能である。機能パネル(feature panel)７７２において設けられる他の選択肢には、画像を同時に拡大ズーミングまたは縮小ズーミングして対応する領域を目視するために全ての画像の軸をリンクする（ｂ）、ＦＯＶの数を選択する（ｃ）、画像を共通座標系に位置合わせさせる（ｄ）、およびＦＯＶを統合するために、ユーザに最も重要なマーカを選別させる(pick)（ｅ）動作を含むことができる。マーカに色を付けて、ＦＯＶの選択に関わったことを示してもよい。更に他の選択肢を設けるのであれば、ヒート・マップ・ビューとＩＨＣビューとの間でユーザに切り替えさせる機能７７４、各画像のヒート・マップを計算する機能７７３を含むことができる。
【0117】
[00164] 図８は、マーカ毎に最終的に選択したＦＯＶを表示する、個別マーカ・ビュ
ーまたは単一マーカ・ビューを示す。このビューにおいて設けられる機能(feature)には
、ホール・スライド画像のサムネイル８８１を表示する機能を含むことができ、ＦＯＶにはサムネイル画像においてボックスによって注釈が付けられ、ボックスの近くにある数値(text number)はＦＯＶのインデックスを示す。他の機能(feature)には、ユーザがチェックボックスを使用して望ましくないＦＯＶを削除するために、ＦＯＶリスト８８３から選択させる機能、選択されたＦＯＶ８８２の高解像度画像を表示する機能、各ＦＯＶの画像を本来の解像度でローカル・フォルダに保存する機能（ｄ）、およびユーザに標識を各ＦＯＶに割り当てさせる機能（ｅ）を含むことができる。この標識は、周辺領域、腫瘍領域、およびリンパ球領域等のような、ＦＯＶと関連がある領域とすることができる。尚、これらの例示的なインターフェースは、用途毎に異なり、更に種々のコンピューティング技術間でも異なることもあり、本開示を考慮して、本明細書において説明する新規な特徴を実施可能にする限り、異なるバージョンのインターフェースを使用してもよいことは、当業者には認められよう。
ーまたは単一マーカ・ビューを示す。このビューにおいて設けられる機能(feature)には
、ホール・スライド画像のサムネイル８８１を表示する機能を含むことができ、ＦＯＶにはサムネイル画像においてボックスによって注釈が付けられ、ボックスの近くにある数値(text number)はＦＯＶのインデックスを示す。他の機能(feature)には、ユーザがチェックボックスを使用して望ましくないＦＯＶを削除するために、ＦＯＶリスト８８３から選択させる機能、選択されたＦＯＶ８８２の高解像度画像を表示する機能、各ＦＯＶの画像を本来の解像度でローカル・フォルダに保存する機能（ｄ）、およびユーザに標識を各ＦＯＶに割り当てさせる機能（ｅ）を含むことができる。この標識は、周辺領域、腫瘍領域、およびリンパ球領域等のような、ＦＯＶと関連がある領域とすることができる。尚、これらの例示的なインターフェースは、用途毎に異なり、更に種々のコンピューティング技術間でも異なることもあり、本開示を考慮して、本明細書において説明する新規な特徴を実施可能にする限り、異なるバージョンのインターフェースを使用してもよいことは、当業者には認められよう。
【0118】
[00165] したがって、本明細書において開示するシステムおよび方法は、自動ＦＯＶ
選択を可能にし(provide)、生体試料の分析に重要であり、例えば、浸潤度計算において
組織分析スコアを計算する際に有用であることが分かっている。本明細書において開示する動作は、ＦＯＶの選択が再現可能でない、人間の読み手による手作業のＦＯＶ選択に偏りがあるというような、先行技術において知られている欠点を克服する。何故なら、自動ＦＯＶ選択は、人間の読み手の手作業による選択に頼ることなく、コンピュータによってＦＯＶを求めることができるからである。自動免疫細胞計数およびデータ分析と組み合わせると、開示する動作は、１つ以上の走査画像または画像データを入力として取り込み、最終的な臨床成果予測を出力する、完全に自動的なワークフローを可能にする。本明細書において開示するシステムおよび方法は、自動ＦＯＶ選択を可能にし(provide)、生体試
料の分析に重要であり、例えば、浸潤度計算において組織分析スコアを計算する際に有用であることが分かっている。本明細書において開示する動作は、ＦＯＶの選択が再現可能でない、人間の読み手による手作業のＦＯＶ選択に偏りがあるというような、先行技術において知られている欠点を克服する。何故なら、自動ＦＯＶ選択は、人間の読み手の手作業による選択に頼ることなく、コンピュータによってＦＯＶを求めることができるからである。自動免疫細胞計数およびデータ分析と組み合わせると、開示する動作は、１つ以上の走査画像または画像データを入力として取り込み、最終的な臨床成果予測を出力する、完全に自動的なワークフローを可能にする。
選択を可能にし(provide)、生体試料の分析に重要であり、例えば、浸潤度計算において
組織分析スコアを計算する際に有用であることが分かっている。本明細書において開示する動作は、ＦＯＶの選択が再現可能でない、人間の読み手による手作業のＦＯＶ選択に偏りがあるというような、先行技術において知られている欠点を克服する。何故なら、自動ＦＯＶ選択は、人間の読み手の手作業による選択に頼ることなく、コンピュータによってＦＯＶを求めることができるからである。自動免疫細胞計数およびデータ分析と組み合わせると、開示する動作は、１つ以上の走査画像または画像データを入力として取り込み、最終的な臨床成果予測を出力する、完全に自動的なワークフローを可能にする。本明細書において開示するシステムおよび方法は、自動ＦＯＶ選択を可能にし(provide)、生体試
料の分析に重要であり、例えば、浸潤度計算において組織分析スコアを計算する際に有用であることが分かっている。本明細書において開示する動作は、ＦＯＶの選択が再現可能でない、人間の読み手による手作業のＦＯＶ選択に偏りがあるというような、先行技術において知られている欠点を克服する。何故なら、自動ＦＯＶ選択は、人間の読み手の手作業による選択に頼ることなく、コンピュータによってＦＯＶを求めることができるからである。自動免疫細胞計数およびデータ分析と組み合わせると、開示する動作は、１つ以上の走査画像または画像データを入力として取り込み、最終的な臨床成果予測を出力する、完全に自動的なワークフローを可能にする。
【0119】
[00166] 図９は、本開示の例示的な実施形態による、浸潤度計算のためのディジタル
病理学ワークフローを示す。この実施形態は、本明細書において開示する自動ＦＯＶ選択方法を、浸潤度計算ワークフローにおいてどのように利用できるかについて例示する。例えば、本明細書において開示する動作にしたがってスライドを走査し（９９１）、ＦＯＶを選択した（９９２）後、各ＦＯＶにおける異なる種類の細胞の自動検出９９３を実行することができる。例えば、 "Deep Learning for Cell Detection"（細胞検出のためのデ
ィープ・ラーニング）と題し、２０１４年５月２３日に出願された米国特許出願第６２／００２，６３３号およびＰＣＴ／ＥＰ２０１５／０６１２２６に開示された方法による自動細胞検出技法が、細胞を得て検出する(obtain detect)ために利用される例示的な実施
形態である。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。更に、特徴（例えば、識別された細胞の数および種類に関係する特徴）を抽出する（９９４）ことができる。これらは、生体試料（例えば、組織標本等）毎に検出された１つ以上の細胞に関係する。これらの特徴は、腫瘍領域および周辺領域のような、組織画像における異なる領域に関係する異なるＦＯＶにおける異なる種類の細胞の数、および細胞の比率とすることができる。これらの特徴を使用して、クラシファイア（ランダム・フォーレスト(Random Forest)およびサポート・ベクトル・マシン(support Vector Machine)のような）を訓練し（９９５）、各ケースを異なる成果クラス（例えば、再発す
るまたはしない可能性）に分類することができる。
病理学ワークフローを示す。この実施形態は、本明細書において開示する自動ＦＯＶ選択方法を、浸潤度計算ワークフローにおいてどのように利用できるかについて例示する。例えば、本明細書において開示する動作にしたがってスライドを走査し（９９１）、ＦＯＶを選択した（９９２）後、各ＦＯＶにおける異なる種類の細胞の自動検出９９３を実行することができる。例えば、 "Deep Learning for Cell Detection"（細胞検出のためのデ
ィープ・ラーニング）と題し、２０１４年５月２３日に出願された米国特許出願第６２／００２，６３３号およびＰＣＴ／ＥＰ２０１５／０６１２２６に開示された方法による自動細胞検出技法が、細胞を得て検出する(obtain detect)ために利用される例示的な実施
形態である。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。更に、特徴（例えば、識別された細胞の数および種類に関係する特徴）を抽出する（９９４）ことができる。これらは、生体試料（例えば、組織標本等）毎に検出された１つ以上の細胞に関係する。これらの特徴は、腫瘍領域および周辺領域のような、組織画像における異なる領域に関係する異なるＦＯＶにおける異なる種類の細胞の数、および細胞の比率とすることができる。これらの特徴を使用して、クラシファイア（ランダム・フォーレスト(Random Forest)およびサポート・ベクトル・マシン(support Vector Machine)のような）を訓練し（９９５）、各ケースを異なる成果クラス（例えば、再発す
るまたはしない可能性）に分類することができる。
【0120】
[00167] 図１０は、本発明の例示的な実施形態のプロセス・フローを示す。画像取得
システムから入力画像（１００１）を受け取る。加えて、画像取得システムから一連の低解像度マーカ画像（１００４）を受け取る。マーカ画像は、高解像度画像の分離によって導き出してもよく、または単一染色スライド画像として受け取ってもよい。低解像度入力画像を使用して組織領域マスク（１００３）を計算する。組織領域マスクは、画像のどの部分が対象の組織を含むかを示す。低解像度画像マーカ画像をロー・パス・フィルタに通し、フィルタ画像マーカ画像(filtered image marker image)（１００５）を生成する。
次いで、組織領域マスクをロー・パス・フィルタ画像に適用して、対象でない領域を排除する（０に減らす）。これによって、マーカ毎にマスク・フィルタ画像(masked filtered
image)（１００６）が得られる。極大値フィルタを極大値フィルタ画像(max filtered image)に適用して、極大値（１００７）を識別する。上位Ｋ個の極大値を選択し（１００
８）、極大値毎に視野を画定する（１００９）。次いで、全ての画像を共通座標フレームに移転させ、重ね合わせ、あらゆる重複した視野を組み合わせることによって、画像毎のＦＯＶを併合する（１０１０）。次いで、併合視野を本来の画像座標系に逆に移転させ、
分析のために高解像度入力画像からこれらの領域を抽出する。
システムから入力画像（１００１）を受け取る。加えて、画像取得システムから一連の低解像度マーカ画像（１００４）を受け取る。マーカ画像は、高解像度画像の分離によって導き出してもよく、または単一染色スライド画像として受け取ってもよい。低解像度入力画像を使用して組織領域マスク（１００３）を計算する。組織領域マスクは、画像のどの部分が対象の組織を含むかを示す。低解像度画像マーカ画像をロー・パス・フィルタに通し、フィルタ画像マーカ画像(filtered image marker image)（１００５）を生成する。
次いで、組織領域マスクをロー・パス・フィルタ画像に適用して、対象でない領域を排除する（０に減らす）。これによって、マーカ毎にマスク・フィルタ画像(masked filtered
image)（１００６）が得られる。極大値フィルタを極大値フィルタ画像(max filtered image)に適用して、極大値（１００７）を識別する。上位Ｋ個の極大値を選択し（１００
８）、極大値毎に視野を画定する（１００９）。次いで、全ての画像を共通座標フレームに移転させ、重ね合わせ、あらゆる重複した視野を組み合わせることによって、画像毎のＦＯＶを併合する（１０１０）。次いで、併合視野を本来の画像座標系に逆に移転させ、
分析のために高解像度入力画像からこれらの領域を抽出する。
【0121】
[00168] 図１１は、本発明の他の例示的な実施形態の異なるプロセス・フローを示す
。このプロセス・フローは、図１１ａに示すようなＦＯＶ生成ステップ（１１００）と、図１１ｂに示すような視野併合ステップ（１１２４）とに分割されている。ＦＯＶ生成ステップでは、画像取得システムから単一染色画像（１１０１）を受け取る。これらの画像にロー・パス・フィルタリングを行う（１１０２）。ある実施形態では、これらの画像をもっと低い解像度に変換してもよく（１１０３）、これによって処理が高速化する。ある実施形態では、未だ単一カラー・チャネルに変換されて(reduced)いない場合には、分離
ステップ（１１０４）は、単一染色スライドから対象のカラー・チャネルを抽出するために適用して、単一マーカ画像（１１０８）を生成してもよい。ある実施形態では、ＨＴＸ画像（１１０５）も生成することができる。次いで、対象の特徴を識別するために、単一マーカ画像をセグメント化する（１１０９）。セグメント化画像から、組織領域マスク（１１１０）を生成する。ある実施形態では、単一マーカ画像において様々な明暗度の領域にカラーを割り当てることによって、ヒート・マップ（１１０７）を使用して、単一マーカ画像をビジュアル化する（１１０６）こともできる。次いで、組織領域マスク（１１１０）を単一マーカ画像（１１１１）に適用して、前景画像（１１１２）を得る。前景画像は、対象の組織領域のみにおいてマーカ画像の明暗度を表示する。前景画像を極大値フィルタ（１１１３）に通して、明暗度のピークを識別する。候補ＦＯＶ座標を、極大値フィルタ画像（１１１４）の上位Ｋ個のピークとして識別する。最後に、各候補ＦＯＶ座標周囲の領域を画定し（１１１５）、候補ＦＯＶのリスト（１１１６）を得る。これらの動作を、単一染色スライド毎に実行する。
。このプロセス・フローは、図１１ａに示すようなＦＯＶ生成ステップ（１１００）と、図１１ｂに示すような視野併合ステップ（１１２４）とに分割されている。ＦＯＶ生成ステップでは、画像取得システムから単一染色画像（１１０１）を受け取る。これらの画像にロー・パス・フィルタリングを行う（１１０２）。ある実施形態では、これらの画像をもっと低い解像度に変換してもよく（１１０３）、これによって処理が高速化する。ある実施形態では、未だ単一カラー・チャネルに変換されて(reduced)いない場合には、分離
ステップ（１１０４）は、単一染色スライドから対象のカラー・チャネルを抽出するために適用して、単一マーカ画像（１１０８）を生成してもよい。ある実施形態では、ＨＴＸ画像（１１０５）も生成することができる。次いで、対象の特徴を識別するために、単一マーカ画像をセグメント化する（１１０９）。セグメント化画像から、組織領域マスク（１１１０）を生成する。ある実施形態では、単一マーカ画像において様々な明暗度の領域にカラーを割り当てることによって、ヒート・マップ（１１０７）を使用して、単一マーカ画像をビジュアル化する（１１０６）こともできる。次いで、組織領域マスク（１１１０）を単一マーカ画像（１１１１）に適用して、前景画像（１１１２）を得る。前景画像は、対象の組織領域のみにおいてマーカ画像の明暗度を表示する。前景画像を極大値フィルタ（１１１３）に通して、明暗度のピークを識別する。候補ＦＯＶ座標を、極大値フィルタ画像（１１１４）の上位Ｋ個のピークとして識別する。最後に、各候補ＦＯＶ座標周囲の領域を画定し（１１１５）、候補ＦＯＶのリスト（１１１６）を得る。これらの動作を、単一染色スライド毎に実行する。
【0122】
[00169] ＦＯＶ併合ステップ（１１２４）において、種々の単一染色スライドに対す
る候補ＦＯＶリストの全てを得る（１１１７）。１つの画像を基準画像として選択し、他の画像を基準画像と一致するように変換することによって、画像を１つの座標フレーム(coordinate frame)に一致させる（１１１８）。次いで、候補ＦＯＶ座標を適宜変換し、位置合わせ候補ＦＯＶリストを得る（１１１９）。次いで、ＦＯＶを重ね合わせて併合し（１１２０）、全ての画像に対する統一ＦＯＶリストを得る（１１２１）。次いで、逆レジストレーションを実行して（１１２２）、統一ＦＯＶを逆に本来の単一染色画像の本来の座標系の各々に変換する（１１２３）。次いで、本来の単一染色スライド上にＦＯＶを表示することができる。
る候補ＦＯＶリストの全てを得る（１１１７）。１つの画像を基準画像として選択し、他の画像を基準画像と一致するように変換することによって、画像を１つの座標フレーム(coordinate frame)に一致させる（１１１８）。次いで、候補ＦＯＶ座標を適宜変換し、位置合わせ候補ＦＯＶリストを得る（１１１９）。次いで、ＦＯＶを重ね合わせて併合し（１１２０）、全ての画像に対する統一ＦＯＶリストを得る（１１２１）。次いで、逆レジストレーションを実行して（１１２２）、統一ＦＯＶを逆に本来の単一染色画像の本来の座標系の各々に変換する（１１２３）。次いで、本来の単一染色スライド上にＦＯＶを表示することができる。
【0123】
[00170] 図１２は、多重スライドを入力（１２０１）として使用する、本発明の代替
実施形態のプロセス・フローを示す。ＦＯＶ生成ステップにおいて、多重スライド（１２０１）を画像取得システムから受け取る。これらの画像にロー・パス・フィルタリングを行う（１２０２）。ある実施形態では、これらの画像をもっと低い解像度に変換してもよく（１２０３）、これによって処理が高速化する。この実施形態では、分離ステップ（１２０４）は、多重スライドから対象のカラー・チャネルを抽出するために適用され、複数の単一マーカ画像を生成する（１２０８）。ある実施形態では、ＨＴＸ画像（１２０５）も生成することができる。次いで、第１単一マーカ画像をセグメント化し（１２０９）、対象の特徴を識別する。セグメント化画像から、組織領域マスク（１２１０）を生成する。ある実施形態では、ヒート・マップ（１２０７）を使用し、単一マーカ画像における様々な明暗度の領域にカラーを割り当てることによって、単一マーカ画像をビジュアル化することもできる（１２６５）。次いで、組織領域マスク（１２１０）を単一マーカ画像（１２１０）に適用して前景画像（１２１２）を求める。前景画像は、対象の組織領域のみにおけるマーカ画像の明暗度を表示する。この前景画像を極大値フィルタ（１２１３）に通して、明暗度のピークを識別する。候補ＦＯＶ座標を、極大値フィルタ画像（１２１４）の上位Ｋ個のピークとして識別する。最後に、各候補ＦＯＶ座標周囲の領域を画定して（１２１５）、候補ＦＯＶのリストを得る（１２１６）。これらの動作は、単一染色スラ
イド毎に順番に実行される。ＦＯＶ併合ステップは、図１１ｂにおけるように進む。
実施形態のプロセス・フローを示す。ＦＯＶ生成ステップにおいて、多重スライド（１２０１）を画像取得システムから受け取る。これらの画像にロー・パス・フィルタリングを行う（１２０２）。ある実施形態では、これらの画像をもっと低い解像度に変換してもよく（１２０３）、これによって処理が高速化する。この実施形態では、分離ステップ（１２０４）は、多重スライドから対象のカラー・チャネルを抽出するために適用され、複数の単一マーカ画像を生成する（１２０８）。ある実施形態では、ＨＴＸ画像（１２０５）も生成することができる。次いで、第１単一マーカ画像をセグメント化し（１２０９）、対象の特徴を識別する。セグメント化画像から、組織領域マスク（１２１０）を生成する。ある実施形態では、ヒート・マップ（１２０７）を使用し、単一マーカ画像における様々な明暗度の領域にカラーを割り当てることによって、単一マーカ画像をビジュアル化することもできる（１２６５）。次いで、組織領域マスク（１２１０）を単一マーカ画像（１２１０）に適用して前景画像（１２１２）を求める。前景画像は、対象の組織領域のみにおけるマーカ画像の明暗度を表示する。この前景画像を極大値フィルタ（１２１３）に通して、明暗度のピークを識別する。候補ＦＯＶ座標を、極大値フィルタ画像（１２１４）の上位Ｋ個のピークとして識別する。最後に、各候補ＦＯＶ座標周囲の領域を画定して（１２１５）、候補ＦＯＶのリストを得る（１２１６）。これらの動作は、単一染色スラ
イド毎に順番に実行される。ＦＯＶ併合ステップは、図１１ｂにおけるように進む。
【0124】
[00171] 図１３は、単一染色画像（１３０１）を入力として使用する、本発明の代替
実施形態の更に他のプロセス・フローを示す。画像にロー・パス・フィルタリングを行う（１３０２）。ある実施形態では、これらの画像をもっと低い解像度（１３０３）に変換してもよく、これによって処理が高速化する。ある実施形態では、未だ単一カラー・チャネルに変換されていない場合、単一染色スライドから対象のカラー・チャネルを抽出するために分離ステップ（１３０４）を適用し、単一マーカ画像を生成することができる（１３０８）。ある実施形態では、ＨＴＸ画像（１３０５）も生成することができる。他の実施形態では、ヒート・マップ（１３０７）を使用し、単一マーカ画像における様々な明暗度の領域にカラーを割り当てることによって、単一マーカ画像をビジュアル化することもできる（１３０６）。一実施形態では、解像度が低い方の画像をセグメント化し（１３０９）、対象の特徴を識別する。セグメント化画像から、組織領域マスク（１３１０）を生成し、次いでマスク動作をセグメント化画像に適用し（１３１１）、前景画像（１３１２）を求める。前景画像は、対象の組織領域のみにおけるマーカ画像の明暗度を表示する。他の実施形態では、マスク動作（１３１１）を単一マーカ画像（１３０８）に適用し、前景画像（１３１２）を求める。いずれの実施形態でも、前景画像（１３１２）を極大値フィルタ（１３１３）に通し、明暗度のピークを識別する。候補ＦＯＶ座標を、極大値フィルタ画像（１３１４）の上位Ｋ個のピークとして識別する。最後に、各候補ＦＯＶ座標周囲の領域を画定し（１３１５）、候補ＦＯＶのリスト（１３１６）を得る。これらの動作は、単一染色スライド毎に実行される。ＦＯＶ併合ステップは、図１１ｂにおけるように進む。
実施形態の更に他のプロセス・フローを示す。画像にロー・パス・フィルタリングを行う（１３０２）。ある実施形態では、これらの画像をもっと低い解像度（１３０３）に変換してもよく、これによって処理が高速化する。ある実施形態では、未だ単一カラー・チャネルに変換されていない場合、単一染色スライドから対象のカラー・チャネルを抽出するために分離ステップ（１３０４）を適用し、単一マーカ画像を生成することができる（１３０８）。ある実施形態では、ＨＴＸ画像（１３０５）も生成することができる。他の実施形態では、ヒート・マップ（１３０７）を使用し、単一マーカ画像における様々な明暗度の領域にカラーを割り当てることによって、単一マーカ画像をビジュアル化することもできる（１３０６）。一実施形態では、解像度が低い方の画像をセグメント化し（１３０９）、対象の特徴を識別する。セグメント化画像から、組織領域マスク（１３１０）を生成し、次いでマスク動作をセグメント化画像に適用し（１３１１）、前景画像（１３１２）を求める。前景画像は、対象の組織領域のみにおけるマーカ画像の明暗度を表示する。他の実施形態では、マスク動作（１３１１）を単一マーカ画像（１３０８）に適用し、前景画像（１３１２）を求める。いずれの実施形態でも、前景画像（１３１２）を極大値フィルタ（１３１３）に通し、明暗度のピークを識別する。候補ＦＯＶ座標を、極大値フィルタ画像（１３１４）の上位Ｋ個のピークとして識別する。最後に、各候補ＦＯＶ座標周囲の領域を画定し（１３１５）、候補ＦＯＶのリスト（１３１６）を得る。これらの動作は、単一染色スライド毎に実行される。ＦＯＶ併合ステップは、図１１ｂにおけるように進む。
【0125】
[00172] 本発明による自動ＦＯＶ選択のためのコンピュータ実装方法について、例示
の目的に限って、免疫細胞の識別に関連付けて、そして浸潤度計算における使用について説明した。しかしながら、本発明による自動ＦＯＶ選択のためのコンピュータ実装方法は、任意の種類の細胞の画像または生体試料の画像にも適用可能であり、任意の種類の細胞または細胞群についての種類、密度、および位置の判定に適用可能である。更に、前立腺／肺癌診断などのような解剖または臨床病理学のような医療用途以外にも、地質学または天文学データ等の遠隔検知のような、他の種類の標本を分析するために同じ方法を実行することができる。本明細書において開示した動作は、ハードウェア・グラフィクス処理ユニット（ＧＰＵ）に移植する(port)ことができ、マルチスレッド並列実施を可能にする。
の目的に限って、免疫細胞の識別に関連付けて、そして浸潤度計算における使用について説明した。しかしながら、本発明による自動ＦＯＶ選択のためのコンピュータ実装方法は、任意の種類の細胞の画像または生体試料の画像にも適用可能であり、任意の種類の細胞または細胞群についての種類、密度、および位置の判定に適用可能である。更に、前立腺／肺癌診断などのような解剖または臨床病理学のような医療用途以外にも、地質学または天文学データ等の遠隔検知のような、他の種類の標本を分析するために同じ方法を実行することができる。本明細書において開示した動作は、ハードウェア・グラフィクス処理ユニット（ＧＰＵ）に移植する(port)ことができ、マルチスレッド並列実施を可能にする。
【0126】
[00173] 図２３は、患者の組織領域から得られた生検組織標本１０を示す。組織標本
１０は、スライスされて、図２３に示すように、組織スライス１、２、３、および４のような近隣組織スライスになる。これらの組織スライスは、１μｍ～１０μｍの間というようなマイクロメートル範囲の厚さ、例えば、６μｍの厚さを有することができる。
１０は、スライスされて、図２３に示すように、組織スライス１、２、３、および４のような近隣組織スライスになる。これらの組織スライスは、１μｍ～１０μｍの間というようなマイクロメートル範囲の厚さ、例えば、６μｍの厚さを有することができる。
【0127】
[00174] これらの組織スライスを１つの染料、染料および対比染料、または複数の染
料で染色する。このようにして、例えば、染料および対比染料によって染色された画像２３１（図２参照）、およびマルチチャネル画像５が得られる。
料で染色する。このようにして、例えば、染料および対比染料によって染色された画像２３１（図２参照）、およびマルチチャネル画像５が得られる。
【0128】
[00175] マルチチャネル画像５は、複数の染料によって染色された組織スライス１、
２、３、４の１つから、例えば、これらの組織スライスの１つを伝える(carry)ことがで
きる図１Ｂの多重スライド１２１から、得ることができる。加えて、単一染色画像６および７のような染色組織スライスから更に他の画像も取得することができる。これらの画像２３１、５、６、および７は、コンピュータ１０１（図１Ａ参照）の電子メモリ内にというように、画像処理システムの電子メモリに格納することができる。コンピュータ１０１はサーバ・コンピュータであってもよい。
２、３、４の１つから、例えば、これらの組織スライスの１つを伝える(carry)ことがで
きる図１Ｂの多重スライド１２１から、得ることができる。加えて、単一染色画像６および７のような染色組織スライスから更に他の画像も取得することができる。これらの画像２３１、５、６、および７は、コンピュータ１０１（図１Ａ参照）の電子メモリ内にというように、画像処理システムの電子メモリに格納することができる。コンピュータ１０１はサーバ・コンピュータであってもよい。
【0129】
[00176] 自動視野画定は、画像２３１に関してというように、複数の画像の内１つ以
上に関して実行し、絞り込み画像２３７を得ることができる。絞り込み画像２３７において、視野２４０．１および２４０．２は、図２の実施形態にしたがって、それぞれの矩形ボックスによって示されている。画像５を分離する際、一般性の限定ではなく、Ｎ＝３と仮定すると（図１Ｂ参照）、１組の分離画像５．１、５．２、および５．３が求まる。尚、分離画像５．１、５．２、および５．３は、画像レジストレーションも画像位置合わせもこの１組の画像に関しては不要となるように、全て同じマルチチャネル画像５から得られたので、これらは正確に同じ座標系を共有することは注記してしかるべきである。追加の画像６および７は、画像処理動作を受けても受けなくてもよい。
上に関して実行し、絞り込み画像２３７を得ることができる。絞り込み画像２３７において、視野２４０．１および２４０．２は、図２の実施形態にしたがって、それぞれの矩形ボックスによって示されている。画像５を分離する際、一般性の限定ではなく、Ｎ＝３と仮定すると（図１Ｂ参照）、１組の分離画像５．１、５．２、および５．３が求まる。尚、分離画像５．１、５．２、および５．３は、画像レジストレーションも画像位置合わせもこの１組の画像に関しては不要となるように、全て同じマルチチャネル画像５から得られたので、これらは正確に同じ座標系を共有することは注記してしかるべきである。追加の画像６および７は、画像処理動作を受けても受けなくてもよい。
【0130】
[00177] 次いで、画像レジストレーション・アルゴリズムを使用して、画像２３１／
２３７、５、６、および７を一致させ(registered)、位置合わせする。例えば、画像レジストレーション・アルゴリズムを実行するために、マルチチャネル画像５を基準画像として選択する。画像レジストレーション・アルゴリズムは、他の画像の各々の幾何学的変換、即ち、マルチチャネル画像５に関する画像２３１／２３７、６、および７の幾何学的変換を行う(generate)。マルチチャネル画像５をレジストレーションのための基準画像として使用すると、ここで検討している例では、位置合わせ動作を３回だけ実行すれば済むという利点がある。比較すると、例えば、画像７が基準画像として選択されたとすると、画像７との位置合わせのために、５回の位置合わせ動作が画像２３１／２３７、５．１、５．２、５．３、および６を変換するために必要となる。したがって、マルチチャネル画像５を基準として選択すると、計算の負担が大幅に低減し、画像位置合わせのレイテンシ時間が短縮する。
２３７、５、６、および７を一致させ(registered)、位置合わせする。例えば、画像レジストレーション・アルゴリズムを実行するために、マルチチャネル画像５を基準画像として選択する。画像レジストレーション・アルゴリズムは、他の画像の各々の幾何学的変換、即ち、マルチチャネル画像５に関する画像２３１／２３７、６、および７の幾何学的変換を行う(generate)。マルチチャネル画像５をレジストレーションのための基準画像として使用すると、ここで検討している例では、位置合わせ動作を３回だけ実行すれば済むという利点がある。比較すると、例えば、画像７が基準画像として選択されたとすると、画像７との位置合わせのために、５回の位置合わせ動作が画像２３１／２３７、５．１、５．２、５．３、および６を変換するために必要となる。したがって、マルチチャネル画像５を基準として選択すると、計算の負担が大幅に低減し、画像位置合わせのレイテンシ時間が短縮する。
【0131】
[00178] 例えば、画像２３１／２３７の各画素を画像５におけるそれぞれの画素にマ
ッピングするためのマッピング、画像６の各画素をマルチチャネル画像５におけるそれぞれの画素にマッピングするためのマッピング等のように、他の画像２３１／２３７、６、および７の各々について、基準画像５へのマッピングを生成する。ここで検討する例では、この結果３つのマッピングができる。尚、画像２３１／２３７をマルチチャネル画像５にマッピングするためのマッピングは、画像２３１または画像２３７のいずれかを使用して得ることができることは注記してしかるべきである。何故なら、これら２つの画像は、図２にしたがって実行した分離ステップによって、同じ座標系を共有するからである。
ッピングするためのマッピング、画像６の各画素をマルチチャネル画像５におけるそれぞれの画素にマッピングするためのマッピング等のように、他の画像２３１／２３７、６、および７の各々について、基準画像５へのマッピングを生成する。ここで検討する例では、この結果３つのマッピングができる。尚、画像２３１／２３７をマルチチャネル画像５にマッピングするためのマッピングは、画像２３１または画像２３７のいずれかを使用して得ることができることは注記してしかるべきである。何故なら、これら２つの画像は、図２にしたがって実行した分離ステップによって、同じ座標系を共有するからである。
【0132】
[00179] 幾何学的変換、即ち、ここで検討する例におけるマッピングは、画像レジス
トレーションの結果として得られ、次いで画像２３７、６、および７を基準画像、即ち、マルチチャネル画像５／分離画像５．１、５．２、および５．３に関して位置合わせするために利用される。
トレーションの結果として得られ、次いで画像２３７、６、および７を基準画像、即ち、マルチチャネル画像５／分離画像５．１、５．２、および５．３に関して位置合わせするために利用される。
【0133】
[00180] これらの位置合わせ画像は、コンピュータ１０１（図１の実施形態参照）等
のディスプレイ８、あるいは、例えば、ＡｎｄｒｏｉｄまたはｉＯＳオペレーティング・システムを実行するスマートフォンのような移動体バッテリ給電型電気通信デバイスのディスプレイ上に表示される。後者の場合、画像２３７、５．１、５．２、５．３、６、７、ならびに画像レジストレーションおよび視野２４０．１および２４０．２を示すメタデータから得られる幾何学的変換、例えば、マッピングは、移動体セルラ・ディジタル電気通信ネットワークのような、電気通信ネットワークを通じて、例えば、ＧＳＭ（登録商標）、ＵＭＴＳ、ＣＤＭＡ、またはロング・ターム・エヴォリューション規格にしたがって、移動体バッテリ給電型電気通信デバイスに送信される。ディスプレイ８は、コンピュータ１０１のグラフィカル・ユーザ・インターフェースを介して、または電気通信デバイスを介して、ジェスチャ認識によってコマンドを入力することを可能にするタッチ感応型でもよい。
のディスプレイ８、あるいは、例えば、ＡｎｄｒｏｉｄまたはｉＯＳオペレーティング・システムを実行するスマートフォンのような移動体バッテリ給電型電気通信デバイスのディスプレイ上に表示される。後者の場合、画像２３７、５．１、５．２、５．３、６、７、ならびに画像レジストレーションおよび視野２４０．１および２４０．２を示すメタデータから得られる幾何学的変換、例えば、マッピングは、移動体セルラ・ディジタル電気通信ネットワークのような、電気通信ネットワークを通じて、例えば、ＧＳＭ（登録商標）、ＵＭＴＳ、ＣＤＭＡ、またはロング・ターム・エヴォリューション規格にしたがって、移動体バッテリ給電型電気通信デバイスに送信される。ディスプレイ８は、コンピュータ１０１のグラフィカル・ユーザ・インターフェースを介して、または電気通信デバイスを介して、ジェスチャ認識によってコマンドを入力することを可能にするタッチ感応型でもよい。
【0134】
[00181] 一実施形態では、ユーザは、視野をシンボル化するそれぞれの幾何学的オブ
ジェクト、即ち、矩形ボックスをタッチすることによって、視野から１つを選択することができる。一例としてのみ図２３に示すように、これは、ユーザが彼または彼女の指１４の１本を置いた視野２４０．１であってもよい。このジェスチャに応答して、図２３にも示すように、この視野を拡大することによって、拡大ズーム画像変換が実行される。
ジェクト、即ち、矩形ボックスをタッチすることによって、視野から１つを選択することができる。一例としてのみ図２３に示すように、これは、ユーザが彼または彼女の指１４の１本を置いた視野２４０．１であってもよい。このジェスチャに応答して、図２３にも示すように、この視野を拡大することによって、拡大ズーム画像変換が実行される。
【0135】
[00182] 同一の拡大ズーム変換が、他の画像５．１、５．２、５．３、６、および７
に関しても同期して実行される。視野２４０．１は、画像５．１、５．２、５．３、６、および７におけるそれぞれの画像部分９、１０、１１、１２、１３に対応する。これらの画像部分９から１３は、画像レジストレーション、即ち、マッピングから得られたそれぞれの幾何学的変換によって与えられる。ユーザのジェスチャ、即ち、指１４による視野２４０．１のタッチに応答して、視野２４０．１に関して実行される拡大ズーム画像変換が、同期して画像部分９から１３に関しても実行される。
に関しても同期して実行される。視野２４０．１は、画像５．１、５．２、５．３、６、および７におけるそれぞれの画像部分９、１０、１１、１２、１３に対応する。これらの画像部分９から１３は、画像レジストレーション、即ち、マッピングから得られたそれぞれの幾何学的変換によって与えられる。ユーザのジェスチャ、即ち、指１４による視野２４０．１のタッチに応答して、視野２４０．１に関して実行される拡大ズーム画像変換が、同期して画像部分９から１３に関しても実行される。
【0136】
[00183] 図２４は、ピンチ・ジェスチャ(pinch gesture)が拡大ズームまたは縮小ズームに利用される代替実施形態を示す。ユーザは、２本の指１４および１５をディスプレイ８上に置くことによって、画像５．１の一部というような、画像の１つの一部を選択し、こうして矩形領域１６を画定することができる。この矩形領域１６は、他の画像２３７、５．２、５．３、６、および７において、それぞれ、同じ位置にある画像領域(co-located image regions)１７から２１に対応する。これらは、画像レジストレーション、即ち、マッピングから得られる幾何学的変換によって与えられる。領域１８および１９は、領域１６と同一である。何故なら、画像５．１、５．２、および５．３は同一の座標系を共有するからである。
【0137】
[00184] 図２４に示すように指１５および１４を遠ざけることによって、領域１６に
関して拡大ズームを実行して拡大画像部分１６’を求め、更に同期して他の同じ位置にある領域１７～２１に関しても拡大ズームを実行して、拡大領域１７’、１８’、１９’、２０’、および２１’を求める。指１４および１５の距離を縮めることによって、縮小ズームも同様に実行することができる。
関して拡大ズームを実行して拡大画像部分１６’を求め、更に同期して他の同じ位置にある領域１７～２１に関しても拡大ズームを実行して、拡大領域１７’、１８’、１９’、２０’、および２１’を求める。指１４および１５の距離を縮めることによって、縮小ズームも同様に実行することができる。
【0138】
[00185] コンピュータは、通例、プロセッサ、オペレーティング・システム、システ
ム・メモリ、メモリ記憶デバイス、入力－出力コントローラ、入力－出力デバイス、およびディスプレイ・デバイスのような、周知のコンポーネントを含む。また、コンピュータには多くの可能な構成およびコンポーネントがあり、キャッシュ・メモリ、データ・バックアップ・ユニット、および多くのその他のデバイスも含んでもよいことも、関連技術における当業者には理解されよう。入力デバイスの例には、キーボード、カーソル制御デバイス（例えば、マウス）、マイクロフォン、スキャナ等が含まれる。出力デバイスの例には、ディスプレイ・デバイス（例えば、モニタまたは投影機）、スピーカ、プリンタ、ネットワーク・カード等が含まれる。ディスプレイ・デバイスは、視覚情報を提供するディスプレイ・デバイスを含んでもよく、この情報は、通例、画素のアレイとして、論理的および／または物理的に編成することができる。また、インターフェース・コントローラも含んでもよく、インターフェース・コントローラは、入力および出力インターフェースを設けるための種々の既知のソフトウェア・プログラムまたは今後のソフトウェア・プログラムの内任意のものを含んでもよい。例えば、インターフェースは、１つ以上のグラフィック表現をユーザに提供する、一般に「グラフィカル・ユーザ・インターフェース」（ＧＵＩと呼ばれることも多い）と呼ばれるものを含んでもよい。通例、インターフェースがイネーブルされると、関連技術における当業者には周知の選択または入力手段を使用して、ユーザ入力を受け入れる。また、インターフェースはタッチ・スクリーン・デバイスであってもよい。同じ実施形態または代替実施形態において、コンピュータ上のアプリケーションが、「コマンド・ライン・インターフェース」（ＣＬＩと呼ばれることも多い）と呼ばれるものを含むインターフェースを採用してもよい。ＣＬＩは、通例、アプリケーションとユーザとの間に、テキスト・ベースの対話処理を設ける。通例、コマンド・ライン・インターフェースは、ディスプレイ・デバイスを通じて、テキストのラインとして出力を提示し、入力を受け取る。例えば、一部の実施態様では、関連技術における当業者には周知のＵｎｉｘ Ｓｈｅｌｌｓ、またはＭｉｃｒｏｓｏｆｔ．ＮＥＴフレームワークのような、オブジェクト指向型プログラミング・アーキテクチャを採用するＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｐｏｗｅｒｓｈｅｌｌのような、「シェル」と呼ばれるものを含んでもよい。
ム・メモリ、メモリ記憶デバイス、入力－出力コントローラ、入力－出力デバイス、およびディスプレイ・デバイスのような、周知のコンポーネントを含む。また、コンピュータには多くの可能な構成およびコンポーネントがあり、キャッシュ・メモリ、データ・バックアップ・ユニット、および多くのその他のデバイスも含んでもよいことも、関連技術における当業者には理解されよう。入力デバイスの例には、キーボード、カーソル制御デバイス（例えば、マウス）、マイクロフォン、スキャナ等が含まれる。出力デバイスの例には、ディスプレイ・デバイス（例えば、モニタまたは投影機）、スピーカ、プリンタ、ネットワーク・カード等が含まれる。ディスプレイ・デバイスは、視覚情報を提供するディスプレイ・デバイスを含んでもよく、この情報は、通例、画素のアレイとして、論理的および／または物理的に編成することができる。また、インターフェース・コントローラも含んでもよく、インターフェース・コントローラは、入力および出力インターフェースを設けるための種々の既知のソフトウェア・プログラムまたは今後のソフトウェア・プログラムの内任意のものを含んでもよい。例えば、インターフェースは、１つ以上のグラフィック表現をユーザに提供する、一般に「グラフィカル・ユーザ・インターフェース」（ＧＵＩと呼ばれることも多い）と呼ばれるものを含んでもよい。通例、インターフェースがイネーブルされると、関連技術における当業者には周知の選択または入力手段を使用して、ユーザ入力を受け入れる。また、インターフェースはタッチ・スクリーン・デバイスであってもよい。同じ実施形態または代替実施形態において、コンピュータ上のアプリケーションが、「コマンド・ライン・インターフェース」（ＣＬＩと呼ばれることも多い）と呼ばれるものを含むインターフェースを採用してもよい。ＣＬＩは、通例、アプリケーションとユーザとの間に、テキスト・ベースの対話処理を設ける。通例、コマンド・ライン・インターフェースは、ディスプレイ・デバイスを通じて、テキストのラインとして出力を提示し、入力を受け取る。例えば、一部の実施態様では、関連技術における当業者には周知のＵｎｉｘ Ｓｈｅｌｌｓ、またはＭｉｃｒｏｓｏｆｔ．ＮＥＴフレームワークのような、オブジェクト指向型プログラミング・アーキテクチャを採用するＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｐｏｗｅｒｓｈｅｌｌのような、「シェル」と呼ばれるものを含んでもよい。
【0139】
[00186] インターフェースは１つ以上のＧＵＩ、ＣＬＩ、またはこれらの組み合わせ
を含んでもよいことは、関連技術における当業者には認められよう。プロセッサは、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎが製造するＣｅｌｅｒｏｎ、Ｃｏｒｅ、またはＰｅｎｔｉｕｍプロセッサ、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓが製造するＳＰＡＲＣプロセッサ、ＡＭＤ Ｃｏｒｐｏｒａｔｉｏｎが製造するＡｔｈｌｏｎ、Ｓｅｍｐｒｏｎ、Ｐｈｅｎｏｍ、またはＯｐｔｅｒｏｎのような、市販のプロセッサを含むことができ、または入手可能なまたは今後入手可能になる他のプロセッサの１つであってもよい。プロセッサの実施形態には、マルチコア・プロセッサと呼ばれるものを含み、および／または単一コアまたはマルチコア構成の並列処理技術を採用することが可能とされるものもある。例えば、マルチコア・アーキテクチャは、通例、２つ以上のプロセッサ「実行コア」を含む。この例では、各実行コアが、独立したプロセッサとして実行することができ、複数のスレッドの並行実行を可能にする。加えて、関連技術における当業者には、プロセッサが、３２または６４ビット・アーキテクチャと一般に呼ばれるもの、あるいは現在知られているまたは今後開発される可能性がある他のアーキテクチャ構成で構成されてもよいことが認められよう。
を含んでもよいことは、関連技術における当業者には認められよう。プロセッサは、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎが製造するＣｅｌｅｒｏｎ、Ｃｏｒｅ、またはＰｅｎｔｉｕｍプロセッサ、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓが製造するＳＰＡＲＣプロセッサ、ＡＭＤ Ｃｏｒｐｏｒａｔｉｏｎが製造するＡｔｈｌｏｎ、Ｓｅｍｐｒｏｎ、Ｐｈｅｎｏｍ、またはＯｐｔｅｒｏｎのような、市販のプロセッサを含むことができ、または入手可能なまたは今後入手可能になる他のプロセッサの１つであってもよい。プロセッサの実施形態には、マルチコア・プロセッサと呼ばれるものを含み、および／または単一コアまたはマルチコア構成の並列処理技術を採用することが可能とされるものもある。例えば、マルチコア・アーキテクチャは、通例、２つ以上のプロセッサ「実行コア」を含む。この例では、各実行コアが、独立したプロセッサとして実行することができ、複数のスレッドの並行実行を可能にする。加えて、関連技術における当業者には、プロセッサが、３２または６４ビット・アーキテクチャと一般に呼ばれるもの、あるいは現在知られているまたは今後開発される可能性がある他のアーキテクチャ構成で構成されてもよいことが認められよう。
【0140】
[00187] プロセッサは、通例、オペレーティング・システムを実行する。オペレーテ
ィング・システムは、例えば、Ｍｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎからのＷｉｎｄｏｗｓ型オペレーティング・システム、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｃｏｒｐ．からのＭａｃ ＯＳ Ｘオペレーティング・システム、多くの販売業者から入手可能なＵｎｉｘまたはＬｉｎｕｘ（登録商標）型オペレーティング・システム、あるいはオープン・ソースと呼ばれるもの、その他のオペレーティング・システムまたは今後のオペレーティング・システム、もしくはこれらの何らかの組み合わせであってもよい。オペレーティング・システムは、ファームウェアおよびソフトウェアと周知の様式でインターフェースし、種々のプログラミング言語で書かれることもある種々のコンピュータ・プログラムの機能を調整および実行するときに、プロセッサを補助する(facilitate)。オペレーティング・システムは、通例、プロセッサと協働して、コンピュータの他のコンポーネントの機能を調整および実行する。また、オペレーティング・システムは、スケジューリング、入力－出力制御、ファイルおよびデータ管理、メモリ管理、ならびに通信制御および関連サービスも、全て周知の技法にしたがって、提供する。
ィング・システムは、例えば、Ｍｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎからのＷｉｎｄｏｗｓ型オペレーティング・システム、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｃｏｒｐ．からのＭａｃ ＯＳ Ｘオペレーティング・システム、多くの販売業者から入手可能なＵｎｉｘまたはＬｉｎｕｘ（登録商標）型オペレーティング・システム、あるいはオープン・ソースと呼ばれるもの、その他のオペレーティング・システムまたは今後のオペレーティング・システム、もしくはこれらの何らかの組み合わせであってもよい。オペレーティング・システムは、ファームウェアおよびソフトウェアと周知の様式でインターフェースし、種々のプログラミング言語で書かれることもある種々のコンピュータ・プログラムの機能を調整および実行するときに、プロセッサを補助する(facilitate)。オペレーティング・システムは、通例、プロセッサと協働して、コンピュータの他のコンポーネントの機能を調整および実行する。また、オペレーティング・システムは、スケジューリング、入力－出力制御、ファイルおよびデータ管理、メモリ管理、ならびに通信制御および関連サービスも、全て周知の技法にしたがって、提供する。
【0141】
[00188] システム・メモリは、所望の情報を格納するために使用することができ、コ
ンピュータによってアクセスすることができる種々の既知のメモリ記憶デバイスまたは今後のメモリ記憶デバイスの内任意のものを含んでもよい。コンピュータ読み取り可能記憶媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含むことができ、コンピュータ読み取り可能命令、データ構造、プログラム・モジュール、またはその他のデータというような情報の格納のための任意の方法または技術で実現される。例には、一般に入手可能なあらゆるランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、電子的消去可能プログラマブル・リード・オンリ・メモリ（ＥＥＰＲＯＭ）、ディジタル・バーサタイル・ディスク（ＤＶＤ）、常駐ハード・ディスクまたはテープのような磁気媒体、リードおよびライト・コンパクト・ディスクのような光媒体、あるいはその他のメモリ記憶デバイスが含まれる。メモリ記憶デバイスには、種々の周知のデバイスまたは今後のデバイスの内任意のものを含んでもよく、コンパクト・ディスク・ドライブ、テープ・ドライブ、リムーバブル・ハード・ディスク・ドライブ、ＵＳＢまたはフラッシュ・ドライブ、あるいはディスケット・ドライブが含まれる。このようなタイプのメモリ記憶デバイスは、通例、コンパクト・ディスク、磁気テープ、リムーバブル・ハード・ディスク、ＵＳＢまたはフラッシュ・ドライブ、あるいはフロッピ・ディスケットのようなプログラム記憶媒体からそれぞれ読み取りを行い、および／またはこれらに書き込みを行う。これらのプログラム記憶媒体、あるいは現在使用されている他のプログラム記憶媒体、または今後開発される可能性があるプログラム記憶媒体はいずれも、コンピュータ・プログラム製品と見なしてもよい。認められるであろうが、これらのプログラム記憶媒体は、通例、コンピュータ・ソフトウェア・プログラムおよび／またはデータを格納する。コンピュータ・ソフトウェア・プログラムは、コンピュータ制御ロジックとも呼ばれ、メモリ記憶デバイスと共に使用されるシステム・メモリおよび／またはプログラム記憶デバイスに格納されるのが通例である。ある実施形態では、コンピュータ・プログラム製品は、制御ロジック（プログラム・コードを含むコンピュータ・ソフトウェア・プログラム）が格納されているコンピュータ使用可能媒体を含むというように記述される。制御ロジックは、プロセッサによって実行されると、本明細書において説明した機能をこのプロセッサに実行させる。他の実施形態では、一部の機能は、例えば、ハードウェア状態機械を使用して、主にハードウェアで実現される。本明細書において説明した機能を実行するハードウェア状態機械の実現は、関連技術の当業者には明白であろう。入力－出力コントローラは、人間または機械に関係なく、ローカルまたはリモートにも関係なく、ユーザから情報を受け入れて処理するための種々の既知のデバイスの内任意のものを含むことができる。このようなデバイスは、例えば、モデム・カード、ワイヤレス・カード、ネットワーク・インターフェース・カード、サウンド・カード、または種々の既知の入力デバイスの任意のもののための他のタイプのコントローラを含む。出力コントローラは、人間または機械に関係なく、ローカルまたはリモートにも関係なく、ユーザに情報を提示するための種々の既知のディスプレイ・デバイスの任意のもののためのコントローラを含むことができる。現在説明している実施形態では、コンピュータの機能エレメントがシステム・バスを介して互いに通信する。コンピュータの実施形態には、ネットワークまたは他のタイプの遠隔通信を使用して、いくつかの機能エレメントと通信できるものもある。関連技術の当業者には明白であろうが、計器制御および／またはデータ処理アプリケーションがソフトウェアで実装される場合、システム・メモリおよび／またはメモリ記憶デバイスにロードされ、そこから実行されればよい。また、計器制御および／またはデータ処理アプリケーションの全てまたは一部は、メモリ記憶デバイスのリード・オンリ・メモリまたは同様のデバイスに存在してもよく、このようなデバイスは、計器制御および／またはデータ処理アプリケーションが最初に入力－出力コントローラを介してロードされることを必要としない。尚、実行に有利であれば、計器制御および／またはデータ処理アプリケーション、あるいはその一部がプロセッサによってシステム・メモリ、またはキャッシュ・メモリ、あるいは双方に、既知の様式でロードされてもよいことは、関連技術の当業者には理解されよう。また、コンピュータは、システム・メモリに格納されている１つ以上のライブラリ・ファイル、実験データ・ファイル、およびインターネット・クライアントを含んでもよい。例えば、実験データは、検出信号値、あるいは１回以上のシーケンシング・バイ・シンセシス（ＳＢＳ sequencing by synthesis）実験またはプロセスに関連する他の値のような、１回以上の実験またはアッセイに関係するデータを含むことができる。加えて、インターネット・クライアントが、ネットワークを使用して他のコンピュータ上にあるリモート・サービスにアクセスするために使用可能な(enabled)アプリケーションを含んでもよく、例えば、一般に「ウェブ・ブラウザ」と呼ばれるものを備えてもよい(comprise)。この例では、いくつかの一般に採用されるウェブ・ブラウザには、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔ Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ、Ｍｏｚｉｌｌａ ＣｏｒｐｏｒａｔｉｏｎからのＭｏｚｉｌｌａ Ｆｉｒｅｆｏｘ、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｃｏｒｐ．からのＳａｆａｒｉ、Ｇｏｏｇｌｅ ＣｏｒｐｏｒａｔｉｏｎからのＧｏｏｇｌｅ Ｃｈｒｏｍｅ、あるいは当技術分野において現在知られているあるいは今後開発されるその他のタイプのウェブ・ブラウザが含まれる。また、同じまたは他の実施形態において、インターネット・クライアントが、生物学的用途のためのデータ処理アプリケーションのような、ネットワークを通じて遠隔情報にアクセスするために使用可能な、特殊ソフトウェア・アプリケーションを含んでもよく、またはそのエレメントであることも可能である。
ンピュータによってアクセスすることができる種々の既知のメモリ記憶デバイスまたは今後のメモリ記憶デバイスの内任意のものを含んでもよい。コンピュータ読み取り可能記憶媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含むことができ、コンピュータ読み取り可能命令、データ構造、プログラム・モジュール、またはその他のデータというような情報の格納のための任意の方法または技術で実現される。例には、一般に入手可能なあらゆるランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、電子的消去可能プログラマブル・リード・オンリ・メモリ（ＥＥＰＲＯＭ）、ディジタル・バーサタイル・ディスク（ＤＶＤ）、常駐ハード・ディスクまたはテープのような磁気媒体、リードおよびライト・コンパクト・ディスクのような光媒体、あるいはその他のメモリ記憶デバイスが含まれる。メモリ記憶デバイスには、種々の周知のデバイスまたは今後のデバイスの内任意のものを含んでもよく、コンパクト・ディスク・ドライブ、テープ・ドライブ、リムーバブル・ハード・ディスク・ドライブ、ＵＳＢまたはフラッシュ・ドライブ、あるいはディスケット・ドライブが含まれる。このようなタイプのメモリ記憶デバイスは、通例、コンパクト・ディスク、磁気テープ、リムーバブル・ハード・ディスク、ＵＳＢまたはフラッシュ・ドライブ、あるいはフロッピ・ディスケットのようなプログラム記憶媒体からそれぞれ読み取りを行い、および／またはこれらに書き込みを行う。これらのプログラム記憶媒体、あるいは現在使用されている他のプログラム記憶媒体、または今後開発される可能性があるプログラム記憶媒体はいずれも、コンピュータ・プログラム製品と見なしてもよい。認められるであろうが、これらのプログラム記憶媒体は、通例、コンピュータ・ソフトウェア・プログラムおよび／またはデータを格納する。コンピュータ・ソフトウェア・プログラムは、コンピュータ制御ロジックとも呼ばれ、メモリ記憶デバイスと共に使用されるシステム・メモリおよび／またはプログラム記憶デバイスに格納されるのが通例である。ある実施形態では、コンピュータ・プログラム製品は、制御ロジック（プログラム・コードを含むコンピュータ・ソフトウェア・プログラム）が格納されているコンピュータ使用可能媒体を含むというように記述される。制御ロジックは、プロセッサによって実行されると、本明細書において説明した機能をこのプロセッサに実行させる。他の実施形態では、一部の機能は、例えば、ハードウェア状態機械を使用して、主にハードウェアで実現される。本明細書において説明した機能を実行するハードウェア状態機械の実現は、関連技術の当業者には明白であろう。入力－出力コントローラは、人間または機械に関係なく、ローカルまたはリモートにも関係なく、ユーザから情報を受け入れて処理するための種々の既知のデバイスの内任意のものを含むことができる。このようなデバイスは、例えば、モデム・カード、ワイヤレス・カード、ネットワーク・インターフェース・カード、サウンド・カード、または種々の既知の入力デバイスの任意のもののための他のタイプのコントローラを含む。出力コントローラは、人間または機械に関係なく、ローカルまたはリモートにも関係なく、ユーザに情報を提示するための種々の既知のディスプレイ・デバイスの任意のもののためのコントローラを含むことができる。現在説明している実施形態では、コンピュータの機能エレメントがシステム・バスを介して互いに通信する。コンピュータの実施形態には、ネットワークまたは他のタイプの遠隔通信を使用して、いくつかの機能エレメントと通信できるものもある。関連技術の当業者には明白であろうが、計器制御および／またはデータ処理アプリケーションがソフトウェアで実装される場合、システム・メモリおよび／またはメモリ記憶デバイスにロードされ、そこから実行されればよい。また、計器制御および／またはデータ処理アプリケーションの全てまたは一部は、メモリ記憶デバイスのリード・オンリ・メモリまたは同様のデバイスに存在してもよく、このようなデバイスは、計器制御および／またはデータ処理アプリケーションが最初に入力－出力コントローラを介してロードされることを必要としない。尚、実行に有利であれば、計器制御および／またはデータ処理アプリケーション、あるいはその一部がプロセッサによってシステム・メモリ、またはキャッシュ・メモリ、あるいは双方に、既知の様式でロードされてもよいことは、関連技術の当業者には理解されよう。また、コンピュータは、システム・メモリに格納されている１つ以上のライブラリ・ファイル、実験データ・ファイル、およびインターネット・クライアントを含んでもよい。例えば、実験データは、検出信号値、あるいは１回以上のシーケンシング・バイ・シンセシス（ＳＢＳ sequencing by synthesis）実験またはプロセスに関連する他の値のような、１回以上の実験またはアッセイに関係するデータを含むことができる。加えて、インターネット・クライアントが、ネットワークを使用して他のコンピュータ上にあるリモート・サービスにアクセスするために使用可能な(enabled)アプリケーションを含んでもよく、例えば、一般に「ウェブ・ブラウザ」と呼ばれるものを備えてもよい(comprise)。この例では、いくつかの一般に採用されるウェブ・ブラウザには、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔ Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ、Ｍｏｚｉｌｌａ ＣｏｒｐｏｒａｔｉｏｎからのＭｏｚｉｌｌａ Ｆｉｒｅｆｏｘ、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｃｏｒｐ．からのＳａｆａｒｉ、Ｇｏｏｇｌｅ ＣｏｒｐｏｒａｔｉｏｎからのＧｏｏｇｌｅ Ｃｈｒｏｍｅ、あるいは当技術分野において現在知られているあるいは今後開発されるその他のタイプのウェブ・ブラウザが含まれる。また、同じまたは他の実施形態において、インターネット・クライアントが、生物学的用途のためのデータ処理アプリケーションのような、ネットワークを通じて遠隔情報にアクセスするために使用可能な、特殊ソフトウェア・アプリケーションを含んでもよく、またはそのエレメントであることも可能である。
【0142】
[00189] ネットワークは、当業者には周知の多くの種々のタイプのネットワークの１
つ以上を含むことができる。例えば、ネットワークは、ＴＣＰ／ＩＰプロトコル・スイートと一般に呼ばれるものを通信のために採用することがあるローカルまたはワイド・エリア・ネットワークを含むことができる。ネットワークは、一般にインターネットと呼ばれる、相互接続コンピュータ・ネットワークの世界規模のシステムを構成するネットワークを含んでもよく、または種々のイントラネット・アーキテクチャを含むこともできる。また、ネットワーク接続環境におけるユーザの中には、ハードウェアおよび／またはソフトウェア・システムとの間の情報トラフィックを制御するために、一般に「ファイアウォール」（ときとしてパケット・フィルタまたは境界保護デバイスと呼ばれることもある）と呼ばれるものを採用することを好む者がいることも、関連技術における当業者には認められよう。例えば、ファイアウォールは、ハードウェアまたはソフトウェア・エレメントあるいはそれらの何らかの組み合わせを含むこともでき、通例、例えば、ネットワーク・アドミニストレータ等のようなユーザによって導入されたセキュリティ・ポリシーを施行するように設計される。
つ以上を含むことができる。例えば、ネットワークは、ＴＣＰ／ＩＰプロトコル・スイートと一般に呼ばれるものを通信のために採用することがあるローカルまたはワイド・エリア・ネットワークを含むことができる。ネットワークは、一般にインターネットと呼ばれる、相互接続コンピュータ・ネットワークの世界規模のシステムを構成するネットワークを含んでもよく、または種々のイントラネット・アーキテクチャを含むこともできる。また、ネットワーク接続環境におけるユーザの中には、ハードウェアおよび／またはソフトウェア・システムとの間の情報トラフィックを制御するために、一般に「ファイアウォール」（ときとしてパケット・フィルタまたは境界保護デバイスと呼ばれることもある）と呼ばれるものを採用することを好む者がいることも、関連技術における当業者には認められよう。例えば、ファイアウォールは、ハードウェアまたはソフトウェア・エレメントあるいはそれらの何らかの組み合わせを含むこともでき、通例、例えば、ネットワーク・アドミニストレータ等のようなユーザによって導入されたセキュリティ・ポリシーを施行するように設計される。
【0143】
[00190] 本開示の例示的な実施形態の以上の開示は、例示および説明の目的に限って
提示されたものである。これが網羅的であることも、開示した形態そのものに本開示を限定することも意図していない。本明細書において説明した実施形態の多くの変形や変更も、以上の開示を考慮すれば、当業者には明白であろう。本開示の範囲は、添付される請求項、およびそれらの均等物によってのみ定められるものとする。
提示されたものである。これが網羅的であることも、開示した形態そのものに本開示を限定することも意図していない。本明細書において説明した実施形態の多くの変形や変更も、以上の開示を考慮すれば、当業者には明白であろう。本開示の範囲は、添付される請求項、およびそれらの均等物によってのみ定められるものとする。
【0144】
[00191] 更に、本開示の代表的な実施形態を説明するにあたって、本明細書は本開示
の方法および／またはプロセスを、ステップの特定のシーケンスとして紹介したこともある。しかしながら、この方法またはプロセスが、本明細書において明記した特定のステップ順序には依存しないのであるからには、この方法またはプロセスは、説明したステップの特定のシーケンスには限定されなくて当然である。ステップの他のシーケンスも可能であってもよいことは当業者には認められよう。したがって、本明細書において明記したステップの特定の順序は、請求項に対する限定として解釈してはならず、加えて、本開示の方法および／またはプロセスを対象とする請求項は、記載された順序でのそれらのステップの実行に限定されなくて当然であり、これらのシーケンスは変化してもよく、それであっても本開示の主旨および範囲内に該当することに変わりはないことは、当業者には容易に認めることができよう。
の方法および／またはプロセスを、ステップの特定のシーケンスとして紹介したこともある。しかしながら、この方法またはプロセスが、本明細書において明記した特定のステップ順序には依存しないのであるからには、この方法またはプロセスは、説明したステップの特定のシーケンスには限定されなくて当然である。ステップの他のシーケンスも可能であってもよいことは当業者には認められよう。したがって、本明細書において明記したステップの特定の順序は、請求項に対する限定として解釈してはならず、加えて、本開示の方法および／またはプロセスを対象とする請求項は、記載された順序でのそれらのステップの実行に限定されなくて当然であり、これらのシーケンスは変化してもよく、それであっても本開示の主旨および範囲内に該当することに変わりはないことは、当業者には容易に認めることができよう。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】