▶ ヴェンタナ メディカル システムズ， インク．の特許一覧
特許7128203スティッチングのための局所的タイルベースレジストレーションおよび大域的配置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-22
(45)【発行日】2022-08-30
(54)【発明の名称】スティッチングのための局所的タイルベースレジストレーションおよび大域的配置
(51)【国際特許分類】
G06T 7/32 20170101AFI20220823BHJP
G06T 3/00 20060101ALI20220823BHJP
G06T 7/00 20170101ALI20220823BHJP
【ＦＩ】
G06T7/32
G06T3/00 780
G06T7/00 612
【請求項の数】
31
(21)【出願番号】P 2019555778
(86)(22)【出願日】2018-04-06
(65)【公表番号】
(43)【公表日】2020-06-11
(86)【国際出願番号】 EP2018058807
(87)【国際公開番号】W WO2018189039
(87)【国際公開日】2018-10-18
【審査請求日】2021-03-03
(31)【優先権主張番号】62/485,818
(32)【優先日】2017-04-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】511286517
【氏名又は名称】ヴェンタナ メディカル システムズ， インク．
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】マーティン， ジム
(72)【発明者】
【氏名】サルカール， アニンディヤ
【審査官】合田 幸裕
(56)【参考文献】
【文献】米国特許出願公開第２０１６／０１４０７４６（ＵＳ，Ａ１）
【文献】特開２０００－３４８１５９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０３５５８９２（ＵＳ，Ａ１）
【文献】特開２００４－１８４２４０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／３２
Ｇ０６Ｔ ３／００
Ｇ０６Ｔ ７／００
ＩＥＥＥ Ｘｐｌｏｒｅ
ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
１つまたは複数のプロセッサを備えるコンピューティングデバイスによって、試料担持スライドのタイル画像をスティッチングするコンピュータ実装式方法であって、（ａ）前記１つまたは複数のプロセッサが、前記試料担持スライドの各タイル画像についてグレースケールタイル画像を導出すること、
（ｂ）前記１つまたは複数のプロセッサが、隣接するグレースケールタイル画像の対の間の空間的関係を決定するために局所的レジストレーションを実施することであって、前記空間的関係は、多重解像度フレームワーク内で計算される正規化相互相関（ＮＣＣ）スコアを使用して決定される、局所的レジストレーションを実施すること、および、
（ｃ）前記１つまたは複数のプロセッサが、全てのスキャンされたタイル画像を互いに対して位置決めするために大域的配置を実施することを含み、前記大域的配置は、全ての隣接するグレースケールタイル画像の間の決定された前記空間的関係と、重みとしての前記ＮＣＣスコアとを利用する、重み付き最小２乗によって決定される、
方法。
【請求項2】
前記１つまたは複数のプロセッサは、隣接するグレースケールタイル画像の各対についての前記空間的関係を、（ｉ）第１および第２の低解像度サブサンプリング画像において予想マッチング領域間の候補空間的関係を計算することであって、前記第１および第２の低解像度サブサンプリング画像は、隣接するグレースケールタイル画像対のオーバーラップ領域から導出される、候補空間的関係を計算すること、（ｉｉ）順次解像度が高くなるサブサンプリング画像において前記候補空間的関係を洗練すること、および、（ｉｉｉ）オリジナル解像度の前記隣接するグレースケールタイル画像対の前記オーバーラップ領域において最も高いＮＣＣスコアを有する洗練された前記候補空間的関係を、決定された前記空間的関係として選択すること、によって決定する、請求項１に記載の方法。
【請求項3】
前記１つまたは複数のプロセッサは、前記第１および第２の低解像度サブサンプリング画像間の前記候補空間的関係を、前記第１および第２の低解像度サブサンプリング画像のＮＣＣドメインにおいてピークのロケーションを決定することによって導出する、請求項２に記載の方法。
【請求項4】
前記１つまたは複数のプロセッサは、前記候補空間的関係であって、前記候補空間的関係のピークロケーションが予め規定されたＮＣＣ閾値を満たす、前記候補空間的関係を保持する、請求項３に記載の方法。
【請求項5】
前記予め規定されたＮＣＣ閾値は、トップＮＣＣスコアの予め規定されたパーセンテージである、請求項４に記載の方法。
【請求項6】
前記１つまたは複数のプロセッサは、前記候補空間的関係を、前記ＮＣＣドメインにおいて各ピークの更新されたロケーションを決定することによって洗練し、各ピークの前記ロケーションの更新を、順次解像度が高くなるサブサンプリング画像の対内で実施し、順次解像度が高くなるサブサンプリング画像の各対は、前記隣接するグレースケールタイル画像対の前記オーバーラップ領域に対応する、請求項３に記載の方法。
【請求項7】
順次解像度が高くなるサブサンプリング画像の各対は、直近下位の解像度のサブサンプリング画像と比較して、１というダウンサンプリング係数に達するまでの、ダウンサンプリング係数の所定の減少を含む、請求項６に記載の方法。
【請求項8】
前記ダウンサンプリング係数の変化は、２から４に及ぶ、請求項７に記載の方法。
【請求項9】
前記第１および第２のサブサンプリング画像は、第１の解像度を提供するために第１のダウンサンプリング係数を有し、ここで、順次解像度が高くなるサブサンプリング画像の第１の対は、前記第１の解像度の２倍の解像度である解像度を有する、請求項６に記載の方法。
【請求項10】
前記１つまたは複数のプロセッサは、前記ＮＣＣスコアを、全てのサブサンプリング画像解像度について、積分画像を使用して計算する、請求項６に記載の方法。
【請求項11】
前記１つまたは複数のプロセッサは、前記ＮＣＣスコアを、少なくとも１つのサブサンプリング画像解像度について、積分画像を使用して計算する、請求項６に記載の方法。
【請求項12】
前記１つまたは複数のプロセッサは、前記ＮＣＣスコアを、予め計算された積分画像を使用して計算する、請求項１に記載の方法。
【請求項13】
前記１つまたは複数のプロセッサが、前記隣接するグレースケールタイル画像対においてマッチング領域間の標準偏差を計算するステップをさらに含む、請求項２に記載の方法。
【請求項14】
隣接するグレースケールタイル画像間の前記空間的関係は、タイルオーバーラップおよびタイルシフトである、請求項１に記載の方法。
【請求項15】
前記１つまたは複数のプロセッサは、タイルシフトおよびタイルオーバーラップの値を、全ての水平タイル画像対および全ての垂直タイル画像対について計算する、請求項１４に記載の方法。
【請求項16】
前記１つまたは複数のプロセッサが、隣接するグレースケールタイル画像対の間の前記タイルオーバーラップおよびタイルシフトの値は信頼性があるか否かを判定することをさらに含む、請求項１４に記載の方法。
【請求項17】
前記タイルオーバーラップおよびタイルシフトの値は信頼性があるか否かを判定することは、前記１つまたは複数のプロセッサが、前記隣接するグレースケールタイル画像対におけるマッチング領域から導出される標準偏差を標準偏差閾値と比較することを含み、前記タイルオーバーラップおよびタイルシフトの値は、前記標準偏差が前記標準偏差閾値より小さい場合、信頼性がない、請求項１６に記載の方法。
【請求項18】
前記タイルオーバーラップおよびタイルシフトの値が、信頼性がないと判定される場合、（ｉ）前記１つまたは複数のプロセッサが、平均オーバーラップおよび平均シフトの値をタイルオーバーラップおよびタイルシフトの値としてそれぞれ割り当てること、または、（ｉｉ）前記１つまたは複数のプロセッサが、より低い信頼スコアを、前記信頼性がない隣接するグレースケールタイル画像に割り当てることを含む、請求項１７に記載の方法。
【請求項19】
前記１つまたは複数のプロセッサは、平均オーバーラップ値および平均シフト値を、左右タイル画像について、それぞれ、タイルオーバーラップおよびタイルシフトの値として割り当てる、請求項１４に記載の方法。
【請求項20】
前記１つまたは複数のプロセッサが、より低い信頼スコアを、信頼性がないトップ・ボトムタイル画像に割り当てる、請求項１４に記載の方法。
【請求項21】
各サブサンプリング画像は、隣接するグレースケールタイル画像対の前記対の１つのグレースケール画像から、前記１つまたは複数のプロセッサが導出したクロッピングされた画像である、請求項２に記載の方法。
【請求項22】
前記１つまたは複数のプロセッサが、計算されたタイル画像配置に基づいて前記タイル画像の全てを共にスティッチングするステップをさらに含む、請求項１に記載の方法。
【請求項23】
前記空間的関係はタイルオーバーラップおよびタイルシフトを含み、左右タイル画像対について、前記１つまたは複数のプロセッサは、前記左右タイル画像対の左タイルと前記左右タイル画像対の右タイルとの間のｘ軸に沿うオーバーラップについてタイルオーバーラップを導出し、前記左右タイル画像対の間のｙ軸に沿うシフトについてタイルシフトを導出する、請求項１に記載の方法。
【請求項24】
前記タイルシフトが正値を有する場合、前記右タイルは、前記左タイルと整列するように、下方にシフトされるべきである、請求項２３に記載の方法。
【請求項25】
前記空間的関係はタイルオーバーラップおよびタイルシフトを含み、トップ・ボトムタイル画像対について、前記１つまたは複数のプロセッサは、前記トップ・ボトムタイル画像対のトップタイルと前記トップ・ボトムタイル画像対のボトムタイルとの間のｙ軸に沿うオーバーラップについてタイルオーバーラップを導出し、前記トップ・ボトムタイル画像対の間のｘ軸に沿うシフトについてタイルシフトを導出する、請求項１に記載の方法。
【請求項26】
前記タイルシフトが正値を有する場合、前記トップタイルは、前記ボトムタイルと整列するように、右にシフトされるべきである、請求項２５に記載の方法。
【請求項27】
前記１つまたは複数のプロセッサが、関心領域識別を実施することをさらに含む、請求項１に記載の方法。
【請求項28】
１つまたは複数のプロセッサを備えるコンピューティングデバイスによって、試料担持スライドのタイル画像をスティッチングするコンピュータ実装式方法であって、（ａ）前記１つまたは複数のプロセッサが、隣接するタイル画像のオーバーラップ領域内でマッチングピクセルを識別するために局所的レジストレーションモジュールを実行することであって、前記局所的レジストレーションは、前記隣接するタイル画像の前記オーバーラップ領域において最良の正規化相互相関（ＮＣＣ）スコアをもたらす空間的関係として表現され、前記正規化相互相関（ＮＣＣ）スコアは多重解像度フレームワーク内で計算される、局所的レジストレーションモジュールを実行すること、および、（ｂ）前記１つまたは複数のプロセッサが、全てのタイル画像を互いに対して位置決めするために大域的配置モジュールを実行することを含む、方法。
【請求項29】
前記１つまたは複数のプロセッサは、隣接するグレースケールタイル画像の各対についての空間的関係を、（ｉ）第１および第２の低解像度サブサンプリング画像において予想マッチング領域間の候補空間的関係を計算することであって、前記第１および第２の低解像度サブサンプリング画像は、隣接するタイル画像対のオーバーラップ領域から導出される、候補空間的関係を計算すること、（ｉｉ）順次解像度が高くなるサブサンプリング画像において前記候補空間的関係を洗練すること、および、（ｉｉｉ）オリジナル解像度の前記隣接するタイル画像対の前記オーバーラップ領域において最も高いＮＣＣスコアを有する洗練された前記候補空間的関係を、決定された前記空間的関係として選択すること、によって決定する、請求項２８に記載の方法。
【請求項30】
１つまたは複数のプロセッサおよび少なくとも１つのメモリを備えるコンピューティングデバイスであって、前記少なくとも１つのメモリは、請求項１～２９のいずれか一項に記載の方法をコンピューティングデバイスに実施させるために、前記１つまたは複数のプロセッサが実行するための非一時的コンピュータ可読命令を記憶する、コンピューティングデバイス。
【請求項31】
コンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体であって、コンピューティングデバイスの１つまたは複数のプロセッサによって前記コンピュータ実行可能命令が実行されると、請求項１～２９のいずれか一項に記載の方法を前記コンピューティングデバイスに実施させる、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【背景技術】
【0001】
近年、パノラマ撮像およびマッピングなどのエリアにおける用途のために、静止シーンの画像を融合することに大きな関心が存在している。画像の融合は、顕微鏡スライド上に提示されるサンプルの撮像を含む、医療撮像の分野において同様に有用である。伝統的に、画像モザイクは、レジストレーション、ワーピング、リサンプリング、およびブレンディングを含むプロセスを通して、単一の大きい複合画像を形成するために２つ以上のオーバーラップする画像共にスティッチングすることによって作成される。画像レジストレーションステップは、オーバーラップする画像の間で相対的な幾何学的変換を見出すために使用される。
【0002】
画像から抽出される特徴に基づく画像レジストレーションは、複数の画像を融合させるための１つのアプローチである。特徴ベース画像レジストレーションは、各画像内で特徴点のセットを決定し、その後、対応する特徴記述子を比較する。特徴点の数は、通常、対応する画像のピクセルの数よりずっと少ない。特徴ベース画像レジストレーションは、或る状況下で或る画像対についてうまく働かない場合があり、レジストレーションエラーをもたらす可能性がある。
【発明の概要】
【0003】
本開示の一態様は、（例えば、試料担持スライドから導出されるタイル画像を含む）タイル画像をスティッチングするコンピュータ実装式方法であり、方法は、（ａ）スキャンされた各タイル画像についてグレースケールタイル画像を導出すること；（ｂ）隣接するグレースケールタイル画像の対の間の空間的関係を決定するために局所的レジストレーション(ｌｏｃａｌ ｒｅｇｉｓｔｒａｔｉｏｎ)を実施することであって、空間的関係は、多重解像度フレームワーク内で計算される正規化相互相関（ＮＣＣ：ｎｏｒｍａｌｉｚｅｄ ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ）スコアを使用して決定される、局所的レジストレーションを実施すること、および、（ｃ）全てのスキャンされたタイル画像を互いに対して位置決めするために大域的配置を実施することを含み、大域的配置(ｇｌｏｂａｌ ｐｌａｃｅｍｅｎｔ)は、全ての隣接するグレースケール画像タイルの間の決定された空間的関係およびＮＣＣスコアを重みとして利用する、重み付き最小２乗(ｗｅｉｇｈｔｅｄ ｌｅａｓｔ ｓｑｕａｒｅｓ)によって決定される。幾つかの実施形態において、方法は、計算された画像タイル配置に基づいて画像の全てを共にスティッチングし、ブレンディングすることをさらに含む。幾つかの実施形態において、方法は、関心領域識別を実施することをさらに含む。
【0004】
幾つかの実施形態において、隣接するグレースケールタイル画像の各対についての空間的関係は、（ｉ）第１および第２の低解像度サブサンプリング画像において予想マッチング領域(ｐｒｏｓｐｅｃｔｉｖｅ ｍａｃｈｔｉｎｇ ｒｅｇｉｏｎ)間の候補空間的関係を計算することであって、第１および第２の低解像度サブサンプリング画像は、隣接するグレースケール画像タイル対のオーバーラップ領域から導出される、候補空間的関係を計算すること；（ｉｉ）順次高くなる解像度(ｓｅｑｕｅｎｔｉａｌｌｙ ｆｉｎｅｒ ｒｅｓｏｌｕｔｉｏｎ)サブサンプリング画像において候補空間的関係を洗練すること、および、（ｉｉｉ）オリジナル解像度の隣接するグレースケール画像タイル対のオーバーラップ領域において最も高いＮＣＣスコアを有する洗練された候補空間的関係を、決定された空間的関係として選択すること、によって決定される。
【0005】
幾つかの実施形態において、第１および第２の低解像度サブサンプリング画像間の候補空間的関係は、第１および第２の低解像度サブサンプリング画像のＮＣＣドメインにおいてピークのロケーションを決定することによって導出される。幾つかの実施形態において、候補空間的関係であって、候補空間的関係のピークロケーションが予め規定されたＮＣＣ閾値を満たす、候補空間的関係は保持される。幾つかの実施形態において、予め規定されたＮＣＣ閾値は、トップＮＣＣスコアの予め規定されたパーセンテージ（例えば、トップＮＣＣスコアの９０％以内）である。幾つかの実施形態において、各サブサンプリング画像は、隣接するグレースケール画像タイル対の対の１つのグレースケール画像から導出されるクロッピングされた画像である。幾つかの実施形態において、方法は、隣接するグレースケールタイル画像対においてマッチング領域間の標準偏差を計算するステップをさらに含む。
【0006】
幾つかの実施形態において、候補空間的関係は、ＮＣＣドメインにおいて各ピークの更新されたロケーションを決定することによって洗練され、各ピークのロケーションの更新は、順次解像度が高くなるサブサンプリング画像の対内で実施され、順次解像度が高くなるサブサンプリング画像の各対は、隣接するグレースケール画像タイル対のオーバーラップ領域に対応する。幾つかの実施形態において、順次解像度が高くなるサブサンプリング画像の各対は、直近下位の解像度のサブサンプリング画像と比較して、１というダウンサンプリング係数(ｄｏｗｎ ｓａｍｐｌｉｎｇ ｆａｃｔｏｒ)に達するまでの、ダウンサンプリング係数の所定の減少を含む。幾つかの実施形態において、ダウンサンプリング係数の変化は、２から４に及ぶ。幾つかの実施形態において、第１および第２のサブサンプリング画像は、第１の解像度を提供するために第１のダウンサンプリング係数を有し、順次解像度が高くなるサブサンプリング画像の第１の対は、第１の解像度の２倍の解像度である解像度を有する。
【0007】
幾つかの実施形態において、ＮＣＣスコアは、全てのサブサンプリング画像解像度について、積分画像を使用して計算される。幾つかの実施形態において、ＮＣＣスコアは、少なくとも１つのサブサンプリング画像解像度について、積分画像を使用して計算される。
【0008】
幾つかの実施形態において、隣接するグレースケール画像タイル間の空間的関係は、タイルオーバーラップおよびタイルシフトである。幾つかの実施形態において、タイルシフトおよびタイルオーバーラップの値は、全ての水平画像タイル対および全ての垂直画像タイル対について計算される。幾つかの実施形態において、方法は、隣接するグレースケール画像タイル対の間のタイルオーバーラップおよびタイルシフトの値が、信頼性があるか否か（例えば、オーバーラップ領域が、（ｉ）マッチングした十分なピクセルを持たないか、または、（ｉｉ）十分な高コントラストエリアを持たないか）を判定することをさらに含む。幾つかの実施形態において、タイルオーバーラップおよびタイルシフトの値が、信頼性があるか否かを判定することは、隣接するグレースケールタイル画像対におけるマッチング領域から導出される標準偏差を標準偏差閾値と比較することを含み、タイルオーバーラップおよびタイルシフトの値は、標準偏差が標準偏差閾値より小さい場合、信頼性がない。幾つかの実施形態において、また、試料担持スライドから導出されるタイルをマッチングする文脈において、画像間に或るオーバーラップ領域が存在し、そのオーバーラップ領域が、完全に空白でなく、ある程度の非ガラス領域を有するときに、マッチングは信頼性がある。標準偏差に対して或る閾値を使用することは、マッチング領域が純粋に空白ベースである場所、および、マッチング領域が或る程度の非空白領域を有する場所を識別することを可能にする。
【0009】
幾つかの実施形態において、タイルオーバーラップおよびタイルシフトの値が、信頼性がないと判定される場合、方法は、（ｉ）平均オーバーラップおよび平均シフトの値をタイルオーバーラップおよびタイルシフトの値としてそれぞれ割り当てること、または、（ｉｉ）より低い信頼スコアを、信頼性がない隣接するグレースケール画像タイルに割り当てることを含む。幾つかの実施形態において、平均オーバーラップ値および平均シフト値は、左右画像タイルについて、それぞれ、タイルオーバーラップおよびタイルシフトの値として割り当てられる。幾つかの実施形態において、より低い信頼スコアは、信頼性がないトップ・ボトム画像タイルに割り当てられる。幾つかの実施形態において、信頼性がない画像タイル対は、少なくとも予想オーバーラップ領域内に、実質的に空白を含む。
【0010】
幾つかの実施形態において、空間的関係はタイルオーバーラップおよびタイルシフトを含み、左右画像タイル対について、タイルオーバーラップは、左右画像タイル対の左タイルと左右画像タイル対の右タイルとの間のｘ軸に沿うオーバーラップについて導出され、タイルシフトは、左右画像タイル対の間のｙ軸に沿うシフトについて導出される。幾つかの実施形態において、タイルシフトが正値を有する場合、右タイルは、右タイルと整列するように、下方にシフトされるべきである。
【0011】
幾つかの実施形態において、空間的関係はタイルオーバーラップおよびタイルシフトを含み、トップ・ボトム画像タイル対について、タイルオーバーラップは、トップ・ボトム画像タイル対のトップ画像とトップ・ボトム画像タイル対のボトム画像との間のｙ軸に沿うオーバーラップについて導出され；タイルシフトは、トップ・ボトム画像タイル対の間のｘ軸に沿うシフトについて導出される。幾つかの実施形態において、タイルシフトが正値を有する場合、トップタイルは、ボトムタイルと整列するように、右にシフトされるべきである。
【0012】
本開示の別の態様は、画像タイルをスティッチングするコンピュータ実装式方法であり、方法は、（ａ）隣接するタイル画像のオーバーラップ領域内でマッチングピクセルを識別するために局所的レジストレーションモジュールを実行することであって、局所的レジストレーションは、隣接するタイル画像のオーバーラップ領域において最良正規化相互相関スコアをもたらす空間的関係として表現され、正規化相互相関（ＮＣＣ）スコアは多重解像度フレームワーク内で計算される、局所的レジストレーションモジュールを実行すること、および、（ｂ）全ての画像タイルを互いに対して位置決めするために大域的配置モジュールを実行することを含む。
【0013】
本開示の別の態様は、少なくとも２つの隣接する画像間の空間的関係を決定するコンピュータ実装式方法であり、方法は、（ｉ）第１および第２の低解像度サブサンプリング画像において予想マッチング領域間の候補空間的関係を計算することであって、第１および第２の低解像度サブサンプリング画像は、ＮＣＣドメイン内の隣接する画像タイル対のオーバーラップ領域から導出される、候補空間的関係を計算すること；（ｉｉ）（やはりＮＣＣドメイン内の）順次解像度が高くなるサブサンプリング画像において候補空間的関係を洗練すること、および、（ｉｉｉ）オリジナル解像度の隣接する画像タイル対のオーバーラップ領域において最も高いＮＣＣスコアを有する洗練された候補空間的関係を、決定された空間的関係として選択することを含む。幾つかの実施形態において、方法は、全ての画像を同じグリッド上に配置するために大域的配置ステップを実施することをさらに含み、大域的配置ステップは、重み付き最小２乗ソルバーにおいて、決定された空間的関係および導出されたＮＣＣスコアを利用する。
【0014】
本開示の別の態様は、スティッチング後に実質的にアーチファクトがないモザイクが作成されるように、画像タイルをグリッド上に互いに対して配置するコンピュータ実装式方法であり、方法は、全ての画像タイル間の空間的関係を導出すること、および、導出された空間的関係、および、導出されたＮＣＣスコアに基づいて画像を配置するために重み付き最小２乗ソリューションを使用することを含み、ＮＣＣスコアは重み付き最小２乗ソリューションのための重みである。幾つかの実施形態において、導出される空間的関係は、本明細書で述べる局所的レジストラーションモジュールを使用して計算される。他の実施形態において、導出される空間的関係は、予め計算され、対応するＮＣＣスコアと共に、タイルオーバーラップおよびタイルシフトデータとして供給されている。
【0015】
本開示の別の態様は、１つまたは複数のプロセッサおよび少なくとも１つのメモリを備える、画像タイルをスティッチングするように構成されるコンピューティングデバイスであり、少なくとも１つのメモリは、１つまたは複数のプロセッサが実行するための非一時的コンピュータ可読命令を記憶し、非一時的コンピュータ可読命令は、（ａ）スキャンされた各タイル画像についてグレースケールタイル画像を導出する命令、（ｂ）隣接するグレースケールタイル画像の対の間の空間的関係を決定するために局所的レジストレーションを実施する命令であって、空間的関係は、多重解像度フレームワーク内で計算される正規化相互相関スコアを使用して決定される、局所的レジストレーションを実施する命令、および、（ｃ）全てのスキャンされたタイル画像を互いに対して位置決めするために大域的配置を実施する命令であって、大域的配置は、全ての隣接するグレースケール画像タイルの間の決定された空間的関係およびＮＣＣスコアを重みとして利用する、重み付き最小２乗によって決定される、実施する命令を、１つまたは複数のプロセッサに実施させるためのものである。
【0016】
幾つかの実施形態において、隣接するグレースケールタイル画像の各対についての空間的関係は、（ｉ）第１および第２の低解像度サブサンプリング画像において予想マッチング領域間の候補空間的関係を計算することであって、第１および第２の低解像度サブサンプリング画像は、隣接する画像タイル対のオーバーラップ領域から導出される、候補空間的関係を計算すること；（ｉｉ）順次解像度が高くなるサブサンプリング画像において候補空間的関係を洗練すること、および、（ｉｉｉ）オリジナル解像度の隣接するグレースケール画像タイル対のオーバーラップ領域において最も高いＮＣＣスコアを有する洗練された候補空間的関係を、決定された空間的関係として選択すること、によって決定される。幾つかの実施形態において、第１および第２の低解像度サブサンプリング画像間の候補空間的関係は、第１および第２の低解像度サブサンプリング画像のＮＣＣドメインにおいてピークのロケーションを決定することによって導出される。
【0017】
幾つかの実施形態において、候補空間的関係は、ＮＣＣドメインにおいて各ピークの更新されたロケーションを決定することによって洗練され、各ピークのロケーションの更新は、順次解像度が高くなるサブサンプリング画像の対内で実施され、順次解像度が高くなるサブサンプリング画像の各対は、隣接するグレースケール画像タイル対のオーバーラップ領域に対応する。幾つかの実施形態において、順次解像度が高くなるサブサンプリング画像の各対は、直近下位の解像度のサブサンプリング画像と比較して、１というダウンサンプリング係数に達するまでの、ダウンサンプリング係数の所定の減少を含む。
【0018】
幾つかの実施形態において、ＮＣＣスコアは、全てのサブサンプリング画像解像度について、積分画像を使用して計算される。幾つかの実施形態において、ＮＣＣスコアは、少なくとも１つのサブサンプリング画像解像度について、積分画像を使用して計算される。
【0019】
幾つかの実施形態において、隣接するグレースケール画像タイル間の空間的関係は、タイルオーバーラップおよびタイルシフトである。幾つかの実施形態において、タイルシフトおよびタイルオーバーラップの値は、全ての水平画像タイル対および全ての垂直画像タイル対について計算される。幾つかの実施形態において、デバイスは、隣接するグレースケール画像タイル対の間のタイルオーバーラップおよびタイルシフトの値が、信頼性があるか否かを判定する命令を提供することをさらに含む。幾つかの実施形態において、タイルオーバーラップおよびタイルシフトの値が、信頼性があるか否かを判定することは、隣接するグレースケールタイル画像対におけるマッチング領域から導出される標準偏差を標準偏差閾値と比較することを含み、タイルオーバーラップおよびタイルシフトの値は、標準偏差が標準偏差閾値より小さい場合、信頼性がない。幾つかの実施形態において、タイルオーバーラップおよびタイルシフトの値が、信頼性がないと判定される場合、方法は、（ｉ）平均オーバーラップおよび平均シフトの値をタイルオーバーラップおよびタイルシフトの値としてそれぞれ割り当てること、または、（ｉｉ）より低い信頼スコアを、信頼性がない隣接するグレースケール画像タイルに割り当てることを含む。
【0020】
本開示の別の態様は、コンピュータプログラムコードを具現化する非一時的コンピュータ使用可能媒体であり、コンピュータプログラムコードは、コンピュータ実行可能命令を含み、コンピュータ実行可能命令は、（ａ）スキャンされた各タイル画像についてグレースケールタイル画像を導出し、（ｂ）隣接するグレースケールタイル画像の対の間の空間的関係を決定するための局所的レジストレーションであって、空間的関係は、多重解像度フレームワーク内で計算される正規化相互相関スコアを使用して決定される、局所的レジストレーションを実施し、（ｃ）全てのスキャンされたタイル画像を互いに対して位置決めするために大域的配置を実施するように構成され、大域的配置は、全ての隣接するグレースケール画像タイルの間の決定された空間的関係およびＮＣＣスコアを重みとして利用する、重み付き最小２乗によって決定される。幾つかの実施形態において、隣接するグレースケールタイル画像の各対についての空間的関係は、（ｉ）第１および第２の低解像度サブサンプリング画像において予想マッチング領域間の候補空間的関係を計算することであって、第１および第２の低解像度サブサンプリング画像は、隣接するグレースケール画像タイル対のオーバーラップ領域から導出される、候補空間的関係を計算すること；（ｉｉ）順次解像度が高くなるサブサンプリング画像において候補空間的関係を洗練すること、および、（ｉｉｉ）オリジナル解像度の隣接するグレースケールタイル画像対のオーバーラップ領域において最も高いＮＣＣスコアを有する洗練された候補空間的関係を、決定された空間的関係として選択すること、によって決定される。
【0021】
本開示の別の態様は、非一時的コンピュータ可読記憶媒体であり、非一時的コンピュータ可読記憶媒体は、（ａ）スキャンされた各タイル画像についてグレースケールタイル画像を導出する実行可能命令、（ｂ）隣接するグレースケールタイル画像の対の間の空間的関係を決定するために局所的レジストレーションを実施する実行可能命令であって、空間的関係は、多重解像度フレームワーク内で計算される正規化相互相関スコアを使用して決定される、局所的レジストレーションを実施する実行可能命令、および、（ｃ）全てのスキャンされたタイル画像を互いに対して位置決めするために大域的配置を実施する実行可能命令であって、大域的配置は、全ての隣接するグレースケール画像タイルの間の決定された空間的関係およびＮＣＣスコアを重みとして利用する、重み付き最小２乗によって決定される、実施する実行可能命令を含む。幾つかの実施形態において、隣接するグレースケールタイル画像の各対についての空間的関係は、（ｉ）第１および第２の低解像度サブサンプリング画像において予想マッチング領域間の候補空間的関係を計算することであって、第１および第２の低解像度サブサンプリング画像は、隣接するグレースケール画像タイル対のオーバーラップ領域から導出される、候補空間的関係を計算すること；（ｉｉ）順次解像度が高くなるサブサンプリング画像において候補空間的関係を洗練すること、および、（ｉｉｉ）オリジナル解像度の隣接するグレースケール画像タイル対のオーバーラップ領域において最も高いＮＣＣスコアを有する洗練された候補空間的関係を、決定された空間的関係として選択すること、によって決定される。
【0022】
本開示の別の態様は、隣接する画像の予想オーバーラップ領域内のピクセルの全てを利用する画像レジストレーションおよび配置方法である。本明細書で開示される「完全検索（ｆｕｌｌ ｓｅａｒｃｈ）」法が、「特徴ベース（ｆｅａｔｕｒｅ ｂａｓｅｄ）」法を使用して普通なら見落とす可能性がある、隣接する画像の同様の領域間の微妙な差の検出を可能にすると出願人等は思う。したがって、現在開示されている方法が、低コンピューティングコストで全てそうしながら、画像をレジストレーションし配置する優れた方法を提供すると出願人等は考える。
【0023】
非制限的かつ非網羅的な実施形態は以下の図面を参照して述べられる。同じ参照数字は、別段に指定されない限り、種々の図全体をとおして同様の部品または行為を指す。
【図面の簡単な説明】
【0024】
【図1】幾つかの実施形態による、分析のために組織サンプルのデジタル画像を処理するためのコンピュータシステムを示す図である。
【図2】幾つかの実施形態による、分析のために組織サンプルのデジタル画像を処理するときに使用されるモジュールの概要を説明するフローチャートである。
【図3】幾つかの実施形態による、一連の画像タイルを共にスティッチングする方法の概要を説明するフローチャートである。
【図4】幾つかの実施形態による、一連の画像タイルを共にスティッチングする方法の概要を説明するフローチャートである。
【図5A】幾つかの実施形態による、或るグリッドの画像タイル間のオーバーラップを示す図である。
【図5B】幾つかの実施形態による、Ｍ×Ｎシリーズの画像タイル間のオーバーラップを示し、本明細書の一実施形態によるスキャン方向をさらに示す図である。
【図6】幾つかの実施形態による、トップＮＣＣピークを示すプロットである。
【図7A】幾つかの実施形態による積分画像の概念を示す図である。
【図7B】幾つかの実施形態による積分画像の概念を示す図である。
【図8】幾つかの実施形態による、多重解像度フレームワーク内でＮＣＣスコアを計算する方法の概要を説明するフローチャートである。
【図9A】幾つかの実施形態による、左右画像タイル対の間のタイルオーバーラップおよびタイルシフトを示す図である。
【図9B】幾つかの実施形態による、トップ・ボトム画像タイル対の間のタイルオーバーラップおよびタイルシフトを示す図である。
【発明を実施するための形態】
【0025】
本開示の特徴の全体的な理解のために、図面に対して参照が行われる。図面において、同様の参照数字は、同一の要素を識別するために全体に使用されている。本開示は、本開示の特定のデバイスおよび方法に関連して以降で述べられることになるが、そのような特定のデバイスおよび方法に本開示を限定することが意図されないことが理解されるであろう。逆に、添付特許請求項によって規定される本開示の趣旨および範囲内に含まれてもよい、全ての代替物、修正物、および等価物をカバーすることが意図される。
【0026】
本明細書で使用するとき、単数形用語「１つの（ａ）」、「１つの（ａｎ）」、および「その（ｔｈｅ）」は、文脈が別段に明確に示さない限り、複数の指示対象(referent)を含む。同様に、語「または（ｏｒ）」は、文脈が別段に明確に示さない限り、「および（ａｎｄ）」を含むことを意図される。用語「含む（ｉｎｃｌｕｄｅｓ）」は、包含的に規定され、それにより、「ＡまたはＢを含む（ｉｎｃｌｕｄｅｓ Ａ ｏｒ Ｂ）」は、Ａ、Ｂ、または、ＡおよびＢを含むことを意味する。
【0027】
用語「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「有している（ｈａｖｉｎｇ）」、および同様なものは、交換可能に使用され、同じ意味を有する。同様に、「備える（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「有する（ｈａｓ）」、および同様なものは、交換可能に使用され、同じ意味を有する。特に、用語のそれぞれは、「備えている」の一般的な米国特許法の規定に矛盾しない、と規定され、したがって、「少なくとも以下（ａｔ ｌｅａｓｔ ｔｈｅ ｆｏｌｌｏｗｉｎｇ）」を意味するオープンな用語であると解釈され、また、さらなる特徴、制限、態様などを排除しないことを同様に意図される。そのため、例えば、「コンポーネントａ、ｂ、およびｃを有するデバイス（ａ ｄｅｖｉｃｅ ｈａｖｉｎｇ ｃｏｍｐｏｎｅｎｔｓ ａ、ｂ、ａｎｄ ｃ）」は、デバイスが少なくともコンポーネントａ、ｂ、およびｃを含むことを意味する。同様に、フレーズ：「ステップａ、ｂ、およびｃを含む方法（ａ ｍｅｔｈｏｄ ｉｎｖｏｌｖｉｎｇ ｓｔｅｐｓ ａ、ｂ、ａｎｄ ｃ）」は、方法が少なくともコンポーネントａ、ｂ、およびｃを含むことを意味する。さらに、ステップおよびプロセスが、特定の順序で、本明細書で概要を説明される場合があるが、順序付けするステップおよびプロセスが変動する場合があることを当業者は認識するであろう。
【0028】
本明細書で使用するとき、多重画像の文脈で使用される「組み合わせる（ｃｏｍｂｉｎｉｎｇ）」または「スティッチングする（ｓｔｉｔｃｈｉｎｇ）」は、或る有限のオーバーラップ領域を有する２つの画像を実質的にシームレスに接合することを指す。語「融合する（ｆｕｓｅ）」または「融合させる（ｆｕｓｉｎｇ）」は、スティッチングプロセスを指すために同義的に使用される。幾つかの実施形態において、２つの画像は、一度に接合されるが、より多くの画像が、プロセスを繰返すことによって接合され得る。
【0029】
本明細書で使用するとき、用語「画像レジストレーション（ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ）」は、一般に、１つまたは複数の画像を基準画像の座標系に変換するプロセスを指す。
【0030】
本明細書で使用するとき、用語「ピクセル（ｐｉｘｅｌ）」は、画像が分割され得る最小セグメントを指す。入力画像の受信されるピクセルは、輝度（ｉｎｔｅｎｓｉｔｙ）、明度（ｌｉｇｈｔｎｅｓｓ）、明るさ（ｂｒｉｇｈｔｎｅｓｓ）、またはその何らかの数学的変換によって規定される値に関連付けられる場合がある。
【0031】
本明細書で使用するとき、用語「テンプレート（ｔｅｍｐｌａｔｅ）」は、或る画像内で規定されるエリア（領域）を指す。画像スティッチングの文脈で、テンプレートは、通常、スティッチングされる２つの画像のオーバーラップエリア内の或る領域の一部または全てを含む。画像スティッチング方法の一部として、第１の窓から選択されるテンプレート、「テンプレート窓（ｔｅｍｐｌａｔｅ ｗｉｎｄｏｗ）」は、テンプレートに最も類似する画像をターゲット窓内で検索することによって、第２の窓、「ターゲット窓（ｔａｒｇｅｔ ｗｉｎｄｏｗ）」とマッチングされる。テンプレート窓およびターゲット窓は、通常、第１および第２の画像が互いにオーバーラップする共通エリアまたは「オーバーラップ領域（ｏｖｅｒｌａｐ ｒｅｇｉｏｎ）」を含む。
【0032】
本明細書で使用するとき、用語「タイル（ｔｉｌｅ）」は、全体画像または全体スライドの一部分に対応する単一画像を指す。幾つかの実施形態において、「タイル」は、全スライドスキャンの或る領域または（ｘ，ｙ）ピクセルディメンション（例えば、３００ピクセル×３００ピクセル）を有する関心エリアを指す。例えば、Ｍ列のタイルおよびＮ行のタイルに分割された全体画像を考える。ここで、Ｍ×Ｎモザイク内の各タイルは、全体画像の一部分を含む、すなわち、ロケーションＭ１、Ｎ１のタイルは、画像の第１の部分を含み、一方、ロケーションＭ３、Ｎ４のタイルは、画像の第２の部分を含み、第１の部分と第２の部分は異なる。幾つかの実施形態において、タイルはそれぞれ、同じディメンション（ピクセルサイズ×ピクセルサイズ）を有する。
【0033】
本明細書で使用するとき、用語「空白」は、組織は全く存在しないが、ガラスのみが存在する、スキャンされた顕微鏡スライドの領域を指す。これらのロケーションにおいて、スキャンされた画像は、ガラスに対応する領域において「白色（ｗｈｉｔｅ）」に見えることになる。実際には、ガラス領域についての輝度値は、スキャンのための白色点設定に対応することになる。例えば、白色点が２５０に設定される場合、ガラス領域は、２５０のピクセル輝度値を有することになる。
【0034】
概要
本開示は、隣接する画像タイル対の間の導出された空間的関係、例えば、ｘ方向とｙ方向の両方におけるタイルのオーバーラップおよびシフト（図９Ａおよび図９Ｂ参照）に基づいて画像を共にスティッチングする方法を対象とする。局所的レジストレーションソリューションに到達するとき、本開示は、隣接する画像タイル対の予想オーバーラップ領域内の全てのピクセルを比較する。空間的関係を、ランタイム時に損なうことなく計算できることを保証するために、本明細書で開示される方法は、多重解像度フレームワークを使用し、隣接する画像タイル対間で使用されるコスト関数は、その対の２つの画像間の予想共通領域のグレースケール表現の間の正規化相互相関スコアである。さらに、本明細書で開示される方法は、適切な瞬間が予め計算されるように積分画像をさらに利用し、それにより、正規化相互相関ピークは、減少した時間で見出すことができる。実際には、隣接するタイル画像間の全ての予想共通領域についての正規化相互相関スコアが、２つの画像の第１および第２の瞬間の予め計算された値を使用することによって「迅速に（ｑｕｉｃｋｌｙ）」計算され得ると出願人等は思う。最後に、空間的関係が導出されると、空間的関係および正規化相互相関スコア（すなわち、信頼値）は、大域的重み付き最小２乗ソルバーにおいて使用できるため、全てのタイルについての最良ロケーションが、決定され、同じグリッド上に設置され、特に、多くのデータを含まない領域において、スティッチングアーチファクトエラーの低減を可能にする。
本開示は、隣接する画像タイル対の間の導出された空間的関係、例えば、ｘ方向とｙ方向の両方におけるタイルのオーバーラップおよびシフト（図９Ａおよび図９Ｂ参照）に基づいて画像を共にスティッチングする方法を対象とする。局所的レジストレーションソリューションに到達するとき、本開示は、隣接する画像タイル対の予想オーバーラップ領域内の全てのピクセルを比較する。空間的関係を、ランタイム時に損なうことなく計算できることを保証するために、本明細書で開示される方法は、多重解像度フレームワークを使用し、隣接する画像タイル対間で使用されるコスト関数は、その対の２つの画像間の予想共通領域のグレースケール表現の間の正規化相互相関スコアである。さらに、本明細書で開示される方法は、適切な瞬間が予め計算されるように積分画像をさらに利用し、それにより、正規化相互相関ピークは、減少した時間で見出すことができる。実際には、隣接するタイル画像間の全ての予想共通領域についての正規化相互相関スコアが、２つの画像の第１および第２の瞬間の予め計算された値を使用することによって「迅速に（ｑｕｉｃｋｌｙ）」計算され得ると出願人等は思う。最後に、空間的関係が導出されると、空間的関係および正規化相互相関スコア（すなわち、信頼値）は、大域的重み付き最小２乗ソルバーにおいて使用できるため、全てのタイルについての最良ロケーションが、決定され、同じグリッド上に設置され、特に、多くのデータを含まない領域において、スティッチングアーチファクトエラーの低減を可能にする。
【0035】
本明細書で開示される幾つかの例示的な実施形態は、顕微鏡スライドスキャナーから採取される画像を共にスティッチングすることを参照するが、本明細書で述べるプロシージャが、より一般的に適合することができ、したがって、任意の供給源（例えば、デジタルカメラを含む任意の画像取得手段）からの画像を共にスティッチングするために適用することができることを当業者は理解するであろう。したがって、特定の実施形態は、試料担持顕微鏡スライドの、取得された画像タイルの文脈における或る値（例えば、画像タイルオーバーラップおよびシフト値、標準偏差値、正規化相互相関スコア）の計算を開示する場合があるが、本明細書で述べるプロシージャは、供給源によらず、任意のシリーズの画像タイルからこれらの値を計算するために使用される場合がある。さらに、幾つかの特定の例は、特定のプロセスに従ってスライドをスキャンする（例えば、画像タイルを、第１列を下に採取し、右にシフトする、画像タイルを、第２列を上に採取し、右にシフトする、など）特定の顕微鏡スライドスキャナーを参照する場合があるが、これらの特定の例は、単に例証のためであり、本開示を制限することを意図されない（例えば、反対方向にあるいはスキャニングの全く異なる方法またはパターンでスキャンするスキャナーが使用される場合があり、当業者は、本明細書で開示される技法を特定のタイプのスキャナーまたはそれらのオペレーションモードに適用できることになる）。
【0036】
デジタル病理学システム
試料を分析するためのコンピュータベース試料分析器１０が図１に示される。コンピュータベース試料分析器１０は、撮像装置１２（例えば、試料担持顕微鏡スライドをスキャンするための手段を有する装置）およびコンピュータ１４を備えることができ、それにより、撮像装置１２およびコンピュータは、（例えば、直接的にまたはネットワーク２０を通じて間接的に）通信可能に共に結合することができる。他のコンピュータデバイスまたはシステムを利用することができること、および、本明細書で述べるコンピュータシステムが、さらなるコンポーネント、例えば、試料分析器、顕微鏡、または撮像システム、自動化スライド調製機器などに通信可能に結合することができることを当業者は理解するであろう。これらのさらなるコンポーネントの一部および利用することができる種々のコンピュータは、本明細書でされに述べられる。
試料を分析するためのコンピュータベース試料分析器１０が図１に示される。コンピュータベース試料分析器１０は、撮像装置１２（例えば、試料担持顕微鏡スライドをスキャンするための手段を有する装置）およびコンピュータ１４を備えることができ、それにより、撮像装置１２およびコンピュータは、（例えば、直接的にまたはネットワーク２０を通じて間接的に）通信可能に共に結合することができる。他のコンピュータデバイスまたはシステムを利用することができること、および、本明細書で述べるコンピュータシステムが、さらなるコンポーネント、例えば、試料分析器、顕微鏡、または撮像システム、自動化スライド調製機器などに通信可能に結合することができることを当業者は理解するであろう。これらのさらなるコンポーネントの一部および利用することができる種々のコンピュータは、本明細書でされに述べられる。
【0037】
概して、撮像装置１２（または、メモリに記憶された予めスキャンされた画像を含む他の画像供給源）は、限定することなく、１つまたは複数の画像取得デバイスを含み得る。画像取得デバイスは、限定することなく、カメラ（例えば、アナログカメラ、デジタルカメラなど）、光学部品（例えば、１つまたは複数のレンズ、センサフォーカスレンズ群、顕微鏡対物レンズなど）、撮像センサ（例えば、電荷結合デバイス（ＣＣＤ：ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、相補的金属酸化物半導体（ＣＭＯＳ：ｃｏｍｐｌｉｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）画像センサ、または同様なもの）、写真フィルム、または同様なものを含み得る。デジタル実施形態において、画像取得デバイスは、オンザフライ・フォーカシング(ｏｎ－ｔｈｅ－ｆｌｙ ｆｏｃｕｓｉｎｇ)を示すために協働する複数のレンズを含み得る。画像センサ、例えば、ＣＣＤセンサは、試料のデジタル画像を取得し得る。幾つかの実施形態において、撮像装置１２は、明視野撮像システム、マルチスペクトル撮像（ＭＳＩ：ｍｕｌｔｉｓｐｅｃｔｒａｌ ｉｍａｇｉｎｇ）システム、または蛍光顕微システムである。デジタル化された組織データは、例えば、アリゾナ州ツーソン（Ｔｕｃｓｏｎ，Ａｒｉｚ．）のＶＥＮＴＡＮＡ ＭＥＤＩＣＡＬ ＳＹＳＴＥＭＳによるｉＳＣＡＮ ＣＯＲＥＯ（商標）または他の適した撮像機器によって生成することができる。さらなる撮像デバイスおよびシステムは、本明細書でさらに述べられる。
【0038】
図１および図２を参照すると、コンピュータシステム１４は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、または同様なもの、デジタル電子回路要素（ｃｉｒｃｕｉｔｒｙ）、ファームウェア、ハードウェア、メモリ２１０、コンピュータ記憶媒体２１０、コンピュータプログラム（例えば、プログラムはメモリまたは記憶媒体内に記憶される）、プロセッサ２２０（プログラム式プロセッサを含む）、および／または、同様なものを含み得る。図１に示すコンピューティングシステム１４は、ディスプレイデバイス１６およびエンクロージャ１８を有するコンピュータを備えることができる。コンピュータシステムは、（ローカルにサーバー上に、または、別のネットワーク接続されたデバイス上に）デジタル画像を２値形態で記憶し得る。デジタル画像は、ピクセルのマトリクスに同様に分割され得る。ピクセルは、ビット深度で規定される１つまたは複数のビットのデジタル値を含み得る。
【0039】
やはり図１を参照して、ネットワーク２０は、幾つかの実施形態において、撮像装置１２およびコンピュータシステム１４を相互接続する。ネットワーク２０は、限定することなく、１つまたは複数のゲートウェイ、ルーター、ブリッジ、その組み合わせ、または同様なものを含むことができる。ネットワーク２０は、ユーザーにとってアクセス可能であり、コンピュータシステム１４が利用し得る情報を送信し受信するために使用され得る、１つまたは複数のサーバーおよび１つまたは複数のウェブサイトを含むことができる。サーバーは、限定することなく、情報（例えば、デジタル画像、アルゴリズム、染色プロトコル、比較評価のためのカットオフ値、または同様なもの）を記憶するための１つまたは複数の関連するデータベースを含むことができる。ネットワーク２０は、伝送制御プロトコル（ＴＣＰ：Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）、ユーザーデータグラムプロトコル（ＵＤＰ：Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）、および他のデータプロトコルを使用するデータネットワークを含むことができるが、それに限定されない。幾つかの実施形態において、コンピュータデバイスまたはシステムは、ディスプレイ出力、または、ユーザー、オペレータ、あるいは下流の器具またはプロセスにデータ／出力を提供する他の手段をさらに備える。
【0040】
図２は、現在開示されているワークフロー内で利用される種々のモジュールの概要を提供する。幾つかの実施形態において、コンピュータデバイス１４またはコンピュータ実装式方法は、１つまたは複数のプロセッサ２２０および少なくとも１つのメモリ２１０を備え、少なくとも１つのメモリ２１０は、少なくとも１つのメモリ２１０は、１つまたは複数のモジュール（例えば、モジュール２１１～モジュール２１４）内の命令を１つまたは複数のプロセッサに実行させるために、１つまたは複数のプロセッサが実行するための非一時的コンピュータ可読命令を記憶する。代替的に、命令は、非一時的コンピュータ可読媒体２１０またはコンピュータ使用可能媒体に記憶することができる。幾つかの実施形態において、非一時的コンピュータ可読媒体は、一時的伝搬信号を除いて全てのコンピュータ可読媒体を備えることができる。
【0041】
図３を参照すると、本開示は、コンピュータ実装式方法を提供し、コンピュータ実装式方法は、画像採取および／または画像処理モジュールを実行するステップ（ステップ２５０）；採取された画像間の空間的関係を決定するために局所的レジストレーションモジュールを実行するステップ（ステップ２５１）；および、採取された画像を、決定された空間的関係を使用して互いに対して配置するために大域的配置モジュールを実行するステップ（ステップ２５２）を含む。幾つかの実施形態において、コンピュータ実装式方法は、配置データを使用して種々の画像をシームレスに組み合わせるために、画像スティッチングおよび／または画像ブレンディングモジュールを実行するステップをさらに含む。もちろん、各モジュール内で使用するために述べられる命令、アルゴリズム、およびフィルターの任意のものが、採取される画像のタイプ、使用される画像スキャナーのタイプ、スキャナーのオペレーションモード、および／または調査される試料のタイプに基づいて適合または変更することができることを当業者は認識するであろう。さらなるモジュールをワークフローに組み込むことができることを当業者は同様に理解するであろう。例えば、関心エリア検出モジュールは、顕微鏡スライド上に存在する関連する組織領域を決定するために使用することができる。
【0042】
図４は、現在開示されているワークフローの方法の全体的な概要を提供するフローチャートを述べる。概して、方法は、複数のスキャンされた画像、例えば、スキャンされた顕微鏡スライドに関する画像タイルを受信する（ステップ３００）こと；任意選択で、複数のグレースケール画像タイルを提供するために複数のスキャンされた画像タイルをグレースケールに変換する（ステップ３１０）こと；全ての隣接するグレースケール画像タイル対の間の空間的関係を決定する（ステップ３２０）こと；任意の２つの隣接するグレースケール画像タイル対の間のマッチングの信頼性に基づいて、決定された空間的関係を調整する（ステップ３３０）こと；および、相関スコア（本明細書で述べる）が重みとして利用される、重み付き最小２乗法を使用して、スキャンされたタイル画像を互いに対して配置することを含む。
【0043】
画像採取および／または処理モジュール
初期ステップとして、また、図３を参照して、コンピュータシステムは、（例えば、画像を取得するために）画像採取モジュール２０１および／または（例えば、画像を予め処理するために）画像処理モジュール１１を実行する（ステップ２５０）。採取されるとおよび／または処理されると、複数の画像は、局所的レジストレーションモジュール２１２に提供され、それにより、隣接する画像タイル対の間の空間的関係を導出することができる（ステップ３２０）。
初期ステップとして、また、図３を参照して、コンピュータシステムは、（例えば、画像を取得するために）画像採取モジュール２０１および／または（例えば、画像を予め処理するために）画像処理モジュール１１を実行する（ステップ２５０）。採取されるとおよび／または処理されると、複数の画像は、局所的レジストレーションモジュール２１２に提供され、それにより、隣接する画像タイル対の間の空間的関係を導出することができる（ステップ３２０）。
【0044】
幾つかの実施形態において、画像は、本明細書で述べるように、試料担持顕微鏡スライドの画像データを取得することが可能な顕微鏡または他の器具から採取される。幾つかの実施形態において、画像は、画像タイルをスキャンすることが可能なスキャナーなどの２Ｄスキャナーを使用して採取される。幾つかの実施形態において、特定の焦点距離または拡大率で連続する「スナップショット（ｓｎａｐｓｈｏｔ）」の取得を概して可能にするスキャナーが使用される。
【0045】
顕微鏡スライド画像タイル
幾つかの実施形態において、複数の受信された画像は、試料担持顕微鏡スライド上の少なくとも関心領域の異なる部分に対応する一連の画像タイルである。幾つかの実施形態において、オーバーラップは、各画像タイル対の間、例えば、水平画像タイル対の間または垂直画像タイル対の間に存在する。画像スティッチングがよりよく促進され、試料担持顕微鏡スライドのどの領域も見落とされないように、画像間に少なくともある程度のオーバーラップを設けることが望ましい（図５Ａ参照）。成功裏のスティッチングのために必要とされるまたは推奨されるオーバーラップの量は、隣接する画像タイル対の間のオーバーラップ領域内で選択されるテンプレート内などで、マッチング領域および／またはピクセルの種々の数学的属性を比較するために、本明細書で開示する方法についての任意のオーバーラップ領域内のマッチングピクセルの間で変動する。
幾つかの実施形態において、複数の受信された画像は、試料担持顕微鏡スライド上の少なくとも関心領域の異なる部分に対応する一連の画像タイルである。幾つかの実施形態において、オーバーラップは、各画像タイル対の間、例えば、水平画像タイル対の間または垂直画像タイル対の間に存在する。画像スティッチングがよりよく促進され、試料担持顕微鏡スライドのどの領域も見落とされないように、画像間に少なくともある程度のオーバーラップを設けることが望ましい（図５Ａ参照）。成功裏のスティッチングのために必要とされるまたは推奨されるオーバーラップの量は、隣接する画像タイル対の間のオーバーラップ領域内で選択されるテンプレート内などで、マッチング領域および／またはピクセルの種々の数学的属性を比較するために、本明細書で開示する方法についての任意のオーバーラップ領域内のマッチングピクセルの間で変動する。
【0046】
概して、「タイル張り画像（ｔｉｌｅｄ ｉｍａｇｅ）」アーキテクチャーによって顕微鏡スライド全体をスキャンするために（図５Ａ参照）、スライドは、ＸおよびＹにおいて並進され（焦点軸はＺにある）、画像が採取される間、各フレームロケーションで一時停止する。
【0047】
本明細書で述べるワークフローについての入力として提供される特定のオペレーションモードまたは画像タイルのタイプに限定されることなく、幾つかの実施形態において、試料担持顕微鏡スライドのスキャニングは、タイルごとに起こり、スキャンは、列ごとに行われ、タイルがアクセスされる方向は１列ごとに反転される。こうして、図５Ｂの４×４（Ｍ×Ｎ）タイルを参照すると、第１の列の場合、タイルは下方向に採取される。図５Ｂは、第１の列内のタイルの間に、トップ・ボトムフレーム対の間で垂直オーバーラップおよび水平シフトが存在することを示す。垂直オーバーラップが、スキャニング中にどの領域も見落とされないことを保証することを当業者は理解するであろう。第１の列のタイルの全てが完全に整列しているわけではなく、第１の列のタイルの間で、ｘ軸に沿ってそれら自身に対するシフト（例えば、トップ・ボトムタイル対の間のｘ－ｙシフト（例えば、このシフトは約２０ミクロン～約３０ミクロンである場合があるが、この量は変動する場合がある））が存在することを当業者は同様に理解するであろう。いかなる特定の理論に束縛されるものではないが、機械的器具の移動の一般的な性質および／またはモーターの振動を含む種々の因子によってこれが引起される場合があると思われる。
【0048】
第１の列（４つのタイル）が取得されると、モーターは、その後、第２の列内のタイルが採取されるようにスライドを上に移動させる。図５Ｂは、トプ・ボトムタイル対の間にオーバーラップが存在することをやはり示す。隣接する列内にあるが同じ水平行内のタイル間の左右オーバーラップが同様に存在する場合がある。いかなる特定の理論に束縛されるものではないが、タイル間のｙ軸に沿うシフトが、幾つかのスキャナーを制御するモーターの一定速度の変化によって同じ行内でかつ隣接する列の間で存在する場合があると思われる。どの領域も見落とさないことを保証するため、少なくとも或るオーバーラップ（水平に）は、隣接する列内の同じ行に属するタイル間で意図的に採取される。幾つかの実施形態において、隣接する列内にあるが同じ行に属するタイル間のｙシフトは、約５００ミクロン～約７００ミクロンのオーダーである。幾つかの実施形態において、このｙシフトは、トップ・ボトムタイル対が単一列のスキャニング中に考慮されるとき、ｘシフトより重要である。
【0049】
幾つかの実施形態において、全スライドスキャンの組織試料の関心エリア（ＡＯＩ：ａｒｅａ ｏｆ ｉｎｔｅｒｅｓｔ）は、当業者に知られているように、コンピュータシステム上でＡＯＩモジュールを実行することによって最初に見出される。ＡＯＩ検出モジュールは、幾つかの実施形態において、確率マップであって、各ピクセルが、ガラスと比較してどれくらい確かに組織に属するかを示す、確率マップを返送する。ＡＯＩを決定するさらなる方法は、同時係属中の出願、国際公開第２０１６／１２０４６３号に記載され、その開示は、参照によりその全体を本明細書に組み込まれる。
【0050】
グレースケールへの変換
幾つかの実施形態において、複数の受信された画像は、グレースケールに変換されて、複数のグレースケール画像タイルを提供する（ステップ３１０）。幾つかの実施形態において、その方法は、ＲＧＢカラー画像からグレースケール画像を抽出することであり、そうする技法は、当業者に知られている。幾つかの実施形態において、ルミナンス（明るさ）チャネルが利用される（そして、クロミナンス（カラー）チャネルは利用されない、なぜならば、２つの隣接する画像領域が比較されるとき、カラーチャネル間においてよりも、ルミナンスチャネル間により多くの対応が存在することが予想されることになるからである）。
幾つかの実施形態において、複数の受信された画像は、グレースケールに変換されて、複数のグレースケール画像タイルを提供する（ステップ３１０）。幾つかの実施形態において、その方法は、ＲＧＢカラー画像からグレースケール画像を抽出することであり、そうする技法は、当業者に知られている。幾つかの実施形態において、ルミナンス（明るさ）チャネルが利用される（そして、クロミナンス（カラー）チャネルは利用されない、なぜならば、２つの隣接する画像領域が比較されるとき、カラーチャネル間においてよりも、ルミナンスチャネル間により多くの対応が存在することが予想されることになるからである）。
【0051】
代替の実施形態において、グレースケール画像の代わりに、ＬＡＢカラー空間内のルミナンスチャネルまたはＹＣｂＣｒ空間内のＹチャネルのような同様のチャネルを利用することができる。
【0052】
局所的レジストレーションモジュール
概して、局所的レジストレーションモジュール２１２は、隣接する画像タイル対間の、すなわち、全ての水平画像タイル対間および全ての垂直画像タイル対間の、空間的関係、変位、または幾何学的形成を推定する（ステップ３２０）ために使用される。幾つかの実施形態において、局所的レジストレーションモジュール２１２は、２つの隣接する画像タイル間の最良マッチング領域であって、第１の方向にオーバーラップおよび第１の方向に垂直な第２の方向にシフトが存在する。最良マッチング領域を見出すために使用される。幾つかの実施形態において、局所的レジストレーションモジュール２１２は、隣接する画像タイル対間の空間的関係（例えば、タイルオーバーラップおよびタイルシフトの値）、隣接する画像タイル対間の考えられる最良マッチングについての正規化相互相関スコア、および、隣接する画像タイル対間のマッチング領域について計算される標準偏差スコアを出力する。
概して、局所的レジストレーションモジュール２１２は、隣接する画像タイル対間の、すなわち、全ての水平画像タイル対間および全ての垂直画像タイル対間の、空間的関係、変位、または幾何学的形成を推定する（ステップ３２０）ために使用される。幾つかの実施形態において、局所的レジストレーションモジュール２１２は、２つの隣接する画像タイル間の最良マッチング領域であって、第１の方向にオーバーラップおよび第１の方向に垂直な第２の方向にシフトが存在する。最良マッチング領域を見出すために使用される。幾つかの実施形態において、局所的レジストレーションモジュール２１２は、隣接する画像タイル対間の空間的関係（例えば、タイルオーバーラップおよびタイルシフトの値）、隣接する画像タイル対間の考えられる最良マッチングについての正規化相互相関スコア、および、隣接する画像タイル対間のマッチング領域について計算される標準偏差スコアを出力する。
【0053】
幾つかの実施形態において、局所的レジストレーションモジュール２１２は、隣接する画像タイル対の第１の画像の予想オーバーラップ領域内の全てのピクセルを利用し、そのピクセルを、同じ隣接する画像タイル対の第２の画像の対応する予想オーバーラップ領域内の全てのピクセルとマッチングさせる。「完全検索」が、非常に類似する領域間の、すなわち、隣接する画像タイル対の予想オーバーラップ領域間の微妙な差を検出するのを助け得ると本出願人等は考える。
【0054】
単純な実装態様において、隣接する画像の第１の画像と第２の画像との間の考えられる全てのオーバーラップ領域を考えることができる。簡単なマッチング法は、第１の画像と第２の画像の両方についてグレースケース画像表現を考え、同じサイズの２つのグレースケール画像間の、ピクセルごとの平均絶対輝度差を計算することであり得る。しかしながら、そのような方法は、しばしば、高い計算コストがかかる。したがって、本明細書でさらに述べるように、多重解像度フレームワーク内で正規化相互相関（ＮＣＣ）を使用して空間的関係を計算することによって、第１および第２の隣接する画像タイルの間のオーバーラップ領域内で考えられる全てのマッチングピクセルを依然として考慮しながら、計算コストが低減され得ることを出願人等は意外にも発見した。さらに、積分画像の利用によって計算コストがさらに低減され得ることを出願人等は発見した。積分画像の利用の実装形態は本明細書で同様に述べられる。
【0055】
幾つかの実施形態において、局所的レジストレーションモジュールは、図９Ａに示すように、水平タイル対の間のオーバーラップおよびシフトの決定を可能にする。ここで、オーバーラップ＝ｄｘ（ｘ軸に沿う）であり、シフト＝ｄｙ（ｙ軸に沿う）である。幾つかの実施形態において、局所的レジストレーションモジュールは、垂直タイル対の間のオーバーラップおよびシフトの決定を可能にする。ここで、オーバーラップ＝ｄｙ（ｙ軸に沿う）であり、シフト＝ｄｘ（ｘ軸に沿う）である。したがって、局所的レジストレーションモジュールのタスクは、全てのＭ（Ｎ－１）の水平画像タイル対についての（ｄｘ，ｄｙ）および全てのＮ（Ｍ－１）の垂直画像タイル対についての（ｄｘ，ｄｙ）を計算することである。本明細書で述べるＮＣＣは、全ての（ｄｘ，ｄｙ）関係を計算するために使用され得る。本明細書の例１および例２は、左右画像タイル対間およびトップ・ボトム画像タイル対間の空間的関係を決定するさらなる方法を示す。
【0056】
正規化相互相関を計算するための多重解像度フレームワーク
幾つかの実施形態において、正規化相互相関（ＮＣＣ）は、隣接する画像タイルのオーバーラップ領域を比較するために使用される。正規化相互相関は、画像のマッチング部分を必要とし、したがって、２つのオブジェクト間の類似度（ここでは、隣接するグレースケール画像タイル対のオーバーラップ領域に対応する画像内のマッチングしたピクセル）を確立する多くの用途で広く使用される技法である。
幾つかの実施形態において、正規化相互相関（ＮＣＣ）は、隣接する画像タイルのオーバーラップ領域を比較するために使用される。正規化相互相関は、画像のマッチング部分を必要とし、したがって、２つのオブジェクト間の類似度（ここでは、隣接するグレースケール画像タイル対のオーバーラップ領域に対応する画像内のマッチングしたピクセル）を確立する多くの用途で広く使用される技法である。
【0057】
より具体的には、正規化相互相関は、画像内のパターンまたはオブジェクトの発生を見出すために使用されるプロセスである。これは、通常、ミーン(ｍｅａｎ)を引き、標準偏差で割ることによって、全てのステップで行われるため、結果は、ゼロミーンおよび単位変動を有する。ＮＣＣのピークを見出すために、１つの画像内の或るブロックが、指定された範囲にわたってシフトされ、ＮＣＣは、各シフトについて決定される。すなわち、テンプレート、部分画像ｆ（ｘ，ｙ）を有するｔ（ｘ，ｙ）の相互相関は、
である。ここで、ｎはｔ（ｘ，ｙ）およびｆ（ｘ，ｙ）内のピクセルの数であり、
はｆの平均であり、σｆはｆの標準偏差である。関数解析学用語において、これは、２つの正規化ベクトルのドット積(ｄｏｔ ｐｒｏｄｕｃｔ)と考えられ得る。すなわち、
Ｆ（ｘ，ｙ）＝ｆ（ｘ，ｙ）－ｆ および Ｔ（ｘ，ｙ）＝ｔ（ｘ，ｙ）－ｔ
である場合、上記合計は、
に等しい。ここで、＜・，・＞は内積であり、||・||はＬ２ノルムである。そのため、ｆおよびｔが実行列である場合、それらの正規化相互相関は、単位ベクトルＦとＴとの間の角度のコサインに等しく、したがって、Ｆが、正のスカラーで乗算されたＴに等しい場合でその場合にのみ１である。
Ｆ（ｘ，ｙ）＝ｆ（ｘ，ｙ）－ｆ および Ｔ（ｘ，ｙ）＝ｔ（ｘ，ｙ）－ｔ
である場合、上記合計は、
【0058】
図６は、正規化相互相関から生じる表面プロットの斜視図を示す。相互相関行列のピーク６００が、部分画像が最良に相関する場所で起こることを当業者は理解するであろう。
【0059】
多重解像度アプローチは、局所的レジストレーション（ステップ２１０）の頑健性および効率を改善するために適用され得る。実際には、また、図８を参照すると、局所的レジストレーションプロシージャは、（ＮＣＣスコアに基づいて）隣接する画像タイルの予想オーバーラップ領域のマッチングされた領域を位置特定するために、「おおまかな推定量（ｃｏｕｒｓｅ ｅｓｔｉｍａｔｅ）」として低解像度特徴を使用し（ステップ４４０およびステップ４４１）、その後、おおまかな推定量を「微調整する（ｆｉｎｅ ｔｕｎｅ）」または「洗練する」ために、高解像度特徴を使用し得る（ステップ４４２およびステップ４４３）。例えば、８の係数でダウンサンプリングされた第１および第２の隣接するタイル画像が考えられると仮定する（ステップ４４０）。その後、（８のダウンサンプリング係数で得られる（ｘ，ｙ）シフトに基づいて）予想される最良にマッチングする画像領域を有するテンプレート画像が考えられ（ステップ４４１）、その後、４のダウンサンプリング係数でこれらの領域が共に考えられる（ステップ４４２）。次に、（４のダウンサンプリング係数で得られる（ｘ，ｙ）シフトに基づいて）予想される最良にマッチングする画像領域を有するテンプレート画像が考えられ、その後、２のダウンサンプリング係数でこれらの領域が共に考えられる（ステップ４４３）。このプロセスは、フル解像度、すなわち、第１および第２の画像のオリジナル解像度で得られる（ｘ，ｙ）シフトで終わるまで繰返される。適した多重解像度アプローチは、Ｍ．Ｕｎｓｅｒ、Ａ．Ａｌｄｒｏｕｂｉ、およびＭ． Ｅｄｅｎ「Ｔｈｅ Ｌ２－ｐｏｌｙｎｏｍｉａｌ ｓｐｌｉｎｅ ｐｙｒａｍｉｄ」ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌ． Ｍａｃｈ． Ｉｎｔｅｌｌ．１５、３６４－３７９ １９９３によってさらに記載され、その開示は、参照によりその全体を本明細書に組み込まれる。
【0060】
幾つかの実施形態において、局所的レジストレーションは、低解像度サブサンプリング画像を使用して最初に実施することができ、それにより、低解像度サブサンプリング画像内の全てのピークについてのＮＣＣスコアが決定され得る（ステップ４４０）。幾つかの実施形態において、第１および第２の低解像度サブサンプリング画像内の全てのピークのロケーションは、ＮＣＣドメイン内にあると考えられる（ステップ４４１）。低解像度サブサンプリング画像内で、正確なピークロケーションを計算することができず、したがって、多重解像度フレームワーク内のＮＣＣスコアの計算が進行するにつれて、複数のロケーションが保持され洗練されることを当業者は理解するであろう（ステップ４４１、ステップ４４２、およびステップ４４３）。ここで、隣接するグレースケール画像タイル対のオーバーラップ領域に対応する第１および第２の低解像度サブサンプリング画像は、所定のダウンサンプリング係数によってオリジナル解像度からダウンサンプリングされる。
【0061】
低解像度サブサンプリング画像が任意のダウンサンプリング係数によってオリジナル解像度からダウンサンプリングされる場合があることを当業者は理解するであろう。幾つかの実施形態において、低解像度サブサンプリング画像は少なくとも８の係数によってダウンサンプリングされる。他の実施形態において、低解像度サブサンプリング画像は少なくとも１６の係数によってダウンサンプリングされる。さらに他の実施形態において、低解像度サブサンプリング画像は少なくとも３２の係数によってダウンサンプリングされる。さらなる実施形態において、低解像度サブサンプリング画像は６から４８に及ぶ係数によってダウンサンプリングされる。
【0062】
幾つかの実施形態において、或る予め規定された閾値を満たすピークのロケーションは、さらなる評価のために保持される、すなわち、ロケーション洗練のために保持される。幾つかの実施形態において、予め規定された閾値は所定のＮＣＣスコア閾値である場合がある。他の実施形態において、予め規定された閾値は、返送された全ての画像スコアを考慮してトップＮＣＣスコアの予め規定されたパーセンテージである場合がある。例えば、それらのピークについてのＮＣＣスコアがトップＮＣＣスコアの１０％以内にあるピークのロケーションのみが保持される場合がある。
【0063】
予め規定された閾値を満たすピークなどのピークのロケーションは、その後、次のより高い解像度で考えられ、それにより、ピークのロケーションは、その解像度で洗練することができる、例えば、ピークのロケーションは、ｘ、ｙ空間内で＋／－１ピクセルによって洗練することができる。例えば、第１および第２の低解像度サブサンプリング画像が８の係数でダウンサンプリングされた場合、次のより高い解像度サブサンプリング画像は、オリジナル画像と比較して４の係数でダウンサンプリングすることができる（ステップ４４２）。このプロセスは、その後、次のより高い解像度、例えば、２の係数でのダウンサンプリングに順次伝播され、ついには、ＮＣＣスコアは、１というダウンサンプリング係数で考えられる、すなわち、オリジナル解像度で考えられる（ステップ４４３およびステップ４４４）。
【0064】
最終ピークロケーションは、１というダウンサンプリング係数で最大ＮＣＣスコアを生成するピークによって与えられる（ステップ４４４）。この段階で、オーバーラップ領域間の標準偏差が記録される。左画像内の最も右の５０列および右画像内の最も左の５０列がオーバーラップする左右タイル対があると仮定する。その後、左画像内の最も右の５０列について、また同様に、右画像内の最も左の５０列について標準偏差が計算される。これらの２つの量の最小を、２の窓についての標準偏差と見なすことができる。
【0065】
第１の例として、所与の解像度（例えば、８の係数でのダウンサンプリング）のマッチングが複数のピークをもたらすことが仮定され、（正規化相互相関スコアを考慮して）トップピークの少なくとも９０％のスコアを有する全てのピークが考えられる。１０のピークが、１／８ダウンスケーリングを使用して位置特定されると仮定する。ＮＣＣスコアは、その後、１／４ダウンスケーリングを使用して全ての１０のピークについて考えられる（各ピークの周りの３×３窓が考えられる）。ＮＣＣスコアは、その後、１／２ダウンスケーリングを使用して（やはり、各ピークの周りの３×３窓を考える）、またやはり、１のスケール係数を使用して全ての１０のピークについて考えられる。各マッチング領域について、相関スコア、また同様に、２つのマッチング領域内の最小標準偏差が記録される。最終レジストレーションソリューションは、オリジナル解像度におけるＮＣＣスコアを考えながら、一番トップの相関ピークによって与えられる。本明細書でより詳細に述べるように、標準偏差スコアは、マッチングが、信頼性がないときを示すため有用である。
【0066】
別の例によれば、隣接するグレースケール画像タイル対のオーバーラップ領域に対応する第１および第２の低解像度サブサンプリング画像が得られ、第１および第２の低解像度サブサンプリング画像は、８のダウンサンプリング係数でダウンサンプリングされた。マッチングピークのロケーションが、この解像度で（２１，３０）＝（ｄｘ，ｄｙ）において見出されたと仮定する。この例のために、サブサンプリング画像の各セット内の単一ピークのみが考えられるが、複数のピークが、上記例で述べたように、サブサンプリング画像の各セット内で見出される場合があることを当業者は理解するであろう。
【0067】
（２１，３０）で見出されるピークのロケーションは、その後、一連の順次解像度が高くなるサブサンプリング画像を使用して洗練することができる。例えば、次のより高い解像度、すなわち、オリジナル解像度画像と比較すると４のダウンサンプリング係数での（２１，３０）のピークを考えると、ピークは、（２１＊２，３０＊２）ポイントの周りの３×３窓内でＮＣＣスコアを考慮した後、（（２１＊２＋／－１），（３０＊２））に存在することができる。この例のために、ピークは、ＮＣＣスコアを考慮した後、（４１，６１）に位置特定されたと仮定する。
【0068】
（４１，６１）のピークは、その後、次のより高い解像度サブサンプリング画像、すなわち、オリジナル解像度画像と比較すると２のダウンサンプリング係数でダウンサンプリングされた画像において考えられる。このピークは、その後、（４１＊２，６１＊２）ポイントの周りの３×３窓内でＮＣＣスコアを考慮した後、（（４１＊２＋／－１），（６１＊２））で位置特定することができる。この例のために、ピークは、ＮＣＣスコアを考慮した後、（８３，１２１）に位置特定されたと仮定する。
【0069】
（８３，１２１）のピークは、その後、次のより高い解像度サブサンプリング画像、すなわち、オリジナル解像度画像と比較すると１というダウンサンプリング係数でダウンサンプリングされた画像において考えられる。このピークは、その後、（８３＊２，１２１＊２）ポイントの周りの３×３窓内でＮＣＣスコアを考慮した後、（（８３＊２＋／－１），（１２１＊２））に位置特定することができる。この例のために、ピークは、ＮＣＣスコアを考慮した後、（１６７，２４３）に位置特定されたと仮定する。（１６７，２４３）のこのロケーションは、保持される空間ロケーションであることができる（やはり、このロケーションが、考えられる全てのロケーションの最も高いＮＣＣスコアを返送したと思われると仮定する）。
【0070】
積分画像
幾つかの実施形態において、ＮＣＣスコアは積分画像を使用して計算される。幾つかの実施形態において、計算複雑度を低減するために、２つの隣接する画像のオーバーラップ領域間のＮＣＣスコアは、積分画像を使用して計算することができ、それにより、任意の計算コストまたは複雑度は少なくとも部分的に低減される。
幾つかの実施形態において、ＮＣＣスコアは積分画像を使用して計算される。幾つかの実施形態において、計算複雑度を低減するために、２つの隣接する画像のオーバーラップ領域間のＮＣＣスコアは、積分画像を使用して計算することができ、それにより、任意の計算コストまたは複雑度は少なくとも部分的に低減される。
【0071】
「合計エリアテーブル（ｓｕｍｍｅｄ ａｒｅａ ｔａｂｌｅ）」としても知られる積分画像は、グリッドの長方形サブセット内の他の総合計を迅速かつ効率的に生成するためのデータ構造およびアルゴリズムである。概して、積分画像は、原点として役立つトップ左ポイントおよびボトム左ポイントによって形成される長方形の面積を計算するために使用される。より具体的には、積分画像は、画像についての中間表現であり、画像のグレースケールピクセル値の合計を含む。したがって、合計エリアテーブル内の任意のポイント（ｘ，ｙ）の値は、（ｘ，ｙ）を含んでその上でかつ（ｘ，ｙ）を含んでその左の全てのピクセルの合計である。図７Ａを参照すると、（ｘ，ｙ）のピクセル値は、点線ブロックエリアに対応するピクセルの総合計（ｔｏｔａｌ ｓｕｍ）を示す。したがって、Ｉｉｎｔｇ（０，０）は座標（０，０）のピクセル値を示し、Ｉｉｎｔｇ（幅－１，高さ－１）は、所与の画像の全てのピクセルの総合計を示す。
【0072】
そのような積分画像を通して、そのエリアの４つの頂点に対応するピクセル値の合計および引き算を使用することによって、要求されるエリア内のピクセルの総合計を得ることが可能である。例えば、図７Ｂの点線ブロックエリアに対応するピクセルの総合計（ｔｏｔａｌ ｓｕｍ）は、以下で規定する式を通して４つの頂点（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、および（ｘ４，ｙ４）のピクセル値を使用することによって得られ得る。
Ｉｉｎｔｇ（ｘ４，ｙ４）＋Ｉｉｎｔｇ（ｘ１，ｙ１）－Ｉｉｎｔｇ（ｘ２，ｙ２）－Ｉｉｎｔｇ（ｘ３，ｙ３）
Ｉｉｎｔｇ（ｘ４，ｙ４）＋Ｉｉｎｔｇ（ｘ１，ｙ１）－Ｉｉｎｔｇ（ｘ２，ｙ２）－Ｉｉｎｔｇ（ｘ３，ｙ３）
【0073】
２つの画像窓ＸおよびＹがあり、両者の間の正規化相互相関ＮＣＣ（Ｘ，Ｙ）が計算される、と仮定する。
【0074】
ＮＣＣ（Ｘ，Ｙ）＝｛Ｄｏｔ（Ｘ，Ｙ）－ｓｕｍ（Ｘ）．ｓｕｍ（Ｙ）／Ｎ｝／｛ｓｑｒｔ（ｓｕｍ（Ｘ２)／Ｎ－（ｓｕｍ（Ｘ）／Ｎ）２）．ｓｑｒｔ（ｓｕｍ（Ｙ２）／Ｎ－（ｓｕｍ（Ｙ）／Ｎ）２）｝であることが示される。
【0075】
ここで、Ｄｏｔ（Ｘ，Ｙ）は、２つの画像行列ＸとＹとの間の内積であり、Ｘ２およびＹ２は、ＸおよびＹ内の各ピクセルを２乗した後に得られる画像である。
【0076】
そのため、第１および第２の瞬間が、考えられる全てのオーバーラップ画像位置について利用可能である場合、任意の部分窓内のミーンおよび標準偏差が効率的に計算されるように、（画像および２乗画像を使用して）積分画像が計算され得る。
【0077】
１００×１００画像（Ｘ）がある、と仮定する。（１１，１１）から（９０，９０）まで、画像部分窓Ｘ’にわたって画像および２乗画像の合計を計算することが必要とされる、と仮定する。今や、Ｘ’内の全てのピクセルを合計する代わりに、積分画像Ｉ１が計算される：
Ｉ１（ｘ，ｙ）＝ｓｕｍ｛１＜＝ｉ＜＝ｘ，１＜＝ｊ＜＝ｙ｝Ｘ（ｉ，ｊ）
Ｉ１（ｘ，ｙ）＝ｓｕｍ｛１＜＝ｉ＜＝ｘ，１＜＝ｊ＜＝ｙ｝Ｘ（ｉ，ｊ）
【0078】
第１の瞬間に基づく積分画像が計算されると、Ｘの部分窓にわたる合計を計算するために、以下の式が使用される：
ｓｕｍ ｏｆ Ｘ（ｉ，ｊ）｛ｘ１＜＝ｉ＜＝ｘ２，ｙ１＜＝ｊ＜＝ｙ２｝＝Ｉ１（ｘ２，ｙ２）－Ｉ１（ｘ１－１，ｙ１－１）
ｓｕｍ ｏｆ Ｘ（ｉ，ｊ）｛ｘ１＜＝ｉ＜＝ｘ２，ｙ１＜＝ｊ＜＝ｙ２｝＝Ｉ１（ｘ２，ｙ２）－Ｉ１（ｘ１－１，ｙ１－１）
【0079】
同様に、画像部分窓にわたる画像ピクセルの２乗の合計を計算するために、積分画像Ｉ２が計算される：
Ｉ２（ｘ，ｙ）＝ｓｕｍ｛１＜＝ｉ＜＝ｘ，１＜＝ｊ＜＝ｙ｝Ｘ２（ｉ，ｊ）（ここで、Ｘ２（ｉ，ｊ）＝Ｘ（ｉ，ｊ）＊Ｘ（ｉ，ｊ））
Ｉ２（ｘ，ｙ）＝ｓｕｍ｛１＜＝ｉ＜＝ｘ，１＜＝ｊ＜＝ｙ｝Ｘ２（ｉ，ｊ）（ここで、Ｘ２（ｉ，ｊ）＝Ｘ（ｉ，ｊ）＊Ｘ（ｉ，ｊ））
【0080】
第２の瞬間に基づく積分画像が計算されると、Ｘ２の部分窓にわたる合計を計算するために、以下の式が使用される：
ｓｕｍ ｏｆ Ｘ２（ｉ，ｊ）｛ｘ１＜＝ｉ＜＝ｘ２，ｙ１＜＝ｊ＜＝ｙ２｝＝Ｉ２（ｘ２，ｙ２）－Ｉ２（ｘ１－１，ｙ１－１）
ｓｕｍ ｏｆ Ｘ２（ｉ，ｊ）｛ｘ１＜＝ｉ＜＝ｘ２，ｙ１＜＝ｊ＜＝ｙ２｝＝Ｉ２（ｘ２，ｙ２）－Ｉ２（ｘ１－１，ｙ１－１）
【0081】
そのため、（検討中の両方の画像について）積分画像Ｉ１およびＩ２が計算されると、ＮＣＣ（Ｘ，Ｙ）を得るために計算することが必要とされる唯一の量は：
Ｄｏｔ（Ｘ，Ｙ）＝ｓｕｍ｛１＜＝ｉ＜＝Ｍ１，１＜＝ｊ＜＝ Ｎ１｝Ｘ（ｉ，ｊ）＊Ｙ（ｉ，ｊ）
であり、ここで、ＸおよびＹは共にＭ１ｘＮ１画像である。
Ｄｏｔ（Ｘ，Ｙ）＝ｓｕｍ｛１＜＝ｉ＜＝Ｍ１，１＜＝ｊ＜＝ Ｎ１｝Ｘ（ｉ，ｊ）＊Ｙ（ｉ，ｊ）
であり、ここで、ＸおよびＹは共にＭ１ｘＮ１画像である。
【0082】
大域的配置モジュール
全ての隣接するグレースケール画像タイル対の間の空間的関係が、局所的レジストレーションモジュール２１２によって決定される（ステップ３２０）と、大域的配置モジュール２１３は、スキャンされたタイル画像を互いに対して配置する（ステップ３４０）ために使用される。幾つかの実施形態において、大域的配置は、正則化器(ｒｅｇｕｌａｒｉｚｅｒ)として働き、局所的レジストレーションが、（例えば、空白マッチングに対して空白が存在する領域において）失敗したか、または、成功するのに不十分なデータを有した場合を補償する。
全ての隣接するグレースケール画像タイル対の間の空間的関係が、局所的レジストレーションモジュール２１２によって決定される（ステップ３２０）と、大域的配置モジュール２１３は、スキャンされたタイル画像を互いに対して配置する（ステップ３４０）ために使用される。幾つかの実施形態において、大域的配置は、正則化器(ｒｅｇｕｌａｒｉｚｅｒ)として働き、局所的レジストレーションが、（例えば、空白マッチングに対して空白が存在する領域において）失敗したか、または、成功するのに不十分なデータを有した場合を補償する。
【0083】
空間的関係の調整
幾つかの実施形態において、また、画像タイルを設置する前に、決定された空間的関係が調整される（ステップ３３０）。幾つかの実施形態において、空間的関係は、任意の２つの隣接するグレースケール画像タイル対の間のマッチングの信頼性に基づいて調整される。ここで、用語「信頼性（ｒｅｌｉａｂｉｌｉｔｙ）」は、任意の所与の領域内でマッチングする少数のピクセルが存在する場合がある、または、その領域が十分に高いコントラストを持たない、すなわち、低コントラストである場合があることを指す。幾つかの実施形態において、任意の２つの隣接するグレースケール画像タイル対の間の空間的関係が、信頼性があると考えられるか否かの判定は、２つの隣接するグレースケール画像タイル対におけるマッチング領域から標準偏差値を導出すること、および、その標準偏差値を標準偏差閾値と比較することを含む。
幾つかの実施形態において、また、画像タイルを設置する前に、決定された空間的関係が調整される（ステップ３３０）。幾つかの実施形態において、空間的関係は、任意の２つの隣接するグレースケール画像タイル対の間のマッチングの信頼性に基づいて調整される。ここで、用語「信頼性（ｒｅｌｉａｂｉｌｉｔｙ）」は、任意の所与の領域内でマッチングする少数のピクセルが存在する場合がある、または、その領域が十分に高いコントラストを持たない、すなわち、低コントラストである場合があることを指す。幾つかの実施形態において、任意の２つの隣接するグレースケール画像タイル対の間の空間的関係が、信頼性があると考えられるか否かの判定は、２つの隣接するグレースケール画像タイル対におけるマッチング領域から標準偏差値を導出すること、および、その標準偏差値を標準偏差閾値と比較することを含む。
【0084】
試料担持顕微鏡スライドのスキャンの文脈で、信頼性がないマッチングは、空白を含むエリアの間で、すなわち、組織は全く存在しないが、ガラスのみが存在する領域において起こる場合があり、スキャンされた画像は、基材に対応する領域において白く見えることになる。本明細書で述べるように、これらの事例において、基材領域についての輝度値は、スキャンについて白色点設定に対応することになる。例えば、白色点が２５０に設定される場合、基材領域は、２５０のピクセル輝度値を有することになる。空白領域がほぼ同じ輝度値を有するため、空白についての標準偏差が低いことを当業者は認識することになるであろう。一方、予想マッチング領域が内容物（組織スライドの場合の組織など）を有するとき、標準偏差が比較的高いことになることが期待されることになる。
【0085】
本明細書で述べるように、隣接するグレースケール画像タイル対の間の空間的関係は、タイルオーバーラップおよびタイルシフトを含むことができる。幾つかの実施形態において、調整は、信頼性がないと見なされるグレースケール画像タイル対について、それぞれ、決定されたタイルオーバーラップおよびシフト値の代わりに、平均（ａｖｅｒａｇｅ）オーバーラップ値または平均オーバーラップシフト値を割り当てることであることができる。他の実施形態において、調整は、信頼性がないと見なされるグレースケール画像タイル対に対するより低い信頼スコアの割り当てであることができる。
【0086】
本明細書で述べるプロシージャに従って顕微鏡スライドをスキャンする文脈で、また、図５Ｂに示すように、ボトム・トップタイル対間のオーバーラップは、スキャナーの自然な移動が上下に列方向であるため、しばしば重要である。一方、左右タイル対が考えられるとき、同じ行内のタイル間のｘオーバーラップは、２つの連続する列についてのガラススライドの相対的移動に応じて重要でない場合がある。これを考慮すると、幾つかの実施形態において、標準偏差とＮＣＣベーススコアは共に、左右マッチングが有効であるときを検出するために使用される。例えば、予想マッチング領域が主に非空白である有効マッチングの場合、標準偏差およびＮＣＣスコアは高いことになる。同様に、ボトム・トップタイル対の場合、マッチング領域が主に空白からなるときを示すために標準偏差が使用される。
【0087】
ＮＣＣスコアが範囲[－１，１]内に存在することを当業者は認識するであろう。例えば、幾つかの閾値：δ１＝０．０１(ＮＣＣが＜＝δ１であるとき、ＮＣＣベースマッチングにおいて低い信頼度が得られる）およびδ２＝０．０２（ＮＣＣが＞δ１であるが＜＝δ２であるとき、ＮＣＣベースマッチングにおいて中程度の信頼度が得られる）を経験的に決定することができる。同様に、ｄｘ、ｄｙ、信頼度、および標準偏差値が計算されるとき、ＲＧＢ画像のグレースケール表現を考えることができる。タイル対内の各タイルにおけるマッチング領域から計算される標準偏差値の最大値が或る閾値（例えば、σ１＝１０）を超えるとき、そのタイル対についてのマッチング領域が主に空白からなる（したがって、信頼性がない）可能性が高い。計算されたｄｘ、ｄｙ値を使用することが望まれないタイル対の例として、マッチングがより信頼性があり、共通領域の標準偏差が十分に高い（例えば、＞１０）タイルのみが考えられる。
【0088】
ボトム・トップタイル対の場合、ＮＣＣベースマッチングを通して計算される（ｄｘ，ｄｙ）値は、不変のままである場合がある。ＮＣＣベースマッチングが、信頼性がないと考えられるとき、マッチングの信頼スコアは、低い値に減少する。例えば、マッチング領域が主に空白からなるとき、ＮＣＣベースマッチングスコアが高く、標準偏差が低い場合がある。結果として、（ｄｘ，ｄｙ）ソリューションは、マッチングが、主に１つのタイル内の空白から隣接するタイル内の空白までであるため、不正確である場合がある。したがって、より高い信頼度は、この（ｄｘ，ｄｙ）ソリューションに割り当てられる場合、全体的な大域的配置に悪い影響を及ぼす場合がある。したがって、改善策は、より低い信頼スコアをこのソリューションに割り当てることによって、この（ｄｘ，ｄｙ）ソリューションにより低い重要性を割り当てることである。より低い信頼度を割り当てるためのサンプルソリューションは、例３、本明細書に示される。
【0089】
次に、左右タイル対をマッチングさせる場合が考えられる。マッチング領域が主に空白からなる、隣接する左右タイル対の場合、タイル間の（ｄｘ－オーバーラップおよびｄｙ－シフト）値を近似するために左右画像対から得られる平均（ｄｘ，ｄｙ）値が使用される。
【0090】
左右タイル対をマッチングさせることに関して、対応するＮＣＣスコアが高い場合、また同様に、対応する標準偏差スコアが十分に高い場合、対マッチングは信頼性があると見なされる。幾つかの実施形態において、「ＮＣＣスコアが高い（ＮＣＣ ｓｃｏｒｅ ｉｓ ｈｉｇｈ）」と言われるとき、ＮＣＣスコアは、０．２５などの[－１，１]の間の中間値より高いことが示唆される。例として、標準偏差値は、値が２０より大きいときに「十分に高い（ｈｉｇｈ ｅｎｏｕｇｈ）」とすることができる。この例において、このことは、オーバーラップ領域が、非空白領域である可能性があることを意味することになる。マッチングが、信頼性がないとき、大域的配置についての正しいソリューションが、全てのこれらの左右タイル対についての良好な開始（ｄｘ，ｄｙ）値を必要とすることが経験的に見出された。幾つかの実施形態において、局所的マッチングが失敗するとき、本明細書でさらに述べるように、全行／列について、ｄｘ、ｄｙが平均ｄｘ、ｄｙで置換される。これらの平均値は、良好な初期化の例である。タイル対が、正のｄｙ列に属するか、負のｄｙ列に属するかに応じて、平均（ｄｘ，ｄｙ）値が使用される。所与の列について、全ての左右タイル対は、ｄｙについて同じ指向性を有する；同様に、この指向性は、代替の列について交番する；すなわち、１０の列が考えられる場合、これらの１０の列についてのｄｙ値の符号は、＋、－、＋、－、＋、－、＋、－、＋、－、または、－、＋、－、＋、－、＋、－、＋、－、＋であり得る。したがって、また、この特定の文脈において、ｄｙ（ｙシフト）値は、列１、３、５、…（奇数列）について同じ方向を有すると予想される；同様に、偶数列は、逆方向を有すると予想される。平均（ｄｘ，ｄｙ）値を割り当てるためのサンプルソリューションは、例４、本明細書に示される。
【0091】
大域的配置のための重み付き最小２乗ベースソリューション
画像タイル対の間の空間的関係の最適調整（ステップ３３０）に続いて、重み付き最小２乗ソルバーが使用されて、導出された空間的関係に基づいてタイル配置を決定する（ステップ３４０）。幾つかの実施形態において、重み付き最小２乗ソルバーは、導出されたＮＣＣスコアを重みとして利用する。
画像タイル対の間の空間的関係の最適調整（ステップ３３０）に続いて、重み付き最小２乗ソルバーが使用されて、導出された空間的関係に基づいてタイル配置を決定する（ステップ３４０）。幾つかの実施形態において、重み付き最小２乗ソルバーは、導出されたＮＣＣスコアを重みとして利用する。
【0092】
重み付き最小２乗は、応答値が予測子値の組み合わせにわたって異なる程度の変動性を有するとき、モデルパラメータの値を推定するのに有用である。線形および非線形最小２乗回帰と違って、重み付き最小２乗回帰は、プロセス変数の間の関係を記述するために使用される特定のタイプの関数に関連しない。代わりに、重み付き最小２乗は、モデル内のランダムエラーの挙動を反映する；また、重み付き最小２乗は、パラメータが線形または非線形である関数と共に使用され得る。重み付き最小２乗は、各データポイントに関連する特別の非負定数または重みをフィッティング基準内に組み込むことによって働く。重みのサイズは、関連する観測に含まれる情報の精度を示す。パラメータ推定量を見出すために重み付きフィッティング基準を最適化することは、重みが、最終パラメータ推定量に対する各観測の寄与を決定することを可能にする。幾つかの実施形態において、局所的レジストレーションモデルを用いて導出されたＮＣＣスコアは、重み付き最小２乗解析における重みとして使用される。
【0093】
重み付き最小２乗パラメータ推定において、通常の最小２乗の場合と同様に、回帰関数におけるパラメータβ０、β１、…の未知の値は、観測される応答間の２乗偏差とモデルの機能部分の合計を最小にするパラメータ推定量についての数値を見出すことによって推定される。しかしながら、最小２乗と違って、重み付き最小２乗基準内の各項は、データセット内の各観測が最終パラメータ推定量にどれほど影響を及ぼすかを決定する更なる重みｗｉを含む。パラメータ推定量を得るために最小にされる重み付き最小２乗基準は、
である。
【0094】
配置ソリューションの場合、幾つかの実施形態において、以下の仮定を行うことができる：
２つのフレームＬ（左）およびＲ（右）を仮定する、ここで、フレーム間の共通ｘ交差部はｄｘであり、ＲはＬの上のｄｙ単位である；
（Ｌｘ，Ｌｙ）がＬのトップ左角である場合、Ｒ（Ｒｘ，Ｒｙ）のトップ左角は次の通りである：
Ｒｘ＝Ｌｘ＋（幅－ｄｘ）（ｘは左から右に増加する）
Ｒｙ＝Ｌｙ＋（－ｄｙ）（ｙはトップからボトムに増加する）
タイルの間のＭの行およびＮの列について、Ｍ（Ｎ－１）のそのような対が得られる。
トップ画像（Ｔ）およびボトム画像（Ｂ）を考える。ここで、共通ｙ交差部はｄｙであり、Ｔは、Ｂの右にｄｘ単位のところに位置する；
（Ｔｘ，Ｔｙ）がＴのトップ左角である場合、Ｂのトップ左角Ｒ（Ｂｘ，Ｂｙ）は：
Ｂｘ＝Ｔｘ－ｄｘ；Ｂｙ＝Ｔｙ＋（高さ－ｄｙ）
として与えられる。
２つのフレームＬ（左）およびＲ（右）を仮定する、ここで、フレーム間の共通ｘ交差部はｄｘであり、ＲはＬの上のｄｙ単位である；
（Ｌｘ，Ｌｙ）がＬのトップ左角である場合、Ｒ（Ｒｘ，Ｒｙ）のトップ左角は次の通りである：
Ｒｘ＝Ｌｘ＋（幅－ｄｘ）（ｘは左から右に増加する）
Ｒｙ＝Ｌｙ＋（－ｄｙ）（ｙはトップからボトムに増加する）
タイルの間のＭの行およびＮの列について、Ｍ（Ｎ－１）のそのような対が得られる。
トップ画像（Ｔ）およびボトム画像（Ｂ）を考える。ここで、共通ｙ交差部はｄｙであり、Ｔは、Ｂの右にｄｘ単位のところに位置する；
（Ｔｘ，Ｔｙ）がＴのトップ左角である場合、Ｂのトップ左角Ｒ（Ｂｘ，Ｂｙ）は：
Ｂｘ＝Ｔｘ－ｄｘ；Ｂｙ＝Ｔｙ＋（高さ－ｄｙ）
として与えられる。
【0095】
タイルのＭの行およびＮの列によって、トップ・ボトム画像のＮ（Ｍ－１）のそのような対が存在する。そのため、左右およびトップ・ボトム対を考慮してＭ（Ｎ－１）＋Ｍ（Ｎ－１）線形方程式が得られる；未知数の数はＭ＊Ｎタイルロケーションである（トップ左タイルロケーションが基準として使用され得る）；そのため、冗長な方程式が存在し、可能である場合、非常に低い標準偏差を有する方程式を廃棄することができる。幾つかの実施形態において、ＮＣＣスコアが重みとして利用される重み付き最小２乗が使用される。Ｍａｔｌａｂにおいて、関数は、「ｌｓｃｏｖ」（既知共分散を使用する最小２乗）である。
【0096】
例５は、上述した重み付き最小２乗アプローチを使用するタイル配置を決定する方法を示す。
【0097】
本開示の実施形態を実施するための他のコンポーネント
本開示のコンピュータシステムは、組織試料に対して１つまたは複数の調製プロセスを実施し得る試料処理装置に結び付けることができる。調製プロセスは、限定することなく、試料を脱パラフィンすること、試料を調節すること（例えば、細胞調節）、試料を染色すること、抗原賦活(ａｎｔｉｇｅｎ ｒｅｔｒｉｅｖａｌ)を実施すること、免疫組織化学染色（標識化を含む）または他の反応を実施すること、および／またはインサイチューハイブリダイゼーション（例えば、ＳＩＳＨ、ＦＩＳＨなど）染色（標識化を含む）または他の反応、ならびに、顕微鏡検査、微小分析、質量分析法、または他の分析法のために試料を調製するための他のプロセスを実施することを含み得る。
本開示のコンピュータシステムは、組織試料に対して１つまたは複数の調製プロセスを実施し得る試料処理装置に結び付けることができる。調製プロセスは、限定することなく、試料を脱パラフィンすること、試料を調節すること（例えば、細胞調節）、試料を染色すること、抗原賦活(ａｎｔｉｇｅｎ ｒｅｔｒｉｅｖａｌ)を実施すること、免疫組織化学染色（標識化を含む）または他の反応を実施すること、および／またはインサイチューハイブリダイゼーション（例えば、ＳＩＳＨ、ＦＩＳＨなど）染色（標識化を含む）または他の反応、ならびに、顕微鏡検査、微小分析、質量分析法、または他の分析法のために試料を調製するための他のプロセスを実施することを含み得る。
【0098】
試料は組織サンプルを含み得る。組織サンプルは、ターゲットがその中にまたはその上に存在し得る、任意の液体、半個体、または個体物質（または材料）であり得る。特に、組織サンプルは、生物学的サンプルまたは生物学的組織から得られる組織サンプルであり得る。組織は、有機体内で同様の機能を果たす相互接続された細胞の集合体であり得る。幾つかの例において、生物学的サンプルは、人被験者などの動物被験者から得られる。生物学的サンプルは、任意の個体または流体サンプルであることができ、任意の個体または流体サンプルは、限定することなく、とりわけ細菌、酵母、原生動物、およびアメーバなどの単細胞有機体、多細胞有機体（植物または動物など、健康なまたは見かけは健康な人被験者、または、がんなどの、診断されるまたは調査される状態または疾病を患う人患者からのサンプルを含む）を含む任意の生きている有機体から得られる、それによって排出される、またはそれによって分泌される。例えば、生物学的サンプルは、例えば、血漿、血清、尿、胆汁、腹水、唾液、脳脊髄液、水様液、または硝子体液から得られる生物学的流体、あるいは、任意の身体分泌物、漏出液、滲出液（例えば、膿瘍、または、任意の他の感染または炎症部位から得られる流体）、または関節（例えば、正常関節または疾病を患う関節）から得られる流体であり得る。生物学的サンプルは、任意の器官または組織（腫瘍生検などの生検または部検試料を含む）から得られるサンプルで同様にあり得る、または、任意の細胞、組織、または器官によって調節された細胞（初代細胞か、培養細胞）または媒体を含み得る。幾つかの例において、生物学的サンプルは核抽出液である。或る例において、サンプルは、開示される細胞ペレットセクションサンプルのうちの１つのサンプルなどの品質管理サンプルである。他の例において、サンプルは試験サンプルである。例えば、試験サンプルは、細胞、組織、または被験者から得られる生物学的サンプルから調製される細胞ペレットセクションである。一例において、被験者は、危険な状態にある、または、特定の状態または疾病にかかった被験者である。幾つかの実施形態において、試料は胸部組織である。
【0099】
処理装置は、試料に対して固定液を適用し得る。固定液は、架橋剤（アルデヒド、例えば、ホルムアルデヒド、パラホルムアルデヒド、およびグルタルアルデヒド、ならびに、非アルデヒド架橋剤など）、酸化剤（例えば、金属イオンおよび四酸化オスミウムおよびクロム酸などの錯体）、タンパク質変性剤（例えば、酢酸、メタノール、およびエタノール）、未知メカニズムの固定液（例えば、塩化水銀、アセトン、およびピクリン酸）、コンビネーション試薬（例えば、カルノア固定液、メタカン、ブアン液、Ｂ５固定液、ロスマン液、およびジェンダー液）、マイクロ波、および種々雑多な固定液（例えば、排除体積固定および蒸気固定）を含み得る。
【0100】
試料がパラフィンに埋め込まれたサンプルである場合、サンプルは、適切な脱パラフィン用流体（複数可）を使用して脱パラフィンされ得る。廃棄物リムーバが脱パラフィン流体（複数可）を取除いた後、任意の数の物質が、試料に連続して適用され得る。物質は、前処理（例えば、タンパク質架橋、エクスポーズ核酸(ｅｘｐｏｓｅ ｎｕｃｌｅｉｃ ａｃｉｄ)など）、変性、ハイブリダイゼーション、洗浄（例えば、ストリンジェンシーウォッシュ）、検出（例えば、プローブに対する可視またはマーカー分子のリンク）、増幅（例えば、タンパク質、遺伝子などを増幅すること）、対比染色、カバースリッピング、または同様なことのためのものであり得る。
【0101】
試料処理装置は、広範囲の物質を試料に適用し得る。物質は、限定することなく、染色剤、プローブ、試薬、リンス、および／またはコンディショナーを含む。物質は、流体（例えば、気体、液体、または気体／液体混合物）または同様なものであり得る。流体は、溶剤（例えば、極性溶剤、非極性溶剤など）、溶液（例えば、水性溶液または他のタイプの溶液）、または同様なものであり得る。試薬は、限定することなく、染色剤、湿潤剤、抗体（例えば、モノクロナール抗体、ポリクロナール抗体など）、抗原回復流体（例えば、水性または非水性ベース抗原賦活化溶液、抗原回復緩衝液など）、または同様なものを含み得る。プローブは、検出可能標識またはリポーター分子に付着した、孤立核酸または孤立合成オリゴヌクレオチドであり得る。標識は、放射性同位元素、酵素基質、余因子、リガンド、化学発光剤または蛍光剤、ハプテン、および酵素を含み得る。
【0102】
試料処理装置は、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．によって販売されているＢＥＮＣＨＭＡＲＫ ＸＴ器具およびＳＹＭＰＨＯＮＹ器具などの自動化装置であり得る。Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．は、自動化分析を実施するためのシステムおよび方法を開示する幾つかの米国特許の譲受人であり、幾つかの米国特許は、米国特許第５，６５０，３２７号、第５，６５４，２００号、第６，２９６，８０９号、第６，３５２，８６１号、第６，８２７，９０１号、および第６，９４３，０２９号、ならびに、米国公開特許出願第２００３０２１１６３０号および第２００４００５２６８５号を含み、それらの特許はそれぞれ、参照によりその全体を本明細書に組み込まれる。代替的に、試料は、手作業で処理され得る。
【0103】
試料が処理された後、ユーザーは、試料担持スライドを撮像装置まで輸送し得る。本明細書で使用される撮像装置は、明視野イメージャースライドスキャナーである。１つの明視野イメージャーは、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．によって販売されているｉＳｃａｎ Ｃｏｒｅｏ（商標）明視野スキャナーである。自動化実施形態において、撮像装置は、「ＩＭＡＧＩＮＧ ＳＹＳＴＥＭ ＡＮＤ ＴＥＣＨＮＩＱＵＥＳ」という名称の国際特許出願第ＰＣＴ／ＵＳ２０１０／００２７７２号（特許公開第ＷＯ／２０１１／０４９６０８号）に開示される、または、「ＩＭＡＧＩＮＧ ＳＹＳＴＥＭＳ， ＣＡＳＳＥＴＴＥＳ， ＡＮＤ ＭＥＴＨＯＤＳ ＯＦ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ」という名称の、２０１１年９月９日に出願された米国特許出願第６１／５３３，１４４号に開示されるデジタル病理学デバイスである。国際特許出願第ＰＣＴ／ＵＳ２０１０／００２７７２号および米国特許出願第６１／５３３，１４４号は、参照によりその全体を組み込まれる。他の実施形態において、撮像装置は、顕微鏡に結合されたデジタルカメラを含む。
【0104】
撮像システムまたは装置は、マルチスペクトル撮像（ＭＳＩ：ｍｕｌｔｉｓｐｅｃｔｒａｌ ｉｍａｇｉｎｇ）システムまたは蛍光顕微システムであることができる。本明細書で使用される撮像システムはＭＳＩである。ＭＳＩは、概して、病理学的試料の分析に、画像のスペクトル分布に対するアクセスをピクセルレベルで提供することによるコンピュータ化顕微鏡ベース撮像システムを装備させる。種々のマルチスペクトル撮像システムが存在するが、これらのシステムの全てに共通であるオペレーショナル態様は、マルチスペクトル画像を形成する能力である。マルチスペクトル撮像システムは、電磁スペクトルにわたって特定の波長でまたは特定のスペクトル帯域幅で画像を取得する撮像システムである。これらの波長は、光学フィルターによって、または、例えば、赤外線（ＩＲ）などの可視光範囲の範囲を超える波長の電磁放射を含む所定のスペクトル成分を選択することが可能な他の器具の使用によって選び出すことができる。
【0105】
ＭＳＩは、光学撮像システムを含むことができ、その一部は、所定の数Ｎの離散的光帯域を規定するために調節可能であるスペクトル選択性システムを含む。光学システムは、広帯域光源によって透過照明される組織サンプルを光学検出器上で撮像するように適合することができる。一実施形態において、例えば顕微鏡などの拡大システムを含むことができる光学撮像システムは、光学システムの単一光学出力と全体的に空間的に整列した単一光学軸を有する。システムは、異なる離散的スペクトル帯域で画像が採取されることを保証するためなどで、スペクトル選択性システムが（例えば、コンピュータプロセッサによって）調整されるまたは調節されるため、組織の画像のシーケンスを形成する。装置は、ディスプレイをさらに含むことができ、ディスプレイにおいて、採取された画像のシーケンスから組織の少なくとも１つの視覚的に知覚可能な画像が現れる。スペクトル選択性システムは、回折格子などの波長分散要素、薄膜干渉フィルターなどの光学フィルターの集合体、または、ユーザー入力またはプリプログラム式プロセッサのコマンドに応答して、サンプルを通して検出器に向かう光源から透過する光のスペクトルから特定の通過帯域を選択するように適合した任意の他のシステムを含むことができる。
【0106】
代替の実装態様、スペクトル選択性システムは、Ｎの離散的スペクトル帯域に対応する幾つかの光学出力を規定する。このタイプのシステムは、光学システムから出力される透過光を取込み、識別されたスペクトル帯域内のサンプルを、この識別されたスペクトル帯域に対応する光学経路に沿って検出器システム上で撮像するように、この光出力の少なくとも一部分をＮの空間的に異なる光学経路に沿って空間的に再び方向付ける。
【0107】
本明細書で述べる主題およびオペレーションの実施形態は、デジタル電子回路要素(circuitry)で、本明細書で開示する構造およびそれらの構造的等価物を含む、コンピュータソフトウェア、ファームウェア、またはハードウェアで、あるいは、それらの１つまたは複数の組み合せで実装され得る。本明細書で述べる主題の実施形態は、１つまたは複数のコンピュータプログラム、すなわち、データ処理装置が実行するための、または、データ処理装置のオペレーションを制御するための、コンピュータ記憶媒体上で符号化されたコンピュータプログラム命令の１つまたは複数のモジュールとして実装され得る。本明細書で述べるモジュールの任意のモジュールは、プロセッサ（複数可）によって実行されるロジックを含むことができる。「ロジック（Ｌｏｇｉｃ）」は、本明細書で使用するとき、プロセッサのオペレーションに影響を及ぼすために適用することができる命令信号および／またはデータの形態を有する任意の情報を指す。ソフトウェアは、ロジックの例である。
【0108】
コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基材、ランダムまたはシリアルアクセスメモリアレイまたはデバイス、あるいは、それらの１つまたは複数の組み合わせであり得る、または、その中に含まれ得る。さらに、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成される伝搬信号において符号化されるコンピュータプログラム命令のソースまたは行先であり得る。コンピュータ記憶媒体は、１つまたは複数の別個の物理的コンポーネントまたは媒体（例えば、複数のＣＤ、ディスク、または他の記憶デバイス）で同様にあり得る、または、その中に含まれ得る。本明細書で述べるオペレーションは、１つまたは複数のコンピュータ可読記憶媒体上に記憶される、または、他のソースから受信されるデータに対してデータ処理装置が実施するオペレーションとして実装され得る。
【0109】
用語「プログラム式プロセッサ（ｐｒｏｇｒａｍｍｅｄ ｐｒｏｃｅｓｓｏｒ）」は、例として、プログラマブルマイクロプロセッサ、コンピュータ、システム・オン・チップ（ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）、または複数のもの、あるいは上記の組み合わせを含む、データを処理するための、全ての種類の装置、デバイス、および機械を包含する。装置は、専用ロジック回路要素、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＣＩＳ（特定用途向け集積回路）を含み得る。装置は、ハードウェアに加えて、問題のコンピュータプログラムについて実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォーム・ランタイム環境、仮想マシン、またはそれらの１つまたは複数の組み合わせを構成するコードを同様に含み得る。装置および実行環境は、ウェブサービス、分散コンピューティング、およびグリッドコンピューティングインフラストラクチャーなどの種々の異なるコンピューティングモデルインフラストラクチャーを実現し得る。
【0110】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）は、コンパイル型またはインタープリター型言語、宣言型または手続き型言語を含む任意の形態のプログラミング言語で書くことができ、コンピュータプログラムは、独立型プログラムとして、あるいは、モジュール、コンポーネント、サブルーチン、オブジェクト、またはコンピューティング環境で使用するのに適する他のユニットとして、を含む任意の形態で配備され得る。コンピュータプログラムは、ファイルシステム内のファイルに対応することができるが、対応する必要はない。プログラムは、問題のプログラムに専用の単一ファイルで、または、複数の協調式ファイル（例えば、１つまたは複数のモジュール、サブプログラム、またはコードの複数の部分を記憶するファイル）で他のプログラムまたはデータ（例えば、マークアップ言語文書に記憶された１つまたは複数のスクリプト）を保持するファイルの一部分に記憶され得る。コンピュータプログラムは、１つのコンピュータ上で、１つのサイトに位置する、または、複数のサイトにわたって分散され、通信ネットワークによって相互接続される複数のコンピュータ上で実行されるために配備され得る。
【0111】
本明細書で述べるプロセスおよびロジックフローは、入力データに作用し、出力を生成することによってアクションを実施する１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラマブルプロセッサによって実施され得る。プロセスおよびロジックフローは、専用ロジック回路要素、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）として同様に実装され得る装置によって同様に実施され得る。
【0112】
コンピュータプログラムの実行に適するプロセッサは、例によれば、汎用と専用の両方のマイクロプロセッサおよび任意の種類のデジタルコンピュータの任意の１つまたは複数のプロセッサを含む。概して、プロセッサは、読出し専用メモリか、ランダムアクセスメモリか、または両方からの命令およびデータを受信することになる。コンピュータの本質的な要素は、命令に従ってアクションを実施するためのプロセッサならびに命令およびデータを記憶するための１つまたは複数のメモリデバイスである。概して、コンピュータは、同様に、データを記憶するための１つまたは複数の大容量記憶デバイス、例えば、磁気ディスク、光磁気ディスク、または光ディスクからデータを受信するか、そこへデータを転送するか、または両方を行うために、それを含む、または、それに動作可能に結合されることになる。しかしながら、コンピュータはそのようなデバイスを持つ必要はない。さらに、コンピュータは、別のデバイス、例えば、２、３例を挙げると、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、または可搬型記憶デバイス（例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）に埋め込まれ得る。コンピュータプログラム命令およびデータを記憶するのに適するデバイスは、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス；磁気ディスク、例えば、内部ハードディスクまたは取り外し可能ディスク；光磁気ディスク；ならびに、ＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む全ての形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、専用ロジック回路要素によって補完され得る、または、それに組み込まれ得る。
【0113】
ユーザーとの相互作用を可能にするために、本明細書で述べる主題の実施形態は、ユーザーに情報を表示するための、ディスプレイデバイス、例えば、ＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）ディスプレイ、またはＯＬＥＤ（有機発光ダイオード）ディスプレイ、ならびに、ユーザーがそれによって入力をコンピュータに提供し得る、キーボードおよびポインティングデバイス、例えば、マウスまたはトラックボールを有するコンピュータ上に実装され得る。幾つかの実装態様において、タッチスクリーンが使用されて、情報を表示し、ユーザーからの入力を受信し得る。他の種類のデバイスが使用されて、同様にユーザーとの相互作用を可能にし得る；例えば、ユーザーに提供されるフォードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであり得る；また、ユーザーからの入力は、音響、音声、または触覚入力を含む任意の形態で受信され得る。さらに、コンピュータは、ユーザーによって使用されるデバイスに文書を送出し、そのデバイスから文書を受信することによって；例えば、ウェブブラウザから受信される要求に応答して、ユーザーのクライアントデバイス上でウェブページをウェブブラウザに送出することによって、ユーザーと相互作用し得る。
【0114】
本明細書で述べる主題の実施形態は、コンピューティングシステムにおいて実装されることができ、コンピューティングシステムは、バックエンドコンポーネント、例えば、データサーバーか、ミドルウェアコンポーネント、例えば、アプリケーションサーバーか、フロントエンドコンポーネント、例えば、本明細書で述べる主題の実装態様とユーザーがそれを通して相互作用し得るグラフィカルユーザーインタフェースまたはウェブブラウザを有するクライアントコンピュータか、または、そのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの１つまたは複数の組み合わせを含む。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信、例えば、通信ネットワークによって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）およびワイドエリアネットワーク（「ＷＡＮ」）、インターネットワーク（例えば、インターネット）、およびピア・トゥー・ピアネットワーク（例えば、アドホックピア・トゥー・ピアネットワーク）を含む。例えば、図１のネットワーク２０は、１つまたは複数のローカルエリアネットワークを含み得る。
【0115】
コンピューティングシステムは、任意の数のクライアントおよびサーバーを含み得る。クライアントおよびサーバーは、概して、互いに遠隔であり、通常、通信ネットワークを通して相互作用する。クライアントおよびサーバーの関係は、コンピュータプログラムがそれぞれのコンピュータ上で実行され、互いにクライアント・サーバーの関係を有することによって生じる。幾つかの実施形態において、サーバーは、（例えば、クライアントデバイスと相互作用するユーザーにデータを表示し、ユーザーからユーザー入力を受信するために）データ（例えば、ＨＴＭＬページ）をクライアントデバイスに送信する。クライアントデバイスで生成されたデータ（例えば、ユーザー相互作用の結果）は、サーバーにおいてクライアントデバイスから受信され得る。
【0116】
例
次に続く例の全ては、Ｍ×Ｎタイル（Ｍ行およびＮ列）を有する全スライドスキャンを仮定する。
次に続く例の全ては、Ｍ×Ｎタイル（Ｍ行およびＮ列）を有する全スライドスキャンを仮定する。
【0117】
例１－左右画像タイル対についての、空間ロケーション、ＮＣＣスコア、および標準偏差値の決定
入力：Ｍ×Ｎタイル；左右タイル対の間のｘ軸に沿うオーバーラップはｘ１＜＝ｄｘ＜＝ｘ２である；右タイルに適用されると、右タイルを左タイルに整列させることになるｙシフトは－ｙｍａｘ＜＝ｄｙ＜＝ｙｍａｘで変動し得る。
出力：Ｍ×（Ｎ－１）の左右画像対の場合、各対（ｉ，ｊ）について計算される：
ｄｘＬＲ（ｉ，ｊ）：左タイル（ｉ番目の行、ｊ番目の列）と右タイル（ｉ番目の行、（ｊ＋１）番目の列）との間のｘ軸に沿うオーバーラップ
ｄｙＬＲ（ｉ，ｊ）：上記で述べたタイル対間のｙ軸に沿うシフト：ｄｙＬＲ（ｉ，ｊ）が正である場合、右タイルを左タイルに整列させるために、右タイルが下にシフトされなければならないことが意味される
ｃｏｎｆＬＲ（ｉ，ｊ）：上記で述べた左右タイル対についてのマッチング領域間のＮＣＣが考えられるときのＮＣＣスコア
ｓｔｄＬＲ（ｉ，ｊ）：左と右の両方のタイルのためのマッチング領域について計算される、標準偏差の最大が考えられるときの標準偏差スコア
方法：
ＦＯＲｉ＝１：Ｍ／／行インデックス（ｒｏｗ ｉｎｄｅｘ）
ＦＯＲｊ＝１：Ｍ／／列インデックス（ｃｏｌ ｉｎｄｅｘ）
左タイル（ｉ番目の行、ｊ番目の列）および右タイル（ｉ番目の行、（ｊ＋１）番目の列）の考えられる全てのマッチング領域の間のＮＣＣを計算する、ｘ１＜＝ｄｘ＜＝ｘ２およびｙｍｉｎ＜＝ｄｙ＜＝ｙｍａｘを仮定する（すなわち、右タイルの仮定される下方変位について左右マッチングを考える）
左タイル（ｉ番目の行、ｊ番目の列）および右タイル（ｉ番目の行、（ｊ＋１）番目の列）の考えられる全てのマッチング領域の間のＮＣＣを計算する、ｘ１＜＝ｄｘ＜＝ｘ２および－ｙｍａｘ＜＝ｄｙ＜＝－ｙｍｉｎを仮定する（すなわち、右タイルの仮定される上方変位について左右マッチングを考える）
右タイルの垂直変位がない場合を考える必要がないようにするために、ｄｙの小さい値（例えば、ｙｍｉｎ＝４０ピクセル）が使用される。左タイルと右タイルとの間の非常に小さいオーバーラップを考えることは、ＮＣＣスコアが計算されるときに数値不安定性につながり得る（スコアが、非常に少数のピクセルにわたって計算されるため）。ゾーン－ｙｍａｘ＜＝ｄｙ＜＝－ｙｍｉｎを回避しながら、ＮＣＣが計算されると、より意味のあるＮＣＣスコアを返す。
ＥＮＤ ＦＯＲ／／ＦＯＲ 列＝１：Ｎ－１
ＥＮＤ ＦＯＲ／／ＦＯＲ 行＝１：Ｍ
条件１：１番目の列は正のｄｙを有し、一方、２番目の列は負のｄｙを有する：
Ｓ１＝（全てのＭ×（Ｎ－１）のタイル対セットを考慮するＮＣＣスコア）の平均（条件１の場合）
条件２：１番目の列は負のｄｙを有し、一方、２番目の列は正のｄｙを有する：
Ｓ２＝（全てのＭ×（Ｎ－１）のタイル対セットを考慮するＮＣＣスコア）の平均（条件２の場合）
Ｓ１＞＝Ｓ２である場合（Ｉｆ）、条件１が有効である
そうでなければ（Ｅｌｓｅ） 条件２が有効である
出力：条件１が有効か、条件２が有効かに応じて、ｄｘＬＲ（ｉ，ｊ）、ｄｙＬＲ（ｉ，ｊ）、ｃｏｎｆＬＲ（ｉ，ｊ）、ｓｔｄＬＲ（ｉ，ｊ）（１＜＝ｉ＜＝Ｍ、１＜＝ｊ＜＝Ｎ）を返す
入力：Ｍ×Ｎタイル；左右タイル対の間のｘ軸に沿うオーバーラップはｘ１＜＝ｄｘ＜＝ｘ２である；右タイルに適用されると、右タイルを左タイルに整列させることになるｙシフトは－ｙｍａｘ＜＝ｄｙ＜＝ｙｍａｘで変動し得る。
出力：Ｍ×（Ｎ－１）の左右画像対の場合、各対（ｉ，ｊ）について計算される：
ｄｘＬＲ（ｉ，ｊ）：左タイル（ｉ番目の行、ｊ番目の列）と右タイル（ｉ番目の行、（ｊ＋１）番目の列）との間のｘ軸に沿うオーバーラップ
ｄｙＬＲ（ｉ，ｊ）：上記で述べたタイル対間のｙ軸に沿うシフト：ｄｙＬＲ（ｉ，ｊ）が正である場合、右タイルを左タイルに整列させるために、右タイルが下にシフトされなければならないことが意味される
ｃｏｎｆＬＲ（ｉ，ｊ）：上記で述べた左右タイル対についてのマッチング領域間のＮＣＣが考えられるときのＮＣＣスコア
ｓｔｄＬＲ（ｉ，ｊ）：左と右の両方のタイルのためのマッチング領域について計算される、標準偏差の最大が考えられるときの標準偏差スコア
方法：
ＦＯＲｉ＝１：Ｍ／／行インデックス（ｒｏｗ ｉｎｄｅｘ）
ＦＯＲｊ＝１：Ｍ／／列インデックス（ｃｏｌ ｉｎｄｅｘ）
左タイル（ｉ番目の行、ｊ番目の列）および右タイル（ｉ番目の行、（ｊ＋１）番目の列）の考えられる全てのマッチング領域の間のＮＣＣを計算する、ｘ１＜＝ｄｘ＜＝ｘ２およびｙｍｉｎ＜＝ｄｙ＜＝ｙｍａｘを仮定する（すなわち、右タイルの仮定される下方変位について左右マッチングを考える）
左タイル（ｉ番目の行、ｊ番目の列）および右タイル（ｉ番目の行、（ｊ＋１）番目の列）の考えられる全てのマッチング領域の間のＮＣＣを計算する、ｘ１＜＝ｄｘ＜＝ｘ２および－ｙｍａｘ＜＝ｄｙ＜＝－ｙｍｉｎを仮定する（すなわち、右タイルの仮定される上方変位について左右マッチングを考える）
右タイルの垂直変位がない場合を考える必要がないようにするために、ｄｙの小さい値（例えば、ｙｍｉｎ＝４０ピクセル）が使用される。左タイルと右タイルとの間の非常に小さいオーバーラップを考えることは、ＮＣＣスコアが計算されるときに数値不安定性につながり得る（スコアが、非常に少数のピクセルにわたって計算されるため）。ゾーン－ｙｍａｘ＜＝ｄｙ＜＝－ｙｍｉｎを回避しながら、ＮＣＣが計算されると、より意味のあるＮＣＣスコアを返す。
ＥＮＤ ＦＯＲ／／ＦＯＲ 列＝１：Ｎ－１
ＥＮＤ ＦＯＲ／／ＦＯＲ 行＝１：Ｍ
条件１：１番目の列は正のｄｙを有し、一方、２番目の列は負のｄｙを有する：
Ｓ１＝（全てのＭ×（Ｎ－１）のタイル対セットを考慮するＮＣＣスコア）の平均（条件１の場合）
条件２：１番目の列は負のｄｙを有し、一方、２番目の列は正のｄｙを有する：
Ｓ２＝（全てのＭ×（Ｎ－１）のタイル対セットを考慮するＮＣＣスコア）の平均（条件２の場合）
Ｓ１＞＝Ｓ２である場合（Ｉｆ）、条件１が有効である
そうでなければ（Ｅｌｓｅ） 条件２が有効である
出力：条件１が有効か、条件２が有効かに応じて、ｄｘＬＲ（ｉ，ｊ）、ｄｙＬＲ（ｉ，ｊ）、ｃｏｎｆＬＲ（ｉ，ｊ）、ｓｔｄＬＲ（ｉ，ｊ）（１＜＝ｉ＜＝Ｍ、１＜＝ｊ＜＝Ｎ）を返す
【0118】
例２－トップ・ボトム画像タイル対についての、空間ロケーション、ＮＣＣスコア、および標準偏差値の決定
入力：Ｍ×Ｎタイル；ボトム・トップタイル対の間のｙ軸に沿うオーバーラップはｙ１＜＝ｄｙ＜＝ｙ２である；トップタイルに適用されると、トップタイルをボトムタイルに整列させることになるｘシフトは－ｘｍａｘ＜＝ｄｘ＜＝ｘｍａｘで変動し得る。
出力：（Ｍ－１）×Ｎのボトム・トップ画像対の場合、各対（ｉ，ｊ）について計算される：
ｄｙＬＲ（ｉ，ｊ）：トップタイル（ｉ番目の行、ｊ番目の列）とボトムタイル（（ｉ＋１）番目の行、ｊ番目の列）との間のｙ軸に沿うオーバーラップ
ｄｘＢＴ（ｉ，ｊ）：上記で述べたボトム・トップタイル対の間のｘ軸に沿うシフト：ｄｘ（ｉ，ｊ）が正である場合、トップタイルをボトムタイルに整列させるために、トップタイルが右にシフトされなければならないことが意味される
ｃｏｎｆＢＴ（ｉ，ｊ）：上記で述べた左右タイル対についてのマッチング領域間のＮＣＣが考えられるときのＮＣＣスコア
ｓｔｄＢＴ（ｉ，ｊ）：トップとボトムの両方のタイルのためのマッチング領域について計算される、標準偏差の最大が考えられるときの標準偏差スコア
方法：
ＦＯＲ ｊ＝１：Ｎ／／列インデックス
ＦＯＲ ｉ＝１：Ｍ－１／／行インデックス
トップタイル（ｉ番目の行、ｊ番目の列）およびボトムタイル（ｉ＋１番目の行、ｊ番目の列）の考えられる全てのマッチング領域の間のＮＣＣを計算する、ｙ１＜＝ｄｙ＜＝ｙ２およびｘｍｉｎ＜＝ｄｘ＜＝ｘｍａｘを仮定する
ＥＮＤ ＦＯＲ／／ＦＯＲ 行＝１：Ｍ－１
ＥＮＤ ＦＯＲ／／ＦＯＲ 列＝１：Ｎ
出力：ｄｘＢＴ（ｉ，ｊ）、ｄｙＢＴ（ｉ，ｊ）、ｃｏｎｆＬＲ（ｉ，ｊ）、ｓｔｄＢＴ（ｉ，ｊ）（１＜＝ｉ＜＝Ｍ、１＜＝ｊ＜＝Ｎ）を返す
入力：Ｍ×Ｎタイル；ボトム・トップタイル対の間のｙ軸に沿うオーバーラップはｙ１＜＝ｄｙ＜＝ｙ２である；トップタイルに適用されると、トップタイルをボトムタイルに整列させることになるｘシフトは－ｘｍａｘ＜＝ｄｘ＜＝ｘｍａｘで変動し得る。
出力：（Ｍ－１）×Ｎのボトム・トップ画像対の場合、各対（ｉ，ｊ）について計算される：
ｄｙＬＲ（ｉ，ｊ）：トップタイル（ｉ番目の行、ｊ番目の列）とボトムタイル（（ｉ＋１）番目の行、ｊ番目の列）との間のｙ軸に沿うオーバーラップ
ｄｘＢＴ（ｉ，ｊ）：上記で述べたボトム・トップタイル対の間のｘ軸に沿うシフト：ｄｘ（ｉ，ｊ）が正である場合、トップタイルをボトムタイルに整列させるために、トップタイルが右にシフトされなければならないことが意味される
ｃｏｎｆＢＴ（ｉ，ｊ）：上記で述べた左右タイル対についてのマッチング領域間のＮＣＣが考えられるときのＮＣＣスコア
ｓｔｄＢＴ（ｉ，ｊ）：トップとボトムの両方のタイルのためのマッチング領域について計算される、標準偏差の最大が考えられるときの標準偏差スコア
方法：
ＦＯＲ ｊ＝１：Ｎ／／列インデックス
ＦＯＲ ｉ＝１：Ｍ－１／／行インデックス
トップタイル（ｉ番目の行、ｊ番目の列）およびボトムタイル（ｉ＋１番目の行、ｊ番目の列）の考えられる全てのマッチング領域の間のＮＣＣを計算する、ｙ１＜＝ｄｙ＜＝ｙ２およびｘｍｉｎ＜＝ｄｘ＜＝ｘｍａｘを仮定する
ＥＮＤ ＦＯＲ／／ＦＯＲ 行＝１：Ｍ－１
ＥＮＤ ＦＯＲ／／ＦＯＲ 列＝１：Ｎ
出力：ｄｘＢＴ（ｉ，ｊ）、ｄｙＢＴ（ｉ，ｊ）、ｃｏｎｆＬＲ（ｉ，ｊ）、ｓｔｄＢＴ（ｉ，ｊ）（１＜＝ｉ＜＝Ｍ、１＜＝ｊ＜＝Ｎ）を返す
【0119】
例３－より低い信頼度をトップ・ダウン画像タイル対に割り当てるための方法
Ｆｏｒ ｊ＝１：Ｎ／／列インデックス
Ｆｏｒ ｊ＝１：Ｍ－１／／行インデックス
ｓｔｄＢＴ（ｉ，ｊ）＜σ１の場合、
ｃｏｎｆＢＴ（ｉ，ｊ）＝δ１
ｅｎｄ ｉｆ／／ｅｎｄ ｉｆ：
ｅｎｄ ｆｏｒ／／行インデックス
ｅｎｄ ｆｏｒ／／列インデックス
Ｆｏｒ ｊ＝１：Ｎ／／列インデックス
Ｆｏｒ ｊ＝１：Ｍ－１／／行インデックス
ｓｔｄＢＴ（ｉ，ｊ）＜σ１の場合、
ｃｏｎｆＢＴ（ｉ，ｊ）＝δ１
ｅｎｄ ｉｆ／／ｅｎｄ ｉｆ：
ｅｎｄ ｆｏｒ／／行インデックス
ｅｎｄ ｆｏｒ／／列インデックス
【0120】
例４－平均オーバーラップおよびシフト値を左右画像タイル対に割り当てるための方法
ここで、Ａｖｇｄｘｏｄｄ（ｉ）は、タイルがｉ番目の行にあると共に、左タイルが奇数の列に存在するときの、左右タイル対についての平均オーバーラップである。同様に、Ａｖｇｄｙｏｄｄ（ｉ）は、タイルがｉ番目の行にあると共に、左タイルが奇数の列内に存在するときの、左右タイル対についての平均ｙシフトである。
／＊------------------------------------------＊／
Ｆｏｒ ｉ＝１：Ｍ
Ａｖｇｄｘｏｄｄ（ｉ）＝{ｄｘＬＲ（ｉ，ｊ）、１＜＝ｊ＜＝Ｎ}の平均
Ａｖｇｄｙｏｄｄ（ｉ）＝{ｄｙＬＲ（ｉ，ｊ）、１＜＝ｊ＜＝Ｎ}の平均
Ａｖｇｄｘｅｖｅｎ（ｉ）＝{ｄｘＬＲ（ｉ，ｊ）、２＜＝ｊ＜＝Ｎ}の平均
Ａｖｇｄｘｅｖｅｎ（ｉ）＝{ｄｙＬＲ（ｉ，ｊ）、２＜＝ｊ＜＝Ｎ}の平均
Ｅｎｄ ｆｏｒ
／＊------------------------------------------＊／
以下のモジュールは、左右タイル対について（ｄｘ，ｄｙ）値ならびにＮＣＣベース信頼値がどのように更新されるかを述べる。
／＊------------------------------------------＊／
Ｆｏｒ ｊ＝１：２：Ｎ／／ここで、左タイルが奇数列にある場合が考えられる
Ｆｏｒ ｉ＝１：Ｍ／／ここで、全ての行にわたって反復される
ｓｔｄＬＲ（ｉ，ｊ）＜σ１かつｃｏｎｆＬＲ（ｉ，ｊ）＞δ２である場合、
／／修正は必要とされない
そうでなければ（Ｅｌｓｅ）
ｄｘＬＲ（ｉ，ｊ）＝Ａｖｇｄｘｏｄｄ（ｉ，ｊ）
ｄｙＬＲ（ｉ，ｊ）＝Ａｖｇｄｙｏｄｄ（ｉ，ｊ）
ｃｏｎｆＬＲ（ｉ，ｊ）＝δ１
Ｅｎｄ ｉｆ
Ｅｎｄ ｆｏｒ／／行にわたる反復の終了
Ｅｎｄ ｆｏｒ／／奇数列にわたる反復の終了
／＊------------------------------------------＊／
Ｆｏｒ ｊ＝２：２：Ｎ／／ここで、左タイルが偶数列にある場合を考える
Ｆｏｒ ｉ＝１：Ｍ／／ここで、全ての行にわたって反復する
ｓｔｄＬＲ（ｉ，ｊ）＞σ１かつｃｏｎｆＬＲ（ｉ，ｊ）＞δ２
／／修正は必要とされない
Ｅｌｓｅ
ｄｘＬＲ（ｉ，ｊ）＝Ａｖｇｄｘｅｖｅｎ（ｉ，ｊ）
ｄｙＬＲ（ｉ，ｊ）＝Ａｖｇｄｙｅｖｅｎ（ｉ，ｊ）
ｃｏｎｆＬＲ（ｉ，ｊ）＝δ１
Ｅｎｄ ｉｆ
Ｅｎｄ ｆｏｒ／／行にわたる反復の終了
Ｅｎｄ ｆｏｒ／／偶数列にわたる反復の終了
／＊------------------------------------------＊／
ここで、Ａｖｇｄｘｏｄｄ（ｉ）は、タイルがｉ番目の行にあると共に、左タイルが奇数の列に存在するときの、左右タイル対についての平均オーバーラップである。同様に、Ａｖｇｄｙｏｄｄ（ｉ）は、タイルがｉ番目の行にあると共に、左タイルが奇数の列内に存在するときの、左右タイル対についての平均ｙシフトである。
／＊------------------------------------------＊／
Ｆｏｒ ｉ＝１：Ｍ
Ａｖｇｄｘｏｄｄ（ｉ）＝{ｄｘＬＲ（ｉ，ｊ）、１＜＝ｊ＜＝Ｎ}の平均
Ａｖｇｄｙｏｄｄ（ｉ）＝{ｄｙＬＲ（ｉ，ｊ）、１＜＝ｊ＜＝Ｎ}の平均
Ａｖｇｄｘｅｖｅｎ（ｉ）＝{ｄｘＬＲ（ｉ，ｊ）、２＜＝ｊ＜＝Ｎ}の平均
Ａｖｇｄｘｅｖｅｎ（ｉ）＝{ｄｙＬＲ（ｉ，ｊ）、２＜＝ｊ＜＝Ｎ}の平均
Ｅｎｄ ｆｏｒ
／＊------------------------------------------＊／
以下のモジュールは、左右タイル対について（ｄｘ，ｄｙ）値ならびにＮＣＣベース信頼値がどのように更新されるかを述べる。
／＊------------------------------------------＊／
Ｆｏｒ ｊ＝１：２：Ｎ／／ここで、左タイルが奇数列にある場合が考えられる
Ｆｏｒ ｉ＝１：Ｍ／／ここで、全ての行にわたって反復される
ｓｔｄＬＲ（ｉ，ｊ）＜σ１かつｃｏｎｆＬＲ（ｉ，ｊ）＞δ２である場合、
／／修正は必要とされない
そうでなければ（Ｅｌｓｅ）
ｄｘＬＲ（ｉ，ｊ）＝Ａｖｇｄｘｏｄｄ（ｉ，ｊ）
ｄｙＬＲ（ｉ，ｊ）＝Ａｖｇｄｙｏｄｄ（ｉ，ｊ）
ｃｏｎｆＬＲ（ｉ，ｊ）＝δ１
Ｅｎｄ ｉｆ
Ｅｎｄ ｆｏｒ／／行にわたる反復の終了
Ｅｎｄ ｆｏｒ／／奇数列にわたる反復の終了
／＊------------------------------------------＊／
Ｆｏｒ ｊ＝２：２：Ｎ／／ここで、左タイルが偶数列にある場合を考える
Ｆｏｒ ｉ＝１：Ｍ／／ここで、全ての行にわたって反復する
ｓｔｄＬＲ（ｉ，ｊ）＞σ１かつｃｏｎｆＬＲ（ｉ，ｊ）＞δ２
／／修正は必要とされない
Ｅｌｓｅ
ｄｘＬＲ（ｉ，ｊ）＝Ａｖｇｄｘｅｖｅｎ（ｉ，ｊ）
ｄｙＬＲ（ｉ，ｊ）＝Ａｖｇｄｙｅｖｅｎ（ｉ，ｊ）
ｃｏｎｆＬＲ（ｉ，ｊ）＝δ１
Ｅｎｄ ｉｆ
Ｅｎｄ ｆｏｒ／／行にわたる反復の終了
Ｅｎｄ ｆｏｒ／／偶数列にわたる反復の終了
／＊------------------------------------------＊／
【0121】
例５－重み付き最小２乗ソリューション
タイルのＭ×Ｎセットについて、全てのタイルについて（ｘ，ｙ）トップ左ロケーションが計算される必要がある。基準ポイントとして、（０，０）を（１，１）番目のタイルのトップ左角であると仮定する。（Ｆｘ（ｉ，ｊ），Ｆｙ（ｉ，ｊ））が（ｉ，ｊ）タイルのためのトップ左角についての（ｘ，ｙ）座標であるとする。Ｈｔが１タイル画像についての行の数（高さ）を示し、Ｗｄが１タイル画像についての列の数（幅）を示すとする。
／＊------------------------------------------＊／
以下は、左から右へのタイルマッチングからの（ｄｘ，ｄｙ）値が、タイル（ｘ，ｙ）位置を決定するためにどのように使用されるかを示す。
Ｆｏｒ ｉ＝１：Ｍ／／行インデックス
Ｆｏｒ ｊ＝１：Ｎ－１／／列インデックス
Ｆｘ（ｉ，ｊ＋１）＝Ｆｘ（ｉ，ｊ）＋（Ｗｄ－ｄｘＬＲ（ｉ，ｊ））
Ｆｙ（ｉ，ｊ＋１）＝Ｆｙ（ｉ，ｊ）－（ｄｙＬＲ（ｉ，ｊ））
Ｅｎｄ ｆｏｒ／／列インデックス
Ｅｎｄ ｆｏｒ／／行インデックス
／＊------------------------------------------＊／
／＊------------------------------------------＊／
以下は、ボトムからトップへのタイルマッチングからの（ｄｘ，ｄｙ）値が、タイル（ｘ，ｙ）位置を決定するためにどのように使用されるかを示す。
Ｆｏｒ ｊ＝１：Ｎ／／列インデックス
Ｆｏｒ ｊ＝１：Ｍ－１／／行インデックス
Ｆｘ（ｉ＋１，ｊ）＝Ｆｘ（ｉ，ｊ）＋（－ｄｘＢＴ（ｉ，ｊ））
Ｆｙ（ｉ＋１，ｊ）＝Ｆｙ（ｉ，ｊ）＋（Ｈｔ－ｄｙＢＴ（ｉ，ｊ））
Ｅｎｄ ｆｏｒ／／行インデックス
Ｅｎｄ ｆｏｒ／／列インデックス
／＊------------------------------------------＊／
Ｆｘ項とｄｘ項との間のマッピングを考慮して、以下の式が得られる。
ＡＸ＝Ｄ（ここで、Ｗは既知であり、Ｄは観測ベクトルであり、Ｘは決定される）
ここで、Ｘは（Ｍ×Ｎ）×１ベクトル（未知変数：全てのタイルのトップ左のｘ座標を含む）であり；
Ｄは、（Ｍ×（Ｎ－１）＋Ｎ×（Ｍ－１））×１ベクトルであり（左右対の場合、ｄｘオーバーラップ、および、トップ・ボトム対の場合、ｄｘシフト）；
Ａは、（Ｍ×（Ｎ－１）＋Ｎ×（Ｍ－１））×（Ｍ×Ｎ）行列である。
Ｘ＝［Ｆｘ（１，１）Ｆｘ（１，２）Ｆｘ（１，３）…Ｆｘ（１，Ｎ）Ｆｘ（２，１）Ｆｘ（２，２）…Ｆｘ（２，Ｎ）…Ｆｘ（Ｍ，Ｎ）］Ｔ（そのため、Ｘは、各画像タイルについてトップ左角のＸ座標を示し、タイルは行方向であると考えられる）
そのため、Ｘｉ＝Ｆｘ（ｃｅｉｌ（ｉ／Ｎ），ｍｏｄ（ｉ／Ｎ））／／ｉがＮの倍数であるとき、ｍｏｄ（ｉ／Ｎ）がＮで置換される
表記の使用に関するノート：ｍがｎの倍数である場合、ｍｏｄ（ｍ，ｎ）＝ｎ（かつ非ゼロ）
Ｄ＝「（ｄｘＬＲ（１，１）－Ｗｄ）（ｄｘＬＲ（１，２）－Ｗｄ）ｄｘＬＲ（１，３）－Ｗｄ）…（ｄｘＬＲ（Ｍ，Ｎ－１）－Ｗｄ）ｄｘＢＴ（１，１）ｄｘＢＴ（２，１）ｄｘＢＴ（３，１）…ｄｘＢＴ（Ｍ－１，１）ｄｘＢＴ（１，２）ｄｘＢＴ（２，２）ｄｘＢＴ（３，２）…ｄｘＢＴ（Ｍ－１，Ｎ）」Ｔ
そのため、Ｄにおいて、左右マッチングベースのｄｘ項は、最初に行方向に考えられ、ボトム・トップマッチングベースのｄｘ項は、次に列方向に考えられる。
Ｄｉ＝ｄｘＬＲ（ｃｅｉｌ（ｉ／（Ｎ－１）），ｍｏｄ（ｉ，Ｎ－１））－Ｗｄ
／／ｉがＮ－１の倍数であるとき、ｍｏｄ（ｉ，Ｎ－１）がＮ－１（１＜＝ｉ＜＝）{Ｍ×（Ｎ－１）}で置換される
Ｄｉ＝ｄｘＢＴ（ｍｏｄ（（ｉ－（Ｍ×（Ｎ－１））），Ｍ－１），ｃｅｉｌ（（ｉ－（Ｍ×（Ｎ－１）））／（Ｍ－１））；
｛Ｍ×（Ｎ－１）＋１｝＜＝ｉ＜＝｛Ｍ×（Ｎ－１）＋Ｎ×（Ｍ－１）｝の場合
行列Ａは、疎行列であり、非ゼロ項のみは次の通りである：
Ｗ内の第１のＭ×（Ｎ－１）行は、Ｍ｛（Ｎ－１）×（Ｎ－１）｝ブロック行列からなり、各ブロック行列は、主対角線上に１を、また、対角線のすぐ右の全ての要素について－１を有する。
／＊------------------------------------------＊／
Ｆｏｒ １＜＝ｉ＜＝｛Ｍ×（Ｎ－１）｝
Ａ（ｉ，ｉ）＝１
Ａ（ｉ，ｉ＋１）＝－１
Ｅｎｄ ｆｏｒ
／＊------------------------------------------＊／
／＊------------------------------------------＊／
Ｆｏｒ ｛Ｍ×（Ｎ－１）＋１｝＜＝ｉ＜＝｛Ｍ×（Ｎ－１）＋Ｎ×（Ｍ－１）｝
考慮中の列（ｃｏｌｕｍｎ＿ｂｅｉｎｇ＿ｃｏｎｓｉｄｅｒｅｄ）＝ｃｅｉｌ（（ｉ－（Ｍ×（Ｎ－１）））／（Ｍ－１））
考慮中の行（ｒｏｗ＿ｂｅｉｎｇ＿ｃｏｎｓｉｄｅｒｅｄ）＝ｍｏｄ（（ｉ－（Ｍ×（Ｎ－１））），（Ｍ－１））
Ａ（ｉ，Ｎ×{考慮中の行－１}＋考慮中の列）＝１
Ａ（ｉ，Ｎ×{考慮中の行－１}＋考慮中の列＋Ｎ）＝－１
Ｅｎｄ ｆｏｒ
／＊------------------------------------------＊／
今や、線形最小２乗の形態でセットアップされた問題が得られる。ここで、未知数の数は（Ｍ×Ｎ）であり、式の数は｛Ｍ×（Ｎ－１）＋Ｎ×（Ｍ－１）｝である。そのように、未知数より多い式が得られ、Ｘについて解くため三角形形態のＡ行列を得るためにＱＲ分解が使用される。
今や、重み付き最小２乗において、重みが各式に関連付けられる。ここで、各式は、ｄｘ項（ｄｘＬＲまたはｄｘＢＴ）を考える：そのように、各ｄｘ項が、対応するＮＣＣベース信頼スコアに関連付けられる。
そのため、最終目標は、Ｊ＝（Ｄ－ＡＸ）ＴＷ（Ｄ－ＡＸ）を最小にすることである；
したがって、Ｘｏｐｔ＝ａｒｇ ｍｉｎＸ｛（Ｄ－ＡＸ）ＴＷ（Ｄ－ＡＸ）｝
である。
ここで、Ｗは、（Ｍ×（Ｎ－１）＋Ｎ×（Ｍ－１））×（Ｍ×（Ｎ－１）＋Ｎ×（Ｍ－１））の正方行列であり、非ゼロ対角線項のみを有する；
ここで、
Ｗ（ｉ，ｉ）＝ｃｏｎｆＬＲ（ｃｅｉｌ（ｉ／（Ｎ－１）），ｍｏｄ（ｉ，Ｎ－１））；１＜＝ｉ＜＝｛Ｍｘ（Ｎ - １）｝
および ｆｏｒ ｛Ｍｘ（Ｎ－１）＋１｜｝＜＝ｉ＜＝｛Ｍｘ（Ｎ－１）＋Ｎｘ（Ｍ－１）｝
Ｗ（ｉ，ｉ）＝ｃｏｎｆＢＴ（ｍｏｄ（（ｉ－（Ｍｘ（Ｎ－１））），Ｍ－１），ｃｅｉｌ（（ｉ－（Ｍｘ（Ｎ－１）））／（Ｍ－１）））
Ｆｘについて解かれると、Ｆｙについて解くために、同様の重み付き最小２乗ベース公式が使用され得る。上記で述べたように、トップ左タイルのトップ左角が原点と見なされる。
したがって、全ての他のｘ－ｙ座標は、トップ左タイルのトップ左角を基準に考えられる。
／＊------------------------------------------＊／
原点Ｘ＝Ｆｘ（１，１）
原点Ｙ＝Ｆｙ（１，１）
Ｆｏｒ ｉ＝１：Ｍ／／行インデックス
Ｆｏｒ ｊ＝１：Ｎ－１／／列インデックス
Ｆｘ（ｉ，ｊ）＝Ｆｘ（ｉ，ｊ）－原点Ｘ
Ｆｙ（ｉ，ｊ）＝Ｆｙ（ｉ，ｊ）－原点Ｘ
Ｅｎｄ ｆｏｒ／／Ｆｏｒ ｊ＝１：Ｎ－１
Ｅｎｄ ｆｏｒ／／Ｆｏｒ ｉ＝１：Ｍ
／＊------------------------------------------＊／
タイルのＭ×Ｎセットについて、全てのタイルについて（ｘ，ｙ）トップ左ロケーションが計算される必要がある。基準ポイントとして、（０，０）を（１，１）番目のタイルのトップ左角であると仮定する。（Ｆｘ（ｉ，ｊ），Ｆｙ（ｉ，ｊ））が（ｉ，ｊ）タイルのためのトップ左角についての（ｘ，ｙ）座標であるとする。Ｈｔが１タイル画像についての行の数（高さ）を示し、Ｗｄが１タイル画像についての列の数（幅）を示すとする。
／＊------------------------------------------＊／
以下は、左から右へのタイルマッチングからの（ｄｘ，ｄｙ）値が、タイル（ｘ，ｙ）位置を決定するためにどのように使用されるかを示す。
Ｆｏｒ ｉ＝１：Ｍ／／行インデックス
Ｆｏｒ ｊ＝１：Ｎ－１／／列インデックス
Ｆｘ（ｉ，ｊ＋１）＝Ｆｘ（ｉ，ｊ）＋（Ｗｄ－ｄｘＬＲ（ｉ，ｊ））
Ｆｙ（ｉ，ｊ＋１）＝Ｆｙ（ｉ，ｊ）－（ｄｙＬＲ（ｉ，ｊ））
Ｅｎｄ ｆｏｒ／／列インデックス
Ｅｎｄ ｆｏｒ／／行インデックス
／＊------------------------------------------＊／
／＊------------------------------------------＊／
以下は、ボトムからトップへのタイルマッチングからの（ｄｘ，ｄｙ）値が、タイル（ｘ，ｙ）位置を決定するためにどのように使用されるかを示す。
Ｆｏｒ ｊ＝１：Ｎ／／列インデックス
Ｆｏｒ ｊ＝１：Ｍ－１／／行インデックス
Ｆｘ（ｉ＋１，ｊ）＝Ｆｘ（ｉ，ｊ）＋（－ｄｘＢＴ（ｉ，ｊ））
Ｆｙ（ｉ＋１，ｊ）＝Ｆｙ（ｉ，ｊ）＋（Ｈｔ－ｄｙＢＴ（ｉ，ｊ））
Ｅｎｄ ｆｏｒ／／行インデックス
Ｅｎｄ ｆｏｒ／／列インデックス
／＊------------------------------------------＊／
Ｆｘ項とｄｘ項との間のマッピングを考慮して、以下の式が得られる。
ＡＸ＝Ｄ（ここで、Ｗは既知であり、Ｄは観測ベクトルであり、Ｘは決定される）
ここで、Ｘは（Ｍ×Ｎ）×１ベクトル（未知変数：全てのタイルのトップ左のｘ座標を含む）であり；
Ｄは、（Ｍ×（Ｎ－１）＋Ｎ×（Ｍ－１））×１ベクトルであり（左右対の場合、ｄｘオーバーラップ、および、トップ・ボトム対の場合、ｄｘシフト）；
Ａは、（Ｍ×（Ｎ－１）＋Ｎ×（Ｍ－１））×（Ｍ×Ｎ）行列である。
Ｘ＝［Ｆｘ（１，１）Ｆｘ（１，２）Ｆｘ（１，３）…Ｆｘ（１，Ｎ）Ｆｘ（２，１）Ｆｘ（２，２）…Ｆｘ（２，Ｎ）…Ｆｘ（Ｍ，Ｎ）］Ｔ（そのため、Ｘは、各画像タイルについてトップ左角のＸ座標を示し、タイルは行方向であると考えられる）
そのため、Ｘｉ＝Ｆｘ（ｃｅｉｌ（ｉ／Ｎ），ｍｏｄ（ｉ／Ｎ））／／ｉがＮの倍数であるとき、ｍｏｄ（ｉ／Ｎ）がＮで置換される
表記の使用に関するノート：ｍがｎの倍数である場合、ｍｏｄ（ｍ，ｎ）＝ｎ（かつ非ゼロ）
Ｄ＝「（ｄｘＬＲ（１，１）－Ｗｄ）（ｄｘＬＲ（１，２）－Ｗｄ）ｄｘＬＲ（１，３）－Ｗｄ）…（ｄｘＬＲ（Ｍ，Ｎ－１）－Ｗｄ）ｄｘＢＴ（１，１）ｄｘＢＴ（２，１）ｄｘＢＴ（３，１）…ｄｘＢＴ（Ｍ－１，１）ｄｘＢＴ（１，２）ｄｘＢＴ（２，２）ｄｘＢＴ（３，２）…ｄｘＢＴ（Ｍ－１，Ｎ）」Ｔ
そのため、Ｄにおいて、左右マッチングベースのｄｘ項は、最初に行方向に考えられ、ボトム・トップマッチングベースのｄｘ項は、次に列方向に考えられる。
Ｄｉ＝ｄｘＬＲ（ｃｅｉｌ（ｉ／（Ｎ－１）），ｍｏｄ（ｉ，Ｎ－１））－Ｗｄ
／／ｉがＮ－１の倍数であるとき、ｍｏｄ（ｉ，Ｎ－１）がＮ－１（１＜＝ｉ＜＝）{Ｍ×（Ｎ－１）}で置換される
Ｄｉ＝ｄｘＢＴ（ｍｏｄ（（ｉ－（Ｍ×（Ｎ－１））），Ｍ－１），ｃｅｉｌ（（ｉ－（Ｍ×（Ｎ－１）））／（Ｍ－１））；
｛Ｍ×（Ｎ－１）＋１｝＜＝ｉ＜＝｛Ｍ×（Ｎ－１）＋Ｎ×（Ｍ－１）｝の場合
行列Ａは、疎行列であり、非ゼロ項のみは次の通りである：
Ｗ内の第１のＭ×（Ｎ－１）行は、Ｍ｛（Ｎ－１）×（Ｎ－１）｝ブロック行列からなり、各ブロック行列は、主対角線上に１を、また、対角線のすぐ右の全ての要素について－１を有する。
／＊------------------------------------------＊／
Ｆｏｒ １＜＝ｉ＜＝｛Ｍ×（Ｎ－１）｝
Ａ（ｉ，ｉ）＝１
Ａ（ｉ，ｉ＋１）＝－１
Ｅｎｄ ｆｏｒ
／＊------------------------------------------＊／
／＊------------------------------------------＊／
Ｆｏｒ ｛Ｍ×（Ｎ－１）＋１｝＜＝ｉ＜＝｛Ｍ×（Ｎ－１）＋Ｎ×（Ｍ－１）｝
考慮中の列（ｃｏｌｕｍｎ＿ｂｅｉｎｇ＿ｃｏｎｓｉｄｅｒｅｄ）＝ｃｅｉｌ（（ｉ－（Ｍ×（Ｎ－１）））／（Ｍ－１））
考慮中の行（ｒｏｗ＿ｂｅｉｎｇ＿ｃｏｎｓｉｄｅｒｅｄ）＝ｍｏｄ（（ｉ－（Ｍ×（Ｎ－１））），（Ｍ－１））
Ａ（ｉ，Ｎ×{考慮中の行－１}＋考慮中の列）＝１
Ａ（ｉ，Ｎ×{考慮中の行－１}＋考慮中の列＋Ｎ）＝－１
Ｅｎｄ ｆｏｒ
／＊------------------------------------------＊／
今や、線形最小２乗の形態でセットアップされた問題が得られる。ここで、未知数の数は（Ｍ×Ｎ）であり、式の数は｛Ｍ×（Ｎ－１）＋Ｎ×（Ｍ－１）｝である。そのように、未知数より多い式が得られ、Ｘについて解くため三角形形態のＡ行列を得るためにＱＲ分解が使用される。
今や、重み付き最小２乗において、重みが各式に関連付けられる。ここで、各式は、ｄｘ項（ｄｘＬＲまたはｄｘＢＴ）を考える：そのように、各ｄｘ項が、対応するＮＣＣベース信頼スコアに関連付けられる。
そのため、最終目標は、Ｊ＝（Ｄ－ＡＸ）ＴＷ（Ｄ－ＡＸ）を最小にすることである；
したがって、Ｘｏｐｔ＝ａｒｇ ｍｉｎＸ｛（Ｄ－ＡＸ）ＴＷ（Ｄ－ＡＸ）｝
である。
ここで、Ｗは、（Ｍ×（Ｎ－１）＋Ｎ×（Ｍ－１））×（Ｍ×（Ｎ－１）＋Ｎ×（Ｍ－１））の正方行列であり、非ゼロ対角線項のみを有する；
ここで、
Ｗ（ｉ，ｉ）＝ｃｏｎｆＬＲ（ｃｅｉｌ（ｉ／（Ｎ－１）），ｍｏｄ（ｉ，Ｎ－１））；１＜＝ｉ＜＝｛Ｍｘ（Ｎ - １）｝
および ｆｏｒ ｛Ｍｘ（Ｎ－１）＋１｜｝＜＝ｉ＜＝｛Ｍｘ（Ｎ－１）＋Ｎｘ（Ｍ－１）｝
Ｗ（ｉ，ｉ）＝ｃｏｎｆＢＴ（ｍｏｄ（（ｉ－（Ｍｘ（Ｎ－１））），Ｍ－１），ｃｅｉｌ（（ｉ－（Ｍｘ（Ｎ－１）））／（Ｍ－１）））
Ｆｘについて解かれると、Ｆｙについて解くために、同様の重み付き最小２乗ベース公式が使用され得る。上記で述べたように、トップ左タイルのトップ左角が原点と見なされる。
したがって、全ての他のｘ－ｙ座標は、トップ左タイルのトップ左角を基準に考えられる。
／＊------------------------------------------＊／
原点Ｘ＝Ｆｘ（１，１）
原点Ｙ＝Ｆｙ（１，１）
Ｆｏｒ ｉ＝１：Ｍ／／行インデックス
Ｆｏｒ ｊ＝１：Ｎ－１／／列インデックス
Ｆｘ（ｉ，ｊ）＝Ｆｘ（ｉ，ｊ）－原点Ｘ
Ｆｙ（ｉ，ｊ）＝Ｆｙ（ｉ，ｊ）－原点Ｘ
Ｅｎｄ ｆｏｒ／／Ｆｏｒ ｊ＝１：Ｎ－１
Ｅｎｄ ｆｏｒ／／Ｆｏｒ ｉ＝１：Ｍ
／＊------------------------------------------＊／
【0122】
本明細書において参照される、および／または、出願データシートにおいて挙げられる、米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、おび非特許出願の全ては、参照によりその全体を本明細書に組み込まれる。実施形態の態様は、必要である場合、修正されて、種々の特許、出願、および公開の概念を使用し、それにより、なおさらなる実施形態を提供する。
【0123】
これは、例示的な実施形態の説明を結論付ける。本開示は幾つかの例証的な実施形態を参照して述べられたが、本開示の原理の趣旨および範囲内に入ることになる多数の他の修正形態および実施形態が、当業者によって考案され得ることが理解されるべきである。より詳細には、妥当な変形および修正は、本開示の趣旨から逸脱することなく、上記開示、図面、および添付特許請求項の範囲内で、サブジェクト組み合わせ配置構成のコンポーネント部品および／または配置構成において可能である。コンポーネント部品および／または配置構成における変形および修正に加えて、代替的使用は、同様に、当業者に明らかであろう。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】