特開 2023-123838 連続画像処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023123838

(43)【公開日】2023-09-05

(54)【発明の名称】連続画像処理

(51)【国際特許分類】

   G06F 16/532 20190101AFI20230829BHJP

【ＦＩ】

G06F16/532

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023111569

(22)【出願日】2023-07-06

(62)【分割の表示】P 2021058595の分割

【原出願日】2014-11-17

(31)【優先権主張番号】61/905,027

(32)【優先日】2013-11-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】PCT/US2014/065850

(32)【優先日】2014-11-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/929,059

(32)【優先日】2014-01-19

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】513021589

【氏名又は名称】コリスタ・エルエルシー

【氏名又は名称原語表記】ＣＯＲＩＳＴＡ ＬＬＣ

(74)【代理人】

【識別番号】100087941

【弁理士】

【氏名又は名称】杉本 修司

(74)【代理人】

【識別番号】100112829

【弁理士】

【氏名又は名称】堤 健郎

(74)【代理人】

【識別番号】100150566

【弁理士】

【氏名又は名称】谷口 洋樹

(72)【発明者】

【氏名】ペース・チャールズ・ピー

(72)【発明者】

【氏名】ウィルチ・エリック

(57)【要約】

【課題】データをクエリ、分析および処理する方法を提供する。
【解決手段】画像のデータベースをクエリに基づく検索方法は、クエリの倍率レベルが第１閾値よりも大きいと、クエリのその倍率レベルでクエリを満たす第１のリストの結果タイルを返し、倍率レベルが第１閾値以下であると、次に低い倍率レベルのタイルを取り出す過程かつ次に低い倍率レベルでクエリを満たす第２のリストの結果タイルを返し、結果タイルのそれぞれについて、その結果タイルを、結果タイルのサブセットに追加すること、サブセット内の結果タイルの数が第２閾値以上であると、サブセットを再帰的に検索すること、サブセットについての各再帰的検索の結果を、残りのサブセットへと保存すること、残りのサブセットを再帰的に検索すること、および残りのサブセットについての検索の結果を保存すること、を有し、各リストの結果タイルを処理する。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータに実装される、画像のデータベースをクエリに含まれる１つ以上のクエリタイルに基づいて検索する方法であって、
前記画像のデータベース中の画像の当初のキャプチャ解像度を、クエリタイルを比較に用いて検索し、このクエリタイルを提供する過程と、
前記クエリタイルの倍率レベルが第１の閾値よりも大きいとの判定に応答して、倍率レベルが前記クエリタイルの倍率レベル以上である前記データベースに記憶された画像を検索して、前記クエリタイルのその倍率レベルで当該クエリタイルを満たす第１のリストの結果タイルを返す過程と、
前記クエリタイルの倍率レベルが前記第１の閾値以下であるとの判定に応答して、前記データベースに記憶された画像を検索して、前記クエリタイルの倍率レベルの次に低い倍率レベルのタイルを取り出す過程かつ当該次に低い倍率レベルで前記クエリタイルを満たす第２のリストの結果タイルを返す過程と、
各リストの結果タイルを処理する過程であって、結果タイルのそれぞれについて、
その結果タイルを、複数のサブセットのうちの、結果タイルのサブセットに追加すること、
前記結果タイルのサブセット内の結果タイルの総数が第２の閾値以上であるとの判定に応答して、前記クエリタイルについて前記サブセットを再帰的に検索すること、
前記結果タイルのサブセットについての各々の再帰的検索の結果を、前記複数のサブセットの残りのサブセットへと保存すること、
前記クエリタイルについて前記残りのサブセットを再帰的に検索すること、および
前記残りのサブセットについての検索の結果を保存すること、
を有する、過程と、
を含む、方法。

【請求項2】

請求項１に記載の方法において、各々の倍率レベルが、四分木における１つのレベルに対応し、かつ、前記四分木における各々のレベルが、画像を表す結果タイルを含む、方法。

【請求項3】

請求項２に記載の方法において、子供タイルが、親タイルと連関性を有する、方法。

【請求項4】

請求項３に記載の方法において、前記親タイルが、対応する少なくとも１つの前記子供タイルの、ダウンサンプリングされたタイルおよびローパス空間的フィルタリングされたタイルのうちの少なくとも１つである、方法。

【請求項5】

請求項１に記載の方法において、前記結果タイルのサブセット内の結果タイルの総数が前記第２の閾値よりも小さいとの判定に応答して、
前記クエリタイルについて前記結果タイルのサブセットを再帰的に検索し、
再帰的な検索の結果を暫定的な結果セットに追加し、
前記サブセットをクリアし、その後、
前記クエリタイルについて前記残りのサブセットを再帰的に検索し、
検索の結果を前記暫定的な結果セットに追加し、
前記残りのサブセットをクリアし、
前記暫定的な結果セットを返す、方法。

【請求項6】

請求項１に記載の方法において、前記クエリが、画像を含み、かつ、前記クエリの前記倍率レベルが、その画像の倍率レベルである、方法。

【請求項7】

請求項６に記載の方法において、結果タイルが、当該結果タイルの倍率、前記クエリの画像、当該結果タイルに関連付けられたインデックスのファイル名、結果のサイズ、およびインデックスの種類のうちの少なくとも１つに基づいて、返すリストに含められる、方法。

【請求項8】

請求項１に記載の方法において、所定の前記第２の閾値は、検索結果数がある数値を下回るとの判定に応答して当該方法が終了するように定義される、方法。

【請求項9】

請求項６に記載の方法において、前記クエリが、暫定的な結果セットを返す過程後に更新される、方法。

【請求項10】

請求項１に記載の方法において、前記クエリが、品質の閾値レベルを含む、方法。

【請求項11】

請求項１に記載の方法において、前記クエリが時間制限を含み、前記検索はこの時間制限で実行される、方法。

【請求項12】

コンピュータに実装され、クエリタイルに基づいてタイルセットの再帰的検索を実行する方法であって、
再帰的検索における現在のタイルセットの各タイルについて、前記クエリタイルに対する結果セットが充実するまで、
前記現在のタイルセットの次のレベルからタイルのセットを取り出すこと、および
前記次のレベルのタイルセットを前記結果セットに追加すること、
を実行する過程と、
前記クエリタイルの倍率レベルが所定のターゲットレベルであるとの判定に応答して、前記結果セットの前記クエリタイルに対する一致の度合いを評価する過程と、
前記クエリタイルの倍率レベルが前記ターゲットレベルよりも下であるとの判定に応答して、前記結果セット内の各タイルについて、
サブセット内のタイルの数が第３の閾値以上であるとの判定に応答して、そのタイルを当該サブセットに追加すること、
前記サブセット内のタイルの数が前記第３の閾値よりも小さいとの判定に応答して、
前記クエリタイルについて前記サブセットを再帰的に検索することと、
この再帰的な検索の結果を暫定的な結果セットに追加することと、
前記サブセットをクリアすることと、
を実行すること、
前記クエリタイルについて前記サブセットを再帰的に検索すること、
検索の結果を前記暫定的な結果セットに追加すること、
前記サブセットをクリアすること、および
前記暫定的な結果セットを返すこと、
を実行する過程と、
を含む、方法。

【請求項13】

請求項１２に記載の方法において、前記クエリタイルに対する一致の度合いを評価する前記過程は、前記結果セット内の第１のタイルの、前記クエリタイルと比較してのマッチ値が、所定値未満であるか否かを判定することを有する、方法。

【請求項14】

請求項１２に記載の方法において、あるタイルにおける各々のピクセルが、当該各々のピクセルの色および輝度のうちの少なくとも１つを表す少なくとも１つの数値を有し、かつ、それぞれのタイルが、そのタイルにおける全てのピクセルについての前記少なくとも１つの数値のベクトルを有する、方法。

【発明の詳細な説明】

【関連出願】

【0001】

本願は、2013年11月15日付出願の“Continuous Image Analytics（連続画像処理）”と称される米国仮特許出願第61/905,027号の優先権、および2014年11月15日付出願の“Continuous Image Analytics（連続画像処理）”と称されるＰＣＴ国際出願第PCT/US14/65850号の優先権を主張する。各出願の全教示内容は、参照をもって本明細書に取り入れたものとする。

【著作権の留保】

【0002】

本願書類の開示内容の一部分は、著作権保護の対象となる著作物を含んでいる。著作権者は、特許庁の特許包袋又は記録に表示された本願書類又は本願の開示内容を何人かが複製することに対して異論を唱えないが，それ以外については全ての著作権を留保する。

【技術分野】

【0003】

データをクエリ、分析および処理する、方法、システムおよび記憶媒体（例えば、非過渡的な記憶媒体）におけるコンピュータ読取り可能な命令のセットを提供する。具体的には、デジタルシステムに用いられるサンプルを処理し、画像のデータベースをクエリし、画像データを反復的に処理し、画像データ結果を生成する、方法、システムおよび記憶媒体（例えば、非過渡的な記憶媒体）におけるコンピュータ読取り可能な命令のセットを提供する。

【背景技術】

【0004】

データのレポジトリからは、クエリで要求することにより、関連性のあるデータを取り出すことができる。しかし、既存のデータベース－クエリシステムでは、ユーザの概念的予想（例えば、クエリで伝えられる概念的予想）とデータの低次的表現との間にセマンティックギャップが存在する。具体的に述べると、組織イメージング（組織の画像化）の場合、顕微鏡組織のデジタル画像の低次的表現とユーザの意図（つまりクエリで伝えられる意図）との間に、意味の割当て上のセマンティックギャップが存在する。このセマンティックギャップの規模は、コンテンツベースの画像検索手法を汎用的に適用することを不可能にするほど大きい。具体的に述べると、クエリが広過ぎると関連性のない結果が返され、クエリが具体的過ぎると関連性のある結果が排除される可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

セマンティックギャップの問題は、データの複雑性、ばらつきおよび大きさに原因がある。これらの要因は、アルゴリズムの区別化手段を複雑化させ（例えば、区別化手段に反するように働き）、極端な場合、制約適用範囲を超えてアルゴリズムが拡張されるとエラーモデルが画像データのパターンモデルを支配するといったことになりかねない。その他の問題として、アルゴリズムを大量の画像データに対して適用する際に用いられる実用上の近似仮定の問題が挙げられる。ここでの近似とは、アルゴリズムを演算上扱いやすくするための、画像データのサブセットや要約を指す。組織画像データの場合、データのスケールが極めて広いため、区別的フィーチャが難解になるだけでなく、異なるスケールで区別的フィーチャの意味が異なってくる。

【課題を解決するための手段】

【0006】

本発明は、コンピュータによって実行される、画像のデータベースをクエリに基づいて検索する方法であって、前記クエリの倍率レベルが第１の閾値よりも大きいとの判定に応答して、前記クエリのその倍率レベルで当該クエリを満たす第１のリストの結果タイルを返す過程と、前記クエリの倍率レベルが前記第１の閾値以下であるとの判定に応答して、次に低い倍率レベルのタイルを取り出す過程かつ当該次に低い倍率レベルで前記クエリを満たす第２のリストの結果タイルを返す過程と、各リストの結果タイルを処理する過程であって、結果タイルのそれぞれについて、その結果タイルを、結果タイルのサブセットに追加すること、前記サブセット内の結果タイルの総数が第２の閾値以上であるとの判定に応答して、前記サブセットを再帰的に検索すること、前記サブセットについての各々の再帰的検索の結果を、残りのサブセットへと保存すること、前記残りのサブセットを再帰的に検索すること、および前記残りのサブセットについての検索の結果を保存すること、を有する、過程と、を含む、方法を提供する。

【0007】

一実施形態では、各々の倍率レベルが、四分木における１つのレベルに対応し、かつ、前記四分木における各々のレベルが、画像結果を表すタイルを含む。一実施形態では、子供タイルが、親タイルと連関性を有する。一実施形態では、前記親タイルが、対応する少なくとも１つの前記子供タイルの、ダウンサンプリングおよびローパス空間的フィルタリングのうちの少なくとも１つである。一実施形態では、前記次に低い倍率レベルのタイルを取り出す過程が、前記四分木における次に低いレベルで子供を生成することを含む。一実施形態では、前記クエリが、結果数の最小閾値および結果数の最大閾値のうちの少なくとも１つを含む。一実施形態において、結果数の前記閾値は、システム資源に基づくものである。一実施形態では、前記クエリが、画像を含み、かつ、前記クエリの前記倍率レベルが、その画像の倍率レベルである。一実施形態では、結果タイルが、当該結果タイルの倍率、前記クエリの画像、当該結果タイルに関連付けられたインデックスのファイル名、結果のサイズ、およびインデックスの種類のうちの少なくとも１つに基づいて、返すリストに含められる。一実施形態では、前記クエリが、ある時間制限内で検索を実行するための、その時間制限を含む。一実施形態では、前記クエリが、品質レベルの閾値を含む。一実施形態において、所定の前記第１の閾値は、検索結果数がある数値を下回るとの判定に応答して当該方法が終了するように定義される。一実施形態において、所定の前記第１の閾値は、倍率レベルの数値に相当するように定義される。一実施形態において、所定の前記第１の閾値は、深さベースの検索が使用されないように定義される。一実施形態において、ある倍率レベルは、それよりも低い倍率レベルよりも高い解像度を有する。一実施形態において、ある倍率レベルは、各寸法の解像度が、次に低い倍率レベルの２倍である。一実施形態では、前記クエリが、前記第１のリストの結果タイルを返す過程後に更新される。一実施形態において、前記方法は、さらに、各リストの結果タイルを処理する過程前に、前記第１のリストの結果タイルおよび前記第２のリストの結果タイルのうちの少なくとも１つから結果を除外する過程、を含む。一実施形態において、各リストの結果タイルを処理する過程は、さらに、各々の再帰的検索の結果を保存することの後に前記サブセットをクリアすること、および前記残りのサブセットについての再帰的検索の結果を保存することの後に前記残りのサブセットをクリアすることを有する。一実施形態において、前記再帰的検索は、深さ優先検索である。一実施形態において、保存された前記結果は、検索が終了する前に利用可能である。

【0008】

一実施形態において、クエリタイルに基づいてタイルセットの再帰的検索を実行する方法及びシステムは、前記タイルセットの各タイルについて、結果セットが大きくなる（populated（充実する））まで、次のレベルからタイルのセットを取り出すこと、および前記次のレベルのタイルセットを前記結果セットに追加すること、を実行する過程と、倍率レベルが所定のターゲットレベルであるとの判定の場合に、前記結果セット内のマッチ（一致）の品質を評価する過程と、倍率レベルが前記ターゲットレベルよりも下であるとの判定の場合に、前記結果セット内の各タイルについて、サブセット内のタイルの数が第３の閾値以上であるとの判定に応答して、そのタイルを当該サブセットに追加すること、前記サブセット内のタイルの数が前記第３の閾値よりも小さいとの判定に応答して、前記サブセットを再帰的に検索することと、前記再帰的検索の結果を暫定的な結果セットに追加することと、前記サブセットをクリアすることと、を実行すること、前記サブセットを再帰的に検索すること、検索の結果を前記暫定的な結果セットに追加すること、前記サブセットをクリアすること、および前記暫定的な結果セットを返すこと、を実行する過程と、を含む。

【0009】

一実施形態において、前記クエリタイルは、前記タイルセットにおける第１のタイルの、第１の子供タイルとして含まれる。一実施形態において、マッチの品質を評価する過程は、前記結果セット内の第１のタイルの、前記クエリタイルと比較してのマッチ値が、所定値未満であるか否かを判定することを有する。一実施形態において、前記所定値は、５０％である。一実施形態において、マッチの品質は、ベクトル間の差分に基づくものである。一実施形態において、ベクトル間の前記差分は、それぞれのタイルのベクトル間の距離に基づくものである。一実施形態において、ベクトル間の前記差分は、それぞれのタイルのベクトル間の平均二乗誤差に基づくものである。一実施形態では、あるタイルにおける各々のピクセルが、当該各々のピクセルの色および輝度のうちの少なくとも１つを表す少なくとも１つの数値を有し、かつ、それぞれのタイルが、そのタイルにおける全てのピクセルについての前記少なくとも１つの数値のベクトルを有する。一実施形態において、前記クエリは、マッチの品質を評価するための前記所定値を含む。一実施形態において、返された前記暫定的な結果セットは、前記クエリとのマッチ度合い（matching）に基づいて仕分けられる。一実施形態において、前記暫定的な結果セットは、対応する親タイルとのマッチ度合いに基づいて仕分けられる。

【0010】

一実施形態において、コンピュータによって実行される、処理実行プランは、少なくとも画像フィーチャの空間的位置及び広がりを含む、少なくとも１つの選択可能なプローブフィーチャ指定と、画像のセットを含む少なくとも１つのターゲット指定であって、前記画像のセットが、顕微鏡スライドの少なくとも１つの画像を含む、少なくとも１つのターゲット指定と、前記少なくとも１つの選択可能なプローブフィーチャと前記少なくとも１つのターゲット指定との相関サンプルを生成するための比較順序及び比較演算子を含む、トラバーサルプランと、を備え、前記相関サンプルが、類似性方法、類似性尺度、前記少なくとも１つの選択可能なプローブフィーチャ指定、前記少なくとも１つのターゲット指定、および前記画像フィーチャの前記広がりを含む。一実施形態において、前記トラバーサルプランは、サンプルを順序付けて類似性尺度を適用することによって前記少なくとも１つの選択可能なプローブフィーチャ指定との相関関係を確立させる方法を少なくとも含み、前記相関関係を含むデータは、トラバーサルプランにとって利用可能である永続的なコンピュータメモリに、当該トラバーサルプランによって前記処理実行プランが相関を評価することに適応されるように保持される。一実施形態において、前記トラバーサルプランは、前記サンプルを、一様な格子を有する統計的に一様なサンプリング、前記スライドの四分木分解、前記スライドの埋込みゼロツリー、網羅的なサンプリング、スパース（疎）なサンプリング、およびスケール・近さバイアス付きサンプリングのうちの少なくとも１つによって定義される順序で評価することに基づくものとされる。

【0011】

一実施形態では、推移するバイアスが、過去に相関したデータとの少なくとも１つの相関を用いることで各々のデータとの相関を予測することができるように適応的に適用される。一実施形態では、オンライン機械学習が、サンプリングおよび前記トラバーサルプランをバイアスするように使用される。一実施形態では、ユーザからの関連性フィードバックが、前記トラバーサルプランの実行中にサンプリングをバイアスするように使用される。一実施形態では、前記トラバーサルプランが、結果セットの一部として返されるサンプルを決定するのに利用可能な結果パラメータを定義し、当該パラメータは、倍率スケールおよび空間的広がりを含み、前記処理実行プランが、サンプルが評価される順序を定義し、当該順序が、結果セットのサンプルが返されるレートを決定する。

【0012】

一実施形態では、スケールベース従属の木々が、各々の評価状態の分離に基づいて定義され、前記スケールベース従属の木々（ツリー）が、並列評価のために別個の処理要素に分配される。一実施形態では、データのうちの定められた区分が、他のデータ区分と独立して与えられ、かつ、部分的結果のための、データの中間的セットが生成される。一実施形態では、分割されたデータと処理指定とが、同一の記憶装置に記憶される。一実施形態において、分割は、サンプル評価毎に返される結果サンプルの数に基づくものとされ、その分割サイズは増加および減少のうちの少なくとも１つとなる。一実施形態では、変換プロセスが、前記結果セットに対する少なくとも１つの画像処理変換に適用され、かつ、前記変換プロセスの出力は、永続的な記憶装置に記憶される変換後のサンプルを含む。

【0013】

一実施形態において、プローブサンプルおよびターゲットサンプルは、実行することによって返されるサンプルが二次的な結果サンプルであるトラバーサルプランを形成するように、利用可能な変換後のサンプルおよび二次的なサンプルから選択される。一実施形態では、前記二次的な結果セットサンプルが、一次的なトラバーザルプランを適応的にバイアスするように用いられ、前記二次的な結果セットに基づく強い相関は、前記一次的なトラバーサルプランにおける対応するサンプルが優先的に評価されるべきであることを示す。一実施形態において、前記二次的な結果サンプルは、当該二次的な結果サンプルをさらに変換して変換後の三次的なサンプルを生成するように適応的にバイアスされ、前記一次的な結果セットへの前記二次的な結果セットの適応的なバイアス適用（biasing）が、前記三次的な結果セットによる前記二次的な結果セットのバイアス適用にも及ぶ。一実施形態では、上流のプランと下流のプランとの適応的なバイアス適用が、チェーン状に用いられる。一実施形態では、前記適応的なバイアス適用に、グラフのトポグラフィが利用される。

【0014】

一実施形態において、コンピュータによって実行される、画像データのレポジトリを連続的に処理する方法は、データの要求を含むクエリ指定を受け取る過程と、当該方法を実行する前記コンピュータのシステム指定を受け取る過程と、ドメイン指定を決定するために、前記クエリ指定と前記システム指定とを比較する過程と、前記レポジトリに対するクエリを、前記ドメイン指定に基づいて開始する過程と、前記クエリの、画像データを含む結果を受け取る過程と、前記結果画像データのインタラクティブかつ反復的な探索を、グラフィカルユーザインターフェースに表示する過程と、前記結果画像データの入力を、前記グラフィカルユーザインターフェースを介して受け取る過程と、前記クエリを、受け取った前記入力に基づいて更新する過程と、更新された結果画像データに基づいて、更新された前記グラフィカルユーザインターフェースを表示する過程と、を含む。一実施形態では、画像データの前記レポジトリが、顕微鏡のデジタルデータ（digital microscopy data）を含む。一実施形態では、画像データの前記レポジトリが、あるスケールの組織画像データを、当該データの、粗スケール側での近似が、細スケール側での当該データと相関を有さないように含む。一実施形態において、前記画像データの連続的な処理は、当該処理が完全に終了する前に結果が利用可能となるように、漸増的に結果を生成する。一実施形態では、前記クエリ指定が、データのインデックス及び変換を暗示的に定義する。

【0015】

一実施形態において、コンピュータによって実行される、データレポジトリ内の画像データをクエリに基づいて変換する方法は、前記データレポジトリ内のデータについてのクエリを受け取る過程であって、当該クエリが、少なくとも１つのプローブタイルおよび当該クエリが実行される少なくとも１つのグループのスライドを含む、過程と、前記データレポジトリを、前記クエリと前記プローブタイルとのオーバーラップが空間的な関連性を有するものである限り各々の倍率レベルを介して再帰的に検索する過程と、前記再帰的検索の結果に基づいて、前記クエリを洗練化する（絞り込む）過程と、前記再帰的検索に基づいて、ターゲットスライドについてのトラバーサルプランを生成する過程と、前記クエリによって返されるデータに基づいて、データを変換する過程と、を含み、前記変換が、前記データの個々のペル位置および前記データの色深度のうちの少なくとも１つを調節することを有する。

【0016】

一実施形態において、少なくとも２５６個のピクセルのオーバーラップがあるとの判定に応答して、オーバーラップは、空間的な関連性を有するものとされる。一実施形態において、前記クエリは、検索述語およびクエリターゲットを含む。一実施形態において、プローブフィーチャ指定は、関心領域として指定される記検索述語を含み、前記関心領域は、画像上の、指定された広がりを有する位置を含む。一実施形態において、前記プローブフィーチャ指定は、検索のマッチを生成するうえで当該プローブフィーチャ指定が標的とする画像のセットを有する、少なくとも１つのタイルを含む。一実施形態において、トラバーサルプランは、ターゲットが少なくとも１つのプローブフィーチャ指定と比較される順序を含む。一実施形態において、前記プローブフィーチャ指定および前記ターゲットのそれぞれは、タイル、単一の画像、および顕微鏡スライド画像の、ある倍率レベルでのサブ画像のうちの少なくとも１つである。

【図面の簡単な説明】

【0017】

【図1】例示的な一実施形態におけるインタラクティブなデータ探索の方法を示すフロー図である。

【図2】例示的な一実施形態における探索ライフサイクルを示すフロー図である。

【図3】例示的な一実施形態におけるクエリユニットを示すブロック図である。

【図4】例示的な一実施形態における分析ユニットを示すブロック図である。

【図5】例示的な一実施形態における、クエリユニットの中間的段階でのアーキテクチャを示す図である。

【図6】例示的な一実施形態におけるレポジトリの構成要素を示すブロック図である。

【図7A】例示的な一実施形態を示す図である。

【図7B】例示的な一実施形態を示す図である。

【図8A】例示的な一実施形態を示す図である。

【図8B】例示的な一実施形態を示す図である。

【図9】本発明の一実施形態におけるスライドのレイアウトの一例を示す図である。

【図10】例示的な一実施形態におけるスライド又はタイルのフィーチャ比較の一例を示す図である。

【図11】例示的な一実施形態における、タイルの空間的分解の一例を示す図である。

【図12】例示的な一実施形態における、タイルのスケール分解の一例を示す図である。

【発明を実施するための形態】

【0018】

セマンティックギャップに由来する問題に対処するための、データ（例えば、画像データ）を連続的に処理する方法、システムおよびコンピュータ読取り可能な（記憶媒体に記憶されたものである）命令を提供する。一実施形態において、前記方法は、（ユーザの意図を表すものである）クエリ、システムの機能、およびシステムによるユーザのガイドによって起動される。前記方法は、データのクエリ、分析および処理のうちの少なくとも１つを介して、データのインタラクティブ（対話型）かつ反復的な探索を提供する。例えば、本発明は、組織画像データのユニークな要件やその他の生体画像データのユニークな要件に的を絞った、画像データの探索を提供する。本発明の用途として、様々な用途が考えられる。例えば、本発明は、写真業、衛星画像等を含むあらゆる産業でのあらゆる画像に関して適用することができる。

【0019】

一実施形態において、探索の方法及びシステムは、クエリ範囲およびクエリ結果についての即座のフィードバックをユーザに提供する。これにより、クエリを直ちに洗練化することが容易となる。前記方法は、さらに、クエリから返された画像データ結果に対して実行する分析や処理を指定することを可能する。

【0020】

一実施形態では、クエリ指定が、データの導出されたインデックス及びデータ変換を暗示的に定義する。一実施形態において、前記定義はクエリに対する結果を生成する。これら結果は、当該定義からの結果に反応したものである。一実施形態において、前記結果は、予め算出されたもの、および／または、オンデマンドで算出されたもの、および／または、過去の探索時に算出されたものである。一実施形態において、前記結果は、ユーザエクスペリエンス要件、ユーザのクエリ指定／洗練化、およびシステム機能のうちの少なくとも１つに基づいて、漸増的に返される。一実施形態では、複数のクエリ過程、分析過程および処理過程が、これらの各過程の反復的処理によってチェーン状に繋げられている。これらの過程の組合せが、処理のパイプラインとなる。

【0021】

一実施形態において、システム及び方法の構成要素は、当該システムが前記処理のパイプラインを連続的に解決するための手段を提供する。一実施形態では、前記処理の結果が、漸増的に生成されて、かつ、ユーザおよび／または前記パイプラインの後段に与えられる。この構成は、１つのパイプライン工程で全てのデータを完全に処理する必要がないので有利である。例えば、前記結果は、少なくとも１つのプロセッサによって見つけられるたびに提供される。所与の結果が、関連性がより高いものとして選択されると、クエリがこの情報を用いて更新されて、前記少なくとも１つのプロセッサによる後の検索及び結果は、その更新されたクエリを含むものとされる。そして、前記少なくとも１つのプロセッサが、開始されていた検索を続行する。代替的な一実施形態では、クエリが変更されると、検索が新たに開始される。

【0022】

一実施形態において、システム及び方法は、アーカイブ動作、記憶動作、転送動作および分析動作を含み、かつ、この順番で優先順序化される。アーカイブ動作は、データ（例えば、組織画像データ）の保持および複製を含む。これにより、データを、頻繁に移動されることなく長期記憶可能なデータとすることが確実にできる。アーカイブされたままのデータに対して処理を実行することは、当該データを、当該データの演算処理にとってローカルな側に移動させるのではなく、当該データの演算処理を、当該データにとってローカルな側に移動させることを伴う。記憶動作は、データへのアクセスを、マルチスケールの間引き表現で提供する。記憶動作は、データを、アクセスレイテンシを減らし且つ導出データの記憶及びロードを管理するように編成する。転送動作は、データつまり導出データを送信する必要性を制限する。例えば、転送動作は、導出データが小さい場合に、下流の処理へのデータの転送を遅らせて且つ当該データの分析及び変換を当該データにとってローカルな側で実行し且つ結果を返す。

【0023】

図１は、例示的な一実施形態におけるインタラクティブなデータ探索の方法及びシステム１００を示すフロー図である。方法及びシステム１００は、レポジトリの情報を探索する処理の順番を含む。ステップ１０２において、ユーザ指定が、ユーザのデータ抽出要件に基づいて定義される。ステップ１０４において、ステップ１０２で定義されたユーザ指定が、前記レポジトリ内のドメイン固有の情報と交わらされる。これにより、ステップ１０６において、関連するドメイン指定が生成される。ユーザ指定（ステップ１０２）とドメイン指定（ステップ１０６）との組合せを用いて、前記レポジトリに対するクエリが開始される。これにより、ステップ１０８において、クエリ結果が生成される。生成された結果は、分析プロセスに供給される。ステップ１１０において、この分析プロセスが、前記結果の分析を生成する。

【0024】

図６は、例示的な一実施形態におけるレポジトリの構成要素６００を示すブロック図である。この例において、レポジトリの構成要素は、当該レポジトリの基礎データ６０２を含む。基礎データ６０２は、スライド画像データの四分木分解、具体的には、各々の親レイヤが一度サブサンプリングされて、各々のレイヤが木の構成要素のタイルに対応するタイルにそれぞれ分割（例えば、間引き）されている四分木分解である。タイルのインデックス生成６０４は、少なくとも１つのフィーチャ抽出６０８に基づいて定義される。フィーチャ抽出６０８は、各タイルの状態に分離される。相関インデックス６１０は、インデックス類似性に基づいて定義されて、少なくとも１つのインデックス６０４に基づいて２つ以上のタイル同士の相関を示す。基礎データ６０２は、インポートされたデータの変換６０６である。

【0025】

図２は、例示的な一実施形態における、レポジトリ探索ライフサイクル２００を示すフロー図である。一実施形態において、前記探索は、少なくとも１つのクエリユニット２０２および少なくとも１つの分析ユニット２１６によって順々に実行されるクエリと分析との組合せである。例えば、少なくとも１つのクエリユニット２０２は、クエリターゲットを含む。このクエリターゲットについて、インデックス２０８および／または相関２１０が、例えばフィーチャ抽出等に基づいて特定される。インデックス及び相関の情報は、レポジトリ２１２内に記憶される。少なくとも１つのクエリユニット２０２を介して得られた結果２０６は、分析ユニット２１６および／または洗練化ユニット２０４に送られる。分析ユニット２１６の後、前記結果は、変換ユニット２１４に送られる。変換ユニット２１４の後、前記結果は、レポジトリ２１２に送られる。レポジトリ２１２内に記憶されている様々な情報が、少なくとも１つのクエリユニット２０２に送られる。結果２０６を洗練化したもの２０４も、検索を更新するように前記クエリユニットに送られる。

【0026】

一実施形態において、少なくとも１つのクエリユニット２０２は、検索述語およびクエリターゲットを含む。本明細書において「プローブ（探索）」又は「プローブフィーチャ指定（探索フィーチャ指定）」とは、関心領域として指定された前記検索述語のことを指す。関心領域とは、例えば、画像上の、指定された広がりを有する点のことである。本明細書において「ターゲット指定」とは、検索のマッチを生成するうえでプローブが標的とするターゲット画像のセット、および／または、少なくとも１つの顕微鏡スライドにおけるタイルを構成する画像（例えば、デジタル画像）のセットのことを指す。一実施形態では、少なくとも１つのターゲット画像又はターゲットタイルが選択されると、その選択がプローブとなる。本明細書において「トラバーサルプラン」とは、ターゲット指定からのターゲットが少なくとも１つのプローブと比較される順序の組立てのことを指す。一実施形態において、個々の比較のそれぞれは、１つのプローブと１つのターゲットとの比較である。一実施形態において、前記比較は、１つ以上のプローブと１つ以上のターゲットとの比較である。一実施形態において、前記プローブおよび前記ターゲットは、タイル、単一の画像、および顕微鏡スライド画像の、特定のスケール又は倍率でのサブ画像のうちの少なくとも１つである。一実施形態において、前記トラバーサルプランは、顕微鏡スライド画像のマルチスケール四分木分解についての幅優先トラバーサルである。一実施形態において、前記トラバーサルプランは、顕微鏡スライド画像のマルチスケール四分木分解についての深さ優先トラバーサルである。一実施形態において、前記トラバーサルプランは、深さ方向のトラバーサル（depth traversal）の後、幅方向のトラバーサル（breadth traversal）となる。一実施形態において、前記トラバーサルプランは、幅方向のトラバーサルの後、深さ方向のトラバーサルとなる。

【0027】

一実施形態では、ユーザ（例えば、病理学者、アドミニストレータ、プロセッサ等）が、組織画像のレポジトリに対するクエリに用いられる少なくとも１つのプローブタイルを選択する。前記ユーザは、さらに、前記クエリが実行されるスライドのグループを選択する。前記クエリを実行すると、クエリ指定に基づいて、少なくとも１つのプローブタイル画像からフィーチャが抽出される。例えば、色ヒストグラムフィーチャ抽出が利用される。一実施形態では、フィーチャが抽出されると、当該フィーチャが、当該フィーチャの再算出を防ぐために長期記憶装置に永続的に維持される。ディスクに永続的に維持された、少なくとも１つのフィーチャベクトルの集まりが、インデックスとして定義される。前記スライドのうちの、前記プローブタイルを含む低い側の倍率スケールから、フィーチャベクトルが抽出される。一実施形態において、このプロセスは、前記プローブタイルとのオーバーラップが空間的な関連性を有するものである最後のレベル（例えば、最も高いレベル）に達するまで、低い側の倍率スケールを再帰的に遡る。一実施形態において、この空間的な関連性は、２５６個のピクセルのオーバーラップとされる。個別のプローブタイルについての最も高いレベルのプローブオーバーラップタイルからのフィーチャの抽出、および個別のプローブタイルについての中間的な倍率レベルのプローブオーバーラップタイルからのフィーチャの抽出が、その個別のプローブタイルについてのスケールプローブタイルセットとして定義される。一実施形態では、全ての前記プローブタイルについての全ての前記タイルセットの集まり（ひとまとめで言えば、総プローブタイルセット）を用いて、ターゲットスライドについてのトラバーサルプランが生成される。一実施形態では、この総プローブタイルセットの構成要素同士が、それらの倍率レベルに基づいて組み合わされる。このような構成要素（例えば、タイルセットから抽出されたフィーチャ）同士の集まりを用いて、候補ターゲットタイルの抽出されたフィーチャのセットを、トラバーサルプランを生成するうえで順序付ける。一実施形態では、ターゲットタイルからのフィーチャが、対応する倍率レベルで抽出されてプローブセットと比較される。そして、複数のターゲット候補が、フィーチャベクトルの類似性尺度に基づいて順序付けされる。一実施形態において、比較演算子は、２つのベクトルのＬ２ノルムである。一実施形態において、前記トラバーサルプランは、この順序付けされたリストであり、類似性の順にトラバースされ、次に高い倍率でのタイルが、対応するプローブセットタイルと定められたフィーチャ空間（例えば、この例で言えば色ヒストグラム）内で比較される。その結果も順序付けされた後、再帰的な処理が、より強力な倍率レベルまで続行する。一実施形態において、前記トラバーサルプランは、幅優先のものとして指定されるか又は深さ優先のものとして指定されて、現在の倍率レベルの全ての評価が完了する前により高い倍率レベルが再帰的に処理されるのか、それとも、現在の倍率レベルの全ての評価が完了した後により高い倍率レベルが再帰的に処理されるのかを決める。例えば、深さ優先のものには、実行される評価が少なくなるので、短いレイテンシでユーザに結果を提供できるという利点がある。

【0028】

一実施形態では、前記クエリの実行から前記トラバーサルプランを用いて返されてくる結果が、ユーザインターフェースに表示される。一実施形態では、ユーザが、ユーザインターフェースに結果が表示されている任意の時点において、プローブタイルを追加又は削除したり、ターゲットスライドを追加又は削除したり、返された結果について関連性フィードバックを入力したりと、クエリパラメータを変更することを選択できる。一実施形態において、プローブタイルやスライドが追加／削除されると、プローブタイルフィーチャの既存のセットに設定された単純な処理が適用されて、これによって前記トラバーサルプランに変更が施される。一実施形態において、前記関連性フィードバックは、トラバーサルの順序を変化させるだけでなく、類似性尺度のバイアス要因としても機能する。前記関連性フィードバックは、ユーザインターフェースにおいて、正のフィードバックに相当するプラス（＋）または負のフィードバックに相当するマイナス（－）として指定される。

【0029】

一実施形態では、ユーザが、前記トラバーサルプランを用いての前記クエリの実行中に、第１のクエリの結果を標的とする少なくとも１つの追加のクエリを指定することができる。具体的に述べると、後のクエリが、前のクエリの結果に作用し、その結果セットを検索する。一実施形態では、一次的なクエリが色ヒストグラムフィーチャの抽出に基づくものとされ、二次的なクエリがより複雑なフィーチャベースクエリ（例えば、テクスチャのキャラクタリゼーションに基づくもの）とされる。一実施形態において、前記二次的なクエリは、テクスチャの向き（例えば、スパースガボール（sparse Gabor）によるヒストグラムフィーチャ抽出）に基づくものとされる。

【0030】

一実施形態では、ユーザが、クエリの結果に対して実行される分析変換を指定する。具体的に述べると、変換プロセスが、クエリ結果が生成されると、その結果タイルを変換後のバージョンへと変換する。一実施形態において、前記変換は、空間的なサポートを示すために、前記結果タイルにおける画像フィーチャを膨張させたり収縮させたりする画像処理モルフォロジー処理を実行する。一実施形態において、前記変換プロセスは、画像化された組織を準備する際に使用された染色に対応する色を分離するデコンボリューション処理である。一実施形態では、細胞核、間質、腺等の組織を同定し且つ当該組織の位置を決定する組織定量化処理が実行される。一実施形態では、そのような構造の位置決定及び同定が、結果タイルを変換して且つ標的となる細胞構造を増幅するのに用いられる。

【0031】

一実施形態において、クエリ結果は、漸増的に生成されるたびに、返される各々の結果ごとに少なくとも１つの変換後の結果を生成する定められた分析プロセスに渡される。一実施形態において、このプロセスは、前記変換後の結果を、処理及びクエリ動作のために保持する。このように保持することにより、それらのタイルを、元々のタイルの使い方と同じ使い方をすることができる。例えば、少なくとも１つの変換後のタイルをクエリタイルとして指定することができ、変換後の結果が生成されるたびに、クエリ動作が当該変換後の結果にわたって実行される。それら変換後の結果は、元々のタイルに対する当初のクエリ動作から生成されたものである。一実施形態において、前記関連性フィードバックの動作および／またはクエリタイル追加の動作は、クエリの実行中に実行可能である。

【0032】

一実施形態では、クエリと分析変換との組合せがチェーン状に繋げられており、クエリプロセスの出力が変換プロセスの入力となり、この変換プロセスの出力が別のクエリプロセスの入力となる。一実施形態において、このクエリ・分析処理のチェーンは実質的に無制限である。このような処理チェーンでは、例えば、ユーザが画像のベースレイヤからクエリタイルを幾つか選択することでプロセスが開始する。次にユーザがクエリの標的とするスライドを選択し、次にそのクエリに用いられるインデックス（例えば、色ヒストグラムに基づくインデックス）が選ばれて、ユーザが実行を選択すると、そのクエリが実行されることで当該クエリが結果を生成し始めて、ユーザがその結果に対する分析の実行を指定し且つユーザがその結果タイルについての色デコンボリューションを当該分析が実行することを指定することで、それらの各々のタイルが別のタイル（例えば、Ｈ＆Ｅ（ヘマトキシリン＆エオジン）染色タイル）に変換されて、変換結果が生成されてユーザに与えられる。このクエリプロセスがさらなる結果を生成するたびに、当該結果は自動的に変換されてユーザに与えられる。すると、ユーザは、変換後のタイルのうちの１つ（例えば、ヘマトキシリン染色に対応するもの）をクエリタイルとして選択する。このクエリのためのインデックスが、テクスチャフィーチャ抽出に基づいて選ばれる。このクエリが実行されると、複数の変換済みのヘマトキシリンタイルから、結果が決定される。上記のチェーンにおける各ステップでさらなる結果が生成されるたびに、このプロセスはさらなる結果を返す。

【0033】

一実施形態において、本明細書で説明するプロセスの実施形態は、画像のレポジトリに新たなスライドが追加されると実行される。この場合の一実施形態では、最終結果の類似性尺度が閾値化されており、アラート閾値を超える結果が、アラート生成システムに送られる。一実施形態では、レポジトリにスライドが追加されることによって処理パイプラインがトリガされ、アラートがその新たなスライドとそのパイプラインに関連する結果セットタイルとを、評価用にユーザに通知する。これは、スキャンされたスライドに対する自動スクリーニングプロセスであり、既存の処理パイプラインを利用して、システムに追加されたスライドを自動的に処理し且つ通知又はさらなる処理のためのアラートを生成する。このような自動処理は、異常組織検出や品質保証を含む、様々な目的のスライドのスクリーニングに適用することができる。

【0034】

一実施形態において、クエリタイルは、ソーススライド（ソースとなるスライド）から指定される。スキャンされた標本スライドは、複数の異なるスケールで一連のタイルを並べる配置構成で記憶される。最も高いスケールは、そのスライドが撮像された元来の倍率とされる。典型的に、この倍率は、４０ｘ（以下、「ｘ」は「×（乗法の演算子）」として記載される場合がある。）の光学倍率である。高スケールのタイルは、低スケールにサブサンプリングされて、各々の低スケールは、その前のスケールの倍率の１／２とされる。例えば、最も高いスケールが４０ｘであるとすると、その次に高いスケールは２０ｘとなり、さらに１０ｘ、５ｘ、２．５ｘ、１．２５ｘ、０．６２ｘ、０．３１ｘとなっていく。例えば、最も低いスケールにおいて、典型的な組織サンプルは、４～８個のタイルを占める。各タイルは、２５６ｘ２５６個のペルを有する。一実施形態では、クエリタイルとのマッチについての検索の実行対象となるターゲットスライドが指定される。例えば、ターゲットタイルがクエリタイルと比較される順序は、そのクエリタイルと同じ倍率でのターゲットタイルについての、比較するタイル同士のペルのＬ２ノルムに基づく比較演算子を用いての網羅的なトラバーサルの順序とされる。一実施形態では、少なくとも１つの利用可能な低倍率スケールを用いてマッチ仮説を生成し、ターゲット倍率に達するまで倍率を上げていって当該マッチ仮説を証明する、マルチスケール検索・比較が実行される。

【0035】

倍率は、連続する各スケールごとに１／２となり、各寸法のペルの個数も１／２となる。このようにして、各々のスケールでのタイルの集まりは、１つ前の高い倍率スケールのサブサンプリングとなる。あるスケールでの１個のタイルは、次に高い倍率での４個のタイルに相当する。この対応関係は、最も高い倍率での元々のフルスケールスライド画像の、四分木分解に合致する。本発明は、各々のタイルが木のノード（節）となり且つ各々の空間的対応関係が木のエッジ（枝）となるこの四分木をトラバースする。

【0036】

一実施形態において、そのような四分木の、マルチスケール検索のためのトラバーサルは、低い倍率での空間的に対応するタイルのマッチを、クエリタイルの倍率までの高い倍率でのマッチ候補の存在を示唆するものとして利用する。一実施形態において、基礎トラバーサルは、最も低い倍率での対応するタイルをクエリタイルと比較することにより、それら最も低い倍率でのタイルの部分木同士に関して、さらなる比較の優先順序を決める。一実施形態では、最も低い倍率レベルのタイル同士が、類似性尺度に基づいて順序付けされる。一実施形態では、類似性が最も低い側の少なくとも１つのタイルが、その類似性が所与の閾値を下回ることに基づいて除外される。一実施形態において、この閾値は、タイルから導出されたフィーチャベクトルの０．７０相関度とされる。一実施形態において、各々のタイルについてのフィーチャベクトルは、その各々のタイルのスペクトル成分の合計に基づく、３２個のビンのヒストグラムである。保持されたタイルのそれぞれについて、次に高い倍率での相当する４個のタイルが、タイルの新たな集まりに追加される。このタイルの集まりは、前のレベルと同じプロセスに基づいて評価され、この再帰的なプロセスは、基礎倍率に達するまで続行する。一実施形態において、相関度の前記閾値は、より小さい０．５０から始まり、各倍率レベルごとに漸増的に最大０．８０まで増加する。ここで説明している実施形態は、四分木についての幅優先トラバーサルであり、低倍率の対応するクエリタイルとこれに対応する検索タイルとの比較をその現在のレベルにおいて行ってから、次に高い倍率へと移る。これは、現在のレベルでの全てのマッチに基づいて次のレベルを再帰的に処理することを、単一のバッチで行うことに相当する。一実施形態では、この単一のバッチを均等に分割した複数のバッチで、そのような再帰的処理が行われる。このような複数の小規模のバッチのそれぞれも、高い倍率レベルへと再帰的に処理される。バッチサイズが現在のレベルでの１個のタイルとなる実施形態では、上記の四分木についてのトラバーサルが、四分木についての深さ優先トラバーサルとなる。各レベルごとのバッチサイズが、単一のバッチ（幅優先）と各バッチごとに１個のタイル（深さ優先）との間で可変であるとき、それは適応型トラバーサルと称される。

【0037】

一実施形態において、適応型トラバーサルは、検索の開始時に幅優先のものに設定されている。検索が進むにつれて、演算コストが、実行された類似性演算の数として算出される。演算コストに関して言えば、例えば、１つの比較ごとに返される検索結果の数が、漸増的な検索結果レイテンシを決める。一例として、類似性比較の数が２００であり且つ相関用の類似性尺度を０．９０とした場合に返される結果の数が４０であるとすると、比較：結果の比率は２００：４０となり、すなわち、１つの結果ごとに５個の、結果レイテンシが生じる。このような状況の場合、現在のレベルでの全てのタイルを単一のバッチ処理に区分する幅優先の区分が効率的であると判定される。もし前記結果レイテンシが所与の閾値（例えば、５０）を上回る量に増加すれば、これは、適応型トラバーサルメカニズムに各レベルごとのバッチの数を増加させる（例えば２つにさせる）合図となる。もしそれでも前記結果レイテンシが前記閾値を上回る場合には、各レベルごとのバッチの数が３つに増やされる。前記閾値は、アドミニストレータやシステムが所望又は要求する任意の数値に設定される。一実施形態において、前記適応型メカニズムは、低い類似性を有する結果（深さ優先処理）に移る前に高い類似性を有する結果に狙いを定めるために、各レベルごとの処理効率を犠牲にする。あるところまで達すると、バッチの数が現在のレベルでのタイルの数と等しくなる場合があり、これは、四分木についての厳密な深さ優先トラバーサルに相当する。

【0038】

一実施形態において、前記適応型トラバーサルは、結果レイテンシを減らす目的で、バッチ処理を漸増的に分割して各レベルごとのバッチの数を増やす。例えば、プロセスが深さ優先のバッチ分割限界に達したにもかかわらず結果レイテンシが増えた場合には、結果レイテンシを減らすために、当該プロセスが検索のための分割の数を漸減させる。一実施形態では、評価される部分木の数を決めるために演算予算が指定される。

【0039】

一実施形態では、データ（例えば、組織画像データ）にアクセスするためのサンプリング機能が設けられる。このサンプリング機能は、データがアクセスされる順序を定義する。この機能は、データ自体から予測される制約とユーザのインタラクティブ動作とに基づいて、アクセスプランを組み立てる。サンプリング機能に対するこれらの制約は、本発明にかかるクエリコンテキストを構成する。

【0040】

一実施形態において、サンプリングは、ユーザ指定およびシステム指定に基づくアクセスプランで構成される。前記ユーザ指定は、任意の述語指定に加えて、検索されるデータの範囲を含む。前記システム指定は、既存のデータおよび過去の処理からの残っている結果を含む。前記サンプリング機能は、部分的結果のセットを漸増的に返す。このようにして返された結果は、現在のクエリコンテキスト内で前記ユーザ指定および前記システム指定を変更するのに用いられる。関連性がより高い結果セット（例えば、サンプル）へとクエリが導かれるように、洗練化動作が処理に割り込む。

【0041】

図３は、例示的な一実施形態におけるクエリユニット３００を示すブロック図である。このクエリユニット３００は、クエリのためのドメイン（システム）指定３０２とユーザ指定３１０とを含む。ドメイン指定３０２は、ユーザ指定３１０と組み合わされることによって述語および／またはターゲット３０４を形成して、当該述語および／またはターゲット３０４が、結果３０６を生成する。当該結果に基づいてクエリが洗練化および／または拡張される（３０８）ことで、そのクエリのユーザ指定３１０が変更される。

【0042】

図４は、例示的な一実施形態における分析ユニット４００を示すブロック図である。分析ユニット４００は、レポジトリの、クエリおよび／またはユーザ指定４１０から返されたデータに基づいて、変換結果４０６，４０８を生成する。変換後のデータは、その導出元であるデータと同じ寸法及び同じ解像度であり且つ当該変換に基づいて個々のペル位置及び色深度に変化が施された画像の形態である。ドメイン指定４０２は、結果を調べて当該結果を確定および／または変換する。

【0043】

図５は、例示的な一実施形態における、中間的段階でのクエリユニット５００のアーキテクチャを示す図である。中間的結果（「中間物」）は、結果を生成するように実行される定められたプロセスの、その結果である。前記中間物は、レポジトリの基礎状態と定められた処理との組合せに依存する。

【0044】

一実施形態において、関心領域（「ＲＯＩ」）５０２は、レポジトリ内の少なくとも１つの隣合うペルであって、そのレポジトリ内の１つのタイル５１２を構成するペルを定義する。ＲＯＩ５０２は、複雑な多角形５２２であってもよい。このような多角形５２２は、少なくとも１つのタイルで定義されて、当該多角形５２２の内側は、１つ以上のタイル上の離散位置に補間されている。タイルのデータは、画像データをスケール及び空間において間引きしたものであり、当該タイルの処理の基本単位を生成している。ベクトル５１４は、タイルから抽出されたフィーチャベクトル５０４，５１６であり、クエリが作用するインデックスを生成するのに用いられる。相関中間物５０６は、２つのタイル間の相関を、当該２つのタイルの抽出されたフィーチャベクトル同士の類似性（例えば、前記２つのタイルのうちの一方がクエリ述語であり且つ前記２つのタイルのうちの他方がクエリ結果であるときに生成される類似性）によって保持する。前記相関自体は、検索されるフィーチャインデックスである。テンソル５２６は、相関を、他のフィーチャベクトルに伝えるように組み立てられる。レイヤ５０８は、データから導出された、変換（５１８）後および／またはフィルタリング後および／または視覚化後の任意の情報である。定量化５２４は、例えば集約タイル処理（例えばスケールベース制約によって達成される）等を伴う、量的漸増プロセスである。尺度５２８は、スケールベース制約、閾値、相関度、インデックスおよびその他の情報のうちの、任意のものである。

【0045】

一実施形態では、データの構造及び内容が、処理の優先順序を定義し、かつ、この優先順序は、データがユーザに与えられる順序を決定する。これにより、ユーザは、データの構造及び内容の両方を理解することができる。ユーザは、この優先順序により、データの探索を案内される。これにより、データの事前知識の必要性が軽減される。

【0046】

一実施形態において、処理は、返されるデータに合わせて調節され、スパース（疎）なセットの結果が返されることに基づいて、検索されるデータのサンプリング範囲を拡張する。同様に一実施形態では、大量のデータが返される場合に、サンプリング範囲が制限される。このような制限により、全データのうちの局在した小規模なサブセットについて大量のデータが返されるのを防ぎつつ、データを広範囲にわたってサンプリングすることが可能となる。

【0047】

一実施形態において、空間的に連続することは、空間的に隣接するデータは離れたデータよりも一般的に関連性がより高いとの推定を生む。同様に、近くのデータと離れたデータとの相関が大きい場合には、その近くのデータと隣合うデータについても、同じ理由で前記離れたデータとの相関が大きくなる。一実施形態では、これらの関係が、検索の制約を予測する基礎として用いられる。

【0048】

一実施形態では、使用統計を用いることにより、生成・アクセスされるデータの処理範囲が、他のデータよりも広範囲に拡張される。データが生成・アクセスされる頻度が少ない場合には、中間データの制限およびフラッシュ動作が実行される。アクセスの頻度が、データのランク付けに影響する。ＩＡＰＥ（ユーザ探索のためのランク付けデータ）が、品質保証（「ＱＡ」）のために、システムの処理に基づくランク付けと比較してのバイアス（例えば、スライドのスクリーニング等に基づくバイアス）によって調整される。

【0049】

一実施形態において、システム及び方法は、結果がユーザに返されたときに当該結果を拡張および／または制限するための手段を提供する。このオンライン調整機能は、ユーザに、クエリ結果と相互作用するための手段を提供する。この機能は、クエリ実行プロセスにおける任意の時点で（クエリが終了した後でも）、ユーザが利用可能なものとされる。そのような場合、クエリは、新たな制約を用いて再実行される。一実施形態では、クエリおよびクエリの漸増的結果が、当該クエリの処理続行が非効率となる所与の限度に達したか否かを判定するために分析される。その限度に達したと判定された場合、クエリは停止されてもよく、また、クエリに変更を施す機会がユーザに与えられてもよい。

【0050】

一実施形態では、データの分割及びトラバーサルが、記憶および演算連関性を最適に維持するために実行される。一実施形態では、データが、互いに重複しない空間領域（例えば、ブロック、タイル等）へと規則的に分割される。一実施形態では、データが、サブサンプリングされて分割される。一実施形態において、分割されたデータタイルは、スケールおよび空間的近さに基づいて並べられる。個々のそれぞれのタイルの局在性が、演算の基本単位として機能する。この基本単位が処理されて、その結果がユーザに与えられる。

【0051】

一実施形態において、集約タイル処理は、主に、低スケールについての分析を用いて高スケールでのデータ処理順序の適性を調べるスケールベース制約によって達成される。例えば、組織画像データのスケールベースのピラミッド型構造が、その画像データの四分木分解として表現される。親－ノード類似性を用いて、この表現の適性が調べられる。側路情報へのアクセスが増えると、大量の段階的結果が得られる。つまり、パイプラインの一部のみを実行するだけで済むようになる。

【0052】

一実施形態において、アルゴリズムの処理は、返される結果の量に依存する。トラバーサルの方針が、そのトラバーサルの戦略がどのように変更されるのかを決める。

【0053】

一実施形態において、画像データ記憶の編成およびその導出データの編成を四分木分解により表現可能であるところ、各処理漸増ごとの粒度は、その四分木の部分木の処理に基づく。結果のセットを返すのに必要とされる演算が、部分木の処理コスト見積りを用いて制限される。部分木への処理の分離により、分散並列処理を適用してトラバーサルの演算を拡縮することが容易になる。

【0054】

一実施形態では、四分木についてのトラバーサルが、各レベルにおいてサブセット（部分集合）を処理するように定義されて、各レベルでのサブセットの数が、そのトラバーサルが幅優先又は深さ優先である度合いを決定する。幅優先のバイアスでは、大量のデータをサンプリングすることができると共に、結果のセットを返すまでの演算資源の利用が大量になる。このような漸増の仕方は、マッチする結果がスパース（疎）であり且つスケール連関性が弱いときに有利となる。一実施形態において、幅優先のトラバーサルは、一般的に網羅的であり且つマッチするサンプルの分布について多くの仮定をしない。このことは、述語検索仮説が弱いことを示唆する。一実施形態において、深さ優先のバイアスは、より少ない量のデータをサンプリングして、より短い演算時間にして、かつ、より少ない漸増で結果を返す。このことは、結果が密であり且つスケール連関性が強い場合に有利となる。

【0055】

一実施形態において、データの探索は、後のクエリに対する数多くの部分解（partial solution）を生成する。これらの部分解は、少ない中間データから算出される結果よりも素早く結果を提供する機会を意味する。これらの部分結果の多くが、他のユーザの活動によって生成されたものであるところ、品質バイアスが存在する。また、このバイアスを有する結果のサブセットが返される。

【0056】

一実施形態において、この品質バイアスは、結果を返す効率を向上させるのに利用可能であるだけでなく、データ単位で且つデータ有用性の総合ランキングとして再帰的に参照される（例えば、計数される）。

【0057】

一実施形態において、組織画像データの課題は、パイプラインにおける下流の処理に加えてユーザ指定の洗練化を可能にする、システム対応性によって対処される。この指定の洗練化は、現在のクエリ処理を変更して当該クエリによって生成される結果を変化させるのに用いられる。下流の処理は、クエリ結果が生成されると当該クエリ結果に作用して追加の変換をデータに実行する。その後、追加のクエリ処理が実行される。クエリ処理の対応性は、ユーザに、クエリの変更やさらなる処理を介してデータを探索する融通性を提供することができる。

【0058】

基礎画像データは、空間的なスケール及びスペクトル的なスケールにわたる漸増的な処理のために構造化及び編成される。データは、インポート時に、較正プロセスによって空間的に且つスペクトル的に正規化される。データの相関が、フィーチャインデックスの類似性によって決定されて、相関インデックスに維持される。データのアクセス・処理が推定されて、かつ、そのようなアクセス処理が、予測されたコスト及び実際のコストに基づき実行される。演算全体の結果を概算する予備演算が実行されて、演算コスト見積りを提供して、かつ、最終結果を漸増的に算出する。結果は、今後の演算のためにロールアップ及び集約されて、中間生成物は、アルゴリズムのオンライン演算が可能な更新演算のために保持される。

【0059】

一実施形態では、カーネルが、ピラミッド型／階層的／四分木のデータ構造（例えば、マルチスケールの画像ピラミッド型構造）を利用することにより、漸進的な且つ各々分離した演算を容易なものとする。本発明を限定しない一実施形態において、タイルは、各寸法が２５６の空間的な広がりを持つ正方形の画像とされる。これらのタイルは、当初の画像から、当該当初の画像についての連続する２ｘのサブサンプリングを、再帰的にサブサンプリングされた画像の寸法が２５６未満となるまで行って生成されたものである。これらのタイルを含むファイルシステムディレクトリも、２５６のグループつまり１６×１６タイルの配置構成に分割される。このファイルシステム編成は、記憶システムの局在性がキャッシュ格納メカニズムを活用するうえで最適な配置構成を提供する。さらに、このような分離構成により、分散型ファイルシステムのなかでも、別々の演算環境間でコンテキスト情報を共有する必要なくサブ領域についての処理を実行可能な分散型ファイルシステムを見込むことが可能となる。

【0060】

一実施形態では、ヒストグラムのビンに基づくフィーチャベクトルが、タイル同士の類似性比較において利用される。そのようなフィーチャベクトルは、タイルの内容の近似であって、インデックス生成に用いられる近似を表す。このようなスペクトルフィーチャ空間において互いに類似するタイル同士については、これらのタイルに対する処理を用いて、演算の負担がより大きいフィーチャ抽出処理を伴う処理の結果が推定される。

【0061】

一実施形態では、本発明にかかる手法のスケール的側面により、タイルのスペクトル成分についての近似であるスペクトルフィーチャベクトルが、ランク付けされた近似となるように強調される。例えば、フィーチャベクトルがタイルの大きさになると、各々のフィーチャベクトルの位置は、それぞれのピクセルにそのまま対応する。一実施形態において、ピクセルよりもビンが少なくなる場合、それは当初のデータよりもスケールが下げられていることを必然的に意味する。ヒストグラムのビンとピクセルの位置との対応関係がなくなった場合、それは空間的な不変性を意味する。

【0062】

一実施形態において、カーネルは、オンラインで動作し、粗粒度の演算を実行して結果を集約する。それらの演算を実行する演算コストは、処理のスケジューリング動作において要因として組み込まれる。アクセスプランの部分木についてコスト見積りが実行されて、かつ、それらが集約される。これらの見積りは、各々の部分木に関して許可される演算について、その調整を可能にする。

【0063】

一実施形態において、カーネルは、処理要素のパイプラインに対して漸増的に作用するように構成されている。これらの要素は、クエリ要素の後に分析要素が続くといったものであってもよい。前記クエリ要素は、少なくとも１つの述語パターンを候補パターンのセットに対して適用して、パターンマッチ条件に基づいて結果を返す。分析が、その結果セットパターンに対して実行されて、当該結果セットパターンを視覚化、さらなる分析およびクエリ動作のうちの少なくとも１つのために何らかのかたちで変換する。

【0064】

一実施形態では、クエリ自体がインデックスを生成することに基づき中間生成物を生成して、これらインデックスはパターンマッチプロセスで用いられる。一実施形態では、分析プロセスにより、フィルタリング後又は変換後の入力画像データ又は量的尺度の形態である中間生成物が生成される。

【0065】

一実施形態では、他の中間生成物として、近似後の結果を生成する近似機能からの中間生成物も挙げられる。また、他の中間生成物として、オンラインの演算からの中間生成物が、繰返し処理速度を上げる目的で保持される。このようなオンラインの演算からの中間生成物も、パイプラインの中間生成物と見なされる。

【0066】

一実施形態では、これら中間生成物の保持及び利用により、カーネルが、これらの処理を繰り返すのに必要となる演算を伴うことなく結果を生成するという代替的な手法を取ることができる。

【0067】

一実施形態において、組織画像データ等のデータは、異なるスケールで、異なる構造を有する。これらの構造は、異なるスケールにわたって必ずしも構造的に連関していない。すなわち、構造パターンは、必ずしも繰り返されていない。これらのパターン間の関係は、マクロスケールモデルが少なくとも１つのマイクロスケールモデルを生成することが可能な生成機能としてモデル化されてもよい。これらのモデルは、追加の制約をクエリに付与するのに利用可能である。これらのモデルにおけるカーネル特有の側面として、当該カーネルが特定のデータに関係なく上記のようなマクロ／マイクロモデルを見つけ出し、かつ、当該カーネルがそのマクロ／マイクロモデルを利用することによって異なるスケールにわたって共同の類似性を提供することが挙げられる。

【0068】

一実施形態において、データ管理の面について述べると、システムの有用性は、データの性質及び編成に依存する。組織画像データ用途では、元々の画像データの保持が、導出データの保持よりも優先される。データ管理システム構成は、アーカイブの優先順序を反映して、かつ、この優先順序を参照して記憶動作、転送動作および分析動作を定義する。

【0069】

一実施形態では、データの大きさが、データ複製動作に実質上の限度を課す。この大きさを、そのデータに関連付けられた長期保持方針と共に考慮すると、アーカイブされたデータを中心としてデータベースを構築することで要件を満足することが可能である。アーカイブフォーマット及びデータレイアウトの選択は、下流の全ての処理の機能に影響を与える。

【0070】

一実施形態において、データの記憶は、データからの導出データにおける複数の異なる層を管理する能力に基づくものとされる。このデータの保持及びフラッシュ動作が、そのようなデータをオンデマンドで再生成する機能に基づいて、記憶要件及び演算要件を満足するために実行される。

【0071】

一実施形態において、データの転送及び分配に関連付けられる処理は、データの物理的グルーピングと、所与のアドレッシング手法によって解決される範囲外の参照を行う能力とによって実現される。システムは、依存関係に制限を課すことにより、分散環境での処理を利用する場合に動作上有利となる。

【0072】

一実施形態において、システムは、ルーチン処理およびユーザのインタラクション（相互作用）の両方に基づいて自動的に実行される動作を有する。

【0073】

図７Ａ及び図７Ｂは、例示的な一実施形態における、データを検索するクエリを開始する方法を示す簡略化されたフロー図である。図７Ａに示すように、検索が開始（ブロック７０５）された後、画像クエリ用画像の現在のズームレベル（あるいは「倍率」であり、同義的に用いる）が所定の閾値Ｔｈ１よりも大きい（ブロック７１０）場合、現在のレベルの照会についての検索結果が返される（ブロック７１５）。

【0074】

一実施形態において、前記閾値は、非生産的な検索動作を制限するように設定され、例えば、生成される検索マッチの数が多くない場合にはその検索を終了するように設定される。他の例として、前記閾値は、画像のピクセルが有意義な画像情報を含まなくなる前に非生産的な検索動作を制限するように設定される。他の例として、前記閾値は、その検索における倍率レベルの深さ又はその他の深さを制限するように設定される。例えば、サブセットが小さ過ぎるために当該サブセットから生成されるマッチの数が少ない場合には、より広範囲な検索のためにそのサブセットのサイズが増やされる。

【0075】

一実施形態において、検索結果が予備算出されたものであるか又は過去の探索時に算出されたものである場合、その検索結果は、深さベースの検索を実行せずに返される。

【0076】

一実施形態において、検索機能は、異なる閾値を用いて再帰的に開始される。

【0077】

一実施形態において、各々のズームレベル又は倍率は、四分木における１つのレベルに対応する。例えば、画像は、倍率レベル１では単一のタイルで構成されている。そして、その画像と当該画像の４つの子供との対応関係が、倍率レベル２と見なされ、これら４つの子供に対して子供となる１６個のタイルがズームレベル３と見なされ、これら１６個の…等となる。各々の倍率レベルは、前の倍率レベルよりも高い解像度を有し、典型的には各寸法の解像度が２倍となる。タイルが解像度の上限に達した場合、それらのタイルに対する子供はピクセルが補間された場合のみ相当する。そのような補間ピクセルも利用する場合には、これらが最大のズームレベル又は倍率であると見なされる。四分木への分解により、親タイルは、対応する４つの子供タイルの、ダウンサンプリング、ローパス空間的フィルタリングとなるので、それら子供タイルは、その親タイルと連関性を有する。例えば、所与の色が親タイルに見られる場合、同じ色が子供タイルにも見られる可能性が高いか、あるいは、少なくとも親側の色は子供タイル側の色からダウンサンプリング処理によって導出可能である。

【0078】

一実施形態では、検索結果を取り出すために、現在の検索条件を満たす結果タイルのリストが、メモリからクエリされる。一実施形態において、タイルのそのようなリストは、関連付けられたデータ（例えば、タイルのレベルおよび／またはクエリおよび／または各々のタイルに関連付けられたインデックスのファイル名および／または結果のサイズおよび／またはインデックスの種類）に基づいて取り出される。

【0079】

一実施形態において、現在の検索条件またはクエリは、検索結果を、優先度およびシステム資源に基づいて制限する。例えば、クエリが、検索に利用可能な演算についての制限、検索を完了するのに利用可能な時間についての制限、利用可能なメモリ量についての制限、検索結果の品質又は量についての閾値等を含む。

【0080】

一実施形態では、現在の倍率レベルが所定の閾値Ｔｈ１よりも大きくない（ブロック７１０）場合、次のレベルのタイルが取り出される（ブロック７２０）。これにより、現在のレベルと対応関係にある、次のレベルのタイルである四分木の子供が取り出されるか又は生成される。そして、それら次のレベルのタイルから、現在のクエリ結果とマッチするタイルのリストが生成される（ブロック７２５）。一実施形態において、クエリは、結果がさらに見つかるたびに洗練化される。例えば、クエリは、最小の結果サイズを含む。そして、例えば、より優れたマッチが見つかると、より広い結果又は先に見つかった所与の結果が、メモリから結果を取り出すクエリを狭めることによって結果リストから除外される。

【0081】

一実施形態では、取り出されたリスト内のそれぞれのタイルについて、当該タイルがサブセットに追加される（ブロック７３０）。そのサブセットの大きさ、そのサブセット内のタイルの数が所定の閾値以上である（ブロック７３５）場合には、そのサブセット内のタイルについて再帰的な深さ優先検索が実行される（ブロック７４０）。これにより、再帰的検索が実行されたセットの大きさが小さくなる。この再帰的検索の結果が保存されて（ブロック７４５）、そのセットがクリアされる（ブロック７５０）。次に、残りのセットについて再帰的検索が実行されて（ブロック７５５）、この結果が保存されて（ブロック７６０）、そのセットがクリアされる（ブロック７６５）。保存された結果は、当該結果が記憶された時点から、メモリから取出し可能となる。これにより、一実施形態では、検索の実行中でも、検索が終了した後でも、連続的に更新される検索結果のセットを利用することが可能となる。

【0082】

図８Ａ及び図８Ｂは、例示的な一実施形態における、再帰的検索を実行する方法を示す簡略化されたフロー図である。図８Ａに示すように、再帰的検索が、タイルのセットについて開始される（ブロック８０５）。検索を最適化させるために、新たなクエリタイルが、例えば入力タイルセット内の第１のタイルに対する第１の子供タイルとして、策定される（図示せず）。そして、タイルセットの各タイルについて、次のレベルのタイルが取り出されて（ブロック８１０）、当該次のレベルのタイルが結果セットに追加される（ブロック８１５）。

【0083】

一実施形態では、結果セット登録されると、現在のズームレベルがターゲットのズームレベルである（ブロック８２０）場合、結果セット内のマッチの品質が評価される（ブロック８２５）。例えば、その結果セット内の第１のタイルの、前記クエリタイルと比較してのマッチ値が５０％未満である場合、結果が前記クエリタイルと過度に異なることから、深さ方向の検索が、四分木のこのエッジ（枝）に沿って続行されなくなる（ブロック８３０）。他方で、結果が十分に正確である場合には、現在の結果セットが再帰的検索の結果として返される（ブロック８３５）。品質の最小閾値が、クエリの一部として設定される。

【0084】

一実施形態では、マッチの品質が、ベクトル間の差分として評価される。例えば、あるタイルにおける各々のピクセルが、当該ピクセルの色および／または輝度を表す複数の数値を有する。そして、それぞれのタイルが、そのタイルにおける全てのピクセルについてのそのような数値のアレイ又はベクトルを有する。そして、２つのタイルが、それぞれのタイルのベクトル間の距離又は平均二乗誤差を算出することによって比較される。

【0085】

一実施形態では、現在のズームレベルがターゲットレベルでない（ブロック８２０）場合、再帰的検索が図８Ｂに示すように続行する。図８Ｂに示すように、結果セット内の各タイルについて、サブセットのサイズが所定の閾値Ｔｈ３未満よりも小さい（ブロック８４０）場合、そのタイルがサブセットに追加される（ブロック８４５）。他方で、サブセットのサイズが所定の閾値Ｔｈ３以上である（ブロック８４０）場合、そのサブセットについて新たな再帰的検索が開始される（ブロック８５０）。この再帰的検索の結果が暫定的な結果セットに追加されて（ブロック８５５）、そのサブセットがクリアされる（ブロック８６０）。これにより、前述したように、再帰的検索が実行されたセットの大きさが小さくなる。当初の結果セット内における各タイルの処理が済んで且つこれらのタイルがサブセットに追加されると、残りのサブセットについて再帰的検索が実行されて（ブロック８６５）、この結果が前記暫定的な結果セットに追加されて（ブロック８７０）、そのサブセットがクリアされる（ブロック８７５）。そして、前記暫定的な結果セットが、この再帰的検索の結果として返される（ブロック８８０）。

【0086】

一実施形態では、各々のレベルでの１つ以上のタイルのリストが、それらとマッチするクエリタイルに基づいて並び替えられるか、あるいは、ターゲットレベルでない場合には少なくとも１つのクエリタイルの少なくとも１つの親タイルとのマッチ度合いに基づいて並び替えられる。

【0087】

図９は、本発明の一実施形態におけるスライドのレイアウトを示す図である。具体的に述べると、生体組織または他の標本が、クエリスライド上に置かれている。このクエリスライドから、クエリスライド画像が準備される。例えば、このクエリスライド画像は、正方形または他の形状のタイルへと空間的にセグメント化されたデジタルファイルである。これらのクエリスライドタイルから、少なくとも１つのタイルが、少なくとも１つのクエリタイル（又は検索タイル）として特定される。そして、クエリタイルから得られた情報が、類似性尺度エンジンに入力される。一実施形態において、前記類似性尺度エンジンは、前記クエリタイルを所望のサイズ及びメモリ値に正規化する。

【0088】

一実施形態において、正規化は、利用可能などのような方法を含むものであってもよい。一実施形態において、少なくとも１つのタイル又はスライド画像の正規化は、ミクロン記憶ピクセル値に関するメタデータ情報を得ることを含む。例えば、画像Ａが１ピクセルスケール当たり２０ミクロンであり且つ画像Ｂが１ピクセルスケール当たり４０ミクロンであるとすると、中間レベルは、これら２つのスライドの１ピクセルスケール当たりのミクロンを等しくするように（例えば、いずれも１ピクセルスケール当たり２０ミクロンまたは他のレベル等として）算出される。一実施形態では、所望の画像検索に応じて異なる結果が得られるように、利用可能な最も高い解像度キャプチャ、利用可能な中程度の解像度キャプチャ、または利用可能な最も低い解像度キャプチャを探してもよい。一実施形態では、色正規化または色補正が行われる。例えば、少なくとも２つのタイル又は画像の明るさ、輝度および色が決定されて、検索のために同様のレベルへと変更される。例えば、同じスライドについて２つの異なる機械で処理した場合に（又は２つの異なるスキャン動作を行った場合に）、その結果として生じる２つの画像を色正規化または色補正をすることにより、これと同じ決定結果に基づいて、これら機械からのその他のあらゆるスライドを補正することが可能となる。例えば、２つのスキャンされた画像の輝度値、ＲＧＢ値、および他の光ベースパラメータ又は色ベースパラメータが比較されて、一方又は両方をパラメータレベルの特定のセットに変更する決定がなされて、同じソースからのそれ以降の画像について色（色、明るさ。輝度等）に関して同じ変更または補正がなされる。

【0089】

一実施形態において、前記類似性尺度エンジンは、少なくとも１つのクエリタイルを、１つ以上の場所に位置したターゲットタイルと比較する。例えば、ターゲットタイルは、１つ以上の物理的位置又はサーバの、１つ以上のデータベースに位置している。例えば、前記ターゲットタイルのうちの少なくとも１つのターゲットタイルは、１つ以上のターゲットスライドタイルからのものである。この１つ以上のターゲットスライドタイルは、ターゲットスライド画像またはターゲットスライドデジタル画像から準備されたものである。前記ターゲットスライド画像は、ソースからアップロードされておよび／または少なくとも１つのターゲットスライドから生成される。そのターゲットスライドは、組織標本または他のサンプルを用いて準備されたものである。

【0090】

図１０は、タイルのフィーチャ比較の一例を示す図である。クエリタイルまたはデジタル画像クエリが、フィーチャ抽出エンジンに入力される。このフィーチャ抽出エンジンは、そのクエリタイルの特定のパラメータおよび／またはフィーチャを決定する。例えば、このフィーチャ抽出エンジンは、フィーチャの所定のセットを用いて、カラーピクセル、サイズ等についてのデータおよび／または測定結果を生成する。前記フィーチャ抽出エンジンを用いて求められたデータおよび／または測定結果の一部又は全部が、比較エンジンに入力されて、この比較エンジンが、前記クエリタイルの少なくとも１つのフィーチャの、少なくとも１つのターゲットタイルのデータおよび／または測定結果との類似性を比較する。その少なくとも１つのターゲットタイルのデータおよび／または測定結果は、フィーチャ抽出エンジン等を用いて得られたものである。

【0091】

図１１は、本発明の一実施形態における、タイルの空間的分解の一例を示す図である。スライド画像は、デジタルファイルまたは他の電子データもしくは電子情報であり、当該スライド画像のスライドタイル又は断片として特定することが可能なものである。そして、そのスライドタイルが、より低いレベルのタイルのセットへと分解される。

【0092】

図１２は、本発明の一実施形態における、タイルのスケール分解の一例を示す図である。スライド画像が複数のタイルへとセグメント化されて、それらのタイルのうちの１つがより低いレベルの複数のタイルへと分解される。そして、これらのより低いレベルのタイルのうちの１つが、例えば本明細書で説明した各種実施形態を用いて、他の類似するタイル画像の検索に使用される。

【0093】

本発明は、本明細書で説明した実施形態を含め、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、コンピュータプログラムプロダクト、機械読取り可能な記憶装置、プロセッサ、コンピュータ等のデータ処理装置を制御又は実行する伝播信号で実現可能である。本発明は、本明細書で説明した実施形態を含め、任意の形式のプログラミング言語で記述可能であり、かつ、スタンドアローンプログラムまたは別のプログラムのコンポーネントとして実現可能である。コンピュータプログラムは、単一の箇所又は２つ以上の箇所の、１つ以上のコンピュータにおいて配備および／または記憶および／または実行および／または当該１つ以上のコンピュータへと送信および／または当該１つ以上のコンピュータから送信することが可能である。

【0094】

本発明において、方法の任意の過程（工程）は、少なくとも１つのプログラマブルプロセッサ、コンピュータ、タブレット、スマートフォン、携帯スマートデバイス等が、コンピュータプログラムを、入力データに作用して出力を生成することにより機能を実施するように実行することによって行われる。記憶媒体には、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス、チップカード、磁気カード、バーコード、ＱＲコード（登録商標）、ＤＶＤ－ＲＯＭ、ＣＤ－ＲＯＭ、内部ハードディスク、リムーバブルディスク、磁気ディスク、光磁気ディスク、光ディスク等が含まれる。本発明は、表示装置、陰極線管（ＣＲＴ）モニタ、液晶ディスプレイ（ＬＣＤ）モニタ、ＬＥＤモニタ、タッチスクリーン等にコンピュータから表示を行うことにより、ユーザとのインタラクション（相互作用）を可能にする。

【0095】

本発明は、実装によっては大量のデータを処理する。データは、データサーバ、アプリケーションサーバ、クラウドサーバ等のバックエンドコンポーネント、および、キーボード、音声入力キーボード、グラフィカルユーザインターフェース、ウェブブラウザ等のユーザインターフェース機能部などに記憶される。本発明において、コンポーネント同士は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）等の通信ネットワークなどといった、任意の形態のデジタルデータ通信によって相互接続される。

【0096】

前述した実施形態の説明及び図示は、あくまでも例示に過ぎず本発明を限定するものでないと解釈されるべきである。例えば、前述した実施形態のうち、異なる実施形態に含まれる異なる構成／構成要素同士を、互いに組み合わせたり互いに組み合わせたりせずといった具合いで、様々な組合せで実施することも可能である。これまでの教示内容および添付の特許請求の範囲からみて、様々な変更、変形および改良が可能であり、かつ、これらの変更、変形および改良は、本発明の精神及び範囲内に包含される。

【0097】

本発明を特定の例や特定の実施形態を参照しながら説明してきたが、本発明がこれらの例や実施形態に限定されないことを理解されたい。本発明は、本明細書で説明した特定の例や実施形態を変形したものも包含する。
なお、本発明は、実施の態様として以下の内容を含む。
〔態様１〕
コンピュータによって実行される、画像のデータベースをクエリに基づいて検索する方法であって、
前記クエリの倍率レベルが第１の閾値よりも大きいとの判定に応答して、前記クエリのその倍率レベルで当該クエリを満たす第１のリストの結果タイルを返す過程と、
前記クエリの倍率レベルが前記第１の閾値以下であるとの判定に応答して、次に低い倍率レベルのタイルを取り出す過程かつ当該次に低い倍率レベルで前記クエリを満たす第２のリストの結果タイルを返す過程と、
各リストの結果タイルを処理する過程であって、結果タイルのそれぞれについて、
その結果タイルを、結果タイルのサブセットに追加すること、
前記サブセット内の結果タイルの総数が第２の閾値以上であるとの判定に応答して、前記サブセットを再帰的に検索すること、
前記サブセットについての各々の再帰的検索の結果を、残りのサブセットへと保存すること、
前記残りのサブセットを再帰的に検索すること、および
前記残りのサブセットについての検索の結果を保存すること、
を有する、過程と、
を含む、方法。
〔態様２〕
態様１に記載の方法において、各々の倍率レベルが、四分木における１つのレベルに対応し、かつ、前記四分木における各々のレベルが、画像結果を表すタイルを含む、方法。
〔態様３〕
態様２に記載の方法において、子供タイルが、親タイルと連関性を有する、方法。
〔態様４〕
態様３に記載の方法において、前記親タイルが、対応する少なくとも１つの前記子供タイルの、ダウンサンプリングおよびローパス空間的フィルタリングのうちの少なくとも１つである、方法。
〔態様５〕
態様２に記載の方法において、前記次に低い倍率レベルのタイルを取り出す過程が、前記四分木における次に低いレベルで子供を生成することである、方法。
〔態様６〕
態様１に記載の方法において、前記クエリが、結果数の最小閾値および結果数の最大閾値のうちの少なくとも１つを含む、方法。
〔態様７〕
態様１に記載の方法において、前記クエリが、画像を含み、かつ、前記クエリの前記倍率レベルが、その画像の倍率レベルである、方法。
〔態様８〕
態様７に記載の方法において、結果タイルが、当該結果タイルの倍率、前記クエリの画像、当該結果タイルに関連付けられたインデックスのファイル名、結果のサイズ、およびインデックスの種類のうちの少なくとも１つに基づいて、返すリストに含められる、方法。
〔態様９〕
態様１に記載の方法において、所定の前記第１の閾値は、検索結果数がある数値を下回るとの判定に応答して当該方法が終了するように定義される、方法。
〔態様１０〕
態様１に記載の方法において、前記クエリが、前記第１のリストの結果タイルを返す過程後に更新される、方法。
〔態様１１〕
態様１に記載の方法において、さらに、
各リストの結果タイルを処理する過程前に、前記第１のリストの結果タイルおよび前記第２のリストの結果タイルのうちの少なくとも１つから結果を除外する過程、
を含む、方法。
〔態様１２〕
態様１に記載の方法において、前記クエリが、品質の閾値レベルを含む、方法。
〔態様１３〕
態様１に記載の方法において、前記クエリが時間制限を含み、前記探索はこの時間制限で実行される、方法。
〔態様１４〕
クエリタイルに基づいてタイルセットの再帰的検索を実行する方法であって、
前記タイルセットの各タイルについて、結果セットが充実するまで、
次のレベルからタイルのセットを取り出すこと、および
前記次のレベルのタイルセットを前記結果セットに追加すること、
を実行する過程と、
倍率レベルが所定のターゲットレベルであるとの判定に応答して、前記結果セット内のマッチの品質を評価する過程と、
倍率レベルが前記ターゲットレベルよりも下であるとの判定に応答して、前記結果セット内の各タイルについて、
サブセット内のタイルの数が第３の閾値以上であるとの判定に応答して、そのタイルを当該サブセットに追加すること、
前記サブセット内のタイルの数が前記第３の閾値よりも小さいとの判定に応答して、
前記サブセットを再帰的に検索することと、
この再帰的な検索の結果を暫定的な結果セットに追加することと、
前記サブセットをクリアすることと、
を実行すること、
前記サブセットを再帰的に検索すること、
検索の結果を前記暫定的な結果セットに追加すること、
前記サブセットをクリアすること、および
前記暫定的な結果セットを返すこと、
を実行する過程と、
を含む、方法。
〔態様１５〕
態様１４に記載の方法において、マッチの品質を評価する過程は、前記結果セット内の第１のタイルの、前記クエリタイルと比較してのマッチ値が、所定値未満であるか否かを判定することを有する、方法。
〔態様１６〕
態様１４に記載の方法において、あるタイルにおける各々のピクセルが、当該各々のピクセルの色および輝度のうちの少なくとも１つを表す少なくとも１つの数値を有し、かつ、それぞれのタイルが、そのタイルにおける全てのピクセルについての前記少なくとも１つの数値のベクトルを有する、方法。
〔態様１７〕
コンピュータによって実行される、画像データのレポジトリを連続的に処理する方法であって、
データの要求を含むクエリ指定を受け取る過程と、
当該方法が実行される前記コンピュータのシステム指定を受け取る過程と、
ドメイン指定を決定するために、前記クエリ指定と前記システム指定とを比較する過程と、
前記レポジトリに対するクエリを、前記ドメイン指定に基づいて開始する過程と、
前記クエリの、画像データを含む結果を受け取る過程と、
前記結果画像データのインタラクティブかつ反復的な探索を、グラフィカルユーザインターフェースに表示する過程と、
前記結果画像データの入力を、前記グラフィカルユーザインターフェースを介して受け取る過程と、
前記クエリを、受け取った前記入力に基づいて更新する過程と、
更新された結果画像データに基づいて、更新された前記グラフィカルユーザインターフェースを表示する過程と、
を含む、方法。
〔態様１８〕
態様１７に記載の方法において、画像データの前記レポジトリが、顕微鏡のデジタルデータを含む、方法。
〔態様１９〕
態様１７に記載の方法において、前記画像データの連続的な処理は、当該処理が完全に終了する前に結果が利用可能となるように、漸増的に結果を生成する、方法。
〔態様２０〕
態様１７に記載の方法において、前記クエリ指定が、データのインデックス及び変換を暗示的に定義する、方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2023-08-03

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータに実装される、画像のデータベースをクエリに含まれる１つ以上のクエリタイルに基づいて検索する方法であって、
前記画像のデータベース中の画像の当初のキャプチャ解像度を、クエリタイルを比較に用いて検索し、このクエリタイルを提供する過程と、
前記クエリタイルの倍率レベルが第１の閾値よりも大きいとの判定に応答して、倍率レベルが前記クエリタイルの倍率レベル以上である前記データベースに記憶された画像を検索して、前記クエリタイルのその倍率レベルで当該クエリタイルを満たす第１のリストの結果タイルを返す過程と、
前記クエリタイルの倍率レベルが前記第１の閾値以下であるとの判定に応答して、前記データベースに記憶された画像を検索して、前記クエリタイルの倍率レベルの次に低い倍率レベルのタイルを取り出す過程かつ当該次に低い倍率レベルで前記クエリタイルを満たす第２のリストの結果タイルを返す過程と、
各リストの結果タイルを処理する過程であって、結果タイルのそれぞれについて、
その結果タイルを、複数のサブセットのうちの、結果タイルのサブセットに追加すること、
前記結果タイルのサブセット内の結果タイルの総数が第２の閾値以上であるとの判定に応答して、前記クエリタイルについて前記サブセットを再帰的に検索すること、
前記結果タイルのサブセットについての各々の再帰的検索の結果を、前記複数のサブセットの残りのサブセットへと保存すること、
前記クエリタイルについて前記残りのサブセットを再帰的に検索すること、および
前記残りのサブセットについての検索の結果を保存すること、
を有する、過程と、
を含む、方法。