特表 2022-544705 ユニバーサルスライドビューア

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-10-20

(54)【発明の名称】ユニバーサルスライドビューア

(51)【国際特許分類】

   G06T 11/80 20060101AFI20221013BHJP

   G06T 1/00 20060101ALI20221013BHJP

【ＦＩ】

G06T11/80 E

G06T1/00 200B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022511224

(86)(22)【出願日】2020-08-24

(85)【翻訳文提出日】2022-04-20

(86)【国際出願番号】 US2020047687

(87)【国際公開番号】W WO2021041343

(87)【国際公開日】2021-03-04

(31)【優先権主張番号】62/890,953

(32)【優先日】2019-08-23

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】500213834

【氏名又は名称】メモリアル スローン ケタリング キャンサー センター

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】シェフラー ペーター

(72)【発明者】

【氏名】フックス トーマス

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA02

5B050BA06

5B050BA12

5B050CA07

5B050DA01

5B050EA07

5B050EA12

5B050EA18

5B050EA19

5B050FA02

5B050FA09

5B050GA08

(57)【要約】

本開示は、一般的には画像ビューアに関し、詳細には、さまざまな倍率または解像度で生物医学画像を同時にレンダリング可能な生物医学画像ビューアに関する。コンピュータシステムは、生物医学画像の第１の部分からタイルを識別可能である。各タイルは、倍率レベルおよび生物医学画像中の座標に対応し得る。コンピュータシステムは、各グラフィカルユーザインターフェース（ＧＵＩ）要素における同時表示のためにタイルを提供可能である。コンピュータシステムは、ＧＵＩ要素との相互作用を検出可能である。コンピュータシステムは、相互作用に基づいて、ＧＵＩ要素に表示されたタイルの座標の変化を識別可能である。コンピュータシステムは、座標の変化に基づいて、その他の同時表示タイルの第２の変化を決定可能である。コンピュータシステムは、これらの変化に基づいて、タイルの同時表示を更新可能である。

【特許請求の範囲】

【請求項1】

プリアンブルを生成する方法であって、
コンピュータシステムにより、病理組織学的画像作成器を介して組織サンプルから導出された生物医学画像の第１の部分から複数のタイルを識別することであり、前記複数のタイルがそれぞれ、複数の倍率のうちの１つで取得されるとともに、前記生物医学画像内の対応する座標セットにより規定され、前記複数のタイルのうちの少なくとも１つが、前記第１の部分の少なくとも１つのサブセットに対応する、ことと、
前記コンピュータシステムにより、対応する複数のグラフィカルユーザインターフェース（ＧＵＩ）要素を介した同時表示のために前記複数のタイルを提供することと、
前記コンピュータシステムにより、前記複数のＧＵＩ要素のうちの１つとの相互作用を検出して、前記複数のタイルのうちの１つの提示を修正することと、
前記コンピュータシステムにより、前記ＧＵＩ要素との前記相互作用に応答して、前記タイルを規定する第１の座標セットの第１の変化を識別することと、
前記コンピュータシステムにより、前記第１の座標セットの前記第１の変化に基づいて、前記複数のタイルのうちのその他のタイルそれぞれを規定する第２の座標セットに適用する第２の変化を決定することと、
前記コンピュータシステムにより、前記相互作用が検出された前記タイルの前記第１の座標セットに前記第１の変化を適用するとともに、前記複数のタイルのうちのその他のタイルそれぞれの前記第２の座標セットに前記第２の変化を適用することによって、前記対応する複数のＧＵＩ要素における前記複数のタイルの表示を更新することと、
を含む、方法。

【請求項2】

前記コンピュータシステムにより、前記タイルを規定する前記第１の座標セットに適用される前記第１の変化に基づいて、前記生物医学画像の第２の部分を識別することと、
前記第１の部分および前記第２の部分の比較に基づいて、前記第２の座標セットに適用する前記第２の変化を決定することと、
をさらに含む、請求項１に記載の方法。

【請求項3】

前記複数のＧＵＩ要素が、前記複数のタイルのうちの基準タイルを表示する第１のＧＵＩ要素と、前記複数のタイルのうちの対応する１つまたは複数の他のタイルを表示する１つまたは複数の第２のＧＵＩ要素と、を含む、請求項１に記載の方法。

【請求項4】

前記相互作用を検出することが、前記相互作用を検出して、前記タイル内のズーム動作および前記タイルから移動するパン動作の少なくとも一方を実行することをさらに含む、請求項１に記載の方法。

【請求項5】

前記複数のタイルを識別することが、前記対応する複数のＧＵＩ要素を介して前記クライアント機器上に表示するための、前記生物医学画像の前記第１の部分に対応する前記複数のタイルをクライアント機器にストリーミングすることをさらに含む、請求項１に記載の方法。

【請求項6】

前記コンピュータシステムにより、前記複数のＧＵＩ要素のうちの第２のＧＵＩ要素を介して、前記第２のＧＵＩ要素を介して表示された前記複数のタイルのうちの第２のタイル上の１つまたは複数のピクセル座標を識別するとともに、前記第２のタイル上の前記１つまたは複数のピクセル座標に対応する前記組織サンプル上のエリアにおける１つまたは複数の条件の有無を示すアノテーションを識別することと、
前記コンピュータシステムにより、前記アノテーションと前記生物医学画像との間の関連を１つまたは複数のデータ構造に格納することと、
をさらに含む、請求項１に記載の方法。

【請求項7】

前記コンピュータシステムにより、前記アノテーションにより識別された前記１つまたは複数のピクセル座標に対応する複数のインデックス化色値を生成することをさらに含み、
前記関連を格納することが、前記複数のインデックス化色値を前記アノテーションのマップとして格納することをさらに含む、請求項５に記載の方法。

【請求項8】

前記コンピュータシステムにより、前記第２のＧＵＩ要素を介して表示された前記第２のタイルにおいて識別された前記アノテーションに基づいて、前記対応する複数のＧＵＩ要素における前記複数のタイルの表示を更新することをさらに含む、請求項５に記載の方法。

【請求項9】

前記コンピュータシステムにより、前記複数のタイルのうちの第３のタイルについて、前記生物医学画像の各部を識別することと、
前記コンピュータシステムにより、前記少なくとも１つのタイルの前記各部に対する色修正動作を適用する一方、前記生物医学画像のその他の部分を維持することと、
前記コンピュータシステムにより、前記各部に対する前記色修正動作の適用に基づいて、前記複数のＧＵＩ要素のうちの対応するＧＵＩ要素における前記第３のタイルの表示を更新することと、
をさらに含む、請求項１に記載の方法。

【請求項10】

前記コンピュータシステムにより、前記複数のタイルが導出された前記生物医学画像の供給源を識別することと、
前記コンピュータシステムにより、複数の色修正動作から、前記生物医学画像に対して識別された前記供給源に基づく色修正動作を選択することと、
をさらに含む、請求項９に記載の方法。

【請求項11】

メモリに結合された１つまたは複数のプロセッサを有し、
病理組織学的画像作成器を介して組織サンプルから導出された生物医学画像の第１の部分から複数のタイルを識別することであり、前記複数のタイルがそれぞれ、複数の倍率のうちの１つで取得されるとともに、前記生物医学画像内の対応する座標セットにより規定され、前記複数のタイルのうちの少なくとも１つが、前記第１の部分の少なくとも１つのサブセットに対応する、ことと、
対応する複数のグラフィカルユーザインターフェース（ＧＵＩ）要素を介した同時表示のために前記複数のタイルを提供することと、
前記複数のＧＵＩ要素のうちの１つとの相互作用を検出して、前記複数のタイルのうちの１つの提示を修正することと、
前記ＧＵＩ要素との前記相互作用に応答して、前記タイルを規定する第１の座標セットの第１の変化を識別することと、
前記第１の座標セットの前記第１の変化に基づいて、前記複数のタイルのうちのその他のタイルそれぞれを規定する第２の座標セットに適用する第２の変化を決定することと、
前記相互作用が検出された前記タイルの前記第１の座標セットに前記第１の変化を適用するとともに、前記複数のタイルのうちのその他のタイルそれぞれの前記第２の座標セットに前記第２の変化を適用することによって、前記対応する複数のＧＵＩ要素における前記複数のタイルの表示を更新することと、
を行うように構成されたコンピュータシステムを備えたシステム。

【請求項12】

前記コンピュータシステムが、
前記タイルを規定する前記第１の座標セットに適用される前記第１の変化に基づいて、前記生物医学画像の第２の部分を識別することと、
前記第１の部分および前記第２の部分の比較に基づいて、前記第２の座標セットに適用する前記第２の変化を決定することと、
を行うようにさらに構成された、請求項１１に記載のシステム。

【請求項13】

前記複数のＧＵＩ要素が、前記複数のタイルのうちの基準タイルを表示する第１のＧＵＩ要素と、前記複数のタイルのうちの対応する１つまたは複数の他のタイルを表示する１つまたは複数の第２のＧＵＩ要素と、を含む、請求項１１に記載のシステム。

【請求項14】

前記コンピュータシステムが、前記相互作用を検出して、前記タイル内のズーム動作および前記タイルから移動するパン動作の少なくとも一方を実行するようにさらに構成された、請求項１１に記載のシステム。

【請求項15】

前記コンピュータシステムが、前記対応する複数のＧＵＩ要素を介して前記クライアント機器上に表示するための、前記生物医学画像の前記第１の部分に対応する前記複数のタイルをクライアント機器にストリーミングするようにさらに構成された、請求項１１に記載のシステム。

【請求項16】

前記コンピュータシステムが、
前記複数のＧＵＩ要素のうちの第２のＧＵＩ要素を介して、前記第２のＧＵＩ要素を介して表示された前記複数のタイルのうちの第２のタイル上の１つまたは複数のピクセル座標を識別するとともに、前記第２のタイル上の前記１つまたは複数のピクセル座標に対応する前記組織サンプル上のエリアにおける１つまたは複数の条件の有無を示すアノテーションを識別することと、
前記アノテーションと前記生物医学画像との間の関連を１つまたは複数のデータ構造に格納することと、
を行うようにさらに構成された、請求項１１に記載のシステム。

【請求項17】

前記アノテーションにより識別された前記１つまたは複数のピクセル座標に対応する複数のインデックス化色値を生成することと、
前記複数のインデックス化色値を前記アノテーションのマップとして格納することと、
をさらに含む、請求項１５に記載のシステム。

【請求項18】

前記コンピュータシステムが、前記第２のＧＵＩ要素を介して表示された前記第２のタイルにおいて識別された前記アノテーションに基づいて、前記対応する複数のＧＵＩ要素における前記複数のタイルの表示を更新するようにさらに構成された、請求項１５に記載のシステム。

【請求項19】

前記コンピュータシステムが、
前記複数のタイルのうちの第３のタイルについて、前記生物医学画像の各部を識別することと、
前記少なくとも１つのタイルの前記各部に対する色修正動作を適用する一方、前記生物医学画像のその他の部分を維持することと、
前記各部に対する前記色修正動作の適用に基づいて、前記複数のＧＵＩ要素のうちの対応するＧＵＩ要素における前記第３のタイルの表示を更新することと、
を行うようにさらに構成された、請求項１１に記載のシステム。

【請求項20】

前記コンピュータシステムが、
前記複数のタイルが導出された前記生物医学画像の供給源を識別することと、
複数の色修正動作から、前記生物医学画像に対して識別された前記供給源に基づく色修正動作を選択することと、
を行うようにさらに構成された、請求項１９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０１９年８月２３日に出願された米国仮特許出願第６２／８９０，９５３号「Ｕｎｉｖｅｒｓａｌ Ｓｌｉｄｅ Ｖｉｅｗｅｒ」に対する優先権を主張するものであり、そのすべての内容を本明細書に援用する。

【0002】

本願は一般的に、生物医学画像をレンダリングする表示インターフェース（viewing interface）に関するものであり、多様なフォーマット、構成、およびパラメータを有する画像に対するユニバーサルスライドビューア等のスライドビューアの使用が挙げられるが、これに限定されない。

【背景技術】

【0003】

アプリケーションを介したコンピュータ機器上の画像の表示およびレンダリングが可能である。画像のビューは、アプリケーションの１つまたは複数のユーザインターフェース要素を介して制御可能である。

【発明の概要】

【0004】

本開示のシステムおよび方法は、異なる解像度および配色（color scheme）で正規化された異なる倍率レベルの生物医学画像（biomedical image）の同時表示を可能にし得る。ユニバーサルスライドビューはさらに、生物医学画像の表示と関連する態様の中でもとりわけ、パンまたはズーム動作が画像に適用された場合の異なる倍率レベルでの複数の同期ビューに対応し得る。本明細書に記載のシステムおよび方法は、スライドのシームレスかつ高速なピクセル精度のアノテーションをさまざまな倍率で提供可能である。ラスタライズＢＭＰ画像には、アノテーションを格納することにより、精度も速度も犠牲にすることなく、格納スペースを増大可能である。

【0005】

本開示の少なくとも１つの態様は、方法に関する。この方法は、病理組織学的画像作成器（histopathological image preparer）を介して組織サンプルから導出された生物医学画像の第１の部分から複数のタイルを識別することを含み得る。複数のタイルはそれぞれ、複数の倍率のうちの１つで取得されるとともに、生物医学画像内の対応する座標セットにより規定され得る。複数のタイルのうちの少なくとも１つは、第１の部分の少なくとも１つのサブセットに対応し得る。この方法は、対応する複数のグラフィカルユーザインターフェース要素を介した同時表示のために複数のタイルを提供することを含み得る。この方法は、複数のＧＵＩ要素のうちの１つとの相互作用を検出して、複数のタイルのうちの１つを修正することを含み得る。この方法は、ＧＵＩ要素との相互作用に応答して、タイルを規定する第１の座標セットの第１の変化を識別することを含み得る。この方法は、第１の座標セットの第１の変化に基づいて、複数のタイルのうちのその他のタイルそれぞれを規定する第２の座標セットに適用する第２の変化を決定することを含み得る。この方法は、相互作用が検出されたタイルの第１の座標セットに第１の変化を適用するとともに、複数のタイルのうちのその他のタイルそれぞれの第２の座標セットに第２の変化を適用することによって、対応する複数のＧＵＩ要素における複数のタイルの表示を更新することを含み得る。

【0006】

いくつかの実施態様において、この方法は、タイルを規定する第１の座標セットに適用される第１の変化に基づいて、生物医学画像の第２の部分を識別することを含み得る。いくつかの実施態様において、この方法は、第１の部分および第２の部分の比較に基づいて、第２の座標セットに適用する第２の変化を決定することを含み得る。いくつかの実施態様において、複数のＧＵＩ要素は、複数のタイルのうちの基準タイルを表示する第１のＧＵＩ要素と、複数のタイルのうちの対応する１つまたは複数の他のタイルを表示する１つまたは複数の第２のＧＵＩ要素と、を含み得る。

【0007】

いくつかの実施態様において、相互作用を検出することは、相互作用を検出して、タイル内のズーム動作およびタイルから移動するパン動作の少なくとも一方を実行することをさらに含み得る。いくつかの実施態様において、複数のタイルを識別することは、対応する複数のＧＵＩ要素を介してクライアント機器上に表示するための、生物医学画像の第１の部分に対応する複数のタイルをクライアント機器にストリーミングすることをさらに含み得る。

【0008】

いくつかの実施態様において、この方法は、複数のＧＵＩ要素のうちの第２のＧＵＩ要素を介してアノテーションを識別することを含み得る。いくつかの実施態様において、アノテーションは、第２のＧＵＩ要素を介して表示された複数のタイルのうちの第２のタイル上の１つまたは複数のピクセル座標を識別し得る。いくつかの実施態様において、アノテーションは、第２のタイル上の１つまたは複数のピクセル座標に対応する組織サンプル上のエリアにおける１つまたは複数の条件の有無を示し得る。いくつかの実施態様において、この方法は、アノテーションと生物医学画像との間の関連を１つまたは複数のデータ構造に格納することを含み得る。

【0009】

いくつかの実施態様において、この方法は、アノテーションにより識別された１つまたは複数のピクセル座標に対応する複数のインデックス化色値（indexed color value）を生成することを含み得る。いくつかの実施態様において、この方法は、複数のインデックス化色値をアノテーションのマップとして格納することを含み得る。いくつかの実施態様において、この方法は、第２のＧＵＩ要素を介して表示された第２のタイルにおいて識別されたアノテーションに基づいて、対応する複数のＧＵＩ要素における複数のタイルの表示を更新することを含み得る。

【0010】

いくつかの実施態様において、この方法は、複数のタイルのうちの第３のタイルについて、生物医学画像の各部を識別することを含み得る。いくつかの実施態様において、この方法は、少なくとも１つのタイルの各部に対する色修正動作を適用する一方、生物医学画像のその他の部分を維持することを含み得る。いくつかの実施態様において、この方法は、各部に対する色修正動作の適用に基づいて、複数のＧＵＩ要素のうちの対応するＧＵＩ要素における第３のタイルの表示を更新することを含み得る。いくつかの実施態様において、この方法は、複数のタイルが導出された生物医学画像の供給源を識別することを含み得る。いくつかの実施態様において、この方法は、複数の色修正動作から選択することを含み得る。この方法のいくつかの実施態様において、色修正動作は、生物医学画像に対して識別された供給源に基づき得る。

【0011】

本開示の少なくとも１つの他の態様は、システムに関する。このシステムは、メモリに結合された１つまたは複数のプロセッサを有するコンピュータシステムを備え得る。このシステムは、病理組織学的画像作成器を介して組織サンプルから導出された生物医学画像の第１の部分から複数のタイルを識別し得る。複数のタイルはそれぞれ、複数の倍率のうちの１つで取得されるとともに、生物医学画像内の対応する座標セットにより規定され得る。複数のタイルのうちの少なくとも１つは、第１の部分の少なくとも１つのサブセットに対応する。このシステムは、対応する複数のグラフィカルユーザインターフェース要素を介した同時表示のために複数のタイルを提供し得る。このシステムは、複数のＧＵＩ要素のうちの１つとの相互作用を検出して、複数のタイルのうちの１つを修正し得る。このシステムは、ＧＵＩ要素との相互作用に応答して、タイルを規定する第１の座標セットの第１の変化を識別し得る。このシステムは、第１の座標セットの第１の変化に基づいて、複数のタイルのうちのその他のタイルそれぞれを規定する第２の座標セットに適用する第２の変化を決定し得る。このシステムは、相互作用が検出されたタイルの第１の座標セットに第１の変化を適用するとともに、複数のタイルのうちのその他のタイルそれぞれの第２の座標セットに第２の変化を適用することによって、対応する複数のＧＵＩ要素における複数のタイルの表示を更新し得る。

【0012】

いくつかの実施態様において、このシステムは、タイルを規定する第１の座標セットに適用される第１の変化に基づいて、生物医学画像の第２の部分を識別し得る。いくつかの実施態様において、このシステムは、第１の部分および第２の部分の比較に基づいて、第２の座標セットに適用する第２の変化を決定し得る。いくつかの実施態様において、複数のＧＵＩ要素は、複数のタイルのうちの基準タイルを表示する第１のＧＵＩ要素と、複数のタイルのうちの対応する１つまたは複数の他のタイルを表示する１つまたは複数の第２のＧＵＩ要素と、を含み得る。いくつかの実施態様において、このシステムは、相互作用を検出して、タイル内のズーム動作およびタイルから移動するパン動作の少なくとも一方を実行し得る。

【0013】

いくつかの実施態様において、このシステムは、対応する複数のＧＵＩ要素を介してクライアント機器上に表示するための、生物医学画像の第１の部分に対応する複数のタイルをクライアント機器にストリーミングし得る。いくつかの実施態様において、このシステムは、複数のＧＵＩ要素のうちの第２のＧＵＩ要素を介してアノテーションを識別し得る。いくつかの実施態様において、アノテーションは、第２のＧＵＩ要素を介して表示された複数のタイルのうちの第２のタイル上の１つまたは複数のピクセル座標を識別し得る。いくつかの実施態様において、アノテーションは、第２のタイル上の１つまたは複数のピクセル座標に対応する組織サンプル上のエリアにおける１つまたは複数の条件の有無を示し得る。いくつかの実施態様において、このシステムは、アノテーションと生物医学画像との間の関連を１つまたは複数のデータ構造に格納し得る。

【0014】

いくつかの実施態様において、このシステムは、アノテーションにより識別された１つまたは複数のピクセル座標に対応する複数のインデックス化色値を生成し得る。いくつかの実施態様において、このシステムは、複数のインデックス化色値をアノテーションのマップとして格納し得る。いくつかの実施態様において、このシステムは、第２のＧＵＩ要素を介して表示された第２のタイルにおいて識別されたアノテーションに基づいて、対応する複数のＧＵＩ要素における複数のタイルの表示を更新し得る。

【0015】

いくつかの実施態様において、このシステムは、複数のタイルのうちの第３のタイルについて、生物医学画像の各部を識別し得る。いくつかの実施態様において、このシステムは、少なくとも１つのタイルの各部に対する色修正動作を適用する一方、生物医学画像のその他の部分を維持し得る。いくつかの実施態様において、このシステムは、各部に対する色修正動作の適用に基づいて、複数のＧＵＩ要素のうちの対応するＧＵＩ要素における第３のタイルの表示を更新し得る。いくつかの実施態様において、このシステムは、複数のタイルが導出された生物医学画像の供給源を識別し得る。いくつかの実施態様において、このシステムは、複数の色修正動作から選択し得る。いくつかの実施態様において、色修正動作は、生物医学画像に対して識別された供給源に基づき得る。

【0016】

上記他の態様および実施態様については、以下に詳しく論じる。以上の情報および以下の詳細な説明は、種々態様および実施態様を説明するための例を含み、特許請求の範囲に係る態様および実施態様の本質および特徴を理解するための概略または枠組みを提供する。図面は、一例を示して種々態様および実施態様の理解を深めるためのものであり、本明細書に援用して、その一部を構成する。態様は組み合わせ可能であり、当然のことながら、本発明の一態様の背景において説明する特徴は、他の態様と組み合わせ可能である。態様は、任意の好都合な形態で実施可能である。たとえば、適当なコンピュータプログラムによって可能であるが、これは、適当なキャリア媒体（コンピュータ可読媒体）に担持されていてもよく、これは、有形のキャリア媒体（たとえば、ディスク）であってもよいし、無形のキャリア媒体（たとえば、通信信号）であってもよい。また、態様は、好適な装置を用いて実施されるようになっていてもよく、これは、当該態様を実施するように構成されたコンピュータプログラムを動作させる１つまたは複数のプログラム可能なコンピュータの形態が可能である。本明細書および特許請求の範囲において使用する通り、「ａ」、「ａｎ」、および「ｔｈｅ」の単数形は、文脈上の別段の明確な指示のない限り、複数の指示対象を含む。

【0017】

本開示に関する上記および他の目的、態様、特徴、および利点は、添付の図面と併せて以下の説明を参照することによって、より明らかになるとともに、より深い理解が得られる。

【図面の簡単な説明】

【0018】

【図1】例示的な一実施形態に係る、さまざまなベンダーと適合するユニバーサルスライドビューを示した図である。

【図2】例示的な一実施形態に係る、ピクセル単位のラベリングで生検をレンダリングするユニバーサルスライドビューアのインターフェースのスクリーンショットである。

【図3】例示的な一実施形態に係る、生検の分類をレンダリングするユニバーサルスライドビューアのインターフェースのスクリーンショットである。

【図4】例示的な一実施形態に係る、同時表示のために生物医学画像の複数のビューを提供するシステムを示した図である。

【図5】例示的な一実施形態に係る、生物医学画像の複数のタイルおよびグラフィカルユーザインターフェースにおける各表示領域を示したブロック図である。

【図6】例示的な一実施形態に係る、パンまたはズーム動作を実行中の生物医学画像の１つまたは複数のタイルの変化を示したブロック図である。

【図7】例示的な一実施形態に係る、色変更動作を実行中の生物医学画像の１つまたは複数のタイルを示したブロック図である。

【図8】例示的な一実施形態に係る、同時表示のために生物医学画像の複数のビューを提供する例示的な方法のフロー図である。

【図9】例示的な一実施形態に係る、サーバシステムおよびクライアントコンピュータシステムを示したブロック図である。

【発明を実施するための形態】

【0019】

本技術は、ユニバーサルスライドビューを用いて生物医学画像の複数の拡大ビューを提示することを含み、高度なツールを使用する病理学者または他のヘルスケア専門家による医療画像の表示およびアノテーションを可能にし得る。当然のことながら、上記で紹介するとともに以下でより詳しく論じるさまざまな概念は、数多くの方法のいずれかにより実施されるようになっていてもよい。これは、開示の概念が如何なる特定の実施態様にも限定されないためである。主に説明を目的として、特定の実施態様および用途の例を与える。

【0020】

第Ａ項は、１つまたは複数の例示的な実施態様に係る、ユニバーサルスライドビューアを記載する。

【0021】

第Ｂ項は、１つまたは複数の実施態様に係る、生物医学画像のさまざまなビューを異なる倍率レベルで提示するシステムおよび方法を記載する。

【0022】

第Ｃ項は、本明細書に記載の種々実施形態の実現に有用と考えられるネットワーク環境およびコンピュータ環境を記載する。

【0023】

Ａ．ユニバーサルスライドビューア
病院は、生物医学撮像技術に関する複数のベンダー、スキャナ、またはファイルフォーマットを有するため、生物医学画像をレンダリングする複数のアプリケーションまたはサービスを有すると考えられる。特定のビューアは、ベクトルベースのグラフィカルアノテーションにしか対応し得ず、不正確で矛盾が生じる可能性がある。デジタルスライドの手動評価は、患者当たりのデジタルスライドの増加につれて、ますます時間が掛かるものとなり得る。

【0024】

少なくとも上掲の問題を解決するために、図１を参照して、ユニバーサルスライダは、異なる解像度および配色で正規化された異なるベンダーのための表示を可能にし得る。また、マルチビューおよびカンファレンスセッションに対応する。図２を参照して、スライドビューアは、スライドのシームレスかつ高速なピクセル精度のアノテーションにさまざまな倍率で対応する。ラスタライズＢＭＰ画像がアノテーションを格納する。図３を参照して、ビューアは、ステップ１および２のスライドおよびアノテーションに基づく自動機械学習モデルのトレーニングおよびテストに対応する。分類結果が定量的（結果テーブル）かつ定性的（予測マップ、ヒートマップ、信頼性マップ等の重ね合わせ）に視覚化される。このように、計算病理学のさまざまな用途に対して、情報に基づく意思決定支援が提供され得る。

【0025】

１（ａ）．倍率ごとの解像度の正規化
同じ倍率であっても、ベンダー／スキャナによってはピクセルごとに異なる解像度でスキャンを行う。したがって、スキャナによっては、「２０倍」の大きさが異なって見えることがある。一方、病理学者は、すべてのスライドについて、「２０倍」が同じサイズであるものと評価する。したがって、スライドビューアは、２０倍が常に同じ解像度０．４５μｍ／ｐｘとなるように、（ＳｌｉｄｅＯｂｊｅｃｔｉｖｅＰｏｗｅｒ＊ＳｌｉｄｅＭＰＰ／２０）／０．４５という式によって、ズームレベルの正規化係数を組み込んでいる。ここで、ＳｌｉｄｅＯｂｊｅｃｔｉｖｅＰｏｗｅｒは、現在のスライドの対物倍率であり、ＳｌｉｄｅＭＰＰは、現在のスライドの解像度である。他の倍率レベルも同様に正規化される。

【0026】

１（ｂ）．色あせおよび色ずれを補償する各種染色の配色の正規化
スキャナによっては、（デジタルカメラがわずかに異なる色で同じシーンを表すのと同様に）画像のスキャン時の色テーブルが異なる。さらに、配色は時間とともに変化する可能性もあるため、古いスキャナでは、新しいスキャナと比べて色あせまたは色ずれが見られる。一方、病理学者は、スキャナのベンダーにも年式にも関わらず、スライドが同様に見えるものと評価する。スライドビューアは、Ｈ＆Ｅ染色スライドが色に関して互いに同様に見えるように、タイルの色の正規化によって色ずれの補償（色あせおよび色ずれの補償）を行うことになる。

【0027】

２（ａ）．倍率が異なる複数の小型ウィンドウを備えた主スライドウィンドウ
ビューアは、スライドの詳細な調査のため、マルチビューに対応する（大画面が最も合理的である）。これには、以下を含む。

【0028】

サインアウトビュー：スライドを表示する１つの主ウィンドウである。その隣には、同じスライドを含み、倍率レベルが順に高くなる２つ～３つの小型ウィンドウがある。利点：病理学者は、レバー（顕微鏡）の切り替えもボタン（他のビューア）のクリックもなく、異なる倍率レベルでスライドを瞬時に調査可能である。

【0029】

２（ｂ）．同時に表示され、視認可能なスライドの領域、ズーム等に関して互いに同期された複数のスライド
マルチビュー：ナビゲーションと同期して、２つまたは４つ（以上）のスライドが隣り合って表示される。スライドのパンおよびズームが同期して行われるように、スライドの異なる寸法およびズームが補償される。利点：病理学者は、同じ組織の異なる染色（たとえば、Ｈ＆Ｅ、ＩＨＣ、ＭＩＢ－１、ＣＤ３等）を瞬時に観察可能である。これは、組織の評価を容易にする。

【0030】

３．ソフトウェアコンポーネントの追加を必要としないビューア内画面共有
ビューアは、カンファレンスセッションに対応する。誰でも容易に、特定時間のカンファレンスと、このカンファレンス用のスライド集と、を生成可能である。そして、所与の時間にカンファレンスに参加する人たちは、「リード（ｌｅａｄ）」が視認およびナビゲーションするものをそれぞれの画面上で視認することになる。これは、デスクトップ画面の共有と酷似するが、画面共有ソフトの追加の必要なく、ビューアにおいて完全に実装される。利点：教育目的（先生、生徒）およびリモートセッション（カンファレンス／合意セッション、病理学者が常駐していない腫瘍ボード）に有用である。

【0031】

４．タイル単位でのオンザフライ偽色表現（on-the-fly false color representation）
アウトビューアは、事前の計算なく、スライドのオンザフライ偽色表現に対応する。これは、現在ユーザに見えているタイルのみを編集することにより実行される。例として、カラーデコンボリューション正規化色（ＲＧＢ→Ｒ／（Ｒ＋Ｇ＋Ｂ）、Ｇ／（Ｒ＋Ｇ＋Ｂ）、Ｂ／（Ｒ＋Ｇ＋Ｂ））、光学密度（ＲＧＢ→－ｌｏｇ１０（Ｒ／２５５）、－ｌｏｇ１０（Ｇ／２５５）、－ｌｏｇ１０（Ｂ／２５５））が挙げられる。

【0032】

５．アノテーションを精査するための監視モード
ビューアは、（上位）病理学者が他の（下位）病理学者のアノテーションを精査し得る監視モードに対応する。これは、たとえば研究員が多くのスライドにアノテーションを施し、上位病理学者がこれらを精査する大規模アノテーションに有益である。これは、スライドビューアを使用する個々のユーザの異なるアクセスレベルの実装により解決される。

【0033】

６．ｏｐｅｎｓｌｉｄｅの使用
タイルサーバは、ライブラリｏｐｅｎｓｌｉｄｅを使用することにより、独自のファイルフォーマットから現在の倍率で、現在表示されているタイルを抽出する。これにより、サーバからクライアントへの最適なデータストリーミングが可能となって、スライドの関連部分のみにアクセス可能となる。

【0034】

７．負荷分散
複数のユーザが同時に、複数のファイルにアクセスするため、４つのタイルサーバから流れてくるタイルに対して、負荷分散が実施される。これらのタイルサーバはとしては、物理的なサーバも可能であるし、クラウド中の仮想的なサーバも可能である。

【0035】

８．キャッシング画像タイルの直接配信
クライアントへのタイル配信速度を上げるため、（元のスキャンファイルからライブラリｏｐｅｎｓｌｉｄｅにより生成された）生成タイルは、ｊｐｇまたはｐｎｇとしてサーバにキャッシングされる。ｏｐｅｎｓｌｉｄｅによる新たなタイルの生成および結果としての画像タイルの配信は、キャッシング画像タイルの直接配信よりもはるかに遅い。したがって、このキャッシング手順により、表示速度が大きく上昇する。

【0036】

９．スライドビューア上のラベリング。
スライドビューアは、（コンピュータ機器に応じて）コンピュータマウス、ペン、指等の入力装置による画像へのペイントに対応する。

【0037】

アノテーションは、重ね合わせとして視覚化され、４ｂｐｐビットマップとして格納される。これらの４ビット／ピクセルのビットマップにより、以下が可能となる。
大きな寸法（１００ｋ×８０ｋピクセル）でも小さなファイルサイズ（４ｂｐｐビットマップは、高圧縮可能である）
ファイル当たり１６個の異なるアノテーション
高速かつ容易な画像へのペイント、ピクセル精度のラベル、たとえばベクトルベースのアノテーションでは困難なドーナツ状のアノテーション

【0038】

一方、不利な点として、非圧縮時のファイルサイズが非常に大きい（～１Ｇｂ）。したがって、ラベルファイルをＲＡＭにロードするのは、問題となり得る。この問題は、メモリマッピングファイルの使用により解決される。メモリマッピングファイルの使用によって、以下が可能となる。
異なるプロセス（たとえば、分類および表示プロセス）からでも１つのラベルファイルに同時アクセス可能
これらのファイルの高速読み書きが可能

【0039】

これらのファイルにアクセス（読み書き）するためのスクリプトおよびルーチンが構成されている。これらのスクリプトは、組織画像用のピラミッドアーキテクチャに適合するように、ピラミッドレベルのアクセスを含む。これにより、ビューアにおいて現在表示されているラベルファイルの部分のみが現在の倍率でクライアントにストリーミングされる。このため、ストリーミングデータが大幅に少なくなって、アノテーションの表示プロセスが高速になる。

【0040】

ローカルのクライアント機器上では、ライブラリＯｐｅｎＳｅａｄｒａｇｏｎを用いて、重ね合わせ（および、主スライド画像）が視覚化される。このライブラリは、シームレスなズームおよびパンを可能にする。クライアント機器上でのペインティング自体は、ｆａｂｒｉｃ．ｊｓ用のプラグインＯｐｅｎＳｅａｄｒａｇｏｎを用いて実現される。

【0041】

１０．実験セットアップインターフェース
ビューアは、以下のような実験セットアップインターフェースを有する。
ユーザは、新たな実験を生成し、トレーニング・テストセットとして含めるべき画像を選択する。
ユーザは、トレーニング・テスト画像上の異なるクラスに対してアノテーション（たとえば、それ自体のアノテーションまたは他のアノテータからのアノテーション）を与える。
ユーザは、データセット上のトレーニングおよびテストの対象となるアルゴリズムを選定する。アルゴリズムは、モジュールであって、プラグイン可能である。通常は、計算病理学研究グループによって、好適なアルゴリズムが開発される。
ビューアは、サーバ上でローカルでまたはＨＰＣクラスタへのアクセスによって、機械学習アルゴリズムのトレーニングおよびテストを行う。
結果は、格納され、ユーザに対して視覚化される。定量的なエラー基準（たとえば、正確性、精度、再現性等）のほか、ヒートマップの重ね合わせ画像等の定性的な結果も報告される。これらのヒートマップは、類似の４ｂｐｐビットマップであるため、ラベルファイルと同様に取り扱われる。
その後、予備トレーニング分類子を以下のように適用する。
ユーザは、分類対象のスライドまたはスライドセット（たとえば、前立腺がんスライド）を選択する。
ユーザは、利用可能な分類子のリストから、予備トレーニング分類子を選択する。このような分類子は、（たとえば、研究グループにより）予め開発され、さまざまなデータセットで検証されたものである（たとえば、前立腺がんグリソンスコア予測子）。
ビューアは、サーバマシン上でローカルでまたはＨＰＣクラスタの使用によって、選択したスライドに分類子を適用する。
結果は、格納され、ユーザに対して視覚化される。定量的なエラー基準（たとえば、正確性、精度、再現性等）のほか、ヒートマップの重ね合わせ画像等の定性的な結果も報告される。これらのヒートマップは、類似の４ｂｐｐビットマップであるため、ラベルファイルと同様に取り扱われる。

【0042】

Ｂ．生物医学画像を異なる倍率レベルでレンダリングするシステムおよび方法
病理学者および他の医療専門家は、たとえば顕微鏡または他の撮像技術を用いて、さまざまな倍率レベルでスライドを表示することが多い。従来の顕微鏡の限界として、その表示能力が挙げられる。所与の時間において観察者に表示できるのは、１つの倍率ビューだけである。特定のタスクについて異なるビューが必要な場合は、顕微鏡の倍率レベルを変更する必要がある。コンピュータ撮像技術の進歩により、組織サンプルを非常に高い解像度で撮像可能である。解像度の非常に高い画像は、サイズが非常に大きく、レンダリングに相当な計算リソースを要することが多い。さらに、生物医学画像ビューアは、従来の顕微鏡と同様に、所与の時間に単一の倍率レベルしかレンダリングできないという問題を抱えている。

【0043】

組織サンプルを分析する場合、生物医学画像または顕微鏡のいずれにおいても、病理学者は、生物医学画像を異なる倍率レベルで分析して、組織サンプルの特定の品質を異なるスケールで評価することが多い。ただし、ビュー間の連続切り替えは、煩雑となり得る。したがって、システムは、生物医学画像を異なる倍率でレンダリングし得る付加的な表示画面を提供するのが好都合となる。そこで、本開示のシステムおよび方法は、このような解決手段を提供する。

【0044】

本明細書に記載のシステムおよび方法は、生物医学画像の複数のビューを異なる倍率レベルで同時にレンダリング可能なユニバーサルスライドビューアを提供する。複数のビューそれぞれを生物医学画像中の関心座標に対して同期可能であるため、主表示ウィンドウの位置も倍率も変更することなく、同じ座標を異なる倍率レベルで表示可能である。また、必要に応じてユーザがビューを追加または削除可能であり、それぞれの使用によって、倍率レベルにわたってピクセルレベルの粒状アノテーションをリアルタイムに提供可能である。生物医学画像は非常に大きい場合が多いため、レンダリングサーバは、ユーザが要求する生物医学画像の部分のみを選択してレンダリングすることができる。ユーザは、ユニバーサルスライドビューアが提供するインターフェースを通じて、医療画像の異なる部分をリアルタイムに要求することができる。このため、本明細書に記載のシステムおよび方法では、視認可能な生物医学画像の部分のみをレンダリングすることによって、生物医学画像レンダリングプラットフォームを技術的に改良する。この技術的解決手段の上記および他の態様については、以下により詳しく説明する。

【0045】

ここで図４を参照して、この図は、生物医学画像をレンダリングする１つまたは複数の表示領域を提示する例示的なシステム４００のブロック図である。システム４００は、少なくとも１つのコンピュータシステム４０５、少なくとも１つのクライアント機器４２０Ａ～４２０Ｎ（「クライアント機器４２０」と総称する場合もある）、少なくとも１つのネットワーク４１０、および少なくとも１つのデータストレージ４１５を具備し得る。いくつかの実施態様においては、コンピュータシステム４０５がデータストレージ４１５を具備し得るものの、いくつかの実施態様においては、データストレージ４１５をコンピュータシステム４０５の外部に置くことも可能である。たとえば、データストレージ４１５がコンピュータシステム４０５の外部である場合、コンピュータシステム４０５（または、その構成要素）は、ネットワーク４１０を介してデータストレージ４１５と通信可能である。コンピュータシステム４０５は、少なくとも１つのタイル識別器４２５、少なくとも１つの表示提供器４３０、少なくとも１つの相互作用検出器４３５、および少なくとも１つのタイル修正器４４０を具備し得る。データストレージ４１５は、少なくとも１つの生物医学画像４５０および少なくとも１つのアノテーションデータ４５５を含み得る。

【0046】

システム４００の構成要素（たとえば、コンピュータシステム４０５、クライアント機器４２０、ネットワーク４１０、タイル識別器４２５、表示提供器４３０、相互作用検出器４３５、タイル修正器４４０、データストレージ４１５等）はそれぞれ、たとえば図９と併せて本明細書の以下に記載するサーバシステム９００またはクライアントコンピュータシステム９１４等、本明細書に記載のさまざまなコンピュータ機器のいずれかを用いて実装可能である。コンピュータシステム４０５は、本明細書の上記第Ａ項に記載の特徴または機能のいずれかを実行可能である。

【0047】

より詳細には、コンピュータシステム４０５は、少なくとも１つのプロセッサおよびメモリ（たとえば、処理回路）を具備し得る。メモリは、プロセッサにより実行された場合に、本明細書に記載の動作のうちの１つまたは複数をプロセッサに実行させるプロセッサ実行可能命令を格納し得る。プロセッサとしては、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等、またはこれらの組み合わせが挙げられる。メモリとしては、電子、光学、磁気、もしくはその他任意のストレージ、またはプロセッサにプログラム命令を与え得る伝送機器が挙げられるが、これらに限定されない。メモリとしては、フロッピーディスク、ＣＤ－ＲＯＭ、ＤＶＤ、磁気ディスク、メモリチップ、ＡＳＩＣ、ＦＰＧＡ、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電気的消去・プログラム可能ＲＯＭ（ＥＥＰＲＯＭ）、消去・プログラム可能ＲＯＭ（ＥＰＲＯＭ）、フラッシュメモリ、光学媒体、またはプロセッサが命令を読み出し可能なその他の任意好適なメモリがさらに挙げられる。命令としては、任意好適なコンピュータプログラミング言語によるコードが挙げられる。コンピュータシステム４０５は、本明細書に記載のさまざまな機能を実行可能な１つまたは複数のコンピュータ機器またはサーバを具備し得る。コンピュータシステム４０５は、図９と併せて本明細書に記載のサーバシステム９００またはクライアントコンピュータシステム９１４のありとあらゆる構成要素を含むとともに、ありとあらゆる機能を実行可能である。

【0048】

ネットワーク４１０としては、インターネット、ローカル、ワイド、メトロ、もしくは他のエリアネットワーク、イントラネット、衛星ネットワーク等のコンピュータネットワーク、音声もしくはデータ携帯電話通信ネットワーク等の他のコンピュータネットワーク、ならびにこれらの組み合わせが挙げられる。いくつかの実施態様において、ネットワーク４１０としては、図９と併せて本明細書の以下に記載のネットワーク９２９の１つもしくは複数の態様またはその一部も可能であるし、ネットワーク９２９の１つもしくは複数の態様を含むことも可能である。システム１のコンピュータシステム４０５は、ネットワーク４１０を介して、たとえば少なくとも１つのクライアント機器４２０Ａと通信可能である。ネットワーク４１０は、クライアント機器４２０Ａと、コンピュータシステム４０５と、特にウェブサーバ等の１つまたは複数のコンテンツ供給源との間で情報を中継可能な如何なる形態のコンピュータネットワークであってもよい。いくつかの実施態様において、ネットワーク４１０としては、インターネットおよび／または他種のデータネットワーク（ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク、または他種のデータネットワーク等）が挙げられる。また、ネットワーク４１０は、当該ネットワーク４１０内でデータの受信および／または送信を行うように構成された任意数のコンピュータ機器（たとえば、コンピュータ、サーバ、ルータ、ネットワークスイッチ等）を具備していてもよい。ネットワーク４１０は、任意数の有線および／または無線接続をさらに含んでいてもよい。本明細書に記載のありとあらゆるコンピュータ機器（たとえば、コンピュータシステム４０５、サーバシステム９００、クライアントコンピュータシステム９１４等）が、ネットワーク４１０中の他のコンピュータ機器に（たとえば、光ファイバケーブル、ＣＡＴ５ケーブル等を介して）配線接続された送受信機と（たとえば、Ｗｉ－Ｆｉ、セルラー、無線等を介して）無線通信するようになっていてもよい。また、本明細書に記載のありとあらゆるコンピュータ機器（たとえば、コンピュータシステム４０５、サーバシステム９００、クライアントコンピュータシステム９１４等）が、プロキシ機器（たとえば、ルータ、ネットワークスイッチ、またはゲートウェイ）を介して、ネットワーク４１０のコンピュータ機器と無線通信するようになっていてもよい。

【0049】

データストレージ４１５としては、本明細書に記載の情報のいずれかを格納および／または維持するように構成されたデータベースが可能である。データストレージ４１５は、１つまたは複数のデータ構造を維持することができ、データ構造は、本明細書に記載の値、集合、セット、変数、ベクトル、または閾値のそれぞれを含み、インデクス化し、または他の方法で格納することが可能である。データストレージ４１５は、当該データストレージ４１５に維持された任意の項目、構造、または領域の１つまたは複数のメモリアドレス、インデックス値、または識別子を用いてアクセス可能である。データストレージ４１５は、ネットワーク４１０を介して、コンピュータシステム４０５の構成要素または本明細書に記載のその他任意のコンピュータ機器によりアクセス可能である。いくつかの実施態様において、データストレージ４１５は、コンピュータシステム４０５の内部に置くことも可能である。いくつかの実施態様において、データストレージ４１５は、コンピュータシステム４０５の外部に存在可能であり、ネットワーク４１０を介してアクセスされるようになっていてもよい。データストレージ４１５は、多くの異なるコンピュータシステムまたはストレージ要素にわたって分散可能であり、ネットワーク４１０または好適なコンピュータバスインターフェースを介してアクセスされるようになっていてもよい。コンピュータシステム４０５は、適当な値でインデックス化または識別された１つまたは複数のデータ構造中のありとあらゆる演算、決定、選択、識別、生成、構成、または計算の結果を当該コンピュータシステム４０５のメモリの１つもしくは複数の領域またはデータストレージ４１５に格納し得る。データストレージ４１５に格納されたありとあらゆる値に対して、本明細書に記載の任意のコンピュータ機器（コンピュータシステム４０５等）がアクセスすることにより、本明細書に記載の機能性または機能のいずれかを実行するようにしてもよい。

【0050】

クライアント機器４２０は、少なくとも１つのプロセッサおよびメモリ（たとえば、処理回路）を具備し得る。メモリは、プロセッサにより実行された場合に、本明細書に記載の動作のうちの１つまたは複数をプロセッサに実行させるプロセッサ実行可能命令を格納し得る。プロセッサとしては、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等、またはこれらの組み合わせが挙げられる。メモリとしては、電子、光学、磁気、もしくはその他任意のストレージ、またはプロセッサにプログラム命令を与え得る伝送機器が挙げられるが、これらに限定されない。メモリとしては、フロッピーディスク、ＣＤ－ＲＯＭ、ＤＶＤ、磁気ディスク、メモリチップ、ＡＳＩＣ、ＦＰＧＡ、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電気的消去・プログラム可能ＲＯＭ（ＥＥＰＲＯＭ）、消去・プログラム可能ＲＯＭ（ＥＰＲＯＭ）、フラッシュメモリ、光学媒体、またはプロセッサが命令を読み出し可能なその他の任意好適なメモリがさらに挙げられる。命令としては、任意好適なコンピュータプログラミング言語によるコードが挙げられる。クライアント機器４２０は、本明細書に記載のさまざまな機能を実行可能な１つまたは複数のコンピュータ機器またはサーバを具備し得る。クライアント機器４２０は、図９と併せて本明細書の以下に記載のサーバシステム９００またはクライアントコンピュータシステム９１４のありとあらゆる構成要素を含むとともに、ありとあらゆる機能を実行可能である。

【0051】

クライアント機器４２０は、任意の情報を１つまたは複数のグラフィカルユーザインターフェース（ＧＵＩ）に表示するように構成可能である。ＧＵＩとしては、ウェブブラウザ、ネイティブアプリケーション、または他種の生物医学画像４５０表示アプリケーション等、クライアント機器４２０上で実行される１つまたは複数のアプリケーションの一部も可能であるし、１つまたは複数のアプリケーションにおいて提供することも可能である。情報をＧＵＩに表示するため、クライアント機器４２０は、たとえば当該クライアント機器４２０のディスプレイ上のレンダリング対象のピクセルに対応する内部メモリから、表示情報にアクセス可能である。表示情報には、数ある実施可能な入力オブジェクトの中でもとりわけ、画像タイル、ボタン、スクロールバー、テキスト入力ボックス、ラジオボックス、チェックボックス等の１つまたは複数のインタラクティブオブジェクトを含み得るグラフィカルユーザインターフェースのさまざまな表示形状、画像、または他の態様を生成する命令を含み得る。いくつかの実施態様において、クライアント機器４２０は、コンピュータシステム４０５等の外部供給源から、表示情報の少なくとも一部を受信可能である。たとえば、クライアント機器４２０は、コンピュータシステム４０５からネットワーク４１０を介して、表示情報を含む１つまたは複数のパケットを受信可能である。

【0052】

クライアント機器４２０は、倍率、座標、または他の画像パラメータに対応する画像データ等の表示情報に関する１つまたは複数のリクエストをコンピュータ機器に送ることができる。クライアント機器４２０により送信される表示情報に関するリクエストには、相互作用情報を含み得る。たとえば、相互作用（たとえば、タップ、クリック、ドラッグ、ダブルクリック、ダブルタップ等）を受け付けたクライアント機器４２０は、相互作用情報を含むリクエストを送信可能である。いくつかの実施態様において、クライアント機器４２０は、相互作用を処理して、相互作用の種類を事前に変換または復号化するとともに、復号化した相互作用情報を表示情報に関するリクエストに含めることができる。たとえば、クライアント機器４２０は、現在表示されていない（たとえば、フレーム外等の）表示情報に関するリクエストまたは当該クライアント機器４２０のＧＵＩ中の異なる位置に現在の表示情報をパンまたは移動させるリクエストとして、スクロールバーとの相互作用を変換可能である。クライアント機器４２０は、表示情報に関する１つまたは複数のリクエストを送信した後、コンピュータシステム４０５から、要求した表示情報（たとえば、生物医学画像４５０の１つまたは複数のタイル、生物医学画像４５０の１つまたは複数の部分、生物医学画像４５０上で実行された１つまたは複数の動作等）を含む１つまたは複数の応答を受信可能である。いくつかの実施態様において、クライアント機器４２０は、検出した相互作用を処理し、ローカルに格納された表示情報に対して、対応する所望の動作を実行することができる。

【0053】

データストレージ４１５は、１つまたは複数の生物医学画像４５０を維持可能である。生物医学画像４５０は、画像データを生物医学画像４５０フォーマットに変換するように構成された機器等、１つまたは複数の病理組織学的画像作成器から受信可能である。生物医学画像４５０は、組織サンプルの１つまたは複数の部分を１つまたは複数のピクセルに示すことができる。各生物医学画像４５０のピクセルは、ピクセルの座標における対応する色値の強度を規定する１つまたは複数の色チャンネルを含み得る。いくつかの実施態様において、生物医学画像４５０の各ピクセルの色チャンネルとしては、赤、緑、および青（ＲＧＢ）の色チャンネルが可能である。いくつかの実施態様において、生物医学画像４５０の各ピクセルの色チャンネルとしては、シアン、黄、マゼンタ、およびキー（ＣＹＭＫ）が可能である。生物医学画像４５０がグレースケール画像である実施態様において、各ピクセルは、黒色強度および白色強度の一方に対応する単一の色チャンネルを有し得る。

【0054】

いくつかの実施形態において、生物医学画像４５０は、特に光学顕微鏡、共焦点顕微鏡、蛍光顕微鏡、燐光顕微鏡、電子顕微鏡の使用等、顕微鏡技術または病理組織学的画像作成器に従って生成または取得されるようになっていてもよい。生物医学画像４５０は、たとえば、特にヘマトキシリン・エオシン（Ｈ＆Ｅ）染色、ヘモジデリン染色、スーダン染色、シッフ染色、コンゴレッド染色、グラム染色、ジール・ニールセン染色、オーラミン・ローダミン染色、トリクロム染色、シルバー染色、ライト染色を施した組織切片であってもよい。生物医学画像４５０は、病理組織学的調査を実行する対象（たとえば、人間、動物、または植物）の組織切片に由来していてもよい。組織サンプルは、人間または動物の対象の場合の筋肉組織、結合組織、上皮組織、または神経組織等、対象の如何なる部分に由来していてもよい。

【0055】

生物医学画像４５０は、ＰＮＧ、ＪＰＥＧ、ＧＩＧ、ＴＩＦＦ、ＰＤＦ、ＲＡＷ、ＳＶＳ、またはＯｐｅｎＳｌｉｄｅ画像等の別のフォーマットのような任意の画像フォーマットで格納可能である。生物医学画像４５０は、データストレージ４１５中の１つまたは複数のインデックス化データ構造に格納可能であるとともに、タイル場所（たとえば、表示中の部分または履歴タイル座標およびサイズデータ等）、部分場所（たとえば、生物医学画像４５０の特徴のさまざまな部分の場所およびサイズ等）、色変換情報（たとえば、適用された色操作、色変換命令等）、画像供給源情報（たとえば、生物医学画像４５０の受信元の機器等）、アノテーション情報（たとえば、アノテーションデータ４５５等）のように、さまざまな値、パラメータ、または他の情報と関連付けて格納可能である。各生物医学画像４５０（および、対応または関連する任意の情報）は、たとえばネットワーク４１０または別の好適な通信バスによって、コンピュータシステム４０５またはシステム４００のその他任意のコンピュータ機器の構成要素のいずれかによりアクセス可能である。

【0056】

アノテーションデータ４５５は、たとえば生物医学画像４５０と関連付けてデータストレージ４１５に格納可能である。本明細書で以下に説明する通り、コンピュータシステム４０５の構成要素は、生物医学画像４５０のアノテーションデータ４５５を生成可能である。アノテーションデータ４５５には、対応する生物医学画像４５０のビットマップ（ＢＭＰ）情報および識別子を含み得る。アノテーションデータ４５５のビットマップ情報は、ビットマップ中の各ピクセルが生物医学画像４５０のピクセルに対応するように構成可能である。このため、ピットマップ情報は、対応する生物医学画像４５０のピクセル精度のアノテーションを提供可能である。ビットマップ情報のピクセルは、固定されたビット幅（たとえば、１ビット、２ビット、４ビット、８ビット、１６ビット、３２ビット等）を有し得る。ビットマップ情報のビット幅は、コンピュータストレージリソースの過度な利用なく、ビットマップ情報が所望量のアノテーションデータ４５５を表し得るように選択可能である。たとえば、いくつかの生物医学画像４５０の場合、ビット幅としては、４ビット幅が可能であるため、アノテーション情報を使用することにより、１６種類の異なる色を表すことができる。ビットマップ中のピクセルにより表される各色は、色テーブル（たとえば、ピクセルの色情報（たとえば、０ｂ０００１）をレンダリング情報（たとえば、赤色表示等）または他のアノテーション関連情報と関連付けるテーブル）中の各情報で規定またはそのような情報との関連付けが可能である。色テーブルは、アノテーションデータ４５５と関連付けて格納することも可能であるし、アノテーションデータ４５５の一部として格納することも可能である。

【0057】

タイル識別器４２５は、生物医学画像４５０の一部から１つまたは複数のタイルを識別可能である。タイル識別器４２５は、生物医学画像４５０の上記部分からタイルを識別するため、データストレージ４１５にアクセスして、生物医学画像４５０を読み出すことができる。いくつかの実施態様において、タイル識別器４２５は、通信バスまたはネットワーク４１０を介して、別のコンピュータ機器から生物医学画像４５０を受信可能である。タイル識別器４２５は、たとえばコンピュータシステム４０５またはクライアント機器４２０上で実行されるアプリケーションによって、生物医学画像４５０から、表示もしくは分析、または表示要求対象の画像の一部を識別可能である。生物医学画像４５０の上記部分は、当該部分の中心（たとえば、生物医学画像４５０中の関心場所の中心等）のピクセル座標に基づいて識別可能である。関心部分または場所の中心の座標は、たとえばコンピュータシステム４０５またはクライアント機器４２０上で実行されるアプリケーションから受信可能である。いくつかの実施態様において、これらの座標としては、デフォルト座標が可能である（たとえば、コンピュータシステム４０５からもクライアント機器４２０からも座標が受信されない場合は、生物医学画像４５０の中心ピクセルの座標を使用する）。

【0058】

生物医学画像４５０中の関心部分または場所の中心を識別した後、タイル識別器４２５は、識別部の幅および高さ情報を決定可能である。たとえば、上記部分の幅および高さは、コンピュータシステム４０５またはクライアント機器４２０上で実行されるアプリケーションにおいて表示された表示ウィンドウまたはそのようなアプリケーションにおいて表示される表示ウィンドウに対応し得る。また、上記部分の幅および高さは、生物医学画像４５０の上記部分の（たとえば、コンピュータシステム４０５またはクライアント機器４２０上で実行されるアプリケーションにより）要求された倍率レベルまたはデフォルトの倍率レベル（たとえば、１倍等）に対応し得る。生物医学画像４５０の上記部分の倍率レベルは、生物医学画像４５０の当該部分に適用されるズーム動作の量に対応し得る。このため、倍率が１倍の場合、生物医学画像４５０の上記部分は、如何なるスケーリング動作の適用もなく、生物医学画像４５０の上記部分の識別座標がアプリケーションの表示ウィンドウに表示された場合に視認可能となるものに対応し得る。タイル識別器４２５は、生物医学画像４５０の識別部の一部として決定された生物医学画像４５０のピクセルを抽出可能である（たとえば、コンピュータメモリの異なる領域にコピー可能である）。

【0059】

タイル識別器４２５は、生物医学画像４５０の上記部分から、さまざまな倍率レベルで生物医学画像４５０のサブセットを識別する１つまたは複数のタイルを識別および抽出可能である。このため、タイルとしては、生物医学画像４５０のさまざまな解像度および倍率に対応する座標および幅をそれぞれ有する生物医学画像４５０の識別部内の１つまたは複数のピクセルが可能である。識別器４２５により識別されるタイルの数は、たとえばクライアント機器４２０またはコンピュータシステム４０５上で実行されるアプリケーションから受信可能である。識別器４２５により識別されるタイルの数は、コンピュータシステム４０５およびクライアント機器４２０の一方で実行されるアプリケーションから受信された要求ビュー数に等しくすることができる。たとえば、タイル識別器４２５は、生物医学画像４５０の識別部の６つの異なるビューに関するリクエストを受信した後、要求された倍率レベルをそれぞれ有する生物医学画像４５０の識別部の対応する６つのタイルを識別可能である。いくつかの実施態様において、タイル識別器４２５により識別されるタイルは、生物医学画像４５０の識別部と同期可能である。たとえば、タイルはそれぞれ、生物医学画像４５０の同じ場所を異なる要求倍率レベルで示すことができる。

【0060】

各倍率レベル（たとえば、０．５倍、１．０倍、１．１倍、１．５倍、２．５倍、５倍、１０倍、１５倍、２０倍、３０倍、４０倍、他の倍率等）は、生物医学画像４５０のレンダリングの各スケールに対応し得る。たとえば、倍率２倍でレンダリングされた生物医学画像４５０（または、その任意の部分もしくはタイル等）は、２倍のスケールでレンダリングされた（たとえば、生物医学画像４５０の２倍の解像度に一致するように各ピクセルが複製された）生物医学画像４５０の情報を含み得る。スケールの大きな生物医学画像４５０ほど、必要以上に大量の格納スペースを占有し得るため（たとえば、所与の時間には、スケールアップされた画像の一部しか表示されないため）、タイル識別器４２５は、所望の座標の周囲で、生物医学画像４５０のスケールアップ表示エリアに対応するタイルまたは領域を識別可能である。たとえば、要求側アプリケーションの表示ウィンドウ（または、他のＧＵＩ要素等）は、特定の寸法を有するものとして規定され得る。このようなシナリオにおいて、タイル識別器４２５は、要求された倍率および表示ウィンドウの表示寸法の両者に対応するピクセル数を有する所望の座標のタイルを識別および抽出可能である。

【0061】

たとえば、生物医学画像４５０の表示部の座標に対して同期された要求倍率タイルを高い倍率レベルで要求可能である。同じ生物医学画像４５０の複数のビューをさまざまな倍率レベルで有することにより、特定の病理学的分析は改善され得る。このため、タイル識別器４２５は、抽出タイルが挿入される表示ウィンドウ（または、バッファ領域のように表示ウィンドウを越えて延びる領域等）の寸法を決定可能である。非限定的な一例として、表示ウィンドウの寸法が２００ピクセル×２００ピクセルの場合を考えるが、表示ウィンドウは如何なるサイズも可能であることが了解されるものとする。ある座標における拡大タイルに関するリクエストが倍率２倍に対応する場合、タイル識別器４２５は、未拡大生物医学画像４５０の１００ピクセル×１００ピクセルの領域が抽出されるものと識別可能である。その後、タイル識別器４２５は、表示座標がタイルの中心にある生物医学画像４５０の１００ピクセル×１００ピクセルの領域を抽出可能である。その後、識別および抽出したピクセルを表示提供器４３０に与えて、さらに処理することができる。

【0062】

本明細書においては、倍率２倍の例示的な場合を上述したが、タイル識別器４２５は、任意所与の倍率について、抽出するピクセルの数または領域を決定可能である。たとえば、要求表示サイズ（たとえば、ＧＵＩ要素サイズまたはバッファサイズ等）の各次元を倍率で除することにより、各次元におけるピクセルの数（たとえば、ｘ次元のピクセル数およびｙ次元のピクセル数等）が得られる。いくつかの実施態様において、倍率としては、１倍未満（たとえば、０．５倍）が可能である。さらに、要求座標は、タイルの中心を識別する必要がなく、代わりに、特に左上隅、右上隅、右下隅、または左下隅等、タイル中のその他任意の位置を識別可能である。（たとえば、生物医学画像４５０内等の）要求座標が対応するタイル中の位置は、リクエストにおいて指定可能である。

【0063】

表示提供器４３０は、対応するＧＵＩ要素（たとえば、ウィンドウ、フレーム、表示ペイン、または１つもしくは複数の画像を表示可能なユーザインターフェース中の他の領域等）を介した同時表示のため、タイル識別器４２５により識別または抽出された１つまたは複数のタイルを提供可能である。前述のとおり、たとえば、さまざまなＧＵＩ要素において、生物医学画像４５０のある領域を異なる倍率で同時に表示することによって、病理学的分析は改善され得る。たとえば、コンピュータシステム４０５またはクライアント機器４２０によって生物医学画像４５０が表示された場合に、その生物医学画像４５０を表示する最初のＧＵＩ要素に対応し得る基準ＧＵＩ要素またはルートＧＵＩ要素として、１つのＧＵＩ要素を選択可能である。基準ＧＵＩ要素または当該ＧＵＩ要素を与えるアプリケーションは、指定の倍率および特定の座標（たとえば、生物医学画像４５０の一部を表示する基準ＧＵＩ要素の座標と同期された座標、別の座標等）での生物医学画像４５０のタイルまたは一部に関するリクエストを含み得る追加ＧＵＩ要素のリクエストを開始可能な１つまたは複数の実施可能なオブジェクトを含み得る。（たとえば、クライアント機器４２０およびコンピュータシステム４０５の一方で実行される）アプリケーションがこのリクエストをタイル識別器４２５に提供することにより、本明細書において上述した通り、生物医学画像４５０の１つまたは複数のタイルを識別可能である。表示提供器４３０は、タイル識別器４２５からタイルを受信し、当該タイルに対するスケーリング動作（たとえば、倍率２倍の場合の画像サイズの２倍化等）の実行によって、要求ＧＵＩ要素の解像度に一致するようにタイルの解像度を高くすることができる。その後、表示提供器４３０は、スケーリング済みタイルをアプリケーションに送信あるいは提供して、ＧＵＩ要素に表示可能である。いくつかの実施態様において、表示提供器４３０は、要求側アプリケーションが当該アプリケーションにおいてＧＵＩ要素をインスタンス化し、対応するタイルをＧＵＩ要素にレンダリングするための命令を生成可能である。たとえば、ＧＵＩ要素が新たなウィンドウの場合は、ＧＵＩ要素のウィンドウの内側に対応するタイルを表示可能である。いくつかの実施態様において、表示提供器４３０は、対応するＧＵＩ要素に表示するタイルの提供に先立って、タイルのフォーマットを変更可能である。

【0064】

相互作用検出器４３５は、１つまたは複数の表示ＧＵＩ要素のうちの１つとの相互作用を検出可能である。相互作用は、ＧＵＩ要素が表示されたクライアント機器４２０で発生し得る。相互作用としては、特にタップ、クリック、ドラッグ、ダブルクリック、スクロール動作、またはダブルタップが挙げられる。特定の相互作用には、パン動作またはズーム動作等の要求動作を含み得る。相互作用を検出するため、相互作用検出器４３５は、１つまたは複数のイベントまたは相互作用リスナーを実装可能である。イベントまたは相互作用リスナーは、表示ＧＵＩ要素で相互作用メッセージを監視し、相互作用が発生した場合に、それに関する情報（たとえば、座標、持続時間、種類等）を返すことができる。相互作用検出器４３５は、動作に対応する実施可能なオブジェクトとの相互作用を検出し、生物医学画像４５０のタイルを指定の倍率レベルおよび座標で表示する新たなＧＵＩ要素をインスタンス化することができる。

【0065】

ここで図５を簡単に参照して、この図は、例示的な一実施形態に係る、生物医学画像４５０の複数のタイルおよびグラフィカルユーザインターフェースにおける各表示領域を示したブロック図である。図５に示すように、対応する識別部５０５と併せて生物医学画像４５０を示している。上記部分は、たとえばアプリケーションウィンドウ５１５中の表示タイルのうちの１つに対応し得る。識別部は、対応する座標（たとえば、生物医学画像４５０内のｘおよびｙ座標等）ならびに対応する幅および高さを有し得る。部分５０５の座標、幅、および高さは、生物医学画像４５０内のピクセルの連続領域を一体的に表し得る。より詳細には、部分５０５からタイル５１０Ａ～５１０Ｎ（タイル５１０と総称する場合もある）が識別されることを示している。タイル５１０のスケール（たとえば、他のタイル５１０に対するサイズ）で示すように、各タイルは、生物医学画像４５０の中の異なる数のピクセルを表すことができる。一般的に、同様の寸法のＧＵＩ要素内に各タイルが表示される場合は、ピクセルの多いタイルほど、大きな面積を占有し、ピクセルの少ないタイルよりも低い倍率レベルを示し得る。図５においては、３つのタイル５１０しか示していないが、任意数のタイルを生物医学画像４５０から識別可能であることが了解されるものとする。

【0066】

図５の右側に示すように、アプリケーションウィンドウ５１５は、１つまたは複数のＧＵＩ要素５２０Ａ～５２０Ｎ（ＧＵＩ要素５２０と総称する場合もある）を含み得る。アプリケーションウィンドウ５１５は、少なくとも生物医学画像４５０の部分５０５にアクセスするクライアント機器４２０への表示用に提供可能である。アプリケーションウィンドウ５１５は、１つまたは複数の相互作用を受け付け可能であり、タイル５１０に対して実行する動作の種類を示す１つまたは複数の実施可能なオブジェクトを含んでいてもよい。各ＧＵＩ要素５２０は、各タイル５１０に対応し得る（たとえば、ＧＵＩ要素５２０Ａがタイル５１０Ａに対応し、ＧＵＩ要素５２０Ｂがタイル５１０Ｂに対応し得る）。各ＧＵＩ要素は、ある寸法（たとえば、幅および高さ等）を有するとともに、当該ＧＵＩ要素の位置もしくは寸法の制御または当該ＧＵＩ要素の削除（たとえば、当該ＧＵＩ要素の表示の停止等）を行う１つまたは複数の実施可能なオブジェクトを有し得る。いくつかの実施態様において、ＧＵＩ要素は、相互作用に際して、対応するＧＵＩ要素の表示を隠す最小化動作に対応する実施可能なオブジェクトを有し得る。各ＧＵＩ要素は、当該ＧＵＩ要素が対応するタイルを表示する表示部を含み得る。いくつかの実施態様においては、１つのＧＵＩ要素を基準ＧＵＩ要素として選択可能であり、その中に表示されるタイルを基準タイルとして選択可能である。基準ＧＵＩ要素は、当該ＧＵＩ要素または各ＧＵＩ要素に対応するアプリケーションウィンドウ５１５中の１つもしくは複数の実施可能なオブジェクトとの１回または複数回の相互作用により選択可能である。

【0067】

ここで再び図４を参照して、相互作用検出器４３５は、パン動作等、現在レンダリングされているＧＵＩ要素に対して実行する１つまたは複数の動作をさらに検出可能である。パン動作は、生物医学画像４５０の異なる座標の異なる部分を同じ倍率レベルで表示するリクエストを示し得る。たとえば、クリック＆ドラッグ動作、タップ＆ドラッグ動作、またはスクロールバー等の１つもしくは複数の実施可能なオブジェクトとの相互作用に応答して、パン動作を提供可能である。相互作用検出器４３５は、本明細書に記載のその他任意の種類の相互作用の中でもとりわけ、ズーム動作、すなわち、対応するＧＵＩ要素にレンダリングされたタイルの倍率を変更する動作を検出可能である。ズーム動作は、本明細書に記載のその他任意の種類の相互作用の中でもとりわけ、ズーム動作に対応する実施可能なオブジェクトとの相互作用に応答して検出することも可能であるし、ＧＵＩ要素でのクリック＆ドラッグ動作により検出することも可能である。相互作用検出器４３５は、タイルの座標も倍率レベルも変更することなく、タイルのサイズ（たとえば、対応するタイル座標に対してレンダリングされたピクセルの数等）を変更可能なリサイズ動作をさらに検出可能である。リサイズ動作は、たとえばＧＵＩ要素の隅部でのクリック＆ドラッグ動作として検出可能である（たとえば、ＧＵＩ要素のリサイズによって、その中に表示されるタイルをリサイズするための対応する動作リクエストが生じ得る）。いくつかの実施態様において、相互作用検出器４３５は、クライアント機器４２０からの１つまたは複数の相互作用メッセージにおいて、相互作用に関する情報を受信可能である。ＧＵＩ要素を削除する動作は、当該ＧＵＩ要素に対応する削除動作と関連付けられた１つまたは複数の実施可能なオブジェクトとの相互作用を検出することにより検出可能である。

【0068】

相互作用検出器４３５は、ＧＵＩ要素でのパンまたは移動動作を示す相互作用に応答して、ＧＵＩ要素に表示されるタイルに適用する座標の変化を識別可能である。移動またはパン動作は、生物医学画像４５０の異なる領域が対応するＧＵＩ要素において特定の倍率レベルで表示されるように要求されていることを示し得る。たとえば、パンまたは移動相互作用は、生物医学画像４５０を表す表示タイルの座標を移動させるための（たとえば、ｘ軸、ｙ軸、または両者に沿った）ピクセルの数を示し得る。相互作用検出器４３５は、現在のタイル座標およびタイル座標の変化量から、タイルを識別する新たな座標を決定可能である。いくつかの実施態様において、パンまたは移動相互作用は、タイルを識別または抽出する生物医学画像４５０中の新たな座標を示し得る。

【0069】

相互作用検出器４３５は、ＧＵＩ要素でのズーム動作を示す相互作用に応答して、ＧＵＩ要素に表示されるタイルを識別または抽出する領域の座標の変化を識別可能である。ズーム動作に先立って、タイルは、第１の倍率レベルでの生物医学画像４５０のピクセル数を表し得る。（たとえば、ズーム相互作用等に応答して）この倍率レベルの変更が要求された場合、相互作用検出器４３５は、要求された倍率レベルでタイルを構成すべきタイルの座標に対するピクセル数を識別可能である。非限定的な一例として、現在の倍率レベルが２倍で、タイルが生物医学画像４５０の１００ピクセル×１００ピクセルの領域を表し、検出されたズーム動作が４倍でのタイルの表示を要求している場合、相互作用検出器４３５は、要求されたズームレベルで生物医学画像４５０の５０ピクセル×５０ピクセルの領域をタイルが含むべきだと判定可能である。相互作用検出器４３５は、たとえば要求表示サイズ（たとえば、ＧＵＩ要素サイズまたはバッファサイズ等）の各次元を要求倍率で除することによって、タイルの各次元におけるピクセルの数（たとえば、ｘ次元のピクセル数およびｙ次元のピクセル数等）を得ることにより、任意の倍率変更に対して抽出するピクセルの数または領域を決定可能であることが了解されるものとする。

【0070】

パンまたは移動相互作用により識別されたタイルに１つまたは複数の他のタイルが同期されている場合、タイル修正器４４０は、倍率または座標の変更を受けるタイルに対して識別された変化に基づいて、同期タイルそれぞれを規定する座標に適用する対応する変化を決定可能である。第１のタイルに対する座標変化の場合、タイル修正器４４０は、相互作用検出器４３５により第１のタイルに対して識別された新たな座標として、第１のタイルに同期されたその他の表示タイルそれぞれの座標を決定可能である。いくつかの実施態様においては、すべてのタイルが生物医学画像４５０の同じ座標を異なる倍率で表示するように同期される。いくつかの実施態様において、各タイルは、それ自体の独立した座標および倍率レベルを有し得る。いくつかの実施態様においては、１つのタイル（たとえば、基準タイル）のみがパン、ズーム、または他の動作を受け付け可能であり、その他のタイルは、基準タイルに同期される。いくつかの他の実施態様においては、任意のタイルが移動またはズーム動作を受け付け可能であり、対応するＧＵＩ要素に表示された任意数の他のタイルに同期可能である。ズーム動作の場合、タイル修正器４４０は、他のタイルそれぞれにズーム同期された各タイルの倍率の対応する変化を決定可能である。２つの同期ＧＵＩ要素に２つのタイル（一方の倍率が２倍、もう一方の倍率が４倍）が存在する一例を考える。２倍のタイルが倍率を４倍へと２倍化するリクエストを受信した場合は、倍率が４倍の同期タイルも相前後して８倍への拡大（たとえば、倍率の２倍化）が可能である。

【0071】

タイル修正器４４０は、同期タイルごとに決定された新たな倍率レベルを使用して、各同期タイルのピクセルを識別および抽出する生物医学画像４５０の新たな領域を決定可能である。タイル修正器４４０は、（たとえば、拡大動作で変化していない）タイル座標に対して、矩形に表示するピクセルの数を識別することにより、各タイルにより表された領域を決定可能である。タイル修正器４４０は、要求表示サイズ（たとえば、ＧＵＩ要素サイズまたはバッファサイズ等）の各次元を要求倍率で除することによって、タイルの各次元におけるピクセルの数（たとえば、ｘ次元のピクセル数およびｙ次元のピクセル数等）を得ることにより、任意の倍率変更に対して抽出するピクセルの数または領域を決定可能である。位置決めを目的として別のタイルに同期された（たとえば、生物医学画像４５０中の同じ座標に同期された）タイルは、必ずしも同じ倍率レベルに同期されず、その逆もまた同様であることが了解されるものとする。タイル間の同期は、たとえばＧＵＩ要素を提示するアプリケーションの１つもしくは複数の実施可能なオブジェクトまたは１つもしくは複数のデフォルト設定によって、指定または割り当て可能である。

【0072】

表示提供器４３０は、タイルごとに識別された新たな座標および領域を用いて、対応するＧＵＩ要素中のタイルの表示を更新可能である。表示提供器４３０は、生物医学画像４５０から更新対象のタイル（たとえば、動作の対象となるタイルまたは動作の対象となるタイルに同期されたタイル等）の要求領域のピクセル（たとえば、新たに識別された座標およびピクセル）を抽出可能である。表示提供器４３０は、生物医学画像４５０からタイルごとに新たなピクセルを抽出した後、各タイルに対するスケーリング動作（たとえば、倍率２倍の場合の画像サイズの２倍化等）の実行によって、対応するＧＵＩ要素の解像度に一致するようにタイルの解像度を高くすることができる。その後、表示提供器４３０は、スケーリング済みタイルをアプリケーションに送信あるいは提供して、ＧＵＩ要素に表示可能である。いくつかの実施態様において、表示提供器４３０は、新たに抽出およびスケーリングされたタイルによって要求側アプリケーションが各ＧＵＩ要素に表示されたタイルを更新し、対応する更新タイルをＧＵＩ要素にレンダリングするための命令を生成可能である。

【0073】

ここで図６を簡単に参照して、この図は、例示的な一実施形態に係る、パンまたはズーム動作を実行中の生物医学画像４５０の１つまたは複数のタイルの変化を示したブロック図である。図示のように、タイル５１０のうちの少なくとも１つがパン動作６０５の対象となる。図６に示すパン動作は、生物医学画像４５０中の部分５０５を構成するタイルのｘ軸に沿った増加の座標変化を示す。タイル５１０はそれぞれ相互に同期されているため、タイルそれぞれのピクセルデータは、生物医学画像４５０の上記部分の新たな位置から同じ倍率で読み出し可能である。このため、生物医学画像４５０の上記部分は、座標が変化して、生物医学画像４５０の異なる部分５０５’を占有する。すべてのタイルが新たな位置に同期されると、タイル５１０はそれぞれ、部分５０５の代わりに異なる部分５０５’のピクセルを含むように変化するため、更新されて更新タイル５１０’となる。更新タイル５１０’はそれぞれ、対応するＧＵＩ要素における表示用に提供可能である。

【0074】

ここで再び図４を参照して、いくつかの実施態様においては、対応するＧＵＩ要素における表示用のタイルの提供に先立って、タイル修正器４４０が各タイルに対応する生物医学画像４５０の部分に対して、色修正動作（本明細書においては、偽色表現または色補正と称する場合もある）を適用する一方、生物医学画像４５０のその他の部分は、色修正を施さずに維持することができる。生物医学画像４５０は、多様な異なるキャプチャ機器から取り込み可能である。ただし、キャプチャ機器によっては、他のキャプチャ機器と色パラメータまたは色値が異なる場合もある。分析を容易化するため、第１のキャプチャ機器を用いて取り込まれた組織サンプルの画像が第２のキャプチャ機器を用いて取り込まれた組織サンプルの画像の色に一致する色を有するように、生物医学画像４５０を単色空間で表現および表示するのが好都合である。如何なる種類の色の不整合をも補正するため、タイル修正器４４０は、生物医学画像４５０のタイルの色修正オプション（color modification option）を選択可能である。色修正オプションには、生物医学画像４５０のピクセルに適用して画像中の色を変更可能な１つまたは複数の色補償係数（たとえば、各ピクセルの色チャンネル強度値に加算または乗算可能な値）を含み得る。

【0075】

いくつかの実施態様において、色修正オプションの選択は、生物医学画像４５０の供給源（たとえば、生物医学画像４５０の取り込みに用いられるキャプチャ機器）に対応し得る。たとえば、生物医学画像４５０は、当該生物医学画像４５０の生成に使用されたキャプチャ機器の識別子と関連付けて、データストレージ４１５に格納可能である。生物医学画像４５０の供給源を識別するため、タイル修正器４４０は、データストレージ４１５にアクセスすることにより、生物医学画像４５０と関連付けて格納されたキャプチャ機器の識別子を読み出すことができる。タイル修正器４４０は、識別子を用いることにより、データストレージ４１５から当該識別子に対応する色修正オプションを読み出して選択することができる。いくつかの実施態様において、色オプションは、１つまたは複数の実施可能なオブジェクトから受け付けた入力によって、手動で選択または適用可能である。

【0076】

その後、タイル修正器４４０は、コンピュータシステム４０５の構成要素により識別された１つまたは複数のタイルに対応する生物医学画像４５０の部分に対して、選択した色オプションを適用可能である。たとえば、タイル修正器４４０は、タイルの構成に使用された生物医学画像４５０の領域に対応する生物医学画像４５０のピクセルにアクセス可能である。タイル修正器４４０は、選択した色修正において色補償係数を使用することにより、識別領域中の各ピクセルの１つまたは複数の色チャンネル強度値を変更可能である。いくつかの実施態様において、タイル修正器４４０は、各ピクセルの色チャンネル強度値に１つまたは複数の色補償値（たとえば、ピクセルの色強度値ごとに１つ）を乗じることができる。いくつかの実施態様において、タイル修正器４４０は、各ピクセルの１つまたは複数の対応する色チャンネル強度値に色補償値を加算可能である。これにより、タイル修正器４４０は、色が補正された生物医学画像４５０の１つまたは複数の部分を生成可能である。その後、生物医学画像４５０の色補正部の使用により、本明細書において上述したような１つまたは複数のタイルを構成することで色補正タイルを生成可能である。色補正タイルが構成されたら、表示提供器４３０は、対応するＧＵＩ要素の更新（たとえば、ＧＵＩ要素中のタイルの表示の置換等）によって、色補正タイルを表示可能である。

【0077】

ここで図７を簡単に参照して、この図は、例示的な一実施形態に係る、色変更動作を実行中の生物医学画像４５０の１つまたは複数のタイルを示したブロック図である。図７に示すように、タイル５１０はそれぞれ、色補正手順に先立つ第１の色での形状を示している。また、図示のように、タイル５１０はそれぞれ、異なる倍率レベルで生物医学画像４５０の同じ部分に対応する（たとえば、同期される）。動作７１５は、色変更動作を示しており、タイル５１０に対応する生物医学画像４５０の部分に存在する色値に対する１つまたは複数の変換（たとえば、乗算、加算等）の実行を含み得る。このため、図７に示すように、タイル５１０はそれぞれ、色補正動作７１５により更新されて、生物医学画像４５０の色補正部を異なる倍率で表示する更新タイル５１０^*となり、異なる倍率レベルで生物医学画像４５０の色補正された部分を表示する。タイル５１０はそれぞれ、同期されているため、生物医学画像４５０の実質的に類似する部分を異なる倍率で示す。これにより、あるタイル５１０Ａ^*に表示された色補正ピクセルは、少なくともその他の同期された色補正タイル５１０Ｎ^*にも表示される。

【0078】

ここで再び図４を参照して、相互作用検出器４３５は、ＧＵＩ要素からアノテーションを識別可能である。アノテーションは、アノテーション対象の対応するＧＵＩ要素に表示されたタイルの１つまたは複数のピクセル座標を識別可能である。たとえば、ＧＵＩ要素との特定の相互作用は、生物医学画像４５０中の特定の座標でのアノテーションを示し得る。アノテーションが病理学的分析に有用であるのは、生物医学画像４５０に表された組織サンプル上のエリアにおける関心条件の有無を示すのに使用できるためである。関心条件を示す可能性のある特徴は小さいと考えられるため、システムには、ピクセル単位の生物医学画像４５０のアノテーションが好都合である。このため、相互作用検出器４３５は、アノテーション対象のＧＵＩ要素に表示されたタイル中のピクセルのピクセル場所（たとえば、ｘ座標およびｙ座標等）を検出可能である。その後、相互作用検出器４３５によって、受け付けたアノテーションの座標を生物医学画像４５０中のピクセルの対応する位置にマッピング可能である。たとえば、２００ピクセル×２００ピクセルの生物医学画像４５０と、生物医学画像４５０におけるｘ軸上の座標１００～１４９のピクセルおよびｙ軸上の座標１００～１４９のピクセルを表すタイルと、を考える。本例において、タイルの寸法は、５０ピクセル×５０ピクセルである。タイルのｘ軸上の座標３およびタイルのｙ軸上の座標５においてアノテーションが検出された場合、相互作用識別器は、生物医学画像４５０におけるｘ軸上のピクセル座標１０３およびｙ軸上のピクセル座標１０５にアノテーションをマッピング可能である。

【0079】

アノテーションの場所のマッピングに際して、タイル修正器４４０は、アノテーションデータ４５５中のマッピングピクセル座標に色データを格納可能である。アノテーションデータ４５５は、生物医学画像４５０に等しい寸法を有し、対応する生物医学画像４５０の識別子を格納可能である。このため、生物医学画像４５０に対応するアノテーションデータ４５５は、対応する生物医学画像４５０との１対１のピクセルマッピングを有し得る。アノテーションデータ４５５は、当該アノテーションデータ４５５中の各ピクセルについて、固定されたビット幅を有し得る。相互作用検出器４３５がアノテーションを識別した場合、当該アノテーションは、対応する色値またはピクセル値（たとえば、固定幅のビット列値等）と関連付けられ得る。色値は、手動で選択することも可能であるし、デフォルト設定に基づいて自動的に選択されるようになっていてもよい。選択可能な各色値は、アノテーションデータ４５５と関連付けてデータストレージ４１５に格納可能な色マップにおいて識別された色に対応し得る。

【0080】

色マップは、アノテーションデータ４５５により表し得る色値（たとえば、固定幅のビット列値等）を表示色（たとえば、ＲＧＢ全色チャンネルピクセル値等）と関連付け可能である。したがって、アノテーションデータ４５５の色マップは、考え得る各アノテーション値に対応するピクセル色値のルックアップテーブルとして機能し得る。たとえば、アノテーションデータ４５５中の各ピクセルが４ビット幅のビット列により表される場合、色マップは、４ビットピクセルの考え得る値のうちの１つにそれぞれ対応する１５個の異なる色と、アノテーションがない場合に対応する１つの色（たとえば、０ｂ００００等）と、を有し得る。アノテーションデータ４５５の色マップは、デフォルト設定に基づいて自動的に生成することも可能であるし、１つまたは複数のＧＵＩ要素または実施可能なオブジェクトを通じて手動で指定することも可能である。いくつかの実施形態において、色値は、インデックス化色値を用いて表されるようになっていてもよい。インデックス化色値は、アノテーションの各色に対応する値（たとえば、ビットまたは桁）を含んでいてもよい。たとえば、アノテーションの色値が４ビットで表現され、ビットワード「００００」がアノテーションの赤色、「１１００」が緑色、「０１００」が黄色を表していてもよい。

【0081】

表示提供器４３０は、色マップおよびアノテーションデータ４５５を用いて、１つまたは複数のＧＵＩ要素に表示されたタイルを更新することにより、アノテーションを示すことができる。いくつかの実施態様においては、生物医学画像４５０上の別個のレイヤとして、アノテーションを表示可能である。アノテーションレイヤの可視性は、たとえば各ＧＵＩ要素の１つまたは複数の実施可能なオブジェクトによって切り替え可能である。たとえば、各ＧＵＩ要素は、「アノテーションを表示する」ボタン、「アノテーションを隠す」ボタン、または「アノテーションを切り替える」ボタンと関連付けられていてもよい。なお、実施可能なオブジェクトのラベルおよび種類は、例示に過ぎず、何ら限定的なものとして解釈されるべきではない。表示提供器４３０は、アノテーション情報の表示の指示を受けた場合、アノテーションデータ４５５および対応する色マップにアクセスして、アノテーション対象の色を識別することができる。これにより、表示情報の特定部分のタイルを構成するピクセルを選択する場合、表示提供器４３０は、タイル中の対応する各ピクセル場所にアノテーションが存在するかを判定可能である。ピクセルの座標にアノテーションデータ４５５が存在する場合、表示提供器４３０は、アノテーションデータ４５５の色マップの対応するピクセルに等しい色チャンネル値を有するように、タイル中の当該ピクセルを修正可能である。同様に、アノテーションデータ４５５が相互作用検出器４３５により更新された場合、表示提供器４３０は、最新のアノテーション情報をリアルタイムに表示するように、同期タイル中の対応するピクセルを更新可能である。その後、表示提供器４３０は、本明細書において上述した通り、１つまたは複数のＧＵＩ要素に表示するため、更新タイルを提供可能である。

【0082】

ここで図８を参照して、この図は、例示的な一実施形態に係る、同時表示のために生物医学画像の複数のビューを提供する方法８００の例示的なフロー図である。方法８００は、たとえば、特にコンピュータシステム４０５、サーバシステム９００、またはクライアントコンピュータシステム９１４を含む、本明細書に記載のコンピュータシステムのいずれかにより実行可能である。概要として、コンピュータシステム（たとえば、コンピュータシステム４０５等）は、生物医学画像の一部からタイルを識別し（ステップ８０５）、色修正動作を適用し（ステップ８１０）、同時表示のためにタイルを提供し（ステップ８１５）、ＧＵＩ要素との相互作用を検出し（ステップ８２０）、第１のタイルの座標の変化を識別し（ステップ８２５）、他のタイルの座標の変化を決定し（ステップ８３０）、ＧＵＩ中のタイルの表示を更新し（ステップ８３５）、１つまたは複数のアノテーションを識別して追加する（ステップ８４０）ことができる。

【0083】

より詳細に、コンピュータシステム（たとえば、コンピュータシステム４０５等）は、生物医学画像（たとえば、生物医学画像４５０等）の一部からタイルを識別可能である（ステップ８０５）。コンピュータシステムは、生物医学画像４５０のタイルを識別するため、データストレージ（たとえば、データストレージ４１５等）にアクセスして、生物医学画像を読み出すことができる。いくつかの実施態様において、コンピュータシステムは、通信バスまたはネットワーク（たとえば、ネットワーク４１０等）を介して、別のコンピュータシステムから生物医学画像を受信可能である。コンピュータシステムは、たとえばコンピュータシステムまたはコンピュータシステムと連通したクライアント機器（たとえば、クライアント機器４２０等）上で実行されるアプリケーションによって、生物医学画像から、表示もしくは分析、または表示要求対象の画像の一部を識別可能である。上記部分は、当該部分の中心（たとえば、関心場所の中心等）のピクセル座標を用いて識別可能である。座標は、たとえばコンピュータシステム上で実行されるアプリケーションから受信可能である。いくつかの実施態様において、これらの座標としては、デフォルト座標が可能である（たとえば、アプリケーションから座標が受信されない場合は、生物医学画像の中心ピクセルの座標を使用する）。

【0084】

関心部分または場所の中心（たとえば、他の識別座標等）を識別した後、タイル識別器４２５は、識別部の幅および高さ情報を決定可能である。上記部分の幅および高さは、コンピュータシステム上で実行されるアプリケーションにおいて表示された表示ウィンドウまたはそのようなアプリケーションにおいて表示される表示ウィンドウに対応し得る。また、上記部分の幅および高さは、生物医学画像４５０の上記部分の（たとえば、コンピュータシステム上で実行されるアプリケーションにより）要求された倍率レベルまたはデフォルトの倍率レベル（たとえば、１倍等）に対応し得る。生物医学画像４５０の上記部分の倍率レベルは、生物医学画像４５０に適用されるズーム動作の量に対応し得る。このため、倍率が１倍の場合、生物医学画像の上記部分は、スケーリング動作の適用なく、生物医学画像の識別座標がアプリケーションの表示ウィンドウに表示された場合に視認可能となるものに対応し得る。コンピュータシステムは、生物医学画像の識別部の一部として決定された生物医学画像のピクセルを抽出可能である（たとえば、コンピュータメモリの異なる領域にコピー可能である）。

【0085】

コンピュータシステムは、生物医学画像の上記部分から、さまざまな倍率レベルで生物医学画像のサブセットを識別する１つまたは複数のタイルを識別および抽出可能である。タイルとしては、生物医学画像のさまざまな解像度および倍率に対応する座標および幅をそれぞれ有する生物医学画像の識別部内の１つまたは複数のピクセルが可能である。コンピュータシステムにより識別されるタイルの数は、たとえばコンピュータシステム上で実行されるアプリケーションまたはクライアント機器から受信可能である。コンピュータシステムにより識別されるタイルの数は、アプリケーションから受信された要求ビュー数に等しくすることができる。たとえば、コンピュータシステムは、生物医学画像の識別部の６つの異なるビューに関するリクエストを受信した後、要求された倍率レベルをそれぞれ有する生物医学画像の識別部の対応する６つのタイルを識別可能である。いくつかの実施態様において、タイルは、生物医学画像の識別部と同期可能である。たとえば、タイルはそれぞれ、生物医学画像の同じ場所を異なる要求倍率レベルで示すことができる。コンピュータシステムは、要求された倍率および表示ウィンドウの表示寸法の両者に対応するピクセル数を有する所望の座標のタイルを識別および抽出可能である。

【0086】

コンピュータシステムは、色修正動作８１０を適用可能である（ステップ８１０）。コンピュータシステムは、生物医学画像のタイルの色修正オプションを選択可能である。色修正オプションには、生物医学画像のピクセルに適用してそのピクセル色を変更可能な１つまたは複数の色補償係数（たとえば、各ピクセルの色チャンネル強度値に加算または乗算可能な値）を含み得る。いくつかの実施態様において、色修正オプションの選択は、生物医学画像の供給源（たとえば、生物医学画像の取り込みに用いられるキャプチャ機器）に対応し得る。生物医学画像は、当該生物医学画像の生成に使用されたキャプチャ機器の識別子と関連付けて、データストレージに格納可能である。生物医学画像の供給源を識別するため、コンピュータシステムは、データストレージにアクセスすることにより、生物医学画像と関連付けて格納されたキャプチャ機器の識別子を読み出すことができる。コンピュータシステムは、識別子を用いることにより、データストレージから当該識別子に対応する色修正オプションを読み出して選択することができる。いくつかの実施態様において、色オプションは、１つまたは複数の実施可能なオブジェクトから受け付けた入力によって、手動で選択または適用可能である。

【0087】

その後、コンピュータシステムは、コンピュータシステムにより識別された１つまたは複数のタイルに対応する生物医学画像の部分に対して、選択した色修正オプションを適用可能である。たとえば、コンピュータシステムは、タイルの構成に使用された生物医学画像の領域に対応する生物医学画像のピクセルにアクセス可能である。コンピュータシステムは、選択した色修正において色補償係数を使用することにより、識別領域中の各ピクセルの１つまたは複数の色チャンネル強度値を変更可能である。いくつかの実施態様において、コンピュータシステムは、各ピクセルの色チャンネル強度値に１つまたは複数の色補償値（たとえば、ピクセルの色強度値ごとに１つ）を乗じることができる。いくつかの実施態様において、コンピュータシステムは、各ピクセルの１つまたは複数の対応する色チャンネル強度値に色補償値を加算可能である。これにより、コンピュータシステムは、色が補正された生物医学画像の１つまたは複数の部分を生成可能である。その後、生物医学画像の色補正部の使用により、本明細書において上述したような１つまたは複数のタイルを構成することで色補正タイルを生成可能である。

【0088】

コンピュータシステムは、１つまたは複数のＧＵＩ要素における同時表示のためにタイルを提供可能である（ステップ８１５）。たとえば、生物医学画像が表示された場合に、その生物医学画像を表示する最初のＧＵＩ要素に対応し得る基準ＧＵＩ要素またはルートＧＵＩ要素として、１つのＧＵＩ要素を選択可能である。基準ＧＵＩ要素または当該ＧＵＩ要素を与えるアプリケーションは、指定の倍率および特定の座標での生物医学画像のタイルまたは一部に関するリクエストを含み得る追加ＧＵＩ要素のリクエストを開始可能な１つまたは複数の実施可能なオブジェクトを含み得る。アプリケーションによってこのリクエストをコンピュータシステムに提供することにより、本明細書において上述した通り、生物医学画像の１つまたは複数のタイル（たとえば、色補正タイル等）を識別可能である。コンピュータシステムは、コンピュータシステムからタイルを受信し、当該タイルに対するスケーリング動作（たとえば、倍率２倍の場合の画像サイズの２倍化等）の実行によって、要求ＧＵＩ要素に一致するようにタイルの解像度を高くすることができる。その後、コンピュータシステムは、スケーリング済みタイルをアプリケーションに送信あるいは提供して、ＧＵＩ要素に表示可能である。いくつかの実施態様において、コンピュータシステムは、要求側アプリケーションが当該アプリケーションにおいてＧＵＩ要素をインスタンス化し、対応するタイルをＧＵＩ要素にレンダリングするための命令を生成可能である。

【0089】

コンピュータシステムは、ＧＵＩ要素との相互作用を検出可能である（ステップ８２０）。相互作用としては、特にタップ、クリック、ドラッグ、ダブルクリック、スクロール動作、またはダブルタップが挙げられる。特定の相互作用には、パン動作またはズーム動作等の要求動作を含み得る。相互作用を検出するため、コンピュータシステムは、１つまたは複数のイベントまたは相互作用リスナーを実装可能である。イベントまたは相互作用リスナーは、表示ＧＵＩ要素で相互作用メッセージを監視し、相互作用が発生した場合に、それに関する情報（たとえば、座標、持続時間、種類等）を返すことができる。コンピュータシステムは、動作に対応する実施可能なオブジェクトとの相互作用を検出し、生物医学画像のタイルを指定の倍率レベルおよび座標で表示する新たなＧＵＩ要素をインスタンス化することができる。

【0090】

コンピュータシステムは、パン動作等、現在レンダリングされているＧＵＩ要素に対して実行する１つまたは複数の動作をさらに検出可能である。パン動作は、生物医学画像の異なる部分を異なる座標に同じ倍率レベルで表示するリクエストを示し得る。たとえば、クリック＆ドラッグ動作、タップ＆ドラッグ動作、またはスクロールバー等の１つもしくは複数の実施可能なオブジェクトとの相互作用に応答して、パン動作を提供可能である。コンピュータシステムは、本明細書に記載のその他任意の種類の相互作用の中でもとりわけ、ズーム動作、すなわち、対応するＧＵＩ要素にレンダリングされたタイルの倍率を変更する動作を検出可能である。ズーム動作は、本明細書に記載のその他任意の種類の相互作用の中でもとりわけ、ズーム動作に対応する実施可能なオブジェクトとの相互作用に応答して検出することも可能であるし、ＧＵＩ要素でのクリック＆ドラッグ動作により検出することも可能である。コンピュータシステムは、タイルの座標も倍率レベルも変更することなく、タイルのサイズ（たとえば、対応するタイル座標に対してレンダリングされたピクセルの数等）を変更可能なリサイズ動作をさらに検出可能である。リサイズ動作は、たとえばＧＵＩ要素の隅部でのクリック＆ドラッグ動作として検出可能である（たとえば、ＧＵＩ要素のリサイズによって、その中に表示されるタイルをリサイズするための対応する動作リクエストが生じ得る）。いくつかの実施態様において、コンピュータシステムは、（たとえば、ＧＵＩ要素を提示するアプリケーション等からの）１つまたは複数の相互作用メッセージにおいて、相互作用に関する情報を受信可能である。

【0091】

コンピュータシステムは、第１のタイルの座標の変化を識別可能である（ステップ８２５）。移動またはパン動作は、生物医学画像の異なる領域が対応するＧＵＩ要素において特定の倍率レベルで表示されるように要求されていることを示し得る。たとえば、パンまたは移動相互作用は、生物医学画像を表す表示タイルの座標を移動させるための（たとえば、ｘ軸、ｙ軸、または両者に沿った）ピクセルの数を示し得る。コンピュータシステムは、現在のタイル座標およびタイル座標の変化量から、タイルを識別する新たな座標を決定可能である。いくつかの実施態様において、パンまたは移動相互作用は、タイルを識別または抽出する生物医学画像中の新たな座標を示し得る。

【0092】

コンピュータシステムは、他のタイルの座標の変化を決定可能である（ステップ８３０）。パンまたは移動相互作用により識別されたタイルに１つまたは複数の他のタイルが同期されている場合、コンピュータシステムは、倍率または座標の変更を受けるタイルに対して識別された変化に基づいて、同期タイルそれぞれを規定する座標に適用する対応する変化を決定可能である。第１のタイルに対する座標変化の場合、コンピュータシステムは、相互作用検出器４３５により第１のタイルに対して識別された新たな座標として、第１のタイルに同期されたその他の表示タイルそれぞれの座標を決定可能である。いくつかの実施態様においては、すべてのタイルが生物医学画像の同じ座標を異なる倍率で表示するように同期される。いくつかの実施態様において、各タイルは、それ自体の独立した座標および倍率レベルを有し得る。いくつかの実施態様においては、１つのタイル（たとえば、基準タイル）のみがパン、ズーム、または他の動作を受け付け可能であり、その他のタイルは、基準タイルに同期される。いくつかの他の実施態様においては、任意のタイルが移動またはズーム動作を受け付け可能であり、対応するＧＵＩ要素に表示された任意数の他のタイルに同期可能である。

【0093】

コンピュータシステムは、ＧＵＩ中のタイルの表示を更新可能である（ステップ８３５）。コンピュータシステムは、生物医学画像の更新対象のタイル（たとえば、動作の対象となるタイルまたは動作の対象となるタイルに同期されたタイル等）の要求領域のピクセル（たとえば、新たに識別された座標およびピクセル）を抽出可能である。コンピュータシステムは、生物医学画像のタイルごとに新たなピクセルを抽出した後、各タイルに対するスケーリング動作（たとえば、倍率２倍の場合の画像サイズの２倍化等）の実行によって、対応するＧＵＩ要素に一致するようにタイルの解像度を高くすることができる。その後、コンピュータシステムは、スケーリング済みタイルをアプリケーションに送信あるいは提供して、ＧＵＩ要素に表示可能である。いくつかの実施態様において、コンピュータシステムは、新たに抽出およびスケーリングされたタイルによって要求側アプリケーションが各ＧＵＩ要素に表示されたタイルを更新し、対応する更新タイルをＧＵＩ要素にレンダリングするための命令を生成可能である。

【0094】

コンピュータシステムは、１つまたは複数のアノテーションを識別して追加することができる（ステップ８４０）。コンピュータシステムは、（たとえば、検出された相互作用等による）アノテーション対象のＧＵＩ要素に表示されたタイル中のピクセルのピクセル場所（たとえば、ｘ座標およびｙ座標等）を検出可能である。その後、相互作用検出器４３５によって、受け付けたアノテーションの座標を生物医学画像中のピクセルの対応する位置にマッピング可能である。たとえば、２００ピクセル×２００ピクセルの生物医学画像と、生物医学画像におけるｘ軸上の座標１００～１４９のピクセルおよびｙ軸上の座標１００～１４９のピクセルを表すタイルと、を考える。本例において、タイルの寸法は、５０ピクセル×５０ピクセルである。タイルのｘ軸上の座標３およびタイルのｙ軸上の座標５においてアノテーションが検出された場合、コンピュータシステムは、生物医学画像におけるｘ軸上のピクセル座標１０３およびｙ軸上のピクセル座標１０５にアノテーションをマッピング可能である。

【0095】

アノテーションの場所のマッピングに際して、コンピュータシステムは、アノテーションデータ（たとえば、アノテーションデータ４５５）中のマッピングピクセル座標に色データを格納可能である。アノテーションデータは、１対１のピクセルマッピングにおいて、生物医学画像に対応し得る。アノテーションデータは、当該アノテーションデータ中の各ピクセルについて、固定されたビット幅を有し得る。コンピュータシステムがアノテーションを識別した場合、当該アノテーションは、対応する色値またはピクセル値（たとえば、固定幅のビット列値等）と関連付けられ得る。色値は、手動で選択することも可能であるし、デフォルト設定に基づいて自動的に選択されるようになっていてもよい。選択可能な各色値は、アノテーションデータと関連付けて格納可能な色マップにおいて識別された色に対応し得る。色マップは、アノテーションデータにより表し得る色値（たとえば、固定幅のビット列値等）を表示色（たとえば、ＲＧＢ全色チャンネルピクセル値等）と関連付け可能である。したがって、アノテーションデータの色マップは、考え得る各アノテーション値に対応するピクセル色値のルックアップテーブルとして機能し得る。たとえば、アノテーションデータ中の各ピクセルが４ビット幅のビット列により表される場合、色マップは、４ビットピクセルの考え得る値のうちの１つにそれぞれ対応する１５個の異なる色と、アノテーションがない場合に対応する１つの色（たとえば、０ｂ００００等）と、を有し得る。アノテーションデータの色マップは、デフォルト設定に基づいて自動的に生成することも可能であるし、１つまたは複数のＧＵＩ要素または実施可能なオブジェクトを通じて手動で指定することも可能である。

【0096】

コンピュータシステムは、色マップおよびアノテーションデータを用いて、１つまたは複数のＧＵＩ要素に表示されたタイルを更新することにより、アノテーションを示すことができる。いくつかの実施態様においては、生物医学画像上の別個のレイヤとして、アノテーションを表示可能である。アノテーションレイヤの可視性は、たとえば各ＧＵＩ要素の１つまたは複数の実施可能なオブジェクトによって切り替え可能である。コンピュータシステムは、アノテーション情報の表示の指示を受けた場合、アノテーションデータおよび対応する色マップにアクセスして、アノテーション対象の色を識別することができる。これにより、表示情報の特定部分のタイルを構成するピクセルを選択する場合、コンピュータシステムは、タイル中の対応する各ピクセル場所にアノテーションが存在するかを判定可能である。ピクセルの座標にアノテーションデータが存在する場合、コンピュータシステムは、アノテーションデータの色マップの対応するピクセルに等しい色チャンネル値を有するように、タイル中の当該ピクセルを修正可能である。同様に、アノテーションデータがコンピュータシステムにより更新された場合、コンピュータシステムは、最新のアノテーション情報をリアルタイムに表示するように、同期タイル中の対応するピクセルを更新可能である。その後、コンピュータシステムは、本明細書において上述した通り、１つまたは複数のＧＵＩ要素に表示するため、更新タイルを提供可能である。

【0097】

Ｃ．コンピュータおよびネットワーク環境
本明細書に記載のさまざまな動作は、コンピュータシステム上で実現可能である。図９は、本開示の特定の実施形態の実現に使用し得る代表的なサーバシステム９００、クライアントコンピュータシステム９１４、およびネットワーク９２９を示した簡易ブロック図である。種々実施形態において、サーバシステム９００または類似のシステムは、本明細書に記載のサービスもしくはサーバまたはその一部を実現可能である。クライアントコンピュータシステム９１４または類似のシステムは、本明細書に記載のクライアントを実現可能である。本明細書に記載のシステム４００は、サーバシステム９００に類似し得る。サーバシステム９００は、多くのモジュール９０２（たとえば、ブレードサーバの一実施形態におけるブレード）を組み込んだモジュール設計を有していてもよい。２つのモジュール９０２を図示しているが、如何なる数でも提供可能である。各モジュール９０２は、処理ユニット９０４およびローカルストレージ９０６を具備し得る。

【0098】

処理ユニット９０４は、１つまたは複数のコアを有し得る単一のプロセッサを具備することも可能であるし、複数のプロセッサを具備することも可能である。いくつかの実施形態において、処理ユニット９０４は、汎用主プロセッサのほか、グラフィックスプロセッサ、デジタル信号プロセッサ等の１つまたは複数の専用コプロセッサを具備し得る。いくつかの実施形態においては、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のカスタム回路を用いて、処理ユニット９０４の一部または全部を実現可能である。いくつかの実施形態において、このような集積回路は、回路自体に格納された命令を実行する。他の実施形態において、処理ユニット９０４は、ローカルストレージ９０６に格納された命令を実行可能である。処理ユニット９０４には、任意の種類のプロセッサを任意の組み合わせで含むことができる。

【0099】

ローカルストレージ９０６は、揮発性記憶媒体（たとえば、ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ等）および／または不揮発性記憶媒体（たとえば、磁気または光ディスク、フラッシュメモリ等）を含み得る。ローカルストレージ９０６に組み込まれた記憶媒体は、必要に応じて固定可能であってもよいし、取り外し可能であってもよいし、アップグレード可能であってもよい。ローカルストレージ９０６は、システムメモリ、リードオンリーメモリ（ＲＯＭ）、および永久記憶装置等のさまざまなサブユニットへと物理的に分割することも可能であるし、論理的に分割することも可能である。システムメモリとしては、読み書きメモリデバイスも可能であるし、ダイナミックランダムアクセスメモリ等の揮発性読み書きメモリも可能である。システムメモリは、処理ユニット９０４が実行時に必要とする命令およびデータの一部または全部を格納可能である。ＲＯＭは、処理ユニット９０４が必要とする静的なデータおよび命令を格納可能である。永久記憶装置としては、モジュール９０２の電源が切れた場合にも命令およびデータを格納可能な不揮発性読み書きメモリデバイスが可能である。本明細書において使用する用語「記憶媒体」には、（上書き、電気的妨害、電力喪失等が発生する）データを無期限に格納可能な如何なる媒体をも含むが、無線または有線接続で伝搬する搬送波および一過性の電子信号は含まない。

【0100】

いくつかの実施形態において、ローカルストレージ９０６は、オペレーティングシステムならびに／または図４のシステム４００もしくは本明細書に記載のその他任意のシステムの機能等のさまざまなサーバ機能を実装するプログラム等、処理ユニット９０４により実行される１つまたは複数のソフトウェアプログラム、あるいは、システム４００または本明細書に記載のその他任意のシステムと関連付けられたその他任意のサーバにより実行される１つまたは複数のソフトウェアプログラムを格納可能である。

【0101】

「ソフトウェア」は、処理ユニット９０４により実行された場合に、サーバシステム９００（または、その一部）にさまざまな動作を実行させる命令のシーケンスを一般的に表すため、ソフトウェアプログラムの動作を実行および遂行する１つまたは複数の特定の機械の実施形態を定義する。命令は、リードオンリーメモリ中に存在するファームウェアおよび／または不揮発性記憶媒体に格納されたプログラムコードとして格納可能であり、揮発性ワーキングメモリに読み込んで処理ユニット９０４により実行可能である。ソフトウェアは、単一のプログラムとして実装することも可能であるし、必要に応じて相互作用する別個のプログラムまたはプログラムモジュールの集合体として実装することも可能である。処理ユニット９０４は、ローカルストレージ９０６（または、後述の非ローカルストレージ）から、実行するプログラム命令および処理するデータを読み出して、上述のさまざま動作を実行することができる。

【0102】

いくつかのサーバシステム９００においては、サーバシステム９００のモジュール９０２と他の構成要素との間の通信に対応するローカルエリアネットワークを構成するバス等の相互接続部９０８を介して、複数のモジュール９０２を相互接続可能である。相互接続部９０８は、サーバラック、ハブ、ルータ等のさまざまな技術を用いて実現可能である。

【0103】

ワイドエリアネットワーク（ＷＡＮ）インターフェース９１０は、ローカルエリアネットワーク（相互接続部９０８）とインターネット等のネットワーク９２９との間のデータ通信機能を提供可能である。有線技術（たとえば、イーサネット、ＩＥＥＥ８０２．３規格）および／または無線技術（たとえば、Ｗｉ－Ｆｉ、ＩＥＥＥ８０２．１１規格）等の技術を使用可能である。

【0104】

いくつかの実施形態において、ローカルストレージ９０６は、処理ユニット９０４のワーキングメモリの提供が意図され、相互接続部９０８のトラフィックを低減しつつ、処理対象のプログラムおよび／またはデータへの高速アクセスを提供する。ローカルエリアネットワーク上には、相互接続部９０８に接続可能な１つまたは複数のマスストレージサブシステム９１２によって、大量のデータに対するストレージを設けることができる。マスストレージサブシステム９１２は、磁気、光、半導体、または他のデータ記憶媒体に基づき得る。ダイレクトアタッチトストレージ、ストレージエリアネットワーク、ネットワークアタッチトストレージ等を使用可能である。マスストレージサブシステム９１２には、サービスまたはサーバが生成、消費、または維持する本明細書に記載の任意のデータストアまたは他のデータ集合体を格納可能である。いくつかの実施形態においては、ＷＡＮインターフェース９１０を介して、付加的なデータストレージリソースにアクセス可能であってもよい（待ち時間は長くなる可能性がある）。

【0105】

サーバシステム９００は、ＷＡＮインターフェース９１０を介して受信されたリクエストに応答して動作し得る。たとえば、モジュール９０２のうちの１つが監視機能を実行し、受信リクエストに応答して、離散的タスクを他のモジュール９０２に割り当てる。ワーク分担技術を使用可能である。リクエストが処理された場合は、ＷＡＮインターフェース９１０を介して、結果を要求側に返すことができる。このような動作は一般的に、自動化可能である。さらに、いくつかの実施形態において、ＷＡＮインターフェース９１０は、複数のサーバシステム９００を互いに接続することにより、大量のアクティビティを管理し得るスケーラブルなシステムを提供可能である。動的リソース配分および再配分等、サーバシステムおよびサーバファーム（協働するサーバシステムの集合体）を管理する他の技術も使用可能である。

【0106】

サーバシステム９００は、インターネット等のワイドエリアネットワークを介して、さまざまなユーザ所有機器またはユーザ操作機器と相互作用可能である。図９においては、ユーザ操作機器の一例をクライアントコンピュータシステム９１４として示している。クライアントコンピュータシステム９１４は、たとえばスマートフォン、他の携帯電話、タブレットコンピュータ、ウェアラブルコンピュータ機器（たとえば、スマートウォッチ、スマートグラス）、デスクトップコンピュータ、ラップトップコンピュータ等として実現可能である。

【0107】

たとえば、クライアントコンピュータシステム９１４は、ＷＡＮインターフェース９１０を介して通信可能である。クライアントコンピュータシステム９１４は、処理ユニット９１６、記憶装置９１８、ネットワークインターフェース９２０、ユーザ入力装置９２２、およびユーザ出力装置９２４等のコンピュータ構成要素を具備し得る。クライアントコンピュータシステム９１４としては、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、他のモバイルコンピュータ機器、ウェアラブルコンピュータ機器等、多様なフォームファクタで実装されるコンピュータ機器が可能である。

【0108】

プロセッサ９１６および記憶装置９１８は、上述の処理ユニット９０４およびローカルストレージ９０６に類似し得る。好適な機器は、クライアントコンピュータシステム９１４に課される要求に基づいて選択可能である。たとえば、クライアントコンピュータシステム９１４は、処理能力が制限された「シン」クライアントとして実装することも可能であるし、高出力コンピュータ機器として実装することも可能である。クライアントコンピュータシステム９１４は、サーバシステム９００とのさまざまな相互作用を可能にするため、処理ユニット９１６により実行可能なプログラムコードを備え得る。

【0109】

ネットワークインターフェース９２０は、サーバシステム９００のＷＡＮインターフェース９１０も接続されるワイドエリアネットワーク（たとえば、インターネット）等のネットワーク９２９への接続を提供可能である。種々実施形態において、ネットワークインターフェース９２０には、有線インターフェース（たとえば、イーサネット）ならびに／またはＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、もしくはセルラーデータネットワーク規格（たとえば、３Ｇ、４Ｇ、ＬＴＥ）等のさまざまな無線データ通信規格を実現する無線インターフェースを含み得る。

【0110】

ユーザ入力装置９２２には、ユーザが信号をクライアントコンピュータシステム９１４に与え、クライアントコンピュータシステム９１４が特定のユーザリクエストまたは情報を示すものとしてこれらの信号を解釈し得る（１つまたは複数の）任意の機器を含み得る。種々実施形態において、ユーザ入力装置９２２には、ありとあらゆるキーボード、タッチパッド、タッチスクリーン、マウス等のポインティングデバイス、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、マイク等を含み得る。

【0111】

ユーザ出力装置９２４には、クライアントコンピュータシステム９１４が情報をユーザに提供可能な任意の機器を含み得る。たとえば、ユーザ出力装置９２４には、クライアントコンピュータシステム９１４により生成された画像またはクライアントコンピュータシステム９１４に配信される画像を表示するディスプレイを含み得る。ディスプレイは、さまざまな画像生成技術（たとえば、補助電子機器（たとえば、デジタル－アナログ変換器、アナログ－デジタル変換器、信号プロセッサ等）と併せた、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）を含む発光ダイオード（ＬＥＤ）、プロジェクションシステム、陰極線管（ＣＲＴ）等）を組み込み可能である。いくつかの実施形態では、入力装置および出力装置の両者として機能するタッチスクリーン等の機器を含み得る。いくつかの実施形態においては、ディスプレイの追加または代替として、他のユーザ出力装置９２４を設けることができる。その例としては、表示灯、スピーカ、触覚「ディスプレイ」装置、プリンタ等が挙げられる。

【0112】

いくつかの実施形態では、コンピュータプログラム命令をコンピュータ可読記憶媒体に格納するマイクロプロセッサ、ストレージ、およびメモリ等の電子的コンポーネントを含む。本明細書に記載の特徴の多くは、コンピュータ可読記憶媒体上で符号化された一組のプログラム命令として規定されたプロセスとして実装可能である。これらのプログラム命令は、１つまたは複数の処理ユニットにより実行された場合、当該プログラム命令に指定のさまざまな動作を処理ユニットに実行させる。プログラム命令またはコンピュータコードの例としては、コンパイラが生成するようなマシンコードならびにコンピュータ、電子的コンポーネント、もしくはマイクロプロセッサがインタプリタを用いて実行する高水準コードを含むファイルが挙げられる。処理ユニット９０４および９１６は、好適なプログラミングによって、サーバもしくはクライアントが実行する本明細書に記載の機能または他の機能のいずれか等、サーバシステム９００およびクライアントコンピュータシステム９１４のさまざまな機能を提供可能である。

【0113】

当然のことながら、サーバシステム９００およびクライアントコンピュータシステム９１４は例示であって、変形および改良が可能である。本開示の実施形態に関連して使用されるコンピュータシステムは、本明細書において具体的に記載していない他の機能を有し得る。さらに、サーバシステム９００およびクライアントコンピュータシステム９１４は、特定のブロックを参照して説明したが、これらのブロックは、説明の便宜上規定したものであり、構成部品の特定の物理的配置を暗示するものではない。たとえば、ブロックによっては、同じ設備、同じサーバラック、または同じマザーボードに配置可能であるが、必ずしもその必要はない。さらに、これらのブロックは、物理的に異なる構成要素に対応する必要もない。ブロックは、たとえばプロセッサのプログラミングまたは適当な制御回路の提供によって、さまざまな動作を実行するように構成可能であり、初期設定の取得態様に応じて、さまざまなブロックを再設定可能な場合もあるし、再設定不可能な場合もある。本開示の実施形態は、回路およびソフトウェアの任意の組み合わせを用いて実装可能な電子機器を含む多様な装置において実現可能である。

【0114】

特定の実施形態に関して本開示を説明したが、当業者には、多くの改良が可能であることが認識されよう。本開示の実施形態は、多様なコンピュータシステムおよび通信技術を用いて実現可能であり、本明細書に記載の具体例が挙げられるが、これらに限定されない。本開示の実施形態は、専用コンポーネント、プログラム可能なプロセッサ、および／または他のプログラム可能な機器の任意の組み合わせを用いて実現可能である。本明細書に記載のさまざまなプロセスは、任意の組み合わせによって、同じプロセッサ上に実装することも可能であるし、異なるプロセッサ上に実装することも可能である。特定の動作を実行するように構成されたものとしてコンポーネントの説明がなされている場合、このような構成は、たとえば当該動作を実行するように電子回路を設計すること、当該動作を実行するようにプログラム可能な電子回路（マイクロプロセッサ等）をプログラムすること、またはこれらの任意の組み合わせによって実現可能である。さらに、上述の実施形態は、特定のハードウェアおよびソフトウェアコンポーネントを参照していてもよいが、当業者には当然のことながら、ハードウェアおよび／またはソフトウェアコンポーネントの異なる組み合わせも使用可能であり、ハードウェアで実装されるものとして説明された特定の動作がソフトウェアで実装される可能性もあるし、その逆もまた同様である。

【0115】

本開示のさまざまな特徴を組み込んだコンピュータプログラムは、さまざまなコンピュータ可読記憶媒体において符号化および格納されていてもよく、好適な媒体としては、磁気ディスクもしくはテープ、コンパクトディスク（ＣＤ）もしくはＤＶＤ（デジタル多用途ディスク）等の光学記憶媒体、フラッシュメモリ、ならびに他の非一過性媒体が挙げられる。プログラムコードが符号化されたコンピュータ可読媒体は、互換性のある電子機器にパッケージされてもよいし、プログラムコードが電子機器とは別に（たとえば、インターネットダウンロードまたは別途パッケージされたコンピュータ可読記憶媒体として）提供されていてもよい。

【0116】

以上、特定の実施形態に関して本開示を説明したが、当然のことながら、本開示は、以下の特許請求の範囲内のすべての改良および同等物を網羅することが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】