特表 2022-515304 デジタルパソロジーのためのアイトラッキング画像ビューア

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-18

(54)【発明の名称】デジタルパソロジーのためのアイトラッキング画像ビューア

(51)【国際特許分類】

   G06F 3/0485 20220101AFI20220210BHJP

   G06F 3/0346 20130101ALI20220210BHJP

   G06F 3/01 20060101ALI20220210BHJP

   G09G 5/00 20060101ALI20220210BHJP

   G09G 5/36 20060101ALI20220210BHJP

   G09G 5/38 20060101ALI20220210BHJP

【ＦＩ】

G06F3/0485

G06F3/0346 423

G06F3/01 510

G09G5/00 550C

G09G5/36 520P

G09G5/38 A

G09G5/36 530Y

【審査請求】有

【予備審査請求】有

(21)【出願番号】P 2021517949

(86)(22)【出願日】2019-12-19

(85)【翻訳文提出日】2021-05-28

(86)【国際出願番号】 US2019067665

(87)【国際公開番号】W WO2020132358

(87)【国際公開日】2020-06-25

(31)【優先権主張番号】62/782,191

(32)【優先日】2018-12-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＶＩＳＵＡＬ ＢＡＳＩＣ

３．ＪＡＶＡＳＣＲＩＰＴ

４．ＦＲＡＭ

(71)【出願人】

【識別番号】503293765

【氏名又は名称】ライカ バイオシステムズ イメージング インコーポレイテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｂｉｏｓｙｓｔｅｍｓ Ｉｍａｇｉｎｇ， Ｉｎｃ．

【住所又は居所原語表記】１３６０ Ｐａｒｋ Ｃｅｎｔｅｒ Ｄｒ．， Ｖｉｓｔａ， ＣＡ ９２０８１， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】アレン オルソン

(72)【発明者】

【氏名】キラン サリグラマ

【テーマコード（参考）】

5B087

5C182

5E555

【Ｆターム（参考）】

5B087AA09

5B087DD06

5B087DE06

5C182AA02

5C182AA03

5C182AB02

5C182AB08

5C182AB14

5C182AB33

5C182BA01

5C182BA03

5C182BA04

5C182BA06

5C182BA14

5C182BA35

5C182BA56

5C182BA66

5C182BC22

5C182BC25

5C182CB13

5C182CB14

5C182CB32

5C182CB42

5C182CB45

5C182CC11

5C182DA18

5C182DA44

5E555AA10

5E555AA22

5E555AA64

5E555AA76

5E555BA02

5E555BA22

5E555BA38

5E555BB02

5E555BB22

5E555BB38

5E555BC04

5E555CA02

5E555CA18

5E555CA42

5E555CB02

5E555CB20

5E555CB65

5E555CB66

5E555CC01

5E555CC05

5E555DA01

5E555DB53

5E555DC02

5E555EA22

5E555FA00

(57)【要約】

アイトラッキングを用いたデジタルパソロジーにおける画像閲覧。１つの実施形態によれば、マクロビュー内にデジタルスライド画像の少なくとも一部分を有するグラフィカルユーザインタフェース上のユーザ注視ポジションが、アイトラッキングデバイスからの出力に基づき繰り返し検出される。グラフィカルユーザインタフェース上の第１のポジションから第２のポジションへのユーザ注視の変化が検出されると、マクロビュー内のデジタルスライド画像のビューが、第２のポジションに基づき自動的にパンされて、グラフィカルユーザインタフェース上の第２のポジションに対応するデジタルスライド画像上のポジションが、マクロビューの中央部に向かって移動させられる。

【特許請求の範囲】

【請求項1】

少なくとも１つのハードウェアプロセッサを用いて、
アイトラッキングデバイスからの出力に基づき、グラフィカルユーザインタフェース上のユーザ注視ポジションを繰り返し検出し、前記グラフィカルユーザインタフェースは、マクロビュー内にデジタルスライド画像の少なくとも一部分を有し、
前記グラフィカルユーザインタフェース上の第１のポジションから第２のポジションへのユーザ注視の変化を検出した後、前記第２のポジションに基づき前記マクロビュー内の前記デジタルスライド画像のビューを自動的にパンして、前記グラフィカルユーザインタフェース上の前記第２のポジションに対応する前記デジタルスライド画像上のポジションを、前記マクロビューの中央部に向かって移動させる、
ことを有する方法。

【請求項2】

自動的なパニングを、前記第１のポジションと前記第２のポジションとの間の距離が閾値よりも大きいことの検出に応答して実施する、
請求項１記載の方法。

【請求項3】

前記閾値は、ゼロよりも大きい、
請求項２記載の方法。

【請求項4】

前記方法はさらに、少なくとも１つの前記ハードウェアプロセッサを用いて、
前記グラフィカルユーザインタフェース上の前記第２のポジションに対応する前記デジタルスライド画像上の前記ポジションが、前記マクロビューの前記中央部内に入るまで、前記ビューを自動的にパンする
ことを有する、
請求項１記載の方法。

【請求項5】

前記方法はさらに、少なくとも１つの前記ハードウェアプロセッサを用いて、
検出された前記ユーザ注視ポジションが前記マクロビューの前記中央部内に入るまで、前記ビューを自動的にパンする
ことを有する、
請求項１記載の方法。

【請求項6】

前記方法はさらに、少なくとも１つの前記ハードウェアプロセッサを用いて、
前記アイトラッキングデバイスからの出力に基づきユーザ頭部の向きを検出し、
前記ユーザ頭部の検出された１つまたは複数の向きに基づき、予め定められた開始ジェスチャを検出する
ことを有し、自動的なパニングを、予め定められた前記開始ジェスチャの検出に応答して実施する、
請求項１記載の方法。

【請求項7】

前記方法はさらに、少なくとも１つの前記ハードウェアプロセッサを用いて、
前記ユーザ頭部の検出された１つまたは複数の向きに基づき、予め定められた停止ジェスチャを検出し、
予め定められた前記停止ジェスチャの検出に応答して、前記マクロビュー内の前記デジタルスライド画像の前記ビューのパニングを自動的に停止させる
ことを有する、
請求項６記載の方法。

【請求項8】

前記グラフィカルユーザインタフェースはさらに、前記デジタルスライド画像のサムネイル画像を有し、
前記方法はさらに、少なくとも１つの前記ハードウェアプロセッサを用いて、
検出された前記ユーザ注視ポジションが前記サムネイル画像内にあるか否かを判定し、
前記ユーザ注視ポジションが前記サムネイル画像内にあることの検出に応答して、
前記サムネイル画像内の前記ポジションに対応する前記デジタルスライド画像上のポジションを特定し、
前記デジタルスライド画像上の特定された前記ポジションが、前記マクロビューの前記中央部内にあるように、前記マクロビューを更新する
ことを有する、
請求項１記載の方法。

【請求項9】

前記マクロビューの更新は、前記デジタルスライド画像の前記ビューを自動的にパンして、前記デジタルスライド画像上の特定された前記ポジションを前記マクロビューの前記中央部に向かって移動させる
ことを有する、
請求項８記載の方法。

【請求項10】

前記方法はさらに、少なくとも１つの前記ハードウェアプロセッサを用いて、前記第１のポジションと前記第２のポジションとの間の距離を計算することを有し、自動的なパニングの速度は、計算された前記距離に基づく、
請求項１記載の方法。

【請求項11】

少なくとも１つのハードウェアプロセッサを用いて、
アイトラッキングデバイスからの出力に基づき、グラフィカルユーザインタフェース上のユーザ注視ポジションを繰り返し検出し、前記グラフィカルユーザインタフェースは、マクロビュー内に１つまたは複数の入力とデジタルスライド画像の一部分とを少なくとも有し、
前記ユーザ注視ポジションが１つまたは複数の前記入力のうち１つの入力内にあることを検出すると、
前記アイトラッキングデバイスからの前記出力に基づき、複数の可能な向きの中からユーザ頭部の１つの向きを検出し、
前記１つの入力と検出された前記向きとにメモリ内で関連付けられた機能を識別し、
識別された前記機能に関連付けられた前記向きの検出に基づき、前記機能を開始させる
ことを有する方法。

【請求項12】

前記機能は、前記マクロビュー内の前記デジタルスライド画像の倍率レベルの変更を有する、
請求項１１記載の方法。

【請求項13】

前記１つの入力は、前記マクロビュー内の前記デジタルスライド画像の倍率レベルを変更するための入力を有し、
複数の可能な前記向きは、第１の向きと第２の向きとを有し、
前記第１の向きは、前記倍率レベルを増加させる機能と前記メモリ内で関連付けられており、
前記第２の向きは、前記倍率レベルを低減させる機能と前記メモリ内で関連付けられている、
請求項１２記載の方法。

【請求項14】

前記第１の向きは、第１の方向への頭部の傾きを有し、前記第２の向きは、前記第１の方向とは逆の第２の方向への頭部の傾きを有する、
請求項１３記載の方法。

【請求項15】

前記方法はさらに、
前記機能を開始させた後、前記ユーザ注視ポジションがもはや前記１つの入力内にはないことを検出したならば、前記機能を停止させる
ことを有する、
請求項１１記載の方法。

【請求項16】

少なくとも１つのハードウェアプロセッサを用いて、
アイトラッキングデバイスからの出力に基づき、グラフィカルユーザインタフェース上のユーザ注視ポジションを繰り返し検出し、前記グラフィカルユーザインタフェースは、マクロビュー内に１つまたは複数の入力とデジタルスライド画像の一部分とを少なくとも有し、
前記ユーザ注視ポジションが１つまたは複数の前記入力のうち１つの入力内にあることを検出すると、
前記アイトラッキングデバイスからの前記出力に基づき、ユーザ頭部の１つの向きを検出し、
前記ユーザ頭部の検出された１つまたは複数の向きに基づき、予め定められた開始ジェスチャを検出し、
予め定められた前記開始ジェスチャの検出に基づき、前記１つの入力に関連付けられた機能を開始させる
ことを有する方法。

【請求項17】

前記機能は、前記マクロビュー内の前記デジタルスライド画像の倍率レベルの変更を有する、
請求項１６記載の方法。

【請求項18】

前記方法はさらに、
前記機能を開始させた後、前記ユーザ注視ポジションが前記１つの入力内にもはやないことを検出したならば、前記機能を停止させる
ことを有する、
請求項１６記載の方法。

【請求項19】

予め定められた前記開始ジェスチャは、前記ユーザ頭部の反復的な運動を有する、
請求項１６記載の方法。

【請求項20】

１つまたは複数の前記入力は、複数の前記入力のうち他のいずれか１つの入力とは異なる機能に各々関連付けられた複数の入力を有し、
予め定められた前記開始ジェスチャは、前記複数の入力各々について同一である、
請求項１６記載の方法。

【請求項21】

少なくとも１つのハードウェアプロセッサを用いて、１つまたは複数の第１のデジタルスライド画像について、
アイトラッキングデバイスからの出力に基づき、グラフィカルユーザインタフェース上のユーザ注視ポジションと頭部の向きとを繰り返し検出し、前記グラフィカルユーザインタフェースは、マクロビュー内に前記第１のデジタルスライド画像の少なくとも一部分を有し、
閲覧履歴を記憶し、前記閲覧履歴は、ユーザ注視または前記頭部の向きが検出されたときに閲覧されている前記第１のデジタルスライド画像の一部分に関連して、各々検出された前記ユーザ注視ポジションおよび前記頭部の向きを有し、
１つまたは複数の前記第１のデジタルスライド画像について記憶された前記閲覧履歴に基づき、前記ユーザにより閲覧されるべき少なくとも１つの第２のデジタルスライド画像の次の部分を予測するよう、機械学習アルゴリズムをトレーニングし、
トレーニング済みの前記機械学習アルゴリズムを用いて、前記ユーザにより閲覧された少なくとも１つの前記第２のデジタルスライド画像の過去の部分に基づき、前記ユーザにより閲覧されるべき少なくとも１つの前記第２のデジタルスライド画像の前記次の部分を予測し、トレーニング済みの前記機械学習アルゴリズムにより予測された、閲覧されるべき少なくとも１つの前記第２のデジタルスライド画像の前記次の部分に向かって、ユーザ介入なしで自動的にパンする
ことを有する方法。

【請求項22】

少なくとも１つのハードウェアプロセッサと、
少なくとも１つの前記ハードウェアプロセッサにより実行されると、請求項１記載の方法を実施する１つまたは複数のソフトウェアモジュールと、
を有するシステム。

【請求項23】

内部に記憶された命令を有する非一時的コンピュータ可読媒体であって、前記命令は、プロセッサにより実行されると、請求項１記載の方法を前記プロセッサに実施させる、
非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０１８年１２月１９日提出の米国特許仮出願第６２／７８２，１９１号に対し優先権を主張するものであり、この文献をここで参照したことによりその内容全体が本願に取り込まれるものとする。

【0002】

発明の分野
本明細書で説明する実施形態は、全般的にデジタルパソロジーに向けられたものであり、より具体的には、デジタルパソロジーのスライド画像の閲覧中にアイトラッキングを使用することに関する。

【背景技術】

【0003】

デジタルパソロジーにおいては、顕微鏡スライドが著しく高い解像度でスキャンされ、それによって著しく高い解像度のデジタルスライド画像が得られる。デジタルスライド画像は一般に、病理学者によりコンピュータディスプレイ上で閲覧される。一般に病理学者は、キーボード、マウス、トラックボール、タッチパッド、または他のタッチセンサ、または他の手動操作型入力デバイスを使用して、ディスプレイ上のデジタルスライド画像の領域から領域へと進んでいく。これに加え、デジタルスライド画像におけるピクセル数はディスプレイにおけるピクセルよりも一般にかなり多いので（例えば画像はギガピクセルであるのに対しディスプレイはメガピクセル）、一度にデジタルスライド画像の１つの領域だけしか高解像度（例えばネイティブ解像度）で閲覧できない。したがって病理学者は、高倍率でデジタルスライド画像内の着目対象領域を閲覧するためには、手動操作型入力デバイスも使用して、表示されているデジタルスライドをズームイン、ズームアウトおよびパンしなければならない。

【0004】

手動操作型入力デバイスの一例としてマウスを用いると、目下の倍率からズームイン（倍率増加）またはズームアウト（倍率減少）するために、病理学者は、デジタルスライド画像の１つの領域上でマウスクリックを行うことができ、次いで（例えばマウス上のスクロールホイールを介して）マウススクロールを用いることができる。デジタルスライド画像の新たな領域へとパンする目的で、デジタルスライド画像の他の領域におけるデジタルスライド画像のビューを中央部に置くために、（例えばマウスを移動させながらマウスボタンを押し続けることによって）マウスドラッグを行うことができる。病理学者に対し他のマウス操作を用いることが要求される場合もあり、例えばデジタルスライド画像のビューをデジタルスライドの画像の１つの領域から新たな領域に移動させるために、デジタルスライド画像のサムネイル上でマウスクリックを行うこと、（例えばズームインまたはズームアウト、プリセット倍率の選択などの目的で）デジタルスライド画像のビューの倍率変更用の入力（例えばボタン、スライダなど）を操作するために、マウスクリックまたはマウスドラッグを行うこと、および／またはこれらに類することが要求される場合もある。いくつかのケースでは病理学者は、これらと同じまたは同様の操作を行うために、キーボードショートカットを用いることもできる。

【0005】

使用される特定の手動操作型入力デバイスが何であろうと、デジタルスライド画像を閲覧するために必要とされる手作業の量はかなり多い。結果として病理学者は、このような手法でデジタルスライド画像を調査するのに著しく多くの時間を費やしている。かかる手動操作型入力デバイスの使用は、長たらしく面倒であり時間を浪費し、反復動作による痛みや損傷を引き起こすおそれがある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

よって、デジタルスライド画像を調査する目的でアイトラッキングデバイスを使用するための、システム、方法および非一時的コンピュータ可読媒体が開示される。アイトラッキングデバイスを、コンピュータディスプレイ上に取り付けることができ、またはコンピュータディスプレイ内に組み込むことができ、あるいはユーザが着用した装備（例えば通常のメガネ、スマートグラス、バーチャルリアリティ（ＶＲ）ヘッドセットなど）上に取り付けることができ、またはその中に組み込むことができ、コンピュータディスプレイ上でのユーザ注視ポジションをリアルタイムに検出するように構成することができる。有利には、アイトラッキングデバイスの出力に基づき機能を実行することができ、これによって、目下のところ手動操作型入力デバイスによって実施されている、１つまたは複数の、場合によってはすべての、閲覧関連機能が置き換えられ、このようにすることで（例えばデジタルパソロジーにおいて）デジタルスライド画像調査中の手動操作型入力デバイスの必要性が少なくなり、またはそれらが不要となる。

【課題を解決するための手段】

【0007】

１つの実施形態において、以下のことを有する方法が開示される。すなわち、少なくとも１つのハードウェアプロセッサを用いて、アイトラッキングデバイスからの出力に基づき、グラフィカルユーザインタフェース上のユーザ注視ポジションを繰り返し検出し、グラフィカルユーザインタフェースは、マクロビュー内にデジタルスライド画像の少なくとも一部分を有し、グラフィカルユーザインタフェース上の第１のポジションから第２のポジションへのユーザ注視の変化を検出した後、第２のポジションに基づきマクロビュー内のデジタルスライド画像のビューを自動的にパンして、グラフィカルユーザインタフェース上の第２のポジションに対応するデジタルスライド画像上のポジションを、マクロビューの中央部に向かって移動させる。自動的なパニングを、第１のポジションと第２のポジションとの間の距離が閾値よりも大きいことの検出に応答して実施することができる。閾値をゼロよりも大きいものとすることができる。この方法はさらに、少なくとも１つのハードウェアプロセッサを用いて、グラフィカルユーザインタフェース上の第２のポジションに対応するデジタルスライド画像上のポジションが、マクロビューの中央部内に入るまで、ビューを自動的にパンすることを有することができる。この方法はさらに、少なくとも１つのハードウェアプロセッサを用いて、検出されたユーザ注視ポジションがマクロビューの中央部内に入るまで、ビューを自動的にパンすることを有することができる。この方法はさらに、少なくとも１つのハードウェアプロセッサを用いて、アイトラッキングデバイスからの出力に基づきユーザ頭部の向きを検出し、ユーザ頭部の検出された１つまたは複数の向きに基づき、予め定められた開始ジェスチャを検出することを有することができ、この場合、自動的なパニングは、予め定められた開始ジェスチャの検出に応答して実施される。この方法はさらに、少なくとも１つのハードウェアプロセッサを用いて、ユーザ頭部の検出された１つまたは複数の向きに基づき、予め定められた停止ジェスチャを検出し、予め定められた停止ジェスチャの検出に応答して、マクロビュー内のデジタルスライド画像のビューのパニングを自動的に停止させることを有することができる。グラフィカルユーザインタフェースは、デジタルスライド画像のサムネイル画像を有することができ、この方法はさらに、少なくとも１つのハードウェアプロセッサを用いて、検出されたユーザ注視ポジションがサムネイル画像内にあるか否かを判定し、ユーザ注視ポジションがサムネイル画像内にあることの検出に応答して、サムネイル画像内のポジションに対応するデジタルスライド画像上のポジションを特定し、デジタルスライド画像上の特定されたポジションが、マクロビューの中央部内にあるように、マクロビューを更新することを有することができる。マクロビューの更新は、デジタルスライド画像のビューを自動的にパンして、デジタルスライド画像上の特定されたポジションをマクロビューの中央部に向かって移動させることを有することができる。この方法はさらに、少なくとも１つのハードウェアプロセッサを用いて、第１のポジションと第２のポジションとの間の距離を計算することを有することができ、この場合、自動的なパニングの速度は計算された距離に基づく。

【0008】

１つの実施形態において、以下のことを有する方法が開示される。すなわち、少なくとも１つのハードウェアプロセッサを用いて、アイトラッキングデバイスからの出力に基づき、グラフィカルユーザインタフェース上のユーザ注視ポジションを繰り返し検出し、この場合、グラフィカルユーザインタフェースは、マクロビュー内に１つまたは複数の入力とデジタルスライド画像の一部分とを少なくとも有し、ユーザ注視ポジションが１つまたは複数の入力のうち１つの入力内にあることを検出すると、アイトラッキングデバイスからの出力に基づき、複数の可能な向きの中からユーザ頭部の１つの向きを検出し、１つの入力と検出された向きとにメモリ内で関連付けられた機能を識別し、識別された機能に関連付けられた向きの検出に基づき、この機能を開始させることを有する。この機能は、マクロビュー内のデジタルスライド画像の倍率レベルの変更を有することができる。１つの入力は、マクロビュー内のデジタルスライド画像の倍率レベルを変更するための入力を有することができ、この場合、複数の可能な向きは、第１の向きと第２の向きとを有し、この場合、第１の向きは、倍率レベルを増加させる機能とメモリ内で関連付けられており、さらにこの場合、第２の向きは、倍率レベルを低減させる機能とメモリ内で関連付けられている。第１の向きは、第１の方向への頭部の傾きを有することができ、第２の向きは、第１の方向とは逆の第２の方向への頭部の傾きを有することができる。この方法はさらに、機能を開始させた後、ユーザ注視ポジションがもはや１つの入力内にはないことを検出したならば、この機能を停止させることを有することができる。

【0009】

１つの実施形態において、以下のことを有する方法が開示される。すなわち、少なくとも１つのハードウェアプロセッサを用いて、アイトラッキングデバイスからの出力に基づき、グラフィカルユーザインタフェース上のユーザ注視ポジションを繰り返し検出し、この場合、グラフィカルユーザインタフェースは、マクロビュー内に１つまたは複数の入力とデジタルスライド画像の一部分とを少なくとも有し、ユーザ注視ポジションが１つまたは複数の入力のうち１つの入力内にあることを検出すると、アイトラッキングデバイスからの出力に基づき、ユーザ頭部の１つの向きを検出し、ユーザ頭部の検出された１つまたは複数の向きに基づき、予め定められた開始ジェスチャを検出し、予め定められた開始ジェスチャの検出に基づき、１つの入力に関連付けられた機能を開始させることを有する。この機能は、マクロビュー内のデジタルスライド画像の倍率レベルの変更を有することができる。この方法はさらに、機能を開始させた後、ユーザ注視ポジションがもはや１つの入力内にはないことを検出したならば、この機能を停止させることを有することができる。予め定められた開始ジェスチャは、ユーザ頭部の反復的な運動を有することができる。１つまたは複数の入力は、複数の入力のうち他のいずれか１つの入力とは異なる機能に各々関連付けられた複数の入力を有することができ、この場合、予め定められた開始ジェスチャは、複数の入力各々について同一である。

【0010】

１つの実施形態において、以下のことを有する方法が開示される。すなわち、少なくとも１つのハードウェアプロセッサを用いて、１つまたは複数の第１のデジタルスライド画像のために、アイトラッキングデバイスからの出力に基づき、グラフィカルユーザインタフェース上のユーザ注視ポジションと頭部の向きとを繰り返し検出し、この場合、グラフィカルユーザインタフェースは、マクロビュー内に第１のデジタルスライド画像の少なくとも一部分を有し、閲覧履歴を記憶し、この閲覧履歴は、ユーザ注視または頭部の向きが検出されたときに閲覧されている第１のデジタルスライド画像の一部分に関連して、各々検出されたユーザ注視ポジションおよび頭部の向きを有し、１つまたは複数の第１のデジタルスライド画像について記憶された閲覧履歴に基づき、ユーザにより閲覧されるべき少なくとも１つの第２のデジタルスライド画像の次の部分を予測するよう、機械学習アルゴリズムをトレーニングし、トレーニング済みの機械学習アルゴリズムを用いて、ユーザにより閲覧された少なくとも１つの第２のデジタルスライド画像の過去の部分に基づき、ユーザにより閲覧されるべき少なくとも１つの第２のデジタルスライド画像の次の部分を予測し、トレーニング済みの機械学習アルゴリズムにより予測された、閲覧されるべき少なくとも１つの第２のデジタルスライド画像の次の部分に向かって、ユーザ介入なしで自動的にパンすることを有する。

【0011】

本開示の方法のいずれも、サーバなどのようなプロセッサベースのシステムの実行可能なソフトウェアモジュールとして、かつ／または非一時的コンピュータ可読媒体に記憶された実行可能な命令として、具現化することができる。

【図面の簡単な説明】

【0012】

本発明の詳細をその構造および動作の両方について、添付の図面を精査することによりある程度は得ることができ、それらの図中、同様の部材には同様の参照符号が付されている。

【0013】

【図1】本明細書で説明するプロセスのうちの１つまたは複数を実行可能な、１つの実施形態による例示的な処理システムを示す図である。

【図2】デジタルスライド画像のサムネイル画像およびマクロビューとともに、１つの実施形態による例示的なディスプレイを示す図である。

【図3A】アイトラッキングデバイスの出力を用いてデジタルスライド画像をパンするための、実施形態による例示的なプロセスを示す図である。

【図3B】アイトラッキングデバイスの出力を用いてデジタルスライド画像をパンするための、実施形態による例示的なプロセスを示す図である。

【図4A】ズーミングなどの画像閲覧機能を実施するための、実施形態による例示的なプロセスを示す図である。

【図4B】ズーミングなどの画像閲覧機能を実施するための、実施形態による例示的なプロセスを示す図である。

【図4C】ズーミングなどの画像閲覧機能を実施するための、実施形態による例示的なプロセスを示す図である。

【発明を実施するための形態】

【0014】

１つの実施形態によれば、デジタルスライド画像を調査する目的でアイトラッキングデバイスを使用するための、システム、方法および非一時的コンピュータ可読媒体が開示される。本明細書を読めば、どのようにして本発明を様々な択一的な実施形態および択一的な適用法で実装するのかが、当業者には明らかになるであろう。ただし、本発明の様々な実施形態を本明細書で説明するつもりではあるけれども、自明のとおりそれらの実施形態は、例示および説明のために呈示したにすぎず、限定のためではない。したがって様々な実施形態のこのような詳細な説明は、添付の特許請求の範囲に明記された本発明の範囲または外延を限定するものと解釈されるべきではない。

【0015】

１ システム概観
１．１ 例示的な処理デバイス
図１は、例示的な有線または無線のシステム１００を示すブロック図であって、本明細書で説明する様々な実施形態に関連して、このシステム１００を使用することができる。例えばシステム１００を、本明細書で説明する（例えばアプリケーションまたはアプリケーションの１つまたは複数のソフトウェアモジュールを記憶および／または実行するための）機能、プロセスまたは方法のうちの１つまたは複数として、またはそれに関連して使用することができる。システム１００をサーバ、パーソナルコンピュータ、デジタルスライドスキャニング装置、または有線または無線のデータ通信が可能な他の任意のプロセッサ作動型デバイスとすることができる。当業者に自明のとおり、他のコンピュータシステムおよび／またはアーキテクチャを使用してもよい。

【0016】

システム１００は好ましくは、中央処理ユニット（ＣＰＵ）を有することのできるプロセッサ１１０など、１つまたは複数のプロセッサを含む。付加的なプロセッサを設けることができ、例えばグラフィックス処理ユニット（ＧＰＵ）、入出力を管理する補助プロセッサ、浮動小数点演算を実行する補助プロセッサ、信号処理アルゴリズムの高速な実行に適したアーキテクチャを有する特定用途向けマイクロプロセッサ（例えばデジタル信号プロセッサ）、メイン処理システムに従属するスレーブプロセッサ（例えばバックエンドプロセッサ）、デュアルプロセッサシステムまたはマルチプロセッサシステムのための補助マイクロプロセッサまたは補助コントローラ、および／またはコプロセッサなどを設けることができる。かかる補助プロセッサを、別個のプロセッサとしてもよいし、またはプロセッサ１１０と一体化してもよい。システム１００により使用可能なプロセッサの例には、限定するものではないが、Ｐｅｎｔｉｕｍ（登録商標）プロセッサ、Ｃｏｒｅ ｉ７（登録商標）プロセッサ、およびＸｅｏｎ（登録商標）プロセッサが含まれ、これらすべてはカリフォルニア州サンタクララのＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎから入手可能である。

【0017】

プロセッサ１１０は好ましくは、通信バス１０５に接続されている。通信バス１０５は、記憶装置とシステム１００の他の周辺コンポーネントとの間の情報転送を容易にするためのデータチャネルを含むことができる。さらに通信バス１０５は、プロセッサ１１０との通信のために使用される一連の信号を供給することができ、通信バス１０５にはデータバス、アドレスバスおよび／または制御バス（図示せず）が含まれる。通信バス１０５は、任意の標準バスアーキテクチャまたは非標準バスアーキテクチャを有することができ、例えば、インダストリスタンダードアーキテクチャ（ＩＳＡ）、拡張インダストリスタンダードアーキテクチャ（ＥＩＳＡ）、マイクロチャネルアーキテクチャ（ＭＣＡ）、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）ローカルバス、ＩＥＥＥ４８８汎用インタフェースバス（ＧＰＩＢ）、ＩＥＥＥ６９６／Ｓ－１００を含め電気電子学会（ＩＥＥＥ）により公布された標準、および／またはこれらに類するもの、に準拠したバスアーキテクチャを有することができる。

【0018】

システム１００は好ましくは、メインメモリ１１５を含み、さらに２次メモリ１２０を含むこともできる。メインメモリ１１５は、本明細書で説明する機能および／またはモジュールの１つまたは複数など、プロセッサ１１０上で実行されるプログラムのための命令およびデータの記憶を提供する。自明のとおり、メモリに記憶されプロセッサ１１０により実行されるプログラムを、限定するものではないが、Ｃ／Ｃ＋＋、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、Ｐｅｒｌ、Ｖｉｓｕａｌ Ｂａｓｉｃ、．ＮＥＴ、およびこれらに類するものを含む任意の適切な言語に従って、記述および／またはコンパイルすることができる。メインメモリ１１５は一般に、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）および／またはスタティックランダムアクセスメモリ（ＳＲＡＭ）など、半導体ベースのメモリである。他の半導体ベースのメモリタイプには例えば、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ラムバスダイナミックランダムアクセスメモリ（ＲＤＡＲＡＭ）、強誘電体ランダムアクセスメモリ（ＦＲＡＭ）およびこれらに類するものが含まれ、これにはリードオンリメモリ（ＲＯＭ）が含まれる。

【0019】

２次メモリ１２０は任意選択的に、内部媒体１２５および／またはリムーバブル媒体１３０を含むことができる。リムーバブル媒体１３０は、任意の周知の手法でそこから読み出され、かつ／またはそこに書き込まれる。リムーバブル記憶媒体１３０を例えば、磁気テープドライブ、コンパクトディスク（ＣＤ）ドライブ、デジタルバーサタイルディスク（ＤＶＤ）ドライブ、他の光学ドライブ、フラッシュメモリドライブ、および／またはこれらに類するものとすることができる。

【0020】

２次メモリ１２０は非一時的コンピュータ可読媒体であり、これはコンピュータにより実行可能なコード（例えば本開示のソフトウェアモジュール）および／またはそこに記憶された他のデータを有する。２次メモリ１２０に記憶されているコンピュータソフトウェアまたはデータは、プロセッサ１１０により実行するためにメインメモリに読み込まれる。

【0021】

択一的な実施形態によれば、２次メモリ１２０は、コンピュータプログラムまたは他のデータまたは命令をシステム１００にロードできるようにするための他の同様の手段を含むことができる。かかる手段は例えば通信インタフェース１４０を含むことができ、これによってソフトウェアおよびデータを外部記憶媒体１４５からシステム１００に転送することができる。外部記憶媒体１４５の例は、外部ハードディスクドライブ、外部光学ドライブ、外部磁気光学ドライブ、および／またはこれらに類するものを含むことができる。２次メモリ１２０の他の例は、プログラマブルリードオンリメモリ（ＰＲＯＭ）、消去可能なプログラマブルリードオンリメモリ（ＥＰＲＯＭ）、電気的に消去可能なリードオンリメモリ（ＥＥＰＲＯＭ）、およびフラッシュメモリ（ＥＥＰＲＯＭに類似したブロック指向型メモリ）といった半導体ベースのメモリを含むことができる。

【0022】

上述のように、システム１００は通信インタフェース１４０を含むことができる。通信インタフェース１４０によって、システム１００と外部デバイス（例えばプリンタ）、ネットワーク、または他の情報ソースとの間で、ソフトウェアおよびデータを転送することができるようになる。例えばコンピュータソフトウェアまたは実行可能なコードを、通信インタフェース１４０を介してネットワークサーバからシステム１００に転送することができる。通信インタフェース１４０の例には、組み込み型ネットワークアダプタ、ネットワークインタフェースカード（ＮＩＣ）、パーソナルコンピュータメモリカード国際協会（ＰＣＭＣＩＡ）ネットワークカード、カードバスネットワークアダプタ、ワイヤレスネットワークアダプタ、汎用シリアルバス（ＵＳＢ）ネットワークアダプタ、モデム、ワイヤレスデータカード、通信ポート、赤外線インタフェース、ＩＥＥＥ１３９４ファイアーワイヤ、およびシステム１００とネットワークまたは他のコンピューティングデバイスとのインタフェースを可能にする他の任意のデバイスが含まれる。通信インタフェース１４０は好ましくは、業界公布のプロトコル標準を実装し、例えばＥｔｈｅｒｎｅｔ ＩＥＥＥ８０２標準、ファイバチャネル、デジタル加入者線（ＤＳＬ）、非同期デジタル加入者線（ＡＤＳＬ）、フレームリレー、非同期転送モード（ＡＴＭ）、デジタル総合サービス網（ＩＳＤＮ）、パーソナル通信サービス（ＰＣＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、シリアル回線インターネットプロトコル／ポイントトゥーポイントプロトコル（ＳＬＩＰ／ＰＰＰ）などを実装するが、カスタマイズされた、または非標準のインタフェースプロトコルも同様に実装することができる。

【0023】

通信インタフェース１４０を介して転送されるソフトウェアおよびデータは概して、電気通信信号１５５の形態にある。これらの信号１５５を、通信チャネル１５０を介して通信インタフェース１４０に供給することができる。１つの実施形態によれば、通信チャネル１５０を有線または無線のネットワークとすることができ、あるいは他の様々な通信リンクとすることができる。通信チャネル１５０は信号１５５を搬送し、この通信チャネル１５０を様々な有線または無線の通信手段を用いて実装することができ、いくつかの例を挙げるとこれには、ワイヤまたはケーブル、光ファイバ、慣用の電話回線、携帯電話回線、ワイヤレスデータ通信回線、無線周波数（「ＲＦ」）リンク、あるいは赤外線リンクが含まれる。

【0024】

コンピュータにより実行可能なコード（例えば本開示のソフトウェアモジュールなどのコンピュータプログラム）は、メインメモリ１１５および／または２次メモリ１２０に記憶されている。コンピュータプログラムを、通信インタフェース１４０を介して受信し、メインメモリ１１５および／または２次メモリ１２０に記憶することもできる。かかるコンピュータプログラムは実行時、本明細書の他の箇所で説明する本開示の実施形態の様々な機能をシステム１００が実施できるようにする。

【0025】

本明細書において、用語「コンピュータ可読媒体」は、コンピュータにより実行可能なコードおよび／または他のデータを、システム１００にまたはシステム１００内で、供給するために使用される任意の非一時的コンピュータ可読記憶媒体のことを指すために用いられる。かかる媒体の例には、メインメモリ１１５、（内部メモリ１２５、リムーバブル媒体１３０および外部記憶媒体１４５を含む）２次メモリ１２０、ならびに（ネットワーク情報サーバまたは他のネットワークデバイスを含む）通信インタフェース１４０と通信可能に結合された任意の周辺デバイスが含まれる。これらの非一時的コンピュータ可読媒体は、実行可能コード、プログラミング命令、ソフトウェアおよび／または他のデータをシステム１００に供給するための手段である。

【0026】

ソフトウェアを用いて実装される１つの実施形態によれば、ソフトウェアをコンピュータ可読媒体に記憶させ、リムーバブル媒体１３０、Ｉ／Ｏインタフェース１３５または通信インタフェース１４０を経由して、システム１００にロードすることができる。かかる実施形態によれば、ソフトウェアは、電気通信信号１５５の形態でシステム１００にロードされる。ソフトウェアは、プロセッサ１１０により実行されると好ましくはプロセッサ１１０に指示して、本明細書の他の箇所で説明するプロセスおよび機能のうちの１つまたは複数を実施させる。

【0027】

１つの実施形態によれば、Ｉ／Ｏインタフェース１３５は、システム１００の１つまたは複数のコンポーネントと１つまたは複数の入力デバイスおよび／または出力デバイスとの間のインタフェースを提供する。例示的な入力デバイスには、限定するものではないが、アイトラッキングデバイス、センサ、キーボード、タッチスクリーン、または他の接触感応型デバイス、バイオメトリックセンシングデバイス、コンピュータマウス、トラックボール、ペンベースのポインティングデバイス、および／またはこれらに類するものが含まれる。出力デバイスの例には、限定するものではないが、他の処理デバイス、ブラウン管（ＣＲＴ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プリンタ、真空蛍光ディスプレイ（ＶＦＤ）、表面伝導型電子放出ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）、ウェアラブルデバイス（例えばスマートグラス、ＶＲヘッドセットなど）、および／またはこれらに類するものが含まれる。いくつかのケースによれば、入力デバイスおよび出力デバイスを、（例えばスマートフォン、タブレットまたは他のモバイルデバイスにおける）タッチパネルディスプレイのケースなどのように、結合することができる。

【0028】

図示の実施形態によれば、Ｉ／Ｏインタフェース１３５は、少なくとも１つのディスプレイ１８０およびアイトラッキングデバイス１９０とのインタフェースを行って、プロセッサ１１０がディスプレイ１８０上にデータをレンダリングできるように、また、アイトラッキングデバイス１９０によりセンシングされたデータを受信できるようにする。アイトラッキングデバイス１９０によりセンシングされたデータは、システム１００のユーザの目が目下向けられているディスプレイ１８０上の注視ポジションを表すことができ、プロセッサ１１０によりこのデータを繰り返し（例えば規則的なインターバルで、かつ／または注視ポジションが変化するたびに）受信することができる。１つの実施形態によれば、ディスプレイ１８０およびアイトラッキングデバイス１９０を、コンピュータモニタ、スマートグラス、ＶＲヘッドセットおよび／またはこれらに類するのものなど、単一のデバイスに組み込むことができる。

【0029】

システム１００は、音声ネットワークおよび／またはデータネットワークを介したワイヤレス通信を容易にする任意選択的なワイヤレス通信コンポーネントを含むこともできる。ワイヤレス通信コンポーネントは、アンテナシステム１７０、無線システム１６５およびベースバンドシステム１６０を有する。システム１００において、無線システム１６５の管理のもとでアンテナシステム１７０によって、大気を介して無線周波数（ＲＦ）信号が送信され受信される。

【0030】

１つの実施形態によれば、アンテナシステム１７０は、１つまたは複数のアンテナおよび１つまたは複数のマルチプレクサ（図示せず）を有することができ、これによりスイッチング機能が実施されて、アンテナシステム１７０に送信信号経路と受信信号経路とが提供される。受信経路において、受信されたＲＦ信号をマルチプレクサからローノイズアンプ（図示せず）に供給することができ、このローノイズアンプは、受信したＲＦ信号を増幅し、増幅した信号を無線システム１６５に送信する。

【0031】

１つの択一的な実施形態によれば、無線システム１６５は、様々な周波数を介して通信するように構成された１つまたは複数の無線機を有することができる。１つの実施形態によれば、無線システム１６５は、復調器（図示せず）と変調器（図示せず）とを結合して１つの集積回路（ＩＣ）を成すようにすることができる。これらの復調器および変調器を別個のコンポーネントとすることもできる。到来経路において、復調器はＲＦ搬送波信号を取り除いてベースバンド受信オーディオ信号を残し、この信号が無線システム１６５からベースバンドシステム１６０に送信される。

【0032】

受信信号がオーディオ情報を含むならば、ベースバンドシステム１６０はこの信号を復号し、それをアナログ信号に変換する。次いでこの信号が増幅されてスピーカに送信される。ベースバンドシステム１６０は、マイクロフォンからアナログオーディオ信号も受信する。これらのアナログオーディオ信号はデジタル信号に変換され、ベースバンドシステム１６０によって符号化される。ベースバンドシステム１６０は、送信のためにこれらのデジタル信号をやはり符号化してベースバンド送信オーディオ信号を生成し、この信号は無線システム１６５の変調器部分にルーティングされる。変調器は、ベースバンド送信オーディオ信号をＲＦ搬送波信号と混合してＲＦ送信信号を生成し、この信号はアンテナシステム１７０にルーティングされ、電力増幅器（図示せず）を通過させることができる。電力増幅器はＲＦ送信信号を増幅し、これをアンテナシステム１７０に転送し、そこにおいて信号は送信用アンテナポートにスイッチングされる。

【0033】

ベースバンドシステム１６０は、プロセッサ１１０とも通信可能に結合されている。プロセッサ１１０は、データ記憶領域１１５および１２０へのアクセスを有する。プロセッサ１１０は好ましくは、メインメモリ１１５または２次メモリ１２０に記憶させることのできる命令（すなわち本開示のアプリケーションまたはソフトウェアモジュールなどのコンピュータプログラム）を実行するように構成されている。コンピュータプログラムを、ベースバンドプロセッサ１６０から受信して、メインメモリ１１５または２次メモリ１２０に記憶させることもでき、あるいは受信に応答して実行することもできる。かかるコンピュータプログラムは実行時、本開示の実施形態の様々な機能をシステム１００が実施できるようにする。

【0034】

１．２ アイトラッキングデバイス
上述のように１つの実施形態によれば、システム１００はアイトラッキングデバイス１９０を有する。アイトラッキングデバイス１９０をディスプレイ１８０上に取り付けることができ、またはディスプレイ１８０内に組み込むことができる。１つの実施形態によれば、アイトラッキングデバイス１９０およびディスプレイ１８０を、コンピュータモニタ、スマートグラス、ＶＲヘッドセットおよび／またはこれらに類するのものなど、単一のデバイスに組み込むことができる。択一的に、アイトラッキングデバイス１９０をディスプレイ１８０とは分離することができる。いずれのケースであっても、ディスプレイ１８０に対するユーザ注視を検出するために、アイトラッキングデバイス１９０を取り付けるまたはさもなければポジショニングするのが望ましい。

【0035】

１つの実施形態によれば、アイトラッキングデバイス１９０を、ユーザ注視を追跡するために特化されたものとすることができる。択一的に、アイトラッキングデバイス１９０は、（例えばディスプレイ１８０上に取り付けられたまたはディスプレイ１８０内に組み込まれた）カメラを有することができ、このカメラは、（例えばソーシャルメディア、ウェブカム、ビデオ会議などのために）システム１００のユーザの写真またはビデオをキャプチャするなど、もっと普通の撮像のためにも用いられるものである。

【0036】

アイトラッキングデバイス１９０は、任意のコンシューマグレードの大量生産された既製のアイトラッカを有することができる。１つの非限定的な例は、スウェーデンに本社があるＴｏｂｉｉ Ｇｒｏｕｐ（商標）から販売されているＴｏｂｉｉ Ｅｙｅ Ｔｒａｃｋｅｒ ４Ｃ（商標）または他の製品である。かかるアイトラッカは、ゲームアプリケーションのために最も人気があり、この場合、アイトラッキングデバイスは、目下のユーザ注視ロケーションをディスプレイに表示する。これによってユーザは、ディスプレイ上のある１つの物体に注目して、その物体に対するアクションを実施するために（例えばその物体を選択または撃つために）ボタンまたはキーを押すことができるようになる。かかるアイトラッカを、手によるインタラクションを伴わずにゲーム内を進んでいくために（例えば種々の方向に移動するために）使用することもできる。

【0037】

かかるアイトラッキングデバイスのために、ソフトウェアデベロップメントキット（ＳＤＫ）を入手することもできる。これらのＳＤＫによって開発者は、ディスプレイ上のユーザ注視ポイント、ディスプレイとユーザの目各々との間の距離およびユーザ頭部のポジションまたは向きを動的に検出するために、アイトラッキングデバイスの出力を利用するソフトウェアを開発できるようになる。ユーザにより実施される注視の「ジェスチャ」を識別し、識別されたそれらのジェスチャに応答するために、ソフトウェアによってかかる情報を解釈することができる。これらのことに加え、いくつかのオペレーティングシステム（例えばＷｉｎｄｏｗｓ（商標）１０）は、組み込み型のアイトラッキングソフトウェアを有しており、このソフトウェアは、物理的なマウスまたはキーボードを操作する必要なくマウスおよびキーボードの機能を使用できるよう、障害のあるユーザを支援する。ただし、デジタルパソロジーにおいてデジタルスライド画像を閲覧するために、同様の機能はこれまで提供されていなかった。

【0038】

２ プロセス概観
次に、デジタルスライド画像を調査するためにアイトラッキングデバイス１９０を使用するためのプロセスの実施形態について、詳しく説明する。自明のとおり、ここで説明するプロセスを、１つまたは複数のハードウェアプロセッサ（例えばプロセッサ１１０）によって実行される１つまたは複数のソフトウェアモジュールにおいて、具現化することができる。ここで説明するプロセスを、ソースコード、オブジェクトコードおよび／または機械コードで表現された命令として、実装することができる。これらの命令を、ハードウェアプロセッサ１１０によってそのまま実行することができ、または択一的に、オブジェクトコードとハードウェアプロセッサ１１０との間で動作する仮想マシンによって、実行することができる。

【0039】

択一的に、ここで説明するプロセスを、１つのハードウェアコンポーネント（例えば汎用プロセッサ、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のプログラマブルロジックデバイス、ディスクレートゲートロジックまたはディスクレートトランジスタロジックなど）、複数のハードウェアコンポーネントの組み合わせ、あるいはハードウェアコンポーネントとソフトウェアコンポーネントとの組み合わせとして、実装することができる。ハードウェアとソフトウェアとの可換性を明確に示すために、様々な例示的なコンポーネント、ブロック、モジュール、回路およびステップについて、本明細書では概してそれらの機能の見地から説明する。かかる機能がハードウェアとして実装されるのかソフトウェアとして実装されるのかは、特定の用途およびシステム全体に課される設計制約に依存する。当業者であれば、ここで説明する機能を特定の用途ごとに様々な手法で実装することができるけれども、そのような実装の判断を、本発明の範囲からの逸脱をもたらすものとして解釈すべきではない。これらのことに加え、１つのコンポーネント、ブロック、モジュール、回路またはステップの中での複数の機能のグループ分けは、説明しやすくするためである。本発明の範囲から逸脱することなく、特定の機能またはステップを、１つのコンポーネント、ブロック、モジュール、回路またはステップから他のものへと移すことができる。

【0040】

図２の例示的なディスプレイ１８０を参照しながら、複数のプロセスについて説明する。図２には、デジタルスライド画像のサムネイル画像２１０およびデジタルスライド画像のマクロビュー２２０とともに、１つの実施形態による例示的なディスプレイ１８０が示されている。デジタルスライド画像全体の小さい低解像度バージョンであるサムネイル画像２１０は、マクロビュー２２０内においていっそう高い倍率で目下閲覧されている着目対象領域をハイライトするフレーム２１５を有する。図示されている実施形態の場合、サムネイル画像２１０は、マクロビュー２２０上に重ねられている。ただし択一的な実施形態によれば、サムネイル画像２１０を、マクロビュー２２０の側方にポジショニングすることができ、またはまったく省くことができる。

【0041】

ディスプレイ１８０におけるグラフィカルユーザインタフェースは、図２に示されているもの以外にも付加的な領域およびコンポーネントを有することができる。例えばディスプレイ１８０は、着目対象領域および／または着目対象領域周囲の領域を中間の倍率で示す中間ビューを有することもでき、この倍率はサムネイル画像２１０の倍率よりも高いけれども、マクロビュー２２０の倍率よりは低い。これに加えてグラフィカルユーザインタフェースは、（例えば物体を識別および／または計数するなどといったデジタルスライド画像の内容の解析のための）画像処理ツールおよび／またはこれに類するものを使用して、ビューを管理するための入力（例えばズームインまたはズームアウト、左右上下へのパニングおよび／または対角線に沿ったパニング、ユーザの好みに合わせたビューのカスタマイズなど）を有することができる。

【0042】

２．１ パニング
図３Ａおよび図３Ｂには、アイトラッキングデバイス１９０の出力を用いてデジタルスライド画像をパンするための、複数の実施形態による例示的な処理が示されている。プロセス３００Ａおよび３００Ｂ各々がステップの特定の配置および順序で示されているけれども、各プロセス３００Ａおよび３００Ｂを、これよりも少ない、これよりも多い、または異なるステップで、ならびにステップの異なる配置および／または順序で、実装してもよい。これに加え、プロセス３００Ａおよび３００Ｂの双方を、ユーザにより双方ともに使用可能な一対の択一的な機能として、同じシステム１００において実装してもよい。択一的に、プロセス３００Ａおよび３００Ｂのうちの一方だけを、任意の特定のシステム１００において実装してもよい。いずれのケースにせよ、プロセス３００Ａおよび３００Ｂを１つまたは複数のプロセッサ１１０によって実行することができる。

【0043】

プロセス３００Ａによれば、ディスプレイ１８０上におけるユーザ注視ポジションが、ステップ３０５Ａにおいてアイトラッキングデバイス１９０を用いて繰り返し検出される。特にプロセッサ１１０は、定期的なタイムインターバルで（例えばｍｓのオーダで）、かつ／またはアイトラッキングデバイス１９０がユーザ注視の変化を検出するたびに、アイトラッキングデバイス１９０の出力を繰り返し受信することができる。プロセッサ１１０がこの出力をアイトラッキングデバイス１９０から受信するたびに、プロセッサ１１０は、受信した出力に基づきディスプレイ１８０に関してユーザ注視ポジションを特定することができる。

【0044】

ステップ３１０において、プロセッサ１１０は、ステップ３０５Ａにおいて検出されたユーザ注視ポジションを、ディスプレイ１８０上に目下表示されているグラフィカルユーザインタフェース内のポジションと相関させる。サムネイル画像２１０を使用する実施形態の場合、プロセッサ１１０はステップ３１０において、目下のグラフィカルユーザインタフェース内のユーザ注視ポジションが、サムネイル画像２１０内にあるのかまたはマクロビュー２２０内にあるのか、を判定する。ユーザ注視ポジションがマクロビュー２２０内にあるならば（すなわちステップ３１０における「マクロビュー」）、プロセス３００Ａはステップ３１５に進む。そうではなく、ユーザ注視ポジションがサムネイル画像２１０内にあるならば（すなわちステップ３１０における「サムネイル」）、プロセス３００Ａはステップ３３０に進む。グラフィカルユーザインタフェースが２つ以上のサムネイル画像２１０およびマクロビュー２２０を有する実施形態の場合、ユーザ注視ポジションが、サムネイル画像２１０およびマクロビュー２２０の双方の外側にある可能性もある。このケースでは（すなわちステップ３１０における「どちらでもない」）、プロセス３００Ａはステップ３０５Ａに戻る。

【0045】

ステップ３１５において、プロセッサ１１０は、ステップ３０５Ａにおいて検出された目下のユーザ注視ポジションが以前のユーザ注視ポジションから変化したか否か、を判定する。例えばプロセッサ１１０は、１つまたは複数の過去のユーザ注視ポジションをメモリ（例えばメインメモリ１１５または２次メモリ１２０）に記憶させて、目下のユーザ注視ポジションを最新の過去のユーザ注視ポジションと比較して、目下のポジションが最新の過去のポジションとは異なるか否か、を特定することができる。これに加えプロセッサ１１０は、目下のポジションと過去のポジションとの間の距離を計算し、この距離が閾値よりも大きいか否かを判定することができる。閾値をゼロでない距離値とすることができ、または１つの実装形態によれば単にゼロとすることができる。閾値がゼロであるならば、プロセッサ１１０は単に、目下のポジションが過去のポジションとは異なっているか否かを判定するだけでよい。いずれのケースにせよ、ポジションの変化が閾値を超えたならば（すなわちステップ３１５における「イエス」）、プロセス３００Ａはステップ３２０に進む。そうではなく、ポジションの変化が閾値を超えていなければ（すなわちステップ３１５における「ノー」）、プロセス３００Ａはステップ３０５Ａに戻る。換言すれば、ユーザ注視が予め定められた閾値よりも大きい距離値だけ動くまでは、パニングが発生しないことになり、ユーザ注視が予め定められた閾値よりも大きい距離だけ動くときはいつでも、パニングが発生することになる。予め定められた閾値がゼロである場合には、ユーザ注視が動くたびにパニングが発生することになる。

【0046】

ステップ３１５の択一的な実施形態によれば、プロセッサ１１０は、目下のユーザ注視ポジションがマクロビュー２２０内の領域２２５の外側にあるか否か、を判定することができる。領域２２５は、マクロビュー２２０の中央部の周囲においてマクロビュー２２０の領域全体よりも狭い領域を取り囲んでいる。自明のとおり、領域２２５のポジションは、マクロビュー２２０内でパニングが発生したとしても領域２２５のポジションが決して変化しないよう、ディスプレイ１８０に対して固定されている。ここでは長方形として示されているけれども、領域２２５をそうではなく正方形、（例えば半径で定義される）円形、または他の形状とすることができる。ステップ３０５Ａにおいて検出されたユーザ注視ポジションが領域２２５内にあるならば、（例えばステップ３１５における「ノー」と同様に）プロセス３００Ａはステップ３０５Ａに戻ることができる。そうではなく、ステップ３０５Ａにおいて検出されたユーザ注視ポジションが領域２２５の外側にあるならば、（例えばステップ３１５における「イエス」と同様に）プロセス３００Ａはステップ３２０に進むことができる。換言すれば、ユーザ注視が領域２２５内に留まっているかぎりは、パニングが発生することはなく、ユーザ注視が領域２２５の外側に移動するたびに、パニングが発生することになる。

【0047】

ステップ３２０において、プロセッサ１１０は、ディスプレイ１８０上の目下のユーザ注視ポジションを、マクロビュー２２０に目下表示されているデジタルスライド画像の一部分におけるポジションと相関させる。例えばプロセッサ１１０は、ディスプレイ１８０上の目下のユーザ注視ポジションを、グラフィカルユーザインタフェース内のマクロビュー２２０上のポジションと相関させることができ、次いでマクロビュー２２０上のこのポジションを、下に位置するデジタルスライド画像上のポジションと相関させることができる。

【0048】

ステップ３２５において、プロセッサ１１０は、下に位置するデジタルスライド画像をパンして、マクロビュー２２０内において、ステップ３２０において特定されたデジタルスライド画像上のポジションをセンタリングする。換言すれば、ステップ３２０において特定されマクロビュー２２０内でセンタリングされたポジションを有するデジタルスライド画像の着目対象領域から成るように、マクロビュー２２０が更新される。マクロビュー２２０の更新において、プロセッサ１１０は、デジタルスライド画像を自動的かつ仮想的に「スライドさせて」、マクロビュー２２０内の新たなポジションにセンタリングし直すことができる。かくしてユーザは、ステップ３２０において特定されたデジタルスライド画像上のポジションが、マクロビュー２２０の中央部に移動させられると、パンされたデジタルスライド画像を閲覧することができる。１つの実施形態によれば、パニングの速度を、新たなポジションと、以前にマクロビュー２２０内でセンタリングされていたデジタルスライド画像上のかつてのポジションと、の間の距離（すなわちパンに必要とされる距離）の関数とすることができる。例えば、ステップ３２５においてパニングを実施するたびに、プロセッサ１１０はこのパニング距離を計算することができ、マクロビュー２２０内のデジタルスライド画像を、いっそう長い距離についてはいっそう速い速度で、いっそう短い距離についてはいっそう遅い速度で、パンすることができる。マクロビュー２２０が新たなポジションにセンタリングされなおされたならば、プロセス３００Ａはステップ３０５Ａに戻る。

【0049】

ステップ３３０において、プロセッサ１１０は、ディスプレイ１８０上の目下のユーザ注視ポジションを、サムネイル画像２１０上のポジションと相関させる。これに加えプロセッサ１１０は、サムネイル画像２１０上のポジションを、マクロビュー２２０において閲覧されている下に位置するデジタルスライド画像上のポジションと相関させる。

【0050】

ステップ３３５において、プロセッサ１１０は、下に位置するデジタルスライド画像をパンして、マクロビュー２２０内において、ステップ３３０において特定されたデジタルスライド画像上のポジションをセンタリングする。換言すれば、ユーザは、着目対象領域を選択するためにサムネイル画像２１０上のポジションを注視することができ、プロセッサ１１０は、ユーザがいっそう高い倍率で着目対象領域を閲覧することができるよう、その着目対象領域上にマクロビュー２２０を自動的にセンタリングすることができる。ステップ３３５を、上述のステップ３２５と同じものまたは類似したものとすることができる。マクロビュー２２０が新たなポジションにセンタリングされなおされたならば、プロセス３００Ａはステップ３０５Ａに戻る。自明のとおり、このようにして新たな着目対象領域が選択されるたびに、プロセッサ１１０は、サムネイル画像２１０内の新たな着目対象領域をハイライトするために、フレーム２１５を更新する。

【0051】

プロセス３００Ｂによれば、ディスプレイ１８０上におけるユーザ注視ポジションが、ステップ３０５Ｂにおいてアイトラッキングデバイス１９０を用いて繰り返し検出される。ステップ３０５Ｂを、上述のステップ３０５Ａと同じものまたは類似したものとすることができる。ユーザ注視に加え、ステップ３０５Ｂにおいて、ユーザ頭部の向きも検出することができる。例えばユーザ頭部の向きを、ディスプレイ１８０上のユーザ注視ポジションによって、または他の手段（例えばユーザ頭部における物体認識）によって、特定されたユーザ注視方向に基づき、特定することができる。どのように検出されたかにかかわらず、プロセッサ１１０は、ユーザ頭部の目下の向きを、かつての１つまたは複数のユーザ頭部の向きと比較して、頭部に基づくジェスチャ（例えば上に傾ける運動、下に傾ける運動、点頭、頭部を振るなど）を識別することができる。

【0052】

ステップ３５０において、プロセッサ１１０は、予め定められた開始ジェスチャが検出されたか否か、を判定する。予め定められた開始ジェスチャは、デジタルスライド画像を横断するパンを開始させるために予め定義された頭部ジェスチャを有することができる。一例として開始ジェスチャを、点頭（例えば頭部を下げる運動、頭部を上げる運動、あるいは少なくとも予め定義された回数または予め定義された期間にわたり頭部を上げ下げする運動）とすることができる。ただし他の開始ジェスチャも同様に考えられる（例えば左右に頭部を振る）。使用される特定の開始ジェスチャにかかわらず、開始ジェスチャが検出されたならば（すなわちステップ３５０における「イエス」）、プロセス３００Ｂはステップ３５５に進み、このステップにおいて、目下のユーザ注視ポジションに向かう方向でパニングを開始させる指示として、開始ジェスチャの検出が用いられる。そうではなく、特定の開始ジェスチャが検出されなければ（すなわちステップ３５０における「ノー」）、プロセス３００Ｂはステップ３５０Ｂに戻る。

【0053】

ステップ３５５において、プロセッサ１１０は、マクロビュー２２０の中央部からディスプレイ１８０上の目下のユーザ注視ポジションに至る方向を特定する。次いでステップ３６０において、プロセッサ１１０は、ステップ３５５において特定された方向に従い、マクロビュー２２０内のデジタルスライド画像のパニングを開始させる。例えば、目下のユーザ注視ポジションがマクロビュー２２０の中央部右側に向かっていると特定されたならば、プロセッサ１１０は、目下のユーザ注視ポジションをマクロビュー２２０の中央部に向かって移動させるために、マクロビュー２２０内のデジタルスライド画像を反対方向へ（すなわち左側へ）ずらし始める。

【0054】

ステップ３６５において、プロセッサ１１０は、予め定められた停止ジェスチャが検出されたか否か、を判定する。予め定められた停止ジェスチャは、デジタルスライド画像を横断するパンを停止させるために予め定義された頭部ジェスチャを有することができる。１つの実施形態によれば、停止ジェスチャを、ステップ３５０において検出された開始ジェスチャ（例えば点頭）と同じものとすることができる。択一的に、停止ジェスチャを、開始ジェスチャとは異なるものとすることができる。停止ジェスチャが検出されたならば（すなわちステップ３６５における「イエス」）、プロセス３００Ｂはステップ３７０に進む。そうではなく、特定の開始ジェスチャが検出されなければ（すなわちステップ３６５における「ノー」）、プロセス３００Ｂはステップ３５５に戻る。

【0055】

１つの実施形態によれば、プロセッサ１１０は、ステップ３０５Ｂの場合と同じ手法で、ステップ３５５～３６５を通して、ディスプレイ１８０上の目下のユーザ注視ポジションの監視を続けることができる。これに加えプロセッサ１１０は、目下のユーザ注視ポジションが変化すると、ステップ３５５および３６０においてパニングの方向を継続的に更新することができる。したがってユーザは、任意の方向にパンすることができ、自身の注視ポジションを変化させることによって、パニングの方向をリアルタイムに変化させることができる。例えば、当初のユーザ注視ポジションがマクロビュー２２０の中央部右側に向かっていると特定されたならば、プロセッサ１１０は、ユーザ注視ポジションの目下の位置をマクロビュー２２０の中央部に向かって移動させるために、マクロビュー２２０内のデジタルスライド画像を反対方向へ（すなわち左側へ）ずらし始めることができる。続いてユーザが、今度はユーザ注視ポジションがマクロビュー２２０の中央部を通る対角軸線に沿って上方でマクロビュー２２０の中央部の右側になるように、自身の注視をマクロビュー２２０内で上に向かって移動させたならば、プロセッサ１１０は注視ポジションにおけるこの変化を検出し、これに応答して、目下のユーザ注視ポジションがマクロビュー２２０の中央部に向かって移動するように、対角軸線に沿って反対方向においてマクロビュー２２０内でデジタルスライド画像をずらし始めることができる。自明のとおり、ステップ３６５において停止ジェスチャが検出されるまで、パニングを継続的に続けることでき、任意の回数の方向変化を有することができる。

【0056】

ステップ３６５における停止ジェスチャの検出に応答して、プロセッサ１１０はステップ３７０において、マクロビュー２２０内のパニングプロセスを停止させる。換言すれば、デジタルスライド画像はマクロビュー２２０内のスクロールを停止させ、マクロビュー２２０は静止状態に戻る。その後、プロセス３００Ｂはステップ３０５Ｂに戻る。有利にはプロセス３００Ｂは、（例えばユーザが一時的に自身の注視を領域２２５の外側のポジションに、そのポジションにパンする意図なくずらしたときなどに）プロセス３００Ａであれば発生する可能性のある不所望なパニングを、排除または低減することができる。

【0057】

２．２ ズーミングおよびその他の機能
図４Ａ～図４Ｃには、ズーミングなどの画像閲覧機能を実施するための、複数の実施形態による例示的なプロセスが示されている。プロセス４００および４５０各々がステップの特定の配置および順序で示されているけれども、各プロセス４００および４５０を、これよりも少ない、これよりも多い、または異なるステップで、ならびにステップの異なる配置および／または順序で、実装してもよい。プロセス４００および４５０を、１つまたは複数のプロセッサ１１０によって実行することができる。

【0058】

プロセス４００によれば、ディスプレイ１８０上におけるユーザ注視ポジションが、ステップ４０５においてアイトラッキングデバイス１９０を用いて繰り返し検出される。ステップ４０５を、それぞれ図３Ａおよび図３Ｂを参照しながら説明したステップ３０５Ａおよび３０５Ｂと同じものまたは類似したものとすることができる。

【0059】

ステップ４１０において、プロセッサ１１０は、ステップ４０５において検出された目下のユーザ注視ポジションが、ディスプレイ１８０上に目下表示されているグラフィカルユーザインタフェース内の１つの入力のポジションと一致しているか否か、を判定する。例えばプロセッサ１１０は、ディスプレイ１８０上のユーザ注視ポジションをグラフィカルユーザインタフェース上のポジションと相関させることができ、次いで、グラフィカルユーザインタフェース上のそのポジションが、グラフィカルユーザインタフェース内における入力（例えばアイコン、ボタンなど）の境界内にあるか否か、を判定することができる。目下のユーザ注視ポジションが入力と一致しているならば（すなわちステップ４１０における「イエス」）、プロセス４００はステップ４２０に進む。そうではなく、目下のユーザ注視ポジションが入力と一致していないならば（すなわちステップ４１０における「ノー」）、プロセス４００はステップ４３０に進む。

【0060】

ステップ４２０において、プロセッサ１１０は、目下のユーザ注視ポジションと一致している入力を識別し、その特定の入力のためのプロセス４５０（例えば実施形態に依存して、または入力に依存して、プロセス４５０Ａまたは４５０Ｂのいずれか）を開始させる。例えば入力は、マクロビュー２２０の倍率を変更するためのズームボタンを有することができる。択一的に入力は、別のバイナリ機能（例えばマクロビュー２２０の輝度の変更）または非バイナリ機能を実施するための入力を有することができる。

【0061】

ステップ４３０において、プロセッサ１１０は、ステップ４２０において特定の入力のために以前に開始させられていた何らかのプロセス４５０を停止させる。目下いかなるプロセス４５０も入力のために実行されていなければ、ステップ４３０は省かれる。いずれのケースでも、プロセス４００はステップ４０５に戻る。

【0062】

プロセス４５０Ａによれば、プロセッサ１１０はステップ４５５Ａにおいて、アイトラッキングデバイス１９０を用いて検出されたユーザ注視に基づき、目下のユーザ頭部の向きを検出する。例えば、ユーザ頭部の向きは、上への傾き、下への傾き、横への傾き、および／またはこれらに類することを有することができる。

【0063】

ステップ４６０において、プロセッサ１１０は、目下のユーザ頭部の向きが第１の向きとマッチしているか否か、を判定する。例えば、第１の向きを下への傾きとすることができる。目下の向きが第１の向きとマッチしているならば（すなわちステップ４６０における「イエス」）、プロセス４５０Ａはステップ４６５に進む。ステップ４６５において、プロセッサ１１０は、第１の向きに関連付けられた第１の機能を開始させる。例えば、入力と第１の向きと第１の機能との間の関係を、システム１００内のメモリに（例えばメインメモリ１１５または２次メモリ１２０内のテーブルに）記憶させることができる。他方、目下の向きが第１の向きとマッチしていないならば（すなわちステップ４６０における「ノー」）、プロセス４５０Ａはステップ４７０に進む。

【0064】

ステップ４７０において、プロセッサ１１０は、目下のユーザ頭部の向きが第２の向きとマッチしているか否か、を判定する。例えば、第２の向きを上への傾きとすることができる。目下の向きが第２の向きとマッチしているならば（すなわちステップ４７０における「イエス」）、プロセス４５０Ａはステップ４７５に進む。ステップ４７５において、プロセッサ１１０は、第２の向きに関連付けられた第２の機能を開始させる。例えば、入力と第２の向きと第２の機能との間の関係を、システム１００内のメモリに（例えばメインメモリ１１５または２次メモリ１２０内のテーブルに）記憶させることができる。他方、目下の向きが第２の向きとマッチしていないならば（すなわちステップ４７０における「ノー」）、プロセス４５０Ａはステップ４８０に進む。

【0065】

ステップ４８０Ａにおいて、プロセッサ１１０は、ステップ４６５またはステップ４７５において開始させられていた何らかの機能を停止させ、ステップ４５５Ａに戻る。自明のとおり、さらなる向きを任意の所定の入力のために定義することができ、さらなる機能をそれらの向きおよびその入力に関連付けることができる。例えば、ステップ４６０および４６５またはステップ４７０および４７５を、第３の機能に関連付けられた第３の向き（例えば左への傾き）のために、第４の機能に関連付けられた第４の向き（例えば右への傾き）のために、といったように複製することができる。

【0066】

プロセス４５０Ａの具体的な例として、第１の向きは、ユーザ頭部の下への傾きを有することができ、第１の機能は、ズームアウト（すなわちマクロビュー２２０の倍率の低減）を有することができ、第２の向きは、ユーザ頭部の上への傾きを有することができ、第２の機能は、ズームイン（すなわちマクロビュー２２０の倍率の増加）を有することができる。したがってユーザは、グラフィカルユーザインタフェース内のズーム入力を注視し、そのズーム入力を注視している間に、自身の頭部を下に傾けてマクロビュー２２０の倍率を低減させるか、または自身の頭部を上に傾けてマクロビュー２２０の倍率を増加させることができる。自明のとおり、択一的な実施形態において、第１の機能がズームインを有することができ、第２の機能がズームアウトを有することができる。いずれのケースでも、ユーザは、単に自身の頭部の傾きをなくすか、またはズーム入力の外側を注視することによって、ズーム機能を停止させることができる。

【0067】

１つの実施形態によれば、プロセッサ１１０は、機能が実施される際の速度を、ユーザ頭部の向きの角度の度合いに基づき決定することができる。上述のズームの例を用いると、いっそう大きく下に傾けることによって、それよりも小さく下に傾けたときよりも結果としてプロセッサ１１０が速くズームアウトを行うようにすることができ、いっそう大きく上に傾けることによって、それよりも小さく上に傾けたときよりも結果としてプロセッサ１１０が速くズームインを行うようにすることができる。

【0068】

１つの実施形態によれば、少なくとも１つの入力を、ただ１つの可能な機能だけに関連付けることができる。例えばグラフィカルユーザインタフェースは、マクロビュー２２０内におけるズームインおよびズームアウトのための別個の入力、マクロビュー２２０内における左、右、上または下へのパニングのための別個の入力、および／またはこれらに類するものを有することができる。このケースではプロセス４５０Ｂを、プロセス４５０Ａの代わりに入力のために用いることができる。

【0069】

プロセス４５０Ｂによれば、プロセッサ１１０はステップ４５５Ｂにおいて、アイトラッキングデバイス１９０を用いて検出されたユーザ注視に基づき、目下のユーザ頭部の向きを検出する。ステップ４５５Ｂを、ステップ４５５Ａと同じものまたは類似したものとすることができる。これに加えプロセッサ１１０は、目下のユーザ頭部の向きを、かつての１つまたは複数のユーザ頭部の向きと比較して、頭部に基づくジェスチャ（例えば上に傾ける、下に傾ける、点頭、頭部を振るなど）を識別することができる。

【0070】

ステップ４９０において、プロセッサ１１０は、プロセス４００のステップ４１０において識別された入力をユーザ注視が注視している間に、予め定められたジェスチャが検出されたか否か、を判定する。予め定められたジェスチャは、この入力のために、または一般的にはすべての入力のために、予め定められた頭部ジェスチャを有することができる。一例としてジェスチャを、点頭（例えば頭部を下げる運動、頭部を上げる運動、あるいは少なくとも予め定義された回数または予め定義された期間にわたり頭部を上げ下げする運動）とすることができる。ただし他のジェスチャも同様に考えられる（例えば頭部を振る）。用いられる特定のジェスチャにかかわらず、ジェスチャが検出されたならば（すなわちステップ４９０における「イエス」）、プロセス４５０Ｂはステップ４９５に進む。ステップ４９５において、プロセッサ１１０は、入力に関連付けられた機能を開始させる。他方、特定のジェスチャが検出されなければ（すなわちステップ４９０における「ノー」）、プロセス４５０Ｂはステップ４８０Ｂに進む。

【0071】

ステップ４８０Ｂにおいて、プロセッサ１１０は、ステップ４９５において開始させられていた何らかの機能を停止させ、ステップ４５５Ｂに戻る。ステップ４８０Ｂを、ステップ４８０Ａと同じものまたは類似したものとすることができる。

【0072】

プロセス４５０Ｂの１つの具体的な例として、入力を、ズームイン、ズームアウト、またはプリセット倍率レベルの選択の機能に関連付けられたボタンとすることができ、ジェスチャを点頭とすることができる。したがってユーザは、グラフィカルユーザインタフェース内のボタンを注視し、そのボタンを注視している間に、自身の頭部を縦に振って、そのボタンに関連付けられた機能を実施することができる。機能がズームインであるならば、プロセッサ１１０は、ユーザが点頭を続けているかぎり、マクロビュー２２０の倍率を増加させることができ、ユーザが点頭を止めるとただちにズームインを停止させることができる。機能がズームアウトであるならば、プロセッサ１１０は、ユーザが点頭を続けているかぎり、マクロビュー２２０の倍率を低減させることができ、ユーザが点頭を止めるとただちにズームアウトを停止させることができる。機能がプリセット倍率レベルの選択であるならば、プロセッサ１１０は、点頭が検出されるとただちに、マクロビュー２２０の倍率をプリセット倍率レベルに変化させることができる一方、さらに点頭としても付加的な作用をもたらすことはできない。

【0073】

２．３ ジェスチャ
本明細書で説明する複数のプロセスは、アイトラッキングデバイス１９０により検出されるようなユーザの目の注視に基づくジェスチャ検出を利用する。複数のジェスチャを、アイトラッキングデバイス１９０から得られる複数の出力の独立した組み合わせとして定義することができる。アイトラッキングデバイス１９０を、３つの軸に沿った頭部の向きの変化（例えば上および下への傾き、左および右への傾き、ならびに左回転および右回転）を検出および出力するように構成することができる。注目すべきことに、人間は、これら３つの角度とは無関係に、１つのデジタルスライド画像中の同じポイントに目を向けることができる。したがってアイトラッキングデバイス１９０を、ユーザ注視ポジションとは無関係に頭部の向きの変化を検出および出力できるものとすることができる。１つの実施形態によれば、各ジェスチャは、２つ以上の単純で自然な運動から成るシーケンス（例えば上への傾き、下への傾き、左への傾き、右への傾き、左回転、右回転など）を有し、これは他のジェスチャを定義するシーケンスと紛らわしいほどには似ていない。換言すれば、容易に見分けられる複数の基本運動から選択された、基本運動から成る複数のユニークなシーケンスを定義することができ、この場合、ユニークなシーケンス各々によって１つの異なるジェスチャが表現される。

【0074】

２．４ 他の入力デバイス
自明のとおり、本明細書で説明したアイトラッキング機能を、他の入力手段を排除して使用してもよいし、他の入力手段と併せて使用してもよい。アイトラッキング機能を他の入力手段と併せて使用する１つの実施形態の場合、アイトラッキング機能によって、マウスおよびキーボードなど手動操作型入力デバイスを介した慣用の入力に対する代替が提供される。例えば、アイトラッキングデバイス１９０およびそれに関連付けられた機能を使用することに加えて、ユーザは、ズームインおよびズームアウトのためにキーボードショートカットおよび／またはマウスホイールを使用することもできる。

【0075】

かくしてユーザは、キーボードショットカットを押すかまたはマウスホイールをスクロールしている間、ディスプレイ１８０上の特定のポイントを注視して、その特定のポイントへのズームインまたはそこからのズームアウトを行うことができる。このケースではプロセッサ１１０は、アイトラッキングデバイス１９０からの出力に基づき、注視ポイントのロケーションを検出することができ、かつキーボードまたはマウスからの出力に基づき、デジタルスライド画像の倍率をどのくらい増加または低減させるのかを検出することができる。このような手法で、ユーザは、手動操作型入力デバイスのいくつかの機能（例えばズーミングのための中央ポイントへと進む、この中央ポイントを選択する）を置き換えるために、アイトラッキングデバイス１９０を使用するが、ただし手動操作型入力デバイスの機能（例えばズーミング）のすべてを置き換えるわけではない。

【0076】

したがって個々のユーザ各々は、本開示の実施形態により実装されるアイトラッキング機能をどのくらい使用するのかまたはどのくらい使用しないのか、を決定することができる。これによってユーザは、アイトラッキング機能の自身の使用法を自身の固有の要求および快適さのレベルに合わせて適合させることができるようになる。

【0077】

２．５ 解析
１つの実施形態によれば、プロセッサ１１０および／または外部システム（例えばリモートサーバ）は、各ユーザ（例えば病理学者）が各デジタルスライド画像をどのようにして調査するのかに関する統計を、収集および記憶することができる。例えば各システム１００は、アイトラッキングデバイス１９０から取得された注視データを収集および記憶することができ、集約のためにこの注視データを１つまたは複数のネットワークを介してリモートサーバに周期的に送信することができる。次いでリモートサーバは、このリモートサーバの少なくとも１つのプロセッサを使用して、複数のシステム１００から収集されて集約された注視データを解析することができる。

【0078】

注視データは、各病理学者によって閲覧されたデジタルスライド画像の領域、領域ごとの滞在時間（すなわち各病理学者がどのくらいの期間にわたりその領域を閲覧したのか）、各病理学者が領域を閲覧した順序、および／またはこれらに類するものを有することができる。１つの実施形態によれば、集約された注視データを使用して、病理学者がデジタルスライド画像をどのように閲覧するのかまたはどのように「解析する」のかを理解するように、１つまたは複数の機械学習アルゴリズムをトレーニングすることができる。次いでトレーニング済みのそれらの機械学習アルゴリズムを、予測的閲覧など他の用途のために用いることができる。予測的閲覧は、閲覧されているデジタルスライド画像の目下の領域、および／または病理学者により閲覧されたデジタルスライド画像の過去の領域に基づき、その病理学者が次に閲覧したいデジタルスライド画像の領域を予測すること、を有することができる。その後、画像閲覧アプリケーションはこの情報を使用して、予測された次の閲覧領域を自動的に取り出し、かつ／またはメモリにロードすることができ（例えばより高速な取り出しのために、予測された次の領域に関する画像データを２次メモリ１２０からメインメモリ１１５にロードする）、デジタルスライド画像のビュー（例えばマクロビュー２２０）を予測された次の閲覧領域に自動的にパンすることができ、かつ／またはこれらに類することを行うことができる。

【0079】

本開示の実施形態により実現可能な予測的閲覧のための機械学習アルゴリズムを、デジタルスライド画像を閲覧するためのジェスチャの使用に取って代わるものとすることができる。機械学習アルゴリズムを、デジタルスライド画像の閲覧中にユーザの意図を予測できるように、個々のユーザの閲覧習慣に基づきトレーニングすることができる。例えばトレーニングデータセットは、ユーザのアイトラッキングデータの履歴を有することができ、これにはユーザ注視ポジションおよび／または頭部の向きが、これらのポジションおよび／または頭部の向きで閲覧されていたピクセルデータとともに含まれる。この場合であれば機械学習アルゴリズムを、ユーザの閲覧習慣をモデリングし、デジタルスライド画像において次にどこにパンおよびズームするのかを予測するように、このデータセットに基づきトレーニングすることができる。かくしてトレーニング済みの機械学習アルゴリズムは、プロセス３００、４００および４５０のために必要とされることに取って代わるよう、ディスプレイを駆動してユーザの閲覧経験を管理することができる。例えば、ユーザにより閲覧されたデジタルスライド画像の過去の部分に基づき、トレーニング済みの機械学習アルゴリズムは、閲覧されるべきデジタルスライド画像の次の部分をリアルタイムに予測することができ、プロセッサ１１０は、（例えば何らかの意識的なジェスチャを伴わずに）上述の次の部分に自動的にパンすることができる。択一的にプロセッサ１１０は、閲覧されるべきデジタルスライド画像の次の部分を提案することができ、ユーザはその提案を承諾することができ、このケースであるならばプロセッサ１１０は上述の次の部分にパンすることになり、または提案を拒否することができ、このケースであるならばプロセッサ１１０は上述の次の部分にパンすることにはならない。

【0080】

本開示の実施形態のこれまでの説明は、いかなる当業者であっても本発明を実施または使用できるようにするためになされたものである。これらの実施形態に対する様々な変形は、当業者にはたやすく理解されるであろうし、本明細書で説明した一般的な原理を、本発明の着想または範囲から逸脱することなく他の実施形態に適用することができる。よって、本明細書で呈示した説明および図面は、現時点で好ましいとされた本発明の実施形態を表しており、したがって本発明により広範に目論まれている保護対象を代表するものである、という点を理解されたい。さらに自明のとおり、本発明の範囲は、当業者に明らかになり得る他の実施形態を完全に包含しており、したがって本発明の範囲は限定されていない。

【0081】

「Ａ、ＢまたはＣのうちの少なくとも１つ」、「Ａ、ＢまたはＣのうちの１つまたは複数」、「Ａ、ＢおよびＣのうちの少なくとも１つ」、「Ａ、ＢおよびＣのうちの１つまたは複数」、ならびに「Ａ、Ｂ、Ｃまたはそれらの任意の組み合わせ」といった本明細書で説明した組み合わせは、Ａ、Ｂおよび／またはＣの任意の組み合わせを含むものであり、かつ複数のＡ、複数のＢまたは複数のＣを含むことができる。特に、「Ａ、ＢまたはＣのうちの少なくとも１つ」、「Ａ、ＢまたはＣのうちの１つまたは複数」、「Ａ、ＢおよびＣのうちの少なくとも１つ」、「Ａ、ＢおよびＣのうちの１つまたは複数」、ならびに「Ａ、Ｂ、Ｃまたはそれらの任意の組み合わせ」といった組み合わせを、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、またはＡおよびＢおよびＣとすることができ、任意のかかる組み合わせは、その構成要素Ａ、Ｂおよび／またはＣのうちの１つまたは複数の要素を含むことができる。例えばＡおよびＢの組み合わせは、１つのＡおよび複数のＢ、複数のＡおよび１つのＢ、または複数のＡおよび複数のＢを有することができる。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【手続補正書】

【提出日】2021-05-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ディスプレイ上のユーザ注視ポジションをセンシングするように構成されたアイトラッキングデバイスと、少なくとも１つのハードウェアプロセッサと、を有するシステムであって、
少なくとも１つの前記ハードウェアプロセッサは、以下のように構成されている、すなわち、
前記アイトラッキングデバイスからの出力に基づき、ディスプレイ上の前記ユーザ注視ポジションを検出し、前記ディスプレイは、マクロビュー内の画像の少なくとも一部分と、前記画像のサムネイル画像とを表示し、
検出された前記ユーザ注視ポジションが前記サムネイル画像内にあるのかまたは前記マクロビュー内にあるのかを判定し、
前記ユーザ注視ポジションが前記マクロビュー内にあることの検出に応答して、前記マクロビュー内の前記画像のビューを自動的にパンして、前記マクロビュー内の検出された前記ポジションに対応する前記画像上のポジションを、前記マクロビューの中央部に向かって移動させ、
前記ユーザ注視ポジションが前記サムネイル画像内にあることの検出に応答して、前記サムネイル画像内の検出された前記ポジションに対応する前記画像上のポジションを特定し、前記画像上の特定された前記ポジションが前記マクロビューの前記中央部内にあるように、前記マクロビューを更新する、
システム。

【請求項2】

前記マクロビュー内の前記ユーザ注視ポジションが閾値よりも大きく変更されたことの検出に応答して、自動的なパニングが実施される、
請求項１記載のシステム。

【請求項3】

前記画像は、有線または無線のネットワークを介して、デジタルパソロジーのスライドサーバまたはスキャニング装置から取得される、
請求項１記載のシステム。

【請求項4】

少なくとも１つの前記ハードウェアプロセッサは、前記マクロビュー内の検出された前記ポジションに対応する前記画像上の前記ポジションが、前記マクロビューの前記中央部内に入るまで、前記ビューを自動的にパンするように構成されている、
請求項１記載のシステム。

【請求項5】

少なくとも１つの前記ハードウェアプロセッサは、検出された前記ユーザ注視ポジションが前記マクロビューの前記中央部内に入るまで、前記ビューを自動的にパンするように構成されている、
請求項１記載のシステム。

【請求項6】

少なくとも１つの前記ハードウェアプロセッサはさらに、
前記アイトラッキングデバイスからの出力に基づきユーザ頭部の向きを検出し、
前記ユーザ頭部の検出された１つまたは複数の向きに基づき、予め定められた開始ジェスチャを検出する
ように構成されており、自動的なパニングが、予め定められた前記開始ジェスチャの検出に応答して実施される、
請求項１記載のシステム。

【請求項7】

少なくとも１つの前記ハードウェアプロセッサはさらに、
前記ユーザ頭部の検出された１つまたは複数の向きに基づき、予め定められた停止ジェスチャを検出し、
予め定められた前記停止ジェスチャの検出に応答して、前記マクロビュー内の前記画像の前記ビューのパニングを自動的に停止させる
ように構成されている、
請求項６記載のシステム。

【請求項8】

前記マクロビューの更新は、前記画像の前記ビューを自動的にパンして、前記画像上の特定された前記ポジションを前記マクロビューの前記中央部に向かって移動させることを有する、
請求項１記載のシステム。

【請求項9】

少なくとも１つの前記ハードウェアプロセッサはさらに、前記ユーザ注視ポジションにおける変化の距離を計算するように構成されており、自動的なパニングの速度は、計算された前記距離に基づく、
請求項１記載のシステム。

【請求項10】

少なくとも１つのハードウェアプロセッサを用いたアイトラッキング方法であって、前記方法は、以下のことを有する、すなわち、
アイトラッキングデバイスからの出力に基づき、ディスプレイ上のユーザ注視ポジションを検出し、前記ディスプレイは、マクロビュー内の画像の少なくとも一部分と、前記画像のサムネイル画像と、を表示し、
検出された前記ユーザ注視ポジションが前記サムネイル画像内にあるのかまたは前記マクロビュー内にあるのかを判定し、
前記ユーザ注視ポジションが前記マクロビュー内にあることの検出に応答して、前記マクロビュー内の前記画像のビューを自動的にパンして、前記マクロビュー内の検出された前記ポジションに対応する前記画像上のポジションを、前記マクロビューの中央部に向かって移動させ、
前記ユーザ注視ポジションが前記サムネイル画像内にあることの検出に応答して、前記サムネイル画像内の検出された前記ポジションに対応する前記画像上のポジションを特定し、前記画像上の特定された前記ポジションが前記マクロビューの前記中央部内にあるように、前記マクロビューを更新する、
ことを有する方法。

【請求項11】

前記マクロビュー内の前記ユーザ注視ポジションが閾値よりも大きく変更されたことの検出に応答して、自動的なパニングを実施する、
請求項１０記載の方法。

【請求項12】

前記方法はさらに、前記ディスプレイのための前記画像を、有線または無線のネットワークを介して、デジタルパソロジーのスライドサーバまたはスキャニング装置から取得することを有する、
請求項１０記載の方法。

【請求項13】

前記方法は、検出された前記ユーザ注視ポジションが前記マクロビューの前記中央部内に入るまで、前記ビューを自動的にパンすることを有する、
請求項１０記載の方法。

【請求項14】

前記方法はさらに、
前記アイトラッキングデバイスからの出力に基づき、ユーザ頭部の向きを検出し、
前記ユーザ頭部の検出された１つまたは複数の向きに基づき、予め定められた開始ジェスチャを検出する
ことを有し、自動的なパニングを、予め定められた前記開始ジェスチャの検出に応答して実施する、
請求項１０記載の方法。

【請求項15】

前記方法はさらに、前記ユーザ注視ポジションにおける変化の距離を計算することを有し、自動的なパニングの速度は、計算された前記距離に基づく、
請求項１０記載の方法。

【請求項16】

内部に記憶された命令を有する非一時的コンピュータ可読媒体であって、
前記命令は、プロセッサにより実行されると、以下のことを前記プロセッサに実施させる、すなわち、
アイトラッキングデバイスからの出力に基づき、ディスプレイ上のユーザ注視ポジションを検出し、前記ディスプレイは、マクロビュー内の画像の少なくとも一部分と、前記画像のサムネイル画像と、を表示し、
検出された前記ユーザ注視ポジションが前記サムネイル画像内にあるのかまたは前記マクロビュー内にあるのかを判定し、
前記ユーザ注視ポジションが前記マクロビュー内にあることの検出に応答して、前記マクロビュー内の前記画像のビューを自動的にパンして、前記マクロビュー内の検出された前記ポジションに対応する前記画像上のポジションを、前記マクロビューの中央部に向かって移動させ、
前記ユーザ注視ポジションが前記サムネイル画像内にあることの検出に応答して、前記サムネイル画像内の検出された前記ポジションに対応する前記画像上のポジションを特定し、前記画像上の特定された前記ポジションが前記マクロビューの前記中央部内にあるように、前記マクロビューを更新する、
非一時的コンピュータ可読媒体。

【請求項17】

前記マクロビュー内の前記ユーザ注視ポジションが閾値よりも大きく変更されたことの検出に応答して、自動的なパニングが実施される、
請求項１６記載の非一時的コンピュータ可読媒体。

【請求項18】

前記命令によって前記プロセッサは、検出された前記ユーザ注視ポジションが前記マクロビューの前記中央部内に入るまで、前記ビューを自動的にパンする、
請求項１６記載の非一時的コンピュータ可読媒体。

【請求項19】

前記命令によって前記プロセッサはさらに、
前記アイトラッキングデバイスからの出力に基づきユーザ頭部の向きを検出し、
前記ユーザ頭部の検出された１つまたは複数の向きに基づき、予め定められた開始ジェスチャを検出し、
自動的なパニングは、予め定められた前記開始ジェスチャの検出に応答して実施される、
請求項１６記載の非一時的コンピュータ可読媒体。

【請求項20】

前記命令によって前記プロセッサはさらに、前記ユーザ注視ポジションにおける変化の距離を計算し、自動的なパニングの速度は、計算された前記距離に基づく、
請求項１６記載の非一時的コンピュータ可読媒体。

【国際調査報告】