特表 2022-504588 手術支援システム、データ処理装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-13

(54)【発明の名称】手術支援システム、データ処理装置および方法

(51)【国際特許分類】

   A61B 34/10 20160101AFI20220105BHJP

   G02B 27/02 20060101ALI20220105BHJP

   G06F 3/01 20060101ALI20220105BHJP

【ＦＩ】

A61B34/10

G02B27/02 Z

G06F3/01 510

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021519684

(86)(22)【出願日】2019-09-27

(85)【翻訳文提出日】2021-04-08

(86)【国際出願番号】 JP2019038340

(87)【国際公開番号】W WO2020075546

(87)【国際公開日】2020-04-16

(31)【優先権主張番号】18200263.4

(32)【優先日】2018-10-12

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】ライト クリストファー

(72)【発明者】

【氏名】ローレンソン マシュー

(72)【発明者】

【氏名】廣田 直之

【テーマコード（参考）】

2H199

5E555

【Ｆターム（参考）】

2H199CA04

2H199CA77

2H199CA94

2H199CA96

5E555AA22

5E555AA54

5E555AA58

5E555AA64

5E555BA02

5E555BA22

5E555BB02

5E555BB22

5E555BC04

5E555BE17

5E555CA42

5E555CB65

5E555CC03

5E555DA08

5E555DB51

5E555DB57

5E555DC09

5E555DC13

5E555DC75

5E555DC85

5E555DD08

5E555EA22

5E555EA25

5E555FA00

(57)【要約】

手術を行う外科医の眼の挙動を監視して外科医の眼の挙動データを取得するように動作可能である、眼の挙動監視装置と、外科医によって実行されている手術に対応付けられた手術データを生成するように動作可能である、手術データ生成装置と、手術の外科医の実行に介入するための介入処置を実行するように動作可能である、手術介入装置と、取得された眼の挙動データを使用して、手術に対応付けられた介入パラメータの値を決定し、生成された手術データを使用して、介入パラメータの値の許容可能な範囲を決定し、かつ介入パラメータの決定された値が、介入パラメータの値の決定された許容可能な範囲の外側にある場合、手術介入装置を制御して、手術の外科医の実行に介入するための介入処置を実行するように動作可能である、データ処理装置と、を含む、手術支援システム。
【選択図】なし

【特許請求の範囲】

【請求項1】

手術を行う外科医の眼の挙動を監視して前記外科医の眼の挙動データを取得するように動作可能である、眼の挙動監視装置と、
前記外科医によって実行されている前記手術に対応付けられた手術データを生成するように動作可能である、手術データ生成装置と、
前記手術の前記外科医の実行に介入するための介入処置を実行するように動作可能である、手術介入装置と、
前記取得された眼の挙動データを使用して、前記手術に対応付けられた介入パラメータの値を決定し、
前記生成された手術データを使用して、前記介入パラメータの前記値の許容可能な範囲を決定し、かつ
前記介入パラメータの前記決定された値が、前記介入パラメータの前記値の前記決定された許容可能な範囲の外側にある場合、前記手術介入装置を制御して、前記手術の前記外科医の実行に介入するための前記介入処置を実行するように動作可能である、データ処理装置と、を備える、手術支援システム。

【請求項2】

前記眼の挙動データは、瞳孔監視データおよび眼の追跡データのうちの１つである、請求項１に記載の手術支援システム。

【請求項3】

前記介入パラメータは、前記外科医が前記手術でエラーを起こす可能性を示し、前記介入パラメータの前記値の前記許容可能な範囲は、前記外科医が前記手術でエラーを起こす許容可能な可能性を示す、請求項１に記載の手術支援システム。

【請求項4】

前記データ処理装置は、
前記外科医の前記取得された眼の挙動データを、外科医が前記手術でエラーを起こす所定の可能性に対応付けられた所定の眼の挙動データと比較し、
前記所定の眼の挙動データに対応付けられた前記所定の可能性、および前記外科医の前記取得された眼の挙動データと、前記所定の眼の挙動データとの間の前記比較の結果を使用して、前記外科医が前記手術でエラーを起こす前記可能性を決定するように動作可能である、請求項３に記載の手術支援システム。

【請求項5】

前記生成された手術データは、前記手術のタイプ、前記手術の現在の段階、および前記手術の患者の現在の状態のうちの少なくとも１つを示す、請求項４に記載の手術支援システム。

【請求項6】

前記データ処理装置は、前記生成された手術データを使用して、前記所定の眼の挙動データを選択するように動作可能である、請求項５に記載の手術支援システム。

【請求項7】

前記介入処置は、前記生成された手術データを使用して選択される、請求項５に記載の手術支援システム。

【請求項8】

前記介入処置は、前記外科医が前記手術でエラーを起こす前記決定された可能性が、前記外科医が前記手術でエラーを起こす前記外科医の前記許容可能な可能性を超えることを示すアラート信号を出力することを含む、請求項３に記載の手術支援システム。

【請求項9】

前記アラート信号は、手術画像が表示されるディスプレイ上に表示される視覚的標示である、請求項８に記載の手術支援システム。

【請求項10】

前記視覚的標示は、前記手術画像内の関心領域の近辺で重畳される、請求項９に記載の手術支援システム。

【請求項11】

前記介入処置は、前記外科医によって使用される手術装置に調整信号を提供して、前記手術で手術機能を実行し、前記手術で前記エラーを阻止するために、前記手術装置を制御して、前記実行された手術機能を調整することを含む、請求項３に記載の手術支援システム。

【請求項12】

前記データ処理装置は、
前記取得された眼の挙動データを使用して、決定されているエラーの可能性が対応付けられた前記外科医の視野の領域を決定し、かつ
前記外科医の前記視野の前記決定された領域の特性に基づいて、前記介入処置を決定するように動作可能である、請求項３に記載の手術支援システム。

【請求項13】

前記データ処理装置は、
表示のために、前記外科医が見るための前記外科医の前記視野の前記領域を表す画像を出力し、
前記眼の挙動監視装置を制御して、前記外科医が前記表示された画像を見るときの前記外科医のさらなる眼の挙動データを取得し、かつ
前記外科医の前記さらなる眼の挙動データを使用して、前記介入処置を決定するように動作可能である、請求項１２に記載の手術支援システム。

【請求項14】

前記データ処理装置は、
前記取得されたさらなる眼の挙動データを使用して、決定されているエラーの可能性が対応付けられた前記外科医の前記視野の前記領域のサブ領域を決定し、かつ
前記外科医の前記視野の前記領域の前記決定されたサブ領域の特性に基づいて、前記介入処置を決定するように動作可能である、請求項１３に記載の手術支援システム。

【請求項15】

前記データ処理装置は、
前記取得された眼の挙動データを使用して、決定されているエラーの可能性が対応付けられた前記外科医の視野の領域を決定し、
表示のために、前記外科医が見るための前記外科医の前記視野の前記領域を表す画像を出力し、かつ
前記眼の挙動装置を制御して、前記外科医が前記表示された画像を見るときの前記外科医のさらなる眼の挙動データを取得するように動作可能であり、
前記介入処置は、前記表示された画像の表示特性を調整することと、前記外科医の前記さらなる眼の挙動データを使用して、前記外科医の前記視野の前記領域に対応付けられた前記エラーの前記可能性を低減する、調整された表示特性を決定することと、を含む、請求項３に記載の手術支援システム。

【請求項16】

手術支援システムのためのデータ処理装置であって、前記手術支援システムは、手術を行う外科医の眼の挙動を監視して前記外科医の眼の挙動データを取得するように動作可能である、眼の挙動監視装置と、前記外科医によって実行されている前記手術に対応付けられた手術データを生成するように動作可能である、手術データ生成装置と、前記手術の前記外科医の実行に介入するための介入処置を実行するように動作可能である、手術介入装置と、を備え、前記データ処理装置は、
前記取得された眼の挙動データを受信し、
前記生成された手術データを受信し、
前記取得された眼の挙動データを使用して、前記手術に対応付けられた介入パラメータの値を決定し、
前記生成された手術データを使用して、前記介入パラメータの前記値の許容可能な範囲を決定し、かつ
前記介入パラメータの前記決定された値が、前記介入パラメータの前記値の前記決定された許容可能な範囲の外側にある場合、前記手術介入装置を制御するための信号を出力して、前記手術の前記外科医の実行に介入するための前記介入処置を実行するように構成された、回路を備える、データ処理装置。

【請求項17】

手術支援システムを動作させる方法であって、前記手術支援システムは、手術を行う外科医の眼の挙動を監視して前記外科医の眼の挙動データを取得するように動作可能である、眼の挙動監視装置と、前記外科医によって実行されている前記手術に対応付けられた手術データを生成するように動作可能である、手術データ生成装置と、前記手術の前記外科医の実行に介入するための介入処置を実行するように動作可能である、手術介入装置と、を備え、前記方法は、
前記取得された眼の挙動データを受信することと、
前記生成された手術データを受信することと、
前記取得された眼の挙動データを使用して、前記手術に対応付けられた介入パラメータの値を決定することと、
前記生成された手術データを使用して、前記介入パラメータの前記値の許容可能な範囲を決定することと、
前記介入パラメータの前記決定された値が、前記介入パラメータの前記値の前記決定された許容可能な範囲の外側にある場合、前記手術介入装置を制御するための信号を出力して、前記手術の前記外科医の実行に介入するための前記介入処置を実行することと、を備える、方法。

【請求項18】

コンピュータを制御して、請求項１７に記載の方法を実行するためのプログラム。

【請求項19】

請求項１８に記載のプログラムを記憶する記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、手術支援システム、データ処理装置および方法に関する。

【背景技術】

【0002】

本明細書で提供される「背景技術」の説明は、本開示の文脈を一般的に提示する目的のためである。現在挙げられている発明者の著作は、背景技術セクションにおいて説明される範囲で、他で出願時に先行技術として適し得ない説明の態様と同様に、明示的にも暗示的にも、本開示に対する先行技術として認められない。

【0003】

深刻な手術のエラーは、多くの場合、回避可能であり、したがって、起きるべきではないため、「ネバーイベント」と称される。ネバーイベントは、患者の体内に手術器具を残すこと、および間違った患者を手術することを含む。血管の偶発的な切断などのあまり深刻ではない（しかし、依然として危険で犠牲の大きい）間違いは、技術的エラーと称される。それらを防止するために導入されている術前タイムアウトおよびチェックリストなどのプロセスにも関わらず、手術のエラーは、世界的に医療施設で生じ続けている。例えば、英国における深刻なケースが近年増加していることが分かっており、米国において医療ミスが第３の主要な死因であることを研究は示唆している。

【0004】

手術のエラーは、間違った部位の手術または不正確な処置から、重要なポイントにおけるわずかな手の狂いにまでおよび得る。そして各々は、患者に対して重大なリスクをもたらし得る。エラーは、一般に、情報の不足により生じ、それは、決定を行うときに外科医の不確実性のレベルを増加させ得る。これは、例えば、手術チームもしくは医療提供者の不十分な意思疎通またはデータの欠如からもたらされ得る。手術の専門性はまた、それら自体の特有の問題に遭遇し、エラーの分類をより複雑にし得る。

【0005】

人的要因もまた、手術のエラーの主要な（そして予測できない）原因であり、不十分な意思決定、特定の動作に対する間違った技術の選択、および単なる動作の不正確な実行は、患者および病院に対する深刻な影響を有し得る。さらに、外科医は、職場の譴責または法的報復を逃れるために、過失の責任、または十分な知識を有していないことを、手術中に認めることを回避し得るが、最初の段階でこれらのエラーの発生を防止するための包括的な確認が存在していれば、回避され得る問題である。

【0006】

将来の手術室は、手術ロボットと人間の外科医との間の協働が増加すると見られており、それは、回避可能な、手術のエラーの発生数を低減するための手段を提供し得る。そのようなシステムは、適応型のタスク責務関係を可能にし、それによって、ロボットおよび人間の役割は、手術の状態に応じて変化してもよく、ロボットは、手術の間違いを防止する追加のセーフティネットとしての機能を果たしてもよい。

【0007】

しかしながら、手術ロボットと人間の外科医との間の協働をうまく実施する方法、より一般的には、発生する回避可能な手術のエラーの数をさらに低減する方法に、課題が残っている。

【発明の概要】

【0008】

本開示は、請求項によって定義される。

【0009】

前述の段落は、一般的な導入の目的で提供されており、以下の請求項の範囲を限定するように意図されたものではない。説明される実施形態は、さらなる利点と共に、添付の図面を併用して以下の詳細な説明を参照することによって最もよく理解されるであろう。

【図面の簡単な説明】

【0010】

本開示およびそれに付随する多くの利点に対するより完全な理解は、添付の図面と関連して考察すれば、以下の詳細な説明を参照することによってよりよく理解されるため、容易に得られるであろう。

【0011】

【図1】図１は、実施形態に係る、手術支援システムを概略的に示す。

【図2】図２は、実施形態に係る、好適な手術介入処置を決定する際に手術支援システムによって使用される例示的な情報を概略的に示す。

【図3】図３は、本技術の第１の例示的な実施態様を概略的に示す。

【図4A】図４Ａは、本技術の第２の例示的な実施態様を概略的に示す。

【図4B】図４Ｂは、本技術の第２の例示的な実施態様を概略的に示す。

【図5A】図５Ａは、本技術の第３の例示的な実施態様を概略的に示す。

【図5B】図５Ｂは、本技術の第３の例示的な実施態様を概略的に示す。

【図6】図６は、実施形態に係る、第１の方法を示すフローチャートを示す。

【図7】図７は、実施形態に係る、第２の方法を示すフローチャートを示す。

【発明を実施するための形態】

【0012】

ここで図面を参照する。なお、同じ参照符号がいくつかの図を通して同一の部分または対応する部分を示すものとする。

【0013】

本技術は、眼の挙動データを収集するための眼の挙動監視技術を使用して、人間の外科医の実行を評価するのに役立て、手術のエラーが発生する可能性があることを眼の挙動データが示す場合に、手術中に介入する。

【0014】

眼の挙動監視技術は、比較的十分に確立されており、拡張現実（Augmented Reality：ＡＲ）および仮想現実（Virtual Reality：ＶＲ）プラットフォームの目的での様々な既存の技術で実施されている。眼の挙動監視技術の発展によって可能になる利点は、個人が視覚的に興味のあることを識別する能力である。この能力は、現在、ＡＲおよびＶＲヘッドセットで最も広く適用されているが、それはまた、広告、市場調査、および医療アクセシビリティにおける用途を有する。

【0015】

それらの最も基本的なレベルにおいて、眼球運動は、人が何を見ているかを示す。しかしながら、眼球運動はまた、特定の状況で実行する人の能力に関する情報を取得するために使用され得る。研究は、熟練の医師および年少の医師が、個人の技術レベルに起因すると考えられる手術中の注視点パターン（すなわち、医師が見ている空間内の場所の移動のパターン）に差を呈することを示している（ＮＰＬ１）。同様に、優れた騎手が跳躍の段取りをしているときに行われる微小な眼球運動は、騎手が成功する可能性が高いことを示し得る（ＮＰＬ２）。経験を積んだ騎手の視覚的戦略は、跳躍の特定の段階で騎手が視覚的に注視するのに費やす時間の量、および注視がいかに早く始まったかにおいて、あまり有能でない騎手のものと異なっていた。

【0016】

研究はまた、未熟なパフォーマーは、より熟練した人の眼球運動から学習し得ることを示している。熟練した軍パイロットの眼球運動を観察させたところ、模擬の緊急手順に対する初心者の軍パイロット視覚的応答が改善することが分かった（ＮＰＬ３）。このケースでは、初心者パイロットと熟練パイロットとの間の差は非常に明白だったので、アルゴリズムは、８０％を超えるケースで両者を分類することができた。

【0017】

特に、誤りが予期される眼の挙動の側面には、以下のものが含まれる。
１．短い静止時間（関心領域で見るのに費やされる時間）。
２．低い注視頻度（ある期間に、関心領域に注視点が焦点を合わせられた回数）。
３．サッケード速度およびサッケード距離。サッケードは、固視点を突然変更する、眼の急速な移動である。サッケードは、熟練ドライバーおよび初心者ドライバーを識別するために使用され得る。特に、熟練者は、初心者よりもより効果的に周辺視野を利用することができるため、初心者よりもサッケード速度およびサッケード距離が共に小さい。サッケード速度は、固視点がサッケード中に変化するときに眼球が運動する速度である。サッケード距離は、固視点がサッケード中に変化するときに眼球が運動する距離である。
４．重要な視覚的特徴の見落とし。
５．（心的努力を反映する）瞳孔拡張と、推定されたタスク困難度との間のミスマッチ。瞳孔拡張は、増加した認知負荷と共に増加し、低減された認知負荷と共に減少する。困難なタスク中の瞳孔拡張の不足は、集中または認識関与の不足を示し得る。

【0018】

本技術の実施形態は、手術のエラーの発生を低減するのに役立てるための眼の挙動監視技術を使用する。これは、以下のポイントのうちの１つ以上に対処することによって行われる。
１．手術中の外科医が不当に注意を欠くことなく手術の間違いを阻止および防止する方法。
２．外科医の不確実性が患者にどのように影響をおよぼし得るかを判定し、その判定を要求するシナリオで、あるレベルの不確実性を許容する（すなわち、不作為を通じて患者に害を与えることを防止する）方法。
３．患者に対する潜在的重大度およびリスクに基づいて、予測された手術のエラーに対する適切な対応を選択する方法。
４．高プレッシャー、つまり、外科医が迅速に作業する必要がある重要なシナリオの間に生じる間違いの機会を低減する方法。
５．外科医の視野内の不確実性の原因を正確に識別し、調整された不確実性のある対応を可能にする方法。

【0019】

図１は、実施形態に係る、手術支援システム１００を示す。手術支援システム１００は、眼の挙動監視装置（眼のモニター）１０１と、１つ以上の手術データ生成装置（例えば、装置１０９～１１５のうちの１つ以上）と、１つ以上の手術介入装置（例えば、装置１０９～１１５のうちの１つ以上）と、データ処理装置１０４と、を備える。

【0020】

眼の挙動監視装置１０１は、手術を行う外科医の眼の挙動監視を実行して外科医の眼の挙動データを取得するように動作可能である。実施形態では、眼の挙動監視装置は、眼の追跡データを取得するための、当該技術分野で既知の任意の好適な眼の追跡技術を使用する。眼の追跡データは、外科医の注視点（すなわち、外科医が見ている空間内のポイント）を示すデータを含む。この注視点は、例えば、外科医の頭に対する外科医の瞳孔の位置および／または外科医の頭の位置に基づいて、眼の挙動監視装置によって決定される。実施形態では、眼の挙動監視装置は、外科医の眼のうちの１つ以上の各々の瞳孔の挙動（例えば、外科医の瞳孔拡張またはサッケード速度および／もしくはサッケード距離）を示す瞳孔監視データを取得するための任意の好適な瞳孔監視技術を使用する。

【0021】

したがって、眼の挙動監視装置１０１は、外科医の眼の挙動を監視するために、眼の追跡および瞳孔監視の両方を実施する。眼の追跡は、（例えば、外科医の眼のライブキャプチャーされたビデオ画像に基づいて）外科医の注視点を追跡して、眼の追跡データ（例えば、関心領域における静止時間、関心領域における注視頻度、および／または関心領域が見落とされているか否か）を決定することを含む。眼の追跡データは、関心領域に関する情報に対応付けられ得る。瞳孔監視は、（例えば、外科医の眼のライブにキャプチャーされたビデオ画像に基づいて）外科医の瞳孔を監視して、瞳孔監視データ（例えば、外科医の瞳孔拡張ならびに／またはサッケード速度および／もしくはサッケード距離）を決定することを含む。眼の追跡データおよび瞳孔監視データは、眼の挙動データの例である。

【0022】

情報は、データ処理装置１０４によって眼の挙動データから導出されて、手術中に外科医がエラーを起こす可能性が増加することを示し得る。

【0023】

一例では、エラーが生じる可能性は、外科医が関心領域において許容可能に短い静止時間を有する場合に増加するものと考えられる。静止時間は、例えば、所定の静止時間閾値よりも小さい場合、許容不可能に短い（例えば、所定の静止時間閾値は、行われる処置および／または処置の段階に応じて決定される）。一例では、静止時間は、外科医が、手術中に（または手術の特定の段階の間に）関心領域を見るのに費やす平均時間である。

【0024】

別の例では、エラーが生じる可能性は、外科医が関心領域において許容不可能に低い注視頻度を有する場合に増加するものと考えられる。注視頻度は、例えば、所定の注視頻度閾値よりも小さい場合、許容不可能に低い（例えば、所定の注視頻度閾値は、行われる処置および／または処置の段階に応じて決定される）。

【0025】

別の例では、エラーが生じる可能性は、より高いサッケード速度および／または大きなサッケード距離と共に増加するものと考えられる。サッケード速度および／またはサッケード距離は、例えば、所定のサッケード速度および／またはサッケード距離の閾値よりも大きい場合、許容不可能に高い（大きい）（例えば、所定のサッケード速度および／またはサッケード距離の閾値は、行われる処置および／または処置の段階に応じて決定される）。

【0026】

別の例では、エラーが生じる可能性は、外科医が重要な視覚的特徴を見落とすと増加すると考えられる。視覚的特徴の見落としは、外科医の注視点がその視覚的特徴に向かない（外科医がそれに気づいていないことを示す）ときに生じる。

【0027】

別の例では、エラーが生じる可能性は、（心的努力を反映する）瞳孔拡張と、推定されたタスク困難度との間のミスマッチがある場合に増加するものと考えられる。瞳孔拡張は、例えば、所定の瞳孔拡張閾値よりも大きい場合、許容不可能に大きい（例えば、所定の瞳孔拡張閾値は、行われる処置および／または処置の段階に応じて決定される）。異なる外科医は、それぞれの異なる範囲の瞳孔サイズを有し得るという事実を考慮するために、瞳孔拡張および所定の瞳孔拡張閾値は、基準瞳孔拡張の割合として決定され得る。例えば、瞳孔直径が、基準瞳孔拡張のものと比較してサイズが２倍である場合、瞳孔拡張は、＋５０％（プラス５０％）であると判定される。瞳孔直径が、基準瞳孔拡張のものと比較してサイズが半分である場合、瞳孔拡張は、－５０％（マイナス５０％）であると判定される。基準瞳孔拡張は、手術の前に行われる較正処理中に（例えば、所定の照明条件下で眼の挙動監視装置１０１のカメラ（図示せず）を外科医に見てもらい、基準瞳孔拡張を取得するために瞳孔拡張を測定することによって）決定される。

【0028】

データ処理装置１０４は、プロセッサ１０５と、メモリ１０６と、通信インターフェース１０７と、記憶媒体１０８と、を備える。通信インターフェース１０７は、データ処理装置１０４への、およびデータ処理装置１０４からの電子情報の入力および出力のためのものである。例えば、眼の挙動監視装置１０１からの眼の挙動データ、および１つ以上の手術データ生成装置からの手術データは、入力情報として通信インターフェース１０７によって受信される。また、１つ以上の手術介入装置を制御して介入処置を実行するための介入信号は、出力情報として通信インターフェース１０７によって１つ以上の手術介入装置に送信される。通信インターフェース１０７はまた、通信インターフェース１０７に接続された任意の２つの装置間でデータが交換されることを可能にする。プロセッサ１０５は、データ処理装置１０４が、好適な電子指示を処理することによってその動作を実行することを可能にする。メモリ１０６は、プロセッサ１０５によって処理される電子指示を記憶するためのものであり、電子指示に対応付けられた入力および出力データを記憶するためのものである。（例えば、ハードディスクドライブ、ソリッドステートドライブ、テープドライブなどの形態での）記憶媒体１０８は、データの長期記憶のためのものである。プロセッサ１０５、メモリ１０６、通信インターフェース１０７、および記憶媒体１０８の各々は、例えば、適当な回路を使用して実装される。

【0029】

通信インターフェース１０７は、外科医によって実行されている手術に対応付けられた手術データを受信するように動作可能である。手術データは、手術中に１つ以上の手術データ生成装置から受信される。図１の例では、手術データを通信インターフェース１０７に各々提供する複数の手術データ生成装置がある。

【0030】

１つの例示的な手術データ生成装置は、手術ロボット１０９である。手術ロボット１０９は、手術を実行する際に外科医を支援するロボットシステムである。様々な手術ロボットは、当該技術分野で既知であり、手術ロボットを伴う手術は、ロボット支援手術として既知である。手術ロボット１０９によって通信インターフェース１０７に提供される手術データは、例えば、手術中にロボットによって実行されるロボットの１つ以上の機能に対応付けられた１つ以上のパラメータ（例えば、ロボットによって使用される切断刃の速度、または患者の体内におけるロボットのロボットアームの深さ）の値を含む。１つ以上のパラメータは、例えば、ロボットの適当な回路によって監視される。

【0031】

別の例示的な手術データ生成装置は、外部カメラシステム１１０である。これは、手術が行われる手術室の画像をキャプチャーする１つ以上のカメラ（図示せず）を含む。キャプチャー画像は、例えば、外科医と、患者と、手術チームの他のメンバーと、室内の他の手術装置と、を含む。外部カメラシステム１１０によって通信インターフェース１０７に提供される手術データは、キャプチャー画像を含む。

【0032】

手術データ生成装置の別の例は、内部カメラシステム１１１である。これは、患者の体内の画像をキャプチャーする１つ以上のカメラ（図示せず、例えば、当該技術分野で既知の１つ以上の内視鏡カメラ）を備える。キャプチャー画像はまた、例えば、外科医の手、および手術中に内部カメラシステムによってキャプチャーされる患者の体の一部に入る任意の手術装置（例えば、外科医または手術ロボット１０９のアームの端部によって保持される切断器具）を含み得る。内部カメラシステム１１１によって通信インターフェース１０７に提供される手術データは、キャプチャー画像を含む。

【0033】

手術データ生成装置の別の例は、患者監視システム１１２である。患者監視システムは、手術中に患者の１つ以上の生理的パラメータを監視し、これらの生理的パラメータの各々の値を示すデータを生成する。これにより、患者の状態を手術中に監視することが可能になる。患者監視システムの例は、心電計（Electrocardiograph：ＥＣＧ）データを生成する心電計（ＥＣＧ）である。患者監視システム１１２によって通信インターフェース１０７に提供される手術データは、監視された患者の生理的パラメータの各々の値を示すデータを含む。

【0034】

手術データ生成装置の別の例は、オーディオ監視システム１１３である。これは、手術が行われる手術室内の音声をキャプチャーする１つ以上のマイクロフォン（図示せず）を含む。キャプチャー音声は、例えば、外科医または手術チームの他のメンバーによって発せられる発言、および他の手術装置によって発せられる可聴信号（例えば、アラーム）を含む。オーディオ監視システム１１３によって通信インターフェース１０７に提供される手術データは、キャプチャー音声を示すデータを含む。データ処理装置１０４は、キャプチャー音声が何かを決定するために、キャプチャー音声を分析するように構成されている。データ処理装置１０４は、例えば、キャプチャー音声の周波数分析を実行し、得られた周波数スペクトルを、記憶媒体１０８に記憶された既知の音声の周波数スペクトルと比較する（これに対する好適な技術は、当該技術分野で既知である）ことによって、分析を行う。これにより、データ処理装置１０４は、例えば、外科医の発言を認識することが可能になる（外科医は、声で手術データをシステムに提供することが可能になる）か、または他の手術装置によって発せられる特定の可聴信号の意味を認識することが可能になる。

【0035】

手術データ生成装置の別の例は、外科医監視システム１１２である。外科医監視システムは、手術中に外科医の１つ以上の生理的パラメータを監視し、これらの生理的パラメータの各々の値を示すデータを生成する。外科医監視システムは、例えば、外科医の心拍数を監視するための心拍数モニター、および／または外科医がどれくらい発汗しているか（汗をかいているか）を監視するための汗モニターを備える。これは、外科医のストレスレベルの監視を可能にするのに役立つ。例えば、外科医がより多くのストレスをかけられているとき、外科医の心拍数は増加する傾向があり、発汗はより多くなる傾向がある。外科医がより少ないストレスをかけられているとき、外科医の心拍数は減少する傾向があり、発汗はより少なくなる傾向にある。外科医監視システム１１４によって通信インターフェース１０７に提供される手術データは、監視された外科医の生理的パラメータの各々の値を示すデータを含む。

【0036】

手術データ生成装置の別の例は、ユーザインターフェース１１５である。ユーザインターフェースは、ユーザ（例えば、外科医または手術チームの別のメンバー）が、通信インターフェース１０７に提供される手術データを手動で入力することを可能にする。それはまた、通信インターフェース１０７によるデータ出力（例えば、アラート信号）が、理解可能なフォーマットでユーザに提供されることを可能にする。一例では、ユーザインターフェース１１５は、タッチスクリーン、または頭部装着可能ディスプレイ（Head Mountable Display：ＨＭＤ）および入力デバイス（例えば、ハンドヘルドコントローラもしくは音声認識デバイス）の組み合わせを備える。ユーザインターフェース１１５はまた、触覚フィードバックデバイス（例えば、電気的バイブレータ）および／またはオーディオスピーカーを備え得る。一例では、ユーザによって入力される手術データは、行われる手術のタイプを示すデータである。手術の開始の前に、例えば、タッチスクリーンまたはＨＭＤで表示される適当なグラフィカルユーザインターフェース（Graphical User Interface：ＧＵＩ）メニューシステムを使用して、手術タイプを選択する。別の例では、通信インターフェース１０７によるデータ出力は、アラート信号を含む。アラート信号の受信に応答して、タッチスクリーンまたはＨＭＤは、視覚的アラートを出力し、スピーカー（存在する場合）は、可聴アラートを出力し、触覚フィードバックデバイス（存在する場合）は、触覚アラートを出力する。したがって、ユーザは、視覚的アラート、可聴アラート、および／または触覚アラートによって警告される。

【0037】

通信インターフェース１０７はまた、手術のエラーのリスクを軽減するために介入が行われる必要があることを外科医の眼の挙動データの分析が示すケースで、介入信号を１つ以上の手術介入装置に出力するように動作可能である。１つ以上の手術介入装置は、介入信号の受信に応答して、介入処置を実行する。

【0038】

一例では、介入信号は、アラート信号であり、介入処置は、アラートをユーザに出力することを含む。例えば、アラート信号は、（前述のような）可聴アラート、視覚的アラート、および／または触覚アラートをユーザインターフェース１１５に出力させ得る。アラートのケースでは、手術を中断させるような動作が行われない（すなわち、外科医は、手術の継続を妨げられず、したがって、手術を継続するか否かを外科医が決定する）。このケースでは、ユーザインターフェース１１５は、手術介入装置である。さらに、このアラート信号は、エラーの可能性が許容可能なエラーの可能性をどれくらい超えるかに応じて変化し得る。例えば、エラーの可能性が許容可能なエラーの可能性を大きく超える（すなわち、所定の閾値を超える）ケースでは、アラート信号の出力オーディオ（例えば、ビープまたはアラーム音声）は、より大きく（すなわち、所定の音声閾値よりも上に）なり得る。別の例では、視覚的アラート（例えば、ユーザインターフェース１１５で表示されるエラーの可能性を示す、可視マーカーまたは通知）を含むアラート信号のケースでは、視覚的表現は変化し得る。例えば、視覚的表現は、より多くのディスプレイで表示されるか、ディスプレイのより大きい部分で表示されるか、またはディスプレイにおけるより中心の位置で表示され得る。エラーの可能性および許容可能なエラーの可能性の比較に応じて、システムは、可聴アラート、視覚的アラート、または触覚アラートのうちの１つのみから、それらのうちの複数の組み合わせまで、アラート信号を変更し得る。

【0039】

別の例では、介入信号は、調整信号であり、介入処置は、外科医によって使用される手術装置の動作を調整して、手術におけるエラーを阻止するように手術を行うことを含む。調整のケースでは、エラーを阻止するために、手術を中断させるような動作が行われる（すなわち、外科医は、手術の継続を妨げられ、したがって、手術を継続するか否かを外科医は決定しない）。このケースでは、動作が調整される手術装置は、手術介入装置である。

【0040】

図１の例では、手術ロボット１０９およびユーザインターフェース１１５は、通信インターフェース１０７からの調整信号の受信に応答して、それらの動作を調整することができる手術介入装置の例である。

【0041】

手術ロボット１０９によって実行される調整の例は、外科医が患者において手術切開を行うためにロボットのアームを制御しているときである。ロボットは、調整信号を受信し、それに応じて一時的にアーム機能を停止する。

【0042】

ユーザインターフェース１１５によって実行される調整の例は、手術中にユーザインターフェース１１５を使用して表示される（内部カメラシステム１１１の内視鏡カメラなどによってキャプチャーされた）動画配信を介して、患者の体に対する自らの動作を外科医が見ているときである。ユーザインターフェースは、調整信号を受信し、それに応じて一時的に動画配信の表示を中断する。

【0043】

これらの例の両方で、外科医は一時的に（すなわち、所定の有限期間、例えば、３０秒）、エラーが起こるリスクを軽減するために手術の継続を妨げられる。これにより、外科医は、例えば、心的休憩、必要な場合、外科医の技術に対する計画調整を行うことが可能になるか、または外科医がエラーを起こす可能性を低減するように同僚に相談することが可能になる（それによって、処置が安全に進むことが可能になる）。

【0044】

各手術データ生成装置は、（当該技術分野で既知の）好適な有線接続および／または無線接続を介して手術データを通信インターフェース１０７に提供する。有線接続および／または無線接続は、インターネットなどのコンピュータネットワークの一部であり得る。各手術介入装置は、（当該技術分野で既知の）好適な有線接続または無線接続を介して通信インターフェース１０７から介入信号を受信する。有線接続および／または無線接続は、インターネットなどのコンピュータネットワークの一部であり得る。

【0045】

実施形態では、データ処理装置１０４は、眼の挙動データを使用して、外科医が手術でエラーを起こす可能性を決定する。眼の挙動データは、眼の挙動監視装置１０１によって取得され、（当該技術分野で既知の）好適な有線接続または無線接続を介して通信インターフェース１０７に送信される。有線接続および／または無線接続は、インターネットなどのコンピュータネットワークの一部であり得る。データ処理装置１０４は、手術データを使用して、外科医が手術でエラーを起こす許容可能な可能性を決定する。外科医が手術でエラーを起こす、決定された可能性（これは、決定されたエラーの可能性と称される）が、外科医が手術でエラーを起こす許容可能な可能性（これは、許容可能なエラーの可能性と称される）を超える場合、データ処理装置１０４は、１つ以上の手術介入装置を制御して、適当な介入信号（例えば、アラート信号および／または調整信号）を送信することによって適当な介入処置を実行する。

【0046】

実施形態では、外科医の眼の挙動監視を使用して、外科医がエラーを起こす可能性を決定し、このように適当な介入処置を決定することによって、エラーの発生を予測および軽減するのがより容易になる。同時に、外科医は、眼の挙動監視を行うために手術中に任意の追加の動作を実行する必要がないため、外科医のワークフローの不必要な中断は軽減される。

【0047】

実施形態では、手術データは、行われる手術のタイプおよび手術の現在の段階のうちの少なくとも１つを示す。データ処理装置１０４は、手術データを使用して、外科医が手術でエラーを起こす許容可能な可能性を決定する。

【0048】

手術のタイプは、どの手術が外科医によって実行されるかを識別する。例えば、手術タイプは、心臓移植、冠状動脈バイパス移植、または膝関節置換であり得る。手術の現在の段階は、手術の複数の段階のうちの１つである。各段階は、手術のサブプロシージャーである。手術の段階は、各々、手術が成功して完了されることを可能にするために、適切な順序で成功して完了されなければならない。必要な段階（およびそれらの順序）は、一般的に、異なる手術タイプに対して変わる。段階の例は、患者の特定の臓器で切開を行うことと、患者の臓器の一部を移動または除去することと、患者の特定の臓器で切開を縫合することと、を含む。

【0049】

実施形態では、各手術タイプおよび／または手術タイプの段階のうちの１つ以上は、１つ以上の対応する潜在的エラー事象に対応付けられている。潜在的エラー事象は、外科医がエラーを起こす場合に現在の段階の間に潜在的に生じる事象（例えば、患者の健康な臓器に対する偶発的な損傷）である。各潜在的エラー事象は、その潜在的エラー事象が生じる、対応する許容可能なエラーの可能性に対応付けられている。手術中に、所与の時間の関連する各潜在的エラー事象の決定されたエラーの可能性は、外科医の眼の挙動データを使用して決定される。潜在的エラー事象の決定されたエラーの可能性が、その潜在的エラー事象に対する許容可能なエラーの可能性を超える場合、好適な介入処置が行われる。

【0050】

潜在的エラー事象は、一般に、手術に対応付けられ得る。このケースでは、決定されたエラーの可能性は、手術の全体の期間で、外科医の眼の挙動データに基づいて、継続的に更新される。代替的に、潜在的エラー事象は、手術の特定の段階に対応付けられ得る。このケースでは、決定されたエラーの可能性は、その特定の段階の期間のみで、外科医の眼の挙動データに基づいて、継続的に更新される。

【0051】

実施形態では、手術タイプを示す情報は、ユーザインターフェース１１５を介して、手術を開始する前にユーザによって入力される。この情報は、手術データとしてデータ処理装置１０４に提供される。データ処理装置１０４は、記憶媒体１０８に記憶されたデータベースで、示された手術タイプを検索する。データベースは、示された手術タイプの各段階、示された手術タイプ（および適用可能な場合、その潜在的エラー事象が対応付けられた手術タイプの段階）に対応付けられた各潜在的エラー事象、ならびに示された各潜在的エラー事象に対応付けられた許容可能なエラーの可能性を識別する。

【0052】

データベースに記憶された情報の例は、図２に示される。

【0053】

図２での手術タイプは、心臓移植である。心臓移植は、３つの段階（「段階１」、「段階２」、および「段階３」）を有するように示されており、その各々は、１つ以上の潜在的エラー事象に対応付けられている。次いで、各潜在的エラー事象は、許容可能なエラーの可能性および１つ以上の介入処置に対応付けられている。説明を容易にするために、これは単純化された例であることが理解されるであろう。実際には、心臓移植などの手術は、より多くの段階を有し得る。そして各段階は、より多くの対応付けられた潜在的エラー事象を有し得る。

【0054】

図２に示されていないが、潜在的エラー事象は、（心臓移植の特定の段階のみではなくむしろ）一般に手術として心臓移植に対応付けられることが可能である。このケースでは、潜在的エラー事象およびその対応付けられた許容可能なエラーの可能性ならびに１つ以上の介入処置は、データベースで識別されるが、心臓移植の特定の段階に対応付けられていない。このケースでは、「段階」列は、例えば、「すべて」を示し得る（潜在的エラー事象およびその対応付けられた許容可能なエラーの可能性ならびに１つ以上の介入処置が心臓移植のすべての段階に適用可能であることを示す）。

【0055】

潜在的エラー事象はまた、一般的なタイプであり得る。一般的な潜在的エラー事象とは、（例えば、患者の体の特定の部分で）生じ得るが、外科医がエラーを起こすリスクが一般に増加するケースで許容可能な可能性を超えるという、特定のタイプのエラーに特有でない潜在的エラー事象である。例えば、外科医が突然、（例えば、著しく集中することができないことを示し、急病または疲労によってもたらされる）非常に広い瞳孔拡張を有する場合、一般にエラーが生じる可能性は、潜在的エラーの正確な性質を決定することができない場合でさえ、許容不可能に高いように決定され得る。一般的な潜在的エラー事象に対応付けられた、監視された眼の挙動パラメータは、例えば、外科医の集中、疲労などの一般的なレベルを示す眼の挙動パラメータである。一般的な潜在的エラー事象に対応付けられた介入処置は、潜在的エラー事象が、（例えば、ユーザインターフェース１１５を使用して好適な視覚的アラートを表示するか、または特定の可聴アラームを出すことによって）一般的であるが、患者の体の特定の部分を示さないことを示す。一般的な潜在的エラー事象は、（例えば、図２の表で例示されているように）データ処理装置１０８によってそれが記憶および検索される方法の点で、任意の他の潜在的エラー事象と同じ方法で処理される。

【0056】

各潜在的エラー事象に対応付けられた１つ以上の介入処置は、２つのカテゴリに分割される。第１のカテゴリは、患者の危機的でないカテゴリである。これは、決定されたエラーの可能性が、患者が危機的でない状態にあるときに懸念される潜在的エラー事象に対する許容可能なエラーの可能性を超えるケースで適用される１つ以上の介入処置を定義する。患者は、（患者監視システム１１２から受信される手術データによって示されるような）患者の１つ以上の関連する生理的パラメータの各々の値が通常の範囲内にあるときに、危機的でない状態にある。関連する１つ以上の生理的パラメータおよびそれらのそれぞれの通常の範囲は、例えば、（例えば、受け入れられた医学界の知見に基づいて）予め所与の手術タイプに対して決定され、記憶媒体１０８に記憶される。第２のカテゴリは、患者の危機的カテゴリである。これは、決定されたエラーの可能性が、患者が危機的状態にあるときに懸念される潜在的エラー事象に対する許容可能なエラーの可能性を超えるケースで適用される１つ以上の介入処置を定義する。患者は、患者の１つ以上の関連する生理的パラメータの各々の値が通常の範囲の外側にあるときに、危機的状態にある。一例では、関連する生理的パラメータは、患者のバイタルサインのうちの１つ以上の状態を示す。

【0057】

患者が危機的状態か危機的でない状態にあるか否かに応じて介入処置を決定することは、介入処置を安全に適用するのに役立つ。例えば、患者が危機的でない状態にあるとき、最も安全な介入処置は、外科医が手術を継続することを一時的に妨げる調整を伴い得る。患者は危機的でないため、エラーを起こす外科医のリスクを軽減するように、処置を一時的に中断する（それによって、処置の完了を遅らせる）ことが、より安全であると判定される。一方、患者が危機的状態にあるとき、最も安全な介入処置は、アラートのみ（すなわち、調整無し）を伴い得る。したがって、外科医は、手術の継続を妨げられない。患者は危機的であるため、外科医が処置の完了を遅らせるよりも（エラーを起こす外科医のリスクにも関わらず）処置を継続することを可能にすることが、より安全であると判定される。

【0058】

介入処置の２つのカテゴリのみが示されているが、任意の数のカテゴリが存在し得ることと、各々は、患者の１つ以上の生理的パラメータの値のそれぞれのセットの範囲に対応付けられていることが理解されるであろう。次いで、特定のカテゴリの介入処置は、患者の１つ以上の生理的パラメータの測定された値がそのカテゴリに対応付けられたセットの範囲内にあるときに（決定されたエラーの可能性が許容可能なエラーの可能性を超えるときに）適用される。これにより、最も適当な介入処置を、患者の体の状態に応じて適用することが可能になるので、患者の安全性を向上させるのに役立つ。

【0059】

図２の例では、心臓移植の段階１は、外科医が患者の肺と動脈との間の肉において切開を行うことを含む。段階１は、２つの潜在的エラー事象に対応付けられている。１つ目は、（０．２５の許容可能なエラーの可能性で）肺に対する損傷であり、２つ目は、（０．２５の許容可能なエラーの可能性で）動脈に対する損傷である。

【0060】

第１の潜在的エラー事象（肺損傷）に対して、介入処置は、（外科医の眼の挙動データに基づく）外科医の決定されたエラーの可能性が０．２５を超える場合に実施される。患者が危機的でない状態にある（したがって、潜在的な手術のエラーを回避することが、段階１の完了の遅延を回避することよりも重要である）場合、介入処置は、通信インターフェース１０７が、アラート信号を出力して、可聴アラームを開始し（外科医がエラーを起こす、許容不可能に高い可能性を外科医に警告し）、さらに、調整信号を出力して、切開が行われるエリアを見るために外科医が使用している動画配信の表示の一時的な中断を開始することを含む（したがって、外科医は切開の継続を妨げられる）。一方、患者が危機的状態にある（したがって、段階１の完了の遅延を回避することが、潜在的な手術のエラーを回避することよりも重要である）場合、介入処置は、通信インターフェース１０７が、アラート信号のみを出力することを含む（したがって、可聴アラームを開始して、外科医がエラーを起こす、許容不可能に高い可能性を外科医に警告するが、動画配信の表示を中断することによって外科医が切開の継続を妨げられることはない）。

【0061】

第２の潜在的エラー事象（動脈損傷）に対して、介入処置はまた、（外科医の眼の挙動データに基づく）外科医の決定されたエラーの可能性が０．２５を超える場合に実施される。患者が危機的でない状態にある（したがって、潜在的な手術のエラーを回避することが、段階１の完了の遅延を回避することよりも重要である）場合、介入処置は、通信インターフェース１０７が、アラート信号を出力して、可聴アラームおよび触覚アラームを開始し（外科医がエラーを起こす、許容不可能に高い可能性を外科医に警告し）、さらに、調整信号を出力して、切開が行われるエリアを見るために外科医が使用している動画配信の表示の一時的な中断を開始することを含む（したがって、外科医が切開の継続を妨げられる）。一方、患者が危機的状態にある（したがって、段階１の完了の遅延を回避することが、潜在的な手術のエラーを回避することよりも重要である）場合、介入処置は、通信インターフェース１０７が、アラート信号のみを出力することを含む（したがって、可聴アラームおよび触覚アラームを開始して、外科医がエラーを起こす、許容不可能に高い可能性を外科医に警告するが、動画配信の表示を中断することによって外科医が切開の継続を妨げられることはない）。

【0062】

このケースでは、第２の潜在的エラー事象（動脈損傷）は、可聴アラームおよび触覚アラームを伴うが、一方、第１の潜在的エラー事象（肺損傷）は、可聴アラームのみを伴う。これは、外科医がより迅速に潜在的エラー事象を識別するのに役立ち、また、潜在的エラー事象の相対的な深刻度を反映するために使用され得る。例えば、より深刻な潜在的エラー事象（例えば、このケースでは動脈損傷）は、より多くの数の同時に開始されるアラームタイプ（このケースでは可聴アラームおよび触覚アラームの両方）を伴い得るが、一方、あまり深刻でない潜在的エラー事象（例えば、このケースでは肺損傷）は、より少ない数の同時に開始されるアラームタイプ（このケースでは可聴アラームのみ）を伴い得る。

【0063】

図２の例では、心臓移植の段階２は、外科医が、移植された心臓に血管を接続することを含む。段階２は、２つの潜在的エラー事象に対応付けられている。１つ目は、（０．３５の許容可能なエラーの可能性で）周囲の臓器または筋群に対する損傷であり、２つ目は、（０．２０の許容可能なエラーの可能性で）移植された心臓自体に対する損傷である。

【0064】

第１の潜在的エラー事象（周囲の臓器または筋群損傷）に対して、介入処置は、（外科医の眼の挙動データに基づく）外科医の決定されたエラーの可能性が０．３５を超える場合に実施される。この潜在的エラー事象に対して、それは望ましくはないが、（患者が危機的でない状態にあったとしても）中断される手術に対して十分に深刻な潜在的エラー事象ではない。したがって、このケースでは、危機的でない状態にある患者および危機的状態にある患者の両方に対する介入処置は同じである。すなわち、介入処置は、通信インターフェース１０７が、アラート信号を出力して、損傷の影響を受けやすい（ユーザインターフェース１１５を使用して表示される）周囲の臓器または筋群（このケースでは、これが関心領域である）の一部の手術画像を介して拡張現実（ＡＲ）可視化の重畳を開始することを含む。しかしながら、調整信号は、通信インターフェース１０７によって出力されず、したがって、外科医は、処置の継続を妨げられない（すなわち、処置を継続するか、または休憩を取るかについての決定は、外科医に委ねられる）。重畳されたＡＲ可視化によって示される周囲の臓器または筋群の一部は、外科医の眼の挙動データに基づいて検出され得る。一例では、それは、外科医が所定の静止時間および／または注視頻度値よりも低い静止時間および／または注視頻度を有する部分である。ＡＲ画像可視化は、外科医がエラーを起こす、許容不可能に高い可能性を外科医に警告すると共に、潜在的エラー（すなわち、周囲の臓器または筋群の識別された一部に対する損傷）の性質を外科医に通知する。

【0065】

第２の潜在的エラー事象（移植された心臓損傷）に対して、介入処置は、（外科医の眼の挙動データに基づく）外科医の決定されたエラーの可能性が０．２０を超える場合に実施される。この潜在的エラー事象に対して、それは、（患者が危機的状態にあったとしても）手術が中断されるべきである、十分に深刻な潜在的エラー事象である。したがって、このケースでは、危機的でない状態にある患者および危機的状態にある患者の両方に対する介入処置は同じである。すなわち、介入処置は、通信インターフェース１０７が、アラート信号を出力して、損傷の影響を受けやすい（ユーザインターフェース１１５を使用して表示される）移植された心臓（このケースでは、これが関心領域である）の一部の画像を介して拡張現実（ＡＲ）可視化の重畳を開始し、可聴アラームを開始することを含む。さらに、介入処置は、通信インターフェース１０７が、調整信号を出力して、処置を実行するために外科医によって現在使用されている手術ロボット（例えば、手術ロボット１０９）の動作を中断する（したがって、外科医が処置を進めることを一時的に妨げる）ことを含む。再び、重畳されたＡＲ可視化によって示される移植された心臓の一部は、外科医の眼の挙動データに基づいて検出され得る。一例では、それは、外科医が所定の静止時間および／または注視頻度値よりも低い静止時間および／または注視頻度を有する部分である。ＡＲ画像可視化は、外科医がエラーを起こす、許容不可能に高い可能性を外科医に警告すると共に、潜在的エラー（すなわち、移植された心臓の識別された一部に対する損傷）の性質を外科医に通知する。

【0066】

図２の例では、心臓移植の段階３は、外科医が、手術ロボット１０９を使用して、さらに小さく正確な切開を行うことを含む。外科医は、例えば、ロボットを制御して、ユーザインターフェース１１５を使用して切開を行う（ユーザインターフェース１１５からデータ処理装置１０４を介して手術ロボット１０９に送信されている信号を制御する）。切開が行われているとき、切開の予測経路は、外科医の眼の挙動データに基づいて決定される。例えば、予測経路は、切開を行うために使用されている切断器具（例えば、外科用メス）の現在の位置と、外科医の現在の注視点位置との間で定義された直線であるように決定され得る。切開の予測経路は、切開が行われる患者の体の一部の表示された画像上に重畳されて示されている。段階３は、１つの潜在的エラー事象にのみ対応付けられている。これは、切開の経路に配置された表面下の血管に対する損傷である。そのような状況は、（例えば、集中を失うことにより）外科医が、表面下の血管が切開の予測経路に沿って配置されているときに気付かない場合に生じ得る。潜在的エラー事象の許容可能なエラーの可能性は、０．２５である。したがって、介入処置は、（外科医の眼の挙動データに基づく）外科医の決定されたエラーの可能性が０．２５を超える場合に、段階３の潜在的エラー事象に対して実施される。決定されたエラーの可能性は、切開を行うために使用されている切断器具と、予測切開経路に沿って配置された任意の表面下の血管との間の距離に基づいて決定され得る（距離が大きいほど、決定されたエラーの可能性は低く、距離が小さいほど、決定されたエラーの可能性が高い）。

【0067】

患者が危機的でない状態にある場合、介入処置は、通信インターフェース１０７が、調整信号を出力してロボットを制御し、外科医からの制御命令を上書きすると共に表面下の血管を回避するように切断器具を制御して予測切開経路から逸脱させることを含む。潜在的エラー事象が回避された後に制御を外科医に戻すために、上書きは一時的である。したがって、外科医が潜在的エラー事象を引き起こす可能性が許容不可能に高くなるケース（そのケースでは、ロボットは、エラーを回避するために外科医の制御を一時的に上書きする）を除いて、外科医は、ロボットを制御したままである（外科医が処置の制御を維持し、それによって、患者が、広範囲のタイプの情報を迅速に解釈する外科医の人間的経験および能力から恩恵を受けることを可能にする）。介入処置はまた、通信インターフェース１０７が、アラート信号を出力して、触覚アラームを開始し、損傷し得る（ユーザインターフェース１１５を使用して表示される）表面下の血管（このケースでは、これが関心領域である）の画像を介して拡張現実（ＡＲ）可視化の重畳を開始することを含み得る。そのようなアラート信号の出力は、このケースでは任意選択的である。例えば、アラート信号が出力されるか否かは、予め構成された外科医の好みに依存するか、またはロボットが外科医の制御を上書きする必要がある範囲に依存し得る。後者のケースでは、例えば、ロボットが、（予測切開経路からの比較的小さい潜在的逸脱を意味する）所定の閾値時間よりも少ない時間で外科医の制御を上書きする必要がある場合、アラート信号は出力されない（潜在的逸脱はほんのわずかであるため、外科医がエラーを起こす可能性が増加することを通知されるよりも、ＡＲ可視化および触覚アラームによって外科医が注意を欠くことないことがより有益である）。一方、例えば、ロボットが、（予測切開経路からの比較的大きい潜在的逸脱を意味する）所定の閾値時間よりも多い時間で外科医の制御を上書きする必要がある場合、アラート信号は出力される（潜在的逸脱は大きいため、ＡＲ可視化および触覚アラームによって注意を欠くことがないことよりも、外科医がエラーを起こす可能性が増加することを外科医が通知されることがより有益である）。

【0068】

患者が危機的状態にある場合、介入処置は、通信インターフェース１０７が、調整信号を出力して、ロボットを制御し、外科医からの制御命令を上書きすることを含まない。これにより、外科医は、（広範囲のタイプの情報を解釈する外科医の人間的経験および能力が最も有益であるときに）患者が危機的状態にある間のすべての時間でロボットを制御したままにすることが可能になる。しかしながら、介入処置は、通信インターフェース１０７が、アラート信号を出力して、触覚アラームを開始し、損傷し得る（ユーザインターフェース１１５を使用して表示される）表面下の血管（このケースでは、これが関心領域である）の画像を介して拡張現実（ＡＲ）可視化の重畳を開始することを含む。患者が危機的状態にあるケースでは、アラート信号は、外科医がエラーを起こす可能性が増加することを外科医が通知されることを可能にする（それによって、危機的患者の治療に関して決定を行うときに可能な限り多くの情報を外科医に提供する）ように、通信インターフェース１０７によって常に出力される。

【0069】

したがって、図２の例は、手術のタイプ、手術の現在の段階、手術のタイプまたは手術の現在の段階に対応付けられた潜在的エラー事象、および患者の（例えば、危機的または危機的でない）状態に応じて、異なる許容可能なエラーの可能性がどのように定義され得るか、ならびに異なるタイプの介入処置がどのように実施され得るかを示す。図２は、説明を明確にするために非常に単純な例であり、実際には、記憶媒体１０８に記憶されたデータベースは、多数の手術タイプ（単一の手術タイプ「心臓移植」だけではない）、手術段階、潜在的エラー事象、許容可能なエラーの可能性、および介入タイプを関連付け得ることが理解されるであろう。しかしながら、動作の原理は、説明した通りのままである（差は、それがより大きいデータセットで生じることである）。

【0070】

データベース内の情報は、手術支援システム１００の製造者によって、各許容可能なエラーの可能性の最も適当な値、および製造者によって決定されている各手術タイプまたは手術段階に対する最も適当な介入処置で予め構成され得る。特に、各許容可能なエラーの可能性の値は、各潜在的エラー事象に対して、あまり深刻でないエラーに介入することの潜在的結果に対するエラーの潜在的結果を評価することによって、予め製造者によって決定され得る。この情報は、例えば、過去の手術データを検討することによって決定され得る。代替的に、または追加で、外科医は、（例えば、ユーザインターフェース１１５を使用して、記憶媒体１０８に記憶されたデータベースにアクセスし編集して）自らの個人的な好みに応じて、各手術タイプまたは手術段階に対して、許容可能なエラーの可能性の値および最も適当な介入処置をカスタマイズすることができ得る。

【0071】

前述のように、一例では、外科医は、好適なＧＵＩメニューシステムなどを使用して手術を開始する前に、行われる手術のタイプ（例えば、「心臓移植」）を選択し得る。手術中に、データ処理装置１０４は、１つ以上の様々な方法で、手術の現在の段階（例えば、「段階１」、「段階２」、または「段階３」）を検出する（それが、その段階に対して、適当な潜在的エラー事象および対応付けられた許容可能なエラーの可能性ならびに介入タイプを検索することを可能にする）ように構成され得る。

【0072】

一例では、ユーザ（例えば、外科医、または手術チームの別のメンバー）は、処置が新しい段階に進むごとにシステムを手動で更新し得る。これは、例えば、ユーザインターフェース１１５を介して（例えば、ＧＵＩメニューシステムなどで示される現在の処置の段階のリストから現在の段階を選択することによって）、またはオーディオ監視システム１１４を介して（例えば、処置の所望の段階を一意に識別し、オーディオ監視システム１１３によってピックアップされ、データ処理デバイス１０４によって認識可能である、１つ以上の単語などの所定のコマンドを言うことによって）行われ得る。

【0073】

別の例では、データ処理デバイス１０４は、処置の現在の段階を自動的に検出するように構成されている。一例では、これは、好適な機械視覚画像比較技術を使用して行われる（そのような方法は、当該技術分野で既知であり、したがって、ここでは詳細に論じない）。処置中の規則的な間隔で、画像は、外部および／または内部カメラシステム１１０、１１１によってキャプチャーされ、キャプチャー画像の１つ以上の特性は、手術の以前の事例の画像の各々の対応する１つ以上の特性と比較される。外科処置の以前の事例の各画像は、手術の以前の事例の特定の段階でキャプチャーされた既知の画像である。キャプチャー画像との最も近い一致を伴う手術の以前の事例の画像の特定の段階は、処置の現在の段階であるように決定される。一例では、キャプチャー画像、および比較される処置の以前の事例の画像の各々の１つ以上の特性は、機械学習分類技術を使用して決定される。すなわち、処置の以前の事例の各画像は、処置の特定の段階に属するものとして手動で分類され、機械学習アルゴリズムは、処置の他の段階に属する画像からその画像を区別する１つ以上の特性を自動的に決定する。次いで、それらの１つ以上の特性は、新しいキャプチャー画像の可能性のある分類を決定するために、（分類が不明である）新しいキャプチャー画像で分析される。

【0074】

したがって、例えば、図２の心臓移植手術に対して、段階１、段階２、および段階３の各々に対する少なくとも１つの画像がキャプチャーされており、心臓移植処置の１つ以上の以前の事例に対して人間ユーザによって「段階１」、「段階２」、または「段階３」として手動で分類されている。機械学習アルゴリズムは、その画像が対応付けられた特定の段階を示すこれらの画像の各々の１つ以上の特性を自動的に決定している。すなわち、画像を与えられ、分類を手動で適用された機械学習アルゴリズムは、「段階２」または「段階３」画像から「段階１」画像を区別する１つ以上の特性、「段階１」または「段階３」画像から「段階２」画像を区別する１つ以上の特性、および「段階１」または「段階２」画像から「段階３」画像を区別する１つ以上の特性を自動的に決定する。図２の処置中に、以前にキャプチャーされた「段階１」、「段階２」、および「段階３」画像の１つ以上の特性に基づいて、画像が「段階１」、「段階２」、または「段階３」である可能性が最も高いか否かを決定するために、外部または内部カメラシステム１１０、１１１によってキャプチャーされる各画像が分析される。次いで、画像が対応付けられる可能性が最も高い段階は、処置の現在の段階であるように決定される。

【0075】

様々な機械学習アルゴリズムは、当該技術分野で既知であり、したがって、ここでは詳細に論じない。処置の以前の事例の様々な段階の画像の数が多くなるほど、およびそれらの画像が生成される処置の以前の事例の数が多くなるほど、現在の処置の現在の段階の決定は、信頼性がより高くなることが理解されるであろう。以前の画像はまた、例えば、（現在の処置のキャプチャー画像に対する画角および／または照明条件は、処置の異なる事例に対して異なる可能性が高いため）処置の現在の段階の信頼性がより高い決定を提供するのに役立てるために、異なる角度から、および／または異なる照明条件下でキャプチャーされ得る。現在の処置の新しいキャプチャー画像の分析に対する処置の以前の事例の画像の１つ以上の特性を示すデータは、例えば、記憶媒体１０８に記憶される。

【0076】

実施形態では、手術の現在の段階の自動的な決定は、処置中に外科医（または手術チームの別のメンバー）によって手動で確認され得る。これは、処置の現在の段階の誤った決定（例えば、「段階２」が実際に実行されているときに「段階３」と誤って決定することは、不正確な、潜在的エラー事象、許容可能なエラーの可能性、および／または介入処置が適用され得ることを意味する）によって起きる手術のエラーのリスクを軽減するのに役立つ。一例では、この手動の確認は、ユーザインターフェース１１５および／またはオーディオ監視システム１１２を介して確認コマンドを入力することを含む。例えば、ユーザインターフェース１１５は、メッセージ「自動的な処置段階検出は、Ｘです。確認のためＯＫを押すか確認と言ってください」（ここで、Ｘは、段階の名前、例えば、図２の例示的な処置に対する「段階１」、「段階２」、または「段階３」）を表示する。ユーザが「ＯＫ」（例えば、「ＯＫ」は、ユーザインターフェース１１５のタッチスクリーン上に表示される仮想ボタンである）を押すか、または「確認」（これは、オーディオ監視システム１１３によってピックアップされる）と声を出して言う場合、データ処理装置１０４は、それが現在の手術段階を正確に決定したことを認識する。一方、ユーザが所定の制限時間内（例えば、５秒または１０秒）にこの確認動作を実行しない場合、データ処理装置１０４は、処置の自動的に決定された現在の段階を信頼するのではなく、代わりに、処置の現在の段階を手動で選択させるためにユーザからのさらなる入力を待つ。

【0077】

現在の処置の新しいキャプチャー画像の１つ以上の特性と、処置の以前の事例の１つ以上の画像の１つ以上の対応する特性との間の比較に基づいて、処置の現在の段階を自動的に決定することのコンセプトは、手術の現在および以前の事例中に収集され得る他のタイプの手術データに適用され得る。例えば、これは、（ｉ）（例えば、関節のアクチュエータによるアームの移動から）手術ロボットによって生成される手術データ、（ｉｉ）患者監視システムによって生成される手術データ、（ｉｉｉ）（手術チームのメンバー間の口頭の意思疎通、可聴機械アラームなどを含む）手術の現在および以前の事例中にオーディオ監視システム１１３によって収集されるオーディオデータ、ならびに／または（ｉｖ）外科医監視システム１１４によって生成される手術データに適用され得る。また、インサフレータ（図示せず）またはエネルギーデバイスの制御データも、例えば、手術の現在の段階を識別するために使用され得る。

【0078】

異なるタイプの手術データは、行われる手術の特定の段階を示す手術中の特定の事象の発生を独立して確認するために使用され得る。一例では、外部および／または内部カメラシステム１１０、１１０によってキャプチャーされる画像における画像認識と、器具が表面上で静止しているときとは対照的に、ピックアップされると手術データとしての信号を通信インターフェース１０７に出力する当該器具上の監視デバイス（例えば、外科医監視システム１１４の一部を形成する加速度計）と、の両方を使用して、処置中の任意の所与の時間で外科医によって使用される器具は検出され得る。器具の特定の組み合わせの使用は、（例えば、記憶媒体１０８に記憶されたデータベースで）処置の特定の段階にマッピングされ、それによって、その段階の発生が検出されることを可能にする。

【0079】

実施形態では、眼の挙動データに加えて、（外部および／もしくは内部カメラシステム１１０、１１１によってキャプチャーされる画像における画像認識の使用により、ならびに／または外科医の移動を示す手術データとしての信号を出力する、外科医が身につける監視デバイス（例えば、加速度計）を備える外科医監視システム１１４により、検出されるような）外科医の動作および／またはボディランゲージもまた、外科医がエラーを起こす可能性を決定するのに役立てるために使用され得る。例えば、監視デバイスによって出力される手術データが、外科医が、（外科医によって使用される器具によって示されるような）予期された動作から、または安全な手術行為に対応付けられた特定のボディランゲージから逸脱していることを示す場合、（例えば、安全な手術行為からのより大きい逸脱に対してより大きく、安全な手術行為からのより小さい逸脱に対してより小さい）好適なスケーリング因子は、これを考慮に入れるように決定されたエラーの可能性に適用される。

【0080】

実施形態では、データ処理装置１０４は、外科医の取得された眼の挙動データ、および手術で外科医がエラーを起こす所定の可能性に対応付けられた所定の眼の挙動データを比較するように動作可能である。データ処理装置１０４は、所定の眼の挙動データに対応付けられた所定の可能性、および外科医の取得された眼の挙動データと、所定の眼の挙動データとの間の比較の結果を使用して、手術で外科医がエラーを起こす可能性を決定するように動作可能である。

【0081】

一例では、多数の眼の挙動パラメータの各々の値が監視される。例えば、眼の挙動パラメータである関心領域における静止時間、関心領域における注視頻度、サッケード速度および／またはサッケード距離、関心領域が見落とされているか否か、ならびに外科医の瞳孔拡張のうちの１つ以上が監視される。一例では、関心領域は、所定のサイズおよび形状の外科医の視野の一部であり、外科医の視野内の所定の場所にある。別の例では、関心領域は、好適な画像認識技術に基づいて検出される。

【0082】

（眼の挙動監視装置１０１によって収集される眼の挙動データ内に含まれる）眼の挙動パラメータの各々の値は、そのパラメータに対応付けられたエラーの可能性（パラメータエラーの可能性）を決定するために、その眼の挙動パラメータの１つ以上の所定の値と比較される。所定の眼の挙動パラメータ値は、例えば、閾値であり、特定の眼の挙動パラメータに対応付けられたパラメータエラーの可能性は、その眼の挙動パラメータの監視された値と、その眼の挙動パラメータの１つ以上の閾値との間の関係に依存する。

【0083】

一例では、眼の挙動パラメータは、単一の閾値を有する。例えば、特定の関心領域における静止時間の単一の閾値（例えば、０．５秒）が存在し得る。関心領域における監視された静止時間が、閾値未満（例えば、０．５秒未満）である場合、パラメータエラーの可能性は、１として設定される。一方、関心領域における監視された静止時間が、閾値よりも大きい（例えば、０．５秒よりも大きい）場合、パラメータエラーの可能性は、０として設定される。

【0084】

別の例では、眼の挙動パラメータは、複数の閾値を有する。これにより、より多数のパラメータエラーの可能性を定義することが可能になり、パラメータエラーの可能性は、複数の閾値に対する監視されたパラメータ値の位置に依存する。例えば、特定の関心領域における静止時間は、監視されたパラメータ値の順々に増加するサイズの３つの閾値（例えば、０．２５秒、０．５秒、および０．７５秒）を有し得る。監視された静止時間が、第１の（最も低い）閾値未満（例えば、０．２５秒未満）である場合、パラメータエラーの可能性は、最も高い可能性のある値（例えば、１）であるように決定される。監視された静止時間が、第１の閾値と第２の（次に低い）閾値との間（例えば、０．２５秒～０．５秒）である場合、パラメータエラーの可能性は、より低い値（例えば、０．７５）であるように決定される。監視されたパラメータ値が、第２の閾値と第３の（最も高い）閾値との間（例えば、０．５秒～０．７５秒）である場合、パラメータエラーの可能性は、さらにより低い値（例えば、０．２５）であるように決定される。監視されたパラメータ値が、第３の閾値よりも大きい（例えば、０．７５秒よりも大きい）場合、パラメータエラーの可能性は、最も低い可能性のある値（例えば、０）であるように決定される。

【0085】

閾値の使用は、「関心領域における静止時間」眼の挙動パラメータに対して例示されているが、閾値の使用はまた、外科医がエラーを起こす可能性（例えば、関心領域における注視頻度、サッケード位置および／またはサッケード速度、ならびに瞳孔拡張）に関連する数値の形態を取る任意の他の眼の挙動パラメータに適用され得ることが理解されるであろう。監視された各眼の挙動パラメータに対する特定の閾値、および閾値に対して定義されるパラメータエラーの可能性は、例えば、以前の手術中に記録された外科医の過去の眼の挙動データ、ならびに（各エラーが生じた手術タイプおよび／または段階を含む）それらの以前の手術中に生じたエラーを示すデータに基づいて、各手術タイプおよび／または段階に対応付けられた各潜在的エラー事象に対して予め選択される。好適な機械学習アルゴリズムは、例えば、閾値、および対応付けられたパラメータエラーの可能性を決定するために、このデータセットに適用され得る。一例では、関心領域が見落とされているか否かのパラメータのパラメータエラーの可能性は、（関心領域が見落とされていないケースでは）０、または（関心領域が見落とされているケースでは）１である。

【0086】

（特定の手術タイプおよび／または段階に対して定義される）所与の潜在的エラー事象に対して、監視された眼の挙動パラメータの各々のパラメータエラーの可能性は、（その潜在的エラー事象に対して許容可能なエラーの可能性と比較される）全体的な決定されたエラーの可能性を取得するために適当な方法で組み合わされる。一例では、決定されたエラーの可能性は、監視された眼の挙動パラメータに対して各々決定されるパラメータエラーの可能性の重み付けされた合計である。例えば、５つの眼の挙動パラメータ（例えば、関心領域における静止時間、関心領域における注視頻度、サッケード速度および／またはサッケード距離、関心領域が見落とされているか否か、外科医の瞳孔拡張）が監視されている場合、これらのパラメータの各々に対して決定されるパラメータエラーの可能性は、全体的な決定されたエラーの可能性の値を取得するために、適当な重み付けで加算される。一例では、各パラメータエラーの可能性は、０～１であるように決定される（０は、最も低い可能性のエラーの可能性を示し、１は、最も高い可能性のエラーの可能性を示す）。重み付けは、全体的な決定されたエラーの可能性もまた０～１であるように選択される。例えば、５つの監視されたパラメータが等しく重み付けされる場合、各々の重み付けは、全体的な決定されたエラーの可能性が０～１であることを保証するように０．２である。別の例では、監視されたパラメータのうちの特定の２つは、他の３つの監視されたパラメータよりもエラーを生じることが（例えば、過去の眼の挙動データに基づいて）より明確な場合、特定の２つの監視されたパラメータの重み付けは、他の３つの監視されたパラメータの重み付けよりも高い重み付けを与えられ得る（例えば、より明確な２つのパラメータの各々に対して０．３５の重み付け、３つの他のパラメータの各々に対して０．１の重み付け）。重み付けは、（再び、例えば、過去の眼の挙動データに基づいて）懸念される潜在的エラー事象に対するその眼の挙動パラメータの関連性に応じて各眼の挙動パラメータに対して調整され得る。

【0087】

したがって、実施形態では、特定の潜在的エラー事象に対して監視される各眼の挙動パラメータに対して、パラメータエラーの可能性は、パラメータの監視された値、および（適用可能な場合）監視されたパラメータ値が比較される１つ以上の閾値に基づいて決定される。次いで、全体的な決定されたエラーの可能性は、（例えば、重み付けされた合計として）すべての監視されたパラメータのパラメータエラーの可能性を組み合わせることによって決定される。次いで、全体的な決定されたエラーの可能性は、介入処置が行われるべきか否かを決定するために、潜在的エラー事象に対して定義される許容可能なエラーの可能性と比較される。

【0088】

一実施形態では、瞳孔挙動に関連する眼の挙動パラメータ（例えば、瞳孔拡張ならびにサッケード速度および／またはサッケード距離のパラメータ）は、外科医の集中、疲労などの一般的なレベルを判定するために監視され得る。そのような眼の挙動パラメータは、「集中」または「疲労」パラメータと称され得る。別の実施形態では、眼の追跡に関連する眼の挙動パラメータ（例えば、関心領域における静止時間、関心領域における注視頻度、および関心領域が見落とされているか否かのパラメータ）は、外科医の経験または技術レベルを判定するために監視され得る。そのような眼の挙動パラメータは、「経験」または「技術レベル」パラメータと称され得る。

【0089】

（図２で例示されているように各手術タイプおよび／または段階に対して定義される）各潜在的エラー事象に対して、監視される特定の眼の挙動パラメータ、任意のパラメータ閾値、パラメータ閾値に対応付けられたパラメータエラーの可能性、および全体的な決定されたエラーの可能性を計算するときにパラメータエラーの可能性に適用される重み付けは、予め決定される。これにより、各潜在的エラー事象に対する決定されたエラーの可能性を、最も適当な方法で計算することが可能になる。各潜在的エラー事象に対するこの情報は、手術に先立って決定され、（その潜在的エラー事象に対する許容可能なエラーの可能性および介入処置と共に）記憶媒体１０８でデータベースの一部として記憶される。

【0090】

前述のように、監視される特定の眼の挙動パラメータ、任意のパラメータ閾値、パラメータ閾値に対応付けられたパラメータエラーの可能性、および重み付けは、例えば、既知の結果を有する手術の以前の事例からこの情報を収集することによって決定され得る。好適な機械学習アルゴリズムは、例えば、手術の以前の事例中に測定された眼の挙動パラメータ値のデータ、および手術のそれらの以前の事例の（例えば、患者医療記録に基づく）成功の測定を示すデータ上で使用され得る。そのようなデータは、一般的に、過去のデータと称され得る。

【0091】

これにより、機械学習アルゴリズムは、各手術タイプおよび／または段階の各潜在的エラー事象に対する最も関連する眼の挙動パラメータを学習することが可能になり、したがって、その潜在的エラー事象に対して監視される眼の挙動パラメータを決定することが可能になり、全体的な決定されたエラーの可能性を計算するための各眼の挙動パラメータの関連する重み付けを決定することが可能になる。機械学習アルゴリズムはまた、（関連する場合）潜在的エラー事象発生の可能性が特定の量だけ増加（または減少）する、それらの眼の挙動パラメータの値を決定することを可能にし、それによって、閾値およびそれらの閾値に対応付けられたパラメータエラーの可能性を定義することを可能にする。

【0092】

例えば、心臓移植処置の以前の事例に基づいて、潜在的エラー事象「肺損傷」の発生が、０．５秒未満の患者の肺における静止時間、および５０％を超える瞳孔拡張と強く相互に関連していると判定され得る。同時に、（肺における注視頻度などの）他の眼の挙動パラメータは、潜在的エラー事象「肺損傷」の発生とあまり強く相互に関連していないことが分かっている。このケースでは、眼の挙動パラメータである肺における静止時間および瞳孔拡張は、全体的な決定されたエラーの可能性または潜在的エラー事象を決定するときに、（肺における注視頻度などの）他の眼の挙動パラメータよりも高く重み付けされる。さらに、０．５秒の静止時間閾値が適当であり、瞳孔拡張閾値５０％が最も適当であると判定される。したがって、これらのパラメータの各々に対するパラメータエラーの可能性は、現在の心臓移植処置中に監視される静止時間および瞳孔拡張値を、閾値０．５秒および５０％とそれぞれ比較することによって、現在の心臓移植処置中に決定される。

【0093】

過去のデータはまた、所与のパラメータに対するパラメータエラーの可能性を、そのパラメータの監視された値が関連する閾値と比較されるときに決定するために使用され得る。例えば、過去のデータは、０．５秒未満の肺における静止時間で、エラー発生の可能性が０．５であるが、一方、０．５秒を超える静止時間で、エラー発生の可能性が０．１５であることを示し得る。したがって、これらの値は、決定された閾値０．５秒に対応付けられている。したがって、現在の心臓移植処置では、肺における監視された静止時間が０．５秒未満である場合、潜在的エラー事象「肺損傷」に対するパラメータエラーの可能性は、０．５であるように決定される。一方、肺における監視された静止時間が０．５秒よりも大きい場合、潜在的エラー事象「肺損傷」に対するパラメータエラーの可能性は、０．１５であるように決定される。次いで、この決定されたパラメータエラーの可能性は、（例えば、重み付けされた合計を介して）他の監視された眼の挙動パラメータの各々の決定されたパラメータエラーの可能性と組み合わされ、潜在的エラー事象「肺損傷」に対する許容可能なエラーの可能性と比較される。図２の例では、介入処置は、決定されたエラーの可能性が０．２５の許容可能なエラーの可能性を超える場合に行われる。

【0094】

各潜在的エラー事象に対して、（静止時間および注視頻度などの眼の挙動パラメータの値が計算される）関心領域は、外科医の注視点（すなわち、外科医が見ている空間内の場所）が関心領域上にある場合にそれが検出され得るように予め決定される。関心領域は、異なる潜在的エラー事象に対して異なり得る。例えば、潜在的エラー事象「肺損傷」に対して、関心領域は、患者の肺である。一方、潜在的エラー事象「動脈損傷」に対して、関心領域は、患者の動脈である。

【0095】

外科医の視野内の物体は、外科医が所与の時間で見ている物体が決定されることを可能にするように、予め外科医の視野内の対応する位置にマッピングされる。例えば、外科医が患者のライブのビデオ画像（例えば、画像は、外部または内部カメラシステム１１０、１１１によってキャプチャーされ、通信インターフェース１０７に送信され、次いで、通信インターフェース１０７から送信されてユーザインターフェース１１５のスクリーン上で表示される）を見ている場合、ライブのビデオ画像の視野は、外科医の視野であるように決定され、外科医が見ている、ビデオが表示されるスクリーンの領域は、外科医の注視点位置であるように決定される。（当該技術分野で既知の）好適な画像認識技術は、（任意の関心領域を含む）画像内の関連する物体および各物体のスクリーン上の位置を検出するために、データ処理装置１０４によって使用される。（眼の挙動監視装置１０１によって決定されるような）スクリーン上の外科医の注視点位置が、スクリーン上で、検出された物体の位置と重複するとき、外科医は検出された物体を見ていると判定される。

【0096】

外科医の視野内の物体（特に、関心領域、例えば、患者の肺または動脈）は、例えば、好適な機械学習アルゴリズムを使用して（例えば、肺、動脈などの）画像が分類される、以前の完了した機械学習プロセスに基づいて、データ処理装置１０４によって認識可能である。したがって、患者の新しいキャプチャー画像内の物体は、以前の機械学習された分類に基づいて検出され得る。一旦、物体が検出されると、（眼の挙動データを使用して）外科医の注視点の位置が、検出された物体の位置と重複するときが決定される。そのような重複が存在するとき、外科医は検出された物体を見ていると判定される。そのような重複が存在しないとき、外科医は検出された物体を見ていないと判定される。このように、検出された物体（例えば、関心領域）における静止時間および注視頻度などの眼の挙動パラメータが決定され得る。

【0097】

実施形態では、眼の挙動監視装置１０１およびユーザインターフェース１１５が組み合わされ得る。例えば、ユーザインターフェース１１５は、（外部または内部カメラシステム１１０、１１１によってキャプチャーされる）手術の画像が表示される（例えば、タッチスクリーンまたはＨＭＤの形態での）ディスプレイを備え得る。（眼の追跡および瞳孔監視データを取得するように、外科医の眼のビデオ画像をキャプチャーするためのさらなるカメラを備える）眼の挙動監視装置１０１は、表示された画像を外科医が見るときに外科医の眼を監視するためにディスプレイに対して適当な位置に取り付けられている。

【0098】

図３は、外科医３００がＨＭＤデバイス３０１を着用している例示的な実施形態を示す。外科医は、手術ロボット１０９のアーム１０９Ａおよび１０９Ｂを制御して患者に対して手術を行うときに、手術を実行して（内部カメラシステム１１１によってキャプチャーされる）患者の体内の画像を見るとき、ＨＭＤデバイス３０１を着用する。ＨＭＤデバイス３０１によって外科医に表示される画像３０５が示されている。ＨＭＤデバイス３０１は、画像３０５を表示するためのディスプレイを備えるだけでなく、ＨＭＤデバイス３０１はまた、眼の挙動監視装置１０１を備える。これにより、任意の所与の時間で外科医が見ている、表示された画像の位置を決定することが可能になる。

【0099】

画像３０５は、複数の部分３０３に分割される。各部分３０３は、外科医が見ているとして記録され得る画像３０５の一部を表す。この例では、領域３０４が検出されている。領域３０４は、複数の画像部分３０３で構成されており、これらの部分に対する外科医の眼球運動が、潜在的エラー事象に対する決定されたエラーの可能性が許容可能なエラーの可能性を超えたことを示していることが検出されている。したがって、介入処置が開始され、ここで、領域３０４は、画像３０５で（例えば、ＡＲオーバーレイとして）強調される。これは、領域３０４内に現れている患者の体の領域でエラーが生じるリスクが許容不可能に高いことを外科医の眼球運動が示していることを外科医に警告する。この介入処置は、（前述のような触覚フィードバックの可聴アラームなどの）１つ以上の他の介入処置を伴い得る。

【0100】

領域３０４の強調は、例えば、その領域における外科医の静止時間が許容不可能に低い場合か、またはその領域における注視頻度が許容不可能に低い場合に生じる。一例では、領域３０４は、潜在的エラー事象に対応付けられており、したがって、決定されたエラーの可能性が比較される、許容可能なエラーの可能性は、その潜在的エラー事象の許容可能なエラーの可能性である。領域３０４は、それが、その潜在的エラー事象に対応付けられた関心領域を含む場合に、潜在的エラー事象に対応付けられ得る。例えば、処置が心臓移植の段階１であり、（関心領域としての）患者の肺が領域３０４内で検出される場合、領域３０４に対応付けられた潜在的エラー事象が「肺損傷」であると判定される。外科医の眼の挙動データに基づいて、決定されたエラーの可能性が、「肺損傷」に対する許容可能なエラーの可能性（例えば、図２によると、０．２５）を超える場合、「肺損傷」に対応付けられた介入処置が開始される。一方、患者の動脈が領域３０４に含まれる場合、領域３０４に対応付けられた潜在的エラー事象は「動脈損傷」であると判定される。外科医の眼の挙動データに基づいて、決定されたエラーの可能性が、「動脈損傷」に対する許容可能なエラーの可能性（例えば、図２によると、０．２５）を超える場合、「動脈損傷」に対応付けられた介入処置が開始される。

【0101】

図４Ａおよび図４Ｂは、心臓移植の段階１の間の例示的な介入処置のより詳細なデモンストレーションを示す。説明を明確にするために、外科医の静止時間の単一の眼の挙動パラメータのみが考慮され、各潜在的エラー事象（このケースでは、「肺損傷」および「動脈損傷」）に対するエラーの可能性を決定するために使用される。しかしながら、実際には、複数の異なる眼の挙動パラメータが同時に監視され、各潜在的エラー事象に対してエラーの可能性を決定するために使用されることが理解されるであろう。

【0102】

このケースでは、外科医は、患者の肺４００と動脈４０４との間に位置する場所４０２で切開を行うことを計画する。外科医は、肺４００、動脈４０４、および切開場所４０２の画像４０１を表示するユーザインターフェース１１５のディスプレイを介して処置を見ている。外科医の眼は、画像４０１の異なるエリア上で（例えば、図３内の部分３０３のような、画像４０１が分割された部分の各々で）外科医の静止時間を決定するために追跡されている。領域４０３は、許容可能な静止時間（例えば、静止時間は、所定の静止時間閾値よりも上である）を有するエリアを示す。領域４０３は、肺４００を含むが、動脈４０４を含まない。したがって、決定されたエラーの可能性は、潜在的エラー事象「肺損傷」に対する許容可能なエラーの可能性よりも低い。しかしながら、決定されたエラーの可能性は、潜在的エラー事象「動脈損傷」に対する許容可能なエラーの可能性よりも上である。このケースでは、説明を容易にするために、潜在的エラー事象「肺損傷」および「動脈損傷」の各々に対する所定の静止時間閾値が同じであることを想定する。

【0103】

これに応答して、介入処置が実行される。このケースでは、介入処置は、外科医が動脈４０４を損傷する可能性が許容不可能に高いことを外科医に警告するために、動脈４０４上に拡張現実投影４０５を中継することを含む。これは、図４Ｂに示される。したがって、外科医は、起こる前に潜在的エラーに気付かされ、外科医が動脈および肺に十分な静止時間を提供することを保証するように自らの行為を調整することができ、したがって、潜在的エラーに対処し、それが生じる可能性を低減する。

【0104】

図５Ａおよび図５Ｂは、「心臓移植」処置の段階３の例を示し、ここで、表面下の血管損傷は、切開経路の自動的な調整を伴う介入処置によって回避される。このケースでは、外科医は、予め計画された予測切開経路５０２Ａに沿って切開５０１を行っている。外科医は、表示された画像５００を介して手術部位を見る。外科医は、手術ロボット１０９によって保持された外科用メス５０３を使用してこれを行う。外科医は、ロボットを制御して、切開を行うために外科用メス５０３を移動させる。予測経路５０２Ａは、表面下の血管５０４を含むことを検出している。外科用メスは、表面下の血管に十分に近い（すなわち、所定の距離未満である）ため、データ処理装置１０４は、外科医が表面下の血管に気付いていない場合があり、したがって、表面下の血管が偶然切断される場合があると判定する。これに応答して、図５Ｂに示すように、予測切開経路５０２Ａは、表面下の血管５０４を回避する新しい切開経路５０２Ｂを提供するように自動的に調整される。予測経路の調整の介入は、例えば、予測切開経路５０２Ａが、新しい切開経路５０２Ｂおよび／または外科医の予め構成された好みに達するように調整される程度に応じて、他の介入（例えば、図２で規定されるような、ＡＲエラー可視化および触覚アラーム）を伴い得る。

【0105】

論じられた介入処置は単なる例であって、他の介入処置が認識されることが理解されるであろう。例えば、ＡＲ投影は、許容不可能に高い決定されたエラーの可能性を有するエリアを識別するだけでなく、ＡＲ投影はまた、介入処置がなぜ開始されたか、および決定されたエラーの可能性を低減して許容可能なレベルに戻すために行われ得ることについて助言するのに役立てるために、追加の情報を外科医に提供し得る。例えば、介入処置が、ＡＲ投影を表示することを含む場合、ＡＲ投影は、潜在的エラー事象に対応付けられた画像の一部を示すだけでなく、ＡＲ投影はまた、（例えば、テキストまたは所定のカラーコーディングスキームを使用して）ＡＲ投影がなぜ示されているかを外科医に示し得る。例えば、ＡＲ投影が、不十分な静止時間のため示されている場合、メッセージ「不十分な静止時間」が、ＡＲ投影の一部として提供される。代替的に、または追加で、ＡＲ投影が、不十分な注視頻度のため示されている場合、メッセージ「不十分な注視頻度」が、ＡＲ投影の一部として提供される。他の介入処置は、例えば、別の人間（例えば、別の外科医）もしくは外科医が支援を求め得る人工知能（Artificial Intelligence：ＡＩ）アシスタントに警告すること、または決定されたエラーの可能性が許容不可能であることが分かった段階が完了するまで手術を引き継ぐ別の人間（例えば、より経験を積んだ外科医）に制御を渡すことをも含む。そのようなシステムは、例えば、手術訓練で有用であり得る。

【0106】

実施形態では、外科医の眼の挙動データに基づいて介入処置を提供するだけでなく、外科医の眼の挙動データはまた、（例えば、外科医の眼の挙動と、能力および／または自信との間の既知の関係を使用して）手術の開始時に外科医の現在の能力および／または自信を判定するために使用され得る。次いで、手術の段階が実行される順序は、（これが可能である処置に対して）外科医の判定された能力および／または自信に基づいて決定される。

【0107】

例えば、処置の開始の前に、外科医は、様々な角度から手術の以前の事例の様々な段階の画像を示され、外科医がこれらの画像を見ている間に、外科医の眼の挙動データが収集される。この眼の挙動データの分析に応答して、データプロセッサ１０４は、高いエラーの可能性に関わっている可能性が高い関連術野のエリアを決定する。（処置のタイプに応じて）可能な場合、外科医は、低いエラーの可能性に対応付けられた領域に関係する先に実行すべき処置の段階を実行するように指示される。これは、開始の成功を処置にもたらす助けとなる。これは、外科医のワークフローを確立するのに役立ち、（高いエラーの可能性に対応付けられた）後段の、より難易度の高い処置に対して外科医の自信を向上させる。データ処理装置１０４は、例えば、外科医の眼の挙動データに基づいて、段階の各々のエラーの可能性を決定し、最も低いエラーの可能性から最も高いエラーの可能性への順序で段階をランク付けすることによって、（これが可能である処置に対して）処置の段階の順序を決定する。次いで、段階は、（最も低いエラーの可能性に対応付けられた段階がまず生じ、首尾よく高いエラーの可能性を有する段階が続くような）このランク付けによって決定された順序で実行される。

【0108】

実施形態では、外科医が、ユーザインターフェース１１５のディスプレイを使用して表示される画像を見ることによって処置を実行し、決定されたエラーの可能性が、所与の潜在的エラー事象に対する許容可能なエラーの可能性を超えるとき、データ処理装置は、ユーザインターフェース１１５を制御して、許容不可能に高いエラーの可能性に対応付けられた、表示された画像の領域のクローズアップ（すなわち、拡大）バージョン（例えば、図４Ａおよび図４Ｂ内の動脈４０４を含む画像４０１の一部、または図５Ａおよび図５Ｂ内の表面下の血管５０４を含む画像５００の一部もしくは一部）を表示し得る。画像で拡大されたこれが表示されるとき、外科医が画像で拡大されたものを見るときの外科医の眼の挙動データが収集される。これは、許容不可能に高いエラーの可能性が対応付けられた画像を拡大した範囲内の、サブ領域を決定することを可能にする。

【0109】

これにより、表示された視野が、許容不可能に高いエラーの可能性が複数の潜在的原因を有するほど十分に広いときに、許容不可能に高いエラーの可能性の特定の原因を決定することが可能になる。例えば、肺４００および動脈４０１の両方を含む画像４０１が表示されるとき、特定の眼の挙動パラメータ（例えば、高いサッケード速度および／または大きなサッケード距離）から、決定されたエラーの可能性が肺または動脈に対応付けられているか否かを判定することが難しい場合がある。（ａ）肺４００を含む画像４０１の領域、および（ｂ）動脈４０４を含む画像４０１の領域の画像で連続して拡大して表示し、連続して表示された、画像での各々の拡大されたものに対して、画像で拡大されたものを見るときの外科医のさらなる眼の挙動分析を実行することによって、肺４００または動脈４０４に対する不確実性のソースを絞り込むことが可能である（例えば、高いサッケード速度および／または大きなサッケード距離が、肺４００の画像で拡大されたものが示されているときに維持されるが、動脈４０４の画像で拡大されたものが示されているときに維持されない場合、高いサッケード速度および／または大きなサッケード距離に対応付けられた、許容不可能に高いエラーの可能性は、動脈４０４よりもむしろ肺４００に関連すると判定される）。これは、同時に、任意の許容不可能に高いエラーの可能性のソースをより正確に決定することを可能にしながら、（外科医がより多数の事象を同時に監視することを可能にするように）手術部位のより広い視野を外科医に提供することを可能にする。

【0110】

実施形態では、表示された画像の領域が、外科医の眼の挙動データに基づいて、許容不可能に高いエラーの可能性に対応付けられているとき、画像（または少なくとも高いエラーの可能性が対応付けられた画像の領域）は、より鮮明な画像（すなわち、起きていることを外科医がより理解しやすい画像）を外科医に提供しようとするために、異なる視覚的特性（例えば、偽のカラー、ライン、シェーディングなどの異なるアプリケーション）で示され得る。複数の異なる所定の視覚的特性（画像効果）は、（データ処理装置１０４によって制御されるように）ユーザインターフェース１１５によって、表示された画像（または関連する画像領域）に連続して適用され得る。各画像効果が適用された後、外科医の眼の挙動データは、エラーの可能性がその適用された効果で減少したか否かを判定するために収集される。異なる効果および対応付けられた眼の挙動データの収集の連続した表示は、介入処置の別の例である（特に、それは、手術を行うために外科医が依存するユーザインターフェース１１５のスクリーン上に表示される画像の調整を表す）。これにより、所定の効果の各々を、エラーの可能性が許容可能なレベルに低減されるまで、画像（または関連する画像領域）に連続して適用することが可能になる。効果のどれもが、エラーの可能性が十分に低減されない結果になる場合、別の介入処置が開始され得る。外科医が画像を理解することをより容易にし、したがって、画像に対応付けられたエラーの可能性を低減するための画像への複数の異なる画像効果の適用は、許容不可能に高いエラーの可能性が、より侵略的な介入処置（例えば、画像の表示の中断、または手術ロボット１０９の動作の中断）が適用される前に潜在的に修正されることを可能にする。これは、外科医のワークフローの中断を軽減するのに役立つ。

【0111】

図６は、本技術の実施形態に係る方法を示す。方法は、ステップ６００で開始する。ステップ６０１で、手術のタイプ（例えば、心臓移植）が決定される。これは、例えば、（前述のように）処置の開始の前にユーザインターフェース１１５を使用して外科医によって手動で選択される。ステップ６０２で、処置中に、処置の現在の段階（例えば、心臓移植の段階１、段階２、または段階３）が決定される。これは、例えば、（前述のように）画像認識に基づいて、データ処理装置１０４によって自動的に実行される。ステップ６０３で、手術の決定された段階に対応付けられた潜在的エラー事象の１つ目（例えば、心臓移植の段階１に対する「肺損傷」）のエラーの可能性が決定される。ステップ６０４で、潜在的エラー事象の決定されたエラーの可能性が、その潜在的エラー事象に対する許容可能なエラーの可能性を超えているか否かが判定される。

【0112】

ステップ６０４で、決定されたエラーの可能性が、許容可能なエラーの可能性を超えていない場合、方法は、ステップ６０９に進み、現在の手術段階が終了したか否かが判定される。現在の手術段階が終了していない場合、方法は、ステップ６０５に進み、手術の現在の段階に対応付けられた次の潜在的エラー事象（例えば、心臓移植の段階１に対する「動脈損傷」）が選択される。次いで、方法は、ステップ６０３に戻り、選択された次の潜在的エラー事象のエラーの可能性が決定される。現在の手術段階が終了した場合、方法は、ステップ６１０に進み、処置が終了したか否かが判定される。処置が終了していない場合、方法は、次の手術段階（例えば、段階１が終了した場合の心臓移植の段階２、または段階２が終了した場合の心臓移植の段階３）が決定されるようにステップ６０２に戻る。次いで、次の手術段階の第１の潜在的エラー事象のエラーの可能性は、ステップ６０３で決定される。処置が終了した場合、方法は、ステップ６１１で終了する。

【0113】

ステップ６０４で、決定されたエラーの可能性が、許容可能なエラーの可能性を超えている場合、方法は、ステップ６０６に進み、患者が危機的状態にあるか否かが判定される。患者が危機的状態にある場合、方法は、ステップ６０７に進み、患者が危機的状態にあるときに行われるように予め構成された介入処置が実行される。患者が危機的状態にないと判定される場合、方法は、ステップ６０８に進み、患者が危機的状態にないときに行われるように予め構成された介入処置が実行される。次いで、処置は、ステップ６０９に進む。

【0114】

上述の実施形態は、取得された眼の挙動データに基づいて、外科医がエラーを起こす可能性を決定することに関するが、この原理は、外科医の眼の挙動に基づいて、およびどの介入処置が決定され得るかに基づいて、値が決定され得る任意のパラメータ（介入パラメータ）に拡張され得ることが理解されるであろう。例えば、介入パラメータは、外科医の経験のレベルまたは疲労のレベルを示し得る。外科医の経験のレベルを示す眼の挙動データのケースでは、介入処置は、あまり経験を積んでいない外科医（例えば、外科医の経験を示す、決定された介入パラメータが、所定の閾値未満である外科医）に対して実施され得るが、より経験を積んだ外科医（例えば、外科医の経験を示す、決定された介入パラメータが、所定の閾値よりも大きい外科医）に対して実施されなくてもよい。同様に、外科医の疲労のレベルを示す眼の挙動データのケースでは、介入処置は、より疲労のある外科医（例えば、外科医の疲労を示す、決定された介入パラメータが、所定の閾値よりも大きい外科医）に対して実施され得るが、あまり疲労のない外科医（例えば、外科医の疲労を示す、決定された介入パラメータが、所定の閾値未満である外科医）に対して実施されなくてもよい。外科医のエラーの可能性、外科医の経験のレベル、および／または外科医の疲労のレベルを示すパラメータは、介入パラメータのすべての例である。

【0115】

図７は、実施形態に係る、データ処理装置１０４によって実施される方法を示すフローチャートを示す。方法は、ステップ７００で開始する。ステップ７０１で、通信インターフェース１０７は、眼の挙動監視装置１０１から眼の挙動データを受信する。ステップ７０２で、通信インターフェース１０７は、手術データ生成装置１０９～１１５のうちの１つ以上によって生成される手術データを受信する。ステップ７０３で、プロセッサ１０５は、取得された眼の挙動データを使用して、手術に対応付けられた介入パラメータの値を決定する。ステップ７０４で、プロセッサ１０５は、生成された手術データを使用して、介入パラメータの値の許容可能な範囲を決定する。ステップ７０５で、介入パラメータの決定された値が、介入パラメータの値の決定された許容可能な範囲の外側にあるか否かが判定される。いいえの場合、方法は、ステップ７０７で終了する。はいの場合、方法は、ステップ７０６に進み、通信インターフェース１０７は、手術介入装置（例えば、ユーザインターフェース１１５または手術ロボット１０９）を制御するための信号を出力して、手術の外科医の実行に介入するための介入処置を実行する。次いで、方法は、ステップ７０７で終了する。

【0116】

実施形態では、（例えば、危機的または危機的でない）患者の状態を示す手術データ（例えば、患者監視システム１１２からのデータ）は、所与の処置タイプおよび段階に対する介入タイプの代わりに、またはそれに加えて、許容可能なエラーの可能性（または、より一般的には、介入パラメータの許容可能な範囲）を決定するために使用され得る。例えば、許容可能なエラーの可能性は、危機的でない患者よりも危機的な患者に対してより高くなり得る（それによって、外科医に対して、より自律的であることを可能にする）。患者の状態を示す手術データは、介入処置のタイプ、およびその介入処置がいつ実施されるかを決定するために、任意の好適な方法で使用され得ることが理解されるであろう。

【0117】

本技術のいくつかの実施形態は、以下の番号付けされた項目によって定義される。
（１）
手術を行う外科医の眼の挙動を監視して外科医の眼の挙動データを取得するように動作可能である、眼の挙動監視装置と、
外科医によって実行されている手術に対応付けられた手術データを生成するように動作可能である、手術データ生成装置と、
手術の外科医の実行に介入するための介入処置を実行するように動作可能である、手術介入装置と、
取得された眼の挙動データを使用して、手術に対応付けられた介入パラメータの値を決定し、
生成された手術データを使用して、介入パラメータの値の許容可能な範囲を決定し、かつ
介入パラメータの決定された値が、介入パラメータの値の決定された許容可能な範囲の外側にある場合、手術介入装置を制御して、手術の外科医の実行に介入するための介入処置を実行するように動作可能である、データ処理装置と、を備える、手術支援システム。
（２）
眼の挙動データは、瞳孔監視データおよび眼の追跡データのうちの１つである、項目（１）に記載の手術支援システム。
（３）
介入パラメータは、外科医が手術でエラーを起こす可能性を示し、介入パラメータの値の許容可能な範囲は、外科医が手術でエラーを起こす許容可能な可能性を示す、項目（１）または（２）に記載の手術支援システム。
（４）
データ処理装置は、
外科医の取得された眼の挙動データを、外科医が手術でエラーを起こす所定の可能性に対応付けられた所定の眼の挙動データと比較し、
所定の眼の挙動データに対応付けられた所定の可能性、および外科医の取得された眼の挙動データと、所定の眼の挙動データとの間の比較の結果を使用して、外科医が手術でエラーを起こす可能性を決定するように動作可能である、項目（３）に記載の手術支援システム。
（５）
生成された手術データは、手術のタイプ、手術の現在の段階、および手術の患者の現在の状態のうちの少なくとも１つを示す、項目（４）に記載の手術支援システム。
（６）
データ処理装置は、生成された手術データを使用して、所定の眼の挙動データを選択するように動作可能である、項目（５）に記載の手術支援システム。
（７）
介入処置は、生成された手術データを使用して選択される、項目（５）に記載の手術支援システム。
（８）
介入処置は、外科医が手術でエラーを起こす決定された可能性が、外科医が手術でエラーを起こす外科医の許容可能な可能性を超えることを示すアラート信号を出力することを含む、項目（３）から（７）のいずれか１項に記載の手術支援システム。
（９）
アラート信号は、手術画像が表示されるディスプレイ上に表示される視覚的標示である、項目（８）に記載の手術支援システム。
（１０）
視覚的標示は、手術画像内の関心領域の近辺で重畳される、項目（９）に記載の手術支援システム。
（１１）
介入処置は、外科医によって使用される手術装置に調整信号を提供して、手術で手術機能を実行し、手術でエラーを阻止するために、手術装置を制御して、実行された手術機能を調整することを含む、項目（３）から（１０）のいずれか１項に記載の手術支援システム。
（１２）
データ処理装置は、
取得された眼の挙動データを使用して、決定されているエラーの可能性が対応付けられた外科医の視野の領域を決定し、かつ
外科医の視野の決定された領域の特性に基づいて、介入処置を決定するように動作可能である、項目（３）から（１１）のいずれか１項に記載の手術支援システム。
（１３）
データ処理装置は、
表示のために、外科医が見るための外科医の視野の領域を表す画像を出力し、
眼の挙動監視装置を制御して、外科医が表示された画像を見るときの外科医のさらなる眼の挙動データを取得し、かつ
外科医のさらなる眼の挙動データを使用して、介入処置を決定するように動作可能である、項目（１２）に記載の手術支援システム。
（１４）
データ処理装置は、
取得されたさらなる眼の挙動データを使用して、決定されているエラーの可能性が対応付けられた外科医の視野の領域のサブ領域を決定し、かつ
外科医の視野の領域の決定されたサブ領域の特性に基づいて、介入処置を決定するように動作可能である、項目（１３）に記載の手術支援システム。
（１５）
データ処理装置は、
取得された眼の挙動データを使用して、決定されているエラーの可能性が対応付けられた外科医の視野の領域を決定し、表示のために、外科医が見るための外科医の視野の領域を表す画像を出力し、かつ
眼の挙動装置を制御して、外科医が表示された画像を見るときの外科医のさらなる眼の挙動データを取得するように動作可能であり、
介入処置は、表示された画像の表示特性を調整することと、外科医のさらなる眼の挙動データを使用して、外科医の視野の領域に対応付けられたエラーの可能性を低減する、調整された表示特性を決定することと、を備える、項目（３）から（１４）のいずれか１項に記載の手術支援システム。
（１６）
手術支援システムのためのデータ処理装置であって、手術支援システムは、手術を行う外科医の眼の挙動を監視して外科医の眼の挙動データを取得するように動作可能である、眼の挙動監視装置と、外科医によって実行されている手術に対応付けられた手術データを生成するように動作可能である、手術データ生成装置と、手術の外科医の実行に介入するための介入処置を実行するように動作可能である、手術介入装置と、を備え、データ処理装置は、
取得された眼の挙動データを受信し、
生成された手術データを受信し、
取得された眼の挙動データを使用して、手術に対応付けられた介入パラメータの値を決定し、
生成された手術データを使用して、介入パラメータの値の許容可能な範囲を決定し、かつ
介入パラメータの決定された値が、介入パラメータの値の決定された許容可能な範囲の外側にある場合、手術介入装置を制御するための信号を出力して、手術の外科医の実行に介入するための介入処置を実行するように構成された、回路を備える、データ処理装置。
（１７）
手術支援システムを動作させる方法であって、手術支援システムは、手術を行う外科医の眼の挙動を監視して外科医の眼の挙動データを取得するように動作可能である、眼の挙動監視装置と、外科医によって実行されている手術に対応付けられた手術データを生成するように動作可能である、手術データ生成装置と、手術の外科医の実行に介入するための介入処置を実行するように動作可能である、手術介入装置と、を備え、方法は、
取得された眼の挙動データを受信することと、
生成された手術データを受信することと、
取得された眼の挙動データを使用して、手術に対応付けられた介入パラメータの値を決定することと、生成された手術データを使用して、介入パラメータの値の許容可能な範囲を決定することと、
介入パラメータの決定された値が、介入パラメータの値の決定された許容可能な範囲の外側にある場合、手術介入装置を制御するための信号を出力して、手術の外科医の実行に介入するための介入処置を実行することと、を備える、方法。
（１８）
コンピュータを制御して、項目（１７）に記載の方法を実行するためのプログラム。
（１９）
項目（１８）に記載のプログラムを記憶する記憶媒体。

【0118】

本開示の多くの修正および変化が、上記教示に照らして可能である。したがって、添付の請求項の範囲内で、本開示は、本明細書で具体的に説明されるものとは別の方法で実施され得ることが理解されるべきである。

【0119】

本開示の実施形態が、ソフトウェア制御のデータ処理装置によって少なくとも部分的に実施されているものとして説明されている限り、光学ディスク、磁気ディスク、半導体メモリなどの、そのようなソフトウェアを携える非一時的機械可読媒体はまた、本開示の実施形態を表すように構成されていることが理解されるであろう。

【0120】

明確にするための上記説明は、異なる機能ユニット、回路、および／またはプロセッサを参照して実施形態を説明していることが理解されるであろう。しかしながら、異なる機能ユニット、回路、および／またはプロセッサ間の機能性の任意の好適な分配は、実施形態からそれることなく用いられ得ることが明らかであろう。

【0121】

説明された実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせを含む、任意の好適な形態で実装され得る。説明された実施形態は、任意選択的に、１つ以上のデータプロセッサおよび／またはデジタル信号プロセッサ上で実行するコンピュータソフトウェアとして少なくとも部分的に実装され得る。任意の実施形態の要素および構成要素は、任意の好適な方法で、物理的に、機能的に、かつ論理的に実装され得る。実際、機能性は、単一のユニットで、複数のユニットで、または他の機能ユニットの一部として実装され得る。したがって、開示された実施形態は、単一のユニットで実装され得るか、または異なるユニット、回路、および／もしくはプロセッサ間で物理的にかつ機能的に分配され得る。

【0122】

本開示は、いくつかの実施形態と関連して説明されているが、本明細書に記載される特定の形態に限定されることを意図していない。さらに、特徴は、特定の実施形態と関連して説明されていると思われ得るが、当業者は、説明された実施形態の様々な特徴が、本技術を実施するのに好適な任意の方法で組み合わされ得ることを認識するであろう。

【参照】

【0123】

【非特許文献1】Tien, T., Pucher, P.H., Sodergren, M.H. et al. Surg Endosc (2015) 29: 405. https://doi.org/10.1007/s00464-014-3683-7

【非特許文献2】Tim Stockdale “World’s first study of rider’s eye movements could reveal the key to show jumping success”http://www.timstockdale.com/worlds-first-study-of-riders-eye-movements-could-reveal-the-key-to-show-jumping-success/

【非特許文献3】SUNY Downstate Medical Center. "Novice pilots improve visual responses to simulation by watching experts' eye movements: Eye movements reliably distinguish between novice and expert military pilots." ScienceDaily. ScienceDaily、２０１７年１１月２７日。 <www.sciencedaily.com/releases/2017/11/171127152038.htm>

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【国際調査報告】