特許 7297796 グラフィカルユーザインタフェースを有する手術用器具を利用するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-16

(45)【発行日】2023-06-26

(54)【発明の名称】グラフィカルユーザインタフェースを有する手術用器具を利用するためのシステム及び方法

(51)【国際特許分類】

   A61B 34/10 20160101AFI20230619BHJP

   A61B 34/20 20160101ALI20230619BHJP

   G06F 3/01 20060101ALI20230619BHJP

【ＦＩ】

A61B34/10

A61B34/20

G06F3/01 570

G06F3/01 510

【請求項の数】 12

(21)【出願番号】P 2020565763

(86)(22)【出願日】2019-05-22

(65)【公表番号】

(43)【公表日】2021-09-24

(86)【国際出願番号】 IB2019054241

(87)【国際公開番号】W WO2019224745

(87)【国際公開日】2019-11-28

【審査請求日】2022-02-18

(31)【優先権主張番号】62/675,494

(32)【優先日】2018-05-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】319008904

【氏名又は名称】アルコン インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100160705

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】ペーター ツィーガー

(72)【発明者】

【氏名】マルティン グリューンディグ

【審査官】山口 賢一

(56)【参考文献】

【文献】国際公開第２０１６／１８２６１１（ＷＯ，Ａ１）

【文献】特開平０８－１６４１４８（ＪＰ，Ａ）

【文献】米国特許出願公開第２００１／００３６２４５（ＵＳ，Ａ１）

【文献】国際公開第２００５／００１６７９（ＷＯ，Ａ１）

【文献】特開２０１４－１５７５１５（ＪＰ，Ａ）

【文献】特開２００７－３３０３４７（ＪＰ，Ａ）

【文献】特開２０１３－２１５２５８（ＪＰ，Ａ）

【文献】特表２００４－５３０４８５（ＪＰ，Ａ）

【文献】国際公開第０２／１００２８５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／１０

Ａ６１Ｂ ３４／２０

Ａ６１Ｂ ３４／００

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

システムにおいて、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに接続され、命令であって、前記少なくとも１つのプロセッサにより実行されると、前記システムに：
ディスプレイを介して少なくとも１つのアイコンを含むグラフィカルユーザインタフェースを表示させ、
イメージセンサを介して取得し、ポインタとして利用される手術用器具を含む第一の画像を受信させ、
前記第一の画像及び前記手術用器具のデジタルモデルから、前記第一の画像の中で前記手術用器具の第一の位置を特定させ、
前記グラフィカルユーザインタフェースのカーソルを、前記第一の画像の中の前記第一の位置に関連付けられる第二の位置に表示させ、
前記イメージセンサを介して取得し、前記グラフィカルユーザインタフェースのアイコンを選択するために利用される前記手術用器具の移動パターンを含む第二の画像を受信させ、
前記第二の画像及び前記手術用器具のデジタルモデルから、前記第二の画像の中で前記手術用器具の第三の位置を特定させ、
前記グラフィカルユーザインタフェースの前記カーソルを、前記第二の画像の中の前記第三の位置に関連付けられる第四の位置に表示させ、
前記少なくとも１つのアイコンの座標が前記第四の位置の座標を含む場合に、ユーザによる前記少なくとも１つのアイコンの選択を示すユーザ入力を受信させ、
前記ユーザ入力が、前記少なくとも１つのアイコンの前記座標が前記第四の位置の座標を含む場合の前記少なくとも１つのアイコンの前記選択を示すことを特定させ、
前記ユーザ入力が前記選択を示すことを特定したことに応答して、前記グラフィカルユーザインタフェースにより表示されるデータを変更させる
命令を含むメモリ媒体と、
を含み、
前記選択を示す前記ユーザ入力を受信するために、前記命令はさらに、前記システムに前記イメージセンサを介して取得した複数の画像を受信させ、
前記ユーザ入力が前記選択を示すことを特定するために、前記命令はさらに、前記システムに、少なくとも前記デジタルモデルと前記複数の画像とに基づいて、移動パターンが、前記少なくとも１つのアイコンの前記選択を示すために利用される、前記手術用器具の登録された移動に対応するかどうかを特定させる、
システム。

【請求項2】

前記選択を示す前記ユーザ入力を受信するために、前記命令はさらに、前記イメージセンサを介して取得し、前記イメージセンサに対する前記手術用器具の距離の変化を示すために利用される前記手術用器具を含む第三の画像を前記システムに受信させ、
前記ユーザ入力が前記選択を示すことを特定するために、前記命令はさらに、前記システムに、少なくとも前記第二及び第三の画像並びに前記デジタルモデルに基づいて、前記イメージセンサまでの前記手術用器具の距離の変化を示す、前記グラフィカルユーザインタフェースの中の前記手術用器具に関連付けられるピクセルの数の変化を特定させる、
請求項１のシステム。

【請求項3】

前記命令はさらに、前記システムに：
少なくとも前記複数の画像に基づいて、前記移動パターンが、前記少なくとも１つのアイコンの前記選択を示すために利用される、前記手術用器具の前記登録された移動に対応するかどうかを特定させる、
請求項１のシステム。

【請求項4】

前記命令はさらに、前記システムに：
前記メモリ媒体を介して、前記ユーザ入力が前記選択を示すことを特定したことに応答して、前記第一の画像、前記第二の画像、又は第三の画像の少なくとも一部を保存させる、
請求項１のシステム。

【請求項5】

前記命令はさらに、前記システムに：
手術に関連付けられるワークフローを前記ワークフローの次のステップへと進めさせる、
請求項１のシステム。

【請求項6】

ディスプレイ内蔵顕微鏡
をさらに含み、
前記ディスプレイ内蔵顕微鏡は前記ディスプレイを含む、
請求項１のシステム。

【請求項7】

少なくとも１つの非一時的コンピュータ可読記憶媒体において、命令であって、請求項１から請求項６の何れか１項に記載のシステムの前記プロセッサにより実行されると、前記システムに：
ディスプレイを介して少なくとも１つのアイコンを含むグラフィカルユーザインタフェースを表示させ、
前記イメージセンサを介して取得した前記第一の画像を受信させ、
前記第一の画像及び手術用器具のデジタルモデルから、前記第一の画像の中で前記手術用器具の第一の位置を特定させ、
前記グラフィカルユーザインタフェースのカーソルを、前記第一の画像の中の前記第一の位置に関連付けられる第二の位置に表示させ、
前記イメージセンサを介して取得した前記第二の画像を受信させ、
前記第二の画像及び前記手術用器具のデジタルモデルから、前記第二の画像の中で前記手術用器具の第三の位置を特定させ、
前記グラフィカルユーザインタフェースの前記カーソルを、前記第二の画像の中の前記第三の位置に関連付けられる第四の位置に表示させ、
前記少なくとも１つのアイコンの座標が前記第四の位置の座標を含む場合に、ユーザによる前記少なくとも１つのアイコンの選択を示すユーザ入力を受信させ、
前記ユーザ入力が、前記少なくとも１つのアイコンの前記座標が前記第四の位置の座標を含む場合の前記少なくとも１つのアイコンの前記選択を示すことを特定させ、
前記ユーザ入力が前記選択を示すことを特定したことに応答して、前記グラフィカルユーザインタフェースにより表示されるデータを変更させる
命令を含み、
前記選択を示す前記ユーザ入力を受信するために、前記命令はさらに、前記システムに前記イメージセンサを介して取得した複数の画像を受信させ、
前記ユーザ入力が前記選択を示すことを特定するために、前記命令はさらに、前記システムに、少なくとも前記デジタルモデルと前記複数の画像に基づいて、移動パターンが、前記少なくとも１つのアイコンの前記選択を示すために利用される、前記手術用器具の前記登録された移動に対応するかどうかを特定させる、
少なくとも１つの非一時的コンピュータ可読記憶媒体。

【請求項8】

前記選択を示す前記ユーザ入力を受信するために、前記命令はさらに、前記システムに前記イメージセンサを介して取得した第三の画像を受信させ、
前記ユーザ入力が前記選択を示すことを特定するために、前記命令はさらに、前記システムに、少なくとも前記第二の画像及び前記第三の画像並びに前記デジタルモデルに基づいて、前記イメージセンサまでの前記手術用器具の距離の変化を示す、前記グラフィカルユーザインタフェースの中の前記手術用器具に関連付けられるピクセルの数の変化を特定させる、
請求項７の少なくとも１つの非一時的コンピュータ可読記憶媒体。

【請求項9】

前記命令はさらに、前記システムに：
前記イメージセンサを介して取得した複数の画像を受信させ、
少なくとも前記複数の画像に基づいて、前記移動パターンが、前記少なくとも１つのアイコンの前記選択を示すために利用される、前記手術用器具の前記登録された移動に対応するかどうかを特定させる、
請求項７の少なくとも１つの非一時的コンピュータ可読記憶媒体。

【請求項10】

前記命令はさらに、前記システムに：
前記メモリ媒体を介して、前記ユーザ入力が前記選択を示すことを特定したことに応答して、前記第一の画像、前記第二の画像、又は第三の画像の少なくとも一部を保存させる、
請求項７の少なくとも１つの非一時的コンピュータ可読記憶媒体。

【請求項11】

前記命令はさらに、前記システムに：
手術に関連付けられるワークフローを前記ワークフローの次のステップへと進めさせる、
請求項７の少なくとも１つの非一時的コンピュータ可読記憶媒体。

【請求項12】

請求項１から請求項６の何れか１項に記載のシステムを用いた方法において、
ディスプレイを介して少なくとも１つのアイコンを含むグラフィカルユーザインタフェースを表示するステップと、
前記イメージセンサを介して取得した前記第一の画像を受信するステップと、
前記第一の画像及び手術用器具のデジタルモデルから、前記第一の画像の中で前記手術用器具の第一の位置を特定するステップと、
前記グラフィカルユーザインタフェースのカーソルを、前記第一の画像の中の前記第一の位置に関連付けられる第二の位置に表示するステップと、
前記イメージセンサを介して取得した前記第二の画像を受信するステップと、
前記第二の画像及び前記手術用器具のデジタルモデルから、前記第二の画像の中で前記手術用器具の第三の位置を特定するステップと、
前記グラフィカルユーザインタフェースの前記カーソルを、前記第二の画像の中の前記第三の位置に関連付けられる第四の位置に表示するステップと、
前記少なくとも１つのアイコンの座標が前記第四の位置の座標を含む場合に、ユーザによる前記少なくとも１つのアイコンの前記選択を示すユーザ入力を受信するステップと、
前記ユーザ入力が、前記少なくとも１つのアイコンの前記座標が前記第四の位置の座標を含む場合の前記少なくとも１つのアイコンの前記選択を示すことを特定するステップと、
前記ユーザ入力が前記選択を示すことを特定する前記ステップに応答して、前記グラフィカルユーザインタフェースにより表示されるデータを変更するステップと、
を含み、
前記選択を示すユーザ入力を受信する前記ステップは、前記イメージセンサを介して取得した第三の画像を受信するステップを含み、
前記ユーザ入力が前記選択を示すことを特定する前記ステップは、少なくとも前記第二の画像及び前記第三の画像並びに前記デジタルモデルに基づいて、前記イメージセンサまでの前記手術用器具の距離の変化を示す、前記グラフィカルユーザインタフェースの中の前記手術用器具に関連付けられるピクセルの数の変化を特定するステップを含み、
前記選択を示す前記ユーザ入力を受信する前記ステップは、前記イメージセンサを介して取得した複数の画像を受信するステップを含み、
前記ユーザ入力が前記選択を示すことを特定する前記ステップは、少なくとも前記デジタルモデル及び前記複数の画像に基づいて、前記移動パターンが、前記少なくとも１つのアイコンの前記選択を示すために利用される、前記手術用器具の前記登録された移動に対応するかどうかを特定するステップを含み、
さらに、
前記メモリ媒体を介して、前記ユーザ入力が前記選択を示すことを特定する前記ステップに応答して、前記第一の画像、前記第二の画像、又は前記第三の画像の少なくとも一部を保存するステップと、
手術に関連付けられるワークフローを前記ワークフローの次のステップへと進めるステップと、
を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、医療処置における品質保証に関し、より詳しくは、医療処置又は医療処置のプロセス要素で患者情報を認証するためのシステム及び方法に関する。

【背景技術】

【0002】

コンピュータシステムは、手術において外科医を支援することができる。コンピュータシステムは、グラフィカルユーザインタフェースを提供する。しかしながら、滅菌環境では、コンピュータシステムとのインタフェース等の滅菌されていない器具に外科医が容易に触れることはできない。現在、外科医にはコンピュータシステムとのインタフェースを操作するための別の可能性があり、これはフットペダル、手術助手（縦えば、医療従事者）、タッチスクリーン及び／又はキーボードを操作するための使い捨て用具（例えば、綿棒）である。これらの解決策は、エラーを生じやすい可能性があり、誤った入力につながりかねない。例えば、コンピュータシステムとのやり取り中、外科医は自分の手及び／又は顔を患者からコンピュータシステムインタフェースへと物理的に動かして、自分のコンピュータシステムへの入力が正しいことを確認しなければならないかもしれない。このことによって手術中に注意散漫となり得、それが思いがけない、及び／又は有害な結果を招く可能性がある。

【発明の概要】

【課題を解決するための手段】

【0003】

本開示は、ディスプレイを介して少なくとも１つのアイコンを含むグラフィカルユーザインタフェースを表示し、イメージセンサからの第一の画像を受信し、第一の画像及び手術用器具のデジタルモデルから、第一の画像の中で手術用器具の第一の位置を特定することのできるシステムを提供する。例えば、ポインタとして利用される手術用器具としては、外科用メス、綿棒、ピンセット等が含まれてよい。システムは、グラフィカルユーザインタフェースを表示するディスプレイを含んでいてもよく、又はそれに接続されていてもよい。システムはディスプレイ内蔵顕微鏡を含んでいてよく、これはディスプレイを含み、それがグラフィカルユーザインタフェースを表示する。システムはさらに、グラフィカルユーザインタフェースのカーソルを、第一の位置に関連付けられる第二の位置に表示してよい。システムはさらに、イメージセンサからの第二の画像を受信し、第二の画像及び手術用器具のデジタルモデルから、第二の画像の中で手術用器具の第三の位置を特定し、グラフィカルユーザインタフェースのカーソルを、第三の位置に関連付けられる第四の位置に表示してよい。システムはさらに、少なくとも１つのアイコンの座標が第四の位置を含んでいる間の選択を示すユーザ入力を受信してよい。例えば、選択はアイコンの選択を示してよい。システムはさらに、ユーザ入力が、少なくとも１つのアイコンの座標が第四の位置を含んでいる間の選択を示すことを特定し、ユーザ入力が選択を示すことを特定したことに応答して、グラフィカルユーザインタフェースにより表示されるデータを変更してよい。例えば、グラフィカルユーザインタフェースの画像データは、手術に関連付けられるワークフローの次のステップに関連して変更されてよい。他の例として、ユーザ入力が選択を示すことを特定したことに応答して、第一の画像、第二の画像、又は第三の画像の少なくとも一部が保存されてよい。画像データはメモリ媒体を介して保存されてもよい。

【0004】

本開示は、システムのプロセッサにより実行されると、システムに上記のステップを実行させる命令を含む非一時的コンピュータ可読メモリデバイスをさらに含んでよい。本開示は、以下のような追加の特徴のうちの１つ又は複数を備える上述のようなシステム又は非一時的コンピュータ可読メモリデバイスをさらに含み、これは明確に相互に排他的でないかぎり、相互に組み合わせて使用されてよい：ｉ）プロセッサが命令を実行すると、システムはさらに、ディスプレイを介して少なくとも１つのアイコンを含むグラフィカルユーザインタフェースを表示できてよく、ｉｉ）プロセッサが命令を実行すると、システムはさらに、イメージセンサからの第一の画像を受信できてよく、ｉｉｉ）プロセッサが命令を実行すると、システムはさらに、第一の画像及び手術用器具のデジタルモデルから、第一の画像内で手術用器具の第一の位置を特定できてよく、ｉｖ）プロセッサが命令を実行すると、システムはさらに、グラフィカルユーザインタフェースのカーソルを第一の位置に関連付けられる第二の位置に表示できてよく、ｖ）プロセッサが命令を実行すると、システムはさらに、イメージセンサからの第二の画像を受信できてよく、ｖｉ）プロセッサが命令を実行すると、システムはさらに、第二の画像及び手術用器具のデジタルモデルから、第二の画像内で手術用器具の第三の位置を特定できてよく、ｖｉｉ）プロセッサが命令を実行すると、システムはさらに、グラフィカルユーザインタフェースのカーソルを第三の位置に関連付けられる第四の位置に表示できてよく、ｖｉｉ）プロセッサが命令を実行すると、システムはさらに、少なくとも１つのアイコンの座標が第四の位置を含んでいる間の選択を示すユーザ入力を受信できてよく、ｉｘ）プロセッサが命令を実行すると、システムはさらに、ユーザ入力が少なくとも１つのアイコンの座標が第四の位置を含んでいる間の選択を示すことを特定できてよく、ｘ）プロセッサが命令を実行すると、システムはさらに、ユーザ入力が選択を示すことを特定したことに応答して、グラフィカルユーザインタフェースにより表示されたデータを変更できてよく、ｘｉ）システムが選択を示すユーザ入力を受信すると、システムはさらに、イメージセンサからの第三の画像を受信できてよく、ｘｉｉ）システムがユーザ入力が選択を示すことを特定すると、システムはさらに、少なくとも第二及び第三の画像並びにデジタルモデルに基づいて、イメージセンサまでの手術用器具の距離の変化を示す、手術用器具に関連付けられるピクセルの数の変化を特定できてよく、ｘｉｉｉ）システムが選択を示すユーザ入力を受信すると、システムはさらに、イメージセンサからの複数の偽造を受信できてよく、ｘｖ）システムがユーザ入力が選択を示すことを特定すると、システムはさらに、少なくともデジタルモデル及び複数の画像に基づいて、選択を示す手術用器具の移動に関連付けられる移動パターンを特定できてよく、ｘｖｉ）プロセッサが命令を実行すると、システムはさらに、少なくとも複数の画像に基づいて、選択を示す手術用器具の移動に関連付けられる移動パターンを特定できてよく、ｘｖｉｉ）プロセッサが命令を実行すると、システムはさらに、ユーザ入力が選択を示すことを特定したことに応答して、メモリ媒体を介して、第一の画像、第二の画像、又は第三の画像の少なくとも一部を保存できてよく、ｘｖｉｉｉ）プロセッサが命令を実行すると、システムはさらに、手術に関連付けられるワークフローをワークフローの次のステップへと進めることができてよい。

【0005】

上記のシステムの何れも、上記の方法の何れでも実行できてよく、上記の非一時的コンピュータ可読メモリデバイスの何れも、システムに上記の方法の何れでも実行させることができてよい。上記の方法の何れも、上記のシステムの何れにおいても、又は上記の非一時的コンピュータ可読メモリデバイスの何れを使用しても実装されてよい。

【0006】

上記の一般的な説明と以下の詳細な説明のどちらも、例であり、例示的な性質であり、本開示の範囲を限定することなく、本開示を理解できるようにするためのものであると理解されたい。この点に関して、当業者にとって、本開示の他の態様、特徴、及び利点は以下の詳細な説明から明らかであろう。

【0007】

本開示及びその特徴と利点をさらによく理解するために、ここで、正確な縮尺によらない下記のような添付の図面とともに読むべき以下の特徴を参照する。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、システムの例を示す。

【図1B】図１Ｂは、ディスプレイ内蔵顕微鏡の例と手術用器具の例を示す。

【図2】図２は、コンピュータシステムの例を示す。

【図3A】図３Ａは、グラフィカルユーザインタフェースの例を示す。

【図3B】図３Ｂは、グラフィカルユーザインタフェースの例を示す。

【図4A】図４Ａは、レジストレーションエリアの例を示す。

【図4B】図４Ｂは、レジストレーションエリアの例を示す。

【図4C】図４Ｃは、移動パターンを登録する例を示す。

【図4D】図４Ｄは、移動パターンを受信する例を示す。

【図4E】図４Ｅは、移動パターンを受信する他の例を示す。

【図5】図５は、グラフィカルユーザインタフェースを使って手術用器具を利用する方法の例を示す。

【図6】図６は、グラフィカルユーザインタフェースを使って手術用器具を利用する他の例を示す。

【発明を実施するための形態】

【0009】

以下の説明の中で、開示されている主旨を説明しやすくするために、詳細事項が例として示されている。しかしながら、当業者にとっては、開示されている実施形態は例に過ぎず、考え得るすべての実施形態を網羅しているわけではないことが明らかであるはずである。

【0010】

本明細書で使用されるかぎり、参照番号は実体のクラス又はタイプを指し、このような参照番号に続く何れの文字も、そのクラス又はタイプの特定の実体の具体的な実例を指す。それゆえ、例えば「１２Ａ」により示される仮の実体は特定のクラス／タイプの特定の実例を指すかもしれず、参照番号「１２」はその特定のクラス／タイプに属する実例の集合又はそのクラス／タイプ全体の何れか１つの実例を指してよい。

【0011】

外科医は、滅菌された手術環境中にいてもよい。外科医は、自分の手術用器具を使って、グラフィカルユーザインタフェース（ＧＵＩ）を制御及び／又は誘導してよい。ＧＵＩは手術に関連するワークフローを制御するために利用されてよい。手術用器具を利用してＧＵＩを制御及び／又は誘導する際、デバイスは手術用器具の１つ又は複数の形状を特定してよい。例えば、１つ又は複数のカメラは１つ又は複数の画像をデバイスに提供してよい。デバイスは、手術用器具を１つ又は複数のカメラからの１つ又は複数の画像から特定してよい。デバイスは、手術用器具の１つ又は複数の移動を追跡してよい。例えば、デバイスは、手術用器具の１つ又は複数の移動を、少なくとも１つ又は複数のカメラからの１つ又は複数の画像に基づいて追跡してよい。

【0012】

追跡対象の手術用器具の１つ又は複数の移動が、ＧＵＩの操作の中で利用されてよい。一例において、ＧＵＩはディスプレイ内蔵顕微鏡（ＭＩＤ：ｍｉｃｒｏｓｃｏｐｅ ｉｎｔｅｇｒａｔｅｄ ｄｉｓｐｌａｙ）を介して表示されてよい。他の例では、ＧＵＩはディスプレイを介して表示されてよい。外科医は、ＭＩＤを介してＧＵＩを見て、及び／又はそれを操作してよい。外科医及び／又はその他の手術要員は、ディスプレイを介してＧＵＩを操作してよい。ＧＵＩは外科医の現在の関心領域に重ね合わされてよい。例えば、ＧＵＩは外科医の現在の関心領域に重ねられてよいため、外科医は外科医の現在の関心領域から視線を外さずにＧＵＩを可視化してよい。例えば、ＧＵＩはライブシーンに重ねられてよい。ＧＵＩの操作においては、動きベース物体追跡が利用されてよい。例えば、動きベース物体追跡及び／又は物体認識を利用する場合、手術用器具はＧＵＩの操作におけるポインティングデバイスとして利用されてよい。ポインティングデバイスの例は、特にマウス、トラックパッド、及びトラックボールのうちの１つ又は複数であるか、又はそれを含んでよい。

【0013】

手術用器具は、ＧＵＩに関して利用されることになるシステムと位置合わせされてよい。例えば、手術用器具は、ＧＵＩに関連して利用されることになるポインティングデバイスとして利用されるシステムと位置合わせされてよい。ＧＵＩに関して利用されることになる手術用器具を位置合わせすることは、システムが手術用器具の１つ又は複数の画像を受信し、手術用器具の１つ又は複数の形状及び／又は１つ又は複数の曲線を特定することを含んでいてよく、これは手術用器具を識別するのに利用されてよい。例えば、１つ又は複数の機械学習プロセス及び／又は１つ又は複数の機械学習方法が手術用器具の１つ又は複数の形状及び／又は１つ又は複数の曲線を特定する中で利用されてよく、これは手術用器具の識別において利用されてよい。１つ又は複数の機械学習プロセス及び／又は１つ又は複数の機械学習方法は、手術用器具のデジタルモデルを生成及び／又は特定してよい。例えば、デジタルモデルは、ＧＵＩと関連付けられた利用において手術用器具の１つ又は複数の位置を推定する際に利用されてよい。

【0014】

手術用器具の１つ又は複数の移動は、ポインタの「クリック」を特定する中で利用されてよい。例えば、手術用器具の１つ又は複数の移動は、マウスのクリックとして利用されてよい。ポインタの「クリック」は、ＧＵＩを介して表示される１つの又は複数のアイテムの選択を示してよい。手術用器具がシステムと位置合わせされた後で、手術用器具の１つ又は複数の移動はポインタの「クリック」として特定され、及び／又は識別されてよい。一例では、第一の移動は、マウス左ボタンの選択（例えば、「クリック」）として利用されてよい。第二の例では、第二の移動は、マウス右ボタンの選択（例えば、「クリック」）として利用されてよい。第三の例では、第三の移動はマウス左ボタン長押しの選択（例えば、マウス左ボタンを長押しする）として利用されてよい。他の例では、第四の移動は、マウス左ボタンのリリースの選択（例えば、マウス左ボタンをリリースする）として利用されてよい。１つ又は複数の動きベース物体追跡プロセス及び／又は１つ又は複数の動きベース物体追跡方法が利用されてよい。例えば、１つ又は複数の動きベース物体追跡プロセス及び／又は１つ又は複数の動きベース物体追跡方法は、特に背景差分、フレーム間差分、及びオプティカルフローのうちの１つ又は複数を利用して、手術用器具を追跡してよい。

【0015】

ここで、図１Ａを参照すると、システムの例が示されている。図のように、外科医１１０は手術用器具１２０を利用してよい。一例では、外科医１１０は手術用器具１２０を、患者１４０の患者部分１３０に係わる手術において利用してよい。例えば、外科医１１０は、手術用器具１２０をシステム１００と相互作用して、及び／又はそれを使って利用してよい。例えば、システム１００は眼科手術用器具追跡システムであり、又はそれを含んでよい。例示のように、システム１００はコンピューティングデバイス１５０、ディスプレイ１６０、及びＭＩＤ １７０を含んでよい。

【0016】

コンピューティングデバイス１５０は、１つ又は複数のイメージセンサにより捕捉された画像フレームを受信してよい。例えば、コンピューティングデバイス１５０は、１つ又は複数の画像フレームに対して様々な画像処理を実行してよい。コンピューティングデバイス１５０は、１つ又は複数の画像フレームに対して画像解析を実行して、１つ又は複数の画像フレームから手術用器具１２０の１つ又は複数の画像を抽出してよい。コンピューティングデバイス１５０はＧＵＩを生成してよく、これは１つ又は複数の画像フレームに重ねられてよい。例えば、ＧＵＩは、特に１つ又は複数のインディケータ及び／又は１つまた複数のアイコンを含んでよい。１つ又は複数のインディケータは、手術データ、例えば１つ又は複数の位置及び／又は１つ又は複数の向きを含んでよい。ＧＵＩは、ディスプレイ１６０及び／又はＭＩＤ １７０により外科医１１０及び／又はその他の医療従事者に対して表示されてよい。

【0017】

コンピューティングデバイス１５０、ディスプレイ１６０、及びＭＩＤ １７０は、相互に通信可能に接続される別々のハウジング内に、又は共通のコンソール若しくはハウジング内に実装されてよい。ユーザインタフェースは、特にコンピューティングデバイス１５０、ディスプレイ１６０、及びＭＩＤ １７０のうちの１つ又は複数に関連付けられてよい。例えば、ユーザインタフェースは、キーボード、マウス、ジョイスティック、タッチスクリーン、アイトラッキングデバイス、音声認識装置、ジェスチャ制御モジュール、ダイヤル、及び／又はボタン、並びにその他の入力装置のうちの１つ又は複数を含んでよい。ユーザ（例えば、外科医１１０及び／又はその他の医療従事者）は、ユーザインタフェースを介して所望の命令及び／又はパラメータを入力してよい。例えば、ユーザインタフェースは、特にコンピューティングデバイス１５０、ディスプレイ１６０、及びＭＩＤ １７０のうちの１つ又は複数を制御する中で利用されてよい。

【0018】

次に、図１Ｂを参照すると、ディスプレイ内蔵顕微鏡の例と手術用器具の例が示されている。図のように、手術用器具１２０Ａは外科用メスであるか、それを含んでよい。例示のように、手術用器具１２０Ｂは綿棒であるか、それを含んでよい。図のように、手術用器具１２０Ｃはピンセットであるか、それを含んでよい。具体的に図示されていないその他の手術用器具が、本明細書に記載の１つ又は複数のシステム、１つ又は複数のプロセス、及び／又は１つ又は複数の方法で利用されてもよい。

【0019】

ある例として、手術用器具１２０は１つ又は複数のパターンでマークされてもよい。１つ又は複数のパターンは、手術用器具１２０を識別する中で利用されてもよい。１つ又は複数のパターンには、特にハッシュパターン、ストライプパターン、及びフラクタルパターンのうちの１つ又は複数が含まれてよい。他の例として、手術用器具１２０は染料及び／又は塗料でマークされてもよい。染料及び／又は塗料は、特に可視光、赤外線、紫外線のうちの１つ又は複数を反射してよい。一例では、照明器１７８は紫外線を提供してよく、イメージセンサ１７２は手術用器具１２０により反射された紫外線を受信してよい。コンピュータシステム１５０は、イメージセンサ１７２から、少なくとも手術用器具１２０から反射された紫外線に基づく画像データを受信してよく、少なくとも手術用器具１２０から反射された紫外線に基づく画像データを利用して、イメージセンサ１７２により提供された他の画像データから手術用器具１２０を識別してよい。他の例では、照明器１７８は赤外線を提供してよく、イメージセンサ１７２は手術用器具１２０から反射された赤外線を受信してよい。コンピュータシステム１５０は、イメージセンサ１７２から、少なくとも手術用器具１２０から反射された赤外線に基づく画像データを受信してよく、少なくとも手術用器具１２０から反射された赤外線に基づく画像データを利用して、イメージセンサ１７２により提供された他の画像データから手術用器具１２０を識別してよい。

【0020】

例示のように、ＭＩＤ １７０はディスプレイ１６２Ａ及び１６２Ｂを含んでよい。例えば、外科医１１０は複数のアイピースを覗いてよく、ディスプレイ１６２Ａ及び１６２Ｂは外科医１１０に対して情報を表示してよい。ＭＩＤ １７０は複数のディスプレイを有するように示されているが、ＭＩＤ １７０は１つのディスプレイ１６２を含んでよい。例えば、ＭＩＤ １７０は、１つ又は複数のディスプレイ１６２で実装されてもよい。図のようにＭＩＤ １７０はイメージセンサ１７２Ａ及び１７２Ｂを含んでよい。一例では、イメージセンサ１７２Ａ及び１７２Ｂは画像を取得してよい。第二の例では、イメージセンサ１７２Ａ及び１７２Ｂはカメラを含んでよい。他の例では、イメージセンサ１７２は、特に可視光、赤外線、紫外線のうちの１つ又は複数を介した画像を取得してよい。１つ又は複数のイメージセンサ１７２Ａ及び１７２Ｂは、コンピューティングデバイス１５０に画像のデータを提供してよい。ＭＩＤ １７０は複数イメージセンサを有するように示されているが、ＭＩＤ １７０は１つのイメージセンサ１７２を含んでいてもよい。例えば、ＭＩＤ １７０は、１つ又は複数のイメージセンサ１７２で実装されてもよい。

【0021】

例示のように、ＭＩＤ １７０は距離センサ１７４Ａ及び１７４を含んでよい。例えば、距離センサ１７４は、手術用器具１２０までの距離を特定してよい。距離センサ１７４は、Ｚ軸に関連する距離を特定してよい。ＭＩＤ １７０は複数のイメージセンサを有するように示されているが、ＭＩＤ １７０は１つの距離センサ１７４を含んでよい。一例では、ＭＩＤ １７０は１つ又は複数の距離センサ１７４で実装されてよい。他の例では、ＭＩＤ １７０は、距離センサを持たずに実装されてもよい。図のように、ＭＩＤ １７０は、レンズ１７６Ａ及び１７６Ｂを含んでよい。ＭＩＤ １７０は複数のレンズ１７６Ａ及び１７６Ｂを有するように示されているが、ＭＩＤ １７０は、１つのレンズ１７６を含んでよい。例えば、ＭＩＤ １７０は、１つ又は複数のレンズ１７６で実装されてよい。例示のように、ＭＩＤ １７０は、照明器１７８Ａ及び１７８Ｂを含んでよい。例えば、照明器１７８は、特に可視光、赤外線、及び紫外線のうちの１つ又は複数を提供し、及び／又は生成してよい。ＭＩＤ １７０は複数の照明器を有するように示されているが、ＭＩＤ １７０は、１つの照明器１７８を含んでよい。例えば、ＭＩＤ １７０は、１つ又は複数の照明器１７８で実装されてよい。

【0022】

次に、図２を参照すると、コンピュータシステムの例が示されている。図のように、コンピュータシステム１５０はプロセッサ２１０、揮発性メモリ媒体２２０、不揮発性メモリ媒体２３０、及び入力／出力（Ｉ／Ｏ）デバイス２４０を含んでよい。例示のように、揮発性メモリ媒体２２０、不揮発性メモリ媒体２３０、及びＩ／Ｏデバイス２４０は、プロセッサ２１０に通信可能に接続されてよい。

【0023】

「メモリ媒体」という用語は、「メモリ」、「記憶装置」、「メモリデバイス」、「コンピュータ可読媒体」、及び／又は「有形コンピュータ可読記憶媒体」を意味してよい。例えば、メモリデバイスとしては、ハードディスクドライブを含む直接アクセス記憶装置、テープディスクドライブ等のシーケンシャルアクセス記憶装置、コンパクトディスク（ＣＤ）、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ＣＤ－ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）、エレクトリカリイレーサブルプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、非一時的媒体、及び／又はこれらの１つ又は複数の組合せが含まれるが、これらに限定されない。図のように、不揮発性メモリ媒体２３０は、プロセッサ命令２３２を含んでよい。プロセッサ命令２３２は、プロセッサにより実行される。一例ではプロセッサ命令２３２の１つ又は複数の部分は、不揮発性メモリ媒体２３０を介して実行されてよい。他の例では、プロセッサ命令２３２の１つ又は複数の部分は、揮発性メモリ媒体２２０を介して実行されてよい。プロセッサ命令２３２の１つ又は複数の部分は、揮発性メモリ媒体２２０に伝送されてよい。

【0024】

プロセッサ２１０は、本明細書に記載の１つ又は複数のシステム、１つ又は複数のフローチャート、１つ又は複数のプロセス、及び／又は１つ又は複数の方法を実施する中でプロセッサ命令２３２を実行してよい。例えば、プロセッサ命令２３２は、本明細書に記載の１つ又は複数のシステム、１つ又は複数のフローチャート、１つ又は複数の方法、及び／又は１つ又は複数のプロセスによる命令で構成、コード化、及び／又は符号化されてよい。記憶媒体及びメモリ媒体の１つ又は複数はソフトウェア製品、プログラム製品、及び／又は製造物品であってよい。例えば、ソフトウェア製品、プログラム製品、及び／又は製造物品は、本明細書に記載の１つ又は複数のフローチャート、１つ又は複数の方法、及び／又は１つ又は複数のプロセスによる、プロセッサにより実行可能な命令で構成され、コード化され、及び／又は符号化されてよい。

【0025】

プロセッサ２１０は、メモリ媒体の中に保存され、及び／又はネットワークを介して受信されるプログラム命令、プロセスデータ、又はそれらの両方を解釈し、実行するように動作可能な何れの適当なシステム、デバイス、又は装置を含んでいてもよい。プロセッサ２１０はさらに、１つ又は複数のマイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、又は、プログラム命令、プロセスデータ、又はそれらの両方を解釈し、実行するように構成されたその他の回路構成を含んでよい。

【0026】

Ｉ／Ｏデバイス２４０は、ユーザからの入力及びユーザへの出力を容易にすることによって、ユーザがコンピュータシステム１５０及びそれに関連するコンポーネントと相互作用できるようにし、及び／又はそれを可能にする何れの１つ及び複数の手段を含んでいてもよい。ユーザからの入力を容易にすることにより、ユーザはコンピュータシステム１５０を操作及び／又は制御できるかもしれず、ユーザへの出力を容易にすることによって、コンピュータシステム１５０はユーザの操作及び／又は制御の効果を示すことができるかもしれない。例えば、Ｉ／Ｏデバイス２４０により、ユーザはデータ、命令、又はそれらの両方をコンピュータシステム１５０に入力できるかもしれず、コンピュータシステム１５０及びそれに関連するコンポーネントをそれ以外に操作及び／又は制御することができるかもしれない。Ｉ／Ｏデバイスとしては、ユーザインタフェースデバイス、例えばキーボード、マウス、タッチスクリーン、ジョイスティック、手持ちのレンズ、ツール追跡装置、座標入力装置、又はシステム１００等のシステムとの使用に適した他の何れのＩ／Ｏデバイスが含まれていてもよい。

【0027】

Ｉ／Ｏデバイス２４０は、特に、プロセッサ２１０が本明細書に記載の１つ又は複数のシステム、プロセス、及び／又は方法を実施するのを容易にし、及び／又は可能にしてよい１つ又は複数のバス、１つ又は複数のシリアルデバイス、１つ又は複数のネットワークインタフェースを含んでよい。一例では、Ｉ／Ｏデバイス２４０はプロセッサ２１０が外部ストレージと通信するのを容易にし、及び／又は可能にしてよいストレージインタフェースを含んでよい。ストレージインタフェースは、特にユニバーサルシリアルバス（ＵＳＢ）インタフェース、ＳＡＴＡ（Ｓｅｒｉａｌ ＡＴＡ）インタフェース、ＰＡＴＡ（Ｐａｒａｌｌｅｌ ＡＴＡ）インタフェース、及びスモールコンピュータシステムインタフェース（ＳＣＳＩ）のうちの１つ又は複数を含んでよい。第二の例では、Ｉ／Ｏデバイス２４０は、プロセッサ２１０がネットワークと通信するのを容易にし、及び／又は可能にしてよいネットワークインタフェースを含んでよい。Ｉ／Ｏデバイス２４０は無線ネットワークインタフェース及び有線ネットワークインタフェースのうちの１つ又は複数を含んでよい。第三の例では、Ｉ／Ｏデバイス２４０は、特にペリフェラルコンポーネントインターコネクト（ＰＣＩ）インタフェース、ＰＣＩエクスプレス（ＰＣＩｅ）インタフェース、シリアルペリフェラルインターコネクト（ＳＰＩ）インタフェース、及びアイ・スクエアド・シー（Ｉ^２Ｃ）インタフェースのうちの１つ又は複数を含んでよい。他の例では、Ｉ／Ｏデバイス２４０は、プロセッサ２１０が特にディスプレイ１６０及びＭＩＤ １７０のうちの１つ又は複数とデータを通信するのを容易にし、及び／又は可能にしてよい。

【0028】

図のように、Ｉ／Ｏデバイス２４０は、ディスプレイ１６０及びＭＩＤ １７０と通信可能に接続されてよい。例えば、コンピュータシステム１５０は、ディスプレイ１６０及びＭＩＤ １７０と、Ｉ／Ｏデバイス２４０を介して通信可能に接続されてよい。Ｉ／Ｏデバイス２４０は、プロセッサ２１０がＭＩＤ １７０の１つ又は複数の要素とデータを通信するのを容易にし、及び／又は可能にしてよい。一例では、Ｉ／Ｏデバイス２４０は、プロセッサ２１０が、特にイメージセンサ１７２、距離センサ１７４、及びディスプレイ１６２のうちの１つ又は複数とデータを通信するのを容易にし、及び／又は可能にしてよい。他の例では、Ｉ／Ｏデバイス２４０は、プロセッサ２１０が、特にイメージセンサ１７２、距離センサ１７４、照明器１７８、及びディスプレイ１６２のうちの１つ又は複数を制御するのを容易に、及び／又は可能にしてよい。

【0029】

次に、図３Ａ及び３Ｂを参照すると、グラフィカルユーザインタフェースの例が示されている。図のように、ＧＵＩ ３１０はアイコン３２０Ａ～３２０Ｃを含んでよい。例えば、ＧＵＩ ３１０及び／又はアイコン３２０Ａ～３２０Ｃはイメージセンサ１７２を介して取得された画像の上に重ねられてよい。例示のように、ＧＵＩ ３１０はカーソル３３０を表示してよい。例えば、システム１００は、手術用器具１２０の移動を追跡し、手術用器具１２０の１つ又は複数の移動及び／又は１つ又は複数の位置に基づいてカーソル３３０を表示する。システム１００は、手術用器具１２０の移動を追跡してよい。例えば、システム１００は手術用器具１２０の１つ又は複数の移動及び／又は１つ又は複数の位置をアイコン３２０Ｃまで追跡してよい。

【0030】

ＧＵＩ ３１０は、ディスプレイを介して表示されてよい。例えば、ＧＵＩ ３１０は特にディスプレイ１６０、１６２Ａ、及び１６２Ｂのうち１つ又は複数を介して表示されてよい。外科医１１０は、アイコン３２０Ｃを選択してよい。一例では、外科医１１０はフットペダルを介してアイコン３２０Ｃを選択してよい。フットペダルの作動は、ポインタクリック（例えば、マウスのクリック）として利用されてよい。他の例では、外科医１１０は手術用器具１２０の１つ又は複数の移動を介してアイコン３２０Ｃを選択してよい。手術用器具１２０の１つ又は複数の移動は、ポインタクリック（例えば、マウスのクリック）として利用されてよい。

【0031】

次に、図４Ａ及び４Ｂを参照すると、レジストレーションエリアの例が示されている。図４Ａに示されるように、手術用器具１２０Ｂはレジストレーションエリア４１０を介して位置合わせされてよい。例えば、レジストレーションエリア４１０はＧＵＩ ３１０を介して表示されてよい。図４Ｂに示されているように、手術用器具１２０Ａはレジストレーションエリア４１０を介して位置合わせされてよい。例えば、レジストレーションエリア４１０は取得された画像に重ねられてよい。取得された画像は、イメージセンサ１７２Ａ及び１７２Ｂを介して取得されていてもよい。

【0032】

手術用器具１２０のデジタルモデルが１つ又は複数のイメージセンサ１７２からの１つ又は複数の画像から特定されてよい。手術用器具１２０のデジタルモデルは、手術用器具１２０のパターンを含んでよい。一例として、デジタルモデルは、イメージセンサ１７２Ａ及び１７２Ｂのうちの１つ又は複数を介して取得された画像の中で、手術用器具１２０の画像データに関して利用されてよい。デジタルモデルは、イメージセンサ１７２Ａ及び１７２Ｂのうちの１つ又は複数を介して取得された画像の中の手術用器具の画像データ間の考え得る関係を含んでよい。例えば、デジタルモデルは、考え得る関係を特定するかもしれないパラメータを含んでよい。学習プロセス及び／又は方法は、訓練データを利用してパラメータをフィットさせてよい。一例では、１つ又は複数の画像が訓練データとして利用されてよい。他の例では、レジストレーションエリア４１０が訓練データとして画像データを関連付けることにおいて利用されてよい。手術用器具１２０のデジタルモデルを特定することは、少なくとも１つ又は複数の画像に基づいてデジタルモデルを訓練することを含んでよい。デジタルモデルは弁別的であってよい。デジタルモデルは生成的であってよい。１つ又は複数の推論過程及び／又は１つ又は複数の方法は、イメージセンサ１７２Ａ及び１７２Ｂのうちの１つ又は複数を介して取得された画像の中で手術用器具１２０の画像データを特定するためにデジタルモデルを利用してよい。

【0033】

次に図５を参照すると、グラフィカルユーザインタフェースと共に手術用器具を利用する方法の例が示されている。５１０で、グラフィカルユーザインタフェースがディスプレイを介して表示されてよい。一例では、ＧＵＩ ３１０はディスプレイ１６０を介して表示されてよい。他の例では、ＧＵＩ ３１０は、ディスプレイ１６２Ａ及び１６２Ｂのうちの１つ又は複数を介して表示されてよい。５１５で、手術用器具がグラフィカルユーザインタフェースに関連付けられるポインタとして利用されることを示す第一のユーザ入力が受信されてよい。一例では、第一のユーザ入力はフットペダルの作動を含んでよい。第二の例では、第一のユーザ入力は音声入力を含んでよい。他の例では、第一のユーザ入力はＧＵＩアイコンの作動を含んでよい。外科医１１０又はその他の医療従事者は、ＧＵＩアイコンを作動させてよい。

【0034】

５２０で、少なくとも１つのイメージセンサからの第一の複数の画像が受信されてよい。例えば、イメージセンサ１７２Ａ及び１７２Ｂのうちの１つ又は複数のからの第一の複数の画像が受信されてよい。第一の複数の画像は、グラフィカルユーザインタフェースに関連付けられるポインタとして利用される手術用器具の画像データを含んでよい。５２５で、手術用器具の、手術用器具のパターンを含むデジタルモデルが第一の複数の画像から特定されてよい。例えば、デジタルモデルは、イメージセンサ１７２Ａ及び１７２Ｂのうちの１つ又は複数を介して取得された画像の中の手術用器具の画像データを関係付けることにおいて利用されてよい。デジタルモデルは、イメージセンサ１７２Ａ及び１７２Ｂのうちの１つ又は複数を介して取得された画像の中の手術用器具の画像データ間の考え得る関係を含んでよい。例えば、デジタルモデルは、考え得る関係を特定するかもしれないパラメータを含んでよい。学習プロセス及び／又は方法は、訓練データを使ってパラメータをフィットさせてよい。例えば、第一の複数の画像が訓練データとして利用されてよい。手術用器具のデジタルモデルを特定することは、少なくとも第一の複数の画像に基づいてデジタルモデルを訓練することを含んでよい。デジタルモデルは弁別的であってよい。デジタルモデルは生成的であってよい。推論過程及び／又は方法は、イメージセンサ１７２Ａ及び１７２Ｂのうちの１つ又は複数を介して取得された画像の中で手術用器具の画像データを特定するためにデジタルモデルを利用してよい。

【0035】

５３０で、第二の複数の画像が少なくとも１つのイメージセンサを介して受信されてよい。例えば、イメージセンサ１７２Ａ及び１７２Ｂのうちの１つ又は複数からの第二の複数の画像が受信されてよい。第二の複数の画像は、手術用器具の画像テータを含んでよい。５３５で、グラフィカルユーザインタフェースのアイコンを選択するために利用可能な手術用器具の移動のパターンが第二の複数の画像及びデジタルモデルから特定されてよい。例えば、図４Ｃに示されるパターン４２０が、第二の複数の画像及びデジタルモデルから特定されてよい。パターン４２０は、図４Ｄに示されるように、アイコン３２０を選択するために利用されてよい。パターン４２０は、図４Ｅに示されるように、アイコン３２０を選択するために利用されてよい。例えば、少なくともパターン４２０の一部はアイコン４２０と重複してよい。

【0036】

次に、図６を参照すると、グラフィカルユーザインタフェースと共に手術用器具を利用する方法の他の例が示されている。６１０で、少なくとも１つのアイコンを含むグラフィカルユーザインタフェースがディスプレイを介して表示されてよい。一例では、ＧＵＩ ３１０は、ディスプレイ１６０を介して表示されてよい。他の例では、ＧＵＩ ３１０は、ディスプレイ１６２Ａ及び１６２Ｂのうちの１つ又は複数を介して表示されてよい。６１５で、イメージセンサからの第一の画像が受信されてよい。例えば、イメージセンサ１７２からの第一の画像が受信されてよい。６２０で、第一の画像の中の手術用器具の第一の位置が第一の画像及び手術用器具のデジタルモデルから特定されてよい。例えば、図３Ａに示されるように、手術用器具１２０の第一の位置が第一の画像及び手術用器具のデジタルモデルから特定されてよい。ある例として、デジタルモデルは、図５の方法要素５２５を介して特定されたデジタルモデルであるか、それを含んでよい。他の例では、デジタルモデルは、メモリ媒体から読み出されてもよい。メモリ媒体は、手術用器具の１つ又は複数のデジタルモデルを記憶してよい。例えば、メモリ媒体は手術用器具の１つ又は複数のデジタルモデルを含むライブラリを記憶してよい。

【0037】

６２５で、第一の位置に関連付けられる第二の位置にグラフィカルーザインタフェースのカーソルが表示されてよい。例えば、図３Ａに示されるＧＵＩ ３１０のカーソル３３０は、第一の位置に関連付けられる第二の位置に表示されてよい。６３０で、イメージセンサからの第二の画像が受信されてよい。例えば、イメージセンサ１７２からの第二の画像が受信されてよい。６３５で、第二の画像の中の手術用器具の第三の位置が、第二の画像及び手術用器具のデジタルモデルから特定されてよい。例えば、図３Ｂに示される手術用器具１２０の第二の位置が、第二の画像及び手術用器具のデジタルモデルから特定されてよい。６４０で、グラフィカルユーザインタフェースのカーソルが、第三の位置に関連付けられる第四の位置に表示されてよい。例えば、図３Ｂに示されるＧＵＩ ３１０のカーソル３３０は、第三の位置に関連付けられる第四の位置に表示されてよい。

【0038】

６４５で、少なくとも１つのアイコンの座標が第四の位置を含む間に、選択を示すユーザ入力が受信されてよい。一例では、ユーザ入力は、フットペダルの作動を含んでよい。外科医１１０は、選択を示すユーザ入力として、フットペダルを作動させてよい。第二の例では、ユーザ入力は移動パターンを含んでよい。ユーザ入力は、図４Ｄ及び４Ｅに示される移動パターン４２０を含んでよい。移動パターンは、図４Ｄ及び４Ｅに示される移動パターン４２０に近似してよい。他の移動パターンが構成され、及び／又は利用されてよい。第三の例では、ユーザ入力は手術用器具に関連付けられるピクセル数の変化を含んでいてよく、これは手術用器具からイメージセンサまでの距離の変化を示す。手術用器具に関連付けられるピクセルの数は、手術用器具がイメージセンサに近付けられると増加するかもしれない。ある例として、イメージセンサからイメージセンサからの第三の画像が受信されてよく、手術用器具のイメージセンサまでの距離の変化を示す手術用器具に関連付けられるピクセル数の変化が、少なくとも第二及び第三の画像並びにデジタルモデルに基づいて特定されてよい。

【0039】

６５０で、少なくとも１つのアイコンの座標が第四の位置を含む間に、ユーザ入力が選択を示すと特定されてよい。例えば、ユーザ入力はアイコン３２０の選択を示すと特定されてよい。６５５で、グラフィカルユーザインタフェースにより表示されるデータが変更されてよい。例えば、ＧＵＩ ３１０の画像データが変更されてよい。グラフィカルユーザインタフェースにより表示されるデータを変更することは、ユーザ入力が選択を示すと特定したことに応答して行われてよい。ある例として、手術に関連付けられるワークフローは、ワークフローの次のステップに進むかもしれない。ＧＵＩ ３１０の画像データは、手術に関連付けられるワークフローの次のステップに関連して変更されてよい。他の例として、第一の画像、第二の画像、又は第三の画像の少なくとも一部は、ユーザ入力が選択を示すと特定したことに応答して記憶されてよい。画像データは、メモリ媒体を介して記憶されてよい。

【0040】

方法及び／又はプロセス要素の１つ又は複数及び／又は方法及び／又はプロセス要素の１つ又は複数の部分は、異なる順序で行われてよく、繰り返されてよく、又は省かれてよい。さらに、希望に応じて、追加の、補足的な、及び／又は重複する方法及び／又はプロセス要素が実装、インスタンス化、及び／又は実行されてよい。そのうえ、希望に応じて、システム要素の１つ又は複数が省かれてよく、及び／又は追加のシステム要素が追加されてよい。

【0041】

メモリ媒体は、製造物品であってよく、及び／又はそれを含んでよい。例えば、製造物品は、ソフトウェア製品及び／又はプログラム製品を含んでいてよく、及び／又はそれらであってよい。メモリ媒体は、製造物品を生産するための本明細書に記載の１つ又は複数のフローチャート、システム、方法、及び／又はプロセスによるプロセッサ実行可能な命令でコード化及び／又は符号化されてよい。

【0042】

上で開示された主旨は、例示的であって限定的ではないとみなされるものとし、付属の特許請求の範囲は、本開示の真の主旨と範囲に含まれる改良、改善、及びその他の実装のすべてを含むことが意図されている。それゆえ、法の下で可能なかぎり、本開示の範囲は後述の特許請求の範囲及びその均等物の許容される最も広い解釈により特定されるものとし、上記の詳細な説明によって制限又は限定されないものとする。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5】

【図6】