(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022179431
(43)【公開日】2022-12-02
(54)【発明の名称】情報取り込みを強化するための位置合わせプローブ
(51)【国際特許分類】
A61B 34/20 20160101AFI20221125BHJP
【FI】
A61B34/20
【審査請求】未請求
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022082156
(22)【出願日】2022-05-19
(31)【優先権主張番号】17/325,256
(32)【優先日】2021-05-20
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】516389190
【氏名又は名称】アクラレント インコーポレイテッド
【氏名又は名称原語表記】Acclarent, Inc.
(71)【出願人】
【識別番号】511099630
【氏名又は名称】バイオセンス・ウエブスター・(イスラエル)・リミテッド
【氏名又は名称原語表記】Biosense Webster (Israel), Ltd.
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】ジェットミア・パルシ
(72)【発明者】
【氏名】ダニエル・エヌ・ロッシ
(72)【発明者】
【氏名】ヘレン・ウォルフソン
(72)【発明者】
【氏名】ウリエル・ホッド
(72)【発明者】
【氏名】イタマル・ブスタン
(57)【要約】
【課題】画像誘導手術(IGS)ナビゲーションシステムを提供すること。
【解決手段】手術エリア内で使用されるツールは、画像誘導手術(IGS)システムの磁場内でそれらを追跡することを可能にするセンサを搭載することができる。これらのツールは、磁場内の非磁性物体の位置合わせのためだけでなく、追加の入力を提供するためにも使用されることを可能にする位置センサを備えたプローブを含み得る。
【選択図】
図1
【特許請求の範囲】
【請求項1】
(a)位置センサを含むプローブと、
(b)追跡領域を提供するように動作可能な追跡場発生器であって、前記追跡領域が三次元空間である、追跡場発生器と、
(c)プロセッサであって、
(i)一連の追跡データに基づいて前記追跡領域内の前記プローブの位置を決定することであって、前記一連の追跡データが、前記プローブと前記追跡領域との相互作用の結果として前記プロセッサによって受信された前記位置センサからの信号に基づいている、決定することと、
(ii)被験体の頭部の複数の磁場位置の、前記プローブからの測定に基づいて、前記被験体の前記頭部と、前記被験体の前記頭部の画像との間の位置合わせを生成することと、
(iii)前記プローブから受信した制御信号に基づいて入力モードに切り替えることと、
(iv)前記入力モードである間に、前記プローブから入力信号を受信することと、を行うように構成されている、プロセッサと、を備える、画像誘導手術(IGS)ナビゲーションシステム。
【請求項2】
前記プロセッサが、
(i)前記プローブからの前記入力信号に基づいてテキストを生成することと、
(ii)メモ取りアプリケーションを立ち上げ、前記メモ取りアプリケーションのインターフェース上に前記テキストを表示することと、
(iii)前記IGSナビゲーションシステムに備えられたメモリに前記テキストを記憶することと、を行うように構成されている、請求項1に記載のIGSナビゲーションシステム。
【請求項3】
前記IGSナビゲーションシステムの前記プロセッサが、
(i)手書き認識プログラム、及び
(ii)音声認識プログラム、
からなる群から選択されるプログラムを使用して、前記プローブからの前記入力信号に基づいてテキストを生成するように構成されている、請求項2に記載のIGSナビゲーションシステム。
【請求項4】
前記プロセッサが、前記テキストを前記メモリに記憶するときに、前記IGSナビゲーションシステムに備えられた前記メモリに、前記入力信号の時間に対応するタイムスタンプを記憶するように構成されている、請求項2に記載のIGSナビゲーションシステム。
【請求項5】
前記プロセッサが、前記入力信号に基づいて、前記被験体の前記内部の画像のオーバーレイとして、前記IGSナビゲーションシステムに備えられたディスプレイ上にパターンを表示するように構成されている、請求項1に記載のIGSナビゲーションシステム。
【請求項6】
(a)位置センサ、マイクロフォン、第1のボタン、及び第2のボタンを含むプローブと、
(b)追跡領域を提供するように動作可能な追跡場発生器であって、前記追跡領域が三次元空間である、追跡場発生器と、
(c)プロセッサであって、
(i)一連の追跡データに基づいて前記追跡領域内の前記プローブの位置を決定することであって、前記一連の追跡データが、前記プローブと前記追跡領域との相互作用の結果として前記プロセッサによって受信された前記位置センサからの信号に基づいている、決定することと、
(ii)被験体の頭部の複数の磁場位置の、前記プローブからの測定に基づいて、前記被験体の前記頭部と、前記被験体の前記頭部の画像との間の位置合わせを生成することと、
(iii)前記第1のボタンが押下されたことを示す第1の信号及び前記第2のボタンが押下されたことを示す第2の信号を受信することと、
(iv)前記位置合わせが生成され、前記第1のボタンが押下されたときに、前記磁気追跡システムの前記追跡領域内の前記プローブの動きを、前記プローブのユーザからの入力として処理することと、
(v)前記位置合わせが生成され、前記第2のボタンが押下されたときに、前記マイクロフォンによって取り込まれた音を、前記プローブの前記ユーザからの入力として処理することと、を行うように構成されている、プロセッサと、を備える、IGSナビゲーションシステム。
【請求項7】
画像誘導手術(IGS)ナビゲーションシステムを使用する方法であって、
(a)被験体の頭部を含む追跡領域を画定する磁場を生成するように動作可能な一連の磁場発生器を含む追跡場発生器を起動することと、
(b)位置センサを含むプローブを使用して、前記被験体の前記頭部上の複数の磁場位置を測定することと、
(c)前記被験体の前記頭部上の前記複数の磁場位置の前記測定に基づいて、前記被験体の前記頭部と前記被験体の前記頭部の画像との間の位置合わせを生成することと、
(d)前記プローブ上の制御部を使用して、前記IGSナビゲーションシステムを入力モードに入れることと、
(e)前記IGSナビゲーションシステムが前記入力モードにある間に、前記プローブを使用して、ユーザからの入力を取り込むことと、を含む、方法。
【請求項8】
前記方法が、
(a)前記ユーザからの前記入力に基づいてテキストを生成することと、
(b)前記テキストを、メモ取りアプリケーションのインターフェース上に表示することと、
(c)前記テキストを、前記IGSナビゲーションシステムのメモリに記憶することと、を含む、請求項7に記載の方法。
【請求項9】
前記ユーザからの前記入力に基づいてテキストを生成することが、
(i)前記ユーザからの前記入力をバッファリングすることを含むステップを実行することによって、入力パターンを生成することと、
(ii)前記入力パターンを手書き認識プログラムに提供することと、を含む、請求項8に記載の方法。
【請求項10】
(a)前記ユーザからの前記入力が、前記プローブに備えられたマイクロフォンによって取り込まれる発話入力であり、
(b)前記ユーザからの前記入力に基づいてテキストを生成することが、前記発話入力を音声認識プログラムに提供することを含む、請求項8に記載の方法。
【請求項11】
前記テキストを前記IGSナビゲーションシステムの前記メモリに記憶することが、前記ユーザからの前記入力の時間に対応するタイムスタンプと共に前記テキストを記憶することを含む、請求項8に記載の方法。
【請求項12】
(a)前記入力モードが、メモ取りモードであり、
(b)前記方法が、
(i)前記プローブに備えられたボタンの作動を示す信号を前記プローブから受信することと、
(ii)前記IGSナビゲーションシステムを自動的に前記メモ取りモードにし、前記プローブからの前記信号を受信することに基づいて、前記メモ取りアプリケーションを起動することと、を含む、請求項8に記載の方法。
【請求項13】
(a)前記プローブを使用して前記ユーザからの前記入力を取り込むことが、前記プローブの先端から、前記磁場によって画定された前記追跡領域内の平面まで延びる光線の交点の動きに基づいて、パターンを定義することを含み、
(b)前記方法が、前記IGSナビゲーションシステムのディスプレイ上に前記パターンを表示することを含む、請求項7に記載の方法。
【請求項14】
前記方法が、
(a)前記プローブを使用して、前記IGSナビゲーションシステムの前記ディスプレイ上の複数の磁場位置を測定することと、
(b)前記IGSナビゲーションシステムの前記ディスプレイ上の前記複数の磁場位置の前記測定に基づいて、前記IGSナビゲーションシステムの前記ディスプレイと前記追跡領域内の前記平面との間の位置合わせを生成することと、を含む、請求項13に記載の方法。
【請求項15】
前記IGSナビゲーションシステムの前記ディスプレイ上に前記パターンを表示することが、術前計画中に前記被験体の内部の画像上に重ね合わされた前記パターンを表示することを含む、請求項13に記載の方法。
【請求項16】
前記IGSナビゲーションシステムの前記ディスプレイ上に前記パターンを表示することが、手技中に前記被験体の内部のリアルタイム画像上に重ね合わされた前記パターンを表示することを含む、請求項13に記載の方法。
【請求項17】
前記プローブの前記先端から前記追跡領域内の前記平面まで延びる前記光線が、前記追跡領域内の前記プローブの向きに基づいて画定された前記プローブの軸を延長する光線である、請求項13に記載の方法。
【請求項18】
前記IGSナビゲーションシステムが、前記プローブ上の1つ又は2つ以上のボタンのユーザによる作動に基づいて、第1の入力モードと第2の入力モードとの間で切り替わるように構成されている、請求項7に記載の方法。
【請求項19】
(a)前記プローブを使用して取り込まれた前記入力が、音声コマンドを含み、
(b)前記方法が、自動的に、
(i)前記音声コマンドをテキストに変換することと、
(ii)前記テキストを、前記被験体に対して実施された手技のレポートに組み込むことと、を含む、請求項7に記載の方法。
【請求項20】
(a)前記プローブが、第1のボタン、第2のボタン、及びマイクロフォンを備え、
(b)前記IGSナビゲーションシステムが、
(i)前記第1のボタンが押下されたときに、前記追跡領域内の前記プローブの動きを前記入力として処理することと、
(ii)前記第2のボタンが押下されたときに、前記マイクロフォンによって取り込まれた音を前記入力として処理することと、を行うように構成されている、請求項7に記載の方法。
【発明の詳細な説明】
【背景技術】
【0001】
画像誘導手術(image-guided surgery、IGS)は、コンピュータを用いて、患者の身体内に挿入された器具の場所の、術前に得られた画像(例えば、CTスキャン又はMRIスキャン、3Dマップなど)のセットに対するリアルタイムの相関を得ることで、コンピュータシステムが器具の現在の場所を術前に得られた画像に重ねる技術である。IGS手技で使用できる電磁IGSナビゲーションシステムの例は、Biosense-Webster,Inc.(Irvine,California)によるCARTO(登録商標)3Systemである。いくつかのIGS手技では、術野のデジタルトモグラフィスキャン(例えば、CT又はMRI、3Dマップなど)を外科手術の前に得る。次に、特別にプログラムされたコンピュータを用いて、デジタルトモグラフィスキャンデータをデジタルマップに変換する。外科手術中、センサ(例えば、電磁界を発生させる及び/又は外部で発生した電磁界に反応する電磁コイル)を有する特別な器具を用いて処置を実行し、同時に、センサがコンピュータに各外科用器具の現在位置を示すデータを送る。コンピュータは、センサから受信したデータを、術前トモグラフィスキャンから作成されたデジタルマップと相関付ける。トモグラフィスキャン画像は、スキャン画像内に示される解剖学的構造に対する各外科用器具のリアルタイム位置を示す指標(例えば、ク十字線又は照明ドットなど)と共にビデオモニタ上に表示される。したがって、外科医が器具自体を体内のその現在の場所において直接視覚化することができない場合であっても、外科医は、ビデオモニタを見ることによって各センサ搭載器具の正確な位置を知ることができる。
【0002】
IGSシステムを使用している間、関連情報は、キーボード、マウス、又はタッチ画面インターフェースなどの様々な従来の手段を使用して取り込まれることができる。そのような従来の手段は、一部の状況では十分であり得る。しかしながら、そのような従来の手段は、外科医が、キーボード及びマウスと相互作用するために滅菌室を離れる必要があり得るため、キーボード及びマウスのところにいる作業者に音声コマンドを伝える必要があり得るため、又は滅菌室内のタッチ画面と相互作用するために患者から離れる又は関心の中心を患者から移す必要があり得るため、手技中の有用性が低い場合がある。そのような各相互作用は、無菌状態を維持するために、様々な追加のステップ(例えば、滅菌室に戻る前に再滅菌すること、タッチ画面と相互作用した後に手袋を変更すること)を必要とし得る。さらに、滅菌室内で使用することが意図されたデバイスは、汚染に抵抗することができ、手技間での滅菌を可能にすることができ、又は各手技後に廃棄されることができるように、特別に用意又は特別に製造される必要があり得、そのいずれも、原価品質、及びそのようなデバイスの有用性に影響を与える可能性がある。
【0003】
外科処置において、いくつかのシステム及び方法が作られ使用されてきたが、本発明者ら以前に、添付の特許請求の範囲に記載される発明を作ったり使用したりした者はいないと考えられる。
【図面の簡単な説明】
【0004】
本明細書は、本発明を具体的に示し、明確にその権利を請求する特許請求の範囲をもって結論とするものであるが、本発明は以下の特定の実施例の説明を添付図面と併せ読むことでより深い理解が得られるものと考えられる。図中、同様の参照番号は同様の要素を示す。
【
図1】例示的な医療処置チェアに着座した患者に使用される例示的な手術ナビゲーションシステムの概略図である。
【
図2】
図1の手術ナビゲーションシステムと共に使用可能な例示的な位置合わせプローブの斜視図である。
【
図3】
図1の手術ナビゲーションシステムによって例示的な追跡空間内で追跡されている
図2の位置合わせプローブを示す図である。
【
図4】
図2の位置合わせプローブを使用して実行され得る例示的な一連の高レベルステップを示す図である。
【
図5】
図2の位置合わせプローブを使用して実行され得る例示的な一連の高レベルステップを示す図である。
【
図6A】制御キャンバスに対する
図2の位置合わせプローブの位置を示す図である。
【
図6B】移動後の、
図6Aの制御キャンバスに対する
図2の位置合わせプローブの位置を示す図である。
【
図7A】
図6Aに示される配置に関連付けられた例示的な画像誘導手術(IGS)ディスプレイのスクリーンショットである。
【
図7B】
図6Bに示される配置に関連付けられたIGSディスプレイのスクリーンショットである。
【
図8】
図1の手術ナビゲーションシステムと共に使用可能な別の例示的な位置合わせプローブを示す図である。
【0005】
図面は、いかなる方式でも限定することを意図しておらず、本発明の様々な実施形態は、図面に必ずしも描写されていないものを含め、他の様々な方式で実施し得ることが企図される。本明細書に組み込まれ、かつその一部をなす添付図面は、本発明のいくつかの態様を例示するものであり、記述と共に本発明の原理を説明する役割を果たすものである。しかしながら、本発明が、示される正確な配置に限定されない点は理解される。
【発明を実施するための形態】
【0006】
本発明の特定の実施例の以下の説明は、本発明の範囲を限定するために使用されるべきではない。本発明の他の実施例、特徴、態様、実施形態、及び利点は、本発明を実施するために想到される最良の形態の1つを実例として示す以下の説明文より、当業者には明らかとなろう。理解されるように、本発明は、いずれも本発明から逸脱することなく、他の異なるかつ明白な態様が可能である。したがって、図面及び説明は、限定的なものではなく、本質的に例示的なものと見なされるべきである。
【0007】
「に基づく」という語句は、何かが少なくとも部分的に別の何かに基づくことを示すために使用されることが理解されるであろう。「近位」及び「遠位」という用語は、本明細書では、ハンドピースアセンブリを把持している臨床医を基準として使用されることが更に理解されるであろう。すなわち、エンドエフェクタは、より近位のハンドピースアセンブリに対して遠位側にある。便宜上及び明確さのために、「上部」及び「下部」などの空間用語もまた、本明細書において、ハンドピースアセンブリを把持している臨床医を基準にして使用されていることが更に理解されよう。しかしながら、外科用器具は、多くの向き及び位置で使用されるものであり、これらの用語は、限定的かつ絶対的なものであることを意図するものではない。
【0008】
本明細書に記載の教示、表現、変形、実施例などのうちのいずれか1つ又は2つ以上を、本明細書に記載の他の教示、表現、変形、実施例などのうちのいずれか1つ又は2つ以上と組み合わせることができる点も更に理解される。したがって、以下に記載されている教示、表現、変形例、実施例などは、互いに単独で考慮されるべきではない。本明細書の教示を組み合わせることができる様々な好適な方法は、本明細書の教示に鑑みて当業者には容易に明らかであろう。このような修正例及び変形例は、特許請求の範囲に含まれることが意図される。
【0009】
I.例示的な画像誘導手術ナビゲーションシステム
患者(P)の頭部(H)内で医療処置を実施するとき、特に器具が患者(P)の頭部(H)内の器具の作業要素の内視鏡視野を得ることが困難又は不可能である場所にある場合に、患者(P)の頭部(H)内の器具の位置に関する情報を有することが望ましい場合がある。
図1は、画像誘導を用いてENT手技を実行することを可能にする例示的なIGSナビゲーションシステム(10)を示す。本明細書に記載されている構成要素及び動作性を有することに加えて、あるいはそれに代えて、IGSナビゲーションシステム(10)は、以下の文献の教示の少なくとも一部に従って構成され、動作可能であり得る。すなわち、米国特許第7,720,521号、発明の名称「Methods and Devices for Performing Procedures within the Ear,Nose,Throat and Paranasal Sinuses」(2010年5月18日発行)(開示内容は参照により本明細書に組み込まれている)、米国特許出願公開第2014/0364725号、発明の名称「Systems and Methods for Performing Image Guided Procedures within the Ear,Nose,Throat and Paranasal Sinuses」(2014年12月11日公開)(開示内容は参照により本明細書に組み込まれている)。
【0010】
本実施例のIGSナビゲーションシステム(10)は、磁場発生器アセンブリ(20)を含み、これは、馬蹄形フレーム(22)に組み込まれた一連の磁場発生器(24)を含む。磁場発生器(24)は、患者(P)の頭部(H)の周りに異なる周波数の交流磁界を発生させるように動作可能である。この実施例では、ナビゲーションガイドワイヤ(40)が患者(P)の頭部(H)に挿入される。ナビゲーションガイドワイヤ(40)は、独立型装置であってもよく、又は外科用切断器具若しくは拡張器具などの医療器具のエンドエフェクタ又は他の場所に配置されてもよい。本実施例では、フレーム(22)が椅子(30)に装着され、フレーム(22)が患者(P)の頭部(H)に隣接して位置するように患者(P)は椅子(30)に着座する。単に一例として、椅子(30)及び/又は磁場発生器アセンブリ(20)は、米国特許第10,561,370号、発明の名称「Apparatus to Secure Field Generating Device to Chair」(2020年2月18日発行)(開示内容は参照により本明細書に組み込まれている)の教示の少なくとも一部に従って構成され、動作可能であり得る。
【0011】
本実施例のIGSナビゲーションシステム(10)は、プロセッサ(12)を更に含み、これがIGSナビゲーションシステム(10)の磁場発生器(24)及び他の要素を制御する。例えば、プロセッサ(12)は、磁場発生器(24)を駆動して交流電磁界を生成し、ナビゲーションガイドワイヤ(40)からの信号を処理して患者(P)の頭部(H)内におけるナビゲーションガイドワイヤ(40)内のセンサの場所を決定するように動作可能である。プロセッサ(12)は、1つ又は2つ以上のメモリと通信する処理ユニット(例えば、組み合わせ論理回路又は他の類似の回路を使用してソフトウェア命令を評価及び実行するように構成された一組の電子回路)を備える。本実施例のプロセッサ(12)は、キーパッド及び/又はマウス若しくはトラックボールなどのポインティングデバイスを含む動作制御部(14)を含むコンソール(18)内に装着されている。医師は、外科処置を実行しながら、プロセッサ(12)と相互作用する動作制御部(14)を使用する。
【0012】
ナビゲーションガイドワイヤ(40)は、磁場発生器(24)によって生成された交流電磁界内の測位に反応するセンサ(図示せず)を含む。連結ユニット(42)はナビゲーションガイドワイヤ(40)の近位端に固定され、コンソール(18)とナビゲーションガイドワイヤ(40)との間のデータ及び他の信号の通信を提供するように構成されている。連結ユニット(42)は、データ及び他の信号の有線又は無線通信を提供することができる。
【0013】
本実施例では、ナビゲーションガイドワイヤ(40)のセンサは、ナビゲーションガイドワイヤ(40)の遠位端に少なくとも1つのコイルを含む。かかるコイルが磁場発生器(24)によって生成された交流電磁界の中に置かれると、交流磁界がコイルの中に電流を生成し得、この電流は、ナビゲーションガイドワイヤ(40)内の導電路に沿って、連結ユニット(42)を介してプロセッサ(12)に更に伝送され得る。この現象により、IGSナビゲーションシステム(10)は、三次元空間内(すなわち、患者(P)の頭部(H)内など)におけるナビゲーションガイドワイヤ(40)又は他の医療器具(拡張器具、外科用切断器具など)の遠位端の場所を決定することができる。これを実現するため、プロセッサ(12)は、ナビゲーションガイドワイヤ(40)の遠位端の位置座標を、ナビゲーションガイドワイヤ(40)内のコイルの位置関連信号から計算するアルゴリズムを実行する。この実施例では、位置センサが、ガイドワイヤ(40)内に配置されているが、このような位置センサは、以下により詳細に記載されるものを含む、様々な他の種類の器具に統合されてもよい。
【0014】
プロセッサ(12)は、プロセッサ(12)のメモリに記憶されたソフトウェアを用いて、IGSナビゲーションシステム(10)を較正して動作させる。このような動作は、磁場発生器(24)を駆動することと、ナビゲーションガイドワイヤ(40)からのデータを処理することと、動作制御部(14)からのデータを処理することと、ディスプレイ画面(16)を駆動することとを含む。いくつかの実装形態では、動作はまた、IGSナビゲーションシステム(10)の1つ又は2つ以上の安全機構又は機能の監視及び施行も含み得る。プロセッサ(12)は、患者の頭部(H)のビデオカメラ画像、患者の頭部(H)のCTスキャン画像、及び/又は患者の鼻腔内及び患者の鼻腔に隣接する解剖学的構造のコンピュータ生成三次元モデル、に関してナビゲーションガイドワイヤ(40)の遠位端の位置を示すディスプレイ画面(16)を介して、リアルタイムで動画を提供するように更に動作可能である。ディスプレイ画面(16)は、外科処置中にこのような画像を同時に及び/又は互いに重ね合わせて表示し得る。そのような表示された画像は、また、操作者がリアルタイムでその実際の場所で器具の仮想レンダリングを見ることができるように、ナビゲーションガイドワイヤ(40)などの患者の頭部(H)に挿入された器具のグラフィカル表現を含むことができる。単に一例として、ディスプレイ画面(16)は、米国特許第10,463,242号、発明の名称「Guidewire Navigation for Sinuplasty」(2019年11月5日発行)(開示内容は参照により本明細書に組み込まれている)の教示の少なくとも一部に従って画像を提供してもよい。操作者が内視鏡も使用している場合には、内視鏡画像もディスプレイ画面(16)に表示することができる。
【0015】
ディスプレイ画面(16)によって提供される画像は、器具がナビゲーションガイドワイヤ(40)を組み込んでいる場合、患者の頭部(H)内の器具を操縦する、及び他の方法で操作を行う際に操作者を誘導するのに役立ち得る。また、以下に記載するように、外科用器具の他の構成要素及び他の種類の外科用器具は、ナビゲーションガイドワイヤ(40)のセンサのようなセンサを組み込んでもよいことを理解されたい。
【0016】
II.空間追跡を伴う例示的な位置合わせプローブ
IGSナビゲーションシステム(10)などのIGSナビゲーションシステムは、外科処置中の利点を提供することができるが、そのようなシステムの従来の用途は、いくつかの点で限定され得る。IGSナビゲーションシステム(10)の能力をより完全に利用するために、システムの位置特定機能を使用してデータの取り込みをサポートし、それによって、外科処置中の改善された使い易さなどの改善された利益を提供することができる。例えば、そのようなデバイスの光学的又は機械的動作追跡要素の接触面を見つけることは困難であり得るため、また、外科医が手袋を着用する場合があるため、あるいは一方又は両方の手が別のツール又はタスクで既に塞がれている場合があるため、標準的なコンピュータマウスをそのような外科環境で使用するのは困難であり得る。同様に、コンピュータキーボードは、滅菌手袋を着用していると操作が難しいことがあり、また、滅菌手袋は再利用可能ではない場合があるか、又は滅菌環境内で使用若しくは再利用することを可能にする、コストの嵩む非標準的な特徴(例えば、汚染が蓄積し得る領域を排除するカバー又は設計、後の滅菌手順に適応することができる特殊な設計)を必要とすることがある。更に、マウス又はキーボードなどのユーザ入力デバイスと相互作用するということは、操作者が患者とユーザ入力デバイスとの間を行ったり来たりする必要があるか、又はユーザ入力デバイスと相互作用するためにアシスタントに頼る必要があり得る。これらのシナリオのそれぞれは、非効率性を生じさせたり、又は他の点で望ましくなかったりする場合がある。
【0017】
非接触ナビゲーションなどの機能を有するデバイス(例えば、光学マウスとは異なり、機能させる接触面が必要ないデバイス)及び運動追跡ナビゲーションは、外科処置中の使い易さにおいて利点を提供することができる。更に、そのような機能性はまた、完全に新しいデバイス又はツールを導入することなく新しい機能性を導入するために、外科処置で既に使用されているツール及びデバイスと有利に統合され得る。
【0018】
例えば、
図2は、IGSナビゲーションシステム(10)などの手術ナビゲーションシステムで使用可能であり、かつIGSナビゲーションシステム(10)との相互作用を支援する1つ又は2つ以上の特徴を有して実施し得る、例示的な位置合わせプローブ(100)の斜視図を示す。位置合わせプローブ(100)は、患者の様々な解剖学的特徴の場所(例えば、患者の顔の解剖学的ランドマークの場所及び向き)をIGSナビゲーションシステム(10)に登録するために、いくつかのIGS技術と共に使用されてもよく、その結果、その解剖学的特徴を1つ又は2つ以上の追跡された器具の位置と相関させることができる。位置合わせプローブ(100)がとることができる様々な形態、及び位置合わせプローブ(100)によって提供され得る位置合わせ機能の実施例は、米国特許第10,786,311号、発明の名称「Apparatus and Method for Registering Facial Landmarks for Surgical Navigation System」(2020年9月29日発行)(開示内容は参照により本明細書に組み込まれている)、及び米国特許第10,779,891号、発明の名称「System and Method for Navigation of Surgical Instruments」(2020年9月22日発行)(開示内容は参照により本明細書に組み込まれている)に記載されている。以下の説明は、位置合わせプローブ(100)が、上記の参考文献に記載されているような位置合わせプローブ(100)について企図される従来の用途を超える方法で使用され得る追加の方法を提供する。
【0019】
IGSナビゲーションシステム(10)は、追跡空間(300)(例えば、
図3に示され、以下でより詳細に論じられるように、磁場センサ又は他のセンサが、対応するセンサ要素を有する外科用器具の位置及び動きを検出することができる領域)を提供し、当該領域内では、互換性のあるデバイスの位置を追跡することができる。追跡空間(300)は、様々なサイズ及び形状の三次元空間であり、(例えば、患者の頭部の副鼻腔内又はその近くの外科処置のための)外科処置が行われる空間を少なくとも含み得るが、追跡空間(300)はまた、特定の手術部位を越えた追加の空間部分(例えば、患者の頭部から各方向に数フィート広がった空間)も含み得る。
【0020】
いくつかの器具は、追跡空間(300)内で追跡され得る要素又は特徴部を含むが、正確なIGSナビゲーションを提供するために、患者の位置も既知でなければならない。患者は、IGSナビゲーションシステム(10)によって必ずしも本質的に追跡可能ではないため、IGSナビゲーションシステム(10)では、位置合わせプローブ(100)を使用して患者の顔などの手術部位を位置特定及び位置合わせすることができ、これにより、追跡空間(300)内の手術部位の位置を決定することができる。追跡空間(300)内の患者の頭部(H)の位置を決定することによって、IGSナビゲーションシステム(10)は、患者の頭部(H)内の解剖学的構造の場所を、IGSナビゲーションシステム(10)に既に記憶されている患者の頭部(H)の術前に得た画像(例えば、CTスキャン)及び/又はデジタルモデルなどによって表される解剖学的構造と正確に相関させることができる。
【0021】
いくつかのバージョンでは、位置合わせプローブ(100)は、IGSナビゲーションシステム(10)と互換性があり、かつ追跡空間(300)内の位置合わせプローブ(100)の位置が特定されるようにする位置センサを含む。位置合わせプローブ(100)はまた、第1のボタン(102)、第2のボタン(104)、及び無線送受信機(108)などの追加のユーザ入力も含む。位置合わせプローブの先端部(110)を患者の顔にわたる複数の点に当て、各点を位置合わせすることによって、患者を位置合わせすることができる(例えば、第1のボタン(102)などのボタンを押下することによって手動で、又は、先端(110)が、自動位置合わせを引き起こすのに十分な力で患者の顔と接触したことを検出するように構成されている場合には、自動で)。各点が位置合わせされると、(例えば、先端部(110)に含まれる可能性のある)位置センサは、追跡空間(300)内のその場所をIGSナビゲーションシステム(10)に提供し、IGSナビゲーションシステム(10)はそのような情報を使用して、任意の追跡された外科用器具の位置を患者の位置と相関させることができる。
【0022】
位置合わせプローブ(100)は、以下でより詳細に説明されるように、外科医が手技中に情報を取り込むことを可能にする1つ又は2つ以上の特徴を提供するために使用され得るが、追跡空間(300)内で追跡可能である他の外科用器具、又は、それらの位置及び動き(例えば、加速度計を使用することによって)を示す信号を独立して提供し、かつそのような情報をIGSナビゲーションシステム(10)に通信することができる他の外科用器具もまた、本明細書に記載のように有利に使用することができることを理解すべきである。これには、例えば、本明細書の教示を考慮することで当業者には明らかであるように、位置的に追跡されるガイドワイヤ、拡開器具、シェーバ、内視鏡、切断ツール、及び他の外科用器具が含まれ得る。
【0023】
図3は、IGSナビゲーションシステム(10)などの手術ナビゲーションシステムによって追跡空間(300)内で追跡されている、位置合わせプローブ(100)などの外科用器具を示す図を示す。追跡空間は様々なサイズ及び形状であり得るが、追跡空間(300)は、内部に位置合わせプローブ(100)が入っている三次元の長方形空間として描かれている。位置合わせプローブ(100)は、特定のIGSシステム及びプローブの能力(例えば、位置センサの数及び場所)に応じて、追跡空間(300)内で様々な方法で追跡されることができる。例えば、いくつかの実装形態では、位置合わせプローブ(100)は、3つの自由度(例えば、x軸、y軸、及びz軸に沿った動き)で追跡されてもよいが、他の実装形態では、6つの自由度(例えば、3つの自由度、並びにx軸、y軸、及びz軸の周りの回転)で追跡されてもよい。
図3は、位置合わせプローブが、x軸(308)、y軸(310)、及びz軸(312)に沿って追跡された動きを含む、点線で表される3つの自由度で追跡されているところを示す。
【0024】
追跡空間(300)内のそのような動きは、IGSナビゲーションシステム(10)によって、追跡空間(300)内の三次元空間内の動きとして解釈されることができるが、二次元領域内の動きとしても解釈されることができる。位置合わせプローブ(100)の動きを二次元に限定する場合、追跡空間(300)がまた、位置合わせプローブ(100)の動きをx軸(308)及びy軸(310)に沿ったものとして観察する第1のキャンバス(302)と、動きをy軸(310)及びz軸(312)に沿ったものとして観察する第2のキャンバス(304)と、x軸(308)及びz軸(312)に沿ったものとして観察する第3のキャンバス(306)と、を含むことが分かる。IGSナビゲーションシステム(10)又は他のコンピュータシステムインターフェースは二次元で表示され得るため、位置合わせプローブ(10)などの追跡されるデバイスの動きを二次元(例えば、第1のキャンバス(302))で解釈することは、そのようなIGSナビゲーションシステム(10)又は他のコンピュータシステムインターフェースに有利に対応し得る。以下に説明するように、これは、従来コンピュータマウスによって提供され得るタイプのカーソル移動制御、又は(例えば、第1のキャンバス(302)上で)位置合わせプローブ(100)を使用して手書き文字認識モジュールへの入力としてトレースされた経路を使用することによって提供され得るようなテキスト入力など、様々な目的に使用され得る。
【0025】
他の方法ではマウス又は他の従来の制御部によって取得され得るような入力を提供するために、空間内のプローブの動きがどのように使用され得るかを説明するために、
図6A及び
図6Bはそれぞれ、位置合わせプローブ(100)の位置が第1のキャンバス(302)上に投影されている状態の追跡空間(300)を示し、
図7A及び
図7Bは、ディスプレイ画面(16)上の対応するカーソル位置を示す。注目すべきことに、本明細書でキャンバス上に投影されるとして説明される場合、これは、追跡空間(300)内の位置合わせプローブ(100)の動きを、指定された視点(例えば、第1のキャンバス(302))に対して視覚化するのを助けることを意図した記述的な用語であることを理解されたい。したがって、IGSナビゲーションシステム(10)は、キャンバス又は投影点についての対応するソフトウェアオブジェクトを作成したり、対応するアクションを実行したりする必要はないが、いくつかの実装態様では、それを行ってもよい。同様に、投影は、第1のキャンバス(又はプローブの動きを定義するために使用される他の二次元空間)が任意の物理オブジェクトに適合するように構成されてもよく、又は構成されなくてもよい。例えば、いくつかの実装形態では、追跡空間(300)は、入力キャプチャの目的で、第1のキャンバス(302)がディスプレイ画面(16)に対して、又は手術室(図示せず)に対して平らに置かれるような向きに配置されてもよい。しかしながら、これは必須ではなく、すべてのバージョンに存在するわけではない。
【0026】
図6Aでは、位置合わせプローブ(100)は、第1のキャンバス(302)に投影された位置(600)から分かるように、第1のキャンバス(302)のおおよそ中点に位置決めされている。
図7Aでは、位置(600)は、ディスプレイ画面(16)又は別のデバイスに表示され得るインターフェース(700)内のカーソル(704)の位置に対応している。インターフェース要素(702)は、可読文字、画像、クリック可能なボタン又は他の制御部、あるいはユーザに表示され得る別の同様の特徴であってよい。
図6Bでは、位置合わせプローブ(100)は、第1のキャンバス(302)に投影された位置(602)から分かるように、追跡空間(300)内で下向き及び右に移動されている。
図7Bでは、位置(602)は、追跡空間(300)内の位置合わせプローブ(100)の動きに対応する方向及び距離を移動したカーソル(704)の位置に対応する。このようにして、外科手術環境に適していない場合がある光学マウス又はキーボードなどのツールを必要としたかもしれない方法で、位置合わせプローブ(100)を使用してカーソル(704)の移動を制御できることが分かる。更に、位置合わせプローブ(100)、又は別の外科用器具は、外科処置中に使用されることがすでに意図されているので、追加のデバイス又はツールを手術エリア内に導入することなく(例えば、独立型の非接触ポインティングデバイスがそうであるように)、又は実用化に関する特別な考慮事項(例えば、マウス、キーボード、又は他の従来の入力デバイスを、滅菌処置用途及び滅菌に適したものにするために特別に設計すること)を必要とせずに、そのような機能を提供することができる。
【0027】
III.例示的なプローブ入力方法
A.メモ取り
位置合わせプローブ(100)が入力のために使用される方法の実施例として、
図4は、位置合わせプローブ(100)を使用したメモ取りのための例示的な一連の高度なステップを示す。最初に、
図4に示されるような方法では、位置合わせプローブ(100)はメモ取りモードに切り替えられる(402)。これは、例えば、患者の位置の三次元空間内での位置合わせが完了した後に位置合わせプローブ(100)上のボタン(例えば、第2のボタン(104))を作動させることによって行うことができる。いくつかのバージョンでは、これにより位置合わせプローブ(100)から信号を送信させることができ、この信号により、IGSナビゲーションシステム(10)のプロセッサ(12)は、メモ取りアプリケーションをディスプレイ画面(16)に表示する。
【0028】
メモ取りモードにあるとき、IGSナビゲーションシステム(10)は、位置合わせプローブ(100)から入力を受信する(404)ことができる。これは、例えば、
図3、
図6A、
図6B、
図7A及び
図7Bとの関連において前述したように、位置合わせプローブから場所及び向き情報を受信し、第1のキャンバス(302)などの仮想表面にプローブの先端からの線を投影することによって行うことができる。あるいは、いくつかのバージョンでは、これは、位置合わせプローブ(100)に含められたマイクロフォン(106)によって取り込むことができるような音声入力を受信することによって行われてもよい。入力が場所及び向き情報の形態で又は音声情報の形態で受信される(404)かどうかは、バージョンによって異なり得る(例えば、いくつかのバージョンは、入力を場所及び向き情報の形態で取り込むように構成されていてもよく、他のバージョンは、入力を音声の形態で取り込むように構成されていてもよい)。しかしながら、いくつかのバージョンは、音声情報及び場所/向き情報の両方の形態で入力を受信(404)するように構成され得ることもまた可能である。例えば、いくつかのバージョンでは、ユーザが第1のボタン(102)を作動させた場合には、入力は音声の形態で取り込まれてもよく(ユーザが第1のボタン(102)を押下しながら発話する場合、又は第1のボタンを使用して音声モード(102)をオンにした後であるが、第1のボタン(102)を使用して音声モードをオフにする前にユーザが発話する場合など)、ユーザが第2のボタン(104)を作動させた場合には、入力は位置及び向き情報の形態で取り込まれてもよい。他の変形例(例えば、デフォルトの入力キャプチャモードで始まり、ボタンの押下に基づいて他の入力キャプチャモードを繰り返す、複数の方法で入力を取り込むことができる変形例)も可能であり、本開示を考慮して当業者には直ちに明らかであり、当業者は過度な実験を要することなく実施することができる。したがって、入力を受信する(404)ための様々な方法の上記の説明は、単なる例示であると理解されるべきであり、限定的なものとして扱われるべきではない。
【0029】
ユーザの入力は、受信された(404)後で、テキストに変換される(406)。入力が様々な方法で受信され(404)得ると、これらの入力のテキストへの変換(406)が様々な方法で行われ得る。例えば、入力を位置及び場所情報の形態で受信(404)した場合、この入力のテキストへの変換(406)は、この場所及び向き情報を使用して、場所を第1のキャンバス(302)に投影することと、場所及び/又は向きの経時的な変化を反映する第1のキャンバス(302)上の場所をバッファリングすることと、手書き文字認識ソフトウェアを用いて、バッファリングされた場所によって作成されたパターンをテキストに変換する(310)ことと、を含み得る。同様に、入力を音声の形態で受信(404)した場合、入力は、音声認識ソフトウェアを用いてテキストに変換され得る(408)。
【0030】
入力がテキストに変換された(406)後、テキストは、メモ取りアプリケーションによってウィンドウなどに表示され(410)、かつIGSナビゲーションシステム(10)に備えられたメモリなどに記憶される(412)。加えて、いくつかの実装形態では、テキストのこの記憶(412)は、このテキストに関する追加情報の記憶を伴う場合がある。例えば、いくつかの実装形態では、変換されたテキストは、基礎となる入力を受信した(404)時間を示す時間的情報(例えば、タイムスタンプ)と共に記憶されてもよい。これは、特定のテキストを手術の特定の部分と相関させるために後で使用される可能性があり、そうすることで、手術中に取り込んだ内視鏡画像のリプレイをユーザがレビューした場合には、注釈として効果的に機能し得る。別の実施例として、場合によっては、変換されたテキストは、元の入力のコピーと共に記憶されてもよく、そうすることで、変換プロセスにエラーがあった場合、後で曖昧性除去又は訂正を行うための参照として元の入力を使用することができる。元の入力及び時間的情報の両方を記憶する組み合わせなどの他の変形例も可能であり、それら変形例は、本開示を考慮して当業者には直ちに明らかであり、当業者は過度な実験を要することなく実施することができる。したがって、上記実施例は、単なる例示であると理解されるべきであり、限定的なものとして扱われるべきではない。
【0031】
B.画面のマークアップ
位置合わせプローブ(100)が入力に使用される他の方法もまた可能である。例えば、
図5は、位置合わせプローブ(100)を使用して、画面に情報を書き込む、ペイントする、ないしは別の用法で情報を追加する方法を示す。
図5の方法では、位置合わせプローブ(100)は、最初にマークアップモードに切り替えられる(502)。これは、ユーザが位置合わせプローブ(100)を使用してIGSナビゲーションシステムのディスプレイ画面(16)上に画像をマークアップすることを望んでいたことを示す信号をIGSナビゲーションシステム(10)に送信させることになる、位置合わせプローブ(100)上のボタンを作動させるなど、
図4との関連において上述したやり方と同様のやり方で行われてもよい。
【0032】
マークアップモードへの切り替え(502)に応答して、IGSナビゲーションシステム(10)は、位置合わせプローブから受信する(504)位置及び向き情報を、ディスプレイ画面(16)に対する入力として処理することができる。これは、例えば、位置合わせプローブ(100)が、(例えば、追跡空間(300)のデフォルト座標系を、ディスプレイ画面(16)が第1のキャンバス(302)と一致した座標系上にマッピングすることによって)第1のキャンバス(302)がディスプレイ画面(16)と一致している追跡空間(300)内に存在するとして処理することによって行われてもよい。これは、上述した患者の身体の位置合わせと同様の方法で、位置合わせプローブを使用して追跡空間内でディスプレイ画面(16)を位置合わせするステップを含み得る。IGSナビゲーションシステム(10)によって検出された位置合わせプローブ(100)の向き及び場所は、次いで、位置合わせプローブの先端から光線を投影するために使用され得、この光線は、光線が第1のキャンバス(302)と交差する点においてユーザの入力を定義するものとして処理されることになる。これは、様々な方法で達成することができる。例えば、場合によっては、この光線は、追跡空間(300)におけるプローブの主軸の向きと一致する向きで投影されてもよく、他の場合には、第1のキャンバス(302)に対して平行な二次元平面内にあるプローブの先端は、第1のキャンバス(302)に直接投影されて、プローブが体験し得るあらゆる三次元動作を本質的に平坦にしてもよい。同様に、場合によっては、IGSナビゲーションシステム(10)は、場所及び向き情報がディスプレイ画面(16)に対する入力を定義するものとして処理されるように、ユーザが位置合わせプローブ(100)を移動させながら第1のボタン(102)又は第2のボタン(104)を作動させるなど、ユーザがいくつかの追加の動作を実行することを更に必要とし得る。
【0033】
ユーザの入力は、受信された(504)後、ユーザがライトペンなどのツールを使用して描画プログラムに入力を提供した場合と同じ方法で、ディスプレイ画面(16)上に図示される(506)ことができる。次に、ユーザの入力が受信された(504)時点でディスプレイ画面上にどのような画像があったとしてもそれらと関連付けて、これをIGSナビゲーションシステム(10)のメモリに記憶する(508)ことができる。そうすることによって、ユーザは、提供したあらゆる入力でマークアップされた画像を後で読み出すことができる。これは、術前計画を立てるため、又は前述のようなメモ取りと共に(例えば、メモと画面のマークアップがタイムスタンプによって統合され得る場合)など、様々な目的に使用することができる。
【0034】
C.音声コマンド及び他の変形例
位置合わせプローブ(100)の上記実施例、並びに位置合わせプローブ(100)及びその使用のいずれかに関する又は両方に関する他の変形例は、本開示を考慮して当業者には直ちに明らかであり、当業者は過度な実験を要することなく実施することができることを理解すべきである。例えば、
図4に伴う説明は、音声認識を介してテキストメモに変換される(408)発話入力を提供するためにどのようにマイクロフォン(106)を使用することができるかについて記載したが、位置合わせプローブ(100)に備えられたマイクロフォン(106)は、手技中にIGSナビゲーションシステム(10)を制御するための発話コマンドを提供する(例えば、位置合わせプローブ(100)が、前述のようにボタンの作動によって音声コマンドモードに切り替えられている場合)など、他の目的のために使用され得ることも可能である。更に、そのような機能性を提供するいくつかのバージョンでは、IGSナビゲーションシステム(10)は、そのような発話コマンドを自動的に取り込み、処置完了後にそれらをレポートに組み込むソフトウェアを用いて構成されてもよい。
【0035】
形態の変更も可能である。例えば、
図2は、位置合わせプローブ(100)の潜在的なフォームファクタを示しているが、
図8に示される代替設計などの他の実装形態も可能である。同様に、
図2及び
図8は、IGSナビゲーションシステム(10)との相互作用を制御するためにユーザが作動させることができる第1のボタン(102)及び第2のボタン(104)を含む位置合わせプローブ(100)の形態を示しているが、開示された技術は、
図2及び
図8に示すよりも多くの又は少ないボタンを含む位置合わせプローブを使用して実施され得ることが可能である。例えば、位置合わせプローブ(100)は、ユーザが選択することができる追加の動作モードに対応し得る、又はユーザが実行することができる特定のアクション(例えば、ディスプレイ画面(16)内のウィンドウ上のカーソルをセンタリングする)に対応し得る、追加のボタンを含むように実施されてもよい。同様に、位置合わせプローブ(100)は、より少ないボタンを有して又はボタンを有さずに実施されてもよく、IGSナビゲーションシステム(10)上のソフトウェアは、ユーザがアクションを実行する、又は実行され得るアクションのタイプを、ジェスチャー制御若しくは同様の入力タイプを使用して切り替えることを可能にする。別の実施例として、いくつかの実装形態では、その先端部(110)にタッチセンサが実装された位置合わせプローブ(100)は、IGSナビゲーションシステム(10)によって検出された動きは入力(例えば、画面のマークアップ)を提供するものとして処理されるべきであることを示す位置合わせプローブ(100)からのタッチ信号を使用することによって、ユーザが画面表示(16)をマークアップすることを可能にし得る。
【0036】
上記の内容を考慮すると、位置合わせプローブ(100)は、手技中に様々な異なる方法異なる方法で使用され得ることを理解すべきである。これは、位置合わせプローブ(100)を術前段階において使用して患者の頭部(H)の解剖学的ランドマークをIGSナビゲーションシステム(10)を用いて登録し、それによって、IGSナビゲーションシステム(10)が、患者の頭部(H)の術前に得た画像又はデジタルモデルを、追跡空間(300)内の患者の頭部(H)の実際の場所と相関させるのを可能にすることを含み得る。また、プローブが有するよう構成された機能性に応じて、又は、プローブが複数の潜在的に重複する機能を有して構成されている場合(例えば、発話入力がメモ又は音声コマンドに使用され得る場合)、ユーザがプローブに指示したモードに応じて、メモを取り込むこと、表示をマークアップすること、又は音声コマンドを提供することを含み得る。これは、外科医がキーボード又はマウスとの相互作用を回避することを可能にするため、外科医にとってはるかに便利かつ効率的であり得る。更に、位置合わせプローブ(100)は、患者の胸部、又は外科医が便利にアクセス可能である他の場所に配置され得る。
【0037】
IV.例示的な組み合わせ
以下の実施例は、本明細書の教示を組み合わせるか又は適用することができる、種々の非網羅的な方法に関する。以下の実施例は、本出願における又は本出願の後の書類提出における任意の時点で提示され得るいずれの特許請求の適用範囲をも限定することを意図したものではないことを理解されたい。一切の権利放棄を意図するものではない。以下の実施例は、あくまでも例示的な目的で与えられるものに過ぎない。本明細書の種々の教示は、他の多くの方式で構成及び適用が可能であると考えられる。また、いくつかのバージョンでは、以下の実施例において言及される特定の特徴を省略してよいことも考えられる。したがって、本発明者らによって又は本発明者らの利益の承継者によって、後日そうである旨が明示的に示されない限り、以下に言及される態様又は特徴のいずれも必須のものとしてみなされるべきではない。なんらかの特許請求が、本出願において、又は以下に言及される特徴以外の更なる特徴を含む本出願に関連する後の書類提出において示される場合、それらの更なる特徴は、特許性に関連するいかなる理由によっても追加されたものとして仮定されるべきではない。
【実施例0038】
画像誘導手術(IGS)ナビゲーションシステムを使用する方法であって、被験体の頭部を含む追跡領域を画定する磁場を生成するように動作可能な一連の磁場発生器を含む追跡場発生器を起動することと、位置センサを含むプローブを使用して、被験体の頭部上の複数の磁場位置を測定することと、被験体の頭部上の複数の磁場位置の測定に基づいて、被験体の頭部と被験体の頭部の画像との間の位置合わせを生成することと、プローブ上の制御部を使用して、IGSナビゲーションシステムを入力モードに入れることと、IGSナビゲーションシステムが入力モードにある間に、プローブを使用して、ユーザからの入力を取り込むことと、を含む、方法。
方法が、ユーザからの入力に基づいてテキストを生成することと、テキストを、メモ取りアプリケーションのインターフェース上に表示することと、テキストを、IGSナビゲーションシステムのメモリに記憶することと、を含む、実施例1に記載の方法。