特許 6784829 手術ミスを防止するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6784829

(24)【登録日】2020年10月27日

(45)【発行日】2020年11月11日

(54)【発明の名称】手術ミスを防止するためのシステムおよび方法

(51)【国際特許分類】

   A61B 34/00 20160101AFI20201102BHJP

   A61B 34/30 20160101ALI20201102BHJP

【ＦＩ】

   A61B34/00

   A61B34/30

【請求項の数】17

【全頁数】19

(21)【出願番号】特願2019-510306(P2019-510306)

(86)(22)【出願日】2017年9月1日

(65)【公表番号】特表2019-526328(P2019-526328A)

(43)【公表日】2019年9月19日

(86)【国際出願番号】US2017049971

(87)【国際公開番号】WO2018048753

(87)【国際公開日】20180315

【審査請求日】2019年4月18日

(31)【優先権主張番号】62/383,838

(32)【優先日】2016年9月6日

(33)【優先権主張国】US

(31)【優先権主張番号】15/686,840

(32)【優先日】2017年8月25日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516035068

【氏名又は名称】ヴェリリー ライフ サイエンシズ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】バラール，ジョエル ケー．

(72)【発明者】

【氏名】ハベッケ，マーティン

(72)【発明者】

【氏名】ピポニ，ダニエル

(72)【発明者】

【氏名】テセール，トーマス

【審査官】 菊地 康彦

(56)【参考文献】

【文献】 国際公開第２０１７／２１６６４５（ＷＯ，Ａ２）

【文献】 特開２００３−１５０５６９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０００６０４９（ＵＳ，Ａ１）

【文献】 特表２００７−５３４３５１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０１２５１５４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３４／００−３４／３７

(57)【特許請求の範囲】

【請求項1】

医療ミスを防止するためのシステムであって、
複数の様々な医療処置システムにおいて行われる医療処置中に捕捉された医療処置データを少なくとも用いて１または複数の機械学習医療処置モデルを生成する機械学習医療処置サーバと、
前記機械学習医療処置サーバと通信可能に結合された医療処置システムであって、前記機械学習医療処置サーバから選択された機械学習医療処置モデルを受信し、対応する医療処置中に前記選択された機械学習医療処置モデルを用いて前記医療処置システムの１または複数の動作を制御する、医療処置システムと
を備え、
各機械学習医療処置モデルは医療処置に関連付けられ、前記医療処置におけるステップを識別するように前記機械学習医療処置サーバによって訓練された第１の分類子と、前記医療処置の対応するステップ中に見える解剖学的構造を識別するように前記機械学習医療処置サーバによって訓練された第２の分類子と、前記医療処置の対応するステップ中の１または複数の医療用具の予定動作を示す、医療用具を識別するように前記機械学習医療処置サーバによって訓練された第３の分類子とを備える、システム。

【請求項2】

前記医療用具は、前記対応する医療処置を行う医療従事者によって制御されるロボット支援医療用デバイスを備える、請求項１に記載のシステム。

【請求項3】

医療ミスを防止するためのシステムであって、
複数の様々な医療処置システムにおいて行われる医療処置中に捕捉された医療処置データを少なくとも用いて１または複数の機械学習医療処置モデルを生成する機械学習医療処置サーバと、
前記機械学習医療処置サーバと通信可能に結合された医療処置システムであって、前記機械学習医療処置サーバから選択された機械学習医療処置モデルを受信し、対応する医療処置中に前記選択された機械学習医療処置モデルを用いて前記医療処置システムの１または複数の動作を制御する、医療処置システムと
を備え、
前記医療処置システムの前記１または複数の動作の制御は、前記対応する医療処置を行う医療従事者に、前記対応する医療処置の現在のステップにおいて予定される解剖学的構造を通知する解剖学的構造情報を有するグラフィックユーザインタフェースを生成することを備える、システム。

【請求項4】

医療ミスを防止するためのシステムであって、
複数の様々な医療処置システムにおいて行われる医療処置中に捕捉された医療処置データを少なくとも用いて１または複数の機械学習医療処置モデルを生成する機械学習医療処置サーバと、
前記機械学習医療処置サーバと通信可能に結合された医療処置システムであって、前記機械学習医療処置サーバから選択された機械学習医療処置モデルを受信し、対応する医療処置中に前記選択された機械学習医療処置モデルを用いて前記医療処置システムの１または複数の動作を制御する、医療処置システムと
を備え、
前記医療処置システムの前記１または複数の動作の制御は、医療用具の要求された動きを、前記要求された動きの１または複数の特徴に基づいて阻止することと、前記要求された動きを可能にするために医療従事者の承認を要求するグラフィックユーザインタフェースを生成することと、前記要求された動きに従って前記医療用具を動かすことを可能にすることとを備える、システム。

【請求項5】

前記１または複数の機械学習医療処置モデルは、前記対応する医療処置における正の成果を有する医療処置データの１または複数の正の訓練セットと、前記対応する医療処置における１または複数の段階における１または複数の失敗を伴う成果を有する医療処置データの１または複数の負の訓練セットと、複数の様々な医療処置システムにおいて行われた医療処置中に捕捉された前記医療処置データとを備える医療処置データの訓練セットに基づいて生成される、請求項１に記載のシステム。

【請求項6】

医療ミスを防止するためのシステムであって、
複数の様々な医療処置システムにおいて行われる医療処置中に捕捉された医療処置データを少なくとも用いて１または複数の機械学習医療処置モデルを生成する機械学習医療処置サーバと、
前記機械学習医療処置サーバと通信可能に結合された医療処置システムであって、前記機械学習医療処置サーバから選択された機械学習医療処置モデルを受信し、対応する医療処置中に前記選択された機械学習医療処置モデルを用いて前記医療処置システムの１または複数の動作を制御する、医療処置システムと
を備え、
前記医療処置システムは、前記対応する医療処置中にリアルタイムで、前記選択された機械学習医療処置モデルを用いて前記対応する医療処置を分析する、システム。

【請求項7】

前記医療処置システムと結合された医療用具センサによって前記対応する医療処置中に生成されたセンサデータを追跡し、前記対応する医療処置に関連する機械学習医療処置モデルを生成または改良するために、前記追跡されたセンサデータを前記機械学習医療処置サーバへ提供する前記医療処置システムを更に備える、請求項１に記載のシステム。

【請求項8】

前記複数の様々な医療処置システムにおいて前記対応する医療処置に関連する既存の機械学習医療処置モデルと置き換えるために、前記機械学習医療処置サーバが前記複数の様々な医療処置システムへ前記生成または改良された機械学習医療処置モデルを通知する、請求項７に記載のシステム。

【請求項9】

機械学習医療処置サーバ及び医療処置システムを含むシステムの作動方法であって、
機械学習医療処置サーバにおいて、複数の様々な医療処置システムにおいて行われる医療処置中に捕捉された医療処置データを少なくとも用いて１または複数の機械学習医療処置モデルを生成することと、
前記機械学習医療処置サーバから、前記医療処置と通信可能に結合された医療処置システムにおいて、選択された機械学習医療処置モデルを受信することと、
前記医療処置システムが、前記選択された機械学習医療処置モデルを用いて、対応する医療処置中に前記医療処置システムの１または複数の動作を制御することと
を備え、
各機械学習医療処置モデルは医療処置に関連付けられ、前記医療処置におけるステップを識別するように前記機械学習医療処置サーバによって訓練された第１の分類子と、前記医療処置の対応するステップ中に見える解剖学的構造を識別するように前記機械学習医療処置サーバによって訓練された第２の分類子と、前記医療処置の対応するステップ中の１または複数の医療用具の予定動作を示す、医療用具を識別するように前記機械学習医療処置サーバによって訓練された第３の分類子とを備える、方法。

【請求項10】

前記医療処置システムの前記１または複数の動作を制御することは、前記対応する医療処置中の前記医療処置システムと結合された医療用具の動きを制御することを備える、請求項９に記載の方法。

【請求項11】

機械学習医療処置サーバ及び医療処置システムを含むシステムの作動方法であって、
機械学習医療処置サーバにおいて、複数の様々な医療処置システムにおいて行われる医療処置中に捕捉された医療処置データを少なくとも用いて１または複数の機械学習医療処置モデルを生成することと、
前記機械学習医療処置サーバから、前記医療処置と通信可能に結合された医療処置システムにおいて、選択された機械学習医療処置モデルを受信することと、
前記医療処置システムが、前記選択された機械学習医療処置モデルを用いて、対応する医療処置中に前記医療処置システムの１または複数の動作を制御することと
を備え、
前記医療処置システムの前記１または複数の動作を制御することは、前記対応する医療処置を行う医療従事者に、前記対応する医療処置の現在のステップにおいて予定される解剖学的構造を通知する解剖学的構造情報を有するグラフィックユーザインタフェースを生成することを備える、方法。

【請求項12】

機械学習医療処置サーバ及び医療処置システムを含むシステムの作動方法であって、
機械学習医療処置サーバにおいて、複数の様々な医療処置システムにおいて行われる医療処置中に捕捉された医療処置データを少なくとも用いて１または複数の機械学習医療処置モデルを生成することと、
前記機械学習医療処置サーバから、前記医療処置と通信可能に結合された医療処置システムにおいて、選択された機械学習医療処置モデルを受信することと、
前記医療処置システムが、前記選択された機械学習医療処置モデルを用いて、対応する医療処置中に前記医療処置システムの１または複数の動作を制御することと
を備え、
前記医療処置システムの前記１または複数の動作を制御することは、
医療用具の要求された動きを、前記要求された動きの１または複数の特徴に基づいて阻止することと、
前記要求された動きを可能にするために医療従事者の承認を要求するグラフィックユー
ザインタフェースを生成することと、
前記要求された動きに従って前記医療用具を動かすことを可能にすること
を備える、方法。

【請求項13】

前記１または複数の機械学習医療処置モデルは、前記対応する医療処置における正の成果を有する医療処置データの１または複数の正の訓練セットと、前記対応する医療処置における１または複数の段階における１または複数の失敗を伴う成果を有する医療処置データの１または複数の負の訓練セットと、複数の様々な医療処置システムにおいて行われた医療処置中に捕捉された前記医療処置データとを備える医療処置データの訓練セットに基づいて生成される、請求項１０に記載の方法。

【請求項14】

機械学習医療処置サーバ及び医療処置システムを含むシステムの作動方法であって、
機械学習医療処置サーバにおいて、複数の様々な医療処置システムにおいて行われる医療処置中に捕捉された医療処置データを少なくとも用いて１または複数の機械学習医療処置モデルを生成することと、
前記機械学習医療処置サーバから、前記医療処置と通信可能に結合された医療処置システムにおいて、選択された機械学習医療処置モデルを受信することと、
前記医療処置システムが、前記選択された機械学習医療処置モデルを用いて、対応する医療処置中に前記医療処置システムの１または複数の動作を制御することと
を備え、
前記医療処置システムは、前記対応する医療処置中にリアルタイムで、前記選択された機械学習医療処置モデルを用いて前記対応する医療処置を分析する、方法。

【請求項15】

処理システムによって実行されると、前記処理システムに、
機械学習医療処置サーバにおいて、複数の様々な医療処置システムにおいて行われる医療処置中に捕捉された医療処置データを少なくとも用いて１または複数の機械学習医療処置モデルを生成することと、
前記機械学習医療処置サーバから、前記医療処置と通信可能に結合された医療処置システムにおいて、選択された機械学習医療処置モデルを受信することと、
前記選択された機械学習医療処置モデルを用いて、対応する医療処置中に前記医療処置システムの１または複数の動作を制御することと
を備える方法を実行させる命令が格納され、
各機械学習医療処置モデルは医療処置に関連付けられ、前記医療処置におけるステップを識別するように前記機械学習医療処置サーバによって訓練された第１の分類子と、前記医療処置の対応するステップ中に見える解剖学的構造を識別するように前記機械学習医療処置サーバによって訓練された第２の分類子と、前記医療処置の対応するステップ中の１または複数の医療用具の予定動作を示す、医療用具を識別するように前記機械学習医療処置サーバによって訓練された第３の分類子とを備える、非一時的機械可読記憶媒体。

【請求項16】

前記医療処置システムによって、前記医療処置システムと結合された医療用具センサによって前記対応する医療処置中に生成されたセンサデータを追跡することと、
前記対応する医療処置に関連する機械学習医療処置モデルを生成または改良するために、前記追跡されたセンサデータを前記機械学習医療処置サーバへ提供することと
を更に備える、請求項１５に記載の非一時的機械可読記憶媒体。

【請求項17】

前記対応する医療処置に関連する既存の機械学習医療処置モデルと置き換えるために、前記機械学習医療処置サーバから前記複数の様々な医療処置システムへ前記生成または改良された機械学習医療処置モデルを通知すること
を更に備える、請求項１６に記載の非一時的機械可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［0001］ 本出願は、その内容が参照によって本願に組み込まれる、２０１６年９月６日に出願された米国特許仮出願第６２／３８３，８３８号の利益を主張するものである。

【0002】

［0002］ 本開示は、一般に医療用手術システムに関し、限定されるものではないが特に、手術ミスを防止するために医療処置中に外科医をガイドするためのシステムおよび方法に関する。

【背景技術】

【0003】

［0003］ 手術における多くの合併症は、外科的処置中の外科医の誤った判断によってもたらされる。誤った判断の２つの主な原因は、重要な解剖学的構造の誤識別（たとえば神経血管束をそれと識別しなかったことにより切断すること）および必要な必須条件に背くこと（たとえば必要なクリップ全てを設置する前に切断すること）である。また、特定の医療従事者の経験不足によって、手術ステップが誤った順序で行われることがある。また他のミスも外科的処置中に生じ得る。

【0004】

［0004］ これらの問題は、医療従事者が低侵襲性手術（ＭＩＳ）および／またはロボット支援手術を行う場合、悪化し得る。たとえば、患者の解剖学的構造に対する外科医の非常に限られた内視鏡視野ならびに感覚フィードバックの欠如により、ＭＩＳおよび／またはロボット処置において解剖学的構造の誤識別がさらに起こりやすい。

【0005】

［0005］ 本発明の非限定的かつ非網羅的な実施形態は、以下の図面を参照して説明され、図面において、特に記載しない限り、様々な図を通して同類の参照番号は同類の要素を指す。図面は必ずしも一定の比率で拡大縮小されず、代わりに説明されている原理が強調されている。

【図面の簡単な説明】

【0006】

【図1】［0006］医療処置システムに機械学習モデルベースのガイダンスおよびサポートを提供することによって外科的処置中の医療ミスを防止するための例示的なシステムアーキテクチャ１００のブロック図である。

【図2】［0007］医療処置システムおよび機械学習モデル医療処置サーバの１つの実施形態のブロック図である。

【図3】［0008］本開示の実施形態に係る、医療処置システムにガイダンスおよびサポートを提供するためのプロセスを示すフローチャートである。

【図4】［0009］本開示の実施形態に係る、ＭＬ医療処置モデルを訓練するためのプロセスを示すフローチャートである。

【図5】［0010］本発明とともに用いられ得るコンピュータシステムの１つの実施形態である。

【図6A】［0011］例示的な医療処置中に医療処置システムによって提供される例示的なユーザインタフェースを示す。

【図6B】［0011］例示的な医療処置中に医療処置システムによって提供される例示的なユーザインタフェースを示す。

【図6C】［0011］例示的な医療処置中に医療処置システムによって提供される例示的なユーザインタフェースを示す。

【発明を実施するための形態】

【0007】

［0012］ 本明細書において、医療処置中の医療従事者に医療処置システムがサポートおよび／またはガイダンスを提供することを可能にする、医療処置から機械学習ベースモデルを生成するための装置、システム、およびプロセスの実施形態が説明される。以下の説明において、複数の細部が記載される。しかし本開示の利益を得る当業者には理解されるように、本発明は、これら特定の細部なしでも実施され得る。いくつかの例において、周知の構造およびデバイスは、本発明を不明瞭にしないように、詳細にではなくブロック図形式で示される。

【0008】

［0013］ 以下に続く詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する演算のアルゴリズムおよびシンボル表現の観点から提示される。アルゴリズム的説明および表現は、データ処理技術者が他の当該技術者に対して自身の研究の大意を最も効果的に伝えるために用いる手段である。アルゴリズムは本明細書で、また一般に、所望の結果を導く自己矛盾のない一連のステップと考えられる。ステップは、物理量の物理的操作を必要とするものである。必ずではないが多くの場合、これらの量は、格納、伝送、結合、比較、および他の操作をされることが可能な電気または磁気信号の形式を取る。主に一般的な用法により、これらの信号をビット、値、要素、記号、符号、項、数などと称することが時に便利であると分かっている。

【0009】

［0014］ ただし、これらの用語および同類の用語は全て、適当な物理量と関連付けられ、これらの量に適用される都合の良い符号にすぎないことに留意すべきである。特に記載されない限り、以下の説明から明らかであるように、本説明を通して、たとえば「生成する」、「受信する」、「制御する」、「防止する」、「追跡する」、「可能にする」、「提供する」、「押し上げる」などの用語を用いる説明は、コンピュータシステムのレジスタおよびメモリ内で物理（たとえば電子）量として表現されたデータを操作し、コンピュータシステムメモリまたはレジスタまたは他のそのような情報ストレージ、伝送、または表示デバイス内で同様に物理量として表現される他のデータに変換するコンピュータシステムまたは同様の電子コンピューティングデバイスのアクションおよびプロセスを指すことが理解される。

【0010】

［0015］ また本発明は、本明細書における動作を実行するための装置にも関する。この装置は、必要な目的のために特別に構成されてよく、またはコンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピュータを備えてよい。そのようなコンピュータプログラムは、限定されるものではないがたとえば、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、および光磁気ディスクを含む任意の種類のディスク、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光カード、または電子命令を格納するために適した任意の種類の媒体などのコンピュータ可読記憶媒体に格納され得る。

【0011】

［0016］ 本明細書に提示されるアルゴリズムおよびディスプレイは、本質的に任意の特定のコンピュータまたは他の装置に関連するものではない。様々な汎用システムが、本明細書の教示に係るプログラムとともに用いられてよく、あるいは必要な方法ステップを実行するように特化した装置を構成するために便利であると分かる。様々なこれらのシステムに必要な構造は、以下の説明から明らかになる。加えて、本発明は、任意の特定のプログラミング言語を参照して説明されるものではない。理解されるように、本明細書で説明されるような本発明の教示を実装するために様々なプログラミング言語が用いられ得る。

【0012】

［0017］ 図１は、医療処置システムに機械学習モデルベースのガイダンスおよびサポートを提供することによって、外科的処置における医療ミスを防止するための例示的なシステムアーキテクチャ１００のブロック図である。１つの実施形態において、システムは、機械学習（ＭＬ）医療処置サーバ１１０、および１または複数の医療処置システム（たとえば医療処置システム１４０〜医療処置システム１４０−Ｎ）を含む。１つの実施形態において、医療処置システム１４０〜１４０−Ｎの各々は、たとえばパーソナルコンピュータ、専用コンピュータ、コンピューティング機器などのコンピュータ処理システムであってよい。ＭＬ医療処置サーバ１１０もまた、たとえば１または複数のサーバコンピュータ、デスクトップコンピュータなどのコンピューティングシステムであってよい。

【0013】

［0018］ 医療処置システム１４０〜１４０−ＮおよびＭＬ医療処置サーバ１１０は、情報を交換するために標準プロトコルのいずれかを用いて通信するネットワーク１０２に結合され得る。１つの実施形態において、医療処置システムは、たとえばワイファイ接続などの無線接続を介してネットワーク１０２と結合される。医療処置システム１４０〜１４０−ＮおよびＭＬ医療処置サーバ１１０は、１つのローカルエリアネットワーク（ＬＡＮ）上で実行してよく、同じ物理または論理システム、または異なる物理または論理システムに組み込まれ得る。あるいは、医療処置システム１４０〜１４０−ＮおよびＭＬ医療処置サーバ１１０の各々は、インターネットを介して互いに結合され得るがファイヤウォール、ルータ、および／または他のネットワークデバイスによって分離され得る異なるＬＡＮ、広域ネットワーク、セルラ通信ネットワークなどに常駐してよい。ただし、たとえばホスト型ネットワーク、分散ネットワーク、集中ネットワークなどを含む他の様々なネットワーク構成が用いられてもよい。

【0014】

［0019］ 医療処置システム１４０〜１４０−Ｎは、外科的処置中に医療従事者にガイダンスおよびサポートを提供する役割を担う。実施形態において、以下で詳しく説明するように、各医療処置システムは、たとえば立体視内視鏡、ロボット制御医療用器具（たとえばキャリパ、スプレッダ、カッタなど）など１または複数の医療用具と結合され得る。各医療処置システムは、たとえば医療用具によって収集されたデータ（たとえば内視鏡によって捕捉された患者の解剖学的構造の視野）を表示し、触覚フィードバックを提供し（たとえば視覚、聴覚、または感覚アラームを作動させ）、追加のデータ（たとえば術前医療画像、患者の既往歴、患者の生体情報など）へのアクセスを可能にし、追加の（たとえば患者が載置された台、ロボット手術機器のアームなどの）視覚化を提供するグラフィカルユーザインタフェースならびに他のインタフェースなど、１または複数のユーザインタフェースとも結合され得る。実施形態において、各医療処置システムは、所望の使用法／実行される処置に基づいて、様々な医療用具およびユーザインタフェースのセットを有してよい。図１に関する以下の説明は、医療処置システム１４０〜１４０−Ｎの１つの実施形態として医療処置システム１４０を説明する。

【0015】

［0020］ 医療処置システム１４０は、１または複数のユーザインタフェースを介して、様々な患者固有情報を提供する、たとえば年齢、性別、肥満度指数（ＢＭＩ）、既知の医療／健康状態などの患者固有要因の詳述を受信する。また医療処置システム１４０は、行うべき医療処置の詳述も受信する。処置および患者固有情報に基づいて、医療処置システムは、処置およびケース特有ＭＬ医療処置モデルを医療処置システム１４０のモデルストア（たとえばＭＬ医療処置モデルデータベース）から呼び出し、または処置およびケース特有ＭＬ医療処置モデルをＭＬ医療処置システム１１０から要求してよい。

【0016】

［0021］ １つの実施形態において、医療処置（たとえば手術、内視鏡検査、介入的放射線治療など）中、医療処置システム１４０は、医療処置中に医療用具の１または複数によって捕捉されたセンサデータを取り込む。センサデータは、たとえば患者の解剖学的構造（複数も可）の立体画像、ロボット器具の速度、加速度、回転、方向などを示すテレメトリデータ、非ロボット器具（たとえば医療従事者が保持し操作する器具）のテレメトリデータなどを含んでよい。医療処置システム１４０は、ＭＬ医療処置モデルを用いて、受信したセンサデータを分析し、たとえば医療処置の進捗を追跡し、医療処置中に行われた行動を識別し、所与の医療処置に関する所定の一連のステップにおけるステップと識別した行動とを合致させ、ケース特有および／または行動特有情報を前提として一連のステップを動的に更新する。

【0017】

［0022］ １つの実施形態において、医療処置のステップを識別および追跡することにより、医療処置システム１４０は、医療処置を行う１または複数の医療従事者へガイダンスおよび意思決定サポートを提供することが可能である。これは、医療処置の次のステップ（複数も可）の提案、次のステップのグラフィック表示、重要な情報のリマインダの生成（たとえば「次の切開の前に構造ＸＹＺを識別しましたか」）、重要な情報のグラフィック表示（たとえば構造ＸＹＺの視覚図示）、行動が所定の一連のステップにおける予定ステップから逸脱した場合の通知、医療用具を作動させる前に確認を要求すること（たとえば、ステップの逸脱未遂または患者の解剖構造領域への進入を検出し、医療用具を停止させ、行動を進行させる前に確認を要求すること）、医療用具が患者の解剖構造の特定領域に進入することを妨げる「飛行禁止」領域を実施すること、センサデータ（たとえば速度、加速度、移動の周期性、移動の方向および深さなど）に基づいて異常行為を警告すること、履歴情報に基づいて異常挙動を警告すること（たとえば、疲労による震え、動作範囲の増加などを検出することなど、自身の過去の挙動と一致しないように行動している外科医に警告すること）、ならびに作業中の医療従事者をサポートするための他の行動の１または複数を含んでよい。この情報を、医療処置を行う１または複数の医療従事者に提供することによって、医療処置システム１４０は、医療処置中にガイダンスを提供し、ミスを防止することによって医療従事者を支援し、上述したガイダンスおよび支援を通して医療従事者の訓練を補助することなどができる。

【0018】

［0023］ １つの実施形態において、ＭＬ医療処置サーバ１１０は、医療処置システム１４０〜１４０−Ｎによって用いられるＭＬ医療処置モデルを生成する役割を担う。１つの実施形態において、ＭＬ医療処置サーバ１１０は、処置、ケース、および患者属性固有の医療処置モデルを訓練する。訓練は、過去の医療処置の訓練データの複数のセットにおける分析に基づいて機械学習モデルを実行することを含んでよく、訓練データは、視覚情報（たとえば解剖学的構造を識別するために内視鏡の視覚システムによって捕捉されたデジタル画像／モノまたはステレオビデオ）、センサ情報（たとえば、識別された解剖学的構造に対する速度、切開の深さ、広がりの幅といった医療用具属性）、医療処置におけるステップおよび／またはステップからの逸脱、ベンチマーク情報（たとえば予定最大および最小期間、用具使用法、予定変動などを有する一連のステップ）、患者固有情報（たとえば年齢、性別、ＢＭＩ、関連既往歴など）、医療処置データのマニュアル注釈（たとえば、処置および／または処置のステップにおける解剖学的構造の重要ステップの注釈）医療処置のステップ／段階の時間的注釈、ならびに他の関連情報を含んでよい。

【0019】

［0024］ ＭＬ医療処置サーバ１１０は、訓練セットを用いて、ＭＬ医療処置モデルを生成する。１つの実施形態において、医療処置モデルは、たとえば医療処置における現在のステップを識別するために用いられるステップ識別分類子（たとえば現在のステップはＸであり、次のステップは潜在的逸脱Ｚを有するＹである）、入力ビデオまたは静止画像データに基づいて医療処置中に１または複数の解剖学的構造を識別するために用いられる解剖構造分類子（たとえば患者の動脈、臓器などの識別）、および医療用具センサデータに基づいて医療処置中に適切および不適切な用具の使用法を識別する１または複数の用具分類子（たとえば、予定の切開深さ、用具移動（複数も可）方向、速度、加速度などの識別）といった複数の分類子を含む。１つの実施形態において、訓練セットは、正の成果（たとえば、外科的処置が成功した場合）を有する訓練セット、ならびに負の成果（たとえば実際の手術における誤り、最適以下の成果、合併症、死体における人為的ミスなど）を有する訓練セットを含んでよい。１つの実施形態において、ＭＬ医療処置サーバ１１０は、医療処置システムの１または複数によって行われた医療処置中に捕捉されたデータを有する訓練セット、新たに生成された正／負の訓練セットなどに基づいて、既存のＭＬ医療処置モデルを定期的に改良する。この医療処置システムからの新たなデータの継続的ストリームは、ＭＬ医療処置モデルの分類子を定期的に再訓練および改善するために用いられる。

【0020】

［0025］ １つの実施形態において、ＭＬ医療処置サーバ１１０は、各モデルに関する分類子を含む訓練後の医療処置モデルを医療処置システム１４０〜１４０−Ｎへ送信する。モデルは、たとえば特定の特徴を有する患者に対して行うべき特定の処置に関するモデルの要求、特定の処置に関する全てのモデルの要求、医療処置の範囲に関するモデルのライブラリなど、医療処置システムからの要求に応答して送信され得る。また、ＭＬ医療処置サーバ１１０は、新たに受信した訓練データに基づいて、１または複数の過去に提供されたＭＬ医療処置モデルに更新を提供してよい。１つの実施形態において、更新後のＭＬ医療処置モデルにおける改善された分類子は、１または複数の医療処置システムへ定期的に押し上げられる。その結果、潜在的に大きなグループの医療従事者の知識および経験が収集され、合併され、知識ベース（たとえば訓練後のＭＬ医療処置モデル）に組み込まれることにより、医療処置中のガイドおよびミスの防止によって医療処置システムを用いる全ての医療従事者に利益がもたらされる。

【0021】

［0026］ 図２は、医療処置システムおよび機械学習医療処置サーバの１つの実施形態２００のブロック図である。医療処置システム２４０およびＭＬ医療処置サーバ２１０は、図１において上述した医療処置システム（たとえば１４０〜１４０−Ｎ）およびＭＬ医療処置サーバ１１０に関する追加の細部を提供する。

【0022】

［0027］ １つの実施形態において、ＭＬ医療処置サーバ２１０は、機械学習訓練エンジン２１２、訓練データの複数のセットを格納するデータストア２１４、訓練後の機械学習モデル（たとえばモデルおよびそれらの各分類子）のデータストア２１６、およびフロントエンドインタフェース２１８を含む。１つの実施形態において、医療処置システム２４０は、バックエンドインタフェース２４２、訓練後のＭＬＭ（複数も可）のデータストア２４６、ＭＬＭベース処置エンジン２５０、１または複数の医療用具（複数も可）２６０との用具インタフェース２５２、およびユーザインタフェース２７０と結合されたユーザインタフェースコントローラ２４８を含む。１つの実施形態において、医療処置システム２４０およびＭＬ医療処置サーバ２１０は、様々なネットワーク２０２および図１において上述したようなネットワーク構成を介して互いに通信する。

【0023】

［0028］ ＭＬ医療処置サーバ２１０は、実施形態において、たとえばサーバコンピュータシステム、デスクトップコンピュータ、分散コンピュータシステムなどのコンピューティングデバイス、ならびに他のコンピューティングデバイスおよび構成において実装され得る。１つの実施形態において、機械学習訓練エンジン２１２は、データストア２１６において維持される訓練後のＭＬＭ（複数も可）を生成する。実施形態において、機械学習訓練エンジン２１２は、複数の訓練セット（たとえば、正の成果を有する訓練データ、誤りおよび／または負の成果を示す訓練データ、および１または複数の医療処置システムによって捕捉されたフロントエンド訓練データ）にアクセスする。機械学習訓練エンジン２１２は、１または複数の機械学習技術を用いて、医療処置システム２４０において行われる医療処置中に使用するためのＭＬ医療処置モデル分類子（たとえば図１において上述したステップ識別分類子、解剖構造分類子、および１または複数の用具分類子）を訓練してよい。たとえば機械学習訓練エンジン２１２は、ステップ識別分類子を生成するために隠れマルコフモデルを用いてデータストア２１４内の訓練セットデータのコーパスを分析してよい。他の例として、機械学習訓練エンジン２１２は、ステップ識別分類子、解剖構造分類子、およびツール分類子を生成するためにディープニューラルネットワークを用いてデータストア２１４内の訓練セットデータのコーパスを分析してよい。本明細書で説明されるＭＬＭ分類子を生成するために、他の機械学習技術が用いられてもよい。

【0024】

［0029］ １つの実施形態において、機械学習訓練エンジン２１２によって訓練が完了すると、訓練後の分類子を含むＭＬ医療処置モデルがデータストア２１６に格納される。１つの実施形態において、データストア２１６は、複数の処置および患者固有ＭＬ医療措置モデルを維持する。たとえば、様々な特徴（たとえば年齢、性別、ＢＭＩ、関連既往歴など）を有する患者に関する各処置について、様々なＭＬ医療処置モデルが維持され得る。ただし、特徴のセットおよび／または範囲が特定のＭＬ医療処置モデルに関連付けられ、ＭＬ医療処置モデルは患者固有情報を用いて構成され得るので、様々なＭＬ医療処置モデルが必ずしも患者の特徴の全ての組み合わせについて維持されるのではない。また、本明細書で説明されるように、機械学習訓練エンジン２１２によって実行される訓練は、１または複数の医療処置システム（たとえば医療処置システム２４０）において捕捉された医療処置データに基づいてデータストア２１６内のＭＬ医療処置モデルの分類子を更新および／または改良するために定期的に実行され得る。

【0025】

［0030］ １つの実施形態において、フロントエンドインタフェース２１８は、医療処置システム２４０の要求に応答して、またはＭＬ医療処置モデルの更新に応答して、バックエンドインタフェース２４２を介して医療処置システム２４０へ１または複数のＭＬ医療処置モデルを定期的に通信する。医療処置システム２４０は、受信したＭＬ医療処置モデルを、医療処置中に用いるために訓練後のＭＬＭ（複数も可）データストア２４６に格納する。

【0026】

［0031］ １つの実施形態において、１または複数の医療従事者は、ユーザインタフェース２７０および医療用具（複数も可）２６０を用いて医療処置を行うために、医療処置システム２４０とインタラクトしてよい。ユーザインタフェース２７０は、たとえばグラフィックユーザインタフェース、オーディオユーザインタフェース、触覚フィードバックシステム、仮想現実インタフェース、ユーザ制御メカニズム（たとえばジョイスティック、ナビゲーション）など、医療処置システム２４０との１または複数のインタフェースを含んでよい。１または複数の医療用具（複数も可）２６０は、たとえば選択された処置に基づいて医療処置システム２４０と選択的に結合されてよく、最小侵襲性医療用具（たとえば内視鏡、皮下注射器、電極など）、ロボット支援ツール（たとえばユーザインタフェース２７０を介して医療従事者が制御することができる電動器具）、自律ツール（たとえば訓練後のＭＬ医療処置モデルの命令に基づいて医療従事者が介入せずに作動する医療用具）、ならびに他の種類の医療用具２６０を含んでよい。

【0027】

［0032］ ユーザインタフェース２７０は、処置が選択され、選択された処置に関連する患者属性が入力されることを可能にする。他の実施形態において、処置および／または患者属性は、医療処置の開始時に捕捉されたビデオまたは画像データを分析するＭＬ医療処置モデル（たとえば選択モデル）を用いて自動的に認識され得る。処置および患者属性に基づいて、ＭＬＭベース処置エンジン２５０は、訓練後のＭＬＭ（複数も可）データストア２４６から適切なＭＬ医療処置モデルを選択する。１つの実施形態において、選択されたＭＬ医療処置モデルは、医療従事者がそのモデルを許諾または拒絶し、また特定の患者属性を用いてモデルを設定し、処置オプションを用いてモデルを設定することなどを可能にするために、ユーザインタフェース２７０を介して医療従事者に表示され得る。

【0028】

［0033］ １つの実施形態において、医療処置中、ＭＬＭベース処置エンジン２５０は、選択されたＭＬ医療処置モデルの分類子を用いて、処置におけるステップを識別し、処置を受けている患者の解剖学的構造を識別し、および／または適切な医療用具２６０の使用法を識別する。１つの実施形態において、ＭＬＭベース処置エンジン２５０によって作成された様々な分類子は、医療用具２６０の受信センサ入力に基づく。たとえば、立体視内視鏡は、ＭＬＭベース処置エンジン２５０によって分析するための２次元または３次元医療画像を捕捉し、ＭＬＭベース処置エンジン２５０が、捕捉された画像データから解剖学的構造を識別し、解剖学的構造の様々な部分の可視性に基づいて処置におけるステップを識別し、使用される用具およびそれらが所与のステップにおいて適切であるかを識別することなどを可能にしてよい。他の例として、たとえば切開デバイスに取り付けられた加速度計、ジャイロスコープ、圧力センサ、または他のセンサによって、ＭＬＭベース処置エンジン２５０は、医療従事者が推奨速度を超過しているか、最大切開深さを超過しているか、誤った方向に切開しているかなどを決定することができる。

【0029】

［0034］ １つの実施形態において、ＭＬＭベース処置エンジン２５０によって実行される分類子分析に基づいて、ＭＬＭベース処置エンジン２５０は、医療処置中に１または複数の行動を取ってよい。たとえばＭＬＭベース処置エンジン２５０は、識別された解剖学的構造に基づいてロボット支援または自律医療用具の動きを制限または停止（たとえば、医療用具が医療処置中に立ち入ることのできない、または外科医が視覚警報を上書きした場合のみ立ち入ることができる「飛行禁止」領域を実施）することができる。他の例として、ＭＬＭベース処置エンジン２５０は、検出された状態（たとえば、用具使用速度が所与の解剖学的環境／特定の構造の近接度に関する最大値を超過していること、処置において予定された次のステップにおける逸脱など）に基づいて、視覚、聴覚、触覚警報などの警報を生成することができる。また他の例として、ＭＬＭベース処置エンジン２５０は、医療従事者に、処置における次のステップ、解剖学的構造の予想図のビジュアル、または他のガイダンスを示す１または複数のユーザインタフェース要素を表示することができる。これらのＭＬＭベース処置エンジン２５０によって提供される制御、警報、およびガイダンスは、医療処置を行う医療従事者（複数も可）に、ガイダンス、決定サポート、および誤り防止を提供する。

【0030】

［0035］ １つの実施形態において、用具インタフェース２５２が、医療処置中に医療用具２６０によって捕捉されたセンサデータ（たとえばテレメトリ、温度、水分など）データをＭＬＭベース処置エンジン２５０へ提供することに加えて、用具インタフェース２５２は、医療処置中に捕捉されたデータを処置データ収集データストア２４４に格納する。データストア２４４は、医療処置システム２４０において実行された実際の医療処置から訓練データのセットを生成するために用いられる。その後、バックエンドインタフェース２４２は、処置データ収集データストア２４４内の訓練セットデータをＭＬ医療処置サーバ２１０へ定期的に送信してよい。

【0031】

［0036］ 本明細書で説明されるように、ＭＬ医療処置サーバ２１０は、複数の様々な処置に関して複数の様々な医療処置システムから訓練セットデータを収集してよい。その結果、ＭＬ医療処置モデル分類子の訓練は、医療従事者のグループの収集結果に基づいて定期的に改良され得る。これにより、ＭＬ医療処置モデルの分類子は、多数の種類の処置、処置における変動の種類、様々な特徴を有する患者などに関する現実の医療処置を扱うことができる、より正確な分類子を展開することが可能である。その結果、本明細書の説明に従って動作する医療処置システム２４０によって提供される誤り防止およびガイダンスは、経時的に改善し続ける。

【0032】

［0037］ 図３は、本開示の実施形態に係る、医療処置システムによってガイダンスおよびサポートを提供するためのプロセス３００を示すフローチャートである。プロセスは、ハードウェア（回路、専用論理など）、（たとえば汎用コンピュータシステムまたは専用機械において実行する）ソフトウェア、ファームウェア、またはこれらの組み合わせを備え得る処理論理によって実行される。１つの実施形態において、プロセスは、医療処置システム（たとえば医療処置システム１４０または２４０）によって実行される。

【0033】

［0038］ 図３を参照すると、処理論理は、ＭＬ医療処置モデルを受信し、データストアにモデルを格納することによって開始する（処理ブロック３０２）。本明細書で説明されるように、ＭＬ医療処置モデルは、医療処置の段階が正確にある所定の範囲内で実行されているか否かを決定するためにステップ、解剖学的構造、および用具動作を識別するための分類子を含む。実施形態において、ＭＬ医療処置モデルは、特定のＭＬ医療処置モデルの要求に応答して、ＭＬ医療処置モデルのバッチの要求に応答して、医療処置システムへ定期的に押し上げられた結果として、既存のＭＬ医療処置モデルへの更新としてなどで受信され得る。受信されたＭＬ医療処置モデルは、医療処置システムによって行われることができる複数の様々な医療処置に関する複数のモデルとともに格納される。

【0034】

［0039］ 処理論理は、医療処置および患者特徴の詳述を受信する（処理ブロック３０４）。たとえば、医療従事者は、特定の処置（たとえば胆嚢除去）および１または複数の患者特徴（たとえば年齢、性別、ＢＭＩ、たとえば高血圧などの関連症状など）を入力してよい。この受信情報に基づいて、処理論理は、指定された医療処置に基づいて格納されたデータからＭＬ医療処置モデルを選択し、指定された患者特徴に基づいて選択されたモデルを構成する（ブロック３０６）。ＭＬ医療処置モデルは医療処置の一連のステップを定めるので、患者特徴は、医療処置を受けている所与の患者に適切であるようにステップのフローならびにステップ自体をカスタマイズしてよい。

【0035】

［0040］ 医療処置の間、処理論理は、動作を行うために使用されている医療用具の１または複数のセンサを用いて医療処置における動作を追跡する（処理ブロック３０８）。実施形態において、医療用具は、たとえば制御メカニズム（たとえばジョイスティック、タッチコントロール、音声コマンドコントローラ、ＶＲコントローラなど）、医療器具（たとえば内視鏡、カッタ、スプレッダ、クランプなど）、および他の用具など複数の様々な用具を含んでよい。たとえば加速度計、ジャイロスコープ、力センサなどのセンサは、処置における動作がどのように行われているかに関して処理論理に通知するために処理論理にフィードバックを提供し、それによって処理論理は、現在の動作におけるステップ、解剖学的構造、用具特徴を識別するために、ＭＬ医療処置モデルの１または複数の分類子を用いて追跡された動作を分析してよい（処理ブロック３１０）。たとえば、分類子は、用具が過度に高速である場合、過度に低速である場合、切開が予定の深さである場合、用具が想定外の方向へ動いている場合などを決定するためにセンサデータのコーパスを分析する。他の例として、分類子は、視野内の解剖学的構造を認識して、予定される解剖学的構造が視野内にあるかを決定し、現在どの医療用具が使用されているかを認識し、予定外の解剖学的構造が見えることにより医療処置における逸脱が生じているかを決定するなどのために、たとえば内視鏡データなどの視覚センサデータを分析する。その後、分析の結果に基づいて、処理論理は、医療処置中に医療処置システムの１または複数のプロセスを制御する（処理ブロック３１２）。１つの実施形態において、プロセス制御は、医療処置のステップを通して医療従事者をガイドし、または医療処置中に遠隔支援を提供するために他の医療従事者との通信を提供するユーザインタフェースを生成することを含んでよい。また、プロセス制御は、たとえば医療従事者の優先的コマンドなどの制御メカニズムを医療用具に実施すること、速度、方向、加速度に基づいて用具の動きを停止させること、自律行動を取ること、予定の動作からの逸脱が生じる前に承認を要求することなどを含んでよい。また、たとえば他の医療従事者（たとえば外科医、看護師、または研修医が動作を行っている場合、病院管理役員）への警報の送信など、ＭＬ医療処置モデルの１または複数の予定された状態からの逸脱に応答して警報が生じ得る。

【0036】

［0041］ たとえば、図６Ａは、処置を行っている外科医に、医療処置中に捕捉された内視鏡データを表示するために用いられ得る、たとえば外科用コンソールなどのグラフィックユーザインタフェース６０２を示す。医療処置における現在の動作が（たとえば選択／構成されたＭＬ医療処置モデルの分類子によって識別されたような）切開手術である場合、切開の完了時にどの解剖学的構造が外科医の視野内にあるべきか（たとえば肝臓、動脈、導管など他の解剖学的構造に囲まれたカロー三角６０８）を外科医に通知するために、現在の動作に基づいて挿入部６０４が表示６０６され得る。たとえばハイライトされたカロー三角６０８といったこれらの解剖学的構造は、医療処置の正確な進行における重要な中間地点であってよい。図６Ｂは、グラフィックユーザインタフェース６５２においてハイライト６５４される認識された解剖学的構造（たとえばカロー三角６５６）を表示するグラフィックユーザインタフェース６５２によって更新された同じ外科用コンソールを示す。この視野におけるオーバレイは、進行中の動作が首尾よく行われたという表示を外科医に提供するために一時的にあってよい。ただし、図６Ｃに示すように、たとえば予定外の特定の用具の使用が検出された場合など、動作が予定の順序で生じていない場合、認識されていない要素（たとえばクリップ挿入６７８）を識別するグラフィックユーザインタフェース６７６が表示され得る。１つの実施形態において、処理論理は、入力要求６８０を生成することによって、この予定外のイベントを考慮して医療処置を制御する。入力は、外科医が入力６８０を介して動作が進行してよいことを確認するまで、たとえば手術ロボットの動きを阻止することなどの制御を実施してよい。

【0037】

［0042］ 図３を参照すると、処理論理は次に、医療処置から追跡された動作をＭＬ医療サーバへ提供する（処理ブロック３１４）。本明細書で説明されるように、追跡された動作は、ＭＬ医療サーバに、センサデータ、成果、逸脱、注釈などを含む実際の医療処置データの訓練データセットを提供する。医療処置データを提供することによって、フロントエンド訓練セット（たとえばデータストア２１４内の訓練データセット）は拡張されることができ、対応するＭＬ医療処置モデルの分類子が新たな状況（たとえば患者特徴、医療処置中の合併症、ならびに他の状況）に対して再訓練、改良、拡張などをされ得る。

【0038】

［0043］ 実施形態において、処理論理は、医療処置の期間にわたりリアルタイムでガイダンスおよび誤り防止を提供するために、継続的に動作を追跡し、追跡された動作を分析する（たとえば処理ブロック３０８および３１０）。また、医療処置動作を継続的に追跡することによって、処理論理は、視覚データ、医療用具感覚データ、医療処置ステップ進捗、承認された逸脱などを含む、医療処置を表すデータの包括的なセットを構築することができる。１つの実施形態において、この情報は、ＭＬ医療サーバへデータを提供する前に、外科医または他の医療従事者によって注釈を付けられ得る。

【0039】

［0044］ 図４は、本開示の実施形態に係る、ＭＬ医療処置モデルを訓練するためのプロセス４００を示すフローチャートである。プロセスは、ハードウェア（回路、専用論理など）、（たとえば汎用コンピュータシステムまたは専用機械において実行する）ソフトウェア、ファームウェア、またはこれらの組み合わせによって実行される。１つの実施形態において、プロセスは、機械学習医療処置サーバ（たとえばＭＬ医療処置サーバ１１０または２１０）によって実行される。

【0040】

［0045］ 図４を参照すると、処理論理は、１または複数の医療処置訓練セットから医療処置データにアクセスすること（処理ブロック４０２）によって開始する。１つの実施形態において、医療処置データは、指定された処置に基づいてアクセスされる。本明細書で説明されるように、医療処置データは、たとえば医療用具センサデータ（たとえば速度、方向、加速度、圧力、水分など）、医療処置中に捕捉された視覚データ（たとえば内視鏡ビデオまたは静止画像データ）、医療従事者によって医療処置データに付けられた注釈など、複数の様々な種類のデータを含んでよい。また、訓練セットは、成功した処置の正の訓練データ、ミス（たとえば死体または動物の手術中になされた意図的なミス）を含む負の訓練データ、ならびに様々な医療処置システムにおいて行われた処置から収集された訓練データを含んでよい。

【0041】

［0046］ 処理論理は、医療処置の機械学習モデルを導出または改良するために、アクセスされた医療処置データにおける分析に基づいて機械学習モデルを実行する（処理ブロック４０４）。分析に基づいて、処理論理は、医療処置に関する機械学習モデルの１または複数の分類子を訓練する（処理ブロック４０６）。本明細書で説明されるように、機械学習モデルは、訓練されると、医療処置におけるステップ、医療処置における所与のステップに関連する解剖学的構造、および用具特徴（たとえば移動速度、移動方向、切開深さ、印加圧力量など）の識別を可能にする複数の分類子を含んでよい。処理論理は、処理ブロック４０２へ戻り、追加の医療処置データ（たとえば、医療処置データの正の訓練セット、負の訓練セット、およびフロントエンド訓練セット）を分析してよい。また、医療処置データの新たな訓練セットが受信されてよく、これによって処理論理は、機械学習モデルの分類子を改良および／または拡張するために処理ブロック４０２へ戻ることができる。

【0042】

［0047］ 処理論理は、機械学習医療処置モデルデータストアに、訓練後の分類子を有する機械学習モデルを格納する（処理ブロック４０８）。その後、医療処置システムからの要求時、または処理論理によって開始されたプッシュ操作中、訓練後の分類子を有する１または複数の機械学習モデルが１または複数の医療処置システムへ提供される（処理ブロック４１０）。本明細書で説明されるように、機械学習モデルは、医療処置システムによって用いられると、医療ミスを防止し、様々な医療処置を行う医療従事者をガイドするために、そのようなシステムが医療処置システム（たとえばグラフィックユーザインタフェース、医療用具など）の１または複数の動作を制御するために医療処置中に機械学習モデルを適用することを可能にする。

【0043】

［0048］ 図５は、本発明とともに用いられ得るコンピュータシステムの１つの実施形態である。ただし、当業者には明らかであるように、様々なシステムアーキテクチャの他の代替システムが用いられてもよい。

【0044】

［0049］ 図５に示すデータ処理システムは、情報を伝達するためのバスまたは他の内部通信手段５１５、およびバス５１５に結合された、情報を処理するためのプロセッサ５１０を含む。システムは更に、バス５１５に結合された、プロセッサ５１０によって実行される情報および命令を格納するためのランダムアクセスメモリ（ＲＡＭ）または（メモリと称される）他の揮発性ストレージデバイス５５０を備える。主要メモリ５５０は、プロセッサ５１０による命令の実行中に一時変数または他の中間情報を格納するためにも用いられ得る。またシステムは、バス５１５に結合された、プロセッサ５１０に関する静的情報および命令を格納するための読取専用メモリ（ＲＯＭ）および／またはスタティックストレージデバイス５２０、およびたとえば磁気ディスクまたは光ディスクなどのデータストレージデバイス５２５およびそれに対応するディスクドライブも備える。データストレージデバイス５２５は、情報および命令を格納するためにバス５１５に結合される。

【0045】

［0050］ システムは更に、コンピュータユーザに情報を表示するためにバス５６５を介してバス５１５に結合された、たとえば液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）などのディスプレイデバイス５７０に結合され得る。英数字および他のキーを含む英数字入力デバイス５７５もまた、プロセッサ５１０へ情報およびコマンド選択を伝達するためにバス５６５を介してバス５１５に結合され得る。追加のユーザ入力デバイスは、プロセッサ５１０へ情報およびコマンド選択を伝達するためにバス５６５を介してバス５１５に連結された、たとえばマウス、トラックボール、スタイラス、ジョイスティック、仮想現実コントローラ、センサフィードバックコントローラ、またはカーソル方向キーなどのカーソル制御デバイス５８０である。

【0046】

［0051］ 任意選択的にコンピュータシステム５００に連結され得る他のデバイスは、ネットワークを介して分散システムの他のノードにアクセスするための通信デバイス５９０である。通信デバイス５９０は、たとえばイーサネット、トークンリング、インターネット、または広域ネットワークに結合するために用いられるものなど、複数の市販のネットワーク周辺デバイスのいずれかを含んでよい。通信デバイス５９０は更に、ヌルモデム接続であってよく、またはコンピュータシステム５００と外部世界との間の接続を提供する他の任意のメカニズムであってよい。図５に示すこのシステムおよび関連ハードウェアの構成要素のいずれかまたは全てが本発明の様々な実施形態において用いられ得ることに留意する。

【0047】

［0052］ 当業者には理解されるように、任意の構成のシステムが特定の実装に従って様々な目的のために用いられ得る。本発明を実装する制御論理またはソフトウェアは、主要メモリ５５０、マスストレージデバイス５２５、またはプロセッサ５１０にローカルまたは遠隔的にアクセス可能な他の記憶媒体に格納され得る。

【0048】

［0053］ 当業者には理解されるように、本明細書で説明されるシステム、方法、およびプロセスは、主要メモリ５５０および読取専用メモリ５２０に格納され、プロセッサ５１０によって実行されるソフトウェアとして実装され得る。実施形態において、プロセッサ５１０は、ＦＰＧＡ、ＣＰＵ、ＧＰＵなどであってよい。この制御論理またはソフトウェアは、マスストレージデバイス５２５によって読取可能であり本明細書の方法および教示に従ってプロセッサ５１０を動作させる、内部で具体化されたコンピュータ可読プログラムコードを有するコンピュータ可読媒体を備える製品に常駐してもよい。

【0049】

［0054］ また本発明は、上述したコンピュータハードウェアコンポーネントのサブセットを含むハンドヘルドまたはポータブルデバイスにおいて具体化されてもよい。たとえばハンドヘルドデバイスは、バス５１５、プロセッサ５１０、およびメモリ５５０および／または５２５のみを含むように構成され得る。ハンドヘルドデバイスは、ユーザが利用可能なオプションのセットから選択し得るボタンのセットまたは入力シグナリングコンポーネントを含むようにも構成され得る。ハンドヘルドデバイスは、ハンドヘルドデバイスのユーザに情報を表示するための、たとえば液晶ディスプレイ（ＬＣＤ）またはディスプレイ素子マトリックスなどの出力装置を含むようにも構成され得る。そのようなハンドヘルドデバイスを実装するために従来の方法が用いられ得る。そのようなデバイスに関する本発明の実装は、本明細書において提供された本発明の開示を前提として、当業者に明らかである。

【0050】

［0055］ また本発明は、上述したコンピュータハードウェアコンポーネントのサブセットを含む専用機器において具体化されてもよい。たとえば機器は、プロセッサ５１０、データストレージデバイス５２５、バス５１５、およびメモリ５５０、およびたとえばユーザがデバイスと基本的に通信することを可能にする小型タッチスクリーンなどの基本通信メカニズムを含んでよい。一般に、デバイスの専用性が高いほど、デバイスが機能するために存在する必要のある要素は少ない。

【0051】

［0056］ 上述したプロセスは、コンピュータソフトウェアおよびハードウェアの観点から説明された。説明された技術は、機械によって実行されると説明された動作を機械に実行させる、有形または非一時的機械（たとえばコンピュータ）可読記憶媒体において具体化される機械実行可能命令を構成してよい。また、プロセスは、たとえば特定用途向け集積回路（「ＡＳＩＣ」）などのハードウェアにおいて具体化され得る。

【0052】

［0057］ 有形機械可読記憶媒体は、機械（たとえばコンピュータ、ネットワークデバイス、パーソナルデジタルアシスタント、１または複数のプロセッサのセットを有する任意のデバイスなど）によってアクセス可能な非一時的形式で情報を提供（すなわち格納）する任意のメカニズムを含む。たとえば機械可読記憶媒体は、記録可能／非記録可能媒体（たとえば読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイスなど）を含む。

【0053】

［0058］ 発明の概要に記載されたものを含む、本発明の例示された実施形態の上記説明は、網羅的であること、または開示された形式そのものに本発明を限定することは意図されない。本発明の特定の実施形態および例が例示のために本明細書で説明されたが、当業者が認識するように、本発明の範囲内で様々な変更が可能である。

【0054】

［0059］ これらの変更は、上記詳細な説明の観点から本発明になされ得る。以下のクレームにおいて用いられる用語は、本明細書に開示された特定の実施形態に本発明を限定するものとして解釈されてはならない。本発明の範囲は、確立されたクレーム解釈方針に従って解釈すべきである以下のクレームによって全体が決定されるものとする。

【0055】

独占的所有権および利益が主張される本発明の実施形態は、特許請求の範囲の記載のように定義される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】