ホーム > 特許ランキング > シンバイオニクス リミテッド
特許7055988仮想現実環境または拡張現実環境の中の手術室内での医療シミュレーションのための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-11
(45)【発行日】2022-04-19
(54)【発明の名称】仮想現実環境または拡張現実環境の中の手術室内での医療シミュレーションのための方法およびシステム
(51)【国際特許分類】
A61B 34/10 20160101AFI20220412BHJP
G06T 19/00 20110101ALI20220412BHJP
G06F 3/01 20060101ALI20220412BHJP
【ＦＩ】
A61B34/10
G06T19/00 A
G06F3/01 560
G06F3/01 510
【請求項の数】
14
(21)【出願番号】P 2019517041
(86)(22)【出願日】2017-09-29
(65)【公表番号】
(43)【公表日】2019-12-26
(86)【国際出願番号】 IL2017051105
(87)【国際公開番号】W WO2018061014
(87)【国際公開日】2018-04-05
【審査請求日】2020-09-04
(31)【優先権主張番号】62/401,517
(32)【優先日】2016-09-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】512245492
【氏名又は名称】シンバイオニクス リミテッド
(74)【代理人】
【識別番号】100116872
【弁理士】
【氏名又は名称】藤田 和子
(72)【発明者】
【氏名】フィッシャー ニヴ
(72)【発明者】
【氏名】ネシチ リオール
(72)【発明者】
【氏名】ネグリン エラン
(72)【発明者】
【氏名】ザスラヴスキ モルデチャイ
(72)【発明者】
【氏名】スレプネヴ ソフィア
【審査官】山口 賢一
(56)【参考文献】
【文献】特表２０１１－５０９４８８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０２７２８３４（ＵＳ，Ａ１）
【文献】特表２００３－５３２１４４（ＪＰ，Ａ）
【文献】特表２０１６－５２４２６２（ＪＰ，Ａ）
【文献】国際公開第２０１５／０９５７１５（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３４／１０
Ｇ０９Ｂ ９／００
Ｇ０９Ｂ １９／２４
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０４８１５
Ｇ０６Ｆ ３／０１
Ｇ０２Ｂ ２７／０２
(57)【特許請求の範囲】
【請求項1】
訓練生を訓練するために、仮想現実手術室内で医療処置をシミュレーションするシステムであって、シミュレーションする医療処置のタイプを前記訓練生が選択するユーザ入力デバイス（１０５）と、
モーションセンサおよびタッチセンサを含み、前記シミュレーション中に前記訓練生が手動で操作する医療用ツール（１２５）と、
前記選択された医療処置の前記シミュレーションを実行するために、前記ユーザ入力デバイス（１０５）および前記医療用ツール（１２５）から入力を受信する医療処置シミュレーションシステム（１１０）と、
ｉ）シミュレーションする医療処置の前記タイプに対応する仮想現実手術室シーン、およびｉｉ）仮想現実シーン内への前記選択された医療処置の前記シミュレーション、のレンダリングのために、前記医療処置シミュレーションシステム（１１０）に結合された仮想現実シミュレーションシステム（１１５）と、
前記訓練生が前記仮想現実シーンを視認するため、前記仮想現実シミュレーションシステム（１１５）に結合された仮想現実ヘッドセット（１３５）と、を含み、
前記仮想現実シミュレーションシステム（１１５）は、シミュレーションされる医療処置中に混乱の元をランダムにアクティブ化するように構成される処置混乱モジュール（１１６ｅ）を含む、システム。
【請求項2】
前記仮想現実シーンが前記医療処置シミュレーションの出力に対応するように前記医療処置シミュレーションシステム（１１０）と前記仮想現実シミュレーションシステム（１１５）との間で情報を伝送する接続モジュール（１２０）、をさらに含む、請求項１に記載のシステム。
【請求項3】
前記仮想現実シミュレーションから前記医療処置シミュレーションへ伝送される前記情報は、前記手術室内部のどこを前記訓練生が見ているかに関する情報、医療用ツールアニメーション情報、前記仮想現実シミュレーションの中の変化する医療処置情報、および／またはそれらの任意の組み合わせを含む、請求項２に記載のシステム。
【請求項4】
前記医療処置シミュレーションから前記仮想現実シミュレーションへ伝送される前記情報は、医療シミュレーションの更新、医療用ツール（１２５）のポジション、前記医療用ツール（１２５）の向き、前記医療用ツール（１２５）のタイプおよび／またはそれらの任意の組み合わせを含む、請求項２に記載のシステム。
【請求項5】
前記医療シミュレーションの前記更新は、患者の挙動、バイタルサインに影響を及ぼす変化、仮想現実アバタの挙動に影響を及ぼす変化、またはそれらの任意の組み合わせを含む、請求項４に記載のシステム。
【請求項6】
前記訓練生から音声コマンドを受信することができ、前記音声コマンドを医療シミュレーションに伝送される情報へと変換する音声アクティベーションモジュールをさらに含む、請求項１に記載のシステム。
【請求項7】
前記システムは、第２の訓練生が前記シミュレーションに参加するための第２のユーザ入力デバイス（２５５）と、
前記第２の訓練生が前記シミュレーション中に手動で操作する第２の医療用ツール（２７５）と、
ｉ）前記第２のユーザ入力デバイス（２５５）および前記第２の医療用ツール（２７５）から入力を受信すること、ならびにｉｉ）前記シミュレーションに参加するために前記医療処置シミュレーションシステム（２６０）と通信すること、のために前記医療処置シミュレーションシステムに結合された第２の医療処置シミュレーションシステム（２６０）と、
前記仮想現実シミュレーションシステム（２６５）の前記仮想現実手術室シーンに対応する仮想現実手術室シーンをレンダリングするために前記第２の医療処置シミュレーションシステム（２６０）に結合された第２の仮想現実シミュレーションシステム（２６５）と、
前記訓練生が前記仮想現実シーンを視認するため、前記仮想現実シミュレーションシステム（２６５）に結合された第２の仮想現実ヘッドセット（２８０）と、
をさらに含む、請求項１に記載のシステム。
【請求項8】
訓練生を訓練するために、仮想現実手術室において医療処置をシミュレーションする方法であって、シミュレーションする医療処置のタイプを、ユーザ入力デバイスを介して受信するステップ（３１０）と、
感知された前記訓練生のモーションおよびタッチを、モーションセンサおよびタッチセンサを含む医療用ツールを介して受信するステップ（３２０）と、
選択された医療処置のシミュレーションを、前記受信された医療処置のタイプならびに前記感知された前記訓練生のモーションおよびタッチに基づいて、医療処置シミュレーションシステムにより実行するステップ（３３０）と、
前記医療処置シミュレーションシステムに結合された仮想現実シミュレーションシステムによって、ｉ）シミュレーションする医療処置の前記タイプに対応する仮想現実手術室シーン、のレンダリングをするステップ（３４０）、およびｉｉ）仮想現実シーン内への前記選択された医療処置の前記シミュレーション、のレンダリングをするステップ（３５０）と、
前記仮想現実シミュレーションシステムに結合された仮想現実ヘッドセットによって前記仮想現実シーンを表示するステップ（３６０）と、を含み、
前記仮想現実シミュレーションシステム（１１５）は、シミュレーションされる医療処置中に混乱の元をランダムにアクティブ化するように構成される処置混乱モジュール（１１６ｅ）を含む、方法。
【請求項9】
前記仮想現実シーンが前記医療処置シミュレーションの出力に対応するように前記医療処置シミュレーションシステムと前記仮想現実シミュレーションシステムとの間で情報を伝送するステップ、をさらに含む、請求項８に記載の方法。
【請求項10】
前記仮想現実シミュレーションから前記医療処置シミュレーションへ伝送される前記情報は、前記手術室内部のどこを前記訓練生が見ているかに関する情報、医療用ツールアニメーション情報、前記仮想現実シミュレーションの中の変化する医療処置情報、および／またはそれらの任意の組み合わせを含む、請求項９に記載の方法。
【請求項11】
前記医療処置シミュレーションから前記仮想現実シミュレーションへ伝送される前記情報は、医療シミュレーションの更新、医療用ツールのポジション、前記医療用ツールの向き、前記医療用ツールのタイプおよび／またはそれらの任意の組み合わせを含む、請求項９に記載の方法。
【請求項12】
前記医療シミュレーションの前記更新は、患者の挙動、バイタルサインに影響を及ぼす変化、仮想現実アバタの挙動に影響を及ぼす変化、またはそれらの任意の組み合わせを含む、請求項１１に記載の方法。
【請求項13】
前記訓練生から音声コマンドを受信して、前記音声コマンドを医療シミュレーションにおいて使用される情報へと変換するステップをさらに含む、請求項８に記載の方法。
【請求項14】
前記方法は、第２の訓練生がシミュレーションに参加するためのリクエストを、第２のユーザ入力デバイスを介して受信するステップと、
感知されたモーションおよびタッチ情報を第２の医療用ツールを介して受信するステップと、
前記第２のユーザ入力デバイスおよび前記第２の医療用ツールから入力を、第２の医療処置シミュレーションシステムを介して受信するステップと、
前記シミュレーションに参加するために、第２の医療処置シミュレーションシステムを介して前記医療処置シミュレーションシステムと通信するステップと、
前記仮想現実シミュレーションシステムの前記仮想現実手術室シーンに対応する第２の仮想現実手術室シーンを、第２の仮想現実シミュレーションシステムを介してレンダリングするステップと、
前記第２の仮想現実手術室シーンを、前記第２の訓練生に対して、第２の仮想現実ヘッドセットを介して表示するステップと、
をさらに含む、請求項８に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本特許出願は、２０１６年９月２９日に出願され同時係属中の米国特許仮出願第６２／４０１，５１７号の利益および優先権を主張し、その内容全体が参照によってすべて本明細書に援用される。
本特許出願は、２０１６年９月２９日に出願され同時係属中の米国特許仮出願第６２／４０１，５１７号の利益および優先権を主張し、その内容全体が参照によってすべて本明細書に援用される。
【0002】
発明の分野
本発明は、全般的に、医療従事者を訓練するために使用される医療シミュレーションに関する。特に、本発明は、手術室の体験を訓練生に提示する仮想現実環境または拡張現実環境における医療シミュレーションに関する。
本発明は、全般的に、医療従事者を訓練するために使用される医療シミュレーションに関する。特に、本発明は、手術室の体験を訓練生に提示する仮想現実環境または拡張現実環境における医療シミュレーションに関する。
【背景技術】
【0003】
現在、医療従事者を訓練するために医療シミュレータを使用できる。例として、訓練生（例えば医師）は、コンピュータを使用してコンピュータシミュレーションされた外科手術を実施することができる。コンピュータシミュレーションされる外科手術は、特定の外科手術に適した画像を表示するディスプレイ画面と、外科手術体験をシミュレーションするために訓練生が操作できるツール（例えばハプティックツール）とを含むことができる。
【0004】
例として、医師が患者の閉塞した心臓動脈に対する手術をシミュレーションしたいと想定する。医師は、実際の外科手術で医師が使用するツールに対応するハプティックツールのセットを有することができる。医師はコンピューティングデバイス上で心臓閉塞の外科手術に対応するシミュレーションを選択する。コンピューティングデバイスは、患者の皮膚を画面上に表示する。次に医師は、ツールのセットの中の１つのツールを使用して、ハプティックツールを手動で操作することにより患者を切開することができる。ツールは、医師の手動操作を感知して情報をコンピュータシミュレーションに送信するセンサを含むことができ、コンピュータシミュレーションは、ツールにより感知された動きに対応する画像を表示することができる。医療シミュレーションに使用される一般的なツールの一部には、内視鏡、腹腔鏡および／または他の手術室の機械が含まれる。
【0005】
現在のシミュレータに関する１つの難点は、それらが典型的には、手術室にいる現実的な体験を訓練生に提供しないことである。実際の手術中、外科医およびその他医療従事者の気を散らすものが多数あり得る。例として、外科医は頭上の呼び出しシステムで呼び出されることがある。看護師が医師に渡そうとしたツールを重要な場面で落とすことがある。現在の医療訓練シミュレータは、典型的には訓練生に現実的な体験を提供しないという点で限定的となり得る。
【0006】
上記した例として、例えば、特許文献１が挙げられる。
【0007】
したがって、訓練中、医療訓練生に現実的な体験を提供できるシステムがあることが望ましいと考えられる。
【先行技術文献】
【特許文献】
【0008】
【文献】国際公開第２０１６／０４０３７６Ａ１号公報
【発明の概要】
【課題を解決するための手段】
【0009】
本発明の１つの利点は、仮想現実手術室または拡張現実手術室内で医療処置シミュレーションを実行することにより現実の体験を訓練生に提供することを含むことができる。本発明の別の利点は、仮想現実（または拡張現実）手術室内に同じシミュレーションに取り組む複数の訓練生を同時に受け入れる能力を含むことができる。
【0010】
本発明の別の利点は、訓練生がアバタに対する手術を体験するように、仮想現実手術室シーンまたは拡張現実手術室シーン内のアバタに対する処置の医療シミュレーションビューを提供する能力を含むことができる。本発明の別の利点は、シミュレーションの中の２人の訓練生に、遠隔で同じシミュレーションに取り組ませる能力を含むことができる。
【0011】
本発明の別の利点は、音声コマンドが受信されてシミュレーションに入力として組み込まれることが可能なことである。
【0012】
一側面において、本発明は、訓練生を訓練するために、仮想現実手術室において医療処置をシミュレーションするためのシステムを含む。システムは、訓練生がシミュレーションする医療処置のタイプを選択するためのユーザ入力デバイスを含むことができる。システムはさらに、モーションセンサおよびタッチセンサを含む医療用ツールを含むことができ、医療用ツールは、シミュレーション中に訓練生が手動で操作するためのものである。システムはさらに、選択された医療処置のシミュレーションを実行するために、ユーザ入力デバイスおよび医療用ツールから入力を受信する医療処置シミュレーションシステムを含むことができる。システムはさらに、ｉ）シミュレーションする医療処置のタイプに対応する仮想現実手術室シーン、およびｉｉ）仮想現実シーン内への選択された医療処置のシミュレーション、のレンダリングのために、医療処置シミュレーションシステムに結合された仮想現実シミュレーションシステムを含むことができる。システムはさらに、訓練生が仮想現実シーンを視認するため、仮想現実シミュレーションシステムに結合された仮想現実ヘッドセットを含むことができる。
【0013】
一部の実施形態において、システムは、仮想現実シーンが医療処置シミュレーションの出力に対応するように医療処置シミュレーションシステムと仮想現実シミュレーションシステムとの間で情報を伝送する接続モジュールを含む。
【0014】
一部の実施形態において、仮想現実シミュレーションから医療処置シミュレーションへ伝送される情報は、手術室内部のどこを訓練生が見ているかに関する情報、医療用ツールアニメーション情報、仮想現実シミュレーションの中の変化する医療処置情報および／またはそれらの任意の組み合わせを含む。
【0015】
一部の実施形態において、医療処置シミュレーションから仮想現実シミュレーションへ伝送される情報は、医療シミュレーションの更新、ハプティック医療用ツールのポジション、ハプティック医療用ツールの向き、ハプティック医療用ツールのタイプおよび／またはそれらの任意の組み合わせを含む。
【0016】
一部の実施形態において、医療シミュレーションの更新は、患者の挙動、バイタルサインに影響を及ぼす変化、仮想現実アバタの挙動に影響を及ぼす変化、またはそれらの任意の組み合わせを含む。一部の実施形態において、システムは、訓練生から音声コマンドを受信することができ音声コマンドを医療シミュレーションに伝送される情報へと変換する音声アクティベーションモジュールを含む。
【0017】
一部の実施形態において、システムは、第２の訓練生がシミュレーションに参加するための第２のユーザ入力デバイスと、第２の訓練生がシミュレーション中に手動で操作する第２の医療用ツールと、ｉ）第２のユーザ入力デバイスおよび第２の医療用ツールから入力を受信すること、ならびにｉｉ）シミュレーションに参加するために医療処置シミュレーションシステムと通信すること、のために医療処置シミュレーションシステムに結合された第２の医療処置シミュレーションシステムと、仮想現実シミュレーションシステムの仮想現実手術室シーンに対応する仮想現実手術室シーンをレンダリングするために第２の医療処置シミュレーションシステムに結合された第２の仮想現実シミュレーションシステムと、訓練生が仮想現実シーンを視認するため、仮想現実シミュレーションシステムに結合された第２の仮想現実ヘッドセットと、を含む。
【0018】
別の側面において、本発明は、訓練生を訓練するために仮想現実手術室において医療処置をシミュレーションするための方法を伴う。本方法は、シミュレーションする医療処置のタイプを、ユーザ入力デバイスを介して受信するステップを伴う。本方法はさらに、モーションセンサおよびタッチセンサを含む医療用ツールを介して、感知された訓練生のモーションおよびタッチを受信するステップを伴う。本方法はさらに、選択された医療処置のシミュレーションを、受信された医療処置のタイプならびに感知された訓練生のモーションおよびタッチに基づいて、医療処置シミュレーションシステムにより実行するステップを伴う。本方法はさらに、医療処置シミュレーションシステムに結合された仮想現実シミュレーションシステムによって、ｉ）シミュレーションする医療処置のタイプに対応する仮想現実手術室シーン、およびｉｉ）仮想現実シーン内への選択された医療処置のシミュレーション、のレンダリングをするステップを伴う。本方法はさらに、仮想現実シミュレーションシステムに結合された仮想現実ヘッドセットによって仮想現実シーンを表示するステップを伴う。
【0019】
一部の実施形態において、本方法は、仮想現実シーンが医療処置シミュレーションの出力に対応するように医療処置シミュレーションシステムと仮想現実シミュレーションシステムとの間で情報を伝送するステップを伴う。一部の実施形態において、仮想現実シミュレーションから医療処置シミュレーションへ伝送される情報は、手術室内部のどこを訓練生が見ているかに関する情報、医療用ツールアニメーション情報、仮想現実シミュレーションの中の変化する医療処置情報および／またはそれらの任意の組み合わせを含む。
【0020】
一部の実施形態において、医療処置シミュレーションから仮想現実シミュレーションへ伝送される情報は、医療シミュレーションの更新、ハプティック医療用ツールのポジション、ハプティック医療用ツールの向き、ハプティック医療用ツールのタイプおよび／またはそれらの任意の組み合わせを含む。一部の実施形態において、医療シミュレーションの更新は、患者の挙動、バイタルサインに影響を及ぼす変化、仮想現実アバタの挙動に影響を及ぼす変化またはそれらの任意の組み合わせを含む。
【0021】
一部の実施形態において、本方法は、訓練生から音声コマンドを受信して、音声コマンドを医療シミュレーションにおいて使用される情報へと変換するステップを伴う。
【0022】
一部の実施形態において、方法は、第２の訓練生がシミュレーションに参加するためのリクエストを、第２のユーザ入力デバイスを介して受信するステップと、感知されたモーションおよびタッチ情報を第２の医療用ツールを介して受信するステップと、第２のユーザ入力デバイスおよび第２の医療用ツールから入力を、第２の医療処置シミュレーションシステムを介して受信するステップと、シミュレーションに参加するために、第２の医療処置シミュレーションシステムを介して医療処置シミュレーションシステムと通信するステップと、仮想現実シミュレーションシステムの仮想現実手術室シーンに対応する第２の仮想現実手術室シーンを、第２の仮想現実シミュレーションシステムを介してレンダリングするステップと、第２の仮想現実手術室シーンを、第２の訓練生に対して、第２の仮想現実ヘッドセットを介して表示するステップと、を伴う。
【0023】
本開示の実施形態の非限定的な例は、本明細書に添付されこの段落に続いて列挙される図面を参照して後述される。２つ以上の図面に出現する同一の特徴は、全般的に、それらが出現するすべての図面において同じラベルでラベル付けされている。図面において本開示の実施形態の特定の特徴を表現するアイコンをラベル付けするラベルは、特定の特徴を参照するために使用できる。図面に示される特徴の寸法は、提示の便宜および明瞭さのために選ばれ、必ずしも一定の縮尺で示されていない。
【0024】
本発明と見なされる主題は、本明細書の終わりの部分で詳しく指摘され、明確に請求されている。しかしながら、本発明は、編成および動作方法の両方、ならびにそれらの対象、特徴および利点について、以下の詳細な説明を参照し添付図面と併せて読むことで最もよく理解できる。本発明の実施形態は、添付図面の各図面に限定ではなく例として示され、図面では、同じ参照番号が対応する、類似するまたは同種の要素を示す。
【図面の簡単な説明】
【0025】
【図1】本発明の例示的な実施形態による、訓練生を訓練するために仮想現実手術室内で医療処置をシミュレーションするシステムのブロック図を示す。
【図2】本発明の例示的な実施形態による、訓練生を訓練するために仮想現実手術室内で医療処置をシミュレーションするマスタおよびスレーブシステムのブロック図を示す。
【図3】本発明の例示的な実施形態による、訓練生を訓練するために仮想現実手術室内で医療処置をシミュレーションする方法のフローチャートを示す。
【発明を実施するための形態】
【0026】
説明を簡単且つ明瞭にするために、図に示した要素は必ずしも正確にまたは一定の縮尺で描かれてはいないことを理解されたい。例として、一部の要素の寸法は、明瞭にするために他の要素に対して相対的に誇張されることがあり、またはいくつかの物理的コンポーネントが１つの機能ブロックまたは機能要素に含まれることがある。さらに、適切と考えられる場合には、参照番号は対応する要素または類似の要素を示すために図面間で繰り返されることがある。
【0027】
以下の詳細な説明では、本発明の完全な理解をもたらすために特定の詳細事項が多数記載される。しかし、当業者には当然のことながら、本発明は、こうした特定の詳細事項なしで実践できる。他の事例では、周知の方法、手順およびコンポーネント、モジュール、ユニットおよび／または回路は、本発明を不明瞭にしないように、詳細に記載されなかった。一実施形態に関して記載される一部の特徴または要素は、他の実施形態に関して記載される特徴または要素と組み合わせることができる。明瞭にするために、同じまたは類似の特徴または要素の説明を繰り返すことはできない。
【0028】
本発明の実施形態は、この点に関して限定されないが、例として「ｐｒｏｃｅｓｓｉｎｇ（処理する）」、「ｃｏｍｐｕｔｉｎｇ（コンピューティング）」、「ｃａｌｃｕｌａｔｉｎｇ（計算する）」、「ｄｅｔｅｒｍｉｎｉｎｇ（決定する）」、「ｅｓｔａｂｌｉｓｈｉｎｇ（確立する）」、「ａｎａｌｙｚｉｎｇ（分析する）」、「ｃｈｅｃｋｉｎｇ（確認する）」または同様のものなどの用語を使用する説明は、コンピュータのレジスタおよび／またはメモリ内の物理（例えば電子）量として表現されるデータを、コンピュータのレジスタおよび／またはメモリあるいは動作および／またはプロセスを実行するための命令を記憶できる他の情報非一時的記憶媒体内の物理量として同様に表現される他のデータへと、操作および／または変換する、コンピュータ、コンピューティングプラットフォーム、コンピューティングシステムまたはその他電子コンピューティングデバイスの動作（単数または複数）および／またはプロセス（単数または複数）を指すことができる。本発明の実施形態はこの関連で限定されないが、本明細書で使用される「ｐｌｕｒａｌｉｔｙ（複数の）」および「ａ ｐｌｕｒａｌｉｔｙ（複数の）」という用語は、例として「ｍｕｌｔｉｐｌｅ（複数の）」または「ｔｗｏ ｏｒ ｍｏｒｅ（２つ以上の）」を含むことができる。「ｐｌｕｒａｌｉｔｙ（複数の）」または「ａ ｐｌｕｒａｌｉｔｙ（複数の）」という用語は、２つ以上のコンポーネント、デバイス、要素、ユニット、パラメータまたは同様のものを記載するために本明細書の全体にわたって使用される可能性がある。本明細書で使用される場合、セットという用語は、１つ以上の項目を含むことができる。明示的に述べられていない限り、本明細書に記載される方法実施形態は、特定の順番または順序に制限されない。さらに、記載された方法実施形態またはそれらの要素の一部は、同時に、同一時点でまたは並行して発生することまたは実行されることが可能である。
【0029】
概して、医療シミュレータが仮想現実の中で訓練生に医療処置シミュレーションを提供できるようにすることができるシステムが提供される。システムは、仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）シミュレーションシステムと通信する医療処置シミュレーションシステムを含むことができる。訓練生（例えばユーザ）は、１つ以上の医療用（例えば外科手術用）ツールを介して医療シミュレータと相互作用し、仮想現実（または拡張現実）の中で医療シミュレーションを体験することができる。ＶＲシミュレーションシステムは、ＶＲ手術室シーンを訓練生に提示するためにヘッドセット／グラスを使用することができる。ＶＲ手術室シーンは、手術台、バイタルサインモニタおよび／または現実の手術室に存在できる任意の機器を含むことができる。
【0030】
手術を受ける患者（例えばアバタまたはボット）も手術室シーンに出現することができる。医療処置シミュレーションシステムは、医療用ツールから入力を受信でき、医療処置シミュレーションシステムがシミュレーションを実行するとき、医療処置シミュレーションをＶＲ患者の上にレンダリングするために医療処置シミュレーション情報がＶＲシミュレーションシステムにより使用されることが可能である。患者は、シミュレーション中、１つ以上の外科手術用ツールの訓練生による操作に反応することができる。
【0031】
概して、システムは、１つのシミュレーションの中で複数の訓練生に対応することができる。例として、外科医訓練生が、患者（例えばアバタ）に対する心臓外科手術シミュレーションのシミュレーションを体験することができ、看護師訓練生が、外科医訓練生を補助することができる。外科医は、ＶＲシーン内にボットとして描写される看護師訓練生を見ることができ、看護師訓練生は、ＶＲシーン内にボットとして描写される外科医を見ることができる。外科医訓練生は、医療処置シミュレータに関連するハプティックツールを使用でき、シミュレーション中、看護師訓練生は、ＶＲシーン内で仮想ツールを外科医訓練生に渡すことができる。
【0032】
一部の実施形態において、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）シミュレーションシステムがＶＲシミュレーションシステムの代わりに使用される。これらの実施形態において、ＡＲシーンが訓練生に提示される。ＡＲシーンは、典型的に現実の手術室にある任意の物体を含むことができる。
【0033】
図１は、本発明の例示的な実施形態による、訓練生を訓練するために仮想現実（または拡張現実）手術室内で医療処置をシミュレーションするシステムのブロック図を示す。システムは、入力デバイス１０５、医療処置シミュレーションシステム１１０、仮想現実および／または拡張現実（ＶＲ／ＡＲ）シミュレーションシステム１１５、接続モジュール１２０、医療用ツール１２５、仮想現実ヘッドセット１３５を含む。簡単にするために、図１に関する説明は、ＶＲシミュレーションシステムに焦点を合わせる。ただし、当業者には当然のことながら、シミュレーションシステムは仮想現実または拡張現実とすることができる。
【0034】
接続モジュール１２０は、ＶＲシミュレーションシステム１１５と医療処置シミュレーションシステム１１０との間を情報が流れることを可能にすることができる。例として、ＶＲシミュレーションシステム１１５により受信された入力および／またはＶＲ手術室シーンに対する変更が、接続モジュール１２０に提供されることが可能である。医療処置シミュレーションシステム１１０により受信された入力および／または医療処置状態情報が、接続モジュール１２０に提供されることが可能である。接続モジュール１２０は、メモリマップトファイル、１つ以上のパイプ、ＴＣＰ／ＩＰソケット通信チャネルまたはそれらの任意の組み合わせとすることができる。
【0035】
医療処置シミュレーションシステム１１０は、１つ以上の入力を受信するために、入力デバイス１０５、医療用ツール１２５に結合できる。医療用ツールは、訓練生のモーションおよびタッチを感知できるデバイスとすることができる。医療用ツール１２５は、ハプティック入力を取り込むことができるデバイスとすることができる。例として、医療用ツール１２５は、腹腔鏡トロカールまたはＧＩ／気管支鏡ツールとすることができる。入力デバイス１０５は、タブレット、スマートフォン、パーソナルコンピュータ、タッチスクリーンデバイスまたはそれらの任意の組み合わせとすることができる。
【0036】
医療処置シミュレーションシステム１１０はさらに、接続モジュール１２０を介してＶＲシミュレーションシステム１１５に結合できる。医療処置シミュレーションシステム１１０は、中央処理ユニットおよび／またはグラフィック処理ユニットを含むことができる。医療処置シミュレーションシステム１１０は、２次元画面ディスプレイを含むことができる。医療処置シミュレーションシステム１１０は、例として、参照により本明細書に内容全体が援用される米国特許第７，８５０，４５６号に示されているように医療処置をシミュレーションすることができる。
【0037】
医療処置シミュレーションシステム１１０は、外科手術用ツール選択モジュール１１１ａ、タブレット通信モジュール１１１ｂ、通信管理モジュール１１１ｃ、仮想現実（ＶＲ）／拡張現実（ＡＲ）追跡反応モジュール１１１ｄおよび／または外科手術処置追跡モジュール１１１ｅを含むことができる。
【0038】
タブレット通信モジュール１１１ｂは、訓練生からの入力を受信することができる。入力は、ＶＲ／ＡＲおよび／または医療シミュレーションに関係する入力を含むことができる。例として、訓練生は、シミュレーションする特定の医療処置を選択すること、および／またはシミュレーションの中のいくつかの参加者を指定することができる。一部の実施形態において、訓練を監督する監督官が、タブレットを介してシミュレーションに追加すること、およびシミュレーションから情報を受信することができる。例として、監督官は傷害を入力でき、シミュレーションは、テーブルを介して状態（例えば、血管構造状態および／または傷害が制御されている場合もしくは制御されていない場合）を監督官に表示することができる。
【0039】
選択された医療処置は、ＶＲ／ＡＲシミュレーションシステムが選択された医療処置に対応する手術室環境をレンダリングできるように、ＶＲシミュレーションシステム１１５と共有できる。
【0040】
外科手術用ツール選択モジュール１１１ａは、選択された医療処置に基づく医療処置シミュレーションの中で使用できる１つ以上の外科手術用ツール（例えばハプティックツールまたは仮想ツール）を決定することができる。１つ以上の外科手術用ツールは、仮想ツールまたはハプティックツールとすることができる。外科手術用ツール選択モジュール１１１ａはさらに、シミュレーションの中で手術を受けているアバタの可能なツール刺入箇所に基づいて、どの外科手術用ツールをシミュレーションで利用可能とすることができるか決定できる。例として、トロカール、開いた切開部および／または体腔のツール刺入箇所などである。例として、ステントまたはカテーテルの動脈刺入箇所は、腹腔鏡トロカールを利用可能にできることを示すことができる。別の例において、超音波シミュレーションには、超音波プローブが利用可能にされることが可能である。外科手術用ツール選択モジュール１１１ａは、医療シミュレーションの中の１つ以上の外科手術用ツールの外科手術用ツール状態を含むことができる。例として、任意のツールが現在患者の体の内部／外部にあるかどうか、特定のツールが特定の刺入箇所に対して選択されたかどうか、ツールのポジション、ツールの向きおよび／またはツールの特性（例えばタイプおよび／または名称）という外科手術用ツール状態などである。外科手術用ツール選択モジュール１１１ａはさらに、ＶＲ／ＡＲシミュレーションシステム１１１５から外科手術用ツール状態情報を受信することができる。例として、医療処置中の外科手術用ツールの、ハプティックツールから仮想ツールへの変更などである。
【0041】
ＶＲ／ＡＲ追跡反応モジュール１１１ｄは、仮想現実ヘッドセット１３５により感知される訓練生の頭部の動きに基づいて医療シミュレーションを変更することができる。例としてユーザがＶＲシーンの中の１つのユーザインターフェース要素を５秒を超えて凝視すれば、凝視情報が医療シミュレーションシステムに送信されることが可能である。他の例では、麻酔薬の量がＶＲ内の監視システム上で変更される場合、または電気焼灼ツールのエネルギーレベルがそれを組織に当てる前に変化する場合、医療シミュレーションシステムに、シミュレーションの変更が可能なようにこの情報が送信されることが可能である。
【0042】
一部の実施形態において、訓練生は、訓練生の手のモーションを感知できるＶＲ／ＡＲグローブ（単数または複数）（図示せず）を着用している場合がある。こうした実施形態では、ＶＲ／ＡＲ追跡反応モジュール１１１ｄは、感知されたグローブの動きに基づいて医療シミュレーションを変更することができる。
【0043】
外科手術処置追跡モジュール１１１ｅは、医療処置シミュレーションの状態を追跡することができ、ＶＲ／ＡＲシミュレーションシステム１１５にレポートされる外科手術処置状態を提供することができる。外科手術処置状態は、医療処置シミュレーション中の患者（例えばアバタ）の変化を含むことができる。例として、訓練生がアバタの体（例えば患者の体）の反応（例えば動く、出血するおよび／または震える）を生じさせる形でツールを挿入した場合のアバタのバイタルサインの変化、超音波ビューが変化するような内部の胎児の動きに対応した腹腔の動き、および／または外科手術中にエネルギーツールが誤作動することがあり、その結果、ＶＲシーン内にメッセージが表示される、などである。
【0044】
通信管理モジュール１１１ｃは、医療処置シミュレーションシステム１１０内に示されるモジュールからの情報を接続モジュール１２０へ伝送することができる。通信管理モジュール１１１ｃは、情報が利用可能になるとすぐに、または或る頻度で、情報を伝送することができる。
【0045】
一部の実施形態において、医療処置シミュレーションシステム１１０は、ユーザから音声入力を受信する音声認識コンポーネントを含む。例として、訓練生が「外科用メスを選択」と述べれば、医療処置シミュレーションシステム１１０は、そのオーディオ入力を受信して、オーディオ入力の内容を（例えば当技術分野で周知の音声認識技術を用いて）認識することができ、医療処置シミュレーションシステム１１０は、現在使用中のツールを左トロカール刺入位置として更新し、さらに／または前のツールをシミュレーションから除去することができる。ＶＲ／ＡＲ看護師アバタは、ツールの名称および位置をそれ自体の音声で繰り返すことができ、訓練生に対して、看護師アバタが適切なツールを得てそれを訓練生のＶＲ手部または患者の（例えばアバタの）体の適切な位置に運ぶように表示されることが可能である。
【0046】
ＶＲシミュレーションシステム１１５は、仮想現実ヘッドセット１３５に結合できる。仮想現実ヘッドセットは、当技術分野で周知の仮想現実ヘッドセットとすることができる。例として、仮想現実ヘッドセットは、Ｏｃｕｌｕｓ Ｒｉｆｔ、ＨＴＣ ＶｉｖｅまたはＳａｍｓｕｎｇ Ｇｅａｒ ＶＲとすることができる。当業者には当然のことながら、ＶＲシミュレーションシステム１１５がＡＲのみを含む実施形態の場合、仮想現実ヘッドセット１３５はＡＲヘッドセットのみ（例えばＡＲグラス）とすることができる。例として、Ｍｉｃｒｏｓｏｆｔ Ｈｏｌｏｌｅｎｓまたは当技術分野で周知の任意のＡＲ現実ヘッドセットなどである。
【0047】
ＶＲシミュレーションシステム１１５は、アバタ頭部／手部動きモジュール１１６ａ、ＶＲ／ＡＲ追跡反応モジュール１１６ｂ、外科手術処置反応モジュール１１６ｃ、ツールハンドル動きレンダリングモジュール１１６ｄ、処置混乱モジュール１１６ｅ、外科手術用ツール選択モジュール１１６ｆ、バイタルサインモジュール１１６ｇ、患者挙動モジュール１１６ｈまたはそれらの任意の組み合わせを含むことができる。
【0048】
ＶＲ／ＡＲ追跡反応モジュール１１６ｂは、仮想現実ヘッドセット１３５により感知される訓練生の頭部の動きにＶＲシーンを反応させることができる。例として、訓練生がその頭部を左に向ければ、ＶＲシーンは手術室の左側を示すことができる。訓練生が、例として患者の切開部をよりはっきりと見るために、アバタ（例えば患者）に向かってかがめば、ＶＲシーンは、現実で人により体験されるのと同様に、切開部を拡大して示すことができる。
【0049】
外科手術処置反応モジュール１１６ｃは、医療処置シミュレーションシステム１１１から（例えば外科手術処置追跡モジュールを介して）外科手術処置状態情報を受信することができる。外科手術処置反応モジュール１１６ｃは、外科手術処置状態に従ってＶＲシーンを変更させることができる。外科手術処置反応モジュール１１６ｃは、ＶＲ手術室シーンによりもたらされる外科手術状態を含むことができる。例として、第２の訓練生がアバタの開放創の上に台をひっくり返す場合などである。
【0050】
外科手術用ツール選択モジュール１１６ｆは、医療処置シミュレーションシステム１１０から外科手術用ツール状態情報を受信することができる。外科手術用ツール状態情報は、体への挿入の速度またはツールの向きを含むことができる。外科手術用ツール状態情報は、使用時のツールに関係する任意の情報とすることができる。外科手術用ツール状態情報は、特定のツールに関係する情報とすることができる。例として、腹腔鏡ステープラ／クリッパは、ツールが作動されると更新可能なステープル状態／クリップカウンタインジケータを備えたカートリッジを含むことができる。
【0051】
ＶＲシミュレーションシステム１１５は、外科手術用ツール状態情報に基づいてＶＲ／ＡＲ手術室シーンを変更することができる。例として、ＶＲ／ＡＲシミュレーションは、医療処置シミュレーション１１０の中の外科手術用ツールのポジションと相関関係にある位置にて、ＶＲ／ＡＲシーン内に外科手術用ツールをレンダリングすることができる。外科手術用ツール選択モジュール１１６ｆは、医療処置シミュレーションシステム１１０に仮想外科手術用ツールの状態を送信することができる。
【0052】
処置混乱モジュール１１６ｅは、訓練生の挙動を変化させることができる混乱の元をランダムにアクティブ化することができる。例えば、外科医訓練生は、ＶＲ手術室シーン内で呼び出されることができ、ＯＲ（ｏｐｅｒａｔｉｎｇ ｒｏｏｍ：手術室）ドアが開くことができ、スタッフメンバーが質問を手術チームのボットに投げかけることができ、一部のスタッフ（例えばボットまたは他の参加者）が会話を始めることができ、さらに／または看護師が指示されたもの以外のツールを提供することができる。
【0053】
バイタルサインモジュール１１６ｇは、医療処置シミュレーションシステム１１０からのバイタルサイン情報に基づいてＶＲ手術室シーンを変更することができる。例として、ＶＲ手術室シーンは、バイタルサイン情報（例えば脈拍、体温および／または酸素レベル）を表示できる１つ以上のバイタルサインモニタを含むことができる。アバタの挙動は、バイタルサインに対応することができる。例として、大血管が損傷した場合、急な血圧低下を表示できる。
【0054】
患者挙動モジュール１１６ｈは、医療処置シミュレーションシステム１１０からの外科手術処置状態に基づいて、アバタの外観を変更することができる。例として、ＶＲアバタは出血している、動悸がある且つ／または胃収縮しているように見えることができる。
【0055】
一部の実施形態において、第２の訓練生は、第２のシステムを介してシミュレーションに参加することができる。これらの実施形態において、ＶＲ／ＡＲシミュレーションシステム１１０は、入力を受信し、さらに／または情報を第２のシステムへ出力することができる。ツールハンドル動きレンダリングモジュール１１６ｄは、第２のシステムからツール情報を受信し、ＶＲ手術室シーン内にどのツール情報を表示するかを決定することができる。
【0056】
アバタ頭部／手部動きモジュール１１６ａは、第２のシステムから頭部および／または手部の動き情報を受信し、その動きを第１のシステムの訓練生に対してＶＲシーン内でレンダリングすることができる。
【0057】
ＶＲ／ＡＲシーン内の訓練生および／またはアバタは、看護師、医師、医療補助者、一定の処置に関係する医療従事者（例えば股関節置換手術を監視する股関節置換物製造業者の医師）を含む、医療従事者とすることができる。
【0058】
図２は、本発明の例示的な実施形態による、訓練生を訓練するために仮想現実手術室内で医療処置をシミュレーションするマスタおよびスレーブシステムのブロック図を示す。システムは、マスタシステム２０５、スレーブシステム２１０およびクロスシステム通信モジュール２１５を含むことができる。
【0059】
クロスシステム通信モジュール２１５は、マスタシステム２０５とスレーブシステム２１０との間の情報の流れを可能にすることができる。クロスシステム通信モジュール２１５は、メモリマップトファイル、パイプ、ＴＣＰ／ＩＰソケットとすることができる。
【0060】
マスタシステム２０５は、入力デバイス２２５、医療処置シミュレーションシステム２３０、仮想現実および／または拡張現実（ＶＲ／ＡＲ）シミュレーションシステム２３５、接続モジュール２４０、医療用ツール２４５および／または仮想現実ヘッドセット２５０を含むことができる。スレーブシステム２１０は、入力デバイス２５５、医療処置シミュレーションシステム２６０、仮想現実および／または拡張現実（ＶＲ／ＡＲ）シミュレーションシステム２６５、接続モジュール２７０、医療用ツール２７５および／または仮想現実ヘッドセット２８０を含むことができる。マスタシステム２０５および／またはスレーブシステム２２０モジュールは、図１に関して上述したのと同じ形で動作できる。
【0061】
動作中、第１の訓練生は、マスタシステム２０５上でシミュレーションを実行することができる。マスタシステム２０５は、サーバを開始して、スレーブシステム２１０からの接続を待つことができる。第２の訓練生は、スレーブシステム２１０上でシミュレーションを実行することができる。第２の訓練生は、スレーブモードで実行することをスレーブシステム２１０上で指定することができる。クロスシステム通信モジュール２１５は、マスタシステム２０５とスレーブシステム２１０との間の通信を開始することができる。マスタシステム２０５は、医療手術シミュレーション状態およびＶＲ／ＡＲシミュレーション状態をスレーブシステム２１０に伝送することができる。例として、音声入力、ツール動き入力、ＶＲ／ＡＲ追跡動きなどである。スレーブシステム２１０は、医療手術シミュレーション状態およびＶＲ／ＡＲシミュレーション状態をマスタシステム２０５に伝送することができる。スレーブシステム２１０およびマスタシステム２０５は、それぞれの入力を受信して、それぞれの医療手術シミュレーションシステムおよびＶＲ／ＡＲシミュレーションシステムをクロスシステム情報を用いて更新することができる。
【0062】
クロスシステム通信モジュール２１５は、２つのプロセス間で、例としてそれらが異なるターミナルセッションにあっても情報を共有できる、メモリマップトファイルとすることができる。
【0063】
一部の実施形態において、複数のスレーブシミュレーションシステムがマスタシミュレーションシステムに接続する。このようにして、３、４および／または任意数の訓練生が特定の処置のシミュレーションに参加できる。
【0064】
図３は、訓練生を訓練するために仮想現実手術室内で医療処置をシミュレーションするための方法のフローチャートを示す。本方法は、シミュレーションする医療処置のタイプを（図１において上述した入力デバイス１０５を介して）受信することを伴う（ステップ３１０）。医療処置のタイプは、訓練生、訓練生を監視したい人（例えば教師）またはその他任意のユーザにより指定できる。医療処置のタイプは、外科手術、超音波および／もしくは他の画像診断法を使用した診断手順、麻酔、心血管インターベンションならびに／または救急処置室治療とすることができる。
【0065】
外科手術は、幼児、児童および／または成人に対するものとすることができる。一部の実施形態において、外科手術は動物に対するものである。一部の実施形態において、医療処置が指定されると、ＶＲ／ＡＲヘッドセットにより、指定された医療処置に対応する仮想現実シーンまたは拡張現実シーンがレンダリングされて訓練生に提示される。
【0066】
本方法はさらに、感知された訓練生のモーションおよびタッチを（例えば図１において上述した医療用ツール１２５を介して）受信することを伴うことができる（ステップ３２０）。訓練生は、ＶＲ／ＡＲグローブを着用していること、またはタッチおよびモーションを感知する１つ以上のセンサを有するツールを保持していることができる。
【0067】
本方法はさらに、選択された医療処置のシミュレーションを、受信された医療処置のタイプならびに感知された訓練生のモーションおよびタッチに基づいて、（例えば図１において上述された医療処置シミュレーションシステム１１０を介して）実行することを伴うことができる（ステップ３３０）。訓練生がツールを動かすとき、シミュレーションは、ツールから位置およびセンサ情報を受信することができる。シミュレーションは、動きおよびタッチを解釈してその動きおよびタッチに基づいてシミュレーション出力を変更することができる。例として、訓練生はシミュレーションされた心臓に対して手術を行っている可能性がある。訓練生がＶＲ／ＡＲヘッドセットにおいて示される動脈付近でゆっくりとツールを動かせば、シミュレーションは、その動きを、心臓にゆっくりと切り込みを生じさせるものと解釈することができる。シミュレーションは、位置およびタッチに応じて心臓を出血させることまたは開いているように見せることができる。
【0068】
本方法はさらに、シミュレーションする医療処置のタイプに対応する仮想現実手術室シーンを（例えばＶＲ／ＡＲシミュレーションシステム１１５を介して）レンダリングすることを伴うことができる（ステップ３４０）。仮想現実手術室は、９０フレーム毎秒から１２０フレーム毎秒の間の速度でレンダリングできる。
【0069】
本方法はさらに、選択された医療処置のシミュレーションを仮想現実シーン内に（例えばＶＲ／ＡＲシミュレーションシステム１１５を介して）レンダリングすることを伴うことができる（ステップ３５０）。シミュレーションは、ＶＲ／ＡＲシーンにおいてアバタに対してレンダリングできる。アバタは、処置のタイプ（例えば児童のバイパス手術）に調和することができる。
【0070】
本方法はさらに、仮想現実シーンを（例えば仮想現実ヘッドセット１３５を介して）表示することを伴うことができる（ステップ３６０）。一部の実施形態において、本方法は、ＡＲヘッドセットを介してＡＲシーンを表示することを含む。
【0071】
一部の実施形態において、訓練生は、シミュレーションする補助付きの処置を選択する。例として、ＶＲ／ＡＲアバタに対する医療処置のシミュレーション中、ＶＲ／ＡＲヘッドセットおよびハプティックツールを使用する訓練生は、ハプティックツールをＶＲ／ＡＲアバタの体の部位に合わせることができる。ＶＲシーン中の第２のアバタ（例えば看護師ボットおよび／または麻酔医ボット）はユーザに指示する（例えば誤りが原因の傷害を最小限に抑える方法をユーザに伝える）ことができる。
【0072】
図４ａ～図４ｆは、本発明の例示的な実施形態による、図１、図２のシミュレーションシステムまたは図３の方法を使用する訓練生の例を示す図である。図４ａは、ＶＲヘッドセットを着用して２つの医療用ツールを保持している訓練生の例を示す。シミュレーションの２次元ビューを示す２次元画面も示されている。図４ｂは、仮想現実ヘッドセットにおいて訓練生により視認される仮想現実シーンの２次元スクリーンショットの例を示す。医療処置シミュレーションが画面に示され、２つのボットが手術室にいる。図４ｃは、手術室内に看護師ボットがいる仮想現実シーンのスクリーンショットの例を示す。図４ｄは、手術室内の看護師ボットが訓練生に話しかける仮想現実シーンのスクリーンショットの例を示す。図４ｅは、仮想現実シーン上に重ねられたユーザインターフェースのスクリーンショットを示す。図４ｆは、仮想現実の中で訓練生が使用する複数のツールを備えた仮想現実シーンのスクリーンショットの例を示す。
【0073】
上述した方法は、デジタル電子回路構成において、コンピュータハードウェア、ファームウェアおよび／またはソフトウェアにおいて実装可能である。実装は、コンピュータプログラム製品としてもの（例えば情報担体において有形に具現化されたコンピュータプログラム）とすることができる。実装は、例として、データ処理装置による実行のため、またはデータ処理装置の動作を制御するための、機械可読記憶デバイスにおけるものとすることができる。実装は、例として、プログラマブルプロセッサ、コンピュータおよび／または複数のコンピュータとすることができる。
【0074】
コンピュータプログラムは、コンパイル型および／またはインタープリタ型言語を含む任意の形態のプログラミング言語で書かれることが可能であり、スタンドアロンプログラムとして、またはサブルーチン、要素および／もしくはコンピューティング環境用に適した他の単位としてを含む、任意の形態で展開可能である。コンピュータプログラムは、１つのコンピュータまたは１つの場所にある複数のコンピュータ上で実行されるように展開可能である。
【0075】
方法ステップは、入力データに作用して出力を生成することにより本発明の機能を実行するためにコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサにより実行できる。方法ステップは、装置により実行されることも可能であり、専用論理回路構成として実装可能である。回路構成は、例として、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：フィールドプログラマブルゲートアレイ）および／またはＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：特定用途向け集積回路）とすることができる。モジュール、サブルーチンおよびソフトウェアエージェントは、当該機能性を実装するコンピュータプログラム、プロセッサ、特殊回路構成、ソフトウェアおよび／またはハードウェアの部分を指すことができる。
【0076】
コンピュータプログラムの実行に適したプロセッサは、例として、汎用および専用両方のマイクロプロセッサ、ならびに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般に、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリまたは両方から命令およびデータを受信する。コンピュータの必須要素は、命令を実行するプロセッサ、ならびに命令およびデータを記憶する１つ以上のメモリデバイスである。一般に、コンピュータは、データを記憶する１つ以上の大容量記憶デバイス（例えば磁気、光磁気ディスクまたは光ディスク）からデータを受信しかつ／またはそれにデータを転送するために動作結合できる。
【0077】
データ伝送および命令は、通信ネットワーク上でも発生できる。コンピュータプログラム命令およびデータを具現化するのに適した情報担体は、あらゆる形態の不揮発性メモリを含み、例として半導体メモリデバイスが含まれる。情報担体は、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス、磁気ディスク、内蔵ハードディスク、リムーバブルディスク、磁気光学ディスク、ＣＤ－ＲＯＭおよび／またはＤＶＤ－ＲＯＭディスクとすることができる。プロセッサおよびメモリは専用論理回路構成により補完されること、および／またはそれに組み込まれることが可能である。
【0078】
ユーザとの相互作用を提供するために、上述したテクニックは、ディスプレイデバイス、伝送デバイスおよび／またはコンピューティングデバイスを有するコンピュータ上に実装できる。ディスプレイデバイスは、例として、陰極線管（ＣＲＴ：ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）および／または液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）モニタとすることができる。ユーザとの相互作用は、例として、ユーザに対する情報の表示、ならびにユーザが入力をコンピュータに提供（例えばユーザインターフェース要素と相互作用）できるキーボードおよびポインティングデバイス（例えばマウスまたはトラックボール）とすることができる。他の種類の仕組みが、ユーザとの相互作用を提供するために使用されることが可能である。他の仕組みは、例として、任意の形態の感覚フィードバック（例えば視覚フィードバック、聴覚フィードバックまたは触覚フィードバック）でユーザに提供されるフィードバックとすることができる。ユーザからの入力は、例として、音響、スピーチおよび／または触覚入力を含む、任意の形態で受信されることが可能である。
【0079】
コンピューティングデバイスは、例として、コンピュータ、ブラウザデバイスを備えたコンピュータ、電話、ＩＰ電話、モバイルデバイス（例えば携帯電話、携帯情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）デバイス、ラップトップコンピュータ、電子メールデバイス）、および／またはその他通信デバイスを含むことができる。コンピューティングデバイスは、例として１つ以上のコンピュータサーバとすることができる。コンピュータサーバは、例としてサーバファームの一部とすることができる。ブラウザデバイスは、例として、ワールドワイドウェブブラウザ（例えばＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔ（登録商標）Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（登録商標）、Ｇｏｏｇｌｅから入手可能なＣｈｒｏｍｅ、Ｍｏｚｉｌｌａ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＭｏｚｉｌｌａ（登録商標）Ｆｉｒｅｆｏｘ、Ａｐｐｌｅから入手可能なＳａｆａｒｉ）を備えたコンピュータ（例えばデスクトップコンピュータ、ラップトップコンピュータおよびタブレット）を含む。モバイルコンピューティングデバイスは、例として、携帯情報端末（ＰＤＡ）を含む。
【0080】
ウェブサイトおよび／またはウェブページは、例として、ウェブサーバを使用してネットワーク（例えばインターネット）を介して提供可能である。ウェブサーバは、例として、サーバモジュール（例えばＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔ（登録商標）Ｉｎｔｅｒｎｅｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｅｒｖｉｃｅｓ、Ａｐａｃｈｅソフトウェア財団から入手可能なＡｐａｃｈｅウェブサーバ、Ａｐａｃｈｅソフトウェア財団から入手可能なＡｐａｃｈｅ Ｔｏｍｃａｔウェブサーバ）を備えたコンピュータとすることができる。
【0081】
記憶モジュールは、例として、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）モジュール、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）モジュール、コンピュータハードドライブ、メモリカード（例えばユニバーサルシリアルバス（ＵＳＢ：ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）フラッシュドライブ、セキュアデジタル（ＳＤ：ｓｅｃｕｒｅ ｄｉｇｉｔａｌ）フラッシュカード）、フロッピーディスクおよび／またはその他任意のデータ記憶デバイスとすることができる。記憶モジュールに記憶される情報は、例としてデータベース（例えばリレーショナルデータベースシステム、フラットデータベースシステム）および／またはその他任意の論理情報記憶メカニズムに維持可能である。
【0082】
上述した手法は、バックエンドコンポーネントを含む分散型コンピューティングシステムに実装可能である。バックエンドコンポーネントは、例として、データサーバ、ミドルウェアコンポーネントおよび／またはアプリケーションサーバとすることができる。上述した手法は、フロントエンドコンポーネントを含む分散型（ｄｉｓｔｒｉｂｕｔｉｎｇ）コンピュータシステムに実装可能である。フロントエンドコンポーネントは、例として、グラフィカルユーザインターフェースを有するクライアントコンピュータ、ユーザがそれを用いて例示の実装と相互作用できるウェブブラウザおよび／または伝送デバイスの他のグラフィカルユーザインターフェースとすることができる。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信（例えば通信ネットワーク）により相互接続可能である。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ワイドエリアネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、インターネット、有線ネットワークおよび／またはワイヤレスネットワークを含む。
【0083】
システムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に、互いに遠隔にあり、典型的には通信ネットワークを介して相互作用する。クライアントおよびサーバの関係は、個々のコンピュータ上で実行され互いにクライアント－サーバ関係を有するコンピュータプログラムにより生じる。
【0084】
上述したネットワークは、パケットベースのネットワーク、回路ベースのネットワークおよび／またはパケットベースのネットワークと回路ベースのネットワークとの組み合わせに実装できる。パケットベースのネットワークは、例として、インターネット、キャリアインターネットプロトコル（ＩＰ：ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ）ネットワーク（例えばローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、キャンパスエリアネットワーク（ＣＡＮ：ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、メトロポリタンエリアネットワーク（ＭＡＮ：ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ホームエリアネットワーク（ＨＡＮ：ｈｏｍｅ ａｒｅａ ｎｅｔｗｏｒｋ）、プライベートＩＰネットワーク、ＩＰ構内交換機（ＩＰＢＸ：ＩＰ ｐｒｉｖａｔｅ ｂｒａｎｃｈ ｅｘｃｈａｎｇｅ）、ワイヤレスネットワーク（例えば無線アクセスネットワーク（ＲＡＮ：ｒａｄｉｏ ａｃｃｅｓｓ ｎｅｔｗｏｒｋ）、８０２．１１ネットワーク、８０２．１６ネットワーク、汎用パケット無線サービス（ＧＰＲＳ：ｇｅｎｅｒａｌ ｐａｃｋｅｔ ｒａｄｉｏ ｓｅｒｖｉｃｅ）ネットワーク、ＨｉｐｅｒＬＡＮ）および／または他のパケットベースネットワークを含むことができる。回路ベースのネットワークは、例として、公衆交換電話網（ＰＳＴＮ：ｐｕｂｌｉｃ ｓｗｉｔｃｈｅｄ ｔｅｌｅｐｈｏｎｅ ｎｅｔｗｏｒｋ）、構内交換機（ＰＢＸ：ｐｒｉｖａｔｅ ｂｒａｎｃｈ ｅｘｃｈａｎｇｅ）、ワイヤレスネットワーク（例えばＲＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、符号分割多元接続（ＣＤＭＡ：ｃｏｄｅ－ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）ネットワーク、時分割多元接続（ＴＤＭＡ：ｔｉｍｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）ネットワーク、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ：ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）ネットワーク）および／または他の回路ベースのネットワークを含むことができる。
【0085】
当業者には当然のことながら、本発明は、その意図または本質的な特性から逸脱することなく、他の特定の形態で具現化され得る。したがって、前述の実施形態は、全ての点において、本明細書に記載された発明を限定するものではなく例示的なものとみなされるべきである。したがって、本発明の範囲は、前述の説明によらず、添付の特許請求の範囲により示され、したがって、特許請求の範囲の等価な意味および範囲内に入るすべての変更は、その中に包含されるものとする。
【0086】
前述の詳細な説明では、本発明の理解をもたらすために特定の詳細事項が多数記載される。しかし、当業者には当然のことながら、本発明は、こうした特定の詳細事項なしで実践できる。他の事例では、周知の方法、手順およびコンポーネント、モジュール、ユニットおよび／または回路は、本発明を不明瞭にしないように、詳細に記載されなかった。一実施形態に関して記載される一部の特徴または要素は、他の実施形態に関して記載される特徴または要素と組み合わせることができる。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図4c】
【図4d】
【図4e】
【図4f】