知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6677758
(24)【登録日】2020年3月17日
(45)【発行日】2020年4月8日
(54)【発明の名称】ハイブリッド画像／ハンズフリー制御によるシーンレンダラー
(51)【国際特許分類】
A61B 34/10 20160101AFI20200330BHJP
【ＦＩ】
A61B34/10
【請求項の数】22
【全頁数】29
(21)【出願番号】特願2018-97197(P2018-97197)
(22)【出願日】2018年5月21日
(62)【分割の表示】特願2015-514221(P2015-514221)の分割
【原出願日】2013年5月24日
(65)【公開番号】特開2018-187399(P2018-187399A)
(43)【公開日】2018年11月29日
【審査請求日】2018年5月21日
(31)【優先権主張番号】61/651,775
(32)【優先日】2012年5月25日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】514272885
【氏名又は名称】サージカル シアター エルエルシー
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】ゲリ，アロン，ヤコブ
(72)【発明者】
【氏名】アヴィザル，モルデチャイ
【審査官】
槻木澤 昌司
(56)【参考文献】
【文献】
米国特許出願公開第２０１０／０１７８６４４（ＵＳ，Ａ１）
【文献】
米国特許出願公開第２０１１／０２３６８６８（ＵＳ，Ａ１）
【文献】
米国特許第０５７６５５６１（ＵＳ，Ａ）
【文献】
特開２００６−２２３３７４（ＪＰ，Ａ）
【文献】
米国特許出願公開第２０１０／０２１７３３６（ＵＳ，Ａ１）
【文献】
国際公開第２０１０／１０６５３２（ＷＯ，Ａ１）
【文献】
米国特許出願公開第２００４／０００９４５９（ＵＳ，Ａ１）
【文献】
特開２０１０−１３１０４７（ＪＰ，Ａ）
【文献】
特表２０１４−５２５７６４（ＪＰ，Ａ）
【文献】
特表２０１４−５２２２４８（ＪＰ，Ａ）
【文献】
特許第６３４３６０６（ＪＰ，Ｂ２）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ａ６１Ｂ ３４／１０
(57)【特許請求の範囲】
【請求項1】
シミュレートされた医療処置をユーザーが行うことを可能にするためのモデリングシステムであって、前記モデリングシステムが、
１つ以上のコンピュータと、
前記ユーザーに画像を表示するためのディスプレイと、
特定患者の組織の特徴を保存するためのデータベースと、
前記ディスプレイ上で表示するために、前記特定患者の保存された特徴に基づいて前記特定患者の組織の動的現実的画像を生成するためのソフトウエアを実行するために前記コンピュータのうち１つ以上を用いる画像ジェネレータであって、前記組織の動的現実的画像が提供され、前記特定患者の組織を示す付影およびテクスチャを含む外観を示す、画像ジェネレータと、
医療処置で用いられる実際のユーザーツールの複数のユーザーツールモデルを提供するためのユーザーツールライブラリを保存するためのデータベースと、
前記ユーザーツールモデルのうち１つを選択するために前記ユーザーからの入力を受け取るための第１のユーザーインターフェースと、
前記ディスプレイ上で表示するために、選択されたユーザーツールモデルの現実的なツール画像を生成するためのソフトウエアを実行するために、前記コンピュータのうち１つ以上を用いるユーザーツールジェネレータと、
前記ユーザーの手の動きに基づいて前記ユーザーからハンズフリー入力を受け取るためのカメラを含む第２のユーザーインターフェースであって、前記ハンズフリー入力が、実時間での前記ディスプレイ上での前記ユーザーへの表示のために、前記シミュレートされた医療処置の間に前記組織の動的現実的画像と動的にインタラクトするために、前記選択されたユーザーツールモデルの画像および／または前記組織の動的現実的画像を動的に操作するためのものであり、前記ユーザーツールモデルの画像と前記組織の動的現実的画像との間の動的インタラクションが、現実的な機械的インタラクションを呈する現実的な視覚的特色を有する画像を用いて前記ディスプレイ上に表示される、第２のユーザーインターフェースと、
を備える、モデリングシステム。
１つ以上のコンピュータと、
前記ユーザーに画像を表示するためのディスプレイと、
特定患者の組織の特徴を保存するためのデータベースと、
前記ディスプレイ上で表示するために、前記特定患者の保存された特徴に基づいて前記特定患者の組織の動的現実的画像を生成するためのソフトウエアを実行するために前記コンピュータのうち１つ以上を用いる画像ジェネレータであって、前記組織の動的現実的画像が提供され、前記特定患者の組織を示す付影およびテクスチャを含む外観を示す、画像ジェネレータと、
医療処置で用いられる実際のユーザーツールの複数のユーザーツールモデルを提供するためのユーザーツールライブラリを保存するためのデータベースと、
前記ユーザーツールモデルのうち１つを選択するために前記ユーザーからの入力を受け取るための第１のユーザーインターフェースと、
前記ディスプレイ上で表示するために、選択されたユーザーツールモデルの現実的なツール画像を生成するためのソフトウエアを実行するために、前記コンピュータのうち１つ以上を用いるユーザーツールジェネレータと、
前記ユーザーの手の動きに基づいて前記ユーザーからハンズフリー入力を受け取るためのカメラを含む第２のユーザーインターフェースであって、前記ハンズフリー入力が、実時間での前記ディスプレイ上での前記ユーザーへの表示のために、前記シミュレートされた医療処置の間に前記組織の動的現実的画像と動的にインタラクトするために、前記選択されたユーザーツールモデルの画像および／または前記組織の動的現実的画像を動的に操作するためのものであり、前記ユーザーツールモデルの画像と前記組織の動的現実的画像との間の動的インタラクションが、現実的な機械的インタラクションを呈する現実的な視覚的特色を有する画像を用いて前記ディスプレイ上に表示される、第２のユーザーインターフェースと、
を備える、モデリングシステム。
【請求項2】
前記組織の動的現実的画像上で任意の幾何学的形状を描写する能力を提供する、前記組織の動的現実的画像を調節するツールを更に備える、請求項１に記載のモデリングシステム。
【請求項3】
前記組織の動的現実的画像を調節するツールが、前記組織の動的現実的画像の不完全な解剖学的構造を完全にする能力を提供するツールを含む、請求項２に記載のモデリングシステム。
【請求項4】
前記組織の動的現実的画像を調節するツールが、前記組織の動的現実的画像の一部のテクスチャ、照光、陰影および／または濃淡を改良する能力を提供する、請求項２〜３のいずれか一項に記載のモデリングシステム。
【請求項5】
前記組織の動的現実的画像を調節するツールが、前記組織の動的現実的画像の１つ以上の部分とインタラクトするツールをコマンドする能力を提供するツールを含む、請求項２〜４のいずれか一項に記載のモデリングシステム。
【請求項6】
前記組織の動的現実的画像を調節するツールが、表示された画像からの除去のための、前記ツールのモデルの要素および／または前記組織の動的現実的画像を選択する能力を提供するツールを含む、請求項２〜５のいずれか一項に記載のモデリングシステム。
【請求項7】
前記組織の動的現実的画像を調節するツールが、対象を選択して、前記対象を前記画像内での表示のために望ましい位置にドラッグすることにより、表示された画像内の対象を再配置する能力を提供するツールを含む、請求項２〜６のいずれか一項に記載のモデリングシステム。
【請求項8】
前記組織の動的現実的画像を調節するツールが、前記動的画像内の解剖学的構造を増強および統合する能力を提供するツールを含む、請求項２〜７のいずれか一項に記載のモデリングシステム。
【請求項9】
前記組織の動的現実的画像を調節するツールが、前記組織の動的現実的画像に付加するための任意の幾何学的形状を描写する能力を提供するツールを含む、請求項２〜８のいずれか一項に記載のモデリングシステム。
【請求項10】
異なる移植片の複数のモデルのライブラリを保存するためのデータベースと、
前記組織の動的現実的画像と動的にインタラクトするために、前記ユーザーツールモデルを伴う使用のために前記複数のモデルから１つのインプラントモデルを選択するための第３のユーザーインターフェースと、
を更に備える、請求項１〜９のいずれか一項に記載のモデリングシステム。
前記組織の動的現実的画像と動的にインタラクトするために、前記ユーザーツールモデルを伴う使用のために前記複数のモデルから１つのインプラントモデルを選択するための第３のユーザーインターフェースと、
を更に備える、請求項１〜９のいずれか一項に記載のモデリングシステム。
【請求項11】
前記組織の動的現実的画像を調節するツールが、
前記組織の動的現実的画像上で任意の幾何学的形状を描写し、
前記組織の動的現実的画像の不完全な解剖学的構造を完全にし、または、
前記組織の動的現実的画像の一部のテクスチャ、および／または照光を改良する
能力を提供するツールを含む、請求項２〜１０のいずれか一項に記載のモデリングシステム。
前記組織の動的現実的画像上で任意の幾何学的形状を描写し、
前記組織の動的現実的画像の不完全な解剖学的構造を完全にし、または、
前記組織の動的現実的画像の一部のテクスチャ、および／または照光を改良する
能力を提供するツールを含む、請求項２〜１０のいずれか一項に記載のモデリングシステム。
【請求項12】
前記モデリングシステムが、前記特定患者を伴う、前記ユーザーにより使用されている実際の手術用機器の運動を追跡することができる第４のユーザーインターフェースを更に備え、それにより、前記運動が、実時間での前記ディスプレイ上での前記ユーザーへの表示のために、前記シミュレートされた医療処置の間に前記組織の動的現実的画像と動的にインタラクトするために、前記選択されたユーザーツールモデルの画像および／または前記組織の動的現実的画像を動的に操作するために用いられる、請求項１〜１１のいずれか一項に記載のモデリングシステム。
【請求項13】
前記第４のユーザーインターフェースが、ＧＰＳ受信機、加速度計、磁気検出デバイス、またはカメラを含む、請求項１２に記載のモデリングシステム。
【請求項14】
シミュレートされた医療処置をユーザーが行うことを可能にするためのモデリングシステムであって、前記モデリングシステムが、
１つ以上のコンピュータと、
前記ユーザーに画像を表示するためのディスプレイと、
特定患者の組織の物理的特徴を保存するためのデータベースと、
前記ディスプレイ上で表示するために、前記特定患者の組織の動的現実的画像を生成するためのソフトウエアを実行するために前記コンピュータのうち１つ以上を用いる画像ジェネレータであって、前記組織の動的現実的画像が提供され、前記特定患者の組織を示す付影およびテクスチャを含む外観を示す、画像ジェネレータと、
医療処置で用いられる実際のユーザーツールの複数のユーザーツールモデルを提供するためのユーザーツールライブラリを備えるデータベースと、
前記ユーザーツールモデルのうち１つを選択するために前記ユーザーからの入力を受け取るための第１のユーザーインターフェースと、
前記ディスプレイ上で表示するために、選択されたユーザーツールモデルの現実的なツール画像を生成するためのソフトウエアを実行するために、前記コンピュータのうち１つ以上を用いるユーザーツールジェネレータと、
前記ユーザーからの入力を受け取るための第２のユーザーインターフェースであって、前記入力が、実時間での前記ディスプレイ上での前記ユーザーへの表示のために、前記シミュレートされた医療処置の間に前記組織の動的現実的画像と動的にインタラクトするために、前記選択されたユーザーツールモデルの画像を動的に操作するためのものである、第２のユーザーインターフェースと、
前記ユーザーの手の動きに基づいて前記ユーザーからハンズフリー入力を受け取るためのカメラを含む第３のユーザーインターフェースであって、前記ハンズフリー入力が、実時間での前記ディスプレイ上での前記ユーザーへの表示のために、前記シミュレートされた医療処置の間に前記組織の動的現実的画像と動的にインタラクトするために、前記選択されたユーザーツールモデルの画像および／または前記組織の動的現実的画像を動的に操作するためのものであり、前記ユーザーツールモデルの画像と前記組織の動的現実的画像との間の動的インタラクションが、現実的な機械的インタラクションを呈する現実的な視覚的特色を有する画像を用いて前記ディスプレイ上に表示される、第３のユーザーインターフェースと、
前記特定患者の実際の生体組織内にはあるが、最初に表示された組織の動的現実的画像からは欠けている解剖学的構造を補正するために、表示のために前記組織の特色を追加または改良することにより前記ディスプレイ上に表示された組織の動的現実的画像を調節するツールを提供する第４のユーザーインターフェースであって、それにより、前記表示された組織の動的現実的画像が、追加または改良された特色と共に前記ディスプレイに続いて表示され、前記ユーザーツールモデルの画像と前記組織の動的現実的画像との間の動的インタラクションが前記ディスプレイ上に表示され、保存された物理的特徴に基づいて現実的な機械的インタラクションを呈する現実的な視覚的特色を提供する、第４のユーザーインターフェースと、
を備える、モデリングシステム。
１つ以上のコンピュータと、
前記ユーザーに画像を表示するためのディスプレイと、
特定患者の組織の物理的特徴を保存するためのデータベースと、
前記ディスプレイ上で表示するために、前記特定患者の組織の動的現実的画像を生成するためのソフトウエアを実行するために前記コンピュータのうち１つ以上を用いる画像ジェネレータであって、前記組織の動的現実的画像が提供され、前記特定患者の組織を示す付影およびテクスチャを含む外観を示す、画像ジェネレータと、
医療処置で用いられる実際のユーザーツールの複数のユーザーツールモデルを提供するためのユーザーツールライブラリを備えるデータベースと、
前記ユーザーツールモデルのうち１つを選択するために前記ユーザーからの入力を受け取るための第１のユーザーインターフェースと、
前記ディスプレイ上で表示するために、選択されたユーザーツールモデルの現実的なツール画像を生成するためのソフトウエアを実行するために、前記コンピュータのうち１つ以上を用いるユーザーツールジェネレータと、
前記ユーザーからの入力を受け取るための第２のユーザーインターフェースであって、前記入力が、実時間での前記ディスプレイ上での前記ユーザーへの表示のために、前記シミュレートされた医療処置の間に前記組織の動的現実的画像と動的にインタラクトするために、前記選択されたユーザーツールモデルの画像を動的に操作するためのものである、第２のユーザーインターフェースと、
前記ユーザーの手の動きに基づいて前記ユーザーからハンズフリー入力を受け取るためのカメラを含む第３のユーザーインターフェースであって、前記ハンズフリー入力が、実時間での前記ディスプレイ上での前記ユーザーへの表示のために、前記シミュレートされた医療処置の間に前記組織の動的現実的画像と動的にインタラクトするために、前記選択されたユーザーツールモデルの画像および／または前記組織の動的現実的画像を動的に操作するためのものであり、前記ユーザーツールモデルの画像と前記組織の動的現実的画像との間の動的インタラクションが、現実的な機械的インタラクションを呈する現実的な視覚的特色を有する画像を用いて前記ディスプレイ上に表示される、第３のユーザーインターフェースと、
前記特定患者の実際の生体組織内にはあるが、最初に表示された組織の動的現実的画像からは欠けている解剖学的構造を補正するために、表示のために前記組織の特色を追加または改良することにより前記ディスプレイ上に表示された組織の動的現実的画像を調節するツールを提供する第４のユーザーインターフェースであって、それにより、前記表示された組織の動的現実的画像が、追加または改良された特色と共に前記ディスプレイに続いて表示され、前記ユーザーツールモデルの画像と前記組織の動的現実的画像との間の動的インタラクションが前記ディスプレイ上に表示され、保存された物理的特徴に基づいて現実的な機械的インタラクションを呈する現実的な視覚的特色を提供する、第４のユーザーインターフェースと、
を備える、モデリングシステム。
【請求項15】
前記組織の動的現実的画像を調節するツールが、前記組織の動的現実的画像上で任意の幾何学的形状を描写する能力を提供するツールを含む、請求項１４に記載のモデリングシステム。
【請求項16】
前記組織の動的現実的画像を調節するツールが、前記組織の動的現実的画像の不完全な解剖学的構造を完全にする能力を提供するツールを含む、請求項１４〜１５のいずれか一項に記載のモデリングシステム。
【請求項17】
前記組織の動的現実的画像を調節するツールが、前記組織の動的現実的画像の一部のテクスチャ、照光、陰影および／または濃淡を改良する能力を提供するツールを含む、請求項１４〜１６のいずれか一項に記載のモデリングシステム。
【請求項18】
前記特定患者の医療画像が、動脈瘤の画像を含み、前記動的画像が、前記動脈瘤の画像を含み、更に、前記ユーザーツールが、前記組織の動的現実的画像と動的にインタラクトするために動脈瘤用クリップモデルを適用するための動脈瘤用クリップアプライヤーを含む、請求項１４〜１７のいずれかに記載のモデリングシステム。
【請求項19】
前記モデリングシステムが、前記特定患者を伴う、前記ユーザーにより使用されている実際の手術用機器の運動を追跡することができる第５のユーザーインターフェースを更に備え、それにより、前記運動が、実時間での前記ディスプレイ上での前記ユーザーへの表示のために、前記シミュレートされた医療処置の間に前記組織の動的現実的画像と動的にインタラクトするために、前記選択されたユーザーツールモデルの画像および／または前記組織の動的現実的画像を動的に操作するために用いられる、請求項１４〜１８のいずれか一項に記載のモデリングシステム。
【請求項20】
前記第５のユーザーインターフェースが、ＧＰＳ受信機、加速度計、磁気検出デバイス、またはカメラを含む、請求項１９に記載のモデリングシステム。
【請求項21】
シミュレートされた医療処置をユーザーが行うことを可能にするためのモデリングシステムであって、前記モデリングシステムが、
１つ以上のコンピュータと、
前記ユーザーに画像を表示するためのディスプレイと、
前記ディスプレイ上で表示するために、特定患者の組織の動的現実的画像を生成するためのソフトウエアを実行するために前記コンピュータのうち１つ以上を用いる画像ジェネレータであって、前記組織の動的現実的画像が提供され、実際の組織を示す付影およびテクスチャを含む外観を示す、画像ジェネレータと、
医療処置で用いられる実際のユーザーツールの複数のユーザーツールモデルを提供するためのユーザーツールライブラリを保存するためのデータベースと、
前記ユーザーツールモデルのうち１つを選択するために前記ユーザーからの入力を受け取るための第１のユーザーインターフェースと、
前記ディスプレイ上で表示するために、選択されたユーザーツールモデルの現実的なツール画像を生成するためのソフトウエアを実行するために、前記コンピュータのうち１つ以上を用いるユーザーツールジェネレータと、
前記特定患者を伴う、前記ユーザーにより使用されている実際の手術用機器の運動を追跡することができる第２のユーザーインターフェースであって、それにより、前記運動が、実時間での前記ディスプレイ上での前記ユーザーへの表示のために、前記シミュレートされた医療処置の間に前記組織の動的現実的画像と動的にインタラクトするために、前記選択されたユーザーツールモデルの画像および／または前記組織の動的現実的画像を動的に操作するために用いられる、第２のユーザーインターフェースと、
を備え、
前記モデリングシステムが、前記ユーザーの手の動きに基づいて前記ユーザーからハンズフリー入力を受け取るためのカメラを含む第３のユーザーインターフェースを更に備え、前記ハンズフリー入力が、実時間での前記ディスプレイ上での前記ユーザーへの表示のために、前記シミュレートされた医療処置の間に前記組織の動的現実的画像と動的にインタラクトするために、前記選択されたユーザーツールモデルの画像および／または前記組織の動的現実的画像を動的に操作するためのものであり、前記ユーザーツールモデルの画像と前記組織の動的現実的画像との間の動的インタラクションが、現実的な機械的インタラクションを呈する現実的な視覚的特色を有する画像を用いて前記ディスプレイ上に表示される、モデリングシステム。
１つ以上のコンピュータと、
前記ユーザーに画像を表示するためのディスプレイと、
前記ディスプレイ上で表示するために、特定患者の組織の動的現実的画像を生成するためのソフトウエアを実行するために前記コンピュータのうち１つ以上を用いる画像ジェネレータであって、前記組織の動的現実的画像が提供され、実際の組織を示す付影およびテクスチャを含む外観を示す、画像ジェネレータと、
医療処置で用いられる実際のユーザーツールの複数のユーザーツールモデルを提供するためのユーザーツールライブラリを保存するためのデータベースと、
前記ユーザーツールモデルのうち１つを選択するために前記ユーザーからの入力を受け取るための第１のユーザーインターフェースと、
前記ディスプレイ上で表示するために、選択されたユーザーツールモデルの現実的なツール画像を生成するためのソフトウエアを実行するために、前記コンピュータのうち１つ以上を用いるユーザーツールジェネレータと、
前記特定患者を伴う、前記ユーザーにより使用されている実際の手術用機器の運動を追跡することができる第２のユーザーインターフェースであって、それにより、前記運動が、実時間での前記ディスプレイ上での前記ユーザーへの表示のために、前記シミュレートされた医療処置の間に前記組織の動的現実的画像と動的にインタラクトするために、前記選択されたユーザーツールモデルの画像および／または前記組織の動的現実的画像を動的に操作するために用いられる、第２のユーザーインターフェースと、
を備え、
前記モデリングシステムが、前記ユーザーの手の動きに基づいて前記ユーザーからハンズフリー入力を受け取るためのカメラを含む第３のユーザーインターフェースを更に備え、前記ハンズフリー入力が、実時間での前記ディスプレイ上での前記ユーザーへの表示のために、前記シミュレートされた医療処置の間に前記組織の動的現実的画像と動的にインタラクトするために、前記選択されたユーザーツールモデルの画像および／または前記組織の動的現実的画像を動的に操作するためのものであり、前記ユーザーツールモデルの画像と前記組織の動的現実的画像との間の動的インタラクションが、現実的な機械的インタラクションを呈する現実的な視覚的特色を有する画像を用いて前記ディスプレイ上に表示される、モデリングシステム。
【請求項22】
前記第２のユーザーインターフェースが、ＧＰＳ受信機、加速度計、磁気検出デバイス、またはカメラを含む、請求項２１に記載のモデリングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照本願は、２０１２年５月２５日に出願され、参照により本明細書に組み入れられる、米国特許仮出願第６１／６５１，７７５号の利益を主張するものである。
【背景技術】
【0002】
背景本願は一般に、外科処置をシミュレートするためのシステムおよび方法に関する。より詳細には、本願は、ハンズフリー制御を利用して組織動態モデルを患者特有の映像に結び付けることにより、静態／静止医用画像を動的でインタラクティブな映像に変換して、医療器具（例えば手術器具、プローブ、および／または移植可能な医療デバイス）とインタラクトするためのシステムおよび方法に関する。
【0003】
外科医は、身体組織の性質を有する現実的な視覚モデルをもたらすリハーサルおよび準備のツールを持たない。最も重要なこととして、（ｉ）患者特有の手術領域（例えば、動脈瘤）の現実的な「本物そっくりの」２Ｄおよび／または３Ｄディスプレイ；（ii）手術の幾何学的配置の局部的な患者特有領域および身体特性のモデリング；（iii）手術モデルの患者特有領域の操作と、切断、移動および締付などの手術上の行動の仮想的実践と、を可能にするインターフェース；ならびに（iv）外科医にフィードバックキューを提供するインターフェース、をはじめとする「全没入型の」外科的ツールを有することが望ましい。
【0004】
更に、外科医にハンズフリー制御を利用したシミュレーションを実施させるツールも、組織モデルのグラフィック画像の欠陥を修正する手段、さもなければそれを改良する手段と共に、有用となろう。
【発明の概要】
【発明が解決しようとする課題】
【0005】
概要非限定的に、ディスプレイと；ディスプレイに組織を表示して、対応する実際の生体組織を現実的に表現するために、組織の動的画像をディスプレイへの表示用に作成する画像ジェネレータと；ディスプレイへの表示のためにユーザー入力によりもたらされる操作を通して組織の動的画像と動的にインタラクトするユーザーツールのツールモデルを作成するユーザーツールジェネレータと；実際の生体組織内には存在するが最初に表示された組織の動的画像には存在しないため、表示された組織の動的画像を、次に追加または改良された特色と共にディスプレイに表示する、解剖学的構造を補正するために組織の特色を追加または改良することによりディスプレイに表示された組織の動的画像を調節するツールを提供するユーザーインターフェースと、を含む、医療処置を実施するためのモデリングシステムをはじめとする複数の例示的実施形態が提供される。このツールモデルは、ディスプレイに表示され、医療処置を現実的にシミュレートするために組織の動的画像と動的にインタラクトする。
【課題を解決するための手段】
【0006】
１つ以上のコンピュータと；ユーザーに画像を表示するディスプレイと；特定患者の組織の物理的特徴を保存するデータベースと；特定患者の組織の動的現実的画像をディスプレイへの表示用に作成するためのソフトウエアを実行するコンピュータを１つ以上用いて、特定患者の組織を示す付影およびテクスチャなどの外観を示す組織の現実的画像を提供する画像ジェネレータと；医療処置で用いられる実際のユーザーツールの複数のユーザーツールモデルを提供するユーザーツールライブラリと；ユーザーツールモデルの１つを選択するためにユーザーからの入力を受け取るユーザーインターフェースと；ディスプレイに表示するための選択されたユーザーツールモデルの現実的なツール画像を作成するためのソフトウエアを実行するコンピュータを１つ以上用いるユーザーツールジェネレータと；ユーザーに実時間でディスプレイに表示するために、シミュレートされた医療処置の間に組織の現実的画像と動的にインタラクトするための選択されたユーザーツール画像を動的に操作するための入力をユーザーから受け取るためのユーザーインターフェースと；特定患者の実際の生体組織内には存在するが最初に表示された組織の動的画像には存在しないため、表示された組織の動的画像を、次に追加または改良された特色と共にディスプレイに表示する、表示用に組織の特色を追加または改良して解剖学的構造を補正することによりディスプレイに表示された組織の動的画像を調節するツールを提供するユーザーインターフェースと、を含む、シミュレートされた医療処置をユーザーに実施させるモデリングシステムも提供される。ユーザーツール画像と組織の画像との動的インタラクションは、保存された物理的特徴に基づく現実的な機械的インタラクションを呈する現実的な視覚的特色のある画像を利用してディスプレイに表示される。
【0007】
更に、特定患者の医用画像から取得または誘導された患者組織画像情報を保存し、該組織の標準的特徴も保存するデータベースと；ディスプレイと；患者画像情報を利用し、組織の動的画像をディスプレイに表示して特定患者の対応する実際の組織を現実的に表現する、特定患者の組織の動的画像をディスプレイへの表示用に作成する画像ジェネレータと；ディスプレイへの表示のためにユーザーによりもたらされる操作を通して組織の動的画像と動的にインタラクトするユーザーツールのツールモデルを作成するユーザーツールジェネレータと；特定患者の実際の生体組織内には存在するが最初に表示された組織の動的画像には存在しないため、表示された組織の動的画像を、次に追加または改良された特色と共にディスプレイに表示する、表示用に組織の特色を追加または改良して解剖学的構造を補正することによりディスプレイに表示された組織の動的画像を調節するツールを提供するユーザーインターフェースと、を含む、手術のシミュレーションを実施するモデリングシステムが提供される。ツールモデルは、医療処置を現実的にシミュレートするために、ディスプレイに表示されて、組織の動的画像と動的にインタラクトする。
【0008】
１つ以上のコンピュータと；ユーザーに画像を表示するディスプレイと；特定患者の組織の特徴を保存するデータベースと；特定患者の保存された特徴に基づく特定患者の組織の動的現実的画像をディスプレイへの表示用に作成するためのソフトウエアを実行するコンピュータを１つ以上用いて、特定患者の組織を示す付影およびテクスチャなどの外観を示す組織の現実的画像を提供する画像ジェネレータと；医療処置で用いられる実際のユーザーツールの複数のユーザーツールモデルを提供するユーザーツールライブラリと；ユーザーツールモデルの１つを選択するためにユーザーからの入力を受け取るユーザーインターフェースと；選択されたユーザーツールモデルの現実的なツール画像をディスプレイへの表示用に作成するソフトウエアを実行するためにコンピュータを１つ以上用いるユーザーツールジェネレータと；ユーザーに実時間でディスプレイに表示するために、シミュレートされた医療処置の間に組織の現実的画像と動的にインタラクトするための選択されたユーザーツール画像および／または組織画像を動的に操作するためのハンズフリー入力をユーザーから受け取るためのカメラを含むユーザーインターフェースと、を含む、シミュレートされた医療処置をユーザーに実施させるモデリングシステムも提供される。ユーザーツール画像と組織の画像との動的インタラクションは、現実的な機械的インタラクションを呈する現実的な視覚的特色のある画像を利用してディスプレイに表示される。
【0009】
１つ以上のコンピュータと；ユーザーに画像を表示するディスプレイと；特定患者の組織の動的現実的画像をディスプレイへの表示用に作成するためのソフトウエアを実行するコンピュータを１つ以上用いて、実際の組織を示す付影およびテクスチャなどの外観を示す組織の現実的画像を提供する画像ジェネレータと；医療処置で用いられる実際のユーザーツールの複数のユーザーツールモデルを提供するユーザーツールライブラリと；ユーザーツールモデルの１つを選択するためにユーザーからの入力を受け取るユーザーインターフェースと；選択されたユーザーツールモデルの現実的なツール画像をディスプレイへの表示用に作成するためのソフトウエアを実行するコンピュータを１つ以上用いるユーザーツールジェネレータと；特定の患者を伴う、ユーザーにより使用されている実際の手術用機器の運動を追跡することができ、それにより前記運動を利用して、シミュレートされた医療処置の間に、ユーザーに実時間でディスプレイに表示するために、選択されたユーザーツール画像および／または組織画像を組織の現実的画像と動的にインタラクトするように動的に操作するユーザーインターフェースと、を含む、シミュレートされた医療処置をユーザーに実施させるモデリングシステムも提供される。
【0010】
更に、コンピュータシステムを準備するステップと；
コンピュータデバイスに接続されたディスプレイを準備するステップと；
コンピュータシステムに保存する特定患者の生体組織についての患者画像情報を得るステップと；
コンピュータシステムを利用して、特定患者の生体組織の動的画像をディスプレイへの表示用に患者画像情報を用いて作成することにより、組織の動的画像をディスプレイに表示して、特定患者の対応する実際の組織を現実的に表現するステップと；
コンピュータシステムを利用して、ディスプレイに表示するためにユーザーによる操作入力を介して組織の動的画像と動的にインタラクトするユーザーツールモデルを作成するステップと；
コンピュータシステムへのユーザー入力を利用して、特定患者の実際の生体組織内には存在するが最初に表示された組織の動的画像には存在しないため、表示された組織の動的画像を、次に追加または改良された特色と共にディスプレイに表示する、表示用に組織の特色を追加または改良して解剖学的構造を補正することによりディスプレイに表示された組織の動的画像を調節するステップと；
コンピュータシステムを利用して、組織の動的画像とユーザーの入力によるユーザーツールモデルとのインタラクションを示す医療処置の現実的なシミュレーションをディスプレイへの表示用に作成するステップと、
を含む、手術のシミュレーションを実施する方法が提供される。
【0011】
追加の例示的実施形態も示し、その全てではないが一部をより詳細に以下に記載する。
【0012】
本明細書に記載された本発明の実施例の特色および利点は、添付の図面を参照しながら以下の説明を読むことにより、本発明が関係する当業者に明白となろう。
【図面の簡単な説明】
【0013】
【図1】例示的サージカルシアター（Ｓｕｒｇｉｃａｌ Ｔｈｅａｔｅｒ）システムの高レベルの略図を示す。
【図1A】例示的サージカルシアターシステム構造を実行するための例示的コンピュータシステム構造を示す。
【図2】共にネットワーク化された複数のサージカルシアターを用いたコラボレイティブシアター（Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｈｅａｔｅｒ）コンセプトの実施例の高レベル図である。
【図3】例示的サージカルシアターの実施形態の分散型シミュレーションネットワークコンセプトの例示的作業構成を示す。
【図4】例示的サージカルシアターシステムの例示的ソフトウエア機能を示すブロック図である。
【図5】高レベルの現実的画像ジェネレータ（Ｒｅａｌｉｓｔｉｃ Ｉｍａｇｅ Ｇｅｎｅｒａｔｏｒ）（ＲＩＧ）プラットホームを示す図である。
【図6】例示的サージカルシアターシステムのサージカルリハーサルプラットフォーム（Ｓｕｒｇｅｒｙ Ｒｅｈｅａｒｓａｌ Ｐｌａｔｆｏｒｍ）（ＳＲＰ）の高レベルアーキテクチャおよびワークフローを示す。
【図7】例示的ＳＲＰの例示的コンピュータアーキテクチャを示す。
【図8】動的組織画像を調節する例示的ツールを示すフローチャートである。
【図9】例示的インタラクションツールおよび組織要素を示すスクリーンショットである。
【図10A】例示的ハンズフリーの入力インタラクションを示す画像である。
【図10B】例示的ハンズフリーの入力インタラクションを示す画像である。
【図11】ユーザーによりドラッグされ得る例示的マーカおよびツールを示すスクリーンショットである。
【図12A】マジック組織ワンドツールを用いて改良され得る例示的構造を示すスクリーンショットである。
【図12B】マジック組織ワンドツールを用いて改良され得る例示的構造を示すスクリーンショットである。
【図13A】マジック組織ワンドツールを用いて改良され得る例示的構造を示すスクリーンショットである。
【図13B】マジック組織ワンドツールを用いて改良され得る例示的構造を示すスクリーンショットである。
【図14A】組織ペインティングツールを用いて改良され得る例示的構造を示すスクリーンショットである。
【図14B】組織ペインティングツールを用いて改良され得る例示的構造を示すスクリーンショットである。
【発明を実施するための形態】
【0014】
例示的実施形態の詳細な説明図１は、患者特有のスキャン画像（ＣＴ、ＭＲＩなど）（１４）がシステムのコンソール（１０）に送られ、三次元の現実的な解剖学的表示（１８）を作成するアルゴリズムが、テクスチャ、陰影、付影および他のキュー（Ｃｕｅ）を画像に加え、機械的性質のアルゴリズム（１６）が機械的挙動特性を画像に割り付けて、画像を静止／静態画像から動的なインタラクティブ画像／モデルに転換する、システム１の一適用例の例示的実施形態を示している。フォースフィードバック（２０）を有する、または有さないインターフェースが、システムに接続されて、システムが作成する画像／モデルを外科医／オペレータ（１２）に操作させることができ；外科医は、それらのツールおよびインプラントの特徴を含むツールおよびインプラントのライブラリからツールおよびインプラントを選択することができる。その後、外科医は、現実的で動的な手法で患者の生体の操作可能で動的なインタラクティブ三次元画像／モデルで仮想手術を実施する。
【0015】
該システムは、システムの要素全てを運用および管理し、外科医／オペレーター（１２）の行動に従って従属要素の状態をアップデートするエグゼクティブプログラムを含む。例えば、外科医がインターフェース（２０）を利用して、ディスプレイ（１８）で見る組織を押圧する場合、機械的性質モデル（１６）が、加えられた力に関する情報、例えば力の方向、材料および形状などの用いられているツール、ならびにツールの他の機械的特徴を受け取り、その後、機械的性質を利用して、加えられた力に従う三次元方向の新規状態および画像のセットアップを計算して、エグゼクティブプログラムが計算された三次元マトリックスを機械的性質アルゴリズム（１６）により作成された現実的な解剖学的表示（１８）に送信し、現実的な解剖学的表示が、新規画像を計算し、画像変更によるキュー、例えば画像要素の新しい方向による新しい陰影および付影が決定される。同時に、機械的性質モデル（１６）は、外科医／オペレータ（１２）が臓器とのインタラクションにより感じる必要のある力（外科医が組織を押圧した後、または組織とインタラクトした後に、臓器が戻る力）の情報を含む一組のパラメータを、フォースフィードバックインターフェース（２０）に送信する。システムの要素（１４、１６、１８、２０）の互いの新しい段階を計算するこのプロセスは、周期的手法で迅速かつ連続的に実行され、各サイクルは、ミリ秒のフレーム時間内で完了されて、実時間の現実的なキューおよび彼らの行動への実時間反応を外科医／オペレータに受け取らせることができる。
【0016】
サージカルシアターは、図１Ａに示される通り、１つ以上のコンピュータ（ＰＣ）２Ａ〜２ｎ、１つ以上のデータベース３Ａ〜３ｎ、ならびに他のハードウエア要素（例えば、ネットワーク５、６）および所有権付きのソフトウエアを、小さなウォークインクローゼットほどのサイズの没入型チャンバー／コンソール（図１のコンソール１０参照）中に構築された１つの完全なシステム１（図１および１Ａの両方を参照）に統合したシステムである。外科医１２がシステムを始動すると、外科医は患者の詳細を含む患者のセットアップパラメータをロードして、システムに関連データをアップロードさせて、その後、サージカルシアターが患者画像１４から得た患者の利用可能なＣＴおよびＭＲＩ画像の全てを、データベース（複数可）３および患者の年齢、性別などのシミュレートされたモデルに関係する他の情報にロードする（それらの一部または全ては、例えば医用データベースなどの外部団体８から得てもよい）。該システムは、システムデータベースからの組織情報パラメータ１６を利用する。システム１は、セグメント化プロセスを実施し、臓器のエンティティー（血管、組織、腫瘍など）を認識して、デバイスのディスプレイで外科医に示されたシミュレートされた画像モデル１８を作成する。該システムは、フィードバック機構を通して現実的な触覚フィードバック２０を提供して、シミュレーションに更なる現実性を加える。
【0017】
該システムは、現実的な視覚、システムデータベース（複数可）から得た機械的性質および他の関連パラメータ１６、ならびに症例に関連する特徴の層を適用し、その全てが、患者の画像データベース（複数可）３からのＣＴおよびＭＲＩ画像１４の最上に加えられ、それらの画像と同調される。その同調により、例えば血管画像などに「締付られる」または「付着される」血管の機械的性質を生成して、現実的なシミュレーション能力をもたらす。外科医は、モデルを「微調整」して、臓器の特定領域の機械的性質を調節する能力を提供され得る。例えば外科医は、そのエンティティーの挙動の弾性および他の機械的特徴を調節することができる。
【0018】
次に、そのようなセットアップの後、サージカルシアターは、現実的な特色、例えばテクスチャ、付影、および他の特色がシミュレートされた画像に現実性を加えている、現実的な視覚的忠実性が存在する三次元臓器モデル１８を映し出す。視覚的モデル１８の各セグメントは、具体的症例のシステムデータベース１６および他の関連の性質から得た適切な機械的性質モデルと整合されて調和される。
【0019】
この段階では、該システムは、手術（または他の処置）を実施するのに必要となり得る関連の手術器具および他の要素（システムソフトウエアの用語ではそれらのツールおよび要素も「エンティティー」である）を、システムデータベース内のシステムの視覚的ライブラリ１６から外科医に閲覧および選択させる。そのような要素としては、各症例に適したセイザー（Ｓｅｉｚｅｒｓ）およびクランプ、動脈瘤用クリップ、人工心臓弁、および他の要素を挙げることができる。（インターネットまたはプライベートネットワークなどにより、ネットワーク９を通してシステム１に接続された追加のシステム１’、１''を加えることで、本開示の後により詳細に記載される、コラボレイティブシアタープラットフォームを得ることができる。）
【0020】
様々なエンティティーの全てが、高忠実性分散モデル内のシステムおよび分散型アーキテクチャ内の機能により表され、例えば各エンティティーは、典型的には別個のサブエンティティーを有し、サブエンティティーは、例えば「視覚的エンティティー」または「機械的エンティティー」などである。各サブエンティティーは、複数のコンピュータの間に分布する異なる環境（例えば、以下により詳細に記載される、視覚的システム環境、機械的モデリング環境など）の１つに存在する。そのような各サブエンティティーは、それ自体のパフォーマンス（例えば、エンティティーの現実的な視野を表すこと、またはエンティティーの機械操作を実演すること）を担う。
【0021】
サブエンティティーは、分散型ネットワークを介して通信を行って（以下により詳細に記載）、サブエンティティーを１つの統合されたエンティティーコンパウンドモデルに整合して調和する。例えば組織が手術器具により圧迫されている時に、手術器具の圧力特性（例えば、圧力の配置、方向および量など）が、ネットワークを介して分散され、サブエンティティーの各１つは、この手術器具の圧力により影響を受けているならば、「リスニング（ｌｉｓｔｅｎｉｎｇ）」およびコンクルーディング（ｃｏｎｃｌｕｄｉｎｇ）を担い；サブエンティティーが影響を受けていることを決定すれば、それぞれのそのようなサブエンティティー（例えば、組織エンティティー）モデル、つまりそれらのサブエンティティーモデル、例えば視覚サブエンティティーへの影響は、視覚的影響（組織の出血状態など）を表し、機械的性質モデルは、組織の移動を表す。それぞれのサブエンティティーは、ネットワークを通して変動（例えば組織の配置および寸法の変動）を分散し、それにより他のサブエンティティーが、この変動により影響を受けているかどうかを決定することができる。そのような行動の終了時に、先の実施例に関する組織のサブエンティティー全て（および他のエンティティー）が、順応するようになり、そして必要に応じてそれらの状況に適合し、モデルは、先の例では手術器具から起こり、開始する新しい行動に適合する。
【0022】
つまり様々な機能（サブエンティティー）は、分散されたデータおよび状態の複製を利用してピアツーピアネットワーク内で接続された様々なコンピュータ間に分散させることができ（シミュレーションの状態のローカルコピーを維持するために）、全てがシミュレーションのそれらの部分に影響を与える任意の行動に関してネットワーク上でリスニングし、その場合、ネットワークを通してパラメータをアップデートしてシステムを正確に保ち、もちろん他のサブエンティティー内の他の機能に影響を及ぼす場合があり、それゆえその事実をネットワークのモニタリングにより取得して、更なるアップデートに誘導するなどである。この方法では、該システムは、多くのコンピュータ間の機能性を並行して分散し、それによりアップデートをコンピュータが１つだけ用いられる場合よりもかなり迅速に行うことができる。変動により影響を受けたそれらのサブエンティティーのみが、応答を必要とし、つまりネットワークトラフィックを必要最小限まで減らすことができる。
【0023】
サージカルシアターは、外科医に行動を記録させ、後に再生するためにそれを保存して、外科医の責任者もしくはレジデントに手術計画を示して、または他の外科医と情報を共有して、外科医が取り組んでいる新しい技術を示し、手術を実践するなどである。該システムの、外科医へのインターフェースは、外科医に行動のフォースフィードバックキューを感知させて実際の処置を現実的にシミュレートするためのツールに送達されるフォースフィードバックを含む。
【0024】
手術器具および他のエンティティーが、外科医により選択されたら、それらが仮想手術シーンに統合されて、現実的な視覚特性と、選択された項目の各１つに適用される機械的性質および操作的性質をはじめとする、シミュレートされたシナリオの統合された要素に変換する。例えばシミュレートされたはさみは、実物のはさみの機械的特徴を反映し、実物のはさみが切断するようにシミュレーションにおいて切断し、シミュレートされた血管に配置された場合の動脈瘤用クリップは、血流の遮断をシミュレートする。
【0025】
次に外科医は、仮想手術の任意の段階で手術の行動を実施するが；外科医は、シミュレーションを「フリーズ」して臓器を回転させ、異なる方位および遠近感から該当する領域を観察することができる。外科医は、仮想手術の「時点を標識する」ことができ、「標識された時点に戻す」をコマンドすることができる。例えば外科医は、動脈瘤を締付ける前にその時間を標識して、この時点の後に実行された行動全てを「復元」しながら、この時点に戻すことができる。この方式では、外科医は、本来の開始点から手術全体を再開することなく、手術の選択された時期の異なる手術アプローチを評価することができる。複数のそのような「標識ポイント」を利用でき、外科医に行動を回復および「再現」させて、手術の複数の選択された時期に検査／リハーサルすることができる。サージカルシアターの使用は、外科医の手術に向けたリハーサル；外科医責任者および研修医への手術のデモンストレーション；手術の実践および発展、ツールおよび方法のテストおよび検証、ならびに知識の共有を含むことができる。以下に記載されたハンズフリー操作は、この特色のために利用することができる。
【0026】
コラボレイティブシアター図２は、サージカルシアターにより導入されたコラボレイティブシアターコンセプトの高レベルの例示的実施を示す。次世代のブロードバンドインフラストラクチャー２５を活用することにより、異なる病院のＳＲＰ２１、２２、２３・・・を利用している個人が連携して、国中および世界中の外科医に、例えば２つ以上に分散された場所からＳＲＰに、外科症例を共同的に計画させて、手術に向けて一緒に患者症例でリハーサルすることができる。このコラボレイティブシアターで、過去のサージカルシアター症例を観察するだけでなく遠隔教育および指導を提供することにより、外科医に最良の実践方法を研究させることができる。コラボレイティブシアターは、連携していてＳＲＰを利用している全ての病院で、最新の知識および最近の「最良実践法」へのアクセスを増加させることができる。更に、以下に記載されるハンズフリー操作は、コラボレイティブシアターコンセプトに用いることができる。
【0027】
システムレベルデザインシステムレベルデザインの説明は、先行の区分に概説されている。視覚レンダリングエンジンで、３Ｄ ＭＲＩおよびＣＴの患者特有の画像を分析して、特定の画像の解剖学的構造および特色を表すコンピュータ化されたセグメント化モジュールを作成する。医療市場は、膨大な数の先進的デジタル・イメージング・アンド・コミュニケーション・イン・メディスン（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｉｎ Ｍｅｄｉｃｉｎｅ）−ＤＩＣＯＭ（１）ビューワを有する。それらの特色を組み合わせば、相互参照し得る３枚の異なるパネルの層状白黒断面から、患者の臓器の３Ｄ画像の静態サブセットをフライスルーする完全な能力まで様々である。加えて、臓器の様々な機能的および動的変化をムービークリップの形態で記録する４Ｄおよび５Ｄ機能も存在する。取込み画像または動画と同様に見事なことは、それらが、決められた時間内での一定のスナップショット画像セットということである。
【0028】
サージカルシアターは、既存の３Ｄ変換プロセスを受けて、物理的および機械的性質に基づくヒト組織および構造に特有の性質を加え、それは後にシステムデータベースに保存される。この患者に基づくモデルが、仮想世界で運動に設定されると、サージカルシアターは、仮想手術器具セットを導入しており、現実の手術での組織操作と同様のモデルを外科医に操作させて（押圧、切断、締付を行わせるなど）、外科医に直観的経験を積ませる。
【0029】
図３は、例示的サージカルシアターの分散型シミュレーションネットワーク（サージカルシアターＤＩＳ（ＳＴ−ＤＩＳ）が提示される）の作業構成を示す。図の要素（即ちブロック）のそれぞれは、設計された機能を有する隔離型演算ステーション（独立型コンピュータまたは集合型コンピュータで実行され得る）である。該ステーションは、膨大な量のＤＩＣＯＭデータを転送させるのと同様に、緩やかな変則的トラフィックを取り扱うレギュラーサポートネットワーク３１（例えば、イーサネット（登録商標）のネットワークなど）に適宜、接続される。より強いデータ処理要求の際には、該ステーションは、優先性の高いシミュレーションデータ（例えば、高帯域幅のイーサネット（登録商標）で実行され得るもの）のみに用いられるハードウエア隔離型ネットワークである専用の分散型インタラクティブシミュレーション（ＳＴ−ＤＩＳ）ネットワーク（Ｄｉｓｔｒｉｂｕｔｅｄ Ｉｎｔｅｒａｃｔｉｖｅ Ｓｉｍｕｌａｔｉｏｎ（ＳＴ−ＤＩＳ）Ｎｅｔｗｏｒｋ）３２によりサポートされる。ＳＴ−ＤＩＳネットワーク３２は、非持久性シミュレーション情報を伝え、そのような精巧なシミュレーション負荷分散を可能にする。
【0030】
サージカルシアターのＳＴ−ＤＩＳは、独立した一組のシミュレータノードから大規模な仮想世界を構築するためのネットワークアーキテクチャである。シミュレータノード３３〜３８は、ネットワークにより連結され、共通のネットワークプロトコル（例えば、ＴＣＰ／ＩＰなど）を介して通信を行う。ＳＴ−ＤＩＳインフラストラクチャーは、様々なシミュレータを時間的および空間的にコヒーレントな環境で一緒に使用することができる。サージカルシアターのＳＴ−ＤＩＳ ＳＴ−ＤＩＳシステムでは、仮想世界が、誘発するイベントにより互いにインタラクトする一組の「エンティティー」としてモデル化される。シミュレータノード３３〜３８は、それぞれ独立して、シミュレーションの仮想世界でエンティティーの１つ以上の活動をシミュレートし、ネットワーク上のメッセージを介して他のシミュレータノードに該当する属性および行動を報告する。ネットワーク上の他のシミュレータノードは、ネットワークメッセージの「リスニング」を担い、どれがそれらに該当するか（それらがシミュレートしているエンティティーに基づく）を決定し、適宜、応答する。
【0031】
分散型インタラクディブシミュレーションに関係するＳＴ−ＤＩＳネットワークおよびシミュレーションアーキテクチャの特色の１つが、中央サーバーまたはプロセッサを全く必要としないことである。各シミュレーションアプリケーションが、独自のメモリまたはデータベース内で共通の仮想環境の独自コピーを維持する。この環境の表示が、任意の実時間操作の前に、様々な手段で全てのシミュレーションアプリケーションに分散される。ＳＴ−ＤＩＳは、基本的にはピアツーピアアーキテクチャであり、そこでデータは、全てのシミュレータに利用可能に伝送されて、受信者の要求に応じて拒絶または受信され得る。全てのメッセージが通過する中央サーバーを排除することにより、ＳＴ−ＤＩＳでは、シミュレータが重要な情報を別のシミュレータに送信するタイムラグが減少する。待機時間として知られるこのタイムラグは、現実性と、それに応じ、ネットワーク化されたシミュレータの有効性を、大きく低下させる可能性がある。有効な分散型シミュレーションは、新しい状態／イベントがシミュレートされたエンティティーについて起こる時間から、その状態／イベントが反応しなければならない別のエンティティーにより認知される時間までの非常に短い待機時間に依存する。トレーニングデバイスにより導入された任意の遅延は、トレーニング受講者に負の強化をもたらす可能性がある。
【0032】
再度、図３を参照すると、アーカイブサーバー（Ａｒｃｈｉｖｅ Ｓｅｒｖｅｒ）３４は概ね、シミュレーションに必要な多量のデータを、データベース内にダウンロードおよび保存するタスクを実施するために用いられる。加えて、アーカイブサーバー３４は、シミュレーションの更なる使用のために、得られたデータを準備するのに用いることができる。そのデューティーは典型的には世界全体のことであり、シミュレーション活動に重要でないため、アーカイブサーバー３４が典型的にはサポートネットワーク３１のみに接続される、ということに留意されたい。
【0033】
図３は、オフライン「サポート」ネットワーク（３１）と、データベースに保存された医用画像（ＣＴ／ＭＲＩ）および追加の初期化データ（例えば、患者の名前、年齢など、および手術器具ライブラリなどのシナリオに含まれるファイル）をロードする「アーカイブサーバー」（３４）と、制御入力を記録し、そのシナリオおよびタイムライン情報の行動全てを保存して、シナリオおよび行動の再生を可能にする「デブリーフサーバー（Ｄｅｂｒｉｅｆ Ｓｅｒｖｅｒ）」（３８）と、を含むネットワークアーキテクチャを示す。実時間ネットワーク（３２）は、実時間フュージョンでのシミュレーションの間にシステムノード間でメッセージを転送するネットワークであり、このネットワークを実行する１つの方法が、分散型インタラクティブシミュレーション（ＤＩＳ）ネットワーク（３２）であってもよく、このネットワークに接続された要素が、外科医／オペレータシステムインターフェースに接続された制御入力（Ｃｏｎｔｒｏｌｌ Ｉｎｐｕｔ）（３３）であり、このノードは、システムの実時間の要求がＤＳＩネットワーク、および必要となるノード間の直接的な物理的接続により満たされ得ない場合に実行され得る、ホストコンピュータ（Ｈｏｓｔ Ｃｏｍｐｕｔｅｒ）（３５）への任意の直接的な物理的接続を有する。ホストコンピュータ（３５）は、エグゼクティブマネージャプログラム、ならびに他のモデルおよびシミュレーションの要素を含み、システム全体の実時間同調およびタイミングを担う。
【0034】
シアター初期化システム（Ｔｈｅａｔｅｒ Ｉｎｉｔｉａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ）（ＴＩＳ）（３６）は、ノードの各１つについてシステムの配分およびセットアップを実行し、例えば、外科医が専用の使用ツールを選択する場合に、ＴＩＳは、ノードの全てについて正確なツールシミュレーションを作成するために（データベース内に保存されたツールの特徴により）、このツールの適切なモデルを配分／活性化して、ノードの全てが確実に同じ初期化でセットアップされるようにする。画像ジェネレータ（３６）は、シナリオのレンダリングおよび可視化のタスクを実行する。ホストコンピュータ（３５）、ＴＩＳ（３６）、画像ジェネレータ（３６）およびデブリーフサーバーは、サポートネットワーク（Ｓｕｐｐｏｒｔ Ｎｅｔｗｏｒｋ）（３１）からの初期化についてオフラインで情報を受信および交換し、「オンライン」および実時間シミュレーションについては、実時間ネットワーク（３２）により情報を受信および交換する。
【0035】
必要とされる臓器表面および体積のデータは、既存のＭＲＩ／ＣＴスキャンから抽出されて、データベース内に保存される。３Ｄ臓器表面データを得るために、該システムでは、ＤＩＣＯＭビューワと、例えばアップルマッキントッシュコンピュータ用に実行されるオープンソースソフトウエアであるＯｓｉｒｉＸ（または同等品）などのデータ管理システムと、を利用することができる。Ｏｂｊｅｃｔｉｖｅ Ｃソースコードでボクセル密度値に基づく臓器および臓器群の３Ｄ表面を作成するＯｓｉｒｉＸの能力に「トラップする」ことにより、サージカルシアターは、記載する３Ｄ表面および臓器タイプについての情報を保存する能力をデータベース内のフラットファイルに追加する。この研究の部分的組み合わせ全体が、この手法でシステムデータベースに保存されて、後に臓器の標準的特徴に基づく患者特有画像を再現する画像ジェネレータステーション（Ｉｍａｇｅ Ｇｅｎｅｒａｔｏｒ Ｓｔａｔｉｏｎ）３７に転送される。必要なレンダリングデータが得られたら、画像ジェネレータステーション３７のレンダリングプラットフォームが、画像に適用される。このため所有権付きの画像ジェネレータアルゴリズムが、視覚化ツールキット（Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｔｏｏｌ Ｋｉｔ）と統合される（フライトＩＧなど；現実的な画像ジェネレータ−ＲＩＧに関する別の項目にある特色を参照されたい）
【0036】
ＩＧは、視覚モデルに割り付けられ、ＲＩＧの区分に更に詳述された、付影、テクスチャ、および材料特性などの微細なキューを送達す独特の性質を有する。ＩＧがそれらの特色を利用することにより現実的で全没入型環境を生成するだけでなく、厳しい実時間拘束の下で多量の視覚データベースモデルを処理することもできる。ＤＩＳアーキテクチャと「エンティティー」設計との組み合わせにより可能になるため、ネットワークトラフィックが最小限に抑えられ、ピアツーピアノードで高効率の実時間システムが作成される。
【0037】
患者特有の画像が、有効にレンダリングされた後、適切なシミュレーションを作成するために、様々な物理演算ライブラリが加えられる。脳組織の押圧および用手操作は、入手可能なライブラリのＯｐｅｎＴｉｓｓｕｅ（または同等の）コレクションなどのモデリングプラットフォーム内で具現化される広範囲の研究を利用してシミュレートされる。例えばＯｐｅｎＴｉｓｓｕｅは、例えば三次元形状のボリュメトリックシェルおよび他の複雑な挙動をモデル化するライブラリのオープンソースコレクションである。カスタマイズされたライブラリを、使用のために開発することもできる。例えば、緊張した脳組織の機械的性質の調査から得られた脳組織の物理学的および機械学的性質の特殊性を利用することができる。動物脳試料の機械的操作の数学モデルを提供する実験論文が、入手可能である。シミュレートされた手術器具とシミュレートされた組織との動的および現実的インタラクションは、２０１２年３月３０日に出願された同時係属の特許出願ＰＣＴ／ＵＳ１２／３１５１４号および２０１０年１０月１９日に出願された米国特許第８，３１１，７９１号（参照により本明細書に組み入れられる）に記載されたアルゴリズムおよびアプローチで実行されている。その研究では、様々なツールおよび組織タイプを検査して、特に手術のシミュレーションを実行するために、現実的なシミュレーションを作成している。
【0038】
例示的サージカルシアターのソフトウエアコードは、Ｃ＋＋などの商業的環境に記載され、そのコードは、ウィンドウズ（登録商標）オペレーティングシステムのＬｉｎｕｘ（登録商標）システム、または互換性のあるシステムで実施されるように設計されている。コーディングの開発プロセスでは、コードの実時間実行およびコード効率に重点が置かれているが、それらは全て待機時間を最小限に抑えながら、実時間システムのパフォーマンスを維持することを目的としている。
【0039】
画像ジェネレータ（３７）内に配置された視覚システムドライバーは、ＯｐｅｎＧＬまたはその同等物などのオプティマイザー環境と共に設計され、要求された高いモデル忠実性を維持しながら高性能のレンダリングおよび大きなモデルとのインタラクションを可能にして、クロスプラットフォーム環境において高性能を維持しながら細部に注意を払うことができる。
【0040】
計算効率の目的のために、視覚モデルのエンティティーのそれぞれは、複数のレベルオブディテイル（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌｓ）（ＬＯＤ）表現を有し；高いＬＯＤは、外科医が高い解像度を必要とするシミュレーションシーンの領域で提示され、低いＬＯＤは、外科医が即座に関心またはインタラクションを有さないシミュレーションシーンの領域で提示される。例えば組織の視覚モデルは、外科医インタラクションの周辺領域では高いＬＯＤで提示され、外科医が即座にインタラクションを有さない領域では低いＬＯＤで提示される。ＬＯＤは、動的に適合することができ、手術器具を特定領域に向けるなどの外科医の行動を、視覚モデルの特定区分についてのＬＯＤの動的配分のためのＬＯＤ最適化アルゴリズムにより利用することができる。
【0041】
典型的なシステムのコンピュータは、柔軟性および成長能力をもたらすマルチプルコア（マルチプルプロセッサ）を有するＰＣである。コンピュータシステムは、ランダムアクセスメモリ、イーサネット（登録商標）ポート、システムディスク、およびデータディスクを含む。
【0042】
サージカルシアターの妥当性検証（画像品質、現実性、画像コントローラおよび操作）のために、古参の外科医の技術および経験が利用される。外科医が、特定の手術処置を、膨大な神経手術経験と、既に手術を終えていてサージカルシアターでシミュレートされている特定の症例と、に比較しながら実践することにより、システムを評価するために利用される。
【0043】
図４のサージカルシアターのブロック図は、生データをセグメント化する（軟組織、血管などを同定するため）プロセスを通してスキャンされた画像ＤＩＣＯＭ ４１の生データからプロセスの機能および流れを記載している（図３の実際のネットワーク接続と対比させて）。その後、画像ジェネレータは、各セグメントの視覚表示を割り付けて（陰影、テクスチャなど）、この画像をＤＩＡ ４４ネットワークを介してプロジェクションインターフェース４６およびホスト４５に接続し、外科医インターフェース（Ｓｅｒｇｅｏｎ Ｉｎｔｅｒｆａｃｅ）４７を通して接続された外科医の行動と、機械的性質と、ホストが含む他のモデリングと、により画像ジェネレータ４３をアップデートすれば、全てが、各シミュレーションサイクルの間にホストがＩＧ４３に送信する新しい状態を反映することになる。
【0044】
全てのメッセージが通過する中央サーバーを排除することにより、ＳＴ−ＤＩＳは、１つのシミュレータ（コンピュータ）が重要な情報を別のシミュレータ（コンピュータ）に送信する際のタイムラグを劇的に減少させる。待機時間として知られるこのタイムラグは、過度に大きければ現実性と、それに応じ、ネットワーク化されたシミュレータの有効性を大きく低下させる可能性がある。有効な分散型シミュレーションは、新しい状態／イベントがシミュレートされたエンティティーについて起こる時間から、その状態／イベントが反応しなければならない別のエンティティーにより認知される時間までの非常に短い待機時間に依存する。トレーニングデバイスにより導入された任意の遅延は、オペレータ（例えば、外科医）に負の強化をもたらす。
【0045】
通信アーキテクシャ（ＩＥＥＥ １２７８．２）の推奨される実践法に従えば、潜在的通信構造は、実時間でシミュレートされたエンティティーの間でインタラクションを綿密に連携するために、パケット交換の待機時間が１００ｍｓ以下になるよう支援しなければならない（例えば、空中戦で高性能航空機をシミュレートするか、または外科医が実践する脳の手術をシミュレートする）。この要件は、長年にわたりヒューマン・イン・ザ・ループ（Ｈｕｍａｎ−Ｉｎ−Ｔｈｅ−Ｌｏｏｐ）（ＨＩＴＬ）フライトシミュレータデザインの基礎をなしてきたヒトの反応時間に基づいている。
【0046】
ＳＴ−ＤＩＳシステム内では、仮想世界が、誘発するイベントにより互いにインタラクトする一組の「エンティティー」（これまで記載された）としてモデル化される。エンティティーは、「組織エンティティー」のサブグループを作成する組織、特定の特徴（組織の機械的性質など）など、シミュレートされたシナリオにおける従属要素である。別のエンティティーは、例えば血管などであってもよい。各エンティティーは、分散的手法で（異なるシミュレータ／コンピュータなどで）動作する複数のサブエンティティーを有することができる。総括すると、それらのサブエンティティーは、一緒になって完全なエンティティーモデルを作成する。それらのエンティティーは、例えばエンティティーの視覚的特色および特徴を保持およびシミュレートする視覚サブエンティティー、またはエンティティーの機械的特色および特徴を保持およびシミュレートする機械的性質サブエンティティーである。サブエンティティーモデルコードのそれぞれが、ＰＣなどの異なるコンピュータ（またはコンピュータ群）で動作することができ、それらは、ＳＴ−ＤＩＳネットワークを通して互いに、そして他のエンティティーと通信を行う。シミュレータノードは、独立して、シミュレーションの仮想世界で１つ以上のエンティティー（またはサブエンティティー）の活動をシミュレートし、ＳＴ−ＤＩＳネットワーク上のメッセージを介して他のシミュレータノードに該当する属性および行動を報告する。ネットワーク上の他のシミュレータノードは、ネットワークメッセージの「リスニング」を担い、どれがそれに該当するかを（それらがシミュレートしているエンティティーに基づき）決定し、適宜、応答する。
【0047】
先に記載されたサージカルシアターアーキテクチャは、この分散型シミュレーションコンセプトに基づいており、そのため直接的なヒトの感覚により外科医（複数可）が臓器（複数可）とインタラクトする直視下手術／従来の手術のリハーサルに不可欠の没入型シナリオを作成するための必須要件である最高忠実性（ｐｒｅｍｉｅｒ ｆｉｄｅｌｉｔｙ）を送達する先駆的で独占的な能力を与える。各エンティティーは、従属要素（視覚的性質、機械的性質など）に分割され、それらの従属要素／エンティティーのシミュレーションコードのそれぞれが、別個のコンピュータで動作するため、これが、フライトシミュレーション（Ｆｌｉｇｈｔ Ｓｉｍｕｌａｔｉｏｎ）テクノロジーのコア能力である実時間性能（例えば、１００ミリ秒未満の待機時間）を維持しながら、「実時間」拘束の下で数テラバイトの情報を取り扱うと同時にコンピュータの能力と、それによる独特で卓越した最高忠実性の生成、微細なキュー、および計算能力を最大にすることができる。
【0048】
サージカルシアターは、３Ｄ ＭＲＩおよびＣＴの患者特有画像を分析して、特定画像の解剖学的構造および特色を表すコンピュータ化されたセグメント化モジュールを作成する視覚レンダリングエンジンを促進した。医療市場は、膨大な数の先進的ＤＩＣＯＭビューワを有するが、取込み画像または動画と同様に見事なことは、それらは、決められた時間内での一定のスナップショットトということである。サージカルシアターは、既存の３Ｄ変換アルゴリズムを受けて、物理的および機械的性質に基づくヒト組織および構造に特有の性質を加えて、外科医が行った行動に従い患者特有のＣＴ／ＭＲＩ画像を再形成するモデルを用いて、画像の各ピクセルの機械的性質をシミュレートするモデルおよび現実的な視覚特性モデルに基づいて、「生きた」画像を作成する。この患者に基づくモデルが、仮想世界で移動を設定されると、一組の仮想手術器具（動脈瘤用クリップおよびクリップアプライヤー、インプラント、例えば関節インプラントまたは他のデバイスを含み得る）が導入されて、現実の手術での組織操作と同様のモデルを外科医に操作させる（押圧、切断、締付などを行わせる）。こうしてサージカルシアターは、ユーザに直観的経験を積ませる。
【0049】
画像ジェネレータでは、例示的実施形態のサージカルシアターで、所有権付きのフライトシミュレーション画像ジェネレータ（Ｆｌｉｇｈｔ Ｓｉｍｕｌａｔｉｏｎ Ｉｍａｇｅ Ｇｅｎｅｒａｔｏｒ）アルゴリズムを、可視化ツールキット（ＶＴＫ）などの可視化コードと統合する。以下の区分に詳述される通り、サージカルシアターの現実的画像ジェネレータは、視覚モデルに割り付けられる付影、テクスチャおよび機械的性質などの微細なキューを送達する特色を有する。
【0050】
現実的な視覚サブシステムこの区分では、衛星画像を現実的な三次元画像にレンダリングすることが可能なフライトシミュレーション画像ジェネレータの改良であるサージカルシアターの「現実的視覚」セグメント、サージカルシアターの現実的画像ジェネレータ（ＲＩＧ）に変換してＣＴ／ＭＲＩ ＤＩＣＯＭ画像を取扱い、患者特有の現実的活動的なＣＴ／ＭＲＩ画像に実時間レンダリングするモデル、および外科医が直接的な人の間隔により臓器とインタラクトする直視下手術／従来の手術に不可欠なモデル、に焦点を当てる。
【0051】
ヒューマンファクターエンジニアリングの分野で、没入型シミュレーションシステムの作製における視覚システムの使用は重要であり；複数の研究で、高い割合での没入が構築され、オペレータ（例えば、パイロットまたは外科医）がインタラクトする視覚システムの忠実性および現実性のレベルに寄与されることが実証されている。忠実性の高い視覚システムでリハーサルするオペレータが、忠実性の低い群よりも有意に高レベルで、信頼および認知状態の自己報告をはじめとするメモリータスクを完了したことを、複数の知見が示している。正しい「覚える」という応答と「知る」という応答との間にある有意な正の相関、および信頼性スコアが、忠実性の高い現実的シミュレーションを利用した場合に見出される。
【0052】
先に概説された通り、サージカルシアターは、手術部位および組織／構造周辺の現実的な「本物そっくりの」デジタルレンディションを作成する。このデジタルレンディションは、患者特有で「本物そっくり」であるため、それは、手術部位の近似的なレンディションを作成する一般画像を使用する他のシミュレータ、または外科医／オペレータがカメラ（外科医が目の直接の感覚で生物体とインタラクトする直視下手術／従来の手術でありのままに直接見た場合の視覚的特色とは非常に異なり、カメラの仕様により画定および限定される独自の視覚特性を有する）と生物体をインターフェースする内視鏡処置、血管処置および類似の処置などの非侵襲的処置をシミュレートする他のシステムとは別のサージカルシアターを設定する。しかし、生きた生体組織の性質が複雑であることから、現実的な「本物そっくりの」レンダリングでは、克服可能な課題になる。そのように高度の現実性を生成するために、サージカルシアターは、手術部位の患者特有画像が周囲組織と共に現実的に表示され、このため多用途に操作することができる視覚システムである、リアル画像ジェネレータ（Ｒｅａｌ Ｉｍａｇｅ Ｇｅｎｅｒａｔｏｒ）アドオン（ＲＩＧ）を含む。
【0053】
図５は、ＲＩＧアーキテクチャのブロック図を示す。データベースのボックス − 患者特有のＣＴ／ＭＲＩ、３Ｄおよびセグメント化画像に基づくメッシュモジュールの回収、画像の前処理、平滑化、マスキング、拡大縮小。グラフィッククリエータのボックス − グラフィックスカードへのインターフェース。ＳＴ−ＤＩＳインターフェースのボックス − ＳＴ−ＤＩＳネットワークへのインターフェース。図は、視覚システムの階層図を示す。該システムは、システムコンポーネント全てを運営および管理するエグゼクティブプログラムを含み、外科医／オペレータによる従属要素の状態、およびＤＩＳネットワーク（５０２）を通して読み取る従属要素全ての状態をアップデートする。オペレーティング／エグゼクティブエンジン（Ｏｐｅｒａｔｉｎｇ／Ｅｘｅｃｕｔｉｖｅ Ｅｎｇｉｎｅ）（５０１）は、システムの要素全てが同じデータベース（例えば、外科医が選ぶツールの組み合わせ）で運用しているような方法で、ソフトウエアおよびハードウエア要素全ての初期化を担う。シナリオが始動したら、オペレーティング／エグゼクティブエンジン（５０２）は、サイクルおよびタイミングの制御を実行し、各要素を管理するタスクを実行して、システムの従属要素の全てが他の従属要素からの情報を受け取ってシステム全体に所定の時間フレーム内のシミュレーションサイクルを完了させるような方法で、計画された時間フレーム内で計算サイクルを完了する。例えば、ある行動が外科医により起こされて、ＤＩＳネットワーク（５０２）により伝送されると、フィーチャージェネレータ（Ｆｅａｔｕｒｅ Ｇｅｎｅｒａｔｏｒ）（５０４）が、機械的性質アルゴリズムにより計算されたこの行動の関連部分／この行動の結果を読み取り、グラフィッククリエータ（Ｇｒａｐｈｉｃ Ｃｒｅａｔｏｒ）（５０３）が、この行動により画像を変化させて（例えば、外科医により押圧された血管を移動させて）、その後、この変化の結果として画像に加えられる必要のある変化を計算し、例えば血管の配置および方向の変化により得られた陰影を作成する。このサイクルは、各サイクルがミリ秒のフレーム時間内に完了されて外科医／オペレータに実時間の現実的なキューを受け取らせるような方法で、周期的手法でオペレーティング／エグゼクティブエンジン（５０１）により迅速に実行され、連続して管理される。
【0054】
ＳＲＰの概説：ＳＲＰでは、手術部位および組織／構造周辺の患者特有ＤＩＣＯＭデータを動的でインタラクティブな３Ｄモデルに変換することによる脳の動脈瘤クリッピング手術を計画して、物理的にリハーサルするために、神経手術用の現実的な「本物そっくりの」全没入型実習が作成される。既存の手術の準備用デバイスとは異なり、ＳＲＰは、（ｉ）患者特有の組織の外観、感触および機械的挙動の微細なキュー、（ii）患者特有の解剖学的構造の３Ｄディスプレイ、（iii）３Ｄ組織モデルの実時間手術と同様の操作、そして将来的には（iv）「全没入型」実習のための外科医へのハプティックフィードバック、を提供することができる。生きた生体組織の構成および機械的性質が複雑であるため、そのような現実的で「本物そっくりの」レンディションを開発するには、以下のサブデベロップメント（ｓｕｂ−ｄｅｖｅｌｏｐｍｅｎｔ）が求められる（図６）：ビルトインのセグメント化関心体積（Ｖｏｌｕｍｅ ｏｆ Ｉｎｔｅｒｅｓｔ）（ＶＯＩ）モデルジェネレータ（Ｍｏｄｅｌ Ｇｅｎｅｒａｔｏｒ）（６１１）を有するＤＩＣＯＭ画像体積リーダー（ＤＩＣＯＭ Ｉｍａｇｅ Ｖｏｌｕｍｅ Ｒｅａｄｅｒ）（６０２）およびビューワ、（ii）３Ｄ画像ジェネレータ（ＩＧ）（６０４）、（iii）実時間軟組織変形エンジン（Ｒｅａｌ Ｔｉｍｅ Ｓｏｆｔ Ｔｉｓｓｕｅ Ｄｅｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅ）（ＲＴＴＤＥ）（６１２）、（iv）手術の分散型インタラクティブシミュレーション（ＳＤＩＳ）ネットワーク（６１０）、（ｖ）シミュレーションエグゼクティブアプリケーション（Ｓｉｍｕｌａｔｉｏｎ Ｅｘｅｃｕｔｉｖｅ Ａｐｐｌｉｃａｔｉｏｎ）（ＳｉｍＥｘｅｃ）ソフトウエア（６０１）、（vi）外科医ユーザーインターフェース（Ｓｕｒｇｅｏｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）（ＳＵＩ）（６０５）、および（vii）ユーザーインタープリターエンジン（Ｕｓｅｒ Ｉｎｔｅｒｐｒｅｔｅｒ Ｅｎｇｉｎｅ）（ＵＩＩＥ）（６１３）、（vi）ツールライブラリの心拍数、血流などの視覚用ＶｉｓＣＨａｓＤＢデータベース。
【0055】
一組の２Ｄ患者特有ＤＩＣＯＭデータの、正確な患者特有組織属性を有するセグメント化３Ｄ ＶＯＩ モデルへの変換は、ＤＩＣＯＭボリュームビューワ（６１１）（サージカルシアターＬＬＣ（Ｓｕｒｇｉｃａｌ Ｔｈｅａｔｅｒ ＬＬＣ）により開発された所有権付きのソフトウエア）を用いて実施される。最初、患者特有のＤＩＣＯＭデータセットが、３Ｄデータセット（６０３）に適合された数学アルゴリズムを用いて画像増強ステージを受ける。この増強ステージは、異なる組織タイプ間で識別させる能力に影響を及ぼさずに、画像の平滑性を上昇させて画像ノイズを減少させる。
【0056】
次に、ＤＩＣＯＭボリュームビューワ（６０２）内のマルチパネルビューウィンドウを用いて、外科医が、ＶＯＩ、即ち動脈瘤および周辺の欠陥および構造を含む手術部位を画定する。次のステップは、組織のセグメント化であり、即ち最初の組織特有の強度範囲が、ＤＩＣＯＭボリュームビューワのトップビュー（Ｔｏｐ Ｖｉｅｗ）ウィンドウを用いて組織に割り付けられて、高解像度、高品質でカスタマイズ可能なデータ構造を有する３Ｄ ＶＯＩモデル、および組織特有のセグメント化が得られる。３Ｄ ＶＯＩモデルは、患者特有のレポジトリに保存され、以下のような操作サイクルの間にアクセスされる：（Ｉ）３Ｄ画像ジェネレータ（ＩＧ）（６０４）がグラフィックインターフェースを通してモデルの高忠実性視覚表示を外科医に提示する：（II）外科医は、サージカルユーザーインターフェース（ＳＵＩ）（６０５）の内部の現実的な手術器具を用いてモデルを操作する；（III）ユーザーインターフェースインタープリターエンジン（ＵＩＩＥ）が、外科医の操作を一組の数学的値に翻訳し、他の患者特有入力（例えば、心拍数、血流など）と共に、実時間組織変形エンジン（ＲＴＴＤＥ）（６１２）によりモデルに適用される。モデルが変化すると、ＩＧ（６０４）が、それらの変化を外科医に実時間で反映させ、こうして１つのシミュレーションサイクルが完了する。なめらかで連続した「本物そっくりの」ＳＲＰフローは、ＩＧにより１秒あたり６０回以上、およびＲＴＴＤＥ（６１２）により１秒あたり２０回の反復サイクルにより実現される。
【0057】
ＳＤＩＳに基づくアーキテクチャＳＤＩＳに基づくアーキテクチャは、フライトシミュレーションテクノロジーのコア能力である実時間性能を維持しながら、厳密な「実時間」拘束の下で多量の情報を取り扱うと同時に、最高忠実性、微細なキューおよび計算能力についての独特の卓越した可能性を促す。ＳＤＩＳネットワークの特色の１つが、中央サーバーまたはプロセッサが全く存在せず、各シミュレーションノード（ノードは、画像ジェネレータ、ユーザーインターフェース、機械的モデリングコンピュータなどであってもよい）が、共通の仮想環境、つまり血管、組織およびシミュレーションノードのそれぞれで受け留められ維持される他のモデルの独自コピーを維持し；そのようなモデルのそれぞれが別個の「エンティティー」として取り扱われること、である。このアーキテクチャは、厳密な実時間拘束の下で同調的手法で複数のＰＣを動作させて、シミュレートされたシーンの最高忠実性を送達するＳＲＰの先駆的で独特の能力を実現することができる。これは、外科医が直接のヒトの感覚により臓器とインタラクトする直視下手術／従来の手術のリハーサルを可能にする没入型シナリオを作成する。
【0058】
手術器具および他のエンティティーが外科医により選択されると、それらは仮想手術シーンに統合されて、現実的な視覚的特色と、選択された物品の各１つに適用される機械的性質および操作的性質と、を含むシミュレートされたシナリオの統合された要素に変わり、例えばはさみは、現実の機械的性質を有し、現実のはさみが切断するように切断し、動脈瘤用クリップは、血管に配置されると、血流を遮断する。
【0059】
ＳＲＰシステムは、構成、シミュレートされるのに必要な体積、および特有の適用例に応じて、以下のユニット、またはユニットのサブパートの組み合わせにより構成される。これらは、図４に示すサージカルシアターシステムのものと類似しているが、この区分で記載される通り改良されている。従属要素は、複数のＰＣ内の複数の分離された計算プロセッサユニットで実行することができる（図７）。
【0060】
外科医が働くワークステーションは、ユーザーインターフェース１０１である。画像ジェネレータ１０２は、サージカルシアター内の類似デバイスと同様に動作する。シミュレーションエグゼクティブマネージャ（Ｓｉｍｕｌａｔｉｏｎ Ｅｘｅｃｕｔｉｖｅ Ｍａｎａｇｅｒ）１０３ − システムの実時間動作を同調して、モデリングプログラムを実行する。ＳＴＤＥワークステーション（ＳＴＤＥ Ｗｏｒｋｓｔａｔｉｏｎ）１０４ − このＰＣは、ＳＴＤＥ（軟組織変形エンジン）を取り扱う。アーカイブサーバー１０５ − このステーションは、関連のファイルおよびデータの全てを受け取り、将来のデブリーフィングおよびデータ回収のための処置を記録することができ、このＰＣは、ネットワークドメインコントローラとしても働く。ＩＯＳ（インストラクターオペレーションステーション（Ｉｎｓｔｒｕｃｔｏｒ Ｏｐｅｒａｔｉｏｎ Ｓｔａｔｉｏｎ））１０６は、トレーニングセッションをモニタリングおよび制御し、インストラクターにイベントを「注入」させるためのものである。それに司会者としても働き、トレーニングセッション全体を活性化する。１つ以上のユーザーインターフェース１０７が、以下に記載される通り、ハンズフリー制御のため、そして／または現実の手術器具を追跡するために、提供される。
【0061】
これらの計算プロセッサユニットのそれぞれが、ＳＤＩＳを介して、ネットワークをネットワークスイッチ（図示しない）に接続する。
【0062】
サージカルインターフェース先に、そして関連出願において議論された通り、アップデートされたサージカルシアターは、複数の形式（例えば、デジタル・イメージング・アンド・コミュニケーション・イン・メディスン−ＤＩＣＯＭ）のシーンファイル（例えば、医用スキャンファイル）からインタラクティブ画像／シーンへの画像のハイブリッドレンダリング（体積および表面）のための方法を提供する。アウトプット画像／シーンは、二次元または三次元にすることができ、幾何学的配置、ビューポイント、テクスチャ、照光、陰影、および濃淡の情報、ならびに仮想シーンの説明の他の要素を含む。図８は、本明細書の以下に議論される具体的詳細と共にアップレートされた特色を示すフローチャートを示す。
【0063】
インタラクティブ画像／シーンは、体積測定用のレンダリング要素と、表面レンダリング要素の両方の要素から構成される。更に各要素、体積または表面は、体積（図９に示された画像の１１２参照）および／または表面の要素（図９の１１１参照）である１つ以上の要素とインタラクトする。
【0064】
要素間のインタラクションとしては、非限定的に、物理的インタラクション、例えば圧力、要素の材料（弾性、粘着性など）などの物理的条件およびコリジョン角などのコリジョン条件および要素の方向により要素の実際の物理的移動を複製する要素の移動および／または再形成と共に生じる要素間のインタラクションを表すために実行されるコリジョンモデルなどの物理的インタラクションが挙げられる。
【0065】
レンダリング処理の方程式は、照明装置の影および付影現象の全てを説明しており、視覚要素全てを組み入れた最終的なアウトプット流れを生成する。
【0066】
サージカルシアターのレンダリングソフトウエアは、アウトプット画像／シーン／モデルの現実的な外観を維持しながら要素間の物理的インタラクションを反映し、同時に実時間でレンダリング方程式を解く。
【0067】
例えば図９において、クリップ１１２は、血管（体積レンダリング要素）を圧迫して、血管１１１の再形成をもたらす。ユーザーは、以下に記載されるマウスコントローラ、タッチスクリーン、３Ｄもしくは６Ｄコントローラ、またはハンズフリーコントローラのいずれかによりインタラクションを制御する。
【0068】
ハンズフリーコントローラまたはタッチスクリーン：ユーザーの身体要素を実時間で取り込み、認識するカメラを基にしたデバイスを統合することにより（ＭｉｃｒｏｓｏｆｔによるＫｉｎｅｃｔシステム（例えば、ｗｗｗ．ｘｂｏｘ．ｃｏｍ／ｅｎ−ＵＳ／ｋｉｎｅｃｔ／ｋｉｎｅｃｔ−ｅｆｆｅｃｔ参照）と類似のテクノロジー、および別の実施例であるＬｅａｐ ＭｏｔｉｏｎによるＬｅａｐテクノロジー（ｌｉｖｅ．ｌｅａｐｍｏｔｉｏｎ．ｃｏｍ／ａｂｏｕｔ．ｈｔｍｌ参照）を利用し得る手法で、両者とも参照により本明細書に組み入れられる。図７の項目１０７参照）、またはタッチスクリーンもしくは任意の他のインターフェースにより、ユーザーは、所定の方法により手を振り（ｗａｉｖｉｎｇ）、画像／シーンを制御することにより、画像／シーンとインターフェースおよびインタラクトすることができる（図１０Ａおよび１０Ｂ）。ユーザーは、中でも、以下の行動を行うことができる：画像／シーンを回転、運動および移動させる（図１０Ａ〜図１０Ｂに示された手の動きと、画像１２１および１２２のそれぞれ移動および再配向を参照）
ズームインおよびズームアウトする
ライブラリから要素を選択して、それを画像／シーンに追加する
画像／シーン内の要素をドラッグおよびドロップする
１つ以上の要素をコマンドして、１つ以上の他の要素とインタラクトする、例えば動脈瘤用クリップを配置させて、それを動脈瘤上で閉じさせるようコマンドし、その後、「閉じる」をコマンドして、クリップ（表面要素）を動脈瘤（体積要素）とインタラクトさせて、動脈瘤の物理的圧搾およびクリップの運動（開いたブレードから閉じたブレードへ）を行う
要素を選択し、それを画像／シーンから取り出す
画像／シーンが複数のスライスで積層／構築されている場合（ＣＴ／ＭＲＩなど）、スライス間でスクロールする
シーンの対象物を選択し、その後、それを所望の３Ｄ位置にドラッグすることにより、対象物を再配置する。これにより、非限定的にツールと組織のインタラクション（図１１においてドラッグされている具１３２の場合）またはシーンの測定を実施すること（測定マーカ１３１をドラッグする場合、図１１参照）が可能になる。
【0069】
「ペイント付組織」概説：スキャナー（ＭＲＩ、ＣＴなど）から作成された医用画像は、スキャンされた解剖学的構造に関する物理的、機能的構造または他の情報を提供する。様々な理由、中でもスキャナーの制約により、解剖学的構造で、得られた画像において明瞭に見ることができるのは、全てではない。この現象／限定についての２つの例は、以下の通りである：
１−ＭＲでは、スキャンがいつも可視であるとは限らない。具体的例は、微小血管圧迫の処置に対する脳スキャンの画像に見出される場合があり、そこでは脳血管は神経に接触していて、神経への物理的圧力を生じており、それらのスキャンでは、血管がスキャンされた画像で可視であることが多いが、神経は観察できない。
２−ＭＲ、ＣＴ、または他のスキャンでは、解剖学的構造の一部が可視の場合があるが、様々な理由、とりわけスキャナーの制約により、解剖学的構造の一部しか可視にならない。一例は、ＣＴまたはＭＲＩスキャンの画像であり、血管構造の一部が可視であり、他の部分が可視でない場合がある。この例では、血管の画像は、歪曲し、そして／または完全なものにならない。
【0070】
「組織ペインティング」−開発されたアルゴリズムおよびソフトウエアツールは、任意の幾何学的形状またはフリーハンド描写の形状（例えば、線、円、病院、ボールなど）を二次元または三次元で描写するためのインターフェースをユーザーに提供する。得られたペイント用インターフェースは、ユーザーに、線または曲面の壁、および三次元形状の壁の太さを決定させる。ユーザーは、形状、色、透明性などの視覚的特色を決定することもできる。新たに作成された形状を、スキャンの一部にさせて（マジック組織（Ｍａｇｉｃ Ｔｉｓｓｕｅ））スキャン画像と統合させるような方法で、新しい形状を医用画像内に作成させる。例えばユーザーは、神経を表す線を引くことができる。この神経は、ユーザーが選択した長さ、形状、色、透明性、配置および方向で作成することができる。ユーザーは、スキャン画像内で観察された既存の解剖学的構造の付近の既存の解剖学的構造にそれを「連結して」、該形状を配置させる。ユーザーは、新たに描写された形状を特有の組織タイプにも割り付ける。この新しい形状が作成されたら、レンダリングして、三次元解剖学的モデルに加える。新しい形状をレンダリングして、体積のあるモデルとして、またはマッシュ（ｍａｓｈ）／多角形モデルとして再構成させることができる。図１４Ａおよび１４Ｂは、それぞれ１８１、１８２の組織ペインティングの例を示す。
【0071】
「マジック組織ワンド（Ｍａｇｉｃ Ｔｉｓｓｕｅ Ｗａｎｄ）」−様々な理由、とりわけスキャナーの制約により、解剖学的構造で得られた画像内で可視になるのは、全てではない。多くの場合、解剖学的構造（例えば、血管）が、画像に一部しか現れず、構造全体が可視化されるわけではなく；解剖学的構造の映っていない部分が生じ、解剖学的構造が、全体として連続したもの／完全なものにならない。解剖学的構造を完成させて画像を再構成し、より完全な解剖学的構造を作成するアルゴリズムおよびソフトウエアツールが、提供される。再構成アルゴリズムは、解剖学的構造の映っていない部分を完成させるために、解剖学的な幾何学計算、およびスキャン画像上で実施される計算を利用して、スキャン画像内の既存の「暗示」、「キュー」および他のサインに基づいて、解剖学的構造を分析および再生成する。これは、ハウンスフィールド単位（ＨＵ）で類似のボクセルの幾何分布および球面分布、ならびに解剖学的構造の映っていない部分を分析および再構成する分布のベクトルの作成を含む（ＨＵのスケールは、元の線減衰係数測定値を、標準の圧力および温度（ＳＴＰ）の蒸留水の放射線濃度を０ハウンスフィールド単位（ＨＵ）と定義して、例えばＳＴＰでの空気の放射線濃度を−１０００ＨＵと定義した場合の測定値に線形変換したものである）。
【0072】
マジック組織ワンドアルゴリズムは、補足的方法で球面分布ボクセルに結合しており、即ち、ボクセルは、一緒に加えることで解剖学的構造がより完全になるならば（例えば、全体的な／完全な解剖学的構造に連続し、結合するならば。図１２Ｂ５の項目１５１、および図１３Ｂの項目１６１を参照）、元の不完全な解剖学的構造に加えられる（図１２Ｂの項目１５２、および図１３Ａの項目１６２を参照）。例えば組織ワンドアルゴリズムが適用された後、画像の特定部分の可視でない血管は、完全なものになり、より連続した解剖学的構造として現れる（例えば、図１３Ｂの項目１６１を参照）。
【0073】
体積および／またはマッシュ／多角形の再構成−組織ペイントおよびマジック組織ワンドアルゴリズムの両方で作成されて、スキャン画像と統合された解剖学的構造は、任意の実践的判断のために、画像の統合された部分となる。例えば、元々、部分的で完成された解剖学的構造である血管は、マジック組織ペイントおよび組織ワンドアルゴリズムを適用した後に、本来のスキャン画像に新たに作成された構造を合わせた構造を有する完全な解剖学的構造になる。更に制御（チェックボックス）により、新たに作成された構造を選択し、オン（新たに作成された構造を示す）とオフ（新たに作成された構造を隠す）とで切り替えることが可能になる。加えて、体積および／またはマッシュ／多角形のレンダリング／再構成において、新たに作成された構造をレンダリングすることを選択するオプションが設けられている。
【0074】
標識された領域（Ｍａｒｋｅｄ Ｒｅｇｉｏｎ）−開発されたアルゴリズムおよびソフトウエアツールは、任意の幾何学的形状またはフリーハンド描写の形状（例えば、線、円、病院、ボールなど）を二次元または三次元で描写するためのインターフェースをユーザーに提供する。前記幾何学的形状（二次元または三次元）で包含／封入／取得された領域は、「標識された領域」と定義される。そのためユーザーは、任意の視覚的特色および任意の機械的性質を定義して、「標識された領域」に割り付ける能力を有する。
【0075】
視覚的特色；色／透明性／濃淡−新たに作成された構造、またはマジック組織ペイントと組織ワンドアルゴリズムと標識領域のいずれかを用いて、利用可能な色のライブラリから選択され得る色と、１〜１００の任意のレベルで選択され得る透明性と、の任意の選択された視覚的特色で表すことができる。更に、仮想光源の特徴を調整することにより、新たに作成された構造の濃淡および付影の特徴を改良することができる。仮想光源の特徴としては、空間における球面配置、光の色、光の強さ、縦横比、仮想光源の幾何学的形状などが挙げられる。
【0076】
機械的性質−新たに作成された構造、またはマジック組織ペイントと組織ワンドアルゴリズムと標識領域のいずれかを用いて、機械的性質の特徴で割り付けることができる。即ち、特有の組織の機械的モデルを、新たに作成された構造に結び付けることができ、それゆえ、新たに作成された構造は、そのような機械的性質を本来備えており、それらの機械的性質に従って動的および静的に反応する。例えば、「軟組織の」機械的性質は、新たに作成された構造に割り付けられると、それが軟組織に従って反応する。例えばそれが仮想手術機器により押圧される場合、加えられた力および組織の機械的モデルに従って圧搾および再形成する。更に新たに作成された構造と他の新たに作成された構造とのインタラクション、本来通りスキャニングされた構造と新たに作成された構造とのインタラクション、および新たに作成された構造と本来通りスキャニングされた構造とのインタラクションは、継ぎ目がない。任意の解剖学的構造の機械的性質係数（剛性、弾性など）は、テイラーメイドの機械的挙動を作成するように、ユーザーが調整することができる。
【0077】
実時間追跡およびフィードバック（Ｒｅａｌ Ｔｉｍｅ Ｔｒａｃｋｉｎｇ ａｎｄ Ｆｅｅｄｂａｃｋ）−手術の際に実際の手術機器を追跡するシステム。追跡システムは、手術機器の配置、ならびに実際の解剖学的構造（例えば、患者の頭部の具体的箇所）の配向および配置に対する空間的整合性を転送する。機器の配置および配向はその後、手術のシミュレーティングシステムに送信される。フィードバックは、患者特有のシミュレーション、ならびに機器の配置および配向に基づき、外科医に提供される。そのようなフィードバックの一例として、システムが外科医が解剖している組織のタイプについて外科医にフィードバックを行い、腫瘍の代わりに健常な脳組織を解剖している場合には外科医に警告する、が考えられる。 追加の例として、外科医が実際の解剖学的構造に器具（例えば、実際の患者の動脈瘤に適用された動脈瘤用クリップ）を適用した後、システムは、追跡に基づいた実際の解剖学的構造として堂々と（ｐｒｉｎｃｅｌｙ）配向されたシミュレート画像／モデルを外科医に回転させて、留置されたインプラントの配置および効率を観察および評価することができる
【0078】
実際の機器のこの追跡およびフィードバックは、機器の配置および運動、ならびに患者の特色を追跡するために、ビデオシステムを用いるなど複数の方法で遂行することができる。あるいは（またはビデオ追跡に加えて）、手術機器は、例えばＧＰＳ、加速度計、磁気検出器、または他の配置および運動検出デバイスおよび方法を用いることなどにより、追跡するように改良されてもよい。そのような改良された機器は、例えばワイファイ（ＷｉＦｉ）、ブルートゥース（登録商標）、ＭＩＣＳ、または他の通信方法を用いて、サージカルシアターと通信してもよい。例えば図７のインターフェース１０７を、この特色のために用いることができる。
【0079】
本発明の多くの例示的実施形態は、先に記載された特色の様々な実施形態を通して提供することができる。本発明を、具体的な実施例および実施形態を用いて本明細書の先に記載したが、本発明の意図する範囲を必ずしも逸脱せずに、様々な代替法が用いられ得ること、ならびに均等物が本明細書に記載された要素および／またはステップの代わりに用いられ得ることは、当業者に理解されよう。改良は、本発明の意図する範囲を逸脱せずに、本発明を特定の状況または特定の要件に適合させるために必須となり得る。本発明が本明細書に記載された特定の実施および実施形態に限定されず、特許請求の範囲が、それにより開示された、または開示されていない、または網羅された、全ての新規で非明白な実施形態を網羅する最も広範の合理的解釈を与えられるものとする。