特許 6195713 奥行きセンサーの使用によるアブレーターワークステーションのタッチフリー操作

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6195713

(24)【登録日】2017年8月25日

(45)【発行日】2017年9月13日

(54)【発明の名称】奥行きセンサーの使用によるアブレーターワークステーションのタッチフリー操作

(51)【国際特許分類】

   G06F 3/01 20060101AFI20170904BHJP

   G10L 15/00 20130101ALI20170904BHJP

   G10L 15/28 20130101ALI20170904BHJP

   G06T 7/20 20170101ALI20170904BHJP

【ＦＩ】

   G06F3/01 570

   G10L15/00 200P

   G10L15/28 500

   G06T7/20 300A

【請求項の数】15

【外国語出願】

【全頁数】13

(21)【出願番号】特願2013-2425(P2013-2425)

(22)【出願日】2013年1月10日

(65)【公開番号】特開2013-143149(P2013-143149A)

(43)【公開日】2013年7月22日

【審査請求日】2015年10月22日

(31)【優先権主張番号】13/347,987

(32)【優先日】2012年1月11日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】511099630

【氏名又は名称】バイオセンス・ウエブスター・（イスラエル）・リミテッド

【氏名又は名称原語表記】Ｂｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒ （Ｉｓｒａｅｌ）， Ｌｔｄ．

(74)【代理人】

【識別番号】100088605

【弁理士】

【氏名又は名称】加藤 公延

(74)【代理人】

【識別番号】100130384

【弁理士】

【氏名又は名称】大島 孝文

(72)【発明者】

【氏名】アサフ・マーション

(72)【発明者】

【氏名】アサフ・ゴバリ

(72)【発明者】

【氏名】アンドレス・クラウディオ・アルトマン

(72)【発明者】

【氏名】イツハック・シュワルツ

【審査官】 萩島 豪

(56)【参考文献】

【文献】 国際公開第２００９／１３７６８８（ＷＯ，Ａ２）

【文献】 特開２０１１−２３２９６４（ＪＰ，Ａ）

【文献】 特表２００８−５２９７０７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０２３１５０９（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１１／０３１３７６８（ＵＳ，Ａ１）

【文献】 国際公開第２０１１／１２３６６９（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｔ ７／２０

Ｇ１０Ｌ １５／００

Ｇ１０Ｌ １５／２８

(57)【特許請求の範囲】

【請求項1】

アブレーターワークステーションのタッチフリー操作を行うためのシステムであって、
運動を検出するための奥行きセンサーと、
前記奥行きセンサーから前記検出された運動を受信し、前記検出された運動に基づいてジェスチャーを推測し、第１のフィルタリングを行って前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取るように作動可能なモーションソフトウェアモジュールと、
前記適用可能なジェスチャーを前記アブレーターワークステーション内のクライアントコンピュータにて受信し、第２のフィルタリングを行って前記適用可能なジェスチャーをフィルタリングして、前記２のフィルタリングの結果に基づいたクライアント論理回路にしたがってタスクを実行するように作動可能なクライアントソフトウェアモジュールと、を含み、
前記ジェスチャーの前記第１のフィルタリングが、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定することを含み、
前記適用可能なジェスチャーの前記第２のフィルタリングは、前記モーションソフトウェアモジュールから受信した前記適用可能なジェスチャーが、前記クライアントソフトウェアモジュール内において定義されているジェスチャーか否かを判定することを含み、
前記第１のフィルタリングが、特定の使用者によるジェスチャーのみを許容するように構成されており、前記第１のフィルタリングが、前記ジェスチャーが予測された位置の範囲内にない場合に、顔検出を用いて前記ジェスチャーが前記特定の使用者によって行われたか否かを判定するように構成されている、システム。

【請求項2】

前記タスクが、１又は２以上の電極の出力設定を変更すること、前記１又は２以上の電極について最大許容温度を変更すること、アブレーションモードを変更すること、アブレーションを行う前記１又は２以上の電極を選択すること、及びアブレーションを行う前記１又は２以上の電極を選択解除することの１つである、請求項１に記載のシステム。

【請求項3】

前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも１つであり、前記ジェスチャーが短い履歴に基づいて更に推測される、請求項１に記載のシステム。

【請求項4】

前記検出された運動を前記適用可能なジェスチャーとするためのハードウェアを更に含む、請求項１に記載のシステム。

【請求項5】

前記適用可能なジェスチャーが、顔認識を用いて許可を有すると判定された使用者によって行われる前記検出された運動、及び前記クライアント論理回路にしたがって認識されるジェスチャーの１又は２以上である、請求項１に記載のシステム。

【請求項6】

前記適用可能なジェスチャーを前記クライアントコンピュータにて受信するためのクライアント通信モジュールを更に含む、請求項１に記載のシステム。

【請求項7】

前記クライアントコンピュータが前記適用可能なジェスチャーと共に音声入力に基づいて前記タスクを実行することを可能とするための前記音声入力を提供する音声認識を更に含む、請求項１に記載のシステム。

【請求項8】

アブレーターワークステーションのタッチフリー操作を行うための方法であって、
奥行きセンサーを使用して運動を検出する工程と、
前記検出された運動に基づいてジェスチャーを推測する工程と、
第１のフィルタリングを行って前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取る工程と、
前記アブレーターワークステーション内のクライアントにて前記適用可能なジェスチャーを受信する工程と、
第２のフィルタリングを行って前記適用可能なジェスチャーをフィルタリングして、前記２のフィルタリングの結果に基づいたクライアント論理回路にしたがってタスクを実行する工程と、を含み、
前記第１のフィルタリングを行って前記ジェスチャーをフィルタリングする工程が、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定することを含み、
前記適用可能なジェスチャーの前記第２のフィルタリングは、前記適用可能なジェスチャーが、前記クライアント内において定義されているジェスチャーか否かを判定することを含み、
前記第１のフィルタリングが、特定の使用者によるジェスチャーのみを許容するように構成されており、前記第１のフィルタリングが、前記ジェスチャーが予測された位置の範囲内にない場合に、顔検出を用いて前記ジェスチャーが前記特定の使用者によって行われたか否かを判定するように構成されている、方法。

【請求項9】

前記タスクが、１又は２以上の電極の出力設定を変更すること、前記１又は２以上の電極について最大許容温度を変更すること、アブレーションモードを変更すること、アブレーションを行う前記１又は２以上の電極を選択すること、及びアブレーションを行う前記１又は２以上の電極を選択解除することの１つである、請求項８に記載の方法。

【請求項10】

前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも１つであり、前記ジェスチャーが短い履歴に基づいて更に推測される、請求項８に記載の方法。

【請求項11】

ハードウェアが作動している間に前記適用可能なジェスチャーが行われる、請求項８に記載の方法。

【請求項12】

前記適用可能なジェスチャーが、顔認識を用いて許可を有すると判定された使用者によって行われる前記検出された運動である、請求項８に記載の方法。

【請求項13】

前記適用可能なジェスチャーが、前記クライアント論理回路にしたがって認識されるジェスチャーである、請求項８に記載の方法。

【請求項14】

音声認識を用いた音声入力を与える工程を更に含み、前記実行する工程が、前記適用可能なジェスチャーと共に前記音声入力に基づいて行われる、請求項８に記載の方法。

【請求項15】

請求項８〜１４のいずれか１項に記載の方法を実行するために機械により実行可能な命令のプログラムを記憶するためのコンピュータ読み取り可能な記憶装置。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、同一所有者になる同時係属中の、本出願と同一出願日に出願された「奥行きセンサーの使用による装置のタッチフリー操作」（TOUCH FREE OPERATION OF DEVICES BY USE OF DEPTH SENSORS）に対する米国特許出願第（ＢＩＯ５３１２ＵＳＮＰ）の関連出願であり、当該出願の全容及び開示内容を、本明細書にその全体が記載されているものと同様に明確に援用するものである。

【0002】

（発明の分野）
本発明は、一般的に奥行きセンサー及び状況に応じて音声認識を使用することによる手術室の装置のタッチフリー操作に関する。

【背景技術】

【0003】

手術室では、医師は無菌状態を保つ必要があり、そのため手術中にコンピュータに物理的にアクセスして支援を得ることはできない。したがって、アブレーターワークステーションのような、手術室の装置上でコンピュータアプリケーションを使用して医師が行うことを望むあらゆるタスクは、実際は他者によって行われなければならない。医師がこうした装置及び、例えば、そのキーボード、スクリーン、マウスなどの付属品に物理的に触れることなく、これらの装置を操作できることが望ましい。

【発明の概要】

【課題を解決するための手段】

【0004】

アブレーターワークステーションのタッチフリー操作を行うための新規なシステム及び方法が提供される。本システムは、運動を検出するための奥行きセンサーと、前記奥行きセンサーから前記検出された運動を受信し、前記検出された運動に基づいてジェスチャーを推測し、該ジェスチャーをフィルタリングして適用可能なジェスチャーを許容する機能を有するモーションソフトウェアモジュールと、前記適用可能なジェスチャーを前記アブレーターワークステーション内の、又はアブレーターワークステーションと関連付けられたクライアントコンピュータにて受信して前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する機能を有するクライアントソフトウェアモジュールと、を含む。

【0005】

一態様では、タスクは、１又は２以上の電極の出力設定を変更すること、１又は２以上の電極について最大許容温度を変更すること、ユニポーラとバイポーラとの間でアブレーションモードを変更すること、アブレーターを行う電極を選択及び選択解除することの１つである。一態様では、前記運動は、頭部の動作、手の動作、及び身体の動作の少なくとも１つであり、前記ジェスチャーは短い履歴に基づいて更に推測される。一態様では、前記システムは、前記検出された運動を適用可能なジェスチャーとするためのハードウェアを更に含む。一態様では、前記適用可能なジェスチャーは、顔認識を用いて許可を有すると判定された使用者によって行われる前記検出された運動、及び前記クライアント論理回路にしたがって認識されたジェスチャーの１又は２以上である。一態様では、前記ジェスチャーのフィルタリングは、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定することによって行われる。一態様では、本システムは、前記適用可能なジェスチャーを前記クライアントにて受信するためのクライアント通信モジュールを更に含む。一態様では、本システムは、前記クライアントが前記適用可能なジェスチャーと共に前記音声入力に基づいて前記タスクを実行することを可能とする音声入力を与える音声認識を更に含む。

【0006】

アブレーターワークステーションのタッチフリー操作を行うための新規な方法は、奥行きセンサーを使用して運動を検出する工程と、ＣＰＵを使用して前記検出された運動に基づいてジェスチャーを推測する工程と、前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取る工程と、前記適用可能なジェスチャーを前記アブレーターワークステーション内のクライアントにて受信する工程と、前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する工程と、を含む。

【0007】

本明細書に述べられる１又は２以上の方法を実行するために、機械により実行可能な命令のプログラムを記憶するためのコンピュータ読み取り可能な記憶装置も更に提供されうる。

【図面の簡単な説明】

【0008】

以下の本発明の実施形態の詳細な説明を図面と併せ読むことによって本発明のより完全な理解が得られるであろう。異なる実施形態の更なる特徴、並びに構造及び動作について、付属の図面を参照しながら以下に詳細に述べる。図中、同様の参照符合は、同一又は機能的に同様の要素を示すものである。

【図1】本発明のシステムの一実施形態を示すブロック図。

【図2】本発明のシステムの別の実施形態を示すブロック図。

【図3】本発明の方法のフローチャート。

【発明を実施するための形態】

【0009】

アブレーターワークステーションのタッチフリー操作を行うための新規な方法が提供される。この新規な技術によれば、操作者はモニター、キーボード、マウスなどのいずれのコンピュータ装置にも触れずにアブレーターワークステーションの機能を実行することが可能である。

【0010】

図１に示されるように、一実施形態における本システムは、奥行きセンサー１０、コンピュータ又はＣＰＵ １２、通信媒体１４及びアブレーターワークステーションの一部であるクライアントコンピュータ１６を備えている。ＣＰＵ １２には動作検出ソフトウェアモジュール１８が実装されていてもよい。クライアントコンピュータ１６は、ターゲットソフトウェアモジュール２０を制御することができる。クライアントコンピュータ１６には通信クライアントモジュール２２が実装されていてもよい。一実施形態では、システムは、マイクロフォン又はマイクロフォンアレイ２８などの音声認識を更に含んでいてもよい。

【0011】

奥行きセンサー１０は、通常は、画像を記録するだけではなく、更に奥行きを記録し、記録された画像の３Ｄ表現を可能とする奥行き認識カメラを含む。当業者には周知であるように、奥行きセンサーは、センサーからの奥行きマップを用いて、例えば、使用者の手のジェスチャーなどの動作、形、及び位置を推測するコンピュータに接続されている。医療現場では、使用者はシステムの操作者、一般的には医師でありうる。本発明の一実施形態では、奥行きセンサーは頭及び手の運動を追跡する。別の実施形態では、奥行きセンサーは、頭及び手を追跡するのみではなく、コンピュータスクリーン又はモニターに近づく、かつ／又はモニターから遠ざかる運動などの全体的な身体の位置も追跡する。一実施形態では、奥行きセンサー１０は、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｋｉｎｅｃｔ、ＡＳＵＳ（登録商標）Ｘｔｉｏｎ ＰＲＯ、ＡＳＵＳ（登録商標）Ｘｔｉｏｎ ＰＲＯ ＬＩＶＥなどのモジュール又はミドルウェアによって実施することができる。１又は２以上の奥行きセンサーを並列して使用することで塞栓部の扱い、視野及び精度を拡張することができる。充分に細かい奥行きマップをリアルタイムで提供することが可能なカメラなどの任意のセンサーを取り付けて本発明のシステムとともに使用することができる。奥行きセンサーは、位置情報を取得し、この情報を下記に述べるようにして処理を行うためにＣＰＵ １２に転送する。当該技術分野では周知であるように、ソフトウェア及び奥行きセンサー１０によって与えられるドライバーを用いてこの位置情報を取得することができる。

【0012】

ＣＰＵ １２内の動作検出ソフトウェアモジュール又はモーションソフトウェア１８が、奥行きセンサー１０から、例えば、手、頭、足などの操作者の関連する身体の部分の位置などの位置情報を毎秒数回、取得する。それぞれの受容された動作及び／又は身体の位置は追跡され、短い運動履歴ファイル又はデータセットに保存される。

【0013】

モーションソフトウェアは、モーションソフトウェア１８からの身体部分の運動として検出されたデータを、短い運動履歴のデータとともに用いてより複雑な運動を推測し、このデータを、手の前方への動き、手で円を描く動き、又は頭でうなずくといった意味のあるジェスチャーに処理するソフトウェアを含みうる。例えば、手の直線運動及び／又は円運動が検出され、パラメータが計算されることによって、これらの運動が定量化される。モーションソフトウェアは、運動の大きさ、運動が捉えられた時間、運動の速度及び／又は長さなどの特定の属性をそれぞれのジェスチャーと関連付ける。

【0014】

システムは、身体追跡技術を用いることによって、すなわち、最初の形態から開始して、使用者の個別の運動を追跡し、その特定の使用者による動作のみに対して応答がなされるようにすることによって、特定の使用者と関連付けることができる。例えば、身体の位置及び運動を追跡し、前のフレームにおける位置からの差異が充分に小さいかぎり、これらの運動は同じ人であると仮定される。このシステムは、奥行きセンサー内のカメラによる顔検出及び／又は認識を用いることによって特定の使用者と関連付けることもできる。このシステムは、顔検出及び／又は認識を用いてその身体がそれぞれの状態又は位置において認識された顔と関連付けられたものであることを確認することができる。これらの方法は例えば、運動が小さい間は身体追跡を用い、不明確さが生じた場合には顔検出及び／又は認識を用いて正しい使用者を見つけた後、前と同様に継続するように組み合わせることができる。

【0015】

動作検出ソフトウェアモジュール１８は、更に、どの動作又は運動を許容し、どれを適用不能、例えば、無効な、かつ／又は許可されていないものとして、無視又はフィルタリングする必要があるかを決定することが可能なフィルターを含みうる。無効な、例えば、無関係な動作とは、動作検出ソフトウェアモジュール１８によって許容されない動作であってもよい。例えば、動作が小さすぎるか又は遅すぎて使用者の制御不能な自然な運動をフィルタリングできない場合には、この動作は無効又は無関係なものとされる。許可されていない動作とは、適正な使用者によって行われない動作、かつ／又は所定の条件にしたがって行われない動作のことである。例えば、安全及び／又はセキュリティーのため、特定の手の動きの間、かつ／又は手術中の所定の時間においてフットペダルを踏むなどの、対応するハードウェア装置による物理的入力及び／又は相互作用を必要とするようにしてもよい。複数のカメラが使用され、１個のカメラによって医師の全身像が捉えられる一実施形態では、その特定の医師が適当な物理的入力を与えたか否かを判定することができる。例えば、検出された動作に加えて物理的入力を必要とするなどのこうしたセキュリティー手段は、室内の人がシステムを勝手にいじろうとはしないだろうという信頼に基づいたものであるが、それよりもこのセキュリティー手段は、万が一、医師／使用者が誤って何らかのジェスチャーを行った場合に重大な機能が意図せずに行われることを防止する更なるセキュリティーを与えるものである。

【0016】

本システムにハードウェア装置を接続することによって、上記に述べたようなシステムによる望ましくない動作を防止することができる。これは医療用ソフトウェアでは非常に重要な意味を有しうる。例えば、フットペダルなどのハードウェア装置（図に示されていない）を、例えば、フットペダルが踏まれることなどの装置の動作を受信及び解釈し、これらの動作をクライアントの内部論理回路に用いる機能を担ったクライアントコンピュータ１６及び／又はアブレーターワークステーションに接続することができる。ハードウェア装置を動作検出及びそのソフトウェアを実行するＣＰＵ １２に接続することも可能であり、その場合、装置の状態を検出された動作とともに送信し、かつ／又は装置の状態に基づいて特定の動作をフィルタリングすることができる。

【0017】

フィルタリングされなかった動作は、通信媒体１４を通じてクライアントコンピュータ１６の通信クライアントモジュール２０に送信される。通信媒体１４は、シリアル、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、ブルートゥース、無線などであってもよい。

【0018】

クライアントコンピュータ１６は、例えば、ジェスチャーなどの解釈された動作を受信する。ターゲットソフトウェアモジュール２０は、受信された動作が有効か否かを判定する。無効な動作とは、ターゲットソフトウェアモジュール２０内において定義されていない動作であってもよい。例えば、１つのクライアントソフトウェアモジュールが作動している場合、スクリーンに近づく動作を、モードをユニポーラに切り換えるものとして定義することが可能であるが、別のクライアントが作動している場合にはスクリーンに近づくこの動作を不適切又は無関係であるものとして定義されないようにすることもできる。更に、無効な動作は、所定の前提条件が満たされないかぎり許可されないものとすることもできる。例えば、ハードウェア装置がクライアントコンピュータに接続されている場合、動作は、ハードウェア装置の動作と組み合わせて行われる場合にのみ許可又は有効とされるようにすることが可能であり、例えば、手を振る動作を、ハードウェア装置のフットペダルが踏まれている間にそれが行われる場合にのみ有効とすることができる。

【0019】

ターゲットソフトウェアモジュール２０などのクライアント論理回路は、それぞれの認識された（例えば、有効な）ジェスチャーにどのように応答するかを決定する。ターゲットソフトウェアモジュール２０がアブレーターワークステーションと関連付けられることで、クライアント論理回路は、出力設定を変更する、電極を選択及び選択解除する、電極当たりの最大許容温度を変更する、といったタスクを実行することが可能となりうる。これにより、クライアントソフトウェアはその論理回路を用いて、ジェスチャーが握りこぶしである場合には、クライアント論理回路が電極を選択するタスクを実行し、ジェスチャーが上方への手の動きである場合には、クライアント論理回路が選択された電極の温度を上げるタスクを行うことができるように決定することができる。

【0020】

本発明のシステムを操作するためには、使用者は、まず制御を行って、タッチフリー操作を作動する必要がある。制御を行うためには、使用者はシステムに使用者が指示を送信することを確認させる。次いで、システムは、上記に述べたように異なる手のジェスチャー及び／又は頭及び／又は他の身体の運動の形態である指示に応答する。制御は、それ以上の制御が必要でなくなるか、又はある期間の無運動状態が検出された時点で解除される。制御を行うことは、例えば、手を振る、頭を動かすなどの焦点合わせジェスチャーを用いるか、あるいは踏み込んでいる間の制御を可能とするフットペダルなどのハードウェアを使用するか、あるいは音声コマンドのいずれかによって実現することができる。

【0021】

システムによって検出される動作は、固定された機能は有していない。システムは、機能及び使用者がクライアントコンピュータ１６を現在操作しているモードに基づき、それぞれのジェスチャー、形、又は運動にそのコンテキストに応じて意味を関連付ける。例えば、使用者が選択モードでクライアントを操作している間、頭を動かすことによってユニポーラからバイポーラへ、及びその逆にモードを変更することができる。

【0022】

タッチフリー制御が作動されている時間の間、使用者に対して視覚的指示を示すことができる。必要に応じて、タッチフリー制御の作動及び停止時に聴覚的指示を与えることもできる。

【0023】

一実施形態では、こうしたハンドフリー操作は、検出される動作とは別に、又はこれと組み合わせて音声入力によって補助することができる。例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｋｉｎｅｃｔは周辺機器としてマイクロフォンを有し、認識された音声が来た方向を検出することができる。この及び／又は他の音声認識技術を用いて音声コマンドを捕捉し、使用者からの音声コマンドを選択的にフィルタリングすることができる。音声コマンドはジェスチャーと組み合わせることもできる。例えば、使用者は「アブレーター出力」と発声してから手を上下に動かして出力を調整することができる。別の例では、使用者は「アブレーター温度」と発声してから手を上下に動かして温度設定を調整することができる。更に別の例では、使用者は「アブレーター電極」と発声し、手を左右に動かしてスクリーン上の電極制御をハイライトし、「進む」と発声して選択を切り換えることができる。別の例では、使用者は、「アブレーター電極なし／偶数／奇数／すべて」と発声することで電極を適宜選択又は選択解除することができる。クライアントコンピュータは、それぞれの動作が最も新しく認識された音声コマンドとの組み合わせで何を意味するかを決定するうえですべてのロジックを実行する。この実施形態の１つの形態では、音声コマンドのみの使用又はジェスチャーのみの使用によって特定のコマンドを実行することが可能であり、例えば、アブレーションモードの設定を、ジェスチャーを行う必要なく「アブレーターバイポーラ」又は「アブレーターユニポーラ」と発声するだけで行うことができる。

【0024】

図２は、１つのワークステーション２６内にＣＰＵ及びクライアントコンピュータの両方のモジュールを有する実施形態を示したものである。図２に示される実施形態のシステムは、図１の要素と同じ機能を有する奥行きセンサー１０、音声認識２４、動作検出ソフトウェアモジュール１８、及びターゲットソフトウェアモジュール２０を有している。しかしながらこの実施形態では、１つのみのワークステーション２６が使用され、ターゲットソフトウェアモジュール２０がクライアント通信モジュールを含んでいる。本発明は、図１又は図２の構成に限定されるものではない。それぞれが１又は２以上のモジュールを有する複数のＣＰＵを使用することも可能である。

【0025】

図３は、本発明の方法のフローチャートである。工程Ｓ１では、通常、使用者は、動作、音声コマンドを実行するか又はフットペダルを踏み込むことにより、タッチフリー制御システムの制御を行う。工程Ｓ２では、位置の変化を含む運動が奥行きセンサー１０によって検出されてＣＰＵ １２に送信される。工程Ｓ３では、ＣＰＵは短い運動及び／又は位置変化の履歴を追跡及び保存する。工程Ｓ４では、ＣＰＵ １２は、モーションソフトウェアを使用して、短い履歴に基づいて受信された動作からより複雑な運動又はジェスチャーを推測する。工程Ｓ５及びＳ６では、フィルタリングが行われる。工程Ｓ５では、その運動が予測された位置の範囲内であるか否かを判定し、かつ／又は顔認識を行うことによって、そのジェスチャーが許可された、又は適正な使用者によって行われているか否かが判定される。ジェスチャーが許可された使用者によるものと判定された場合（Ｓ５＝ＹＥＳ）には、処理は工程Ｓ６に進み、ここでＣＰＵによってジェスチャーが確認される。ジェスチャーが確認された場合（Ｓ６＝ＹＥＳ）には、ジェスチャーはクライアントコンピュータに送信され、工程Ｓ３において更なる動作追跡が再び開始される。工程Ｓ７では、ジェスチャーは、クライアントコンピュータ上の通信クライアントモジュールにおいて受信される。ジェスチャーが作動しているターゲットソフトウェアモジュールによって認識された場合（Ｓ８＝ＹＥＳ）、工程Ｓ９においてクライアントコンピュータは装置の機能又は動作、例えば、タスクを、アブレーターワークステーションにおいて、推測されたジェスチャーに基づいたクライアント論理回路又はターゲットソフトウェアモジュールにしたがって実行する。これらのタスクには、１又は２以上の電極の出力設定を変更すること、１又は２以上の電極について最大許容温度を変更すること、アブレーターのモード（ユニポーラ又はバイポーラ）を変更すること、アブレーターの電極を選択及び選択解除することなどが含まれるが、これらに限定されるものではない。モーションソフトウェアがジェスチャーをクライアントコンピュータに送信した時点で（Ｓ６＝ＹＥＳである場合）、モーションソフトウェアは、次の検出された動作及び／又は身体の位置に対する応答に戻る。

【0026】

一実施形態では、許可された運動を行うことは、運動が別の装置などのハードウェアと併せて行われるか否かを判定することを必要とする。この実施形態では、許可された運動は、ソフトウェアによって推測された複雑な運動と、フットペダルを踏み込むなどの更なる動作とを含まなければならない。このような許可は、Ｓ５＝ＹＥＳである場合には、工程Ｓ５の後に、更に工程Ｓ６の前に行うことができる。

【0027】

検出された運動が許可された使用者によって行われていない（Ｓ５＝ＮＯ）か、検出された運動が有効なものではない（Ｓ６＝ＮＯ）場合には、処理は工程Ｓ３で継続する。ジェスチャーがクライアントソフトウェアによって認識されない場合（Ｓ８＝ＮＯ）、タスクは実行されない。

【0028】

本発明のシステムによれば、頭部追跡及び／又は他の動作検出技術を用いて手術室の装置によりタスクを実行することが可能となり、医師又は他のシステムの使用者がカテーテルの操作に少なくとも一方の手を使いながら特定の動作を行うことができるために有利である。本システムは、ジェスチャーをフィルタリングし、許可された人員に対してのみ送ることが可能であるために効果的である。これにより、システムは意図された使用者によってのみ制御される。他者による手のジェスチャー及び頭の運動、並びに他の動作は無視することができる。

【0029】

本開示の様々な態様は、コンピュータ又は機械によって使用又は読み取り可能な媒体中に実施又は記憶されたプログラム、ソフトウェア、又はコンピュータ命令によって実施することが可能であり、こうしたプログラム、ソフトウェア、又はコンピュータ命令がコンピュータ、プロセッサー、及び／又は機械上で実行されると、コンピュータ又は機械が本方法の各工程を行う。機械によって実行可能な命令のプログラムを実体的に実施することによって本開示に述べられる様々な機能及び方法を行う、例えば、コンピュータ読み取り可能な媒体などの機械によって読み取り可能なプログラム記憶装置もまた提供される。

【0030】

本開示のシステム及び方法は、汎用コンピュータ又は特殊な目的のコンピュータシステム上で実施又は実行することが可能である。コンピュータシステムは、任意の種類の周知の又は将来的に周知となるであろうシステムであってもよく、プロセッサー、メモリー装置、記憶装置、入力／出力装置、内部バス、及び／又は、他のコンピュータシステムと通信するための通信用インターフェースを通信用ハードウェア及びソフトウェアなどとともに一般的に含みうる。本システムは、口語表現でクラウドとして知られるバーチャルコンピュータシステム上で実施することも可能である。

【0031】

コンピュータ読み取り可能な媒体とはコンピュータ読み取り可能な記憶装置であり、例えば、これは磁気的、光学的、電子的、電磁的、赤外線、又は半導体システム、装置、若しくは機器、又は上記のものの任意の適当な組み合わせであってもよいが、コンピュータ読み取り可能な記憶装置はこれらの例に限定されるものではない。コンピュータ読み取り可能な記憶装置の更なる特定の例としては、ポータブルコンピュータフロッピーディスク、ハードディスク、磁気記憶装置、ポータブルコンパクトディスク読み出し専用メモリー（ＣＤ−ＲＯＭ）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリー（ＥＰＲＯＭ又はフラッシュメモリー）、１又は２以上の配線を有する電気的接続、光ファイバー、光学的記憶装置、又は上記のものの任意の適当な組み合わせが挙げられるが、コンピュータ読み取り可能な記憶媒体もまた、これらの例に限定されるものではない。命令実行システム、装置又は機器によって、又はこれらとともに使用されるプログラムを格納又は記憶することが可能なあらゆる実体的な媒体がコンピュータ読み取り可能な記憶装置となりうる。

【0032】

本出願において使用しうるところの「コンピュータシステム」及び「コンピュータネットワーク」なる用語には、据え置き型及び／又は携帯型のコンピュータハードウェア、ソフトウェア、周辺機器、及び記憶装置の様々な組み合わせが含まれうる。コンピュータシステムは、ネットワーク化されるか又は他の態様で接続されることによって協働して動作する個別の構成要素を含むか、又は１又は２以上のスタンドアローンの構成要素を含みうる。本出願のコンピュータシステムのハードウェア及びソフトウェア構成要素は、デスクトップ、ラップトップ、及び／又はサーバなどの据え置き型又は携帯型の装置、並びにサーバのネットワーク（クラウド）を含み、これらに含まれうる。モジュールとは、ソフトウェア、ハードウェア、ファームウェア、電子回路などとして実施することが可能な、特定の「機能」を実行する装置、ソフトウェア、プログラム、又はシステムの構成要素でありうる。

【0033】

上記に述べた実施形態は説明のための例であり、本発明はこれらの特定の実施形態に限定されるものとして解釈されるべきではない。したがって、当業者であれば、付属の特許請求の範囲において定義される本発明の趣旨及び範囲から逸脱することなく様々な変更及び改変を行うことが可能である。

【0034】

〔実施の態様〕
（１） アブレーターワークステーションのタッチフリー操作を行うためのシステムであって、
運動を検出するための奥行きセンサーと、
前記奥行きセンサーから前記検出された運動を受信し、前記検出された運動に基づいてジェスチャーを推測し、前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取るように作動可能なモーションソフトウェアモジュールと、
前記適用可能なジェスチャーを前記アブレーターワークステーション内のクライアントコンピュータにて受信して前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行するように作動可能なクライアントソフトウェアモジュールと、を含む、システム。
（２） 前記タスクが、１又は２以上の電極の出力設定を変更すること、前記１又は２以上の電極について最大許容温度を変更すること、アブレーションモードを変更すること、アブレーションを行う前記１又は２以上の電極を選択すること、及びアブレーションを行う前記１又は２以上の電極を選択解除することの１つである、実施態様１に記載のシステム。
（３） 前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも１つであり、前記ジェスチャーが短い履歴に基づいて更に推測される、実施態様１に記載のシステム。
（４） 前記検出された運動を前記適用可能なジェスチャーとするためのハードウェアを更に含む、実施態様１に記載のシステム。
（５） 前記適用可能なジェスチャーが、顔認識を用いて許可を有すると判定された使用者によって行われる前記検出された運動、及び前記クライアント論理回路にしたがって認識されるジェスチャーの１又は２以上である、実施態様１に記載のシステム。
（６） 前記ジェスチャーのフィルタリングが、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定することによって実行される、実施態様１に記載のシステム。
（７） 前記適用可能なジェスチャーを前記クライアントコンピュータにて受信するためのクライアント通信モジュールを更に含む、実施態様１に記載のシステム。
（８） 前記クライアントが前記適用可能なジェスチャーと共に音声入力に基づいて前記タスクを実行することを可能とするための前記音声入力を与える音声認識を更に含む、実施態様１に記載のシステム。
（９） アブレーターワークステーションのタッチフリー操作を行うための方法であって、
奥行きセンサーを使用して運動を検出する工程と、
前記検出された運動に基づいてジェスチャーを推測する工程と、
前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取る工程と、
前記アブレーターワークステーション内のクライアントにて前記適用可能なジェスチャーを受信する工程と、
前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する工程と、を含む方法。
（１０） 前記タスクが、１又は２以上の電極の出力設定を変更すること、前記１又は２以上の電極について最大許容温度を変更すること、アブレーションモードを変更すること、アブレーションを行う前記１又は２以上の電極を選択すること、及びアブレーションを行う前記１又は２以上の電極を選択解除することの１つである、実施態様９に記載の方法。

【0035】

（１１） 前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも１つであり、前記ジェスチャーが短い履歴に基づいて更に推測される、実施態様９に記載の方法。
（１２） ハードウェアが作動している間に前記適用可能なジェスチャーが行われる、実施態様９に記載の方法。
（１３） 前記適用可能なジェスチャーが、顔認識を用いて許可を有すると判定された使用者によって行われる前記検出された運動である、実施態様９に記載の方法。
（１４） 前記適用可能なジェスチャーが、前記クライアント論理回路にしたがって認識されるジェスチャーである、実施態様９に記載の方法。
（１５） 音声認識を用いた音声入力を与える工程を更に含み、前記実行する工程が、前記適用可能なジェスチャーと共に前記音声入力に基づいて行われる、実施態様９に記載の方法。
（１６） 前記ジェスチャーをフィルタリングする工程が、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定する工程を含む、実施態様９に記載の方法。
（１７） アブレーターワークステーションのタッチフリー操作を行うための方法を実行するために機械により実行可能な命令のプログラムを記憶するためのコンピュータ読み取り可能な記憶装置であって、前記方法が、
奥行きセンサーを使用して運動を検出する工程と、
ＣＰＵを使用して、前記検出された運動に基づいてジェスチャーを推測する工程と、
前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取る工程と、
前記アブレーターワークステーション内のクライアントにて前記適用可能なジェスチャーを受信する工程と、
前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する工程と、を含む、装置。
（１８） 前記タスクが、１又は２以上の電極の出力設定を変更すること、前記１又は２以上の電極について最大許容温度を変更すること、アブレーションモードを変更すること、アブレーションを行う前記１又は２以上の電極を選択すること、及びアブレーションを行う前記１又は２以上の電極を選択解除することの１つである、実施態様１７に記載のプログラム。
（１９） 前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも１つである、実施態様１７に記載のプログラム。
（２０） 前記適用可能なジェスチャーが、ハードウェアが作動している間に行われる動作、及び顔認識を用いて許可を有すると判定された使用者による動作の１つである、実施態様１７に記載のプログラム。

【0036】

（２１） 前記ジェスチャーをフィルタリングする工程が、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定する工程を含む、実施態様１７に記載のプログラム。
（２２） 音声認識を用いた音声入力を与える工程を更に含み、前記実行する工程が、前記適用可能なジェスチャーと共に前記音声入力に基づいて行われる、実施態様１７に記載のプログラム。

【図1】

【図2】

【図3】