特開 2017-162476 奥行きセンサーの使用による装置のタッチフリー操作

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-162476(P2017-162476A)

(43)【公開日】2017年9月14日

(54)【発明の名称】奥行きセンサーの使用による装置のタッチフリー操作

(51)【国際特許分類】

   G06F 3/01 20060101AFI20170818BHJP

   G06F 3/0346 20130101ALI20170818BHJP

   G06F 3/0484 20130101ALI20170818BHJP

   A61B 90/00 20160101ALI20170818BHJP

【ＦＩ】

   G06F3/01 510

   G06F3/0346 423

   G06F3/0346 426

   G06F3/01 570

   G06F3/0484 150

   A61B90/00

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

【全頁数】13

(21)【出願番号】特願2017-52449(P2017-52449)

(22)【出願日】2017年3月17日

(62)【分割の表示】特願2013-2419(P2013-2419)の分割

【原出願日】2013年1月10日

(31)【優先権主張番号】13/347,943

(32)【優先日】2012年1月11日

(33)【優先権主張国】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

(71)【出願人】

【識別番号】511099630

【氏名又は名称】バイオセンス・ウエブスター・（イスラエル）・リミテッド

【氏名又は名称原語表記】Ｂｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒ （Ｉｓｒａｅｌ）， Ｌｔｄ．

(74)【代理人】

【識別番号】100088605

【弁理士】

【氏名又は名称】加藤 公延

(74)【代理人】

【識別番号】100130384

【弁理士】

【氏名又は名称】大島 孝文

(72)【発明者】

【氏名】アサフ・マーション

(72)【発明者】

【氏名】アサフ・ゴバリ

(72)【発明者】

【氏名】アンドレス・クラウディオ・アルトマン

(72)【発明者】

【氏名】イツハック・シュワルツ

【テーマコード（参考）】

5B087

5E555

【Ｆターム（参考）】

5B087AA09

5B087DD12

5E555AA04

5E555AA10

5E555AA11

5E555AA53

5E555BA01

5E555BA18

5E555BA22

5E555BB01

5E555BB18

5E555BB22

5E555BC04

5E555BC08

5E555BC16

5E555BC18

5E555BE10

5E555CA42

5E555CB45

5E555CB64

5E555CB66

5E555CB67

5E555CC23

5E555CC27

5E555DB53

5E555DC24

5E555DC25

5E555DD06

5E555EA03

5E555EA05

5E555EA14

5E555EA22

5E555EA23

5E555FA00

(57)【要約】      （修正有）

【課題】装置のタッチフリー操作のための新規なシステム及び方法を提供する。
【解決手段】システムは、運動を検出するための奥行きセンサー１０と、奥行きセンサーから検出された運動を受信し、検出された運動に基づいてジェスチャーを推測し、該ジェスチャーをフィルタリングして適用可能なジェスチャーを許容する機能を有するモーションソフトウェアモジュール１８と、通信媒体１４と、クライアントコンピュータ１６とを有する。クライアントコンピュータは、適用可能なジェスチャーを受信して、適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

手術室の装置のタッチフリー操作を行うためのシステムであって、
奥行きマップを提供し、運動を検出するための奥行きセンサーと、
フットペダルと、
モーションソフトウェアモジュールであって、
前記奥行きセンサーから前記検出された運動を受信し、
前記検出された運動に基づいてジェスチャーを推測し、
前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取る
ように作動可能であり、前記運動が前記フットペダルの作動と共に実行されなかった場合には、前記ジェスチャーをフィルタリングすることが、前記ジェスチャーを、適用できないものとしてフィルタリングアウトすることを含む、モーションソフトウェアモジュールと、
前記適用可能なジェスチャーをクライアントコンピュータにて受信して前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行するように作動可能なクライアントソフトウェアモジュールと、を含むシステム。

【請求項2】

前記検出された運動が、顔認証を用いて許可されていると判定された使用者によって実行されるものでない場合は、前記ジェスチャーをフィリタリングすることが、前記ジェスチャーを、適用できないものとしてフィルタリングアウトすることを含む、請求項１に記載のシステム。

【請求項3】

前記モーションソフトウェアモジュールと前記クライアントソフトウェアモジュールとが単一のコンピュータ中にある、請求項１に記載のシステム。

【請求項4】

前記クライアントコンピュータが前記適用可能なジェスチャーと共に音声入力に基づいて前記タスクを実行することを可能とするための前記音声入力を与える音声認識を更に含む、請求項１に記載のシステム。

【請求項5】

前記クライアントがマッピング装置であり、前記タスクが、マップを回転させること、マップ上にズームインすること、マップを傾けること、及びマップをパンすることの１つである、請求項１に記載のシステム。

【請求項6】

前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも１つであり、前記ジェスチャーが短い履歴に基づいて更に推測される、請求項１に記載のシステム。

【請求項7】

装置のタッチフリー操作のための方法であって、
奥行きセンサーによって与えられる奥行きマップを用いて運動を検出する工程と、
前記検出された運動に基づいてジェスチャーを推測する工程と、
前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取る工程であって、前記運動がフットペダルの作動と共に実行されなかった場合には、前記ジェスチャーをフィルタリングすることが、前記ジェスチャーを、適用できないものとしてフィルタリングアウトすることを含む工程と、
前記適用可能なジェスチャーをクライアントにて受信する工程と、
前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する工程と、を含む、方法。

【請求項8】

前記クライアントがマッピング装置であり、前記タスクが、マップを回転させること、マップ上にズームインすること、マップを傾けること、及びマップをパンすることの１つである、請求項７に記載の方法。

【請求項9】

前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも１つであり、前記ジェスチャーが短い履歴に基づいて更に推測される、請求項７に記載の方法。

【請求項10】

前記検出された運動が、顔認証を用いて許可されていると判定された使用者によって実行されるものでない場合は、前記ジェスチャーをフィルタリングすることが、前記ジェスチャーを、適用できないものとしてフィルタリングアウトすることを含む、請求項７に記載の方法。

【請求項11】

音声認識を用いて音声入力を与える工程を更に含み、前記実行する工程が、前記適用可能なジェスチャーと共に、前記音声入力に基づいて行われる、請求項７に記載の方法。

【請求項12】

装置のタッチフリー操作のための、請求項７〜１１のいずれか１項に記載の方法を実行するために機械により実行可能な命令のプログラムを記憶するためのコンピュータ読み取り可能な記憶装置において、ジェスチャーを推測する前記工程がＣＰＵを用いて実行される、記憶装置。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、同一所有者になる同時係属中の、本出願と同一出願日に出願された「奥行きセンサーの使用によるアブレーターワークステーションのタッチフリー操作」（TOUCH FREE OPERATION OF ABLATOR WORKSTATION BY USE OF DEPTH SENSORS）に対する米国特許出願第（ＢＩＯ５３１３ＵＳＮＰ）の関連出願であり、当該出願の全容及び開示内容を、本明細書にその全体が記載されているものと同様に明確に援用するものである。

【0002】

（発明の分野）
本発明は、一般的に奥行きセンサー及び状況に応じて音声認識を使用することによる手術室の装置のタッチフリー操作に関する。

【背景技術】

【0003】

手術室では、医師は無菌状態を保つ必要があり、そのため手術中にコンピュータに物理的にアクセスして支援を得ることはできない。したがって、例えば、ＣＡＲＴＯ（登録商標）などの３Ｄマッピングシステムのような、手術室の装置上でコンピュータアプリケーションを使用して医師が行うことを望むあらゆるタスクは、実際は他者によって行わなれなければならない。医師がこうした装置及び、例えば、そのキーボード、スクリーン、マウスなどの付属品に物理的に触れることなく、これらの装置を操作できることが望ましい。

【発明の概要】

【課題を解決するための手段】

【0004】

装置のタッチフリー操作のための新規なシステム及び方法が提供される。本システムは、運動を検出するための奥行きセンサーと、前記奥行きセンサーから前記検出された運動を受信し、前記検出された運動に基づいてジェスチャーを推測し、該ジェスチャーをフィルタリングして適用可能なジェスチャーを許容する機能を有するモーションソフトウェアモジュールと、前記適用可能なジェスチャーをクライアントコンピュータにて受信して前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する機能を有するクライアントソフトウェアモジュールと、を含む。

【0005】

一態様では、前記クライアントはマッピング装置であり、前記タスクは、マップを回転させること、マップ上にズームインすること、マップを傾けること、及びマップをパンすることの１つである。一態様では、前記運動は、頭部の動作、手の動作、及び身体の動作の少なくとも１つであり、前記ジェスチャーは短い履歴に基づいて更に推測される。一態様では、前記システムは、前記検出された運動を適用可能なジェスチャーとするためのハードウェアを更に含む。一態様では、前記適用可能なジェスチャーは、顔認識を用いて許可を有すると判定された使用者によって行われる前記検出された運動、及び前記クライアント論理回路にしたがって認識されたジェスチャーの１又は２以上である。一態様では、前記ジェスチャーのフィルタリングは、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定することによって行われる。一態様では、本システムは、前記適用可能なジェスチャーを前記クライアントにて受信するためのクライアント通信モジュールを更に含む。一態様では、本システムは、前記クライアントが前記適用可能なジェスチャーと共に前記音声入力に基づいて前記タスクを実行することを可能とする音声入力を与える音声認識を更に含む。

【0006】

装置のタッチフリー操作を行うための方法は、奥行きセンサーを使用して運動を検出する工程と、ＣＰＵを使用して前記検出された運動に基づいてジェスチャーを推測する工程と、前記ジェスチャーをフィルタリングして適用可能なジェスチャーを許可する工程と、前記適用可能なジェスチャーをクライアントにて受信する工程と、前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する工程と、を含む。

【0007】

本明細書に述べられる１又は２以上の方法を実行するために、機械により実行可能な命令のプログラムを記憶するためのコンピュータ読み取り可能な記憶装置も更に提供されうる。

【図面の簡単な説明】

【0008】

以下の本発明の実施形態の詳細な説明を図面と併せ読むことによって本発明のより完全な理解が得られるであろう。異なる実施形態の更なる特徴、並びに構造及び動作について、付属の図面を参照しながら以下に詳細に述べる。図中、同様の参照符合は、同一又は機能的に同様の要素を示すものである。

【図1】本発明のシステムの一実施形態を示すブロック図。

【図2】本発明のシステムの別の実施形態を示すブロック図。

【図3】ＣＡＲＴＯ（登録商標）クライアントの制御を開始する手の動作を示す図。

【図4】装置に触れずにＣＡＲＴＯ（登録商標）における機能を行う手の動作を示す図。

【図5】本発明の方法のフローチャート。

【発明を実施するための形態】

【0009】

装置のタッチフリー操作のための新規な方法が提供される。この新規な技術によれば、操作者はモニター、キーボード、マウスなどのいずれのコンピュータ装置にも触れずに装置の機能を実行することが可能である。

【0010】

図１に示されるように、一実施形態における本システムは、奥行きセンサー１０、コンピュータ又はＣＰＵ １２、通信媒体１４及びクライアントコンピュータ１６を有している。ＣＰＵ １２には動作検出ソフトウェアモジュール１８が実装されていてもよい。クライアントコンピュータ１６は、ターゲットソフトウェアモジュール２０を制御することができる。クライアントコンピュータ１６には通信クライアントモジュール２２が実装されていてもよい。一実施形態では、システムは、マイクロフォン又はマイクロフォンアレイ２８などの音声認識を更に含んでいてもよい。

【0011】

奥行きセンサー１０は、通常は、画像を記録するだけではなく、更に奥行きを記録し、記録された画像の３Ｄ表現を可能とする奥行き認識カメラを含む。当業者には周知であるように、奥行きセンサーは、センサーからの奥行きマップを用いて、例えば、使用者の手のジェスチャーなどの動作、形、及び位置を推測するコンピュータに接続されている。医療現場では、使用者はシステムの操作者、一般的には医師でありうる。本発明の一実施形態では、奥行きセンサーは頭及び手の運動を追跡する。別の実施形態では、奥行きセンサーは、頭及び手を追跡するのみではなく、コンピュータスクリーン又はモニターに近づく、かつ／又はモニターから遠ざかる運動などの全体的な身体の位置も追跡する。一実施形態では、奥行きセンサー１０は、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｋｉｎｅｃｔ、ＡＳＵＳ（登録商標）Ｘｔｉｏｎ ＰＲＯ、ＡＳＵＳ（登録商標）Ｘｔｉｏｎ ＰＲＯ ＬＩＶＥなどのモジュール又はミドルウェアによって実施することができる。１又は２以上の奥行きセンサーを並列して使用することで塞栓部の扱い、視野及び精度を拡張することができる。充分に細かい奥行きマップをリアルタイムで提供することが可能なカメラなどの任意のセンサーを取り付けて本システムと使用することができる。奥行きセンサーは、位置情報を取得し、この情報を下記に述べるようにして処理を行うためにＣＰＵ １２に転送する。当該技術分野では周知であるように、ソフトウェア及び奥行きセンサー１０によって与えられるドライバーを用いてこの位置情報を取得することができる。

【0012】

ＣＰＵ １２内の動作検出ソフトウェアモジュール又はモーションソフトウェア１８が、奥行きセンサー１０から、例えば、手、頭、足などの操作者の関連する身体の部分の位置などの位置情報を毎秒数回、取得する。それぞれの受容された動作及び／又は身体の位置は追跡され、短い運動履歴ファイル又はデータセットに保存される。

【0013】

モーションソフトウェアは、モーションソフトウェア１８からの身体部分の運動として検出されたデータを、短い運動履歴のデータとともに用いてより複雑な運動を推測し、このデータを、手の前方への動き、手で円を描く動き、又は頭でうなずくといった意味のあるジェスチャーに処理するソフトウェアを含みうる。例えば、手の直線運動及び／又は円運動が検出され、パラメータが計算されることによって、これらの運動が定量化される。モーションソフトウェアは、運動の大きさ、運動が捉えられた時間、運動の速度及び／又は長さなどの特定の属性をそれぞれのジェスチャーと関連付ける。

【0014】

システムは、身体追跡技術を用いることによって、すなわち、最初の形態から開始して、使用者の個別の運動を追跡し、その特定の使用者による動作のみに対して応答がなされるようにすることによって、特定の使用者と関連付けることができる。例えば、身体の位置及び運動を追跡し、前のフレームにおける位置からの差異が充分に小さいかぎり、これらの運動は同じ人であると仮定される。このシステムは、奥行きセンサー内のカメラによる顔検出及び／又は認識を用いることによって特定の使用者と関連付けることもできる。このシステムは、顔検出及び／又は認識を用いてその身体がそれぞれの状態又は位置において認識された顔と関連付けられたものであることを確認することができる。これらの方法は、例えば、運動が小さい間は身体追跡を用い、不明確さが生じた場合には顔検出及び／又は認識を用いて正しい使用者を見つけた後、前と同様に継続するように組み合わせることができる。

【0015】

動作検出ソフトウェアモジュール１８は、更に、どの動作又は運動を許容し、どれを適用不能、例えば、無効な、かつ／又は許可されていないものとして、無視又はフィルタリングする必要があるかを決定することが可能なフィルターを含みうる。無効な、例えば、無関係な動作とは、動作検出ソフトウェアモジュール１８によって許容されない動作であってもよい。例えば、動作が小さすぎるか又は遅すぎて使用者の制御不能な自然な運動をフィルタリングできない場合には、この動作は無効又は無関係なものとされる。許可されていない動作とは、適正な使用者によって行われない動作、かつ／又は所定の条件にしたがって行われない動作のことである。例えば、安全及び／又はセキュリティーのため、特定の手の動きの間、かつ／又は手術中の所定の時間においてフットペダルを踏むなどの、対応するハードウェア装置による物理的入力及び／又は相互作用を必要とするようにしてもよい。複数のカメラが使用され、１個のカメラによって医師の全身像が捉えられる一実施形態では、その特定の医師が適当な物理的入力を与えたか否かを判定することができる。例えば、検出された動作に加えて物理的入力を必要とするなどのこうしたセキュリティー手段は、室内の人がシステムを勝手にいじろうとはしないだろうという信頼に基づいたものであるが、それよりもこのセキュリティー手段は、万が一、医師／使用者が誤って何らかのジェスチャーを行った場合に重大な機能が意図せずに行われることを防止する更なるセキュリティーを与えるものである。

【0016】

本システムにハードウェア装置を接続することによって、上記に述べたようなシステムによる望ましくない動作を防止することができる。これは医療用ソフトウェアでは非常に重要な意味を有しうる。例えば、フットペダルなどのハードウェア装置（図に示されていない）を、例えば、フットペダルが踏まれることなどの装置の動作を受信及び解釈し、これらの動作をクライアントの内部論理回路に用いる機能を担ったクライアントコンピュータ１６に接続することができる。ハードウェア装置を動作検出及びそのソフトウェアを実行するＣＰＵ １２に接続することも可能であり、その場合、装置の状態を検出された動作とともに送信し、かつ／又は装置の状態に基づいて特定の動作をフィルタリングすることができる。

【0017】

フィルタリングされなかった動作は、通信媒体１４を通じてクライアントコンピュータ１６の通信クライアントモジュール２０に送信される。通信媒体１４は、シリアル、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、ブルートゥース、無線などであってもよい。

【0018】

クライアントコンピュータ１６は、例えば、ジェスチャーなどの解釈された動作を受信する。ターゲットソフトウェアモジュール２０は、受信された動作が有効か否かを判定する。無効な動作とは、ターゲットソフトウェアモジュール２０内において定義されていない動作であってもよい。例えば、ＣＡＲＴＯ（登録商標）クライアントソフトウェアモジュールが作動している場合に、スクリーンに近づく動作をマップを傾けるものとして定義することが可能であるが、別のクライアントが作動している場合にはスクリーンに近づくこの動作を不適切又は無関係なものとして定義されないようにすることもできる。更に、無効な動作は、所定の前提条件が満たされないかぎり許可されないものとすることもできる。例えば、ハードウェア装置がクライアントコンピュータに接続されている場合、動作は、ハードウェア装置の動作と組み合わせて行われる場合にのみ許可又は有効とされるようにすることが可能であり、例えば、手を振る動作を、ハードウェア装置のフットペダルが踏まれている間にそれが行われる場合にのみ有効とすることができる。

【0019】

ターゲットソフトウェアモジュール２０などのクライアント論理回路は、それぞれの認識された（例えば、有効な）ジェスチャーにどのように応答するかを決定する。例えば、ターゲットソフトウェアモジュール２０が３次元（３Ｄ）マップを生成及び表示するグラフィックソフトウェアである場合には、クライアント論理回路は、マップを回転させる、マップの一部にズームインする、マップを傾けるなどのタスクを実行することが可能である。これにより、ジェスチャーが円を描く動作である場合にはクライアント論理回路がマップを回転させるタスクを実行し、ジェスチャーが押す動作である場合にはクライアント論理回路が使用者から遠ざかる方向にマップを傾けるなどのタスクを実行することをその論理回路を用いて、クライアントソフトウェアは決定することができる。

【0020】

本発明のシステムを操作するためには、使用者は、まず制御を行って、タッチフリー操作を作動する必要がある。制御を行うためには、使用者はシステムに使用者が指示を送信することを確認させる。次いで、システムは、上記に述べたように異なる手のジェスチャー及び／又は頭及び／又は他の身体の運動の形態である指示に応答する。制御は、それ以上の制御が必要でなくなるか、又はある期間の無運動状態が検出された時点で解除される。制御を行うことは、例えば、手を振る、頭を動かすなどの焦点合わせジェスチャーを用いるか、あるいは踏み込んでいる間の制御を可能とするフットペダルなどのハードウェアを使用するか、あるいは音声コマンドのいずれかによって実現することができる。

【0021】

システムによって検出される動作は、固定された機能は有していない。システムは、機能及び使用者がクライアントコンピュータ１６を現在操作しているモードに基づき、それぞれのジェスチャー、形、又は運動にそのコンテキストに応じて意味を関連付ける。一実施形態では、クライアントは、ターゲットソフトウェアモジュールとしての３Ｄマッピング論理回路を有する３Ｄマッピングシステムであってもよい。この場合、例えば、使用者がレビューモードでクライアントを操作している間は頭の動きによってマップを回転させ、クライアントがＦＡＭ（高速解剖学構造マッピング）によって３Ｄモデルを構築している間は頭の動きによってマップをパンさせることができる。更に、ジェスチャーによって、３Ｄマップ又はポイントリスト（マップを構成するすべての点を含む）内の電気解剖学的な点を選択することができる。

【0022】

ジェスチャーに関連付けることができる更なる意味としては、ＥＣＧチャンネルを選択すること、及びその性質（チャンネルの利得）又はノーテーションを変化させることが挙げられる。

【0023】

タッチフリー制御が作動されている時間の間、使用者に対して視覚的指示を示すことができる。必要に応じて、タッチフリー制御の作動及び停止時に聴覚的指示を与えることもできる。

【0024】

一実施形態では、こうしたハンドフリー操作は、検出された動作とは別に、又はこれと組み合わせて音声入力によって補助することができる。例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｋｉｎｅｃｔは周辺機器としてマイクロフォンを有し、認識された音声が来た方向を検出することができる。この及び／又は他の音声認識技術を用いて音声コマンドを捕捉し、使用者からの音声コマンドを選択的にフィルタリングすることができる。音声コマンドはジェスチャーと組み合わせることもできる。例えば、本発明がＣＡＲＴＯ（登録商標）とともに使用される場合、使用者は「ポイントリスト」と発声し、次いで手を上下に動かすことによって各ポイントを通ってスクロールし、次いで握りこぶしを作ることでリストからあるポイントを選択することができる。別の例では、使用者は「ポイントビューアー」と発声し、次いで動きを用いてチャンネルを選択し、その性質を変化させることができる。また、「メインマップ」又は「セカンダリーマップ」と発声してから、マップを回転、ズーム、及び／又はパンすることもできる。クライアントコンピュータは、それぞれの動作が最も新しく認識された音声コマンドとの組み合わせで何を意味するかを決定するうえですべてのロジックを実行する。この実施形態の１つの形態では、音声コマンドのみの使用又はジェスチャーのみの使用によって特定のコマンドを実行することが可能であり、例えば、ＣＡＲＴＯ（登録商標）におけるポイントの取得を、ジェスチャーを行う必要なく「取得」と発声するだけで行うことができる。

【0025】

図２は、１つのコンピュータ２６内にＣＰＵ及びクライアントコンピュータの両方のモジュールを有する実施形態を示したものである。図２に示される実施形態のシステムは、図１の要素と同じ機能を有する奥行きセンサー１０、音声認識２４、動作検出ソフトウェアモジュール１８、及びターゲットソフトウェアモジュール２０を有している。しかしながら、この実施形態では、１つのみのコンピュータ２６が使用され、ターゲットソフトウェアモジュール２０がクライアント通信モジュールを含んでいる。本発明は、図１又は図２の構成に限定されるものではない。それぞれが１又は２以上のモジュールを有する複数のＣＰＵを使用することも可能である。

【0026】

図３は、システムと相互作用を行う使用者を示している。図３では、奥行きセンサーに向かって手を振っており、奥行きセンサーはこの手の振りを検出している。例えば、こうした手の振りのような使用者の動作は、例えば、ターゲットソフトウェアモジュールなどのクライアントソフトウェアの現在作動中のモードに基づいて解釈される。例えば、ソフトウェアがレビューモードにある場合に手の振りによってマップを回転させたり、又はソフトウェアが作動していない場合に手の振りによってこれを作動させることができる。

【0027】

図４は、システムとの別の相互作用を示している。図４では、使用者は奥行きセンサーに対して握りこぶしを作っており、奥行きセンサーは使用者の手が握りこぶしを作ったことを検出している。上記に述べたように、使用者の動作は、クライアントソフトウェアの現在作動中のモードに基づいて解釈される。

【0028】

図５は、本発明の方法のフローチャートである。工程Ｓ１では、通常、使用者は、動作、音声コマンドを実行するか又はフットペダルを踏み込むことにより、タッチフリー制御システムの制御を行う。工程Ｓ２では、位置の変化を含む運動が奥行きセンサー１０によって検出されてＣＰＵ １２に送信される。工程Ｓ３では、ＣＰＵは短い運動及び／又は位置変化の履歴を追跡及び保存する。工程Ｓ４では、ＣＰＵ １２は、モーションソフトウェアを使用して、短い履歴に基づいて受信された動作からより複雑な運動又はジェスチャーを推測する。工程Ｓ５及びＳ６では、フィルタリングが行われる。工程Ｓ５では、その運動が予測された位置の範囲内であるか否かを判定し、かつ／又は顔認識を行うことによって、そのジェスチャーが許可された、又は適正な使用者によって行われているか否かが判定される。ジェスチャーが許可された使用者によるものと判定された場合（Ｓ５＝ＹＥＳ）には、処理は工程Ｓ６に進み、ここでＣＰＵによってジェスチャーが確認される。ジェスチャーが確認された場合（Ｓ６＝ＹＥＳ）には、ジェスチャーはクライアントコンピュータに送信され、工程Ｓ３において更なる動作追跡が再び開始される。工程Ｓ７では、ジェスチャーは、クライアントコンピュータ上の通信クライアントモジュールにおいて受信される。ジェスチャーが作動しているターゲットソフトウェアモジュールによって認識された場合（Ｓ８＝ＹＥＳ）、工程Ｓ９においてクライアントコンピュータは装置の機能又は動作、例えば，タスクを、推測されたジェスチャーに基づいたクライアント論理回路又はターゲットソフトウェアモジュールにしたがって実行する。これらのタスクには、ズーミング、軸上での回転などによって３Ｄマップの異なる像を取得することが含まれるが、これらに限定されるものではない。モーションソフトウェアがジェスチャーをクライアントコンピュータに送信した時点で（Ｓ６＝ＹＥＳである場合）、モーションソフトウェアは、次の検出された動作及び／又は身体の位置に対する応答に戻る。

【0029】

一実施形態では、許可された運動を行うことは、運動が別の装置などのハードウェアと併せて行われるか否かを判定することを必要とする。この実施形態では、許可された運動は、ソフトウェアによって推測された複雑な運動と、フットペダルを踏み込むなどの更なる動作とを含まなければならない。このような許可は、Ｓ５＝ＹＥＳである場合には、工程Ｓ５の後に、更に工程Ｓ６の前に行うことができる。

【0030】

検出された運動が許可された使用者によって行われていない（Ｓ５＝ＮＯ）か、検出された運動が有効なものではない（Ｓ６＝ＮＯ）場合には、処理は工程Ｓ３で継続する。ジェスチャーがクライアントソフトウェアによって認識されない場合（Ｓ８＝ＮＯ）、タスクは実行されない。

【0031】

本発明のシステムによれば、頭部追跡及び／又は他の動作検出技術を用いて手術室の装置によりタスクを実行することが可能となり、医師又は他のシステムの使用者がカテーテルの操作に両手を使いながら特定の動作を行うことができるために有利である。本システムは、ジェスチャーをフィルタリングし、許可された人員に対してのみ送ることが可能であるために効果的である。これにより、システムは意図された使用者によってのみ制御される。他者による手のジェスチャー及び頭の運動、並びに他の動作は無視することができる。

【0032】

本開示の様々な態様は、コンピュータ又は機械によって使用又は読み取り可能な媒体中に実施又は記憶されたプログラム、ソフトウェア、又はコンピュータ命令によって実施することが可能であり、こうしたプログラム、ソフトウェア、又はコンピュータ命令がコンピュータ、プロセッサー、及び／又は機械上で実行されると、コンピュータ又は機械が本方法の各工程を行う。機械によって実行可能な命令のプログラムを実体的に実施することによって本開示に述べられる様々な機能及び方法を行う、例えば、コンピュータ読み取り可能な媒体などの機械によって読み取り可能なプログラム記憶装置もまた提供される。

【0033】

本開示のシステム及び方法は、汎用コンピュータ又は特殊な目的のコンピュータシステム上で実施又は実行することが可能である。コンピュータシステムは、任意の種類の周知の又は将来的に周知となるであろうシステムであってもよく、プロセッサー、メモリー装置、記憶装置、入力／出力装置、内部バス、及び／又は、他のコンピュータシステムと通信するための通信用インターフェースを通信用ハードウェア及びソフトウェアなどとともに一般的に含みうる。本システムは、口語表現でクラウドとして知られるバーチャルコンピュータシステム上で実施することも可能である。

【0034】

コンピュータ読み取り可能な媒体とはコンピュータ読み取り可能な記憶装置であり、例えば、これは磁気的、光学的、電子的、電磁的、赤外線、又は半導体システム、装置、若しくは機器、又は上記のものの任意の適当な組み合わせであってもよいが、コンピュータ読み取り可能な記憶装置はこれらの例に限定されるものではない。コンピュータ読み取り可能な記憶装置の更なる特定の例としては、ポータブルコンピュータフロッピーディスク、ハードディスク、磁気記憶装置、ポータブルコンパクトディスク読み出し専用メモリー（ＣＤ−ＲＯＭ）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリー（ＥＰＲＯＭ又はフラッシュメモリー）、１又は２以上の配線を有する電気的接続、光ファイバー、光学的記憶装置、又は上記のものの任意の適当な組み合わせが挙げられるが、コンピュータ読み取り可能な記憶媒体もまた、これらの例に限定されるものではない。命令実行システム、装置又は機器によって、又はこれらとともに使用されるプログラムを格納又は記憶することが可能なあらゆる実体的な媒体がコンピュータ読み取り可能な記憶装置となりうる。

【0035】

本出願において使用しうるところの「コンピュータシステム」及び「コンピュータネットワーク」なる用語には、据え置き型及び／又は携帯型のコンピュータハードウェア、ソフトウェア、周辺機器、及び記憶装置の様々な組み合わせが含まれうる。コンピュータシステムは、ネットワーク化されるか又は他の態様で接続されることによって協働して動作する個別の構成要素を含むか、又は１又は２以上のスタンドアローンの構成要素を含みうる。本出願のコンピュータシステムのハードウェア及びソフトウェア構成要素は、デスクトップ、ラップトップ、及び／又はサーバなどの据え置き型又は携帯型の装置、並びにサーバのネットワーク（クラウド）を含み、これらに含まれうる。モジュールとは、ソフトウェア、ハードウェア、ファームウェア、電子回路などとして実施することが可能な、特定の「機能」を実行する装置、ソフトウェア、プログラム、又はシステムの構成要素でありうる。

【0036】

上記に述べた実施形態は説明のための例であり、本発明はこれらの特定の実施形態に限定されるものとして解釈されるべきではない。したがって、当業者であれば、付属の特許請求の範囲において定義される本発明の趣旨及び範囲から逸脱することなく様々な変更及び改変を行うことが可能である。

【0037】

〔実施の態様〕
（１） 装置のタッチフリー操作を行うためのシステムであって、
運動を検出するための奥行きセンサーと、
前記奥行きセンサーから前記検出された運動を受信し、前記検出された運動に基づいてジェスチャーを推測し、前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取るように作動可能なモーションソフトウェアモジュールと、
前記適用可能なジェスチャーをクライアントコンピュータにて受信して前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行するように作動可能なクライアントソフトウェアモジュールと、を含むシステム。
（２） 前記クライアントがマッピング装置であり、前記タスクが、マップを回転させること、マップ上にズームインすること、マップを傾けること、及びマップをパンすることの１つである、実施態様１に記載のシステム。
（３） 前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも１つであり、前記ジェスチャーが短い履歴に基づいて更に推測される、実施態様１に記載のシステム。
（４） 前記検出された運動を前記適用可能なジェスチャーとするためのハードウェアを更に含む、実施態様１に記載のシステム。
（５） 前記適用可能なジェスチャーが、顔認識を用いて許可を有すると判定された使用者によって行われる前記検出された運動、及び前記クライアント論理回路にしたがって認識されるジェスチャーの１又は２以上である、実施態様１に記載のシステム。
（６） 前記ジェスチャーのフィルタリングが、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定することによって実行される、実施態様１に記載のシステム。
（７） 前記適用可能なジェスチャーを前記クライアントコンピュータにて受信するためのクライアント通信モジュールを更に含む、実施態様１に記載のシステム。
（８） 前記クライアントが前記適用可能なジェスチャーと共に音声入力に基づいて前記タスクを実行することを可能とするための前記音声入力を与える音声認識を更に含む、実施態様１に記載のシステム。
（９） 装置のタッチフリー操作のための方法であって、
奥行きセンサーを使用して運動を検出する工程と、
前記検出された運動に基づいてジェスチャーを推測する工程と、
前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取る工程と、
前記適用可能なジェスチャーをクライアントにて受信する工程と、
前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する工程と、を含む、方法。
（１０） 前記クライアントがマッピング装置であり、前記タスクが、マップを回転させること、マップ上にズームインすること、マップを傾けること、及びマップをパンすることの１つである、実施態様９に記載の方法。

【0038】

（１１） 前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも１つであり、前記ジェスチャーが短い履歴に基づいて更に推測される、実施態様９に記載の方法。
（１２） ハードウェアが作動している間に前記適用可能なジェスチャーが行われる、実施態様９に記載の方法。
（１３） 前記適用可能なジェスチャーが、顔認識を用いて許可を有すると判定された使用者によって行われる前記検出された運動である、実施態様９に記載の方法。
（１４） 前記適用可能なジェスチャーが、前記クライアント論理回路にしたがって認識されるジェスチャーである、実施態様９に記載の方法。
（１５） 音声認識を用いた音声入力を提供する工程を更に含み、前記実行する工程が、前記適用可能なジェスチャーと共に前記音声入力に基づいて行われる、実施態様９に記載の方法。
（１６） 前記ジェスチャーをフィルタリングする工程が、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定する工程を含む、実施態様９に記載の方法。
（１７） 装置のタッチフリー操作を行うための方法を実行するために機械により実行可能な命令のプログラムを記憶するためのコンピュータ読み取り可能な記憶装置であって、前記方法が、
奥行きセンサーを使用して運動を検出する工程と、
ＣＰＵを使用して、前記検出された運動に基づいてジェスチャーを推測する工程と、
前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取る工程と、
前記適用可能なジェスチャーをクライアントにて受信する工程と、
前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する工程と、を含む、装置。
（１８） 前記クライアントがマッピング装置であり、前記タスクが、マップを回転させること、マップ上にズームインすること、マップを傾けること、及びマップをパンすることの１つである、実施態様１７に記載のプログラム。
（１９） 前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも１つである、実施態様１７に記載のプログラム。
（２０） 前記適用可能なジェスチャーが、ハードウェアが作動している間に行われる動作、及び顔認識を用いて許可を有すると判定された使用者による動作の１つである、実施態様１７に記載のプログラム。

【0039】

（２１） 前記ジェスチャーをフィルタリングする工程が、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定する工程を含む、実施態様１７に記載のプログラム。
（２２） 音声認識を用いた音声入力を提供する工程を更に含み、前記実行する工程が、前記適用可能なジェスチャーと共に前記音声入力に基づいて行われる、実施態様１７に記載のプログラム。

【図1】

【図2】

【図3】

【図4】

【図5】