特許 6772184 グループのメンバによってデバイスを操作する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6772184

(24)【登録日】2020年10月2日

(45)【発行日】2020年10月21日

(54)【発明の名称】グループのメンバによってデバイスを操作する方法及び装置

(51)【国際特許分類】

   G16H 40/60 20180101AFI20201012BHJP

【ＦＩ】

   G16H40/60

【請求項の数】13

【全頁数】15

(21)【出願番号】特願2017-556187(P2017-556187)

(86)(22)【出願日】2016年4月15日

(65)【公表番号】特表2018-525696(P2018-525696A)

(43)【公表日】2018年9月6日

(86)【国際出願番号】EP2016058430

(87)【国際公開番号】WO2016173865

(87)【国際公開日】20161103

【審査請求日】2019年4月10日

(31)【優先権主張番号】15165570.1

(32)【優先日】2015年4月29日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】110001690

【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ドバイ ユリア

(72)【発明者】

【氏名】チェン ナイン‐ズ

(72)【発明者】

【氏名】ファン レーンゴード マーレーン ヨハンナ ヤコバ

【審査官】 永野 一郎

(56)【参考文献】

【文献】 中国特許出願公開第１０３６０５４２６（ＣＮ，Ａ）

【文献】 特開２００７−３３４３０１（ＪＰ，Ａ）

【文献】 特開平１１−２６２４９２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０２８５４３２（ＵＳ，Ａ１）

【文献】 特開平１１−３２７７５３（ＪＰ，Ａ）

【文献】 吉光喜太郎，Ｋｉｎｅｃｔを用いた術中情報非接触直感操作型アプリケーション開発とその臨床応用，映像情報インダストリアル，日本，産業開発機構（株），２０１２年 ６月 １日，第４４巻第６号，p.22-26

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１６Ｈ １０／００−８０／００

Ｇ０６Ｑ １０／００−９９／００

(57)【特許請求の範囲】

【請求項1】

グループの１人以上のグループメンバから受信される入力に基づいてデバイスを制御することによって前記デバイスを操作する方法であって、前記方法は、
認証済みのグループメンバのみがモニタリングされることとなるように、１人以上のユーザとインタラクトするためのユーザ入力手段によって、前記グループを確立するために、前記ユーザをグループメンバとして追加するための各ユーザの認証を行うステップと、
センサユニットを用いて、１人以上の前記認証済みのグループメンバのうちの命令を出すグループメンバによって提供され、視覚命令又は可聴命令の少なくとも一方を含む少なくとも１つの命令を検出するために、各認証済みのグループメンバをモニタリングするステップと、
前記命令を検出すると、制御ユニットによって、前記命令に関連付けられている、前記デバイスを制御する制御コマンドを特定するステップと、
前記検出された命令が、前記命令を出すグループメンバのメンバプロファイルデータ内の参照命令にマッチする場合にのみ、前記制御ユニットによって、前記デバイスに前記制御コマンドを提供するステップと、
を含み、前記制御コマンドを特定する前記ステップは、
ａ）前記制御ユニットによって、検出された前記命令を、前記認証済みのグループメンバのうちの前記命令を出すグループメンバに関連付けるステップと、
ｂ）メモリユニットから、参照命令のセットを含む、前記命令を出すグループメンバの前記メンバプロファイルデータにアクセスするステップであって、前記参照命令のセットが前記認証済みのグループメンバごとに異なるステップと、
ｃ）前記制御コマンドを特定するために、前記検出された命令と、前記命令を出すグループメンバの前記メンバプロファイルデータ内の前記参照命令のセットから選択される所与の参照命令とをマッチングさせるステップと、
を含む、方法。

【請求項2】

モニタリングする前記ステップは、各認証済みのグループメンバを連続的に追跡するステップを含む、請求項１に記載の方法。

【請求項3】

前記制御コマンドを特定する前記ステップは更に、特定された前記制御コマンドについて、前記命令を出すグループメンバの前記メンバプロファイルデータから得られる権限付与ステータスを検証するステップを含む、請求項１又は２に記載の方法。

【請求項4】

前記命令、特定された前記制御コマンド、及び前記命令を出すグループメンバのメンバ識別子を前記メモリユニットに記憶するステップを更に含む、請求項１乃至３の何れか一項に記載の方法。

【請求項5】

認証を行う前記ステップは更に、前記ユーザを前記グループメンバとして追加する前に、公認グループメンバとして、認証された前記ユーザの身元確認を可能にするために、前記メモリユニットからのグループプロファイルにアクセスするステップを含む、請求項１乃至４の何れか一項に記載の方法。

【請求項6】

前記制御ユニットは、前記センサユニットからのセンサ信号を受信する中央ユニットに含まれ、前記メモリユニットは、前記制御ユニットによってアクセス可能であり、前記方法は更に、
前記制御ユニットによって、前記制御コマンドを受信する候補デバイスを特定するステップを含み、前記候補デバイスは、前記検出された命令と、前記命令を出すグループメンバの前記メンバプロファイルデータ内の前記参照命令との前記マッチングによって特定される、複数のデバイスを操作するための請求項１乃至５の何れか一項に記載の方法。

【請求項7】

前記センサユニットは、ジェスチャ又は姿勢を検出するための視覚画像の受信、及び、声又は他の音を検出するためのオーディオ信号の受信を含む群の少なくとも１つの受信の要素のために構成される、請求項１乃至６の何れか一項に記載の方法。

【請求項8】

グループの１人以上のグループメンバから受信される入力に基づいてデバイスを制御することによって前記デバイスの操作を制御する装置であって、
前記１人以上のグループメンバのうちの命令を出すグループメンバによって提供される少なくとも１つの命令を検出するために、各グループメンバをモニタリングするセンサユニットであって、視覚命令又は可聴命令を検出するように、視覚画像又は可聴信号の少なくとも一方を受信する前記センサユニットと、
前記センサユニットに通信可能に接続され、前記センサユニットからの出力信号を受信する制御ユニットであって、前記命令を検出すると、前記デバイスを制御する制御コマンドを特定するプロセッサを含み、前記制御コマンドは、前記命令に関連付けられ、前記デバイスに通信可能に接続される前記制御ユニットと、
を含む装置において、
前記装置は更に、
認証済みのグループメンバのみがモニタリングされることとなるように、ユーザとインタラクトして、前記グループを確立するために、グループメンバとして前記ユーザを追加するための前記ユーザの認証を行うユーザ入力手段と、
前記認証済みのグループメンバの１つ以上のメンバプロファイルデータを記憶するメモリユニットであって、各認証済みグループメンバの前記メンバプロファイルデータは、前記各グループメンバの参照命令のセットを含み、前記参照命令のセットが前記認証済みのグループメンバごとに異なる、前記メモリユニットと、
を含み、
前記制御ユニットは更に、前記プロセッサによって、検出された前記命令を、前記認証済みのグループメンバのうちの前記命令を出すグループメンバに関連付け、前記メモリユニットからの前記命令を出すグループメンバの前記メンバプロファイルデータにアクセスし、前記制御コマンドを特定するために、前記検出された命令と、前記命令を出すグループメンバの前記メンバプロファイルデータ内の前記参照命令のセットから選択される所与の参照命令とをマッチングさせ、前記検出された命令が、前記命令を出すグループメンバの前記メンバプロファイルデータ内の参照命令にマッチする場合にのみ、前記デバイスに前記制御コマンドを提供することを特徴とする、装置。

【請求項9】

前記ユーザ入力手段は、個人的な目の特徴に基づいて前記ユーザを認証する虹彩若しくは網膜スキャナ又は指紋スキャナを含むバイオメトリックスキャナ、個人的なログオン詳細を入力するためのキーボード、タッチセンサー式スクリーン、又は、カメラを含む群のうちの少なくとも１つの要素を含む、請求項８に記載の装置。

【請求項10】

前記センサユニットは、領域を観察する１つ以上のカメラを含む撮像デバイス又は撮像装置、及び、オーディオ信号を感知する１つ以上のマイクロホンを含むオーディオセンサデバイス又はオーディオセンサ装置を含む群のうちの少なくとも１つの要素を含む、請求項８又は９に記載の装置。

【請求項11】

前記制御ユニットは、前記プロセッサによって、前記制御コマンドを受信する候補デバイスを特定するように更に構成され、前記候補デバイスは、前記検出された命令と、前記メンバプロファイルデータ内の前記参照命令とのマッチングによって特定される、請求項８乃至１０の何れか一項に記載の装置。

【請求項12】

グループの１人以上のグループメンバから受信される入力に基づいてデバイスを制御することによって前記デバイスを操作する、請求項１乃至７の何れか一項に記載の方法を実施するためのプログラムコード命令を含む、通信ネットワークからダウンロード可能である並びに／又はコンピュータ可読媒体及び／若しくはマイクロプロセッサ実行可能媒体上に格納されるコンピュータプログラム。

【請求項13】

請求項１２に記載のコンピュータプログラムを含む、データ担体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、グループの１人以上のグループメンバから受信される入力に基づいてデバイスを制御することによって、当該デバイスを操作する方法に関する。当該方法は、センサユニットを使用して、上記１人以上のグループメンバのうちの命令出しグループメンバによって提供される少なくとも１つの命令を検出するために、各グループメンバをモニタリングするステップと、命令を検出後、制御ユニットによって、命令に関連付けられる制御コマンドを特定するステップと、上記制御ユニットによって、デバイスを制御するために当該デバイスに制御コマンドを提供するステップとを含み、上記命令は、視覚又は可聴命令の少なくとも1つを含む。本発明は更に、このような方法を行う装置と、コンピュータプログラムプロダクトとに関する。

【背景技術】

【0002】

ジェスチャ又は話し声によってデバイスを操作する方法及びシステムは、様々な変形で、また、様々な応用分野において利用可能である。このようなシステムの初期の実施態様は、単純に動きセンサによる動きの検出に依存して、照明器具、カメラ又はアラームシステムといったデバイスを操作していた。より洗練された実施態様は、特定の動きパターンを検出可能であり、これにより、ユーザが特定のジェスチャによってデバイスの目標とする操作の的を絞ったり、デバイスの操作がセンサの前のあらゆる動きをむやみに感知しないようにすることができる。

【0003】

画像及び動画における顔検出及び顔認識は、多くのシステム（例えばグーグル社のＰｉｃａｓａ又はＷｉｎｄｏｗｓ Ｌｉｖｅ）の標準特徴／機能となりつつある。閉環境における人の存在及び場所を追跡する他の手段も存在し、使用されている。例えばＲＦＩＤベースのソリューションが使用され、これを介して、ＲＦＩＤタグを装着している人を長距離検出及び三角測量技術を用いて連続的に追跡することができる。

【0004】

欧州特許第０９１９９０６号は、ジェスチャという形で、デバイスを制御する入力が提供されることを可能にする制御方法及びシステムを開示している。当該方法は、ジェスチャを行っている人の属性を認識する操作者選択部を含む。操作者属性の追加情報を使用して、何人かの操作者を他の操作者に対して優先させる。

【0005】

米国特許出願公開第２００８／０００４９５１号は、小売施設においてリアルタイムで広告を提示するアーキテクチャを開示している。センサコンポーネントが、１人以上の客の情報を、当該客が店内を動き回る間に収集するセンサを含む。センサは、例えば画像処理、音声処理、光感知、速度感知、方向感知、近接感知、顔認識、姿勢認識、取引認識及びバイオメトリック感知の機能を含む。客コンポーネントが、情報を解析し、客に関するプロファイルを生成する。客が店の提示システムの近くを歩くと、当該客を標的にした広告が提示のために選択される。広告コンポーネントは、プロファイルに応じて個人を標的にした広告のダイナミック提示を促進する。客コンポーネントは、マシン学習及び論理的思考を使用して、解析中に情報を推測することができる。

【0006】

病院内の手術室といった医療環境では、人のグループが、医療機器に支援された特定のチーム作業を行うように割り当てられる。例えば外科教室では、何人かの人（外科スタッフ）が外科手術を共に行うように共同作業をする。外科手術は、通常、指導的立場にあるチームメンバでもある外科医によって行われる。外科医は、麻酔を行う麻酔医や、他の作業を行うほかの医療スタッフメンバに依存する。外科チームメンバは共に、幾つかの医療システムを制御する。これらのシステムは、通常、物理的なボタン又はスイッチを介して操作される。一般に、主外科医は、（患者の対応で両手がふさがっているか、又は、両手が無菌状態であるが、触る必要のある部分は無菌状態ではない場合に）医療システムを彼自身で操作することができず、他の医療スタッフメンバにデバイスを操作するように要求する。

【0007】

Ａｌｉ Ｂｉｇｄｅｌｏｕ他による「HCI Design in the OR: A Gesturing Case-Study」（Computer Aided Medical Procedures, Technische Universitat Munchen, and Klinikum Munchen-Pasing、２０１２年１０月）には、ジェスチャベースのインターフェースによって手術室内の医療器具を制御するコンピュータ化されたシステムが開示されている。

【0008】

Ｈｅｌｅｎａ Ｍ．Ｍｅｎｔｉｓ他による文書「Voice or Gesture in the Operating Room」（Human Factors in Computing Systems, ACM, 2 Penn Plaza, Suite 701 New York NY10121-0701 USA、２０１５年４月１８日、７７３〜７７８頁）は、外科医の選択によるジェスチャ又は音声制御を可能にする別の上記のようなシステムを提示している。

【0009】

本発明の目的は、独立請求項によって解決される。有利な実施形態は、従属請求項に規定される。

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明は、外科チームといった特定の作業を一緒に行う操作者チームによって操作されるように実施される視覚命令又は可聴命令に基づく機器制御方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明は、グループの１人以上のグループメンバから受信される入力に基づいてデバイスを制御することによって当該デバイスを操作する方法を提供することによって、これらの及び他の目的を達成する。当該方法は、センサユニットを用いて、１人以上のグループメンバのうちの命令を出すグループメンバによって提供される少なくとも１つの命令を検出するために、各グループメンバをモニタリングするステップを含む。この命令は、視覚命令又は可聴命令の少なくとも一方を含む。上記方法は更に、命令を検出すると、制御ユニットによって、デバイスを制御する制御コマンドを特定する。制御コマンドは、命令に関連付けられている。制御ユニットは、デバイスに制御コマンドを提供する。グループを確立するために、上記方法は更に、ユーザとインタラクトするためのユーザ入力手段によって、ユーザをグループメンバとして追加するためにユーザの識別認証を行うステップを含む。制御コマンドを特定するために、上記方法は、制御ユニットによって、検出された命令を、グループメンバのうちの命令を出すグループメンバに関連付けるステップと、メモリユニットからの命令を出すグループメンバの参照命令のセットを含むメンバプロファイルデータにアクセスするステップと、制御コマンドを特定するために、検出された命令と、命令を出すグループメンバのメンバプロファイルデータ内の参照命令のセットから選択される所与の参照命令とをマッチングさせるステップとを含む。

【0012】

当然ながら、ジェスチャベースの機器制御の使用は、従来の環境では可能ではなかった状況における医療システムの直接制御を外科医が有することを可能にする可能性がある。これは、動作を行うための応答時間を短縮し、（チームメンバ間での言葉によるやり取りが、特に背景音がある場合に、間違いを起こしやすいことを認識することで）エラーのリスクを軽減するので、例えば（タイム）クリティカル動作といった特定の動作を行う場合に好適である。本発明は、従来のジェスチャベースの制御方法は、手術といったクリティカルな医療環境における実施には適していないという洞察に基づいている。これらの従来の方法は、しばしば、十分な信頼性がない。更に、これらの方法は、チームメンバの任務及び責任を考慮しない。例えば外科環境では、外科スタッフメンバの任務及び責任は、例えば矛盾する動作を阻止し、メンバのスキルを最適に適用するために、明確に規定されている。

【0013】

「視覚命令」及び「可聴命令」との用語は、特定の領域における経時的な変化を検出することを可能にするセンサユニットを使用して検出される任意の命令を含むものと理解されるべきである。命令は、ジェスチャ、話声による命令、音による命令（例えば手を叩くこと）、グループメンバが取る姿勢（例えば手を固定位置に一時的に維持すること）を含む。これらの命令は、音の検出とグループメンバの対応する動作といったように上記の組み合わせでもよい。例えば手を叩くことに、特定のグループメンバの手が互いに向かって動くことの検出が伴い、又は、音声コマンドが動く唇の検出を含む。他の例としては、両手を交差して上げつつ「ピリオド」と言ったり、片手で上げ動作をしつつ増加するパラメータ名を言ったりする（例えば片手を上げて「アドレナリン」及び「ゆっくり」と言う）といったように、ジェスチャが追加の音声コマンドを含むようになされることである。

【0014】

本発明の方法は、グループメンバをグループに追加する前に、識別認証を行う。これにより、デバイスを制御可能である人々のグループが、各グループ作業について明確に規定される。例えばグループ作業の実行に参加する一人ひとり（ユーザ）が、最初に、識別認証セッションを完了することによって、グループに参加しなければならない。人は、認証がなければ、上記方法を行っているシステムによって無視される。承認後、各グループメンバはシステムによってモニタリングされるため、システムは、認証済みのグループメンバをモニタリングする。幾つかの実施形態では、認証は、グループ作業の開始時（例えば手術の開始前）に行われる。他の実施形態では、グループメンバを開始から任意の時間（例えば手術の後の方）に追加して、追加のスキルが予想外に必要となった場合に、当該追加のスキルを外科スタッフに追加することも可能である。

【0015】

認証によってグループメンバの身元を認識している上で、本発明は更に、グループ内のグループメンバの任務及び責任を考慮に入れる。これは、制御コマンドを特定するために、制御ユニットによって、検出された命令を、グループメンバのうちの命令を出すグループメンバに関連付け、その後、当該命令が、命令を出すグループメンバのメンバプロファイル内の参照命令とマッチされることによって達成される。メモリユニットからの命令を出すグループメンバのメンバプロファイルは、制御ユニットによってアクセスされる。

【0016】

これは幾つかのメリットを有する。上記されるように、命令をメンバプロファイルに対して検証することによって、グループメンバは、当該グループメンバに提供する権限が与えられていない命令を提供することがない。例えば特定の実施形態では、制御コマンドの特定は更に、命令を出すグループメンバのメンバプロファイルデータから得られる権限付与ステータスの検証を含む。他の実施形態は、メンバプロファイルデータを、例えばグループ内のグループメンバの任務に対応する規定された機能グループに基づいて分類に関連付けさせる。これにより、権限付与ステータスがこの分類から分かる。

【0017】

更に、参照命令の使用は、特定の実施形態では、各グループメンバによって使用されるジェスチャ及び音声コマンドを個別化することを可能にする。標準化ジェスチャ、音声コマンド、音又は姿勢といった標準化命令に依存する実施形態においても、このような命令の意味を個別化することができる。これにより、グループメンバの任務及び責任を十分に考慮することができる。

【0018】

幾つかの実施形態では、モニタリングするステップは、各グループメンバが認証されると、各グループメンバを連続的に追跡するステップを含む。識別認証後に、各グループメンバを連続的に追跡することによって、グループメンバの認識を間違えることが阻止される。識別認証が行われると、センサユニットから受信される画像内の各グループメンバの存在が連続的にタグ付けされ、これにより、検出された命令の命令を出すグループメンバとの関連付けが可能にされる。更に、これは、方法を行うシステムによって、グループメンバによって提供された命令を見落とすことも阻止される。

【0019】

どのチームメンバがどの検出命令を提供したのかに関する詳細情報が入手可能であることは更に、幾つかの実施形態において、行われるべきグループ作業を電子的にかつ自動的に追跡することを更に可能にする。例えばすべての命令は、後の評価又は訓練を目的としてログファイルにログされる。

【0020】

本発明の方法は、単一デバイスの制御だけに限定されず、一実施形態では、複数のデバイスを制御するために実施される。このような実施形態では、制御ユニットは、センサユニットからのセンサ信号を受信する中央ユニットに含まれ、メモリユニットは、制御ユニットによってアクセス可能である。この実施形態による方法は、制御ユニットによって、制御コマンドを受信する候補デバイスを特定するステップを含み、候補デバイスは、検出された命令の命令を出すグループメンバのメンバプロファイルデータ内の参照命令とのマッチングによって特定される。

【0021】

更なる態様によれば、グループの１人以上のグループメンバから受信される入力に基づいてデバイスを制御することによって当該デバイスの動作を制御する装置が提供される。当該装置は、１人以上のグループメンバのうちの命令を出すグループメンバによって提供される少なくとも１つの命令を検出するために、各グループメンバをモニタリングするセンサユニットであって、視覚命令又は可聴命令を検出するように、視覚画像又は可聴信号の少なくとも一方を受信する上記センサユニットと、センサユニットに通信可能に接続され、センサユニットからの出力信号を受信する制御ユニットであって、命令を検出すると、デバイスを制御する制御コマンドを特定する当該プロセッサを含み、制御コマンドは命令に関連付けられ、デバイスに制御コマンドを提供するためにデバイスに通信可能に接続される上記制御ユニットと、ユーザとインタラクトして、グループを確立するために、グループメンバとしてユーザを追加するためのユーザの識別認証を行うユーザ入力手段と、グループメンバの１つ以上のメンバプロファイルデータを記憶するメモリユニットであって、各グループメンバのメンバプロファイルデータは、各グループメンバの参照命令のセットを含む、上記メモリユニットとを含み、制御ユニットは更に、プロセッサによって、検出された命令を、グループメンバのうちの命令を出すグループメンバに関連付け、メモリユニットからの命令を出すグループメンバのメンバプロファイルデータにアクセスし、制御コマンドを特定するために、検出された命令と、命令を出すグループメンバのメンバプロファイルデータ内の参照命令のセットから選択される所与の参照命令とをマッチングさせるように構成される。

【0022】

一実施形態では、ユーザ入力手段は、個人的な目の特徴に基づいてユーザを認証する虹彩若しくは網膜スキャナ又は指紋スキャナを含むバイオメトリックスキャナ、個人的なログオン詳細を入力するためのキーボード、タッチセンサー式スクリーン、又は、カメラを含む群のうちの少なくとも１つの要素を含む。

【0023】

更に、幾つかの実施形態によれば、センサユニットは、領域を観察する１つ以上のカメラを含む撮像デバイス又は撮像装置、及び、オーディオ信号を感知する１つ以上のマイクロホンを含むオーディオセンサデバイス又はオーディオセンサ装置を含む群のうちの少なくとも１つの要素を含む。

【0024】

第３の態様によれば、本発明は、グループの１人以上のグループメンバから受信される入力に基づいてデバイスを制御することによって当該デバイスを操作する本発明の第１の態様による方法を実施するためのプログラムコード命令を含む、通信ネットワークからダウンロード可能である並びに／又はコンピュータ可読媒体及び／若しくはマイクロプロセッサ実行可能媒体上に格納されるコンピュータプログラムプロダクトに関する。更に、本発明は、更なる態様によれば、上記コンピュータプログラムプロダクトを含むデータ担体に関する。

【図面の簡単な説明】

【0025】

以下において、本発明は、添付図面を参照して、その幾つかの特定の実施形態によって説明される。

【0026】

【図1】図１は、本発明の環境を示す。

【図2】図２は、本発明の方法を概略的に説明する。

【図3】図３は、本発明によるシステムを概略的に示す。

【図4】図４は、本発明の方法を概略的に説明する。

【発明を実施するための形態】

【0027】

説明において、「ジェスチャ」と言及される場合、当然ながら、本文書の他の箇所において言及される話し声命令、音による命令（例えば手を叩くこと）、グループメンバが取る姿勢（例えば手を固定位置に一時的に維持すること）又は任意のこのような命令の組み合わせといった任意の他のタイプの命令に置換される。更に、「識別認証」との用語は、ユーザ又は人の身元を確実に確認することを可能にする任意の動作又は方法と解釈される。当然ながら、所望の確実性の度合いは実施態様に応じる。アクセスバッジによる身元確認が十分である実施態様がある一方で、指紋又は網膜スキャンが好まれる実施態様もある。

【0028】

図１に、本発明が適用される環境が例示的に示される。図１では、作業を行う間に、複数のグループメンバ１、２及び３がデバイス６を操作する。図１は概略に過ぎず、同僚１、２及び３が一緒に、ファクシミリデバイス６といった幾つかのデバイスを使用するオフィス環境を示す。グループメンバ１、２及び３は、グループ内で異なる任務及び責任を有し、これに対応して、グループメンバ１、２及び３のうちの誰かによって提供される命令は、デバイス６が従う優先順位が異なる。追跡システム８（例えば１つ以上のカメラ）は、グループメンバ１、２及び３が作業している領域をモニタリングする。追跡システム８は、何れかのグループメンバによって行われる／出されるジェスチャ又は音を特定するように、各グループメンバ１、２及び３をモニタリングすることを可能にする。各グループメンバ１、２及び３は、デバイス６に入力を提供し、両方向矢印９、１０及び１１によってそれぞれ示されるように、フィードバックを受信する。以下に更に説明されるように、追跡システム８は、グループメンバ１、２又は３のうちの１人によって命令が与えられたか否かに関する情報を受信する制御ユニット（図示せず）に通信可能に接続される。

【0029】

グループメンバとして追加される前に、グループメンバ１、２又は３が追加されるためには、識別認証セッションが求められる。制御ユニットは、認証を行った後、メンバユニットからのパーソナルプロファイル又はメンバプロファイルにアクセスする。グループメンバ１、２又は３とデバイス６との間のダイアログ９、１０及び１１が、メンバプロファイルを使用して個別化される。ダイアログの個別化は、各グループメンバ１、２及び３が個別化されたジェスチャをデバイス６への入力として使用することを含む。つまり、ジェスチャは、命令を提供するグループメンバ（１、２又は３）に応じて異なる意味を有する。更に、デバイス６から命令を出したグループメンバ（１〜３）へのダイアログ９、１０及び１１におけるフィードバックも個別化される。当然ながら、個別化は、グループメンバが権限を与えられている動作のグループメンバ自身の個別化セットを各グループメンバ１、２及び３が持つことも含む。例えばデバイス６の幾つかの機能はグループメンバ１によってのみアクセス可能である一方で、他の機能はすべてのグループメンバに利用可能であってよい。

【0030】

追跡システム８は、（例えば顔検出及び認識、ＲＦＩＤタグ付け等といった）既存の追跡機能に基づいた人追跡システムである。図２を参照するに、追跡対象の人１、２又は３はそれぞれ、ステップ１９において、最初に、網膜スキャン、指紋認識、アクセスバッジ等といった信頼性の高い機構を用いる識別認証セッション中に一意に識別される。なお、このような機構は、追跡に連続的には使用されなくてもよい。認証は、多くの場合、一時の本人確認を提供するので、グループメンバを追跡し続けるには追加の手段を必要とする。したがって、１回限りの又は間欠的に使用される本人確認機構と連続追跡機構との組み合わせ（ステップ２３）が好適である。識別認証セッション１９は、幾つかの実施形態では、図２に矢印１６によって示されるように、（例えばメモリユニットから入手可能である）メンバデータコレクション１５に格納されているメンバプロファイルから個人情報を入手する。認証が完了すると、本人確認された人は、グループメンバとして追加される。メンバデータコレクション１５において入手可能であるメンバプロファイルデータの一部（又は全部）を含むデータは、矢印２０によって示されるように、更なる使用のためにシステムに提供される。更に、或いは、メモリユニット内のメンバプロファイルデータへの参照のみが提供されてもよい。これは、例えば追跡システム８によって追跡される人のタグ付けを可能にして、これにより、任意の命令（以下のイベントの説明を参照）を提供した人（今ではグループメンバとなっている）のメンバプロファイルとの当該命令の関連付けができる。

【0031】

追跡処理３２中、追跡された各人の（ジェスチャ、話し声、姿勢等による）システムとの相互作用は、イベント２５を生じさせる。イベントは、身元、場所、タイムスタンプ及び入力命令（ジェスチャ、姿勢、声コマンド等）のうちの１つ、複数又はすべてを含む。イベント２５は、更なる処理のために制御ユニットが利用可能であるようにされる。制御ユニットを制御するソフトウェアが、このイベントをステップ２６への入力としてとらえる。システムを制御する第２の入力２７が、すべての身元及びそれらの任務、許可及び既知のジェスチャ並びに個人的好みを有するメンバデータコレクション１５から得られる。ステップ２６において、制御ユニットは、２つの入力２５及び２７に基づいて、制御される機器６の適切な動作を決定し、適当なフィードバックを、命令を出したグループメンバに提供する。このフィードバックは、システムが（入力２５を使用して）誰がコマンドを出したのか、また、（メンバデータコレクション１５から得られたメンバプロファイルデータ２７に基づいて）その人の好みが何であるかを知っているため、個別化される。これにより、各個人と複雑なシステムとの間で、また、複数の個人について並列に高度に個別化された２方向ダイアログが可能となる。ステップ２６の結果に基づき、制御コマンド２９が器具６に提供され、これにより、ステップ３０において、要求された動作が行われる。

【0032】

図３に、本発明の一実施形態による医療環境に関連するシステム３５の更なる例が示される。図３には、手術を受ける患者３８がその上にいる手術台３７を含む手術室が示される。手術台３７の周りには、複数の外科スタッフメンバ３９、４０、４１、４２、４３、４４、４５が概略的に示される。各外科スタッフメンバ３９〜４５は、チーム内で異なる任務及び責任を有する。例えば外科医３９は、手術を指揮するチームのリーダである。外科医３９は、外科助手４２及び心臓専門医４３によって支援される。麻酔医４１が、患者３８のバイタルサインを永続的にモニタリングしつつ麻酔を行う。更に、手術助手４０及び４４と、更なる医師４５とが待機している。手術室内には、モニタディスプレイ５４及び５５が戦略的に配置され、外科スタッフによって使用されて、手術を支援する情報、画像等が提供される。手術室内の照明は、照明ユニット５６によって提供される。様々な機能を行うデバイス４８、５０及び５２も医療支援機器の一部である。

【0033】

手術室には、幾つかのカメラ６０Ａ、６０Ｂ、６０Ｃ及び６０Ｄが装備され、これらは全体で追跡システム６０を形成する。当然ながら、図３の例では、４つのカメラが示されるが、グループメンバ３９〜４５の追跡を可能とするために必要であるカメラ又は他の感知ユニットの数は状況毎に異なる。例えばたった１つの感知ユニット又はカメラが十分である実施形態もあれば、扉及び廊下によって相互接続される幾つかの異なる部屋に、全体で追跡システムを形成する２０又は３０個のカメラが装備される実施形態もある。更に、カメラの代わりに又はカメラに加えて、マイクロホン、ＲＦＩＤスキャナ、熱センサといった他のセンサユニットが適用されてもよいし、人の追跡に適したセンサの任意の組み合わせが追跡システム６０の一部であってもよい。

【0034】

図３の実施形態では、制御されるすべてのデバイス４８、５０、５２、５４、５５及び５６と、カメラ６０Ａ乃至６０Ｄとは、破線によって概略的に示されるネットワーク６２によって相互接続される。ネットワーク６２は更に、中央ユニット６４にも接続する。当然ながら、ネットワーク６２は、上記デバイス及びカメラを相互接続する有線ネットワーク、無線ネットワーク又は有線ネットワーク及び無線ネットワークの組み合わせであってよい。当業者であれば、状況に応じて最も適切なネットワーク組み合わせを選択することができるであろう。

【0035】

感知ユニット６０Ａ〜６０Ｄ（カメラ）は、グループメンバ３９〜４５のいずれかのグループメンバの動作、姿勢及び任意のオーディオ信号を連続的に追跡する。手術室の４つの異なる側面にあることによって、感知ユニット６０Ａ〜６０Ｄは全体で、任意のグループメンバによって提供され、デバイス４８、５０、５２、５４、５５及び５６の何れかの制御のための命令を意図する任意のジェスチャ、姿勢又はオーディオ信号を検出することができる。センサユニット又はカメラ６０Ａ〜６０Ｄは、グループメンバ３９〜４５に対して高い位置に設置されるか、又は、提供された命令の効果的な位置合わせを可能とするために異なる戦略的配置に置かれてもよい。

【0036】

センサユニット６０Ａ〜６０Ｄを有するシステムによって追跡される前に、各外科スタッフメンバ３９〜４５は、システムとの識別認証セッションを完了していなければならない。これにより、システムは、これらの人々を、中央ユニット６４のメモリユニット７１に記憶されているメンバファイルと関連付けることができる。認証セッションは、上記されたように、様々なやり方で行われてよい。図３の実施形態では、グループメンバは、入力端末７６において行われる標準的なログイン手順を使用してシステムにログインする。これに代えて又は加えて、中央ユニット６４は、網膜又は虹彩スキャナ又は指紋スキャナといった任意の種類のバイオメトリックセンサに接続されていてもよい。認証セッションが完了すると、認証セッションを行った各外科スタッフメンバが、システムにグループメンバとして加えられる。感知ユニット６０Ａ〜６０Ｄは、認証セッション中に得た情報とメモリユニット７１から利用可能であるメンバプロファイルとに基づいて、各グループメンバを連続的に追跡する。認証セッションは、グループメンバの衣類の色又は毎日同じとは限らない任意の他の属性といったグループメンバの任意の非永久的属性を記録する補助カメラを使用してもよい。追跡中、グループメンバのうちの誰かがセンサユニット又はカメラ６０Ａ〜６０Ｄの視野から一時的に離れる場合、当該グループメンバの連続追跡は中断され、当該グループメンバが、視野に入る際、識別認証セッションを再び行うことが求められる。当然ながら、他の実施形態では、これは、この中断を復帰又は解決することを確実に可能にする任意のシステム（例えばＲＦＩＤスキャナ）によって解決される。可能な限りエラーを取り除くために、医療環境といった重大な状況及び環境では、識別認証セッションのやり直しが好適である。

【0037】

グループメンバ３９〜４５のうちの１人が、システムに命令を提供するようにあるジェスチャを行う場合、これは、追跡中に、センサユニット６０Ａ〜６０Ｄによって記録され、例えば各グループメンバの場所がシステムによって連続的にタグ付けされる。ジェスチャを行うと、センサユニット６０Ａ〜６０Ｄのデータ（例えば画像）内の人のタグ付けによって、命令と命令を提供するグループメンバとの関連付けが、システムによってすぐになされる。この情報は、ネットワーク６２を通じて、中央ユニット６４内の通信ユニット７０にイベントとして提供される。制御ユニット６５は、この情報を通信ユニット７０から受信する。制御ユニット６５はプロセッサ６８を含む。制御ユニットは、命令を検出すると、プロセッサを使用して、提供された命令に関連付けられている制御コマンドを特定する。これをするために、検出された命令は、命令を出しているグループメンバに関連付けられる。命令を出しているグループメンバのメンバプロファイルデータを取り出すために、メモリユニット７１がアクセスされ、検出された命令と、メンバプロファイルデータ内の参照又は参照命令とがマッチングされる。マッチングがなされると、デバイス４８、５０、５２、５４、５５、５６のうちの任意の１つ以上に提供されることが意図されている制御コマンドが特定される。図３に示される実施形態では、中央ユニット６４が複数のデバイス４８〜５６の動作を制御するため、メンバプロファイルを使用すると、意図される制御コマンドが特定されるだけでなく、当該制御コマンドが向けられているデバイスも特定される。上記されたように、ジェスチャと各グループメンバ３９〜４５のジェスチャの意味とは、メモリ７１に記憶されているメンバプロファイルデータを使用して個別化される。

【0038】

図３では、制御ユニット６５、プロセッサ６８、通信ユニット７０及びメモリユニット７１を含む中央ユニット６４は、単一装置として示されているが、異なる実施形態では、これらのユニットのうちの1つ以上は、スタンドアロンデバイスとして実現されても、協働して制御ユニットを形成するように、他のそのような部分と組み合わせで実現されてもよい。

【0039】

図４に、本発明による方法が更に概略的に説明される。図４は、メモリユニット７１と、単一デバイスとして一般的に示される追跡システム６０とを示す。追跡システム６０は、カメラユニット、マイクロホン又は人の追跡に使用されうる任意の他のスキャナといった複数のセンサユニットからなる。図４では、簡潔さのために、追跡システム６０は、単一デバイス６０として示されている。図４は更に、本発明の方法を使用して制御される複数のデバイス７８、７８’及び７８’’も示す。

【0040】

方法は、グループを形成するために、１人以上のグループメンバを追加することから開始する。これは、識別認証セッション８２を使用して実施される。認証セッション８２は、本発明の方法の始まりにおいて、すべてのグループメンバに適用される。しかし、当業者は、識別認証セッションが、追加のグループメンバをグループに追加するために、本発明の方法のどの瞬間においても行われてよいことを理解する。したがって、ステップ８２は、方法の始まりにあるものとして示されているが、当然ながら、認証セッションは、任意の他の瞬間においても適用される。グループメンバとしてグループに追加されたいユーザの主導権によって、識別認証セッション８２に入る。

【0041】

ステップ８３において、認証を行うための入力がユーザから受信される。この入力は、図３におけるデバイス７６といったログオンデバイスを介する標準的なログオンを使用して提供されるが、認証を行うために、図３におけるスキャナ７４といったバイオメトリックスキャナが伴ってもよい。入力が受信されると、ステップ８５において、認証セッションは、新しいグループメンバがグループに追加可能であるかどうかを決定する。ステップ８５を行うために、認証セッション８２は、任意選択的に、メモリユニット７１にアクセスしてグループプロファイル８９を取り出し、例えばグループメンバとして追加されるユーザが、申請されたこの特定のグループの一員となることが許可されているかどうかをチェックする。例えば特定のスタッフメンバは、特定のチームの一員となることが許可されているが、他のチームの一員となることは許可されていない。したがって、そのようなユーザのメンバプロファイルが、本発明のシステム内に存在する。しかし、メンバプロファイルが、システムのメモリユニット７１に存在していても、グループメンバがグループプロファイルの一部ではない場合、ステップ８５において、グループへのアクセスが拒否される。

【0042】

認証が失敗する又はアクセスが拒否される場合、認証セッションは、矢印８６によって示されるように、ステップ８３に戻り、同じ又は別のユーザからの入力を待つ。識別認証セッションが成功する場合、方法は、グループメンバの一員であるものとして、追跡システムに詳細が提供されるステップ８７に続く。

【0043】

認証後のステップ９０において、認証された各グループメンバは、追跡システム６０によって連続的にモニタリングされる。追跡システムからこのステップに受信される入力は、一般的に両方向矢印９４によって示される。認証情報を使用して、追跡システムから受信されるデータ内に存在する人は、ステップ９２において、連続的にタグ付けされる。ステップ９５において、グループメンバのうちの１人以上が、追跡システム６０によって、ジェスチャ、音、姿勢等として検出される命令を提供したかどうかが決定される。（ブランチ９９を介する）ステップ１００は、ステップ９５において、命令の受信が成功裏に確認されると行われる。追跡（ステップ９０）及びタグ付け（ステップ９２）は、制御ユニットがステップ９５又は後続ステップの何れかを行う間に連続的に行われる。これは、確実に見逃す命令がないようにするためである。制御ユニットは、任意の時間に命令を受信し、システムのリソースが一時的にビジー状態である場合は、当該命令は、例えばメモリ内にスタックされるか、優先順位設定に基づいて処理されるか、又は、補助ユニットに転送される。図４において、ブランチ９７は、処理されるべき命令又は行動の連続モニタリングを示す。最後の命令が処理されるまで手順は停止されない。ステップ１００において、検出された命令は、ステップ９２において追加されたタグ付けを使用して、命令を提供しているグループメンバと関連付けられ、システムは、受信した命令と関連付けられている制御コマンドのステップ１０３における識別を続ける。ステップ１０５において、メモリユニットからのメンバプロファイルデータがアクセスされ、ステップ１０７において、検出された命令は、検出された命令と参照命令の何れかとをマッチングさせるために、メンバプロファイルデータ内の参照命令と比較される。マッチングがなされると、マッチングする参照命令と関連付けられている制御コマンドが特定される。任意選択的に、上記方法が、複数のデバイス（即ち、ここではデバイス７８、７８’及び７８’’）を制御するために使用される場合、ステップ１０９において、制御コマンドが向けられるデバイスも、メモリユニット７１からのメンバプロファイルデータを使用して特定可能である。したがって、ステップ１１１における更なるオプションとして、上記方法は、グループメンバによって対応するデバイスに提供されることを意図している制御コマンドが、当該グループメンバに権限が与えられているかどうかを検証してよい。この検証は様々な方法で行われてよい。例えば権限付与は、メモリユニット７１からのメンバプロファイルデータ又はグループプロファイルデータのどちらかを使用して特定される。

【0044】

ステップ１１５において、特定された制御コマンドは、矢印１１７によって示されるように特定されたデバイス７８、７８’又は７８’’に提供される。更に、ステップ１１９において、特定された制御コマンドは、例えばタイムスタンプ、命令を提供しているグループメンバ及び関連のある任意の他のデータと共にメモリユニット７１内に保持されるログに記憶される。このようなログは、トレーニング目的又は品質チェックに使用することができる。

【0045】

本発明は、（幾つかの）複雑な機器を制御する人（の身元）を認識しているシステムソリューションを提案する。結果として、ユーザとシステムとの間のインタラクションが、複数のユーザが同時に機器とインタラクトすることを可能にする個別化された２方向ダイアログとなる。これは、各個人を追跡し、各個人がシステムに与える各入力を当該個人の身元を用いてタグ付けすることによって達成される。

【0046】

任意の所与の瞬間において、外科環境における２人以上の人が、医療システムの一部又は特定の特徴を制御する必要がある場合がある。システムに一貫性のない又は矛盾するコマンドを与えることを回避することが重要である。従来のシステムは、誰が制御動作を行っているのか（つまり、制御動作を行っている人間の任務、許可及び個人的な好みが何であるのか）を認識しなかった。医療システムが人間のジェスチャ／姿勢／音声によって制御されることを可能とすることによって、医療システムが一貫して及び予測可能に挙動することを確実とするために、システムが制御動作を実行している人間を認識することが重要になる。外科環境におけるスタッフは、（例えば網膜制御又は指紋を用いて）一意に特定され、次に（例えば顔認識を用いて）連続的に追跡されることが可能である。各個人を追跡することによって、各個人がシステムに与える入力は、入力を出した人の身元を用いてタグ付けされることが可能である。こうすると、システムは適切に反応することができ、ユーザとシステムとの間の高度に個別化されたダイアログがもたらされる。

【0047】

本発明は、最初に、（例えば網膜制御又は指紋を用いて）個人の身元を一意に確認し、次に（例えば顔認識を用いて）当該個人及び当該個人のコマンドを連続的に追跡することを提案する。当該個人のジェスチャ／姿勢／音声コマンドが、追跡システムによって解析され、当該ユーザ用であることが分かっているコマンドのセットと比較される。認識されたコマンドは、当該個人の一意の身元だけでなく、場所及びタイムスタンプでタグ付けられるイベントとなる。当該個人の任務、許可及び個人的な好みと組み合わされたイベント（ユーザ毎のジェスチャの一意のセット）は、システムの反応と適切なフィードバックとをもたらす。システムは、取り付けられている身元タグに応じて、同じ入力に異なって反応する場合もある。この個別化されたダイアログは、同じシステムの複数のユーザについて並列に生じることができる。システムによる個別化の度合いは柔軟である。例えばユーザは、システムが反応すべきユーザ自身の好むジェスチャのセット又はシステムがそれに対して反応するやり方を提供することができる。また、ユーザは、ユーザ自身の好むフィードバック機構を提供することができる。システムがユーザの認識度を高めることにより、ユーザとシステムとの間のインタラクションが、時間の経過と共により一貫するようになる。

【0048】

本発明の利点として、各ユーザが行う様々なジェスチャに対してシステムが調整されるため、ジェスチャの検出可能性が向上される。更に、システムは、障害を有するユーザ、又は、障害を有するユーザが行う作業のタイプによって生じる優先傾向にも適応される（例えば腕を使用できないユーザは、システムがそれに対して反応するユーザ自身の個別化されたコマンドセットを有する）。更に、本発明は、ユーザがシステムとインタラクトする方法を個別化するために使用することができる。例えば１人の外科医は、腕を上げることで走査をトリガする一方で、他の外科医は頭を振ることで走査をトリガすることができる。更に、本発明は、起きたことすべてのトレイルを作成するために使用されてもよい。例えば外科環境では、これはミス又は患者の特定の問題の原因を検出するために後に使用される。その一方で、ワークフローに依存する環境では、この種のシステムは、ワークフロー解析を行うのに役立つ。

【0049】

本発明の方法及びシステムは、システムのユーザの身元及び個人的な好みを管理する更なるシステムを含めることによって拡張されてもよい。別の可能な拡張は、システムに室内の人々の対話から導かれる状況認識が提供されることである。

【0050】

上記説明では、本発明は、その幾つかの特定の実施形態を参照して説明及び例示されているが、本発明の範囲は、添付の請求項の範囲によってのみ規定される。

【図1】

【図2】

【図3】

【図4】