特許 6242535 ユーザ入力に基づいて制御システムのためのジェスチャ区域定義データを取得する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6242535

(24)【登録日】2017年11月17日

(45)【発行日】2017年12月6日

(54)【発明の名称】ユーザ入力に基づいて制御システムのためのジェスチャ区域定義データを取得する方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20171127BHJP

   G06F 3/0488 20130101ALI20171127BHJP

   G06F 3/0346 20130101ALI20171127BHJP

   H04M 1/00 20060101ALI20171127BHJP

【ＦＩ】

   G06F3/01 570

   G06F3/0488

   G06F3/0346 425

   H04M1/00 U

【請求項の数】15

【全頁数】19

(21)【出願番号】特願2017-502225(P2017-502225)

(86)(22)【出願日】2015年7月16日

(65)【公表番号】特表2017-521793(P2017-521793A)

(43)【公表日】2017年8月3日

(86)【国際出願番号】EP2015066352

(87)【国際公開番号】WO2016009016

(87)【国際公開日】20160121

【審査請求日】2017年1月13日

(31)【優先権主張番号】14177477.8

(32)【優先日】2014年7月17日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】516043960

【氏名又は名称】フィリップス ライティング ホールディング ビー ヴィ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】メイソン ジョナサン デービッド

(72)【発明者】

【氏名】アレクセイユ ズミトリー ヴィクトロビッチ

(72)【発明者】

【氏名】シュライビ サナエ

【審査官】 星野 裕

(56)【参考文献】

【文献】 米国特許出願公開第２０１１／０２９６３５３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００９／００２７３３７（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００９／０１８３１２５（ＵＳ，Ａ１）

【文献】 特開２０１１−１８６８９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３３

Ｇ０６Ｆ ３／０４８

Ｈ０４Ｍ １／００

(57)【特許請求の範囲】

【請求項1】

制御システムのためのジェスチャ区域定義データを、前記制御システムの外部のモバイル通信装置を介して得られるユーザ入力に基づいて取得する方法であって、
センサ装置によりセンサ信号を受けると共に、コントローラにより該センサ信号から前記モバイル通信装置の位置データを決定するステップと、
前記位置データの決定に応答して、前記モバイル通信装置を介して前記位置データに関するフィードバック情報を提供するフィードバック信号を供給するステップと、
前記モバイル通信装置の入力ユニットを介して、命令コマンドを示す入力信号を受けるステップと、
前記コントローラにより、前記命令コマンドに基づいて前記ジェスチャ区域定義データを決定するステップと、
を有する、方法。

【請求項2】

前記センサ装置が前記制御システムに含まれ、当該方法は、前記制御システムが前記位置データの決定に応答して前記モバイル通信装置に該位置データを送信するステップを更に有し、及び／又は
前記センサ装置が前記モバイル通信装置に含まれ、当該方法は、前記モバイル通信装置が前記位置データを前記制御システムに送信するステップを更に有する、
請求項１に記載の方法。

【請求項3】

前記センサ装置は、画像を入力すると共に該画像から前記位置データを決定する画像キャプチャ装置、超音波トランスジューサ、無線周波数（ＲＦ）送受信器及び通信信号強度を決定する通信モジュールを含む群から選択される少なくとも１つの要素である、請求項１又は請求項２に記載の方法。

【請求項4】

前記センサ装置は前記モバイル通信装置に含まれる画像キャプチャ装置であり、前記コントローラが前記モバイル通信装置の位置データを、入力された画像に基づいて空間のモデルデータを確定すると共に該モデルデータに基づいて前記画像キャプチャ装置の視点の位置を決定することにより決定する、請求項１ないし３の何れか一項に記載の方法。

【請求項5】

前記モバイル通信装置により表示又は修正するために前記モバイル通信装置が前記制御システムから既存のジェスチャ区域の既存のジェスチャ区域定義データを受信するステップを更に有する、請求項１ないし４の何れか一項に記載の方法。

【請求項6】

前記ジェスチャ区域定義データを決定するステップが、前記既存のジェスチャ区域を修正するための修正されたジェスチャ区域定義データを決定するステップを含む、請求項５に記載の方法。

【請求項7】

前記フィードバック信号を供給するステップが、
前記モバイル通信装置の表示スクリーン上に、前記位置データを視覚化するステップ、
前記モバイル通信装置の表示スクリーン上に、前記位置データ及び／又は前記コントローラにより決定された若しくは前記制御システムから受信された前記ジェスチャ区域定義データに基づいて、ジェスチャ区域の視覚的表現、ジェスチャ区域の特性及び拡張現実表現等の空間の画像に埋め込まれたジェスチャ区域の視覚的表現のうちの少なくとも１つを表示するステップ、
前記コントローラにより決定された又は前記制御システムから受信された前記ジェスチャ区域定義データに基づいて、前記位置データに対応する位置におけるジェスチャ区域の有無、ジェスチャ区域の大きさ、ジェスチャ区域の境界の位置、及びジェスチャ区域が前記位置データに対応する位置に対して位置され得る方向のうちの少なくとも１つを示す音声信号を供給するステップ、
前記コントローラにより決定された又は前記制御システムから受信された前記ジェスチャ区域定義データに基づいて、前記位置データに対応する位置における既存のジェスチャ区域の有無、ジェスチャ区域の大きさ、又はジェスチャ区域の境界の位置を示す触覚信号を供給するステップ、
を含む群から選択される少なくとも１つのステップを含む、請求項１ないし６の何れか一項に記載の方法。

【請求項8】

前記モバイル通信装置は接触感知表示スクリーンを有し、前記フィードバック信号を供給するステップは前記表示スクリーン上にジェスチャ区域の視覚的表現を表示するステップを含み、前記入力信号を受けるステップは前記表示スクリーン上の前記視覚的表現を接触ジェスチャにより操作すると共に該操作に対応する操作命令コマンドを発生するステップを有する、請求項１ないし７の何れか一項に記載の方法。

【請求項9】

前記入力ユニットが、前記入力信号を受けるステップが前記モバイル通信装置の動きデータを入力するステップを有する場合の加速度計又はジャイロスコープ、前記入力信号を受けるためのキーボード又は釦、及び前記入力信号が音響又は音声コマンドを有する場合の音声センサを有する群から選択される少なくとも１つの要素を有する、請求項１ないし８の何れか一項に記載の方法。

【請求項10】

前記位置データを決定するステップは空間内の軌跡に沿う前記モバイル通信装置の動きを表す位置シーケンスデータを決定するステップを有し、前記ジェスチャ区域定義データを決定するステップが前記位置シーケンスデータに基づいてジェスチャ区域の寸法又は形状を決定するステップを有する、請求項１ないし９の何れか一項に記載の方法。

【請求項11】

前記入力信号を受けるステップが、前記モバイル通信装置に含まれる加速度計又はジャイロスコープから入力信号を受けると共に、前記位置シーケンスデータを決定するために前記空間の画像に加えて又は代えて該入力信号を使用するステップを含む、請求項１０に記載の方法。

【請求項12】

当該方法は制御システムのためのジェスチャ区域定義データを取得するためにモバイル通信装置内で実施され、
前記センサ信号を受けると共に該センサ信号から前記モバイル通信装置の位置データを決定するステップは、センサ装置を用いて得られるセンサ信号を前記モバイル通信装置により受けると共に前記モバイル通信装置の位置データをコントローラにより該センサ信号から決定するステップを有し、
前記位置データの決定に応答してフィードバック信号を供給するステップは、前記位置データの決定に応答して、前記位置データに関するフィードバック情報を提供するフィードバック信号を前記モバイル通信装置の出力ユーザを介して供給するステップを有し、
前記命令コマンドを示す入力信号を受けるステップは、命令コマンドを示す入力信号を前記モバイル通信装置の入力ユニットを介して受けるステップを有し、
前記ジェスチャ区域定義データを決定するステップは、前記コントローラにより前記ジェスチャ区域定義データを前記命令コマンドに基づいて決定するステップを有する、
請求項１に記載の方法。

【請求項13】

前記センサ装置からセンサ信号を受けるステップが、画像キャプチャ装置を用いて得られる空間の画像を前記モバイル通信装置により受けるステップを有し、前記位置データが該画像から決定される、請求項１２に記載の方法。

【請求項14】

モバイル通信装置にロードされた場合に、該モバイル通信装置に請求項１２に記載の方法又は請求項１ないし１１の何れか一項に記載の方法を実行することを可能にさせる命令を有する、コンピュータプログラム。

【請求項15】

環境内の１以上の実用装置を制御するための制御システムであって、空間から画像を得る画像キャプチャ装置及び前記空間におけるモバイル通信装置の位置データを前記画像から決定するコントローラを有し、更に、前記モバイル通信装置とデータを交換し、該モバイル通信装置に前記位置データを供給し、該モバイル通信装置からジェスチャ区域定義データを受信する送受信器手段を有する、制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザ入力に基づいて制御システムのためのジェスチャ区域定義データを取得する方法に関する。本発明は、更に、モバイル通信装置を動作させる方法、コンピュータプログラム製品及び制御システムにも関する。

【背景技術】

【0002】

本文書は、住宅、ビル又は同様の領域等の環境において実用装置を制御するための制御システムに関するものである。種々のタイプの斯様な制御システムが利用可能であるが、幾つかの制御システムは活動、光レベル等の特定の条件を検出するために部屋、廊下又は他の領域等の空間を監視することに基づくものである。例えば、特定のタイプの制御システムは、実用装置を制御する（例えば、電灯をオンする、テレビを動作させる又はカーテンを閉じる等）ことを意図する特定のジェスチャも認識する。このようなシステムは、上記のようなジェスチャ又は他の検出可能なフィーチャ若しくは条件が検出され得る空間内の特定の領域を監視することに基づくものであり得る。これらの領域は、以下では、“ジェスチャ区域”と称する。本発明は、制御システムによる斯様なジェスチャ区域の権限委託（就役）に関するものである。

【0003】

米国特許出願公開第2011/296353号には、装置を遠隔的に制御するためのユーザ中心対話区域が記載されている。米国特許出願公開第2009/027337号には、装置を遠隔的に制御するためのジェスチャを検出する検出領域が記載されており、該検出領域はジェスチャを行う際のユーザの身体の能力及び制限（例えば、腕の長さ）に基づいている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、ユーザ友好的であり、ユーザにとり直感的であり、且つ、種々のフィーチャの高レベルの制御を可能にする、ジェスチャ区域データを取得する方法を提供することである。

【課題を解決するための手段】

【0005】

上記目的のため、本発明によれば制御システムのためのジェスチャ区域定義データを、前記制御システムの外部のモバイル通信装置を介して得られるユーザ入力に基づいて取得する方法が提供され、該方法は、センサ装置によりセンサ信号を受けると共に、コントローラにより該センサ信号から前記モバイル通信装置の位置データを決定するステップと、前記位置データの決定に応答して、前記位置データに関するフィードバック情報を提供するフィードバック信号を、前記モバイル通信装置を介して供給するステップと、前記モバイル通信装置の入力ユニットを介して、命令コマンドを示す入力信号を受けるステップと、前記コントローラにより、前記命令コマンドに基づいて前記ジェスチャ区域定義データを決定するステップと、を有する。

【0006】

本発明の該方法において、前記制御システムはモバイル通信装置と協動してジェスチャ区域定義データの発生、権限委託（就役）及び／又は修正を可能にする。ジェスチャ区域定義データとは、当該制御システムにより監視されるべきジェスチャ区域の特性を定義するデータである。これらの特性は、例えば、大きさ（寸法）、形状、何らかの境界、当該区域が意図される実用装置、又は制御されるべき機能であり得る。しかしながら、これらは単なる例示的な特性に過ぎず、当業者であれば、本発明の方法を用いて定義又は修正することができるジェスチャ区域の他の特性を認識することができるであろう。

【0007】

前記モバイル通信装置は、スマートフォン、パーソナル・デジタル・アシスタント（ＰＤＡ）、タブレット型コンピュータ、スマートウォッチ又はブレスレット等の如何なる好適な通信装置とすることもできる。このような装置は、他の装置とのデータ通信を、例えば、Wi-Fi（登録商標）、ブルートゥース（登録商標）、又はモバイル通信用全世界システム（ＧＳＭ（登録商標））、汎用パケット無線サービス（ＧＰＲＳ）、長期進化型（ＬＴＥ）、若しくは斯様なネットワークの他の進化型若しくは代替型（短期又は長期）の無線データ通信を介して可能にするものである。更に、当該モバイル通信装置は、フィードバック及びユーザ入力を用いて対話を可能にする理想的なユーザインターフェースを提供する。このような装置の多くは、例えば、高解像度表示スクリーン、時には接触感知スクリーン（タッチスクリーン）、画像及び／又は音声キャプチャ機能、キーボード、及び加速度計等を有している。このようなユーザインターフェースは、ユーザに対して既存の又は定義されるべきジェスチャ区域に関するフィードバックを提供すると共に、ユーザが当該モバイル通信装置上の入力装置により、定義されるべき又は修正されるべきジェスチャ区域の仕様及びパラメータを検証及び／又は修正することを可能にするために都合良く利用することができる。多くの人は日常的にモバイル通信装置を携帯するので、このような装置は日常的に使用される制御システムを制御するために有利に用いることができる。

【0008】

前記位置データは、センサ装置から入力されるセンサ信号に基づいて決定される。良好に機能する実施態様は、空間の画像を入力すると共に該入力された画像から位置データを決定するために画像キャプチャ装置を用いる。このような画像キャプチャ装置は、前記制御システム又は前記モバイル通信装置の何れかに含めることができる。代わりに又は加えて、位置データを決定するために、ジグビ信号強度測定等の他のセンサ信号も使用することができ、又は超音波信号を三角測量する際の超音波送受信器、若しくはソース信号送信に応答して受信されるエコー信号に基づいて撮像を可能にする他のエコータイプのセンサの使用も可能である。しかしながら、画像キャプチャ装置は多くの場合にモバイル通信装置において既に利用可能であると共に、制御システムにおいて容易に実施化することができるので、画像キャプチャ装置の利用が好ましい実施態様である。

【0009】

前記命令コマンドに基づいて前記ジェスチャ区域定義データを決定するコントローラは、前記制御システムに含まれるコントローラとすることができるか、又は前記モバイル通信装置に配置することができる。本発明がどの様に実施化されるか、及び該コントローラが、この点に関して、何処に配置されるかに依存して、データは制御システムとモバイル通信装置との間で交換されねばならない。例えば、モバイル通信装置は前記ユーザインターフェースをユーザが定義されるべきジェスチャ区域に関する情報を得ることができるようにするためにのみ設けることができる一方、制御システム自体は該モバイル通信装置の位置を該制御システムに含まれる画像キャプチャ装置から入力される画像に基づいて決定する。この場合、制御システムは当該位置データをモバイル通信装置に送信して、該モバイル通信装置がフィードバック信号を供給すること、例えば作成されるべきジェスチャ区域が何処に配置されるかを定義するために使用されるべき位置データの視覚化、を可能にすることができる。また、モバイル通信装置は、前記入力ユニット（例えば、接触感知スクリーン、キーボード等）を介して入力信号を取得した後に、制御システムに対して命令コマンドに関するデータを返送することもできる。ジェスチャ区域定義データを決定又は発生する前記コントローラがモバイル通信装置（モバイル通信システム）に含まれる別の構成例において、少なくとも該ジェスチャ区域定義データは、発生後に、制御システムが該定義データを記憶及び使用することができるようにする等のために該制御システムに送信することができる。

【0010】

前述したように、ジェスチャ区域は、前記制御システムにより制御されるべき特定の実用装置又は一群の装置に関連付けることができる。更に、ジェスチャ区域を、実行されるべき装置の典型的な機能又は機能の組み合わせに関連付けることも可能である。実用装置がジェスチャ区域に関連付けられる場合、このジェスチャ区域は、例えば、専ら電灯を、もっと一般的には当該空間の照明条件を制御するために権限委託されるようにすることができる一方、他のジェスチャ区域はオーディオシステムの制御に関連付けることができる。しかしながら、このことはオプションである。即ち、例えば制御システムが特定の制御動作を実行するためになされる異なる種類のジェスチャの間を区別する場合、ジェスチャ区域は該制御システムを操作するためのジェスチャを広く識別するために権限委託されるものとすることもできる。同様に、ジェスチャ区域には、特定の実用装置の機能（例えば、テレビジョンの音量を制御する、ランプをオン又はオフする、又はベネチアン・ブラインド若しくは他の日除けの羽根を回転する等）又は機能の組み合わせ（例えば、電灯を心地よいレベルにまで調光する間にオーディオシステムをオンすると共に、肘掛け椅子の近くの読書灯をオンする）等の特定の機能を関連付けることもできる。

【0011】

一実施態様によれば、当該空間の画像を入力する前記画像キャプチャ装置は前記制御システムに含まれるものとすることができ、当該方法は、該制御システムが前記位置データの決定に応答して前記モバイル通信装置に該位置データを送信するステップを更に有する。この場合、定義されたジェスチャ区域を監視するために当該空間を監視する上記画像キャプチャ装置は、上記モバイル通信装置の位置を識別するために使用することができる。例えば、認識アルゴリズムを適用することにより、制御システムはモバイル通信装置を認識することができる。このような画像キャプチャ装置は当該空間を２Ｄで監視するために二次元画像を入力することができるものとすることができるが、好ましい実施態様は空間の三次元画像をキャプチャすることができる画像キャプチャ装置を適用し、これにより、キャプチャされた画像から当該位置データを即座に決定することができるようにする。

【0012】

本発明の他の実施態様において、上記画像キャプチャ装置は前記モバイル通信装置に含まれ、前記コントローラは該モバイル通信装置の位置データを、入力された画像に基づいて空間のモデル（モジュール）データを確定すると共に、当該位置データを供給するために該モジュールデータに基づいて前記画像キャプチャ装置の視点の位置を決定することにより決定する。多くのモバイル通信装置は、今日、周囲の空間の画像をキャプチャするために使用することができるオンボードカメラを有している。空間の画像を異なる位置から撮影することにより、又は画像キャプチャ装置を動作させながら当該モバイル通信装置を単に移動させることにより、該装置により当該空間の三次元モデルを作成することができる。入力された画像に基づく当該空間の三次元モデルデータは、窓、物体又は扉等の該空間の他の特徴部分に対して当該カメラ（及び、付属するモバイル通信装置）の位置が何処にあるかを決定するために使用することができる。理解されるように、当該モバイル通信装置自体が空間に対する位置データを確定することができる場合、本発明のステップの殆どを該モバイル通信装置上で実行し、ジェスチャ区域を定義した後に、その結果、即ちジェスチャ区域定義データを前記制御システムに通知することができる。理解されるように、例えば、画像から位置データを決定するステップがモバイル通信装置自体により実行される一方、ジェスチャ区域定義データを前記命令コマンドに基づいて決定するステップが前記制御システムに含まれるコントローラにより実行され得る、又はその逆のような、ハイブリッド形態の通信も可能である。

【0013】

他の実施態様によれば、本方法は、前記モバイル通信装置が前記制御システムから既存のジェスチャ区域の既存のジェスチャ区域定義データを受信するステップを更に有することができる。例えば、前記モバイル通信装置は、既存のジェスチャ区域を修正するために使用することができ、制御システムにより現在使用されている１以上の既存のジェスチャ区域に関する定義データを先ず受信することができる。また、斯様なデータを修正することなく、該モバイル通信装置は既存のジェスチャ区域定義データを受信し、既存のジェスチャ区域の存在を拡張現実背景で視覚化するか、又は、さもなければ、関心空間内の既存のジェスチャ区域に関するフィードバックを提供することができる。更に他の実施態様によれば、前記ジェスチャ区域定義データを決定するステップは、既存のジェスチャ区域を修正するための修正されたジェスチャ区域定義データを決定するステップを含む。特に、これらの後者の実施態様の種々の構成例においては、ユーザが例えば関心空間内を動き回り、当該制御システムにより使用されるジェスチャ区域の有無を通知され得るようにすることが有利である。拡張現実環境において、ユーザは例えば単に当該モバイル通信装置の表示スクリーンを調べればよく、当該部屋内の既存のジェスチャ区域の視覚的表現を、例えば斯かるジェスチャ区域により操作される実用装置又は機能に関する情報を含み即座に見ることができる。

【0014】

本発明の実施態様において、フィードバックは前記モバイル通信装置を介して種々の異なる方法で供給することができる。種々の実施態様によれば、前記フィードバック信号を供給するステップは：前記モバイル通信装置の表示スクリーン上に、前記位置データ及び該位置データに基づく位置指示子を含む前記空間の視覚的表現のうちの少なくとも一方を表示するステップ；前記モバイル通信装置の表示スクリーン上に、前記位置データ及び／又は前記コントローラにより決定された若しくは前記制御システムから受信された前記ジェスチャ区域定義データに基づいて、ジェスチャ区域の視覚的表現、ジェスチャ区域の特性及び拡張現実表現等の前記空間の画像に埋め込まれたジェスチャ区域の視覚的表現のうちの少なくとも１つを表示するステップ；前記コントローラにより決定された又は前記制御システムから受信された前記ジェスチャ区域定義データに基づいて、前記位置データに対応する位置におけるジェスチャ区域の有無、ジェスチャ区域の大きさ（寸法）、ジェスチャ区域の境界の位置、及びジェスチャ区域が前記位置データに対応する位置に対して位置され得る方向のうちの少なくとも１つを示す音声（オーディオ）信号を供給するステップ；並びに前記コントローラにより決定された又は前記制御システムから受信された前記ジェスチャ区域定義データに基づいて、前記位置データに対応する位置における既存のジェスチャ区域の有無、ジェスチャ区域の大きさ、又はジェスチャ区域の境界の位置を示す触覚信号を供給するステップ；を含む群から選択される少なくとも１つのステップを含む。理解されるように、特に上述されていないフィードバックを供給する他の形態も、例えば前記モバイル通信装置に含まれる特定の出力装置又はフィードバック装置に依存して可能であり得る。上記“触覚信号”なる用語は、例えばモバイル通信装置のバイブレーション等のような、ユーザにより認識することができる種々の種類のフィードバック信号を含むことができる。

【0015】

更に他の実施態様によれば、前記モバイル通信装置は接触感知表示スクリーンを有し、前記フィードバック信号を供給するステップは前記表示スクリーン上にジェスチャ区域の視覚的表現を表示するステップを含み、前記入力信号を受けるステップは前記表示スクリーン上の前記視覚的表現を接触ジェスチャにより操作すると共に該操作に対応する操作命令コマンドを発生するステップを有する。当該方法は、例えば前記タッチスクリーン上にジェスチャ区域の境界又はジェスチャ区域の形状を視覚化するステップ、及びユーザがタッチスクリーンジェスチャ（摘まむ、広げる、拭う、タップする（叩く）、回す又は他のジェスチャ等）を用いて当該ジェスチャ区域の大きさ及び形状等の仕様を調整するステップを含むことができる。例えば、摘まむ及び広げるジェスチャは当該ジェスチャ区域を小さく及び大きくさせることができ、タッチスクリーン上に指又はスタイラスを用いて形状を描くジェスチャは、特定の形状を定義することができ、及び／又はタップする又は２回タップするジェスチャは定義されるべきジェスチャ区域の特定の仕様を設定するための選択メニュ又は入力ウインドウを視覚化することができる（機能若しくは関連する実用装置、又は寸法を設定するためのマニュアル入力等）。

【0016】

本発明の他の実施態様において、前記入力ユニットは、前記入力信号を受けるステップが前記モバイル通信装置の動きデータを入力するステップを有する場合の加速度計又はジャイロスコープ、前記入力信号を受けるためのキーボード又は釦、及び前記入力信号が音響又は音声コマンドを有する場合の音声センサを有する群から選択される少なくとも１つの要素を有する。これら代替物の何れも、ジェスチャ区域データを操作するための入力を受けるために使用することができる。更に、音声コマンドは当該モバイル通信装置のオンボード音声認識機能を用いて認識することができる。また、小型スクリーンのモバイル通信装置は、釦又はキーボードを使用するオプションから利益を受け得るが、このオプションは、勿論、スマートフォンの構成により適用することもできる。

【0017】

本発明の更に他の実施態様においは、前記入力信号を受けるステップにおいて、該入力信号は：ジェスチャ区域定義データを確認するためのジェスチャ区域定義確認情報；ジェスチャ区域の大きさ又は形状等のジェスチャ区域定義データを修正するための操作命令；ジェスチャ区域の関連付けられた機能を定義又は修正するための機能明細情報；ジェスチャ区域に関連付けられ且つ前記制御システムを介して制御可能な実用装置を修正するための実用装置明細情報を含む群から選択される少なくとも１つを示す。当業者であれば、他の入力信号及び入力手段も、制御システムとの組み合わせで使用される前記モバイル通信装置の仕様に依存して可能であることを理解することができる。

【0018】

更に他の実施態様によれば、前記位置データを決定するステップは、前記空間内の軌跡に沿う前記モバイル通信装置の動きを表す位置シーケンスデータを決定するステップを有し、前記ジェスチャ区域定義データを決定するステップは、前記位置シーケンスデータに基づいてジェスチャ区域の寸法又は形状を決定するステップを有する。ユーザは、例えば、自身のモバイル通信装置を空間内で特定のパターン又は軌跡を辿って移動させることができ、このことは、定義されるべきジェスチャ区域の形状及び寸法を設定させる。

【0019】

更に他の実施態様において、前記入力信号を受けるステップは、前記モバイル通信装置に含まれる加速度計又はジャイロスコープから入力信号を受けると共に、前記位置シーケンスデータを決定するために前記空間の画像に加えて又は代えて該入力信号を使用するステップを含む。

【0020】

このような手段の使用は、位置シーケンスデータを決定するために前記画像キャプチャ装置を使用することに加えて又は代えてのものであり得る。例えば、当該方法は、モバイル通信装置の開始位置の位置データを、例えば本発明の方法を前記画像キャプチャ装置に関して上述したように用いて確定することにより開始することができ、それから、ユーザにより当該空間を介して移動されたモバイル通信装置の軌跡を確定するために前記加速度計又はジャイロスコープを使用することができる。これらの入力手段が画像キャプチャ装置によりキャプチャされた画像に加えて使用される場合、このことは、入力された位置シーケンスデータの精度にとり有益であり得る。

【0021】

本発明の第２態様によれば、制御システムのためのジェスチャ区域定義データを取得するためにモバイル通信装置を動作させる方法が提供され、該方法は：前記モバイル通信装置により画像キャプチャ装置を用いて得られる空間の画像を入力するステップと；コントローラにより前記モバイル通信装置の位置データを前記画像から決定するステップと；前記位置データの決定に応答して、前記位置データについてのフィードバック情報を提供するフィードバック信号を前記モバイル通信装置の出力ユニットを介して供給するステップと；命令コマンドを示す入力信号を前記モバイル通信装置の入力ユニットを介して受けると共に、前記コントローラにより前記命令コマンドに基づいて前記ジェスチャ区域定義データを決定するステップと；を含む。

【0022】

本発明の更に第３態様によれば、モバイル通信装置にロードされた場合に、該モバイル通信装置に前記第２態様による方法又は前記第１態様による方法を実行することを可能にさせる命令を有するコンピュータプログラム製品が提供される。

【0023】

本発明の第４態様によれば、環境内の１以上の実用装置を制御するための制御システムが提供され、該制御システムは、空間から画像を得る画像キャプチャ装置及び前記空間におけるモバイル通信装置の位置データを前記画像から決定するコントローラを有し、更に、前記モバイル通信装置とデータを交換し、該モバイル通信装置に前記位置データを供給し、該モバイル通信装置からジェスチャ区域定義データを受信する送受信器手段を有する。

【0024】

本発明は、添付図面を参照する幾つかの特定の実施態様の記載により更に説明される。詳細な説明は、本発明の可能性のある構成例を示すが、当該範囲に入る唯一の実施態様のみを記載するものと見なしてはならない。本発明の範囲は請求項において定義され、記載は本発明に対する限定を伴わない解説的なものと見なされるべきである。

【図面の簡単な説明】

【0025】

【図1】図１は、ジェスチャ区域を用いる制御システムを概略的に示す。

【図2】図２は、本発明の方法を概略的に示す。

【図3a】図３ａは、本発明に使用可能な摘まみジェスチャを示す。

【図3b】図３ｂは、本発明に使用可能な摘まみジェスチャを示す。

【図4a】図４ａは、本発明に使用可能な広げジェスチャを示す。

【図4b】図４ｂは、本発明に使用可能な広げジェスチャを示す。

【図5a】図５ａは、本発明に使用可能な描きジェスチャを示す。

【図5b】図５ｂは、本発明に使用可能な描きジェスチャを示す。

【図6a】図６ａは、本発明に使用可能な第１のタップジェスチャを示す。

【図6b】図６ｂは、本発明に使用可能な第１のタップジェスチャを示す。

【図7a】図７ａは、本発明に使用可能な第２のタップジェスチャを示す。

【図7b】図７ｂは、本発明に使用可能な第２のタップジェスチャを示す。

【図8】図８は、本発明の他の実施態様を示す。

【図9】図９は、本発明の方法の一実施態様を概略的に示す。

【図10】図１０は、本発明の方法の一実施態様を概略的に示す。

【発明を実施するための形態】

【0026】

本発明は、照明装置、オーディオシステム、テレビジョン、窓のブラインド又はカーテン、扉の錠、警報システム及び集中暖房システム等の制御されるべき実用装置を制御すべくユーザと対話する（例えば、ユーザ入力を受信する）ために１以上のジェスチャ区域の監視を適用する制御システムと共に使用することができる。ジェスチャ区域は、空間における該制御システムにより画像キャプチャ装置を用いて監視することができる監視領域である。好ましくは、このような画像キャプチャ装置は三次元（３Ｄ）撮像を行なうことを可能にするか、又は当該空間を３Ｄで監視することを可能にする（例えば、入力された画像に基づいて距離推定を可能にすることにより）。しかしながら、本発明は３Ｄ的側面に関係する幾らかの特定の機能を犠牲にして二次元（２Ｄ）設備に適用することもできる。本説明においては、３Ｄ制御システムが想定される（即ち、ジェスチャ区域及び位置の間を三次元で区別することを可能にする）。

【0027】

一例として、見えない活性領域（即ち、ユーザが予め定めたジェスチャ区域）に手を置くことによって照明シーンを選択することにより照明を制御することができるような制御システムを考えることができる。このことは、ユーザが複数の接続された電灯を１つの容易な動作で制御することができることを意味する。更に、ジェスチャ区域を、定義した者にとり意味のある環境内の位置に配置することができる。例えば、或る人は、読書をし、且つ、該活性領域を心地よい読書照明設定をオン又はオフするために使用したい好みの椅子の近くにジェスチャ区域を配置するかも知れない。エンドユーザの身体位置に対する当該活性領域の近さは、何処にあるかを容易に思い出させる。

【0028】

図１は、本発明による制御システム及び方法を適用することができる例示的な空間１、即ち居間を概略的に示している。居間１は、幾つかの家具、並びに肘掛け椅子２、コーヒーテーブル３、テレビジョン４及びランプ５等の特別なフィーチャを含んでいる。該居間１には、監視カメラ９及び１０を含む制御システム８が設置されている。監視カメラ９及び１０は、ユーザによりなされる手信号等のジェスチャを検出すると共に、居間１における実用装置を制御するために有用であり得る種々の他のフィーチャを検出するために該居間１を永久的に監視する。上記実用装置は、例えば、テレビジョン４及び照明ユニット又はランプ５を含むことができる。理解されるように、ここに図示されていない他の実用装置は、例えば、オーディオシステム、カーテン又は窓ブラインド、警報システム、集中暖房システム、電子レンジ、レンジフード又は食器洗い器等の台所機器、及び制御システム８を用いて有効に制御され得る何らかの他の実用装置を含むことができる。

【0029】

特に、監視カメラ９及び１０は居間１におけるユーザにより選択された位置（ユーザ選択位置）に位置する三次元ジェスチャ区域１３、１４及び１５を監視する。制御システム８の所有者は、操作されるべき機器（例えば、テレビジョン４及びランプ５等）を操作するのに適した位置にジェスチャ区域１３、１４及び１５を定義することができる。ジェスチャ区域１３〜１５の何れかで検出されるジェスチャ行動に基づいて何の実用装置に対して何の機能が実行されるべきかを区別するために制御システム８には異なる制御方法及び操作方法を適用することができるが、本例では、ユーザはテレビジョン４をオン又はオフするために単にジェスチャ区域１５に手を伸ばすことができる。代わりに又は加えて、ユーザはテレビジョン４の異なる機能を操作するためにジェスチャ区域１５内で異なるジェスチャを行うことができる。例えば、ユーザの手をジェスチャ区域１５内で水平に保ち、該手を上方に持ち上げることは、制御システム８によりテレビジョン４の音量を増加させるものとして理解され得る。ジェスチャ区域１５においてなされる他のジェスチャはテレビジョン４の他の機能を制御することができる。代わりに、異なるジェスチャ区域を、テレビジョン４の各機能のために又は幾つかの機能のために定義することもできる。このことは、制御システム８のユーザにとり完全に構成（設定）可能である。

【0030】

ユーザが自身の手をジェスチャ区域１４へ伸ばした場合、ランプ５はオンされる。更に、ユーザがコーヒーテーブル３上のジェスチャ区域１３内にコーヒーのカップを置いた場合、制御システム８は、これを、居間内の複数のランプを制御して特定の事前にプログラムされた照明環境に切り換えるためのジェスチャとして解釈することができる。このことは、例えば、一日における現在の時刻に依存して、又はこれが日没の前若しくは後に生じたかに依存して実行することもできる。理解されるように、ジェスチャ区域１３〜１５等の全てのジェスチャ区域は、ユーザにより権限委託され（就役させられ）、且つ、プログラムされねばならない。ジェスチャ区域１３〜１５等のジェスチャ区域を就役させるためには、ジェスチャ区域定義データが生成されると共に、制御システムに記憶されねばならない。このジェスチャ区域定義データは、空間１内における当該ジェスチャ区域の正確な位置、該ジェスチャ区域の形状及び寸法、並びに何の実用装置を該ジェスチャ区域に関連付けるか及び何の機能を制御するか等の他の特性を定義することができる。種々のジェスチャ区域をコミッションさせるために、本発明の方法を適用することができる。

【0031】

図２は、ジェスチャ区域を就役させるための本発明の方法の一実施態様を概略的に示す。図２において、ユーザ２０はモバイル通信装置２１（即ち、スマートフォン２１）を監視される空間内の所望の位置で保持する。オプションとして、当該方法は、ユーザが釦（例えば、釦６２）を押すか又はスマートフォン２１若しくは当該制御システムに他の入力を供給することにより開始することもできる。居間１を三次元で監視することができる、即ち空間１内の正確な三次元位置を決定することを可能にする制御システム８の監視カメラ９及び１０は、モバイル通信装置２１を含む画像を入力する。監視カメラ９及び１０から受信される画像を用いて、制御システム８によりユーザ２０のスマートフォン２１の正確な位置を確定することができ、該スマートフォン２１に関する位置データを発生する。スマートフォン２１の認識は、画像認識アルゴリズムにより実施することができる。また、制御システム８に対し、スマートフォン２１が近くにあり、監視カメラ９及び１０を介して検出することができることを通知するために一層複雑な方法を適用することもできる。制御システム８によりスマートフォン２１の位置の位置データが決定されたなら、理解されるように、このデータは例えばWi-Fi（登録商標）又はブルートゥース（登録商標）を介してスマートフォン２１に送信することができる。スマートフォン２１の位置の検出を開始する前に、ユーザは新たなジェスチャ区域が権限委託されねばならないことをスマートフォン２１上に示していたかも知れず、この目的のための命令及び何らかの指示信号がスマートフォン２１から当該制御システムに送信されているかも知れない。

【0032】

スマートフォン２１により上記位置データが受信されたなら、制御システム８により標準的ジェスチャ区域２５が自動的に作成され得る。該デフォルトのジェスチャ区域はデフォルトの半径ｒを有することができると共に、デフォルトの高さのものであり得る。理解されるように、スマートフォン２１の位置にデフォルトの寸法及び形状のジェスチャ区域２５を定義する代わりに、ユーザは自身のスマートフォン２１を用いて当該ジェスチャ区域の所望の寸法及び形状を指定することもできる。更に他の例として、上記デフォルトのジェスチャ区域２５をユーザによりスマートフォン２１のタッチスクリーン６０を介して供給されるフィードバックに基づいて修正することもできる。

【0033】

ユーザによりタッチスクリーン６０を備える自身のスマートフォン２１を用いてジェスチャ区域の寸法及び形状をどの様に修正することができるかの例が、図３ａ／ｂ、図４ａ／ｂ、図５ａ／ｂ、図６ａ／ｂ及び図７ａ／ｂに図示されている。理解されるように、これらの図に示された入力を供給する固有の対話及び方法に加えて、入力はユーザにより自身のスマートフォン２１を介して、本発明から逸脱することなく当業者にとり自明であり得る多数の他の方法で供給することもできる。

【0034】

図３ａ及び図３ｂを参照すると、ユーザ２０は自身の手３０の人差し指３１及び親指３２を用いて、スマートフォン２１のタッチスクリーン（接触感知スクリーン）６０上に矢印３５により示されているような摘まみ接触ジェスチャを行うことができる。斯かる摘まみジェスチャ３５は、例えば定義されるべきジェスチャ区域３８の寸法を減少させて一層小さなジェスチャ区域３８’を生じさせることができる。このことが図３ｂに矢印４０により示されている。

【0035】

他の例として、図４ａ及び図４ｂに示されるように、ユーザ２０は自身の手３０の人差し指３１及び親指３２を用いて、スマートフォン２１の接触感知スクリーン６０上で広げ接触ジェスチャ３６を行うことができる。広げジェスチャ３６を行うことは、潜在的ジェスチャ区域４４の寸法を一層大きな定義されるべきジェスチャ区域４４’へと増大させることができる。理解されるように、図３ａ、図３ｂ、図４ａ及び図４ｂに示される実行された修正に関するフィードバックは、スマートフォン２１のタッチスクリーン６０を介して供給することができる。

【0036】

同様に、更なる代替例が図５ａ及び図５ｂに示されている。図５ａ及び図５ｂにおいて、ユーザ２０は自身の手３０の人差し指３１を用いて当該スマートフォンの接触感知スクリーン６０上に任意の形状５０を描くことができる。このことは、当該コントローラ（例えば、スマートフォン２１の）により、定義されるべきジェスチャ区域５２の所望の形状と解釈することができる。図５ｂに示されたジェスチャ区域５２は、ユーザ２０により自身の人差し指３１を用いて描かれた形状５０に対応する境界５３を備えた断面を有する。

【0037】

更なる代替例として、図６ａ及び図６ｂに示されるように、ユーザは、図６ａに接触ジェスチャ５７として示されるように、スマートフォン２１の接触感知スクリーン６０上に自身の人差し指３１を1回タップさせることができる。接触感知スクリーン６０をタップすることにより、スクリーン６０上に選択メニュ又はウインドウ６５が現れ、ユーザ２０により選択することが可能なオプション６６を提示することができる。該選択メニュ６５は、例えば、ユーザが定義されるべきジェスチャ区域に関連付けられるべき対応する実用装置を選択することを可能にする。該メニュ６５からの選択は、当該スクリーン上のメニュ６５の所望のオプションをタップすることにより、又は代わりに釦６２等の制御釦を操作することにより行うことができる。

【0038】

更に他の代替例が図７ａ及び図７ｂに示されている。図７ａにおいて、ユーザ２０は手３０の人差し指３１を使用してスマートフォン２１の接触感知表示スクリーン６０を、ジェスチャ７０として示されるように、２回タップする。２回タップ（７０）することにより、スクリーン６０上には、定義されるべきジェスチャ区域に関連付けることができる種々の機能７４を含むウインドウ又は選択メニュ７２が表示される。本実施態様において、ユーザは当該定義されるべきジェスチャ区域を周囲照明に関連付け、電灯をオン及びオフし、照明レベルを変化させ又はカラーを変化させるための種々のオプションがメニュ７２に提示される。当該ジェスチャ区域を特定の予め設定された照明条件又は事前にプログラムされた照明レベルに関連付けることも可能である。利用可能であり得る特別なオプションは、当該定義されるべきジェスチャ区域を、オプション７５により示されるように、制御システム８により制御することができる種々の装置の種々の機能の組み合わせに関連付けることである。例えば、空間１における複数のランプを、特定の照明条件を確立するために同時に操作することができる。更に、当該組み合わせは、例えばユーザが自身の好みの肘掛け椅子２で本を読みたい場合、読書灯を穏やかなバックグラウンドミュージックを流すために前記オーディオシステムをオンすることと組み合わせて操作することができる。

【0039】

図８には、本発明の方法の他の実施態様が概略的に示され、該実施態様においてスマートフォン２１は制御システム８の助け無しで自身の位置の位置データを決定することができる。図８に示された実施態様においては、スマートフォン２１自体が画像キャプチャ装置６１、即ちオンボードカメラを有している。今日、多くのモバイル通信装置は２以上のオンボードカメラさえ（例えば、１つを当該モバイル通信装置の前面上に、もう１つを背面上に）有している。

【0040】

スマートフォン２１を居間１にわたって例えば図８に軌跡８０により示されるように移動させることにより、該スマートフォン２１はカメラ６１によりキャプチャされた画像を比較し、この比較から空間１並びに該空間内の物体及びフィーチャ２〜５の３Ｄモジュールを確立する（３Ｄモジュールデータを発生する）ことができる。居間１の該３Ｄモジュールデータを使用して、スマートフォン２１は居間１における自身の正確な位置を決定し、対応する位置データを発生することができる。次いで、本発明の方法の残部を、制御システム８及びスマートフォン２１の両者に当該方法を実行するために必要な情報を供給するための幾つかの変更を伴って、上述した実施態様と同様に実行することができる。

【0041】

本発明の方法の例示的実施態様が、図９に一連のステップにより概略的に示されている。図９において、本発明の方法の第１実施態様８５に従って、監視カメラ９及び１０を備える制御システム８は、ステップ８８において、監視されるべき空間１の画像を入力するように動作される。これらの画像から、ステップ８９において、モバイル通信装置の位置の位置データが決定される。このステップは、例えば図２に概略的に示されたような方法により実現することができる。次いで、図９のステップ９０において、制御システム８により決定された上記位置データは、該制御システム８によりモバイル通信装置２１に送信される。オプションとして、点線ボックス９５により示されるように、該制御システムは既存のジェスチャ区域の又は複数の既存のジェスチャ区域のジェスチャ区域定義データをモバイル通信装置２１に供給することもできる。該オプションのステップ９５は、例えば既存のジェスチャ区域をユーザが自身のモバイル通信装置を用いて（例えば、斯かる既存のジェスチャ区域の視覚的表現が当該モバイル通信装置２１のオンボードカメラ６１からの生の画像に対するオーバーレイとしてスクリーン上に視覚化されるような拡張現実を用いて）検出及び修正することを可能にするように実行することができる。

【0042】

必要な情報を受信したら、モバイル通信装置２１は、次いでステップ９７において、該モバイル通信装置２１の出力ユニットにフィードバック信号を供給することによりユーザ２０に対しフィードバックを供給する。該フィードバック信号は、位置情報についての、及びオプションとして当該制御システムに記憶された既存のジェスチャ区域についてのフィードバック情報を供給する。理解されるように、例えば標準のデフォルトのジェスチャ区域並びにその実際の寸法及び他の特性についてのフィードバックを含む、追加のフィードバックを供給することもできる。当業者であれば、フィードバックを供給するステップ９７の間において実行することが可能な種々のフィードバックの可能性を認識することができる。ステップ９９において、モバイル通信装置２１はユーザ２０から入力を受ける。ユーザ２０により供給される該入力は、発生されるべきジェスチャ区域定義データを確立又は修正することに向けられたものとすることができる。例えば、フィードバックは、先に図３〜図７において示したように、モバイル通信装置２１の接触感知スクリーンにより供給することができる。しかしながら、フィードバックはモバイル通信装置上に存在するキーボード又は如何なる他の入力手段を用いて供給することもできる。

【0043】

ステップ９９において受けた入力に基づいて、モバイル通信装置２１のコントローラは、ステップ１０３において、確定されるべきジェスチャ区域を修正するための命令コマンドを確立する。次いで、ステップ１０５において、これら命令はモバイル通信装置２１により制御システム８に送信される。これに対し、制御システム８は、ステップ１０６において、当該モバイル通信装置（端末）から受信された上記命令に基づいて、及び該モバイルフォン２１の位置データ等の制御システム８にとり既に利用可能な情報に基づいて、ジェスチャ区域定義データを決定する。次いでステップ１０９において、該ジェスチャ区域定義データは、該データの使用のために制御システムに記憶される。

【0044】

図９に関して、当該方法８５の提案された方法ステップは、該図９の左側に示されているように、制御システム８又はモバイル通信装置２１により実行されることに注意されたい。しかしながら、これは単なる例示に過ぎず、当業者であれば、斯かる方法ステップの幾つかは他の主体により実行することができ、又は図９ではスマートフォン２１により実行されるべきと示されているステップを制御システム８により実行し若しくはその逆に実行することができると理解することができるであろう。

【0045】

方法８５に対する他のオプション的な方法ステップとして、ステップ１００においてモバイルフォン２１は部屋１内を或る経路に沿って移動させることができ、このことは例えば制御システム８の監視カメラ９及び１０により検出することができる。この場合、制御システム８は部屋１において辿られた経路を表す位置シーケンスデータを確定することができる。他の例として、例えば図８に示された状況において、モバイル通信装置２１自身が斯様な位置シーケンスデータを確定することができる。このような位置シーケンスデータは、次いで、ステップ９９（ユーザから入力を受けるステップ）に対する入力として使用され、該入力は、例えば、ジェスチャ区域を当該位置シーケンスデータにより示される経路により囲まれるものと定義するために使用することができる。

【0046】

本発明の他の方法が図１０に示されている。図１０は、例えば位置データをモバイル通信装置２１自体により確定することができるような図８に示された状況に基づいている。図１０に提示された方法は、図９のものと概ね同様であるが、幾つかのステップの順序が変更され、ステップのうちの幾つかが制御システム８の代わりにモバイル端末２１により実行される。例えば、図１０に示された方法において、ステップ１８８は画像を入力するステップを示すが、これら画像はモバイル通信装置２１のオンボードカメラ６１から入力される。次いで、ステップ１８９において、位置データが前述したようにモバイル通信装置２１により確定される。オプションとして、ステップ１９６において、モバイル通信端末２１により、既存のジェスチャ区域のジェスチャ区域定義データを制御システム８から供給することができる。このジェスチャ区域定義データは、ステップ１９６において、モバイル通信装置２１に送信される。ステップ１９７において、該モバイル通信装置はユーザ２０に対しフィードバックを供給し、ステップ１９９において、ユーザはジェスチャ区域定義データを修正又は確定する等のために入力を供給することができる。更に、オプションとしてのステップ２００は、前述したような位置シーケンスデータを確定するために部屋１内の或る軌跡又は経路に沿ったモバイル通信装置２１の移動を含む。ステップ２０３においては、ステップ１９９において受けた入力に基づいて命令コマンドが発生される一方、これら命令及びモバイル通信装置２１にとり利用可能なデータを用いて、ステップ２０６において、ジェスチャ区域定義データが該モバイル通信装置２１のコントローラにより決定される。次いで、ステップ２０５において（ステップ２０６及び２０５の順序は図９における方法８５と比較して相違することに注意）、上記ジェスチャ区域定義データは制御システム８に送信される。ステップ２０９において、制御システム８は該ジェスチャ区域定義データを使用のために記憶する。

【0047】

以上、本発明を幾つかの特定の実施態様に関して説明した。しかしながら、図面に示され本明細書に記載された斯かる実施態様は解説目的のためのみのものであり、決して本発明を限定することを意図するものではないことが理解されるであろう。ここに開示された本発明の内容は、添付請求項の範囲によってのみ限定されるものである。

【図1】

【図2】

【図3a】

【図3b】

【図4a】

【図4b】

【図5a】

【図5b】

【図6a】

【図6b】

【図7a】

【図7b】

【図8】

【図9】

【図10】