特開 2024-56764 デバイス操作制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024056764

(43)【公開日】2024-04-23

(54)【発明の名称】デバイス操作制御

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240416BHJP

【ＦＩ】

G06F3/01 510

G06F3/01 570

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024014730

(22)【出願日】2024-02-02

(62)【分割の表示】P 2020552899の分割

【原出願日】2019-03-29

(31)【優先権主張番号】1805269.6

(32)【優先日】2018-03-29

(33)【優先権主張国・地域又は機関】GB

(71)【出願人】

【識別番号】518232135

【氏名又は名称】ジョーンズ，マリア フランシスカ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ジョーンズ，マリア フランシスカ

(57)【要約】      （修正有）

【課題】バイス及び検出される動作タイプを使用してデバイスを制御する方法を提供する。
【解決手段】デバイスが、デバイスの動作を検出する動作検出構成を有するデバイス上の複数の独立したディスプレイ領域における情報の表示を制御し、各ディスプレイ領域は、独立して識別可能であり、学習フェーズの間に、識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力を受信して、動作検出構成を用いてデバイスの動作を検出する動作検出構成によって、検出される動作から動作タイプを識別する、動作タイプを識別するデータと対応する受信したユーザ入力を動作タイプ制御データとして格納、受信、検出、識別及び格納することを反復し、操作段階において、動作検出構成を用いてデバイスの動作を検出し、動作タイプ制御データを用いて動作タイプを識別し、表示される情報に対する対応する操作を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

デバイスであって、
各ディスプレイ領域が独立して識別可能な複数の独立したディスプレイ領域に情報を表示するディスプレイと、
１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき動作タイプ及び対応する操作の識別を含む動作タイプ制御データを格納するメモリと、
当該デバイスの動作を検出する動作検出構成と、
学習フェーズの間に１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力を受信するユーザ入力構成と、
プロセッサと、を含み、該プロセッサは、学習フェーズにおいて、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力が受信されるときに、前記動作検出構成によって検出される動作から動作タイプを識別し、前記動作タイプ制御データ内の前記動作タイプを識別するデータに対応する前記受信されるユーザ入力を格納し、前記学習フェーズに続いて、前記動作検出構成が動作を検出するときに、前記動作タイプ制御データを用いて動作タイプを識別し且つ１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対する前記対応する操作を実行する、ようにプログラムされる、
デバイス。

【請求項2】

前記プロセッサは、前記学習フェーズにおいて、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力が受信されるときに、前記動作検出構成から複数回受信される前記検出される動作を平均化することによって前記動作タイプを識別し、前記動作タイプ制御データ内の前記動作タイプを識別するデータと対応する前記受信されるユーザ入力を格納する、ようにプログラムされる、請求項１に記載のデバイス。

【請求項3】

前記プロセッサは、前記学習フェーズにおいて、複数のユーザ入力を受信し、各ユーザ入力について前記動作検出構成によって検出される動作から前記動作タイプを識別し、前記動作タイプ制御データ内の前記それぞれの動作タイプを識別するデータと対応する前記受信されるユーザ入力を格納する、ようにプログラムされる、請求項１又は２に記載のデバイス。

【請求項4】

前記プロセッサは、複数の方向における動作の組み合わせを含む複数の動作タイプを識別するようにプログラムされる、請求項１乃至３のうちのいずれか１項に記載のデバイス。

【請求項5】

前記方向は、横方向及び／又は回転方向のうちの少なくとも１つを含む、請求項４に記載のデバイス。

【請求項6】

前記プロセッサは、前記学習フェーズにおいて、１つ又はそれよりも多くのディスプレイ領域のユーザ選択を受信して、前記１つ又はそれよりも多くのディスプレイ領域を前記ユーザ入力の一部として識別するようにプログラムされる、請求項１乃至５のうちのいずれか１項に記載のデバイス。

【請求項7】

前記プロセッサは、前記学習フェーズにおいて、１つ又はそれよりも多くのディスプレイ領域に表示される情報に対して実行されるべき操作のメニューを表示するよう前記ディスプレイを制御するようにプログラムされ、前記ユーザ入力構成は、前記メニュー内の１つ又はそれよりも多くのディスプレイ領域に表示される情報に対して実行されるべき前記操作のうちの１つの操作のユーザ選択及び前記操作が前記ユーザ入力として適用する前記ディスプレイ領域のうちの１つ又はそれよりも多くのディスプレイ領域の選択を受信するように構成される、請求項１乃至５のうちのいずれか１項に記載のデバイス。

【請求項8】

前記プロセッサは、前記学習フェーズにおいて、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作のリストを表示するよう前記ディスプレイを制御するようにプログラムされ、前記ユーザ入力構成は、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力のリストとして前記リストを選択するユーザ選択及び前記操作が前記ユーザ入力として適用する前記ディスプレイ領域のうちの１つ又はそれよりも多くのディスプレイ領域の選択を受信するように構成され、前記プロセッサは、各ユーザ入力について前記動作検出構成によって検出される動作から前記動作タイプを識別し、前記動作タイプ制御データ内の前記それぞれの動作タイプを識別するデータと対応する前記ユーザ入力を格納する、ようにプログラムされる、請求項１乃至５のうちのいずれか１項に記載のデバイス。

【請求項9】

前記プロセッサは、複数の方向における複数の動作パターンを識別し、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対する前記対応する操作を実行する、ようにプログラムされる、請求項１乃至８のうちのいずれか１項に記載のデバイス。

【請求項10】

デバイスの動作を検出する動作検出構成を有する前記デバイス上の複数の独立したディスプレイ領域における情報の表示を制御する方法であって、各ディスプレイ領域は、独立して識別可能であり、
学習フェーズの間に、
１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力を受信すること、
前記動作検出構成を用いて前記デバイスの動作を検出すること、
前記動作検出構成によって検出される前記動作から動作タイプを識別すること、
前記動作タイプを識別するデータと対応する前記受信されるユーザ入力を動作タイプ制御データとして格納すること、並びに
前記受信すること、前記検出すること、前記識別すること、及び前記格納することを反復し、
操作段階において、
前記動作検出構成を用いて前記デバイスの動作を検出すること、並びに
前記動作タイプ制御データを用いて動作タイプを識別し、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対する前記対応する操作を実行することを含む、
方法。

【請求項11】

前記学習フェーズにおいて、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力が受信されるときに、前記動作タイプは、前記動作検出構成から複数回受信される前記検出される動作を平均化することによって識別され、前記受信されるユーザ入力は、前記動作タイプ制御データ内の前記動作タイプを識別するデータと対応して格納される、請求項１０に記載の方法。

【請求項12】

前記動作タイプは、複数の方向における動作の組み合わせを含む、請求項１０又は１１に記載の方法。

【請求項13】

前記方向は、横方向及び／又は回転方向のうちの少なくとも１つを含む、請求項１２に記載の方法。

【請求項14】

前記学習フェーズにおいて、１つ又はそれよりも多くのディスプレイ領域のユーザ選択を受信して、前記１つ又はそれよりも多くのディスプレイ領域を前記ユーザ入力の一部として識別することを含む、請求項１０乃至１３のうちのいずれか１項に記載の方法。

【請求項15】

前記学習フェーズにおいて、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作のメニューを表示することを含み、前記ユーザ入力は、前記メニュー内の１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき前記操作のうちの１つの操作のユーザ選択及び前記操作が前記ユーザ入力として適用する前記ディスプレイ領域のうちの１つ又はそれよりも多くのディスプレイ領域の選択として受信される、請求項１０乃至１３のうちのいずれか１項に記載の方法。

【請求項16】

前記学習フェーズにおいて、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作のリストを表示することを含み、前記ユーザ入力は、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力のリストとして前記リストを選択するユーザ選択及び前記操作が前記ユーザ入力として適用する前記ディスプレイ領域のうちの１つ又はそれよりも多くのディスプレイ領域の選択として受信され、動作タイプは、各ユーザ入力について前記動作検出構成によって検出される前記動作から識別され、前記ユーザ入力は、前記動作タイプ制御データ内の前記それぞれの動作タイプを識別するデータと対応して格納される、請求項１０乃至１３のうちのいずれか１項に記載の方法。

【請求項17】

複数の方向における複数の動作パターンが、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき前記対応する操作を実行するように識別される、請求項１０乃至１６のうちのいずれか１項に記載の方法。

【請求項18】

請求項１０乃至１７のうちのいずれか１項に記載の方法を実装するようプロセッサによる実行のためのプロセッサ実装可能なコードを担持する、キャリア媒体。

【請求項19】

デバイスであって、
動作タイプ、対応する制御操作、及び対応するジェスチャタイプデータの識別を含む、制御データを格納する、メモリと、
当該デバイスの動作を検出する動作検出構成と、
ジェスチャを検出するジェスチャ検出構成と、
学習フェーズの間に制御操作を識別するユーザ入力を受信するユーザ入力構成と、
プロセッサと、を含み、該プロセッサは、
前記学習フェーズの間に、制御操作を識別するユーザ入力が受信されるときに、前記動作検出構成によって検出される動作から動作タイプを識別し、前記制御データ内の前記動作タイプを識別するデータと対応する前記受信されるユーザ入力を格納し、且つ対応するジェスチャタイプデータを決定し、
前記学習フェーズに続いて、前記動作検出構成が動作を検出するときに、前記制御データを用いて動作タイプを識別し、前記対応する制御操作を実行し、或いは、前記ジェスチャ検出構成がジェスチャを検出するときに、前記制御データを用いてジェスチャタイプを識別し、前記対応する制御操作を実行する、ようにプログラムされる、
デバイス。

【請求項20】

前記ジェスチャ検出構成は、カメラを含む、請求項１９に記載のデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デバイス及び検出される動作タイプ(motion types)を使用してデバイスを制御する方法に関する。

【背景技術】

【0002】

携帯電話、タブレットコンピュータデバイス、ラップトップのような、持ち運び可能(portable)で移動可能(moveable)なデバイスが、広く使用されている。持ち運び可能なデバイスの設計者にとっての挑戦は、軽量で、バッテリ効率が良く、使用に便利な装置を設計することである。使用の容易さの一面は、ユーザが制御コマンドを入力することができる容易さである。

【発明の概要】

【0003】

本発明は、デバイスであって、各ディスプレイ領域が独立して識別可能な複数の独立したディスプレイ領域に情報を表示するディスプレイと、動作タイプ及び１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき対応する操作の識別を含む動作タイプ制御データを格納するメモリと、デバイスの動作を検出する動作検出構成と、学習フェーズの間に１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力を受信するユーザ入力構成と、プロセッサとを含み、プロセッサは、学習フェーズにおいて、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力が受信されるときに、動作検出構成によって検出される動作から動作タイプを識別し、動作タイプ制御データ内の動作タイプを識別するデータに対応する受信されるユーザ入力を格納し、学習フェーズに続いて、動作検出構成が動作を検出するときに、動作タイプ制御データを使用して動作タイプを識別し且つ１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対する対応する操作を実行する、ようにプログラムされる、デバイスを提供する。

【0004】

本発明は、デバイスの動作を検出する動作検出構成を有するデバイス上の複数の独立したディスプレイ領域における情報の表示を制御する方法であって、各ディスプレイ領域は、独立して識別可能であり、学習フェーズの間に、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力を受信すること、動作検出構成を用いてデバイスの動作を検出すること、動作検出構成によって検出される動作から動作タイプを識別すること、動作タイプを識別するデータと対応する受信されるユーザ入力を動作タイプ制御データとして格納すること、並びに、受信すること、検出すること、識別すること、及び格納することを反復し、操作段階において、動作検出構成を用いて前記デバイスの動作を検出すること、並びに、動作タイプ制御データを用いて動作タイプを識別し、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対する対応する操作を実行することを含む、方法も提供する。

【0005】

本発明は、デバイスであって、動作タイプ、対応する制御操作、及び対応するジェスチャタイプデータの識別を含む、制御データを格納する、メモリと、デバイスの動作を検出する動作検出構成と、ジェスチャを検出するジェスチャ検出構成と、学習フェーズの間に制御操作を識別するユーザ入力を受信するユーザ入力構成と、プロセッサとを含み、プロセッサは、学習フェーズの間に、制御操作を識別するユーザ入力が受信されるときに、動作検出構成によって検出される動作から動作タイプを識別し、制御データ内の動作タイプを識別するデータと対応する受信されるユーザ入力を格納し、且つ対応するジェスチャタイプデータを決定し、学習フェーズに続いて、動作検出構成が動作を検出するときに、制御データを用いて動作タイプを識別し且つ対応する制御操作を実行し、或いはジェスチャ検出構成がジェスチャを検出するときに、制御データを用いてジェスチャタイプを識別し且つ対応する制御操作を実行する、ようにプログラムされる、デバイスも提供する。

【図面の簡単な説明】

【0006】

【図1】例示的な手持ち式デバイスを図示する概略図である。

【0007】

【図2】例示的なデバイスの代替的なディスプレイを図示する概略図である。

【0008】

【図3】例示的なデバイスの代替的なディスプレイを図示する概略図である。

【0009】

【図4】例示的なデバイスの電子部品を図示する概略図である。

【0010】

【図5】例示的な学習フェーズを図示するフロー図である。

【0011】

【図6】例示的な操作フェーズを図示するフロー図である。

【発明を実施するための形態】

【0012】

以下の詳細な記述では、詳細な記述の一部を形成し、本発明の主題が実施されることがある具体的な実施形態を例示によって示す、添付の図面を参照する。これらの実施形態は、当業者がそれらを実施することを可能にするよう十分に詳細に記載されている。他の実施形態が利用されてよいこと、並びに発明的な主題の範囲から逸脱することなく、構造的、論理的及び電気的な変更が行われてよいことが理解されるべきである。発明的な主題のそのような実施形態は、単に便宜のために、並びに、１つよりも多くが実際に開示されるならば、この出願の範囲を任意の単一の発明又は発明的な概念に自発的に限定することを意図することなく、本明細書では「発明」という用語によって個別に及び／又は集合的に言及されることがある。

【0013】

従って、以下の記述は、限定的な意味で解釈されるべきでなく、発明的な主題の範囲は、添付の請求項及びそれらの均等物によって定義される。

【0014】

以下の実施形態において、同等の構成要素は、同等の参照番号で印されている。

【0015】

以下の実施形態において、データ格納装置(data store)又はメモリ(memory)という用語は、あらゆるコンピュータ可読記憶媒体及び／又はデバイス（又はデータ記憶媒体及び／又はデバイスの集合）を包含することを意図する。データ格納装置の例は、光ディスク（例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなど）、磁気ディスク（例えば、ハードディスク、フロッピーディスクなど）、メモリ回路（例えば、ソリッドステートドライブ、ランダムアクセスメモリ（ＲＡＭ）など）を含むが、これらに限定されない。

【0016】

本明細書に記載する機能又はアルゴリズムは、１つの実施形態において、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアとの組み合わせで実装される。ソフトウェアは、メモリ又は他のタイプのストレージデバイスのようなコンピュータ可読キャリア媒体に格納されるコンピュータ実行可能な命令を含む。更に、記載の機能は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせであってよい、モジュールに対応してよい。複数の機能が、所望に１つ又はそれよりも多くのモジュールにおいて実行され、記載の実施形態は、単なる例である。ソフトウェアは、デジタル信号プロセッサ、ＡＳＩＣ、マイクロプロセッサ、又は他のタイプのプロセッサ上で実行される。

【0017】

幾つかの実施形態は、関連する制御及びデータ信号がモジュールの間で及びモジュールを通じて通信される、２つ又はそれよりも多くの特定の相互接続されたハードウェアモジュール又はデバイスにおいて、或いは特定用途向け集積回路の一部として、機能を実装する。よって、例示的なプロセスフローは、ソフトウェア、ファームウェア、及びハードウェアの実装に適用可能である。

【0018】

一般化された実施形態が、複数の独立したディスプレイ領域に情報を表示するディスプレイであって、各ディスプレイ領域が独立して識別可能であるディスプレイと、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行される動作タイプ(motion types)及び対応する操作(operations)の識別(identifications)を含む動作タイプ制御データを格納するメモリと、デバイスの動作を検出する動作検出構成と、学習フェーズの間に１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行される操作を識別するユーザ入力を受信するユーザ入力構成と、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行される操作を識別するユーザ入力構成と、学習フェーズにおいて、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を識別するユーザ入力が受信されるときに、動作検出構成によって検出される動作から動作タイプを識別し、動作タイプ制御データ中の動作タイプを識別するデータと対応する受信されるユーザ入力を格納し、学習フェーズに続いて、動作検出構成が動作を検出するときに、動作タイプ制御データを用いて動作タイプを識別し、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して対応する操作を実行する、ようにプログラムされる、プロセッサとを含む、デバイスを提供する。

【0019】

デバイスのユーザは、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行されるべき操作を引き起こす入力として使用されるよう、好ましい動作タイプについてデバイスを訓練することができる。このようにして、ユーザは、ユーザがデバイスの特定の識別されるディスプレイ領域と相互作用(対話)して、１つ又はそれよりも多くの識別されるディスプレイ領域に表示される情報に対して実行される特定の操作のための好ましい動作タイプを選択する方法を調整することができる。動作タイプの識別は、動作データから動作タイプを識別するために検出される動作データとのマッチングのための各動作タイプについての記録された動作データを含むことができる。１つの実施形態では、動作タイプの全部が学習される必要はなく、一部は予め格納されることができる。

【0020】

本発明は、持ち運び可能な(portable)デバイスに適するが、そのようなものに限定されない。デバイスは、往復(reciprocal)動作、回転(rotational)動作、又は震動(shaking)動作において動かされることができる、任意のデバイスであることができる。そのようなデバイスは、典型的には、持ち運び可能であり且つ無線であるが、単に移動可能であり且つワイヤによって接続されることができる。デバイスは、別の装置の一部であってよく、従って、デバイスを制御するためにユーザによってもたらされる震動動作、回転動作、又は往復動作を可能にするために、使用中に取外し可能であることができる。デバイスは、携帯電話、タブレットコンピュータ、スマートウォッチ又はパーソナルモニタデバイスのようなウェアラブルデバイス、ラップトップ、又は機械制御デバイスを含むことができる。

【0021】

１つ又はそれよりも多くの識別されたディスプレイ領域内に表示される情報に対して実行されるべき操作は、ディスプレイの１つ又はそれよりも多くのディスプレイ領域内の表示された情報の切断、ペースト、挿入又は削除のような、ディスプレイ領域内の情報に対する任意の操作を含むことができる。操作は、１つのディスプレイ領域、ディスプレイ領域のサブセット、又は全てのディスプレイ領域での操作に制限されることができる。

【0022】

ユーザが制御操作の識別及び実行のために使用できる動作のタイプは、例えば、直線動作、往復動作、回転動作、揺動(swaying)動作、シーソー(see-sawing)動作、揺動(swinging)動作、又は揺動(rocking)動作のうちのいずれかを含むことができる。「震動(shake)」の変位又は振幅、「震動」の周波数又は速度(rate)及び／又は「震動」の速さ(speed)／速度(velocity)又は「震動」の活力(vigour)も、デバイスの動作の種類の構成要素であることができる。動作タイプは、単一の動作タイプ又は動作タイプの組み合わせ、例えば、並進往復動作及び回転動作を含むことができ、動作は、複数の方向にあることができる。動作閾値を設定することができ、それによって、動作の速さ又は振幅が閾値を上回るときにのみ、動作タイプが動作データから識別される。これにより、誤った動作タイプ識別、故に、誤った制御操作実行を回避する。動作は、動作又は動作タイプの複雑な混合又は集合、例えば、震動と同時の回転、又は一連の動作、例えば、震動に続く回転、又は１つの方向における回転に続く別の方向における回転を含むことができる。故に、動作のシーケンスは、同じ動作タイプ又は異なる動作タイプのシーケンスであることができる。

【0023】

デバイスによる動作タイプの認識におけるエラーを低減するために、学習フェーズの間に、１つ又はそれよりも多くの識別されたディスプレイ領域内に表示される情報に対して実行されるべき操作を識別するユーザ入力を受信した後に、所望の動作パターンの何らかの形式の平均が動作タイプ制御データ内で動作タイプを識別するデータとして格納されることができるように、動作が１回よりも多く検出されることができ、動作パターンが毎回記録されることができるように、デバイスはユーザが動作タイプを１回より多く実施することを要求してよい。ユーザが１つ又はそれよりも多くの識別されたディスプレイ領域内に表示される情報に対して実行されるべき動作のための動作タイプであることを望むことが記録された動作のこの平滑化又は平均化は、ユーザが１つ又はそれよりも多くの識別されたディスプレイ領域内に表示される情報に対する操作を引き起こすことを意図する操作フェーズにおいて受信されることがある動作データにおける偏差を学習する際にプロセッサを補助する。動作検出構成からの動作データと動作タイプ制御データに格納された動作データとのマッチングにおけるエラーは低減される。

【0024】

学習フェーズでは、ユーザが、対応する操作を実行するために使用されるべき一連の所望の動作タイプを表す一連のユーザ入力を入力してよい。故に、学習フェーズにおいて、ユーザ入力を受信することができることに続いて、１つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対して実行されるべき複数の制御操作のための動作タイプ制御データを生成するためのシリーズとして対として動作データを入力することができる。

【0025】

学習フェーズでは、１つ又はそれよりも多くのディスプレイ領域のユーザ選択を受信して、ユーザ入力の一部として１つ又はそれよりも多くのディスプレイ領域を識別することができる。１つ又はそれよりも多くのディスプレイ領域のユーザ選択は、ポインタ又はタッチ入力を用いて或いは単に識別子によって列挙されるディスプレイ領域のリストからディスプレイ領域を選択することによって行われることができる。

【0026】

学習フェーズでは、操作が適用されるべき１つ又はそれよりも多くのディスプレイ領域及び表示されるメニュー項目を単に選択することによって、ユーザがユーザ入力を生成することを可能にするように、ユーザにメニューを表示することができる。

【0027】

代替的な例では、学習フェーズにおいて、デバイスは、制御操作のセットリストを有してよく、ユーザ入力は、１つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対して実行されるべき全ての列挙された操作のための動作タイプを学習するために、リストを実装する選択肢を含む。よって、学習フェーズにおいて、デバイスは、ユーザが、１つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対して実行されるべき列挙される操作のために順次式に、デバイスのための所要の動作タイプを引き起こすことを単に要求する。デバイスは、各制御操作について各タイプの動作がいつ実行されるべきかをユーザに示すことができる。これは、表示されたメッセージ、インジケータライト、又は音声出力によることができる。

【0028】

動作タイプ及び制御操作は、個々のユーザについて学習されることができる。例えば、ユーザは、ディスプレイ装置を使用するために自分の名前を入力するか或いはサインインすることができ、次に、ユーザが自分の名前を入力するか或いはサインインするときに、学習した動作タイプ及び制御操作が、使用のためにそのユーザのために格納される。

【0029】

ユーザは、ディスプレイの各領域を同時に使用してよい。更に、ディスプレイスクリーン領域は、ユーザによって要求されるように位置決めされてよく、ユーザによって設定されてよく或いは予め設定されてよい。ユーザは、動作制御を使用して、ディスプレイ領域、例えば、ディスプレイスクリーン領域の一部を選択して位置決めする或いは再位置決めするポイント又は選択されるディスプレイ領域内のデータを操作して、それを再配置してよい。

【0030】

１つの実施形態において、ユーザは、ディスプレイ領域を選択及び制御することができ、例えば、選択されるディスプレイ領域をタップすることによって、例えば、ディスプレイ領域上でズームインすることによって、ディスプレイ領域を必要に応じて或いはユーザによって望まれるように開くことによって、ディスプレイ領域を開いて調整することができる。これは、ユーザが、例えば、スクリーン全体をカバーするために、ディスプレイ領域を完全に開くことを可能にすることがある。

【0031】

１つの実施形態において、デバイスは、１つ又はそれよりも多くのディスプレイ領域を備える１つ又はそれよりも多くのディスプレイを備える可撓性(フレキシブル)デバイスを含み、ディスプレイデータは、１つ又はそれよりも多くのディスプレイ領域で、１つ又はそれよりも多くのディスプレイ領域の間でディスプレイデータを移行させることができ、デバイスディスプレイの１つ又はそれよりも多くの側面に現れること及びデバイスディスプレイの１つ又はそれよりも多くの側面で移行することを含む。両側にディスプレイを備えるデバイスは、表示されるデータを表示し且つ制御することができる電子文書リーダを含んでよい。例えば、データは、デバイスの前面Ａに表示され、次に、デバイスの逆側である側面Ｂに移行させられる。

【0032】

１つの実施形態において、デバイスは、可撓性デバイスを含み、データは、可撓性デバイスの１つ又はそれよりも多くの折り畳まれた又は曲げられた領域に表示されてよく、ユーザは、１つよりも多くのディスプレイが提供されるならば、同じディスプレイ又は別のディスプレイ上のディスプレイ領域の間でデータを移行させるために、動作又はジェスチャを使用することができる。ユーザ入力構成は、キーボード、ポインティングデバイス（例えば、マウス、トラックパッド、又はトラッカーボール）、タッチセンサ方式ディスプレイ及び／又はペンのような、任意の従来的なデバイス入力構成を含むことができる。ペンは、ユーザが手書きテキスト及び図面を入力することを可能にする。

【0033】

デバイスは、固定的な又は可撓性のディスプレイ又は複数のディスプレイを含むことができるディスプレイを有することができる。ディスプレイ又は複数のディスプレイは、取り外し可能であってよい。複数のディスプレイは、異なるタイプであってよく、例えば、１つが可撓性であり、１つが剛性であってよい。

【0034】

１つの態様は、方法を実行するための機械のプロセッサによる実行のためのコードを格納する非過渡性記憶媒体、又は方法を実行するための機械のプロセッサによる実行のためのプロセッサ実行可能コードを担持する過渡性媒体のような、キャリア媒体を提供する。実施形態は、コンピュータコードを実装するプログラマブルデジタル論理で実装されることができる。コードは、キャリア媒体上のプロセッサ又はマイクロプロセッサのようなプログラマブル論理に供給されることができる。キャリア媒体の１つのそのような実施形態は、過渡性媒体、すなわち、電気信号、電磁信号、音響信号、磁気信号、又は光信号のような信号である。キャリア媒体の別の形態は、ソリッドステートメモリ、磁気媒体（ハードディスクドライブ）、又は光媒体（コンパクトディスク（ＣＤ）又はデジタル多用途ディスク（ＤＶＤ））のようなコードを格納する、非一時記憶媒体である。

【0035】

デバイスは、１つの例において、その全文を本明細書に参照によって援用する、２０１７年１２月２９日に出願された同時係属中の特許文献１に開示された、ディスプレイ装置の例のうちのいずれかにおいてディスプレイユニットとして使用されることができ、或いはその全文を本明細書に参照によって援用する、この出願と同日に出願された同時係属中の「Display Apparatus」という名称の特許文献２に開示されたデバイスと共に使用されることができる。

【0036】

次に、図面を参照して、特定の実施形態を記載する。

【0037】

図１は、手持ち式デバイス１(handheld device)を例示する概略図である。デバイス１は、携帯電話のような任意の手持ち式デバイスを含むことができる。

【0038】

デバイス１がデバイスの１つ又はそれよりも多くの独立したディスプレイ領域についてのコマンドを入力する方法として受けることのできる動作方向(motion directions)が、図１に矢印によって例示されている。動作は、交差する矢印で示すように、三次元内の３つの軸ｘ、ｙ及びｚに沿う３つの方向のいずれかにおいて前後直線動作又は往復動作であることができる。追加的に又は代替的に、動作は、湾曲した矢印Ａ及びＢによって示すように、非線形動作、湾曲動作、又は回転動作であることができる。回転動作は、ｘ、ｙ又はｚ軸のいずれかについての回転であることができる。

【0039】

図２は、移動式デバイス２(mobile device)を例示する概略図である。

【0040】

デバイス２は、情報を表示することができるディスプレイスクリーン３を含む。この例において、ディスプレイスクリーン３は、３つの異なるディスプレイ領域において、３つのタイプの情報、すなわち、タイプされたテキスト１１、手書きテキスト４１、及び画像３１を表示している。この実施形態では、異なる情報が異なる領域に表示されているように例示されているが、本発明は、同じ又は異なるディスプレイ領域における同じ情報タイプ又は情報タイプの混合の表示にも当て嵌まる。表示される情報は、例えば、完成されるべき或いは記入されるべき領域、例えば、標準書式(standard form)の手紙における住所領域及び名前領域又は書式中のフィールドを有する、文書又は書式であることができる。ディスプレイ領域に表示される情報は、テキスト、画像、又はビデオのうちのいずれかを含むことができる。情報は、ウェブブラウザ、電子メールアプリケーション、ワードプロセッサ、スプレッドシート、画像エディタなどのような、装置上で実行される任意のアプリケーションによって表示されることができる。手書きテキスト４１は、ペンデバイス５０を用いて入力されることができる。ディスプレイスクリーン３は、ペンデバイス５０の座標を検出してその場所をトラッキング(追跡)し、故に、入力手書きテキスト４１を生成するよう、ペンデバイス５０の近接性に敏感であることができる。ディスプレイスクリーン３は、例えば、タッチセンサ方式オプションのディスプレイ及び／又はキーボードによって、デバイス２への情報及びコマンドの入力を可能にするよう、タッチ方式であることができる。

【0041】

図２の例において、デバイス２の動作は、制御操作の実行を引き起こして、例えば、タイプされたテキスト１１、手書きテキスト４１、又は画像３１のうちの１つ又はそれよりも多くのような、表示された情報又は選択的な部分の全てを消去することによって、或いは、例えば、テキスト又は画像データをディスプレイ領域に入力することによって、表示された情報のいずれかを変更することができる。

【0042】

図３は、デバイスの代替的なディスプレイスクリーン２０を例示している。この例では、境界マーキングによって明確に画定される３つの異なるディスプレイ領域、すなわち、タイプされたテキスト１１が表示されたタイプされたテキストディスプレイ領域１０、画像３１を表示する画像ディスプレイ領域３０、及びペン５０を用いて作成された手書きテキスト４１を表示する手書きテキストディスプレイ領域４０がある。

【0043】

図２及び図３は、テキスト又は画像の形態で表示された情報の動作制御(motion control)を例示しているが、動作制御は、任意の表示された情報を含むことができる。ショッピングアプリケーションでは、仮想ショッピングカートを移動させ、充填し、或いは空にすることができ、品目を清算することができる。各制御操作(control operation)は、デバイスが学習フェーズで教えられる関連する制御動作を有することができる。一部の制御オプションは、予め格納されることができ、教えること(ティーチング)を必要としない。

【0044】

この例のデバイスの動作は、図１の交差する矢印によって示すように、三次元内の３つの軸ｘ、ｙ及びｚに沿う３つの方向のいずれかにおける前後線形運動又は往復運動であることができる。追加的に又は代替的に、動作は、図１の湾曲した矢印によって示すように、非直線動作、湾曲動作又は回転動作であることができる。

【0045】

図３の例では、デバイスの動作は、ディスプレイ領域１０、３０、及び４０のうちの１つ又はそれよりも多くにおいて表示された情報の全部又は一部を消去することができる。表示される領域内の情報に対して実行される操作及び表示される領域のうちの１つ以上は、デバイスの動作に固有のコマンドとして画定される。デバイスは、特定の動作タイプが、１つのディスプレイ領域のみ、ディスプレイ領域のサブセットのみ、又はディスプレイ領域の全てにおいて表示される情報に対して特定の動作を引き起こすように、対応するディスプレイ領域識別子及び情報操作と共に、動作パターンのセットを格納する。

【0046】

異なるタイプの情報が、図３の異なるディスプレイ領域に表示されているように例示され且つ記載されているが、異なるディスプレイ領域は、同じ情報タイプ又は情報タイプの任意の組み合わせを表示することができる。また、ディスプレイ領域は、情報タイプの混合(ミックス)を表示することができる。図３の例は、例示のためだけのものである。

【0047】

図２及び図３の例は、認識される動作パターン又はタイプに従って特定のディスプレイ領域における情報の表示を制御する制御操作を記載する。

【0048】

デバイスの動作検出構成によって検出される動作タイプは、任意の次元又は方向における複数のタイプの動作パターンのうちの任意の１つを検出することができる。異なる動作パターンの例は、前後の震動、左右の震動、上下の震動、左右の回転（側面に対する側面の傾斜）、上下の回転する（上下の傾斜）、及び回転である。これらの各々は、図１に例示する３つの軸のうちの１つに沿う又はそれらのうちの１つについての横方向動作（震動）又は回転動作を表している。開始動作に基づいて、これらの動作タイプの各々の動作タイプの２つのタイプを検出することが可能である。例えば、前後は、前後又は後前であることができ、側側は、左から右又は右から左であることができ、回転は、時計回り回転又は反時計回り回転であることができるなどである。更に、動作が実行される活力（例えば、震動又は相反性の速さ又は周波数）は、異なる動作タイプ又はパターンについての識別特徴として使用されることができる。故に、ディスプレイ装置の同じ空間変位は、変位が実行される速さ、加速度、及び周波数に依存して異なる動作タイプに対応することがある。更に、複雑な動作タイプは、基本動作タイプ、例えば、横方向動作及び回転動作の組み合わせ、又は、相反的な横方向動作と回転動作の組み合わせを含む、複雑な動作パターンを含むことができる。

【0049】

デバイスのメモリは、動作検出構成によって検出され且つ動作検出構成からの信号からプロセッサによって識別される各動作タイプについてプロセッサによって識別される１つ又はそれよりも多くのディスプレイ領域に実装されるべき一連の操作を格納することができる。これらの操作は、データソースから事前定義又はダウンロードされることができ、それらはユーザ定義されることができ或いは補完されることができる。ユーザ定義又は補完は、学習フェーズ中に行われることができる。

【0050】

図４は、例示的なデバイスの電子部品を例示する概略図である。

【0051】

プロセッサ１００は、不揮発性方法における表示のためのデータ及び情報の格納のために、オペレーティングシステムコードのようなプロセッサ１００によって使用されるコードを格納する、スタティック／不揮発性メモリ１０２に接続される。揮発性メモリ１０３は、プロセッサ１００による実装のためのアプリケーションコード並びに表示のためのデータ及び情報を格納するために提供される。揮発性メモリは、動作センサ１０４によって検出される動作パターンを識別するためのコードを含むコード（例えば、コードモジュール）と、独立したディスプレイ領域に表示される情報に対する操作を実行することに応答してディスプレイスクリーン１０５を制御するためのコード（例えば、コードモジュール）とを格納することができる。メモリは、予め格納された或いは学習フェーズの間に学習された動作タイプに対するディスプレイ領域のための識別子及びディスプレイ領域上のデータマッピング操作を格納することもできる。

【0052】

ディスプレイスクリーン１０５は、情報の表示のためにプロセッサ１００に接続される。ディスプレイスクリーン１０５は、入力構成を提供するためのタッチセンサ方式ディスプレイを含むことができる。（図２に示す）ペン５０をディスプレイスクリーン１０５と共に使用して、フリーハンドテキスト又は図面の入力を可能にすることができる。任意的に、カメラ１０６をプロセッサ１００に接続して画像を取り込むこともできる。カメラ１０６によって取り込まれた画像も対してプロセッサによって実施されるジェスチャ認識を使用して情報及びコマンドの入力のための入力構成としてカメラを使用することもできる。

【0053】

ネットワークコネクタ１０１が、通信又はコンピュータネットワークとの通信のためにプロセッサ１００に接続される。この通信リンクは、ネットワークを通じてデバイスと他のデバイス又はコンピュータとの間でデータ、情報及び制御を渡すことができる。ネットワークコネクタ１０１は、有線又は無線接続を使用して通信又はコンピュータネットワークに接続されることができる。例えば、有線接続は、ネットワークコネクタ１０１がモデム又はルータとして機能するように、ＬＡＮ又は電話接続部へのイーサネット接続であることができる。無線接続は、ＷＩＦＩ、ＷｉＭＡＸ、ＣＤＭＡ、ＧＳＭ、ＧＰＲＳ、無線ローカルループ又はＷＡＮであることができる。低範囲及び低出力の無線通信のために、Ｂｌｕｅｔｏｏｔｈ（ＴＭ）が使用されてよい。

【0054】

デバイスの動作を検出するために、動作センサ１０４がプロセッサ１００に接続される。動作センサ１０４は、加速度計のような、任意の従来的な動作センサを含むことができる。動作センサ１０４は、任意の方向におけるデバイスの動作を検出することができる。すなわち、動作センサ１０４は、三次元における３つの直交軸のいずれかに沿う動作を検出する多軸運動センサである。

【0055】

上記例のいずれにおいても、両側で情報を見るためにデバイスを裏返すことができるように、デバイスは両側にディスプレイスクリーンを有してよい。制御操作は両側に適用することができ、或いは片側にだけ適用することができる。１つの例において、これは選択的に設定されることができる。ディスプレイ又は複数のディスプレイは、マウントフレームから取り外されることもできる。

【0056】

１つ又はそれよりも多くの実施形態では、ディスプレイスクリーンをマウントと別個に使用することができるように、デバイスは、ディスプレイスクリーンが取り外し可能な(detachable)又は取り外し可能な(demountable)方法で取り付けられるドッキング部分又はマウントを含むことができる。マウント及びディスプレイスクリーンは、無線リンクを使用して互いの間で通信することができるので、マウントは、プロセッサ及びストレージのような、ディスプレイ装置の幾つかの構成要素を含むことができる一方で、ディスプレイスクリーンは、ディスプレイスクリーンを操作し、ディスプレイスクリーンの動作を検出し、プロセッサと通信するのに必要な構成要素のみを含むことができる。１つの実施形態では、１つよりも多くのディスプレイスクリーンがマウントから取り外し可能に設けられることができ、各ディスプレイスクリーンは、マウント内の共用プロセッサを使用する動作検出による消去操作を提供するように独立して作動する。

【0057】

デバイスは、オーディオ出力のための１つ又はそれよりも多くのラウドスピーカと、オーディオ入力のための１つ又はそれよりも多くのマイクロホンとを含むことができる。また、デバイスは、デバイスへの情報及びコマンドの入力を可能にするために、有線又は無線接続によってキーボード及び／又はポインティングデバイスのような周辺デバイスに接続することができる。

【0058】

次に、図５及び図６を参照して、例示的なデバイスを作動させる方法を記載する。

【0059】

図５は、デバイスの学習フェーズを例示するフロー図である。

【0060】

ステップＳ１において、デバイスは、学習フェーズに入る。これは、デバイスの起動時に又はデバイスの他の操作の結果として自動的であることができ、或いは、それは、ユーザ選択、すなわち、デバイスの入力構成を使用することのような、ユーザ入力の結果として自動的であることができる。ステップＳ２において、デバイスのディスプレイが、ユーザがユーザ入力として動作を使用して実行することを選択することができる１つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対して実行されるべき定義された操作のメニューを表示する。表示されるメニューは、例えば、単にリストであることができ、或いはドロップダウンメニューであることができる。リストは、操作のタイプのカテゴリに編成されることができる。メニューは、操作を適用することができるディスプレイ領域のリストを表示することができ、ユーザは、１つ又はそれよりも多くのディスプレイ領域を選択することができる。代替的に、ユーザが、ディスプレイの領域又は複数の領域を選択するために、例えば、ポインタデバイス又はタッチ入力を使用して、選択された操作が適用されるべき１つ又はそれよりも多くの領域を選択することができるよう、ディスプレイは、選択可能な方法で領域を表示することができる。

【0061】

ステップＳ３において、操作メニュー項目のユーザ選択が受信され、次に、ステップＳ４において、デバイスは、デバイスの動作を検出するために、動作検出器構成、例えば、加速度計を待つ。動作は、動作パターンを取り込むのに適した短い時間期間、例えば、１～２秒に亘って記録される。マッチングプロセスの精度を向上させ、ユーザによる動作パターンの変化を可能にするために、ステップＳ５において、プロセスは、ループバックして(ループを戻って)、ユーザが動作入力を数（Ｎ）回、例えば、３～１０回のいずれかを繰り返すことを要求する。より多くの反復は、マッチングプロセスの精度を向上させるが、デバイスの使い勝手を低下させる。すなわち、ユーザは、余りにも多くの動作パターンを反復する要求に耐えられなくなる。

【0062】

ループバック処理の終了時に、ステップＳ６において、反復された記録についての記録された動作パターンが平均化され、平均は、ステップＳ７において、格納された動作タイプ制御データ内の動作タイプに関する情報の一部としての格納のために使用される。記録された動作パターンの間の偏差の程度を示すデータも、操作フェーズ中のマッチングプロセスを支援するために、すなわち、一致(マッチ)が格納された平均動作パターンの予想偏差内にあるかどうかを評価することを支援するために、動作タイプデータの一部として格納されることができる。対応する制御操作を識別する識別子も、格納される動作タイプ制御データの一部として格納される。

【0063】

次に、プロセスは、ステップＳ２に戻って、ユーザがメニューから別の操作を選択することを可能にする。ユーザが操作を選択することを終了したならば、ユーザは学習フェーズを終了することを選択することができる。

【0064】

図６は、学習フェーズに続くデバイスの操作フェーズを示すフロー図である。

【0065】

ステップＳ１０において、デバイスは、操作フェーズに入り、ステップＳ１１において、デバイスの動作が検出される。ステップＳ１２において、動作のパターンは、動作タイプ制御データ内の動作タイプについて格納されたパターンと比較されて、動作が動作タイプと一致するかどうかが決定される。一致が見出されないならば（ステップＳ１３）、プロセスは、ステップＳ１１に戻って、更なる動作を検出する。一致タイプについて動作が動作データとマッチすることがステップＳ１３において見出されるならば、ステップＳ１４において、１つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対する対応する操作が動作タイプ制御データ内で識別され、ステップＳ１５において、１つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対する操作が実行される。次に、プロセスは、ステップＳ１１に戻って、１つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対する更なる操作のために、デバイスの次の動作を検出する。

【0066】

図５では、多数の記録された動作操作についての動作データの平均が取られる。しかしながら、本発明は、平均をとることに限定されず、１つだけの動作検出が使用されてよく、或いは、多数が記録されてよく、それらは操作フェーズ中の動作パターンとの個々のマッチングのために個々に格納されることができる。

【0067】

図５において、ユーザは、その制御操作についての動作タイプをデバイスに教える操作を選択するメニューを提示される。ユーザは、ユーザ入力構成を使用して、１つ又はそれよりも多くの識別されたディスプレイ領域に表示される情報に対して実行されるべき彼ら自身の操作を定義することができる。

【0068】

上記の例のいずれにおいても、デバイスは、ユーザが運動検出制御入力方法に関連して制御及び情報を入力することを可能にするために、オーディオ入力のためのオーディオセンサ、キーボード、ポインタデバイス（例えば、マウス）、又はタッチスクリーンのような、他の入力構成を含むことができる。また、画像キャプチャが制御又は情報入力の方法としてのジェスチャ入力を可能にするために、カメラが設けられることもできる。デバイスは、赤外線センサ、例えば、受動赤外線センサ（ＰＩＲ）を含むことができる。

【0069】

ディスプレイ領域に表示される情報は、ビデオ（動画、テレビ、３Ｄビデオ、パノラマビューなど）を含むことができる。

【0070】

デバイスは、デバイスを制御するためのリモコンを含むことができる。リモコンは、デバイスの動作制御に応じて作動することができる。

【0071】

実施形態では、動作制御入力に加えて或いは代えて、ユーザがジェスチャを使用して識別されたジェスチャのタイプに依存して制御を入力することができるように、ユーザに面する方向においてビデオを取り込むために、カメラがデバイス内に設けられることができる。ジェスチャ制御は、ユーザの身体部分、すなわち、手、顔の特徴又は全体的な身体位置の移動の認識を含むことができる。パターン認識技法を用いて、ジェスチャのタイプを認識し、それらを識別することができる。例示的なジェスチャタイプは、手を左又は右に掃引すること、上又は下に掃引すること、又は手を振ることを含むことができる。

【0072】

ジェスチャ制御が動作制御と共に提供される場合には、例えば、ユーザがデバイスを拾うことができない場合に、例えば、ユーザが濡れた手又は汚れた手を有する場合に、ジェスチャ制御消去操作を使用することができる。更に、デバイスは、検出されるジェスチャタイプに応答するように、同じ制御を入力する同等の又は関連する動作タイプを識別するように、並びにディスプレイスクリーンを制御してディスプレイスクリーンにジェスチャコマンドに対するコマンドに均等な動作を模倣させるように、制御されることができる。例えば、動作コマンドが左から右への回転であるならば、同等の又は関連するジェスチャコマンド、例えば、手を左から右へ振ることが識別されたときに、ディスプレイスクリーンは、ジェスチャコマンドが動作コマンドとして認識されたことのユーザへの確認として作用するよう、ディスプレイを左から右へ回転させることができる。均等なジェスチャタイプは、対応する動作タイプからプロセッサによって自動的に決定されることができ、故に、動作タイプデータは、同じ操作についての対応するジェスチャタイプデータを含むことができる。一般的な動きにおいて動作コマンドと一致するジェスチャの使用は、ジェスチャがユーザにとって直感的であることを意味する。例えば、デバイスの回転は、ユーザの手の回転と同等とみなされることができる。

【0073】

本発明のこの態様は、アプリケーションの実行、デバイスのカメラを使用して写真を撮ること、又はデバイスの状態を変更する任意の他の操作を含む、デバイスへの任意のタイプのコマンドの入力に適用されることができる。この態様は、制御操作の学習及び実行のために図４のハードウェア並びに図５及び図６のフロー図の方法を使用することができる。この態様は、ディスプレイ領域におけるディスプレイ操作の制御に限定されず、代わりにデバイスへの任意の制御操作の入力に適用されることができる。

【0074】

動作タイプ及び制御操作は、個々のユーザについて学習されることができる。例えば、ユーザは、ディスプレイデバイスを使用するために自分の名前を入力するか或いはサインインすることができ、次に、学習された動作タイプ及び操作は、ユーザが自分の名前を入力するか或いはサインインするときの使用のために、そのユーザのために格納される。

【0075】

１つの態様において、本発明は、動作制御を補完するジェスチャ制御を提供する。この態様において、デバイスは、動作タイプの識別、対応する制御操作、及び対応するジェスチャタイプデータを含む、制御データを格納するメモリと、デバイスの動作を検出する動作検出構成と、ジェスチャを検出するジェスチャ検出構成と、学習フェーズ中に制御操作を識別するユーザ入力を受信するユーザ入力構成と、学習フェーズにおいて、制御操作を識別するユーザ入力を受信するときに、動作検出構成によって検出される動作から動作タイプを識別し、制御データ内の動作タイプを識別するデータに対応して、受信したユーザ入力を格納し、対応するジェスチャタイプデータを決定し、学習フェーズに続いて、動作検出構成が動作を検出するときに、制御データを使用して動作タイプを識別し且つ対応する制御操作を実行し、或いはジェスチャ検出構成がジェスチャを検出するときに、制御データを使用してジェスチャタイプを識別し且つ対応する制御操作を実行する、ようにプログラムされる、プロセッサとを含む。

【0076】

この態様において、デバイスは、移動性であることができ、或いは固定される／取り付けられることができる。ユーザが識別されるジェスチャのタイプに依存してジェスチャを制御入力として使用することができるよう、ユーザに面する方向においてビデオを取り込むために、デバイス内にカメラを設けることができる。ジェスチャ制御は、ユーザの身体部分、すなわち、手、顔の特徴、又は全体的な身体位置の移動の認識、又はスティック、定規、又はユーザが着用する何かのような、ユーザによって動かされる物体の認識を含むことができる。パターン認識技法を用いて、ジェスチャのタイプを認識し、それらを識別することができる。例示的なジェスチャタイプは、手を左又は右に掃引すること、上又は下に掃引すること、又は手を振ることを含むことができる。ジェスチャは、学習フェーズにおいて学習されたデバイスの動作と一致する。例えば、デバイスの回転は、ユーザの手の回転によって模倣されることができる。

【0077】

発明的な主題の性質を説明するために記載され且つ例示した部品及び方法段階の詳細、材料、及び構成における様々な他の変更は、添付の請求項に示されるような発明的な主題の原理及び範囲から逸脱することなく行われてよいことが、当業者に容易に理解されるであろう。

【先行技術文献】

【特許文献】

【0078】

【特許文献1】英国特許出願第１７２２２４９．８号明細書

【特許文献2】英国特許出願第１８０５２７８．７号明細書

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【外国語明細書】