特許 6995650 ウェアラブル機器及びその操作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-17

(45)【発行日】2022-01-14

(54)【発明の名称】ウェアラブル機器及びその操作方法

(51)【国際特許分類】

   G06F 3/0354 20130101AFI20220106BHJP

   G06F 3/041 20060101ALI20220106BHJP

   G06F 3/038 20130101ALI20220106BHJP

   G06F 3/01 20060101ALI20220106BHJP

   G06F 3/0488 20220101ALI20220106BHJP

【ＦＩ】

G06F3/0354 453

G06F3/041 595

G06F3/041 400

G06F3/038 350D

G06F3/01 510

G06F3/0488

【請求項の数】 14

(21)【出願番号】P 2018014029

(22)【出願日】2018-01-30

(65)【公開番号】P2019133342

(43)【公開日】2019-08-08

【審査請求日】2020-12-09

(73)【特許権者】

【識別番号】398058588

【氏名又は名称】Ｄｙｎａｂｏｏｋ株式会社

(74)【代理人】

【識別番号】110001737

【氏名又は名称】特許業務法人スズエ国際特許事務所

(72)【発明者】

【氏名】畠山 哲夫

【審査官】田川 泰宏

(56)【参考文献】

【文献】特開２０１７－１２０４８８（ＪＰ，Ａ）

【文献】特開２０１５－０３８６４５（ＪＰ，Ａ）

【文献】特開２００７－０７２６３３（ＪＰ，Ａ）

【文献】特開２００１－１５４７６６（ＪＰ，Ａ）

【文献】特開２０１７－１１１５３７（ＪＰ，Ａ）

【文献】特開２０１７－１８２２２８（ＪＰ，Ａ）

【文献】特開２０１５－０２２７４５（ＪＰ，Ａ）

【文献】特開２０１４－１６４７６１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０１８５２１４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０３５４

Ｇ０６Ｆ ３／０４１

Ｇ０６Ｆ ３／０３８

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８８

(57)【特許請求の範囲】

【請求項1】

マウスカーソルを含む画面にスクリーンキーボードを選択的に表示させる表示手段と、
少なくとも第１辺と第２辺を有する多角形状のプレートを含み、前記第１辺と前記第２辺の少なくとも一方に関する指のなぞり動作を検出する検出手段と、
前記検出手段が前記指のなぞり動作を検出した場合、前記画面に前記スクリーンキーボードが表示されているか否かを判定し、前記スクリーンキーボードが表示されていると判定した場合、前記検出手段が検出した前記指のなぞり動作に応じた動作を前記画面の上で実行する制御手段と、
を具備するウェアラブル機器。

【請求項2】

前記検出手段は前記第１辺と前記第２辺の少なくとも一方に関する前記指のなぞり方向を検出し、
前記制御手段は、前記スクリーンキーボードが表示されていないと判定した場合、前記検出手段により検出された前記指のなぞり方向へ前記マウスカーソルを移動させる請求項１記載のウェアラブル機器。

【請求項3】

前記プレートは前記第１辺と平行な第３辺と、前記第２辺と平行な第４辺をさらに有し、
前記検出手段は前記第１辺、前記第２辺、前記第３辺及び前記第４辺の少なくとも一方に関する前記指のなぞり方向を検出し、
前記制御手段は、前記スクリーンキーボードが表示されていないと判定した場合、
前記検出手段が前記第１辺に関する前記指のなぞり動作の開始を検出すると、前記検出手段により検出された前記指のなぞり方向への前記マウスカーソルの移動を開始し、
前記検出手段が前記第１辺に関する前記指のなぞり動作の終了を検出すると、前記検出手段により検出された前記指のなぞり方向への前記マウスカーソルの移動を終了させ、
前記検出手段が前記第２辺に関する前記指のなぞり動作の開始を検出すると、前記検出手段により検出された前記指のなぞり方向への前記マウスカーソルの移動を開始し、
前記検出手段が前記第２辺に関する前記指のなぞり動作の終了を検出すると、前記検出手段により検出された前記指のなぞり方向への前記マウスカーソルの移動を終了させる請求項１記載のウェアラブル機器。

【請求項4】

前記制御手段は、前記スクリーンキーボードが表示されていないと判定した場合、
前記検出手段が前記第３辺に関する前記指のなぞり動作の開始を検出しても、前記検出手段により検出された前記指のなぞり方向への前記マウスカーソルの移動を開始せず、
前記検出手段が前記第４辺に関する前記指のなぞり動作の開始を検出しても、前記検出手段により検出された前記指のなぞり方向への前記マウスカーソルの移動を開始しない請求項３記載のウェアラブル機器。

【請求項5】

前記制御手段は、前記スクリーンキーボードが表示されていないと判定した場合、
前記検出手段が前記指の第１のなぞり動作を検出するとマウスの左ボタンクリックに対応する動作を実行し、
前記検出手段が前記指の第２のなぞり動作を検出すると、マウスの左ボタンダブルクリックに対応する動作を実行し、
前記検出手段が前記指の第３のなぞり動作を検出すると、マウスの左ボタンの押下状態保持開始に対応する動作を実行し、
前記検出手段が前記指の第４のなぞり動作を検出すると、マウスの右ボタンクリックに対応する動作を実行し、
前記検出手段が前記指の第５のなぞり動作を検出すると、左ボタンの押下状態保持終了に対応する動作を実行する請求項１記載のウェアラブル機器。

【請求項6】

前記制御手段は、前記検出手段が前記指の第６のなぞり動作を検出する場合、前記スクリーンキーボードを前記画面に表示させる又は前記画面に表示されている前記スクリーンキーボードを前記画面から消す請求項１記載のウェアラブル機器。

【請求項7】

前記制御手段は、前記スクリーンキーボードが表示されていると判定した場合、前記検出手段が前記指の第６のなぞり動作を検出すると、前記スクリーンキーボードのフォーカスされているキーに対応する文字を入力する請求項１記載のウェアラブル機器。

【請求項8】

前記検出手段は前記第１辺と前記第２辺の少なくとも一方に関する前記指のなぞり方向も検出し、
前記制御手段は、前記スクリーンキーボードが表示されていると判定した場合、前記検出手段により検出された前記指のなぞり方向へ前記スクリーンキーボードのフォーカスを移動させる請求項１記載のウェアラブル機器。

【請求項9】

前記プレートは前記第１辺と平行な第３辺と、前記第２辺と平行な第４辺をさらに有し、
前記検出手段は前記第１辺、前記第２辺、前記第３辺及び前記第４辺の少なくとも一方に関する前記指のなぞり方向を検出し、
前記制御手段は、前記スクリーンキーボードが表示されていると判定した場合、
前記検出手段が前記第１辺に関する前記指のなぞり動作の開始を検出すると、前記検出手段により検出された前記指のなぞり方向への前記スクリーンキーボードのフォーカスの移動を開始し、
前記検出手段が前記第１辺に関する前記指のなぞり動作の終了を検出すると、前記検出手段により検出された前記指のなぞり方向への前記スクリーンキーボードのフォーカスの移動を終了させ、
前記検出手段が前記第２辺に関する前記指のなぞり動作の開始を検出すると、前記検出手段により検出された前記指のなぞり方向への前記スクリーンキーボードのフォーカスの移動を開始し、
前記検出手段が前記第２辺に関する前記指のなぞり動作の終了を検出すると、前記検出手段により検出された前記指のなぞり方向への前記スクリーンキーボードのフォーカスの移動を終了させる請求項１記載のウェアラブル機器。

【請求項10】

前記制御手段は、前記スクリーンキーボードが表示されていると判定した場合、
前記検出手段が前記第３辺に関する前記指のなぞり動作の開始を検出しても、前記検出手段により検出された前記指のなぞり方向への前記スクリーンキーボードのフォーカスの移動を開始せず、
前記検出手段が前記第４辺に関する前記指のなぞり動作の開始を検出しても、前記検出手段により検出された前記指のなぞり方向への前記スクリーンキーボードのフォーカスの移動を開始しない請求項９記載のウェアラブル機器。

【請求項11】

前記検出手段は前記第１辺と前記第２辺の少なくとも一方に関する前記指のなぞり方向を検出し、
前記制御手段は、前記スクリーンキーボードが表示されていると判定し、前記スクリーンキーボードの各キーは第１文字と複数の第２文字に対応している場合、前記検出手段が前記指の接触を検出すると前記第１文字を入力し、前記検出手段が前記指のなぞり動作を検出すると前記検出手段が検出した前記指のなぞり方向に応じて前記複数の第２文字のいずれかを入力する請求項１記載のウェアラブル機器。

【請求項12】

前記プレートの形状は正方形、長方形、角部が丸められた正方形又は角部が丸められた長方形を含む請求項１乃至請求項１１のいずれか一項記載のウェアラブル機器。

【請求項13】

前記ウェアラブル機器はメガネフレーム形状の筐体を具備し、
前記表示手段はユーザの視線上に位置するように前記筐体に取り付けられ、
前記検出手段は前記プレートがユーザの頭の側部に位置するように前記筐体に取り付けられている請求項１乃至請求項１２のいずれか一項記載のウェアラブル機器。

【請求項14】

少なくとも第１辺と第２辺を有する多角形状のプレートを有する入力部を具備するウェアラブル機器の操作方法であって、
マウスカーソルを含む画面を表示することと、
前記画面にスクリーンキーボードを選択的に表示することと、
前記プレートの前記第１辺と前記第２辺の少なくとも一方に関する指のなぞり動作を検出することと、
前記画面に前記スクリーンキーボードが表示されているか否かを判定することと、
前記スクリーンキーボードが表示されていると判定された場合、検出された前記指のなぞり動作に応じた動作を前記画面の上で実行することと、
を具備する操作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態はウェアラブル機器及びその操作方法に関する。

【背景技術】

【0002】

最近、多くのモノがインターネットでつながるＩｏＴ時代となり、オフィス、工場、その他様々な場面において、ネットワークコミュニケーションや情報共有のツールとしてエッジコンピューティングと呼ばれる技術が求められている。このエッジコンピューティングを実現するためにはデータセンター（或いはクラウド）とは別に作業者（ユーザ）がその場で使用可能な、高度の汎用性と処理能力を持つ実用的なモバイルエッジコンピューティングデバイスの開発が必要とされている。これにより、作業現場等での業務効率化や生産性向上、或いは、データの負荷分散やネットワーク環境の改善等を図ることが期待される。

【0003】

モバイルエッジコンピューティングデバイスはウェアラブル機器として実現される、あるいはウェアラブル機器に接続されて実現される。ウェアラブル機器の一例としてユーザの頭に装着されるメガネ、ヘルメット、ゴーグル等にディスプレイとタッチパッドが備えられているメガネ型ウェアラブル端末がある。タッチパッドは指の操作方向を検出し、指の操作方向に応じたコマンドを入力する。このようなウェアラブル機器では、ディスプレイはユーザの視線上に位置し、タッチパッドは頭側部に位置するように構成されている。

【0004】

ウェアラブル機器のタッチパッドは小型化せざるを得ず、狭いタッチエリア内で所定の方向に指を移動することは困難である。さらに、メガネ型ウェアラブル機器を装着しているユーザはタッチパッドを操作する指を見ることができず、手探り状態でタッチパッドを操作しなければならない。手探りで操作するため、所定の方向に指を移動することは非常に困難である。このため、タッチパッドを用いてコマンドを適切に入力できない場合がある。

【先行技術文献】

【特許文献】

【0005】

【文献】特開2015-038645号公報

【文献】特開2007-072633号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的はコマンドを適切に入力することができるウェアラブル機器及びその操作方法を提供することである。

【課題を解決するための手段】

【0007】

実施形態によれば、ウェアラブル機器は表示手段と、検出手段と、制御手段を具備する。表示手段は、マウスカーソルを含む画面にスクリーンキーボードを選択的に表示させる。検出手段は、少なくとも第１辺と第２辺を有する多角形状のプレートを含み、前記第１辺と前記第２辺の少なくとも一方に関する指のなぞり動作を検出する。制御手段は、検出手段が指のなぞり動作を検出した場合、画面にスクリーンキーボードが表示されているか否かを判定し、前記スクリーンキーボードが表示されていると判定した場合、検出手段が検出した指のなぞり動作に応じた動作を前記画面の上で実行する。

【図面の簡単な説明】

【0008】

【図1】実施形態のウェアラブル機器を含む遠隔支援システムの一例を示すブロック図である。

【図2】図１中のオペレータ端末１２の一例を示すブロック図である。

【図3】図１中のモバイルＰＣ１６に接続されるウェアラブルデバイス２３の外観の一例を示す。

【図4】ウェアラブルデバイス２３の本体２４の外観の一例を示す。

【図5】モバイルＰＣ１６とウェアラブルデバイス本体２４との接続の一例を示す。

【図6】ウェアラブルデバイス本体２４の一例を示すブロック図である。

【図7】モバイルＰＣ１６の外観の一例を示す。

【図8】モバイルＰＣ１６の一例を示すブロック図である。

【図9】タッチパッド１１０の外観の一例を示す。

【図10】タッチパッド１１０を用いて行われるジェスチャの例を示す。

【図11】図１０に示すジェスチャにより実行される動作の例を示す。

【図12】ウェアラブルデバイス本体２４のディスプレイ１２４に表示される画面の一例を示す。

【図13】ウェアラブルデバイス本体２４のディスプレイ１２４に表示される画面の他の例を示す。

【図14】タッチパッド１１０による入力操作の一例を示すフローチャートである。

【図15】図１４の定義ジェスチャ検出処理（Ｓ６０２）の一例を示すフローチャートである。

【図16】図１４のジェスチャａ１～ａ４のマウスカーソル移動終了検出処理（Ｓ６０８）の一例を示すフローチャートである。

【図17】図１４のジェスチャｄ１～ｄ４のキーボードフォーカス移動終了検出処理（Ｓ６３６）の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、実施の形態について図面を参照して説明する。なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。

【0010】

［遠隔支援システム］
図１は、エッジコンピューティングを実現するための遠隔支援システムの一例を示すブロック図である。遠隔支援システムは、ユーザ、例えば作業現場の作業者を後方のオペレータが遠隔地から支援するためのシステムである。現場の作業の例は、複雑なメンテナンス業務、物流倉庫のピッキング作業、作業現場の監視、災害救助・医療サポート等がある。作業現場の作業者側をフロントエンド、後方のオペレータ側をバックエンドとも称する。遠隔支援システムは、作業者が携帯するモバイルパーソナルコンピュータ（ＰＣ）（モバイルエッジコンピューティングデバイスと呼ぶこともある）１６と作業者から離れた位置にある遠隔支援センター（データセンター）１８をネットワーク２２を介して相互に接続され、通信可能となっている。モバイルＰＣ１６と遠隔支援センター１８は有線のＬＡＮケーブルによりネットワーク２２に接続されてもよいし、無線ＬＡＮ、ブルートゥース（登録商標）等によりネットワーク２２に接続されてもよい。

【0011】

ウェアラブルデバイス２３はモバイルＰＣ１６と接続される。図１では、ウェアラブルデバイス２３はケーブルによりモバイルＰＣ１６に接続される例を示すが、ウェアラブルデバイス２３は無線ＬＡＮ、ブルートゥース等によりモバイルＰＣ１６と接続されてもよい。ウェアラブルデバイス２３はカメラ、ディスプレイを備え、カメラで撮影した画像をモバイルＰＣ１６に送信し、モバイルＰＣ１６から送信される画像をディスプレイで表示する。

【0012】

図１に示すように複数の作業者がネットワークを介して相互に通信することも可能である。この場合、遠隔支援センターを経由してもよいし、遠隔支援センターのオペレータを介さずに作業者同士のみで通信するようにすることも可能である。

【0013】

遠隔支援センター１８はオペレータ端末１２とサーバ１４を備える。遠隔支援センター１８はモバイルＰＣ１６（及びウェアラブルデバイス２３）とオペレータ端末１２間で音声通話を行う又は情報をやり取りする。モバイルＰＣ１６に接続されるウェアラブルデバイス２３のリアルタイム映像をオペレータ端末１２にビデオ配信することや、モバイルＰＣ１６とオペレータ端末１２間で画像を相互に送受信することができる。また、オペレータ端末１２からモバイルＰＣ１６にテキストメッセージを送信することもできる。例えば、物流倉庫ピッキング作業では、メガネ型のウェアラブルデバイス２３にピッキング品の場所を表示させ、ハンズフリーでのピッキングを実現できる。

【0014】

遠隔支援としては、典型的には、例えば以下の機能を含む。

【0015】

(1)モバイルＰＣ１６とオペレータ端末１２との双方向の音声通話を行う音声通話機能。

【0016】

(2)音声通話中にウェアラブルデバイス２３のリアルタイム映像をオペレータ端末１２にビデオ配信するライブ映像配信機能。

【0017】

(3)音声通話中にモバイルＰＣ１６とオペレータ端末１２間で静止画を送受信する静止画像の送受信機能（モバイルＰＣ１６は撮影した静止画やビデオ配信中のキャプチャ画像をオペレータ端末１２に送信し、オペレータ端末１２は受信した画像に文字や絵などを書き込み、編集した画像をモバイルＰＣ１６に送信する機能。モバイルＰＣ１６で受信した静止画像は、モバイルＰＣ１６内のフォルダーに保存され、閲覧可能である）。

【0018】

(4)音声通話中にオペレータ端末１２のデスクトップ画面全体又は任意のアプリケーションのウィンドウをウェアラブルデバイス２３に表示する画面共有機能。

【0019】

(5)オペレータ端末１２からモバイルＰＣ１６に対してテキストメッセージを送信するテキストメッセージの送信機能。

【0020】

サーバ１４は遠隔支援のための処理をオペレータ端末１２に代わって又は協働して行うものであり、プロセッサ（ＣＰＵ）２８、ＲＯＭ３０、ＲＡＭ３２、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）からなるストレージデバイス３４、インターフェース３６を備える。なお、サーバ１４の機能を全てオペレータ端末１２に持たせ、サーバ１４を省略してもよい。

【0021】

［オペレータ端末１２］
図２はオペレータ端末１２の一例を示すブロック図である。オペレータ端末１２はデスクトップ型ＰＣ又はノートブック型ＰＣ等からなる。

【0022】

オペレータは、オペレータ端末１２を用いて作業現場の状況をリアルタイム映像で確認しながら、会話や画像によってモバイルＰＣ１６の作業者に指示を行う。オペレータは、オペレータ端末１２を用いてモバイルＰＣ１６から受信した画像ファイルに絵や文字などの書き込みを行い、編集した画像ファイルをモバイルＰＣ１６に送信することや、オペレータ端末１２に保存することができる。

【0023】

オペレータ端末１２は、プロセッサを含むシステムコントローラ４２を備え、システムコントローラ４２には、主メモリ４４、ＢＩＯＳ－ＲＯＭ５０、ＨＤＤ又はＳＳＤからなるストレージデバイス５２、オーディオコーデック５４、グラフィクスコントローラ６２、タッチパネル７０、ＵＳＢ（登録商標）コネクタ７２、無線ＬＡＮデバイス７４、ブルートゥースデバイス７６、有線ＬＡＮデバイス７８、ＰＣＩＥｘｐｒｅｓｓ（登録商標）カードコントローラ８０、メモリカードコントローラ８２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）８４等が接続される。

【0024】

システムコントローラ４２はストレージデバイス５２から主メモリ４４にロードされる様々なプログラムを実行する。これらプログラムは、オペレーティングシステム（ＯＳ）４６、遠隔支援のためのバックエンドアプリケーションプログラム４８を含む。システムコントローラ４２は不揮発性メモリであるＢＩＯＳ－ＲＯＭ５０に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳはハードウェア制御のためのシステムプログラムである。

【0025】

オーディオコーデック５４は、再生対象のデジタルのオーディオ信号をアナログのオーディオ信号に変換して、ヘッドフォン５８又はスピーカ６０に供給する。また、オーディオコーデック５４は、マイク５６から入力されるアナログのオーディオ信号をデジタル信号に変換する。マイク５６とヘッドフォン５８は単独で設けてもよいが、インカムとして一体的に設けてもよい。

【0026】

グラフィックスコントローラ６２は、オペレータ端末１２のディスプレイモニタとして使用される液晶表示器（ＬＣＤ）６４を制御する。ＬＣＤ６４の画面上にタッチパネル７０が重ねられ、ＬＣＤ６４の画面にタッチペン等により手書き入力操作が行えるように構成されている。グラフィックスコントローラ６２にはＨＤＭＩ（登録商標）コントローラ６６も接続される。ＨＤＭＩコントローラ６６は外部の表示デバイスとの接続のためのＨＤＭＩコネクタ６８に接続される。

【0027】

無線ＬＡＮデバイス７４は、ネットワーク２２との接続のためにＩＥＥＥ８０２．１１規格の無線ＬＡＮ通信を実行する。ブルートゥースデバイス７６は、外部機器との接続のためにブルートゥース規格の無線通信を実行する。有線ＬＡＮデバイス７８は、ネットワーク２２との接続のためにＩＥＥＥ８０２．３規格の有線ＬＡＮ通信を実行する。このように、オペレータ端末１２とネットワーク２２との接続は無線通信によってもよいし、有線通信によってもよい。

【0028】

ＰＣＩＥｘｐｒｅｓｓカードコントローラ８０はオペレータ端末１２と外部機器との間でＰＣＩＥｘｐｒｅｓｓ規格の通信を行なう。メモリカードコントローラ８２は、記憶媒体、例えばＳＤカード（登録商標）等のメモリカードにデータを書き込み、メモリカードからデータを読み出す。

【0029】

ＥＣ／ＫＢＣ８４は電力管理コントローラであり、キーボード８８を制御するキーボードコントローラも内蔵したワンチップマイクロコンピュータとして実現されている。ＥＣ／ＫＢＣ８４は、電源スイッチ８６の操作に応じてオペレータ端末１２をパワーオン又はパワーオフする機能を有する。パワーオン及びパワーオフの制御は、ＥＣ／ＫＢＣ８４と電源回路９０との協働動作によって実行される。ＥＣ／ＫＢＣ８４はオペレータ端末１２がパワーオフされている期間中も、バッテリ９２又はＡＣアダプタ９４からの電力によって動作する。電源回路９０は、バッテリ９２からの電力又は外部電源として接続されるＡＣアダプタ９４からの電力を用いて、各コンポーネントへ供給すべき電力を生成する。

【0030】

［ウェアラブルデバイス２３］
図３はモバイルＰＣ１６に接続されるウェアラブルデバイス２３の外観の一例を示す。ウェアラブルデバイス２３はメガネフレーム１４２とウェアラブルデバイス本体２４を備える。メガネフレーム１４２は一般的なメガネからレンズを取り除いた形状でもよく、作業者の顔に装着される。メガネフレーム１４２はメガネが取り付けられる構造としてもよい。作業者がメガネを常用する場合、常用しているメガネと同様な度数のレンズがメガネフレーム１４２に取り付けられてもよい。

【0031】

メガネフレーム１４２はウェアラブルデバイス本体２４が着脱される取付具１４４を左右のテンプルに備える。図３では作業者から見て右側のテンプルの取付具１４４はウェアラブルデバイス本体２４に隠されているので、図示されない。上述したようにウェアラブルデバイス本体２４はディスプレイ１２４（図４に示す）（請求項では表示手段と称する）を備え、ディスプレイ１２４は片目で目視されるようになっているので、ウェアラブルデバイス本体２４が利き目側に取り付けられるように取付具１４４は左右のテンプルに備えられている。なお、ウェアラブルデバイス本体２４を取付具１４４によりメガネフレーム１４２に着脱自在に取り付ける必要はなく、ウェアラブルデバイス本体２４がメガネフレーム１４２に固定された右眼用、左眼用のウェアラブルデバイス２３を用意してもよい。さらに、ウェアラブルデバイス本体２４をメガネフレーム１４２ではなく、ヘルメット、ゴーグル等を用いて作業者の頭部に装着してもよい。

【0032】

ウェアラブルデバイス本体２４は、その係合片１２８（図４に示す）が取付具１４４の上下の枠内に挟まれるように、メガネフレーム１４２に取り付けられる。ウェアラブルデバイス本体２４をメガネフレーム１４２から取り外す場合は、ウェアラブルデバイス本体２４が取付具１４４から引き抜かれる。

【0033】

ウェアラブルデバイス本体２４は取付具１４４に取り付けられた状態で、係合片１２８は取付具１４４内で前後に多少は移動可能である。このため、作業者の焦点がディスプレイ１２４に合うようにウェアラブルデバイス本体２４は前後位置が調整可能である。さらに、取付具１４４はテンプルに直交する軸１４４Ａを中心に回転可能であり、ウェアラブルデバイス本体２４がメガネフレーム１４２に取り付けられた後、ディスプレイ１２４が作業者の視線上に位置するように上下位置が調整可能である。さらに、取付具１４４の回転角度は９０度程度であり、取付具１４４を上方向に大きく回転することにより、ウェアラブルデバイス本体２４をメガネフレーム１４２からはね上げることができる。これにより、ウェアラブルデバイス本体２４により視野が邪魔され実物を見ることが困難な場合や、狭い場所でウェアラブルデバイス本体２４が周囲の物体に干渉する場合でも、ウェアラブルデバイス２３全体を顔から外す／再装着することなく、ウェアラブルデバイス本体２４を作業者の視野から一時的に外す／戻すことができる。

【0034】

［ウェアラブルデバイス本体２４］
ウェアラブルデバイス本体２４はメガネフレーム１４２のテンプルに沿った側面部と作業者の一方の眼球の視線上に位置する前面部とからなる。側面部に対する前面部の角度は調節可能である。

【0035】

前面部の外側表面にはカメラ１１６、ライト１１８、カメラＬＥＤ１２０が設けられる。ライト１１８は暗部の撮影時に発光する補助照明である。カメラＬＥＤ１２０は写真や動画の撮影時に点灯し、撮影対象者に撮影していることを認識させるためのものである。

【0036】

右側のテンプルに取り付けられたウェアラブルデバイス本体２４の側面部の上側面に第１、第２、第３ボタン１０２、１０４、１０６が設けられる。なお、作業者の利き目が左眼の場合、ウェアラブルデバイス本体２４は左側のテンプルに取り付けられる。右側に取り付けられるか左側に取り付けられるかで、ウェアラブルデバイス本体２４の上下が反転するので、側面部の上側面と下側面の両面に第１、第２、第３ボタン１０２、１０４、１０６を設けてもよい。

【0037】

側面部の外側表面にはタッチパッド１１０、第４ボタン１０８、マイク１１２、照度センサ１１４が設けられる。タッチパッド１１０と第４ボタン１０８は人差し指で操作可能である。ボタン１０２、１０４、１０６は、ウェアラブルデバイス本体２４が右側に取り付けられた際、それぞれ人差し指、中指、薬指で操作可能な位置に配置される。タッチパッド１１０（請求項では検出手段と称する）は、タッチ面に厚さ数ミリメートル程度の多角形状のプレート１００を備える。多角形の例は正方形、長方形、角部が丸みを持った正方形又は角部が丸みを持った長方形を含む。タッチパッド１１０の詳細は図９を参照して後述する。タッチパッド１１０は、プレート１００の４辺の縁に沿った作業者の指の上下前後方向の移動を検出すると、コマンドを入力する。本明細書では、コマンドとはウェアラブルデバイス本体２４に対する特定の処理の実行指令のことである。第１～第４ボタン１０２、１０４、１０６、１０８、タッチパッド１１０の操作方法はアプリケーションプログラムによって決められている。

【0038】

例えば、
第３ボタン１０６が１回押されると、項目の選択／項目の実行がなされ、
第３ボタン１０６が長押しされると、起動中のアプリケーションの一覧が表示され、
第２ボタン１０４が１回押されると、ホーム画面に戻り、
第２ボタン１０４が長押しされると、クイックセッティングのメニューが表示され、
第１ボタン１０２が１回押されると、操作の取り消し（キーボードのEscキーと同様の動作）が実行される。

【0039】

第１ボタン１０２は人差し指、第２ボタン１０４は中指、第３ボタン１０６は薬指、第４ボタン１０８は小指で操作できるような位置に配置される。なお、第４ボタン１０８が側面部の上部ではなく、側面部の外側表面に設けられるのは、スペースの関係上であり、第４ボタン１０８も第１～第３ボタン１０２、１０４、１０６と同様に側面部の上部に設けられてもよい。照度センサ１１４はディスプレイの明るさを自動調整するために周囲の照度を検出する。

【0040】

図４はウェアラブルデバイス本体２４の裏面の外観の一例を示す。前面部の内側にはＬＣＤからなるディスプレイ１２４が設けられる。側面部の内側にはマイク１２６、スピーカ１３０、係合片１２８が設けられる。マイク１２６は側面部の前方に、スピーカ１３０は側面部の後方に、係合片１２８は側面部の後方に設けられる。スピーカ１３０の代わりにヘッドフォンを用いてもよい。その場合、オペレータ端末１２と同様にマイクとヘッドフォンをインカムとして一体的に設けてもよい。

【0041】

側面部の後方の端面にはＵＳＢｔｙｐｅ－Ｃ（登録商標）規格のコネクタ１３２が設けられる。図５に示すように、ウェアラブルデバイス本体２４はＵＳＢｔｙｐｅ－Ｃ規格のケーブル１４６を介してモバイルＰＣ１６に接続され、画像信号等がウェアラブルデバイス本体２４とモバイルＰＣ１６の間で伝送される。ウェアラブルデバイス本体２４は無線ＬＡＮ、ブルートゥース等の無線通信によりモバイルＰＣ１６に接続されてもよい。

【0042】

実施形態ではウェアラブルデバイス本体２４は駆動電源としてのバッテリ又はＤＣ端子を備えず、駆動電源はモバイルＰＣ１６からＵＳＢｔｙｐｅ－Ｃケーブル１４６を介してウェアラブルデバイス本体２４に供給される。しかし、ウェアラブルデバイス本体２４が駆動電源を備えてもよい。

【0043】

図６はウェアラブルデバイス本体２４の一例を示すブロック図である。ＵＳＢｔｙｐｅ－Ｃコネクタ１３２がミキサ１６６に接続される。ディスプレイコントローラ１７０とＵＳＢハブ１６４がミキサ１６６の第１端子、第２端子にそれぞれ接続される。ディスプレイ１２４がディスプレイコントローラ１７０に接続される。カメラコントローラ１６８、オーディオコーデック１７２、センサコントローラ１６２（請求項では制御手段と称する）がＵＳＢハブ１６４に接続される。カメラ１１６とライト１１８とカメラＬＥＤ１２０がカメラコントローラ１６８に接続される。マイク１１２、１２６からのオーディオ信号がオーディオコーデック１７２に入力され、オーディオコーデック１７２からのオーディオ信号がアンプ１７４を介してスピーカ１３０に入力される。

【0044】

センサコントローラ１６２に、モーションセンサ（例えば、加速度／地磁気／重力／ジャイロセンサ等）１７６、照度センサ１１４、近接センサ１７８、タッチパッド１１０、第１～第４ボタン１０２、１０４、１０６、１０８、ＧＰＳセンサ１８０が接続される。センサコントローラ１６２はモーションセンサ１７６、照度センサ１１４、近接センサ１７８、タッチパッド１１０、第１～第４ボタン１０２、１０４、１０６、１０８、ＧＰＳセンサ１８０からの検出信号を処理して、モバイルＰＣ１６へコマンドを供給する。図４には示していないが、モーションセンサ１７６、近接センサ１７８はウェアラブルデバイス本体２４の内部に配置される。モーションセンサ１７６はウェアラブルデバイス本体２４の動き、向き、姿勢等を検出する。近接センサ１７８は作業者の顔、指等の接近によりウェアラブルデバイス２３の装着を検出する。

【0045】

［モバイルＰＣ１６］
図７はモバイルＰＣ（モバイルエッジコンピューティングデバイス）１６の外観の一例を示す。モバイルＰＣ１６は片手で持てる小型ＰＣであり、そのサイズは、幅が約１０ｃｍ以下、高さが約１８ｃｍ以下、厚さが２ｃｍ程度であり、重量は約３００ｇ程度と、小型で軽量である。このため、モバイルＰＣ１６は作業着のポケット、ベルトに装着されるホルスタあるいはショルダーケースに収納でき、ウェアラブルである。モバイルＰＣ１６はＣＰＵや半導体メモリ等の半導体チップやＳＳＤ(Solid State Disk)等のストレージデバイスを収納するが、ディスプレイと文字入力のためのハードウェアキーボードは備えない。

【0046】

モバイルＰＣ１６の正面にはアップボタン２０２ａ、ライトボタン２０２ｂ、ダウンボタン２０２ｃ、レフトボタン２０２ｄ、決定ボタン（センターボタン、エンターボタンとも称する）２０２ｅからなる５ボタン２０２が配置され、その下に指紋センサ２０４が配置される。キーボードが備わっておらずパスワードを入力することができないので、指紋センサ２０４はモバイルＰＣ１６のログイン時のユーザ認証のために用いられる。５ボタン２０２はコマンドを入力できる。

【0047】

なお、５ボタン２０２の各ボタン２０２ａ～２０２ｄに数字を割り当て、数字からなるパスワードを入力することにより、ログイン時のユーザ認証を行ってもよい。この場合、指紋センサ２０４は省略可能である。決定ボタン２０２ｅ以外の4つのボタンに数字を割り当てるので、数字の種類は４つしかない。従って、ランダムに入力した数字がパスワードに一致する可能性がある。しかし、パスワードの桁数を大きくすれば、ランダムに入力した数字がパスワードに一致する確率を小さくすることができる。指紋センサ２０４を備えるモバイルＰＣ１６でも５ボタン２０２による認証も可能としてもよい。１台のモバイルＰＣ１６を複数の作業者で共有することがあるが、指紋認証だけではこのような場合に対応できない。

【0048】

ウェアラブルデバイス本体２４のボタン１０２、１０４、１０６、１０８とタッチパッド１１０で操作している様子を作業者は見ることができないので、作業者によっては意図した操作をするには慣れが必要な場合もある。また、ボタン１０２、１０４、１０６、１０８とタッチパッド１１０は小型であるので、操作しづらい場合もある。実施形態では、モバイルＰＣ１６の５ボタン２０２でも同じ操作ができるので、上記の懸念は解消される。５ボタン２０２の操作方法はアプリケーションによって決められている。

【0049】

例えば、
決定ボタン２０２ｅが１回押されると、項目の選択／項目の実行がなされ（ウェアラブルデバイス本体２４では、第３ボタン１０６の１回押しに対応）、
決定ボタン２０２ｅが長押しされると、終了又は操作の取り消しがなされ（ウェアラブルデバイス本体２４では、第１ボタン１０２の１回押しに対応）、
アップボタン２０２ａが１回押されると、カーソルが上に移動され、
アップボタン２０２ａが長押しされると、起動中のアプリケーションの一覧が表示され（ウェアラブルデバイス本体２４では、第３ボタン１０６の長押しに対応）、
ダウンボタン２０２ｃが１回押されると、カーソルが下に移動され、
ダウンボタン２０２ｃが長押しされると、クイックセッティングメニュー（後述）が表示され（ウェアラブルデバイス本体２４では、第２ボタン１０４の長押しに対応）、
レフトボタン２０２ｄが１回押されると、右のアイコンが選択され、
ライトボタン２０２ｂが１回押されると、左のアイコンが選択される。

【0050】

モバイルＰＣ１６の上部側面には、ＵＳＢ３．０規格のコネクタ２０６とＵＳＢｔｙｐｅ－Ｃ規格のコネクタ２０７とオーディオジャック２０８が設けられる。

【0051】

モバイルＰＣ１６の一方の側面（正面から見て左側の側面）には、メモリカード用のカードスロット２１８が設けられる。メモリカードは、例えばＳＤカード、マイクロＳＤカード（登録商標）等を含む。

【0052】

モバイルＰＣ１６の他方の側面（正面から見て右側の側面）には、ケンジントンロック（登録商標）のためのスロット２１０、電源スイッチ２１２、リングＬＥＤ２１３、バッテリチャージＬＥＤ２１４、ＤＣ端子２１６、冷却用の通風口２２２が設けられる。リングＬＥＤ２１３は電源スイッチ２１２の近傍に配置され、電源オンの期間点灯する。バッテリチャージＬＥＤ２１４はバッテリが充電中であるか否か等のモバイルＰＣ１６の状態とバッテリの残量を表示する。モバイルＰＣ１６はバッテリで駆動可能であるが、ＤＣ端子２１６にＡＣアダプタを接続した状態でも駆動可能である。図示しないが、裏面はワンタッチでバッテリが交換可能に構成されている。

【0053】

図８はモバイルＰＣ１６の一例を示すブロック図である。モバイルＰＣ１６はウェアラブルデバイス本体２４で撮影した映像をオペレータ端末１２へビデオ配信することや、オペレータ端末１２から受信した画像を閲覧することができる。このため、モバイルＰＣ１６はカメラ機能とビューワ機能を備える。カメラ機能はウェアラブルデバイス本体２４のカメラ１１６で写真やビデオを撮影する機能である。撮影した写真やビデオはカメラフォルダに保存され、ビューワ機能で閲覧できる。ビューワ機能はカメラフォルダに保存されているファイルを閲覧する機能である。ファイルの種類は、画像、動画、ＰＤＦファイル、カメラ機能で撮影した写真やビデオ、オペレータ端末１２から受信した画像、オペレータ端末１２へ送信した画像、ユーザフォルダに保存されたファイルがある。

【0054】

モバイルＰＣ１６はシステムコントローラ３０２を備え、システムコントローラ３０２はプロセッサ（ＣＰＵ）とコントローラ・ハブからなる。プロセッサには、主メモリ３０８、リングＬＥＤ２１３、バッテリチャージＬＥＤ２１４、ＵＳＢコントローラ３２２が接続される。コントローラ・ハブには、フラッシュメモリ３２６、メモリカードコントローラ３２８、ＨＤＤ又はＳＳＤからなるストレージデバイス３３０、ＵＳＢ切替器３２４、オーディオコーデック３３４、３Ｇ／ＬＴＥ／ＧＰＳデバイス３３６、指紋センサ２０４、ＵＳＢ３．０コネクタ２０６、ブルートゥースデバイス／無線ＬＡＮデバイス３４０、ＥＣ／ＫＢＣ３４４が接続される。

【0055】

システムコントローラ３０２はストレージデバイス３３０から主メモリ３０８にロードされる様々なプログラムを実行する。これらプログラムは、ＯＳ３１６、遠隔支援のためのフロントエンドアプリケーションプログラム３１４を含む。

【0056】

オーディオコーデック３３４は、再生対象のデジタルのオーディオ信号をアナログのオーディオ信号に変換して、オーディオジャック２０８に供給する。また、オーディオコーデック３３４は、オーディオジャック２０８から入力されるアナログのオーディオ信号をデジタル信号に変換する。

【0057】

メモリカードコントローラ３２８はメモリカードスロット２１８に挿入されるメモリカード、例えばＳＤカードにアクセスして、ＳＤカードに対するデータの読み書きを制御する。

【0058】

ＵＳＢコントローラ３２２はＵＳＢｔｙｐｅ－Ｃコネクタ２０７に接続されるＵＳＢｔｙｐｅ－Ｃケーブル又はＵＳＢ３．０コネクタ２０６に接続されるＵＳＢ３．０ケーブル（図示せず）に対するデータの送受信を制御する。

【0059】

図示しないが、ＵＳＢｔｙｐｅ－Ｃコネクタ２０７にはポート拡張アダプタも接続可能であり、ＨＤＭＩ等のインターフェースが使用可能である。

【0060】

ブルートゥース／無線ＬＡＮデバイス３４０はネットワーク２２との接続のためにブルートゥース規格の無線通信とＩＥＥＥ８０２．１１規格の無線ＬＡＮ通信を実行する。なお、ネットワーク２２との接続は無線通信によらず、ＩＥＥＥ８０２．３規格の有線ＬＡＮ通信によってもよい。

【0061】

指紋センサ２０４はモバイルＰＣ１６の起動時の指紋認証のために使用される。

【0062】

ＥＣ／ＫＢＣ３４４には、サブプロセッサ３４６、電源スイッチ２１２及び５ボタン２０２が接続される。ＥＣ／ＫＢＣ３４４は、電源スイッチ２１２の操作に応じてモバイルＰＣ１６をパワーオン又はパワーオフする機能を有する。パワーオン及びパワーオフの制御は、ＥＣ／ＫＢＣ３４４と電源回路３５０との協働動作によって実行される。ＥＣ／ＫＢＣ３４４はモバイルＰＣ１６がパワーオフされている期間中も、バッテリ３５２又はＡＣアダプタ３５８からの電力によって動作する。電源回路３５０は、バッテリ３５２からの電力又は外部電源として接続されるＡＣアダプタ３５８からの電力を用いて、各コンポーネントへ供給すべき電力を生成する。電源回路３５０は電圧レギュレータモジュール３５６を含み、電圧レギュレータモジュール３５６はシステムコントローラ３０２内のプロセッサに接続される。

【0063】

なお、モバイルＰＣ１６をウェアラブルデバイス本体２４と別体として構成したが、モバイルＰＣ１６をウェアラブルデバイス本体２４内に組み込んで、両者を一体として構成してもよい。

【0064】

［タッチパッド１１０］
ウェアラブルデバイス２３はハードウェアキーボードを備えないので、作業者が文字入力、カーソルの移動、アイコンの選択等を行うためにタッチパッド１１０を利用する。例えば、ディスプレイ１２４に種々の操作メニュー、作業者への指示等がアイコンとして表示されている際、作業者がタッチパッド１１０を操作すると、カーソルが移動され、アイコンが選択される。また、スクリーンキーボードがディスプレイ１２４に表示されている間、作業者がタッチパッド１１０を操作すると、文字が入力される。

【0065】

図９（ａ）、（ｂ）はそれぞれタッチパッド１１０の斜視図と平面図を示す。ウェアラブルデバイス本体２４の側面部の表面に配置されたタッチパッド１１０の中央部には表面から数ｍｍ程度突出された段差を有するプレート１００が形成される。プレート１００の形状は正方形又は長方形であり、複数、例えば４つの辺ｓ１、ｓ２、ｓ３、ｓ４と、４つの角部ｃ１、ｃ２、ｃ３、ｃ４を有する。本明細書でいう正方形又は長方形とは、角部が鋭利に折れ曲がった形状だけでなく、図９に示すような角部に丸みをもった形状も含む。プレート１００の形状は正方形又は長方形に限らず、三角形や五角形以上の多角形でもよい。

【0066】

プレート１００の４つの辺ｓ１、ｓ２、ｓ３、ｓ４の縁をなぞる指の動きを検出するために、プレート１００の辺に沿って検出器が配置される。プレート１００の全周に亘って検出器を配置してもよいが、実施形態では指の移動方向が検出できればよいので、図９（ｂ）に示すように、複数、例えば８つの検出器ｄ１～ｄ８が離散的に配置されている。検出器ｄ１、ｄ２はプレート１００の辺ｓ１の略両端に設けられ、検出器ｄ３、ｄ４はプレート１００の辺ｓ２の略両端に設けられ、検出器ｄ５、ｄ６はプレート１００の辺ｓ３の略両端に設けられ、検出器ｄ７、ｄ８はプレート１００の辺ｓ４の略両端に設けられる。

【0067】

検出器ｄ１～ｄ８は、感圧式、静電容量式、光学式、または機械式等の検出素子で構成され、検出器ｄ１～ｄ８に対する指の通過を検知する。感圧式の場合は指によって加えられた圧力により、静電容量式の場合は指がもつ微弱電流により、指が検出器ｄ１～ｄ８に位置したことが判定される。また、光学式の場合は、指によって遮られ又は反射された検出光により、機械式の場合は触れられることで作動する薄型のスイッチにより、指が検出器ｄ１～ｄ８に位置したことが判定される。

【0068】

センサコントローラ１６２（図６）は、各辺ｓ１、ｓ２、ｓ３、ｓ４に配置されている２つの検出器ｄ１、ｄ２；ｄ３、ｄ４；ｄ５、ｄ６；ｄ７、ｄ８に対する指の通過順序を検出することにより、その辺の縁に沿った指の移動方向、つまり左方、右方、上方又は下方への移動を検出する。センサコントローラ１６２は指の詳細な位置座標は検出しない。

【0069】

センサコントローラ１６２はプレート１００の１辺の縁に沿った指の動きのみならず、検出器ｄ１～ｄ８の検出結果を統合することにより、プレート１００の複数の辺に亘る連続した指の動きも一つの動作として検出する。センサコントローラ１６２は、指がタッチパッド１１０（又はプレート１００）に触れた時点から指がタッチパッド１１０（又はプレート１００）から離れた時点までの時間の連続した指の動きを一つの入力単位として検出する。つまり、センサコントローラ１６２は、プレート１００に対して指を離さないで描かれた、いわゆる一筆書きの動作を一つの入力単位として検出する。なお、指がプレート１００に触れた時点とは、検出器ｄ１～ｄ８のいずれかが指の接触を検出した時点のことであり、指がプレート１００から離れた時点とは、検出器ｄ１～ｄ８のいずれも指を検知しなくなってから予め設定された所定時間が経過する時点のことである。つまり、検出器ｄ１～ｄ８のいずれも指を検知しなくなっても直ぐには指がプレート１００から離れたと見なさずに、それから予め設定された所定時間が経過した時に指がプレート１００から離れたものと見なす。

【0070】

メガネ型ウェアラブル機器を装着している作業者はタッチパッド１１０を操作する指を見ることができず、手探り状態で小型のタッチパッド１１０を操作するので、指を所定の方向に移動することが困難な場合がある。すなわち、指の上下左右への移動又は上下左右の移動の組み合わせにより所定のコマンドが入力されるように構成されている場合、指を所定の方向に移動できないと、コマンドを適切に入力できない場合がある。しかし、実施形態ではタッチパッド１１０の表面にプレート１００が形成され、プレート１００の辺の縁に沿って指を動かすことができるので、指を所定の方向に移動することができる。このため、所定のコマンドを適切に入力することができる。

【0071】

センサコントローラ１６２は図１０に示すような「なぞり動作」からなるジェスチャを検出する。タッチパッド１１０の上下左右は、ウェアラブルデバイス本体２４が作業者から見て右側のテンプルに取り付けられる場合と、左側のテンプルに取り付けられる場合とで反転する。図１０の上下左右はウェアラブルデバイス本体２４が図３に示すように作業者から見て右側のテンプルに取り付けられた場合の上下左右を示す。

【0072】

図１０（ａ）は１辺の１回の「なぞり動作」からなるジェスチャａ１、ａ２、ａ３、ａ４を示す。検出器ｄ１、ｄ２がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ１の縁に沿った上方への「なぞり動作」からなるジェスチャａ１を検出する。検出器ｄ２、ｄ１がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ１の縁に沿った下方への「なぞり動作」からなるジェスチャａ２を検出する。検出器ｄ４、ｄ３がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ２の縁に沿った右方（頭部においては後方から前方）への「なぞり動作」からなるジェスチャａ３を検出する。検出器ｄ３、ｄ４がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ２の縁に沿った左方（頭部においては前方から後方）への「なぞり動作」からなるジェスチャａ４を検出する。

【0073】

図１０（ｂ）は１辺の縁に沿った複数回の「往復なぞり動作」からなるジェスチャｂ１、ｂ２、ｂ３、ｂ４を示す。検出器ｄ４、ｄ３、ｄ４がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ２の縁に沿った「往復なぞり動作」（最初は右方、次に左方へのなぞり）からなるジェスチャｂ１を検出する。検出器ｄ４、ｄ３、ｄ４、ｄ３、ｄ４がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ２の縁に沿った「往復なぞり動作」（最初は右方、次に左方、次に右方、最後に左方へのなぞり）からなるジェスチャｂ２を検出する。検出器ｄ４、ｄ３、ｄ４、ｄ３がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ２の縁に沿った「往復なぞり動作」（最初は右方、次に左方、最後に右方へのなぞり）からなるジェスチャｂ３を検出する。検出器ｄ３、ｄ４、ｄ３がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ２の縁に沿った「往復なぞり動作」（最初は左方、次に右方へのなぞり）からなるジェスチャｂ４を検出する。

【0074】

図１０（ｃ）は図１０（ｂ）とは異なる１辺の縁に沿った複数回の「往復なぞり動作」からなるジェスチャｃ１、ｃ２を示す。検出器ｄ８、ｄ７、ｄ８がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ４の縁に沿った「往復なぞり動作」（最初は左方、次に右方への移動）からなるジェスチャｃ１を検出する。検出器ｄ７、ｄ８、ｄ７がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ４の縁に沿った「往復なぞり動作」（最初は右方、次に左方への移動）からなるジェスチャｃ２を検出する。

【0075】

図１０（ｄ）は図１０（ａ）とは異なる１辺の縁に沿った１回の「なぞり動作」からなるジェスチャｄ１、ｄ２、ｄ３、ｄ４を示す。検出器ｄ６、ｄ５がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ３の縁に沿った上方への「なぞり動作」からなるジェスチャｄ１を検出する。検出器ｄ５、ｄ６がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ３の縁に沿った下方への「なぞり動作」からなるジェスチャｄ２を検出する。検出器ｄ７、ｄ８がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ４の縁に沿った右方への「なぞり動作」からなるジェスチャｄ３を検出する。検出器ｄ８、ｄ７がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ４の縁に沿った左方への「なぞり動作」からなるジェスチャｄ４を検出する。

【0076】

図１０（ｅ）は隣接する２辺の縁に沿った連続した「なぞり動作」からなるジェスチャｅ１、ｅ２、ｅ３、ｅ４を示す。検出器ｄ１、ｄ２、ｄ３、ｄ４がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ１の縁に沿った上方への「なぞり動作」と辺ｓ２の縁に沿った左方への「なぞり動作」とからなるジェスチャｅ１を検出する。検出器ｄ４、ｄ３、ｄ２、ｄ１がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ２の縁に沿った右方への「なぞり動作」と辺ｓ１の縁に沿った下方への「なぞり動作」とからなるジェスチャｅ２を検出する。検出器ｄ３、ｄ４、ｄ５、ｄ６がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ２の縁に沿った左方への「なぞり動作」と辺ｓ３の縁に沿った下方への「なぞり動作」とからなるジェスチャｅ３を検出する。検出器ｄ６、ｄ５、ｄ４、ｄ３がこの順に指の接触を検知することにより、センサコントローラ１６２は辺ｓ３の縁に沿った上方への「なぞり動作」と辺ｓ２の縁に沿った右方への「なぞり動作」とからなるジェスチャｅ４を検出する。

【0077】

なお、図１０（ａ）に示すジェスチャａ１～ａ４と、図１０（ｄ）に示すジェスチャｄ１～ｄ４は指の「なぞり方向」は同じであるが、プレート１００のなぞる辺が異なるので、異なるジェスチャとして認識される。同様に、図１０（ｂ）に示すジェスチャｂ１、ｂ４と、図１０（ｃ）に示すジェスチャｃ２、ｃ１は指の「なぞり方向」は同じであるが、プレート１００のなぞる辺が異なるので、異なるジェスチャとして認識される。このように、同じ方向に移動する「なぞり動作」でもなぞる辺が異なると、異なるコマンドを入力することができる。このため、なぞり方向は上下左右の４方向であるが、１回のなぞり動作で８種類のコマンドを入力することができる。さらに、１回のなぞりだけではなく、往復なぞり動作を、さらには複数の往復なぞり動作や、１辺だけではなく、複数の辺のなぞり動作を利用することにより、入力できるコマンドの数を自由に増やすことができる。図示していないが、プレート１００の３辺以上のなぞり動作や、１周又は複数周の全周に亘るなぞり動作を利用してもよい。

【0078】

図１１は、図１０に示すジェスチャと、モバイルＰＣ１６に入力されるコマンド、すなわちモバイルＰＣ１６の動作との関係の一例を示す。この関係を示すテーブルはウェアラブルデバイス本体２４内（例えば、センサコントローラ１６２）に保存されており、検出されたジェスチャに応じた指示がモバイルＰＣ１６に供給される。実施形態によれば、画面の状態は、図１２に示すようにスクリーンキーボード５０６が表示されていない第１状態と、図１３に示すようにスクリーンキーボード５０６が表示されている第２状態を取り得る。画面には文字５０２も表示されている。図１１（ａ）に示すように、第１状態（図１２）ではタッチパッド１１０の操作はマウスカーソル５０４の移動又はマウスの右、左ボタンのクリック、ダブルクリック、長押し等がなされた時と同じ動作を指示する。図１１（ｂ）に示すように、スクリーンキーボード５０６が表示されている第２状態（図１３）ではタッチパッド１１０の操作は図１２の場合の指示に加えてスクリーンキーボード５０６を使用する文字入力等を指示する。

【0079】

ジェスチャａ１が検出されると、マウスカーソル５０４の上方への移動が開始又は終了する。ジェスチャａ２が検出されると、マウスカーソル５０４の下方への移動が開始又は終了する。ジェスチャａ３が検出されると、マウスカーソル５０４の左方への移動が開始又は終了する。ジェスチャａ４が検出されると、マウスカーソル５０４の右方への移動が開始又は終了する。

【0080】

図１０（ａ）に示す４つのジェスチャａ１～ａ４の実行によるマウスカーソル５０４が移動開始後、作業者がタッチパッド１００から指を離さずにいると、マウスカーソル５０４は移動され続ける。マウスカーソル５０４の移動は作業者がタッチパッド１００から指を離すと終了する。

【0081】

このようにマウスカーソル５０４の移動開始と終了は、図１０（ａ）に示すようにタッチパッド１１０プレート１００の１辺の縁を１回だけなぞることにより指示することができる。プレート１００の各辺はなぞる方向が決まっている。例えば、上下方向になぞる場合、ａ１，ａ２に示すようにプレート１００の右（作業者の顔の前方）辺の縁がなぞられる。例えば、左右方向（作業者の顔の前後方向）になぞる場合、ａ３，ａ４に示すようにプレート１００の上辺の縁がなぞられる。上下方向になぞる操作を１つの辺、左右方向になぞる操作を１つの辺に決めているのは、残りの辺（左辺、下辺）を他の指示に割り当てるためである。割り当てる他の指示が無ければ、上下方向になぞる操作を右辺と左辺、左右方向になぞる操作を上辺と下辺に決めてもよい。

【0082】

ジェスチャｂ１が検出されると、マウスの左クリックに対応する動作又はジェスチャｂ３による押下状態保持の解除が実行される。ジェスチャｂ２が検出されると、マウスの左ダブルクリックに対応する動作又はジェスチャｂ３による押下状態保持の解除が実行される。ジェスチャｂ３が検出されると、マウスの左ボタン押下状態保持開始（ロック）又はジェスチャｂ３による押下状態保持の解除（ロック解除）が実行される。すなわち、ジェスチャｂ３はマウスの左ボタン押下状態保持の開始／解除（トグル）を指示する。ジェスチャｂ４が検出されると、マウスの右クリックに対応する動作が実行される。

【0083】

このようにマウスのボタン操作は、図１０（ｂ）に示すようにタッチパッド１１０のプレート１００の１辺の縁を往復してなぞることに対応する。

【0084】

これにより、スクリーンキーボード５０６が表示されていない状態（図１２）では、タッチパッド１１０のタッチ操作により、マウスカーソル５０４の移動又はマウスの右、左ボタンのクリック、ダブルクリック、長押し等がなされた時と同じ動作を指示することができる。

【0085】

ジェスチャｃ１はスクリーンキーボード表示のオン／オフ切替（トグル）を指示する。スクリーンキーボード表示がオンの場合、ジェスチャｃ１が検出されると、スクリーンキーボード表示がオフされ、スクリーンキーボード表示がオフの場合、ジェスチャｃ１が検出されると、スクリーンキーボード表示がオンされる。

【0086】

図１１（ａ）に示すマウス操作のためのジェスチャａ１～ａ４、ｂ１～ｂ４はスクリーンキーボード５０６が表示されている第２状態（図１３）でも有効である。スクリーンキーボード５０６が表示されている第２状態（図１３）では、さらに図１１（ｂ）に示すスクリーンキーボード５０６に関する操作のためのジェスチャｃ１、ｃ２、ｄ１～ｄ４、ｅ１～ｅ４が有効とされる。

【0087】

ジェスチャｃ２が検出されると、スクリーンキーボード５０６のフォーカス５０８のあるキーが入力される。この時のキー入力をタッチ入力と称する。

【0088】

このようにスクリーンキーボード５０６の表示のオン／オフ切替やキーボードタッチ入力は図１０（ｃ）に示すようにタッチパッド１１０のプレート１００の１辺の縁を１往復なぞることにより指示することができる。

【0089】

スクリーンキーボード５０６のタイプは、大きく分けて、各文字（かな、アルファベット、数字又は記号）に対応するキーを含むＱＷＥＲＴＹキータイプと、テンキータイプがある。ＱＷＥＲＴＹキータイプのスクリーンキーボード５０６の場合、ジェスチャｃ２が検出されると、フォーカスのあるキーに対応する文字がキー入力（タッチ入力）される。

【0090】

実施形態では、図１３に示すように、テンキータイプのスクリーンキーボード５０６が表示されているとする。テンキータイプのスクリーンキーボード５０６では、１つのキーに複数の文字が割り当てられている。ジェスチャｃ２が検出されると、フォーカスのあるキーに割り当てられている複数の文字の中の所定の文字がキー入力（タッチ入力）される。フォーカスのあるキーに割り当てられている複数の文字の中の所定の文字以外の文字はタッチパッド１１０のフリック操作により入力される。フリック操作による入力をフリック入力と称する。例えば、ｉ，ｊ，ｋ，５がラベルされているキーにフォーカス５０８がある場合、アルファベット“ｊ”はタッチ入力により入力され、アルファベット“ｉ”、“ｋ”、数字“５”はフリック入力により入力される。

【0091】

ジェスチャｄ１が検出されると、スクリーンキーボード５０６のフォーカス５０８（以下、キーボードフォーカスとも称する）の上方への移動が開始又は終了する。ジェスチャｄ２が検出されると、キーボードフォーカス５０８の下方への移動が開始又は終了する。ジェスチャｄ３が検出されると、キーボードフォーカス５０８の左方への移動が開始又は終了する。ジェスチャｄ４が検出されると、キーボードフォーカス５０８の右方への移動が開始又は終了する。

【0092】

図１０（ｄ）に示す４つのジェスチャｄ１～ｄ４の実行によるキーボードフォーカス５０８が移動開始後、作業者がタッチパッド１００から指を離さずにいると、キーボードフォーカス５０８は移動され続ける。キーボードフォーカス５０８の移動は作業者がタッチパッド１００から指を離すと終了する。

【0093】

このようにキーボードフォーカス５０８の移動開始と終了は、図１０（ｄ）に示すようにタッチパッド１１０プレート１００の１辺の縁を１回だけなぞることにより指示することができる。

【0094】

ジェスチャｅ１が検出されると、キーボードフォーカス５０８のあるキーに対する上方のフリック入力が行われる。図１３の例では、アルファベット“ｉ”が入力される。ジェスチャｅ２が検出されると、キーボードフォーカス５０８のあるキーに対する下方のフリック入力が行われる。図１３の例では、数字“５”が入力される。ジェスチャｅ３が検出されると、キーボードフォーカス５０８のあるキーに対する左方のフリック入力が行われる。図１３の例では、アルファベット“ｋ”が入力される。ジェスチャｅ４が検出されると、キーボードフォーカス５０８のあるキーに対する右方のフリック入力が行われる。図１３の例では、この時は何も入力されない。

【0095】

このようにフリック入力は、図１０（ｅ）に示すようにタッチパッド１１０のプレート１００の２辺の縁を連続してなぞることにより指示することができる。

【0096】

マウスカーソル５０４の移動方向とキーボードフォーカス５０８の移動方向はタッチパッド１１０上の指のなぞり方向で指示する。図１０（ａ）、（ｄ）に示すように、マウスカーソル５０４の移動を指示する際になぞるプレート１００の辺とキーボードフォーカス５０８の移動を指示する際になぞるプレート１００の辺は異なるので、同じ方向のなぞり動作でも異なるものの移動を指示することができる。これにより、スクリーンキーボード５０６が表示されている状態（図１３）では、タッチパッド１１０のタッチ操作により、マウス操作に加えてキーボードフォーカス５０８の移動、タッチ入力、フリック入力等を指示することもできる。

【0097】

図１４は上述した処理を行うウェアラブルデバイス本体２４のセンサコントローラ１６２の動作例を示すフローチャートである。ステップ６０２で定義ジェスチャ検出処理が実行される。定義ジェスチャ検出処理とは、タッチパッド１１０のプレート１００へ指が触れること、触れた状態で指が移動すること、移動が停止すること及び指がプレート１００から離れることを検出し、プレート１００へ触れた状態の指の動きが図１０に示すジャスチャのいずれかに対応するものであるかを判断し、指示された動作内容を検出する処理である。

【0098】

定義ジェスチャ検出処理の一例を図１５に示す。ステップ６５２でタッチパッド１１０のプレート１００の４辺の縁へ指が触れることが検出される。この後、ステップ６５４で指がプレート１００の４辺の縁に触れたまま移動することが検出される。この後、ステップ６５６で指の移動の停止が検出される。

【0099】

指の移動の停止が検出されると、ステップ６５８で、指の移動が図１０に示すジェスチャａ１～ａ４、ｄ１～ｄ４のいずれかに対応するか否かが判定される。指の移動がジェスチャａ１～ａ４、ｄ１～ｄ４のいずれかに対応すると判定される場合、ステップ６６０で、ジェスチャａ１～ａ４、ｄ１～ｄ４のいずれかによるマウスカーソル又はキーボードフォーカスの移動開始の指示が検出される。ステップ６５８で、指の移動がジェスチャａ１～ａ４、ｄ１～ｄ４のいずれかに対応しないと判定される場合、ステップ６６２で、指の移動が図１０に示すジェスチャｂ１～ｂ４、ｃ１、ｃ２、ｅ１～ｅ４のいずれかに対応するか否かが判定される。指の移動がジェスチャｂ１～ｂ４、ｃ１、ｃ２、ｅ１～ｅ４のいずれかに対応すると判定される場合、ステップ６６４でプレート１００の４辺の縁から指が離れることが検出される。この後、ステップ６６６でジェスチャｂ１～ｂ４、ｃ１、ｃ２、ｅ１～ｅ４のいずれかによる動作の指示が検出される。

【0100】

図１４に戻り、定義ジャスチャ検出処理の検出結果が判定され、判定結果に応じた処理が行われる。ステップ６０４で定義ジャスチャの検出結果がジェスチャａ１～ａ４によるマウスカーソル移動開始の指示であると判定されると、ステップ６０６でマウスカーソル５０４をジェスチャａ１～ａ４に対応する方向に移動開始させる。ステップ６０８でジェスチャａ１～ａ４によるマウスカーソル移動終了検出処理が行われる。

【0101】

マウスカーソル移動終了検出処理（ステップ６０８）の一例を図１６に示す。図１６では、現在、指がプレート１００に触れているか又は離れているかがステップ６７２で検出され、ステップ６７４で検出結果が判定される。検出結果が「指が離れている」ことを示す場合、ステップ６７６でジェスチャａ１～ａ４によるマウスカーソル移動終了の指示が検出される。検出結果が「指が触れている」ことを示す場合、ステップ６７８でジェスチャａ１～ａ４によるマウスカーソル移動継続の指示が検出される。

【0102】

図１４に戻り、ステップ６１０でジェスチャａ１～ａ４によるマウスカーソル移動終了の指示が検出されたか否かが判定される。マウスカーソル移動終了の指示が検出されないと判定されると、フローはステップ６０６に戻り、マウスカーソルの移動が継続される。ステップ６１０でマウスカーソル移動終了の指示が検出されたと判定されると、フローはステップ６０２に戻り、次のジェスチャの検出処理が行われる。

【0103】

ステップ６０４で定義ジャスチャの検出結果がジェスチャａ１～ａ４による動作の指示ではないと判定されると、ステップ６１４で定義ジャスチャの検出結果がジェスチャｂ１～ｂ４による動作の指示であるか否かが判定される。定義ジャスチャの検出結果がジェスチャｂ１～ｂ４による動作の指示であると判定されると、ステップ６１６でジェスチャｂ１～ｂ４に対応するマウスボタン操作が行われる。この後、フローはステップ６０２に戻り、次のジェスチャの検出処理が行われる。

【0104】

ステップ６１４で定義ジャスチャの検出結果がジェスチャｂ１～ｂ４による動作の指示でないと判定されると、ステップ６２０で定義ジャスチャの検出結果がジェスチャｃ１による動作の指示であるか否かが判定される。定義ジャスチャの検出結果がジェスチャｃ１による動作の指示であると判定されると、ステップ６２２で、スクリーンキーボード表示はオン状態であるか否かが判定される。スクリーンキーボード表示がオン状態であると判定されると、ステップ６２４でスクリーンキーボード表示をオフし、スクリーンキーボード表示がオフ状態であると判定されると、ステップ６２６でスクリーンキーボード表示をオンする。この後、フローはステップ６０２に戻り、次のジェスチャの検出処理が行われる。

【0105】

ステップ６２０で定義ジャスチャの検出結果がジェスチャｃ１による動作の指示でないと判定されると、ステップ６３０でスクリーンキーボード表示はオン状態であるか否かが判定される。スクリーンキーボード表示がオン状態でないと判定されると、フローはステップ６０２に戻り、次のジェスチャの検出処理が行われる。

【0106】

ステップ６３０でスクリーンキーボード表示はオン状態であると判定されると、ステップ６３２で定義ジャスチャの検出結果がジェスチャｄ１～ｄ４によるキーボードフォーカス移動開始の指示であるか否かが判定される。定義ジャスチャの検出結果がジェスチャｄ１～ｄ４によるキーボードフォーカス移動開始の指示であると判定されると、ステップ６３４でキーボードフォーカス５０８をジェスチャｄ１～ｄ４に対応する方向に移動開始させる。ステップ６３６でジェスチャｄ１～ｄ４によるキーボードフォーカス移動終了検出処理が行われる。

【0107】

キーボードフォーカス移動終了検出処理（ステップ６３６）の一例を図１７に示す。図１７では、現在、指がプレート１００に触れているか又は離れているかがステップ６８２で検出され、ステップ６８４で検出結果が判定される。検出結果が「指が離れている」ことを示す場合、ステップ６８６でジェスチャｄ１～ｄ４によるキーボードフォーカス移動終了の指示が検出される。検出結果が「指が触れている」ことを示す場合、ステップ６８８でジェスチャｄ１～ｄ４によるキーボードフォーカス移動継続の指示が検出される。

【0108】

図１４に戻り、ステップ６３８でジェスチャｄ１～ｄ４によるキーボードフォーカス移動終了の指示が検出されたか否かが判定される。キーボードフォーカス移動終了の指示が検出されないと判定されると、フローはステップ６３４に戻り、キーボードフォーカスの移動が継続される。ステップ６３８でキーボードフォーカス移動終了の指示が検出されたと判定されると、フローはステップ６０２に戻り、次のジェスチャの検出処理が行われる。

【0109】

ステップ６３２で定義ジャスチャの検出結果がジェスチャｄ１～ｄ４による動作の指示ではないと判定されると、ステップ６４２で定義ジャスチャの検出結果がジェスチャｃ２、ｅ１～ｅ４による動作の指示であるか否かが判定される。定義ジャスチャの検出結果がジェスチャｃ２、ｅ１～ｅ４による動作の指示であると判定されると、ステップ６４４でジェスチャｃ２、ｅ１～ｅ４に対応するキー入力操作が行われる。この後、フローはステップ６０２に戻り、次のジェスチャの検出処理が行われる。

【0110】

以上説明したように、本実施形態によれば、タッチパッド１１０には段差を有するプレート１００が設けられ、プレート１００の辺の縁をなぞることにより種々のコマンドを入力するように構成されているので、ユーザはタッチパッド１１０上で指を所定の方向に移動することができ、コマンドを適切に入力することができる。このため、実施形態によるタッチパッド１１０を頭部に装着されるウェアラブル機器の頭部側面に設けられる小型のタッチパッドとして応用した場合、手探りでコマンドを正しく入力することができる。また、指の動きは上下左右の４方向なのでジェスチャの種類が限定され、ユーザがジェスチャ入力のために覚えるジェスチャの数が少なく、ユーザはコマンドの指示内容に対応するジェスチャを容易に覚えることができる。

【0111】

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【符号の説明】

【0112】

１６…モバイルＰＣ、２３…ウェアラブルデバイス、１１０…タッチパッド、１２４…ディスプレイ、１４２…メガネフレーム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】