特開 2022-177328 データ入力システム、及び表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022177328

(43)【公開日】2022-12-01

(54)【発明の名称】データ入力システム、及び表示装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20221124BHJP

   G06F 3/0488 20220101ALI20221124BHJP

   G06F 3/023 20060101ALI20221124BHJP

   G09G 5/00 20060101ALI20221124BHJP

   G09G 5/36 20060101ALI20221124BHJP

【ＦＩ】

G06F3/01 510

G06F3/0488

G06F3/023 460

G09G5/00 550C

G09G5/00 550X

G09G5/00 530H

G09G5/36 530Y

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2019166282

(22)【出願日】2019-09-12

(71)【出願人】

【識別番号】519331936

【氏名又は名称】Ｎｏｄｅｓｋ株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】阿品 翔悟

(72)【発明者】

【氏名】広瀬 拓也

【テーマコード（参考）】

5B020

5C182

5E555

【Ｆターム（参考）】

5B020AA02

5B020AA03

5B020BB02

5B020CC06

5B020CC11

5B020DD04

5B020DD24

5B020DD29

5B020FF17

5B020FF53

5B020GG05

5C182AA02

5C182AA03

5C182AA31

5C182AB08

5C182AB34

5C182AB35

5C182AC02

5C182AC39

5C182BA01

5C182BA03

5C182BA06

5C182BA14

5C182BA66

5C182BA75

5C182BC25

5C182BC26

5C182CA32

5C182CB13

5C182CB14

5C182DA18

5E555AA13

5E555AA22

5E555BA04

5E555BA05

5E555BA06

5E555BA82

5E555BB04

5E555BC17

5E555BC19

5E555BE17

5E555CA12

5E555CA17

5E555CB14

5E555CB16

5E555CB19

5E555CB20

5E555CB44

5E555CB55

5E555CC19

5E555DA08

5E555DB12

5E555DB25

5E555DB41

5E555DC11

5E555DC26

5E555DC27

5E555DC31

5E555DC35

5E555DD01

5E555EA07

5E555FA00

(57)【要約】      （修正有）

【課題】操作性を向上させたデータ入力システムを提供する。
【解決手段】データ入力システム１は、複数のデータに含まれる少なくとも１つのデータを含むデータグループの各々を、第１操作に対応付け、且つ、データグループに含まれる少なくとも１つのデータの各々を第２操作に対応付けて記憶する記憶部と、第１操作と第２操作を検知する検知部と、検知された第１操作に基づいてデータグループを特定し、検知された第２操作及び特定したデータグループに基づいて特定したデータを入力データとして判別する判別部と、データグループに含まれる少なくとも１つのデータの各々に対応するオブジェクトを含むオブジェクトグループを、第１基準位置に対して第１操作が指定する方向に配置されるように表示し、且つ、オブジェクトグループに含まれるオブジェクトの各々を、第２基準位置に対して第２操作が指定する方向に配置されるように表示する表示制御部とを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

複数のデータの各々に対応する複数のオブジェクトの表示を制御する表示制御部と、
操作を検知する検知部と、
前記複数のデータの各々を記憶する記憶部を参照して、前記検知部が検知した操作に基づいて、前記複数のデータから入力データを判別する判別部と、
を備えるデータ入力システムであって、
前記記憶部は、前記複数のデータに含まれる少なくとも１つのデータを含むデータグループの各々を第１操作に対応付け、且つ前記データグループに含まれる前記少なくとも１つのデータの各々を第２操作に対応付けて、記憶し、
前記判別部は、前記記憶部を参照して、前記検知部が検知した前記第１操作に基づいて前記データグループを特定し、且つ前記検知部が検知した前記第２操作及び前記特定した前記データグループに基づいて前記データを特定することにより、特定された前記データを入力データとして判別し、
前記表示制御部は、
前記データグループに含まれる前記少なくとも１つのデータの各々に対応するオブジェクトを含むオブジェクトグループを、第１基準位置に対して前記第１操作が指定する方向に配置されるように表示し、且つ、
前記オブジェクトグループに含まれる前記オブジェクトの各々を、第２基準位置に対して前記第２操作が指定する方向に配置されるように表示する、データ入力システム。

【請求項2】

前記判別部は、前記データグループが特定されていない場合、前記検知部が検知した操作を前記第１操作とみなして前記データグループを特定し、前記データグループが特定されている場合、前記検知部が検知した操作を前記第２操作とみなして前記データを特定する、請求項１に記載のデータ入力システム。

【請求項3】

前記判別部は、特定された前記データグループが含む前記データが１つである場合、当該１つの前記データを前記入力データとして判別する、請求項１又は２に記載のデータ入力システム。

【請求項4】

前記表示制御部は、前記判別部が前記データグループを特定した場合、特定された前記データグループに対応する前記オブジェクトグループを強調表示する、請求項１から３のいずれか一項に記載のデータ入力システム。

【請求項5】

前記表示制御部は、前記判別部が前記データを特定した場合、特定された前記データに対応する前記オブジェクトを強調表示する、請求項１から４のいずれか一項に記載のデータ入力システム。

【請求項6】

前記表示制御部は、前記判別部が特定した前記データが、入力データの種別を指定するための種別データである場合、前記オブジェクトを前記種別データが指定する種別に基づいて変更する、請求項１から５のいずれか一項に記載のデータ入力システム。

【請求項7】

複数のデータの各々に対応する複数のオブジェクトの表示を制御する表示制御部と、
操作を示す操作情報を取得する取得部と、
を備える表示装置であって、
前記表示制御部は、
前記複数のデータの各々に対応するオブジェクトを含むオブジェクトグループを、第１基準位置に対して第１操作情報が指定する方向に配置されるように表示し、且つ、
前記オブジェクトグループに含まれる前記オブジェクトの各々を、第２基準位置に対して第２操作情報が指定する方向に配置されるように表示する、表示装置。

【請求項8】

操作を検知する検知部と、
前記検知部が検知した前記操作に基づいて、前記複数のデータから入力データを判別する判別部と、
を備えるデータ入力システムであって、
前記判別部は、前記複数のデータに含まれる各データを第１操作及び第２操作に対応付けて記憶する記憶部を参照して、前記検知部が検知した第１操作及び第２操作に基づいて前記データを特定することにより、特定された前記データを前記入力データとして判別する、データ入力システム。

【請求項9】

操作を検知する検知部と、
前記複数のデータの各々を記憶する記憶部を参照して、前記検知部が検知した操作に基づいて、前記複数のデータから入力データを判別する判別部と、
を備えるデータ入力システムであって、
前記記憶部は、前記複数のデータに含まれる少なくとも１つのデータを含むデータグループの各々を第１操作に対応付け、且つ前記データグループに含まれる前記少なくとも１つのデータの各々を第２操作に対応付けて、記憶し、
前記判別部は、前記記憶部を参照して、前記検知部が検知した前記第１操作に基づいて前記データグループを特定し、前記検知部が検知した前記第２操作及び前記特定した前記データグループに基づいて前記データを特定することにより、特定された前記データを入力データとして判別する、データ入力システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ入力システム、及び表示装置に関する。

【背景技術】

【0002】

近年、ヘッドマウントディスプレイ（ＨＭＤ）に拡張現実（augmented reality：ＡＲ）や仮想現実（virtual reality：ＶＲ）等の映像を投影して、３次元（３Ｄ）没入型環境を生成する技術が普及してきている。

【0003】

ユーザは、３Ｄ没入型環境等を得るためにＨＭＤを装着すると、手元の視認性が損なわれ、文字入力を行うことが困難となる場合がある。この点につき、例えば特許文献１には、ユーザがペン型デバイス等を用いて行った手書き動作の移動軌跡を検出することによる空間手書き入力システムが記載されている。また、例えば特許文献２には、ユーザの指に装着される複数のリングと、リングの動きを画像認識するデジタルカメラを搭載したヘッドマウントディスプレイとを用いたハンドジェスチャーの認識方法が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－１１０２４９号公報

【特許文献2】特開２０１０－２６７２２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、例えば特許文献１のような手書き方式の場合、手書き文字が正しく認識されるように正確なストロークが要求される。また、例えば特許文献２のように指等の複数の異なる箇所の動きを検知することによる入力方式では、操作方法が複雑になってしまう。

【0006】

そこで、本発明は、操作性を向上させたデータ入力システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様に係るデータ入力システムは、複数のデータの各々に対応する複数のオブジェクトの表示を制御する表示制御部と、操作を検知する検知部と、複数のデータの各々を記憶する記憶部を参照して、検知部が検知した操作に基づいて、複数のデータから入力データを判別する判別部と、を備えるデータ入力システムであって、記憶部は、複数のデータに含まれる少なくとも１つのデータを含むデータグループの各々を、第１操作に対応付け、且つデータグループに含まれる少なくとも１つのデータの各々を第２操作に対応付けて、記憶し、判別部は、記憶部を参照して、検知部が検知した第１操作に基づいてデータグループを特定し、検知部が検知した第２操作及び特定したデータグループに基づいてデータを特定することにより、特定されたデータを入力データとして判別し、表示制御部は、データグループに含まれる少なくとも１つのデータの各々に対応するオブジェクトを含むオブジェクトグループを、第１基準位置に対して第１操作が指定する方向に配置されるように表示し、且つ、オブジェクトグループに含まれるオブジェクトの各々を、第２基準位置に対して第２操作が指定する方向に配置されるように表示する。

【0008】

この態様によれば、ユーザは、第１基準位置に対して所望のオブジェクトグループが配置された方向に第１操作を行うことにより所望のデータグループを指定することが可能となり、また、第２基準位置に対して所望のオブジェクトが配置された方向に第２操作を行うことにより所望のデータを指定することが可能となる。そのため、データ入力システムにおける操作性が向上する。

【発明の効果】

【0009】

本発明によれば、操作性を向上させたデータ入力システムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係るデータ入力システム１の概要について説明するための模式図である。

【図2】本実施形態に係るデータ入力システム１の概要について説明するための他の模式図である。

【図3】本実施形態に係るデータ入力システム１の概略構成の一例を示す図である。

【図4】データテーブルのデータ構造の一例を示す図である。

【図5A】ガイドの表示態様の一例を示す図である。

【図5B】オブジェクトグループの表示態様の一例を示す図である。

【図6】本実施形態に係るデータ入力システム１による動作フローの一例を示す図である。

【発明を実施するための形態】

【0011】

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0012】

（１）構成
（１－１）データ入力システム１
図１は、本実施形態に係るデータ入力システム１の概要を説明するための模式図である。図２は、本実施形態に係るデータ入力システム１の概要を説明するための他の模式図である。

【0013】

本実施形態に係るデータ入力システム１は、ヘッドマウントディスプレイ（ＨＭＤ）装置１０を装着したユーザが、ハンドヘルド（ＨＨ）装置２０に対して行った操作に基づいて、文字等のデータを入力するシステムである。ＨＭＤ装置１０と、ＨＨ装置２０とは、後述するように、互いに通信可能に接続される。図２に示すとおり、ＨＭＤ装置１０の画像出力部１３には、例えば、文字等のデータを入力するための入力フレームＦと、入力データの候補となるデータに対応するオブジェクトが含まれるガイドＧとが表示される。

【0014】

ユーザは、ＨＨ装置２０を保持した上で、ＨＨ装置２０の操作部２３を、例えば指等で操作（タップ操作やスワイプ操作等）する。ＨＨ装置２０はユーザの操作を検知し、検知された操作の態様を識別するための操作情報をＨＭＤ装置１０に送信する。

【0015】

ＨＭＤ装置１０は、入力データの候補となる複数のデータを、所定のグループ（データグループ）に分けた上で、所定の操作に対応付けて記憶している。ＨＭＤ装置１０は、ＨＨ装置２０から受信した操作情報に基づいて、当該操作情報が示す操作に対応付けられたデータグループ及びデータを特定することにより、入力データを判別する。判別された入力データは、入力処理によって、例えば入力フレームＦに入力される。

【0016】

（１－２）ＨＭＤ装置１０
図３は、本実施形態に係るデータ入力システム１の機能構成の一例を示す図である。ＨＭＤ装置１０は、ユーザの頭部の周囲に画像出力部が配置されるようにユーザによって装着されるデバイスであれば、例えば、ヘルメット型、グラス型、ゴーグル型等の任意の形状であってよい。図３に示すとおり、ＨＭＤ装置１０は、例えば、通信部１１と、記憶部１２と、画像出力部１３と、処理部１５とを備える。

【0017】

通信部１１は、ＨＭＤ装置１０を任意の通信ネットワークに接続するための通信インターフェース回路を有する。通信部１１は、例えば、ＨＨ装置２０等から受信したデータを処理部１５に供給する。通信部１１は、処理部１５から供給されたデータをＨＨ装置２０等に送信する。

【0018】

記憶部１２は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置のうちの少なくとも一つを有する。記憶部１２は、処理部１５による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ（所定の処理に係る一時的なデータを含む）等を記憶する。特に、記憶部１２は、データとして、入力データの候補となる複数のデータを管理するための少なくとも一のデータテーブルや、各データに対応するオブジェクトを含むガイドを表示するための少なくとも一の表示データを記憶する。各種プログラムは、例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部１２にインストールされてもよい。

【0019】

図４は、記憶部１２が記憶するデータテーブルのデータ構造の一例を示す図である。記憶部１２は、入力するデータの種別に応じて、複数のデータテーブルを記憶してもよい。図４に示すデータテーブルは、一例として、英文字等を入力するための英文字用データテーブルである。記憶部１２は、この他に、仮名文字等を入力するための仮名文字用データテーブル、数字等を入力するための数字用データテーブル、記号等を入力するための記号用データテーブル等を記憶してもよい。

【0020】

図４に示すとおり、第１列は第１操作を、第２列は第２操作を、第３列はデータを、それぞれ示している。ここで、第１操作は、例えば、データグループが特定されていない場合に、ＨＨ装置２０によって検知される操作である。また、第２操作は、例えば、データグループが特定されてる場合に、ＨＨ装置２０によって検知される操作である。

【0021】

データテーブルに含まれるデータは、少なくとも１つのデータを含むデータグループに属する。データテーブルにおけるデータグループの編成方法は、特に限定されず、例えば、英文字であればアルファベット順、仮名文字であれば五十音順のように、所定の標準によって規定された文字の順序の近しいもの同士を同一のデータグループに含めるように、データグループを編成してもよい。或いは、各データの使用頻度（一人又は複数人のユーザの使用頻度等）の近しいデータ同士を同一のデータグループに含めるように、データグループを編成してもよい。また、ユーザが任意にデータグループを編成可能としてもよい。データテーブルにおいて、各データグループは第１操作に対応付けられる。図４に示す例では、例えば、第１操作が「上スワイプ操作」であるデータグループには、英文字ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、及びｉの文字データが属する。また、第１操作が「左スワイプ操作」であるデータグループには、英文字ｊ、ｋ、ｌ、ｍ、ｎ、ｏ、ｐ、ｑ、及びｒの文字データが属する。また、第１操作が「右スワイプ操作」であるデータグループには、英文字ｓ、ｔ、ｕ、ｖ、ｗ、ｘ、ｙ、及びｚの文字データが属する。また、第１操作が「左下スワイプ操作」であるデータグループには、「Ｓｐａｃｅ」の機能を指定するためのデータ（機能データ）の１つのみが属する。また、第１操作が「下スワイプ操作」であるデータグループには、入力データの種別（仮名文字、英文字、数字、及び記号）を指定するためのデータ（種別データ）、方向（上、下、左、及び右）を指定するためのデータ（方向指定データ）、及び「Ｅｎｔｅｒ」のが属する。また、第１操作が「右下スワイプ操作」であるデータグループには、「Ｂａｃｋ ｓｐａｃｅ」の機能データの１つのみが属する。なお、データテーブルにおいて、ハイフン（「－」）が表記された箇所については、対応するデータは無いものとする。

【0022】

データテーブルにおいて、各データは第２操作に対応付けられる。図４に示す例では、第１操作が「上スワイプ操作」であるデータグループでは、英文字ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、及びｉのデータはそれぞれ、第２操作としての左上スワイプ操作、上スワイプ操作、右上スワイプ操作、左スワイプ操作、タップ操作、右スワイプ操作、左下スワイプ操作、下スワイプ操作、及び右下スワイプ操作のそれぞれに対応付けられる。また、第１操作が「左スワイプ操作」であるデータグループでは、英文字ｊ、ｋ、ｌ、ｍ、ｎ、ｏ、ｐ、ｑ、及びｒの文字データはそれぞれ、第２操作としての左上スワイプ操作、上スワイプ操作、右上スワイプ操作、左スワイプ操作、タップ操作、右スワイプ操作、左下スワイプ操作、下スワイプ操作、及び右下スワイプ操作のそれぞれに対応付けられる。

【0023】

また、第１操作が「右スワイプ操作」であるデータグループでは、英文字ｓ、ｔ、ｕ、ｖ、ｗ、ｘ、ｙ、及びｚの文字データはそれぞれ、第２操作としての左上スワイプ操作、上スワイプ操作、右上スワイプ操作、左スワイプ操作、タップ操作、右スワイプ操作、左下スワイプ操作、及び下スワイプ操作のそれぞれに対応付けられる。また、第１操作が「左下スワイプ操作」であるデータグループは、データとして、「Ｓｐａｃｅ」の機能データの１つのみを含む。

【0024】

また、第１操作が「下スワイプ操作」であるデータグループでは、第２操作として、仮名文字の種別データは左上スワイプ操作に、上の方向指定データは上スワイプ操作に、英文字の種別データは右上スワイプ操作に、左の方向指定データは左スワイプ操作に、「Ｅｎｔｅｒ」の機能データはタップ操作に、右の方向指定データは右スワイプ操作に、数字の種別データは左下スワイプ操作に、下の方向指定データは下スワイプ操作に、記号の種別データは右下スワイプ操作に、それぞれ対応付けられる。また、第１操作が「右下スワイプ操作」であるデータグループは、データとして、「Ｂａｃｋ ｓｐａｃｅ」の機能データの１つのみを含む。

【0025】

図３に戻り、画像出力部１３は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであって、処理部１５等から供給された表示データに基づいて種々の画像（動画を含む）を表示することが可能である。画像出力部１３は、光透過型であってもよいし、非光透過型であってもよい。

【0026】

音声出力部１４は、例えば、スピーカであって、処理部１５等から供給された音声データに基づいて種々の音声を出力することが可能である。

【0027】

処理部１５は、例えば、一又は複数個のプロセッサ及びその周辺回路を含むＣＰＵであって、ＨＭＤ装置１０の全体的な動作を統括的に制御する。処理部１５は、ＨＭＤ装置１０の各種処理が記憶部１２に記憶されているプログラム等に基づいて適切な手順で実行されるように、通信部１１、画像出力部１３、及び音声出力部１４等の動作を制御する。処理部１５は、記憶部１２に記憶されているプログラム（オペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。

【0028】

処理部１５は、例えば、ペアリング部１５１、表示制御部１５２、判別部１５３、入力処理部１５４等を含む。

【0029】

ペアリング部１５１は、例えば、ＷｉＦｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の任意の無線通信規格によるペアリング処理として、ＨＭＤ装置１０をＨＨ装置２０と通信可能な状態に設定する。

【0030】

表示制御部１５２は、記憶部１２に記憶された表示データ等に基づいて、画像出力部１３に種々の画像を表示させる。特に、表示制御部１５２は、画像出力部１３における、オブジェクトを含む所定のガイドＧの表示を制御する。

【0031】

図５Ａ及び図５Ｂを用いて、表示制御部１５２が画像出力部１３に表示するガイドＧの態様について説明する。図５Ａは、ガイドの表示態様の一例を示す図である。図５Ａには、一例として、英文字等を入力するための英文字用ガイドＧが表示されている。この他に、表示制御部１５２は、仮名文字等を入力するための仮名文字用ガイド、数字等を入力するための数字用ガイド、及び記号等を入力するための記号用ガイド等を画像出力部１３に表示してもよい。

【0032】

ガイドＧは、上述した入力データの候補となる複数のデータの各々（例えば、英文字「ａ」の文字データ）を識別するためのオブジェクト（図５Ａに示す例では、英文字「ａ」が表記された略矩形のオブジェクト）を含む。各オブジェクトは、少なくとも１つのオブジェクトを含むオブジェクトグループに含まれる。オブジェクトグループの形状は特に限定されないが、略矩形、略円形、略多角形、不定形、第１基準位置を略中心とする略円に含まれる略扇形等の任意の形状であってよい。また、オブジェクトの形状は特に限定されないが、略矩形、略円形、略多角形、不定形、第２基準位置を略中心とする略円に含まれる略扇形等の任意の形状であってよい。また、オブジェクトには、当該オブジェクトに対応するデータを示す表記が付されていてもよい。

【0033】

図５Ａに示すとおり、ガイドＧでは、オブジェクトグループＡＤ２、ＡＤ４、ＡＤ５、ＡＤ７、及びＡＤ８が、第１基準位置Ｐ１に対して特定の方向（方向を持たない「０方向」の場合も含み得る）に配置される。ここで、上述したオブジェクトグループＡＤ２、ＡＤ４、ＡＤ５、ＡＤ７、及びＡＤ８それぞれの第１基準位置Ｐ１に対する「特定の方向」は、例えば、データテーブルにおいて、当該オブジェクトグループに対応するデータグループに対応付けられた「第１操作」が指定する方向と同一であってよい。

【0034】

例えば、オブジェクトグループＡＤ２に対応するデータグループは、図４に示すデータテーブルにおいては、「第１操作」としての「上スワイプ操作」に対応付けられている。したがって、図５Ａに示すとおり、オブジェクトグループＡＤ２は、第１基準位置Ｐ１に対して、当該「上スワイプ操作」が指定する方向である「上」に配置される。同様にして、オブジェクトグループＡＤ４、ＡＤ５、ＡＤ６、ＡＤ７、及びＡＤ８はそれぞれ、第１基準位置Ｐ１に対して「左」、「右」、「左下」、「下」、「右下」のそれぞれに配置される。

【0035】

なお、第１基準位置Ｐ１は、ガイドＧの内部であれば、特にその位置は限定されないが、例えば、ガイドＧの略中心に位置してもよい。

【0036】

図４に示すデータテーブルには「第１操作」が「０方向」、「左上」、及び「右上」であるデータグループは含まれていないため、これに対応して図５Ａにおいても、第１基準位置Ｐ１に対して「０方向」、「左上」、及び「右上」のそれぞれに配置された領域ＡＤ０、ＡＤ１、ＡＤ３には、オブジェクトグループは配置されていない。しかしながら、データテーブルの構成に応じて、当該領域ＡＤ０、ＡＤ１、ＡＤ３にオブジェクトグループを配置してもよい。

【0037】

次に、図５Ｂを用いて、オブジェクトグループにおけるオブジェクトの表示態様について説明する。図５Ｂは、オブジェクトグループＡＤ２の表示態様の一例を示す図である。説明の便宜上、図５Ｂにおいて、「ｅ」の文字データに対応するオブジェクトＢＤ０には、「ｅ」の文字を示していない。なお、他のオブジェクトグループＡＤ４、ＡＤ５、ＡＤ７も、図５Ｂと同様の表示態様を有してもよい。

【0038】

図５Ｂに示すとおり、オブジェクトグループＡＤ２では、オブジェクトＢＤ０～ＢＤ８が、第２基準位置Ｐ２に対して特定の方向（方向を持たない「０方向」の場合も含み得る）に配置される。ここで、オブジェクトＢＤ０～ＢＤ８それぞれの第２基準位置Ｐ２に対する「特定の方向」は、例えば、データテーブルにおいて、当該オブジェクトに対応するデータに対応付けられた「第２操作」が指定する方向と同一であってよい。

【0039】

例えば、オブジェクトＢＤ１（ａの文字データに対応するオブジェクト）に対応するデータ（ａの文字データ）は、図４に示すデータテーブルにおいては、「第２操作」としての「左上スワイプ操作」に対応付けられている。したがって、図５Ｂに示すとおり、ａの文字データに対応するオブジェクトＢＤ１は、第２基準位置Ｐ２に対して、当該「左上スワイプ操作」が指定する方向である「左上」に配置される。同様にして、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、及びｉそれぞれに対応するオブジェクトＢＤ２、ＢＤ３、ＢＤ４、ＢＤ０、ＢＤ５、ＢＤ６、ＢＤ７、及びＢＤ８はそれぞれ、第２基準位置Ｐ２に対して「上」、「右上」、「左」、「０方向」、「右」、「左下」、「下」、及び「右下」のそれぞれに配置される。

【0040】

以上のとおり、データ入力システム１では、入力データの候補となる複数のデータのそれぞれに対応付けられたオブジェクトを含むガイドＧが表示される。そのため、ユーザは、ＨＨ装置２０を視認することなくデータを入力することが可能となる。また、ガイドＧにおいて、オブジェクトグループが第１基準位置に対して配置される方向は、データテーブルにおいてデータグループに対応付けられた第１操作の方向に一致している。更に、ガイドＧにおいて、オブジェクトが第２基準位置に対して配置される方向は、データテーブルにおいてデータに対応付けられた第２操作の方向に一致している。したがって、ユーザは、ガイドＧを視認することにより、データグループ及びデータを指定するための操作の方向を直感的に把握することが可能となる。また、データテーブルにおいて、データグループ及びデータは、方向を指定する操作に対応付けられている。そのため、ＨＨ装置２０の操作部２３に基準となる位置を設ける必要がなくなり、ユーザは操作部２３が有する操作領域の任意の箇所に対して操作を行うことが可能となる。

【0041】

なお、第２基準位置Ｐ２は、オブジェクトグループの内部であれば、特にその位置は限定されないが、例えば、オブジェクトグループの略中心に位置してもよい。

【0042】

図３に戻り、判別部１５３は、記憶部１２等に記憶されたデータテーブルを参照して、ＨＨ装置２０から受信した操作情報に基づき、データテーブルに含まれるデータから入力データを判別する。判別部１５３は、例えば、第１操作に基づいてデータグループを特定し、第２操作及び特定されたデータグループに基づいてデータを特定する。

【0043】

判別部１５３は、例えば、データグループが特定されているか否かに応じて、ＨＨ装置２０から受信する操作情報が、第１操作であるか第２操作であるかを区別した上で、データグループ又はデータを特定する。具体的には、判別部１５３は、データグループが特定されていない場合、ＨＨ装置２０から受信する操作情報は第１操作を示すものとして、データグループを特定する。また、判別部１５３は、データグループが特定されている場合、操作情報ＨＨ装置２０から受信する操作情報は第２操作を示すものとして、データを特定する。

【0044】

なお、判別部１５３は、操作情報によって特定されたデータグループが、データテーブルにおいてデータを１つのみ含む場合は、当該操作情報が当該１つのデータを入力データとして判別してもよい。

【0045】

入力処理部１５４は、判別部１５３等によって判別された入力データに基づいて、当該入力データの入力処理を実行する。

【0046】

（１－３）ＨＨ装置２０
ＨＨ装置２０は、ユーザが片手又は両手で操作可能であればどのようなデバイスであってもよく、例えば、スマートフォンやタブレット端末等の情報処理装置であってよい。図３に示すとおり、ＨＨ装置２０は、例えば、通信部２１と、記憶部２２と、操作部２３と、処理部２４と、を備える。

【0047】

通信部２１は、ＨＨ装置２０を任意の通信ネットワークに接続するための通信インターフェース回路を有する。通信部２１は、例えば、ＨＭＤ装置１０等から受信したデータを処理部２４に供給する。通信部２１は、処理部２４から供給されたデータをＨＭＤ装置１０等に送信する。

【0048】

記憶部２２は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置のうちの少なくとも一つを有する。記憶部２２は、処理部２４による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ（所定の処理に係る一時的なデータを含む）等を記憶する。各種プログラムは、例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部２２にインストールされてもよい。

【0049】

操作部２３は、ユーザによる操作を受付可能であり、例えば、タッチパネルやキーボタン等であってよい。操作部２３は、例えば、タッチパネル等で構成される場合、ユーザの操作に応じて接触位置や強度を示す操作信号を発生させ、当該操作信号を処理部２４に供給する。また、操作部２３は、例えば、キーボタン等で構成される場合、押下されたキーボタン等に応じた操作信号を発生させ、当該操作信号を処理部２４に供給する。また、操作部２３は、ＨＨ装置２０自体を動かす操作に応じた操作信号を発生させ、当該操作信号を処理部２４に供給してもよい。

【0050】

処理部２４は、例えば、一又は複数個のプロセッサ及びその周辺回路を含むＣＰＵであって、ＨＨ装置２０の全体的な動作を統括的に制御する。処理部２４は、ＨＨ装置２０の各種処理が記憶部２２に記憶されているプログラム等に基づいて適切な手順で実行されるように、通信部２１、及び操作部２３等の動作を制御する。処理部２４は、記憶部２２に記憶されているプログラム（オペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。処理部２４は、例えば、ペアリング部２４１、検知部２４２等を含む。

【0051】

ペアリング部２４１は、例えば、ＷｉＦｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の任意の無線通信規格によるペアリング処理として、ＨＭＤ装置１０をＨＨ装置２０と通信可能な状態に設定する。

【0052】

検知部２４２は、ユーザが操作部２３に対して行った操作を検知し、ＨＭＤ装置１０に操作情報を送信する。具体的には、操作部２３から供給された操作信号に基づいて、ユーザによる操作の態様を識別するための操作情報を生成した上で、当該操作情報を、通信部２１を介してＨＭＤ装置１０に送信する。操作情報は、例えば、当該操作が特定の方向を指定する操作であるか否かを示す情報や、当該操作が指定する特定の方向を示す情報を含んでもよい。特定の方向を指定しない操作（非方向指定操作）は、例えば、タッチパネル等におけるタップ操作、特定のキーボタン等の押下操作、ＨＨ装置２０自体のシェイク操作等を含んでもよい。また、特定の方向を指定する操作（方向指定操作）は、例えば、タッチパネル等におけるスワイプ操作、特定のキーボタン等の押下操作、ＨＨ装置２０自体の特定方向へのシェイク操作等を含んでもよい。

【0053】

（２）フロー
次に、図６を用いて、データ入力システム１によるデータ入力処理の動作フローの一例を説明する。当該動作フローは、ＨＭＤ装置１０の記憶部１２に記憶されたプログラム及びＨＨ装置２０に記憶されたプログラムに基づいて、主にＨＭＤ装置１０の処理部１５及びＨＨ装置２０の処理部２４により、ＨＭＤ装置１０及びＨＨ装置２０の各要素と協働して実行される。

【0054】

（Ｓ１０１）
まず、ＨＭＤ装置１０及びＨＨ装置２０は、ペアリング部１５１及びペアリング部２４１によって所定のプロトコルに沿った信号を送受信することにより、互いに通信可能な状態に設定するペアリング処理を実行する。当該ペアリング処理により、ＨＨ装置２０の検知部２４２は、ユーザによる操作部２３に対する操作を検知して当該操作の態様を示す操作情報を生成し、生成した操作情報をＨＭＤ装置１０に送信可能な状態となる。

【0055】

（Ｓ１０２）
次に、ＨＭＤ装置１０の表示制御部１５２は、画像出力部１３に、例えば図２に示した入力フレーム及びガイドを表示する。このとき、表示制御部１５２は、記憶部１２に記憶された複数のガイドのうち、予め設定された種別のガイドを画像出力部１３に表示する。ガイドの種別の設定は、ユーザが任意に設定可能としてもよい。

【0056】

（Ｓ１０３）
次に、ＨＭＤ装置１０の判別部１５３は、ＨＨ装置２０から操作情報を受信したか否かを判定する。上述したとおり、ユーザがＨＨ装置２０の操作部２３を操作すると、ＨＨ装置２０の検知部２４２が当該操作の態様を示す操作情報を生成し、生成した操作情報をＨＭＤ装置１０に送信する。ＨＭＤ装置１０の判別部１５３は、操作情報を受信していないと判定した場合（Ｓ１０３；Ｎｏ）、ステップＳ１０３を繰り返して、操作情報を受信するまで待機する。また、判別部１５３は、操作情報を受信したと判定した場合（Ｓ１０３；Ｙｅｓ）、処理はステップＳ１０４に進む。

【0057】

（Ｓ１０４）
判別部１５３は、データグループが特定されているか否かを判定する。データグループが特定されていると判定された場合（Ｓ１０４；Ｙｅｓ）、処理はステップＳ１０８に進む。データグループが特定されていないと判定された場合（Ｓ１０４；Ｎｏ）、処理はステップＳ１０５に進む。

【0058】

（Ｓ１０５）
データグループが特定されていないと判定された場合（Ｓ１０４；Ｎｏ）、判別部１５３は、データテーブルを参照し、受信した操作情報を第１操作とみなして、当該操作情報に基づいてデータグループを特定する。図４に示したデータテーブルの例では、例えば受信した操作情報が「上スワイプ操作」である場合は、データテーブルにおいて第１操作が「上スワイプ操作」であるデータグループ（英文字ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、及びｉの文字データが属するデータグループ）が特定される。

【0059】

（Ｓ１０６）
次に、表示制御部１５２は、データグループが特定された場合、フィードバック表示として、特定されたデータグループに対応するオブジェクトグループを、強調表示する。強調表示の態様は、特に限定されないが、当該オブジェクトグループに枠等のオブジェクトを付す態様、当該オブジェクトグループの色を他のオブジェクトと異なる色とする態様、当該オブジェクトグループのサイズを変更する（大きく又は小さくする）態様、当該オブジェクトグループを動かす態様、当該オブジェクトグループ以外の少なくとも１つのオブジェクトグループ乃至少なくとも１つのオブジェクトを消す態様等、任意の態様であってよい。なお、処理部１５は、当該強調表示に合わせた音声を音声出力部１４に出力させてもよい。

【0060】

（Ｓ１０７）
次に、判別部１５３は、データテーブルを参照して、特定されたデータグループが含むデータが１つのみであるか又は複数であるかを判定する。特定されたデータグループが含むデータが１つのみであると判定された場合は、処理はステップＳ１０８に進む。特定されたデータグループが含むデータが複数であると判定された場合は、処理はステップＳ１０３に進む。

【0061】

（Ｓ１０８）
判別部１５３は、データテーブルを参照して、受信した操作情報を第２操作とみなして、当該操作情報に基づいてデータを特定する。これにより、判別部１５３は、特定されたデータを入力データとして判別する。図４に示したデータテーブルの例では、上述したとおり第１操作が「上スワイプ操作」であったとすると、例えば本ステップＳ１０８において受信した操作情報が「左下スワイプ操作」である場合は、データテーブルにおいて第１操作が「上スワイプ操作」であるデータグループのうち第２操作が「左下スワイプ操作」である英文字「ａ」の文字データが特定される。そして、特定された英文字「ａ」の文字データが入力データとして判別される。

【0062】

（Ｓ１０９）
次に、表示制御部１５２は、データが特定された場合、フィードバック表示として、特定されたデータに対応するオブジェクトを、強調表示する。強調表示の態様は、特に限定されないが、当該オブジェクトに枠等のオブジェクトを付す態様、当該オブジェクトの色を他のオブジェクトと異なる色とする態様、当該オブジェクトのサイズを変更する（大きく又は小さくする）態様、当該オブジェクトを動かす態様、当該オブジェクト以外の少なくとも１つのオブジェクトの表示を消す態様等、任意の態様であってよい。なお、処理部１５は、当該強調表示に合わせた音声を音声出力部１４に出力させてもよい。

【0063】

（Ｓ１１０）
次に、入力処理部１５４は、特定された入力データに基づいて、入力処理を実行する。例えば、入力データが文字データである場合は、当該文字データが指定する文字を入力する処理を実行する。また、入力データが方向データである場合は、当該方向データが指定する方向を入力する処理を実行する。また、入力データが機能データである場合は、当該機能データが指定する機能を入力する処理を実行する。なお、入力データが種別データである場合は、判別部１５３は、入力データの判別に用いるデータテーブルを、当該種別データが指定するデータテーブルに変更する。以降は、データを入力するためのモードが終了するまで、ステップＳ１０３からステップＳ１１０が繰り返される。

【0064】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0065】

１…データ入力システム、１０…ＨＭＤ装置、１１…通信部、１２…記憶部、１３…画像出力部、１４…音声出力部、１５…処理部、１５１…ペアリング部、１５２…表示制御部、１５３…判別部、１５４…入力処理部、２０…ＨＨ装置、２１…通信部、２２…記憶部、２３…操作部、２４…処理部、２４１…ペアリング部、２４２…検知部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】