特開 2024-11566 情報処理装置、プログラム、及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024011566

(43)【公開日】2024-01-25

(54)【発明の名称】情報処理装置、プログラム、及び情報処理方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240118BHJP

【ＦＩ】

G06F3/01 570

【審査請求】有

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022113658

(22)【出願日】2022-07-15

(71)【出願人】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】齊藤 英勝

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA04

5E555AA13

5E555AA17

5E555BA03

5E555BA38

5E555BB04

5E555BB38

5E555BC19

5E555CA42

5E555CB66

5E555CC01

5E555CC19

5E555DA08

5E555DA09

5E555DB16

5E555DC09

5E555DC14

5E555DC61

5E555EA15

5E555EA22

5E555FA00

(57)【要約】      （修正有）

【課題】仮想空間上において、文字入力等の作業をより直感的でわかりやすく、よりスピーディに正確に行える情報処理装置を提供する。
【解決手段】情報処理装置は、ユーザの一方の手の５本の指のそれぞれに割り当てられた機能を記憶する記憶部と、ユーザの他方の手によるユーザの一方の手の５本の指のいずれかに対する所作を検出したことに応じて、所作の対象の指に割り当てられた機能を実行する機能実行部と、を備える。また、機能実行部は、ユーザの一方の手の５本の指のうちのいずれかによる予め定められた所作を検出したことに応じて、所作を行った指に割り当てられた機能を実行する。
【選択図】図６

【特許請求の範囲】

【請求項1】

ユーザの一方の手の５本の指のそれぞれに割り当てられた機能を記憶する記憶部と、
前記ユーザの他方の手による前記一方の手の５本の指のいずれかに対する所作を検出したことに応じて、前記所作の対象の指に割り当てられた機能を実行する機能実行部と
を備える情報処理装置。

【請求項2】

前記機能実行部は、前記一方の手の前記５本の指のそれぞれに割り当てられた機能を示すオブジェクトが、前記５本の指のそれぞれに対応する位置に表示されるように、前記ユーザが閲覧している表示部に表示させる、請求項１に記載の情報処理装置。

【請求項3】

前記記憶部は、前記５本の指のそれぞれについて、前記指に割り当てられた複数の機能を記憶し、
前記機能実行部は、前記ユーザの他方の手による前記一方の手の５本の指のいずれかに対する所作を検出したことに応じて、前記所作の対象の指に割り当てられた前記複数の機能のうち、有効になっている機能を実行する、請求項１に記載の情報処理装置。

【請求項4】

前記機能実行部は、前記一方の手による予め定められた所作を検出した場合に、前記５本の指のそれぞれについて、割り当てられている前記複数の機能のうちで、有効とする機能を切り替える、請求項３に記載の情報処理装置。

【請求項5】

前記機能実行部は、前記一方の手を回転させて前記一方の手の表裏を反転する所作を検出した場合に、前記５本の指のそれぞれについて、割り当てられている前記複数の機能のうちで、有効とする機能を切り替える、請求項４に記載の情報処理装置。

【請求項6】

前記機能は、言語を選択する機能であって、
前記記憶部は、前記５本の指のそれぞれについて、１又は複数の種類の言語を割り当てて記憶する、請求項４に記載の情報処理装置。

【請求項7】

前記機能は、文字を入力する機能であって、
前記記憶部は、前記５本の指のそれぞれについて、複数の文字を割り当てて記憶する、請求項４に記載の情報処理装置。

【請求項8】

前記記憶部は、前記５本の指のそれぞれについて、前記指に割り当てられた複数の機能を記憶し、
前記機能実行部は、前記他方の手による前記５本の指のいずれかに対する所作を検出したことに応じて、前記所作の対象の指に割り当てられた複数の機能を提示し、提示した前記複数の機能のうち前記他方の手によって指定された前記機能を実行する、請求項１に記載の情報処理装置。

【請求項9】

前記記憶部は、前記５本の指のうちの一の指にか行を入力する機能を割り当てて記憶し、
前記機能実行部は、前記他方の手による前記一の指に対する所作を検出したことに応じて、あ行の文字を提示し、提示したあ行の文字のうち前記他方の手によって指定された文字を入力する、請求項８に記載の情報処理装置。

【請求項10】

前記機能実行部は、前記一方の手の前記５本の指のそれぞれに割り当てられた機能を示すオブジェクトが、前記５本の指のそれぞれに対応する位置に表示されるように、前記ユーザが閲覧している表示部に表示させ、かつ、前記オブジェクトに対応する音声を音声出力部に音声出力させる、請求項２に記載の情報処理装置。

【請求項11】

ユーザの一方の手の５本の指のそれぞれに割り当てられた機能を記憶する記憶部と、
前記一方の手の５本の指のうちのいずれかによる予め定められた所作を検出したことに応じて、所作を行った指に割り当てられた機能を実行する機能実行部と
を備える情報処理装置。

【請求項12】

前記機能実行部は、前記一方の手の親指が、前記一方の手の側面に接触する所作を検出したことに応じて、前記親指に割り当てられた機能を実行する、請求項１１に記載の情報処理装置。

【請求項13】

前記機能実行部は、前記一方の手の人差指、中指、薬指、及び小指のいずれかが、前記一方の手の親指に接触する所作を検出したことに応じて、前記親指に接触した指に割り当てられた機能を実行する、請求項１２に記載の情報処理装置。

【請求項14】

コンピュータを、請求項１から１３のいずれか一項に記載の情報処理装置として機能させるためのプログラム。

【請求項15】

コンピュータによって実行される情報処理方法であって、
ユーザの一方の手の５本の指のそれぞれに割り当てられた機能を示すデータを参照して前記ユーザの他方の手による前記一方の手の５本の指のいずれかに対する所作を検出したことに応じて、前記所作の対象の指に割り当てられた機能を実行する機能実行段階
を備える情報処理方法。

【請求項16】

コンピュータによって実行される情報処理方法であって、
ユーザの一方の手の５本の指のそれぞれに割り当てられた機能を示すデータを参照して、前記一方の手の５本の指のうちのいずれかによる予め定められた所作を検出したことに応じて、所作を行った指に割り当てられた機能を実行する機能実行段階
を備える情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、プログラム、及び情報処理方法に関する。

【背景技術】

【0002】

特許文献１には、ｘＲ（X Reality又はExtended Reality）環境に配置された平面状の仮想キーボードに含まれる仮想キーを、位置トラッキングされるコントローラまたは指先を用いてタイピングさせる技術が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０２１－０７７０９７号公報

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の一実施態様によれば、情報処理装置が提供される。前記情報処理装置は、ユーザの一方の手の５本の指のそれぞれに割り当てられた機能を記憶する記憶部を備えてよい。前記情報処理装置は、前記ユーザの他方の手による前記一方の手の５本の指のいずれかに対する所作を検出したことに応じて、前記所作の対象の指に割り当てられた機能を実行する機能実行部を備えてよい。

【0004】

前記情報処理装置において、前記機能実行部は、前記一方の手の前記５本の指のそれぞれに割り当てられた機能を示すオブジェクトが、前記５本の指のそれぞれに対応する位置に表示されるように、前記ユーザが閲覧している表示部に表示させてよい。

【0005】

前記いずれかの情報処理装置において、前記記憶部は、前記５本の指のそれぞれについて、前記指に割り当てられた複数の機能を記憶してよく、前記機能実行部は、前記ユーザの他方の手による前記一方の手の５本の指のいずれかに対する所作を検出したことに応じて、前記所作の対象の指に割り当てられた前記複数の機能のうち、有効になっている機能を実行してよい。前記機能実行部は、前記一方の手による予め定められた所作を検出した場合に、前記５本の指のそれぞれについて、割り当てられている前記複数の機能のうちで、有効とする機能を切り替えてよい。前記機能実行部は、前記一方の手を回転させて前記一方の手の表裏を反転する所作を検出した場合に、前記５本の指のそれぞれについて、割り当てられている前記複数の機能のうちで、有効とする機能を切り替えてよい。前記機能は、言語を選択する機能であってよく、前記記憶部は、前記５本の指のそれぞれについて、１又は複数の種類の言語を割り当てて記憶してよい。前記機能は、文字を入力する機能であってよく、前記記憶部は、前記５本の指のそれぞれについて、複数の文字を割り当てて記憶してよい。

【0006】

前記いずれかの情報処理装置において、前記記憶部は、前記５本の指のそれぞれについて、前記指に割り当てられた複数の機能を記憶してよく、前記機能実行部は、前記他方の手による前記５本の指のいずれかに対する所作を検出したことに応じて、前記所作の対象の指に割り当てられた複数の機能を提示し、提示した前記複数の機能のうち前記他方の手によって指定された前記機能を実行してよい。前記記憶部は、前記５本の指のうちの一の指にか行を入力する機能を割り当てて記憶してよく、前記機能実行部は、前記他方の手による前記一の指に対する所作を検出したことに応じて、あ行の文字を提示し、提示したあ行の文字のうち前記他方の手によって指定された文字を入力してよい。

【0007】

前記いずれかの情報処理装置において、前記機能実行部は、前記一方の手の前記５本の指のそれぞれに割り当てられた機能を示すオブジェクトが、前記５本の指のそれぞれに対応する位置に表示されるように、前記ユーザが閲覧している表示部に表示させ、かつ、前記オブジェクトに対応する音声を音声出力部に音声出力させてよい。

【0008】

本発明の一実施態様によれば、情報処理装置が提供される。前記情報処理装置は、ユーザの一方の手の５本の指のそれぞれに割り当てられた機能を記憶する記憶部を備えてよい。前記情報処理装置は、前記一方の手の５本の指のうちのいずれかによる予め定められた所作を検出したことに応じて、所作を行った指に割り当てられた機能を実行する機能実行部を備えてよい。

【0009】

前記情報処理装置において、前記機能実行部は、前記一方の手の親指が、前記一方の手の側面に接触する所作を検出したことに応じて、前記親指に割り当てられた機能を実行してよい。前記機能実行部は、前記一方の手の人差指、中指、薬指、及び小指のいずれかが、前記一方の手の親指に接触する所作を検出したことに応じて、前記親指に接触した指に割り当てられた機能を実行してよい。

【0010】

本発明の一実施態様によれば、コンピュータを、前記情報処理装置として機能させるためのプログラムが提供される。

【0011】

本発明の一実施態様によれば、コンピュータによって実行される情報処理方法が提供される。前記情報処理方法は、ユーザの一方の手の５本の指のそれぞれに割り当てられた機能を示すデータを参照して前記ユーザの他方の手による前記一方の手の５本の指のいずれかに対する所作を検出したことに応じて、前記所作の対象の指に割り当てられた機能を実行する機能実行段階を備えてよい。

【0012】

本発明の一実施態様によれば、コンピュータによって実行される情報処理方法が提供される。前記情報処理方法は、ユーザの一方の手の５本の指のそれぞれに割り当てられた機能を示すデータを参照して、前記一方の手の５本の指のうちのいずれかによる予め定められた所作を検出したことに応じて、所作を行った指に割り当てられた機能を実行する機能実行段階を備えてよい。

【0013】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0014】

【図1】情報処理装置２００の一例を概略的に示す。

【図2】情報処理装置２００の機能構成の一例を概略的に示す。

【図3】記憶部２０２が記憶する複数種類のハンドジェスチャ３１０の一例を概略的に示す。

【図4】記憶部２０２が記憶する複数種類の所作の一例を概略的に示す。

【図5】ユーザの左手の５本の指に割り当てられた機能の一例を概略的に示す。

【図6】ユーザの右手による、親指に対する所作の一例を概略的に示す。

【図7】ユーザの左手による所作の一例を概略的に示す。

【図8】一の指に割り当てられた複数の機能の提示の一例を概略的に示す。

【図9】言語選択の機能について説明するための説明図である。

【図10】文字入力の対象となる文字のオブジェクトを表示した後に、言語を切り替える機能について説明するための説明図である。

【図11】一の指に割り当てられた複数の機能を選択肢として提示する場合について説明するための説明図である。

【図12】文字のクイック選択について説明するための説明図である。

【図13】選択肢が多い場合の表示例について説明するための説明図である。

【図14】英語の文字入力における選択肢の最大表示からの選択について説明するための説明図である。

【図15】入力された複数のひらがなを含む文字列の漢字への変換について説明するための説明図である。

【図16】入力された複数のひらがなを含む文字列の漢字への変換について説明するための説明図である。

【図17】入力された複数のひらがなを含む文字列の漢字への変換について説明するための説明図である。

【図18】英単語への変換について説明するための説明図である。

【図19】テキスト編集について説明するための説明図である。

【図20】テキスト編集について説明するための説明図である。

【図21】テキスト編集について説明するための説明図である。

【図22】テキスト編集について説明するための説明図である。

【図23】テキスト編集について説明するための説明図である。

【図24】テキスト編集について説明するための説明図である。

【図25】テキスト編集について説明するための説明図である。

【図26】片手操作について説明するための説明図である。

【図27】ブラインド入力について説明するための説明図である。

【図28】ブラインド入力について説明するための説明図である。

【図29】音声文字入力と、ジェスチャによるテキスト編集とを組み合わせた場合について説明するための説明図である。

【図30】音声文字入力と、ジェスチャによるテキスト編集とを組み合わせた場合について説明するための説明図である。

【図31】情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。

【発明を実施するための形態】

【0015】

スマートフォンや、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラスなどの眼鏡型デバイスの普及にともなって、仮想空間上において様々な作業が行われるようになってきており、仮想空間上において、文字入力等の作業をより直感的でわかりやすく、よりスピーディに正確に行える技術を提供することが望ましい。従来は、例えば、仮想空間上に、物理キーボードを模した平面や立体形状の「仮想のキーボード」を投影し、ハンドジェスチャ操作で、仮想のキーボードのボタンを空間上で押下することによって、文字入力の操作をするパータンがあった。また、その際、仮想のキーボードのボタンを押下した際に、ボタンの色を変更したり、ボタン押下のクリック音を鳴らすことで、空間上においても操作した感触（実感）を人に伝えるパターンがあった。また、仮想空間上で、仮想オンレーザーポインタを、投影した仮想のキーボードにポイントすることで、文字入力の操作をするパターンがあった。また、仮想空間上に、仮想のホワイトボード等を投影し、仮想のペンで手書きすることで、文字入力をするパターンがあった。また、音声入力により言語を文字に変換することで、文字入力するパターンがあった。

【0016】

物理的なキーボードは、物理的に並べられた複数のボタンを１０本の指でタイピングする前提で設計されているが、これを仮想空間に実装すると、空中に投影した仮想のキーボードの映像をタイピングすることになり、本来指先で感じるべきタイピングの打感が無く、ボタンを押したかどうかを指先で知覚できないので、このままでは物理キーボードのように快適に文字入力操作をすることが難しい。これを視覚や聴覚で補助する解決策、例えば、押下したボタンの色を変えることで、ボタンを押してことを目で知覚したり、ボタンを押下すると音が鳴動し、ボタンを押したことを耳で知覚する方法もあるが、例えば物理キーボードにおけるブラインドタッチのような、本来あるべき指先の感覚によるスピーディで快適な文字入力操作をすることは難しい。仮想のキーボードを指で操作せず、例えば、仮想のレーザーポインタ等でボタンを押下する方法もあるが、空間上に並んだ多数のボタンから必要なボタンを都度選択し、手元の操作で正確にポイントすることが難しく、物理キーボードのように快適にスピーディに文字入力操作をすることは難しい。仮想のキーボード側を改善する策として、たとえば仮想空間向けに三次元にレイアウトしたキューブ形状のボタンの集合体は、キーボードをコンパクトなサイズにすることは可能であるが、立体的に並んだ複数の文字の選択肢の中から、欲しい文字をひとつづつ正確に選択することが煩わしく、これもまた物理キーボードのように快適に文字入力操作をすることが難しい。これらのように、ボタンの集合体であるキーボードは、選択する文字ボタンの数が数十種類あり、それぞれのボタンの位置や押下を指先で知覚するシステムで成立しているため、キーボードのまま仮想空間上に実装すると、そもそもの機能を発揮しづらい。仮想のキーボードを使わずに、たとえば仮想のホワイトボード上に、仮想のペンで手書き入力する方法もあるが、手書きの触覚が得られない空中で正確に文字を描く必要があり、かつ手書き文字の乱雑さによる誤認識があり、物理キーボードのように正確にスピーディに文字入力操作をすることは難しい。仮想のキーボードの形状にかかわらず、これらは視覚による操作となるため、視覚に頼らない、いわゆるブラインドタッチで操作することができない。仮想のキーボードを使わずに、音声認識で文字入力する方法もあるが、文字入力に関しては今の技術で十分に可能ではあるが、キーボードでは容易にできる漢字への変換や、テキスト編集等の操作に向いていなく、音声認識のみで文字入力操作を完結するのは困難であり、また環境によっては音声を出すことが出来なかったり、情報セキュリティやプライバシーを要する文書の入力ができない制約がある。

【0017】

本実施形態に係る情報処理装置は、仮想空間上にて、仮想のキーボードやホワイトボードを使わずに、文字入力を直感的なハンドジェスチャ操作で実現する。一方で、音声文字入力だけでは困難な操作である、文字種類の選択（例えば、かな／英数）や、漢字や単語への変換、テキストの編集についても、直感的なハンドジェスチャ操作によって実現してよい。これらを実現することで、仮想空間上にて、今に無い、より直感的でわかりやすく、ブラインドタッチでの文字入力も可能とする、よりスピーディで正確な文字入力を実現する。

【0018】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0019】

図１は、情報処理装置２００の一例を概略的に示す。図１では、情報処理装置２００が、眼鏡型デバイス１００に搭載されている場合を例示している。情報処理装置２００は、これに限らず、ユーザの手を撮像可能なデバイスであれば、どのようなデバイスに搭載されてもよい。

【0020】

眼鏡型デバイス１００は、例えば、ＡＲグラスであってよい。眼鏡型デバイス１００は、撮像範囲に合わせたコンテンツを透明又は半透明のグラス上に表示することによって、実空間にコンテンツが配置されている感覚を、眼鏡型デバイス１００を装着しているユーザに与えることが可能なデバイスであってよい。すなわち、眼鏡型デバイス１００は、いわゆる透過型（シースルー型）のデバイスであってよい。また、眼鏡型デバイス１００は、いわゆるパススルー型のデバイスであってもよい。この場合、眼鏡型デバイス１００は、ユーザの視界に対応する範囲を撮像している撮像画像を、常に非透過型のディスプレイに表示する。

【0021】

眼鏡型デバイス１００は、リム１１２及びテンプル１１８を有するフレーム１１０を備える。眼鏡型デバイス１００は、外部の情報通信機器いわゆる、スマートフォンと接続して情報や電力を受け取るための有線、および無線の接続部を備えてもよい。

【0022】

図１における情報処理装置２００の配置は一例であり、情報処理装置２００は、フレーム１１０の他の位置に配置されてもよい。例えば、情報処理装置２００は、フレーム１１０の外部に配置されてもよい。また、例えば、情報処理装置２００は、テンプル１１８内に配置されてもよい。具体例として、情報処理装置２００は、テンプル１１８の先端部、すなわち、モダンに配置されてもよい。情報処理装置２００は、バッテリを備えてよい。情報処理装置２００とバッテリは、別体として、フレーム１１０の別の位置に配置されてもよい。

【0023】

眼鏡型デバイス１００は、カメラ１２０を備える。図１におけるカメラ１２０の配置は一例であり、カメラ１２０は、他の位置に配置されてもよい。

【0024】

眼鏡型デバイス１００は、センサ１２２を備えてよい。センサ１２２は、眼鏡型デバイス１００の周囲の環境を特定するためのセンサであってよい。センサ１２２は、ＬｉＤＡＲを含んでよい。センサ１２２は、測距センサを含んでもよい。図１では、センサ１２２がブリッジ１１４に配置されている場合を例示しているが、図１におけるセンサ１２２の配置は一例であり、センサ１２２は、他の位置に配置されてもよい。

【0025】

眼鏡型デバイス１００は、視線検出部１２４を備えてよい。視線検出部１２４は、眼鏡型デバイス１００の装着者であるユーザの視線を検出する。視線検出部１２４は、例えば、ユーザの目を撮像して監視することによって、ユーザの視線を検出する。図１における視線検出部１２４の配置は一例であり、視線検出部１２４は、他の位置に配置されてもよい。

【0026】

情報処理装置２００は、レンズ部１１６への表示機能を備えてよい。レンズ部１１６は、眼鏡型デバイス１００の表示部の一例であってよい。レンズ部１１６は、透明又は半透明のディスプレイであってよく、情報処理装置２００は、レンズ部１１６に各種表示を実行させてよい。すなわち、眼鏡型デバイス１００は、透明又は半透明のディスプレイ型のデバイスであってよい。また、情報処理装置２００が、レンズ部１１６に対して表示を投影する機能を有してもよい。すなわち、眼鏡型デバイス１００は、投影型のデバイスであってよい。

【0027】

眼鏡型デバイス１００は、マイク１２６を備えてよい。マイク１２６は、眼鏡型デバイス１００の装着者の音声を取得する。マイク１２６は、音声入力部の一例であってよい。

【0028】

眼鏡型デバイス１００は、スピーカ１２８を備えてよい。スピーカ１２８は、眼鏡型デバイス１００の装着者に対して音声を出力する。スピーカ１２８は、音声出力部の一例であってよい。スピーカ１２８は、イヤフォンタイプであってもよい。

【0029】

図２は、情報処理装置２００の機能構成の一例を概略的に示す。情報処理装置２００は、記憶部２０２、検出部２０４、機能実行部２０６、及び音声出力部２０８を備える。

【0030】

記憶部２０２は、各種情報を記憶する。例えば、記憶部２０２は、登録された複数種類のハンドジェスチャを記憶する。例えば、記憶部２０２は、登録された複数種類の所作を記憶する。記憶部２０２は、例えば、ユーザの一方の手の５本の指のそれぞれに割り当てられた機能を記憶する。機能の種類の例として、言語選択機能、文字入力機能、及びテキスト編集機能等が挙げられるが、これらに限られず、任意のメニューを選択する機能等の、任意の機能の種類が含まれてよい。

【0031】

記憶部２０２は、５本の指のそれぞれについて、指に割り当てられた複数の機能を記憶してよい。例えば、対象となる機能が言語を選択する機能である場合、１つの指に複数の言語が割り当てられる。例えば、対象となる機能が文字を入力する機能である場合、１つの指に複数の文字が割り当てられる。

【0032】

検出部２０４は、ユーザのジェスチャを検出する。検出部２０４は、ユーザの所作を検出する。検出部２０４は、カメラ１２０によって撮像された撮像画像、及びセンサ１２２による検出結果から、ユーザのジェスチャを検出したり、ユーザの所作を検出したりしてよい。

【0033】

機能実行部２０６は、ユーザの他方の手による、ユーザの一方の手の５本の指のいずれかに対する所作を検出したことに応じて、所作の対象の指に割り当てられた機能を実行する。これにより、直感的な操作環境をユーザに提供することができる。

【0034】

機能実行部２０６は、ユーザの一方の手の５本の指のそれぞれに割り当てられた機能を示すオブジェクトが、当該５本の指のそれぞれに対応する位置に表示されるように、ユーザが閲覧している表示部に表示させてよい。機能実行部２０６は、例えば、レンズ部１１６にオブジェクトを表示させる。当該表示によって、ユーザは、５本の指のそれぞれに割り当てられている機能を、５本の指のそれぞれに対応する位置に表示されたオブジェクトを閲覧することによって、容易に把握することができる。

【0035】

機能実行部２０６は、ユーザの他方の手による一方の手の５本の指のいずれかに対する所作を検出したことに応じて、所作の対象の指に割り当てられた複数の機能のうち、有効になっている機能を実行してよい。例えば、対象となる機能が文字を入力する機能であって、当該指に複数の文字が割り当てられている場合、機能実行部２０６は、複数の文字のうち、有効になっている文字を入力してよい。

【0036】

機能実行部２０６は、ユーザの一方の手による予め定められた所作を検出した場合に、５本の指のそれぞれについて、割り当てられている複数の機能のうちで、有効とする機能を切り替えてよい。例えば、機能実行部２０６は、ユーザの一方の手を回転させて一方の手の表裏を反転する所作を検出した場合に、５本の指のそれぞれについて、割り当てられている複数の機能のうちで、有効とする機能を切り替える。これにより、手を表裏に回転させることによって有効となる機能を切り替えるという、直感的な操作環境をユーザに提供することができる。

【0037】

機能実行部２０６は、ユーザの他方の手によるユーザの一方の手の５本の指のいずれかに対する所作を検出したことに応じて、所作の対象の指に割り当てられた複数の機能を提示し、提示した複数の機能のうち他方の手によって指定された機能を実行してもよい。具体例として、記憶部２０２が、ユーザの一方の手の５本の指のうちの一の指にあ行を入力する機能を割り当てて記憶している場合において、機能実行部２０６は、ユーザの他方の手による当該一の指に対する所作を検出したことに応じて、あ行の文字、すなわち、あ、い、う、え、おをユーザに対して提示し、あ、い、う、え、おのうち、ユーザの他方の手によって指定された文字を入力する。機能実行部２０６は、あ行の文字を、レンズ部１１６に表示することによって、ユーザに提示してよい。これにより、スピーディな入力操作を実現可能にできる。

【0038】

上述したように、機能実行部２０６は、ユーザの一方の手の５本の指のそれぞれに割り当てられた機能を示すオブジェクトが、当該５本の指のそれぞれに対応する位置に表示されるように、ユーザが閲覧している表示部に表示させてよい。更に、機能実行部２０６は、オブジェクトに対応する音声を音声出力部２０８に出力させてもよい。例えば、５本の指のそれぞれに文字を入力する機能が割り当てられている場合において、機能実行部２０６は、５本の指のそれぞれに対応する文字を表すオブジェクトを表示部に表示させるとともに、文字に対応する音声を音声出力部２０８に出力させる。これにより、ユーザの利便性を向上できる。また、ユーザによるブラインド入力を支援することができる。

【0039】

図３は、記憶部２０２が記憶する複数種類のハンドジェスチャ３１０の一例を概略的に示す。図３では、５種類のハンドジェスチャが登録されている場合について例示している。登録されるハンドジェスチャの数は５種類に限らず、６種類以上であってもよい。

【0040】

図３に示す例では、ハンドジェスチャＡとして「パー（平）」、ハンドジェスチャＢとして「パー（甲）」、ハンドジェスチャＣとして「グー」、ハンドジェスチャＤとして「チョキ」、ハンドジェスチャＥとして「ツマム」が登録されている。図３に示す５種類のハンドジェスチャは一例であり、他の種類のハンドジェスチャが登録されてもよい。

【0041】

図４は、記憶部２０２が記憶する複数種類の所作の一例を概略的に示す。図４では、６種類の所作が登録されている場合について例示している。登録される所作の数は６種類に限らず、７種類以上であってもよい。

【0042】

図４に示す例では、所作ａとして「グーパー」、所作ｂとして「パタパタ」、所作ｃとして「チョキパー」、所作ｄとして「ピンチ」、所作ｅとして「ムーブ」、所作ｆとして「リリース」が登録されている。図４に示す６種類の所作は一例であり、他の種類の所作が登録されてもよい。

【0043】

図５は、ユーザの左手の５本の指に割り当てられた機能の一例を概略的に示す。図５に示す例において、ユーザの左手の手の平における親指に機能Ａ、人差指に機能Ｂ、中指に機能Ｃ、薬指に機能Ｄ、小指に機能Ｅが割り当てられている。

【0044】

図６は、ユーザの右手による、親指に対する所作の一例を概略的に示す。ここでは、ユーザの右手によって、ユーザの左手の親指に対してピンチした後にリリースしている所作を示す。機能実行部２０６は、当該所作を検出したことに応じて、機能Ａを実行してよい。

【0045】

図７は、ユーザの左手による所作の一例を概略的に示す。ここでは、図５に示す状態から、ユーザの左手がパタパタの所作を行った場合を例示している。機能実行部２０６は、当該所作を検出したことに応じて、左手の５本の指のそれぞれについて、割り当てられている複数の機能のうちで、有効とする機能を切り替えてよい。図７に示す例において、親指について有効とする機能が、機能Ａから機能Ｊに切り替わり、人差指について有効とする機能が、機能Ｂから機能Ｉに切り替わり、中指について有効とする機能が、機能Ｃから機能Ｈに切り替わり、薬指について有効とする機能が、機能Ｄから機能Ｇに切り替わり、小指について有効とする機能が、機能Ｅから機能Ｆに切り替わっている。

【0046】

図８は、一の指に割り当てられた複数の機能の提示の一例を概略的に示す。機能実行部２０６は、ユーザの右手による、ユーザの左手の５本の指のうちのいずれかに対する所作を検出したことに応じて、所作の対象の指に割り当てられた複数の機能を提示してよい。図８では、ユーザの右手によって、ユーザの左手の親指に対してピンチが行われた後、ムーブが行われた場合について例示している。機能実行部２０６は、ムーブに応じて、機能Ａ１、機能Ａ２、機能Ａ３を順に提示してよい。

【0047】

ここで、複数種類の機能のそれぞれについて、具体例を示しつつ説明する。ここでは、情報処理装置２００が、ユーザの右手による、ユーザの左手の５本の指に対する所作を検出したことに応じて、所作の対象の指に割り当てられた機能を実行する場合を例に挙げて説明する。これに限らず、情報処理装置２００は、ユーザの左手によるユーザの右手の５本の指に対する所作を検出したことに応じて、所作の対象の指に割り当てられた機能を実行してもよい。

【0048】

図９は、言語選択の機能について説明するための説明図である。機能実行部２０６は、ジェスチャ「グー」からの所作「グーパー」を検出したことに応じて、左手の５本の指のそれぞれに割り当てられた機能を示すオブジェクトを表示させる。図９に示す例では、「日本語」、「英語」、「ドイツ」語、「フランス語」、「スペイン語」の文字列が表示されている。機能実行部２０６は、左手の５本の指のそれぞれについて、表示した言語を有効にする。なお、ここではすべて日本語で表示しているが、情報処理装置２００は、各言語を、それぞれの母国語で表示してもよい。

【0049】

機能実行部２０６は、所作「パタパタ」を検出した場合、左手の５本の指のそれぞれについて、割り当てられている複数の機能のうちで、有効とする機能を切り替えて、切り替えた後の言語を表示させる。図９に示す例では、切り替え後の、「△△語」、「〇〇語」、「××語」、「韓国語」、「中国語」が表示されている。機能実行部２０６は、所作「パタパタ」を検出する毎に、左手の５本の指のそれぞれについて、有効とする機能を切り替えて、表示を切り替え、すべての切り替えが終了した後は、最初にループして、「日本語」、「英語」、「ドイツ語」、「フランス語」、「スペイン語」を有効としてよい。

【0050】

「日本語」、「英語」、「ドイツ語」、「フランス語」、「スペイン語」が有効となっている状態で、左手の親指に対する右手のピンチを検出した場合に、機能実行部２０６は、親指に対応する「日本語」を選択状態とし、右手のリリースを検出した場合に、「日本語」への設定を完了する。

【0051】

図１０は、文字入力の対象となる文字のオブジェクトを表示した後に、言語を切り替える機能について説明するための説明図である。ここでは、一番目の言語が日本語であり、２番目の言語が英語に設定されている場合を例に挙げて説明する。

【0052】

機能実行部２０６は、ジェスチャ「グー」からの所作「グーパー」を検出したことに応じて、左手の５本の指に対して、「あ」、「か」、「さ」、「た」、「な」の文字を表示させる。

【0053】

機能実行部２０６は、所作「パタパタ」を検出した場合、有効とする文字を切り替えて、「は」、「ま」、「や」、「ら」、「わ」の文字を表示させる。機能実行部２０６は、更に、所作「パタパタ」を検出した場合、有効とする文字を切り替えて、「数字」、「記号」、「絵文字」の文字列を表示させる。

【0054】

機能実行部２０６は、左手の５本の指に対して、「あ」、「か」、「さ」、「た」、「な」の文字を表示させている状態で、ジェスチャ「グー」からの所作「グーパー」を検出したことに応じて、左手の５本の指に対して、英語の、「ABCD」、「EFGH」、「IJKL」、「MNOP」、「QRST」の文字列を表示させる。

【0055】

機能実行部２０６は、所作「パタパタ」を検出した場合、有効とする文字を切り替えて、「UVW」、「XYZ」、「数字」、「記号」、「絵文字」の文字列を表示させる。機能実行部２０６は、ジェスチャ「グー」からの所作「グーパー」を検出したことに応じて、日本語の「あ」、「か」、「さ」、「た」、「な」の文字を表示させてよい。このように機能実行部２０６は、所作「グーパー」を検出する毎に、言語を切り替えてよい。これにより、言語の切り替えをスムーズに行うことができ、例えば、日本語の文字と英語の文字とが混在するような文章をスピーディに作成可能な環境を提供できる。

【0056】

図１１は、一の指に割り当てられた複数の機能を選択肢として提示する場合について説明するための説明図である。機能実行部２０６は、左手の５本の指のいずれかの指に対する、右手による所作を検出したことに応じて、所作の対象の指に割り当てられた複数の機能を提示してよい。図１１に示す例においては、機能実行部２０６は、左手の５本の指のそれぞれに対応する機能として、「あ」、「か」、「さ」、「た」、「な」の文字を表示している状態で、左手の人差指に対する、右手のピンチ及びムーブを検出したことに応じて、人差指に割り当てられているか行の文字を提示する。図１１に示す例では、右手が右側にムーブされていることに応じて、「か」、「き」、「く」、「け」、「こ」、「が」、「ぎ」、「ぐ」、「げ」、「ご」の文字を順に提示していく。選択肢がこれ以上無い場合は、オブジェクトが右に伸びなくなる。

【0057】

機能実行部２０６は、提示している複数の文字のうち、右手によるピンチ及びリリースを検出した場合に、対象となる文字を入力する。図１１に示す例では、「く」に対してピンチ及びリリースがされており、機能実行部２０６は、「く」を入力する。

【0058】

図１２は、文字のクイック選択について説明するための説明図である。ここでは、図１１と異なる点を主に説明する。機能実行部２０６は、左手の５本の指に対して、「あ」、「か」、「さ」、「た」、「な」の文字を表示した状態で、左手の人差指に対する、右手のピンチ及びムーブを検出したことに応じて、人差指に割り当てられているか行の文字を提示していくが、途中で右手のリリースを検出した場合には、対象となる文字を入力する図１２に示す例においては、「か」、「き」、「く」までに提示した段階で、右手のリリースを検出しており、機能実行部２０６は、「く」を入力する。これにより、選択肢をすべて表示した後に、対象となる文字を指定する場合と比較して、より短時間での文字の入力を可能とすることができる。

【0059】

図１３は、選択肢が多い場合の表示例について説明するための説明図である。機能実行部２０６は、選択肢が予め定められた閾値より多い場合、所作「パタパタ」に応じて、選択肢を追加する形で表示させるようにしてもよい。図１３では、「記号」の選択肢を例に挙げて説明する。

【0060】

機能実行部２０６は、記号が割り当てられた左手の人差指に対する、右手によるピンチ及びムーブを検出したことに応じて、記号の選択肢を表示していく。図１３に示す例では、まず、

を表示させている。ここで、機能実行部２０６は、左手の所作「パタパタ」を検出したことに応じて、選択肢を追加表示させる。図１３に示す例では、

が追加表示されている。さらに、左手の所作「パタパタ」を検出したことに応じて、機能実行部２０６は、選択肢を追加表示させる。図１３に示す例では、

が追加表示されている。このような表示を提供することによって、選択肢が多い場合における、選択肢の選択を効率化させることができる。

【0061】

図１４は、英語の文字入力における選択肢の最大表示からの選択について説明するための説明図である。機能実行部２０６は、右手による左手の５本の指のいずれかに対するムーブの所作を検出したことに応じて、所作の対象の指に割り当てられた複数の機能を提示し、提示した複数の機能のうち右手によって指定された機能を実行してよい。

【0062】

図１４に示す例において、まず、機能実行部２０６は、左手の５本の指のそれぞれに対応する位置に「ABCD」、「EFGH」、「IJKL」、「MNOP」、「QRST」の文字列を表示させている。機能実行部２０６は、左手の人差指に対する右手のピンチ及びムーブを検出したことに応じて、半角大文字のEFGH、半角小文字のefgh、全角大文字のＥＦＧＨ、全角小文字のｅｆｇｈ、を表示させてよい。選択肢がこれ以上ない場合は、オブジェクトが右に伸びなくなる。機能実行部２０６は、右手による半角大文字のFのピンチ及びリリースを検出した場合に、半角大文字のFを入力する。

【0063】

図１５から図１７は、入力された複数のひらがなを含む文字列の漢字への変換について説明するための説明図である。図１１及び図１２において説明した文字入力によって入力された文字は、テキスト表示のオブジェクトに入力される。図１５では、１１文字が入力されて、テキスト表示のオブジェクトに「くにやぶれてさんがあり」が入力されている状態を開始状態として示している。

【0064】

機能実行部２０６は、「く」に対する右手の所作「ピンチ」を検出したことに応じて、「く」の予測変換の候補を表示させてよい。図１５に示す例では、５個の候補が表示されている。機能実行部２０６は、右手の所作「ムーブ」に応じて、テキスト表示のオブジェクトの選択範囲を変更し、選択範囲の予測変換の候補を表示させてよい。図１５に示す例では、「くにやぶれて」が選択範囲となった状態と、「くにやぶれてさんがあり」が選択範囲となった状態とを例示している。

【0065】

機能実行部２０６は、左手の所作「パタパタ」を検出したことに応じて、予測変換の候補を切り替えてよい。すなわち、機能実行部２０６は、左手のパタパタを検出する毎に、表示している候補以外の候補を順次表示していき、候補がなくなったら、最初の候補に戻るように表示させてよい。図１６に示す例では、「くにやぶれて」の予測変換の候補が、左手の所作「パタパタ」毎に切り替わる様子を示している。最終選択肢の後はブランクとなってよく、さらに左手の所作「パタパタ」を検出した場合、最初にループしてよい。

【0066】

機能実行部２０６は、右手の所作「ムーブ」に合わせて、テキスト表示のオブジェクトの選択範囲を変更し、それに合わせて選択範囲の予測変換の候補を表示させ、表示させた選択肢に対する右手の所作「ピンチ」及び「リリース」を検出したことに応じて、対象となる選択肢を確定してよい。

【0067】

図１８は、英単語への変換について説明するための説明図である。図１８では、２文字が入力されて、テキスト表示のオブジェクトに「ｅｎ」が入力されている状態を開始状態として示している。

【0068】

機能実行部２０６は、「ｅ」の後に「ｎ」が入力されたことに応じて、「ｅｎ」からの予測変換の候補を表示させる。機能実行部２０６は、表示させた候補に対する右手の所作「ピンチ」及び「リリース」を検出したことに応じて、対象となる選択肢を確定してよい。

【0069】

図１９～２５は、テキスト編集について説明するための説明図である。図１９は、テキスト編集用機能の呼び出しと、切り替えについて説明するための説明図である。本例において、左手の表裏の指にテキスト編集用機能が割り当てられており、左手の所作「チョキパー」で呼び出せるように設定されているものとして説明する。

【0070】

機能実行部２０６は、左手の所作「チョキパー」を検出したことに応じて、左手の５本の指について、「デリート」、「改行 スペース」、「コピー カット」、「ペースト」、「確定」を有効にして、表示させる。機能実行部２０６は、左手の所作「パタパタ」を検出したことに応じて、左手の５本の指について、有効とする機能を切り替えて、表示させる。図１９に示す例では、「フォント」、「サイズ」、「カラー」、「装飾」、「確定」が有効となっている。機能実行部２０６は、左手の所作「パタパタ」を検出したことに応じて、有効とする機能を切り替えるが、図１９に示す例では、切り替え対象がないので、「デリート」、「改行 スペース」、「コピー カット」、「ペースト」、「確定」を有効にして、表示させている。

【0071】

図２０は、テキスト編集部分の選択について説明するための説明図である。本例では、テキスト表示のオブジェクトに「国破れて山河あり」が入力されている状態を開始状態として示している。機能実行部２０６は、テキスト表示のオブジェクトのうち、右手の所作「ピンチ」、右手の所作「ムーブ」、右手の所作「リリース」によって選択された範囲を、選択状態にしてよい。図２０に示す例においては、「国破れて」が選択状態となっている。

【0072】

図２１は、テキスト編集部分の選択について説明するための説明図である。ここでは、図２０と異なる点を主に説明する。機能実行部２０６は、テキスト表示のオブジェクトにおける文字と文字との間に対する、右手の所作「ピンチ」を検出したことに応じて、当該文字と文字との間にカーソル「＿」を表示させる。そして、機能実行部２０６は、右手の所作「リリース」を検出したことに応じて、文字間の編集部分を確定させる。図２１に示す例では、「国破れて」と「山河あり」との間に、カーソル「＿」の位置が確定されている。機能実行部２０６は、文字間の編集部分を確定させた後、カーソル「＿」に対する右手の所作「ピンチ」及び「ムーブ」を検出したことに応じて、テキスト表示のオブジェクトにおけるカーソル「＿」の位置を変更してよい。

【0073】

図２２は、テキストの再変換について説明するための説明図である。ここでは、図２０に示す例において示した「国破れて」が選択されている状態を開始状態として説明する。

【0074】

機能実行部２０６は、左手の所作「パタパタ」を検出したことに応じて、「国破れて」の変換候補を表示させる。機能実行部２０６は、変換候補のいずれかに対する右手による所作「ピンチ」及び「リリース」を検出したことに応じて、「国破れて」を変更する。図２２に示す例では、変換候補のうちの「クニヤブレテ」が選択されて、「国破れて」が「クニヤブレテ」に変更されている。

【0075】

図２３は、テキストの挿入と変換について説明するための説明図である。ここでは、図２１に示す例において示した「国破れて」と「山河あり」との間にカーソル「＿」が配置されている状態を開始状態として説明する。

【0076】

機能実行部２０６は、左手の所作「パタパタ」を検出したことに応じて、文字入力に遷移して、左手の５本の指のそれぞれに対応する位置に文字を表示させる。機能実行部２０６は、左手の５本の指のいずれかに対する右手の所作「ピンチ」及び「リリース」を検出したことに応じて、対象となる文字を挿入する。図２３に示す例では、「か」を挿入している。

【0077】

機能実行部２０６は、左手の所作「パタパタ」を検出したことに応じて、左手の５本の指の文字を切り替える。機能実行部２０６は、「ら」に対応する人差指への右手の所作「ピンチ」及び「リリース」を検出したことに応じて、「ら」を挿入する。これにより、テキスト表示のオブジェクトが「国破れてから山河あり」となる。機能実行部２０６は、左手の所作「チョキパー」を検出したことに応じて、テキスト編集機能を呼び出し、左手の５本の指に対応する位置にテキスト編集機能を表示させる。機能実行部２０６は、「確定」に対応する左手の小指に対する右手の所作「ピンチ」及び「リリース」を検出したことに応じて、「から」を確定させる。さらに、機能実行部２０６は、左手の所作「パタパタ」を検出したことに応じて、「から」の変化候補を表示させる。機能実行部２０６は、例えば、「～」に対応する左手の薬指に対する右手の所作「ピンチ」及び「リリース」を検出したことに応じて、「～」を確定してよい。これにより、テキスト表示のオブジェクトが「国破れて～山河あり」に確定する。

【0078】

図２４は、テキストの編集について説明するための説明図である。ここでは、図２０に示す例において示した「国破れて」が選択されている状態を開始状態として説明する。

【0079】

機能実行部２０６は、左手の所作「チョキパー」を検出したことに応じて、テキスト編集機能を呼び出し、左手の５本の指に対応する位置にテキスト編集機能を表示させる。機能実行部２０６は、「デリート」に対する右手の所作「ピンチ」及び「リリース」を検出したことに応じて、選択されている「国破れて」を削除する。

【0080】

機能実行部２０６は、「コピー」に対する右手の所作「ピンチ」及び「リリース」を検出した場合、「国破れて」をコピーする。「国破れて」はクリップボードに保存される。機能実行部２０６は、「カット」に対する右手の所作「ピンチ」及び「リリース」を検出した場合、「国破れて」をカットする。「国破れて」はクリップボードに保存される。

【0081】

機能実行部２０６は、「ペースト」に対する右手の所作「ピンチ」及び「リリース」を検出した場合、クリップボードに保存されている文字又は文字列をペーストする。

【0082】

機能実行部２０６は、「フォント」に対する右手の所作「ピンチ」及び「リリース」を検出した場合、「国破れて」のフォントを変更する。機能実行部２０６は、例えば、「フォント」に対する右手の所作「ピンチ」及び「ムーブ」を検出したことに応じて、フォントの候補を表示し、候補に対する右手の所作「ピンチ」及び「リリース」を検出した場合に、「国破れて」のフォントを、当該候補のフォントに変更する。フォントの候補の例として、Ａｒｉａｌ、明朝、ゴシック、メイリオ等が挙げられるが、これらに限られない。

【0083】

機能実行部２０６は、「サイズ」に対する右手の所作「ピンチ」及び「リリース」を検出した場合、「国破れて」のサイズを変更する。機能実行部２０６は、例えば、「サイズ」に対する右手の所作「ピンチ」及び「ムーブ」を検出したことに応じて、サイズの候補を表示し、候補に対する右手の所作「ピンチ」及び「リリース」を検出した場合に、「国破れて」のサイズを、当該候補のサイズに変更する。

【0084】

機能実行部２０６は、「カラー」に対する右手の所作「ピンチ」及び「リリース」を検出した場合、「国破れて」のカラーを変更する。機能実行部２０６は、例えば、「カラー」に対する右手の所作「ピンチ」及び「ムーブ」を検出したことに応じて、カラーの候補を表示し、候補に対する右手の所作「ピンチ」及び「リリース」を検出した場合に、「国破れて」のカラーを、当該候補のカラーに変更する。

【0085】

機能実行部２０６は、「装飾」に対する右手の所作「ピンチ」及び「リリース」を検出した場合、「国破れて」の装飾を変更する。機能実行部２０６は、例えば、「装飾」に対する右手の所作「ピンチ」及び「ムーブ」を検出したことに応じて、装飾の候補を表示し、候補に対する右手の所作「ピンチ」及び「リリース」を検出した場合に、「国破れて」の装飾を、当該候補の装飾に変更する。装飾の候補の例として、ボールド、アンダーライン、イタリック等が挙げられるが、これらに限られない。

【0086】

図２５は、テキストの編集について説明するための説明図である。ここでは、図２１に示す例において示した「国破れて」と「山河あり」との間にカーソル「＿」が配置されている状態を開始状態として説明する。

【0087】

機能実行部２０６は、左手の所作「チョキパー」を検出したことに応じて、テキスト編集機能を呼び出し、左手の５本の指に対応する位置にテキスト編集機能を表示させる。機能実行部２０６は、「デリート」に対する右手の所作「ピンチ」及び「リリース」を検出したことに応じて、カーソル「＿」の１つ前の文字を削除する。図２５では、「デリート」に対する右手の所作「ピンチ」及び「リリース」をさらに検出した場合について例示している。その後、「確定」に対する右手の所作「ピンチ」及び「リリース」を検出した場合、「国破山河あり」で確定する。

【0088】

機能実行部２０６は、「改行」に対する右手の所作「ピンチ」及び「リリース」を検出した場合、カーソル「＿」の前に改行を挿入する。機能実行部２０６は、「改行」に対する右手の所作「ピンチ」及び「リリース」を検出する毎に、改行を挿入する。

【0089】

機能実行部２０６は、「スペース」に対する右手の所作「ピンチ」及び「リリース」を検出した場合、カーソル「＿」の前にスペースを挿入する。機能実行部２０６は、「スペース」に対する右手の所作「ピンチ」及び「リリース」を検出する毎に、スペースを挿入する。

【0090】

図２６は、片手操作について説明するための説明図である。機能実行部２０６は、片手操作の場合も、図３に例示したジェスチャ３１０及び図４に例示した所作３２０を用いてよいが、「ツマム」について、５本の指の各々どの指なのかを区別するジェスチャで構成される。

【0091】

例えば、左手の親指の「ツマム」は、親指を左手の側面に接触するジェスチャであってよい。左手の親指の所作「ピンチ」は、親指を左手の側面に向けて移動する所作であってよく、左手の親指の所作「リリース」は、親指を左手の側面から離す所作であってよい。

【0092】

例えば、左手の人差指の「ツマム」は、人差指を左手の親指に接触するジェスチャであってよい。左手の人差指の所作「ピンチ」は、人差指を左手の親指に接触させる所作であってよく、左手の人差指の所作「リリース」は、人差指と親指とを離す所作であってよい。

【0093】

例えば、左手の中指の「ツマム」は、中指を左手の親指に接触するジェスチャであってよい。左手の中指の所作「ピンチ」は、中指を左手の親指に接触させる所作であってよく、左手の中指の所作「リリース」は、中指と親指とを離す所作であってよい。

【0094】

例えば、左手の薬指の「ツマム」は、薬指を左手の親指に接触するジェスチャであってよい。左手の薬指の所作「ピンチ」は、薬指を左手の親指に接触させる所作であってよく、左手の薬指の所作「リリース」は、薬指と親指とを離す所作であってよい。

【0095】

例えば、左手の小指の「ツマム」は、小指を左手の親指に接触するジェスチャであってよい。左手の小指の所作「ピンチ」は、小指を左手の親指に接触させる所作であってよく、左手の小指の所作「リリース」は、小指と親指とを離す所作であってよい。

【0096】

図２６は、左手の５本の指に対応する位置に「あ」、「か」、「さ」、「た」、「な」が表示されている状態を開始状態としている。機能実行部２０６は、左手の親指の所作「ピンチ」を検出したことに応じて、あ行を選択状態とする。機能実行部２０６は、左手の所作「ムーブ」を検出したことに応じて、あ行の文字「あ」、「い」、「う」、「え」、「お」を表示していく。機能実行部２０６は、「う」のところで、左手の親指の「リリース」を検出したことに応じて、「う」を入力して、テキスト表示のオブジェクトに入力する。

【0097】

このように、「ツマム」について、５本の指の各々どの指なのかを区別するジェスチャで構成することによって、文字入力はもちろん、漢字や単語への変換、テキスト編集等の機能についても、片手での操作を実現することができる。

【0098】

図２７及び図２８は、ブラインド入力について説明するための説明図である。ここでは、左手の５本の指に対して、「あ」、「か」、「さ」、「た」、「な」の文字を表示する場合を例に挙げて説明する。機能実行部２０６は、「あ」、「か」、「さ」、「た」、「な」の文字を表示させるときに、音声出力部２０８に「あかさたな」と音声出力させる。これにより、表示を見ていなくても、現時点での候補をユーザに把握させることができる。なお、この場合、機能実行部２０６は、「あ」、「か」、「さ」、「た」、「な」の文字の表示はさせなくてもよい。

【0099】

機能実行部２０６は、左手の人差指に対する右手の所作「ピンチ」を検出したことに応じて、か行を選択し、音声出力部２０８に「か」を音声出力させる。機能実行部２０６は、右手の所作「ムーブ」を検出したことに応じて、「き」、「く」と順に表示させるとともに、「き」、「く」を音声出力部２０８に音声出力させる。機能実行部２０６は、右手の所作「リリース」を検出したことに応じて、「く」をテキスト表示のオブジェクトに入力する。機能実行部２０６は、テキスト表示のオブジェクトが変化した場合に、テキスト表示のオブジェクトを音声出力部２０８に音声出力させてよい。図２７に示す例においては、「く」が音声出力される。

【0100】

続いて、図２８に示すように、機能実行部２０６は、左手のジェスチャ「パー」を検出したことに応じて、左手の５本の指に対して「あ」、「か」、「さ」、「た」、「な」の文字を表示させる。機能実行部２０６は、左手の小指に対する右手の所作「ピンチ」を検出したことに応じて、な行を選択し、音声出力部２０８に「な」を音声出力させる。機能実行部２０６は、右手の所作「ムーブ」を検出したことに応じて、「に」を表示させるとともに、「に」を音声出力部２０８に音声出力させる。機能実行部２０６は、右手の所作「リリース」を検出したことに応じて、「に」をテキスト表示のオブジェクトに入力する。機能実行部２０６は、テキスト表示のオブジェクトに入力されている「くに」を音声出力部２０８に音声出力させる。

【0101】

このように、機能実行部２０６は、候補について、適宜音声出力部２０８に音声出力させ、テキスト表示のオブジェクトが変化した場合に、テキスト表示のオブジェクトを音声出力部２０８に音声出力させてよい。これにより、ブラインド入力を実現することができる。

【0102】

なお、機能実行部２０６は、音声出力部２０８に候補を音声出力させるときと、テキスト表示のオブジェクトを音声出力させるときとで、音声出力のパラメータを変更させてもよい。機能実行部２０６は、例えば、音量及び音質の少なくともいずれかを変更させてよい。これにより、候補と、すでに入力が確定している文字又は文字列とを、ユーザに区別させやすくできる。

【0103】

図２９及び図３０は、音声文字入力と、ジェスチャによるテキスト編集とを組み合わせた場合について説明するための説明図である。機能実行部２０６は、例えば、音声文字入力によって、文字入力が行われた後に、左手の所作「チョキパー」を検出したことに応じて、左手の５本の指について、「デリート」、「改行 スペース」、「コピー カット」、「ペースト」、「確定」を有効にして、表示させる。機能実行部２０６は、音声文字入力によって、入力された文字又は文字列に対して、「デリート」、「改行 スペース」、「コピー カット」、「ペースト」、「確定」のいずれかを適用させてよい。機能実行部２０６は、左手の所作「パタパタ」を検出したことに応じて、左手の５本の指について、有効とする機能を切り替えて、表示させる。図２９に示す例では、「フォント」、「サイズ」、「カラー」、「装飾」、「確定」が有効となっている。

【0104】

図３０は、音声文字入力によって「くにやぶれてさんがあり」が入力され、テキスト表示のオブジェクトとして入力されている状態を開始状態として示している。機能実行部２０６は、テキスト表示のオブジェクトのうち、右手の所作「ピンチ」、右手の所作「ムーブ」、右手の所作「リリース」によって選択された範囲を、選択状態にしてよい。図３０に示す例においては、「くにやぶれて」が選択状態となっている。このように、情報処理装置２００によれば、音声文字入力において、音声での指示が困難な操作をつまむＵＩで補完することができ、ユーザの利便性を向上することができる。

【0105】

図３１は、情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

【0106】

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0107】

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0108】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0109】

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0110】

プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0111】

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0112】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0113】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0114】

上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

【0115】

本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0116】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0117】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0118】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0119】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0120】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0121】

１００ 眼鏡型デバイス、１１０ フレーム、１１２ リム、１１４ ブリッジ、１１６ レンズ部、１１８ テンプル、１２０ カメラ、１２２ センサ、１２４ 視線検出部、１２６ マイク、１２８ スピーカ、２００ 情報処理装置、２０２ 記憶部、２０４ 検出部、２０６ 機能実行部、２０８ 音声出力部、３１０ ジェスチャ、３２０ 所作、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２３０ ＲＯＭ、１２４０ 入出力チップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】