特許 6232694 情報処理装置、その制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6232694

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】情報処理装置、その制御方法及びプログラム

(51)【国際特許分類】

   H03M 11/04 20060101AFI20171113BHJP

   G06F 3/023 20060101ALI20171113BHJP

   G06F 3/0482 20130101ALI20171113BHJP

   G06F 3/0487 20130101ALI20171113BHJP

   G06F 3/0346 20130101ALI20171113BHJP

【ＦＩ】

   G06F3/023 310L

   G06F3/0482

   G06F3/0487

   G06F3/0346 421

【請求項の数】7

【全頁数】26

(21)【出願番号】特願2012-228470(P2012-228470)

(22)【出願日】2012年10月15日

(65)【公開番号】特開2014-82605(P2014-82605A)

(43)【公開日】2014年5月8日

【審査請求日】2015年10月15日

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(73)【特許権者】

【識別番号】301049456

【氏名又は名称】キヤノンシステムアンドサポート株式会社

(74)【代理人】

【識別番号】100208904

【弁理士】

【氏名又は名称】伊藤 秀起

(72)【発明者】

【氏名】宮島 祥剛

【審査官】 菅原 浩二

(56)【参考文献】

【文献】 特開２００４−３０３０００（ＪＰ，Ａ）

【文献】 特開２００５−１１５７４４（ＪＰ，Ａ）

【文献】 特開２００５−１９６５３０（ＪＰ，Ａ）

【文献】 特開２００５−２２８１８０（ＪＰ，Ａ）

【文献】 特開２００６−０１０４８９（ＪＰ，Ａ）

【文献】 特開２００６−２０９３５９（ＪＰ，Ａ）

【文献】 特開２０１０−０５５５０８（ＪＰ，Ａ）

【文献】 特開２０１０−１５２７３６（ＪＰ，Ａ）

【文献】 特開２０１１−０５３８５３（ＪＰ，Ａ）

【文献】 特開２０１１−０５３９７３（ＪＰ，Ａ）

【文献】 特開２０１１−２５３４６８（ＪＰ，Ａ）

【文献】 特開２０１２−００３３３２（ＪＰ，Ａ）

【文献】 特開２０１２−１０８７２３（ＪＰ，Ａ）

【文献】 特開２０１２−１０８８５７（ＪＰ，Ａ）

【文献】 特表２０１３−５３９１１３（ＪＰ，Ａ）

【文献】 国際公開第２００９／１４８０６４（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／１３３２２７（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１２／００５０００７（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１１／０２９６３５１（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１０／００１７７１０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０２３

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｈ０３Ｍ １１／０４

(57)【特許請求の範囲】

【請求項1】

表示部を備え、３次元空間上において位置及び厚みが定義された仮想キーによる情報入力を可能とする情報処理装置であって、
前記仮想キーを、３次元空間上に定義された複数の階層のうち当該仮想キーの属する階層と、当該階層における仮想キーの位置と対応付けて記憶する対応記憶手段と、
前記仮想キーを操作する指示体を検出部で検出することにより、当該指示体の３次元空間上の位置を特定する位置特定手段と、
前記位置特定手段により特定された位置の指示体が仮想キーに接触しない状態で存在する前記階層の仮想キーを、前記指示体の前記階層間の移動に応じて移動先の階層の仮想キーに切り替えて、前記表示部に表示するキーである表示キーとして表示すべく制御する表示キー表示制御手段と、
前記指示体が、仮想キーに上から接触した後に当該仮想キーの底を突き抜けることなく当該仮想キーに反するように上方向に移動したか否かを、前記位置特定手段で特定された前記指示体の位置と前記対応記憶手段に記憶されている仮想キーの位置とに基づいて判定する判定手段と、
前記指示体が、接触している仮想キーの底を突き抜けて当該仮想キーの下の別の階層に移動した場合には当該接触していた仮想キーによる情報の入力を行わず、前記判定手段で、当該指示体が当該仮想キーに接触した後に当該仮想キーの底を突き抜けることなく当該仮想キーに反するように上方向に移動したと判定された場合には、当該仮想キーによる情報の入力を行うことを決定する決定手段と、
前記決定手段で入力を行うことが決定された情報を入力部に入力する制御をする入力手段と、
を備え、
前記表示キー表示制御手段は、前記指示体が、接触している仮想キーの底を突き抜けて当該仮想キーの下の階層に移動した場合には、移動先の当該下の階層の仮想キーを表示キーとして表示すべく制御することを特徴とする情報処理装置。

【請求項2】

前記対応記憶手段は、複数の仮想キーの属する階層を記憶し、
前記表示キー表示制御手段は、前記位置特定手段により特定された位置の前記指示体が前記仮想キーに接触しない状態で存在する前記階層の前記複数の仮想キーを、前記複数の仮想キーの中からユーザが指示体を接触させる仮想キーを選択可能にすべく、前記表示キーとして、前記指示体の前記階層間の移動に応じて切り替えて表示すべく制御することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記表示キー表示制御手段は、前記位置特定手段で特定された前記指示体の位置を識別可能に前記表示部に表示する制御を行うことを特徴とする請求項１又は２に記載の情報処理装置。

【請求項4】

前記表示キー表示制御手段は、前記指示体が接触した仮想キーを識別可能に、前記表示キーとして前記表示部に表示することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

前記指示体の面積と、当該面積の指示体がいずれの仮想キーに接触したか特定するための情報を記憶する情報記憶手段と、
前記指示体を撮像した画像から、前記指示体が前記仮想キーに接触したことを特定するために用いる、前記指示体の面の面積を特定する面積特定手段と、
前記面積特定手段で特定された前記面積の広さの情報と前記情報記憶手段に記憶されている情報を用いて、前記指示体が、いずれの仮想キーに接触したかを特定する、接触キー特定手段と、
を備えることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

表示部を備え、３次元空間上において位置及び厚みが定義された仮想キーによる情報入力を可能とし、前記仮想キーを、３次元空間上に定義された複数の階層のうち当該仮想キーの属する階層と、当該階層における仮想キーの位置と対応付けて記憶する対応記憶手段と、前記仮想キーを操作する指示体を検出部で検出することにより、当該指示体の３次元空間上の位置を特定する位置特定手段と、を備える情報処理装置の制御方法であって、
前記位置特定手段により特定された位置の指示体が仮想キーに接触しない状態で存在する前記階層の仮想キーを、前記指示体の前記階層間の移動に応じて移動先の階層の仮想キーに切り替えて、前記表示部に表示するキーである表示キーとして表示すべく制御する表示キー表示制御工程と、
前記指示体が、仮想キーに上から接触した後に当該仮想キーの底を突き抜けることなく当該仮想キーに反するように上方向に移動したか否かを、前記位置特定手段で特定された前記指示体の位置と前記対応記憶手段に記憶されている仮想キーの位置とに基づいて判定する判定工程と、
前記指示体が、接触している仮想キーの底を突き抜けて当該仮想キーの下の別の階層に移動した場合には当該接触していた仮想キーによる情報の入力を行わず、前記判定工程で、当該指示体が当該仮想キーに接触した後に当該仮想キーの底を突き抜けることなく当該仮想キーに反するように上方向に移動したと判定された場合には、当該仮想キーによる情報の入力を行うことを決定する決定工程と、
前記決定工程で入力を行うことが決定された情報を入力部に入力する制御をする入力工程と、
を含み、
前記表示キー表示制御工程は、前記指示体が、接触している仮想キーの底を突き抜けて当該仮想キーの下の階層に移動した場合には、移動先の当該下の階層の仮想キーを表示キーとして表示すべく制御することを特徴とする情報処理装置の制御方法。

【請求項7】

表示部を備え、３次元空間上において位置及び厚みが定義された仮想キーによる情報入力を可能とし、前記仮想キーを、３次元空間上に定義された複数の階層のうち当該仮想キーの属する階層と、当該階層における仮想キーの位置と対応付けて記憶する対応記憶手段と、前記仮想キーを操作する指示体を検出部で検出することにより、当該指示体の３次元空間上の位置を特定する位置特定手段と、を備える情報処理装置で実行が可能なプログラムであって、
前記情報処理装置を、
前記位置特定手段により特定された位置の指示体が仮想キーに接触しない状態で存在する前記階層の仮想キーを、前記指示体の前記階層間の移動に応じて移動先の階層の仮想キーに切り替えて、前記表示部に表示するキーである表示キーとして表示すべく制御する表示キー表示制御手段と、
前記指示体が、仮想キーに上から接触した後に当該仮想キーの底を突き抜けることなく当該仮想キーに反するように上方向に移動したか否かを、前記位置特定手段で特定された前記指示体の位置と前記対応記憶手段に記憶されている仮想キーの位置とに基づいて判定する判定手段と、
前記指示体が、接触している仮想キーの底を突き抜けて当該仮想キーの下の別の階層に移動した場合には当該接触していた仮想キーによる情報の入力を行わず、前記判定手段で、当該指示体が当該仮想キーに接触した後に当該仮想キーの底を突き抜けることなく当該仮想キーに反するように上方向に移動したと判定された場合には、当該仮想キーによる情報の入力を行うことを決定する決定手段と、
前記決定手段で入力を行うことが決定された情報を入力部に入力する制御をする入力手段として機能させ、
前記表示キー表示制御手段は、前記指示体が、接触している仮想キーの底を突き抜けて当該仮想キーの下の階層に移動した場合には、移動先の当該下の階層の仮想キーを表示キーとして表示すべく制御することを特徴とする情報処理装置のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、その制御方法及びプログラムに関する。

【背景技術】

【0002】

従来、携帯電話によるメール等の文字情報を入力する場合においては、主にテンキーをひらがな入力ボタンに置き換え、各ボタンを複数回押下することで文字選択を行う技術がある。本技術を用いた文字の入力、選択には、複数回の押下指示が必要となるため、キーボード等の入力に比べて時間がかかってしまうという問題があった。

【0003】

これに対し、携帯端末において、カメラで取得した指の画像を監視し、監視された指の画像に基づき文字入力や機能操作を行う技術が開示されている（例えば特許文献１）。特許文献１に記載の技術は、監視の結果、携帯端末に対して指が接近した場合に、表示画面上のカーソルが位置する文字を入力文字として確定するものである。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平９−１８５４５６号公報

【発明の開示】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に開示されている技術においては、複数種類のボタンを押下するためには、カーソルの移動操作と押下の指示を順番に繰り返さなければならない。

【0006】

また、キーボードが平面上に配置されているため、端末の画面の大きさによって、キーボードを全て表示しきれない場合がある。

【0007】

本発明は、仮想キーの属する階層間を指示体が移動することで接触した仮想キーによる情報入力を行わずに当該指示体の移動先の階層の仮想キーを確認させながら、仮想キーの底を突き抜けることなく仮想キーに反するように上方向に移動するという簡易な操作で仮想キーによる情報入力をさせることを可能とする仕組みを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の情報処理装置は、表示部を備え、表示部を備え、３次元空間上において位置及び厚みが定義された仮想キーによる情報入力を可能とする情報処理装置であって、前記仮想キーを、３次元空間上に定義された複数の階層のうち当該仮想キーの属する階層と、当該階層における仮想キーの位置と対応付けて記憶する対応記憶手段と、前記仮想キーを操作する指示体を検出部で検出することにより、当該指示体の３次元空間上の位置を特定する位置特定手段と、前記位置特定手段により特定された位置の指示体が仮想キーに接触しない状態で存在する前記階層の仮想キーを、前記指示体の前記階層間の移動に応じて移動先の階層の仮想キーに切り替えて、前記表示部に表示するキーである表示キーとして表示すべく制御する表示キー表示制御手段と、前記指示体が、仮想キーに上から接触した後に当該仮想キーの底を突き抜けることなく当該仮想キーに反するように上方向に移動したか否かを、前記位置特定手段で特定された前記指示体の位置と前記対応記憶手段に記憶されている仮想キーの位置とに基づいて判定する判定手段と、前記指示体が、接触している仮想キーの底を突き抜けて当該仮想キーの下の別の階層に移動した場合には当該接触していた仮想キーによる情報の入力を行わず、前記判定手段で、当該指示体が当該仮想キーに接触した後に当該仮想キーの底を突き抜けることなく当該仮想キーに反するように上方向に移動したと判定された場合には、当該仮想キーによる情報の入力を行うことを決定する決定手段と、前記決定手段で入力を行うことが決定された情報を入力部に入力する制御をする入力手段と、を備え、前記表示キー表示制御手段は、前記指示体が、接触している仮想キーの底を突き抜けて当該仮想キーの下の階層に移動した場合には、移動先の当該下の階層の仮想キーを表示キーとして表示すべく制御することを特徴とする。

【0009】

本発明によれば、仮想キーの属する階層間を指示体が移動することで接触した仮想キーによる情報入力を行わずに当該指示体の移動先の階層の仮想キーを確認させながら、仮想キーの底を突き抜けることなく仮想キーに反するように上方向に移動するという簡易な操作で仮想キーによる情報入力をさせることを可能とする仕組みを提供することができる。

【発明の効果】

【0010】

本発明によれば、指示体の移動に応じて、指示体の存在する階層の仮想キーを確認しながら、簡易な操作で仮想キーによる情報入力を可能とする仕組みを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態における、文字入力の様子の一例を示す図である。

【図2】本発明の実施形態における、情報処理装置のハードウェア構成図の構成の一例を示す図である。

【図3】本発明の実施形態における、情報処理装置の機能構成図の構成の一例を示す図である。

【図4】本発明の実施形態における、文字入力処理の概要を示すフローチャートである。

【図5】本発明の実施形態における、ひらがな漢字変換入力方式の場合の仮想キーボードの配置例を示す図である。

【図6】本発明の実施形態における、ローマ字入力方式の場合の仮想キーボードの配置例を示す図である。

【図7】本発明の実施形態における、文字変換キー含む仮想キーボードの配置例を示す図である。

【図8】本発明の実施形態における、仮想キーボードの平面上の配置及び入力指示対象のキーの特定方法の一例を示す図である。

【図9】本発明の実施形態における、仮想キーボードの側面の様子の一例を示す図である。

【図10】本発明の実施形態における、仮想キーボードとユーザの指の位置関係を示す図である。

【図11】本発明の実施形態における、ユーザの指の座標を特定するための点の特定方法の一例を示す図である。

【図12】本発明の実施形態における、仮想キーのＸ軸・Ｙ軸グループ座標の一例を示す図である。

【図13】本発明の実施形態における、Ｚ軸グループ座標の一例を示す図である。

【図14】本発明の実施形態における、指の位置判定の様子の一例を示す図である。

【図15】本発明の実施形態における、各仮想キーとユーザの指先に形成される三角形の面積の対応付けデータの構成の一例を示す図である。

【図16】本発明の実施形態における、指の大きさに応じた仮想キー設定データテーブルの構成の一例を示す図である。

【図17】本発明の実施形態における、仮想キーと面積値の対応の様子の一例を示す図である。

【図18】本発明の実施形態における、仮想キーボードの表示切替の様子の一例を示す図である。

【図19】本発明の実施形態における、入力文字確定時の表示画面の表示切替の様子の一例を示す図である。

【図20】本発明の文字入力システムの別筐体を用いた実施形態を示す図である。

【図21】本発明の文字入力システムの別筐体を用いた実施形態を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の実施形態の一例について説明する。まず図１を参照して、本発明の実施形態における、文字入力の様子について説明する。図１は、本発明の実施形態における、文字入力の様子の一例を示す図である。

【0013】

情報処理装置１００は、ディスプレイ１０１、撮像装置１０２を備えており、ディスプレイ１０１には、文字入力部１０３、キーボード１０５、カーソル１０６等を含む表示画面が表示される。

【0014】

キーボード１０５は、情報処理装置１００によって仮想空間上に配置された仮想キーボード１０４を、表示画面に、ユーザに識別可能に表示したものである。尚、ここでは、ディスプレイ１０１は、タッチパネルを兼ねるものとする。

【0015】

撮像装置１０２は、ユーザの指（指示媒体）を撮像、その位置、動きを検知する。文字入力部１０３は、情報処理装置１００のＣＰＵ２０１が、仮想キーボード１０４に対するユーザからの押下指示を受け付けることで文字入力（出力）される文字入力部である。ここでいう仮想キーボードとは、ソフトウェアキーボードのように表示画面上に表示されたキーボードではなく、実空間上に仮想的に形成、配置される、実体を持たないキーボードのことである。

【0016】

仮想キーボード１０４のいずれのキーが押下されたかの判断は、撮像装置１０２から取得される映像、空間上のユーザの指の位置から特定される。カーソル１０６は、撮像装置１０２により撮影されるユーザの指の動作状態を示すカーソルである。

【0017】

カーソル１０６は、表示画面上に表示され、ユーザの指の動きに応じて移動、動作する。ユーザは、表示画面上のキーボード１０５、カーソル１０６を見ることにより、仮想キーボードへの入力動作の状態を確認可能となっている。以上が図１の、本発明の実施形態における、文字入力の様子についての説明である。

【0018】

次に図２を参照して、本発明の実施形態における、情報処理装置のハードウェア構成図の構成の一例について説明する。図２は、本発明の実施形態における、情報処理装置のハードウェア構成図の構成の一例を示す図である。

【0019】

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

【0020】

また、ＲＯＭ２０３あるいは外部メモリ２１３には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、本発明の文字入力システムプログラム、各ＰＣの実行する機能を実現するために必要な各種プログラムが記憶されている。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

【0021】

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０２にロードして、プログラムを実行することで各種動作を実現するものである。

【0022】

また、入力コントローラ（入力Ｃ）２０５は、撮像装置２０９やタッチパネル２１０や不図示のマウス等のポインティングデバイスからの入力を制御する。

【0023】

ビデオコントローラ（ＶＣ）２０６は、ＣＲＴディスプレイ（ＣＲＴ）２１１等の表示器への表示を制御するとともに、音声再生制御と繋がっている。発明の主体が、スマートフォンのようなタブレット端末であることを前提としているが、他の機器へのコントローラとしての本システムを応用する場合は、どのような表示装置でも良く、本発明と直接関係があるものではない。

【0024】

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウェア、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク、或いはＰＣのカードスロットにアダプタを介して接続されるメモリカード等の外部メモリ２１３へのアクセス制御をする。

【0025】

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信が可能である。

【0026】

なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１１上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１１の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0027】

本発明を実現する為の後述するプログラムは、外部メモリ２１３に記憶されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブルも外部メモリ２１３に格納されており、これらについての詳細な説明も後述する。音声再生装置は、外部メモリ２１３に記憶された音声データを再生する装置である。以上が図２の、本発明の実施形態における、情報処理装置のハードウェア構成図の構成の一例についての説明である。

【0028】

次に図３を参照して、本発明の実施形態における、情報処理装置の機能構成図の構成の一例について説明する。図３は、本発明の実施形態における、情報処理装置の機能構成図の構成の一例を示す図である。

【0029】

図３に示す通り、情報処理装置１００は、データ送受信部３０１、撮像制御部３０２、映像解析部３０３、仮想キーボード制御部３０４、データ演算処理部３０５、画像表示部３０６等から構成されている。

【0030】

本発明の実施携帯における情報処理装置は、例えば、スマートデバイス等の携帯端末を想定しているが、当該情報処理装置の形態はこれに限るものではない。例えば、ＰＣ、デジタルカメラ（撮像装置）、家電製品のリモコン、車輛の操作スイッチなどであっても良い。

【0031】

データ送受信部３０１は、インターネット（ネットワーク９９９）に無線アクセスを行い、本発明における処理を実行するためのプログラムの取得を行う。当該プログラムが、本発明における情報処理装置内に記憶されている場合、当該データ送受信部３０１は、当該情報処理装置内から、前記プログラムの取得を行う。

【0032】

撮像制御部３０２は、撮像装置１０９により撮影する指の映像を取得すべく、撮像装置１０９を制御する制御部である。当該指の映像は、後述する、ユーザからいずれの文字の入力を指示されたかを特定する処理に用いられる。

【0033】

映像解析部３０３は、撮像制御部３０２で取得した画像を解析して、指位置の特定を行う。例えば、測光距離の情報を用いて、空間上の指の位置を特定する（指示媒体位置特定手段に該当）。

【0034】

仮想キーボード制御部３０４は、仮想キーを空間上に、情報処理装置１００に対して水平・垂直に配置する配置制御部である。尚、不図示のキーボード配置設定画面等の設定画面においてユーザからの指示を受け付けることにより、キーの間隔を水平・垂直に調整し、キーの反応する範囲を調整可能であるものとする。

【0035】

データ演算処理部３０５は、映像解析部３０３と仮想キーボード制御部３０４のデータを比較して、ユーザから入力指示を受け付けた文字を特定する処理部である。

【0036】

画像表示部３０６は、前記仮想キーボード制御部３０４で仮想空間上に配置したキーボードを表示し、また、前記データ演算処理部３０５でユーザから入力指示を受け付けた文字を、例えば、検索ボックスや文字入力欄等の対象エリアに出力して表示する表示部である。以上が図３の、本発明の実施形態における、情報処理装置の機能構成図の構成の一例についての説明である。

【0037】

次に図４を参照して、本発明の実施形態における、文字入力処理の概要について説明する。図４は、本発明の実施形態における、文字入力処理の概要を示すフローチャートである。以下、説明する処理は、情報処理装置１００のＣＰＵ２０１が、情報処理装置１００のＲＡＭ２０２をワークエリアとして、外部メモリ２１３に格納された本発明のプログラムを実行することにより実現される。

【0038】

情報処理装置１００のＣＰＵ２０１は、ユーザからの指示を受け付け、文字入力画面を起動、表示する（ステップＳ４０１、ステップＳ４０２）。つまり、入力を受け付けた文字の出力を行う領域（検索ボックス、文字入力欄等）と、撮像装置の起動、文字入力を受け付けるための前記仮想キーボードの仮想空間上への配置、および、当該仮想キーボードの表示画面への表示を実行する。

【0039】

ここでいうユーザからの指示とは、例えば、文字入力領域等のエリアに対して、ユーザからのタップ指示等のことである。文字入力画面の例については図１の説明にて前述したため、ここでは説明を割愛する。

【0040】

尚、表示画面の一部に、キーボード、かな漢字変換入力キー、アルファベット変換入力キー等を表示できるようにしてもよい。

【0041】

ここで図５〜図７を参照して、本発明の実施形態における仮想キーボードの配置の様子の一例について説明する。図５〜図７は、拡張現実手法による仮想キーボードの配置の様子を示す。

【0042】

当該仮想キーボードは、例えば、図１の仮想キーボード１０４のように、撮像装置の正面の空間上に、複数の層（階層）に分けて、仮想的に配置される、例えば文字入力を行うために用いられるキーボードである。層とは、例えば、図５における、「あ」音のかな入力キーの属する階層、「い」音のかな入力キーの属する階層、等の階層のことをいう。

【0043】

ここでは、当該仮想キーボードの座標（各仮想キーの座標）は、予め設定されているものとし、当該設定の内容（座標の情報）は、情報処理装置１００の外部メモリ２１３等の記憶領域に記憶されているものとする。

【0044】

また、仮想キー毎に、各仮想キーが押下された場合の指先の面積（後述する図８の三角形８０１、図１１の三角形１１０１）が対応付けて記憶されているものとする。当該対応付けの情報は、情報処理装置１００の外部メモリ２１３等の記憶領域に記憶されているものとする。

【0045】

尚、仮想キーボードの配置の座標は別途設定画面（不図示）より設定、変更可能であるものとする。当該仮想キーボードの配置の詳細、使用方法については、図８以下の説明にて後述する。

【0046】

図５は、本発明の実施形態における、ひらがな漢字変換入力方式の場合の仮想キーボードの配置例を示す図である。図６は、本発明の実施形態における、ローマ字入力方式の場合の仮想キーボードの配置例を示す図である。図７は、本発明の実施形態における、文字変換キー含む仮想キーボードの配置例を示す図である。

【0047】

入力文字キーに加え、選択した文字を漢字変換し決定するキーや文字種を変更する為のキーを空間上に仮想キーとして形成する。以上が図５〜図７の、拡張現実手法による仮想キーボードの配置の様子の一例についての説明である。

【0048】

図４の説明に戻る。情報処理装置１００のＣＰＵ２０１は、文字入力方式の切替指示を受け付けたか否かを判定する（ステップＳ４０３）。ここでいう文字入力方式とは、本発明の実施形態における仮想キーボード入力方式による入力方式、従来のスマートデバイスにおけるタッチパネル上のキーボード押下による文字入力方式、スマートデバイス本体に設置されたキーボード押下による文字入力方式等の入力方式のことである。

【0049】

尚、ここでは、ステップＳ４０１で文字入力画面を起動した段階での入力方式が、仮想キーボードによる文字入力方式であるものとする。よって、ステップＳ４０３では、仮想キーボードによる文字入力方式が、例えば、従来のスマートデバイスにおけるタッチパネル上のキーボード押下による文字入力方式や、スマートデバイス本体に設置されたキーボード押下による文字入力方式に変更されたか否かを判定するものとする。

【0050】

当該文字入力方式の変更処理は、例えば、ユーザからの文字入力欄に対する長押し（継続的な押下）を受け付けることで表示される、不図示の文字入力方式変更画面（ポップアップ画面等）等において、変更する文字入力方式の選択指示を受け付けることで実行されるものとする。

【0051】

文字入力方式の切替指示を受け付けたと判定した場合（ステップＳ４０３でＹＥＳ）、処理をステップＳ４０４に移行して、他の文字入力方式における文字入力を行わせるための画面へ、表示画面の表示を移行する。例えば、表示画面上から仮想キーボードの表示を消去し、従来の、タッチパネル操作に応じて文字入力を実行するためのキーボードを表示するよう、表示画面の表示を移行する。

【0052】

文字入力方式の切替指示を受け付けていないと判定した場合（ステップＳ４０３でＮＯ）、処理をステップＳ４０５に移行する。

【0053】

情報処理装置１００のＣＰＵ２０１は、ユーザの指の動作を撮影（連続撮影）する。つまり、仮想キーボード中のいずれのキー（仮想キー）が押下されるかを特定するために、仮想キーを押下すべく動作する、ユーザの指の撮影を行う。ここでいう連続撮影とは、例えば、動画撮影である（ステップＳ４０５）。

【0054】

情報処理装置１００のＣＰＵ２０１は、当該連続撮影によって得られた指の映像から、指の位置を特定する（ステップＳ４０６／指示媒体位置特定手段に該当）。例えば、当該動画（画像）中の指先の面積を特定し（面積特定手段に該当）、当該面積の大きさの情報と、当該動画（画像）中の指の位置から、実空間上の指の位置（座標）を特定する。尚、測光距離の情報を用いて当該指と撮像装置の間の距離を測定し、当該動画（画像）中の指の位置の情報と合わせて実空間上の指の位置を特定するようにしてもよい。

【0055】

ここで図８〜１０を参照し、本発明の実施形態における、仮想キーボードとユーザの指との位置関係について説明する。

【0056】

図８は、本発明の実施形態における、仮想キーボードの平面上の配置及び入力指示対象のキーの特定方法の一例を示す図である。

【0057】

仮想キーボードの平面上の座標はＸ軸、Ｙ軸で規定される。情報処理装置１００のＣＰＵ２０１は、撮像装置により撮影された映像から指を特定し、指の先端を頂点とし他の二つの頂点を

【0058】

指の輪郭に内接する正三角形（後述する三角形１１０１）を指の腹上に形成し、当該三角形上の点（例えば、三角形の中心点／点８０２・点１１０３）が、前記規定されたＸ軸、Ｙ軸上のいずれの座標に位置するかを判断し、当該指が、平面座標上において、いずれのキーを押下可能な状態にあるのかを判定する。

【0059】

例えば、撮影映像を解析し、数値化して空間上の指位置を計測するのであるが、この時の画像抽象化の手法の一例として、
この正三角形の面積比較により指の撮像装置からの距離計測に適用する。

【0060】

ここで、図１１を参照して、本発明の実施形態における、ユーザの指の座標を特定するための点の特定方法の一例について説明する。つまり、当該指の腹の上に形成される三角形、及び当該三角形上の点の例について説明する。図１１は、本発明の実施形態における、ユーザの指の座標を特定するための点の特定方法の一例を示す図である。

【0061】

三角形１１０１は、指１１０２の腹の輪郭上の三点を起点として形成される。当該起点は、ユーザの指上であれば、いずれの場所に規定してもよいものとする。点１１０３は、いずれのキーが押下されたかを判定するために用いられる、ユーザの指の位置（Ｘ，Ｙ軸上の座標）を特定するための点である。以上が図１１の、本発明の実施形態における、ユーザの指の座標を特定するための点の特定方法の一例についての説明である。

【0062】

図８の説明に戻る。例えば、図８に示すように、「な」のキーが、“Ｘ＝３、Ｙ＝６”、“Ｘ＝４、Ｙ＝６”、“Ｘ＝３、Ｙ＝５”、“Ｘ＝４、Ｙ＝５”の４点の示す領域の内側に設定されている場合には、情報処理装置１００のＣＰＵ２０１は、前述した三角形８０１（三角形１１０１）上の点８０２（点１１０３）が前述した４点の示す領域の内側にあると判定した場合であって、接触したキーから指を離す動作である反転動作（ユーザの指が撮像装置から離れる動作）を検知した場合に、「な」の入力を受け付けたものと特定する。また、「な」のキーの領域内に指が入ったものと判断された場合（つまり、前記三角形上の点が「な」の領域内に含まれると判断された場合）、表示画面上の文字入力部に、「な」の文字を表示するものとする。

【0063】

反転動作とは、例えば、ユーザの指が撮像装置から離れる動作を示す。つまり、例えば、撮像装置に指が近付いて、キーを押下した後、上方向に向けてキーから指を離す動作である。情報処理装置１００のＣＰＵ２０１は、当該反転動作を検知することにより、当該入力候補の文字を入力する文字として確定する。

【0064】

つまり、一般のキーボード押下受付、文字入力処理の場合と同じく、仮想キー押下後、ユーザの指が仮想キーから離れて、手前（接触した面と反対の方向）に引かれる動作を検知した場合、当該手前に引く動作の直前に入力候補の文字として特定されていた文字を、入力文字として特定し、出力するものである。ここでは、手前方向（上方向）に向けて、仮想キーから指を離す動作（仮想キーに対応する空間上の位置から指が移動する動作）を反転動作として説明したが、例えば、情報処理装置１００のＣＰＵ２０１が、横方向、下方向、斜め方向に指が移動する動作を検知した場合に、当該指の動作が反転動作であると判断するようにしてもよい。

【0065】

また、ユーザの指が、仮想キーに接触したまま一定時間が経過した場合、ユーザの指が接触しているキーに対応する文字を、前記接触を検知している間、連続して出力（文字入力のための領域に出力／表示）するようにしてもよい。ここでいう一定時間は予め設定されており、当該設定の情報は情報処理装置１００の外部メモリ２１３等の記憶領域に記憶されているものとする。以上が図８の説明である。

【0066】

図９は、本発明の実施形態における、仮想キーボードの側面の様子の一例を示す図である。情報処理装置１００の撮像装置２０９が撮像可能な範囲に、仮想キーボード（仮想キー群）を配置する。

【0067】

当該仮想キーボードを配置する空間上の位置、座標は、例えば、不図示の仮想キーボード座標設定画面にて、ユーザより仮想キーボードの座標設定の指示を受け付けることにより、自由に設定、変更可能であるものとする。当該仮想キーボードのＺ座標上の配置の詳細、及び、仮想キーボードとユーザの指の位置関係については、図１０を参照して後述する。以上が図９の、本発明の実施形態における、仮想キーボードの側面の様子の一例についての説明である。

【0068】

図１０は、本発明の実施形態における、仮想キーボードとユーザの指の位置関係を示す図である。図１０に示すように、仮想キーボード１００１は、Ｚ座標（Ｚ軸）上において、所定の間隔を開けて、複数の階層に分けて配置・設定される。

【0069】

いずれのキーが押下されたかの判断にあたり、情報処理装置１００のＣＰＵ２０１は、例えば、第１階層（変換キーの階層）と第２階層（「あ」音の階層）の間にあるホームポジション領域から、ユーザの指が撮像装置に接近したか否か、及び、どの程度接近したか、離れたかを特定する。つまり、指のＺ軸上の位置を、前述した指の腹上の三角形の面積の大きさから判断して、いずれのキーが押下されたかを判断する。

【0070】

ここでは、指の接近の度合い（指のＺ軸上の座標）について、撮像装置により取得された映像から特定される前述した三角形の面積の大きさの情報を用いて特定するものとする。

【0071】

尚、当該指の接近の度合いについては、撮像装置により取得された映像から特定される測光距離等から特定するようにしてもよいし、上記三角形の面積の大きさ及び測光距離の情報の両方を用いて特定するようにしてもよい。

【0072】

ホームポジション領域１００２は、ユーザの指がいずれのキーにも触れない領域である。例えば、不図示の仮想キーボード座標設定画面にて受け付けた指示に基づき、仮想キーボードの空間上に座標を規定、設定する際に、ユーザの指の位置（初期位置）を基準として当該設定を行うことが可能である。

【0073】

この際のユーザの指の位置、撮像装置からの距離（情報処理装置１００からの距離）は、撮像装置により取得された映像から特定される前記三角形の面積（大きさ）から特定するものとする。

【0074】

当該指の位置（Ｘ、Ｙ、Ｚ軸上の指の座標）に応じて、前記ホームポジション領域を設定する。指がいずれの座標に存在する場合に、前記ホームポジション領域をいずれの座標に設定するかは、仮想キーボードの配置の設定情報として、予め設定されているものとする。

【0075】

尚、ここでは、当該指の腹に仮想的に形成される三角形に中心点の平面座標（Ｘ，Ｙ軸上の座標）が仮想キーボードの中心（Ｘ、Ｙ軸上の中心の座標）であって、前記ホームポジション領域の中心（ホームポジション領域内のＸ、Ｙ、Ｚ軸上それぞれの中心点の位置）となるよう、ホームポジション領域の座標設定がされ、また、仮想キーボードの座標の設定がなされる。つまり、Ｘ、Ｙ軸上の初期位置が設定される。ここでは、前記ホームポジション領域と、各仮想キーの座標の関係（位置関係）は固定値として、予め設定されているものとする。

【0076】

つまり、撮像された指上の三角形中の点が存在するＺ軸上の位置が、第１階層に属するキーの底面のＺ軸上の位置と、第２階層に属するキーの上面のＺ軸上の位置と、の間の距離の中間点（中心点）に位置するように、前記仮想キーボードのＺ軸上の座標を設定するものとする。

【0077】

前記三角形上の点の位置する指のＺ軸上の座標（Ｚ軸上の初期位置）と、第１階層に属するキーの底面のＺ軸上の座標と、第２階層に属するキーの上面のＺ軸上の座標と、の距離は等しいものである。以上が図１０の、本発明の実施形態における、仮想キーボードとユーザの指の位置関係についての説明である。

【0078】

次に図１２を参照して、本発明の実施形態における、仮想キーのＸ軸・Ｙ軸グループ座標の一例について説明する。図１２は、本発明の実施形態における、仮想キーのＸ軸・Ｙ軸グループ座標の一例を示す図である。

【0079】

図１２に示すように、Ｘ軸・Ｙ軸グループ座標１２００は、各仮想キーのＸ軸座標１２０１、Ｙ軸座標１２０２、グループ１２０３等から構成されている。

【0080】

Ｘ軸座標１２０１、Ｙ軸座標１２０２は、それぞれ、各仮想キーのＸ軸Ｙ軸の座標を示す。グループ１２０３は、Ｘ軸座標１２０１、Ｙ軸座標１２０２の示すＸ軸、Ｙ軸上の座標において、いずれの仮想キーが配置、設定されるかを示すグループを規定している。

【0081】

つまり、例えば、Ｘ軸＝Ｘ３−Ｘ４、Ｙ軸＝Ｙ５−Ｙ６の座標には、Ｚ軸の座標に応じて、「な、に、ぬ、ね、の、下矢印」の仮想キーが配置されることを示している。以上が図１２の、本発明の実施形態における、仮想キーのＸ軸・Ｙ軸グループ座標の一例についての説明である。

【0082】

次に図１３を参照して、本発明の実施形態における、Ｚ軸グループ座標の一例について説明する。図１３は、本発明の実施形態における、Ｚ軸グループ座標の一例を示す図である。

【0083】

図１３に示すように、Ｚ軸グループ座標１３００は、階層１３０１、Ｚ軸座標１３０２、入力対象キー１３０３等から構成されている。Ｚ軸グループ座標１３００は、情報処理装置１００の外部メモ２１３等の記憶領域に記憶されているものとする（請求項中の記憶機能に該当）。

【0084】

階層１３０１は、各仮想キーのＺ軸グループが属する階層（図１０で示した各階層）を示す。Ｚ軸座標１３０２は、各Ｚ軸グループの仮想キーのＺ軸上の座標を示す。

【0085】

入力対象キー１３０３は、各Ｚ軸グループに属する仮想キーを示す。つまり、同一のＸ・Ｙ軸上の座標上に設定され、異なるＺ軸上座標に設定されている仮想キーのグループである。

【0086】

仮想キーの厚みは、Ｚ軸座標１３０２に設定されており、例えば指を上から下へ降ろしているわずかな時間でも、その仮想キーの厚みの空間を移動中は、その仮想キーを押下可能な状態として判定する。例えば、指のＸ・Ｙ軸上の位置が「あ」の仮想キー上にあり、指のＺ軸上の座標が（Ｚ軸座標１３０２における）Ｚ５〜Ｚ６の場合は、「あ」の仮想キーボードが押下中であるものと判定し、「あ」の仮想キーが拡大して表示画面に表示される。

【0087】

指のＺ軸上の座標が（Ｚ軸座標１３０２における）Ｚ６より撮像装置に近く、且つより撮像装置から遠い位置の場合は、「い」行の仮想キーボードを表示画面に表示する。以上が図１３の、本発明の実施形態における、Ｚ軸グループ座標の一例についての説明である。

【0088】

次に図１４を参照して、本発明の実施形態における、指の位置判定の様子について説明する。図１４は、本発明の実施形態における、指の位置判定の様子の一例を示す図である。

【0089】

図１４に示すように、撮像装置２０９との距離がＬ１の場合に、三角形の面積は、面積Ｓ１であり、撮像装置２０９との距離がＬ２の場合に、三角形の面積は、面積Ｓ２であるものとする。ここでは、Ｓ１＝前述した仮想キーボードの座標設定時に計測した初期位置における三角形の面積であるものとする。

【0090】

尚、情報処理装置１００の外部記憶メモリ２１３には、前述した三角形の面積がどの程度の面積である場合に、いずれの仮想キーが押下可能な状態にあるか（つまり、ユーザの指上の点がいずれの座標に位置しているか、表示画面にいずれの階層の仮想キー群を表示するか、また、図１のカーソル１０６を表示画面上のいずれの位置に表示するか）の判断基準となる情報である、各仮想キーと前記三角形の面積の対応付けデータが記憶されているものとする（図１５参照）。

【0091】

また、前記ホームポジションの設定時（仮想キーボードの座標設定時）に取得した、初期位置におけるユーザの指の大きさ（算定計測による前記三角形の面積）に応じた、仮想キーの設定を行うためのデータテーブルが情報処理装置１００の外部記憶メモリ２１３に記憶されているものとする。

【0092】

ここで図１６を参照して、本発明の実施形態における、指の大きさに応じた仮想キー設定データテーブルの構成の一例について説明する。図１６は、本発明の実施形態における、指の大きさに応じた仮想キー設定データテーブルの構成の一例を示す図である。

【0093】

図１６に示す仮想キー設定データテーブル１６００の例においては、仮想キーＩＤ１６０１、ユーザの指の大きさに応じたキーの大きさ（キーのＸ軸長１６０２、キーのＹ軸長１６０３、）、厚み（キーのＺ軸長１６０４）等が設定、記録されている。

【0094】

情報処理装置１００のＣＰＵ２０１がホームポジション設定時に取得した、ユーザの指先の三角形の面積が、いずれの面積１６０５に近いかを判定し、三角形の面積に最も近い大きさの面積１６０５に対応する仮想キーを、空間上に配置するものとする。

【0095】

例えば、指の腹上に疑似的に設定される三角形の面積が１５０であった場合、当該１５０に最も近い面積の値を持つ、仮想キーＩＤ１６０１＝ＫＭを有する仮想キーボードを空間上に配置するものとする。以上が図１６の、本発明の実施形態における、指の大きさに応じた仮想キー設定データテーブルの構成の一例についての説明である。

【0096】

図１５は、本発明の実施形態における、各仮想キーとユーザの指先に形成される三角形の面積の対応付けデータの構成の一例を示す図である。当該対応付けデータは、情報処理装置１００の外部メモリ２１３等の記憶領域に記憶されている。

【0097】

当該対応付けデータ１５００は、５０音仮想キー１５０１のそれぞれについて、ホームポジション設定時（初期位置決定時）に撮像装置により取得、特定されたユーザの指先の三角形の面積に基づいて算出された面積値１５０２がそれぞれ設定される。

【0098】

当該算出処理は、撮像装置の位置と、前記撮像装置からの各仮想キー及び前記初期位置の距離と、前記初期位置に対応する前記三角形の面積と、の情報に基づいて、既存の技術を用いて算出されるものとする。尚、前記撮像装置からの各仮想キー及び前記初期位置の距離については、撮像装置からの測光距離の情報を用いるものとする。以上が図１５の、本発明の実施形態における、各仮想キーとユーザの指先に形成される三角形の面積の対応付けデータの構成の一例についての説明である。

【0099】

図１７は、本発明の実施形態における、仮想キーと面積値の対応の様子の一例を示す図である。ここでは、図１５の対応付けデータ１５００によって設定されている、「あ」行の各仮想キーと、指先の三角形の面積との対応の様子を示している。

【0100】

記号アは、あ。イは、い。ウは、う。エは、え。オは、お。画像が「あ」から「お」に変わるに従い、指の中で内接する正三角形の面積が大きくなっている。また、正三角形の中心点の移動がある。

【0101】

本実施形態の説明においては、図１５に示すように、各仮想キーと面積値の対応付けデータを記憶し、当該対応付けデータを用いて、いずれのキーが押下されたかを判定するものであるが、例えば、図１７に示すように、格仮想キーと、指の画像情報とを対応付けて記憶し、いずれのキーが押下されたかを判定するようにしてもよい。

【0102】

情報処理装置１００のＣＰＵ２０１は、例えば、指の空間上の座標Ｘ，Ｙが、「あ」行の仮想キー上（図１２に示すＸ１−Ｘ２、且つ、Ｙ７−Ｙ８）に位置しており、図１４に示す前記面積Ｓ１（撮像装置から取得した指の大きさ）が「あ」の仮想キーと対応付けて記憶されている三角形の面積（図１５に示す適合面積＝１６５）より小さい（または以下の）場合、「あ」の仮想キーと同一の階層に属する仮想キーボード（キー群／図１３に示す階層Ｈ３の各仮想キー）を表示し、また、カーソル１０６を「あ」の仮想キー上に表示する。

【0103】

また、指の空間上の座標Ｘ，Ｙが、「あ」行の仮想キー上（図１２に示すＸ１−Ｘ２、且つ、Ｙ７−Ｙ８）に位置しており、図１４に示す前記面積Ｓ２が「あ」の仮想キーと対応付けて記憶されている三角形の面積（図１５に示す適合面積＝１６５）より大きく（または以上であり）、「い」の仮想キーと対応付けて記憶されている三角形の面積（図１５に示す適合面積＝１７０）より小さい場合に（または以下である場合に）、「い」の仮想キーと同一の階層に属する仮想キーボード（キー群／図１３に示す階層Ｈ４の各仮想キー）を表示し、また、カーソル１０６を「い」の仮想キー上に表示する。

【0104】

つまり、情報処理装置１００のＣＰＵ２０１は、ユーザの指のＸ，Ｙ、Ｚ軸上の位置の情報に応じて、表示画面に表示する仮想キーボードの表示を切り替える。

【0105】

ここで図１８を参照して、本発明の実施形態における、仮想キーボードの表示切替の様子について説明する。図１８は、本発明の実施形態における、仮想キーボードの表示切替の様子の一例を示す図である。
文字入力領域１８０１は、入力が確定した文字が入力、表示される領域である。入力が確定した場合の表示画面の表示の切り替えの様子については、図１９の説明にて後述する。

【0106】

キーボード表示部１８０２（キーボード表示部１８０６）は、ユーザの指１８０４の動作に応じて（撮像装置から取得した指画像より取得した指先の面積の大きさ、撮像装置から指までの距離に応じて）仮想キーボードの様子を表示し、また、当該表示を切り替える表示部である。

【0107】

カーソル１８０３は、仮想キーボードに対するユーザの指の位置を示すカーソルである。ユーザの指が仮想キーに接触したことが検知された場合、拡大表示キー１８０５に示すように、指が接触した仮想キーが拡大表示される（入力キー識別表示手段に該当）。

【0108】

例えば、ユーザの指が第１階層の上（ホームポジション）にある場合、キーボード表示部１８０２に示すように、表示画面に、かな漢字変換ボタン等のキーが表示される。

【0109】

また、ユーザの指が、第１階層と第２階層の間にある場合、表示画面には、あ音のキー（あ、か、さ、た、な、は、ま、や、ら、わ）が表示される。ユーザの指が、第２階層と第３階層の間にある場合、表示画面には、い音のキーが表示される。

【0110】

ユーザの指が、第３階層と第４階層の間にある場合、キーボード表示部１８０６に示すように、表示画面には、う音のキーが表示される。

【0111】

ユーザの指が、第４階層と第５階層の間にある場合、表示画面には、え音のキーが表示される。ユーザの指が、第５階層と第６階層間にある場合、表示画面には、お音のキーが表示される。ユーザの指が、第６階層より下にある場合、表示画面には、キーが表示されない。

【0112】

また、撮像装置から取得した指の座標位置が「た」行の仮想キー上（図１２に示すＸ１−Ｘ２、且つ、Ｙ５−Ｙ６）に位置しており、撮像装置から取得した指先の三角形の面積が図１５の適合面積＝１７５に一致する場合に、「う」の仮想キーの表示画面上の表示を、拡大表示キー１８０５に示すように、他の仮想キーより拡大し、ユーザの指が仮想キーボードの「う」の仮想キーに接触していることを、ユーザに認識可能にする。以上が図１８の、本発明の実施形態における、仮想キーボードの表示切替の様子についての説明である。

【0113】

次に図１９を参照して、本発明の実施形態における、入力文字確定時の表示画面の表示切替の様子について説明する。図１９は、本発明の実施形態における、入力文字確定時の表示画面の表示切替の様子の一例を示す図である。図１９の構成については、図１８で説明したものとほとんど同様のため、ここでは説明を割愛する。
図１９に示すように、ユーザの指が仮想キーに接触し、拡大表示キー１９０２が表示されている状態では、まだ入力される文字（入力文字）が未確定（未決定）であり、文字入力領域１９０１に入力文字は表示されない。
情報処理装置１００のＣＰＵ２０１は、ユーザの指が、接触していた仮想キーから上方に向けて（より浅い階層に向けて／例えば第４階層から第３階層に向けて）離れたことを検知した場合、つまり、反転動作を検知知った場合に、入力文字を確定する。そして、拡大表示キーの表示をキー１９０３に示すように通常表示に戻し、文字入力領域１９０４に示すように、入力文字を文字入力領域に入力、表示する。以上が図１９の、本発明の実施形態における、入力文字確定時の表示画面の表示切替の様子についての説明である。

【0114】

図１４の説明に戻る。尚、ここでは、“撮像装置から取得した指先の三角形の面積が１７５に一致する場合に”としているが、各仮想キーには厚み（図１６に示すキーのＺ軸長１６０４）が設定されているため、ユーザの指が、当該仮想キーの厚みによって特定される空間を通過している間（当該仮想キーの底面に触れるまでの間）は、当該仮想キーを他の仮想キーに比べて拡大して表示するようにしてもよい。以上が図１４の、本発明の実施形態における、指の位置判定の様子についての説明である。

【0115】

図４の説明に戻る。情報処理装置１００のＣＰＵ２０１は、撮像装置から取得した前記三角形の面積の情報、及び、三角形上の点情報を用いて、表示画面に表示すべき仮想キーボードを表示する（ステップＳ４０７）。

【0116】

そして、仮想キーと指の接触を検知する（ステップＳ４０８）。つまり、前記三角形上の点が存在するＸ／Ｙ・Ｚ軸上の位置と、前記三角形の面積と前記仮想キーと対応付けて記憶されている三角形の面積の位置と、の情報を以て、ユーザの指が接触した仮想キー、及び、その接触を検知する（接触キー判断手段／仮想キー特定手段に該当）。この際、接触した仮想キーを拡大表示して、いずれの仮想キーを押下している状態かをユーザに認識可能にする（ステップＳ４０９／図１８、図１９の説明で後述）。

【0117】

情報処理装置１００のＣＰＵ２０１は、当該接触検知後、所定の時間内に反転動作を検知したかを（仮想キーから指を離す動作を検知したかを）判定し（ステップＳ４１０／検知手段に該当）、所定時間内に反転動作を検知していないと判定した場合（ステップＳ４１０でＮＯ）、処理をステップＳ４０５に戻す。ここでいう所定時間は、情報処理装置１００の外部メモリ２１３等の記憶領域に予め設定、記憶されているものとする。

【0118】

所定時間内に反転動作を検知したと判定した場合（ステップＳ４１０でＹＥＳ／検知手段に該当）、当該反転動作を検知する前に接触を検知した仮想キーの文字（仮想キーに対応する情報）を、入力文字として確定して（ステップＳ４１１／入力情報決定手段に該当）、入力変換の候補を表示画面に表示し、入力変換操作（変換候補の選択操作指示）を受け付ける（ステップＳ４１２）。

【0119】

情報処理装置１００のＣＰＵ２０１は、文字入力の終了指示を受け付けたか否かを判定し（ステップＳ４１３）、文字入力の終了指示を受け付けていないと判定した場合（ステップＳ４１３でＮＯ）、処理をステップＳ４０５に戻し、文字入力の終了指示を受け付けたと判定した場合（ステップＳ４１３でＹＥＳ）、文字入力処理を終了する。

【0120】

文字入力の終了指示とは、例えば、検索ボックスへの検索文字列の入力操作を受け付けていた場合、検索ボタンの押下指示や、検索処理の終了指示である。また、文書作成ソフトウェアにおける文字の入力操作を受け付けていた場合、当該ソフトウェアの終了等の操作指示のことであるものとする。以上が図４の、本発明の実施形態における、文字入力処理の概要についての説明である。

【0121】

以下、本発明の実施形態における文字入力方法を用いて文字入力をした場合の文字入力回数と、携帯電話端末におけるテンキー、スマートデバイス等のディスプレイに表示される小型キーボード、を用いて文字入力した場合の文字入力回数と、を比較する（漢字変換をしないで、ひらがな文字入力のみ計数する）。

【0122】

全ての入力方式において、「時下ますますご清栄のこととお慶び申し上げます。」のひらがな入力である、「じかますますごせいえいのこととおよろこびもうしあげます。」の一文を入力するものとする。

【0123】

携帯電話端末におけるテンキーひらがな文字入力の場合、同じキーの押下を複数回受け付けることで、入力文字が変更される。例えば、「あ」のキーが２回押下されることにより「い」が入力され、３回押下されることにより「う」が入力される。以下、例えば、「い」の文字入力のために押下されたキーと押下された回数を「あい」と表現し、「う」の文字入力のために押下されたキーと押下された回数を「あいう」と表現する。「あい」の場合、押下されたキーの種類は「あい」の先頭の文字である「あ」のキーであり、情報処理装置１００が当該キーの押下を受け付けた回数は２回である。「あいう」の場合、押下されたキーの種類は「あいう」の先頭の文字である「あ」のキーであり、情報処理装置１００が当該キーの押下を受け付けた回数は３回であるものとする。

【0124】

例えば、「ますます」と入力された場合、「ま、さしす、ま、さしす」とキーの押下を受け付けたものとする。この場合のキーの押下受付回数は８回である。また、例えば「お」の文字入力を受け付ける場合、「あ」のキーの押下後に別キーの押下を受け付けることで、入力する文字の変更順を逆送りにし、「あいうえお」ではなく、「あお」と入力することが出来るものとする。

【0125】

携帯端末において、「じかますますごせいえいのこととおよろこびもうしあげます。」を入力するためには、「さし、゛、か、ま、さしす、ま、さしす、かこ、゛、さそせ、あい、あおえ、⇒、あい、なの、かこ、たと、⇒、たと、あお、やよ、らろ、かこ、はひ、゛、まも、あいう、さし、あ、かこけ、゛、ま、さしす、わ。」というキーの押下受付処理が必要であり、キーの押下受付回数は６４回となる。

【0126】

また、スマートフォンのディスプレイにＰＣと同様の小型のキーボード（ローマ字入力）を表示してキーの押下を受け付ける場合、「ＪＩ、ＫＡ、ＭＡ、ＳＵ、ＭＡ、ＳＵ、ＧＯ、ＳＥ、Ｉ、Ｅ、Ｉ、ＮＯ、ＫＯ、ＴＯ、ＴＯ、Ｏ、ＹＯ、ＲＯ、ＫＯ、ＢＩ、ＭＯ、Ｕ、ＳＨＩ、Ａ、ＧＥ、ＭＡ、ＳＵ、。」というキーの押下受付処理が必要であり、キーの押下受付回数は５０回となる。

【0127】

また、スマートフォンのフリック入力（ひらがな漢字変換）でキーの押下、フリックを操作受け付ける場合（ここでは１回のフリックを１回の押下受付処理としてカウントする）、「さし、゛、か、ま、さす、ま、さす、かこ、゛、させ、あい、⇒、あえ、⇒、あい、なの、かこ、たと、⇒、たと、あお、やよ、らろ、かこ、はひ、゛、まも、あう、さし、あ、かけ、゛、ま、さす、ー。」というキーの押下受付処理が必要であり、キーの押下受付回数は５８回となる。

【0128】

本発明の実施形態における、仮想キーボードを用いた文字入力方法を利用した場合、「し、゛、か、ま、す、ま、す、こ、゛、せ、い、え、い、の、こ、と、と、お、よ、ろ、こ、ひ、゛、も、う、し、あ、け、゛、ま、す、。」というキーの押下受付処理が必要であり、キーの押下受付回数は３２回であって、他の入力方式を用いた場合によりも少ない押下受付回数で文章を完成させることが出来る。

【0129】

以上説明したように、本発明によれば、簡易な操作での情報入力の補助を可能とする情報処理装置、制御方法及びそのプログラムを提供することができる。

【0130】

また、キー配置のための平面上の面積を縮小し、ユーザに何度も文字入力キーの押下をさせることのない文字入力を可能とするものである。

【0131】

以下、図２０、図２１を参照して、本発明の文字入力システムの別筐体を用いた実施形態について説明する。

【0132】

図２０では、ケーブル２００３でＰＣに繋げることが可能なポインティングデバイス２００１に撮像装置２００２を取り付けた場合の実施例を示している。当該撮像装置上の空間に、前述した本発明の実施形態に準じて、前記仮想キーボードを配置し、ユーザからの仮想キーの押下指示を受け付けた場合に、入力を受け付けた文字をＰＣの表示画面上に表示する。

【0133】

この場合、例えば、ＰＣに搭載されたＣＰＵが、ポインティングデバイス２００１上に設置された撮像装置２００２から映像を取得し、解析して、押下を受け付けたキーを特定し、入力する文字を特定して、不図示のＰＣの表示画面上に表示するものとする。

【0134】

つまり、図４に示すステップＳ４０１〜Ｓ４１３の処理の内、ステップＳ４０５の撮像処理をポインティングデバイス上に設置された撮像装置を用いて、ＰＣのＣＰＵが行い、その他の処理を、ＰＣのＣＰＵがＰＣに搭載されたソフトウェア、及びハードウェアを用いて処理するものである。

【0135】

これにより、実態としてのキーボードが不要となり、ポインティングデバイス２００１から手をキーボード上に移動させることなく文字入力を可能にすることが出来る。以上が図２０の、本発明の文字入力システムの別筐体を用いた実施形態についての説明である。

【0136】

図２１では、例えば主に親指の動作を撮影するために薬指に装着された、撮像装置２１０２の搭載された指輪型装置２１０１を用いて、本発明を実施する例について示している。

【0137】

例えば、撮像装置の搭載されていない表示画面の表示機能を有する携帯端末と当該指輪型装置２１０１とを通信接続し、上述したような既存のキーボードを用いずに文字入力を実現させるものである。この場合、例えば、携帯端末に搭載されたＣＰＵが、指輪型装置２１０１に設置された撮像装置２１０２からユーザの指の映像を取得し、解析して、押下を受け付けたキーを特定し、入力する文字を特定して、表示画面上に表示するものとする。

【0138】

つまり、図４に示すステップＳ４０１〜Ｓ４１３の処理の内、ステップＳ４０５の撮像処理を指輪型装置２１０１上に設置された撮像装置２１０２を用いて、携帯端末のＣＰＵが行い、その他の処理を、携帯端末のＣＰＵが携帯端末に搭載されたソフトウェア、及びハードウェアを用いて処理するものである。以上が図２１の、本発明の文字入力システムの別筐体を用いた実施形態についての説明である。

【0139】

以上、当該撮像装置と、表示機能を有する装置が別筐体である場合の実施例について簡単に説明した。

【0140】

尚、本発明の実施例においては、入力される文字が確定した場合に、表示画面上の文字入力領域に、入力が確定した文字を表示するものとしたが、例えば、入力が確定した文字に対応する音声を、情報処理装置１００に搭載される不図示の音声再生装置から発声させるようにしてもよい。こうすることで、表示画面を有さない情報処理装置においても、本発明を用いて入力される文字をユーザに認識させることが出来る。

【0141】

これにより、視覚しょうがい者の方等、表示画面に表示された文字を視認することが難しいユーザに対しても、入力された文字を認識させることを可能とすることが出来る。

【0142】

以上説明したように、本発明によれば、簡易な操作での情報入力の補助を可能とする情報処理装置、制御方法及びそのプログラムを提供することができる。

【0143】

尚、上述した実施形態においては、ユーザの指先の面積の情報を用いて、当該指の空間上の位置を特定したが、例えば、物体の位置を検知するためのセンサ等を情報処理装置１００に搭載し、当該センサの機能を用いて前記指の空間上の位置を特定するようにしてもよい。

【0144】

また、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

【0145】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

【0146】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。

【0147】

また、各装置が読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0148】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0149】

また、本発明は、例えば上述したように、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0150】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0151】

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【0152】

また上記のソフトウェアで実現する各処理を、ファームウェアやハードウェア構成にして、各処理を各手段として実現することも可能であり、本発明の技術的範囲はこのようなファームウェアやハードウェア構成による実現も含むものである。

【符号の説明】

【0153】

１００ 情報処理装置
１０１ ディスプレイ
１０２ 撮像装置
１０３ 文字入力部
１０４ 仮想キーボード
１０５ キーボード
１０６ カーソル
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信／ＩＦコントローラ
２０９ 撮像装置
２１０ タッチパネル
２１１ ＣＲＴ
２１２ 音声再生装置
２１３ 外部メモリ
９９９ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】