特許 6226472 入力支援装置、入力支援システムおよびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6226472

(24)【登録日】2017年10月20日

(45)【発行日】2017年11月8日

(54)【発明の名称】入力支援装置、入力支援システムおよびプログラム

(51)【国際特許分類】

   G06F 3/041 20060101AFI20171030BHJP

   G06F 3/0488 20130101ALI20171030BHJP

   H03M 11/04 20060101ALI20171030BHJP

   G06F 3/023 20060101ALI20171030BHJP

【ＦＩ】

   G06F3/041 530

   G06F3/041 595

   G06F3/0488 130

   G06F3/0488 160

   G06F3/023 310L

【請求項の数】7

【全頁数】12

(21)【出願番号】特願2014-26708(P2014-26708)

(22)【出願日】2014年2月14日

(65)【公開番号】特開2015-153174(P2015-153174A)

(43)【公開日】2015年8月24日

【審査請求日】2016年7月29日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100114258

【弁理士】

【氏名又は名称】福地 武雄

(74)【代理人】

【識別番号】100125391

【弁理士】

【氏名又は名称】白川 洋一

(72)【発明者】

【氏名】萩谷 俊幸

(72)【発明者】

【氏名】堀内 俊治

【審査官】 松田 岳士

(56)【参考文献】

【文献】 特開２０１２−２１６１２７（ＪＰ，Ａ）

【文献】 特開２０１３−２１１７０３（ＪＰ，Ａ）

【文献】 特開２０１２−２４８１５３（ＪＰ，Ａ）

【文献】 特開２０１１−１５０４８９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０２３

Ｇ０６Ｆ ３／０４１

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｈ０３Ｍ １１／０４

(57)【特許請求の範囲】

【請求項1】

タッチパネルディスプレイを介したユーザの入力操作を支援する入力支援装置であって、
タッチパネルディスプレイに対するユーザの操作種別を認識する入力部と、
前記タッチパネルディスプレイに表示されるオブジェクト毎に、生起する確率分布が定義されたタッチモデルを用い、前記操作種別および前記操作種別に対応するユーザのスキルを示すスキル情報に応じて、前記確率分布を変更することによって、前記タッチパネルディスプレイに対するユーザの操作を認識する認識精度を変更する制御部と、を備え、
前記変更後の認識精度に基づいて、ユーザの操作を認識することを特徴とする入力支援装置。

【請求項2】

前記タッチパネルディスプレイに対するユーザの操作種別毎に予め付与されたスキル情報を格納するスキル情報格納部を更に備え、
前記制御部は、前記操作種別に対応するスキル情報を取得し、前記取得したスキル情報に基づいて、前記認識精度を変更することを特徴とする請求項１記載の入力支援装置。

【請求項3】

前記タッチパネルディスプレイに対するユーザの操作種別に対応するユーザのスキルを判別し、判別したスキルを示すスキル情報を出力するスキル判別部を更に備え、
前記制御部は、前記出力されたスキル情報に基づいて、前記認識精度を変更することを特徴とする請求項１記載の入力支援装置。

【請求項4】

前記オブジェクトは、前記タッチパネルディスプレイに表示されるソフトウェアキーボードのいずれかのキーであって、
キー毎に前記タッチモデルを格納するタッチモデル格納部と、
文字列の連続性の確率値を有する言語モデルを格納する言語モデル格納部と、
前記タッチパネルディスプレイに対するユーザの入力座標、前記タッチモデル、前記言語モデル、および前記スキル情報に基づいて、文字の生起確率を算出する確率演算部と、
前記算出された生起確率に応じて、前記タッチパネルディスプレイに候補文字を表示する表示部と、を備えることを特徴とする請求項１記載の入力支援装置。

【請求項5】

前記スキル情報格納部は、少なくとも一つのアプリケーションに対するユーザの操作から認識されるスキルを示すスキル情報を格納することを特徴とする請求項２記載の入力支援装置。

【請求項6】

タッチパネルディスプレイを有する端末装置におけるユーザの入力操作を支援する入力支援システムであって、
前記タッチパネルディスプレイに対するユーザの操作種別を認識する入力部と、
前記タッチパネルディスプレイに表示されるオブジェクト毎に、生起する確率分布が定義されたタッチモデルを用い、前記操作種別および前記操作種別に対応するユーザのスキルを示すスキル情報に応じて、前記確率分布を変更することによって、前記タッチパネルディスプレイに対するユーザの操作を認識する認識精度を変更する制御部と、を備え、
前記変更後の認識精度に基づいて、前記タッチパネルディスプレイにおけるユーザの操作を認識することを特徴とする入力支援システム。

【請求項7】

タッチパネルディスプレイを介したユーザの入力操作を支援するプログラムであって、
タッチパネルディスプレイに対するユーザの操作種別を認識する処理と、
前記タッチパネルディスプレイに表示されるオブジェクト毎に、生起する確率分布が定義されたタッチモデルを用い、前記操作種別および前記操作種別に対応するユーザのスキルを示すスキル情報に応じて、前記確率分布を変更することによって、前記タッチパネルディスプレイに対するユーザの操作を認識する認識精度を変更する処理と、
前記変更後の認識精度に基づいて、ユーザの操作を認識する処理と、の一連の処理を、コンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、タッチパネルディスプレイを介したユーザの入力操作を支援する技術に関する。

【背景技術】

【0002】

従来から、携帯電話機やＰＤＡ（Personal Digital Assistants）などのタッチパネルで操作を行なう装置では、文字入力は、ソフトウェアキーボードで行なわれる。文字入力では、確定的な正しい入力文字について、前方一致、部分一致により、その仮名漢字文の提示や、それに続く文字を補った形で提示を行なう装置もある。

【0003】

一方、タッチパネル操作である場合、ユーザがソフトウェアキーボード上のあるボタンを押したはずであるのに、異なるボタンが反応してしまうことがある。このため、以下のように、ユーザが打ち間違えた文字に対して、確率やスコアに基づいて入力を訂正し、提示する装置が知られている。

【0004】

例えば、特許文献１〜３には、タッチパネルでのユーザの入力座標と、ソフトウェアキーボード上の各文字に対応するボタンの位置関係から、ユーザが入力した単語の優先度を推定するという装置が開示されている。

【0005】

特許文献１に開示されている技術は、タッチパネルでのユーザの入力座標と、タッチパネル上のボタンの座標と、そのボタンに割り当てられた重み係数から、ユーザの入力座標を補正する。ソフトウェアキーボードでの文字入力の例では、入力途中の文字列に対して辞書に登録されている単語の前方一致検索を行ない、入力途中の文字列に続く文字の有無で重み係数を変化する例が挙げられている。例えば入力途中の文字が“go”であった場合、辞書の単語に“god”や“goal”があるため、“d”や“a”に対応するボタンの重みが大きくなる。ボタンに近い方向にユーザの入力座標が補正され、結果としてそのボタンが反応しやすくなる。一方 “go”の後に続く単語が無い場合重みが小さくなり、そのボタンは反応しにくくなる。

【0006】

特許文献２に開示されている技術は、入力座標と各文字に対応するボタンの領域の位置関係から、押された候補となる文字を抽出し、得点を付与する。次に、連続する座標入力に伴い抽出される各文字群から１文字ずつ取り出して文字列を全ての組み合わせについて作成し、その文字列の中から単語となり得るものを抽出する。最後に、その単語を構成する各文字の得点と、単語の使用頻度から算出された得点から各単語の優先度を算出し、その優先度順に提示するというものである。

【0007】

特許文献３に開示されている技術は、文字毎にタッチ座標の確率密度関数から算出される確率と、“n-gram”を用いた言語モデルによる言語確率の積により、入力開始から何文字目であるかに応じた文字毎の生起確率値を求め、生起確率の高い順に候補単語を提示する。この方法により、タッチ入力に誤りがあっても、候補単語の中にユーザ所望の単語を表示することが可能となる。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特表２０１０−５０３１２５号

【特許文献2】特開２００６−００５６５５号

【特許文献3】特開２０１２−２４８１５３号

【発明の概要】

【発明が解決しようとする課題】

【0009】

特許文献１記載の装置は、ユーザの入力座標を補正するものであり、特許文献２および３記載の装置は、入力座標や言語モデルを用いて、ユーザ所望の単語候補を複数予測し表示するものであり、ユーザの入力履歴などが反映される。

【0010】

しかしながら、これらの従来技術では、ユーザがアプリケーションを使用する時の傾向や癖、使用者のスキルの差異によって、誤り傾向が異なることが考慮されておらず、必ずしもユーザビリティが高いとは言えなかった。

【0011】

本発明は、このような事情に鑑みてなされたものであり、ユーザのスキルに応じて入力を支援することによって、入力をし易くすることができる入力支援装置、入力支援システムおよびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の入力支援装置は、タッチパネルディスプレイを介したユーザの入力操作を支援する入力支援装置であって、タッチパネルディスプレイに対するユーザの操作種別を認識する入力部と、前記操作種別および前記操作種別に対応するユーザのスキルを示すスキル情報に基づいて、前記タッチパネルディスプレイに対するユーザの操作を認識する認識精度を変更する制御部と、を備え、前記変更後の認識精度に基づいて、ユーザの操作を認識することを特徴とする。

【0013】

このように、タッチパネルディスプレイに対するユーザの操作種別を認識し、操作種別および操作種別に対応するユーザのスキルを示すスキル情報に基づいて、タッチパネルディスプレイに対するユーザの操作を認識する認識精度を変更し、変更後の認識精度に基づいて、ユーザの操作を認識するので、ユーザの操作のあいまいさを考慮した認識を行なうことが可能となる。例えば、ユーザが間違えやすい操作をした場合は、そのユーザが意図した操作に近い結果を表示することによって、入力の支援をすることが可能となる。

【0014】

（２）また、本発明の入力支援装置は、前記タッチパネルディスプレイに対するユーザの操作種別毎に予め付与されたスキル情報を格納するスキル情報格納部を更に備え、前記制御部は、前記操作種別に対応するスキル情報を取得し、前記取得したスキル情報に基づいて、前記認識精度を変更することを特徴とする。

【0015】

このように、タッチパネルディスプレイに対するユーザの操作種別毎に予め付与されたスキル情報を格納するので、ユーザのスキルを示すスキル情報を予め取得しておくことが可能となる。例えば、当該アプリケーションのみならず、他のアプリケーションを使用した際にスキル情報を取得し、記憶しておき、当該アプリケーションの操作をする際に、予め取得しておいたスキル情報を使用して、認識精度を変更することが可能となる。

【0016】

（３）また、本発明の入力支援装置は、前記タッチパネルディスプレイに対するユーザの操作種別に対応するユーザのスキルを判別し、判別したスキルを示すスキル情報を出力するスキル判別部を更に備え、前記制御部は、前記出力されたスキル情報に基づいて、前記認識精度を変更することを特徴とする。

【0017】

このように、タッチパネルディスプレイに対するユーザの操作種別に対応するユーザのスキルを判別し、判別したスキルを示すスキル情報を出力するので、リアルタイムでユーザのスキル情報を取得することが可能となる。

【0018】

（４）また、本発明の入力支援装置において、前記制御部は、前記タッチパネルディスプレイに表示されるオブジェクト毎に、生起する確率分布が定義されたタッチモデルを用い、前記スキル情報に応じて、前記確率分布を変更することによって、前記認識精度を変更することを特徴とする。

【0019】

このように、タッチパネルディスプレイに表示されるオブジェクト毎に、生起する確率分布が定義されたタッチモデルを用い、スキル情報に応じて、確率分布を変更するので、ユーザの操作スキルに応じた認識を行なうことが可能となる。

【0020】

（５）また、本発明の入力支援装置において、前記オブジェクトは、前記タッチパネルディスプレイに表示されるソフトウェアキーボードのいずれかのキーであって、キー毎に前記タッチモデルを格納するタッチモデル格納部と、文字列の連続性の確率値を有する言語モデルを格納する言語モデル格納部と、前記タッチパネルディスプレイに対するユーザの入力座標、前記タッチモデル、前記言語モデル、および前記スキル情報に基づいて、文字の生起確率を算出する確率演算部と、前記算出された生起確率に応じて、前記タッチパネルディスプレイに候補文字を表示する表示部と、を備えることを特徴とする。

【0021】

この構成により、ユーザのスキルに応じて候補となる文字列の表示を変更することが可能となる。これにより、スキルが低いユーザに対して、文字列の候補を複数提示することが可能となる。

【0022】

（６）また、本発明の入力支援装置において、前記スキル情報格納部は、少なくとも一つのアプリケーションに対するユーザの操作から認識されるスキルを示すスキル情報を格納することを特徴とする。

【0023】

このように、少なくとも一つのアプリケーションに対するユーザの操作から認識されるスキルを示すスキル情報を格納するので、いずれかのアプリケーションで認識されたユーザのスキル情報を、いずれか他のアプリケーションを操作する際に用いることが可能となる。

【0024】

（７）また、本発明の入力支援システムは、タッチパネルディスプレイを有する端末装置におけるユーザの入力操作を支援する入力支援システムであって、前記タッチパネルディスプレイに対するユーザの操作種別を認識する入力部と、前記操作種別および前記操作種別に対応するユーザのスキルを示すスキル情報に基づいて、前記タッチパネルディスプレイに対するユーザの操作を認識する認識精度を変更する制御部と、を備え、前記変更後の認識精度に基づいて、前記タッチパネルディスプレイにおけるユーザの操作を認識することを特徴とする。

【0025】

このように、タッチパネルディスプレイに対するユーザの操作種別を認識し、操作種別および操作種別に対応するユーザのスキルを示すスキル情報に基づいて、タッチパネルディスプレイに対するユーザの操作を認識する認識精度を変更し、変更後の認識精度に基づいて、ユーザの操作を認識するので、ユーザの操作のあいまいさを考慮した認識を行なうことが可能となる。例えば、ユーザが間違えやすい操作をした場合は、そのユーザが意図した操作に近い結果を表示することによって、入力の支援をすることが可能となる。また、クライアント−サーバの構成を採ることが可能となる。

【0026】

（８）また、本発明のプログラムは、タッチパネルディスプレイを介したユーザの入力操作を支援するプログラムであって、タッチパネルディスプレイに対するユーザの操作種別を認識する処理と、前記操作種別および前記操作種別に対応するユーザのスキルを示すスキル情報に基づいて、前記タッチパネルディスプレイに対するユーザの操作を認識する認識精度を変更する処理と、前記変更後の認識精度に基づいて、ユーザの操作を認識する処理と、の一連の処理を、コンピュータに実行させることを特徴とする。

【0027】

このように、タッチパネルディスプレイに対するユーザの操作種別を認識し、操作種別および操作種別に対応するユーザのスキルを示すスキル情報に基づいて、タッチパネルディスプレイに対するユーザの操作を認識する認識精度を変更し、変更後の認識精度に基づいて、ユーザの操作を認識するので、ユーザの操作のあいまいさを考慮した認識を行なうことが可能となる。例えば、ユーザが間違えやすい操作をした場合は、そのユーザが意図した操作に近い結果を表示することによって、入力の支援をすることが可能となる。

【発明の効果】

【0028】

本発明によれば、ユーザのスキルを考慮した、より使いやすい文字入力を行なうことが可能になる。

【図面の簡単な説明】

【0029】

【図1】本実施形態に係る入力支援装置の概略構成を示すブロック図である。

【図2】ユーザのスキル情報の例を示す図である。

【図3】（ａ）、（ｂ）は、ＧＭＭ（Gaussian Mixture Model）の分布を示す図である。

【図4】実施例１に係る入力支援装置の動作を示すフローチャートである。

【図5】（ａ）、（ｂ）は、表示部の表示例を示す図である。

【図6】ＨＭＭ（Hidden Markov Model）による文字と状態の認識を示す図である。

【図7】確率探索アルゴリズムを示す図である。

【図8】ソフトキーとアプリケーションの同一操作の対応を示す図である。

【発明を実施するための形態】

【0030】

本発明者らは、従来の技術では、ユーザがアプリケーションを使用する時の傾向や癖、使用者のスキルの差異によって、入力誤りの傾向が異なることが考慮されていなかったことに着目し、タッチパネルディスプレイを介してユーザの操作を認識する際に、あいまいさの概念を導入することによって、ユーザビリティを高めることができることを見出し、本発明をするに至った。

【0031】

すなわち、本発明は、タッチパネルディスプレイを介したユーザの入力操作を支援する入力支援装置であって、タッチパネルディスプレイに対するユーザの操作種別を認識する入力部と、前記操作種別および前記操作種別に対応するユーザのスキルを示すスキル情報に基づいて、前記タッチパネルディスプレイに対するユーザの操作を認識する認識精度を変更する制御部と、備え、前記変更後の認識精度に基づいて、ユーザの操作を認識することを特徴とする。

【0032】

これにより、本発明者らは、ユーザの操作のあいまいさを考慮した認識を行ない、ユーザビリティを高めることを可能とした。以下、本発明の実施形態について、図面を参照しながら具体的に説明する。

【0033】

本実施形態に係る入力支援装置は、タッチパネルを介した文章入力の操作性向上のために、他のアプリケーションから取得されるそのユーザの操作スキルを示すスキル情報に基づいて、入力方法およびキーの検知領域・時間および候補単語の探索領域を変更する。これは、ユーザのスキルに応じて、ユーザの操作の認識精度を変更することに対応する。

【0034】

図１は、本実施形態に係る入力支援装置の概略構成を示すブロック図である。タッチパネル入力部１は、タッチパネルディスプレイで構成され、ユーザがタッチ操作により入力を行なう。タッチパネル入力部１は、ユーザがタッチした時の入力座標（ｘ，ｙ）を取得する。

【0035】

スキル判別部３は、タッチパネル入力部１におけるユーザのタッチ操作に基づいて、そのユーザのスキルを判別する。また、予め取得され、スキル情報格納部５に格納されているスキル情報を読み出すことも可能である。スキル情報格納部５には、予め測定され、あるいは推定されたユーザのスキルを示すスキル情報を記憶する。このスキル情報は、図２に示すように、アプリケーションに依存せず、ユーザの操作毎に付与される。なお、このスキル情報を基準として、スキルの数値に対し、アプリケーションごとに変わり得る重み係数を与えてもよい。

【0036】

タッチモデル格納部７は、各単語を構成する文字毎に２次元座標を変数とする確率分布関数を定義した、確率モデルを格納する。言語モデル格納部９は、言語モデルを格納する。確率演算部１１は、タッチモデルおよび言語モデルから、文字もしくは文字列の生起確率を計算する。文字列連結部１３は、生起確率が計算された文字または文字列を連結する。単語候補取得部１５は、辞書データベース１７から単語候補を検索し、読み出す。表示部１９は、種々操作画面を表示する。また、表示部１９は、単語候補取得部１５が取得した単語を表示する単語候補表示部２１および入力中の文字およびユーザの操作により確定した文字を表示する文字表示部２３を備えている。主制御部２５は、各構成要件の動作を制御する。

【実施例1】

【0037】

実施例１では、タッチモデルを用いた文字入力の支援について説明する。入力支援装置は、まず、主制御部２５がスキル情報格納部５からスキル情報を読み込む。ユーザのスキル情報は、図２に示すように、タッチスクリーンディスプレイにおけるタッチジェスチャ、あるいは、スイッチやキーボード、ポインティングデバイスにおけるイベント、あるいは、音声や映像、あるいは各種センサにより検出されるイベントと関連付けられている。

【0038】

ユーザのスキル情報のスコアは、例えば、特定の課題を与えたアプリケーションを使用者に使用させ、タッチジェスチャあるいはイベントごとに取得、記録し、特定の課題の達成度を１０段階にマッピングすることで得ることができる。

【0039】

次に、確率演算部１１は、入力座標と、タッチモデルおよび言語モデルから、文字列を予測する。この手法として、例えば、特許文献２に示されるように、タッチ位置に近い文字に対してスコアをつけて、スコアを比較する方法や、特許文献３に示されるような確率を用いたものがあるが、ここでは、タッチモデルと“n-gram”文字連鎖確率を用いた例を説明する。

【0040】

（１Ａ）タッチモデルについて
まず、予め文字毎に２次元座標を変数とした確率分布関数Ｐ_ｗｉ（ｘ，ｙ）を定義しておく。Ｐ_ｗｉ（ｘ，ｙ）は、座標（ｘ，ｙ）に対する、文字_ｗｉが生起する確率を示す関数である。関数の例としては、混合ガウス分布などが挙げられる。

【0041】

【数1】

ただし、ＫはＧＭＭの混合数で、Ｎは平均ベクトルμ_ｋと対角共分散行列（Σ_ｋ（＝ｄｉａｇ（σ_ｘ，σ_ｙ））で表される正規分布である。

【0042】

ここで、タッチモデルにおいては、スキルが低い場合、分散を大きくする。分散が大きくなると、図３に示すように、隣接するキーの境界付近で、それぞれのキーが出力される確率の差が小さくなる。または、確率分布関数に対して０から１の間の値を積算（対数尤度の場合、定数の減算）することによって、絶対値を小さくしても良い。

【0043】

例えば、スキルをＳ（Ｓ_ｍｉｎ≦Ｓ≦Ｓ_ｍａｘ）とすると、
σ’＝σ＋α＊（Ｓ_ｍａｘ−Ｓ）／（Ｓ_ｍａｘ−Ｓ_ｍｉｎ）、とすることができる。

【0044】

（１Ｂ）言語モデルについて
“n-gram文字連鎖確率”は、文字ｃ_ｉ−１，…，ｃ_１が入力された後に文字_ｗｉを表示する確率であり、Ｐ（ｃ_ｉ｜ｃ_ｉ−１，…，ｃ_１）＝ΠＰ（ｃ_ｉ｜ｃ_ｉ−１，…，ｃ_１））と表すことができる。

【0045】

ベイズの定理より（ｘ，ｙ）が入力された時に文字ｃ_ｉが出力される文字生起確率は、
Ｐ（ｃ_ｉ｜（ｘ，ｙ））＝Ｐ（（ｘ，ｙ），ｃ_ｉ）／Ｐ（ｘ，ｙ）
Ｐ（ｘ，ｙ｜ｗ_ｉ）Ｐ（ｗ_ｉ｜ｗ_ｉ−１，…，ｗ_１）／Ｐ（ｘ，ｙ）
と表される、Ｐ（ｘ，ｙ）はどの文字の生起確率に対しても共通なので、
Ｐｗ_ｉ（ｘ，ｙ）Ｐ（ｗ_ｉ｜ｗ_ｉ−１，…，ｗ_１）のみを考慮すればよい。

【0046】

文字列に対しては、文字生起確率を各々累積したものが文字列の生起確率となる。実際は、全ての文字列について計算すると計算量・使用メモリが膨大になるため、尤度に基づく仮説枝刈りを含む“Viterbi algorithm”による探索などで簡易的に計算する。例えば、トグルキーボードで「あした」（“あ”“さ”“さ”“た”）と入力されたとき、「あした」以外に、他の候補として「あさは」「あきた」「かした」などが候補として算出され、それぞれに確率が付与されている。これらの情報を仮名漢字変換部に送信する。

【0047】

（１Ｃ）文字列連結について
最も高い確率を示すキーとの確率の比（もしくは対数尤度の差）がある閾値ε以上のＭ個を入力毎に連結し、累積確率の上位Ｎ個を記憶する。

【0048】

（１Ｄ）単語候補検索について
抽出文字列が示すＮ個の文字列に対し、単語候補を検索する。つまり、スキルが低い場合は多くの文字列に対して単語候補が検索されるものとする。

【0049】

なお、以上の説明では、タッチ操作を対象としたが、フリック操作に適用することも可能である。

【0050】

図４は、実施例１に係る入力支援装置の動作を示すフローチャートである。入力待ちの状態から（ステップＳ１）、入力座標を検知すると（ステップＳ２）、初期化を行ない（ステップＳ３）、全文字_ｗｉにおいて、文字生起確率を計算する（ステップＳ４）。次に、累積確率Ｐ_ｗｉを計算し（ステップＳ５）、文字列の連結を行なう（ステップＳ６）。次に、単語候補を取得し（ステップＳ７）、単語候補表示部に単語候補を表示する（ステップＳ８）。

【0051】

一方、ステップＳ１〜ステップＳ８と並行して、スキル判別を行なう（ステップＳ１４）。そして、スキル情報を取得し（ステップＳ１５）、このスキル情報を用いて、ステップＳ４における文字生起確率の計算を行なう。

【0052】

また、ステップＳ９において、入力を待機し、入力座標を検知すると（ステップＳ１０）、検知した座標は、単語候補表示領域であるか、またはキーボード領域であるかを判断する（ステップＳ１１）。キーボード領域である場合は、ｋの値を進めて、ステップＳ４に遷移する。一方、単語候補表示領域である場合は、文字列を文字表示部に表示して（ステップＳ１２）、ステップＳ１に遷移する。図５は、表示部の表示例を示す図である。ユーザが“ｋ”、“ｅ”と入力した後、“ｙ”のキーを操作した場合、図５（ａ）は、“ｋｅｙ”の単なる前方一致結果を示しているが、図５（ｂ）は、“ｙ”を押し間違えたと仮定した場合の候補が報じされている。これにより、ユーザビリティを高めることが可能となる。

【実施例2】

【0053】

実施例２では、ＨＭＭ（Hidden Markov Model）を用いた例について説明する。

【0054】

（２Ａ）確率演算部について
フリックモデルを、実施例１におけるタッチモデルの代わりに用いる。まず、予め文字の状態毎に出力関数を、２次元座標を変数とした確率分布関数Ｐ_ｗｉ（ｋ）（ｘ，ｙ）として定義する。ここでいう状態とは、図６に示すように、文字毎に何状態か定義されており、例えば、“押し始め”、“スライド途中”、“離す直前”の３状態が挙げられる。Ｐ_ｗｉ（ｋ）（ｘ，ｙ）は、文字_ｗｉのｋ番目の状態において座標（ｘ，ｙ）が入力されたときに生起する確率を示す関数である。関数の例としては、混合ガウス分布などが挙げられる。

【0055】

また、各状態はｋ番目の状態からｊ（＞ｋ）状態目に移るＬ−Ｒ遷移だけでなく、自状態に遷移する自己遷移を持っており、各々に遷移確率Ｑ_ｗｉ（ｋ，ｊ）が定義されている。

【0056】

次に、ユーザの入力する際の動作について説明する。まず、座標（ｘ_１，ｙ_１）を検知すると、全文字について一状態目の事後確率Ｐ_ｗｉ（１｜ｘ_１，ｙ_１）を計算し、累積確率演算部に送信する。次に、Ｌ−Ｒ遷移もしくは自己遷移の遷移確率Ｑ_ｗｉを乗じて遷移先で（ｘ_２，ｙ_２）について同様の計算を行なう。これらの計算を繰り返し、図７に示す遷移パスのうち、最も確率の高いパスを文字_ｗｉの出力確率とする。確率計算の一つとして“Viterbiアルゴリズム”を用いる。全ての文字に対して計算を行ない、上位Ｎ個を取得する。

【0057】

ここでスキルが低い場合は、分散を大きくする。または、確率分布関数に対して０から１の間の値を積算（対数尤度の場合、定数の減算）することで絶対値を小さくすることも可能である。

【実施例3】

【0058】

以上の説明では、文字入力のみに適用したが、上述のソフトキーボードの「キー」に相当するものが、アプリケーションの「ボタン」に対応させることも可能である。また、図８に示すように、上述のソフトキーボードの「フリック操作」に相当するものが、アプリケーションの「フリック操作」に対応させても良い。

【0059】

なお、スキルもしくは算出された語の確率値、もしくは、候補単語数に応じて、候補単語表示数または表示領域を大きくしても良い。また、以上の説明では、２次元情報にのみを用いた特徴量の例を挙げたが、タッチの際に取得可能な情報（指面先、指形状、指の主軸方向など）や、３次元情報、時間情報、他のセンサ群に関する情報の特徴量を用いることも可能である。例えば、ＨＭＤ（Head Mounted Display）などで、仮想空間に浮かぶキーボード、立体的なオブジェクトを操作する場合に適用することも可能である。

【0060】

また、以上の説明では、予め登録されたスキル情報を読み込んでいるが、それに加えてリアルタイムスキル判別機能を有し、操作中に変えることも可能である。その際、スキル判別手法は、入力時系列と、そこから算出できる特徴量、例えば、オブジェクトの中心からの距離の平均値やその分散、操作の間隔、頻度、具体的には、キーボードアプリであればキー＝オブジェクト表示された文字列、入力キーなどの特徴量に対して、複数段階のスキルを定義したスキルモデルにより判別することも可能である。スキルモデルは、パターンマッチングでも機械学習（例えば、マルチクラスＳＶＭなど）を用いてもよい。

【0061】

また、以上の説明では、分布の分散を変更する例を挙げたが、細分化されたスキル情報、例えば、タッチであればオブジェクトの右下を押す傾向があるとか、フリックであれば、右方向のフリックが右上方向にずれる傾向があるとかといったユーザの癖等を用いてもよい。また、ユーザが登録している他のアプリケーションの情報、例えば、プロフィール情報からスキルを推定することも可能である。

【0062】

以上説明したように、本実施形態によれば、ユーザのスキルを考慮した、より使いやすい文字入力を行なうことが可能になる。

【符号の説明】

【0063】

１ タッチパネル入力部
３ スキル判別部
５ スキル情報格納部
７ タッチモデル格納部
９ 言語モデル格納部
１１ 確率演算部
１３ 文字列連結部
１５ 単語候補取得部
１７ 辞書データベース
１９ 表示部
２１ 単語候補表示部
２３ 文字表示部
２５ 主制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】