(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5784141
(24)【登録日】2015年7月31日
(45)【発行日】2015年9月24日
(54)【発明の名称】重畳筆記による手書き入力方法
(51)【国際特許分類】
G06F 3/041 20060101AFI20150907BHJP
G06F 3/0488 20130101ALI20150907BHJP
G06F 3/048 20130101ALI20150907BHJP
G06K 9/62 20060101ALI20150907BHJP
【FI】
G06F3/041 595
G06F3/048 620
G06F3/048 653A
G06F3/048 654D
G06K9/62 G
【請求項の数】10
【全頁数】17
(21)【出願番号】特願2013-542348(P2013-542348)
(86)(22)【出願日】2011年8月3日
(65)【公表番号】特表2014-502399(P2014-502399A)
(43)【公表日】2014年1月30日
(86)【国際出願番号】CN2011077950
(87)【国際公開番号】WO2012075821
(87)【国際公開日】20120614
【審査請求日】2014年7月22日
(31)【優先権主張番号】201010583601.1
(32)【優先日】2010年12月10日
(33)【優先権主張国】CN
(73)【特許権者】
【識別番号】510217851
【氏名又は名称】上海合合信息科技発展有限公司
【氏名又は名称原語表記】INTSIG Information Co.,Ltd.
(74)【代理人】
【識別番号】100131381
【弁理士】
【氏名又は名称】黒田 雄一
(72)【発明者】
【氏名】鎮立新
(72)【発明者】
【氏名】龍騰
【審査官】
山崎 慎一
(56)【参考文献】
【文献】
特開2009−289188(JP,A)
【文献】
特開平8−202826(JP,A)
【文献】
特開平8−286808(JP,A)
【文献】
特開昭60−205686(JP,A)
【文献】
特開2007−26098(JP,A)
【文献】
特開2003−296661(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/041
G06F 3/048
G06F 3/0488
G06K 9/62
(57)【特許請求の範囲】
【請求項1】
重畳筆記による手書き入力方法であって、
スクリーンのリセットと非活性可視層のキャラクターのリセットを行う初期化処理を実行するステップ100、
手書き用ペン又は指によるタッチスクリーンのタッチで字画の入力が開始されるステップ110、
手書き用ペン又は指がタッチスクリーン上を移動すると、字画の軌跡を記録しタッチスクリーン上の手書き領域に表示するとともに、第1の色値を用いて筆記直後の字画の軌跡を描画するステップ120、
手書き用ペン又は指がタッチスクリーンを離れて、筆記直後の字画の入力が終了するステップ130、
筆記直後の字画が、その前に入力されて色が第1の色値である全ての字画と同じキャラクターに属すか否かを判断し、属す場合はステップ240へ、属さない場合はステップ150へ進むステップ140、
スクリーンに、ステップ170で定義され、且つ、前回筆記済みで識別及び色変換処理が行われたキャラクターである非活性可視層のキャラクターが存在するか否かを判断し、存在する場合はステップ160へ進み、存在しない場合はステップ170に進むステップ150、
非活性可視層のキャラクター画像及びこれと関連する字画情報を消去するステップ160、
筆記直後の字画以外の、色値が第1色値である残り全ての字画から構成されるキャラクターを非活性可視層のキャラクターと定義するステップ170、
現在の非活性可視層のキャラクターデータを識別エンジンに提供して識別し、識別結果を出力するステップ180、
識別エンジンによる識別結果が十分に信頼できるか否かを判断し、信頼できる場合はステップ200へ進み、信頼できない場合はステップ220へ進むステップ190、
現在の非活性可視層のキャラクターの字画の色を、消失して表示されなくなるまで徐々に薄くするステップ200、
非活性可視層のキャラクター画像及びこれと関連する字画情報を消去し、ステップ230へ進むステップ210、
現在の非活性可視層のキャラクターの字画の色を、第2の色値に変換して表示するステップ220、
新たな字画の入力があるか否かを判断し、ある場合は、ユーザによる新たな字画の入力を待ってステップ120へ進み、ない場合はステップ260へ進むステップ230、
筆記直後の字画の色を変化させずに維持するステップ240、
新たな字画の入力があるか否かを判断し、ある場合は、ユーザによる新たな字画の入力を待ってステップ120へ進み、ない場合はステップ260へ進むステップ250、
筆記直後のキャラクターデータを識別エンジンに提供して識別し、識別結果を出力するステップ260、及び
終了のためのステップ270を含み、
ステップ140において、
筆記直後の字画がその前に入力された字画と同じキャラクターに属すか否かの判断は、筆記直後の字画における幾何的位置情報と、その前に入力された全ての字画からなるキャラクターの幾何的位置情報との関係に基づいて行われ、
判断の精度を上げるために識別結果を組み合わせた補足判断を実行し、具体的には、筆記直後の字画以外の、筆記済みで色が第1の色値である全ての字画からなるキャラクターを識別し、識別信頼度が高ければ、筆記直後の字画とその前の字画とが同じキャラクターには属さないと判断し、
識別エンジンが何らかの手書きキャラクターを識別する識別信頼度を判断する方法として、識別対象のキャラクターが第1の候補キャラクターである確率と第2の候補キャラクターである確率との差を算出し、この差が所定の閾値より大きい場合には、当該識別エンジンによる識別結果の信頼度は高いと判断し、
識別対象のキャラクターが識別結果として何らかの候補キャラクターである確率を算出する方法は識別分類器によって提供され、二次判別関数分類器を分類器とし、当該確率は、二次判別関数分類器によって得られた識別距離のマイナスのべき乗に略等しく、
ステップ140は、
筆記直後の字画がユーザによって入力された1番目の字画であるか否かを判断し、1番目の字画である場合はステップ146へ進み、1番目の字画でない場合はステップ142へ進むステップ141、
筆記直後の字画が1つ前の字画の右側に位置する新たな字画であるか否かを判断し、右側に位置する新たな字画の場合はステップ145へ進み、右側に位置する新たな字画でない場合はステップ143へ進むステップ142、
筆記直後の字画が別の筆記済みの字画と重畳しているか否かを判断し、重畳している場合はステップ144へ進み、重畳していない場合はステップ145へ進むステップ143、
筆記直後の字画と筆記済みの字画との重畳の程度が所定の閾値を超えているか否かを判断し、超えている場合はステップ146へ進み、超えていない場合はステップ145へ進むステップ144、
入力直後の字画がその前に入力された字画と同じキャラクターに属す可能性があるとの判断結果をフィードバックするステップ145、及び
入力直後の字画がその前に入力された字画とは同じキャラクターに属さないとの判断結果をフィードバックするステップ146を含み、
ステップ190において、
識別エンジンが何らかの手書きキャラクターを識別する識別信頼度を判断する方法として、識別対象のキャラクターが第1の候補キャラクターである確率と第2の候補キャラクターである確率との差を算出し、この差が所定の閾値より大きい場合には、当該識別エンジンによる識別結果の信頼度は高いと判断し、
識別対象のキャラクターが識別結果として何らかの候補キャラクターである確率を算出する方法は識別分類器によって提供され、二次判別関数分類器を分類器とし、当該確率は、二次判別関数分類器によって得られた識別距離のマイナスのべき乗に略等しいことを特徴とする重畳筆記による手書き入力方法。
【請求項2】
重畳筆記による手書き入力方法であって、
手書き用ペン又は指によるタッチスクリーンのタッチで字画の入力が開始されるステップS111、
手書き用ペン又は指がタッチスクリーン上を移動すると、字画の軌跡を記録しタッチスクリーン上の手書き領域に表示するとともに、所定の色Aを用いて筆記中の字画の軌跡を描画するステップS112、
手書き用ペン又は指がタッチスクリーンを離れて、筆記中の字画の入力が終了するステップS113、
筆記直後の字画が、その前に入力された色Aの全ての字画と同じキャラクターに属すか否かを判断し、属す場合はステップS124へ進み、属さない場合はステップS115へ進むステップS114、
スクリーンに、ステップS117で定義され、且つ、前回筆記済みで識別及び色変換処理が行われたキャラクターである非活性可視層のキャラクターが存在するか否かを判断し、存在する場合はステップS116へ進み、存在しない場合はステップS117に進むステップS115、
非活性可視層のキャラクター画像及びこれと関連する字画情報を消去するステップS116、
筆記直後の字画以外の、色値がAである残り全ての字画から構成されるキャラクターを非活性可視層のキャラクターと定義するステップS117、
現在の非活性可視層のキャラクターデータを識別エンジンに提供して識別し、識別結果を出力するステップS118、
識別エンジンによる識別結果が十分に信頼できるか否かを判断し、信頼できる場合はステップS120へ進み、信頼できない場合はステップS122に進むステップS119、
現在の非活性可視層のキャラクターの字画の色を、消失して表示されなくなるまで徐々に薄くするステップS120、
非活性可視層のキャラクター画像及びこれと関連する字画情報を消去し、ステップS123へ進むステップS121、
現在の非活性可視層のキャラクターの字画の色を別の色Bに変換して表示するステップS122、
新たな字画の入力があるか否かを判断し、ある場合はステップS112へ、ない場合はステップS126へ進むステップS123、
筆記直後の字画の色を変化させずに維持するステップS124、
新たな字画の入力があるか否かを判断し、ある場合はステップS112へ、ない場合はステップS126へ進むステップS125、
筆記直後のキャラクターデータを識別エンジンに提供して識別し、識別結果を出力するステップS126、及び
終了のためのステップS127を含むことを特徴とする重畳筆記による手書き入力方法。
【請求項3】
ステップS114において、筆記直後の字画がその前に入力された字画と同じキャラクターに属すか否かの判断は、筆記直後の字画における幾何的位置情報と、その前に入力された全ての字画からなるキャラクターの幾何的位置情報との関係に基づいて行われることを特徴とする請求項2に記載の重畳筆記による手書き入力方法。
【請求項4】
ステップS114において、識別結果を組み合わせた補足判断を実行し、具体的には、筆記直後の字画以外の、筆記済みで色がAである全ての字画からなるキャラクターを識別し、識別信頼度が高ければ、筆記直後の字画とその前の字画とが同じキャラクターには属さないと判断し、
識別エンジンが何らかの手書きキャラクターを識別する識別信頼度を判断する方法として、
識別対象のキャラクターが第1の候補キャラクターである確率と第2の候補キャラクターである確率との差を算出し、この差が所定の閾値より大きい場合には、当該識別エンジンによる識別結果の信頼度は高いと判断し、
識別対象のキャラクターが識別結果として何らかの候補キャラクターである確率を算出する方法は識別分類器によって提供され、二次判別関数分類器を分類器とし、当該確率は、二次判別関数分類器によって得られた識別距離のマイナスのべき乗に略等しいことを特徴とする請求項2に記載の重畳筆記による手書き入力方法。
【請求項5】
ステップS114において、筆記直後の字画とその前に入力された色Aの全ての字画が同じキャラクターに属すか否かの判断方法は、
筆記直後の字画がユーザによって入力された1番目の字画であるか否かを判断し、1番目の字画である場合はステップ146へ進み、1番目の字画でない場合はステップ142へ進むステップ141、
筆記直後の字画が1つ前の字画の右側に位置する新たな字画であるか否かを判断し、新たな字画の場合はステップ145へ進み、新たな字画でない場合はステップ143へ進むステップ142、
筆記直後の字画が別の筆記済みの字画と重畳しているか否かを判断し、重畳している場合はステップ144へ進み、重畳していない場合はステップ145へ進むステップ143、
筆記直後の字画と筆記済みの字画との重畳の程度が所定の閾値を超えているか否かを判断し、超えている場合はステップ146へ進み、超えていない場合はステップ145へ進むステップ144、
入力直後の字画がその前に入力された字画と同じキャラクターに属す可能性があるとの判断結果をフィードバックするステップ145、及び
入力直後の字画がその前に入力された字画とは同じキャラクターに属さないとの判断結果をフィードバックするステップ146を含むことを特徴とする請求項2に記載の重畳筆記による手書き入力方法。
【請求項6】
ステップS119において、
識別エンジンが何らかの手書きキャラクターを識別する識別信頼度を判断する方法として、
識別対象のキャラクターが第1の候補キャラクターである確率と第2の候補キャラクターである確率との差を算出し、この差が所定の閾値より大きい場合には、当該識別エンジンによる識別結果の信頼度は高いと判断し、
識別対象のキャラクターが識別結果として何らかの候補キャラクターである確率を算出する方法は識別分類器によって提供され、二次判別関数分類器を分類器とし、当該確率は、二次判別関数分類器によって得られた識別距離のマイナスのべき乗に略等しいことを特徴とする請求項2に記載の重畳筆記による手書き入力方法。
【請求項7】
重畳筆記による手書き入力方法であって、
タッチユニットによるタッチスクリーンのタッチで字画の入力が開始されるステップS111、
タッチユニットがタッチスクリーン上を移動すると、字画の軌跡を記録しタッチスクリーン上の手書き領域に表示するとともに、所定の色Aを用いて筆記中の字画の軌跡を描画するステップS112、
タッチユニットがタッチスクリーンを離れて、筆記中の字画の入力が終了するステップS113、
筆記直後の字画が、その前に入力された色Aの全ての字画と同じキャラクターに属すか否かを判断し、属す場合は現在の字画の色を変更せずに維持し、属さない場合はステップS115へ進むステップS114、
スクリーンに、ステップS117で定義され、且つ、前回筆記済みで識別及び色変換処理が行われたキャラクターである非活性可視層のキャラクターが存在するか否かを判断し、存在する場合はステップS116へ進み、存在しない場合はステップS117に進むステップS115、
非活性可視層のキャラクター画像及びこれと関連する字画情報を消去するステップS116、
筆記直後の字画以外の、色値がAである残り全ての字画から構成されるキャラクターを非活性可視層のキャラクターと定義し、ステップS118へ進むステップS117、及び
現在の非活性可視層のキャラクターデータを識別エンジンに提供して識別し、識別結果を出力するステップS118を含むことを特徴とする重畳筆記による手書き入力方法。
【請求項8】
ステップS118の後に、さらに、
識別エンジンによる識別結果が十分に信頼できるか否かを判断し、信頼できる場合はステップS120へ進み、信頼できない場合はステップS122に進むステップS119、
現在の非活性可視層のキャラクターの字画の色を、消失して表示されなくなるまで徐々に薄くするステップS120、
非活性可視層のキャラクター画像及びこれと関連する字画情報を消去し、ステップS123へ進むステップS121、
現在の非活性可視層のキャラクターの字画の色を別の色Bに変換して表示するか、或いは、新たに入力された字画の色を別の色Bに変換し、ステップS123に進むステップS122、
新たな字画の入力があるか否かを判断し、ある場合はステップS112へ、ない場合はステップS126へ進むステップS123、
筆記直後のキャラクターデータを識別エンジンに提供して識別し、識別結果を出力するステップS126、及び
終了のためのステップS127を含むことを特徴とする請求項7に記載の重畳筆記による手書き入力方法。
【請求項9】
ステップS119において、
識別エンジンが何らかの手書きキャラクターを識別する識別信頼度を判断する方法として、
識別対象のキャラクターが第1の候補キャラクターである確率と第2の候補キャラクターである確率との差を算出し、この差が所定の閾値より大きい場合には、当該識別エンジンによる識別結果の信頼度は高いと判断し、
識別対象のキャラクターが識別結果として何らかの候補キャラクターである確率を算出する方法は識別分類器によって提供され、二次判別関数分類器を分類器とし、当該確率は、二次判別関数分類器によって得られた識別距離のマイナスのべき乗に略等しいことを特徴とする請求項8に記載の重畳筆記による手書き入力方法。
【請求項10】
ステップS114において、
筆記直後の字画がその前に入力された字画と同じキャラクターに属すか否かの判断は、筆記直後の字画における幾何的位置情報と、その前に入力された全ての字画からなるキャラクターの幾何的位置情報との関係に基づいて行われ、
識別結果を組み合わせた補足判断を実行し、具体的には、筆記直後の字画以外の、筆記済みで色がAである全ての字画からなるキャラクターを識別し、識別信頼度が高ければ、筆記直後の字画とその前の字画とが同じキャラクターには属さないと判断し、
識別エンジンが何らかの手書きキャラクターを識別する識別信頼度を判断する方法として、識別対象のキャラクターが第1の候補キャラクターである確率と第2の候補キャラクターである確率との差を算出し、この差が所定の閾値より大きい場合には、当該識別エンジンによる識別結果の信頼度は高いと判断し、
識別対象のキャラクターが識別結果として何らかの候補キャラクターである確率を算出する方法は識別分類器によって提供され、二次判別関数分類器を分類器とし、当該確率は、二次判別関数分類器によって得られた識別距離のマイナスのべき乗に略等しく、
ステップS114において、筆記直後の字画とその前に入力された色Aの全ての字画が同じキャラクターに属すか否かの判断方法は、
筆記直後の字画がユーザによって入力された1番目の字画であるか否かを判断し、1番目の字画である場合はステップ146へ進み、1番目の字画でない場合はステップ142へ進むステップ141、
筆記直後の字画が1つ前の字画の右側に位置する新たな字画であるか否かを判断し、新たな字画の場合はステップ145へ進み、新たな字画でない場合はステップ143へ進むステップ142、
筆記直後の字画が別の筆記済みの字画と重畳しているか否かを判断し、重畳している場合はステップ144へ進み、重畳していない場合はステップ145へ進むステップ143、
筆記直後の字画と筆記済みの字画との重畳の程度が所定の閾値を超えているか否かを判断し、超えている場合はステップ146へ進み、超えていない場合はステップ145へ進むステップ144、
入力直後の字画がその前に入力された字画と同じキャラクターに属す可能性があるとの判断結果をフィードバックするステップ145、及び
入力直後の字画がその前に入力された字画とは同じキャラクターに属さないとの判断結果をフィードバックするステップ146を含むことを特徴とする請求項7に記載の重畳筆記による手書き入力方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、文字入力分野における手書き入力方法に関し、特に、重畳筆記による手書き入力方法に関する。
【背景技術】
【0002】
近年、手書き入力法は重要な文字入力方式としてスマートフォン、タブレットパソコン、ネットブック、GPS端末、学習機など様々なモバイル電子機器に広く応用されている。手書き入力法とは、一般的に、ユーザが電子機器のタッチスクリーンを介し、手書き用のペンや指で文字を筆記する一方で、電子機器が、収集した文字の軌跡を識別し、これを対応する文字に変換してスクリーンに表示することをいう。電子機器がユーザによる筆記の軌跡データを収集する過程では、通常、ユーザが自身で筆記する文字の字画の軌跡について適時にフィードバック情報を確認できるよう、ユーザによる筆記の軌跡をリアルタイムで表示スクリーンに表示する。
【0003】
現在、モバイル電子機器のタッチスクリーンや表示スクリーンのサイズには限界がある。特に、iPhone(登録商標)やAndroid(登録商標)に代表される新世代携帯としてのスマートフォンでは、通常、静電容量式タッチスクリーン上の指の運動軌跡に反応する手書き方式を採用しているが、タッチスクリーンのサイズや指によるタッチポイントの識別率に限界があることから、ユーザは、タッチスクリーン上に1回あたり1〜2キャラクターしか筆記することができない。そして、1キャラクター書き終える毎に普通は一旦停止し(典型的な停止時間は200ms〜1000ms程度)、モバイル機器が前回筆記した文字を検知・識別してから、再び次のキャラクターを手書き入力する。よって、文字の手書き入力効率が低下し、自然な筆記習慣のように連続した手書き入力を行うことはできない。
【0004】
手書き入力の効率を上げるために、研究者によって全画面での筆記・識別を行う手書き入力技術が開発されている。これによれば、1回あたりに、少量ではあるが複数のキャラクターをタッチスクリーン上に筆記し、筆記した全ての文字画像を識別エンジンに提供して分析・識別を行うことが可能となる。しかし、このような方法は依然としてタッチスクリーンのサイズの制限を受けてしまい、任意の複数キャラクターを連続して筆記する(例えば、1つのセンテンスを全て書ききる)ことはできない。特に、タッチスクリーンのサイズに制限のあるモバイル電子機器(スマートフォンなど)では、通常はタッチスクリーン全体に収容できる手書きキャラクター数がたいへん少ない(特に、iPhone(登録商標)は指で筆記する場合、通常はスクリーン1つあたりに筆記できるキャラクター数が4文字未満である)。また、ユーザが全画面で手書きを行った場合、別々のキャラクターの繋がりや重なりといった現象が発生し、識別エンジンはキャラクターを正確に分割・識別できない。
【0005】
本発明は、重畳筆記方式を用いて任意の複数文字を連続筆記する手書き文字入力方法に関し、効果的に上記の課題を解決することが可能である。上記の重畳筆記方式とは、ユーザが1キャラクター書き終わった後に、1つ目のキャラクターの上に次のキャラクターを完全に或いは部分的に重ねて筆記することが可能な筆記方式をいう。この方法によれば、ユーザは異なるキャラクターを筆記する際に一時停止することなく、手書きスクリーン上に複数のキャラクターを連続して手書きすることができ、且つ、これに対応する識別処理が実行されることで、手書き文字入力の効率を大幅に高めることが可能となる。しかし、この方法では、重畳筆記を行う際に前のキャラクターの字画が存在していることから、新たに筆記するキャラクターの字画がタッチスクリーン上に表示されるにあたり、前のキャラクターの字画から干渉を受ける(
図1に「科学」という2キャラクターを重畳筆記する場合の軌跡を示す)ため、結果として、ユーザへの表示フィードバックに影響が生じ、新たな筆記の軌跡に視覚的干渉が起こって、ユーザとしての体験及び入力効率に影響を及ぼしてしまうという重大な問題があった。このような問題は、複数キャラクターを連続して重畳筆記する場合に特に深刻であり、例えば
図3のように「科学家」という3キャラクターを連続筆記する場合、3番目のキャラクターである「家」まで筆記した時点で、ユーザは新たに筆記したキャラクターの字画の軌跡をほとんど視認することができない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、キャラクター重畳の開始字画を判断し、筆記中の重畳キャラクターの字画と、前回筆記済みのキャラクターの字画を異なる色で表示することで、美しく明瞭で、且つユーザの手書き入力に干渉しない表示を実現可能な、重畳筆記による手書き入力方法を提供することを解決すべき課題とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明は以下の技術案を用いる。
【0008】
重畳筆記による手書き入力方法であって、手書き用ペン又は指によるタッチスクリーンのタッチで字画の入力が開始されるステップS111、手書き用ペン又は指がタッチスクリーン上を移動すると、字画の軌跡を記録しタッチスクリーン上の手書き領域に表示するとともに、所定の色Aを用いて筆記中の字画の軌跡を描画するステップS112、手書き用ペン又は指がタッチスクリーンを離れて、筆記中の字画の入力が終了するステップS113、筆記直後の字画が、その前に入力された色Aの全ての字画と同じキャラクターに属すか否かを判断し、属す場合はステップS124へ進み、属さない場合はステップS115へ進むステップS114、スクリーンに、ステップS117で定義され、且つ、前回筆記済みで識別及び色変換処理が行われたキャラクターである非活性可視層のキャラクターが存在するか否かを判断し、存在する場合はステップS116へ進み、存在しない場合はステップS117に進むステップS115、非活性可視層のキャラクター画像及びこれと関連する字画情報を消去するステップS116、筆記直後の字画以外の、色値がAである残り全ての字画から構成されるキャラクターを非活性可視層のキャラクターと定義するステップS117、現在の非活性可視層のキャラクターデータを識別エンジンに提供して識別し、識別結果を出力するステップS118、識別エンジンによる識別結果が十分に信頼できるか否かを判断し、信頼できる場合はステップS120へ進み、信頼できない場合はステップS122に進むステップS119、現在の非活性可視層のキャラクターの字画の色を、消失して表示されなくなるまで徐々に薄くするステップS120、非活性可視層のキャラクター画像及びこれと関連する字画情報を消去し、ステップS123へ進むステップS121、現在の非活性可視層のキャラクターの字画の色を別の色Bに変換して表示するステップS122、新たな字画の入力があるか否かを判断し、ある場合はステップS112へ、ない場合はステップS126へ進むステップS123、筆記直後の字画の色を変化させずに維持するステップS124、新たな字画の入力があるか否かを判断し、ある場合はステップS112へ、ない場合はステップS126へ進むステップS125、筆記直後のキャラクターデータを識別エンジンに提供して識別し、識別結果を出力するステップS126、及び終了のためのステップS127を含む。
【0009】
本発明の好ましい方案としては、ステップS114において、筆記直後の字画がその前に入力された字画と同じキャラクターに属すか否かの判断は、筆記直後の字画における幾何的位置情報と、その前に入力された全ての字画からなるキャラクターの幾何的位置情報との関係に基づいて行われる。
【0010】
本発明の好ましい方案としては、ステップS114において、識別結果を組み合わせた補足判断を実行し、具体的には、筆記直後の字画以外の、筆記済みで色がAである全ての字画からなるキャラクターを識別し、識別信頼度が高ければ、筆記直後の字画とその前の字画とが同じキャラクターには属さないと判断し、識別エンジンが何らかの手書きキャラクターを識別する識別信頼度を判断する方法として、識別対象のキャラクターが第1の候補キャラクターである確率と第2の候補キャラクターである確率との差を算出し、この差が所定の閾値より大きい場合には、当該識別エンジンによる識別結果の信頼度は高いと判断し、識別対象のキャラクターが識別結果として何らかの候補キャラクターである確率を算出する方法は識別分類器によって提供され、二次判別関数分類器を分類器とし、当該確率は、二次判別関数分類器によって得られた識別距離のマイナスのべき乗に略等しい。
【0011】
本発明の好ましい方案としては、ステップS114において、筆記直後の字画とその前に入力された色Aの全ての字画が同じキャラクターに属すか否かの判断方法は、筆記直後の字画がユーザによって入力された1番目の字画であるか否かを判断し、1番目の字画である場合はステップ146へ進み、1番目の字画でない場合はステップ142へ進むステップ141、筆記直後の字画が1つ前の字画の右側に位置する新たな字画であるか否かを判断し、新たな字画の場合はステップ145へ進み、新たな字画でない場合はステップ143へ進むステップ142、筆記直後の字画が別の筆記済みの字画と重畳しているか否かを判断し、重畳している場合はステップ144へ進み、重畳していない場合はステップ145へ進むステップ143、筆記直後の字画と筆記済みの字画との重畳の程度が所定の閾値を超えているか否かを判断し、超えている場合はステップ146へ進み、超えていない場合はステップ145へ進むステップ144、入力直後の字画がその前に入力された字画と同じキャラクターに属す確率があるとの判断結果をフィードバックするステップ145、及び入力直後の字画がその前に入力された字画とは同じキャラクターに属さないとの判断結果をフィードバックするステップ146を含む。
【0012】
本発明の好ましい方案としては、ステップS119において、識別エンジンが何らかの手書きキャラクターを識別する識別信頼度を判断する方法として、識別対象のキャラクターが第1の候補キャラクターである確率と第2の候補キャラクターである確率との差を算出し、この差が所定の閾値より大きい場合には、当該識別エンジンによる識別結果の信頼度は高いと判断し、識別対象のキャラクターが識別結果として何らかの候補キャラクターである確率を算出する方法は識別分類器によって提供され、二次判別関数分類器を分類器とし、当該確率は、二次判別関数分類器によって得られた識別距離のマイナスのべき乗に略等しい。
【0013】
重畳筆記による手書き入力方法であって、タッチユニットによるタッチスクリーンのタッチで字画の入力が開始されるステップS111、タッチユニットがタッチスクリーン上を移動すると、字画の軌跡を記録しタッチスクリーン上の手書き領域に表示するとともに、所定の色Aを用いて筆記中の字画の軌跡を描画するステップS112、タッチユニットがタッチスクリーンを離れて、筆記中の字画の入力が終了するステップS113、筆記直後の字画が、その前に入力された色Aの全ての字画と同じキャラクターに属すか否かを判断し、属す場合は現在の字画の色を変更せずに維持し、属さない場合はステップS115へ進むステップS114、スクリーンに、ステップS117で定義され、且つ、前回筆記済みで識別及び色変換処理が行われたキャラクターである非活性可視層のキャラクターが存在するか否かを判断し、存在する場合はステップS116へ進み、存在しない場合はステップS117に進むステップS115、非活性可視層のキャラクター画像及びこれと関連する字画情報を消去するステップS116、筆記直後の字画以外の、色値がAである残り全ての字画から構成されるキャラクターを非活性可視層のキャラクターと定義し、ステップS118へ進むステップS117、及び現在の非活性可視層のキャラクターデータを識別エンジンに提供して識別し、識別結果を出力するステップS118を含む。
【0014】
本発明の好ましい方案として、上記の方法はステップS118の後に、さらに、識別エンジンによる識別結果が十分に信頼できるか否かを判断し、信頼できる場合はステップS120へ進み、信頼できない場合はステップS122に進むステップS119、現在の非活性可視層のキャラクターの字画の色を、消失して表示されなくなるまで徐々に薄くするステップS120、非活性可視層のキャラクター画像及びこれと関連する字画情報を消去し、ステップS123へ進むステップS121、現在の非活性可視層のキャラクターの字画の色を別の色Bに変換して表示し、ステップS123に進むステップS122、新たな字画の入力があるか否かを判断し、ある場合はステップS112へ、ない場合はステップS126へ進むステップS123、筆記直後のキャラクターデータを識別エンジンに提供して識別し、識別結果を出力するステップS126、及び終了のためのステップS127を含む。
【0015】
本発明を実施するためのハードウェア条件として、当該機器は、所定周波数のCPU(中央処理装置)、演算用のメモリ、記憶系ソフトウェア、基本的な操作システム、アプリケーションソフト及び各種データの記憶空間等を含む一般的な演算及び記憶装置を必要とする。当該機器は、手書き入力が実施可能なタッチスクリーンを備える必要があり、当該タッチスクリーンは任意の領域を手書き入力領域として指定可能であり、さらに、当該タッチスクリーンは、識別結果の表示領域や命令キー領域などを備える。
【発明の効果】
【0016】
本発明では、次の有益な効果を得られる。すなわち、本発明の重畳筆記による手書き入力方法によれば、ユーザがタッチスクリーン上で重畳筆記する場合、上述のインターフェース表示処理方法によって、異なる重畳キャラクターがいずれも良好にユーザへフィードバックされるため、表示インターフェースの混乱が発生しない。よって、ユーザはこのような良好なインターフェースの下で、自然な筆記習慣のように連続した手書き入力を行うことができ、一時停止することなく複数の手書きキャラクターを連続して筆記可能であるため、手書き入力の効率が効果的に高められる。
【図面の簡単な説明】
【0017】
【
図1】
図1は、通常の重畳筆記方式で「科学」という2キャラクターを筆記した場合のインターフェース表示の効果を示す図である(本発明に係る方法では処理していない)。
【
図2】
図2は、通常の重畳筆記方式で「科学家」という3キャラクターを筆記した場合のスクリーンにおけるインターフェース表示の効果を示す図である(本発明に係る方法では処理していない)。
【
図3】
図3は、本発明に係る手書き入力方法を示すフローチャートである。
【
図4】
図4は、筆記直後の字画とその前の字画が同じキャラクターに属すか否かの判断手順を示すフローチャートである。
【
図5】
図5は、「科学」という2キャラクターを重畳筆記する場合に、本発明に係る方法で処理した後のスクリーンにおけるインターフェース表示の効果を示す図である。
【
図6】
図6は、重畳筆記方式で「科学家」という3キャラクターを筆記した場合に、本発明に係る方法で処理する過程及びこれに対応するスクリーンにおけるインターフェース表示の効果を示す図である。
【
図7】
図7は、重畳筆記方式で「科学」という2キャラクターを筆記する場合に、1番目のキャラクターである「科」の識別信頼度が高いとき、その色を徐々に変化させる処理を行った場合のスクリーンにおけるインターフェース表示の効果を示す図である。
【発明を実施するための形態】
【0018】
以下に、図面に基づき、本発明の好ましい実施例を詳細に説明する。
【実施例1】
【0019】
本発明特許を実施する機器としては、タッチスクリーン付きスマートフォン(例えば、HTC/Google Nexus One(登録商標))を用いればよく、このような携帯電話にはタッチスクリーンが備えられるため、ユーザが指で書いた字画の軌跡を収集することが可能である。C++言語で相応の各種処理プログラムを設計すれば、本発明を良好に実施できる。本発明は、タブレットパソコン、PDA、GPS端末といった他のモバイル電子機器で実現してもよい。本発明はまた、C言語、Java(登録商標)など他のプログラミング言語を用いて実現してもよい。
【0020】
図3を参照して、本発明は、以下のステップを含む重畳筆記による手書き入力方法を開示する。
【0021】
<ステップ100>初めに、スクリーンのリセットと非活性可視層のキャラクターのリセットを行う初期化処理を実行する。
【0022】
<ステップ110>手書き用ペン又は指によるタッチスクリーンのタッチで字画の入力が開始される。
【0023】
<ステップ120>手書き用ペン又は指がタッチスクリーン上を移動すると、字画の軌跡を記録しタッチスクリーン上の手書き領域に表示するとともに、RGB色値(255,0,0)を用いて筆記中の字画の軌跡を描画する。
【0024】
<ステップ130>手書き用ペン又は指がタッチスクリーンを離れ、筆記中の字画の入力が終了する。
【0025】
<ステップ140>筆記直後の字画が、その前に入力された赤色(RGB値が(255,0,0))の全ての字画と同じキャラクターに属すか否かを判断する。YESの場合はステップ240へ進む。NOの場合はステップ150へ進む。
【0026】
筆記直後の字画がその前に入力された字画と同じキャラクターに属すか否かの判断は、筆記直後の字画における幾何的位置情報と、その前に入力された全ての字画からなるキャラクターの幾何的位置情報との関係に基づいて行えばよい。具体的な実施フローについては
図4に示す。判断の精度を上げるために、識別結果を組み合わせて補足判断を行ってもよい。具体的には、筆記直後の字画以外の、筆記済みである赤色(RGB(255,0,0))の全ての字画からなるキャラクターを識別し、識別信頼度が高ければ、筆記直後の字画とその前の字画とが同じキャラクターには属さないと判断する。
【0027】
識別エンジンが何らかの手書きキャラクターを識別する識別信頼度を判断する方法としては、識別対象のキャラクターが第1の候補キャラクターである確率と第2の候補キャラクターである確率との差を算出し、この差が所定の閾値(例えば0.5)より大きい場合には、当該識別エンジンによる識別結果の信頼度は高いと判断される。識別対象のキャラクターが識別結果として何らかの候補キャラクターである確率を算出する方法は識別分類器によって提供され、本実施例では、二次判別関数分類器を分類器とする。当該確率は、二次判別関数分類器によって得られた識別距離のマイナスのべき乗に略等しい。
【0028】
図4を参照して、筆記直後の字画とその前に入力された色Aの全ての字画が同じキャラクターに属すか否かの判断方法は、以下のステップを含む。
【0029】
ステップ141において、筆記直後の字画がユーザによって入力された1番目の字画であるか否かを判断し、YESの場合はステップ146へ進み、NOの場合はステップ142へ進む。
【0030】
ステップ142において、筆記直後の字画が1つ前の字画の右側に位置する新たな字画であるか否かを判断し、YESの場合はステップ145へ進み、NOの場合はステップ143へ進む。
【0031】
ステップ143において、筆記直後の字画が別の筆記済みの字画と重畳しているか否かを判断し、YESの場合はステップ144へ進み、NOの場合はステップ145へ進む。
【0032】
ステップ144において、筆記直後の字画と筆記済みの字画との重畳の程度が所定の閾値を超えているか否かを判断し、YESの場合はステップ146へ進み、NOの場合はステップ145へ進む。
【0033】
ステップ145において、入力直後の字画がその前に入力された字画と同じキャラクターに属す可能性があるとの判断結果をフィードバックする。
【0034】
ステップ146において、入力直後の字画がその前に入力された字画とは同じキャラクターに属さないとの判断結果をフィードバックする。
【0035】
<ステップ150>スクリーンに非活性可視層のキャラクター(非活性可視層のキャラクターとは、前回筆記済みで、識別及び色変換処理が行われたキャラクターのことであり、当該キャラクターはステップ170で定義される)が存在するか否かを判断し、YESの場合はステップ160へ進み、NOの場合はステップ170に進む。
【0036】
<ステップ160>非活性可視層のキャラクター画像及びこれと関連する字画情報を消去する。
【0037】
<ステップ170>筆記直後の字画以外の、色値が赤色である残り全ての字画から構成されるキャラクターを非活性可視層のキャラクターと定義する。
【0038】
<ステップ180>現在の非活性可視層のキャラクターデータを識別エンジンに提供して識別し、識別結果を出力する。
【0039】
<ステップ190>識別エンジンによる識別結果が十分に信頼できるか否かを判断する。YESの場合はステップ200に進み、NOの場合はステップ220に進む。
【0040】
識別エンジンが何らかの手書きキャラクターを識別する識別信頼度を判断する方法としては、識別対象のキャラクターが第1の候補キャラクターである確率と第2の候補キャラクターである確率との差を算出し、この差が所定の閾値(例えば0.5)より大きい場合には、当該識別エンジンによる識別結果の信頼度は高いと判断される。識別対象のキャラクターが識別結果として何らかの候補キャラクターである確率を算出する方法は識別分類器によって提供され、本実施例では、二次判別関数分類器を分類器とする。当該確率は、二次判別関数分類器によって得られた識別距離のマイナスのべき乗に略等しい。
【0041】
<ステップ200>現在の非活性可視層のキャラクターの字画の色を、消失して表示されなくなるまで徐々に薄くする。本実施例において、スクリーンの背景色を白色(RGB(255,255,255))とする場合、具体的に色を徐々に変化させる疑似C言語の記述は下記の通りとなる。
【0042】
{
色変数の定義 i=0;
色変数の定義 j=0;
while (i<= 255&& j<=255)
{
字画の色をRGB(155, i,j)と変換;
i=i+10;
j=j+10;
字画の色を表示;
1ms遅延;
}
}
【0043】
具体的に実現される効果を
図7に示す。
【0044】
<ステップ210>非活性可視層のキャラクター画像及びこれと関連する字画情報を消去し、ステップ230へ進む。
【0045】
<ステップ220>現在の非活性可視層のキャラクターの字画の色を薄灰色(RGB(190,190,190)に変換して表示する。
【0046】
図5は、「科学」という2キャラクターを重畳筆記する場合に、上述のステップで処理した後のスクリーンにおけるインターフェース表示の効果を示す。
【0047】
<ステップ230>新たな字画の入力があるか否かを判断し、YESの場合は、ユーザによる新たな字画の入力を待ってステップ120へ進み、NOの場合はステップ260へ進む。
【0048】
<ステップ240>筆記直後の字画の色を変化させずに維持する。
【0049】
<ステップ250>新たな字画の入力があるか否かを判断し、YESの場合は、ユーザによる新たな字画の入力を待ってステップ120へ進み、NOの場合はステップ260へ進む。
【0050】
<ステップ260>筆記直後のキャラクターデータを識別エンジンに提供して識別し、識別結果を出力する。
【0051】
<ステップ270>終了する。
【0052】
図6は、重畳筆記方式で「科学家」という3キャラクターを筆記した場合における、本発明の方法に係る上述の処理の過程及びこれに対応するスクリーンのインターフェース表示の効果を示す図である。
【実施例2】
【0053】
本実施例は、以下のステップを含む重畳筆記による手書き入力方法を開示する。
【0054】
ステップS111において、タッチユニットによるタッチスクリーンのタッチで字画の入力が開始される。
【0055】
ステップS112において、タッチユニットがタッチスクリーン上を移動すると、字画の軌跡を記録しタッチスクリーン上の手書き領域に表示するとともに、所定の色Aを用いて筆記中の字画の軌跡を描画する。
【0056】
ステップS113において、タッチユニットがタッチスクリーンを離れて、筆記中の字画の入力が終了する。
【0057】
ステップS114において、筆記直後の字画が、その前に入力された色Aの全ての字画と同じキャラクターに属すか否かを判断し、YESの場合は現在の字画の色を変更せずに維持するステップS124へ進み、NOの場合はステップS115へ進む。
【0058】
ステップS115において、スクリーンに、ステップS117で定義され、且つ、前回筆記済みで識別及び色変換処理が行われたキャラクターである非活性可視層のキャラクターが存在するか否かを判断し、YESの場合はステップS116へ進み、NOの場合はステップS117に進む。
【0059】
ステップS116において、非活性可視層のキャラクター画像及びこれと関連する字画情報を消去する。
【0060】
ステップS117において、筆記直後の字画以外の、色値がAである残り全ての字画から構成されるキャラクターを非活性可視層のキャラクターと定義し、ステップS118へ進む。
【0061】
ステップS118において、現在の非活性可視層のキャラクターデータを識別エンジンに提供して識別し、識別結果を出力する。
【0062】
好ましくは、上記の方法は、ステップS118の後にさらに以下のステップを含む。
【0063】
ステップS119において、識別エンジンによる識別結果が十分に信頼できるか否かを判断し、YESの場合はステップS120へ進み、NOの場合はステップS122に進む。
【0064】
ステップS120において、現在の非活性可視層のキャラクターの字画の色を、消失して表示されなくなるまで徐々に薄くする。
【0065】
ステップS121において、非活性可視層のキャラクター画像及びこれと関連する字画情報を消去し、ステップS123へ進む。
【0066】
ステップS122において、現在の非活性可視層のキャラクターの字画の色を別の色Bに変換して表示し、ステップS123に進む。
【0067】
ステップS123において、新たな字画の入力があるか否かを判断し、YESの場合はステップS112へ進み、NOの場合はステップS126へ進む。
【0068】
ステップS124において、筆記直後の字画の色を変化させずに維持する。
【0069】
ステップS125において、新たな字画の入力があるか否かを判断し、YESの場合はステップS112へ進み、NOの場合はステップS126へ進む。
【0070】
ステップS126において、筆記直後のキャラクターデータを識別エンジンに提供して識別し、識別結果を出力する。
【0071】
ステップS127で終了する。
【0072】
以上述べたように、本発明の重畳筆記による手書き入力方法によれば、ユーザがタッチスクリーン上で重畳筆記する場合、上述のインターフェース表示処理方法によって、異なる重畳キャラクターがいずれも良好にユーザへフィードバックされるため、表示インターフェースの混乱が発生しない。よって、ユーザは、このように良好なインターフェースの下で、自然な筆記習慣のように連続した手書き入力を行うことができ、一時停止することなく複数の手書きキャラクターを連続して筆記可能となるため、手書き入力の効率が効果的に高められる。
【0073】
なお、本発明の記載及び適用は説明のためのもので、本発明の範囲を上記実施例に限定する意図はない。また、開示された実施例は変形・変更が可能であり、当業者にとって、実施例の置き換えや等価の各種部材は公知である。また、本発明の主旨又は本質的特徴から逸脱しないことを前提に、本発明を他の形式、構造、配置、比率、及び他の部材、材料、部品で実現可能であることは、当業者にとって明らかである。また、本発明の範囲と主旨を逸脱しないことを前提に、本明細書で開示した実施例は他の変形及び変更が可能である。