(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023088511
(43)【公開日】2023-06-27
(54)【発明の名称】情報処理装置、及び制御方法
(51)【国際特許分類】
G06F 3/04883 20220101AFI20230620BHJP
G06V 30/19 20220101ALI20230620BHJP
G06V 30/14 20220101ALI20230620BHJP
【FI】
G06F3/0488 130
G06K9/62 G
G06K9/20 320J
【審査請求】有
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2021203294
(22)【出願日】2021-12-15
(71)【出願人】
【識別番号】505205731
【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100206081
【弁理士】
【氏名又は名称】片岡 央
(72)【発明者】
【氏名】野村 良太
(72)【発明者】
【氏名】ヴ トラン ミン クオン
【テーマコード(参考)】
5B029
5B064
5E555
【Fターム(参考)】
5B029AA01
5B029BB09
5B029CC23
5B064AB04
5B064BA06
5E555AA54
5E555BA05
5E555BA62
5E555BA65
5E555BB05
5E555BC19
5E555CA14
5E555CB10
5E555CC01
5E555CC19
5E555DA01
5E555DB03
5E555DB45
5E555DD11
5E555EA07
5E555EA14
5E555EA24
5E555EA25
5E555FA00
(57)【要約】
【課題】フリーサイズ又は自由な位置の手書き入力に対して、文字サイズ及び描画位置を適切に把握する。
【解決手段】情報処理装置は、手書き入力を検出可能な入力部と、前記手書き入力の軌跡を表示可能な表示部と、前記入力部によって検出された前記手書き入力の軌跡を前記表示部に表示する表示制御部と、前記入力部が検出した前記手書き入力に基づいて、テキストを認識するテキスト認識部と、前記テキストの各文字の描画のサイズを取得し、各文字の標準的な高さに関する情報に基づいて、ユーザが意図した前記テキストの文字サイズを推定し、前記文字サイズ及び描画位置を示す情報を生成する文字サイズ推定部とを備える。
【選択図】
図3
【特許請求の範囲】
【請求項1】
手書き入力を検出可能な入力部と、
前記手書き入力の軌跡を表示可能な表示部と、
前記入力部によって検出された前記手書き入力の軌跡を前記表示部に表示する表示制御部と、
前記入力部が検出した前記手書き入力に基づいて、テキストを認識するテキスト認識部と、
前記テキストの各文字の描画のサイズを取得し、各文字の標準的な高さに関する情報に基づいて、ユーザが意図した前記テキストの文字サイズを推定し、前記文字サイズ及び描画位置を示す情報を生成する文字サイズ推定部と
を備える情報処理装置。
【請求項2】
前記文字サイズ推定部が生成した前記文字サイズ及び前記描画位置を示す情報により設定された前記テキストの範囲に基づいて、前記入力部によって新たに検出された前記手書き入力の軌跡が、前記テキストを編集する描画ジェスチャであると判定するジェスチャ判定部と、
前記ジェスチャ判定部が判定した前記描画ジェスチャに応じた編集処理を、前記テキストに対して実行するジェスチャ処理部と
を備える請求項1に記載の情報処理装置。
【請求項3】
前記ジェスチャ判定部は、前記新たに検出された前記手書き入力の軌跡が、前記テキストの範囲を超える場合に、前記新たに検出された前記手書き入力の軌跡が、前記描画ジェスチャであると判定する
請求項2に記載の情報処理装置。
【請求項4】
前記テキストの範囲は、前記テキストの縦方向の上限線及び下限線を含む
請求項2又は請求項3に記載の情報処理装置。
【請求項5】
前記文字サイズ推定部は、各文字の文字サイズの上限の平均線を前記上限線に設定し、各文字の文字サイズの下限の平均線を前記下限線に設定する
請求項4に記載の情報処理装置。
【請求項6】
前記入力部は、前記表示部の画面上に配置され、前記画面上に操作媒体が接触することで、前記手書き入力を検出可能なタッチセンサ部である
請求項1から請求項5のいずれか一項に記載の情報処理装置。
【請求項7】
表示部と、前記表示部の画面上に配置され、前記画面上における物体との接触を検出するタッチセンサ部とを含むタッチスクリーンと、
プログラムを一時的に記憶するメモリと、
前記タッチスクリーンに接続され、前記メモリに記憶された前記プログラムを実行するプロセッサと
を備え、
前記プロセッサは、
前記メモリに記憶された前記プログラムを実行することにより、
前記タッチスクリーンの前記タッチセンサ部を介して、前記タッチスクリーンの前記表示部に表示されている既存の手書きテキストオブジェクト上、又は隣接するインクストロークを受信する処理と、
前記インクストロークのサイズ及び位置属性と、前記手書きテキストオブジェクトのサイズ及び位置属性との比較に基づいて、前記インクストロークがジェスチャストロークであるか否かを判定する処理と、
前記インクストロークが前記ジェスチャストロークであると判定された場合に、前記インクストロークに対応するジェスチャに基づいて、表示されている前記手書きテキストオブジェクトを変更する処理と
を行う情報処理装置。
【請求項8】
手書き入力を検出可能な入力部と、前記手書き入力の軌跡を表示可能な表示部とを備える情報処理装置の制御方法であって、
表示制御部が、前記入力部によって検出された前記手書き入力の軌跡を前記表示部に表示する表示制御ステップと、
テキスト認識部が、前記入力部によって検出された前記手書き入力に基づいて、テキストを認識するテキスト認識ステップと、
文字サイズ推定部が、前記テキストの各文字の描画のサイズを取得し、各文字の標準的な高さに関する情報に基づいて、ユーザが意図した前記テキストの文字サイズを推定し、前記文字サイズ及び描画位置を示す情報を生成する文字サイズ推定ステップと
を含む制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、及び制御方法に関する。
【背景技術】
【0002】
近年、タブレット端末などの情報処理装置において、手書き入力した文字、単語、文やパラグラフに対して、例えば、縦線などの特定の手書き入力を行うことで、文字の消去、分離、改行などの編集操作を行う描画ジェスチャという技術が知られている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来技術では、指定された大きさと位置(例えば、画面上に表示された罫線の間)に手書き入力することを前提としており、罫線のないフリーサイズ及び自由な位置の手書き入力では、文字の大きさのバラツキにより文字のサイズ及び描画位置を適切に把握することが困難であった。そのため、例えば、上述のような描画ジェスチャによる操作を行う場合に、誤検出が発生する可能性があった。
【0005】
本発明は、上記問題を解決すべくなされたもので、その目的は、フリーサイズ又は自由な位置の手書き入力に対して、文字サイズ及び描画位置を適切に把握することができる情報処理装置、及び制御方法を提供することにある。
【課題を解決するための手段】
【0006】
上記問題を解決するために、本発明の一態様は、手書き入力を検出可能な入力部と、
前記手書き入力の軌跡を表示可能な表示部と、前記入力部によって検出された前記手書き入力の軌跡を前記表示部に表示する表示制御部と、前記入力部が検出した前記手書き入力に基づいて、テキストを認識するテキスト認識部と、前記テキストの各文字の描画のサイズを取得し、各文字の標準的な高さに関する情報に基づいて、ユーザが意図した前記テキストの文字サイズを推定し、前記文字サイズ及び描画位置を示す情報を生成する文字サイズ推定部とを備える情報処理装置である。
【0007】
また、本発明の一態様は、上記の情報処理装置において、前記文字サイズ推定部が決定した前記文字サイズ及び前記描画位置を示す情報により設定された前記テキストの範囲に基づいて、前記入力部によって新たに検出された前記手書き入力の軌跡が、前記テキストを編集する描画ジェスチャであると判定するジェスチャ判定部と、前記ジェスチャ判定部が判定した前記描画ジェスチャに応じた編集処理を、前記テキストに対して実行するジェスチャ処理部とを備えてもよい。
【0008】
また、本発明の一態様は、上記の情報処理装置において、前記ジェスチャ判定部は、前記新たに検出された前記手書き入力の軌跡が、前記テキストの範囲を超える場合に、前記新たに検出された前記手書き入力の軌跡が、前記描画ジェスチャであると判定するようにしてもよい。
【0009】
また、本発明の一態様は、上記の情報処理装置において、前記テキストの範囲は、前記テキストの縦方向の上限線及び下限線を含んでもよい。
【0010】
また、本発明の一態様は、上記の情報処理装置において、前記ジェスチャ判定部は、各文字の文字サイズの上限の平均線を前記上限線に設定し、各文字の文字サイズの下限の平均線を前記下限線に設定するようにしてもよい。
【0011】
また、本発明の一態様は、上記の情報処理装置において、前記入力部は、前記表示部の画面上に配置され、前記画面上に操作媒体が接触することで、前記手書き入力を検出可能なタッチセンサ部であってもよい。
【0012】
また、本発明の一態様は、表示部と、前記表示部の画面上に配置され、前記画面上における物体との接触を検出するタッチセンサ部とを含むタッチスクリーンと、プログラムを一時的に記憶するメモリと、前記タッチスクリーンに接続され、前記メモリに記憶された前記プログラムを実行するプロセッサとを備え、前記プロセッサは、前記メモリに記憶された前記プログラムを実行することにより、前記タッチスクリーンの前記タッチセンサ部を介して、前記タッチスクリーンの前記表示部に表示されている既存の手書きテキストオブジェクト上、又は隣接するインクストロークを受信する処理と、前記インクストロークのサイズ及び位置属性と、前記手書きテキストオブジェクトのサイズ及び位置属性との比較に基づいて、前記インクストロークがジェスチャストロークであるか否かを判定する処理と、前記インクストロークが前記ジェスチャストロークであると判定された場合に、前記インクストロークに対応するジェスチャに基づいて、表示されている前記手書きテキストオブジェクトを変更する処理とを行う情報処理装置である。
【0013】
また、本発明の一態様は、手書き入力を検出可能な入力部と、前記手書き入力の軌跡を表示可能な表示部とを備える情報処理装置の制御方法であって、表示制御部が、前記入力部によって検出された前記手書き入力の軌跡を前記表示部に表示する表示制御ステップと、テキスト認識部が、前記入力部によって検出された前記手書き入力に基づいて、テキストを認識するテキスト認識ステップと、文字サイズ推定部が、前記テキストの各文字の描画のサイズを取得し、各文字の標準的な高さに関する情報に基づいて、ユーザが意図した前記テキストの文字サイズを推定し、前記文字サイズ及び描画位置を示す情報を生成する文字サイズ推定ステップとを含む制御方法である。
【発明の効果】
【0014】
本発明の上記態様によれば、フリーサイズ又は自由な位置の手書き入力に対して、文字サイズ及び描画位置を適切に把握することができる。
【図面の簡単な説明】
【0015】
【
図1】本実施形態によるタブレット端末の一例を示す外観図である。
【
図2】本実施形態によるタブレット端末の主要なハードウェア構成の一例を示す図である。
【
図3】本実施形態によるタブレット端末の機能構成の一例を示すブロック図である。
【
図4】本実施形態おける各文字の標準的な高さに関する情報の一例を示す図である。
【
図5】本実施形態おける文字サイズの推定処理の概要を示す図である。
【
図6】本実施形態おける文字サイズの推定処理の具体例を示す図である。
【
図7】本実施形態おける描画ジェスチャの一例を示す図である。
【
図8】本実施形態おける描画ジェスチャと判定する場合の一例を示す図である。
【
図9】本実施形態おける描画ジェスチャと判定しない場合の一例を示す図である。
【
図10】本実施形態によるタブレット端末の動作の一例を示すフローチャートである。
【
図11】本実施形態によるタブレット端末の描画ジェスチャの判定処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、本発明の一実施形態による情報処理装置、及び制御方法について、図面を参照して説明する。
【0017】
図1は、本実施形態によるタブレット端末1の一例を示す外観図である。なお、本実施形態において、情報処理装置の一例として、タブレット端末1について説明する。
図1に示すように、タブレット端末1は、筐体CS1の片方の主面に、タッチスクリーン20が設置されており、ペン30を用いて、例えば、メモ帳などのアプリケーションプログラムを実行させる。
【0018】
タッチスクリーン20は、表示部21と、タッチセンサ部22とを備える。
タッチセンサ部22は、表示部21に重ねて配置されており、ペン30が、表示部21の表示画面DFに接触することを検出するとともに、ペン30の接触位置を検出する。タッチセンサ部22は、ペン30によるユーザの手書き入力を検出可能である。
【0019】
なお、本実施形態において、タッチセンサ部22は、入力部の一例である。また、ペン30は、操作媒体の一例である。操作媒体は、ペン30の他に、ユーザの指などであってもよい。
【0020】
表示部21は、例えば、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイであり、表示画面DFに各種情報を表示する。表示部21は、プロセッサ11から出力された描画データ(表示データ)に基づく表示画面を表示する。表示部21は、例えば、タッチセンサ部22によって検出された手書き入力の軌跡を表示可能である。
なお、本実施形態において、手書き入力は、インクストロークということがある。
【0021】
次に、
図2を参照して、タブレット端末1の主要なハードウェア構成について説明する。
【0022】
図2は、本実施形態によるタブレット端末1の主要なハードウェア構成の一例を示す図である。
図2に示すように、タブレット端末1は、プロセッサ11と、メインメモリ12と、フラッシュメモリ13と、タッチスクリーン20と、周辺デバイス23とを備える。
【0023】
プロセッサ11は、例えば、CPU(Central Processing Unit)を含むアプリケーションプロセッサである。プロセッサ11は、タブレット端末1の全体を制御する。
【0024】
メインメモリ12は、プロセッサ11の実行プログラムの読み込み領域として、又は、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ12は、例えば、複数個のDRAM(Dynamic Random Access Memory)チップで構成される。この実行プログラムには、OS(Operating System:オペレーティングシステム)、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種サービス/ユーティリティ、アプリケーションプログラム(アプリケーションソフトウェア)、等が含まれる。
【0025】
フラッシュメモリ13は、例えば、フラッシュEEPROM(Electrically Erasable Programmable Read Only Memory)であり、OS、各種ドライバ、各種サービス/ユーティリティ、アプリケーションプログラム(以下、アプリケーションということがある)、及び各種データを記憶する。
【0026】
周辺デバイス23は、例えば、WLAN(Wireless Local Area Network)モジュール、Bluetooth(登録商標)モジュール、GPS(Global Positioning System)モジュール、及び加速度センサなどのセンサ類、等である。
【0027】
ペン30は、ペン形状の操作媒体であり、例えば、タッチペン、スタイラスペンなどである。ペン30は、例えば、共振回路を備えるような電子ペンであってもよい。
【0028】
次に、
図3を参照して、本実施形態によるタブレット端末1の機能構成について説明する。
図3は、本実施形態によるタブレット端末1の機能構成の一例を示すブロック図である。
【0029】
図3に示すように、タブレット端末1は、制御部10と、タッチスクリーン20と、記憶部40とを備える。
タッチスクリーン20は、表示部21と、タッチセンサ部22とを備える。
【0030】
記憶部40は、例えば、メインメモリ12又はフラッシュメモリ13により実現される記憶部であり、文字情報記憶部41と、入力情報記憶部42とを備える。
文字情報記憶部41は、例えば、メインメモリ12又はフラッシュメモリ13により実現される記憶部であり、テキストに用いる各文字のサイズに関する情報を記憶する。文字情報記憶部41は、例えば、各文字とベースライン、キャップライン(上限ライン)、及びミーンラインとの標準的な位置関係を示す情報、等を記憶する。
【0031】
ここで、ベースラインとは、文字の基準を示す平行線(水平線)であり、キャップラインは、アルファベットの大文字の上限位置を示す平行線(水平線)である。また、ミーンラインは、キャップラインとベースラインとの間の中間線であり、アルファベットの小文字の上限位置を示す平行線(水平線)である。各文字と、ベースライン、キャップライン、及びミーンラインとの位置関係を示す情報は、各文字の標準的な高さに関する情報の一例である。すなわち、文字情報記憶部41は、予め定められた各文字の標準的な高さ情報を記憶する。ここで、
図4を参照して、文字情報記憶部41が記憶する各文字の標準的な高さに関する情報の一例について説明する。
【0032】
図4は、本実施形態おける各文字の標準的な高さに関する情報の一例を示す図である。
図4に示すように、各文字の標準的な高さに関する情報は、各文字の大文字及び小文字の形状と、ベースライン、キャップライン、及びミーンラインの位置との関係を示す情報である。ここで、下側の実線がベースラインであり、上側の実線がキャップラインであり、中間の破線が、ミーンラインである。
【0033】
例えば、
図4に示す例では、文字“A”、文字“D”、及び文字“Y”の大文字及び小文字の形状と、ベースライン、キャップライン、及びミーンラインの位置との関係を示している。例えば、小文字“a”のミーンラインとベースラインとの間の距離(xハイト)が分かれば、
図4に示す情報を用いて、文字サイズを示す、キャップラインとベースラインとの間の距離(キャップハイト)を推定可能である。
【0034】
図3の説明に戻り、入力情報記憶部42は、例えば、メインメモリ12又はフラッシュメモリ13により実現される記憶部であり、入力されたインクストローク(手書き入力)と、その関連情報であるメタデータとを関連付けて記憶する。ここで、インクストローク(手書き入力)は、例えば、描画データである。
【0035】
また、メタデータには、例えば、インクストロークから認識されたテキストデータ又は描画形状(例えば、〇(丸)、△(三角)、□(四角など)のデータ、検出された実際の位置及びサイズを示す情報、推定されたユーザが意図した文字又は形状の位置及びサイズを示す情報、等が含まれる。ここで、位置とは、例えば、表示部21の表示画面DF上の位置座標である。また、サイズは、例えば、テキストのサイズである。ここで、テキストは、例えば、単語や文章などの文字列単位であり、位置及びサイズを示す情報は、文字列を長方形(四角形)の領域とした四隅(4つの角)の位置座標及び高さ方向のサイズ、等であってもよい。
【0036】
また、メタデータには、位置及びサイズを示す情報として、後述する描画ジェスチャを判定するためのテキストの範囲(ユーザが意図した文字サイズの上下線(キャップライン及びベースライン))を示す情報が含まれてもよい。
【0037】
制御部10は、例えば、プロセッサ11がメインメモリ12又はフラッシュメモリ13が記憶するプログラムを実行することで実現される機能部であり、OS(例えば、Android(登録商標)など)に基づく各種処理を実行する。制御部10は、入力制御部111と、表示制御部112と、テキスト認識部113と、文字サイズ推定部114と、ジェスチャ判定部115と、ジェスチャ処理部116とを備える。
【0038】
制御部10は、例えば、手書き入力のメモ帳、等の手書き入力を受け付け、受け付けた手書き入力の軌跡を表示部21に表示するアプリケーション50を含む。アプリケーション50は、アプリケーションプログラムをプロセッサ11に実行させることで実現される機能部である。上述した入力制御部111と、表示制御部112と、テキスト認識部113と、文字サイズ推定部114と、ジェスチャ判定部115と、ジェスチャ処理部116とは、アプリケーション50に含まれる。
【0039】
入力制御部111は、プロセッサ11により実現される機能部であり、例えば、タッチセンサ部22による入力を制御する。入力制御部111は、タッチセンサ部22から、例えば、タッチセンサ部22によって検出されたインクストローク(手書き入力)を取得する。
【0040】
表示制御部112は、プロセッサ11により実現される機能部であり、タッチセンサ部22によって検出された手書き入力の軌跡を表示部21に表示する。すなわち、表示制御部112は、入力制御部111が取得したインクストロークの描画データを、表示部21に表示させる。
また、表示制御部112は、後述する描画ジェスチャが実行された場合に、描画ジェスチャによる編集処理後の表示変更を実行する。
【0041】
テキスト認識部113は、プロセッサ11により実現される機能部であり、タッチセンサ部22が検出した手書き入力に基づいて、テキストを認識する。テキスト認識部113は、入力制御部111が取得したインクストロークからテキストを認識して、テキストデータを生成する。タッチセンサ部22が、例えば、
図5(a)のようなインクストローク(手書き入力)を検出した場合に、テキスト認識部113は、
図5(b)に示すように、“Happy”というテキストデータを生成する。
【0042】
文字サイズ推定部114は、プロセッサ11により実現される機能部である。文字サイズ推定部114は、テキストの各文字の描画のサイズを取得し、各文字の標準的な高さに関する情報に基づいて、ユーザが意図したテキストの文字サイズを推定し、文字サイズ及び描画位置を示す情報を生成する。ここで、各文字の標準的な高さに関する情報とは、例えば、
図4に示すような各文字の大文字及び小文字の形状と、ベースライン、キャップライン、及びミーンラインの位置との関係を示す情報である。文字サイズ推定部114は、文字情報記憶部41が記憶する
図4に示すような情報に基づいて、ユーザが意図したテキストの文字サイズを推定する。
【0043】
また、文字サイズ推定部114は、例えば、テキストの各文字の高さ方向の長さと、各文字の形状とベースライン、キャップライン、及びミーンラインとの位置関係から、各文字のサイズを、上限線(キャップライン)及び下限線(ベースライン)として設定する。文字サイズ推定部114は、各文字の文字サイズの上限の平均線(キャップラインの平均線)を上限線に設定し、各文字の文字サイズの下限の平均線(ベースラインの平均線)を下限線に設定する。文字サイズ推定部114は、テキストの上限線及び下限線により、ユーザが意図したテキストの文字サイズを示す情報(テキストの範囲を示す情報)を生成する。
【0044】
ここで、
図5及び
図6を参照して、文字サイズ推定部114による文字サイズの推定処理について説明する。
図5は、本実施形態おける文字サイズの推定処理の概要を示す図である。
図5(a)に示すようなインクストロークをタッチセンサ部22が検出した場合に、文字サイズ推定部114は、検出された実際の位置及びサイズを示す情報として、範囲R1のような情報を生成する。
【0045】
また、文字サイズ推定部114は、
図5(b)に示すように、インクストロークの描画データと、テキスト認識部113が認識したテキストデータ“Happy”と、文字情報記憶部41が記憶する情報とに基づいて、ユーザの意図した文字サイズを推定する。文字サイズ推定部114は、
図5(b)に示す範囲R2のような文字サイズ及び描画位置を示す情報を生成する。
【0046】
文字サイズ推定部114は、例えば、インクストロークの描画データと、テキストデータ(“Happy”)と、検出された実際の位置及びサイズを示す情報(範囲R1の情報)と、ユーザの意図した文字サイズ及び描画位置を示す情報(範囲R2の情報)とを対応付けて、入力情報記憶部42に記憶させる。
【0047】
次に、
図6を参照して、文字サイズ推定部114による文字サイズの推定処理の詳細について説明する。
図6は、本実施形態おける文字サイズの推定処理の具体例を示す図である。
【0048】
図6(a)に示すようなインクストロークをタッチセンサ部22が検出した場合に、文字サイズ推定部114は、
図6(b)に示すように、テキストの各文字の描画サイズを取得する。
【0049】
次に、文字サイズ推定部114は、文字情報記憶部41が記憶する情報に基づいて、
図6(c)に示すように、各文字のベースライン、キャップライン、及びミーンラインを推定する。ここで、実線がベースラインを示し、破線が、ミーンラインを示す。
【0050】
次に、文字サイズ推定部114は、
図6(d)に示すように、各文字のベースライン及びキャップラインのそれぞれの平均線を生成する。すなわち、文字サイズ推定部114は、各文字の上側のキャップラインの平均線L1を、上限線として生成するとともに、各文字の下側のベースラインの平均線L2を、下限線として生成する。ここで、上限線(平均線L1)及び下限線(平均線L2)は、ユーザが意図した文字サイズ及び描画位置を示す情報であるテキストの範囲に含まれる。
【0051】
再び、
図3の説明に戻り、ジェスチャ判定部115は、プロセッサ11により実現される機能部である。ジェスチャ判定部115は、文字サイズ推定部114が生成した文字サイズ及び描画位置により設定されたテキストの範囲に基づいて、タッチセンサ部22によって新たに検出された手書き入力の軌跡が、テキストを編集する描画ジェスチャであると判定する。ここで、
図7を参照して、本実施形態による描画ジェスチャについて説明する。
【0052】
描画ジェスチャは、特定の手書き入力(インクストローク)を行うことで、描画した手書きのテキストの編集処理を実行させる操作手段である。描画ジェスチャには、例えば、テキストを分割する“Break”(ブレイク)、テキストを結合する“Join”(ジョイン)などが含まれる。
【0053】
図7は、本実施形態おける描画ジェスチャの一例を示す図である。ここでは、“Break”、及び“Join”の描画ジェスチャについて説明する。
【0054】
図7(a)に示すように、本実施形態において、テキストの文字列に対して、上から下に、特定の長さ以上の縦線を手書き入力するジェスチャが、“Break”の描画ジェスチャである。例えば、
図7(a)に示すように、“Break”の描画ジェスチャでは、“Handwrittenink”というテキストに、上から下への縦線GL1が入力されると、
図7(b)に示すように、テキストが、“Handwritten”と、“ink”とに分割される。
【0055】
また、例えば、
図7(c)に示すように、“Join”の描画ジェスチャでは、分割された“Handwritten”と、“ink”との間に、下から上への縦線GL2が入力されると、
図7(d)に示すように、テキストが、“Handwritten”と、“ink”とが結合されるて、“Handwrittenink”になる。
【0056】
ジェスチャ判定部115は、
図7に示す“Break”及び“Join”のような描画ジェスチャを、文字サイズ推定部114が生成した文字サイズ及び描画位置を示す情報により設定されたテキストの範囲に基づいて判定する。
【0057】
具体的に、ジェスチャ判定部115は、新たに検出された手書き入力の軌跡が、例えば、設定されたテキストの範囲を超える場合に、新たに検出された手書き入力の軌跡が、描画ジェスチャであると判定する。
また、例えば、ジェスチャ判定部115は、新たに検出された手書き入力の軌跡が、例えば、設定されたテキストの範囲内である場合に、新たに検出された手書き入力の軌跡が、通常のインクストローク(通常の手書き入力)であると判定する。
【0058】
また、再び
図3の説明に戻り、ジェスチャ処理部116は、プロセッサ11により実現される機能部であり、ジェスチャ判定部115が判定した描画ジェスチャに応じた編集処理を、テキストに対して実行する。ジェスチャ処理部116は、描画ジェスチャに応じた編集処理であるコマンド処理(ジェスチャ処理)を実行する。
【0059】
ここで、
図8及び
図9を参照して、ジェスチャ判定部115による描画ジェスチャの判定処理、及び、ジェスチャ処理部116によるジェスチャ処理の実行について説明する。
図8は、本実施形態おけるジェスチャ判定部115が、描画ジェスチャと判定する場合の一例を示す図である。
【0060】
図8(a)において、テキストの範囲R3は、文字サイズ推定部114が生成した文字サイズ及び描画位置を示す情報に基づいて設定されたテキストの範囲であり、テキストの縦方向の上限線及び下限線を含む。
【0061】
図8(a)に示すように、テキストの範囲R3を超える上から下への縦線GL3が手書き入力されると、ジェスチャ判定部115は、縦線GL3がテキストの範囲R3を超えているため、“Break”の描画ジェスチャであると判定する。
この場合、ジェスチャ処理部116は、
図8(b)に示すように、“Break”の描画ジェスチャのコマンド処理として、テキスト“Handwrittenink”を、“Handwritten”と、“ink”とに分割する編集処理を実行する。
【0062】
また、
図9は、本実施形態おけるジェスチャ判定部115が、描画ジェスチャと判定しない場合の一例を示す図である。
図9(a)において、テキストの範囲R4は、文字サイズ推定部114が生成した文字サイズ及び描画位置を示す情報に基づいて設定されたテキストの範囲であり、テキストの縦方向の上限線及び下限線を含む。
【0063】
図9(a)に示すように、テキストの範囲R4の範囲内で、上から下への縦線GL4が手書き入力されると、ジェスチャ判定部115は、縦線GL4がテキストの範囲R4の範囲内であるため、“Break”の描画ジェスチャでないと判定する。
この場合、表示制御部112が、
図9(b)に示すように、縦線GL4の通常のインクストロークの描画線を追加し、テキスト“Handwrittenlink”を表示する。
【0064】
次に、図面を参照して、本実施形態によるタブレット端末1の動作について説明する。
図10は、本実施形態によるタブレット端末1の動作の一例を示すフローチャートである。
【0065】
図10に示すように、タブレット端末1は、まず、新たなインクストロークを検出したか否かを判定する(ステップS101)。タブレット端末1の入力制御部111は、タッチセンサ部22によって、新たなインクストローク(手書き入力)が検出されたか否かを判定する。入力制御部111は、タッチセンサ部22が新たなインクストロークを検出した場合(ステップS101:YES)に、処理をステップS102に進める。また、入力制御部111は、タッチセンサ部22が新たなインクストロークを検出していない場合(ステップS101:NO)に、処理をステップS102に戻す。
【0066】
ステップS102において、タブレット端末1は、インクストロークを表示部21に表示する。すなわち、タブレット端末1の表示制御部112は、タッチセンサ部22が検出したインクストロークの描画データを取得し、インクストロークの描画データを表示部21に表示させる。
【0067】
次に、タブレット端末1のジェスチャ判定部115は、インクストロークが描画ジェスチャであるか否かを判定する(ステップS103)。ジェスチャ判定部115は、上述したテキストの範囲と、インクストロークの形状とに基づいて、インクストロークが描画ジェスチャであるか否かを判定する。ジェスチャ判定部115は、インクストロークが描画ジェスチャである場合(ステップS103:YES)に、処理をステップS111に進める。また、ジェスチャ判定部115は、インクストロークが描画ジェスチャでない場合(ステップS103:NO)に、処理をステップS104に進める。
【0068】
ステップS104において、タブレット端末1のテキスト認識部113は、インクストロークがテキストであるか否かを判定する。テキスト認識部113は、インクストロークが文字などのテキストとして認識できるか否かにより、インクストロークがテキストであるか否かを判定する。テキスト認識部113は、インクストロークがテキストである場合(ステップS104:YES)に、処理をステップS105に進める。まら、テキスト認識部113は、インクストロークがテキストでない場合(ステップS104:NO)に、処理をステップS108に進める。
【0069】
ステップS105において、テキスト認識部113は、手書きのテキストを認識する。すなわち、テキスト認識部113は、インクストロークからテキストを認識し、テキストデータを生成する。
【0070】
次に、タブレット端末1の文字サイズ推定部114は、テキストの意図した文字サイズを推定する(ステップS106)。文字サイズ推定部114は、上述した
図5及び
図6に示すように、テキストの各文字の描画のサイズと、文字情報記憶部41が記憶する情報とに基づいて、ユーザが意図したテキストの文字サイズを推定する。
【0071】
次に、文字サイズ推定部114は、インクストロークと、テキストデータと、意図した文字サイズ及び描画位置を示す情報とを入力情報記憶部42に記憶させる(ステップS107)。文字サイズ推定部114は、例えば、インクストロークと、メタデータ(テキストデータと、実際の位置及びサイズを示す情報と、推定されたユーザが意図した文字の位置及びサイズを示す情報、等)とを対応付けて、入力情報記憶部42に記憶させる。文字サイズ推定部114は、ステップS107の処理後に、処理をステップS101に戻す。
【0072】
また、ステップS108において、テキスト認識部113は、手書きの形状を認識する。すなわち、テキスト認識部113は、インクストロークから、例えば、三角や四角、丸などの形状を認識し、形状データ(例えば、形状のテキストデータ)を生成する。
【0073】
次に、文字サイズ推定部114は、テキストの意図した描画サイズを推定する(ステップS109)。文字サイズ推定部114は、テキストの場合と同様に、描画のサイズと、文字情報記憶部41が記憶する情報(例えば、三角や四角、丸などの形状情報)とに基づいて、ユーザが意図した描画サイズを推定する。
【0074】
次に、文字サイズ推定部114は、インクストロークと、形状データと、意図した描画サイズ及び描画位置を示す情報とを入力情報記憶部42に記憶させる(ステップS110)。文字サイズ推定部114は、例えば、インクストロークと、メタデータ(形状データと、実際の位置及びサイズを示す情報と、推定されたユーザが意図した描画の位置及びサイズを示す情報、等)とを対応付けて、入力情報記憶部42に記憶させる。文字サイズ推定部114は、ステップS110の処理後に、処理をステップS101に戻す。
【0075】
また、ステップS111において、タブレット端末1のジェスチャ処理部116は、描画ジェスチャに対応するコマンド処理を実行する。ジェスチャ処理部116は、例えば、
図7に示すような、“Break”や“Join”、等の編集処理を実行する。ステップS111の処理後に、処理をステップS101に戻す。
【0076】
次に、
図10のステップS103の描画ジェスチャの判定処理の詳細について説明する。
図11は、本実施形態によるタブレット端末1の描画ジェスチャの判定処理の一例を示すフローチャートである。
【0077】
図11に示すように、ジェスチャ判定部115は、まず、インクストロークが、既存のオブジェクト上又は近くにあるか否かを判定する(ステップS201)。ジェスチャ判定部115は、入力情報記憶部42が記憶する既存のインクストロークであるテキストや描画をオブジェクトとして、新たなインクストロークが、既に表示されているオブジェクト上又は近くにあるか否かを判定する。ジェスチャ判定部115は、まず、インクストロークが、既存のオブジェクト上又は近くにある場合(ステップS201:YES)に、処理をステップS202に進める。また、ジェスチャ判定部115は、まず、インクストロークが、既存のオブジェクト上及び近くにない場合(ステップS201:NO)に、処理をステップS206に進める。
【0078】
ステップS202において、ジェスチャ判定部115は、対象のオブジェクトを設定する。ジェスチャ判定部115は、インクストロークが、描画上にある又は近いオブジェクトを、対象のオブジェクトに設定し、当該対象のオブジェクトに対応する情報を入力情報記憶部42から取得する。
【0079】
次に、ジェスチャ判定部115は、インクストロークが、対象のオブジェクトに対して、描画ジェスチャの形状/サイズ/位置を有するか否かを判定する(ステップS203)。ジェスチャ判定部115は、例えば、入力情報記憶部42が記憶するユーザが意図した描画の位置及びサイズを示す情報であるテキストの範囲に基づいて、描画ジェスチャの形状/サイズ/位置を有するか否かを判定する。ジェスチャ判定部115は、インクストロークが、対象のオブジェクトに対して、描画ジェスチャの形状/サイズ/位置を有する場合(ステップS203:YES)に、処理をステップS204に進める。また、ジェスチャ判定部115は、インクストロークが、対象のオブジェクトに対して、描画ジェスチャの形状/サイズ/位置を有していない場合(ステップS203:NO)に、処理をステップS205に進める。
【0080】
ステップS204において、ジェスチャ判定部115は、インクストロークが対象のオブジェクトに対する描画ジェスチャであると判定する。すなわち、ジェスチャ判定部115は、例えば、
図8に示すような場合に、新たなインクストロークが対象のオブジェクトに対する描画ジェスチャであると判定する。この場合、ジェスチャ判定部115は、上述した
図10のステップS103において、“YES”と判定する。ステップS204の処理後に、ジェスチャ判定部115は、描画ジェスチャの判定処理を終了(完了)する。
【0081】
また、ステップS205において、ジェスチャ判定部115は、インクストロークが対象のオブジェクトに対する描画ジェスチャでないと判定する。すなわち、ジェスチャ判定部115は、例えば、
図9に示すような場合に、新たなインクストロークが対象のオブジェクトに対する描画ジェスチャでないと判定する。この場合、ジェスチャ判定部115は、上述した
図10のステップS103において、“NO”と判定する。ステップS205の処理後に、ジェスチャ判定部115は、描画ジェスチャの判定処理を終了(完了)する。
【0082】
また、ステップS206において、ジェスチャ判定部115は、インクストロークが、描画ジェスチャの形状/サイズ/位置を有するか否かを判定する。ここでは、ジェスチャ判定部115は、インクストロークが単独で描画ジェスチャに相当するか否かを判定する。ジェスチャ判定部115は、インクストロークが、描画ジェスチャの形状/サイズ/位置を有する場合(ステップS206:YES)に、処理をステップS207に進める。また、ジェスチャ判定部115は、インクストロークが、描画ジェスチャの形状/サイズ/位置を有していない場合(ステップS206:NO)に、処理をステップS208に進める。
【0083】
ステップS207において、ジェスチャ判定部115は、インクストロークが描画ジェスチャであると判定する。この場合、ジェスチャ判定部115は、上述した
図10のステップS103において、“YES”と判定する。ステップS207の処理後に、ジェスチャ判定部115は、描画ジェスチャの判定処理を終了(完了)する。
【0084】
また、ステップS208において、ジェスチャ判定部115は、インクストロークが描画ジェスチャでないと判定する。この場合、ジェスチャ判定部115は、上述した
図10のステップS103において、“NO”と判定する。ステップS208の処理後に、ジェスチャ判定部115は、描画ジェスチャの判定処理を終了(完了)する。
【0085】
このように、制御部10(プロセッサ11)は、メインメモリ12に記憶されたプログラムを実行することにより、インクストロークのサイズ及び位置属性(例えば、文字サイズ及び描画位置を示す情報)と、手書きテキストオブジェクトのサイズ及び位置属性との比較に基づいて、インクストロークがジェスチャストローク(例えば、描画ジェスチャ)であるか否かを判定する処理と、インクストロークがジェスチャストロークであると判定された場合に、インクストロークに対応するジェスチャに基づいて、表示されている手書きテキストオブジェクトを変更する処理とを行う。
【0086】
以上説明したように、本実施形態によるタブレット端末1(情報処理装置)は、入力部と、表示部21と、表示制御部112と、テキスト認識部113と、文字サイズ推定部114とを備える。ここで、入力部は、例えば、表示部21の画面上に配置され、画面上に操作媒体(例えば、ペン)が接触することで、手書き入力(インクストローク)を検出可能なタッチセンサ部22である。タッチセンサ部22は、手書き入力を検出可能である。表示部21は、手書き入力の軌跡を表示可能である。表示制御部112は、タッチセンサ部22によって検出された手書き入力の軌跡を表示部21に表示する。テキスト認識部113は、タッチセンサ部22が検出した手書き入力に基づいて、テキストを認識する。文字サイズ推定部114は、テキストの各文字の描画のサイズを取得し、各文字の標準的な高さに関する情報に基づいて、ユーザが意図したテキストの文字サイズを推定し、文字サイズ及び描画位置を示す情報(例えば、ユーザが意図した文字サイズに対応したテキストの範囲)を生成する。
【0087】
これにより、本実施形態によるタブレット端末1は、ユーザが意図したテキストの文字サイズ及び描画位置を示す情報を生成するため、フリーサイズの手書き入力に対して、文字サイズ及び描画位置を適切に把握することができる。したがって、本実施形態によるタブレット端末1では、従来技術のように、罫線を表示して文字サイズ及び描画位置を制限する必要がなく、フリーサイズ又は自由な位置の手書き入力に適切に対応することができる。
【0088】
なお、本実施形態によるタブレット端末1は、例えば、文字を認識後に文字構造を把握した上で文字の基線情報(例えば、各文字のベースライン、キャップライン、及びミーンライン)を基準とすることができるため、各文字の意図された位置をより正確に把握できる。
【0089】
また、本実施形態によるタブレット端末1は、ジェスチャ判定部115と、ジェスチャ処理部116とを備える。ジェスチャ判定部115は、文字サイズ推定部114が生成した文字サイズ及び描画位置を示す情報により設定されたテキストの範囲に基づいて、タッチセンサ部22によって新たに検出された手書き入力(インクストローク)の軌跡が、テキストを編集する描画ジェスチャであると判定する。ジェスチャ処理部116は、ジェスチャ判定部115が判定した描画ジェスチャに応じた編集処理を、テキストに対して実行する(例えば、
図7及び
図8参照)。
【0090】
これにより、本実施形態によるタブレット端末1は、フリーサイズの手書き入力に対して、描画ジェスチャを適切に判定し、描画ジェスチャに応じた編集処理を適切に実行することができる。本実施形態によるタブレット端末1は、例えば、
図7及び
図8に示すような描画ジェスチャに応じた編集処理を適切に実行することができる。
【0091】
また、本実施形態では、ジェスチャ判定部115は、新たに検出された手書き入力の軌跡が、テキストの範囲を超える場合に、新たに検出された手書き入力の軌跡が、描画ジェスチャであると判定する(例えば、
図8参照)。
【0092】
これにより、本実施形態によるタブレット端末1は、フリーサイズの手書き入力に対して、テキストの範囲を用いて、テキストに対する描画ジェスチャをより適切に判定することができる。
【0093】
また、本実施形態では、テキストの範囲は、テキストの縦方向の上限線及び下限線を含む。文字サイズ推定部114は、各文字の文字サイズの上限の平均線を上限線に設定し、各文字の文字サイズの下限の平均線を下限線に設定する(
図6(d)の平均線L1及び平均線L2参照)。
【0094】
これにより、本実施形態によるタブレット端末1は、例えば、
図7に示す “Break”や“Join”のような描画ジェスチャを、より適切に判定することができる。
なお、テキストの範囲を単純に
図5(a)の範囲R1のように、実際に検出されたインクストロークの範囲にすると、範囲が大きくなり、その分大きなインクストロークの描画ジェスチャが必要になる。これに対して、本実施形態によるタブレット端末1は、各文字の文字サイズの上限の平均線及び下限の平均線を、テキストの範囲とするため、
図5(b)に示すように、最低限の大きさのインクストロークにより、描画ジェスチャを判定することができる。
【0095】
また、本実施形態によるタブレット端末1(情報処理装置)は、表示部21と、表示部21の画面上に配置され、画面上における物体との接触を検出するタッチセンサ部22とを含むタッチスクリーン20と、プログラムを一時的に記憶するメモリ(例えば、メインメモリ12)と、タッチスクリーン20に接続され、メモリに記憶されたプログラムを実行するプロセッサ11とを備える。プロセッサ11は、メモリに記憶されたプログラムを実行することにより、タッチスクリーン20のタッチセンサ部22を介して、タッチスクリーン20の表示部21に表示されている既存の手書きテキストオブジェクト上、又は隣接するインクストロークを受信する処理と、インクストロークのサイズ及び位置属性と、手書きテキストオブジェクトのサイズ及び位置属性との比較に基づいて、インクストロークがジェスチャストローク(例えば、描画ジェスチャ)であるか否かを判定する処理と、インクストロークがジェスチャストロークであると判定された場合に、インクストロークに対応するジェスチャに基づいて、表示されている手書きテキストオブジェクトを変更する処理とを行う。
【0096】
これにより、本実施形態によるタブレット端末1は、フリーサイズの手書き入力に対して、ジェスチャストローク(例えば、描画ジェスチャ)を適切に判定し、ジェスチャストロークに応じた編集処理(手書きテキストオブジェクトを変更する処理)を適切に実行することができる。
【0097】
また、本実施形態による制御方法は、手書き入力(インクストローク)を検出可能なタッチセンサ部22と、手書き入力の軌跡を表示可能な表示部21とを備えるタブレット端末1の制御方法であって、表示制御ステップと、テキスト認識ステップと、文字サイズ推定ステップとを含む。表示制御ステップにおいて、表示制御部112が、タッチセンサ部22によって検出された手書き入力の軌跡を表示部21に表示する。テキスト認識ステップにおいて、テキスト認識部113が、タッチセンサ部22によって検出された手書き入力に基づいて、テキストを認識する。文字サイズ推定ステップにおいて、文字サイズ推定部114が、テキストの各文字の描画のサイズを取得し、取得したテキストの各文字の描画のサイズと、各文字の標準的な高さに関する情報とに基づいて、ユーザが意図したテキストの文字サイズを推定し、文字サイズ及び描画位置を示す情報(例えば、テキストの範囲)を生成する。
これにより、本実施形態による制御方法は、上述したタブレット端末1と同様の効果を奏し、フリーサイズの手書き入力に対して、文字サイズ及び描画位置を適切に把握することができる。
【0098】
また、本実施形態による制御方法は、ジェスチャ判定ステップと、ジェスチャ処理ステップとを含む。ジェスチャ判定ステップにおいて、ジェスチャ判定部115は、文字サイズ推定ステップによって生成された文字サイズ及び描画位置を示す情報により設定されたテキストの範囲に基づいて、タッチセンサ部22によって新たに検出された手書き入力の軌跡が、テキストを編集する描画ジェスチャであると判定する。ジェスチャ処理ステップにおいて、ジェスチャ処理部116が、ジェスチャ判定ステップによって判定された描画ジェスチャに応じた編集処理を、テキストに対して実行する。
【0099】
また、本実施形態による制御方法は、フリーサイズ又は自由な位置の手書き入力に対して、描画ジェスチャを適切に判定し、描画ジェスチャに応じた編集処理を適切に実行することができる。
【0100】
ところで、描画ジェスチャ技術において、鍵となる技術は、タブレット端末1などの装置に手書きで与えられたペンの軌跡が、描画されるべきものなのか、それとも描画ジェスチャに使われるべきものなのかを正確に判定することである。例えば、ユーザが描画ジェスチャを行うつもりでペンを動かしたのに、その軌跡が描画されてしまう場合には、描画ジェスチャの利便性は大きく損なわれることがある。
描画ジェスチャの判定には、通常、以下の手法などが考えられる。
(1)文字の描画ではありえないペンの軌跡をジェスチャとして用いる。
(2)描画されるべき文字よりも特異的に大きい、又は小さい軌跡をジェスチャとして用いる。
【0101】
上述の(2)の手法において、従来技術では、ユーザが描画可能な文字の大きさを予め画面上に表示された罫線などで指定し、想定される文字の大きさを限定する手法が用いられている。この場合、想定される文字の大きさを予め指定し、固定化することにより、描画ジェスチャの判定が容易、且つ、正確に行うことができる。
しかしながら、このような従来技術では、描画ジェスチャに対応可能な文字の大きさが、予め指定したサイズに固定化され、自由なサイズ及び位置の手書き入力に対応させることが困難であった。
【0102】
また、このような従来技術では、ペン描画やタッチ等による摩耗を防ぐため、通常ガラスなどの硬い材料で画面を保護していることがある。また、画面の視認性を向上させるため、保護表面は平滑化処理がなされている場合が多い。そのため、このような固く平滑な表面への描画では、紙への描画と比較して、ペンの滑りがより多く発生する。このような場合、一部の描線は、ユーザの意図と反してしばしば長く伸びてしまうことがある。そのため、手書き入力は、部分的に長い描線を含む文字となり、文字の大きさは、ユーザが意図しているものよりも大幅に大きくなる。このような文字の上で描画ジェスチャを行った場合、大きさ判定をベースとした従来技術の判定手法を用いると、描画ジェスチャを正確に判定することが困難であった。
【0103】
これに対して、本実施形態によるタブレット端末1及び制御方法では、自由なサイズ及び描画位置の手書き入力により描画された文字のサイズ及び描画位置を正確に検出することができるため、自由な位置及び大きさで描画された文字に対して行う描画ジェスチャを、より正確に検出することができる。
【0104】
また、本実施形態によるタブレット端末1及び制御方法では、上述の描画ジェスチャの正確な検出に加えて、さらに手書き文字編集が容易になるという効果が得られる。例えば手書き文字の間隔を調整したり、手書き文字の上下位置を揃えたりする処理を行う場合、予め手書き文字の大きさや描画位置を正確に検出することが必要になる。本実施形態によるタブレット端末1及び制御方法では、このような編集もよりユーザの意図に沿った形で行うことが可能になる。
【0105】
なお、本実施形態によるタブレット端末1(情報処理装置)は、以下の形態であってもよい。本実施形態によるタブレット端末1(情報処理装置)は、手書き入力を検出可能なタッチセンサ部22(入力部)と、手書き入力の軌跡を表示可能な表示部21と、プログラムを一時的に記憶するメインメモリ12(メモリ)と、メインメモリ12に記憶されたプログラムを実行するプロセッサ11とを備える。プロセッサ11は、表示制御処理と、テキスト認識処理と、文字サイズ推定処理とを実行する。表示制御部112は、表示制御処理として、タッチセンサ部22によって検出された手書き入力の軌跡を表示部21に表示する。テキスト認識部113は、テキスト認識処理として、タッチセンサ部22が検出した手書き入力に基づいて、テキストを認識する。文字サイズ推定部114は、文字サイズ推定処理として、テキストの各文字の描画のサイズを取得し、各文字の標準的な高さに関する情報に基づいて、ユーザが意図したテキストの文字サイズを推定し、文字サイズ及び描画位置を示す情報を生成する。
【0106】
これにより、本実施形態によるタブレット端末1は、上述した制御方法と同様の効果を奏し、フリーサイズの手書き入力に対して、文字サイズ及び描画位置を適切に把握することができる。
【0107】
なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の実施形態において、情報処理装置が、タブレット端末1である例を説明したが、これに限定されるものではない。情報処理装置は、例えば、スマートフォンやタブレットモードを備えるノートブック型パーソナルコンピュータ、デスクトップ型パーソナルコンピュータなどであってもよい。
【0108】
また、上記の実施形態において、タブレット端末1のOSが、Android(登録商標)である例を説明したがこれに限定されるものではなく、例えば、iOS(登録商標)や、Windows(登録商標)、Linux(登録商標)などの他のOSであってもよい。
【0109】
また、上記の実施形態において、操作媒体が、ペンである例を説明したが、これに限定されるものではなく、ユーザの指や電子ペンなどの他の操作媒体であってもよい。
また、上記の実施形態において、入力部がタッチセンサ部22である例を説明したが、これに限定されるものではなく、マウスやタッチパッド、ポインティング・スティックなどのポインティングデバイスであってもよい。入力部は、手書き入力が可能な入力デバイスであれば、他の入力デバイスであってもよい。
【0110】
また、上記の実施形態において、タブレット端末1は、文字サイズ推定部114が生成した文字サイズ及び描画位置を示す情報を描画ジェスチャの判定に用いる例を説明したが、これに限定されるものではない。文字サイズ推定部114が生成した文字サイズ及び描画位置を示す情報は、例えば、デジタルテキストの改行処理や、表示文字の大きさ及び配置の調整処理、等に用いてもよい。
【0111】
この場合、タブレット端末1は、単語ごとに文字サイズ及び描画位置を確認した上で、単語の位置を整列させて表示文字の大きさ及び配置の調整処理するようにしてもよいし、各文字ごとに文字サイズ及び描画位置を確認した上で、単語の位置を整列させて表示文字の大きさ及び配置の調整処理するようにしてもよい。また、タブレット端末1は、単語の位置を整列させる場合に、例えば、ベースラインが一致するように単語の位置を整列させてもよいし、ハーフラインが一致するように単語の位置を整列させてもよい。
【0112】
また、上記の実施形態において、ユーザが意図したテキストの範囲として、各文字の文字サイズの上限の平均線及び下限の平均線を用いる例を説明したが、これに限定されるものではなく、例えば、中央値の平行線、等、他の平行線をもちいてもよい。
【0113】
また、上記の実施形態において、テキストの範囲は、平行線(水平線)により囲まれた範囲を用いる例を説明したが、これに限定されるものではなく、曲線や斜め線など他の線により囲まれた範囲を用いてもよい。
【0114】
また、上記の実施形態において、各文字の文字サイズの推定を、ベースライン、キャップライン、及びミーンラインを基準として用いる例を説明したが、これに限定されるものではなく、例えば、小文字のベースラインから下へ伸びた最下点の平行線であるディセンダライン、等を用いてもよい。また、文字サイズの下限線に、ベースラインを用いる例を説明したが、ディセンダラインを文字サイズの下限線に適用するようにしてもよい。また、描画ジェスチャの前後の文字列が小文字である場合には、前後の文字列のミーンラインを上限線として用いてもよい。
【0115】
なお、上述したタブレット端末1が備える各構成は、内部に、コンピュータシステムを有している。そして、上述したタブレット端末1が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したタブレット端末1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0116】
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
【0117】
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にタブレット端末1が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0118】
また、上述した機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【符号の説明】
【0119】
1 タブレット端末
10 制御部
11 プロセッサ
12 メインメモリ
13 フラッシュメモリ
20 タッチスクリーン
21 表示部
22 タッチセンサ部
23 周辺デバイス
30 ペン
40 記憶部
41 文字情報記憶部
42 入力情報記憶部
50 アプリケーション
111 入力制御部
112 表示制御部
113 テキスト認識部
114 文字サイズ推定部
115 ジェスチャ判定部
116 ジェスチャ処理部
【手続補正書】
【提出日】2023-04-12
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
手書き入力を検出可能な入力部と、
前記手書き入力の軌跡を表示可能な表示部と、
前記入力部によって検出された前記手書き入力の軌跡を前記表示部に表示する表示制御部と、
前記入力部が検出した前記手書き入力に基づいて、テキストを認識するテキスト認識部と、
前記テキストの各文字の描画のサイズを取得し、各文字の標準的な高さに関する情報に基づいて、ユーザが意図した前記テキストの文字サイズを推定し、前記文字サイズ及び描画位置を示す情報を生成する文字サイズ推定部と
を備える情報処理装置。
【請求項2】
前記文字サイズ推定部が生成した前記文字サイズ及び前記描画位置を示す情報により設定された前記テキストの範囲に基づいて、前記入力部によって新たに検出された前記手書き入力の軌跡が、前記テキストを編集する描画ジェスチャであると判定するジェスチャ判定部と、
前記ジェスチャ判定部が判定した前記描画ジェスチャに応じた編集処理を、前記テキストに対して実行するジェスチャ処理部と
を備える請求項1に記載の情報処理装置。
【請求項3】
前記ジェスチャ判定部は、前記新たに検出された前記手書き入力の軌跡が、前記テキストの範囲を超える場合に、前記新たに検出された前記手書き入力の軌跡が、前記描画ジェスチャであると判定する
請求項2に記載の情報処理装置。
【請求項4】
前記テキストの範囲は、前記テキストの縦方向の上限線及び下限線を含む
請求項2又は請求項3に記載の情報処理装置。
【請求項5】
前記文字サイズ推定部は、各文字の文字サイズの上限の平均線を前記上限線に設定し、各文字の文字サイズの下限の平均線を前記下限線に設定する
請求項4に記載の情報処理装置。
【請求項6】
前記入力部は、前記表示部の画面上に配置され、前記画面上に操作媒体が接触することで、前記手書き入力を検出可能なタッチセンサ部である
請求項1から請求項5のいずれか一項に記載の情報処理装置。
【請求項7】
表示部と、前記表示部の画面上に配置され、前記画面上における物体との接触を検出するタッチセンサ部とを含むタッチスクリーンと、
プログラムを一時的に記憶するメモリと、
前記タッチスクリーンに接続され、前記メモリに記憶された前記プログラムを実行するプロセッサと
を備え、
前記プロセッサは、
前記メモリに記憶された前記プログラムを実行することにより、
前記タッチスクリーンの前記タッチセンサ部を介して、前記タッチスクリーンの前記表示部に表示されている既存の手書きテキストオブジェクト上、又は隣接するインクストロークを受信する処理と、
前記インクストロークのサイズ及び位置属性と、前記手書きテキストオブジェクトのサイズ及び位置属性との比較に基づいて、前記インクストロークがジェスチャストロークであるか否かを判定する処理と、
前記インクストロークが前記ジェスチャストロークであると判定された場合に、前記インクストロークに対応するジェスチャに基づいて、表示されている前記手書きテキストオブジェクトを変更する処理と、
前記インクストロークが前記ジェスチャストロークではないと判定された場合に、表示されている前記手書きテキストオブジェクトにおける前記インクストロークに対応する位置に前記インクストロークに対応する描画線を追加して表示する処理と
を行う情報処理装置。
【請求項8】
手書き入力を検出可能な入力部と、前記手書き入力の軌跡を表示可能な表示部とを備える情報処理装置の制御方法であって、
表示制御部が、前記入力部によって検出された前記手書き入力の軌跡を前記表示部に表示する表示制御ステップと、
テキスト認識部が、前記入力部によって検出された前記手書き入力に基づいて、テキストを認識するテキスト認識ステップと、
文字サイズ推定部が、前記テキストの各文字の描画のサイズを取得し、各文字の標準的な高さに関する情報に基づいて、ユーザが意図した前記テキストの文字サイズを推定し、前記文字サイズ及び描画位置を示す情報を生成する文字サイズ推定ステップと
を含む制御方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0012
【補正方法】変更
【補正の内容】
【0012】
また、本発明の一態様は、表示部と、前記表示部の画面上に配置され、前記画面上における物体との接触を検出するタッチセンサ部とを含むタッチスクリーンと、プログラムを一時的に記憶するメモリと、前記タッチスクリーンに接続され、前記メモリに記憶された前記プログラムを実行するプロセッサとを備え、前記プロセッサは、前記メモリに記憶された前記プログラムを実行することにより、前記タッチスクリーンの前記タッチセンサ部を介して、前記タッチスクリーンの前記表示部に表示されている既存の手書きテキストオブジェクト上、又は隣接するインクストロークを受信する処理と、前記インクストロークのサイズ及び位置属性と、前記手書きテキストオブジェクトのサイズ及び位置属性との比較に基づいて、前記インクストロークがジェスチャストロークであるか否かを判定する処理と、前記インクストロークが前記ジェスチャストロークであると判定された場合に、前記インクストロークに対応するジェスチャに基づいて、表示されている前記手書きテキストオブジェクトを変更する処理と、前記インクストロークが前記ジェスチャストロークではないと判定された場合に、表示されている前記手書きテキストオブジェクトにおける前記インクストロークに対応する位置に前記インクストロークに対応する描画線を追加して表示する処理とを行う情報処理装置である。