IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ レノボ・シンガポール・プライベート・リミテッドの特許一覧

<>
  • 特開-情報処理装置、及び制御方法 図1
  • 特開-情報処理装置、及び制御方法 図2
  • 特開-情報処理装置、及び制御方法 図3
  • 特開-情報処理装置、及び制御方法 図4
  • 特開-情報処理装置、及び制御方法 図5
  • 特開-情報処理装置、及び制御方法 図6
  • 特開-情報処理装置、及び制御方法 図7
  • 特開-情報処理装置、及び制御方法 図8
  • 特開-情報処理装置、及び制御方法 図9
  • 特開-情報処理装置、及び制御方法 図10
  • 特開-情報処理装置、及び制御方法 図11
  • 特開-情報処理装置、及び制御方法 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024159237
(43)【公開日】2024-11-08
(54)【発明の名称】情報処理装置、及び制御方法
(51)【国際特許分類】
   G06F 3/04883 20220101AFI20241031BHJP
   G06F 3/041 20060101ALI20241031BHJP
【FI】
G06F3/04883
G06F3/041 600
G06F3/041 595
【審査請求】有
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023075091
(22)【出願日】2023-04-28
(11)【特許番号】
(45)【特許公報発行日】2024-10-07
(71)【出願人】
【識別番号】505205731
【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100206081
【弁理士】
【氏名又は名称】片岡 央
(72)【発明者】
【氏名】野村 良太
(72)【発明者】
【氏名】ヴ トラン ミン クオン
(72)【発明者】
【氏名】阿邊 恭介
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA13
5E555BA03
5E555BB03
5E555BC19
5E555CA12
5E555CB10
5E555CB11
5E555CB21
5E555CB59
5E555DB56
5E555EA19
5E555EA24
5E555FA00
(57)【要約】
【課題】手書き入力において、手書きの良さを維持しつつ、きれいな文字を表示する。
【解決手段】情報処理装置は、入力された手書きストロークを角の部分で分割し、分割した部分ストロークを生成する分割処理部と、前記分割処理部が分割した前記部分ストロークを、漢字の文字を構成する基本パターンである複数の文字要素のうちのいずれかに分類する分類処理部と、前記分類処理部が分類した前記文字要素に対応するブラシ情報及び筆圧特性に基づいて、前記部分ストロークの形状を調整して、前記部分ストロークを表示部に表示するレンダリング処理部とを備え、前記分類処理部は、前記文字要素における前記部分ストロークの描画方向を示す角度であるストローク角度の許容範囲と、前記部分ストロークの前後の接続関係とに基づいて、不適切な前記文字要素への分類を除外するフィルタリング処理を用いて、前記部分ストロークを分類する。
【選択図】図3
【特許請求の範囲】
【請求項1】
入力された手書きストロークを角の部分で分割し、分割した部分ストロークを生成する分割処理部と、
前記分割処理部が分割した前記部分ストロークを、漢字の文字を構成する基本パターンである複数の文字要素のうちのいずれかに分類する分類処理部と、
前記分類処理部が分類した前記文字要素に対応するブラシ情報及び筆圧特性に基づいて、前記部分ストロークの形状を調整して、前記部分ストロークを表示部に表示するレンダリング処理部と
を備え、
前記分類処理部は、前記文字要素における前記部分ストロークの描画方向を示す角度であるストローク角度の許容範囲と、前記部分ストロークの前後の接続関係とに基づいて、不適切な前記文字要素への分類を除外するフィルタリング処理を用いて、前記部分ストロークを分類する
情報処理装置。
【請求項2】
前記文字要素と、前記部分ストロークの前後の接続の可否、及び前記部分ストロークの単独の可否を前記ストローク角度の範囲ごとに示す接続可否情報とを対応付けて記憶するフィルタ情報記憶部を備え、
前記分類処理部は、前記フィルタ情報記憶部が記憶する前記文字要素に対応付けられた前記接続可否情報に基づいて、前記フィルタリング処理を実行する
請求項1に記載の情報処理装置。
【請求項3】
前記分類処理部は、予め指定した文字を利用者が手書きした文字の前記部分ストロークと、前記文字要素とを対応付けた学習データに、学習処理を実行して生成された分類モデルであって、前記部分ストロークから前記文字要素を分類する分類モデルに基づいて、前記部分ストロークの形状を分類する形状分類処理と、前記フィルタリング処理とを組み合わせて、前記部分ストロークを、前記文字要素に分類する
請求項2に記載の情報処理装置。
【請求項4】
前記分類処理部は、前記分類モデルに基づく前記形状分類処理により、前記文字要素の複数の候補を抽出し、前記フィルタリング処理により、前記複数の候補のうちから、不適切な前記文字要素を除外し、残りの候補のうち、確信度が閾値以上であり、且つ、前記確信度が最も高い候補の前記文字要素に、前記部分ストロークを分類する
請求項3に記載の情報処理装置。
【請求項5】
前記文字要素と、使用するブラシのサイズ、アスペクト比、及び角度とを含む前記ブラシ情報とを対応付けて記憶するブラシ情報記憶部と、
前記文字要素と、当該文字要素におけるストローク位置と筆圧との関係を示す圧力カーブとを対応づけて記憶する筆圧特性記憶部と
を備え、
前記レンダリング処理部は、前記ブラシ情報記憶部から、分類された前記文字要素に対応する前記ブラシ情報を取得し、前記筆圧特性記憶部から、分類された前記文字要素に対応する前記圧力カーブを取得し、取得した前記ブラシ情報及び前記圧力カーブに基づいて、前記部分ストロークの形状を調整する
請求項1から請求項4のいずれか一項に記載の情報処理装置。
【請求項6】
前記表示部と、
前記表示部の画面上の検出面における操作媒体の接触及び接触位置を検出するタッチセンサ部と、
前記タッチセンサ部が検出した前記操作媒体の接触位置に基づいて、前記手書きストロークの入力を検出する入力処理部と
を備え、
前記入力処理部は、前記手書きストロークの入力を検出するとともに、前記操作媒体の接触位置の移動軌跡を、入力された前記手書きストロークとして、前記表示部に表示し、
前記レンダリング処理部は、前記入力された前記手書きストロークに置き換えて、形状を調整した前記手書きストロークを表示部に表示する
請求項5に記載の情報処理装置。
【請求項7】
情報処理装置の制御方法であって、
分割処理部が、入力された手書きストロークを角の部分で分割し、分割した部分ストロークを生成する分割処理ステップと、
分類処理部が、前記分割処理部が分割した前記部分ストロークを、漢字の文字を構成する基本パターンである複数の文字要素のうちのいずれかに分類する分類処理ステップと、
レンダリング処理部が、前記分類処理部が分類した前記文字要素に対応するブラシ情報及び筆圧特性に基づいて、前記部分ストロークの形状を調整して、前記部分ストロークを表示部に表示するレンダリング処理ステップと
を含み、
前記分類処理ステップにおいて、前記分類処理部が、前記文字要素における前記部分ストロークの描画方向を示す角度であるストローク角度の許容範囲と、前記部分ストロークの前後の接続関係とに基づいて、不適切な前記文字要素への分類を除外するフィルタリング処理を用いて、前記部分ストロークを分類する
制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、及び制御方法に関する。
【背景技術】
【0002】
近年、タブレット端末などの情報処理装置において、手書き文字入力が可能なものが普及している(例えば、特許文献1を参照)。このような従来の情報処理装置では、手書き入力した文字を認識し、所定のフォントに変換する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-43851号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した従来の情報処理装置では、手書き入力した文字を、所定のフォントに変換することで、きれいな文字を表示することが可能である。しかしながら、従来の情報処理装置では、文字を所定のフォントに置き換えることで、利用者の筆跡が消失するとともに、手書きによる自由な文字の縦横比や大きなどの手書きの自由度が失われて、手書きの良さが消失する問題があった。一方で、従来の情報処理装置では、ペンで描いた文字を、ペンの筆圧などをもとに描画インクのレンダリング太さを調整し、表示することも可能である。しかし、そのような場合に、特に漢字のような複雑な文字でしばしば必要となる、トメ・ハネ・ハライのような、繊細なインク太さの調整が必要な描画は、紙に比べて表面が固く、滑りやすいタブレット端末では、非常に困難であった。すなわち、従来の情報処理装置では、手書きの良さを維持しつつ、きれいな文字を表示することが困難であった。
【0005】
本発明は、上記問題を解決すべくなされたもので、その目的は、手書き入力において、手書きの良さを維持しつつ、きれいな文字、特に漢字を表示することができる情報処理装置、及び制御方法を提供することにある。
【課題を解決するための手段】
【0006】
上記問題を解決するために、本発明の一態様は、入力された手書きストロークを角の部分で分割し、分割した部分ストロークを生成する分割処理部と、前記分割処理部が分割した前記部分ストロークを、漢字の文字を構成する基本パターンである複数の文字要素のうちのいずれかに分類する分類処理部と、前記分類処理部が分類した前記文字要素に対応するブラシ情報及び筆圧特性に基づいて、前記部分ストロークの形状を調整して、前記部分ストロークを表示部に表示するレンダリング処理部とを備え、前記分類処理部は、前記文字要素における前記部分ストロークの描画方向を示す角度であるストローク角度の許容範囲と、前記部分ストロークの前後の接続関係とに基づいて、不適切な前記文字要素への分類を除外するフィルタリング処理を用いて、前記部分ストロークを分類する情報処理装置である。
【0007】
また、本発明の一態様は、上記の情報処理装置において、前記文字要素と、前記部分ストロークの前後の接続の可否、及び前記部分ストロークの単独の可否を前記ストローク角度の範囲ごとに示す接続可否情報とを対応付けて記憶するフィルタ情報記憶部を備え、前記分類処理部は、前記フィルタ情報記憶部が記憶する前記文字要素に対応付けられた前記接続可否情報に基づいて、前記フィルタリング処理を実行してもよい。
【0008】
また、本発明の一態様は、上記の情報処理装置において、前記分類処理部は、予め指定した文字を利用者が手書きした文字の前記部分ストロークと、前記文字要素とを対応付けた学習データに、学習処理を実行して生成された分類モデルであって、前記部分ストロークから前記文字要素を分類する分類モデルに基づいて、前記部分ストロークの形状を分類する形状分類処理と、前記フィルタリング処理とを組み合わせて、前記部分ストロークを、前記文字要素に分類してもよい。
【0009】
また、本発明の一態様は、上記の情報処理装置において、前記分類処理部は、前記分類モデルに基づく前記形状分類処理により、前記文字要素の複数の候補を抽出し、前記フィルタリング処理により、前記複数の候補のうちから、不適切な前記文字要素を除外し、残りの候補のうち、確信度が閾値以上であり、且つ、前記確信度が最も高い候補の前記文字要素に、前記部分ストロークを分類してもよい。
【0010】
また、本発明の一態様は、上記の情報処理装置において、前記文字要素と、使用するブラシのサイズ、アスペクト比、及び角度とを含む前記ブラシ情報とを対応付けて記憶するブラシ情報記憶部と、前記文字要素と、当該文字要素におけるストローク位置と筆圧との関係を示す圧力カーブとを対応づけて記憶する筆圧特性記憶部とを備え、前記レンダリング処理部は、前記ブラシ情報記憶部から、分類された前記文字要素に対応する前記ブラシ情報を取得し、前記筆圧特性記憶部から、分類された前記文字要素に対応する前記圧力カーブを取得し、取得した前記ブラシ情報及び前記圧力カーブに基づいて、前記部分ストロークの形状を調整してもよい。
【0011】
また、本発明の一態様は、上記の情報処理装置において、前記表示部と、前記表示部の画面上の検出面における操作媒体の接触及び接触位置を検出するタッチセンサ部と、前記タッチセンサ部が検出した前記操作媒体の接触位置に基づいて、前記手書きストロークの入力を検出する入力処理部とを備え、前記入力処理部は、前記手書きストロークの入力を検出するとともに、前記操作媒体の接触位置の移動軌跡を、入力された前記手書きストロークとして、前記表示部に表示し、前記レンダリング処理部は、前記入力された前記手書きストロークに置き換えて、形状を調整した前記手書きストロークを表示部に表示してもよい。
【0012】
また、本発明の一態様は、情報処理装置の制御方法であって、分割処理部が、入力された手書きストロークを角の部分で分割し、分割した部分ストロークを生成する分割処理ステップと、分類処理部が、前記分割処理部が分割した前記部分ストロークを、漢字の文字を構成する基本パターンである複数の文字要素のうちのいずれかに分類する分類処理ステップと、レンダリング処理部が、前記分類処理部が分類した前記文字要素に対応するブラシ情報及び筆圧特性に基づいて、前記部分ストロークの形状を調整して、前記部分ストロークを表示部に表示するレンダリング処理ステップとを含み、前記分類処理ステップにおいて、前記分類処理部が、前記文字要素における前記部分ストロークの描画方向を示す角度であるストローク角度の許容範囲と、前記部分ストロークの前後の接続関係とに基づいて、不適切な前記文字要素への分類を除外するフィルタリング処理を用いて、前記部分ストロークを分類する制御方法である。
【発明の効果】
【0013】
本発明の上記態様によれば、手書き入力において、手書きの良さを維持しつつ、きれいな文字(特に漢字)を表示することができる。
【図面の簡単な説明】
【0014】
図1】本実施形態によるタブレット端末及び情報処理システムの一例を示す外観図である。
図2】本実施形態によるタブレット端末及び情報処理システムの主要なハードウェア構成の一例を示す図である。
図3】本実施形態によるタブレット端末及び情報処理システムの機能構成の一例を示すブロック図である。
図4】本実施形態におけるブラシ情報記憶部のデータ例を示す図である。
図5】本実施形態における文字要素の一例を示す図である。
図6】本実施形態における筆圧特性記憶部のデータ例を示す図である。
図7】本実施形態におけるフィルタ情報記憶部のデータ例を示す図である。
図8】本実施形態におけるストローク角度の一例を示す図である。
図9】本実施形態におけるタブレット端末の手書き入力処理の概要を示す図である。
図10】本実施形態によるタブレット端末の手書き入力処理の一例を示すフローチャートである。
図11】本実施形態によるタブレット端末の分類処理の詳細を示すフローチャートである。
図12】本実施形態によるタブレット端末の学習処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明の一実施形態による情報処理装置、及び制御方法について、図面を参照して説明する。
【0016】
図1は、本実施形態によるタブレット端末1及び情報処理システム100の一例を示す外観図である。
図1に示すように、情報処理システム100は、タブレット端末1と、ペン30とを備える。なお、本実施形態において、情報処理装置の一例として、タブレット端末1について説明する。
【0017】
タブレット端末1は、筐体CS1の片方の主面に、タッチスクリーン20が設置されており、ペン30を用いて、例えば、メモ帳、描画などのアプリケーションプログラムを実行させる。タブレット端末1は、ペン30を用いて、手書き入力が可能である。なお、ペン30は、手書き入力の際に、様々なタイプのブラシ(筆)を設定可能である。
【0018】
タッチスクリーン20は、表示部21と、タッチセンサ部22とを備え、表示部21は、表示画面DFに各種情報を表示する。
タッチセンサ部22は、表示部21に重ねて配置されており、ペン30が、表示部21の表示画面DFに接触することを検出するとともに、ペン30の接触位置を検出する。
なお、タッチスクリーン20、表示部21、及びタッチセンサ部22の詳細については、後述する。
【0019】
次に、図2を参照して、タブレット端末1及び情報処理システム100の主要なハードウェア構成について説明する。
図2は、本実施形態によるタブレット端末1及び情報処理システム100の主要なハードウェア構成の一例を示す図である。
【0020】
図2に示すように、情報処理システム100は、タブレット端末1とペン30とを備える。また、タブレット端末1は、プロセッサ11と、メインメモリ12と、フラッシュメモリ13と、タッチスクリーン20と、周辺デバイス23と、オーディオシステム24と、マイク25と、スピーカ26と、ベースバンドチップ27と、無線部28と、無線通信部29とを備える。
【0021】
プロセッサ11は、例えば、CPU(Central Processing Unit)を含むアプリケーションプロセッサである。プロセッサ11は、タブレット端末1の全体を制御する。
【0022】
メインメモリ12は、プロセッサ11の実行プログラムの読み込み領域として、又は、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ12は、例えば、複数個のDRAM(Dynamic Random Access Memory)チップで構成される。この実行プログラムには、OS(Operating System:オペレーティングシステム)、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種サービス/ユーティリティ、アプリケーションプログラム(アプリケーションソフトウェア)、等が含まれる。
【0023】
フラッシュメモリ13は、例えば、フラッシュEEPROM(Electrically Erasable Programmable Read Only Memory)であり、OS、各種ドライバ、各種サービス/ユーティリティ、アプリケーションプログラム(以下、アプリケーションということがある)、及び各種データを記憶する。
【0024】
表示部21は、例えば、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイであり、プロセッサ11から出力された描画データ(表示データ)に基づく表示画面を表示する。表示部21は、例えば、ペン30の移動軌跡(描画軌跡)を表示可能である。
【0025】
タッチセンサ部22は、表示部21の画面上(表示画面DF上)におけるペン30などの操作媒体の位置と、ペン30の画面上への接触を検出する。タッチセンサ部22は、表示部21の画面上におけるペン30の接触位置を検出する。
【0026】
周辺デバイス23は、例えば、WLAN(Wireless Local Area Network)モジュール、GPS(Global Positioning System)モジュール、及び加速度センサなどのセンサ類、等である。
【0027】
オーディオシステム24は、例えば、オーディオIC(Integrated Circuit)であり、音データの入力、記録、再生、出力を行う。オーディオシステム24には、例えば、マイク25と、スピーカ26とが接続されている。オーディオシステム24は、例えば、マイク25が収音した音データを、プロセッサ11又はベースバンドチップ27に出力する。また、オーディオシステム24は、例えば、プロセッサ11又はベースバンドチップ27から取得した音データを音信号に変換して、スピーカ26に出力する。
【0028】
マイク25は、タブレット端末1の周辺の音を収音する。マイク25は、例えば、他の端末と音声融和する際に、利用者の音声等の音を収音する。
スピーカ26は、タブレット端末1の外部に、各種音を出力する。スピーカ26は、例えば、他の端末と音声融和する際に、他の端末から受信した音を出力(放音)する。
【0029】
ベースバンドチップ27は、例えば、4G(第4世代移動通信システム)や5G(第4世代移動通信システム)などの無線通信を制御する専用ICである。ベースバンドチップ27は、例えば、無線部28を用いて受信した音声データを、オーディオシステム24を介して、スピーカ26に出力させる。また、ベースバンドチップ27は、例えば、マイク25から収音した音データを、オーディオシステム24を介して取得し、無線部28を用いて、移動通信システムにより出力させる。また、ベースバンドチップ27は、移動通信システムによるデータ通信の入出力データを、プロセッサ11との間でデータ通信する。
【0030】
無線部28は、移動通信システムによる無線通信を行うための、アンテナを含む無線通信デバイスである。
無線通信部29は、例えば、Bluetooth(登録商標)モジュールであり、ペン30との間で無線通信を行う。無線通信部29は、例えば、ペン30が検出したセンサ情報(接触圧力やペン30の角度、等)を、ペン30から受信する。
【0031】
ペン30は、ペン形状の操作媒体であり、例えば、タッチペン、スタイラスペンなどである。ペン30は、例えば、Bluetooth(登録商標)などの無線通信により、タブレット端末1と通信可能である。ペン30は、無線通信部31と、センサ部32と、メモリ33と、MCU34とを備える。
【0032】
無線通信部31は、例えば、Bluetooth(登録商標)モジュールであり、タブレット端末1とペン30との間で無線通信を行う。無線通信部31は、例えば、センサ部32が検出したセンサ情報、等をタブレット端末1に送信する。
センサ部32は、ペン30の接触圧力(筆圧)、ペン30の角度、等のセンサ情報を検出する。
【0033】
メモリ33は、例えば、RAMなどで構成され、ペン30の制御プログラムの一部やMCU34の処理データを記憶する。なお、メモリ33は、RAMの他に、フラッシュメモリやROMなどを含んでいてもよい。
【0034】
MCU(Micro Controller Unit)34は、CPU、ROMやRAMなどのメモリ、I/O関連などを備え、ペン30を統括的に制御する。MCU34は、無線通信部31を介したタブレット端末1との間でデータ通信を制御する。MCU34は、例えば、センサ部32が検出したセンサ情報を、無線通信部31を介して、タブレット端末1に送信する。
【0035】
次に、図3を参照して、本実施形態による情報処理システム100の機能構成について説明する。
図3は、本実施形態によるタブレット端末1及び情報処理システム100の機能構成の一例を示すブロック図である。
【0036】
図3に示すように、情報処理システム100は、タブレット端末1とペン30とを備え、タブレット端末1は、制御部10と、タッチスクリーン20と、記憶部40とを備える。
【0037】
タッチスクリーン20は、表示部21と、タッチセンサ部22とを備える。
タッチセンサ部22は、表示部21の画面上の検出面における操作媒体(ペン30)の接触及び接触位置を検出する。タッチセンサ部22は、例えば、ペン入力として、表示部21の画面上におけるペン30の接触位置を検出する。タッチセンサ部22は、ペン30の接触位置として、例えば、表示部21の表示画面DF上の2次元座標を示す接触位置情報を検出する。タッチセンサ部22は、接触位置情報を制御部10に出力する。
【0038】
記憶部40は、例えば、メインメモリ12又はフラッシュメモリ13により実現される記憶部であり、ブラシ情報記憶部41と、筆圧特性記憶部42と、CE分類情報記憶部43と、フィルタ情報記憶部44と、手書きストローク記憶部45と、部分ストローク記憶部46と、学習データ記憶部47とを備える。
【0039】
ブラシ情報記憶部41は、例えば、メインメモリ12により実現される記憶部であり、漢字の文字を分割した基本部品(漢字の文字を構成する基本パターン)である文字要素(CE:Character Element)に対応するブラシ情報を記憶する。ここで、図4を参照して、ブラシ情報記憶部41のデータ例について説明する。
【0040】
図4は、本実施形態におけるブラシ情報記憶部41のデータ例を示す図である。
図4に示すように、ブラシ情報記憶部41は、CEID(文字要素ID)と、ブラシサイズと、アスペクト比と、標準ブラシ角と、標準ストローク角度とを対応付けて記憶する。
【0041】
CEIDは、文字要素を識別する文字要素識別情報である。また、ブラシサイズは、ブラシの大きさを示している。また、アスペクト比は、ブラシの縦横比であり横:縦の比を示している。また、標準ブラシ角は、当該文字要素の標準(基準)のブラシ角度を示し、標準ストローク角度は、当該文字要素のストロークの標準(基準)の角度を示している。
【0042】
例えば、図4に示す例では、CEIDが“CE001”の文字要素のブラシサイズが、“R1”であり、アスペクト比が“XX1:YY1”であることを示している。また、当該文字要素の標準ブラシ角が、“α1”であり、標準ストローク角度が“β1”であることを示している。
【0043】
ここで、図5を参照して、文字要素について説明する。
図5は、本実施形態における文字要素の一例を示す図である。図5では、漢字の「永」という文字を構成する文字要素について説明する。
【0044】
図5に示すように、漢字の「永」という文字は、文字要素CE1~文字要素CE8に分解される。文字要素CE1~文字要素CE8には、トメ、ハネ、ハライ、等が含まれており、文字要素CE1~文字要素CE8のそれぞれは、上述した図4に示すように、対応するブラシ情報が定義される。
【0045】
本実施形態では、様々な漢字文字から決定した、上述した文字要素CE1~文字要素CE8を含む複数の文字要素を定義し、定義した文字要素ごとに、レンダリング(描画)することで、漢字の文字の手書き入力において、きれいな文字の描画を実現する。
なお、ここでの「きれいな文字」とは、例えば、好みのフォントに似たレンダリングがされた文字のことである。
【0046】
図3の説明に戻り、筆圧特性記憶部42は、例えば、メインメモリ12により実現される記憶部であり、文字要素におけるストローク位置と筆圧との関係を示す圧力カーブ(筆圧特性)を記憶する。筆圧特性記憶部42は、例えば、文字要素の識別情報と、筆圧特性とを対応付けて記憶する。ここで、図6を参照して、筆圧特性記憶部42のデータ例について説明する。
【0047】
図6は、本実施形態における筆圧特性記憶部42のデータ例を示す図である。
図6に示すように、筆圧特性記憶部42は、CEIDと、筆圧特性とを対応付けて記憶する。
【0048】
例えば、図6に示す例では、CEIDが“CE001”に対応する筆圧特性は、波形W1のような圧力カーブであることを示している。なお、波形W1を示すグラフの横軸は、ストローク位置を示し、縦軸は、筆圧(圧力)を示している。圧力カーブにおいて、筆圧が高い程、レンダリングの際のストロークの線が太くなり、筆圧が低い程、レンダリングの際のストロークの線が細くなることを示している。
【0049】
CEIDが“CE001”に対応する筆圧特性(波形W1)では、ストローク位置が進むにしたがってストロークの線が太くなり、最後に急激に細くなる文字要素(図5に示す文字要素CE1)を示している。
【0050】
また、例えば、CEIDが“CE002”に対応する筆圧特性は、波形W2のような圧力カーブであることを示している。CEIDが“CE002”に対応する筆圧特性(波形W2)では、ストローク位置が進むに従ってストロークの線が一旦細くなった後に、再び太くなる文字要素(図5に示す文字要素CE2)を示している。
【0051】
再び、図3の説明に戻り、CE分類情報記憶部43は、例えば、メインメモリ12により実現される記憶部であり、文字要素を分類するための情報を記憶する。CE分類情報記憶部43は、例えば、機械学習により生成された学習済みモデルであり、後述する部分ストロークを、複数の文字要素のうちのいずれかに分類するための分類モデルを記憶する。CE分類情報記憶部43は、モデル記憶部の一例である。
【0052】
フィルタ情報記憶部44は、例えば、メインメモリ12により実現される記憶部であり、後述する文字要素を分類する際のフィルタリング処理のためのフィルタ情報を記憶する。なお、フィルタリング処理には、文字要素のストローク角度を制限する角度フィルタ処理と、接続関係を制限する接続フィルタ処理とが含まれる。フィルタ情報記憶部44は、ストローク角度の許容範囲と、部分ストロークの前後の接続関係とを示すフィルタ情報を記憶する。部分ストロークの詳細については後述する。
【0053】
フィルタ情報記憶部44は、例えば、文字要素と、部分ストロークの前後の接続の可否、及び部分ストロークの単独の可否をストローク角度の範囲ごとに示す接続可否情報とを対応付けて記憶する。ここで、図7を参照して、フィルタ情報記憶部44のデータ例について説明する。
【0054】
図7は、本実施形態におけるフィルタ情報記憶部44のデータ例を示す図である。
図7に示すように、フィルタ情報記憶部44は、CEIDと、各ストローク角度の範囲における部分ストロークの前後の接続の可否、及び部分ストロークの単独の可否とを対応付けて記憶する。
【0055】
ここで、“前接続”は、当該部分ストロークの前に部分ストロークが接続可能であるか否かを示し、“YES”の場合に、接続可能であり、“NO”の場合に接続不可であることを示している。また、“後接続”は、当該部分ストロークの後に部分ストロークが接続可能であるか否かを示し、“YES”の場合に、接続可能であり、“NO”の場合に接続不可であることを示している。また、“接続なし”は、当該部分ストロークが単独の状態があり得るか否かを示し、“YES”の場合に、単独で存在可能であり、“NO”の場合に単独での存在不可であることを示している。
【0056】
また、ストローク角度は、図8に示すように、部分ストロークの始点から終点を示す直線による角度であり、正方向のX軸を0度(基準)として、左回りに測定した角度βである。
【0057】
図8は、本実施形態におけるストローク角度の一例を示す図である。
図8において、XY座標の原点を部分ストロークSSの始点SPとし、始点SPから終点EPに向かう方向の角度βをストローク角度と定義する。すなわち、ストローク角度は、部分ストロークの始点から終点を示す直線による角度である。なお、各文字要素では、ストローク角度βの標準角度を標準ストローク角度として設定されている。
【0058】
なお、ストローク角度は、部分ストロークの始点における部分ストロークの描画方向を示す角度、又は、部分ストロークの終点における部分ストロークの描画方向を示す角度であってもよい。
【0059】
図7の説明に戻り、図7に示す例では、CEIDが“CE001”の文字要素は、ストローク角度が“0度≦β<30度”の範囲において、“前接続”、“後接続”、及び“接続なし”が“YES”であり、その他のストローク角度の範囲では、全て“NO”であることを示している。この場合、部分ストロークのストローク角が“0度≦β<30度”の範囲である場合に、当該文字要素は許可され、その他の場合に除外されることを示している。
【0060】
再び、図3の説明に戻り、手書きストローク記憶部45は、例えば、メインメモリ12により実現される記憶部であり、ペン30を用いてタッチセンサ部22により検出された手書きストロークデータを記憶する。手書きストローク記憶部45は、例えば、漢字文字を手書き入力する際のタッチセンサ部22による時系列の検出点の集合データを、手書きストロークとして記憶する。なお、手書きストローク記憶部45は、例えば、時系列の検出点の位置情報と、接触圧力(筆圧)とを対応付けて記憶する。
【0061】
部分ストローク記憶部46は、例えば、メインメモリ12により実現される記憶部であり、手書きストロークから生成された部分ストロークのデータを記憶する。部分ストロークの詳細については後述する。
【0062】
学習データ記憶部47は、例えば、メインメモリ12により実現される記憶部であり、上述した分類モデルを生成するための学習データを記憶する。学習データ記憶部47は、予め指定した文字を利用者が手書きした文字の部分ストロークと、文字要素とを対応付けた学習データを記憶する。
【0063】
制御部10は、例えば、プロセッサ11がメインメモリ12又はフラッシュメモリ13が記憶するプログラムを実行することで実現される機能部であり、OS(例えば、Android(登録商標)など)に基づく各種処理を実行する。制御部10は、入力処理部101と、分割処理部102と、分類処理部103と、レンダリング処理部104と、表示処理部105と、学習処理部106とを備える。
【0064】
入力処理部101は、プロセッサ11がメインメモリ12又はフラッシュメモリ13が記憶するプログラムを実行することで実現される機能部である。入力処理部101は、例えば、タッチセンサ部22による入力を制御するデバイスドライバであり、タッチセンサ部22の入力によって、表示部21の画面上(表示画面DF上)におけるペン30の位置や接触を検出する。
【0065】
また、入力処理部101は、例えば、ペン30から、接触圧力(筆圧)やペン30の角度情報を取得してもよい。本実施形態では、入力処理部101は、時系列の検出点の位置情報と、対応する接触圧力(筆圧)とを検出する。
【0066】
入力処理部101は、タッチセンサ部22が検出した操作媒体(例えば、ペン30)の接触位置に基づいて、手書きストロークの入力を検出する。すなわち、入力処理部101は、手書きストロークとして、検出したペン30の接触位置情報(位置座標)である時系列の検出点の位置情報と、接触圧力(筆圧)とを対応付けて、手書きストローク記憶部45に記憶させる。
【0067】
なお、手書きストローク、或いは、単に、ストロークとは、ペン30の接触(タッチ)からペン30の接触が離れる(アップ)までのペン先の軌跡の検出点の集合データを示し、当該ペン先の軌跡を表示部21の画面上(表示画面DF上)に表示したものを含めてもよい。
【0068】
また、入力処理部101は、手書きストロークの入力を検出するとともに、操作媒体の接触位置の移動軌跡を、入力された手書きストロークとして、表示部21に表示する。入力処理部は、後述する表示処理部105を介して、入力された手書きストロークを、一旦、表示部21に表示させる。
【0069】
分割処理部102は、プロセッサ11がメインメモリ12又はフラッシュメモリ13が記憶するプログラムを実行することで実現される機能部である。分割処理部102は、利用者によって入力された手書きストロークを角の部分で分割し、分割した部分ストロークを生成する。分割処理部102は、入力処理部101によって手書きストローク記憶部45に記憶された手書きストロークを部分ストロークに分割する。
【0070】
具体的に、図9のステップS11に示すように、分割処理部102は、2つの角を持つ手書きストロークST1を、角の部分で分割し、部分ストロークSS1、部分ストロークSS2、及び部分ストロークSS3を生成する。
分割処理部102は、分割した部分ストロークを、部分ストローク記憶部46に記憶させる。
【0071】
分類処理部103は、プロセッサ11がメインメモリ12又はフラッシュメモリ13が記憶するプログラムを実行することで実現される機能部である。分類処理部103は、分割処理部102が分割した部分ストロークを、漢字の文字を構成する基本パターンである複数の文字要素のうちのいずれかに分類する。分類処理部103は、文字要素における部分ストロークの描画方向を示す角度であるストローク角度の許容範囲と、部分ストロークの前後の接続関係とに基づいて、不適切な文字要素への分類を除外するフィルタリング処理を用いて、部分ストロークを分類する。
【0072】
分類処理部103は、形状分類処理と、フィルタリング処理とを組み合わせて、部分ストロークを文字要素に分類する。分類処理部103は、形状分類処理において、部分ストロークから文字要素を分類する分類モデルに基づいて、部分ストロークの形状を文字要素に分類する。ここで、分類モデルは、予め指定した文字を利用者が手書きした文字の部分ストロークと、文字要素とを対応付けた学習データに、学習処理を実行して生成された学習済みモデルである。なお、分類処理部103は、形状分類処理により、例えば、確信度(Confidence Level)とともに、文字要素の複数の候補を週出可能である。
【0073】
また、分類処理部103は、フィルタ情報記憶部44が記憶する文字要素に対応付けられた接続可否情報に基づいて、フィルタリング処理を実行する。分類処理部103は、接続可否情報により、文字要素の複数の候補のうちから、不適切な文字要素への分類を除外する。分類処理部103は、フィルタリング処理により、複数の候補のうちから、不適切な文字要素を除外し、残りの候補のうち、例えば、確信度が閾値以上であり、且つ、確信度が最も高い候補の文字要素に、部分ストロークを分類する。
【0074】
具体的に、図9のステップS12に示すように、分類処理部103は、分類モデルを用いた形状分類処理と、ストローク角度の許容範囲と部分ストロークの前後の接続関係とに基づくフィルタリング処理とにより、例えば、部分ストロークSS1を、文字要素CE2に分類し、部分ストロークSS2を、文字要素CE3に分類する。また、分類処理部103は、分類モデルを用いて、例えば、部分ストロークSS3を、文字要素CE4に分類する。
【0075】
なお、手書きストロークに角の部分がなく、部分ストロークに分割されない場合には、分類処理部103は、手書きストロークの全体に対して、部分ストロークと同様に、文字要素を分類する。
【0076】
レンダリング処理部104は、プロセッサ11がメインメモリ12又はフラッシュメモリ13が記憶するプログラムを実行することで実現される機能部である。レンダリング処理部104は、分類処理部103が分類した文字要素に対応するブラシ情報及び筆圧特性に基づいて、部分ストロークの形状を調整して、部分ストロークを表示部21に表示する。
【0077】
レンダリング処理部104は、例えば、ブラシ情報記憶部41から文字要素に対応するブラシ情報を取得するとともに、筆圧特性記憶部42から文字要素に対応する筆圧特性(圧力カーブ)を取得する。レンダリング処理部104は、ブラシ情報と、筆圧特性(圧力カーブ)とに基づいて、部分ストロークの形状を調整してレンダリングする。レンダリング処理部104は、ブラシ情報によりブラシサイズ、アスペクト比、及びブラシ角度を設定して、筆圧特性(圧力カーブ)により、線の太さを調整して、部分ストロークを表示部21に表示する。
【0078】
レンダリング処理部104は、ブラシの角度、及び線の太さを調整した部分ストロークを再結合して、調整された手書きストロークを生成する。レンダリング処理部104は、調整された手書きストロークを、後述する表示処理部105を介して、表示部21に表示させる。
【0079】
具体的に、図9のステップS13に示すように、レンダリング処理部104は、部分ストロークSS1、部分ストロークSS2、及び部分ストロークSS3を調整し、再結合してレンダリング後の手書きストロークCST1を生成する。
レンダリング処理部104は、入力された手書きストロークに置き換えて、調整した部分ストロークに基づく手書きストロークを表示部21に表示する。
【0080】
なお、レンダリング処理部104は、手書きストロークの全体又は部分ストロークが、文字要素に分類できなかった場合に、ストロークが入力された際の筆圧に基づいて、手書きストローク又は部分ストロークの形状を調整して、表示部21に表示する。この場合、レンダリング処理部104は、例えば、漢字で最も多く使用されるブラシを採用して、筆圧が高い程、太く、ストロークの描画速度が速い程、細くなるように、形状を調整する。
【0081】
表示処理部105は、プロセッサ11がメインメモリ12又はフラッシュメモリ13が記憶するプログラムを実行することで実現される機能部である。表示処理部105は、タッチセンサ部22が検出したペン30の接触位置に基づいて、ペン30が画面上に接触して移動した画面上の移動軌跡を、表示部21に表示させる。
【0082】
表示処理部105は、入力された手書きストロークを一旦、表示部21に表示させた後に、入力された手書きストロークに置き換えて、形状を調整した手書きストロークを表示部21に表示させる。
【0083】
学習処理部106は、プロセッサ11がメインメモリ12又はフラッシュメモリ13が記憶するプログラムを実行することで実現される機能部である。学習処理部106は、学習データ記憶部47が記憶する学習データに学習処理を実行して、分類モデルを生成する。
【0084】
ここで、学習データは、予め指定した文字を利用者が手書きした文字の部分ストロークと、文字要素とを対応付けたもので、文字要素を含む複数の文字を、複数回手書き入力された手書きストロークに基づいて生成されている。学習処理部106は、生成した分類モデル(学習結果)をCE分類情報記憶部43に記憶させる。
【0085】
次に、図面を参照して、本実施形態によるタブレット端末1の動作について説明する。
図9は、本実施形態におけるタブレット端末1の手書き入力処理の概要を示す図である。
【0086】
図9に示すように、タブレット端末1は、手書きストロークを角の部分で分割して、部分ストロークを生成する(ステップS11)。タブレット端末1の分割処理部102は、手書きストロークを分割して、部分ストロークを生成する。
【0087】
次に、タブレット端末1は、分類モデルを用いて、分割した部分ストロークを、シンプル文字要素に分類する(ステップS12)。タブレット端末1の分類処理部103は、CE分類情報記憶部43が記憶する分類モデル及びフィルタ情報記憶部44が記憶する接続可否情報を用いて、部分ストロークを、文字要素に分類する分類処理を実行する。
【0088】
タブレット端末1は、部分ストロークを、分類した文字要素に基づく手書きストロークの形状の調整を行って、表示部21に表示する(ステップS13)。
【0089】
図10は、本実施形態におけるタブレット端末1の手書き入力処理の一例を示すフローチャートである。
【0090】
図10に示すように、タブレット端末1は、まず、手書きストロークを検出したか否かを判定する(ステップS101)。タブレット端末1の入力処理部101は、タッチセンサ部22により、手書きストロークを検出したか否かを判定する。入力処理部101は、手書きストロークを検出した場合(ステップS101:YES)に、処理をステップS102に進める。また、入力処理部101は、手書きストロークを検出していない場合(ステップS101:NO)に、処理をステップS101に戻す。
【0091】
ステップS102において、入力処理部101は、手書きストロークを一旦、表示部21に表示する。このときに使用するレンダリングは、従来の筆圧に応じた太さ、又は筆圧に関係なく一様の太さなどで行われる。すなわち、入力処理部101は、表示処理部105を介して、検出した手書きストロークを表示部21に表示させる。なお、入力処理部101は、ペン30から各位置の検出点に対応する筆圧を取得し、筆圧と手書きストロークとを対応付けて手書きストローク記憶部45に記憶させる。
【0092】
次に、入力処理部101は、ペン30が表示部21の画面から離れたか否かを判定する(ステップS103)。すなわち、入力処理部101は、一筆書きの手書きストロークの入力が終了したか否かを判定する。入力処理部101は、ペン30が表示部21の画面から離れた(手書きストロークの入力が終了した)場合(ステップS103:YES)に、処理をステップS104に進める。また、入力処理部101は、ペン30が表示部21の画面から離れていない(手書きストロークの入力が終了していない)場合(ステップS103:NO)に、処理をステップS102に戻す。
【0093】
ステップS104において、タブレット端末1の分割処理部102は、手書きストロークを角の部分で分割して、部分ストロークを生成する。分割処理部102は、例えば、図7に示すステップS11のように、手書きストロークを分割して、部分ストロークを生成する。分割処理部102は、生成した部分ストロークを、部分ストローク記憶部46に記憶させる。
【0094】
次に、タブレット端末1の分類処理部103は、部分ストロークを、文字要素に分類する(ステップS105)。分類処理部103は、部分ストローク記憶部46が記憶する部分ストロークを、形状分類処理と、フィルタリング処理とを組み合わせて、文字要素に分類する(図7のステップS12を参照)。なお、分類処理部103によるステップS105の処理の詳細については、図11を参照して後述する。
【0095】
次に、タブレット端末1のレンダリング処理部104は、分類した文字要素に対応したブラシ情報及び圧力カーブに基づいて、部分ストロークの形状を調整して、形状を調整した手書きストロークを表示部21に表示する(ステップS106)。すなわち、レンダリング処理部104は、分類した文字要素に対応したブラシを選択するとともに、文字要素に基づいて部分ストロークの太さを調整して、形状を調整した手書きストロークを表示部21に表示する。レンダリング処理部104は、ブラシ情報記憶部41から、分類された文字要素に対応するブラシ情報を取得し、取得したブラシ情報に基づいて、部分ストロークの形状を調整するとともに、筆圧特性記憶部42から、分類された文字要素に対応する圧力カーブを取得し、取得した圧力カーブに基づいて、部分ストロークの太さを調整する。
【0096】
そして、レンダリング処理部104は、調整した部分ストロークを再結合して、形状を調整した手書きストロークを、表示処理部105を介して、表示部21に表示させる(図7のステップS13を参照)。
【0097】
ステップS106の処理後に、レンダリング処理部104は、処理をステップS101に戻す。
【0098】
次に、図11を参照して、上述した図10のステップS105の処理の詳細について説明する。
図11は、本実施形態によるタブレット端末1の分類処理の詳細を示すフローチャートである。
【0099】
図11に示すように、タブレット端末1の分類処理部103は、まず、分類モデルにより、部分ストロークに対応する文字要素の候補を抽出する(ステップS111)。分類処理部103は、CE分類情報記憶部43が記憶する分類モデルを用いて、形状分類処理を実行して、部分ストロークに対応する文字要素の候補を抽出する。
【0100】
次に、分類処理部103は、文字要素の候補から、フィルタ情報記憶部44が記憶するフィルタ情報によりストローク角度及び接続関係が不適切な候補を除外する(ステップS112)。分類処理部103は、フィルタ情報記憶部44から、文字要素に対応付けられた接続可否情報を取得し、ストローク角度の許容範囲外である場合、又は接続関係が許容されていない場合に、不適切な文字要素の候補と判定し、当該候補を除外する。
【0101】
例えば、接続可否情報の“前接続”が“NO”であるのに、当該部分ストロークの前に、他の部分ストロークが存在する場合に、分類処理部103は、当該文字要素の分類を候補から除外する。また、例えば、接続可否情報の“接続なし”が“NO”であるのに、当該部分ストロークが単独で存在する場合に、分類処理部103は、当該文字要素の分類を候補から除外する。
【0102】
次に、分類処理部103は、残った文字要素の候補のうち、最も確信度が高く、且つ、確信度が閾値以上の候補の文字要素に、部分ストロークを分類する(ステップS113)。
【0103】
次に、分類処理部103は、次に分類する部分ストロークがあるか否かを判定する(ステップS114)。分類処理部103は、次に分類する部分ストロークがある場合(ステップS114:YES)に、処理をステップS111に戻し、次の部分ストロークの分類処理を実行する。また、分類処理部103は、次に分類する部分ストロークがない場合(ステップS114:NO)に、処理を終了する。
【0104】
次に、図12を参照して、タブレット端末1の学習処理について説明する。
図12は、本実施形態におけるタブレット端末1の学習処理の一例を示すフローチャートである。
【0105】
図12に示すように、タブレット端末1の学習処理部106は、特定の文字の手書きストロークを複数回、複数ユーザ分取得する(ステップS201)。学習処理部106は、入力処理部101を介して、特定の文字の手書きストロークを複数回、複数ユーザ分取得する。なお、特定の文字は、予め定められた複数の文字要素を学習可能な複数の文字が望ましい。
【0106】
次に、学習処理部106は、各手書きストロークを分割して部分ストロークを生成し、対応する文字要素をラベリングして学習データとする(ステップS202)。学習処理部106は、部分ストロークと文字要素のラベリングとを対応付けた学習データを、学習データ記憶部47に記憶させる。
【0107】
次に、学習処理部106は、学習データをも用いて、機械学習し、部分ストロークから文字要素を分類する分類モデルを生成する(ステップS203)。学習処理部106は、学習データ記憶部47が記憶する学習データを用いて、機械学習処理を実行し、学習結果として、分類モデルを生成する。
【0108】
次に、学習処理部106は、学習結果である分類モデルを、CE分類情報記憶部43に記憶させる(ステップS204)。ステップS204の処理後に、学習処理部106は、学習処理を終了する。
【0109】
以上説明したように、本実施形態によるタブレット端末1(情報処理装置)は、分割処理部102と、分類処理部103と、レンダリング処理部104とを備える。分割処理部102は、入力された手書きストロークを角の部分で分割し、分割した部分ストロークを生成する。分類処理部103は、分割処理部102が分割した部分ストロークを、漢字の文字を構成する基本パターンである複数の文字要素のうちのいずれかに分類する。レンダリング処理部104は、分類処理部103が分類した文字要素に対応するブラシ情報及び筆圧特性に基づいて、部分ストロークの形状を調整して、部分ストロークを表示部21に表示する。分類処理部103は、文字要素における部分ストロークの描画方向を示す角度であるストローク角度の許容範囲と、部分ストロークの前後の接続関係とに基づいて、不適切な文字要素への分類を除外するフィルタリング処理を用いて、部分ストロークを分類する。
【0110】
これにより、本実施形態によるタブレット端末1は、手書きストロークを分割した部分ストロークを、文字要素に分類し、部分ストロークごとに、文字要素に対応するブラシ情報及び筆圧特性に基づいて、部分ストロークの形状を調整するため、手書き入力において、手書きの良さを維持しつつ、きれいな文字(特に漢字)を表示することができる。
【0111】
また、部分ストロークの分類処理に、例えば、形状を認識して分類する技術を利用した場合に、あり得ないストローク角度や接続関係の場合でも形状のみでそのまま分類されるため、誤った文字要素に分類する可能性がある。この場合、文字要素の分類が間違っているため、形状の調整が正確に行われず、違和感のある文字の表示になる。これに対して、本実施形態によるタブレット端末1は、フィルタリング処理により、不適切な文字要素への分類を除外するため、上述にような間違った文字要素の分類を抑制することができ、きれいな文字を表示することができる。
【0112】
なお、本実施形態によるタブレット端末1では、手書きストロークをベースに、文字要素に対応して部分ストロークの形状を調整するため、手書きストロークの大きさや位置を維持したままきれいな文字を表示することができる。本実施形態によるタブレット端末1は、単純に、所定のフォントに置き換える従来技術とは異なり、利用者の筆跡が消失することはなく、手書きによる自由な文字の縦横比や大きなどの手書きの自由度が失われることがない。
【0113】
また、本実施形態によるタブレット端末1は、文字要素と、部分ストロークの前後の接続の可否、及び部分ストロークの単独の可否をストローク角度の範囲ごとに示す接続可否情報とを対応付けて記憶するフィルタ情報記憶部44を備える。分類処理部103は、フィルタ情報記憶部44が記憶する文字要素に対応付けられた接続可否情報に基づいて、フィルタリング処理を実行する。
【0114】
これにより、本実施形態によるタブレット端末1は、フィルタ情報記憶部44の接続可否情報を用いて、簡単、且つ適切に、不適切な文字要素への分類を除外することができ、不適切なものを除外した文字要素により、さらにきれいな文字を表示することができる。
【0115】
また、本実施形態では、分類処理部103は、分類モデルに基づいて、部分ストロークの形状を分類する形状分類処理と、フィルタリング処理とを組み合わせて、部分ストロークを、文字要素に分類する。分類モデルは、予め指定した文字を利用者が手書きした文字の部分ストロークと、文字要素とを対応付けた学習データに、学習処理を実行して生成された分類モデルであって、部分ストロークから文字要素を分類する。
【0116】
これにより、本実施形態によるタブレット端末1は、機械学習結果である分類モデルを用いて、部分ストロークを、文字要素に精度良く分類することができ、精度良く分類した文字要素により、さらにきれいな文字を表示することができる。
【0117】
また、本実施形態では、分類処理部103は、分類モデルに基づく形状分類処理により、文字要素の複数の候補を抽出し、フィルタリング処理により、複数の候補のうちから、不適切な文字要素を除外し、残りの候補のうち、確信度が閾値以上であり、且つ、確信度が最も高い候補の文字要素に、部分ストロークを分類する。
これにより、本実施形態によるタブレット端末1は、不適切な文字要素を除外して、精度良く適切に、部分ストロークを文字要素に分類することができる。
【0118】
また、本実施形態によるタブレット端末1は、学習データに学習処理を実行して、分類モデルを生成する学習処理部106と、学習処理部106が生成した分類モデルを記憶するCE分類情報記憶部43(モデル記憶部)とを備える。分類処理部103は、CE分類情報記憶部43が記憶する分類モデルに基づいて、分割処理部102が分割した部分ストロークを、文字要素に分類する。
これにより、本実施形態によるタブレット端末1は、分類モデルにより、部分ストロークを、文字要素に精度良く分類することができる。
【0119】
また、本実施形態によるタブレット端末1は、文字要素と、使用するブラシのサイズ、アスペクト比、及び角度とを含むブラシ情報とを対応付けて記憶するブラシ情報記憶部41と、文字要素と、当該文字要素におけるストローク位置と筆圧との関係を示す圧力カーブとを対応づけて記憶する筆圧特性記憶部42とを備える。レンダリング処理部104は、ブラシ情報記憶部41から、分類された文字要素に対応するブラシ情報を取得し、筆圧特性記憶部42から、分類された文字要素に対応する圧力カーブを取得し、取得したブラシ情報及び圧力カーブに基づいて、部分ストロークの形状を調整する。
【0120】
これにより、本実施形態によるタブレット端末1は、文字要素に対応するブラシ情報により、文字要素に応じて、ブラシを変更して、部分ストロークの形状(例えば、書き始めや終わりの角、トメ、ハネなどの形状)を適切に調整することができる。また、文字要素に対応する圧力カーブにより、ストローク位置に応じて部分ストロークの太さ(例えば、部分ストロークの途中での太さの変化)を適切に調整することができる。
【0121】
また、本実施形態によるタブレット端末1は、表示部21と、表示部21の画面上の検出面における操作媒体の接触及び接触位置を検出するタッチセンサ部22と、タッチセンサ部22が検出した操作媒体の接触位置に基づいて、手書きストロークの入力を検出する入力処理部101とを備える。入力処理部101は、手書きストロークの入力を検出するとともに、操作媒体(例えば、ペン30)の接触位置の移動軌跡を、入力された手書きストロークとして、表示部21に表示する。レンダリング処理部104は、入力された手書きストロークに置き換えて、形状を調整した手書きストロークを表示部21に表示する。
【0122】
これにより、本実施形態によるタブレット端末1は、入力された手書きストロークを一旦、表示することで、表示を確認しながら手書き入力が可能になり、手書き入力し易くするとともに、形状を調整した手書きストロークに置き換えることで、きれいな文字を表示することができる。
【0123】
また、本実施形態による制御方法は、タブレット端末1の制御方法であって、分割処理ステップと、分類処理ステップと、レンダリング処理ステップとを含む。分割処理ステップにおいて、分割処理部102が、入力された手書きストロークを角の部分で分割し、分割した部分ストロークを生成する。分類処理ステップにおいて、分類処理部103が、分割処理部102が分割した部分ストロークを、漢字の文字を構成する基本パターンである複数の文字要素のうちのいずれかに分類する。レンダリング処理ステップにおいて、レンダリング処理部104が、分類処理部103が分類した文字要素に対応するブラシ情報及び筆圧特性に基づいて、部分ストロークの形状を調整して、部分ストロークを表示部21に表示する。また、分類処理ステップにおいて、分類処理部103が、文字要素における部分ストロークの描画方向を示す角度であるストローク角度の許容範囲と、部分ストロークの前後の接続関係とに基づいて、不適切な文字要素への分類を除外するフィルタリング処理を用いて、部分ストロークを分類する。
【0124】
これにより、本実施形態による制御方法は、上述したタブレット端末1と同様の効果を奏し、手書き入力において、手書きの良さを維持しつつ、きれいな文字(特に漢字)を表示することができる。
【0125】
なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の実施形態において、情報処理装置が、タブレット端末1である例を説明したが、これに限定されるものではない。情報処理装置は、例えば、スマートフォンやタブレットモードを備えるノートブック型パーソナルコンピュータなどであってもよい。
【0126】
また、上記の実施形態において、使用するOSの一例として、Android(登録商標)を用いる例を説明したが、これに限定されるものではなく、例えば、iOS(登録商標)などの他のOSに適用してもよい。
【0127】
また、上記の実施形態において、分割処理部102、分類処理部103、及びレンダリング処理部104の処理は、アプリケーションプログラムにより実現されてもよいし、一部をデバイスドライバなどにより実現されてもよい。
【0128】
また、情報処理装置が、ノートブック型パーソナルコンピュータである場合に、分割処理部102、分類処理部103、及びレンダリング処理部104の処理の一部を、エンベデットコントローラが行うようにしてもよい。
【0129】
また、上記の実施形態において、タブレット端末1が、学習処理部106を備える例を説明したが、これに限定されるものではなく、例えば、タブレット端末1が学習処理部106を備えない形態であってもよい。この場合、例えば、タブレット端末1に接続可能なサーバ装置などの外部装置が、学習処理部106を備えてもよい。
【0130】
また、上記の実施形態において、分類処理部103は、フィルタリング処理において、ストローク角度の不適切な分類と、接続関係の不適切な分類とを除外する例を説明したが、これに限定されるものではなく、ストローク角度の不適切な分類と、接続関係の不適切な分類とのいずれか一方を除外する処理を行ってもよい。
また、上記の実施形態において、分類処理部103は、利用者による文字入力に伴い、文字入力の方向を自動的に検知して、角度フィルタ処理の値を調整してもよい。
【0131】
なお、上述したタブレット端末1が備える各構成は、内部に、コンピュータシステムを有している。そして、上述したタブレット端末1が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したタブレット端末1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0132】
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
【0133】
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にタブレット端末1が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0134】
また、上述した機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【符号の説明】
【0135】
1 タブレット端末
10 制御部
11 プロセッサ
12 メインメモリ
13 フラッシュメモリ
20 タッチスクリーン
21 表示部
22 タッチセンサ部
23 周辺デバイス
24 オーディオシステム
25 マイク
26 スピーカ
27 ベースバンドチップ
28 無線部
29、31 無線通信部
30 ペン
32 センサ部
33 メモリ
34 MCU
40 記憶部
41 ブラシ情報記憶部
42 筆圧特性記憶部
43 CE分類情報記憶部
44 フィルタ情報記憶部
45 手書きストローク記憶部
46 部分ストローク記憶部
47 学習データ記憶部
100 情報処理システム
101 入力処理部
102 分割処理部
103 分類処理部
104 レンダリング処理部
105 表示処理部
106 学習処理部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
【手続補正書】
【提出日】2024-07-09
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
入力された手書きストロークを、前記ストロークの描画方向の変化に基づいて生じる頂点である角の部分で分割し、分割した部分ストロークを生成する分割処理部と、
前記分割処理部が分割した前記部分ストロークを、漢字の文字を構成する基本パターンである複数の文字要素のうちのいずれかに分類する分類処理部と、
前記分類処理部が分類した前記文字要素に対応するブラシ情報及び筆圧特性に基づいて、前記部分ストロークの形状を調整して、前記部分ストロークを表示部に表示するレンダリング処理部と
を備え、
前記分類処理部は、前記文字要素における前記部分ストロークの描画方向を示す角度であるストローク角度の許容範囲と、前記部分ストロークの前後の接続関係とに基づいて、不適切な前記文字要素への分類を除外するフィルタリング処理を用いて、前記部分ストロークを分類する
情報処理装置。
【請求項2】
前記文字要素と、前記部分ストロークの前後の接続の可否、及び前記部分ストロークの単独の可否を前記ストローク角度の範囲ごとに示す接続可否情報とを対応付けて記憶するフィルタ情報記憶部を備え、
前記分類処理部は、前記フィルタ情報記憶部が記憶する前記文字要素に対応付けられた前記接続可否情報に基づいて、前記フィルタリング処理を実行する
請求項1に記載の情報処理装置。
【請求項3】
前記分類処理部は、予め指定した文字を利用者が手書きした文字の前記部分ストロークと、前記文字要素とを対応付けた学習データに、学習処理を実行して生成された分類モデルであって、前記部分ストロークから前記文字要素を分類する分類モデルに基づいて、前記部分ストロークの形状を分類する形状分類処理と、前記フィルタリング処理とを組み合わせて、前記部分ストロークを、前記文字要素に分類する
請求項2に記載の情報処理装置。
【請求項4】
前記分類処理部は、前記分類モデルに基づく前記形状分類処理により、前記文字要素の複数の候補を抽出し、前記フィルタリング処理により、前記複数の候補のうちから、不適切な前記文字要素を除外し、残りの候補のうち、確信度が閾値以上であり、且つ、前記確信度が最も高い候補の前記文字要素に、前記部分ストロークを分類する
請求項3に記載の情報処理装置。
【請求項5】
前記文字要素と、使用するブラシのサイズ、アスペクト比、及び角度とを含む前記ブラシ情報とを対応付けて記憶するブラシ情報記憶部と、
前記文字要素と、当該文字要素におけるストローク位置と筆圧との関係を示す圧力カーブとを対応づけて記憶する筆圧特性記憶部と
を備え、
前記レンダリング処理部は、前記ブラシ情報記憶部から、分類された前記文字要素に対応する前記ブラシ情報を取得し、前記筆圧特性記憶部から、分類された前記文字要素に対応する前記圧力カーブを取得し、取得した前記ブラシ情報及び前記圧力カーブに基づいて、前記部分ストロークの形状を調整する
請求項1から請求項4のいずれか一項に記載の情報処理装置。
【請求項6】
前記表示部と、
前記表示部の画面上の検出面における操作媒体の接触及び接触位置を検出するタッチセンサ部と、
前記タッチセンサ部が検出した前記操作媒体の接触位置に基づいて、前記手書きストロークの入力を検出する入力処理部と
を備え、
前記入力処理部は、前記手書きストロークの入力を検出するとともに、前記操作媒体の接触位置の移動軌跡を、入力された前記手書きストロークとして、前記表示部に表示し、
前記レンダリング処理部は、前記入力された前記手書きストロークに置き換えて、形状を調整した前記手書きストロークを表示部に表示する
請求項5に記載の情報処理装置。
【請求項7】
情報処理装置の制御方法であって、
分割処理部が、入力された手書きストロークを、前記ストロークの描画方向の変化に基づいて生じる頂点である角の部分で分割し、分割した部分ストロークを生成する分割処理ステップと、
分類処理部が、前記分割処理部が分割した前記部分ストロークを、漢字の文字を構成する基本パターンである複数の文字要素のうちのいずれかに分類する分類処理ステップと、
レンダリング処理部が、前記分類処理部が分類した前記文字要素に対応するブラシ情報及び筆圧特性に基づいて、前記部分ストロークの形状を調整して、前記部分ストロークを表示部に表示するレンダリング処理ステップと
を含み、
前記分類処理ステップにおいて、前記分類処理部が、前記文字要素における前記部分ストロークの描画方向を示す角度であるストローク角度の許容範囲と、前記部分ストロークの前後の接続関係とに基づいて、不適切な前記文字要素への分類を除外するフィルタリング処理を用いて、前記部分ストロークを分類する
制御方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0006
【補正方法】変更
【補正の内容】
【0006】
上記問題を解決するために、本発明の一態様は、入力された手書きストロークを、前記ストロークの描画方向の変化に基づいて生じる頂点である角の部分で分割し、分割した部分ストロークを生成する分割処理部と、前記分割処理部が分割した前記部分ストロークを、漢字の文字を構成する基本パターンである複数の文字要素のうちのいずれかに分類する分類処理部と、前記分類処理部が分類した前記文字要素に対応するブラシ情報及び筆圧特性に基づいて、前記部分ストロークの形状を調整して、前記部分ストロークを表示部に表示するレンダリング処理部とを備え、前記分類処理部は、前記文字要素における前記部分ストロークの描画方向を示す角度であるストローク角度の許容範囲と、前記部分ストロークの前後の接続関係とに基づいて、不適切な前記文字要素への分類を除外するフィルタリング処理を用いて、前記部分ストロークを分類する情報処理装置である。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0012
【補正方法】変更
【補正の内容】
【0012】
また、本発明の一態様は、情報処理装置の制御方法であって、分割処理部が、入力された手書きストロークを、前記ストロークの描画方向の変化に基づいて生じる頂点である角の部分で分割し、分割した部分ストロークを生成する分割処理ステップと、分類処理部が、前記分割処理部が分割した前記部分ストロークを、漢字の文字を構成する基本パターンである複数の文字要素のうちのいずれかに分類する分類処理ステップと、レンダリング処理部が、前記分類処理部が分類した前記文字要素に対応するブラシ情報及び筆圧特性に基づいて、前記部分ストロークの形状を調整して、前記部分ストロークを表示部に表示するレンダリング処理ステップとを含み、前記分類処理ステップにおいて、前記分類処理部が、前記文字要素における前記部分ストロークの描画方向を示す角度であるストローク角度の許容範囲と、前記部分ストロークの前後の接続関係とに基づいて、不適切な前記文字要素への分類を除外するフィルタリング処理を用いて、前記部分ストロークを分類する制御方法である。