特許6986848 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ シャープ株式会社の特許一覧

特許6986848入力表示装置および入力表示方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6986848

(24)【登録日】2021年12月2日

(45)【発行日】2021年12月22日

(54)【発明の名称】入力表示装置および入力表示方法

(51)【国際特許分類】

G06K 9/62 20060101AFI20211213BHJP

G06K 9/20 20060101ALI20211213BHJP

【ＦＩ】

G06K9/62 G

G06K9/20 340C

【請求項の数】6

【全頁数】33

(21)【出願番号】特願2017-44279(P2017-44279)

(22)【出願日】2017年3月8日

(65)【公開番号】特開2017-201506(P2017-201506A)

(43)【公開日】2017年11月9日

【審査請求日】2019年9月20日

(31)【優先権主張番号】特願2016-89589(P2016-89589)

(32)【優先日】2016年4月27日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100112335

【弁理士】

【氏名又は名称】藤本英介

(74)【代理人】

【識別番号】100101144

【弁理士】

【氏名又は名称】神田正義

(74)【代理人】

【識別番号】100101694

【弁理士】

【氏名又は名称】宮尾明茂

(74)【代理人】

【識別番号】100124774

【弁理士】

【氏名又は名称】馬場信幸

(72)【発明者】

【氏名】小山至幸

(72)【発明者】

【氏名】寺田智

【審査官】 ▲広▼島明芳

(56)【参考文献】

【文献】特開平１０−０６９３５３（ＪＰ，Ａ）

【文献】特開２００６−１３４１０５（ＪＰ，Ａ）

【文献】特開２００３−１０８９０１（ＪＰ，Ａ）

【文献】特開２０１４−１７０５４４（ＪＰ，Ａ）

【文献】特開２００３−０４４２１４（ＪＰ，Ａ）

【文献】特開２００１−３５１０６５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ９／６２

Ｇ０６Ｋ９／２０

(57)【特許請求の範囲】

【請求項1】

複数の入力欄を含む入力画面上に、手書き入力用画面を表示する表示部と、
前記手書き入力用画面に対して手書き入力されたときのストロークデータを、文字を表すストロークデータにグループ化し、グループ化ストロークデータとして生成するストロークデータ処理部と、
前記グループ化ストロークデータに対して文字認識を施して、認識文字に変換する文字認識部と、
前記認識文字を、前記手書き入力用画面において手書き入力された位置に対応する前記入力画面の複数の入力欄に一括して反映させる制御処理部と、を具備し、
前記制御処理部は、
前記認識文字に対応する入力欄が複数ある場合、前記認識文字の領域と前記入力欄との位置関係に基づいて、前記複数の入力欄から前記認識文字に対応する入力欄を選択し、
前記複数の入力欄のうちの少なくとも１つの入力欄には、前記入力欄の文字種による制限情報及びユーザが選択若しくは指定する入力方法による制限情報を含む属性情報が対応付けられており、
前記文字認識部は、
前記入力欄の属性情報に基づいて、前記文字認識を施すかを判定し、
前記入力欄が文字認識を施すと判定された場合には、当該入力欄に対応するグループ化ストロークデータに対して前記入力欄に対応する制限情報を参照して文字認識を施して、前記認識文字に変換することを特徴とする入力表示装置。

【請求項2】

前記ストロークデータ処理部は、前記複数の入力欄のいずれにも対応しないストロークデータを手書き文字として生成し、
前記制御処理部は、前記手書き文字を前記入力画面に表示することを特徴とする請求項１に記載の入力表示装置。

【請求項3】

前記手書き入力用画面はキャプチャ画面であり、
前記制御処理部は、前記表示部に表示された前記入力画面を前記キャプチャ画面としてキャプチャし、前記キャプチャ画面を前記入力画面上に表示することを特徴とする請求項１又は２に記載の入力表示装置。

【請求項4】

前記入力欄の表示形態は、少なくとも枠表示、アンダーライン表示、枠なし表示の何れかであることを特徴とする請求項１から３のいずれか一項に記載の入力表示装置。

【請求項5】

前記制御処理部は、
前記入力欄に重畳するように、入力欄をはみ出して手書き入力された位置に、手書き入力された大きさで認識文字を表示し、
ユーザから前記認識文字の修正を受け付けた場合は、当該認識文字を修正し、
前記入力欄に含まれる大きさで前記認識文字を表示して当該入力欄に認識文字を反映させる
ことを特徴とする請求項１に記載の入力表示装置。

【請求項6】

複数の入力欄を含む入力画面上に、手書き入力用画面を表示する表示ステップと、
前記手書き入力用画面に対して手書き入力されたときのストロークデータを、文字を表すストロークデータにグループ化し、グループ化ストロークデータとして生成するストロークデータ処理ステップと、
前記グループ化ストロークデータに対して文字認識を施して、認識文字に変換する文字認識ステップと、
前記認識文字を前記手書き入力用画面において手書き入力された位置に対応する前記入力画面の複数の入力欄に一括して反映させる制御処理ステップと、
を具備し、
前記制御処理ステップにおいて、前記グループ化ストロークデータの座標領域と、前記複数の入力欄の座標領域との位置関係に応じて、前記認識文字を反映させる前記入力欄を選択し、
前記複数の入力欄のうちの少なくとも１つの入力欄には、属性情報が対応付けられており、
前記属性情報は、前記入力欄の文字種による制限情報及びユーザが選択若しくは指定する入力方法による制限情報を含み、
前記文字認識ステップは、
前記入力欄の属性情報に基づいて、前記文字認識を施すかを判定し、
前記入力欄が文字認識を施すと判定された場合には、当該入力欄に対応するグループ化ストロークデータに対して前記入力欄に対応する制限情報を参照して文字認識を施して、前記認識文字に変換することを特徴とする入力表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザが手書き入力した文字を表示する入力表示装置および入力表示方法に関する。

【背景技術】

【0002】

ストロークデータを生成する技術が知られている（例えば、特許文献１）。特許文献１に記載された技術では、ユーザが画面に対して手書き入力したときのストロークデータを生成し、そのストロークデータを手書き文字として画面に表示する。

【0003】

ストロークデータを認識文字に変換する技術が知られている（例えば、特許文献２）。特許文献２に記載された技術では、ユーザが画面に対して手書き入力したときに、ストロークデータに対して文字認識を施して認識文字に変換し、その認識文字を上記画面に反映させる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平１１−２５９５９８号公報

【特許文献2】特許第３８５５６９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献２に記載された技術では、ユーザが画面に対して手書き入力する度に、認識文字を上記画面に反映させている。すなわち、特許文献２に記載された技術では、その都度、ユーザに手書き入力させている。

【0006】

例えば、画面が、ユーザの氏名などを記入するような書類を表す文書データである場合は、ユーザは、一括して手書き入力したいものである。

【0007】

本発明は、上記従来の問題点に鑑みてなされたものであって、ユーザが適切に手書き入力することができる入力表示装置および入力表示方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の入力表示装置は、複数の入力欄を含む入力画面上に、手書き入力用画面を表示する表示部と、前記手書き入力用画面に対して手書き入力されたときのストロークデータを、文字列表すストロークデータにグループ化し、グループ化ストロークデータとして生成するストロークデータ処理部と、前記グループ化ストロークデータに対して文字認識を施して、認識文字に変換する文字認識部と、前記認識文字を前記入力用画面において手書き入力された位置に対応する前記入力画面の複数の入力欄に反映させる制御処理部と、を具備することを特徴とする。

【0009】

本発明の入力表示方法は、複数の入力欄を含む入力画面上に、手書き入力用画面を表示するステップと、前記手書き入力用画面に対して手書き入力されたときのストロークデータを、文字を表すストロークデータにグループ化し、グループ化ストロークデータとして生成するステップと、前記グループ化ストロークデータに対して文字認識を施して、認識文字に変換するステップと、前記認識文字を前記入力用画面において手書き入力された位置に対応する前記入力画面の複数の入力欄に反映させるステップと、を具備することを特徴とする。

【発明の効果】

【0010】

本発明では、上記構成により、ユーザが一括して手書き入力することができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る入力表示装置の構成を示す図である。

【図2】第１実施形態に係る入力表示装置の動作を示すフローチャートである。

【図3】第１実施形態に係る入力表示装置の動作として手書き入力モードを示すフローチャートである。

【図4】第１実施形態に係る入力表示装置の動作を説明するための図である。

【図5】第１実施形態に係る入力表示装置の動作を説明するための図である。

【図6】第１実施形態に係る入力表示装置の動作を説明するための図である。

【図7】第１実施形態に係る入力表示装置の動作を説明するための図である。

【図8】第１実施形態に係る入力表示装置の動作を説明するための図である。

【図9】第１実施形態に係る入力表示装置の動作を説明するための図である。

【図10】第１実施形態に係る入力表示装置の動作を説明するための図である。

【図11】第１実施形態に係る入力表示装置の動作を説明するための図である。

【図12】第１実施形態に係る入力表示装置の動作を説明するための図である。

【図13】第２実施形態に係る入力表示装置の動作を説明するための図である。

【図14】第２実施形態に係る入力表示装置の動作を説明するための図である。

【図15】第２実施形態に係る入力表示装置の動作を説明するための図である。

【図16】第２実施形態に係る入力表示装置の動作を説明するための図である。

【図17】第２実施形態に係る入力表示装置の動作を説明するための図である。

【図18】第３実施形態に係る入力表示装置の動作として手書き入力モードを示すフローチャートである。

【図19】第３実施形態に係る入力表示装置の動作として手書き入力モードを示すフローチャートである。

【図20】第３実施形態に係る入力表示装置の動作を説明するための図である。

【図21】第３実施形態に係る入力表示装置の動作を説明するための図である。

【図22】第３実施形態に係る入力表示装置の動作を説明するための図である。

【図23】第３実施形態に係る入力表示装置の動作を説明するための図である。

【図24】第３実施形態に係る入力表示装置の動作を説明するための図である。

【図25】第４実施形態に係る入力表示装置の動作を説明するための図である。

【図26】第４実施形態に係る入力表示装置の動作を説明するための図である。

【図27】第４実施形態に係る入力表示装置の動作を説明するための図である。

【図28】第７実施形態に係る入力表示装置の動作を説明するための図である。

【図29】第７実施形態に係る入力表示装置の動作を説明するための図である。

【図30】第８実施形態に係る入力表示装置の動作を説明するための図である。

【図31】第８実施形態に係る入力表示装置の動作を説明するための図である。

【図32】第８実施形態に係る入力表示装置の動作を説明するための図である。

【図33】第９実施形態に係る入力表示装置の動作を説明するための図である。

【図34】第９実施形態に係る入力表示装置の動作を説明するための図である。

【図35】第９実施形態に係る入力表示装置の動作を説明するための図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら実施形態について説明する。
［第１実施形態］
図１は、第１実施形態に係る入力表示装置１００の構成を示す図である。入力表示装置１００は、制御部１１０と、記憶部１２０と、表示部１３０と、画面処理部１４０と、入力部１５０と、ストロークデータ処理部１６０と、文字認識部１７０とを具備している。

【0013】

制御部１１０は、入力表示装置１００の全体を制御するための機能部である。制御部１１０は、記憶部１２０に記憶されている各種コンピュータプログラム（以下、プログラムと称する）を読み出して実行することにより各種機能を実現しており、例えば、ＣＰＵ（Central Process Unit）等により構成されている。

【0014】

記憶部１２０は、入力表示装置１００の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部１２０は、例えば、半導体メモリや、ＨＤＤ（Hard Disk Drive）等により構成されている。記憶部１２０は、後述の座標テーブル５００を記憶している。

【0015】

表示部１３０は、タッチパネルディスプレイであり、例えば、ＬＣＤ（Liquid Crystal Display）とタッチパネルとにより構成される。画面処理部１４０は、各種画面を表示部１３０に表示制御する処理を行う制御処理部である。

【0016】

入力部１５０は、キーボード１５２、ポインティングデバイス１５４、タッチペン１５６を含んでいる。例えば、ユーザは、ポインティングデバイス１５４又はタッチペン１５６を用いて、画面に対して手書き入力を行なうことができる。ストロークデータ処理部１６０は、手書き入力された文字を後述のストロークデータとして生成する。

【0017】

文字認識部１７０は、手書き入力された文字（ストロークデータ）に対して光学文字認識（Optical Character Recognition）（一般的にＯＣＲと略される）を施して、コンピュータが編集可能な文字である認識文字に変換する。

【0018】

第１実施形態に係る入力表示装置１００の動作について、図２〜１１を用いて説明する。図２は、第１実施形態に係る入力表示装置１００の動作を示すフローチャートである。図３は、第１実施形態に係る入力表示装置１００の動作として手書き入力モードを示すフローチャートである。図４〜１１は、第１実施形態に係る入力表示装置１００の動作を説明するための図である。

【0019】

まず、通常入力モードについて説明する。画面処理部１４０は、文書データを入力画面２００（図４を参照）として表示部１３０に表示する（図２のステップＳ２）。

【0020】

図４に示すように、入力画面２００（文書データ）は、入力位置として、複数の入力欄２１０、２１２を含んでいる。入力欄２１０、２１２は、それぞれ、ユーザの氏名（名前）である姓、名を漢字や平仮名により入力する位置（欄）である。

【0021】

ユーザは、入力部１５０（キーボード１５２）を用いて、通常入力モードを選択する（図２のステップＳ３−Ｎｏ）。この場合、通常入力モードが実行される（図２のステップＳ６）。

【0022】

通常入力モードにおいて、ユーザは、表示部１３０に表示された入力画面２００の複数の入力欄２１０、２１２に対して、それぞれ、入力部１５０（キーボード１５２）を用いて文字（文字列）「発明」、「太郎」を入力する。図１１に示すように、画面処理部１４０は、文字「発明」、「太郎」がそれぞれの入力欄２１０、２１２に反映された入力画面２００を表示部１３０に表示する。

【0023】

次に、手書き入力モードについて説明する。画面処理部１４０は、文書データを入力画面２００（図４を参照）として表示部１３０に表示する（図２のステップＳ２）。文書データは、ＨＴＭＬ（Hyper Text Markup Language）やＰＤＦ（Portable Document Format）等による文書を表すデータである。

【0024】

図５に示すように、座標テーブル５００は、入力画面２００、入力欄２１０、２１２に対して、Ｘ座標、Ｙ座標を表すデータを記憶している。具体的には、入力画面２００には、Ｘ座標の最小値「Ｘ０」、Ｘ座標の最大値「Ｘｍａｘ」、Ｙ座標の最小値「Ｙ０」、Ｙ座標の最大値「Ｙｍａｘ」が対応付けられている。入力欄２１０には、Ｘ座標の最小値「Ｘ２１０１」、Ｘ座標の最大値「Ｘ２１０２」、Ｙ座標の最小値「Ｙ２１０１」、Ｙ座標の最大値「Ｙ２１０２」が対応付けられている。入力欄２１２には、Ｘ座標の最小値「Ｘ２１２１」、Ｘ座標の最大値「Ｘ２１２２」、Ｙ座標の最小値「Ｙ２１２１」、Ｙ座標の最大値「Ｙ２１２２」が対応付けられている。

【0025】

ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、手書き入力モードを選択する（図２のステップＳ３−Ｙｅｓ）。この場合、手書き入力モードが実行される（図２のステップＳ８）。

【0026】

手書き入力モードにおいて、図６に示すように、画面処理部１４０は、表示部１３０に表示された入力画面２００をキャプチャ画面３００としてキャプチャする。画面処理部１４０は、そのキャプチャ画面３００を記憶部１２０に保存すると共に、キャプチャ画面３００を入力画面２００上に表示する（図３のステップＳ１００）。

【0027】

図７に示すように、ユーザは、キャプチャ画面３００の複数の入力欄２１０、２１２に対して、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、文字「発明」、「太郎」を手書き入力する（図３のステップＳ１０２）。

【0028】

この場合、ユーザは、キャプチャ画面３００の複数の入力欄２１０、２１２からはみ出して、文字「発明」、「太郎」を手書き入力してもよい。ストロークデータ処理部１６０は、キャプチャ画面３００に対して手書き入力された入力文字を構成する複数の座標列をそれぞれストロークデータとして生成して記憶部１２０に保存する。

【0029】

ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、認識指示を行なう（図３のステップＳ１０４）。

【0030】

このとき、図７に示すように、ストロークデータ処理部１６０は、記憶部１２０に保存されたストロークデータを、入力欄２１０、２１２に対応する文字列を表すストロークデータにグループ化し、グループ化ストロークデータ３１０、３１２として生成する（図３のステップＳ１０６）。

【0031】

ステップＳ１０６について、図８を用いて説明する。グループ化ストロークデータ３１０、３１２の各々は、ユーザが手書き入力したときの１番目のストロークデータＳＤ１から最終番目のストロークデータＳＤｎ（ｎは１以上の整数）を表している。１番目のストロークデータＳＤ１から最終番目のストロークデータＳＤｎは、ユーザが手書き入力を終了してから（例えば、タッチペン１５６の場合はペンアップしてから）、所定時間Ｔｐが経過したときに、１つのグループ化ストロークデータを構成する。

【0032】

ここで、１番目のストロークデータＳＤ１から最終番目のストロークデータＳＤｎをグループ化する技術としては、所定時間Ｔｐのような時間情報の代わりに、手書き入力されたときの位置を表す位置情報を用いてもよい。例えば、位置情報を用いてグループ化する技術として、ウォード法によるクラスタリングが知られている。また、グループ化する技術として、時間情報と位置情報とを組み合わせたものでもよい。また、図８では「発明」という文字列をグループ化しているが、例えば「発」「明」と、文字毎にグループ化データし、その後「発明」という文字列をグループ化してもよい。

【0033】

文字認識部１７０は、グループ化ストロークデータ３１０、３１２に対して文字認識を施して、それぞれ、コンピュータが編集可能な文字として認識文字（認識文字列）４１０、４１２に変換する（図３のステップＳ１０８）。なお、本明細書の認識文字とは、一又は複数の文字であっても良いことは勿論であり、文字・文字列を含むものとする。

【0034】

このとき、図９に示すように、画面処理部１４０は、キャプチャ画面３００に対して手書き入力された位置に、認識文字４１０、４１２を表示する（図３のステップＳ１１０）。認識文字４１０、４１２は、それぞれ、文字「発明」、「太郎」を表している。

【0035】

ステップＳ１１０について、図１０を用いて説明する。画面処理部１４０は、グループ化ストロークデータ３１０、３１２の各々の座標を検出する。グループ化ストロークデータ３１０を例にした場合、画面処理部１４０は、グループ化ストロークデータ３１０に対して、キャプチャ画面３００のＸ座標の最小値「Ｘ３１０１」、Ｘ座標の最大値「Ｘ３１０２」、Ｙ座標の最小値「Ｙ３１０１」、Ｙ座標の最大値「Ｙ３１０２」を検出して、その座標領域ＸＹ３１００として（Ｘ３１０１、Ｙ３１０１）（Ｘ３１０２、Ｙ３１０１）（Ｘ３１０１、Ｙ３１０２）（Ｘ３１０２、Ｙ３１０２）を認識する。画面処理部１４０は、認識文字４１０である文字「発明」の文字サイズを、予め設定された設定文字サイズから、この座標領域３１００に基づく文字サイズに変更（拡大）する。例えば、設定文字サイズに対して拡大倍率を決定する。画面処理部１４０は、キャプチャ画面３００の座標領域ＸＹ３１００に対して、座標領域３１００に基づく文字サイズで、認識文字４１０である文字「発明」を表示する。

【0036】

例えば、ユーザは、キャプチャ画面３００に表示された認識文字４１０、４１２のうちの少なくとも１つの認識文字に誤りがないと判断した場合（図３のステップＳ１１２−Ｎｏ）、後述のステップＳ１１６が実行される。

【0037】

一方、ユーザは、キャプチャ画面３００に表示された認識文字４１０、４１２のうちの少なくとも１つの認識文字に誤りがあると判断した場合（図３のステップＳ１１２−Ｙｅｓ）、その認識文字に対して修正を行なう（図３のステップＳ１１４）。具体的には、その認識文字に対して、ステップＳ１０２、Ｓ１０４、Ｓ１０６、Ｓ１０８、Ｓ１１０が実行される。または、ステップＳ１１４において、キャプチャ画面３００上にソフトキーボードを表示して、その認識文字に対して修正を行なってもよい。

【0038】

ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、入力指示を行なう（図３のステップＳ１１６）。

【0039】

このとき、図１１に示すように、画面処理部１４０は、キャプチャ画面３００に代えて、認識文字４１０、４１２がそれぞれ入力欄２１０、２１２に反映された入力画面２００を表示する（図３のステップＳ１１８）。入力画面２００の入力欄２１０、２１２には、それぞれ、文字「発明」、「太郎」が表示される。

【0040】

ステップＳ１１８について、図１２を用いて説明する。画面処理部１４０は、グループ化ストロークデータ３１０、３１２に対して検出された座標領域と、入力画面２００の入力欄２１０、２１２の座標領域とがそれぞれ重複するか否かを判定する。グループ化ストロークデータ３１０を例にした場合、画面処理部１４０は、既に、グループ化ストロークデータ３１０に対して、キャプチャ画面３００の座標領域ＸＹ３１００として（Ｘ３１０１、Ｙ３１０１）（Ｘ３１０２、Ｙ３１０１）（Ｘ３１０１、Ｙ３１０２）（Ｘ３１０２、Ｙ３１０２）を認識している。また、画面処理部１４０は、座標テーブル５００を参照することにより、入力画面２００の入力欄２１０の座標領域ＸＹ２１００として、（Ｘ２１０１、Ｙ２１０１）（Ｘ２１０２、Ｙ２１０１）（Ｘ２１０１、Ｙ２１０２）（Ｘ２１０２、Ｙ２１０２）を認識する。

【0041】

図１２に示すように、Ｘ２１０１≦Ｘ３１０１≦Ｘ２１０２、かつ、Ｙ２１０１≦Ｙ３１０１≦Ｙ２１０２、または、Ｘ２１０１≦Ｘ３１０２≦Ｘ２１０２、かつ、Ｙ２１０１≦Ｙ３１０２≦Ｙ２１０２であれば、キャプチャ画面３００の座標領域ＸＹ３１００と入力画面２００の入力欄２１０の座標領域ＸＹ２１００とは重なりあう。この場合、画面処理部１４０は、認識文字４１０である文字「発明」の文字サイズを、座標領域３１００に基づく文字サイズから、座標領域ＸＹ２１００に基づく文字サイズに変更（縮小）する。例えば、座標領域３１００に基づく文字サイズに対して縮小倍率を決定する。画面処理部１４０は、入力画面２００の入力欄２１０に対して、座標領域ＸＹ２１００に基づく文字サイズで、認識文字４１０である文字「発明」を表示する。

【0042】

ここで、認識結果のキャプチャ画面３００の座標領域ＸＹ３１００が入力画面２００の入力欄２１０、２１２の座標領域に重なった場合、認識結果の座標領域ＸＹ３１００の中心に対して、入力画面２００の入力欄２１０、２１２のうちの一番近い入力欄２１０を選んでもよい。また、一般的に、横書き文字を手書きで書く場合に左上から始まる。そこで、認識結果のキャプチャ画面３００の座標領域ＸＹ３１００が入力画面２００の入力欄２１０、２１２の座標領域に重なった場合、入力画面２００の入力欄２１０、２１２のうちの一番左上側の入力欄２１０を選んでもよい。

【0043】

以上の説明により、第１実施形態に係る入力表示装置１００では、入力欄２１０、２１２を含む入力画面２００を表示する表示部１３０と、表示部１３０に表示された入力画面２００を手書き入力用画面（キャプチャ画面３００）としてキャプチャし、キャプチャ画面３００を入力画面２００上に表示する画面処理部１４０と、キャプチャ画面３００に対して手書き入力されたときのストロークデータを、入力欄２１０、２１２に対応する文字列を表すストロークデータにグループ化し、グループ化ストロークデータ３１０、３１２として生成するストロークデータ処理部１６０と、グループ化ストロークデータ３１０、３１２に対して文字認識を施して、認識文字４１０、４１２に変換する文字認識部１７０と、を具備している。この場合、文字認識部１７０は、入力画面２００の入力欄２１０、２１２に基づいて、グループ化ストロークデータ３１０、３１２を認識文字４１０、４１２に変換し、画面処理部１４０は、認識文字４１０、４１２を入力画面２００の入力欄２１０、２１２に反映させる。このため、第１実施形態に係る入力表示装置１００では、特許文献２に記載された技術のように、その都度、ユーザに文字列を手書き入力させるのではなく、ユーザが一括して手書き入力することができる。

【0044】

ここで、第１実施形態に係る入力表示装置１００では、画面処理部１４０は、グループ化ストロークデータ３１０、３１２が、入力画面２００の入力欄２１０、２１２に対して、ずれている場合、グループ化ストロークデータ３１０、３１２の座標領域と、入力欄２１０、２１２の座標領域とに基づいて、グループ化ストロークデータ３１０、３１２に対して文字認識が施された認識文字４１０、４１２を、入力欄２１０、２１２に反映させる。例えば、グループ化ストロークデータ３１０、３１２の座標領域は、入力欄２１０、２１２の座標領域に対して、一部重なっているが、一部はみ出している。この場合でも、これらの座標領域に基づいて、グループ化ストロークデータ３１０、３１２に対して文字認識が施された認識文字４１０、４１２を、入力欄２１０、２１２に反映させることができる。

【0045】

なお、本実施形態の処理としては、一度キャプチャ画面３００に認識文字を表示しているが、単にテキスト文字（文字列）として、入力画面２００の入力欄（例えば、入力フォーム等）に出力してもよいことは勿論である。具体的には、図１１における入力欄２１０が、テキストボックス等の入力欄の場合、当該入力欄にテキスト文字列「発明」を出力すれば（渡せば）よい。

【0046】

すなわち、入力文字として入力された位置に近いテキスト入力欄を認識する。当該テキスト入力欄の名前（例えば、ＨＴＭＬファイルであれば「<input type="text" name="abc">」にて特定されるテキストボックス）に対して、認識文字をテキストとして出力してもよい。

【0047】

［第２実施形態］
第２実施形態では、入力画面２００に、文字の種類を制限する制限情報として、例えば、全角のカタカタを入力するための入力欄や、半角の数字を入力するための入力欄が含まれる。

【0048】

第２実施形態に係る入力表示装置１００の動作について、図２、３、１３〜１７を用いて説明する。図１３〜１７は、第２実施形態に係る入力表示装置１００の動作を説明するための図である。

【0049】

まず、通常入力モードについて説明する。画面処理部１４０は、文書データを入力画面２００（図１３を参照）として表示部１３０に表示する（図２のステップＳ２）。

【0050】

図１３に示すように、入力画面２００（文書データ）は、更に、複数の入力欄２２０、２２２、２３０、２３２、２３４を含んでいる。入力欄２２０、２２２は、それぞれ、ユーザの氏名（名前）である姓、名をカタカナにより入力するカタカナ入力欄である。入力欄２３０、２３２、２３４は、それぞれ、ユーザの生年月日である年（西暦）、月、日を数字により入力する数字入力欄である。

【0051】

図１４に示すように、座標テーブル５００は、更に、入力欄２２０、２２２、２３０、２３２、２３４に対して、Ｘ座標、Ｙ座標を表すデータを記憶している。具体的には、入力欄２２０には、Ｘ座標の最小値「Ｘ２２０１」、Ｘ座標の最大値「Ｘ２２０２」、Ｙ座標の最小値「Ｙ２２０１」、Ｙ座標の最大値「Ｙ２２０２」が対応付けられている。入力欄２２２には、Ｘ座標の最小値「Ｘ２２２１」、Ｘ座標の最大値「Ｘ２２２２」、Ｙ座標の最小値「Ｙ２２２１」、Ｙ座標の最大値「Ｙ２２２２」が対応付けられている。入力欄２３０には、Ｘ座標の最小値「Ｘ２３０１」、Ｘ座標の最大値「Ｘ２３０２」、Ｙ座標の最小値「Ｙ２３０１」、Ｙ座標の最大値「Ｙ２３０２」が対応付けられている。入力欄２３２には、Ｘ座標の最小値「Ｘ２３２１」、Ｘ座標の最大値「Ｘ２３２２」、Ｙ座標の最小値「Ｙ２３２１」、Ｙ座標の最大値「Ｙ２３２２」が対応付けられている。入力欄２３４には、Ｘ座標の最小値「Ｘ２３４１」、Ｘ座標の最大値「Ｘ２３４２」、Ｙ座標の最小値「Ｙ２３４１」、Ｙ座標の最大値「Ｙ２３４２」が対応付けられている。

【0052】

また、図１４に示すように、座標テーブル５００は、入力欄２２０、２２２、２３０、２３２、２３４に対して、文字の種類を制限する制限情報を記憶している。具体的には、入力欄２２０、２２２には、文字の種類として全角のカタカタをユーザに入力させるためのカタカナ制限情報５２０が対応付けられている。入力欄２３０、２３２、２３４には、文字の種類として半角の数字をユーザに入力させるための数字制限情報５３０が対応付けられている。文字認識部１７０は、座標テーブル５００を参照して、入力欄２２０、２２２にカタカナ制限情報５２０が対応付けられている場合、入力画面２００に全角のカタカタをユーザに入力させるための入力欄２２０、２２２があることを認識する。文字認識部１７０は、座標テーブル５００を参照して、入力欄２３０、２３２、２３４に数字制限情報５３０が対応付けられている場合、入力画面２００に半角の数字をユーザに入力させるための入力欄２３０、２３２、２３４があることを認識する。

【0053】

【0054】

通常入力モードにおいて、ユーザは、表示部１３０に表示された入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対して、それぞれ、入力部１５０（キーボード１５２）を用いて文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」を入力する。図１１に示すように、画面処理部１４０は、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」がそれぞれ入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に反映された入力画面２００を表示部１３０に表示する。

【0055】

次に、手書き入力モードについて説明する。画面処理部１４０は、文書データを入力画面２００（図１３を参照）として表示部１３０に表示する（図２のステップＳ２）。文書データは、ＨＴＭＬ（Hyper Text Markup Language）やＰＤＦ（Portable Document Format）等による文書を表すデータである。

【0056】

【0057】

手書き入力モードにおいて、画面処理部１４０は、表示部１３０に表示された入力画面２００をキャプチャ画面３００（図１５を参照）としてキャプチャして、記憶部１２０に保存すると共に、キャプチャ画面３００を入力画面２００上に表示する（図３のステップＳ１００）。

【0058】

図１５に示すように、ユーザは、キャプチャ画面３００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対して、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」を手書き入力する（図３のステップＳ１０２）。

【0059】

この場合、ユーザは、キャプチャ画面３００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４からはみ出して、文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」を手書き入力している。ストロークデータ処理部１６０は、キャプチャ画面３００に対して手書き入力された文字を構成する座標列をそれぞれストロークデータとして生成して記憶部１２０に保存する。

【0060】

ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、認識指示を行なう（図３のステップＳ１０４）。

【0061】

このとき、図１５に示すように、ストロークデータ処理部１６０は、記憶部１２０に保存されたストロークデータを、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対応する文字列を表すストロークデータにグループ化し、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４として生成する（図３のステップＳ１０６）。

【0062】

文字認識部１７０は、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４に対して文字認識を施して、それぞれ、コンピュータが編集可能な文字として認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４に変換する（図３のステップＳ１０８）。

【0063】

【0064】

このとき、図１６に示すように、画面処理部１４０は、キャプチャ画面３００に対して手書き入力された位置に、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４を表示する（図３のステップＳ１１０）。認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４は、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」を表している。

【0065】

例えば、ユーザは、キャプチャ画面３００に表示された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４のうちの少なくとも１つの認識文字に誤りがないと判断した場合（図３のステップＳ１１２−Ｎｏ）、ステップＳ１１６が実行される。

【0066】

一方、ユーザは、キャプチャ画面３００に表示された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４のうちの少なくとも１つの認識文字に誤りがあると判断した場合（図３のステップＳ１１２−Ｙｅｓ）、その認識文字に対して修正を行なう（図３のステップＳ１１４）。具体的には、その認識文字に対して、ステップＳ１０２、Ｓ１０４、Ｓ１０６、Ｓ１０８、Ｓ１１０が実行される。または、ステップＳ１１４において、キャプチャ画面３００上にソフトキーボードを表示して、その認識文字に対して修正を行なってもよい。

【0067】

ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、入力指示を行なう（図３のステップＳ１１６）。

【0068】

このとき、図１７に示すように、画面処理部１４０は、キャプチャ画面３００に代えて、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４がそれぞれ入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に反映された入力画面２００を表示する（図３のステップＳ１１８）。入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４には、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」が表示される。

【0069】

なお、入力画面２００の入力欄２３０、２３２、２３４は、数字を入力する欄であるため、ユーザが任意の数字を選択可能なプルダウン方式でもよい。

【0070】

以上の説明により、第２実施形態に係る入力表示装置１００では、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４を含む入力画面２００を表示する表示部１３０と、表示部１３０に表示された入力画面２００を手書き入力用画面（キャプチャ画面３００）としてキャプチャし、キャプチャ画面３００を入力画面２００上に表示する画面処理部１４０と、キャプチャ画面３００に対して手書き入力されたときのストロークデータを、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対応する文字列を表すストロークデータにグループ化し、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４として生成するストロークデータ処理部１６０と、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４に対して文字認識を施して、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４に変換する文字認識部１７０と、を具備している。この場合、文字認識部１７０は、入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に基づいて、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４を認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４に変換し、画面処理部１４０は、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４を入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に反映させる。このため、第２実施形態に係る入力表示装置１００では、特許文献２に記載された技術のように、その都度、ユーザに文字列を手書き入力させるのではなく、ユーザが一括して手書き入力することができる。

【0071】

また、第２実施形態に係る入力表示装置１００では、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４のうちの少なくとも１つの入力欄２２０、２２２、２３０、２３２、２３４には、文字の種類を制限するための制限情報５２０、５３０が対応付けられている。文字認識部１７０は、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４と制限情報５２０、５３０とに基づいて、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４を認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４に変換する。このため、第２実施形態に係る入力表示装置１００では、文字の種類を制限する制限情報として、例えば、全角のカタカタを入力欄２２０、２２２に反映させたり、半角の数字を入力欄２３０、２３２、２３４に反映させたりすることができる。

【0072】

ここで、第２実施形態に係る入力表示装置１００では、画面処理部１４０は、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４が、入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対して、ずれている場合でも、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４の座標領域と、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４の座標領域と、制限情報５２０、５３０とに基づいて、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４に対して文字認識が施された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４を、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に反映させる。例えば、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４のうちのグループ化ストロークデータ３２０、３２２の座標領域は、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４のうちの入力欄２２０、２２２の座標領域に対して、一部重なっているが、一部はみ出している。この場合でも、これらの座標領域と制限情報（カタカナ制限情報５２０）とに基づいて、グループ化ストロークデータ３２０、３２２に対して文字認識が施された認識文字４２０、４２２を、入力欄２１０、２１２に反映させることができる。例えば、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４のうちのグループ化ストロークデータ３３０、３３２、３３４の座標領域は、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４のうちの入力欄２３０、２３２、２３４の座標領域に対して、一部重なっているが、一部はみ出している。この場合でも、これらの座標領域と制限情報（数字制限情報５３０）とに基づいて、グループ化ストロークデータ３３０、３３２、３３４に対して文字認識が施された認識文字４３０、４３２、４３４を、入力欄２３０、２３２、２３４に反映させることができる。

【0073】

［第３実施形態］
第３実施形態では、入力画面２００に、属性情報として、例えば、ユーザが選択（指定）するための入力欄が含まれる。

【0074】

第３実施形態に係る入力表示装置１００の動作について、図２、１８〜２４を用いて説明する。図１８、１９は、第３実施形態に係る入力表示装置１００の動作として手書き入力モードを示すフローチャートである。図２０〜２４は、第３実施形態に係る入力表示装置１００の動作を説明するための図である。

【0075】

まず、通常入力モードについて説明する。画面処理部１４０は、文書データを入力画面２００（図２０を参照）として表示部１３０に表示する（図２のステップＳ２）。

【0076】

図２０に示すように、入力画面２００（文書データ）は、更に、入力欄２４０、２４２を含んでいる。入力欄２４０、２４２は、それぞれ、チェックマーク（例えば、レ点）を付すことによって、性別として男性又は女性をユーザが選択（指定）するためのチェック入力欄（いわゆる、チェックボックス）である。

【0077】

図２１に示すように、座標テーブル５００は、更に、入力欄２４０、２４２に対して、Ｘ座標、Ｙ座標を表すデータを記憶している。具体的には、入力欄２４０には、Ｘ座標の最小値「Ｘ２４０１」、Ｘ座標の最大値「Ｘ２４０２」、Ｙ座標の最小値「Ｙ２４０１」、Ｙ座標の最大値「Ｙ２４０２」が対応付けられている。入力欄２４２には、Ｘ座標の最小値「Ｘ２４２１」、Ｘ座標の最大値「Ｘ２４２２」、Ｙ座標の最小値「Ｙ２４２１」、Ｙ座標の最大値「Ｙ２４２２」が対応付けられている。

【0078】

また、図２１に示すように、座標テーブル５００は、入力欄２４０、２４２に対して、属性情報を記憶している。具体的には、入力欄２４０、２４２には、入力欄２４０又は入力欄２４２をユーザに指定（選択）させるためのチェックマーク属性情報５４０が対応付けられている。文字認識部１７０は、座標テーブル５００を参照して、入力欄２４０、２４２にチェックマーク属性情報５４０が対応付けられている場合、入力画面２００にチェックマークをユーザに指定（選択）させるための入力欄２４０、２４２があることを認識する。すなわち、チェックマークによる入力方法で入力されることが属性情報として対応づけられる。

【0079】

【0080】

通常入力モードにおいて、ユーザは、表示部１３０に表示された入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対して、それぞれ、入力部１５０（キーボード１５２）を用いて文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」を入力する。また、ユーザは、表示部１３０に表示された入力画面２００の入力欄２４０、２４２のうちの入力欄２４０を、入力部１５０（キーボード１５２）を用いて選択（指定）する。図２４に示すように、画面処理部１４０は、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」、チェックマークがそれぞれ入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に反映された入力画面２００を表示部１３０に表示する。

【0081】

次に、手書き入力モードについて説明する。画面処理部１４０は、文書データを入力画面２００（図２０を参照）として表示部１３０に表示する（図２のステップＳ２）。文書データは、ＨＴＭＬ（Hyper Text Markup Language）やＰＤＦ（Portable Document Format）等による文書を表すデータである。

【0082】

【0083】

手書き入力モードにおいて、画面処理部１４０は、表示部１３０に表示された入力画面２００（図２０を参照）をキャプチャ画面３００（図２２を参照）としてキャプチャして、記憶部１２０に保存すると共に、キャプチャ画面３００を入力画面２００上に表示する（図１８のステップＳ１００）。

【0084】

図２２に示すように、ユーザは、キャプチャ画面３００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対して、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」を手書き入力する。また、ユーザは、キャプチャ画面３００の入力欄２４０、２４２のうちの入力欄２４０に対して、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、チェックマーク（例えば、レ点）として文字「レ」を手書き入力する（図１８のステップＳ１０２）。

【0085】

この場合、ユーザは、キャプチャ画面３００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０からはみ出して、文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」、「レ」を手書き入力している。ストロークデータ処理部１６０は、キャプチャ画面３００に対して手書き入力された文字を構成する座標列をそれぞれストロークデータとして生成して記憶部１２０に保存する。

【0086】

ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、認識指示を行なう（図１８のステップＳ１０４）。

【0087】

このとき、図２２に示すように、ストロークデータ処理部１６０は、記憶部１２０に保存されたストロークデータを、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に対応する文字列を表すストロークデータにグループ化し、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０として生成する（図１８のステップＳ１０６）。

【0088】

文字認識部１７０は、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０に対して文字認識を施して、それぞれ、コンピュータが編集可能な文字として認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０に変換する（図１８のステップＳ１０８）。

【0089】

この場合、座標テーブル５００の入力欄２２０、２２２にカタカナ制限情報５２０が対応付けられているため、文字認識部１７０は、入力画面２００に全角のカタカタをユーザに入力させるための入力欄２２０、２２２があることを認識し、全角のカタカタを表す認識文字４２０、４２２に変換する。また、座標テーブル５００の入力欄２３０、２３２、２３４に数字制限情報５３０が対応付けられているため、文字認識部１７０は、入力画面２００に半角の数字をユーザに入力させるための入力欄２３０、２３２、２３４があることを認識し、半角の数字を表す認識文字４３０、４３２、４３４に変換する。また、座標テーブル５００の入力欄２４０、２４２にチェックマーク属性情報５４０が対応付けられているため、文字認識部１７０は、入力画面２００にチェックマークをユーザに指定（選択）させるための入力欄２４０、２４２があることを認識し、チェックマークを表す認識文字４４０に変換する。

【0090】

このとき、図２３に示すように、画面処理部１４０は、キャプチャ画面３００に対して手書き入力された位置に、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０を表示する（図１８のステップＳ１１０）。認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０は、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」、レ点による文字「レ」を表している。

【0091】

例えば、ユーザは、キャプチャ画面３００に表示された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０のうちの少なくとも１つの認識文字に誤りがないと判断した場合（図１８のステップＳ１１２−Ｎｏ）、ステップＳ１１６が実行される。

【0092】

一方、ユーザは、キャプチャ画面３００に表示された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０のうちの少なくとも１つの認識文字に誤りがあると判断した場合（図１８のステップＳ１１２−Ｙｅｓ）、その認識文字に対して修正を行なう（図１８のステップＳ１１４）。具体的には、その認識文字に対して、ステップＳ１０２、Ｓ１０４、Ｓ１０６、Ｓ１０８、Ｓ１１０が実行される。

【0093】

ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、入力指示を行なう（図１８のステップＳ１１６）。

【0094】

画面処理部１４０は、座標テーブル５００を参照して、入力欄２４０、２４２にチェックマーク属性情報５４０が対応付けられていない場合、入力画面２００にチェックマークを付すための入力欄２４０、２４２がないことを認識する（図１９のステップＳ１２０−Ｎｏ）。この場合、第２実施形態と同様に、ステップＳ１１８が実行される。すなわち、画面処理部１４０は、キャプチャ画面３００に代えて、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４がそれぞれ入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に反映された入力画面２００を表示する（図１９のステップＳ１１８）。入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４には、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」が表示される。

【0095】

一方、画面処理部１４０は、座標テーブル５００を参照して、入力欄２４０、２４２にチェックマーク属性情報５４０が対応付けられている場合、入力画面２００にチェックマークを付すための入力欄２４０、２４２があることを認識する（図１９のステップＳ１２０−Ｙｅｓ）。この場合、図２４に示すように、画面処理部１４０は、キャプチャ画面３００に代えて、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、チェックマークがそれぞれ入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に反映された入力画面２００を表示する（図１９のステップＳ１２２）。すなわち、入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４には、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」が表示され、かつ、入力画面２００の入力欄２４０、２４２のうちの入力欄２４０が選択（指定）されたチェックマークが表示される。

【0096】

以上の説明により、第３実施形態に係る入力表示装置１００では、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２を含む入力画面２００を表示する表示部１３０と、表示部１３０に表示された入力画面２００を手書き入力用画面（キャプチャ画面３００）としてキャプチャし、キャプチャ画面３００を入力画面２００上に表示する画面処理部１４０と、キャプチャ画面３００に対して手書き入力されたときのストロークデータを、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２に対応する文字列を表すストロークデータにグループ化し、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０として生成するストロークデータ処理部１６０と、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０に対して文字認識を施して、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０に変換する文字認識部１７０と、を具備している。この場合、文字認識部１７０は、入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２に基づいて、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０を認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０に変換し、画面処理部１４０は、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０を入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に反映させる。このため、第３実施形態に係る入力表示装置１００では、特許文献２に記載された技術のように、その都度、ユーザに文字列を手書き入力させるのではなく、ユーザが一括して手書き入力することができる。

【0097】

また、第３実施形態に係る入力表示装置１００では、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２のうちの少なくとも２つの入力欄２４０、２４２には、ユーザが選択又は指定するための属性情報（チェックマーク属性情報５４０）が対応付けられている。文字認識部１７０は、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２と属性情報（チェックマーク属性情報５４０）とに基づいて、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０を認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０に変換する。このため、第３実施形態に係る入力表示装置１００では、属性情報として、例えば、ユーザ選択（ユーザ指定）を入力欄２４０、２４２に反映させることができる。

【0098】

ここで、第３実施形態に係る入力表示装置１００では、画面処理部１４０は、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０が、入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に対して、ずれている場合でも、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０の座標領域と、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０の座標領域と、属性情報（チェックマーク属性情報５４０）と、に基づいて、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０に対して文字認識が施された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０を、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に反映させる。例えば、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０のうちのグループ化ストロークデータ３４０の座標領域は、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０のうちの入力欄２４０の座標領域に対して、一部重なっているが、一部はみ出している。この場合でも、これらの座標領域と属性情報（チェックマーク属性情報５４０）とに基づいて、グループ化ストロークデータ３４０に対して文字認識が施された認識文字４４０を、入力欄２４０に反映させることができる。

【0099】

［第４実施形態］
第４実施形態では、キャプチャ画面３００に各入力欄以外の部分に手書き入力された文字（例えば、ユーザのサイン等）については、入力画面２００に反映させてもよい。

【0100】

第４実施形態に係る入力表示装置１００の動作について、図１８〜２１、２５〜２７を用いて説明する。図２５〜２７は、第４実施形態に係る入力表示装置１００の動作を説明するための図である。

【0101】

手書き入力モードにおいて、画面処理部１４０は、表示部１３０に表示された入力画面２００（図２０を参照）をキャプチャ画面３００（図２５を参照）としてキャプチャして、記憶部１２０に保存すると共に、キャプチャ画面３００を入力画面２００上に表示する（図１８のステップＳ１００）。

【0102】

図２５に示すように、ユーザは、キャプチャ画面３００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対して、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」を手書き入力する。また、ユーザは、キャプチャ画面３００の入力欄２４０、２４２のうちの入力欄２４０に対して、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、チェックマーク（例えば、レ点）として文字「レ」を手書き入力する。また、ユーザは、キャプチャ画面３００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２以外の部分に、ユーザ自身のサインとして、文字「発」を丸で囲った文字を手書き入力する（図１８のステップＳ１０２）。

【0103】

この場合、ユーザは、キャプチャ画面３００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、入力欄２４０からはみ出して、文字「発明」、「太郎」、「ハツメイ」、「タロウ」、「２０１６」、「１」、「１」、「レ」を手書き入力している。また、ユーザは、キャプチャ画面３００の右隅の部分に、丸で囲った文字「発」を手書き入力している。ストロークデータ処理部１６０は、キャプチャ画面３００に対して手書き入力された文字を構成する座標列をそれぞれストロークデータとして生成して記憶部１２０に保存する。

【0104】

ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、認識指示を行なう（図１８のステップＳ１０４）。

【0105】

このとき、図２５に示すように、ストロークデータ処理部１６０は、記憶部１２０に保存されたストロークデータのうちの、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に対応する文字列を表すストロークデータをグループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０として生成する。また、ストロークデータ処理部１６０は、記憶部１２０に保存されたストロークデータのうちの、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に対応しない文字列を表すストロークデータを、手書き文字３５０として生成する（図１８のステップＳ１０６）。

【0106】

【0107】

【0108】

このとき、図２６に示すように、画面処理部１４０は、キャプチャ画面３００に対して手書き入力された位置に、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０と手書き文字３５０とを表示する（図１８のステップＳ１１０）。認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０は、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」、レ点による文字「レ」を表している。

【0109】

【0110】

【0111】

ユーザは、入力部１５０（ポインティングデバイス１５４又はタッチペン１５６）を用いて、入力指示を行なう（図１８のステップＳ１１６）。

【0112】

画面処理部１４０は、座標テーブル５００を参照して、入力欄２４０、２４２にチェックマーク属性情報５４０が対応付けられていない場合、入力画面２００にチェックマークを付すための入力欄２４０、２４２がないことを認識する（図１９のステップＳ１２０−Ｎｏ）。この場合、ステップＳ１１８が実行される。すなわち、画面処理部１４０は、キャプチャ画面３００に代えて、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４がそれぞれ入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に反映され、かつ、手書き文字３５０が入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４以外の部分に反映された入力画面２００を表示する（図１９のステップＳ１１８）。入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４には、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」が表示される。また、入力画面２００の右隅の部分には、丸で囲った文字「発」が表示される。

【0113】

一方、画面処理部１４０は、座標テーブル５００を参照して、入力欄２４０、２４２にチェックマーク属性情報５４０が対応付けられている場合、入力画面２００にチェックマークを付すための入力欄２４０、２４２があることを認識する（図１９のステップＳ１２０−Ｙｅｓ）。この場合、図２７に示すように、画面処理部１４０は、キャプチャ画面３００に代えて、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、チェックマークがそれぞれ入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に反映され、かつ、手書き文字３５０が入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４以外の部分に反映された入力画面２００を表示する（図１９のステップＳ１２２）。すなわち、入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４には、それぞれ、文字「発明」、「太郎」、全角のカタカタによる文字「ハツメイ」、「タロウ」、半角の数字による文字「２０１６」、「１」、「１」が表示され、かつ、入力画面２００の入力欄２４０、２４２のうちの入力欄２４０が選択（指定）されたチェックマークが表示される。また、入力画面２００の右隅の部分には、丸で囲った文字「発」が表示される。

【0114】

以上の説明により、第４実施形態に係る入力表示装置１００では、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２を含む入力画面２００を表示する表示部１３０と、表示部１３０に表示された入力画面２００を手書き入力用画面（キャプチャ画面３００）としてキャプチャし、キャプチャ画面３００を入力画面２００上に表示する画面処理部１４０と、キャプチャ画面３００に対して手書き入力されたときのストロークデータを、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０、２４２に対応する文字列を表すストロークデータにグループ化し、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０として生成するストロークデータ処理部１６０と、グループ化ストロークデータ３１０、３１２、３２０、３２２、３３０、３３２、３３４、３４０に対して文字認識を施して、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０に変換する文字認識部１７０と、を具備している。画面処理部１４０は、認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４、４４０を入力画面２００の入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４、２４０に反映させる。このため、第４実施形態に係る入力表示装置１００では、特許文献２に記載された技術のように、その都度、ユーザに文字列を手書き入力させるのではなく、ユーザが一括して手書き入力することができる。

【0115】

また、第４実施形態に係る入力表示装置１００では、ストロークデータ処理部１６０は、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に対応しない文字列を表すストロークデータを手書き文字３５０として生成する。画面処理部１４０は、手書き文字３５０と、入力欄２１０、２１２、２２０、２２２、２３０、２３２、２３４に反映された認識文字４１０、４１２、４２０、４２２、４３０、４３２、４３４とを入力画面２００に表示する。このため、第４実施形態に係る入力表示装置１００では、キャプチャ画面３００に各入力欄以外の部分に手書き入力された文字（例えば、ユーザのサイン等）を入力画面２００に反映させることができる。

【0116】

［第５実施形態］
第２実施形態では、入力画面２００に、文字の種類を制限する制限情報として、例えば、全角のカタカタを入力するための入力欄や、半角の数字を入力するための入力欄が含まれるが、これに限定されない。例えば、入力画面２００に、文字の種類を制限する制限情報として、全角のカタカタを入力するための入力欄に代えて、半角のアルファベットを入力するための入力欄が含まれてもよい。

【0117】

［第６実施形態］
第１〜第５実施形態では、入力画面２００に対して座標（Ｘ０、Ｙ０）（Ｘｍａｘ、Ｙ０）（Ｘ０、Ｙｍａｘ）（Ｘｍａｘ、Ｙｍａｘ）をもたせているが、これに限定されない。例えば、入力画面２００（ウィンドウ）は表示部１３０上で移動可能であり、入力画面２００に対して座標をもたせていない場合、ユーザがキャプチャ画面３００上で手書き入力したときに、画面処理部１４０は、キャプチャ画面３００上の座標をイベントデータとして、入力画面２００に対応付けてもよい。

【0118】

［第７実施形態］
第７実施形態として、入力される文字（列）が英数字の場合について説明する。図２８は、キャプチャ画面４００に英数字を入力し、入力画面に反映させるものである。なお、上述した実施形態と機能構成や基本的な処理については共通であり、具体的な処理については、上述した実施形態を適宜参照できるものとする。したがって、本実施形態においては、上述した実施形態と異なる部分を中心に説明する。

【0119】

図２８は、手書き入力モードにおけるキャプチャ画面４００である。キャプチャ画面４００は、入力画面をキャプチャしたものであり、入力画面には「First name」「Last name」「Date of Birth」という入力欄が存在する。また、選択可能な選択ボタンとして、「Title」の欄が存在する。

【0120】

ここで、ユーザは、キャプチャ画面４００の入力欄に対し、入力部１５０を用いて文字「John」「Smith」「8/29/1970」を手書き入力する。また、ユーザは、選択ボタンに対してチェックマークを手書き入力する。これらの手書き入力された文字（文字列）を構成する座標列をそれぞれストロークデータとして生成して記憶部１２０に保存する。

【0121】

このとき、入力欄に対応する文字列を表すストロークデータをグループ化ストロークデータとして生成してもよい。これらのストロークデータ（グループ化ストロークデータ）に対して文字認識を施して、それぞれ、コンピュータが編集可能な文字（文字列）として認識文字に変換する。

【0122】

ここで、文字認識部１７０は、入力欄に対応して認識文字に変換する。具体的には「First name」の欄であれば、英数字の文字認識を行う。また、選択ボタンについては、チェックマークを認識する認識文字に認識する。

【0123】

なお、文字認識部１７０は、入力欄に対応した認識文字に変換するが、予め決められた言語で認識されてもよい。予め決められた言語とは、当該処理が実行される前に「英語」「日本語」「アラビア語」等が設定されてもよいし、ＯＳで設定されている言語が利用されても良い。

【0124】

図２９は、文字・文字列が認識された状態を示すキャプチャ画面４００である。当該認識が適切であれば、ユーザにより反映させる操作が実行され、各入力欄に認識された文字・文字列が入力させることとなる。すなわち、入力画面の複数の入力欄に、認識された文字が反映される。

【0125】

［第８実施形態］
第８実施形態について説明する。第４実施形態において、日本語における手書き入力及びそれ以外の入力について説明した。本実施形態は、入力する欄の属性情報に応じて、文字を認識するのか、そのままストロークデータを記憶するのかを分ける形態である。なお、上述した実施形態と機能構成、主な処理は共通であり、具体的な処理については、上述した実施形態を適宜参照できるものとする。したがって、本実施形態においては、上述した実施形態と異なる部分を中心に説明する。

【0126】

図３０は、第３実施形態における図１８の処理を置き換えたものである。同一の処理フローについては、同一の符号を付してその説明を省略する。すなわち、図３０では、ステップＳ８０２が追加されている。

【0127】

ステップＳ８０２は、現在ストロークデータが入力された入力画面の位置の属性情報が署名欄か否かを判定する（ステップＳ８０２）。ここで、署名欄でない場合は他の実施形態と同様に、ステップＳ１０８から処理を実行するが（ステップＳ８０２；Ｎｏ）、署名欄の場合には、文字認識を行わない（ステップＳ８０２；Ｙｅｓ）。すなわち、ストロークデータは手書き入力された文字であるサイン（署名）であるとして、入力画面に反映されることとなる。

【0128】

この署名である属性情報は、例えば座標テーブル５００に対応づけて記憶させてもよい。例えば、内容「署名欄」に対して、情報「署名属性情報」が記憶される。

【0129】

図３１は、本実施形態における入力画面に基づくキャプチャ画面５１０である。キャプチャ画面５１０には、入力欄があり、例えば、「First name」の入力欄にはグループ化ストロークデータ６００が入力されており、図３２に示すように認識文字６１０として認識される。

【0130】

ここで、署名欄に入力された手書き文字６０２は、署名欄の属性に基づいてそのまま手書き文字６１２として生成され、反映される。

【0131】

このように、本実施形態によれば、通常の入力欄に手書き入力された文字（ストロークデータ）は、グループ化ストロークデータとして生成され、文字列として認識される。また、署名欄に入力された署名は、そのまま手書き文字として生成され、認識される。

【0132】

なお、本実施形態では、署名欄を一例として説明しているが、その他の欄であってもよいし（例えば、図形入力欄や、確認欄等）、複数設けてもよい。

【0133】

［第９実施形態］
第９実施形態について説明する。第８実施形態において、入力する欄の属性に基づいて、文字認識するか否かについての判定を行った。本実施形態では、更に加えて座標情報を併せて、入力する欄の属性を判定する場合について説明する。なお、上述した実施形態と機能構成、主な処理は共通であり、具体的な処理については、上述した実施形態を適宜参照できるものとする。したがって、本実施形態においては、上述した実施形態と異なる部分を中心に説明する。

【0134】

図３３は、第８実施形態（第３実施形態）における図３０（図１８）の処理を置き換えたものである。同一の処理フローについては、同一の符号を付してその説明を省略する。すなわち、図３３では、図１８の動作フローと比較してステップＳ９０２、Ｓ９０４が追加されている。

【0135】

キャプチャ画面において、手書き入力されると、手書き入力された座標情報に基づいて、属性情報を取得する（ステップＳ９０２）。ここで、取得された属性情報が、文字認識する対象であればステップＳ１０８から処理を実行する（ステップＳ９０４；Ｙｅｓ）。すなわち、文字認識を実行する。

【0136】

それに対して、取得された属性情報が文字認識する対象で無ければ、文字認識を行わない（ステップＳ９０４；Ｎｏ）。なお、これらの座標情報と属性情報との対応は、例えば、座標テーブル５００に記憶されてもよい。

【0137】

例えば、図３４は、入力枠が表示されていない入力画面に基づくキャプチャ画面（入力用画面）である。この場合、入力領域７５０については、文字認識を行わない領域であり、入力領域７６０については、文字認識を行う領域である。すなわち、当該入力領域を含む座標情報の属性情報に、その旨が設定されている。

【0138】

したがって、グループ化ストロークデータ７００については文字認識が行われる。例えば、グループ化ストロークデータ７００は、文字認識が行われ、図３５の認識文字７１０として表示される。

【0139】

また、文字認識を行わない領域に入力された手書き文字７０２は、そのまま手書き文字として入力される。すなわち、図３５では、手書き文字７１２として表示されている。

【0140】

このように、本実施形態によれば、入力枠が表示されていない場合であっても、適切に属性情報を取得し、入力されたストロークデータは、属性情報に従って文字（文字列）や手書き文字、図形として入力される。

【0141】

第７実施形態から第９実施形態は、第１実施形態から第６実施形態で記載された内容においても十分開示されている内容である。実施形態として、第１実施形態から第６実施形態は、漢字、カタカナといった文字を主に説明したが、英数字においても適用される点を確認的に記載したものである。例えば、図１５においても数字を認識していることから、当業者であれば十分に開示されている範囲である。

【0142】

なお、第７実施形態から第９実施形態は、英文字を例に説明したが、その他の文字（例えば、アラビア文字や、キリル文字、タイ文字等）、記号であっても同様に適用可能なことは勿論である。

【0143】

［変形例］
以上のように、本発明は上述した実施形態に限定されるものではなく、種々の変更が可能である。すなわち、適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0144】

１００ … 入力表示装置
１１０ … 制御部
１２０ … 記憶部
１３０ … 表示部
１４０ … 画面処理部
１５０ … 入力部
１６０ … ストロークデータ処理部
１７０ … 文字認識部
２００ … 入力画面
２１０ … 入力欄
２１２ … 入力欄
２２０ … 入力欄
２２２ … 入力欄
２３０ … 入力欄（数字入力欄）
２３２ … 入力欄（数字入力欄）
２３４ … 入力欄（数字入力欄）
２４０ … 入力欄（チェック欄）
２４２ … 入力欄（チェック欄）
３００ … キャプチャ画面
３１０ … グループ化ストロークデータ
３１２ … グループ化ストロークデータ
３２０ … グループ化ストロークデータ
３２２ … グループ化ストロークデータ
３３０ … グループ化ストロークデータ
３３２ … グループ化ストロークデータ
３３４ … グループ化ストロークデータ
３４０ … グループ化ストロークデータ
３５０ … 手書き文字
４１０ … 認識文字
４１２ … 認識文字
４２０ … 認識文字
４２２ … 認識文字
４３０ … 認識文字
４３２ … 認識文字
４３４ … 認識文字
４４０ … 認識文字
５００ … 座標テーブル
５２０ … カタカナ制限情報
５３０ … 数字制限情報
５４０ … チェックマーク属性情報
ＳＤ１ … ストロークデータ
ＳＤｎ … ストロークデータ
Ｔｐ … 所定時間

【図1】