知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133111
(43)【公開日】2023-09-22
(54)【発明の名称】表示装置、表示方法、プログラム
(51)【国際特許分類】
G06F 3/04883 20220101AFI20230914BHJP
G06F 3/04845 20220101ALI20230914BHJP
G06F 40/109 20200101ALI20230914BHJP
G06V 30/19 20220101ALI20230914BHJP
G06V 30/242 20220101ALI20230914BHJP
【ＦＩ】
G06F3/04883
G06F3/04845
G06F40/109
G06V30/19 G
G06V30/242
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2022192226
(22)【出願日】2022-11-30
(31)【優先権主張番号】P 2022037463
(32)【優先日】2022-03-10
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】吉田 拓郎
【テーマコード（参考）】
5B064
5B109
5E555
【Ｆターム（参考）】
5B064AB03
5B064AB04
5B064AB09
5B064BA05
5B064DA29
5B064DA32
5B064FA10
5B109RA15
5B109SA14
5E555AA13
5E555BA02
5E555BA28
5E555BA63
5E555BB02
5E555BB28
5E555BC19
5E555CA14
5E555CB10
5E555CB11
5E555DB11
5E555DB41
5E555DD07
5E555EA07
5E555EA24
5E555FA00
(57)【要約】
【課題】表や図に合わせて、フォントのサイズや色といった、手書きから変換されたテキストや図形の属性の設定に関するユーザーの利便性を向上させること。
【解決手段】表を表示する表示装置であって、前記表に設定されている属性を記憶する記憶部と、手書きの入力を受け付ける入力受付部と、前記手書きをテキスト又は図形に変換する変換部と、前記手書きが前記表の少なくとも一部と重複しているか否かを判断する判断部と、前記判断部が前記手書きが前記表の少なくとも一部と重複していると判断する場合に、前記表に設定されている属性に基づいて前記テキスト又は前記図形を前記表に表示させる表示制御部と、を有することを特徴とする。
【選択図】図１
【解決手段】表を表示する表示装置であって、前記表に設定されている属性を記憶する記憶部と、手書きの入力を受け付ける入力受付部と、前記手書きをテキスト又は図形に変換する変換部と、前記手書きが前記表の少なくとも一部と重複しているか否かを判断する判断部と、前記判断部が前記手書きが前記表の少なくとも一部と重複していると判断する場合に、前記表に設定されている属性に基づいて前記テキスト又は前記図形を前記表に表示させる表示制御部と、を有することを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
表を表示する表示装置であって、
前記表に設定されている属性を記憶する記憶部と、
手書きの入力を受け付ける入力受付部と、
前記手書きをテキスト又は図形に変換する変換部と、
前記手書きが前記表の少なくとも一部と重複しているか否かを判断する判断部と、
前記判断部が前記手書きが前記表の少なくとも一部と重複していると判断する場合に、前記表に設定されている属性に基づいて前記テキスト又は前記図形を前記表に表示させる表示制御部と、
を有することを特徴とする表示装置。
前記表に設定されている属性を記憶する記憶部と、
手書きの入力を受け付ける入力受付部と、
前記手書きをテキスト又は図形に変換する変換部と、
前記手書きが前記表の少なくとも一部と重複しているか否かを判断する判断部と、
前記判断部が前記手書きが前記表の少なくとも一部と重複していると判断する場合に、前記表に設定されている属性に基づいて前記テキスト又は前記図形を前記表に表示させる表示制御部と、
を有することを特徴とする表示装置。
【請求項2】
前記手書きと前記表が重複している場合、前記表示制御部は、前記表に設定されている属性に基づいて表示させる第一のテキスト又は第一の図形と、前記表示装置に初期設定されている属性に基づいて表示させる第二のテキスト又は第二の図形と、を表示させ、
前記第一のテキスト又は第一の図形の選択を受け付けた場合、前記表に設定されている属性に基づいて前記第一のテキスト又は第一の図形を前記表に表示させることを特徴とする請求項１に記載の表示装置。
前記第一のテキスト又は第一の図形の選択を受け付けた場合、前記表に設定されている属性に基づいて前記第一のテキスト又は第一の図形を前記表に表示させることを特徴とする請求項１に記載の表示装置。
【請求項3】
前記表に設定されている属性は、前記テキストのフォント、フォントサイズ、フォント色、又は前記表における前記テキストの配置、の１つ以上であることを特徴とする請求項１又は２に記載の表示装置。
【請求項4】
前記表に設定されている属性は、前記変換部が、前記表と重複している前記手書きを前記テキスト又は前記図形に変換する際に使用する辞書であることを特徴とする請求項１に記載の表示装置。
【請求項5】
前記表に設定されている属性は、前記第一のテキスト又は前記第一の図形と前記第二のテキスト又は前記第二の図形を表示せずに、前記変換部が前記手書きから変換した前記テキスト又は前記図形を、前記表に設定されている属性に基づいて前記表に表示させる旨であることを特徴とする請求項２に記載の表示装置。
【請求項6】
前記表はセルを有し、
前記表に設定されている属性は、前記表の所定のセルに入力された値を演算する旨であり、
前記所定のセルに前記第一のテキストが入力された場合、前記所定のセルに入力された前記第一のテキストを処理した結果を前記表に表示させる表処理部を有することを特徴とする請求項２に記載の表示装置。
前記表に設定されている属性は、前記表の所定のセルに入力された値を演算する旨であり、
前記所定のセルに前記第一のテキストが入力された場合、前記所定のセルに入力された前記第一のテキストを処理した結果を前記表に表示させる表処理部を有することを特徴とする請求項２に記載の表示装置。
【請求項7】
前記表に設定されている属性は、他の表に入力された値をコピーする旨であり、
前記他の表に値が入力された場合、前記他の表に入力された値をコピーして前記表に表示させることを特徴とする請求項１に記載の表示装置。
前記他の表に値が入力された場合、前記他の表に入力された値をコピーして前記表に表示させることを特徴とする請求項１に記載の表示装置。
【請求項8】
前記第二のテキストの選択を受け付け、前記第二のテキストが前記所定のセルに入力された場合、前記表処理部は、前記所定のセルに入力された前記第一のテキストのみを処理した結果を前記表に表示させることを特徴とする請求項６に記載の表示装置。
【請求項9】
前記表はセルを有し、
同じ前記表の異なるセルに対し、前記第一のテキスト又は前記第一の図形の選択と、前記第二のテキスト又は前記第二の図形の選択をそれぞれ受け付けた場合、
前記表示制御部は、前記第一のテキスト又は前記第一の図形と前記第二のテキスト又は前記第二の図形を同じ前記表の異なるセルに表示させることを特徴とする請求項２に記載の表示装置。
同じ前記表の異なるセルに対し、前記第一のテキスト又は前記第一の図形の選択と、前記第二のテキスト又は前記第二の図形の選択をそれぞれ受け付けた場合、
前記表示制御部は、前記第一のテキスト又は前記第一の図形と前記第二のテキスト又は前記第二の図形を同じ前記表の異なるセルに表示させることを特徴とする請求項２に記載の表示装置。
【請求項10】
前記表示制御部は、前記第一のテキスト又は前記第一の図形の周囲に、前記表に設定されている属性に基づいて前記第一のテキスト又は前記第一の図形が表示させられている旨を表示させることを特徴とする請求項９に記載の表示装置。
【請求項11】
前記手書きの外接矩形をオフセットの長さ拡大した近傍矩形と前記表が一定以上重複する場合、前記手書きと前記表の少なくとも一部が重複していると判断することを特徴とする請求項１に記載の表示装置。
【請求項12】
テキスト又は図形の表を表示する表示装置が行う表示方法であって、
前記表示装置は前記表に設定されている属性を記憶する記憶部を有し、
入力受付部が、手書きの入力を受け付けるステップと、
変換部が、前記手書きをテキスト又は図形に変換するステップと、
判断部が、前記手書きが前記表の少なくとも一部と重複しているか否かを判断するステップと、
前記判断部が前記手書きが前記表の少なくとも一部と重複していると判断する場合に、前記表に設定されている属性に基づいて前記テキスト又は前記図形を前記表に表示させるステップと、
を有することを特徴とする表示方法。
前記表示装置は前記表に設定されている属性を記憶する記憶部を有し、
入力受付部が、手書きの入力を受け付けるステップと、
変換部が、前記手書きをテキスト又は図形に変換するステップと、
判断部が、前記手書きが前記表の少なくとも一部と重複しているか否かを判断するステップと、
前記判断部が前記手書きが前記表の少なくとも一部と重複していると判断する場合に、前記表に設定されている属性に基づいて前記テキスト又は前記図形を前記表に表示させるステップと、
を有することを特徴とする表示方法。
【請求項13】
表に設定されている属性を記憶する記憶部を有し、テキスト又は図形の表を表示する表示装置を、
手書きの入力を受け付ける入力受付部と、
前記手書きをテキスト又は図形に変換する変換部と、
前記手書きが前記表の少なくとも一部と重複しているか否かを判断する判断部と、
前記判断部が前記手書きが前記表の少なくとも一部と重複していると判断する場合に、前記表に設定されている属性に基づいて前記テキスト又は前記図形を前記表に表示させる表示制御部、
として機能させるためのプログラム。
手書きの入力を受け付ける入力受付部と、
前記手書きをテキスト又は図形に変換する変換部と、
前記手書きが前記表の少なくとも一部と重複しているか否かを判断する判断部と、
前記判断部が前記手書きが前記表の少なくとも一部と重複していると判断する場合に、前記表に設定されている属性に基づいて前記テキスト又は前記図形を前記表に表示させる表示制御部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、表示方法、及びプログラムに関する。
【背景技術】
【0002】
手書き認識技術を利用し、手書きデータを文字に変換して、ディスプレーに表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザーにより電子黒板などとして利用される。
【0003】
手書きの表をデジタル表オブジェクトに変換する技術が知られている（例えば、特許文献１参照。）。特許文献１には、手書きの表をデジタル表オブジェクトに変換すると共に、手書きの数字をテキストデータに変換する図が記載されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、手書き認識技術を利用して、表や図の中に手書きを行う前に、予め表や図に合わせて、フォントのサイズや色といった、手書きから変換されたテキストや図形の属性を設定する必要があった。
【0005】
本発明は、上記課題に鑑み、表や図に合わせて、フォントのサイズや色といった、手書きから変換されたテキストや図形の属性の設定に関するユーザーの利便性を向上させることを目的とする。
【課題を解決するための手段】
【0006】
上記課題に鑑み、本発明は、表を表示する表示装置であって、前記表に設定されている属性を記憶する記憶部と、手書きの入力を受け付ける入力受付部と、前記手書きをテキスト又は図形に変換する変換部と、前記手書きが前記表の少なくとも一部と重複しているか否かを判断する判断部と、前記判断部が前記手書きが前記表の少なくとも一部と重複していると判断する場合に、前記表に設定されている属性に基づいて前記テキスト又は前記図形を前記表に表示させる表示制御部と、を有することを特徴とする。
【発明の効果】
【0007】
表や図に合わせて、フォントのサイズや色といった、手書きから変換されたテキストや図形の属性の設定に関するユーザーの利便性を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】手書きされたストロークが表入力される処理を模式的に示す図である。
【図2】表示装置の配置例を示す図である。
【図3】表示装置のハードウェア構成図の一例である。
【図4】表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である。
【図5】オブジェクトデータ記憶部に記憶されるオブジェクトデータを説明する図である。
【図6】表情報記憶部に記憶される表情報を説明する図である。
【図7】近傍矩形を説明する図である。
【図8】条件１，２の判断例を説明する図である。
【図9】図形に対する条件１，２の判断例を説明する図である。
【図10】同一認識グループのストロークが条件１，２を満たす場合に、表入力対象テキストを表入力する処理を説明するフローチャート図の一例である。
【図11】ペンアップから所定時間Ｔが経過していない場合の同一認識グループを示す図である。
【図12】ペンアップから所定時間Ｔが経過した場合の同一認識グループを示す図である。
【図13】ストロークデータが同一認識グループとならない条件を説明する図である。
【図14】認識グループ判断部が同一認識グループのストロークデータを決定する手順を説明するフローチャート図の一例である。
【図16】操作ガイドを非表示とする旨が設定されたセルに手書きされたストロークの変換例を示す図である。
【図17】合計の自動算出とセルの値のコピーを説明する図である。
【図19】表示システムの概略構成図の一例である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う表示方法について図面を参照しながら説明する。
【0010】
＜表入力の概略＞
本実施形態の表示装置は、手書き文字認識モードから表入力モードへのモードの切り替えをユーザーが行うことなく、ユーザーが表にテキストや図形を入力することができる。表入力モードから手書き文字認識モードへのモードの切り替えもユーザーが行うことなく、文字認識することができる。すなわち、表示装置は、ユーザーが表に手書きしたストロークに基づいて単なる文字認識を行うことも可能であり、文字認識されたテキストを表と対応付けて入力することも可能である。テキストを表と対応付けて入力することを、以下「表入力」という。表入力されたテキストは、表に設定された属性で表示されたり処理されたりする。
本実施形態の表示装置は、手書き文字認識モードから表入力モードへのモードの切り替えをユーザーが行うことなく、ユーザーが表にテキストや図形を入力することができる。表入力モードから手書き文字認識モードへのモードの切り替えもユーザーが行うことなく、文字認識することができる。すなわち、表示装置は、ユーザーが表に手書きしたストロークに基づいて単なる文字認識を行うことも可能であり、文字認識されたテキストを表と対応付けて入力することも可能である。テキストを表と対応付けて入力することを、以下「表入力」という。表入力されたテキストは、表に設定された属性で表示されたり処理されたりする。
【0011】
図１は、手書きされたストロークが表入力される処理を模式的に示す図である。図１（ａ）に示すように、ユーザーが表３０１のセル３０３に１つ以上のストローク（以下、同一認識グループのストローク３０２という）を手書きすると、表示装置２はストローク３０２が条件１、２を満たすか否かを判断する（図１（ｂ））。条件１、２について詳細は後述するが、条件１、２では、同一認識グループのストローク３０２とセル３０３が重複しているか否か判断される。同一認識グループとは、まとめてテキストや図形などに変換される１つ以上のストロークである。詳細は後述される。
【0012】
同一認識グループのストローク３０２が条件１、２を満たす場合、図１（ｃ）に示すように、表示装置２は、同一認識グループのストローク３０２が表入力される可能性があると判断して、文字変換候補５３９に表入力対象テキスト３１０（第一のテキストの一例）を表示する。表入力対象テキスト３１０はセル３０３に表入力される候補のテキストである。図１（ｃ）では「こうもく」というストロークに対し「項目（表に代入）」「こうもく（表に代入）」「こうもく」という文字変換候補５３９が表示されている。このうち、「項目（表に代入）」「こうもく（表に代入）」が表入力対象テキスト３１０である。表入力対象テキスト３１０は、表に対応付けられるので、表３０１のセル３０３に設定された属性で表示可能となる。表入力対象テキスト３１０でないテキスト３１１（第二のテキストの一例）は、表とは関係なく、表示装置２に初期設定されている属性で、ストロークが手書きされた位置に表示される。
ユーザーが図形を手書きした場合、文字変換候補５３９に、表３０１に入力される図形（第一の図形の一例）と、表３０１とは関係なく表示装置２に初期設定されている属性で、ストロークが手書きされた位置に表示される別の図形（第二の図形の一例）が表示される。
ユーザーが図形を手書きした場合、文字変換候補５３９に、表３０１に入力される図形（第一の図形の一例）と、表３０１とは関係なく表示装置２に初期設定されている属性で、ストロークが手書きされた位置に表示される別の図形（第二の図形の一例）が表示される。
【0013】
ユーザーが「項目（表に代入）」を選択した場合、図１（ｄ）に示すように、表示装置２はストローク３０２が手書きされたセル３０３に設定されている属性で「項目」３０９を表示する。「項目」３０９は表入力対象テキスト３１０である。例えば、フォント、色、セル内の位置をユーザーが指定しなくても、表示装置２は、所定のフォント等で表示することができる。また、ユーザーが表３０１を移動すると、「項目」３０９も移動され、表３０１のセル３０３に配置された状態を維持する。
【0014】
ユーザーは文字変換候補５３９から表入力対象テキスト３１０でないテキスト３１１を選択することもでき、この場合、表入力したくないようなメモ書きを任意に入力できる。表示装置２が、表入力対象テキスト３１０のみを抽出してファイルに書き出すような処理を行う場合に、表入力対象テキスト３１０とそれ以外を自動で切り分けることができる。
【0015】
このように、本実施形態の表示装置２では、ユーザーがモードを切り替えることなく、単なる文字認識も可能であり、かつ、文字認識されたテキストを表入力することも可能である。表入力されたテキストは表の属性にしたがって表示及び処理することができ、表入力されなかったテキストは、表の属性に影響されない。また、本実施形態の表示装置２は、同一認識グループのストロークとセルが重複しているか否かを判断し、表入力対象テキスト３１０を選択可能に表示するので、セルとテキストを精度よく対応付けることができる。なお、ユーザーが手書きする内容はテキストに限られない。手書きデータからテキストに変換する以外にも、手書きデータから図形やスタンプ等に変換してもよい。変換された図形が条件１、２を満たす場合に、変換候補に表入力対象図形を表示させてユーザーからの選択を受け付けても良い。
【0016】
＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。
ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークは、ディスプレーに接触することなく、ユーザーの動きを追跡することを含む。この場合、表示装置は、例えばマウスやポインティングデバイスを使用して、ユーザーのジェスチャー、ユーザーの手若しくは足によるボタンの押下、又は他の方法で、ストロークを開始させてもよい。更に、ユーザーは、同じ又は異なるジェスチャー、ボタンを離す、又はマウスやポインティングデバイスを使用して、ストロークを終了させてもよい。
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。
ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークは、ディスプレーに接触することなく、ユーザーの動きを追跡することを含む。この場合、表示装置は、例えばマウスやポインティングデバイスを使用して、ユーザーのジェスチャー、ユーザーの手若しくは足によるボタンの押下、又は他の方法で、ストロークを開始させてもよい。更に、ユーザーは、同じ又は異なるジェスチャー、ボタンを離す、又はマウスやポインティングデバイスを使用して、ストロークを終了させてもよい。
【0017】
ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。手書き入力は、タッチインターフェース、ペンやスタイラスなどの触覚オブジェクト、又はユーザーの体を使って実行されてもよい。また、手書き入力は、ジェスチャーベースの入力、手の動きの追跡入力、又はユーザーによる他のタッチフリー入力など、他のタイプの入力を介して実行されてもよい。本発明の実施形態では、手書き入力及び手書き入力データに言及するが、他の形態の手書き入力が利用されてもよい。
【0018】
ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。ストロークデータが書き認識して変換されたオブジェクトには、文字列の他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等も含まれてよい。
【0019】
表とは、事柄を見やすいように配列して書き表したものである。表には一次元の表と二次元の表があるが、本実施形態では、どちらでもよい。また、表にセルが１つしかなくてもよい。
【0020】
入力エリアは、表のセルや図形などの枠で囲まれた領域である。入力エリアは、Ｗｅｂページなどの単なる入力欄でもよい。本実施形態では、入力エリアに予め属性が設定されている。
【0021】
入力エリアに設定されている属性とは、入力エリアに好ましいテキストの態様である。属性は例えばフォント、テキストの色、入力エリア内のテキストの配置などである。
図形とは、一定の決まりによって定められる様々な形状をいう。図形には、三角形、四角形、円、菱形など多くの種類があるが、電子署名作成用の図形が予め設定されている。ユーザーは図形を図形として表示させることもできるし、図形を表入力の選択にも使用できる。このため、本実施形態では、ユーザーによって手書きされたストロークがテキストや図形として認識されるかどうかが判断される。
図形とは、一定の決まりによって定められる様々な形状をいう。図形には、三角形、四角形、円、菱形など多くの種類があるが、電子署名作成用の図形が予め設定されている。ユーザーは図形を図形として表示させることもできるし、図形を表入力の選択にも使用できる。このため、本実施形態では、ユーザーによって手書きされたストロークがテキストや図形として認識されるかどうかが判断される。
【0022】
＜装置の構成例＞
図２を用いて、本実施形態に係る表示装置２の全体構成を説明する。図２は、表示装置２の配置例を示した図である。図２（ａ）は、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。
図２を用いて、本実施形態に係る表示装置２の全体構成を説明する。図２は、表示装置２の配置例を示した図である。図２（ａ）は、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。
【0023】
図２（ａ）に示されているように、表示装置２の上部には表示装置２の一例としてのディスプレー２２０が設置されている。ユーザーＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きすることができる。
【0024】
図２（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。
【0025】
図２（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、ユーザーは表示装置２を容易に移動できる。
【0026】
なお、ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。
【0027】
＜装置のハードウェア構成＞
続いて、図３を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図３は、表示装置２のハードウェア構成図の一例である。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。
続いて、図３を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図３は、表示装置２のハードウェア構成図の一例である。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。
【0028】
これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。
【0029】
ＳＳＤ２０４は、ＯＳや表示装置２用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。この場合、普段は汎用的な情報処理装置として利用されるが、ユーザーがアプリケーションプログラムを実行すると、表示装置２の専用機と同様、ユーザーが手書きすることができる。
【0030】
また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。
【0031】
ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上にペン２５００やユーザーの手等（ペンやユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６はペンＩＤを受信する。
【0032】
タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法について説明する。例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射する。２つ受発光装置は、ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する。
【0033】
タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００を登録しておくと、ユーザーはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。
【0034】
電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図２（ａ）、図２（ｂ）、又は、図２（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。
【0035】
シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。シリアルインタフェース２１８は、外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi－FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。
【0036】
なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。
【0037】
赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線Ｉ／Ｆ２２３は、赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。
【0038】
電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。
【0039】
ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。
【0040】
更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図３に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0041】
なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。タッチセンサー２１６は、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。タッチセンサー２１６は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルでもよく、種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型である必要はない。
【0042】
＜機能について＞
次に、図４を用いて表示装置２の機能について説明する。図４は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、入力受付部２１、描画データ生成部２２、変換部２３、表示制御部２４、データ記録部２５、ネットワーク通信部２６、操作受付部２７、判断部２８、認識グループ判断部２９、表処理部３０、領域変更部３１、及び除外部３２を有している。表示装置２が有する各機能は、図３に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。
次に、図４を用いて表示装置２の機能について説明する。図４は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、入力受付部２１、描画データ生成部２２、変換部２３、表示制御部２４、データ記録部２５、ネットワーク通信部２６、操作受付部２７、判断部２８、認識グループ判断部２９、表処理部３０、領域変更部３１、及び除外部３２を有している。表示装置２が有する各機能は、図３に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。
【0043】
入力受付部２１はタッチセンサー２１６に対しペン２５００等の入力手段が接触した位置の座標を検出することで、座標の軌跡（座標点列、手書きされたデータ）の入力を受け付ける。描画データ生成部２２はペン２５００のペン先が接触した座標を入力受付部２１から取得する。描画データ生成部２２は、この座標点列を補間することで接続してストロークデータを生成する。
【0044】
変換部２３はユーザーが手書きした同一認識グループのストロークデータ（手書きデータ）に対し文字認識処理を行い、テキスト（文字コード）に変換する。変換部２３は、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、を認識して変換する。また、変換部２３はユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し図形認識処理を行い、図形（線、丸、三角など）に変換する。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。
【0045】
表示制御部２４は手書きデータ、手書きデータから変換されたテキスト、及び、ユーザーが操作するための操作メニューなどをディスプレー２２０に表示させる。データ記録部２５は、表示装置２に手書きされた手書きデータ、変換されたテキスト、及び、ＰＣ（Personal Computer）の画面、ファイル等を記憶部４０に記憶する。ネットワーク通信部２６はＬＡＮ等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。
【0046】
操作受付部２７は、ペン２５００等が接触した座標に基づいて、文字認識された複数の変換候補から任意の文字の選択を受け付けたり、メニューの押下を受け付けたりする。
【0047】
判断部２８は、条件１，２に基づいて、ストロークが表に対し入力されたか否かを判断する。すなわち、判断部２８は、文字認識されたテキストを表入力対象テキスト３１０として表示させるか否かを判断する。
【0048】
認識グループ判断部２９は、複数のストロークが同一認識グループに含まれるか否かを判断する。認識グループ判断部２９は領域変更部３１と除外部３２を有している。
【0049】
領域変更部３１は、ストロークデータが同一認識グループに含まれるか否かが判断される後述の追加認識矩形１０２を、入力手段がタッチパネルから離れてから所定時間Ｔが経過するか否かで変更する。
【0050】
除外部３２は、入力受付部２１が受け付けたストロークデータが所定の条件を満たす場合、追加認識矩形１０２に手書きされたストロークデータであっても、同一認識グループから除外する。
【0051】
表処理部３０は、表に設定されている属性に基づいて、表に関する処理を行う。処理は、例えばセルに表入力された値の演算（合計の算出等）、セルのコピーなどである。
また、表示装置２は、図３に示されているＳＳＤ２０４やＲＡＭ２０３などに構築される記憶部４０を有し、記憶部４０にはオブジェクトデータ記憶部４１と表情報記憶部４２が構築されている。
また、表示装置２は、図３に示されているＳＳＤ２０４やＲＡＭ２０３などに構築される記憶部４０を有し、記憶部４０にはオブジェクトデータ記憶部４１と表情報記憶部４２が構築されている。
【0052】
図５は、オブジェクトデータ記憶部４１に記憶されるオブジェクトデータを説明する図である。
【0053】
・オブジェクトＩＤの項目は、表示データを識別する識別情報である。
【0054】
・種別の項目は、オブジェクトデータの種類であり、手書き、テキスト、図形、画像、表、等がある。手書きはストロークデータ（座標点列）である。テキストは手書きデータから変換された1つ以上の文字や記号等（文字コード）である。図形は、三角や四角など手書きデータから変換された幾何学的な形状である。画像は、ＰＣやインターネットなどから取り込まれたＪｐｅｇ、Ｐｎｇ、Ｔｉｆｆなどの画像データである。表は、一次元又は二次元のテーブル状のオブジェクトである。
【0055】
・表示装置２の１画面をページと称する。ページの項目はそのページ番号である。
【0056】
・座標の項目は、表示装置２の所定の原点を基準とするオブジェクトデータの位置を示す。オブジェクトデータの位置は例えばオブジェクトデータの外接矩形の左上頂点である。座標は例えば、ディスプレーの画素単位で表される。
【0057】
・サイズの項目は、オブジェクトデータの外接矩形の幅と高さである。
【0058】
・表入力の項目は、表入力されたオブジェクトについて、表との対応を示す。例えば、オブジェクトＩＤ＝２、６のテキストは、表ＩＤ＝００１の表と対応付けられている。また、オブジェクトＩＤ＝２、６のテキストは、それぞれ表ＩＤ＝００１の表の（１，１）（２，１）のセルに表入力されている（表に対応付けられている）ことを示す。なお、手書きや図形が表入力されてもよい。
【0059】
図６は、表情報記憶部４２に記憶される表情報を説明する図である。表情報は表（又は各セル）の属性を有する。また、表情報は、表の元になるひな形の情報であり、実際の表は１つの表情報を元に複数、作成されてよい。セルに実際に値が入力された表は、ディスプレーにおける表の位置を含めてオブジェクトデータとして保存される。
【0060】
・表ＩＤの項目は、表のひな形の識別情報である。
・表形式の項目は、表が行数と列数を指定する。
・表形式の項目は、表が行数と列数を指定する。
【0061】
・セルサイズの項目は、表が有する各セルの縦横の長さである。図６では、セルサイズが表内で均一であるが、行ごと又は列ごとにセルサイズが設定される場合もある。
【0062】
・フォントの項目は、表入力された表入力対象テキスト３１０のフォントを指定する。フォントは、各セルごとに設定可能でもよい。
【0063】
・フォントサイズの項目は、表入力された表入力対象テキスト３１０のサイズを指定する。フォントサイズは、各セルごとに設定可能でもよい。フォントサイズが自動の場合、セル内に入るようにフォントサイズが自動で拡縮される。
【0064】
・フォント色の項目は、表入力された表入力対象テキスト３１０の色を指定する。フォント色は、各セルごとに設定可能でもよい。
【0065】
・フォント配置の項目は、セル内における表入力対象テキスト３１０の配置を、水平方向（左寄り、中央、右寄り）、及び、上下方向（上寄り、中央、下寄り）で指定する。フォント配置は、各セルごとに設定可能でもよい。
【0066】
・代入可能エリアの余白の項目は、入力されたテキストからセルの枠までの余白を大、中、小で指定する。
【0067】
・指定辞書の項目は、表全体又はセルごとに変換辞書を指定する。図６ではセルに辞書が設定されている。例えば、医療用語の辞書を登録されたセルに「ぎ」と手書きされると、表入力対象テキスト３１０として「偽膜性大腸炎」などの医療用語が表示される。表示装置２は、セルごとに登録された辞書により認識精度を向上できる。また、セルに対し操作ガイドを非表示する旨が設定されてもよい。詳細は後述される。
【0068】
・オプションの項目は、表処理により使用される属性であり、例えば、第２列を合計した値を(3,2)に設定する等、演算に関する指定である。また、オプションは、ある表のセルの値を、当該表のセルにコピーするなどの指定も可能である。
【0069】
＜同一認識グループのストロークと表が重複するか否かの判断＞
次に、図７、図８を参照して、同一認識グループのストロークと表が重複するか否かの判断に用いられる条件１，２について説明する。まず、図７は、近傍矩形を説明する図である。表示装置２は、同一認識グループのストローク３０２の外接矩形３０６に対し「上下左右：α（オフセット）」を加算した矩形を近傍矩形３０５に設定する。
次に、図７、図８を参照して、同一認識グループのストロークと表が重複するか否かの判断に用いられる条件１，２について説明する。まず、図７は、近傍矩形を説明する図である。表示装置２は、同一認識グループのストローク３０２の外接矩形３０６に対し「上下左右：α（オフセット）」を加算した矩形を近傍矩形３０５に設定する。
【0070】
一例の値を用いて説明する。
オフセット固定値 α＝ 3 [cm]
同一認識グループのストローク３０２の幅 15 [cm]、高さ 13 [cm] の場合、
近傍矩形は以下となる。
幅 ：α + (同一認識グループのストローク３０２の幅) ＝ 18 [cm]
高さ：α + (同一認識グループのストローク３０２の高さ) ＝ 16 [cm]
なお、オフセット固定値は、ディスプレーのサイズ、画素数、使用用途によって変わる。例として、40inchディスプレー（画素数2880 x 2160）を数人で共有できる手書きサイズを想定した場合は上記のような値でよいが、この値は一例である。
オフセット固定値 α＝ 3 [cm]
同一認識グループのストローク３０２の幅 15 [cm]、高さ 13 [cm] の場合、
近傍矩形は以下となる。
幅 ：α + (同一認識グループのストローク３０２の幅) ＝ 18 [cm]
高さ：α + (同一認識グループのストローク３０２の高さ) ＝ 16 [cm]
なお、オフセット固定値は、ディスプレーのサイズ、画素数、使用用途によって変わる。例として、40inchディスプレー（画素数2880 x 2160）を数人で共有できる手書きサイズを想定した場合は上記のような値でよいが、この値は一例である。
【0071】
次に、図８は、条件１，２の判断例を説明する図である。まず、条件１は以下のとおりである。
「条件１：同一認識グループのストロークの近傍矩形と表が重複していること」
図８（ａ）では、表の左上のセル３０３に「こうもく」が手書きされている。この「こうもく」が同一認識グループであり、同一認識グループのストローク３０２に対し近傍矩形３０５が設定される。図８（ａ）では明らかに、「こうもく」の近傍矩形３０５が表３０１（表の外接矩形であるが表の外縁となっている）と重複しているので条件１を満たす。なお、「こうもく」の近傍矩形３０５は表３０１の一部と重複していればよい。条件１は、表入力の可能性があるか否かを判断部２８が判断するための条件であり、どのセルへの入力かは条件２で判断されるためである。
「条件１：同一認識グループのストロークの近傍矩形と表が重複していること」
図８（ａ）では、表の左上のセル３０３に「こうもく」が手書きされている。この「こうもく」が同一認識グループであり、同一認識グループのストローク３０２に対し近傍矩形３０５が設定される。図８（ａ）では明らかに、「こうもく」の近傍矩形３０５が表３０１（表の外接矩形であるが表の外縁となっている）と重複しているので条件１を満たす。なお、「こうもく」の近傍矩形３０５は表３０１の一部と重複していればよい。条件１は、表入力の可能性があるか否かを判断部２８が判断するための条件であり、どのセルへの入力かは条件２で判断されるためである。
【0072】
続いて、条件２について説明する。条件２は以下のとおりである。
「条件２：同一認識グループのストロークとセルの面積比が閾値以上であること」
同一認識グループのストロークの外接矩形３０６の面積をＡ、セルの面積をＢとすると、面積比はＢ／Ａである。閾値は例えば８０［％］などでよい。図８（ａ）では面積比が１００［％］なので、判断部２８は条件２を満たすと判断する。
「条件２：同一認識グループのストロークとセルの面積比が閾値以上であること」
同一認識グループのストロークの外接矩形３０６の面積をＡ、セルの面積をＢとすると、面積比はＢ／Ａである。閾値は例えば８０［％］などでよい。図８（ａ）では面積比が１００［％］なので、判断部２８は条件２を満たすと判断する。
【0073】
したがって、表示制御部２４は、文字変換候補５３９に、表入力対象テキスト３１０を表示させる。表入力対象テキスト３１０には、表入力対象テキスト３１０である旨が表示される。表入力対象テキスト３１０である旨は、図８（ａ）では「表に代入」であるが、アイコン、色、太字、などで表されてもよい。
【0074】
変換部２３は、面積比が閾値以上であると判断されたセルに辞書が登録されている場合は、当該辞書でストロークを表入力対象テキスト３１０に変換する。ユーザーが表入力対象テキスト３１０を選択すると、図８（ｂ）に示すように、面積比が閾値以上であると判断されたセル３０３に選択された表入力対象テキスト３１０が表示される。表示制御部２４は、表情報記憶部４２からセル３０３の属性を取得し、セル３０３に設定された属性で表入力対象テキスト３１０を表示させる。
【0075】
また、図８（ｃ）に示すように、同じ表３０１にユーザーは表入力対象テキスト３１０でない例えば「後日追加」というテキスト３１２を入力できる。このテキスト３１２は、表３０１に対応付けられていない。ユーザーが表３０１の全体を移動すれば、表入力対象テキスト３１０は表３０１と共に移動するが、表入力対象テキスト３１０でないテキスト３１２は移動しない。移動した先の表３０１では表入力対象テキスト３１０でないテキスト３１２のセルが空欄になる。
【0076】
表３０１をコピーする場合も同様であり、ユーザーが表３０１をコピーして別の場所で使用すれば、表入力対象テキスト３１０のみを表示できる。コピー先の表３０１では表入力対象テキスト３１０でないテキスト３１２のセルが空欄になる。
【0077】
したがって、ユーザーは、元になる表３０１に表入力対象テキスト３１０を入力しておき、この表３０１を元にして、テキスト３１２をメモ書きのように記載したり、後から表入力対象テキスト３１０を追加したりするような使い方ができる。ユーザーが手書き認識モードと表入力モードを切り替える必要もない。
【0078】
また、セル３０３内の任意のテキストが表入力対象テキスト３１０かどうかをユーザーが判断できるように、表入力対象テキスト３１０の周囲にはマーク３１３が表示されるとよい。マーク３１３は常時、表示されてもよいし、マウスオーバーやタッチにより表示されてもよい。
【0079】
＜＜図形に対する条件１，２の適用例＞＞
表ではなく、図形３２０にストロークが手書きされた場合も、条件１，２が同様に判断される。図９は、図形３２０に対する条件１，２の判断例を説明する図である。「じょうけん」は同一認識グループのストローク３０８であり、「じょうけん」の近傍矩形３０５が図形３２０の一部と重複している。したがって、同一認識グループのストローク３０８は条件１を満たす。
表ではなく、図形３２０にストロークが手書きされた場合も、条件１，２が同様に判断される。図９は、図形３２０に対する条件１，２の判断例を説明する図である。「じょうけん」は同一認識グループのストローク３０８であり、「じょうけん」の近傍矩形３０５が図形３２０の一部と重複している。したがって、同一認識グループのストローク３０８は条件１を満たす。
【0080】
条件２に関して、「じょうけん」の外接矩形３０６の面積をＣ、図形３２０の面積をＤとすると、面積比はＤ／Ｃである。Ｄ／Ｃ＝９０％とすると、面積比は閾値（例えば８０％）以上なので、同一認識グループのストローク３０８は条件２を満たす。したがって、図９（ａ）に示すように、文字変換候補５３９には表入力対象テキスト３１０が表示される。ユーザーが表入力対象テキスト３１０をペン２５００で選択すると、予め設定されている図形３２０の属性に基づいて、図形３２０内に表入力対象テキスト３１０が表示される（図９（ｂ））。
【0081】
＜表入力の処理＞
次に、図１０を参照して、表示装置２がストロークに基づいて表入力する処理について説明する。図１０は、同一認識グループのストロークが条件１，２を満たす場合に、表入力対象テキスト３１０を表入力する処理を説明するフローチャート図である。
次に、図１０を参照して、表示装置２がストロークに基づいて表入力する処理について説明する。図１０は、同一認識グループのストロークが条件１，２を満たす場合に、表入力対象テキスト３１０を表入力する処理を説明するフローチャート図である。
【0082】
まず、認識グループ判断部２９が、同一認識グループのストロークが入力されたと判断する（Ｓ１）。ステップＳ１の処理について詳細は後述する。
【0083】
次に、判断部２８は、同一認識グループのストロークが条件１を満たすか否かを判断する（Ｓ２）。ステップＳ２の判断がＮｏの場合、処理はステップＳ７に進む。
【0084】
ステップＳ２の判断がＹｅｓの場合、判断部２８は、同一認識グループのストロークが条件２を満たすか否かを判断する（Ｓ３）。ステップＳ３の判断がＮｏの場合、処理はステップＳ７に進む。
【0085】
ステップＳ３の判断がＹｅｓの場合、表示制御部２４は、文字変換候補５３９に表入力対象テキスト３１０及び表入力対象テキスト３１０でないテキストを表示させる（Ｓ４）。
【0086】
操作受付部２７は、表入力対象テキスト３１０が選択されたか否かを判断する（Ｓ５）。ステップＳ５の判断がＹｅｓの場合、表示制御部２４は、同一認識グループのストロークが手書きされたセルに設定された属性で表入力対象テキスト３１０を表示させる（Ｓ６）。データ記録部２５はオブジェクトデータの表入力欄に、表ＩＤや当該セルの座標（行番号、列番号）を入力する。
【0087】
一方、ステップＳ７では、表入力でないと判断されたので、表示制御部２４は、操作ガイド５００に表入力対象テキスト３１０でないテキストのみを表示させる（Ｓ７）。
【0088】
操作受付部２７は、表入力対象テキスト３１０でないテキストが選択されたか否かを判断する（Ｓ８）。ステップＳ８の判断がＹｅｓの場合、表示制御部２４は、表示装置２に初期設定されている属性でテキストを表示させる（Ｓ９）。この場合、仮に同一認識グループのストロークが表内に手書きされていても、データ記録部２５はオブジェクトデータの表入力欄に何も入力しない。
【0089】
ステップＳ８の判断がＮｏの場合、変換部２３は文字認識による同一認識グループのストロークのテキスト変換を行わない（Ｓ１０）。同一認識グループのストロークは手書きのまま表示される。
【0090】
【0091】
領域変更部３１は、ストロークデータの入力を連続で受け付けているか否かで、ストロークデータが同一認識グループに含まれるか否かが判断される領域を変更する。換言すると、入力手段がタッチパネルから離れてから所定時間が経過するか否かで、ストロークデータが同一認識グループに含まれるか否かが判断される領域を変更する。
【0092】
Ａ．ペンアップから所定時間Ｔが経過していない場合（連続筆記中）
図１１は、ペンアップから所定時間Ｔが経過していない場合の同一認識グループを示す図である。連続筆記中のストロークデータの外接矩形が認識グループ矩形１０１である。これに対し、追加認識矩形１０２の領域は以下のように定義される。
「追加認識矩形１０２の上端＝認識グループ矩形１０１の上端からβ１」
「追加認識矩形１０２の左端＝認識グループ矩形１０１の左端からβ２」
「追加認識矩形１０２の下端＝認識グループ矩形１０１の下端から認識グループ矩形１０１の幅Ｗ＋β３」
「追加認識矩形１０２の右端＝認識グループ矩形１０１の右端から認識グループ矩形１０１の高さＨ＋β４」
追加認識矩形１０２に含まれるストロークデータは一部がはみ出していても、ストロークデータのうちはみ出し分が所定の割合以下なら、追加認識矩形１０２に手書きされたと判断される。また、認識グループ矩形１０１に手書きされたストロークデータは、追加認識矩形１０２と見なしてもよいし、そうでなくてもよい。
図１１は、ペンアップから所定時間Ｔが経過していない場合の同一認識グループを示す図である。連続筆記中のストロークデータの外接矩形が認識グループ矩形１０１である。これに対し、追加認識矩形１０２の領域は以下のように定義される。
「追加認識矩形１０２の上端＝認識グループ矩形１０１の上端からβ１」
「追加認識矩形１０２の左端＝認識グループ矩形１０１の左端からβ２」
「追加認識矩形１０２の下端＝認識グループ矩形１０１の下端から認識グループ矩形１０１の幅Ｗ＋β３」
「追加認識矩形１０２の右端＝認識グループ矩形１０１の右端から認識グループ矩形１０１の高さＨ＋β４」
追加認識矩形１０２に含まれるストロークデータは一部がはみ出していても、ストロークデータのうちはみ出し分が所定の割合以下なら、追加認識矩形１０２に手書きされたと判断される。また、認識グループ矩形１０１に手書きされたストロークデータは、追加認識矩形１０２と見なしてもよいし、そうでなくてもよい。
【0093】
したがって、認識グループ矩形１０１のストロークデータと追加認識矩形１０２に含まれるストロークデータは同一認識グループとなる。
【0094】
オフセットが、例えば、β１＝β２＝ 1.5 [cm]、β３＝β４＝ 2 [cm] とする。認識グループ矩形の幅Ｗが 1.5 [cm]、高さＨが 0.5 [cm] の場合、追加認識矩形１０２の幅と高さは以下のようになる。
【0095】
幅 ：β２ + (認識グループ矩形１０１の幅Ｗ) + (認識グループ矩形１０１の高さＨ) + β４= 5.5 [cm]
高さ：β１+ (認識グループ矩形１０１の高さＨ) + (認識グループ矩形１０１の幅Ｗ) + β３= 5.5 [cm]
なお、オフセットは、ディスプレー２２０のサイズや画素数、使用用途によって変わる。上記のオフセットは、約４０インチで画素数2880 x 2160のディスプレー２２０に、数人で共有できる手書きデータのサイズを想定した場合の一例である。連続筆記中でない場合も同様である。
高さ：β１+ (認識グループ矩形１０１の高さＨ) + (認識グループ矩形１０１の幅Ｗ) + β３= 5.5 [cm]
なお、オフセットは、ディスプレー２２０のサイズや画素数、使用用途によって変わる。上記のオフセットは、約４０インチで画素数2880 x 2160のディスプレー２２０に、数人で共有できる手書きデータのサイズを想定した場合の一例である。連続筆記中でない場合も同様である。
【0096】
認識グループ矩形１０１の「左」、「上」にオフセットβ１，β２によりストロークデータの手書きを受け付ける余裕をもたせるのは、日本語の文字は下又は右方向への筆記が多いが、稀にある左（「ふ」など）又は上方向（ｉ、ｊ等）の筆記を認識するためである。このため、β１、β２だけ左及び上方向に追加認識矩形１０２が大きくされている。
【0097】
認識グループ矩形１０１の「右」にストロークデータの手書きを受け付ける余裕をもたせるのは、漢字の成り立ちの特徴による。例えば「イ」(にんべん)の右にユーザーが連続筆記するケースでは、「イ」の高さが文字サイズと想定でき、右方向に文字サイズ分、追加認識矩形１０２を大きくした。
【0098】
認識グループ矩形１０１の「下」に付加長さが設定されるのは、漢字の成り立ちの特徴による。例えば「宀」(うかんむり)の下にユーザーが連続筆記するケースでは、「宀」の幅が文字サイズと想定でき、下方向に文字サイズ分、追加認識矩形１０２を大きくした。
【0099】
Ｂ．ペンアップから所定時間Ｔが経過した場合
図１２は、ペンアップから所定時間Ｔが経過した場合の同一認識グループを示す図である。所定時間Ｔが経過するまでに手書きされたストロークデータの外接矩形が認識グループ矩形１０１である。これに対し、追加認識矩形１０２の領域は以下のように定義される。
図１２は、ペンアップから所定時間Ｔが経過した場合の同一認識グループを示す図である。所定時間Ｔが経過するまでに手書きされたストロークデータの外接矩形が認識グループ矩形１０１である。これに対し、追加認識矩形１０２の領域は以下のように定義される。
【0100】
高さ：認識グループ矩形１０１の高さＨ
幅： 認識グループ矩形１０１の右端から認識グループ矩形１０１の高さＨ＋α
所定時間Ｔの経過後は日本語の横書きの文字サイズを想定して、文字サイズ分だけ右方向に追加認識矩形１０２を設ける。領域変更部３１は、認識グループ矩形１０１に対し空白をあけてユーザーが右に書くことを想定して、オフセットαだけ右方向に大きくする。領域変更部３１は、すでに入力されているストロークデータの外接矩形の右側の領域のみを、ストロークデータが同一認識グループに含まれるか否かが判断される領域に決定する。
幅： 認識グループ矩形１０１の右端から認識グループ矩形１０１の高さＨ＋α
所定時間Ｔの経過後は日本語の横書きの文字サイズを想定して、文字サイズ分だけ右方向に追加認識矩形１０２を設ける。領域変更部３１は、認識グループ矩形１０１に対し空白をあけてユーザーが右に書くことを想定して、オフセットαだけ右方向に大きくする。領域変更部３１は、すでに入力されているストロークデータの外接矩形の右側の領域のみを、ストロークデータが同一認識グループに含まれるか否かが判断される領域に決定する。
【0101】
認識グループ矩形１０１の「お」と追加認識矩形１０２に含まれるストロークデータは同一認識グループとなる。
【0102】
オフセットが、例えば、α＝ 3 [cm] とする。認識グループ矩形の幅が 4 [cm]、高さが 6 [cm] の場合、追加認識矩形１０２の幅と高さとは以下となる。
【0103】
幅 ： (認識グループ矩形１０１の高さＨ) + α＝ 9 [cm]
高さ：(認識グループ矩形１０１の高さＨ) ＝ 6 [cm]
以上のように、領域変更部３１は、入力手段がタッチパネルから離れてから所定時間Ｔが経過するか否かで、同一認識グループにストロークデータを含めるかどうかを変更できる。
高さ：(認識グループ矩形１０１の高さＨ) ＝ 6 [cm]
以上のように、領域変更部３１は、入力手段がタッチパネルから離れてから所定時間Ｔが経過するか否かで、同一認識グループにストロークデータを含めるかどうかを変更できる。
【0104】
次に、図１３を参照して、ストロークデータが同一認識グループから除外される場合を説明する。図１３は、ストロークデータが同一認識グループとならない条件を説明する図である。除外部３２は、ストロークデータが以下の条件(i)(ii)のいずれかを満たした場合に、ストロークデータが追加認識矩形１０２に含まれても、例外的に該ストロークデータを同一認識グループから除外する。
(i) ストロークデータの高さが閾値ａより大きい
(ii) ストロークデータの幅が閾値ｂより大きい、かつ、高さが閾値ｃより小さい
なお、閾値ａ、ｂは例えば９〔cm〕、閾値ｃは例えば2.5〔cm〕などでよいが、ディスプレー２２０の大きさや画素数、テキストを何人で共有するか等により様々である。
(i) ストロークデータの高さが閾値ａより大きい
(ii) ストロークデータの幅が閾値ｂより大きい、かつ、高さが閾値ｃより小さい
なお、閾値ａ、ｂは例えば９〔cm〕、閾値ｃは例えば2.5〔cm〕などでよいが、ディスプレー２２０の大きさや画素数、テキストを何人で共有するか等により様々である。
【0105】
(i)の条件は、文字の最大高さとして閾値ａを設定し、これを超えるストロークデータは図形と判断するための条件である。(ii)の条件は、一般的な文字の最大幅として閾値ｂを超えるストロークデータは図形、又は、英語の筆記体を１つの同一認識グループに含めるための条件である。
【0106】
図１３の閾値ａ、ｂ、ｃで区切った領域１～４を用いてストロークデータが同一認識グループと判断されるか否かを説明する。
【0107】
・領域１，２に全体が入るストロークデータは、(i)(ii)を満たさないので日本語文字である。よって、領域１，２に全体が入るストロークデータは、同一認識グループから除外されない。なお、領域１，２に全体が入るストロークデータを英語の筆記体として認識することもできる。
【0108】
・領域１，２、３に全体が入るストロークデータは、(i)(ii)を満たさないので、同一認識グループから除外されない。これにより、英語の筆記体に対応することができる。つまり、「English」などのように筆記体（一筆）で手書きされたストロークデータがあっても、同一認識グループから除外されない（図形とはみなされない）ので、表示装置２が文字として認識できる。
【0109】
・領域２，４に全体が入るストロークデータは、(ii)を満たすので図形（例えば横線）である。よって、領域２，４に全体が入るストロークデータは、同一認識グループから除外される。
【0110】
・領域１～４に全体が入るストロークデータは、(i)(ii)を満たさないので、同一認識グループから除外されない。この場合も英語の筆記体を認識可能になる。
【0111】
このように除外部３２は、ストロークデータが(i)(ii)の条件を満たすか否かに応じて、追加認識矩形１０２に含まれるストロークデータでも、強制的に同一認識グループでないとみなす。これにより、図形と文字が混在して手書きされるような場合でも、文字と図形を切り分けて変換部２３が文字を認識できる。
【0112】
なお、(i)(ii)以外に、同一認識グループとならない以下のような条件がある。
・ストロークデータが近傍矩形に含まれない場合
・使用中のペン２５００で直前の動作に「文字変換」等、ストローク描画ではない処理が入った場合
・エリア制御など特殊な例で、別エリアへの筆記とみなされた場合
・ペン種が異なる場合
＜＜同一認識グループの判断に関する処理又は動作＞＞
図１４は、認識グループ判断部２９が同一認識グループのストロークデータを決定する手順を説明するフローチャート図である。図１４の処理は表示装置２の起動中、繰り返し実行される。
・ストロークデータが近傍矩形に含まれない場合
・使用中のペン２５００で直前の動作に「文字変換」等、ストローク描画ではない処理が入った場合
・エリア制御など特殊な例で、別エリアへの筆記とみなされた場合
・ペン種が異なる場合
＜＜同一認識グループの判断に関する処理又は動作＞＞
図１４は、認識グループ判断部２９が同一認識グループのストロークデータを決定する手順を説明するフローチャート図である。図１４の処理は表示装置２の起動中、繰り返し実行される。
【0113】
入力受付部２１が、入力手段が接触した座標を検出し、描画データ生成部２２がストロークデータを生成する。表示制御部２４は、ストロークデータをディスプレー２２０に表示させる。除外部３２は、ストロークデータが同一認識グループとならない条件（除外される条件）を満たすか否かを判断する。同一認識グループとならない条件を満たさない（つまり同一認識グループと判断された）ストロークデータのみが以降の処理の対象となる（Ｓ２１）。ステップＳ２１の判断については図１５のフローチャート図で説明する。
【0114】
領域変更部３１は、ステップＳ２１のストロークデータの手書きが終わってペンアップしてから所定時間Ｔが経過した否かを判断する（Ｓ２２）。
【0115】
所定時間Ｔが経過していない状態で（Ｓ２２のＹｅｓ）、入力受付部２１が、入力手段が接触した座標を検出し、描画データ生成部２２がストロークデータを生成する。表示制御部２４は、ストロークデータをディスプレー２２０に表示させる。除外部３２は、ステップＳ２３のストロークデータが同一認識グループとならない条件を満たすか否かを判断する（Ｓ２３）。同一認識グループとならない条件を満たさない（つまり同一認識グループと判断された）ストロークデータのみが以降の処理の対象となる。
【0116】
次に、領域変更部３１は、ステップＳ２１のストロークデータに基づいて連続筆記中の追加認識矩形１０２を設定し、ステップＳ２３で手書きされたストロークデータが、この追加認識矩形１０２に含まれるか否かを判断する（Ｓ２４）。
【0117】
ステップＳ２３のストロークデータが追加認識矩形１０２に含まれる場合（Ｓ２４のＹｅｓ）、領域変更部３１は、ステップＳ２１とＳ２３のストロークデータが同一認識グループであると判断する（Ｓ２５）。
【0118】
ステップＳ２３のストロークデータが追加認識矩形１０２に含まれない場合（Ｓ２４のＮｏ）、領域変更部３１は、ステップＳ２１とＳ２３のストロークデータが同一認識グループでないと判断する（Ｓ２６）。
【0119】
ステップＳ２１のストロークデータの手書きが終わってペンアップしてから所定時間Ｔが経過した状態で（Ｓ２２のＮｏ）、入力受付部２１が、入力手段が接触した座標を検出し、描画データ生成部２２がストロークデータを生成する。表示制御部２４は、ストロークデータをディスプレー２２０に表示させる。除外部３２は、ストロークデータが同一認識グループとならない条件を満たすか否かを判断する。同一認識グループとならない条件を満たさないストロークデータのみが以降の処理の対象となる（Ｓ２７）。
【0120】
次に、領域変更部３１は、ステップＳ２１のストロークデータに基づいて所定時間Ｔの経過後の追加認識矩形１０２を設定し、ステップＳ２７で手書きされたストロークデータが、この追加認識矩形１０２に含まれるか否かを判断する（Ｓ２８）。
【0121】
ステップＳ２７のストロークデータが追加認識矩形１０２に含まれる場合（Ｓ２８のＹｅｓ）、領域変更部３１は、ステップＳ２１とＳ２７のストロークデータが同一認識グループであると判断する（Ｓ２５）。
【0122】
ステップＳ２７のストロークデータが追加認識矩形１０２に含まれない場合（Ｓ２８のＮｏ）、領域変更部３１は、ステップＳ２１とＳ２７のストロークデータが同一認識グループでないと判断する（Ｓ２６）。
【0123】
【0124】
入力受付部２１が、入力手段が接触した座標を検出し、描画データ生成部２２がストロークデータを生成する。表示制御部２４は、ストロークデータをディスプレー２２０に表示させる（Ｓ３１）。
【0125】
除外部３２は、ストロークデータの高さが閾値ａより大きいか否かを判断する（Ｓ３２）。
【0126】
ストロークデータの高さが閾値ａ以下の場合（Ｓ３２のＮｏ）、除外部３２は、ステップＳ３１のストロークデータの幅が閾値ｂより大きく、かつ、ストロークデータの高さが閾値ｃより小さいか否かを判断する（Ｓ３３）。
【0127】
ステップＳ３２又はステップＳ３３のいずれかの判断がＹｅｓの場合、除外部３２は、ステップＳ３１で手書きされたストロークデータを同一認識グループから除外する（Ｓ３４）。
【0128】
ステップＳ３３の判断がＮｏの場合、領域変更部３１は、ステップＳ３１で手書きされたストロークデータを同一認識グループの判断対象とする。つまり、ステップＳ３１で手書きされたストロークデータは、図１４の処理で追加認識矩形１０２に含まれるかどうかが判断される。
【0129】
＜操作ガイドの非表示＞
図６では、表のセルにテキストへの変換用の辞書が設定され得ることを説明したが、例えばセルに数字辞書が設定されている場合、当該セルには数字のみが入力されることが想定されている。そして、数字の認識精度は文字に比べて高いことが知られている。このような場合、セルの属性に操作ガイドを非表示とする旨が設定されてよい。表示制御部２４は、操作ガイドを非表示とする旨が設定されたセルにストロークが手書きされた場合、操作ガイド（表入力対象テキスト３１０を含む全ての文字変換候補５３９）５００を表示させず、指定辞書により、変換部２３が、確度が最も高いと判断したテキストをセルに表示させる。例えば、数字が入ることが求められるセルであれば、誤変換を低減できかつユーザーが文字変換候補５３９から表入力対象テキスト３１０を選択することも不要となる。
図６では、表のセルにテキストへの変換用の辞書が設定され得ることを説明したが、例えばセルに数字辞書が設定されている場合、当該セルには数字のみが入力されることが想定されている。そして、数字の認識精度は文字に比べて高いことが知られている。このような場合、セルの属性に操作ガイドを非表示とする旨が設定されてよい。表示制御部２４は、操作ガイドを非表示とする旨が設定されたセルにストロークが手書きされた場合、操作ガイド（表入力対象テキスト３１０を含む全ての文字変換候補５３９）５００を表示させず、指定辞書により、変換部２３が、確度が最も高いと判断したテキストをセルに表示させる。例えば、数字が入ることが求められるセルであれば、誤変換を低減できかつユーザーが文字変換候補５３９から表入力対象テキスト３１０を選択することも不要となる。
【0130】
図１６は、操作ガイド５００を非表示とする旨が設定されたセルに手書きされたストローク３３１の変換例を示す。図１６（ａ）ではセル３３０に「１」というストローク３３１が手書きされている。このセル３３０には数字辞書が指定され、操作ガイド５００を非表示とする旨が設定されている。したがって、図１６（ｂ）に示すように、操作ガイド５００は表示されず、確度が最も高いと判断された「１」というテキスト３３２がセル３３０に表示される。
【0131】
＜表入力された表入力対象テキストに対する処理＞
図１７を参照して、表処理部３０が行う表入力対象テキスト３１０に対する処理について説明する。図１７は、合計の自動算出とセルの値のコピーを説明する図である。図１７（ａ）（ｂ）は異なる表３４１，３４２を示し、表３４２は表３４１のまとめが入力される表である。
図１７を参照して、表処理部３０が行う表入力対象テキスト３１０に対する処理について説明する。図１７は、合計の自動算出とセルの値のコピーを説明する図である。図１７（ａ）（ｂ）は異なる表３４１，３４２を示し、表３４２は表３４１のまとめが入力される表である。
【0132】
図１８は、表３４１，３４２の表情報を示す。図１８では、表３４１，３４２の処理に関するオプションの項目のみを示す。図１８（ａ）に示すように、表３４１の表ＩＤは「１１」であり、オプションとして「（２，２）と（３，２）の合計を（４，２）に設定」することが登録されている。図１８（ｂ）に示すように、表３４１の表ＩＤは「１２」であり、オプションとして「表ＩＤ＝１１の（４，２）の値を（２，２）にコピー」することが登録されている。表処理部３０は図１８の表情報を参照して、以下のように処理する。
【0133】
表情報によれば、図１７（ａ）の表のセル３４５には同じ列のセル３４３，３４４の値を合計する旨の属性が設定されている。図１７（ａ）に示すように、列の各セル３４３，３４４に「５」「４」と入力された場合、セル３４３，３４４に値が表入力された各タイミングで表処理部３０がオプションの有無を判断する。「５」「４」はいずれも表入力されており、表と対応付けられている。
【0134】
オプションが設定されたセル３４５があり、該セル３４５の処理に必要なセル３４３，３４４に値が入力されると、表処理部３０は、オプションが設定されたセル３４５の処理を行う。例えば表処理部３０は、図１７（ｃ）に示すように、表３４１のセル３４５に、同じ列の各セル３４３，３４４の合計である「９」を設定する。
【0135】
また、表処理部３０は、図１８（ｂ）の表情報に基づいて、表３４２は、他の表３４１の値を使用するオプションが設定されていると判断する。この場合、表処理部３０は、例えば一定時間ごとに、他の表３４１の入力状態をチェックする。他の表３４１に、表３４２のオプションの処理に必要な値（（４，２）の合計）が設定された場合、表処理部３０は他の表３４１の値を使用して表３４２に設定されているオプションの処理を実行する。図１７（ｄ）に示すように、表処理部３０は、表３４１の（４，２）の値を、表３４２の（２，２）にコピーする。
【0136】
このように、表示装置２は表入力された値を表に設定された属性に基づいて自動で処理することができる。
【0137】
なお、表示装置２は、モードを切り替えることなく表入力とは関係ない手書きデータやテキストを表内に手書きできる。図１７（ｃ）の表３４１では、セル３４４に手書きデータ３４７が入力されている。この手書きデータ３４７は表３４１と対応付けられていないので、セル３４５に表示される合計値に影響しない。したがって、本実施形態の表示装置２は、１つの表に表入力対象テキスト３１０とそうでないテキストや手書きデータを混在させることができ、表入力対象テキスト３１０のみを属性に基づいて表示したり処理したりできる。このように、１つのセル内に数字と文字を入力し、数字のみを合計するような処理は表計算ソフトでは困難であった。
【0138】
＜サーバー・クライアントシステムへの適用＞
図１９は、表示システム１９の概略構成図の一例である。表示装置２の機能は、図１９のような、サーバー・クライアントシステムの形態でも実現できる。インターネット等のネットワークを介して表示装置２とサーバー装置１２とが接続されている。
図１９は、表示システム１９の概略構成図の一例である。表示装置２の機能は、図１９のような、サーバー・クライアントシステムの形態でも実現できる。インターネット等のネットワークを介して表示装置２とサーバー装置１２とが接続されている。
【0139】
このような表示システム１９の場合、表示装置２は、図４に示した、入力受付部２１、描画データ生成部２２、表示制御部２４、ネットワーク通信部２６、及び操作受付部２７を有する。
【0140】
一方、サーバー装置１２は、変換部２３、データ記録部２５、判断部２８、認識グループ判断部２９、表処理部３０、領域変更部３１、除外部３２、及び、ネットワーク通信部２６を有する。
【0141】
【0142】
このように、表示システム１９によれば、表示装置２とサーバー装置１２がインタラクティブにテキストデータを表示できる。また、オブジェクトデータがサーバー装置１２に保存されているので、遠隔地にある表示装置２やＰＣがサーバー装置１２に接続してオブジェクトデータをリアルタイムに共有できる。
【0143】
＜主な効果＞
以上説明したように、本実施形態の表示装置２では、ユーザーがモードを切り替えることなく、単なる文字認識も可能であり、かつ、文字認識されたテキストを表入力することも可能である。表入力されたテキストは表の属性にしたがって表示及び処理することができ、表入力されなかったテキストは、表の属性に影響されない。また、本実施形態の表示装置２は、同一認識グループのストロークとセルが重複しているか否かを判断し、表入力対象テキスト３１０を選択可能に表示するので、セルとテキストを精度よく対応付けることができる。
以上説明したように、本実施形態の表示装置２では、ユーザーがモードを切り替えることなく、単なる文字認識も可能であり、かつ、文字認識されたテキストを表入力することも可能である。表入力されたテキストは表の属性にしたがって表示及び処理することができ、表入力されなかったテキストは、表の属性に影響されない。また、本実施形態の表示装置２は、同一認識グループのストロークとセルが重複しているか否かを判断し、表入力対象テキスト３１０を選択可能に表示するので、セルとテキストを精度よく対応付けることができる。
【0144】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0145】
例えば、ストロークが複数のセルにまたがっている場合、表示制御部２４は、操作ガイド５００から選択された表入力対象テキスト３１０をまたがっている全てのセルに仮に表示させ、ユーザーがペン２５００でタッチしたセル以外の表入力対象テキスト３１０を消去してもよい。
【0146】
また、セルに入力された表入力対象テキスト３１０を、ユーザーが別のセルに移動できてよい。
また、ユーザーが手書きしたデータがテキストや図形に変換されずに表３０１のセルの値として表示されてもよい（例えばセルの中央にセンタリングされる）。つまり、手書きデータが表３０１の一部となり、ユーザーは表３０１と共に手書きデータを移動可能になる。ユーザーは手書きデータを表３０１の一部とするか、又は、単に表３０１に重ねて手書きされた状態とするかを選択できる。
また、ユーザーが手書きしたデータがテキストや図形に変換されずに表３０１のセルの値として表示されてもよい（例えばセルの中央にセンタリングされる）。つまり、手書きデータが表３０１の一部となり、ユーザーは表３０１と共に手書きデータを移動可能になる。ユーザーは手書きデータを表３０１の一部とするか、又は、単に表３０１に重ねて手書きされた状態とするかを選択できる。
【0147】
また、本実施形態では、ストロークデータが主に日本語に変換されているが、ストロークデータの変換先の言語は他の言語（英語、中国語、ヒンドゥー語、スペイン語、フランス語、アラビア語、ロシア語等）でよい。
【0148】
また、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、プロジェクター、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。
【0149】
また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、表示装置２はペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。表示装置２は、方向と距離によりペンの位置を特定でき、ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。
【0150】
また、図４などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【0151】
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
本発明の実施形態は、コンピュータの能力及び機能性に大きな改善をもたらす。これらの改善により、ユーザーは、情報処理装置において情報を格納し提示する方法であるテーブルとの、より効率的で堅牢な対話を提供するコンピュータを利用することができる。更に、本発明の実施形態は、より効率的で強力かつ堅牢なユーザーインタフェースの使用を通じて、より良いユーザー体験を提供する。このようなユーザーインタフェースは、人間と機械との間のより良い相互作用を提供する。
＜請求項に関する付記＞
[請求項１]
表を表示する表示装置であって、
前記表に設定されている属性を記憶する記憶部と、
手書きの入力を受け付ける入力受付部と、
前記手書きをテキスト又は図形に変換する変換部と、
前記手書きが前記表の少なくとも一部と重複しているか否かを判断する判断部と、
前記判断部が前記手書きが前記表の少なくとも一部と重複していると判断する場合に、前記表に設定されている属性に基づいて前記テキスト又は前記図形を前記表に表示させる表示制御部と、
を有することを特徴とする表示装置。
[請求項２]
前記手書きと前記表が重複している場合、前記表示制御部は、前記表に設定されている属性に基づいて表示させる第一のテキスト又は第一の図形と、前記表示装置に初期設定されている属性に基づいて表示させる第二のテキスト又は第二の図形と、を表示させ、
前記第一のテキスト又は第一の図形の選択を受け付けた場合、前記表に設定されている属性に基づいて前記第一のテキスト又は第一の図形を前記表に表示させることを特徴とする請求項１に記載の表示装置。
[請求項３]
前記表に設定されている属性は、前記テキストのフォント、フォントサイズ、フォント色、又は前記表における前記テキストの配置、の１つ以上であることを特徴とする請求項１又は２に記載の表示装置。
[請求項４]
前記表に設定されている属性は、前記変換部が、前記表と重複している前記手書きを前記テキスト又は前記図形に変換する際に使用する辞書であることを特徴とする請求項１～３のいずれか１項に記載の表示装置。
[請求項５]
前記表に設定されている属性は、前記第一のテキスト又は前記第一の図形と前記第二のテキスト又は前記第二の図形を表示せずに、前記変換部が前記手書きから変換した前記テキスト又は前記図形を、前記表に設定されている属性に基づいて前記表に表示させる旨であることを特徴とする請求項２に記載の表示装置。
[請求項６]
前記表はセルを有し、
前記表に設定されている属性は、前記表の所定のセルに入力された値を演算する旨であり、
前記所定のセルに前記第一のテキストが入力された場合、前記所定のセルに入力された前記第一のテキストを処理した結果を前記表に表示させる表処理部を有することを特徴とする請求項２に記載の表示装置。
[請求項７]
前記表に設定されている属性は、他の表に入力された値をコピーする旨であり、
前記他の表に値が入力された場合、前記他の表に入力された値をコピーして前記表に表示させることを特徴とする請求項１～５のいずれか１項に記載の表示装置。
[請求項８]
前記第二のテキストの選択を受け付け、前記第二のテキストが前記所定のセルに入力された場合、前記表処理部は、前記所定のセルに入力された前記第一のテキストのみを処理した結果を前記表に表示させることを特徴とする請求項６に記載の表示装置。
[請求項９]
前記表はセルを有し、
同じ前記表の異なるセルに対し、前記第一のテキスト又は前記第一の図形の選択と、前記第二のテキスト又は前記第二の図形の選択をそれぞれ受け付けた場合、
前記表示制御部は、前記第一のテキスト又は前記第一の図形と前記第二のテキスト又は前記第二の図形を同じ前記表の異なるセルに表示させることを特徴とする請求項２に記載の表示装置。
[請求項１０]
前記表示制御部は、前記第一のテキスト又は前記第一の図形の周囲に、前記表に設定されている属性に基づいて前記第一のテキスト又は前記第一の図形が表示させられている旨を表示させることを特徴とする請求項９に記載の表示装置。
[請求項１１]
前記手書きの外接矩形をオフセットの長さ拡大した近傍矩形と前記表が一定以上重複する場合、前記手書きと前記表の少なくとも一部が重複していると判断することを特徴とする請求項１～１０のいずれか１項に記載の表示装置。
本発明の実施形態は、コンピュータの能力及び機能性に大きな改善をもたらす。これらの改善により、ユーザーは、情報処理装置において情報を格納し提示する方法であるテーブルとの、より効率的で堅牢な対話を提供するコンピュータを利用することができる。更に、本発明の実施形態は、より効率的で強力かつ堅牢なユーザーインタフェースの使用を通じて、より良いユーザー体験を提供する。このようなユーザーインタフェースは、人間と機械との間のより良い相互作用を提供する。
＜請求項に関する付記＞
[請求項１]
表を表示する表示装置であって、
前記表に設定されている属性を記憶する記憶部と、
手書きの入力を受け付ける入力受付部と、
前記手書きをテキスト又は図形に変換する変換部と、
前記手書きが前記表の少なくとも一部と重複しているか否かを判断する判断部と、
前記判断部が前記手書きが前記表の少なくとも一部と重複していると判断する場合に、前記表に設定されている属性に基づいて前記テキスト又は前記図形を前記表に表示させる表示制御部と、
を有することを特徴とする表示装置。
[請求項２]
前記手書きと前記表が重複している場合、前記表示制御部は、前記表に設定されている属性に基づいて表示させる第一のテキスト又は第一の図形と、前記表示装置に初期設定されている属性に基づいて表示させる第二のテキスト又は第二の図形と、を表示させ、
前記第一のテキスト又は第一の図形の選択を受け付けた場合、前記表に設定されている属性に基づいて前記第一のテキスト又は第一の図形を前記表に表示させることを特徴とする請求項１に記載の表示装置。
[請求項３]
前記表に設定されている属性は、前記テキストのフォント、フォントサイズ、フォント色、又は前記表における前記テキストの配置、の１つ以上であることを特徴とする請求項１又は２に記載の表示装置。
[請求項４]
前記表に設定されている属性は、前記変換部が、前記表と重複している前記手書きを前記テキスト又は前記図形に変換する際に使用する辞書であることを特徴とする請求項１～３のいずれか１項に記載の表示装置。
[請求項５]
前記表に設定されている属性は、前記第一のテキスト又は前記第一の図形と前記第二のテキスト又は前記第二の図形を表示せずに、前記変換部が前記手書きから変換した前記テキスト又は前記図形を、前記表に設定されている属性に基づいて前記表に表示させる旨であることを特徴とする請求項２に記載の表示装置。
[請求項６]
前記表はセルを有し、
前記表に設定されている属性は、前記表の所定のセルに入力された値を演算する旨であり、
前記所定のセルに前記第一のテキストが入力された場合、前記所定のセルに入力された前記第一のテキストを処理した結果を前記表に表示させる表処理部を有することを特徴とする請求項２に記載の表示装置。
[請求項７]
前記表に設定されている属性は、他の表に入力された値をコピーする旨であり、
前記他の表に値が入力された場合、前記他の表に入力された値をコピーして前記表に表示させることを特徴とする請求項１～５のいずれか１項に記載の表示装置。
[請求項８]
前記第二のテキストの選択を受け付け、前記第二のテキストが前記所定のセルに入力された場合、前記表処理部は、前記所定のセルに入力された前記第一のテキストのみを処理した結果を前記表に表示させることを特徴とする請求項６に記載の表示装置。
[請求項９]
前記表はセルを有し、
同じ前記表の異なるセルに対し、前記第一のテキスト又は前記第一の図形の選択と、前記第二のテキスト又は前記第二の図形の選択をそれぞれ受け付けた場合、
前記表示制御部は、前記第一のテキスト又は前記第一の図形と前記第二のテキスト又は前記第二の図形を同じ前記表の異なるセルに表示させることを特徴とする請求項２に記載の表示装置。
[請求項１０]
前記表示制御部は、前記第一のテキスト又は前記第一の図形の周囲に、前記表に設定されている属性に基づいて前記第一のテキスト又は前記第一の図形が表示させられている旨を表示させることを特徴とする請求項９に記載の表示装置。
[請求項１１]
前記手書きの外接矩形をオフセットの長さ拡大した近傍矩形と前記表が一定以上重複する場合、前記手書きと前記表の少なくとも一部が重複していると判断することを特徴とする請求項１～１０のいずれか１項に記載の表示装置。
【符号の説明】
【0152】
２ 表示装置
２８ 判断部
２９ 認識グループ判断部
３０ 表処理部
３１ 領域変更部
３２ 除外部
２８ 判断部
２９ 認識グループ判断部
３０ 表処理部
３１ 領域変更部
３２ 除外部
【先行技術文献】
【特許文献】
【0153】
【特許文献1】特開２０１６－７１６２１号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】