知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133110
(43)【公開日】2023-09-22
(54)【発明の名称】表示装置、表示方法、プログラム
(51)【国際特許分類】
G06F 3/04842 20220101AFI20230914BHJP
G06F 3/04883 20220101ALI20230914BHJP
【ＦＩ】
G06F3/04842
G06F3/04883
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022192217
(22)【出願日】2022-11-30
(31)【優先権主張番号】P 2022037466
(32)【優先日】2022-03-10
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】古海 祐衣
(72)【発明者】
【氏名】吉田 拓郎
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA03
5E555BA02
5E555BA28
5E555BB02
5E555BB28
5E555BC07
5E555BC17
5E555CA14
5E555CB10
5E555CB11
5E555CC01
5E555CC03
5E555DB11
5E555DB41
5E555DB56
5E555DC11
5E555DC19
5E555DC25
5E555DC40
5E555EA24
5E555FA00
(57)【要約】
【課題】手書きの操作によって図形を描くことと、手書きの操作によってオブジェクトを選択することと、を使い分ける際の利便性を向上させること。
【解決手段】手書きをオブジェクトとして表示する表示装置であって、前記手書きの入力を受け付ける入力受付部と、前記手書きを図形に変換する変換部と、前記変換された図形が、予め設定されているオブジェクト選択用図形であるか否かを判断する判断部と、前記判断部が前記変換された図形が予め設定されているオブジェクト選択用図形であると判断する場合に、前記予め設定されているオブジェクト選択用図形内に表示されるオブジェクトの選択を受け付ける表示部品、を表示させる表示制御部と、前記表示部品の選択を受け付けた場合に、前記表示されるオブジェクトを選択状態にさせる選択処理部と、を有することを特徴とする。
【選択図】図１
【解決手段】手書きをオブジェクトとして表示する表示装置であって、前記手書きの入力を受け付ける入力受付部と、前記手書きを図形に変換する変換部と、前記変換された図形が、予め設定されているオブジェクト選択用図形であるか否かを判断する判断部と、前記判断部が前記変換された図形が予め設定されているオブジェクト選択用図形であると判断する場合に、前記予め設定されているオブジェクト選択用図形内に表示されるオブジェクトの選択を受け付ける表示部品、を表示させる表示制御部と、前記表示部品の選択を受け付けた場合に、前記表示されるオブジェクトを選択状態にさせる選択処理部と、を有することを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
手書きをオブジェクトとして表示する表示装置であって、
前記手書きの入力を受け付ける入力受付部と、
前記手書きを図形に変換する変換部と、
前記変換された図形が、予め設定されているオブジェクト選択用図形であるか否かを判断する判断部と、
前記判断部が前記変換された図形が予め設定されているオブジェクト選択用図形であると判断する場合に、前記予め設定されているオブジェクト選択用図形内に表示されるオブジェクトの選択を受け付ける表示部品、を表示させる表示制御部と、
前記表示部品の選択を受け付けた場合に、前記表示されるオブジェクトを選択状態にさせる選択処理部と、を有することを特徴とする表示装置。
前記手書きの入力を受け付ける入力受付部と、
前記手書きを図形に変換する変換部と、
前記変換された図形が、予め設定されているオブジェクト選択用図形であるか否かを判断する判断部と、
前記判断部が前記変換された図形が予め設定されているオブジェクト選択用図形であると判断する場合に、前記予め設定されているオブジェクト選択用図形内に表示されるオブジェクトの選択を受け付ける表示部品、を表示させる表示制御部と、
前記表示部品の選択を受け付けた場合に、前記表示されるオブジェクトを選択状態にさせる選択処理部と、を有することを特徴とする表示装置。
【請求項2】
前記変換部は、前記手書きをテキストに変換でき、
前記手書きの高さと幅に基づいて、図形要素となる前記手書きを前記図形に変換し、
図形要素とならない前記手書きを前記テキストに変換することを特徴とする請求項１に記載の表示装置。
前記手書きの高さと幅に基づいて、図形要素となる前記手書きを前記図形に変換し、
図形要素とならない前記手書きを前記テキストに変換することを特徴とする請求項１に記載の表示装置。
【請求項3】
前記表示制御部は、前記変換部が前記手書きから変換した１つ以上の図形変換候補を表示させ、
選択を受け付けた前記図形変換候補が予め設定されているオブジェクト選択用図形である場合、前記図形を表示させると共に、前記図形による前記オブジェクトの選択モードを開始し、
選択を受け付けた前記図形変換候補がオブジェクト選択用図形でない場合、前記図形のみを表示させることを特徴とする請求項１又は２に記載の表示装置。
選択を受け付けた前記図形変換候補が予め設定されているオブジェクト選択用図形である場合、前記図形を表示させると共に、前記図形による前記オブジェクトの選択モードを開始し、
選択を受け付けた前記図形変換候補がオブジェクト選択用図形でない場合、前記図形のみを表示させることを特徴とする請求項１又は２に記載の表示装置。
【請求項4】
選択を受け付けた前記図形変換候補がオブジェクト選択用図形である場合、前記表示制御部は、選択された前記オブジェクト選択用図形を前記手書きのサイズと位置に基づいて表示させ、更に、前記オブジェクトの選択を受け付ける表示部品を表示させ、
表示から一定時間の経過後に前記表示部品を消去することを特徴とする請求項３に記載の表示装置。
表示から一定時間の経過後に前記表示部品を消去することを特徴とする請求項３に記載の表示装置。
【請求項5】
前記表示制御部が前記一定時間の経過後に前記表示部品を消去した場合、前記変換部が変換した前記図形を継続して表示させ、前記判断部は選択モードを終了することを特徴とする請求項４に記載の表示装置。
【請求項6】
前記オブジェクト選択用図形は、円又は矩形であり、
前記変換部は、前記手書きを円又は矩形に変換し、
前記表示部品が押下された場合、前記選択処理部は、前記円若しくは矩形で囲まれた領域の画像データ、又は、前記円若しくは矩形で囲まれた前記オブジェクトのオブジェクトデータを選択状態にすることを特徴とする請求項４に記載の表示装置。
前記変換部は、前記手書きを円又は矩形に変換し、
前記表示部品が押下された場合、前記選択処理部は、前記円若しくは矩形で囲まれた領域の画像データ、又は、前記円若しくは矩形で囲まれた前記オブジェクトのオブジェクトデータを選択状態にすることを特徴とする請求項４に記載の表示装置。
【請求項7】
前記オブジェクト選択用図形のサイズと位置の変更を受け付ける操作受付部を有し、
前記操作受付部が前記オブジェクト選択用図形のサイズと位置の変更を受け付けている間、前記表示制御部は、前記一定時間が経過しても前記表示部品を消去しないことを特徴とする請求項４に記載の表示装置。
前記操作受付部が前記オブジェクト選択用図形のサイズと位置の変更を受け付けている間、前記表示制御部は、前記一定時間が経過しても前記表示部品を消去しないことを特徴とする請求項４に記載の表示装置。
【請求項8】
前記変換部が変換したテキストが予め設定されているコマンドと部分一致する場合、前記表示制御部は前記コマンドを表示させ、
前記画像データ又は前記オブジェクトデータを使用する前記コマンドの選択を受け付けた場合、保存されている前記画像データ又は前記オブジェクトデータを使用した処理を実行するコマンド処理部を有することを特徴とする請求項６に記載の表示装置。
前記画像データ又は前記オブジェクトデータを使用する前記コマンドの選択を受け付けた場合、保存されている前記画像データ又は前記オブジェクトデータを使用した処理を実行するコマンド処理部を有することを特徴とする請求項６に記載の表示装置。
【請求項9】
前記コマンドは貼り付けを実行するコマンドであり、
前記コマンド処理部が貼り付けを実行した場合、前記表示制御部は、保存されている前記画像データ又は前記オブジェクトデータを表示させることを特徴とする請求項８に記載の表示装置。
前記コマンド処理部が貼り付けを実行した場合、前記表示制御部は、保存されている前記画像データ又は前記オブジェクトデータを表示させることを特徴とする請求項８に記載の表示装置。
【請求項10】
前記表示制御部は、前記手書きから前記変換部が変換した前記図形変換候補の確度が閾値以上の場合、前記図形変換候補を表示させず、
前記変換部が予め設定されている特殊なオブジェクト選択用図形に変換した場合、前記図形を表示させ、
前記判断部は、前記図形による前記オブジェクトの選択モードを開始することを特徴とする請求項３に記載の表示装置。
前記変換部が予め設定されている特殊なオブジェクト選択用図形に変換した場合、前記図形を表示させ、
前記判断部は、前記図形による前記オブジェクトの選択モードを開始することを特徴とする請求項３に記載の表示装置。
【請求項11】
前記手書きの高さが閾値ａより大きい場合、又は、
前記手書きの高さが閾値ｃ以下、かつ、幅が閾値ｂより大きい場合、前記手書きを前記図形要素と判断する図形要素判断部を有することを特徴とする請求項２に記載の表示装置。
前記手書きの高さが閾値ｃ以下、かつ、幅が閾値ｂより大きい場合、前記手書きを前記図形要素と判断する図形要素判断部を有することを特徴とする請求項２に記載の表示装置。
【請求項12】
前記手書きに近傍矩形を設定し、前記近傍矩形と交差する他の手書きを同一認識グループの手書きと判断する認識グループ判断部を有し、
前記変換部は前記同一認識グループの手書きをまとめて前記図形に変換することを特徴とする請求項１１に記載の表示装置。
前記変換部は前記同一認識グループの手書きをまとめて前記図形に変換することを特徴とする請求項１１に記載の表示装置。
【請求項13】
手書きをオブジェクトとして表示する表示装置が行う表示方法であって、
入力受付部が、前記手書きの入力を受け付けるステップと、
変換部が、前記手書きを図形に変換するステップと、
判断部が、前記変換された図形が、予め設定されているオブジェクト選択用図形であるか否かを判断するステップと、
表示制御部が、前記判断部が前記変換された図形が予め設定されているオブジェクト選択用図形であると判断する場合に、前記予め設定されているオブジェクト選択用図形内に表示されるオブジェクトの選択を受け付ける表示部品、を表示させるステップと、
選択処理部が、前記表示部品の選択を受け付けた場合に、前記表示されるオブジェクトを選択状態にさせるステップと、
を行うことを特徴とする表示方法。
入力受付部が、前記手書きの入力を受け付けるステップと、
変換部が、前記手書きを図形に変換するステップと、
判断部が、前記変換された図形が、予め設定されているオブジェクト選択用図形であるか否かを判断するステップと、
表示制御部が、前記判断部が前記変換された図形が予め設定されているオブジェクト選択用図形であると判断する場合に、前記予め設定されているオブジェクト選択用図形内に表示されるオブジェクトの選択を受け付ける表示部品、を表示させるステップと、
選択処理部が、前記表示部品の選択を受け付けた場合に、前記表示されるオブジェクトを選択状態にさせるステップと、
を行うことを特徴とする表示方法。
【請求項14】
手書きをオブジェクトとして表示する表示装置を、
前記手書きの入力を受け付ける入力受付部と、
前記手書きを図形に変換する変換部と、
前記変換された図形が、予め設定されているオブジェクト選択用図形であるか否かを判断する判断部と、
前記判断部が前記変換された図形が予め設定されているオブジェクト選択用図形であると判断する場合に、前記予め設定されているオブジェクト選択用図形内に表示されるオブジェクトの選択を受け付ける表示部品、を表示させる表示制御部と、
前記表示部品の選択を受け付けた場合に、前記表示されるオブジェクトを選択状態にさせる選択処理部、
として機能させるためのプログラム。
前記手書きの入力を受け付ける入力受付部と、
前記手書きを図形に変換する変換部と、
前記変換された図形が、予め設定されているオブジェクト選択用図形であるか否かを判断する判断部と、
前記判断部が前記変換された図形が予め設定されているオブジェクト選択用図形であると判断する場合に、前記予め設定されているオブジェクト選択用図形内に表示されるオブジェクトの選択を受け付ける表示部品、を表示させる表示制御部と、
前記表示部品の選択を受け付けた場合に、前記表示されるオブジェクトを選択状態にさせる選択処理部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、表示方法、及びプログラムに関する。
【背景技術】
【0002】
手書き認識技術を利用し、手書きデータを文字に変換して、ディスプレーに表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザーにより電子黒板などとして利用される。
【0003】
表示装置が表示するオブジェクトを画像データとして保存するスナップショット技術が知られている（例えば、特許文献１参照。）。特許文献１には、手書きで囲んだ文字列をアクションアイテムとして登録する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、手書きの操作によって図形を描くことと、手書きの操作によってオブジェクトを選択することと、を使い分ける際の利便性については考慮されていなかった。
【0005】
本発明は、上記課題に鑑み、手書きの操作によって図形を描くことと、手書きの操作によってオブジェクトを選択することと、を使い分ける際の利便性を向上させることを目的とする。
【課題を解決するための手段】
【0006】
上記課題に鑑み、本発明は、手書きをオブジェクトとして表示する表示装置であって、前記手書きの入力を受け付ける入力受付部と、前記手書きを図形に変換する変換部と、前記変換された図形が、予め設定されているオブジェクト選択用図形であるか否かを判断する判断部と、前記判断部が前記変換された図形が予め設定されているオブジェクト選択用図形であると判断する場合に、前記予め設定されているオブジェクト選択用図形内に表示されるオブジェクトの選択を受け付ける表示部品、を表示させる表示制御部と、前記表示部品の選択を受け付けた場合に、前記表示されるオブジェクトを選択状態にさせる選択処理部と、を有することを特徴とする。
【発明の効果】
【0007】
手書きの操作によって図形を描くことと、手書きの操作によってオブジェクトを選択することと、を使い分ける際の利便性を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】手書きされたストロークが図形に変換される処理を模式的に示す図である。
【図2】表示装置の配置例を示した図である。
【図3】表示装置のハードウェア構成図の一例である。
【図4】表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である。
【図5】ストロークデータ記憶部に記憶されるストロークデータを説明する図の一例である。
【図6】オブジェクトデータ記憶部に記憶されるオブジェクトデータを説明する図の一例である。
【図7】ストロークで選択されるオブジェクトの選択例を示す図である。
【図8】ストロークサイズと認識対象の対応を示す図の一例である。
【図9】近傍矩形を説明する図の一例である。
【図10】同一認識グループと判断される複数のストロークの一例を示す図である。
【図11】変換部が予め有している図形一覧の一例を示す図である。
【図12】ストロークが図形の同一認識グループに含まれるか否かを表示装置が判断する処理を説明するフローチャート図の一例である。
【図13】ストロークが図形要素か否かを表示装置が判断する処理を説明するフローチャート図の一例である。
【図14】ストロークがオブジェクト選択用図形（矩形）に変換される変換例を説明する図である。
【図15】ストロークがオブジェクト選択用図形（円）に変換される変換例を説明する図である。
【図16】正方形のオブジェクト選択用図形が選択された場合に表示される正方形のオブジェクト選択用図形の一例を示す図である。
【図17】円のオブジェクト選択用図形が選択された場合に表示される円のオブジェクト選択用図形の一例を示す図である。
【図18】オブジェクト選択用図形で選択されたオブジェクトがキャプチャされ、貼り付けされる処理を説明する図である。
【図19】確定ボタンの押下時に選択処理部が行う処理を説明するフローチャート図の一例である。
【図20】形状が特殊なオブジェクト選択用図形の一例を示す図である。
【図21】操作ガイドを表示せずに選択モードを開始する処理を説明するフローチャート図の一例である。
【図22】表示システムの概略構成図の一例である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う表示方法について図面を参照しながら説明する。
【0010】
＜図形の認識の概略＞
本実施形態の表示装置は、オブジェクトの選択に際し、ユーザーが手書きする図形を利用する。図形とは、一定の決まりによって定められる様々な形状をいう。本実施形態では、図形に囲まれた範囲が選択範囲であり、図形内のオブジェクト又は図形内の画像データが選択の対象となる。図形には、三角形、四角形、円、菱形など多くの種類があるが、オブジェクト選択用図形が予め設定されている。ユーザーは図形を図形として表示させることもできるし、図形をオブジェクトの選択にも使用できる（オブジェクトの選択に使用された図形は消去される）。このため、本実施形態では、ストロークが図形として認識されるかどうかが判断される。
本実施形態の表示装置は、オブジェクトの選択に際し、ユーザーが手書きする図形を利用する。図形とは、一定の決まりによって定められる様々な形状をいう。本実施形態では、図形に囲まれた範囲が選択範囲であり、図形内のオブジェクト又は図形内の画像データが選択の対象となる。図形には、三角形、四角形、円、菱形など多くの種類があるが、オブジェクト選択用図形が予め設定されている。ユーザーは図形を図形として表示させることもできるし、図形をオブジェクトの選択にも使用できる（オブジェクトの選択に使用された図形は消去される）。このため、本実施形態では、ストロークが図形として認識されるかどうかが判断される。
【0011】
図１を参照して、表示装置２がストローク３０２，３０３を図形として認識する条件の概略を説明する。図１は、手書きされたストローク３０２，３０３が図形に変換される処理を模式的に示す図である。図１（ａ）に示すように、ユーザーが選択したいオブジェクト３０１を考慮しながら１つ以上のストローク３０２，３０３を手書きする。
【0012】
表示装置２はストローク３０２，３０３が図１（ｂ）に示す条件１～３を満たすか否かを判断する。条件１～３について詳細は後述するが、条件１ではストローク３０２，３０３の大きさや形状に基づいて図形の構成要素か否か判断される。条件２は、ストローク３０２，３０３が同一認識グループか判断する。同一認識グループとは、まとめてテキストや図形などに変換される１つ以上のストロークである。条件３は、ストロークの形状が任意の図形（オブジェクト選択用図形も含まれる）と一致するかどうかが判断される。条件１、２により、図形の特徴を備えたストロークは図形の構成要素と判断され、そうでないストロークは文字などのテキストと判断される。つまり、ユーザーはストロークの形状や大きさを書き分けることで、モードを切り替えることなくテキストも図形も入力できる。
【0013】
ストローク３０２，３０３が条件１～３を満たす場合、表示装置２は、１つ以上のストローク３０２，３０３が図形の構成要素であると判断して、１つ以上のストローク３０２，３０３を消去すると共に、オブジェクト選択用図形１０及び確定ボタン３０５（表示部品の一例）を表示する（図１（ｃ））。なお、確定ボタン３０５（表示部品の一例）は、オブジェクト選択用図形１０やオブジェクト３０１の近傍に、または、隣接して表示される。本構成により、ユーザーがオブジェクト選択用図形１０やオブジェクト３０１を確認しながら確定ボタン３０５を選択可能となるため、手書きの操作によってオブジェクトを選択することが容易となる。またユーザーが確定ボタン３０５を選択しないことで、手書きの操作によって図形を描くこと、を選ぶことができる。本構成により、手書きの操作によって図形を描くことと、手書きの操作によってオブジェクトを選択することと、を使い分けることが可能となる。
【0014】
なお、条件１～３を満たすストロークが手書きされると、表示装置２は原則的に操作ガイド５００を表示する。操作ガイド５００は変換されたテキストや図形の候補を表示し、最終的なユーザーの選択を受け付ける。図形として変換された候補を図形変換候補１１という。図形変換候補１１にはオブジェクト選択用図形１０が含まれる場合がある。
【0015】
確定ボタン３０５が押下されると、表示装置２はオブジェクト選択用図形１０内に表示されるオブジェクト３０１をキャプチャし、オブジェクト選択用図形１０を消去する（図１（ｄ））。オブジェクト３０１は選択状態となり、更に、保存される。
【0016】
一定時間、確定ボタン３０５が押下されないと、表示装置２はオブジェクト選択用図形１０内に表示されるオブジェクト３０１をキャプチャすることなく、オブジェクト選択用図形１０をそのまま図形として表示する（図１（ｅ））。したがって、ユーザーが同じ図形のストローク３０２，３０３を入力しても、オブジェクト３０１の選択に使用することもでき、そのまま図形として入力することも可能である。
【0017】
このように、本実施形態の表示装置２は、図形の入力時に、確定ボタン３０５が押下されるか否かで、図形の入力とオブジェクト３０１の選択が切り替わるので、ユーザーが、オブジェクト３０１の選択を受け付ける選択受付モードに切り替える必要がない。また、ストローク３０２，３０３の高さと幅に基づいて図形か否かを判断するので、文字認識モードと図形入力モードをユーザーが切り替える必要がない。
【0018】
＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。
【0019】
ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークは、ディスプレーに接触することなく、ユーザーの動きを追跡することを含む。この場合、ユーザーが、例えばマウスやポインティングデバイスを使用して、ユーザーのジェスチャー、ユーザーの手若しくは足によるボタンの押下、又は他の方法で、ストロークを開始させてもよい。更に、ユーザーは、同じ又は異なるジェスチャー、ボタンを離す、又はマウスやポインティングデバイスを使用して、ストロークを終了させてもよい。
【0020】
ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報であるストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。手書き入力は、タッチインターフェース、ペンやスタイラスなどの触覚オブジェクト、又はユーザーの体を使って実行されてもよい。また、手書き入力は、ジェスチャーベースの入力、手の動きの追跡入力、又はユーザーによる他のタッチフリー入力など、他のタイプの入力を介して実行されてもよい。本発明の実施形態では、手書き入力及び手書き入力データに言及するが、他の形態の手書き入力が利用されてもよい。
【0021】
ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。ストロークデータが手書き認識して変換されたオブジェクトには、文字列の他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等も含まれてよい。
【0022】
モードとは特定の処理を行うことができる表示装置の状態である。オブジェクトの選択モードは、オブジェクトの選択を受け付けることができるモードである。
【0023】
選択モードの開始とは、変換部２３が認識した図形でユーザーがオブジェクトを選択できる状態になることをいう。選択モードの開始から終了までは確定ボタン３０５が表示される。
【0024】
選択モードにおいて、図形内にオブジェクトが入るように、ユーザーは図形のサイズや位置を変更して、オブジェクトを選択する。選択されたオブジェクトは保存、コピー、切り取り、移動等の対象となる。なお、オブジェクトの全体が図形内に含まれることまでは必要なく、オブジェクトの外接矩形と図形の外接矩形の面積が一定以上重複していればよい。
選択状態とは、表示装置２によりオブジェクトが処理の対象として特定された状態であることをいう。選択状態となったオブジェクトは、保存、移動、コピー、削除、色変更、サイズ変更、線の太さ変更、及び、線種変更などが可能になる。
選択状態とは、表示装置２によりオブジェクトが処理の対象として特定された状態であることをいう。選択状態となったオブジェクトは、保存、移動、コピー、削除、色変更、サイズ変更、線の太さ変更、及び、線種変更などが可能になる。
【0025】
＜装置の構成例＞
図２を用いて、本実施形態に係る表示装置２の配置例を説明する。図２は、表示装置２の配置例を示した図である。図２（ａ）は、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。
図２を用いて、本実施形態に係る表示装置２の配置例を説明する。図２は、表示装置２の配置例を示した図である。図２（ａ）は、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。
【0026】
図２（ａ）に示されているように、表示装置２の上部には表示装置２の一例としてのディスプレー２２０が設置されている。ユーザーＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きする（入力、描画ともいう）ことができる。
【0027】
図２（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。
【0028】
図２（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、ユーザーは表示装置２を容易に移動できる。
【0029】
なお、ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。
【0030】
＜装置のハードウェア構成＞
続いて、図３を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図３は、表示装置２のハードウェア構成図の一例である。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。
続いて、図３を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図３は、表示装置２のハードウェア構成図の一例である。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。
【0031】
これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。
【0032】
ＳＳＤ２０４は、ＯＳや表示装置２用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。この場合、普段は汎用的な情報処理装置として利用されるが、ユーザーがアプリケーションプログラムを実行すると、表示装置２の専用機と同様、ユーザーが手書きすることができる。
【0033】
また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。
【0034】
ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上にペン２５００やユーザーの手等（ペンやユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６はペンＩＤを受信する。
【0035】
タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法について説明する。例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射する。赤外線がディスプレー２２０の周囲に設けられた反射部材によって反射されて、２つ受発光装置が、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する。
【0036】
タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００を登録しておくと、ユーザーはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。
【0037】
電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図２（ａ）、図２（ｂ）、又は、図２（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。
【0038】
シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。シリアルインタフェース２１８は、外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi－FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。
【0039】
なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。
【0040】
赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線Ｉ／Ｆ２２３は、赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。
【0041】
電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。
【0042】
ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。
【0043】
更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図３に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0044】
なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。タッチセンサー２１６は、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。タッチセンサー２１６は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどでもよく、種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型である必要はない。
【0045】
＜機能について＞
次に、図４を用いて表示装置２の機能について説明する。図４は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、入力受付部２１、描画データ生成部２２、変換部２３、表示制御部２４、データ記録部２５、ネットワーク通信部２６、操作受付部２７、図形要素判断部２８、認識グループ判断部２９、制御部３０、選択処理部３１、コマンド処理部３２を有している。表示装置２が有する各機能は、図３に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。
次に、図４を用いて表示装置２の機能について説明する。図４は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、入力受付部２１、描画データ生成部２２、変換部２３、表示制御部２４、データ記録部２５、ネットワーク通信部２６、操作受付部２７、図形要素判断部２８、認識グループ判断部２９、制御部３０、選択処理部３１、コマンド処理部３２を有している。表示装置２が有する各機能は、図３に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。
【0046】
入力受付部２１はタッチセンサー２１６に対しペン２５００等の入力手段が接触した位置の座標を検出することで、座標の軌跡（座標点列、手書きされたデータ）の入力を受け付ける。描画データ生成部２２はペン２５００のペン先が接触した座標を入力受付部２１から取得する。描画データ生成部２２は、この座標点列を補間することで接続してストロークデータを生成する。
【0047】
変換部２３はユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し文字認識処理を行い、テキストに変換する。テキストの実体は文字コードである。変換部２３は、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、を認識して変換する。また、変換部２３はユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し図形認識処理を行い、図形（線、丸、三角など）に変換する。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。
【0048】
表示制御部２４は手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するための操作メニューなどをディスプレー２２０に表示させる。データ記録部２５は、表示装置２に手書きされた手書きデータ、変換された文字列、及び、ＰＣ（Personal Computer）の画面、ファイル等を記憶部４０に記憶する。ネットワーク通信部２６はＬＡＮ等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。
【0049】
操作受付部２７は、ペン２５００等が接触した座標に基づいて、文字認識された複数の変換候補から任意の文字の選択を受け付けたり、メニューの押下を受け付けたりする。
【0050】
図形要素判断部２８は、図形要素となるストロークが入力されたか否かを判断する。図形要素とは、図形の辺などの要素となるストロークをいう。すなわち、図形要素判断部２８は、ストロークが上記の条件１を満たすか否かを判断する。
【0051】
認識グループ判断部２９は、複数のストロークが図形の同一認識グループに含まれるか否かを判断する。すなわち、認識グループ判断部２９は、複数のストロークが上記の条件２を満たすか否かを判断する。
【0052】
制御部３０は、変換された図形が、予め設定されているオブジェクト選択用図形１０であるか否かを判断する。制御部３０は、表示されたオブジェクトの選択を、変換部２３が認識した図形で受け付ける選択モードを開始する。制御部３０は特許請求の範囲における判断部の一例である。
【0053】
選択処理部３１は、ユーザーが選択したオブジェクトのキャプチャに関する処理を行う。キャプチャに関する処理は、図形で囲まれた領域の画像データ又は領域に含まれるオブジェクトデータを選択状態にすることである。なお、キャプチャは、オブジェクトデータを保存することに限られず、オブジェクトの選択、コピー、切り取り、移動等が含まれてもよい。
【0054】
コマンド処理部３２は、変換部２３が変換したテキストが予め設定されているコマンドと部分一致する場合、コマンドを操作ガイド５００に表示させる。また、このコマンドが選択された場合、コマンドごとに決まっている処理を実行する。この処理は例えば、キャプチャされた画像データ又はオブジェクトデータの張り付け等である。
【0055】
また、表示装置２は、図３に示されているＳＳＤ２０４やＲＡＭ２０３などに構築される記憶部４０を有し、記憶部４０にはストロークデータ記憶部４１及びオブジェクトデータ記憶部４２が構築されている。
【0056】
図５は、ストロークデータ記憶部４１に記憶されるストロークデータを説明する図である。図５（ａ）は、ページデータを示す概念図である。ページデータは、ディスプレー２２０に表示される１ページ分のデータである。ページデータは、図５（ａ）に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開始時刻、ページに対しストローク等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、及び、入力手段によって生じたストローク配列データを識別するためのストローク配列データＩＤが関連付けて記憶されている。なお、図５では、文字認識後のテキストデータ、画像データ、表、図形などは省略されている。
【0057】
ストローク配列データは、１つのストロークデータがディスプレー２２０に表示されるためのデータである。例えば、ユーザーが入力手段によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストロークデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ユーザーが入力手段によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。
【0058】
また、ストローク配列データは、図５（ｂ）に示されているように詳細な情報を有している。図５（ｂ）は、ストローク配列データを示す概念図である。１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークの書き始めの時刻を示す開始時刻、１つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、認識グループ、種類、及び、ストロークの通過点の配列を識別するための座標配列データＩＤを示している。
【0059】
認識グループは、手書きデータがまとめてテキストに変換される同一認識グループの識別情報である。種類は、ストロークデータが何の要素（テキスト、図形の一部等）と判断されたかを示す。種類にはストローク（手書きデータ）のままの場合もある。手書きデータ、変換されたテキスト、図形などはそれぞれオブジェクトデータとして保存される。
【0060】
更に、この座標配列データは、図５（ｃ）に示されているように詳細な情報を示している。図５（ｃ）は、座標配列データを示す概念図である。図５（ｃ）に示されているように、座標配列データは、ディスプレー２２０上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークの開始時刻からの差分の時刻（ｍｓ）、及び、この１点におけるペン２５００の筆圧の各情報を示している。即ち、図５（ｃ）に示されている１点の集まりが、図５（ｂ）に示されている１つの座標配列データで示されている。例えば、ユーザーが入力手段によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
【0061】
図６は、オブジェクトデータ記憶部４２に記憶されるオブジェクトデータを説明する図である。
【0062】
・オブジェクトＩＤの項目は、表示データを識別する識別情報である。
【0063】
・種別の項目は、オブジェクトデータの種類であり、手書き、テキスト、図形、画像、表、等がある。手書きはストロークデータ（座標点列）である。テキストは手書きデータから変換された1つ以上の文字や記号等（文字コード）である。図形は、三角や四角など手書きデータから変換された幾何学的な形状である。画像は、ＰＣやインターネットなどから取り込まれたＪｐｅｇ、Ｐｎｇ、Ｔｉｆｆなどの画像データである。表は、一次元又は二次元のテーブル状のオブジェクトである。
【0064】
・表示装置２の１画面をページと称する。ページの項目はそのページ番号である。
【0065】
・座標の項目は、表示装置２の所定の原点を基準とするオブジェクトデータの位置を示す。オブジェクトデータの位置は例えばオブジェクトデータの外接矩形の左上頂点である。座標は例えば、ディスプレーの画素単位で表される。
【0066】
・サイズの項目は、オブジェクトデータの外接矩形の幅と高さである。
【0067】
＜オブジェクトの選択の一例＞
図７は、ストロークで選択されるオブジェクトの選択例を示す図である。図７では、以下の２つのオブジェクト３０１が、ユーザーが選択したいオブジェクト３０１である。
「Ａ避難所 ←ＯＫ」
「Ｂ避難所 ←ＮＧ」
ユーザーは２つのオブジェクト３０１を囲む円をストローク３０６で手書きした。本実施形態の表示装置２は、このストローク３０６を図形と認識した場合、２つのオブジェクトの選択モードが開始する。図７では円で２つのオブジェクト３０１が囲まれているが、本実施形態では、オブジェクト選択用図形１０は多角形でもよい。オブジェクト選択用図形１０を何にするかは予め設定されているが、オブジェクト選択用図形１０は、この他、三角形、矩形、多角形等でもよい。ユーザーがオブジェクト選択用図形１０を設定できてもよい。
図７は、ストロークで選択されるオブジェクトの選択例を示す図である。図７では、以下の２つのオブジェクト３０１が、ユーザーが選択したいオブジェクト３０１である。
「Ａ避難所 ←ＯＫ」
「Ｂ避難所 ←ＮＧ」
ユーザーは２つのオブジェクト３０１を囲む円をストローク３０６で手書きした。本実施形態の表示装置２は、このストローク３０６を図形と認識した場合、２つのオブジェクトの選択モードが開始する。図７では円で２つのオブジェクト３０１が囲まれているが、本実施形態では、オブジェクト選択用図形１０は多角形でもよい。オブジェクト選択用図形１０を何にするかは予め設定されているが、オブジェクト選択用図形１０は、この他、三角形、矩形、多角形等でもよい。ユーザーがオブジェクト選択用図形１０を設定できてもよい。
【0068】
また、オブジェクト選択用図形１０で選択されるオブジェクトは、手書きデータ、テキスト、図形、ファイル等から表示した画像、ファイル（ＰＤＦファイル等）の一部等、表示されたものであれば可能である。
【0069】
＜図形要素の判断 条件１＞
図８は、ストロークサイズと認識対象の対応を示す図である。ストロークサイズは、例えばストロークの外接矩形でよい。図８（ａ）では、ストロークが有する幅と高さの組み合わせに応じて、図形、日本語文字、又は英語筆記体としてストロークが認識されることを示している。図８（ａ）に示すように、図形要素の条件１は以下のとおりである。
「条件１」
・ストロークの高さがａより大きい。これは、文字として想定される最大高さａが閾値として設定されており、これを超えるストロークは図形要素と判断することを意味する。
・ストロークの幅がｂより大きい、かつ、高さがｃ以下。これは、文字として想定される最大幅ｂが閾値として設定されており、これを超えるストロークは図形要素と判断すると共に、横線の高さとして想定される最大高さｃが閾値として設定されており、これ以下のストロークを図形要素と判断することを意味する。
図８は、ストロークサイズと認識対象の対応を示す図である。ストロークサイズは、例えばストロークの外接矩形でよい。図８（ａ）では、ストロークが有する幅と高さの組み合わせに応じて、図形、日本語文字、又は英語筆記体としてストロークが認識されることを示している。図８（ａ）に示すように、図形要素の条件１は以下のとおりである。
「条件１」
・ストロークの高さがａより大きい。これは、文字として想定される最大高さａが閾値として設定されており、これを超えるストロークは図形要素と判断することを意味する。
・ストロークの幅がｂより大きい、かつ、高さがｃ以下。これは、文字として想定される最大幅ｂが閾値として設定されており、これを超えるストロークは図形要素と判断すると共に、横線の高さとして想定される最大高さｃが閾値として設定されており、これ以下のストロークを図形要素と判断することを意味する。
【0070】
なお、図８（ａ）について補足すると、幅＞ｂ、かつ、高さ≦ａのストロークは英語の筆記体と判断される。幅≦ｂ、かつ、高さ＜ａのストロークは日本語又は英語の筆記体と判断される。
【0071】
図８（ｂ）は図形要素と判断されるストローク３１１の一例である。ストローク３１１の高さは外接矩形３１９の高さである。図８（ｂ）では、ストローク３１１の高さがａより大きいので、ストローク３１１が図形要素と判断される。
【0072】
図８（ｃ）は図形要素と判断されるストローク３１２の一例である。ストローク３１２の高さ及び幅は外接矩形３１９の高さ及び幅である。図８（ｃ）では、ストローク３１２の高さがｃ以下、かつ、ストローク３１２の幅がｂより大きいので、ストローク３１２が図形要素と判断される。
【0073】
＜同一認識グループの判断方法 条件２＞
次に、図９、図１０を参照して、同一認識グループの判断方法について説明する。まず、近傍矩形について説明する。図９は、近傍矩形３２０を説明する図である。認識グループ判断部２９は、各ストローク３１１の外接矩形３１９に対し「上下左右：α（オフセット）」を加算した矩形を近傍矩形３２０に設定する。
次に、図９、図１０を参照して、同一認識グループの判断方法について説明する。まず、近傍矩形について説明する。図９は、近傍矩形３２０を説明する図である。認識グループ判断部２９は、各ストローク３１１の外接矩形３１９に対し「上下左右：α（オフセット）」を加算した矩形を近傍矩形３２０に設定する。
【0074】
一例の値を用いて説明する。
オフセット固定値 α＝ 3 [cm]
ストローク３１１の幅が15 [cm]、高さが13 [cm] の場合、
近傍矩形３２０は以下となる
幅 ：α + (ストローク３１１の幅) ＝ 18 [cm]
高さ：α + (ストローク３１１の高さ) ＝ 16 [cm]
なお、オフセット固定値は、ディスプレーのサイズ、画素数、使用用途によって変わる。例として、40inchディスプレー（画素数2880 x 2160）を数人で共有できる手書きサイズを想定した場合は上記のような値でよいが、この値は一例である。また、図９では幅と高さのオフセット固定値が同じだが、オフセット固定値は縦と高さで異なってよい。
オフセット固定値 α＝ 3 [cm]
ストローク３１１の幅が15 [cm]、高さが13 [cm] の場合、
近傍矩形３２０は以下となる
幅 ：α + (ストローク３１１の幅) ＝ 18 [cm]
高さ：α + (ストローク３１１の高さ) ＝ 16 [cm]
なお、オフセット固定値は、ディスプレーのサイズ、画素数、使用用途によって変わる。例として、40inchディスプレー（画素数2880 x 2160）を数人で共有できる手書きサイズを想定した場合は上記のような値でよいが、この値は一例である。また、図９では幅と高さのオフセット固定値が同じだが、オフセット固定値は縦と高さで異なってよい。
【0075】
図１０は、同一認識グループと判断される複数のストロークの一例を示す。複数のストロークが同一認識グループか否かは条件２により判断される。
「条件２」
条件２は、条件１を満たすストローク３０２の近傍矩形３２０に、別のストローク３０３（条件１を満たす）が交差すること、である。図１０では、ストローク３０２が手書きされ、ストローク３０２が図形要素と判断されている。認識グループ判断部２９は、ストローク３０２の外接矩形３１９に対し近傍矩形３２０を設定する。次に、ユーザーがストローク３０３を手書きした。ストローク３０３は条件１を満たすと共に、近傍矩形３２０と交差している。したがって、認識グループ判断部２９は、ストローク３０２，３０３を同一認識グループと判断する。
「条件２」
条件２は、条件１を満たすストローク３０２の近傍矩形３２０に、別のストローク３０３（条件１を満たす）が交差すること、である。図１０では、ストローク３０２が手書きされ、ストローク３０２が図形要素と判断されている。認識グループ判断部２９は、ストローク３０２の外接矩形３１９に対し近傍矩形３２０を設定する。次に、ユーザーがストローク３０３を手書きした。ストローク３０３は条件１を満たすと共に、近傍矩形３２０と交差している。したがって、認識グループ判断部２９は、ストローク３０２，３０３を同一認識グループと判断する。
【0076】
この後、図形一覧との比較により、ストローク３０２，３０３は正方形又は長方形と判断されると考えられる。図１０では、矩形として手書きされたストローク３０２，３０３について説明したが、条件１を満たすストロークについては、同様に近傍矩形３２０が設定され、同様に条件２が判断される。
【0077】
＜＜図形との比較 条件３＞＞
図１１を用いて、条件３に相当する、図形とストロークの形状との比較について説明する。図１１は、変換部２３がストロークを認識することで変換可能な図形一覧を示す。このうち、オブジェクト選択用図形１０として、予め、円３４４及び矩形（正方形３３１、長方形３３３）が定められている。
図１１を用いて、条件３に相当する、図形とストロークの形状との比較について説明する。図１１は、変換部２３がストロークを認識することで変換可能な図形一覧を示す。このうち、オブジェクト選択用図形１０として、予め、円３４４及び矩形（正方形３３１、長方形３３３）が定められている。
【0078】
「条件３」
条件３は、同一認識グループのストロークの形状が図形と推測できること、である。この図形にはオブジェクト選択用図形１０も含まれる。図１１の１行目は四角形の図形であり、正方形３３１，台形３３２、長方形３３３、ひし形３３４、四辺形３３５、平行四辺形３３６である。四角形の内、正方形３３１と長方形３３３がオブジェクト選択用図形１０である。２行目は三角形の図形３３７～３４１である。３行目は、五角形３４２、楕円３４３、円３４４、楕円の弧３４５、円の弧３４６、直線３４７の図形である。このうち円３４４がオブジェクト選択用図形１０である。４行目は、片矢印３４９、両矢印３５０、曲線片矢印３５１、曲線両矢印３５２である。変換部２３が、条件１，２を満たす同一認識グループのストロークの形状が、円又は矩形と類似すると判断した場合、制御部３０が選択モードを開始する。
条件３は、同一認識グループのストロークの形状が図形と推測できること、である。この図形にはオブジェクト選択用図形１０も含まれる。図１１の１行目は四角形の図形であり、正方形３３１，台形３３２、長方形３３３、ひし形３３４、四辺形３３５、平行四辺形３３６である。四角形の内、正方形３３１と長方形３３３がオブジェクト選択用図形１０である。２行目は三角形の図形３３７～３４１である。３行目は、五角形３４２、楕円３４３、円３４４、楕円の弧３４５、円の弧３４６、直線３４７の図形である。このうち円３４４がオブジェクト選択用図形１０である。４行目は、片矢印３４９、両矢印３５０、曲線片矢印３５１、曲線両矢印３５２である。変換部２３が、条件１，２を満たす同一認識グループのストロークの形状が、円又は矩形と類似すると判断した場合、制御部３０が選択モードを開始する。
【0079】
図形とストロークの形状との比較の方法の１つとして、例えば、同一認識グループであると判断された複数のストロークの形状と図形一覧の各図形をパターンマッチングする方法がある。別の方法として機械学習を利用する方法がある。任意の情報処理装置が、予め各図形のストロークの画像と図形一覧の対応する図形の対応をニューラルネットワークなどの機械学習で学習して図形判断モデルを作成する。図形判断モデルは、ストロークの画像に対し各図形に対応する確率を出力する。変換部２３は図形判断モデルに、同一認識グループであると判断された複数のストロークの画像を入力し、確率が上位のいくつか図形を、操作ガイド５００の図形変換候補１１に決定する。図形変換候補１１の一部にオブジェクト選択用図形１０が含まれる場合がある。
【0080】
ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが，データ識別等の判断に必要なアルゴリズムを，事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。また、機械学習の手法には、パーセプトロン、サポートベクターマシン、ロジスティック回帰、ナイーブベイズ、決定木、ランダムフォレストなどがあり、学習方法は限られない。
【0081】
＜同一認識グループに含まれるか否かの判断処理＞
次に、図１２を参照して、ストロークが図形の同一認識グループに含まれるか否かの判断を表示装置２が行う処理について説明する。図１２は、ストロークが図形の同一認識グループに含まれるか否かを表示装置２が判断する処理を説明するフローチャート図である。図１２の処理は、ストロークが手書きされるとスタートする。また、オブジェクト選択用図形１０は、円又は矩形（長方形、正方形）であるとする。
次に、図１２を参照して、ストロークが図形の同一認識グループに含まれるか否かの判断を表示装置２が行う処理について説明する。図１２は、ストロークが図形の同一認識グループに含まれるか否かを表示装置２が判断する処理を説明するフローチャート図である。図１２の処理は、ストロークが手書きされるとスタートする。また、オブジェクト選択用図形１０は、円又は矩形（長方形、正方形）であるとする。
【0082】
まず、図形要素判断部２８が、条件１を満たすストローク１が手書きされたことを検出する（Ｓ１）。より詳細には、図形要素判断部２８は、条件１を満たすストローク１が手書きされたか否かを判断する。ステップＳ１の処理の詳細については後述の図１３にて説明する。
【0083】
また、図形要素判断部２８は、ストローク１が手書きされてから、一定時間が経過する前に図形要素と判断されるストローク２が手書きされたか否か判断する（Ｓ２）。
【0084】
ステップＳ２の判断がＹｅｓの場合、認識グループ判断部２９は、条件２として、ストローク２がストローク１の近傍矩形３２０と交差するか否か判断する（Ｓ３）。
【0085】
ステップＳ３の判断がＹｅｓの場合、認識グループ判断部２９はストローク１とストローク２が同一認識グループであると判断する（Ｓ４）。
【0086】
ステップＳ３の判断がＮｏの場合、認識グループ判断部２９はストローク１とストローク２が同一認識グループであると判断しない（Ｓ５）。この場合、処理はステップＳ１０に進む。
【0087】
複数のストロークが同一認識グループであると判断された場合、変換部２３は、同一認識グループであると判断された複数のストロークの形状を図形一覧と比較し、表示制御部２４が、類似度が閾値以上の上位のいくつかの図形変換候補１１を操作ガイド５００に表示させる（Ｓ６）。図形変換候補１１には、オブジェクト選択用図形１０以外の図形が含まれる場合がある。例えば、ユーザーが台形を手書きした場合、台形、長方形、正方形が図形変換候補として表示される場合がある。長方形、正方形はオブジェクト選択用図形１０であるが、台形はオブジェクト選択用図形１０でない。なお、ステップＳ１で文字は除外されているので、操作ガイド５００に文字の候補は表示されない。
【0088】
制御部３０は、操作ガイド５００から図形変換候補１１が選択されたか否かを判断する（Ｓ７）。
【0089】
図形変換候補１１が選択されない場合は、何も選択されないことになるので、同一認識グループのストロークは手書きデータのまま確定する（Ｓ１０）。
【0090】
図形変換候補１１が選択された場合、制御部３０は選択された図形がオブジェクト選択用図形１０（円又は矩形）であるか判断する（Ｓ８）。ステップＳ８の判断がＮｏの場合、処理はステップＳ１４に進む。
【0091】
選択された図形がオブジェクト選択用図形１０である場合（Ｓ８のＹｅｓ）、表示制御部２４は、オブジェクト選択用図形１０と確定ボタン３０５を表示させる（Ｓ９）。
【0092】
制御部３０は、表示してから一定時間内に確定ボタン３０５が押下されたか否かを判断する（Ｓ１１）。この一定時間の間に、ユーザーはオブジェクト選択用図形１０を移動したり拡縮したりして、選択したいオブジェクトがオブジェクト選択用図形１０内に含まれるように調整できる。操作受付部２７はオブジェクト選択用図形１０の移動や拡縮を受け付ける。また、一定時間の測定は、ユーザーがペン２５００でオブジェクト選択用図形１０をドラッグしている間、停止することが好ましい。これにより、操作受付部２７がオブジェクト選択用図形１０のサイズと位置の変更を受け付けている間、表示制御部２４が、一定時間が経過しても確定ボタン３０５を消去しない。
【0093】
ステップＳ１１の判断がＹｅｓの場合、選択処理部３１は、オブジェクト選択用図形１０で囲まれている領域の画像データ又は領域のオブジェクトを選択する（Ｓ１２）。選択されたオブジェクトは選択状態となり、更に、保存される。
【0094】
ステップＳ１１の判断がＮｏの場合、表示制御部２４は、一定時間の経過後、確定ボタン３０５を消去する（Ｓ１３）。この場合、オブジェクト選択用図形１０が表示された状態となるが、オブジェクトの選択には使用されなかったことになる。また、制御部３０は選択モードを終了する。オブジェクト選択用図形１０は継続して表示されるが、ユーザーはオブジェクトの選択には使用できない。
【0095】
また、ステップＳ１４では、オブジェクト選択用図形１０でない図形（例えば台形）が表示された状態となる（Ｓ１４）。
【0096】
＜＜図形要素の判断＞＞
次に、図１３を参照して、ストロークが図形要素か否かを判断する処理について説明する。図１３は、ストロークが図形要素か否かを表示装置２が判断する処理を説明するフローチャート図である。図１３の処理は、図１２のステップＳ１で実行される。
次に、図１３を参照して、ストロークが図形要素か否かを判断する処理について説明する。図１３は、ストロークが図形要素か否かを表示装置２が判断する処理を説明するフローチャート図である。図１３の処理は、図１２のステップＳ１で実行される。
【0097】
まず、入力受付部２１がペン２５００の座標の入力を受け付け、描画データ生成部２２がストロークを描画する（Ｓ２１）。
【0098】
図形要素判断部２８は、ストロークの高さが文字の最大高さａより大きいか否かを判断する（Ｓ２２）。
【0099】
ストロークの高さ＞ａの場合、図形要素判断部２８は、ストロークが図形要素であると判断する（Ｓ２３）。
【0100】
ストロークの高さ＞ａでない場合、図形要素判断部２８は、ストロークの高さが閾値ｃ以下、かつ、ストロークの幅が閾値ｂより大きいかを判断する（Ｓ２４）。
【0101】
ステップＳ２４の判断がＹｅｓの場合、図形要素判断部２８は、ストロークが図形要素であると判断する（Ｓ２３）。
【0102】
ストロークが図形要素である場合、表示制御部２４は、操作ガイド５００に図形変換候補１１を表示させる（Ｓ２５）。
【0103】
ステップＳ２４の判断がＮｏの場合、図形要素判断部２８は、ストロークが図形要素でないと判断するので、表示制御部２４は、操作ガイド５００に図形変換候補を表示させない（Ｓ２６）。この場合、例えば同一認識グループのストロークに応じた文字の候補が表示される。
【0104】
＜図形の変換例＞
図１４は、ストロークがオブジェクト選択用図形（矩形）に変換される変換例を説明する図である。図１４の２つのストロークは図１０と同じものであり、条件１，２を満たす。また、条件３として、ストローク３０２，３０３の形状とオブジェクト選択用図形１０（正方形３３１又は長方形３３３）との類似度が閾値であった。このため、操作ガイド５００には図形変換候補１１として、オブジェクト選択用図形１０である正方形３３１と長方形３３３が表示されている。
図１４は、ストロークがオブジェクト選択用図形（矩形）に変換される変換例を説明する図である。図１４の２つのストロークは図１０と同じものであり、条件１，２を満たす。また、条件３として、ストローク３０２，３０３の形状とオブジェクト選択用図形１０（正方形３３１又は長方形３３３）との類似度が閾値であった。このため、操作ガイド５００には図形変換候補１１として、オブジェクト選択用図形１０である正方形３３１と長方形３３３が表示されている。
【0105】
図１５は、ストロークがオブジェクト選択用図形（円）に変換される変換例を説明する図である。図１５では、１つのストロークのみが手書きされている。ストローク３０６が１つだけなので条件２は判断されない。図１５のストローク３０６が条件１を満たし、条件３として、ストローク３０６の形状とオブジェクト選択用図形１０（円３４４）との類似度が閾値であった。このため、操作ガイド５００には図形変換候補１１として、オブジェクト選択用図形１０である円が表示されている。
【0106】
なお、図１５ではストロークが１つのみだが、円３４４の図形変換候補１１が表示されるためのストロークは２本以上でもよい。すなわち、複数のストロークの形状が図形一覧の円と類似していればよい。
【0107】
また、図１４，図１５では操作ガイド５００が表示されているが、操作ガイド５００は表示されなくてもよい。操作ガイド５００は変換精度が必ずしも１００％でないためにユーザーが最終的な変換候補を選択するために表示される。したがって、変換精度が実用上、支障がない程度に高ければ、操作ガイド５００は表示されなくてもよい。例えば、ユーザーが操作ガイド５００の表示と非表示を設定できてよい。あるいは、変換時の確度が一定未満の場合のみ、操作ガイド５００が表示されてもよい。変換時の確度が一定以上だが、ユーザーが意図した図形が表示されない場合に、ユーザーの操作で操作ガイド５００が表示されてもよい。
【0108】
次に、図１６，図１７を参照して、オブジェクト選択用図形１０が選択された場合を説明する。まず、図１６は、正方形３３１のオブジェクト選択用図形１０が選択された場合に表示される正方形３３１のオブジェクト選択用図形１０を示す。図１６（ａ）は図１４と同じものである。
【0109】
ユーザーが操作ガイド５００からオブジェクト選択用図形１０を選択すると、図１６（ｂ）に示すように、表示制御部２４が２つのストローク３０２，３０３を消去し、選択されたオブジェクト選択用図形１０に対応する図形（正方形３３１）を表示させる。正方形３３１のサイズは、同一認識グループと判断された２つのストローク３０２，３０３の外接矩形に基づく。また、表示制御部２４は、正方形３３１の周囲に確定ボタン３０５を表示させる。確定ボタン３０５はキャプチャを実行するためのボタンである。
【0110】
確定ボタン３０５の表示から一定時間内に確定ボタン３０５が押されない場合、表示制御部２４は確定ボタン３０５を消去する。この場合、オブジェクト選択用図形１０である正方形３３１はキャプチャに使用されないだけで通常の図形である。このように、表示装置２が、一度、図形を表示させたあとにキャプチャするかどうかをユーザーに選ばせることで、図形の入力及びオブジェクトの選択をシームレスに行うことができる。
【0111】
図１６（ｃ）は、ユーザーにより大きさと形状が変更された正方形３３１を示す。例えばユーザーは正方形３３１の任意の辺をペン２５００で押下しながらドラッグすることで、正方形３３１のサイズや形状を変更（拡大又は縮小）できる。
【0112】
【0113】
ユーザーがオブジェクト選択用図形１０を選択すると、図１７（ｂ）に示すように、表示制御部２４が円のストローク３０６を消去し、選択されたオブジェクト選択用図形１０に対応する円３４４を表示させる。オブジェクト選択用図形１０が円３４４の場合、円３４４のサイズは、ストローク３０６の外接矩形３１９に対し「上下左右：α（オフセット）」を加算した矩形の長辺を直径とする。確定ボタン３０５は図１６と同様でよい。
【0114】
図１７（ｃ）は、ユーザーにより大きさが変更された円３４４を示す。例えばユーザーは円周の一部をペンで押下しながらドラッグすることで、円３４４のサイズを変更できる。
【0115】
＜キャプチャ時の処理＞
次に、図１８、図１９を参照して、キャプチャ処理について説明する。図１８は、オブジェクト選択用図形１０で選択されたオブジェクトがキャプチャされ、貼り付けされる処理を説明する図である。図１８（ａ）は図７と同じものである。図１８（ｂ）は、オブジェクト選択用図形１０で囲まれたオブジェクト３０１を示す。オブジェクト選択用図形１０で囲まれたオブジェクト３０１は、囲まれただけでは選択されていないが、ユーザーの確定ボタン３０５の押下で選択される状態である。
次に、図１８、図１９を参照して、キャプチャ処理について説明する。図１８は、オブジェクト選択用図形１０で選択されたオブジェクトがキャプチャされ、貼り付けされる処理を説明する図である。図１８（ａ）は図７と同じものである。図１８（ｂ）は、オブジェクト選択用図形１０で囲まれたオブジェクト３０１を示す。オブジェクト選択用図形１０で囲まれたオブジェクト３０１は、囲まれただけでは選択されていないが、ユーザーの確定ボタン３０５の押下で選択される状態である。
【0116】
確定ボタン３０５が押下された場合、選択処理部３１がオブジェクト選択用図形１０で囲まれたオブジェクト３０１を選択する。選択処理部３１は、オブジェクト３０１を選択状態にすると共に、選択したオブジェクト３０１を保存場所に保存する。保存場所はクリップボードのように予め決まっており、画像データやオブジェクトデータの読出も可能である。保存領域には、オブジェクト選択用図形１０で囲まれた領域が画像データとして保存されてもよいし、オブジェクトデータ（文字コードや座標点列）で保存されてもよい。また、表示制御部２４は、オブジェクト選択用図形１０が不要になったので消去する（図１８（ｃ））。
【0117】
次に、ユーザーが保存された画像データ又はオブジェクトデータを利用する場合、予め設定されているコマンドを手書きする。図１８（ｄ）では、コマンドを「はりつけ」「張り付け」等とする。変換部２３は、手書きされた「はりつけ」のストローク３７０を文字認識してテキストに変換し、テキストがコマンドに部分一致するかどうかをコマンド処理部３２が判断する。テキストがコマンドに部分一致する場合、操作ガイド５００にコマンド３７１が表示される。図１８（ｄ）では「キャプチャ張り付け」というコマンド３７１が表示された。その他の「張り付け」３７２、「はりつけ」３７３、「張り付け」３７４は文字変換候補である。
【0118】
ユーザーが「キャプチャ張り付け」というコマンド３７１をペン２５００で選択すると、コマンド処理部３２が保存されているオブジェクトデータ３０１'を、保存場所から取得して、表示制御部２４は「はりつけ」のストローク３７０が表示されていた場所に表示させる（図１８（ｅ））。
【0119】
【0120】
まず、操作受付部２７が確定ボタン３０５の押下を受け付ける（Ｓ３１）。確定ボタン３０５の位置は既知なので、確定ボタン３０５にペン２５００がタッチしたか否かが判断される。
【0121】
確定ボタン３０５が押下された場合、選択処理部３１は、オブジェクト選択用図形１０で囲まれたキャプチャ範囲を特定する（Ｓ３２）。オブジェクト選択用図形１０が矩形の場合、オブジェクト選択用図形１０の左端から右端、及び、上端から下端の四角い領域がキャプチャ範囲である。また、オブジェクト選択用図形１０が円の場合、オブジェクト選択用図形１０の円の中心から半径を一定距離とする円形の領域がキャプチャ範囲である。
【0122】
選択処理部３１は、キャプチャ範囲を画像データとして、又はオブジェクトデータのまま選択する（Ｓ３３）。キャプチャ範囲の画像データ又はオブジェクトが選択状態になる。選択処理部３１は、選択されたキャプチャ範囲を画像データとして、又はオブジェクトデータのまま保存する。例えば、オブジェクト選択用図形１０が円の場合、選択処理部３１はオブジェクトデータを保存し、オブジェクト選択用図形１０が矩形の場合、選択処理部３１は画像データを保存するなどの、切り替えを行ってもよい。なお、矩形と円のいずれでも、保存される範囲がキャプチャ範囲のみに限られるか、キャプチャ範囲に一部でも重なっているオブジェクトまで広げるかは、予め設定されている。ユーザーがこれを選択できてもよい。
【0123】
保存された画像データ又はオブジェクトデータは、ユーザーが再利用できる。保存された画像データ又はオブジェクトデータを、ユーザーが再利用する場合、ユーザーはコマンドを手書きする。例えば「貼り付け」というテキストが、再利用を意味するコマンドの場合、ユーザーは「貼り付け」と手書きする。
【0124】
表示制御部２４が「キャプチャ張り付け」のコマンド３７１を表示させるので、コマンド処理部３２はこのコマンド３７１が選択されたか否か判断する（Ｓ３４）。
【0125】
「キャプチャ張り付け」のコマンド３７１が選択された場合（Ｓ３４のＹｅｓ）、コマンド処理部３２は、保存されている画像データ又はオブジェクトを取得し、表示制御部２４が、コマンド３７１が手書きされた位置に表示させる（Ｓ３５）。
【0126】
なお、本実施形態では、キャプチャ範囲の選択や保存（コピー）を例に説明したが、オブジェクト選択用図形１０で選択された範囲を削除、切り取り、又は、移動することなども可能である。すなわち、オブジェクト選択用図形１０の用途はキャプチャに限られない。
【0127】
＜オブジェクト選択用図形を操作ガイドに表示しない選択モードの開始＞
図１６、図１７では、オブジェクト選択用図形１０が操作ガイド５００に表示され、ユーザーがオブジェクト選択用図形１０を選択することで、選択モードの開始も図形入力もシームレスに行われている。しかし、制御部３０は、１つ以上のストロークの形状が特殊なオブジェクト選択用図形１０と類似していると判断された時点で、選択モードを開始してもよい。
図１６、図１７では、オブジェクト選択用図形１０が操作ガイド５００に表示され、ユーザーがオブジェクト選択用図形１０を選択することで、選択モードの開始も図形入力もシームレスに行われている。しかし、制御部３０は、１つ以上のストロークの形状が特殊なオブジェクト選択用図形１０と類似していると判断された時点で、選択モードを開始してもよい。
【0128】
図２０は、形状が特殊なオブジェクト選択用図形１０の一例である。雲形状のストローク３８０が特殊なオブジェクト選択用図形１０として設定されているものとする。このように、図形に変換されないストロークの形状が予め定められていることで、操作ガイド５００を表示することなく選択モードを開始できる。
【0129】
図２０（ｂ）は選択モードが開始された状態を示す。表示制御部２４は、特殊なオブジェクト選択用図形１０が認識された場合に表示される例えば円３４４と確定ボタン３０５を表示させる。円３４４はオブジェクト選択用図形１０である。このように、操作ガイド５００を表示せずに選択モードを開始することができる。
【0130】
図２１は、操作ガイド５００を表示せずに選択モードを開始する処理を説明するフローチャート図の一例である。図２１の処理は同一認識グループのストロークが入力され、特殊なオブジェクト選択用図形１０との比較時に実行される（Ｓ６の手前に実行される）。
【0131】
変換部２３は、同一認識グループのストロークが特殊なオブジェクト選択用図形１０に変換されたか否かを判断する（Ｓ４１）。
【0132】
特殊なオブジェクト選択用図形１０に変換された場合（Ｓ４１のＹｅｓ）、変換部２３は変換の確度が閾値以上か否か判断する（Ｓ４２）。
【0133】
変換の確度が閾値以上の場合（Ｓ４２のＹｅｓ）、表示制御部２４は、操作ガイド５００の非表示設定がオンか否か判断する（Ｓ４３）。操作ガイド５００の非表示設定がオンとは、変換時の確度が一定未満の場合のみ、操作ガイド５００を表示する設定である。
【0134】
操作ガイド５００の非表示設定がオンの場合（Ｓ４３のＹｅｓ）、表示制御部２４は、オブジェクト選択用図形１０と確定ボタン３０５を表示させる（Ｓ４４）。
【0135】
ステップＳ４１～Ｓ４３のいずれかがＮｏの場合、操作ガイド５００を表示すべきなので、表示制御部２４は操作ガイド５００を表示させる（Ｓ４５）。
【0136】
＜サーバー・クライアントシステムへの適用＞
図２２は、表示システム１９の概略構成図の一例である。表示装置２の機能は、図２２のような、サーバー・クライアントシステムの形態でも実現できる。インターネット等のネットワークを介して表示装置２とサーバー装置１２とが接続されている。
図２２は、表示システム１９の概略構成図の一例である。表示装置２の機能は、図２２のような、サーバー・クライアントシステムの形態でも実現できる。インターネット等のネットワークを介して表示装置２とサーバー装置１２とが接続されている。
【0137】
このような表示システム１９の場合、表示装置２は、図４に示した、入力受付部２１、描画データ生成部２２、表示制御部２４、ネットワーク通信部２６、及び操作受付部２７を有する。
【0138】
一方、サーバー装置１２は、変換部２３、データ記録部２５、図形要素判断部２８、認識グループ判断部２９、制御部３０、選択処理部３１、コマンド処理部３２、及び、ネットワーク通信部２６を有する。
【0139】
【0140】
このように、表示システム１９によれば、表示装置２とサーバー装置１２がインタラクティブにテキストデータを表示できる。また、オブジェクトデータがサーバー装置１２に保存されているので、遠隔地にある表示装置２やＰＣがサーバー装置１２に接続してオブジェクトデータをリアルタイムに共有できる。
【0141】
＜主な効果＞
このように、本実施形態の表示装置２は、図形の入力時に、確定ボタン３０５の押下で、図形の入力とオブジェクトの選択が切り替わるので、ユーザーが、オブジェクトの選択を受け付ける選択受付モードに切り替える必要がない。また、ストロークの高さと幅に基づいて図形か否かを判断するので、文字認識モードと図形入力モードをユーザーが切り替える必要がない。
このように、本実施形態の表示装置２は、図形の入力時に、確定ボタン３０５の押下で、図形の入力とオブジェクトの選択が切り替わるので、ユーザーが、オブジェクトの選択を受け付ける選択受付モードに切り替える必要がない。また、ストロークの高さと幅に基づいて図形か否かを判断するので、文字認識モードと図形入力モードをユーザーが切り替える必要がない。
【0142】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0143】
例えば、本実施形態では、確定ボタン３０５の押下でオブジェクトが選択され選択状態になり、保存されたが、確定ボタン３０５でなく、コピーボタン、切り取りボタン、移動ボタン、削除ボタン等が表示されてもよい。
【0144】
また、ユーザーが確定ボタン３０５を押下することなく、オブジェクト選択用図形１０の選択に応じて、表示装置２がストロークで囲まれていたオブジェクトを保存しておいてもよい。この場合、表示されたオブジェクト選択用図形が不要であれば、ユーザーが削除する（例えば、オブジェクト選択用図形を長押しする、ダブルタップする）。
【0145】
操作ガイド５００にオブジェクト選択用図形が表示される場合に、図形として使用される図形と選択用の図形とが分けて表示されてもよい。図形として使用される図形が選択されると当該図形が表示され、選択用の図形が表示されると図形は表示されずにオブジェクトの選択のみが行われる。
【0146】
また、本実施形態では、ストロークデータが主に日本語に変換されているが、ストロークデータの変換先の言語は他の言語（英語、中国語、ヒンドゥー語、スペイン語、フランス語、アラビア語、ロシア語等）でよい。
【0147】
また、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、プロジェクター、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。
【0148】
また、本実施形態の表示装置２は、ペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。表示装置２は、方向と距離によりペンの位置を特定でき、ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。
【0149】
また、図４などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【0150】
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
本発明の実施形態は、コンピュータの能力及び機能性に大きな改善をもたらす。これらの改善により、ユーザーは、情報処理装置において情報を格納し提示する方法であるテーブルとの、より効率的で堅牢な対話を提供するコンピュータを利用することができる。更に、本発明の実施形態は、より効率的で強力かつ堅牢なユーザーインタフェースの使用を通じて、より良いユーザー体験を提供する。このようなユーザーインタフェースは、人間と機械との間のより良い相互作用を提供する。
＜請求項に関する付記＞
[請求項１]
手書きをオブジェクトとして表示する表示装置であって、
前記手書きの入力を受け付ける入力受付部と、
前記手書きを図形に変換する変換部と、
前記変換された図形が、予め設定されているオブジェクト選択用図形であるか否かを判断する判断部と、
前記判断部が前記変換された図形が予め設定されているオブジェクト選択用図形であると判断する場合に、前記予め設定されているオブジェクト選択用図形内に表示されるオブジェクトの選択を受け付ける表示部品、を表示させる表示制御部と、
前記表示部品の選択を受け付けた場合に、前記表示されるオブジェクトを選択状態にさせる選択処理部と、を有することを特徴とする表示装置。
[請求項２]
前記変換部は、前記手書きをテキストに変換でき、
前記手書きの高さと幅に基づいて、図形要素となる前記手書きを前記図形に変換し、
図形要素とならない前記手書きを前記テキストに変換することを特徴とする請求項１に記載の表示装置。
[請求項３]
前記表示制御部は、前記変換部が前記手書きから変換した１つ以上の図形変換候補を表示させ、
選択を受け付けた前記図形変換候補が予め設定されているオブジェクト選択用図形である場合、前記図形を表示させると共に、前記図形による前記オブジェクトの選択モードを開始し、
選択を受け付けた前記図形変換候補がオブジェクト選択用図形でない場合、前記図形のみを表示させることを特徴とする請求項１又は２に記載の表示装置。
[請求項４]
選択を受け付けた前記図形変換候補がオブジェクト選択用図形である場合、前記表示制御部は、選択された前記オブジェクト選択用図形を前記手書きのサイズと位置に基づいて表示させ、更に、前記オブジェクトの選択を受け付ける表示部品を表示させ、
表示から一定時間の経過後に前記表示部品を消去することを特徴とする請求項３に記載の表示装置。
[請求項５]
前記表示制御部が前記一定時間の経過後に前記表示部品を消去した場合、前記変換部が変換した前記図形を継続して表示させ、前記判断部は選択モードを終了することを特徴とする請求項４に記載の表示装置。
[請求項６]
前記オブジェクト選択用図形は、円又は矩形であり、
前記変換部は、前記手書きを円又は矩形に変換し、
前記表示部品が押下された場合、前記選択処理部は、前記円若しくは矩形で囲まれた領域の画像データ、又は、前記円若しくは矩形で囲まれた前記オブジェクトのオブジェクトデータを選択状態にすることを特徴とする請求項４に記載の表示装置。
[請求項７]
前記オブジェクト選択用図形のサイズと位置の変更を受け付ける操作受付部を有し、
前記操作受付部が前記オブジェクト選択用図形のサイズと位置の変更を受け付けている間、前記表示制御部は、前記一定時間が経過しても前記表示部品を消去しないことを特徴とする請求項４～６のいずれか1項に記載の表示装置。
[請求項８]
前記変換部が変換したテキストが予め設定されているコマンドと部分一致する場合、前記表示制御部は前記コマンドを表示させ、
前記画像データ又は前記オブジェクトデータを使用する前記コマンドの選択を受け付けた場合、保存されている前記画像データ又は前記オブジェクトデータを使用した処理を実行するコマンド処理部を有することを特徴とする請求項６に記載の表示装置。
[請求項９]
前記コマンドは貼り付けを実行するコマンドであり、
前記コマンド処理部が貼り付けを実行した場合、前記表示制御部は、保存されている前記画像データ又は前記オブジェクトデータを表示させることを特徴とする請求項８に記載の表示装置。
[請求項１０]
前記表示制御部は、前記手書きから前記変換部が変換した前記図形変換候補の確度が閾値以上の場合、前記図形変換候補を表示させず、
前記変換部が予め設定されている特殊なオブジェクト選択用図形に変換した場合、前記図形を表示させ、
前記判断部は、前記図形による前記オブジェクトの選択モードを開始することを特徴とする請求項３に記載の表示装置。
[請求項１１]
前記手書きの高さが閾値ａより大きい場合、又は、
前記手書きの高さが閾値ｃ以下、かつ、幅が閾値ｂより大きい場合、前記手書きを前記図形要素と判断する図形要素判断部を有することを特徴とする請求項２に記載の表示装置。
[請求項１２]
前記手書きに近傍矩形を設定し、前記近傍矩形と交差する他の手書きを同一認識グループの手書きと判断する認識グループ判断部を有し、
前記変換部は前記同一認識グループの手書きをまとめて前記図形に変換することを特徴とする請求項１１に記載の表示装置。
本発明の実施形態は、コンピュータの能力及び機能性に大きな改善をもたらす。これらの改善により、ユーザーは、情報処理装置において情報を格納し提示する方法であるテーブルとの、より効率的で堅牢な対話を提供するコンピュータを利用することができる。更に、本発明の実施形態は、より効率的で強力かつ堅牢なユーザーインタフェースの使用を通じて、より良いユーザー体験を提供する。このようなユーザーインタフェースは、人間と機械との間のより良い相互作用を提供する。
＜請求項に関する付記＞
[請求項１]
手書きをオブジェクトとして表示する表示装置であって、
前記手書きの入力を受け付ける入力受付部と、
前記手書きを図形に変換する変換部と、
前記変換された図形が、予め設定されているオブジェクト選択用図形であるか否かを判断する判断部と、
前記判断部が前記変換された図形が予め設定されているオブジェクト選択用図形であると判断する場合に、前記予め設定されているオブジェクト選択用図形内に表示されるオブジェクトの選択を受け付ける表示部品、を表示させる表示制御部と、
前記表示部品の選択を受け付けた場合に、前記表示されるオブジェクトを選択状態にさせる選択処理部と、を有することを特徴とする表示装置。
[請求項２]
前記変換部は、前記手書きをテキストに変換でき、
前記手書きの高さと幅に基づいて、図形要素となる前記手書きを前記図形に変換し、
図形要素とならない前記手書きを前記テキストに変換することを特徴とする請求項１に記載の表示装置。
[請求項３]
前記表示制御部は、前記変換部が前記手書きから変換した１つ以上の図形変換候補を表示させ、
選択を受け付けた前記図形変換候補が予め設定されているオブジェクト選択用図形である場合、前記図形を表示させると共に、前記図形による前記オブジェクトの選択モードを開始し、
選択を受け付けた前記図形変換候補がオブジェクト選択用図形でない場合、前記図形のみを表示させることを特徴とする請求項１又は２に記載の表示装置。
[請求項４]
選択を受け付けた前記図形変換候補がオブジェクト選択用図形である場合、前記表示制御部は、選択された前記オブジェクト選択用図形を前記手書きのサイズと位置に基づいて表示させ、更に、前記オブジェクトの選択を受け付ける表示部品を表示させ、
表示から一定時間の経過後に前記表示部品を消去することを特徴とする請求項３に記載の表示装置。
[請求項５]
前記表示制御部が前記一定時間の経過後に前記表示部品を消去した場合、前記変換部が変換した前記図形を継続して表示させ、前記判断部は選択モードを終了することを特徴とする請求項４に記載の表示装置。
[請求項６]
前記オブジェクト選択用図形は、円又は矩形であり、
前記変換部は、前記手書きを円又は矩形に変換し、
前記表示部品が押下された場合、前記選択処理部は、前記円若しくは矩形で囲まれた領域の画像データ、又は、前記円若しくは矩形で囲まれた前記オブジェクトのオブジェクトデータを選択状態にすることを特徴とする請求項４に記載の表示装置。
[請求項７]
前記オブジェクト選択用図形のサイズと位置の変更を受け付ける操作受付部を有し、
前記操作受付部が前記オブジェクト選択用図形のサイズと位置の変更を受け付けている間、前記表示制御部は、前記一定時間が経過しても前記表示部品を消去しないことを特徴とする請求項４～６のいずれか1項に記載の表示装置。
[請求項８]
前記変換部が変換したテキストが予め設定されているコマンドと部分一致する場合、前記表示制御部は前記コマンドを表示させ、
前記画像データ又は前記オブジェクトデータを使用する前記コマンドの選択を受け付けた場合、保存されている前記画像データ又は前記オブジェクトデータを使用した処理を実行するコマンド処理部を有することを特徴とする請求項６に記載の表示装置。
[請求項９]
前記コマンドは貼り付けを実行するコマンドであり、
前記コマンド処理部が貼り付けを実行した場合、前記表示制御部は、保存されている前記画像データ又は前記オブジェクトデータを表示させることを特徴とする請求項８に記載の表示装置。
[請求項１０]
前記表示制御部は、前記手書きから前記変換部が変換した前記図形変換候補の確度が閾値以上の場合、前記図形変換候補を表示させず、
前記変換部が予め設定されている特殊なオブジェクト選択用図形に変換した場合、前記図形を表示させ、
前記判断部は、前記図形による前記オブジェクトの選択モードを開始することを特徴とする請求項３に記載の表示装置。
[請求項１１]
前記手書きの高さが閾値ａより大きい場合、又は、
前記手書きの高さが閾値ｃ以下、かつ、幅が閾値ｂより大きい場合、前記手書きを前記図形要素と判断する図形要素判断部を有することを特徴とする請求項２に記載の表示装置。
[請求項１２]
前記手書きに近傍矩形を設定し、前記近傍矩形と交差する他の手書きを同一認識グループの手書きと判断する認識グループ判断部を有し、
前記変換部は前記同一認識グループの手書きをまとめて前記図形に変換することを特徴とする請求項１１に記載の表示装置。
【符号の説明】
【0151】
２ 表示装置
２８ 図形要素判断部
２９ 認識グループ判断部
３０ 制御部
３１ 選択処理部
３２ コマンド処理部
２８ 図形要素判断部
２９ 認識グループ判断部
３０ 制御部
３１ 選択処理部
３２ コマンド処理部
【先行技術文献】
【特許文献】
【0152】
【特許文献1】特開２０１９‐１９２２２９号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】