(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-21
(45)【発行日】2022-11-30
(54)【発明の名称】表示装置、表示方法および表示システム
(51)【国際特許分類】
G09G 5/00 20060101AFI20221122BHJP
G09G 5/36 20060101ALI20221122BHJP
G09G 5/02 20060101ALI20221122BHJP
G09G 5/22 20060101ALI20221122BHJP
G06F 3/16 20060101ALI20221122BHJP
G06F 3/0481 20220101ALI20221122BHJP
【ＦＩ】
G09G5/00 530H
G09G5/36 530Y
G09G5/02 B
G09G5/36 520P
G09G5/22 680L
G09G5/00 550C
G06F3/16 650
G06F3/0481
【請求項の数】
8
(21)【出願番号】P 2018223303
(22)【出願日】2018-11-29
(65)【公開番号】P2020086264
(43)【公開日】2020-06-04
【審査請求日】2021-10-29
(73)【特許権者】
【識別番号】000006150
【氏名又は名称】京セラドキュメントソリューションズ株式会社
(74)【代理人】
【識別番号】100168583
【弁理士】
【氏名又は名称】前井 宏之
(72)【発明者】
【氏名】小辻 拓矢
【審査官】塚本 丈二
(56)【参考文献】
【文献】特開２０１７－２１５６６１（ＪＰ，Ａ）
【文献】特開２０１２－０５３８６７（ＪＰ，Ａ）
【文献】特開２００９－１４０２２３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｇ ５／００－５／４２
Ｇ０６Ｆ ３／１６
Ｇ０６Ｆ ３／０４８１
(57)【特許請求の範囲】
【請求項1】
画像を表示する表示部と、シートに記載される文字の位置を規定する補助画像を生成する生成部と、
前記シートに対応させて前記補助画像を表示するように、前記表示部を制御する制御部と、
少なくとも文字数を受け付ける第１入力部と
を備え、
前記生成部は、受け付けた前記文字数に対応する１又は複数の文字の位置を規定する前記補助画像を生成し、
前記第１入力部は、前記文字を記載させる行数又は列数を受け付け、
前記生成部は、受け付けた前記文字数と、前記行数又は前記列数とに対応する前記補助画像を生成し、
前記シートを撮影してシート画像を示すシート画像データを生成する撮像部と、
前記シート画像データに基づいて、少なくとも前記シートの領域を特定する第１特定部とを更に備え、
前記生成部は、前記シートの領域のうち所定の領域に対応させて前記補助画像を生成し、
前記表示部は、少なくとも前記補助画像を表示し、
前記撮像部は、前記シート上を移動する指を撮影して指画像を示す指画像データを生成し、
前記指画像データに基づいて、前記指の軌跡を特定する第２特定部を更に備え、
前記生成部は、前記シートの領域のうちの前記指の軌跡によって規定される一部の領域に対応させて前記補助画像を生成し、
音声を示す音声データを受け付ける第２入力部と、
前記音声データが示す音声から文字を認識し、認識された前記文字の文字数を計数する認識部と、
計数された前記文字数に基づいて、前記行数又は前記列数を導出する導出部とを更に備え、
前記生成部は、計数された前記文字数と、導出された前記行数又は前記列数とに対応する前記補助画像を生成する、表示装置。
【請求項2】
前記第１特定部は、前記シートの領域のうちの前記一部の領域に対応する前記シート画像データに基づいて、第１の方向に描画された１本又は複数本の補助線を特定し、前記生成部は、前記文字数と、前記補助線の本数とに基づいて、前記補助画像を生成する、請求項１に記載の表示装置。
【請求項3】
認識された前記文字を示す文字データを記憶する記憶部と、前記指画像データと、前記補助画像を示す補助画像データとに基づいて、次に記載される文字の位置を特定する第３特定部とを更に備え、
前記制御部は、前記記憶部に記憶されている前記文字データに基づいて、前記補助画像のうちの前記次に記載される文字の位置を示す画像の近傍に、前記次に記載される文字を表示するように、前記表示部を制御する、請求項１に記載の表示装置。
【請求項4】
前記シート画像データと、前記補助画像を示す補助画像データとに基づいて、前記シート画像の色と、前記補助画像の色とをそれぞれ特定する第４特定部と、前記シート画像の色と前記補助画像の色とが近似するか否かを判定する判定部とを更に備え、
前記生成部は、前記シート画像の色と前記補助画像の色とが近似すると判定された場合、前記補助画像の色を前記シート画像の色の補色に変更する、請求項１又は請求項２に記載の表示装置。
【請求項5】
前記シート画像データと、前記補助画像を示す前記補助画像データとに基づいて、前記シート画像の色と、前記補助画像の色とをそれぞれ特定する第４特定部と、
前記シート画像の色と前記補助画像の色とが近似するか否かを判定する判定部とを更に備え、
前記生成部は、前記シート画像の色と前記補助画像の色とが近似すると判定された場合、前記補助画像の色を前記シート画像の色の補色に変更する、請求項３に記載の表示装置。
【請求項6】
前記表示部は、非透過型であり、前記撮像部は、前記シートを含むように前記シートの周辺を撮影して周辺画像を示す周辺画像データを生成し、
前記制御部は、前記周辺画像の中の前記シートに対応させて前記補助画像を表示するように、前記表示部を制御する、請求項１に記載の表示装置。
【請求項7】
表示部を備える表示装置の表示方法であって、画像を表示する表示ステップと、
シートに記載される文字の位置を規定する補助画像を生成する生成ステップと、
前記シートに対応させて前記補助画像を表示するように、前記表示部を制御する制御ステップと、
少なくとも文字数を受け付ける第１入力ステップと、
を含み、
前記生成ステップは、受け付けた前記文字数に対応する１又は複数の文字の位置を規定する前記補助画像を生成し、
前記第１入力ステップは、前記文字を記載させる行数又は列数を受け付け、
前記生成ステップは、受け付けた前記文字数と、前記行数又は前記列数とに対応する前記補助画像を生成し、
前記シートを撮影してシート画像を示すシート画像データを生成する撮像ステップと、
前記シート画像データに基づいて、少なくとも前記シートの領域を特定する第１特定ステップとを更に含み、
前記生成ステップは、前記シートの領域のうち所定の領域に対応させて前記補助画像を生成し、
前記表示ステップは、少なくとも前記補助画像を表示し、
前記撮像ステップは、前記シート上を移動する指を撮影して指画像を示す指画像データを生成し、
前記指画像データに基づいて、前記指の軌跡を特定する第２特定ステップを更に含み、
前記生成ステップは、前記シートの領域のうちの前記指の軌跡によって規定される一部の領域に対応させて前記補助画像を生成し、
音声を示す音声データを受け付ける第２入力ステップと、
前記音声データが示す音声から文字を認識し、認識された前記文字の文字数を計数する認識ステップと、
計数された前記文字数に基づいて、前記行数又は前記列数を導出する導出ステップとを更に含み、
前記生成ステップは、計数された前記文字数と、導出された前記行数又は前記列数とに対応する前記補助画像を生成する、表示方法。
【請求項8】
表示装置と、画像形成装置とを含む表示システムであって、前記表示装置は、
画像を表示する表示部と、
シートに記載される文字の位置を規定する補助画像を生成する生成部と、
前記シートに対応させて前記補助画像を表示するように、前記表示部を制御する制御部と、
前記文字が記載された前記シートを撮像して、前記シートの画像を示すシート画像データを生成する撮像部と、
前記シート画像データを前記画像形成装置に送信する送信部と、
少なくとも文字数を受け付ける第１入力部と、
を備え、
前記生成部は、受け付けた前記文字数に対応する１又は複数の文字の位置を規定する前記補助画像を生成し、
前記第１入力部は、前記文字を記載させる行数又は列数を受け付け、
前記生成部は、受け付けた前記文字数と、前記行数又は前記列数とに対応する前記補助画像を生成し、
前記シート画像データに基づいて、少なくとも前記シートの領域を特定する第１特定部とを更に備え、
前記生成部は、前記シートの領域のうち所定の領域に対応させて前記補助画像を生成し、
前記表示部は、少なくとも前記補助画像を表示し、
前記撮像部は、前記シート上を移動する指を撮影して指画像を示す指画像データを生成し、
前記指画像データに基づいて、前記指の軌跡を特定する第２特定部を更に備え、
前記生成部は、前記シートの領域のうちの前記指の軌跡によって規定される一部の領域に対応させて前記補助画像を生成し、
音声を示す音声データを受け付ける第２入力部と、
前記音声データが示す音声から文字を認識し、認識された前記文字の文字数を計数する認識部と、
計数された前記文字数に基づいて、前記行数又は前記列数を導出する導出部とを更に備え、
前記生成部は、計数された前記文字数と、導出された前記行数又は前記列数とに対応する前記補助画像を生成し、
前記画像形成装置は、
前記シート画像データを受信する受信部と、
受信した前記シート画像データに基づいて、画像を形成する画像形成部と
を備える、表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、表示方法および表示システムに関する。
【背景技術】
【0002】
従来、申請書又は契約書等の文書への記入時における記入ミスを減らすために、ユーザーの参考となる情報を、文書の記入欄の近傍に表示する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－１１５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載の技術は、見本の文書があることが前提となっていた。このため、見本の文書がない寄せ書き等にメッセージを手書きする場合など、自由度の高い文字列を所定の範囲内に記載する場合においては、記載ミスを抑制することはできなかった。すなわち、所定の範囲内に全ての文字が入り切らなかったり、後半の文字が小さくなったりすることが生じていた。
【0005】
本発明は、上記課題に鑑みてなされたものであり、ユーザーが、所望の文字列を所定の範囲内に手書きする場合でも、記載ミスを抑制することができる表示装置、表示方法および表示システムを提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明の表示装置は、表示部と、生成部と、制御部とを備える。前記表示部は、画像を表示する。前記生成部は、シートに記載される文字の位置を規定する補助画像を生成する。前記制御部は、前記シートに対応させて前記補助画像を表示するように、前記表示部を制御する。
【0007】
本発明の表示方法は、表示部を備える表示装置の表示方法であって、シートに記載される文字の位置を規定する補助画像を生成するステップと、前記シートに対応させて前記補助画像を表示するように、前記表示部を制御するステップとを含む。
【0008】
本発明の表示システムは、表示装置と、画像形成装置とを含む表示システムであって、前記表示装置は、表示部と、生成部と、制御部と、撮像部と、送信部とを備える。前記表示部は、画像を表示する。前記生成部は、シートに記載される文字の位置を規定する補助画像を生成する。前記制御部は、前記シートに対応させて前記補助画像を表示するように、前記表示部を制御する。前記撮像部は、前記文字が記載されたシートを撮像して、前記シートの画像を示す画像データを生成する。前記送信部は、前記画像データを前記画像形成装置に送信する。前記画像形成装置は、受信部と、画像形成部とを備える。前記受信部は、前記画像データを受信する。前記画像形成部は、受信した前記画像データに基づいて、画像を形成する。
【発明の効果】
【0009】
本発明の表示装置、表示方法および表示システムによれば、ユーザーが所望の文字列を所定の範囲内に手書きする場合でも、記載ミスを抑制することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態に係る表示装置の機能の概略を示す図である。
【図2】表示装置の表示部に表示される補助画像の拡大図である。
【図3】表示装置の構成を示すブロック図である。
【図4】第１実施例の第１補助画像を示す図である。
【図5】（ａ）は、第１実施例の表示装置の一機能を示す図である。（ｂ）は、ユーザーが補助画像を利用して手書き文字を入力する様子を示す図である。
【図6】（ａ）は、第１実施例の表示装置の他の機能を示す図である。（ｂ）は、第１実施例の第２補助画像を示す図である。
【図7】表示装置の手書きアシスト処理を示すフローチャートである。
【図8】第１実施例の第１アシスト処理を示すフローチャートである。
【図9】第２実施例の第２アシスト処理を示すフローチャートである。
【図10】第２実施例の補助画像のサイズを変更する様子と、注意喚起メッセージの表示例とを示す図である。
【図11】第２実施例の次に記載する文字の表示例を示す図である。
【図12】変形例の表示システムの構成を示す概略図である。
【発明を実施するための形態】
【0011】
【0012】
まず、図１および図２を参照して、本実施形態に係る表示装置１の機能の概略について説明する。図１は、表示装置１の機能の概略を示す図である。表示装置１は、記録媒体であるシートに手書きするユーザーを支援する。本実施形態では、シートは、手書きが可能な平坦状の領域を有している。なお、シートは、球面を含んでいてもよい。シートの材質は、紙、布、ゴム又はプラスチック等である。表示装置１は、例えば、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス、又はＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）である。
【0013】
図１に示すように、表示装置１は、表示部１２と、生成部１５１１と、制御部１５１９とを備える。
【0014】
表示部１２は、画像を表示する。具体的には、表示部１２は、左右１対で構成され、補助画像１２１を表示する。本実施形態では、表示部１２には、生成部１５１１で生成された画像が投影される。表示部１２は、カラー画像を表示する透明液晶ディスプレイを含む。なお、表示部１２は、透明液晶ディスプレイに限定されない。表示部１２は、有機エレクトロルミネッセンス（有機ＥＬ）ディスプレイを含んでもよい。
【0015】
生成部１５１１は、補助画像１２１を生成する。補助画像１２１は、用紙４に記載される文字の位置を規定する。具体的には、補助画像１２１は、用紙４に対応付けて表示される画像であり、手書き文字の位置を１文字単位で明示する。補助画像１２１は、例えば、原稿用紙のようなマス目を含む線図で構成される。生成された補助画像１２１は、制御部１５１９によって、１対の表示部１２に各々表示される。なお、用紙４は、「シート」の一例である。
【0016】
制御部１５１９は、用紙４に対応させて補助画像１２１を表示するように、表示部１２を制御する。具体的には、制御部１５１９は、用紙４の位置に対応させて補助画像１２１を１対の表示部１２にそれぞれ表示するように、表示部１２を制御する。
【0017】
補助画像１２１は、表示部１２のうち、用紙４の輪郭４１が投影された輪郭５１の右下の位置に表示される。したがって、表示装置１を装着するユーザーは、表示部１２を通して外界の用紙４と、補助画像１２１とを視認することが可能である。なお、「外界」とは、ユーザーの周辺環境である。以下、用紙４を含むように用紙４の周辺を撮影した場合の画像を「周辺画像」という。
【0018】
更に、図１は、ユーザーの視点と、表示装置１と、用紙４との位置関係を示している。すなわち、図１は、表示装置１を装着したユーザーの視点ＥＬおよび視点ＥＲと、表示装置１の１対の表示部１２と、用紙４との位置関係を示している。視点ＥＬは、ユーザーの左目の視点である。視点ＥＲは、ユーザーの右目の視点である。
【0019】
用紙４の外周を示す輪郭４１は、表示装置１の表示部１２に輪郭５１として投影される。更に、表示部１２には、輪郭５１と重畳するように、補助画像１２１が表示される。本実施形態では、補助画像１２１は、輪郭５１の右下に表示される。ユーザーは、視点ＥＬと視点ＥＲとによって、表示部１２に重畳して表示されている１対の輪郭５１と、１対の補助画像１２１とを視認する。
【0020】
図２は、表示装置１の表示部１２に表示される補助画像１２１の拡大図である。図２に示すように、補助画像１２１は、輪郭５１の右下に、用紙４と重畳させて表示される。これにより、ユーザーは、補助画像１２１が重畳されている用紙４を見ながら、用紙４に１行当たり１０文字ずつ、４行の手書き文字を記載することができる。
【0021】
次に、図３を参照して、表示装置１の構成について詳細に説明する。図３は、表示装置１の構成を示すブロック図である。図３に示すように、表示装置１は、通信部１１と、表示部１２と、撮像部１３と、仮想入力部１４と、装置制御部１５とを備える。
【0022】
通信部１１は、装置制御部１５の指示に応じて、他の電子機器との間で、各種のデータを送受信する。具体的には、通信部１１は、スマートフォン等の通信端末から音声データを受信する。更に、通信部１１は、図１２を参照して後述する画像形成装置３に画像データを送信する。画像形成装置３は、カラー複合機（以下、カラー複合機を「ＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）」とも称する。）である。通信部１１は、例えば、通信インターフェイスである。なお、通信部１１は、「第２入力部」の一例である。
【0023】
表示部１２は、装置制御部１５の指示に応じて、画像を表示する。具体的には、表示部１２は、補助画像１２１、および図５（ａ）を参照して後述する仮想入力画面１２２を表示する。
【0024】
表示部１２には、例えば、装置制御部１５が備える投影部（図示せず）から投影された補助画像１２１と、仮想入力画面１２２とが表示される。表示部１２は、１対のレンズと、１対の偏光シャッターとを含む透過型の表示ユニットである。ここで、「透過型の表示ユニット」とは、外界の光を透過させつつ、撮像部１３が撮影した映像と、装置制御部１５が生成した画像とを表示する表示ユニットをいう。偏光シャッターは、レンズの全面に貼り付けられている。偏光シャッターは、液晶表示素子で構成され、外界の光を透過させる開状態と、外界の光を透過させない閉状態とを切り換えることができる。偏光シャッターの開状態と閉状態とは、液晶表示素子の液晶層に印加する電圧を制御することによって切り換える。
【0025】
なお、表示部は、非透過型の表示ユニットであってもよい。ここで、「非透過型の表示ユニット」とは、外界の光を透過させずに、撮像部１３が撮影した映像と、装置制御部１５が生成した画像とを表示する表示ユニットをいう。
【0026】
撮像部１３は、用紙４を撮影して用紙４の画像を示す用紙画像データを生成する。具体的には、撮像部１３は、装置制御部１５の指示に応じて、用紙４を撮影して、用紙画像データを生成する。更に、撮像部１３は、装置制御部１５の指示に応じて、用紙４上を移動する指を撮影して指画像を示す指画像データを生成する。指を撮影する際、撮像部１３は、用紙４の全体を含むように撮影してもよい。また、撮像部１３は、装置制御部１５の指示に応じて、用紙４を含むように用紙４の周辺を撮影して周辺画像を示す周辺画像データを生成してもよい。なお、用紙画像データは、「シート画像データ」の一例である。
【0027】
用紙画像データは、用紙４の領域を特定するために、装置制御部１５によって使用される。更に、用紙画像データは、用紙４に補助線があるか否かを判定するために、装置制御部１５によって使用される。また、用紙画像データは、用紙４の色を特定するために、装置制御部１５によって使用される。
【0028】
指画像データは、ユーザーの指の軌跡を特定するために、装置制御部１５によって使用される。更に、指画像データは、次に記載される文字の位置を特定するために、装置制御部１５によって使用される。
【0029】
周辺画像データは、用紙４に対応させて補助画像１２１を非透過型の表示部に表示するために、装置制御部１５によって使用される。
【0030】
撮像部１３は、表示装置１の必須の構成ではない。例えば、用紙４と、表示装置１とが固定されており、補助画像１２１を用紙４の特定の位置に表示させる場合は、撮像部１３による撮影は不要である。
【0031】
撮像部１３は、例えば、電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）イメージセンサー、又は相補型ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）イメージセンサーを含む。
【0032】
仮想入力部１４は、ユーザーのジェスチャー動作に基づいて、指示を受け付ける。本実施形態では、仮想入力部１４は、指のジェスチャー動作に基づいて、ユーザーから指示を受け付ける。仮想入力部１４は、少なくとも文字数を受け付ける。ここで、「文字数」とは、手書きする文字の総数をいう。
【0033】
更に、仮想入力部１４は、文字を記載させる行数又は列数を受け付ける。ここで、「行数」とは、手書きする文章のｙ方向に並ぶ文字列の数をいう。また、「列数」とは、手書きする文章のｘ方向に並ぶ文字列の数をいう。また、仮想入力部１４は、図５（ａ）を参照して後述する指定領域の指示を受け付ける。「指定領域」とは、用紙４に重畳するように補助画像１２１を表示させる位置を規定するための領域をいう。なお、仮想入力部１４は、「第１入力部」の一例である。
【0034】
装置制御部１５は、制御プログラムに基づいて、表示装置１の各構成部分の動作を制御する。装置制御部１５は、処理部１５１と、記憶部１５２とを備える。処理部１５１は、例えば、プロセッサーである。プロセッサーは、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。更に、装置制御部１５は、補助画像１２１および仮想入力画面１２２を表示部１２に投影する投影部（図示せず）を備えてもよい。
【0035】
処理部１５１は、記憶部１５２に記憶された制御プログラムを実行することによって、表示装置１の各構成部分の動作を制御する。本実施形態では、処理部１５１は、通信部１１が受信した音声データを記憶部１５２に記憶させる。更に、処理部１５１は、音声データが示す音声から文字を認識し、文字を示す文字データを生成する。
【0036】
記憶部１５２は、各種のデータおよび制御プログラムを記憶する。記憶部１５２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、およびソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）のうち、少なくとも１つを含む。本実施形態では、記憶部１５２は、音声データを記憶する。更に、記憶部１５２は、処理部１５１で認識された文字の文字データを記憶する。
【0037】
処理部１５１は、生成部１５１１と、認識部１５１２と、導出部１５１３と、第１特定部１５１４と、第２特定部１５１５と、第３特定部１５１６と、第４特定部１５１７と、判定部１５１８と、制御部１５１９とを含む。本実施形態において、処理部１５１が記憶部１５２に格納された制御プログラムを実行することによって、制御プログラムが、生成部１５１１と、認識部１５１２と、導出部１５１３と、第１特定部１５１４と、第２特定部１５１５と、第３特定部１５１６と、第４特定部１５１７と、判定部１５１８と、制御部１５１９との機能を実現する。
【0038】
本実施形態では、生成部１５１１は、ユーザーから受け付けた文字数に対応する、１又は複数の文字の位置を規定する補助画像１２１を生成する。更に、生成部１５１１は、ユーザーから受け付けた文字数と、行数又は列数とに対応する、１又は複数の文字の位置を規定する補助画像１２１を生成する。また、生成部１５１１は、認識部１５１２で計数された文字数と、導出部１５１３で導出された行数又は列数とに対応する、１又は複数の文字の位置を規定する補助画像１２１を生成してもよい。
【0039】
生成部１５１１は、用紙４の領域のうち所定の領域に補助画像１２１を生成する。具体的には、生成部１５１１は、ユーザーの指の軌跡によって規定される、用紙４のうちの一部の領域に対応させて補助画像１２１を生成する。本実施形態では、生成部１５１１が生成する補助画像１２１の色は、「赤」である。更に、生成部１５１１は、用紙４の画像の色と、補助画像１２１の色とが近似すると判定された場合、補助画像１２１の色を用紙４の色の補色に変更する。例えば、用紙４の色が「赤色」で補助画像１２１の色も「赤色」の場合、生成部１５１１は、補助画像１２１の色を、赤色の補色である「緑色」に変更する。補助画像１２１の色を用紙４の色の補色に変更することにより、ユーザーは、手書きで記載すべき文字の位置を、より明確に視認することが可能になる。また、生成部１５１１は、図５（ａ）を参照して後述する仮想入力画面１２２を生成する。
【0040】
認識部１５１２は、音声データが示す音声から文字を認識する。具体的には、認識部１５１２は、通信部１１等を介して取得した音声データが示す音声から文字を認識する。更に、認識部１５１２は、認識した文字の文字数を計数する。
【0041】
導出部１５１３は、認識部１５１２で計数された文字数に基づいて、行数又は列数を導出する。具体的には、導出部１５１３は、予め１行又は１列当たりの文字数を「１０文字」と設定しておき、１０文字を越えた場合に、行数又は列数を１つ増加させて、行数又は列数を導出する。
【0042】
第１特定部１５１４は、用紙画像データに基づいて、少なくとも用紙４の領域を特定する。更に、第１特定部１５１４は、用紙４のうちの一部の領域に対応する用紙画像データに基づいて、第１の方向に描画された補助線があるか否かを判定する。具体的には、第１特定部１５１４は、用紙４のうちの指定領域１２０で指定された一部の領域に対応する用紙画像データに基づいて、第１方向に描画された１本又は複数本の補助線を特定する。そして、第１特定部１５１４は、特定した補助線に基づいて、手書きするメッセージの行数を特定する。ここで、「補助線」とは、用紙４の特定の方向に描画された１本又は複数本の線をいう。補助線については、図６（ａ）を参照して後述する。
【0043】
第２特定部１５１５は、撮像部１３で生成された指画像データに基づいて、指の軌跡を特定する。例えば、第２特定部１５１５は、用紙４の全体を含む指画像データに基づいて、用紙４の輪郭４１のｘ方向の長さおよびｙ方向の長さから、単位時間の経過毎に、用紙４の上に位置する指の相対位置を算出することによって、指の軌跡を特定する。
【0044】
第３特定部１５１６は、指画像データと、補助画像１２１を示す補助画像データとに基づいて、次に記載される文字の位置を特定する。具体的には、第３特定部１５１６は、指画像データと、補助画像１２１を示す補助画像データとに基づいて、ペンを持つ指の位置と、その指の位置に対応する、次に記載される文字の位置とを特定する。
【0045】
第４特定部１５１７は、用紙画像データと、補助画像１２１を示す補助画像データとに基づいて、用紙４の画像の色と、補助画像１２１の色とをそれぞれ特定する。
【0046】
判定部１５１８は、用紙４の画像の色と補助画像１２１の色とが近似するか否かを判定する。
【0047】
制御部１５１９は、図１を参照して説明したように、用紙４に対応させて補助画像１２１を表示するように表示部１２を制御する。更に、制御部１５１９は、第３特定部１５１６で特定された文字を、次に記載される文字として表示するように、表示部１２を制御する。また、制御部１５１９は、仮想入力画面１２２を表示するように、表示部１２を制御する。また、制御部１５１９は、表示部が非透過型の場合に、周辺画像の中の用紙４に対応させて、補助画像１２１を表示するように、表示部１２を制御する。
【0048】
【0049】
図４は、第１実施例の第１補助画像１２１Ａを示す図である。図４に示すように、表示装置１は、表示部１２と撮像部１３とを備える。表示部１２には、第１補助画像１２１Ａが表示されている。更に、ユーザーは、表示部１２を通して、用紙４の輪郭４１が投影された輪郭５１を視認することができる。すなわち、表示装置１を装着したユーザーは、用紙４の右上の一角の領域に、手書きを支援する第１補助画像１２１Ａを視認する。
【0050】
撮像部１３は、図３を参照して上述したように、用紙画像データと指画像データとを生成する。更に、撮像部１３は、周辺画像データを生成してもよい。
【0051】
図５（ａ）は、第１実施例の表示装置１の機能を示す図である。図５（ａ）は、表示装置１を装着したユーザーの視界の様子の一例を示す。具体的には、図５（ａ）は、用紙４の輪郭４１が投影された輪郭５１と、表示部１２の偏光シャッターに投影される画像とを示す。表示部１２の偏光シャッターに投影される画像は、指定領域１２０Ａと、第１補助画像１２１Ａと、仮想入力画面１２２とである。なお、以下において、指定領域１２０は、指定領域１２０Ａおよび指定領域１２０Ｂの総称である。また、補助画像１２１は、第１補助画像１２１Ａ、第２補助画像１２１Ｂおよび第３補助画像１２１Ｃの総称である。
【0052】
指定領域１２０は、用紙４に手書き文字を記載するユーザーが、第１補助画像１２１Ａを表示させる位置を示す。仮想入力部１４は、例えば、用紙４の上面におけるユーザーの指でなぞる動きを検出して、指定領域１２０を決定する。ユーザーによって指示された指定領域１２０は、表示部１２の偏光シャッターに投影されて表示される。以下、表示部１２の偏光シャッターに投影された表示を「投影表示」という。指定領域１２０は、例えば黒い色の線で投影表示される。
【0053】
制御部１５１９は、ユーザーによって指示された指定領域１２０の位置に第１補助画像１２１Ａを表示する。
【0054】
仮想入力画面１２２は、生成部１５１１が生成する画面である。仮想入力画面１２２は、ユーザーから必要な情報を受け付けるために投影表示される画面である。具体的には、仮想入力画面１２２は、仮想キーボード１２２１と、文字数欄１２２２と、行数欄１２２３と、閉じるキー１２２４と、ＯＫキー１２２５とを含む。
【0055】
仮想キーボード１２２１は、ユーザーから数を受け付ける。
【0056】
文字数欄１２２２は、ユーザーから補助画像１２１の文字数を受け付ける。行数欄１２２３は、ユーザーから補助画像１２１の行数を受け付ける。
【0057】
閉じるキー１２２４は、ユーザーの操作により、仮想入力画面１２２の表示を終了する。ＯＫキー１２２５は、ユーザーの操作により、受け付けた文字数と行数とを確定させる。
【0058】
図５（ｂ）は、ユーザーが補助画像１２１を利用して手書き文字を入力する様子を示す図である。具体的には、図５（ｂ）は、表示装置１を装着したユーザーが、補助画像１２１を利用しながら、ペン５で用紙４に手書き文字を記載している様子を示す。図５（ｂ）に示すように、ユーザーは、第１補助画像１２１Ａが重畳して表示されている用紙４を見ながら、１文字ずつ手書き文字を用紙４に記載することができる。
【0059】
図６（ａ）は、第１実施例の表示装置の他の機能を示す図である。図６（ａ）に示すように、用紙４は、４本の補助線７ａ～補助線７ｄを有している。４本の補助線７ａ～補助線７ｄは、それぞれｘ方向に延びる破線であり、ｙ方向に４本並んでいる。
【0060】
更に、図６（ａ）は、指定領域１２０Ｂを示す。指定領域１２０Ｂは、仮想入力部１４が、ユーザーの指の動きに基づいて決定する。更に、第１特定部１５１４は、指定領域１２０に含まれる補助線の本数に基づいて、手書きするメッセージの行数を特定する。例えば、図６（ａ）の場合は、手書きするメッセージの行数は「４」である。
【0061】
図６（ｂ）は、第１実施例の第２補助画像１２１Ｂを示す図である。ユーザーによって指定領域１２０Ｂが指示されると、生成部１５１１は、文字数と行数とに基づいて補助画像１２１を生成する。更に、生成部１５１１は、生成した第２補助画像１２１Ｂと、指定領域１２０Ｂの位置とに基づいて、補助画像１２１の表示位置を決定する。
【0062】
図７は、表示装置１の手書きアシスト処理を示すフローチャートである。「手書きアシスト処理」は、所定の補助画像１２１を表示部１２に表示することによって、用紙４に手書きするユーザーをアシストする処理である。手書きアシスト処理は、ステップＳ２～ステップＳ２０によって実行される。
【0063】
ステップＳ２：装置制御部１５は、音声録音に基づく手書きか否かを判定する。音声録音に基づく手書きであると装置制御部１５が判定した場合は（ステップＳ２でＹｅｓ）、処理はステップＳ１６に進む。音声録音に基づく手書きでないと装置制御部１５が判定した場合は（ステップＳ２でＮｏ）、処理はステップＳ４に進む。
【0064】
ステップＳ４：装置制御部１５は、第１アシスト処理を実行する。処理はステップＳ６に進む。
【0065】
ステップＳ６：判定部１５１８は、用紙４の色と補助画像１２１の色とが類似するか否かを判定する。用紙４の色と補助画像１２１の色とが類似すると判定部１５１８が判定した場合は（ステップＳ６でＹｅｓ）、処理はステップＳ８に進む。用紙４の色と補助画像１２１の色とが類似しないと判定部１５１８が判定した場合は（ステップＳ６でＮｏ）、処理はステップＳ１０に進む。
【0066】
ステップＳ８：生成部１５１１は、補助画像１２１の色を用紙４の色の補色に変更する。処理はステップＳ１０に進む。
【0067】
ステップＳ１０：表示部１２は、制御部１５１９の指示に応じて、補助画像１２１を表示する。処理はステップＳ１２に進む。
【0068】
ステップＳ１２：撮像部１３は、ユーザーによる手書き文字の入力を撮影する。処理はステップＳ１４に進む。
【0069】
ステップＳ１４：装置制御部１５は、ユーザーによる手書き文字の入力が終了したか否かを判定する。ユーザーによる手書き文字の入力が終了したと装置制御部１５が判定した場合は（ステップＳ１４でＹｅｓ）、処理はステップＳ１８に進む。ユーザーによる手書き文字の入力が終了しないと装置制御部１５が判定した場合は（ステップＳ１４でＮｏ）、処理はステップＳ１０に戻る。
【0070】
ステップＳ１６：装置制御部１５は、第２アシスト処理を実行する。処理はステップＳ１８に進む。
【0071】
ステップＳ１８：装置制御部１５は、ユーザーからの指示に基づき、手書きした文字をＭＦＰで印刷するか否かを判定する。手書きした文書をＭＦＰで印刷すると装置制御部１５が判定した場合は（ステップＳ１８でＹｅｓ）、処理はステップＳ２０に進む。手書きした文書をＭＦＰで印刷しないと装置制御部１５が判定した場合は（ステップＳ１８でＮｏ）、処理は終了する。
【0072】
ステップＳ２０：通信部１１は、装置制御部１５の指示に応じて、手書きした文書を示す画像データをＭＦＰに送信する。処理は終了する。
【0073】
図８は、図７を参照して上述した、手書きアシスト処理における「第１アシスト処理」のフローチャートである。第１アシスト処理は、ユーザーからの指示又は補助線を利用して、補助画像１２１を生成するための処理である。第１アシスト処理は、ステップＳ１０２～ステップＳ１１０によって実行される。
【0074】
ステップＳ１０２：第１特定部１５１４は、用紙４に補助線があるか否かを判定する。用紙４に補助線があると第１特定部１５１４が判定した場合は（ステップＳ１０２でＹｅｓ）、処理はステップＳ１０６に進む。用紙４に補助線がないと第１特定部１５１４が判定した場合は（ステップＳ１０２でＮｏ）、処理はステップＳ１０４に進む。
【0075】
ステップＳ１０４：仮想入力部１４は、ユーザーから、指定領域１２０、文字数および行数を受け付ける。処理はステップＳ１１０に進む。
【0076】
ステップＳ１０６：第１特定部１５１４は、用紙４の補助線の行数又は列数を特定する。処理はステップＳ１０８に進む。
【0077】
ステップＳ１０８：仮想入力部１４は、ユーザーから、指定領域１２０および文字数を受け付ける。処理はステップＳ１１０に進む。
【0078】
ステップＳ１１０：生成部１５１１は、補助画像１２１を生成する。処理は終了する。
【0079】
以上のように、第１実施例の表示装置１によれば、ユーザーは、用紙４に対応させて表示される補助画像１２１が規定する文字の位置に従って、手書き文字を記載することができる。したがって、ユーザーが所望の文字列を所定の範囲内に手書きする場合でも、記載ミスを抑制することができる。更に、予め補助線が記載された用紙４に手書きする場合、ユーザーは、行数又は列数の入力を省略することが可能となる。
【0080】
（第２実施例）
次に、図３および図９～図１１を参照して、本実施形態に係る第２実施例について説明する。図９は、図７を参照して上述した手書きアシスト処理における「第２アシスト処理」を示すフローチャートである。「第２アシスト処理」は、録音された音声を利用して補助画像１２１を生成するための処理である。第２アシスト処理は、ステップＳ２０２～ステップＳ２２２によって実行される。
次に、図３および図９～図１１を参照して、本実施形態に係る第２実施例について説明する。図９は、図７を参照して上述した手書きアシスト処理における「第２アシスト処理」を示すフローチャートである。「第２アシスト処理」は、録音された音声を利用して補助画像１２１を生成するための処理である。第２アシスト処理は、ステップＳ２０２～ステップＳ２２２によって実行される。
【0081】
ステップＳ２０２：通信部１１は、通信端末から音声データを受信する。処理はステップＳ２０４に進む。
【0082】
ステップＳ２０４：認識部１５１２は、音声データが示す音声に基づいて文字を認識する。処理はステップＳ２０６に進む。
【0083】
ステップＳ２０６：認識部１５１２は、認識した文字の数を計数する。処理はステップＳ２０８に進む。
【0084】
ステップＳ２０８：仮想入力部１４は、指定領域１２０を受け付ける。処理はステップＳ２１０に進む。
【0085】
ステップＳ２１０：生成部１５１１は、補助画像１２１を生成する。処理はステップＳ２１２に進む。
【0086】
ステップＳ２１２：表示部１２は、制御部１５１９の指示に応じて、補助画像１２１を表示する。処理はステップＳ２１４に進む。
【0087】
ステップＳ２１４：装置制御部１５は、ユーザーからの指示に基づき、補助画像１２１のサイズ又は文字数を変更するか否かを判定する。補助画像１２１のサイズ又は文字数を変更すると装置制御部１５が判定した場合は（ステップＳ２１４でＹｅｓ）、処理はステップＳ２１６に進む。補助画像１２１のサイズ又は文字数を変更しないと装置制御部１５が判定した場合は（ステップＳ２１４でＮｏ）、処理はステップＳ２１８に進む。
【0088】
ステップＳ２１６：生成部１５１１は、補助画像１２１のサイズ又は文字数を変更した補助画像１２１を生成する。処理はステップＳ２１２に進む。
【0089】
【0090】
ステップＳ２２０：撮像部１３は、ユーザーによる手書きの様子を撮影する。具体的には、撮像部１３は、ユーザーの指の位置を撮影し、指画像データを生成する。処理はステップＳ２２２に進む。
【0091】
ステップＳ２２２：装置制御部１５は、ユーザーによる手書き文字の入力が終了したか否かを判定する。ユーザーによる手書き文字の入力が終了したと装置制御部１５が判定した場合は（ステップＳ２２２でＹｅｓ）、処理は終了する。ユーザーによる手書き文字の入力が終了しないと装置制御部１５が判定した場合は（ステップＳ２２２でＮｏ）、処理はステップＳ２１２に戻る。
【0092】
図１０は、図９を参照して説明した第２実施例における「ステップＳ２１４の処理およびステップＳ２１６の処理」に関する補助画像のサイズを変更する様子と、注意喚起メッセージの表示例とを示す図である。図１０に示すように、表示部１２には、第３補助画像１２１Ｃと、注意喚起メッセージ画面１２３とが表示されている。
【0093】
本実施例では、仮想入力部１４は、ユーザーから受け付けた指示に基づいて、第３補助画像１２１Ｃのサイズを拡大し、又は縮小する。
【0094】
注意喚起メッセージ画面１２３は、注意喚起メッセージ１２４と、文字数欄１２５と、ＯＫボタン１２６とを含む。注意喚起メッセージ１２４は、表示された第３補助画像１２１Ｃのサイズで問題ないか、ユーザーに注意を促す。文字数欄１２５は、文字数の変更を受け付ける。ＯＫボタン１２６は、文字数欄１２５の文字数に基づいて、第３補助画像１２１Ｃを生成する。
【0095】
図１１は、図９を参照して説明した第２実施例における「ステップＳ２１８の処理」に関する、次に記載する文字の表示例を示す図である。図１１に示すように、表示部１２には、第３補助画像１２１Ｃの枠外に文字「め」が表示されている。この文字「め」が、次に記載する文字１２７である。
【0096】
以上のように、第２実施例の表示装置１によれば、ユーザーは、録音した音声を利用しながら手書き文字を記載することができる。すなわち、録音した音声から文字を認識し、認識された文字が、次に記載すべき文字の近傍に表示される。したがって、ユーザーは、録音された音声の文字を所定の範囲内に手書きする場合でも、記載ミスを抑制することが可能となる。
【0097】
（変形例）
次に、図１～図３および図１２を参照して、変形例に係る表示システム１００について説明する。図１２は、変形例の表示システム１００の構成を示す概略図である。図１２に示すように、表示システム１００は、表示装置１と、端末装置２と、画像形成装置３とを有する。
次に、図１～図３および図１２を参照して、変形例に係る表示システム１００について説明する。図１２は、変形例の表示システム１００の構成を示す概略図である。図１２に示すように、表示システム１００は、表示装置１と、端末装置２と、画像形成装置３とを有する。
【0098】
端末装置２は、例えば、録音機能を有するスマートフォンである。端末装置２は、録音された音声を示す音声データを表示装置１に送信する。
【0099】
表示装置１の通信部１１は、端末装置２から音声データを受信する。生成部１５１１は、音声データに基づいて、補助画像１２１を生成する。表示部１２は、装置制御部１５の指示に応じて補助画像１２１を表示し、ユーザーによる手書きを支援する。表示装置１の撮像部１３は、ユーザーによる手書き文字が記載された用紙４を撮影して、画像データを生成する。更に、表示装置１の通信部１１は、画像形成装置３に画像データを送信する。なお、通信部１１は、送信部の一例である。また、表示装置１は、端末装置２から音声データを取得する場合に限定されない。例えば、表示装置１は、音声データが記録された記録媒体を介して音声データを取得してもよい。
【0100】
画像形成装置３は、通信部３１と、画像形成部３２と、制御部３３とを備える。通信部３１は、制御部３３の指示に応じて、表示装置１から送信された画像データを受信する。画像形成部３２は、制御部３３の指示に応じて、画像を形成する。制御部３３は、画像形成装置３の各構成部分の動作を制御する。なお、通信部３１は、「受信部」の一例である。
【0101】
以上のように、変形例の表示装置１によれば、ユーザーは、端末装置２から受信した音声データに基づいて、記載ミスを抑制して手書きをすることができる。更に、手書きした内容を離れた画像形成装置３で印刷することが可能となる。
【0102】
以上、図面を参照しながら本発明の実施形態について説明した。ただし、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である（例えば、下記に示す（１）～（４））。図面は、理解し易くするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚み、長さ、個数等は、図面作成の都合上から実際とは異なる場合がある。また、上記の実施形態で示す各構成要素の形状、寸法等は一例であって、特に限定されるものではなく、本発明の構成から実質的に逸脱しない範囲で種々の変更が可能である。
【0103】
（１）本発明の実施形態では、補助画像１２１は、原稿用紙のようなマス目を含む線図で構成される実施例について説明したが、補助画像の形態はこれに限定されない。例えば、手書き文字の位置を規定し得る横線のみ、又は縦線のみで構成した補助画像であってもよい。
【0104】
（２）また、図６を参照して説明したように、用紙４に既に記載されている補助線を利用して行数を導出する実施例を説明したが、本発明はこれに限定されない。例えば、用紙４の周辺に、手書きの書込みがある場合は、その書き込みから文字の大きさ、行間又は行数を算出して補助画像１２１を生成してもよい。そして、生成した補助画像１２１を表示部１２に表示するように構成することも可能である。
【0105】
（３）また、図１を参照して説明したように、用紙４に矩形状の補助画像１２１を生成する実施例を説明したが、本発明はこれに限定されない。例えば、寄せ書き用の色紙に、斜め方向に台形状の補助画像を生成してもよい。
【0106】
（４）更に、本発明は、本発明に係る表示装置の特徴的な構成手段をステップとする表示方法として実現したり、それらのステップを含む制御プログラムとして実現したりすることもできる。また、そのプログラムは、ＣＤ－ＲＯＭ等の記録媒体や通信ネットワーク等の伝送媒体を介して流通させることもできる。
【産業上の利用可能性】
【0107】
本発明は、表示装置、表示システムの分野に利用可能である。
【符号の説明】
【0108】
１ 表示装置
１１ 通信部（第２入力部）
１２ 表示部
１３ 撮像部
１４ 仮想入力部（第１入力部）
１５ 制御部
１５１ 処理部
１５１１ 生成部
１５１２ 認識部
１５１３ 導出部
１５１４ 第１特定部
１５１５ 第２特定部
１５１６ 第３特定部
１５１７ 第４特定部
１５１８ 判定部
１５１９ 制御部
１５２ 記憶部
２ 端末装置
３ 画像形成装置
４ 用紙（シート）
３１ 通信部（受信部）
３２ 画像形成部
３３ 制御部
１００ 表示システム
１１ 通信部（第２入力部）
１２ 表示部
１３ 撮像部
１４ 仮想入力部（第１入力部）
１５ 制御部
１５１ 処理部
１５１１ 生成部
１５１２ 認識部
１５１３ 導出部
１５１４ 第１特定部
１５１５ 第２特定部
１５１６ 第３特定部
１５１７ 第４特定部
１５１８ 判定部
１５１９ 制御部
１５２ 記憶部
２ 端末装置
３ 画像形成装置
４ 用紙（シート）
３１ 通信部（受信部）
３２ 画像形成部
３３ 制御部
１００ 表示システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】