2024-163515 手書き支援装置、手書き支援方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024163515

(43)【公開日】2024-11-22

(54)【発明の名称】手書き支援装置、手書き支援方法、およびプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241115BHJP

   G06F 3/0481 20220101ALI20241115BHJP

   G09B 11/00 20060101ALI20241115BHJP

   G06F 3/04883 20220101ALI20241115BHJP

【ＦＩ】

G06F3/01 510

G06F3/0481

G09B11/00

G06F3/04883

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023079207

(22)【出願日】2023-05-12

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110000121

【氏名又は名称】ＩＡＴ弁理士法人

(72)【発明者】

【氏名】後藤 正樹

(72)【発明者】

【氏名】神賀 英明

(72)【発明者】

【氏名】松川 信行

(72)【発明者】

【氏名】渡辺 剛

(72)【発明者】

【氏名】川▲崎▼ 勝

(72)【発明者】

【氏名】茨木 武

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA07

5E555AA71

5E555BA38

5E555BA65

5E555BB38

5E555BC04

5E555BC19

5E555BE17

5E555CA12

5E555CA17

5E555CA42

5E555CB12

5E555CB20

5E555CC19

5E555DA08

5E555DA09

5E555DB41

5E555DB45

5E555DB56

5E555DC09

5E555DC13

5E555DC26

5E555DC27

5E555DC35

5E555DC53

5E555DC54

5E555DC63

5E555DD02

5E555DD05

5E555EA11

5E555EA22

5E555FA00

(57)【要約】

【課題】個性を尊重しつつ、手書き支援する手書き支援装置を提供する。
【解決手段】ＡＲグラス１は、ユーザが途中まで書いた記入文字の所定の画の大きさから、ユーザが記入文字を書き上げた際の記入文字の大きさを推定する推定部２１と、推定部２１により推定された大きさに基づいて、ユーザが、所定の記入領域の大きさに対応した大きさで、記入文字を記入領域に書くことができるように、記入文字の未記入部分の手書きを支援する支援部２２とを備え、支援部２２は、推定部２１により推定された大きさの記入文字の予測画像、予測画像を記入領域に収まる大きさに変換した修正予測画像、の少なくとも一方を記入領域に重畳させて表示部に表示することを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

記入面に対するユーザの記入文字の手書きを支援する手書き支援装置において、
前記ユーザが途中まで書いた前記記入文字の所定の画の大きさから、前記ユーザが前記記入文字を書き上げた際の前記記入文字の大きさを推定する推定部と、
前記推定部により推定された大きさに基づいて、前記ユーザが、所定の記入領域の大きさに対応した大きさで、前記記入文字を前記記入領域に書くことができるように、前記記入文字の未記入部分の手書きを支援する支援部と
を備え、
前記支援部は、前記推定部により推定された大きさの前記記入文字の予測画像、前記予測画像を前記記入領域に収まる大きさに変換した修正予測画像、の少なくとも一方を前記記入領域に重畳させて表示部に表示する
ことを特徴とする手書き支援装置。

【請求項2】

請求項１に記載の手書き支援装置であって、
前記支援部は、前記記入文字の各文字の拡大率、縮小率、縦横比、文字間隔、または改行の有無を調整することにより、前記記入領域に収まる大きさの前記修正予測画像を生成する
ことを特徴とする手書き支援装置。

【請求項3】

請求項１に記載の手書き支援装置であって、
前記支援部は、
前記推定部により推定された大きさが所定の大きさに対して所定以上の差がある場合、前記予測画像、前記修正予測画像、の少なくとも一方を前記記入領域に重畳させて表示部に表示する、
ことを特徴とする手書き支援装置。

【請求項4】

記入面に対するユーザの記入文字の手書きを支援する支援方法において、
前記ユーザが途中まで書いた前記記入文字の所定の画の大きさから、前記ユーザが前記記入文字を書き上げた際の前記記入文字の大きさを推定する推定ステップと、
前記推定ステップにより推定された大きさに基づいて、前記ユーザが、所定の記入領域の大きさに対応した大きさで、前記記入文字を前記記入領域に書くことができるように、前記記入文字の未記入部分の手書きを支援する支援ステップと
を含み、
前記支援ステップでは、前記推定ステップにより推定された大きさの前記記入文字の予測画像、前記予測画像を前記記入領域に収まる大きさに変換した修正予測画像、の少なくとも一方を前記記入領域に重畳させて表示部に表示する
ことを特徴とする手書き支援方法。

【請求項5】

入出力装置と情報を授受可能なコンピュータが実行可能なプログラムにおいて、
ユーザが途中まで書いた記入文字の所定の画の大きさから、前記ユーザが前記記入文字を書き上げた際の前記記入文字の大きさを推定する推定ステップと、
前記推定ステップにより推定された大きさに基づいて、前記ユーザが、所定の記入領域の大きさに対応した大きさで、前記記入文字を前記記入領域に書くことができるように、前記記入文字の未記入部分の手書きを支援する支援ステップと
を含み、
前記支援ステップでは、前記推定ステップにより推定された大きさの前記記入文字の予測画像、前記予測画像を前記記入領域に収まる大きさに変換した修正予測画像、の少なくとも一方を前記記入領域に重畳させて表示部に表示する
ことを特徴とする、処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手書き支援装置、手書き支援方法、およびプログラムに関する。

【背景技術】

【0002】

手書き文字を撮影し、手書き文字を撮影した手書き画像に、手本文字を重畳して手書き支援する技術が開示されている（特許文献１）。

【0003】

この技術によれば、手本通りに手書きすることを支援することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３－１８２２１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示された方法は、手本をなぞることができるようにするもので、ユーザの個性を生かした文字を書くことができない場合があった。

【0006】

本発明は、かかる問題に鑑みてなされたものであり、その目的とするところは、ユーザの個性を生かした文字を書くことができる手書き支援装置、手書き支援方法、およびプログラムを提供するものである。

【課題を解決するための手段】

【0007】

本発明の一側面の手書き支援装置は、ユーザが途中まで書いた記入文字の所定の画の大きさから、ユーザが記入文字を書き上げた際の記入文字の大きさを推定する推定部と、推定部により推定された大きさに基づいて、ユーザが、所定の記入領域の大きさに対応した大きさで、記入文字を記入領域に書くことができるように、記入文字の未記入部分の手書きを支援する支援部とを備え、支援部は、推定部により推定された大きさの記入文字の予測画像、予測画像を記入領域に収まる大きさに変換した修正予測画像、の少なくとも一方を記入領域に重畳させて表示部に表示することを特徴とする。

【0008】

本発明の一側面の手書き支援方法は、ユーザが途中まで書いた記入文字の所定の画の大きさから、ユーザが記入文字を書き上げた際の記入文字の大きさを推定する推定ステップと、推定ステップにより推定された大きさに基づいて、ユーザが、所定の記入領域の大きさに対応した大きさで、記入文字を記入領域に書くことができるように、記入文字の未記入部分の手書きを支援する支援ステップとを含み、支援ステップでは、推定ステップにより推定された大きさの記入文字の予測画像、予測画像を記入領域に収まる大きさに変換した修正予測画像、の少なくとも一方を記入領域に重畳させて表示部に表示することを特徴とする。

【0009】

本発明の一側面のプログラムは、ユーザが途中まで書いた記入文字の所定の画の大きさから、ユーザが記入文字を書き上げた際の記入文字の大きさを推定する推定ステップと、推定ステップにより推定された大きさに基づいて、ユーザが、所定の記入領域の大きさに対応した大きさで、記入文字を記入領域に書くことができるように、記入文字の未記入部分の手書きを支援する支援ステップとを含み、支援ステップでは、推定ステップにより推定された大きさの記入文字の予測画像、予測画像を記入領域に収まる大きさに変換した修正予測画像、の少なくとも一方を記入領域に重畳させて表示部に表示することを特徴とする。

【発明の効果】

【0010】

本発明によれば、ユーザの個性を生かした手書きを支援することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、ＡＲグラス１の外観構成および利用例を示す図である。

【図2】図２は、ＡＲグラス１の内部構成を示すブロック図である。

【図3】図３は、ＡＲグラス１の動作を説明するためのフローチャートである。

【図4】図４は、用紙の台形補正の例を示す図である。

【図5】図５は、予測画像と修正予測画像の例を示す図である。

【図6】図６は、画の長さの算出方法の例を示す図である。

【図7】図７は、ＡＲグラス１の動作の第２の実施例を説明するためのフローチャートである。

【図8】図８は、モードおよび記入領域の例を示す図である。

【図9】図９は、図８に示した記入領域に、記入領域の種類の表記を追加した図である。

【図10】図１０は、ユーザが登録した文字データベース１５ａの内容を示す図である。

【図11】図１１は、年賀はがきの宛先「東京都千代田区千代田１－１」の修正予測画像の例を示す図である。

【発明を実施するための形態】

【0012】

［一実施の形態］
図１は、本発明の一実施の形態のＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス１の外観構成及び利用例を示す図である。
ＡＲグラス１は、図１に示すように両耳殻にかけられることでユーザに装着される。

【0013】

ＡＲグラス１には、ユーザに装着された状態で、ユーザが視認する方向を被写体方向として撮影するように、前方に向けて撮影部１２が配置されている。ＡＲグラス１にはまた、装着状態において、ユーザの両眼の前方に、左眼用と右眼用の一対の表示部１１が配置される構成となっている。表示部１１は透過型のディスプレイであって、ＡＲグラス１を装着したユーザは、表示部１１に表示された画像を見ながら、ユーザの視線方向の現実空間を、表示部１１を介して視認することができる。ここで現実空間とは、後述の、ユーザが文字を紙面に書こうとしている状態、実際の手書き文字などを含む。

【0014】

なお、図１に示すＡＲグラス１の外観は一例であり、ＡＲグラス１をユーザが装着するための構造は多様に考えられる。

【0015】

ＡＲグラス１は、紙面等の記入面に対する、ＡＲグラス１を装着したユーザの文字の手書きを支援する。詳細は後述するが、ＡＲグラス１は、ユーザが途中まで書いた文字の一部分から、ユーザが文字を書き上げた際の文字の大きさを推定し、推定した文字の大きさに基づいて、ユーザが、記入面等の記入領域の大きさに対応した大きさで、文字を記入領域に書くことができるように、文字の未記入部分の手書きを支援する。

【0016】

記入領域とは、文字を記入する紙面の範囲内であって、文字列全体を記載する場所をいう。記入領域は、当該紙面全体であってもよく、紙面の一部であってもよい。また記入領域は、ユーザが事前に情報を入力することにより記入領域を設定してもよいし、撮影部１２が撮影した画像やシチュエーションに応じて自動的に設定してもよい。なお、記入面は、紙面に限られず、紙以外の素材（プラスチックなど）でもよい。

【0017】

［ＡＲグラス１の内部構成］
図２は、ＡＲグラス１の内部構成を示すブロック図である。ＡＲグラス１は、表示部１１、撮影部１２、制御部１３、入力部１４、および記憶部１５を含んで構成されている。

【0018】

表示部１１は、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイおよびプラズマディスプレイ等である。制御部１３による制御に基づいて、各種情報を表示する。また、表示部１１は、表示部１１をスルー状態にした上で、ユーザが、現実空間に存在する記入領域の位置に重畳して認識できるように、各種情報を表示することができる。

【0019】

撮影部１２は、例えばビデオカメラであり、ユーザが手書きする文字やユーザが手書きする動作などを撮影し、撮影した映像を制御部１３に供給する。

【0020】

制御部１３は、図示は省略するが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、記憶部位（ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、不揮発メモリ等）、ハードウェアを含む、その他の要素から構成される。
制御部１３は、記憶部１５に記憶されている図示せぬ制御用プログラムを実行することで、ＡＲグラス１全体を制御するとともに、後述する手書き支援処理を実行する。制御部１３は、手書き支援処理を実行する際、推定部２１および支援部２２として機能する。

【0021】

推定部２１は、記憶部１５に記憶されている文字データベース１５ａを参照して、ユーザが紙面等の記入面に手書きしようとしている文字または文字列の途中まで書いた状態である文字の一部分から、ユーザが記入文字を書き上げた際の記入文字の大きさを推定する。以下において、ユーザが紙面等の記入面に手書きしようとしている文字または文字列を、適宜、記入文字と称する。

【0022】

支援部２２は、推定部２１により推定された大きさに基づいて、ユーザが、記入領域（例えば、記入面）の大きさに対応した大きさで、記入文字を記入領域に書くことができるように、記入文字の未記入部分の手書きを支援する。

【0023】

入力部１４は、例えば、タッチパネルやボタン等であり、ユーザからの情報の入力を受け付ける。入力部１４は、ＡＲグラス１本体に含まれるものであってもよいし、外付けされるものであってもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等により情報を入力することができる。入力部１４が外付けされる場合、タッチパネルやボタン等に代えて、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。

【0024】

記憶部１５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、不揮発メモリを有する。記憶部１５は、上述した制御用アプリケーションプログラムと、その実行のために必要な、文字データベース１５ａを含む各種データや、これらの処理により生成された情報を記憶する。

【0025】

文字データベース１５ａには、記入文字の手本文字の画像データおよび大きさに関する情報が格納されている。手本文字とは、記入文字の画像データである。

【0026】

文字データベース１５ａは、例えば、ＡＲグラス１とは別の端末に記憶され、ＡＲグラス１は、文字データベース１５ａからの情報をＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）等の無線通信または有線通信で取得するようにしてもよい。別の端末は、ユーザが所有するスマートフォンなどの端末でもよい。文字データベース１５ａは、サーバに格納されており、ＡＲグラス１は、そのサーバに格納された文字データベース１５ａからの情報を取得するようにしてもよい。

【0027】

［手書き支援処理（第１の実施例）］
次に、図３のフローチャートを参照して、手書き支援処理について説明する。はじめに処理の流れをフローチャートに沿って説明し、その後具体例を説明する。

【0028】

図１に示したように、テーブルに紙がおいてあり、ＡＲグラス１を装着したユーザが、これから文字を紙面に書こうとしている状態とする。また、これから紙面に書こうとしている記入文字は、事前にユーザにより入力部１４を介して設定され、記憶部１５に記憶されているものとする。

【0029】

ステップＳ１において、制御部１３の推定部２１は、記入文字の手本文字を記憶部１５から取得する。

【0030】

次に、ステップＳ２において、推定部２１は、撮影部１２から、撮影画像を所定の単位で取得する。ここで、所定の単位とは時間単位であり、０．１ミリ秒ごとなど撮影間隔、３０ｆｐｓなどのフレームレートで設定される。そして、ステップＳ３において、推定部２１は、取得した撮影画像上における紙面の位置を特定し、ステップＳ４において、その紙面画像を、実際の用紙の形状に補正する。図４Ａに示すように、撮影部１２は、斜め情報から用紙Ｐを撮影するため、図４Ｂに示すように、撮影画像上の用紙の画像ＰＶ１は台形形状になる。そこで、推定部２１は、その台形形状の画像を、本来の用紙Ｐの形状（長方形）の画像ＰＶ２に補正する（以下、台形補正と称する）。なお、台形補正は、射影変換などによる台形補正など、公知の方法を用いることができる。

【0031】

ステップＳ５において、推定部２１は、ユーザが、ステップＳ１で取得した記入文字の一部である最初の文字（以下、基準文字と称する）のＮ（１以上の整数）画目まで書き終えたか否かを判定する。具体的には、推定部２１は、ステップＳ２で取得した画像を解析し、ユーザが書いた線を認識し、その認識結果と、文字データベース１５ａに格納されている基準文字の手本文字と比較しながら、Ｎ画目まで書かれたかを判定する。ここでＮ画目とは、文字を構成する画のうち所定の画の番号をいう。本実施例においては、複数文字から構成される記入文字の最初の文字を基準文字としているが、これに限らない。例えば、ユーザが記入文字全体を書き上げる前に支援が可能な文字数の文字とすることができる。

【0032】

ステップＳ５で、ユーザが基準文字のＮ画目まで書き終えていないと判定した場合、推定部２１は、ステップＳ２に戻りそれ以降の処理を実行する。

【0033】

ステップＳ５で、ユーザが基準文字のＮ画目まで書き終えたと判定した場合、ステップＳ６において、推定部２１は、ユーザが書き終えた基準文字のＮ画目の長さを、記入文字の所定の画の大きさとして算出する。

【0034】

次に、ステップＳ７において、推定部２１は、算出したＮ画目の長さに基づいて、ユーザが基準文字を書き上げた際の基準文字の大きさを推定する。以下において、ユーザが基準文字を書き上げた際の基準文字の大きさを、手書き基準文字の大きさと称する。具体的には、例えば、ユーザが書き終えた基準文字のＮ画目の長さと、文字データベース１５ａに記憶されている基準文字の手本文字のＮ画目の長さが比較され、その比較結果に基づいて、ユーザが基準文字を書き上げた際の基準文字の大きさ（手書き基準文字の大きさ）が推定される。

【0035】

次に、ステップＳ８において、支援部２２は、ステップＳ７で推定した手書き基準文字の大きさに基づいて、手本画像を生成する。手本画像とは、文字データベース１５ａに記録されている、基準文字の手本文字の画像データであり、基準文字以外を含む記入文字全体が対象記入領域に収まるように大きさを調整したものである。

【0036】

ステップＳ９において、推定部２１は、ステップＳ７で推定された手書き基準文字の大きさが、ステップＳ８で生成した手本画像の大きさに対して、所定の閾値以上の差があるか否かを判定する。例えば、所定の閾値が５％であるとすると、推定された手書き基準文字の大きさが、手本画像の大きさに対して、５％以上大きい場合または小さいか否かが判定される。

【0037】

ステップＳ９で、所定の閾値以上の差があると判定された場合、ステップＳ１０において、支援部２２は、ステップＳ７で推定した手書き基準文字の大きさに基づいた記入文字の予測画像、または予測画像とともに予測画像を紙面に収まる大きさに変換した修正予測画像を生成する。予測画像とは、文字データベース１５ａに記録されている記入文字の手本文字の画像データであり、推定した手書き基準文字の大きさに合わせた大きさを有する画像データである。

【0038】

次に、ステップＳ１１において、支援部２２は、ステップＳ１０で生成した予測画像および修正予測画像の少なくとも一方を、ＡＲグラス１と用紙の角度を考慮して、用紙を長方形から台形に補正する。すなわち、ステップＳ４における台形補正と逆の補正を行う。

【0039】

ステップＳ１２において、支援部２２は、ステップＳ１１で補正した予測画像および修正予測画像の少なくとも一方を、表示部１１上に、ユーザが実際の手書き文字に重畳して視認できるように表示する。ユーザは、実際の手書き文字に重畳された予測画像や修正予測画像を参考に、記入文字を手書きする。なおこの予測画像の表示は、例えば、ユーザが記入文字の全部を書き終えるまで継続される。

【0040】

ステップＳ１２で、予測画像の表示が開始された後、またはステップＳ９で、推定した文字の大きさが所定の閾値以上ではないと判定された場合、手書き支援処理は終了する。ステップＳ９で、推定された文字の大きさが、所定の文字の大きさである手本画像に対して、所定の閾値以上の差がないと判定された場合、すなわちユーザがそのままの大きさで手書きを進めても記入文字が紙面に収まる場合、ステップＳ１０～ステップＳ１２の処理は実行されず、予測画像および修正予測画像は表示されない。

【0041】

［具体例］
習字を行うユーザが、紙面に、「御手本」という文字列を記入しようとする場合であって、Ｎ画目のＮが３である場合を例として説明する。推定部２１は、記入文字である「御手本」の手本文字を記憶部１５から取得する（ステップＳ１）。そして推定部２１は、撮影部１２から紙面画像を含む撮影画像を取得し（ステップＳ２）、取得した紙面画像の位置の特定（ステップＳ３）、台形補正を行う（ステップＳ４）。

【0042】

図５Ａは、ユーザが基準文字である「御」のＮ画目まで記入した状態を示している。ユーザが、図５Ａに示すように、基準文字である「御」の３画目のぎょうにんべんまで書き終えたとき（ステップＳ５でＹＥＳ）、推定部２１は、ぎょうにんべんの上下に延びる部分（図中、Ｌ２で示されている部分）の長さを算出する（ステップＳ６）。

【0043】

そして推定部２１は、算出したＮ画目の長さＬ２に基づいて、ユーザが基準文字を書き上げた際の基準文字の大きさ（高さＨ２、幅Ｗ２）、すなわち手書き基準文字の大きさを推定する（ステップＳ７）。この例の場合、基準文字である「御」の手本文字の３画目の長さＬ１と「御」の手本文字の大きさ（高さＨ１、幅Ｗ１）に基づいて、「御」の大きさが、以下の式で算出される。図５Ａ中の枠は算出された高さＬ２および幅Ｗ２に対応する手書き基準文字の大きさを示す。
高さＨ２＝Ｌ２×Ｈ１／Ｌ１
幅Ｗ２＝Ｌ２×Ｗ１／Ｌ１
各手本文字の画の大きさと文字の大きさの関係（Ｌ１とＨ１、Ｌ１とＷ１の関係）はあらかじめ文字データベース１５ａに登録されているものとする。

【0044】

次に、支援部２２は、推定した手書き基準文字の大きさに基づいて、手本画像を生成する（ステップＳ８）。

【0045】

そして、推定した手書き基準文字の大きさが、手本画像の大きさよりも所定の閾値以上の差があると判定した場合（ステップＳ９でＹｅｓ）、支援部２２は、予測画像および修正予測画像の少なくとも一方を生成する（ステップＳ１０，Ｓ１１）。そして、支援部２２は、生成した予測画像と修正予測画像の少なくとも一方を表示部１１に表示する（ステップＳ１２）。

【0046】

なお、支援部２２は、修正予測画像を生成する際に、記入文字の未記入部分の拡大・縮小率、文字間隔、各文字の縦横比を調整する。記入文字の拡大・縮小率は、文字の画数によって変えてもよい。文字間隔とは、各文字の間隔であり、文字の外接矩形である枠同士の間のスペースをいう。各文字の縦横比とは、各枠の縦横比であり、各文字で異なる縦横比であってもよい。

【0047】

図５Ｂは予測画像の一例を示し、図５Ｃは、修正予測画像の一例を示す。図５Ｂ，Ｃ同図に示されている文字の周りの枠は、文字の大きさを示すための枠であり、余白を含まない文字の外接矩形を表現している。当該文字の周りの枠は、必ずしも表示部１１に表示されない。

【0048】

例えば、図５Ｂに示すように、推定部２１により推定された手書き基準文字の大きさに基づく予測画像を生成する場合（ステップＳ１０，Ｓ１１）、支援部２２は、表示部１１上に、ユーザが実際の手書き文字と重畳して視認できるように予測画像を表示する（ステップＳ１２）。この例の場合、ユーザは、基準文字である「御」の３画目以降をそのまま書き続けると紙面に収まらなくなる、または小さすぎることを認知することができる。そこでユーザは、未記入部分の大きさを調整して紙面に収まるように、または小さすぎないようにすることができる。

【0049】

また図５Ｃに示すように、未記入部分を調整して紙面に収まるよう予測画像を変換した修正予測画像を生成する場合（ステップＳ１０，Ｓ１１）、支援部２２は、表示部１１上に、ユーザが実際の手書き文字と重畳して視認できるように修正予測画像を表示することもできる（ステップＳ１２）。この例の場合、ユーザは、実際の手書き文字と重畳された紙面に収まるようにした修正予測画像をなぞるように手書きをすることができる。

【0050】

また図５Ｂの予測画像、図５Ｃの修正予測画像を交互に表示することもできる。また、予測画像と修正予測画像を同時に表示してもよい。さらに、予測画像と修正予測画像を異なる色で表示するなど、表示態様を異ならせたうえで、同時に表示してもよい。

【0051】

（Ｎ画目の特定）
Ｎ画目とは、一文字に対して設定するだけに限らず、例えば「あいうえお」などの複数の文字から構成される文字列の画から設定することもできる。「あいうえお」は全部で１２画から構成されるので、Ｎを６とすれば「う」の１画目の部分を、Ｎ画目とすることができる。
また、Ｎはゼロでもよく、すなわち、Ｎ画目が０画目であってもよい。この場合、書き始めから予測画像や修正予測画像が表示される。宛名などユーザの文字の個性を反映する必要がない場合はＮを０としてもよく、一方、習字などユーザの文字の個性を生かすことが望ましい場合は、Ｎを所定値以上とし、所定の画数まではユーザが自由に文字を書くようにすることが好ましい。なお、Ｎはユーザが設定してもよく、文字毎に文字の大きさに影響を及ぼす画数をＮとして定められ、文字データベース１５ａに記憶されてもよい。

【0052】

（Ｎ画目の長さ）
文字のＮ画目の長さは、その形状毎に定義されている。原則、図５Ａの例のように、ぎょうにんべんの１つの直線的な部分の長さとしてもよいが、図６Ａに示すように画が２つ以上の直線的な部分から構成される場合は最も長い部分の長さとし、図６Ｂに示すように画が曲線的な部分で構成される場合は文字を囲った長方形の対角線の長さとしてもよい。

【0053】

（基準文字の大きさ）
上述では推定部２１は、ユーザが手書きする基準文字の大きさをＮ画目のみの長さから算出したが、Ｎ画目までの大きさから算出してもよい。例えば、１画目からＮ画目までの長さの合計に基づいて算出してもよいし、１画目からＮ画目までのそれぞれの長さから推定される文字の大きさの平均に基づいて算出してもよい。ユーザが記入する記入文字の所定の画の大きさ文字を基準文字の大きさとして算出する。

【0054】

［手書き支援処理（第２の実施例）］
上述では、紙面全体が記入領域であるため、文字を記入する領域である記入領域について特に言及していないが、文字を書くシチュエーションによっては、記入領域を限定すべきである。ユーザには、例えば、はがきの右端に宛先を、中央部分に宛名を書く場合など、所定の記入領域に文字を手書きする場合が想定されるからである。このような様々なシチュエーションにおいても、ユーザはＡＲグラス１を使用することができる。

【0055】

図７は、他の手書き支援処理を説明するフローチャートである。この手書き支援処理は、文字を書く用途等において、文字を書く記入領域を決定し、文字を記入領域に書くことができるように支援することができる。

【0056】

ステップＳ３１において、支援部２２は、モードを選択する。モードには、文字を書く対象物に応じて決定することができる。例えば、普通はがき（図８Ａ）、年賀はがき（図８Ｂ）、ご祝儀袋・不祝儀袋（図８Ｃ）、縦書きの芳名帳（図８Ｄ）、横書きの芳名帳（図８Ｅ）に応じてモードを決定する。モード決定に際し、支援部２２は、撮影部１２が撮影した画像に基づいて文字を書く対象物を特定し、特定した対象物に基づいてモードを選択することもできるし、ユーザが手動で選択したモードを選択してもよい。

【0057】

ステップＳ３２において、推定部２１は、ユーザが事前に設定した記入文字の手本文字を取得する。
ユーザは事前に、記入文字を、入力部１４を介して設定し、文字データベース１５ａに登録する。
例えば図１０Ａ～Ｃに示すように、複数の宛先や差出人の氏名、および宛名をあらかじめ文字データベース１５ａに登録しておき、都度ユーザが宛先や宛名を選択してもよい。宛名には敬称がつくので、登録された氏名の後に敬称を付けたものを記入文字としてもよい。また、敬称をつけるか否かは、ユーザが指定しても良いし、ステップＳ３１で選択したモードに応じて決定してもよい。例えば、はがきの場合は敬称を付けるが、送り状ではあらかじめ「様」が印字されているので、付ける必要はない。
また、記入文字が宛先、住所のように改行を挿入してもよい文字列である場合、ステップＳ３２で取得する記入文字の手本文字は、所定の位置で改行が挿入された画像データ、またはその改行が挿入されていない画像データとすることができる。このとき、ユーザは、例えば宛先の住所について、あらかじめ改行を挿入してもよい当該所定の位置が分かるように登録することができる。図１０Ａの例では、改行を挿入してもよい位置ごとに、第１住所、第２住所・・に分けて登録されている。

【0058】

ステップＳ３３～Ｓ３５においては、図３のステップＳ２～Ｓ４の同様の処理が実行されるので、その説明は省略する。

【0059】

ステップＳ３６において、支援部２２は、記入領域が決定されているか否かを判定し、決定していないと判定された場合は、ステップＳ３７において、支援部２２は、ステップＳ３１で選択したモードに基づいて、記入文字を書く記入領域を決定する。具体的には、普通はがきのモード（図８Ａ）、年賀はがきのモード（図８Ｂ）、ご祝儀袋・不祝儀袋のモード（図８Ｃ）、横書きの芳名帳のモード（図８Ｅ）の場合、支援部２２は、各図に示すように、住所を記入する記入領域Ｑ１、宛名を記入する記入領域Ｑ２、差出人の氏名を記載する記入領域Ｑ３をそれぞれ決定する。縦書きの芳名帳のモード（図８Ｄ）の場合、支援部２２は、住所および氏名を記載する１つの領域を記入領域Ｑ４として決定する。

【0060】

例えば、住所を記入する記入領域Ｑ１、宛名を記入する記入領域Ｑ２、差出人の氏名を記入する記入領域Ｑ３、および住所氏名を記入する記入領域Ｑ４の位置は、文字を書く対象物に応じて予め決められている。支援部２２は、ステップＳ３１で選択したモードに基づいて記入文字を書く記入領域を決定することができる。図８Ｄに示す縦書きの芳名帳のモードの場合では、用紙の枠と既に記載されている文字を認識し、文字が書かれてない最も右側の部分を記入領域Ｑ４として決定することができる。また図８Ｅに示すように、用紙の罫線と印字されている「名前」や「住所」の文字を認識して記入領域Ｑ１、Ｑ３を決定することもできる。

【0061】

図８の各用紙上に示されている枠は、記入領域を示している。決定した記入領域をよりわかりやすくするために、支援部２２は、表示部１１上に、記入領域の外枠を、ユーザが実際の手書き文字と重畳して視認できるように表示してもよい。また図９に示すように、それぞれの記入領域に、「住所領域」（Ｑ１）、「宛名領域」（Ｑ２）、「氏名領域」（Ｑ３）、「住所氏名領域」（Ｑ４）との表記も合わせて表示することもできる。なお、例えば、はがきの裏面に差出人の氏名がすでに記入や印刷されている場合など、ユーザが記入する必要がない場合は、記入領域の外枠を表示しないようにしてもよい。

【0062】

ユーザが記入領域を指定できるようにもできる。またユーザは、支援部２２が決定した記入領域を、入力部１４を介して調整できるようにすることもできる。

【0063】

図７に戻り、ステップＳ３８において、支援部２２は、記入文字を書く単一の記入領域（以下、対象記入領域と称する。）を確定する。ステップＳ３７で、複数の記入領域が決定された場合は、その複数の記入領域の中から１つの記入領域を対象記入領域として確定する。一方、記入領域が１つしかない場合は、その決定された記入領域を対象記入領域として確定する。

【0064】

例えば、図８Ａで示すようにステップＳ３７で記入領域Ｑ１，Ｑ２，Ｑ３が決定された場合に、Ｑ１を対象記入領域として確定し、図８Ｃで示すように記入領域Ｑ２のみが決定された場合には、Ｑ２を対象記入領域として確定する。支援部２２は、対象記入領域を、ユーザの指定に基づいて確定することができる。また、対象記入領域を、撮影部１２が撮影したユーザの視線方向の情報に基づいて確定してもよい。

【0065】

なお、ステップＳ３６で、記入領域がすでに決定されていると判定された場合、ステップＳ３９に進む。すなわち記入領域が決定された後は、ステップＳ３７，Ｓ３８の処理がスキップされるので、記入領域の決定および対象記入領域確定は、一度だけ行われる。

【0066】

ステップＳ３９～Ｓ４１において、図３のステップＳ５～Ｓ７の同様の処理が実行されるので、その説明は省略する。

【0067】

次に、ステップＳ４２において、支援部２２は、ステップＳ４１で推定した手書き基準文字の大きさに基づいて、手本画像を生成する。手本画像とは、文字データベース１５ａに記録されている、基準文字の手本文字の画像データであり、基準文字以外を含む記入文字全体が対象記入領域に収まるように大きさを調整したものである。

【0068】

ステップＳ４３において、推定部２１は、ステップＳ４１で推定された手書き基準文字の大きさが、所定の文字の大きさ（ステップＳ４２で生成した手本画像の大きさ）に対して、所定の閾値以上の差があるか否かを判定する。これは、図３のステップＳ９と同様の処理である。

【0069】

ステップＳ４４において、支援部２２は、ステップＳ４１で推定した手書き基準文字の大きさに基づいて、記入文字の予測画像を生成する。また未記入部分を調整して対象記入領域に収まるよう予測画像を変換した修正予測画像を生成することもできる。修正予測画像は、前述のように、記入文字の拡大・縮小率、文字間隔、各文字の縦横比だけでなく、改行の有無、改行の位置を調整して当該予測画像を変換して作成されることができる。改行を行うか否かは、モードや対象記入領域によって決定されてもよい。後述するように、年賀はがきモードを選択した場合には、住所の記入においては改行を行い、宛名の記入においては改行を行わない。

【0070】

次に、ステップＳ４５において、生成した予測画像を、ＡＲグラス１と用紙の角度を考慮して、用紙を長方形から台形に補正する。

【0071】

ステップＳ４６において、支援部２２は、ステップＳ４５で補正した予測画像や修正予測画像を、表示部１１上に、ユーザが実際の手書き文字と重畳して視認できるように表示する。

【0072】

図１１は、表示部１１に表示される、図１０に示した登録情報に基づく修正予測画像の一例を示した図である。修正予測画像は、図１１中の記入領域内の「東京都千代田区千代田１－１」部分である。図１１Ａは、住所全体が記入領域Ｑ１において縦一列に記入できるように拡大・縮小率を調整された修正予測画像である。図１１Ｂは、番地（図１０Ａ中、「第３住所」に登録されている部分）から改行された修正予測画像である。図１１Ｃは、区（図１０Ａ中、「第２住所」に登録されている部分）から改行された修正予測画像である。

【0073】

ステップＳ４６で、予測画像の表示が開始された後、またはステップＳ４３で、推定された手書き基準文字の大きさが、所定の文字の大きさ（ステップＳ４２で生成した手本画像の大きさ）に対して、所定の閾値以上の差がないと判定された場合、手書き支援処理は終了する。

【0074】

（予測画像、修正予測画像の作成）
以上においては、推定した基準文字の大きさに基づいて予測画像、修正予測画像を作成したが、ユーザの手書きが進められて、次の文字（図５の例では、「手」）を書く際にも、この文字を基準文字として、予測画像を作成し表示することもできる。

【0075】

また、以上においては、推定された文字の大きさが、所定の文字の大きさに対して、所定の閾値以上の差がないと判定された場合（ステップＳ１０）、予測画像、修正予測画像は表示されないとしたが、その場合であっても予測画像、修正予測画像を表示してもよい。例えば、ユーザが手書きを行っている間常に予測画像、修正予測画像を表示してもよい。

【0076】

（他の支援方法）
以上においては、支援部２２は、ステップＳ１１で補正した予測画像を、表示部１１上に、ユーザが実際の手書き文字と重畳して視認できるように表示することにより、ユーザの手書きを支援した。しかし、別の方法として、例えば、支援部２２は、「大きすぎです」、「大きく書いてください」、「小さすぎです」、「もう少し小さく書いてください」などのメッセージを、音声やテキスト表示などで、ユーザを支援することもできる。

【0077】

（記入文字の文字数）
上述した例では、記入文字が複数の文字である場合を例として説明したが、１個の文字であってもよい。

【0078】

［第３の実施例］
上述したように、ＡＲグラス１は、文字を手書きすることを支援することができるが、記入情報としての図形や絵を手書きすることも支援できる。この場合、図形や絵を構成するパーツをそれぞれ画とし、Ｎ画目とは、書き順を定めた図形・絵のパーツのうち、書き順がＮ番目のパーツをいうこととする。

【0079】

［ユースケース例］
ＡＲグラス１は、個人所有および共用場所への設置により使用されることが想定される。
個人所有の場合、例えば文字データベース１５ａに、習字の手本を記憶させることで習字の習得に役立てることもでき、所有者の個人情報を記憶させることで、署名、住所記入、祝儀袋の記名に役立てることもでき、所有者以外の個人情報を記憶させることで宛名、宛先に記入に役立てることもできる。
また役所、銀行、郵便局、免許センター、パスポートセンター等に設置すれば、各種申請書類への記入に役立てることもできるし、コンビニ、デパート、スーパー等に設置すれば、宅配便受付や贈答品発送のための宛名、宛先記入に役立てることもできる。さらに、冠婚葬祭式場、ホテル、旅館に設置すれば、芳名帳、宿泊者名簿の記入に役立てることもできる。

【0080】

［実施形態の補足説明］
上述した実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置および接続形態の順序、フローチャートにおける処理の順序等は、一例であり、本発明を限定する主旨ではない。また、各図は、必ずしも厳密に図示されたものではない。

【0081】

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

【0082】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0083】

［発明のまとめ］
記入面に対するユーザの記入文字の手書きを支援する手書き支援装置において、
ユーザが途中まで書いた記入文字の所定の画の大きさから、ユーザが記入文字を書き上げた際の記入文字の大きさを推定する推定部２１と、
推定部２１により推定された大きさに基づいて、ユーザが、所定の記入領域の大きさに対応した大きさで、記入文字を記入領域に書くことができるように、記入文字の未記入部分の手書きを支援する支援部２２と
を備え、
支援部２２は、推定部２１により推定された大きさの記入文字の予測画像、予測画像を記入領域に収まる大きさに変換した修正予測画像、の少なくとも一方を記入領域に重畳させて表示部に表示する
ことを特徴とする。

【0084】

この構成を有することにより、手書き支援装置は、記入文字の一部分までの個性を尊重しつつ、予測画像を参考にして手書することを支援できる。

【0085】

また、支援部２２は、記入文字の各文字の拡大率、縮小率、縦横比、文字間隔、または改行の有無を調整することにより、記入領域に収まる大きさの予測画像を生成する
ことを特徴とする。

【0086】

この構成を有することにより、手書き支援装置は、文字の拡大縮小だけでなく様々な方法で、予測画像を生成することができる。

【0087】

また、支援部２２は、
推定部２１により推定された大きさが所定の大きさに対して所定以上の差がある場合、予測画像、修正予測画像、の少なくとも一方を記入領域に重畳させて表示部に表示する、
ことを特徴とする。

【0088】

この構成を有することにより、手書き支援装置は、ユーザの記入文字の大きさが記入領域の大きさと所定以上のずれが生じない場合、予測画像、修正予測画像は表示されないため、よりユーザは自由に文字を手書きすることができる。

【符号の説明】

【0089】

１…ＡＲグラス、１１…表示部、１２…撮影部、１３…制御部、１４…入力部、１５…記憶部、１５ａ…文字データベース、２１…推定部、２２…支援部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】