(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-17
(45)【発行日】2023-08-25
(54)【発明の名称】画像データ生成システム、画像データ生成方法及びコンピュータプログラム
(51)【国際特許分類】
H04N 1/387 20060101AFI20230818BHJP
H04N 1/00 20060101ALI20230818BHJP
【FI】
H04N1/387 110
H04N1/00 L
H04N1/00 127A
H04N1/00 Z
(21)【出願番号】P 2020012639
(22)【出願日】2020-01-29
【審査請求日】2022-08-09
(73)【特許権者】
【識別番号】399035766
【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(74)【代理人】
【識別番号】100141139
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100108453
【氏名又は名称】村山 靖彦
(72)【発明者】
【氏名】桜井 伝治
(72)【発明者】
【氏名】莊司 哲史
(72)【発明者】
【氏名】増田 竜太
【審査官】豊田 好一
(56)【参考文献】
【文献】特開2015-011587(JP,A)
【文献】特開2018-036998(JP,A)
【文献】特開2008-059546(JP,A)
【文献】特開2019-091984(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 1/387
H04N 1/00
(57)【特許請求の範囲】
【請求項1】
ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定部と、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成部と、を備え、前記特定部は、前記画像データと、事前に登録されている1以上の文書の登録画像データとの類似度を算出し、算出した類似度が閾値以上の登録画像データを用いて、前記画像データの前記記載領域を特定する画像データ生成装置と、前記画像データ生成装置で使用する登録画像データを登録する画像データ登録装置とを備える画像データ生成システムであって、
前記画像データ登録装置は、
ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定部と、
前記特定部によって特定された前記記載領域の位置情報と、前記記載対象項目を表す文字列と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録する登録部と、
を備え、
前記画像データ生成装置の特定部は、前記画像データと、前記画像データ登録装置によって登録されている1以上の前記登録画像データとを用いて、前記画像データの前記記載領域を特定し、
前記画像データ生成装置の画像データ生成部は、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成システム。
【請求項2】
前記登録部は、前記画像データを画面上に表示させ、前記画面上でユーザによって指定された記載対象項目を表す文字列の領域及び前記記載対象項目を表す文字列に対する前記記載領域の位置情報と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録する、請求項
1に記載の画像データ生成システム。
【請求項3】
前記画像データの前記記載領域には、前記記載対象項目を表す文字列を特定するための特定文字列が記載されており、
前記登録部は、前記画像データから前記特定文字列及び前記特定文字列の領域の位置情報を前記記載領域として取得し、取得した前記記載領域の位置情報と、前記特定文字列で特定された前記記載対象項目を表す文字列と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録する、請求項
1に記載の画像データ生成システム。
【請求項4】
前記画像データ登録装置の特定部は、画像データから得られる記載対象項目を表す文字列の領域と、前記記載領域の候補領域との位置関係から各前記記載対象項目を表す文字列に対する前記記載領域を特定、又は、前記画像データに基づいて前記記載対象項目を表す文字列を推定し、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域の位置情報を出力するように学習されたモデルを用いて、推定した前記記載対象項目を表す文字列に対する前記記載領域を特定する、請求項
1に記載の画像データ生成システム。
【請求項5】
ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定部と、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成部と、を備え、前記特定部は、前記画像データと、事前に登録されている1以上の文書の登録画像データとの類似度を算出し、算出した類似度が閾値以上の登録画像データを用いて、前記画像データの前記記載領域を特定する画像データ生成装置と、前記画像データ生成装置で使用する登録画像データを登録する画像データ登録装置とを備える画像データ生成システムが行う画像データ生成方法であって、
前記画像データ登録装置が、ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定し、
前記画像データ登録装置が、特定された前記記載領域の位置情報と、前記記載対象項目を表す文字列と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録し、
前記画像データ生成装置が、前記画像データと、前記画像データ登録装置によって登録されている1以上の前記登録画像データとを用いて、前記画像データの前記記載領域を特定し、
前記画像データ生成装置が、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成方法。
【請求項6】
ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定部と、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成部と、を備え、前記特定部は、前記画像データと、事前に登録されている1以上の文書の登録画像データとの類似度を算出し、算出した類似度が閾値以上の登録画像データを用いて、前記画像データの前記記載領域を特定する画像データ生成装置と、前記画像データ生成装置で使用する登録画像データを登録する画像データ登録装置とを備える画像データ生成システムとしてコンピュータを機能させるためのコンピュータプログラムであって、
前記画像データ登録装置として機能するコンピュータに対して、
ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定ステップと、
前記特定ステップにおいて特定された前記記載領域の位置情報と、前記記載対象項目を表す文字列と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録する登録ステップと、
を実行させ、
前記画像データ生成装置として機能するコンピュータに対して、
前記画像データと、前記画像データ登録装置によって登録されている1以上の前記登録画像データとを用いて、前記画像データの前記記載領域を特定する特定ステップと、
特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成ステップと、
を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データ生成システム、画像データ生成方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
サービスの申し込みや、名簿情報及び登記事項等の変更では、必要な情報を文書に記載して提出することが一般的である。特に、このような文書への情報の記載は、手書きにより行われることが多い。しかしながら、記載する分量や枚数によってはユーザの大きな負担となる。そこで、従来、文書をスキャナ等で読み込み、読み込んだ文書のファイルに対してパソコンにより文字入力を行うことができる技術が提案されている(例えば、非特許文献1参照)。
【先行技術文献】
【非特許文献】
【0003】
【文献】“さよなら手書き 6 / 6 Pro”、SOURCENEXT、[令和2年1月6日検索]、インターネット(URL: https://www.sourcenext.com/product/pc/use/pc_use_002772/?i=rd&i=yss_sem_tegaki6&utm_source=yss&utm_medium=sem&utm_campaign=tegaki6&utm_term=name&argument=HGtSAqRz&dmai=a5dde02bbc4485&yclid=YSS.1000399450.EAIaIQobChMI4MT4gOft5gIVFz5gCh1O7wmxEAAYASAAEgKF4fD_BwE#argument=HGtSAqRz&ai=a5dde02bbc4485)
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記の非特許文献1の技術では、パソコンにより入力された文字情報を文書に印刷することができる。しかしながら、非特許文献1の技術であっても、文字の入力は全てユーザが行う必要があるため、入力する分量や枚数によってはユーザの負担を低減させることができないという問題があった。
【0005】
上記事情に鑑み、本発明は、ユーザの負担を低減させることができる技術の提供を目的としている。
【課題を解決するための手段】
【0006】
本発明の一態様は、ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定部と、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成部と、を備える画像データ生成装置である。
【0007】
本発明の一態様は、上記の画像データ生成装置であって、前記特定部は、前記画像データから得られる前記記載対象項目を表す文字列の領域と、前記記載領域の候補領域との位置関係から各前記記載対象項目を表す文字列に対する前記記載領域を特定する。
【0008】
本発明の一態様は、上記の画像データ生成装置であって、前記特定部は、前記画像データに基づいて前記記載対象項目を表す文字列を推定し、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域の位置情報を出力するように学習されたモデルを用いて、推定した前記記載対象項目を表す文字列に対する前記記載領域を特定する。
【0009】
本発明の一態様は、上記の画像データ生成装置であって、前記特定部は、前記画像データと、事前に登録されている1以上の文書の登録画像データとの類似度を算出し、算出した類似度が閾値以上の登録画像データを用いて、前記画像データの前記記載領域を特定する。
【0010】
本発明の一態様は、上記の画像データ生成装置であって、前記ユーザ情報を取得するユーザ情報取得部をさらに備え、前記ユーザ情報取得部は、外部の装置、前記ユーザが所持する証明書に付与されているメモリ、前記証明書、記憶部及び音声入力のいずれか又は全てから前記ユーザ情報を取得する。
【0011】
本発明の一態様は、上記の画像データ生成装置と、前記画像データ生成装置で使用する登録画像データを登録する画像データ登録装置とを備える画像データ生成システムであって、前記画像データ登録装置は、ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定部と、前記特定部によって特定された前記記載領域の位置情報と、前記記載対象項目を表す文字列と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録する登録部と、を備え、前記画像データ生成装置の特定部は、前記画像データと、前記画像データ登録装置によって登録されている1以上の前記登録画像データとを用いて、前記画像データの前記記載領域を特定し、前記画像データ生成装置の画像データ生成部は、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成システムである。
【0012】
本発明の一態様は、上記の画像データ生成システムであって、前記登録部は、前記画像データを画面上に表示させ、前記画面上でユーザによって指定された記載対象項目を表す文字列の領域及び前記記載対象項目を表す文字列に対する前記記載領域の位置情報と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録する。
【0013】
本発明の一態様は、上記の画像データ生成システムであって、前記画像データの前記記載領域には、前記記載対象項目を表す文字列を特定するための特定文字列が記載されており、前記登録部は、前記画像データから前記特定文字列及び前記特定文字列の領域の位置情報を前記記載領域として取得し、取得した前記記載領域の位置情報と、前記特定文字列で特定された前記記載対象項目を表す文字列と、前記画像データとを対応付けて前記登録画像データとして前記画像データ生成装置に登録する。
【0014】
本発明の一態様は、上記の画像データ生成システムであって、前記画像データ登録装置の特定部は、画像データから得られる記載対象項目を表す文字列の領域と、前記記載領域の候補領域との位置関係から各前記記載対象項目を表す文字列に対する前記記載領域を特定、又は、前記画像データに基づいて前記記載対象項目を表す文字列を推定し、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域の位置情報を出力するように学習されたモデルを用いて、推定した前記記載対象項目を表す文字列に対する前記記載領域を特定する。
【0015】
本発明の一態様は、ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定し、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成方法である。
【0016】
本発明の一態様は、ユーザに関するユーザ情報の記載が必要な記載対象項目を表す文字列を複数有する文書の画像データを用いて、前記記載対象項目を表す文字列に対する前記ユーザ情報の記載領域を特定する特定ステップと、特定された前記記載領域に対して、前記ユーザ情報を合成することによって記載済み文書画像データを生成する画像データ生成ステップと、をコンピュータに実行させるためのコンピュータプログラムである。
【発明の効果】
【0017】
本発明により、ユーザの負担を低減させることが可能となる。
【図面の簡単な説明】
【0018】
【
図1】本発明における画像データ生成システムの構成を表す構成図である。
【
図2】第1の実施形態における画像データ生成装置の機能構成を表す概略ブロック図である。
【
図3】第1の実施形態におけるユーザ情報テーブルの一具体例を示す図である。
【
図4】第1の実施形態における照合データテーブルの一具体例を示す図である。
【
図5】第1の実施形態における画像データ生成装置の画像データ生成処理の流れを示すフローチャートである。
【
図6】第2の実施形態における画像データ生成装置の機能構成を表す概略ブロック図である。
【
図7】第2の実施形態における画像データ生成装置の画像データ生成処理の流れを示すフローチャートである。
【
図8】第3の実施形態における画像データ生成システムの構成を表す構成図である。
【
図9】第3の実施形態における画像データ登録装置の機能構成を表す概略ブロック図である。
【
図10】第3の実施形態における画像データ生成装置の機能構成を表す概略ブロック図である。
【
図11】第3の実施形態における画像データ生成装置の画像データ生成処理の流れを示すフローチャートである。
【
図12】第4の実施形態における画像データ生成装置の機能構成を表す概略ブロック図である。
【
図13】第4の実施形態における画像データ生成装置の画像データ生成処理の流れを示すフローチャートである。
【
図14】第5の実施形態における画像データ生成装置の機能構成を表す概略ブロック図である。
【
図15】第5の実施形態における画像データ生成装置の画像データ生成処理の流れを示すフローチャートである。
【
図16】第6の実施形態における画像データ生成装置の機能構成を表す概略ブロック図である。
【
図17】第6の実施形態における画像データ生成装置の画像データ生成処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、本発明の一実施形態を、図面を参照しながら説明する。
図1は、本発明における画像データ生成システム100の構成を表す構成図である。画像データ生成システム100は、画像データ生成装置10、サーバ20及び印刷装置30を備える。画像データ生成装置10、サーバ20及び印刷装置30は、ネットワーク40を介して通信可能に接続される。ネットワーク40は、どのように構成されたネットワークであってもよい。例えば、ネットワーク40は、インターネットで構成される。
【0020】
画像データ生成装置10は、文書の画像データと、ユーザ情報とを用いて、文書の画像データに対してユーザ情報が合成された記載済み文書画像データを生成する。文書は、ユーザ情報の記載が必要な記載対象項目を表す文字列(以下「対象項目文字列」という。)を複数有する文書である。文書は、例えば、帳票、契約書等である。これらは一例であり、文書は、対象項目文字列を複数有する文書であればどのような文書であってもよい。ユーザ情報は、ユーザの属性に関する情報であり、例えばユーザの氏名、住所、電話番号、生年月日等である。対象項目文字列とは、ユーザ情報の記載が必要な項目を表す文字列であり、例えば氏名、住所、電話番号、生年月日等の文字列である。
【0021】
画像データ生成装置10は、記載済み文書画像データの生成機能を備える通信装置又は印刷装置である。画像データ生成装置10が記載済み文書画像データの生成機能を備える通信装置である場合、画像データ生成装置10は例えばスマートフォン、携帯電話、タブレット端末等の情報処理装置を用いて構成される。画像データ生成装置10が記載済み文書画像データの生成機能を備える印刷装置である場合、画像データ生成装置10は例えばプリンタや複合機等を用いて構成される。
【0022】
サーバ20は、画像データ生成装置10によって生成された記載済み文書画像データを保持する。サーバ20は、例えば、記載済み文書画像データと、記載済み文書画像データを特定するための特定情報とを対応付けて保持する。特定情報は、例えばID(identification)やパスワードであってもよいし、記載済み文書画像データが保存されているアドレス情報であってもよいし、IDやパスワード又は記載済み文書画像データが保存されているアドレス情報等がコード化されたコード情報(例えば、一次元バーコードや二次元バーコード)であってもよい。サーバ20は、ネットワーク40上のクラウドサーバである。サーバ20は、例えばパーソナルコンピュータ等の情報処理装置を用いて構成される。
【0023】
印刷装置30は、記載済み文書画像データの印刷を行う。印刷装置30は、例えば複合機であってもよいし、プリンタであってもよい。印刷装置30は、コンビニエンスストアや役所等に設置される。
【0024】
次に、
図1を用いて、本発明における画像データ生成システム100の一連の流れについて一例を挙げて説明する。
画像データ生成装置10は、ユーザが所持する証明書1から又はユーザによる手動の入力によりユーザ情報を取得する(
図1の(1))。証明書1は、例えば運転免許証、マイナンバーカード、健康保険証等である。画像データ生成装置10が証明書1からユーザ情報を取得する方法としては、例えば証明書1がマイナンバーカードであればマイナンバーカードの記憶領域(メモリ)から読み出す方法、OCR(Optical Character Reader)によりテキスト化して取得する方法、証明書1の情報を用いてネットワーク40を介して外部から取得する方法等が挙げられる。
【0025】
次に、画像データ生成装置10は、文書を撮影又は読み込むことによって文書の画像データを取得する(
図1の(2))。画像データ生成装置10は、取得した文書の画像データに対して、取得したユーザ情報を合成することによって記載済み文書画像データを生成する。具体的には、画像データ生成装置10は、文書の画像データ上で対象項目文字列に対するユーザ情報の記載領域を特定し、特定した記載領域に対して、対象項目文字列で特定されるユーザ情報を合成することによって記載済み文書画像データを生成する。例えば、画像データ生成装置10は、対象項目文字列が“氏名”である場合、“氏名”に対応する記載領域に、取得したユーザ情報に含まれる“氏名”の情報を合成する。一般的な文書では、対象項目文字列及び記載領域のいずれか又は両方が枠で囲まれているパターンと、枠で囲まれていないパターンとが存在する。画像データ生成装置10は、いずれのパターンであっても適用可能である。具体的な構成については後述する。ここで、枠で囲まれているとは、対象項目文字列及び記載領域のそれぞれが四方を枠で囲まれていることを意味する。
【0026】
画像データ生成装置10は、生成した記載済み文書画像データを、ネットワーク40を介してサーバ20に送信する(
図1の(3))。
サーバ20は、画像データ生成装置10から送信された記載済み文書画像データを受信する。サーバ20は、受信した記載済み文書画像データを、特定情報に対応付けて保持する。その後、サーバ20は、特定情報を、ネットワーク40を介して画像データ生成装置10に送信する(
図1の(4))。例えば、サーバ20は、特定情報としてID及びパスワードを送信したとする。
【0027】
画像データ生成装置10は、サーバ20から送信された特定情報を受信する。画像データ生成装置10は、受信した特定情報を画面上に表示する。ユーザは、画像データ生成装置10の画面上に表示された特定情報(例えば、ID及びパスワード)を印刷装置30に入力する(
図1の(5))。
印刷装置30は、入力された特定情報を、ネットワーク40を介してサーバ20に送信する(
図1の(6))。
【0028】
サーバ20は、印刷装置30から送信された特定情報を受信する。サーバ20は、受信した特定情報で特定される記載済み文書画像データを取得する。例えば、サーバ20は、受信したID及びパスワードで特定される記載済み文書画像データを取得する。サーバ20は、取得した記載済み文書画像データを印刷装置30に送信する(
図1の(7))。
【0029】
印刷装置30は、サーバ20から送信された記載済み文書画像データを受信する。印刷装置30は、受信した記載済み文書画像データを画面上に表示し、ユーザから印刷実行の指示を受け付ける。印刷実行の指示が入力されると、印刷装置30は記載済み文書画像データを印刷する。これにより、ユーザは、ユーザ情報が記載された記載済み文書3を取得することができる(
図1の(8))。記載済み文書3には、対象項目文字列に対応する記載領域にユーザ情報が記載されて印刷されている。これにより、ユーザが全てを手書きにより記入する必要がなくなる。そのため、ユーザの負担を低減させることが可能になる。
【0030】
以下、本発明における画像データ生成装置10の具体的な構成(第1の実施形態~第6の実施形態)について説明する。第1の実施形態~第3の実施形態では、画像データ生成装置10が画像データの生成機能を備える通信装置である場合について説明し、第4の実施形態~第6の実施形態では、画像データ生成装置10が画像データの生成機能を備える印刷装置である場合について説明する。
【0031】
(第1の実施形態)
第1の実施形態では、通信装置としての画像データ生成装置が撮影する文書の書類様式として、対象項目文字列と記載領域のそれぞれが枠で囲まれているものを用いる場合について説明する。
図2は、第1の実施形態における画像データ生成装置10の機能構成を表す概略ブロック図である。
画像データ生成装置10は、通信部11、カメラ12、表示部13、操作部14、制御部15及び記憶部16を備える。
【0032】
通信部11は、ネットワーク40を介してサーバ20との間で通信を行う。通信部11は、記載済み文書画像データをサーバ20に送信する。通信部11は、サーバ20から送信された特定情報を受信する。
カメラ12は、ユーザの操作に応じて文書を撮影する。
【0033】
表示部13は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の画像表示装置である。表示部13は、各種情報を表示する。表示部13は、例えば記載済み文書画像データや特定情報を表示する。表示部13は、画像表示装置を画像データ生成装置10に接続するためのインタフェースであってもよい。この場合、表示部13は、記載済み文書画像データや特定情報を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。
【0034】
操作部14は、ユーザの指示を画像データ生成装置10に入力するための入力装置である。操作部14は、例えば記載済み文書画像データの修正指示や特定情報の表示指示の入力を受け付ける。操作部14は、キーボード、タッチパネル、ボタン等の既存の入力装置を用いて構成される。また、操作部14は、入力装置を画像データ生成装置10に接続するためのインタフェースであってもよい。この場合、操作部14は、入力装置においてユーザの入力に応じて生成された入力信号を画像データ生成装置10に入力する。
【0035】
制御部15は、CPU(Central Processing Unit)等のプロセッサやメモリを用いて構成される。制御部15は、プログラムを実行することによって、画像データ取得部151、特定部152、画像データ生成部153、登録部154及び通信制御部155の機能を実現する。これらの機能の一部(例えば、画像データ取得部151、特定部152、画像データ生成部153及び登録部154)は、予め画像データ生成装置10に搭載されている必要はなく、追加のアプリケーションプログラムが画像データ生成装置10にインストールされることで実現されてもよい。
【0036】
画像データ取得部151は、カメラ12によって撮影された文書の画像データを取得する。
特定部152は、画像データ取得部151によって取得された文書の画像データを用いて、対象項目文字列に対するユーザ情報の記載領域を特定する。具体的には、特定部152は、画像データから得られる対象項目文字列を表す領域(以下「項目文字列領域」という。)と、記載領域の候補領域との位置関係から各対象項目文字列に対する記載領域を特定する。
【0037】
画像データ生成部153は、特定部152によって特定された記載領域に対して、ユーザ情報を合成することによって記載済み文書画像データを生成する。画像データ生成部153は、例えば記載領域に対して、記憶部16に記憶されているユーザ情報を合成することによって記載済み文書画像データを生成する。ここで、画像データ生成部153が行う合成とは、画像データ上の記載領域に対して、ユーザ情報を重畳することを意味する。
【0038】
登録部154は、特定部152によって特定された対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとを対応付けて登録画像データとして記憶部16に登録する。第1の実施形態では、登録部154は、記載領域の位置情報として、枠を指定可能な情報(例えば、座標、高さ及び幅)を用いる。
通信制御部155は、通信部11を制御する。例えば、通信制御部155は、通信部11を制御して、記載済み文書画像データをサーバ20に送信させる。
【0039】
記憶部16は、ユーザ情報テーブル161、照合データテーブル162及び登録画像データ163を記憶する。ユーザ情報テーブル161は、ユーザの属性に関する情報が登録されたテーブルである。ユーザ情報テーブル161は、
図3に示すような形式で記憶部16に記憶されてもよい。照合データテーブル162は、対象項目文字列に関する情報が登録されたテーブルである。照合データテーブル162は、
図4に示すような形式で記憶部16に記憶されてもよい。登録画像データ163は、特定部152によって特定された対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとが対応付けられたデータである。登録画像データ163は、例えばxml(Extensible Markup Language)ファイルのデータ形式で記憶部16に記憶されてもよい。記憶部16は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
【0040】
図3は、第1の実施形態におけるユーザ情報テーブル161の一具体例を示す図である。
ユーザ情報テーブル161は、ユーザID、属性種別及び登録内容の各値が対応付けられた複数のレコードで構成される。ユーザIDは、ユーザを識別するための識別情報を表す。属性種別は、ユーザの属性の種別を表す。例えば、属性種別は、ユーザの氏名、住所、電話番号、生年月日、年齢、性別等である。登録内容は、ユーザに登録又は証明書に基づいて登録されたユーザの情報を表す。第1の実施形態では、ユーザ情報テーブル161には、属性種別に対応する登録内容が事前にユーザによって登録されているものとして説明する。
【0041】
図3に示すように、ユーザ情報テーブル161には、ユーザID毎に属性種別に応じたユーザの情報が登録されている。例えば、
図3に示すユーザ情報テーブル161には、ユーザID“AAA”で識別されるユーザは、氏名が“△△ △△”、住所が“〇〇 〇〇”、電話番号が“XXX-XXX”、生年月日が“YY:MM:DD”であることが登録されている。このように、属性種別に応じたユーザ情報が登録されることにより、対象項目文字列に対応するユーザ情報が選択可能である。
【0042】
図4は、第1の実施形態における照合データテーブル162の一具体例を示す図である。
照合データテーブル162は、対象項目文字列及び対象項目文字列に関連する文字列の各値が対応付けられた複数のレコードで構成される。対象項目文字列は、ユーザ情報の記載が必要な対象項目文字列を表す文字列を表す。対象項目文字列に関連する文字列は、対象項目文字列を特定するための文字列を表す。対象項目文字列に関連する文字列が複数登録されることによって、文書に記載されている対象項目文字列を特定する際の揺らぎに対応することができる。
【0043】
例えば、
図4に示す例では、特定部152によって画像データから認識された文字列が“氏名、名前、性、名、Name”のいずれかに該当する場合、認識された文字列に対応する対象項目文字列が“氏名”であると特定されることが表されている。例えば、
図4に示す例では、特定部152によって画像データから認識された文字列が“住所、居所、所在地、アドレス、Address”のいずれかに該当する場合、認識された文字列に対応する対象項目文字列が“住所”であると特定されることが表されている。
【0044】
図5は、第1の実施形態における画像データ生成装置10の画像データ生成処理の流れを示すフローチャートである。
カメラ12は、ユーザの操作に応じて、文書を撮影する(ステップS101)。カメラ12は、撮影した文書の画像データを制御部15に出力する。画像データ取得部151は、カメラ12から出力された画像データを取得する(ステップS102)。特定部152は、画像データ取得部151によって取得された画像データを用いて、画像データ内の文字列と枠線(例えば、枠で囲まれた領域の位置)とを特定する(ステップS103)。具体的には、特定部152は、既存のOCR技術により、画像データ内の文字列と枠線(例えば、枠で囲まれた領域の位置)とを特定する。これにより、対象項目文字列及び記載領域のそれぞれが枠で囲まれている場合には、特定部152は項目文字列領域及び記載領域を示す枠線を特定する。対象項目文字列が枠で囲まれている場合には、特定部152は項目文字列領域を示す枠線を特定する。記載領域が枠で囲まれている場合には、特定部152は記載領域を示す枠線を特定する。
【0045】
次に、特定部152は、照合データテーブル162を参照し、特定した文字列から対象項目文字列を特定する(ステップS104)。具体的には、まず特定部152は、記憶部16から照合データテーブル162を読み出す。次に、特定部152は、特定した文字列のそれぞれと、読み出した照合データテーブル162の対象項目文字列に関連する文字列の項目に登録されている文字列とを照合する。そして、特定部152は、特定した文字列に合致した文字列が登録されている対象項目文字列に関連する文字列の項目に対応付けられている対象項目文字列の値を取得する。例えば、特定部152は、特定した文字列が“名前”である場合、対象項目文字列に関連する文字列の項目に対応付けられている対象項目文字列の値として“氏名”を取得する。このように、特定部152は、特定した文字列から対象項目文字列を特定する。
【0046】
特定部152は、特定した対象項目文字列に対応する記載領域を特定する(ステップS105)。具体的には、特定部152は、項目文字列領域と、特定された枠線で表される記載領域の候補領域との位置関係から各対象項目文字列に対する記載領域を特定する。より具体的には、特定部152は、対象項目文字列に関する文字列(例えば、“氏名”)を含む項目文字列領域の枠の位置と、周辺の枠の位置関係からルールベースにより各対象項目文字列に対する記載領域を特定する。例えば、特定部152は、対象項目文字列に関連する文字列を含む項目文字列領域の枠の右隣にある空枠が、対象項目文字列に対応する記載領域であるといったルールに基づいて記載領域を特定する。
【0047】
画像データ生成部153は、ユーザ情報を用いて、記載済み文書画像データを生成する(ステップS106)。具体的には、まず画像データ生成部153は、ユーザ情報テーブル161を参照し、ステップS104の処理で特定された対象項目文字列に対応する属性種別に対応付けられた登録内容の値を取得する。
図3の例では、ステップS104の処理で特定された対象項目文字列が“氏名”、“住所”、“電話番号”である場合、画像データ生成部153はユーザ情報テーブル161から属性種別“氏名”、“住所”、“電話番号”に対応付けられた登録内容“△△ △△”、“〇〇 〇〇”、“XXX-XXX”の値を取得する。次に、画像データ生成部153は、画像データ上の特定した記載領域の位置に、取得した値を合成することによって記載済み文書画像データを生成する。例えば、画像データ生成部153は、対象項目文字列“氏名”に対応する記載領域に、属性種別“氏名”に対応付けられた登録内容“△△ △△”を合成し、対象項目文字列“住所”に対応する記載領域に、属性種別“住所”に対応付けられた登録内容“〇〇 〇〇”を合成し、対象項目文字列“電話番号”に対応する記載領域に、属性種別“氏名”に対応付けられた登録内容“XXX-XXX”を合成することによって記載済み文書画像データを生成する。
【0048】
画像データ生成部153は、生成した記載済み文書画像データを通信制御部155に出力する。通信制御部155は、通信部11を制御して、画像データ生成部153から出力された記載済み文書画像データをサーバ20に送信することで記載済み文書画像データを保存する(ステップS107)。
なお、登録部154は、画像データ生成部153によって生成された記載済み文書画像データを表示部13に表示し、ユーザの修正を受け付けてもよい。ユーザから修正がなかった場合、すなわち記載済み文書画像データへの変更指示がなかった場合には、登録部154は特定部152によって特定された対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとを対応付けて登録画像データとして記憶部16に登録する。一方、ユーザから修正がなされた場合、すなわち記載済み文書画像データへの変更指示があった場合には、登録部154は修正後の対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとを対応付けて登録画像データとして記憶部16に登録する。
【0049】
以上のように構成された画像データ生成装置10によれば、ユーザの負担を低減させることが可能となる。具体的には、画像データ生成装置10は、文書の画像データを用いて、対象項目文字列に対する情報の記載領域を特定し、特定した記載領域に対して、ユーザ情報を合成することによって記載済み文書画像データを生成する。これにより、ユーザが全てを手書きにより記入する必要がなくなる。そのため、ユーザの負担を低減させることが可能になる。
【0050】
<第1の実施形態の変形例>
本実施形態では、ユーザ情報が事前に登録されている場合を例に説明したが、画像データ生成装置10はユーザ情報を他の方法で取得してもよい。例えば、画像データ生成装置10は、ユーザ情報を、ネットワーク40を介して外部の装置から取得してもよいし、証明書1から取得してもよいし、音声認識により取得してもよい。ネットワーク40を介して外部の装置からユーザ情報を取得する場合、画像データ生成装置10は記憶領域を有する証明書1(例えば、マイナンバーカード)の情報を用いて外部の装置にアクセスしてユーザ情報を取得するユーザ情報取得部を備える。証明書1からユーザ情報を取得する場合、画像データ生成装置10は証明書1の画像データに対してOCR技術を用いてテキスト化してユーザ情報を取得するユーザ情報取得部を備える。音声認識によりユーザ情報を取得する場合、画像データ生成装置10は音声認識により音声をテキスト化してユーザ情報を取得するユーザ情報取得部を備える。
【0051】
特定部152は、対象項目文字列に対するユーザ情報の記載領域の位置情報を出力するように学習されたモデルを用いて記載領域を特定してもよい。
特定部152は、記載領域の特定を行う際に、画像データ取得部151によって取得された画像データと類似する登録画像データが記憶部16に記憶されているか否かを判定し、類似する登録画像データが記憶部16に記憶されている場合には、記憶部16に記憶されている登録画像データ163を用いて記載領域を特定してもよい。登録画像データ163により記載位置を特定する場合、画像データ生成部153は、
図5のステップS106の処理において、取得された画像データに代えて登録画像データ163を用いて記載済み文書画像データを生成してもよい。特定部152は、画像データと類似する登録画像データ163の有無を、画像マッチングにより得られる類似度に基づいて判定する。特定部152は、画像データと、登録画像データ163との類似度を算出し、算出した類似度が閾値以上の登録画像データ163がある場合に類似する登録画像データが記憶部16に記憶されていると判定する。一方、類似度が閾値以上の登録画像データ163がない場合には類似する登録画像データが記憶部16に記憶されていないと判定する。そして、特定部152は、類似度が閾値以上の登録画像データ163が複数ある場合には、類似度が最も高い登録画像データを用いる。
このように構成されることによって、同一の様式の文書では記載領域を推定する必要がない。そのため、記載済み文書画像データの生成までの時間を短縮することができる。
【0052】
画像データ生成装置10が備える一部の機能が別の筐体に実装されてもよい。例えば、画像データ生成装置10が備える記載済み文書画像データの生成機能に対応する機能部(例えば、画像データ取得部151、特定部152、画像データ生成部153、登録部154、ユーザ情報テーブル161、照合データテーブル162及び登録画像データ163)が他の情報処理装置(例えば、サーバ20)に実装されてもよい。この場合、記載済み文書画像データの生成機能を備えた他の情報処理装置が、画像データ生成装置として機能する。このように構成される場合、画像データ生成装置10は、カメラ12によって取得された画像データを、ネットワーク40を介して他の情報処理装置に送信する。そして、他の情報処理装置において記載済み文書画像データの生成処理(
図5の処理)が実行される。
【0053】
(第2の実施形態)
第2の実施形態では、通信装置としての画像データ生成装置が撮影する文書の書類様式として、少なくとも記載領域が枠で囲まれていないものを用いる場合について説明する。以下、第1の実施形態との相違点についてのみ説明する。
図6は、第2の実施形態における画像データ生成装置10aの機能構成を表す概略ブロック図である。
画像データ生成装置10aは、通信部11、カメラ12、表示部13、操作部14、制御部15a及び記憶部16aを備える。
【0054】
制御部15aは、CPU等のプロセッサやメモリを用いて構成される。制御部15aは、プログラムを実行することによって、画像データ取得部151、特定部152a、画像データ生成部153、登録部154及び通信制御部155の機能を実現する。これらの機能の一部(例えば、画像データ取得部151、特定部152a、画像データ生成部153及び登録部154)は、予め画像データ生成装置10aに搭載されている必要はなく、追加のアプリケーションプログラムが画像データ生成装置10aにインストールされることで実現されてもよい。
【0055】
特定部152aは、画像データに基づいて対象項目文字列を推定し、対象項目文字列に対するユーザ情報の記載領域の位置情報を出力するように学習されたモデルを用いて、推定した対象項目文字列に対する記載領域を特定する。
【0056】
記憶部16aは、ユーザ情報テーブル161、照合データテーブル162、登録画像データ163及びモデルデータ164を記憶する。記憶部16aは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
モデルデータ164は、対象項目文字列に対するユーザ情報の記載領域の位置情報を出力するように学習されたモデルのデータである。モデルデータ164は、各種文書の対象項目文字列で特定される項目名とユーザ情報の記載位置の関係を示す多数のデータを用いて学習することによって生成される。
【0057】
図7は、第2の実施形態における画像データ生成装置10aの画像データ生成処理の流れを示すフローチャートである。
図7において、
図5と同様の処理については
図5と同様の符号を付して説明を省略する。
特定部152aは、画像データ取得部151によって取得された画像データを用いて、画像データ内の文字列とその文字列の位置情報とを特定する(ステップS201)。その後、次に、特定部152aは、照合データテーブル162を参照し、特定した文字列から対象項目文字列を特定する(ステップS104)。特定部152aは、特定した対象項目文字列に対応する記載領域を特定する(ステップS202)。具体的には、特定部152aは、記憶部16aに記憶されているモデルデータ164に対象項目文字列の項目名と、位置情報とを入力として、モデルデータ164から記載領域の位置情報を取得することによって対象項目文字列に対応する記載領域を特定する。その後、画像データ生成装置10aは、ステップS106以降の処理を実行する。
【0058】
以上のように構成された画像データ生成装置10aによれば、第1の実施形態と同様の効果を得ることができる。
また、画像データ生成装置10aは、対象項目文字列に対する情報の記載領域の位置情報を出力するように学習されたモデルを用いて、推定した対象項目文字列に対する記載領域を特定する。これにより、第1の実施形態のように、記載領域が枠に囲まれていない場合であっても、記載領域を特定することができる。そのため、ユーザの負担を低減させることが可能となる。
【0059】
<第2の実施形態の変形例>
本実施形態では、ユーザ情報が事前に登録されている場合を例に説明したが、画像データ生成装置10aはユーザ情報を他の方法で取得してもよい。例えば、画像データ生成装置10aは、ユーザ情報を、ネットワーク40を介して外部の装置から取得してもよいし、証明書1から取得してもよいし、音声認識により取得してもよい。他の方法の具体的な手法については、第1の実施形態と同様であるため説明を省略する。
【0060】
画像データ生成装置10aが備える一部の機能が別の筐体に実装されてもよい。例えば、画像データ生成装置10aが備える記載済み文書画像データの生成機能に対応する機能部(例えば、画像データ取得部151、特定部152a、画像データ生成部153、登録部154、ユーザ情報テーブル161、照合データテーブル162、登録画像データ163及びモデルデータ164)が他の情報処理装置(例えば、サーバ20)に実装されてもよい。この場合、記載済み文書画像データの生成機能を備えた他の情報処理装置が、画像データ生成装置として機能する。このように構成される場合、画像データ生成装置10aは、カメラ12によって取得された画像データを、ネットワーク40を介して他の情報処理装置に送信する。そして、他の情報処理装置において記載済み文書画像データの生成処理(
図7の処理)が実行される。
【0061】
(第3の実施形態)
第3の実施形態では、通信装置としての画像データ生成装置が、予め登録されている登録画像データを用いて記載領域を特定する構成について説明する。登録画像データは、画像データ生成装置とは異なる装置によって生成されて画像データ生成装置に登録される。以下、各実施形態との相違点についてのみ説明する。
図8は、第3の実施形態における画像データ生成システム100bの構成を表す構成図である。画像データ生成システム100bは、画像データ生成装置10b、サーバ20、印刷装置30及び画像データ登録装置50を備える。画像データ生成装置10b、サーバ20、印刷装置30及び画像データ登録装置50は、ネットワーク40を介して通信可能に接続される。なお、画像データ生成装置10bと画像データ登録装置50とは、有線又は無線により直接接続されてもよい。
【0062】
画像データ登録装置50は、画像データ生成装置10bで使用する登録画像データを画像データ生成装置10bに登録する。画像データ生成装置10bで使用する登録画像データは、対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとが対応付けられたデータである。画像データ登録装置50は、例えばスマートフォン、携帯電話、タブレット端末、パーソナルコンピュータ等の情報処理装置を用いて構成される。
【0063】
画像データ生成装置10bは、文書の画像データと、ユーザ情報と、画像データ登録装置50によって事前に登録された登録画像データとを用いて、記載済み文書画像データを生成する。
【0064】
図9は、第3の実施形態における画像データ登録装置50の機能構成を表す概略ブロック図である。
画像データ登録装置50は、通信部51、カメラ52、表示部53、操作部54、制御部55及び記憶部56を備える。
【0065】
通信部51は、直接又はネットワーク40を介して画像データ生成装置10bとの間で通信を行う。通信部51は、登録画像データを画像データ生成装置10bに送信する。
カメラ52は、ユーザの操作に応じて文書を撮影する。
表示部53は、液晶ディスプレイ、有機ELディスプレイ等の画像表示装置である。表示部53は、各種情報を表示する。表示部53は、例えば画像データを表示する。表示部53は、画像表示装置を画像データ登録装置50に接続するためのインタフェースであってもよい。この場合、表示部53は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。
【0066】
操作部54は、ユーザの指示を画像データ登録装置50に入力するための入力装置である。操作部54は、例えば項目文字列領域及び記載領域を指定する指示や記載領域の修正指示の入力を受け付ける。操作部54は、キーボード、タッチパネル、ボタン等の既存の入力装置を用いて構成される。また、操作部54は、入力装置を画像データ登録装置50に接続するためのインタフェースであってもよい。この場合、操作部54は、入力装置においてユーザの入力に応じて生成された入力信号を画像データ登録装置50に入力する。
【0067】
制御部55は、CPU等のプロセッサやメモリを用いて構成される。制御部55は、プログラムを実行することによって、画像データ取得部551、特定部552、登録部553、表示制御部554及び通信制御部155の機能を実現する。これらの機能の一部(例えば、画像データ取得部551、特定部552、登録部553、表示制御部554及び通信制御部155)は、予め画像データ登録装置50に搭載されている必要はなく、追加のアプリケーションプログラムが画像データ登録装置50にインストールされることで実現されてもよい。
【0068】
画像データ取得部551は、カメラ52によって撮影された文書の画像データを取得する。
特定部552は、画像データ取得部551によって取得された文書の画像データを用いて、対象項目文字列に対するユーザ情報の記載領域を特定する。特定部552は、特定した記載領域の位置情報と、対象項目文字列と、画像データとを登録部553に出力する。特定部552が記載領域を特定する方法としては、以下のような3つの方法が挙げられる。
【0069】
第1の方法として、ユーザによって項目文字列領域及び対象項目文字列に対する記載領域を指定させる方法である。第1の方法の場合、まず特定部552は、画像データ取得部551によって取得された文書の画像データを表示制御部554により表示部53の画面上に表示させる。次に、画面上でユーザによって指定された項目文字列領域及び対象項目文字列に対する記載領域の位置情報により記載領域を特定する。
【0070】
第2の方法として、ユーザが事前に文書の記載領域に対して対象項目文字列を特定するための特定の文字列(例えば、項目名など)を記載して、その特定の文字列を読み取らせる方法である。第2の方法の場合、特定部552は、画像データ取得部551によって取得された文書の画像データから特定の文字列の記載位置を特定する。具体的には、特定部552は、既存のOCR技術により、画像データ内の特定の文字列とその位置情報とを特定する。
【0071】
第3の方法として、第1の実施形態及び第2の実施形態のように記載領域を特定する方法である。この場合、特定部552は、特定部152又は特定部152aと同様の処理を行う。特定部552が特定部152aと同様の方法により記載領域を特定する場合には、画像データ登録装置50はモデルデータ164を記憶する。
【0072】
なお、特定部552は、特定した記載領域の位置情報と、記載領域に対応する対象項目文字列とを表示部53に表示し、特定した記載領域と、記載領域に対応する対象項目文字列との対応関係についてユーザの修正を受け付けてもよい。ユーザから修正がなかった場合、すなわち特定した記載領域と、記載領域に対応する対象項目文字列との対応関係について変更指示がなかった場合には、特定部552は対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとを登録部553に出力する。一方、ユーザから修正がなされた場合、すなわち特定した記載領域と、記載領域に対応する対象項目文字列との対応関係について変更指示があった場合には、登録部553は修正後の対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとを登録部553に出力する。
【0073】
登録部553は、特定部552から出力された対象項目文字列に対する記載領域の位置情報と、対象項目文字列と、画像データとを対応付けて登録画像データとして画像データ生成装置10bに登録する。
表示制御部554は、表示部53の表示を制御する。例えば、表示制御部554は、特定部552の指示に応じて、記載領域の位置情報と、記載領域に対応する対象項目文字列とを表示部53に表示させる。記載領域の位置情報と、記載領域に対応する対象項目文字列は、ユーザの修正を受け付ける際に表示部53に表示される。
通信制御部555は、通信部51を制御する。例えば、通信制御部555は、通信部51を制御して、登録画像データを画像データ生成装置10bに送信させる。
【0074】
記憶部56は、照合データテーブル561を記憶する。照合データテーブル561は、対象項目文字列に関する情報が登録されたテーブルである。照合データテーブル561の具体的な構成は、第1の実施形態及び第2の実施形態と同様であるため説明を省略する。記憶部56は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
【0075】
図10は、第3の実施形態における画像データ生成装置10bの機能構成を表す概略ブロック図である。
画像データ生成装置10bは、通信部11b、カメラ12、表示部13、操作部14、制御部15b及び記憶部16bを備える。
【0076】
通信部11bは、ネットワーク40を介してサーバ20との間で通信を行う。通信部11bは、直接又はネットワーク40を介して画像データ登録装置50との間で通信を行う。通信部11bは、登録画像データを画像データ登録装置50から受信する。
【0077】
制御部15bは、CPU等のプロセッサやメモリを用いて構成される。制御部15bは、プログラムを実行することによって、画像データ取得部151b、特定部152b、画像データ生成部153及び通信制御部155の機能を実現する。これらの機能の一部(例えば、画像データ取得部151b、特定部152b及び画像データ生成部153)は、予め画像データ生成装置10bに搭載されている必要はなく、追加のアプリケーションプログラムが画像データ生成装置10bにインストールされることで実現されてもよい。
【0078】
画像データ取得部151bは、カメラ12によって撮影された文書の画像データ及び通信部11bによって受信された登録画像データを取得する。画像データ取得部151bは、取得した登録画像データを記憶部16bに記憶させる。
特定部152bは、画像データと、記憶部16bに記憶されている1以上の文書の登録画像データとの類似度を算出し、算出した類似度が閾値以上の登録画像データを用いて、画像データの記載領域を特定する。
【0079】
記憶部16bは、ユーザ情報テーブル161、照合データテーブル162及び登録画像データ163bを記憶する。記憶部16bは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
登録画像データ163bは、画像データ取得部151bによって取得された登録画像データである。
【0080】
図11は、第3の実施形態における画像データ生成装置10bの画像データ生成処理の流れを示すフローチャートである。
図11において、
図5と同様の処理については
図5と同様の符号を付して説明を省略する。なお、
図11の処理実行時には、画像データ生成装置10bの記憶部16bに登録画像データが事前に登録されているものとする。
カメラ12は、ユーザの操作に応じて、文書を撮影する(ステップS301)。カメラ12は、撮影した文書の画像データを制御部15bに出力する。画像データ取得部151bは、カメラ12から出力された画像データを取得する(ステップS302)。特定部152bは、取得した画像データと、記憶部16bに記憶されている登録画像データ163bとをそれぞれ照合する(ステップS303)。具体的には、特定部152bは、取得した画像データと、記憶部16bに記憶されている登録画像データ163bそれぞれとを、画像マッチングにより類似度を算出する。
【0081】
特定部152bは、算出した類似度に基づいて、記憶部16bに記憶されている登録画像データ163bの中から1つの登録画像データを選択する(ステップS304)。例えば、特定部152bは、類似度が最も高い登録画像データを選択する。そして、特定部152bは、選択した登録画像データに含まれる記載領域の位置情報に基づいて、取得した画像データの記載領域を特定する(ステップS305)。その後、画像データ生成装置10bは、ステップS106以降の処理を実行する。
【0082】
以上のように構成された画像データ生成装置10bによれば、第1の実施形態と同様の効果を得ることができる。
また、画像データ生成装置10bは、取得した画像データと類似する登録画像データの記載領域の位置情報を用いて、取得した画像データの記載領域を特定する。これにより、画像データの記載領域を特定する処理に要する時間を短縮することができる。そのため、記載済み文書画像データの生成までの時間を短縮することが可能になる。
【0083】
<第3の実施形態の変形例>
本実施形態では、ユーザ情報が事前に登録されている場合を例に説明したが、画像データ生成装置10bはユーザ情報を他の方法で取得してもよい。例えば、画像データ生成装置10bは、ユーザ情報を、ネットワーク40を介して外部の装置から取得してもよいし、証明書1から取得してもよいし、音声認識により取得してもよい。他の方法の具体的な手法については、第1の実施形態と同様であるため説明を省略する。
【0084】
画像データ生成装置10bが備える一部の機能が別の筐体に実装されてもよい。例えば、画像データ生成装置10bが備える記載済み文書画像データの生成機能に対応する機能部(例えば、画像データ取得部151b、特定部152b、画像データ生成部153、ユーザ情報テーブル161、照合データテーブル162及び登録画像データ163b)が他の情報処理装置(例えば、サーバ20)に実装されてもよい。この場合、記載済み文書画像データの生成機能を備えた他の情報処理装置が、画像データ生成装置として機能する。このように構成される場合、画像データ生成装置10bは、カメラ12によって取得された画像データを、ネットワーク40を介して他の情報処理装置に送信する。そして、他の情報処理装置において記載済み文書画像データの生成処理(
図11の処理)が実行される。
【0085】
(第4の実施形態)
第4の実施形態では、印刷装置としての画像データ生成装置が、ユーザ情報を他の方法(例えば、カードリーダで読み込む)で取得する場合について説明する。また、第4の実施形態では、印刷装置としての画像データ生成装置が読み込む文書の書類様式として、対象項目文字列と記載領域のそれぞれが枠で囲まれているものを用いる場合について説明する。以下、各実施形態との相違点についてのみ説明する。
図12は、第4の実施形態における画像データ生成装置10cの機能構成を表す概略ブロック図である。
画像データ生成装置10cは、通信部11、制御部15c、記憶部16c、画像読取部17、コントロールパネル18及びカードリーダ19を備える。なお、カードリーダ19は、画像データ生成装置10cの外部に取り付けられる。
【0086】
画像読取部17は、原稿読み取り台にセットされた読み取り対象の文書を光の明暗として読み取る。例えば、画像読取部17は、原稿読み取り台にセットされた読み取り対象の文書に印刷されている画像を読み取る。画像読取部17は、読み取った画像データを制御部15bに出力する。
コントロールパネル18は、表示部および操作部を備える。表示部は、液晶ディスプレイおよび有機ELディスプレイ等の表示装置である。表示部は、制御部15cの制御に応じて、各種情報を表示する。表示部13は、例えば記載済み文書画像データや特定情報を表示する。操作部は、複数のボタンなどを備える。操作部は、ユーザの操作を受け付ける。操作部は、例えば記載済み文書画像データの修正指示や特定情報の表示指示の入力を受け付ける。なお、表示部と操作部とは一体のタッチパネルとして構成されてもよい。
カードリーダ19は、証明書1の記憶領域に記憶されているユーザ情報を読み取る。
【0087】
制御部15cは、CPU等のプロセッサやメモリを用いて構成される。制御部15cは、プログラムを実行することによって、画像データ取得部151c、特定部152、画像データ生成部153、登録部154、通信制御部155及びユーザ情報取得部156の機能を実現する。これらの機能の一部(例えば、画像データ取得部151c、特定部152、画像データ生成部153、登録部154及びユーザ情報取得部156)は、予め画像データ生成装置10cに搭載されている必要はなく、追加のアプリケーションプログラムが画像データ生成装置10cにインストールされることで実現されてもよい。
【0088】
画像データ取得部151cは、画像読取部17によって読み取られた画像データを取得する。
ユーザ情報取得部156は、カードリーダ19によって読み取られたユーザ情報を取得する。
【0089】
記憶部16cは、ユーザ情報テーブル161c、照合データテーブル162及び登録画像データ163を記憶する。記憶部16cは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
ユーザ情報テーブル161cは、ユーザの属性に関する情報が登録されたテーブルである。ユーザ情報テーブル161cが、第1の実施形態におけるユーザ情報テーブル161と異なる点は、ユーザ情報テーブル161cにユーザ情報が事前に登録されていない点である。ユーザ情報テーブル161cには、ユーザ情報取得部156によって取得されたユーザ情報が登録される。そのため、必ずしもすべての属性種別に対応するユーザ情報が登録されない場合もある。
【0090】
図13は、第4の実施形態における画像データ生成装置10cの画像データ生成処理の流れを示すフローチャートである。
図13において、
図5と同様の処理については
図5と同様の符号を付して説明を省略する。
画像読取部17は、原稿読み取り台にセットされた読み取り対象の文書を読みこむ(ステップS401)。画像読取部17は、文書から読み取った画像データを制御部15bに出力する。画像データ取得部151cは、画像読取部17から出力された画像データを取得する(ステップS402)。カードリーダ19は、証明書1の記憶領域に記憶されているユーザ情報を読み取る(ステップS403)。カードリーダ19は、読み取ったユーザ情報を制御部15bに出力する。ユーザ情報取得部156は、カードリーダ19から出力されたユーザ情報を取得する(ステップS404)。ユーザ情報取得部156は、取得したユーザ情報をユーザ情報テーブル161bに登録する。その後、画像データ生成装置10bは、ステップS103以降の処理を実行する。
【0091】
以上のように構成された画像データ生成装置10cによれば、第1の実施形態と同様の効果を得ることができる。
また、画像データ生成装置10cは、ユーザ情報が事前に登録されていない場合であっても、カードリーダ19で証明書1の記憶領域からユーザ情報を読み取ることによってユーザ情報を取得することができる。これにより、画像データ生成装置10cは、文章の画像データに対してユーザ情報を合成して記載済み文書画像データを生成することができる。そのため、ユーザの負担を低減させることが可能になる。
【0092】
<第4の実施形態の変形例>
第4の実施形態では、第1の実施形態と同様に、対象項目文字列と記載領域のそれぞれが枠で囲まれているものを対象とした場合について説明したが、画像データ生成装置10cは、第2の実施形態のように対象項目文字列と記載領域のいずれか又は両方が枠で囲まれていないものに対しても適用してもよい。このように構成される場合、画像データ生成装置10cは、特定部152に代えて特定部152aを備え、記憶部16cがモデルデータ164を新たに記憶する。具体的な処理としては、画像データ生成装置10cは、ステップS103~S105の代わりに、
図7に示すステップS201、S104及びS202の処理を実行する。
【0093】
画像データ生成装置10cは、ユーザがコントロールパネル18を介して直接入力したユーザ情報や音声認識により入力されたユーザ情報を取得するように構成されてもよい。このように構成されることによって、証明書1で不足しているユーザ情報を補うことができる。そのため、より多くのユーザ情報が記載された文書を印刷することが可能になる。
【0094】
画像データ生成装置10cが備える一部の機能が別の筐体に実装されてもよい。例えば、画像データ生成装置10cが備える記載済み文書画像データの生成機能に対応する機能部(例えば、画像データ取得部151c、特定部152、画像データ生成部153、登録部154、ユーザ情報取得部156、ユーザ情報テーブル161c、照合データテーブル162及び登録画像データ163)が他の情報処理装置(例えば、サーバ20)に実装されてもよい。この場合、記載済み文書画像データの生成機能を備えた他の情報処理装置が、画像データ生成装置として機能する。このように構成される場合、画像データ生成装置10cは、カードリーダ19によって取得された画像データを、ネットワーク40を介して他の情報処理装置に送信する。そして、他の情報処理装置において記載済み文書画像データの生成処理(
図13の処理)が実行される。
【0095】
(第5の実施形態)
第5の実施形態では、印刷装置としての画像データ生成装置が、ユーザ情報を他の方法(例えば、印刷装置で読み込む)で取得する場合について説明する。また、第4の実施形態では、印刷装置としての画像データ生成装置が読み込む文書の書類様式として、記載対象項目の領域と記載領域のそれぞれが枠で囲まれているものを用いる場合について説明する。以下、各実施形態との相違点についてのみ説明する。
図14は、第5の実施形態における画像データ生成装置10dの機能構成を表す概略ブロック図である。
画像データ生成装置10dは、通信部11、制御部15d、記憶部16c、画像読取部17d及びコントロールパネル18を備える。
【0096】
制御部15dは、CPU等のプロセッサやメモリを用いて構成される。制御部15dは、プログラムを実行することによって、画像データ取得部151c、特定部152、画像データ生成部153、登録部154、通信制御部155及びユーザ情報取得部156dの機能を実現する。これらの機能の一部(例えば、画像データ取得部151c、特定部152、画像データ生成部153、登録部154及びユーザ情報取得部156d)は、予め画像データ生成装置10dに搭載されている必要はなく、追加のアプリケーションプログラムが画像データ生成装置10dにインストールされることで実現されてもよい。
【0097】
画像読取部17dは、原稿読み取り台にセットされた読み取り対象の文書及び証明書1を光の明暗として読み取る。例えば、画像読取部17dは、原稿読み取り台にセットされた読み取り対象の文書及び証明書1それぞれに印刷されている画像を読み取る。画像読取部17dは、読み取った文書の画像データ及び証明書1の画像データを制御部15dに出力する。画像読取部17dには、文書及び証明書1を同時に読み込ませてもよいし、順番に読み込ませてもよい。
【0098】
ユーザ情報取得部156dは、画像データ取得部151cによって取得された証明書1の画像データからユーザ情報を取得する。
【0099】
図15は、第5の実施形態における画像データ生成装置10dの画像データ生成処理の流れを示すフローチャートである。
図15において、
図13と同様の処理については
図13と同様の符号を付して説明を省略する。
画像読取部17dは、原稿読み取り台にセットされた読み取り対象の文書及び証明書1を読みこむ(ステップS501)。画像読取部17dは、文書から読み取った画像データ及び証明書1から読み取った画像データを制御部15dに出力する。ここでは、画像読取部17dが、文書及び証明書1を同時に読み込んだものとする。
【0100】
画像データ取得部151cは、画像読取部17dから出力された画像データを取得する(ステップS502)。ユーザ情報取得部156dは、画像データ取得部151cによって取得された画像データを用いて、証明書1の画像データと文書の画像データとを認識する(ステップS503)。具体的には、ユーザ情報取得部156dは、ユーザ情報の記載された証明書1のエリアを事前に登録された様式より判定して証明書1の画像データを認識し、他の書類を文書の画像データとして認識する。そして、ユーザ情報取得部156dは、証明書1の画像データと認識した画像データからユーザ情報を取得する(ステップS504)。具体的には、ユーザ情報取得部156dは、画像データに対してOCRによりテキスト化して文字列を認識することによってユーザ情報(例えば、名前、住所、生年月日等)を取得する。ユーザ情報取得部156dは、取得したユーザ情報をユーザ情報テーブル161cに登録する。その後、画像データ生成装置10cは、ステップS103以降の処理を実行する。
【0101】
以上のように構成された画像データ生成装置10dによれば、第4の実施形態と同様の効果を得ることができる。
また、画像データ生成装置10dは、ユーザ情報が事前に登録されていない場合であっても、証明書1の画像データを解析することによってユーザ情報を取得することができる。これにより、画像データ生成装置10dは、文章の画像データに対してユーザ情報を合成して記載済み文書画像データを生成することができる。そのため、ユーザの負担を低減させることが可能になる。
【0102】
<第5の実施形態の変形例>
第5の実施形態では、第1の実施形態と同様に、対象項目文字列と記載領域のそれぞれが枠で囲まれているものを対象とした場合について説明したが、画像データ生成装置10dは、第2の実施形態のように少なくとも記載領域が枠で囲まれていないものに対しても適用してもよい。このように構成される場合、画像データ生成装置10dは、特定部152に代えて特定部152aを備え、記憶部16cがモデルデータ164を新たに記憶する。具体的な処理としては、画像データ生成装置10dは、ステップS103~S105の代わりに、
図7に示すステップS201、S104及びS202の処理を実行する。
【0103】
画像データ生成装置10dは、ユーザがコントロールパネル18を介して直接入力したユーザ情報や音声認識により入力されたユーザ情報を取得するように構成されてもよい。このように構成されることによって、証明書1で不足しているユーザ情報を補うことができる。そのため、より多くのユーザ情報が記載された文書を印刷することが可能になる。
【0104】
画像データ生成装置10dが備える一部の機能が別の筐体に実装されてもよい。例えば、画像データ生成装置10dが備える記載済み文書画像データの生成機能に対応する機能部(例えば、画像データ取得部151c、特定部152、画像データ生成部153、登録部154、ユーザ情報取得部156d、ユーザ情報テーブル161c、照合データテーブル162及び登録画像データ163)が他の情報処理装置(例えば、サーバ20)に実装されてもよい。この場合、記載済み文書画像データの生成機能を備えた他の情報処理装置が、画像データ生成装置として機能する。このように構成される場合、画像データ生成装置10dは、画像読取部17dによって取得された画像データを、ネットワーク40を介して他の情報処理装置に送信する。そして、他の情報処理装置において記載済み文書画像データの生成処理(
図15の処理)が実行される。
【0105】
(第6の実施形態)
第6の実施形態では、印刷装置としての画像データ生成装置が、予め登録されている登録画像データを用いて記載領域を特定する構成について説明する。第6の実施形態における画像データ生成システム100のシステム構成は、第3の実施形態における画像データ生成システム100bの構成と同様である。第6の実施形態における画像データ生成システム100は、画像データ生成装置10e、サーバ20、印刷装置30及び画像データ登録装置50を備える。以下、各実施形態との相違点についてのみ説明する。
【0106】
図16は、第6の実施形態における画像データ生成装置10eの機能構成を表す概略ブロック図である。
画像データ生成装置10eは、通信部11e、制御部15e、記憶部16e、画像読取部17、コントロールパネル18及びカードリーダ19を備える。
【0107】
通信部11eは、ネットワーク40を介してサーバ20との間で通信を行う。通信部11eは、直接又はネットワーク40を介して画像データ登録装置50との間で通信を行う。通信部11eは、登録画像データを画像データ登録装置50から受信する。
【0108】
制御部15eは、CPU等のプロセッサやメモリを用いて構成される。制御部15eは、プログラムを実行することによって、画像データ取得部151e、特定部152e、画像データ生成部153、通信制御部155及びユーザ情報取得部156の機能を実現する。これらの機能の一部(例えば、画像データ取得部151e、特定部152e、画像データ生成部153及びユーザ情報取得部156)は、予め画像データ生成装置10eに搭載されている必要はなく、追加のアプリケーションプログラムが画像データ生成装置10eにインストールされることで実現されてもよい。
【0109】
画像データ取得部151eは、画像読取部17によって読み取られた文書の画像データ及び通信部11eによって受信された登録画像データを取得する。画像データ取得部151eは、取得した登録画像データを記憶部16eに記憶させる。
特定部152eは、画像データと、記憶部16eに記憶されている1以上の文書の登録画像データとの類似度を算出し、算出した類似度が閾値以上の登録画像データを用いて、画像データの記載領域を特定する。
【0110】
記憶部16eは、ユーザ情報テーブル161、照合データテーブル162及び登録画像データ163eを記憶する。記憶部16eは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
登録画像データ163eは、画像データ取得部151eによって取得された登録画像データである。
【0111】
図17は、第6の実施形態における画像データ生成装置10eの画像データ生成処理の流れを示すフローチャートである。
図17において、
図13と同様の処理については
図13と同様の符号を付して説明を省略する。なお、
図17の処理実行時には、画像データ生成装置10eの記憶部16eに登録画像データが事前に登録されているものとする。
特定部152eは、取得した画像データと、記憶部16eに記憶されている登録画像データ163eとをそれぞれ照合する(ステップS601)。具体的には、特定部152eは、取得した画像データと、記憶部16eに記憶されている登録画像データ163eそれぞれとを、画像マッチングにより類似度を算出する。
【0112】
特定部152eは、算出した類似度に基づいて、記憶部16eに記憶されている登録画像データ163eの中から1つの登録画像データを選択する(ステップS602)。例えば、特定部152eは、類似度が最も高い登録画像データを選択する。そして、特定部152eは、選択した登録画像データに含まれる記載領域の位置情報に基づいて、取得した画像データの記載領域を特定する(ステップS603)。その後、画像データ生成装置10eは、ステップS106以降の処理を実行する。
【0113】
以上のように構成された画像データ生成装置10eによれば、第4の実施形態と同様の効果を得ることができる。
また、画像データ生成装置10eは、取得した画像データと類似する登録画像データの記載領域の位置情報を用いて、取得した画像データの記載領域を特定する。これにより、画像データの記載領域を特定する処理に要する時間を短縮することができる。そのため、記載済み文書画像データの生成までの時間を短縮することが可能になる。
【0114】
<第6の実施形態の変形例>
画像データ生成装置10eは、第5の実施形態と同様に画像読取部17で読み取られた証明書1の画像データを解析することによってユーザ情報を取得してもよいし、ユーザがコントロールパネル18を介して直接入力したユーザ情報や音声認識により入力されたユーザ情報を取得するように構成されてもよい。このように構成されることによって、証明書1で不足しているユーザ情報を補うことができる。そのため、より多くのユーザ情報が記載された文書を印刷することが可能になる。
【0115】
画像データ生成装置10eが備える一部の機能が別の筐体に実装されてもよい。例えば、画像データ生成装置10eが備える記載済み文書画像データの生成機能に対応する機能部(例えば、画像データ取得部151e、特定部152e、画像データ生成部153、ユーザ情報取得部156、ユーザ情報テーブル161c、照合データテーブル162及び登録画像データ163e)が他の情報処理装置(例えば、サーバ20)に実装されてもよい。この場合、記載済み文書画像データの生成機能を備えた他の情報処理装置が、画像データ生成装置として機能する。このように構成される場合、画像データ生成装置10eは、画像読取部17によって取得された画像データを、ネットワーク40を介して他の情報処理装置に送信する。そして、他の情報処理装置において記載済み文書画像データの生成処理(
図17の処理)が実行される。
【0116】
<第1の実施形態から第6の実施形態に共通の変形例>
画像データ生成装置10,10a,10b,10c,10d,10eは、生成した記載済み文書画像データを自装置の記憶部16,16a,16b,16c,16eに保存してもよい。このように構成される場合、通信装置としての画像データ生成装置10,10a,10bは印刷装置30に対して記載済み文書画像データを送信する。そして、印刷装置30は、受信した記載済み文書画像データを印刷する。また、印刷装置としての画像データ生成装置10c,10d,10eは自装置で記載済み文書画像データを印刷してもよいし、印刷装置30に対して記載済み文書画像データを送信してもよい。画像データ生成装置10c,10d,10eが印刷装置30に対して記載済み文書画像データを送信した場合、印刷装置30は、受信した記載済み文書画像データを印刷する。
【0117】
上述した実施形態における画像データ生成装置10,10a,10b,10c,10dをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0118】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0119】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0120】
10、10a、10b、10c、10d、10e…画像データ生成装置, 20…サーバ, 30…印刷装置, 50…画像データ登録装置, 11、11b、11e、51…通信部, 12、52…カメラ, 13、53…表示部, 14、54…操作部, 15、15a、15b、15c、15d、15e、55…制御部, 151、151b、151c、151e、551…画像データ取得部, 152、152a、152b、152e、552…特定部, 153…画像データ生成部, 154、553…登録部, 155、555…通信制御部, 156、156d…ユーザ情報取得部, 16、16a、16b、16c、16e、56…記憶部, 161、161c…ユーザ情報テーブル, 162、561…照合データテーブル, 163、163b、163e…登録画像データ, 164…モデルデータ, 17…画像読取部, 18…コントロールパネル, 19…カードリーダ, 554…表示制御部