(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-08
(45)【発行日】2024-05-16
(54)【発明の名称】情報処理装置及び情報処理プログラム
(51)【国際特許分類】
G06T 11/60 20060101AFI20240509BHJP
H04N 1/387 20060101ALI20240509BHJP
【FI】
G06T11/60 100A
H04N1/387 110
(21)【出願番号】P 2020038885
(22)【出願日】2020-03-06
【審査請求日】2023-02-20
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100115129
【氏名又は名称】清水 昇
(74)【代理人】
【識別番号】100102716
【氏名又は名称】在原 元司
(74)【代理人】
【識別番号】100122275
【氏名又は名称】竹居 信利
(72)【発明者】
【氏名】安藤 有生
【審査官】岡本 俊威
(56)【参考文献】
【文献】米国特許出願公開第2012/0143958(US,A1)
【文献】特開2007-116469(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 11/60
H04N 1/387
(57)【特許請求の範囲】
【請求項1】
メモリと一又は複数のプロセッサを備え、
前記メモリは、ユーザーに関する画像を記憶しており、
前記プロセッサは、
文書の内容にしたがって、該文書内に貼り付けるべき画像を前記メモリから抽出し、
前記画像を前記文書内に貼り付け
、
さらに、前記プロセッサは、
前記画像を合成する領域に応じて、該画像を変形した後に貼り付けを行い、
前記変形として、前記画像を合成する領域の傾き又は該領域の周辺の文字の傾きに沿うように、該画像を変形する、
情報処理装置。
【請求項2】
前記文書の内容として、文書内の文字列であり、
前記プロセッサは、
前記文書内の文字列に予め定められた文字列が含まれている場合は、該文書内に貼り付けるべき画像を前記メモリから抽出し、
前記文字列に予め定められた関係を有する領域に、前記画像を貼り付ける、
請求項1に記載の情報処理装置。
【請求項3】
前記文書の内容として、文書の型であり、
前記プロセッサは、
前記文書の型が予め定められた型である場合は、該文書内に貼り付けるべき画像を前記メモリから抽出し、
前記型内の領域に、前記画像を貼り付ける、
請求項1に記載の情報処理装置。
【請求項4】
メモリと一又は複数のプロセッサを備えたコンピュータの前記メモリは、
ユーザーに関する画像を記憶しており、
前記プロセッサに、
文書の内容にしたがって、該文書内に貼り付けるべき画像を前記メモリから抽出し、
前記画像を前記文書内に貼り付け
、
さらに、前記プロセッサに、
前記画像を合成する領域に応じて、該画像を変形した後に貼り付けを行い、
前記変形として、前記画像を合成する領域の傾き又は該領域の周辺の文字の傾きに沿うように、該画像を変形する、
処理を実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及び情報処理プログラムに関する。
【背景技術】
【0002】
特許文献1には、入力される複数の文書画像が異なるフォームを有する場合、ユーザーはいちいちその文書画像を見てインデックス付けを行わなければならず、入力間違いなどしやすいという問題点があったことを課題とし、複数の異なるフォームを有する文書画像が入力されてきた場合でも、それぞれの文書画像と一致するフォームを識別し、該一致するフォームに設定されているエリアに基づいて、自動的にそれぞれの文書画像に対してインデックス付けをして登録することが開示されている。
【0003】
特許文献2には、一部に共通構造を有し全体的には自由に編集可能な半固定的帳票等の非定型文書からでも、レイアウト情報を使わずに、キーワード・メタデータを抽出することを課題とし、一部に共通構造を有し全体的には自由に編集可能な非定型文書からメタデータを抽出するメタデータ抽出装置であって、前記非定型文書の基準型となる参照文書を種別する特徴的な1つ以上の文字列と該文字列を取り囲む所定の領域とをテンプレートに登録するテンプレート作成処理部と、前記メタデータを抽出する対象となる入力文書に対して前記テンプレートに登録された領域内部の文字列を読取り、前記入力文書にテンプレートに登録された前記文字列が含まれるか否かを判別することで文書種別を判定するテンプレート照合処理部と、前記判定の結果に基づき、前記テンプレートを用いて前記入力文書から前記メタデータの記述形式に適合する文字列をメタデータとして抽出するメタデータ抽出処理部と、を有することが開示されている。
【0004】
特許文献3には、文書にインデックスをつけて文書管理部に登録するものがあるが、FAX文書などに関しては、文書管理部に登録するだけでなく、実際に紙に記録することも求められることを課題とし、文書処理システムでは、外部デバイスから取得した文書画像データを認識処理し、前記取得した文書に関する属性情報を取得し、前記属性情報に従って、印刷するか否か判断し、印刷すると判断された場合、前記文書画像の印刷用ファイルを作成し、自動的に、前記認識結果をインデックスとして、前記文書画像データと該インデックスとを文書管理部に登録するとともに、前記判断手段で印刷すると判断された場合は前記作成された印刷用ファイルをプリンタへ送信することが開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2003-085187号公報
【文献】特開2010-102668号公報
【文献】特開2003-087484号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
文書に画像を貼り付ける必要がある場合に、ユーザーが画像を貼り付ける場合に較べて、ユーザーによる操作を減らすことができる情報処理装置及び情報処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【0007】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。なお、以下の「請求項」とあるのは、出願当初の請求項である。
請求項1の発明は、メモリと一又は複数のプロセッサを備え、前記メモリは、ユーザーに関する画像を記憶しており、前記プロセッサは、文書の内容にしたがって、該文書内に貼り付けるべき画像を前記メモリから抽出し、前記画像を前記文書内に貼り付ける、情報処理装置である。
【0008】
請求項2の発明は、前記文書の内容として、文書内の文字列であり、前記プロセッサは、前記文書内の文字列に予め定められた文字列が含まれている場合は、該文書内に貼り付けるべき画像を前記メモリから抽出し、前記文字列に予め定められた関係を有する領域に、前記画像を貼り付ける、請求項1に記載の情報処理装置である。
【0009】
請求項3の発明は、前記文書の内容として、文書の型であり、前記プロセッサは、前記文書の型が予め定められた型である場合は、該文書内に貼り付けるべき画像を前記メモリから抽出し、前記型内の領域に、前記画像を貼り付ける、請求項1に記載の情報処理装置である。
【0010】
請求項4の発明は、前記プロセッサは、前記画像を合成する領域に応じて、該画像を変形した後に貼り付けを行う、請求項1に記載の情報処理装置である。
【0011】
請求項5の発明は、前記プロセッサは、前記変形として、前記画像を合成する領域の傾き又は該領域の周辺の文字の傾きに沿うように、該画像を変形する、請求項4に記載の情報処理装置である。
【0012】
請求項6の発明は、メモリと一又は複数のプロセッサを備えたコンピュータの前記メモリは、ユーザーに関する画像を記憶しており、前記プロセッサに、文書の内容にしたがって、該文書内に貼り付けるべき画像を前記メモリから抽出し、前記画像を前記文書内に貼り付ける、処理を実行させるための情報処理プログラムである。
【発明の効果】
【0013】
請求項1の情報処理装置によれば、文書に画像を貼り付ける必要がある場合に、ユーザーが画像を貼り付ける場合に較べて、ユーザーによる操作を減らすことができる。
【0014】
請求項2の情報処理装置によれば、文書内の文字列に予め定められた文字列が含まれている場合は、その文書内に貼り付けるべき画像を抽出し、文字列に予め定められた関係を有する領域に、画像を貼り付けることができる。
【0015】
請求項3の情報処理装置によれば、文書の型が予め定められた型である場合は、その文書内に貼り付けるべき画像を抽出し、型内の領域に、画像を貼り付けることができる。
【0016】
請求項4の情報処理装置によれば、画像を合成する領域に応じた変形を施した画像を貼り付けることができる。
【0017】
請求項5の情報処理装置によれば、画像を合成する領域の傾き又はその領域の周辺の文字の傾きに沿うように、画像を変形することができる。
【0018】
請求項6の情報処理プログラムによれば、文書に画像を貼り付ける必要がある場合に、ユーザーが画像を貼り付ける場合に較べて、ユーザーによる操作を減らすことができる。
【図面の簡単な説明】
【0019】
【
図1】本実施の形態の構成例についての概念的なモジュール構成図である。
【
図2】本実施の形態を利用したシステム構成例を示す説明図である。
【
図3】本実施の形態の構成例についての概念的なモジュール構成図である。
【
図4】本実施の形態による処理例を示すフローチャートである。
【
図5】個人情報管理テーブルのデータ構造例を示す説明図である。
【
図6】本実施の形態が対象とする文書の例を示す説明図である。
【
図7】本実施の形態による処理結果である文書の例を示す説明図である。
【
図8】本実施の形態による処理例を示すフローチャートである。
【
図9】本実施の形態が対象とする文書の例を示す説明図である。
【
図10】本実施の形態が対象とする追加文書の例を示す説明図である。
【
図11】本実施の形態による処理結果である文書、追加文書の例を示す説明図である。
【
図12】本実施の形態が対象とする文書の例を示す説明図である。
【
図13】本実施の形態による処理結果である追加文書の例を示す説明図である。
【発明を実施するための形態】
【0020】
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(「ソフトウェア」の解釈として、コンピュータ・プログラムを含む)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(例えば、コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(例えば、データの授受、指示、データ間の参照関係、ログイン等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(「2以上の値」には、もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。また、「A、B、C」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その1つのみを選んでいる場合(例えば、Aのみ)を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(「ネットワーク」には、一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(つまり、社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。
【0021】
本実施の形態である情報処理装置100は、文書に画像を貼り付ける機能を有している。
図1の例に示すように、情報処理装置100は、少なくともプロセッサ105、メモリ110を有しており、それらをつないでデータのやりとりをするためのバス198により構成されている。この他に、情報処理装置100は、出力装置185、受付装置190、通信装置195を有していてもよい。そして、バス198によって、プロセッサ105、メモリ110、出力装置185、受付装置190、通信装置195の間でデータのやりとりが行われる。
【0022】
なお、
図1の例に示すブロック図は、本実施の形態を実現するコンピュータのハードウェア構成例をも示している。本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、
図1に例示するようなコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。具体例として、処理部としてプロセッサ105を用い、記憶装置としてメモリ110を用いている。
【0023】
プロセッサ105は、1つであってもよいし、複数あってもよい。プロセッサ105として、例えば、CPU(Central Processing Unitの略)、マイクロプロセッサ等を含む。複数のプロセッサ105を用いる場合は、密結合マルチプロセッサ、疎結合マルチプロセッサのいずれの形態であってもよい。例えば、1つのプロセッサ105内に複数のプロセッサ・コアが搭載されていてもよい。さらに、複数のコンピュータを通信路で結んで仮想的に一台のコンピュータのように振る舞わせるシステムとしてもよい。具体例として、疎結合マルチプロセッサであって、クラスタシステム、コンピュータクラスタとして構成してもよい。プロセッサ105は、プログラムメモリ120内のプログラムを実行する。
【0024】
メモリ110として、例えば、レジスタやキャッシュメモリ等のプロセッサ105内部の半導体メモリを含めてもよいし、RAM(Random Access Memoryの略)やROM(Read Only Memoryの略)等によって構成される主記憶装置であるメインメモリであってもよいし、永続性記憶装置としての機能を有するHDD(Hard Disk Driveの略)やSSD(Solid State Driveの略)の内部記憶装置、CD、DVD、Blu-ray(登録商標) Disc、USBメモリ、メモリーカード等の外部記憶装置又は補助記憶装置であってもよいし、また、通信回線を介して接続されたサーバー等の記憶装置を含めてもよい。
メモリ110は、主にプログラムを記憶するプログラムメモリ120と主にデータを記憶するデータメモリ115を有している。なお、プログラムメモリ120、データメモリ115には、図示しているモジュールのプログラムの他、本コンピュータを起動するためのOS等のプログラム、モジュールの実行において適宜変化するパラメータ等のデータが格納されていてもよい。
【0025】
出力装置185は、例えば、表示装置187、印刷装置189等を有している。液晶ディスプレイ、有機ELディスプレイ、3次元ディスプレイ等の表示装置187は、プロセッサ105による処理結果、データメモリ115内のデータ等を、テキストやイメージ情報等として表示する。プリンタ、複合機等の印刷装置189は、プロセッサ105による処理結果、データメモリ115内のデータ等を印刷する。また、出力装置185として、スピーカー、機器を振動させるアクチュエータ等を含んでいてもよい。
受付装置190は、例えば、指示受付装置192、文書読取装置194等を有している。
指示受付装置192は、キーボード、マウス、マイク、カメラ(視線検知カメラ等を含む)等に対する利用者の操作(動作、音声、視線等を含む)に基づいたデータ等を受け付ける。
また、タッチスクリーンのように、表示装置187と受付装置190の両方の機能を備えているものがあってもよい。その場合、キーボードの機能の実現について、物理的なキーが存在しなくても、タッチスクリーン上にソフトウェアでキーボード(いわゆるソフトウェアキーボード、スクリーンキーボード等ともいわれる)を描画して、キーボードの機能を実現するようにしてもよい。
なお、ユーザーインタフェースとして、主に、表示装置187、指示受付装置192が用いられる。
文書読取装置194は、スキャナ、カメラ、複合機等であり、文書の読み取り動作等によって発生する画像データを受け付ける。
通信装置195は、通信回線を介して他の装置と接続するためのネットワークカード等の通信回線インタフェースである。
【0026】
本実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のプログラムメモリ120にソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、本実施の形態が実現される。
なお、
図1に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、
図1に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、プロセッサ105として、GPU(Graphics Processing Unitの略、GPGPU(General-Purpose computing on Graphics Processing Unitsの略)を含む)を用いてもよいし、一部のモジュールの実行を専用のハードウェア(例えば特定用途向け集積回路(具体例として、ASIC(Application Specific Integrated Circuitの略)等がある)や再構成可能な集積回路(具体例として、FPGA(Field-Programmable Gate Arrayの略)等がある)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに
図1に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)等に組み込まれていてもよい。
【0027】
プロセッサ105は、バス198を介してメモリ110、出力装置185、受付装置190、通信装置195と接続されている。プロセッサ105は、プログラムメモリ120内のプログラムである各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する。例えば、文書読取装置194が文書の画像を読み取ったことを契機として、プログラムメモリ120内のモジュールがその画像に対する処理を実行し、その処理結果をデータメモリ115に記憶させたり、印刷装置189で印刷したり、通信装置195を制御して他の装置に送信したりする。
【0028】
メモリ110は、データメモリ115、プログラムメモリ120を有しており、バス198を介してプロセッサ105、出力装置185、受付装置190、通信装置195と接続されている。
データメモリ115は、個人情報記憶モジュール125を有している。
個人情報記憶モジュール125は、本情報処理装置100を操作しているユーザーに関する情報を記憶している。「ユーザーに関する情報」として、少なくとも「ユーザーに関する画像」が含まれている。さらに、「ユーザーに関する情報」として、そのユーザーの名前、住所等が含まれていてもよい。個人情報記憶モジュール125内に記憶されている情報の具体例についてが、
図5を用いて後述する。
【0029】
プログラムメモリ120は、UIモジュール130、画像解析モジュール135、要求判定モジュール140、加工モジュール145、制御モジュール150を記憶している。
UIモジュール130は、指示受付制御モジュール132、表示制御モジュール134を有している。UIモジュール130は、ユーザーインタフェースに関する処理を行う。
指示受付制御モジュール132は、指示受付装置192が受け付けた指示にしたがって、画像解析モジュール135、要求判定モジュール140、加工モジュール145、制御モジュール150に、その指示を示す情報を渡す。
表示制御モジュール134は、画像解析モジュール135、要求判定モジュール140、加工モジュール145、制御モジュール150による処理結果を、表示装置187に表示させるように制御する。
【0030】
制御モジュール150は、主に、画像解析モジュール135、要求判定モジュール140、加工モジュール145を制御して、文書の内容にしたがって、その文書内に貼り付けるべき画像を個人情報記憶モジュール125から抽出し、その画像を文書内に貼り付ける。なお、プログラムメモリ120内のモジュールが処理対象とする「文書」は、文書読取装置194が読み取った文書の画像データである。また、文書は、ユーザーに関する画像を貼り付けることを要求している文書が含まれる。例えば、ユーザーの免許証の複写を貼り付けることを要求している申請書等がある。ただし、これに限られるものではなく、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。
【0031】
文書の内容を、文書内の文字列とした場合、制御モジュール150は次の処理を行うようにしてもよい。
文書内の文字列に予め定められた文字列が含まれている場合は、その文書内に貼り付けるべき画像を個人情報記憶モジュール125から抽出し、文字列に予め定められた関係を有する領域に、画像を貼り付けるようにしてもよい。
ここで「予め定められた文字列」とは、ユーザーに文書内にそのユーザーに関する画像を貼り付けることを要求する文字列であって、例えば、「免許証を貼り付けてください」等がある。
また「文字列に予め定められた関係を有する領域」として、例えば、「文字列に近接する領域」、「文字列の右下にある領域」、又は、「文字列を含む領域」等としてもよい。
【0032】
文書の内容を、文書の型とした場合、制御モジュール150は次の処理を行うようにしてもよい。
文書の型が予め定められた型である場合は、その文書内に貼り付けるべき画像を個人情報記憶モジュール125から抽出し、型内の領域に、画像を貼り付けるようにしてもよい。
ここで「予め定められた型」とは、ユーザーに関する画像を貼り付けることが予定されている欄を有している文書の型であって、例えば、「免許証貼付欄」の領域等を有している文書の型がある。なお、型については、画像解析モジュール135の説明で後述する。
文書の型は、例えば、文書内のタイトル等から推測してもよいし、文書内の欄の配置、大きさ等から推測するようにしてもよい。
【0033】
また、制御モジュール150は、画像を合成する領域に応じて、該画像を変形した後に貼り付けを行うようにしてもよい。
ここで「変形」として、例えば、拡大縮小、回転、カラー白黒変換等がある。
さらに、制御モジュール150は、変形として、画像を合成する領域の傾き、又は、その領域の周辺の文字の傾き、に沿うように、その画像を変形するようにしてもよい。ここでの変形は、傾きに合わせた回転が該当する。
【0034】
画像解析モジュール135は、文書読取装置194が読み込んだ文書の内容を解析する。ここで「文書の内容」として、以下に示すように、(1)文書内の文字列、(2)文書の型、がある。(1)文書内の文字列については、文書の画像を文字認識処理することによって、文書に記載されているテキストデータである文字列を抽出することができる。(2)文書の型とは、文書を作成する場合、ユーザーが記入すべき枠又は位置等が予め定められた文書であり、定型文書、フォーム等ともいわれる。文書の型の解析については、従来技術を用いて、文書内の枠の大きさ、縦横比、枠の組み合わせ、枠線の種類、太さ、色等によって、どの型であるかを決定すればよい。
【0035】
要求判定モジュール140は、画像解析モジュール135による解析結果を用いて、その文書が要求している内容、つまり、文書内に貼り付けるべきユーザーに関する画像を判定する。また、ユーザーが記載しなければならないことも判定してもよい。
例えば、画像解析モジュール135による文字認識結果を用いる場合は、「Aを貼り付けてください。」との文字列があった場合は、ユーザーのAの画像が要求されていると判定する。
また、画像解析モジュール135によって、型が判明したならば、型毎にどの枠に何を貼り付けなければならないかを予め定めている規則を用いて、文書内に貼り付けるべき画像を決定する。
もちろんのことながら、文書内の文字列と文書の型の両方を用いて、その文書が要求している内容を判定してもよい。例えば、文書のタイトルを文字認識し、文書の型を決定してもよいし、又は、文書の枠の周辺にある文字列を文字認識し、枠に記載すべき内容を判断するようにしてもよい。
【0036】
加工モジュール145は、要求判定モジュール140によって判定された要求にしたがって、ユーザーに関する画像を個人情報記憶モジュール125から抽出し、その要求が行われている位置にその抽出した画像を貼り付ける。ここで「要求が行われている位置」として、要求が記載されている領域と重なる位置としてもよいし、要求が記載されている位置に隣接している枠としてもよい。
【0037】
図2は、本実施の形態を利用したシステム構成例を示す説明図である。
図2(a)の例は、スタンドアロン型のシステム構成を示すものである。画像処理装置200は、情報処理装置100を有している。画像処理装置200のプリンタを印刷装置189とし、画像処理装置200のスキャナを文書読取装置194とし、画像処理装置200のタッチパネルを表示装置187、指示受付装置192として用いている例である。
ユーザーは、画像処理装置200を用いて、フォームである文書を読み込ませる。画像処理装置200は、その読み込んだ文書に、情報処理装置100に記憶されているユーザーに関する画像を貼り付ける。そして、貼り付け後の画像を印刷して、ユーザーは、自分に関する画像が貼り付けられた文書を手にすることができるようになる。例えば、銀行口座開設の申請書に免許証を貼付する場合等に用いられる。この場合、銀行口座開設の申請書が「文書」の一例であり、免許証の画像が「ユーザーに関する画像」の一例である。
【0038】
図2(b)の例は、ネットワーク型のシステム構成を示すものである。情報処理装置100、画像処理装置210、個人情報データベース225、画像解析装置235、要求判定装置240、加工装置245、サービス提供装置280は、通信回線290を介してそれぞれ接続されている。通信回線290は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。
ユーザーは、画像処理装置210を利用して文書を読み込ませる。画像処理装置210は、文書の画像を情報処理装置100に送信する。情報処理装置100は、受信した文書に、情報処理装置100に記憶されているユーザーに関する画像を貼り付け、貼り付け後の画像を画像処理装置210に返信する。画像処理装置210は、受信した文書の画像を印刷する。ユーザーは、自分に関する画像が貼り付けられた文書を手にすることができる。
【0039】
また、情報処理装置100による各機能を、画像解析装置235、要求判定装置240、加工装置245、個人情報データベース225に分散させてもよい。つまり、個人情報データベース225は、個人情報記憶モジュール125を有している。画像解析装置235は、画像解析モジュール135を有している。要求判定装置240は、要求判定モジュール140を有している。加工装置245は、加工モジュール145を有している。つまり、画像解析装置235、要求判定装置240、加工装置245、個人情報データベース225が連携して、情報処理装置100の機能を実現するようにしてもよい。
また、フォーム記憶モジュール285を有しているサービス提供装置280を用いるようにしてもよい。具体的には、画像処理装置210は、ユーザーの操作にしたがって、サービス提供装置280から文書を取得する。サービス提供装置280は、フォーム記憶モジュール285内に記憶されている文書を画像処理装置210に提供する。これによって、フォームとなる文書を画像処理装置210で読み込ませることなく、ユーザーは、自分に関する画像が貼り付けられた文書を手にすることができる。さらに、読み込ませた文書以外に必要となる文書がある場合には、サービス提供装置280から取り出すようにしてもよい。例えば、読み込ませた文書によっては、単にその文書に画像等を合成するだけでは足りずに、さらに、封書等を生成するための文書が必要な場合がある。その封書等を生成するための文書を、情報処理装置100は、サービス提供装置280から取り出すようにしてもよい。「封書等を生成するための文書」については、
図10の例を用いて後述する。
【0040】
図3は、本実施の形態の構成例についての概念的なモジュール構成図である。
図3の例に示すモジュール構成は、
図1の例に示した情報処理装置100のモジュール構成をより具体的にしたものである。
加工文書出力プログラム300は、個人情報記憶モジュール125、画像解析モジュール135、要求判定モジュール140、加工モジュール145、文書読取モジュール310、文書出力モジュール315を有している。
【0041】
文書読取モジュール310は、画像解析モジュール135と接続されている。文書読取モジュール310は、ユーザー390の指示にしたがって文書の画像を取得する。例えば、スキャナで文書を読み込んでもよいし、サービス提供装置280から文書を受信してもよい。
画像解析モジュール135は、文書読取モジュール310、要求判定モジュール140、加工モジュール145と接続されている。画像解析モジュール135は、文書読取モジュール310が取得した文書の画像を解析して、文書のフォームを判定すること、又は、文書内の文字列を文字認識することを行う。
【0042】
要求判定モジュール140は、画像解析モジュール135、加工モジュール145と接続されている。要求判定モジュール140は、画像解析モジュール135によって解析された結果である、文書のフォーム又はテキストである文字列を用いて、その文書に必要とされている情報を判定する。文書のフォームを用いる場合は、「フォーム」と「そのフォームが必要としている情報」を対応して記憶しているテーブルを用いて、必要としている情報を抽出すればよい。また、文字列を用いる場合は、形態素解析等の言語処理を施して、必要としている情報を抽出すればよい。文書内の文字列に予め定められた文字列が含まれている場合、その文字列に対応する画像を「必要としている情報」と判定する。具体例として、「免許証を貼り付けてください」という文字列がある場合は、そのユーザー390の免許証の画像が必要としている情報である。また、「住所を記入してください」という文字列がある場合は、そのユーザー390の住所が必要としている情報である。また、文書内に必要としている情報がない場合は、加工モジュール145による処理は不要となる。
【0043】
個人情報記憶モジュール125は、加工モジュール145と接続されている。個人情報記憶モジュール125は、免許証の画像等のユーザー390に関する画像を記憶している。また、画像だけでなく、ユーザー390の住所等のテキスト情報を記憶していてもよい。
加工モジュール145は、個人情報記憶モジュール125、画像解析モジュール135、要求判定モジュール140、文書出力モジュール315と接続されている。加工モジュール145は、要求判定モジュール140によって判定された「必要としている情報」を個人情報記憶モジュール125から抽出し、文書読取モジュール310が取得した文書に合成する。また、「必要としている情報」が個人情報記憶モジュール125に格納されていない場合には、ユーザー390が「必要としている情報」を入力する。例えば、「必要としている情報」が画像である場合は、文書読取モジュール310で読み取るようにしてもよい。「必要としている情報」がテキストである場合は、ユーザー390がキーボード等を用いて入力するようにしてもよい。また、加工モジュール145は、合成する際、合成すべき領域に合わせて、画像を変形することを行ってもよい。
文書出力モジュール315は、加工モジュール145と接続されている。文書出力モジュール315は、加工モジュール145によって、「必要としている情報」が合成された文書を印刷する。ユーザー390は、「必要としている情報」が合成された文書を手にすることができる。
【0044】
図4は、本実施の形態による処理例を示すフローチャートである。
ステップS402では、ログイン処理を行う。このログイン処理によって、ユーザー390を特定することができ、ユーザー390に関する画像を特定することができるようになる。
ステップS404では、文書を読み取る。ここでの「文書」は、画像を貼り付ける領域がある文書であり、例えば、銀行口座開設の申請書等が該当する。
【0045】
ステップS406では、フォーム又は文字列を抽出する。文書のフォーム、又は、文書内の文字列の画像を文字認識する。前述したように、文書内の枠の大きさ、縦横比、枠の組み合わせ等を用いて、文書のフォームを判定する。
ステップS408では、要求されている情報を判定する。
ステップS410では、要求の有無を判断し、要求ありの場合はステップS414へ進み、要求なしの場合はステップS412へ進む。
ステップS412では、エラーを出力する。
【0046】
ステップS414では、残りの要求の有無を判定し、残りの要求がある場合はステップS416へ進み、残りの要求がない場合はステップS424へ進む。
ステップS416では、情報の取得先を判断し、個人情報記憶モジュール125から取得した場合はステップS418へ進み、後からスキャンする場合(つまり、個人情報記憶モジュール125に要求されている情報がない場合)はステップS420へ進む。
【0047】
ステップS418では、個人情報記憶モジュール125から「要求されている情報」を抽出し、ステップS414へ戻る。
ステップS420では、文書を読み取る。
ステップS422では、フォーム又は文字列を抽出し、ステップS414へ戻る。読み取った文書から「要求されている情報」を抽出する。なお、スキャンした文書そのものを利用する場合は、このステップS422の処理を不要としてもよい。
ステップS424では、抽出した情報をもとに文書画像を加工する。例えば、文書画像内に、ユーザー390の住所等を記載したり、ユーザー390の免許証の画像を貼り付けたりする。また、記載するテキスト、貼り付ける画像について、拡大縮小、回転、色変換等の処理を施してもよい。
ステップS426では、文書を出力する。これら一連の処理によって、加工された文書が印刷される。
【0048】
個人情報記憶モジュール125には、例えば、個人情報管理テーブル500が格納されている。
図5は、個人情報管理テーブル500のデータ構造例を示す説明図である。個人情報管理テーブル500は、ユーザーID欄505、名前欄510、住所欄515、年齢欄520、性別欄525、免許証画像欄530を有している。ユーザーID欄505は、本実施の形態において、ユーザーを一意に識別するための情報(具体的には、ユーザーID:IDentificationの略)を記憶している。名前欄510は、そのユーザーの名前を記憶している。住所欄515は、そのユーザーの住所を記憶している。年齢欄520は、そのユーザーの年齢を記憶している。性別欄525は、そのユーザーの性別を記憶している。免許証画像欄530は、そのユーザーの免許証の画像を記憶している。この他に、そのユーザーの保険証の画像、マイナンバーカードの画像等を記憶していてもよい。
【0049】
図6は、本実施の形態が対象とする文書600の例を示す説明図である。
文書600は、読み込んだ文書であり、タイトル610、住所記入欄620、免許証貼付欄630を有している。タイトル610には「証明書貼り付け欄」と記載されており、住所記入欄620には「住所を記入してください」と記載されており、免許証貼付欄630には「免許証を貼り付けてください」と記載されている。
文書の型を解析した場合は、住所記入欄620と免許証貼付欄630の縦横比、その組み合わせ等から、文書600は証明書貼り付けフォームであると判断する。そして、フォームと「要求されている情報」を対応して記憶しているテーブルを利用して、その証明書貼り付けフォームは、「要求されている情報」として、「住所」、「免許証の画像」があると判定する。
文書内の文字を解析した場合は、住所記入欄620内の「住所を記入してください」を認識し、免許証貼付欄630内の「免許証を貼り付けてください」を認識し、前者は「要求されている情報」として「住所」、後者は「要求されている情報」として「免許証の画像」があると判定する。
【0050】
図7は、本実施の形態による処理結果である文書700の例を示す説明図である。
文書700は、ログインしたユーザー390の指示にしたがって、文書600を読み込んだ場合の情報処理装置100による印刷結果の例を示すものである。文書700は、タイトル710、住所記入欄720、免許証貼付欄730を有している。タイトル710には、文書600のタイトル610と同様の「証明書貼り付け欄」と記載されており、住所記入欄720には、ユーザー390の住所である「○○県□□市△△町」と記載されており、免許証貼付欄730には、ユーザー390の免許証画像735が貼り付けられている。
【0051】
図8は、本実施の形態による処理例を示すフローチャートである。
図4の例に示したフローチャートのステップS424の処理は、
図8の例に示すフローチャートに置き換えてもよい。前述したように、読み取った文書だけではなく、封書等を生成するための文書が必要な場合の例を示すものである。
【0052】
ステップS802では、出力すべき文書は、読み取った文書以外に増えたか否かを判断し、増えない場合はステップS804へ進み、増えた場合はステップS806へ進む。前述の例では、封書等を生成するための文書が必要な場合、ステップS806へ進む。なお、封書等を生成するための文書は、サービス提供装置280から取り出す。
ステップS804では、抽出した情報をもとに文書を加工する。
図4の例に示したフローチャート内のステップS424と同等の処理である。
【0053】
ステップS806では、抽出した情報をもとに読み取った文書を加工する。
図4の例に示したフローチャート内のステップS424と同等の処理である。
ステップS808では、増えた文書のフォームを解析する。例えば、ユーザー390に関する情報であるテキスト、画像を貼り付けるべき領域を抽出する。
【0054】
ステップS810では、合成領域の傾き、又は、合成領域周辺の文字列に傾きはあるか否かを判断し、傾きがない場合はステップS812へ進み、傾きがある場合はステップS814へ進む。例えば、追加文書が「封書等を生成するための文書」である場合には、
図10の例を用いて後述するように、抽出した情報を合成すべき領域が傾いている場合がある。
ステップS812では、抽出した情報をもとに追加文書を加工する。追加文書を対象としていること以外は、
図4の例に示したフローチャート内のステップS424と同等の処理である。
【0055】
ステップS814では、傾きにあわせて、抽出した情報を変形(回転)させる。抽出した情報として、例えば、ユーザー390の住所、免許証の画像等がある。記載すべき領域の傾きに合わせてテキストの変形、又は、画像の変形を行う。
ステップS816では、変形した情報をもとに追加文書を加工する。
【0056】
図9は、本実施の形態が対象とする文書900の例を示す説明図である。
文書900は、読み込んだ文書であり、タイトル910、住所記入欄920、免許証貼付欄930を有している。タイトル910には「○○村ふるさと納税」と記載されており、住所記入欄920には「住所を記入してください」と記載されており、免許証貼付欄930には「免許証を貼り付けてください」と記載されている。
図6の例に示したものと同様に、「要求されている情報」として、「住所」、「免許証の画像」があると判定する。ただし、この文書900では、文書900を送信する封筒を作成するための文書が追加文書として必要である。この追加文書の例について
図10を用いて説明する。
【0057】
図10は、本実施の形態が対象とする追加文書1050の例を示す説明図である。
追加文書1050は、領域線1072、領域線1074、領域線1076、領域線1078によって、斜めになった領域に区切られている。領域線1072等に沿って折り返しを行うことによって、封筒を生成するために斜めになっている。なお、これらの領域が斜めになっていることは、領域線1072等、又は、領域の内外に記載されている文字の傾きを検出することによって判断している。
宛先住所領域1052には、宛先として「××県◇◇市〇〇村 ~~~~行」と記載されている。送信元住所領域1054には、要求文1056である「住所・氏名を記入してください」と記載されている。
文書の型を解析した場合は、宛先住所領域1052の縦横比、他の領域との組み合わせ等から、追加文書1050は封筒作成フォームであると判断する。そして、フォームと「要求されている情報」を対応して記憶しているテーブルを利用して、その封筒作成フォームは、「要求されている情報」として、「住所」、「氏名」があると判定する。また、宛先が記載されている宛先住所領域1052に隣接する領域は、送信元を記載すべき送信元住所領域1054であると判定するようにしてもよい。
文書内の文字を解析した場合は、送信元住所領域1054内の要求文1056である「住所・氏名を記入してください」を認識し、「要求されている情報」として「住所」、「氏名」があると判定する。
【0058】
図11は、本実施の形態による処理結果である文書1100、追加文書1150の例を示す説明図である。
図9の例に示す文書900を読み込んで、文書900及び
図10の例に示した追加文書1050にユーザー390に関する情報を合成したものである。
図11(a)に示す例は、
図9の例に示す文書900にユーザー390に関する情報を合成したものである。
文書1100は、ログインしたユーザー390の指示にしたがって、文書900を読み込んだ場合の情報処理装置100による印刷結果の1枚の例を示すものである。文書1100は、タイトル1110、住所記入欄1120、免許証貼付欄1130を有している。タイトル1110には、文書900のタイトル910と同様の「○○村ふるさと納税」が記載されており、住所記入欄1120には、ユーザー390の住所である「○○県□□市△△町」と記載されており、免許証貼付欄1130には、ユーザー390の免許証画像1135が貼り付けられている。
【0059】
図11(b)に示す例は、
図9の例に示す文書900を読み込んで、
図10の例に示した追加文書1050にユーザー390に関する情報を合成したものである。
宛先住所領域1152には、追加文書1050の宛先住所領域1052と同様の「××県◇◇市〇〇村 ~~~~行」と記載されており、送信元住所領域1154には、ユーザー390の住所、氏名である「○○県□□市△△町 苗字 名前」と記載されている。
【0060】
また、
図12、
図13の例を用いて、追加文書に画像を合成する処理を説明する。
図12は、本実施の形態が対象とする文書1200の例を示す説明図である。具体的には、文書1200は、読み込んだ文書、又は、追加文書である。文書1200は、領域線1272、領域線1274、領域線1276、領域線1278によって、斜めになった領域に区切られている。領域線1272等に沿って折り返しを行うことによって、封筒を生成するために斜めになっている。なお、これらの領域が斜めになっていることは、領域線1272等、又は、領域の内外に記載されている文字の傾きを検出することによって判断している。
宛先住所領域1252には、宛先として「××県◇◇市〇〇村 ~~~~行」と記載されている。送信元住所領域1254には、要求文1256である「住所・氏名を記入してください」と記載されている。記入領域1258には、免許証貼付欄1260、住所記入欄1262があり、免許証貼付欄1260には「免許証を貼り付けてください」と記載されており、住所記入欄1262には「住所を記入してください」と記載されている。
文書の型を解析した場合は、宛先住所領域1252の縦横比、他の領域との組み合わせ等から、文書1200は封筒作成フォームであると判断する。そして、フォームと「要求されている情報」を対応して記憶しているテーブルを利用して、その封筒作成フォームは、「要求されている情報」として、「住所」、「氏名」、「免許証の画像」があると判定する。また、宛先が記載されている宛先住所領域1252の右に隣接する領域は、送信元を記載すべき送信元住所領域1254であると判定するようにしてもよい。そして、宛先住所領域1252の左に隣接する領域は、ユーザー390の免許証の画像を貼り付けるべき免許証貼付欄1260、ユーザー390の住所を記載すべき住所記入欄1262であると判定するようにしてもよい。
文書内の文字を解析した場合は、送信元住所領域1254内の要求文1256である「住所・氏名を記入してください」を認識し、「要求されている情報」として「住所」、「氏名」があると判定する。そして、免許証貼付欄1260内の「免許証を貼り付けてください」を認識し、「要求されている情報」として「免許証の画像」があると判定し、住所記入欄1262内の「住所を記入してください」を認識し、「要求されている情報」として「住所」があると判定する。
【0061】
図13は、本実施の形態による処理結果である追加文書1300の例を示す説明図である。
図12の例に示す文書1200を対象として、文書1200にユーザー390に関する情報を合成したものである。つまり、追加文書1300は、文書1200に記入済みの文書となる。
宛先住所領域1352には、文書1200の宛先住所領域1252と同様の「××県◇◇市〇〇村 ~~~~行」と記載されている。そして、送信元住所領域1354には、ユーザー390の住所、氏名である「○○県□□市△△町 苗字 名前」と記載されている。
免許証貼付欄1360には、ユーザー390の免許証の画像が貼り付けられている。その免許証画像は、免許証貼付欄1360の枠の傾きに合わせて回転が行われている。
住所記入欄1362には、ユーザー390の住所である「○○県□□市△△町 苗字 名前」と記載されている。その住所の文字は、住所記入欄1362の枠の傾きに合わせて回転が行われている。
【0062】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD-R、DVD-RW、DVD-RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD-ROM)、CDレコーダブル(CD-R)、CDリライタブル(CD-RW)等、ブルーレイ・ディスク(Blu-ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digitalの略)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
【符号の説明】
【0063】
100…情報処理装置
105…プロセッサ
110…メモリ
115…データメモリ
120…プログラムメモリ
125…個人情報記憶モジュール
130…UIモジュール
132…指示受付制御モジュール
134…表示制御モジュール
135…画像解析モジュール
140…要求判定モジュール
145…加工モジュール
150…制御モジュール
185…出力装置
187…表示装置
189…印刷装置
190…受付装置
192…指示受付装置
194…文書読取装置
195…通信装置
198…バス
200…画像処理装置
210…画像処理装置
225…個人情報データベース
235…画像解析装置
240…要求判定装置
245…加工装置
280…サービス提供装置
285…フォーム記憶モジュール
290…通信回線
300…加工文書出力プログラム
310…文書読取モジュール
315…文書出力モジュール
390…ユーザー