特許 6795770 情報処理装置と、その処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6795770

(24)【登録日】2020年11月17日

(45)【発行日】2020年12月2日

(54)【発明の名称】情報処理装置と、その処理方法及びプログラム

(51)【国際特許分類】

   G06K 9/20 20060101AFI20201119BHJP

【ＦＩ】

   G06K9/20 340C

【請求項の数】7

【全頁数】17

(21)【出願番号】特願2019-19392(P2019-19392)

(22)【出願日】2019年2月6日

(62)【分割の表示】特願2015-223365(P2015-223365)の分割

【原出願日】2015年11月13日

(65)【公開番号】特開2019-71134(P2019-71134A)

(43)【公開日】2019年5月9日

【審査請求日】2019年3月6日

【前置審査】

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】三浦 新一

(72)【発明者】

【氏名】白波瀬 孝文

(72)【発明者】

【氏名】鷲田 真一

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２０１５−１７００４５（ＪＰ，Ａ）

【文献】 特開２００３−２２３６１０（ＪＰ，Ａ）

【文献】 特開平０９−１６７２４６（ＪＰ，Ａ）

【文献】 特開２０１２−１９４８６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ ９／００ − ９／８２

(57)【特許請求の範囲】

【請求項1】

複数の行ごとの文字列の行領域を取得可能な画像データを用いる情報処理装置であって、
前記画像データから値を取得する行領域を特定する位置条件として、前記画像データから取得される行領域に含まれるキー文字列と、当該キー文字列のある行領域と前記値を取得する行領域との相対的な方向と、前記キー文字列のある行領域から前記相対的な方向における前記値を取得する行領域を特定する数とを設定する設定手段と、
前記画像データから取得された前記キー文字列のある行領域に基づいて、当該キー文字列に対応する位置条件を満たす行領域から値を取得する取得手段と
を備え、
行領域がキー文字列と取得する値とを含む領域である場合に、前記取得手段は、前記行領域から前記取得する値に対して予め設定された出力条件に基づいて値を取得することを特徴とする情報処理装置。

【請求項2】

前記キー文字列のある行領域の指定を受け付ける第１の受付手段と、
前記値を取得する行領域の指定を受け付ける第２の受付手段と、
を更に備え、
前記設定手段は、前記第１の受付手段と、前記第２の受付手段とによる受付に従って、前記画像データから取得される行領域に含まれるキー文字列と、当該キー文字列のある行領域と前記値を取得する行領域との相対的な方向と、前記キー文字列のある行領域から前記相対的な方向における前記値を取得する行領域を特定する数とを設定することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記複数の行領域を表示し、前記第１の受付手段で指定されたキー文字列のある行領域と、前記第２の受付手段で指定された値を取得する行領域とを識別可能に表示する表示手段を更に備えることを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記設定手段は、記憶手段に記憶されている位置条件を読み出して設定することを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記画像データから取得される行領域は、ブロックセレクションに基づくブロック領域を分割した領域であることを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。

【請求項6】

複数の行ごとの文字列の行領域を取得可能な画像データを用いる情報処理装置の処理方法であって、
前記画像データから値を取得する行領域を特定する位置条件として、前記画像データから取得される行領域に含まれるキー文字列と、当該キー文字列のある行領域と前記値を取得する行領域との相対的な方向と、前記キー文字列のある行領域から前記相対的な方向における前記値を取得する行領域を特定する数とを設定する設定ステップと、
前記画像データから取得された前記キー文字列のある行領域に基づいて、当該キー文字列に対応する位置条件を満たす行領域から値を取得する取得ステップと
を含み、
行領域がキー文字列と取得する値とを含む領域である場合に、前記取得ステップでは、前記行領域から前記取得する値に対して予め設定された出力条件に基づいて値を取得することを特徴とする処理方法。

【請求項7】

複数の行ごとの文字列の行領域を取得可能な画像データを用いる情報処理装置のプログラムであって、
前記情報処理装置を、
前記画像データから値を取得する行領域を特定する位置条件として、前記画像データから取得される行領域に含まれるキー文字列と、当該キー文字列のある行領域と前記値を取得する行領域との相対的な方向と、前記キー文字列のある行領域から前記相対的な方向における前記値を取得する行領域を特定する数とを設定する設定手段と、
前記画像データから取得された前記キー文字列のある行領域に基づいて、当該キー文字列に対応する位置条件を満たす行領域から値を取得する取得手段
として機能させ、
行領域がキー文字列と取得する値とを含む領域である場合に、前記取得手段は、前記行領域から前記取得する値に対して予め設定された出力条件に基づいて値を取得することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文書画像の所望の箇所の値を容易に取得可能とする画像処理技術に関する。

【背景技術】

【0002】

従来、様々な画像処理技術が開示されている。その中で、ブロックセレクション技術というものが存在する。

【0003】

ブロックセレクション技術とは、１ページ内の画像データの認識を行い、文字領域、図領域、写真領域、表領域等のブロックに分類を行うものである。このブロックセレクション技術により得られた文字領域を文字認識することが行われている。ブロックセレクション技術については、特許文献１に開示されている。

【0004】

また、ブロックセレクションを用いないで文字認識する場合には、事前に文字認識領域をテンプレートとして定義することが必要となる。文字認識領域を定義する技術については、特許文献２に開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００６−１９５８８７号公報

【特許文献2】特開２００５−２６７３９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ブロックセレクション技術を用いると、様々なフォームから文字情報を取得できるため、利便性が高い一方、所定の範囲（例えば、文字列が複数行にわたる範囲）でブロック分けするため、ブロック内の文字列をすべて抽出することになり、必要な文字列の取得することは技術的に困難であった。

【0007】

また、文字認識領域を定義して文字列を取得する技術においては、設定が煩雑であった。さらに、フォームごとに設定を作る必要があり、容易に文字列を取得することができなかった。

【0008】

そこで、本発明の目的は、文書画像から所望の箇所の値を容易に取得できる仕組みを提供することである。

【課題を解決するための手段】

【0009】

本発明の目的を達成するための、複数の行ごとの文字列の行領域を取得可能な画像データを用いる情報処理装置であって、前記画像データから値を取得する行領域を特定する位置条件として、前記画像データから取得される行領域に含まれるキー文字列と、当該キー文字列のある行領域と前記値を取得する行領域との相対的な方向と、前記キー文字列のある行領域から前記相対的な方向における前記値を取得する行領域を特定する数とを設定する設定手段と、前記画像データから取得された前記キー文字列のある行領域に基づいて、当該キー文字列に対応する位置条件を満たす行領域から値を取得する取得手段とを備え、行領域がキー文字列と取得する値とを含む領域である場合に、前記取得手段は、前記行領域から前記取得する値に対して予め設定された出力条件に基づいて値を取得することを特徴とする。

【発明の効果】

【0010】

本発明によれば、文書画像から所望の箇所の値を容易に取得できる。

【図面の簡単な説明】

【0011】

【図1】画像処理システムの構成例を示す図である

【図2】ＰＣ２０１の概略構成を示すブロック図である

【図3】画像処理システムにて実行される画像処理の概略を示すフローチャートである

【図4】設定条件（設定ファイル）作成処理のフローチャートである

【図5】設定条件による値取得処理のフローチャートである

【図6】ブロック情報の一例を示すデータ図である

【図7】文字認識領域情報の一例を示すデータ図である

【図8】設定ファイルの一例を示すデータ図である

【図9】読み込む文書画像の一例を示すイメージ図である

【図10】ブロック情報を文書画像上で表示した場合のイメージ図である

【図11】文字認識領域情報を選択領域として文書画像上で表示した場合のイメージ図である

【図12】設定情報を生成するための設定画面の一例を示す図である

【図13】値取得領域の選択を受け付けた場合に設定画面の一例を示す図である

【図14】値取得処理により取得された値を表示した画面の一例を示す図である

【発明を実施するための形態】

【0012】

以下、本発明の実施形態を、図面を参照して詳細に説明する。
図１は、本発明の実施形態に係る画像処理方法が適用された画像処理システムの構成例を示す図である。

【0013】

図１において、画像処理システムは、例えば、情報処理装置としてのパーソナルコンピュータ（ＰＣ）２０１と、画像読取装置としてのスキャナ２０２と、印刷装置としてのプリンタ２０３とを備え、これらがネットワーク２０４を介して互いに接続されている。

【0014】

スキャナ２０２は、紙文書を光学的に読み取って電子化し、その画像データをＰＣ２０１に送ることができる。ＰＣ２０１は、受信した画像データに対して所定の画像処理を実行する。その際、オペレータがキーボードやマウス等を操作して処理結果の確認および修正を行うことができる。プリンタ２０３は、所定の画像処理が行われた画像データをＰＣ２０１から受信して印刷を行う。

【0015】

ネットワーク２０４は、インターネット、ＬＡＮやＷＡＮ、電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現される、いわゆる通信ネットワークであり、データの送受信が可能であればよい。

【0016】

なお、本発明の実施形態に係る画像処理方法を図示の画像処理システムに適用した形態について説明するが、これに限定されず、スキャナやプリンタが一体的に構成された複合機に適用した形態であってもよい。また、ＰＣ２０１は、スキャナ２０２から入力された画像データに限らず、デジタルカメラ等で撮影された文書画像データに対して本発明の画像処理方法を実行してもよく、画像データの入力先や入力方法を限定するものではない。

【0017】

図２は、図１のＰＣ２０１の概略構成を示すブロック図である。

【0018】

ＰＣ２０１において、ＣＰＵ１０１は、ＲＯＭ１０２に格納されている制御プログラムに従って装置全体の制御を行う。ＲＯＭ１０２は、ＣＰＵ１０１が実行する後述する処理等の制御プログラムを含む各種プログラムや各種パラメータデータを格納する。ＲＡＭ１０３は、記憶装置１０４からロードされたプログラムを一時的に記憶したり、エリア画像や各種データを記憶する。また、ＲＡＭ１０３は、データの作業領域や一時待避領域として機能する。

【0019】

記憶装置１０４は、例えば、ハードディスクやＣＤ−ＲＯＭ等で構成され、画像データを管理するデータベースを含む各種データを記憶する。ディスプレイ１０５は、例えば、ＬＣＤやＣＲＴで構成される。入力装置１０６は、例えば、マウスやキーボード、ペンタブレット等で構成される。

【0020】

ネットワークインターフェース（Ｉ／Ｆ）１０９は、ネットワーク２０４上に接続されている外部装置（スキャナ２０２やプリンタ２０３に限らず、不図示のサーバや外部記憶装置等）と通信し、プログラムやデータを読み込んだり、書き込んだりする。

【0021】

図３は、図１の画像処理システムにて実行される画像処理の概略を示すフローチャートである。本処理は、ＰＣ２０１内の画像処理プログラムに基づいてＣＰＵ１０１により実行される処理である。なお、図３の詳細な処理を示すフローチャートは、図４と図５を用いて説明する。

【0022】

まず、ステップＳ３０１では、ＰＣ２０１は、スキャナ２０２を制御して紙文書の画像を読み取らせて、その画像データを取得する。次に、ＰＣ２０１は、画像に対してブロックセレクション処理を行って、画像から表、文字、絵や図、枠、線の各領域を抽出する。

【0023】

ブロックセレクション処理とは、図９のように読み取った一頁のイメージデータをオブジェクト毎の塊として認識し、該ブロック各々を文字／ 図画／ 写真／線／表等の属性に判定し、異なる属性を持つ領域に分割する処理である。

【0024】

具体的には、先ず、入力画像を白黒に二値化し、輪郭線追跡をおこなって黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡をおこない白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。

【0025】

このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる属性を持つ領域へ分類していく。たとえば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字領域、扁平な画素塊を線領域、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域、不定形の画素塊が散在している領域を写真領域、それ以外の任意形状の画素塊を図画領域、などとする。

【0026】

ブロックセレクション処理で得られた各ブロックに対するブロック情報を図６に示す。図６に示すブロック情報に対応する画像の例が図１０である。なお、各ブロック情報は画面上で表示されないが、説明のために図１０で各ブロックを示すものとする。

【0027】

このブロックセレクション処理で得られたブロックのうち、テキスト属性（種別）を持つブロックを取得し、このブロックについて文字認識処理を行う。文字認識技術については既知の技術であるため説明を省略する。

【0028】

文字認識をした結果得られた文字列から、複数行にわたる領域かを判定し、複数行にわたる場合には、各行に分割して、領域として登録する。１行はそのままの領域として登録する。文字認識した場合に得られた領域（座標）も取得できるため、その座標を登録する。領域として登録されたデータの例が図７である。図６のブロック４が５つの領域として分割され、登録されている（７０１）。
なお、文字認識の結果によっては、行が分かれる「個人番号」「１２３４５６７８９０１２」場合は、７０２のように、わかれて登録される。

【0029】

この登録された領域を用いて、設定画面上（図１３）で、ユーザにより選択し、値取得領域を特定するための条件（設定条件）を作成する。作成された設定条件を、設定ファイル（図８）に保存して、記憶装置１０４に記憶する。

【0030】

ステップＳ３０２では、ＰＣ２０１は、実際に値を取得したい画像を読み込み、ステップＳ３０１で作成した設定条件に従って、値を取得する領域を特定する。この特定は、ステップＳ３０１で説明した処理と同様に、ブロックセレクションにより得られたブロックに対して文字認識処理を行い、行分割して、領域を登録する。この領域から、設定条件のキー領域の検索文字列（例えば、通知カード）を基に、キー領域を検索して、このキー領域から、条件（例えば、下、１）を用いて、キー領域の下の１つ目の領域を値取得領域として特定する。

【0031】

ステップＳ３０３では、ＰＣ２０１は、値取得領域として特定された領域に登録されている文字列（数字）を取得して、ディスプレイ１０５に表示する。ディスプレイへの表示例は、図１４である。また、ユーザからの出力指示によりＣＳＶファイル等に取得した値のデータ群をエクスポートして出力する。

【0032】

次に図４〜図５を用いて、本実施形態における詳細処理について説明する。なお、図４〜図５は、図１の画像処理システムにて実行される画像処理の詳細を示すフローチャートである。本処理は、ＰＣ２０１内の画像処理プログラムに基づいてＣＰＵ１０１により実行される処理である。図４は、設定条件（設定ファイル）作成処理のフローチャートであり、図５は、設定条件による値取得処理のフローチャートである。
まず、図４のフローチャートを用いて説明する。

【0033】

ステップＳ４０１では、ＰＣ２０１は、ユーザの操作により、画像処理プログラムを実行させ、不図示のメニューから設定条件作成機能が選択されたか。値取得機能が選択されたかを判定する。設定条件作成機能が選択された場合にはステップＳ４０２へ処理を移す。値取得機能が選択された場合には、図５へ処理を移す。

【0034】

ステップＳ４０２では、ＰＣ２０１はスキャナから取り込まれた画像、或いは所定のフォルダに格納されている画像を読み込む。読み込まれた画像の例が、図８である。

【0035】

ステップＳ４０３では、ＰＣ２０１は、読み込まれた画像を用いて、ブロックセレクション処理を実行する。なお、ブロックセレクション処理については、ステップＳ３０１の通りである。このブロックセレクションは、ブロックセレクションライブラリを用いて実行する。ブロックセレクションで得られるブロック情報は図６である。

【0036】

ここで、図６を説明する。ブロックＩＤ、種別（テキスト、図、表・・・）領域情報（座標Ｘ、座標Ｙ、幅、高さ）を有している。これらのブロック情報は、ブロックセレクションライブラリが生成するものである。

【0037】

ステップＳ４０４では、ＰＣ２０１は、ブロックセレクションライブラリからテキスト種別、表種別を有するブロック情報を取得する。

【0038】

ステップＳ４０５では、ＰＣ２０１は、取得したブロックに対して、文字認識処理を行う。文字認識処理は既知の技術であり説明を省略するが、例えば、パターンマッチングを用いて、記入文字と文字のテンプレートを照合して、文字候補を抽出する技術がある。

【0039】

文字認識処理により、文字列（数字含む）と、その文字列の領域情報（座標）が取得できる。領域情報は、文字列を囲む枠を示す領域である。文字認識した結果は、ブロックごとにメモリで管理されるものとする。

【0040】

ステップＳ４０５では、すべてのブロックに対して、まず文字認識を実行し、ステップＳ４０８の処理へ移行するようにしているが、１ブロックごとに、文字認識を行い、Ｓ４０８の判定を行ってもよい。すなわち、すべてのブロックに対して文字認識を実行したあとに、ステップＳ４０８の判定を実行する手順に限定されるものではない。

【0041】

ステップＳ４０６では、ＰＣ２０１は、すべてのブロックに対して、処理を実行したか否かを判定する。すべてのブロックに対して処理が行われていない場合、次に処理するブロックの文字列を取得するべくステップＳ４０７へ処理を移す。すべてのブロックに対して処理を実行した場合には、ステップＳ４１１へ処理を移す。

【0042】

ステップＳ４０７では、ＰＣ２０１は、処理対象のブロックの文字認識結果（文字列）をメモリから取得する。

【0043】

ステップＳ４０８では、ＰＣ２０１は、取得した文字列が複数行の文字列かを判定する。図１０を参照し、ブロック４を例にとると、５行にわたる文字列が取得できるため、ステップＳ４１０へ処理を移す。また、ブロック１を例にとると、１行の文字列が取得できるため、ステップＳ４０９へ処理を移す。

【0044】

ステップＳ４０９では、ＰＣ２０１は、文字認識結果を、図７の文字認識領域情報に登録する。図７では、領域ＩＤと、文字認識結果から得られる文字列と、文字列がある位置を示す領域情報（座標）を登録する。

【0045】

ステップＳ４１０では、ＰＣ２０１は、行ごとに分割して、文字認識領域情報に登録する。図７の７０１に示す通り、ブロック４の文字列が、５つの領域に分けて登録される。なお、領域情報（座標）は、それぞれの行の文字列のある位置の座標が登録される。
なお、この図７に登録された領域が、後述する設定画面で選択可能な選択領域となる。

【0046】

ステップＳ４１１では、ＰＣ２０１は、図７の文字認識領域情報の座標を用いて、選択領域を表示する。選択領域を表示した例が、図１１であり、選択領域は、破線で示されている。すなわち、設定情報を生成すべく、文字認識処理により得られた文字認識領域を表示する表示処理の一例を示すステップである。

【0047】

ステップＳ４１２では、ＰＣ２０１は、選択領域を表示する際に、設定画面を合わせて表示する。設定画面の例が、図１２である。なお、設定画面の表示は、Ｓ４０２の画面を読み込む際に事前に表示されている構成であってもよく、手順を限定するものではない。

【0048】

ステップＳ４１３では、ＰＣ２０１は、ユーザの操作により、キー領域とする領域の選択を受ける。図１２の例を基に詳述すると、１２００にフォーカスがある状態で、１２０１の領域を選択すると、１２００に選択された領域名がインプットされる。領域名は、図７の文字列から取得して表示する。何文字目までを領域名とするか、スペースなどの区切りまでを領域名とするかは予め設定されているものとする。
すなわち、キーとなる領域を、表示された文字認識領域から選択する第１の選択処理の一例を示すステップである。

【0049】

１２０１と１２０２は、実線で示されている通り、キー領域として選択されたことを示している。また、未選択の領域と識別できるように表示する。これにより、キー領域としてどの領域を選択しているのかを把握しやすくなる。

【0050】

条件（ａｎｄ、ｏｒ）については、ユーザが任意に選択するものとする。位置については、後述するが、値取得領域として領域が選択された場合に、表示される。

【0051】

ステップＳ４１４では、ＰＣ２０１は、上述したように選択した領域の領域名を設定画面に表示する。複数のキー領域を選択する場合には、次の領域を繰り返し選択する。

【0052】

ステップＳ４１５では、ＰＣ２０１は、値取得領域とする領域の選択を受け付ける。図１３の例を基に詳述すると、１３００にフォーカスがある状態で、１３０１の領域を選択すると、１３００に選択された領域名がインプットされる。領域名は、図７の文字列から取得して表示する。何文字目までを領域名とするか、スペースなどの区切りまでを領域名とするかは予め設定されているものとする。
すなわち、値取得領域となる領域を、表示された文字認識領域から選択する第２の選択処理の一例を示すステップである。

【0053】

１３０１は、斜め線で網掛け表示されている通り、値取得領域として選択されたことを示している。また、未選択の領域、キー領域と識別できるように表示する。これにより、キー領域として、また値取得領域としてどの領域を選択しているのかを把握しやすくなり、設定作業が容易になる。

【0054】

すなわち、第１の選択処理で選択されたキーとなる領域と、第２の選択処理で選択された値取得領域となる領域とを識別可能に表示する識別表示処理の一例を示すステップものである。

【0055】

ステップＳ４１６では、ＰＣ２０１は、上述したように選択した領域（値取得領域）の領域名を設定画面に表示する。

【0056】

ステップＳ４１７では、ＰＣ２０１は、キー領域と値取得領域の関係（位置）取得する。具体的には、キー領域として選択した領域の領域情報（座標）と、値取得領域として選択した領域の領域情報（座標）から位置関係を算出する。例えば、値取得領域がキー領域の下に位置すると判定された場合には、キー領域から下方向で、何個目の領域かを決定する。図１３の例では、１３０１は、通知カードの領域の下にある領域と判定され、１個目の領域と決定される。この位置の決定を、選択されたキー領域ごとに行い、関係の位置情報を取得する。

【0057】

すなわち、第１の選択処理により選択されたキーとなる領域の領域情報と第２の選択処理により選択された値取得領域の領域情報に従って、キーとなる領域に対応する値取得領域の位置を特定する特定処理の一例を示すステップである。

【0058】

ステップＳ４１８では、ＰＣ２０１は、ステップＳ４１７で取得した位置情報を１３０２に条件として設定して、表示する。
ステップＳ４１９では、ＰＣ２０１は、その他の条件設定の入力を受け付ける。例えば、取得値属性、桁数などである。

【0059】

なお、ステップＳ４１３〜ステップＳ４１９の処理に対応する操作は、ユーザが任意の順番で入力操作ができるため、フローチャートに記載の手順に限定されるものではない。

【0060】

ステップＳ４２０では、ＰＣ２０１は、ユーザの操作により登録ボタンが押下されると、設定画面で入力された条件（設定情報）を設定ファイルに保存する。すなわち、特定処理により特定された位置を位置条件として設定し、第１の選択処理で選択されたキーとなる領域の文字列をキー文字列として設定する処理の一例を示すステップである。なお、図１３の設定画面での各項目へインプットも設定処理の一例である。

【0061】

設定ファイルの保存例は、図８である。８０１は、７０１のように領域が登録された場合の例であり、８０２は、７０２のように個人番号と、数字の領域が別の行として認識され、領域が登録された場合の例である。そして、キー領域として、通知カード、個人番号が選択された場合の例である。

【0062】

なお、図８の設定ファイルの設定情報は、キーとなる領域を特定するためのキー文字列（例えば、キー領域の検索文字列：通知カード）と、キーとなる領域に基づき文字列を取得する領域を特定するための位置条件（条件：下、１）を含む設定情報と言い換えることが可能である。

【0063】

続いて、図５を用いて、設定条件による値取得処理のフローチャートについて説明する。

【0064】

ステップＳ５０１では、ＰＣ２０１は、設定ファイルから設定情報を読み込む。利用する設定ファイルは、ユーザが任意に選択して読み込んでもよい。
ステップＳ５０２では、ＰＣ２０１は、ＰＣ２０１はスキャナから取り込まれた画像、或いは所定のフォルダに格納されている画像を読み込む。

【0065】

ステップＳ５０３では、ＰＣ２０１は、ＰＣ２０１は、読み込まれた画像を用いて、ブロックセレクション処理を実行する。このブロックセレクションは、ブロックセレクションライブラリを用いて実行する。なお、ブロックセレクション処理については、ステップＳ３０１の通りである。また、ブロック情報は図６と同様である。さらに、ブロックセレクションライブラリで文字認識処理を実行してもよい。

【0066】

ステップＳ５０４では、ＰＣ２０１は、ブロックセレクションライブラリからテキスト種別、表種別を有するブロック情報を取得する。

【0067】

ステップＳ５０５では、ＰＣ２０１は、取得したブロックに対して、文字認識処理を行う。文字認識処理は既知の技術であり説明を省略するが、例えば、パターンマッチングを用いて、記入文字と文字のテンプレートを照合して、文字候補を抽出する技術がある。

【0068】

文字認識処理により、文字列（数字含む）と、その文字列の領域情報（座標）が取得できる。領域情報は、文字列を囲む枠を示す領域である。文字認識した結果は、ブロックごとにメモリで管理されるものとする。

【0069】

ステップＳ５０５では、すべてのブロックに対して、まず文字認識を実行し、ステップＳ５０８の処理へ移行するようにしているが、１ブロックごとに、文字認識を行い、Ｓ５０８の判定を行ってもよい。すなわち、すべてのブロックに対して文字認識を実行したあとに、ステップＳ５０８の判定を実行する手順に限定されるものではない。

【0070】

ステップＳ５０６では、ＰＣ２０１は、すべてのブロックに対して、処理を実行したか否かを判定する。すべてのブロックに対して処理が行われていない場合、次に処理するブロックの文字列を取得するべくステップＳ５０７へ処理を移す。すべてのブロックに対して処理を実行した場合には、ステップＳ５０９へ処理を移す。

【0071】

ステップＳ５０７では、ＰＣ２０１は、処理対象のブロックの文字認識結果（文字列）をメモリから取得する。すなわち、所定の領域の画像に対する文字認識結果（ブロックの文字認識の結果）により得られる文字列を取得する取得処理の一例を示すステップである。所定の領域とは、例えば、ブロックセレクションにより得られた領域である。

【0072】

ステップＳ５０８では、ＰＣ２０１は、取得した文字列が複数行の文字列かを判定する。ステップＳ４０８の処理と同様のため、図１０を参照し説明する。ブロック４を例にとると、５行にわたる文字列が取得できるため、ステップＳ５１０へ処理を移す。また、ブロック１を例にとると、１行の文字列が取得できるため、ステップＳ５０９へ処理を移す。すなわち、ステップＳ５０８は、取得処理により取得された文字列が複数行の文字列か否かを判定する複数行判定処理の一例を示すステップである。

【0073】

ステップＳ５０９では、ＰＣ２０１は、文字認識結果をメモリに記憶する。なお、ステップＳ４０９の処理と同様のため、図７を用いて説明する。文字認識結果は図７の文字認識領域情報に登録される。図７では、領域ＩＤと、文字認識結果から得られる文字列と、文字列がある位置を示す領域情報（座標）を登録する。

【0074】

ステップＳ５１０では、ＰＣ２０１は、行ごとに領域を分割して、文字認識領域情報を生成し、登録する。図７の７０１に示す通り、ブロック４の文字列が、５つの領域に分けて登録される。なお、領域情報（座標）は、それぞれの行の文字列のある位置の座標が登録される。

【0075】

なお、図７の文字認識領域情報は、文字認識処理により得られた文字認識領域と言い換えることが可能である。また、ステップＳ５１０は、複数行判定処理により複数行と判定された場合に、行ごとの文字認識領域を生成する生成処理の一例を示すステップである。

【0076】

ステップＳ５１１では、ＰＣ２０１は、読み込まれた設定情報のキー領域の検索文字列（図８参照）を取得して、文字認識領域情報を検索する。キー領域の検索文字列に従って、文字認識領域情報の文字列で一致する領域を特定する。これにより、一致した領域がキー検索領域となる。すなわち、キー文字列に従って、文字認識処理により得られた文字認識領域から、キーとなる領域を特定するキー領域特定処理の一例を示すステップである。また、詳細には、生成処理により生成された文字認識領域から、キーとなる領域を特定する処理の一例を示すステップである。

【0077】

ステップＳ５１２では、ＰＣ２０１は、キー領域と、設定情報の条件（例えば、「下、１」）を取得して、キー領域から１つ下の領域を特定する。キー領域の座標を基に、文字認識領域情報（例えば、図７）を参照して下方向の座標を有する領域を検索し、特定する。この特定した領域が値取得領域となる。なお、下方向の座標を有する領域のうち、一番近い座標を持つ領域から順に１つ目の領域、２つ目の領域とする。
キー領域が複数ある場合には、キー領域の条件「ａｎｄ、ｏｒ」に従って、値取得領域を特定する。

【0078】

すなわち、特定されたキーとなる領域と設定情報の位置条件に従って、文字認識領域から値取得領域を特定する値取得領域特定処理の一例を示すステップである。

【0079】

ステップＳ５１２で値取得領域が特定できた場合には、画像上に値取得箇所を示すように、値取得領域の座標に従って、枠等の識別表示を行う。なお、識別表示した例が、図１４の１４０１である。図１４は、図９の帳票とは異なる個人を例にした帳票の画像（文書画像）で、値取得表示と、識別表示をしている。

【0080】

ステップＳ５１１とステップＳ５１２により、キー領域を特定したうえで、キー領域から位置条件（例えば、下、１）にある領域を特定して値を取得するため、誤った位置の値を取得することがなくなる。文字認識定義のあるテンプレートを用いた場合には、ユーザによる貼り付け誤差によって、適切な値が取得できないが、本処理を用いることにより貼り付け誤差があっても取得したい箇所の値を取得することが可能となる。

【0081】

ステップＳ５１３では、ＰＣ２０１は、ステップＳ５１２で特定した値取得領域の文字列を取得する。文字列の取得は、文字認識領域情報（例えば、図７）の文字列から取得する。この時、出力条件（例えば「数字、１２ケタ」）に従って、必要な文字列を取得する。

【0082】

ステップＳ５１４では、ＰＣ２０１は、取得した文字列（値）を認識結果画面１４０２に表示する。すなわち、特定された値取得領域の文字列を出力する表示出力処理の一例を示すステップである。

【0083】

なお、ステップＳ５１３で出力条件に合致する値が取得できない場合にはエラーを通知する。認識結果に誤りがあった場合には、ユーザにより、修正入力エリアに修正値を入力させることが可能である。修正入力エリアに入力された場合には、入力値が登録される値となる。

【0084】

ステップＳ５１５では、ＰＣ２０１は、認識結果をＣＳＶファイルに出力する。なお、複数の画像が読み込まれた場合には、すべての画像に対して、値取得を実行し、図１４の登録ボタンで値を登録して、最後の画像に対する値を登録すると、ＣＳＶファイルにて値を出力する。出力するファイルの形式は一例であり、限定されるものではない。

【0085】

また、ファイルの出力先を任意に指定する、出力する際には、不図示の出力ボタンを押下することで、所定の出力先に認識結果（値）を出力することが可能であることは言うまでもない。
出力する値としては、「９８７６５４３２１０９８」だけでもよいし、９８７６５４３２１０９８の領域名（個人番号）と合わせて出力してもよい。

【0086】

以上、本実施形態によれば、文書画像から所望の箇所の値を容易に取得できる。

【0087】

特に、煩雑な設定が必要な文字認識領域を設定したテンプレートを用いることなく、容易に値取得する条件を設定することができる。また、ブロックセレクションにより複数行にわたる文字列が取得できる場合においても、所定の位置にある値を容易かつ精度よく取得させることが可能となる。

【0088】

例えば、テンプレートと用いる文字認識技術を用いた場合に、申請書に貼り付け書類があると、貼付け位置がずれてしまうと認識領域がずれてしまい、誤った値が取得されるという技術的な課題がある。本実施形態では、貼付け位置が上下左右にずれたとしても、ブロックセレクションを用いて、キー領域を特定したうえで、キー領域から位置条件にある領域を特定して値を取得するため、誤った位置の値を取得することがなくなるという効果を得ることできる。

【0089】

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。例えば、本実施形態では、値取得領域を特定する条件として、「１つ」下の領域という形で領域単位で条件を持たせるようにしたが、キー領域からの相対的な位置を持たせるようにしてもよい。すなわち、値取得領域を特定するためのキー領域からの位置条件を持たせる構成であればよい。

【0090】

以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。例えば、クラウド環境で実現する構成であってもよい。その場合、クラウド環境上のサーバで、設定ファイル作成ツールが実行される。

【0091】

また、本発明におけるプログラムは、図３〜図５に示すフローチャートの処理方法をコンピュータが実行可能なプログラムである。なお、記憶媒体に図３〜図５の処理方法をコンピュータが実行可能なプログラムが記憶される構成であってもよい。なお、本発明におけるプログラムは図３〜図５の各装置の処理方法ごとのプログラムであってもよい。

【0092】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

【0093】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

【0094】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

【0095】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0096】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0097】

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0098】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0099】

１０１ ＣＰＵ
１０２ ＲＡＭ
１０４ 記憶装置
２０１ ＰＣ
２０２ スキャナ
２０３ プリンタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】