特許 7566520 画像処理装置、方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-04

(45)【発行日】2024-10-15

(54)【発明の名称】画像処理装置、方法、プログラム

(51)【国際特許分類】

   G06V 30/14 20220101AFI20241007BHJP

【ＦＩ】

G06V30/14 340K

【請求項の数】 7

(21)【出願番号】P 2020123283

(22)【出願日】2020-07-17

(65)【公開番号】P2022019445

(43)【公開日】2022-01-27

【審査請求日】2023-07-04

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】榎本 誠

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０００－１４８９０６（ＪＰ，Ａ）

【文献】特表２０１５－５３４１７１（ＪＰ，Ａ）

【文献】特開２０１３－０７４６０９（ＪＰ，Ａ）

【文献】特開２０１７－２２８１７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／１４

(57)【特許請求の範囲】

【請求項1】

正規表現式と、正規表現式ごとに予め定義したスペース文字に関するパラメータとを関連づけた正規表現定義を記憶する記憶手段と、
文書画像に対して文字認識処理を実行する文字認識手段と、
前記スペース文字に関するパラメータに基づいて、前記文字認識手段による文字認識結果の文字列に対してスペース文字を挿入することにより、検索用文字列を生成する生成手段と、
前記生成手段で生成された前記検索用文字列から、前記正規表現式に一致する箇所を検索する検索手段と、
前記検索手段で検索された箇所に基づいて、前記文字認識結果の文字列を分割する分割手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記生成手段は、前記スペース文字に関するパラメータとして規定された間隔より、前記文字認識結果の文字列の隣り合う文字間の距離が大きい箇所に前記スペース文字を挿入することにより、前記検索用文字列を生成する、ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記スペース文字に関するパラメータとして、文字高さを用いて規定されたパラメータが定義されている正規表現定義に対して、前記生成手段は、前記文字認識結果の文字列における文字高さに対する前記文字認識結果の文字列の隣り合う文字間の距離が、前記スペース文字に関するパラメータより大きい箇所に前記スペース文字を挿入することにより、前記検索用文字列を生成する、ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記スペース文字に関するパラメータとして、スペースを削除することが定義されている正規表現定義に対して、前記生成手段は、前記文字認識結果の文字列に対してスペース文字を挿入せずに前記検索用文字列を生成する、ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記文書画像においてユーザが指定した位置が、前記分割手段で分割された文字列に対応する位置であった場合、当該分割した後の文字列を選択する選択手段を、更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

正規表現式と、正規表現式ごとに予め定義したスペース文字に関するパラメータとを関連づけた正規表現定義に基づいて、文字認識結果の文字列を分割する画像処理方法であって、
文書画像に対して文字認識処理を実行する文字認識ステップと、
前記スペース文字に関するパラメータに基づいて、前記文字認識ステップで得た文字認識結果の文字列に対してスペース文字を挿入することにより、検索用文字列を生成する生成ステップと、
前記生成ステップで生成された前記検索用文字列から、前記正規表現式に一致する箇所を検索する検索ステップと、
前記検索ステップで検索された箇所に基づいて、前記文字認識結果の文字列を分割する分割ステップと、
を有することを特徴とする画像処理方法。

【請求項7】

コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、方法及びプログラムに関する。

【背景技術】

【0002】

紙の文書をスキャンし、電子化して保管する業務がある。従来、電子化する際に、文字認識を実施してファイル名に利用するシステムがあった。例えば、文書画像上から文字認識結果をユーザが選択して、その文字認識結果をファイル名として任意のストレージに保存するシステムがあった。しかしながら、文字認識結果を使用しているため、文字認識結果の揺れ、例えばファイル名として設定したい文字列に余分な空白文字が存在したときに、ファイル名にも空白文字が含まれてしまい、好ましくない。そこで、特許文献１では、文字認識結果をファイル名に利用する際に、先頭の空白文字を除去するなどファイル名として好適な文字列に変換する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－７４６０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の方法では、選択された文字認識結果に空白が入っていた場合に、ファイル名として好適な文字列に変換できるが、そもそもファイル名として選択した文字認識結果の文字列の範囲が好ましくないことがある。例えば、日付をファイル名として選択したい場合であっても、その日付の左右に付随する文字も含めて１つの文字列を形成しており、それら全体の文字列を選択しまうことがある。例えば、日付の項目名称として“支払期日”が記載されており、その項目名称と日付とを分離できない場合は、１つの文字列として選択されてしまう。この場合、ユーザは、当該選択された文字列の文字錦結果から、余分な部分を手動で選択して削除する必要がある。

【課題を解決するための手段】

【0005】

本発明の画像処理装置は、正規表現式と、正規表現式ごとに予め定義したスペース文字に関するパラメータとを関連づけた正規表現定義を記憶する記憶手段と、文書画像に対して文字認識処理を実行する文字認識手段と、前記スペース文字に関するパラメータに基づいて、前記文字認識手段による文字認識結果の文字列に対してスペース文字を挿入することにより、検索用文字列を生成する生成手段と、前記生成手段で生成された前記検索用文字列から、前記正規表現式に一致する箇所を検索する検索手段と、前記検索手段で検索された箇所に基づいて、前記文字認識結果の文字列を分割する分割手段と、を有することを特徴とする。

【発明の効果】

【0006】

本発明によれば、文字認識結果の文字列を適切な位置で分割して抽出することができる。

【図面の簡単な説明】

【0007】

【図1】画像処理システムのシステム構成を示す図である。

【図2】画像形成装置１０１のハードウェア構成を説明する図である。

【図3】画像処理サーバ１０２、ユーザ端末１０３のハードウェア構成を説明する図である。

【図4】帳票画像４００とその文字認識結果の例を示す図である。

【図5】第１の実施形態の処理フローを示す図である。

【図6】第１の実施形態における、正規表現定義のリストを示す図である。

【図7】文字認識結果の例を示す表である。

【図8】第１の実施形態における、分割処理後の結果の例である。

【図9】第２の実施形態における、正規表現定義のリストを示す図である。

【図10】第２の実施形態における、文字認識結果の例である

【図11】第３の実施形態における、正規表現定義のリストを示す図である。

【図12】第３の実施形態における、文字認識結果の例である。

【発明を実施するための形態】

【0008】

以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態は本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するため必須の手段であるとは限らない。

【0009】

＜第１の実施形態＞
図１は、第１の実施形態に係る画像処理システム１００の構成例を示す図である。この画像処理システム１００は、画像形成装置１０１と、画像処理サーバ１０２と、ユーザ端末１０３とを有する。画像形成装置１０１、画像処理サーバ１０２と、ユーザ端末１０３は、ネットワーク１０４により相互に接続され、通信可能である。

【0010】

画像形成装置１０１は、ユーザ端末１０３から画像データの印刷依頼（印刷データ）を受信して印刷することや、画像形成装置１０１に備わるスキャナで画像データを読み取ることや、スキャナで読み取られた画像データを印刷することなどが可能な複合機である。また、画像処理サーバ１０２は、画像形成装置１０１のスキャナで読み取られた画像データに対して後述の画像処理を実行し、その画像処理結果を、ユーザ端末１０３に送信することが可能な画像処理装置である。なお、画像処理サーバ１０２は、クラウド、すなわちインターネット上に配置される仮想サーバであってもよい。ユーザ端末１０３は、画像処理サーバ１０２から受信した画像処理結果を、ユーザインターフェイスを備えたアプリケーションでユーザと対話的に追加処理をすることが可能である。なお、本実施形態では、ユーザ端末１０３は、ディスプレイとキーボードやマウスを備えた一般的なＰＣを想定するが、例えばタッチパネルを備えたモバイル端末であってもよい。

【0011】

本実施形態では、画像形成装置１０１が請求書などの紙の帳票をスキャンし、画像処理サーバ１０２がそこから必要となる情報を抽出して電子的に格納し、ユーザ端末１０３が抽出結果の確認と修正が可能なユーザインターフェイスを提供する、一連のデータ入力支援処理の説明を行う。

【0012】

図２は、画像形成装置１０１の構成の一例を示す図である。画像形成装置１０１は、コントローラ２０１、プリンタ２０２、スキャナ２０３、及び操作部２０４を有する。コントローラ２０１は、ＣＰＵ２１１、ＲＡＭ２１２、ＨＤＤ２１３、ネットワークＩ／Ｆ２１４、プリンタＩ／Ｆ２１５、スキャナＩ／Ｆ２１６、操作部Ｉ／Ｆ２１７、及び拡張Ｉ／Ｆ２１８を有する。

【0013】

ＣＰＵ２１１は、画像形成装置１０１の全体を制御する。ＣＰＵ２１１は、ＲＡＭ２１２、ＨＤＤ２１３、ネットワークＩ／Ｆ２１４、プリンタＩ／Ｆ２１５、スキャナＩ／Ｆ２１６、操作部Ｉ／Ｆ２１７、及び拡張Ｉ／Ｆ２１８とのデータの授受を制御可能である。また、ＣＰＵ２１１は、ＨＤＤ２１３から読み出した制御プログラム（命令）をＲＡＭ２１２に展開し、ＲＡＭ２１２に展開した命令を実行する。ＨＤＤ２１３は、ＣＰＵ２１１で実行可能な制御プログラム、画像形成装置１０１で使用する設定値、及びユーザから依頼された処理に関するデータ等を記憶する。ＲＡＭ２１２は、ＣＰＵ２１１がＨＤＤ２１３から読み出した命令を一時的に格納するための領域を有する。また、ＲＡＭ２１２は、命令の実行に必要な各種のデータを記憶しておくことも可能である。例えば画像処理では、ＣＰＵ２１１は入力されたデータをＲＡＭ２１２に展開することで処理を行うことが可能である。

【0014】

ネットワークＩ／Ｆ２１４は、画像処理システム１００内の装置とネットワーク通信を行うためのインターフェイスである。ネットワークＩ／Ｆ２１４は、データ受信を行ったことをＣＰＵ２１１に伝達することや、ＲＡＭ２１２上のデータをネットワーク１０４に送信することが可能である。プリンタＩ／Ｆ２１５は、ＣＰＵ２１１から送信された印刷データをプリンタ２０２に送信することや、プリンタ２０２から受信したプリンタの状態をＣＰＵ２１１に伝達することが可能である。スキャナＩ／Ｆ２１６は、ＣＰＵ２１１から送信された画像読み取り指示をスキャナ２０３に送信し、スキャナ２０３から受信した画像データをＣＰＵ２１１に伝達することや、スキャナ２０３から受信した状態をＣＰＵ２１１に伝達することが可能である。操作部Ｉ／Ｆ２１７は、操作部２０４から入力されたユーザからの指示をＣＰＵ２１１に伝達することや、ユーザが操作するための画面情報を操作部２０４に伝達することが可能である。拡張Ｉ／Ｆ２１８は、画像形成装置１０１に外部機器を接続することを可能とするインターフェイスである。拡張Ｉ／Ｆ２１８は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）形式のインターフェイスを具備する。画像形成装置１０１は、ＵＳＢメモリ等の外部記憶装置が拡張Ｉ／Ｆ２１８に接続されることにより、当該外部記憶装置に記憶されているデータの読み取り及び当該外部記憶装置に対するデータの書き込みを行うことが可能である。

【0015】

プリンタ２０２は、プリンタＩ／Ｆ２１５から受信した画像データを用紙に印刷することや、プリンタ２０２の状態をプリンタＩ／Ｆ２１５に伝達することが可能である。

【0016】

スキャナ２０３は、スキャナＩ／Ｆ２１６から受信した画像読み取り指示に従って、読み取り部に置かれた用紙に表示されている情報を読み取ってデジタル化してスキャナＩ／Ｆ２１６に伝達することが可能である。また、スキャナ２０３は、自身の状態をスキャナＩ／Ｆ２１６に伝達することが可能である。

【0017】

操作部２０４は、画像形成装置１０１に対して各種の指示を行うための操作をユーザに行わせるためのインターフェイスである。例えば、操作部２０４は、タッチパネルを有する液晶画面を具備し、画像形成装置１０１のユーザに操作画面を提供するとともに、ユーザからの操作を受け付ける。

【0018】

図３（ａ）は、画像処理サーバ１０２の構成の一例を示す図である。画像処理サーバ１０２は、ＣＰＵ３０１、ＲＡＭ３０２、ＨＤＤ３０３、及びネットワークＩ／Ｆ３０４を有する。ＣＰＵ３０１は、画像処理サーバ１０２の全体を制御する。ＣＰＵ３０１は、ＲＡＭ３０２、ＨＤＤ３０３、及びネットワークＩ／Ｆ３０４とのデータの授受を制御可能である。また、ＣＰＵ３０１は、ＨＤＤ３０３から読み出した制御プログラム（命令）をＲＡＭ３０２に展開し、ＲＡＭ３０２に展開した命令を実行する。

【0019】

図３（ｂ）は、ユーザ端末１０３の構成の一例を示す図である。ユーザ端末１０３は、ＣＰＵ３１１、ＲＡＭ３１２、ＨＤＤ３１３、ネットワークＩ／Ｆ３１４、入出力Ｉ／Ｆ３１５を有する。ＣＰＵ３１１は、ユーザ端末１０３の全体を制御する。ＣＰＵ３１１は、ＲＡＭ３１２、ＨＤＤ３１３、ネットワークＩ／Ｆ３１４、及び入出力Ｉ／Ｆ３１５とのデータの授受を制御可能である。ディスプレイ３２０は、液晶などの表示デバイスによって構成され、入出力Ｉ／Ｆ３１５から受信した表示情報を表示する。入力装置３３０は、マウス、あるいはタッチパネルといったポインティングデバイス、およびキーボードによって構成され、ユーザからの操作を受け付けて、入出力Ｉ／Ｆ３１５に操作情報を送信する。ＨＤＤ３１３には、画像処理サーバ１０２からネットワークＩ／Ｆ３１４を介して受信した画像処理結果を格納することが可能である。本実施形態では、ＣＰＵ３１１は、ＨＤＤ３１３から読み出したアプリケーションプログラムをＲＡＭ３１２に展開し、操作部Ｉ／Ｆ３１５にて表示情報の表示とユーザ操作の受け付けを行う。

【0020】

図４（ａ）は、本実施形態において想定する帳票画像４００の一例を示す図である。帳票画像４００は、画像形成装置１０１のスキャナで紙文書（例えば請求書）を読み取ることにより取得した画像である。項目値４０１乃至４０３は、画像処理システム１００で抽出対象にしたい項目文字列の例である。図４（ａ）の項目値４０１は、この文書の内容を示すタイトルの値であり、項目値４０２は、発行日を示す日付の値であり、項目値４０３は請求金額の値である。なお、説明のために、項目値４０１～４０３の位置を矩形枠で示しているが、実際の帳票画像に矩形枠は記載されていないものとする。

【0021】

図４（ｂ）は、帳票画像４００に対して、汎用の領域解析処理と光学文字認識（ＯＣＲ）処理とを実行した場合に得られる文字認識結果の文字列（ＯＣＲ文字列）の例である。文字列４１０乃至４１７の８個の文字領域が特定され、各文字領域からＯＣＲ文字列が抽出されている。領域解析処理およびＯＣＲ処理の結果に基づき抽出された各文字領域の位置を矩形枠で示す。文字列４１０は、項目値４０１の文字列とその左側にある文字列とを包含する１つの文字領域に対応する文字列として得られている。また、文字列４１１は、項目値４０２とその左側の文字列とを包含する１つの文字領域に対応する文字列として抽出されている。また、文字列４１３も、項目値４０３とその左側の文字列とを包含する領域に対応する文字列として抽出されている。

【0022】

この文字列をユーザによるファイル名作成のＵＩに用いるユースケースを説明する。例えば、ユーザが帳票画像上の所望の位置をクリックした場合に、当該クリックした位置に対応する、図４（ｂ）の領域解析結果に基づく文字領域が選択されるようなＵＩ（ユーザインタフェース）について説明する。このようなＵＩでは、ユーザが“請求書”の文字列上をクリックすると、領域解析結果に基づく文字領域の文字列（すなわち、文字領域４１０の“ＡＢＣ（株）様請求書”という文字列）が選択されることになる。したがって、ユーザが“請求書”の文書タイトル部分のみをファイル名として選択したかった場合は、当該選択された文字列の中から、余分な“ＡＢＣ（株）”の文字列を削除する必要がある。

【0023】

そこで、本実施形態では、ユーザがファイル名として使用したい文字列を選択する際に、、図４（ｂ）のようなＯＣＲ文字列から、項目値４０１～４０３のような文字列を適切に抽出する画像処理について説明する。

【0024】

本実施形態における項目値の抽出とは、目的とする値が、余分な文字が付随していない独立した文字列となっている状態を示す。例えば、帳票画像４００に対して、項目値４０１の“請求書”という一つの文字列が独立している状態である。

【0025】

図６の正規表現定義リスト６００は、複数の正規表現定義をテーブル形式で示した例である。本実施形態における正規表現定義は、各定義ＩＤに対して、正規表現式と、正規表現パラメータとの組み合わせを関連付けることにより定義してる。この予め定義された複数の正規表現定義は、画像処理サーバ１０２のＨＤＤ３０３に格納されている。正規表現式は、抽出したい項目、例えば日付や、電話番号、金額、文書タイトルに含まれる文字など、抽出対象にしたい文字列を一つの正規表現式で記述したものである。正規表現パラメータとは、正規表現式ごとに定義した、正規表現検索を実施する際に対象となるＯＣＲ文字列をどのように解釈するかのパラメータである。例えば、隣接する文字と文字の間の距離がどの程度離れていればスペース文字（空白文字）として扱うか、などをパラメータで記述したものである。

【0026】

図６の正規表現定義リスト６００の例では、３個の正規表現定義６１０、６２０、６３０が定義されている。

【0027】

正規表現定義ＩＤ６１０は、“￥Ｓ＊書”の正規表現パターンと、“スぺース＝２ｈ”の正規表現パラメータからなる。“￥Ｓ＊書”の正規表現パターンは、スペース文字以外（￥Ｓ）の複数の文字と“書”という文字とを組み合わせたパターンを表しており、例えば“請求書”、“見積書”などの文字列が該当するパターンとして検索可能である。正規表現パラメータの“スペース＝２ｈ”は、ＯＣＲ文字列を検索文字列に変換する際に、隣接する文字同士の距離が、文字高さ（ｈ）に対して２倍以上空いてれば、スペース文字を挿入して扱うことを示している。なお、本実施形態では、正規表現パラメータとして、スペース文字と扱うための閾値に文字高さを用いて規定しているが、例えば画像のピクセルサイズや、紙面上の物理的な距離、平均文字幅などを基準として用いてもよい。

【0028】

正規表現定義ＩＤ６２０は、日付に関する正規表現定義であり、“￥ｄ｛２，４｝年￥ｄ｛１，２｝月￥ｄ｛１，２｝日”の正規表現式と、“スペース削除”の正規表現パラメータからなる。“￥ｄ｛２，４｝年￥ｄ｛１，２｝月￥ｄ｛１，２｝日”の正規表現式は、２～４桁の数字と、“年”と、１～２桁の数字と、“月”と、１～２桁の数字と、“日”と、を組み合わせたパターンを表しており、このパターンに一致する日付の文字列が検索可能である。正規表現パラメータの“スペース削除”とは、ＯＣＲ文字列を検索文字列に変換する際に、隣り合った文字の間の距離によらず、スペース文字を挿入しないことを示している。

【0029】

正規表現定義ＩＤ６３０は、“［１－９］［￥ｄ，］＊円”の正規表現式と、“スぺース＝１ｈ”の正規表現パラメータからなる。“［１－９］［￥ｄ，］＊円”の正規表現式は、１～９のいずれかの数字で始まり、１桁以上のカンマを含む数字と、“円”と、を組み合わせたパターンを表しており、このパターンに一致する金額を表す文字列が検索可能である。正規表現パラメータの“スペース＝１ｈ”とは、ＯＣＲ文字列を検索文字列に変換する際に、隣接する文字同士の距離が、文字高さ（ｈ）を基準として、文字高さ１個分以上空いていればスペース文字を挿入して扱うことを示している。

【0030】

図４の帳票画像４００と、図６の正規表現定義リスト６００とを例として用いて、本実施形態の画像処理を図５のフローチャートを用いて説明する。

【0031】

まずＳ５０１において、画像形成装置１０１のＣＰＵ２１１は、スキャナ２０３で読み取った帳票画像４００を、画像処理サーバ１０２へ送信する。画像処理サーバ１０２は、その画像形成装置１０１から送信された帳票画像４００を取得する。

【0032】

次にＳ５０２において、画像処理サーバ１０２のＣＰＵ３０１は、帳票画像４００に治して領域解析処理を行うことにより文字領域を特定し、文字領域に対して文字認識処理を実行する。文字認識処理の結果、ＣＰＵ３０１は、文字領域（文字ブロック）の座標と、文字領域中の各文字の座標と、当該文字認識結果の文字コードとを得る。ここで得た文字領域単位の文字コードの配列をＯＣＲ文字列と呼ぶ。帳票画像４００に文字認識処理を実施した結果、文字列４１０乃至４１７がＯＣＲ文字列として取得されたものとする。

【0033】

次にＳ５０３において、画像処理サーバ１０２のＣＰＵ３０１は、ＨＤＤ３０３に格納された正規表現定義リスト６００から、正規表現定義の１つ（例えば正規表現定義６１０）を処理対象とする。

【0034】

次にＳ５０４において、画像処理サーバ１０２のＣＰＵ３０１は、Ｓ５０３で処理対象とした正規表現定義の正規表現パラメータに基づいて、Ｓ５０２で得た文字列の認識結果を解釈し、検索用文字列として正規化する。

【0035】

図７は文字認識結果の例である。文字認識結果７０１は、文字列４１０の文字認識結果である。文字認識結果７０２は、項目値４０２を含むＯＣＲ文字列４１１の文字認識結果である。文字認識結果７０３は、項目値４０３を含むＯＣＲ文字列４１３の文字認識結果である。文字認識結果７０１乃至７０３の表における文字の行は各認識文字を表し、距離の行は、次の文字までの距離として、文字高さを相対基準とした距離を表している。正規表現定義６１０の正規表現パラメータは、“スペース＝２ｈ”であり、これは文字同士の距離が文字高さを相対基準として文字高さ２個分以上であればスペース文字とみなすことを示している。

【0036】

ＣＰＵ３０１は、文字列４１０の文字認識結果７０１に対して、各文字と隣の文字までの距離を走査しスペース挿入条件に合致する文字を検出する。検出の結果、“様”の文字が、隣の“請”の文字まで２．１文字高さに相当する距離ぶん離れているため、ここにスペース文字を挿入して検索用文字列“ＡＢＣ（株）様 請求書”を生成する。

【0037】

なお、正規表現パラメータごとに、検索用の文字列は変わるので、例えば“スペース＝１ｈ”と定義していた場合は、さらに“請”と“求”、“求”と“書”の間にスペース文字を挿入し、“ＡＢＣ（株） 様 請 求 書”となるし、“スペース削除”と定義していた場合は“ＡＢＣ（株）様請求書”となる。

【0038】

次にＣＰＵ３０１は、文字列４１１の文字認識結果７０２に対して、各文字と隣の文字までの距離を走査しスペース挿入条件に合致する文字を検出する。検出の結果、“年”と“月”の文字が隣の文字まで２文字高さ以上離れているため、ここにスペース文字を挿入して検索用文字列“発行日：２０２０年 ５月 １５日”を形成する。

【0039】

残りの文字列４１２乃至４１７に対しても同様の処理を実行し、すべての文字列に対する検索用文字列を形成する。

【0040】

次に、Ｓ５０５において、画像処理サーバ１０２のＣＰＵ３０１は、Ｓ５０４で得たすべての検索用文字列に対して、Ｓ５０３で処理対象とした正規表現定義の正規表現式にマッチするかどうか判定するための正規表現検索処理を実施する。

【0041】

文字列４１０の検索用文字列“ＡＢＣ（株）様 請求書”に対して正規表現定義６１０の正規表現式の検索を行った場合、“請求書”の部分が一致する。続いて、文字列４１１の検索用文字列“発行日：２０２０年 ５月 １５日”に対して正規表現定義６１０の正規表現式の検索を行った場合、一致する箇所は得られない。同様に、残りの文字列４１２乃至４１７の検索用文字列に対しても正規表現定義６１０の正規表現式を用いて同様の処理を実施し、その結果、他の文字列には正規表現式は一致しない。

【0042】

Ｓ５０６において、画像処理サーバ１０２のＣＰＵ３０１は、Ｓ５０５の検索結果で得られた“請求書”の一致情報をＲＡＭ３０２へと格納する。

【0043】

次に、Ｓ５０７において、画像処理サーバ１０２のＣＰＵ３０１は、未処理の正規表現定義が残っているか判別し、未処理の正規表現定義が残っている場合は、Ｓ５０３へ戻って、未処理の正規表現定義の１つを次の処理対象として、同様にＳ５０４乃至Ｓ５０７の処理を実施する。

【0044】

例えば、正規表現定義６１０を最初の処理対象としていた場合は、正規表現定義６２０を次の処理対象とする。この場合、Ｓ５０４において、文字認識結果７０２に対して、正規表現定義６２０のパラメータに基づいて、検索文字列を生成する。正規表現定義６２０のパラメータは“スペース削除”であるため、文字間の距離にかかわらず、スペース文字を挿入しないので、文字認識結果７０２からは、検索用文字列として“発行日：２０２０年５月１５日”が得られる。そして、正規表現定義６２０の正規表現式に一致する箇所として、“２０２０年５月１５日”の検索結果が得られる。

【0045】

同様に、正規表現定義６３０を処理対象とした場合は、Ｓ５０４において、文字認識結果７０３に対して、正規表現定義６３０のパラメータ“スペース＝１ｈ”に基づいて、“合計金額： １１，２８６円”の検索文字列を形成する。そして、正規表現定義６３０の正規表現式に一致する箇所として、Ｓ５０５において、“１１，２８６円”が検索される。

【0046】

Ｓ５０７において、正規表現定義のすべてを処理済みと判断した場合は、Ｓ５０８に進む。

【0047】

Ｓ５０８において、画像処理サーバ１０２のＣＰＵ３０１は、Ｓ５０６の処理でＲＡＭに格納された検索結果をもとに文字列の分割処理を実施する。分割処理とは、ＯＣＲ文字列中において、正規表現式で一致した範囲の両端で、ＯＣＲ文字列を分割する処理のことである。例えば、ＯＣＲ文字列４１０の“ＡＢＣ（株）様請求書”において、“請求書”の左右を文字列の区切りとして分割する。ただし、“請求書”の右側は、ＯＣＲ文字列の右端であるため分割は発生せず、“請求書”の左側の位置（すなわち、“様”と“請”の間）で分割することにより、ＯＣＲ文字列４１０を二つのＯＣＲ文字列に分割する。同様に、“２０２０年５月１５日”、“１１，２８６円”についても処理を行い、フローチャートの処理を終了する。

【0048】

図８は、帳票画像４００に対して、図５のフローチャートを適用した後のＯＣＲ文字列の位置を矩形枠で示した図である。ＯＣＲ文字列４１０がＯＣＲ文字列８００と８０１に分割され、ＯＣＲ文字列４１１がＯＣＲ文字列８０２と８０３に分割され、ＯＣＲ文字列４１３がＯＣＲ文字列８０４と８０５に分割されている。なお、ＯＣＲ文字列４１２、４１４乃至４１７は元のままとなっている。

【0049】

本画像処理を適用した結果、ユーザが、帳票画像４００に対してファイル名付けをする際に、文書タイトルである“請求書”の上の位置でユーザがクリック操作で指定した場合、図４の文字列４１０の代わりに、図８のＯＣＲ文字列８０１が選択されることになる。すなわち、正規表現定義に合致する文字列を抽出して選択することが可能となる。

【0050】

もし、本実施形態で説明した正規表現定義のパラメータに基づく検索用文字列を利用しなかった場合は、以下のような処理になってしまう。例えば、Ｓ５０２の文字認識処理によって、ＯＣＲ文字列“ＡＢＣ（株）様 請 求 書”が得られた場合、正規表現定義６１０の正規表現式では、“書”の前にスペース文字が存在するために一致せず、即ち“請求書”の文字列を抽出することができない。このように、一般の文字認識処理では、文字間の距離に基づきスペース文字を挿入する処理が文書画像全体に対して一律で適用されてしまうので、認識結果において、本来の文書作成者の意図通りになっているとは限らない。そのため、正規表現式でスペースをどう表現するかが難しい。

【0051】

一方、本実施形態では、正規表現定義ごとに、正規表現のパラメータとして、スペースをどう扱うかを定義しているため、正規表現ごとに適切なスペース文字を扱えるようになる。例えば、“請求書”などの文書タイトルでは、スペース以外の文字列が連続する文字列を項目値抽出の手がかりにした上で、タイトルの文字間は一定以上の文字間があることを勘案して、“スペース＝２ｈ”とスペースの条件を定義することができる。また、例えば、日付など書式で明確に抽出することができる場合は“スペース削除”としてスペースを無視ができる。

【0052】

このように、本実施形態では、ファイル名などによく使用する文字列を正規表現式で予め定義するとともに、文書内で各文字列の文字がどのような間隔で記載されているか（スペース文字を入れるべきかどうか）を文字列ごとに定義することができる。これにより、分割したい文字列の位置をより正確に特定することができる。

【0053】

なお、文字認識処理で出力されるスペース文字が信頼できる場合は、認識結果をそのまま用いるパラメータを設定してもよい。例えば、英語文書の英文の文字認識処理などで、単語辞書によって単語を認識し、単語間に轍書きのスペース文字を挿入している場合などが想定される。

【0054】

その他、本実施形態では項目値の抽出をファイル名付けの例で説明したが、帳票保存のメタデータや、文書転記システムへの値の自動入力などに用いてもよい。

【0055】

以上説明した通り、本実施形態を適用することによって、ユーザが項目値をファイル名付けなどに好適なＯＣＲ文字列に分割することができる。

【0056】

＜第２の実施形態＞
第１の実施形態では、項目値ごとに１つの正規表現定義を用いているが、その限りではなく、複数の正規表現定義を用いてもよい。

【0057】

図９の正規表現定義リスト８００は電話番号に対する正規表現定義の例である。正規表現定義９１０は、“￥ｄ｛２，４｝［￥－￥（］￥ｄ｛２，４｝［￥－￥）］￥ｄ｛４｝”の正規表現式のみで正規表現パラメータなし、正規表現定義９１１は９１０と同じ正規表現式で、“スペース削除”の正規表現パラメータからなる。正規表現定義９１０，９１１の正規表現式は、２～４桁の数字と、“－”あるいは“（”と、２～４桁の数字と、“－”あるいは“）”と、４桁の数字と、で構成される日本の電話番号が検索可能である。

【0058】

正規表現定義９２０は、“￥ｄ｛２，４｝￥ｓ￥ｄ｛２，４｝￥ｓ￥ｄ｛４｝”の正規表現式のみで正規表現パラメータなし、正規表現定義９２１は９２０と同じ正規表現式と、“スペース＝１ｈ”の正規表現パラメータからなる。正規表現定義９２０，９２１は、２～４桁の数字と、スペース文字と、２～４桁の数字と、スペース文字と、４桁の数字と、で構成される日本の電話番号が検索可能である。

【0059】

図１０は、帳票中の電話番号の文字認識結果の例である。ＯＣＲ文字列１０１０では、“１”の文字の前後の文字間が大きいため、Ｓ５０２の文字認識の結果、１の前後にスペース文字が挿入され“ＴＥＬ： [phone]”という文字列になっている。正規表現定義９１０では、正規表現パラメータがないため、このＯＣＲ文字列をそのまま検索用文字列として扱うことになり、正規表現式“￥ｄ｛２，４｝［￥－￥（］￥ｄ｛２，４｝［￥－￥）］￥ｄ｛４｝”で検索しても一致しない。正規表現定義９１１では、“スペース削除”のパラメータがあるため、検索用文字列“ＴＥＬ：[phone]”となり、電話番号の部分を抽出することができる。

【0060】

ＯＣＲ文字列１０２０は、電話番号の区切りとしてハイフンが存在せずにスペース文字が存在する例である。ＯＣＲ文字列１０２０の“１”の文字の前後の文字間が大きいため、Ｓ５０２の文字認識の結果、１の前後にスペース文字が挿入され“ＴＥＬ： [phone]”という文字列になっている。正規表現定義９２０では、正規表現パラメータがないため、このＯＣＲ文字列をそのまま検索用文字列として扱うことになり、正規表現式“￥ｄ｛２，４｝￥ｓ￥ｄ｛２，４｝￥ｓ￥ｄ｛４｝”で検索しても一致しない。正規表現定義９２１では、“スペース＝１ｈ”のパラメータがあるため、検索用文字列“ＴＥＬ：[phone]”となり、電話番号の部分を抽出することができる。

【0061】

このような、文字認識結果の出力するスペース文字に対して正規表現式のみで一致させようとすると、先頭の２～４桁の数字という正規表現式“￥ｄ｛２，４｝”に対して“［￥ｄ￥ｓ］｛２，７｝”という記述にせざるを得なくなる。すなわち、スペースの数が不定のため、最大のスペースを想定して桁数の定義も２～７桁と定義することになってしまうが、このような正規表現では、多くの文字列が合致してしまい、本来抽出したい項目値以外のノイズが増えることになる。

【0062】

以上説明した通り、本実施形態を適用することによって、文字認識結果の出力するスペース文字の影響を軽減し、正規表現式をシンプルに定義することが可能である。

【0063】

＜第３の実施形態＞
第１の実施形態では、抽出したいパターンを正規表現定義により定義し、その一致した左右端で分割したが、分割以外の動作を正規表現パラメータにより規定してもよい。

【0064】

図１１の正規表現定義リスト１１００は正規表現パラメータ２として、正規表現式に一致した時の動作を規定している。正規表現定義１１１１は、正規表現式は“．＊ｎｏ”で、例えばいずれかの文字の連続と“ｎｏ”の組み合わせを表しており、正規表現パラメータは“スペース削除”、動作定義で分割を定義している。分割は、第一の実施形態で説明した、検索結果の左右端で分割する動作である。正規表現定義１１１２は、“ｎｏｖ”の文字列を表し、正規表現パラメータは“スペース削除”、動作定義でプロテクトを定義している。プロテクトは、検索結果に一致した範囲を分割しないという動作の定義である。

【0065】

図１２の文字列１２０１“Ｉｎｖｏｉｃｅ Ｎｏ １０１２３”はインボイス番号を表しており、正規表現定義１１１１のみを正規表現定義リストとして用いた場合に、図５のフローチャートの処理の結果、“Ｉｎｖｏｉｃｅ Ｎｏ”に一致する。その結果、“Ｉｎｖｏｉｃｅ Ｎｏ”と“１０１２３”に分割される。

【0066】

図１２の文字列１２０２“１２ Ｎｏｖ ２０１９”は日付を表しており、正規表現定義１１１１だけを正規表現定義リストに用いた場合に、検索の結果、“１２ Ｎｏ”と一致する。その結果、“１２ Ｎｏ”と“ｖ ２０１９”に分割されてしまい、日付を抽出したいユーザにとっては、好ましくない結果となる。正規表現定義リストに正規表現定義１１１２も加えて検索することにより、文字列１２０２の“Ｎｏｖ”と一致し、その範囲内では分割を実施しないという検索結果が、Ｓ５０６により格納され、Ｓ５０８で、分割情報がプロテクトされ、分割が実施されず、意図しない分割を防ぐことができる。

【0067】

また、それ以外の動作の規定をしてもよい。正規表現定義１１２０ではサブマッチ分割として、正規表現式のグループ化を用いて、サブマッチによる一致箇所の左右でも分割するという定義を行うことができる。正規表現定義１１２０の正規表現式“（．＊ｎｏ）（￥ｄ＊）”を文字列１２０１に対して正規表現検索した結果、サブマッチ１で“Ｉｎｖｏｉｃｅ Ｎｏ”、サブマッチ２で“１０１２３”が一致し、その間で分割を実施する。

【0068】

以上説明した通り、本実施形態を適用することによって、意図しない分割を防ぐ、あるいはより複雑な分割を実施することができる。

【0069】

＜第４の実施形態＞
第１の実施形態では、項目値の抽出の方法は、ＯＣＲ文字列を分割することで実現したが、結合してもよい。例えば、帳票画像４００のＯＣＲ文字列４１１が、文字認識の結果、“発行日：２０２０年”と、“５月”、“１５日”の３のＯＣＲ文字列に分割されているケースでは、Ｓ５０３の検索用文字列生成処理において、同じ文字高さの近傍にあるＯＣＲ文字列を結合してから、Ｓ５０４の正規表現式によって検索を行い、一致した場合は一致範囲を結合する。

【0070】

以上説明した通り、本実施形態を適用することによって、文字認識結果の出力するＯＣＲ文字列の粒度に影響されることなく、正規表現式で抽出することが可能である。

【0071】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0072】

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【符号の説明】

【0073】

１００ 画像処理システム
１０１ 画像形成装置
１０２ 画像処理サーバ（画像処理装置）
１０３ ユーザ端末
１０４ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】