特許 7562292 情報処理装置、サーバ、システム、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-27

(45)【発行日】2024-10-07

(54)【発明の名称】情報処理装置、サーバ、システム、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06V 30/412 20220101AFI20240930BHJP

   G06V 30/12 20220101ALI20240930BHJP

   G06V 20/62 20220101ALI20240930BHJP

   G06T 7/00 20170101ALI20240930BHJP

【ＦＩ】

G06V30/412

G06V30/12 B

G06V20/62

G06T7/00 350B

【請求項の数】 17

(21)【出願番号】P 2020095330

(22)【出願日】2020-06-01

(65)【公開番号】P2021077332

(43)【公開日】2021-05-20

【審査請求日】2023-05-22

(31)【優先権主張番号】P 2019200837

(32)【優先日】2019-11-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】木村 満夫

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１８－１９５０２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／４１２

Ｇ０６Ｖ ３０／１２

Ｇ０６Ｖ ２０／６２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像の画像データを文字認識処理することによって得られた前記画像内の文字列と前記文字列が認識された文字領域に関する情報とが含まれる処理結果と、予め定義された所定の項目のそれぞれに対応する文字列および文字領域に関する情報が出力されるように学習された学習モデルに対して前記処理結果を入力することによって出力された、前記所定の項目のそれぞれに対応する前記画像内の文字列および文字領域に関する情報と、を含む抽出結果を取得する取得手段と、
前記抽出結果に基づき、前記所定の項目のそれぞれに対応する文字列を表示部に表示する表示制御手段と、
前記表示部に表示された前記所定の項目のうちの何れかの項目に対応する文字列を修正する指示を、ユーザから受け付ける受付手段と、
修正後の文字列と前記処理結果とに基づいて、ユーザが修正の指示をした項目に対応する文字領域を決定し、前記決定に基づき前記抽出結果を修正する修正手段と、
前記学習モデルが学習するためのデータとして、前記修正手段によって修正された前記抽出結果を出力する出力手段と、
を有することを特徴とする情報処理装置。

【請求項2】

前記修正手段は、
前記文字認識処理によって認識された前記画像内の文字領域のうち、前記修正後の文字列と同じである文字列が認識された前記文字領域を、前記ユーザが修正の指示をした項目に対応する文字領域として決定する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記修正手段は、
前記文字認識処理において認識された文字列のうち前記修正後の文字列との編集距離が所定の値以下である文字列が１つである場合、前記文字認識処理において認識された前記画像内の文字領域のうち、編集距離が前記所定の値以下である前記文字列が認識された文字領域を、前記ユーザが修正の指示をした項目に対応する文字領域として決定する
ことを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記所定の値は１であることを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記修正手段は、
前記ユーザが修正の指示をした項目に対応する、前記学習モデルの出力結果に基づき抽出された文字列と、前記修正後の文字列と、の差が所定の範囲内である場合、前記抽出結果における、前記ユーザが修正の指示をした項目に対応する文字領域を修正しない
ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。

【請求項6】

前記所定の範囲内である場合とは、前記学習モデルの出力結果に基づき抽出された文字列と、前記修正後の文字列との編集距離が１以下である場合である
ことを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記ユーザが修正の指示をした項目に対応する前記画像内の位置として、ユーザが前記表示部にタッチするタッチ位置を受け付ける第２の受付手段と、
前記タッチ位置と前記修正後の文字列と前記処理結果とに基づき、ユーザが修正の指示をした項目に対応する前記文字領域を決定し、前記決定に基づき前記抽出結果を修正する第２の修正手段と、をさらに有する
ことを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。

【請求項8】

前記第２の修正手段は、
前記タッチ位置に基づく前記画像内の位置と、前記文字認識処理によって認識された前記画像内のそれぞれの文字領域の位置と、の距離を導出し、前記距離が所定の範囲内である前記文字領域のうち、前記修正後の文字列との編集距離が最小である文字列が前記文字認識処理によって認識された前記文字領域を、前記ユーザが修正の指示をした項目に対応する文字領域と決定する
ことを特徴とする請求項７に記載の情報処理装置。

【請求項9】

前記修正手段によって前記ユーザが修正の指示をした項目に対応する文字領域が決定できない場合、前記第２の修正手段は、前記ユーザが修正の指示をした項目に対応する文字領域を決定し、
前記出力手段は、前記第２の修正手段が、前記ユーザが修正の指示をした項目に対応する文字領域を決定した場合、前記学習モデルが学習するためのデータとして、前記第２の修正手段による決定に基づき修正された前記抽出結果を出力する
ことを特徴とする請求項７または８に記載の情報処理装置。

【請求項10】

前記出力手段は、
前記第２の修正手段によって前記ユーザが修正の指示をした項目に対応する文字領域を決定できない場合、前記学習するためのデータを出力しない
ことを特徴とする請求項９に記載の情報処理装置。

【請求項11】

前記画像は、原稿をスキャンして得られたスキャン画像であり、前記画像の画像データを、前記文字認識処理を行うサーバに送信する画像データ送信手段をさらに有する
こと特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記取得手段で取得される前記抽出結果は、前記画像の画像データを前記文字認識処理することによって得られた前記画像内の文字列と、前記画像内における前記文字列が認識された領域である文字領域と、前記文字列の何れが前記所定の項目それぞれに対応するかを示す値と、がそれぞれ関連づけられているテーブルであり、
前記出力手段は、前記テーブルが修正された場合、修正が反映された前記テーブルを前記学習するためのデータとして出力する
ことを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。

【請求項13】

画像の画像データを文字認識処理する文字認識手段と、
前記文字認識手段で前記文字認識処理することによって得られた前記画像内の文字列と前記文字列が認識された文字領域に関する情報とが含まれる処理結果と、前記学習モデルに対して前記処理結果を入力することによって出力された、前記所定の項目のそれぞれに対応する前記画像内の文字列および文字領域に関する情報と、を含む前記抽出結果を、請求項１から１２のいずれか１項に記載の情報処理装置に送信する送信手段と、
前記情報処理装置から、前記学習モデルが学習するためのデータを取得して、前記学習するためのデータに基づき、前記学習モデルを学習させる学習手段と、
有することを特徴とするサーバ。

【請求項14】

ユーザが修正の指示をした項目における修正後の文字列と、前記ユーザが修正の指示をした項目に対応する前記画像内の位置としてユーザが表示部にタッチしたタッチ位置と、
を取得する修正結果取得手段と、
前記タッチ位置と前記修正後の文字列と前記処理結果とに基づき、前記ユーザが修正の指示をした項目に対応する文字領域を決定して、決定に基づき前記抽出結果を修正する第３の修正手段と、をさらに有し、
前記学習手段は、
前記情報処理装置から前記学習するためのデータが出力されない場合、前記第３の修正手段によって修正された前記抽出結果に基づき、前記学習モデルに学習させる
ことを特徴とする請求項１３に記載のサーバ。

【請求項15】

情報処理装置と、サーバと、を有するシステムであって、
前記サーバは、
画像の画像データを文字認識処理する文字認識手段と、
前記文字認識手段で文字認識処理することによって得られた前記画像内の文字列と前記文字列が認識された文字領域に関する情報とが含まれる処理結果と、予め定義された所定の項目のそれぞれに対応する文字列および文字領域に関する情報が出力されるように学習された学習モデルに対して前記処理結果を入力することによって出力された、前記所定の項目のそれぞれに対応する前記画像内の文字列および文字領域に関する情報と、を含む抽出結果を、前記情報処理装置に送信する送信手段と、
を有し、
前記情報処理装置は
前記送信手段から送信された前記抽出結果を取得する取得手段と、
前記抽出結果に基づき、前記所定の項目のそれぞれに対応する文字列を表示部に表示する表示制御手段と、
前記表示部に表示された前記所定の項目のうちの何れかの項目に対応する文字列を修正する指示を、ユーザから受け付ける受付手段と、
修正後の文字列と前記処理結果とに基づいて、ユーザが修正の指示をした項目に対応する文字領域を決定し、前記決定に基づき前記抽出結果を修正する修正手段と、
前記学習モデルが学習するためのデータとして、前記修正手段によって修正された前記抽出結果を出力する出力手段と、を有し、
前記サーバは、
前記情報処理装置の前記出力手段から出力された、前記学習モデルが学習するためのデータに基づき、前記学習モデルを学習させる学習手段を更に有する、
ことを特徴とするシステム。

【請求項16】

画像の画像データを文字認識処理することによって得られた前記画像内の文字列と前記文字列が認識された文字領域に関する情報とが含まれる処理結果と、予め定義された所定の項目のそれぞれに対応する文字列および文字領域に関する情報が出力されるように学習された学習モデルに前記処理結果を入力することによって出力された、前記所定の項目のそれぞれに対応する前記画像内の文字列および文字領域に関する情報と、を含む抽出結果を取得する取得ステップと、
前記抽出結果に基づき、前記所定の項目のそれぞれに対応する文字列を表示部に表示する表示制御ステップと、
前記表示部に表示された前記所定の項目のうちの何れかの項目に対応する文字列を修正する指示を、ユーザから受け付ける受付ステップと、
修正後の文字列と前記処理結果とに基づいて、ユーザが修正の指示をした項目に対応する文字領域を決定し、前記決定に基づき前記抽出結果を修正する修正ステップと、
前記学習モデルが学習するためのデータとして、前記修正ステップにおいて修正された前記抽出結果を出力する出力ステップと、
を有することを特徴とする情報処理方法。

【請求項17】

コンピュータを、請求項１から１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ＯＣＲ処理結果に基づき所定の項目に対応する文字列を抽出する技術に関する。

【背景技術】

【0002】

紙の帳票に記載されている特定の情報をユーザがコンピュータに入力する業務がある。また、その入力業務を支援するための入力支援システムがある。入力支援システムでは、帳票をスキャナで読み取ることによって得られた画像データに対して文字認識処理が行われ、その文字認識結果から入力に必要な情報が抽出される。

【0003】

特許文献１には、入力に必要な情報が表示されている画像上の領域をユーザが指定することにより、文字認識結果の修正作業を行う技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０００－３４０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の技術では、文字認識結果を修正するために、入力に必要な情報が表示されている画像上の領域をマウスなどの入力装置を用いて指定する必要があり、ユーザにとっては煩雑な操作が要求される。特に、ＭＦＰに備え付けられているタッチパネル、または携帯端末のように入力装置における画面のサイズが小さい場合、ピンチによる画面の拡大、スワイプによる画面のスクロールといった操作が必要となり、ユーザの操作はより煩雑になる。

【0006】

本開示の技術は、文字認識結果に基づく処理をする際のユーザ操作の手間を抑制することを目的とする。

【課題を解決するための手段】

【0007】

本開示に係る情報処理装置は、画像の画像データを文字認識処理することによって得られた前記画像内の文字列と前記文字列が認識された文字領域に関する情報とが含まれる処理結果と、予め定義された所定の項目のそれぞれに対応する文字列および文字領域に関する情報が出力されるように学習された学習モデルに対して前記処理結果を入力することによって出力された、前記所定の項目のそれぞれに対応する前記画像内の文字列および文字領域に関する情報と、を含む抽出結果を取得する取得手段と、前記抽出結果に基づき、前記所定の項目のそれぞれに対応する文字列を表示部に表示する表示制御手段と、前記表示部に表示された前記所定の項目のうちの何れかの項目に対応する文字列を修正する指示を、ユーザから受け付ける受付手段と、修正後の文字列と前記処理結果とに基づいて、ユーザが修正の指示をした項目に対応する文字領域を決定し、前記決定に基づき前記抽出結果を修正する修正手段と、前記学習モデルが学習するためのデータとして、前記修正手段によって修正された前記抽出結果を出力する出力手段と、を有することを特徴とする。

【発明の効果】

【0008】

本開示の技術によれば、文字認識結果に基づく処理をする際のユーザ操作の手間を抑制することができる。

【図面の簡単な説明】

【0009】

【図1】入力支援システムの構成を示す図である。

【図2】キーバリュー抽出サーバのハードウェア構成の一例を示す図である。

【図3】ＭＦＰのハードウェア構成の一例を示す図である。

【図4】キーバリュー抽出サーバの機能構成の一例を示す図である。

【図5】ＭＦＰの機能構成の一例を示す図である。

【図6】スキャナで読み取られた文書の画像の一例である。

【図7】キーバリュー抽出結果の一例である。

【図8】キーに対応する文字領域を決定する処理を示すシーケンス図である。

【図9】操作パネルに表示される画面を示す図である。

【図10】スキャナで読み取られた文書の画像の一例である。

【図11】キーバリュー抽出結果の一例である。

【図12】スキャナで読み取られた文書の画像の一例である。

【図13】キーバリュー抽出結果の一例である。

【図14】修正されたキーバリュー抽出結果の一例である。

【図15】操作パネルに表示される画面の遷移を説明する図である。

【図16】キーバリュー抽出サーバの機能構成の一例を示す図である。

【図17】キーに対応する文字領域を決定する処理を示すシーケンス図である。

【図18】キーバリュー抽出結果の一例である。

【図19】操作パネルに表示される画面の遷移を説明する図である。

【図20】キーに対応する文字領域を決定する処理を示すシーケンス図である。

【発明を実施するための形態】

【0010】

以下、本実施形態を実施するための形態について図面を参照して説明する。なお、実施形態は、本開示の技術を限定するものではなく、また、実施形態で説明されている全ての構成が課題を解決するための手段に必須であるとは限らない。また、以下の実施形態では好ましい実施形態について説明するが、以下の実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

【0011】

＜実施形態１＞
［システム構成］
図１は、本実施形態に係る入力支援システムの全体構成を示す図である。図１を用いて入力支援システム１００について説明する。本実施形態の入力支援システム１００は、企業の会計業務を処理するサービス（会計サービス）を提供する会計サーバ１０３に、必要なデータをユーザに代わって入力する入力支援を行うためのシステムであるものとして説明する。なお、入力支援システムによる入力支援は会計サービスに限られず、一般の帳票入力業務を支援するシステムとして利用することができる。

【0012】

ＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）３００は、ネットワークに接続が可能な情報処理装置としても機能する画像形成装置である。ＭＦＰ３００は、紙文書を画像データにするスキャン機能を備える。

【0013】

キーバリュー抽出サーバ２００は、紙文書のスキャン画像から、所定の項目（キー）に対応する文字列等の情報（バリュー）を抽出する情報処理装置として機能するサーバである。項目は、本実施形態の場合、会計サービスで必要とされる項目が挙げられる。キーバリュー抽出サーバ２００は、例えば、請求書の画像から「日付」の項目に対応するバリューである文字列「２０１９／０６／１２」を抽出する。

【0014】

会計サーバ１０３は、請求書等の所定の帳票の情報が入力されることで会計処理を行う会計サービスを提供するサーバである。ＭＦＰ３００、キーバリュー抽出サーバ２００、会計サーバ１０３は、インターネット１０４を介して接続されている。

【0015】

［ハードウェア構成］
図２は、キーバリュー抽出サーバ２００、会計サーバ１０３の基本的なハードウェア構成を示すブロック図である。

【0016】

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１は、各種のプログラムを実行し、様々な機能を実現するユニットである。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０２は、各種の情報を記憶するユニットである。ＲＡＭ２０２は、ＣＰＵ２０１の一時的な作業記憶領域としても利用される。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３は、各種のプログラム等を記憶するユニットである。例えば、ＣＰＵ２０１は、ＲＯＭ２０３に記憶されているプログラムをＲＡＭ２０２にロードしてプログラムを実行する。

【0017】

外部記憶部２０７は、例えばフラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等で構成され、各種のプログラムを記憶する。ＣＰＵ２０１は、外部記憶部に記憶されているプログラムに基づき処理を実行する。これにより、図４に示されるようなキーバリュー抽出サーバ２００を構成する機能構成及び後述するシーケンスにおける各ステップの処理が実現される。

【0018】

Ｉｎｐｕｔ／Ｏｕｔｐｕｔインターフェース２０４は、ディスプレイ装置のような出力装置、キーボード、マウスといった入力装置とのインターフェースを提供するユニットである。

【0019】

ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）２０５は、キーバリュー抽出サーバ２００、会計サーバ１０３をネットワークに接続するためのユニットである。上述したユニットは、バス２０６を介してデータの送受信を行うことが可能となるように構成されている。

【0020】

図３は、ＭＦＰ３００の基本的なハードウェア構成を示すブロック図である。図３のＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ＮＩＣ３０４は、それぞれ、図２のＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＮＩＣ２０５と同様であるため説明は省略する。

【0021】

スキャナ３０５は、紙文書を画像データに変換する入力ユニットである。プリンタエンジン３０６は、画像データの印刷を行う出力ユニットである。操作パネル３０７は、ユーザからのタッチ操作を受け付ける入力ユニット（入力部）であり、ＭＦＰ３００の情報をディスプレイに表示する出力ユニット（表示部）である。上述したユニットは、バス３０８を介してデータの送受信を行うことが可能となるように構成されている。

【0022】

［キーバリュー抽出サーバの機能構成］
図４は、キーバリュー抽出サーバ２００の機能構成を示した図である。図４を用いて、キーバリュー抽出サーバ２００の機能について説明する。

【0023】

画像データ取得部４０１は、ＮＩＣ２０５を介して、ＭＦＰ３００から原稿を読み取ることによって得られたスキャン画像の画像データを取得する。ＯＣＲ部４０２は、文字認識処理部であり、画像データが示す画像において文字列が含まれる領域である文字領域を特定し、その文字領域に対して文字認識処理（ＯＣＲ処理）を行う。ＯＣＲ部４０２は、文字認識処理の結果として、少なくとも画像における文字領域の位置情報と文字領域に含まれる文字列とを出力する。

【0024】

キーバリュー抽出部４０３は、ＯＣＲ部４０２による文字認識処理の結果に含まれる、キー（項目）に対応するバリュー（文字列）を、抽出するための処理を行う。キー（項目）は入力支援システム１００が行う入力支援に応じて予め定義されている。このキー（項目）に対応するバリュー（文字列）をキーバリューともよぶ。キーバリュー抽出部４０３は、文字認識処理の処理結果と抽出ルール４０９とを用いて、キーバリューを抽出する。

【0025】

本実施形態の抽出ルール４０９は、文字認識処理の処理結果の特徴に基づき、それぞれの項目に対応する文字列が出力されるように機械学習された学習モデルであるものとして説明する。文字認識処理の処理結果の特徴には、（１）文字認識された文字列から得られる特徴、（２）文字領域の矩形情報、（３）文字列の周囲にある文字列から得られる特徴、が含まれる。

【0026】

キーバリュー抽出部４０３が所定の項目に対応する文字列および文字領域を抽出するために、抽出ルール４０９には、ＯＣＲ部４０２の文字認識処理の処理結果である文字領域と文字領域で認識された文字列とが入力される。その結果、抽出ルール４０９は夫々の項目に対応する夫々の文字列および文字領域が出力されるように学習されている。このためキーバリュー抽出部４０３は、その出力結果に基づき所定の項目に対応する文字列および文字領域を抽出することができる。または、抽出ルール４０９は項目に対応する文字列および文字領域に関連する値を出力するように学習されており、キーバリュー抽出部４０３は、その出力された値に基づき項目に対応する文字列および文字領域を抽出してもよい。

【0027】

抽出ルール４０９は、例えば、入力データと教師データとを紐付け、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などのアルゴリズムを用いて学習させることで生成された学習モデルである。なお、ＳＶＭに限らず決定木またはニューラルネットワークのアルゴリズムを利用してもよい。

【0028】

また、キーバリュー抽出部４０３は、抽出結果として、それぞれの項目と項目に対応する文字列および文字領域とが関連付けられているデータであるキーバリュー抽出結果を生成する。キーバリュー抽出結果送信部４０５は、ＯＣＲ部４０２が文字認識処理をした処理結果とキーバリュー抽出結果とをＭＦＰ３００に送信する。キーバリュー抽出結果の詳細については後述する。

【0029】

本実施形態では、キーバリュー抽出部４０３によって項目に対応する文字列または文字領域が誤って抽出された場合、ＭＦＰ３００を介して、ユーザが、その項目に対応する正しい文字列および文字領域に修正するように指示することが可能である。修正結果取得部４０６は、ＭＦＰ３００から、ユーザの指示に基づき修正された項目に対応する正しい文字列および文字領域を示すデータ（修正結果）を取得する。

【0030】

学習部４０７は、修正結果取得部４０６が取得した修正結果に基づき、抽出ルール４０９を学習させる。本実施形態の抽出ルール４０９は、入力支援システム１００を利用するそれぞれのユーザの業務に適した抽出ルール４０９となるように学習部４０７が抽出ルール４０９をさらに学習させることができる。

【0031】

例えば、学習部４０７は、ＯＣＲ部４０２が文字認識処理をした処理結果を入力データとして抽出ルール４０９に入力して、ある項目に対応する文字列および文字領域を示す値を出力させる。そしてその出力結果と、その項目に対応する実際の正しい文字列および文字領域を示す値とのずれ量を算出する。学習部４０７は、そのずれ量が小さくなるように、抽出ルール４０９中のパラメータ等を更新する。項目に対応する実際の正しい文字列および文字領域を示すデータを教師データとよぶ。また教師データ等の学習のためのデータを用いて抽出ルール４０９のパラメータを更新することを学習とよぶ。

【0032】

本実施形態では、学習部４０７の学習では、修正結果取得部４０６が取得する修正結果である、所定の項目と夫々の項目に対応する文字領域および文字列とが対応付けられているデータが、教師データとして使用される場合がある。このため、抽出ルール４０９によってある項目に対応する文字列または文字領域が誤って出力された場合は、正しい文字列および文字領域が出力されるように、抽出ルール４０９に学習させることができる。

【0033】

なお、抽出ルール４０９は学習モデルに限られない。他にも、例えば、抽出ルール４０９は、帳票の種類ごとに夫々の項目に対応する文字領域の座標およびサイズが関連付けられているテーブルであってもよい。この場合、不図示の修正部が、修正結果取得部４０６が取得した修正結果に基づき、所定の項目を示す文字列が含まれる文字領域の座標およびサイズの値を修正する。このように、文字認識処理することによって得られた文字列のうち、項目に対応する文字列を抽出するための処理が正しく行われるように処理を行われる。

【0034】

領域決定部４０４は、ユーザによって修正された項目に対応する文字列と、ユーザが指示したスキャン画像内の位置と、に基づき項目に対応する正しい文字領域を決定（特定）し、キーバリュー抽出結果を修正する。詳細は後述する。

【0035】

キーバリュー抽出結果送信部４０５は、ＭＦＰ３００にキーバリュー抽出結果を送信する。キーバリューデータ送信部４０８は、ＮＩＣ２０５を介して、それぞれの項目と項目に対応する文字列を会計サーバ１０３に送信する。

【0036】

図４の各部の機能は、キーバリュー抽出サーバ２００のＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより実現される。または、図４の各部の一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。

【0037】

［ＭＦＰの機能構成］
図５は、ＭＦＰ３００の機能構成を示した図である。図５を用いて、ＭＦＰ３００の機能について説明する。

【0038】

ＵＩ部５０１は、操作パネル３０７に、ユーザに所定の通知をするための画面を表示させる表示制御部としての機能と、操作パネル３０７を介してユーザからの入力を受け付ける受付部としての機能を有する。

【0039】

スキャン実行部５０２は、スキャナ３０５によって原稿を読み込むことによって得られたデータを画像データに変換する。画像データ送信部５０３は、ＮＩＣ３０４を介して、原稿の画像データをキーバリュー抽出サーバ２００に送信する。

【0040】

キーバリュー抽出結果取得部５０４は、ＮＩＣ３０４を介してキーバリュー抽出サーバ２００からキーバリュー抽出結果を取得する。

【0041】

領域決定部５０６は、ＵＩ部５０１を介してユーザによって修正の指示がされた項目に対応する修正後の文字列を取得し、取得した修正後の文字列に基づきその項目に対応する正しい文字領域を決定する。領域決定部５０６は、決定された文字領域をキーバリュー抽出結果に反映させてキーバリュー抽出結果を修正する。詳細は後述する。

【0042】

修正結果送信部５０５は、ＵＩ部５０１を介してユーザが行った修正に基づき修正されたキーバリュー抽出結果を、ＮＩＣ３０４を介してキーバリュー抽出サーバ２００に送信（出力）する。修正されたキーバリュー抽出結果は、学習部４０７が学習するためのデータとして使用される。

【0043】

このように本実施形態のＭＦＰ３００は、キーバリュー抽出サーバ２００から送信されたキーバリュー抽出結果に基づき、所定の処理を行う情報処理装置としても機能する。

【0044】

図５の各部の機能は、ＭＦＰ３００のＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより実現される。または、図５の各部の一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。

【0045】

［キーバリュー抽出結果について］
図６は、ＭＦＰ３００のスキャン実行部５０２によってスキャンされた紙文書の画像データが示す画像の一例を示す図である。図６に示すように、画像は、例えば、見積書のように、会計サーバ１０３に入力する情報が記載された紙文書（原稿）を読み取ることによって得られたスキャン画像の画像データである。

【0046】

図７は、文字認識処理を行った結果認識された文字領域および文字列と、認識された文字領域および文字列のうち予め定義された項目に対応する文字列および文字領域であることを示す値と、が含まれるキーバリュー抽出結果７００を示す図である。

【0047】

キーバリュー抽出結果７００は、文字領域（列７０１）、文字領域で認識された文字列を示す文字認識結果（列７０２）、および項目の名称を示すラベル（列７０３）を保持する各列のデータがレコード単位（行単位）で関連付けて保持されている。またレコードは、文字領域ごとに生成されている。

【0048】

列７０１の文字領域は、画像における文字列を含む矩形領域である文字領域の位置情報を保持する列である。位置情報として、文字領域の位置を示す座標の値と文字領域のサイズを示す値が保持される。画像内の座標は原点が左上で、縦がｙ方向、横がｘ方向に延びる座標系を用いており、列７０１には、左側から順に、ｘ方向の座標、ｙ方向の座標、ｘ方向のサイズ（幅）の値、ｙ方向のサイズ（高さ）の値、がそれぞれ保持されている。

【0049】

列７０２は、文字領域に対してＯＣＲ処理をした結果認識された文字列を保持する列である。列７０１と列７０２とに保持されている情報は、画像データに対してＯＣＲ部４０２による文字認識処理の処理結果である。

【0050】

列７０３は、項目（キー）の名称を示す値を保持するための列である。夫々の項目の名称を示す値をラベルとよぶ。会計システムにおける項目は、会計サーバ１０３で必要とされる項目であり、本実施形態における項目は、スキャンされた文書のタイトル、請求先の電話番号、文書の管理番号、文書の発行日、金額の総額の５項目であるものとして説明する。このように、本実施形態では、キーバリュー抽出結果には、文字認識処理の処理結果が含まれているものとして説明するが、文字認識処理の処理結果は別のデータとして生成されてもよい。

【0051】

列７０３には、文書のタイトルを示す項目に対応する文字列および文字領域を保持するレコードには「タイトル」の値（ラベル）が付与される。請求先の電話番号の項目には「電話番号」の値が付与される。文書の管理番号の項目には「番号」の値が付与される。文書の発行日の項目には「日付」の値が付与される。金額の総額の項目には「金額」の値が付与される。

【0052】

キーバリュー抽出部４０３は、列７０１の文字領域と列７０２の文字列とを抽出ルール４０９に入力して、夫々の項目に対応する文字列および文字領域を出力させる。キーバリュー抽出部４０３は、抽出ルール４０９の出力結果に基づき、文字認識処理の処理結果における文字列および文字領域を有するレコードのうち、夫々の項目に対応するレコードに、該当する項目の名称を示すためラベルを付与する。こうしてキーバリュー抽出結果７００が生成される。キーバリュー抽出結果７００はＭＦＰ３００に送信される。

【0053】

図７のキーバリュー抽出結果７００の行７０４～７０８における文字認識結果の文字列は、項目（キー）に対応する文字列（バリュー）として抽出された文字列である。このため行７０４～７０８における列７０３には抽出対象の項目であることを示すラベルが付与されている。

【0054】

図７に示すキーバリュー抽出結果７００は、キーバリュー抽出部４０３がキーバリューを正しく抽出し、列７０３に正しいラベルが保持されている例である。しかしながら、列７０３のラベルは、項目に対応するレコードとは異なるレコードに付与されてしまうことがある。つまり抽出ルール４０９は誤って項目に対応する文字列および文字領域を出力することがある。例えば、請求先の電話番号を項目として設定してある場合、請求先以外の電話番号をその項目に対応する文字列として出力されてしまうことが考えられる。この場合は、項目に対応する文字列をユーザが入力して修正することが可能である。また、項目に対応する正しい文字領域についてもユーザが画面をタッチして指示することが可能である。

【0055】

学習部４０７は、項目に対応する正しい文字列と、項目に対応する正しい文字領域とを含む教師データがあれば、抽出ルール４０９を学習させて抽出ルール４０９を更新させることができる。このように、抽出ルール４０９を学習させることで、正しいキーバリューが抽出されるように抽出ルール４０９を更新することができる。しかし、ＭＦＰ３００に備え付けられている操作パネル３０７の画面のサイズが小さいことがある。このため、ユーザが正しい文字領域を、操作パネル３０７を介して指示しようとすると、ユーザの操作が煩雑になる虞がある。

【0056】

そこで本実施形態では、ユーザが入力した項目に対応する正しい文字列に基づき、その項目に対応する文字領域を決定して、決定された文字領域を学習のためのデータとして出力する形態を説明する。また、項目に対応する文字列が含まれる文字領域を、ユーザが操作パネル３０７をタッチして指示する場合、そのタッチ位置が正確でない場合であっても項目に対応する正しい文字領域を決定する形態を説明する。

【0057】

［文字抽出処理および修正処理について］
図８は、本実施形態の入力支援システムにおける処理を示すシーケンス図である。図８のシーケンス図で示されるそれぞれの装置における処理は、それぞれ装置のＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより行われる。また、図８におけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローにおけるステップであることを意味する。なお、説明の便宜上、ユーザの動作にも「Ｓ」を付して説明する。

【0058】

Ｓ８０１においてユーザは、ＭＦＰ３００のスキャナ３０５に原稿（紙文書）をセットして、スキャン開始の指示をする。本ステップにおけるユーザの操作をトリガーに入力支援システムにおける処理は開始される。

【0059】

Ｓ８０２においてＭＦＰ３００のスキャン実行部５０２は、紙文書のスキャンを実行し、紙文書の画像データを生成する。画像データ送信部５０３は、キーバリュー抽出サーバ２００に生成された画像データを送信する。

【0060】

Ｓ８０３において画像データ取得部４０１は、ＭＦＰ３００から送信された画像データを取得し、ＯＣＲ部４０２がその画像データに対して文字認識処理を実行する。

【0061】

Ｓ８０４においてキーバリュー抽出部４０３は、抽出ルール４０９に文字認識処理の処理結果を入力して出力された結果に基づき、予め定義された夫々の項目に対応する文字列および文字領域を抽出する。そして、キーバリュー抽出部４０３は、文字認識処理の処理結果に含まれるレコードのうち、項目に対応する文字領域および文字列を含むレコードには、その項目の名称を示すラベルを付与して、図７に示すキーバリュー抽出結果７００を生成する。キーバリュー抽出結果送信部４０５は、生成されたキーバリュー抽出結果７００をＭＦＰ３００に送信する。

【0062】

Ｓ８０５においてＭＦＰ３００のキーバリュー抽出結果取得部５０４は、文字認識処理の処理結果が含まれるキーバリュー抽出結果７００を取得する。また、ＭＦＰ３００のＵＩ部５０１は、操作パネル３０７に、取得されたキーバリュー抽出結果に基づき、夫々の項目と項目に対応する夫々の文字列とを表示する。

【0063】

図９は、本ステップによってＭＦＰ３００の操作パネル３０７に表示される画面９０１を示す図である。画面９０１は、キーバリューの抽出結果をユーザが確認および修正するために表示される。バリュー表示欄９０２～９０６は、キー表示欄９１２～９１６に表示される項目に対応する文字列を表示する表示欄である。

【0064】

Ｓ８０６においてユーザは、ＭＦＰ３００の操作パネル３０７に表示される画面９０１から、それぞれの項目に対応する文字列の抽出結果を確認し、文字列に誤りがあれば修正する。

【0065】

ＭＦＰ３００の操作パネル３０７に表示されている画面９０１のバリュー表示欄９０２～９０６のいずれかをユーザがタッチすると、画面９０１から編集モードに切り替わる。編集モードでは、ユーザはタッチしたバリュー表示欄の項目の正しい文字列を入力して、バリュー表示欄の文字列を修正することができる。つまり、ユーザは、修正するバリュー表示欄をタッチすることで、修正する項目を指示することができる。ユーザが修正の入力後にユーザが登録ボタン９０７を押下すると、ＵＩ部５０１が修正後の文字列で登録を受け付ける。

【0066】

例えば、画面９０１ではキー表示欄９１６に表示されている「電話番号」のバリューとして「０９８－７６５－４３２１」が抽出結果として表示されている。図６の矩形６０５に示すように正しく抽出されるべき請求先の電話番号の文字列は「０１２３－４５－６７８９」であるとする。この場合、ユーザは、バリュー表示欄９０６をタッチしてから「０１２３－４５－６７８９」を入力して、項目に対応する文字列を修正することができる。

【0067】

このようなユーザが修正を必要とするキーバリューの抽出の誤りの原因については、項目に対応する文字領域が誤って抽出されている場合がある。または、ユーザが修正を必要とするキーバリューの抽出の誤りの原因については、項目に対応する文字領域は正しく抽出されていたがその文字領域に対する文字認識が誤っている場合がある。

【0068】

Ｓ８０７においてＭＦＰ３００の領域決定部５０６は、修正前の項目に対応する文字認識結果の文字列と、修正後の文字列との差が所定の範囲内（許容範囲内）かを判定する。本実施形態では、キーバリュー抽出部４０３が抽出した修正前の項目に対応する文字列とユーザが修正した修正後の文字列との間の編集距離（レーベンシュタイン距離）が閾値以下である場合、所定の範囲内と判定する。閾値は、例えば１である。

【0069】

例えば、Ｓ８０４においてキーバリュー抽出部４０３が抽出した、ある項目に対応する修正前の文字列が「０１２３－４５－６７８８」であり、ユーザが修正した修正後の文字列が「０１２３－４５－６７８９」の場合、編集距離は１となる。このため閾値が１であれば、項目に対応する修正前の文字列と修正後の文字列との差は所定の範囲内と判定される。

【0070】

文字列の差が所定の範囲内である場合（Ｓ８０７がＹＥＳ）、キーバリューの抽出の誤りの原因については、項目に対応する文字領域は正しく抽出されているものの、文字領域に対する文字認識処理が誤っていたためと考えられる。このため、後述する項目に対応する正しい文字領域の決定は行わずにＳ８１５に進む。

【0071】

文字列の差が所定の範囲内ではない場合（Ｓ８０７がＮＯ）、キーバリューの抽出の誤りの原因については、項目に対応する文字領域が誤って抽出されたためと考えられる。この場合Ｓ８０８に進み、領域決定部５０６は、画像データの全体を文字認識処理した処理結果から、修正後の文字列と同じである文字列を決定し、その文字列が認識された文字領域を項目に対応する正しい文字領域として決定する。本実施形態では、キーバリュー抽出結果に文字認識処理した処理結果が含まれているため、領域決定部５０６は、キーバリュー抽出結果から、項目に対応する正しい文字領域を決定する。なお、ここで、同じとは、文字が全く同じものに限定されず、同じとみなせるものも含むものとする。

【0072】

図１０は、Ｓ８０２においてＭＦＰ３００のスキャン実行部５０２によってスキャンされたスキャン画像であり、図６とは異なる紙文書のスキャン画像の一例を示す図である。図１１は、図１０の画像データに対して文字認識とキーバリュー抽出を行った結果を示す、図７とは別の、キーバリュー抽出結果である。図１０および図１１を用いて、Ｓ８０８の処理について説明する。

【0073】

図１１の行１１０２～１１０６は、項目を示すラベルが付与された文字認識処理の処理結果（文字領域および文字認識結果）含むレコードである。図１０の点線矩形１００１～１００５は、項目に対応する抽出された文字領域であることを示している。しかしながら、図１１のキーバリュー抽出結果にはキーバリュー抽出部４０３による抽出の誤りが含まれている。具体的には、ラベルが「電話番号」である項目に対応する文字領域および文字列として、行１１０６のレコードに電話番号のラベルが保持されているが、このラベルの付与は正しく無いものとする。このため、Ｓ８０６において「電話番号」に対応する正しい文字列である「０１２３－４５－６７８９」がユーザによって入力されたものとする。また、Ｓ８０７においてユーザが入力した修正後の文字列「０１２３－４５－６７８９」と誤って抽出された行１１０６の文字認識結果「０９８－７６５－４３２１」とは許容範囲内と判定されなかったためＳ８０８に処理が遷移しているものとする。

【0074】

Ｓ８０８において領域決定部５０６は、列１１０８の文字認識結果に保持されている全ての文字列に対して、ユーザが修正した修正後の文字列との編集距離を導出する。編集距離が所定の値以下である文字認識結果の文字列が１つの場合、領域決定部５０６は、その所定の値以下の文字列と修正後の文字列とは同じであるとみなして、項目に対応する正しい文字領域が決定できたと判定する。所定の値は例えば１である。

【0075】

図１１の列１１０１は、各行の文字認識結果の文字列とユーザによる修正後の文字列「０１２３－４５－６７８９」との編集距離を保持する列である。図１１では、列１１０１において編集距離が１以下であるのは、行１１０７に保持されている文字認識結果のみである。つまり、編集距離が所定の値である１以下の文字列が１つだけである。このため、図１１の例では、「電話番号」の項目に対応する正しい文字領域は、行１１０７の文字領域であるものとして決定できることになる。図１０の点線矩形１００６は、図１１の行１１０７の文字領域に対応する文字領域である。

【0076】

このように、本実施形態では、項目に対応する文字領域が誤って抽出された場合、項目に対応する正しい文字領域に修正するために、ユーザがキーバリュー抽出結果または文字認識処理の処理結果から正しい文字領域を探して指定する必要はない。ユーザがその項目に対応する正しい文字列の入力に応じて、その修正後の文字列に基づき領域決定部５０６がその項目に対応する文字領域を決定することができる。

【0077】

Ｓ８０９では、Ｓ８０８においてユーザが入力した修正後の文字列に基づき、項目に対応する文字領域が決定できたかが判定される。例えば、修正後の文字列との編集距離が所定の値以下の文字列が複数ある場合、または編集距離が所定の値以下の文字列が無かった場合は、Ｓ８０８では、ユーザが修正指示した項目（誤って抽出された項目）に対応する正しい文字領域は決定されない。この場合は、正しい文字領域が決定されないと判定される。

【0078】

正しい文字領域が決定されない場合（Ｓ８０９がＮＯ）、Ｓ８１０においてＵＩ部５０１は、操作パネル３０７に、スキャンした原稿の画像データに基づきプレビュー画像を表示させる。そして、ＵＩ部５０１は、ユーザが修正指示した項目に対応する正しい文字領域を、操作パネル３０７上のプレビュー画像にタッチして指示するように、ユーザに促す。

【0079】

Ｓ８１１においてユーザは、修正後の文字列が記載されている、ユーザが修正指示した項目の正しい文字領域の位置を、ＭＦＰ３００の操作パネル３０７に表示されているプレビュー画面上をタッチして指示する。

【0080】

Ｓ８１２においてＭＦＰ３００のＵＩ部５０１は、ユーザのタッチを受け付け、操作パネル３０７のタッチ位置を検知する。そして、ＵＩ部５０１は、操作パネル３０７に画面１５０５（図１５参照）を表示させ、ユーザによる登録ボタン９０７の押下を受け付ける。このとき表示される画面１５０５では、ユーザによって修正が指示された項目に対応するバリュー表示欄には修正後の文字列が表示される。

【0081】

修正結果送信部５０５は、ユーザがタッチした操作パネル３０７上のタッチ位置に基づき、画像の座標にマッピングしたタッチ位置座標に変換してタッチ位置座標を決定する。修正結果送信部５０５は、Ｓ８０６でユーザが入力した修正後の文字列と、タッチ位置座標とを、キーバリュー抽出サーバ２００に送信する。

【0082】

Ｓ８１３においてキーバリュー抽出サーバ２００の修正結果取得部４０６は、ＭＦＰ３００から送信されたタッチ位置座標と修正後の文字列とその項目とを取得する。キーバリュー抽出サーバ２００の領域決定部４０４は、タッチ位置座標と修正後の文字列とに基づき、ユーザが修正指示した項目に対応する正しい文字領域を決定する。

【0083】

図１２は、Ｓ８０２においてＭＦＰ３００のスキャン実行部５０２によってスキャンされたスキャン画像であり、図６および図１０とは異なる紙文書のスキャン画像の一例を示す図である。図１３は、図１２の画像データに対して文字認識とキーバリュー抽出を行った結果であり、図７および図１１とは別の、キーバリュー抽出結果を示すテーブルである。図１２および図１３を用いて、Ｓ８１０からＳ８１３の処理を説明する。

【0084】

図１３の行１３０２～１３０６は、所定の項目に対応する文字列（文字領域）として項目を示すラベルが付与された文字認識処理の処理結果を含むレコードである。しかしながら、列１３１２の「電話番号」は、正しい文字列（文字領域）に付与されていないものとする。

【0085】

このため、キーバリュー抽出部４０３によって「電話番号」である項目の文字列が「０９８－７６５－４３２１」として抽出されたものの、ユーザによって「電話番号」である項目の文字列が「０１２３－４５－６７８９」に修正されたものとする。図１３の列１３１１には、ユーザの入力による修正後の文字列「０１２３－４５－６７８９」と文字認識結果の文字列との編集距離が保持されている。図１３の例では、編集距離が１以下の文字列が２つあるため、Ｓ８０８において領域決定部５０６は電話番号の項目に対応する正しい文字領域が決定できなかったことになる。このため処理はＳ８１０に遷移している。

【0086】

図１２に示すタッチ位置１２１０は、ユーザがＳ８１１においてタッチした位置であり、Ｓ８１２においてそのタッチ位置座標は、（ｘ，ｙ）＝（１１１０，４９３）と決定されている。

【0087】

Ｓ８１３においてキーバリュー抽出サーバ２００の領域決定部４０４は、タッチ位置座標と、キーバリュー抽出結果のテーブルのすべて行の文字領域との距離を導出する。領域決定部４０４は、その距離が所定の値以下の文字領域のうち、修正後の文字列との編集距離が最小の文字列が認識された文字領域を、ユーザが修正指示した項目に対応する文字領域と決定する。所定の値は例えば１００である。

【0088】

図１３の列１３０１は、文字領域の位置とユーザがタッチした画像内のタッチ位置との距離を保持する列であり、タッチ位置座標が（１１１０，４９３）の場合の文字領域との距離を示している。行１３０７～１３１０は、タッチ位置座標との距離が所定の値である１００以下の文字領域を有するレコードである。このうち、領域決定部４０４は、列１３１１の編集距離が最小である行１３０８の文字領域が、ユーザが修正指示した項目である「電話番号」の項目に対応する正しい文字領域と決定する。なお、最小のものが２つ以上ある場合は、距離が一番小さいほうの文字領域を正しい文字領域として決定されてもよい。

【0089】

このように、本実施形態では、ユーザが修正指示した項目に対応する正しい文字領域をユーザが画像をタッチして指示する場合、タッチ位置座標だけでなく修正後の文字列との編集距離についても考慮して、その項目に対応する文字領域を決定する。

【0090】

例えば、図１３ではタッチ位置座標との距離が一番小さい文字領域は「ＴＥＬ：」の文字列が認識された行１３０７の文字領域であるが、これは項目に対応する文字領域ではない。このように単にタッチ位置座標に基づき項目に対応する文字領域を決定すると、画面が小さい場合などユーザが正確にタッチできない場合は、正しい文字領域を決定できない虞がある。本実施形態によればこのようにユーザが正確にタッチできない場合でも、項目に対応する文字領域を決定することができる。

【0091】

Ｓ８１４において領域決定部４０４は、Ｓ８１３で項目に対応する正しい文字領域が決定できたかどうかを判定する。

【0092】

Ｓ８１３で正しい文字領域が決定された場合（Ｓ８１４がＹＥＳ）、Ｓ８０８で正しい文字領域が決定された場合（Ｓ８０９がＹＥＳ）、はＳ８１５に進む。

【0093】

Ｓ８１５において学習部４０７は、領域決定部４０４、５０６によって決定された項目に対応する正しい文字領域の位置情報を示すデータを教師データとして用いて抽出ルール４０９に学習させる。抽出ルール４０９は、教師データに含まれる文字認識結果の特徴を抽出し学習することによって更新される。

【0094】

Ｓ８０８またはＳ８１３においてユーザが修正指示した項目に対応する正しい文字領域を決定できた場合、領域決定部４０４、５０６は、正しい文字領域を含むレコードにラベルが付与されるようにキーバリュー抽出結果は修正される。

【0095】

図１４は、図１１のキーバリュー抽出結果におけるラベルが、Ｓ８０８の処理結果に基づきＭＦＰ３００にて修正された後のキーバリュー抽出結果を示す図である。領域決定部５０６は、「電話番号」が項目である文字領域は行１１０７における文字領域であると決定している。このため領域決定部５０６は、図１４に示すように列１４０１において「電話番号」が行１１０７に付与されるようにキーバリュー抽出結果を修正する。

【0096】

Ｓ８１３で項目に対応する文字領域が決定された場合も同様に、領域決定部４０４は、図１３のキーバリュー抽出結果において列１３１２における「電話番号」が行１３０８に付与されるようにキーバリュー抽出結果を修正する。このように領域決定部４０４、５０６は、決定した正しい文字領域をキーバリュー抽出結果に反映させてキーバリュー抽出結果を修正する機能も有する。

【0097】

Ｓ８１５における学習では、例えば、図１４のような修正後のキーバリュー抽出結果が学習のためのデータとして用いられる。図１４の修正後のキーバリュー抽出結果をそのまま教師データとして使用して学習されてもよいし、または、修正後のキーバリュー抽出結果を加工して教師データまたは入力データとして用いて学習してもよい。

【0098】

Ｓ８１４で正しい文字領域が決定されなかった場合（Ｓ８１４がＮＯ）、Ｓ８１６に進む。例えばタッチ位置座標との距離が所定の値以内の文字領域が存在しなかった場合は、Ｓ８１４で、文字領域が決定できなかったと判定される。この場合は、ユーザが修正指示した項目に対応する正しい文字領域が決定できかったため、Ｓ８１５の学習のためのステップへは進まないでＳ８１６に進む。このため、項目に対応する誤った文字領域が含まれているデータを学習のためのデータとして使われないようにすることができる。

【0099】

Ｓ８１６においてキーバリューデータ送信部４０８は、項目と夫々の項目に対応する文字列のデータを会計サーバ１０３に送信する。文字認識結果またはラベルが修正されたキーバリュー抽出結果が会計サーバ１０３に送信されてもよいし、修正後のキーバリュー抽出結果から、ラベルが付与されているレコードを抽出して、会計サーバ１０３で利用するデータのみを送信してもよい。

【0100】

図１５は、図８のフローの各ステップにおいて、ＭＦＰ３００の操作パネル３０７に表示される画面の遷移を示している。

【0101】

画面１５０１は、Ｓ８０５の処理の結果表示される画面９０１と同じ画面である。画面１５０２は、Ｓ８０６においてユーザ操作１５０６によって、画面１５０１の電話番号の文字列が修正された後の画面を示している。

【0102】

画面１５０３は、ユーザの入力した文字列から正しい文字領域が決定できなかった場合にＳ８１０において表示される、スキャンされた原稿の画像データのプレビュー画像を示している。画面１５０４は、Ｓ８１１において、ユーザ操作１５０７によって、修正指示された項目に対応する正しい文字領域がタッチされる様子を示している。画面１５０５は、Ｓ８１１の後に表示される画面であり、ユーザ操作１５０８によって、登録ボタン９０７が押下される様子を示している。

【0103】

図１５の矢印は、画面遷移を示している。画面１５０１は画面１５０２に遷移し、Ｓ８０７またはＳ８０９でＹＥＳと判定された場合、画面１５０２から画面１５０５に遷移する。Ｓ８０７およびＳ８０９でＮＯと判定された場合、画面１５０２から画面１５０３に遷移する。画面１５０３は画面１５０４に遷移し、画面１５０４は画面１５０５に遷移する。

【0104】

図８のシーケンス図では、ユーザによってキーバリューの修正が行われる場合についてのフローを説明した。例えばＳ８０６でユーザによってキーバリューが修正されない場合は、キーバリューは正しく抽出できたことになる。この場合であっても、キーバリュー抽出結果を学習のためのデータとして用いて抽出ルール４０９に学習させてもよい。

【0105】

以上説明したように本実施形態によれば、ユーザが入力した項目に対応する修正後の文字列に基づいて、その項目に対応する正しい文字領域を決定することができる。このため、ユーザが項目に対応する文字領域を入力するような煩雑な操作を行う必要がないため、ユーザビリティを向上させることができる。

【0106】

また、所定の項目に対応する正しい文字領域をユーザが画面をタッチして指定する場合であっても、ユーザがタッチした文書画像上のタッチ位置に加えてユーザによる修正後の文字列にも基づいて項目に対応する正しい文字領域を決定する。このため、タッチ位置が正確でない場合であっても項目に対応する正しい文字領域を決定することが可能となる。

【0107】

なお、ユーザが修正指示した項目に対応する正しい文字領域の決定を、Ｓ８０８ではＭＦＰ３００の領域決定部５０６が行い、Ｓ８１３ではキーバリュー抽出サーバ２００の領域決定部４０４が行うものとして説明した。他にも、どちら一方の決定領域部だけがＳ８０８とＳ８１３との両方のステップにおいて項目に対応する正しい文字領域を決定する処理を行ってもよい。例えば、ＭＦＰ３００の領域決定部５０６が、Ｓ８０８だけでなくＳ８１３において項目に対応する文字領域を決定する形態でもよい。または、キーバリュー抽出サーバ２００の領域決定部４０４が、Ｓ８１３だけでなくＳ８０８において項目に対応する文字領域を決定する形態でもよい。また、キーバリュー抽出サーバ２００の領域決定部４０４は、ＭＦＰ３００から項目に対応する正しい文字領域の位置情報を取得できない場合に項目に対応する正しい文字領域を決定する処理を行ってもよい。

【0108】

本実施形態では、文字認識処理を行う画像データはスキャン画像であるものとして説明した。他にも例えば、文字認識処理を行う画像データは、電子データとして生成された文書の画像であってもよい。

【0109】

＜実施形態２＞
実施形態１では、ＭＦＰ３００がスキャンすることによって得られた画像データの全ての文字領域に対して文字認識処理を実行し、その結果に基づきキーバリューを抽出する形態を説明した。しかし、文字認識処理による処理負荷を軽減させる等の理由により、画像データの一部の文字領域に対してのみ文字認識処理が行われ、その文字認識処理の結果に基づきキーバリューを抽出する場合がある。このため本実施形態では、このような場合において、ユーザの修正した文字列に基づき修正対象の項目に対応する正しい文字領域を決定する方法を説明する。本実施形態は、実施形態１からの差分を中心に説明する。特に明記しない部分については実施形態１と同じ構成および処理である。

【0110】

［キーバリュー抽出サーバの機能構成］
図１６は、本実施形態のキーバリュー抽出サーバ２００の機能構成を示した図である。実施形態１と同一の構成については、同じ符号を付して説明を省略する。本実施形態のキーバリュー抽出サーバ２００は、文字領域検出部１６０１をさらに有する。

【0111】

文字領域検出部１６０１は、画像データが示すスキャン画像内に存在する文字領域を検出する処理を行う。文字領域の検出方法は、例えば、ある閾値で２値化を行った画像から文字と推測される矩形領域を抽出する方法等、既知の方法を適用すればよい。

【0112】

また、本実施形態のキーバリュー抽出部１６０２は、文字領域検出部１６０１の処理した結果得られた文字領域の位置情報を学習モデル（不図示）に入力することで出力された結果から、スキャン画像の帳票種別を推定する。学習モデルは、画像内の文字領域の位置およびサイズの特徴に基づき、その画像の帳票種別が出力されるように機械学習された学習モデルである。他にも例えば、キーバリュー抽出部４０３は、データベースに記憶されている帳票の種別ごとの文字領域のレイアウトと、文字領域検出部１６０１が処理した結果得られた文字領域のレイアウトと、の一致度を算出することにより、帳票の種別を推定してもよい。

【0113】

そして、本実施形態のキーバリュー抽出部１６０２は、帳票の種別を用いて、キー（項目）に対応する文字列であるキーバリューが含まれる文字領域を抽出する。

【0114】

本実施形態の抽出ルール１６０３は、帳票の種類と画像内の文字領域の特徴とに基づき、夫々の項目の文字列が含まれる文字領域が特定可能な情報が出力されるように学習されている学習モデルであるものとして説明を行う。キーバリュー抽出部１６０２は、帳票の種別と文字領域検出部１６０１の処理した結果得られたスキャン画像の文字領域の位置等の情報とを、抽出ルール１６０３に入力して出力された結果に基づき、スキャン画像における夫々の項目の文字領域を抽出する。

【0115】

または、抽出ルール１６０３は、帳票の種類ごとに、夫々の項目の文字領域の位置を示す座標およびサイズ等の位置情報が記憶されているデータベースであってもよい。その場合は例えば、キーバリュー抽出部１６０２は、抽出ルール１６０３に保存されている、ある項目の文字領域の位置と同じまたは近傍にあるスキャン画像内における文字領域を、その項目に対応する文字領域として抽出してもよい。

【0116】

または、抽出ルール１６０３は、画像内の文字領域の特徴のみに基づき、夫々の項目の文字領域を特定する情報が出力されるように学習されている学習モデルであってもよい。その場合、帳票の種別の推定は行われなくてもよい。つまり、キーバリュー抽出部１６０２は、文字領域検出部１６０１の処理した結果得られたスキャン画像の文字領域の位置等の情報を、抽出ルール１６０３に入力して出力された結果に基づき、スキャン画像における夫々の項目の文字領域を抽出してもよい。

【0117】

そしてキーバリュー抽出部１６０２が抽出した夫々の項目の文字領域に対して、ＯＣＲ部４０２が文字認識処理を行う。そして、その結果得られた文字列を夫々の項目に対応する文字列として出力する。

【0118】

［文字抽出処理および修正処理について］
図１７は、本実施形態の入力支援システムにおける処理を示すシーケンス図である。Ｓ１７０１～１７０２は、Ｓ８０１～Ｓ８０２と同一であるため説明は省略する。

【0119】

Ｓ１７０３において画像データ取得部４０１は、ＭＦＰ３００から送信されたスキャン画像の画像データを取得し、文字領域検出部１６０１は、取得された画像データの文字領域を検出する。

【0120】

Ｓ１７０４においてキーバリュー抽出部１６０２は、検出された文字領域の情報に基づき、画像データの帳票種別を推定する。そしてＳ１７０５においてキーバリュー抽出部１６０２は、抽出ルール１６０３を用いて、予め定義された夫々の項目に対応する文字領域を抽出する。

【0121】

Ｓ１７０６においてＯＣＲ部４０２は、Ｓ１７０５において検出された、夫々の項目に対応する文字領域に対してのみ文字認識処理を実行して、夫々の項目の文字列であるキーバリューを抽出する。本実施形態では、キーバリューを抽出するための文字認識処理は一部の文字領域に対して行われる。このためキーバリュー抽出時の処理負荷を抑制することができる。

【0122】

そして、キーバリュー抽出部１６０２は、夫々の項目に対応する文字領域および文字列を含むレコード（行）には、その項目の名称を示すラベルを付与して、図１８に示すキーバリュー抽出結果１８００を生成する。キーバリュー抽出結果送信部４０５は、生成されたキーバリュー抽出結果１８００をＭＦＰ３００に出力する。

【0123】

図１８のキーバリュー抽出結果１８００は図６の帳票画像に対してＳ１７０２～１７０６の処理が行われた結果得られるキーバリュー抽出結果１８００である。列１８０１～１８０３に保持される内容は、列７０１～７０３と同様である。行１８０４～１８０８における文字認識結果の文字列は、項目に対応する文字列として抽出された文字列（キーバリュー）である。このため行１８０４～１８０８における列１８０３には抽出対象の項目であることを示すラベルが付与される。

【0124】

また、図１８に示すように、本ステップでは、項目に対応する文字領域以外の文字領域には文字認識処理されていないため、行１８０４～１８０８以外の行における列１８０２の文字認識結果には文字列が無いことを示す「―」が保持されている。

【0125】

Ｓ１７０７～Ｓ１７０９は、Ｓ８０５～Ｓ８０７と同様であるため説明を省略する。

【0126】

Ｓ１７０９において、ユーザによる修正後の文字列と、当初のキーバリュー抽出結果における修正対象の項目の文字列と、との差が所定の範囲内である場合（Ｓ１７０９がＹＥＳ）、Ｓ１７１３に進む。つまり、この場合、項目に対応する文字領域はＳ１７０５で正しく抽出されていたことになる。このため、後述する、ユーザが修正指示した修正対象の項目に対応する正しい文字領域の決定は行わずにＳ１７１３の学習のステップに進む。

【0127】

Ｓ１７０９において、ユーザによる修正後の文字列と、当初のキーバリュー抽出結果における修正対象の項目の文字列と、の差が所定の範囲内ではない場合（Ｓ１７０９がＮＯ）、Ｓ１７１０に進む。つまりこの場合は修正対象の項目に対応する文字領域がＳ１７０５で誤って抽出されていると考えられる。このため、修正対象の項目に対応する正しい文字領域を決定する処理が行われる。修正結果送信部５０５は、Ｓ１７０８でユーザが入力した修正後の文字列を、キーバリュー抽出サーバ２００に送信する。

【0128】

Ｓ１７１０において修正結果取得部４０６は、ＭＦＰ３００から送信された修正結果の文字列を取得する。そして、ＯＣＲ部４０２は、Ｓ１７０３において検出されたスキャン画像の全ての文字領域に対して文字認識処理を実行する。

【0129】

本実施形態では、Ｓ１７０９でユーザによる修正後の文字列とキーバリュー抽出結果における修正対象の項目の文字列との差が所定の範囲内ではないと判定された場合のみ、全ての文字領域に文字認識処理がされる。その結果、図１８のキーバリュー抽出結果１８００における列１８０２の文字認識結果に「―」が保持されていた箇所に、本ステップで文字認識の結果得られた文字列が保持されるように、キーバリュー抽出結果１８００が更新される。

【0130】

Ｓ１７１１においてキーバリュー抽出サーバ２００の領域決定部４０４は、Ｓ１７１０で認識された全ての文字認識結果の文字列に対して、ユーザによる修正後の文字列との編集距離を算出する。そして領域決定部４０４は、その編集距離に基づき、修正対象の項目の文字領域を決定する。例えば、編集距離が１以下の文字認識結果が一つだけだった場合、正しい文字領域が決定できたと判断される。

【0131】

例えば、図１０の画像がＳ１７０２においてＭＦＰ３００のスキャン実行部５０２によってスキャンすることによって得られたスキャン画像であるとする。またユーザが、修正対象の項目である電話番号の項目の文字列を「０１２３－４５－６７８９」に修正したものとする。この場合、図１０のスキャン画像から検出された全ての文字領域に対して文字認識処理された結果得られた夫々の文字列と、修正後の文字列「０１２３－４５－６７８９」と、の編集距離が算出される。

【0132】

図１１は、全ての文字領域に対して文字認識処理が行われた結果得られた文字列が列１１０８の文字認識結果に追加され、また列１１０１には前述した編集距離が追加されたキーバリュー抽出結果である。図１１では、編集距離が１以下の文字列は、行１１０７における列１１０８の文字認識結果に保持されている「０１２３－４５－６７８９」のみである。このため図１１では、行１１０７における文字領域が正しい文字領域として決定される。

【0133】

Ｓ１７１２において領域決定部４０４は、Ｓ１７１１で修正対象の項目に対応する正しい文字領域が決定できたかどうかを判定する。Ｓ１７１１で正しい文字領域が決定された場合（Ｓ１７１２がＹＥＳ）は、Ｓ１７１３に進む。

【0134】

Ｓ１７１３において学習部４０７は、Ｓ１７１１で決定された文字領域の特徴を抽出し学習することによって学習モデルが更新される。または、抽出ルール１６０３がデータベースの場合は領域決定部４０４によって決定された文字領域の位置情報が、修正対象の項目に対応する文字領域として関連付けられるように抽出ルール１６０３を修正して更新する。

【0135】

Ｓ１７１１で正しい文字領域が決定されなかった場合（Ｓ１７１２がＮＯ）、学習のためのステップであるＳ１７１３へは進まないでＳ１７１４に進む。このため、項目に対応する誤った文字領域が含まれているデータを学習のためのデータとして使われないようにすることができる。Ｓ１７１４のステップの詳細はＳ８１６と同様であるため説明を省略する。

【0136】

図１９は、図１７のフローの各ステップにおいて、ＭＦＰ３００の操作パネル３０７に表示される画面の遷移を示している。画面１９０１は、Ｓ１７０７の処理の結果表示される画面である。画面１９０２は、Ｓ１７０８においてユーザ操作１９０３によって、画面１９０１の電話番号の文字列が修正された後の画面を示している。画面１９０４は、Ｓ１７０８の後に表示される画面であり、ユーザ操作１９０５によって、登録ボタンが押下される様子を示している。図１９の矢印は、画面遷移を示している。画面１９０１は画面１９０２に遷移し、画面１９０２は画面１９０４に遷移する。

【0137】

以上説明したように本実施形態によれば、一部の文字領域に対して文字認識処理をすることによりキーバリューを抽出する場合においても、ユーザが入力した修正後の文字列に基づいて、修正対象の項目に対応する正しい文字領域を決定することができる。このため、ユーザが項目に対応する文字領域を入力するような煩雑な操作を行う必要がないため、ユーザビリティを向上させることができる。

【0138】

なお、キーバリュー抽出サーバ２００が、文字領域を検出して文字認識処理をするものとして説明したが、ＭＦＰ３００が文字領域検出部およびＯＣＲ部と同様の機能を有していてもよい。その場合、上述のシーケンス図で説明した文字領域の検出および文字認識処理は、ＭＦＰ３００で行われてもよい。

【0139】

＜実施形態３＞
実施形態３では実施形態２と同様に、スキャン画像の一部の文字領域にのみ実行された文字認識処理の結果に基づきキーバリューを抽出する場合における、修正対象の項目の正しい文字領域を決定する方法を説明する。ただし実施形態３では、ユーザが画面をタッチした位置も使用して、修正対象の項目に対応する正しい文字領域を決定する方法について説明する。本実施形態は、実施形態２からの差分を中心に説明する。特に明記しない部分については実施形態２と同じ構成および処理である。

【0140】

図２０は、本実施形態の入力支援システムにおける処理を示すシーケンス図である。Ｓ２００１～２００９は、Ｓ１７０１～Ｓ１７０９と同一であるため説明は省略する。

【0141】

本実施形態では、ユーザによる修正後の文字列とキーバリュー抽出結果における修正対象の項目の文字列との差が所定の範囲内ではない場合（Ｓ２００９がＮＯ）、Ｓ２０１０～Ｓ２０１５の処理が行われる。Ｓ２０１０～Ｓ２０１２までの処理は、Ｓ８１０～Ｓ８１２の処理と同様である。

【0142】

即ち、Ｓ２０１０においてＵＩ部５０１は、スキャンした原稿（帳票）の画像データに基づきプレビュー画像を操作パネル３０７に表示させる。そして、ＵＩ部５０１は、ユーザが修正指示した修正対象の項目に対応する正しい文字領域を、操作パネル３０７上のプレビュー画像にタッチして指示するように、ユーザに促す。

【0143】

Ｓ２０１１においてユーザは、修正後の文字列が記載されている、ユーザが修正指示した項目の正しい文字領域の位置を、ＭＦＰ３００の操作パネル３０７に表示されているプレビュー画面上をタッチして指示する。

【0144】

Ｓ２０１２においてＭＦＰ３００のＵＩ部５０１は、ユーザのタッチを受け付け、操作パネル３０７のタッチ位置を検知する。修正結果送信部５０５は、ユーザがタッチした操作パネル３０７上のタッチ位置に基づき、画像の座標にマッピングしたタッチ位置座標に変換してタッチ位置座標を決定する。そして、ＵＩ部５０１は、操作パネル３０７に画面１５０５を表示させ、ユーザによる登録ボタンの押下を受け付ける。修正結果送信部５０５は、ユーザが入力した修正後の文字列と、タッチ位置座標とを、キーバリュー抽出サーバ２００に送信する。

【0145】

Ｓ２０１３においてキーバリュー抽出サーバ２００のＯＣＲ部４０２は、Ｓ２００３において検出された全ての文字領域に対して文字認識処理を実行する。

【0146】

Ｓ２０１４の処理はＳ８１３と同様である。つまり、Ｓ２０１４においてキーバリュー抽出サーバ２００の修正結果取得部４０６は、ＭＦＰ３００から送信されたタッチ位置座標と修正後の文字列と修正対象の項目とを取得する。キーバリュー抽出サーバ２００の領域決定部４０４は、タッチ位置座標と、キーバリュー抽出結果のすべて行の文字領域との距離を導出する。領域決定部４０４は、その距離が所定の値以下の文字領域のうち、修正後の文字列との編集距離が最小の文字列が認識された文字領域を、修正対象の項目に対応する正しい文字領域として決定する。所定の値は例えば１００である。

【0147】

例えば、図１２に示すタッチ位置１２１０は、ユーザがＳ２０１１においてタッチした位置であり、Ｓ２０１２においてそのタッチ位置座標は、（ｘ，ｙ）＝（１１１０，４９３）と決定されたものとする。

【0148】

図１３は、図１２の画像データに対して、文字領域検出と文字認識処理とキーバリュー抽出とを行った結果である。列１３１２の「電話番号」のラベルは、正しい文字領域に付与されていないものとする。図１３の列１３１１には、ユーザの入力による修正後の文字列「０１２３－４５－６７８９」と図１３の文字認識結果の文字列との編集距離が保持されている。

【0149】

図１３の列１３０１は、文字領域の位置とユーザがタッチした画像内のタッチ位置との距離を保持する列であり、タッチ位置座標が（１１１０，４９３）の場合の文字領域との距離を示している。行１３０７～１３１０は、タッチ位置座標との距離が所定の値である１００以下の文字領域を有するレコードである。行１３０７～１３１０のうち、領域決定部４０４は、列１３１１の編集距離が最小である行１３０８の文字領域が、ユーザが修正指示した項目である「電話番号」の項目に対応する正しい文字領域と決定する。

【0150】

Ｓ２０１５～２０１７は、Ｓ１７１２～Ｓ１７１４と同様の処理であるため説明は省略する。

【0151】

なお、本実施形態に実施形態２の方法を組み合わせて適用してもよい。例えば、実施形態２の図１７のシーケンス図において、Ｓ１７１１で正しい文字領域を決定できなかった場合、Ｓ２０１０～Ｓ２０１２が行われて、Ｓ２０１３の文字認識処理はスキップして、Ｓ２０１４～Ｓ２０１７の処理が行われてもよい。

【0152】

以上説明したように本実施形態によれば、一部の文字領域に対して文字認識処理をすることによりキーバリューを抽出する場合においても、ユーザが入力した修正後の文字列に基づいて、項目に対応する正しい文字領域を決定することができる。このため、ユーザが項目に対応する文字領域を入力するような煩雑な操作を行う必要がないため、ユーザビリティを向上させることができる。

【0153】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0154】

３００ ＭＦＰ
５０１ ＵＩ部
５０４ キーバリュー抽出結果取得部
５０６ 領域決定部
５０５ 修正結果送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】