特許 7644282 情報処理システム、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-03-03

(45)【発行日】2025-03-11

(54)【発明の名称】情報処理システム、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06V 30/24 20220101AFI20250304BHJP

【ＦＩ】

G06V30/24 620D

【請求項の数】 9

(21)【出願番号】P 2024027768

(22)【出願日】2024-02-27

【審査請求日】2024-04-03

【早期審査対象出願】

(73)【特許権者】

【識別番号】514020389

【氏名又は名称】ＴＩＳ株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】園田 健太郎

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０２０－０６７９５９（ＪＰ，Ａ）

【文献】特開２０００－１５５８０３（ＪＰ，Ａ）

【文献】特開２０２１－０６８２０３（ＪＰ，Ａ）

【文献】特開平１１－２２４３０５（ＪＰ，Ａ）

【文献】特開２０２４－００３７６９（ＪＰ，Ａ）

【文献】特開２００１－２９７３０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／２４

(57)【特許請求の範囲】

【請求項1】

所定の装置から、文字を含む対象画像を取得する対象画像取得部と、
前記対象画像に含まれる複数の文字のそれぞれを第１のテキスト情報として認識する第１の光学式文字認識装置から、前記複数の文字のそれぞれについての、前記第１のテキスト情報と、前記第１のテキスト情報が示す文字に対する認識の正確性の度合いを示す第１の正確性指標と、を取得する第１の情報取得部と、
前記複数の文字における前記第１の正確性指標のうちの少なくとも一つに基づく第１の基準指標が、画像に含まれる文字の認識の正確性に関する第１の基準よりも低いと判定された場合、前記第１の基準よりも低いと判定された前記第１の基準指標に対応する文字を含む、前記対象画像の一部の範囲の画像である特定範囲画像であって、当該特定範囲画像に含まれる少なくとも一つの文字のそれぞれを第２のテキスト情報として認識する、前記第１の光学式文字認識装置とは異なる第２の光学式文字認識装置から、前記特定範囲画像に含まれる少なくとも一つの文字のそれぞれについての、前記第２のテキスト情報と、前記第２のテキスト情報が示す文字に対する認識の正確性の度合いを示す第２の正確性指標と、を取得する第２の情報取得部と、
前記特定範囲画像に含まれる少なくとも一つの文字のそれぞれにおける前記第２の正確性指標のうちの少なくとも一つに基づく第２の基準指標と、画像に含まれる文字の認識の正確性に関する第２の基準と、の大小関係を判定した結果に基づいて、前記特定範囲画像に含まれる文字を特定する文字特定部と、
を備え、
前記文字特定部は、前記特定範囲画像に含まれる文字のうちの少なくとも一つの文字に対する前記第２の基準指標が前記第２の基準よりも低いと判定された場合、前記対象画像における前記特定範囲画像に相当する範囲に含まれる少なくとも一つの文字の前記第１の正確性指標と、前記特定範囲画像に含まれる少なくとも一つの文字の前記第２の正確性指標と、の大小関係を判定した結果に基づいて、前記特定範囲画像に含まれる文字を特定する、
情報処理システム。

【請求項2】

所定の装置から、文字を含む対象画像を取得する対象画像取得部と、
前記対象画像に含まれる複数の文字のそれぞれを第１のテキスト情報として認識する第１の光学式文字認識装置から、前記複数の文字のそれぞれについての、前記第１のテキスト情報と、前記第１のテキスト情報が示す文字に対する認識の正確性の度合いを示す第１の正確性指標と、を取得する第１の情報取得部と、
前記複数の文字における前記第１の正確性指標のうちの少なくとも一つに基づく第１の基準指標が、画像に含まれる文字の認識の正確性に関する第１の基準よりも低いと判定された場合、前記第１の基準よりも低いと判定された前記第１の基準指標に対応する文字を含む、前記対象画像の一部の範囲の画像である特定範囲画像であって、当該特定範囲画像が入力されることによって、前記特定範囲画像に含まれる少なくとも一つの文字のそれぞれを第２のテキスト情報として認識する、前記第１の光学式文字認識装置とは異なる第２の光学式文字認識装置から、前記特定範囲画像に含まれる文字についての前記第２のテキスト情報を取得する第２の情報取得部と、
前記第１のテキスト情報と、前記第２のテキスト情報と、に基づいて、前記対象画像に含まれる文字を特定する文字特定部と、
を備え、
前記文字特定部は、前記第２の光学式文字認識装置に対する前記特定範囲画像を入力した入力回数が所定の回数を超えた場合、前記第１の正確性指標に対応する前記第１のテキスト情報が示す文字を、前記特定範囲画像に含まれる文字として特定する、
情報処理システム。

【請求項3】

前記文字特定部は、前記特定範囲画像に含まれる全ての文字に関する前記第２の基準指標が前記第２の基準以上であると判定された場合、前記第２の正確性指標に対応する前記第２のテキスト情報が示す文字を、前記特定範囲画像に含まれる文字として特定する、
請求項１に記載の情報処理システム。

【請求項4】

前記対象画像取得部は、一頁単位の画像である前記対象画像を取得し、
前記第２の情報取得部は、前記対象画像に含まれる文章の行単位の画像である前記特定範囲画像に含まれる文字についての前記第２のテキスト情報を、前記第２の光学式文字認識装置から取得する、
請求項１に記載の情報処理システム。

【請求項5】

前記対象画像を画面の第１の表示領域に表示させ、
前記特定範囲画像に含まれる文字を示す前記第２のテキスト情報を前記画面における前記第１の表示領域とは異なる第２の表示領域に表示させる表示処理部を、
さらに備える請求項１に記載の情報処理システム。

【請求項6】

前記表示処理部は、
前記特定範囲画像に含まれる文字を示す前記第２のテキスト情報と、前記特定範囲画像に含まれる文字を除く前記対象画像に含まれる文字を示す前記第１のテキスト情報と、を前記第２の表示領域に表示し、
当該第２のテキスト情報を識別可能に表示する、
請求項５に記載の情報処理システム。

【請求項7】

前記表示処理部は、前記第２の光学式文字認識装置に前記特定範囲画像を入力した回数である入力回数を、前記画面の所定の表示領域に表示させる、
請求項５に記載の情報処理システム。

【請求項8】

コンピュータが、
所定の装置から、文字を含む対象画像を取得することと、
前記対象画像に含まれる複数の文字のそれぞれを第１のテキスト情報として認識する第１の光学式文字認識装置から、前記複数の文字のそれぞれについての、前記第１のテキスト情報と、前記第１のテキスト情報が示す文字に対する認識の正確性の度合いを示す第１の正確性指標と、を取得することと、
前記複数の文字における前記第１の正確性指標のうちの少なくとも一つに基づく第１の基準指標が、画像に含まれる文字の認識の正確性に関する第１の基準よりも低いと判定された場合、前記第１の基準よりも低いと判定された前記第１の基準指標に対応する文字を含む、前記対象画像の一部の範囲の画像である特定範囲画像であって、当該特定範囲画像に含まれる少なくとも一つの文字のそれぞれを第２のテキスト情報として認識する、前記第１の光学式文字認識装置とは異なる第２の光学式文字認識装置から、前記特定範囲画像に含まれる少なくとも一つの文字のそれぞれについての、前記第２のテキスト情報と、前記第２のテキスト情報が示す文字に対する認識の正確性の度合いを示す第２の正確性指標と、を取得することと、
前記特定範囲画像に含まれる少なくとも一つの文字のそれぞれにおける前記第２の正確性指標のうちの少なくとも一つに基づく第２の基準指標と、画像に含まれる文字の認識の正確性に関する第２の基準と、の大小関係を判定した結果に基づいて、前記特定範囲画像に含まれる文字を特定することであり、
前記特定範囲画像に含まれる文字のうちの少なくとも一つの文字に対する前記第２の基準指標が前記第２の基準よりも低いと判定された場合、前記対象画像における前記特定範囲画像に相当する範囲に含まれる少なくとも一つの文字の前記第１の正確性指標と、前記特定範囲画像に含まれる少なくとも一つの文字の前記第２の正確性指標と、の大小関係を判定した結果に基づいて、前記特定範囲画像に含まれる文字を特定することと、
を実行する情報処理方法。

【請求項9】

コンピュータに、
所定の装置から、文字を含む対象画像を取得することと、
前記対象画像に含まれる複数の文字のそれぞれを第１のテキスト情報として認識する第１の光学式文字認識装置から、前記複数の文字のそれぞれについての、前記第１のテキスト情報と、前記第１のテキスト情報が示す文字に対する認識の正確性の度合いを示す第１の正確性指標と、を取得することと、
前記複数の文字における前記第１の正確性指標のうちの少なくとも一つに基づく第１の基準指標が、画像に含まれる文字の認識の正確性に関する第１の基準よりも低いと判定された場合、前記第１の基準よりも低いと判定された前記第１の基準指標に対応する文字を含む、前記対象画像の一部の範囲の画像である特定範囲画像であって、当該特定範囲画像に含まれる少なくとも一つの文字のそれぞれを第２のテキスト情報として認識する、前記第１の光学式文字認識装置とは異なる第２の光学式文字認識装置から、前記特定範囲画像に含まれる少なくとも一つの文字のそれぞれについての、前記第２のテキスト情報と、前記第２のテキスト情報が示す文字に対する認識の正確性の度合いを示す第２の正確性指標と、を取得することと、
前記特定範囲画像に含まれる少なくとも一つの文字のそれぞれにおける前記第２の正確性指標のうちの少なくとも一つに基づく第２の基準指標と、画像に含まれる文字の認識の正確性に関する第２の基準と、の大小関係を判定した結果に基づいて、前記特定範囲画像に含まれる文字を特定することであり、
前記特定範囲画像に含まれる文字のうちの少なくとも一つの文字に対する前記第２の基準指標が前記第２の基準よりも低いと判定された場合、前記対象画像における前記特定範囲画像に相当する範囲に含まれる少なくとも一つの文字の前記第１の正確性指標と、前記特定範囲画像に含まれる少なくとも一つの文字の前記第２の正確性指標と、の大小関係を判定した結果に基づいて、前記特定範囲画像に含まれる文字を特定することと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

機械学習モジュールを用いて文書画像から情報を抽出するシステムが開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２２－７９４３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の文書データ抽出システムは、文書に関連付けられた画像データを取得し、光学式文字認識により画像データからメタデータを抽出する。メタデータは、テキストコンテンツ項目列と、テキストコンテンツ項目列の各テキストコンテンツ項目に関連付けられたテキストコンテンツ項目特徴とが指定される。文書データ抽出システムは、機械学習モジュールを用いて、テキストコンテンツ項目列とテキストコンテンツ項目特徴とに基づき、キーに関連付けられた１以上のテキストコンテンツ項目を決定する。これにより、文書データ抽出システムは文書画像から情報を抽出することができる。

【0005】

しかし、光学式文字認識を実行する一つの光学式文字認識装置によって画像データから適切にメタデータを生成できない場合、文書画像から適切に情報を抽出することができないという問題が生じる。

【0006】

そこで、本発明は、上記の課題を解決するために、画像から適切に情報を抽出可能なシステムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様に係る情報処理システムは、所定の装置から、文字を含む対象画像を取得する対象画像取得部と、前記対象画像に含まれる複数の文字のそれぞれを第１のテキスト情報として認識する第１の光学式文字認識装置から、前記複数の文字のそれぞれについての、前記第１のテキスト情報と、前記第１のテキスト情報が示す文字に対する認識の正確性の度合いを示す第１の正確性指標と、を取得する第１の情報取得部と、前記複数の文字における前記第１の正確性指標のうちの少なくとも一つに基づく第１の基準指標が、画像に含まれる文字の認識の正確性に関する第１の基準よりも低いと判定された場合、前記第１の基準よりも低いと判定された前記第１の基準指標に対応する文字を含む、前記対象画像の一部の範囲の画像である特定範囲画像であって、当該特定範囲画像に含まれる少なくとも一つの文字のそれぞれを第２のテキスト情報として認識する、前記第１の光学式文字認識装置とは異なる第２の光学式文字認識装置から、前記特定範囲画像に含まれる文字についての前記第２のテキスト情報を取得する第２の情報取得部と、前記第１のテキスト情報と、前記第２のテキスト情報と、に基づいて、前記対象画像に含まれる文字を特定する文字特定部と、を備える。

【0008】

本発明の一態様に係る情報処理方法は、コンピュータが、所定の装置から、文字を含む対象画像を取得することと、前記対象画像に含まれる複数の文字のそれぞれを第１のテキスト情報として認識する第１の光学式文字認識装置から、前記複数の文字のそれぞれについての、前記第１のテキスト情報と、前記第１のテキスト情報が示す文字に対する認識の正確性の度合いを示す第１の正確性指標と、を取得することと、前記複数の文字における前記第１の正確性指標のうちの少なくとも一つに基づく第１の基準指標が、画像に含まれる文字の認識の正確性に関する第１の基準よりも低いと判定された場合、前記第１の基準よりも低いと判定された前記第１の基準指標に対応する文字を含む、前記対象画像の一部の範囲の画像である特定範囲画像であって、当該特定範囲画像に含まれる少なくとも一つの文字のそれぞれを第２のテキスト情報として認識する、前記第１の光学式文字認識装置とは異なる第２の光学式文字認識装置から、前記特定範囲画像に含まれる文字についての前記第２のテキスト情報を取得することと、前記第１のテキスト情報と、前記第２のテキスト情報と、に基づいて、前記対象画像に含まれる文字を特定することと、を実行する。

【0009】

本発明の一態様に係るプログラムは、コンピュータに、所定の装置から、文字を含む対象画像を取得することと、前記対象画像に含まれる複数の文字のそれぞれを第１のテキスト情報として認識する第１の光学式文字認識装置から、前記複数の文字のそれぞれについての、前記第１のテキスト情報と、前記第１のテキスト情報が示す文字に対する認識の正確性の度合いを示す第１の正確性指標と、を取得することと、前記複数の文字における前記第１の正確性指標のうちの少なくとも一つに基づく第１の基準指標が、画像に含まれる文字の認識の正確性に関する第１の基準よりも低いと判定された場合、前記第１の基準よりも低いと判定された前記第１の基準指標に対応する文字を含む、前記対象画像の一部の範囲の画像である特定範囲画像であって、当該特定範囲画像に含まれる少なくとも一つの文字のそれぞれを第２のテキスト情報として認識する、前記第１の光学式文字認識装置とは異なる第２の光学式文字認識装置から、前記特定範囲画像に含まれる文字についての前記第２のテキスト情報を取得することと、前記第１のテキスト情報と、前記第２のテキスト情報と、に基づいて、前記対象画像に含まれる文字を特定することと、を実行させる。

【発明の効果】

【0010】

本発明によれば、画像から適切に情報を抽出可能なシステムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】電子データ生成システムの概要を示す図である。

【図2】対象画像情報の一例を示すデータベースである。

【図3】特定範囲画像情報の一例を示すデータベースである。

【図4】表示部に表示される画面例を示す図である。

【図5】電子データ生成システムの処理手順を示すフローチャートである。

【図6】一行の文字列のテキスト情報である行情報に対する正当性指標を示す表である。

【図7】コンピュータのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0012】

以下に、本発明の一実施形態における電子データ生成システム１０について、図面を参照して詳細に説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。すなわち、本発明は、その趣旨を逸脱しない範囲で種々変形し、または各実施例を組み合わせるなどして実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。

【0013】

また、本実施形態において、「部」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、一つの「部」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されてもよく、二つ以上の「部」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されてもよい。さらには、電子データ生成システム１０を構成する複数の装置のそれぞれの以下に示す各種機能が、当該複数の装置における他の装置によって実行されるように構成されていてもよい。

【0014】

＝＝＝電子データ生成システム１０の概要＝＝＝
＜＜構成の概要＞＞
図１を参照して、電子データ生成システム１０の概要について説明する。図１は、電子データ生成システム１０の概要を示す図である。

【0015】

電子データ生成システム１０は、複数の光学式文字認識装置を用いて、画像からデジタル文書を正確に生成するシステムである。具体的には、電子データ生成システム１０は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）等のグラフィックフォーマットで指定された画像やＰＤＦ（Portable Document Format）データの画像（以下、「対象画像」という。）などを、複数の光学式文字認識装置を通じてデジタルデータであるテキスト情報を生成する。

【0016】

対象画像は、例えば各種契約書や論文などの画像である。以下、便宜上、対象画像が一例として一頁単位の契約書の画像であるとして説明する。

【0017】

電子データ生成システム１０は、例えば、電子データ生成装置１００と、第１の光学式文字認識装置２００と、第２の光学式文字認識装置３００と、ユーザ端末４００とを含む。

【0018】

電子データ生成装置１００は、異なる二つの光学式文字認識装置のそれぞれによる対象画像の文字認識の結果に基づき、対象画像の文字認識の結果であるデジタル文書を出力する装置である。

【0019】

第１の光学式文字認識装置２００は、対象画像に対して文字認識を実行する装置である。

【0020】

第２の光学式文字認識装置３００は、電子データ生成装置１００から取得される、対象画像の所定の範囲の画像に対して文字認識を実行する装置である。

【0021】

電子データ生成装置１００、第１の光学式文字認識装置２００および第２の光学式文字認識装置３００は、例えば、クラウドコンピュータ、サーバコンピュータ、パーソナルコンピュータ（例えば、デスクトップ、ラップトップ、タブレットなど）、メディアコンピュータプラットホーム（例えば、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ）、ハンドヘルドコンピュータデバイス（例えば、ＰＤＡ、電子メールクライアントなど）、あるいは他種のコンピュータ、またはコミュニケーションプラットホームであってもよい。なお、電子データ生成装置１００、第１の光学式文字認識装置２００および第２の光学式文字認識装置３００における処理の少なくとも一部は、１以上のコンピュータ（限定ではなく例として、１以上のコンピュータにより構成されるクラウドコンピューティング）により実現されていてもよい。

【0022】

ユーザ端末４００は、ユーザの操作入力を受け付けて各種情報を表示する装置である。

【0023】

ユーザ端末４００は、例えば、スマートフォン、携帯電話（フィーチャーフォン）、パーソナルコンピュータ（例えば、デスクトップ、ラップトップ、タブレットなど）、メディアコンピュータプラットホーム（例えば、ケーブル、衛星セットトップボックス、 デジタルビデオレコーダ）、ハンドヘルドコンピュータデバイス（例えば、ＰＤＡ（Personal Digital Assistant）、電子メールクライアントなど）、ウェアラブル端末（メガネ型デバイス、時計型デバイスなど）、他種のコンピュータ、またはコミュニケーションプラットホームであってもよい。

【0024】

＜＜処理の概要＞＞
図１を参照して、電子データ生成システム１０の処理の概要について説明する。

【0025】

まず、ステップＳ１０において、電子データ生成装置１００は、所定の装置から取得された対象画像を、第１の光学式文字認識装置２００に送信する。

【0026】

ステップＳ１１において、第１の光学式文字認識装置２００は、対象画像（例えば一頁単位の画像）に含まれる文字を認識して、認識した文字についてのテキスト情報（以下、「第１のテキスト情報」という。）を生成する。第１のテキスト情報には当該文字の対象画像上の座標が含まれていてもよい。このとき、第１の光学式文字認識装置２００は、生成した第１のテキスト情報が示す文字に対する認識の正確性の度合い（以下、「第１の正確性指標」という。）を生成する。以下では、便宜上、第１のテキスト情報、第１の正確性指標および座標をまとめて「第１の生成情報」ということもある。

【0027】

第１の光学式文字認識装置２００は、第１の生成情報を電子データ生成装置１００に送信する。

【0028】

ステップＳ１２において、電子データ生成装置１００は、複数の文字における第１の正確性指標のうちの少なくとも一つに基づく基準指標（以下、「第１の基準指標」という。）が、画像に含まれる文字の認識の正確性に関する基準（以下、「第１の基準」という。）よりも低いと判定された場合、基準指標に対応する文字を含む、対象画像の所定の範囲の画像（以下、「特定範囲画像」という。）を特定する。

【0029】

第１の基準指標とは、例えば、複数の文字のそれぞれの第１の正確性指標であってもよいし、行単位の画像やブロック単位の画像に含まれる複数の文字における第１の正確性指標の平均値であってもよい。

【0030】

第１の基準とは、例えば第１の正確性指標と比較可能な閾値である。

【0031】

特定範囲画像とは、例えば、一頁単位の対象画像の一部をセグメント化した、一つの文章がまとまった画像（以下、「ブロック画像」という。）であってもよいし、一行分の画像（以下、「行画像」という。）であってもよいし、一文字の画像である文字画像であってもよい。以下、便宜上、特定範囲画像を「行画像」として説明する。

【0032】

電子データ生成装置１００は、特定範囲画像を第２の光学式文字認識装置３００に送信する。すなわち、電子データ生成装置１００は、対象画像を文字認識させた光学式文字認識装置とは異なる光学式文字認識装置に、文字認識の正確性が低いと判定された文字を含む、例えば対象画像の一部の範囲の特定範囲画像（例えば行画像）を再度文字認識させる。

【0033】

ステップＳ１３において、第２の光学式文字認識装置３００は、特定範囲画像に含まれる文字を認識して、認識した文字についてのテキスト情報（以下、「第２のテキスト情報」という。）を生成する。第２のテキスト情報には当該文字の対象画像上の座標が含まれていてもよい。このとき、第２の光学式文字認識装置３００は、生成した第２のテキスト情報が示す文字に対する認識の正確性の度合い（以下、「第２の正確性指標」という。）を生成する。なお、以下では、第２のテキスト情報、第２の正確性指標および座標をまとめて「第２の生成情報」ということもある。

【0034】

第２の光学式文字認識装置３００は、第２の生成情報を電子データ生成装置１００に送信する。

【0035】

ステップＳ１４において、電子データ生成装置１００は、特定範囲画像に含まれる少なくとも一つの文字のそれぞれにおける第２の正確性指標のうちの少なくとも一つに基づく基準指標（以下、「第２の基準指標」という。）と、画像に含まれる文字の認識の正確性に関する基準（以下、「第２の基準」という。）との比較結果（以下、「第１の比較結果」という。）に基づいて、特定範囲画像に含まれる文字を特定する。

【0036】

第２の基準指標とは、例えば、特定範囲画像に含まれる文字のそれぞれの第２の正確性指標であってもよいし、特定範囲画像に含まれる複数の文字における第２の正確性指標の平均値であってもよい。

【0037】

第２の基準とは、例えば第２の正確性指標と比較可能な閾値である。

【0038】

電子データ生成装置１００は、特定した特定範囲画像に含まれる文字を示す情報（以下、「文字認識結果」という。）を含む画面をユーザ端末４００に送信する。

【0039】

以上のとおり、電子データ生成装置１００は、一頁単位の対象画像に含まれる文字に対する第１の光学式文字認識装置２００による文字認識の正確性が低い場合に、第１の光学式文字認識装置２００とは異なる第２の光学式文字認識装置３００によって、当該文字を含む、対象画像の一部の範囲の特定範囲画像（ここでは一例として行単位の行画像）を文字認識した結果を取得して、当該結果に基づき対象画像に含まれる文字を特定する。

【0040】

すなわち、電子データ生成装置１００では、文字認識の対象範囲が異なる複数の光学式文字認識装置（例えば第１の光学式文字認識装置２００は一頁単位の文字認識で第２の光学式文字認識装置３００は行単位の文字認識）を用いて、文字認識の正確性が低い画像に対して文字認識することにより、正確性が高い文字認識を実現可能とする。

【0041】

さらに言うと、電子データ生成システム１０では、文字認識の実行費用が第１の光学式文字認識装置２００よりも高額な第２の光学式文字認識装置３００を用いて対象範囲の文字認識の全てを実行するのではなく、第１の光学式文字認識装置２００では文字認識の正確性が低い、対象範囲よりもより狭い範囲の文字認識を実行することにより、文字認識の正確性を高めるとともに、文字認識にかかる費用を低減することが可能となる。

【0042】

なお、第２の光学式文字認識装置３００に送信される特定範囲画像は、行画像であることに限定されず、一頁単位の画像であってもよく、ブロック画像または文字画像であってもよい。

【0043】

また、電子データ生成システム１０は、第１の光学式文字認識装置２００および第２の光学式文字認識装置３００に加えて、さらに少なくとも一つの光学式文字認識装置を含んでいてもよい。この場合、当該光学式文字認識装置は、第１の光学式文字認識装置２００および第２の光学式文字認識装置３００のいずれかと同じ範囲の画像を文字認識するものであってもよいし、第１の光学式文字認識装置２００および第２の光学式文字認識装置３００が文字認識する範囲よりも狭い範囲の画像を文字認識するものであってもよい。これにより、電子データ生成システム１０は、より正確性が高い文字認識を実現可能となる。

【0044】

＝＝＝電子データ生成装置１００＝＝＝
図１に示すように、電子データ生成装置１００は、記憶部１０１と、対象画像取得部１０２と、第１の情報取得部１０３と、第１の判定部１０４と、特定範囲特定部１０５と、情報送信部１０６と、第２の情報取得部１０７と、第２の判定部１０８と、文字特定部１０９と、表示処理部１１０とを含む。

【0045】

記憶部１０１は、例えば、対象画像情報Ｄ１０１ａと、特定範囲画像情報Ｄ１０１ｂとを含む。

【0046】

図２を参照して、対象画像情報Ｄ１０１ａについて説明する。図２は、対象画像情報１０１ａの一例を示すデータベースである。対象画像情報１０１ａは、対象画像に関するデータが格納されるデータベースである。

【0047】

図２に示すように、対象画像情報Ｄ１０１ａは、例えば、［対象画像ＩＤ］、［対象画像］、［ブロック情報］、［行情報］、［文字情報］、［座標］、［第１の正確性指標］などの項目を含む。［対象画像ＩＤ］は、対象画像を一意に識別可能な識別情報が格納される。［対象画像］は、対象画像が格納される。［ブロック情報］は、対象画像のうちの文章の一つのまとまりを示すブロック画像のテキスト情報（以下、「ブロック情報」という。）が格納される。［行情報］は、ブロック画像に含まれる一行ごとのテキスト情報（以下、「行情報」という。）が格納される。［文字情報］は、一行に含まれる文字のテキスト情報（以下、「文字情報」という。）が格納される。［座標］は、第１のテキスト情報のそれぞれが示す文字（文字情報）の対象画像中の座標が格納される。［第１の正確性指標］は、第１のテキスト情報のそれぞれが示す文字の正確性の度合いを示す第１の正確性指標が格納される。

【0048】

図３を参照して、特定範囲画像情報Ｄ１０１ｂについて説明する。図３は、特定範囲画像情報１０１ｂの一例を示すデータベースである。特定範囲画像情報１０１ｂは、特定範囲画像に関するデータが格納されるデータベースである。

【0049】

図３に示すように、特定範囲画像情報Ｄ１０１ｂは、例えば、［特定範囲画像ＩＤ］、［特定範囲画像］、［第２のテキスト情報］、［座標］、［第２の正確性指標］などの項目を含む。［特定範囲画像ＩＤ］は、特定範囲画像を一意に識別可能な識別情報が格納される。［特定範囲画像］は、特定範囲画像が格納される。［第２のテキスト情報］は、特定範囲画像（図３では行画像）に含まれる文字画像の第２のテキスト情報が格納される。［座標］は、第２のテキスト情報が示す文字のそれぞれの対象画像中の座標または特定範囲画像中の座標が格納される。［第２の正確性指標］は、第２のテキスト情報が示す文字の正確性の度合いを示す第２の正確性指標が格納される。

【0050】

対象画像取得部１０２は、所定の装置から対象画像を取得する。所定の装置は紙への印字を画像として取得可能な例えばスキャナー装置や対象画像を記憶するサーバ装置などである。対象画像取得部１０２は、取得した対象画像を第１の光学式文字認識装置２００に送信してもよい。

【0051】

図１に戻り、第１の情報取得部１０３は、対象画像についての第１の生成情報を第１の光学式文字認識装置２００から取得する。具体的には、電子データ生成装置１００は、例えば、対象画像に含まれる文字画像のそれぞれについての第１のテキスト情報（座標を含む）および第１の正確性指標を第１の光学式文字認識装置２００から取得する。第１の生成情報は対象画像情報Ｄ１０１ａに格納される。

【0052】

第１の判定部１０４は、第１の基準指標が第１の基準よりも低いか否かを判定する。具体的には、第１の判定部１０４は、第１の基準である閾値が「０．６」であり、対象画像の所定の範囲の画像（例えば行画像）が「ＡＢＣ」である場合、第１のテキスト情報である「Ａ」，「Ｂ」，「Ｄ」（文字画像「Ｃ」を「Ｄ」とご認識）のそれぞれの第１の正確性指標が「０．９９」，「０．９９」，「０．５５」であるとすると、当該所定の範囲の画像における第１の基準指標（ここでは「Ｄ」に対応する第１の正確性指標「０．５５」）が第１の基準（ここでは閾値「０．６」）よりも低いと判定する。

【0053】

すなわち、電子データ生成装置１００は、対象画像に含まれる所定の範囲の画像（例えば、ブロック画像、行画像または文字画像）における第１のテキスト情報に対応する第１の正確性指標のうちの少なくとも一つ（または平均値）が閾値よりも低い場合、当該所定の範囲の画像に対して正確に文字認識できていないと判定してもよい。

【0054】

特定範囲特定部１０５は、第１の判定部１０４における判定結果（以下、「第１の判定結果」という。）に基づき、第１の基準よりも低いと判定された第１の基準指標に対応する文字を含む、対象画像の一部の範囲の画像である特定範囲画像を特定する。この場合、特定範囲特定部１０５は、第１の光学式文字認識装置２００から取得される対象画像に含まれる文字画像のそれぞれの座標を特定し、当該座標に基づき、第１の基準指標に対応する文字を含む特定範囲画像（例えば行画像）を特定する。

【0055】

ここで、行画像を特定する処理（以下、「行特定処理」という。）の一例の概要について説明する。行特定処理では、まず、対象画像の左端の黒のドット画像を特定する。次に、行特定処理では、特定したドット画像から水平方向で右に向かって、高さ方向の所定の幅で黒ドットを特定しつつヒストグラム（例えば横軸が対象画像の左端からの距離、縦軸がドット画像の個数）を生成する。次に、水平に対して角度をずらして所定の幅で同様に黒のドット画像を特定しつつヒストグラムを生成する。そして、行特定処理では、ヒストグラムに基づき、行画像の左上のドットの座標と右下のドットの座標を特定することにより、行画像の範囲の座標を特定する。これにより、複数の文字を含む所定のまとまりの画像を適切に特定することが可能となる。

【0056】

なお、ヒストグラムにおいて、黒のドット画像が特定される第１の距離範囲と、黒のドット画像が特定される第２の距離範囲とが所定の距離を超える場合、第１の距離範囲の黒のドット画像が特定される範囲を第１の行画像として特定し、第２の距離範囲の黒のドット画像が特定される範囲を第１の行画像とは異なる第２の行画像として特定する。これにより、例えば同じ行ではあるものの、異なるブロック画像に含まれる行画像を異なる行として特定することが可能となる。

【0057】

情報送信部１０６は、特定された特定範囲画像（例えば行画像）を第２の光学式文字認識装置３００に送信する。

【0058】

第２の情報取得部１０７は、特定範囲画像に含まれる文字についての第２の生成情報を第２の光学式文字認識装置３００から取得する。具体的には、電子データ生成装置１００は、例えば、特定範囲画像である行画像（例えば「ＡＢＣ」）に含まれる文字画像（例えば「Ａ」「Ｂ」「Ｃ」）のそれぞれについての第２のテキスト情報（座標を含む）および第２の正確性指標（例えば「Ａ：０．９９」「Ｂ：０．９８」「Ｃ：０．９９」）を、第２の光学式文字認識装置２００から取得する。

【0059】

第２の判定部１０８は、第２の基準指標と第２の基準との大小関係を判定する。具体的には、第２の判定部１０８は、例えば、特定範囲画像に含まれる文字ついての第２の正確性指標の全てが所定の閾値以上であるか否かを判定する。例えば、第２の判定部１０８は、所定の閾値が「０．６」であり、特定範囲画像（例えば行画像）が「ＡＢＣ」である場合、第２のテキスト情報である「Ａ」，「Ｂ」，「Ｃ」のそれぞれの第２の正確性指標が「０．９９」，「０．９９」，「０．９８」であるとすると、第２の基準指標が第２の基準以上であると判定する。なお、第２の判定部１０８は、特定範囲画像に含まれる文字のそれぞれの第２の正確性指標の平均値が所定の閾値以上であるか否かを判定してもよい。

【0060】

第２の判定部１０８は、特定範囲画像についての第２の正確性指標のうちの一つでも所定の閾値よりも低い場合、第２の基準指標が第２の基準よりも低いと判定してもよい。例えば、第２の判定部１０８は、特定範囲画像（例えば行画像）が「ＡＢＣ」である場合、第２のテキスト情報である「Ａ」，「Ｂ」，「Ｃ」のそれぞれの第２の正確性指標が「０．９９」，「０．９９」，「０．５０」であるとすると、第２の基準指標が第２の基準よりも低いと判定する。

【0061】

このように、電子データ生成装置１００は、例えば、特定範囲画像についての第２の正確性指標の全てが所定の閾値を超える場合に、第２のテキスト情報が第１のテキスト情報よりも対象画像についての文字画像に対して正確に文字を認識できていると判定する。

【0062】

文字特定部１０９は、第２の判定部１０８における判定結果（以下、「第２の判定結果」という。）に基づき、特定範囲画像（すなわち対象画像）に含まれる文字を特定する。具体的には、文字特定部１０９は、第２の基準指標が第２の基準以上である場合、第２の正確性指標に対応する第２のテキスト情報が示す文字を特定範囲画像に含まれる文字として特定する。

【0063】

例えば、文字特定部１０９は、第２のテキスト情報である「Ａ」，「Ｂ」，「Ｃ」のそれぞれの第２の正確性指標（第２の基準指標）が「０．９９」，「０．９９」，「０．９８」である場合、第２の基準指標が第２の基準（例えば閾値「０．６」）以上であるため、第２のテキスト情報が示す「ＡＢＣ」を特定範囲画像の文字列として特定する。

【0064】

これにより、第１の光学式文字認識装置２００による一度目の文字認識において正確性が低い文字を含む所定の範囲の文字列について、第２の光学式文字認識装置３００による二度目の文字認識において文字列を適切に認識することが可能となる。

【0065】

一方、文字特定部１０９は、第２の基準指標が第２の基準よりも低い場合、第１の正確性指標と第２の正確性指標との大小関係を判定した結果に基づき、第１の正確性指標に対応する第１のテキスト情報が示す文字、または第２の正確性指標に対応する第２のテキスト情報が示す文字のいずれかを、特定範囲画像の文字として特定する。

【0066】

具体的には、文字特定部１０９は、第２の光学式文字認識装置３００から取得される特定範囲画像に含まれる文字画像のそれぞれの第２の正確性指標の最低値と、第１の光学式文字認識装置２００から取得される当該特定範囲画像に対応する画像の第１のテキスト情報に対応する第１の正確性指標のうちの最低値と、のうちの高い値を示す最低値を特定する。文字特定部１０９は、特定した最低値を示す正確性指標に対応するテキスト情報（第１のテキスト情報または第２のテキスト情報）が示す文字を特定範囲画像に含まれる文字として特定する。

【0067】

例えば、文字特定部１０９は、行画像「ＡＢＣ」について、第１のテキスト情報である「Ａ」，「Ｆ」，「Ｄ」（ここでは、文字画像「Ｂ」を「Ｆ」とご認識し、「Ｃ」を「Ｄ」とご認識）における第１の正確性指標が「０．９９」，「０．４０」，「０．５５」であり、第２のテキスト情報である「Ａ」，「Ｂ」，「Ｅ」（文字画像「Ｃ」を「Ｅ」とご認識）のそれぞれの第２の正確性指標が「０．９９」，「０．９９」，「０．５０」である場合、第２の正確性指標の最低値「０．５０」が第１の正確性指標の最低値「０．４０」よりも高い値を示すことを特定する。この場合、文字特定部１０９は、第２のテキスト情報が示す「ＡＢＥ」を特定範囲画像の文字列として特定する。

【0068】

これにより、第１の光学式文字認識装置２００による一度目の文字認識において正確性が低い文字を含む所定の範囲の文字列と、第２の光学式文字認識装置３００による二度目の文字認識において文字列とのうち、より正確に認識されたと推定される文字列を採用することが可能となる。

【0069】

なお、上記において、第２の正確性指標の最低値と第１の正確性指標のうちの最低値とのうちの高い値を示す最低値を特定するとして説明したが、これに限定されない。例えば、文字特定部１０９は、最低値に替えて平均値を用いてもよく、この場合、高い平均値を示す正確性指標（第２の基準指標）に対応するテキスト情報が示す文字を特定範囲画像の文字として特定してもよい。例えば、電子データ生成装置１００は、最低値のうちの高い値を示す最低値を特定する処理を実行することによりユーザによる修正の手間を縮減でき、一方、平均値のうちの高い平均値を特定する処理を実行することによりテキストが全体的に程よくまとまっていればよいようなテキストを採用することができるためユーザの修正の手間を縮減できる。

【0070】

以上のように、電子データ生成装置１００は、対象画像の所定の範囲（例えば行単位）の画像に対する第１の光学式文字認識装置２００による文字認識の正確性が低い場合に、第１の光学式文字認識装置２００とは異なる第２の光学式文字認識装置３００によって当該所定の範囲の画像を文字認識した結果を取得する。すなわち、電子データ生成装置１００では、二つの異なる光学式文字認識装置で文字認識することによって、文字認識の正確性が低い画像について正確性の高い文字認識が実現可能となる。

【0071】

さらに述べると、電子データ生成システム１０では、例えば、文字認識を実行するための費用が安く、文字認識の精度が低い第１の光学式文字認識装置２００によって広範囲（例えば一頁単位）の文字認識を実行し、文字認識を実行するための費用が第１の光学式文字認識装置２００よりも高く、文字認識の精度が第１の光学式文字認識装置２００よりも高い（例えば行単位での文字認識の精度が高い）第２の光学式文字認識装置３００によって、より狭い範囲の文字認識を実行することが望ましい。これにより、電子データ生成システム１０では、文字認識の正確性を高めるとともに、文字認識にかかる費用を低減することが可能となる。

【0072】

表示処理部１１０は、対象画像と文字特定部１０９で特定されたテキスト情報（文字認識結果）とを関連づけて画面内に表示させる。以下、図４を参照して、画面例について説明する。図４は、表示部に表示される画面例を示す図である。

【0073】

図４に示すように、画面Ｔ１０は、第１の表示領域Ｔ１１と、第２の表示領域Ｔ１２とを含む。第１の表示領域Ｔ１１は対象画像が表示される領域である。第１の表示領域Ｔ１１は例えば画面の一方側の半分の領域である。第２の表示領域Ｔ１２は対象画像における第１のテキスト情報および特定範囲画像における第２のテキスト情報（図４では行情報）が表示される領域である。第２の表示領域Ｔ１２は例えば画面の他方側の半分の領域である。

【0074】

表示処理部１１０は、例えば、第１の表示領域Ｔ１１に表示される対象画像に含まれる文字のうち、第２の表示領域に表示される行情報が示す文字を識別可能に表示する。具体的には、図４に示すように、表示処理部１１０は、例えば、対象画像の行画像を識別可能なオブジェクトＯＴ１を表示させ、当該行画像と対応する行情報にオブジェクトＯＴ２を表示させる。例えばオブジェクトＯＴ１の表示色はオブジェクトＯＴ２の表示色と同じ色である。これにより、電子データ生成装置１００は、対象画像の所定の範囲を文字認識した結果である第１のテキスト情報および第２のテキスト情報と、対象画像との対応関係を、ユーザに対して提供することができるため、ユーザにおいて対象画像に対する誤認識などを容易に把握可能とさせる。

【0075】

＜＜変形例＞＞
文字特定部１０９は、第２の光学式文字認識装置３００に特定範囲画像を入力した回数である入力回数に基づき、第１のテキスト情報が示す文字または第２のテキスト情報が示す文字のいずれかを、対象画像に含まれる文字として特定してもよい。具体的には、文字特定部１０９は、例えば、第２の光学式文字認識装置３００に特定範囲画像（例えば行画像）を入力した入力回数が予め定められた回数を超えた場合、第１の正確性指標に対応する第１のテキスト情報が示す文字を対象画像に含まれる文字として特定する。これにより、電子データ生成システム１０は、例えば、第１の光学式文字認識装置２００による文字認識の処理にかかる費用よりも、第２の光学式文字認識装置３００による文字認識の処理にかかる費用の方が高いような場合、一定の費用を超えるような場合は、より費用が低い光学式文字認識装置を用いて文字認識を実行することにより、費用縮減を実現できる。

【0076】

この場合、表示処理部１１０は、第２の光学式文字認識装置３００に特定範囲画像を入力した回数である入力回数を画面Ｔ１０の所定の位置に表示させてもよい。具体的には、表示処理部１１０は、第２の表示領域の所定の位置に表示されてもよい。さらに言うと、図４に示すように、表示処理部１１０は、入力回数を超えた時点以降に第２の光学式文字認識装置３００に入力する対象となった行画像（図４では「サーバ」）に対応する第２のテキスト情報に対して、入力回数を関連づけて表示させてもよい（図４の「５回」）。これにより、電子データ生成システム１０は、第２の光学式文字認識装置３００による文字認識が回数制限により実行できなかった特定範囲画像について、ユーザにおいて容易に把握可能とさせる。

【0077】

＝＝＝第１の光学式文字認識装置２００＝＝＝
図１に戻り、第１の光学式文字認識装置２００の構成について説明する。第１の光学式文字認識装置２００は、例えば、対象画像が入力された場合、対象画像に含まれる文字を認識して、例えば認識した文字ごとに、第１のテキスト情報、第１の正確性指標および座標（第１の生成情報）を生成する装置である。

【0078】

図１に示すように、第１の光学式文字認識装置２００は、例えば、記憶部２１０と、送受信部２２０と、処理部２３０とを備える。記憶部２１０は各種情報を記憶する。処理部２３０は文字認識するための処理を実行する。送受信部２２０は、電子データ生成装置１００との間で各種情報を送受信する。処理部２３０は、例えば文字を区別するように学習されたニューラル・ネットワークを使用して画像を分析する。ニューラル・ネットワークは、例えば複数の畳み込みネットワーク層及び再帰型ネットワーク層を備える。処理部２３０は、例えば対象画像についてページ、ブロック、行または文字ごとにセグメント化する。セグメント化した画像に含まれる文字について文字認識を実行することで、例えば文字ごとに第１の生成情報を生成する。処理部２３０は、例えばセグメント化した画像（例えば対象画像、ブロック画像または行画像）を一つのまとまりとしての第１の生成情報を生成してもよい。

【0079】

＝＝＝第２の光学式文字認識装置３００＝＝＝
図１を参照して、第２の光学式文字認識装置３００の構成について説明する。第２の光学式文字認識装置３００は、例えば、特定範囲画像が入力された場合、特定範囲画像に含まれる文字を認識して、例えば認識した文字ごとに、第２のテキスト情報、第２の正確性指標および座標（第２の生成情報）を生成する装置である。

【0080】

第２の光学式文字認識装置３００は、例えば特定範囲画像が行画像である場合に、第１の光学式文字認識装置２００による文字識別の正確性よりも高い正確性を実現可能な装置であることが望ましい。この場合、電子データ生成システム１０では、第１の光学式文字認識装置２００における文字認識の正確性が低い行画像に対して、行画像に対する文字認識の正確性が高い第２の光学式文字認識装置３００を用いることにより、文字認識の正確性の向上を図ることが可能となる。

【0081】

図１に示すように、第２の光学式文字認識装置３００は、例えば、記憶部３１０と、送受信部３２０と、処理部３３０とを備える。記憶部３１０は各種情報を記憶する。処理部３３０は文字認識するための処理を実行する。送受信部３２０は、電子データ生成装置１００との間で各種情報を送受信する。処理部３３０は、例えば文字を区別するように学習されたニューラル・ネットワークを使用して画像を分析する。ニューラル・ネットワークは、例えば複数の畳み込みネットワーク層及び再帰型ネットワーク層を備える。処理部３３０は、第１の光学式文字認識装置２００の処理部２３０と同じであってもよいが、行画像に対する文字認識に特化した処理を実行する機能部であってもよい。この場合、処理部３３０は、例えば行画像について文字ごとにセグメント化する。そして、処理部３３０は、当該文字について文字認識を実行することにより、例えば文字ごとに第２の生成情報を生成する。

【0082】

＝＝＝ユーザ端末４００＝＝＝
図１を参照して、ユーザ端末４００の構成について説明する。図１に示すように、ユーザ端末４００は、例えば、記憶部４１０と、送受信部４２０と、表示処理部４３０との機能部を含む。各機能部は、例えば、プロセッサ１００１がメモリ１００２に格納されているプログラムを読み出して実現される機能である。

【0083】

記憶部４１０は、各種情報を記憶する。送受信部４２０は電子データ生成装置１００との間で各種情報を送受信する。送受信部４２０で取得された各種情報は記憶部４１０に記憶される。表示処理部４３０は電子データ生成装置１００から取得する画面Ｔ１０を表示部に表示させる。

【0084】

＝＝＝処理手順＝＝＝
図５、図６を参照して、電子データ生成システム１０の処理手順について説明する。図５は、電子データ生成システム１０の処理手順を示すフローチャートである。図６は、一行の文字列のテキスト情報である行情報に対する正当性指標を示す表である。以下では、一例として、対象画像に含まれる一行の文字列である「１００ＢＡＳＥ－ＴＸスイッチ一式」に対する文字認識について説明する。

【0085】

ステップＳ１００において、電子データ生成装置１００は、所定の装置から対象画像を取得する。電子データ生成装置１００は、対象画像を記憶部１０１に記憶する。電子データ生成装置１００は、第１の光学式文字認識装置２００に対象画像を送信する。

【0086】

ステップＳ１０１において、第１の光学式文字認識装置２００は、対象画像をセグメント化して、対象画像に含まれる文字ごとの第１のテキスト情報、第１の正確性指標および座標を生成する。第１の光学式文字認識装置２００は、第１の生成情報を電子データ生成装置１００に送信する。

【0087】

ステップＳ１０２において、電子データ生成装置１００は、対象画像に関連づけて、文字ごとに第１の生成情報を対象画像情報Ｄ１０１ａに記憶する。

【0088】

ステップＳ１０３において、電子データ生成装置１００は、対象画像に含まれる文字の第１の基準指標が第１の基準よりも低いか否かを判定する。

【0089】

第１の基準指標が第１の基準以上と判定された場合（ステップＳ１０３：ＮＯ）、ステップＳ１０４において、電子データ生成装置１００は、第１のテキスト情報が示す文字を対象画像に含まれる文字として特定する。

【0090】

第１の基準指標が第１の基準よりも低いと判定された場合（ステップＳ１０３：ＹＥＳ）、ステップＳ１０５において、電子データ生成装置１００は、対象画像情報Ｄ１０１ａを参照して、第１の基準よりも低いと判定された第１の基準指標に対応する第１のテキスト情報を含む行情報を特定する。具体的には、電子データ生成装置１００は、図６（ａ）に示す第１のテキスト情報および第１の正当性指標を特定する。

【0091】

ステップＳ１０６において、電子データ生成装置１００は、特定した行情報に含まれる座標に基づき、行情報に対応する行画像（特定範囲画像）を対象画像から特定する。電子データ生成装置１００は、特定した行画像を第２の光学式文字認識装置３００に送信する。

【0092】

ステップＳ１０７において、第２の光学式文字認識装置３００は、行画像をセグメント化して、行画像に含まれる文字ごとの第２のテキスト情報、第２の正確性指標および座標を生成する。第２の光学式文字認識装置３００は、第２の生成情報を電子データ生成装置１００に送信する。

【0093】

ステップＳ１０８において、電子データ生成装置１００は、特定範囲画像に関連づけて、文字ごとに第２の生成情報を特定範囲画像情報Ｄ１０１ｂに記憶する。

【0094】

ステップＳ１０９において、電子データ生成装置１００は、特定範囲画像における第２の基準指標と第２の基準との大小関係を判定する。具体的には、図６（ｂ）に示す行情報の第２の正当性指標の全て（第２の基準指標）が閾値（第２の基準）を超えるか否かを判定する。

【0095】

第２の基準指標が第２の基準以上と判定された場合（ステップＳ１０９：ＹＥＳ）、ステップＳ１１０において、電子データ生成装置１００は、行情報に含まれる第２のテキスト情報が示す文字を行画像に含まれる文字として特定する。

【0096】

第２の基準指標が第２の基準よりも低いと判定された場合（ステップＳ１０９：ＮＯ）、ステップＳ１１１において、電子データ生成装置１００は、特定範囲画像に対応する行情報についての第１の正確性指標と、第２の正確性指標とを比較する。具体的には、電子データ生成装置１００は、図６（ａ）に示す第１の正確性指標のうちの最も小さい値（図６（ａ）の「０．３２」）と、図６（ｂ）に示す第２の正確性指標のうちの最も小さい値（図６（ｂ）の「０．５７」）とを比較する。

【0097】

ステップＳ１１２において、電子データ生成装置１００は、第１の正確性指標のうちの最も小さい値の方が第２の正確性指標のうちの最も小さい値よりも大きいと判定された場合、第１のテキスト情報を含む行情報（図６（ａ）の行情報）を行画像に含まれる文字として特定する。一方、電子データ生成装置１００は、第２の正確性指標のうちの最も小さい値の方が第１の正確性指標のうちの最も小さい値よりもが大きいと判定された場合、第２のテキスト情報を含む行情報（図６（ｂ）の行情報）を行画像に含まれる文字として特定する。

【0098】

これにより、第１の光学式文字認識装置２００による一度目の文字認識において正確性が低い文字を含む所定の範囲の文字列と、第２の光学式文字認識装置３００による二度目の文字認識において文字列とのうち、より正確に認識されたと推定される文字列を採用することが可能となる。

【0099】

なお、ステップＳ１１２において、電子データ生成装置１００は、第１の正確性指標の平均値（図６（ａ）の「平均値」）と、第２の正確性指標の平均値（図６（ｂ）の「平均値」）とを比較してもよい。この場合、電子データ生成装置１００は、それぞれの平均値のうちの大きい値を示す平均値に対応する行情報（図６（ｂ）の行情報）を行画像に含まれる文字として特定する。

【0100】

ステップＳ１１３において、電子データ生成装置１００は、対象画像と、対象画像を文字認識した結果とを比較可能な図４に示す画面Ｔ１０をユーザ端末４００の表示部に表示させる。

【0101】

なお、電子データ生成システム１０は、ステップＳ１０６において複数の行情報が特定された場合、ステップＳ１０６からステップＳ１１２を、特定された行情報の個数だけ繰り返し実行する。

【0102】

このように、電子データ生成システム１０では、一頁単位の文字認識をより適切に実行可能な第１の光学式文字認識装置２００によって文字認識した結果、文字認識の正確性が低いと判定された行について、行単位の文字認識をより適切に実行可能な第２の光学式文字認識装置３００によって文字認識することが望ましい。そして、電子データ生成システム１０は、第１の光学式文字認識装置２００による文字認識の結果と、第２の光学式文字認識装置３００による文字認識の結果とを比較して、より正確性が高い方の文字認識の結果を採用する。すなわち、電子データ生成装置１００では、二つの異なる光学式文字認識装置で異なる文字認識の範囲に対して文字認識することによって、文字認識の正確性が低い画像について正確性の高い文字認識が実現可能となる。

【0103】

＝＝＝ハードウェア構成＝＝＝
図７を参照して、電子データ生成装置１００、第１の光学式文字認識装置２００、第２の光学式文字認識装置３００およびユーザ端末４００をコンピュータで実現する場合のハードウェア構成の一例を説明する。図７は、コンピュータのハードウェア構成の一例を示す図である。

【0104】

図７に示すように、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、入力Ｉ／Ｆ部１００４と、データＩ／Ｆ部１００５と、通信Ｉ／Ｆ部１００６、及び表示部１００７を含む。

【0105】

プロセッサ１００１は、メモリ１００２に記憶されているプログラムを実行することによりコンピュータ１０００における各種の処理を制御する制御部である。

【0106】

メモリ１００２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ１００２は、プロセッサ１００１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。

【0107】

記憶装置１００３は、例えばハードディスクドライブ（ＨＤＤ）やフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置１００３は、オペレーティングシステムや、上記各構成を実現するための各種プログラムを記憶する。

【0108】

入力Ｉ／Ｆ部１００４は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ部１００４の具体例としては、キーボードやマウス、タッチパネル、各種センサー、ウェアラブル・デバイス等が挙げられる。入力Ｉ／Ｆ部１００４は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインターフェースを介してコンピュータ１０００に接続されても良い。

【0109】

データＩ／Ｆ部１００５は、コンピュータ１０００の外部からデータを入力するためのデバイスである。データＩ／Ｆ部１００５の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ部１００５は、コンピュータ１０００の外部に設けられることも考えられる。その場合、データＩ／Ｆ部１００５は、例えばＵＳＢ等のインターフェースを介してコンピュータ１０００へと接続される。

【0110】

通信Ｉ／Ｆ部１００６は、コンピュータ１０００の外部の装置と有線又は無線により、インターネットＮを介したデータ通信を行うためのデバイスである。通信Ｉ／Ｆ部１００６は、コンピュータ１０００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ部１００６は、例えばＵＳＢ等のインターフェースを介してコンピュータ１０００に接続される。

【0111】

表示部１００７は、各種情報を表示するためのデバイスである。表示部１００７の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ウェアラブル・デバイスのディスプレイ等が挙げられる。表示部１００７は、コンピュータ１０００の外部に設けられても良い。その場合、表示部１００７は、例えばディスプレイケーブル等を介してコンピュータ１０００に接続される。また、入力Ｉ／Ｆ部１００４としてタッチパネルが採用される場合には、表示部１００７は、入力Ｉ／Ｆ部１００４と一体化して構成することが可能である。

【0112】

＝＝＝まとめ＝＝＝
＜１＞本実施形態における電子データ生成システム１０は、所定の装置から、文字を含む対象画像を取得する対象画像取得部１０２と、対象画像に含まれる複数の文字のそれぞれを第１のテキスト情報として認識する第１の光学式文字認識装置２００から、複数の文字のそれぞれについての、第１のテキスト情報と、第１のテキスト情報が示す文字に対する認識の正確性の度合いを示す第１の正確性指標と、を取得する第１の情報取得部１０３と、複数の文字における第１の正確性指標のうちの少なくとも一つに基づく第１の基準指標が、画像に含まれる文字の認識の正確性に関する第１の基準よりも低いと判定された場合、前記第１の基準よりも低いと判定された前記第１の基準指標に対応する文字を含む、対象画像の一部の範囲の画像である特定範囲画像であって、当該特定範囲画像に含まれる少なくとも一つの文字のそれぞれを第２のテキスト情報として認識する、第１の光学式文字認識装置２００とは異なる第２の光学式文字認識装置３００から、特定範囲画像に含まれる文字についての第２のテキスト情報を取得する第２の情報取得部１０７と、第１のテキスト情報と、第２のテキスト情報と、に基づいて、対象画像に含まれる文字を特定する文字特定部１０９と、備える。これにより、電子データ生成システム１０は、文字認識の対象範囲が異なる複数の光学式文字認識装置（例えば第１の光学式文字認識装置２００は一頁単位の文字認識で第２の光学式文字認識装置３００は行単位の文字認識）を用いて、文字認識の正確性が低い画像に対して文字認識することにより、正確性が高い文字認識を実現することができる。

【0113】

＜２＞また、本実施形態における電子データ生成システム１０における第２の情報取得部１０７は、第２の光学式文字認識装置３００から、特定範囲画像に含まれる少なくとも一つの文字のそれぞれについての、第２のテキスト情報と、第２のテキスト情報が示す文字に対する認識の正確性の度合いを示す第２の正確性指標と、を取得し、文字特定部１０９は、前記特定範囲画像に含まれる少なくとも一つの文字のそれぞれにおける前記第２の正確性指標のうちの少なくとも一つに基づく第２の基準指標と、画像に含まれる文字の認識の正確性に関する第２の基準と、の大小関係を判定した結果に基づいて、特定範囲画像に含まれる文字を特定する。これにより、電子データ生成システム１０は、第１の光学式文字認識装置２００による一度目の文字認識において正確性が低い文字を含む所定の範囲の文字列について、第２の光学式文字認識装置３００による二度目の文字認識において文字列を適切に認識することが可能となる。

【0114】

＜３＞また、本実施形態における電子データ生成システム１０の文字特定部１０９は、特定範囲画像に含まれる全ての文字に関する第２の基準指標が第２の基準以上であると判定された場合、第２の正確性指標に対応する第２のテキスト情報が示す文字を、特定範囲画像に含まれる文字として特定する。これにより、電子データ生成システム１０は、第１の光学式文字認識装置２００による一度目の文字認識において正確性が低い文字を含む所定の範囲の文字列について、第２の光学式文字認識装置３００による二度目の文字認識において文字列を適切に認識することができる。

【0115】

＜４＞また、本実施形態における電子データ生成システム１０の文字特定部１０９は、特定範囲画像に含まれる文字のうちの少なくとも一つの文字に対する第２の基準指標が第２の基準よりも低いと判定された場合、対象画像における特定範囲画像に相当する範囲に含まれる少なくとも一つの文字の第１の正確性指標と、特定範囲画像に含まれる少なくとも一つの文字の第２の正確性指標と、の大小関係を判定した結果に基づいて、特定範囲画像に含まれる文字を特定する。これにより、電子データ生成システム１０は、第１の光学式文字認識装置２００による一度目の文字認識において正確性が低い文字を含む所定の範囲の文字列と、第２の光学式文字認識装置３００による二度目の文字認識において文字列とのうち、より正確に認識されたと推定される文字列による、より適切な文字認識を実現することができる。

【0116】

＜５＞また、本実施形態における電子データ生成システム１０の対象画像取得部１０２は、一頁単位の画像である対象画像を取得し、情報送信部１０６は、対象画像に含まれる文章の行単位の画像である特定範囲画像を、第２の光学式文字認識装置３００に送信する。これにより、電子データ生成システム１０では、例えば、第１の光学式文字認識装置２００における文字認識の正確性が低い行画像に対して、行画像に対する文字認識の正確性が高い第２の光学式文字認識装置３００を用いることにより、文字認識の正確性の向上を図ることが可能となる。

【0117】

＜６＞また、本実施形態における電子データ生成システム１０の文字特定部１０９は、第２の光学式文字認識装置３００に特定範囲画像を入力することが、第２の光学式文字認識装置３００に対する特定範囲画像の入力に関する条件を満たす場合、第１の正確性指標に対応する第１のテキスト情報が示す文字を、特定範囲画像に含まれる文字として特定する。これにより、電子データ生成システム１０は、例えば、第１の光学式文字認識装置２００による文字認識の処理にかかる費用よりも、第２の光学式文字認識装置３００による文字認識の処理にかかる費用の方が高いような場合、一定の費用を超えるような場合は、より費用が低い光学式文字認識装置を用いて文字認識を実行することにより、費用縮減を実現できる。

【0118】

＜７＞また、本実施形態における電子データ生成システム１０は、対象画像を画面Ｔ１０の第１の表示領域Ｔ１１に表示させ、特定範囲画像に含まれる文字を示す第２のテキスト情報を画面Ｔ１０における第１の表示領域Ｔ１１とは異なる第２の表示領域Ｔ１２に表示させる表示処理部１１０をさらに備える。これにより、電子データ生成システム１０は、対象画像の所定の範囲を文字認識した結果である第１のテキスト情報および第２のテキスト情報と、対象画像との対応関係を、ユーザに対して提供することができるため、ユーザにおいて対象画像に対する誤認識などを容易に把握可能とさせる。

【0119】

＜８＞また、本実施形態における電子データ生成システム１０における表示処理部１１０は、特定範囲画像に含まれる文字を示す第２のテキスト情報と、特定範囲画像に含まれる文字を除く対象画像に含まれる文字を示す第１のテキスト情報と、を第２の表示領域Ｔ１２に表示し、当該第２のテキスト情報を識別可能に表示する。これにより、電子データ生成システム１０は、第２の光学式文字認識装置３００における第２のテキスト情報を、ユーザが容易に特定可能に表示させることができるため、ユーザにおいて対象画像に対する誤認識の程度などを容易に把握可能とすることができる。

【0120】

＜９＞また、本実施形態における電子データ生成システム１０の表示処理部１１０は、第２の光学式文字認識装置３００に特定範囲画像を入力した回数である入力回数を、画面の所定の表示領域に表示させる。これにより、電子データ生成システム１０は、第２の光学式文字認識装置３００による文字認識の回数について、ユーザにおいて容易に把握可能とすることができる。

【符号の説明】

【0121】

１０…電子データ生成システム、１００…電子データ生成装置、１０１…記憶部、１０２…対象画像取得部、１０３…第１の情報取得部、１０４…第１の判定部、１０５…特定範囲特定部、１０６…情報送信部、１０７…第２の情報取得部、１０８…第２の判定部、１０９…文字特定部、１１０…表示処理部、２００…第１の光学式文字認識装置、３００…第２の光学式文字認識装置、４００…ユーザ端末。

【要約】      （修正有）

【課題】画像から適切に情報を抽出可能なシステムを提供する。
【解決手段】情報処理システムにおいて、電子データ生成装置は、対象画像に含まれる複数の文字のそれぞれを第１のテキスト情報として認識する第１の光学式文字認識装置から、第１のテキスト情報が示す文字に対する認識の正確性の度合いを示す第１の正確性指標が、画像に含まれる文字の認識の正確性に関する第１の基準よりも低いと判定された場合、第１の基準よりも低いと判定された第１の基準指標に対応する文字を含む、対象画像の一部の範囲の画像である特定範囲画像に含まれる少なくとも一つの文字のそれぞれを第２のテキスト情報として認識する第１の光学式文字認識装置とは異なる第２の光学式文字認識装置から、第２のテキスト情報を取得する第２の情報取得部と、第１のテキスト情報と、第２のテキスト情報と、に基づいて、対象画像に含まれる文字を特定する文字特定部と、を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】