ホーム > 特許ランキング > ローレルバンクマシン株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ ローレルバンクマシン株式会社の特許一覧 ▶ ローレル機械株式会社の特許一覧 ▶ ローレル精機株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023045981
(43)【公開日】2023-04-03
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06V 30/12 20220101AFI20230327BHJP
【ＦＩ】
G06K9/03 C
G06K9/03 J
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2021154632
(22)【出願日】2021-09-22
(71)【出願人】
【識別番号】000116079
【氏名又は名称】ローレルバンクマシン株式会社
(71)【出願人】
【識別番号】500267170
【氏名又は名称】ローレル機械株式会社
(71)【出願人】
【識別番号】500265501
【氏名又は名称】ローレル精機株式会社
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】小澤 茂樹
【テーマコード（参考）】
5B064
【Ｆターム（参考）】
5B064AA01
5B064AB03
5B064BA01
5B064DA10
5B064DA27
5B064DA32
5B064EA08
5B064EA11
5B064EA12
5B064EA16
5B064EA27
5B064EA31
5B064EA39
5B064FA03
5B064FA04
5B064FA05
5B064FA09
5B064FA13
(57)【要約】
【課題】文字認識処理における文字の認識の精度を高める。
【解決手段】文字認識装置１０は、画像に含まれる文字を認識し、認識した文字の確度を算出する複数の文字認識処理の各々により、申込書画像ＧＭに含まれる一の文字を認識する記載内容認識部１２４と、複数の文字認識処理の各々による一の文字の認識結果として得られる複数の候補文字の１つを、一の文字の認識結果に対応する確定文字に決定する認識結果決定部１２６と、を備え、申込書画像ＧＭは、１つ以上の項目を含む書類の画像であり、文字の認識に使用する文字認識処理の優先度が項目毎に決められており、認識結果決定部１２６は、複数の候補文字の各々の確度と、複数の文字認識処理の各々の優先度とに基づいて、複数の候補文字の１つを、確定文字に決定する。
【選択図】図４
【解決手段】文字認識装置１０は、画像に含まれる文字を認識し、認識した文字の確度を算出する複数の文字認識処理の各々により、申込書画像ＧＭに含まれる一の文字を認識する記載内容認識部１２４と、複数の文字認識処理の各々による一の文字の認識結果として得られる複数の候補文字の１つを、一の文字の認識結果に対応する確定文字に決定する認識結果決定部１２６と、を備え、申込書画像ＧＭは、１つ以上の項目を含む書類の画像であり、文字の認識に使用する文字認識処理の優先度が項目毎に決められており、認識結果決定部１２６は、複数の候補文字の各々の確度と、複数の文字認識処理の各々の優先度とに基づいて、複数の候補文字の１つを、確定文字に決定する。
【選択図】図４
【特許請求の範囲】
【請求項1】
画像に含まれる文字を認識し、認識した文字の確度を算出する複数の文字認識処理の各々により、１つ以上の項目を含む書類の画像である文字画像に含まれる一の文字を認識する認識部と、
前記複数の文字認識処理の各々による前記一の文字の認識結果として得られる複数の候補文字の１つを、前記一の文字の認識結果に対応する確定文字に決定する決定部と、
を備え、
文字の認識に使用する文字認識処理の優先度が項目毎に決められており、
前記決定部は、
前記複数の候補文字の各々の確度と、前記複数の文字認識処理の各々の前記優先度とに基づいて、前記複数の候補文字の１つを、前記確定文字に決定する、
ことを特徴とする情報処理装置。
前記複数の文字認識処理の各々による前記一の文字の認識結果として得られる複数の候補文字の１つを、前記一の文字の認識結果に対応する確定文字に決定する決定部と、
を備え、
文字の認識に使用する文字認識処理の優先度が項目毎に決められており、
前記決定部は、
前記複数の候補文字の各々の確度と、前記複数の文字認識処理の各々の前記優先度とに基づいて、前記複数の候補文字の１つを、前記確定文字に決定する、
ことを特徴とする情報処理装置。
【請求項2】
前記複数の文字認識処理の各々には、前記優先度に基づく重み値が決められており、
前記決定部は、
前記複数の候補文字の各々の確度を前記複数の文字認識処理の各々の前記重み値で重み付けすることにより、前記複数の候補文字の各々の評価値を算出し、
前記複数の候補文字のうち、前記評価値が最も高い候補文字を、前記確定文字に決定する、
請求項１に記載の情報処理装置。
前記決定部は、
前記複数の候補文字の各々の確度を前記複数の文字認識処理の各々の前記重み値で重み付けすることにより、前記複数の候補文字の各々の評価値を算出し、
前記複数の候補文字のうち、前記評価値が最も高い候補文字を、前記確定文字に決定する、
請求項１に記載の情報処理装置。
【請求項3】
前記決定部は、
前記複数の文字認識処理のうち前記優先度が最も高い文字認識処理による前記一の文字の認識結果として得られる第１候補文字の確度が所定値以上の場合、前記複数の候補文字のうち、前記第１候補文字を前記確定文字に決定する、
請求項１に記載の情報処理装置。
前記複数の文字認識処理のうち前記優先度が最も高い文字認識処理による前記一の文字の認識結果として得られる第１候補文字の確度が所定値以上の場合、前記複数の候補文字のうち、前記第１候補文字を前記確定文字に決定する、
請求項１に記載の情報処理装置。
【請求項4】
前記決定部により決定された前記確定文字を表示部に表示させる表示制御部をさらに備え、
前記表示制御部は、
前記複数の文字認識処理のうち前記優先度が最も高い文字認識処理で前記確定文字が認識されていない場合の前記確定文字の表示態様を、前記複数の文字認識処理のうちの前記優先度が最も高い文字認識処理で前記確定文字が認識された場合の前記確定文字の表示態様とは異ならせる、
請求項１から３のいずれか１項に記載の情報処理装置。
前記表示制御部は、
前記複数の文字認識処理のうち前記優先度が最も高い文字認識処理で前記確定文字が認識されていない場合の前記確定文字の表示態様を、前記複数の文字認識処理のうちの前記優先度が最も高い文字認識処理で前記確定文字が認識された場合の前記確定文字の表示態様とは異ならせる、
請求項１から３のいずれか１項に記載の情報処理装置。
【請求項5】
画像に含まれる文字を認識し、認識した文字の確度を算出する第１文字認識処理、及び、画像に含まれる文字を認識し、認識した文字の確度を算出する第２文字認識処理の各々により、文字画像に含まれる一の文字を認識する認識部と、
前記第１文字認識処理による前記一の文字の認識結果として得られる１つ以上の第１候補文字と、前記第２文字認識処理による前記一の文字の認識結果として得られる１つ以上の第２候補文字との両方に含まれる共通文字が存在する場合、前記共通文字を前記一の文字の認識結果に対応する確定文字とするか否かを決定する決定部と、
を備えている、
ことを特徴とする情報処理装置。
前記第１文字認識処理による前記一の文字の認識結果として得られる１つ以上の第１候補文字と、前記第２文字認識処理による前記一の文字の認識結果として得られる１つ以上の第２候補文字との両方に含まれる共通文字が存在する場合、前記共通文字を前記一の文字の認識結果に対応する確定文字とするか否かを決定する決定部と、
を備えている、
ことを特徴とする情報処理装置。
【請求項6】
前記決定部は、
前記共通文字が、第１条件及び第２条件の両方の条件を満たす場合、前記共通文字を前記確定文字の候補である確定候補文字に決定し、
前記第１条件は、
前記１つ以上の第１候補文字に含まれる前記共通文字の確度である第１確度、及び、前記１つ以上の第２候補文字に含まれる前記共通文字の確度である第２確度のうちの高い方の確度に関する条件であり、
前記第２条件は、
前記第１確度と前記第２確度との差異の程度に関する条件である、
請求項５に記載の情報処理装置。
前記共通文字が、第１条件及び第２条件の両方の条件を満たす場合、前記共通文字を前記確定文字の候補である確定候補文字に決定し、
前記第１条件は、
前記１つ以上の第１候補文字に含まれる前記共通文字の確度である第１確度、及び、前記１つ以上の第２候補文字に含まれる前記共通文字の確度である第２確度のうちの高い方の確度に関する条件であり、
前記第２条件は、
前記第１確度と前記第２確度との差異の程度に関する条件である、
請求項５に記載の情報処理装置。
【請求項7】
前記第１条件は、
前記高い方の確度が所定の確度以上であるという条件であり、
前記第２条件は、
前記第１確度と前記第２確度との差分が所定値以下であるという条件である、
請求項６に記載の情報処理装置。
前記高い方の確度が所定の確度以上であるという条件であり、
前記第２条件は、
前記第１確度と前記第２確度との差分が所定値以下であるという条件である、
請求項６に記載の情報処理装置。
【請求項8】
前記決定部は、
前記確定候補文字が複数存在する場合、
前記複数の確定候補文字の中で確度が最も高い確定候補文字を、前記確定文字に決定する、
請求項７に記載の情報処理装置。
前記確定候補文字が複数存在する場合、
前記複数の確定候補文字の中で確度が最も高い確定候補文字を、前記確定文字に決定する、
請求項７に記載の情報処理装置。
【請求項9】
前記決定部は、
前記確定候補文字が複数存在する場合、
前記複数の確定候補文字の中で、前記第１確度と前記第２確度との平均値が最も高い確定候補文字を、前記確定文字に決定する、
請求項７に記載の情報処理装置。
前記確定候補文字が複数存在する場合、
前記複数の確定候補文字の中で、前記第１確度と前記第２確度との平均値が最も高い確定候補文字を、前記確定文字に決定する、
請求項７に記載の情報処理装置。
【請求項10】
前記決定部は、
前記共通文字が複数存在する場合、
前記複数の共通文字の中で、前記１つ以上の第１候補文字に含まれる前記共通文字の確度である第１確度と、前記１つ以上の第２候補文字に含まれる前記共通文字の確度である第２確度との平均値が最も高い共通文字を、前記確定文字に決定する、
請求項５に記載の情報処理装置。
前記共通文字が複数存在する場合、
前記複数の共通文字の中で、前記１つ以上の第１候補文字に含まれる前記共通文字の確度である第１確度と、前記１つ以上の第２候補文字に含まれる前記共通文字の確度である第２確度との平均値が最も高い共通文字を、前記確定文字に決定する、
請求項５に記載の情報処理装置。
【請求項11】
画像に含まれる文字列を構成する複数の文字を認識する第１文字認識処理、及び、前記画像に含まれる前記複数の文字のうち一の文字を認識する第２文字認識処理を実行する認識部と、
前記第１文字認識処理による前記一の文字の認識結果として得られる第１候補文字と、前記第２文字認識処理による前記一の文字の認識結果として得られる第２候補文字とが、互いに同じ文字である場合、前記同じ文字を、前記一の文字の認識結果に対応する確定文字に決定する決定部と、
を備えている、
ことを特徴とする情報処理装置。
前記第１文字認識処理による前記一の文字の認識結果として得られる第１候補文字と、前記第２文字認識処理による前記一の文字の認識結果として得られる第２候補文字とが、互いに同じ文字である場合、前記同じ文字を、前記一の文字の認識結果に対応する確定文字に決定する決定部と、
を備えている、
ことを特徴とする情報処理装置。
【請求項12】
プロセッサを、
画像に含まれる文字を認識し、認識した文字の確度を算出する複数の文字認識処理の各々により、１つ以上の項目を含む書類の画像である文字画像に含まれる一の文字を認識する認識部と、
前記複数の文字認識処理の各々による前記一の文字の認識結果として得られる複数の候補文字の１つを、前記一の文字の認識結果に対応する確定文字に決定する決定部と、
として機能させ、
文字の認識に使用する文字認識処理の優先度が項目毎に決められており、
前記決定部は、
前記複数の候補文字の各々の確度と、前記複数の文字認識処理の各々の前記優先度とに基づいて、前記複数の候補文字の１つを、前記確定文字に決定する、
プログラム。
画像に含まれる文字を認識し、認識した文字の確度を算出する複数の文字認識処理の各々により、１つ以上の項目を含む書類の画像である文字画像に含まれる一の文字を認識する認識部と、
前記複数の文字認識処理の各々による前記一の文字の認識結果として得られる複数の候補文字の１つを、前記一の文字の認識結果に対応する確定文字に決定する決定部と、
として機能させ、
文字の認識に使用する文字認識処理の優先度が項目毎に決められており、
前記決定部は、
前記複数の候補文字の各々の確度と、前記複数の文字認識処理の各々の前記優先度とに基づいて、前記複数の候補文字の１つを、前記確定文字に決定する、
プログラム。
【請求項13】
プロセッサを、
画像に含まれる文字を認識し、認識した文字の確度を算出する第１文字認識処理、及び、画像に含まれる文字を認識し、認識した文字の確度を算出する第２文字認識処理の各々により、文字画像に含まれる一の文字を認識する認識部と、
前記第１文字認識処理による前記一の文字の認識結果として得られる１つ以上の第１候補文字と、前記第２文字認識処理による前記一の文字の認識結果として得られる１つ以上の第２候補文字との両方に含まれる共通文字が存在する場合、前記共通文字を前記一の文字の認識結果に対応する確定文字とするか否かを決定する決定部と、
として機能させる、
プログラム。
画像に含まれる文字を認識し、認識した文字の確度を算出する第１文字認識処理、及び、画像に含まれる文字を認識し、認識した文字の確度を算出する第２文字認識処理の各々により、文字画像に含まれる一の文字を認識する認識部と、
前記第１文字認識処理による前記一の文字の認識結果として得られる１つ以上の第１候補文字と、前記第２文字認識処理による前記一の文字の認識結果として得られる１つ以上の第２候補文字との両方に含まれる共通文字が存在する場合、前記共通文字を前記一の文字の認識結果に対応する確定文字とするか否かを決定する決定部と、
として機能させる、
プログラム。
【請求項14】
プロセッサを、
画像に含まれる文字列を構成する複数の文字を認識する第１文字認識処理、及び、前記画像に含まれる前記複数の文字のうち一の文字を認識する第２文字認識処理を実行する認識部と、
前記第１文字認識処理による前記一の文字の認識結果として得られる第１候補文字と、前記第２文字認識処理による前記一の文字の認識結果として得られる第２候補文字とが、互いに同じ文字である場合、前記同じ文字を、前記一の文字の認識結果に対応する確定文字に決定する決定部と、
として機能させる、
プログラム。
画像に含まれる文字列を構成する複数の文字を認識する第１文字認識処理、及び、前記画像に含まれる前記複数の文字のうち一の文字を認識する第２文字認識処理を実行する認識部と、
前記第１文字認識処理による前記一の文字の認識結果として得られる第１候補文字と、前記第２文字認識処理による前記一の文字の認識結果として得られる第２候補文字とが、互いに同じ文字である場合、前記同じ文字を、前記一の文字の認識結果に対応する確定文字に決定する決定部と、
として機能させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
文字認識装置等の情報処理装置では、一般的に、光学文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）技術が採用されている（例えば、特許文献１参照）。ＯＣＲ技術は、帳票等の媒体に記載された文字をカメラ及びイメージスキャナ等の光学的な手段により画像として取込み、取り込んだ画像内の文字をコンピュータ等が利用可能な文字情報（例えば、文字コード）に変換する技術である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１０－０７３２０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、この種のＯＣＲ技術の文字認識精度は１００％にはならない。このため、文字認識処理における文字の認識の精度を高めることが可能な情報処理装置が求められている。
【課題を解決するための手段】
【0005】
本発明の好適な態様に係る情報処理装置は、画像に含まれる文字を認識し、認識した文字の確度を算出する複数の文字認識処理の各々により、１つ以上の項目を含む書類の画像である文字画像に含まれる一の文字を認識する認識部と、前記複数の文字認識処理の各々による前記一の文字の認識結果として得られる複数の候補文字の１つを、前記一の文字の認識結果に対応する確定文字に決定する決定部と、を備え、文字の認識に使用する文字認識処理の優先度が項目毎に決められており、前記決定部は、前記複数の候補文字の各々の確度と、前記複数の文字認識処理の各々の前記優先度とに基づいて、前記複数の候補文字の１つを、前記確定文字に決定する。
【0006】
また、本発明の好適な他の態様に係る情報処理装置は、画像に含まれる文字を認識し、認識した文字の確度を算出する第１文字認識処理、及び、画像に含まれる文字を認識し、認識した文字の確度を算出する第２文字認識処理の各々により、文字画像に含まれる一の文字を認識する認識部と、前記第１文字認識処理による前記一の文字の認識結果として得られる１つ以上の第１候補文字と、前記第２文字認識処理による前記一の文字の認識結果として得られる１つ以上の第２候補文字との両方に含まれる共通文字が存在する場合、前記共通文字を前記一の文字の認識結果に対応する確定文字とするか否かを決定する決定部と、を備えている。
【0007】
また、本発明の好適な他の態様に係る情報処理装置は、画像に含まれる文字列を構成する複数の文字を認識する第１文字認識処理、及び、前記画像に含まれる前記複数の文字のうち一の文字を認識する第２文字認識処理を実行する認識部と、前記第１文字認識処理による前記一の文字の認識結果として得られる第１候補文字と、前記第２文字認識処理による前記一の文字の認識結果として得られる第２候補文字とが、互いに同じ文字である場合、前記同じ文字を、前記一の文字の認識結果に対応する確定文字に決定する決定部と、を備えている。
【0008】
本発明の好適な態様に係るプログラムは、プロセッサを、画像に含まれる文字を認識し、認識した文字の確度を算出する複数の文字認識処理の各々により、１つ以上の項目を含む書類の画像である文字画像に含まれる一の文字を認識する認識部と、前記複数の文字認識処理の各々による前記一の文字の認識結果として得られる複数の候補文字の１つを、前記一の文字の認識結果に対応する確定文字に決定する決定部と、として機能させ、文字の認識に使用する文字認識処理の優先度が項目毎に決められており、前記決定部は、前記複数の候補文字の各々の確度と、前記複数の文字認識処理の各々の前記優先度とに基づいて、前記複数の候補文字の１つを、前記確定文字に決定する。
【0009】
また、本発明の好適な他の態様に係るプログラムは、プロセッサを、画像に含まれる文字を認識し、認識した文字の確度を算出する第１文字認識処理、及び、画像に含まれる文字を認識し、認識した文字の確度を算出する第２文字認識処理の各々により、文字画像に含まれる一の文字を認識する認識部と、前記第１文字認識処理による前記一の文字の認識結果として得られる１つ以上の第１候補文字と、前記第２文字認識処理による前記一の文字の認識結果として得られる１つ以上の第２候補文字との両方に含まれる共通文字が存在する場合、前記共通文字を前記一の文字の認識結果に対応する確定文字とするか否かを決定する決定部と、として機能させる。
【0010】
また、本発明の好適な他の態様に係るプログラムは、プロセッサを、画像に含まれる文字列を構成する複数の文字を認識する第１文字認識処理、及び、前記画像に含まれる前記複数の文字のうち一の文字を認識する第２文字認識処理を実行する認識部と、前記第１文字認識処理による前記一の文字の認識結果として得られる第１候補文字と、前記第２文字認識処理による前記一の文字の認識結果として得られる第２候補文字とが、互いに同じ文字である場合、前記同じ文字を、前記一の文字の認識結果に対応する確定文字に決定する決定部と、として機能させる。
【発明の効果】
【0011】
本発明によれば、文字認識処理における文字の認識の精度を高めることが可能となる。
【図面の簡単な説明】
【0012】
【図1】第１実施形態に係る文字認識システムの概要を説明するための説明図である。
【図2】申込書画像の一例を示す説明図である。
【図6】確定文字決定処理の一例を説明するための説明図である。
【図7】内容確認画面の概要の一例を示す説明図である。
【図11】第２実施形態に係る文字認識装置の概要を説明するための説明図である。
【図14】第３実施形態に係る文字認識装置の概要を説明するための説明図である。
【図16】第１変形例に係る重みテーブルの一例を説明するための説明図である。
【図17】第１変形例に係る確定文字決定処理の一例を説明するための説明図である。
【図18】第２変形例に係る文字認識システムの一例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明を実施するための形態について図面を参照して説明する。なお、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【0014】
［１．第１実施形態］
先ず、図１を参照しながら、第１実施形態に係る文字認識システム１の概要の一例について説明する。
先ず、図１を参照しながら、第１実施形態に係る文字認識システム１の概要の一例について説明する。
【0015】
図１は、第１実施形態に係る文字認識システム１の概要を説明するための説明図である。
【0016】
図１に示す文字認識システム１は、文字認識装置１０、端末装置２０及び画像入力装置３０を有する。文字認識装置１０は、「情報処理装置」の一例である。文字認識装置１０及び端末装置２０は、例えば、ネットワークＮＷを介して、互いに通信可能に接続されている。ネットワークＮＷは、インターネット及びローカルエリアネットワークを含み得る。例えば、ネットワークＮＷは、有線ネットワーク及び無線ネットワークの一方又は両方を含む。また、ネットワークＮＷと文字認識装置１０との接続等は、例えば、複数の要素間を互いに通信可能にする接続であればよく、有線及び無線の一方を用いた接続であってもよいし、有線及び無線の両方を用いた接続であってもよい。
【0017】
文字認識装置１０としては、ネットワークＮＷに接続可能な任意の情報処理装置を採用することができる。文字認識装置１０は、例えば、光学文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）技術を用いて、画像に含まれる文字を認識する文字認識処理を実行する。文字認識処理の対象となる画像の一例は、後述する図２において説明される。また、文字認識装置１０の構成は、後述する図３及び図４において説明される。本実施形態では、所定のサービスに入会するための入会申込書に記載されている文字を文字認識装置１０が認識する場合を想定する。例えば、本実施形態では、文字認識装置１０は、光学文字認識技術を用いて、入会申込書に記載された情報を電子データに変換する。
【0018】
端末装置２０としては、ネットワークＮＷに接続可能な任意の情報処理装置を採用することができる。具体的には、端末装置２０は、例えば、パーソナルコンピュータ等の据置型の情報機器であってもよいし、ノート型のパーソナルコンピュータ、タブレット端末及びスマートフォン等の可搬型の情報端末であってもよい。図１に示す端末装置２０は、端末装置２０のオペレータの操作を受け付ける操作装置２７と、画像等を表示する表示装置２８とを有する。例えば、端末装置２０は、文字認識処理の結果等を表示装置２８に表示させる。文字認識処理の結果は、例えば、文字認識装置１０からネットワークＮＷを介して端末装置２０に送信される。なお、表示装置２８は、「表示部」の一例である。
【0019】
また、端末装置２０は、画像入力装置３０と通信可能に接続される。端末装置２０と画像入力装置３０との接続は、有線及び無線の一方を用いた接続であってもよいし、有線及び無線の両方を用いた接続であってもよい。端末装置２０は、例えば、文字認識処理の対象となる画像を示す画像情報を画像入力装置３０から取得し、画像入力装置３０から取得した画像情報を、ネットワークＮＷを介して文字認識装置１０に送信する。
【0020】
なお、端末装置２０は、表示装置２８を含まなくてもよい。端末装置２０は、表示装置２８を含まない場合、表示装置２８と通信可能に接続される。この場合、端末装置２０と表示装置２８との接続は、有線及び無線の一方を用いた接続であってもよいし、有線及び無線の両方を用いた接続であってもよい。
【0021】
画像入力装置３０は、例えば、カメラ及びイメージスキャナ等の光学的な装置である。例えば、画像入力装置３０は、入会申込書等の書類を撮像することにより、書類の画像を示す画像情報を生成する。画像入力装置３０により生成された画像情報は、端末装置２０に送信される。なお、画像入力装置３０は、端末装置２０に含まれてもよい。
【0022】
図２は、申込書画像ＧＭの一例を示す説明図である。
【0023】
申込書画像ＧＭは、例えば、複数の項目を含む入会申込書の画像である。複数の項目を含む入会申込書は、「１つ以上の項目を含む書類」の一例である。すなわち、申込書画像ＧＭは、「文字画像」の一例である。
【0024】
例えば、申込書画像ＧＭは、文字認識処理の対象となる画像である。従って、申込書画像ＧＭは、複数の項目に対応する複数の記載欄を含む。図２に示す例では、申込書に記載される複数の項目は、申込番号、カナ氏名、氏名、郵便番号、住所、電子メール（Ｅ－ｍａｉｌ）、及び、電話番号である。
【0025】
複数の記載欄の各々は、当該記載欄に記載すべき申込内容の項目の名称である項目名称が記載された項目名称記載領域ＡＭと、当該記載欄に係る申込内容が記載された申込内容記載領域ＡＫと、を含む。以下では、申込書画像ＧＭのうち、複数の申込内容記載領域ＡＫの各々に記載された申込内容に係る文字列を示す画像は、文字列画像ＧＣＬとも称される。また、図２では、複数の文字列画像ＧＣＬを互いに区別するために、複数の文字列画像ＧＣＬの各々の符号の末尾には、数字（１、２、３、４、５、６又は７）が付されている。
【0026】
例えば、文字列画像ＧＣＬ１は、「申込番号」に係る申込内容記載領域ＡＫに記載された申込内容に係る文字列を示す。また、文字列画像ＧＣＬ２は、「カナ氏名」に係る申込内容記載領域ＡＫに記載された申込内容に係る文字列を示し、文字列画像ＧＣＬ３は、「氏名」に係る申込内容記載領域ＡＫに記載された申込内容に係る文字列を示す。また、文字列画像ＧＣＬ４は、「郵便番号」に係る申込内容記載領域ＡＫに記載された申込内容に係る文字列を示し、文字列画像ＧＣＬ５は、「住所」に係る申込内容記載領域ＡＫに記載された申込内容に係る文字列を示す。また、文字列画像ＧＣＬ６は、「電子メール」に係る申込内容記載領域ＡＫに記載された申込内容に係る文字列を示し、文字列画像ＧＣＬ７は、「電話番号」に係る申込内容記載領域ＡＫに記載された申込内容に係る文字列を示す。
【0027】
また、以下では、複数の文字列画像ＧＣＬの各々により示される文字列に含まれる複数の文字の各々を示す画像は、個別文字画像ＧＣとも称される。すなわち、複数の文字列画像ＧＣＬの各々は、複数の個別文字画像ＧＣを含む画像である。例えば、文字列画像ＧＣＬ５は、「海」の個別文字画像ＧＣ１及び「大」の個別文字画像ＧＣ２等を含む。
【0028】
なお、以下では、文字認識装置１０が、図２に例示するフォーマットを有する申込書画像ＧＭを、文字認識処理の対象とする場合を想定するが、本発明はこのような態様に限定されるものではない。本実施形態において、文字認識装置１０は、任意のフォーマットを有する書類又はフォーマットが決められていない文章（例えば、白紙のメモ等）を、文字認識処理の対象とすることができる。また、以下では、申込内容記載領域ＡＫに記載された申込内容が、手書きされた文字である手書文字により記載される場合を想定するが、本発明はこのような態様に限定されるものではない。例えば、本実施形態において、１つ以上の文字列画像ＧＣＬにより示される複数の文字のうち、一部又は全部が、活字により記載されていてもよい。
【0029】
次に、図３を参照しながら、文字認識装置１０のハードウェア構成について説明する。
【0030】
【0031】
文字認識装置１０は、文字認識装置１０の各部を制御する処理装置１２と、各種情報を記憶する記憶装置１４と、通信装置１６とを有する。
【0032】
記憶装置１４は、例えば、処理装置１２の作業領域として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリと、制御プログラムＰＧ１等の各種情報を記憶するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリとの、一方又は両方を含む。なお、記憶装置１４は、文字認識装置１０に着脱可能であってもよい。具体的には、記憶装置１４は、文字認識装置１０に着脱されるメモリカード等の記憶媒体であってもよい。また、記憶装置１４は、例えば、文字認識装置１０とネットワークＮＷ等を介して通信可能に接続された記憶装置（例えば、オンラインストレージ）であってもよい。
【0033】
図３に示す記憶装置１４は、制御プログラムＰＧ１、優先テーブルＰＴＢＬ及び複数の学習モデルＬＭを記憶している。図３では、複数の学習モデルＬＭを互いに区別するために、複数の学習モデルＬＭの各々の符号の末尾には、数字（例えば、１）又は小文字のアルファベット（例えば、ｍ）が付されている。例えば、ｍは、２以上の自然数を示す。
【0034】
制御プログラムＰＧ１は、「プログラム」の一例である。本実施形態では、制御プログラムＰＧ１は、例えば、文字認識装置１０が文字認識処理を実行するためのアプリケーションプログラムを含む。但し、制御プログラムＰＧ１は、例えば、処理装置１２が文字認識装置１０の各部を制御するためのオペレーティングシステムプログラムを含んでもよい。
【0035】
優先テーブルＰＴＢＬには、例えば、後述する図４に示す複数の文字認識部ＣＲに対応付けられた複数の優先度を示す情報が記憶されている。優先度は、文字の認識に使用する文字認識部ＣＲの優先度であり、項目毎に決められている。なお、優先テーブルＰＴＢＬの詳細は、後述する図５において説明される。
【0036】
複数の学習モデルＬＭの各々は、例えば、多層ニューラルネットワークであり、１又は複数の種類の文字について、当該種類の文字を含む画像と、当該画像に含まれる文字との関係を学習した学習モデルである。なお、本実施形態では、説明の便宜上、画像の示す文字の種類が、漢字、ひらがな、カタカナ、アラビア数字（以下、単に「数字」とも称する）、アルファベット、及び、記号の、６種類である場合を想定する。ここで、記号とは、例えば、ドット、カンマ、句点、読点、ハイフン、及び、演算記号を含む概念である。
【0037】
処理装置１２は、文字認識装置１０の全体を制御するプロセッサであり、例えば、１又は複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成される。処理装置１２は、例えば、記憶装置１４に記憶された制御プログラムＰＧ１を実行し、制御プログラムＰＧ１に従って動作することで、後述する図４に示す制御部１２０として機能する。なお、制御プログラムＰＧ１は、ネットワークＮＷを介して他の装置から送信されてもよい。
【0038】
また、例えば、処理装置１２が複数のＣＰＵを含んで構成される場合、処理装置１２の機能の一部又は全部は、これら複数のＣＰＵが制御プログラムＰＧ１等のプログラムに従って協働して動作することで実現されてもよい。また、処理装置１２は、１又は複数のＣＰＵに加え、又は、１又は複数のＣＰＵのうち一部又は全部に代えて、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、又は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを含んで構成されるものであってもよい。この場合、処理装置１２の機能の一部又は全部は、ＤＳＰ等のハードウェアにより実現されてもよい。
【0039】
通信装置１６は、有線ネットワーク及び無線ネットワークの一方又は両方を介して、文字認識装置１０の外部に存在する外部装置との通信を行うためのハードウェアである。
【0040】
次に、図４を参照しながら、文字認識装置１０の機能について説明する。
【0041】
【0042】
制御部１２０は、図３において説明されたように、処理装置１２により実現される。なお、処理装置１２が複数のＣＰＵを含んで構成される場合、制御部１２０の一部又は全部の機能は、これら複数のＣＰＵが制御プログラムＰＧ１に従って協働して動作することで実現されてもよい。また、処理装置１２がＤＳＰ等のハードウェアを含んで構成される場合、制御部１２０の一部又は全部は、ＤＳＰ等のハードウェアにより実現されてもよい。
【0043】
制御部１２０は、例えば、画像情報取得部１２２、記載内容認識部１２４、認識結果決定部１２６及び表示情報生成部１２８を有する。記載内容認識部１２４は、「認識部」の一例であり、認識結果決定部１２６は、「決定部」の一例である。また、表示情報生成部１２８は、「表示制御部」の一例である。
【0044】
画像情報取得部１２２は、例えば、文字認識処理の対象となる申込書画像ＧＭを示す画像情報（画像入力装置３０により生成された画像情報）を、通信装置１６を介して端末装置２０から取得する。
【0045】
記載内容認識部１２４は、複数の文字認識部ＣＲを有する。本実施形態では、複数の文字認識部ＣＲが複数の学習モデルＬＭと１対１に対応している場合を想定する。図４では、複数の文字認識部ＣＲを互いに区別するために、複数の文字認識部ＣＲの各々の符号の末尾には、数字（例えば、１）又は小文字のアルファベット（例えば、ｍ）が付されている。例えば、ｍは、２以上の自然数を示す。
【0046】
複数の文字認識部ＣＲの各々は、例えば、画像に含まれる文字を認識し、かつ、認識した文字の確からしさを示す確度を算出する処理を、文字認識処理として実行する。記載内容認識部１２４は、例えば、画像情報取得部１２２が取得した画像情報により示される申込書画像ＧＭに対する文字認識処理を、複数の文字認識部ＣＲのうちの２つ以上の文字認識部ＣＲに実行させる。例えば、記載内容認識部１２４は、優先テーブルＰＴＢＬに記憶された優先度等の情報に基づいて、複数の文字認識部ＣＲの中から２つ以上の文字認識部ＣＲを選択する。そして、記載内容認識部１２４は、複数の文字認識部ＣＲの中から選択した２つ以上の文字認識部ＣＲの各々に申込書画像ＧＭに対する文字認識処理を実行させることにより、申込書画像ＧＭに含まれる文字を認識する。以下では、文字認識部ＣＲが認識した文字の確からしさを示す確度は、単に、文字の確度とも称される。
【0047】
複数の文字認識部ＣＲ（ＣＲ１～ＣＲｍ）の各々は、複数の学習モデルＬＭ（ＬＭ１～ＬＭｍ）のうちの対応する学習モデルＬＭを用いて、個別文字画像ＧＣにより示される文字を認識する。すなわち、本実施形態では、複数の文字認識部ＣＲの各々は、記憶装置１４に記憶された複数の学習モデルＬＭのうちの対応する学習モデルＬＭを用いることで、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）－ＯＣＲによる文字認識処理を実行する。
【0048】
なお、本実施形態では、複数の文字認識部ＣＲが、互いに異なるアルゴリズムを用いて、文字認識処理を実行する場合を想定する。例えば、文字認識部ＣＲ１が文字認識処理において用いるアルゴリズムと、文字認識部ＣＲｍが文字認識処理において用いるアルゴリズムとは異なる。ここで、「アルゴリズムが異なる」とは、例えば、文字認識処理に用いられる学習モデルＬＭの種類が異なることであってもよいし、文字認識処理に用いられる学習モデルＬＭを学習させる場合に用いるデータセットが異なることであってもよい。あるいは、「アルゴリズムが異なる」とは、例えば、文字認識処理に用いられる学習モデルＬＭの種類が異なること、及び、文字認識処理に用いられる学習モデルＬＭを学習させる場合に用いるデータセットが異なることの両方の概念を含むものであってもよい。なお、学習モデルＬＭの種類は、例えば、ニューラルネットワークの種類である。
【0049】
また、「データセットが異なる」とは、例えば、２つのデータセットの一方に用いられた画像に含まれる文字に、２つのデータセットの他方に用いられた画像に含まれる文字とは異なる種類の文字が含まれることである。なお、２つのデータセットが互いに異なる場合、２つのデータセットの一方に用いられた画像には、２つのデータセットの他方に用いられた画像に含まれる文字と異なる種類の文字及び同じ種類の文字の両方が含まれてもよい。
【0050】
また、２つの学習モデルＬＭにそれぞれ用いられる２つのデータセットが互いに異なる場合、２つの学習モデルＬＭをそれぞれ構成する２つのニューラルネットワークは、互いに異なる種類であってもよいし、同一の種類であってもよい。すなわち、２つの学習モデルＬＭにそれぞれ用いられる２つのデータセットが互いに異なることは、２つのニューラルネットワークの種類が互いに異なるか否かに拘わらず、「アルゴリズムが異なる」ことに該当する。また、例えば、２つの学習モデルＬＭをそれぞれ構成する２つのニューラルネットワークの種類が互いに異なることは、２つの学習モデルＬＭにそれぞれ用いられる２つのデータセットが互いに異なるか否かに拘わらず、「アルゴリズムが異なる」ことに該当する。
【0051】
なお、本実施形態では、複数の文字認識部ＣＲが複数の学習モデルＬＭと１対１に対応している場合を想定するが、本発明はこのような態様に限定されるものではない。例えば、複数の文字認識部ＣＲのうちの、一部又は全部は、ニューラルネットワークを用いずに文字認識処理を行う構成要素であってもよい。なお、複数の文字認識部ＣＲの全部がニューラルネットワークを用いずに文字認識処理を行う構成要素である場合、記憶装置１４は、学習モデルＬＭを記憶しなくてもよい。
【0052】
また、複数の文字認識部ＣＲには、画像に含まれる文字列を構成する複数の文字を認識する文字認識部ＣＲが含まれてもよい。この種の文字認識部ＣＲは、例えば、複数の文字列が登録された所定の辞書を用いて、画像に含まれる文字列を構成する複数の文字を認識してもよい。あるいは、文字認識部ＣＲは、文字列の認識を学習した学習モデルＬＭを用いることにより、画像に含まれる文字列を構成する複数の文字を認識してもよい。文字列の認識を学習した学習モデルＬＭは、例えば、１つ以上の文字と１つ以上の文字の後に続く一の文字との関係、及び、一の文字と一の文字の後に続く１つ以上の文字との関係の一方又は両方を学習した学習モデルＬＭであってもよい。
【0053】
認識結果決定部１２６は、記載内容認識部１２４による一の文字に対する文字認識処理の結果を示す認識情報を取得する。例えば、認識情報は、複数の文字認識部ＣＲのうちの２つ以上の文字認識部ＣＲの各々により実行された文字認識処理による一の文字の認識結果を示す。２つ以上の文字認識部ＣＲの各々により実行された文字認識処理による一の文字の認識結果は、例えば、一の文字の認識結果の候補となる複数の候補文字、及び、複数の候補文字の確度を含む。
【0054】
例えば、認識結果決定部１２６は、一の文字に対する文字認識処理を実行した２つ以上の文字認識部ＣＲの各々の認識結果として得られる複数の候補文字のうちのいずれか１つを、一の文字の認識結果に対応する確定文字に決定する。具体的には、認識結果決定部１２６は、複数の候補文字の各々の確度と、複数の文字認識部ＣＲの各々の優先度とに基づいて、複数の候補文字のうちのいずれか１つを、確定文字に決定する。
【0055】
例えば、複数の文字認識部ＣＲの各々に、優先度に基づく重み値が決められている場合、認識結果決定部１２６は、複数の候補文字の各々の確度を複数の文字認識部ＣＲの各々の重み値で重み付けすることにより、複数の候補文字の各々の評価値を算出する。重み値は、例えば、０以上の実数である。認識結果決定部１２６は、複数の候補文字のうち、評価値が最も高い候補文字を、一の文字の認識結果に対応する確定文字に決定する。なお、評価値が互いに同じ複数の候補文字が存在する場合、認識結果決定部１２６は、当該複数の候補文字のうち、確度が最も高い候補文字を確定文字に決定してもよいし、優先度（又は重み値）が最も高い候補文字を確定文字に決定してもよい。あるいは、認識結果決定部１２６は、過去に確定文字として決定した候補文字の修正の有無を文字認識部ＣＲ毎に蓄積し、評価値が互いに同じ複数の候補文字のうち、正解率が最も高い候補文字を確定文字に決定してもよい。
【0056】
表示情報生成部１２８は、認識結果決定部１２６により決定された確定文字を表示装置２８に表示させる。例えば、表示情報生成部１２８は、認識結果決定部１２６により決定された確定文字を確認するための画像（例えば、後述する図７に示す内容確認画面ＣＣＨ）を表示装置２８に表示させるための表示情報を生成する。そして、表示情報生成部１２８は、生成した表示情報を、通信装置１６を介して端末装置２０に出力する。
【0057】
【0058】
次に、図５を参照しながら、優先テーブルＰＴＢＬについて説明する。
【0059】
図５は、図３に示した優先テーブルＰＴＢＬの一例を示す説明図である。優先テーブルＰＴＢＬは、例えば、記載内容認識部１２４が複数の文字認識部ＣＲから２つ以上の文字認識部ＣＲを選択する場合に記載内容認識部１２４により参照され、認識結果決定部１２６が評価値を算出する場合に認識結果決定部１２６により参照される。
【0060】
優先テーブルＰＴＢＬは、例えば、申込書画像ＧＭ（文字認識処理の対象となる画像）が有する複数の記載欄と１対１に対応する複数のレコードを有する。優先テーブルＰＴＢＬの各レコードは、項目ＩＤ、項目名称及び優先度を有する。
【0061】
項目ＩＤは、申込書画像ＧＭが有する複数の記載欄の中から、各記載欄を識別するための情報である。項目名称は、申込書画像ＧＭが有する各記載欄の項目名称記載領域ＡＭに記載された名称である。
【0062】
優先度は、例えば、項目ＩＤにより示される記載欄に記載された文字の認識に使用する文字認識部ＣＲの優先度である。なお、図５に示すハイフン（“－”）は、優先度が文字認識部ＣＲに対応付けられていないことを意味する。例えば、各記載欄（各項目）において、優先度が対応付けられていない文字認識部ＣＲは、当該記載欄に記載された文字の認識に使用されない。また、本実施形態では、優先度の数字が小さい場合、優先度の数字が大きい場合に比べて、優先度が高い。各項目において、優先度が高い文字認識部ＣＲは、優先度が低い文字認識部ＣＲに比べて、当該項目の記載欄に記載された文字の認識に適している。
【0063】
例えば、優先度は、項目毎に、複数の文字認識部ＣＲの各々の学習度に応じて決定される。「学習度」は、例えば、学習に用いられるデータセットに含まれるサンプル（画像）の数、学習の回数、及び、正解率のうちの一部又は全部を含む概念であってもよい。図５に示す優先テーブルＰＴＢＬでは、記載内容認識部１２４が６つの文字認識部ＣＲ１、ＣＲ２、ＣＲ３、ＣＲ４、ＣＲ５及びＣＲ６を有する場合を想定している。
【0064】
例えば、文字認識部ＣＲ１及びＣＲ２は、アルファベット、数字及び記号の認識に特化した英数字用の文字認識部ＣＲである。なお、文字認識部ＣＲ１及びＣＲ２の一方又は両方は、アルファベット、数字及び記号の認識精度が他の文字種（例えば、漢字等）に比べて高い文字認識部ＣＲであってもよい。また、例えば、文字認識部ＣＲ３及びＣＲ４は、漢字及びひらがなの認識に特化した漢字用の文字認識部ＣＲである。なお、文字認識部ＣＲ３及びＣＲ４の一方又は両方は、漢字及びひらがなの認識精度が他の文字種（例えば、数字等）に比べて高い文字認識部ＣＲであってもよい。また、例えば、文字認識部ＣＲ５及びＣＲ６は、カタカナの認識に特化したカナ用の文字認識部ＣＲである。なお、文字認識部ＣＲ５及びＣＲ６の一方又は両方は、カタカナの認識精度が他の文字種（例えば、数字等）に比べて高い文字認識部ＣＲであってもよい。
【0065】
また、例えば、複数の項目のうちの一の項目において、２つの文字認識部ＣＲのうち、一の項目に関する文字列についての学習度が高い文字認識部ＣＲの優先度は、他の文字認識部ＣＲの優先度より高くなるように、設定される。図５に示す例では、漢字用の文字認識部ＣＲ３及びＣＲ４のうち、文字認識部ＣＲ４が、文字認識部ＣＲ３より、「住所」に関する文字列についての学習度が高い場合を想定する。このため、「住所」に係る項目では、文字認識部ＣＲ４の優先度は、文字認識部ＣＲ３の優先度より高い。従って、「住所」に係る項目では、例えば、文字認識部ＣＲ４の優先度は、「１」に設定され、文字認識部ＣＲ３の優先度は、「２」に設定される。
【0066】
図５に示されるように、本実施形態では、文字の認識に使用する文字認識部ＣＲの優先度が項目毎に決められている。例えば、記載内容認識部１２４は、複数の項目のうちの一の項目の申込内容記載領域ＡＫに記載された文字列を認識する場合、優先テーブルＰＴＢＬが有する複数のレコードのうち、一の項目に対応するレコードを参照する。そして、記載内容認識部１２４は、複数の文字認識部ＣＲのうち、一の項目に対応するレコードにおいて優先度が対応付けられている文字認識部ＣＲを、一の項目の申込内容記載領域ＡＫに記載された文字列を認識する文字認識部ＣＲとして選択する。
【0067】
具体的には、記載内容認識部１２４は、例えば、「郵便番号」に係る申込内容記載領域ＡＫに記載された文字列を認識する場合、項目ＩＤが「ｋ００４」のレコードを参照し、英数字用の文字認識部ＣＲ１及びＣＲ２を選択する。また、例えば、記載内容認識部１２４は、「住所」に係る申込内容記載領域ＡＫに記載された文字列を認識する場合、項目ＩＤが「ｋ００５」のレコードを参照する。そして、記載内容認識部１２４は、漢字用の文字認識部ＣＲ３及びＣＲ４と、英数字用の文字認識部ＣＲ２と、カナ用の文字認識部ＣＲ５とを選択する。
【0068】
また、認識結果決定部１２６は、一の項目の申込内容記載領域ＡＫに記載された文字列に含まれる一の文字について、認識結果に対応する確定文字を決定する場合、優先テーブルＰＴＢＬが有する複数のレコードのうち、一の項目に対応するレコードを参照する。そして、認識結果決定部１２６は、一の文字を認識した２つ以上の文字認識部ＣＲの認識結果として得られる複数の候補文字のうちのいずれか１つを、複数の候補文字の各々の確度と一の項目に対応するレコードに記憶された複数の優先度の各々とに基づいて、確定文字に決定する。確定文字を決定する処理の詳細は、後述する図６において説明される。以下では、確定文字を決定する処理は、確定文字決定処理とも称される。
【0069】
なお、優先テーブルＰＴＢＬは、図５に示した例に限定されない。例えば、複数の項目のうちの一部の項目では、優先度が対応付けられた文字認識部ＣＲが１つのみであってもよい。また、例えば、優先テーブルＰＴＢＬには、優先度に加え、又は、優先度に代えて、重み値が記憶されてもよい。優先度に基づく重み値は、項目毎に決められてもよい。例えば、優先度が「１」の文字認識部ＣＲの重み値は、「住所」の項目と「郵便番号」の項目とで互いに異なる値でもよいし、互いに同じ値でもよい。また、優先度に代えて重み値が優先テーブルＰＴＢＬに記憶される場合、重み値は、「優先度」に該当する。本実施形態では、重み値が大きい場合、重み値が小さい場合に比べて、優先度が高い。
【0070】
また、優先度は、学習度以外の指標を用いて決定されてもよい。学習度以外の指標は、例えば、過去に確定文字として決定された候補文字に対するオペレータによる修正の有無の実績（例えば、正解率又は修正率）であってもよい。例えば、優先度は、項目毎に、複数の文字認識部ＣＲの各々の正解率又は修正率に応じて決定されてもよい。この場合、例えば、一の項目において、正解率が高い文字認識部ＣＲ（又は、修正率が低い文字認識部ＣＲ）の優先度は、正解率が低い文字認識部ＣＲ（又は、修正率が高い文字認識部ＣＲ）の優先度より高く設定される。なお、各項目における各文字認識部ＣＲの修正率は、例えば、当該項目において、過去に確定文字として決定された候補文字の延べ数に対する、過去に確定文字として決定された候補文字に対するオペレータによる修正の延べ回数の比率で表される。また、各項目における各文字認識部ＣＲの正解率は、例えば、当該項目における各文字認識部ＣＲの修正率を１から減算した値で表される。なお、複数の文字認識部ＣＲの各々の正解率又は修正率は、文字種毎に算出されてもよい。
【0071】
次に、図６を参照しながら、確定文字決定処理の概要について説明する。
【0072】
図６は、確定文字決定処理の一例を説明するための説明図である。図６では、「住所」に係る申込内容記載領域ＡＫに記載された文字列を示す文字列画像ＧＣＬ５に対して文字認識処理が実行された場合を例にして、「大」の個別文字画像ＧＣ２の認識結果に対応する確定文字の決定方法の一例が説明される。
【0073】
なお、図６では、記載内容認識部１２４及び認識結果決定部１２６が図５に示した優先テーブルＰＴＢＬを参照する場合を想定する。従って、「住所」の項目では、図５に示されるように、文字認識部ＣＲ４は、複数の文字認識部ＣＲ２～ＣＲ５のうち優先度が最も高い文字認識部ＣＲである。図６では、複数の文字認識部ＣＲの各々には、優先度に基づく重み値が決められている場合を想定する。例えば、優先度が「１」の文字認識部ＣＲ４の重み値は、１．２０に設定され、優先度が「２」の文字認識部ＣＲ３の重み値は、１．０５に設定され、優先度が「３」の文字認識部ＣＲ２及びＣＲ４の各々の重み値は、１．００に設定されている。また、評価値は、例えば、候補文字の確度と重み値との積で表される。
【0074】
図６に示す例では、認識結果決定部１２６は、文字認識部ＣＲ２～ＣＲ５の各々による「大」の個別文字画像ＧＣ２に対する文字認識処理の結果として、複数の候補文字と複数の候補文字の各々の確度とを示す認識情報を取得する。
【0075】
例えば、文字認識部ＣＲ３から得られる候補文字は、確度が９０％の「丈」の文字であり、文字認識部ＣＲ４から得られる候補文字は、確度が８５％の「大」の文字である。なお、文字認識部ＣＲ４から得られる候補文字（「大」）の確度（８５％）は、文字認識部ＣＲ３から得られる候補文字（「丈」）の確度（９０％）より低い。また、例えば、文字認識部ＣＲ２から得られる候補文字は、確度が３０％の「Ｋ」の文字であり、文字認識部ＣＲ５から得られる候補文字は、確度が６０％の「ス」の文字である。文字認識部ＣＲ２及びＣＲ５の各々から得られる候補文字の確度は、文字認識部ＣＲ３から得られる候補文字の確度より低い。
【0076】
認識結果決定部１２６は、複数の候補文字の各々の確度を複数の文字認識部ＣＲの各々の重み値で重み付けすることにより、評価値を算出する。具体的には、認識結果決定部１２６は、文字認識部ＣＲ３から得られる候補文字の確度（９０％）を文字認識部ＣＲ３の重み値（１．０５）で重み付けすることにより、文字認識部ＣＲ３から得られる候補文字の評価値を算出する。同様に、認識結果決定部１２６は、文字認識部ＣＲ４から得られる候補文字の確度（８５％）を文字認識部ＣＲ４の重み値（１．２０）で重み付けすることにより、文字認識部ＣＲ４から得られる候補文字の評価値を算出する。
【0077】
そして、認識結果決定部１２６は、複数の候補文字のうち、評価値が最も高い候補文字を、「大」の個別文字画像ＧＣ２の認識結果に対応する確定文字に決定する。例えば、文字認識部ＣＲ３から得られる候補文字（「丈」）の評価値は、９５（＝９０×１．０５）であり、文字認識部ＣＲ４から得られる候補文字（「大」）の評価値は、１０２（＝８５×１．２０）である。また、文字認識部ＣＲ２から得られる候補文字（「Ｋ」）の評価値は、３０（＝３０×１．００）であり、文字認識部ＣＲ５から得られる候補文字（「ス」）の評価値は、６０（＝６０×１．００）である。従って、図６に示す例では、複数の候補文字（「丈」、「大」、「Ｋ」及び「ス」）のうち、評価値が最も高い候補文字は、図６の星印で示されるように、評価値が１０２の「大」の文字である。このため、認識結果決定部１２６は、複数の候補文字のうち、評価値が最も高い「大」の文字を、「大」の個別文字画像ＧＣ２の認識結果に対応する確定文字に決定する。
【0078】
このように、図６に示す例では、複数の文字認識部ＣＲ２～ＣＲ５のうち優先度が最も高い文字認識部ＣＲ４から得られる候補文字（「大」）が、「大」の個別文字画像ＧＣ２の認識結果に対応する確定文字に決定される。複数の文字認識部ＣＲ２～ＣＲ５のうち優先度が最も高い文字認識部ＣＲ４は、他の文字認識部ＣＲ２、ＣＲ３及びＣＲ５に比べて、「住所」に関する文字列の認識に適している。例えば、文字認識部ＣＲ４は、複数の文字認識部ＣＲ２～ＣＲ５のうち、「住所」に関する文字列についての学習度が最も高い文字認識部ＣＲである。このため、例えば、文字認識部ＣＲ４から得られる候補文字（「大」）が誤っている確率は、他の文字認識部ＣＲ（例えば、文字認識部ＣＲ３）から得られる候補文字が誤っている確率に比べて、低いと考えられる。
【0079】
ここで、図６に示す例では、複数の候補文字のうち、確度が最も高い候補文字は、図６の二重丸で示されるように、確度が９０％の「丈」の文字である。例えば、評価値を用いずに確定文字が決定される形態（以下、第１対比例とも称する）では、複数の候補文字のうち、確度が最も高い「丈」の文字が、「大」の個別文字画像ＧＣ２の認識結果に対応する確定文字に決定される。すなわち、第１対比例では、例えば、「住所」に関する文字列についての学習度が文字認識部ＣＲ４より低い文字認識部ＣＲ３から得られる候補文字（「丈」）が、「大」の個別文字画像ＧＣ２の認識結果に対応する確定文字に決定される。このため、第１対比例では、本実施形態に比べて、誤った文字が確定文字に決定される確率が高くなる。換言すれば、本実施形態では、第１対比例に比べて、誤った文字が確定文字に決定されることを抑制することができる。すなわち、本実施形態では、文字認識処理における文字の認識の精度を高めることができる。
【0080】
なお、確定文字決定処理は、図６に示した例に限定されない。例えば、評価値は、候補文字の確度と重み値との和であってもよい。この場合、各文字認識部ＣＲの重み値は、図６において想定した重み値と異なる値に設定されてもよい。
【0081】
また、例えば、複数の文字認識部ＣＲ２～ＣＲ５のうち優先度が最も高い文字認識部ＣＲ４による一の文字の認識結果として得られる候補文字を確定文字とするか否かは、後述する図１０等に示されるように、重み値を用いずに決定されてもよい。以下では、一の文字に対する文字認識処理を実行した複数の文字認識部ＣＲのうち、優先度が最も高い文字認識部ＣＲは、第１優先度の文字認識部ＣＲとも称される。また、以下では、第１優先度の文字認識部ＣＲによる一の文字の認識結果として得られる候補文字は、第１優先度の候補文字とも称される。第１優先度の候補文字は、「第１候補文字」の一例である。
【0082】
以下では、第１優先度の候補文字を確定文字とするか否かが重み値を用いずに決定される方法の概要を、図６に示した認識結果を例にして説明する。例えば、認識結果決定部１２６は、第１優先度の候補文字の確度が所定値以上か否かによって、第１優先度の文字認識部ＣＲ４を他の文字認識部ＣＲより優先するか否かを決定してもよい。
【0083】
例えば、所定値が８０％の場合、第１優先度の文字認識部ＣＲ４による一の文字の認識結果として得られる第１優先度の候補文字の確度（８５％）は、所定値以上である。この場合、認識結果決定部１２６は、第１優先度の候補文字（「大」）を確定文字に決定してもよい。すなわち、認識結果決定部１２６は、複数の文字認識部ＣＲのうち優先度が最も高い文字認識部ＣＲによる一の文字の認識結果として得られる第１優先度の候補文字の確度が所定値以上の場合、複数の候補文字のうち、第１優先度の候補文字を確定文字に決定してもよい。
【0084】
第１優先度の文字認識部ＣＲ４は、例えば、複数の文字認識部ＣＲ２～ＣＲ５のうち、「住所」に関する文字列についての学習度が最も高い文字認識部ＣＲである。このため、第１優先度の候補文字の確度が所定値以上である場合、第１優先度の候補文字が誤っている確率は、他の文字認識部ＣＲによる一の文字の認識結果として得られる候補文字が誤っている確率に比べて、低いと考えられる。従って、認識結果決定部１２６は、第１優先度の候補文字の確度が所定値以上の場合に第１優先度の候補文字を確定文字に決定することにより、誤った文字が確定文字に決定されることを抑制できる。
【0085】
また、認識結果決定部１２６は、第１優先度の文字認識部ＣＲによる一の文字の認識結果として得られる第１優先度の候補文字の確度が所定値未満の場合、複数の候補文字のうち、確度が最も高い候補文字を、確定文字に決定してもよい。この場合、確度が所定値未満の候補文字が確定文字に決定されることが、抑制される。
【0086】
ここで、例えば、第１優先度の候補文字が確定文字として無条件に選択される形態（以下、第２対比例とも称する）では、第１優先度の候補文字の確度が所定値未満の場合でも、第１優先度の候補文字が確定文字に決定される。すなわち、第２対比例では、第１優先度の候補文字の確度が所定値未満の場合、確度が所定値以上の候補文字が存在しているか否かに拘わらず、第１優先度の候補文字が確定文字に決定される。一の文字の認識結果の確度が所定値未満の場合、一の文字の認識結果の確度が所定値以上の場合に比べて、一の文字が誤って認識されている確率が高い。従って、第２対比例では、第１優先度の候補文字の確度が所定値未満の場合に複数の候補文字のうちの確度が最も高い候補文字が確定文字に決定される形態に比べて、誤った文字が確定文字に決定される確率が高くなる。
【0087】
すなわち、第１優先度の候補文字の確度が所定値以上か否かによって、第１優先度の文字認識部ＣＲを他の文字認識部ＣＲより優先するか否かが決定される形態においても、誤った文字が確定文字に決定されることを抑制することができる。従って、本実施形態では、第１優先度の候補文字を確定文字とするか否かが重み値を用いずに決定される場合でも、文字認識処理における文字の認識の精度を高めることができる。
【0088】
なお、認識結果決定部１２６は、第１優先度の文字認識部ＣＲによる一の文字の認識結果として得られる第１優先度の候補文字の確度が所定値未満の場合、確定文字の決定を保留してもよい。この場合、例えば、後述する図７に示す内容確認画面ＣＣＨには、確定文字が表示されなくてもよいし、確定文字の決定が保留されたことを示す情報（例えば、「？」マーク等）が表示されてもよい。認識結果決定部１２６による確定文字の決定が保留された場合、例えば、ユーザに確定文字を入力又は選択させることにより、確定文字が決定されてもよい。
【0089】
次に、図７を参照しながら、認識結果決定部１２６により決定された確定文字を確認するための内容確認画面ＣＣＨの概要について説明する。
【0090】
図７は、内容確認画面ＣＣＨの概要の一例を示す説明図である。
【0091】
内容確認画面ＣＣＨは、例えば、表示装置２８に表示される。例えば、内容確認画面ＣＣＨには、複数の項目名称、複数の項目名称に１対１に対応する複数の文字列画像ＧＣＬ、複数の文字列画像ＧＣＬに１対１に対応する複数の認識文字列ＬＭＫ、修正ボタンＳＳＢ、及び、確定ボタンＫＴＢが表示される。なお、複数の項目名称は、申込書画像ＧＭにおける複数の記載欄と１対１に対応する。図７では、複数の認識文字列ＬＭＫを互いに区別するために、複数の認識文字列ＬＭＫの各々の符号の末尾には、複数の文字列画像ＧＣＬのうちの対応する文字列画像ＧＣＬの符号の末尾に付された数字（１、２、３、４、５、６又は７）と同じ数字が付されている。
【0092】
認識文字列ＬＭＫは、文字認識装置１０において、申込書画像ＧＭに含まれる文字列画像ＧＣＬに対して実行された文字認識処理の結果に基づいて得られた文字列である。従って、認識文字列ＬＭＫに含まれる複数の文字の各々は、文字認識装置１０の認識結果決定部１２６により決定された確定文字である。
【0093】
また、内容確認画面ＣＣＨには、注意マークＭＫが表示される場合がある。ここで、注意マークＭＫは、個別文字画像ＧＣにより示される文字と確定文字とが異なる文字である可能性があると文字認識装置１０が判断した場合に、内容確認画面ＣＣＨに表示される画像である。図７では、文字列画像ＧＣＬ５に含まれる個別文字画像ＧＣ１の認識結果に対応する確定文字（「海」）が第１優先度の文字認識部ＣＲ４で認識されず、文字認識部ＣＲ３で認識された場合を想定する。このため、図７では、個別文字画像ＧＣ１により示される文字（「海」）と、個別文字画像ＧＣ１の認識結果に対応する確定文字（「海」）とが、異なる文字である可能性があると文字認識装置１０が判断した場合を想定する。この場合、例えば、個別文字画像ＧＣ１の認識結果に対応する確定文字の表示位置に対応する位置に、注意マークＭＫが表示される。
【0094】
なお、図７では、文字認識部ＣＲ３により正しく認識された候補文字（「海」）を認識結果決定部１２６が確定文字に決定した場合を想定している。すなわち、個別文字画像ＧＣ１により示される文字（「海」）と、個別文字画像ＧＣ１の認識結果に対応する確定文字（「海」）とが、異なる文字である可能性があると文字認識装置１０が判断したが、最終的には、正しい候補文字（「海」）が確定文字に決定されている。
【0095】
また、図６に示した例では、文字列画像ＧＣＬ５に含まれる個別文字画像ＧＣ２の認識結果に対応する確定文字（「大」）が第１優先度の文字認識部ＣＲ４で認識されている。この場合、文字列画像ＧＣＬ５に含まれる個別文字画像ＧＣ２により示される文字（「大」）と、個別文字画像ＧＣ２の認識結果に対応する確定文字（「大」）とが異なる文字である可能性があることを示す注意マークＭＫは、内容確認画面ＣＣＨに表示されない。すなわち、第１優先度の文字認識部ＣＲで確定文字が認識されていない場合の確定文字の表示態様は、第１優先度の文字認識部ＣＲで確定文字が認識された場合の確定文字の表示態様とは異なる。
【0096】
端末装置２０を操作するオペレータは、注意マークＭＫを視認することにより、個別文字画像ＧＣにより示される文字と確定文字とが異なる文字である可能性があることを認識できる。この結果、本実施形態では、注意マークＭＫが表示されない態様に比べて、確定文字が誤っていることを見落とす可能性を低減することができる。
【0097】
また、修正ボタンＳＳＢは、確定文字を修正可能な状態とするためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）である。例えば、端末装置２０を操作するオペレータは、内容確認画面ＣＣＨにおいて、個別文字画像ＧＣと、当該個別文字画像ＧＣに対応する確定文字とを比較する。そして、端末装置２０を操作するオペレータは、確定文字が、個別文字画像ＧＣにより示される文字とは異なる文字であると判断した場合に、修正ボタンＳＳＢを選択（例えば、押下）する。
【0098】
また、確定ボタンＫＴＢは、内容確認画面ＣＣＨに表示された複数の認識文字列ＬＭＫを確定するためのＧＵＩである。例えば、確定ボタンＫＴＢが選択された場合、各認識文字列ＬＭＫに含まれる各確定文字が確定し、内容確認画面ＣＣＨの状態が、端末装置２０を操作するオペレータが各確定文字を変更できない状態になる。これにより、文字認識システム１は、申込書画像ＧＭに含まれる文字の認識結果を、内容確認画面ＣＣＨに表示される複数の確定文字であるとして確定する。
【0099】
なお、内容確認画面ＣＣＨの例は、図７に示した例に限定されない。例えば、内容確認画面ＣＣＨに表示された注意マークＭＫにポインタを重ねた場合に、１つ以上の修正候補の文字を含むポップアップ画像が表示されてもよい。１つ以上の修正候補の文字は、例えば、複数の候補文字のうち、評価値が高い順に選択された所定数の候補文字であってもよい。あるいは、第１優先度の文字認識部ＣＲによる一の文字の認識結果として２つ以上の候補文字が存在する場合、修正候補の文字は、第１優先度の文字認識部ＣＲから得られる２つ以上の候補文字であってもよい。
【0100】
次に、図８を参照しながら、文字認識装置１０の動作の概要について説明する。
【0101】
図８は、図１に示した文字認識装置１０の動作の一例を示すフローチャートである。図８に示す動作は、画像情報取得部１２２、記載内容認識部１２４、認識結果決定部１２６及び表示情報生成部１２８を含む制御部１２０として機能する処理装置１２により、実行される。例えば、ステップＳ１００では、処理装置１２は画像情報取得部１２２として機能し、ステップＳ２００、Ｓ２２０、Ｓ２４０、Ｓ２６０及びＳ４００では、処理装置１２は記載内容認識部１２４として機能する。また、ステップＳ３００では、処理装置１２は認識結果決定部１２６として機能し、ステップＳ５００では、処理装置１２は表示情報生成部１２８として機能する。
【0102】
先ず、ステップＳ１００において、画像情報取得部１２２は、申込書画像ＧＭを示す画像情報を端末装置２０から取得する。
【0103】
次に、ステップＳ２００において、記載内容認識部１２４は、ステップＳ１００において取得された画像情報により示される申込書画像ＧＭに含まれる複数の申込内容記載領域ＡＫの各々を特定する。
【0104】
次に、ステップＳ２２０において、記載内容認識部１２４は、ステップＳ２００において特定された複数の申込内容記載領域ＡＫの中から１つの申込内容記載領域ＡＫを選択する。例えば、記載内容認識部１２４は、複数の申込内容記載領域ＡＫのうち、文字認識処理が実行されていない１つの申込内容記載領域ＡＫを選択する。
【0105】
次に、ステップＳ２４０において、記載内容認識部１２４は、ステップＳ２２０において選択された申込内容記載領域ＡＫに表された文字列画像ＧＣＬに対する文字認識処理を実行する２つ以上の文字認識部ＣＲを選択する。例えば、記載内容認識部１２４は、優先テーブルＰＴＢＬの複数のレコードのうち、ステップＳ２２０において選択された申込内容記載領域ＡＫに対応する項目のレコードを参照し、参照したレコードに記憶された優先度に基づいて文字認識部ＣＲを選択する。なお、ステップＳ２４０以降の説明では、特に断りがない場合、「文字列画像ＧＣＬ」は、ステップＳ２２０において選択された申込内容記載領域ＡＫに表された文字列画像ＧＣＬを意味するものとする。
【0106】
次に、ステップＳ２６０において、記載内容認識部１２４は、文字列画像ＧＣＬに対する文字認識処理を、ステップＳ２４０において選択された２つ以上の文字認識部ＣＲに実行させる。すなわち、ステップＳ２４０において選択された２つ以上の文字認識部ＣＲの各々は、文字列画像ＧＣＬに対して、文字認識処理を実行する。
【0107】
次に、ステップＳ３００において、認識結果決定部１２６は、文字列画像ＧＣＬに含まれる複数の個別文字画像ＧＣの各々の認識結果に対応する確定文字を決定する確定文字決定処理を、ステップＳ２６０における文字認識処理の結果に基づいて実行する。例えば、認識結果決定部１２６は、図６において説明されたように、複数の候補文字の各々の確度と、複数の文字認識部ＣＲの各々の優先度とに基づいて複数の個別文字画像ＧＣの各々の認識結果に対応する確定文字を決定する。
【0108】
次に、ステップＳ４００において、記載内容認識部１２４は、ステップＳ２００において特定された複数の申込内容記載領域ＡＫの全てについて、ステップＳ２６０の文字認識処理が実行されたか否かを判定する。ステップＳ４００における判定の結果が肯定の場合、処理装置１２は、処理をステップＳ５００に進める。一方、ステップＳ４００における判定の結果が否定の場合、処理装置１２は、処理をステップＳ２２０に戻す。
【0109】
ステップＳ５００において、表示情報生成部１２８は、認識結果決定部１２６により決定された確定文字を表示装置２８に表示させる表示情報を生成する。例えば、表示情報生成部１２８は、内容確認画面ＣＣＨを表示装置２８に表示させる表示情報を生成し、生成した表示情報を端末装置２０に出力する。ステップＳ５００の処理が実行されることにより、図８に示した動作は終了する。
【0110】
なお、文字認識装置１０の動作は、図８に示した例に限定されない。例えば、ステップＳ３００の処理は、ステップＳ４００の処理より後に実行されてもよいし、ステップＳ２００、Ｓ２４０、Ｓ２６０及びＳ４００の一連の処理と並列に実行されてもよい。また、例えば、ステップＳ４００の処理は、記載内容認識部１２４とは別の機能ブロック（例えば、認識結果決定部１２６等）により実行されてもよい。
【0111】
また、例えば、複数回繰り返されるステップＳ２４０の一部において、記載内容認識部１２４は、文字列画像ＧＣＬに対する文字認識処理を実行する文字認識部ＣＲを１つのみ選択してもよい。また、例えば、ステップＳ２４０において選択される文字認識部ＣＲの数の上限が予め決められていてもよい。この場合、ステップＳ２４０において選択される文字認識部ＣＲの数の上限は、例えば、２つでもよい。ステップＳ２４０において選択される文字認識部ＣＲの数の上限が２つの場合、例えば、文字認識部ＣＲ３及びＣＲ４の一方又は両方は複数種類（実施の形態では６種類）の文字を認識できることが好ましい。
【0112】
また、複数の項目の全てで、複数の文字認識部ＣＲの全てが文字の認識に使用されてもよい。この場合、各項目において、複数の文字認識部ＣＲの全てに対して優先度が決められている。また、複数の項目の全てで、複数の文字認識部ＣＲの全てが文字の認識に使用される場合、例えば、ステップＳ２４０の処理は省かれる。
【0113】
次に、図９を参照しながら、確定文字決定処理のフローについて説明する。
【0114】
図９は、図８に示した確定文字決定処理の一例を示すフローチャートである。図９に示す処理は、図８に示したステップＳ３００の確定文字決定処理の一例である。図９に示す確定文字決定処理では、優先度に基づく重み値を用いて算出される評価値に基づいて、確定文字が決定される場合を想定する。ステップＳ３２０の処理は、例えば、図８のステップＳ２６０の処理が実行された後に実行される。なお、図９においても、特に断りがない場合、「文字列画像ＧＣＬ」は、図８のステップＳ２２０において選択された申込内容記載領域ＡＫに表された文字列画像ＧＣＬを意味するものとする。
【0115】
先ず、ステップＳ３２０において、認識結果決定部１２６は、文字列画像ＧＣＬに含まれる複数の個別文字画像ＧＣのうち、確定文字が決定されていない一の個別文字画像ＧＣを特定する。
【0116】
次に、ステップＳ３４０において、認識結果決定部１２６は、ステップＳ３２０において特定された一の個別文字画像ＧＣに対応する複数の候補文字の各々の評価値を算出する。なお、一の個別文字画像ＧＣに対応する複数の候補文字は、例えば、図８のステップＳ２４０において選択された２つ以上の文字認識部ＣＲによる一の個別文字画像ＧＣの認識結果として得られる複数の候補文字である。また、複数の候補文字の各々の評価値は、例えば、当該候補文字の確度と、当該候補文字を認識した文字認識部ＣＲの重み値との積で表される。
【0117】
次に、ステップＳ３６０において、認識結果決定部１２６は、一の個別文字画像ＧＣに対応する複数の候補文字のうち、ステップＳ３４０において算出された評価値が最も高い候補文字を、一の個別文字画像ＧＣの認識結果に対応する確定文字に決定する。
【0118】
次に、ステップＳ３８０において、認識結果決定部１２６は、文字列画像ＧＣＬに含まれる複数の個別文字画像ＧＣの全てについて、確定文字が決定されたか否かを判定する。ステップＳ３８０における判定の結果が否定の場合、処理装置１２は、処理をステップＳ３２０に戻す。一方、ステップＳ３８０における判定の結果が肯定の場合、処理装置１２は、確定文字決定処理を終了し、処理を図８のステップＳ４００に進める。
【0119】
次に、図１０を参照しながら、確定文字決定処理の別の例について説明する。
【0120】
図１０は、図８に示した確定文字決定処理の別の例を示すフローチャートである。図１０に示す処理は、図８に示したステップＳ３００の確定文字決定処理の別の例である。図９において説明した動作と同様の要素については、同様の符号を付し、詳細な説明を省略する。図１０に示す確定文字決定処理では、優先度に基づく重み値が用いられない場合を想定する。例えば、図１０に示す確定文字決定処理では、第１優先度の文字認識部ＣＲによる一の文字の認識結果として得られる第１優先度の候補文字の確度が所定値以上か否かによって、第１優先度の文字認識部ＣＲを他の文字認識部ＣＲより優先するか否かが決定される。ステップＳ３２０の処理は、例えば、図８のステップＳ２６０の処理が実行された後に実行される。なお、図１０においても、特に断りがない場合、「文字列画像ＧＣＬ」は、図８のステップＳ２２０において選択された申込内容記載領域ＡＫに表された文字列画像ＧＣＬを意味するものとする。
【0121】
先ず、ステップＳ３２０において、認識結果決定部１２６は、文字列画像ＧＣＬに含まれる複数の個別文字画像ＧＣのうち、確定文字が決定されていない一の個別文字画像ＧＣを特定する。
【0122】
次に、ステップＳ３４２において、認識結果決定部１２６は、第１優先度の文字認識部ＣＲによる一の文字の認識結果として得られる第１優先度の候補文字の確度が所定値以上か否かを判定する。ステップＳ３４２における判定の結果が肯定の場合、処理装置１２は、処理をステップＳ３６２に進める。一方、ステップＳ３４２における判定の結果が否定の場合、処理装置１２は、処理をステップＳ３６４に進める。
【0123】
ステップＳ３６２において、認識結果決定部１２６は、第１優先度の候補文字を一の個別文字画像ＧＣの認識結果に対応する確定文字に決定する。処理装置１２は、ステップＳ３６２の処理を実行した後、処理をステップＳ３８０に進める。
【0124】
ステップＳ３６４において、認識結果決定部１２６は、一の個別文字画像ＧＣに対応する複数の候補文字のうち、確度が最も高い候補文字を、一の個別文字画像ＧＣの認識結果に対応する確定文字に決定する。処理装置１２は、ステップＳ３６４の処理を実行した後、処理をステップＳ３８０に進める。
【0125】
ステップＳ３８０において、認識結果決定部１２６は、文字列画像ＧＣＬに含まれる複数の個別文字画像ＧＣの全てについて、確定文字が決定されたか否かを判定する。ステップＳ３８０における判定の結果が否定の場合、処理装置１２は、処理をステップＳ３２０に戻す。一方、ステップＳ３８０における判定の結果が肯定の場合、処理装置１２は、確定文字決定処理を終了し、処理を図８のステップＳ４００に進める。
【0126】
以上、本実施形態では、文字認識装置１０は、記載内容認識部１２４及び認識結果決定部１２６を有する。記載内容認識部１２４は、画像に含まれる文字を認識し、認識した文字の確度を算出する複数の文字認識処理の各々（複数の文字認識部ＣＲの各々が実行する文字認識処理）により、１つ以上の項目を含む書類の画像である申込書画像ＧＭに含まれる一の文字を認識する。文字の認識に使用する文字認識処理の優先度は、項目毎に決められている。認識結果決定部１２６は、複数の文字認識処理の各々による一の文字の認識結果として得られる複数の候補文字の１つを、一の文字の認識結果に対応する確定文字に決定する。具体的には、認識結果決定部１２６は、複数の候補文字の各々の確度と、複数の文字認識処理の各々の優先度とに基づいて、複数の候補文字の１つを、確定文字に決定する。
【0127】
このように、本実施形態では、一の文字に対応する確定文字が複数の文字認識処理の結果に基づいて決定される。このため、本実施形態では、一の文字に対応する確定文字が１つの文字認識処理の結果に基づいて決定される態様に比べて、文字の認識の精度を高めることができる。さらに、本実施形態では、複数の候補文字の各々の確度と複数の文字認識処理の各々の優先度とに基づいて確定文字が決定されるため、複数の候補文字の各々の確度のみに基づいて確定文字が決定される態様に比べて、文字の認識の精度を高めることができる。
【0128】
また、本実施形態では、複数の文字認識処理の各々には、優先度に基づく重み値が決められていてもよい。この場合、認識結果決定部１２６は、複数の候補文字の各々の確度を複数の文字認識処理の各々の重み値で重み付けすることにより、複数の候補文字の各々の評価値を算出する。そして、認識結果決定部１２６は、複数の候補文字のうち、評価値が最も高い候補文字を、確定文字に決定する。この場合、重み値を適切に設定することにより、誤った文字が確定文字に決定されることを抑制できる。例えば、本実施形態では、各項目において、複数の文字認識部ＣＲの各々の学習度に応じて重み値を決定することにより、文字の認識の精度を高めることができる。
【0129】
また、本実施形態では、複数の文字認識処理の各々に、優先度に基づく重み値が決められていなくてもよい。この場合、認識結果決定部１２６は、複数の文字認識処理のうち優先度が最も高い文字認識処理による一の文字の認識結果として得られる第１優先度の候補文字の確度が所定値以上の場合、複数の候補文字のうち、第１優先度の候補文字を確定文字に決定してもよい。これにより、本実施形態では、誤った文字が確定文字に決定されることを抑制することができ、文字の認識の精度を高めることができる。
【0130】
また、認識結果決定部１２６は、複数の文字認識処理のうち優先度が最も高い文字認識処理による一の文字の認識結果として得られる第１優先度の候補文字の確度が所定値未満の場合、複数の候補文字のうち、確度が最も高い候補文字を、確定文字に決定してもよい。この場合においても、誤った文字が確定文字に決定されることを抑制することができ、文字の認識の精度を高めることができる。
【0131】
また、本実施形態では、認識結果決定部１２６により決定された確定文字を表示装置２８に表示させる表示情報生成部１２８をさらに有する。表示情報生成部１２８は、複数の文字認識処理のうち優先度が最も高い文字認識処理で確定文字が認識されていない場合の確定文字の表示態様を、複数の文字認識処理のうちの優先度が最も高い文字認識処理で確定文字が認識された場合の確定文字の表示態様とは異ならせる。このため、オペレータは、例えば、一の確定文字の表示態様が他の確定文字の表示態様と異なる場合、一の確定文字が誤っている可能性があることを認識できる。この結果、本実施形態では、確定文字が誤っている可能性がある場合においても確定文字の表示態様が変化しない場合に比べて、確定文字が誤っていることを見落とす可能性を低減することができる。
【0132】
［２．第２実施形態］
次に、図１１を参照しながら、第２実施形態に係る文字認識装置１０の概要の一例について説明する。
次に、図１１を参照しながら、第２実施形態に係る文字認識装置１０の概要の一例について説明する。
【0133】
【0134】
図１１に示す文字認識装置１０は、図３に示した文字認識装置１０と同一の構成である。例えば、文字認識装置１０は、処理装置１２、記憶装置１４及び通信装置１６を有する。但し、記憶装置１４に記憶される制御プログラムＰＧ２は、図３に示した制御プログラムＰＧ１と相違する。なお、制御プログラムＰＧ２は、「プログラム」の一例である。本実施形態では、制御プログラムＰＧ２は、例えば、文字認識装置１０が文字認識処理を実行するためのアプリケーションプログラムを含む。但し、制御プログラムＰＧ２は、例えば、処理装置１２が文字認識装置１０の各部を制御するためのオペレーティングシステムプログラムを含んでもよい。
【0135】
また、本実施形態では、各項目の記載欄（より詳細には、申込内容記載領域ＡＫ）に記載された文字の認識に使用する文字認識部ＣＲを示す情報として、優先度が優先テーブルＰＴＢＬに記憶されている場合を想定する。さらに、本実施形態では、各項目の記載欄に記載された文字の認識に使用する文字認識部ＣＲの数が１つ以上２つ以下である場合を想定する。複数の項目のうちの少なくとも１つの項目では、２つの文字認識部ＣＲが文字の認識に使用される。２つの文字認識部ＣＲの優先度は、互いに同じでもよいし、異なってもよい。本実施形態では、文字の認識に使用される２つの文字認識部ＣＲの優先度が互いに同じ場合を想定する。各項目において、文字の認識に使用される２つの文字認識部ＣＲの一方により実行される文字認識処理は、「第１文字認識処理」の一例であり、２つの文字認識部ＣＲの他方により実行される文字認識処理は、「第２文字認識処理」の一例である。
【0136】
図１１に示す処理装置１２は、図３に示した制御プログラムＰＧ１の代わりに制御プログラムＰＧ２を実行することを除いて、図３に示した処理装置１２と同様である。例えば、処理装置１２は、記憶装置１４から読み出した制御プログラムＰＧ２を実行することによって、制御部１２０Ａとして機能する。
【0137】
制御部１２０Ａは、認識結果決定部１２６の代わりに認識結果決定部１２６Ａを有することを除いて、図４に示した制御部１２０と同様である。例えば、制御部１２０Ａは、画像情報取得部１２２、記載内容認識部１２４、認識結果決定部１２６Ａ及び表示情報生成部１２８を有する。認識結果決定部１２６Ａは、「決定部」の一例である。
【0138】
画像情報取得部１２２及び記載内容認識部１２４は、図４に示した画像情報取得部１２２及び記載内容認識部１２４と同様である。但し、記載内容認識部１２４が有する複数の文字認識部ＣＲの各々は、一の文字の認識結果として、１つ以上の候補文字及び１つ以上の候補文字の各々の確度を出力する。
【0139】
認識結果決定部１２６Ａは、記載内容認識部１２４による一の文字に対する文字認識処理の結果を示す認識情報を取得する。例えば、認識情報は、複数の文字認識部ＣＲのうちの２つの文字認識部ＣＲの各々により実行された文字認識処理による一の文字の認識結果、又は、複数の文字認識部ＣＲのうちの１つ文字認識部ＣＲにより実行された文字認識処理による一の文字の認識結果を示す。２つの文字認識部ＣＲのうちの一の文字認識部ＣＲ又は１つの文字認識部ＣＲにより実行された文字認識処理による一の文字の認識結果は、例えば、一の文字の認識結果の候補となる１つ以上の候補文字、及び、１つ以上の候補文字の確度を含む。
【0140】
なお、２つの文字認識部ＣＲの一方の文字認識処理による一の文字の認識結果として得られる１つ以上の候補文字は、「第１候補文字」の一例であり、２つの文字認識部ＣＲの他方の文字認識処理による一の文字の認識結果として得られる１つ以上の候補文字は、「第２候補文字」の一例である。以下では、一の文字に対する文字認識処理を実行した２つの文字認識部ＣＲの一方の認識結果として得られる候補文字は、第１候補文字とも称され、２つの文字認識部ＣＲの他方の認識結果として得られる候補文字は、第２候補文字とも称される。
【0141】
例えば、認識結果決定部１２６Ａは、１つ以上の第１候補文字と１つ以上の第２候補文字との両方に含まれる共通文字が存在する場合、共通文字を一の文字の認識結果に対応する確定文字とするか否かを決定する。共通文字を一の文字の認識結果に対応する確定文字とするか否かを決定する処理を含む確定文字決定処理については、後述する図１２において説明される。
【0142】
表示情報生成部１２８は、確定文字の表示形態を異ならせる条件を除いて、図４に示した表示情報生成部１２８と同様である。例えば、表示情報生成部１２８は、共通文字が存在しない場合の確定文字の表示態様を、共通文字が存在する場合の確定文字の表示態様とは異ならせる。具体的には、例えば、表示情報生成部１２８は、一の文字の認識結果として得られた複数の候補文字の中に共通文字が存在しない場合、内容確認画面ＣＣＨ内に注意マークＭＫを表示する表示情報を生成し、生成した表示情報を端末装置２０に出力する。これにより、例えば、内容確認画面ＣＣＨのうち、一の文字の認識結果に対応する確定文字の表示位置に対応する位置に、注意マークＭＫが表示される。
【0143】
例えば、２つの文字認識部ＣＲによる一の文字に対する文字認識の精度が低い場合、２つの文字認識部ＣＲによる一の文字に対する文字認識の精度が高い場合に比べて、共通文字が存在しない確率が高いと考えられる。従って、２つの文字認識部ＣＲによる一の文字の認識結果として得られた複数の候補文字の中に共通文字が存在しない場合、共通文字が存在する場合に比べて、誤った文字が確定文字に決定される確率が高いと考えられる。このため、端末装置２０を操作するオペレータは、注意マークＭＫを視認することにより、個別文字画像ＧＣにより示される文字と確定文字とが異なる文字である可能性があることを認識できる。この結果、本実施形態では、注意マークＭＫが表示されない態様に比べて、確定文字が誤っていることを見落とす可能性を低減することができる。
【0144】
なお、制御部１２０Ａの動作は、確定文字決定処理を除いて、図４に示した制御部１２０の動作と同様である。例えば、制御部１２０Ａの動作は、図８に示したステップＳ３００の確定文字決定処理を除いて、図８に示した動作と同様である。
【0145】
次に、図１２を参照しながら、認識結果決定部１２６Ａによる確定文字決定処理の一例について説明する。
【0146】
図１２は、図１１に示した認識結果決定部１２６Ａの動作の一例を説明するための説明図である。図１２では、上述した図６と同様に、「住所」に係る申込内容記載領域ＡＫに記載された文字列を示す文字列画像ＧＣＬ５に対して文字認識処理が実行された場合を例にして、「大」の個別文字画像ＧＣ２の認識結果に対応する確定文字の決定方法の一例が説明される。但し、図１２では、説明を分かり易くするために、確度等を図６に示した例と異ならせている箇所がある。
【0147】
図１２では、文字列画像ＧＣＬ５の文字の認識に使用される文字認識部ＣＲとして、文字認識部ＣＲ３及びＣＲ４が選択された場合を想定する。この場合、文字認識部ＣＲ３及びＣＲ４の一方により実行される文字認識処理が「第１文字認識処理」に該当し、文字認識部ＣＲ３及びＣＲ４の他方により実行される文字認識処理が「第２文字認識処理」に該当する。以下では、文字認識部ＣＲ３の認識結果として得られる候補文字は、第１候補文字とも称され、文字認識部ＣＲ４の認識結果として得られる候補文字は、第２候補文字とも称される。
【0148】
図１２に示す例では、認識結果決定部１２６Ａは、文字認識部ＣＲ３による「大」の個別文字画像ＧＣ２に対する文字認識処理の結果として、「丈」、「太」、「大」、「火」及び「木」の文字を含む複数の第１候補文字と、複数の第１候補文字の各々の確度とを取得する。さらに、認識結果決定部１２６Ａは、文字認識部ＣＲ４による「大」の個別文字画像ＧＣ２に対する文字認識処理の結果として、「犬」、「大」、「太」、「木」及び「丈」の文字を含む複数の第２候補文字と、複数の第２候補文字の各々の確度とを取得する。
【0149】
認識結果決定部１２６Ａは、複数の第１候補文字と複数の第２候補文字とを含む複数の候補文字から、複数の第１候補文字と複数の第２候補文字との両方に存在する共通文字を検索する。図１２では、「丈」、「太」、「大」及び「木」の文字が、複数の第１候補文字と複数の第２候補文字との両方に存在する場合を想定する。従って、認識結果決定部１２６Ａは、「丈」、「太」、「大」及び「木」の文字を共通文字として認識する。
【0150】
そして、認識結果決定部１２６Ａは、第１条件及び第２条件の両方の条件を満たす１つ以上の共通文字が存在するか否かに基づいて、共通文字を一の文字の認識結果に対応する確定文字とするか否かを決定する。第１条件は、１つ以上の第１候補文字に含まれる共通文字の確度である第１確度、及び、１つ以上の第２候補文字に含まれる共通文字の確度である第２確度のうちの高い方の確度に関する条件である。また、第２条件は、第１確度と第２確度との差異の程度に関する条件である。具体的には、第１条件は、例えば、第１確度及び第２確度の高い方の確度が所定の確度以上であるという条件であり、第２条件は、第１確度と第２確度との差分の絶対値が所定値以下であるという条件である。
【0151】
図１２では、第１条件が、第１確度及び第２確度の高い方の確度が８０％以上であるという条件であり、第２条件が、第１確度と第２確度との差分の絶対値が２０％以下であるという条件である場合を想定する。この場合、複数の共通文字（「丈」、「太」、「大」及び「木」）のうち、「丈」の文字は、第１確度と第２確度との差分が４０％であるため、第２条件を満たさない。「太」の文字は、第１確度及び第２確度の高い方の確度が８５％であり、第１確度と第２確度との差分が５％であるため、第１条件及び第２条件の両方の条件を満たす。「大」の文字は、第１確度及び第２確度の高い方の確度が８７％であり、第１確度と第２確度との差分が５％であるため、第１条件及び第２条件の両方の条件を満たす。また、「木」の文字は、第１確度及び第２確度の高い方の確度が６０％であるため、第１条件を満たさない。
【0152】
このため、認識結果決定部１２６Ａは、複数の共通文字（「丈」、「太」、「大」及び「木」）のうち、「太」及び「大」の文字を第１条件及び第２条件の両方の条件を満たす共通文字として特定する。例えば、認識結果決定部１２６Ａは、共通文字が第１条件及び第２条件の両方の条件を満たす場合、第１条件及び第２条件の両方の条件を満たす共通文字を、一の文字の認識結果に対応する確定文字の候補である確定候補文字に決定する。すなわち、認識結果決定部１２６Ａは、「太」及び「大」の文字を確定候補文字に決定する。認識結果決定部１２６Ａは、複数の確定候補文字が存在する場合、複数の確定候補文字の１つを、確定文字に決定する。
【0153】
なお、確定候補文字が１つの場合、認識結果決定部１２６Ａは、確定候補文字を確定文字に決定する。以下では、複数の確定候補文字が存在する場合の確定文字の決定方法の例として、第１の決定方法、第２の決定方法及び第３の決定方法を説明する。但し、複数の確定候補文字が存在する場合の確定文字の決定方法は、以下の第１の決定方法、第２の決定方法及び第３の決定方法に限定されない。
【0154】
第１の決定方法では、認識結果決定部１２６Ａは、複数の確定候補文字の中で確度が最も高い確定候補文字を、確定文字に決定する。図１２に示す認識結果では、２つの確定候補文字（「太」及び「大」）の中で、「大」の文字の確度が最も高い。このため、第１の決定方法では、認識結果決定部１２６Ａは、２つの確定候補文字（「太」及び「大」）の中で、確度が最も高い確定候補文字（「大」）を確定文字に決定する。第１の決定方法では、第１確度と第２確度との平均値の算出等の演算を行うことなく確定文字を決定することができるため、確定文字決定処理が煩雑になることを抑制することができる。
【0155】
第２の決定方法では、認識結果決定部１２６Ａは、複数の確定候補文字の中で、第１確度と第２確度との平均値が最も高い確定候補文字を、確定文字に決定する。「太」の文字の確度の平均値は、８２．５％（＝（８５％＋８０％）／２）であり、「大」の確度の平均値は、８４．５％（＝（８２％＋８７％）／２）である。このため、第２の決定方法では、認識結果決定部１２６Ａは、２つの確定候補文字（「太」及び「大」）の中で、確度の平均値が最も高い確定候補文字（「大」）を確定文字に決定する。第２の決定方法では、複雑な演算を用いることなく単純な演算（第１確度と第２確度との平均値の算出）により確定文字を決定することができるため、確定文字決定処理が煩雑になることを抑制することができる。
【0156】
第３の決定方法では、認識結果決定部１２６Ａは、複数の確定候補文字の中で評価値が最も高い確定候補文字を、確定文字に決定する。評価値は、例えば、評価値をＥｖ、第１確度及び第２確度の高い方の確度をＡＣｍａｘ、第１確度と第２確度との差分の絶対値をＡＣｄｉｆｆとした場合、係数α及びβを用いて、下記の式（１）で表される。なお、式（１）の“＊”は、乗算を示す。係数α及びβは、０より大きい実数である。
Ｅｖ＝ＡＣｍａｘ＊α－ＡＣｄｉｆｆ＊β ・・・（１）
Ｅｖ＝ＡＣｍａｘ＊α－ＡＣｄｉｆｆ＊β ・・・（１）
【0157】
このように、第３の決定方法では、第１確度及び第２確度の高い方の確度（ＡＣｍａｘ）と、第１確度と第２確度との差分の絶対値（ＡＣｄｉｆｆ）とに基づく評価値（Ｅｖ）を用いて確定文字が決定される。このため、第３の決定方法では、例えば、上述の式（１）で表される評価値（Ｅｖ）を用いずに確定文字が決定される場合に比べて、精度の高い確定文字の決定を行うことができる。
【0158】
なお、評価値（Ｅｖ）と第１確度及び第２確度との関係は、上述の式（１）に限定されない。例えば、評価値（Ｅｖ）は、上述の式（１）において、第１確度及び第２確度の高い方の確度（Ａｃｍａｘ）の代わりに、第１確度及び第２確度の平均値を用いて算出されてもよい。また、評価値（Ｅｖ）は、第１確度と第２確度との差分の絶対値（ＡＣｄｉｆｆ）の代わりに、第１確度と第２確度との比を用いて算出されてもよい。第１確度と第２確度との比は、例えば、第１確度及び第２確度の高い方の確度を、第１確度及び第２確度の低い方の確度で除算した値である。第１確度及び第２確度の低い方の確度を、第１確度及び第２確度の高い方の確度で除算した値を第１確度と第２確度との比とする場合、上述の式（１）において、係数βは、負の実数になる。
【0159】
ここで、図１２に示す例では、複数の共通文字のうち、確度が最も高い共通文字は、確度が９０％の「丈」の文字である。「丈」の文字の確度は９０％であるが、文字認識部ＣＲ４では、「丈」の文字の確度は５０％である。このため、「丈」の文字は、第１確度及び第２確度のうちの高い方の確度に関する第１条件を満たすが、第１確度と第２確度との差異の程度に関する第２条件を満たさない。第１条件及び第２条件の一方のみを満たす共通文字が確定文字に決定された場合、第１条件及び第２条件の両方を満たす共通文字が確定文字に決定される場合に比べて、誤った文字が確定文字に決定される確率が高いと考えられる。
【0160】
本実施形態では、第１条件及び第２条件の両方の条件を満たす共通文字を確定文字に決定することにより、第１条件及び第２条件の一方又は両方を満たさない共通文字が確定文字に決定される場合に比べて、誤った文字が確定文字に決定されることを抑制することができる。
【0161】
なお、確定文字の決定方法は、上述した例に限定されない。例えば、認識結果決定部１２６Ａは、第１条件及び第２条件のいずれも考慮せずに、複数の共通文字の中で確度が最も高い共通文字を確定文字に決定してもよい。あるいは、認識結果決定部１２６Ａは、第１条件及び第２条件のいずれも考慮せずに、複数の共通文字の中で、第１確度と第２確度との平均値が最も高い共通文字を確定文字に決定してもよい。あるいは、認識結果決定部１２６Ａは、第１条件及び第２条件のいずれも考慮せずに、複数の共通文字の中で、上述の式（１）で表される評価値が最も高い共通文字を確定文字に決定してもよい。
【0162】
第１条件及び第２条件のいずれも考慮されずに共通文字が確定文字に決定される場合でも、複数の候補文字のうち確度が最も高い候補文字が確定文字に無条件で決定される形態に比べて、誤った文字が確定文字に決定される確率が低いと考えられる。以下では、複数の候補文字のうち確度が最も高い候補文字が確定文字に無条件で決定される形態は、第３対比例とも称される。
【0163】
例えば、図１２に示す認識結果では、複数の候補文字のうち、確度が最も高い候補文字は、確度が９２％の「犬」の文字である。「犬」の文字は、文字認識部ＣＲ４による一の文字の認識結果として得られる複数の第２候補文字に含まれているが、文字認識部ＣＲ３による一の文字の認識結果として得られる複数の第１候補文字には含まれていない。このため、第３対比例では、誤った文字（「犬」）が、「大」の個別文字画像ＧＣ２の認識結果に対応する確定文字に決定される。なお、「大」の個別文字画像ＧＣ２の認識結果に対応する確定文字として正しい候補文字（「大」）は、複数の共通文字に含まれている。このため、第１条件及び第２条件のいずれも考慮されずに、複数の共通文字の１つが確定文字に決定される場合でも、第３対比例に比べて、誤った文字が確定文字に決定される確率が低いと考えられる。すなわち、本実施形態では、確定文字の決定に第１条件及び第２条件のいずれも考慮されない場合でも、１つ以上の共通文字の１つを確定文字に決定することにより、第３対比例に比べて、誤った文字が確定文字に決定されることを抑制することができる。
【0164】
次に、図１３を参照しながら、認識結果決定部１２６Ａによる確定文字決定処理のフローについて説明する。
【0165】
図１３は、図１１に示した認識結果決定部１２６Ａの動作の一例を示すフローチャートである。図１３に示す確定文字決定処理では、第１確度及び第２確度のうちの高い方の確度に関する第１条件、及び、第１確度と第２確度との差異の程度に関する第２条件が確定文字の決定に用いられる場合を想定する。
【0166】
図１３に示す確定文字決定処理は、例えば、図８に示した動作において、ステップＳ３００の確定文字決定処理として実行される。例えば、ステップＳ３２０の処理は、図８のステップＳ２６０の処理が実行された後に実行される。図９及び図１０において説明した動作と同様の要素については、同様の符号を付し、詳細な説明を省略する。
【0167】
なお、図１３においても、特に断りがない場合、「文字列画像ＧＣＬ」は、図８のステップＳ２２０において選択された申込内容記載領域ＡＫに表された文字列画像ＧＣＬを意味するものとする。また、図１３では、図８のステップＳ２４０において２つの文字認識部ＣＲが選択された場合を想定する。なお、図８のステップＳ２４０において選択された文字認識部ＣＲの数が１つの場合、ステップＳ３５０からステップＳ３７２までの一連の処理が省かれ、ステップＳ３２０、Ｓ３７４及びＳ３８０の一連の処理が実行される。
【0168】
先ず、ステップＳ３２０において、認識結果決定部１２６Ａは、文字列画像ＧＣＬに含まれる複数の個別文字画像ＧＣのうち、確定文字が決定されていない一の個別文字画像ＧＣを特定する。
【0169】
次に、ステップＳ３５０において、認識結果決定部１２６Ａは、一の個別文字画像ＧＣに対応する複数の候補文字から共通文字を検索する。
【0170】
次に、ステップＳ３５２において、認識結果決定部１２６Ａは、共通文字が存在するか否かを判定する。すなわち、認識結果決定部１２６Ａは、共通文字が複数の候補文字から検索されたか否かを判定する。ステップＳ３５２における判定の結果が肯定の場合、処理装置１２は、処理をステップＳ３５４に進める。一方、ステップＳ３５２における判定の結果が否定の場合、処理装置１２は、処理をステップＳ３７４に進める。
【0171】
ステップＳ３５４において、認識結果決定部１２６Ａは、第１条件を満たす共通文字が存在するか否かを判定する。ステップＳ３５４における判定の結果が肯定の場合、処理装置１２は、処理をステップＳ３５６に進める。一方、ステップＳ３５４における判定の結果が否定の場合、処理装置１２は、処理をステップＳ３７４に進める。
【0172】
ステップＳ３５６において、認識結果決定部１２６Ａは、第２条件を満たす共通文字が存在するか否かを判定する。ステップＳ３５６における判定の結果が肯定の場合、処理装置１２は、処理をステップＳ３７０に進める。一方、ステップＳ３５６における判定の結果が否定の場合、処理装置１２は、処理をステップＳ３７２に進める。
【0173】
ステップＳ３７０において、認識結果決定部１２６Ａは、第１条件及び第２条件の両方の条件を満たす共通文字（すなわち、確定候補文字）の１つを確定文字に決定する。なお、例えば、複数の確定候補文字が存在する場合、認識結果決定部１２６Ａは、上述した図１２において説明された第１の決定方法、第２の決定方法及び第３の決定方法のいずれかにより、複数の確定候補文字の１つを確定文字に決定してもよい。処理装置１２は、ステップＳ３７０の処理を実行した後、処理をステップＳ３８０に進める。
【0174】
ステップＳ３７２において、認識結果決定部１２６Ａは、第１条件を満たす共通文字の１つを確定文字に決定する。例えば、第１条件を満たす共通文字が複数存在する場合、認識結果決定部１２６Ａは、第１条件を満たす複数の共通文字のうち、確度が最も高い共通文字を確定文字に決定する。あるいは、認識結果決定部１２６Ａは、第１条件を満たす複数の共通文字の中で、上述の式（１）で表される評価値が最も高い共通文字を確定文字に決定してもよい。処理装置１２は、ステップＳ３７２の処理を実行した後、処理をステップＳ３８０に進める。
【0175】
ステップＳ３７４において、認識結果決定部１２６Ａは、複数の候補文字の１つを確定文字に決定する。例えば、認識結果決定部１２６Ａは、複数の候補文字のうち、確度が最も高い候補文字を確定文字に決定する。処理装置１２は、ステップＳ３７４の処理を実行した後、処理をステップＳ３８０に進める。
【0176】
ステップＳ３８０において、認識結果決定部１２６Ａは、文字列画像ＧＣＬに含まれる複数の個別文字画像ＧＣの全てについて、確定文字が決定されたか否かを判定する。ステップＳ３８０における判定の結果が否定の場合、処理装置１２は、処理をステップＳ３２０に戻す。一方、ステップＳ３８０における判定の結果が肯定の場合、処理装置１２は、確定文字決定処理を終了し、処理を図８のステップＳ４００に進める。
【0177】
なお、認識結果決定部１２６Ａの動作は、図１３に示した例に限定されない。例えば、認識結果決定部１２６Ａは、ステップＳ３５６の判定の代わりに、第１条件及び第２条件の両方の条件を満たす共通文字（すなわち、確定候補文字）が存在するか否かの判定を、ステップＳ３５４の判定の前に実行してもよい。この場合、ステップＳ３５４の判定は、確定候補文字が存在しない場合に実行され、ステップＳ３７２の処理は、ステップＳ３５４における判定の結果が肯定の場合に実行される。
【0178】
また、例えば、認識結果決定部１２６Ａは、ステップＳ３５６における判定の結果が否定の場合、ステップＳ３７４の処理を実行してもよい。すなわち、ステップＳ３７２の処理が省かれてもよい。また、例えば、認識結果決定部１２６Ａは、ステップＳ３５４における判定の結果が否定の場合、ステップＳ３７４において、共通文字の１つを確定文字に決定してもよい。例えば、認識結果決定部１２６Ａは、ステップＳ３５４における判定の結果が否定の場合、複数の共通文字の中で、上述の式（１）で表される評価値が最も高い共通文字を確定文字に決定してもよい。
【0179】
以上、本実施形態では、文字認識装置１０は、記載内容認識部１２４及び認識結果決定部１２６Ａを有する。記載内容認識部１２４は、画像に含まれる文字を認識し、認識した文字の確度を算出する第１文字認識処理、及び、画像に含まれる文字を認識し、認識した文字の確度を算出する第２文字認識処理の各々（２つの文字認識部ＣＲの各々が実行する文字認識処理）により、申込書画像ＧＭに含まれる一の文字を認識する。認識結果決定部１２６Ａは、第１文字認識処理による一の文字の認識結果として得られる１つ以上の第１候補文字と、第２文字認識処理による一の文字の認識結果として得られる１つ以上の第２候補文字との両方に含まれる共通文字が存在する場合、共通文字を一の文字の認識結果に対応する確定文字とするか否かを決定する。
【0180】
第１候補文字及び第２候補文字を含む複数の候補文字のうち、第１候補文字と第２候補文字との両方に含まれる共通文字は、一の文字の認識結果として第１文字認識処理及び第２文字認識処理の両方で認識された候補文字である。すなわち、共通文字以外の候補文字は、一の文字の認識結果として第１文字認識処理及び第２文字認識処理の一方のみで認識された候補文字である。従って、一の文字の認識結果として正しい候補文字が共通文字に含まれる確率は、一の文字の認識結果として正しい候補文字が共通文字以外の候補文字に含まれる確率に比べて高いと考えられる。本実施形態では、共通文字が存在する場合、共通文字を確定文字とするか否かが決定されるため、誤った文字が確定文字に決定されることを抑制することができる。すなわち、本実施形態では、文字認識処理における文字の認識の精度を高めることができる。
【0181】
また、本実施形態では、認識結果決定部１２６Ａは、共通文字が、第１条件及び第２条件の両方の条件を満たす場合、共通文字を確定文字の候補である確定候補文字に決定してもよい。第１条件は、１つ以上の第１候補文字に含まれる共通文字の確度である第１確度、及び、１つ以上の第２候補文字に含まれる共通文字の確度である第２確度のうちの高い方の確度に関する条件である。第２条件は、第１確度と第２確度との差異の程度に関する条件である。第１条件及び第２条件の両方の条件を満たす共通文字に正しい候補文字が含まれる確率は、第１条件及び第２条件の一方又は両方を満たさない共通文字に正しい候補文字が含まれる確率に比べて高いと考えられる。従って、本実施形態では、第１条件及び第２条件の両方の条件を満たす共通文字を確定候補文字に決定することにより、共通文字が確定文字に無条件に決定される形態に比べて、誤った文字が確定文字に決定されることを抑制することができる。
【0182】
例えば、本実施形態では、第１条件は、第１確度及び第２確度のうちの高い方の確度が所定の確度以上であるという条件で、第２条件は、第１確度と第２確度との差分が所定値以下であるという条件であってもよい。第１条件及び第２条件の両方の条件を満たす共通文字は、第１確度及び第２確度のうちの高い方の確度が所定の確度以上であり、第１確度と第２確度との差分が所定値以下である。すなわち、第１条件及び第２条件の両方の条件を満たす共通文字は、第１条件を満たさない共通文字に比べて、第１確度及び第２確度のうちの高い方の確度が高く、かつ、第２条件を満たさない共通文字に比べて、第１確度と第２確度との差分が小さい。このため、第１条件及び第２条件の両方の条件を満たす共通文字は、第１条件及び第２条件の一方又は両方を満たさない共通文字に比べて、文字の認識の精度が高いと考えられる。従って、本実施形態では、第１条件及び第２条件の両方の条件を満たす共通文字を確定候補文字に決定することにより、文字認識処理における文字の認識の精度を高めることができる。
【0183】
また、本実施形態では、認識結果決定部１２６Ａは、確定候補文字が複数存在する場合、複数の確定候補文字の中で確度が最も高い確定候補文字を確定文字に決定してもよい。この場合においても、誤った文字が確定文字に決定されることを抑制することができ、文字認識処理における文字の認識の精度を高めることができる。
【0184】
また、本実施形態では、認識結果決定部１２６Ａは、確定候補文字が複数存在する場合、複数の確定候補文字の中で、第１確度と第２確度との平均値が最も高い確定候補文字を確定文字に決定してもよい。この場合においても、誤った文字が確定文字に決定されることを抑制することができ、文字認識処理における文字の認識の精度を高めることができる。
【0185】
また、本実施形態では、上述の第１条件及び第２条件は設定されなくてもよい。第１条件及び第２条件が設定されない形態では、認識結果決定部１２６Ａは、共通文字が複数存在する場合、複数の共通文字の中で確度が最も高い共通文字を確定文字に決定してもよい。この場合においても、複数の候補文字のうち確度が最も高い候補文字が確定文字に無条件で決定される場合に比べて、誤った文字が確定文字に決定されることを抑制することができ、文字認識処理における文字の認識の精度を高めることができる。
【0186】
あるいは、第１条件及び第２条件が設定されない形態では、認識結果決定部１２６Ａは、共通文字が複数存在する場合、複数の共通文字の中で、第１確度と第２確度との平均値が最も高い共通文字を確定文字に決定してもよい。この場合においても、複数の候補文字のうち確度が最も高い候補文字が確定文字に無条件で決定される場合に比べて、誤った文字が確定文字に決定されることを抑制することができ、文字認識処理における文字の認識の精度を高めることができる。
【0187】
また、本実施形態では、認識結果決定部１２６Ａにより決定された確定文字を表示装置２８に表示させる表示情報生成部１２８をさらに有する。表示情報生成部１２８は、共通文字が存在しない場合の確定文字の表示態様を、共通文字が存在する場合の確定文字の表示態様とは異ならせる。共通文字が存在しない場合、共通文字が存在する場合に比べて、２つの文字認識部ＣＲによる一の文字に対する文字認識の精度が低いと考えられる。すなわち、共通文字が存在しない場合、共通文字が存在する場合に比べて、誤った文字が確定文字に決定される確率が高いと考えられる。このため、オペレータは、例えば、一の確定文字の表示態様が他の確定文字の表示態様と異なる場合、一の確定文字が誤っている可能性があることを認識できる。この結果、本実施形態では、確定文字が誤っている可能性がある場合においても確定文字の表示態様が変化しない場合に比べて、確定文字が誤っていることを見落とす可能性を低減することができる。
【0188】
また、本実施形態では、上述した第１実施形態と同様に、項目毎に重み値が文字認識部ＣＲに対応付けられてもよい。
【0189】
［３．第３実施形態］
次に、図１４を参照しながら、第３実施形態に係る文字認識装置１０の概要の一例について説明する。
次に、図１４を参照しながら、第３実施形態に係る文字認識装置１０の概要の一例について説明する。
【0190】
【0191】
図１４に示す文字認識装置１０は、図１１に示した文字認識装置１０と同一の構成である。例えば、文字認識装置１０は、処理装置１２、記憶装置１４及び通信装置１６を有する。但し、記憶装置１４に記憶される制御プログラムＰＧ３は、図１１に示した制御プログラムＰＧ２と相違する。なお、制御プログラムＰＧ３は、「プログラム」の一例である。本実施形態では、制御プログラムＰＧ３は、例えば、文字認識装置１０が文字認識処理を実行するためのアプリケーションプログラムを含む。但し、制御プログラムＰＧ３は、例えば、処理装置１２が文字認識装置１０の各部を制御するためのオペレーティングシステムプログラムを含んでもよい。
【0192】
また、本実施形態では、優先テーブルＰＴＢＬ、及び、各項目の記載欄に記載された文字の認識に使用する文字認識部ＣＲの数の上限等は、上述した第２実施形態と同様である。例えば、本実施形態では、各項目において１つ以上２つ以下の文字認識部ＣＲが文字の認識に使用され、複数の項目のうちの少なくとも１つの項目では、２つの文字認識部ＣＲが文字の認識に使用される。以下では、文字の認識に使用される２つの文字認識部ＣＲの一方は、第１の文字認識部ＣＲとも称され、２つの文字認識部ＣＲの他方は、第２の文字認識部ＣＲとも称される。
【0193】
本実施形態では、第１の文字認識部ＣＲが、申込書画像ＧＭに含まれる文字列を構成する複数の文字を認識し、第２の文字認識部ＣＲが、申込書画像ＧＭに含まれる文字列を構成する複数の文字のうち一の文字を認識する場合を想定する。第１の文字認識部ＣＲにより実行される文字認識処理は、「第１文字認識処理」の一例であり、第２の文字認識部ＣＲにより実行される文字認識処理は、「第２文字認識処理」の一例である。また、申込書画像ＧＭは、「画像」の一例である。申込書画像ＧＭに含まれる文字列画像ＧＣＬにより示される文字列が申込書画像ＧＭに含まれる文字列に該当する。
【0194】
図１４に示す処理装置１２は、図１１に示した制御プログラムＰＧ２の代わりに制御プログラムＰＧ３を実行することを除いて、図１１に示した処理装置１２と同様である。例えば、処理装置１２は、記憶装置１４から読み出した制御プログラムＰＧ３を実行することによって、制御部１２０Ｂとして機能する。
【0195】
制御部１２０Ｂは、認識結果決定部１２６Ａの代わりに認識結果決定部１２６Ｂを有することを除いて、図１１に示した制御部１２０Ａと同様である。例えば、制御部１２０Ｂは、画像情報取得部１２２、記載内容認識部１２４、認識結果決定部１２６Ｂ及び表示情報生成部１２８を有する。認識結果決定部１２６Ｂは、「決定部」の一例である。
【0196】
画像情報取得部１２２及び記載内容認識部１２４は、図１１に示した画像情報取得部１２２及び記載内容認識部１２４と同様である。但し、記載内容認識部１２４が有する複数の文字認識部ＣＲは、第１の文字認識部ＣＲ及び第２の文字認識部ＣＲを含む。また、第１の文字認識部ＣＲは、申込書画像ＧＭに含まれる文字列の認識結果として、文字列を構成する複数の文字の各々の候補文字及び各候補文字の確度を出力する。第２の文字認識部ＣＲは、複数の文字のうち一の文字の認識結果として、候補文字及び候補文字の確度を出力する。
【0197】
第１の文字認識部ＣＲによる一の文字の認識結果として得られる候補文字は、「第１候補文字」の一例であり、第２の文字認識部ＣＲによる一の文字の認識結果として得られる候補文字は、「第２候補文字」の一例である。以下では、第１の文字認識部ＣＲによる一の文字の認識結果として得られる候補文字は、第１候補文字とも称され、第２の文字認識部ＣＲによる一の文字の認識結果として得られる候補文字は、第２候補文字とも称される。
【0198】
認識結果決定部１２６Ｂは、記載内容認識部１２４による一の文字に対する文字認識処理の結果を示す認識情報を取得する。例えば、認識情報は、第１の文字認識部ＣＲにより実行された文字認識処理による文字列（一の文字を含む文字列）の認識結果、及び、第２の文字認識部ＣＲにより実行された文字認識処理による一の文字の認識結果を示す。
【0199】
例えば、認識結果決定部１２６Ｂは、第１候補文字と第２候補文字とが互いに同じ文字である場合、当該同じ文字を一の文字の認識結果に対応する確定文字に決定する。
【0200】
表示情報生成部１２８は、確定文字の表示形態を異ならせる条件を除いて、図１１に示した表示情報生成部１２８と同様である。例えば、表示情報生成部１２８は、第１候補文字と第２候補文字とが互いに異なる場合の確定文字の表示態様を、第１候補文字と第２候補文字とが互いに同じ場合の確定文字の表示態様とは異ならせる。具体的には、例えば、表示情報生成部１２８は、第１候補文字と第２候補文字とが互いに異なる場合、内容確認画面ＣＣＨ内に注意マークＭＫを表示する表示情報を生成し、生成した表示情報を端末装置２０に出力する。これにより、例えば、内容確認画面ＣＣＨのうち、一の文字の認識結果に対応する確定文字の表示位置に対応する位置に、注意マークＭＫが表示される。
【0201】
例えば、第１候補文字と第２候補文字とが互いに異なる場合、第１候補文字と第２候補文字とが互いに同じ場合に比べて、誤った文字が確定文字に決定される確率が高いと考えられる。このため、端末装置２０を操作するオペレータは、注意マークＭＫを視認することにより、個別文字画像ＧＣにより示される文字と確定文字とが異なる文字である可能性があることを認識できる。この結果、本実施形態では、注意マークＭＫが表示されない態様に比べて、確定文字が誤っていることを見落とす可能性を低減することができる。
【0202】
なお、表示情報生成部１２８は、第１候補文字と第２候補文字とが互いに異なり、かつ、第１候補文字の確度が第２候補文字の確度より所定値以上低い場合の確定文字の表示態様を、第１候補文字と第２候補文字とが互いに同じ場合の確定文字の表示態様とは異ならせてもよい。例えば、表示情報生成部１２８は、第１候補文字と第２候補文字とが互いに異なり、かつ、第１候補文字の確度が第２候補文字の確度より所定値以上低い場合、内容確認画面ＣＣＨ内に注意マークＭＫを表示する表示情報を生成してもよい。
【0203】
例えば、第１候補文字と第２候補文字とが互いに異なる場合でも、第１候補文字の確度と第２候補文字の確度との差分が所定値未満の場合、第１候補文字の確度が第２候補文字の確度より所定値以上低い場合に比べて、確定文字が正しい確率が高いと考えられる。従って、例えば、第１候補文字と第２候補文字とが互いに異なり、かつ、第１候補文字の確度が第２候補文字の確度より所定値以上低い場合に、内容確認画面ＣＣＨ内に注意マークＭＫが表示される形態では、注意マークＭＫを効果的に表示できる。注意マークＭＫを効果的に表示するとは、例えば、確定文字が正しい場合に注意マークＭＫが頻繁に表示されることを抑制することである。
【0204】
また、表示情報生成部１２８は、第１候補文字と第２候補文字とが互いに異なる場合の確定文字の表示態様を、第１候補文字の確度が第２候補文字の確度より所定値以上低い場合と、第１候補文字の確度と第２候補文字の確度との差分が所定値未満の場合とで異ならせてもよい。例えば、表示情報生成部１２８は、第１候補文字の確度が第２候補文字の確度より所定値以上低い場合と、第１候補文字の確度と第２候補文字の確度との差分が所定値未満の場合とで、注意マークＭＫの色等を異ならせてもよい。この場合、例えば、端末装置２０を操作するオペレータは、注意マークＭＫの色を視認することにより、個別文字画像ＧＣにより示される文字と確定文字とが異なる文字である可能性の程度を認識できる。
【0205】
なお、制御部１２０Ｂの動作は、確定文字決定処理を除いて、図１１に示した制御部１２０Ａの動作と同様である。例えば、制御部１２０Ｂの動作は、後述する図１５において説明される確定文字決定処理を図８に示したステップＳ３００において実行することを除いて、図８に示した動作と同様である。
【0206】
次に、図１５を参照しながら、認識結果決定部１２６Ｂによる確定文字決定処理の一例について説明する。
【0207】
図１５は、図１４に示した認識結果決定部１２６Ｂの動作の一例を説明するための説明図である。図１５では、「住所」に係る申込内容記載領域ＡＫに記載された文字列を示す文字列画像ＧＣＬ５に対して文字認識処理が実行された場合を例にして、「東」、「青」及び「海」の個別文字画像ＧＣの認識結果に対応する確定文字の決定方法の一例が説明される。
【0208】
なお、図１５では、文字列画像ＧＣＬ５の文字の認識に使用される文字認識部ＣＲとして、文字認識部ＣＲ３及びＣＲ４が選択された場合を想定する。さらに、図１５では、文字認識部ＣＲ４が第１の文字認識部ＣＲであり、文字認識部ＣＲ３が第２の文字認識部ＣＲである場合を想定する。また、図１５では、文字認識部ＣＲ４が、住所に関する辞書（以下、住所辞書とも称する）を用いて、一の文字を含む文字列の認識結果である候補文字列を特定する場合を想定する。
【0209】
図１５では、文字認識部ＣＲ４による「東」及び「青」の個別文字画像ＧＣの認識結果に対応する２つの第１候補文字が、それぞれ「東」及び「青」の文字である場合を想定する。また、図１５では、文字認識部ＣＲ４による「海」の個別文字画像ＧＣ１の認識結果に対応する第１候補文字の候補が「海」、「梅」及び「侮」の文字である場合を想定する。
【0210】
文字認識部ＣＲ４は、「東」及び「青」の個別文字画像ＧＣの認識結果に対応する２つの第１候補文字と、「海」の個別文字画像ＧＣ１の認識結果に対応する第１候補文字の候補との組み合わせによる文字列が、住所辞書に登録されているか否かを判定する。図１５の×印は文字列が住所辞書に登録されていないことを示し、図１５の丸印は文字列が住所辞書に登録されていることを示す。例えば、文字認識部ＣＲ４は、「東青海」及び「東青侮」の文字列が住所辞書に登録されていないため、「東青海」及び「東青侮」の文字列は候補文字列でないと判定する。また、文字認識部ＣＲ４は、「東青梅」の文字列が住所辞書に登録されているため、「東青梅」の文字列を候補文字列に決定する。すなわち、文字認識部ＣＲ４は、「梅」の文字を、「海」の個別文字画像ＧＣ１の認識結果に対応する第１候補文字に決定する。
【0211】
一方、文字認識部ＣＲ３は、「海」の個別文字画像ＧＣ１の認識結果に対応する第２候補文字の候補（「海」、「梅」及び「侮」）のうち、最も確度が高い「海」の文字を、「海」の個別文字画像ＧＣ１の認識結果に対応する第２候補文字に決定する。なお、図１５では、文字認識部ＣＲ３による「東」及び「青」の個別文字画像ＧＣの認識結果に対応する２つの第２候補文字が、それぞれ「東」及び「青」の文字である場合を想定する。
【0212】
認識結果決定部１２６Ｂは、文字認識部ＣＲ４による「東」の個別文字画像ＧＣに対する文字認識処理の結果として、第１候補文字（「東」）と第１候補文字の確度（９０％）とを取得する。さらに、認識結果決定部１２６Ｂは、文字認識部ＣＲ３による「東」の個別文字画像ＧＣに対する文字認識処理の結果として、第２候補文字（「東」）と第２候補文字の確度（８８％）とを取得する。認識結果決定部１２６Ｂは、第１候補文字（「東」）と第２候補文字（「東」）とが互いに同じであるため、「東」の文字を、「東」の個別文字画像ＧＣの認識結果に対応する確定文字に決定する。同様に、認識結果決定部１２６Ｂは、「青」の個別文字画像ＧＣに対する文字認識処理の結果として得られる第１候補文字（「青」）と第２候補文字（「青」）とが互いに同じであるため、「青」の文字を、「青」の個別文字画像ＧＣの認識結果に対応する確定文字に決定する。
【0213】
また、認識結果決定部１２６Ｂは、文字認識部ＣＲ４による「海」の個別文字画像ＧＣ１に対する文字認識処理の結果として、第１候補文字（「梅」）と第１候補文字の確度（３０％）とを取得する。さらに、認識結果決定部１２６Ｂは、文字認識部ＣＲ３による「海」の個別文字画像ＧＣ１に対する文字認識処理の結果として、第２候補文字（「海」）と第２候補文字の確度（９０％）とを取得する。
【0214】
認識結果決定部１２６Ｂは、第１候補文字（「梅」）と第２候補文字（「海」）とが互いに異なるが、第１候補文字（「梅」）を、「海」の個別文字画像ＧＣ１の認識結果に対応する確定文字に決定する。但し、認識結果決定部１２６Ｂは、第１候補文字（「梅」）と第２候補文字（「海」）とが互いに異なるため、第１候補文字と第２候補文字とが互いに異なることを、表示情報生成部１２８に通知する。そして、表示情報生成部１２８は、例えば、内容確認画面ＣＣＨ内に注意マークＭＫを表示する表示情報を生成し、生成した表示情報を端末装置２０に出力する。これにより、例えば、内容確認画面ＣＣＨのうち、「海」の個別文字画像ＧＣ１の認識結果に対応する確定文字の表示位置に対応する位置に、注意マークＭＫが表示される。
【0215】
なお、認識結果決定部１２６Ｂの動作は、上述の例に限定されない。例えば、認識結果決定部１２６Ｂは、第１候補文字（「梅」）と第２候補文字（「海」）とが互いに異なる場合、第１候補文字及び第２候補文字のうち確度が高い第２候補文字（「海」）を、「海」の個別文字画像ＧＣ１の認識結果に対応する確定文字に決定してもよい。すなわち、認識結果決定部１２６Ｂは、第１候補文字と第２候補文字とが互いに異なる場合、第１候補文字及び第２候補文字のうち確度が高い候補文字を確定文字に決定してもよい。この場合においても、認識結果決定部１２６Ｂは、第１候補文字と第２候補文字とが互いに異なることを、表示情報生成部１２８に通知する。
【0216】
あるいは、認識結果決定部１２６Ｂは、第１候補文字と第２候補文字とが互いに異なる場合、第２候補文字の確度から第１候補文字の確度を減算した値である判定値に基づいて、第１候補文字及び第２候補文字の一方を確定文字に決定してもよい。具体的には、例えば、認識結果決定部１２６Ｂは、判定値が所定値未満の場合、第１候補文字を確定文字に決定し、判定値が所定値以上の場合、第２候補文字を確定文字に決定してもよい。
【0217】
また、認識結果決定部１２６Ｂは、第１候補文字と第２候補文字とが互いに異なり、かつ、第１候補文字の確度が第２候補文字の確度より所定値以上低い場合、第１候補文字と第２候補文字とが互いに異なることを、表示情報生成部１２８に通知してもよい。
【0218】
以上、本実施形態では、文字認識装置１０は、記載内容認識部１２４及び認識結果決定部１２６Ｂを有する。記載内容認識部１２４は、申込書画像ＧＭに含まれる文字列を構成する複数の文字を認識する第１文字認識処理、及び、申込書画像ＧＭに含まれる複数の文字のうち一の文字を認識する第２文字認識処理を実行する。認識結果決定部１２６Ｂは、第１文字認識処理による一の文字の認識結果として得られる第１候補文字と、第２文字認識処理による一の文字の認識結果として得られる第２候補文字とが、互いに同じ文字である場合、同じ文字を、一の文字の認識結果に対応する確定文字に決定する。
【0219】
第１候補文字と第２候補文字とが互いに同じ場合、第１候補文字と第２候補文字とが互いに異なる場合に比べて、誤った文字が確定文字に決定される確率が低いと考えられる。本実施形態では、第１候補文字と第２候補文字とが互いに同じ文字である場合に当該同じ文字が確定文字に決定されるため、誤った文字が確定文字に決定されることを抑制することができ、文字認識処理における文字の認識の精度を高めることができる。
【0220】
また、本実施形態では、認識結果決定部１２６Ｂにより決定された確定文字を表示装置２８に表示させる表示情報生成部１２８をさらに有する。表示情報生成部１２８は、第１候補文字と第２候補文字とが互いに異なる場合の確定文字の表示態様を、第１候補文字と第２候補文字とが互いに同じ場合の確定文字の表示態様とは異ならせる。このため、オペレータは、例えば、一の確定文字の表示態様が他の確定文字の表示態様と異なる場合、一の確定文字が誤っている可能性があることを認識できる。この結果、本実施形態では、確定文字が誤っている可能性がある場合においても確定文字の表示態様が変化しない場合に比べて、確定文字が誤っていることを見落とす可能性を低減することができる。
【0221】
また、本実施形態では、表示情報生成部１２８は、第１候補文字と第２候補文字とが互いに異なり、かつ、第１候補文字の確度が第２候補文字の確度より所定値以上低い場合の確定文字の表示態様を、第１候補文字と第２候補文字とが互いに同じ場合の確定文字の表示態様とは異ならせてもよい。この場合においても、確定文字が誤っている可能性がある場合においても確定文字の表示態様が変化しない場合に比べて、確定文字が誤っていることを見落とす可能性を低減することができる。
【0222】
また、本実施形態では、上述した第１実施形態と同様に、項目毎に重み値が文字認識部ＣＲに対応付けられてもよい。
【0223】
［４．変形例］
本発明は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
本発明は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
【0224】
［第１変形例］
上述した第１実施形態では、項目毎に重み値が文字認識部ＣＲに対応付けられる場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、重み値は、各文字認識部ＣＲにおいて、文字毎に対応付けられてもよい。
上述した第１実施形態では、項目毎に重み値が文字認識部ＣＲに対応付けられる場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、重み値は、各文字認識部ＣＲにおいて、文字毎に対応付けられてもよい。
【0225】
図１６は、第１変形例に係る重みテーブルＷＴＮＬの一例を説明するための説明図である。本変形例では、重みテーブルＷＴＮＬが優先テーブルＰＴＢＬとは別に設けられる場合を想定する。例えば、記憶装置１４は、制御プログラムＰＧ１、優先テーブルＰＴＢＬ、重みテーブルＷＴＮＬ及び複数の学習モデルＬＭを記憶する。例えば、重みテーブルＷＴＮＬは、認識結果決定部１２６が評価値を算出する場合に認識結果決定部１２６により参照される。なお、文字の認識に使用する文字認識部ＣＲを記載内容認識部１２４が複数の文字認識部ＣＲから選択する場合には、優先テーブルＰＴＢＬが記載内容認識部１２４により参照される。
【0226】
重みテーブルＷＴＮＬは、例えば、文字認識部ＣＲ毎に管理される。また、各文字認識部ＣＲの重みテーブルＷＴＮＬは、例えば、所定のタイミングで更新される。例えば、各文字認識部ＣＲの重みテーブルＷＴＮＬは、過去に確定文字として決定され、かつ、正しい文字に修正された１つ以上の候補文字と１対１に対応する複数のレコードを有する。すなわち、図１６に示す例では、過去に確定文字として決定されたことのない候補文字、及び、修正されたことのない候補文字は、重みテーブルＷＴＮＬに登録されていない。本変形例では、重みテーブルＷＴＮＬに登録されていない文字（例えば、過去に確定文字として決定されたことのない候補文字、及び、修正されたことのない候補文字等）の重み値は、１として扱われる。
【0227】
各文字認識部ＣＲの重みテーブルＷＴＮＬにおいて、各レコードは、文字ＩＤ及び重み値を有する。文字ＩＤは、当該文字認識部ＣＲが認識する複数の文字の中から、各文字を識別するための情報であり、各文字を示す情報である。例えば、文字ＩＤは、各文字に割り当てられた文字コードであってもよい。なお、図１６では、説明を分かり易くするために、文字ＩＤにより示される文字も図示されている。
【0228】
重み値は、例えば、文字ＩＤにより示される文字に対応付けられた重み値である。重み値は、０以上１以下の実数である。但し、上述したように、図１６に示す例では、１の重み値は、重みテーブルＷＴＮＬに登録されていない文字に対応付けられるため、重みテーブルＷＴＮＬに登録された文字に対応付けられる重み値は、０以上１未満の実数である。
【0229】
例えば、修正回数が多い文字の重み値は、修正回数が少ない文字の重み値より小さい値に設定される。なお、例えば、文字認識部ＣＲ３が「木」の個別文字画像ＧＣを「大」の文字と誤って認識し、文字認識部ＣＲ３から得られる誤った候補文字（「大」）が確定文字に決定された場合、「大」の文字が「木」の文字に修正されるため、「大」の文字の修正回数にカウントされる。また、文字認識部ＣＲ３が、「木」の個別文字画像ＧＣを誤った文字に認識したことがある場合でも、「木」以外の個別文字画像ＧＣを「木」の文字と誤って認識したことがない場合、「木」の文字の修正回数は０である。
【0230】
なお、重みテーブルＷＴＮＬは、図１６に示した例に限定されない。例えば、重みテーブルＷＴＮＬは、重みテーブルＷＴＮＬに登録された各文字に対応付けて、当該文字が初めて重みテーブルＷＴＮＬに登録されてから当該文字が確定文字として決定された回数を記憶してもよい。この場合、重み値は、確定文字として決定された回数に対する修正回数の比率（以下、修正率とも称する）を考慮して設定されてもよい。例えば、修正率が高い文字の重み値は、修正率が低い文字の重み値より小さい値に設定されてもよい。
【0231】
あるいは、各文字認識部ＣＲの重みテーブルＷＴＮＬは、当該文字認識部ＣＲが認識可能な全ての文字と１対１に対応する複数のレコードを有してもよい。この場合、各文字認識部ＣＲの重みテーブルＷＴＮＬは、各文字について、確定文字として決定された回数を記憶してもよい。この場合においても、重み値は、修正率を考慮して設定されてもよい。
【0232】
次に、図１７を参照しながら、重みテーブルＷＴＮＬを用いた確定文字決定処理の一例について説明する。
【0233】
図１７は、第１変形例に係る確定文字決定処理の一例を説明するための説明図である。図１７では、上述した図６と同様に、「住所」に係る申込内容記載領域ＡＫに記載された文字列を示す文字列画像ＧＣＬ５に対して文字認識処理が実行された場合を例にして、「大」の個別文字画像ＧＣ２の認識結果に対応する確定文字の決定方法の一例が説明される。但し、図１７では、説明を分かり易くするために、確度等を図６に示した例と異ならせている箇所がある。
【0234】
なお、図１７では、認識結果決定部１２６が図１６に示した重みテーブルＷＴＮＬを参照する場合を想定する。さらに、図１７では、説明を分かり易くするために、文字列画像ＧＣＬ５の文字の認識に使用される文字認識部ＣＲとして、文字認識部ＣＲ３及びＣＲ４が選択された場合を想定する。
【0235】
図１７に示す例では、認識結果決定部１２６は、文字認識部ＣＲ３による「大」の個別文字画像ＧＣに対する文字認識処理の結果として、「丈」、「太」、「大」、「火」及び「木」の文字を含む複数の候補文字と、複数の候補文字の各々の確度とを、取得する。さらに、認識結果決定部１２６は、文字認識部ＣＲ４による「大」の個別文字画像ＧＣに対する文字認識処理の結果として、「犬」、「大」、「太」、「木」及び「丈」の文字を含む複数の候補文字と、複数の候補文字の各々の確度とを、取得する。
【0236】
認識結果決定部１２６は、複数の候補文字の各々の確度を複数の候補文字の各々の確度重み値で重み付けすることにより、評価値を算出する。例えば、各候補文字の評価値は、各候補文字の確度と各候補文字の重み値との積で表される。具体的には、認識結果決定部１２６は、例えば、文字認識部ＣＲ３から得られる「丈」の候補文字の確度（９０％）と「丈」の候補文字の重み値（０．８）との積（９０＊０．８＝７２）を、「丈」の候補文字の評価値として算出する。文字認識部ＣＲ３から得られる複数の候補文字のうちの「丈」以外の候補文字の各々、及び、文字認識部ＣＲ４から得られる複数の候補文字の各々についても、「丈」の候補文字と同様に、評価値が算出される。
【0237】
そして、認識結果決定部１２６は、文字認識部ＣＲ３及びＣＲ４の各々による「大」の個別文字画像ＧＣ２の認識結果として得られる複数の候補文字のうち、評価値が最も高い候補文字を、「大」の個別文字画像ＧＣの認識結果に対応する確定文字に決定する。なお、評価値が最も高い候補文字が複数存在する場合、認識結果決定部１２６は、当該複数の候補文字のうち、優先度が最も高い候補文字を確定文字に決定してもよい。すなわち、認識結果決定部１２６は、複数の候補文字の各々の確度と、複数の候補文字の各々の重み値と、複数の文字認識部ＣＲの各々の優先度とに基づいて、複数の候補文字の１つを、確定文字に決定してもよい。あるいは、認識結果決定部１２６は、評価値が最も高い候補文字が複数存在する場合、当該複数の候補文字のうち、確度が最も高い候補文字を確定文字に決定してもよい。
【0238】
ここで、図１７に示す例では、複数の候補文字のうち、確度が最も高い候補文字は、図１７の二重丸で示されるように、確度が９２％の「犬」の文字である。例えば、文字毎に重み値が設定されていない形態（以下、第４対比例とも称する）では、複数の候補文字のうち、確度が最も高い「犬」の文字が、「大」の個別文字画像ＧＣの認識結果に対応する確定文字に決定される。すなわち、第４対比例では、文字認識部ＣＲ４から得られる複数の候補文字のうち、修正回数が「大」の文字より多い「犬」の文字が、「大」の個別文字画像ＧＣの認識結果に対応する確定文字に決定される。このため、第４対比例では、本変形例に比べて、誤った文字が確定文字に決定される確率が高くなる。換言すれば、本変形例では、第４対比例に比べて、誤った文字が確定文字に決定されることを抑制することができる。
【0239】
以上、本変形例においても、上述した第１実施形態と同様の効果を得ることができる。なお、文字の認識に使用する文字認識部ＣＲの優先度が、当該文字の修正回数又は修正率に応じて、文字毎に決定されてもよい。また、上述した第２実施形態及び第３実施形態においても、本変形例と同様に、各文字認識部ＣＲにより認識される文字毎に重み値が対応付けられてもよい。
【0240】
［第２変形例］
上述した実施形態及び変形例では、文字認識装置１０と端末装置２０とが互いに別体である場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、文字認識装置１０と端末装置２０とは、一体として構成されてもよい。
上述した実施形態及び変形例では、文字認識装置１０と端末装置２０とが互いに別体である場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、文字認識装置１０と端末装置２０とは、一体として構成されてもよい。
【0241】
【0242】
文字認識システム１Ａは、文字認識装置１０Ａ及び画像入力装置３０を有する。例えば、文字認識装置１０Ａは、画像入力装置３０と通信可能に接続される。なお、文字認識装置１０Ａと画像入力装置３０との接続は、有線及び無線の一方を用いた接続であってもよいし、有線及び無線の両方を用いた接続であってもよい。
【0243】
文字認識装置１０Ａは、文字認識装置１０Ａの各部を制御する処理装置１２と、各種情報を記憶する記憶装置１４と、通信装置１６と、文字認識装置１０Ａのオペレータの操作を受け付ける操作装置２７と、画像等を表示する表示装置２８とを有する。文字認識装置１０Ａは、操作装置２７及び表示装置２８を有することを除いて、図３に示した文字認識装置１０と同様である。但し、文字認識装置１０Ａでは、制御プログラムＰＧ１の代わりに制御プログラムＰＧ４を処理装置１２が実行する点が、文字認識装置１０と相違する。このため、記憶装置１４は、制御プログラムＰＧ１の代わりに制御プログラムＰＧ４を記憶する。なお、文字認識装置１０Ａは、「情報処理装置」の別の例であり、制御プログラムＰＧ４は、「プログラム」の別の例である。
【0244】
本変形例では、制御プログラムＰＧ４は、例えば、文字認識装置１０Ａが文字認識処理を実行するためのアプリケーションプログラムを含む。但し、制御プログラムＰＧ４は、例えば、処理装置１２が文字認識装置１０Ａの各部を制御するためのオペレーティングシステムプログラムを含んでもよい。制御プログラムＰＧ４は、他の装置から送信されてもよい。
【0245】
制御プログラムＰＧ４に含まれるアプリケーションプログラムに従って動作する処理装置１２は、例えば、画像情報取得部１２２、記載内容認識部１２４、認識結果決定部１２６及び表示情報生成部１２８を含む制御部１２０として機能する。図１８に示す処理装置１２により実現される制御部１２０は、端末装置２０を介して実行した処理を端末装置２０を介さずに実行することを除いて、図４に示した制御部１２０と同様である。例えば、画像情報取得部１２２は、文字認識処理の対象となる画像を示す画像情報を画像入力装置３０から取得する。また、例えば、表示情報生成部１２８は、内容確認画面ＣＣＨ等の画像を表示装置２８に表示させるための表示情報を、表示装置２８に出力する。
【0246】
なお、文字認識システム１Ａの構成は、図１８に示した例に限定されない。例えば、画像入力装置３０は、文字認識装置１０Ａに含まれてもよい。また、例えば、文字認識装置１０Ａは、表示装置２８を含まなくてもよい。文字認識装置１０Ａは、表示装置２８を含まない場合、表示装置２８と通信可能に接続される。文字認識装置１０Ａと表示装置２８との接続は、有線及び無線の一方を用いた接続であってもよいし、有線及び無線の両方を用いた接続であってもよい。また、制御プログラムＰＧ４に含まれるアプリケーションプログラムに従って動作する処理装置１２は、例えば、制御部１２０Ａとして機能してもよいし、制御部１２０Ｂとして機能してもよい。なお、処理装置１２が制御部１２０Ｂとして機能する場合、例えば、重みテーブルＷＴＢＬが記憶装置１４に記憶されている。
【0247】
以上、本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。
【0248】
［第３変形例］
上述した実施形態及び変形例において、文字認識装置１０又は１０Ａは、文字認識処理の結果に対する修正の内容を学習してもよい。以上、本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。
上述した実施形態及び変形例において、文字認識装置１０又は１０Ａは、文字認識処理の結果に対する修正の内容を学習してもよい。以上、本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。
【0249】
［第４変形例］
上述した実施形態及び変形例では、文字認識処理の対象となる画像が申込書画像ＧＭである場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、文字認識処理の対象となる画像は、処方箋、経理書類（例えば、請求書、決算書、振込用紙及び見積書等）、及び、記録用紙（例えば、実験等における測定値が記録された用紙等）等の書類の画像であってもよい。
上述した実施形態及び変形例では、文字認識処理の対象となる画像が申込書画像ＧＭである場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、文字認識処理の対象となる画像は、処方箋、経理書類（例えば、請求書、決算書、振込用紙及び見積書等）、及び、記録用紙（例えば、実験等における測定値が記録された用紙等）等の書類の画像であってもよい。
【符号の説明】
【0250】
１、１Ａ…文字認識システム、１０、１０Ａ…文字認識装置、１２…処理装置、１４…記憶装置、１６…通信装置、２０…端末装置、２７…操作装置、２８…表示装置、３０…画像入力装置、１２０、１２０Ａ、１２０Ｂ…制御部、１２２…画像情報取得部、１２４…記載内容認識部、１２６…認識結果決定部、１２８…表示情報生成部、ＣＣＨ…内容確認画面、ＣＲ…文字認識部、ＧＭ…申込書画像、ＬＭ…学習モデル、ＮＷ…ネットワーク、ＭＫ…注意マーク、ＰＴＢＬ…優先テーブル、ＷＴＢＬ…重みテーブル。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】