特許 7601982 文字認識装置及び画像前処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】文字認識装置及び画像前処理方法

(51)【国際特許分類】

   G06V 30/16 20220101AFI20241210BHJP

【ＦＩ】

G06V30/16

【請求項の数】 12

(21)【出願番号】P 2023169752

(22)【出願日】2023-09-29

(62)【分割の表示】P 2023031779の分割

【原出願日】2023-03-02

(65)【公開番号】P2024124307

(43)【公開日】2024-09-12

【審査請求日】2023-09-29

(73)【特許権者】

【識別番号】000155469

【氏名又は名称】株式会社野村総合研究所

(74)【代理人】

【識別番号】100141519

【弁理士】

【氏名又は名称】梶田 邦之

(72)【発明者】

【氏名】松本 雄太

(72)【発明者】

【氏名】久野 弘暉

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１５－１６９９７８（ＪＰ，Ａ）

【文献】特開２０２０－２０４８８７（ＪＰ，Ａ）

【文献】特開２０２１－６８１２４（ＪＰ，Ａ）

【文献】特表２０２０－５２３１０７（ＪＰ，Ａ）

【文献】特開２０２２－１６７１８３（ＪＰ，Ａ）

【文献】特表２０１６－５３３７８２（ＪＰ，Ａ）

【文献】特開２０１１－４３９６９（ＪＰ，Ａ）

【文献】星 秀平，外２名，機械学習を用いた画像対応付けによる３次元復元と性能評価，映像情報メディア学会技術報告 Ｖｏｌ．４５ Ｎｏ．２３，日本，映像情報メディア学会，2021年，第45巻

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／００ － ３０／４２４

(57)【特許請求の範囲】

【請求項1】

複数の認識エリアを含むテンプレート画像と、前記テンプレート画像に対応するフォーマットに認識されるべき文字が記載されている実入力画像と、の間で互いに対応する複数の特徴点を検出する特徴点検出部と、
前記特徴点検出部が検出した前記複数の特徴点に対応する座標値から外れ値を特定し、特定された前記外れ値に対応する特徴点である外れ点を、歪み補正に用いるべき特徴点から除去する外れ点除去部と、
前記外れ点除去部が前記外れ点を除去した後の除去済み特徴点を用いて前記実入力画像の歪みを補正する歪み補正部と、
前記歪み補正部が補正した後の補正済み実入力画像における前記認識エリアに相当するエリアに含まれる補正済み文字に対して文字認識を行う文字認識部と、を備え、
前記特徴点検出部は、前記実入力画像の歪み補正に関連する処理を事前に行うことなく、前記複数の特徴点を検出し、
前記外れ点除去部は、ＣＯＮＳＡＣ（Conditional Sample Consensus）アルゴリズムに基づいて前記外れ点を除去する、
文字認識装置。

【請求項2】

前記外れ点除去部は、前記特徴点検出部が検出したテンプレート画像の各特徴点の座標値と、当該テンプレート画像の各特徴点に対応する実入力画像の各特徴点の座標値とから外れ値を特定し、特定された前記外れ値に対応する特徴点である外れ点を、前記歪み補正部による歪み補正に用いるべき特徴点から除去する
請求項１に記載の文字認識装置。

【請求項3】

前記外れ点除去部は、全ての又は一部の前記対応する複数の特徴点間の距離の統計的値に基づいて設定された閾値を、対応する１つの特徴点の組の座標値間の距離が上回る場合に、当該座標値を前記外れ値として認識する
請求項２に記載の文字認識装置。

【請求項4】

前記歪み補正部は、薄板スプライン（Thin Plate Spline）アルゴリズムに基づいて、前記実入力画像における除去済み特徴点の座標を、前記テンプレート画像における対応する特徴点の座標に近付けるように前記実入力画像を補正する
請求項３に記載の文字認識装置。

【請求項5】

前記特徴点検出部は、前記テンプレート画像に含まれる点と前記実入力画像に含まれる点とが対応していることの程度を示す確信度が所定の閾値を上回る点を、前記複数の特徴点として抽出する
請求項４に記載の文字認識装置。

【請求項6】

前記特徴点検出部は、ＬｏＦＴＲ（Local Feature Matching with Transformers）アルゴリズムに基づいて前記複数の特徴点を検出する
請求項５に記載の文字認識装置。

【請求項7】

前記ＬｏＦＴＲアルゴリズム及び／又は前記ＣＯＮＳＡＣアルゴリズムを用いて、前記特徴点検出部が用いるべき前記テンプレート画像を複数のテンプレート画像から選択するテンプレート選択部を更に備える
請求項６に記載の文字認識装置。

【請求項8】

前記ＬｏＦＴＲアルゴリズム及び／又は前記ＣＯＮＳＡＣアルゴリズムを用いて、前記歪み補正部による前記歪み補正を実行すべきか否かを判定する補正要否判定部を更に備える
請求項６に記載の文字認識装置。

【請求項9】

前記実入力画像に所定の相対長さ以上の直線部分が含まれるか否かに基づいて、前記歪み補正部による前記歪み補正を実行すべきか否かを判定する補正要否判定部を更に備える
請求項１から請求項６のいずれかに記載の文字認識装置。

【請求項10】

前記歪み補正部は、前記実入力画像を複数の部分画像に分割した後に、各部分画像に含まれる除去済み特徴点を用いて当該部分画像の歪みを補正する
請求項１から請求項８のいずれかに記載の文字認識装置。

【請求項11】

前記歪み補正部は、各部分画像に含まれる前記除去済み特徴点のうち、所定数以下の除去済み特徴点を用いて当該部分画像の歪みを補正し、
前記所定数以下の除去済み特徴点を選択する際に、除去済み特徴点間の距離が所定以上に保たれるように選択を行う
請求項１０に記載の文字認識装置。

【請求項12】

コンピュータのプロセッサにより、
複数の認識エリアを含むテンプレート画像と、前記テンプレート画像に対応するフォーマットに認識されるべき文字が記載されている実入力画像と、の間で互いに対応する複数の特徴点を検出することと、
検出された前記複数の特徴点に対応する座標値から外れ値を特定し、特定された前記外れ値に対応する特徴点である外れ点を、歪み補正に用いるべき特徴点から除去することと、
前記外れ点が除去された後の除去済み特徴点を用いて前記実入力画像の歪みを補正することと、を備え、
前記複数の特徴点を検出することは、前記実入力画像の歪み補正に関連する処理を事前に行うことなく、前記複数の特徴点を検出することであり、
前記外れ点を除去することは、ＣＯＮＳＡＣ（Conditional Sample Consensus）アルゴリズムに基づいて前記外れ点を除去することである、
画像前処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文字認識装置及び画像前処理方法に関する。

【背景技術】

【0002】

手書き文字や印刷文字を光学的に読み取った画像を、コンピュータが利用可能なデジタルデータ（例えば、文字コード）に変換する光学文字認識（Optical Character Recognition，ＯＣＲ）技術が活用されている。光学的な読取りは、イメージスキャナやデジタルカメラ等の光学デバイスによって実現される。読み取られた画像は、パターン認識等の画像処理によってデジタルデータに変換される。

【0003】

また、いわゆる人工知能（Artificial Intelligence，ＡＩ）技術が目覚ましく発展している。近年のＡＩ技術の重要なマイルストーンとして、入力層と出力層との間に多数の中間層を有する深層ニューラルネットワークを用いた深層学習（Deep Learning）、注意（Attention）機構を用いて構成されるエンコーダ／デコーダ型のモデルであるトランスフォーマ（Transformer）等が挙げられる。

【0004】

ＡＩ技術の主要な適用分野の１つとして画像処理技術が挙げられる。上述したように、ＯＣＲ技術においては画像処理が用いられることから、現在、ＡＩ技術をＯＣＲ技術に適用したＡＩ－ＯＣＲ技術が発展の端緒にある（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２３－００３６４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ＯＣＲ処理におけるＡＩ技術を利用した歪み補正は未だ発展中の分野であって、今後の様々な技術開発が待望されている。ＯＣＲ処理に対して入力される画像（以下、実入力画像と称する）の歪みが小さいほど、適切な文字認識が実現される。ＡＩ－ＯＣＲのデファクトスタンダードとなるような突出した技術又は技術の組合せは、未だ見出されていない。

【0007】

以上の事情に鑑み、本発明は、実入力画像に記載されている認識されるべき文字を適切に処理することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明に係る文字認識装置は、複数の認識エリアを含むテンプレート画像と、前記テンプレート画像に対応するフォーマットに認識されるべき文字が記載されている実入力画像と、の間で互いに対応する複数の特徴点を検出する特徴点検出部と、前記特徴点検出部が検出した前記複数の特徴点から外れ点を除去する外れ点除去部と、前記外れ点除去部が前記外れ点を除去した後の除去済み特徴点を用いて前記実入力画像の歪みを補正する歪み補正部と、前記歪み補正部が補正した後の補正済み実入力画像における前記認識エリアに相当するエリアに含まれる補正済み文字に対して文字認識を行う文字認識部と、を含む。

【0009】

また、本発明に係る画像前処理方法は、コンピュータのプロセッサにより、複数の認識エリアを含むテンプレート画像と、前記テンプレート画像に対応するフォーマットに認識されるべき文字が記載されている実入力画像と、の間で互いに対応する複数の特徴点を検出することと、検出された前記複数の特徴点から外れ点を除去することと、前記外れ点が除去された後の除去済み特徴点を用いて前記実入力画像の歪みを補正することと、を有する。

【0010】

以上の構成によれば、実入力画像に記載されている認識されるべき文字を適切に処理することが可能である。なお、以上の構成により、当該効果の代わりに、又は当該効果とともに、他の効果が奏されてもよい。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る文字認識装置２０を含む文字認識システムＳを概略的に示す図である。

【図2】第１実施形態に係るユーザ端末１０のハードウェア構成図である。

【図3】第１実施形態に係る文字認識装置２０のハードウェア構成図である。

【図4】第１実施形態に係る文字認識装置２０のソフトウェア構成図である。

【図5】第１実施形態に係る文字認識の詳細処理を示すフローチャートである。

【図6】第１実施形態に係るテンプレート画像Ｉ_Ｔの例を示す図である。

【図7】第１実施形態に係る実入力画像Ｉ_Ｒの例を示す図である。

【図8】第１実施形態に係る特徴点検出の説明図である。

【図9】第１実施形態に係る補正済み実入力画像Ｉ_ＲＡの例を示す図である。

【図10】図９の対比例を示す図である。

【図11】第２実施形態に係る文字認識装置２０のソフトウェア構成図である。

【発明を実施するための形態】

【0012】

以下、添付の図面を参照して本発明の実施形態を詳細に説明する。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複した説明が省略され得る。

【0013】

以下に説明される各実施形態は、本発明を実現可能な構成の一例に過ぎない。以下の各実施形態は、本発明が適用される装置の構成や各種の条件に応じて適宜に修正又は変更することが可能である。以下の各実施形態に含まれる要素の組合せの全てが本発明を実現するのに必須であるとは限られず、要素の一部を適宜に省略することが可能である。したがって、本発明の範囲は、以下の各実施形態に記載される構成によって限定されるものではない。相互に矛盾のない限りにおいて、以下の実施形態内に記載された複数の構成を組み合わせた構成も採用可能である。

【0014】

１． 第１実施形態
図１は、第１実施形態に係る文字認識装置２０を含む文字認識システムＳを概略的に示す図である。文字認識システムＳは、ユーザ端末１０と、文字認識装置２０と、を含む。文字認識システムＳが、他の構成要素を含んでもよい。他の構成要素とは、例えば、ユーザ端末１０と文字認識装置２０との間に配置され、種々のデータ処理を実行するフロントエンドサーバである。

【0015】

ユーザ端末１０は、ユーザが使用するスマートフォンやＰＣ等の端末装置である。ユーザは、ユーザ端末１０を用いて文字認識装置２０が提供するアプリケーションやサービスを使用する。ユーザ端末１０は、例えば、無線通信ネットワーク及びインターネットを介して文字認識装置２０に接続する。

【0016】

文字認識装置２０は、ユーザ端末１０から送信される画像（実入力画像）に対してＯＣＲ処理を実行するサーバ装置である。文字認識装置２０は、例えば、保険金申請のための診断書画像や、銀行口座開設のための申込書画像などの様々な定形帳票に対応した実入力画像に対して、ＯＣＲ処理を実行する。

【0017】

なお、文字認識装置２０は、ＯＣＲ処理による文字認識結果を、他のサーバ装置に送信してよい。また、文字認識装置２０は、ＯＣＲ処理を含む種々のアプリケーション処理を実行するサーバ装置であってもよい。すなわち、文字認識装置２０は、本実施形態で説明される機能のみを提供してもよいし、他の機能を併せて提供してもよい。文字認識装置２０は、オンプレミス環境に配置されてもよく、他の企業によって提供されるクラウド環境に配置されてもよい。また、文字認識装置２０は文字認識部２８による通常のＯＣＲ処理のみを実行し、特徴点検出部２２、外れ点除去部２４並びに歪み補正部２６を含むコンピュータである前処理装置を別に配置し、ユーザ端末から受領した画像をこの前処理装置で処理された画像を文字認識装置２０の文字認識部２８でＯＣＲ処理して文字認識結果を得る構成であってもよい。さらには、文字認識装置２０の各部全て又はその一部を一つのアプリケーションとして構成し、ユーザ端末にインストールして実行する形態であってもよい。

【0018】

文字認識装置２０は、ＯＣＲ処理を実現するための機能部として、特徴点検出部２２と外れ点除去部２４と歪み補正部２６と文字認識部２８とを含む。各部の詳細については後述される。

【0019】

図２は、第１実施形態に係るユーザ端末１０のハードウェア構成図である。図２に示すように、ユーザ端末１０は、プロセッサ１０１とメモリ１０２と入出力インタフェース１０３と通信インタフェース１０４とを有する。ユーザ端末１０に設けられる以上の要素は内部バスによって相互に接続される。なお、ユーザ端末１０は、図２に示された要素以外のハードウェア要素を有してもよい。

【0020】

プロセッサ１０１は、ユーザ端末１０の種々の機能を実現する演算素子である。プロセッサ１０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、メモリコントローラ等の要素を含むＳｏＣ（System-on-a-Chip）であってよい。

【0021】

メモリ１０２は、ＲＡＭ（Random Access Memory）、ｅＭＭＣ（embedded Multi Media Card）等の記憶媒体によって構成される。メモリ１０２は、ユーザ端末１０における種々の処理を実行するのに用いられるプログラム及びデータを一時的又は恒久的に格納する要素である。上記プログラムは、ユーザ端末１０の動作のための１つ以上の命令を含む。プロセッサ１０１は、メモリ１０２に記憶されたプログラムをメモリ１０２及び／又は不図示のシステムメモリに展開し実行することによって、ユーザ端末１０の機能を実現する。

【0022】

入出力インタフェース１０３は、ユーザ端末１０への操作を受け付けてプロセッサ１０１に供給すると共に、種々の情報をユーザに提示するインタフェースであって、例えば、タッチパネル、又はキーボード及びディスプレイである。

【0023】

通信インタフェース１０４は、インターネット通信を実現するための種々の信号処理を実行する回路であって、例えば、ネットワークインタフェースカード（ＮＩＣ）である。

【0024】

図３は、第１実施形態に係る文字認識装置２０のハードウェア構成図である。図３に示すように、文字認識装置２０は、プロセッサ２０１とメモリ２０２と入出力インタフェース２０３と通信インタフェース２０４とを有する。文字認識装置２０に設けられる以上の要素は内部バスによって相互に接続される。なお、文字認識装置２０は、図３に示された要素以外のハードウェア要素を有してもよい。

【0025】

プロセッサ２０１は、文字認識装置２０の種々の機能を実現する演算素子である。プロセッサ２０１は、ＣＰＵであってよく、さらにＧＰＵ等の他のプロセッサを含んでもよい。

【0026】

メモリ２０２は、ＲＡＭ、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶媒体によって構成される。メモリ２０２は、文字認識装置２０における種々の処理を実行するのに用いられるプログラム及びデータを一時的又は恒久的に格納する要素である。上記プログラムは、文字認識装置２０の動作のための１つ以上の命令を含む。プロセッサ２０１は、メモリ２０２に記憶されたプログラムをメモリ２０２及び／又は不図示のシステムメモリに展開し実行することによって、文字認識装置２０の機能を実現する。

【0027】

入出力インタフェース２０３は、文字認識装置２０への操作を受け付けてプロセッサ２０１に供給すると共に、種々の情報をユーザに提示するインタフェースであって、例えば、キーボード及びディスプレイである。なお、文字認識装置２０が入出力インタフェース２０３を有さず、遠隔操作されてもよい。

【0028】

通信インタフェース２０４は、インターネット通信を実現するための種々の信号処理を実行する回路であって、例えば、ネットワークインタフェースカード（ＮＩＣ）である。

【0029】

図４は、第１実施形態に係る文字認識装置２０のソフトウェア構成図である。図４に示すように、文字認識装置２０は、制御部２１０と記憶部２２０と通信部２３０とを有する。

【0030】

制御部２１０は、特徴点検出部２２と外れ点除去部２４と歪み補正部２６と文字認識部２８とを含む種々の機能を実現するソフトウェア要素であって、前述されたプロセッサ２０１によって実現される。以下、制御部２１０の動作を概略的に説明する。

【0031】

特徴点検出部２２は、複数の認識エリアＲＡを含むテンプレート画像Ｉ_Ｔと、テンプレート画像Ｉ_Ｔに対応するフォーマットＦに認識されるべき文字が記載されている実入力画像Ｉ_Ｒと、の間で互いに対応する複数の特徴点Ｐ_Ｆを検出する。

【0032】

外れ点除去部２４は、特徴点検出部２２が検出した複数の特徴点Ｐ_Ｆから外れ点Ｐ_Ｏを除去する。

【0033】

歪み補正部２６は、外れ点除去部２４が外れ点を除去した後の除去済み特徴点Ｐ_ＦＥを用いて実入力画像Ｉ_Ｒの歪みを補正する。

【0034】

文字認識部２８は、歪み補正部２６が補正した後の補正済み実入力画像Ｉ_ＲＡにおける認識エリアＲＡに相当するエリアＣＡに含まれる補正済み文字Ｃ’に対して文字認識を行う。

【0035】

記憶部２２０は、制御部２１０によって使用される種々のデータ及びプログラムを記憶する要素であって、プロセッサ２０１と協働するメモリ２０２によって実現される。

【0036】

通信部２３０は、制御部２１０による制御の下で他の装置と通信する要素であって、プロセッサ２０１と協働する通信インタフェース２０４によって実現される。

【0037】

図５から図１０を参照して、第１実施形態に係る文字認識の詳細処理を説明する。図５は、第１実施形態に係る文字認識の詳細処理を示すフローチャートである。

【0038】

ステップＳ５１０において、まず、特徴点検出部２２は、ユーザ端末１０から送信された実入力画像Ｉ_Ｒを受信すると共に、記憶部２２０に記憶されているテンプレート画像Ｉ_Ｔを読み出す。

【0039】

図６は、第１実施形態に係るテンプレート画像Ｉ_Ｔの例を示す図である。テンプレート画像Ｉ_Ｔは、ユーザが文字を記入するための紙媒体（フォーマットＦ）をプリントするのに用いられる画像データである。フォーマットＦは、プリント済みの紙媒体としてユーザに提供されてもよいし、ユーザ自身によってプリントされてもよい。

【0040】

図６に示すように、テンプレート画像Ｉ_Ｔは、複数の認識エリアＲＡを含む。認識エリアＲＡは、例えば、漢字や数字が記入されるエリアと、チェック印によってチェックされるエリアとを含む。図６においては、作図の簡単のために、一部の認識エリアＲＡのみに符号が付されている。認識エリアＲＡは、テンプレート画像Ｉ_Ｔを示す画像データにおいて、画像内の座標によって特定される所定の領域（例えば、矩形領域）を占めると共に、プリントされたフォーマットＦにおいて所定の物理的領域を占める。

【0041】

図７は、第１実施形態に係る実入力画像Ｉ_Ｒの例を示す図である。図７に示すように、実入力画像Ｉ_Ｒは、テンプレート画像Ｉ_Ｔに対応するフォーマットＦを撮影した画像であって、ユーザがフォーマットＦに記載した文字が含まれる。実入力画像Ｉ_Ｒは、現実の紙媒体であるフォーマットＦを撮影することによって取得される画像データである。したがって、図７のように、実入力画像Ｉ_Ｒは、紙の折り目や撮影角度等の複数の要因に基づいて生じた歪みを有する場合が多い。

【0042】

特徴点検出部２２は、ステップＳ５１０において、歪み補正部２６による実入力画像Ｉ_Ｒの歪み補正（ステップＳ５３０）の前処理として、以下のような特徴点検出を実行する。

【0043】

図８は、第１実施形態に係る特徴点検出の説明図である。特徴点検出部２２は、例えば、ＬｏＦＴＲ（Local Feature Matching with Transformers）アルゴリズムに基づいて、テンプレート画像Ｉ_Ｔと実入力画像Ｉ_Ｒとの間で互いに対応する複数の特徴点Ｐ_Ｆを検出する。

【0044】

特徴点Ｐ_Ｆは、例えばエリアの境界や矩形枠のコーナー等の画像上の特徴的な点であって、本実施形態においてはテンプレート画像Ｉ_Ｔと実入力画像Ｉ_Ｒとの間で互いに対応している。互いに対応するテンプレート画像Ｉ_Ｔ上の特徴点Ｐ_Ｆ及び実入力画像Ｉ_Ｒ上の特徴点Ｐ_Ｆは、類似する特徴量を有する。

【0045】

特徴点検出部２２は、テンプレート画像Ｉ_Ｔに含まれる点と実入力画像Ｉ_Ｒに含まれる点とが対応していることの程度を示す確信度（Confidence）が所定の閾値（例えば、９８％又は９９％）を上回る点を、複数の特徴点Ｐ_Ｆとして抽出すると好適である。上記した特徴点Ｐ_Ｆの抽出は、例えば、ＬｏＦＴＲアルゴリズムに従って実行される。ＬｏＦＴＲアルゴリズムは、教師データを用いた教師あり学習によって学習された学習済みモデルによって実現される。ＬｏＦＴＲアルゴリズムにおいては、テンプレート画像Ｉ_Ｔと実入力画像Ｉ_Ｒとの間で互いに対応する複数の特徴点Ｐ_Ｆを探索し、探索された特徴点Ｐ_Ｆが確信度に従って足切りされる。

【0046】

ＬｏＦＴＲアルゴリズムでは、まず、畳み込みニューラルネットワーク及びトランスフォーマによって各画像Ｉ_Ｔ，Ｉ_Ｒに関する特徴量Ｆ_Ｔ，Ｆ_Ｒが算定される。その後、画像Ｉ_Ｔ，Ｉ_Ｒ間の粗な対応付けを輸送最適アルゴリズムによって算定し、小パッチにおける詳細な対応付けの計算を行う。結果として、画像Ｉ_Ｔ，Ｉ_Ｒ間におけるピクセルレベルのマッチングが行われ、対応する複数の特徴点Ｐ_Ｆが抽出される。以上から理解されるように、ＬｏＦＴＲアルゴリズムは、各画像Ｉ_Ｔ，Ｉ_Ｒの全体に対して適用される手法である。

【0047】

図８は、ＬｏＦＴＲアルゴリズムによって検出された複数の特徴点Ｐ_Ｆの説明図である。図８では、テンプレート画像Ｉ_Ｔと実入力画像Ｉ_Ｒとの間で互いに対応する特徴点Ｐ_Ｆが線分によって示されている。

【0048】

なお、特徴点検出部２２は、ＳｕｐｅｒＰｏｉｎｔやＰａｔｃｈ２Ｐｉｘ等、ＬｏＦＴＲ以外のアルゴリズムに基づいて複数の特徴点Ｐ_Ｆを検出してもよい。すなわち、特徴点検出部２２は、任意の検出アルゴリズムを用いて、テンプレート画像Ｉ_Ｔ及び実入力画像Ｉ_Ｒに対するステップＳ５１０の処理を実行してよい。

【0049】

ステップＳ５２０において、歪み補正部２６による実入力画像Ｉ_Ｒの歪み補正（ステップＳ５３０）の前処理として、外れ点除去部２４は、特徴点検出部２２が検出した複数の特徴点Ｐ_Ｆから外れ点Ｐ_Ｏを除去する。

【0050】

より詳細には、外れ点除去部２４は、ＣＯＮＳＡＣ（Conditional Sample Consensus）アルゴリズムに基づいて、複数の特徴点Ｐ_Ｆに対応する座標値から外れ値を特定し、特定された外れ値に対応する特徴点Ｐ_Ｆである外れ点Ｐ_Ｏを、歪み補正部２６によるステップＳ５３０の歪み補正に用いるべき特徴点Ｐ_Ｆから除去する。外れ点除去部２４は、例えば、対応する特徴点Ｐ_Ｆの座標値間の距離が所定の閾値を上回る場合に、その座標値（特徴点Ｐ_Ｆの組）を外れ値として認識してよい。上記所定の閾値は、全ての対応する特徴点Ｐ_Ｆ間の距離の統計的値（平均値、中央値、分散、標準偏差等）に基づいて設定されてもよく、ランダムに選択された部分的な特徴点Ｐ_Ｆ間の距離の統計的値に基づいて設定されてもよい。

【0051】

ＣＯＮＳＡＣアルゴリズムは、教師あり学習及び自己教師あり学習によって学習された学習済みモデルによって実現される。ＣＯＮＳＡＣアルゴリズムにおいては、データセットからサンプルを選択する際に用いた情報に基づいてサンプルが更新される。ＣＯＮＳＡＣアルゴリズムは、ＬｏＦＴＲアルゴリズムと同様に、各画像Ｉ_Ｔ，Ｉ_Ｒの全体に対して適用される手法である。

【0052】

ステップＳ５３０において、歪み補正部２６は、外れ点除去部２４が外れ点Ｐ_Ｏを除去した後の除去済み特徴点Ｐ_ＦＥを用いて実入力画像Ｉ_Ｒの歪みを補正する。

【0053】

より詳細には、歪み補正部２６は、薄板スプライン（Thin Plate Spline）アルゴリズムに基づいて、実入力画像Ｉ_Ｒにおける除去済み特徴点Ｐ_ＦＥの座標を、テンプレート画像Ｉ_Ｔにおける対応する特徴点Ｐ_Ｆの座標に近付けるように実入力画像Ｉ_Ｒを補正し、補正済み実入力画像Ｉ_ＲＡを出力する。

【0054】

薄板スプラインアルゴリズムは、２次元平面における点の集合を用いて、集合に含まれる点を通る曲面を求めるアルゴリズムである。本実施形態においては、薄板スプラインアルゴリズムが実入力画像Ｉ_Ｒの全体に対して適用される。他に、後述されるように、薄板スプラインアルゴリズムが実入力画像Ｉ_Ｒを分割した部分画像に対して適用されてもよい。

【0055】

図９は、第１実施形態に係る補正済み実入力画像Ｉ_ＲＡの例を示す図である。一方、図１０は、図５に示すフローチャートにおいてステップＳ５２０の外れ点除去を実行しない場合に歪み補正部２６から出力される補正済み実入力画像Ｉ’_ＲＡの例（すなわち、図９の対比例）を示す図である。

【0056】

図９に示すように、上述したステップＳ５１０からＳ５３０を実入力画像Ｉ_Ｒに対して実行した場合には、フォーマットＦにおける歪みが適切に補正された補正済み実入力画像Ｉ_ＲＡが取得されている。

【0057】

一方、図１０に示すように、ステップＳ５２０の外れ点除去が実行されない場合には、歪み補正が不完全な補正済み実入力画像Ｉ’_ＲＡが取得されてしまう。結果として、後段の文字認識の精度が低下する。

【0058】

ステップＳ５４０において、文字認識部２８は、歪み補正部２６が補正した後の補正済み実入力画像Ｉ_ＲＡにおける認識エリアＲＡに相当するエリアＣＡに含まれる補正済み文字Ｃ’に対して文字認識を行う。

【0059】

以上の構成によれば、特徴点検出及び外れ値除去に基づく歪み補正がなされた実入力画像Ｉ_Ｒに対して文字認識が実行されるので、そうでない構成と比較して、実入力画像Ｉ_Ｒに記載された文字をより適切に認識することが可能である。

【0060】

２． 第２実施形態
図１１は、第２実施形態に係る文字認識装置２０のソフトウェア構成図である。図１１に示すように、文字認識装置２０は、第１実施形態と同様に、制御部２１０と記憶部２２０と通信部２３０とを有する。第１実施形態と比較して、第２実施形態の制御部２１０は、テンプレート選択部３０と補正要否判定部３２とを、ソフトウェア要素としてさらに含む。

【0061】

テンプレート選択部３０は、ＬｏＦＴＲアルゴリズム及び／又はＣＯＮＳＡＣアルゴリズムを用いて、特徴点検出部２２が用いるべきテンプレート画像Ｉ_Ｔを複数のテンプレート画像Ｉ_Ｔから選択する。

【0062】

より詳細には、例えば、テンプレート選択部３０は、実入力画像Ｉ_Ｒと複数のテンプレート画像Ｉ_Ｔの各々との間で特徴点検出部２２による特徴点検出を行って、最も多くの特徴点Ｐ_Ｆが検出されたテンプレート画像Ｉ_Ｔを選択する。その後、選択されたテンプレート画像Ｉ_Ｔを用いて、第１実施形態のステップＳ５１０からＳ５４０が実行される。

【0063】

また、テンプレート選択部３０は、上記のように検出された特徴点Ｐ_Ｆに対して、さらに外れ点除去部２４による外れ点除去を行った後に、最も多くの特徴点Ｐ_Ｆが残っているテンプレート画像Ｉ_Ｔを選択してもよい。

【0064】

以上の構成によれば、ユーザ端末１０のユーザがテンプレート画像Ｉ_Ｔを選択しなくても、使用すべきテンプレート画像Ｉ_Ｔを文字認識装置２０が自動的に選択可能である。

【0065】

補正要否判定部３２は、ＬｏＦＴＲアルゴリズム及び／又はＣＯＮＳＡＣアルゴリズムを用いて、歪み補正部２６による歪み補正を実行すべきか否かを判定する。

【0066】

より詳細には、例えば、補正要否判定部３２は、実入力画像Ｉ_Ｒと複数のテンプレート画像Ｉ_Ｔの各々との間で特徴点検出部２２による特徴点検出を行う。対応する特徴点Ｐ_Ｆの間で座標値の差分が大きい場合（例えば、座標値の差分の合計が所定の閾値を上回る場合）、実入力画像Ｉ_Ｒの歪みが相対的に大きいと考えられるので、補正要否判定部３２は歪み補正部２６による歪み補正を実行すると判定する。

【0067】

又は、対応する特徴点Ｐ_Ｆの間で座標値の差分の分散が大きい場合（例えば、座標値の差分の分散が所定の閾値を上回る場合）、実入力画像Ｉ_Ｒの歪みが相対的に大きいと考えられるので、補正要否判定部３２は歪み補正部２６による歪み補正を実行すると判定する。

【0068】

また、補正要否判定部３２は、上記のように検出された特徴点Ｐ_Ｆに対して、さらに外れ点除去部２４による外れ点除去を行った後に、上記した補正要否判定を実行してもよい。

【0069】

歪み補正部２６による歪み補正を実行しないと判定された場合、制御部２１０は、実入力画像Ｉ_Ｒに対して一般的な台形補正を実行してよい。

【0070】

以上の構成によれば、歪みが相対的に大きい画像、すなわち歪み補正の必要性が相対的に高い画像に対して、選択的に歪み補正が実行される。したがって、文字認識装置２０の全体的な処理負荷を低減することが可能である。

【0071】

また、補正要否判定部３２は、上記要否判定に代えて、実入力画像Ｉ_Ｒに所定の相対長さ（例えば、フォーマットＦの縦辺又は横辺の全長の７０％又は８０％）以上の直線部分が含まれるか否かに基づいて、歪み補正部２６による歪み補正を実行すべきか否かを判定してもよい。

【0072】

第１実施形態においては、ステップＳ５３０において、歪み補正部２６が、実入力画像Ｉ_Ｒの全体に対して歪み補正を実行する。対照的に、第２実施形態において、歪み補正部２６は、実入力画像Ｉ_Ｒを複数の部分画像Ｉ_Ｐに分割した後に、各部分画像Ｉ_Ｐに含まれる除去済み特徴点Ｐ_ＦＥを用いて当該部分画像Ｉ_Ｐの歪みを補正する。歪み補正部２６は、実入力画像Ｉ_Ｒを６つの部分画像Ｉ_Ｐに分割にしてもよく、８つの部分画像Ｉ_Ｐに分割にしてもよく、さらに多くの部分画像Ｉ_Ｐに分割にしてもよい。

【0073】

薄板スプラインアルゴリズムは、処理対象の画像のサイズが増大するに従って顕著に処理負荷が高まり、メモリリーク等の問題が生じる可能性も高まる。以上の構成によれば、歪み補正部２６による歪み補正の処理負荷を低減することが可能である。

【0074】

なお、第２実施形態においても、ステップＳ５１０の特徴点検出及びステップＳ５２０の外れ点除去は、実入力画像Ｉ_Ｒの全体に対して実行される。

【0075】

また、歪み補正部２６は、各部分画像Ｉ_Ｐに含まれる除去済み特徴点Ｐ_ＦＥのうち、所定数以下の除去済み特徴点Ｐ_ＦＥを用いて当該部分画像Ｉ_Ｐの歪みを補正してよい。さらに、歪み補正部２６は、除去済み特徴点Ｐ_ＦＥを選択する際に、除去済み特徴点Ｐ_ＦＥ間の距離が所定以上に保たれるように（例えば、選択後の除去済み特徴点Ｐ_ＦＥ間の距離の合計が所定の閾値を上回るように）選択を行ってよい。

【0076】

以上の構成によれば、歪み補正部２６による歪み補正の処理負荷をさらに低減することが可能である。

【0077】

上記した本実施形態におけるテンプレート選択部３０によるテンプレート選択、補正要否判定部３２による補正要否判定、及び歪み補正部２６による部分画像の歪み補正は、独立して実行可能である。上記３つの独立した動作のうち、いずれか１つ又は２つの動作のみが実行されてもよいことは、当業者に当然に理解される。

【0078】

３． その他の実施形態
３．１． 変形例
以上、本発明を実施するための形態を説明したが、本発明は上記実施形態に限定されるものではない。上記実施形態は例示に過ぎず、種々の変形が可能であることは当然に理解される。上記実施形態において使用される単語、連語等の表現は例示に過ぎず、実質的に同一の又は類似する表現に置換され得る。

【0079】

歪み補正部２６は、上記実施形態にて説明された歪み補正を行った後に、ＬｏＦＴＲアルゴリズム及び／又はＣＯＮＳＡＣアルゴリズムを用いて、補正済み実入力画像Ｉ_ＲＡにおける歪み補正が適切であるか否かを判定してよい。

【0080】

上記実施形態に記載された装置が提供する手段および／または機能は、実体的なメモリ装置に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供することができる。例えば、いずれかの上記装置がハードウェアである電子回路によって提供される場合、それは多数の論理回路を含むデジタル回路、またはアナログ回路によって提供することができる。

【0081】

上記実施形態に記載された装置は、非遷移的実体的記録媒体（non-transitory tangible storage medium）に格納されたプログラムを実行する。このプログラムが実行されることで、プログラムに対応する方法が実行される。

【0082】

３．２． 付記
上記実施形態及び変形例の一部又は全部は、以下の付記のようにも記載され得るが、以下の付記の内容には限定されない。以下では、複数の付記に従属する付記に対して、複数の付記に従属する付記が従属するという関係性が表現される。以下に表現される付記の従属関係の全てが上記実施形態に含まれる。

【0083】

（付記１）
複数の認識エリアを含むテンプレート画像と、前記テンプレート画像に対応するフォーマットに認識されるべき文字が記載されている実入力画像と、の間で互いに対応する複数の特徴点を検出する特徴点検出部と、
前記特徴点検出部が検出した前記複数の特徴点から外れ点を除去する外れ点除去部と、
前記外れ点除去部が前記外れ点を除去した後の除去済み特徴点を用いて前記実入力画像の歪みを補正する歪み補正部と、
前記歪み補正部が補正した後の補正済み実入力画像における前記認識エリアに相当するエリアに含まれる補正済み文字に対して文字認識を行う文字認識部と、を備える
文字認識装置。

【0084】

（付記２）
前記外れ点除去部は、ＣＯＮＳＡＣ（Conditional Sample Consensus）アルゴリズムに基づいて、前記複数の特徴点に対応する座標値から外れ値を特定し、特定された前記外れ値に対応する特徴点である前記外れ点を、前記歪み補正部による歪み補正に用いるべき特徴点から除去する
付記１に記載の文字認識装置。

【0085】

（付記３）
前記歪み補正部は、薄板スプライン（Thin Plate Spline）アルゴリズムに基づいて、前記実入力画像における除去済み特徴点の座標を、前記テンプレート画像における対応する特徴点の座標に近付けるように前記実入力画像を補正する
付記２に記載の文字認識装置。

【0086】

（付記４）
前記特徴点検出部は、前記テンプレート画像に含まれる点と前記実入力画像に含まれる点とが対応していることの程度を示す確信度が所定の閾値を上回る点を、前記複数の特徴点として抽出する
付記２又は付記３に記載の文字認識装置。

【0087】

（付記５）
前記特徴点検出部は、ＬｏＦＴＲ（Local Feature Matching with Transformers）アルゴリズムに基づいて前記複数の特徴点を検出する
付記２から付記４のいずれかに記載の文字認識装置。

【0088】

（付記６）
前記ＬｏＦＴＲアルゴリズム及び／又は前記ＣＯＮＳＡＣアルゴリズムを用いて、前記特徴点検出部が用いるべき前記テンプレート画像を複数のテンプレート画像から選択するテンプレート選択部を更に備える
付記２から付記５のいずれかに記載の文字認識装置。

【0089】

（付記７）
前記ＬｏＦＴＲアルゴリズム及び／又は前記ＣＯＮＳＡＣアルゴリズムを用いて、前記歪み補正部による前記歪み補正を実行すべきか否かを判定する補正要否判定部を更に備える
付記２から付記５のいずれかに記載の文字認識装置。

【0090】

（付記８）
前記実入力画像に所定の相対長さ以上の直線部分が含まれるか否かに基づいて、前記歪み補正部による前記歪み補正を実行すべきか否かを判定する補正要否判定部を更に備える
付記１から付記５のいずれかに記載の文字認識装置。

【0091】

（付記９）
前記歪み補正部は、前記実入力画像を複数の部分画像に分割した後に、各部分画像に含まれる除去済み特徴点を用いて当該部分画像の歪みを補正する
付記１から付記８のいずれかに記載の文字認識装置。

【0092】

（付記１０）
前記歪み補正部は、各部分画像に含まれる前記除去済み特徴点のうち、所定数以下の除去済み特徴点を用いて当該部分画像の歪みを補正する
付記９に記載の文字認識装置。

【0093】

（付記１１）
前記歪み補正部は、前記所定数以下の除去済み特徴点を選択する際に、除去済み特徴点Ｐ間の距離が所定以上に保たれるように選択を行う
付記１０に記載の文字認識装置。

【0094】

（付記１２）
複数の認識エリアを含むテンプレート画像と、前記テンプレート画像に対応するフォーマットに認識されるべき文字が記載されている実入力画像と、の間で互いに対応する複数の特徴点を検出する特徴点検出部と、
前記特徴点検出部が検出した前記複数の特徴点から外れ点を除去する外れ点除去部と、
前記外れ点除去部が前記外れ点を除去した後の除去済み特徴点を用いて前記実入力画像の歪みを補正する歪み補正部と、を備える
画像前処理装置。

【0095】

（付記１３）
コンピュータのプロセッサにより、
複数の認識エリアを含むテンプレート画像と、前記テンプレート画像に対応するフォーマットに認識されるべき文字が記載されている実入力画像と、の間で互いに対応する複数の特徴点を検出することと、
検出された前記複数の特徴点から外れ点を除去することと、
前記外れ点が除去された後の除去済み特徴点を用いて前記実入力画像の歪みを補正することと、を備える
画像前処理方法。

【0096】

（付記１４）
文字認識装置のプロセッサにより、
複数の認識エリアを含むテンプレート画像と、前記テンプレート画像に対応するフォーマットに認識されるべき文字が記載されている実入力画像と、の間で互いに対応する複数の特徴点を検出することと、
前記複数の特徴点から外れ点を除去することと、
前記外れ点が除去された後の除去済み特徴点を用いて前記実入力画像の歪みを補正することと、
補正された後の補正済み実入力画像における前記認識エリアに相当するエリアに含まれる補正済み文字に対して文字認識を行うことと、を備える
方法。

【0097】

（付記１５）
文字認識装置のプロセッサに、
複数の認識エリアを含むテンプレート画像と、前記テンプレート画像に対応するフォーマットに認識されるべき文字が記載されている実入力画像と、の間で互いに対応する複数の特徴点を検出することと、
前記複数の特徴点から外れ点を除去することと、
前記外れ点が除去された後の除去済み特徴点を用いて前記実入力画像の歪みを補正することと、
補正された後の補正済み実入力画像における前記認識エリアに相当するエリアに含まれる補正済み文字に対して文字認識を行うことと、を実行させる
プログラム。

【0098】

（付記１６）
文字認識装置のプロセッサに、
複数の認識エリアを含むテンプレート画像と、前記テンプレート画像に対応するフォーマットに認識されるべき文字が記載されている実入力画像と、の間で互いに対応する複数の特徴点を検出することと、
前記複数の特徴点から外れ点を除去することと、
前記外れ点が除去された後の除去済み特徴点を用いて前記実入力画像の歪みを補正することと、
補正された後の補正済み実入力画像における前記認識エリアに相当するエリアに含まれる補正済み文字に対して文字認識を行うことと、を実行させる
プログラムを記録した非遷移的実体的記録媒体。

【符号の説明】

【0099】

１０ ユーザ端末
２０ 文字認識装置
２２ 特徴点検出部
２４ 外れ点除去部
２６ 歪み補正部
２８ 文字認識部
３０ テンプレート選択部
３２ 補正要否判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】