特許 6574920 画像処理システム、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6574920

(24)【登録日】2019年8月23日

(45)【発行日】2019年9月11日

(54)【発明の名称】画像処理システム、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06K 9/32 20060101AFI20190902BHJP

【ＦＩ】

   G06K9/32

【請求項の数】12

【全頁数】32

(21)【出願番号】特願2019-523116(P2019-523116)

(86)(22)【出願日】2018年7月6日

(86)【国際出願番号】JP2018025719

【審査請求日】2019年4月26日

【早期審査対象出願】

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】蔡 永男

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１２−０９８９８４（ＪＰ，Ａ）

【文献】 特開２０１６−０７６０９３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ ９／００−９／８２

(57)【特許請求の範囲】

【請求項1】

画像読取装置又は撮影装置によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像を取得する取得手段と、
見本画像における前記文書の特徴と、前記取込画像における前記文書の特徴と、に基づいて、前記取込画像を整形して第１整形画像を取得する第１整形手段と、
前記第１整形画像から、前記定型部分の特徴部分を検出する検出手段と、
前記検出手段により検出された特徴部分の位置関係が所定の位置関係に合うように、前記第１整形画像を整形して第２整形画像を取得する第２整形手段と、
を含むことを特徴とする画像処理システム。

【請求項2】

前記第１整形手段は、前記見本画像から抽出された前記文書の特徴点群と、前記取込画像から抽出された前記文書の特徴点群と、に基づいて、前記第１整形画像を取得する、
ことを特徴とする請求項１に記載の画像処理システム。

【請求項3】

前記第１整形手段は、前記見本画像における所定領域内の前記文書の特徴と、前記取込画像における前記所定領域に対応する領域内の前記文書の特徴と、に基づいて、前記第１整形画像を取得する、
ことを特徴とする請求項１又は２に記載の画像処理システム。

【請求項4】

前記所定領域は、前記見本画像において前記定型部分が表れた領域である、
ことを特徴とする請求項３に記載の画像処理システム。

【請求項5】

前記検出手段は、前記見本画像における前記特徴部分をテンプレート画像としたテンプレートマッチングに基づいて、前記第１整形画像から前記特徴部分を検出する、
ことを特徴とする請求項１〜４の何れかに記載の画像処理システム。

【請求項6】

前記検出手段は、前記第１整形画像のうち、所定位置を含む領域の中から、前記特徴部分を検出する、
ことを特徴とする請求項１〜５の何れかに記載の画像処理システム。

【請求項7】

前記検出手段は、複数の特徴部分を検出し、
前記第２整形手段は、前記複数の特徴部分の各々の位置関係が、当該特徴部分に対応する所定の位置関係に合うように、前記第１整形画像を整形して第２整形画像を取得する、
ことを特徴とする請求項１〜６の何れかに記載の画像処理システム。

【請求項8】

前記複数の特徴部分の各々は、前記文書の端部付近に配置される、
ことを特徴とする請求項７に記載の画像処理システム。

【請求項9】

前記特徴部分は、前記定型部分における文字又は記号である、
ことを特徴とする請求項１〜８の何れかに記載の画像処理システム。

【請求項10】

前記画像処理システムは、前記第２整形画像に対して光学文字認識を実行する実行手段、
を更に含むことを特徴とする請求項１〜９の何れかに記載の画像処理システム。

【請求項11】

画像読取装置又は撮影装置によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像を取得する取得ステップと、
見本画像における前記文書の特徴と、前記取込画像における前記文書の特徴と、に基づいて、前記取込画像を整形して第１整形画像を取得する第１整形ステップと、
前記第１整形画像から、前記定型部分の特徴部分を検出する検出ステップと、
前記検出ステップにより検出された特徴部分の位置関係が所定の位置関係に合うように、前記第１整形画像を整形して第２整形画像を取得する第２整形ステップと、
を含むことを特徴とする画像処理方法。

【請求項12】

画像読取装置又は撮影装置によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像を取得する取得手段、
見本画像における前記文書の特徴と、前記取込画像における前記文書の特徴と、に基づいて、前記取込画像を整形して第１整形画像を取得する第１整形手段、
前記第１整形画像から、前記定型部分の特徴部分を検出する検出手段、
前記検出手段により検出された特徴部分の位置関係が所定の位置関係に合うように、前記第１整形画像を整形して第２整形画像を取得する第２整形手段、
としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

従来、スキャナやカメラなどによって取り込まれた文書の取込画像を解析する技術が知られている。例えば、特許文献１には、文書内の所定位置に、特徴部分として基準マークを印刷しておき、取込画像に対して斜め方向に基準マークを探索する装置が記載されている。この装置では、検出した基準マークの位置に基づいて、取込画像における文書の曲がりを正すように整形したうえで、光学文字認識が実行される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１−０１４４２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、文書の歪み方や曲がり方は取込画像によって異なるので、特許文献１の技術のように、取込画像内の斜め方向に特徴部分を探索したとしても、特徴部分をうまく検出できないことがある。この場合、方向を変えながら特徴部分の探索を繰り返さなければならないので、画像処理に時間がかかってしまう。

【0005】

本発明は上記課題に鑑みてなされたものであって、その目的は、画像処理を高速化することが可能な画像処理システム、画像処理方法、及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明に係る画像処理システムは、画像読取装置又は撮影装置によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像を取得する取得手段と、見本画像における前記文書の特徴と、前記取込画像における前記文書の特徴と、に基づいて、前記取込画像を整形して第１整形画像を取得する第１整形手段と、前記第１整形画像から、前記定型部分の特徴部分を検出する検出手段と、前記検出手段により検出された特徴部分の位置が所定位置に合うように、前記第１整形画像を整形して第２整形画像を取得する第２整形手段と、を含むことを特徴とする。

【0007】

本発明に係る画像処理方法は、画像読取装置又は撮影装置によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像を取得する取得ステップと、見本画像における前記文書の特徴と、前記取込画像における前記文書の特徴と、に基づいて、前記取込画像を整形して第１整形画像を取得する第１整形ステップと、前記第１整形画像から、前記定型部分の特徴部分を検出する検出ステップと、前記検出手段により検出された特徴部分の位置が所定位置に合うように、前記第１整形画像を整形して第２整形画像を取得する第２整形ステップと、を含むことを特徴とする。

【0008】

本発明に係るプログラムは、画像読取装置又は撮影装置によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像を取得する取得手段、見本画像における前記文書の特徴と、前記取込画像における前記文書の特徴と、に基づいて、前記取込画像を整形して第１整形画像を取得する第１整形手段、前記第１整形画像から、前記定型部分の特徴部分を検出する検出手段、前記検出手段により検出された特徴部分の位置が所定位置に合うように、前記第１整形画像を整形して第２整形画像を取得する第２整形手段、としてコンピュータを機能させる。

【0009】

本発明の一態様では、前記第１整形手段は、前記見本画像から抽出された前記文書の特徴点群と、前記取込画像から抽出された前記文書の特徴点群と、に基づいて、前記第１整形画像を取得する、ことを特徴とする。

【0010】

本発明の一態様では、前記第１整形手段は、前記見本画像における所定領域内の前記文書の特徴と、前記取込画像における前記所定領域に対応する領域内の前記文書の特徴と、に基づいて、前記第１整形画像を取得する、ことを特徴とする。

【0011】

本発明の一態様では、前記所定領域は、前記見本画像において前記定型部分が表れた領域である、ことを特徴とする。

【0012】

本発明の一態様では、前記検出手段は、前記見本画像における前記特徴部分をテンプレート画像としたテンプレートマッチングに基づいて、前記第１整形画像から前記特徴部分を検出する、ことを特徴とする。

【0013】

本発明の一態様では、前記検出手段は、前記第１整形画像のうち、前記所定位置を含む領域の中から、前記特徴部分を検出する、ことを特徴とする。

【0014】

本発明の一態様では、前記検出手段は、複数の特徴部分を検出し、前記第２整形手段は、前記複数の特徴部分の各々の位置が、当該特徴部分に対応する所定位置に合うように、前記第１整形画像を整形して第２整形画像を取得する、ことを特徴とする。

【0015】

本発明の一態様では、前記複数の特徴部分の各々は、前記文書の端部付近に配置される、ことを特徴とする。

【0016】

本発明の一態様では、前記特徴部分は、前記定型部分における文字又は記号である、ことを特徴とする。

【0017】

本発明の一態様では、前記画像処理システムは、前記第２整形画像に対して光学文字認識を実行する実行手段、を更に含むことを特徴とする。

【発明の効果】

【0018】

本発明によれば、画像処理を高速化することが可能になる。

【図面の簡単な説明】

【0019】

【図1】画像処理システムの全体構成を示す図である。

【図2】運転免許証が取り込まれる様子を示す図である。

【図3】取込画像の一例を示す図である。

【図4】画像処理システムにおいて実現される機能の一例を示す機能ブロック図である。

【図5】見本画像の一例を示す図である。

【図6】見本画像データベースのデータ格納例を示す図である。

【図7】見本画像データベースに格納されるテンプレート画像の一例を示す図である。

【図8】取込画像が整形される様子を示す図である。

【図9】取込画像が整形される様子を示す図である。

【図10】テンプレートマッチングの一例を示す図である。

【図11】第２整形部の処理内容を示す図である。

【図12】第２整形部の処理内容を示す図である。

【図13】光学文字認識により抽出される文字の一例を示す図である。

【図14】画像処理システムにおいて実行される処理の一例を示すフロー図である。

【図15】取込画像の一例を示す図である。

【図16】画像処理システムにおいて実現される機能の一例を示す機能ブロック図である。

【図17】代替の特徴部分が探索される様子を示す図である。

【図18】見本画像から代替の特徴部分が検出される様子を示す図である。

【図19】実施形態２で整形画像が取得される様子を示す図である。

【図20】実施形態２で整形画像が取得される様子を示す図である。

【図21】光学文字認識により抽出される文字の一例を示す図である。

【図22】画像処理システムにおいて実行される処理の一例を示すフロー図である。

【図23】画像処理システムにおいて実行される処理の一例を示すフロー図である。

【図24】実施形態２の変形例（１）における処理の説明図である。

【図25】実施形態２の変形例（２）における処理の説明図である。

【発明を実施するための形態】

【0020】

［１．実施形態１］
以下、本発明に関わる画像処理システムの実施形態の例を説明する。

【0021】

［１−１．画像処理システムの全体構成］
図１は、画像処理システムの全体構成を示す図である。図１に示すように、画像処理システムＳは、ユーザ端末１０、画像読取装置２０、及びサーバ３０を含む。ユーザ端末１０とサーバ３０は、それぞれインターネットなどのネットワークに接続可能である。なお、図１では、ユーザ端末１０、画像読取装置２０、及びサーバ３０をそれぞれ１台ずつ示しているが、これらは複数台ずつあってもよい。また、画像読取装置２０がネットワークに接続可能であってもよい。

【0022】

ユーザ端末１０は、ユーザが操作するコンピュータであり、例えば、携帯電話機（スマートフォンを含む）、携帯情報端末（タブレット型コンピュータを含む）、又はパーソナルコンピュータ等である。図１に示すように、ユーザ端末１０は、制御部１１、記憶部１２、通信部１３、操作部１４、表示部１５、及び撮影装置１６を含む。

【0023】

制御部１１は、例えば、少なくとも１つのマイクロプロセッサを含む。制御部１１は、記憶部１２に記憶されたプログラムやデータに従って処理を実行する。記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭなどの揮発性メモリであり、補助記憶部は、ハードディスクやフラッシュメモリなどの不揮発性メモリである。通信部１３は、有線通信又は無線通信用の通信インタフェースであり、ネットワークを介してデータ通信を行う。

【0024】

操作部１４は、入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイスやキーボード等を含む。操作部１４は、操作内容を制御部１１に伝達する。表示部１５は、例えば、液晶表示部又は有機ＥＬ表示部等である。撮影装置１６は、少なくとも１つのカメラを含み、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサなどを含む。撮影装置１６は、静止画又は動画を撮影し、画像データを生成する。なお、本実施形態では、撮影装置１６がユーザ端末１０に含まれる場合を説明するが、撮影装置１６は、ユーザ端末１０の外部にあってもよい。

【0025】

画像読取装置２０は、画像を読み取る装置であり、例えば、スキャナである。画像読取装置２０は、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサなどを含む。画像読取装置２０は、画像が形成された媒体（例えば、用紙、フィルム、プラスチック等）を読み取り、画像データを生成する。なお、本実施形態では、画像読取装置２０がユーザ端末１０の外部に含まれている場合を説明するが、画像読取装置２０は、ユーザ端末１０の内部にあってもよい。

【0026】

サーバ３０は、サーバコンピュータである。サーバ３０は、制御部３１、記憶部３２、及び通信部３３を含む。制御部３１、記憶部３２、及び通信部３３のハードウェア構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様であってよく、ここでは説明を省略する。

【0027】

なお、記憶部１２，３２に記憶されるものとして説明するプログラム及びデータは、ネットワークを介して他のコンピュータから供給されるようにしてもよい。また、ユーザ端末１０、画像読取装置２０、及びサーバ３０のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）や外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）が含まれていてもよい。例えば、情報記憶媒体に記憶されたプログラムやデータが読取部や入出力部を介して供給されるようにしてもよい。

【0028】

［１−２．画像処理システムの概要］
本実施形態では、ユーザは、インターネットで銀行口座の開設や保険の契約等をするために、撮影装置１６又は画像読取装置２０で本人確認書類を取り込み、サーバ３０に取込画像をアップロードする。サーバ３０は、取込画像に対して光学文字認識を実行し、本人確認書類に印刷された氏名、住所、及び生年月日といった文字を抽出する。

【0029】

本人確認書類は、ユーザを確認可能な書類であればよく、例えば、運転免許証、保険証、住民票、又はパスポートといった書類である。本実施形態では、本人確認書類の一例として運転免許証を説明する。なお、運転免許証は、国や地域ごとに種々の書式が存在するが、説明の都合上、架空の書式の運転免許証を例に挙げる。

【0030】

図２は、運転免許証が取り込まれる様子を示す図である。図２に示すように、例えば、ユーザは、ユーザ端末１０の撮影装置１６を使って、机に置いた運転免許証を撮影する。撮影装置１６の位置や向きは、自由に変えることができるので、運転免許証は、必ずしも、正面（真上）から撮影されるとは限らない。このため、取込画像における運転免許証には、歪みや曲がりが発生することが多い。なお、本実施形態では、取込画像の解像度は、光学文字認識が可能な程度に担保されており、撮影装置１６のピントも運転免許証に合っているものとする。

【0031】

図３は、取込画像の一例を示す図である。図３に示すように、取込画像Ｉ１における運転免許証に歪みや曲がりが発生すると、光学文字認識を実行しても文字を抽出することは難しい。この点、運転免許証には、文書の歪みと曲がりを正すための専用のマークが印刷されているわけではないので、このようなマークを利用して歪みや曲がりを正すことはできない。

【0032】

例えば、運転免許証に印刷された「ＤＲＩＶＥＲ ＬＩＣＥＮＳＥ」といった定型部分の一部の文字を代用することも考えられるが、このような定型部分は、文書の歪みと曲がりを正すための専用のマークとして印刷されたわけではないので、光学文字認識が難しいのと同じ理由で精度よく検出することは難しい。また、運よく検出できたとしても、同じ文書の中に同じ文字が含まれていることもあり、誤検出の可能性もある。

【0033】

そこで、本実施形態の画像処理システムＳでは、取込画像Ｉ１における運転免許証の歪みや曲がりを大まかに補正した後に、運転免許証内の定型部分を検出して歪みや曲がりを細かく補正することで、例えば光学文字認識をしやすい状態の画像を生成するようにしている。以降、画像処理システムＳの詳細を説明する。

【0034】

［１−３．画像処理システムにおいて実現される機能］
図４は、画像処理システムＳにおいて実現される機能の一例を示す機能ブロック図である。図４に示すように、画像処理システムＳでは、データ記憶部１００、取得部１０１、第１整形部１０２、検出部１０３、第２整形部１０４、及び実行部１０５が実現される場合を説明する。

【0035】

［１−３−１．データ記憶部］
データ記憶部１００は、記憶部３２を主として実現される。データ記憶部１００は、画像処理を実行するために必要なデータを記憶する。ここでの画像処理とは、画像に基づいた処理であればよく、例えば、画像の加工や光学文字認識といった種々の処理を含む意味である。本実施形態では、データ記憶部１００が記憶するデータの一例として、文書の見本画像に関する見本画像データベースを説明する。

【0036】

文書とは、画像が形成された媒体であり、書類と呼ばれることもある。別の言い方をすれば、撮影装置１６又は画像読取装置２０によって画像に取り込まれる対象物である。文書は、所定の書式を有し、レイアウトが予め定められている。即ち、文書は、どこに何が描かれているか予め分かっているものとする。文書の種類は、任意であってよく、例えば、本人確認書類、身分証明書、公的機関への申請書、商品若しくはサービスの申込書、又は試験の解答用紙であってもよい。本実施形態では、文書の一例として運転免許証を説明する。このため、本実施形態で運転免許証と記載した箇所は、文書と読み替えることができる。文書は、定型部分と非定型部分を含む。

【0037】

定型部分とは、内容が固定された部分であり、他の文書と内容が共通する部分である。別の言い方をすれば、定型部分は、文書に関わらず内容が変わらない部分であり、ユーザに関わらず内容が変わらない部分である。例えば、定型部分は、文書における書式部分であり、特定の文字、記号、図形、枠線、イラスト、又は画像が描かれた部分である。定型部分は、文書固有の情報を含む部分ということもできる。

【0038】

図３の運転免許証であれば、「ＤＲＩＶＥＲ ＬＩＣＥＮＳＥ」というタイトルは、定型部分の一例である。また、「ＮＡＭＥ」、「ＢＩＲＴＨ ＤＡＹ」、「ＡＤＤＲＥＳＳ」、「ＤＡＴＥ」、「ＥＸＰＩＲＥＳ」、及び「ＮＵＭＢＥＲ」といった項目名は、定型部分の一例である。また、「ＪＡＰＡＮ」という国名は、定型部分の一例である。また、「Ｔｏｋｙｏ Ｍｅｔｒｏｐｏｌｉｔａｎ Ｐｕｂｌｉｃ Ｓａｆｅｔｙ Ｃｏｍｍｉｓｓｉｏｎ」という機関の名称は、定型部分の一例である。なお、定型部分は、上記のような文字に限られず、図３の運転免許証における日本の国旗を示す画像も、定型部分の一例である。また、上記の項目名等を囲む枠線も、定型部分の一例である。

【0039】

非定型部分とは、内容が固定されていない部分であり、他の文書とは内容が共通しない部分である。別の言い方をすれば、非定型部分は、文書ごとに内容が変わる部分であり、ユーザごとに内容が変わる部分である。例えば、非定型部分は、文書における書式部分以外の部分であり、個人情報、ユーザの識別情報、申請内容、申込内容、又は試験の答えといった情報が印刷された部分である。非定型部分は、ユーザ固有の情報を含む部分ということもできる。

【0040】

図３の運転免許証であれば、「ＹＡＭＡＤＡ ＴＡＲＯ」という氏名は、非定型部分の一例である。また、「Ｊｕｎｅ ２３，１９８０」という生年月日は、非定型部分の一例である。また、「１−２−３ ＡＢＣＣｉｔｙ Ｔｏｋｙｏ」という住所は、非定型部分の一例である。また、「Ｊｕｌｙ ２５，２０１５」という発行日は、非定型部分の一例である。また、「Ｊｕｌｙ ２５，２０２０」という有効期限日は、非定型部分の一例である。また、「１２３４ ５６７８ ９０１２」という免許証番号は、非定型部分の一例である。なお、非定型部分は、上記のような文字に限られず、図３の運転免許証におけるユーザの顔写真も、非定型部分の一例である。その他、ユーザのＩＤや身体的な特徴を示す情報が運転免許証に含まれていれば、そのような情報も非定型部分の一例である。

【0041】

見本画像とは、文書の歪みと曲がりが全くない又は略ない画像である。別の言い方をすれば、見本画像は、正面方向又は略正面方向から文書が取り込まれた状態の画像である。正面方向とは、文書の表面とのなす角度が垂直となる方向であり、正対ということもできる。略正面方向とは、当該角度が垂直とみなせる程度の方向であり、例えば、当該角度が８０°以上の方向である。見本画像の書式は、取込画像の書式と同じである。このため、見本画像の定型部分と、取込画像の定型部分と、は同じであり、見本画像の非定型部分と、取込画像の非定型部分と、は異なる。なお、見本画像は、非定型部分を含まなくてもよい。即ち、見本画像は、書式部分だけであってもよい。

【0042】

歪みは、画像における文書の形状の変化である。別の言い方をすれば、歪みは、実際の文書の形状と、画像内の文書の形状と、の違いである。歪みが全くないとは、形状が変化しない（形状の違いがない）ことを意味し、歪みが略ないとは、形状が変化しないとみなせる程度であることを意味する。例えば、輪郭が四角形（角丸四角形を含む）の文書であれば、画像内での輪郭が台形になることが、歪みが発生することに相当する。例えば、上底の長さと下底の長さとの差が略ない（例えば、差が５％未満）ことが、歪みが略ないことに相当する。別の言い方をすれば、対辺のなす角度が所定角度未満（例えば、５°未満）であることが、歪みが略ないことに相当する。

【0043】

曲がりは、画像における文書の回転（向き）である。別の言い方をすれば、曲がりは、正対した状態からどの程度ずれているかである。曲がりが全くないとは、正対した状態を意味し、曲がりが略ないとは、曲がりがないとみなせる程度であることを意味する。例えば、横長の四角形の文書であれば、長辺方向が水平方向（例えば、画像座標系のＸ軸方向）からずれており、短辺方向が垂直方向（例えば、画像座標系のＹ軸方向）からずれていることが、曲がりが発生することに相当する。また例えば、縦長の四角形の文書であれば、長辺方向が垂直方向からずれており、短辺方向が水平方向からずれていることが、曲がりが発生することに相当する。例えば、これらの各方向のなす角度が略０°（例えば、角度が５°未満）であることが、曲がりが略ないことに相当する。

【0044】

図５は、見本画像の一例を示す図である。図５に示すように、見本画像Ｉ２は、角丸四角形の運転免許証の形状が保たれており、歪みが全くない又は略ない状態である。また、運転免許証の向きがずれておらず、曲がりが全くない又は略ない状態である。このため、見本画像Ｉ２の文字は、歪んだり曲がったりしておらず、光学文字認識に適した状態といえる。例えば、見本画像は、画像処理システムＳの管理者によって予め用意されている。例えば、管理者は、画像読取装置又は撮影装置で文書を取り込んで見本画像を生成し、データ記憶部１００に登録する。

【0045】

図６は、見本画像データベースのデータ格納例を示す図である。図６に示すように、例えば、見本画像データベースには、見本画像Ｉ２のファイル名、文書の種類、見本画像Ｉ２の特徴点群情報、テンプレート画像が示す特徴部分の名前・ファイル名・位置が格納される。

【0046】

なお、見本画像Ｉ２は、取り込まれる文書の種類ごとに用意しておけばよく、例えば、運転免許証の見本画像、住民票の見本画像、パスポートの見本画像といったように用意しておけばよい。また、これらの文書は、国や地域によって書式が異なるので、国ごと又は地域ごとに見本画像Ｉ２を用意してもよい。

【0047】

特徴点群情報は、見本画像Ｉ２から抽出された特徴点群に関する情報である。特徴点群は、複数の特徴点の集まりである。特徴点は、被写体の特徴的な部分を示す点であり、例えば、形状的な特徴と、色彩的な特徴と、の少なくとも一方が表れた点である。

【0048】

特徴点群を抽出するアルゴリズム自体は、種々のアルゴリズムを提供可能であり、例えば、ＯｐｅｎＣＶで実装されているＳＩＦＴ、ＳＵＲＦ、又はＡ−ＫＡＺＥといったアルゴリズムを利用してもよい。例えば、特徴点群情報は、各特徴点の位置座標と、各特徴点の特徴量と、を含む。特徴量は、上記アルゴリズムから出力される数値であり、物体の局所的な形状や色彩の特徴を数値化したものである。

【0049】

図７は、見本画像データベースに格納されるテンプレート画像の一例を示す図である。図７に示すように、テンプレート画像Ｔ１〜Ｔ４は、見本画像Ｉ２のうち、定型部分における特徴部分を示す画像である。なお、以降では、テンプレート画像Ｔ１〜Ｔ４を特に区別する必要のないときは、単にテンプレート画像Ｔと記載する。

【0050】

テンプレート画像Ｔは、１枚だけであってもよいし、複数枚用意しておいてもよい。テンプレート画像Ｔは、後述する画像処理で用いられる特徴部分の数だけ用意しておけばよい。テンプレート画像Ｔは、任意の特徴部分を示す画像であってよいが、本実施形態では、画像処理の精度を高めるために、運転免許証の四隅付近にある特徴部分を利用している。

【0051】

例えば、テンプレート画像Ｔ１は、運転免許証の「ＤＲＩＶＥＲ ＬＩＳＥＮＣＥ」というタイトルの中の「ＤＲ」の文字を示す。テンプレート画像Ｔ１は、運転免許証の左上付近の特徴部分を示す。また例えば、テンプレート画像Ｔ２は、運転免許証における日本の国旗を示す。テンプレート画像Ｔ２は、運転免許証の右上付近の特徴部分を示す。また例えば、テンプレート画像Ｔ３は、運転免許証の「ＪＡＰＡＮ」という国名の中の「ＪＡ」の文字を示す。テンプレート画像Ｔ３は、運転免許証の左下付近の特徴部分を示す。また例えば、テンプレート画像Ｔ４は、運転免許証の「Ｔｏｋｙｏ Ｍｅｔｒｏｐｏｌｉｔａｎ Ｐｕｂｌｉｃ Ｓａｆｅｔｙ Ｃｏｍｍｉｓｓｉｏｎ」という発行機関名の末尾の「ｏｎ」の文字を示す。テンプレート画像Ｔ４は、運転免許証の右下付近の特徴部分を示す。

【0052】

［１−３−２．取得部］
取得部１０１は、制御部３１を主として実現される。取得部１０１は、画像読取装置２０又は撮影装置１６によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像Ｉ１を取得する。なお、「画像を取得する」とは、画像のデータを取得することである。この点は、本実施形態で「画像を取得する」と記載した他の箇所も同様である。画像のデータとしては、種々のファイル形式を適用可能であり、例えば、ＪＰＥＧ、ＧＩＦ、ＢＭＰ、又はＰＮＧといった形式であってもよい。

【0053】

例えば、取得部１０１は、ネットワークを介し、ユーザ端末１０から取込画像Ｉ１を取得してもよいし、画像読取装置２０から取込画像Ｉ１を取得してもよい。また例えば、取込画像Ｉ１は、データ記憶部１００に記憶されていてもよく、この場合、取得部１０１は、データ記憶部１００から取込画像Ｉ１を取得する。また例えば、取込画像Ｉ１は、サーバ３０の外部にあるデータベースサーバに記憶されていてもよく、この場合、取得部１０１は、当該データベースサーバから取込画像Ｉ１を取得する。

【0054】

［１−３−３．第１整形部］
第１整形部１０２は、制御部３１を主として実現される。第１整形部１０２は、見本画像Ｉ２における文書の特徴と、取込画像Ｉ１における文書の特徴と、に基づいて、取込画像Ｉ１を整形して第１整形画像を取得する。

【0055】

文書の特徴とは、文書の取り込まれ方であり、例えば、歪み、曲がり、サイズ、又は位置である。ここでは、特に画像における文書の形状や向きの特徴が利用される。整形とは、画像における文書の形状を整えることである。別の言い方をすれば、整形は、画像の変形又は加工ということもできる。画像の整形方法自体は、種々の手法を適用可能であり、例えば、アフィン変換、線形変換、投影変換、回転、拡大・縮小、又は移動を利用してもよいし、これらの組み合わせを利用してもよい。

【0056】

例えば、第１整形部１０２は、画像の局所的な特徴（一部分だけの特徴）を考慮するのではなく、見本画像Ｉ２における文書の全体的な特徴と、取込画像Ｉ１における文書の全体的な特徴と、に基づいて、取込画像Ｉ１を整形する。例えば、第１整形部１０２は、見本画像Ｉ２における文書の特徴に近づくように、取込画像Ｉ１を整形する。別の言い方をすれば、例えば、第１整形部１０２は、見本画像Ｉ２における文書の形状と向きに近づくように、取込画像Ｉ１を整形する。

【0057】

図８及び図９は、取込画像Ｉ１が整形される様子を示す図である。図８及び図９に示すように、例えば、第１整形部１０２は、見本画像Ｉ２から抽出された文書の特徴点群Ｐ２と、取込画像Ｉ１から抽出された文書の特徴点群Ｐ１と、に基づいて、第１整形画像Ｉ３を取得する。

【0058】

なお、ここでは、見本画像Ｉ２の特徴点群全体を説明する場合はＰ２の符号を付し、個々の特徴点を説明する場合はＰ２−ｍ（ｍは自然数）の符号を付す。同様に、取込画像Ｉ１の特徴点群全体を説明する場合はＰ１の符号を付し、個々の特徴点を説明する場合はＰ１−ｎ（ｎは自然数）の符号を付す。また、特に図面を参照する必要のないときは、特徴点の符号を省略することもある。

【0059】

例えば、第１整形部１０２は、見本画像データベースから見本画像Ｉ２の特徴点群情報を取得する。また例えば、第１整形部１０２は、取込画像Ｉ１から特徴点群Ｐ１を抽出し、特徴点群情報を取得する。特徴点群Ｐ１の抽出及び特徴点群情報の取得は、先述したアルゴリズムを利用して行われるようにすればよい。例えば、第１整形部１０２は、見本画像Ｉ２の特徴点群情報と、取込画像Ｉ１の特徴点群情報と、に基づいて、特徴点群Ｐ１，Ｐ２のマッチングを行う。

【0060】

マッチングは、見本画像Ｉ２の特徴点群Ｐ２と、取込画像Ｉ１の特徴点群Ｐ１と、を関連付ける処理である。マッチングは、先述した特徴点抽出のアルゴリズムを利用してもよく、例えば、ＯｐｅｎＣＶで実装されているアルゴリズムを利用してもよい。例えば、第１整形部１０２は、見本画像Ｉ２の特徴点群情報が示す各特徴点Ｐ２−ｍの特徴量と、取込画像Ｉ１の特徴点群情報が示す各特徴点Ｐ１−ｎの特徴量と、に基づいて、特徴点群のマッチングを行う。マッチングの際には、特徴量が似ている特徴点同士を関連付ければよい。なお、特徴量が似ているとは、特徴量の値が似ていることであり、特徴量の差が小さい（例えば、差が最小となる）ことである。

【0061】

図８の例では、第１整形部１０２は、取込画像Ｉ１の特徴点群情報に基づいて、見本画像Ｉ２の特徴点Ｐ２−１の特徴量と近い特徴量を有する特徴点Ｐ１−１を特定し、特徴点Ｐ２−１と特徴点Ｐ１−１とをマッチングする。同様に、第１整形部１０２は、取込画像Ｉ１の特徴点群情報に基づいて、見本画像Ｉ２の特徴点Ｐ２−２の特徴量と近い特徴量を有する特徴点Ｐ１−２を特定し、特徴点Ｐ２−２と特徴点Ｐ１−２とをマッチングする。

【0062】

他の特徴点についても同様の処理が実行され、特徴点Ｐ２−３〜Ｐ２−７と、特徴点Ｐ１−３〜Ｐ１−７と、がマッチングされる。なお、図８では、簡略化のために、特徴点を少なく記載しているが、実際には、数十〜数千程度又はそれ以上の特徴点が抽出されるようにしてもよく、それぞれの特徴点についてマッチングが行われる。

【0063】

例えば、第１整形部１０２は、特徴点群のマッチング結果に基づいて、変換行列を計算する。変換行列は、取込画像Ｉ１の各特徴点の位置が、見本画像Ｉ２におけるマッチング相手の特徴点の位置に近づくように計算される。変換行列の取得方法自体は、種々の方法を適用可能であり、例えば、アフィン変換、線形変換、又は投影変換における変換行列の計算式を利用してもよい。第１整形部１０２は、変換行列に基づいて、取込画像Ｉ１を変換して第１整形画像Ｉ３を取得する。図９に示すように、第１整形画像Ｉ３は、見本画像Ｉ２における文書と大まかに似た状態となる。

【0064】

なお、特徴点群は、画像全体から抽出されてもよいが、一部の領域だけから抽出されてもよい。例えば、第１整形部１０２は、見本画像Ｉ２における所定領域内の文書の特徴と、取込画像Ｉ１における所定領域に対応する領域内の文書の特徴と、に基づいて、第１整形画像Ｉ３を取得してもよい。

【0065】

所定領域は、予め定められた一部の領域であればよく、例えば、見本画像Ｉ２において定型部分が表れた領域であってもよい。例えば、第１整形部１０２は、見本画像Ｉ２において定型部分が表れた領域内の特徴点群と、取込画像Ｉ１において定型部分が表れた領域内の特徴点群と、に基づいて、第１整形画像Ｉ３を取得してもよい。

【0066】

なお、ここでは、特徴点群を利用する場合を例に挙げたが、第１整形部１０２は、画像の特徴となりうる情報に基づいて、取込画像Ｉ１を整形すればよく、特徴点群以外の情報を利用してもよい。

【0067】

例えば、第１整形部１０２は、見本画像Ｉ２から抽出した輪郭線と、取込画像Ｉ１から抽出した輪郭線と、に基づいて、取込画像Ｉ１を整形してもよい。輪郭線は、Ｓｏｂｅｌフィルタ等のエッジ検出処理によって取得されるようにすればよい。第１整形部１０２は、見本画像Ｉ２から抽出された輪郭線に近づくように、取込画像Ｉ１を整形してもよい。例えば、第１整形部１０２は、本実施形態の運転免許証における「ＮＡＭＥ」や「ＢＩＲＴＨ ＤＡＹ」等を囲む枠線の形状が大まかに合うように、取込画像Ｉ１を整形してもよい。その際、枠線全体を検出できず、一部だけが検出されたとしても、当該検出された一部の枠線の形状を大まかに合わせるようにすればよい。

【0068】

また例えば、第１整形部１０２は、取込画像Ｉ１に対して背景分離処理を実行し、文書が表れた前景部分を特定し、前景部分の形状が、見本画像Ｉ２における文書の形状に近づくように、見本画像Ｉ２を整形してもよい。その際、前景部分の特定の精度があまり高くなかったとしても、取込画像Ｉ１における文書の歪みや曲がりを大まかに合わせるようにすればよい。

【0069】

［１−３−４．検出部］
検出部１０３は、制御部３１を主として実現される。検出部１０３は、第１整形画像Ｉ３から、定型部分の特徴部分を検出する。

【0070】

特徴部分は、画像を整形する際に基準とする部分であり、ランドマークということもできる。例えば、特徴部分は、定型部分における文字又は記号であってもよいし、定型部分に描かれた枠線、イラスト、又は画像などであってもよい。また例えば、特徴部分は、その付近に同様の特徴が存在しない部分である特徴部分は、１つだけであってもよいし、複数であってもよい。本実施形態では、特徴部分が複数あり、複数の特徴部分の各々は、文書の端部付近に配置されている場合を説明するが、特徴部分は、中央付近に配置されていてもよいし、中央と端部の中間地点に配置されていてもよい。

【0071】

特徴部分は、文書における所定位置に存在する。所定位置は、文書の中で特徴部分が表れる位置である。文書は書式が定められているので、文書における特徴部分の位置は、既知の位置となる。例えば、所定位置は、見本画像Ｉ２において特徴部分が表れた位置である。本実施形態では、特徴部分を示すテンプレート画像Ｔが用意されているので、見本画像Ｉ２からテンプレート画像Ｔを切り取った位置が所定位置である。

【0072】

例えば、検出部１０３は、物体検出アルゴリズムを利用して、第１整形画像Ｉ３から特徴部分を検出する。物体検出アルゴリズムとしては、種々のアルゴリズムを適用可能であり、例えば、テンプレートマッチングを利用してもよいし、特徴点の配置パターンや輪郭線の向きなどを利用してもよい。本実施形態では、見本画像Ｉ２における特徴部分のテンプレート画像Ｔが用意されているので、検出部１０３は、テンプレート画像Ｔと似た部分を検出する。

【0073】

図１０は、テンプレートマッチングの一例を示す図である。図１０に示すように、検出部１０３は、見本画像Ｉ２における特徴部分をテンプレート画像Ｔとしたテンプレートマッチングに基づいて、第１整形画像Ｉ３から特徴部分を検出する。図１０の例では、検出部１０３は、テンプレート画像Ｔ４と同じ大きさのウィンドウＷを第１整形画像Ｉ３内で走査し、枠内の各画素の画素値と、テンプレート画像Ｔ４の各画素の画素値と、に基づいて、特徴部分を検出する。例えば、検出部１０３は、これらの画素値の差に基づいて類似度を計算し、類似度が閾値以上の枠内に特徴部分が存在すると判定する。

【0074】

例えば、第１整形画像Ｉ３全体の中から特徴部分が探索されてもよいが、本実施形態では、検出部１０３は、第１整形画像Ｉ３のうち、所定位置を含む領域の中から、特徴部分を検出してもよい。この領域は、任意の形状及びサイズであってよく、図１０の例では、テンプレート画像Ｔ４が示す「ｏｎ」という文字が表れた見本画像Ｉ２内の位置を含む領域Ａ１となる。テンプレート画像Ｔ４は、運転免許証の右下付近の特徴部分を示すので、領域Ａ１も右下付近の領域となる。

【0075】

本実施形態では、複数の特徴部分が存在するので、検出部１０３は、複数の特徴部分を検出することになる。例えば、他のテンプレート画像Ｔも同様の処理が実行され、検出部１０３は、テンプレート画像Ｔ１が示す「ＤＲ」という文字が表れた見本画像Ｉ２内の位置を含む領域（左上付近の領域）の中から、当該文字を探索する。また例えば、検出部１０３は、テンプレート画像Ｔ２が示す国旗が表れた見本画像Ｉ２内の位置を含む領域（右上付近の領域）の中から、当該国旗を探索する。また例えば、テンプレート画像Ｔ３が示す「ＪＡ」という文字が表れた見本画像Ｉ２内の位置を含む領域（左下付近の領域）の中から、当該文字を探索する。

【0076】

［１−３−５．第２整形部］
第２整形部１０４は、制御部３１を主として実現される。第２整形部１０４は、検出部１０３により検出された特徴部分の位置が所定位置に合うように、第１整形画像Ｉ３を整形して第２整形画像を取得する。例えば、第２整形部１０４は、見本画像Ｉ２における特徴部分の位置と、第１整形画像Ｉ３における特徴部分の位置と、に基づいて、第１整形画像Ｉ３を整形する。

【0077】

図１１及び図１２は、第２整形部１０４の処理内容を示す図である。図１１に示すように、例えば、第２整形部１０４は、第１整形画像Ｉ３における特徴部分の位置Ｑ３が、見本画像Ｉ２における特徴部分の位置Ｑ２に近づくように、第１整形画像Ｉ３を整形する。

【0078】

なお、ここでは、見本画像Ｉ２の特徴部分全体の位置を説明する場合はＱ２の符号をし、個々の特徴部分の位置を説明する場合はＱ２−ｋ（ｋは自然数）の符号を付す。同様に、第１整形画像Ｉ３の特徴部分全体の位置を説明する場合はＱ３の符号を付し、個々の特徴部分の位置を説明する場合はＱ３−ｌ（ｌは自然数）の符号を付す。また、特に図面を参照する必要のないときは、各位置の符号を省略することもある。

【0079】

本実施形態では、複数の特徴部分が存在するので、第２整形部１０４は、複数の特徴部分の各々の位置Ｑ３が、当該特徴部分に対応する所定位置Ｑ２に合うように、第１整形画像Ｉ３を整形して第２整形画像Ｉ４を取得することになる。例えば、第２整形部１０４は、見本画像Ｉ２における特徴部分の位置Ｑ２と、第１整形画像Ｉ３における特徴部分の位置Ｑ３と、に基づいて変換行列を計算する。

【0080】

変換行列は、第１整形画像Ｉ３における特徴部分の位置Ｑ３が、見本画像Ｉ２における特徴部分の位置Ｑ２に近づくように計算される。変換行列の取得方法自体は、種々の方法を適用可能であり、例えば、アフィン変換、線形変換、又は投影変換における変換行列の計算式を利用してもよい。図１１に示すように、第１整形画像Ｉ３における各特徴部分を繋いだ四角形（Ｑ３−１〜Ｑ３−４で囲われた四角形）の形状が、見本画像Ｉ２における各特徴部分を繋いだ四角形（Ｑ２−１〜Ｑ２−４で囲われた四角形）に近づくように、変換行列が計算される。

【0081】

第２整形部１０４は、変換行列に基づいて、取込画像Ｉ１を変換して第２整形画像Ｉ４を取得する。図１２に示すように、第２整形画像Ｉ４は、運転免許証の細かな歪みと曲がりが補正されており、見本画像Ｉ２の運転免許証と略同じ形状及び向きとなる。即ち、第２整形画像Ｉ４の各特徴部分を繋いだ四角形（Ｑ４−１〜Ｑ４−４で囲われた四角形）の形状は、見本画像Ｉ２における各特徴部分を繋いだ四角形（Ｑ２−１〜Ｑ２−４で囲われた四角形）と同じ又は略同じとなる。第２整形画像Ｉ４は、光学文字認識をしやすい状態の画像となる。

【0082】

［１−３−６．実行部］
実行部１０５は、制御部３１を主として実現される。実行部１０５は、第２整形画像Ｉ４に対して光学文字認識を実行する。光学文字認識のアルゴリズム自体は、種々のアルゴリズムを適用可能であり、例えば、パターンマッチングを利用したアルゴリズムであってもよいし、構造解析を利用したアルゴリズムであってもよい。

【0083】

図１３は、光学文字認識により抽出される文字の一例を示す図である。図１３に示すように、実行部１０５は、光学文字認識によって第２整形画像Ｉ４から文字を取得する。なお、第２整形画像Ｉ４の全体が光学文字認識の対象となってもよいし、第２整形画像Ｉ４の一部が光学文字認識の対象となってもよい。一部である場合には、非定型部分だけであってもよいし、非定型部分の中の一部だけであってもよい。

【0084】

実行部１０５は、第２整形画像Ｉ４に対して光学文字認識を実行することによって、運転免許証の非定型部分に表れた情報を抽出し、データ記憶部１００に記録する。図１３の例では、実行部１０５は、運転免許証に表れたユーザの氏名、生年月日、住所、発行日、有効日、及び免許証番号といった情報を抽出し、データ記憶部１００に記録する。

【0085】

なお、実行部１０５が抽出する情報は、文書に応じた情報であればよく、例えば、文書が住民票であれば、ユーザの氏名、生年月日、住所、本籍、及び性別といった情報が抽出されてもよい。また例えば、文書がパスポートであれば、ユーザの氏名、生年月日、住所、及びパスポート番号と言った情報が抽出されてもよい。また例えば、実行部１０５が抽出する情報は、ユーザの個人情報に限られず、例えば、公共機関への申請内容、商品若しくはサービスの申込内容、又は、答案用紙に書かれた答えの内容といった情報であってもよい。

【0086】

［１−４．本実施形態において実行される処理］
図１４は、画像処理システムＳにおいて実行される処理の一例を示すフロー図である。図１４に示す処理は、制御部１１が記憶部１２に記憶されたプログラムに従って動作し、制御部３１が記憶部３２に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図４に示す機能ブロックにより実行される処理の一例である。

【0087】

図１４に示すように、まず、ユーザ端末１０においては、制御部１１は、撮影装置１６又は画像読取装置２０から、取込画像Ｉ１を取得する（Ｓ１）。例えば、ユーザは、操作部１４を操作して撮影装置１６で運転免許証を撮影したり、画像読取装置２０を操作して運転免許証を読み取らせたりする。Ｓ１においては、制御部１１は、撮影装置１６又は画像読取装置２０が生成した画像データを取得することになる。なお、取込画像Ｉ１は、予め記憶部１２又は外部の情報記憶媒体に記憶されていてもよい。

【0088】

制御部１１は、操作部１４の検出信号に基づいて、本人確認書類の種類を示す種類情報を取得する（Ｓ２）。本実施形態では、ユーザがどの本人確認書類をアップロードするか分からないので、ユーザに、本人確認書類の種類を選択させるようにしている。Ｓ２においては、例えば、本人確認書類の種類を示すリストが表示部１５に表示され、ユーザは、当該リストの中からアップロードする本人確認書類を選択する。このリストでは、例えば、運転免許証、住民票、又はパスポートといった種類が選択可能になっている。

【0089】

制御部１１は、サーバ３０に対し、Ｓ１で取得した取込画像Ｉ１と、Ｓ２で取得した種類情報と、を送信する（Ｓ３）。

【0090】

サーバ３０においては、取込画像Ｉ１と種類情報とを受信すると、制御部３１は、取込画像Ｉ１の特徴点群情報を取得する（Ｓ４）。Ｓ４においては、制御部３１は、特徴点の抽出アルゴリズムに基づいて、取込画像Ｉ１から特徴点群を抽出し、特徴点群情報を生成する。

【0091】

制御部３１は、見本画像データベースから見本画像Ｉ２の特徴点群情報を取得する（Ｓ５）。Ｓ５においては、制御部３１は、見本画像データベースのうち、Ｓ４で受信した種類情報が示す種類に対応するレコードを参照し、当該レコードに格納された特徴点群情報を取得する。

【0092】

制御部３１は、見本画像Ｉ２の特徴点群情報と、取込画像Ｉ１の特徴点群情報と、に基づいて、特徴点群をマッチングする（Ｓ６）。Ｓ６においては、制御部３１は、特徴点のマッチングアルゴリズムに基づいて、見本画像Ｉ２の各特徴点と、取込画像Ｉ１の各特徴点と、の対応付けを行う。

【0093】

制御部３１は、Ｓ６におけるマッチング結果に基づいて、取込画像Ｉ１を整形して第１整形画像Ｉ３を取得する（Ｓ７）。Ｓ７においては、制御部３１は、先述したような変換行列を計算し、当該変換行列に基づいて、取込画像Ｉ１を整形する。整形後の画像が第１整形画像Ｉ３となる。

【0094】

制御部３１は、見本画像データベースからテンプレート画像Ｔを取得する（Ｓ８）。Ｓ８においては、制御部３１は、見本画像データベースのうち、Ｓ４で受信した種類情報が示す種類に対応するレコードを参照し、当該レコードに格納されたテンプレート画像Ｔを取得する。

【0095】

制御部３１は、Ｓ８で取得したテンプレート画像Ｔに基づいて、第１整形画像Ｉ３に対し、テンプレートマッチングを実行する（Ｓ９）。Ｓ９においては、制御部３１は、第１整形画像Ｉ３の中からテンプレート画像Ｔと似た領域を探索する。ここでは、複数のテンプレート画像Ｔが用意されているので、制御部３１は、テンプレート画像Ｔごとに、似た領域を探索することになる。

【0096】

制御部３１は、Ｓ９におけるマッチング結果に基づいて、第１整形画像Ｉ３を整形して第２整形画像Ｉ４を取得する（Ｓ１０）。Ｓ１０においては、制御部３１は、先述したような変換行列を計算し、当該変換行列に基づいて、第１整形画像Ｉ３を整形する。整形後の画像が第２整形画像Ｉ４となる。

【0097】

制御部３１は、Ｓ１０で取得した第２整形画像Ｉ４に対し、光学文字認識を実行する（Ｓ１１）。Ｓ１１においては、制御部３１は、第２整形画像Ｉ４から文字を抽出する。

【0098】

制御部３１は、Ｓ１１で抽出した文字を記憶部３２に記録し（Ｓ１２）、本処理は終了する。Ｓ１２の処理により、ユーザがアップロードした本人確認書類から、ユーザの氏名、住所、及び生年月日といった情報が抽出され、記憶部３２に記録されることになる。

【0099】

以上説明した画像処理システムＳによれば、文書の大まかな歪みと曲がりを除去するように取込画像を整形したうえで、特徴部分に基づいて、文書の細かな歪みと曲がりを取るように整形することで、取込画像の中から何度も特徴部分を探索するといった手間を省くことができ、画像処理を高速化することができる。

【0100】

また、見本画像から抽出された文書の特徴点群と、取込画像から抽出された文書の特徴点群と、に基づいて、第１整形画像Ｉ３が取得され、種々の抽出アルゴリズムが存在し、より早く抽出できる特徴点群を利用することで、画像処理をより高速化することができる。また、画像における文書の特徴を詳細に示す特徴点群を利用することで、画像処理の精度を高めることができ、文書の歪みと曲がりを効果的に除去することができる。

【0101】

また、見本画像における所定領域内の文書の特徴と、取込画像における所定領域に対応する領域内の文書の特徴と、に基づいて、第１整形画像Ｉ３が取得され、特徴を抽出する領域を絞ることで、画像処理をより高速化することができる。

【0102】

また、見本画像において定型部分が表れた領域内の文書の特徴と、取込画像において定型部分が表れた領域内の文書の特徴と、に基づいて、第１整形画像Ｉ３が取得され、特徴を抽出する領域を絞ることで、画像処理をより高速化することができる。また、これらの領域内の文書の特徴を利用することで、整形をするうえで信頼性の低い領域を特徴の抽出対象から除去することで、画像処理の精度を高めることができ、文書の歪みと曲がりを効果的に除去することができる。また、第１整形部１０２と第２整形部１０４という異なる特徴を持つ複数の整形手段を組み合わせることで、文書の歪みと曲がりを効果的に除去することができる。例えば、第２整形部１０４による二段階目の整形が線形歪みしか補正できなかったとしても、第１整形部１０２による一段階目の整形で非線形歪みを補正できるので、複数の整形手段を組み合わせることで、二段階目の補正を補うことができる。

【0103】

また、種々の抽出アルゴリズムが存在し、精度の高いテンプレートマッチングを利用して特徴部分を検出することで、画像処理をより高速化し、かつ、画像処理の精度を効果的に高めることができる。

【0104】

また、第１整形画像Ｉ３の全領域から特徴部分を探索するのではなく、既知の位置を含む領域内から特徴部分を探索し、特徴部分を探索する領域を絞ることで、画像処理をより高速化することができる。

【0105】

また、特徴部分を１つだけ利用するのではなく、複数の特徴部分を利用することで、画像処理の精度を高めることができ、文書の歪みと曲がりを効果的に除去することができる。

【0106】

また、文書の端部付近に配置された特徴部分を利用することで、画像処理の精度を高めることができ、文書の歪みと曲がりを効果的に除去することができる。

【0107】

また、文書の定型部分における文字又は記号を特徴部分として利用することで、文書に特別なマークを印刷する必要がなくなる。

【0108】

また、第２整形画像Ｉ４に対して光学文字認識を実行することで、文書から精度よく文字を抽出することができる。

【0109】

［２．実施形態２］
次に、画像処理システムＳの別実施形態を説明する。実施形態１のように特徴部分を利用して整形しようとしても、文書の取り込み方によっては、光が反射したり別の物体又は影で隠れたりして、特徴部分が取込画像Ｉ１にはっきりと写っておらず、うまく整形できないことがある。

【0110】

図１５は、取込画像Ｉ１の一例を示す図である。図１５の取込画像Ｉ１では、運転免許証の左下に印刷された「ＪＡＰＡＮ」の文字の一部が光で反射し、「Ｊ」と「Ａ」の文字が全く写っておらず、「Ｐ」の文字もはっきりとは写っていない。これら３つの文字のうち、「Ｊ」と「Ａ」は、テンプレート画像Ｔ３が示す特徴部分なので、４つの特徴部分のうちの１つを検出できず、画像処理の精度が下がってしまう。

【0111】

そこで、実施形態２の画像処理システムＳでは、特徴部分が取込画像Ｉ１にはっきりと写っていない場合に、取込画像Ｉ１の中から代替の特徴部分を探索することで、画像処理の精度を高めるようにしている。以降、実施形態２の画像処理システムＳの詳細を説明する。なお、実施形態２では、実施形態１と同様の内容については説明を省略する。

【0112】

［２−１．画像処理システムにおいて実現される機能］
図１６は、画像処理システムＳにおいて実現される機能の一例を示す機能ブロック図である。図１６に示すように、画像処理システムＳでは、データ記憶部２００、取得部２０１、第１検出部２０２、探索部２０３、第２検出部２０４、整形部２０５、及び実行部２０６が実現される場合を説明する。

【0113】

［２−１−１．データ記憶部］
データ記憶部２００は、実施形態１で説明したデータ記憶部１００と同様である。

【0114】

［２−１−２．取得部］
取得部２０１は、実施形態１で説明した取得部１０１と同様である。

【0115】

［２−１−３．第１検出部］
第１検出部２０２は、制御部３１を主として実現される。第１検出部２０２は、実施形態１の検出部１０３と同様であってよく、取込画像Ｉ１に基づいて、定型部分の特徴部分を検出する。特徴部分の意味は、実施形態１で説明した通りである。実施形態２では、特徴部分が存在する所定位置のことを第１位置と記載する。即ち、第１位置は、撮影画像Ｉ１において特定部分が表れた位置ではなく、文書における特定部分の位置を意味する。第１位置は、特徴部分があるべき位置であり、例えば、見本画像Ｉ２において特定部分が表れた位置である。実施形態１で所定位置と記載した箇所は、実施形態２の第１位置と読み替えることができる。

【0116】

実施形態１と同様、特徴部分は１つだけであってもよいが、ここでは、特徴部分が複数ある場合を説明する。このため、検出部１０３は、複数の特徴部分を検出することになる。複数の特徴部分の各々は、自身に対応する第１位置に存在することになる。また、実施形態１と同様、第１検出部２０２が第１整形画像Ｉ３から特徴部分を検出する場合を説明するが、実施形態２では、実施形態１の第１整形部１０２の処理を省略し、第１検出部２０２は、取込画像Ｉ１から特徴部分を検出してもよい。他にも例えば、実施形態２では、オペレータの操作によって取込画像Ｉ１が手動で整形されて第１整形画像Ｉ３が取得されてもよく、第１検出部２０２は、当該手動で整形された第１整形画像Ｉ３から特徴部分を検出してもよい。

【0117】

［２−１−４．探索部］
探索部２０３は、制御部３１を主として実現される。探索部２０３は、特徴部分が検出されなかった場合は、取込画像Ｉ１に基づいて、定型部分の代替の特徴部分を探索する。

【0118】

代替の特徴部分は、検出されなかった特徴部分の代わりに用いる特徴部分である。特徴部分の意味は、実施形態１で説明した通りである。代替の特徴部分は、検出されなかった特徴部分と同様の特徴を有してもよいし、特にこれらの特徴は似ていなくてもよい。例えば、「ＪＡ」という文字の特徴部分が検出されなかった場合に、形状又はサイズが似た文字を代替の特徴部分としてもよいし、形状又はサイズが特に似ていない文字を代替の特徴部分としてもよい。

【0119】

代替の特徴部分は、文書の第２位置に存在する特徴部分である。第２位置は、第１位置とは異なる位置であればよく、第１位置に基づいて定まる位置であってもよいし、特に第１位置とは関係のない位置であってもよい。本実施形態では、第２位置は、第１位置付近の位置であり、第１位置から所定距離以内（例えば、５センチメートル以内）の位置である。別の言い方をすれば、第２位置は、第１位置を含む領域内の位置である。なお、第２位置は、撮影画像Ｉ１において代替の特定部分が表れた位置ではなく、文書における代替の特定部分の位置である。第２位置は、代替の特徴部分があるべき位置であり、例えば、見本画像Ｉ２において代替の特定部分が表れた位置である。

【0120】

図１７は、代替の特徴部分が探索される様子を示す図である。図１７に示すように、例えば、探索部２０３は、取込画像Ｉ１に基づくヒストグラムＨを利用して、代替の特徴部分を探索する。ヒストグラムＨは、画素値ごとの頻度を示す統計情報であり、例えば、縦軸に頻度をとり、横軸に画素値をとったグラフによって表される。例えば、探索部２０３は、画素値ごとに、所定領域内で当該画素値が表れた画素数をカウントし、ヒストグラムＨを生成する。

【0121】

探索部２０３は、ヒストグラムＨの分布が特定の分布を示しているか否かを判定し、特定の分布を示している場合に、ヒストグラムＨを生成した領域を特徴部分として決定する。特定の分布は、画像として特徴的であることを示す分布であり、例えば、定型部分のヒストグラムに基づいて定めておいてもよい。また例えば、背景色（例えば、白）だけの領域は、特徴部分とはならない、特定の分布は、背景色ではない色（前景色）を示す画素値（例えば、黒）の頻度が閾値以上表れることであってもよい。

【0122】

例えば、代替の特徴部分は、画像全体から探索されてもよいが、探索部２０３は、第１位置に基づいて定まる領域Ａ２内から、代替の特徴部分を探索してもよい。第１位置に基づいて定まる領域とは、第１位置を含む領域であり、第１位置から所定距離以内（例えば、５センチメートル以内）となる領域Ａ２である。図１７の例では、「ＪＡ」の特徴部分が検出されなかったので、当該特徴部分の第１位置（即ち、運転免許証の左下付近の位置）を含む領域Ａ２の中から代替の特徴部分が探索される。

【0123】

本実施形態では、複数の特徴部分が用意されているので、探索部２０３は、少なくとも１つの特徴部分が検出されなかった場合に、代替の特徴部分を探索することになる。なお、探索部２０３は、検出されなかった特徴部分の数が所定個数（例えば、２個）以上であった場合に代替の特徴部分を探索し、検出されなかった特徴部分の数が所定個数未満であった場合には代替の特徴部分を探索しなくてもよい。他にも例えば、探索部２０３は、検出されなかった特徴部分が１つでもあれば代替の特徴部分を探索し、検出されなかった特徴部分の数がなければ代替の特徴部分を探索しなくてもよい。

【0124】

［２−１−５．第２検出部］
第２検出部２０４は、制御部３１を主として実現される。第２検出部２０４は、見本画像Ｉ２から代替の特徴部分を検出する。特徴部分の検出方法自体は、実施形態１で説明した方法と同様であってよく、種々の物体検出アルゴリズムを適用可能である。第２検出部２０４は、探索部２０３により探索された代替の特徴部分と似た領域を、見本画像Ｉ２の中から検出する。

【0125】

図１８は、見本画像Ｉ２から代替の特徴部分が検出される様子を示す図である。図１８に示すように、例えば、第２検出部２０４は、探索部２０３により探索された代替の特徴部分をテンプレート画像Ｔ５としたテンプレートマッチングに基づいて、見本画像Ｉ２から代替の特徴部分を検出する。図１８の例では、「ＮＵＭＢＥＲ」という項目名の中の「Ｎ」とその付近の線が代替の特徴部分として探索されたので、第２検出部２０４は、当該代替の特徴部分と似た領域を検出することになる。

【0126】

なお、テンプレートマッチングの処理の詳細は、実施形態１で説明した通りであり、第２検出部２０４は、テンプレート画像Ｔ５と同じ大きさのウィンドウＷを見本画像Ｉ２内で走査し、枠内の各画素の画素値と、テンプレート画像Ｔ５の各画素の画素値と、に基づいて、代替の特徴部分を検出する。例えば、第２検出部２０４は、これらの画素値の差に基づいて類似度を計算し、類似度が閾値以上の枠内に特徴部分が存在すると判定する。

【0127】

例えば、見本画像Ｉ２全体の中から特徴部分が探索されてもよいが、本実施形態では、第２検出部２０４は、見本画像Ｉ２のうち、第１整形画像Ｉ３において代替の特徴部分が探索された位置を含む領域Ａ３の中から、代替の特徴部分を検出してもよい。この領域Ａ３は、任意の形状及びサイズであってよく、図１８の例では、テンプレート画像Ｔ５が示す「Ｎ」とその付近の線が表れた位置を含む領域Ａ３となる。テンプレート画像Ｔ５は、運転免許証の左下付近で探索された代替の特徴部分を示すので、領域Ａ３も左下付近の領域となる。

【0128】

［２−１−６．整形部］
整形部２０５は、制御部３１を主として実現される。整形部２０５は、特徴部分が検出された場合に、当該特徴部分の位置が所定の第１位置に合うように、取込画像Ｉ１の整形画像を取得する。整形部２０５は、実施形態１の第１整形部１０２及び第２整形部１０４と同様の処理を実行してもよい。

【0129】

図１９及び図２０は、実施形態２で整形画像が取得される様子を示す図である。図１９に示すように、例えば、整形部２０５は、第１整形画像Ｉ３における特徴部分の位置Ｑ３が、見本画像Ｉ２における特徴部分の位置Ｑ２に近づくように、第１整形画像Ｉ３を整形する。

【0130】

実施形態２では、実施形態１と同様に、複数の特徴部分が存在するので、整形部２０５は、複数の特徴部分の各々の位置Ｑ３が、当該特徴部分に対応する第１位置Ｑ２に合うように、第２整形画像Ｉ４を取得する。例えば、整形部２０５は、見本画像Ｉ２における特徴部分の第１位置Ｑ２と、第１整形画像Ｉ３における特徴部分の位置Ｑ３と、に基づいて変換行列を計算する。

【0131】

変換行列は、第１整形画像Ｉ３における特徴部分の位置Ｑ３が、見本画像Ｉ２における特徴部分の位置Ｑ２に近づくように計算される。変換行列の取得方法自体は、実施形態１で説明した通りである。図１９に示すように、第１整形画像Ｉ３における各特徴部分と代替の特徴部分とを繋いだ四角形（Ｑ３−１，Ｑ３−２，Ｑ３−４，Ｑ３−５で囲われた四角形）の形状が、見本画像Ｉ２における各特徴部分と代替の特徴部分とを繋いだ四角形（Ｑ２−１，Ｑ２−２，Ｑ２−４，Ｑ２−５で囲われた四角形）に近づくように、変換行列が計算される。

【0132】

整形部２０５は、変換行列に基づいて、第１整形画像Ｉ３を変換して第２整形画像Ｉ４を取得する。図２０に示すように、第２整形画像Ｉ４は、運転免許証の細かな歪みと曲がりが補正されており、見本画像Ｉ２の運転免許証と略同じ形状及び向きとなる。即ち、第２整形画像Ｉ４の各特徴部分を繋いだ四角形（Ｑ４−１，Ｑ４−２，Ｑ４−４，Ｑ４−５で囲われた四角形）の形状は、見本画像Ｉ２における各特徴部分を繋いだ四角形（Ｑ２−１，Ｑ２−２，Ｑ２−４，Ｑ２−５で囲われた四角形）と同じ又は略同じとなる。第２整形画像Ｉ４は、光学文字認識をしやすい状態の画像となる。

【0133】

なお、実施形態２では、実施形態１と同様に、整形部２０５が第１整形画像Ｉ３を整形して第２整形画像Ｉ４を取得する場合を説明したが、実施形態１の第１整形部１０２の処理を省略し、整形部２０５は、取込画像Ｉ１を整形して整形画像を取得してもよい。他にも例えば、実施形態２では、オペレータの操作によって取込画像Ｉ１が手動で整形されて第１整形画像Ｉ３が取得されてもよく、整形部２０５は、当該手動で整形された第１整形画像Ｉ３を整形して第２整形画像Ｉ４を取得してもよい。

【0134】

上記のように、整形部２０５は、特徴部分が検出されなかった場合は、代替の特徴部分の位置が所定の第２位置に合うように、整形画像を取得してもよい。上記説明した通り、検出されなかった特徴部分の代わりに代替の特徴部分が用いられる点で異なるだけであり、整形方法は、実施形態１で説明した通りである。

【0135】

また、上記のように、整形部２０５は、特徴部分が検出されなかった場合は、見本画像Ｉ２における代替の特徴部分の位置を第２位置として取得し、整形画像を取得してもよい。上記説明した通り、代替の特徴部分が用いられるという点で異なるだけであり、整形方法自体は、実施形態１で説明した通りである。また例えば、整形部２０５は、少なくとも１つの特徴部分が検出されなかった場合に、代替の特徴部分に基づいて、整形画像を取得してもよい。

【0136】

［２−１−７．実行部］
実行部２０６は、制御部３１を主として実現される。実行部２０６は、整形画像に対して光学文字認識を実行する。実行部２０６の処理の詳細は、実施形態１で説明した実行部１０５と同様であり、光学文字認識のアルゴリズは、実施形態１で説明したようなアルゴリズムを利用すればよい。

【0137】

図２１は、光学文字認識により抽出される文字の一例を示す図である。図２１に示すように、実行部２０６は、第２整形画像Ｉ４に対して光学文字認識を実行することによって、運転免許証の非定型部分に表れた情報を抽出し、データ記憶部２００に記録する。図２１の例では、実行部２０６は、運転免許証に表れたユーザの氏名、生年月日、住所、発行日、有効日、及び免許証番号といった情報を抽出し、データ記憶部２００に記録する。なお、実行部１０５が文書に応じた情報であればよい点についても実施形態１と同様である。

【0138】

［２−２．実施形態２において実行される処理］
図２２及び図２３は、画像処理システムＳにおいて実行される処理の一例を示すフロー図である。図２２及び図２３に示す処理は、制御部１１が記憶部１２に記憶されたプログラムに従って動作し、制御部３１が記憶部３２に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図１６に示す機能ブロックにより実行される処理の一例である。

【0139】

図２２に示すように、Ｓ２１〜Ｓ２９の処理は、実施形態１のＳ１〜Ｓ９と同様である。なお、先述したように、Ｓ２４〜Ｓ２７の処理を省略し、第１整形画像Ｉ３ではなく取込画像Ｉ１から特徴部分が検出されてもよい。

【0140】

Ｓ２９においてテンプレートマッチングが実行されると、制御部３１は、検出されなかった特徴部分があるか否かを判定する（Ｓ３０）。Ｓ３０においては、制御部３１は、Ｓ２８で取得した全てのテンプレート画像Ｔについて、類似度が閾値以上の領域が見つかったか否かを判定する。

【0141】

検出されなかった特徴部分がない場合（Ｓ３０；Ｎ）、Ｓ３１の処理に移行する。Ｓ３１の処理は、実施形態１のＳ１０と同様である。この場合、全ての特徴部分が検出されており、代替の特徴部分を探索する必要がないので、Ｓ３２〜Ｓ３５の処理は実行されない。

【0142】

一方、検出されなかった特徴部分がある場合（Ｓ３０；Ｙ）、図２３に移り、制御部１１は、検出されなかった特徴部分の第１位置に基づいて、代替の特徴部分を探索する探索領域を設定する（Ｓ３２）。Ｓ３２においては、制御部１１は、検出されなかった特徴部分の座標を含む領域Ａ３を、探索領域として設定する。なお、探索領域のサイズ及び形状は、予め定められているものとする。

【0143】

制御部１１は、Ｓ３２で設定した探索領域内の小領域ごとにヒストグラムＨを生成し、代替の特徴部分を探索する（Ｓ３３）。Ｓ３３においては、制御部１１は、小領域ごとに生成したヒストグラムＨが特定の特徴を示すか否かを判定する。なお、小領域のサイズ及び形状は、予め定められているものとする。

【0144】

制御部１１は、見本画像Ｉ２から、Ｓ３３で探索した代替の特徴部分を検出する（Ｓ３４）。Ｓ３４においては、制御部１１は、代替の特徴部分をテンプレート画像Ｔとし、テンプレートマッチングを実行する。

【0145】

制御部１１は、Ｓ２９で特定した特徴部分、Ｓ３３で探索した代替の特徴部分、及びＳ３４で検出した代替の特徴部分に基づいて、第２整形画像Ｉ４を取得する（Ｓ３５）。Ｓ３５においては、制御部３１は、先述したような変換行列を計算し、当該変換行列に基づいて、第１整形画像Ｉ３を整形する。整形後の画像が第２整形画像Ｉ４となる。続くＳ３６〜Ｓ３７の処理は、実施形態１のＳ１１〜Ｓ１２と同様である。

【0146】

実施形態２の画像処理システムＳによれば、特徴部分が検出されなかった場合に代替の特徴部分を探索し、検出されなかった特徴部分の代わりに代替特徴部分を利用するので、特徴部分が検出されなかったとしても、画像処理の精度を高めることができる。

【0147】

また、見本画像Ｉ２から代替の特徴部分が検出され、見本画像Ｉ２における代替の特徴部分の位置に合うように整形することで、画像処理の精度を高め、歪みと曲がりを効果的に除去することができる。

【0148】

また、取込画像Ｉ１に基づくヒストグラムＨを利用して代替の特徴部分が探索されることで、より特徴的な部分を代替の特徴部分とすることができ、画像処理の精度を高めることができる。

【0149】

また、特徴部分がある第１位置に基づいて定まる領域内から代替の特徴部分が探索されることで、代替の特等部分の探索領域を絞り、画像処理を高速化することができる。

【0150】

また、特徴部分を１つだけ利用するのではなく、複数の特徴部分を利用することで、画像処理の精度を高めることができ、文書の歪みと曲がりを効果的に除去することができる。

【0151】

また、文書の定型部分における文字又は記号を特徴部分として利用することで、文書に特別なマークを印刷する必要がなくなる。

【0152】

また、第２整形画像Ｉ４に対して光学文字認識を実行することで、文書から精度よく文字を抽出することができる。

【0153】

［２−３．実施形態２の変形例］
（１）例えば、実施形態２のように、第１整形画像Ｉ３の特徴部分及び代替の特徴部分の位置Ｑ３で囲われた四角形と、見本画像Ｉ２の特徴部分及び代替の特徴部分の位置Ｑ４で囲われた四角形と、に基づいて第１整形画像Ｉ３が整形される場合、これら四角形の面積が広い方が、整形の精度が高くなる。このため、代替の特徴部分として利用できそうな部分が複数存在する場合には、四角形が広くなるような代替の特徴部分を利用してもよい。

【0154】

本変形例の探索部２０３は、複数の特徴部分のうちの一部だけが検出された場合に、検出されなかった特徴部分ごとに、検出された一部の特徴部分との位置関係に基づいて、代替の特徴部分を探索してもよい。ここでの位置関係とは、検出された一部の特徴部分に対する相対的な位置である。

【0155】

例えば、実施形態２で説明したように複数の特徴部分が３つ以上である場合は、探索部２０３は、検出されなかった特徴部分ごとに、代替の特徴部分の候補を探索し、当該候補と検出された一部の特徴部分とによって囲われる領域のサイズに基づいて、代替の特徴部分を決定してもよい。代替の特徴部分の候補の探索方法は、実施形態２で説明した代替の特徴部分の探索方法と同じであってよく、例えば、ヒストグラムＨを利用して行われる。

【0156】

ここでの領域とは、代替の特徴部分の候補の位置と、検出された特徴部分の位置と、を繋ぐことで形成される領域である。領域のサイズとは、領域の広さであり、例えば、面積であってもよいし、領域内の画素数であってもよい。他にも例えば、領域の外接矩形の縦幅と横幅の合計値を領域のサイズとしてもよいし、外接矩形の面積を領域のサイズとしてもよい。

【0157】

図２４は、実施形態２の変形例（１）における処理の説明図である。図２４の例では、実施形態２で説明した例と同様に、テンプレート画像Ｔ１，Ｔ２，Ｔ４が示す特徴部分（左上、右上、右下の特徴部分）は検出され、テンプレート画像Ｔ３が示す特徴部分（左下の特徴部分）が検出されなかったものとする。

【0158】

探索部２０３が代替の特徴部分を探索した結果、代替の特徴部分の候補が３つ存在したとする。図２４では、これら３つの候補の位置をＱ３−５〜Ｑ３−７の符号で示す。これら３つの候補のうち、検出された特徴部分の位置Ｑ３−１，Ｑ３−２，Ｑ３−４と囲われる領域のサイズが最も広いのは、位置Ｑ３−５なので、この部分を代替の特徴部分として利用してもよい。

【0159】

例えば、探索部２０３は、代替の特徴部分の候補ごとに、検出された一部の特徴部分との間で囲われる領域のサイズを計算し、サイズが最大の候補を代替の特徴部分として決定する。別の言い方をすれば、探索部２０３は、複数の候補を発見した場合に、検出された一部の特徴部分との間で囲われる領域のサイズが最大になるものを、画像処理で利用する代替の特徴部分として決定する。即ち、探索部２０３は、サイズが最大になる組み合わせとなるように、特徴部分と代替の特徴部分との組み合わせを決定する。なお、探索部２０３は、サイズが最大の候補を発見するのではなく、サイズが閾値以上になった候補を発見した時点で、探索を終了してもよい。

【0160】

また例えば、探索部２０３は、領域のサイズではなく、検出された一部の特徴部分と、代替の特徴部分の候補と、の距離に基づいて、代替の特徴部分を探索してもよい。ここでの距離とは、例えば、上記領域の外周であってもよいし、検出された一部の特徴部分の位置と代替の特徴部分の候補の位置との距離の合計値であってもよい。例えば、探索部２０３は、複数の候補を発見した場合に、検出された一部の特徴部分との距離が最大になるものを、画像処理で利用する代替の特徴部分として決定してもよい。別の言い方をすれば、探索部２０３は、距離が最大になる組み合わせとなるように、特徴部分と代替の特徴部分との組み合わせを決定する。

【0161】

変形例（１）によれば、検出された一部の特徴部分との位置関係に基づいて、代替の特徴部分が探索され、画像処理に適した代替の特徴部分を利用することで、画像処理の精度を高め、歪みと曲がりを効果的に除去することができる。

【0162】

また、領域のサイズに基づいて代替の特徴部分が決定される場合には、歪みと曲がりを除去するために最適な代替の特徴部分が見つかる確率が高まるので、画像処理の精度をより高め、歪みと曲がりをより効果的に除去することができる。

【0163】

（２）また例えば、変形例（１）では、１つの特徴部分が検出されなかった場合を例に挙げたが、２つ以上の特徴部分が検出されなかった場合も同様に、探索部２０３は、検出された特徴部分との位置関係に基づいて、代替の特徴部分を探索してもよい。この場合、代替の特徴部分が複数探索されることになるが、四角形が広くなるような組み合わせの代替の特徴部分が探索されてもよい。

【0164】

本変形例の探索部２０３は、複数の特徴部分が検出されなかった場合に、検出されなかった特徴部分ごとに、他の代替の特徴部分との位置関係に基づいて、代替の特徴部分を探索してもよい。ここでの位置関係とは、他の代替の特徴部分に対する相対的な位置である。

【0165】

例えば、複数の特徴部分が３つ以上である場合は、探索部２０３は、検出されなかった特徴部分ごとに、代替の特徴部分の候補を探索し、検出されなかった複数の特徴部分の各々の候補によって囲われる領域のサイズに基づいて、代替の特徴部分を決定する。候補の探索方法は、変形例（１）で説明した通りである。

【0166】

ここでの領域とは、特徴部分が１つでも検出された場合には、複数の候補の各々の位置と、当該検出された特徴部分の位置と、を繋ぐことで形成される領域である。一方、特徴部分が１つも検出されていない場合には、複数の候補の各々の位置を繋ぐことで形成される領域である。領域のサイズの意味は、変形例（１）で説明した通りである。

【0167】

図２５は、実施形態２の変形例（２）における処理の説明図である。図２４の例では、テンプレート画像Ｔ２，Ｔ４が示す特徴部分（右上、右下の特徴部分）は検出され、テンプレート画像Ｔ１，Ｔ３が示す特徴部分（左上、左下の特徴部分）が検出されなかったものとする。

【0168】

探索部２０３が代替の特徴部分を探索した結果、テンプレート画像Ｔ１が示す左上の代替の特徴部分の候補が２つ存在したとする。図２４では、これら２つの候補の位置をＱ３−８，Ｑ３−９の符号で示す。また、探索部２０３が代替の特徴部分を探索した結果、テンプレート画像Ｔ３が示す左下の代替の特徴部分の候補が３つ存在したとする。図２４では、これら３つの候補の位置をＱ３−１０〜Ｑ３−１２の符号で示す。これらのうち、検出された特徴部分の位置Ｑ３−２，Ｑ３−４と囲われる領域のサイズが最大なのは、位置Ｑ３−８，Ｑ３−１０の組み合わせなので、当該組み合わせを代替の特徴部分として利用してもよい。

【0169】

例えば、探索部２０３は、他の代替の特徴部分によって囲われる領域のサイズに基づいて、代替の特徴部分を探索する。例えば、探索部２０３は、複数の候補を発見した場合に、他の候補との間で囲われる領域のサイズが最大になるものを、画像処理で利用する代替の特徴部分として決定する。別の言い方をすれば、探索部２０３は、サイズが最大になる組み合わせとなるように、代替の特徴部分の組み合わせを決定する。なお、探索部２０３は、サイズが最大の候補を発見するのではなく、サイズが閾値以上になった候補を発見した時点で、探索を終了してもよい。

【0170】

また例えば、探索部２０３は、領域のサイズではなく、他の代替の特徴部分との距離に基づいて、代替の特徴部分を探索してもよい。ここでの距離とは、例えば、上記領域の外周であってもよいし、各候補間の距離の合計値であってもよい。例えば、探索部２０３は、複数の候補を発見した場合に、他の代替の特徴部分の候補との距離が最大になるものを、画像処理で利用する代替の特徴部分として決定してもよい。別の言い方をすれば、探索部２０３は、距離が最大になる組み合わせとなるように、代替の特徴部分の組み合わせを決定する。

【0171】

変形例（２）によれば、他の代替の特徴部分との位置関係に基づいて、代替の特徴部分が探索され、より画像処理に適した代替の特徴部分を利用することで、画像処理の精度を高め、歪みと曲がりを効果的に除去することができる。

【0172】

また、領域のサイズに基づいて代替の特徴部分が決定される場合には、歪みと曲がりを除去するために最適な代替の特徴部分が見つかる確率が高まるので、画像処理の精度をより高め、歪みと曲がりをより効果的に除去することができる。

【0173】

（３）また例えば、実施形態２では、第１の整形画像Ｉ３の中から動的に代替の特徴部分が探索されたが、定型部分の中のどの部分を代替の特徴部分として利用するかを予め定めておいてもよい。この場合、データ記憶部２００は、代替の特徴部分を示すデータを予め記憶しているものとする。例えば、代替の特徴部分である第２の位置も当該データに格納されていてよい。探索部２０３は、予め定められた代替の特徴部分を探索することになる。この場合、１つの特徴部分につき、複数の代替の特徴部分を定めておいてもよい。この場合、端部にあるものほど優先度を高くしておき、優先度の高い順番に、代替の特徴部分を検出可能であるか判定されてもよい。

【0174】

図７のテンプレート画像を例に挙げると、テンプレート画像Ｔ１が示す左上の特徴部分である「ＤＲ」が検出されなかった場合に、代替の特徴部分として、その右にある「ＩＶ」の文字やその下にある「ＮＡ」の文字が定められていてもよい。また、テンプレート画像Ｔ２が示す右上の特徴部分である日本の国旗が検出されなかった場合に、代替の特徴部分として、その左にある「ＳＥ」の文字が定められていてもよい。

【0175】

また、テンプレート画像Ｔ３が示す左下の特徴部分である「ＪＡ」が検出されなかった場合に、代替の特徴部分として、その右にある「ＰＡ」の文字やその上にある「ＮＵ」の文字が定められていてもよい。また、テンプレート画像Ｔ４が示す右下の特徴部分である「ｏｎ」が検出されなかった場合に、代替の特徴部分として、その左にある「ｓｉ」の文字や左上にある「ａｎ」の文字が定められていてもよい。

【0176】

本変形例では、例えば、探索部２０３は、第１整形画像Ｉ３の中から、予め定められた代替の特徴部分を探索する。この探索方法は、特徴部分の検出方法と同様であってよく、例えば、物体検出アルゴリズムを利用すればよい。例えば、特徴部分と同様にして、代替の特徴部分を示すテンプレート画像を用意しておき、探索部２０３は、第１整形画像Ｉ３に対し、テンプレート画像に基づくテンプレートマッチングを実行してもよい。

【0177】

本変形例では、代替の特徴部分の位置は、予め分かっているので、本変形例では、第２検出部２０４は省略してよい。実施形態１−２で説明した見本画像データベースと同様、代替の特徴部分の位置（第２の位置）は、予めデータ記憶部２００に記憶させておけばよい。整形部２０５は、見本画像Ｉ１における特徴部分及び代替の特徴部分の位置と、第１整形画像Ｉ３における特徴部分及び代替の特徴部分の位置と、に基づいて、第１整形画像Ｉ３を整形すればよい。この処理の詳細は、実施形態２で説明した通りである。

【0178】

変形例（３）によれば、代替の特徴部分を動的に決定するのではなく、予め定めておくことで、代替の特徴部分を探索する処理を簡略化し、画像処理を高速化することができる。例えば、代替の特徴部分を予め定めておくことで、実施形態２のように、ヒストグラムを計算する処理を省略したり、見本画像Ｉ２から第２の位置を特定したりする処理を省略することができるので、画像処理をより高速化することができる。

【0179】

［３．その他変形例］
なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。

【0180】

例えば、実施形態１−２では、第２整形画像Ｉ４に対して光学文字認識が実行される場合を説明したが、整形後の画像に対する処理は、光学文字認識に限られない。例えば、実施形態１の実行部１０５は、第２整形画像Ｉ４に対して特に画像処理を施すことなく、データ記憶部１００に記録してもよいし、同様に、実施形態２の実行部２０６は、第２整形画像Ｉ４に対して特に画像処理を施すことなく、第２整形画像Ｉ４をデータ記憶部２００に記録してもよい。このように、特に光学文字認識をするためではなく、単に歪みと曲がりを除去するために本発明に係る処理が利用されてもよい。他にも例えば、実施形態１の実行部１０５は、第２整形画像Ｉ４から顔写真を抽出してもよいし、同様に、実施形態２の実行部２０６は、第２整形画像Ｉ４から顔写真を抽出してもよい。顔写真の領域は、見本画像Ｉ２に基づいて予め定めておけばよい。

【0181】

また例えば、実施形態１−２では、サーバ３０において主たる処理が実行される場合を説明したが、サーバ３０で実行するものとして説明した処理は、ユーザ端末１０で実行されてもよい。例えば、実施形態１において、取得部１０１、第１整形部１０２、検出部１０３、第２整形部１０４、及び実行部１０５がユーザ端末１０で実現されてもよい。この場合、これら各機能は制御部１１を主として実現されてもよく、ユーザ端末１０は、サーバ３０から見本画像データベースの内容を取得してもよい。また例えば、取得部１０１、第１整形部１０２、検出部１０３、第２整形部１０４、及び実行部１０５の各々がユーザ端末１０とサーバ３０とで分担されてもよい。

【0182】

また例えば、実施形態２において、取得部２０１、第１検出部２０２、探索部２０３、第２検出部２０４、整形部２０５、及び実行部２０６がユーザ端末１０で実現されてもよい。この場合、これら各機能は制御部１１を主として実現されてもよく、ユーザ端末１０は、サーバ３０から見本画像データベースの内容を取得してもよい。また例えば、取得部２０１、第１検出部２０２、探索部２０３、第２検出部２０４、整形部２０５、及び実行部２０６の各々がユーザ端末１０とサーバ３０とで分担されてもよい。

【要約】

画像処理を高速化する。画像処理システム（Ｓ）の取得手段（１０１）は、画像読取装置（２０）又は撮影装置（１６）によって取り込まれた、定型部分と非定型部分とを含む文書の取込画像を取得する。第１整形手段（１０２）は、見本画像における文書の特徴と、取込画像における文書の特徴と、に基づいて、取込画像を整形して第１整形画像を取得する。検出手段（１０３）は、第１整形画像から、定型部分の特徴部分を検出する。第２整形手段（１０４）は、検出手段（１０３）により検出された特徴部分の位置が所定位置に合うように、第１整形画像を整形して第２整形画像を取得する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】