特許 7019007 照合システム、照合方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-02-03

(45)【発行日】2022-02-14

(54)【発明の名称】照合システム、照合方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220204BHJP

   G06T 3/00 20060101ALI20220204BHJP

   G06V 30/42 20220101ALI20220204BHJP

   G06V 30/162 20220101ALI20220204BHJP

【ＦＩ】

G06T7/00 510A

G06T7/00 300E

G06T7/00 350B

G06T3/00 735

G06K9/00 K

G06K9/38 Z

【請求項の数】 8

(21)【出願番号】P 2020162139

(22)【出願日】2020-09-28

【審査請求日】2020-11-24

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】蔡 永男

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０２０－９５６８１（ＪＰ，Ａ）

【文献】特開２０１１－９９８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｔ ３／００

Ｇ０６Ｖ ３０／４２

Ｇ０６Ｖ ３０／１６２

(57)【特許請求の範囲】

【請求項1】

対象物において文書が記載されている記載面を正面方向から見た様子を表す正面画像を取得する正面画像取得手段と、
前記記載面を斜め方向から見た様子を表す斜め画像を取得する斜め画像取得手段と、
前記正面画像の少なくとも一部から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記斜め画像に表れている前記対象物を正面方向から見た様子を表す変換画像を生成する変換画像生成手段と、
所与の対象物が既知の領域に表れている見本画像における当該対象物に記載されている文書の定型部分から抽出される特徴と、前記正面画像の少なくとも一部から抽出される特徴と、に基づいて、前記正面画像内において前記対象物が表れている対象物領域を特定する領域特定手段と、
前記正面画像における前記対象物領域と、当該対象物領域に対応付けられる前記変換画像における領域と、を照合することで、前記斜め画像に表れている対象物が前記正面画像に表れている対象物と同一のものであるか否かを判定する照合手段と、
を含むことを特徴とする照合システム。

【請求項2】

前記領域特定手段は、前記変換画像生成手段により前記変換画像が生成された後に、前記対象物領域を特定する、
ことを特徴とする請求項１に記載の照合システム。

【請求項3】

前記変換画像生成手段は、前記領域特定手段により前記対象物領域が特定された後に、前記変換画像を生成する、
ことを特徴とする請求項１に記載の照合システム。

【請求項4】

前記変換画像生成手段は、前記領域特定手段により特定される前記対象物領域から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記変換画像を生成する、
ことを特徴とする請求項３に記載の照合システム。

【請求項5】

前記斜め画像に基づいて、当該斜め画像に表れている対象物の厚さが所定の厚さよりも厚いか否かを判定する厚さ判定手段、をさらに含む、
ことを特徴とする請求項１から４のいずれか一項に記載の照合システム。

【請求項6】

前記対象物領域に記載されている文書に含まれる文字を認識する文字認識手段、をさらに含む、
ことを特徴とする請求項１から５のいずれか一項に記載の照合システム。

【請求項7】

対象物において文書が記載されている記載面を正面方向から見た様子を表す正面画像を取得するステップと、
前記記載面を斜め方向から見た様子を表す斜め画像を取得するステップと、
前記正面画像の少なくとも一部から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記斜め画像に表れている前記対象物を正面方向から見た様子を表す変換画像を生成するステップと、
所与の対象物が既知の領域に表れている見本画像における当該対象物に記載されている文書の定型部分から抽出される特徴と、前記正面画像の少なくとも一部から抽出される特徴と、に基づいて、前記正面画像内において前記対象物が表れている対象物領域を特定するステップと、
前記正面画像における前記対象物領域と、当該対象物領域に対応付けられる前記変換画像における領域と、を照合することで、前記斜め画像に表れている対象物が前記正面画像に表れている対象物と同一のものであるか否かを判定するステップと、
を含むことを特徴とする照合方法。

【請求項8】

対象物において文書が記載されている記載面を正面方向から見た様子を表す正面画像を取得する手順、
前記記載面を斜め方向から見た様子を表す斜め画像を取得する手順、
前記正面画像の少なくとも一部から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記斜め画像に表れている前記対象物を正面方向から見た様子を表す変換画像を生成する手順、
所与の対象物が既知の領域に表れている見本画像における当該対象物に記載されている文書の定型部分から抽出される特徴と、前記正面画像の少なくとも一部から抽出される特徴と、に基づいて、前記正面画像内において前記対象物が表れている対象物領域を特定する手順、
前記正面画像における前記対象物領域と、当該対象物領域に対応付けられる前記変換画像における領域と、を照合することで、前記斜め画像に表れている対象物が前記正面画像に表れている対象物と同一のものであるか否かを判定する手順、
をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、照合システム、照合方法及びプログラムに関する。

【背景技術】

【0002】

非特許文献１には、局所画像特徴量の一種であるＳＩＦＴ（Scale Invariant Feature Transform）が記載されている。

【0003】

また、インターネットを介してユーザから送信された運転免許証等の本人確認書類の画像に基づいてオンラインで当該ユーザの本人確認を行う電子的本人確認（electronic Know Your Customer (eKYC)）の技術が知られている。そして、特許文献１には、ＳＩＦＴ等の局所画像特徴量を用いて、電子的本人確認等における画像処理を高速化する技術が記載されている。また、特許文献２には、電子的本人確認等における画像処理の精度を高めることが可能な技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０２０／００８６２８号

【文献】国際公開第２０２０／００８６２９号

【非特許文献】

【0005】

【文献】David G. Lowe "Distinctive Image Features from Scale-Invariant Keypoints" International Journal of Computer Vision,2004, 2004年1月5日

【発明の概要】

【発明が解決しようとする課題】

【0006】

電子的本人確認では、本人確認書類等の対象物の原本の画像に対して文字認識を実行することで、当該対象物に記載されている氏名、住所、生年月日等の文字列が抽出される。そして、抽出された文字列に基づいてユーザの本人確認が行われる。

【0007】

しかし、対象物の原本の画像ではなく、当該対象物のコピーを撮影あるいはスキャンした画像、偽造や改ざんがされた画像、等の不正な画像がユーザから提示されても、電子的本人確認において、提示された画像が不正な画像であることを見破れないことがあった。

【0008】

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、電子的本人確認を厳格に行うことができる照合システム、照合方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

本発明に係る照合システムは、対象物において文書が記載されている記載面を正面方向から見た様子を表す正面画像を取得する正面画像取得手段と、前記記載面を斜め方向から見た様子を表す斜め画像を取得する斜め画像取得手段と、前記正面画像の少なくとも一部から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記斜め画像に表れている前記対象物を正面方向から見た様子を表す変換画像を生成する変換画像生成手段と、所与の対象物が既知の領域に表れている見本画像における当該対象物に記載されている文書の定型部分から抽出される特徴と、前記正面画像の少なくとも一部から抽出される特徴と、に基づいて、前記正面画像内において前記対象物が表れている対象物領域を特定する領域特定手段と、前記正面画像における前記対象物領域と、当該対象物領域に対応付けられる前記変換画像における領域と、を照合することで、前記斜め画像に表れている対象物が前記正面画像に表れている対象物と同一のものであるか否かを判定する照合手段と、を含む。

【0010】

本発明の一態様では、前記領域特定手段は、前記変換画像生成手段により前記変換画像が生成された後に、前記対象物領域を特定する。

【0011】

あるいは、前記変換画像生成手段は、前記領域特定手段により前記対象物領域が特定された後に、前記変換画像を生成する。

【0012】

この態様では、前記変換画像生成手段は、前記領域特定手段により特定される前記対象物領域から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記変換画像を生成してもよい。

【0013】

また、本発明の一態様では、前記斜め画像に基づいて、当該斜め画像に表れている対象物の厚さが所定の厚さよりも厚いか否かを判定する厚さ判定手段、をさらに含む。

【0014】

また、本発明の一態様では、前記対象物領域に記載されている文書に含まれる文字を認識する文字認識手段、をさらに含む。

【0015】

また、本発明に係る照合方法は、対象物において文書が記載されている記載面を正面方向から見た様子を表す正面画像を取得するステップと、前記記載面を斜め方向から見た様子を表す斜め画像を取得するステップと、前記正面画像の少なくとも一部から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記斜め画像に表れている前記対象物を正面方向から見た様子を表す変換画像を生成するステップと、所与の対象物が既知の領域に表れている見本画像における当該対象物に記載されている文書の定型部分から抽出される特徴と、前記正面画像の少なくとも一部から抽出される特徴と、に基づいて、前記正面画像内において前記対象物が表れている対象物領域を特定するステップと、前記正面画像における前記対象物領域と、当該対象物領域に対応付けられる前記変換画像における領域と、を照合することで、前記斜め画像に表れている対象物が前記正面画像に表れている対象物と同一のものであるか否かを判定するステップと、を含む。

【0016】

また、本発明に係るプログラムは、対象物において文書が記載されている記載面を正面方向から見た様子を表す正面画像を取得する手順、前記記載面を斜め方向から見た様子を表す斜め画像を取得する手順、前記正面画像の少なくとも一部から抽出される特徴と前記斜め画像の少なくとも一部から抽出される特徴とに基づいて前記斜め画像を変換することで、前記斜め画像に表れている前記対象物を正面方向から見た様子を表す変換画像を生成する手順、所与の対象物が既知の領域に表れている見本画像における当該対象物に記載されている文書の定型部分から抽出される特徴と、前記正面画像の少なくとも一部から抽出される特徴と、に基づいて、前記正面画像内において前記対象物が表れている対象物領域を特定する手順、前記正面画像における前記対象物領域と、当該対象物領域に対応付けられる前記変換画像における領域と、を照合することで、前記斜め画像に表れている対象物が前記正面画像に表れている対象物と同一のものであるか否かを判定する手順、をコンピュータに実行させる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る画像処理システムの全体構成の一例を示す図である。

【図2】運転免許証が撮影される様子の一例を示す図である。

【図3】正面画像の一例を示す図である。

【図4】斜め画像の一例を示す図である。

【図5】抽出文字データの一例を示す図である。

【図6】本発明の一実施形態に係るサーバの機能の一例を示す機能ブロック図である。

【図7】変換画像の一例を示す図である。

【図8】見本画像の一例を示す図である。

【図9】正面画像の一例を示す図である。

【図10】変換画像の一例を示す図である。

【図11】機械学習モデルの学習の一例を模式的に示す図である。

【図12】本発明の一実施形態に係るサーバで行われる処理の流れの一例を示すフロー図である。

【発明を実施するための形態】

【0018】

以下、本発明の一実施形態について図面に基づき詳細に説明する。

【0019】

図１は、本発明の一実施形態に係る画像処理システム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係る画像処理システム１には、例えば、サーバ１０と、ユーザ端末１２と、が含まれる。サーバ１０、及び、ユーザ端末１２は、インターネット等のコンピュータネットワーク１４に接続されている。そのためサーバ１０、及び、ユーザ端末１２は、コンピュータネットワーク１４を介して互いに通信可能となっている。なお、図１では、サーバ１０、及び、ユーザ端末１２を、それぞれ１台ずつ示しているが、これらは複数台ずつあってもよい。

【0020】

サーバ１０は、サーバコンピュータ等のコンピュータシステムであり、例えば、図１に示すように、プロセッサ１０ａ、記憶部１０ｂ、及び、通信部１０ｃを含む。

【0021】

プロセッサ１０ａは、例えば、サーバ１０にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。記憶部１０ｂは、例えばＲＯＭやＲＡＭ等の記憶素子や、ソリッドステートドライブ（ＳＳＤ）などである。記憶部１０ｂには、プロセッサ１０ａによって実行されるプログラムなどが記憶される。通信部１０ｃは、例えば、有線通信又は無線通信用の通信インタフェースであり、コンピュータネットワーク１４を介して、ユーザ端末１２との間でデータを授受する。

【0022】

ユーザ端末１２は、ユーザが操作するコンピュータであり、例えば、携帯電話機（スマートフォンを含む）、携帯情報端末（タブレット型コンピュータを含む）、パーソナルコンピュータ等である。図１に示すように、ユーザ端末１２は、例えば、プロセッサ１２ａ、記憶部１２ｂ、通信部１２ｃ、操作部１２ｄ、表示部１２ｅ、及び、撮影部１２ｆを含む。

【0023】

プロセッサ１２ａは、例えば、ユーザ端末１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。記憶部１２ｂは、例えばＲＯＭやＲＡＭ等の記憶素子や、ソリッドステートドライブ（ＳＳＤ）などである。記憶部１２ｂには、プロセッサ１２ａによって実行されるプログラムなどが記憶される。通信部１２ｃは、例えば、有線通信又は無線通信用の通信インタフェースであり、コンピュータネットワーク１４を介して、サーバ１０との間でデータを授受する。

【0024】

操作部１２ｄは、入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイスやキーボード等を含む。操作部１２ｄは、操作内容をプロセッサ１２ａに伝達する。表示部１２ｅは、例えば、液晶表示部又は有機ＥＬ表示部等である。撮影部１２ｆは、少なくとも１つのカメラを含み、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサなどを含む。撮影部１２ｆは、静止画又は動画を撮影し、画像データを生成する。なお、本実施形態では、撮影部１２ｆがユーザ端末１２に含まれる場合を説明するが、撮影部１２ｆは、ユーザ端末１２の外部にあってもよい。

【0025】

なお、記憶部１０ｂ、１２ｂに記憶されるものとして説明するプログラム及びデータは、ネットワークを介して他のコンピュータから供給されるようにしてもよい。また、サーバ１０、及び、ユーザ端末１２のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、サーバ１０やユーザ端末１２に、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）や外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）が含まれていてもよい。例えば、情報記憶媒体に記憶されたプログラムやデータが読取部や入出力部を介してサーバ１０やユーザ端末１２に供給されるようにしてもよい。

【0026】

本実施形態では、ユーザは、インターネットで銀行口座の開設や保険の契約等をするために、撮影部１２ｆで本人確認書類等の対象物の画像を撮影し、撮影した画像をサーバ１０にアップロードする。

【0027】

本人確認書類は、ユーザを確認可能な書類であればよく、例えば、運転免許証、保険証、住民票、又はパスポートといった書類である。以下の説明では、本実施形態に係る本人確認書類は、運転免許証であることとする。なお、運転免許証は、国や地域ごとに種々の書式が存在するが、説明の都合上、架空の書式の運転免許証を例に挙げる。

【0028】

図２は、運転免許証２０が撮影される様子を示す図である。図２に示すように、例えば、ユーザは、ユーザ端末１２の撮影部１２ｆを使って、机に置いた運転免許証２０を撮影する。本実施形態では、ユーザは、運転免許証２０を概ね正面（真上）から撮影することで、図３に例示する正面画像２２が撮影部１２ｆに取り込まれる。また、ユーザは、運転免許証２０を斜めから撮影することで、図４に例示する斜め画像２４が撮影部１２ｆに取り込まれる。なお、本実施形態では、正面画像２２や斜め画像２４の解像度は、光学文字認識が可能な程度に担保されており、撮影部１２ｆのピントも運転免許証２０に合っているものとする。

【0029】

そして、本実施形態に係るユーザ端末１２は、撮影部１２ｆに取り込まれた正面画像２２及び斜め画像２４をサーバ１０にアップロードする。

【0030】

そして、サーバ１０は、アップロードされた正面画像２２及び斜め画像２４を用いた電子的本人確認（electronic Know Your Customer (eKYC)）を実行する。

【0031】

例えば、サーバ１０は、正面画像２２に対して光学文字認識を実行し、対象物に印刷された氏名、住所、及び生年月日といった文字を抽出する。図５は、図３に示す正面画像２２から抽出される文字を示す抽出文字データの一例を示す図である。

【0032】

また、サーバ１０は、学習済の機械学習モデルを用いて、斜め画像２４に写る運転免許証２０にある程度の厚みがあるか否か、ここでは例えば、所定の厚さよりも厚いか否かを判定する。

【0033】

また、サーバ１０は、正面画像２２と斜め画像２４とを照合することで正面画像２２に表れている対象物と斜め画像２４に表れている対象物とが同一のものであるか否かを判定する。

【0034】

電子的本人確認において、運転免許証２０の原本の画像ではなく、運転免許証２０のコピーを撮影あるいはスキャンした画像、偽造や改ざんがされた画像、等の不正な画像がユーザから提示されることがある。このような場合に、電子的本人確認において、提示された画像が不正な画像であることを見破れないことがあった。

【0035】

本実施形態では、同一の対象物を撮影した正面画像２２と斜め画像２４を用いて電子的本人確認を実行することで、電子的本人確認を厳格に行うことができるようになっている。

【0036】

以下、本実施形態に係るサーバ１０の機能、及び、サーバ１０で実行される処理についてさらに説明する。

【0037】

図６は、本実施形態に係るサーバ１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るサーバ１０で、図６に示す機能のすべてが実装される必要はなく、また、図６に示す機能以外の機能が実装されていても構わない。

【0038】

図６に示すように、本実施形態に係るサーバ１０には、機能的には例えば、画像取得部３０、変換画像生成部３２、見本画像記憶部３４、対象物領域特定部３６、照合部３８、機械学習モデル４０、厚さ判定部４２、文字認識部４４が、含まれる。画像取得部３０は、通信部１０ｃを主として実装される。変換画像生成部３２、対象物領域特定部３６、照合部３８、厚さ判定部４２、文字認識部４４は、プロセッサ１０ａを主として実装される。見本画像記憶部３４は、記憶部１０ｂを主として実装される。機械学習モデル４０は、プロセッサ１０ａ及び記憶部１０ｂを主として実装される。

【0039】

以上の機能は、コンピュータであるサーバ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装されてもよい。また、このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してサーバ１０に供給されてもよい。

【0040】

画像取得部３０は、本実施形態では例えば、本人確認書類等の対象物において文書が記載されている記載面を正面方向から見た様子を表す正面画像２２を取得する。画像取得部３０は、例えば、ユーザ端末１２から送信される正面画像２２を取得する。なお、本実施形態に係る正面画像２２は厳密に記載面を正面から見た様子を表すものである必要はなく、光学文字認識が可能な程度に記載面を概ね正面から見た様子を表すもので充分である。

【0041】

なお、本実施形態に係る文書は、所定の書式を有し、レイアウトが予め定められていることとする。即ち、文書は、どこに何が描かれているか予め分かっているものとする。

【0042】

また、本実施形態に係る文書は、定型部分と非定型部分を含むこととする。定型部分とは、内容が固定された部分であり、他の文書と内容が共通する部分である。別の言い方をすれば、定型部分は、文書に関わらず内容が変わらない部分であり、ユーザに関わらず内容が変わらない部分である。例えば、定型部分は、文書における書式部分であり、特定の文字、記号、図形、枠線、イラスト、又は画像が描かれた部分である。定型部分は、文書固有の情報を含む部分ということもできる。

【0043】

図３の例であれば、「ＤＲＩＶＥＲ ＬＩＣＥＮＳＥ」というタイトルは、定型部分の一例である。また、「ＮＡＭＥ」、「ＢＩＲＴＨ ＤＡＹ」、「ＡＤＤＲＥＳＳ」、「ＤＡＴＥ」、「ＥＸＰＩＲＥＳ」、及び「ＮＵＭＢＥＲ」といった項目名は、定型部分の一例である。また、「ＪＡＰＡＮ」という国名は、定型部分の一例である。また、「Ｔｏｋｙｏ Ｍｅｔｒｏｐｏｌｉｔａｎ Ｐｕｂｌｉｃ Ｓａｆｅｔｙ Ｃｏｍｍｉｓｓｉｏｎ」という機関の名称は、定型部分の一例である。なお、定型部分は、上記のような文字に限られず、図３の運転免許証２０における日本の国旗を示す画像も、定型部分の一例である。また、上記の項目名等を囲む枠線も、定型部分の一例である。

【0044】

非定型部分とは、内容が固定されていない部分であり、他の文書とは内容が共通しない部分である。別の言い方をすれば、非定型部分は、文書ごとに内容が変わる部分であり、ユーザごとに内容が変わる部分である。例えば、非定型部分は、文書における書式部分以外の部分であり、ユーザの識別情報や属性等の個人情報などといった情報が印刷された部分である。非定型部分は、ユーザ固有の情報を含む部分ということもできる。

【0045】

図３の例では、「ＹＡＭＡＤＡ ＴＡＲＯ」という氏名は、非定型部分の一例である。また、「Ｊｕｎｅ ２３，１９８０」という生年月日は、非定型部分の一例である。また、「１－２－３ ＡＢＣＣｉｔｙ Ｔｏｋｙｏ」という住所は、非定型部分の一例である。また、「Ｊｕｌｙ ２５，２０１５」という発行日は、非定型部分の一例である。また、「Ｊｕｌｙ ２５，２０２０」という有効期限日は、非定型部分の一例である。また、「１２３４ ５６７８ ９０１２」という免許証番号は、非定型部分の一例である。なお、非定型部分は、上記のような文字に限られず、図３の運転免許証２０におけるユーザの顔写真も、非定型部分の一例である。その他、ユーザのＩＤや身体的な特徴を示す情報が運転免許証２０に含まれていれば、そのような情報も非定型部分の一例である。

【0046】

また、画像取得部３０は、本実施形態では例えば、当該記載面を斜め方向から見た様子を表す斜め画像２４を取得する。画像取得部３０は、例えば、ユーザ端末１２から送信される斜め画像２４を取得する。

【0047】

変換画像生成部３２は、本実施形態では例えば、斜め画像２４を変換することで、斜め画像２４に表れている対象物を正面方向から見た様子を表す、図７に例示されている変換画像５０を生成する。変換画像生成部３２は、例えば、正面画像２２の少なくとも一部から抽出される特徴と斜め画像２４の少なくとも一部から抽出される特徴とに基づいて斜め画像２４を変換することで、図７に例示されている変換画像５０を生成する。

【0048】

ここで、抽出される特徴とは、例えば、ＯｐｅｎＣＶで実装されているＳＩＦＴ、ＳＵＲＦ、又はＡ－ＫＡＺＥといったアルゴリズムを利用することで抽出される画像特徴量であり、複数の特徴点のそれぞれについての位置座標と当該特徴点の特徴量と、を含む。特徴量は、例えば、上述のアルゴリズムから出力される数値であり、物体の局所的な形状や色彩の特徴を数値化したものである。

【0049】

変換画像生成部３２は、例えば、上述のアルゴリズムを利用することで、正面画像２２の全体と斜め画像２４の全体のそれぞれから特徴点群を抽出する。変換画像生成部３２は、例えば、正面画像２２及び斜め画像２４のそれぞれから、数十～数千程度あるいはそれ以上の特徴点を抽出する。

【0050】

そして、変換画像生成部３２は、正面画像２２内の各特徴点について、当該特徴点に対応する斜め画像２４内の特徴点を特定することで、特徴点群のマッチングを行う。マッチングの際には、特徴量が似ている特徴点同士を関連付ければよい。なお、特徴量が似ているとは、特徴量の値が似ていることであり、特徴量の差が小さい（例えば、差が最小となる）ことである。そして、このマッチングによって、正面画像２２内の特徴点と斜め画像２４内の特徴点とが関連付けられることとなる。

【0051】

そして、変換画像生成部３２は、特徴点群のマッチング結果に基づいて、変換行列を計算する。変換行列は、斜め画像２４内の各特徴点の位置が、正面画像２２におけるマッチング相手の特徴点の位置に近づくように計算される。変換行列の取得方法自体は、種々の方法を適用可能であり、例えば、アフィン変換、線形変換、又は投影変換における変換行列の計算式が利用されてもよい。

【0052】

そして、変換画像生成部３２は、変換行列に基づいて斜め画像２４を変換することで変換画像５０を生成する。図７に示すように、変換画像５０に表れている文書は、図３に示されている正面画像２２に表れている文書と大まかに似た状態となる。

【0053】

なお、特徴点群は、画像全体から抽出されてもよいが、一部の領域だけから抽出されてもよい。

【0054】

なお、ここでは、特徴点群を利用する場合を例に挙げたが、変換画像生成部３２は、画像の特徴となりうる情報に基づいて、斜め画像２４を変換すればよく、特徴点群以外の情報が利用されるようにしてもよい。

【0055】

なお、斜め画像２４の変換手法は、アフィン変換、線形変換、及び、投影変換には限定されない。斜め画像２４の変換において、回転、拡大・縮小、又は移動が利用されてもよい。また、アフィン変換、線形変換、投影変換、回転、拡大・縮小、移動のうちの一部又は全部の組合せが利用されてもよい。

【0056】

見本画像記憶部３４は、本実施形態では例えば、図８に示す見本画像５２を記憶する。本実施形態に係る見本画像５２とは、記載面に記載されている文書の歪みと曲がりが全くない又は略ない画像を指す。別の言い方をすれば、見本画像５２は、正面方向又は略正面方向から文書が取り込まれた状態の画像である。正面方向とは、文書の記載面とのなす角度が垂直となる方向であり、正対ということもできる。略正面方向とは、当該角度が垂直とみなせる程度の方向であり、例えば、当該角度が８０°以上の方向である。見本画像５２の書式は、正面画像２２の書式と同じである。このため、見本画像５２の定型部分と、正面画像２２の定型部分と、は同じであり、見本画像５２の非定型部分と、取込画像の非定型部分と、は異なる。なお、見本画像５２は、非定型部分を含まなくてもよい。即ち、見本画像５２は、書式部分だけであってもよい。

【0057】

図８に示すように、見本画像５２は、角丸四角形の運転免許証５４の形状が保たれており、歪みが全くない又は略ない状態である。また、運転免許証５４の向きがずれておらず、曲がりが全くない又は略ない状態である。このため、見本画像５２の文字は、歪んだり曲がったりしておらず、光学文字認識に適した状態といえる。例えば、見本画像５２は、画像処理システム１の管理者によって予め用意されている。例えば、管理者は、スキャナ等の画像読取装置又は撮影装置で文書が記載された対象物を取り込んで見本画像５２を生成し、見本画像記憶部３４に登録する。

【0058】

なお、見本画像５２の背景は、例えば黒色や白色などの単色であることが望ましい。

【0059】

また、本実施形態に係る見本画像５２は、所与の対象物（ここでは例えば運転免許証５４）が既知の領域に表れている画像である。以下、当該領域を、見本対象物領域Ｒ１と呼ぶこととする。すなわち、見本画像５２内における見本対象物領域Ｒ１の位置、形状、及び、大きさは予めわかっている。なお、本実施形態に係る見本対象物領域Ｒ１は、見本画像５２内において表れている運転免許証５４を囲む長方形の領域であることとする。そして、見本対象物領域Ｒ１を示す見本対象物領域データが見本画像記憶部３４に予め記憶される。対象物領域データは、例えば、見本対象物領域Ｒ１の頂点（ここでは例えば、Ｐ１、Ｐ２、Ｐ３、及び、Ｐ４の４頂点）の座標値を示すデータである。

【0060】

対象物領域特定部３６は、本実施形態では例えば、正面画像２２内において対象物が表れている領域を特定する。図９に示すように、以下、当該領域を正面対象物領域Ｒ２と呼ぶこととする。対象物領域特定部３６は、例えば、見本画像５２における当該対象物に記載されている文書の定型部分から抽出される特徴と、正面画像２２の少なくとも一部から抽出される特徴と、に基づいて、図９に示すように正面対象物領域Ｒ２を特定する。

【0061】

ここで、抽出される特徴とは、上述の通り、例えば、ＯｐｅｎＣＶで実装されているＳＩＦＴ、ＳＵＲＦ、又はＡ－ＫＡＺＥといったアルゴリズムを利用することで抽出される画像特徴量である。抽出される特徴には、複数の特徴点のそれぞれについての位置座標と当該特徴点の特徴量と、が含まれる。特徴量は、例えば、上述のアルゴリズムから出力される数値であり、物体の局所的な形状や色彩の特徴を数値化したものである。

【0062】

対象物領域特定部３６は、例えば、見本画像５２から抽出される定型部分の各特徴点について、当該特徴点に対応する正面画像２２内の特徴点を特定することで、特徴点群のマッチングを行う。そして、このマッチングによって、見本画像５２の定型部分内の特徴点と正面画像２２内の特徴点とが関連付けられることとなる。

【0063】

そして、対象物領域特定部３６は、当該マッチングの結果と、見本画像記憶部３４に記憶されている対象物領域データと、に基づいて、見本対象物領域Ｒ１に対応する正面画像２２内の正面対象物領域Ｒ２を特定する。例えば、対象物領域特定部３６は、正面画像２２内の正面対象物領域Ｒ２の頂点（図９の例では、Ｐ５、Ｐ６、Ｐ７、及び、Ｐ８の４頂点）の座標値を特定する。なお、本実施形態に係る四角形形状の正面対象物領域Ｒ２は、長方形でなくても構わない。例えば、正面画像２２が厳密に記載面を正面から見た様子を表すものではない場合には、正面対象物領域Ｒ２は長方形形状とならないことがある。

【0064】

また、対象物領域特定部３６は、本実施形態では例えば、正面画像２２における正面対象物領域Ｒ２に対応付けられる、変換画像５０における領域（図１０に示す変換対象物領域Ｒ３）を特定する。本実施形態では例えば、同一座標系に正面画像２２と変換画像５０を配置することで、正面画像２２における正面対象物領域Ｒ２に対応付けられる、変換画像５０における変換対象物領域Ｒ３が特定可能になっている。ここでは例えば、変換対象物領域Ｒ３の頂点（図１０の例では、Ｐ９、Ｐ１０、Ｐ１１、及び、Ｐ１２の４頂点）の座標値が特定される。なお、本実施形態に係る四角形形状の変換対象物領域Ｒ３は、正面対象物領域Ｒ２と同様、長方形でなくても構わない。

【0065】

照合部３８は、本実施形態では例えば、正面画像２２内の正面対象物領域Ｒ２と変換画像５０内の変換対象物領域Ｒ３とを照合することで、斜め画像２４に表れている対象物が正面画像２２に表れている対象物と同一のものであるか否かを判定する。

【0066】

本実施形態では例えば、正面対象物領域Ｒ２の形状及び大きさと変換対象物領域Ｒ３の形状及び大きさとは一致しており、正面対象物領域Ｒ２内の各画素について、当該画素に対応付けられる変換対象物領域Ｒ３内の画素が特定可能となっている。そして、例えば、正面対象物領域Ｒ２内の各画素について、当該画素の画素値と、当該画素に対応付けられる変換対象物領域Ｒ３内の画素の画素値との差が計算される。そして、正面対象物領域Ｒ２内の各画素について計算される画素値の差の合計が計算される。

【0067】

そして、照合部３８は、計算された合計が所定値よりも小さい場合は、斜め画像２４に表れている対象物が正面画像２２に表れている対象物と同一のものであると判定される。そうでない場合は、斜め画像２４に表れている対象物が正面画像２２に表れている対象物と同一のものでないと判定される。

【0068】

なお、本実施形態において、照合部３８が、上述のようなテクスチャマッチングに加え、正面画像２２に表れているユーザの顔の画像と変換画像５０に表れているユーザの顔の画像との照合（顔認証）を実行してもよい。そして、計算される画素値の差の合計が所定値よりも小さく、かつ、顔認証にも成功した場合に、斜め画像２４に表れている対象物が正面画像２２に表れている対象物と同一のものであると判定されてもよい。そして計算される画素値の差の合計が所定値よりも小さくない、あるいは、顔認証に失敗した場合に、斜め画像２４に表れている対象物が正面画像２２に表れている対象物と同一のものでないと判定されてもよい。

【0069】

ここで、斜め画像２４に表れている対象物が正面画像２２に表れている対象物と同一のものでないと判定された場合は、照合部３８は、正面画像２２及び斜め画像２４の再アップロード要求をユーザに通知してもよい。

【0070】

機械学習モデル４０は、本実施形態では例えば、ＣＮＮ（Convolutional Neural Network）等の機械学習モデルである。本実施形態では例えば、画像処理システム１の管理者によって、事前に、機械学習モデル４０の学習が実行されていることとする。図１１に示すように、例えば、本実施形態では例えば、学習入力画像と教師データとを含む訓練データが予め複数準備されている。学習入力画像は、例えば、運転免許証等の対象物の原本を斜め方向から撮影した画像や、薄い用紙を斜め方向から撮影した画像などといった、様々な物体を斜めから撮影した画像である。

【0071】

そして、例えば、対象物の原本を撮影した学習入力画像には、正例であることを示す教師データ（例えば、値が１である教師データ）が関連付けられる。一方、対象物の原本ではない物体を撮影した学習入力画像には、負例であることを示す教師データ（例えば、値が０である教師データ）が関連付けられる。このようにして、学習入力画像と、当該学習入力画像に関連付けられる教師データと、を含む訓練データが複数生成される。

【0072】

そして、訓練データに含まれる学習入力画像を機械学習モデル４０に入力した際の出力である出力データを用いて、機械学習モデル４０の学習が実行される。ここで例えば、訓練データに含まれる学習入力画像を機械学習モデル４０に入力した際の出力である出力データと、当該学習データに含まれる教師データと、の差が特定されてもよい。そして特定される差に基づいて誤差逆伝播法（バックプロパゲーション）などの手法を用いて機械学習モデル４０のパラメータの値が更新される教師あり学習が実行されてもよい。

【0073】

なお、機械学習モデル４０は、以上で説明したような分類モデルである必要はなく、回帰モデルであってもよい。この場合、教師データや出力データの値が、対象物の厚さ自体を示すものであってもよい。

【0074】

厚さ判定部４２は、本実施形態では例えば、斜め画像２４に基づいて、当該斜め画像２４に表れている対象物の厚さが所定の厚さよりも厚いか否かを判定する。ここで例えば、斜め画像２４に表れている対象物が正面画像２２に表れている対象物と同一のものであると判定された際に、厚さ判定部４２による判定が実行されるようにしてもよい。

【0075】

ここで例えば、機械学習モデル４０が上述の分類モデルであるとする。この場合、斜め画像２４を学習済の機械学習モデル４０に入力した際の出力が「１」である場合は、斜め画像２４に表れている対象物の厚さが所定の厚さよりも厚いと判定される。そして、斜め画像２４を学習済の機械学習モデル４０に入力した際の出力が「０」である場合は、斜め画像２４に表れている対象物の厚さが所定の厚さよりも薄いと判定される。

【0076】

また例えば、機械学習モデル４０が上述の回帰モデルであることとする。この場合、斜め画像２４を学習済の機械学習モデル４０に入力した際の出力が所定値以上である場合は、斜め画像２４に表れている対象物の厚さが所定の厚さよりも厚いと判定される。そして、斜め画像２４を学習済の機械学習モデル４０に入力した際の出力が当該所定値未満である場合は、斜め画像２４に表れている対象物の厚さが所定の厚さよりも薄いと判定される。

【0077】

ここで、斜め画像２４に表れている対象物の厚さが所定の厚さよりも薄いと判定された場合は、厚さ判定部４２は、正面画像２２及び斜め画像２４の再アップロード要求をユーザに通知してもよい。

【0078】

文字認識部４４は、本実施形態では例えば、光学文字認識等によって、正面対象物領域Ｒ２に記載されている文書に含まれる文字を認識する。文字認識部４４は、例えば、図５に例示されている抽出文字データを生成する。

【0079】

ここで、本実施形態に係るサーバ１０で行われる処理の流れの一例を、図１２に例示するフロー図を参照しながら説明する。

【0080】

まず、画像取得部３０が、図３に例示する正面画像２２、及び、図４に示す斜め画像２４を、ユーザ端末１２から受信する（Ｓ１０１）。

【0081】

そして、変換画像生成部３２が、Ｓ１０１に示す処理で受信した正面画像２２と斜め画像２４に基づいて、当該斜め画像２４を変換することで、図７に例示する変換画像５０を生成する（Ｓ１０２）。

【0082】

そして、対象物領域特定部３６が、図８に例示する見本画像５２、対象物領域データ、及び、Ｓ１０１に示す処理で受信した正面画像２２に基づいて、正面画像２２内における正面対象物領域Ｒ２を特定する（Ｓ１０３）。

【0083】

そして、対象物領域特定部３６が、Ｓ１０３に示す処理で特定された正面対象物領域Ｒ２に対応付けられる、Ｓ１０２に示す処理で生成された変換画像５０内における変換対象物領域Ｒ３を特定する（Ｓ１０４）。

【0084】

そして、照合部３８が、照合処理を実行することで、Ｓ１０１に示す処理で受信した斜め画像２４に表れている対象物がＳ１０１に示す処理で受信した正面画像２２に表れている対象物と同一のものであるか否かを判定する（Ｓ１０５）。ここでは例えば、Ｓ１０３に示す処理で特定された正面対象物領域Ｒ２内の各画素の画素値と、Ｓ１０４に示す処理で特定された変換対象物領域Ｒ３内の各画素の画素値と、に基づいて、当該判定が実行される。

【0085】

そして、厚さ判定部４２が、Ｓ１０１に示す処理で受信した斜め画像２４に基づいて、当該斜め画像２４に表れている対象物の厚さが所定の厚さよりも厚いか否かを判定する厚さ判定処理を実行する（Ｓ１０６）。

【0086】

そして、文字認識部４４が、光学文字認識等によって、Ｓ１０３に示す処理で特定された正面対象物領域Ｒ２に記載されている文書に含まれる文字を認識する文字認識処理を実行して、図５に例示されている抽出文字データを生成する（Ｓ１０７）。そして、本処理例に示す処理は終了される。

【0087】

図１２に示す処理では、Ｓ１０２及びＳ１０３に示すように、変換画像生成部３２により変換画像５０が生成された後に、対象物領域特定部３６が、正面対象物領域Ｒ２を特定している。ここで、Ｓ１０２に示す処理とＳ１０３に示す処理の順序が逆であってもよく、対象物領域特定部３６により正面対象物領域Ｒ２が特定された後に、変換画像生成部３２が、変換画像５０を生成してもよい。

【0088】

そしてこの場合、変換画像生成部３２は、対象物領域特定部３６により特定される正面対象物領域Ｒ２から抽出される特徴と斜め画像２４の少なくとも一部から抽出される特徴とに基づいて、斜め画像２４を変換することで、変換画像５０を生成してもよい。このようにすれば、正面画像２２の全体から特徴点が抽出される場合よりもマッチングに用いられる特徴点数が絞り込まれるため、図１２のＳ１０２に示されている処理よりも軽い処理負荷で、変換画像５０を生成することが可能となる。

【0089】

本実施形態では、以上で説明したようにして、電子的本人確認において、斜め画像２４に表れている対象物にある程度の厚みがあること、及び、正面画像２２に表れている対象物と斜め画像２４に表れている対象物が同一のものであることを確認される。このようにして、本実施形態によれば、ユーザが対象物の原本を所有していることを厳格に確認することができ、その結果、電子的本人確認をより厳格に行うことができることとなる。

【0090】

また、画像によって、背景、対象物が表れる領域の大きさ、環境光の当たり方、色、及び、明るさ、などはまちまちである。例えば、正面画像２２を撮影した際の背景と斜め画像２４を撮影した際の背景とが異なることがある。そのため、正面画像２２と斜め画像２４とを単に照合するだけでは、正面画像２２に表れている対象物と斜め画像２４に表れている対象物が同じものであるか否かを的確に判定することができないことがある。

【0091】

本実施形態では以上のようにして、見本画像５２に基づいて特定される正面対象物領域Ｒ２と変換対象物領域Ｒ３とが照合されるため、正面画像２２に表れている対象物と斜め画像２４に表れている対象物が同一のものであるか否かを的確に判定できることとなる。

【0092】

なお、本発明は上述の実施形態に限定されるものではない。

【0093】

例えば、サーバ１０とユーザ端末１２の役割分担は、以上で説明したものに限定されない。例えば、図６に示されている機能の一部又は全部がユーザ端末１２に実装されていてもよい。

【0094】

また、正面画像２２は、撮影部１２ｆで撮影されたものである必要はなく、スキャナで読み取られたものであってもよい。

【0095】

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

【符号の説明】

【0096】

１ 画像処理システム、１０ サーバ、１０ａ プロセッサ、１０ｂ 記憶部、１０ｃ 通信部、１２ ユーザ端末、１２ａ プロセッサ、１２ｂ 記憶部、１２ｃ 通信部、１２ｄ 操作部、１２ｅ 表示部、１２ｆ 撮影部、１４ コンピュータネットワーク、２０ 運転免許証、２２ 正面画像、２４ 斜め画像、３０ 画像取得部、３２ 変換画像生成部、３４ 見本画像記憶部、３６ 対象物領域特定部、３８ 照合部、４０ 機械学習モデル、４２ 厚さ判定部、４４ 文字認識部、５０ 変換画像、５２ 見本画像、５４ 運転免許証。

【要約】

【課題】電子的本人確認を厳格に行うことができる照合システム、照合方法及びプログラムを提供する。
【解決手段】
変換画像生成部３２は、斜め画像を変換することで、変換画像を生成する。対象物領域特定部３６は、見本画像における対象物に記載されている文書の定型部分から抽出される特徴と、正面画像の少なくとも一部から抽出される特徴と、に基づいて、正面画像内において対象物が表れている対象物領域を特定する。照合部３８は、正面画像における対象物領域と、当該対象物領域に対応付けられる変換画像における領域と、を照合することで、斜め画像に表れている対象物が正面画像に表れている対象物と同一のものであるか否かを判定する。
【選択図】図６

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】