特許 7597207 情報処理装置および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】情報処理装置および情報処理方法

(51)【国際特許分類】

   G06V 30/194 20220101AFI20241203BHJP

   G06V 30/412 20220101ALI20241203BHJP

   G06V 30/14 20220101ALI20241203BHJP

【ＦＩ】

G06V30/194

G06V30/412

G06V30/14 340J

【請求項の数】 11

(21)【出願番号】P 2023508815

(86)(22)【出願日】2022-02-22

(86)【国際出願番号】 JP2022007090

(87)【国際公開番号】W WO2022202047

(87)【国際公開日】2022-09-29

【審査請求日】2023-09-08

(31)【優先権主張番号】P 2021052124

(32)【優先日】2021-03-25

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】富森 博幸

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１９－００３４２１（ＪＰ，Ａ）

【文献】特開２０２０－１４４４３７（ＪＰ，Ａ）

【文献】特開２０１９－００３５０４（ＪＰ，Ａ）

【文献】特開２０２０－１１３２４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／１９４

Ｇ０６Ｖ ３０／４１２

Ｇ０６Ｖ ３０／１４

(57)【特許請求の範囲】

【請求項1】

券面の画像を取得する取得手段と、
前記画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出す切出手段と、
学習済のモデルに対して、前記切出手段によって切出された画像を入力することにより、前記１又は複数の対象文字に関する識別処理を実行する識別手段とを備え、
前記周辺の画像は、前記１又は複数の対象文字の周辺の罫線であり、
前記学習済のモデルは、前記１又は複数の対象文字および前記罫線を含んだ画像を機械学習させたモデルである、情報処理装置。

【請求項2】

前記周辺の画像は、前記１又は複数の対象文字の上側に配置された罫線および前記１又は複数の対象文字の下側に配置された罫線の少なくとも何れか一方である、請求項１に記載の情報処理装置。

【請求項3】

前記周辺の画像は、前記１又は複数の対象文字以外の少なくとも１つの文字である、請求項１に記載の情報処理装置。

【請求項4】

前記モデルは、前記券面に含まれ複数の項目の各々に対応して各々が学習された複数のモデルを含み、
前記識別手段は、
前記券面の画像内の位置に基づき当該券面に含まれる項目を特定し、
前記複数のモデルの中から前記特定した項目に対応するモデルを選択し、
選択したモデルを用いて、前記特定した項目に含まれる１又は複数の文字に関する識別処理を実行する、請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

前記情報処理装置はさらに、
前記識別処理の結果を参照して、前記券面の真偽を判別する判別手段を備える、請求項１～４のいずれか１項に記載の情報処理装置。

【請求項6】

前記識別処理の結果には、１又は複数の識別後の文字が含まれ、
前記判別手段は、前記１又は複数の識別後の文字の形式を判定することにより、前記券面の真偽を判別する、請求項５に記載の情報処理装置。

【請求項7】

前記識別処理の結果には、１又は複数の識別後の文字が含まれ、
前記判別手段は、前記１又は複数の識別後の文字の内容と、前記１又は複数の識別後の文字とは異なる前記券面に含まれる識別後の文字の内容とが、予め定められた所定の条件を満たす場合に前記券面が真正であると判定する、請求項５に記載の情報処理装置。

【請求項8】

前記学習済のモデルは、前記切出手段によって切出された画像を入力することにより、前記１又は複数の対象文字の確度情報を出力するように学習されており、
前記判別手段は、前記確度情報が所定値よりも低い場合に、前記券面が偽造されていると判定する、請求項５に記載の情報処理装置。

【請求項9】

券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を複数含む教師データを取得する教師データ取得手段と、
券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像を入力とし、当該１又は複数の対象文字に関する識別結果を出力するモデルを、前記教師データを用いて学習させる学習手段とを備え、
前記周辺の画像は、前記１又は複数の対象文字の周辺の罫線であり、
前記モデルは、前記１又は複数の対象文字および前記罫線を含んだ画像を機械学習させたモデルである、情報処理装置。

【請求項10】

券面の画像を取得し、
前記画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出し、
学習済のモデルに対して、前記切出された画像を入力することにより、前記１又は複数の対象文字に関する識別処理を実行し、
前記周辺の画像は、前記１又は複数の対象文字の周辺の罫線であり、
前記学習済のモデルは、前記１又は複数の対象文字および前記罫線を含んだ画像を機械学習させたモデルである、情報処理方法。

【請求項11】

券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を複数含む教師データを取得し、
券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像を入力とし、当該１又は複数の対象文字に関する識別結果を出力するモデルを、前記教師データを用いて学習させ、
前記周辺の画像は、前記１又は複数の対象文字の周辺の罫線であり、
前記モデルは、前記１又は複数の対象文字および前記罫線を含んだ画像を機械学習させたモデルである、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、券面の対象文字を識別する情報処理装置に関する。

【背景技術】

【0002】

従来、運転免許証、マイナンバーカード等の本人確認書類が偽造されたものか否かを判別する方法として、人の目やＯＣＲ（Optical Character Recognition）等の技術を用いて、記載内容を確認する方法が知られている。これに関連する技術として、下記の特許文献１および特許文献２に開示された発明がある。

【0003】

特許文献１は、対象物の真贋を検証する対象物検証装置、対象物検証プログラム、及び対象物検証方法に関する。対象物検証装置は、対象物の真贋を検証する対象物検証装置であって、対象物の画像を取得する画像取得部と、対象物中の真贋を検証すべき検証領域を特定する検証領域特定部と、前記画像中の前記検証領域における複数の有記載部分を検出する有記載部分検出部と、前記画像における前記複数の有記載部分を互いに比較することで、対象物の真贋を検証する検証部とを備えた構成を有している。

【0004】

特許文献２は、認識処理装置及びプログラムに関する。認識処理装置は、文書の画像から、同種の文書中でのその文書の分類を示す特徴を認識する手段と、画像中の認識対象要素に対して、認識された特徴が示す分類に対応する認識処理を適用して、認識対象要素の認識を行う認識手段と、を含む。

【先行技術文献】

【特許文献】

【0005】

【文献】日本国特開２０１３－１８８９３５号公報

【文献】日本国特開２０２０－０４２４６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１～２に記載の発明においては、券面に記載された文字を正確に識別するという観点で課題がある。

【0007】

本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、券面に記載された文字を正確に識別することができる技術を提供することである。

【課題を解決するための手段】

【0008】

本発明の一態様に係る情報処理装置は、券面の画像を取得する取得手段と、画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出す切出手段と、学習済のモデルに対して、切出手段によって切出された画像を入力することにより、１又は複数の対象文字に関する識別処理を実行する識別手段とを備える。

【0009】

本発明の一態様に係る情報処理装置は、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を複数含む教師データを取得する教師データ取得手段と、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像を入力とし、当該１又は複数の対象文字に関する識別結果を出力するモデルを、教師データを用いて学習させる学習手段とを備える。

【0010】

本発明の一態様に係る情報処理方法は、券面の画像を取得し、画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出し、学習済のモデルに対して、切出された画像を入力することにより、１又は複数の対象文字に関する識別処理を実行する。

【0011】

本発明の一態様に係る情報処理方法は、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を複数含む教師データを取得し、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像を入力とし、当該１又は複数の対象文字に関する識別結果を出力するモデルを、教師データを用いて学習させる。

【0012】

本発明の一態様に係る学習済モデルの製造方法は、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を複数含む教師データを取得し、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像を入力とし、当該１又は複数の対象文字に関する識別結果を出力するモデルを、教師データを用いて学習させる。

【0013】

本発明の一態様に係るコンピュータプログラムは、コンピュータに情報処理方法を実行させるためのコンピュータプログラムであって、情報処理方法は、券面の画像を取得し、画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出し、学習済のモデルに対して、切出された画像を入力することにより、１又は複数の対象文字に関する識別処理を実行する。

【0014】

本発明の一態様に係るコンピュータプログラムは、コンピュータに情報処理方法を実行させるためのコンピュータプログラムであって、情報処理方法は、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を複数含む教師データを取得し、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像を入力とし、当該１又は複数の対象文字に関する識別結果を出力するモデルを、教師データを用いて学習させる。

【発明の効果】

【0015】

本発明の一態様によれば、券面に記載された文字を正確に識別することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の例示的実施形態１に係る情報処理装置の機能的構成を示すブロック図である。

【図2】本発明の例示的実施形態１に係る情報処理方法の流れを示すフロー図である。

【図3】本発明の例示的実施形態２に係る情報処理装置の機能的構成を示すブロック図である。

【図4】本発明の例示的実施形態２に係る情報処理方法の流れを示すフロー図である。

【図5】本発明の例示的実施形態３に係る情報処理装置の機能的構成を示すブロック図である。

【図6】券面の一例を示す図である。

【図7】本発明の例示的実施形態３に係る情報処理方法の流れを示すフロー図である。

【図8】本発明の例示的実施形態４に係る情報処理システムの機能的構成を示すブロック図である。

【図9】本発明の例示的実施形態４に係る読取装置の処理手順を説明するためのフローチャートである。

【図10】本発明の例示的実施形態４に係るサーバの処理手順を説明するためのフローチャートである。

【図11】コンピュータの構成例を示す図である。

【発明を実施するための形態】

【0017】

〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。

【0018】

（情報処理装置の構成）
本例示的実施形態に係る情報処理装置１０の構成について、図１を参照して説明する。図１は、情報処理装置１０の機能的構成を示すブロック図である。情報処理装置１０は、取得部１１と、切出部１２と、識別部１３とを含む。

【0019】

取得部１１は、券面の画像を取得する。取得部１１は、例えば、カメラによって撮像された券面の画像、スキャナによって読み取られた券面の画像等を取得する。なお、本例示的実施形態において、券面の具体例として、運転免許証、マイナンバーカード、パスポート、健康保険証等の本人確認書類を挙げることができるがこれらに限定されるものではない。本例示的実施形態において、券面とは、広義の意味で、所定の様式を有し、当該様式中に少なくとも１つの文字を含む対象物のことを指す。文字が印字又は配置された面の素材は、一例として、紙、樹脂、またはこれらの組み合わせが挙げられるが、これらに限定されるものではない。

【0020】

なお、券面の大きさは、例えば、Ａ４版等のカードよりも大きいものであってもよく、上述のようなカードサイズに限られるものではない。

【0021】

切出部１２は、取得部１１によって取得された券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出す。後述のように、周辺の画像は、１又は複数の対象文字の周辺の罫線、他の少なくとも１つの文字等である。

【0022】

ここで、本提示的実施形態において罫線とは、対象文字の周辺に存在する線状のオブジェクト一般のことを指す。より具体的に言えば、本提示的実施形態において罫線とは、例えば、運転免許証の「氏名」欄、「種類」欄等の四角い枠の上下左右の線の何れか、または複数の線を含む概念であり、運転免許証の「氏名」欄、「種類」欄等のような四角で閉じられた枠だけに限られず、対象文字の上だけに線がある場合、対象文字の下だけに線がある場合等も含む概念である。

【0023】

識別部１３は、学習済のモデルに対して、切出部１２によって切出された画像を入力することにより、１又は複数の対象文字に関する識別処理を実行する。後述のように、学習済のモデルは、一例として、ニューラルネットワーク（以下、ＮＮと略す。）にディープラーニング（深層学習）を行わせて生成されたモデルである。ここで、ニューラルネットワークとしては、ＣＮＮ（Convolutional Neural Network）やＲＮＮ（Recurrent Neural Network）等を挙げることができる。なお、当該モデルは、これらの構成に限定されるものではなく、ＳＶＭ（Support Vector Machine）等の他の機械学習であってもよいし、これら他の機械学習とニューラルネットワークとを組み合わせたものであってもよい。なお、本例示的実施形態では、単に「モデル」との表現を用いることが多いが、当該モデルは、推論モデル、推定モデル、識別モデルなどとも表現され得るものである。

【0024】

（情報処理装置１０の効果）
以上のように、本例示的実施形態に係る情報処理装置１０においては、切出部１２が、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出すので、対象文字のみで識別処理を実行するよりも、文字を正確に識別することができる。

【0025】

（情報処理方法の流れ）
本例示的実施形態に係る情報処理方法の流れについて、図２を参照して説明する。図２は、情報処理方法の流れを示すフロー図である。まず、取得部１１は、券面の画像を取得する（Ｓ１）。

【0026】

次に、切出部１２は、取得部１１によって取得された画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出す（Ｓ２）。そして、識別部１３は、学習済のモデルに対して、切出部１２によって切出された画像を入力することにより、１又は複数の対象文字に関する識別処理を実行する（Ｓ３）。

【0027】

（情報処理方法の効果）
以上のように、本例示的実施形態に係る情報処理方法においては、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出すので、対象文字のみで識別処理を実行するよりも、文字を正確に識別することができる。

【0028】

〔例示的実施形態２〕
（情報処理装置の構成）
図３は、例示的実施形態２に係る情報処理装置２０の機能的構成を示すブロック図である。情報処理装置２０は、教師データ取得部２１と、教師データ記憶部２２と、学習部２３とを含む。なお、本例示的実施形態においては、学習対象のモデルがＮＮを含む場合について説明する。

【0029】

教師データ取得部２１は、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベル（正解データ）との組を複数含む教師データを教師データ記憶部２２から取得する。

【0030】

教師データ記憶部２２は、予め作成された複数の教師データを記憶している。ここで、教師データは、一例として、真正の券面の画像から切り出された１又は複数の対象文字および周辺の画像と、当該１又は複数の対象文字に関する正解ラベル（正解データ）との組を指す。

【0031】

モデルには、真正の券面の画像から切り出された１又は複数の対象文字および周辺の画像と、正解ラベルとの対応関係を学習させる。例えば、識別する対象文字の種類が１０００個であれば、１０００個の出力ノードを用意し、対象文字に対応する出力ノードに“１”（“１”に近い値）を出力し、他の出力ノードには“０”（“０”に近い値）を出力するようにモデルに学習させる。このようにモデルを学習させることで、モデルに識別対象の１又は複数の対象文字および周辺の画像が入力されたときに、対象となる出力ノードに最も高い値が出力されるようになる。

【0032】

また、当該モデルは、識別処理の確度を示す確度情報を出力する。一例として、当該モデルは、各出力ノードの値に応じた確度情報を出力する。一例として、当該モデルは、上記対象となる出力ノードの値を、確度情報として出力する。

【0033】

学習部２３は、教師データ取得部２１によって取得された教師データを用いて、モデルを学習させる。上述のように、ＮＮを用いる場合には、入力レイヤに、券面の画像から切り出された１又は複数の対象文字および周辺の画像を入力する。そして、出力ノードに出力される値と、対応する正解ラベルの値との差（誤差）を逆伝播して、誤差が小さくなるように重み付けを変更する、いわゆる、ＢＰ（Back Propagation）法を用いてモデルの学習が行われる。

【0034】

以上のように、本例示的実施形態に係る情報処理装置２０においては、学習部２３が、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベル（正解データ）との組を用いてモデルを学習させるので、文字を正確に識別することができるモデルを作成することが可能となる。

【0035】

（情報処理方法の流れ）
本例示的実施形態に係る情報処理方法の流れについて、図４を参照して説明する。図４は、情報処理方法の流れを示すフロー図である。図４に示す情報処理方法は、情報処理装置２０を用いたモデルの学習方法と捉えることもできるし、情報処理装置２０を用いたモデルの製造方法と捉えることもできる。

【0036】

まず、教師データ取得部２１は、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を複数含む教師データを取得する（Ｓ１１）。

【0037】

次に、学習部２３は、教師データ取得部２１によって取得された教師データを用いて、モデルを学習させる（Ｓ１２）。そして、モデルの学習が終了したか否かが判定される（Ｓ１３）。例えば、教師データ記憶部２２に記憶される全ての教師データを用いてモデルを学習させたときに、モデルの学習が終了したと判定される。

【0038】

モデルの学習が終了していなければ（Ｓ１３，Ｎｏ）、ステップＳ１１に戻って以降の処理を繰り返す。また、モデルの学習が終了していれば（Ｓ１３，Ｙｅｓ）、学習部２３は、学習済のモデルを出力する（Ｓ１４）。

【0039】

以上のように、本例示的実施形態に係る情報処理方法においては、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を用いて学習させるので、文字を正確に識別することができるモデルを作成することが可能となる。

【0040】

〔例示的実施形態３〕
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。

【0041】

（情報処理装置の構成例）
図５は、本発明の第３の例示的実施形態に係る情報処理装置１０ａの機能的構成を示すブロック図である。情報処理装置１０ａは、取得部１１と、切出部１２と、識別部１３ａと、判別部１４とを含む。

【0042】

図６は、券面の一例を示す図である。券面の一例として運転免許証の場合について説明するが、マイナンバーカード、パスポート、健康保険証等の本人確認書類でもよく、これらに限定されるものではない。本例示的実施形態において、券面とは、広義の意味で、所定の様式を有し、当該様式中に少なくとも１つの文字を含む対象物のことを指す。文字が印字又は配置された面の素材は、一例として、紙、樹脂、またはこれらの組み合わせが挙げられるが、これらに限定されるものではない。

【0043】

図６に示すように、運転免許証には、氏名欄、生年月日欄、住所欄、交付年月日欄、種類欄などがあるが、これらの欄の位置は予め決められている。したがって、切出し部１２は、取得部１１によって取得された全体画像内の位置関係から各項目の欄を特定することができる。

【0044】

切出部１２は、例えば、氏名を抽出する場合、運転免許証の全体画像における座標に基づいて氏名欄を特定し、氏名欄の中に記載されている全ての文字列の画像を抽出する。抽出した文字列の画像から１文字ずつ抽出する方法は本実施形態を限定するものではないが、一例として、従来知られている文字抽出アルゴリズムを用いることができる。

【0045】

切出部１２は、抽出した文字を切出すときに、１又は複数の対象文字の周辺の画像を含めて切出す。図６に示す氏名欄の場合、切出部１２は、氏名に含まれる１又は複数の対象文字の周辺の罫線を含めて画像を切出す。具体的には、切出部１２は、１又は複数の対象文字の上側に配置された罫線および１又は複数の対象文字の下側に配置された罫線の少なくとも何れか一方を切出す。なお、氏名に含まれる１又は複数の対象文字の左右の罫線を含めて画像を切出すようにしてもよい。

【0046】

なお、図６において氏名欄における「△」のマークは、人名を表す漢字、ひらがな、カタカナ、及びアルファベットなどを抽象的に表現したものに過ぎず、本例示的実施形態を限定するものではない。

【0047】

また、切出部１２は、抽出した文字を切出すときに、１又は複数の対象文字以外の少なくとも１つの文字を含めて切出すようにしてもよい。例えば、生年月日欄の「昭和」や「日生」は、これら２つの文字の組み合わせが決まっているため、切出部１２は、図６に示すように、「昭」の文字を切出すときに、「和」の文字も含めて切出す。同様に、切出部１２は、図６に示すように、「日」の文字を切出すときに、「生」の文字も含めて切出す。

【0048】

識別部１３ａは、氏名用モデル１３１と、住所用モデル１３２と、種類用モデル１３３とを含む。氏名用モデル１３１は、図３に示す第２の例示的実施形態に係る情報処理装置を用いて作成したモデルであり、氏名欄に記載された文字に基づいて作成された教師データをモデルに学習させたものである。

【0049】

住所用モデル１３２は、図３に示す第２の例示的実施形態に係る情報処理装置を用いて作成したモデルであり、住所欄に記載された文字に基づいて作成された教師データをモデルに学習させたものである。

【0050】

同様に、種類用モデル１３３は、図３に示す第２の例示的実施形態に係る情報処理装置を用いて作成したモデルであり、種類欄に記載された文字に基づいて作成された教師データをモデルに学習させたものである。

【0051】

図５において、識別部１３ａには、氏名用モデル１３１、住所用モデル１３２および種類用モデル１３３の３種類のモデルのみを記載しているが、それ以外の項目の画像を学習させたモデルが含まれていてもよい。

【0052】

識別部１３ａは、切出部１２によって切出された画像がどの項目に対応するかを特定し、複数のモデル（氏名用モデル１３１、住所用モデル１３２、種類用モデル１３３）の中から特定した項目に対応するモデルを選択する。そして、識別部１３ａは、選択したモデルを用いて、特定した項目に含まれる１又は複数の文字に関する識別処理を実行する。

【0053】

判別部１４は、識別処理の結果を参照して、券面の真偽を判別する。また、識別処理の結果には、１又は複数の識別後の文字が含まれ、判別部１４は、１又は複数の識別後の文字の形式を判定することにより、券面の真偽を判別する。判別部１４は、形式が予め定められた所定の要件を満たす場合に券面が真正であると判別する。一例として、以下に示す各項目の文字列の形式をチェックすることによって、券面の真偽を判定する。

【0054】

（１）氏名欄に“［”があった場合、その後ろに“］”があるか否か
（２）生年月日欄、交付年月日欄等の日付が有効な日付か否か
（３）交付年月日欄の交付番号が５桁の数字になっているか否か
また、識別処理の結果には、１又は複数の識別後の文字が含まれ、判別部１４は、１又は複数の識別後の文字の整合性を判定することにより、券面の真偽を判別する。判別部１４は、整合性として、券面中のある記載が別の記載との関係で矛盾しない（予め定められた所定の条件を満たす）場合に券面が真正であると判別する。一例として、判別部１４は、以下に示す各項目の文字列の整合性をチェックすることによって、券面の真偽を判定する構成としてもよい。

【0055】

（１）旧姓表記がある場合、交付日が所定の日付以降か否か
（２）西暦表記がある場合、交付年月日が所定の日付以降になっているか否か
（３）有効期限が生年月日の翌月になっているか否か
また、識別処理の結果には、１又は複数の識別後の文字が含まれ、判別部１４は、１又は複数の識別後の文字を、予め定められた文字群と比較することによって、券面の真偽を判別する構成としてもよい。例えば、種類欄には、「大型」、「小型」、「中型」、「原付」等の種類が記載されており、これらの種類は予め決まっている。したがって、判別部１４は、識別部１３ａによって識別された後の種類欄に記載の文字を、これらの文字群（「大型」、「小型」、「中型」、「原付」等の文字を含む文字群）と比較し、一致するか否かで券面の真偽を判別することができる。

【0056】

また、判別部１４は、確度情報を参照して、券面の真偽を判別する。上述のように、学習済のモデルに対して、切出部１２によって切出された画像を入力したときに、確度情報が出力されるようにモデルを作成することにより、識別部１３ａが確度情報を出力することができる。判別部１４は、識別部１３ａから出力される確度情報が所定値よりも低ければ、その１又は複数の識別後の文字が偽造されたものであると判定する。これは、券面の文字が種類の異なるフォントで作成された場合に、誤認識が多くなることを利用している。判別部１４は、識別部１３ａによって識別処理が行われた全ての１又は複数の識別後の文字について真偽の判定を行い、確度情報が所定値よりも低いと判定されればその券面は偽造されたものと判定する。

【0057】

図７は、本発明の例示的実施形態３に係る情報処理方法の流れを示すフロー図である。まず、取得部１１は、券面の画像を取得する（Ｓ２１）。そして、切出部１２は、取得部１１によって取得された券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出す（Ｓ２２）。

【0058】

次に、識別部１３ａは、券面の画像内の位置に基づき券面に含まれる項目を特定し（Ｓ２３）、特定した項目に対応するモデルを選択する（Ｓ２４）。そして、識別部１３ａは、選択したモデルを用いて、特定した項目に含まれる１又は複数の文字に関する識別処理を実行する（Ｓ２５）。

【0059】

最後に、判別部１４は、識別部１３ａによる識別処理の結果を参照して、券面の真偽を判別する（Ｓ２６）。

【0060】

以上のように、本例示的実施形態に係る情報処理装置においては、切出部１２が、１又は複数の対象文字の周辺の罫線を含めて画像を切出す。券面が偽造されている場合、対象文字と罫線との間の距離が微妙に異なっていたり、対象文字が罫線に対して微妙に傾いたりしている。したがって、識別部１３ａが、学習済のモデルに対して、切出部１２によって切出された画像を入力して、１又は複数の対象文字に関する識別処理を実行することにより、券面の偽造を識別することが可能となる。

【0061】

また、切出部１２が、１又は複数の対象文字以外の少なくとも１つの文字を含めて切出す。券面が偽造されている場合、対象文字とそれ以外の文字との間の距離が微妙に異なっていたり、対象文字がそれ以外の文字に対して微妙に傾いたりしている。したがって、識別部１３ａが、学習済のモデルに対して、切出部１２によって切出された画像を入力して、１又は複数の対象文字に関する識別処理を実行することにより、券面の偽造を識別することが可能となる。

【0062】

また、識別部１３ａが、切出部１２によって切出された画像がどの項目に対応するかを特定し、複数のモデル（氏名用モデル１３１、住所用モデル１３２、種類用モデル１３３）の中から特定した項目に対応するモデルを選択する。したがって、項目によって異なる種類のフォントをモデルに学習させたりすることができ、券面の偽造をより正確に識別することが可能となる。

【0063】

また、判別部１４は、識別部１３ａによって識別された後の各項目の文字列に基づいて、券面の真偽を判別する。したがって、識別された後の各項目の文字列の内容に応じて、券面の真偽を判別することが可能となる。

【0064】

また、判別部１４は、１又は複数の識別後の文字の形式を判定することにより、券面の真偽を判別する。したがって、形式的な不備を伴う券面の偽造を容易に判別することが可能となる。

【0065】

また、判別部１４は、１又は複数の識別後の文字の整合性を判定することにより、券面の真偽を判別する。したがって、整合性の不備を伴う券面の偽造を容易に判別することが可能となる。

【0066】

また、判別部１４は、１又は複数の識別後の文字を、予め定められた文字群と比較することによって、券面の真偽を判別する。したがって、運転免許証の種類欄のように特定の文字群が記載されている項目の場合に、それ以外の文字群が記載されていれば、券面が偽造されていると判別することができる。

【0067】

また、判別部１４は、識別部１３ａから出力される確度情報が所定値よりも低ければ、その１又は複数の識別後の文字が偽造されたものであると判定する。したがって、券面の文字が種類の異なるフォントで作成された場合等に、券面が偽造されていると判別することができる。

【0068】

〔例示的実施形態４〕
本発明の第４の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態３において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。

【0069】

（情報処理システムの構成）
図８は、例示的実施形態４に係る情報処理システム１の機能的構成を示すブロック図である。情報処理システム１は、読取装置３０と、サーバ４０とを含み、それらが通信ネットワーク５０を介して接続されている。読取装置３０は、撮像部３１と、通信部３２とを含む。撮像部３１は、スマートフォンに設けられているカメラ、スキャナ等に相当し、券面の画像を撮像する。

【0070】

通信部３２は、インターネット等の広域通信網である通信ネットワーク５０を介して、銀行等に設置されるサーバ４０との間で通信を行う。通信部３２は、撮像部３１によって撮像された券面の画像を通信ネットワーク５０を介してサーバ４０に送信する。

【0071】

サーバ４０は、通信部４１と、情報処理装置１０ａとを含む。通信部４１は、インターネット等の広域通信網である通信ネットワーク５０を介して、読取装置３０との間で通信を行う。通信部４１は、通信ネットワーク５０を介して読取装置３０から券面の画像を受信する。

【0072】

情報処理装置１０ａの取得部１１は、通信部４１によって受信された券面の画像を取得する。それ以降の処理は、例示的実施形態３において説明したものと同様である。したがって、詳細な説明は繰り返さない。

【0073】

通信部４１は、情報処理装置１０ａによる券面の画像の判別結果を受け、通信ネットワーク５０を介して読取装置３０に送信する。

【0074】

図９は、本発明の例示的実施形態４に係る読取装置３０の処理手順を説明するためのフローチャートである。まず、撮像部３１は、券面の画像を撮像する（Ｓ３１）。そして、通信部３２は、撮像部３１によって撮像された券面の画像を通信ネットワーク５０を介してサーバ４０に送信する（Ｓ３２）。

【0075】

図１０は、本発明の例示的実施形態４に係るサーバ４０の処理手順を説明するためのフローチャートである。まず、通信部４１は、通信ネットワーク５０を介して読取装置３０から券面の画像を受信する（Ｓ４１）。

【0076】

情報処理装置１０ａは、券面の真偽を判別する（Ｓ４２）。そして、通信部４１は、情報処理装置１０ａによる券面の画像の判別結果を受け、通信ネットワーク５０を介して読取装置３０に送信する（Ｓ４３）。

【0077】

以上のように、読取装置３０が券面の画像を撮像してサーバ４０に送信し、サーバ４０が券面の真偽を判別して判別結果を読取装置３０に送信する。したがって、読取装置３０側で券面の真偽を判別する必要がなくなる。

【0078】

また、切出部１２が、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出すので、対象文字のみで識別処理を実行するよりも、文字を正確に識別することができる。

【0079】

〔ソフトウェアによる実現例〕
情報処理装置１０，１０ａ，２０の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。

【0080】

後者の場合、情報処理装置１０，１０ａ，２０は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータ６０と記載する）を図１１に示す。コンピュータ６０は、少なくとも１つのプロセッサ６１と、少なくとも１つのメモリ６２とを備え、内部バス６３を介して接続されている。メモリ６２には、コンピュータ６０を情報処理装置１０，１０ａ，２０として動作させるためのプログラムＰが記録されている。コンピュータ６０において、プロセッサ６１は、プログラムＰをメモリ６２から読み取って実行することにより、情報処理装置１０，１０ａ，２０の各機能が実現される。

【0081】

プロセッサ６１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、ＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）、又は、これらの組み合わせなどを用いることができる。メモリ６２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。

【0082】

なお、コンピュータ６０は、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータ６０は、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータ６０は、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。

【0083】

また、プログラムＰは、コンピュータ６０が読み取り可能な、一時的でない有形の記録媒体７０に記録することができる。このような記録媒体７０としては、例えば、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory)、ＤＶＤ（Digital Versatile Disc）、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータ６０は、このような記録媒体７０を介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータ６０は、このような伝送媒体を介してプログラムＰを取得することもできる。

【0084】

〔付記事項１〕
本発明は、上述した例示的実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した例示的実施形態に開示された技術的手段を適宜組み合わせて得られる例示的実施形態についても、本発明の技術的範囲に含まれる。

【0085】

〔付記事項２〕
上述した例示的実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。

【0086】

（付記１）
券面の画像を取得する取得手段と、
前記画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出す切出手段と、
学習済のモデルに対して、前記切出手段によって切出された画像を入力することにより、前記１又は複数の対象文字に関する識別処理を実行する識別手段とを備える、情報処理装置。

【0087】

（付記２）
前記周辺の画像は、前記１又は複数の対象文字の周辺の罫線である、付記１に記載の情報処理装置。

【0088】

（付記３）
前記周辺の画像は、前記１又は複数の対象文字の上側に配置された罫線および前記１又は複数の対象文字の下側に配置された罫線の少なくとも何れか一方である、付記２に記載の情報処理装置。

【0089】

（付記４）
前記周辺の画像は、前記１又は複数の対象文字以外の少なくとも１つの文字である、付記１に記載の情報処理装置。

【0090】

（付記５）
前記モデルは、前記券面に含まれ複数の項目の各々に対応して各々が学習された複数のモデルを含み、
前記識別手段は、
前記券面の画像内の位置に基づき当該券面に含まれる項目を特定し、
前記複数のモデルの中から前記特定した項目に対応するモデルを選択し、
選択したモデルを用いて、前記特定した項目に含まれる１又は複数の文字に関する識別処理を実行する、付記１～４のいずれかに記載の情報処理装置。

【0091】

（付記６）
前記情報処理装置はさらに、
前記識別処理の結果を参照して、前記券面の真偽を判別する判別手段を備える、付記１～５のいずれかに記載の情報処理装置。

【0092】

（付記７）
前記識別処理の結果には、１又は複数の識別後の文字が含まれ、
前記判別手段は、前記１又は複数の識別後の文字の形式を判定することにより、前記券面の真偽を判別する、付記６に記載の情報処理装置。

【0093】

（付記８）
前記識別処理の結果には、１又は複数の識別後の文字が含まれ、
前記判別手段は、前記１又は複数の識別後の文字の整合性を判定することにより、前記券面の真偽を判別する、付記６または７に記載の情報処理装置。

【0094】

（付記９）
前記識別処理の結果には、１又は複数の識別後の文字が含まれ、
前記判別手段は、前記１又は複数の識別後の文字を、予め定められた文字群と比較することによって、前記券面の真偽を判別する、付記６～８のいずれかに記載の情報処理装置。

【0095】

（付記１０）
前記識別処理の結果には、当該識別処理の確度情報が含まれ、
前記判別手段は、前記確度情報を参照して、前記券面の真偽を判別する、付記６～９のいずれかに記載の情報処理装置。

【0096】

（付記１１）
券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を複数含む教師データを取得する教師データ取得部と、
前記教師データを用いて、前記モデルを学習させる学習部とをさらに備える、付記１～１０のいずれかに記載の情報処理装置。

【0097】

（付記１２）
前記券面は、本人確認書類であり、運転免許証、マイナンバーカード、パスポートおよび健康保険証のいずれかである、付記１～１１のいずれかに記載の情報処理装置。

【0098】

（付記１３）
券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を複数含む教師データを取得する教師データ取得部と、
券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像を入力とし、当該１又は複数の対象文字に関する識別結果を出力するモデルを、前記教師データを用いて学習させる学習部とを備える、情報処理装置。

【0099】

（付記１４）
券面の画像を取得し、
前記画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出し、
学習済のモデルに対して、前記切出された画像を入力することにより、前記１又は複数の対象文字に関する識別処理を実行する、情報処理方法。

【0100】

（付記１５）
券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を複数含む教師データを取得し、
券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像を入力とし、当該１又は複数の対象文字に関する識別結果を出力するモデルを、前記教師データを用いて学習させる、情報処理方法。

【0101】

（付記１６）
券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を複数含む教師データを取得し、
券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像を入力とし、当該１又は複数の対象文字に関する識別結果を出力するモデルを、前記教師データを用いて学習させる、学習済モデルの製造方法。

【0102】

（付記１７）
コンピュータに情報処理方法を実行させるためのコンピュータプログラムであって、
前記情報処理方法は、券面の画像を取得し、
前記画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出し、
学習済のモデルに対して、前記切出された画像を入力することにより、前記１又は複数の対象文字に関する識別処理を実行する、コンピュータプログラム。

【0103】

（付記１８）
コンピュータに情報処理方法を実行させるためのコンピュータプログラムであって、
前記情報処理方法は、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を複数含む教師データを取得し、
券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像を入力とし、当該１又は複数の対象文字に関する識別結果を出力するモデルを、前記教師データを用いて学習させる、コンピュータプログラム。

【0104】

（付記１９）
コンピュータを情報処理装置として機能させるプログラムを記録した、前記コンピュータで読み取り可能な記録媒体であって、
前記コンピュータを、券面の画像を取得する取得手段、
前記画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出す切出手段、
学習済のモデルに対して、前記切出手段によって切出された画像を入力することにより、前記１又は複数の対象文字に関する識別処理を実行する識別手段、
として機能させるプログラムを記録した記録媒体。

【0105】

（付記２０）
コンピュータを情報処理装置として機能させるプログラムを記録した、前記コンピュータで読み取り可能な記録媒体であって、
前記コンピュータを、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を複数含む教師データを取得する教師データ取得手段、
券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像を入力とし、当該１又は複数の対象文字に関する識別結果を出力するモデルを、前記教師データを用いて学習させる学習手段、
として機能させるプログラムを記録した記録媒体。

【0106】

（付記２１）
少なくとも１つのプロセッサを備え、前記プロセッサは、券面の画像を取得する処理と、
前記画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像を含めて切出す処理と、
学習済のモデルに対して、前記切出手段によって切出された画像を入力することにより、前記１又は複数の対象文字に関する識別処理を実行する処理とを実行する情報処理装置。

【0107】

なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得する処理と、前記切出す処理と、前記実行する処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。

【0108】

（付記２２）
少なくとも１つのプロセッサを備え、前記プロセッサは、券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像と、当該１又は複数の対象文字に関する正解ラベルとの組を複数含む教師データを取得する処理と、
券面の画像から、１又は複数の対象文字を、当該１又は複数の対象文字の周辺の画像と共に切り出すことによって得られた画像を入力とし、当該１又は複数の対象文字に関する識別結果を出力するモデルを、前記教師データを用いて学習させる処理とを実行する情報処理装置。

【0109】

なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得する処理と、前記学習させる処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。

【符号の説明】

【0110】

１ 情報処理システム
１０，１０ａ，２０ 情報処理装置
１１ 取得部
１２ 切出部
１３，１３ａ 識別部
１４ 判別部
２１ 教師データ取得部
２２ 教師データ記憶部
２３ 学習部
３０ 読取装置
３１ 撮像部
３２，４１ 通信部
４０ サーバ
５０ 通信ネットワーク
６０ コンピュータ
６１ プロセッサ
６２ メモリ
６３ 内部バス
７０ 記録媒体
１３１ 氏名用モデル
１３２ 住所用モデル
１３３ 種類用モデル
Ｐ プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】