特許 6803804 画像情報検証装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6803804

(24)【登録日】2020年12月3日

(45)【発行日】2020年12月23日

(54)【発明の名称】画像情報検証装置

(51)【国際特許分類】

   H04L 9/32 20060101AFI20201214BHJP

   G06F 21/64 20130101ALI20201214BHJP

   G06F 21/32 20130101ALI20201214BHJP

   G06T 7/00 20170101ALI20201214BHJP

   H04L 9/14 20060101ALI20201214BHJP

   G09C 5/00 20060101ALI20201214BHJP

【ＦＩ】

   H04L9/00 675C

   H04L9/00 675B

   G06F21/64

   G06F21/32

   G06T7/00 510F

   H04L9/00 641

   G09C5/00

【請求項の数】8

【全頁数】11

(21)【出願番号】特願2017-110552(P2017-110552)

(22)【出願日】2017年6月5日

(65)【公開番号】特開2018-207294(P2018-207294A)

(43)【公開日】2018年12月27日

【審査請求日】2020年1月28日

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】坂崎 尚生

(72)【発明者】

【氏名】加賀 陽介

(72)【発明者】

【氏名】根本 繁幸

【審査官】 吉田 歩

(56)【参考文献】

【文献】 特開２０１２−１１４９０７（ＪＰ，Ａ）

【文献】 特表平１０−５０３６０９（ＪＰ，Ａ）

【文献】 特開２００５−１３５３１０（ＪＰ，Ａ）

【文献】 特開２０１６−０５３８９６（ＪＰ，Ａ）

【文献】 近藤 浩，バイオメトリクスシステムが動き出す，月刊自動認識，日本，日本工業出版株式会社，２００４年１１月 ２日，第17巻，p.9-14，ISSN 0915-1060

【文献】 小林 哲二，二次元コードのセキュリティ向上と応用，ＦＩＴ２００２ 情報科学技術フォーラム 一般講演論文集，電子情報通信学会，２００２年 ９月１３日，第4分冊，p.225-226，特に「2.二次元コードのセキュリティ (2) 方式A2」

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｌ ９／３２

Ｇ０６Ｆ ２１／３２

Ｇ０６Ｆ ２１／６４

Ｇ０６Ｔ ７／００

Ｇ０９Ｃ ５／００

Ｈ０４Ｌ ９／１４

(57)【特許請求の範囲】

【請求項1】

画像を読み取り、当該画像から識別子画像と顔画像と当該顔画像に関する属性情報画像とを抽出する抽出部と、
前記識別子画像に含まれる電子署名から、当該識別子画像を検証する識別子画像検証部と、
前記抽出した属性情報画像と、前記検証された識別子画像に含まれる属性情報と、を比較し、該属性情報画像と該属性情報とが一致する場合に、前記顔画像から抽出した第一の特徴値情報と、前記検証された識別子画像に含まれる第二の特徴値情報と、を比較し、前記画像の真正性を検証する画像検証部と、
を備え、
前記識別子画像は、前記電子署名、前記第二の特徴値情報、及び前記属性情報を入力とし生成された識別子画像である
ことを特徴とする画像情報検証装置。

【請求項2】

請求項１に記載の画像情報検証装置において、
前記第一の特徴値情報及び第二の特徴値情報は、顔の特徴点位置に関する情報であることを特徴とする画像情報検証装置。

【請求項3】

請求項１または２に記載の画像情報検証装置において、
更に、前記検証の結果を表示する表示部を備え、
前記表示部は、
前記識別子画像検証部による前記識別子画像の検証に失敗した場合には、前記電子署名の検証失敗を表示し、
前記画像検証部による前記属性情報画像と前記属性情報と比較の結果、前記属性情報画像と前記属性情報とが一致しない場合には、前記属性情報が詐称されている旨と正しい属性情報を表示し、
前記画像検証部による前記第一の特徴値情報と前記第二の特徴値情報との比較の結果、前記第一の特徴値情報と前記第二の特徴値情報とが一致しない場合には、前記顔画像が偽造されている旨を表示する
ことを特徴とする画像情報検証装置。

【請求項4】

請求項１から３の何れか一項に記載の画像情報検証装置と、撮影装置と、を備える認証システムであって、
前記画像情報検証装置は、更に、前記撮影装置にて撮影された撮影画像と、前記画像検証部が検証した前記画像から抽出された前記顔画像と、を比較し当該撮影装置にて撮影された対象を認証する認証部を備えることを特徴とする認証システム。

【請求項5】

請求項４に記載の認証システムにおいて、
更に、前記対象の認証の結果に応じてゲートに対して開閉指示を行う検証結果処理部を備えることを特徴とする認証システム。

【請求項6】

請求項５に記載の認証システムにおいて、
前記識別子画像は、前記第二の特徴値情報を共通鍵で暗号化して作成されることを特徴とする認証システム。

【請求項7】

画像を読み取る画像読み取りステップと、
前記画像から識別子画像と顔画像と当該顔画像に関する属性情報画像とを抽出する抽出ステップと、
前記識別子画像に含まれる電子署名から、当該識別子画像を検証する識別子画像検証ステップと、
前記抽出した属性情報画像と、前記検証された識別子画像に含まれる属性情報と、を比較し、該属性情報画像と該属性情報とが一致する場合に、前記顔画像から抽出した第一の特徴値情報と、前記検証された識別子画像に含まれる第二の特徴値情報と、を比較し前記画像の真正性を検証する画像検証ステップと、
を備え、
前記識別子画像は、前記電子署名、前記第二の特徴値情報、及び前記属性情報を入力とし生成された識別子画像である
ことを特徴とする画像情報検証方法。

【請求項8】

画像を読み取る画像読み取りステップと、
前記画像から識別子画像と顔画像と当該顔画像に関する属性情報画像とを抽出する抽出ステップと、
前記識別子画像に含まれる電子署名から、当該識別子画像を検証する識別子画像検証ステップと、
前記抽出した属性情報画像と、前記検証された識別子画像に含まれる属性情報と、を比較し、該属性情報画像と該属性情報とが一致する場合に、前記顔画像から抽出した第一の特徴値情報と、前記検証された識別子画像に含まれる第二の特徴値情報と、を比較し前記画像の真正性を検証する画像検証ステップと、
撮影装置にて撮影された撮影画像と、前記顔画像と、を比較し当該撮影装置にて撮影された対象を認証する認証ステップと、
を備え、
前記識別子画像は、前記電子署名、前記第二の特徴値情報、及び前記属性情報を入力とし生成された識別子画像である
ことを特徴とする認証方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像情報の検証及びそれに基づく認証技術に関する。

【背景技術】

【0002】

身分証明書はＩＣカードやプラスチックカードなどの券面に顔写真や名前等の属性情報を印刷し、発行されるケースが一般的であるが、スマートフォン等のモバイル機器が普及している昨今、カード状の身分証明書ではなく、常に携帯しているモバイル機器で身分証明を行いたいという要求がある。

【0003】

身分証明書をモバイル機器にて実装する場合、顔写真や名前等の属性情報を電子化し、身分を証明する際、そのデータをモバイル機器のディスプレイに表示して提示し、目視によって身分証明書の正当性を検証する方法や、通信を介してそのデータを検証する機器に送付して、検証する側の機器にて身分証明書データの正当性を機械的に検証する方法などが考えられる。しかし、後者の場合、モバイル機器には身分証明書のデータ以外にも様々なデータが格納されている場合が多く、誤って不必要なデータを検証する側の機器に送付してしまうようなケースも考えられる。それ故、前者の様にディスプレイに身分証明書の画像を表示して提示するだけで、身分証明できる仕組みが望まれる。

【0004】

しかしながら従来のカード状の身分証明書の券面印刷と異なり、電子化された身分証明書データの場合、顔写真を別の顔写真に張り替えることは容易であり、また、張り替えられた画像データを表示されても、張り替えられた痕跡を検知することは困難である。

【0005】

そこで、顔写真と顔写真のデータを埋め込んだ二次元コードの画像を身分証明書とし、身分を証明する際、二次元コードから顔写真を復元して、元々の顔写真と比較することにより真贋判定をする技術が提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００５―１４１６２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら従来技術においては、二次元コードに顔写真データそのものを埋め込んでいる為、二次元コードが大きくなるという課題があった。通常、身分証明書に用いる程度の大きさの顔写真データでも、数キロバイトから数十キロバイトのデータ量となり、例えそのデータを圧縮したとしても、顔写真データを二次元コードに埋め込んで二次元コードリーダが認識できる解像度にした場合、顔写真データのデータ量によっては、二次元コードが例えばA4サイズの半分程度まで大きくなってしまい、その二次元コードはスマートフォンのディスプレイには表示しきれないという課題があった。

【0008】

また逆にスマートフォンのディスプレイに表示できる程度の大きさの二次元コードに顔写真データを埋め込もうとすると、顔写真データのデータ量を削減する必要がある為、顔写真が荒い画像となり、その荒い画像からでは顔写真の正当性を確認するのが難しくなるという課題があった。

【課題を解決するための手段】

【0009】

上記課題を解決するために、バイオメトリクス認証で用いる技術を応用し、顔写真データから顔写真を一意に識別できる特徴値（「目、鼻、口端などの顔の特徴点位置」や「顔を特徴付ける目の部分だけ切り取った画像」など）を抽出し、その特徴値を二次元コードに埋め込む。

【0010】

そして、顔写真、二次元コードをスマートフォンのディスプレイに同一画面として表示させ当該画像（身分証明書として利用可能）を検証する際は、デジタルカメラ、ＷＥＢカメラ、スキャナー等の撮影機器で、ディスプレイに表示された画像を読取り、表示された画像の中の二次元コードから電子署名の検証をし、二次元コードが正当な物であるかを判断する。

【0011】

更に別の発明では、外部のカメラ等で撮影した顔画像と、正当なものと検証された顔写真とからカメラの被写体を認証する。

【発明の効果】

【0012】

本発明の特徴は、顔写真データを二次元コードに埋め込むのに比べて小さなデータ量で、画像（身分証明書として利用可能）の正当性を検証することができる。

【図面の簡単な説明】

【0013】

【図1】本実施形態１のシステム構成例を示す図である。

【図2】本実施形態１および２における発行装置、検証装置およびスマートフォンのハードウェア構成例を示す図である。

【図3】本実施形態１および２におけるデジタル身分証明書の発行処理手順を示すシーケンス図である。

【図4】本実施形態１におけるデジタル身分証明書の検証処理手順を示すシーケンス図である。

【図5】本実施形態１における検証装置での検証結果を表示した図である。

【図6】本実施形態２のシステム構成例を示す図（図１との差分）である。

【図7】本実施形態２におけるデジタル身分証明書の検証処理手順およびデジタル身分証明書の保有者の認証処理手順を示すシーケンス図である。

【図8】本実施形態２における検証装置での認証結果を表示した図（図５との差分）である。

【発明を実施するための形態】

【実施例1】

【0014】

−−−システム構成−−−
以下に本発明の実施形態１について図面を用いて詳細に説明する。

【0015】

図１は、本実施形態１におけるデジタル身分証明書システム１の全体構成例を示す図である。この図では、全体構成と共に、デジタル身分証明書システム１を構成する各コンピュータの機能構成例についても示している。図１に示すデジタル身分証明書システム１は、発行装置１０がスマートフォン３０向けにデジタル身分証明書（画像データ）３０１を発行し、検証装置２０はスマートフォン３０のディスプレイに表示されたデジタル身分証明書３０１の画像を読み込み、その画像から提示されたデジタル身分証明書３０１の真贋判定をするシステムである。

【0016】

図１に示すように、発行装置１０は、電子署名を生成する署名鍵ＳＫ１０４と検証装置２０との共通鍵Ｋ１０５を管理しており、顔写真のデータから特徴値を抽出する特徴値抽出機能１０６と、データの暗号化及び電子署名生成処理をする暗号処理機能１０３と、二次元コードを生成する二次元コード生成機能１０２と、顔写真データ３０２と名前等の属性情報３０３と二次元コード３０４からデジタル身分証明書（画像データ）３０１を成型する身分証明書成型機能１０１から構成できる。また、検証装置２０は画像撮影機器２１と繋がっており、検証装置２０は、電子署名を検証する検証鍵ＰＫ２０４と発行装置１０との共通鍵Ｋ２０５を管理しており、スマートフォン３０のディスプレイに表示されたデジタル身分証明書３０１の画像を読み取るデータ読取機能２０１と、前記読み取った画像から二次元コード部分３０４を取り出して二次元コードをデコードする二次元コード読取機能２０２と、データの復号化及び電子署名検証処理をする暗号処理機能２０３と、前記読み取ったデジタル身分証明書３０１の画像から名前等の属性情報３０３の文字を認識する文字認識機能２０６と、二次元コードに埋め込まれている特徴値と前記読み取ったデジタル身分証明書３０１の画像に含まれている顔写真画像３０２とを比較検証するマッチング機能２０７と、検証結果に応じて画面表示を行ったり、入退室管理のゲートの開閉指示を行ったりする検証結果処理機能２０８から構成できる。また、スマートフォン３０は、ネットワークまたは媒体渡し等で入手した該当デジタル身分証明書（画像データ）３０１をインストールして格納し、必要に応じて前記デジタル身分証明書３０１をディスプレイに表示させる機能を有する。

【0017】

このような機能を有する発行装置１０、検証装置２０、スマートフォン３０は、図２に例示するように一般的な情報処理装置４０により実現できる。例えば、発行装置１０の特徴値抽出機能１０６や暗号処理機能１０３や二次元コード生成機能１０２や身分証明書成型機能１０１や、検証装置２０のデータ読取機能２０１や二次元コード読取機能２０２や暗号処理機能２０３や文字認識機能２０６やマッチング機能２０７や検証結果処理機能２０８は、ＣＰＵ（ＣＥＮＴＲＡＬ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）等のＣＰＵ４０５により実行されるコンピュータプログラムとして実現できる。こうしたコンピュータプログラムは、例えば、ハードディスクなどの記憶装置４０４に予め格納・保持するか、或いはネットワークから配布を受け、メモリー４０３上に展開して利用することができる。

【0018】

また、本デジタル身分証明書システム１を利用する利用者からの指示は、入力を受け付けるキーボードやマウス、タッチパネルなどの入力装置４０１にて入力され、また、その指示による処理結果は、液晶表示装置や有機ＥＬ（ＥＬＥＣＴＲＯ ＬＵＭＩＮＥＳＣＥＮＣＥ）ディスプレイなどの出力装置４０２にて出力される。

【0019】

発行装置１０、検証装置２０、スマートフォン３０のこれらの装置は、バスなどの内部通信線（以下，バスという）４０６で連結された情報処理装置４０上に構成することができる。

【0020】

また、検証装置２０と繋がっている画像撮影機器２１は、デジタルカメラ、ＷＥＢカメラ、スキャナー等の機器にて実現される。
−−−処理手順例−−−
以下、本実施形態１における手順について図に基づき説明する。以下で説明する各種動作は、デジタル身分証明書システム１を構成する各装置が、それぞれメモリー等に読み出して実行するプログラムによって実現される。

【0021】

図３は、本実施形態におけるデジタル身分証明書３０１の発行処理手順を示すシーケンス図である。

【0022】

発行装置１０にデジタル身分証明書３０１の保有者となる人物の顔写真データ３０２を入力し、発行装置１０は、特徴値抽出機能１０６より、その顔写真データ３０２から、顔写真を一意に識別できる比較的小さなデータ量である特徴値（「目、鼻、口端などの顔の特徴点位置」や「目の部分だけ切り取った画像」など）を抽出する（ステップＳ１０１）。そして発行装置１０は、暗号処理機能１０３より、前記特徴値を検証装置２０との共通鍵Ｋ１０５で暗号化する（ステップＳ１０２）。また、 発行装置１０にデジタル身分証明書３０１の保有者となる人物の名前等の属性情報３０３を入力し、発行装置１０は、その属性情報３０３を前記暗号化特徴値と連結する（ステップＳ１０３）。次に発行装置１０は、暗号化特徴値と属性情報３０３を連結したデータに対して、発行装置１０の署名鍵ＳＫ１０４で電子署名値を計算し、暗号化特徴値と属性情報３０３を連結したデータに付与する（ステップＳ１０４）。そして、二次元コード生成機能１０２より、連結した暗号化特徴値と属性情報３０３と電子署名データを入力として二次元コード３０４を生成する。即ち前記連結データの二次元コードエンコード化を行う（ステップＳ１０５）。そして、発行装置１０は、身分証明書成型機能１０１より、顔写真データ３０２、属性情報３０３、二次元コード３０４をスマートフォンのディスプレイに同時に表示できるように配置・成型し（ステップＳ１０６）、デジタル身分証明書（画像データ）３０１として外部出力する（ステップＳ１０７）。

【0023】

スマートフォン３０は、ネットワークまたは媒体渡し等で前記デジタル身分証明書（画像データ）３０１を取得し（ステップＳ１０８）、前記デジタル身分証明書（画像データ）３０１をスマートフォン３０の記憶装置４０４に保管する（ステップＳ１０９）。

【0024】

図４は、本実施形態１におけるデジタル身分証明書の検証処理手順を示すシーケンス図である。

【0025】

スマートフォン３０は、ステップＳ１０９で保管したデジタル身分証明書（画像データ）３０１をスマートフォン３０のディスプレイに表示し、画像撮影機器２１に提示する（ステップＳ２００）。

【0026】

画像撮影機器２１は、スマートフォン３０のディスプレイに表示された画像を撮影し（ステップＳ２０１）、検証装置２０は画像撮影機器２１が撮影した画面画像を画像撮影機器２１から取得する（ステップＳ２０２）。そして検証装置２０は二次元コード読取機能２０２より、ステップＳ２０２で取得した画面画像から二次元コードを読取り、二次元コードをデコードする（ステップＳ２０３）。デコードされたデータは、暗号化特徴値、属性情報、電子署名値からなっており、それらのデータから暗号処理機能２０３を用いて電子署名の検証を行う（ステップＳ２０４）。署名検証に失敗した場合、エラー処理として例えば図５の左上の図の様に、検証装置２０のディスプレイにデジタル身分証明書３０１の二次元コード３０４の部分に不正があって、署名検証に失敗した旨を表示する（ステップＳ２０５）。

【0027】

署名検証に成功した場合、ステップＳ２０２で取得した画面画像から文字認識機能２０６を用いて属性情報３０３に関する文字を認識し、ステップＳ２０３でデコードした属性情報と比較検証する（ステップＳ２０６）。両者の情報が一致しない場合、エラー処理として例えば図５の右上の図の様に、検証装置２０のディスプレイにデジタル身分証明書３０１の属性情報３０３の部分に不正があり、属性情報が詐称されている旨と正しい属性情報を表示する（ステップＳ２０７）。

【0028】

属性情報が一致した場合、暗号処理機能２０３より、ステップＳ２０３でデコードした暗号化特徴値を共通鍵Ｋ２０５で復号し（ステップＳ２０８）、復号された特徴値とステップＳ２０２で取得した画面画像の顔写真部分とをマッチング機能２０７を用いて比較検証し、その特徴値がその顔写真から抽出されたデータであるかどうかを検証する（ステップＳ２０９）。マッチング機能２０７は顔写真と特徴値の相関関係を数値として表し、顔写真と特徴値とのマッチング率が閾値以下である場合、エラー処理として例えば図５の左下の図の様に、検証装置２０のディスプレイにデジタル身分証明書３０１の顔写真３０２の部分に不正あり、顔写真が偽造されている旨を表示する（ステップＳ２１０）。

【0029】

顔写真と特徴値とのマッチング率が閾値以上である場合、真正結果処理として例えば図５の右下の図の様に、検証装置２０のディスプレイにデジタル身分証明書３０１が正しいものである旨を表示する（ステップＳ２１０）。

【実施例2】

【0030】

以下に本発明の実施形態２について図面を用いて詳細に説明する。実施形態２は実施形態１に追加する形で実施される。

【0031】

図６は、本実施形態２におけるデジタル身分証明書システム２の全体構成例を示す図（図１との差分）である。実施形態２では、検証装置２０は人物撮影機器２２とも繋がっており、顔写真３０２と人物撮影機器２２で撮影された映像・画像からバイオメトリクス認証で用いられている顔認証機能２０９を介して、デジタル身分証明書３０１を提示した者が正しい保有者であるかどうかも検証するシステムである。検証装置と繋がっている人物撮影機器２２は、デジタルカメラ、ＷＥＢカメラ等の機器にて実現される。

【0032】

尚、実施形態２では実施形態１と同様にデジタル身分証明書３０１が発行される。

【0033】

図７は、本実施形態２におけるデジタル身分証明書の検証処理手順およびデジタル身分証明書の保有者の認証処理手順を示すシーケンス図である。ステップＳ２１０までは実施形態１と同様の処理である。

【0034】

人物撮影機器２２はデジタル身分証明書３０１を提示した人物を撮影し（ステップＳ３０１）、検証装置２０は、人物撮影機器２２からステップＳ３０１で撮影した人物画像を取得する（ステップＳ３０２）。そして検証装置２０は、ステップＳ２０９で真正と判断された顔写真データとステップＳ３０１で取得した人物画像データとを顔認証機能２０９を用いて比較検証し、デジタル身分証明書３０１を提示した者が正しい保有者であるかどうかを検証する（ステップＳ３０３）。顔認証機能２０９は顔写真と人物画像の相関関係を数値として表し、顔写真と人物画像とのマッチング率が閾値以下である場合、エラー処理として例えば図８の上図の様に、検証装置２０のディスプレイにデジタル身分証明書３０１の顔写真３０２とデジタル身分証明書３０１を提示した人物の顔とが一致していない旨を表示する（ステップＳ３０４）。

【0035】

顔写真と人物画像とのマッチング率が閾値以上である場合、真正結果処理として例えば図８の下図の様に、検証装置２０のディスプレイにデジタル身分証明書３０１が真正で、デジタル身分証明書３０１を提示した人物の顔とが一致している旨を表示する（ステップＳ３０５）。

【符号の説明】

【0036】

１ デジタル身分証明書システム
２ デジタル身分証明書システム
１０ 発行装置
２０ 検証装置
２１ 画像撮影機器
２２ 人物撮影機器
３０ スマートフォン
４０ 情報処理装置
１０１ 身分証明書成型機能
１０２ 二次元コード生成機能
１０３ 暗号処理機能
１０４ 署名鍵ＳＫ
１０５ 共通鍵Ｋ
１０６ 特徴値抽出機能
２０１ データ読取機能
２０２ 二次元コード読取機能
２０３ 暗号処理機能
２０４ 検証鍵ＰＫ
２０５ 共通鍵Ｋ
２０６ 文字認識機能
２０７ マッチング機能
２０８ 検証結果処理機能
２０９ 顔認証機能
３０１ デジタル身分証明書
３０２ 顔写真
３０３ 属性情報
３０４ 二次元コード
４０１ 入力装置
４０２ 出力装置
４０３ メモリー
４０４ 記憶装置
４０５ ＣＰＵ（ＣＥＮＴＲＡＬ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）
４０６ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】