特許 6960058 顔照合システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6960058

(24)【登録日】2021年10月12日

(45)【発行日】2021年11月5日

(54)【発明の名称】顔照合システム

(51)【国際特許分類】

   G06F 21/60 20130101AFI20211025BHJP

   G06F 21/32 20130101ALI20211025BHJP

   G06T 7/00 20170101ALI20211025BHJP

【ＦＩ】

   G06F21/60

   G06F21/32

   G06T7/00 510F

【請求項の数】3

【全頁数】8

(21)【出願番号】特願2020-526771(P2020-526771)

(86)(22)【出願日】2018年6月27日

(86)【国際出願番号】JP2018024346

(87)【国際公開番号】WO2020003400

(87)【国際公開日】20200102

【審査請求日】2020年10月16日

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100116687

【弁理士】

【氏名又は名称】田村 爾

(74)【代理人】

【識別番号】100098383

【弁理士】

【氏名又は名称】杉村 純子

(74)【代理人】

【識別番号】100155860

【弁理士】

【氏名又は名称】藤松 正雄

(72)【発明者】

【氏名】桝田 浩司

【審査官】 宮司 卓佳

(56)【参考文献】

【文献】 特開２０１７−９７７４３（ＪＰ，Ａ）

【文献】 特開２０１７−２１６０３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ２１／６０

Ｇ０６Ｆ ２１／３２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像装置による撮像映像に含まれる人物がデータベースに登録済みか否かを判定する照合装置を備えた顔照合システムにおいて、
前記データベースは、登録済みの人物の顔画像の特徴を表す特徴量であって該顔画像の復元が不可能な不可逆特徴量を記憶しており、
前記照合装置は、前記撮像装置による撮像映像に含まれる人物の顔画像に対してエッジ検出処理を行ってエッジ画像を取得し、該エッジ画像をマス目状にブロック化し、顔の形状及び各パーツの形状を表すエッジを含むブロックをそれぞれ特定し、該ブロックに前記形状を識別するエッジ属性をラベル付けし、幾何学的ハッシュ処理により一部のブロックを破棄して歯抜け状態にしたものを不可逆的特徴量として算出し、前記データベースに登録されている不可逆特徴量と比較することで、該撮像映像に含まれる人物が前記データベースに登録済みか否かの判定を行うことを特徴とする顔照合システム。

【請求項2】

請求項１に記載の顔照合システムにおいて、
前記撮像装置による撮像映像を表示すると共に、該撮影映像に含まれる人物が前記データベースに登録済みか否かの判定結果を表示する表示装置を更に備えたことを特徴とする顔照合システム。

【請求項3】

請求項１又は請求項２に記載の顔照合システムにおいて、
前記照合装置は、
前記撮像装置による撮像映像に含まれる人物の顔画像を取得し、該顔画像を正規化する前処理と、
前記前処理により正規化された顔画像に基づいて、該人物に係る不可逆特徴量を算出する不可逆特徴量算出処理と、
前記不可逆特徴量算出処理により算出された不可逆特徴量と前記データベースに登録されている不可逆特徴量とを比較して、該撮像映像に含まれる人物が前記データベースに登録済みか否かを判定する顔照合処理とを有することを特徴とする顔照合システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人物の顔画像を照合する顔照合システムに関する。

【背景技術】

【0002】

近年、入場者チェックや要注意人物検出などの種々の目的で、人物の顔画像を照合する顔照合システムが利用されている。このような顔照合システムに関し、従来より種々の発明が提案されている。例えば、特許文献１には、画像データから特徴量を抽出し、データベースに登録された特徴量との比較によって照合を行う顔照合システムにおいて、データベースから登録済みの特徴量を読み出し、他の登録済みの特徴量との類似度の照合を行い、類似度が予め設定した閾値以上である場合は、重複確認対象情報として登録する発明が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１６／１５１８０２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般的な顔照合システムは、登録された人物の個人情報又はその識別子を、照合装置がアクセス可能なデータベースに保存しておく構成となっている。このような顔照合システムが有する問題点の一つとして、データベースに保存されている個人情報又はその識別子が流出すると、これら情報を使用して第三者が個人を特定できてしまう点が挙げられる。また、悪意のある者により個人情報が不法行為に利用される等の社会的な問題に発展してしまう懸念もある。

【0005】

個人情報又はその識別子の漏洩対策として、高度な暗号化等を駆使して情報の難読性を高めることが行われており、運用面でも厳重な取り扱い規則が作られている。しかしながら、システム内通者により内部的に情報漏洩が発生する可能性や、より高度な技術により暗号が解読される可能性をなくすことは難しい。

【0006】

本発明は、上記のような従来の事情に鑑みて為されたものであり、顔照合システムにおける個人情報の流出を防止することが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するために、本発明では、顔照合システムを以下のように構成した。
すなわち、撮像装置による撮像映像に含まれる人物がデータベースに登録済みか否かを判定する照合装置を備えた顔照合システムにおいて、前記データベースは、登録済みの人物の顔画像の特徴を表す特徴量であって該顔画像の復元が不可能な不可逆特徴量を記憶しており、前記照合装置は、前記撮像装置による撮像映像に含まれる人物の顔画像に基づいて不可逆特徴量を算出し、前記データベースに登録されている不可逆特徴量と比較することで、該撮像映像に含まれる人物が前記データベースに登録済みか否かの判定を行うことを特徴とする。

【0008】

ここで、本発明に係る顔照合システムは、前記撮像装置による撮像映像を表示すると共に、該撮影映像に含まれる人物が前記データベースに登録済みか否かの判定結果を表示する表示装置を更に備えた構成としてもよい。

【0009】

また、前記照合装置は、前記撮像装置による撮像映像に含まれる人物の顔画像を取得し、該顔画像を正規化する前処理と、前記前処理により正規化された顔画像におけるエッジ及びその座標の情報を幾何学的ハッシュ処理により歯抜け状態にして、該人物に係る不可逆特徴量を算出する不可逆特徴量算出処理と、前記不可逆特徴量算出処理により算出された不可逆特徴量と前記データベースに登録されている不可逆特徴量とを比較して、該撮像映像に含まれる人物が前記データベースに登録済みか否かを判定する顔照合処理とを有してもよい。この場合、前記不可逆特徴量算出処理は、顔の形状、及び、顔の各パーツの形状を取得する処理を含む構成としてもよい。

【発明の効果】

【0010】

本発明に係る顔照合システムによれば、顔画像の復元が不可能な不可逆特徴量を用いて顔照合を行うので、個人情報の流出を防止することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る顔照合システムの構成例を示す図である。

【図2】不可逆特徴量の算出手順について説明する図である。

【発明を実施するための形態】

【0012】

以下、本発明の一実施形態に係る顔照合システムについて、図面を参照して説明する。
図１には、本発明の一実施形態に係る顔照合システムの構成例を示してある。本例の顔照合システムは、撮像装置１０と、照合装置２０と、表示装置３０とを有する。

【0013】

撮像装置１０は、被写体をリアルタイムに撮影し、その映像データを照合装置２０へ送信する装置である。撮像装置１０としては、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有するネットワークカメラや監視カメラを用いることができる。

【0014】

照合装置２０は、撮像装置１０による撮像映像に含まれる人物の顔画像をデータベースに登録されている各人物の顔画像と照合し、該人物がデータベースに登録済みか否かを判定する装置である。本例では、照合装置２０がデータベースを有しているが、照合装置２０がアクセス可能な他の装置がデータベースを有してもよい。データベースには、事前準備として、顔画像の照合を行うために、顔画像の特徴を表すデータが登録される。ただし、顔画像そのものは登録されず、顔画像に変換を加えて元の顔画像を復元できないようにしたデータが登録される。また、登録された人物に関する他の個人情報（例えば、名前、性別、生年月日等）及びその識別子は保存されない。すなわち、照合に使用するデータベースには、個人を特定できないデータのみが登録されるため、個人情報が漏洩する心配はない。

【0015】

照合装置２０は、例えば、プロセッサやメモリ等のハードウェア資源を備えたコンピュータにより実現することができる。すなわち、制御プログラムをメインメモリに展開してプロセッサにより実行することで、本発明に係る各処理を遂行させるように構成することができる。照合装置２０は、図１に示すように単一のコンピュータにより実現される形態の他、互いに通信可能に接続された複数台のコンピュータにより実現される形態であってもよい。

【0016】

表示装置３０は、撮像装置１０による撮影映像を表示する装置であり、照合装置２０による顔照合の結果も併せて表示する。すなわち、表示装置３０は、撮像装置１０による撮影映像の表示と共に、その映像中に含まれる人物がデータベースに登録済みか否かも表示する。具体的には、例えば、登録済みの人物の顔部分を枠で囲ったり、または、登録済みの人物の顔部分の近傍に該人物が登録済みか否かを示すアイコンや文字を表示したりする。なお、複数の人物が同時に撮影されている場合には、各々の人物について顔照合の結果が表示される。また、表示装置３０の設定により、顔照合の結果の表示又は非表示を切り替えることができる。

【0017】

照合装置２０の機能及び構成について、より具体的に説明する。図１に示すように、照合装置２０は、映像入力部２１Ａ，２１Ｂと、前処理部２２Ａ，２２Ｂと、データ作成部２３Ａ，２３Ｂと、不可逆特徴量データベース２４と、照合処理部２５と、結果出力部２６とを備えている。

【0018】

映像入力部２１Ｂには、登録対象となる人物の顔を映した顔画像データ４０が入力される。顔画像データ４０は、有線又は無線のネットワークを介して入力されてもよく、ＵＳＢ（Universal Serial Bus）メモリ等の外部媒体を用いて入力されてもよい。

【0019】

前処理部２２Ｂは、映像入力部２１Ｂに入力された顔画像データ４０に含まれる人物の顔画像を取得し、該顔画像を正規化する前処理を行う。顔画像の取得は、例えば、入力された画像に対して顔検知処理を行い、顔として検出された領域部分を切り出すことで行える。顔画像の正規化は、種々の正規化処理を用いて行うことができる。正規化処理としては、例えば、顔の向きを検出して正面方向を向くように調整する顔向き調整処理、後述する幾何学的ハッシュ処理により得られる不可逆特徴量のデータ量を均一化するためのリサイズ処理、ノイズ削減や明るさ調整などの画質改善処理が挙げられる。なお、上述した全ての正規化処理が必須というわけではなく、顔画像の状態や品質に応じて１以上の正規化処理を選択的に実行してもよい。

【0020】

データ作成部２３Ｂは、前処理部２２Ｂによる処理結果の画像に基づいて、顔画像データ４０に含まれる人物の顔画像の特徴を表す特徴量であって該顔画像の復元が不可能な不可逆特徴量を算出する不可逆特徴量算出処理を行う。不可逆特徴量算出処理では、前処理部２２Ｂにより正規化された顔画像からエッジを検出し、エッジ及びその座標の情報を幾何学的ハッシュ処理により歯抜け状態にして、不可逆特徴量を算出する。また、本例の不可逆特徴量算出処理では、顔の形状、及び、顔の各パーツ（目、鼻、口など）の形状を取得して、不可逆特徴量を算出するように構成されている。

【0021】

具体的には、例えば、以下のような手順で処理が行われる。すなわち、前処理後の顔画像に対してエッジ検出処理を行ってエッジ画像を取得し、エッジ画像をマス目状にブロック化し、顔の形状や顔の各パーツの形状を表すエッジを含むブロックをそれぞれ特定し、各ブロックにエッジ属性（顔形状や顔パーツ形状を識別する情報）をラベル付けし、幾何学的ハッシュ処理により幾つかのブロックを破棄して歯抜け状態にしたものを、不可逆特徴量として用いる。
ここで、幾何学的ハッシュ処理について詳しく説明する。まず、ハッシュ関数とは、入力されたデータに対して、特定のルールに沿っているがランダムな値であり一見適当に見える値を出力する関数のことである。このハッシュ関数に入力する値が幾何学的であること、つまり、二次元の画像であり模様であるような情報をハッシュ関数処理することを、幾何学的ハッシュ処理という。本発明では、前処理によって得られたエッジ画像である顔画像情報を幾何学的ハッシュ処理に入力する値とする。顔画像情報は幾何学的ハッシュ処理によってある特定のルールに沿っているがランダムな情報となり、顔画像情報がブロック状に配列されている本発明のような場合には、図１や図２に示すような歯抜け状態の情報として出力され、不可逆特徴量のデータが作成される。

【0022】

幾何学的ハッシュ処理は、幾何学的な情報（図形としての特徴）を残しつつデータ変換する処理である。なお、パスワード照合で一般に使用されるハッシュ処理を用いることも考えられるが、通常のハッシュ処理では幾何学的な情報が著しく欠落するので、顔照合の用途には使用できない。本システムでは、幾何学的な情報をある程度残しながらデータ変換することが可能な幾何学的ハッシュ処理を用いて、不可逆特徴量を算出するようにしている。

【0023】

不可逆特徴量データベース２４は、データ作成部２３Ｂにより算出された不可逆特徴量のデータを記憶する。すなわち、不可逆特徴量データベース２４には、登録対象となる人物の顔画像に基づいて算出された不可逆特徴量が記憶される。ただし、登録対象となる人物の顔画像そのものや、その人物に関する他の個人情報（例えば、名前、性別、生年月日等）及びその識別子など、個人の特定につながる情報は記憶されない。

【0024】

映像入力部２１Ａには、撮像装置１０から送信された映像データが入力される。本例では、撮像装置１０で撮影されたリアルタイムの映像データが、有線又は無線のネットワークを介して入力されることを想定している。なお、リアルタイム性が要求されない場合には、事前に撮影された映像データがネットワークを介して入力されてもよいし、ＵＳＢメモリ等の外部媒体を用いて入力されてもよい。

【0025】

前処理部２２Ａは、映像入力部２１Ａに入力された映像データに含まれる人物の顔画像を取得し、該顔画像を正規化する前処理を行う。前処理部２２Ａによる処理内容は、前処理部２２Ｂについて説明したものと実質的に同様であるため、説明を省略する。

【0026】

データ作成部２３Ａは、前処理部２２Ａによる処理結果の画像に基づいて、撮像装置１０による撮影映像に含まれる人物の顔画像の特徴を表す特徴量であって該顔画像の復元が不可能な不可逆特徴量を算出する不可逆特徴量算出処理を行う。データ作成部２３Ａによる処理内容は、データ作成部２３Ｂについて説明したものと実質的に同様であるため、説明を省略する。

【0027】

照合処理部２５は、データ作成部２３Ｂにより算出された不可逆特徴量と不可逆特徴量データベース２４に登録されている不可逆特徴量とを比較して、撮像装置１０による撮影映像に含まれる人物が不可逆特徴量データベース２４に登録済みか否かを判定する顔照合処理を行う。具体的には、例えば、データ作成部２３Ｂにより算出された不可逆特徴量と不可逆特徴量データベース２４に登録されている不可逆特徴量との類似度を算出し、類似度が所定の閾値以上であった場合に登録済みと判定し、そうでない場合に未登録と判定する。

【0028】

結果出力部２６は、照合処理部２５による顔照合の結果を表示装置３０に送出する。結果出力部２６が表示装置３０に送信する情報としては、撮像装置１０による撮影映像に含まれる顔画像の位置情報、該顔画像が登録済みか否かを示す情報などが挙げられる。表示装置３０では、これらの情報に基づいて、撮像装置１０による撮影映像の表示に併せて、その映像中に含まれる人物がデータベースに登録済みか否かの表示が行われる。
なお、映像入力部２１Ａに入力された映像データにおいて複数の人物が撮影されている場合には、撮影映像に含まれる人物毎に、前処理部２２Ａ、データ作成部２３Ａ、照合処理部２５、及び結果出力部２６の各処理が実行される。

【0029】

図２を参照して、映像入力部２１Ａに入力されたデータ（撮像装置１０による撮影映像）に基づいて前処理部２２Ａ及びデータ作成部２３Ａにより不可逆特徴量を算出する処理の概略的な流れを説明する。
まず、前処理部２２Ａが、映像入力部２１Ａに入力された画像データＤ１に含まれる人物の顔画像を取得し（ステップＳ１１）、取得した顔画像に対して各種の正規化処理を施す（ステップＳ１２）。次に、データ作成部２３Ａが、前処理部２２Ａによる処理後の顔画像に基づいて、顔画像の特徴量を不可逆変換する幾何学的ハッシュ処理を行うことで、画像データＤ１に含まれる人物について不可逆特徴量データＤ２を作成する（ステップＳ１３）。
なお、映像入力部２１Ｂに入力されたデータ（事前登録する顔画像）に基づいて前処理部２２Ｂ及びデータ作成部２３Ｂにより不可逆特徴量を算出する処理は、図２を使用して説明した上記の内容と概略的に同様であるため、説明を省略する。

【0030】

以上のように、本例の顔照合システムは、登録済みの人物の顔画像の特徴を表す特徴量であって該顔画像の復元が不可能な不可逆特徴量を記憶する不可逆特徴量データベース２４を有し、照合装置２０が、撮像装置１０による撮像映像に含まれる人物の顔画像に基づいて不可逆特徴量を算出し、不可逆特徴量データベース２４に登録されている不可逆特徴量と比較することで、該撮像映像に含まれる人物がデータベースに登録済みか否かの判定を行う構成となっている。

【0031】

このように、本例の顔照合システムでは、顔画像の復元が不可能な不可逆特徴量を用いて顔照合を行うので、システム内に個人情報やその識別子を保持する必要がなく、個人情報が流出する心配がない。したがって、プライバシーを考慮した安全性の高いシステムを構築することができ、セキュリティ対策へのコストも最低限に抑えることができる。

【0032】

また、本例の顔照合システムは、撮像装置１０による撮像映像を表示すると共に、該撮影映像に含まれる人物がデータベースに登録済みか否かの判定結果を表示する表示装置３０を更に備えた構成となっている。これにより、本システムのユーザは、撮像装置１０による撮影エリア内にいる人物が登録済みか否かを容易に判別することが可能となる。

【0033】

また、本例の顔照合システムは、撮像装置１０による撮像映像に含まれる人物の顔画像を取得し、該顔画像を正規化する前処理を行う構成となっている。これにより、そのままでは顔照合に適さない顔画像を顔照合に使用できるようになり、あるいは、顔照合の精度をより高めることが可能となる。

【0034】

また、本例の顔照合システムは、前処理により正規化された顔画像におけるエッジ及びその座標の情報を幾何学的ハッシュ処理により歯抜け状態にして、該人物に係る不可逆特徴量を算出する不可逆特徴量算出処理を行う構成となっている。これにより、元の顔画像の復元が不可能でありながら顔照合に使用することが可能な不可逆特徴量を、効率よく生成することができる。

【0035】

なお、前処理や照合処理において、ＡＩ（Artificial Intelligence）技術を用いて学習させるようにしてもよい。すなわち、顔照合の精度が高まるように、前処理や照合処理の各パラメータを調整してもよい。これにより、本システムのユーザが手動で各パラメータを調整することなく、顔照合の精度を高めることができる。

【0036】

本発明は、撮影された人物がデータベースに登録されているか否かが判断できれば足りるシステムに適用することを想定している。具体的には、例えば、イベント会場などの入口で、許可された人物のみに入場を制限する入場者チェックの用途に使用することができる。また、別の例として、駅や空港などの不特定多数の人物が行動する場所で、特定の人物（例えば、要注意人物）を見つけ出す要注意人物検出の用途に使用することができる。

【0037】

以上、本発明について詳細に説明したが、本発明は、ここに記載されたシステムに限定されるものではなく、上記以外のシステムにも広く適用できることは言うまでもない。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式を実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。

【産業上の利用可能性】

【0038】

本発明は、人物の顔画像を照合する顔照合システムに利用することができる。

【符号の説明】

【0039】

１０：撮像装置、 ２０：照合装置、 ３０：表示装置、 ４０：顔画像データ、
２１Ａ，２１Ｂ：映像入力部、 ２２Ａ，２２Ｂ：前処理部、 ２３Ａ，２３Ｂ：データ作成部、 ２４：不可逆特徴量データベース、 ２５：照合処理部、 ２６：結果出力部

【図1】

【図2】