特許 7214830 画像照合システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-20

(45)【発行日】2023-01-30

(54)【発明の名称】画像照合システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230123BHJP

   H04N 23/61 20230101ALI20230123BHJP

   G06T 7/00 20170101ALI20230123BHJP

   G06T 1/00 20060101ALI20230123BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

H04N23/61

G06T7/00 510F

G06T1/00 400H

G06T1/00 460A

【請求項の数】 4

(21)【出願番号】P 2021503446

(86)(22)【出願日】2020-01-16

(86)【国際出願番号】 JP2020001298

(87)【国際公開番号】W WO2020179240

(87)【国際公開日】2020-09-10

【審査請求日】2021-08-20

(31)【優先権主張番号】P 2019037125

(32)【優先日】2019-03-01

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100116687

【弁理士】

【氏名又は名称】田村 爾

(74)【代理人】

【識別番号】100098383

【弁理士】

【氏名又は名称】杉村 純子

(74)【代理人】

【識別番号】100155860

【弁理士】

【氏名又は名称】藤松 正雄

(72)【発明者】

【氏名】富樫 純一

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０００－３０６０９５（ＪＰ，Ａ）

【文献】国際公開第２０１８／１８０５８８（ＷＯ，Ａ１）

【文献】特開２００４－１５２１２７（ＪＰ，Ａ）

【文献】特開２００５－１４９５２７（ＪＰ，Ａ）

【文献】特開２００７－２２６３２７（ＪＰ，Ａ）

【文献】特開２００７－２６２１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

撮像装置により撮影された撮影画像を事前に登録された登録画像と照合する画像照合システムにおいて、
前記登録画像及びその品質を記憶する記憶手段と、
前記撮影画像の品質を特定する特定手段と、
前記撮影画像の品質と前記登録画像の品質とを比較し、前記撮影画像の品質に近づくように前記登録画像に品質が劣化する方向の調整を施す調整手段と、
前記調整手段による調整後の前記登録画像を用いて、前記撮影画像の照合を行う照合手段とを備え、
前記調整手段は、複数の照合対象物に対して事前に登録された複数の登録画像において、同程度の品質を有するもの同士がグループ化されている場合には、前記グループ毎に代表の登録画像を選定して、前記撮影画像の品質と比較することを特徴とする画像照合システム。

【請求項2】

請求項１に記載の画像照合システムにおいて、
前記調整手段は、前記撮影画像の品質と前記登録画像の品質との差異が所定値以上の場合、前記撮影画像の品質が所定条件から外れた場合、または予めスケジューリングされたタイミングが到来した場合に、前記登録画像に品質の調整を施すことを特徴とする画像照合システム。

【請求項3】

請求項１又は請求項２に記載の画像照合システムにおいて、
前記品質は、コントラスト、ホワイトバランス、圧縮レベル、輝度レベルの１以上であることを特徴とする画像照合システム。

【請求項4】

請求項１乃至請求項３のいずれかに記載の画像照合システムにおいて、
前記登録画像は人物の顔画像であり、
前記撮影画像から人物の顔画像が検出された場合に、検出された顔画像に品質が近づくように品質を調整した前記登録画像を用いて、検出された顔画像の照合を行うことを特徴とする画像照合システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置により撮影された画像をデータベースに登録された画像と照合する画像照合システムに関する。

【背景技術】

【0002】

近年、空港、駅構内、ショッピングモール等のような不特定多数の人物が訪れる施設には、犯罪抑止や事故防止等のセキュリティ目的で、映像監視システムが配備されている。このような映像監視システムとしては、映像を監視して放置物を検知する放置物検知システムや、指定された人物を映像内から検索する人物検索システムなどがある。また、セキュリティ目的のための映像監視システムに限らず、マーケティング目的で映像解析システムを構築する場合がある。このような映像解析システムとしては、例えば、施設内の人物の特定や、年齢・性別等の属性識別を行う顔画像分析システムなどがある。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１６／１５１８０２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

顔画像を扱い、人物の特定や属性の識別を目的とした映像監視システムの場合、事前に特定したい人物の顔画像データを登録しておく必要がある。例えば、特許文献１には、撮影した画像データから特徴量を抽出し、データベースに登録された特徴量との比較によって照合を行う顔照合システムが開示されている。

【0005】

従来の顔画像分析システム、特に、顔照合などの照合を目的としたシステムでは、カメラ等の撮像装置の設置条件や日照条件などの環境変化によらず、安定した照合精度を達成することは困難であった。例えば、室内の照明条件の整った環境で撮影された顔画像を事前登録した映像監視システムでは、リアルタイムに撮影を行うカメラの環境が刻々と変化し、特に夜間や照明の方向等で顔画像に影ができた場合には、事前登録された顔画像とは全く異なる様子の映像になってしまうため、照合精度は低下する傾向にあった。

【0006】

これらを改善するためには、リアルタイムで撮影されたカメラ映像と、事前登録された顔画像とで映像品質をできる限り同じレベルにすることが重要になる。そこで、従来は、事前登録された顔画像の品質を記録しておき、リアルタイムに撮影するカメラの設定を逐一調整することで、カメラ映像の品質を事前登録された顔画像の品質に近づける処理が行われていた。

【0007】

一般的なカメラは、照明等の環境条件による影響を軽減し、ある一定の映像品質を保つために、オートホワイトバランスやオートゲイン、ワイドダイナミックレンジ（ＷＤＲ）等の補正機能を搭載し、自動的に一定水準の映像品質になるように設計されている。しかしながら、カメラ設定を事前登録された顔画像の品質に近づけた場合には、顔照合の精度向上のみを目的としたカメラ映像しか撮影できない。したがって、場合によっては監視目的としては不十分な映像品質になることが考えられる。つまり、映像監視システムの場合に、監視目的と照合目的の両方を満足することは難しくなる。

【0008】

本発明は、上記のような従来の事情に鑑みて為されたものであり、撮像装置側の設定を変更することなく安定した照合精度が得られる画像照合システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明では、画像照合システムを以下のように構成した。
すなわち、撮像装置により撮影された撮影画像を事前に登録された登録画像と照合する画像照合システムにおいて、前記登録画像及びその品質を記憶する記憶手段と、前記撮影画像の品質を特定する特定手段と、前記撮影画像の品質と前記登録画像の品質とに基づいて、前記撮影画像の品質に近づくように前記登録画像に品質の調整を施す調整手段と、前記調整手段による調整後の前記登録画像を用いて、前記撮影画像の照合を行う照合手段とを備えたことを特徴とする。

【0010】

このように、本発明に係る画像照合システムでは、撮影画像の品質に近づくように登録画像を一時的に調整して、撮影画像の照合に用いるように構成してある。これにより、撮影画像の品質と登録画像の品質を画像照合に適したレベル（例えば、同程度のレベル）に調整した状態で、撮影画像の照合を行うことができる。したがって、撮影画像の品質は調整不要なため、撮像装置側の設定を変更することなく安定した照合精度を得ることができる。更には、撮像装置側の設定の変更が不要なので、撮影画像を照合目的だけでなく監視目的にも使用することが可能となる。

【0011】

なお、前記調整手段は、前記撮影画像の品質と前記登録画像の品質との差異が所定値以上の場合、前記撮像画像の品質が所定条件から外れた場合、または予めスケジューリングされたタイミングが到来した場合に、前記登録画像に品質の調整を施すように構成することが好ましい。これにより、登録画像の品質の調整が不要な場合にも調整が行われてしまうことを回避できるようになり、処理負担を軽減することができる。

【0012】

ここで、本発明に係る画像照合システムでは、前記品質として、照合精度に影響を及ぼす可能性がある種々の品質を用いることが可能であり、例えば、コントラスト、ホワイトバランス、圧縮レベル、輝度レベルの１以上を用いることができる。

【0013】

また、本発明に係る画像照合システムは、種々のシステムに利用することが可能であり、例えば、人物の顔画像を前記登録画像とし、前記撮影画像から人物の顔画像が検出された場合に、検出された顔画像に品質が近づくように品質を調整した前記登録画像を用いて、検出された顔画像の照合を行う顔照合システムとすることができる。

【発明の効果】

【0014】

本発明によれば、撮像装置側の設定を変更することなく安定した照合精度が得られる画像照合システムを提供することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態に係る顔照合システムの概略構成を示す図である。

【図2】図１の顔照合システムにおける画像処理装置の構成例を示す図である。

【図3】図１の顔照合システムによる顔照合のフローチャートの例を示す図である。

【発明を実施するための形態】

【0016】

本発明の一実施形態について、図面を参照して説明する。以下では、画像照合システムの一例である顔照合システムを例にして説明する。
図１には、本発明の一実施形態に係る顔照合システムの概略構成を示してある。本例の顔照合システムは、撮像装置１０と、画像処理装置２０と、記録装置３０と、操作端末４０とを備える。

【0017】

撮像装置１０は、基本的に監視目的の用途に適した設定であり、照合目的のために設定を逐一変更することはない。また、撮像装置１０は、撮影時の環境条件の変化（照明の点灯／消灯や天候の変化など）に応じて、撮影画像の品質を自動的に調整する機能を持つ。図１では、撮像装置１０として、ネットワークカメラ１０－１、アナログカメラ１０－２、ネットワークカメラ１０－３の３台を例示しているが、これらの台数は任意である。ネットワークカメラ１０－１，１０－３は、撮影画像を通信用に符号化するエンコーダを内蔵しており、ネットワークに直接接続されている。アナログカメラ１０－２は、撮影画像を通信用に符号化する別体のエンコーダ１２を介して、ネットワークに接続されている。撮像装置１０による撮影画像は、ネットワークを通じて画像処理装置２０へ送信される。

【0018】

記録装置３０は、事前に登録された人物の顔画像及びその品質のデータをハードディスク等に記憶させる。なお、記録装置３０には、人物の名前や性別等の属性や、顔画像を解析して得られる顔特徴量などのデータも記憶させてもよい。事前登録する人物の顔画像としては、例えば、室内の照明条件の整った環境で撮影されたものが使用される。顔画像の品質としては、コントラスト、ホワイトバランス、圧縮レベル、輝度レベルなどが使用されるが、顔照合の精度に影響を及ぼす可能性がある他の種々の品質を使用してもよい。

【0019】

画像処理装置２０は、撮像装置１０による撮影画像から人物の顔画像を検出し、検出した顔画像を記録装置３０に事前登録されている顔画像と照合する顔照合を行う。以下では、撮影画像から検出した顔画像と事前登録されている顔画像とを区別して説明する場合、前者を「検出顔画像」と称し、後者を「登録顔画像」と称する。画像処理装置２０の詳細については後述する。
操作端末４０は、顔照合システムのユーザが使用する端末であり、画像処理装置２０による顔照合の結果や撮像装置１０による撮影画像などが表示される。

【0020】

図２には、本例の顔照合システムにおける画像処理装置２０の構成例を示してある。
画像処理装置２０は、撮影画像受信部２１と、画像品質分析部２２と、顔検出部２３と、登録データ取得部２４と、品質評価部２５と、画像品質調整部２６と、照合部２７とを備える。

【0021】

撮影画像受信部２１は、撮像装置１０と通信して、撮像装置１０による撮影で得られた撮影画像をリアルタイムに受信する。
画像品質分析部２２は、撮影画像受信部２１により受信された撮影画像を分析し、撮影画像のコントラスト、ホワイトバランス、圧縮レベル、輝度レベルなどの複数の種類の品質を特定する。例えば、ホワイトバランスについては、撮影画像に含まれる各画素のＲＧＢレベル（Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の各色のレベル）を分析する。登録顔画像に対しては、このＲＧＢレベルに近づけるような補正が施されることになる。また、輝度レベルについては、撮影画像から検出された顔の位置からある部分（例えば鼻など）を分析する。登録顔画像に対しては、この輝度レベルに近づけるような補正が施されることになる。なお、撮像装置１０が撮影画像にその品質のデータを関連付けて送信する場合には、撮影画像の分析なしで撮影画像の品質を得ることもできる。画像品質分析部２２により特定された撮影画像の品質は、後続の処理のために、撮影画像と共にメモリに一時的に記憶される。

【0022】

顔検出部２３は、撮影画像受信部２１により受信された撮影画像に対し、撮影画像に含まれる顔画像を検出する顔検出処理を行う。顔検出処理としては、公知の種々の手法を使用することができる。
登録データ取得部２４は、記録装置３０と通信して、記録装置３０に記録されている登録顔画像及びその品質のデータを取得する。

【0023】

品質評価部２５は、顔検出部２３により撮影画像から顔画像が検出された場合に、画像品質分析部２２により特定された撮影画像の品質と、登録データ取得部２３により取得された登録顔画像の品質とを比較し、これらの差異が所定値以上であるかを調べ、登録顔画像の品質の調整の必要性について評価する。一例として、コントラスト、ホワイトバランス、圧縮レベル、輝度レベルなどの品質の種類毎に撮影画像の品質値と登録顔画像の品質値との差分を算出し、品質の種類別に予め設定された閾値とそれぞれ比較して、差分が閾値以上のものが見つかった場合に、登録顔画像の品質の調整が必要であると判定する。別の例として、品質の種類毎に撮影画像の品質値と登録顔画像の品質値との差分を算出し、品質の種類別に予め設定された重み係数を乗じて合計し、この合計値を予め設定された閾値と比較し、合計値が閾値以上の場合に、登録顔画像の品質の調整が必要であると判定する。なお、これらは例示にすぎず、他の手法により撮影画像の品質と登録顔画像の品質の比較を行っても構わない。

【0024】

ここで、記録装置３０に記録されている登録顔画像の品質が一律の場合（例えば、全ての登録顔画像が同一の撮影条件で撮影された場合）には、品質評価部２５は、いずれかの登録顔画像を代表として選定し、撮影画像の品質と比較するだけでも構わない。また、複数の登録顔画像を品質が同程度のもの同士でグループ化できる場合には、品質評価部２５は、グループ毎の代表の登録顔画像を選定し、撮影画像の品質と比較する構成としてもよい。一方、登録顔画像の品質が一律でない場合やグループ化できない場合は、品質評価部２５は、記録装置３０に記録されている複数の登録顔画像のそれぞれに対し、撮影画像の品質との比較を行う必要がある。

【0025】

画像品質調整部２６は、品質評価部２４により登録顔画像の品質の調整が必要であると判定された場合に、記録装置３０から取得した登録顔画像に品質の調整を施す。登録顔画像の品質の調整は、撮影画像の品質に登録顔画像の品質が近づくように施される。登録顔画像の品質の調整が必要であると判定されるのは、概ね撮影環境の悪化に起因して撮影画像の品質が劣化した場合であるので、登録顔画像の品質を劣化させる方向の調整が施されることになる。登録顔画像の品質の調整は、全ての種類の品質について施してもよいが、撮影画像の品質値との差分が閾値以上となった種類の品質（又は、これと関連性がある一部の種類の品質）に限定して施すことで、処理負担の軽減を図ることができる。

【0026】

照合部２７は、顔検出部２３により撮影画像から人物の顔画像が検出された場合に、この検出顔画像を登録顔画像と照合する顔照合を行う。照合部２７は、通常は、記録装置３０から取得した登録顔画像そのものと照合するが、品質の調整が必要であると判定された登録顔画像については、画像品質調整部２６による調整後のものと照合する。照合部２７による照合結果は、操作端末４０へ送信され、操作端末４０により画面表示される。

【0027】

図３には、本例の顔照合システムによる顔照合のフローチャートの例を示す図である。
事前処理として、登録する顔画像（登録顔画像）及びその品質のデータを記録装置３０に記録し（ステップＳ１１，Ｓ１２）、登録終了か否かを判定する（ステップＳ１３）。未処理の登録顔画像が残っている場合は、登録終了でないと判定され、未処理の登録顔画像が無くなるまで、ステップＳ１１，Ｓ１２の処理が繰り返される。未処理の登録顔画像が無くなった場合は、登録終了と判定され、事前処理を終了する。

【0028】

事前処理を終えた後、撮影画像受信部２１が、撮像装置１０から撮影画像を取得する（ステップＳ１４）。次に、画像品質分析部２２が、撮影画像受信部２１により取得された撮影画像を分析してその品質を特定する（ステップＳ１５）。次に、顔検出部２３が、撮影画像受信部２１により取得された撮影画像に対して顔検出処理を行う（ステップＳ１６）。次に、撮影画像から顔画像が検出されたか否かを判定する（ステップＳ１７）。撮影画像から顔画像が検出されなかった場合は、ステップＳ１４に戻り、撮像装置１０から次の撮影画像を取得する。撮影画像から顔画像が検出された場合は、品質評価部２５が、登録顔画像の品質の調整の必要性について評価する（ステップＳ１８）。本例では、登録データ取得部２４により記録装置３０から登録顔画像の品質を順次読み出して撮影画像の品質と比較し、品質の差異が所定値以上の登録顔画像に対して品質の調整を施す必要があると判定する。登録顔画像の品質の調整が必要と判定された場合は、画像品質調整部２６が、その登録顔画像の品質を撮影画像の品質（すなわち、検出顔画像の品質）に近づける方向に登録顔画像を調整する（ステップＳ１９）。次に、照合部２７が、記録装置３０から取得した登録顔画像または画像品質調整部２６による調整後の登録顔画像に対して、検出顔画像の照合を実行する（ステップＳ２０）。

【0029】

具体例を挙げて説明すると、本例の画像処理装置２０は、撮像装置１０からリアルタイムに得られる撮影画像を分析し、コントラスト、ホワイトバランス、圧縮レベル、輝度レベルなどの品質を記録する。そして、撮影画像から顔画像が得られるシーンがあった場合、撮影画像を分析して特定された品質のデータをもとに、記録装置３０に記録されている登録顔画像の品質のデータと突き合わせ、画像品質を比較することで、登録顔画像と撮影画像の品質の差異を明確にする。この比較の結果に基づいて、品質の差異が所定値以上の登録顔画像を検索し、その登録顔画像に対して、リアルタイムの撮影画像に近づけるように、輝度レベルの補正やコントラストの補正等を施す。また、撮像装置１０によっては圧縮レベルが異なり、特にリアルタイムの撮影画像については圧縮レベルを強くかける傾向があるので、その圧縮レベルを分析して登録顔画像の圧縮レベルを調整し、撮影画像の圧縮レベルに近づける。このように、顔照合を行う際に、事前登録された登録顔画像を一時的に補正し、撮影画像から検出された検出顔画像を比較することで、双方の画像品質を同レベルにした状態で顔照合処理を行う。

【0030】

以上のように、本例の顔照合システムは、記録装置３０が、事前に登録された登録顔画像及びその品質のデータを記憶している。そして、画像処理装置２０において、画像品質分析部２２が、撮像装置１０により撮影された撮影画像の品質を特定し、顔検出部２３が、撮影画像から顔画像を検出し、品質評価部２５が、顔検出部２３で撮影画像から顔画像が検出された場合に、登録顔画像の品質の調整の必要性について評価し、画像品質調整部２６が、品質評価部２５で登録顔画像の品質の調整の必要と判定された場合に、撮影画像の品質と登録顔画像の品質とに基づいて、撮影画像の品質に近づくように登録顔画像に品質の調整を施し、照合部２７が、画像品質調整部２６による品質の調整後の登録顔画像を用いて、検出顔画像の照合を行う。

【0031】

このように、本例の顔照合システムでは、撮影画像の品質（つまり、検出顔画像の品質）に近づくように登録顔画像を一時的に調整して、検出顔画像の照合に用いるように構成してある。これにより、検出顔画像の品質と登録顔画像の品質を画像照合に適したレベル（例えば、同程度のレベル）に調整した状態で、検出顔画像の照合を行うことができる。したがって、撮影画像の品質は調整不要なため、撮像装置側の設定を変更することなく安定した照合精度を得ることができる。更には、撮像装置側の設定の変更が不要なので、撮影画像を照合目的だけでなく監視目的にも使用することが可能となる。

【0032】

ここで、本例の顔照合システムでは、本発明に係る記憶手段を記録装置３０により構成し、本発明に係る特定手段を画像品質分析部２２により構成し、本発明に係る調整手段を画像品質調整部２６により構成し、本発明に係る照合手段を照合部２７により構成しているが、他の構成により実現して構わないことは言うまでもない。

【0033】

なお、上記の説明では、品質評価部２５が、撮影画像の品質と登録顔画像の品質とを比較することで、登録顔画像の品質の調整の必要性を評価しているが、他の手法により、登録顔画像の品質の調整の必要性を評価してもよい。例えば、撮像画像の品質を所定条件（登録顔画像の品質に依存しない条件）と比較して、登録顔画像の品質の調整の必要性を評価してもよい。すなわち、一例として、品質の種類毎に基準範囲を予め設定しておき、撮影画像の品質の値が基準範囲から外れた場合に、登録顔画像の品質の調整が必要であると判定してもよい。

【0034】

また、例えば、予めスケジューリングされたタイミングが到来した場合に、登録顔画像の品質の調整が必要であると判定してもよい。一例として、撮像装置１０の周辺にある照明機器の点灯・消灯のタイミングが予めスケジューリングされている場合に、そのタイミングに合わせて、登録顔画像の品質を調整するか否かを切り替えてもよい。この手法は、撮影画像の品質に影響を及ぼす環境変化のタイミングが予め判明している場合に有効である。

【0035】

以上、本発明に係る画像照合システムを顔照合システムに適用した場合を例に説明したが、本発明はこのような顔照合システムに限定されず、車やそのナンバー、放置物、接地物などの他の画像を登録画像と照合する種々の画像照合システムに広く適用できることは言うまでもない。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式をメモリやプロセッサ等のハードウェア資源を用いて実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。

【産業上の利用可能性】

【0036】

本発明は、撮像装置により撮影された撮影画像を事前に登録された登録画像と照合する種々の画像照合システムに利用することができる。

【符号の説明】

【0037】

１０：撮像装置、 ２０：画像処理装置、 ３０：記録装置、 ４０：操作端末、
２１：撮影画像受信部、 ２２：画像品質分析部、 ２３：顔検出部、 ２４：登録データ取得部、 ２５：品質評価部、 ２６：画像品質調整部、 ２７：照合部

【図1】

【図2】

【図3】