(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023048156
(43)【公開日】2023-04-06
(54)【発明の名称】拡張画像を生成するための方法及び関連する装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20230330BHJP
G06V 40/10 20220101ALI20230330BHJP
【FI】
G06T7/00 510A
G06V40/10
【審査請求】有
【請求項の数】10
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022153159
(22)【出願日】2022-09-26
(31)【優先権主張番号】FR2110146
(32)【優先日】2021-09-27
(33)【優先権主張国・地域又は機関】FR
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】519110386
【氏名又は名称】アイデミア・アイデンティティ・アンド・セキュリティー・フランス
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ゲントリック, ステファン
【テーマコード(参考)】
5B043
【Fターム(参考)】
5B043AA09
5B043BA02
5B043BA04
5B043GA05
(57)【要約】
【課題】 拡張画像を生成するための方法及び関連する装置を提供する。
【解決手段】 個人を示す複数の画像の一部を形成する画像ごとに、個人に関するバイオメトリクテンプレートを作成するために画像に処理を適用するステップ(104)と、作成したバイオメトリクテンプレートの平均を構成する平均テンプレートを計算するステップ(106)と、複数の画像からの被選択画像(I
0)を修正済み画像(I
1)へと修正するステップ(110)であって、修正(110)は平均テンプレート(TM)と修正済み画像に処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りが、平均テンプレート(TM)と被選択画像(I
0)に処理を適用することによって作成されているバイオメトリクテンプレートとの間の誤りよりも小さいように修正(110)が適応される、修正するステップ(110)とを含む、方法。
【選択図】
図2
【特許請求の範囲】
【請求項1】
コンピュータによって実装される方法であって、
- 個人を示す複数の画像の一部を形成する画像ごとに、前記個人に関するバイオメトリクテンプレートを作成するために前記画像に処理を適用するステップ(104)と、
- 作成した前記バイオメトリクテンプレートの平均を構成する平均テンプレート(TM)を計算するステップ(106)と、
- 前記複数の画像からの被選択画像(I0)を修正済み画像(I1)へと修正するステップ(110)であって、前記平均テンプレート(TM)と前記修正済み画像(I1)に前記処理を適用することによって作成される別のバイオメトリクテンプレートとの間の誤りが、前記平均テンプレート(TM)と前記被選択画像(I0)に前記処理を適用することによって作成されている前記バイオメトリクテンプレートとの間の誤りよりも小さいように前記修正(110)が適応される、修正するステップ(110)と
を含む、方法。
【請求項2】
前記被選択画像(I0)は、前記被選択画像(I0)の適用によって作成される前記バイオメトリクテンプレートが、作成される前記バイオメトリクテンプレートの中の前記平均テンプレート(TM)に最も近くなるようなものである、請求項1に記載の方法。
【請求項3】
前記修正するステップ(110)が、以下の条件、すなわち
- 前記平均テンプレート(TM)と最終画像(If)に前記処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りが既定の閾値未満であるように、前記修正するステップ(110)の反復が前記最終画像(If)を作成すること、
- 前記修正するステップ(110)の反復回数が既定の閾値に達すること
の少なくとも1つが満たされるまで反復される、請求項1又は2に記載の方法。
【請求項4】
前記修正するステップ(110)が
I
k+1=I
k-λ*D
k
のように反復され、但し
- I
kは前記修正するステップ(110)のk番目の反復によって修正される画像であり、
- I
k+1は前記k番目の反復によって作成される修正済み画像であり、
- λは既定のパラメータであり、
-
が成立し、但しE
kは前記平均テンプレート(TM)と前記画像I
kに前記処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りである、
請求項1乃至3の何れか一項に記載の方法。
【請求項5】
前記処理が畳み込みニューラルネットワークによって実装される、請求項1乃至4の何れか一項に記載の方法。
【請求項6】
- 画像のシーケンスから前記複数の画像を選択するステップ(102)であって、前記選択は画質の基準に基づいて及び前記画像のシーケンス内の時間的位置の基準に基づいて行われる、選択するステップ(102)
を更に含む、請求項1乃至5の何れか一項に記載の方法。
【請求項7】
前記選択(102)が
a)前記画像のシーケンスの画像ごとに、前記画像の質を示す関連メトリクを計算するステップ(200)と、
b)まだ選択されていない前記シーケンスの1組の画像から、最も優れた質をその関連メトリクが示す前記画像のシーケンスの画像を選択するステップ(202)と、
c)前記被選択画像の既定の時間的近傍に位置する前記被選択画像以外の前記シーケンスからの少なくとも1つの画像について、前記画像に関連する前記メトリクをダウングレードするステップ(204)と、
d)以下の条件、すなわち
- ステップb)の実装回数が既定の閾値に達すること、
- まだ選択されていない前記画像のシーケンスからの各画像の前記メトリクが既定の品質閾値を超えること
の少なくとも1つが満たされるまでステップb)及びc)を繰り返すステップと
を含む、請求項6に記載の方法。
【請求項8】
その前記ステップが第1の装置(1)によって実装され、
- 前記修正済み画像から生じる最終画像(If)を通信ネットワーク(3)内で第2の装置(2)に伝送するステップ(114)を更に含み、前記第2の装置(2)は、前記個人に関する最終バイオメトリクテンプレート(Tf)を作成するために前記最終画像に前記処理を適用するように構成される、請求項1乃至7の何れか一項に記載の方法。
【請求項9】
請求項1乃至8の何れか一項に記載の方法のステップを実行するために前記コンピュータによって実行可能な命令を記憶する、コンピュータ可読メモリ(14)。
【請求項10】
個人を示す複数の画像を取得するように構成されるセンサ(10)と、
- 前記複数の画像の一部を形成する画像ごとに、前記個人に関するバイオメトリクテンプレートを作成するために前記画像に処理を適用すること、
- 作成した各バイオメトリクテンプレートの平均を構成する平均テンプレートを計算すること、
- 前記複数の画像からの被選択画像(I0)を修正済み画像(I1)へと修正することであって、前記平均テンプレートと前記修正済み画像に前記処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りが、前記平均テンプレートと前記被選択画像に前記処理を適用することによって作成されている前記バイオメトリクテンプレートとの間の誤りよりも小さいように前記修正が適応される、修正すること
を行うように構成される少なくとも1つのプロセッサ(12)と
を含む、装置(1)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はバイオメトリクスの分野に関する。
【0002】
より具体的には、本発明は個人の複数の画像から拡張画像を生成することを含む方法に関する。
【背景技術】
【0003】
知られているバイオメトリク認証システムは、2つの装置、すなわち画像を取得するための画像センサを含む第1の装置及び認証結果をもたらす第2の装置を含み、第1の装置及び第2の装置は通信ネットワークによって通信する。
【0004】
この種のシステム内で実装される第1の方法は次の通りである:画像センサが個人を示す画像を取得する。その画像が通信ネットワークによって第2の装置に伝送される。第2の装置は、伝送された画像に基づいてバイオメトリクテンプレートを作成する。次いでそのバイオメトリクテンプレートをデータベース内に記憶されている参照テンプレートと比較することができる。計算済みのバイオメトリクテンプレートと参照テンプレートのうちの1つとの間に一致がある場合、その個人を認可ユーザと見なす。しかし、取得される画像に雑音が多い場合、とりわけ画像がぼやけている又はユーザの身体の特色のある部分を十分正確に示さない場合、この第1の方法は誤った結果を招く場合がある。
【0005】
この問題を克服するために、画像センサが1つだけでなく複数の画像を取得し、第1の方法の中で実装される処理を各画像に適用する第2の方法が提案されている。しかし、この第2の方法には次のような幾つかの欠点がある:まずこの方法は第1の方法よりも多くの帯域幅を消費し(とりわけ1つだけでなく複数の画像が通信ネットワーク内で伝送される)、第2に第1の方法よりも多くの計算負荷を必要とする。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の1つの目的は個人に関するデータを生成することであり、それに基づきバイオメトリク認証を確実に及び通信ネットワーク内でのかかるデータの伝送中に帯域幅の消費を少なくして行うことができる。
【課題を解決するための手段】
【0007】
そのために、第1の態様によればコンピュータによって実装される方法が提供され、この方法は
- 個人を示す複数の画像の一部を形成する画像ごとに、個人に関するバイオメトリクテンプレートを作成するために画像に処理を適用するステップと、
- 作成したバイオメトリクテンプレートの平均を構成する平均テンプレートを計算するステップと、
- 複数の画像からの被選択画像を修正済み画像へと修正するステップであって、平均テンプレートと修正済み画像に処理を適用することによって作成される別のバイオメトリクテンプレートとの間の誤りが、平均テンプレートと被選択画像に処理を適用することによって作成されているバイオメトリクテンプレートとの間の誤りよりも小さいように修正が適応される、修正するステップと
を含む。
【0008】
まず、修正済み画像は個人を示す複数の画像からの情報をより小さいサイズに圧縮し、そのことはかかる画像の雑音が多い可能性を減らす。第2に、この画像に同じ処理を適用することは平均テンプレートに近いバイオメトリクテンプレートを作成し、それにより参照テンプレートと比較するための信頼できる基礎を提供する。
【0009】
第1の態様による方法は、個々に理解される又は技術的に可能な場合は互いに組み合わせて理解される以下の任意選択的な特徴を更に含み得る。
【0010】
好ましくは、被選択画像は、被選択画像の適用によって作成されるバイオメトリクテンプレートが、作成されるバイオメトリクテンプレートの中の平均テンプレートに最も近くなるようなものである。
【0011】
好ましくは、修正するステップは以下の条件、つまり
- 平均テンプレートと最終画像に処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りが既定の閾値未満であるように、修正するステップの反復が最終画像をもたらすこと、
- 修正するステップの反復回数が既定の閾値に達すること
の少なくとも1つが満たされるまで反復される。
【0012】
好ましくは、修正するステップは
I
k+1=I
k-λ*D
k
のように反復され、但し
- I
kは修正するステップのk番目の反復によって修正される画像であり、
- I
k+1はk番目の反復によって作成される修正済み画像であり、
- λは既定のパラメータであり、
-
が成立し、但しE
kは平均テンプレートと画像I
kに処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りである。
【0013】
好ましくは、処理が畳み込みニューラルネットワークによって実装される。
【0014】
好ましくは、この方法は、例えば個人の映像から生じる画像のシーケンスから複数の画像を選択するステップを含む。
【0015】
好ましくは、複数の画像は単一の画像センサによって取得される画像から生じる。
【0016】
好ましくは、選択が画質の基準に基づいて、及び画像のシーケンス内の時間的位置の基準に基づいて行われる。
【0017】
好ましくは、選択が
a)画像のシーケンスの画像ごとに、画像の質を示す関連メトリクを計算するステップと、
b)まだ選択されていないシーケンスの1組の画像から、最も優れた質をその関連メトリクが示す画像のシーケンスの画像を選択するステップと、
c)被選択画像の既定の時間的近傍に位置する被選択画像以外のシーケンスからの少なくとも1つの画像について、画像に関連するメトリクをダウングレードするステップと、
d)以下の条件、すなわち
- ステップb)の実装回数が既定の閾値に達すること、
- まだ選択されていない画像のシーケンスからの各画像のメトリクが既定の品質閾値を超えること
の少なくとも1つが満たされるまでステップb)及びc)を繰り返すステップと
を含む。
【0018】
好ましくは、この方法のステップが第1の装置によって実装され、この方法が修正済み画像から生じる最終画像を通信ネットワーク内で第2の装置に伝送するステップを更に含み、第2の装置は個人に関する最終バイオメトリクテンプレートを作成するために最終画像に処理を適用するように構成される。
【0019】
第2の態様によれば、第1の態様による方法のステップを実行するためにコンピュータによって実行可能な命令を記憶するコンピュータ可読メモリも提供される。
【0020】
第3の態様によれば、個人を示す複数の画像を取得するように構成されるセンサと、
- 複数の画像の一部を形成する画像ごとに、個人に関するバイオメトリクテンプレートを作成するために画像に処理を適用すること、
- 作成した各バイオメトリクテンプレートの平均を構成する平均テンプレートを計算すること、
- 複数の画像からの被選択画像を修正済み画像へと修正することであって、平均テンプレートと修正済み画像に処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りが、平均テンプレートと被選択画像に処理を適用することによって作成されているバイオメトリクテンプレートとの間の誤りよりも小さいように修正が適応される、修正すること
を行うように構成される少なくとも1つのプロセッサと
を含む装置も提供される。
【0021】
純粋に例示的及び非限定的であり、添付図面と併せて読まれるべき以下の説明から本発明の更なる特徴、目的、及び利点が明らかになる。
【0022】
図面の全てにおいて、同様の要素は同じ参照番号を有する。
【図面の簡単な説明】
【0023】
【
図1】本発明の一実施形態によるバイオメトリク認証システムを概略的に示す。
【
図2】本発明の一実施形態による第1の方法のステップの流れ図である。
【
図3】
図2に示すステップの1つの一実施形態を詳述する流れ図を詳しく示す。
【
図4】本発明の一実施形態による第2の方法のステップの流れ図である。
【発明を実施するための形態】
【0024】
図1を参照し、バイオメトリク認証システムは第1の装置1と、通信ネットワーク3によって互いに通信するように設計される第2の装置2とを含む。
【0025】
第1の装置1は、画像センサ10、データ処理ユニット12、メモリ14、及び第2の装置2との通信インタフェース16を含む。
【0026】
画像センサ10は例えば個人の映像、即ち個人を示す画像のシーケンスを取得するように設計される。
【0027】
本文では、「個人を示す画像」とは、その個人の身体の一部、具体的にはその個人を別の個人と区別できるようにする個人の身体の一部を示す画像を意味する。
【0028】
例えば取得される画像は個人の顔、又は少なくとも個人の指紋を示すことができる。
【0029】
データ処理ユニット12は、画像センサ10によって取得される画像に一定の処理操作を適用するように構成される。
【0030】
具体的には、処理ユニット12は、画像Iを入力として取り、その入力画像から入力画像I内で示される個人に関するバイオメトリクテンプレートTを作成する畳み込みニューラルネットワークを実装するように構成される。以下、畳み込みニューラルネットワークによって適用される処理をCNN数学関数と呼ぶ。従って次式が成立する:
T=CNN(I)
【0031】
処理ユニット12は、典型的には上述の処理操作を実装するための少なくとも1つのプロセッサを含み、その又は各プロセッサは、任意の形を取る可能性がある(ASIC、FPGA、SoC、マイクロコントローラ等)。
【0032】
第1の装置1は、その又は各プロセッサによって実行可能なコード命令を含むコンピュータプログラムを記憶するメモリを更に含む。プログラムがその又は各プロセッサによって実行される場合、上述の処理操作を含む方法が実装される。
【0033】
メモリは、典型的には揮発性メモリユニット(例えばRAM)及び不揮発性メモリユニット(フラッシュ、EEPROM、ハードディスク、SSD等)を含む。
【0034】
通信インタフェース16は、通信ネットワーク3によって第1の装置1が第2の装置2にデータを伝送できるようにするよう設計される。この通信インタフェース16は任意の種類のものとすることができ(有線又は無線)、この通信ネットワーク3による通信は任意の通信プロトコル(イーサネット、Wi-Fi、Bluetooth、3G/4G/5Gセルラ等)によって統制され得る。
【0035】
第1の装置1は、典型的には認可された個人しか入ることが許可されないセキュア領域の入り口で使用されることが意図される。例えば第1の装置1は、セキュア領域に無認可の個人が入るのを防ぐ一方、認可された個人が入ることは許可する物的障壁を提供するゲートの一部を形成することができ、又はかかるゲートに結合され得る。以下で分かるように、本システムは個人のバイオメトリク認証を行うために使用され、このバイオメトリク認証の目的は、例えばその個人が認可されている(この場合セキュア領域に入ることを認められる)か認可されていない(この場合セキュア領域に入ることを拒否される)かを判定することである。
【0036】
或る改変形態(不図示)によれば、第1の装置1は個人の複数の画像を取得するように設計される複数の画像センサを含む。
【0037】
このことは、例えば様々な角度から撮られた個人の画像を有することを可能にする。第2の装置2は第1の装置1から離れている。
【0038】
第2の装置2は、第1の装置1との通信インタフェース20、処理ユニット22、及びメモリ24を含む。
【0039】
通信インタフェース20は、第1の装置1の通信インタフェース16と同じ種類のものであり得る。
【0040】
具体的には、処理ユニット22は第1の装置1と同じ畳み込みニューラルネットワークCNN数学関数を実装するように構成される。
【0041】
メモリ24は、過去に登録された様々な個人に関するバイオメトリクテンプレート又はバイオメトリク画像を含むデータベースを記憶することを意図する。
【0042】
図2を参照し、第1の装置1を実装する方法は以下のステップを含む。
【0043】
個人が第1の装置1に近づく。以下、個人が上記のセキュア領域に入ることを望む、或る例示的実装形態を検討する。
【0044】
取得ステップ100で、カメラが例えば個人を示す画像のシーケンスを取得する。
【0045】
典型的には、画像のシーケンスは相対的に高頻度で取得されるN個の画像を含み、但しN≧3である。
【0046】
N個の画像のシーケンスはメモリ14内に記憶される。
【0047】
或る改変形態によれば、複数のセンサが個人を示す画像を取得する。画像のシーケンスは様々な時点において、及び様々なセンサによって撮られる個人の画像を含む。選択するステップ102では、処理ユニット12が画像のシーケンスから、そのシーケンスの画像のサブセットを構成する複数の画像を選択する。換言すれば、この選択によって得られる複数の画像は、1≦K≦Nとなるような幾つかの画像Kを含む。
【0048】
複数の画像は、画質の基準に基づいて及び画像のシーケンス内の時間的位置の基準に基づいて画像のシーケンスから処理ユニット12によって選択される(102)。
【0049】
図3に示す一実施形態では、選択102が有利には以下のサブステップを含む。
【0050】
画像のシーケンスからの画像ごとに処理ユニット12は画像に関連するメトリクを計算し、メトリクは画像の質を示す(ステップ200)。従って、このステップ200ではN個のメトリクが計算される。
【0051】
計算されるメトリクは、当業者に知られている以下のメトリクの1つであり得る:
・画像内に示される個人の顔の位置を示すメトリク。この場合、メトリクの値は画像センサ10に対する顔の向きに依存し、個人の顔を正面から示す画像は、個人の顔を斜めから、又は更には横から示す画像よりも質が優れていると見なされる。
・画像内に示される個人の顔の解像度を示すメトリク。画像内のピクセル数としてカウントされる個人の目の間の距離が長ければ長いほどその画像の質は高い。
・画像内のぼやけのレベルを示すメトリク。画像がぼやけていればいるほどその画像の質は低い。
・上述の畳み込みニューラルネットワークと異なるニューラルネットワークによってもたらされる「バイオメトリク」メトリク。
【0052】
計算済みのメトリクはその個々の画像に関連してメモリ16内に記憶される。
【0053】
次に処理ユニット12は、まだ選択されていないシーケンスの1組の画像から、最も優れた質を示すメトリクに関連する画像シーケンスの画像を選択する(サブステップ202)。この段階において、この組はそれ自体が画像センサ10によって全体として取得される画像のシーケンスであり、換言すれば、サブステップ202のこの第1の実装形態で選択される画像は画像シーケンス内で最も高い質を有するものである。この第1の実装形態の間に選択される画像は慣例により「第1の画像」と呼ばれる。
【0054】
処理ユニット12は、サブステップ202で選択された画像(即ち第1の画像)の時間的近傍にある画像のシーケンスから各画像を識別する。シーケンスからの画像は、被選択画像を含む既定の持続時間の時間範囲内、例えばその被選択画像を中心とした時間範囲内にある場合、サブステップ202で選択された画像の近傍にあると見なされる。この原理を示すために具体例を使用し、この時間範囲の値域を500ミリ秒に決めた場合、被選択画像よりも最大500ミリ秒前の又は後のシーケンスの画像を被選択画像の近傍の(又は付近の)画像と見なすことができる。
【0055】
処理ユニット12は、付近の画像の少なくとも1つに関連するメトリクをダウングレードする(サブステップ204)。「ダウングレードする」とは、メトリクによって示される質を下げるようにメトリクの値を修正することを意味する。このダウングレードは計算されるメトリク値にのみ影響を及ぼし、それらのメトリク値が関係する画像には影響しないこと、即ち画像自体はダウングレードされないことが理解されよう。
【0056】
好ましくは、処理ユニット12はサブステップ202で前に選択された任意の付近の画像に関連するメトリクをダウングレードする(204)。ダウングレードの全ては、例えば質の同じ差によるシフトである。
【0057】
ステップ206で、処理ユニット12は以下の出力条件の少なくとも1つが満たされるかどうかを検査する:
・サブステップ202及び204の実装回数が既定の閾値Kmaxに達すること、
・まだ選択されていない画像のシーケンスからの各画像のメトリクが既定の品質閾値未満の質を示すこと。
【0058】
これらの条件の少なくとも1つが満たされる場合、選択するステップ102が終了する。
【0059】
さもなければ、サブステップ202、204、及び206を以下のように反復する。
【0060】
処理ユニット12は、まだ選択されていないシーケンスの1組の画像から、最も優れた質を示すメトリクに関連する画像シーケンスの画像を選択することで構成されるサブステップ202を繰り返す。
【0061】
このサブステップ202の先の実装形態に対する1つの違いは、第1の画像がその間選択されており、従ってサブステップ202の第2の実装形態ではまだ選択されていないシーケンスからの1組の画像が、第1の画像を除外した画像の最初のシーケンスに対応する。従って、第1の画像と異なる第2の画像がこのサブステップ202の第2の実装形態において選択される。
【0062】
このサブステップの先の実装形態に対する別の違いは、一定の画像(第1の画像付近の画像の少なくとも1つ)にそれぞれ関連するメトリクがその間ダウングレードされていることである。このことは、第1の画像と時間的に近くない画像を第2の画像として選択することを有利に支持する。
【0063】
処理ユニット12は、最後に選択された画像、つまり第2の画像付近の画像の少なくとも1つに関連するメトリクをダウングレードすることで構成されるサブステップ204を繰り返す。同じ時間的近傍を使用することができる。
【0064】
選択するステップ102のこの実施形態は、引き続き良質でありながら時間の点で互いに近過ぎない、従ってあまり冗長ではない複数の被選択画像の入手をもたらす利点を有する。
【0065】
図2に戻り、処理ユニット12は、畳み込みニューラルネットワークへの入力としてそれぞれの被選択画像を伝える。畳み込みニューラルネットワークによって実装される処理は、それぞれの被選択画像に基づき、画像内に示される個人に関する対応するバイオメトリクテンプレートを作成する(ステップ104)。従って、K個の被選択画像に基づき、畳み込みニューラルネットワークはK個の関連テンプレートをステップ104で作成する。
【0066】
各バイオメトリクテンプレートは、典型的には例えばノルム1のベクトル形式にある。
【0067】
畳み込みニューラルネットワークによって作成されるバイオメトリクテンプレートはメモリ14内に記憶される。
【0068】
ステップ106で、処理ユニット12は、その名前が示すように前に作成したK個のバイオメトリクテンプレートの平均を構成する平均テンプレートTMを計算する。例えば平均テンプレートTMは、それらのK個のバイオメトリクテンプレートの和をその個々のノルムの和で割った(即ちノルム1のベクトルの場合はKで割った)ものとして計算することができる。
【0069】
平均テンプレートTMはメモリ16内に記憶される。
【0070】
次に処理ユニット12は、選択されているK個の画像の中から、慣例により初期画像I0と呼ぶ画像の1つを選択する。
【0071】
初期画像I0は、それに基づいてテンプレートTMが計算されているK個の被選択画像の中の何れかとすることができる。
【0072】
しかし或る有利な実施形態では、平均テンプレートTMに最も近いバイオメトリクテンプレートに関連する画像が初期画像I0として選択される。この画像を見つけるために、平均テンプレートと作成されたK個のバイオメトリクテンプレートの1つとの間の各距離を計算して、作成されたK個のバイオメトリクテンプレートの中から平均テンプレートと最小距離にあるバイオメトリクテンプレートT0を識別し、次いでこの最小距離にあるバイオメトリクテンプレートT0(T0=CNN(I0))を作成するために畳み込みニューラルネットワークCNN数学関数への入力として伝えられた画像I0を識別すれば十分である。
【0073】
次に、処理ユニット12は1つ又は複数の反復を含むループを実装し、このループは初期画像I0から最終画像Ifを作成する。
【0074】
インデックスk-1の先行する反復に対するこのループのインデックスkの反復についてより全般的に説明する前に、このループの(慣例によりインデックスゼロの)初期反復について最初に説明する。
【0075】
このループの初期反復は、処理ユニット12が初期画像I0を修正済み画像I1へと修正する修正ステップ110を含む。実装される修正110は次の条件、つまり平均テンプレートTMと修正済み画像I1に処理を適用することによって作成されるバイオメトリクテンプレートT1との間の誤りE1が、平均テンプレートTMと初期画像I0に処理を適用することによって作成されているバイオメトリクテンプレートT0との間の誤りE0よりも小さいことを満たすように設計される。
【0076】
ここでは、この修正するステップが、修正済み画像I1に処理を適用することによって作成されるバイオメトリクテンプレートT1の又は誤りE1の事前計算を必ずしも必要としないことに留意すべきである。但し、画像の修正がステップ110で行われる修正によってカバーされるかどうかを検査するためにかかる計算を実際に実装することができる。
【0077】
たとえこの方法のステップに従ってバイオメトリクテンプレートT1がそのように計算されなくても、修正するステップ110は、誤りE1、E2に関する条件が満たされること、即ち平均テンプレートTMと修正済み画像I1に処理を適用することによって作成されるバイオメトリクテンプレートT1との間の誤りE1が、平均テンプレートTMと初期画像I0に処理を適用することによって作成されているバイオメトリクテンプレートT0との間の誤りE0よりも小さいことを確実にする。
【0078】
一実施形態では、画像I0を修正済み画像I1へと修正すること110が以下のように行われる。
【0079】
処理ユニット12が以下の勾配を計算する:
但しE
0は、平均テンプレートと画像I
0にCNN処理を適用することによって作成されるバイオメトリクテンプレートT
0(即ちT
0=CNN(I
0))との間の誤りである。
【0080】
誤りE0は、例えば以下の形式のものである:
E0=(T0-TM)2
【0081】
次に、処理ユニット12は以下の公式:
I1=I0-λ*D0
を適用することによって修正済み画像I1を計算し、但しλは既定のパラメータである。
【0082】
修正するステップ110のこの実施形態は、損失を最小化するやり方でニューラルネットワークのパラメータを更新するために従来より使用されている勾配降下法に基づく。しかしこの方法では、修正しようとするのは畳み込みニューラルネットワークCNN数学関数のパラメータではなく、むしろこの畳み込みニューラルネットワークへの入力として伝えられている画像(この場合は画像I0)であり、これは慣例的ではない。
【0083】
ループの初期反復は、次の出力条件の1つが満たされるかどうかを処理ユニット12が検査する検査ステップ112を含む。
【0084】
第1の条件は、平均テンプレートTMと画像I1に処理を適用することによって作成されるバイオメトリクテンプレートT1との間の誤りが既定の閾値E未満である場合、或いは
E1=(T1-TM)2<E
が成立する場合に満たされる。
【0085】
従ってこの第1の条件が満たされるかどうかを知るために、処理ユニット12はT1=CNN(I1)を、画像I0を修正済み画像I1へと修正するステップ内でこの計算がまだ行われていない場合に計算する(具体的には、この計算は勾配降下法に基づく上記の実施形態では行われない)。
【0086】
第2の条件は、実装される修正ステップ110の反復回数が既定の閾値に達する場合に満たされる。この段階において、修正ステップは1回しか実装されていない。
【0087】
第1の条件が満たされる場合又は第2の条件が満たされる場合、ループが終了する。最終画像Ifは修正済み画像I1である。
【0088】
さもなければ(インデックス1の)ループの新たな反復が実装され、この新たな反復は初期画像I0の代わりに画像I1を入力として取る。
【0089】
ループのインデックスkの反復、但しk≠0をより広く検討されたい。新たな修正済み画像Ik+1を得るために、このインデックスkの反復は、上記のステップ110の修正であるインデックスk-1の先行する反復内で得られる画像Ikに適用する。
【0090】
従って、勾配降下法に端を発する上記の実施形態では、インデックスkの反復において
I
k+1=I
k-λ*D
k
が成立し、但し
E
k=(T
k-TM)
2
である。
【0091】
インデックスkの反復内で実装される修正110は、平均テンプレートTMと修正済み画像Ik+1に処理を適用することによって作成されるバイオメトリクテンプレートTk+1との間の誤りEk+1が、平均テンプレートと画像Ikに処理を適用することによって作成されているバイオメトリクテンプレートとの間の誤りEkよりも小さいように設計される。
【0092】
ループからの出力として得られる最終画像Ifは、修正ステップ110の最後の実装で作成される修正済み画像である。上述のように、最終画像Ifは(第1の条件又は第2の条件が満たされるのにループの1回の反復だけで十分だった場合)画像I1である可能性が大いにあり、又は(第1の条件又は第2の条件を満たすためにループの複数の反復を実行しなければならなかった場合)この画像I1の1つ又は複数の連続した修正から生じる画像であり得る。
【0093】
次いで、最終画像Ifが通信インタフェースによって第2の装置2に伝送される(ステップ114)。
【0094】
最終画像Ifには2つの利点がある:Ifは、映像シーケンスから選択されるK個の画像からの視覚的情報を組み合わせながら、その伝送114が通信ネットワーク3上で殆ど帯域幅を消費しない小さいデータ項目である。この最終画像Ifは、取得される画像のシーケンス内の原画像のうちの1つよりも雑音が少ない可能性が高い。
【0095】
図4を参照し、第2の装置2が以下のステップを含む方法を実装する。
【0096】
第2の装置2は、自らの通信インタフェースによって最終画像Ifを受信する(ステップ300)。
【0097】
第2の装置2の処理ユニット22は、第1の装置1によって実装されるのと同じ畳み込みニューラルネットワークCNN数学関数への入力として最終画像Ifを伝える(ステップ302)。換言すれば、ステップ302で第2の装置2側で実装される処理は、ステップ104で第1の装置1側で実装される各処理操作と同一である。最終画像Ifから、畳み込みニューラルネットワークは慣例により「最終」バイオメトリクテンプレートと呼ばれるバイオメトリクテンプレートTf=CNN(If)をステップ302で作成する。
【0098】
次いで、最終バイオメトリクテンプレートTfが参照テンプレートの何れかとマッチするかどうかを判定するために、処理ユニット12は、最終バイオメトリクテンプレートTfをメモリデータベース24内に記憶される参照テンプレートと比較することができる。
・該当する場合、それはその個人が過去にデータベースに登録されていることを意味し、従ってその個人は認可ユーザであり、セキュア領域にアクセスする認可を付与されている(肯定的な認証結果)。
・該当しない場合、それはその個人が認可ユーザではないことを意味し、セキュア領域にアクセスすることを拒否される(否定的な認証結果)。
【0099】
最終画像Ifが作成されているやり方が原因で、最終バイオメトリクテンプレートTfは平均テンプレートTMに近い。この近さは、第2の装置2が、依然として信頼できるマッチを実装することを可能にする。従って、実行されるバイオメトリク認証が第1の装置1と第2の装置2との間の通信ネットワーク3上で殆ど帯域幅を消費しない(情報を多く含んだ画像がこのネットワーク上で1つしか伝送されない)こと、及びそれがテンプレートマッチング操作の適切な機能を損なうことなしに実現されることの2つの目的が実現されている。
【0100】
メモリ24内のデータベース内に個人を登録するために、第1の装置1によって実装される方法は第2の装置2によって実装される方法と組み合わせることもできる(その場合比較する/マッチするステップは最終テンプレートTf及び/又は最終画像Ifをデータベース内に記憶することで単純に置換される)。
【0101】
当然ながら、添付図面に関して上記で説明した方法は非限定的な実施形態に過ぎない。これらの方法は改変を受ける場合がある。
【0102】
有利ではあるが、画像からバイオメトリクテンプレートを作成するために畳み込みニューラルネットワークを使用することは必要ではない。画像からバイオメトリクテンプレートを作成するための他の処理操作を実装してもよい。
【0103】
取得するステップ100及び選択するステップ102は、最終画像Ifを得るための任意選択的な予備ステップであることが更に理解されよう。選択するステップ102は任意選択的であり、それに基づいて最終画像が得られる複数のK個の画像は、必ずしも画像センサ10によって取得される画像のシーケンスから生じない。
【符号の説明】
【0104】
1 第1の装置
2 第2の装置
3 通信ネットワーク
10 画像センサ
12 処理ユニット
14 メモリ
16 通信インタフェース
20 通信インタフェース
22 処理ユニット
24 メモリ
【手続補正書】
【提出日】2023-01-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータによって実装される方法であって、
- 個人を示す複数の画像の一部を形成する画像ごとに、前記個人に関するバイオメトリクテンプレートを作成するために前記画像に処理を適用するステップ(104)と、
- 作成した前記バイオメトリクテンプレートの平均を構成する平均テンプレート(TM)を計算するステップ(106)と、
- 前記複数の画像からの被選択画像(I0)を修正済み画像(I1)へと修正するステップ(110)であって、前記平均テンプレート(TM)と前記修正済み画像(I1)に前記処理を適用することによって作成される別のバイオメトリクテンプレートとの間の誤りが、前記平均テンプレート(TM)と前記被選択画像(I0)に前記処理を適用することによって作成されている前記バイオメトリクテンプレートとの間の誤りよりも小さいように前記修正(110)が適応される、修正するステップ(110)と
を含む、方法。
【請求項2】
前記被選択画像(I0)は、前記被選択画像(I0)の適用によって作成される前記バイオメトリクテンプレートが、作成される前記バイオメトリクテンプレートの中の前記平均テンプレート(TM)に最も近くなるようなものである、請求項1に記載の方法。
【請求項3】
前記修正するステップ(110)が、以下の条件、すなわち
- 前記平均テンプレート(TM)と最終画像(If)に前記処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りが既定の閾値未満であるように、前記修正するステップ(110)の反復が前記最終画像(If)を作成すること、
- 前記修正するステップ(110)の反復回数が既定の閾値に達すること
の少なくとも1つが満たされるまで反復される、請求項1に記載の方法。
【請求項4】
前記修正するステップ(110)が
I
k+1=I
k-λ*D
k
のように反復され、但し
- I
kは前記修正するステップ(110)のk番目の反復によって修正される画像であり、
- I
k+1は前記k番目の反復によって作成される修正済み画像であり、
- λは既定のパラメータであり、
-
が成立し、但しE
kは前記平均テンプレート(TM)と前記画像I
kに前記処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りである、
請求項
1に記載の方法。
【請求項5】
前記処理が畳み込みニューラルネットワークによって実装される、請求項1に記載の方法。
【請求項6】
- 画像のシーケンスから前記複数の画像を選択するステップ(102)であって、前記選択は画質の基準に基づいて及び前記画像のシーケンス内の時間的位置の基準に基づいて行われる、選択するステップ(102)
を更に含む、請求項1に記載の方法。
【請求項7】
前記選択(102)が
a)前記画像のシーケンスの画像ごとに、前記画像の質を示す関連メトリクを計算するステップ(200)と、
b)まだ選択されていない前記シーケンスの1組の画像から、最も優れた質をその関連メトリクが示す前記画像のシーケンスの画像を選択するステップ(202)と、
c)前記被選択画像の既定の時間的近傍に位置する前記被選択画像以外の前記シーケンスからの少なくとも1つの画像について、前記画像に関連する前記メトリクをダウングレードするステップ(204)と、
d)以下の条件、すなわち
- ステップb)の実装回数が既定の閾値に達すること、
- まだ選択されていない前記画像のシーケンスからの各画像の前記メトリクが既定の品質閾値を超えること
の少なくとも1つが満たされるまでステップb)及びc)を繰り返すステップと
を含む、請求項6に記載の方法。
【請求項8】
前記ステップが第1の装置(1)によって実装され、
- 前記修正済み画像から生じる最終画像(If)を通信ネットワーク(3)内で第2の装置(2)に伝送するステップ(114)を更に含み、前記第2の装置(2)は、前記個人に関する最終バイオメトリクテンプレート(Tf)を作成するために前記最終画像に前記処理を適用するように構成される、請求項1に記載の方法。
【請求項9】
請求項1に記載の方法のステップを実行するために前記コンピュータによって実行可能な命令を記憶する、コンピュータ可読メモリ(14)。
【請求項10】
個人を示す複数の画像を取得するように構成されるセンサ(10)と、
- 前記複数の画像の一部を形成する画像ごとに、前記個人に関するバイオメトリクテンプレートを作成するために前記画像に処理を適用すること、
- 作成した各バイオメトリクテンプレートの平均を構成する平均テンプレートを計算すること、
- 前記複数の画像からの被選択画像(I0)を修正済み画像(I1)へと修正することであって、前記平均テンプレートと前記修正済み画像に前記処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りが、前記平均テンプレートと前記被選択画像に前記処理を適用することによって作成されている前記バイオメトリクテンプレートとの間の誤りよりも小さいように前記修正が適応される、修正すること
を行うように構成される少なくとも1つのプロセッサ(12)と
を含む、装置(1)。
【外国語明細書】