(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-09
(54)【発明の名称】照明および撮像を通したなりすまし防止顔認識
(51)【国際特許分類】
G06V 40/40 20220101AFI20241226BHJP
G01N 21/21 20060101ALI20241226BHJP
【FI】
G06V40/40
G01N21/21 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024536211
(86)(22)【出願日】2022-12-16
(85)【翻訳文提出日】2024-08-02
(86)【国際出願番号】 US2022081868
(87)【国際公開番号】W WO2023115037
(87)【国際公開日】2023-06-22
(32)【優先日】2021-12-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520069800
【氏名又は名称】メタレンズ,インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】デブリン, ロバート シー.
(72)【発明者】
【氏名】ワン, シャンドン
【テーマコード(参考)】
2G059
5B043
【Fターム(参考)】
2G059AA05
2G059BB12
2G059EE02
2G059EE05
2G059FF01
2G059FF04
2G059GG02
2G059HH01
2G059JJ02
2G059KK04
2G059MM01
5B043AA10
5B043BA04
5B043DA05
5B043EA02
(57)【要約】
本明細書に開示されるものは、なりすまし防止物体認識を実施する、システムおよび方法である。ある実施形態では、物体認識のためのシステムは、物体を照明するように構成される、照明デバイスと、センサデバイスであって、センサデバイスは、偏光情報を含む、物体から反射される照明光を受け取る、センサデバイスと、プロセッサと、プロセッサによって、照明光から偏光情報を計算し、偏光情報を使用し、物体が現実3D物体であるかどうかを判定するように実行可能なプログラミングを含む、メモリとを含む。偏光情報が、物体が3D物体または平坦な(2D)物体であるかどうかを判定するために利用され得ることが発見されている。したがって、偏光情報は、3D物体の画像および物体の光画から弁別するために利用され得る。
【特許請求の範囲】
【請求項1】
物体認識のためのシステムであって、
物体を照明するように構成される、照明デバイスと、
センサデバイスであって、前記センサデバイスは、偏光情報を含む、前記物体から反射される照明光を受け取る、センサデバイスと、
プロセッサと、
プログラミングを含む、メモリと
を備え、
前記プログラミングは、前記プロセッサによって、
前記照明光から前記偏光情報を計算することと、
前記偏光情報を使用し、前記物体が現実3D物体であるかどうかを判定することと
を行うように実行可能である、システム。
【請求項2】
前記センサデバイスおよび/または前記照明デバイスは、1つ以上のメタ表面光学要素を備える、請求項1に記載のシステム。
【請求項3】
前記メモリはさらに、前記偏光情報を使用し、前記物体が現実3D物体であるかどうか、または前記物体が物体の写真、3D物体のマスク、または3D物体の動画であるかどうかを判定するように構成される、プログラミングを含む、請求項1に記載のシステム。
【請求項4】
前記偏光情報は、S
1偏光と、S
2偏光と、S
3偏光と、偏光度(DoP)と、方位角とから成る群から選択される、少なくとも1つを含む、請求項1に記載のシステム。
【請求項5】
前記S
1偏光、前記S
2偏光、前記S
3偏光は、
【数11】
として定義され、前記S
0偏光は、元のモノクロ画像に対応する、請求項4に記載のシステム。
【請求項6】
前記DoPは、
【数12】
によって計算される、請求項5に記載のシステム。
【請求項7】
前記メモリはさらに、前記プロセッサによって、前記物体の元の光学画像と前記物体の後続の光学画像を比較し、物体認識を実施するように実行可能なプログラミングを含む、請求項1に記載のシステム。
【請求項8】
前記元の光学画像および前記後続の光学画像は、2D近赤外画像である、請求項7に記載のシステム。
【請求項9】
前記元の光学画像および前記後続の光学画像は、偏光画像である、請求項7に記載のシステム。
【請求項10】
前記メモリはさらに、前記プロセッサによって、前記元の光学画像および/または前記後続の光学画像の一部が現実ではないかどうかを判定するように実行可能なプログラミングを含み、前記物体の元の光学画像と前記後続の光学画像を比較することは、現実ではないと判定された前記元の光学画像および/または前記後続の光学画像の前記一部に対して実施されない、請求項7に記載のシステム。
【請求項11】
現実ではない前記元の光学画像および/または前記後続の光学画像の前記一部は、マスク、サングラス、および/または顎髭のものである、請求項10に記載のシステム。
【請求項12】
前記元の光学画像および/または前記後続の光学画像の一部が現実ではないかどうかを判定することは、前記照明光からの前記偏光情報に基づいて実施される、請求項7に記載のシステム。
【請求項13】
前記物体は、顔を備える、請求項1に記載のシステム。
【請求項14】
前記メモリはさらに、物体検出アルゴリズムを実施するように構成される、プログラミングを含む、請求項1に記載のシステム。
【請求項15】
前記メモリはさらに、前記物体検出アルゴリズムからの結果を利用し、非物体ピクセルから物体ピクセルを分離するように構成される、プログラミングを含む、請求項14に記載のシステム。
【請求項16】
前記センサデバイスはさらに、初期の画像および後続の画像を受け取り、前記メモリはさらに、前記初期の画像と前記後続の画像を比較し、前記初期の画像および前記後続の画像が実質的に同一であるかどうかを判定するように構成される、プログラミングを含む、請求項15に記載のシステム。
【請求項17】
前記初期の画像と前記後続の画像を比較することは、前記後続の画像の前記物体ピクセルのみに対して実施される、請求項16に記載のシステム。
【請求項18】
前記照明デバイスは、LEDまたはVCSELアレイを備える、請求項1に記載のシステム。
【請求項19】
前記照明デバイスはさらに、太陽光を備える、請求項18に記載のシステム。
【請求項20】
前記太陽光の量を判定するように構成される、周囲光センサをさらに備え、前記メモリはさらに、前記プロセッサによって、前記太陽光の量に基づいて、前記LEDまたはVCSELアレイによって出力される光の量を改変するように実行可能なプログラミングを含む、請求項19に記載のシステム。
【請求項21】
前記太陽光からのある波長の光を通過させるように構成される、帯域通過フィルタをさらに備える、請求項19に記載のシステム。
【請求項22】
前記照明デバイスは、太陽光を備える、請求項1に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる、2021年12月17日に出願され、「Spoof-Resistant Facial Recognition Through Illumination and Imaging Engineering」と題された、米国仮特許出願第63/265,617号の35 U.S.C.Section 119(e)下の利益および優先権を主張する。
【0002】
(発明の分野)
本発明は、概して、偏光を利用する、なりすまし防止物体認識に関する。
【背景技術】
【0003】
(背景)
メタ表面要素は、個々の導波管要素がサブ波長間隔を有し、平面状プロファイルを有する、回折光学素子である。メタ表面要素は、近年、UV~IR帯域(300~10,000nm)における用途のために開発されている。従来的屈折光学系と比較して、メタ表面要素は、突然に明視野上に位相偏移を導入する。これは、従来的屈折性表面が、それらが動作するように設計される光の波長より10~100倍(またはそれを上回る)大きい厚さを有する一方、メタ表面要素が、ほぼ、それらが動作するように設計される光の波長の厚さを有することを可能にする。加えて、メタ表面要素は、組成元素においていかなる厚さの変動も有しておらず、したがって、屈折光学系に関して要求されるような、いかなる湾曲率も伴わない光を成形することが可能である。従来的回折光学素子(DOE)、例えば、二元回折光学系と比較すると、メタ表面要素は、入射光場上にある範囲の位相偏移を付与するための能力を有し、最低でも、メタ表面要素は、その範囲からの少なくとも5つの明確に異なる値を伴う、0~2πの位相偏移を有することができる一方、二元DOEは、位相偏移の2つのみの明確に異なる値を付与することが可能であり、多くの場合、0または1πのいずれかの位相偏移に限定される。マルチレベルDOEと比較すると、メタ表面要素は、光軸に沿ったその組成元素の高さ変動を要求せず、メタ表面要素特徴の面内幾何学形状のみが、変動する。メタ表面要素は、偏光感知デバイスにおいて利用されてもよい。
【発明の概要】
【課題を解決するための手段】
【0004】
(開示の要約)
本発明の種々の実施形態によるシステムおよび方法は、物体認識のためのシステムを含むことができ、システムは、物体を照明するように構成される、照明デバイスと、センサデバイスであって、センサデバイスは、偏光情報を含む、物体から反射される照明光を受け取る、センサデバイスと、プロセッサと、プロセッサによって、照明光から偏光情報を計算し、偏光情報を使用し、物体が現実3D物体であるかどうかを判定するように実行可能なプログラミングを含む、メモリとを含む。
【0005】
種々の他の実施形態では、センサデバイスおよび/または照明デバイスは、1つ以上のメタ表面光学要素を備える。
【0006】
さらに種々の他の実施形態では、メモリはさらに、偏光情報を使用し、物体が現実3D物体であるかどうか、または物体が物体の写真、3D物体のマスク、または3D物体の動画であるかどうかを判定するように構成される、プログラミングを含む。
【0007】
さらに種々の他の実施形態では、偏光情報は、S1偏光と、S2偏光と、S3偏光と、偏光度(DoP)と、方位角とから成る群から選択される、少なくとも1つを含む。
【0008】
さらに種々の他の実施形態では、S
1偏光、S
2偏光、S
3偏光は、
【数1】
として定義され、S
0偏光は、元のモノクロ画像に対応する。
【0009】
さらに種々の他の実施形態では、DoPは、
【数2】
によって計算される。
【0010】
さらに種々の他の実施形態では、メモリはさらに、プロセッサによって、物体の元の光学画像と物体の後続の光学画像を比較し、物体認識を実施するように実行可能なプログラミングを含む。
【0011】
さらに種々の他の実施形態では、元の光学画像および後続の光学画像は、2D近赤外画像である。
【0012】
さらに種々の他の実施形態では、元の光学画像および後続の光学画像は、偏光画像である。
【0013】
さらに種々の他の実施形態では、メモリはさらに、プロセッサによって、元の光学画像および/または後続の光学画像の一部が現実ではないかどうかを判定するように実行可能なプログラミングを含み、物体の元の光学画像と後続の光学画像を比較することは、現実ではないと判定された元の光学画像および/または後続の光学画像の一部に対して実施されない。
【0014】
さらに種々の他の実施形態では、現実ではない元の光学画像および/または後続の光学画像の一部は、マスク、サングラス、および/または顎髭のものである。
【0015】
さらに種々の他の実施形態では、元の光学画像および/または後続の光学画像の一部が現実ではないかどうかを判定することは、照明光からの偏光情報に基づいて実施される。
【0016】
さらに種々の他の実施形態では、物体は、顔を含む。
【0017】
さらに種々の他の実施形態では、メモリはさらに、物体検出アルゴリズムを実施するように構成される、プログラミングを含む。
【0018】
さらに種々の他の実施形態では、メモリはさらに、物体検出アルゴリズムからの結果を利用し、非物体ピクセルから物体ピクセルを分離するように構成される、プログラミングを含む。
【0019】
さらに種々の他の実施形態では、センサデバイスはさらに、初期の画像および後続の画像を受け取り、メモリはさらに、初期の画像と後続の画像を比較し、初期の画像および後続の画像が実質的に同一であるかどうかを判定するように構成される、プログラミングを含む。
【0020】
さらに種々の他の実施形態では、初期の画像と後続の画像を比較することは、後続の画像の物体ピクセルのみに対して実施される。
【0021】
さらに種々の他の実施形態では、照明源は、LEDまたはVCSELアレイを含む。
【0022】
さらに種々の他の実施形態では、照明源はさらに、太陽光を含む。
【0023】
さらに種々の他の実施形態では、本システムはさらに、太陽光の量を判定するように構成される、周囲光センサを含み、メモリはさらに、プロセッサによって、太陽光の量に基づいて、LEDまたはVCSELアレイによって出力される光の量を改変するように実行可能なプログラミングを含む。
【0024】
さらに種々の他の実施形態では、本システムはさらに、太陽光からのある波長の光を通過させるように構成される、帯域通過フィルタを含む。
【0025】
さらに種々の他の実施形態では、照明源は、太陽光を含む。
【0026】
さらに、本発明の種々の実施形態によるシステムおよび方法は、物体認識を検証するための方法を含むことができ、方法は、光源を用いて物体を照明することと、偏光情報に関して物体から反射される光を感知することと、偏光情報を使用して、物体が現実3D物体であるかどうかを判定することとを含む。
【0027】
種々の他の実施形態では、物体を照明することは、照明デバイスによって実施され、物体から反射される光を感知することは、センサデバイスによって実施され、センサデバイスおよび/または照明デバイスは、1つ以上のメタ表面要素を含む。
【0028】
さらに種々の他の実施形態では、本方法はさらに、偏光情報を使用し、物体が現実3D物体であるかどうか、または物体が物体の写真、3D物体のマスク、または3D物体の動画であるかどうかを判定することを含む。
【0029】
さらに種々の他の実施形態では、偏光情報は、S1偏光と、S2偏光と、S3偏光と、偏光度(DoP)と、方位角とから成る群から選択される、少なくとも1つを含む。
【0030】
さらに種々の他の実施形態では、S
1偏光、S
2偏光、S
3偏光は、
【数3】
として定義され、S
0偏光は、元のモノクロ画像に対応する。
【0031】
さらに種々の他の実施形態では、DoPは、
【数4】
によって計算される。
【0032】
さらに種々の他の実施形態では、本方法はさらに、物体の元の光学画像と物体の後続の光学画像を比較し、物体認識を実施することを含む。
【0033】
さらに種々の他の実施形態では、元の光学画像と後続の光学画像を比較することは、物体が現実3D物体であるかどうかを判定することの前に実施される。
【0034】
さらに種々の他の実施形態では、元の光学画像と後続の光学画像を比較することは、物体が現実3D物体であるかどうかを判定することの後に実施される。
【0035】
さらに種々の他の実施形態では、本方法はさらに、元の光学画像および/または後続の光学画像の一部が現実ではないかどうかを判定することを含み、物体の元の光学画像と後続の光学画像を比較することは、現実ではないと判定された元の光学画像および/または後続の光学画像の一部に対して実施されない。
【0036】
さらに種々の他の実施形態では、現実ではない元の光学画像および/または後続の光学画像の一部は、マスク、サングラス、および/または顎髭のものである。
【0037】
さらに種々の他の実施形態では、元の光学画像および/または後続の光学画像の一部が現実ではないかどうかを判定することは、照明光からの偏光情報に基づいて実施される。
【0038】
さらに種々の他の実施形態では、物体は、顔を含む。
【0039】
さらに種々の他の実施形態では、本方法はさらに、物体検出アルゴリズムを実施することを含む。
【0040】
さらに種々の他の実施形態では、本方法はさらに、物体検出アルゴリズムからの結果を利用し、非物体ピクセルから物体ピクセルを分離することを含む。
【0041】
さらに種々の他の実施形態では、本方法はさらに、初期の画像および後続の画像を受け取ることと、初期の画像と後続の画像を比較し、初期の画像および後続の画像が実質的に同一であるかどうかを判定することとを含む。
【0042】
さらに種々の他の実施形態では、初期の画像と後続の画像を比較することは、後続の画像の物体ピクセルのみに対して実施される。
【0043】
さらに種々の他の実施形態では、光源は、LEDまたはVCSELアレイを含む。
【0044】
さらに種々の他の実施形態では、光源はさらに、太陽光を含む。
【0045】
さらに種々の他の実施形態では、本方法はさらに、太陽光の量を判定し、太陽光の量に基づいて、LEDまたはVCSELアレイによって出力される光の量を改変することを含む。
【0046】
さらに種々の他の実施形態では、本方法はさらに、太陽光からのある波長の光をフィルタ除去することを含む。
【0047】
さらに種々の他の実施形態では、光源は、太陽光を含む。
【図面の簡単な説明】
【0048】
本説明は、本発明の例示的実施形態として提示され、本発明の範囲の完全な列挙として解釈されるべきではない、以下の図を参照してより完全に理解されるであろう。
【0049】
【
図1A】
図1Aおよび1Bは、本発明の実施形態による、反射光の偏光状態を利用し、顔認識を検証する方法を説明する、種々のフローチャートである。
【
図1B】
図1Aおよび1Bは、本発明の実施形態による、反射光の偏光状態を利用し、顔認識を検証する方法を説明する、種々のフローチャートである。
【0050】
【
図2A】
図2Aは、本発明のある実施形態による、予備物体検出を含む、偏光状態を利用する物体認識の方法を図示する。
【0051】
【
図2B】
図2Bは、本発明のある実施形態による、予備物体検出を含む、偏光状態を利用する物体認識の方法を図示する。
【0052】
【
図3】
図3は、本発明のある実施形態による、顔認識を検証する、コンピューティングシステムのブロック図である。
【0053】
【
図4A】
図4Aは、本発明のある実施形態による、例示的偏光画像捕捉モジュールを図示する。
【0054】
【
図4B】
図4Bは、本発明のある実施形態による、異なる偏光メタ表面を含む、種々のSEM画像である。
【0055】
【
図5】
図5は、本発明のある実施形態による、個人の現実2D画像と個人の写真の2D画像との間の比較を図示する。
【0056】
【
図6】
図6は、個人の現実2D画像と、個人の写真の2D画像と、個人の3Dマスクの2D画像との間の比較を図示する。
【発明を実施するための形態】
【0057】
(詳細な説明)
多くの実施例では、2次元顔認識アルゴリズムは、現実人間であると検証された個人の第1の2D光画を撮影し、次いで、元のものからの重要となる特徴(例えば、両眼間の距離、口の形状等)に対して個人の本2D光画と後続の光画を比較することを含む。比較は、機械学習アルゴリズムを通して実施されてもよい。2つの画像が、実質的に同一である場合、本システムは、個人の真正性を検証し、セキュリティシステムの場合には、個々のアクセスを提供するであろう。これらの顔認識アルゴリズムは、スマートフォン等のスマートデバイス内に実装されてもよい。これらのシステムは、2D情報のみに対して機能し得るため、そのようなシステムは、真正の個人の高分解能印刷物をかざす非真正の個人、または2Dシステムがまた、同一性を検証するためにその人間の移動を検索する場合には、真正の個人の動画を再生すること等の種々の技法を通して、騙される、またはなりすまされやすい。
【0058】
対照的に、2D画像に加えて構造化光または飛行時間等の補完的技術を含む、3D認証システムは、個人の特徴の深度等の付加的情報を用いて検証することを目的とする。そのような場合には、本システムは、真正の個人の単純な2D類似性を用いる攻撃に対してロバストな状態になり得る。これらの3Dシステムは、依然として、真正の個人の類似性を有する、マスクを用いた高性能攻撃を受けやすくあり得る。これらの3Dシステムはまた、それらの2D対応物と比較すると、本質的な複雑性、コスト、およびサイズを追加し得る。いくつかの実施形態では、3Dシステムは、2D撮像システムに加えて追加されてもよい。
【0059】
本開示の種々の実施形態は、2D情報のみを利用するが、典型的には上記に説明される単純な2D顔認識システムを騙す、またはなりすます攻撃に対してロバストなままである、システムを含む。本開示されるシステムのいくつかの実施形態は、場面からの反射光の偏光状態を完全かつ一意に識別することが可能である、撮像および照明システムを使用する。2D画像および/または画像の対応する偏光状態パラメータのみを分析することによって、本システムは、2D光画、動画、および3Dマスク等のなりすましに対してロバストであり得る。一般に、開示される発明は、下記に説明される図内のフローチャートを通して説明されるように稼働する。
【0060】
図1Aおよび1Bは、本発明の実施形態による、反射光の偏光状態パラメータを利用し、顔認識を検証する方法を説明する、種々のフローチャートである。これらの方法は、偏光カメラを含むシステムによって、いくつかの実施形態では、メタ表面を利用し、偏光状態画像を生産する、偏光カメラによって実施され得る。
【0061】
図1Aは、本発明のある実施形態による、偏光状態を利用する、物体認識の方法100aのフローチャートである。
図1Aでは、方法100aは、場面、顔、または物体の偏光を含む、第1の画像(例えば、初期の画像)を撮影すること(102)を含む。いくつかの実施形態では、第1の画像の偏光は、ブロック112と同様に利用され、第1の画像が「現実」であるかどうかを判定してもよい。第1の画像が、「現実」であると判定されない場合、本方法は、ユーザに、別の第1の画像を撮影するようにプロンプトしてもよい。方法100aはさらに、後の時間において、同一の場面、顔、または物体の後続の画像を撮影すること(104)を含む。第1の画像および/または後続の画像は、時間的に近接する画像のセット、例えば、1秒未満、5秒未満、または10秒未満で撮影された1つ以上の画像を伴う、同一の場面または物体であってもよい。いくつかの実施形態では、第1の画像および/または後続の画像が、撮影され、近接して、偏光画像または時間的に近接する同一の撮像の複数のスナップ写真が、後に続く。いくつかの実施形態では、第1の画像および後続の画像は、(例えば、強度等のために)別個の極性画像と連動する、2D近赤外(NIR)光画/カメラ画像からのものであってもよい。しかしながら、いくつかの実施形態では、第1の画像および後続の画像は、(例えば、2D NIR画像を伴わない)偏光画像であってもよい。したがって、後続の画像は、ブロック112において利用され、別の偏光画像を撮影することなく、場面、顔、または物体が3D場面、顔、または物体であるかどうかを判定してもよい。後続のステップにおいて、偏光画像は、物体の真正性を検証するために比較されてもよい。方法100aはさらに、第1の画像および後続の画像を比較し、それらが実質的に同一であるかどうかを把握すること(106)を含む。いくつかの実施形態では、比較は、第1の画像および後続の画像に関して偏光画像を利用するときの2D画像または偏光画像比較を伴う。いくつかの実施形態では、第1の画像は、第1の偏光画像であってもよく、後続の画像もまた、偏光画像であってもよく、それらが比較され、同一であることが見出される場合、他の偏光画像が、利用され、第1の画像および後続の画像が現実3D物体のものであるかどうかを判定してもよい。画像が、同一ではない場合、本システムは、ユーザアクセスを拒絶する(110)。画像が、同一である場合、本システムは、次いで、捕捉された偏光情報を検査し、物体が現実物体であり、2D光画、2D動画、2Dマスク、および/またはマスクを装着する人間ではないことを確実にする(112)。これは、質感、深度、および/または他の「現実」パラメータ、および/または偏光画像内の画像のピクセルまたは一部の相対的強度を査定することを含んでもよい。いくつかの実施形態では、捕捉された偏光情報を検査し、物体が現実物体であることを確実にすること(112)は、パラメータ、メトリック、および/またはベンチマークを分析し、画像が「現実」3D画像であることを判定することを含む。例えば、偏光情報および/または2D画像は、物体が正しい質感または偏光パラメータを有するかどうかを判定するために分析されてもよい。偏光情報が、物体が3D物体であることを確認する場合、アクセスが、許可される。いくつかの実施形態では、物体は、顔または人間であってもよい。方法100aは、顔認識を実施してもよい。
【0062】
図1Bは、本発明のある実施形態による、偏光状態を利用する、物体認識の方法100bのフローチャートである。
図1Bは、
図1Aのステップのうちの多くのものを共有する。これらのステップの説明は、
図1Bの方法に適用可能であり、詳細に繰り返されないであろう。
図1Bでは、方法100bは、2つの画像を比較すること(106)に進む前に、最初に偏光情報を検査し、画像が本物の3D物体のものであるかどうかを把握すること(112)を含む。
【0063】
いくつかの実施形態では、物体認識の方法は、2つの画像を比較することの前に予備物体検出を含んでもよい。物体検出は、物体の一部ではないピクセルをトリミングしてもよく、これは、ステップの残部をより正確にし、処理時間を低減させ得る。
【0064】
図2Aは、本発明のある実施形態による、予備物体検出を含む、偏光状態を利用する、物体認識の方法250aを図示する。
図2Aは、
図1Aおよび1Bのステップのうちの多くのものを共有する。これらのステップの説明は、
図2Aの方法に適応可能であり、詳細に繰り返されないであろう。
図2Aでは、方法250aは、第1および第2の画像の比較(106)を実施する前に、後続の画像内の物体を検出すること(252)を含む。物体検出は、顔検出アルゴリズムであってもよい。物体検出アルゴリズムの実施例が、Liu, Wei, et al.の「Ssd: Single shot multibox detector」European conference on computer vision. Springer, Cham(2016年)(参照することによってその全体として本明細書に組み込まれる)に説明されている。
【0065】
図2Bは、本発明のある実施形態による、予備物体検出を含む、偏光状態を利用する、物体認識の方法250bを図示する。
図2Bは、
図1Aおよび1Bのステップのうちの多くのものを共有する。これらのステップの説明は、
図2Bの方法に適用可能であり、詳細に繰り返されないであろう。
図2Bは、2つの画像を比較すること(106)に進む前に、偏光情報が検査され、画像が本物の3D物体のものであるかどうかを把握する(112)点を除いて、
図2Aに類似する。物体検出(252)が、画像比較(106)および偏光情報検査(112)の前に図示され、説明されるが、いくつかの実施形態では、物体検出(252)は、これらの2つのステップの後に同様に実施されてもよい。物体検出(252)は、物体に属していないピクセル(例えば、非物体ピクセル)から物体に属するピクセルを分離するために使用されてもよく、これは、ステップの残部をより正確にし、処理時間を低減させ得る。
【0066】
図3は、本発明のある実施形態による、顔認識を検証する、コンピューティングシステムのブロック図である。システム200は、別個のコンピューティングシステム、またはスマートフォン等の2D画像を捕捉するデバイス上に実装されるシステムであってもよい。システム200は、偏光を含む2D画像を受け取ることが可能である、入力/出力204を含む。システム200はさらに、プロセッサ202と、メモリ206とを含む。メモリ206は、2D画像比較器208と、プロセッサによって実行可能である、偏光分析器210とを含む、プログラミングを含む。画像比較器208は、上記で議論されるように、初期の2D画像と後に捕捉される2D画像を比較してもよい。偏光分析器210は、後に捕捉される2D画像の捕捉された偏光の偏光を分析し、偏光シグネチャが3D物体に一貫するかどうかを判定してもよい。画像比較器208および偏光分析器210は、
図1A、1B、2A、2Bと関連して議論されるように、顔認識を検証するために使用されてもよい。入力/出力204は、検証の結果を出力してもよい。メモリ206はさらに、
図2Aおよび2Bの物体認識ステップ(252)を実施するように構成される、物体認識器(図示せず)を含む、プログラミングを含んでもよい。
【0067】
ある実施形態では、撮像システムは、アクティブ照明源と、撮像センサまたはカメラとの両方を含む。照明源は、照明デバイスであってもよく、撮像センサまたはカメラは、センサデバイスであってもよい。
図4Aは、本発明のある実施形態による、例示的偏光画像捕捉モジュールを図示する。本モジュールは、アクティブ照明源と、偏光を分解し得る、カメラとを含む。ある実施形態では、カメラは、単一のフレーム内でフルストークスベクトルを分解してもよい。いくつかの実施形態では、カメラは、異なる偏光状態を伴う1つ以上の偏光画像を生産するように構成される、1つ以上のメタ表面を含む。照明源は、オンおよびオフにされ得る既知の照明条件を提供する、LED、VCSELアレイ、または任意の照明源等の光源であってもよい。
【0068】
図4Aの偏光画像捕捉モジュールは、アクティブ照明源を含むが、照明源はまた、太陽光、周囲光であってもよい、または、LEDまたはVCSELアレイ等の光源で補完される、太陽光または周囲光であってもよい。太陽光または周囲光は、その中にランダム偏光状態を有し得、また、ある範囲の波長(例えば、940nmおよび/または典型的IR波長)を含む。周囲光センサが、太陽光/周囲条件(例えば、存在する太陽光の量)に応じて、光源をオンまたはオフにする、または光源の強度またはパターンを改変するために利用されてもよい。例えば、本デバイスは、ある条件において太陽光のみを使用する、またはいくつかの条件において光源および太陽光の両方を使用してもよい。本デバイスは、太陽光条件次第で光源からの光の量を改変してもよい。帯域通過フィルタが、太陽光の波長をフィルタ処理し、1つの波長または狭帯域の波長のみを通過させるために含まれてもよい。
【0069】
照明源は、優先偏光性または不偏光性のいずれかであることができる。ある実施形態では、光源は、不偏光性である、または可変の偏光を有し得る一方、他の実施形態では、光源は、固定偏光状態を有し得る。例えば、光源は、固定VCSEL偏光を伴うVCSELアレイであってもよい。固定VCSEL偏光は、VCSELアレイから外への均一な偏光状態を達成するために、VCSELアレイ上のパターン化されたメタ表面開口を通して達成され得る。いくつかの実施形態では、固定偏光状態を伴う光源は、偏光を伴わない光源より良好な結果を提供し得る。固定偏光状態は、光の線形偏光、円形偏光、および/または楕円形偏光、またはこれらの光の偏光の任意の組み合わせであってもよい。
【0070】
いくつかの実施形態では、照明源は、時間分解方法において、または、これが着目野内に複数の異なる偏光を発する場合に、2つ以上の偏光の間で切り替わってもよい。例えば、交互に入れ替わる偏光状態が、異なる時間に提示されてもよい、または2つの極性状態が、同時に提示されてもよいかのいずれかである。2つの偏光状態は、相互に対して直交性である、または非直交性であってもよく、それらは、線形、円形、または楕円形状態のうちの2つ以上のうちのいずれかであってもよい。偏光は、例えば、フラッド、ドットパターン、バットウィングパターン、シルクハットパターン、超ガウスパターン、または他の照明パターン等の異なるパターンの偏光状態で提示されてもよい。いくつかの実施形態では、1つ以上のメタ表面は、同時または交互に入れ替わるかのいずれかで、および/または重複する、または物理的に分離された状態で、ならびに/もしくは異なるパターンで種々の偏光照明パターンを生産するために使用されてもよい。
【0071】
いくつかの実施形態では、照明源および/またはカメラは、メタ表面を含んでもよい。メタ表面を含む、照明源およびカメラの実施例は、2018年8月31日に出願され、「TRANSMISSIVE METASURFACE LENS INTEGRATION」と題された、米国特許公開第2019/0064532号(あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる)に説明されている。本特許公開に説明されているように、照明源およびカメラは、機能的に単一のユニット内に含まれてもよい。
図4Aは、単一のユニットに統合される照明源およびカメラのある実装を図示する。
【0072】
いくつかの実施形態では、撮像システムは、完全偏光情報を回復することが可能である、任意の撮像システムであってもよい。しかしながら、より具体的な場合では、撮像システムは、1つ以上のメタ表面光学要素と、標準的な屈折レンズと、標準的なCMOS画像センサとを含んでもよい。1つ以上のメタ表面光学要素は、場面を2つ以上の偏光状態に分割し、CMOSセンサ上に2つ以上の部分画像を形成してもよく、これらの画像が適切に算出的に再結合されると、撮像されている物体の偏光状態を提供することができる。撮像システムは、フルストークス偏光カメラであってもよい。1つ以上のメタ表面光学要素を組み込むフルストークス偏光カメラのある実施例が、Rubin NA、D’Aversa G、Chevalier P、Shi Z、Chen WT、Capasso F.のMatrix Fourier optics enables a compact full-Stokes polarization camera. Science(2019年7月5日);365(6448):eaax1839. doi: 10.1126/science.aax1839. PMID: 31273096(参照することによってその全体として本明細書に組み込まれる)において議論されている。
【0073】
図4Bは、
図4Aの偏光画像捕捉モジュールに組み込まれ得る、偏光メタ表面のある実施例の種々のSEM画像である。偏光メタ表面のさらなる実施例が、2019年2月22日に出願され、「Arbitrary polarization-switchable metasurfaces」と題された、米国特許公開第20210286188号(参照することによってその全体として本明細書に組み込まれる)に例証されている。偏光メタ表面は、種々の構成における長方形、正方形、および/または楕円形を含む、1つ以上の形状のシリコン柱を含んでもよい。偏光メタ表面は、非対称構成にあってもよい。
【0074】
図5は、本発明のある実施形態による、個人の現実2D画像と個人の写真の2D画像との間の比較を図示する。現実2D画像および写真の2D画像は、
図4Aと関連して説明される、偏光撮像システムを用いて撮影されてもよい。S
0列502は、フィルタ処理されていない白黒画像である。S
1列504およびS
2列506は、異なるストークスパラメータに対応する。いくつかの実施形態では、偏光撮像システムはまた、顔認識を検証するために使用され得る、S
3パラメータを撮像してもよい。いくつかの実施形態では、S
1偏光パラメータ、S
2偏光パラメータ、およびS
3偏光パラメータは、組み合わせにおいて、物体が2D物体または3D物体であるかどうかを査定するために使用されてもよい。ストークスパラメータは、以下:
【数5】
として定義され、式中、
【数6】
は、デカルト座標(S
1,S
2,S
3)の3次元ベクトルの球座標であり、Iは、ビームの全強度であり、pは、
【数7】
によって制約される、偏光度である。S
0偏光は、元のモノクロ画像に対応し得る。ストークスパラメータのさらなる説明が、Young, G.,Chipman, R. A.,Lam. W. S. T.(2018年)のPolarized Light and Optical Systems(英国):CRC Press(あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる)に見出され得る。
【0075】
いくつかの実施形態では、偏光度(DoP)が、物体が2D物体または3D物体であるかどうかを査定するために使用され得る。
図3のDoP列508は、偏光される画像の各部分の一部に対応する。DoPは、以下の公式を通して計算され得る。
【数8】
1のDoPは、完全偏光である。0のDoPは、非偏光である。0と1との間のDoPは、部分偏光である。DoPの定義のある実施例が、「//www.fiberoptics4sale.com/blogs/wave-optics/102492742-stokes-polarization-parameters」(あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる)において見出され得る。
【0076】
方位角列510は、異なる偏光S
1、S
2、およびS
3間の角度に対応する。例えば、S
1とS
2との間の方位角は、以下の等式を使用して計算され得る。
【数9】
【0077】
いくつかの実施形態では、2つの直交偏光を含む線形偏光が、顔認識を検証する、または偽の物体または画像、すなわち、意図されたなりすまし物体または画像を識別するために使用され得る。例えば、S1画像は、P偏光のためにフィルタ処理された画像であってもよく、S2画像は、S偏光のためにフィルタ処理された画像であってもよい。非直交偏光もまた、使用され得る。複数の異なる偏光状態およびそれらの偏光パラメータも、現実または自然3D物体および偽の、すなわち、なりすまされた物体の曖昧さを解消する、またはそれらを区別する、および/または2つの異なる時間における顔または物体を認識または合致させるために使用され得る。複数の異なる偏光状態およびそれらの偏光パラメータもまた、顔の厳密な類似性および/または皮膚の質感または自然性もしくは表面質感を判定するために使用され得る。異なる偏光状態パラメータのうちのいずれか1つ以上が、個々に、または組み合わせにおいて使用されることができる。いくつかの実施形態では、これらの異なる偏光状態パラメータは、画像および/または顔の同一性を判定するために、アルゴリズムまたは機械学習と併用されることができる。
【0078】
図5に戻ると、上部の画像は、標準的なモノクロ強度を含む、個人の現実2D画像のものである。比較すると、底部の画像は、個人の光画のものである。図示されるように、S
1、S
2、DoP、および/または方位角のそれぞれの間のコントラストが、画像が、現実個人に対応する現実3D形状の画像であるか、またはより少ないコントラストを有するであろう、個人の光画の画像であるかどうかを判定するために使用され得る。いくつかの実施形態では、S
1、S
2、DoP、および/または方位角の組み合わせが、画像が、現実個人に対応する現実3D形状の画像であるか、または個人の光画の画像であるかどうかを判定するために使用され得る。いくつかの実施形態では、個人の現実2D画像は、S
1、S
2、DoP、および/または方位角のそれぞれに関して、個人の光画の2D画像よりも、高偏光と最低偏光との間の多くのコントラストを含み得る。いくつかの実施形態では、ニューラルネットワーク等の機械学習アルゴリズムが、画像が、現実個人に対応する現実3D形状の画像であるか、または個人の光画の画像であるかどうかを判定するために訓練データと併用されてもよい。図示されるように、モノクロ画像S
0は、単独では、2D画像が、現実3D個人のものであるか、または個人の光画のものであるかどうかを判定するための十分な情報を示さない。いくつかの実施形態では、種々の偏光状態画像の相対的強度または他のメトリックが、ピクセル毎に、または領域毎に、比較プロセスの一部として比較されてもよい、および/または画像処理または機械学習アルゴリズムが、適用されてもよい。
【0079】
図6は、個人の現実2D画像と、個人の写真の2D画像と、個人の3Dマスクの2D画像との間の比較を図示する。S
0、S
1、S
2、およびS
3列は、
図3と関連して上記に説明される。
図5のS
0列502、S
1列504、およびS
2列は、
図6のS
0列602、S
1列604、およびS
2列606に対応する。
図6はさらに、S
3偏光測定値に対応する、S
3列608を含む。図示されるように、S
3偏光測定値は、S
1およびS
2偏光測定値と異なる偏光測定値であり得る。
【0080】
画像の最上行610は、個人の現実2D画像に対応する。画像の中央行612は、個人の写真の2D画像に対応する。画像の最下行614は、個人のマスクの2D画像に対応する。図示されるように、S1、S2、および/またはS3のそれぞれの間のコントラストは、画像が、現実個人に対応する現実3D形状の画像であるか、または個人の光画の画像であるか、もしくはより少ないコントラストを有するであろう、個人のマスクの画像であるかどうかを判定するために使用され得る。いくつかの実施形態では、S1、S2、および/またはS3の組み合わせが、画像が、現実個人に対応する現実3D形状の画像であるか、または個人の光画の画像であるか、もしくは個人のマスクであるかどうかを判定するために使用され得る。図示されるように、モノクロ画像S0は、単独では、2D画像が、現実3D個人のものであるか、個人の光画のものであるか、または個人のマスクのものであるかどうかを判定するために十分な情報を示さない。
【0081】
いくつかの実施形態では、画像の一部が、「非現実」または「不自然」であると感知される。例えば、人間が、マスク(例えば、外科手術用マスク、N95マスク、KN-95マスク、埃マスク、美容マスク)、サングラス、顎髭、または同等物を有する場合、特に、そのような追加された特徴を伴わない従来の画像と比較して、本システムは、顔の画像または複数の画像のその領域の偏光状態パラメータに基づいて、これらの特徴を認識してもよい。例えば、顎髭または外科手術用マスクによって被覆される顔の部分の質感は、ベンチマークと比較して、または追加された特徴を伴わない顔の従来の画像または複数の画像と比較してのいずれかによって、偏光パラメータの差に基づいて、改変された、または「皮膚の様ではない」ように見え得る。いくつかの実施形態では、1つ以上の偏光画像の偏光状態パラメータを介して感知される質感側面が、特徴(例えば、顎髭、眼鏡、マスク等)を識別するために、および/または、画像の後の類似セットに対する比較に関して、同一性または合致を判定するために、および/または後の比較からその識別された特徴を除去するために使用されてもよい。例えば、外科手術用マスクを伴わない人間の顔の画像の第1のセットが、上記に説明されるシステムおよびプロセスを使用して撮影され、次いで、同一人間の顔が、同様に撮像されるが、ここでは、顔が、外科手術用マスクを有している場合、画像の2つのセットの比較および分析は、比較および/または質感変化のいずれかを介して外科手術用マスクを識別することを含み得る。画像の第1のセットが、顎髭またはマスクの追加された特徴を有し、特徴の第2のセットが、追加された特徴を有していない、ある場合には、ここで説明されるシステムおよびプロセスが、追加された特徴を区別するために使用され得る。ある場合には、分析または比較は、合致または同一性を判定するために、追加されたマスクを伴わない領域内の画像の2つのセットを比較することのみを継続することができる。顔の特徴および顔に追加される特徴(マスク、顎髭、眼鏡等)のここでの実施例は、実施例として説明されるが、同一の概念、システム、およびプロセスが、特徴を識別するために、および/または追加された特徴によって変化または被覆されていないままである部分の比較を行うために、他の身体部分または無生物にも適用され得ることを理解されたい。
【0082】
(均等論)
上記の説明は、本発明の多くの具体的な実施形態を含有するが、これらは、本発明の範囲に対する限界としてではなく、むしろ、それらの一実施形態のある実施例として解釈されるべきである。したがって、本発明が、本発明の範囲および精神から逸脱することなく、具体的に説明されるもの以外の方法において実践され得ることを理解されたい。したがって、本発明の実施形態は、あらゆる点において例証的であり、かつ制限的ではないものとして見なされるべきである。故に、本発明の範囲は、例証される実施形態によってではなく、添付の請求項およびそれらの均等物によって判定されるべきである。
【国際調査報告】