特表 2024-502141 不規則的な生体認証搭乗

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-17

(54)【発明の名称】不規則的な生体認証搭乗

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240110BHJP

   G06T 7/00 20170101ALI20240110BHJP

   G06T 7/20 20170101ALI20240110BHJP

【ＦＩ】

H04N7/18 G

G06T7/00 660A

G06T7/20 300B

H04N7/18 D

H04N7/18 K

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023541105

(86)(22)【出願日】2021-03-08

(85)【翻訳文提出日】2023-08-30

(86)【国際出願番号】 EP2021055773

(87)【国際公開番号】W WO2022148554

(87)【国際公開日】2022-07-14

(31)【優先権主張番号】21305013.1

(32)【優先日】2021-01-06

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】509228994

【氏名又は名称】アマデウス エス．アー．エス．

【氏名又は名称原語表記】ＡＭＡＤＥＵＳ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】４８５ Ｒｏｕｔｅ ｄｕ Ｐｉｎ Ｍｏｎｔａｒｄ，Ｓｏｐｈｉａ Ａｎｔｉｐｏｌｉｓ，Ｆ－０６４１０ Ｂｉｏｔ，Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】トーマス・クリストファー・ヴォルフガング・ランドグレブ

(72)【発明者】

【氏名】ピーター・ホースリー

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FE09

5C054FE13

5C054FE16

5C054FE28

5C054HA18

5C054HA31

5L096AA06

5L096AA09

5L096BA02

5L096CA04

5L096FA64

5L096GA51

5L096HA05

(57)【要約】

少なくとも１つの追跡物体に対するアクセスを制御するための方法であって、少なくとも１つの追跡物体が撮られたと推測される一連の２次元画像、および少なくとも１つの追跡物体に関する位置データも取得または受信するステップと、少なくとも１つの追跡物体に一意の追跡識別子を割り当てるステップと、位置データから少なくとも１つの追跡物体の軌跡を決定するステップと、軌跡または軌跡から算出されるデータに不連続があるかどうかを判定し、不連続が検出された場合、少なくとも１つの追跡物体の１つまたは複数の新たな画像を取得または受信し、前記少なくとも１つの追跡物体に新たな一意の追跡識別子を割り当てるステップと、不連続が検出された場合、１つもしくは複数の新たな画像のうちの少なくとも１つに基づいて、または不連続が検出されない場合、一連の２次元画像からの少なくとも１つの画像に基づいて、アクセスが許可されるべきかどうかを判定するステップとを含む、方法が開示される。

【特許請求の範囲】

【請求項1】

少なくとも１つの追跡物体に対するアクセスを制御するための方法であって、
前記少なくとも１つの追跡物体が撮られたと推測される一連の２次元画像、および前記少なくとも１つの追跡物体に関する位置データも取得または受信するステップと、
前記少なくとも１つの追跡物体に一意の追跡識別子を割り当てるステップと、
前記位置データから前記少なくとも１つの追跡物体の軌跡を決定するステップと、
前記軌跡または前記軌跡から算出されるデータに不連続があるかどうかを判定し、不連続が検出された場合、前記少なくとも１つの追跡物体の１つまたは複数の新たな画像を取得または受信し、前記少なくとも１つの追跡物体に新たな一意の追跡識別子を割り当てるステップと、
不連続が検出された場合、前記１つもしくは複数の新たな画像のうちの少なくとも１つに基づいて、または不連続が検出されない場合、前記一連の２次元画像からの少なくとも１つの画像に基づいて、アクセスが許可されるべきかどうかを判定するステップと
を含む、方法。

【請求項2】

不連続があるかどうかを判定する前記ステップが、前記軌跡から得られる距離データまたは速度データの時系列によって、距離不連続条件または速度不連続条件が満たされるかどうかを判定するステップを含む、請求項１に記載の方法。

【請求項3】

前記不連続条件が、前記時系列内の２つのデータサンプル間の差が１）閾値を超えるかどうか、または２）閾値以上であるかどうかである、請求項２に記載の方法。

【請求項4】

前記閾値が、前記２つのデータサンプルが取得された時間の間の経過時間に少なくとも部分的に依存する、請求項３に記載の方法。

【請求項5】

前記軌跡または前記２次元画像から算出される統計量または計量の時系列を提供し、前記統計量または計量の時系列によって、統計量または計量不連続条件が満たされるかどうかを判定するステップを更に含む、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記軌跡または前記軌跡から算出されるデータに不連続があるかどうかを判定する前に、前記統計量または計量不連続条件が満たされるかどうかを確認するステップを更に含む、請求項５に記載の方法。

【請求項7】

請求項１から６のいずれか一項に記載の方法を含む、生体認証アクセス制御方法。

【請求項8】

顔面生体認証制御方法であり、前記少なくとも１つの追跡物体が、人の顔面域である、請求項７に記載の方法。

【請求項9】

前記統計量または計量が、前記２次元画像から算出される顔面域サイズまたは生体認証スコアである、請求項８に記載の方法。

【請求項10】

３次元画像に物体検出アルゴリズムを適用して、１つまたは複数の物体を検出するステップであり、各物体が、前記少なくとも１つの追跡物体のうちの前記１つである、ステップを含む、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記位置データが少なくとも深度データを備える、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

１つまたは複数の追跡物体によってチェックポイントの通過が発生した回数を計数するための方法であって、
各追跡物体による通過を処理し、前記追跡対象による通過を承認するステップ
を含み、前記処理するステップが、
前記追跡物体が撮られたと推測される一連の２次元画像、および前記追跡物体に関する位置データも取得または受信するステップと、
前記追跡物体に一意の追跡識別子を割り当てるステップと、
前記位置データから前記追跡物体の軌跡を決定するステップと、
前記軌跡または前記軌跡から算出されるデータに不連続があるかどうかを判定し、不連続が検出された場合、前記追跡物体の１つまたは複数の新たな画像を取得し、前記追跡物体に新たな一意の追跡識別子を割り当てるステップと
を含み、
前記チェックポイントの通過が発生した前記回数を決定することが、割り当てられた異なる一意の追跡識別子の数を計数することを含む、方法。

【請求項13】

通過を承認する前記ステップが、不連続が検出された場合、前記１つもしくは複数の新たな画像のうちの少なくとも１つに基づいて、または不連続が検出されない場合、前記一連の２次元画像の系列からの少なくとも１つの画像に基づいて、通過が許可されるべきかどうかを判定するステップを含む、請求項１２に記載の方法。

【請求項14】

１つまたは複数の追跡物体によってチェックポイントの通過が発生した回数の計数を追跡するための方法であって、
少なくとも１つの追跡物体が撮られたと推測される一連の２次元画像、および前記少なくとも１つの追跡物体の少なくとも１つの部分に関する位置データも取得または受信するステップと、
前記少なくとも１つの追跡物体に一意の追跡識別子を割り当てるステップと、
前記位置データから前記少なくとも１つの追跡物体の軌跡を決定するステップと、
前記軌跡または前記軌跡から算出されるデータに不連続があるかどうかを判定し、不連続が検出された場合、前記少なくとも１つの追跡物体の１つまたは複数の新たな画像を取得または受信し、前記少なくとも１つの追跡物体に新たな一意の追跡識別子を割り当てるステップと、
不連続が検出された場合、前記１つもしくは複数の新たな画像のうちの少なくとも１つに基づいて、または不連続が検出されない場合、前記一連の２次元画像からの少なくとも１つの画像に基づいて、通過が許可されるべきかどうかを判定するステップと、
通過が許可されると判定された場合、前記計数を増やすステップと
を含む、方法。

【請求項15】

１つもしくは複数の入口点、または１つもしくは複数の出口点、または両方を有する構内または交通手段へのアクセスを制御または監視する方法であって、前記入口点のうちの少なくとも１つ、前記出口点のうちの少なくとも１つ、または両方において、請求項１から１４のいずれか一項に記載の方法を実装するステップを含む、方法。

【請求項16】

顔面生体認証アクセス制御方法である、請求項１から１５のいずれか一項に記載の方法。

【請求項17】

機械可読命令を記憶したコンピュータ可読媒体であって、前記機械可読命令は、実行された場合、請求項１から１５のいずれか一項に記載の方法を行うように適合される、コンピュータ可読媒体。

【請求項18】

アクセス制御システムであって、機械可読命令を実行するように構成されるプロセッサを含み、前記機械可読命令は、実行された場合、請求項１から１５のいずれか一項に記載の方法を行うように適合される、アクセス制御システム。

【請求項19】

画像捕捉装置を含み、前記装置が、２次元画像捕捉カメラと、３次元画像捕捉カメラとを含む、請求項１８に記載のシステム。

【請求項20】

使用時に、前記画像捕捉装置が、前記アクセス制御システムによって処理されるべき対象の列の正面に配設される、請求項１９に記載のシステム。

【請求項21】

生体認証搭乗システムである、請求項１８から２０のいずれか一項に記載のアクセス制御システム。

【請求項22】

生体認証アクセス制御システムを使用して、各対象を順番に処理することによって、列になって立っている１人または複数の対象によるアクセスを制御または監視する方法であって、前記生体認証アクセス制御システムが、前記列の方向を直接向く画像捕捉装置を含む、方法。

【請求項23】

前記生体認証アクセス制御システムが、請求項１７から２０のいずれか一項に従う、請求項２２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、生体認証搭乗に関する。特に、本開示は、厳密で規則的なプロセスに限定されない乗客の搭乗を容易にするような乗客識別子の割当ての改善に関する。

【背景技術】

【0002】

生体認証搭乗は、典型的には、規則的なプロセスを伴い、それによって乗客は１列縦隊になる。乗客は、規則的な列になって一人一人撮影され、乗客の写真が正規の乗客のデータベースと比較される。規則的な列において、乗客間の間隔は、しばしば、空港スタッフによって、またはスタッフもしくはサイネージからの指示に従って乗客によって維持される。

【0003】

列内の２人の乗客が互いの近くに立ちすぎていると、生体識別システムの顔捕捉アルゴリズムが時により混同するようになり、それによって顔捕捉アルゴリズムは、両乗客に同じ識別子を割り当てようと試みる。１人目の乗客が搭乗したら、照合システムは、２人目の乗客を有効な搭乗データに照合することができなくなる。上述の混同は、常に発生するわけではないが、混同が発生すると、これは、プロセス例外として知られているものに至り、搭乗プロセス全体に著しい遅延をもたらす。

【0004】

したがって、列間隔は、搭乗システムが「目標」乗客同一性を既に搭乗した別の乗客のそれと混同することを回避するのに大きい十分な距離に維持される必要がある。しかしながら、列を作る乗客間に間隔を必要とすることで、搭乗時間を倍にしがちである。大抵の状況では、プロセスを維持するためには、スタッフによる著しい人手による労力も必要とする。

【0005】

したがって、既存の規則的な生体認証搭乗プロセスでは、達成できるプロセス効率は、捕捉技術の高度化、ならびに航空会社スタッフおよびサイネージが予想外のまたは望ましくない乗客行動を克服することができる効率によって制約される。乗客が間隔を広げることを要求されるほど、搭乗プロセスは遅くなるであろう。

【0006】

全ての公知の生体認証搭乗システムが、これらの同じ制限を受けるが、特にそれらが近い顔および遠い顔を区別することができないこと（顔範囲は年齢または人種の相違により正確でない）の他に、時間に伴う同一性追跡がないこと（一瞬カメラから目をそらした人がその人の後でカメラを見ている人に取って代わられることがある）による。

【0007】

理想的には、不規則的な搭乗（まだ１列縦隊）が業務時間を最小化し（歩行時間遅延なし）かつ自動化を増やす（厳密な搭乗プロセスおよび十分に訓練された職員の要件削減）であろう。日常会話的には、この問題点は「積み重ね問題」、すなわち互いの近くに立ちすぎる傾向があり「積み重なる」乗客の列に生体認証的に対処することとして知られている。

【0008】

識別問題を回避するために、いくつかのベンダは、乗客が一人一人カメラに向き直るまたは一人ずつカメラの前に現れやすいように列方向に対して直角に生体計測カメラを配置することに頼る。しかしながら、この配置は、乗客が自分自身をそのようなカメラと合わせるには自分の動きの方向と合わせられたカメラと合わせるより困難を伴うであろうから、生体捕捉には準最適である。この結果として、目標乗客が自分自身を乗客流に斜めに位置付けるので、有意な処理遅延になる。

【0009】

１つの解決策が、３次元（３Ｄ）カメラを組み込んで、「深度」データ、すなわち顔が捕捉された乗客と３Ｄカメラとの間の距離を得ることである。顔捕捉システムは、例えば、或る距離閾値の外にあるいずれの顔も無視できる。しかしながら、この解決策は、積み重ね問題を最小化するために乗客間の或る距離が維持されることを依然として必要とする。

【0010】

積み重ね問題を更に最小化する解決策が所望される。本明細書でいかなる先行技術が言及されようとも、そのような言及により、オーストラリアまたはいずれの他の国においても、先行技術が当該技術における一般常識の一部を形成するという承認を構成するわけではないことが理解されるはずである。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】ＡＵ２０１９２７２０４１

【発明の概要】

【課題を解決するための手段】

【0012】

一態様において、少なくとも１つの追跡物体に対するアクセスを制御するための方法であって、少なくとも１つの追跡物体が撮られたと推測される一連の２次元画像、および少なくとも１つの追跡物体に関する位置データも取得または受信するステップと、少なくとも１つの追跡物体に一意の追跡識別子を割り当てるステップと、位置データから少なくとも１つの追跡物体の軌跡を提供するステップと、軌跡または軌跡から算出されるデータに不連続があるかどうかを判定し、不連続が検出された場合、少なくとも１つの追跡物体の１つまたは複数の新たな画像を取得または受信し、少なくとも１つの追跡物体に新たな一意の追跡識別子を割り当てるステップと、不連続が検出された場合、１つもしくは複数の新たな画像のうちの少なくとも１つに基づいて、または不連続が検出されない場合、一連の２次元画像からの少なくとも１つの画像に基づいて、アクセスが許可されるべきかどうかを判定するステップとを含む、方法が開示される。

【0013】

いくつかの形態では、不連続があるかどうかを判定するステップは、軌跡から得られる距離データまたは速度データの時系列によって、距離不連続条件または速度不連続条件が満たされるかどうかを判定するステップを含む。

【0014】

いくつかの形態では、不連続条件は、時系列内の２つのデータサンプル間の差が１）閾値を超えるかどうか、または２）閾値以上であるかどうかである。

【0015】

いくつかの形態では、閾値は、２つのデータサンプルが取得された時間の間の経過時間に少なくとも部分的に依存する。

【0016】

いくつかの形態では、上記方法は、軌跡または２次元画像から算出される統計量または計量の時系列を提供し、統計量または計量の時系列によって、統計量または計量不連続条件が満たされるかどうかを判定するステップを更に含む。

【0017】

いくつかの形態では、上記方法は、軌跡または軌跡から算出されるデータに不連続があるかどうかを判定する前に、統計量または計量不連続条件が満たされるかどうかを確認するステップを更に含む。

【0018】

上述した方法は、生体認証アクセス制御方法でよい。生体認証アクセス制御方法は、更に顔面生体認証制御方法でよく、上記少なくとも１つの追跡物体は人の顔面域である。統計量または計量は、２次元画像から算出される顔面域サイズまたは生体認証スコアでよい。

【0019】

いくつかの形態では、上記方法は、３次元画像に物体検出アルゴリズムを適用して、１つまたは複数の物体を検出するステップであり、各物体が上記少なくとも１つの追跡物体の上記１つである、ステップを含む。

【0020】

いくつかの形態では、位置データは、少なくとも深度データを備える。

【0021】

第２の態様において、１つまたは複数の追跡物体によってチェックポイントの通過が発生した回数を計数するための方法が開示される。上記方法は、各追跡物体による通過を処理し、追跡物体による通過を承認するステップを含む。各追跡物体に対して処理するステップは、追跡物体が撮られたと推測される一連の２次元画像、および追跡物体に関する位置データも取得または受信するステップと、追跡物体に一意の追跡識別子を割り当てるステップと、位置データから追跡物体の軌跡を決定するステップと、軌跡または軌跡から算出されるデータに不連続があるかどうかを判定し、不連続が検出された場合、追跡物体の１つまたは複数の得られた新たな画像に新たな一意の追跡識別子を割り当てるステップとを含む。チェックポイントの通過が発生した回数を決定することは、割り当てられた異なる一意の追跡識別子の数を決定することを含む。

【0022】

いくつかの形態では、通過を承認するステップは、不連続が検出された場合、新たな一意の追跡識別子および１つもしくは複数の新たな画像のうちの少なくとも１つに基づいて、または不連続が検出されない場合、既存の追跡識別子および一連の２次元画像からの少なくとも１つの画像に基づいて、通過が許可されるべきかどうかを判定するステップを含む。チェックポイントの通過が発生した回数の決定では、通過を承認される追跡物体に割り当てられる追跡識別子だけが計数される。

【0023】

第３の態様において、１つまたは複数の追跡物体によってチェックポイントの通過が発生した回数の計数を追跡するための方法が開示される。上記方法は、各追跡物体が撮られたと推測される一連の２次元画像、および追跡物体に関する位置データも取得または受信するステップと、追跡物体に一意の追跡識別子を割り当てるステップと、位置データから追跡物体の軌跡を決定するステップと、軌跡または軌跡から算出されるデータに不連続があるかどうかを判定し、不連続が検出された場合、追跡物体の１つまたは複数の得られた新たな画像を取得または受信し、追跡物体に新たな一意の追跡識別子を割り当てるステップと、不連続が検出された場合、１つもしくは複数の新たな画像のうちの少なくとも１つに基づいて、または不連続が検出されない場合、一連の２次元画像からの少なくとも１つの画像に基づいて、通過が許可されるべきかどうかを判定するステップと、通過が許可されると判定された場合、計数を増やすステップとを含む。

【0024】

第４の態様において、１つもしくは複数の入口点、または１つもしくは複数の出口点、または両方を有する構内または交通手段へのアクセスを制御または監視する方法であって、各入口点において、各出口点において、または両方において、上述したような第１または第２の態様の方法を実装するステップを含む、方法が開示される。

【0025】

第５の態様において、上記態様のいずれかに記載の方法を含む、生体認証アクセス制御方法が開示される。

【0026】

上記方法は、顔面生体認証アクセス制御方法でよく、追跡物体は、例えば走行車両へのアクセスを望む乗客の形態の、人の顔面域である。

【0027】

統計量または計量は、２次元画像から算出される顔面域または生体認証スコアでよい。

【0028】

上記方法は、３次元画像に物体検出アルゴリズムを適用して、１つまたは複数の物体を検出するステップであり、各物体が追跡物体である、ステップを含んでよい。

【0029】

第６の態様において、機械可読命令を記憶したコンピュータ可読媒体であって、機械可読命令は、実行された場合、上述した態様のいずれかによる方法を行うように適合される、コンピュータ可読媒体が開示される。

【0030】

第７の態様において、アクセス制御システムであって、機械可読命令を実行するように構成されるプロセッサを含み、機械可読命令は、実行された場合、上述した態様のいずれかによる方法を行うように適合される、アクセス制御システムが開示される。

【0031】

いくつかの形態では、上記システムは、画像捕捉装置を含み、上記装置は、２次元カメラと３次元カメラとを含む。

【0032】

使用時に、画像捕捉装置は、アクセス制御システムによって処理されるべき対象の列の正面に配設されてよい。

【0033】

アクセス制御システムは、生体認証搭乗システムでよい。

【0034】

第８の態様において、生体認証アクセス制御システムを使用して各対象を順番に処理することによって、列になって立っている１人または複数の対象によるアクセスを制御または監視する方法であって、生体認証アクセス制御システムが、列の方向を直接向く画像捕捉装置を含む、方法が開示される。設けられる生体認証アクセス制御システムは、上述した第７の態様に従うことができる。

【0035】

ここで、添付図面を参照しつつ、実施形態が単に例として記載されることになる。

【図面の簡単な説明】

【0036】

【図1】一実施形態による生体認証搭乗システムの概略図である。

【図2】分析されるべき追跡リストから軌跡を生成するためのプロセス例の概略図である。

【図3】図３（１）は不連続を含む、追跡物体の深度履歴の一例を示す図であり、図３（２）は不連続を含む、追跡物体の計算された顔面域サイズの時系列の一例を示す図である。

【図4】不連続分析モジュールによって利用されるプロセスの一例を概略的に描く図である。

【図5】不連続検出アルゴリズム例を概略的に描く図である。

【図6】生体認証搭乗装置を概略的に描く図である。

【図7】「ポッド」型搭乗装置例の斜視図である。

【図8】カメラが列の前に直接配置される搭乗列を描く図である。

【図9】システムによって提供されるインタフェース例を描く図である。

【図10】乗客インタフェースに示され得る表示例を描く図である。

【発明を実施するための形態】

【0037】

以下の詳細な説明では、詳細な説明の一部を形成する添付図面が参照される。図面に描かれる、詳細な説明に記載される例示的な実施形態は、限定的であるとは意図されない。提示される主題の趣旨または範囲から逸脱することなく他の実施形態が活用され得、かつ他の変更がなされ得る。概略的に本明細書に記載され、かつ図面に例示される、本開示の態様を多種多様な異なる構成に配置、置換、結合、分離および設計でき、その全てが本開示に企図されることが直ちに理解されるであろう。

【0038】

本明細書に開示される本発明の態様は、航空機、または列車、巡航客船等などの別の輸送手段への乗客の生体認証搭乗に活用され得る。それは、ゲート、ラウンジ、ドアまたは制限区域において対象の生体情報を監視および判定することを伴う用途にも活用され得る。また、多くの用途が顔面生体情報の使用および判定を伴うが、他の生体情報（例えば、手、指紋、網膜等）が使用または判定され得る。簡潔にするために、本発明の種々の態様は、顔面生体情報を使用して乗客を搭乗させる文脈で記載されることになる。

【0039】

顔面生体認証搭乗は、乗客から１つまたは複数の顔面画像を捕捉し、次いで捕捉画像と参照乗客データベースとの間の照合を行って、乗客を搭乗させるために必要とされる乗客データを得ることを要する。典型的に、アルゴリズムは、複数画像を捕捉して、次いで捕捉画像から最良の画像を選択しようとするものであり、最良の画像が、照合を行うために使用されることになる。そのような最良の画像は、それらが搭乗を認められた乗客に一致すれば、ローカルまたはリモート記憶場所に保存されて後にアクセスされてよい。例えば、乗客の顔面画像が本明細書に開示されるシステムを使用して捕捉および処理されて、降機またはゲートに到着した上で、それらが搭乗時に照合目的で使用された保存画像のいずれかと一致するかどうかを確かめてよい。

【0040】

多くの状況で、複数の乗客が列を形成するように指示されることになり、その結果、生体認証搭乗は、各生体認証搭乗機によって乗客に対して一人ずつ行うことができる。これをできるだけ速く、かつエラーを導くことなく行うことは、物流理由でも経済的理由でも重要である。本明細書に開示される態様および実施形態は、本文書に記載されることになるように、搭乗時間を削減することを促進する技術的ツールを提供する。

【0041】

本明細書に記載される本発明は、生体認証搭乗または入場用途へ組み込まれて、生体認証用途が、しばしば互いの近くに立ちすぎている乗客によってもたらされる、異なる乗客間を分離することができない可能性を減少させるのに適切である。したがって、本発明は、乗客が先行技術のプロセスにおけるほど互いから離れている必要がないが、タイムアウト問題が引き起こされる可能性が最小化された、不規則的なプロセスを許容できる。

【0042】

生体認証搭乗では、生体計測カメラは、カメラの視野内の乗客が時間とともに「追跡」されるというように働く。これは、乗客に対して識別および搭乗プロセスを繰り返さなければならないことを要するエラーイベントの発生を減少させる助けになることである。乗客を時間とともに「追跡」することによって、複数画像を取得することも可能であり、その結果、生体認証処理に不適切な不良顔面画像は破棄されてよい。発明者らは、実際には「十分に良好な」顔面画像が、顔面一致が起こる前に「更に良好な」顔面画像と迅速に置き換えられることに気がついた。これは、良好な顔一致の確率を上昇させ、また一致なしの確率を減少させる。これは、顔面画像捕捉が毎秒１０～１５コマ（ｆｐｓ）で動き、典型的に０．５～５．０ｆｐｓで動く顔照合アルゴリズムのために十二分の画像を作成する試験で発明者らが留意したように、処理時間を節約する。

【0043】

その内容が引用により援用されるＡＵ２０１９２７２０４１に開示される発明者らによる先願において、生体認証搭乗を容易にするために２次元（２Ｄ）データも３次元（３Ｄ）データも使用する装置およびシステムが記載されている。

【0044】

本明細書に開示される本発明は、対象を追跡するためにカメラシステムからの２Ｄおよび３Ｄ情報を更に使用する。それは、乗客間隔が強制されないときに時により発生する同一性追跡失敗を解決するために不連続分析を使用する。特に、追跡失敗があるときに発生する特定の不連続パターンを検出するために、追跡乗客履歴の時系列が分析される。

【0045】

したがって、一般用語では、本発明は、追跡乗客（すなわち、追跡顔）に対する位置データの時系列を生成すること、および追跡位置に不連続があったかどうかを判定することを要する。不連続が検出されると、それは、エラー条件が発生した、例えば、生体認証搭乗システムが既に搭乗したと判定される乗客を搭乗させようとするという標識として扱われる。

【0046】

説明されるであろうように、一旦そのようなエラーが検出されると、それは、対象（またはその追跡物体）に新たな一意の追跡識別子を再割当てするように対象の顔面画像を再取得する（生体照合に先立って）ことによって対処される。

【0047】

本発明は、列の先頭の人が生体計測カメラの視野を離れ（すなわち、航空機に搭乗するために離れた）、後ろの近くにいる別の人が、１人目によって占められていた視野内の同じ空間領域へ移動するという問題を解決することを目指す。

【0048】

可能性としては、列の先頭の人は、例えばその人が一時的に目をそらすまたは移動するのならば、フライトに搭乗するために離れるよりはむしろ生体計測カメラの視野を一時的に離れるだけである。生体計測カメラ自体は、多少のオクルージョン処理を有し、追跡が始まる前に安定した顔を必要とする。そのため、「目をそらす」のが短時間であれば、或る時間が過ぎるまでは後ろに立っている人が追跡顔と考えられることはなく、オクルージョン中は先頭の人が自分の追跡識別子を保持するであろう。

【0049】

しかしながら、後ろの人の安定した顔が捕捉されるのに十分に長い時間の間、列の先頭の人がカメラの視野から消えた（例えば、自分の靴ひもを結ぶためにかがんだ）場合、後ろの人が、自分の顔がカメラの視野内の同じ空間領域に見えるようになるほど十分に近くに立っていれば、不連続が検出されるであろう。視野内の（後ろの人の）次の顔は、続いて新たな追跡器識別子で追跡されることになる。

【0050】

この場合、処理は失敗し、起こり得ることは次の通りである：
－ １人目の、先頭の人が見えない間、２人目が追跡、認証され、搭乗してよいと指示されるであろう。先頭の人が見えるように戻れば、その人は、典型的に再び新たな一意の追跡器識別子を得る。
－ 先頭の人が後ろの人（２人目）の生体認証に基づいて既に「搭乗」したが、カメラの視野に戻れば、システムは、乗客に「既に搭乗済み」と告げることになる。
－ 先頭の人が後ろの人（２人目）の生体認証に基づいて「搭乗」し、視野に戻ることなく離れていき、２人目が前に進めば、システムは、２人目に対して顔捕捉および照合を再び試みて、２人目に「既に搭乗済み」と報じることになる。
－ 後ろの人が先頭位置と同じ空間位置におり、かつ追跡識別子が変わらない仮定的状況では、本出願に記載される同じ不連続検出器の結果として、新たな追跡識別子が生成され、続いて新たな追跡顔の生成に至り、乗客は「既に搭乗済み」通知を受けることになる。

【0051】

このように、業務時間を犠牲にしてプロセス一貫性が維持され、ここで「既に搭乗済み」通知は、航空会社／空港職員に例外処理を促すことになる。

【0052】

更には生体認証搭乗プロセスのために次の通りに想定される２つの追加の保護がある：
－ 画面上に座席番号を表示して、追加の人手による乗客のチェックを提供する、および
－ 乗客の前のデスクに職員がおり、異常なシナリオを見つけるように訓練され、必要であれば追跡システムをリセットすることができるべきである。

【0053】

ここで本発明の実施形態が更に詳細に記載されることになる。図１は、本発明の一実施形態による生体認証搭乗システム１００を概念的に描く。システム１００は、生体データを処理するように、および対象が搭乗するべきかどうかを制御するように適合される。システム１００は、システム１００を実装するためのハードウェアを収容する装置に設けられる計算手段、またはサーバコンピュータに常駐してよい処理モジュール１０２を含む。

【0054】

処理モジュール１０２は、２次元（２Ｄ）画像を含む第１のデータ１０４、および撮像物体の位置情報を提供する第２のデータ１０６も受信するように適合される。２次元画像１０４は物体の画像であり、第２のデータ１０６は、画像を捕捉する装置に対する撮像物体の位置に関する情報を提供する。顔面生体認証搭乗用途では、撮像物体は対象の顔面画像である。第２のデータ１０６は深度（ｚ軸）情報でよく、またはそれは３次元（３Ｄ）ｘ、ｙ、ｚ位置情報でよい。位置情報は、３次元（３Ｄ）カメラによって捕捉されてよい。具体的な実施形態に応じて、処理モジュール１０２は、点群データ、赤外線またはレーザ走査データなどの、更なる測定データ１０８にもアクセスしてよい。

【0055】

処理モジュール１０２は、検出モジュール１１０、追跡モジュール１１２および不連続分析モジュール１１４を含む。第１のデータ１０４および第２のデータ１０６は、取得デバイスの時間分解能で連続的に取得され、検出モジュール１１０に提供される。検出モジュール１１０は、入力画像フレームに関連物体、この場合顔を検出するように適合される。追跡モジュール１１２は、検出された顔を追跡し、時間とともにそれらの位置を記録して、検出された顔の各々に対する位置データの時系列である、軌跡データ１１６を生成するように適合される。

【0056】

各一連の画像データ１０４は、同じ対象の画像データであると考えられ、生体照合モジュール１１８に提供されることになる。次いで生体照合が行われて、処理されている対象の搭乗資格を確認するために、乗客の参照データベースに一致を見つける。しかしながら、生体照合モジュール１１８において生体照合が起こるのに先立って、システム１００は、一連の画像データ１０４が実際に同じ人から撮られたという仮定に誤りがあり得るかどうかを最初に確認する。

【0057】

これは、軌跡データ１１６を分析して、追跡物体（例えば顔）の軌跡１１６に不連続が存在するかどうかを確認することによって行われる。

【0058】

追跡リストにおける不連続の検出が、次いで追跡リストと関連付けられた追跡対象の同一性を解決するようにシステム１００をトリガする。

【0059】

図２は、分析されるべき軌跡を生成するためのプロセス２００の一実施形態を概念的に描く。本実施形態において、第１のデータ１０４は、高解像度２Ｄカメラによって提供される画像データであり、第２のデータ１０６は、３Ｄカメラによって提供される画像データである。２つのカメラは、追跡物体の位置データを収集するために互換的にまたは一緒に使用できる。発明者らによって提案される実例では、毎秒１０～２０コマのフレームレートの３Ｄカメラが処理モジュール１０２にｚ軸（ならびに任意選択でｘ軸およびｙ軸）情報を提供し、物体が正しい向きにあると判定されると、より高解像度の２Ｄカメラが、生体照合モジュール１１８における生体照合のために使用されるであろう物体の静止画像を撮る。顔位置（カメラ観点から）が乗客の小さな動きにもかかわらず比較的一定のままであるので、２Ｄカメラおよび３Ｄカメラの厳密な同期は必要とされない。１つの制約は、乗客の動きが誤った位置測定に至らないようにカメラのサンプリングレートが十分に高い必要があるということである。実証実験により、サンプリングレートの下限が約５ｆｐｓであることを見出した。

【0060】

ステップ２０２で、高解像度２Ｄ画像データ１０４の各フレームに対して、物体を含むとして判定された３Ｄ画像データ１０６を使用して算出される３Ｄ領域に制約して、物体検出アルゴリズムが適用される。３Ｄデータとの２Ｄ物体検出データの共同登録は、物体－ここでは顔面－領域の３Ｄ位置情報を提供する。これは、検出された物体の高解像度画像（例えば高解像度顔面画像）およびそれらの各瞬間での位置のリストを生成する。

【0061】

ステップ２０４で、ステップ２０６で追跡モジュールに提供されるために位置情報が記録される。位置情報が記録され得るいくつかの仕方がある。３Ｄ画像データから抽出される一連の画像が記録されてよく、次いで追跡モジュールが画像を分析して、例えば物体画像の相対的なピクセル変位を分析することによって、一連の画像における物体画像の動きの軌跡を決定する。代替的に、一定の間隔でおよび／または何らかの動きが発生したと判定されると３Ｄ画像のリアルタイム分析に応じて画像を撮るように２Ｄカメラがトリガされてよい。そのため、記憶データは、３Ｄ画像、２Ｄ画像もしくは単に画像の特定の特徴の位置情報、または以上の組合せでよい。記憶データは、一連の画像において動きを追跡するために使用できる画像に関するいかなるデータでもよい。

【0062】

ステップ２０６で、軌跡を伴う物体（顔）の追跡リストを生成する２０８ために、ｔ＝ｔｎでのデータが追跡モジュール１１２に提供されて追跡データを更新する２０６。

【0063】

ステップ２０８で、軌跡１１６を伴う物体の追跡リストが不連続分析モジュール１１４に提供されることになる。典型的に、特に対象（乗客）が１列縦隊になるシナリオでは、１つの追跡リストがあることになる。不連続分析モジュール１１４は、軌跡のいずれかに不連続があったかどうかを判定し、必要であれば物体を積み重ねから外す。不連続の検出は、閾値を満たすもしくは超えるデータサンプル間の変化に、または検出速度もしくは特異性などの、データの別の統計的属性に基づいてよい。これは、生体認証搭乗システムが対象の同一性の混同により停止することを回避する。

【0064】

図３（１）は、不連続を含む、追跡物体の深度履歴例を例示する。横軸は、ｔ＝ｔ１からｔ＝ｔ８まで、一連の時間を示す。縦軸は、軌跡から算出され、ｔ＝ｔ１～ｔ８に取得される顔面画像に対する深度情報を示す。深度情報は、画像が取得される各瞬間での画像捕捉装置からの物体の距離（ミリメートルまたは「ｍｍ」で測定）である。第１の時間フレームまたはインスタンス（ｔ＝ｔ１）から第６の時間フレーム（ｔ＝ｔ６）まで、対象Ａが画像捕捉装置に向けて歩くにつれて距離の逓減がある。対象Ａは生体認証的に乗客リストに一致し（上記したように対象Ａに対して一意の追跡器識別子が作成され）、対象Ａはｔ＝ｔ７で向き直って歩き去る。対象Ｂが対象Ａの後ろの近くに立っており、対象Ａが画像捕捉装置の視野（ＦＯＶ）を完全に離れる前に、今やＦＯＶに見える。画像捕捉装置は、したがって対象Ａが立ち去るぼけた画像、および対象Ｂの顔面画像も取得する。システムは、次いで対象Ｂの画像を対象Ａのそれとして扱う。対象Ｂに関する捕捉データは、ここで対象Ａと同じ追跡軌跡に含まれる。しかしながら、対象Ｂが対象Ａの後ろに或る距離を置いて立っているので、距離データは、ｔ＝ｔ６での約３３０ｍｍからｔ＝ｔ７での約７７０ｍｍに急増する。追跡軌跡の不連続がｔ＝ｔ７で発生するとして記録される。現在画像捕捉装置のＦＯＶに新たな物体がありそうであることを示す通知が生成され、画像処理が再開して、対象Ｂに対して新たな追跡器識別子を作成し、もはや対象Ｂの画像を対象Ａのそれとして扱うのでなく、それを新たな物体のものとして認識する。

【0065】

図３（２）は、追跡データに含まれる一連の画像内の各画像サンプル内の追跡顔から計算される、顔面域サイズの履歴を示す。横軸は、ｔ＝ｔ１からｔ＝ｔ１０まで、一連の時間を示す。縦軸は、顔面域のサイズ（平方ミリメートルまたは「ｍｍ^２」で測定）を示す。生の計算された顔面域データ点が四角によって表される。丸は、例えばデータを平滑化し、重要でない不連続（例えば分散閾値未満のもの）を除去するために、生データにフィルタを適用した結果のデータ点を表す。ｔ＝ｔ６で、約６３００ｍｍ^２から略５８００ｍｍ^２への検出画像の顔面域の僅かな減少がある。この減少は、それが不連続があるという宣言をトリガしないほど十分に小さい。小さな減少は、ｔ＝ｔ５とｔ＝ｔ６との間の、目標乗客の動きによるものと考えられ得る。しかしながら、ｔ＝ｔ７で、約２０００ｍｍ^２への検出画像内の顔面域のより大きな減少があり、これは、同じ人に対する顔面域のサイズの予想される変化（すなわち、閾値）より大きい。したがって、ｔ＝ｔ７で、顔面域のサイズの不連続が検出される。図３（２）は、したがって、図３（１）に示される軌跡データを支持する、ｔ＝ｔ７での不連続が、顔面域の不連続の検出を使用して同じく（または代替的に）確認される例を示す。

【0066】

不連続が検出されるために必要とされる顔面域サイズの変化量の閾値は、顔面サイズ、予想移動速度およびサンプリングレート（すなわち、２つの画像サンプル間の予想時間経過）に関する統計量などの、いくつかの要因を使用して決定されてよい。

【0067】

図４は、不連続分析モジュール１１４によって利用されるプロセス４００の一例を概略的に描く。プロセス４００の始めに、システムは、いかなる不連続も検出しておらず、いずれの追跡リストも処理されていない（ステージ４０２）。このステージで、各追跡リストは、同じ対象に関する一連の画像データおよび軌跡を含むと推測され、それに割り当てられる１つの一意の追跡識別子を有する。

【0068】

不連続分析モジュール１１４は、追跡リストに不連続があるかどうかを検出するために各追跡リストを順番に（４０４）処理する（４０６）ことになる。説明したように、検出される不連続は、積み重ねエラーの標識であり、対象に新たな一意の追跡識別子を割り当てることによる対象の積み重ね外しを必要とする。

【0069】

利用可能な追跡リストがない、またはシステムが不連続を検出することなく利用可能な追跡リストの全てを処理した（４０８）ならば、不連続分析モジュール１１４は、追跡物体のいずれにも新たな一意の追跡識別子を割り当てる（４２６）ことなくその処理を終える（４１０）。

【0070】

少なくとも１つの利用可能な追跡リストがある場合（４１２）、システムは、時間とともに３Ｄ位置の変化を判定するために、その軌跡を抽出すること（ステップ４１４）によって次の利用可能なリストを処理する。軌跡は、データ内の不連続の存在を検出する（４１８）ために、不連続検出アルゴリズム（４１６）によって分析される。不連続は、追跡物体の軌跡に、または追跡物体に関する別の統計量もしくは計量に、または組合せにあってよい。

【0071】

不連続が検出されない場合（４２０）、システムは次の追跡リスト（４０４）を処理する。不連続が検出された場合（４２２）、その追跡リストはレコードに追加される（４２４）ことになる。レコードは、不連続が検出されたいずれの追跡物体に関してもデータを記憶するために提供される。レコードはデータベースもしくはリンクリストであり得、またはそれは別のデータ構造を有し得る。システムは、次いで次の追跡リスト（４０４）を処理し続ける。

【0072】

それ以上処理するべき追跡リストがない（４０８）場合、システムは、上述のレコードを確認して、処理されたリストのいずれかが、データが不連続を含む追跡物体のものであると確認されたかどうかを確かめることになる。レコードに含まれる各追跡物体は、追跡物体の同一性の曖昧さを解消するために、新たな追跡識別子がそれに割り当てられることになる。新たな追跡識別子は、いずれの前に搭乗した乗客と関連付けられた追跡識別子とも異なることになる。

【0073】

好ましい実施形態において、追跡物体への新たな追跡識別子の割当ては、追跡物体の新たな画像を捕捉するように画像捕捉装置をトリガすることにもなる。それらの新たな画像は、新たに割り当てられた追跡識別子と関連付けられて生体照合モジュール１１８（図１を参照のこと）に渡されることになる。

【0074】

生体認証搭乗の文脈では、システムは、新たに割り当てられた追跡識別子が生体認証的に参照リスト内のいずれの対象にも一致しなかったことをここで認識し、追跡対象による搭乗を許可または拒否するために照合を行うことができる。

【0075】

図５は、不連続検出アルゴリズム例（５００）を概略的に描く。ステップ５０２で、不連続検出アルゴリズムは、追跡リストから得られる軌跡を入力として受信する。本特定の実施形態において、アルゴリズムは、取得された画像と関連付けられた深度データの時系列における不連続を評価するために提供される。したがって、ステップ５０４で、軌跡から深度データの時系列が決定または抽出される。抽出されるデータ量は、最近の履歴、例えばごく最近の期間に制限されてよい。期間は、数秒、例えば３秒でよい。

【0076】

ステップ５０６で、フィルタを適用することによって、ステップ５０４から決定されたデータが平滑化される。これは、ノイズからの影響を取り除くために行われてよいが、それは必須のステップではない。このステップが含まれる場合、適用されるフィルタは、好ましくは、信号における高周波成分であると予想されるであろう不連続を保持するのに適するものである。そのため、フィルタは、不連続を検出する能力を保持しつつ処理される信号の種類に合うように特に設計される必要があり得る。

【0077】

ステップ５０８で、各時間サンプルにおいて不同性スコアまたは不連続スコアが計算される。これは、単に２連続の時間サンプル間のデータ間の差の計算を要し得る。ステップ５１０で、アルゴリズムは、不同性スコアが不連続条件を満たすかどうかを判定する。判定は、閾値に基づいてよく、そこでアルゴリズムは、不同性スコアが不連続条件を満たせば、それが閾値を超えるということであり得、または代替的に不同性スコアが少なくとも閾値に等しい場合、不連続が発生したと判定する。例えば、ステップ５０８および５１０での計算は：
Δｔ_ｎ＝Ｘｔ_ｎ－Ｘｔ_ｎ－１のように見え、式中Δｔ_ｎは時間ｔ＝ｔ_ｎでの不同性スコアであり、Ｘｔは時間ｔでのデータサンプルの値であり、Ｘｔ_ｎ－１は時間ｔ＝ｔ_ｎ－１でのデータサンプルの値である。

【0078】

時間ｔ_ｎでの不連続条件は、Δｔ_ｎ≧閾値であれば満たされる。

【0079】

閾値は、データにおける予想ノイズ範囲、または２つ以上の画像フレーム間の人の位置の予想位置変化量（そのためカメラのフレームレートに依存）、または両方の組合せに依存してよい。

【0080】

更には、閾値は、列内の２人目がその後ろの１人目の頭の深度より小さくなることは極めてありそうにないということを分かった上で、人の頭の平均深度の数倍であってよく、または最低でも平均深度を有してよい。

【0081】

代替の不連続条件は、距離ｚの変化率（すなわち、速度または速さ）であり得る。３Ｄカメラのサンプリングレート／フレームレートが時間サンプルｔｎにおいて測定されれば、例えば、フレームあたり１２０ｍｍまたは１２０ｍｍ／ｓまたは或る他の適切な値より大きい距離ｚの変化率が、不連続があることを意味し得る。

【0082】

不連続条件が満たされる場合（５１６）、アルゴリズムは、追跡データに不連続が検出される（５１８）と示す結果を出力する。不連続条件が満たされない場合（５１２）、アルゴリズムは、追跡データに不連続が検出されない（５１４）と示す結果を出力する。アルゴリズムは、この時点で今処理された追跡リストに対して終わる（５２０）。

【0083】

上記アルゴリズムは、不連続検出アルゴリズムに提供される入力に応じて、深度データ以外の情報に不連続を検出するためにも使用され得る。例えば、アルゴリズムが２Ｄ画像を入力として受信するならば、アルゴリズムは、追跡リスト内の２Ｄ画像の各々における検出物体の面積（例えば、図３（２）における顔面域サイズ）を決定し、面積のサイズがサンプル間で急激に変化するかどうかを検出することによって面積の時系列に不連続を検出してよい。面積は、代わりに既に計算され、次いで入力としてアルゴリズムに提供されてよい。例えば、不連続条件は、変化がフレームレートに予想される位置変化による予想変動量、データノイズ、または対象による予想移動範囲による僅かな変化の外であるかどうかでよい。

【0084】

別の例として、アルゴリズムは、追跡リスト内の各画像に対して計算される生体認証スコアを入力として受信してよく、またはアルゴリズムは、それが入力として画像を受信する場合、スコアを決定するように構成されてよい。アルゴリズムは、次いで生体認証スコアの時系列に不連続があるかどうかを判定できる。

【0085】

そうすることで、捕捉された顔面画像の類似性を比較し、いつ１つのサンプルが前のサンプルに十分に類似していなくなるかを検出する。例えば、不連続条件は、２連続のデータサンプル間の変化が予想変動量、ノイズ、または他の許容対象内変動性の外であるかどうかでよい。

【0086】

そのため、より一般的に、不連続判定アルゴリズムは、軌跡、深度、または追跡リストに含まれる画像と関連付けられた他の統計量における不連続を判定するために使用され得る。

【0087】

上記実施形態において、追跡物体は、それらの軌跡が不連続を含むと判定された場合、新たな一意の追跡識別子を割り当てられる。

【0088】

しかしながら、更なる実施形態において、不連続は、代わりに物体域、または捕捉される物体が顔であれば顔面生体情報などの、捕捉画像に関する他の統計量または計量に基づいて判定されてよい。

【0089】

更なる実施形態において、軌跡に不連続を検出することおよび他の統計量または計量に不連続を検出することの組合せが使用されてよい。例えば、不連続アルゴリズムは、追跡物体に関して不連続があると宣言するために、追跡物体に対して軌跡ならびに物体域のサイズ（例えば、追跡顔の深度および追跡顔のサイズ）両方に対する不連続条件が満たされることを確認することを要求されてよい。すなわち、いくつかの実施形態において、システムは、その不連続検出アルゴリズムに多モード制約を適用してよい。システムは、追跡物体に関する不連続が存在することを宣言する前に、第一条件として、軌跡に対する不連続条件が満たされることを確認し、次いで他の計量または統計量に関する１つまたは複数の不連続条件が満たされるかどうかを確認してよい。

【0090】

図６は、生体認証搭乗装置６００を概略的に描く。生体認証搭乗装置６００は、上記の実施形態の１つまたは複数のシステムを実装するために機械命令を実行するように構成される、中央処理ユニットまたは別のプロセッサでよい、処理デバイス６０２を含む。機械命令は、処理デバイス６０２と同じ場所に設けられるメモリデバイス６０４に記憶されてよく、またはそれらは、処理デバイス６０２によってアクセス可能な１つもしくは複数の遠隔記憶場所に部分的にもしくは全体として常駐していてよい。処理デバイス６０２は、処理されるべきデータを含むように、かつ場合により処理からの結果を少なくとも一時的に記憶するように適合されるデータストレージ６０６にもアクセスする。

【0091】

装置が無線で提供されるデータにアクセスし、または通信ネットワーク６１２を通じて遠隔地、例えば監視ステーションもしくはクラウドストレージ６１３におけるコンピュータにデータもしくは結果を通信し得るように、通信モジュール６０８もあってよい。

【0092】

囲み６１０は、中の部品が同じ物理装置またはハウジングに設けられてよいことを概念的に示す。囲み６１０は、１つまたは複数の部品が代わりに別々に設けられ得ること、あるいは他の部品（画像捕捉機器、または入力および／もしくは出力機器など）も同じ装置に物理的に含まれ得ること、あるいは両方を表すために、破線で示される。

【0093】

処理デバイス６０２は、処理のために必要とされるデータを捕捉するためにデータ捕捉装置６１４と、有線通信か無線通信かで、通信している。

【0094】

システムモジュールに関して前に言及したように、顔面生体認証搭乗のための好ましい実施形態において、データ捕捉装置６１４は、顔認識を可能にするのに十分高解像度の２Ｄ画像、および軌跡データを提供するように３Ｄ画像も捕捉するように構成される。

【0095】

図７は、「ポッド」型搭乗装置例７００を示す。これが単に例示例であり、本発明が他の種類の装置に具現化され得ることが留意されるべきである。装置は、また一般に、装置が提供される具体的な目的（例えば、空港の文脈では－手荷物預けまたはチェックイン、税関管理、搭乗）に応じて異なる物理的形状を有しまたは異なるハードウェア要件を有してよい。

【0096】

搭乗装置７００は、装置ハウジング７０２および生体認証システム７０４を含む。生体認証システム７０４は、第１の画像捕捉装置７０６および第２の画像捕捉装置７０８を備える。第１の画像捕捉装置７０６は、深度カメラまたはステレオ３Ｄカメラの形態でよい。第２の画像捕捉装置７０８は、高解像度２Ｄカメラの形態でよい。ディスプレイ７１０も含まれてよい。任意選択で、レーザプロジェクタまたは赤外線（ＩＲ）センサ／エミッタ７１２が生体認証システム７０４または装置７００内の他の場所に設けられる。レーザプロジェクタまたは赤外線センサ／エミッタは、任意選択でディスプレイ７１０の後ろに設置されてよい。

【0097】

一組の照明手段またはライト７１４が装置７００の前面７０１に装着されてよい。対象のマッピングおよび検出を支援するレーザプロジェクタまたは点群生成デバイス（図示せず）も設けられてよい。任意選択で、装置７００は、人の同一性を判定するために使用できるポータブル装置でよい。点群生成デバイスは、システムによる関心領域検出、生体分析および顔面トポグラフィックマッピングの目的でユーザまたは乗客の上部胴領域に一群または複数の光ベースのドット点（赤外線ＬＥＤ投影ドットを含むがこれに限定されない）を投影する。点群生成デバイスが含まれる場合、点群生成デバイスからのデータが生体認証システムにも提供されることになり、生体分析またはトポグラフィックマッピングデータも不連続分析に使用されてよい。

【0098】

本明細書に記載される実施形態は、したがって各々不規則的な搭乗、すなわち対象（乗客）が、規則的な搭乗プロセスの必要とされる距離分離に厳密に固執しないものを容易にすることができるシステムを提供する。追跡プロセスは、システムが画像に発生し得る僅かなオクルージョンまたはモーションブラにもかかわらず一群の乗客の別々の追跡識別子を維持するのも許容する。

【0099】

記載されるシステムは、したがって一意の追跡識別子を持つ対象の良好な画像を送るだけで、それらを近傍と混同することなく、行われる必要がある生体処理量の最小化を可能にする。そのような混同がしばしば発生するわけではないが、そのような発生の僅かな割合でさえ、再試行するまたは乗客を人手により処理するために必要とされる追加の処理ステップのため、データ（乗客を搭乗させるために必要とされる時間）に大きな異常値をもたらすであろうことが留意されるべきである。

【0100】

２人の人の間に測定できる固有の物理的距離があるために発生する、追跡対象（またはより正確には、追跡物体）の軌跡における不連続を使用することを要するシステムの機能は、十分に高速であるサンプリングレートに左右される。したがって、共に物理的に近すぎる２つの対象間の混同を解消するシステムの能力も、サンプリングレートに依存することになる。より高いサンプリングレートにより、システムが共に近い対象間を分離することを可能にするであろう。

【0101】

記載されるシステムは、したがって、間隔が強制されることを確実にするために、訓練されたスタッフまたはサイネージプロセスを使用することによって搭乗プロセスを制御する必要がある、公知のシステムに勝る技術的利点、ならびに潜在的に不必要な識別および出発制御システム業務を最小化するソフトウェアも提供する。

【0102】

先行技術では、積み重ね問題を最小化するために、生体計測カメラは、時には乗客または顧客の列に斜めに配置され、各乗客は、列内のその他の乗客の顔との混同の可能性を最小化するために、列方向から向き直って、カメラまで歩くまたはその他進むことを要求される。しかしながら、各乗客にカメラに向き直ることを要求することは、時間費用を招く。対照的に、本システムは、記載されるように、列に対するカメラの角度配置よりはむしろ不連続検出を使用して積み重ねエラーを最小化するように設計される。

【0103】

本システムによって提供される解決策がそのような角度配置を必要としないので、本システムのためのカメラは、搭乗するために並んでいる乗客の列の前に直接配置できる。図８は、図１～図７を参照しつつ本明細書に記載されるシステムによって可能にされると当業者が理解するであろうこの直接配置を描く。図８に示されるように、カメラ８０２（すなわち、データ捕捉装置）が乗客の列８０４の前に直接配置され、その結果処理中の乗客８０６は、カメラ８０２の視野８１０に入るために列の方向（矢印８１２）から向き直る必要がない。列８０４になって待っているその他の乗客８０８も彼らが進むまたは待つにつれてカメラ８０２に向き得る一方で、システムは、必要であれば積み重ねエラーを解消するために不連続検出アルゴリズムを使用して、視野８１０内の別の顔の検出を扱うことができるであろう。

【0104】

システムは、例えば搭乗指示を提供するために、画面上に表示されるための、かつ乗客によって見るための、グラフィカルユーザインタフェースでよい、インタフェースを提供してよい。インタフェースは、ライブ搭乗プロセスを監視するために、完了した搭乗プロセスを見直すため、または訓練などの別の目的で、スタッフメンバによって見るための別の表示デバイスにも提供されてよい。スタッフに示されるインタフェースは、乗客に示されるもの（もしあれば）を完全にまたは部分的に反映させてよい。それは、以下の非限定的な例の１つまたは複数などの、乗客に示されない他のデータを表示するインタフェース部分を含んでよい：乗客軌跡、不連続を検出するために監視されている特定の計量の値、一意の追跡識別子、または搭乗した人数、現在の平均もしくは全経過処理時間、成功した処理および搭乗率などの統計量。

【0105】

図９は、インタフェース例９００を描く。インタフェース９００は、特定の時間にまたは常に、カメラによって捕捉される、処理されている乗客の画像を示してよい第１の表示フィールド９０２を含む。第１の表示フィールド９０２は、乗客に示されるインタフェース（図１０を参照のこと）を反映させてよく、その場合には表示フィールド９０２は、乗客に、テキストまたはグラフィック（例えば、アニメーション）の形態でよい、指示も表示できる。

【0106】

図９において、第１の表示フィールド９０２は、乗客の画像を示している。囲み９０４（点線）は、顔の存在を検出するためにアルゴリズムによって処理されている画像域をマークする。囲み９０６は、顔が検出される画像域をマークする。この例では、システムは、検出顔の中心の位置を追跡し、追跡顔の軌跡９０８を表示する。いくつかの実施形態において、軌跡９０８は、アクセス制御システムの動作に応じて異なる色または視覚スタイルで表示されることになる。例えば、軌跡９０８は、対象の追跡が開始するとデフォルト色またはスタイルで表示できる。しかしながらシステムが軌跡と関連付けられた追跡識別子に矛盾を検出する－すなわち、不連続が検出される－と、それは、エラーの視覚指示を提供するために異なる色またはスタイルに変化することになる。

【0107】

インタフェース９００は、追跡顔の３次元位置、または深度（すなわち、カメラまでの距離）の時系列９１０を表示してよい。追加的または代替的に、インタフェース９００は、一定時間にわたって決定される別の計量（顔面域サイズなど）の値の時系列である、少なくとも１つの他の時系列９１２を、アルゴリズムがその計量に対する値における不連続を確認している場合に、表示してよい。

【0108】

アルゴリズムがエラーを検出すると警告を表示するために警告ディスプレイまたは警告フィールド９１４が含まれてよい。インタフェース９００は、１つまたは複数のデータ表示領域９１６を含んでよく、特定のデータを表示するまたはそのアクセスを提供するための、表示部分、ウィンドウまたはアクセスフィールドもしくはボタンの形態であり得る。データ表示９１６は、現在処理されている乗客の一意の追跡識別子を示す乗客識別子表示でよい。データ表示９１６は、乗客に対する個々の、全体のまたは平均処理時間に関する統計量も提供してよい。

【0109】

インタフェースの上記部分が全て同時に設けられなくてもよい。例えば、ダッシュボードから、ユーザ（例えば、空港スタッフまたはシステム開発者）がどのインタフェース部分を装置画面に示すために含めるべきかを選択することを可能にすることができる。

【0110】

図１０（１）～図１０（４）は、乗客によって見るための乗客インタフェースに示され得る様々な表示を描く。図１０（１）は、乗客がカメラに向けて歩く指示からの画面を示す。図１０（２）は、乗客の写真が撮られている間、乗客に生体計測カメラを見るように指示するプログレス画面を示す。乗客のカメラ図がプログレスサークル１００２の内側に示されてよい。図１０（３）は、乗客が一致したことを確認し、かつ乗客に搭乗するよう促す画面を示す。座席番号１００４が示され、これは、それが搭乗券に示される自分の割り当てられたまたは選択した座席と一致することを確認する機会を乗客に提供する。乗客の名前などの他の情報も検証目的で示され得る。図１０（４）は、生体認証搭乗プロセスにより、何らかの理由で乗客を搭乗させることができず、乗客にスタッフからの支援を求めるように命じる指示を示すときに表示される画面を示す。

【0111】

開示した実施形態は、したがって不規則的な搭乗プロセスを容易にすることによって業務時間の明確な改善を行うことを目指す。

【0112】

上記システムが搭乗時に配備されることに限定されないことが認識されるであろう。それは、代わりにまたは更に構内、または車両もしくは交通手段の別のチェックポイント（出口など）において使用できる。複数出口または入口点を持つ構内は、各々上記のプロセスのインスタンスを実装する別々の装置を有してよい（それらが「ポッド」型装置であれ他の形態であれ）。

【0113】

区域に出入する個人の実際の同一性は確認されず、むしろ追跡されるのは区域内の人数である用途では、上記のプロセスおよびシステムの識別態様が省略されまたは無効にされ得ることが更に留意されるべきである。異なる「追跡識別子」がいくつあるかを見ることによって、プロセスは、規則的なまたは「不規則的な」列から、区域に入る、区域を出る、または一般にチェックポイントを通って移動するために処理された異なる人々の数を決定することができる。

【0114】

例えば、航空機へ乗客を搭乗させるために使用された上記のシステムを具現化する装置を、乗客を「降機させる」ために出口チェックポイントにおいて再び使用できる。降機乗客の処理は、システムによって再び処理されるために乗客に列を形成させることを含んでよい。処理チェックポイントにおいて取得される乗客の新たな画像が乗客データベースに照合されてよい。乗客データベースは、乗客が搭乗システムによって処理されていた間に取得され、乗客に生体認証的に一致し、次いで搭乗させるために選ばれた「最良の画像」を備える参照データベースでよい。「最良の画像」参照データは、装置にローカルに保存されていてよく、その結果、中央乗客参照データベースとの接続性がないときでも、新たに取得された画像および「最良の画像」参照の生体照合を行うことができる。

【0115】

装置は、その生体識別モジュールが完全に無効にされて、単に降機したまたは出口チェックポイント（例えば、空港内のゲートもしくは別の制限された到着区域における）を通って移動した異なる乗客の数を計数し得る。この場合、航空機から到着した人々の数が航空機に当初搭乗した人々の数と異なれば、警報が発せられてよい。

【0116】

本開示の趣旨または範囲から逸脱することなく前記した部分に変形および変更を加え得る。例えば、上記において、生体照合を活用する実施形態は、照合して対象と参照データベースとの間の一致があるかどうかを確かめることによって、対象（例えば、乗客）によるアクセスを許可するまたは通過を承認するべきかどうかを判定する。しかしながら、同じ発明概念を、システムがいつアクセスまたは通過を拒否するべきかを判定する状況に適用し得る。例えば、システムは、やはり同じ不連続検出を使用して、積み重ねエラーを低減させようとするであろう。しかしながら、生体照合モジュールは、処理されている乗客または対象の画像を「アクセスなし」リストと照合しようとし、リストに一致が見つかれば、その乗客または対象によるアクセスを拒否できる。アクセスが許可されるまたはアクセスを得た対象（または顔認識の場合「顔」）に割り当てられたそれらの一意の識別子を計数するだけで、システムは、どれくらいの対象が承認されたかについて経過を追うことができる。

【0117】

上記したように、システムは、顔面または物体検出に十分高解像度の２Ｄ画像に加えて、検出顔（または物体）を追跡するための位置データを必要とする。２つの捕捉装置の使用が実施形態に記載されるが、これは、本発明の趣旨および範囲を制約する要件を形成しない。例えば、３Ｄカメラから２Ｄ画像データも空間位置データも生じる場合、３Ｄカメラが顔面または物体検出および照合を許容するのに十分高解像度で画像を捕捉することができるならば、同じ発明概念がやはり満たされることになり、システムによって実装される方法はやはり同じように機能するであろう。

【0118】

以下に続く特許請求の範囲においておよび本発明の前述の説明において、文脈が明示的な言語または必要な黙示により別途必要とする場合を除き、語「ｃｏｍｐｒｉｓｅ」または「ｃｏｍｐｒｉｓｅｓ」もしくは「ｃｏｍｐｒｉｓｉｎｇ」などの変化形は、包括的な意味で、すなわち本発明の様々な実施形態において明言された特徴の存在を指定するが更なる特徴の存在または追加を排除しないために使用される。

【符号の説明】

【0119】

１００ 生体認証搭乗システム
１０２ 処理モジュール
１０４ 第１のデータ
１０６ 第２のデータ
１０８ 測定データ
１１０ 検出モジュール
１１２ 追跡モジュール
１１４ 不連続分析モジュール
１１６ 軌跡データ
１１８ 生体照合モジュール
６００ 生体認証搭乗装置
６０２ 処理デバイス
６０４ メモリデバイス
６０６ データストレージ
６０８ 通信モジュール
６１０ 囲み
６１２ 通信ネットワーク
６１３ クラウドストレージ
６１４ データ捕捉装置
７００ 「ポッド」型搭乗装置
７０１ 前面
７０２ 装置ハウジング
７０４ 生体認証システム
７０６ 第１の画像捕捉装置
７０８ 第２の画像捕捉装置
７１０ ディスプレイ
７１２ レーザプロジェクタまたは赤外線（ＩＲ）センサ／エミッタ
７１４ 照明手段またはライト
８０２ カメラ
８０４ 列
８０６ 乗客
８０８ 乗客
８１０ 視野
８１２ 矢印
９００ インタフェース
９０２ 第１の表示フィールド
９０４ 囲み
９０６ 囲み
９０８ 軌跡
９１０ 時系列
９１２ 時系列
９１４ 警告表示または警告フィールド
９１６ データ表示領域
１００２ プログレスサークル
１００４ 座席番号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】