知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-07
(45)【発行日】2023-08-16
(54)【発明の名称】入出場マッチングシステムの概念
(51)【国際特許分類】
G06T 7/00 20170101AFI20230808BHJP
G08G 1/01 20060101ALI20230808BHJP
G06Q 50/30 20120101ALI20230808BHJP
【ＦＩ】
G06T7/00 660B
G08G1/01 F
G06Q50/30
【請求項の数】
14
【外国語出願】
(21)【出願番号】P 2022083146
(22)【出願日】2022-05-20
(65)【公開番号】P2022184762
(43)【公開日】2022-12-13
【審査請求日】2022-05-23
(31)【優先権主張番号】21176929.4
(32)【優先日】2021-05-31
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】521372655
【氏名又は名称】グラスパー テクノロジーズ エーピーエス
【氏名又は名称原語表記】Ｇｒａｚｐｅｒ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＡｐＳ
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100211395
【弁理士】
【氏名又は名称】鈴木 裕貴
(72)【発明者】
【氏名】ウルリック イスホイ ソエンダーガード
(72)【発明者】
【氏名】トーマス ヤコブセン
【審査官】片岡 利延
(56)【参考文献】
【文献】特開平１１－１７５７８２（ＪＰ，Ａ）
【文献】国際公開第２０１５／０４５２３３（ＷＯ，Ａ１）
【文献】小松俊太,外２名，バス車載カメラにおける２部グラフマッチングによる人流推定，２０２０年電子情報通信学会総合大会，2020年03月17日
【文献】Aske R. Lejbolle et al.，ONE-TO-ONE PERSON RE-IDENTIFICATION FOR QUEUE TIME ESTIMATION，[online]，2020年，https://ieeexplore.ieee.org/document/9191293
【文献】KOMATSU, Shunta et al.，Passenger Flow Estimation with BipartiteMatching on Bus Surveillance Cameras，[online]，2021年09月08日，https://ieeexplore.ieee.org/document/9565542
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０８Ｇ １／０１
Ｇ０６Ｑ ５０／３０
(57)【特許請求の範囲】
【請求項1】
交通システムにおける人物再識別のための評価デバイス（１０）であって、前記評価デバイスは、処理回路（１４）を含み、
前記処理回路は、
複数の再識別コードを取得し、
ここにおいて、各再識別コードは、前記交通システムの少なくとも１つのセクションに入出場するときに少なくとも１つのカメラ（２１０；２２０）によって記録される人物を表し、
各マッチした再識別コード対が、入場する人物の再識別コードと出場する人物の再識別コードとを含むように、複数のマッチした再識別コード対を取得するためにグローバルマッチング方式を使用して前記複数の再識別コードをマッチングし、
ここにおいて、前記グローバルマッチング方式は、前記複数のマッチした再識別コード対にわたって、前記マッチした再識別コード対の前記再識別コード間の全体の距離を減少させることに基づいており、
前記複数のマッチした再識別コード対についての入場ポイント及び出場ポイントを決定する、
ように構成されており、
前記グローバルマッチング方式は、前記入場ポイント及び前記出場ポイントに関する事前の統計的知識に更に基づいている、評価デバイス。
【請求項2】
前記グローバルマッチング方式は、組合せ最適化アルゴリズムに基づいており、且つ／或いは前記グローバルマッチング方式は、グラフベースアルゴリズムに基づいている、請求項１に記載の評価デバイス。
【請求項3】
２つの再識別コードの対のそれぞれは、前記対の前記再識別コード間の前記距離に基づいているコスト値と関連付けられており、前記グローバルマッチング方式は、前記複数のマッチした再識別コード対の前記コスト値の前記全体の合計を減少させることに基づいている、請求項１又は２のいずれか１項に記載の評価デバイス。
【請求項4】
各再識別コードは、前記それぞれの人物の顔の特徴、前記人物の歩容、前記人物の推定年齢、前記人物の推定性別、前記人物の推定身長、身体部分の推定長さ、及び前記人物の衣服のうちの１つ又は複数に更に基づいている、請求項１又は２のいずれか１項に記載の評価デバイス。
【請求項5】
各再識別コードは、タイムスタンプ及び／又は位置情報と関連付けられており、前記処理回路は、前記複数のマッチした再識別コード対についての入場及び出場の時間及び／又は位置を決定するように構成されている、請求項１又は２のいずれか１項に記載の評価デバイス。
【請求項6】
前記処理回路は、再識別コードが前記複数の再識別コードに追加されるときに、前記グローバルマッチング方式に基づいて前記複数の再識別コードの前記マッチングを更新するように構成されている、請求項１又は２のいずれか１項に記載の評価デバイス。
【請求項7】
前記複数の再識別コードは、複数の変換された再識別コードであり、各変換された再識別コードは、人物を表す再識別コードの類似性保存型変換に基づいており、前記再識別コードは、時間及び位置の少なくとも一方に依存する変換パラメータに基づいて変換される、請求項１又は２のいずれか１項に記載の評価デバイス。
【請求項8】
前記処理回路は、前記少なくとも１つのカメラの画像データを取得し、且つ前記画像データに基づいて前記複数の再識別コードを生成するように構成されている、請求項１又は２のいずれか１項に記載の評価デバイス。
【請求項9】
前記処理回路は、画像データの複数のフレームにわたって人物を追跡し、前記画像データの複数のフレームにわたる人物の前記追跡に基づいて前記人物が前記交通システムに入出場していることを決定し、前記交通システムに入出場する前記人物の決定の際に前記人物の再識別コードを生成するように構成されている、請求項８に記載の評価デバイス。
【請求項10】
前記処理回路は、画像データの複数のフレームにわたって人物を追跡し、且つ再識別コードの生成への前記フレームのそれぞれの適合性に基づいて、画像データの前記フレームのうちの１つに基づいて前記人物の再識別コードを生成するように構成されている、請求項１又は２のいずれか１項に記載の評価デバイス。
【請求項11】
前記処理回路は、クラスタリングアルゴリズムを使用して前記フレームの前記適合性を決定するように構成され、或いは前記処理回路は、前記少なくとも１つのカメラに対する前記人物の顔の角度に基づいて前記フレームの前記適合性を決定するように構成されている、請求項１０に記載の評価デバイス。
【請求項12】
前記交通システムは、単一の車両であり、各再識別コードは、前記車両に乗車し或いは下車するときにカメラによって記録される人物を表す、請求項１又は２のいずれか１項に記載の評価デバイス。
【請求項13】
交通システムにおける人物再識別のための方法であって、複数の再識別コードを取得すること（１５０）と、
ここにおいて、各再識別コードは、交通システムの少なくとも１つのセクションに入出場するときに少なくとも１つのカメラによって記録される人物を表し、
各マッチした再識別コード対が、入場する人物の再識別コードと出場する人物の再識別コードとを含むように、複数のマッチした再識別コード対を取得するためにグローバルマッチング方式を使用して前記複数の再識別コードをマッチングすること（１６０）と、
ここにおいて、前記グローバルマッチング方式は、前記複数のマッチした再識別コード対にわたって、前記マッチした再識別コード対の前記再識別コード間の全体の距離を減少させることに基づいており、
前記複数のマッチした再識別コード対についての入場ポイント及び出場ポイントを決定すること（１７０）とを含み、
前記グローバルマッチング方式は、前記入場ポイント及び前記出場ポイントに関する事前の統計的知識に更に基づいている、方法。
【請求項14】
請求項１３に記載の方法を実行するためのプログラムコードを有するコンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ、プロセッサ、処理回路、又はプログラム可能なハードウェアコンポーネント上で実行される、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
実施例は、入出場マッチングシステムの概念、特に交通システムにおける入出場マッチングについての人物再識別のための評価デバイス、方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
交通パターンの分析は、交通システムにおける自動リソースプランニングで注目されている。交通分析の分野では、交通需要はしばしば、交通ネットワーク内の位置間の交通流の定量的な推定を含む起終点行列に集約される。これは、よく研究され、広く応用されている研究分野である。各交通手段による乗客の交通経路の実測値は、起終点分析への貴重な示唆となる。多くの場合、そのような計測は、バス、電車、路面電車などに乗車し或いは下車する乗客を手作業で調査し、数え、或いは識別することによって情報を収集する、現場／車内での人材を有することによって実行される。しかしながら、交通ネットワーク内の起終点データを収集する手作業の方法は通常、コストがかかり、サンプルサイズはしばしば小さく、エラー及びバイアスが発生しやすい。
【0003】
自動料金徴収システム（ＡＦＣ）は、しばしば「スマートカード」を使用して実装され、場合によっては乗客の出発地及び目的地に関する信頼できる情報源を提供し得るが、場合によっては料金に関する全ての詳細が収集されるわけではない。ＡＦＣシステムは、２つのタイプ、オープン及びクローズドに分けられ得る。クローズドＡＦＣシステムは、乗客に入場位置及び出場位置の両方で登録させる。オープンＡＦＣシステムでは、乗客は、入場口で登録するのみである。オープンＡＦＣシステムのネットワークでは、出場する乗客に関する情報がないため、入出場マッチングは、実行できない。ＡＦＣがない或いはオープンＡＦＣを有する場所では、他の自動データ収集システム（ＡＤＣＳ）が、顧客の交通パターンに対する貴重な見解を交通機関に提供し得る。これは、機関及び乗客の両方に役立ち得る。
【0004】
学術的な文献では、いわゆる「入場イベント」又は「出場イベント」を作成するために、空間に入出場する人物の検出は、議論されている。いくつかの文献では、そのような検出は、視覚的なソフトバイオメトリック特性を使用して行われ、それは、出場する人物がマッチし得る様々な人々を絞り込む方法としての機能を果たし得る。しかしながら、そのような文献では、全体のマッチング戦略は、議論されていない。そのようなシステムは通常、提案されたマッチングの信頼度を評価する能力が非常に限られている。したがって、それらは、「ノイズの多い」、時には欠落した入力データに関する欠点を有する。
【0005】
入出場マッチングの改良された概念は、望まれ得る。
【発明の概要】
【0006】
この要求は、独立請求項の対象によって対処される。
【0007】
本開示の様々な態様は、交通システムにおける乗客の入場ポイント及び出場ポイントを決定する概念に関する。提案された概念は、システムによって収集される準最適なカメラの画像データのような、ノイズに対処するのに適している入出場マッチングの改良された概念を提供するために異なる技術を組合せている。
【0008】
特に、提案された概念は、視覚的な人物再識別に基づいている。視覚的な人物再識別システムは、（通常は顔の特徴から）人物の絶対的な同一性を確立しようとする識別システ
ムとは対照的に、外観のみから、人々を区別し或いは再識別する目的を果たす。例えば、システムにおける再識別の使用は、関係する全ての人物の実際の同一性の先験的知識の欠如に起因してもよいが、再識別の使用はまた、外部から強制されるプライバシーポリシーに起因してもよい。
ムとは対照的に、外観のみから、人々を区別し或いは再識別する目的を果たす。例えば、システムにおける再識別の使用は、関係する全ての人物の実際の同一性の先験的知識の欠如に起因してもよいが、再識別の使用はまた、外部から強制されるプライバシーポリシーに起因してもよい。
【0009】
視覚的な人物再識別が実行されるとき、それぞれの人物の画像データは、（典型的には機械学習ベースの）再識別システムを使用して分析され、それは、再識別コードを示すコードを作成し、再識別コードは、その人物を表す。一般的に、再識別コードはしばしば、人物の顔の特徴に基づいて生成される。しかしながら、衣服、又は身長、背丈又は歩容のような、人物の追加の特徴もまた、考慮されてもよい。提案された概念では、再識別システムは、カメラ画像から人物の特徴を抽出するのに適しているシステムであり、これらの特徴は、他のカメラ画像から抽出された特徴とそれらを比較することによって人々を再識別するために使用され得る。
【0010】
提案された概念では、これらの再識別コードは、例えばカメラで、人物が交通システムに入出場していることが検出されたときに生成される。これは、交通システムに入出場する人々に対して何の行動も要求しないような目立たない方法で行われてもよい。そのような入場イベント又は出場イベントの検出で、再識別コードは、入場ポイント又は出場ポイント（例えば、タイムスタンプ及び／又は入場／出場の位置）と共に、生成されて記憶される。記憶されたデータに基づいて、グローバルマッチングは実行され、それは、交通システムに入場する人物の再識別コードと出場する人物の再識別コードとの間の最適な割り当て／マッチングを見つけようと試みる。例えば、割り当て／マッチングシステムは、出場する人々から入場する人々への最適或いは最適に近い割り当て／マッチングを見つけるために使用されてもよい。
【0011】
明らかなように、提案された概念は、３つのサブシステム－カメラを使用してドアに出入りする人々を目立たなく検出するためのシステムと、再識別システムと、割り当て／マッチングシステムとを含んでもよいし、或いはそれらで構成されてもよい。公共交通機関に関しては、クローズドＡＦＣシステムを有さない交通機関が、バス、電車、地下鉄などの出発点及び到着点のような乗客の料金の詳細を把握することを可能にする自動入出場マッチングシステムを、提案された概念によって提供される。その情報は、わずかな短時間の遅延で利用可能となり得る。一般的に、システムは、乗客が任意の指示に従うことを必要としない。特に、乗客は、システムと積極的に関わる必要はないだろう。上述した３つのシステムのうち、少なくとも割り当て／マッチングシステムは、評価デバイス、方法及び／又はコンピュータプログラムによって実装されてもよい。提案された概念、例えば、評価デバイス、方法及び／又はコンピュータプログラムは、各車両で個別に実装されてもよいし、或いは交通システムの中心のポイントで集中的に実装されてもよい。
【0012】
本開示の様々な実施例は、交通システムにおける人物再識別のための評価デバイスに関する。評価デバイスは、複数の再識別コードを取得するように構成されている処理回路を含む。各再識別コードは、交通システムの少なくとも１つのセクションに入出場するときに少なくとも１つのカメラによって記録される人物を表す。処理回路は、各マッチした再識別コード対が、入場する人物の再識別コードと出場する人物の再識別コードとを含むように、複数のマッチした再識別コード対を取得するためにグローバルマッチング方式を使用して複数の再識別コードをマッチングするように構成されている。グローバルマッチング方式は、複数のマッチした再識別コード対にわたって、マッチした再識別コード対の再識別コード間の全体の距離を減少させることに基づいている。処理回路は、複数のマッチした再識別コード対についての入場ポイント及び出場ポイントを決定するように構成されている。再識別コードの使用によって、外部データベースは必要とされず、カメラの画像は記憶される必要はない。グローバルマッチング方式を使用することによって、提案され
たシステムは、全体のマッチングをより確からしくさせるのであれば、新しい観察に基づいて以前にマッチした入場及び出場を再割り当てしてもよく、別個にマッチングの質を評価する代わりに、他のマッチングとの全体の整合性に基づいてマッチングの信頼度を評価してもよい。いくつかの実施例では、入場及び／又は出場の計測値が欠落している場合でも、提案されたシステムは、確からしいマッチングを提供し得る。
たシステムは、全体のマッチングをより確からしくさせるのであれば、新しい観察に基づいて以前にマッチした入場及び出場を再割り当てしてもよく、別個にマッチングの質を評価する代わりに、他のマッチングとの全体の整合性に基づいてマッチングの信頼度を評価してもよい。いくつかの実施例では、入場及び／又は出場の計測値が欠落している場合でも、提案されたシステムは、確からしいマッチングを提供し得る。
【0013】
上記のマッチング問題は一般的に、様々なタイプのアルゴリズムを使用して取り組んでもよい。特に、組合せ最適化アルゴリズムは、離散的なポテンシャル解の有限集合を有する最適化問題によく適しているため、使用されてもよい。したがって、グローバルマッチング方式は、組合せ最適化アルゴリズムに基づいていてもよい。組合せ最適化アルゴリズムは、線形割り当て問題（ＬＡＰ）に特に適しており、それは、入出場する人物の再識別コード間のマッチングを基礎とする一般的概念である。
【0014】
一般的に、上記のマッチング問題は、２部グラフとして定式化され得、入場する人物の再識別コードを表す頂点はグラフの一部に含まれ、出場する人物の再識別コードを表す頂点はグラフの他の一部に含まれる。したがって、グローバルマッチング方式は、グラフベースアルゴリズムに基づいていてもよい。例えば、グローバルマッチング方式は、グラフ内の２つのセットの頂点間のエッジの全体の距離を減少し或いは最小化する１つのセットのグラフエッジを識別するために使用されてもよい。
【0015】
そのような組合せの、グラフベースアルゴリズムの１つは、いわゆるハンガリアンアルゴリズムである。したがって、グローバルマッチング方式は、ハンガリアンアルゴリズムに基づいていてもよい。ハンガリアンアルゴリズムは、割り当て問題を解決する組合せ最適化アルゴリズムである。代替的に、他の（組合せ）最適化アルゴリズムは、使用されてもよい。
【0016】
再識別コードの比較では、類似性尺度が、２つの再識別コード間の「距離」を定義するために使用される。一方、線形割り当て問題は、一般的に最適化対象として（通常は非金銭的な）コストを使用する。したがって、２つの再識別コードの対のそれぞれは、その対の再識別コード間の距離に基づいているコスト値と関連付けられてもよい。グローバルマッチング方式は、複数のマッチした再識別コード対のコスト値の全体の合計を減少させることに基づいていてもよい。言い換えれば、コストは、再識別コード間の距離をモデル化してもよい。
【0017】
様々な実施例において、グローバルマッチング方式は、入場ポイント及び出場ポイントに関する事前の統計的知識に更に基づいている。事前の統計的知識は、それぞれの人物の再識別コードの１つが適切に生成できなかった場合にマッチングを推測するために使用され得る。一般的に、事前の統計的知識は、過去からの観察、例えば、ある一定の入場ポイント又は出場ポイントでどれだけの人々が乗車し或いは下車するか、或いは駅のような、入場ポイント又は出場ポイントが通常（この時間に）どれだけ混雑しているかに関する観察に基づいていてもよい。例えば、事前の統計的知識は、移動される駅の全体又は平均（average/mean）数、所定の乗車駅に対する最も可能性の高い下車駅（又はその逆）、所定の駅で（所定の時間に）入出場する乗客の予想割合又は絶対値に関する統計を含んでもよい。いくつかの実施例では、提案されたシステムは、観察された統計をマッチングアルゴリズムにフィードバックすることによって時間が経つにつれて改良し得る。
【0018】
一般的に、各再識別コードは、それぞれの人物の顔の特徴に基づいていてもよい。顔の特徴を使用した人物再識別は、それぞれの人物が、例えば、帽子をかぶり或いはジャケットを脱ぐことによって、衣服を変える場合でも、再識別を可能にし得る。追加的に又は代替的に、各再識別コードは、人物の歩容、人物の推定年齢、人物の推定性別、人物の推定
身長、身体部分の推定長さ、及び人物の衣服のうちの１つ又は複数に基づいていてもよい。これらの特徴は、人物の顔の特徴が再識別コード（の一部）に適切に変換できなかったシナリオにおいて特に有用であり得る。
身長、身体部分の推定長さ、及び人物の衣服のうちの１つ又は複数に基づいていてもよい。これらの特徴は、人物の顔の特徴が再識別コード（の一部）に適切に変換できなかったシナリオにおいて特に有用であり得る。
【0019】
いくつかの実施例では、各再識別コードは、タイムスタンプ及び／又は位置情報と関連付けられている。処理回路は、複数のマッチした再識別コード対についての入場及び出場の時間及び／又は位置を決定するように構成されてもよい。これは、交通システム内のパターンをモデル化した、起終点行列のような、統計情報を決定するのに有用であり得る。
【0020】
グローバルマッチング方式は、データのセット全体に基づいているときに最も正確な結果を提供し得る。しかしながら、この精度は、データ収集が終了された後にのみ達成され得る。しかしながら、いくつかの実施例では、データ収集が終了される前に初期の或いは断続的な結果を収集することが望ましい場合がある。したがって、初期のマッチングが実行されて時間が経つにつれて更新されてもよい。例えば、処理回路は、再識別コードが複数の再識別コードに追加されるときにグローバルマッチング方式に基づいて複数の再識別コードのマッチングを更新するように構成されてもよい。言い換えれば、グローバルマッチングは、再識別コードが複数の再識別コードに追加された後に繰り返されてもよい。その結果、グローバルマッチング方式は、初期に不完全なデータに適用され、それは、高速な初期の結果を提供してもよく、後に追加の再識別コードが複数の再識別コードに追加されるにつれて改良される。
【0021】
上述したように、人物が少なくとも１つのカメラによって適切に記録できず、それぞれの再識別コードは、簡単なマッチング手順に潜在的に適していない場合があり得る。緩和するために、様々な手段が、講じられてもよい。例えば、ゼロの明示的な信頼度が、それぞれの再識別コードとの全てのマッチングのために使用されてもよい。言い換えれば、再識別コードの生成に関して詳しく説明するように、それぞれの人物を適切に表す再識別コードを生成するのに適していない画像データから再識別コードが生成されるとき、この再識別コードは、例えば、個々の再識別コードに低い信頼水準を割り当てることによって、適していないものとしてマークされ得る。画像データの不適合性に起因して、そのような再識別コードが他の再識別コードとマッチングされるとき、これらの再識別コード間の距離は、適切な画像データから生成される再識別コード間の距離よりも意味を持たなくなる場合がある。したがって、不適切な画像データから生成される少なくとも１つの再識別コードを含むマッチングの信頼度は、アルゴリズムが、再識別コード間の距離のみに基づいて、このマッチングが正しいという、より低い信頼度を有するため、適切な画像データから生成される２つの再識別コードを含むマッチングの信頼度よりもより低く（例えば、ゼロに）設定されてもよい。言い換えれば、再識別コードの信頼度又は信頼水準は、他の再識別コードと比較するための再識別コードの質又は適合性を示してもよい。再識別コード間のマッチングの信頼度又は信頼水準は、（例えば、再識別コード間の距離のみに基づいて決定される）マッチングの質を示してもよい。
【0022】
代替的に、オールゼロベクトルは、再識別コードとして使用されてもよく、それは、全ての人物との期待距離がゼロであるという特性を有し、或いは再識別コードの距離が他の再識別コードと等しくなるように明示的に設定されてもよい。例えば、複数の再識別コードは、部分集合外の再識別コードと等しい距離を有するシンボリック再識別コードの部分集合を含んでもよいし、或いは（全ての）他の再識別コードとの期待距離がゼロであるシンボリック再識別コードの部分集合を含んでもよい。シンボリック再識別コードは、交通システムに入出場する人物を示す画像データに基づいていてもよく、その画像データは、人物を表す再識別コードを生成するのに適していない。例えば、シンボリック再識別コードは、（例えば、再識別コードを生成するために使用されている機械学習モデルによって出力される値が予約された／シンボリック再識別コード外の値の範囲に制限されるため）
オールゼロベクトル、オールワンベクトル、又は画像データに基づいて取得できない他のタイプの予約された再識別コードのような、予め定められた値（例えば、予め定められた２値ベクトルに対応する）を有してもよい。言い換えれば、シンボリック再識別コードは、画像データに基づいて再識別コードを生成することによっては取得できない再識別コードであってもよい。言い換えれば、画像データが再識別コードを生成するために使用される機械学習モデルによって処理されるとき、シンボリック再識別コードは予約されてもよく、したがって、生成されなくてもよい。例えば、シンボリック再識別コードは、例えば、オールゼロベクトルのような、予約された値を有するため、容易に識別されてもよい。
オールゼロベクトル、オールワンベクトル、又は画像データに基づいて取得できない他のタイプの予約された再識別コードのような、予め定められた値（例えば、予め定められた２値ベクトルに対応する）を有してもよい。言い換えれば、シンボリック再識別コードは、画像データに基づいて再識別コードを生成することによっては取得できない再識別コードであってもよい。言い換えれば、画像データが再識別コードを生成するために使用される機械学習モデルによって処理されるとき、シンボリック再識別コードは予約されてもよく、したがって、生成されなくてもよい。例えば、シンボリック再識別コードは、例えば、オールゼロベクトルのような、予約された値を有するため、容易に識別されてもよい。
【0023】
様々なシナリオにおいて、機械学習を使用した人物の追跡は、好ましくない場合があり、或いは禁止さえもされ得る。提案された概念では、いわゆる変換された再識別コードを使用することによって、時間及び／又は位置を超えた人物の追跡が不可能（又は少なくとも著しく困難）となることがあり、それは、同じ時間及び／又は位置で行われる再識別コードの比較を可能にするが、時間及び位置を超えては役に立たない方法で変換される（暗号化される）再識別コードである。したがって、いくつかの実施例では、複数の再識別コードは、複数の変換された再識別コードである。各変換された再識別コードは、人物を表す再識別コードの類似性保存型変換に基づいていてもよい。再識別コードは、時間及び位置の少なくとも一方に依存する変換パラメータに基づいて変換されてもよい。例えば、変換された再識別コードは、基礎となる変換パラメータの知識なしで、基礎となる再識別コードに変換することが実行不可能であってもよい。
【0024】
いくつかの実施例では、再識別コードは、外部のエンティティによって、例えば、少なくとも１つのカメラと同位置にある計算デバイスによって生成されてもよい。この場合、複数の再識別コード（又は複数の変換された再識別コード）は、少なくとも１つのカメラと同位置にあるデバイスから（変換された）再識別コードを受信することによって取得されてもよい。しかしながら、いくつかの実施例では、評価デバイスはまた、複数の再識別コードを生成してもよい。処理回路は、少なくとも１つのカメラの画像データを取得するように構成されてもよい。処理回路は、画像データに基づいて複数の（変換された）再識別コードを生成するように構成されてもよい。言い換えれば、（変換された）再識別コードは、画像データに基づいて再識別コードを生成することによって取得されてもよい。
【0025】
交通システムでは、人物はしばしば、それぞれの車両内にいる間、カメラによって記録される。しかしながら、提案された概念の焦点は、交通システムに入出場する人物である。したがって、画像データは、記録される人物が車両に乗車或いは下車しているか否かを決定するために分析されてもよい。処理回路は、画像データの複数のフレームにわたって人物を追跡するように構成されてもよい。処理回路は、画像データの複数のフレームにわたる人物の追跡に基づいて人物が交通システムに入出場することを決定するように構成されてもよい。処理回路は、交通システムに入出場する人物の決定の際に人物の再識別コードを生成するように構成されてもよい。したがって、交通システムに入出場する人物の再識別コードのみが、複数の再識別コードに追加されてもよい。
【0026】
複数のフレームにわたる人物の追跡はまた、質、すなわち生成された再識別コードの「表現性」を高めるために使用されてもよい。例えば、全ての画像フレームは、人物を適切に表す再識別コードを生成するのに同等に適しているとは限らない。例えば、陰影、オクルージョン、又は交通車両に乗車し或いは下車している間のカメラから背けられた顔に起因して、同一人物を表す再識別コード間の距離は、理想的な状況下よりも、より大きくなり得る。したがって、再識別コードの生成に適している１つ（又は部分集合）のフレームが選択され、このフレームに基づいて生成される再識別コードが使用されてもよい。言い換えれば、処理回路は、画像データの複数のフレームにわたって人物を追跡し、再識別コードの生成についてのそれぞれのフレームの適合性に基づいて、画像データのフレームの
うちの１つに基づいて人物の再識別コードを生成するように構成されてもよい。
うちの１つに基づいて人物の再識別コードを生成するように構成されてもよい。
【0027】
それぞれのフレームの適合性は、プログラム的に決定されてもよい。例えば、処理回路は、クラスタリングアルゴリズムを使用してフレームの適合性を決定するように構成されてもよい。例えば、再識別コードは、フレームのそれぞれについて決定されてもよい。再識別コードは、クラスタ化されてもよいし、再識別コードは、最大のクラスタから選択されてもよい。代替的に又は追加的に、処理回路は、少なくとも１つのカメラに対する人物の顔の角度に基づいてフレームの適合性を決定するように構成されてもよい。例えば、いくつかの角度は、他の角度よりも再識別コードを生成するのに、より適していてもよい。
【0028】
上述したように、場合によっては、画像フレームは、人物を表す再識別コードを生成するのに適していない場合がある。そのような状況に対処するために、様々な技術が上述された。これらの技術は、それぞれの再識別コードの生成中に適用されてもよい。例えば、処理回路は、画像データのフレームが人物を表す再識別コードを生成するのに適していない場合、他の再識別コードと等しい距離を有するシンボリック再識別コードを生成するように構成されてもよいし、或いは（全ての）他の再識別コードとの期待距離がゼロであるシンボリック再識別コードを生成するように構成されてもよい。
【0029】
収集されたデータは、例えば、必要な車両の数などに関する決定を支援するために、或いは、車掌に車両内の乗客の数及び／又は位置を示すために、乗客の流れを視覚化するために使用されてもよい。処理回路は、マッチした再識別コード対の視覚的な表現を含む表示信号を生成するように構成されてもよい。例えば、視覚的な表現は、入場ポイントを表す第１のタイムラインと、出場ポイントを表す第２のタイムラインと、入場ポイントを出場ポイントと結び付けるための視覚的な要素とを含んでもよい。そのような表現は、収集されたデータに含まれる交通パターンを強調してもよい。
【0030】
より直感的な分析のために、異なる色が、異なる人物を表すために使用されてもよい。例えば、入場ポイント及び出場ポイントは、それぞれのタイムライン上のポイントとして表されてもよい。各ポイントは、それぞれのポイントと関連付けられた再識別コードに由来する色を有してもよい。追加的に又は代替的に、マッチした再識別コードを表すポイントは、線によって結ばれてもよい。
【0031】
上述したように、提案された概念は、異なるスケールで適用されてもよい。例えば、提案された概念は、単一の車両に適用されてもよい。言い換えれば、交通システムは、単一の車両であってもよく、各再識別コードは、車両に乗車し或いは下車するときにカメラによって記録される人物を表す。例えば、車両は、バス、電車、飛行機、及びフェリーのうちの１つであってもよい。さらに、マッチングは、単一の車両による１回の移動に限定されてもよい。したがって、複数の再識別コードは、２つのターミナル駅間の１回の移動中に車両に乗車し且つ下車する人物を表してもよく、移動は、複数の中間停留場を含む。これは、交通パターンの分散型分析を可能にし得る。
【0032】
代替的に、提案された概念は、より大規模で、より相互接続された方式で使用されてもよい。例えば、交通システムは、共通のアクセス制御機構を有する交通拠点のシステムであってもよい。
【0033】
本開示の様々な態様は、交通システムにおける人物再識別の対応する方法に関する。本方法は、複数の再識別コードを取得することを含む。各再識別コードは、交通システムの少なくとも１つのセクションに入出場するときに少なくとも１つのカメラによって記録される人物を表す。本方法は、各マッチした再識別コード対が入場する人物の再識別コードと出場する人物の再識別コードとを含むように、複数のマッチした再識別コード対を取得
するためにグローバルマッチング方式を使用して複数の再識別コードをマッチングすることを含む。グローバルマッチング方式は、複数のマッチした再識別コード対にわたって、マッチした再識別コード対の再識別コード間の全体の距離を減少させることに基づいている。本方法は、複数のマッチした再識別コード対についての入場ポイント及び出場ポイントを決定することを含む。
するためにグローバルマッチング方式を使用して複数の再識別コードをマッチングすることを含む。グローバルマッチング方式は、複数のマッチした再識別コード対にわたって、マッチした再識別コード対の再識別コード間の全体の距離を減少させることに基づいている。本方法は、複数のマッチした再識別コード対についての入場ポイント及び出場ポイントを決定することを含む。
【0034】
本開示の様々な態様は、コンピュータプログラムがコンピュータ、プロセッサ、処理回路、又はプログラム可能なハードウェアコンポーネント上で実行されるとき、上記の方法を実行するためのプログラムコードを有する対応するコンピュータプログラムに関する。
【図面の簡単な説明】
【0035】
装置及び／又は方法のいくつかの実施例は、例としてのみ説明され、添付の図を参照しながら、以下に説明される。
【0036】
【発明を実施するための形態】
【0037】
いくつかの実施例は、同封された図を参照してより詳細に説明される。しかしながら、他の可能な実施例は、詳細に説明されたこれらの実施形態の特徴に限定されない。他の実施例は、特徴の変更だけでなく、特徴の均等物及び代替物も含んでもよい。さらに、ある一定の実施例を説明するために本明細書で使用される用語は、更なる可能な実施例について制限的であってはならない。
【0038】
図の説明を通じて、同一或いは類似の参照番号は、同一或いは類似の要素及び／又は特徴を参照し、それらは、同一或いは類似の機能を提供しながら同一でもよいし、或いは変更された形で実装されてもよい。図中の線、層及び／又は領域の太さはまた、明確にするために誇張されてもよい。
【0039】
２つの要素Ａ及びＢが「又は」を使用して結合されているとき、これは、個々の事例において明確に定義されない限り、全ての可能な組合せ、すなわちＡのみ、Ｂのみ、並びにＡ及びＢを開示することとして理解されるものとする。同じ組合せについての代替表現として、「Ａ及びＢの少なくとも一方」又は「Ａ及び／又はＢ」は、使用されてもよい。これは、２つ以上の要素の組合せに等しく適用する。
【0040】
単数形が使用され、単一の要素のみの使用が明示的に或いは暗示的に必須と定義されていない場合、更なる実施例はまた、同じ機能を実装するためにいくつかの要素を使用してもよい。ある機能が複数の要素を使用して実装されるものとして以下に説明される場合、
更なる実施例は、単一の要素又は単一の処理エンティティを使用して同じ機能を実装してもよい。用語「含む」及び／又は「含んでいる」は、使用されるとき、指定された特徴、整数、ステップ、操作、プロセス、要素、コンポーネント及び／又はそれらのグループの存在を説明するが、１つ又は複数の他の特徴、整数、ステップ、操作、プロセス、要素、コンポーネント及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されよう。
更なる実施例は、単一の要素又は単一の処理エンティティを使用して同じ機能を実装してもよい。用語「含む」及び／又は「含んでいる」は、使用されるとき、指定された特徴、整数、ステップ、操作、プロセス、要素、コンポーネント及び／又はそれらのグループの存在を説明するが、１つ又は複数の他の特徴、整数、ステップ、操作、プロセス、要素、コンポーネント及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されよう。
【0041】
図１ａは、交通システムにおける人物再識別のための評価デバイス１０、及び評価デバイス１０と少なくとも１つのカメラ２１０、カメラ２２０とを含むシステムの一例のブロック図を示す。評価デバイス１０は、評価デバイス１０の機能性を提供するように構成されている処理回路１４を含む。任意に、評価デバイス１０は、情報を交換するための少なくとも１つのインターフェース１２、及び／又は情報を記憶して検索するための少なくとも１つの記憶デバイス１６のような、１つ又は複数の更なるコンポーネントを含んでもよい。例えば、任意のインターフェース１２及び／又は任意の記憶デバイス１６は、処理回路１４と結合されてもよい。例えば、インターフェース１２は、画像データ、再識別コード及び／又は表示信号のような、情報を受信し且つ／或いは送信するために使用されてもよい。記憶デバイス１６は、再識別コード、再識別コード間のマッチング、及び／又は再識別コードを生成するために使用される機械学習モデルのような、情報を記憶して検索するために使用されてもよい。
【0042】
処理回路は、複数の再識別コードを取得するように構成されている。各再識別コードは、交通システムの少なくとも１つのセクションに入出場するときに少なくとも１つのカメラによって記録される人物を表す。処理回路は、各マッチした再識別コード対が入場する人物の再識別コードと出場する人物の再識別コードとを含むように、複数のマッチした再識別コード対を取得するためにグローバルマッチング方式を使用して複数の再識別コードをマッチングするように構成されている。グローバルマッチング方式は、複数のマッチした再識別コード対にわたってマッチした再識別コード対の再識別コード間の全体の距離を減少させることに基づいている。処理回路は、複数のマッチした再識別コード対についての入場ポイント及び出場ポイントを決定するように構成されている。
【0043】
図１ｂは、交通システムにおける人物再識別のための対応する方法の一例のフローチャートを示す。本方法は、複数の再識別コードを取得すること１５０を含む。本方法は、各マッチした再識別コード対が入場する人物の再識別コードと出場する人物の再識別コードとを含むように、複数のマッチした再識別コード対を取得するためにグローバルマッチング方式を使用して複数の再識別コードをマッチングすること１６０を含む。本方法は、複数のマッチした再識別コード対についての入場ポイント及び出場ポイントを決定すること１７０を含む。例えば、本方法は、評価デバイスによって実行されてもよい。評価デバイスに関連して導入された特徴は、同様に、対応する方法に導入されてもよい（逆も同様）。
【0044】
提案された概念の様々な実施例は、交通システムにおける人物再識別のための評価デバイス、方法及びコンピュータプログラムに関する。特に、提案された概念は、交通システムにおける人物の入場ポイント及び出場ポイントの決定に関し、それは、起終点行列を生成するために使用されてもよい。そのような行列を生成するための他の取り組みとは異なり、提案された概念は、人物再識別とグローバルマッチング方式とに基づいて、入場イベント及び対応する出場イベントの自動検出に基づいている。提案されたシステムは、目立たないように設計されており、処理される人物からの相互作用を必要としないかもしれない。
【0045】
提案された概念は、交通システムにおける使用に応じている。この文脈では、用語「交
通システム」は、多くの潜在的なレベルを有する。例えば、交通システムは、バス、電車（首都圏の電車を含む）、飛行機、及びフェリーのうちの１つのような、単一の車両に対応してもよい。この場合、各再識別コードは、車両に乗車し或いは下車するときにカメラによって記録される人物を表してもよい。特に、提案された概念は、乗客によって利用される経路に関する統計情報を収集するために、２つのターミナル駅間の単一の車両の１回の移動に適用されてもよい。その結果、複数の再識別コードは、２つのターミナル駅間の１回の移動中に車両に乗車し且つ下車する人物を表してもよく、移動は、複数の中間停留場を含む。言い換えれば、複数の再識別コードは、１回の移動中に車両に乗車し且つ下車する人物の集まりであってもよい。
通システム」は、多くの潜在的なレベルを有する。例えば、交通システムは、バス、電車（首都圏の電車を含む）、飛行機、及びフェリーのうちの１つのような、単一の車両に対応してもよい。この場合、各再識別コードは、車両に乗車し或いは下車するときにカメラによって記録される人物を表してもよい。特に、提案された概念は、乗客によって利用される経路に関する統計情報を収集するために、２つのターミナル駅間の単一の車両の１回の移動に適用されてもよい。その結果、複数の再識別コードは、２つのターミナル駅間の１回の移動中に車両に乗車し且つ下車する人物を表してもよく、移動は、複数の中間停留場を含む。言い換えれば、複数の再識別コードは、１回の移動中に車両に乗車し且つ下車する人物の集まりであってもよい。
【0046】
代替的に、交通システムは、複数の拠点の入場口及び出場口で設置されるカメラを備えて、複数の交通拠点を含む、より大きなエンティティに関してもよい。言い換えれば、交通システムは、共通のアクセス制御機構（例えば、ゲート）を有する交通拠点のシステムであってもよい。例えば、交通システムは、交通システムに入場するときに（例えば、カードをスワイプすることによって）乗客にチケットを提示することを要求するゲートを有する首都圏の電車システムであってもよいが、交通システムを出場するときに再びチケットを提示することを要求しないかもしれない。この場合、入場及び出場で設置されるカメラは、乗客についての入場ポイント／出場ポイントを決定するために使用されてもよい。
【0047】
上述したように、システムは、区切られた或いは限られた空間、例えば、車両、又は部屋、又は相互接続された交通拠点のシステムに設置されてもよく、人々は、１つ又は複数の入場口及び出場口を通して入出場する。一般的に、入場ポイントはまた、例えば、公共交通機関の車両でよく見られるように、人々が同じドアを通して入出場する場合、出場ポイントとしての機能を果たし得る。提案されたシステムは、人々の流れが都合よく監視できないオープンスペースには適していないかもしれない。
【0048】
以下では、交通システムは、一般性を損なうことなく、バスのような、単一の車両であることと仮定し、１つのドアが入場口としての機能を果たし、もう１つのドアが出場口としての機能を果たす。このシナリオは、図２に示されている。図２は、１つの入場ポイントと１つの出場ポイントとを有する、コンパートメントのような、区切られた空間の概略図を示す。図２は、機械学習ベースの再識別に適している画像が取得され得るように入出場する人物に向いている２つのカメラ２１０、カメラ２２０を示す。
【0049】
図２の図面から明らかになるように、提案されたシステムは、それぞれ入出場する人物に向いている、交通システムの入場口及び／又は出場口で配置される少なくとも１つのカメラ２１０、カメラ２２０の使用に依存する。しかしながら、これらのカメラは、評価デバイス１０の外部であり、単に評価デバイス１０に接続可能である。例えば、少なくとも１つのカメラは、交通拠点においてそれぞれの車両内に配置されてもよいし、或いは車両の外部に配置されてもよい。いくつかの実施例では、少なくとも１つのカメラは、（機械学習ベースの）再識別コードを生成することが可能である計算デバイスに接続される。例えば、再識別コードは、少なくとも１つのカメラと同位置にある計算デバイスによって生成されてもよい。この場合、評価デバイスは、カメラから交通システムに入出場する人物の再識別コードを単に受信するだけでもよい。代替的に、再識別コードは、評価デバイスによって生成されてもよい。同様に、車両に乗車し且つ下車する人物の検出は、評価デバイスによって実行されてもよい。この場合、評価デバイスは、少なくとも１つのカメラから画像データを取得してもよい。任意に、システムは、レーザベースのセンサのような、人々が入出場するときに検出することの作業を支援する追加のセンサに接続し得る。しかしながら、ほとんどの場合、カメラは、少なくとも１つのカメラ又は評価デバイスと同位置にある計算デバイスのような、計算デバイスと組合せて使用され得、支援なしでこの作業を取り扱い得る。いくつかの実施例では、入場口／出場口毎の追加のカメラは、入出場
検出及び再識別計測を支援するために使用されてもよい。
検出及び再識別計測を支援するために使用されてもよい。
【0050】
人物が少なくとも１つのカメラによって記録されると、少なくとも１つのカメラによって生成されたそれぞれの画像データは、再識別コードを生成して人物の入出場を検出するために、例えば、少なくとも１つのカメラと同位置にある計算デバイスによって、或いは評価デバイスによって、ソフトウェアを介して処理される。特に、提案されたシステムは、人物再識別及び入場検出のための機械学習（ＭＬ）ベースの技術を使用してもよい。これらの技術は、例えば、コストメトリックが提供されるとき、交通システムに入出場する人物間の全体的に最適な割り当てを見つけるために使用されるアルゴリズムと組合せて使用される。したがって、提案されたシステムは、３つのソフトウェアコンポーネントを含み、そのうちの少なくともマッチングコンポーネントは、評価デバイスによって実行される。例えば、ソフトウェアは、カメラフィードにおいてドアに出入りする人々を検出するためのサブシステム（少なくとも１つのカメラと同位置にある計算デバイスによって、或いは評価デバイスによって実行される）、機械学習ベースの再識別システム（少なくとも１つのカメラと同位置にある計算デバイスによって、或いは評価デバイスによって実行される）、及び組合せ最適化アルゴリズムのような、グローバルマッチングアルゴリズム（評価デバイスによって実行される）を実装するために使用されてもよい。
【0051】
図３では、入出場する乗客を登録するためのプロセスの一例のフローチャートが示されている。図３で述べるように、プロセスは、多数のコンポーネントを含む。図３の例示的なプロセスにおいて、カメラ３００は、画像シーケンス３１０を生成するために使用される。画像は、画像内で識別３２０され得る、人物の顔を描写していてもよい。人物／人々は、フレームにわたって追跡３３０されてもよい。例えば、人物は、ドアの近傍で追跡されてもよい３４０。決定３５０は、追跡された人物がドアを通過するか否かに関して行われてもよい（例えば、幾何学的な基準に基づいて）。「いいえ」の場合、アルゴリズムは停止して初めから開始してもよい。「はい」の場合、正規化されて切り取られたポートレートは、顔のキーポイント情報を使用して抽出３６０されてもよい。正規化されて切り取られたポートレートに基づいて、再識別コードは、顔認識システムを使用して生成されてもよい。再識別コードは、例えば、それぞれの画像データの情報源であるカメラに依存して、入場又は出場のリストにそれぞれの画像データが撮影された時間／位置と共に記憶されてもよい。記憶されたデータは、後に入場イベントを出場イベントと比較するために使用されてもよい。図３は、車両に乗車し或いは下車する乗客を登録するためのプロセスの一例として捉えられるべきである。提案された概念のいくつかのコンポーネントは、本開示の以下のセクションで述べるように、省略され或いは置換されてもよい。
【0052】
いくつかの実施例では、再識別コードは、評価デバイスによって生成され、入出場検出はまた、評価デバイスによって実行される。この場合、再識別コードは、少なくとも１つのカメラによって供給される画像データに基づいて、評価デバイスによって、再識別コードを生成することによって取得されてもよい。代替的に、これらの作業は、少なくとも１つのカメラと同位置にある計算デバイスによって実行されてもよい。この場合、再識別コードは、少なくとも１つのカメラと同位置にある計算デバイスから再識別コードを受信することによって取得されてもよい。以下では、再識別コードは、評価デバイスによって生成され、入出場検出はまた、評価デバイスによって実行されると仮定する。
【0053】
回路は、例えば、少なくとも１つのカメラと同位置にある計算デバイスからそれらを受信することによって、或いは、それらを生成することによって、複数の再識別コードを取得するように構成されている。いずれの場合も、人物のカメラの画像データを再識別コードに符号化するのに適している機械学習ベースの再識別システムが、使用されてもよい。人物（又は物体）の追跡は、画像内で知覚可能である人物を表すいわゆる再識別コードを画像から生成することによって行われ得る。再識別システムでは、所定の人物について、
再識別コードが、人物が撮影された複数の画像にわたって類似しているように生成され、評価デバイスがそれぞれの人物の入出場を追跡することを可能にする。例えば、再識別コードは、同一人物を表す再識別コードが典型的に、異なる人々の画像から符号化された再識別コードよりも近いというような定量的な距離メトリックを提供するという特性を有してもよい。
再識別コードが、人物が撮影された複数の画像にわたって類似しているように生成され、評価デバイスがそれぞれの人物の入出場を追跡することを可能にする。例えば、再識別コードは、同一人物を表す再識別コードが典型的に、異なる人々の画像から符号化された再識別コードよりも近いというような定量的な距離メトリックを提供するという特性を有してもよい。
【0054】
一般的に、再識別は、再識別コードを生成するために各画像にハッシュ関数を適用することによって実装されてもよい。生成されたハッシュコードは、それぞれの画像内で見える人物を表し、類似メトリックを使用して比較されてもよい。様々な方法が、視覚的な再識別のためのそのようなシステムを実装するために使用され得る。多くのシステムは、手作業の視覚的な特徴（性別、年齢、顔の特徴、衣服の色、髪型、体型など）を使用するが、可能な限り最高精度を得るために、多くの取り組みは、例えば、トリプレット損失に基づくディープラーニングベースの技術に依存する。しかしながら、再識別コードを計算するために使用される的確な方法は、概念を説明するために重要ではない。例えば、Ｙｅ他著「Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｐｅｒｓｏｎ Ｒｅ－ｉｄｅｎｔｉｆｉｃａｔｉｏｎ： Ａ Ｓｕｒｖｅｙ ａｎｄ Ｏｕｔｌｏｏｋ」（２０２０）は、ディープラーニングに基づいている再識別のためのハッシングアルゴリズムについての実施例を提供する。したがって、機械学習モデル、例えばディープラーニングネットワークが、再識別コードを生成するために使用されてもよい。
【0055】
様々な実施例において、機械学習ベースの顔再識別システムが使用されてもよい。言い換えれば、各再識別コードは、それぞれの人物の顔の特徴に基づいていてもよい。提案されたシステムは、機械学習ベースの顔のキーポイント検出システムを使用してもよく、キーポイントは、再識別コードとして符号化され、それは、顔認識システムの精度を高め得る。いくつかの実施例では、再識別システムは、一緒に動作するシステムの組合せを使用し得る。顔再識別の他に、年齢／性別の分類、身長及び歩容の推定、衣服などは、再識別コードを生成するときに考慮されてもよい。言い換えれば、各再識別コードは、人物の歩容、人物の推定年齢、人物の推定性別、人物の推定身長、身体部分の推定長さ、及び人物の衣服のうちの１つ又は複数に更に基づいていてもよい。
【0056】
提案された概念では、人物は、車両に乗車し或いは下車する間に記録されており、それは、交通拠点（例えば、バス停留所）で典型的に発生する。しかしながら、交通拠点では、一般的に、多くの人物は、しばしば急いで、車両に乗車し或いは下車する。したがって、少なくとも１つのカメラによって生成された画像データは、不鮮明であり得、準最適な角度から人物を表し得、或いは人物は、入場／出場領域に立っている他の人物によって部分的にふさがれ得る。したがって、複数の画像フレームは、それぞれの再識別コードを生成するときに考慮されてもよい。例えば、複数のフレームにわたって人物を追跡することは、信頼性の高い再識別コードを取得する確率を高め得る。以下では、再識別コードの生成、及び、評価デバイスに関する人物の追跡について説明する。しかしながら、同じ技術は、少なくとも１つのカメラと同位置にある計算デバイス内に代替的に適用されてもよい。
【0057】
例えば、処理回路は、少なくとも１つのカメラの画像データを取得し、画像データに基づいて複数の再識別コードを生成するように構成されてもよい。したがって、本方法は、画像データを取得すること１１０と、複数の再識別コードを生成すること１４０とを含んでもよい。例えば、再識別コードは、一般的に、上述した技術を使用して生成されてもよい。さらに、処理回路は、画像データの複数のフレームにわたって人物を追跡するように構成されてもよいし、本方法は、画像データの複数のフレームにわたって人物を追跡すること１２０を含んでもよい。この追跡は、以下の目的のため－人物を大いに表す再識別コードを生成するためと、交通システムに入出場する人物を決定するためとに使用されても
よい。
よい。
【0058】
前者の特徴に関して、処理回路は、再識別コードの生成についてのそれぞれのフレームの適合性に基づいて、画像データのフレームのうちの１つ（すなわち複数の画像データのフレームのうちの１つ）に基づいて人物の再識別コードを生成するように構成されてもよい。この適合性は、プログラム的に決定され得る。例えば、実験は、顔認識において、カメラに対する人物の顔の角度がそれぞれの画像フレームの適合性に関する主要な要因であることを示している。システムは、カメラから視線をそらした人物よりもカメラの方を向いた人物を再識別する方が、より優れている場合がある。したがって、処理回路は、例えば、顔のキーポイント推定を使用して、カメラに対する人物の顔の角度を推定し、少なくとも１つのカメラに対する人物の顔の角度に基づいてフレームの適合性を決定するように構成されてもよい。
【0059】
代替的に又は追加的に、クラスタリングベースの方法論は、使用されてもよい。例えば、回路は、人物を示す複数の画像フレームから複数の再識別コードを生成し、クラスタリングアルゴリズム（例えば、教師なし機械学習を使用する）を使用して生成された再識別コードをクラスタ化するように構成されてもよい。言い換えれば、処理回路は、クラスタリングアルゴリズムを使用してフレームの適合性を決定するように構成されてもよい。一般的に、大きなクラスタが出現するとき、そのクラスタに含まれる再識別コードは、別の角度から撮影された画像を含み得る、他の画像から生成された再識別コードと類似しているため、その人物を大いに表す。したがって、最大のクラスタからの再識別コードは、人物を表す再識別コードとして選択されてもよい。
【0060】
フレームにわたる人物の追跡はまた、人物が交通システムに入出場しているときを決定するために使用されてもよい。この決定は、多くの人物が車両の入場／出場の近くに立つ、混雑したバス及び電車では特に困難であり得る。したがって、システム、例えば、少なくとも１つのカメラと同位置にある計算デバイス、又は評価デバイスは、カメラフィードにおいてドアに出入りする人物を検出するためのサブシステムを含んでもよい。例えば、機械学習ベースの顔のキーポイント検出システムは、車両のドアに出入りする人物を検出するための追跡システムと組合せて使用されてもよい。例えば、処理回路は、人物が複数の画像データのフレームにわたる人物の追跡に基づいて交通システムに入出場していることを決定するように構成されてもよい。したがって、本方法は、人物が複数の画像データのフレームにわたる人物の追跡に基づいて交通システムに入出場していることを決定すること１３０を含んでもよい。例えば、人物は、ドアを通過する間フレームからフレームへと追われ得る。基準は、例えば、ドアに対する人物の動きに基づいて、ドアを通過する人々を、ドアを通過せずに静止している人々又は歩いている人々と区別するために制定され得る。処理回路は、人物の動き、フレームにわたって追跡される動きに基づいて入出場する人物を決定するように構成されてもよい。例えば、処理回路は、交通システムに入出場する人物の決定の際に人物の再識別コードを生成するように構成されてもよい。本方法は、交通システムに入出場する人物の決定の際に人物の再識別コードを生成することを含んでもよい。その結果、各再識別コードは、交通システムの少なくとも１つのセクションに入出場するときに少なくとも１つのカメラによって記録される人物を表してもよい。
【0061】
場合によっては、オクルージョン、陰影などに起因して、人物を大いに表す再識別コードを生成することが可能でない場合がある。この場合、例えば、欠落した或いは不適切な計測値の場合、得られた再識別コードは、全ての他の再識別コードと等しい距離を割り当てられてもよい。これは、特別な再識別コードを使用することによって、或いは各再識別コードに、他の再識別コードへの再識別コードの距離に影響を与える信頼値を割り当てることによって行われてもよい。例えば、処理回路は、画像データのフレームが人物を表す再識別コードを生成するのに適していない場合、他の再識別コードと等しい距離を有する
シンボリック再識別コードを生成するように構成されてもよいし、或いは（全ての）他の再識別コードとの期待距離がゼロであるシンボリック再識別コードを生成するように構成されてもよい。例えば、予約された値を有する再識別コードは、他の再識別コードと等しい距離を有してもよいし、シンボリック再識別コードとして使用されてもよい。代替的に、オールゼロベクトルは、シンボリック再識別コードとして使用されてもよく、それは、（全ての）他の再識別コードとの期待距離がゼロであってもよい。その結果、複数の再識別コードは、部分集合外の再識別コードと等しい距離を有するシンボリック再識別コードの部分集合を含んでもよいし、或いは（全ての）他の再識別コードとの期待距離がゼロであるシンボリック再識別コードの部分集合を含んでもよい。追加的に又は代替的に、生成された再識別コードは、ゼロである信頼値を割り当てられてもよく、適していないと考えられる画像データに基づいていない他の再識別コードは、ゼロ以上の信頼値を割り当てられるようにしてもよい（例えば、カメラに対する顔の角度に基づいて、画像データにおける人物の顔の照度水準に基づいて、或いは最大クラスタのサイズに基づいて）。言い換えれば、処理回路は、再識別コード（のそれぞれ）についての信頼値を計算するように構成されてもよい。
シンボリック再識別コードを生成するように構成されてもよいし、或いは（全ての）他の再識別コードとの期待距離がゼロであるシンボリック再識別コードを生成するように構成されてもよい。例えば、予約された値を有する再識別コードは、他の再識別コードと等しい距離を有してもよいし、シンボリック再識別コードとして使用されてもよい。代替的に、オールゼロベクトルは、シンボリック再識別コードとして使用されてもよく、それは、（全ての）他の再識別コードとの期待距離がゼロであってもよい。その結果、複数の再識別コードは、部分集合外の再識別コードと等しい距離を有するシンボリック再識別コードの部分集合を含んでもよいし、或いは（全ての）他の再識別コードとの期待距離がゼロであるシンボリック再識別コードの部分集合を含んでもよい。追加的に又は代替的に、生成された再識別コードは、ゼロである信頼値を割り当てられてもよく、適していないと考えられる画像データに基づいていない他の再識別コードは、ゼロ以上の信頼値を割り当てられるようにしてもよい（例えば、カメラに対する顔の角度に基づいて、画像データにおける人物の顔の照度水準に基づいて、或いは最大クラスタのサイズに基づいて）。言い換えれば、処理回路は、再識別コード（のそれぞれ）についての信頼値を計算するように構成されてもよい。
【0062】
場合によっては、プライバシーに関する懸念は、人物の自動追跡に関して引き起こされ得る。特に、所定の再識別コードが人物の絶対的な同一性と結び付けられ、その再識別コードが時間及び／又は位置を超えて同じままである場合、いくつかの再識別システムは、遡及的に悪用され得るという知見がある。したがって、更なる努力は、例えば、強く保護されたクローズドシステムを使用して、再識別コードを安全に記憶して送信するために必要とされ得、それは、再識別コードが再識別のための中央サーバに送信される、多くのカメラを有するシステムにおいて特に、追加の実装の複雑性をもたらし得る。この更なる努力は、既知の再識別コードが直接的に使用されず、代わりに、時間が経つにつれて且つ／或いは位置を超えて変化し得る変換関数に基づいている、変換された再識別コードが使用される場合に、回避され得る。言い換えれば、複数の再識別コードは、複数の変換された再識別コードであってもよい。各変換された再識別コードは、人物を表す再識別コードの類似性保存型変換に基づいていてもよく、再識別コードは、時間及び位置の少なくとも一方に依存する変換パラメータに基づいて変換される。例えば、変換は、変換パラメータの知識なしで反転することが実現不可能であってもよく、それは、今度は、暗号鍵に基づいていてもよい。したがって、回路は、例えば、受信され或いは生成された再識別コードを変換すること、変換された再識別コードを受信すること、或いはそもそも変換された再識別コードを生成することによって、変換された再識別コードを取得するように構成されてもよい。したがって、本方法は、変換された再識別コードを取得すること１１０と、取得１１０した再識別コードを変換することと、又は変換された再識別コードを生成すること１２０とを含んでもよい。これらの変換された再識別コードは、依然として再識別に適しており、人物の入出場のマッチングにも適しているが、生成される変換コードは、時間及び／又は位置を越えて非類似となるように設計されてもよいため、人物の遡及的な識別にある危険は、回避されてもよい。
【0063】
遡及的な識別は、いわゆる等価クラス保存（ＥＣＰ）特性を維持する動的に変化する暗号化層（すなわち変換関数）を既存の再識別関数の上に加えることによって阻止されてもよく、ＥＣＰ特性は、変換された再識別コード間の距離が変換された再識別コードが基づいている再識別コード間の距離と等しくない場合、少なくとも類似しているため、等長写像特性又は「（ほぼ）距離を保つ」特性であり得る。ＥＣＰ特性は、局所性鋭敏型ハッシュ（ＬＳＨ）の特性と類似しており、以下に説明する。
【0064】
数学的な用語では、ｆは、既存の（従来の）再識別システムを示し、それは、再識別コードを生成するために使用される。例えば、毎日、又は位置毎の、予め定められたスケジュールに従って、新しい秘密鍵ｋは、全てのデバイスに配布される（例えば、従来の公開
鍵基盤を使用する）。例えば、秘密鍵ｋは、変換パラメータであってもよいし、或いはｋは、変換パラメータが由来する暗号秘密であってもよい。ｅｋをＥＣＰ特性を有する暗号的に安全な、全単射変換関数とし、それは、共有された秘密鍵ｋに依存する。次に、最終的な匿名の、動的再識別関数ｃｋは、画像Ｉに対して動作し、動的暗号化層ｅｋ及び既存の再識別関数ｆの合成、すなわち、ｃｋ（Ｉ）＝ｅｋ（ｆ（Ｉ））によって与えられる。
鍵基盤を使用する）。例えば、秘密鍵ｋは、変換パラメータであってもよいし、或いはｋは、変換パラメータが由来する暗号秘密であってもよい。ｅｋをＥＣＰ特性を有する暗号的に安全な、全単射変換関数とし、それは、共有された秘密鍵ｋに依存する。次に、最終的な匿名の、動的再識別関数ｃｋは、画像Ｉに対して動作し、動的暗号化層ｅｋ及び既存の再識別関数ｆの合成、すなわち、ｃｋ（Ｉ）＝ｅｋ（ｆ（Ｉ））によって与えられる。
【0065】
以下では、秘密鍵が２つのターミナル駅間の各移動後或いは１日の後であること、すなわち変換関数が時間に基づいていることと仮定する。ｋｔ－１を最初の移動／日からの秘密鍵とし、ｋｔを後続の２回目の移動／日からの秘密鍵とする。移動毎に、全てのデバイスは、最初の移動／日からの鍵ｋｔ－１、したがって対応する暗号化関数は、（例えば、関係のあるメモリ及び記憶領域を上書きすることによって）安全に破壊されることを確認してもよい。鍵は、移動毎／日毎に変更されるため、時間を超えて再識別コードを比較することは不可能であり得る。実際には、以下の匿名再識別特性が満たされる。
【数1】
【0066】
言い換えれば、処理回路は、再識別コードが類似メトリックに従って再識別コードを生成するために使用されるハッシュ化アルゴリズム（それは、ＭＬベースであってもよい）によって生成された更なる再識別コードと類似している場合、変換された再識別コードが、更なる再識別コードの変換されたバージョンである更なる変換された再識別コードに類似しているように、再識別コードを変換するように構成されてもよい。一方、再識別コードが、類似メトリックに従ってハッシングアルゴリズムにより生成された更なる再識別コードと非類似である場合、変換された再識別コードは、更なる変換された再識別コードと非類似であるべき、或いはむしろ、非類似である。言い換えれば、変換は、後続の再識別が歪められず、等価クラス保存特性が満たされるように実行されてもよい。より一般論では、処理回路は、再識別コードと更なる再識別コードとの間の類似度水準が変換された再識別コードと更なる変換された再識別コードとの間の類似度水準と同等であり、類似度水準が類似メトリックに基づいているように、再識別コードを変換するように構成されてもよい。例えば、類似度水準が高い場合、２つの再識別コード及び２つの変換された再識別コードは、それぞれが類似していてもよく、類似度水準が低い場合、２つの再識別コード及び２つの変換された再識別コードは、それぞれが非類似であってもよい。類似度水準は、再識別コード間の距離に対応してもよく、類似度水準が高いほど距離が短くなり、類似度水準が低いほど距離が長くなる。
【0067】
様々な実施例において、変換関数は、再識別コードを線形に変換するために使用され得る。言い換えれば、処理回路は、変換パラメータに基づいて再識別コードの線形変換を実行するように構成されてもよい。線形変換の１つの具体的な実施形態は、回転行列に基づいている変換である。言い換えれば、処理回路は、回転行列を使用して再識別コードを変換するように構成されてもよく、回転行列は、変換パラメータに基づいていてもよい。一般的に、回転行列は、ベクトルに回転行列を乗じることによって、所定の座標空間における（例えば、ベクトルの）回転を実行するために使用される行列である。
【0068】
代替的に、変換機能は、再識別コードの非線形変換を実行するように構成されてもよい。例えば、行列の乗算の代わりに、より複雑なハッシュ関数が採用されてもよい。いくつかの実施形態では、ディープラーニングは、より複雑な、より非線形な関数を生成するために採用されてもよい（依然として等価クラス保存特性を維持しながら）。言い換えれば
、処理回路は、機械学習モデルを使用して非線形変換を実行するように構成されてもよい。例えば、機械学習モデルは、再識別コード及び変換パラメータを入力とし、変換された再識別コードを出力として提供してもよい。
、処理回路は、機械学習モデルを使用して非線形変換を実行するように構成されてもよい。例えば、機械学習モデルは、再識別コード及び変換パラメータを入力とし、変換された再識別コードを出力として提供してもよい。
【0069】
一般的に、時間が経つにつれて及び／又は位置を超えて人物又は物体の追跡を妨害するために、変換パラメータが、それ故に変換自体が、時間及び／又は位置に依存する。一般的に、時間は、再識別コードの変換が実行される時間を参照してもよく、それはまた、提案されたシステムが再識別コードの準瞬時生成及び変換のために使用され得るため、画像データが取得される時間であってもよい。一方、位置は、画像データに起因する位置に関してもよい。例えば、異なる変換パラメータは、移動毎又は毎日のために使用されてもよい（時間に基づいている変換パラメータの一例として）。追加的に又は代替的に、異なる変換パラメータが、各路線／経路のために、或いは交通システムの異なるサブセクションのために使用されてもよい（位置に基づいている変換パラメータの一例として）。
【0070】
一般的に、適切な変換パラメータを取得するための様々なオプションがある。例えば、変換パラメータは、（例えば、時間に依存する）同じ変換パラメータを生成するように構成されている計算デバイス／評価デバイス間で共有され得る、暗号秘密に基づいて、計算デバイス又は評価デバイスによって、すなわち処理回路によって生成されてもよい。言い換えれば、変換パラメータは、暗号秘密に由来してもよい。したがって、処理回路は、暗号秘密に基づいて、且つ時間及び／又は位置に基づいて、変換パラメータ、例えば、回転行列、又は再識別コードを変換するために採用される機械学習モデルについての入力パラメータを生成するように構成されてもよい。例えば、暗号秘密は、変換パラメータについての擬似乱数を生成する種を生成するために、時間及び／又は位置と共に、使用されてもよい。例えば、変換パラメータが変更された後、以前の変換パラメータは破棄され或いは破壊される。
【0071】
収集された（変換された）再識別コードを使用して、評価デバイスは、入場する人物の再識別コードを出場する人物の再識別コードとマッチングする。言い換えれば、評価デバイスは、各マッチした再識別コード対が入場する人物の再識別コードと出場する人物の再識別コードとを含むように、マッチした再識別コード対を作成する。特に、マッチングは、グローバルマッチング方式を使用して実行され、それは、複数のマッチした再識別コード対にわたって、マッチした再識別コード対の再識別コード間の全体の距離を減少させることに基づいている。したがって、回路は、例えば、（類似メトリックに従って）再識別コードを比較することによって、それぞれの再識別コード間の距離を計算するように構成されてもよい。さらに、距離は、再識別コードの信頼度に基づいて、且つ入場ポイント及び出場ポイント間の交通パターン及び／又は時間に関する事前の統計的知識に基づいて調整されてもよい。
【0072】
本文献では、このマッチングはまた、「割り当て」と示され、基礎となる問題は、線形割り当て問題（ＬＡＰ）と呼ばれる。ＬＡＰは通常、いわゆるコストメトリックに基づいて対処され、それは、２つのアイテム間の割り当て／マッチングの（一般的に非金銭的な）コストを表す。提案されたシステムでは、コストメトリックは、機械学習ベースの（顔）再識別技術を使用して、すなわち事前に収集された統計情報と組合せられ得る、再識別コード間の距離に基づいて、構築される。特に、２つの再識別コードの対のそれぞれは、その対の再識別コード間の距離に基づいているコスト値と関連付けられてもよく、グローバルマッチング方式は、複数のマッチした再識別コード対のコスト値の全体の合計を減少させることに基づいている。提案された概念は、機械学習ベースの技術とグローバルマッチング（すなわち最適化スキーム）との組合せに基づいている。グローバルマッチング方式の使用によって、新たな観察を考慮してシステムが以前のマッチングを後から修正することを可能にする。また、入場及び／又は出場の計測値が欠落している場合でも、提案さ
れたシステムがマッチングを提案することを可能にする。
れたシステムがマッチングを提案することを可能にする。
【0073】
ＬＡＰを解く（又は対処する）のに特に適しているアルゴリズムの１つのタイプは、組合せ最適化アルゴリズムである。組合せ最適化アルゴリズムは、人々が当該空間に滞在するよりも長く安全な時間枠内に記録された全ての再識別コード間の全ての距離に基づいて、入場する人々から出場する人々への割り当てを最適化し得る。組合せ最適化アルゴリズムは、可能解の（有限）集合から最適解を選択するように設計されている。言い換えれば、組合せ最適化アルゴリズムは通常、離散的に定義可能な可能解の有限集合に基づいており、そこから１つの解（すなわち最適解）が選び出される。そのような組合せ最適化アルゴリズムは、グローバルマッチングを実行するために適用されてもよい。この文脈において、用語「グローバルマッチングアルゴリズム」及び「グローバルマッチング」は、マッチングが複数の再識別コードの部分集合に基づいて実行されるのではなく、マッチングを決定するときに（現在利用可能な／事前に取得された）複数の再識別コード（の全て）を考慮することによって実行されることを示す。言い換えれば、グローバルマッチング方式は、（コスト又は距離の点で）最良の全体のマッチングを提供するマッチングを見つけようとし、複数の再識別コードのより小さい部分集合に適している最良のマッチングではない。
【0074】
一般的に、組合せ的に対処されるマッチング問題は、２つの頂点集合－入場する人物の再識別コードを表す第１の頂点集合と、出場する人物の再識別コードを表す第２の頂点集合とを有する、グラフとして表され得る。したがって、グローバルマッチング方式は、グラフベースアルゴリズムに基づいていてもよい。エッジは、第１の集合の頂点と第２の集合の頂点との間に挿入されてもよいが、同じ集合の頂点間には挿入されないことで、２部グラフを作成する。目的は、第１の集合の頂点の全て（又は少なくとも可能な限り多く）が第２の集合のちょうど１つの頂点に、エッジを介して、接続されるように（逆も同様）、頂点集合を見つけることであろう。言い換えれば、アルゴリズムを実行した後、各頂点は、それぞれの他の集合のちょうど１つの頂点にのみ接続されてもよい。追加の制約として、出場する人物の再識別コードが入場する人物を表す再識別コードの後に生成／記録される場合にのみ、入場する人物を表す再識別コードは、出場する人物の再識別コードとマッチングされ得る。
【0075】
例えば、いわゆるハンガリアンアルゴリズム（Ｋｕｈｎ－Ｍｕｎｋｒｅｓアルゴリズムとしても知られている）は、グローバルマッチングアルゴリズムとして使用されてもよく、すなわちグローバルマッチング方式は、ハンガリアンアルゴリズムに基づいていてもよい。ハンガリアンアルゴリズムは、最小コスト／最小距離で完全なマッチングに導くエッジを特定するのに適している。代替的に、２部グラフマッチングのための他の割り当てアルゴリズム、例えばシンプレックス法、Ｊｏｎｋｅｒ－Ｖｏｌｇｅｎａｎｔアルゴリズムなどが、使用されてもよい。
【0076】
様々な実施例において、先に述べたように、生成される再識別コードがそれぞれの人物を表す再識別コードを生成するために適していない或いは準最適である画像フレームに基づいている場合に、信頼度及び統計的知識が、改良されたマッチングを提供するために使用されてもよい。例えば、バスは、所定の時間にターミナルで空車で出発し、１時間後に空車で走行を終了してもよい。走行中、乗客が、乗車し且つ下車している。乗客が乗車し或いは下車するたびに、彼らの対応する再識別コードは、対応する信頼値（それは、再識別コードの特定の生成が失敗した場合はゼロであってもよく、例えば、乗客のカメラの視野が一時的に遮られた場合は低くてもよい）と共に記録される。走行が終了したとき、マッチングアルゴリズムは、同じ走行中に下車する人々についての全ての記録された再識別コードと、１時間の間隔中に乗車した人々について記録された全ての再識別コードをマッチングする。再識別コードの生の信頼度を使用することに加えて、他の情報が、マッチン
グアルゴリズムの入力に含められ、事前の既知の統計、バスでの通常の滞在時間などのような因子とされてもよい。例えば、メトリックはまた、因子とされる統計的な事前知識を考慮してもよい。言い換えれば、グローバルマッチング方式は、移動される駅の全体の平均／平均数、所定の乗車駅に対する最も可能性の下車駅（又はその逆）などのような、入場ポイント及び出場ポイントに関する事前の統計的知識に更に基づいていてもよい。再識別コードの信頼度及び事前の統計的知識は、マッチングのコスト／距離を適応するために使用されてもよい。言い換えれば、マッチした対の距離及び／又はコストは、２つの再識別コードの信頼値に基づいていてもよいし、（異なる駅間の以前の交通パターンに関する）事前の統計的知識に基づいてもいてもよい。
グアルゴリズムの入力に含められ、事前の既知の統計、バスでの通常の滞在時間などのような因子とされてもよい。例えば、メトリックはまた、因子とされる統計的な事前知識を考慮してもよい。言い換えれば、グローバルマッチング方式は、移動される駅の全体の平均／平均数、所定の乗車駅に対する最も可能性の下車駅（又はその逆）などのような、入場ポイント及び出場ポイントに関する事前の統計的知識に更に基づいていてもよい。再識別コードの信頼度及び事前の統計的知識は、マッチングのコスト／距離を適応するために使用されてもよい。言い換えれば、マッチした対の距離及び／又はコストは、２つの再識別コードの信頼値に基づいていてもよいし、（異なる駅間の以前の交通パターンに関する）事前の統計的知識に基づいてもいてもよい。
【0077】
（例えば、多くの人物がマッチングによって表される停留所間を移動するため）例えば特定のマッチングが平均よりも起こりやすいことを事前の統計的知識が示す場合、そのマッチングの距離／コストは、減少されてもよい。一方、（例えば、ごく少数の人物がマッチングによって表される停留所間を移動するため）特定のマッチングが平均よりも起こりやすいことを事前の統計的知識が示す場合、距離／コストは、増加されてもよい。記録された信頼度は、信頼度が低いときであっても、最も可能性の高いマッチングシナリオを計算するために考慮されてもよい。例えば、短い距離及び／又は低いコストを有し、高い信頼度を有する再識別コード間のマッチングは、「正しい」マッチングが識別された可能性が高いため、固定されてもよい。高い信頼値を有する第１の再識別コードと低い信頼値を有する第２の再識別コードとの間の残りの再識別コードについては、距離／コストは、事前の統計的知識に基づいて適応させてもよい。
【0078】
続いてマッチングは、人々が利用している交通経路に関する統計（すなわち具体的な位置／バス停留所でどれだけの人々が乗車し且つ下車しているか）を導出するために使用される。統計の質を高めるために、低い信頼値を有する再識別コード間のマッチング、或いは、より一般的に、低い信頼値を有するマッチングは、統計から省かれてもよい。提案された概念の様々な実施例において、システムは、所定の割り当ての信頼度を推定するように構成されており、それは、例えば、人々がカメラから視線をそらしていることから、或いは他の人々によって引き起こされるオクルージョンから、「ノイズの多い」且つ矛盾した入力データを対処することに役立ち得る。例えば、再識別コードの信頼度に加えて、割り当て／マッチングの信頼度が、計算されてもよい。例えば、各割り当て／マッチングの信頼度は、当該割り当てが許可されないという追加の制約の下で割り当て問題を再び解くことによって評価され得る。新しい解は、せいぜい元の解と同程度であろう。信頼度の指標は、新しい解と古い解との間のコストの差であってもよい。信頼度が各提案されたマッチングに割り当てられるとき、統計的なまとめから低い信頼度データを除外することが可能となる。
【0079】
以下では、一例は、再識別コードが組合せマッチングアルゴリズム、又は、より一般的に、大域的最適化方式への入力として提供され得るコスト行列を構築するために使用され得る方法について与えられる。図４ａ及び図４ｂは、再識別コードがコスト行列を構築するために使用される方法を示す。図４ａは、交通システムに入出場する人物の一例のタイムラインを示す。図４ａ及び図４ｂの例では、４人の人物ｎ１．．．ｎ４が入場し、４人の人物ｘ１．．．ｘｎが出場する。入出場する各人物について、再識別コードは、時間及び交通拠点と共に、記録される。図４ｂは、入場する４人の人物ｎ１．．．ｎ４と出場する４人の人物ｘ１．．．ｘｎとの間の対応するコスト行列を示す。人物ｘ１が去った後に人物ｎ３及びｎ４が入場しているため、コストは計算されず、マッチングが禁止されているため、それぞれの人物を結ぶ行列のそれぞれのセルは空のままである。同様に、人物ｘ２が去った後に人物ｎ４が入場しているため、コストは計算されない。コスト行列のセルは、ｘｉをｎｊに割り当てるコストを示す（すなわち、ｘｉとｎｊとのマッチングのコスト／距離）。より低いコストは、より良いマッチングを意味する。例えば、コスト／距離
は、再識別コードを比較して時間及び位置に基づく統計的な事前知識を量ることによって計算されてもよい。最小の総合スコアを与える割り当ては、線形割り当て問題のソルバによって見つけられる。
は、再識別コードを比較して時間及び位置に基づく統計的な事前知識を量ることによって計算されてもよい。最小の総合スコアを与える割り当ては、線形割り当て問題のソルバによって見つけられる。
【0080】
一般的に、マッチングは、いつ実行されてもよい。上述したように、マッチングは、２つのターミナル駅間の移動後に、或いは１日が終了した後に実行されてもよい。しかしながら、場合によっては、例えば、交通パターンのリアルタイムプレビュー又は追跡を提供するために、再識別コードが複数の再識別コードに追加されるときにマッチングを実行することが望ましい場合があり、それは、後続の車両の数又は車両に関する、或いは車両の頻度に関する決定を行うために使用され得る。したがって、マッチングは、追加の再識別コードが取得されるとすぐに実行されてもよい。言い換えれば、処理回路は、再識別コードが複数の再識別コードに追加されるときにグローバルマッチング方式に基づいて複数の再識別コードのマッチングを更新するように構成されてもよい。したがって、本方法は、複数の再識別コードのマッチングを更新すること１６５を含んでもよい。上述したように、追加の再識別コードが追加されるにつれて、マッチングは、連続的に改良されてもよい。
【0081】
マッチングは、複数のマッチした再識別コード対の入場ポイント及び出場ポイントを決定するために実行され、したがって人物は、再識別コードによって表される。特に、入場ポイント及び出場ポイントは、地理的な位置又は交通拠点（の識別子）に対応してもよい。さらに、タイムスタンプは、各入場ポイント及び各出場ポイントで記録されてもよい。例えば、各再識別コードは、タイムスタンプ及び／又は位置情報と関連付けられてもよい。例えば、タイムスタンプは、それぞれの画像データ又は再識別コードが生成された時間に関してもよい。位置は、それぞれの画像データが生成された地理的な位置又は交通拠点（の識別子）に関してもよい。処理回路は、複数のマッチした再識別コード対についての入場及び出場の時間及び／又は位置（すなわち地理的な位置又は交通拠点）を決定するように構成されてもよい。したがって、本方法は、複数のマッチした再識別コード対についての入場及び出場の時間及び／又は位置を決定することを含んでもよい。
【0082】
いくつかの実施例では、図５ａから図６ｂに更に示されているように、人物間のマッチングの視覚化と共に、交通システムに入出場する人物の視覚化を提供することが望ましい場合がある。したがって、処理回路は、マッチした再識別コード対の視覚的な表現を含む表示信号を生成するように構成されてもよい。したがって、本方法は、表示信号を生成すること１８０を含んでもよい。例えば、図４ａ、図６ａ及び図６ｂに示されているように、視覚的な表現は、入場ポイントを表す第１のタイムラインと、出場ポイントを表す第２のタイムラインと、任意に入場ポイントを出場ポイントと結び付けるための視覚的な要素とを含んでもよい。例えば、入場ポイント及び出場ポイントは、それぞれのタイムライン上のポイントとして表されてもよい。色は、類似の再識別コードに類似の色を割り当てる配色を使用して、再識別コードを視覚化するために使用されてもよい。言い換えれば、各ポイントは、それぞれのポイントと関連付けられた再識別コードに由来する色を有してもよい。追加的に又は代替的に、図６ａ及び図６ｂに示されているように、マッチした再識別コードを表すポイントは、線によって結ばれてもよい。
【0083】
図５ａから図５ｃは、再識別コードの生成の一例と再識別コードの視覚的な表現の一例とを示す。図５ａから図５ｃでは、２人の異なる人物が示されている。図５ａでは、第１の人物５１０ａが示されている。ニューラルネットワークは、「埋め込み（embedding）
」のため、すなわち例えば、１２８個の（符号付き浮動小数点の）数値の配列５２０として、第１の人物５１０ａに対する再識別コードを生成するために使用される。この再識別コードは、再識別コードを表す色を有するポイント５３０に変換される。図５ｂでは、再識別コード５２０は、現在マスクをしている、同一人物５１０ｂに対して生成される。再
識別コードは、マスクをしていない人物５１０ａに対して生成されるコードと同じである、或いは少なくとも類似している。したがって、ポイント５３０は、同じ色で生成される。図５ｃでは、第２の人物５４０が示されている。更なる再識別コード５５０は、第２の人物に対して生成され、更なる再識別コードは、第１の人物を表す再識別コードと実質的に異なる。したがって、異なる色を有するポイント５６０が生成される。
」のため、すなわち例えば、１２８個の（符号付き浮動小数点の）数値の配列５２０として、第１の人物５１０ａに対する再識別コードを生成するために使用される。この再識別コードは、再識別コードを表す色を有するポイント５３０に変換される。図５ｂでは、再識別コード５２０は、現在マスクをしている、同一人物５１０ｂに対して生成される。再
識別コードは、マスクをしていない人物５１０ａに対して生成されるコードと同じである、或いは少なくとも類似している。したがって、ポイント５３０は、同じ色で生成される。図５ｃでは、第２の人物５４０が示されている。更なる再識別コード５５０は、第２の人物に対して生成され、更なる再識別コードは、第１の人物を表す再識別コードと実質的に異なる。したがって、異なる色を有するポイント５６０が生成される。
【0084】
上記の方式は、それぞれのタイムライン上に配置される、対応する色を有するポイントを生成するために使用されてもよい。図６ａ及び図６ｂは、交通システムに入出場する人物の可視化の例を示す。図６ａ及び図６ｂでは、交通システムは、バスのような、単一の車両６００である。車両６００の乗客６１０は、バスの位置６２０に模式的に配属されている。車両の視覚化の下、２つのタイムライン－入場する人物のための第１のタイムライン６３０と、出場する人物のための第２のタイムライン６４０とが、示されている。タイムライン上には、入出場する人物を表すポイントが、それぞれが異なる人物の再識別コードを表す異なる色で、それぞれ示されている。図６ａでは、人物間のマッチングは、人物を表すポイントを結ぶ線６５０として示されている。右側には、追加の、より小さなポイント６６０が示されており、タイムライン上の現在の進行を示す。例えば、タイムライン、及びそれぞれのマッチングは、新しい人物が入出場するとすぐに更新されてもよく、それによって追加の再識別コードを複数の再識別コードに追加する。図６ｂでは、割り当て／マッチングの信頼度が考慮される。より高い信頼度を有する割り当て／マッチングは、実線６７０で示されており、より低い信頼度を有する割り当て／マッチングは、破線６８０で示されている。例えば、信頼度閾値は、実線又は破線が使用されるか否かを決定するために使用されてもよいし、或いは（破）線の実線部分の空部分に対する比率は、信頼度を表すために選択されてもよい。例えば、高い信頼度を有する割り当て／マッチングは、準実線によって表されてもよく、より低い信頼度を有する割り当て／マッチングは、線の実線部分の間の、より大きなギャップを示す。
【0085】
再識別コードの生成、又は再識別コードの非線形変換のような、提案された概念の様々な態様は、機械学習に基づいていてもよい。一般的に、機械学習は、コンピュータシステムが明示的な命令を使用せず、代わりにモデル及び推論に依存して具体的な作業を実行するために使用し得るアルゴリズム及び統計モデルを指す。例えば、機械学習では、ルールベースのデータ変換の代わりに、履歴データ及び／又は訓練データの分析から推測される、データ変換が使用されてもよい。例えば、画像の内容は、機械学習モデルを使用して、或いは機械学習アルゴリズムを使用して分析されてもよい。機械学習モデルが画像の内容を分析するために、機械学習モデルは、入力としての訓練画像と、出力としての訓練内容情報、すなわち分類情報とを使用して訓練されてもよい。多くの訓練画像及び関連付けられた訓練内容情報を有する機械学習モデルを訓練することによって、機械学習モデルは、画像の内容を認識することを「学習する」ため、訓練画像に含まれない画像の内容は、機械学習モデルを使用して認識され得る。同じ原理は、他の種類のセンサデータのために同様に使用されてもよい。訓練センサデータ及び所望の出力を使用して機械学習モデルを訓練することによって、機械学習モデルは、センサデータと出力との間の変換を「学習し」、それは、機械学習モデルに提供された非訓練センサデータに基づく出力を提供するために使用され得る。本開示で提示される概念では、機械学習は、２つの態様のため―再識別コードを非線形に変換するためと、そもそも再識別コードを生成するためとに使用されてもよい。
【0086】
機械学習モデルは、訓練データを使用して訓練させる。上述の実施例は、「教師あり学習」と呼ばれる訓練方法を使用する。教師あり学習では、機械学習モデルは、複数の訓練サンプルを使用して訓練され、ここにおいて各サンプルは、複数の入力データ値と、複数の所望の出力値とを含んでもよく、すなわち各訓練サンプルは、所望の出力値と関連付けられている。訓練サンプルと所望の出力値との両方を指定することによって、機械学習モ
デルは、訓練中に提供されたサンプルに類似している入力サンプルに基づいてどの出力値を提供すべきかを「学習する」。
デルは、訓練中に提供されたサンプルに類似している入力サンプルに基づいてどの出力値を提供すべきかを「学習する」。
【0087】
一般的に、複数の再識別コードは、機械学習モデルを使用して画像データに基づいて生成されてもよい。この機械学習モデルは、再識別コードを生成するために使用されるハッシュ関数を実装してもよい。画像データに示された人物間の類似性を決定するために使用される機械学習アルゴリズムの１つのタイプは、トリプレット損失と示される。トリプレット損失では、ベースラインの入力は、正の入力及び負の入力と比較される。例えば、トリプレット損失は、再識別コードを生成するための機械学習モデルを訓練するために使用されてもよい。
【0088】
教師あり学習ベースの取り組みは、再識別コードを変換するために使用される機械学習モデルを訓練するために選択されてもよい。例えば、教師あり学習ベースの訓練を実行するために使用される訓練データは、入力データ値として、複数の再識別コードと、さらに、複数の例示的な変換パラメータと、複数の例示的な変換パラメータを考慮して複数の再識別コードの所望の非線形変換を表す複数の所望の出力値とを含んでもよい。
【0089】
機械学習アルゴリズムは通常、機械学習モデルに基づいている。言い換えれば、用語「機械学習アルゴリズム」は、機械学習モデルを作成し、訓練し、或いは使用するために使用され得る一連の命令を示してもよい。用語「機械学習モデル」は、例えば機械学習アルゴリズムによって実行された訓練に基づいて、学習された知識を表すデータ構造及び／又は一連のルールを示してもよい。実施例において、機械学習アルゴリズムの使用は、基礎となる機械学習モデル（又は複数の基礎となる機械学習モデル）の使用を意味してもよい。機械学習モデルの使用は、機械学習モデル及び／又は機械学習モデルであるデータ構造／一連のルールが機械学習アルゴリズムによって訓練されることを意味してもよい。
【0090】
例えば、機械学習モデルは、人工ニューラルネットワーク（ＡＮＮ）であってもよい。ＡＮＮは、脳に見られ得るような、生物学的な神経ネットワークによって着想を得たシステムである。ＡＮＮは、複数の相互接続されたノードと、複数の接続、ノード間の、いわゆるエッジとを含む。通常、３つのタイプのノード、入力値を受け取る入力ノードと、他のノードに（のみ）接続される隠れノードと、出力値を提供する出力ノードとがある。各ノードは、人工的な神経細胞を表し得る。各エッジは、１つのノードから別のノードへ、情報を伝達し得る。ノードの出力は、その入力の合計の（非線形）関数として定義されてもよい。ノードの入力は、入力を提供するエッジ又はノードの「重み」に基づいて関数で使用されてもよい。ノードの重み及び／又はエッジの重みは、学習過程で調整されてもよい。言い換えれば、人工ニューラルネットワークの訓練は、人工ニューラルネットワークのノード及び／又はエッジの重みを調整することを含んでもよく、すなわち所定の入力に対する所望の出力を達成するためである。少なくともいくつかの実施例では、機械学習モデルは、ディープニューラルネットワーク、例えば、１層又は複数層の隠れノード（すなわち隠れ層）、好ましくは複数の隠れノード層を含むニューラルネット－ワークであってもよい。例えば、トリプレット損失関数が使用されている場合、ＡＮＮは、いわゆるシャムニューラルネットワーク（ＳＮＮ）であってもよい。
【0091】
提案された概念は、交通システムにおける乗客の追跡への適用に関して紹介されている。公共交通車両の他に、提案された概念は、例えば、店舗管理者に分析を提供するために、入出経路がカメラの設置に適している小売店、空港の私有地、及び他の区切られた領域（例えば、コンパートメント）で使用されてもよい。上述した提案されたシステムは、入出場する人々に関する統計が望まれる任意の状況に適用可能であり得る。
【0092】
本開示の様々な実施例は、コンピュータビジョンに関し、例えば、分散型組込みカメラ
ベースシステムを使用した視覚的な人物再識別に関する。
ベースシステムを使用した視覚的な人物再識別に関する。
【0093】
少なくとも１つのインターフェース１２は、情報を受信し且つ／或いは送信する１つ又は複数の入力及び／又は出力に対応してもよく、それは、モジュール内、モジュール間、或いは異なるエンティティのモジュール間で、指定されたコードに従ったデジタル（ビット）値であってもよい。例えば、少なくとも１つのインターフェース１２は、情報を受信し且つ／或いは送信するように構成されたインターフェース回路を含んでもよい。
【0094】
様々な実施例において、処理回路１４は、１つ又は複数の処理ユニット、１つ又は複数の処理デバイス、プロセッサ、コンピュータ、又は適宜適応されたソフトウェアで動作可能であるプログラム可能なハードウェアコンポーネントのような、処理のための任意の手段を使用して実装されてもよい。言い換えれば、処理回路１４の説明された機能は、ソフトウェアで実装されてもよく、それは、次に、１つ又は複数のプログラム可能なハードウェアコンポーネント上で実行される。そのようなハードウェアコンポーネントは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラなどを含んでもよい。
【0095】
少なくともいくつかの実施形態では、１つ又は複数の記憶デバイス１６は、例えば、ハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ＲＡＭ（Ｒａｎｄｏｍ
Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、又はネットワークストレージの磁気或い光学記憶媒体のような、コンピュータ可読記憶媒体のグループの少なくとも１つの要素を含んでもよい。
Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、又はネットワークストレージの磁気或い光学記憶媒体のような、コンピュータ可読記憶媒体のグループの少なくとも１つの要素を含んでもよい。
【0096】
先の実施例の特定の１つに関連して説明した態様及び特徴は、その更なる実施例の同一或いは類似の特徴を置き換えるために、或いは特徴を更なる実施例に追加的に導入するために、１つ又は複数の更なる実施例と組合せてもよい。
【0097】
さらに実施例は、プログラムがコンピュータ、プロセッサ、又は他のプログラム可能なハードウェアコンポーネント上で実行されるとき、１つ又は複数の上記の方法を実行するためのプログラムコードを含む（コンピュータ）プログラムであってもよいし、或いはそれらに関してもよい。したがって、上記で説明された方法の異なるもののステップ、操作又はプロセスはまた、プログラムされたコンピュータ、プロセッサ又は他のプログラム可能なハードウェアコンポーネントによって実行されてもよい。実施例はまた、機械可読、プロセッサ可読、或いはコンピュータ可読であり、機械実行可能、プロセッサ実行可能、或いはコンピュータ実行可能なプログラム及び命令を符号化し且つ／或いは含む、デジタルデータ記憶媒体のような、プログラム記憶デバイスを対象としてもよい。プログラム記憶デバイスは、例えば、デジタル記憶デバイス、磁気ディスク及び磁気テープのような磁気記憶媒体、ハードディスクドライブ、又は光学的可読なデジタルデータ記憶媒体を含んでもよいし、或いはそれらであってもよい。他の実施例は、上記で説明された方法のステップを実行するようにプログラムされた、コンピュータ、プロセッサ、制御ユニット、（フィールド）プログラム可能な論理アレイ（（Ｆ）ＰＬＡ）、（フィールド）プログラム可能なゲートアレイ（（Ｆ）ＰＧＡ）、グラフィックプロセッサユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、集積回路（ＩＣ）又はシステムオンチップ（ＳｏＣ）システムを含んでもよい。
【0098】
本明細書又は特許請求の範囲に開示されたいくつかのステップ、プロセス、操作又は機能の開示は、個々の事例において明確に述べられていない限り或いは技術的な理由で必要
でない限り、これらの操作が必ずしも説明された順序に依存することを意味すると解釈してはならないことが更に理解される。したがって、先の説明は、いくつかのステップ又は機能の実行をある一定の順序に限定するものではない。さらに、更なる実施例では、単一のステップ、機能、プロセス又は操作は、いくつかのサブステップ、サブ機能、サブプロセス又はサブ操作を含んでもよいし、且つ／或いは分割されてもよい。
でない限り、これらの操作が必ずしも説明された順序に依存することを意味すると解釈してはならないことが更に理解される。したがって、先の説明は、いくつかのステップ又は機能の実行をある一定の順序に限定するものではない。さらに、更なる実施例では、単一のステップ、機能、プロセス又は操作は、いくつかのサブステップ、サブ機能、サブプロセス又はサブ操作を含んでもよいし、且つ／或いは分割されてもよい。
【0099】
いくつかの態様がデバイス又はシステムに関連して説明されている場合、これらの態様は、対応する方法の説明としても理解されるべきである。例えば、デバイス又はシステムのブロック、デバイス又は機能的な態様は、対応する方法の、方法ステップのような、特徴に対応してもよい。したがって、方法に関連して説明された態様は、対応するデバイス又は対応するシステムの対応するブロック、対応する要素、特性又は機能的な特徴の説明としても理解されるものとする。
【0100】
以下の請求項は、詳細な説明に組込まれ、ここにおいて、各請求項は、別個の一例としてそれ自体で成り立ってもよい。また、特許請求の範囲において、従属請求項は、１つ又は複数の他の請求項との特定の組合せを指すが、他の実施例はまた、任意の他の従属請求項又は独立請求項の対象と従属請求項の組合せを含んでもよいことに留意されたい。そのような組合せは、個々の事例において特定の組合せが意図されていないことが述べられていない限り、ここに明示的に提案される。さらに、ある請求項の特徴は、その請求項がその他の独立請求項に従属するものとして直接的に定義されていない場合でも、任意の他の独立請求項にも含まれるべきである。
【図1a】
【図1b】
【図2】
【図3-1】
【図3-2】
【図4a】
【図4b】
【図5】
【図6a】
【図6b】