(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-13
(45)【発行日】2023-02-21
(54)【発明の名称】再識別のための評価デバイスおよび対応する方法、ならびにシステムおよびコンピュータプログラム
(51)【国際特許分類】
G06T 7/292 20170101AFI20230214BHJP
G06T 7/20 20170101ALI20230214BHJP
【FI】
G06T7/292
G06T7/20 300Z
【外国語出願】
(21)【出願番号】P 2021144265
(22)【出願日】2021-09-03
【審査請求日】2021-09-06
(32)【優先日】2020-09-22
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】521372655
【氏名又は名称】グラスパー テクノロジーズ エーピーエス
【氏名又は名称原語表記】Grazper Technologies ApS
(74)【代理人】
【識別番号】100147485
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100169823
【氏名又は名称】吉澤 雄郎
(72)【発明者】
【氏名】トーマス ヤコブセン
(72)【発明者】
【氏名】デビッド ギュンブランセン
(72)【発明者】
【氏名】マックス ラ コー クリステンセン
(72)【発明者】
【氏名】ウルリック イスホイ ソエンダーガード
【審査官】伊知地 和之
(56)【参考文献】
【文献】国際公開第2020/090126(WO,A1)
【文献】米国特許出願公開第2014/0184803(US,A1)
【文献】渡辺 恭人 外4名,プライバシ保護を考慮した地理位置情報システム,情報処理学会論文誌,日本,社団法人情報処理学会,2001年02月15日,第42巻 第2号,pp.234-242
【文献】入江 豪 外2名,解説 認識・検出 局所線形な幾何構造を保存するハッシング,画像ラボ,日本,日本工業出版株式会社,2016年07月10日,第27巻 第7号,pp.26-33
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/16
G06V 40/20
CSDB(日本国特許庁)
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
処理回路(14)を備えた、再識別のための評価デバイス(10)であって、前記処理回路が、
各変換再識別コードがタイムスタンプおよび場所情報と関連付けられている、複数の変換再識別コードを取得し、
類似性メトリックに従って類似する変換再識別コードの1つまたは複数のタプルを生成するために、前記類似性メトリックを使用して前記複数の変換再識別コードの中の変換再識別コードを照合し、
前記変換再識別コードの1つまたは複数のタプルの前記変換再識別コードに関連付けられた1つまたは複数の場所の配列を、それぞれの前記タプルの前記変換再識別コードに関連付けられた前記タイムスタンプおよび場所情報に基づいて決定し、
前記1つまたは複数の場所の配列に関する情報を提供するように構成され、
各変換再識別コードが、2つ以上の異なる場所に位置する2つ以上の異なるソースから発信されたメディアデータのサンプルの少なくとも一部を表す再識別コードの類似性保持変換に基づ
き、
前記再識別コードは時間及び場所のいずれかに依存する変換パラメータに基づいて変換される、評価デバイス。
【請求項2】
各再識別コードおよび対応する変換再識別コードは、前記メディアデータのサンプルで認識可能な人または物体を表す、請求項1に記載の評価デバイス。
【請求項3】
前記処理回路は、前記変換再識別コードの1つまたは複数のタプルの前記変換再識別コードに関連付けられた前記タイムスタンプに基づいて、前記1つまたは複数の場所の配列に関連付けられたタイムスパンに関する情報を決定するように構成される、請求項1または2に記載の評価デバイス。
【請求項4】
前記2つ以上の異なる場所は区切られた空間の一部であり、前記2つ以上の異なる場所は、前記区切られた空間の少なくとも入口および出口をカバーする、請求項1~3のいずれか一項に記載の評価デバイス。
【請求項5】
各再識別コードおよび対応する変換再識別コードは、前記メディアデータのサンプルで認識可能な人を表す、請求項4に記載の評価デバイス。
【請求項6】
各変換再識別コードは前記人に関する人口統計学的情報に関連付けられ、前記処理回路は、前記1つまたは複数の場所の配列に関連する統計情報および/または前記1つまたは複数の場所の配列に関連付けられたタイムスパンに関連する統計情報をコンパイルするように構成され、前記統計情報は前記人口統計学的情報に基づいて集計される、請求項5に記載の評価デバイス。
【請求項7】
前記処理回路は、前記区切られた空間に一緒に入ってきた第1の人物および第2の人物を表す変換再識別コード間の関連性を保存し、前記第1の人物の前記変換再識別コードおよび前記保存された関連性に基づく前記第2の人物を表す前記変換再識別コードを検索し、前記第2の人物の前記検索された変換再識別コードに基づいて前記第2の人物を見つけるように構成される、請求項5または6に記載の評価デバイス。
【請求項8】
前記処理回路は人を表すさらなるメディアデータに基づいて変換再識別コードを生成し、前記生成された変換再識別コードに類似する変換再識別コードを含むタプルの前記変換再識別コードに関連付けられた、前記決定された場所の配列に基づいて、前記区切られた空間内で前記人を見つけ出すように構成される、請求項5~7のいずれか一項に記載の評価デバイス。
【請求項9】
前記処理回路は、前記生成された変換再識別コードに類似する変換再識別コードを含む前記タプルの前記変換再識別コードが基づく前記メディアデータをコンパイルするように構成される、請求項8に記載の評価デバイス。
【請求項10】
前記処理回路は、前記1つまたは複数の場所の配列の前記情報の視覚化を含む表示信号を生成するように構成される、請求項1~9のいずれか一項に記載の評価デバイス。
【請求項11】
前記再識別コードが類似性メトリックに従うさらなる再識別コードに類似する場合、前記変換再識別コードが前記さらなる再識別コードの変換バージョンであるさらなる変換再識別コードに類似するように、前記再識別コードが前記類似性保持変換によって変換される、請求項1~10のいずれか一項に記載の評価デバイス。
【請求項12】
前記メディアデータは画像データまたは映像データのうちの1つであり、前記メディアデータは2つ以上の異なる場所に位置する2つ以上のカメラデバイス(200)から発信される、請求項1~
11のいずれか一項に記載の評価デバイス。
【請求項13】
各変換再識別コードがタイムスタンプおよび場所情報と関連付けられている、複数の変換再識別コードを取得するステップ(110);
類似性メトリックに従って類似している変換再識別コードの1つまたは複数のタプルを生成するために、前記類似性メトリックを使用して前記複数の変換再識別コードの中の変換再識別コードを照合するステップ(120);
前記変換再識別コードの1つまたは複数のタプルの前記変換再識別コードに関連付けられた1つまたは複数の場所の配列を、それぞれの前記タプルの前記変換再識別コードに関連付けられた前記タイムスタンプおよび場所情報に基づいて決定するステップ(130);および
前記1つまたは複数の場所の配列に関する情報を提供するステップ(140)を含み、
各変換再識別コードが2つ以上の異なる場所に位置する2つ以上の異なるソースから発信されたメディアデータのサンプルの少なくとも一部を表す再識別コードの類似性保持変換に基づ
き、
前記再識別コードは時間及び場所のいずれかに依存する変換パラメータに基づいて変換される、
再識別のための評価方法。
【請求項14】
変換再識別コードを生成する少なくとも1つの装置(20)および請求項1~
12のいずれか一項に記載の評価デバイス(10)を備えるシステムであって、前記少なくとも1つの装置が前記2つ以上の異なるソースから発信される前記メディアデータに基づいて前記複数の変換再識別コードを生成するように構成され、前記評価デバイスが前記少なくとも1つの装置によって提供された前記複数の変換再識別コードに基づいて、前記1つまたは複数の場所の配列に関する情報を提供するように構成される、システム。
【発明の詳細な説明】
【技術分野】
【0001】
例は、再識別(短縮形:re-id)のための評価デバイスおよび対応する方法、ならびにシステムおよびコンピュータプログラムに関する。
【背景技術】
【0002】
人を視覚的に追跡する多くの方法は、例えば専用のステレオビジョンセンサを使用するなど、重なり合う視野を持つ特殊なカメラに依存している。しかしながら、この手法には通常専用のカメラが必要となり、視野が重ならないカメラ間の追跡はサポートされない場合がある。さらに、これらの手法では、限られた高さ範囲における下向きのカメラの向きのみがサポートされる場合がある。また、BluetoothやWi-Fiを使用して人の携帯電話を追跡する別の手法もある。赤外線バリアを使用する別の手法もある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示の種々の例は、記録されている人(または物体)のアイデンティティを一般に追跡しない再識別システムを、視野の重なり合わない複数のカメラを備える閉鎖されたシステムにおいて、人または物体の場所から場所への動きの追跡に使用することができるという発見に基づくものである。人の視覚的な再識別システムは、(通常は顔の特徴から)人の絶対的なアイデンティティを確立しようとする識別システムとは対照的に、外見のみから人を区別または再識別することを目的としている。例えば、再識別のシステムでの使用は、関係する全ての人の実際のアイデンティティに関する先験的な知識が欠如していることが原因であるかもしれないが、外部から強制されたプライバシーポリシーが原因である場合もある。人(または物体)の追跡は、画像内で認識できる人を表す画像からいわゆる再識別コードを生成することによって行うことができる。再識別システムでは、特定の人に関して、これらの再識別コードは複数の場所で撮影された複数の画像間で類似している必要があり、そのため評価デバイスはその人が訪れた場所の配列を追跡することができる。
【0004】
もう一つの発見は、特定の再識別コードがある人物の絶対的アイデンティティにリンクされていて、その再識別コードがいくつかの時間や場所にわたって同じままである場合、いくつかの再識別システムが遡及的に悪用される可能性があるということである。そのため、例えば、厳重に保護されたクローズド・システムを使用するなど、再識別コードを安全に保存、送信するために、付加的な作業が必要となる場合があり、特に、再識別コードが再識別のために中央サーバに送信されるような、多数のカメラを備えたシステムでは、実装がさらに複雑になる可能性がある。再識別コードは将来の分析のために保存することもできる。既知の再識別コードを直接使用するのではなく、代わりに、時間の経過や場所によって変化することのできる変換関数に基づいて変換再識別コードを使用すれば、このような追加的作業を回避できる可能性がある。これらの変換再識別コードは、依然として再識別に適しており、人(または物体)が訪れた場所の配列の追跡にも適しているが、生成される変換コードが時間や場所にわたって異なるように設計されているため、人の遡及的な識別に潜む危険性を回避することができる。
【課題を解決するための手段】
【0005】
本開示の種々の態様は、再識別のための評価デバイスに関する。評価デバイスは、複数の変換再識別コードを取得するように構成された処理回路を備える。各変換再識別コードは、タイムスタンプと場所の情報に関連付けられている。各変換再識別コードは、メディアデータのサンプルの少なくとも一部を表す再識別コードの類似性を保持する変換に基づいている。メディアデータは、2つ以上の異なる場所に位置する2つ以上の異なるソースから発信される。処理回路は、類似性メトリックに従って類似している変換再識別コードの1つまたは複数のタプルを生成するために、類似性メトリックを使用して複数の変換再識別コードの中の変換再識別コードを照合するように構成される。処理回路は、それぞれのタプルの変換再識別コードに関連付けられたタイムスタンプおよび位置情報に基づいて、変換再識別コードの1つまたは複数のタプルの変換再識別コードに関連付けられた1つまたは複数の場所の配列を決定するように構成される。処理回路は、1つまたは複数の場所の配列に関する情報を提供するように構成される。変換再識別コードを使用することで、人の遡及的な識別を阻止することができ、セキュリティ要件がそれほど厳しくない環境において再識別コードの送信、処理、および保存を行うことが可能となる。代替例において、提案された概念は、類似性を保持する変換関数によって変換されていない再識別コードで直接実装することもできる。この場合、再識別コードの保存および/または送信には、付加的な安全手段を使用することができる。再識別コードを類似性メトリックに従ってグループ化することにより、場所をまたぐ(例えば、人、動物、または物体の)経路を決定することができ、対応するシーケンスを生成することができる。
【0006】
例えば、各再識別コードおよび対応する変換再識別コードは、メディアデータのサンプルで認識可能な人または物体を表すことができる。換言すれば、提案された評価デバイスは、空港や店舗などの広い空間での人の動きや、複雑な交差点などでの車両などの物体の動きを追跡するために使用することができる。
【0007】
一般に、提案された手法は、空港のゲートに到着するまでの平均時間の追跡や、交通に必要な追加所要時間の推定など、人や物の動きからパターンや統計情報を導き出すために使用することができる。このような統計またはパターンの大きな要因の1つは、場所の配列を訪れるのにかかった時間である。従って、処理回路は、変換再識別コードの1つまたは複数のタプルの変換再識別コードに関連付けられたタイムスタンプに基づいて、場所の1つまたは複数のシーケンスに関連付けられたタイムスパンに関する情報を決定するように構成することができる。
【0008】
いくつかのシナリオにおいて、提案された概念は、入口と出口の両方が2つ以上の異なるソースによってカバーされる空間で使用することができる。そのようなシナリオでは、提案されたシステムを使用して、変換再識別コードによって表される人または物体の全体の存在を追跡することができる。例えば、2つ以上の異なる場所が区切られた空間の一部である場合がある。これらの2つ以上の異なる場所は、区切られた空間の少なくとも1つの入口および出口をカバーすることができる。
【0009】
本開示では、提案された概念は、主に視覚的な人の再識別という状況において提示される。従って、各再識別コードおよび対応する変換再識別コードは、メディアデータのサンプルで認識可能な人を表すことができる。しかしながら、提案された概念は、物体の再識別や動物の再識別など、他の目的にも使用することができる。従って、各再識別コードおよび対応する変換再識別コードは、メディアデータのサンプルで認識可能な物体または動物を表すことができる。
【0010】
上述のように、提案された概念は、例えば、場所の配列を訪問するのに必要な平均時間に関する情報を提供するなどの統計目的のために使用することができる。しかしながら、時間に加え、変換再識別コードによって表される人に関する人口統計学的情報などの追加情報も考慮することができる。例えば、各変換再識別コードは、人の人口統計学的情報に関連付けることができる。処理回路は、1つまたは複数の場所の配列に関連する統計情報、および/または1つまたは複数の場所の配列に関連付けられたタイムスパンに関連する統計情報をコンパイルするように構成することができる。統計情報は、人口統計学的情報に基づいて集計することができる。例えば、人口統計上異なる層の人々は、異なる経路を選択したり、異なる場所に留まったり、または場所間で異なる時間を必要としたりする可能性がある。
【0011】
この概念には、例えばセキュリティ上の理由などで、種々の用途がある。例えば、処理回路は、変換再識別コードの1つまたは複数のタプルに基づいて、区切られた空間内において1人または複数の人の存在を決定するように構成することができる。この情報は、区切られた空間が満員であるかどうか(例えば、区切られた空間に入る最大人数)、または火災の場合に人が区切られた空間に存在するかどうかを判断するために使用することができる。
【0012】
付加的または代替的に、処理回路は、決定された1つまたは複数の場所の配列に基づいて、区切られた空間での人の列の存在を検出するように構成することができる。空港のセキュリティチェックなどで別のカウンターを開くか、店舗の別のレジカウンターを開くかを決定するために、人の列を検出することができる。
【0013】
いくつかの例において、処理回路は、決定された1つまたは複数の場所の配列に基づいて警報信号を生成するように構成することができる。例えば、人が空港のバリアを破った場合、または人が別の部門で入手した商品の代金を支払わずに出口に向かっている場合、警報が発せられることがある。
【0014】
提案された概念のもう1つの用途は迷子の捜索である。例えば、子供は親と一緒に店舗や空港などの区切られた空間に入ることができる。区切られた空間で、子供は迷子になる。2人の人物が一緒に空間に入ることで、2つの再識別コードがリンクされ(つまり、互いに関連付けられ)、一方の再識別コードを使って、例えばビデオ監視資料の中から他方の再識別コードを探すことができる。換言すれば、処理回路は、区切られた空間に一緒に入った第1の人物と第2の人物を表す変換再識別コード間の関連付けを記憶するように構成することができる。処理回路は、第1の人物の変換再識別コードおよび記憶された関連付けに基づいて、第2の人物を表す変換再識別コードを検索するように構成することができる。処理回路は、検索された第2の人物の変換再識別コードに基づいて、第2の人物を見つけるように構成することができる。
【0015】
2人が空間に入ってきた正確な時間がわからない場合や、2人が空間に入っている様子を示す全ての監視映像を入手したい場合は、問い合わせをした人物の変換再識別コードを生成し、監視ビデオ映像の中からその人物と、任意で2人目の人物の位置を見つけるために使用することができる。例えば、処理回路は、人を表すさらなるメディアデータに基づいて、変換再識別コードを生成するように構成することができる。処理回路は、生成された変換再識別コードに類似している変換再識別コードを含むタプルの変換再識別コードに関連付けられた、決定された場所の配列に基づいて、区切られた空間内で人を見つけ出すように構成することができる。
【0016】
監視映像、すなわちメディアデータを検索するために、以下のタスクを実行することができる。処理回路は、生成された変換再識別コードに類似した変換再識別コードを含むタプルの変換再識別コードが基づいているメディアデータをコンパイルするように構成することができる。
【0017】
一般に、提案された評価デバイスは、監視、セキュリティモニタリング、または店舗内分析のコンセプトで使用することができる。評価デバイスの結果は、視覚化を介して、例えば、コンピュータダッシュボード上で、または警報の一部として、これらのシステムのいずれかのユーザに提示することができる。従って、処理回路は、1つまたは複数の場所の配列に関する情報の視覚化を含む表示信号を生成するように構成することができる。
【0018】
一般に、再識別コードは、再識別コードが類似性メトリックによるさらなる再識別コードに類似している場合、変換再識別コードがさらなる再識別コードの変換バージョンであるさらなる変換再識別コードと類似するように、類似性保持変換によって変換することができる。換言すれば、変換は、その後の再識別が歪められず、等価クラスの保存特性が満たされるよう行うことができる。
【0019】
種々の例において、再識別コードは、時間に依存する変換パラメータに基づいて変換される。例えば、変換パラメータは、時間の経過とともに徐々にまたは定期的に変化し得る。これにより、変換再識別コードの悪用を時間的および/または空間的に防ぐことができる。
【0020】
再識別システムは、種々のタイプのメディアで使用することができる。人の画像データとは別に、再識別システムを車両や動物の画像に適用したり、他のタイプのメディアを一緒に使用することもできる。例えば、メディアデータは、画像データ、映像データ、音声データ、物体の動きを3次元的に表現したもの、およびテキストベースのメディアデータのいずれかであり得る。種々の例において、再識別コードはハッシュアルゴリズムを使用して生成され、ハッシュアルゴリズムは、ハッシュアルゴリズムが同じ人、動物、または物体を表すメディアデータの複数のサンプルに適用される場合に、同様の再識別コードが得られるように構成される。メディアデータのタイプの上記の例は適切な再識別システムおよびハッシュアルゴリズムで使用することができる。
【0021】
例えば、処理回路は2台以上のカメラ装置から複数の変換再識別コードを取得するように構成することができる。あるいは、処理回路は、複数のカメラ装置に接続された、変換再識別コードを生成する中央装置から複数の変換再識別コードを取得するように構成することができる。
【0022】
本開示の種々の態様は、再識別のための対応する(コンピュータ実装)評価方法に関する。この方法は複数の変換再識別コードを取得するステップを含む。各変換再識別コードは、タイムスタンプおよび位置情報に関連付けられる。各変換再識別コードは、メディアデータのサンプルの少なくとも一部を表す再識別コードの類似性保持変換に基づく。メディアデータは、2つ以上の異なる場所にある2つ以上の異なるソースから発信される。この方法は、類似性メトリックに従って類似する変換再識別コードの1つまたは複数のタプルを生成するために、類似性メトリックを使用して複数の変換再識別コードの中で変換再識別コードを照合するステップを含む。この方法は、それぞれのタプルの変換再識別コードに関連付けられたタイムスタンプおよび位置情報に基づいて、変換再識別コードの1つまたは複数のタプルの変換再識別コードに関連付けられた1つまたは複数の場所の配列を決定するステップを含む。この方法は、1つまたは複数の場所の配列に関する情報を提供するステップを含む。
【0023】
本開示の種々の態様は、コンピュータ、プロセッサ、またはプログラム可能なハードウェアコンポーネント上でコンピュータプログラムが実行される場合に、上述の方法を実行するためのプログラムコードを有するコンピュータプログラムに関する。
【0024】
本開示の種々の態様は、変換再識別コードを生成するための少なくとも1つの装置および上述の評価デバイスを含むシステムに関する。少なくとも1つの装置は、2つ以上の異なるソースから発信されたメディアデータに基づいて複数の変換再識別コードを生成するように構成される。評価デバイスは、少なくとも1つの装置によって提供された複数の変換再識別コードに基づいて、1つまたは複数の場所の配列に関する情報を提供するように構成される。例えば、各ソースは、変換再識別コードを生成するための個別の装置を含むことができる、または変換再識別コードを生成する中央装置を使用して、複数のソースの変換再識別コードを生成することができる。
【0025】
以下、添付の図を参照して、装置および/または方法のいくつかの例を説明する。
【図面の簡単な説明】
【0026】
【
図1a】再識別のための評価デバイスの例を示す略ブロック図である。
【
図1b】再識別のための評価方法の例の略フローチャートである。
【
図1c】3台のカメラと1台の評価デバイスを備えたシステムの略図である。
【
図1d】評価デバイスによって提供された視覚化の例である。
【
図1e】評価デバイスによって提供された視覚化の別の例である。
【
図2a】再識別のための装置または変換再識別コードを生成する装置の例の略ブロック図である。
【
図2b】再識別のための装置または変換再識別コードを生成する装置の例の略ブロック図である。
【
図3a】再識別のための少なくとも1台の装置または変換再識別コードを生成するための少なくとも1台の装置を備えるシステムの例を示す略ブロック図である。
【
図3b】再識別のための少なくとも1台の装置または変換再識別コードを生成するための少なくとも1台の装置を備えるシステムの例を示す略ブロック図である。
【発明を実施するための形態】
【0027】
ここで、いくつかの例について、添付の図面を参照しながらより詳細に説明する。しかしながら、他の可能な例は、詳細に説明されたこれらの実施形態の特徴に限定されない。他の例には特徴の変更だけでなく、特徴の同等物および代替物が含まれ得る。さらに、本明細書で特定の例を説明するために使用する用語は、さらに可能な例を制限するものではない。
【0028】
図の説明全体を通して、同じまたは類似の参照符号は、同じまたは類似の要素および/または特徴を指し、これらは同一の、または類似する機能を提供しながら変更された形式で実行され得る。図中の線、層、および/または領域の太さは、明確のために誇張されている場合もある。
【0029】
2つの要素AおよびBが「または(or)」を使用して結び付けられている場合、これは、個別に明示的に定義されている場合を除き、全ての可能な組み合わせ、すなわち、Aのみ、Bのみ、ならびにAおよびBを示しているものと理解されたい。同じ組み合わせの代替的な言い回しとして、「AおよびBの少なくとも1つ」または「Aおよび/またはB」を使用することができる。これは2つ以上の要素の組み合わせに同等に適用される。
【0030】
「a」、「an」および「the」などの単数形が使用され、単一の要素のみを使用することが明示的または暗黙的に必須であると定義されていない場合、さらなる例では同じ機能を実装するためにいくつかの要素を使用することができる。機能が複数の要素を使用して実装されると以下に説明される場合、さらなる例では同じ機能を単一の要素または単一の処理エンティティを使って実装することができる。「含む(include, including)」、「備える(comprise, comprising)」という用語が使用される場合、記載した特徴、整数、ステップ、操作、プロセス、要素、構成要素および/またはそれらのグループの存在を説明し、1つまたは複数の他の特徴、整数、ステップ、動作、プロセス、要素、構成要素および/またはそれらのグループの存在または追加を排除するものではないと理解されたい。
【0031】
以下に、再識別の基本原理を説明する例を示す。例では2台の監視カメラが使用されている。これらのカメラから2つの画像が取得され、各画像には一人の人物が見られる。これらの画像は、異なる角度、異なる照明条件で撮影されている可能性がある(同じカメラでも異なる時点で撮影された場合もある)。再識別システムは、実際のアイデンティティを知らなくても、2つの画像が同じ人物を示しているかどうか、または画像が実際に2人の異なる人物を示しているかどうかを推測しようとする。さらに、再識別は、画像内の人の検出に限らず、例えば、動物や物体に対しても行うことができ、また、三次元モデル、文字、音声などの他の種類のメディアを使用して行うこともできる。
【0032】
例えば、1日の間に特定の場所に滞在するユニーク訪問者数をカウントする際の重複検出のフィルタリング、各エンドポイントのセンサを使用した2つの異なる場所間の移動時間の推定、顧客の一ケ所における滞在時間の計算、視野の重なり合わないカメラを使用した広域における人物追跡などのために絶対的なアイデンティティを確立するシステムの代わりに、再識別を使用するケースは複数ある。
【0033】
いくつかのシステムでは、いわゆる再識別コードを生成するために、各画像にハッシュ関数を適用することによって再識別が実行される。生成されたハッシュコードは、それぞれの画像内に表示される人物、動物、または物体を表し、類似性メトリックを使用して比較することができる。
【0034】
本開示の種々の例は、再識別コード上に「暗号化層」を追加して変換再識別コードを生成することによって再識別コードの概念を広げる。適用されたハッシュ関数は、変換とともに、いわゆる「等価クラス保存」(equivalence class preserving:ECP)特性を有しており、これは、変換再識別コード間の距離が、変換再識別コードが基にしている再識別コード間の距離と等しくないにしても、少なくとも類似していることから、アイソメトリー特性または「(ほぼ)距離保存」特性である。以下に説明するECP特性は、局所性鋭敏型ハッシュ(locality-sensitive hashing:LSH)の特性に類似している。
【0035】
数学的に、fを上述のようなハッシュ関数とし、eをECP保存変換関数(暗号化関数)とし、
【数1】
をそれぞれ2つの画像I
1およびI
2の再識別コードとする。ECP特性は、画像I
1に写っている人物と画像I
2に写っている人物が同じである場合に限り、たとえ異なる角度から撮影された画像であっても、2つの変換再識別コードが確実に、ある適切な類似性メトリックでほぼ類似するようにする、すなわち
【数2】
となるようにする。従って、2つの画像のハッシュ関数を評価した後、2つの再識別コード間の距離が小さい場合、同じ人物ということになる。一方で、距離が大きい場合は、画像に異なる人物が含まれている可能性が高い。
【0036】
このような視覚的な再識別のためのシステムを実装するために種々の方法を用いることができる。多くのシステムでは手作業による視覚的特徴(性別、年齢、顔の特徴、服の色、髪型、体型など)を使用しているが、できる限り高い精度を得るために、多くの手法では、例えばトリプレットロスに基づく深層学習ベースの技術に依存している。しかしながら、再識別コードを計算するために正確な方法を使用することは、概念の説明には重要でない。
【0037】
一部のシステムでは、特定の人物のre-idコード(再識別コード(re-identification code)の短縮形)が異なる日で同一であることがあり、個人の潜在的な絶対識別の原因となる。これは、伝統的な再識別コードが経時的に一貫していることに起因し得る。例えば、ある人が特定の時間t1に特定のカメラで自分の画像を撮影された場合、かなり後の時間t2でその人を識別できる可能性がある。それは潜在的に個人のアイデンティティに関する知識につながり、例えばパスポートや運転免許証から画像の1つが取得されているかもしれない。再識別がそのような方法で適用されると、それはまた、気付かずに個人の非匿名の識別を可能にする可能性がある。多くのシステムにおいて、この識別特性はデータの漏洩につながる可能性があるため、望ましくない。単純な暗号化方式を使用して、必要な再識別能力を失うことなく再識別コードを暗号化するなどして、この欠点を軽減させることはできない。これまでの手法に依存する個々のデバイスは、プライバシーバイデザイン(privacy by design)を提供しない可能性があるため、再識別のためのそのような分散システムは、安全なデバイスを使用したり、安全なネットワークを介して通信するなどして、全ての通信を秘密に保ち、再識別値を安全に保存する場合がある。多くのデバイスが通信する分散型マルチカメラシステムでは、このため、システム設計全体にさらに負担がかかる可能性がある。さらに、既存のほとんど全ての暗号化方式では、暗号の雪崩効果のために「等価クラス保存」特性が欠如するため、従来の暗号化方式では問題が軽減されない可能性があり、このため、暗号化されていないデータの小さな変化が暗号化されたデータの大きな変化につながり、従って、再識別能力を維持できない可能性がある。換言すれば、再識別のための方法の中にはプライバシーバイデザインを提供しないものもある。
【0038】
本開示の種々の例は異なる手法を取り、複数の場所にわたる再識別、または経時的な再識別は、設計によって制限され得る。例では、匿名再識別の方法を提供し、(定期的または局所的、効率的かつ不可逆的に再識別ハッシュ関数を変更することによって)プライバシーバイデザインが可能となる。これにより、プライバシー規制に違反せずに、再識別コードの送信と保存の両方が不安定に行われることが可能になる、というのも、変換されたコードがプライバシーに関する保証なく任意のストレージシステムに保存されてもプライバシーは保護され得るからである。提案された概念は、既存の(プライバシーの強化されていない、匿名でない、一般的に使用されている)再識別ハッシュ関数を、例えば追加の特殊な暗号化プリミティブを使用した変換関数で拡張することに基づいている。秘密性のための従来の暗号化スキームとは対照的に、提案された概念は、(ECP特性を維持することによって)再識別コードを暗号化した後でも再識別を実行する能力を取り去るものではない。他のいくつかのシステムとは対照的に、再識別コードの照合は、不安定なサーバ、または信頼できない第三者によって行うことができる。また、変換再識別コードは、プライバシーを犠牲にすることなく、信頼できないデータベースにいつまでも保存することができる。提案された概念では、既存の再識別アルゴリズムを、新しい付加的なプリミティブを追加することにより、プライバシーバイデザインによって強化できるため、再識別の概念を改善することができる。提案された概念では、既存または新規の再識別システムを、(再識別システムの上に)ECP特性を備えた(動的)暗号化プリミティブ(すなわち変換関数)と組み合わせることができる。
【0039】
以下では、再識別コードを計算し、続いて暗号化するためのシステムがカメラに組み込まれているものと想定する。これは提案された概念を機能させるために必要なのではなく、使用事例を説明するのに役立つものである。この方法は組み込みデバイスまたはエッジデバイスに有用であるが、後に提示する装置または評価デバイスをクラウドに実装したクラウドベースの実装でも機能することができる。
【0040】
再識別コードの変換に加え、変換再識別コードを使用して、人、動物、または物体が訪れた場所の配列を決定する評価デバイスが提供される。本開示の種々の態様は、例えば複数の視野の重なり合わないカメラを使用して匿名の顧客分析を行うための装置を提供する。本開示は、主な例として店内分析を用いて、匿名再識別のいくつかの用途を提示する。
【0041】
本開示の種々の例は、ステレオビジョンまたは重なり合う視野を必要としないカメラなどの情報源の使用に基づくものである。再識別を使用することにより、空間全体をカバーすることなく、空間の場所全体にわたっての分析が可能になる。従って、種々の例において、既存のカメラ設備を使用することができる。提案された概念は、単に現在のフィードを分析する(これは、最初の目的または新しい目的にも使用できる)。既存のカメラフィードを他の目的、たとえば盗難監視、高度な行動分析、人口統計分析(年齢/性別)に同時に使用することができる。また、カメラを使用している場合、これらのカメラを特殊化する必要はない(例えば、ステレオビジョンは必要ない)。また、カメラは様々な角度と高さの範囲で取り付けることができる。機械学習/深層学習に基づく匿名再識別を使用することで、既存の概念および/または設備を改善することができる。
【0042】
以下では、(視覚的な)匿名再識別のシステムが機能していると想定する。そのようなシステムには、例えば、
図2a~3bに示すように、匿名再識別に使用する変換再識別コードを生成する装置と、
図1a~1eに示すように、そのような装置および対応する評価デバイスを備えたシステムとがある。
【0043】
図1aは再識別のための評価デバイス10の例を示す略ブロック図である。評価デバイスは処理回路14を備える。任意選択で、評価デバイスはインターフェース12および1つまたは複数の記憶装置16を備える。処理回路は任意選択的なインターフェースおよび1つまたは複数の記憶装置に接続される。一般に、評価デバイスの機能は、例えば、インターフェース(情報を交換するため)および/または1つまたは複数の記憶装置(情報を記憶するため)と組み合わせて、処理回路によって提供される。
【0044】
処理回路は、(例えば、インターフェース12を介して、および/または1つまたは複数の記憶装置16から)複数の変換再識別コードを取得するように構成される。各変換再識別コードは、タイムスタンプおよび場所情報と関連付けられる。各変換再識別コードは、メディアデータのサンプルの少なくとも一部を表す再識別コードの類似性保持変換に基づく。メディアデータは、2つ以上の異なる場所に位置する2つ以上の異なるソースから発信される。処理回路は、類似性メトリックに従って類似する変換再識別コードの1つまたは複数のタプルを生成するために、類似性メトリックを使用して複数の変換再識別コードの中で変換再識別コードを照合するように構成される。処理回路は、それぞれのタプルの変換再識別コードに関連付けられたタイムスタンプおよび場所情報に基づいて、変換再識別コードの1つまたは複数のタプルの変換再識別コードに関連付けられた1つまたは複数の場所の配列を決定するように構成される。処理回路は、(例えば、インターフェース12を介して)1つまたは複数の場所の配列に関する情報を提供するように構成される。
【0045】
図1bは再識別のための対応する(コンピュータ実装)評価方法の例の略フローチャートを示す。この方法は、複数の変換再識別コードを取得するステップ110を含む。この方法は、類似性メトリックに従って類似する変換再識別コードの1つまたは複数のタプルを生成するために、類似性メトリックを使って複数の変換再識別コードの中の変換再識別コードを照合するステップ120を含む。この方法は、それぞれのタプルの変換再識別コードに関連付けられたタイムスタンプおよび場所情報に基づいて、変換再識別コードの1つまたは複数のタプルの変換再識別コードに関連付けられた1つまたは複数の場所の配列を決定するステップ130を含む。この方法は、1つまたは複数の場所の配列に関する情報を提供するステップ140を含む。
【0046】
以下の説明は
図1aの評価デバイス10および
図1bの対応する方法のいずれにも関するものである。
【0047】
本開示の種々の態様は、再識別のための、すなわち再識別に使用するための評価デバイス、評価方法および対応するコンピュータプログラムに関するものである。一般に、再識別システムは複数のコンポーネント、すなわち、再識別コードを生成するコンポーネント、または、提案された概念の種々の例においては変換再識別コード、およびこれらの再識別コードを評価するためのコンポーネントを備え、実際の再識別を行う。ここで、再識別という用語は、人、動物または物体などの何かが(識別ではなく)再識別されることを示す、すなわち、先に記録された人、動物または物体が再度記録され、前の記録と照合されることを示す。 提案された概念において、再識別はいわゆる再識別コードに基づいており、再識別コードは、いくつかのタイプのメディアデータで認識可能な人、動物または物体を表すものである。本開示においては、主に、視覚的人物再識別システム、すなわち、視覚的メディアデータ(例えば、画像データ)が記録され、視覚的画像データに表示されている人物が再識別されるシステムに焦点をあてている。しかしながら、同じ概念を他のタイプのメディアデータにも適用することができ、適切なハッシュ関数が再識別コード生成のために選択される限り、動物または物体にも適用することができる。例えば、各再識別コードおよび対応する変換再識別コードは、メディアデータのサンプルで認識される人、動物または物体を表すことができる。一方で、人、動物または物体は類似の再識別コードのグループで表すことができる。従って、メディアデータは画像データ、映像データ、音声データ、および人または物体の動きの3次元表現のうちの1つであってもよい。しかしながら、種々の例において、メディアデータ自体は評価デバイスによって分析されるのではなく、メディアデータの少なくとも一部(例えば、認識される人、動物または 物体)を表す再識別コードを生成するエンティティによって処理される。従って、メディアデータの分析は、
図2aの変換再識別コードを生成する装置と関連してより詳細に説明する。
【0048】
処理回路は複数の変換再識別コードを取得するように構成される。先に指摘したように、そのような変換再識別コードを生成する手段は、例えば
図2a~2bに示す変換再識別コードを生成する装置によって提供することができる。このような装置は、例えば、
図2bおよび
図1cに示すように(カメラ151,154,157)、カメラデバイス200内に組み込むことができ、メディアデータをその入力として受信し、入力で提供されたメディアデータに基づいて変換再識別コードを提供することができる。そのような装置がカメラデバイス内に組み込まれると、変換再識別コードをそれぞれのカメラデバイスから取得する(例えば受信する)ことができる。従って、処理回路は2台以上のカメラデバイス200から複数の変換再識別コードを取得するように構成することができる。あるいは、複数のカメラのメディアデータを処理する中央装置を使用してもよく、複数の変換再識別コードを中央装置から取得してもよい。いくつかの例において、評価デバイスは、中央装置、例えば、
図2aおよび
図2bに示す、変換再識別コードを生成する装置20を備えることができる。先に指摘したように、同じ原理をマイクロフォンまたは3Dセンサなどの他のソースにも適用することができる。
【0049】
図1cはシステムを示し、変換再識別コードはそれぞれのカメラデバイスによって提供される。
図1cは、変換再識別コードを生成する(カメラデバイス 151,154,157に組み込まれた)少なくとも1つの装置および評価デバイス10を備えるシステムを示す。
図1cにおいて、人150は空間内を入口から出口まで移動する。人はカメラデバイス151;154;157によって記録され、これらは人の画像データ152;155;158を生成し、これらはそれぞれの変換再識別コード153;156;159を生成するために使用され、評価デバイス10に送信される。換言すると、少なくとも1つの装置(すなわち、カメラデバイスに組み込まれた装置)は、2つ以上の異なるソース(すなわち2台以上のカメラデバイス)から発信されたメディアデータに基づいて複数の変換再識別コードを生成するように構成することができる。カメラのより具体的な例を参照すると、メディアデータは画像データまたは映像データのうちの1つであってもよい。メディアデータは2つ以上の異なる場所に位置する2台以上のカメラデバイス151;154;157(または
図3aおよび/または3bに示す200)から発信され得る。ここで、「発信される」という用語は、メディアデータが2つ以上の異なるソースによって生成されるということを示す。評価デバイスは、少なくとも1つの装置によって提供された複数の変換再識別コードに基づいて、1つまたは複数の場所の配列に関する情報を提供するように構成することができる。
【0050】
種々の例において、複数の変換再識別コードを
図3aおよび/または3bに示すデータベース18から取得することができる。例えば、データベース18は、特定のインターフェース(例えば、コンピュータネットワークを介して、および/または所定のプロトコルに従って)を介し、複数のデバイスによってアクセス可能なデータベースであってもよい。例えば、複数の装置はそれらの生成された変換再識別コードをデータベースに提供するように構成することができる。いくつかの例において、データベースは評価デバイスの外部に設けてもよく、例えば、コンピュータネットワークを介してアクセスすることができる。しかしながら、いくつかの例において、評価デバイスはデータベース18を含んでもよい。
【0051】
先に指摘したように、再識別コードは、本開示で使用する場合、変換再識別コードであり、これは、再識別コードの類似性保持変換に基づいて変換された再識別コードである。いくつかの例において、この変換は、変換再識別コードが基づいている再識別コードを生成するデバイスによって直接適用されることができる。
図2aおよび
図2bに変換例を示す。ここでは、そのような変換再識別コードを生成する装置を示している。一般に、変換は類似性保持変換である、すなわち、再識別コードは、類似性保持変換によって、再識別コードが類似性メトリックに従うさらなる再識別コードと類似する場合、変換再識別コードはさらなる再識別コードの変換バージョンであるさらなる変換再識別コードと類似するように変換される。
図2aおよび
図2bでより詳細に説明するが、再識別コードは、時間および場所のいずれかに依存する変換パラメータに基づいて変換することができる。例えば、変換パラメータは、経時的または場所にまたがって徐々にまたは定期的に変化し得る、すなわち、2つの変換パラメータ間の線形補間に基づいて徐々に、または固定された時間または場所で変化し得る。
図2aおよび
図2bにより詳細を示す。
【0052】
各変換再識別コードはタイムスタンプおよび場所情報に関連付けられる。ここで、「関連付けられる」という用語は、変換再識別コードが対応するタイムスタンプおよび場所情報と共に受信されることを示している、または、 変換再識別コードが処理回路によって、それらの到着時間およびソースに基づいて、対応するタイムスタンプおよび場所情報の注釈がつけられることを示している。一般に、タイムスタンプはそれぞれの変換再識別コードが基づくメディアデータが記録された時間、またはそれぞれの変換再識別コードが受信された時間(例えば、変換再識別コードがほぼリアルタイムに取得された場合)に関連する。従って、処理回路は、それぞれの変換再識別コードが取得された時間に基づいて変換再識別コードのタイムスタンプを決定するように構成することができる。同様に、場所情報はそれぞれの変換再識別コードが基づくメディアデータが記録された場所を示す。例えば、場所識別子は、場所を識別する識別子(例えば、評価デバイスによって実際の情報とリンクされたメディアデータを提供するカメラの識別子)、または座標系に従った座標を含んでもよい。例えば、変換再識別コードが既知のソース、例えば既知のカメラデバイスの装置から取得された場合、処理回路は変換再識別コードが取得されたソースに基づいて場所情報を決定するように構成することができる。
【0053】
処理回路は、類似性メトリックに従って類似する変換再識別コードの1つまたは複数のタプルを生成するために、複数の変換再識別コードの中の変換再識別コードを類似性メトリックを使って照合するように構成される。一般に、タプルはゼロまたは複数の要素を順番に含む値のグループである。しかしながら、いくつかの例では、タプル内のサンプルの順序は意味がない、というのも、単にサンプルがタプルに入っていること(adherence of a sample to a tuple)が場所の配列の生成に関連している可能性があるからである。従って、説明したタプルはサンプルの「セット」または「グループ」であるとも理解されたい。あるいは、タプル内の順序は、変換再識別コードに関連付けられたタイムスタンプによる年代順によって定めてもよい。また、各タプルは 1つまたは複数のサンプルを含んでもよい(非ゼロタプルが1つまたは複数のサンプルを除去した場合を除く)。
【0054】
このように処理回路は、類似性メトリックを使用して変換再識別コードをグループ化するように構成される。特に処理回路は、類似性メトリックに従って 、事前に定められた類似性閾値を超えるか一致する類似性を持つ変換再識別コードと照合するように構成することができる。ここで、「照合する」という用語は、それぞれの変換再識別コードを比較し、類似する変換再識別コードをグループ化してタプルを形成することである。例えば、変換再識別コードは、
図1cに示すように、16進値の文字列で表すことができる。処理回路は、変換再識別コードの各ペアを桁単位で比較し(桁とは個々の16進値を意味する)、個々の桁の差で構成される16進値のさらなる文字列を決定するように構成することができる。そしてさらなる文字列の値の合計は、2つの変換再識別コード間の類似性を示し、合計が大きいほど全体の差は大きくなり、類似性は小さくなる。あるいは、各桁を個々に評価するのではなく、16進数全体を考慮して評価するなど、別のシステムを選択する。いくつかの例において、差は2つの変換再識別コード間の「距離」と表すこともできる。類似性メトリックを使用して変換再識別コードを照合することにより、変換再識別コードを1つまたは複数のタプルにグループ化し、同じ対に割り当てられている再識別コードが類似性メトリックに従って類似するようにすることができる。
【0055】
取得された変換再識別コードは類似する変換再識別コードを照合するために使用されるが、タイムスタンプおよび場所は、場所の配列を確立するために使用される。処理回路は、それぞれのタプルの変換再識別コードに関連付けられたタイムスタンプおよび場所情報に基づいて、変換再識別コードの1つまたは複数のタプルの変換再識別コードに関連付けられた1つまたは複数の場所の配列を決定するように構成される。例えば、処理回路は関連付けられたタイムスタンプに従って1つまたは複数のタプルの変換再識別コードを分類し、関連付けられたタイムスタンプによって定められた順序で、タプルの変換再識別コードに関連付けられた場所情報に基づいて場所の配列を生成するように構成することができる。あるいは、変換再識別コードは、例えば評価デバイスによって取得された順序または時間に基づいて、それぞれの変換再識別コードに関連付けられたタイムスタンプによって定められた順序で予めタプルに追加しておくことができる。一般に、各場所の配列は、場所の配列を生成するために使用された変換再識別コードに関連付けることができ、よって、それぞれの変換再識別コードによって表されるそれぞれの人、動物または物体に関連付けることもできる。つまり、各場所の配列は、(それぞれの場所の配列を生成するために使用される変換再識別コードによって表される)人、動物または物体に関連付けることができる。
【0056】
一度場所の配列が決定されると、それを人(または物体)が場所の配列を訪れるためにかかった時間などの、場所の配列に関する知識をコンパイルするために処理することができる。例えば、店舗、空港、石油掘削装置(oil rig)または遊園地などの他の場所での人の行動が評価されるシナリオにおいて、店舗内の滞在時間を計算することができる。換言すれば、処理回路は、変換再識別コードの1つまたは複数のタプルの変換再識別コードに関連付けられたタイムスタンプに基づいて、1つまたは複数の場所の配列に関連付けられたタイムスパンに関する情報を決定するように構成することができる、例えば、場所の配列を訪ねるための、1つまたは複数の場所の配列に関連付けられた1つまたは複数の人(または 動物、 物体)が費やした時間、すなわち滞在時間を決定するように構成することができる。
【0057】
このシステムは、店舗だけでなく、空港、石油掘削装置、化学プラント、工場のフロア、企業、遊園地などにも適用され、セキュリティ(侵入者の追跡)、安全性(緊急事態などの場合の人の計算)、健康(例えば、感染症の蔓延を防止するために制限できる部屋にいる人の数)、スマートビルディング、スマートシティのトラフィック分析、建築家や建物の所有者向けの一般的な分析にも適用される。一般に、この概念は任意の区切られた(つまり囲まれた)空間に適用することができる。換言すれば、2つ以上の異なる場所は区切られた空間の一部であり得る。本開示において、区切られた空間、または囲まれた空間は、入口および/または出口が2つ以上のソース、例えば2台以上のカメラによってカバーされる2つ以上の異なる場所の中にある空間として定義することができる。従って、区切られた空間は、入口と出口が2つ以上の異なる場所の間にあれば、屋外空間であってもよい。換言すれば、2つ以上の異なる場所は、区切られた空間の少なくとも1つの(または各)入口と出口をカバーし得る。
【0058】
一般に、提示された概念は、例えば、人が入口から出口へと通る場合など、区切られた空間内での人の追跡に使用することができる。滞在時間だけが必要な統計値であれば、各店舗の入口に外向きと内向きの2台のカメラを設置すれば十分であろう。顧客のre-idハッシュ(すなわち再識別コード)は入室と退室時に計算され得る。これらを組み合わせると、滞在時間、すなわち、それぞれの場所の配列に関連付けられたタイムスパンの情報になる。従って、処理回路は、それぞれの場所の配列に関連付けられたタイムスパンに基づいて、変換再識別コードによって表される個人の滞在時間を決定するように構成することができる。同じ手法をユニーク訪問者数のカウントに使用することができる。この数は、区切られた空間の入口から発信されたメディアデータに基づく第1の変換再識別コードおよび区切られた空間の出口から発信されたメディアデータに基づく第2の変換再識別コードを含むタプルの数に対応し得る。出口で人が検出されると、その人をユニーク訪問者としてカウントすることができ、タプルは廃棄してもよい(あるいはその日の最後に廃棄してもよい)。
【0059】
訪れた場所に関するより詳しい情報を決定するために、区切られた空間に2台以上のカメラを設置してもよい。例えば、区切られた空間 (例えば小売店)の戦略的な場所にカメラを設置してもよい。区切られた空間の重要な場所に加え、全ての入口と出口をカバーしてもよい。
【0060】
匿名の再識別概念を使用することにより、顧客などの人物を複数の重なり合わないカメラで再識別することができる。カメラの場所が事前にわかっていて、各顧客の時間および re-idコードがログされると、顧客が店を通り抜けるよくありがちな移動ルートを再現することができる。従って、2台以上のカメラは重なり合わない視野を有してもよく、または2台以上のカメラのうちの少なくとも1台のカメラは2台以上のカメラのうちのいずれのカメラとも重なり合わない視野を有してもよい。さらに、システムは匿名なので、プライバシーバイデザインを提供するので、プライバシー規制に違反しない。
【0061】
提案された概念を画像ベースの人口統計分析と組み合わせて、年齢または性別ベースの結果を提供することができる。例えば、年齢の推定と組み合わせると、年齢層によって異なる滞在期間のヒストグラムを作成することができる。換言すれば、各変換再識別コードは、(推定)年齢層または(推定)性別などの個人に関する人口統計学的情報に関連付けることができる。例えば、変換再識別コードは関連する人口統計学的情報と共に取得することができる。例えば、変換再識別コードを提供する装置によって提供することのできる別の機械学習ベースの機能を使用して、変換再識別コードによって表される人の年齢層または性別を推定することができる。処理回路は、1つまたは複数の場所の配列に関する統計情報および/または1つまたは複数の場所の配列に関連付けられたタイムスパンに関する統計情報をコンパイルするように構成することができる。例えば、統計情報には(例えば、
図1dに示すような)区切られた空間内の個々の人物によって費やされたタイムスパンのヒストグラムを含むことができる。代替的または付加的に、統計情報は、(例えば
図1eに示すような)区切られた空間内で個々の人物がたどった通路(またはルート)の統計的な内訳、または(区切られた空間が店である場合)区切られた空間内で訪問された通路の統計的な内訳を含む。例えば、統計情報は人口統計学的情報に基づいて集計することができる。換言すれば、統計情報内の異なる年齢層および/または性別について個々のヒストグラムを生成することができる。また、訪問された経路や通路は統計情報内の年齢層や性別で分析することができる。
【0062】
多くの使用事例の一般的なシステムは、カメラ固有の、タイムスタンプ付きの、匿名の re-idコードを全て外部のデータベースにエクスポートすることによって作成することができる。このため、画像分析や深層学習の経験のないアプリケーションプログラマーは、顧客の動きを分析したり、キューの検出、盗難警報、緊急事態などのリアルタイムアラートに使用することのできる高度なアプリケーションを作成することができる。例えば、処理回路は、区切られた空間の出口から発信されたメディアデータに基づく変換再識別コードなしで、例えば、複数のタプル内の少なくとも1つのタプルを識別することによって、 変換再識別コードの1つまたは複数のタプルに基づいて、区切られた空間内における1人または複数の人の存在を決定するように構成することができる。付加的または代替的に、処理回路は、例えば同じ場所情報と同じタイムスタンプに関連付けられた変換再識別コードを含む複数のタプルを識別することにより、決定された1つまたは複数の場所の配列に基づいて、区切られた空間内の人の列の存在を検出するように構成することができる。いくつかの例において、処理回路は、例えば、区切られた空間の1つのセクション内にあまりにも多くの人物の存在が決定された場合、または場所の配列に高値の場所、例えば宝石カウンターや出口などが含まれるが、キャッシャーカウンターがない場合に、決定された1つまたは複数の場所の配列に基づいて警報信号を生成するように構成することができる。匿名re-idコードにより、データベースは一般データ保護規則(General Data Protection Regulation:GDPR)などのプライバシーに関する法令を遵守しつつ、より低いレベルのセキュリティで保存することができる。
【0063】
このシステムのもう一つの特定の用途は、遊園地やショッピングセンターにおける迷子の追跡である。例えば、母と子で来て子供が迷子になった場合、最初に母親のre-idコードを(彼女運転免許証から、または彼女の写真を撮ることによって)使用して子供のre-idコードを取得し、その後で子供を追跡することができる。換言すれば、処理回路は、区切られた空間に一緒に入った第1の人物(例えば母親)と第2の人物(例えば子供)を表す変換再識別コードの関連性を記憶するように構成することができる。例えば、処理回路は、変換再識別コードの照合中、同じタイムスタンプと区切られた空間の入口を示す同じ場所情報とを有する2つの変換再識別コードが検出された場合、その関連付けを記憶するように構成することができる。処理回路は、第1の人物の変換再識別コードおよび記憶された関連付けに基づいて、第2の人物を表す変換再識別コードを検索するように構成することができる。例えば、関連付けを2つの変換再識別コードを含む2つのタプルと共に記憶してもよい。処理回路は第2の人物の検索された変換再識別コードに基づいて第2の人物を見つけるように構成することができる。例えば、処理回路は、第2の人物を表す変換再識別コードを含むタプルから最新の変換再識別コードを検索し、その変換再識別コードと関連付けられた場所情報を取得するように構成することができる。
【0064】
再識別コードのタプルを検索するために、第1の人物の変換再識別コードを生成することができる。例えば、処理回路は、例えば第2の人物を表すさらなるメディアデータに基づいて変換再識別コードを生成するように構成することができる。そしれこの変換再識別コードは、第2の人物の変換再識別コードを検索するために使用することができる。あるいは、この変換再識別コードは、生成された変換再識別コードに類似した変換再識別コードを含むタプルの変換再識別コードに関連付けられた、決定された場所の配列に基づいて、区切られた空間内で人物を見つけるために使用することができる。そのため、行方不明者の画像は、区切られた空間内でその人を見つけるには十分であり得る。あるいは、前記人物の位置を決定することはできないが、それぞれの変換再識別コードが基づくメディアデータを検索することができる。
【0065】
いくつかの例において、システムは、プライバシー法および規制の他の部分に準拠するように使用することができる。多くの場合、プライバシー法および規制により、顧客は、顧客が存在する店舗で記録された全ての映像資料を要求することができる。そのような要求は、通常、店舗の所有者が特定の日の映像資料を調べなければならないという大量の手作業をもたらす。re-id(必ずしも匿名のre-idである必要はない)を使用すると、このプロセスを自動的に実行するシステムを生成できる可能性がある。例えば、処理回路は、生成された変換再識別コードに類似した変換再識別コードを含むタプルの変換再識別コードが基づくメディアデータをコンパイルするように構成することができる。例えば、各変換再識別コードは、変換再識別コードが基づくメディアデータに関する情報に関連付けることができ、これは、メディアデータの検索に使用することができる。あるいは、メディアデータはそれぞれの変換再識別コードに関連付けられたタイムスタンプおよび場所情報に基づいて検索することができる。
【0066】
前のセクションでは提案された概念のいくつかの用途を紹介した。これらに共通しているのは、1つまたは複数の場所の配列が分析され、それぞれの再識別コードによって表される人、動物、または物体に関する情報がコンパイルされる(すなわち、分析の結果となる)ことである。情報がコンパイルされると、それは評価デバイスによって提供される。換言すれば、処理回路は1つまたは複数の場所の配列に関する情報を提供するように構成される。一般に、1つまたは複数の配列に関する情報には、上述の用途、例えば、統計情報、タイムスパン、人物の場所、または検索されたメディアデータに関する情報などの結果を含めることができる。
【0067】
一般に、1つまたは複数の場所の配列に関する情報は、結果の視覚化として提供することができる。換言すれば、処理回路は、1つまたは複数の場所の配列に関する情報の視覚化を含む表示信号を生成するように構成することができる。一般に、表示信号は、モニタまたはディスプレイに視覚化を表示させる制御命令を含む、モニタまたはディスプレイの制御信号であってもよい。あるいは、表示信号は視覚化を含む任意の種類のデジタル信号であってもよい。特に、表示信号は、表示デバイス上で視覚化を生成するための解釈可能なコードを含むことができる。例えば、表示信号は、コンピュータデバイスのウェブブラウザにおいて視覚化を生成する解釈可能なコードを含み得る。例えば、視覚化は評価デバイス10によって行われる再識別の結果を示すことができる。
【0068】
視覚化することのできる種々のタイプの結果がある。例えば、評価デバイスは、各エンドポイントのセンサの画像データに基づいて生成される変換再識別コードを使用して、2つの異なる場所の間で、異なる人、動物、または車両の場所の配列に関連付けられたタイムスパンを決定するように構成することができる。従って、視覚化は、異なる人、動物、または車両のタイムスパンおよび/またはそれらの統計的評価の視覚的表現を示すことができる。
【0069】
代替的または付加的に、評価デバイスは、変換再識別コードに基づいて、1日の間に特定の場所でユニーク訪問者をカウントする際に、重複した検出をフィルタリングするように構成することができる。視覚化は、その特定の場所での(フィルタリングされた)ユニーク訪問者の数の視覚的表現、および/または経時的なヒストグラムなどのその統計的評価を示すことができる。
【0070】
いくつかの例において、評価デバイスは(例えば、場所の配列に関連付けられたタイムスパンを使用して)変換再識別コードに基づいて、1つの場所における顧客の滞在時間を計算するように構成することができる。従って、視覚化は、その場所における顧客の滞在時間の視覚的表現、および/またはヒストグラムなどのその統計的評価を示すことができる。
【0071】
図1dは評価デバイスによって提供された視覚化の例を示す。
図1dにおいて、視覚化は匿名店舗統計を示し、2つの部分、すなわち、ユニーク訪問者の数と滞在平均時間などの文字情報を含む第1部分160と、滞在時間、4分間隔(1分以上5分以下、5分以上9分以下、9分以上13分以下など)で生成したヒストグラムの第2部分165とを含む。
【0072】
評価デバイスは、変換再識別コードに基づき、視野の重なり合わないカメラを使って、広範囲にわたる人物の追跡を行うように構成することができる。例えば、人物の2次元画像および3次元表現のどちらも追跡に使用することができる。これに応じて、視覚化は追跡された人々の視覚的表現を示すことができる。
図1eは評価デバイスによって提供された視覚化の別の例を示す。
図1eには匿名店舗内の顧客の流れ170を示している。視覚化において、2つの別々の顧客の流れ(#1および#2)が示されており、これは、入口から出口まで2つ以上の場所に沿っている。
【0073】
まとめると、提案された概念では(変換された)再識別コードを生成する(匿名の) re-idシステムが使用される。さらに、各カメラのタイムスタンプ付きre-idコードを記録することにより、マルチカメラによる追跡を実行することができる。全てのイベントは全カメラの共通のデータベースにエクスポートすることができる。データベースに加え、種々の分析アプリケーションを生成することができる。評価デバイスの種々の態様はマルチカメラ追跡に関し、任意選択で、分析アプリケーションに関するものである。一方で、
図2aおよび2bに示す装置は変換再識別コードの生成に関する。専用の分析アプリケーションは製品を特別な使用事例に合わせることができる。
【0074】
インターフェース12は、モジュール内、モジュール間、または異なるエンティティのモジュール間で、指定されたコードによるデジタル(ビット)値の情報を受信および/または送信するための1つまたは複数の入力および/または出力に対応することができる。例えば、インターフェース12は情報を送受信するように構成されたインターフェース回路を含むことができる。例えば、インターフェース12はカメラデバイス200内の通信に適し得る。付加的または代替的に、インターフェース12はコンピュータネットワーク、例えば無線または有線コンピュータネットワークを介した通信に適し得る。
【0075】
処理回路14は、1つまたは複数の処理ユニット、1つまたは複数の処理デバイス、対応して適合されたソフトウェアで動作可能なプロセッサ、コンピュータ、またはプログラム可能なハードウェアコンポーネントなどの任意の処理手段を使用して実装することができる。換言すれば、処理回路14の説明された機能は、ソフトウェアに実装され、そして1つまたは複数のプログラム可能なハードウェアコンポーネント上で実行されることもできる。このようなハードウェアコンポーネントには中央処理装置(Central Processing Unit:CPU)、デジタル・シグナル・プロセッサ(Digital Signal Processor :DSP)などの汎用プロセッサ、マイクロコントローラなどがある。
【0076】
少なくともいくつかの実施形態において、1つまたは複数の記憶装置16は、磁気または光記憶媒体、例えば、ハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダムアクセスメモリ(Random Access Memory:RAM)、読み取り専用メモリ(Read Only Memory:ROM)、プログラム可能読み取り専用メモリ(Programmable Read Only Memory:PROM)、消去可能プログラム可能読み取り専用メモリ(Erasable Programmable Read Only Memory:EPROM)、電子的に消去可能プログラム可能読み取り専用メモリ(Electronically Erasable Programmable Read Only Memory:EEPROM)、またはネットワークストレージなどの、コンピュータ可読記憶媒体のグループの少なくとも1つの要素を含み得る。
【0077】
評価デバイス、評価方法、および対応するコンピュータプログラムのより詳細な内容および態様は、上記または下記の提案された概念または1つもしくは複数の例(例えば、
図2a~
図3b)に関連して言及される。評価デバイス、評価方法および対応するコンピュータプログラムは、提案された概念の1つまたは複数の態様や、上記または下記の1つまたは複数の例に対応する1つまたは複数のさらなる任意選択的特徴を含み得る。
【0078】
図2aおよび2bは 、再識別のための装置20または変換再識別コードを生成する装置20の例の略ブロック図である。装置はインターフェース22および処理回路24を含む。任意選択で、装置は1つまたは複数の記憶装置26を含む。処理回路はインターフェースおよび任意選択で1つまたは複数の記憶装置に接続される。一般に、装置の機能は、例えば、インターフェース(情報交換のため)や1つまたは複数の記憶装置(情報を記憶するため)と共に、処理回路によって提供される。
【0079】
処理回路24はインターフェース22を介してメディアデータを取得するように構成される。処理回路は、ハッシュアルゴリズムを使用してメディアデータの少なくとも一部を表す再識別コードを生成するように構成される。処理回路は、変換関数を使って再識別コードを変換して変換再識別コードを取得するように構成される。変換関数は、再識別コードが、類似性メトリックに従うハッシュアルゴリズムによって生成されたさらなる再識別コードに類似する場合、変換再識別コードが、さらなる再識別コードの変換バージョンであるさらなる変換再識別コードと類似するように再識別コードを変換するように構成される。変換関数は変換パラメータに基づいて再識別コードを変換するように構成される。例えば、変換パラメータは時間および/または場所に依存してもよい。処理回路は(例えばインターフェース22を介して)変換再識別コードを提供するように構成される。
図2bは装置22を備えたカメラデバイス200をさらに示す。例えば、カメラデバイス200は、例えば画像データとしてメディアデータを生成する画像センサをさらに備えてもよい。
【0080】
本開示の種々の態様は、再識別のための装置、すなわち、再識別システムで使用するための再識別コードを生成する装置に関する。他の種々のシステムとは対照的に、本装置は再識別の一般的な概念に基づいて構築されており、時間や異なる場所にわたって人や物体を遡及的に追跡する能力を阻止しつつ、再識別の能力を保持する変換層を追加する。例えば、再識別コードを変換することにより、再識別コードは変換関数によって暗号化することができる。よって本開示の種々の態様は匿名の再識別の装置に関する。
【0081】
提案された概念では、既存の再識別関数の上に、ECP特性を維持する動的に変化する暗号化層(すなわち変換関数)を追加することで、この問題に対処している。言い換えると、提案された概念は、その外側でそれらが意図的に機能しない時間間隔(または場所の制限)が組み込まれた再識別コードの構築を可能にする。この手法によって匿名の再識別およびプライバシーバイデザインが実現されるため、再識別値を不安定なデバイスにさえも、または不安定なネットワークを介してさえも伝達することができ、再識別コード照合プロセスは、信頼できないサーバまたは第三者であっても後の時点で行われ得る。一般に、提案された概念は、例えば、毎日または場所をまたいで効率的な方法で(動的に)変化する再識別スキームに基づいているため、再識別コードは各日または各場所内で一貫性を保ちながら、異なる日および/または場所の間では一貫していない。
【0082】
一般に、匿名の再識別は、少なくとも2つの新規の態様、すなわち、等価クラス保存特性を保持する再識別コードの変換と、その変換の時間または場所への依存性とを使って実装される。第1の態様は同じ(または類似の)変換パラメータから発信された変換再識別コード間のみで再識別関数を保持することを目的とし、第2の態様は異なる変換パラメータが使用されている状況を特定することを目的としている。例えば、異なる時間に異なる変換パラメータが使用される場合、異なる時間にわたる人の追跡は阻止され得る。同様に、異なる変換パラメータが異なる場所に使用される場合、異なる場所にわたる人の追跡は阻止され得る。その結果、生じる変換再識別コードは潜在的に不安定なシステムを介して保存および/または送信され、必要とされる実装の労力が削減され得る。
【0083】
再識別コードはメディアデータに基づいて生成される。一般に、メディアデータは、視覚的、聴覚的、または視聴覚的メディアデータであり得る。例えば、メディアデータは、画像データ、映像データ、音声データ、物体の動きの3次元表現(つまり、3次元の体の動き)、および文字ベースのメディアデータ/入力のいずれかである。従って、メディアデータは、カメラまたはカメラセンサ、マイクロフォン、3次元スキャナー、またはテキスト取得システムなど、種々のタイプのメディアデータ生成デバイスから発信され得る。
【0084】
処理回路は、1つまたは複数のメディアデータ生成デバイスから、例えば、ローカルに、または(コンピュータネットワーク)を介して、メディアデータを取得するように構成することができる。従って、インターフェース22は、デバイス内通信のためのローカルインターフェースであるか、またはそれを含み得る。また、インターフェース22は、インターネットもしくはローカルネットワークなどのコンピュータネットワークを介して通信を行うインターフェースであるか、またはそれを含み得る。例えば、場合によって、ある装置は、異なる場所にある複数のメディアデータ生成デバイスからメディアデータの再識別コードを生成するように使用することができる。従って、メディアデータは、異なる場所にある2つ以上のメディアデータ生成デバイスから取得され得るか、または発信され得る。
【0085】
例えば、上述の様に、装置はカメラセンサ28を備えるカメラデバイス200の一部であってもよい。この場合、メディアデータ生成デバイスはカメラデバイスまたはカメラデバイスのカメラセンサ28であってもよく、処理回路はカメラセンサ28からメディアデータを取得してもよい。しかしながら、場合によっては装置をカメラデバイスの外部に設けてもよく、処理回路は、装置の外部にあるカメラからメディアデータを取得するように構成される。例えば、装置は、ネットワークデバイス、エッジデバイス(メディアデータ生成デバイスに近接して配置されたネットワークデバイス)、またはクラウドサーバに実装することができる。いずれの場合も、一般的に、処理回路はカメラの画像センサから画像データおよびビデオデータのうちの1つであるメディアデータを取得するように構成される。
【0086】
メディアデータのタイプに応じて、適切なハッシュアルゴリズムを選択して再識別コードを生成することができる。処理回路は手元のメディアデータに適したハッシュアルゴリズムを使用して、メディアデータの少なくとも一部を表す再識別コードを生成するように構成される。提案したシステムは人の再識別を超えて使用することもできる。例えば、提案した概念は、自転車、車、荷物およびその他の物体または動物に適用することができる。例えば、Ye氏等による「人の再識別のための深層学習:調査と展望」(2020)は、深層学習に基づく再識別のためのハッシュアルゴリズムの例を提供している。従って、処理回路は機械学習モデル、例えば深層学習ネットワークを使用して再識別コードを生成するように構成することができる。以前に使用した再識別システムを使用する代わりに、新しい技術を採用してもよいし、(動的)暗号化プリミティブで動作するように再識別システムを改善してもよい。
【0087】
種々のタイプの再識別コードがある。以下の例では、ハッシュ値ベースの再識別コードを想定している。特に、例では、再識別コードは128の値を含むベクトルである。しかしながら、変換関数を適切に適合させて、他のタイプの再識別コードを使用することもできる。
【0088】
再識別コードはメディアデータの少なくとも一部を表す。例えば、再識別コードはメディアデータによって表される物体または人物を表し得る。従って、変換再識別コードはメディアデータによって表される物体または人を表し得る。
【0089】
非常に手間のかかる基本的な再識別システム全体を定期的に再構築することなく上述のプロセスを実行するために、既存の再識別システムに追加の層、すなわち変換関数を追加する。従って、処理回路は変換再識別コードを取得するために、変換関数を使用して、(既存のまたは新しい再識別システム/アルゴリズムを使用して生成された)再識別コードを変換するように構成される。変換関数の追加層は、例えば、ECP特性を持つ鍵依存の動的暗号化プリミティブであり、これによって、再識別コードが暗号化されているにもかかわらず、再識別特性を維持することができる(前述のような、再識別特性が失われる旧知の暗号化スキームと対照的に)。
【0090】
数学的に、fは、再識別コードを生成する既存の(従来の)再識別システムを示す。事前に設定されたスケジュールに従って、例えば、毎日、または場所毎に、新しい秘密鍵k がすべてのデバイスに(例えば、従来の公開鍵インフラストラクチャを使用して)配布される。例えば、秘密鍵k は変換パラメータであってもよく、また、kは変換パラメータが派生する暗号秘密であってもよい。e
kを、共通秘密鍵kに依存する、ECP特性を持つ暗号的に安全な全単射変換関数とする。提案され、画像Iに作用する最終的な匿名の動的再識別関数c
kは、動的暗号層e
kおよび既存の再識別関数f, すなわち、
【数3】
によって与えられる。
【0091】
以下において、秘密鍵は毎日変更される、すなわち、変換関数は時間に基づくと想定する。k
t-1は昨日の秘密鍵を示し、k
tは今日の秘密鍵を示すものとする。毎日、全てのデバイスは、昨日の鍵k
t-1および対応する暗号化関数が安全に破壊されていることを(例えば、関連するメモリおよびストレージ領域を上書きすることによって)確認することができる。鍵は毎日変更されるので、昨日の再識別コードと今日の再識別コードを比較することは不可能であり得る。換言すれば、以下の匿名の再識別特性が満たされる。
【数4】
【0092】
換言すれば、類似性保存または等価クラス保存特性は満たされる。従って、変換関数は、再識別コードが、類似性メトリックに従ってハッシュアルゴリズムによって生成されたさらなる再識別コードと類似する場合、変換再識別コードが、さらなる再識別コードの変換バージョンであるさらなる変換再識別コードと類似するように、再識別コードを変換するように構成される。一方で、再識別コードが類似性メトリックに従ってハッシュアルゴリズムによって生成されたさらなる再識別コードと類似しない場合、変換再識別コードは、さらなる変換再識別コードとは異なるべきである、というよりもむしろ異なっている。より一般的に言えば、変換関数は、再識別コードとさらなる再識別コードとの間の類似性のレベルが、変換再識別コードとさらなる変換再識別コードとの間の、類似性メトリックに基づいた類似性のレベルと同等になるように、再識別コードを変換するように構成することができる。例えば、類似性レベルが高い場合、2つの再識別コードおよび2つの変換再識別コードはそれぞれ類似しており、類似性レベルが低い場合、2つの再識別コードおよび2つの変換再識別コードはそれぞれ類似していない。
【0093】
種々の例において、変換関数は再識別コードを線形に変換するように使用することができる。換言すれば、変換関数は、変換パラメータに基づいて再識別コードの線形変換を行うように構成することができる。線形変換の具体的な実装として、回転行列に基づく変換がある。換言すれば、変換関数は、変換パラメータに基づいた回転行列を使用して再識別コードを変換するように構成することができる。一般に、回転行列は、ベクトルに回転行列を乗算することにより、特定の座標空間で(ベクトルなどの)回転を実行するために使用される行列である。
【0094】
以下では、ECP特性を持つ動的暗号化関数の特定の構成を紹介する。以下では、簡単のために、元の再識別コードhは、各々が-1から+1の間隔の128個の浮動小数点値のベクトルであると想定することができる。一般に、浮動ベース成分(float-based components)を持つ128次元ベクトルを使用するという想定は、任意の次元および他の数値領域、例えば整数値やブール値に変更することができる。変換関数に使用される暗号化関数として、e
kが選択され、関数は
【数5】
によって与えられ、R
kは鍵kに不可逆的に依存する128・128 ランダム回転行列であり、演算xは行列の積を表している。回転は距離を保存するので、結果として得られる関数は、再識別処理を機能させ続けるために必要なECP特性を持っている。R
kはkを使用して安全な乱数生成器を初期化し、続いてランダムな128次元の回転行列をサンプリングすることによって(例えば、暗号的に安全な乱数生成器を使用して正規分布から個々の行列成分をサンプリングし、続いてグラムシュミット直交化を実行して行列を正規化することによって)、暗号的に安全な方法で生成することができる。換言すれば、回転行列のエントリは、変換パラメータ、例えば変換パラメータの暗号秘密から導出された疑似乱数に基づくものであってもよい。続いて、行列の生成された疑似乱数は、グラムシュミット直交化を使用して正規化することができる。例えば処理回路は、疑似乱数を生成し、結果の行列を正規化することにより、変換パラメータに基づいて回転行列を生成するように構成することができる。暗号化演算子行列には多数の自由パラメータがあり、暗号化的に強力な構築プロセスのため、R
kのような線形演算子を使用しても、最も妥当な攻撃シナリオで十分なセキュリティを提供することができる。
【0095】
あるいは、変換関数は再識別コードの非線形変換を行うように構成することができる。 例えば、行列乗算の代わりに、より複雑なハッシュ関数を用いてもよい。いくつかの実装において、深層学習を用いて、(等価クラス保存特性を維持しながら)より複雑でより非線形な関数を作成してもよい。換言すれば、変換関数は機械学習モデルを使って非線形変換を実行するように構成することができる。例えば、機械学習モデルは再識別コードおよび変換パラメータを入力として取り、変換再識別コードを出力で提供してもよい。適切な機械学習モデルのトレーニングの詳細を
図4aおよび
図4bを参照して説明する。さらに、組み合わせたディープネットワーク(動的暗号化スキームと組み合わされた下層の再識別システム)のエンドツーエンドトレーニングを使用して、より高い堅牢性と精度を可能にすることができる。
【0096】
一般に、時間および/または場所にわたる人または物体の追跡を阻止するために、変換パラメータ、従って変換自体は、時間および/または場所に依存する。一般に、時間は再識別コードの変換が実行される時間を言う場合があり、これは、装置が再識別コードのほぼ瞬時の生成および変換に使用され得るので、メディアデータが取得される時間でもあり得る。場合によっては、時間の2つのインスタンスを分離してもよく、例えば、変換は以前に生成されたメディアデータに遡って適用されてもよい。一方で、(例えば、異なる場所に位置する異なるメディアデータ生成デバイスからメディアデータの変換再識別コードを生成するために1つの装置を使用するシステムにおいて)、場所はメディアが発信された場所に関連する、または、例えば異なるメディアデータ生成デバイスのメディアデータが同じ変換パラメータを使って処理される場合、または、装置がメディアデータ生成デバイスと同じ場所にある場合、装置自身の場所に関連する。
【0097】
以下では、時間に依存する変換パラメータの実装を紹介し、続いて場所に依存する変換パラメータを紹介する。
【0098】
本開示の種々の例は、経時的に変化する変換パラメータを使用し、例えば、再識別、および日をまたぐ絶対識別の危険を回避する。従って、変換パラメータは、新しいまたは適合された変換パラメータを経時的に適用するために、タイムスケジュールに基づいて適合してもよい。換言すれば、処理回路は前に定めたタイムスケジュールに従って変換パラメータを適合するように構成することができる。例えば、処理回路はプライバシーの所望のレベルに応じて、変換パラメータを毎日、半日ごと、または毎週適合するように構成することができる。例えば、処理回路は前に定めたタイムスケジュールに従って、新しい変換パラメータを生成または選択するように構成することができる。変換パラメータの適合後、以前使用したパラメータを捨て、または削除し、変換再識別コードの遡及的な再生成を阻止することができる。換言すれば、処理回路は変換パラメータの適合後、前に使用した変換パラメータを削除するように構成することができる。例えば、変換パラメータまたは下層の暗号鍵が定期的に破壊されると、デバイスがある時点で不正アクセスされた場合でも、前の日から元の再識別コードを取得できないこともある。従って、結果として得られた変換再識別コードは、誰かのアイデンティティに不正にアクセスすることなく誰とでも共有することができ、よって匿名の再識別コードを提供する。
【0099】
いくつかの例では、インクリメンタル/ディファレンシャル鍵の変更が変換関数で用いられる場合がある。例えば、変換関数が時間に依存する場合、例えば深夜から深夜までの現在の固定されたウインドウではなく、匿名化のスライドする一時的なウインドウとなる。換言すれば、処理回路は2つの時点(例えば、2日間の深夜)に2つの変換パラメータを生成するように構成することができる。これらの2つの変換パラメータは、2つの変換パラメータにわたる人または物体の追跡を無効にするのに十分異なる場合がある。処理回路は、2つの時点の間の2つの変換パラメータ間の線形補間に基づいて、変換パラメータを徐々に適合させるように構成することができる。換言すれば、2つの時点の間において、再識別コードの変換に使用される変換パラメータは、2つの変換パラメータの中の第1のパラメータから2つの変換パラメータの中の第2のパラメータへの線形補間に基づいて徐々に適合することができる。回転行列を例にとると、それぞれ複数の要素を有する第1および第2の回転行列を生成することができる。線形補間を使うと、第3の回転行列を生成することができ、第3の行列の各要素は第1および第2の行列のそれぞれの要素の間の線形補間に基づく。そして第3の行列を正規化することができる。
【0100】
同様に、インクリメンタル/ディファレンシャル鍵の変更は、エリアの様々な場所で使用できる。エリア内の場所が離れると、結果として生じる再識別コードの類似性が低くなり得る。例えば、上述のように、処理回路は、異なる場所に位置する2つ以上のメディアデータ生成デバイスからメディアデータを取得するように構成することができる。一般に、2つの場所から発信されるメディアデータのために生成される変換再識別コード間の再識別を無効にするために、処理回路は異なる場所に位置する2つ以上のメディアデータ生成デバイスの異なる変換パラメータを使って変換を行うように構成することができる。しかしながら、第3のメディアデータ生成デバイスは、2つのメディアデータ生成デバイスの間に配置されてもよい。この第3のメディアデータ生成デバイスの変換パラメータは、再識別が最初の2つの場所から発信されたメディアデータに対して生成された変換再識別コードに対して可能であるように選択することができる。 換言すれば、処理回路は、異なる場所に位置する第1,第2および第3のメディアデータ生成デバイスからメディアデータを取得するように構成することができる(第2のメディアデータ生成デバイスが第1と第3のメディアデータ生成デバイスの間にある)。経時的に徐々に適合させる例と同様に、処理回路は、第1および第3のメディアデータ生成デバイスから取得したメディアデータに使用される変換パラメータ間の線形補間に基づいて第2のメディアデータ生成デバイスから取得したメディアデータに対して変換パラメータを生成するように構成することができる。その結果、再識別は、第1および第2のメディアデータ生成デバイスから発信されたメディアデータに基づいて生成された変換再識別コードの間、および第2および第3のメディアデータ生成デバイスから発信されたメディアデータに基づいて生成された変換再識別コードの間で可能であり得るが、第1および第3のメディアデータ生成デバイスから発信されたメディアデータに基づいて生成された変換再識別コードの間では可能でない場合がある。種々の例において、2つの変換パラメータがメディアデータ生成デバイスのグループのいずれかの側に位置する任意の場所のために生成され、メディアデータ生成デバイスの変換パラメータが2つの変換パラメータの間の場所ベースの線形補間に基づいて生成される、より細かなシステムを使用してもよい。
【0101】
一般に、適切な変換パラメータを取得する種々のオプションがある。例えば、変換パラメータは、(例えば、時間に依存する)同じ変換パラメータを生成するように構成された装置間で共有され得る暗号秘密に基づいて、デバイス上で、すなわち、処理回路によって生成することができる。換言すれば、変換パラメータは暗号化秘密から導くことができる。従って、処理回路は、暗号化秘密ならびに時間および/または場所に基づいて、変換パラメータ、例えば回転行列、または変換関数に用いられる機械学習モデルの入力パラメータを生成するように構成することができる。例えば、暗号化秘密は、時間および/または場所とともに、変換パラメータの擬似乱数を生成するシードを生成するために使用することができる。例えば、暗号的に強力な方法を使って、単一の共有の秘密から、新しい鍵(すなわち変換パラメータ)または暗号化方法を構築することができる。セキュリティを強化するために、不可逆的な鍵生成を使用してもよい。例えば、いくつかの例では、永続的なネットワーク接続なく、不可逆的な、共有の動的変換パラメータ(すなわち鍵値)を使用してもよい。初期の秘密のシードを共有した後、以下の方法を適用することができる:
【数6】
ここで、演算AES(x,k)は、高度暗号化標準(Advanced Encryption Standard)を、鍵(すなわち、暗号秘密)kを使って、テキストxに適用する、すなわち、今日の鍵k
tを取得するためには、昨日の鍵k
t-1をそれ自身で暗号化し、続いて破壊する。
【0102】
最後に、処理回路は例えばインターフェース22を介して変換再識別コードを提供するように構成される。一般に、処理回路は、例えば、1つまたは複数の記憶装置、またはデータベースを使って再識別コードを保存することによって提供することができる。データベースは、(例えば、コンピュータネットワークを介して、および/または事前に規定されたプロトコルに従って)規定されたインターフェースによってアクセスすることができ、または装置やカメラデバイスの外部に設けられる。換言すれば、処理回路は変換再識別コードをデータベースに提供するように構成することができる。例えば、変換再識別コードはデータベースへのアクセスを有する評価デバイスによって処理することができる。
【0103】
提案された概念は、コンピュータビジョンと暗号化の組み合わせを提供し得る。具体的には、分散型の組み込みカメラベースのシステムの安全な映像解析を行い、プライバシーが強化された視覚的な人の再識別を提供することができる。
【0104】
インターフェース22は、モジュール内、モジュール間、または異なるエンティティのモジュール間で、指定されたコードに従ったデジタル(ビット)値であり得る情報を送受信するための1つまたは複数の入力および/または出力に対応することができる。例えば、インターフェース22は情報を受送信するように構成されたインターフェース回路を備え得る。例えば、インターフェース22はカメラデバイス200内での通信に適することができる。付加的または代替的に、インターフェース22はコンピュータネットワーク、例えば、無線または有線のコンピュータネットワークを介した通信に適している。
【0105】
処理回路24は、1つまたは複数の処理ユニット、1つまたは複数の処理デバイス、プロセッサ、コンピュータ、または適宜適合させたソフトウェアで動作可能なプログラム可能なハードウェアコンポーネントなどの、処理用の任意の手段を使用して実装することができる。換言すれば、処理回路24の記載した機能は、1つまたは複数のプログラム可能なハードウェアコンポーネントで実行できるソフトウェアにも実装することができる。そのようなハードウェアコンポーネントには、中央処理装置(Central Processing Unit:CPU)、デジタル信号プロセッサ(Digital Signal Processor:DSP)、マイクロコントローラなどのような汎用プロセッサが含まれる。
【0106】
少なくともいくつかの実施形態において、1つまたは複数の記憶装置26は、例えば、ハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダムアクセスメモリ(Random Access Memory:RAM)、読み取り専用メモリ(Read Only Memory:ROM)、プログラム可能読み取り専用メモリ(Programmable Read Only Memory:PROM)、消去可能プログラム可能読み取り専用メモリ(Erasable Programmable Read Only Memory:EPROM)、電子的に消去可能プログラム可能読み取り専用メモリ(Electronically Erasable Programmable Read Only Memory:EEPROM)、またはネットワークストレージなどの磁気または光記憶媒体などの、コンピュータ可読記憶媒体のグループの少なくとも1つの要素を含み得る。
【0107】
カメラデバイスまたは方法、ならびに
図2a,2bに関連して紹介した装置とコンピュータプログラムとの詳細および態様を、提案された概念や上記または下記(例えば、
図1a,1e,3aおよび3b)に記載する1つまたは複数の例と関連して説明する。カメラデバイスおよび方法、ならびに装置およびコンピュータプログラムは、提案された概念の1つまたは複数の態様、上記または下記の1つまたは複数の例に対応する1つまたは複数の付加的な任意選択の特徴を有し得る。
【0108】
図3aおよび3bは、再識別のための少なくとも1つの装置20または変換再識別コードを生成するための少なくとも1つの装置20を備えるシステム300;310の例を示す略ブロック図である。再識別コードを生成および変換する装置を
図2aおよび2bに紹介したが、
図3aおよび3bは装置を使用することができる状況を示す。一般に、システムは、カメラデバイス200の一部として単一の装置20を備え得る。
図3aのシステム300は2つのカメラデバイス200(またはより一般的には、2つのメディアデータ生成デバイス200)を備え、その各々は装置20を備える。
図3bのシステム310は複数のカメラデバイス200を備え、それぞれが装置20を備える。換言すれば、システム300;310は2つ以上の装置20を備える。
図3bに示すように、装置20は1つまたは複数の付加的なコンポーネント、例えばランダムアクセスメモリ(Random-Access Memory:RAM)312または1つまたは複数のオプショナルコンポーネント314を備え得る。
図3bに示す装置20はネットワークインターフェース22aを備え、これは
図2aおよび2bで紹介したインターフェース22の一部であり得る。
【0109】
装置20、または装置20を有するカメラデバイスに加え、システムは、評価デバイス10、例えば、変換再識別コードを使って再識別を行うために使用することのできる、
図1a~1eの評価デバイスを任意選択で備えることができる。換言すれば、
図3aおよび3bに示すシステムは、装置20に接続された、データベース18(例えば、
図2aおよび2bで紹介したデータベース )を有する評価デバイス10を備える。
図3bに示すように、評価デバイス10は再識別コード照合サーバ10として実装することができ、これはデータベース18と通信することができる。評価デバイスは少なくとも1つの装置20から変換再識別コードを取得し、少なくとも1つの装置によって提供された変換再識別コードを類似性メトリックに従って比較するように構成することができる。例えば、評価デバイスは、データベース18を介して少なくとも1つの装置20から変換再識別コードを取得するように構成することができる。一般に、評価は装置の変換再識別コードに基づいて再識別を実行するように構成することができる。一般に、評価デバイス10は装置20の外部に設けることができる。しかし、場合によっては装置のうちの1つが評価デバイス10を備えてもよい。
図3bに示すように、評価デバイス10は、例えば
図1a~1eに示すように、視覚化316をユーザに提供することができる。
【0110】
1つまたは複数の装置で使用される変換パラメータが時間または場所に依存するかどうかに応じて、使用されている変換パラメータによって異なる基準を満たすことができる。例えば、変換パラメータは時間(すなわち、装置における現在の時間)に依存する。2つ以上の装置は、例えば同じ時間に生成される変換再識別コードが再識別への使用に適したものであるように、同じ変換パラメータが同じ時間に使用されるように構成することができる。
【0111】
一方で、変換パラメータが場所に依存する場合、変換パラメータはそれぞれのメディアデータが発信された場所によって異なり得る。換言すれば、1つまたは複数の(または2つ以上の)装置は、2つ以上の場所から発信されたメディアデータを処理し、
図2a,2bで説明したように、2つ以上の場所から発信されるメディアデータに対して異なる変換パラメータを使用するように構成することができる。さらに、メディアデータが発信されたそれぞれの場所に基づく変換パラメータを徐々に適合させる場合も、例えば、3台以上のメディアデータ生成デバイスのシナリオにおいて適用することができる。
【0112】
システムの詳細および態様は、提案された概念または上記もしくは下記の1つまたは複数の例(例えば、
図1aから2b)に関連して記載されている。システムは、提案された概念の1つまたは複数の態様に対応する1つまたは複数の付加的、任意選択的な特徴または上記もしくは下記の1つまたは複数の例を含み得る。
【0113】
提案された概念は、一般に、コンピュータビジョン、機械学習、人数のカウント、店内分析、および/または人の流れの監視に関連する。
【0114】
前述の例の中の特定の1つの例に関連して説明した態様および特徴はまた、1つまたは複数のさらなる例と組み合わせ、そのさらなる例の同一または類似の特徴を置き換えることができ、また、特徴をさらなる例に付加的に導入することができる。
【0115】
例はさらに、プログラムがコンピュータ、プロセッサ、または他のプログラム可能なハードウェアコンポーネント上で実行されるときに、上記の方法の1つまたは複数を実行するためのプログラムコードを含む(コンピュータ)プログラムであり得るか、またはそれに関連し得る。従って、上記の方法の中の異なる方法のステップ、操作(operation)、またはプロセスは、プログラムされたコンピュータ、プロセッサ、または他のプログラム可能なハードウェアコンポーネントによっても実行することができる。例はまた、機械、プロセッサ、またはコンピュータで読み取り可能であり、機械実行可能、プロセッサ実行可能、またはコンピュータ実行可能なプログラムおよび命令をエンコードおよび/または含むデジタルデータ記憶媒体などのプログラム記憶装置をカバーし得る。プログラム記憶装置には、例えば、デジタル記憶装置、磁気ディスクおよび磁気テープなどの磁気記憶媒体、ハードディスクドライブ、または光学的に読み取り可能なデジタルデータ記憶媒体が含まれ得る。他の例には、コンピュータ、プロセッサ、制御ユニット、(フィールド)プログラマブルロジックアレイ((field) programmable logic arrays:(F)PLA)、グラフィックプロセッサユニット(graphics processor units:GPU)、特定用途向け集積回路(application-specific integrated circuits:ASIC)、集積回路(integrated circuits:IC)、または上記の方法のステップを実行するようにプログラムされたシステムオンチップ(system-on-a-chip:SoC)システムも含まれる。
【0116】
明細書または特許請求の範囲に開示されたいくつかのステップ、プロセス、操作または機能は、個別に明示的に記載されていない限り、または技術的な理由で必要でない限り、記載された順序に従って行われる必要があると解釈されるべきではないとさらに理解されたい。従って、上述の説明は、いくつかのステップまたは機能の実行を特定の順序に制限するものではない。さらに、さらなる例において、1つのステップ、機能、プロセスまたは操作はいくつかのサブステップ、サブ機能、サブプロセスまたはサブ操作を含み得る、および/またはそれらに分割され得る。
【0117】
デバイスまたはシステムに関連していくつかの態様が記載されている場合、これらの態様は対応する方法の記載としても理解されたい。例えば、デバイスまたはシステムのブロック、デバイス、または機能的態様は、対応する方法のステップなどの特徴に対応し得る。従って、方法に関連して説明される態様は、対応するブロック、対応する要素、対応するデバイスまたは対応するシステムの特性または機能的特徴の記載としても理解されたい。
【0118】
以下の特許請求の範囲は本明細書において詳細な説明に組み込まれ、各請求項は別個の実施例として自立する。なお、特許請求の範囲において従属請求項は1つまたは複数の他の請求項との特定の組み合わせを指すが、他の実施例もまた、従属請求項と他の従属請求項または独立請求項の主題との組み合わせを含み得ることに留意されたい。特定の組み合わせが意図されていないことが個々の場合に述べられていない限り、そのような組み合わせは本明細書に明示的に提示される。さらに、請求項の特徴は、その請求項が他の独立請求項に依存していると直接定義されていない場合でも、他の独立請求項にも含めるべきである。