(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-11
(45)【発行日】2024-04-19
(54)【発明の名称】空間内でオブジェクトを匿名化して追跡する方法及びこれを利用した匿名化追跡装置
(51)【国際特許分類】
G06V 40/20 20220101AFI20240412BHJP
G06T 7/00 20170101ALI20240412BHJP
G06T 7/20 20170101ALI20240412BHJP
G06V 10/82 20220101ALI20240412BHJP
【FI】
G06V40/20
G06T7/00 350C
G06T7/20 300Z
G06V10/82
(21)【出願番号】P 2022086785
(22)【出願日】2022-05-27
【審査請求日】2022-05-27
(31)【優先権主張番号】10-2021-0089369
(32)【優先日】2021-07-07
(33)【優先権主張国・地域又は機関】KR
(32)【優先日】2021-10-27
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】520278996
【氏名又は名称】ディーピング ソース インコーポレイテッド.
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】金泰勳
【審査官】大塚 俊範
(56)【参考文献】
【文献】韓国登録特許第2083192(KR,B1)
【文献】特開2019-165431(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06V 40/20
G06T 7/00
G06T 7/20
G06V 10/82
(57)【特許請求の範囲】
【請求項1】
特定の空間内におけるオブジェクトを匿名化して追跡する方法において、
(a)匿名化追跡装置が、特定の空間を撮影する少なくとも一つのカメラから撮影された原本映像を、変調ネットワークを通じて、人は前記原本映像を区分することができないように、またラーニングネットワークは原本映像と同一に認識することができるように変調した、変調済みの映像を獲得する段階;
(b)前記匿名化追跡装置が、前記変調済みの映像を前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって、追跡しようとする少なくとも一つのターゲットオブジェクトに対応する少なくとも一つの変調済みのターゲットオブジェクトを前記変調済みの映像内から検出することで、少なくとも一つの変調済みのターゲットオブジェクト情報を出力させる段階;及び
(c)前記匿名化追跡装置が、前記少なくとも一つの変調済みのターゲットオブジェクト情報を参照することで、前記特定の空間における前記少なくとも一つの変調済みのターゲットオブジェクトをトラッキングする段階;
を含み、
前記変調ネットワークは、前記原本映像を、人は前記原本映像を区分することができないように、また前記ラーニングネットワークは前記原本映像と同一に認識することができるように、変調するように学習された状態であり、
学習装置により、(i)学習用データを前記変調ネットワークに入力することで、前記変調ネットワークをもって前記学習用データを変調(obfuscation)して学習用変調データを生成させ、(ii)前記学習用変調データを、学習されたパラメータを有する前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって前記学習されたパラメータを利用して前記学習用変調データをネットワーク演算して前記学習用変調データに対応する特性情報を生成させ、(iii)前記特性情報または前記特性情報を利用して生成したタスク特化出力と、これに対応する原本正解とを参照することで獲得した第1エラーを最小化するように、また前記学習用データと前記学習用変調データとを参照することで獲得した第2エラーを最大化するように前記変調ネットワークが学習された状態である、
方法。
【請求項2】
(d)前記少なくとも一つのターゲットオブジェクトのうち特定のターゲットオブジェクトから特定の非匿名化個人情報の公開に対する同意情報が獲得されると、前記匿名化追跡装置が、前記特定のターゲットオブジェクトをトラッキングして獲得された特定の匿名化トラッキング情報を前記特定のターゲットオブジェクトの前記特定の非匿名化個人情報にマッチングして前記特定の匿名化トラッキング情報を特定の非匿名化トラッキング情報に変換する段階;
をさらに含む、請求項1に記載の方法。
【請求項3】
前記(c)段階で、
前記匿名化追跡装置は、前記少なくとも一つの変調済みのターゲットオブジェクト情報を参照することで識別された、前記少なくとも一つの変調済みのターゲットオブジェクトに対する予め獲得された非匿名化個人情報の公開に対する同意情報があるか否かを確認し、予め獲得された非匿名化個人情報の公開に対する同意情報がある特定の変調済みのターゲットオブジェクトの場合、前記特定の変調済みのターゲットオブジェクトに対応する特定の非匿名化個人情報を前記特定の変調済みのターゲットオブジェクトにマッチングし、前記特定の非匿名化個人情報がマッチングした前記特定の変調済みのターゲットオブジェクトをトラッキングすることで特定の非匿名化トラッキング情報を生成する、請求項1に記載の方法。
【請求項4】
前記(a)段階で、
前記匿名化追跡装置は、前記少なくとも一つのカメラに含まれた前記変調ネットワークを通じて前記原本映像を変調した、前記変調済みの映像を前記少なくとも一つのカメラから獲得するか、前記原本映像を格納するNVR(network video recorder)に含まれた前記変調ネットワークを通じて前記原本映像を変調した、前記変調済みの映像を前記NVRから獲得する、請求項1に記載の方法。
【請求項5】
前記変調済みのターゲットオブジェクト情報は、前記変調済みのターゲットオブジェクトに対応する変調済みの領域データ、前記変調済みのターゲットオブジェクトの位置情報及び前記変調済みのターゲットオブジェクトを撮影したカメラのカメラ情報を含む、請求項1に記載の方法。
【請求項6】
前記匿名化トラッキング情報は、前記ターゲットオブジェクトのトラジェクトリ情報及び状態情報を含む、請求項2に記載の方法。
【請求項7】
前記学習装置により、入力されるデータがリアルであるかフェークであるかを判別するディスクリミネータに入力された前記学習用変調データに対応する学習用変調データスコアを前記第2エラーとして獲得した状態で、前記第1エラーを最小化するように、また前記第2エラーを最大化するように前記変調ネットワークを学習させると共に、前記ディスクリミネータに入力された、学習用変換済みのデータまたは学習用変換済みの変調データ(前記学習用変換済みのデータまたは学習用変換済みの変調データは、それぞれ前記学習用データまたは前記学習用変調データを変換したデータである)に対応する学習用変換済みのデータスコアまたは学習用変換済みの変調データスコアを最大化するように、前記学習用変調データスコアを最小化するように前記ディスクリミネータを学習させることを特性とする、請求項
1に記載の方法。
【請求項8】
特定の空間内におけるオブジェクトを匿名化して追跡する匿名化追跡装置において、
特定の空間内でオブジェクトを匿名化して追跡するための各インストラクションが格納されたメモリ;及び
前記メモリに格納された前記各インストラクションに応じて前記特定の空間内で前記オブジェクトを匿名化して追跡するための動作を遂行するプロセッサ;
を含み、
前記プロセッサは、(i)前記特定の空間を撮影する少なくとも一つのカメラから撮影された原本映像を、変調ネットワークを通じて、人は前記原本映像を区分することができないように、またラーニングネットワークは原本映像と同一に認識することができるように変調した、変調済みの映像を獲得するプロセス、(ii)前記変調済みの映像を前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって、追跡しようとする少なくとも一つのターゲットオブジェクトに対応する少なくとも一つの変調済みのターゲットオブジェクトを前記変調済みの映像内から検出することで、少なくとも一つの変調済みのターゲットオブジェクト情報を出力させるプロセス、及び(iii)前記少なくとも一つの変調済みのターゲットオブジェクト情報を参照することで、前記特定の空間における前記少なくとも一つの変調済みのターゲットオブジェクトをトラッキングすることで、少なくとも一つの匿名化トラッキング情報を生成するプロセスを遂行し、
前記変調ネットワークは、前記原本映像を、人は前記原本映像を区分することができないように、また前記ラーニングネットワークは前記原本映像と同一に認識することができるように、変調するように学習された状態であり、
学習装置により、(i)学習用データを前記変調ネットワークに入力することで、前記変調ネットワークをもって前記学習用データを変調(obfuscation)して学習用変調データを生成させ、(ii)前記学習用変調データを、学習されたパラメータを有する前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって前記学習されたパラメータを利用して前記学習用変調データをネットワーク演算して前記学習用変調データに対応する特性情報を生成させ、(iii)前記特性情報または前記特性情報を利用して生成したタスク特化出力と、これに対応する原本正解とを参照することで獲得した第1エラーを最小化するように、また前記学習用データと前記学習用変調データとを参照することで獲得した第2エラーを最大化するように前記変調ネットワークが学習された状態である、
匿名化追跡装置。
【請求項9】
前記プロセッサは、(iv)前記少なくとも一つのターゲットオブジェクトのうち特定のターゲットオブジェクトから非匿名化個人情報の公開に対する同意情報が獲得されると、前記特定のターゲットオブジェクトに対応する特定の匿名化トラッキング情報を前記特定のターゲットオブジェクトの非匿名化個人情報にマッチングして前記特定の匿名化トラッキング情報を特定の非匿名化トラッキング情報に変換するプロセスをさらに遂行する、
請求項
8に記載の匿名化追跡装置。
【請求項10】
前記プロセッサは、前記(iii)プロセスで、前記少なくとも一つの変調済みのターゲットオブジェクト情報を参照することで識別された、前記少なくとも一つの変調済みのターゲットオブジェクトに対する予め獲得された非匿名化個人情報の公開に対する同意情報があるか否かを確認し、予め獲得された非匿名化個人情報の公開に対する同意情報がある特定の変調済みのターゲットオブジェクトの場合、前記特定の変調済みのターゲットオブジェクトに対応する特定の非匿名化個人情報を前記特定の変調済みのターゲットオブジェクトにマッチングし、前記特定の非匿名化個人情報がマッチングした前記特定の変調済みのターゲットオブジェクトをトラッキングすることで特定の非匿名化トラッキング情報を生成する、請求項
8に記載の匿名化追跡装置。
【請求項11】
前記プロセッサは、前記(i)プロセスで、前記少なくとも一つのカメラから前記変調ネットワークを通じて前記原本映像を変調した、前記変調済みの映像を獲得するか、前記原本映像を格納するNVR(network video recorder)から前記変調ネットワークを通じて前記原本映像を変調した、前記変調済みの映像を獲得する、請求項
8に記載の匿名化追跡装置。
【請求項12】
前記変調済みのターゲットオブジェクト情報は、前記変調済みのターゲットオブジェクトに対応する変調済みの領域データ、前記変調済みのターゲットオブジェクトの位置情報及び前記変調済みのターゲットオブジェクトを撮影したカメラのカメラ情報を含む、請求項
8に記載の匿名化追跡装置。
【請求項13】
前記匿名化トラッキング情報は、前記ターゲットオブジェクトのトラジェクトリ情報及び状態情報を含む、請求項
8に記載の匿名化追跡装置。
【請求項14】
前記変調ネットワークは、前記学習装置により、入力されるデータがリアルであるかフェークであるかを判別するディスクリミネータに入力された前記学習用変調データに対応する学習用変調データスコアを前記第2エラーとして獲得した状態で、前記第1エラーを最小化するように、また前記第2エラーを最大化するように前記変調ネットワークを学習させると共に、前記ディスクリミネータに入力された、学習用変換済みのデータまたは学習用変換済みの変調データ(前記学習用変換済みのデータまたは学習用変換済みの変調データは、それぞれ前記学習用データまたは前記学習用変調データを変換したデータである)に対応する学習用変換済みのデータスコアまたは学習用変換済みの変調データスコアを最大化するように、前記学習用変調データスコアを最小化するように前記ディスクリミネータを学習させた状態である、請求項
8に記載の匿名化追跡装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、空間内でオブジェクトを追跡する方法及び装置に関し、より詳細には、空間内に位置するオブジェクトを匿名化して追跡する方法及びこれを利用した匿名化追跡装置{METHOD FOR ANNONYMOUS TRACKING OBJECTS IN PLACES AND DEVICE USING THEM}に関する。
【背景技術】
【0002】
特定の場所の保安のためにCCTVなどのカメラを利用した保安システムが一般的に使用されている。このようなカメラは、大型スーパー、デパート、研究所、公共機関などのような大型建物の内部、または家庭、保育園、コンビニエンスストア、銀行などのような小型建物だけでなく、公園、道路などの公共場所に設置され、カメラを通じて撮影された映像を通じてリアルタイムに監視するか、該当場所に対する情報分析のために録画された映像を利用している。
【0003】
しかし、このような多数の者が利用する施設で撮影された映像には、該当施設を訪問した人や該当施設に位置したオブジェクトに対する様々な個人情報が含まれているため、オブジェクトを追跡することに限界があるだけでなく、このような個人情報が含まれた録画された映像を情報分析に利用するには多くの制約がある。
【0004】
特に、該当施設で発生した事件などに対して録画された映像を確認しようとする場合にも、当事者である場合でも該当映像に撮影された他人の個人情報の保護のために任意に確認することができず、該当映像を確保するためには当事者以外の他人の個人情報を保護するための映像処理をしなければならないなどの問題点がある。
【0005】
従って、本出願人は、このような多数の者が利用する施設における撮影映像で匿名化を通じてオブジェクトを追跡することができる技術を提案するところである。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、前述した従来技術の問題点を全て解決することをその目的とする。
【0007】
また、本発明は、多数の者が利用する施設におけるオブジェクトを匿名化して追跡することができるようにすることを他の目的とする。
【0008】
また、本発明は、多数の者が利用する施設で匿名化を通じてオブジェクトを追跡した情報を、非匿名化に同意した特定のオブジェクトにマッピングすることができるようにすることを他の目的とする。
【0009】
また、本発明は、多数の者が利用する施設で匿名化された追跡情報を、非匿名化オブジェクトにマッピングすることによって、データの活用度を増大させることができるようにすることを他の目的とする。
【課題を解決するための手段】
【0010】
前記目的を達成するための本発明の代表的な構成は次のとおりである。
【0011】
本発明の一態様によると、特定の空間内におけるオブジェクトを匿名化して追跡する方法において、(a)匿名化追跡装置が、特定の空間を撮影する少なくとも一つのカメラから撮影された原本映像を、変調ネットワークを通じて、人は前記原本映像を区分することができないように、またラーニングネットワークは原本映像と同一に認識することができるように変調した、変調済みの映像を獲得する段階;(b)前記匿名化追跡装置が、前記変調済みの映像を前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって、追跡しようとする少なくとも一つのターゲットオブジェクトに対応する少なくとも一つの変調済みのターゲットオブジェクトを前記変調済みの映像内から検出することで、少なくとも一つの変調済みのターゲットオブジェクト情報を出力させる段階;及び(c)前記匿名化追跡装置が、前記少なくとも一つの変調済みのターゲットオブジェクト情報を参照することで、前記特定の空間における前記少なくとも一つの変調済みのターゲットオブジェクトをトラッキングする段階;を含む方法が提供される。
【0012】
一実施例において、(d)前記少なくとも一つのターゲットオブジェクトのうち特定のターゲットオブジェクトから特定の非匿名化個人情報の公開に対する同意情報が獲得されると、前記匿名化追跡装置が、前記特定のターゲットオブジェクトをトラッキングして獲得された特定の匿名化トラッキング情報を前記特定のターゲットオブジェクトの前記特定の非匿名化個人情報にマッチングして前記特定の匿名化トラッキング情報を特定の非匿名化トラッキング情報に変換する段階;をさらに含む方法が提供される。
【0013】
一実施例において、前記(c)段階で、前記匿名化追跡装置は、前記少なくとも一つの変調済みのターゲットオブジェクト情報を参照することで識別された、前記少なくとも一つの変調済みのターゲットオブジェクトに対する予め獲得された非匿名化個人情報の公開に対する同意情報があるか否かを確認し、予め獲得された非匿名化個人情報の公開に対する同意情報がある特定の変調済みのターゲットオブジェクトの場合、前記特定の変調済みのターゲットオブジェクトに対応する特定の非匿名化個人情報を前記特定の変調済みのターゲットオブジェクトにマッチングし、前記特定の非匿名化個人情報がマッチングした前記特定の変調済みのターゲットオブジェクトをトラッキングすることで特定の非匿名化トラッキング情報を生成する。
【0014】
一実施例において、前記(a)段階で、前記匿名化追跡装置は、前記少なくとも一つのカメラに含まれた前記変調ネットワークを通じて前記原本映像を変調した、前記変調済みの映像を前記少なくとも一つのカメラから獲得するか、前記原本映像を格納するNVR(network video recorder)に含まれた前記変調ネットワークを通じて前記原本映像を変調した、前記変調済みの映像を前記NVRから獲得する。
【0015】
一実施例において、前記変調済みのターゲットオブジェクト情報は、前記変調済みのターゲットオブジェクトに対応する変調済みの領域データ、前記変調済みのターゲットオブジェクトの位置情報及び前記変調済みのターゲットオブジェクトを撮影したカメラのカメラ情報を含む。
【0016】
一実施例において、前記匿名化トラッキング情報は、前記ターゲットオブジェクトのトラジェクトリ情報及び状態情報を含む。
【0017】
一実施例において、前記変調ネットワークは、前記原本映像を、人は前記原本映像を区分することができないように、また前記ラーニングネットワークは前記原本映像と同一に認識することができるように、変調するように学習された状態であり、学習装置により、(i)前記学習用データを前記変調ネットワークに入力することで、前記変調ネットワークをもって前記学習用データを変調(obfuscation)して学習用変調データを生成させ、(ii)前記学習用変調データを、学習されたパラメータを有する前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって前記学習されたパラメータを利用して前記学習用変調データをネットワーク演算して前記学習用変調データに対応する特性情報を生成させ、(iii)前記特性情報または前記特性情報を利用して生成したタスク特化出力と、これに対応する原本正解とを参照することで獲得した第1エラーを最小化するように、また前記学習用データと前記学習用変調データとを参照することで獲得した第2エラーを最大化するように前記変調ネットワークが学習された状態である。
【0018】
一実施例において、前記学習装置により、入力されるデータがリアルであるかフェークであるかを判別するディスクリミネータに入力された前記学習用変調データに対応する学習用変調データスコアを前記第2エラーとして獲得した状態で、前記第1エラーを最小化するように、また前記第2エラーを最大化するように前記変調ネットワークを学習させると共に、前記ディスクリミネータに入力された、学習用変換済みのデータまたは学習用変換済みの変調データ(前記学習用変換済みのデータまたは学習用変換済みの変調データは、それぞれ前記学習用データまたは前記学習用変調データを変換したデータである)に対応する学習用変換済みのデータスコアまたは学習用変換済みの変調データスコアを最大化するように、前記学習用変調データスコアを最小化するように前記ディスクリミネータを学習させることを特性とする。
【0019】
本発明の他の態様によると、特定の空間内におけるオブジェクトを匿名化して追跡する匿名化追跡装置において、特定の空間内でオブジェクトを匿名化して追跡するための各インストラクションが格納されたメモリ;及び前記メモリに格納された前記各インストラクションに応じて前記特定の空間内で前記オブジェクトを匿名化して追跡するための動作を遂行するプロセッサ;を含み、前記プロセッサは、(i)前記特定の空間を撮影する少なくとも一つのカメラから撮影された原本映像を、変調ネットワークを通じて、人は前記原本映像を区分することができないように、またラーニングネットワークは原本映像と同一に認識することができるように変調した、変調済みの映像を獲得するプロセス、(ii)前記変調済みの映像を前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって、追跡しようとする少なくとも一つのターゲットオブジェクトに対応する少なくとも一つの変調済みのターゲットオブジェクトを前記変調済みの映像内から検出することで、少なくとも一つの変調済みのターゲットオブジェクト情報を出力させるプロセス、及び(iii)前記少なくとも一つの変調済みのターゲットオブジェクト情報を参照することで、前記特定の空間における前記少なくとも一つの変調済みのターゲットオブジェクトをトラッキングすることで、少なくとも一つの匿名化トラッキング情報を生成するプロセスを遂行する匿名化追跡装置が提供される。
【0020】
一実施例において、前記プロセッサは、(iv)前記少なくとも一つのターゲットオブジェクトのうち特定のターゲットオブジェクトから非匿名化個人情報の公開に対する同意情報が獲得されると、前記特定のターゲットオブジェクトに対応する特定の匿名化トラッキング情報を前記特定のターゲットオブジェクトの非匿名化個人情報にマッチングして前記特定の匿名化トラッキング情報を特定の非匿名化トラッキング情報に変換するプロセスをさらに遂行する。
【0021】
一実施例において、前記プロセッサは、前記(iii)プロセスで、前記少なくとも一つの変調済みのターゲットオブジェクト情報を参照することで識別された、前記少なくとも一つの変調済みのターゲットオブジェクトに対する予め獲得された非匿名化個人情報の公開に対する同意情報があるか否かを確認し、予め獲得された非匿名化個人情報の公開に対する同意情報がある特定の変調済みのターゲットオブジェクトの場合、前記特定の変調済みのターゲットオブジェクトに対応する特定の非匿名化個人情報を前記特定の変調済みのターゲットオブジェクトにマッチングし、前記特定の非匿名化個人情報がマッチングした前記特定の変調済みのターゲットオブジェクトをトラッキングすることで特定の非匿名化トラッキング情報を生成する。
【0022】
一実施例において、前記プロセッサは、前記(i)プロセスで、前記少なくとも一つのカメラから前記変調ネットワークを通じて前記原本映像を変調した、前記変調済みの映像を獲得するか、前記原本映像を格納するNVR(network video recorder)から前記変調ネットワークを通じて前記原本映像を変調した、前記変調済みの映像を獲得する。
【0023】
一実施例において、前記変調済みのターゲットオブジェクト情報は、前記変調済みのターゲットオブジェクトに対応する変調済みの領域データ、前記変調済みのターゲットオブジェクトの位置情報及び前記変調済みのターゲットオブジェクトを撮影したカメラのカメラ情報を含む。
【0024】
一実施例において、前記匿名化トラッキング情報は、前記ターゲットオブジェクトのトラジェクトリ情報及び状態情報を含む。
【0025】
一実施例において、前記変調ネットワークは、前記原本映像を、人は前記原本映像を区分することができないように、また前記ラーニングネットワークは前記原本映像と同一に認識することができるように、変調するように学習された状態であり、学習装置により、(i)前記学習用データを前記変調ネットワークに入力することで、前記変調ネットワークをもって前記学習用データを変調(obfuscation)して学習用変調データを生成させ、(ii)前記学習用変調データを、学習されたパラメータを有する前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって前記学習されたパラメータを利用して前記学習用変調データをネットワーク演算して前記学習用変調データに対応する特性情報を生成させ、(iii)前記特性情報または前記特性情報を利用して生成したタスク特化出力と、これに対応する原本正解とを参照することで獲得した第1エラーを最小化するように、また前記学習用データと前記学習用変調データとを参照することで獲得した第2エラーを最大化するように前記変調ネットワークが学習された状態である。
【0026】
一実施例において、前記変調ネットワークは、前記学習装置により、入力されるデータがリアルであるかフェークであるかを判別するディスクリミネータに入力された前記学習用変調データに対応する学習用変調データスコアを前記第2エラーとして獲得した状態で、前記第1エラーを最小化するように、また前記第2エラーを最大化するように前記変調ネットワークを学習させると共に、前記ディスクリミネータに入力された、学習用変換済みのデータまたは学習用変換済みの変調データ(前記学習用変換済みのデータまたは学習用変換済みの変調データは、それぞれ前記学習用データまたは前記学習用変調データを変換したデータである)に対応する学習用変換済みのデータスコアまたは学習用変換済みの変調データスコアを最大化するように、前記学習用変調データスコアを最小化するように前記ディスクリミネータを学習させた状態である。
【0027】
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【0028】
本発明によると、多数の者が利用する施設におけるオブジェクトを匿名化して追跡することができる。
【0029】
また、本発明は、多数の者が利用する施設で匿名化を通じてオブジェクトを追跡した情報を、非匿名化に同意した特定のオブジェクトにマッピングすることができる。
【0030】
また、本発明は、多数の者が利用する施設で匿名化された追跡情報を、非匿名化オブジェクトにマッピングすることによって、データの活用度を増大させることができる。
【図面の簡単な説明】
【0031】
【
図1】本発明の一実施例に係る空間内でオブジェクトを匿名化して追跡する匿名化追跡装置を簡略に示す図面である。
【
図2】本発明の一実施例に係る空間内でオブジェクトを匿名化して追跡する方法において、少なくとも一つのカメラを通じて撮影された空間イメージを簡略に示す図面である。
【
図3】本発明の一実施例に係る空間内でオブジェクトを匿名化して追跡する方法において、少なくとも一つのカメラを通じて撮影された空間イメージを変調した、変調済みの空間イメージを簡略に示す図面である。
【
図4】本発明の一実施例に係る空間内でオブジェクトを匿名化して追跡する方法において、少なくとも一つのカメラを通じて撮影された空間イメージを変調した、変調済みの空間イメージを利用して匿名化された特定のオブジェクトを検出した状態を簡略に示す図面である。
【
図5】本発明の一実施例に係る空間内でオブジェクトを匿名化して追跡する方法において、検出された、匿名化された特定のオブジェクトをトラッキングする状態を簡略に示す図面である。
【
図6】本発明の一実施例に係る空間内でオブジェクトを匿名化して追跡する方法において、匿名化追跡情報を非匿名化オブジェクトにマッピングする状態を簡略に示す図面である。
【
図7】本発明の一実施例に係る空間内でオブジェクトを匿名化して追跡する方法において、カメラから撮影された映像を変調する変調ネットワークを学習する方法を簡略に示す図面である。
【
図8】本発明の一実施例に係る空間内でオブジェクトを匿名化して追跡する方法において、カメラから撮影された映像を変調する変調ネットワークを学習する他の方法を簡略に示す図面である。
【
図9】本発明の一実施例に係る空間内でオブジェクトを匿名化して追跡する方法において、カメラから撮影された映像を変調する変調ネットワークを学習する他の方法を簡略に示す図面である。
【
図10】本発明の一実施例に係る空間内でオブジェクトを匿名化して追跡する方法において、カメラから撮影された映像を変調する変調ネットワークを学習する他の方法を簡略に示す図面である。
【発明を実施するための形態】
【0032】
本発明の実施例の説明に利用されるために添付された各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者(以下「通常の技術者」)にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【0033】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。従って、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は、特許請求の範囲の請求項が請求する範囲及びそれと均等な全ての範囲を包括するものとして受け取られるべきである。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する構成要素を指す。
【0034】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【0035】
図1は、本発明の一実施例において、特定の空間内におけるオブジェクトを匿名化して追跡する匿名化追跡装置を簡略に示す図面であり、匿名化追跡装置1000は特定の空間内におけるオブジェクトを匿名化して追跡するための各インストラクションが格納されたメモリ1100と、メモリ1100に格納された各インストラクションに応じて特定の空間内におけるオブジェクトを匿名化して追跡するための動作を遂行するプロセッサ1200とを含むことができる。
【0036】
具体的に、匿名化追跡装置1000は、典型的にコンピューティング装置(例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置;ルータ、スイッチなどのような電子通信装置;ネットワーク接続ストレージ(NAS)及びストレージ領域ネットワーク(SAN)のような電子情報ストレージシステム)及びコンピュータソフトウェア(即ち、コンピューティング装置をもって特定の方式で機能させる各インストラクション)の組合せを利用して所望のシステム性能を達成するものであり得る。
【0037】
また、コンピューティング装置のプロセッサはMPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリ(Cache Memory)、データバス(Data Bus)などのハードウェア構成を含むことができる。また、コンピューティング装置はオペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むことができる。
【0038】
しかし、コンピューティング装置が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。
【0039】
一方、匿名化追跡装置1000のプロセッサ1200は、メモリ1100に格納された各インストラクションに応じて、特定の空間を撮影する少なくとも一つのカメラから撮影された原本映像を変調ネットワーク(obfuscation network)を通じて、人は原本映像を区分することができないように、またラーニングネットワークは原本映像と同一に認識することができるように変調(obfuscate)した、変調済みの映像(obfuscated image)を獲得するプロセス、変調済みの映像をラーニングネットワークに入力することでラーニングネットワークをもって変調済みの映像から追跡しようとする少なくとも一つのターゲットオブジェクトに対応する少なくとも一つの変調済みのターゲットオブジェクトを検出することで、少なくとも一つの変調済みのターゲットオブジェクト情報を出力させるプロセス、及び少なくとも一つの変調済みのターゲットオブジェクト情報を参照することで特定の空間における少なくとも一つの変調済みのターゲットオブジェクトをトラッキングすることで、少なくとも一つの匿名化トラッキング情報を生成するプロセスを遂行することができる。
【0040】
このように構成された本発明の一実施例において、匿名化追跡装置1000を利用して特定の空間内におけるオブジェクトを匿名化して追跡する方法を説明すると以下の通りである。
【0041】
まず、
図2を参照すると、特定の空間内に設置された少なくとも一つのカメラc1、c2から特定の空間を撮影した少なくとも一つの原本映像が獲得され得る。
【0042】
この際、カメラはCCTVを含むことができるが、これに限定されるわけではなく、イメージであるフレームが連続する映像を撮影する全てのカメラを含むことができる。そして、カメラは特定の空間の全ての領域をカバーすることができるように多数個に設置され得、それぞれの隣接するカメラは、カメラの間の共通視野を確保することができるように設置され得る。これにより、一部の領域でオブジェクトが完全に遮断(occlusion)されることを最小化することができ、一部の遮断(occlusion)に対しては、外観特徴(appearance feature)でマッチングしてオブジェクトを追跡することができる。
【0043】
次に、
図3を参照すると、匿名化追跡装置1000は特定の空間を撮影する少なくとも一つのカメラc1、c2から撮影された原本映像を、変調ネットワークを通じて変調した、変調済みの映像を獲得することができる。
【0044】
この際、変調ネットワークはカメラc1、c2から獲得された原本映像、即ち、原本映像のそれぞれのフレームにおけるイメージを匿名化することができる。
【0045】
そして、原本映像の匿名化は、人は原本映像を区分することができないように、またラーニングネットワークは原本映像と同一に認識することができるように変調した、変調済みの映像に変調(obfuscate)するように学習された変調ネットワークを通じて遂行され得、変調ネットワークの学習については、後に説明する。
【0046】
また、原本映像の匿名化は、特定の空間内を撮影するカメラc1、c2のそれぞれで遂行されるか、カメラc1、c2から撮影された映像を受信する匿名化追跡装置1000で遂行され得る。
【0047】
一方、原本映像の匿名化は、カメラc1、c2から撮影された映像を格納するNVR(network video recorder)で遂行され得る。
【0048】
この際、NVRは匿名化追跡装置1000にネットワークで連結されるか、NVR自体が匿名化追跡装置1000に含まれていられ得る。しかし、本発明はこれに限定されるわけではなく、変調ネットワークが設置された様々な装置や設備で原本映像に対する匿名化が遂行され得る。
【0049】
一例として、匿名化追跡装置1000は、少なくとも一つのカメラに含まれた変調ネットワークを通じて原本映像を変調した、変調済みの映像を少なくとも一つのカメラから獲得するか、原本映像を格納するNVRに含まれた変調ネットワークを通じて原本映像を変調した、変調済みの映像をNVRから獲得することができる。
【0050】
次に、
図4を参照すると、匿名化追跡装置1000は、変調済みの映像をラーニングネットワークに入力することでラーニングネットワークをもって変調済みの映像から追跡しようとする少なくとも一つのターゲットオブジェクトに対応する少なくとも一つの変調済みのターゲットオブジェクトを検出することで、少なくとも一つの変調済みのターゲットオブジェクト情報を出力させることができる。この際、変調済みのターゲットオブジェクト情報は、変調済みのターゲットオブジェクトに対応する変調済みの領域データ、変調済みのターゲットオブジェクトの位置情報、及び変調済みのターゲットオブジェクトを撮影したカメラのカメラ情報を含むことができる。そして、カメラ情報はカメラ識別情報及びカメラの位置情報を含むことができる。
【0051】
そして、匿名化追跡装置1000は、変調済みの映像から変調済みのターゲットオブジェクトを除いた他の領域を削除することによって個人情報の露出を防止することができるようになる。
【0052】
次に、
図5を参照すると、匿名化追跡装置1000は、少なくとも一つの変調済みのターゲットオブジェクト情報を参照することで特定の空間における少なくとも一つの変調済みのターゲットオブジェクトをトラッキングすることで、少なくとも一つの変調済みのトラッキング情報を生成することができる。
【0053】
この際、変調済みのトラッキング情報は、変調済みのターゲットオブジェクト、即ち、ターゲットオブジェクトのトラジェクトリ(trajectory)情報及び状態情報を含むことができる。
【0054】
一例として、匿名化追跡装置1000は、変調済みのターゲットオブジェクト情報の領域データから特性情報を抽出し、特性情報を通じて変調済みのターゲットオブジェクトの識別情報、姿勢情報、行動情報、関心情報、表情情報などの状態情報を検出することができる。
【0055】
また、匿名化追跡装置1000は、変調済みのターゲットオブジェクト情報の変調済みのターゲットオブジェクトの位置情報及びカメラ情報を利用して変調された映像のそれぞれのフレームにおける変調済みのターゲットオブジェクトの移動位置を追跡することによって、変調済みのターゲットオブジェクトが特定の空間内で移動したトラジェクトリ情報を検出することができる。
【0056】
即ち、匿名化追跡装置1000は匿名化されたオブジェクト、即ち、人や物体を検出することで、それぞれの匿名化されたオブジェクトの移動、行動、関心、表情などをリアルタイムまたは録画された変調済みの映像を通じて個人情報を侵害することなく分析することができる。
【0057】
また、匿名化追跡装置1000は、変調済みのターゲットオブジェクトを追跡する場合、隣接するカメラの間の共通視野を通じて匿名化されたオブジェクトの動線を容易に追跡することができ、一部の遮断(occlusion)が起こる場合、外観特徴(appearance feature)マッチングを通じて追跡することができる。
【0058】
即ち、カメラ内のオブジェクトの位置から空間における位置を推定するために、オブジェクトの底面(floor/ground)における位置をカメラ映像から推定し、これを実際の空間(平面図)に投影することによってローカルポジション(local position)からグローバルポジション(global position)を獲得することができ、多重カメラから捕えられた一つのオブジェクトに対する多数のグローバルポジションをクラスタリング(clustering)するか、カメラごとにそれぞれ得たグローバルポジション軌跡を一定時間ごとにクラスタリングするか、隣接したカメラの間の対応関係を先に見つけてノイズを除去した後、グローバルポジションを得るなどの方法を通じて、多重カメラからのグローバルシングルトラジェクトリ(global single trajectory)を獲得することができる。
【0059】
一方、匿名化追跡装置1000は、少なくとも一つの変調済みのターゲットオブジェクト情報を参照することで識別された少なくとも一つの変調済みのターゲットオブジェクトに対する予め獲得された非匿名化個人情報の公開に対する同意情報があるか否かを確認し、予め獲得された非匿名化個人情報の公開に対する同意情報がある特定の変調済みのターゲットオブジェクトの場合、特定の変調済みのターゲットオブジェクトに対応する特定の非匿名化個人情報を特定の変調済みのターゲットオブジェクトにマッチングし、特定の非匿名化個人情報がマッチングされた特定の変調済みのターゲットオブジェクトをトラッキングすることで特定の非匿名化トラッキング情報を生成することができる。
【0060】
即ち、匿名化追跡装置1000は、識別された変調済みのターゲットオブジェクトに対して非匿名化個人情報の公開に対する同意情報が予め獲得されているか否かを確認し、予め獲得された非匿名化個人情報の公開に対する同意情報がある場合、変調済みのターゲットオブジェクトをトラッキングした情報を非匿名化個人情報にマッチングして非匿名化トラッキング情報として生成することができる。
【0061】
次に、
図6を参照すると、匿名化追跡装置1000は、少なくとも一つのターゲットオブジェクトのうち特定のターゲットオブジェクトから非匿名化個人情報の公開に対する同意情報が獲得されると、特定のターゲットオブジェクトに対応する特定の匿名化トラッキング情報を特定のターゲットオブジェクトの非匿名化個人情報にマッチングして特定の匿名化トラッキング情報を特定の非匿名化トラッキング情報に変換することができる。
【0062】
即ち、映像分析に同意したオブジェクトの場合、匿名化追跡装置1000は映像分析に同意したオブジェクトの匿名化されたトラッキング情報をそれぞれのオブジェクトにマッチングすることで、オブジェクトそれぞれに対する分析情報を提供することができる。
【0063】
一例として、大型スーパーの場合、スーパー内を撮影する多重カメラによる映像から顧客を匿名化してトラッキングし、チェックアウトの際に該当顧客が映像分析に同意する場合、該当顧客の変調済みのトラッキング情報を該当顧客の情報にマッチングして該当顧客のスーパー利用情報として分析し、非同意顧客の情報は統計として活用することができる。そして、映像分析に同意した顧客が再び該当スーパーを訪問する場合、該当顧客を自動で認識してスーパー内における該当顧客を匿名化して追跡及び分析し、分析結果によって該当顧客に合う様々な情報を提供することができる。
【0064】
また、該当顧客が該当スーパーの他の支店を訪問する場合にも同一に認識して分析及び情報を提供することができ、これを通じて店舗の純訪問者や、訪問者ごとの記録などの様々な分析情報を獲得することができるようになる。
【0065】
これを通じて本発明は、既存の匿名化技術を利用してスーパー、モールなどの特定の空間内の訪問者などの個人情報を侵害することなく(建物全体領域など)大規模の空間における移動経路を追跡することができるようになる。
【0066】
この際、匿名化された状態での追跡(anonymous tracking)は、統計水準の情報だけ提供可能であり、活用度に限界がある。即ち、スーパーやモールの会員制または建物の立入登録システムを活用すれば、一部の訪問者に対してビデオ分析に対する同意を得ることができても、公共場所では同意しない訪問者もあり得、匿名状態の追跡は依然として必要である。従って、本発明は、匿名化された状態で移動経路及び行動などのビデオ分析結果を有している状態で、ビデオ分析に同意した会員であることが確認される瞬間、既存の匿名化された追跡情報を自然人とマッピングすることによって、データの活用度を大きく増大させることができる。
【0067】
一方、原本映像を変調する変調ネットワークを学習する方法を説明すると以下の通りである。
【0068】
図7は、本発明の一実施例に係る特定の空間内におけるオブジェクトを匿名化して追跡する方法において、カメラから撮影された原本映像を変調する変調ネットワークを学習する方法を簡略に示す図面である。
【0069】
まず、学習用データxが獲得されると、学習装置100は、学習用データxを変調ネットワークOに入力することで変調ネットワークOをもって学習用データxを変調(obfuscation)して学習用変調データx’、O(x)を生成させる。
【0070】
この際、学習用データxは学習に利用するための原本データである学習用原本データまたは学習用原本データを変換(modify)した学習用変換データであり得、学習用変換データは学習用原本データにランダムノイズ生成ネットワーク(図示せず)を通じて生成されたランダムノイズを付加して生成することができる。一例として、ランダムノイズ生成ネットワークをもって正規分布N(0、σ)に伴うランダムノイズを生成させ、生成されたノイズを学習用原本データに追加して学習用変換データを生成することができる。また、学習用変換データはランダムノイズの他にも、学習用原本データをブラー(blur)処理するか、学習用原本データの解像度を変更して生成することができるが、これに限定されるわけではなく、学習用原本データを変換(modify)する様々な方法が適用され得る。
【0071】
また、学習用変調データx’は、人には学習用データxと異なるように認識され、またラーニングネットワークでは学習用データxと同一または類似するものと認識され得る。
【0072】
一方、変調ネットワークOは一例として、入力される学習用データxでイメージをコンボリューション演算する多数のコンボリューションレイヤを含むエンコーダ(encoder)と、エンコーダから出力されるフィーチャーマップをデコンボリューションすることで学習用変調データx’を出力する多数のデコンボリューションレイヤを含むデコーダ(decoder)とを含むことができるが、これに限定されるわけではなく、入力される学習用データを学習用変調データに変調する様々な構造のラーニングネットワークを含むことができる。
【0073】
次に、学習装置100は学習用変調データx’を、学習されたパラメータを有するラーニングネットワークFに入力することでラーニングネットワークFをもって学習されたパラメータを利用して学習用変調データx’をラーニング演算し、学習用変調データx’に対応する第1学習用特性(characteristic)情報F(x’)を生成させ、学習用データxをラーニングネットワークFに入力することでラーニングネットワークFをもって学習されたパラメータを利用して学習用データxをラーニング演算し、学習用データxに対応する第2学習用特性情報F(x)を生成させることができる。
【0074】
この際、ラーニングネットワークFはマシンラーニングネットワークを含むことができるが、これに限定されるわけではなく、学習されたパラメータに応じて入力される学習用変調データx’をラーニング演算し、第1学習用特性情報F(x’)を出力し、学習用データxをラーニング演算し、第2学習用特性情報F(x)を出力させる全てのラーニングネットワークを含むことができる。そして、マシンラーニングネットワークはK-最近隣(k-Nearest Neighbors)、線形回帰(Linear Regression)、ロジスティック回帰(Logistic Regression)、サポートベクターマシン(SVM、Support Vector Machine)、決定木(Decision Tree)及びランダムフォレスト(Random Forest)、神経網(Neural Network)、群集(Clustering)、視角化(Visualization)及び次元縮小(Dimensionality Reduction)、関連規則学習(Association Rule Learning)、深層信頼神経網(Deep Belief Network)、強化学習(Reinforcement Learning)、並びにディープラーニングアルゴリズムのうち少なくとも一つを含むことができるが、マシンラーニングネットワークはこれに限定されるわけではなく、様々なラーニングアルゴリズムを含むことができる。
【0075】
そして、第1学習用特性情報F(x’)と第2学習用特性情報F(x)とは学習用データxに対するフィーチャー(feature)またはロジット(logits)であり得る。また、第1学習用特性情報F(x’)と第2学習用特性情報F(x)とは学習用データx内の所定の特徴に関するフィーチャー値、または所定の特徴に関するベクター(vector)、行列(matrix)及び座標(coordinate)のうち少なくとも一つに関する値を含むロジットであり得る。例えば、学習用データxが顔のイメージデータである場合に、上記の結果は顔の認識のためのクラス、顔の特性、一例として、笑っている顔に対する状態、顔の特徴点(landmark point、例えば、眼の両端点)に関する座標であり得る。
【0076】
次に、学習装置100は第1学習用特性情報F(x’)と第2学習用特性情報F(x)とを参照した第1エラーを最小化するように、また学習用データxと学習用変調データx’とを参照した第2エラーを最大化するように変調ネットワークOを学習させることができる。即ち、学習装置100は変調ネットワークOを学習させることにおいて、第2エラーを利用して変調ネットワークOが学習用データxとは差が大きい学習用変調データx’を出力するように学習させると共に、第1エラーを利用して変調ネットワークOが学習データxを変調してラーニングネットワークFでは学習用データxと同一または類似して認識されるようにする学習用変調データx’を出力するように学習させる。
【0077】
この際、学習装置100は第1学習用特性情報F(x’)と第2学習用特性情報F(x)との差により第1エラーを獲得することができる。一例として、学習装置100は第1学習用特定情報F(x’)と第2学習用特性情報F(x)とのノルム(norm)またはコサイン類似度(cosine similarity)により第1エラーを獲得することができるが、これに限定されるわけではなく、第1学習用特性情報F(x’)と第2学習用特性情報F(x)との差を算出することができる様々なアルゴリズムを適用することができる。また、学習装置100は学習用データxと学習用変調データx’との差により第2エラーを獲得することができる。
【0078】
一方、学習装置100は第1学習用特性情報F(x’)をクラスごとにマッピングした学習用変調データx’に対するプロバビリティ(probability)と学習用データxに対応する原本正解(ground truth)とを参照することで獲得したクラスロスをさらに参照することで、第1エラーを獲得することができる。この際、プロバビリティは設定されたクラスごとにラーニングネットワークFから出力される第1学習用特性情報F(x’)が正解である確率を示すことができる。例えば、学習用データが顔のイメージデータである場合に、顔が笑っている状態であるプロバビリティは0.75、笑っていない状態であるプロバビリティは0.25などのように出力され得る。この際、ラーニングネットワークFから出力される第1学習用特性情報F(x’)をクラスごとにマッピングするためにソフトマックス(softmax)を使用することができるが、これに限定されるわけではなく、第1学習用情報F(x’)をクラスごとにマッピングする様々なアルゴリズムが利用され得る。
【0079】
即ち、学習装置100は第1学習用特性情報F(x’)と第2学習用特性情報F(x)との差にクラスロスを追加して第1エラーを獲得し、獲得された第1エラーを最小化するようにし、また学習用データxと学習用変調データx’との差による第2エラーを最大化するように変調ネットワークOを学習させることができる。
【0080】
また、学習装置100は学習用変調データx’のエントロピー、ノイズの程度のうち少なくとも一部を参照することでクオリティ(quality)を測定し、測定されたクオリティをさらに参照することで第1エラーを獲得することができる。即ち、学習装置100は学習用変調データx’のクオリティを最小化するように、一例として、学習用変調データx’のエントロピー、ノイズなどを最大化するように変調ネットワークOを学習させることができる。
【0081】
そして、学習装置100は第1エラーを最小化するようにし、また第2エラーを最大化するように変調ネットワークOを学習させる場合、ラーニングネットワークFの学習されたパラメータは固定的にアップデートすることなく、変調ネットワークOに対してのみ学習を進行することができる。
【0082】
図8は、本発明の一実施例に係る空間内でオブジェクトを匿名化して追跡する方法において、カメラから撮影された映像を変調する変調ネットワークを学習する他の方法を簡略に示す図面であり、
図7におけるラーニングネットワークFを学習されたパラメータを有する多数のラーニングネットワークF1、F2、…、Fnで構成したものである。以下の説明では、前記
図7の説明で容易に理解可能な部分に対しては詳細な説明を省略する。
【0083】
まず、学習用データxが獲得されると、学習装置100は、学習用データxを変調ネットワークOに入力することで変調ネットワークOをもって学習用データxを変調(obfuscation)して学習用変調データx’、O(x)を生成させる。
【0084】
この際、学習用データxは学習に利用するための原本データである学習用原本データまたは学習用原本データを変換(modify)した学習用変換データであり得、学習用変調データx’は、人には学習用データxと異なるように認識され、またラーニングネットワークでは学習用データxと同一または類似するものと認識され得る。
【0085】
次に、学習装置100は学習用変調データx’をそれぞれ第1学習されたパラメータ乃至第n学習されたパラメータを有する第1ラーニングネットワークF1乃至第nラーニングネットワークFnに入力することで第1ラーニングネットワークF1乃至第nラーニングネットワークFnをもって第1ラーニングネットワークF1乃至第nラーニングネットワークFnのそれぞれの第1学習されたパラメータ乃至第n学習されたパラメータを利用して学習用変調データx’をラーニング演算し、学習用変調データx’に対応する第1-1学習用特性(characteristic)情報F1(x’)乃至第1-n学習用特性情報Fn(x’)を生成させる。また、学習装置100は学習用データxをそれぞれ第1学習されたパラメータ乃至第n学習されたパラメータを有する第1ラーニングネットワークF1乃至第nラーニングネットワークFnに入力することで第1ラーニングネットワークF1乃至第nラーニングネットワークFnをもって第1ラーニングネットワークF1乃至第nラーニングネットワークFnのそれぞれの第1学習されたパラメータ乃至第n学習されたパラメータを利用して学習用データxをラーニング演算し、学習用データxに対応する第2-1学習用特性情報F1(x)乃至第2-n学習用特性情報Fn(x)を生成させることができる。
【0086】
次に、学習装置100は第1-1学習用特性情報F1(x’)と第2-1学習用特性情報F1(x)とを参照した第1-1エラー、乃至第1-n学習用特性情報Fn(x’)と第2-n学習用特性情報Fn(x)とを参照した第1-nエラーの平均である第1エラーを最小化するように、また学習用データxと学習用変調データx’とを参照した第2エラーを最大化するように変調ネットワークOを学習させることができる。
【0087】
即ち、学習装置100は第1-1学習用特性情報F1(x’)と第2-1学習用特性情報F1(x)とを参照した第1-1エラーを獲得し、第1-2学習用特性情報F2(x’)と第2-2学習用特性情報F2(x)とを参照した第1-2エラーを獲得する動作によって、第1-n学習用特性情報Fn(x’)と第2-n学習用特性情報Fn(x)とを参照した第1-nエラーを算出し、算出された第1-1エラー乃至第1-nエラーの平均である第1エラーを獲得する。そして、学習装置100は第1エラーを最小化するように、また第2エラーを最大化するように変調ネットワークOを学習させることができる。
【0088】
一方、学習装置100は第1-1学習用特性情報F1(x’)をクラスごとにマッピングした学習用変調データx’に対する第1プロバビリティと学習用データxに対応する原本正解とを参照することで獲得した第1クラスロスをさらに参照することで第1-1エラーを獲得する。即ち、学習装置100は第1-1学習用特性情報F1(x’)と第2-1学習用特性情報F1(x)との差に、第1クラスロスを追加して第1-1エラーを獲得することができる。そして、第1-2学習用特性情報F2(x’)をクラスごとにマッピングした学習用変調データx’に対する第2プロバビリティと学習用データxに対応する原本正解とを参照することで獲得した第2クラスロスをさらに参照することで第1-2エラーを獲得する動作によって、第1-n学習用特性情報Fn(x’)をクラスごとにマッピングした学習用変調データx’に対する第nプロバビリティと学習用データxに対応する原本正解とを参照することで獲得した第nクラスロスをさらに参照することで第1-nエラーを獲得する。そして、学習装置100は第1-1エラー乃至第1-nエラーの平均で第1エラーを獲得し、獲得された第1エラーを最小化するようにし、また学習用データxと学習用変調データx’との差による第2エラーを最大化するように変調ネットワークOを学習させることができる。
【0089】
また、学習装置100は学習用変調データx’のエントロピー、ノイズの程度のうち少なくとも一部を参照することでクオリティを測定し、測定されたクオリティをさらに参照することで第1エラーを獲得することができる。即ち、学習装置100は学習用変調データx’のクオリティを最小化するように、一例として、学習用変調データx’のエントロピー、ノイズなどを最大化するように変調ネットワークOを学習させることができる。
【0090】
そして、学習装置100は第1ロスを最小化するようにし、また第2ロスを最大化するように変調ネットワークOを学習させる場合、ラーニングネットワークFの学習されたパラメータは固定的にアップデートすることなく、変調ネットワークOに対してのみ学習を進行することができる。
【0091】
一方、前記では学習用変調データx’を第1ラーニングネットワークF1乃至第nラーニングネットワークFnに入力することで獲得された第1-1学習用特性情報F1(x’)乃至第1-n学習用特性情報Fn(x’)と、学習用データxを第1ラーニングネットワークF1乃至第nラーニングネットワークFnに入力することで獲得された第2-1学習用特性情報F1(x)乃至第2-n学習用特性情報Fn(x)とを利用して第1-1エラー乃至第1-nエラーを算出し、第1-1エラー乃至第1-nエラーの平均で第1エラーを獲得し、第1エラーを最小化するように、また第2エラーを最大化するように変調ネットワークOを学習したが、これとは異なり、第1-1エラー乃至第1-nエラーを最小化するように変調ネットワークOを順次に学習させてもよい。
【0092】
即ち、学習装置100は学習用データxを変調ネットワークOに入力することで変調ネットワークOをもって学習用データxを変調し、第1学習用変調データx1’を生成させる。そして、学習装置100は第1学習用変調データx1’を第1ラーニングネットワークF1に入力することで第1ラーニングネットワークF1をもって第1ラーニングネットワークF1の第1学習されたパラメータにより第1学習用変調データx1’をラーニング演算し、第1学習用変調データx1’に対する第1-1学習用特性情報F1(x1’)を出力させ、学習用データxを第1ラーニングネットワークF1に入力することで第1ラーニングネットワークF1をもって第1ラーニングネットワークF1の第1学習されたパラメータにより学習用データxをラーニング演算し、学習用データxに対する第2-1学習用特性情報F1(x)を出力させる。以後、学習装置100は第1-1学習用特性情報F1(x1’)と第2-1学習用特性情報F1(x)とを参照した第1-1エラーを最小化するように、また学習用データxと第1学習用変調データx1’とを参照した第2-1エラーを最大化するように変調ネットワークOを学習させ、変調ネットワークOが第1学習された変調ネットワークO1となるようにする。
【0093】
そして、学習装置100は定数であるkを2からnまで増加させて前記の動作を繰り返し、第nラーニングネットワークFnまで遂行することで、第n学習された変調ネットワークOnを獲得することができるようになる。
【0094】
即ち、学習装置100は、学習用データxを第k-1学習された変調ネットワークO(k-1)に入力することで第k-1変調ネットワークO(k-1)をもって学習用データxを変調し、第k学習用変調データxk’を生成させる。そして、学習装置100は第k学習用変調データxk’を第kラーニングネットワークFkに入力することで第kラーニングネットワークFkをもって第kラーニングネットワークFkの第k学習されたパラメータにより第k学習用変調データxk’をラーニング演算し、第k学習用変調データxk’に対する第1-k学習用特性情報Fn(xk’)を出力させ、学習用データxを第kラーニングネットワークFkに入力することで第kラーニングネットワークFkをもって第kラーニングネットワークFkの第k学習されたパラメータにより学習用データxをラーニング演算し、学習用データxに対する第2-k学習用特性情報Fk(xk)を出力させる。以後、学習装置100は第1-k学習用特性情報Fk(xk’)と第2-k学習用特性情報Fk(x)とを参照した第1-kエラーを最小化するように、また学習用データxと第k学習用変調データxk’とを参照した第2-kエラーを最大化するように第k-1学習された変調ネットワークO(k-1)を学習させ、第k-1学習された変調ネットワークO(k-1)が第k学習された変調ネットワークOkとなるようにすることができる。
【0095】
図9は、本発明の一実施例に係る空間内でオブジェクトを匿名化して追跡する方法において、カメラから撮影された映像を変調する変調ネットワークを学習する他の方法を簡略に示す図面である。以下の説明では前記
図7及び
図8の説明から容易に理解可能な部分に対しては詳細な説明を省略する。
【0096】
まず、学習用データxが獲得されると、学習装置100は、学習用データxを変調ネットワークOに入力することで変調ネットワークOをもって学習用データxを変調(obfuscation)して学習用変調データx’、O(x)を生成させる。
【0097】
次に、学習装置100は学習用変調データx’を、学習されたパラメータを有するラーニングネットワークFに入力することでラーニングネットワークFをもって学習されたパラメータを利用して学習用変調データx’をラーニング演算し、学習用変調データx’に対応する第1学習用特性(characteristic)情報F(x’)を生成させ、学習用データxをラーニングネットワークFに入力することでラーニングネットワークFをもって学習されたパラメータを利用して学習用データxをラーニング演算し、学習用データxに対応する第2学習用特性情報F(x)を生成させることができる。
【0098】
次に、学習装置100は入力されるデータがリアル(real)であるかフェーク(fake)であるかを判別するディスクリミネータ(discriminator)Dに入力された学習用変調データx’に対応する学習用変調データスコアを第2エラーとして獲得した状態で、第1学習用特性情報F(x’)と第2学習用特性情報F(x)とを参照した第1エラーを最小化するように、また学習用変調データスコアである第2エラーを最大化するように変調ネットワークOを学習させると共に、ディスクリミネータDに入力された学習用データに対応する学習用データスコアを最大化するように、また学習用変調データスコアを最小化するようにディスクリミネータDを学習させることができる。この際、学習用データをディスクリミネータDに入力することとは異なり、学習用データまたは学習用変調データを変換した学習用変換済みのデータまたは学習用変換済みの変調データをディスクリミネータDに入力することで学習された変換済みのデータスコアまたは学習用変換済みの変調データスコアを出力させ、学習用変換済みのデータスコアまたは学習用変換済みの変調データスコアを最大化するように、また学習用変調データスコアを最小化するようにディスクリミネータDを学習させることができる。
【0099】
即ち、学習装置100は変調ネットワークOを学習させることにおいて、第1エラーを利用してラーニングネットワークFにより学習用データxと同一または類似して認識されるように学習用データxを変調して学習用変調データx’を出力するように学習させると共に、第2エラーを利用して原本データxとの区別が困難になるようにする学習用変調データx’を出力するように学習させることができる。
【0100】
この際、ディスクリミネータDに入力された学習用データxに対応する学習用データスコアの最大値は学習用データxをリアルとして判別する1であり、ディスクリミネータDに入力された学習用変調データx’に対応する学習用変調データスコアの最小値は学習用変調データx’をフェークとして判別する0であり得る。
【0101】
一方、学習装置100は第1学習用特性情報F(x’)をクラスごとにマッピングした学習用変調データx’に対するプロバビリティと学習用データxに対応する原本正解とを参照することで獲得したクラスロスをさらに参照することで、第1エラーを獲得することができる。
【0102】
そして、学習装置100は第1エラーを最小化するようにし、また第2エラーを最大化するように変調ネットワークOを学習させる場合、ラーニングネットワークFの学習されたパラメータは固定してアップデートすることなく、変調ネットワークOに対してのみ学習を進行することができる。
【0103】
図10は、本発明の一実施例に係る空間内でオブジェクトを匿名化して追跡する方法において、カメラから撮影された映像を変調する変調ネットワークを学習する他の方法を簡略に示す図面であり、
図9におけるラーニングネットワークFを学習されたパラメータを有する多数のラーニングネットワークF1、F2、…、Fnで構成したものである。以下の説明では、前記
図7乃至
図9の説明で容易に理解可能な部分に対しては詳細な説明を省略する。
【0104】
まず、学習用データxが獲得されると、学習装置100は、学習用データxを変調ネットワークOに入力することで変調ネットワークOをもって学習用データxを変調(obfuscation)して学習用変調データx’、O(x)を生成させる。
【0105】
次に、学習装置100は学習用変調データx’をそれぞれ第1学習されたパラメータ乃至第n学習されたパラメータを有する第1ラーニングネットワークF1乃至第nラーニングネットワークFnに入力することで第1ラーニングネットワークF1乃至第nラーニングネットワークFnをもって第1ラーニングネットワークF1乃至第nラーニングネットワークFnのそれぞれの第1学習されたパラメータ乃至第n学習されたパラメータを利用して学習用変調データx’をラーニング演算し、学習用変調データx’に対応する第1-1学習用特性(characteristic)情報F1(x’)乃至第1-n学習用特性情報Fn(x’)を生成させる。また、学習装置100は学習用データxをそれぞれ第1学習されたパラメータ乃至第n学習されたパラメータを有する第1ラーニングネットワークF1乃至第nラーニングネットワークFnに入力することで第1ラーニングネットワークF1乃至第nラーニングネットワークFnをもって第1ラーニングネットワークF1乃至第nラーニングネットワークFnのそれぞれの第1学習されたパラメータ乃至第n学習されたパラメータを利用して学習用データxをラーニング演算し、学習用データxに対応する第2-1学習用特性情報F1(x)乃至第2-n学習用特性情報Fn(x)を生成させることができる。
【0106】
次に、学習装置100は1-1学習用特性情報F1(x’)と第2-1学習用特性情報F1(x)とを参照した第1-1エラー、乃至第1-n学習用特性情報Fn(x’)と第2-n学習用特性情報Fn(x)とを参照した第1-nエラーの平均である第1エラーを最小化するように、またディスクリミネータDに入力された学習用変調データx’に対応する学習用変調データスコアである前記第2エラーを最大化するように変調ネットワークOを学習させ、ディスクリミネータDに入力された学習用データxに対応する学習用データスコアを最大化するように、また学習用変調データスコアを最小化するようにディスクリミネータDを学習させることができる。
【0107】
即ち、学習装置100は第1-1学習用特性情報F1(x’)と第2-1学習用特性情報F1(x)とを参照した第1-1エラーを獲得し、第1-2学習用特性情報F2(x’)と第2-2学習用特性情報F2(x)とを参照した第1-2エラーを獲得する動作によって、第1-n学習用特性情報Fn(x’)と第2-n学習用特性情報Fn(x)とを参照した第1-nエラーを算出し、算出された第1-1エラー乃至第1-nエラーの平均である第1エラーを獲得する。そして、学習装置100は第1エラーを最小化するように、また第2エラーを最大化するように変調ネットワークOを学習させることができる。
【0108】
一方、学習装置100は第1-1学習用特性情報F1(x’)をクラスごとにマッピングした学習用変調データx’に対する第1プロバビリティと学習用データxに対応する原本正解とを参照することで獲得した第1クラスロスをさらに参照することで第1-1エラーを獲得する。即ち、学習装置100は第1-1学習用特性情報F1(x’)と第2-1学習用特性情報F1(x)との差に、第1クラスロスを追加して第1-1エラーを獲得することができる。そして、第1-2学習用特性情報F2(x’)をクラスごとにマッピングした学習用変調データx’に対する第2プロバビリティと学習用データxに対応する原本正解とを参照することで獲得した第2クラスロスをさらに参照することで第1-2エラーを獲得する動作によって、第1-n学習用特性情報Fn(x’)をクラスごとにマッピングした学習用変調データx’に対する第nプロバビリティと学習用データxに対応する原本正解とを参照することで獲得した第nクラスロスをさらに参照することで第1-nエラーを獲得する。そして、学習装置100は第1-1エラー乃至第1-nエラーの平均で第1エラーを獲得し、獲得された第1エラーを最小化するようにし、また学習用データxと学習用変調データx’との差による第2エラーを最大化するように変調ネットワークOを学習させることができる。
【0109】
そして、学習装置100は第1ロスを最小化するようにし、また第2ロスを最大化するように変調ネットワークOを学習させる場合、ラーニングネットワークFの学習されたパラメータは固定的にアップデートすることなく、変調ネットワークOに対してのみ学習を進行することができる。
【0110】
一方、前記では学習用変調データx’を第1ラーニングネットワークF1乃至第nラーニングネットワークFnに入力することで獲得された第1-1学習用特性情報F1(x’)乃至第1-n学習用特性情報Fn(x’)と、学習用データxを第1ラーニングネットワークF1乃至第nラーニングネットワークFnに入力することで獲得された第2-1学習用特性情報F1(x)乃至第2-n学習用特性情報Fn(x)とを利用して第1-1エラー乃至第1-nエラーを算出し、第1-1エラー乃至第1-nエラーの平均で第1エラーを獲得し、第1エラーを最小化するように、また第2エラーを最大化するように変調ネットワークOを学習したが、これとは異なり、第1-1エラー乃至第1-nエラーを最小化するように変調ネットワークOを順次に学習させてもよい。
【0111】
即ち、学習装置100は学習用データxを変調ネットワークOに入力することで変調ネットワークOをもって学習用データxを変調し、第1学習用変調データx1’を生成させる。そして、学習装置100は第1学習用変調データx1’を第1ラーニングネットワークF1に入力することで第1ラーニングネットワークF1をもって第1ラーニングネットワークF1の第1学習されたパラメータにより第1学習用変調データx1’をラーニング演算し、第1学習用変調データx1’に対する第1-1学習用特性情報F1(x1’)を出力させ、学習用データxを第1ラーニングネットワークF1に入力することで第1ラーニングネットワークF1をもって第1ラーニングネットワークF1の第1学習されたパラメータにより学習用データxをラーニング演算し、学習用データxに対する第2-1学習用特性情報F1(x)を出力させる。以後、学習装置100は第1-1学習用特性情報F1(x1’)と第2-1学習用特性情報F1(x)とを参照した第1-1エラーを最小化するように、またディスクリミネータDに入力された第1学習用変調データx1’に対応する第1学習用変調データスコアである第2-1エラーを最大化するように変調ネットワークOを学習させ、変調ネットワークOが第1学習された変調ネットワークO1となるようにして、ディスクリミネータDに入力された学習用データに対応する第1学習用データスコアを最大化するように、また第1学習用変調データスコアを最小化するようにディスクリミネータDを学習させ、ディスクリミネータDが第1学習されたディスクリミネータD1となるようにする。
【0112】
そして、学習装置100は定数であるkを2からnまで増加させて前記の動作を繰り返し、第nラーニングネットワークFnまで遂行することで、第n学習された変調ネットワークOnを獲得することができるようになる。
【0113】
即ち、学習装置100は、学習用データxを第k-1学習された変調ネットワークO(k-1)に入力することで第k-1変調ネットワークO(k-1)をもって学習用データxを変調し、第k学習用変調データxk’を生成させる。そして、学習装置100は第k学習用変調データxk’を第kラーニングネットワークFkに入力することで第kラーニングネットワークFkをもって第kラーニングネットワークFkの第k学習されたパラメータにより第k学習用変調データxk’をラーニング演算し、第k学習用変調データxk’に対する第1-k学習用特性情報Fn(xk’)を出力させ、学習用データxを第kラーニングネットワークFkに入力することで第kラーニングネットワークFkをもって第kラーニングネットワークFkの第k学習されたパラメータにより学習用データxをラーニング演算し、学習用データxに対する第2-k学習用特性情報Fk(xk)を出力させる。以後、学習装置100は第1-k学習用特性情報Fk(xk’)と第2-k学習用特性情報Fk(x)とを参照した第1-kエラーを最小化するように、また第k-1学習されたディスクリミネータD(k-1)に入力された第k学習用変調データxk’に対応する第k学習用変調データスコアである第2-kエラーを最大化するように第k-1学習された変調ネットワークO(k-1)を学習させ、第k-1学習された変調ネットワークO(k-1)が第k学習された変調ネットワークOkとなるようにして、第k-1学習されたディスクリミネータD(k-1)に入力された学習データxに対応する第k学習用データスコアを最大化するように、また第k学習用変調データスコアを最小化するように第k-1学習されたディスクリミネータD(k-1)を学習させ、第k-1学習されたディスクリミネータD(k-1)が第k学習されたディスクリミネータDkとなるようにすることができる。
【0114】
以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカル・ディスク(Floptical Disk)のような磁気-光メディア(Magneto-Optical Media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【0115】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは、本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【0116】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【符号の説明】
【0117】
1000:匿名化追跡装置、
1100:メモリ、
1200:プロセッサ