知財求人 - 知財ポータルサイト「IP Force」
▶ ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッドの特許一覧
特表2022-514726同行人を検出する方法および装置、システム、電子機器、記憶媒体及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-15
(54)【発明の名称】同行人を検出する方法および装置、システム、電子機器、記憶媒体及びコンピュータプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20220207BHJP
【ＦＩ】
G06T7/20 300
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021512888
(86)(22)【出願日】2020-07-29
(85)【翻訳文提出日】2021-03-08
(86)【国際出願番号】 CN2020105560
(87)【国際公開番号】W WO2021093375
(87)【国際公開日】2021-05-20
(31)【優先権主張番号】201911120558.2
(32)【優先日】2019-11-15
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】520479331
【氏名又は名称】ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド
(74)【代理人】
【識別番号】110002468
【氏名又は名称】特許業務法人後藤特許事務所
(72)【発明者】
【氏名】郭 勇智
(72)【発明者】
【氏名】馬 嘉宇
(72)【発明者】
【氏名】鐘 細亜
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096FA52
5L096FA69
5L096GA51
5L096HA05
5L096JA03
5L096JA11
5L096MA07
(57)【要約】
本開示は、同行人を検出する方法および装置、システム、電子機器、並びに記憶媒体に関する。前記方法は、予め設定された時間帯で異なる領域に配置された複数の画像収集装置のそれぞれで収集されたビデオ画像を取得することと、前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定することと、前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定することと、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することとを含む。本開示の実施例は、同行人検出の精度の向上を実現することができる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
同行人を検出する方法であって、予め設定された時間帯で異なる領域に配置された複数の画像収集装置のそれぞれで収集されたビデオ画像を取得することと、
前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定することと、
前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定することと、
前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することとを含むことを特徴とする方法。
【請求項2】
前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定することは、前記少なくとも１人の人物に対応する画像集合内の少なくとも１枚の人物画像について、前記人物画像における目標人物の、前記人物画像に対応するビデオ画像における第１位置情報を決定することと、
前記第１位置情報、および前記人物画像に対応するビデオ画像を収集するための画像収集装置の位置情報である第２位置情報に基づいて、前記目標人物の空間座標系内における空間位置座標を決定することと、
前記空間位置座標および前記人物画像に対応するビデオ画像が収集された時刻に基づいて、前記目標人物の時空間座標系内における時空間位置座標を取得することと、
前記複数の人物の時空間位置座標に基づいて、前記時空間座標系において前記少なくとも１人の人物の軌跡情報を取得することとを含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、前記複数の人物の軌跡情報をクラスタリングして、少なくとも１組のクラスタリング集合を取得することと、
同一のクラスタリング集合に属する複数組の軌跡情報のそれぞれに対応する人物を１組の同行人として決定することとを含むことを特徴とする請求項１または２に記載の方法。
【請求項4】
前記少なくとも１人の人物の軌跡情報は、前記時空間座標系における点群を含み、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、
前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することと、
前記類似度と第１類似度閾値との間の大小関係に基づいて、複数組の人物対を決定することであって、各組の人物対は２人の人物を含み、前記各組の人物対の前記類似度は前記第１類似度閾値よりも値が大きいことと、
前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することとを含むことを特徴とする請求項２に記載の方法。
【請求項5】
前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することは、前記複数組の人物対のうちの第１人物対に基づいて同行人集合を作成することと、
前記複数組の人物対のうち、前記同行人集合に含まれる人物対を除く少なくとも１つの第２人物対から、前記同行人集合内の少なくとも１人の人物を含む関連人物対を決定することと、
前記関連人物対を前記同行人集合に追加することと、
前記同行人集合内の人物を１組の同行人として決定することとを含むことを特徴とする請求項４に記載の方法。
【請求項6】
前記関連人物対を前記同行人の集合に追加することは、前記関連人物対内の第１人物が含まれる人物対の数量を決定することと、
前記第１人物が含まれる人物対の数量が人物対数量閾値よりも小さい場合に、前記関連人物対を前記同行人集合に追加することとを含むことを特徴とする請求項５に記載の方法。
【請求項7】
前記複数組の人物対に基づいて、少なくとも１組の同行人を決定した後に、前記１組の同行人に含まれる人物の数量が第１数量閾値よりも大きい場合に、前記１組の同行人に含まれる人物の数量が前記第１数量閾値よりも小さいように、前記複数組の人物対のうち前記類似度が前記第１類似度閾値よりも大きい第２類似度閾値よりも大きい値である少なくとも１組の人物対を１組の同行人として決定することをさらに含むことを特徴とする請求項４～６のいずれか１項に記載の方法。
【請求項8】
前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することは、前記２人毎の人物のうちの第１人物に対応する前記時空間座標系における少なくとも１つの第１時空間位置座標と、前記２人毎の人物のうちの第２人物に対応する前記時空間座標系における少なくとも１つの第２時空間位置座標との間の空間距離を決定することと、
距離閾値以下の前記空間距離に対応する第１時空間位置座標の第１数量、および前記距離閾値以下の前記空間距離に対応する第２時空間位置座標の第２数量を決定することと、
前記第１時空間位置座標の総数に対する前記第１数量の第１比値、および前記第２時空間位置座標の総数に対する前記第２数量の第２比値を決定することと、
前記第１比値と前記第２比値のうちの最大値を前記２人の人物の類似度として決定することとを含むことを特徴とする請求項４～７のいずれか１項に記載の方法。
【請求項9】
前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、前記ビデオ画像に対して人物検出を行い、検出情報を含む人物画像を取得することであって、前記人物検出は顔検出および人体検出のうちの少なくとも１つを含み、前記人物検出が顔検出を含む場合、前記検出情報は顔情報を含み、前記人物検出が人体検出を含む場合、前記検出情報は人体情報を含むことと、
前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとを含むことを特徴とする請求項１～８のいずれか１項に記載の方法。
【請求項10】
前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、顔情報を含む前記人物画像に対してクラスタリング処理を行い、顔クラスタリング結果を得ることであって、前記顔クラスタリング結果は、顔情報を含む前記人物画像の顔身分を少なくとも１つ含むことと、
人体情報を含む前記人物画像に対してクラスタリング処理を行い、人体クラスタリング結果を得ることであって、前記人体クラスタリング結果は、人体情報を含む前記人物画像の人体身分を少なくとも１つ含むことと、
前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとを含むことを特徴とする請求項９に記載の方法。
【請求項11】
前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することと、
前記対応関係のうちの第１対応関係に基づいて、前記人物画像から前記第１対応関係における顔情報および／または人体情報を含む前記人物画像を取得して、１人の人物に対応する画像集合を形成することとを含むことを特徴とする請求項１０に記載の方法。
【請求項12】
顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することは、顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、
顔情報と人体情報を含む前記人物画像を人体身分に基づいて組分けし、少なくとも１つの人体画像組を取得することであって、同一の人体画像組内の人物画像は同一の人体身分を有することと、
前記人体画像組のうちの第１人体画像組に対して、前記第１人体画像組内の少なくとも１つの人物画像のそれぞれに対応する顔身分を決定し、前記第１人体画像組内の少なくとも１つの顔身分ごとに対応する人物画像の数量に基づいて、前記第１人体画像組内の人物画像の顔身分と人体身分との対応関係を決定することとを含むことを特徴とする請求項１１に記載の方法。
【請求項13】
顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することは、顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、
顔情報と人体情報を含む前記人物画像を顔身分に基づいて組分けし、少なくとも１つの顔画像組を取得することであって、同一の顔画像組内の人物画像は同一の顔身分を有することと、
前記顔画像組のうちの第１顔画像組に対して、前記第１顔画像組内の少なくとも１つの人物画像のそれぞれに対応する人体身分を決定し、前記第１顔画像組内の少なくとも１つの人体身分ごとに対応する人物画像の数量に基づいて、前記第１顔画像組内の人物画像の顔身分と人体身分との対応関係を決定することとを含むことを特徴とする請求項１１に記載の方法。
【請求項14】
前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、前記画像集合に属さない顔情報を含む人物画像に対して、前記人物画像の顔身分に基づいて、少なくとも１人の人物に対応する画像集合を決定することを含むことを特徴とする請求項１１～１３のいずれか１項に記載の方法。
【請求項15】
前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定した後に、前記複数の人物のうちの同行人に基づいて、前記同行人に対するマーケティング案を決定することと、
前記同行人において異常人物を決定することとの少なくとも１つをさらに含むことを特徴とする請求項１～１４のいずれか１項に記載の方法。
【請求項16】
同行人を検出する装置であって、予め設定された時間帯で異なる領域に配置された複数の画像収集装置のそれぞれで収集されたビデオ画像を取得するための取得モジュールと、
前記取得モジュールにより取得された前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定するための第１決定モジュールと、
前記複数の画像収集装置の位置情報、前記第２決定モジュールにより取得された少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定するための第２決定モジュールと、
前記第２決定モジュールにより取得された前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定するための第３決定モジュールとを含むことを特徴とする装置。
【請求項17】
前記第２決定モジュールは、さらに、前記少なくとも１人の人物に対応する画像集合内の少なくとも１枚の人物画像について、前記人物画像における目標人物の、前記人物画像に対応するビデオ画像における第１位置情報を決定することと、
前記第１位置情報、および前記人物画像に対応するビデオ画像を収集するための画像収集装置の位置情報である第２位置情報に基づいて、前記目標人物の空間座標系内における空間位置座標を決定することと、
前記空間位置座標および前記人物画像に対応するビデオ画像が収集された時刻に基づいて、前記目標人物の時空間座標系内における時空間位置座標を取得することと、
前記複数の人物の時空間位置座標に基づいて、前記時空間座標系において前記少なくとも１人の人物の軌跡情報を取得することとに用いられることを特徴とする請求項１６に記載の装置。
【請求項18】
前記第３決定モジュールは、さらに、前記複数の人物の軌跡情報をクラスタリングして、少なくとも１組のクラスタリング集合を取得することと、
同一のクラスタリング集合に属する複数組の軌跡情報のそれぞれに対応する人物を１組の同行人として決定することとに用いられることを特徴とする請求項１６または１７に記載の装置。
【請求項19】
前記少なくとも１人の人物の軌跡情報は、前記時空間座標系における点群を含み、前記第２決定モジュールは、さらに、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、
前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することと、
前記類似度と第１類似度閾値との間の大小関係に基づいて、複数組の人物対を決定することであって、各組の人物対は２人の人物を含み、前記各組の人物対の前記類似度は前記第１類似度閾値よりも値が大きいことと、
前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することとを含むことに用いられることを特徴とする請求項１７に記載の装置。
【請求項20】
前記第２決定モジュールは、さらに、前記複数組の人物対のうちの第１人物対に基づいて同行人集合を作成することと、
前記複数組の人物対のうち、前記同行人集合に含まれる人物対を除く少なくとも１つの第２人物対から、前記同行人集合内の少なくとも１人の人物を含む関連人物対を決定することと、
前記関連人物対を前記同行人集合に追加することと、
前記同行人集合内の人物を１組の同行人として決定することとに用いられることを特徴とする請求項１９に記載の装置。
【請求項21】
前記第２決定モジュールは、さらに、前記関連人物対内の第１人物が含まれる人物対の数量を決定することと、
前記第１人物が含まれる人物対の数量が人物対数量閾値よりも小さい場合に、前記関連人物対を前記同行人集合に追加することとに用いられることを特徴とする請求項２０に記載の装置。
【請求項22】
前記１組の同行人に含まれる人物の数量が第１数量閾値よりも大きい場合に、前記１組の同行人に含まれる人物の数量が前記第１数量閾値よりも小さいように、前記複数組の人物対のうち前記類似度が前記第１類似度閾値よりも大きい第２類似度閾値よりも大きい値である少なくとも１組の人物対を１組の同行人として決定するための第４決定モジュールをさらに含むことを特徴とする請求項１９～２１のいずれか１項に記載の装置。
【請求項23】
前記第２決定モジュールは、さらに、前記２人毎の人物のうちの第１人物に対応する前記時空間座標系における少なくとも１つの第１時空間位置座標と、前記２人毎の人物のうちの第２人物に対応する前記時空間座標系における少なくとも１つの第２時空間位置座標との間の空間距離を決定することと、
距離閾値以下の前記空間距離に対応する第１時空間位置座標の第１数量、および前記距離閾値以下の前記空間距離に対応する第２時空間位置座標の第２数量を決定することと、
前記第１時空間位置座標の総数に対する前記第１数量の第１比値、および前記第２時空間位置座標の総数に対する前記第２数量の第２比値を決定することと、
前記第１比値と前記第２比値のうちの最大値を前記２人の人物の類似度として決定することとに用いられることを特徴とする請求項１９～２２のいずれか１項に記載の装置。
【請求項24】
前記第１決定モジュールは、さらに、前記ビデオ画像に対して人物検出を行い、検出情報を含む人物画像を取得することであって、前記人物検出は顔検出および人体検出のうちの少なくとも１つを含み、前記人物検出が顔検出を含む場合、前記検出情報は顔情報を含み、前記人物検出が人体検出を含む場合、前記検出情報は人体情報を含むことと、
前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとに用いられることを特徴とする請求項１６～２３のいずれか１項に記載の装置。
【請求項25】
前記第１決定モジュールは、さらに、顔情報を含む前記人物画像に対してクラスタリング処理を行い、顔クラスタリング結果を得ることであって、前記顔クラスタリング結果は、顔情報を含む前記人物画像の顔身分を少なくとも１つ含むことと、
人体情報を含む前記人物画像に対してクラスタリング処理を行い、人体クラスタリング結果を得ることであって、前記人体クラスタリング結果は、人体情報を含む前記人物画像の人体身分を少なくとも１つ含むことと、
前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとに用いられることを特徴とする請求項２４に記載の装置。
【請求項26】
前記第１決定モジュールは、さらに、顔情報と人体情報を含む前記人物画像のそれぞれの顔身分と人体身分との対応関係を決定することと、
前記対応関係のうちの第１対応関係に基づいて、前記人物画像から前記第１対応関係における顔情報および／または人体情報を含む前記人物画像を取得して、１人の人物に対応する画像集合を形成することとに用いられることを特徴とする請求項２５に記載の装置。
【請求項27】
前記第１決定モジュールは、さらに、顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、
顔情報と人体情報を含む前記人物画像を人体身分に基づいて組分けし、少なくとも１つの人体画像組を取得することであって、同一の人体画像組内の人物画像は同一の人体身分を有することと、
前記人体画像組のうちの第１人体画像組に対して、前記第１人体画像組内の少なくとも１つの人物画像のそれぞれに対応する顔身分を決定し、前記第１人体画像組内の少なくとも１つの顔身分ごとに対応する人物画像の数量に基づいて、前記第１人体画像組内の人物画像の顔身分と人体身分との対応関係を決定することとに用いられることを特徴とする請求項２６に記載の装置。
【請求項28】
前記第１決定モジュールは、さらに、顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、
顔情報と人体情報を含む前記人物画像を顔身分に基づいて組分けし、少なくとも１つの顔画像組を取得することであって、同一の顔画像組内の人物画像は同一の顔身分を有することと、
前記顔画像組のうちの第１顔画像組に対して、前記第１顔画像組内の少なくとも１つの人物画像のそれぞれに対応する人体身分を決定し、前記第１顔画像組内の少なくとも１つの人体身分ごとに対応する人物画像の数量に基づいて、前記第１顔画像組内の人物画像の顔身分と人体身分との対応関係を決定することとに用いられることを特徴とする請求項２６に記載の装置。
【請求項29】
前記第１決定モジュールは、さらに、前記画像集合に属さない顔情報を含む人物画像に対して、前記人物画像の顔身分に基づいて、少なくとも１人の人物に対応する画像集合を決定することに用いられることを特徴とする請求項２５～２７のいずれか１項に記載の装置。
【請求項30】
前記複数の人物のうちの同行人に基づいて、前記同行人に対するマーケティング案を決定し、および／または、前記同行人において異常人物を決定するための第５決定モジュールをさらに含むことを特徴とする請求項１６～２９のいずれか１項に記載の装置。
【請求項31】
同行人を検出するシステムであって、異なる領域に配置された複数の画像収集装置および処理装置を含み、
前記複数の画像収集装置は、ビデオ画像を収集して、前記処理装置に送信するために用いられ、
前記処理装置は、前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定するために用いられ、
前記処理装置は、さらに、前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定するために用いられ、
前記処理装置は、さらに、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定するために用いられることを特徴とするシステム。
【請求項32】
前記処理装置が前記画像収集装置に統合されることを特徴とする請求項３１に記載のシステム。
【請求項33】
電子機器であって、プロセッサと、
プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリに記憶されている命令を呼び出して請求項１～１５のいずれか１項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項34】
コンピュータプログラム命令が記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラム命令は、プロセッサにより実行されると、請求項１～１５のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読取可能記憶媒体。
【請求項35】
コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードは、電子機器において実行されると、前記電子機器のプロセッサに請求項１～１５のいずれか１項に記載の方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コンピュータ技術分野に関し、特に、同行人を検出する方法および装置、システム、電子機器、並びに記憶媒体に関する。
【背景技術】
【0002】
同行人とは、来店時間が近く、同じ商品を注目し、購買決定権を有する人の群である。例えば、商品価値が高く、購入頻度が低い４Ｓ店、宝石店、不動産などの業界のような一部の小売業にとって、顧客体験の向上や人件費の節約のために、同行人の識別が非常に重要である。従来技術では、固定位置に設置された画像収集装置を用いて顔画像を収集し、予め設定された時間間隔内で識別された歩行者を同行人と決定する顔識別方法で同行人の識別を行うことも可能である。
【発明の概要】
【0003】
本開示は、同行人の識別精度を向上できる、同行人を検出する方法の技術的解決手段を提供する。
【0004】
本開示の一方面によれば、同行人を検出する方法を提供する。当該方法は、予め設定された時間帯で異なる領域に配置された複数の画像収集装置のそれぞれで収集されたビデオ画像を取得することと、前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定することと、前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定することと、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することとを含む。
可能な一実現形態では、前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定することは、前記少なくとも１人の人物に対応する画像集合内の少なくとも１枚の人物画像について、前記人物画像における目標人物の、前記人物画像に対応するビデオ画像における第１位置情報を決定することと、前記第１位置情報、および前記人物画像に対応するビデオ画像を収集するための画像収集装置の位置情報である第２位置情報に基づいて、前記目標人物の空間座標系内における空間位置座標を決定することと、前記空間位置座標および前記人物画像に対応するビデオ画像が収集された時刻に基づいて、前記目標人物の時空間座標系内における時空間位置座標を取得することと、前記複数の人物の時空間位置座標に基づいて、前記時空間座標系において前記少なくとも１人の人物の軌跡情報を取得することとを含む。
可能な一実現形態では、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、前記複数の人物の軌跡情報をクラスタリングして、少なくとも１組のクラスタリング集合を取得することと、同一のクラスタリング集合に属する複数組の軌跡情報のそれぞれに対応する人物を１組の同行人として決定することとを含む。
可能な一実現形態では、前記少なくとも１人の人物の軌跡情報は、前記時空間座標系における点群を含み、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することと、前記類似度と第１類似度閾値との間の大小関係に基づいて、複数組の人物対を決定することであって、各組の人物対は２人の人物を含み、前記各組の人物対の前記類似度は前記第１類似度閾値よりも値が大きいことと、前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することとを含む。
可能な一実現形態では、前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することは、前記複数組の人物対のうちの第１人物対に基づいて同行人集合を作成することと、前記複数組の人物対のうち、前記同行人集合に含まれる人物対を除く少なくとも１つの第２人物対から、前記同行人集合内の少なくとも１人の人物を含む関連人物対を決定することと、前記関連人物対を前記同行人集合に追加することと、前記同行人集合内の人物を１組の同行人として決定することとを含む。
可能な一実現形態では、前記関連人物対を前記同行人の集合に追加することは、前記関連人物対内の第１人物が含まれる人物対の数量を決定することと、前記第１人物が含まれる人物対の数量が人物対数量閾値よりも小さい場合に、前記関連人物対を前記同行人集合に追加することとを含む。
可能な一実現形態では、前記複数組の人物対に基づいて、少なくとも１組の同行人を決定した後に、前記１組の同行人に含まれる人物の数量が第１数量閾値よりも大きい場合に、前記１組の同行人に含まれる人物の数量が前記第１数量閾値よりも小さいように、前記複数組の人物対のうち前記類似度が前記第１類似度閾値よりも大きい第２類似度閾値よりも大きい値である少なくとも１組の人物対を１組の同行人として決定することをさらに含む。
可能な一実現形態では、前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することは、前記２人毎の人物のうちの第１人物に対応する前記時空間座標系における少なくとも１つの第１時空間位置座標と、前記２人毎の人物のうちの第２人物に対応する前記時空間座標系における少なくとも１つの第２時空間位置座標との間の空間距離を決定することと、距離閾値以下の前記空間距離に対応する第１時空間位置座標の第１数量、および前記距離閾値以下の前記空間距離に対応する第２時空間位置座標の第２数量を決定することと、前記第１時空間位置座標の総数に対する前記第１数量の第１比値、および前記第２時空間位置座標の総数に対する前記第２数量の第２比値を決定することと、前記第１比値と前記第２比値のうちの最大値を前記２人の人物の類似度として決定することとを含む。
可能な一実現形態では、前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、前記ビデオ画像に対して人物検出を行い、検出情報を含む人物画像を取得することであって、前記人物検出は顔検出および人体検出のうちの少なくとも１つを含み、前記人物検出が顔検出を含む場合、前記検出情報は顔情報を含み、前記人物検出が人体検出を含む場合、前記検出情報は人体情報を含むことと、前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとを含む。
可能な一実現形態では、前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、顔情報を含む前記人物画像に対してクラスタリング処理を行い、顔クラスタリング結果を得ることであって、前記顔クラスタリング結果は、顔情報を含む前記人物画像の顔身分を少なくとも１つ含むことと、人体情報を含む前記人物画像に対してクラスタリング処理を行い、人体クラスタリング結果を得ることであって、前記人体クラスタリング結果は、人体情報を含む前記人物画像の人体身分を少なくとも１つ含むことと、前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとを含む。
可能な一実現形態では、前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することと、前記対応関係のうちの第１対応関係に基づいて、前記人物画像から前記第１対応関係における顔情報および／または人体情報を含む前記人物画像を取得して、１人の人物に対応する画像集合を形成することとを含む。
可能な一実現形態では、顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することは、顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、顔情報と人体情報を含む前記人物画像を人体身分に基づいて組分けし、少なくとも１つの人体画像組を取得することであって、同一の人体画像組内の人物画像は同一の人体身分を有することと、前記人体画像組のうちの第１人体画像組に対して、前記第１人体画像組内の少なくとも１つの人物画像のそれぞれに対応する顔身分を決定し、前記第１人体画像組内の少なくとも１つの顔身分ごとに対応する人物画像の数量に基づいて、前記第１人体画像組内の人物画像の顔身分と人体身分との対応関係を決定することとを含む。
可能な一実現形態では、顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することは、顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、顔情報と人体情報を含む前記人物画像を顔身分に基づいて組分けし、少なくとも１つの顔画像組を取得することであって、同一の顔画像組内の人物画像は同一の顔身分を有することと、前記顔画像組のうちの第１顔画像組に対して、前記第１顔画像組内の少なくとも１つの人物画像のそれぞれに対応する人体身分を決定し、前記第１顔画像組内の少なくとも１つの人体身分ごとに対応する人物画像の数量に基づいて、前記第１顔画像組内の人物画像の顔身分と人体身分との対応関係を決定することとを含む。
可能な一実現形態では、前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、前記画像集合に属さない顔情報を含む人物画像に対して、前記人物画像の顔身分に基づいて、少なくとも１人の人物に対応する画像集合を決定することを含む。
可能な一実現形態では、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定した後に、前記複数の人物のうちの同行人に基づいて、前記同行人に対するマーケティング案を決定することと、前記同行人において異常人物を決定することとの少なくとも１つをさらに含む。
可能な一実現形態では、前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定することは、前記少なくとも１人の人物に対応する画像集合内の少なくとも１枚の人物画像について、前記人物画像における目標人物の、前記人物画像に対応するビデオ画像における第１位置情報を決定することと、前記第１位置情報、および前記人物画像に対応するビデオ画像を収集するための画像収集装置の位置情報である第２位置情報に基づいて、前記目標人物の空間座標系内における空間位置座標を決定することと、前記空間位置座標および前記人物画像に対応するビデオ画像が収集された時刻に基づいて、前記目標人物の時空間座標系内における時空間位置座標を取得することと、前記複数の人物の時空間位置座標に基づいて、前記時空間座標系において前記少なくとも１人の人物の軌跡情報を取得することとを含む。
可能な一実現形態では、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、前記複数の人物の軌跡情報をクラスタリングして、少なくとも１組のクラスタリング集合を取得することと、同一のクラスタリング集合に属する複数組の軌跡情報のそれぞれに対応する人物を１組の同行人として決定することとを含む。
可能な一実現形態では、前記少なくとも１人の人物の軌跡情報は、前記時空間座標系における点群を含み、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することと、前記類似度と第１類似度閾値との間の大小関係に基づいて、複数組の人物対を決定することであって、各組の人物対は２人の人物を含み、前記各組の人物対の前記類似度は前記第１類似度閾値よりも値が大きいことと、前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することとを含む。
可能な一実現形態では、前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することは、前記複数組の人物対のうちの第１人物対に基づいて同行人集合を作成することと、前記複数組の人物対のうち、前記同行人集合に含まれる人物対を除く少なくとも１つの第２人物対から、前記同行人集合内の少なくとも１人の人物を含む関連人物対を決定することと、前記関連人物対を前記同行人集合に追加することと、前記同行人集合内の人物を１組の同行人として決定することとを含む。
可能な一実現形態では、前記関連人物対を前記同行人の集合に追加することは、前記関連人物対内の第１人物が含まれる人物対の数量を決定することと、前記第１人物が含まれる人物対の数量が人物対数量閾値よりも小さい場合に、前記関連人物対を前記同行人集合に追加することとを含む。
可能な一実現形態では、前記複数組の人物対に基づいて、少なくとも１組の同行人を決定した後に、前記１組の同行人に含まれる人物の数量が第１数量閾値よりも大きい場合に、前記１組の同行人に含まれる人物の数量が前記第１数量閾値よりも小さいように、前記複数組の人物対のうち前記類似度が前記第１類似度閾値よりも大きい第２類似度閾値よりも大きい値である少なくとも１組の人物対を１組の同行人として決定することをさらに含む。
可能な一実現形態では、前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することは、前記２人毎の人物のうちの第１人物に対応する前記時空間座標系における少なくとも１つの第１時空間位置座標と、前記２人毎の人物のうちの第２人物に対応する前記時空間座標系における少なくとも１つの第２時空間位置座標との間の空間距離を決定することと、距離閾値以下の前記空間距離に対応する第１時空間位置座標の第１数量、および前記距離閾値以下の前記空間距離に対応する第２時空間位置座標の第２数量を決定することと、前記第１時空間位置座標の総数に対する前記第１数量の第１比値、および前記第２時空間位置座標の総数に対する前記第２数量の第２比値を決定することと、前記第１比値と前記第２比値のうちの最大値を前記２人の人物の類似度として決定することとを含む。
可能な一実現形態では、前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、前記ビデオ画像に対して人物検出を行い、検出情報を含む人物画像を取得することであって、前記人物検出は顔検出および人体検出のうちの少なくとも１つを含み、前記人物検出が顔検出を含む場合、前記検出情報は顔情報を含み、前記人物検出が人体検出を含む場合、前記検出情報は人体情報を含むことと、前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとを含む。
可能な一実現形態では、前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、顔情報を含む前記人物画像に対してクラスタリング処理を行い、顔クラスタリング結果を得ることであって、前記顔クラスタリング結果は、顔情報を含む前記人物画像の顔身分を少なくとも１つ含むことと、人体情報を含む前記人物画像に対してクラスタリング処理を行い、人体クラスタリング結果を得ることであって、前記人体クラスタリング結果は、人体情報を含む前記人物画像の人体身分を少なくとも１つ含むことと、前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとを含む。
可能な一実現形態では、前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することと、前記対応関係のうちの第１対応関係に基づいて、前記人物画像から前記第１対応関係における顔情報および／または人体情報を含む前記人物画像を取得して、１人の人物に対応する画像集合を形成することとを含む。
可能な一実現形態では、顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することは、顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、顔情報と人体情報を含む前記人物画像を人体身分に基づいて組分けし、少なくとも１つの人体画像組を取得することであって、同一の人体画像組内の人物画像は同一の人体身分を有することと、前記人体画像組のうちの第１人体画像組に対して、前記第１人体画像組内の少なくとも１つの人物画像のそれぞれに対応する顔身分を決定し、前記第１人体画像組内の少なくとも１つの顔身分ごとに対応する人物画像の数量に基づいて、前記第１人体画像組内の人物画像の顔身分と人体身分との対応関係を決定することとを含む。
可能な一実現形態では、顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することは、顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、顔情報と人体情報を含む前記人物画像を顔身分に基づいて組分けし、少なくとも１つの顔画像組を取得することであって、同一の顔画像組内の人物画像は同一の顔身分を有することと、前記顔画像組のうちの第１顔画像組に対して、前記第１顔画像組内の少なくとも１つの人物画像のそれぞれに対応する人体身分を決定し、前記第１顔画像組内の少なくとも１つの人体身分ごとに対応する人物画像の数量に基づいて、前記第１顔画像組内の人物画像の顔身分と人体身分との対応関係を決定することとを含む。
可能な一実現形態では、前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、前記画像集合に属さない顔情報を含む人物画像に対して、前記人物画像の顔身分に基づいて、少なくとも１人の人物に対応する画像集合を決定することを含む。
可能な一実現形態では、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定した後に、前記複数の人物のうちの同行人に基づいて、前記同行人に対するマーケティング案を決定することと、前記同行人において異常人物を決定することとの少なくとも１つをさらに含む。
【0005】
本開示の一方面によれば、同行人を検出する装置を提供する。当該装置は、予め設定された時間帯で異なる領域に配置された複数の画像収集装置のそれぞれで収集されたビデオ画像を取得するための取得モジュールと、前記取得モジュールにより取得された前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定するための第１決定モジュールと、前記複数の画像収集装置の位置情報、前記第２決定モジュールにより取得された少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定するための第２決定モジュールと、前記第２決定モジュールにより取得された前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定するための第３決定モジュールとを含む。
可能な一実現形態では、前記第２決定モジュールは、さらに、前記少なくとも１人の人物に対応する画像集合内の少なくとも１枚の人物画像について、前記人物画像における目標人物の、前記人物画像に対応するビデオ画像における第１位置情報を決定することと、前記第１位置情報、および前記人物画像に対応するビデオ画像を収集するための画像収集装置の位置情報である第２位置情報に基づいて、前記目標人物の空間座標系内における空間位置座標を決定することと、前記空間位置座標および前記人物画像に対応するビデオ画像が収集された時刻に基づいて、前記目標人物の時空間座標系内における時空間位置座標を取得することと、前記複数の人物の時空間位置座標に基づいて、前記時空間座標系において前記少なくとも１人の人物の軌跡情報を取得することとに用いられる。
可能な一実現形態では、前記第３決定モジュールは、さらに、前記複数の人物の軌跡情報をクラスタリングして、少なくとも１組のクラスタリング集合を取得することと、同一のクラスタリング集合に属する複数組の軌跡情報のそれぞれに対応する人物を１組の同行人として決定することとに用いられる。
可能な一実現形態では、前記少なくとも１人の人物の軌跡情報は、前記時空間座標系における点群を含み、前記第２決定モジュールは、さらに、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することと、前記類似度と第１類似度閾値との間の大小関係に基づいて、複数組の人物対を決定することであって、各組の人物対は２人の人物を含み、前記各組の人物対の前記類似度は前記第１類似度閾値よりも値が大きいことと、前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することとを含むことに用いられる。
可能な一実現形態では、前記第２決定モジュールは、さらに、前記複数組の人物対のうちの第１人物対に基づいて同行人集合を作成することと、前記複数組の人物対のうち、前記同行人集合に含まれる人物対を除く少なくとも１つの第２人物対から、前記同行人集合内の少なくとも１人の人物を含む関連人物対を決定することと、前記関連人物対を前記同行人集合に追加することと、前記同行人集合内の人物を１組の同行人として決定することとに用いられる。
可能な一実現形態では、前記第２決定モジュールは、さらに、前記関連人物対内の第１人物が含まれる人物対の数量を決定することと、前記第１人物が含まれる人物対の数量が人物対数量閾値よりも小さい場合に、前記関連人物対を前記同行人集合に追加することとに用いられる。
可能な一実現形態では、前記１組の同行人に含まれる人物の数量が第１数量閾値よりも大きい場合に、前記１組の同行人に含まれる人物の数量が前記第１数量閾値よりも小さいように、前記複数組の人物対のうち前記類似度が前記第１類似度閾値よりも大きい第２類似度閾値よりも大きい値である少なくとも１組の人物対を１組の同行人として決定するための第４決定モジュールをさらに含む。
可能な一実現形態では、前記第２決定モジュールは、さらに、前記２人毎の人物のうちの第１人物に対応する前記時空間座標系における少なくとも１つの第１時空間位置座標と、前記２人毎の人物のうちの第２人物に対応する前記時空間座標系における少なくとも１つの第２時空間位置座標との間の空間距離を決定することと、距離閾値以下の前記空間距離に対応する第１時空間位置座標の第１数量、および前記距離閾値以下の前記空間距離に対応する第２時空間位置座標の第２数量を決定することと、前記第１時空間位置座標の総数に対する前記第１数量の第１比値、および前記第２時空間位置座標の総数に対する前記第２数量の第２比値を決定することと、前記第１比値と前記第２比値のうちの最大値を前記２人の人物の類似度として決定することとに用いられる。
可能な一実現形態では、前記第１決定モジュールは、さらに、前記ビデオ画像に対して人物検出を行い、検出情報を含む人物画像を取得することであって、前記人物検出は顔検出および人体検出のうちの少なくとも１つを含み、前記人物検出が顔検出を含む場合、前記検出情報は顔情報を含み、前記人物検出が人体検出を含む場合、前記検出情報は人体情報を含むことと、前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとに用いられる。
可能な一実現形態では、前記第１決定モジュールは、さらに、顔情報を含む前記人物画像に対してクラスタリング処理を行い、顔クラスタリング結果を得ることであって、前記顔クラスタリング結果は、顔情報を含む前記人物画像の顔身分を少なくとも１つ含むことと、人体情報を含む前記人物画像に対してクラスタリング処理を行い、人体クラスタリング結果を得ることであって、前記人体クラスタリング結果は、人体情報を含む前記人物画像の人体身分を少なくとも１つ含むことと、前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとに用いられる。
可能な一実現形態では、前記第１決定モジュールは、さらに、顔情報と人体情報を含む前記人物画像のそれぞれの顔身分と人体身分との対応関係を決定することと、前記対応関係のうちの第１対応関係に基づいて、前記人物画像から前記第１対応関係における顔情報および／または人体情報を含む前記人物画像を取得して、１人の人物に対応する画像集合を形成することとに用いられる。
可能な一実現形態では、前記第１決定モジュールは、さらに、顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、顔情報と人体情報を含む前記人物画像を人体身分に基づいて組分けし、少なくとも１つの人体画像組を取得することであって、同一の人体画像組内の人物画像は同一の人体身分を有することと、前記人体画像組のうちの第１人体画像組に対して、前記第１人体画像組内の少なくとも１つの人物画像のそれぞれに対応する顔身分を決定し、前記第１人体画像組内の少なくとも１つの顔身分ごとに対応する人物画像の数量に基づいて、前記第１人体画像組内の人物画像の顔身分と人体身分との対応関係を決定することとに用いられる。
可能な一実現形態では、前記第１決定モジュールは、さらに、顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、顔情報と人体情報を含む前記人物画像を顔身分に基づいて組分けし、少なくとも１つの顔画像組を取得することであって、同一の顔画像組内の人物画像は同一の顔身分を有することと、前記顔画像組のうちの第１顔画像組に対して、前記第１顔画像組内の少なくとも１つの人物画像のそれぞれに対応する人体身分を決定し、前記第１顔画像組内の少なくとも１つの人体身分ごとに対応する人物画像の数量に基づいて、前記第１顔画像組内の人物画像の顔身分と人体身分との対応関係を決定することとに用いられる。
可能な一実現形態では、前記第１決定モジュールは、さらに、前記画像集合に属さない顔情報を含む人物画像に対して、前記人物画像の顔身分に基づいて、少なくとも１人の人物に対応する画像集合を決定することに用いられる。
可能な一実現形態では、前記複数の人物のうちの同行人に基づいて、前記同行人に対するマーケティング案を決定することと、前記同行人において異常人物を決定することとの少なくとも一つを行うための第５決定モジュールをさらに含む。
可能な一実現形態では、前記第２決定モジュールは、さらに、前記少なくとも１人の人物に対応する画像集合内の少なくとも１枚の人物画像について、前記人物画像における目標人物の、前記人物画像に対応するビデオ画像における第１位置情報を決定することと、前記第１位置情報、および前記人物画像に対応するビデオ画像を収集するための画像収集装置の位置情報である第２位置情報に基づいて、前記目標人物の空間座標系内における空間位置座標を決定することと、前記空間位置座標および前記人物画像に対応するビデオ画像が収集された時刻に基づいて、前記目標人物の時空間座標系内における時空間位置座標を取得することと、前記複数の人物の時空間位置座標に基づいて、前記時空間座標系において前記少なくとも１人の人物の軌跡情報を取得することとに用いられる。
可能な一実現形態では、前記第３決定モジュールは、さらに、前記複数の人物の軌跡情報をクラスタリングして、少なくとも１組のクラスタリング集合を取得することと、同一のクラスタリング集合に属する複数組の軌跡情報のそれぞれに対応する人物を１組の同行人として決定することとに用いられる。
可能な一実現形態では、前記少なくとも１人の人物の軌跡情報は、前記時空間座標系における点群を含み、前記第２決定モジュールは、さらに、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することと、前記類似度と第１類似度閾値との間の大小関係に基づいて、複数組の人物対を決定することであって、各組の人物対は２人の人物を含み、前記各組の人物対の前記類似度は前記第１類似度閾値よりも値が大きいことと、前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することとを含むことに用いられる。
可能な一実現形態では、前記第２決定モジュールは、さらに、前記複数組の人物対のうちの第１人物対に基づいて同行人集合を作成することと、前記複数組の人物対のうち、前記同行人集合に含まれる人物対を除く少なくとも１つの第２人物対から、前記同行人集合内の少なくとも１人の人物を含む関連人物対を決定することと、前記関連人物対を前記同行人集合に追加することと、前記同行人集合内の人物を１組の同行人として決定することとに用いられる。
可能な一実現形態では、前記第２決定モジュールは、さらに、前記関連人物対内の第１人物が含まれる人物対の数量を決定することと、前記第１人物が含まれる人物対の数量が人物対数量閾値よりも小さい場合に、前記関連人物対を前記同行人集合に追加することとに用いられる。
可能な一実現形態では、前記１組の同行人に含まれる人物の数量が第１数量閾値よりも大きい場合に、前記１組の同行人に含まれる人物の数量が前記第１数量閾値よりも小さいように、前記複数組の人物対のうち前記類似度が前記第１類似度閾値よりも大きい第２類似度閾値よりも大きい値である少なくとも１組の人物対を１組の同行人として決定するための第４決定モジュールをさらに含む。
可能な一実現形態では、前記第２決定モジュールは、さらに、前記２人毎の人物のうちの第１人物に対応する前記時空間座標系における少なくとも１つの第１時空間位置座標と、前記２人毎の人物のうちの第２人物に対応する前記時空間座標系における少なくとも１つの第２時空間位置座標との間の空間距離を決定することと、距離閾値以下の前記空間距離に対応する第１時空間位置座標の第１数量、および前記距離閾値以下の前記空間距離に対応する第２時空間位置座標の第２数量を決定することと、前記第１時空間位置座標の総数に対する前記第１数量の第１比値、および前記第２時空間位置座標の総数に対する前記第２数量の第２比値を決定することと、前記第１比値と前記第２比値のうちの最大値を前記２人の人物の類似度として決定することとに用いられる。
可能な一実現形態では、前記第１決定モジュールは、さらに、前記ビデオ画像に対して人物検出を行い、検出情報を含む人物画像を取得することであって、前記人物検出は顔検出および人体検出のうちの少なくとも１つを含み、前記人物検出が顔検出を含む場合、前記検出情報は顔情報を含み、前記人物検出が人体検出を含む場合、前記検出情報は人体情報を含むことと、前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとに用いられる。
可能な一実現形態では、前記第１決定モジュールは、さらに、顔情報を含む前記人物画像に対してクラスタリング処理を行い、顔クラスタリング結果を得ることであって、前記顔クラスタリング結果は、顔情報を含む前記人物画像の顔身分を少なくとも１つ含むことと、人体情報を含む前記人物画像に対してクラスタリング処理を行い、人体クラスタリング結果を得ることであって、前記人体クラスタリング結果は、人体情報を含む前記人物画像の人体身分を少なくとも１つ含むことと、前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとに用いられる。
可能な一実現形態では、前記第１決定モジュールは、さらに、顔情報と人体情報を含む前記人物画像のそれぞれの顔身分と人体身分との対応関係を決定することと、前記対応関係のうちの第１対応関係に基づいて、前記人物画像から前記第１対応関係における顔情報および／または人体情報を含む前記人物画像を取得して、１人の人物に対応する画像集合を形成することとに用いられる。
可能な一実現形態では、前記第１決定モジュールは、さらに、顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、顔情報と人体情報を含む前記人物画像を人体身分に基づいて組分けし、少なくとも１つの人体画像組を取得することであって、同一の人体画像組内の人物画像は同一の人体身分を有することと、前記人体画像組のうちの第１人体画像組に対して、前記第１人体画像組内の少なくとも１つの人物画像のそれぞれに対応する顔身分を決定し、前記第１人体画像組内の少なくとも１つの顔身分ごとに対応する人物画像の数量に基づいて、前記第１人体画像組内の人物画像の顔身分と人体身分との対応関係を決定することとに用いられる。
可能な一実現形態では、前記第１決定モジュールは、さらに、顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、顔情報と人体情報を含む前記人物画像を顔身分に基づいて組分けし、少なくとも１つの顔画像組を取得することであって、同一の顔画像組内の人物画像は同一の顔身分を有することと、前記顔画像組のうちの第１顔画像組に対して、前記第１顔画像組内の少なくとも１つの人物画像のそれぞれに対応する人体身分を決定し、前記第１顔画像組内の少なくとも１つの人体身分ごとに対応する人物画像の数量に基づいて、前記第１顔画像組内の人物画像の顔身分と人体身分との対応関係を決定することとに用いられる。
可能な一実現形態では、前記第１決定モジュールは、さらに、前記画像集合に属さない顔情報を含む人物画像に対して、前記人物画像の顔身分に基づいて、少なくとも１人の人物に対応する画像集合を決定することに用いられる。
可能な一実現形態では、前記複数の人物のうちの同行人に基づいて、前記同行人に対するマーケティング案を決定することと、前記同行人において異常人物を決定することとの少なくとも一つを行うための第５決定モジュールをさらに含む。
【0006】
本開示の一方面によれば、同行人を検出するシステムを提供する。当該システムは、異なる領域に配置された複数の画像収集装置および処理装置を含み、前記複数の画像収集装置は、ビデオ画像を収集して、前記処理装置に送信するために用いられ、前記処理装置は、前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定するために用いられ、前記処理装置は、さらに、前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定するために用いられ、前記処理装置は、さらに、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定するために用いられる。
可能な一実現形態では、前記処理装置が前記画像収集装置に統合される。
可能な一実現形態では、前記処理装置が前記画像収集装置に統合される。
【0007】
本開示の一方面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出して上記方法を実行するように構成される電子機器を提供する。
【0008】
本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラム命令は、プロセッサにより実行されると、上記方法を実現させるコンピュータ読取可能記憶媒体を提供する。
【0009】
本開示の一方面によれば、コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードは、電子機器において実行されると、前記電子機器のプロセッサに上記方法を実現するための命令を実行させるコンピュータプログラムを提供する。
【0010】
このようにして、予め設定された時間帯で異なる領域に配置された複数の画像収集装置で収集されたビデオ画像に対して人物検出を行い、人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定し、さらに、複数の画像収集装置の位置情報、少なくとも１人の人物に対応する画像集合、および人物画像の収集時刻に基づいて、少なくとも１人の人物の軌跡情報を決定し、複数の人物の軌跡情報に基づいて、複数の人物から同行人を決定することができる。本開示に提供される同行人を検出する方法および装置、システム、電子機器、並びに記憶媒体によれば、異なる領域に配置された複数の画像収集装置により、予め設定された時間帯で収集された少なくとも１人の人物に対応する画像の位置情報および収集された時間に基づいて、少なくとも１人の人物の軌跡情報を作成し、さらに、少なくとも１人の人物の軌跡情報に基づいて、複数の人物から同行人を決定することができる。軌跡情報は少なくとも１人の人物の動態をよりよく反映できるので、軌跡情報に基づいて同行人を決定することは、同行人の検出精度を向上させることができる。
【0011】
以上の一般説明および以下の詳細説明は、本開示を限定するのではなく、単なる例示的および解釈的なものであることを理解されたい。以下、図面を参照しながら例示的な実施例について詳細に説明することにより、本開示の他の特徴および方面は明瞭になる。
【図面の簡単な説明】
【0012】
明細書の一部として組み込まれた図面は、本開示に合致する実施例を示し、さらに明細書と共に本開示の技術的手段を説明するために用いられる。
【0013】
【発明を実施するための形態】
【0014】
以下に図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を作る必要がない。
【0015】
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましいまたは優れるものであると理解すべきではない。
【0016】
本明細書において、用語の「および／または」は、関連対象の関連関係を記述するためのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａおよび／またはＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を示すことができる。また、本明細書において、用語の「少なくとも１つ」は複数のうちのいずれか１つまたは複数のうちの少なくとも２つの任意の組合を示し、例えば、Ａ、ＢおよびＣのうちの少なくとも１つを含むということは、Ａ、ＢおよびＣから構成される集合から選択されたいずれか１つまたは複数の要素を含むことを示すことができる。
【0017】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示が同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者に既知の方法、手段、要素および回路について、詳細な説明を行わない。
【0018】
図１は、本開示の実施例による同行人を検出する方法のフローチャートを示し、このオブジェクト関連付け方法は、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算装置、車載装置、ウェアラブル装置などの端末装置、または、サーバなどの電子機器により実行されてもよく、プロセッサによりメモリに記憶されているコンピュータ読取可能命令を呼び出すことで実現されてもよく、または、サーバによって実行されてもよい。
【0019】
図１に示すように、前記オブジェクト関連付け方法は、ステップＳ１１と、ステップＳ１２と、ステップＳ１３と、ステップＳ１４とを含む。
【0020】
ステップＳ１１では、予め設定された時間帯で異なる領域に配置された複数の画像収集装置のそれぞれで収集されたビデオ画像を取得する。
【0021】
例示的に、複数の異なる領域に画像収集装置を配置し、複数の画像収集装置により各領域のビデオ画像を収集することができる。その後、収集されたビデオ画像から、複数の画像収集装置により予め設定された時間帯で収集されたビデオ画像を取得することができる。ここで、予め設定された時間帯は、予め設定された１つまたは複数の時間長であり、各時間長の取り得る値の大きさは、要求に応じて設定されてもよく、本開示では限定されない。例えば、予め設定された時間帯に１つの時間長が含まれる場合、その時間長を５分間とすれば、５分間に複数の画像収集装置により収集された複数枚のビデオ画像を取得することができる。例えば、画像収集装置のそれぞれにより５分間に収集されたビデオストリームに対してサンプリングを行う。例えば、予め設定された時間間隔（予め設定された時間間隔、例えば、１ｓ）をおいて解析やフレームの抽出を行い、複数枚のビデオ画像を取得する。
【0022】
説明したいのは、上記複数の異なる領域に配置された画像収集装置のうち、２つ毎の画像収集装置により収集可能な領域は、一部が異なってもよく、全部が異なってもよい。ここで、２つの画像収集装置により収集可能な領域の一部が異なるとは、２つの画像収集装置が同じ時刻で収集したビデオ画像に、部分的に重なる領域が存在することを意味する。
【0023】
ステップＳ１２では、前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定する。
【0024】
例示的に、人物検出は、ビデオ画像における人物の検出を実現するために用いられ、本願の実施例では、顔情報および／または人体情報を有するビデオ画像を検出し、顔情報および／または人体情報に基づいてビデオ画像から顔情報を有するか、人体情報を有するか、または顔情報および人体情報の両方を有する人物画像を取得するために用いられることができる。その後、複数の人物のうちの少なくとも１人の人物に対応する画像集合を人物画像により決定し、ここで、各人物に対応する画像集合には、少なくとも１枚の人物画像が含まれてもよい。
【0025】
ステップＳ１３では、前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定する。
【0026】
例示的に、画像収集装置の位置情報を、収集されたビデオ画像の第２位置情報とし、該ビデオ画像の第２位置情報を、対応する人物画像の第２位置情報とし、該ビデオ画像の収集時刻を、対応する人物画像の収集時刻としてもよい。各人物について、該人物に対応する画像集合内の各人物画像の第２位置情報、該人物の各人物画像における第１位置情報、および人物画像の収集時刻に基づいて、該人物の軌跡情報を決定することができる。
【0027】
例示的に、各人物に対応する画像集合について、該画像集合内の人物画像の第２位置情報、および収集時刻に基づいて、該画像集合に対応する人物の時空間位置座標を決定することができる。ここで、時空間位置座標とは、３次元の時空間座標系における点座標である。本願の実施例では、３次元の時空間座標系における各点が、人物の位置する地理的位置、および該人物のビデオ画像の収集時刻を反映することができる。例えば、ｘ軸とｙ軸で、人物の位置する地理的位置、すなわち人物の位置情報を表すことができ、ｚ軸で、該人物のビデオ画像の収集時刻を表すことができる。一人の人物を例とすると、この一人の人物の画像集合に含まれる複数枚の人物画像に対応する時空間位置座標に基づいて、該人物の軌跡情報を作成することができる。複数枚の人物画像がビデオシーケンスをサンプリングして取得されることを考慮すると、この一人の人物の軌跡情報は、時空間位置座標からなる点群として表すことができ、点群の各点は、時空間座標系における離散的な点である。
【0028】
ステップＳ１４では、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定する。
【0029】
例示的に、複数の人物のうちの少なくとも１人の人物の軌跡情報を決定した後、軌跡情報に基づいて複数の人物から同行人を決定することができる。例えば、軌跡情報の類似する少なくとも２人の人物を同行人として決定することができ、または、少なくとも１人の人物の軌跡情報をクラスタリングし、クラスタリングして取得した各組毎の人物がそれぞれ１組の同行人に対応することを決定することができる。
【0030】
例えば、顧客Ａと顧客Ｂは、午後３時に同時に４Ｓ店に来店し、応接室に１５分間とまった後、同時にＸＸＦ６モデル車に出発し、顧客ＡがＸＸＦ６モデル車のところに１０分間とまった後、ＸＸＦ７モデル車に向かい、顧客ＢがＸＸＦ６モデル車のところに１３分間とまった後、ＸＸＦ７モデル車に向かい、両方が同時に４時に４Ｓ店から離店する。
【0031】
応接室の場所、ＸＸＦ６の場所、およびＸＸＦ７の場所にそれぞれ配置された画像収集装置により収集されたビデオ画像に対して人物検出を行った後、顧客Ａと顧客Ｂの複数枚の人物画像をそれぞれ得る。複数枚の人物画像に基づいて、顧客Ａの人物画像からなる画像集合１、および顧客Ｂの人物画像からなる画像集合２をそれぞれ得ることができる。顧客Ａの人物画像からなる画像集合１を例とすると、画像集合１内の少なくとも１枚の人物画像に対応するビデオ画像の収集時刻、該ビデオ画像を収集するための画像収集装置の位置（すなわち第２位置情報）、および少なくとも１枚の人物画像における顧客Ａの第１位置情報に基づいて、顧客Ａの軌跡情報１を得ることができる。同様に、顧客Ｂの人物画像からなる画像集合２に基づいて、顧客Ｂの軌跡情報２を得ることができる。軌跡情報１と軌跡情報２に基づいて、顧客Ａと顧客Ｂは同じ時間に応接室の場所に到着し、その後に２つの同じ領域に現れ、且つ、この２つの同じ領域に現れる／離れる時間が同じまたは近く、最後に訪れた領域から同じ時間に離れるので、顧客Ａと顧客Ｂが同行人であると決定することができる。
【0032】
予め設定された時間帯で異なる領域に配置された複数の画像収集装置で収集された少なくとも１人の人物に対応する画像の位置情報、および収集時刻に基づいて、少なくとも１人の人物の軌跡情報を作成し、さらに、少なくとも１人の人物の軌跡情報に基づいて、複数の人物から同行人を決定することができる。軌跡情報は、各人物の動態をよりよく反映できるので、軌跡情報に基づいて同行人を決定することは、同行人の検出精度を向上させることができる。
【0033】
可能な一実現形態では、前記人物画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、
前記ビデオ画像に対して人物検出を行い、検出情報を含む人物画像を取得することであって、前記人物検出は顔検出および人体検出のうちの少なくとも１つを含み、前記人物検出が顔検出を含む場合、前記検出情報は顔情報を含み、前記人物検出が人体検出を含む場合、前記検出情報は人体情報を含むことと、
前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとを含む。
前記ビデオ画像に対して人物検出を行い、検出情報を含む人物画像を取得することであって、前記人物検出は顔検出および人体検出のうちの少なくとも１つを含み、前記人物検出が顔検出を含む場合、前記検出情報は顔情報を含み、前記人物検出が人体検出を含む場合、前記検出情報は人体情報を含むことと、
前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとを含む。
【0034】
例示的に、ビデオ画像に対して顔検出を行い、顔情報を検出した後、前記ビデオ画像における顔情報を含むブロック領域を矩形枠などの形式で抽出して人物画像とし、すなわち、該ビデオ画像に顔情報を含む。および／または、ビデオ画像に対して人体検出を行い、人体情報を検出した後、前記ビデオ画像における人体情報を含む領域を矩形枠などのブロック形式で抽出して人物画像としてもよい。ここで、人体情報に顔情報が含まれてもよく、つまり、人体情報の領域を抽出することで得られる人物画像に、人体情報が含まれてもよく、または、顔情報および人体情報が共に含まれてもよいことを意味する。
【0035】
説明したいのは、人物画像を取得する過程は、上記に例示したものを含むが、それに限定されない。例えば、ビデオ画像から人物画像を抽出する過程において、顔情報および／または人体情報を含む領域を他の方式で抽出するなどようにしてもよい。
【0036】
人物画像に含まれる顔情報および／または人体情報に基づいて、人物画像を所属人物に応じて集合分けして、複数の人物のうちの少なくとも１人の人物の画像集合を得ることができる。すなわち、各人物毎に対応する人物画像を１つの画像集合として扱う。このようにして、顔情報および／または人体情報を含む人物画像を得た後、人物画像に基づいて各人物にそれぞれ対応する画像集合を作成することができる。各人物毎に対応する画像集合について、この人物の軌跡情報を決定することができ、すなわち、画像集合内の人物画像に基づいて人物の軌跡情報をフィッティングすることができ、それにより複数の人物のそれぞれに対応する画像集合に基づいて、複数の人物のそれぞれの軌跡情報をそれぞれフィッティングすることができる。
【0037】
可能な一実現形態では、前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定することは、
前記少なくとも１人の人物に対応する画像集合内の少なくとも１枚の人物画像について、前記人物画像における目標人物の、前記人物画像に対応するビデオ画像における第１位置情報を決定することと、
前記第１位置情報、および前記人物画像に対応するビデオ画像を収集するための画像収集装置の位置情報である第２位置情報に基づいて、前記目標人物の空間座標系内における空間位置座標を決定することと、
前記空間位置座標および前記人物画像に対応するビデオ画像が収集された時刻に基づいて、前記目標人物の時空間座標系内における時空間位置座標を取得することと、
前記複数の人物の時空間位置座標に基づいて、前記時空間座標系において前記少なくとも１人の人物の軌跡情報を取得することとを含んでもよい。
前記少なくとも１人の人物に対応する画像集合内の少なくとも１枚の人物画像について、前記人物画像における目標人物の、前記人物画像に対応するビデオ画像における第１位置情報を決定することと、
前記第１位置情報、および前記人物画像に対応するビデオ画像を収集するための画像収集装置の位置情報である第２位置情報に基づいて、前記目標人物の空間座標系内における空間位置座標を決定することと、
前記空間位置座標および前記人物画像に対応するビデオ画像が収集された時刻に基づいて、前記目標人物の時空間座標系内における時空間位置座標を取得することと、
前記複数の人物の時空間位置座標に基づいて、前記時空間座標系において前記少なくとも１人の人物の軌跡情報を取得することとを含んでもよい。
【0038】
例示的に、各画像集合内の少なくとも１枚の人物画像について、該画像集合に対応する人物の、この人物画像における第１位置情報を識別し、さらに該人物の人物画像における第１位置情報、および人物画像に対応するビデオ画像を収集する画像収集装置の位置する第２位置情報に基づいて、空間座標系において該人物に対応する空間位置座標を決定することができる。ここで、空間座標系における点は、実際に人物の位置する地理的位置情報を表すために用いられてもよく、例えば（ｘ，ｙ）で表してもよい。人物画像に対応するビデオ画像の収集時刻ｔと合わせて、時空間座標系において該人物を表す点を得ることができ、例えば、時空間位置座標（ｘ，ｙ，ｔ）で表してもよい。同様に、同じ画像集合について、該画像集合内の少なくとも１枚の人物画像の時空間位置座標を得て、該同じ画像集合に対応する人物の軌跡情報を構成することができる。該軌跡情報は、複数の時空間位置座標からなる点群として表すことができる。本願の実施例では、人物画像はサンプリングした後のビデオ画像から得られるため、点群は離散的な点からなる集合とすることができる。類似する実現方式により、各画像集合に対応する点群、すなわち、各画像集合に対応する人物の軌跡情報を得ることができる。
【0039】
本願の実施例では、各人物の軌跡情報は、人物の位置する位置と時間との関係を反映することができる一方、同行人は、移動傾向が近いかまたは一致する２つ以上の人物を指すので、軌跡情報により複数の人物から少なくとも１組の同行人をより正確に決定することができ、同行人の検出精度を向上させることができる。
【0040】
可能な一実現形態では、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、
前記複数の人物の軌跡情報をクラスタリングして、少なくとも１組のクラスタリング集合を取得することと、
同一のクラスタリング集合に属する複数組の軌跡情報のそれぞれに対応する人物を１組の同行人として決定することとを含んでもよい。
前記複数の人物の軌跡情報をクラスタリングして、少なくとも１組のクラスタリング集合を取得することと、
同一のクラスタリング集合に属する複数組の軌跡情報のそれぞれに対応する人物を１組の同行人として決定することとを含んでもよい。
【0041】
例示的に、得られた複数の人物の軌跡情報をクラスタリングして、クラスタリング結果を得ることができる。ここで、クラスタリング結果とは、複数の人物の軌跡情報をクラスタリングにより少なくとも１組のクラスタリング集合に分けるということを指す。各クラスタリング集合には、少なくとも１人の人物の軌跡情報が含まれる。本願の実施例の一実現形態では、同一のクラスタリング集合に属する軌跡情報に対応する人物を１組の同行人として決定することができる。本開示は、軌跡情報をクラスタリングする方式を限定しない。
【0042】
このようにして、軌跡情報は、移動過程において人物の位置する少なくとも１つの位置と時間との関係を示すことができるため、軌跡情報に基づいて複数の人物をクラスタリングすることにより、移動過程がより近似する１組の人物を得ることができる。このような１組の人物は本願の実施例で定義する１組の同行人であるため、同行人の検出精度を向上させることができる。
【0043】
可能な一実現形態では、上記少なくとも１人の人物の軌跡情報は、前記時空間座標系における点群を含み、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、
前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することと、
前記類似度と第１類似度閾値との間の大小関係に基づいて、複数組の人物対を決定することであって、各組の人物対は２人の人物を含み、前記各組の人物対の前記類似度は前記第１類似度閾値よりも値が大きいことと、
前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することとを含んでもよい。
前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することと、
前記類似度と第１類似度閾値との間の大小関係に基づいて、複数組の人物対を決定することであって、各組の人物対は２人の人物を含み、前記各組の人物対の前記類似度は前記第１類似度閾値よりも値が大きいことと、
前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することとを含んでもよい。
【0044】
例示的に、２人毎の人物に対応する時空間座標系における点群の時空間位置座標に基づいて、この２人の人物に対応する時空間座標系における点群の類似度を決定することができる。この２人の人物に対応する時空間座標系における点群の類似度が第１類似度閾値以上である場合に、この２人の人物を１組の人物対として決定することができる。ここで、類似度閾値は、２人の人物が同行人であるか否かを判断するために予め設定された数値である。第１類似度閾値は、２人の人物が同行人であるか否かを初めて判断するために予め設定された数値であってもよい。以下の実現形態における第２類似度閾値は、２人の人物が同行人であるか否かを再び判断するために予め設定された値であってもよい。ここで、第２類似度閾値は、第１類似度閾値よりも大きい値をとる。第１類似度閾値および第２類似度閾値の値は、要求に応じて決定されてもよく、本開示では、第１類似度閾値および第２類似度閾値の値について限定しない。複数の人物について、２人毎に、人物対を構成できるか否かを上記の方式で決定して、複数の人物から複数組の人物対を決定し、複数組の人物対に含まれる人物の重なり具合に基づいて、複数組の人物対から少なくとも１組の同行人を決定することができる。
【0045】
例えば、複数の人物Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆは、複数組の人物対を構成し、複数組の人物対をそれぞれＡＢ、ＡＣ、ＣＤ、ＥＦとすると、ＡＢ、ＡＣ、ＣＤのうち少なくとも２組の人物対には繰り返し出現する人物が存在し、例えば、ＡＢとＡＣには共にＡが存在するので、人物Ａ、Ｂ、Ｃ、Ｄは１組の同行人を構成し、人物Ｅ、Ｆは１組の同行人を構成する。
【0046】
このようにして、２人の人物の空間座標系における点群の類似度を決定することで、この２人の人物が同行人を構成する、すなわち、人物対を構成することができるか否かを決定し、順次類推し、複数の人物から複数組の人物対を決定し、さらに、複数組の人物対の間に重なりが存在するか否か、すなわち、同じ１人の人物が存在するか否かに基づいて、複数の人物対から少なくとも１組の同行人を決定することができる。
【0047】
可能な一実現形態では、前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することは、
前記２人毎の人物のうちの第１人物に対応する前記時空間座標系における少なくとも１つの第１時空間位置座標と、前記２人毎の人物のうちの第２人物に対応する前記時空間座標系における少なくとも１つの第２時空間位置座標との間の空間距離を決定することと、
距離閾値以下の前記空間距離に対応する第１時空間位置座標の第１数量、および前記距離閾値以下の前記空間距離に対応する第２時空間位置座標の第２数量を決定することと、
前記第１時空間位置座標の総数に対する前記第１数量の第１比値、および前記第２時空間位置座標の総数に対する前記第２数量の第２比値を決定することと、
前記第１比値と前記第２比値のうちの最大値を前記２人の人物の類似度として決定することとを含んでもよい。
前記２人毎の人物のうちの第１人物に対応する前記時空間座標系における少なくとも１つの第１時空間位置座標と、前記２人毎の人物のうちの第２人物に対応する前記時空間座標系における少なくとも１つの第２時空間位置座標との間の空間距離を決定することと、
距離閾値以下の前記空間距離に対応する第１時空間位置座標の第１数量、および前記距離閾値以下の前記空間距離に対応する第２時空間位置座標の第２数量を決定することと、
前記第１時空間位置座標の総数に対する前記第１数量の第１比値、および前記第２時空間位置座標の総数に対する前記第２数量の第２比値を決定することと、
前記第１比値と前記第２比値のうちの最大値を前記２人の人物の類似度として決定することとを含んでもよい。
【0048】
例示的に、ランダムにまたは一定の規則に従って、複数の人物から２人の人物、すなわち、第１人物および第２人物を決定することができる。その後、第１人物に対応する時空間座標系における点群の各時空間位置座標を第１時空間位置座標として決定し、第２人物に対応する時空間座標系における点群の各時空間位置座標を第２時空間位置座標として決定することができる。各第１時空間位置座標と各第２時空間位置座標との空間距離を決定する。すなわち、ある第１時空間位置を基準として、各第２時空間位置座標との間の空間距離をそれぞれ算出し、各第１時空間位置について上記操作を実行することで、各第１時空間位置座標について算出された、各第２時空間位置座標との間の空間距離を得ることができる。第１人物の時空間座標系における点群にａ個の第１時空間位置座標があり、第２人物の時空間座標系における点群にｂ個の第２時空間位置座標があると仮定すると、ａ×ｂ個の時空間距離を合計で決定することができる。本開示は、空間距離の算出方式について特に限定しない。
【0049】
第１人物の各第１時空間位置座標は、それぞれｂ個の時空間距離に対応し、１つの第１時空間位置座標を例に、該第１時空間位置座標に基づいて決定された時空間距離に距離閾値以下（この距離閾値は、予め設定された数値であってもよく、必要に応じて値を取ることができ、本開示は、距離閾値の値について限定しない）のものが１つある場合に、該第１時空間位置座標に対応する時空間距離が距離閾値以下であることを決定することができる。上記方式で、第１人物のａ個の第１時空間位置座標に対応する時空間距離のうち、距離閾値以下の時空間距離に対応する第１時空間位置座標の第１数量ｃを決定する。ここで、ｃは、第１人物の第１時空間位置座標の総数以下である。同様に、第２人物のｂ個の第２時空間位置座標に対応する時空間距離のうち、距離閾値（予め設定された数値）以下の時空間距離に対応する第２時空間位置座標の第２数量ｄを決定する。ここで、ｄは、第２人物の第１時空間位置座標の総数以下である。以上のことから、第１人物に対応する第１比値がｃ／ａであり、第２人物に対応する第２比値がｄ／ｂであることを決定し、その後、第１比値と第２比値のうちの最大値を第１人物と第２人物との類似度として決定することができ、すなわち、ｃ／ａがｄ／ｂよりも大きい場合に、ｃ／ａを第１人物と第２人物との類似度と決定し、ｃ／ａがｄ／ｂよりも小さい場合に、ｄ／ｂを第１人物と第２人物との類似度と決定することができる。説明したいのは、第１比値と第２比値が同じである場合、第１比値および／または第２比値を、第１人物と第２人物との類似度として決定することができる。
【0050】
このようにして、複数の人物について、２人毎に上記方法で類似度を決定することで、２人毎の人物の軌跡情報の類似度を得ることができる。
【0051】
可能な一実現形態では、前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することは、
前記複数組の人物対のうちの第１人物対に基づいて同行人集合を作成することと、
前記複数組の人物対のうち、前記同行人集合に含まれる人物対を除く少なくとも１つの第２人物対から、前記同行人集合内の少なくとも１人の人物を含む関連人物対を決定することと、
前記関連人物対を前記同行人集合に追加することと、
前記同行人集合内の人物を１組の同行人として決定することとを含む。
前記複数組の人物対のうちの第１人物対に基づいて同行人集合を作成することと、
前記複数組の人物対のうち、前記同行人集合に含まれる人物対を除く少なくとも１つの第２人物対から、前記同行人集合内の少なくとも１人の人物を含む関連人物対を決定することと、
前記関連人物対を前記同行人集合に追加することと、
前記同行人集合内の人物を１組の同行人として決定することとを含む。
【0052】
例示的に、複数組の人物対から１組の人物対を第１人物対としてランダムに選択し、第１人物対に含まれる２人の人物を同行人集合内の２人の人物として、１つの同行人集合を作成することができ、または、一定の規則に従って、例えば、複数組の人物対のうちの類似度の高い１組の人物対を第１人物対として選択して、１つの同行人集合を作成することができる。その後、同行人集合に完全に属さない人物対を第２人物対として決定し、ここで、第２人物対は同行人集合内の人物を含むか、または同行人集合内の人物を含まない。第２人物対のうち同行人集合内のいずれか１人の人物を含む人物対を関連人物対としてこの同行人集合に追加することを、全ての第２人物対に対する選別が完了するまでに行う。このようにして、第１人物対に基づいて、１組の同行人の決定が行われる。説明したいのは、第２人物対のうち上記の１組の同行人に帰属されない人物対について、類似する実現形態で、少なくとも１組の同行人を再作成することができる。
【0053】
例えば、上記の例示を例として、複数組の人物対ＡＢ、ＡＣ、ＣＤ、ＥＦのうちの人物対ＡＢを第１人物対として同行人集合を作成し、この場合、同行人集合には人物Ａと人物Ｂが含まれる。残りの複数組の人物対を第２人物対（すなわちＡＣ、ＣＤとＥＦ）として決定する。第２人物対内の人物対ＡＣが人物Ａを含むので、この人物対ＡＣを関連人物対として同行人集合に追加して、同行人集合に人物Ａ、人物Ｂ、および人物Ｃが含まれることになる。残りの第２人物対内の人物対ＣＤが人物Ｃを含むので、この人物対ＣＤを関連人物対として同行人集合に追加して、同行人集合に人物Ａ、人物Ｂ、人物Ｃおよび人物Ｄが含まれることになる。これまで、残りの第２人物対ＥＦはこの同行人集合内のいずれか１人の人物を含まないので、同行人集合内の人物Ａ、人物Ｂ、人物Ｃおよび人物Ｄを１組の同行人として決定する。同様に、人物対ＥＦを他の組の同行人として決定することができる。このようにして、複数組の人物対から２組の同行人を得ることができる。すなわち、複数組の人物対に含まれる人物の重なり関係に基づいて、複数の人物対から少なくとも１組の同行人を得ることができる。
【0054】
店舗マーケティングのシーンでは、同じスタッフが複数組の人物に付き添う場合に、スタッフと人物対を形成する人物が多数いるか、または、特定の場所では、泥棒などの不審者が各人物に尾行して盗難するなどの可能性があり、泥棒などの不審者も複数組の人物対に分類される。ここで、スタッフとは、販売者など、店舗マーケティングのシーンで各人物にサービスを提供する者をいう。同行人の組分けの目的を考慮すると、１組の人物に適したマーケティング案を標的に決定することにあるため、同行人について、販売者など購入意欲を持たない人物は、通常、考慮されていない。上記の誤識別に起因する、１組の同行人において同行人に属さない人物が存在するという状況に対処するために、可能な一実現形態では、前記関連人物対を前記同行人の集合に追加することは、
前記関連人物対内の第１人物が含まれる人物対の数量を決定することと、
前記第１人物が含まれる人物対の数量が人物対数量閾値よりも小さい場合に、前記関連人物対を前記同行人集合に追加することとを含んでもよい。
前記関連人物対内の第１人物が含まれる人物対の数量を決定することと、
前記第１人物が含まれる人物対の数量が人物対数量閾値よりも小さい場合に、前記関連人物対を前記同行人集合に追加することとを含んでもよい。
【0055】
例示的に、関連人物対のいずれか１人の人物を第１人物として決定することができ、この第１人物が含まれる人物対の数量を決定することができ、例えば、関連人物対ＡＣにおける人物Ａは、人物Ｂ、人物Ｃとが、人物対ＡＢ、人物対ＡＣをそれぞれ構成することから、人物Ａが含まれる人物対の数量が２である。関連人物対のいずれか１人の人物が含まれる人物対の数量が人物対数量閾値（予め設定された数であり、必要に応じて人物対数量閾値に対して値をとってもよく、本開示は人物対数量閾値の値について限定しない）よりも小さい場合に、この関連人物対を同行人集合に追加して、同行人集合内の人物と１組の同行人を構成できると決定してもよい。関連人物対のいずれか１人の人物が含まれる人物対の数量が人物対数量閾値以上の場合に、この人物がスタッフであると決定することができ、この人物対を同行人集合に追加しないことで、このスタッフに起因する他の組の同行人をこの組の同行人と併合する状況を回避することができる。
【0056】
本願の実施例に提供される技術的解決手段を採用することで、人物が多く含まれる１組の同行人が得られる可能性が高いことを考慮すると、１組の同行人の決定精度を向上させるために、１組の同行人に含まれる人物の数量が多い場合、この１組の同行人に含まれる人物を選別することで、この１組の同行人から、同行人である可能性が低い１人または複数の人物を削除することができる。可能な一実現形態では、前記複数組の人物対に基づいて、少なくとも１組の同行人を決定した後に、
前記１組の同行人に含まれる人物の数量が第１数量閾値よりも大きい場合に、前記１組の同行人に含まれる人物の数量が前記第１数量閾値よりも小さいように、前記複数組の人物対のうち前記類似度が前記第１類似度閾値よりも大きい第２類似度閾値よりも大きい値である少なくとも１組の人物対を、１組の同行人として決定することをさらに含んでもよい。
前記１組の同行人に含まれる人物の数量が第１数量閾値よりも大きい場合に、前記１組の同行人に含まれる人物の数量が前記第１数量閾値よりも小さいように、前記複数組の人物対のうち前記類似度が前記第１類似度閾値よりも大きい第２類似度閾値よりも大きい値である少なくとも１組の人物対を、１組の同行人として決定することをさらに含んでもよい。
【0057】
例示的に、第１数量閾値は、予め設定された１組の同行人の最大人数であり、必要に応じて第１数量閾値の値を取ってもよく、本開示は、第１数量閾値の値について限定しない。１組の同行人に含まれる人物の数量が第１数量閾値よりも大きい場合、同行人うちの、複数組の人物対に対応する類似度が第２類似度閾値よりも大きい少なくとも１組の人物対を、１組の同行人として決定することができ、同行人の数量が要求を満たす一方で、同行人の検出精度を向上させることができる。ここで、第２類似度閾値は、第１類似度閾値よりも大きい予め設定された数値であり、必要に応じて第２類似度閾値の値を取ってもよく、本開示は、第２類似度閾値の値について限定しない。これにより、得られた１組の同行人について、類似度が第２類似度閾値以下の人物対を除去するように二次選別を行うことにより、この１組の同行人に含まれる人物の数量を減少させることができる。
【0058】
可能な一実現形態では、前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、
顔情報を含む前記人物画像に対してクラスタリング処理を行い、顔クラスタリング結果を得ることであって、前記顔クラスタリング結果は、顔情報を含む前記人物画像の顔身分を少なくとも１つ含むことと、
人体情報を含む前記人物画像に対してクラスタリング処理を行い、人体クラスタリング結果を得ることであって、前記人体クラスタリング結果は、人体情報を含む前記人物画像の人体身分を少なくとも１つ含むことと、
前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとを含む。
顔情報を含む前記人物画像に対してクラスタリング処理を行い、顔クラスタリング結果を得ることであって、前記顔クラスタリング結果は、顔情報を含む前記人物画像の顔身分を少なくとも１つ含むことと、
人体情報を含む前記人物画像に対してクラスタリング処理を行い、人体クラスタリング結果を得ることであって、前記人体クラスタリング結果は、人体情報を含む前記人物画像の人体身分を少なくとも１つ含むことと、
前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとを含む。
【0059】
例示的に、人物画像から顔情報を含む人物画像を決定し、および人物画像から人体情報を含む人物画像を決定することができる。顔情報を含む人物画像に対してクラスタリング処理を行うことができ、例えば、少なくとも１つの人物画像における顔特徴を抽出し、抽出した顔特徴により顔クラスタリングを行い、顔クラスタリング結果を得ることができる。例として、トレーニングされたモデル、例えば、予めトレーニングされた顔クラスタリング用のニューラルネットワークモデルを用いて、顔情報を含む人物画像に対して顔クラスタリング処理を行い、顔情報を含む人物画像を複数のクラスにクラスタリングし、各クラスに１つの顔身分を付与することにより、顔情報を含む各人物画像がいずれも顔身分を有し、同一のクラスに属する顔情報を含む人物画像が同一の顔身分を有し、異なるクラスに属する顔情報を含む人物画像の有する顔身分が異なるように、顔クラスタリング結果を得ることができる。本開示は、顔クラスタリングの具体的な方式について限定しない。
【0060】
同様に、人体情報を含む人物画像に対してクラスタリング処理を行うことができ、例えば、少なくとも１人の人物画像における人体特徴を抽出し、抽出した人体特徴によりクラスタリングを行い、人体クラスタリング結果を得ることができる。例として、トレーニングされたモデル、例えば、予めトレーニングされた人体クラスタリング用のニューラルネットワークモデルを用いて、人体情報を含む人物画像に対して人体クラスタリング処理を行い、人体情報を含む人物画像を複数のクラスにクラスタリングし、各クラスに１つの人体身分を付与することにより、人体情報を含む各人物画像がいずれも人体身分を有し、同一のクラスに属する人体情報を含む人物画像が同一の人体身分を有し、異なるクラスに属する人体情報を含む人物画像の有する人体身分が異なるように、人体クラスタリング結果を得ることができる。本開示は、人体クラスタリングの具体的な方式について限定しない。
【0061】
顔情報および人体情報を共に有する人物画像に対して、顔クラスタリングを行い、顔身分を得るとともに、人体クラスタリングを行い、人体身分を得る。顔情報および人体情報を共に有する人物画像に対して、顔身分と人体身分を関連付けることができ、関連付けられた顔身分と人体身分に基づいて、同一の人物に属する人物画像（顔情報を含む人物画像と人体情報を含む人物画像）を決定することができ、さらに、該人物に属する画像集合を得ることができる。
【0062】
可能な一実現形態では、人体情報を含む人物画像に対してクラスタリング処理を行う前に、人物画像に含まれる人体情報の完全性に基づいて、前記人物画像に対してフィルタリングを行い、フィルタリングした後の人物画像に対してクラスタリング処理を行い、人体クラスタリング結果を得ることにより、精度が不十分で、参考の価値を持たない人物画像を除去し、クラスタリング精度を向上させることができる。例えば、人体のキーポイント情報を予め設定し、人物画像における人体のキーポイント情報を検出し、検出した人体のキーポイント情報と予め設定された人体のキーポイント情報との一致度に基づいて、人物画像における人体情報が完全であるか否かを決定し、人体情報が完全でない人物画像に対して削除処理を行うことで、人物画像のフィルタリングを実現することができる。例として、予めトレーニングされた人体情報の完全性を検出するためのニューラルネットワークを用いて前記人物画像をフィルタリングすることができ、本開示は詳しい説明を省略する。
【0063】
可能な一実現形態では、前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、
顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することと、
前記対応関係のうちの第１対応関係に基づいて、前記人物画像から前記第１対応関係における顔情報および／または人体情報を含む人物画像を取得して、１人の人物に対応する画像集合を形成することとを含んでもよい。
顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することと、
前記対応関係のうちの第１対応関係に基づいて、前記人物画像から前記第１対応関係における顔情報および／または人体情報を含む人物画像を取得して、１人の人物に対応する画像集合を形成することとを含んでもよい。
【0064】
上記の第１対応関係は、全ての対応関係からランダムに選択した１つのものであってもよいし、または、一定の規則に従って選択したものであってもよい。例示的に、顔情報と人体情報を共に含む人物画像を決定することができ、この人物画像は、顔クラスタリングされて顔身分を得て、また、人体クラスタリングされて人体身分を得て、すなわち、この人物画像は顔身分および人体身分を共に有する。
【0065】
この顔情報と人体情報を含む人物画像により、同一の人物に対応する人体身分と顔身分を関連付けることができ、さらに、この人体身分と顔身分の対応関係により、同一の人物に対応する３種類の人物画像を得て、そのうち１つ目は人体情報のみを含む人物画像であり、２つ目は顔情報のみを含む人物画像であり、３つ目は人体情報と顔情報を共に含む人物画像である。上記３種類の取得された人物画像によりこの人物に対応する画像集合を構成し、さらに、この画像集合の人物が実際に所在する地理位置情報と収集された時刻に基づいて、この人物の軌跡情報を作成する。
【0066】
各対応関係について、各対応関係の対応する人物に対応する画像集合を上記方法で決定することができ、このように、顔クラスタリング結果および人体クラスタリング結果を互いに補完することにより、人物に対応する画像集合内の人物画像を豊富にすることができ、さらに、豊富な人物画像により、より豊富な軌跡情報を決定することができる。
【0067】
人体クラスタリングの精度は、顔クラスタリングの精度よりも低いため、同一の人体身分に対応する複数の人物画像が、複数の顔身分に対応してしまう可能性がある。例えば、顔情報と人体情報を持つ２０枚の人物画像は、人体身分ＢＩＤ１に対応するが、３つの顔身分ＦＩＤ１、ＦＩＤ２、ＦＩＤ３に対応する場合、この３つの顔身分から、人体身分ＢＩＤ１と同一の人物に対応する顔身分を決定する必要がある。
【0068】
可能な一実現形態では、顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することは、
顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、
顔情報と人体情報を含む前記人物画像を人体身分に基づいて組分けし、少なくとも１つの人体画像組を取得することであって、同一の人体画像組内の人物画像は同一の人体身分を有することと、
前記人体画像組のうちの第１人体画像組に対して、前記第１人体画像組内の少なくとも１つの人物画像のそれぞれに対応する顔身分を決定し、前記第１人体画像組内の少なくとも１つの顔身分ごとに対応する人物画像の数量に基づいて、前記第１人体画像組内の人物画像の顔身分と人体身分との対応関係を決定することとを含む。
顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、
顔情報と人体情報を含む前記人物画像を人体身分に基づいて組分けし、少なくとも１つの人体画像組を取得することであって、同一の人体画像組内の人物画像は同一の人体身分を有することと、
前記人体画像組のうちの第１人体画像組に対して、前記第１人体画像組内の少なくとも１つの人物画像のそれぞれに対応する顔身分を決定し、前記第１人体画像組内の少なくとも１つの顔身分ごとに対応する人物画像の数量に基づいて、前記第１人体画像組内の人物画像の顔身分と人体身分との対応関係を決定することとを含む。
【0069】
例示的に、顔情報および人体情報を含む人物画像を決定し、該人物画像の顔身分および人体身分を取得することができる。該人物画像の人体身分に基づいて組分けし、例えば、顔情報と人体情報を含む５０枚の人物画像が存在し、そのうち、人体身分ＢＩＤ１に対応する人物画像が１０枚あり、この１０枚の人物画像が人体画像組１を構成し、人体身分ＢＩＤ２に対応する人物画像が３０枚あり、この３０枚の人物画像が人体画像組２を構成し、人体身分ＢＩＤ３に対応する人物画像が１０枚あり、この１０枚の人物画像が人体画像組３を構成することができる。
【0070】
第１人体画像組は、全ての人体画像組からランダムに選択した１つのものであってもよいし、または、一定の規則に従って選択したものであってもよい。第１人体画像組について、この第１人体画像組内の少なくとも１つの人物画像に対応する顔身分を決定し、同一の顔身分に対応する人物画像の数量を決定し、第１人体画像組内の少なくとも１つの顔身分ごとに対応する人物画像の数量に基づいて、この第１人体画像組内の人物画像の顔身分と人体身分との対応関係を決定することができる。
【0071】
例えば、第１人体画像組において対応する人物画像の数量が最も多い顔身分を決定し、前記人体身分に対応させることができ、または、第１人体画像組において対応する人物画像の数量が第１人体画像組に占める割合が閾値よりも高い顔身分を決定し、前記人体身分に対応させることができる。
【0072】
上記例の人体画像組２を例とすると、この人体画像組２の３０枚の人物画像に、身分ＦＩＤ１を有する人物画像が２０枚あり、身分ＦＩＤ２を有する人物画像が４枚あり、身分ＦＩＤ２を有する人物画像が６枚あると決定すると、人体身分ＢＩＤ２に関連する顔身分がＦＩＤ１であると決定することができる。または、閾値を５０％とする場合、ＦＩＤ１の占める割合が６７％、ＦＩＤ２の占める割合が１３％、ＦＩＤ１の占める割合が２０％であると、人体身分ＢＩＤ２に関連する顔身分がＦＩＤ１であると決定することができる。
【0073】
各人体画像組について、顔情報と人体情報を含む各人物画像の顔身分と人体身分との対応関係を、上記方法で決定することができる。このように、顔クラスタリング結果および人体クラスタリング結果を互いに補完することにより、クラスタリングの精度を向上させ、さらに、人体クラスタリング結果および顔クラスタリング結果に基づいて得られた人物に対応する画像集合の精度を向上させ、ひいては、精度のより高い画像集合により、より正確な軌跡情報を決定することができる。
【0074】
可能な一実現形態では、顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することは、
顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、
顔情報と人体情報を含む前記第２画像を顔身分に基づいて組分けし、少なくとも１つの顔画像組を取得することであって、同一の顔画像組内の人物画像は同一の顔身分を有することと、
前記顔画像組のうちの第１顔画像組に対して、前記第１顔画像組内の少なくとも１つの人物画像のそれぞれに対応する人体身分を決定し、前記第１顔画像組内の少なくとも１つの人体身分ごとに対応する人物画像の数量に基づいて、前記第１顔画像組内の人物画像の顔身分と人体身分との対応関係を決定することとを含む。
顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、
顔情報と人体情報を含む前記第２画像を顔身分に基づいて組分けし、少なくとも１つの顔画像組を取得することであって、同一の顔画像組内の人物画像は同一の顔身分を有することと、
前記顔画像組のうちの第１顔画像組に対して、前記第１顔画像組内の少なくとも１つの人物画像のそれぞれに対応する人体身分を決定し、前記第１顔画像組内の少なくとも１つの人体身分ごとに対応する人物画像の数量に基づいて、前記第１顔画像組内の人物画像の顔身分と人体身分との対応関係を決定することとを含む。
【0075】
例示的に、顔情報および人体情報を含む人物画像を決定し、この人物画像の顔身分および人体身分を取得することができる。この人物画像の顔身分に応じて組分けし、例えば、顔情報と人体情報を含む５０枚の人物画像が存在し、そのうち、人体身分ＦＩＤ１に対応する人物画像が１０枚あり、この１０枚の人物画像が顔画像組１を構成し、顔身分ＦＩＤ２に対応する人物画像が３０枚あり、この３０枚の人物画像が顔画像組２を構成し、顔身分ＦＩＤ３に対応する人物画像が１０枚存在し、この１０枚の人物画像が顔画像組３を構成することができる。
【0076】
第１顔画像組は、全ての顔画像組からランダムに選択した１つのものであってもよいし、または、一定の規則に従って選択したものであってもよい。第１顔画像組について、この第１顔画像組内の少なくとも１つの人物画像に対応する人体身分を決定し、同一の人体身分に対応する人物画像の数量を決定し、第１顔画像組内の各人体身分に対応する人物画像の数量に基づいて、この第１顔画像組内の人物画像の顔身分と人体身分との対応関係を決定することができる。
【0077】
例えば、第１顔画像組において対応する人物画像の数量が最も多い人体身分を決定し、前記顔身分に対応させることができ、または、第１顔画像組において対応する人物画像の数量が顔画像組に占める割合が閾値よりも高い人体身分を決定し、前記顔身分に対応させることができる。
【0078】
上記例の顔画像組２を例とすると、この顔画像組２内の３０枚の人物画像に、人体身分ＢＩＤ１を有する人物画像が２０枚あり、人体身分ＢＩＤ２を有する人物画像が４枚あり、人体身分ＢＩＤ２を有する人物画像が６枚あると決定すると、顔身分ＦＩＤ２に関連する人体身分がＢＩＤ１であると決定することができる。または、閾値を５０％とする場合、ＢＩＤ１の占める割合が６７％、ＢＩＤ２の占める割合が１３％、ＢＩＤ１の占める割合が２０％であると、顔身分ＦＩＤ２に関連する人体身分がＢＩＤ１であると決定することができる。
【0079】
各顔画像組について、顔情報と人体情報を含む各人物画像の顔身分と人体身分との対応関係を、上記方法で決定することができる。このように、顔クラスタリング結果および人体クラスタリング結果を互いに補完することにより、クラスタリングの精度を向上させ、さらに、人体クラスタリング結果および顔クラスタリング結果に基づいて得られた人物に対応する画像集合の精度を向上させ、ひいては、精度のより高い画像集合により、より正確な軌跡情報を決定することができる。
【0080】
可能な一実現形態では、前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、
前記画像集合の、顔情報を含む人物画像に対して、人物画像の顔身分に基づいて、少なくとも１人の人物に対応する画像集合を決定することを含んでもよい。
前記画像集合の、顔情報を含む人物画像に対して、人物画像の顔身分に基づいて、少なくとも１人の人物に対応する画像集合を決定することを含んでもよい。
【0081】
例えば、画像集合のいずれにも属さない人物画像のうち顔特徴を含む人物画像に対して、人物画像の顔身分に基づいて少なくとも１つ画像集合を作成し、作成したいずれかの画像集合内の第２画像が同一の顔身分を有する。
【0082】
この方式により、複数の画像集合を得て、全ての人物画像のクラスタリングを実現する。さらに、少なくとも１つの画像集合内の人物画像の第２位置情報および収集された時刻に基づいて、対応する人物の軌跡情報を作成することができ、少なくとも１人の人物の軌跡情報に基づいて、複数の人物から少なくとも１組の同行人を決定することが実現される。
【0083】
可能な一実現形態では、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定した後に、
前記複数の人物のうちの同行人に基づいて、前記同行人に対するマーケティング案を決定することと、
前記同行人において異常人物を決定することとの少なくとも１つをさらに含んでもよい。
前記複数の人物のうちの同行人に基づいて、前記同行人に対するマーケティング案を決定することと、
前記同行人において異常人物を決定することとの少なくとも１つをさらに含んでもよい。
【0084】
例えば、複数の人物から同行人を決定した後、この１組の同行人を１人のスタッフに任せてフォローアップやサービスを担当させ、この１組の同行人の行動データなどの情報に基づいて、この１組の同行人に対するマーケティング案を策定し、この１組の同行人の行動データを集計してオーダーの転換率などを決定することができる。または、例えば泥棒や不審者などの異常人物を１組の同行人から決定することもできる。
【0085】
なお、本開示が言及する上記の各方法の実施例は、原理的論理に反することなく、いずれも互いに組み合わせて実施例を形成することができ、紙面に限定され、本開示において詳しい説明を省略することを理解されたい。当業者であれば、具体的な実施形態の上記方法では、各ステップの具体的な実行順序が、その機能および可能な固有の論理により決定されるべきであることを理解されたい。
【0086】
また、本開示は、同行人を検出する装置、電子機器、コンピュータ読取可能記憶媒体、プログラムをさらに提供する。これらのいずれも、本開示に提供される同行人を検出する方法のいずれか一つを実現することができる。対応する技術的解決手段および説明は方法部分の相応の記載を参照すればよく、詳しい説明を省略する。
【0087】
図２は、本開示の実施例による同行人を検出する装置のブロック図を示し、図２に示すように、前記同行人を検出する装置は、
予め設定された時間帯で異なる領域に配置された複数の画像収集装置のそれぞれで収集されたビデオ画像を取得するための取得モジュール２０１と、
前記取得モジュール２０１により取得された前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定するための第１決定モジュール２０２と、
前記複数の画像収集装置の位置情報、前記第２決定モジュール２０２により取得された少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定するための第２決定モジュール２０３と、
前記第２決定モジュール２０３により取得された前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定するための第３決定モジュール２０４とを含む。
予め設定された時間帯で異なる領域に配置された複数の画像収集装置のそれぞれで収集されたビデオ画像を取得するための取得モジュール２０１と、
前記取得モジュール２０１により取得された前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定するための第１決定モジュール２０２と、
前記複数の画像収集装置の位置情報、前記第２決定モジュール２０２により取得された少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定するための第２決定モジュール２０３と、
前記第２決定モジュール２０３により取得された前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定するための第３決定モジュール２０４とを含む。
【0088】
このように、予め設定された時間帯で異なる領域に配置された複数の画像収集装置で収集されたビデオ画像に対して人物検出を行い、人物検出結果に基づいて複数の人物のうちの各人物に対応する人物画像を含む画像集合を決定し、さらに、複数の画像収集装置の位置情報、各人物に対応する画像集合、および人物画像の収集時刻に基づいて、各人物の軌跡情報を決定し、複数の人物の軌跡情報に基づいて、複数の人物から同行人を決定することができる。本開示に提供される同行人を検出する装置により、予め設定された時間帯で異なる領域に配置された複数の画像収集装置で収集された各人物に対応する画像の位置情報、および収集時刻に基づいて、各人物の軌跡情報を作成し、さらに、各人物の軌跡情報に基づいて、複数の人物から同行人を決定することができる。軌跡情報は各人物の動態をよりよく反映できるので、軌跡情報に基づいて同行人を決定することは、同行人の検出精度を向上させることができる。
【0089】
可能な一実現形態では、前記第２決定モジュールは、さらに、
前記少なくとも１人の人物に対応する画像集合内の少なくとも１枚の人物画像について、前記人物画像における目標人物の、前記人物画像に対応するビデオ画像における第１位置情報を決定することと、
前記第１位置情報、および前記人物画像に対応するビデオ画像を収集するための画像収集装置の位置情報である第２位置情報に基づいて、前記目標人物の空間座標系内における空間位置座標を決定することと、
前記空間位置座標および前記人物画像に対応するビデオ画像が収集された時刻に基づいて、前記目標人物の時空間座標系内における時空間位置座標を取得することと、
前記複数の人物の時空間位置座標に基づいて、前記時空間座標系において前記少なくとも１人の人物の軌跡情報を取得することとに用いられてもよい。
前記少なくとも１人の人物に対応する画像集合内の少なくとも１枚の人物画像について、前記人物画像における目標人物の、前記人物画像に対応するビデオ画像における第１位置情報を決定することと、
前記第１位置情報、および前記人物画像に対応するビデオ画像を収集するための画像収集装置の位置情報である第２位置情報に基づいて、前記目標人物の空間座標系内における空間位置座標を決定することと、
前記空間位置座標および前記人物画像に対応するビデオ画像が収集された時刻に基づいて、前記目標人物の時空間座標系内における時空間位置座標を取得することと、
前記複数の人物の時空間位置座標に基づいて、前記時空間座標系において前記少なくとも１人の人物の軌跡情報を取得することとに用いられてもよい。
【0090】
可能な一実現形態では、前記第３決定モジュールは、さらに、
前記複数の人物の軌跡情報をクラスタリングして、少なくとも１組のクラスタリング集合を取得することと、
同一のクラスタリング集合に属する複数組の軌跡情報のそれぞれに対応する人物を１組の同行人として決定することとに用いられてもよい。
前記複数の人物の軌跡情報をクラスタリングして、少なくとも１組のクラスタリング集合を取得することと、
同一のクラスタリング集合に属する複数組の軌跡情報のそれぞれに対応する人物を１組の同行人として決定することとに用いられてもよい。
【0091】
可能な一実現形態では、前記少なくとも１人の人物の軌跡情報は、前記時空間座標系における点群を含み、前記第２決定モジュールは、さらに、
前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、
前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することと、
前記類似度と第１類似度閾値との間の大小関係に基づいて、複数組の人物対を決定することであって、各組の人物対は２人の人物を含み、前記各組の人物対の前記類似度は前記第１類似度閾値よりも値が大きいことと、
前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することとを含むことに用いられてもよい。
前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、
前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することと、
前記類似度と第１類似度閾値との間の大小関係に基づいて、複数組の人物対を決定することであって、各組の人物対は２人の人物を含み、前記各組の人物対の前記類似度は前記第１類似度閾値よりも値が大きいことと、
前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することとを含むことに用いられてもよい。
【0092】
可能な一実現形態では、前記第２決定モジュールは、さらに、
前記複数組の人物対のうちの第１人物対に基づいて同行人集合を作成することと、
前記複数組の人物対のうち、前記同行人集合に含まれる人物対を除く少なくとも１つの第２人物対から、前記同行人集合内の少なくとも１人の人物を含む関連人物対を決定することと、
前記関連人物対を前記同行人集合に追加することと、
前記同行人集合内の人物を１組の同行人として決定することとに用いられてもよい。
前記複数組の人物対のうちの第１人物対に基づいて同行人集合を作成することと、
前記複数組の人物対のうち、前記同行人集合に含まれる人物対を除く少なくとも１つの第２人物対から、前記同行人集合内の少なくとも１人の人物を含む関連人物対を決定することと、
前記関連人物対を前記同行人集合に追加することと、
前記同行人集合内の人物を１組の同行人として決定することとに用いられてもよい。
【0093】
可能な一実現形態では、前記第２決定モジュールは、さらに、
前記関連人物対内の第１人物が含まれる人物対の数量を決定することと、
前記第１人物が含まれる人物対の数量が人物対数量閾値よりも小さい場合に、前記関連人物対を前記同行人集合に追加することとに用いられてもよい。
前記関連人物対内の第１人物が含まれる人物対の数量を決定することと、
前記第１人物が含まれる人物対の数量が人物対数量閾値よりも小さい場合に、前記関連人物対を前記同行人集合に追加することとに用いられてもよい。
【0094】
可能な一実現形態では、前記装置は、さらに、
前記１組の同行人に含まれる人物の数量が第１数量閾値よりも大きい場合に、前記１組の同行人に含まれる人物の数量が前記第１数量閾値よりも小さいように、前記複数組の人物対のうち前記類似度が前記第１類似度閾値よりも大きい第２類似度閾値よりも大きい値である少なくとも１組の人物対を、１組の同行人として決定するための第４決定モジュールを含んでもよい。
前記１組の同行人に含まれる人物の数量が第１数量閾値よりも大きい場合に、前記１組の同行人に含まれる人物の数量が前記第１数量閾値よりも小さいように、前記複数組の人物対のうち前記類似度が前記第１類似度閾値よりも大きい第２類似度閾値よりも大きい値である少なくとも１組の人物対を、１組の同行人として決定するための第４決定モジュールを含んでもよい。
【0095】
可能な一実現形態では、前記第２決定モジュールは、さらに、
前記２人毎の人物のうちの第１人物に対応する前記時空間座標系における少なくとも１つの第１時空間位置座標と、前記２人毎の人物のうちの第２人物に対応する前記時空間座標系における少なくとも１つの第２時空間位置座標との間の空間距離を決定することと、
距離閾値以下の前記空間距離に対応する第１時空間位置座標の第１数量、および前記距離閾値以下の前記空間距離に対応する第２時空間位置座標の第２数量を決定することと、
前記第１時空間位置座標の総数に対する前記第１数量の第１比値、および前記第２時空間位置座標の総数に対する前記第２数量の第２比値を決定することと、
前記第１比値と前記第２比値のうちの最大値を前記２人の人物の類似度として決定することとに用いられてもよい。
前記２人毎の人物のうちの第１人物に対応する前記時空間座標系における少なくとも１つの第１時空間位置座標と、前記２人毎の人物のうちの第２人物に対応する前記時空間座標系における少なくとも１つの第２時空間位置座標との間の空間距離を決定することと、
距離閾値以下の前記空間距離に対応する第１時空間位置座標の第１数量、および前記距離閾値以下の前記空間距離に対応する第２時空間位置座標の第２数量を決定することと、
前記第１時空間位置座標の総数に対する前記第１数量の第１比値、および前記第２時空間位置座標の総数に対する前記第２数量の第２比値を決定することと、
前記第１比値と前記第２比値のうちの最大値を前記２人の人物の類似度として決定することとに用いられてもよい。
【0096】
可能な一実現形態では、前記第１決定モジュールは、さらに、
前記ビデオ画像に対して人物検出を行い、検出情報を含む人物画像を取得することであって、前記人物検出は顔検出および人体検出のうちの少なくとも１つを含み、前記人物検出が顔検出を含む場合、前記検出情報は顔情報を含み、前記人物検出が人体検出を含む場合、前記検出情報は人体情報を含むことと、
前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとに用いられてもよい。
前記ビデオ画像に対して人物検出を行い、検出情報を含む人物画像を取得することであって、前記人物検出は顔検出および人体検出のうちの少なくとも１つを含み、前記人物検出が顔検出を含む場合、前記検出情報は顔情報を含み、前記人物検出が人体検出を含む場合、前記検出情報は人体情報を含むことと、
前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとに用いられてもよい。
【0097】
可能な一実現形態では、前記第１決定モジュールは、さらに、
顔情報を含む前記人物画像に対してクラスタリング処理を行い、顔クラスタリング結果を得ることであって、前記顔クラスタリング結果は、顔情報を含む前記人物画像の顔身分を少なくとも１つ含むことと、
人体情報を含む前記人物画像に対してクラスタリング処理を行い、人体クラスタリング結果を得ることであって、前記人体クラスタリング結果は、人体情報を含む前記人物画像の人体身分を少なくとも１つ含むことと、
前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとに用いられてもよい。
顔情報を含む前記人物画像に対してクラスタリング処理を行い、顔クラスタリング結果を得ることであって、前記顔クラスタリング結果は、顔情報を含む前記人物画像の顔身分を少なくとも１つ含むことと、
人体情報を含む前記人物画像に対してクラスタリング処理を行い、人体クラスタリング結果を得ることであって、前記人体クラスタリング結果は、人体情報を含む前記人物画像の人体身分を少なくとも１つ含むことと、
前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとに用いられてもよい。
【0098】
可能な一実現形態では、前記第１決定モジュールは、さらに、
顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することと、
前記対応関係のうちの第１対応関係に基づいて、前記人物画像から前記第１対応関係における顔情報および／または人体情報を含む人物画像を取得して、１人の人物に対応する画像集合を形成することとに用いられる。
顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することと、
前記対応関係のうちの第１対応関係に基づいて、前記人物画像から前記第１対応関係における顔情報および／または人体情報を含む人物画像を取得して、１人の人物に対応する画像集合を形成することとに用いられる。
【0099】
可能な一実現形態では、前記第１決定モジュールは、さらに、
顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、
顔情報と人体情報を含む前記人物画像を人体身分に基づいて組分けし、少なくとも１つの人体画像組を取得することであって、同一の人体画像組内の人物画像は同一の人体身分を有することと、
前記人体画像組のうちの第１人体画像組に対して、前記第１人体画像組内の少なくとも１つの人物画像のそれぞれに対応する顔身分を決定し、前記第１人体画像組内の少なくとも１つの顔身分ごとに対応する人物画像の数量に基づいて、前記第１人体画像組内の人物画像の顔身分と人体身分との対応関係を決定することとに用いられる。
顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、
顔情報と人体情報を含む前記人物画像を人体身分に基づいて組分けし、少なくとも１つの人体画像組を取得することであって、同一の人体画像組内の人物画像は同一の人体身分を有することと、
前記人体画像組のうちの第１人体画像組に対して、前記第１人体画像組内の少なくとも１つの人物画像のそれぞれに対応する顔身分を決定し、前記第１人体画像組内の少なくとも１つの顔身分ごとに対応する人物画像の数量に基づいて、前記第１人体画像組内の人物画像の顔身分と人体身分との対応関係を決定することとに用いられる。
【0100】
可能な一実現形態では、前記第１決定モジュールは、さらに、
顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、
顔情報と人体情報を含む前記人物画像を顔身分に基づいて組分けし、少なくとも１つの顔画像組を取得することであって、同一の顔画像組内の人物画像は同一の顔身分を有することと、
前記顔画像組のうちの第１顔画像組に対して、前記第１顔画像組内の少なくとも１つの人物画像のそれぞれに対応する人体身分を決定し、前記第１顔画像組内の少なくとも１つの人体身分ごとに対応する人物画像の数量に基づいて、前記第１顔画像組内の人物画像の顔身分と人体身分との対応関係を決定することとに用いられる。
顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、
顔情報と人体情報を含む前記人物画像を顔身分に基づいて組分けし、少なくとも１つの顔画像組を取得することであって、同一の顔画像組内の人物画像は同一の顔身分を有することと、
前記顔画像組のうちの第１顔画像組に対して、前記第１顔画像組内の少なくとも１つの人物画像のそれぞれに対応する人体身分を決定し、前記第１顔画像組内の少なくとも１つの人体身分ごとに対応する人物画像の数量に基づいて、前記第１顔画像組内の人物画像の顔身分と人体身分との対応関係を決定することとに用いられる。
【0101】
可能な一実現形態では、前記第１決定モジュールは、さらに、
前記画像集合に属さない顔情報を含む人物画像に対して、前記人物画像の顔身分に基づいて、少なくとも１人の人物に対応する画像集合を決定することに用いられる。
前記画像集合に属さない顔情報を含む人物画像に対して、前記人物画像の顔身分に基づいて、少なくとも１人の人物に対応する画像集合を決定することに用いられる。
【0102】
可能な一実現形態では、前記装置は、さらに、
前記複数の人物のうちの同行人に基づいて、前記同行人に対するマーケティング案を決定することと、
前記同行人において異常人物を決定することとのうちの少なくとも１つに用いられる第５決定モジュールを含む。
前記複数の人物のうちの同行人に基づいて、前記同行人に対するマーケティング案を決定することと、
前記同行人において異常人物を決定することとのうちの少なくとも１つに用いられる第５決定モジュールを含む。
【0103】
いくつかの実施例では、本開示の実施例で提供された装置が有する機能またはモジュールは、上記方法の実施例に記載の方法を実行するために用いられ、その具体的な実現は、上記方法の実施例の説明を参照すればよく、説明を簡潔にするために、詳細を再度説明しない。
【0104】
本開示の実施例に提供される同行人を検出するシステムは、異なる領域に配置された複数の画像収集装置および処理装置を含み、
前記複数の画像収集装置は、ビデオ画像を収集して、前記処理装置に送信するために用いられ、
前記処理装置は、前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定するために用いられ、
前記処理装置は、さらに、前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定するために用いられ、
前記処理装置は、さらに、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定するために用いられる。
前記複数の画像収集装置は、ビデオ画像を収集して、前記処理装置に送信するために用いられ、
前記処理装置は、前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定するために用いられ、
前記処理装置は、さらに、前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定するために用いられ、
前記処理装置は、さらに、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定するために用いられる。
【0105】
可能な一実現形態では、上記処理装置は、画像収集装置と別個に配置するか、または、例えば、処理装置が１つの画像収集装置に統合され、または、少なくとも１つの画像収集装置が処理装置に統合されるなどのように、画像収集装置と統合して配置することができる。
【0106】
処理装置と画像収集装置が別個に配置されることを例とすると、異なる領域に配置された複数の画像収集装置でビデオ画像を収集し、収集されたビデオ画像を処理装置に送信することができ、処理装置は、収集されたビデオ画像に基づいて同行人を決定することができ、具体的な過程は、前述の実施例を参照すればよく、ここで説明を省略する。
【0107】
説明したいのは、複数の画像収集装置のうち、少なくとも２つの画像収集装置が同じ領域に配置されてもよいし、または、複数の画像収集装置のうちの異なる画像収集装置が異なる領域に配置されてもよい。実際の配置では、ビデオ画像の完全性を確保し、死角の存在を低減するために、複数の画像収集装置で撮られる領域の間に少なくとも部分的な重なりが存在するようにしてもよいが、実際の要求に応じて、各画像収集装置がそれぞれ異なる領域を撮るように制御してもよい。ここで、複数の画像収集装置の配置方式などについては、限定しなく、本開示で例示したものを含んでもよいが、これに限定されない。
【0108】
本開示に提供される同行人を検出するシステムは、予め設定された時間帯で異なる領域に配置された複数の画像収集装置で収集された少なくとも１人の人物に対応する画像の位置情報、および収集時刻に基づいて、少なくとも１人の人物の軌跡情報を作成し、さらに、少なくとも１人の人物の軌跡情報に基づいて、複数の人物から同行人を決定することができる。軌跡情報は少なくとも１人の人物の動態をよりよく反映できるので、軌跡情報に基づいて同行人を決定することは、同行人の検出精度を向上させることができる。
【0109】
本開示の実施例は、コンピュータプログラム命令が記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラム命令は、プロセッサにより実行されると、上記方法を実現させるコンピュータ読取可能記憶媒体をさらに提案する。コンピュータ読取可能記憶媒体は非揮発性のコンピュータ読取可能記憶媒体であってもよい。
【0110】
本開示の実施例は、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出して上記方法を実行するように構成される電子機器をさらに提案する。
【0111】
本開示の実施例は、コンピュータ読取可能コードを含むコンピュータプログラム製品であって、コンピュータ読取可能コードは、機器において実行されると、機器のプロセッサに上記の実施例のいずれか１つで提供された同行人を検出する方法を実現するための命令を実行させるコンピュータプログラム製品をさらに提供する。
【0112】
本開示の実施例は、コンピュータ読取可能命令を記憶するための別のコンピュータプログラム製品であって、命令が実行されると、コンピュータに、上記の実施例のいずれか１つで提供された同行人を検出する動作を実行させるコンピュータプログラム製品をさらに提供する。
【0113】
本開示の実施例は、コンピュータ読取可能コードを含む別のコンピュータプログラムであって、前記コンピュータ読取可能コードは、電子機器において実行されると、前記電子機器のプロセッサに上記の実施例のいずれか１つで提供された同行人を検出する方法の動作を実行させるコンピュータプログラムをさらに提供する。
【0114】
電子機器は、端末、サーバ、または他の形態の機器として提供されてもよい。
【0115】
論理に反することなく、本開示の異なる実施例は互いに組み合わせることができ、異なる実施例は、重要な一部を詳しく説明したが、詳しく説明していない部分は、他の実施例の説明を参照することができる。
【0116】
本開示のいくつかの実施例では、本開示の実施例で提供された装置が有する機能またはモジュールは、上記方法の実施例に記載の方法を実行するために用いられ、その具体的な実現および技術的効果は、上記方法の実施例の説明を参照すればよく、説明を簡潔にするために、詳細を再度説明しない。
【0117】
図３は、本開示の実施例による電子機器８００のブロック図を示す。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどの端末であってもよい。
【0118】
図３を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの１つ以上を含んでもよい。
【0119】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話呼出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、命令を実行して上記方法の全てまたは一部のステップを実行するように、１つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための１つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
【0120】
メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において動作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。例えば静的ランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ－Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（Ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＰＲＯＭ）、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクである。
【0121】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、１つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
【0122】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）およびタッチパネル（Ｔｏｕｃｈ Ｐａｎｅｌ、ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、スクリーンはユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するために、１つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は１つの前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば写真モードまたは撮影モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
【0123】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、１つのマイクロフォン（Ｍｉｃｒｏｐｈｏｎｅ、ＭＩＣ）を含み、マイクロフォンは、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【0124】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
【0125】
センサコンポーネント８１４は電子機器８００の各面での状態評価のために１つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含んでもよい。センサコンポーネント８１４はさらに、相補性金属酸化膜半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＣＭＯＳ）または電荷結合素子（Ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、ＣＣＤ）イメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
【0126】
通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばワイヤレスネットワーク（ＷｉＦｉ）、第二世代移動通信技術（２Ｇ）、第三世代移動通信技術（３Ｇ）、またはそれらの組み合わせにアクセスできる。一例示的な実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ、ＲＦＩＤ）技術、赤外線データ協会（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ、ＩｒＤＡ）技術、超広帯域（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ、ＵＷＢ）技術、ブルートゥース（登録商標）（ｂｌｕｅｔｏｏｔｈ／登録商標、ＢＴ）技術および他の技術によって実現できる。
【0127】
例示的な実施例では、電子機器８００は１つ以上の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ＤＳＰ）、デジタル信号処理デバイス（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ、ＤＳＰＤ）、プログラマブルロジックデバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子によって実現され、上記方法を実行するために用いることができる。
【0128】
例示的な実施例では、さらに、非揮発性のコンピュータ読取可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
【0129】
図４は、本開示の実施例による電子機器１９００のブロック図を示す。例えば、電子機器１９００はサーバとして提供されてもよい。図４を参照すると、電子機器１９００は、１つ以上のプロセッサをさらに含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されるアプリケーションプログラムは、それぞれが１つの命令群に対応する１つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。
【0130】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成された電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成された有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されているオペレーティングシステム、例えばマイクロソフト社のウィンドウズ（商標登録）サーバオペレーティングシステム（Ｗｉｎｄｏｗｓ／商標登録 ＳｅｒｖｅｒTM）、アップル会社のグラフィカルユーザインタフェースベースのオペレーティングシステム（Ｍａｃ ＯＳ ＸTM）、マルチユーザ・マルチタスク型のコンピュータオペレーティングシステム（ＵｎｉｘTM）、フリーソフトウェアとオープンソースのＵｎｉｘ（登録商標）系のオペレーティングシステム（ＬｉｎｕｘTM）、オープンソースのＵｎｉｘ系のオペレーティングシステム（ＦｒｅｅＢＳＤTM）または類似するものに基づいて動作できる。
【0131】
例示的な実施例では、さらに、非揮発性のコンピュータ読取可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行させることができる。
【0132】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ読取可能プログラム命令を有しているコンピュータ読取可能記憶媒体を含んでもよい。
【0133】
コンピュータ読取可能記憶媒体は、命令実行装置に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読取可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせを含んでもよいが、これらに限定されない。コンピュータ読取可能記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、デジタル多用途ディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読取可能記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【0134】
ここで記述したコンピュータ読取可能プログラム命令は、コンピュータ読取可能記憶媒体から各計算／処理装置にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理装置内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読取可能プログラム命令を受信し、該コンピュータ読取可能プログラム命令を転送し、各計算／処理装置内のコンピュータ読取可能記憶媒体に記憶させる。
【0135】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読取可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）または広域ネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読取可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）またはプログラマブル論理アレイ（Ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙｓ、ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読取可能プログラム命令を実行することにより、本開示の各方面を実現できるようにしてもよい。
【0136】
ここで本開示の実施例による方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各方面を説明したが、フローチャートおよび／またはブロック図の各ブロック、およびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読取可能プログラム命令によって実現できることを理解すべきである。
【0137】
これらのコンピュータ読取可能プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されるときフローチャートおよび／またはブロック図の１つ以上のブロックにおいて指定された機能／動作を実現するように、装置を製造してもよい。これらのコンピュータ読取可能プログラム命令は、コンピュータ読取可能媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令を記憶しているコンピュータ読取可能媒体に、フローチャートおよび／またはブロック図の１つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む。
【0138】
コンピュータ読取可能プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロッドし、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施するプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび／またはブロック図の１つ以上のブロックにおいて指定された機能／動作を実現する。
【0139】
図面のうちのフローチャートおよびブロック図は、本開示の複数の実施例によるシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは１つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための１つ以上の実行可能な命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、２つの連続的なブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせで実現してもよいことにも注意すべきである。
【0140】
当該コンピュータプログラム製品は、ハードウェア、ソフトウェアまたはその組み合わせによって具体的に実現される。一選択可能な実施例において、前記コンピュータプログラム製品はコンピュータ記憶媒体として具現化される。他の選択可能な実施例において、コンピュータプログラム製品は、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などのようなソフトウェア製品として具現化される。
【0141】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものではない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または当業者に本明細書に披露された各実施例を理解させるためのものである。
【0142】
本願は、２０１９年１１月１５日に中国国家知識産権局に提出された、出願番号２０１９１１１２０５５８．２、発明の名称「同行人を検出する方法および装置、システム、電子機器、並びに記憶媒体」の中国特許出願の優先権を主張し、その内容の全てが援用によって本願に組み込まれる。
【図1】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2021-03-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
同行人を検出する方法であって、予め設定された時間帯で異なる領域に配置された複数の画像収集装置のそれぞれで収集されたビデオ画像を取得することと、
前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定することと、
前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定することと、
前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することとを含むことを特徴とする方法。
【請求項2】
前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定することは、前記少なくとも１人の人物に対応する画像集合内の少なくとも１枚の人物画像について、前記人物画像における目標人物の、前記人物画像に対応するビデオ画像における第１位置情報を決定することと、
前記第１位置情報、および前記人物画像に対応するビデオ画像を収集するための画像収集装置の位置情報である第２位置情報に基づいて、前記目標人物の空間座標系内における空間位置座標を決定することと、
前記空間位置座標および前記人物画像に対応するビデオ画像が収集された時刻に基づいて、前記目標人物の時空間座標系内における時空間位置座標を取得することと、
前記複数の人物の時空間位置座標に基づいて、前記時空間座標系において前記少なくとも１人の人物の軌跡情報を取得することとを含み、
及び／又は、
前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、
前記複数の人物の軌跡情報をクラスタリングして、少なくとも１組のクラスタリング集合を取得することと、
同一のクラスタリング集合に属する複数組の軌跡情報のそれぞれに対応する人物を１組の同行人として決定することとを含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記少なくとも１人の人物の軌跡情報は、前記時空間座標系における点群を含み、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定することは、
前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することと、
前記類似度と第１類似度閾値との間の大小関係に基づいて、複数組の人物対を決定することであって、各組の人物対は２人の人物を含み、前記各組の人物対の前記類似度は前記第１類似度閾値よりも値が大きいことと、
前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することとを含むことを特徴とする請求項２に記載の方法。
【請求項4】
前記複数組の人物対に基づいて、少なくとも１組の同行人を決定することは、前記複数組の人物対のうちの第１人物対に基づいて同行人集合を作成することと、
前記複数組の人物対のうち、前記同行人集合に含まれる人物対を除く少なくとも１つの第２人物対から、前記同行人集合内の少なくとも１人の人物を含む関連人物対を決定することと、
前記関連人物対を前記同行人集合に追加することと、
前記同行人集合内の人物を１組の同行人として決定することとを含み、
及び／又は、
前記複数組の人物対に基づいて、少なくとも１組の同行人を決定した後に、
前記１組の同行人に含まれる人物の数量が第１数量閾値よりも大きい場合に、前記１組の同行人に含まれる人物の数量が前記第１数量閾値よりも小さいように、前記複数組の人物対のうち前記類似度が前記第１類似度閾値よりも大きい第２類似度閾値よりも大きい値である少なくとも１組の人物対を１組の同行人として決定することをさらに含み、
及び／又は、
前記複数の人物の軌跡情報のうち２人毎の人物に対応する前記時空間座標系における点群について、類似度を決定することは、
前記２人毎の人物のうちの第１人物に対応する前記時空間座標系における少なくとも１つの第１時空間位置座標と、前記２人毎の人物のうちの第２人物に対応する前記時空間座標系における少なくとも１つの第２時空間位置座標との間の空間距離を決定することと、
距離閾値以下の前記空間距離に対応する第１時空間位置座標の第１数量、および前記距離閾値以下の前記空間距離に対応する第２時空間位置座標の第２数量を決定することと、
前記第１時空間位置座標の総数に対する前記第１数量の第１比値、および前記第２時空間位置座標の総数に対する前記第２数量の第２比値を決定することと、
前記第１比値と前記第２比値のうちの最大値を前記２人の人物の類似度として決定することとを含むことを特徴とする請求項３に記載の方法。
【請求項5】
前記関連人物対を前記同行人の集合に追加することは、
前記関連人物対内の第１人物が含まれる人物対の数量を決定することと、
前記第１人物が含まれる人物対の数量が人物対数量閾値よりも小さい場合に、前記関連人物対を前記同行人集合に追加することとを含むことを特徴とする請求項４に記載の方法。
【請求項6】
前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、前記ビデオ画像に対して人物検出を行い、検出情報を含む人物画像を取得することであって、前記人物検出は顔検出および人体検出のうちの少なくとも１つを含み、前記人物検出が顔検出を含む場合、前記検出情報は顔情報を含み、前記人物検出が人体検出を含む場合、前記検出情報は人体情報を含むことと、
前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとを含み、
及び／又は、
前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定した後に、
前記複数の人物のうちの同行人に基づいて、前記同行人に対するマーケティング案を決定することと、
前記同行人において異常人物を決定することとの少なくとも１つをさらに含むことを特徴とする請求項１～５のいずれか１項に記載の方法。
【請求項7】
前記人物画像に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、顔情報を含む前記人物画像に対してクラスタリング処理を行い、顔クラスタリング結果を得ることであって、前記顔クラスタリング結果は、顔情報を含む前記人物画像の顔身分を少なくとも１つ含むことと、
人体情報を含む前記人物画像に対してクラスタリング処理を行い、人体クラスタリング結果を得ることであって、前記人体クラスタリング結果は、人体情報を含む前記人物画像の人体身分を少なくとも１つ含むことと、
前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することとを含むことを特徴とする請求項６に記載の方法。
【請求項8】
前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することと、
前記対応関係のうちの第１対応関係に基づいて、前記人物画像から前記第１対応関係における顔情報および／または人体情報を含む前記人物画像を取得して、１人の人物に対応する画像集合を形成することとを含むことを特徴とする請求項７に記載の方法。
【請求項9】
顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することは、顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、
顔情報と人体情報を含む前記人物画像を人体身分に基づいて組分けし、少なくとも１つの人体画像組を取得することであって、同一の人体画像組内の人物画像は同一の人体身分を有することと、
前記人体画像組のうちの第１人体画像組に対して、前記第１人体画像組内の少なくとも１つの人物画像のそれぞれに対応する顔身分を決定し、前記第１人体画像組内の少なくとも１つの顔身分ごとに対応する人物画像の数量に基づいて、前記第１人体画像組内の人物画像の顔身分と人体身分との対応関係を決定することとを含み、
又は、
顔情報と人体情報を含む少なくとも１つの前記人物画像の顔身分と人体身分との対応関係を決定することは、
顔情報および人体情報を含む前記人物画像の前記顔情報に対応する顔身分および前記人体情報に対応する人体身分を取得することと、
顔情報と人体情報を含む前記人物画像を顔身分に基づいて組分けし、少なくとも１つの顔画像組を取得することであって、同一の顔画像組内の人物画像は同一の顔身分を有することと、
前記顔画像組のうちの第１顔画像組に対して、前記第１顔画像組内の少なくとも１つの人物画像のそれぞれに対応する人体身分を決定し、前記第１顔画像組内の少なくとも１つの人体身分ごとに対応する人物画像の数量に基づいて、前記第１顔画像組内の人物画像の顔身分と人体身分との対応関係を決定することとを含むことを特徴とする請求項８に記載の方法。
【請求項10】
前記顔クラスタリング結果および前記人体クラスタリング結果に基づいて、前記複数の人物のうちの少なくとも１人の人物に対応する画像集合を決定することは、前記画像集合に属さない顔情報を含む人物画像に対して、前記人物画像の顔身分に基づいて、少なくとも１人の人物に対応する画像集合を決定することを含むことを特徴とする請求項８又は９に記載の方法。
【請求項11】
同行人を検出する装置であって、予め設定された時間帯で異なる領域に配置された複数の画像収集装置のそれぞれで収集されたビデオ画像を取得するための取得モジュールと、
前記取得モジュールにより取得された前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定するための第１決定モジュールと、
前記複数の画像収集装置の位置情報、前記第１決定モジュールにより取得された少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定するための第２決定モジュールと、
前記第２決定モジュールにより取得された前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定するための第３決定モジュールとを含むことを特徴とする装置。
【請求項12】
同行人を検出するシステムであって、異なる領域に配置された複数の画像収集装置および処理装置を含み、
前記複数の画像収集装置は、ビデオ画像を収集して、前記処理装置に送信するために用いられ、
前記処理装置は、前記ビデオ画像に対して人物検出を行い、得られた人物検出結果に基づいて、複数の人物のうちの少なくとも１人の人物に対応する、人物画像を含む画像集合を決定するために用いられ、
前記処理装置は、さらに、前記複数の画像収集装置の位置情報、前記少なくとも１人の人物に対応する画像集合、および前記人物画像の収集時刻に基づいて、前記少なくとも１人の人物の軌跡情報を決定するために用いられ、
前記処理装置は、さらに、前記複数の人物の軌跡情報に基づいて、前記複数の人物から同行人を決定するために用いられることを特徴とするシステム。
【請求項13】
電子機器であって、プロセッサと、
プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリに記憶されている命令を呼び出して請求項１～１０のいずれか１項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項14】
コンピュータプログラム命令が記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラム命令は、プロセッサにより実行されると、請求項１～１０のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読取可能記憶媒体。
【請求項15】
コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードは、電子機器において実行されると、前記電子機器のプロセッサに請求項１～１０のいずれか１項に記載の方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
【国際調査報告】