IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通株式会社の特許一覧

特開2024-35129目標軌跡の処理方法、装置及び記憶媒体
<>
  • 特開-目標軌跡の処理方法、装置及び記憶媒体 図1
  • 特開-目標軌跡の処理方法、装置及び記憶媒体 図2
  • 特開-目標軌跡の処理方法、装置及び記憶媒体 図3
  • 特開-目標軌跡の処理方法、装置及び記憶媒体 図4
  • 特開-目標軌跡の処理方法、装置及び記憶媒体 図5
  • 特開-目標軌跡の処理方法、装置及び記憶媒体 図6
  • 特開-目標軌跡の処理方法、装置及び記憶媒体 図7
  • 特開-目標軌跡の処理方法、装置及び記憶媒体 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024035129
(43)【公開日】2024-03-13
(54)【発明の名称】目標軌跡の処理方法、装置及び記憶媒体
(51)【国際特許分類】
   G06Q 30/06 20230101AFI20240306BHJP
【FI】
G06Q30/06
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023134968
(22)【出願日】2023-08-22
(31)【優先権主張番号】202211048484.8
(32)【優先日】2022-08-30
(33)【優先権主張国・地域又は機関】CN
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.SMALLTALK
2.JAVA
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】汪 留安
(72)【発明者】
【氏名】ジャン・ホォイガン
(72)【発明者】
【氏名】王 平
(72)【発明者】
【氏名】孫 俊
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049BB72
(57)【要約】
【課題】本開示は、目標軌跡の処理方法、装置及び記憶媒体を提供する。
【解決手段】該方法は、複数の買い物レシートのうちの1つの買い物レシートに対応するレシートデータグループの候補顧客軌跡セットを決定するステップと、候補顧客軌跡セットにおける各軌跡について、レシートデータグループが示す販売済み物品セットにおける、位置が該軌跡と一致する販売済み物品の数を、該軌跡の第1の位置一致計数値として計数するステップと、候補顧客軌跡セットにおける各軌跡について、販売済み物品セットにおける、位置が該軌跡の関心軌跡点セットにおける関心軌跡点と一致する販売済み物品の数を、該軌跡の第2の位置一致計数値として計数するステップと、候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、候補顧客軌跡セットにおいてレシートデータグループに対応する顧客軌跡を決定するステップと、を含む。
【選択図】図2
【特許請求の範囲】
【請求項1】
目標追跡における目標軌跡の処理方法であって、
複数の買い物レシートのうちの1つの買い物レシートに対応するレシートデータグループの候補顧客軌跡セットを決定するステップと、
前記候補顧客軌跡セットにおける各軌跡について、前記レシートデータグループが示す販売済み物品セットにおける、位置が該軌跡と一致する販売済み物品の数を、該軌跡の第1の位置一致計数値として計数するステップと、
前記候補顧客軌跡セットにおける各軌跡について、前記販売済み物品セットにおける、位置が該軌跡の関心軌跡点セットにおける関心軌跡点と一致する販売済み物品の数を、該軌跡の第2の位置一致計数値として計数するステップと、
前記候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、前記候補顧客軌跡セットにおいて前記レシートデータグループに対応する顧客軌跡を決定するステップと、を含み、
前記候補顧客軌跡セットにおける各軌跡の前記関心軌跡点セットに含まれる関心軌跡点は、該軌跡に対応する顧客がオフラインの販売場所に陳列された販売対象物品に関心を示す位置を示す軌跡点である、方法。
【請求項2】
前記レシートデータグループは、顧客の購入済み物品を示す物品名称リスト及び購入時間情報を含む、請求項1に記載の方法。
【請求項3】
目標追跡モデルを使用して、前記オフラインの販売場所における顧客軌跡を含む顧客軌跡セットを決定するステップと、
前記レシートデータグループに含まれる購入時間情報に基づいて、前記顧客軌跡セットから前記候補顧客軌跡セットを決定するステップと、をさらに含む、請求項2に記載の方法。
【請求項4】
前記候補顧客軌跡セットにおける各軌跡について、該軌跡と前記販売済み物品セットにおける販売済み物品のうちの1つの物品の陳列領域との最小距離が第1の距離閾値よりも小さい場合、該軌跡の第1の位置一致計数値を1だけ増加させる、請求項1に記載の方法。
【請求項5】
前記候補顧客軌跡セットにおける各軌跡について、該軌跡の関心軌跡点セットにおける関心軌跡点と前記販売済み物品セットにおける販売済み物品のうちの1つの物品の陳列領域との距離のうちの最小距離が第2の距離閾値よりも小さい場合、該軌跡の第2の位置一致計数値を1だけ増加させる、請求項1に記載の方法。
【請求項6】
前記候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、前記候補顧客軌跡セットにおいて前記レシートデータグループに対応する顧客軌跡を決定するステップは、
前記候補顧客軌跡セットにおける各軌跡についての第1の位置一致計数値と第2の位置一致計数値との加重和を決定するステップと、
全ての加重和のうちの最大加重和を決定するステップと、
前記最大加重和に対応する対応軌跡を前記レシートデータグループに対応する顧客軌跡の一部として決定するステップと、を含む、請求項1に記載の方法。
【請求項7】
顧客軌跡補正操作を実行するステップ、をさらに含み、
前記顧客軌跡補正操作は、
前記候補顧客軌跡セットから前記対応軌跡を除外して前記候補顧客軌跡セットを更新することと、
前記販売済み物品セットから前記対応軌跡と一致する物品を除外して前記販売済み物品セットを更新することと、
更新された候補顧客軌跡セットにおいて、更新された前記販売済み物品セットにおける販売済み物品の位置に関して最大位置一致計数値を有する軌跡を候補一致軌跡として決定することと、
再認識特徴に基づいて前記候補一致軌跡と前記対応軌跡との再認識特徴類似度を決定することと、
前記再認識特徴類似度が所定の類似度閾値よりも大きい場合、前記候補一致軌跡を前記レシートデータグループに対応する前記顧客軌跡の一部として決定することと、を含む、請求項6に記載の方法。
【請求項8】
前記再認識特徴類似度が所定の類似度閾値よりも大きい場合、前記対応軌跡を前記候補一致軌跡に更新し、前記顧客軌跡補正操作を再度実行するステップと、
前記再認識特徴類似度が所定の類似度閾値以下である場合、前記顧客軌跡補正操作を終了するステップと、をさらに含む、請求項7に記載の方法。
【請求項9】
目標軌跡の処理装置であって、
命令が記憶されたメモリと、
前記メモリに接続され、且つ前記命令を実行するように構成された少なくとも1つのプロセッサと、を含み、
前記少なくとも1つのプロセッサは、
複数の買い物レシートのうちの1つの買い物レシートに対応するレシートデータグループの候補顧客軌跡セットを決定するステップと、
前記候補顧客軌跡セットにおける各軌跡について、前記レシートデータグループが示す販売済み物品セットにおける、位置が該軌跡と一致する販売済み物品の数を、該軌跡の第1の位置一致計数値として計数するステップと、
前記候補顧客軌跡セットにおける各軌跡について、前記販売済み物品セットにおける、位置が該軌跡の関心軌跡点セットにおける関心軌跡点と一致する販売済み物品の数を、該軌跡の第2の位置一致計数値として計数するステップと、
前記候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、前記候補顧客軌跡セットにおいて前記レシートデータグループに対応する顧客軌跡を決定するステップと、を実現するように前記命令を実行し、
前記候補顧客軌跡セットにおける各軌跡の前記関心軌跡点セットに含まれる関心軌跡点は、該軌跡に対応する顧客がオフラインの販売場所に陳列された販売対象物品に関心を示す位置を示す軌跡点である、装置。
【請求項10】
プログラムが記憶されたコンピュータ読み取り可能な非一時的な記憶媒体であって、前記プログラムがコンピュータにより実行される際に、前記コンピュータは、
複数の買い物レシートのうちの1つの買い物レシートに対応するレシートデータグループの候補顧客軌跡セットを決定するステップと、
前記候補顧客軌跡セットにおける各軌跡について、前記レシートデータグループが示す販売済み物品セットにおける、位置が該軌跡と一致する販売済み物品の数を、該軌跡の第1の位置一致計数値として計数するステップと、
前記候補顧客軌跡セットにおける各軌跡について、前記販売済み物品セットにおける、位置が該軌跡の関心軌跡点セットにおける関心軌跡点と一致する販売済み物品の数を、該軌跡の第2の位置一致計数値として計数するステップと、
前記候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、前記候補顧客軌跡セットにおいて前記レシートデータグループに対応する顧客軌跡を決定するステップと、を実現し、
前記候補顧客軌跡セットにおける各軌跡の前記関心軌跡点セットに含まれる関心軌跡点は、該軌跡に対応する顧客がオフラインの販売場所に陳列された販売対象物品に関心を示す位置を示す軌跡点である、記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理及びコンピュータビジョンに関し、具体的には、目標追跡における目標軌跡の処理方法、装置及び記憶媒体に関する。
【背景技術】
【0002】
コンピュータ科学及び人工知能の発展に伴い、コンピュータビジョン技術はさらに発展した。コンピュータビジョン技術は、カメラにより取り込まれた画像シーケンス(ビデオ)に対して目標(ターゲット)追跡を行う目標追跡技術を含む。目標追跡は、ビデオにおける歩行者、自動車及び/又は動物などの複数の関心のあるタイプの目標を検出し、目標に基づいて識別子(ID)を付与して、異なる目標の軌跡を取得することができる。理想的な追跡結果は、異なる目標の軌跡が対応する異なるIDとして認識され、同一の目標の複数の軌跡セグメントが同一のIDとして認識されることである。使用されるカメラの数に応じて、目標追跡は、マルチカメラマルチ目標追跡とシングルカメラマルチ目標追跡とに分けられてもよい。信頼性の高い監視効果を得るために、通常、広い空間に対してマルチカメラの目標追跡を使用する。目標追跡は、目標追跡モデルを使用して実現されてもよい。
【0003】
マルチ目標追跡では、入力ビデオについて、目標の追跡結果を出力する。追跡結果画像では、各目標は、例えば、対応するID識別情報を有する矩形の外接枠で示される。ビデオの複数のフレームの画像シーケンスにおいて、同一のIDの外接枠の移動軌跡を該IDの目標の軌跡として見なしてもよい。該複数のフレームにおいて、ID外接枠により示される複数の画像ブロックの画像ブロックシーケンスは、トラックレット(tracklet)と称される。トラックレットにおいて、各画像ブロックは、該トラックレットの1つのフレームの画像と見されてもよく、各フレームの画像に目標軌跡を表現する時間情報及び空間位置情報の情報を割り当ててもよい。言い換えれば、目標軌跡上の軌跡点は、位置属性、時間属性、及び画像ブロックにおける目標特徴を表現する再認識特徴を有してもよい。位置属性は、実空間における目標の位置(例えば、実空間の2次元投影平面内の目標の座標)を表すために使用されてもよい。時間属性は、対応するカメラにより取り込まれた画像の撮影時間を表すために使用されてもよい。再認識特徴は、目標を認識するために使用されてもよい。
【0004】
通常、オフラインの販売場所には1台以上の監視カメラが設置されている。なお、目標追跡モデルを用いて、選択した目標の販売場所内での軌跡を取得してもよい。遮蔽(例えば、顧客が棚や物品により遮られる)、照明、人の密集などを考慮すると、オフラインの販売場所内の顧客に対する目標追跡効果は制限される可能性がある。例えば、追跡モデルにより取得された名目上の複数の顧客の複数の軌跡が実際には同一の顧客の軌跡であり、或いは、同一の顧客の軌跡の複数のセグメントが時間的に連続していない。また、販売場所の顧客は、支払いの際に、買い物レシートデータが生成され、販売者が買い物レシートデータを含む買い物レシートを顧客に提供する。買い物レシートデータには、顧客が購入した物品のリストや支払い時間などの情報が含まれる。通常の場合、目標追跡モデル又は目標追跡方法は、1つの買い物レシートに対応する買い物レシートデータグループがどの目標(顧客)軌跡に対応するかを示すことができなく、即ち、ある顧客の1つの買い物レシートデータグループをそれに対応する軌跡に関連付けることができない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
以下は、本開示の態様を基本的に理解させるために、本開示の簡単な概要を説明する。なお、この簡単な概要は、本開示を網羅的な概要ではなく、本開示のポイント又は重要な部分を意図的に特定するものではなく、本開示の範囲を意図的に限定するものではなく、後述するより詳細的な説明の前文として、単なる概念を簡単な形で説明することを目的とする。
【0006】
同一の顧客に対応する買い物レシートデータグループとその一致軌跡を決定することが望ましい。本発明の発明者は、オフラインの販売場所での買い物レシート及び目標追跡を検討し、本開示の技術的解決策を考案した。本開示の実施例が解決しようとする技術的課題は、以下の少なくとも1つの課題を含むが、これらに限定されない。1つの買い物レシートデータグループに一致する対応する顧客軌跡を決定する。また、目標追跡の正確度を改善する。
【課題を解決するための手段】
【0007】
本開示の1つの態様では、目標追跡における目標軌跡の処理方法であって、複数の買い物レシートのうちの1つの買い物レシートに対応するレシートデータグループの候補顧客軌跡セットを決定するステップと、前記候補顧客軌跡セットにおける各軌跡について、前記レシートデータグループが示す販売済み物品セットにおける、位置が該軌跡と一致する販売済み物品の数を、該軌跡の第1の位置一致計数値として計数するステップと、前記候補顧客軌跡セットにおける各軌跡について、前記販売済み物品セットにおける、位置が該軌跡の関心軌跡点セットにおける関心軌跡点と一致する販売済み物品の数を、該軌跡の第2の位置一致計数値として計数するステップと、前記候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、前記候補顧客軌跡セットにおいて前記レシートデータグループに対応する顧客軌跡を決定するステップと、を含み、前記候補顧客軌跡セットにおける各軌跡の前記関心軌跡点セットに含まれる関心軌跡点は、該軌跡に対応する顧客がオフラインの販売場所に陳列された販売対象物品に関心を示す位置を示す軌跡点である、方法を提供する。
【0008】
本開示のもう1つの態様では、マルチ目標マルチカメラ追跡のための装置であって、命令が記憶されたメモリと、前記メモリに接続され、且つ前記命令を実行するように構成された少なくとも1つのプロセッサと、を含み、前記少なくとも1つのプロセッサは、複数の買い物レシートのうちの1つの買い物レシートに対応するレシートデータグループの候補顧客軌跡セットを決定するステップと、前記候補顧客軌跡セットにおける各軌跡について、前記レシートデータグループが示す販売済み物品セットにおける、位置が該軌跡と一致する販売済み物品の数を、該軌跡の第1の位置一致計数値として計数するステップと、前記候補顧客軌跡セットにおける各軌跡について、前記販売済み物品セットにおける、位置が該軌跡の関心軌跡点セットにおける関心軌跡点と一致する販売済み物品の数を、該軌跡の第2の位置一致計数値として計数するステップと、前記候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、前記候補顧客軌跡セットにおいて前記レシートデータグループに対応する顧客軌跡を決定するステップと、を実現するように前記命令を実行し、前記候補顧客軌跡セットにおける各軌跡の前記関心軌跡点セットに含まれる関心軌跡点は、該軌跡に対応する顧客がオフラインの販売場所に陳列された販売対象物品に関心を示す位置を示す軌跡点である、装置を提供する。
【0009】
本開示のもう1つの態様では、プログラムが記憶されたコンピュータ読み取り可能な非一時的な記憶媒体であって、前記プログラムがコンピュータにより実行される際に、前記コンピュータは、複数の買い物レシートのうちの1つの買い物レシートに対応するレシートデータグループの候補顧客軌跡セットを決定するステップと、前記候補顧客軌跡セットにおける各軌跡について、前記レシートデータグループが示す販売済み物品セットにおける、位置が該軌跡と一致する販売済み物品の数を、該軌跡の第1の位置一致計数値として計数するステップと、前記候補顧客軌跡セットにおける各軌跡について、前記販売済み物品セットにおける、位置が該軌跡の関心軌跡点セットにおける関心軌跡点と一致する販売済み物品の数を、該軌跡の第2の位置一致計数値として計数するステップと、前記候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、前記候補顧客軌跡セットにおいて前記レシートデータグループに対応する顧客軌跡を決定するステップと、を実現し、前記候補顧客軌跡セットにおける各軌跡の前記関心軌跡点セットに含まれる関心軌跡点は、該軌跡に対応する顧客がオフラインの販売場所に陳列された販売対象物品に関心を示す位置を示す軌跡点である、記憶媒体を提供する。
【0010】
本開示の方法、装置及び記憶媒体の有利な効果は、以下の少なくとも1つの有利な効果を含む。1つの買い物レシートデータグループに一致する顧客軌跡を決定する。また、目標追跡の正確度を改善する。
【図面の簡単な説明】
【0011】
本開示の上記及び他の目的、特徴及び利点をより容易に理解させるために、以下は図面を参照しながら本開示の実施形態を説明する。なお、図面は、単なる本開示の原理を説明するためのものである。図面では、縮尺に従って各部のサイズ及び相対位置を描く必要がない。同一の符号は、同一の特徴を表示してもよい。
図1】例示的な顧客の軌跡を含むオフラインの販売場所を示す概略的な平面図である。
図2】本開示の1つの実施例に係る目標追跡における目標軌跡の処理方法を示す例示的なフローチャートである。
図3】本開示の1つの実施例に係る第1の位置一致計数値の決定を示す例示的なフローチャートである。
図4】本開示の1つの実施例に係る第2の位置一致計数値の決定を示す例示的なフローチャートである。
図5】本開示の1つの実施例に係る顧客軌跡補正操作を示す例示的なフローチャートである。
図6】本開示の1つの実施例に係る目標追跡における目標軌跡の処理装置を示す例示的なブロック図である。
図7】本開示のもう1つの実施例に係る目標追跡における目標軌跡の処理装置を示す例示的なブロック図である。
図8】本開示の1つの実施例に係る情報処理装置を示す例示的なブロック図である。
【発明を実施するための形態】
【0012】
以下は図面を参照しながら本開示の例示的な実施形態を説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、当業者が実施形態を実現する際に、実施形態を実現するために特定の決定を行ってもよく、これらの決定は実施形態に応じて変更されてもよい。
【0013】
なお、本開示を明確にするために、図面には本開示に密に関連する装置の構成要件及び/又は処理のステップのみが示され、本開示と関係のない細部が省略されている。
【0014】
なお、本開示は、添付の図面を参照して以下の説明を行うため、説明された実施形態に限定されない。本明細書では、実行可能である場合、実施例を互いに組み合わせてもよいし、異なる実施例の特徴を置き換え、或いは利用してもよいし、1つの実施例において1つ又は複数の特徴を省略してもよい。
【0015】
本明細書に開示される例示的な実施例の各態様の操作を実行するためのコンピュータプログラムコードは、1つ又は複数のプログラミング言語の任意の組み合わせで記述されてもよく、該プログラミング言語は、Java、Smalltalk、C++などの対象指向プログラミング言語を含み、「C」プログラミング言語又は同様なプログラミング言語などの従来の手続き型プログラミング言語を含む。
【0016】
本開示の方法は、対応する機能的構成を有する回路により実現されてもよい。該回路は、プロセッサのための回路を含む。
【0017】
本開示の1つの態様は、目標追跡における目標軌跡の処理方法に関する。該方法は、コンピュータにより実現されてもよい。該方法は、オフラインの販売場所の買い物レシートと顧客軌跡とのマッチングに関する。
【0018】
該方法を説明する前に、該方法に関連する幾つかの概念を説明する。以下は、本開示に関連するオフラインの販売場所について説明する。図1は、例示的な顧客の軌跡を含むオフラインの販売場所100を示す概略的な平面図である。図1に示すように、オフラインの販売場所100内には、販売対象物品を陳列する複数の棚、及び複数のレジカウンタが配置されている。顧客がオフラインの販売場所100内で物品を閲覧し、物品を選択し、費用を支払うことによって、対応する顧客軌跡を生成する。ここで、ある軌跡点において、顧客が目の前の物品に関心を示す場合、このような軌跡点は関心軌跡点と称されてもよい。顧客は、最終的に複数の物品を購入する可能性がある。顧客軌跡は、オフラインの販売場所100内に配置された複数のカメラにより提供されたビデオに基づいて、目標追跡モデルを使用して取得されてもよい。ここで、モデルは、画像内の目標(顧客)の座標を世界座標(即ち、オフラインの販売場所100内の目標の座標)に変換して、軌跡上の軌跡点の世界座標での位置属性情報を決定してもよい。棚上の物品の所在する位置は既知であり、2次元座標又は1つの2次元領域で表されてもよい。なお、技術的な限界により、目標追跡モデルは、必ずしも1つの顧客のオフラインの販売場所での完全な軌跡を認識することができず、図に示す実際の顧客軌跡の複数の部分的なセグメントのみを認識する可能性があり、これらのセグメントには必ずしも同一の顧客識別子が割り当てられているとは限らない。目標追跡モデルは、通常、ある顧客の軌跡がどの買い物レシートに対応するかを出力しない。同様に、買い物レシートを生成する端末は、通常、現在の買い物レシートがどの目標追跡軌跡に対応するかを出力できない。買い物レシートに対応する顧客軌跡を決定する(即ち、買い物データに一致する顧客軌跡を決定する)ことは、幾つかの有益な情報(例えば、顧客の好み、注目商品)を得ることに有利である。本発明の発明者は、検討を行ったところ、買い物レシートにより、より完全な顧客軌跡を得ることができるため、目標追跡の正確度を改善することができることが分かった。
【0019】
図2は、本開示の1つの実施例に係る目標追跡における目標軌跡の処理方法200を示す例示的なフローチャートである。
【0020】
ステップS201において、複数の買い物レシートのうちの1つの買い物レシートR[i]のレシートデータグループrdG[i]に対応する候補顧客軌跡セットcTrs(cTr[ciStart]~cTr[ciEnd])を決定する。候補顧客軌跡セットcTrsにおける実例的な顧客軌跡は、cTr[ci]として表されてもよい。
【0021】
候補顧客軌跡セットは、目標追跡モデルにより提供された顧客軌跡セットから選択されてもよい。オフラインの販売場所には、販売対象物品が陳列されている。顧客は、該販売場所内で物品を選択して購入する。オフラインの販売場所に装備された1つ又は複数のカメラは、販売場所内の該当領域のリアルタイム画像(ビデオ)を撮影することができる。1つの期間内のリアルタイム画像シーケンスは、目標追跡モデルに提供され、目標追跡モデルは、画像シーケンスを処理した後、オフラインの販売場所における顧客軌跡を含む顧客軌跡セットTrs(Tr[nStart]~Tr[nEnd])を決定してもよい。目標追跡モデルにより与えられる顧客の顧客軌跡は、複数のカメラにより提供された複数の画像シーケンスに基づいて決定された複数の軌跡セグメントを含んでもよい。
【0022】
目標追跡モデルは、シングルカメラに対するマルチ目標追跡モデルであってもよい。或いは、目標追跡モデルは、マルチカメラマルチ目標追跡モデルであってもよい。マルチカメラマルチ目標追跡モデルを使用することが好ましい。複数のカメラCams(Cam[kStart]~Cam[kEnd])のそれぞれは、対応する棚の近傍の空間内の画像を取り込むために使用されてもよい。カメラCam[k]により提供された画像シーケンスは、imSq[k]と表記されてもよい。画像シーケンスimSq[k]に基づいて、シングルカメラマルチ目標追跡によりカメラCam[k]の局所目標軌跡セットを決定する。各カメラの局所目標軌跡セットの和集合は、総局所目標軌跡セットを構成する。総局所目標軌跡セットに対してマルチカメラマルチ目標マッチングを行うことによって、複数のカメラに対するグローバル目標軌跡セットをオフラインの販売場所における顧客軌跡の顧客軌跡セットとして決定する。
【0023】
買い物レシートは、例えば、顧客が支払う際に業者から顧客に提供される買い物レシートである。買い物レシートは、レシートデータグループを構成する複数のデータを含む。業者の決済のための決済端末又はサーバは、複数の顧客に対応する複数の履歴レシートデータグループを提供してもよい。決済は、例えばオフラインの販売場所内のレジカウンタで発生する。1つのオフラインの販売場所内のレジカウンタの数は、少なくとも1つであってもよく、好ましくは、複数である。
【0024】
レシートデータグループは、例えば、電子POS(ePOS:electronic point of sale)システムにより提供される電子POSデータを含む。
【0025】
レシートデータグループは、例えば、顧客の購入済み物品を示す物品名称リストitList[i]及び購入時間情報を含む。物品名称リストitList[i]は、例えば、販売済み物品セットにおける複数の物品(Item[imStart]~Item[imEnd])を示す複数の物品名称を含む。レシートデータグループは、例えば、顧客のレジカウンタを示すレジカウンタ情報を含んでもよく、例えば、顧客Cu[i]のレジカウンタの番号又は名称を含んでもよい。
【0026】
一例では、目標追跡モデルを使用して、オフラインの販売場所における顧客軌跡を含む顧客軌跡セットTrsを決定した後、レシートデータグループrdG[i]に含まれる購入時間情報に基づいて、顧客軌跡セットTrsから候補顧客軌跡セットcTrsを決定してもよい。例えば、軌跡終了時間が購入時間情報により示される支払い時間よりも前にある全ての当日の顧客軌跡を候補顧客軌跡cTrsにおける要素として選択する。
【0027】
一例では、目標追跡モデルを使用して、オフラインの販売場所における顧客軌跡を含む顧客軌跡セットを決定する。そして、レシートデータグループに含まれる購入時間情報及びレジカウンタ情報に基づいて顧客軌跡セットから候補顧客軌跡セットを決定する。例えば、軌跡終了時間が購入時間情報により示される支払い時間よりも前にある全ての当日の顧客軌跡のうち、特定のレジカウンタを通過した軌跡を候補顧客軌跡cTrsにおける要素として選択する。該特定のレジカウンタは、レシートデータグループrdG[i]に含まれるレジカウンタ情報が示すレジカウンタである。
【0028】
ステップS203において、候補顧客軌跡セットにおける各軌跡について、レシートデータグループが示す販売済み物品セットItems(即ち、{Item[imStart]、…、Item[imEnd]})における、位置が該軌跡と一致する販売済み物品の数を該軌跡の第1の位置一致計数値Ct1として計数する。例えば、レシートデータグループrdG[i]の販売済み物品セットItemsに11個の物品が含まれ、そのうちの6個の物品の位置が候補顧客軌跡cTr[cj]に一致する場合、候補顧客軌跡cTr[cj]の第1の位置一致計数値cTr[cj].Ct1=6となる。このステップ操作によって、各候補顧客軌跡の第1の位置一致計数値を取得することができる。
【0029】
ステップS205において、候補顧客軌跡セットにおける各軌跡について、販売済み物品セットItemsにおける、位置が該軌跡の関心軌跡点セットにおける関心軌跡点と一致する販売済み物品の数を、該軌跡の第2の位置一致計数値Ct2として計数する。例えば、レシートデータグループrdG[i]の販売済み物品セットItemsに11個の物品が含まれ、そのうちの3個の物品の位置が候補顧客軌跡cTr[cj]の関心軌跡点セットitPsにおける軌跡点と一致する場合、候補顧客軌跡cTr[cj]の第2の位置一致計数値cTr[cj].Ct2=3となる。候補顧客軌跡セットにおける各軌跡の関心軌跡点セットに含まれる関心軌跡点は、該軌跡に対応する顧客がオフラインの販売場所に陳列された販売対象物品に関心を示す位置を示す軌跡点である。即ち、軌跡上の関心軌跡点は、該軌跡における、顧客が該位置においてオフラインの販売場所に陳列された販売対象物品に関心を示す軌跡点である。このステップ操作によって、各候補顧客軌跡の第2の位置一致計数値を取得することができる。
【0030】
ステップS207において、候補顧客軌跡セットcTrsにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、候補顧客軌跡セットにおいてレシートデータグループに対応する顧客軌跡を決定する。
【0031】
なお、複数の買い物レシートのそれぞれの買い物レシートのレシートデータグループに対して目標軌跡の処理方法200を実行して、それぞれのレシートデータグループと一致する顧客軌跡を決定してもよい。
【0032】
上記の説明から分かるように、目標軌跡の処理方法200は、買い物レシートと一致する(対応する)顧客軌跡を決定することができる。
【0033】
1つの実施例では、次の条件のうちの少なくとも1つが満たされた場合、候補顧客軌跡セットにおける軌跡上の軌跡点を該軌跡上の関心軌跡点とみなす。
【0034】
条件1:該軌跡点に関連する滞在時間の長さが第1の所定時間長閾値tTh1よりも大きい。
【0035】
条件2:該軌跡点に対応する追跡画像が、該軌跡点に関連する顧客がオフラインの販売場所に陳列された前記販売対象物品に手を出した動作を示す。
【0036】
候補顧客軌跡上の軌跡点は位置属性を有し、該位置属性は、顧客が該軌跡点にいる場合の顧客のオフラインの販売場所での2次元投影位置を示す。該2次元投影位置は、2次元座標(x,y)で表されてもよい。軌跡点は、例えば、滞在時間長属性を有し、滞在時間長tLは、顧客が該軌跡点に滞在する時間の長さを示す。滞在時間長は、目標追跡モデルにより与えられ、或いは目標追跡モデルにより与えられた目標に対するトラックレットに基づいて取得されてもよい。第1の所定時間長閾値tTh1は、例えば5秒である。
【0037】
監視画像における顧客がオフラインの販売場所に陳列された販売対象物品に手を出す動作は、動作認識モデルにより与えられてもよい。
【0038】
以下は、第1の位置一致計数値についてさらに説明する。1つの実施例では、候補顧客軌跡セットにおける各軌跡について、該軌跡と販売済み物品セットにおける販売済み物品のうちの1つの物品の陳列領域との最小距離が第1の距離閾値dTh1よりも小さい(即ち、該物品と該第1の距離閾値よりも小さい距離を有する軌跡とが位置的に一致する)場合、該軌跡の第1の位置一致計数値を1だけ増加させる。例えば、候補顧客軌跡cTr[cj]について、現在のレシートデータグループrdG[i]に含まれる複数の物品Item[imStart]~Item[imEnd]のうちの物品を走査し、軌跡cTr[cj]と現在の物品Item[im]の陳列領域との最小距離minDt2iを決定し、minDt2i<dTh1の場合、Ct1=Ct1+1、そうでない場合、im=im+1、次の物品と軌跡との最小距離minDt2iがdTh1よりも小さいか否か、Ct1を1だけ増加させるか否かを決定する。該第1の位置一致計数値を決定する方法300の一例のフローチャートは図3に示されている。候補顧客軌跡cTr[cj]について、ステップS301において、Ct1を0に初期化し、ループ変数imをimStartに初期化する。ステップS303において、物品Item[im]の陳列領域と軌跡cTr[cj]との最小距離minDt2iを決定する。ステップS305において、最小距離minDt2iが第1の距離閾値dTh1よりも小さいか否かを決定する。ステップS307において、Ct1を1だけ増加させる。ステップS309において、ループ変数imを1だけ増加させる。ステップS311において、imがimEnd+1に等しいか否かを決定する。ここで、物品の陳列領域は既知であり、オフラインの販売場所の2次元レイアウト平面に投影される。最小距離は2次元ユークリッド距離である。一例では、物品Item[im]の陳列領域と軌跡cTr[cj]上の軌跡点との距離Dt2iを容易に算出するために、物品の陳列領域の1つの代表的な点の2次元座標を使用して該物品の陳列領域を示し、軌跡上の複数の軌跡点についての複数の距離Dt2iのうちの最小距離を、該軌跡とレシートデータグループが示す販売済み物品セットにおける1つの物品の陳列領域との最小の距離minDt2iとして求めてもよい。一例では、軌跡cTr[cj]上の軌跡点に対して一定の時間間隔でダウンサンプリングし(計算量を低減させ)、得られたダウンサンプリング軌跡点セットにおける軌跡点について距離Dt2iを計算することによって、最小距離minDt2iを決定してもよい。
【0039】
以下は、第2の位置一致計数値についてさらに説明する。1つの実施例では、候補顧客軌跡セットにおける各軌跡について、該軌跡の関心軌跡点セットにおける関心軌跡点とレシートデータグループにより示される販売済み物品のうちの1つの物品の陳列領域との距離のうちの最小距離が第2の距離閾値dTh2よりも小さい(即ち、物品と該第2の距離閾値よりも小さい距離を有する関心軌跡点とが位置的に一致する)場合、該軌跡の第2の位置一致計数値を1だけ増加させる。例えば、候補顧客軌跡cTr[cj]について、現在のレシートデータグループrdG[i]に含まれる複数の物品Item[imStart]~Item[imEnd]のうちの物品を走査し、軌跡cTr[cj]の関心軌跡点セットにおける軌跡点(inP[inStart]~inP[inEnd])と現在の物品Item[im]の陳列領域との最小距離minDi2iを決定し、minDi2i<dTh1の場合、Ct2=Ct2+1、そうでない場合、im=im+1、次の物品と感心軌跡点セットにおける軌跡点との最小距離minDi2iがdTh2よりも小さいか否か、Ct2を1だけ増加させるか否かを決定する。第2の位置一致計数値を決定する方法400の一例のフローチャートは図4に示されている。候補顧客軌跡cTr[cj]について、ステップS401において、Ct2を0に初期化し、ループ変数imをimStartに初期化する。ステップS403において、物品Item[im]の陳列領域と軌跡cTr[cj]の関心軌跡点セットにおける軌跡点inP[inStart]~inP[inEnd]との最小距離minDi2iを決定する。ステップS405において、最小距離minDi2iが第2の距離閾値dTh2よりも小さいか否かを決定する。ステップS407において、Ct2を1だけ増加させる。ステップS409において、ループ変数imを1だけ増加させる。ステップS411において、imがimEnd+1に等しいか否かを決定する。ここで、物品の陳列領域は既知であり、オフラインの販売場所の2次元レイアウト平面に投影される。最小距離は2次元ユークリッド距離である。一例では、物品Item[im]の陳列領域と軌跡cTr[cj]上の関心軌跡点との距離Di2iを容易に算出するために、物品の陳列領域の1つの代表的な点の2次元座標を使用して該物品の陳列領域を示し、複数の関心軌跡に対応する複数の距離Di2iのうちの最小距離minDi2iを求めてもよい。一例では、第1の距離閾値dTh1は、第2の距離閾値dTh2と等しい。
【0040】
一部のオフラインの販売場所では、顧客は、商品を見て購入を決定した後、直接セルフサービスでスキャンして該商品を購入してもよく、即ち、顧客は、セルフサービスでリアルタイムに各物品を購入してもよい。このような場合、レシートデータグループは、顧客が各物品をセルフサービスでリアルタイムに購入する際の対応するリアルタイム支払い時間をさらに含んでもよい。このような場合を考慮すると、1つの実施例では、第1の位置一致計数値を計数する際に、レシートデータグループにより示される販売済み物品と位置的に一致する該軌跡上の軌跡点について、該軌跡点は、該販売済み物品のリアルタイムの支払い時間と該軌跡点の滞在期間とが一致することを満たす。また、該第2の位置一致計数値を計数する際に、該軌跡の関心軌跡点セットにおけるレシートデータグループにより示される販売済み物品と位置的に一致する関心軌跡点について、該関心軌跡点は、該販売済み物品のリアルタイムの支払い時間と該関心軌跡点の滞在期間とが一致することを満たす。即ち、第1の位置一致計数値又は第2の位置一致計数値を計数するための軌跡点は、平面距離が距離閾値条件を満たすだけではなく、時間的にも時間一致条件を満たす(例えば、リアルタイムの支払い時間が該軌跡点の滞在期間内にあり、或いは、リアルタイムの支払い時間と該軌跡点の滞在期間の代表的な時間との差の絶対値が所定の時間差閾値範囲内にある)。一例では、軌跡点の滞在期間は、該軌跡点の代表的な時間で表され、該関心軌跡点の滞在期間は、該関心軌跡点の代表的な時間で表される。さらに、一例では、第1の位置一致計数値を計数する際に、レシートデータグループにより示される販売済み物品と位置的に一致する該軌跡上の軌跡点について、該軌跡点は、該販売済み物品のリアルタイムの支払い時間と該軌跡点の代表的な時間との差の絶対値が第2の所定時間長閾値tTh2よりも小さいことを満たす。また、第2の位置一致計数値を計数する際に、該軌跡の関心軌跡点セットにおけるレシートデータグループにより示される販売済み物品と位置的に一致する関心軌跡点について、該関心軌跡点は、該販売済み物品のリアルタイムの支払い時間と該関心軌跡点の代表的な時間との差の絶対値が第2の所定時間長閾値よりも小さいことを満たす。
【0041】
1つの実施例では、候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、候補顧客軌跡セットにおいてレシートデータグループに対応する顧客軌跡を決定するステップは、候補顧客軌跡セットにおける各軌跡についての第1の位置一致計数値と第2の位置一致計数値との加重和、即ち、c1*Ct2+c2*Ct2(ここで、c1、c2は重み付け係数であり、c1+c2=1と制限してもよい)を決定するステップと、全ての加重和のうちの最大加重和を決定するステップと、最大加重和に対応する対応軌跡をレシートデータグループに対応する顧客軌跡の一部として決定するステップと、を含む。
【0042】
1つの実施例では、上記で決定された対応する軌跡がレシートデータグループに対応する顧客軌跡の複数のセグメント軌跡のうちの1つのみである可能性があることを考慮すると、顧客軌跡補正操作を実行することによって、顧客軌跡の複数のセグメント軌跡のうちの他のセグメント軌跡を取得してもよい。図5は、本開示の1つの実施例に係る顧客軌跡補正操作500を示す例示的なフローチャートである。ステップS501において、候補顧客軌跡セットから対応軌跡を除外して候補顧客軌跡セットを更新する。ステップS503において、販売済み物品セットから対応軌跡と一致する物品を除外して販売済み物品セットを更新する。ステップS505において、更新された候補顧客軌跡セットにおいて、更新された販売済み物品セットにおける販売済み物品の位置に関して最大位置一致計数値を有する軌跡を候補一致軌跡として決定する。ステップS507において、再認識特徴に基づいて候補一致軌跡と対応軌跡との再認識特徴類似度Sを決定する。ステップS509において、再認識特徴類似度Sが所定の類似度閾値sThよりも大きいか否かを決定する。ステップS511において、候補一致軌跡をレシートデータグループに対応する顧客軌跡の他部として決定する。現在の軌跡の位置一致計数値を決定する際に、現在の販売済み物品セットにおける1つの物品の陳列領域と現在の軌跡との最小距離が所定の距離閾値(例えば、第1の距離閾値dTh1)よりも小さい場合、該軌跡の位置一致計数値を1だけ増加させる。このように、候補顧客軌跡セットにおける各軌跡の位置一致計数値を取得することができ、その中から最大の位置一致計数値を有する軌跡を候補一致軌跡として取得することができる。候補一致軌跡と対応軌跡との再認識特徴類似度Sは、候補一致軌跡の代表的な再認識特徴と対応軌跡の代表的な再認識特徴との余弦類似度であってもよい。軌跡の代表的な再認識特徴は、軌跡の対応するトラックレット(即ち、画像ブロックシーケンス)における代表的な画像ブロックの再認識特徴である。該代表的な画像ブロックは、画像ブロックの外接枠の検出信頼度、画像ブロックの外接枠の遮蔽率、及び/又はトラックレットにおける最大外接枠の高さに対する該外接枠の高さの比(高さ比率)に基づいて決定されてもよい。トラックレットにおける検出信頼度が高く、遮蔽率が低く、高さ比率が大きい画像ブロックを代表的な画像ブロックとして選択してもよい。
【0043】
1つの実施例では、レシートデータグループrdG[i]に対応する一致顧客軌跡を決定する際に、一致顧客軌跡の複数のセグメント軌跡が2つ以上である可能性があることを考慮すると、顧客軌跡に追加される新たな軌跡セグメントがなくなるまで、顧客軌跡補正操作を繰り返して実行してもよい。具体的には、目標軌跡の処理方法200は、再認識特徴類似度が所定の類似度閾値よりも大きい場合、対応軌跡を候補一致軌跡に更新し、顧客軌跡補正操作を再度実行するステップと、再認識特徴類似度が所定の類似度閾値以下である場合、顧客軌跡補正操作を終了するステップと、をさらに含んでもよい。
【0044】
顧客軌跡補正操作によれば、より多くの軌跡を同一の目標の軌跡として合併することができるため、目標追跡の正確度を向上させることができる。
【0045】
本開示の1つの実施例では、目標追跡における目標軌跡の処理装置を提供する。以下は、図6を参照しながらその一例を説明する。図6は、本開示の1つの実施例に係る目標追跡における目標軌跡の処理装置600を示す例示的なブロック図である。目標軌跡の処理装置600は、候補顧客軌跡セット決定部601、第1の計数部603、第2の計数部605、及び顧客軌跡決定部607を含む。候補顧客軌跡セット決定部601は、複数の買い物レシートのうちの1つの買い物レシートR[i]に対応するレシートデータグループrdG[i]の候補顧客軌跡セットcTrs(cTr[ciStart]~cTr[ciEnd])を決定する。第1の計数部603は、候補顧客軌跡セットにおける各軌跡について、レシートデータグループが示す販売済み物品セットItems(即ち、{Item[imStart]、…、Item[imEnd]})における、位置が該軌跡と一致する販売済み物品の数を、該軌跡の第1の位置一致計数値Ct1として計数する。第2の計数部605は、候補顧客軌跡セットにおける各軌跡について、販売済み物品セットItemsにおける、位置が該軌跡の関心軌跡点セットにおける関心軌跡点と一致する販売済み物品の数を、該軌跡の第2の位置一致計数値Ct2として計数する。候補顧客軌跡セットにおける各軌跡の関心軌跡点セットに含まれる関心軌跡点は、該軌跡に対応する顧客がオフラインの販売場所に陳列された販売対象物品に関心を示す位置を示す軌跡点である。顧客軌跡決定部607は、候補顧客軌跡セットcTrsにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、候補顧客軌跡セットにおいてレシートデータグループに対応する顧客軌跡を決定する。目標軌跡の処理装置600は、目標軌跡の処理方法200に対応する。目標軌跡の処理装置600のさらなる構成は、本開示の目標軌跡の処理方法200についての説明内容を参照してもよい。
【0046】
本開示の1つの実施例では、マルチ目標マルチカメラ追跡のための装置をさらに提供する。以下は、図7を参照しながらその一例を説明する。図7は、本開示のもう1つの実施例に係る目標追跡における目標軌跡の処理装置700を示す例示的なブロック図である。目標軌跡の処理装置700は、命令が記憶されたメモリ701と、メモリ701に接続され、且つ命令を実行するように構成された少なくとも1つのプロセッサ703と、を含む。少なくとも1つのプロセッサ703は、複数の買い物レシートのうちの1つの買い物レシートに対応するレシートデータグループの候補顧客軌跡セットを決定するステップと、候補顧客軌跡セットにおける各軌跡について、レシートデータグループが示す販売済み物品セットにおける、位置が該軌跡と一致する販売済み物品の数を、該軌跡の第1の位置一致計数値として計数するステップと、候補顧客軌跡セットにおける各軌跡について、販売済み物品セットにおける、位置が該軌跡の関心軌跡点セットにおける関心軌跡点と一致する販売済み物品の数を、該軌跡の第2の位置一致計数値として計数するステップと、候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、候補顧客軌跡セットにおいてレシートデータグループに対応する顧客軌跡を決定するステップと、を実現するように命令を実行する。ここで、候補顧客軌跡セットにおける各軌跡の関心軌跡点セットに含まれる関心軌跡点は、該軌跡に対応する顧客がオフラインの販売場所に陳列された販売対象物品に関心を示す位置を示す軌跡点である。命令は、目標軌跡の処理方法200に対応する。目標軌跡の処理装置700のさらなる構成は、本開示の目標軌跡の処理方法200についての説明内容を参照してもよい。
【0047】
本開示の1つの態様では、プログラムが記憶されたコンピュータ読み取り可能な非一時的な記憶媒体を提供する。該プログラムがコンピュータにより実行される際に、該コンピュータは、複数の買い物レシートのうちの1つの買い物レシートに対応するレシートデータグループの候補顧客軌跡セットを決定するステップと、候補顧客軌跡セットにおける各軌跡について、レシートデータグループが示す販売済み物品セットにおける、位置が該軌跡と一致する販売済み物品の数を、該軌跡の第1の位置一致計数値として計数するステップと、候補顧客軌跡セットにおける各軌跡について、販売済み物品セットにおける、位置が該軌跡の関心軌跡点セットにおける関心軌跡点と一致する販売済み物品の数を、該軌跡の第2の位置一致計数値として計数するステップと、候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、候補顧客軌跡セットにおいてレシートデータグループに対応する顧客軌跡を決定するステップと、を実現する。ここで、候補顧客軌跡セットにおける各軌跡の関心軌跡点セットに含まれる関心軌跡点は、該軌跡に対応する顧客がオフラインの販売場所に陳列された販売対象物品に関心を示す位置を示す軌跡点である。プログラムは、目標軌跡の処理方法200に対応する。プログラムのさらなる構成状況は、本開示の目標軌跡の処理方法200についての説明内容を参照してもよい。
【0048】
本開示の1つの態様では、目標追跡における目標軌跡を処理するための情報処理装置をさらに提供する。
【0049】
図8は、本開示の1つの実施例に係る情報処理装置800を示す例示的なブロック図である。図8において、中央処理部(CPU)801は、読み出し専用メモリ(ROM)802に記憶されているプログラム、又は記憶部808からランダムアクセスメモリ(RAM)803にロードされたプログラムにより各種の処理を実行する。RAM803には、必要に応じて、CPU801が各種の処理を実行するに必要なデータが記憶されている。
【0050】
CPU801、ROM802、及びRAM803は、バス804を介して互いに接続されている。入力/出力インターフェース805もバス804に接続されている。
【0051】
入力部806(キーボード、マウスなどを含む)、出力部807(ディスプレイ、例えばブラウン管(CRT)、液晶ディスプレイ(LCD)など、及びスピーカなどを含む)、記憶部808(例えばハードディスクなどを含む)、通信部809(ネットワークのインターフェースカード、例えばLANカード、モデムなどを含む)は、入力/出力インターフェース805に接続されている。通信部809は、ネットワーク、例えばインターネット、ローカルエリアネットワーク、モバイルネットワーク、又はそれらの組み合わせを介して通信処理を実行する。
【0052】
必要に応じて、ドライバ810は、入力/出力インターフェース805に接続されてもよい。取り外し可能な媒体811は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライバ810にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部808にインストールされている。
【0053】
CPU801は、目標追跡における目標軌跡の処理方法に対応するプログラムを実行してもよい。
【0054】
本開示に係る方法、装置及び記憶媒体の有利な効果は、以下の少なくとも1つの有利な効果を含む。1つの買い物レシートデータグループに一致する顧客軌跡を決定する。また、目標追跡の正確度を改善する。
【0055】
上述したように、本開示では、買い物レシートに対応するレシートデータグループのマッチング目標軌跡を決定する原理を説明した。なお、本開示の効果は、必ずしも上記の効果に限定されるものではなく、上記の段落に記載された効果に加えて、又はその代わりに、本明細書に示される効果の何れかを得ることができ、或いは、本明細書から他の効果を理解することができる。
【0056】
以上は本開示の具体的な実施例を説明しているが、当業者は添付の特許請求の範囲の要旨及び範囲内で本開示に対して各種の変更(行の場合、各実施例の特徴を組み合わせ、或いは置き換える)、改善又は均等的なものを行うことができる。これらの変更、改善又は均等的なものは本開示の保護範囲に属する。
【0057】
なお、用語「含む」、「有する」は本明細書に説明された特徴、要素、ステップ又は部材の存在を意味するが、他の1つ又は複数の特徴、要素、ステップ又は部材の存在又は追加を排除するものではない。
【0058】
さらに、本発明の各実施例の方法は、明細書に記載され、或いは図面に示される時間の順序に従って実行されることに限定されず、他の時間の順序に従って実行されてもよいし、並行して又は独立して実行されてもよい。従って、本明細書に記載された方法の実行順序は、本発明の技術的範囲を制限するものではない。
【0059】
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示するが、これらの付記に限定されない。
(付記1)
目標追跡における目標軌跡の処理方法であって、
複数の買い物レシートのうちの1つの買い物レシートに対応するレシートデータグループの候補顧客軌跡セットを決定するステップと、
前記候補顧客軌跡セットにおける各軌跡について、前記レシートデータグループが示す販売済み物品セットにおける、位置が該軌跡と一致する販売済み物品の数を、該軌跡の第1の位置一致計数値として計数するステップと、
前記候補顧客軌跡セットにおける各軌跡について、前記販売済み物品セットにおける、位置が該軌跡の関心軌跡点セットにおける関心軌跡点と一致する販売済み物品の数を、該軌跡の第2の位置一致計数値として計数するステップと、
前記候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、前記候補顧客軌跡セットにおいて前記レシートデータグループに対応する顧客軌跡を決定するステップと、を含み、
前記候補顧客軌跡セットにおける各軌跡の前記関心軌跡点セットに含まれる関心軌跡点は、該軌跡に対応する顧客がオフラインの販売場所に陳列された販売対象物品に関心を示す位置を示す軌跡点である、方法。
(付記2)
前記レシートデータグループは、電子POS(ポイント・オブ・セールス)システムにより提供される電子POSデータを含む、付記1に記載の方法。
(付記3)
前記レシートデータグループは、顧客の購入済み物品を示す物品名称リスト及び購入時間情報を含む、付記1に記載の方法。
(付記4)
目標追跡モデルを使用して、前記オフラインの販売場所における顧客軌跡を含む顧客軌跡セットを決定するステップと、
前記レシートデータグループに含まれる購入時間情報に基づいて、前記顧客軌跡セットから前記候補顧客軌跡セットを決定するステップと、をさらに含む、付記3に記載の方法。
(付記5)
前記候補顧客軌跡セットにおける各軌跡について、該軌跡と前記販売済み物品セットにおける販売済み物品のうちの1つの物品の陳列領域との最小距離が第1の距離閾値よりも小さい場合、該軌跡の第1の位置一致計数値を1だけ増加させる、付記1に記載の方法。
(付記6)
前記候補顧客軌跡セットにおける各軌跡について、該軌跡の関心軌跡点セットにおける関心軌跡点と前記販売済み物品セットにおける販売済み物品のうちの1つの物品の陳列領域との距離のうちの最小距離が第2の距離閾値よりも小さい場合、該軌跡の第2の位置一致計数値を1だけ増加させる、付記1に記載の方法。
(付記7)
条件1及び条件2のうちの少なくとも1つが満たされた場合、前記候補顧客軌跡セットにおける軌跡上の軌跡点を該軌跡上の関心軌跡点とみなし、
前記条件1は、該軌跡点に関連する滞在時間の長さが第1の所定時間長閾値よりも大きいことであり、
前記条件2は、該軌跡点に対応する追跡画像が、該軌跡点に関連する顧客がオフラインの販売場所に陳列された前記販売対象物品に手を出した動作を示すことである、付記1に記載の方法。
(付記8)
前記最小距離は2次元ユークリッド距離である、付記5に記載の方法。
(付記9)
前記最小距離は2次元ユークリッド距離である、付記6に記載の方法。
(付記10)
前記レシートデータグループが示す前記販売済み物品のうちの1つの物品の陳列領域は、1つの代表的な点の2次元座標で表される、付記5に記載の方法。
(付記11)
前記レシートデータグループが示す前記販売済み物品のうちの1つの物品の陳列領域は、1つの代表的な点の2次元座標で表される、付記6に記載の方法。
(付記12)
前記購入時間情報は、前記顧客が各物品をセルフサービスでリアルタイムに購入する際の対応するリアルタイム支払い時間を含む、付記3に記載の方法。
(付記13)
前記第1の位置一致計数値を計数する際に、位置が前記販売済み物品セットにおける販売済み物品と一致する該軌跡上の軌跡点について、該軌跡点は、該販売済み物品のリアルタイムの支払い時間と該軌跡点の滞在期間とが一致することを満たし、
前記第2の位置一致計数値を計数する際に、位置が前記販売済み物品セットにおける販売済み物品と一致する該軌跡の関心軌跡点セットにおける関心軌跡点について、該関心軌跡点は、該販売済み物品のリアルタイムの支払い時間と該関心軌跡点の滞在期間とが一致することを満たす、付記12に記載の方法。
(付記14)
前記軌跡点の滞在期間は、該軌跡点の代表的な時間で表され、
該関心軌跡点の滞在期間は、該関心軌跡点の代表的な時間で表される、付記13に記載の方法。
(付記15)
前記第1の位置一致計数値を計数する際に、位置が該販売済み物品セットにおける販売済み物品と一致する該軌跡上の軌跡点について、該軌跡点は、該販売済み物品のリアルタイムの支払い時間と該軌跡点の代表的な時間との差の絶対値が第2の所定時間長閾値よりも小さいことを満たし、
前記第2の位置一致計数値を計数する際に、位置が前記販売済み物品セットにおける販売済み物品と一致する該軌跡の関心軌跡点セットにおける関心軌跡点について、該関心軌跡点は、該販売済み物品のリアルタイムの支払い時間と該関心軌跡点の代表的な時間との差の絶対値が前記第2の所定時間長閾値よりも小さいことを満たす、付記16に記載の方法。
(付記16)
前記候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、前記候補顧客軌跡セットにおいて前記レシートデータグループに対応する顧客軌跡を決定するステップは、
前記候補顧客軌跡セットにおける各軌跡についての第1の位置一致計数値と第2の位置一致計数値との加重和を決定するステップと、
全ての加重和のうちの最大加重和を決定するステップと、
前記最大加重和に対応する対応軌跡を前記レシートデータグループに対応する顧客軌跡の一部として決定するステップと、を含む、付記1に記載の方法。
(付記17)
顧客軌跡補正操作を実行するステップ、をさらに含み、
前記顧客軌跡補正操作は、
前記候補顧客軌跡セットから前記対応軌跡を除外して前記候補顧客軌跡セットを更新することと、
前記販売済み物品セットから前記対応軌跡と一致する物品を除外して前記販売済み物品セットを更新することと、
更新された候補顧客軌跡セットにおいて、更新された前記販売済み物品セットにおける販売済み物品の位置に関して最大位置一致計数値を有する軌跡を候補一致軌跡として決定することと、
再認識特徴に基づいて前記候補一致軌跡と前記対応軌跡との再認識特徴類似度を決定することと、
前記再認識特徴類似度が所定の類似度閾値よりも大きい場合、前記候補一致軌跡を前記レシートデータグループに対応する前記顧客軌跡の一部として決定することと、を含む、付記16に記載の方法。
(付記18)
前記再認識特徴類似度が所定の類似度閾値よりも大きい場合、前記対応軌跡を前記候補一致軌跡に更新し、前記顧客軌跡補正操作を再度実行するステップと、
前記再認識特徴類似度が所定の類似度閾値以下である場合、前記顧客軌跡補正操作を終了するステップと、をさらに含む、付記17に記載の方法。
(付記19)
目標軌跡の処理装置であって、
命令が記憶されたメモリと、
前記メモリに接続され、且つ前記命令を実行するように構成された少なくとも1つのプロセッサと、を含み、
前記少なくとも1つのプロセッサは、
複数の買い物レシートのうちの1つの買い物レシートに対応するレシートデータグループの候補顧客軌跡セットを決定するステップと、
前記候補顧客軌跡セットにおける各軌跡について、前記レシートデータグループが示す販売済み物品セットにおける、位置が該軌跡と一致する販売済み物品の数を、該軌跡の第1の位置一致計数値として計数するステップと、
前記候補顧客軌跡セットにおける各軌跡について、前記販売済み物品セットにおける、位置が該軌跡の関心軌跡点セットにおける関心軌跡点と一致する販売済み物品の数を、該軌跡の第2の位置一致計数値として計数するステップと、
前記候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、前記候補顧客軌跡セットにおいて前記レシートデータグループに対応する顧客軌跡を決定するステップと、を実現するように前記命令を実行し、
前記候補顧客軌跡セットにおける各軌跡の前記関心軌跡点セットに含まれる関心軌跡点は、該軌跡に対応する顧客がオフラインの販売場所に陳列された販売対象物品に関心を示す位置を示す軌跡点である、装置。
(付記20)
プログラムが記憶されたコンピュータ読み取り可能な非一時的な記憶媒体であって、前記プログラムがコンピュータにより実行される際に、前記コンピュータは、
複数の買い物レシートのうちの1つの買い物レシートに対応するレシートデータグループの候補顧客軌跡セットを決定するステップと、
前記候補顧客軌跡セットにおける各軌跡について、前記レシートデータグループが示す販売済み物品セットにおける、位置が該軌跡と一致する販売済み物品の数を、該軌跡の第1の位置一致計数値として計数するステップと、
前記候補顧客軌跡セットにおける各軌跡について、前記販売済み物品セットにおける、位置が該軌跡の関心軌跡点セットにおける関心軌跡点と一致する販売済み物品の数を、該軌跡の第2の位置一致計数値として計数するステップと、
前記候補顧客軌跡セットにおける複数の軌跡の第1の位置一致計数値及び第2の位置一致計数値に基づいて、前記候補顧客軌跡セットにおいて前記レシートデータグループに対応する顧客軌跡を決定するステップと、を実現し、
前記候補顧客軌跡セットにおける各軌跡の前記関心軌跡点セットに含まれる関心軌跡点は、該軌跡に対応する顧客がオフラインの販売場所に陳列された販売対象物品に関心を示す位置を示す軌跡点である、記憶媒体。
図1
図2
図3
図4
図5
図6
図7
図8