特許 7428241 処理装置、処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-29

(45)【発行日】2024-02-06

(54)【発明の名称】処理装置、処理方法及びプログラム

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20240130BHJP

【ＦＩ】

G06Q30/06

【請求項の数】 9

(21)【出願番号】P 2022516800

(86)(22)【出願日】2020-04-24

(86)【国際出願番号】 JP2020017716

(87)【国際公開番号】W WO2021214986

(87)【国際公開日】2021-10-28

【審査請求日】2022-10-13

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】橋本 博志

(72)【発明者】

【氏名】白石 壮馬

(72)【発明者】

【氏名】佐藤 貴美

(72)【発明者】

【氏名】鍋藤 悠

(72)【発明者】

【氏名】荒井 観

(72)【発明者】

【氏名】渋谷 恵

(72)【発明者】

【氏名】古川 あずさ

(72)【発明者】

【氏名】花沢 健

(72)【発明者】

【氏名】秋口 万貴子

【審査官】塩田 徳彦

(56)【参考文献】

【文献】国際公開第２０１９／１８１４９９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００８／０１５９６３４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

顧客が手に持っている商品の画像を取得する取得手段と、
前記画像に基づき、前記商品の位置の時系列情報を生成する画像解析手段と、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する判断手段と、
前記顧客が前記特定の行動を行った旨を登録する登録手段と、
を有し、
前記判断手段は、
前記時系列情報に基づき、
前記商品の移動速度、加速度又は位置の変化量の時系列情報、
前記商品の移動速度、加速度又は位置の変化量の統計値、又は、
前記商品の移動速度、加速度又は位置の変化量の単位時間ごとの統計値の時系列情報を、前記商品の移動状況を示す情報として算出する処理装置。

【請求項2】

前記判断手段は、
前記商品の移動速度の時系列情報の中に、前記商品の移動速度が基準値以上である第１の時間帯が前記商品の移動速度が前記基準値未満である第２の時間帯を挟み込んだパターンを含む場合、前記顧客が手に持っている前記商品の外観を視認する行動を行ったと判断する請求項１に記載の処理装置。

【請求項3】

前記判断手段は、
前記商品の移動速度の時系列情報の中に、前記商品の移動速度が基準値以上である第１の時間帯が前記商品の移動速度が前記基準値未満である第２の時間帯を挟み込み、前記第２の時間帯の長さが基準値以上であるパターンを含む場合、前記顧客が手に持っている前記商品を購入するか否か迷ったと判断する請求項１又は２に記載の処理装置。

【請求項4】

前記判断手段は、
前記商品の移動速度の時系列情報の中に、前記商品の移動速度が基準値以上である第１の時間帯が前記商品の移動速度が前記基準値未満である第２の時間帯を挟み込んだパターンを含まない場合、前記顧客が商品陳列棚から取り出した前記商品を、外観を視認することなく買い物かごに入れたと判断する請求項１から３のいずれか１項に記載の処理装置。

【請求項5】

前記画像解析手段は、前記画像に基づき前記商品の向きの時系列情報を生成し、
前記判断手段は、前記商品の向きの時系列情報に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する請求項１から４のいずれか１項に記載の処理装置。

【請求項6】

前記判断手段は、
前記商品の移動状況が所定条件を満たす間に前記商品の向きが所定レベル以上変化した場合、前記顧客が手に持っている前記商品の外観を視認する行動を行ったと判断する請求項５に記載の処理装置。

【請求項7】

前記判断手段は、
前記商品の移動状況が所定条件を満たす間に前記商品の向きが第１の向きから第２の向きに変化し、その後、前記第１の向きに戻った場合、前記顧客が手に持っている前記商品を購入するか否か迷ったと判断する請求項５又は６に記載の処理装置。

【請求項8】

コンピュータが、
顧客が手に持っている商品の画像を取得し、
前記画像に基づき、前記商品の位置の時系列情報を生成し、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断し、
前記顧客が前記特定の行動を行った旨を登録し、
前記特定の行動を行ったか否かを判断する処理では、
前記時系列情報に基づき、
前記商品の移動速度、加速度又は位置の変化量の時系列情報、
前記商品の移動速度、加速度又は位置の変化量の統計値、又は、
前記商品の移動速度、加速度又は位置の変化量の単位時間ごとの統計値の時系列情報を、前記商品の移動状況を示す情報として算出する処理方法。

【請求項9】

コンピュータを、
顧客が手に持っている商品の画像を取得する取得手段、
前記画像に基づき、前記商品の位置の時系列情報を生成する画像解析手段、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する判断手段、
前記顧客が前記特定の行動を行った旨を登録する登録手段、
として機能させ、
前記判断手段は、
前記時系列情報に基づき、
前記商品の移動速度、加速度又は位置の変化量の時系列情報、
前記商品の移動速度、加速度又は位置の変化量の統計値、又は、
前記商品の移動速度、加速度又は位置の変化量の単位時間ごとの統計値の時系列情報を、前記商品の移動状況を示す情報として算出するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、処理方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１は、顧客の視線の動きをトラッキングして顧客が見た商品を特定する顧客行動分析方法を開示している。

【0003】

非特許文献１及び２は、レジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムを開示している。当該技術では、店内を撮影するカメラが生成した画像に基づき顧客が手に持っている商品を認識し、顧客が店舗を出たタイミングで認識結果に基づき自動的に決済処理を行う。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１５／０３３５７７号

【非特許文献】

【0005】

【文献】宮田拓弥、“Ａｍａｚｏｎ Ｇｏの仕組み「カメラとマイク」で実現するレジなしスーパー”、[online]、２０１６年１２月１０日、［２０１９年１２月６日検索］、インターネット<URL:https://www.huffingtonpost.jp/tak-miyata/amazon-go_b_13521384.html>

【文献】“ＮＥＣ、レジレス店舗「ＮＥＣ ＳＭＡＲＴ ＳＴＯＲＥ」を本社内にオープン--顔認証活用、退店と同時決済”、[online]、２０２０年２月２８日、［２０２０年３月２７日検索］、インターネット<URL: https://japan.cnet.com/article/35150024/>

【発明の概要】

【発明が解決しようとする課題】

【0006】

顧客の嗜好調査やマーケティング調査等のために顧客の店内行動を分析する技術が望まれている。様々な手法で顧客の店内行動を分析できれば、分析できる内容の幅が広がったり、精度が向上したりという効果が得られる。本発明は、顧客の店内行動を分析するための新たな手法を提供することを課題とする。

【課題を解決するための手段】

【0007】

本発明によれば、
顧客が手に持っている商品の画像を取得する取得手段と、
前記画像に基づき、前記商品の位置の時系列情報を生成する画像解析手段と、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する判断手段と、
前記顧客が前記特定の行動を行った旨を登録する登録手段と、
を有する処理装置が提供される。

【0008】

また、本発明によれば、
コンピュータが、
顧客が手に持っている商品の画像を取得し、
前記画像に基づき、前記商品の位置の時系列情報を生成し、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断し、
前記顧客が前記特定の行動を行った旨を登録する処理方法が提供される。

【0009】

また、本発明によれば、
コンピュータを、
顧客が手に持っている商品の画像を取得する取得手段、
前記画像に基づき、前記商品の位置の時系列情報を生成する画像解析手段、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する判断手段、
前記顧客が前記特定の行動を行った旨を登録する登録手段、
として機能させるプログラムが提供される。

【発明の効果】

【0010】

本発明によれば、顧客の店内行動を分析するための新たな手法が実現される。

【図面の簡単な説明】

【0011】

【図1】本実施形態の処理装置のハードウエア構成の一例を示す図である。

【図2】本実施形態の処理装置の機能ブロック図の一例である。

【図3】本実施形態のカメラの設置例を説明するための図である。

【図4】本実施形態のカメラの設置例を説明するための図である。

【図5】本実施形態の処理装置の処理内容を説明するための図である。

【図6】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図7】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図8】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図9】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【図10】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

＜第１の実施形態＞
「概要」
本実施形態の処理装置は、顧客が手に持っている商品を撮影するカメラが生成した画像を取得すると、その画像に基づきその商品（顧客が手に持っている商品）の位置の時系列情報を生成し、当該位置の時系列情報で示される商品の移動状況に基づき、顧客がその商品（顧客が手に持っている商品）に対して行った行動を特定する。当該処理装置によれば、顧客の店内行動を分析するための新たな手法が実現される。

【0013】

「ハードウエア構成」
次に、処理装置のハードウエア構成の一例を説明する。

【0014】

処理装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0015】

図１は、処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。処理装置が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。

【0016】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0017】

「機能構成」
図２に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、画像解析部１２と、判断部１３と、登録部１４とを有する。

【0018】

取得部１１は、顧客が手に持っている商品を撮影するカメラが生成した顧客が手に持っている商品の画像を取得する。

【0019】

ここで、カメラについて説明する。本実施形態では顧客が手に持っている商品を複数の方向及び複数の位置から撮影できるように店内に複数のカメラ（２台以上のカメラ）が設置される。例えば商品陳列棚毎に、各々から取り出され、各々の前に位置する顧客が手に持っている商品を撮影する位置及び向きで複数のカメラが設置されてもよい。カメラは、商品陳列棚に設置されてもよいし、天井に設置されてもよいし、床に設置されてもよいし、壁面に設置されてもよいし、その他の場所に設置されてもよい。なお、商品陳列棚毎にカメラを設置する例はあくまで一例であり、これに限定されない。

【0020】

カメラは動画像を常時（店舗営業中）撮影してもよいし、動画像のフレーム間隔よりも大きい時間間隔で静止画像を継続的に撮影してもよいし、人感センサー等で所定位置（商品陳列棚の前等）に存在する人を検出している間のみこれらの撮影を実行してもよい。

【0021】

ここで、カメラ設置の一例を示す。なお、ここで説明するカメラ設置例はあくまで一例であり、これに限定されない。図３に示す例では、商品陳列棚１毎に２つのカメラ２が設置されている。図４は、図３の枠４を抽出した図である。枠４を構成する２つの部品各々には、カメラ２と照明とが設けられる。

【0022】

照明は発光部とカバーとを有する。照明の光放射面は一方向に延在している。照明は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。

【0023】

そしてカメラ２は、直線状に延伸する枠４の部品の一端側に設けられており、照明の光が放射される方向を撮影範囲としている。例えば図４の左側の枠４の部品において、カメラ２は下方、下前方、右斜め下及び右斜め下前方を撮影範囲としている。また、図４の右側の枠４の部品において、カメラ２は上方、上前方、左斜め上及び左斜め上前方を撮影範囲としている。

【0024】

図３に示すように、枠４は、商品載置スペースを構成する商品陳列棚１の前面フレーム（又は両側の側壁の前面）に取り付けられる。枠４の部品の一方は、一方の前面フレームに、カメラ２が下方に位置する向きに取り付けられる。枠４の部品の他方は、他方の前面フレームに、カメラ２が上方に位置する向きに取り付けられる。そして、枠４の部品の一方に取り付けられたカメラ２は、商品陳列棚１の開口部及びその前方（商品陳列棚１の前に位置する顧客側）を撮影範囲に含むように、上方、上前方、左斜め上及び左斜め上前方を撮影する。一方、枠４の部品の他方に取り付けられたカメラ２は、商品陳列棚１の開口部及びその前方（商品陳列棚１の前に位置する顧客側）を撮影範囲に含むように、下方、下前方、右斜め下及び右斜め下前方を撮影する。このように構成することで、２つのカメラ２で商品陳列棚１の開口部の全範囲及び商品陳列棚１の前方（商品陳列棚１の前に位置する顧客側）を撮影することができる。結果、商品陳列棚１から取り出されている商品や、商品陳列棚１の前に位置する顧客や、当該顧客が手に持っている商品等を２つのカメラ２で撮影することが可能となる。

【0025】

図２に戻り、画像解析部１２は、取得部１１が取得した画像に基づき、顧客が手に持っている商品の位置の時系列情報等を生成する。画像解析部１２は、商品認識処理、追跡処理及び位置算出処理を実行する。その他、画像解析部１２は、顧客分析処理を実行してもよい。以下、各処理について説明する。

【0026】

－商品認識処理－
当該処理では、画像解析部１２は、画像を解析し、画像内に存在する商品を認識する。画像内に存在する商品を認識する技術は広く知られており、画像解析部１２はあらゆる技術を採用することができる。以下、一例を説明する。

【0027】

まず、画像解析部１２は、画像内に存在する物体を検出する。なお、画像解析部１２は、画像内で人の手を検出し、人の手と接している物体を検出してもよい。物体検出技術や人の手を検出する技術は広く知られているので、ここでの説明は省略する。

【0028】

次いで、画像解析部１２は、画像から検出した物体の外観の特徴量と、予め登録された複数の商品各々の外観の特徴量とを照合することで、画像内に存在する商品を認識する。

【0029】

例えば、予め、複数の商品各々の画像と各商品の識別情報（ラベル）とを紐づけた教師データに基づく機械学習で、画像内の商品を認識するクラス分類器が生成されていてもよい。そして、画像解析部１２は、当該クラス分類器に取得部１１が取得した画像を入力することで、商品認識を実現してもよい。その他、パターンマッチングにより、上記照合及び商品認識が実現されてもよい。当該クラス分類器やパターンマッチングによる処理対象は、取得部１１が取得した画像そのものであってもよいし、当該画像から上記検出された物体が存在する一部領域を切り出した画像であってもよい。

【0030】

－追跡処理－
当該処理では、画像解析部１２は、商品認識処理で認識された商品の画像内の位置を追跡する。画像内に存在する物体の画像内の位置を追跡する技術は広く知られており、画像解析部１２はあらゆる技術を採用することができる。

【0031】

－位置算出処理－
当該処理では、画像解析部１２は、商品認識処理で認識された商品、及び、追跡処理で追跡中の商品の位置を算出する。商品の位置は、例えば３次元の座標系における座標で示される。設置位置が固定され、予め互いの位置関係が明らかになっている複数のカメラで顧客が手に持っている商品（同一の被写体）を互いに異なる位置及び異なる向きから撮影する場合、その複数のカメラが生成した画像に基づき、３次元空間内の当該商品の位置を算出することができる。認識された商品の位置情報を時系列順に記憶することで、顧客が手に持っている商品の位置の時系列情報が生成される。

【0032】

－顧客分析処理－
当該処理では、画像解析部１２は、画像に含まれる顧客の外観（例：顔）に基づき、顧客の属性を推定することができる。推定する属性は、性別、年齢、国籍等、画像から推定可能であり、かつ、顧客の嗜好調査やマーケティング調査において有用な情報である。

【0033】

その他、当該処理では、画像解析部１２は、画像に含まれる顧客を認識してもよい。この場合、予め複数の顧客各々の識別情報（顧客番号、氏名、住所等）と、顧客の外観の特徴量（顔の特徴量等）とが紐づけて所定場所（センターシステム、店舗システム等）に記憶されている。そして、画像解析部１２は、店内で撮影した画像から抽出した顧客の外観の特徴量と、予め記憶されている顧客の外観の特徴量とを照合することで、商品を手に持っている顧客が誰であるかを認識する。

【0034】

判断部１３は、商品の位置の時系列情報で示されるその商品の移動状況に基づき、顧客がその商品に対して特定の行動を行ったか否かを判断する。

【0035】

移動状況は、商品の位置の時系列情報から算出可能な情報であり、例えば移動速度の時系列情報（時間変化）や、加速度の時系列情報（時間変化）や、位置の変化量の時系列情報（時間変化）や、これらの統計値（平均値、最大値、最小値、最頻値、中央値等）や、これらの単位時間ごとの統計値の時系列情報（時間変化）等が例示される。

【0036】

あらかじめ、顧客が手に持っている商品に対して行う可能性のある複数種類の行動が定義される。そして、定義された行動毎に、顧客が各行動を行っている時の商品（その顧客が手に持っている商品）の移動状況の特徴を登録した参照情報が生成され、処理装置１０に記憶される。そして、判断部１３は、画像解析部１２が生成した商品の位置の時系列情報で示される商品の移動状況の中に、上記参照情報で示される「各行動を行っている時の商品（顧客が手に持っている商品）の移動状況の特徴」が含まれる場合（第１の条件を満たす場合）、その商品に対してその特徴に紐付けられている行動が行われたと判断する。

【0037】

ここで、判断部１３の処理の一例を説明する。当該例では、判断部１３は、商品の位置の時系列情報に基づき、商品の移動速度の時系列情報を生成する。そして、判断部１３は、商品の移動速度の時系列情報の中に、「商品の移動速度が基準値（設計的事項）以上である第１の時間帯が、商品の移動速度が基準値未満である第２の時間帯を挟み込んだ第１のパターン」が含まれる場合、顧客が手に持っている商品の外観を視認する行動を行ったと判断する。

【0038】

図５に、第１のパターンが含まれる商品の移動速度の時系列情報の一例を模式的に示す。横軸が時間であり、縦軸が移動速度である。（１）の時間帯が、商品の移動速度が基準値以上である第１の時間帯である。（２）の時間帯が、商品の移動速度が基準値未満である第２の時間帯である。

【0039】

第１の時間帯は、商品が比較的速い速度で移動している。この時間帯には、顧客が、商品陳列棚から商品を取り出したり、商品陳列棚に商品を戻したり、商品を手に持ったまま移動したり、手に持っている商品を買い物かごに入れたりという行動を行ったと推定される。そして、このような第１の時間帯に挟まれた第２の時間帯においては、顧客が手に持っている商品の外観を視認する行動、例えば商品説明を読んだり、商品の外観をチェックしたりという行動を行ったと推定される。

【0040】

その他、判断部１３は、商品の移動速度の時系列情報の中に、「商品の移動速度が基準値（設計的事項）以上である第１の時間帯が、商品の移動速度が基準値未満である第２の時間帯を挟み込み、第２の時間帯の長さが基準値以上の第２のパターン」が含まれる場合、顧客が手に持っている商品を購入するか否か迷ったと判断することができる。第１のパターンと第２のパターンの違いは、第２の時間帯の長さの条件を含むか否かである。

【0041】

上述の通り、第１の時間帯に挟まれた第２の時間帯においては、顧客が手に持っている商品の外観を視認する行動、例えば商品説明を読んだり、商品の外観をチェックしたりという行動を行ったと推定される。そして、そのような第２の時間帯の長さが比較的長い場合（基準値以上である場合）、顧客は第２の時間帯の間、手に持っている商品を購入するか否か迷っていたと推定される。

【0042】

その他、判断部１３は、商品の移動速度の時系列情報の中に、上記第１のパターンや第２のパターンが含まれない場合、顧客が商品陳列棚から取り出した商品を、外観を視認することなく買い物かごに入れたと判断することができる。

【0043】

図２に戻り、登録部１４は、顧客が特定の行動を行った旨を登録する。

【0044】

例えば、登録部１４は、図６に示すように、商品ごと（商品識別情報ごと）に、各商品に対して顧客が行った行動の履歴を登録してもよい。図示する例では、商品識別情報ごとに、各商品に対して顧客が行った行動及び各行動を行った日時が登録されている。なお、画像解析部１２による顧客分析処理により顧客の属性情報が推定される場合、図７に示すように、登録部１４は、各行動を行った顧客の属性情報をさらに紐付けて登録してもよい。

【0045】

その他、画像解析部１２による顧客分析処理により顧客識別情報が特定される場合、登録部１４は、図８に示すように、顧客ごと（顧客識別情報ごと）に、各顧客が行った行動の履歴を登録してもよい。図示する例では、顧客識別情報ごとに、顧客が行った行動、各行動の対象となった商品（商品識別情報）及び各行動を行った日時が登録されている。

【0046】

次に、図９及び図１０のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

【0047】

図９のフローチャートは、画像を解析して追跡対象を検出し、追跡を開始するまでの処理を示す。

【0048】

図示するように、取得部１１が解析対象として新たな画像を取得すると（Ｓ１０）、画像解析部１２は、当該画像を解析し、上述した商品認識処理を行う。そして、当該画像内で新たな商品（追跡中の商品と異なる商品）が検出された場合（Ｓ１１のＹｅｓ）、画像解析部１２は、新たに検出した商品の画像内の位置の追跡を開始する（Ｓ１２）。その後、処理装置１０は、処理を終了する入力がなければ（Ｓ１３のＮｏ）、Ｓ１０に戻って同様の処理を繰り返す。

【0049】

一方、当該画像内で新たな商品（追跡中の商品と異なる商品）が検出されなかった場合（Ｓ１１のＮｏ）、処理装置１０は、処理を終了する入力がなければ（Ｓ１３のＮｏ）、Ｓ１０に戻って同様の処理を繰り返す。

【0050】

なお、取得部１１は、カメラが時系列に生成した複数の画像を時系列順に解析対象として取得する。取得部１１は、カメラが生成した画像をリアルタイム処理で取得してもよいし、予め生成・蓄積された複数の画像の中から生成順に取得してもよい。

【0051】

次に、図１０のフローチャートは、追跡を開始した商品に対して実行される処理を示す。

【0052】

まず、画像解析部１２は、追跡を開始した商品に対して上述した位置算出処理を行い、その商品（追跡対象）の位置を特定する（Ｓ２０）。そして、画像解析部１２は、特定した位置を示す情報をその商品の位置の時系列情報に登録する（Ｓ２１）。

【0053】

取得部１１が次の画像を解析対象として取得すると（Ｓ２２のＹｅｓ）、画像解析部１２は、上述した追跡処理により、新たに取得された画像内にその商品（追跡対象）が存在するか判断する（Ｓ２３）。

【0054】

存在する場合（Ｓ２３のＹｅｓ）、画像解析部１２は、その商品（追跡対象）に対して上述した位置算出処理を行い、その商品の位置を特定する（Ｓ２０）。そして、画像解析部１２は、特定した位置を示す情報をその商品の位置の時系列情報に登録する（Ｓ２１）。

【0055】

一方、存在しない場合（Ｓ２３のＮｏ）、画像解析部１２は、その商品（追跡対象）の追跡を終了する（Ｓ２４）。なお、画像解析部１２は、連続する所定数の画像において追跡対象を検出できない場合に、追跡を終了してもよい。

【0056】

処理装置１０は、追跡を終了するまで上記処理を繰り返す。

【0057】

例えば以上のような処理により、顧客が手に持っている商品の位置の時系列情報が生成される。顧客が手に持っている商品の位置の時系列情報が生成された後の任意のタイミングで、判断部１３は、商品の位置の時系列情報で示される商品の移動状況に基づき、顧客が商品に対して特定の行動を行ったか否かを判断する。そして、登録部１４は、顧客が特定の行動を行った旨を登録する。

【0058】

「変形例」
判断部１３は、顧客が手に持っている商品の位置の時系列情報に基づき、顧客が商品陳列棚から商品を取り出した後、その商品を商品陳列棚に戻したことを検出してもよい。例えば、商品の位置を示すための３次元の座標系において商品陳列棚の位置を定義する。そして、判断部１３は、この３次元の座標系内で変動する商品の位置と、予め定義された商品陳列棚の位置（固定）との相対的な位置関係に基づき、顧客が手に持っている商品に対して当該行動（手に取った後に商品陳列棚に戻す）を行ったことを検出してもよい。

【0059】

「作用効果」
以上、本実施形態の処理装置１０は、顧客が手に持っている商品の位置の時系列情報を生成し、当該位置の時系列情報で示される商品の移動状況に基づき顧客がその商品（顧客が手に持っている商品）に対して行った行動を特定する。当該処理装置によれば、顧客の店内行動を分析するための新たな手法が実現される。

【0060】

また、非特許文献１及び２に開示されているような「レジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システム」を導入した店舗においては、顧客が手に持っている商品を認識するために、顧客が手に持っている商品を撮影するカメラが店舗に設置される。顧客が手に持っている商品を撮影するカメラが生成した画像を解析して顧客の店内行動を分析する本実施形態の処理装置１０によれば、当該カメラが生成した画像を処理して、所望の結果を得ることができる。すなわち、当該カメラが生成した画像を、決済処理用途、及び、顧客の店内行動を分析する用途の両方に併用することができる。結果、カメラを多数設置することによるコスト負担やメンテナンス負担等を抑制できる。

【0061】

＜第２の実施形態＞
本実施形態の処理装置１０は、顧客が手に持っている商品を撮影するカメラが生成した画像を解析してその商品の向きの時系列情報を生成し、当該商品の向きの時系列情報に基づき、顧客がその商品（顧客が手に持っている商品）に対して行った行動を特定する。以下、詳細に説明する。

【0062】

画像解析部１２は、画像に基づき顧客が手に持っている商品の向きの時系列情報を生成する。商品の向きを特定する手段は特段制限されないが、以下一例を説明する。

【0063】

例えば、商品の向きは、商品の外観の特徴的な部分（商品のロゴ、ラベル等）が向く方向で示されてもよい。顧客が手に持っている商品を撮影する複数のカメラの位置及び向きを調整することで、当該商品の全ての面を撮影することが可能となる。上記商品の外観の特徴的な部分がどのカメラが生成した画像内に、どのような向きで写っているか、また、そのカメラの位置及び向き等に基づき、商品の外観の特徴的な部分（商品のロゴ、ラベル等）が向く方向を算出することができる。

【0064】

その他、予め、商品を複数の方向各々から撮影した複数の参照画像を作成しておいてもよい。そして、各カメラが生成した画像内に、上記複数の方向の中のどの方向から撮影した参照画像が示されているか、また、複数のカメラの位置及び向き等に基づき、商品のどの部分がどの方向を向いているかを算出することができる。

【0065】

判断部１３は、商品の向きの時系列情報に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する。

【0066】

あらかじめ、顧客が手に持っている商品に対して行う可能性のある複数種類の行動が定義される。そして、定義された行動毎に、顧客が各行動を行っている時の商品（その顧客が手に持っている商品）の向きの時間変化の特徴を登録した参照情報が生成され、処理装置１０に記憶される。そして、判断部１３は、画像解析部１２が生成した商品の向きの時系列情報で示される商品の向きの時間変化の中に、上記参照情報で示される「各行動を行っている時の商品（顧客が手に持っている商品）の向きの時間変化の特徴」が含まれる場合、その商品に対してその特徴に紐付けられている行動が行われたと判断する。

【0067】

例えば、判断部１３は、商品の位置の時系列情報で示される商品の移動状況が所定条件を満たす間に商品の向きが所定レベル（設計的事項）以上変化した場合、顧客が手に持っている商品の外観を視認する行動を行ったと判断してもよい。

【0068】

ここでの商品の移動状況の所定条件は、商品の大きな移動が起きていない状況を示すものであればよく、例えば、移動速度が閾値以下、位置の変化量が閾値以下、直近所定時間内の商品の移動速度の統計値が閾値以下、直近所定時間内の位置の変化量の統計値が閾値以下等である。このような商品の大きな移動が起きていない状況においては、商品陳列棚から商品を取り出したり、商品陳列棚に商品を戻したり、商品を手に持ったまま移動したり、手に持っている商品を買い物かごに入れたりという行動が起きていないと推定される。

【0069】

その他、判断部１３は、商品の位置の時系列情報で示される商品の移動状況が上記所定条件を満たす間に商品の向きが第１の向きから第２の向きに変化し、その後、第１の向きに戻った場合、顧客が手に持っている商品を購入するか否か迷ったと判断してもよい。

【0070】

処理装置１０の処理の流れの一例は、第１の実施形態と同様である。すなわち、画像解析部１２は、図１０のＳ２０において、追跡対象の商品の位置を特定するとともに、その商品の向きを特定する。そして、画像解析部１２は、Ｓ２１において、特定した商品の位置を位置の時系列情報に登録するとともに、特定した商品の向きを向きの時系列情報に登録する。

【0071】

処理装置１０のその他の構成は、第１の実施形態と同様である。

【0072】

以上、本実施形態の処理装置１０によれば、第１の実施形態と同様の作用効果が実現される。また、顧客が手に持っている商品の位置の時系列情報に加えて、当該商品の向きの時系列情報を用いて顧客の店内行動を分析する本実施形態の処理装置１０によれば、より詳細な分析が実現される。

【0073】

なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。

【0074】

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0075】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 顧客が手に持っている商品の画像を取得する取得手段と、
前記画像に基づき、前記商品の位置の時系列情報を生成する画像解析手段と、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する判断手段と、
前記顧客が前記特定の行動を行った旨を登録する登録手段と、
を有する処理装置。
２． 前記判断手段は、
前記時系列情報に基づき、
前記商品の移動速度、加速度又は位置の変化量の時系列情報、
前記商品の移動速度、加速度又は位置の変化量の統計値、又は、
前記商品の移動速度、加速度又は位置の変化量の単位時間ごとの統計値の時系列情報を、前記商品の移動状況を示す情報として算出する１に記載の処理装置。
３． 前記判断手段は、
前記商品の移動速度の時系列情報の中に、前記商品の移動速度が基準値以上である第１の時間帯が前記商品の移動速度が前記基準値未満である第２の時間帯を挟み込んだパターンを含む場合、前記顧客が手に持っている前記商品の外観を視認する行動を行ったと判断する２に記載の処理装置。
４． 前記判断手段は、
前記商品の移動速度の時系列情報の中に、前記商品の移動速度が基準値以上である第１の時間帯が前記商品の移動速度が前記基準値未満である第２の時間帯を挟み込み、前記第２の時間帯の長さが基準値以上であるパターンを含む場合、前記顧客が手に持っている前記商品を購入するか否か迷ったと判断する２又は３に記載の処理装置。
５． 前記判断手段は、
前記商品の移動速度の時系列情報の中に、前記商品の移動速度が基準値以上である第１の時間帯が前記商品の移動速度が前記基準値未満である第２の時間帯を挟み込んだパターンを含まない場合、前記顧客が商品陳列棚から取り出した前記商品を、外観を視認することなく買い物かごに入れたと判断する２から４のいずれかに記載の処理装置。
６． 前記画像解析手段は、前記画像に基づき前記商品の向きの時系列情報を生成し、
前記判断手段は、前記商品の向きの時系列情報に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する１から５のいずれかに記載の処理装置。
７． 前記判断手段は、
前記商品の移動状況が所定条件を満たす間に前記商品の向きが所定レベル以上変化した場合、前記顧客が手に持っている前記商品の外観を視認する行動を行ったと判断する６に記載の処理装置。
８． 前記判断手段は、
前記商品の移動状況が所定条件を満たす間に前記商品の向きが第１の向きから第２の向きに変化し、その後、前記第１の向きに戻った場合、前記顧客が手に持っている前記商品を購入するか否か迷ったと判断する６又は７に記載の処理装置。
９． コンピュータが、
顧客が手に持っている商品の画像を取得し、
前記画像に基づき、前記商品の位置の時系列情報を生成し、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断し、
前記顧客が前記特定の行動を行った旨を登録する処理方法。
１０． コンピュータを、
顧客が手に持っている商品の画像を取得する取得手段、
前記画像に基づき、前記商品の位置の時系列情報を生成する画像解析手段、
生成された前記時系列情報で示される前記商品の移動状況に基づき、前記顧客が前記商品に対して特定の行動を行ったか否かを判断する判断手段、
前記顧客が前記特定の行動を行った旨を登録する登録手段、
として機能させるプログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】