特許 7516759 処理装置、処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】処理装置、処理方法及びプログラム

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20240709BHJP

   G06Q 50/10 20120101ALI20240709BHJP

【ＦＩ】

G06Q30/06

G06Q50/10

【請求項の数】 9

(21)【出願番号】P 2019238069

(22)【出願日】2019-12-27

(65)【公開番号】P2021105945

(43)【公開日】2021-07-26

【審査請求日】2022-11-07

【前置審査】

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】梅津 和真

【審査官】山崎 雄司

(56)【参考文献】

【文献】特開２０１７－１８２４１６（ＪＰ，Ａ）

【文献】国際公開第２０１９／０９３２９１（ＷＯ，Ａ１）

【文献】特開２００８－２０３９１６（ＪＰ，Ａ）

【文献】国際公開第２０１８／１９８２５０（ＷＯ，Ａ１）

【文献】特開２０１９－１６４６３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

店舗内を撮影した画像を取得する取得手段と、
前記画像に基づき、顧客の所持品に関する所持品関連情報を生成する画像解析手段と、
前記所持品関連情報に基づき、前記顧客に適したサービスの提供が必要か否かを判断する判断手段と、
前記顧客に適したサービスの提供が必要と判断した前記顧客を特定するための顧客特定情報を出力する出力手段と、
を有し、
前記所持品関連情報は、前記顧客の所持品の高級度を示す処理装置。

【請求項2】

前記画像解析手段は、前記画像に基づき前記顧客の顧客識別情報を特定し、
前記判断手段は、さらに前記顧客識別情報に紐づけて登録されている購買履歴に基づき、前記顧客に適したサービスの提供が必要か否かを判断する請求項１に記載の処理装置。

【請求項3】

前記出力手段は、前記画像に基づき推定された前記顧客の特徴、前記画像に基づき特定された前記顧客の所持品の特徴、及び、前記顧客の画像の中の少なくとも１つを、前記顧客特定情報として出力する請求項１又は２に記載の処理装置。

【請求項4】

前記判断手段は、前記店舗各々に対応した判断基準に基づき、前記顧客に適したサービスの提供が必要か否かを判断する請求項１から３のいずれか１項に記載の処理装置。

【請求項5】

前記出力手段は、前記顧客に対する接客方法のアドバイスをさらに出力する請求項１から４のいずれか１項に記載の処理装置。

【請求項6】

前記出力手段は、前記店舗の属性に応じた前記アドバイスを出力する請求項５に記載の処理装置。

【請求項7】

前記出力手段は、前記画像に基づき推定された前記顧客の属性、前記顧客の店舗内の位置、各店員の属性及び各店員の店舗内の位置の中の少なくとも１つに基づき決定した店員に、前記顧客特定情報を通知する請求項１に記載の処理装置。

【請求項8】

コンピュータが、
店舗内を撮影した画像を取得し、
前記画像に基づき、顧客の所持品に関する所持品関連情報を生成し、
前記所持品関連情報に基づき、前記顧客に適したサービスの提供が必要か否かを判断し、
前記顧客に適したサービスの提供が必要と判断した前記顧客を特定するための顧客特定情報を出力し、
前記所持品関連情報は、前記顧客の所持品の高級度を示す処理方法。

【請求項9】

コンピュータを、
店舗内を撮影した画像を取得する取得手段、
前記画像に基づき、顧客の所持品に関する所持品関連情報を生成する画像解析手段、
前記所持品関連情報に基づき、前記顧客に適したサービスの提供が必要か否かを判断する判断手段、
前記顧客に適したサービスの提供が必要と判断した前記顧客を特定するための顧客特定情報を出力する出力手段、
として機能させ、
前記所持品関連情報は、前記顧客の所持品の高級度を示すプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、処理方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１は、顧客が保持するＩＣタグから取得したＩＣタグ情報に基づきその顧客がＶＩＰ顧客であるか判別し、ＶＩＰ顧客が来店したことを検出するとその旨を示す情報を店員に向けて表示するシステムを開示している。

【0003】

特許文献２は、顧客が保持する端末から取得した顧客識別情報と、各顧客が優良顧客か否かを示す顧客データベースとに基づき、その顧客が優良顧客であるか判別し、優良顧客が来店したことを検出するとその旨を店員に通知するシステムを開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１８５７１５号公報

【文献】特開２０１８－４５４３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

各顧客に適したサービス（ＶＩＰ対応、高齢者や障がい者へのサポート等）を提供することで、店舗の売上向上が期待される。特許文献１及び２に開示の技術に基づけば、ＶＩＰ顧客や優良顧客の来店を検出することができる。結果、店員は、その顧客に対して適切な接客を行うことが可能となる。

【0006】

しかし、特許文献１及び２に開示の技術は、各顧客の購買履歴等に基づき予めＶＩＰ顧客や優良顧客を決定し、その決定内容を示す情報をデータベースや各顧客のＩＣタグに登録しておくことが前提となる。当該技術の場合、初めて来店した顧客の中に含まれる「顧客に適したサービスの提供が必要な顧客」を検出することはできない。

【0007】

本発明は、初めて来店した顧客の中に含まれる「顧客に適したサービスの提供が必要な顧客」検出することを課題とする。

【課題を解決するための手段】

【0008】

本発明によれば、
店舗内を撮影した画像を取得する取得手段と、
前記画像に基づき、顧客の所持品に関する所持品関連情報を生成する画像解析手段と、
前記所持品関連情報に基づき、前記顧客に適したサービスの提供が必要か否かを判断する判断手段と、
前記顧客に適したサービスの提供が必要と判断した前記顧客を特定するための顧客特定情報を出力する出力手段と、
を有する処理装置が提供される。

【0009】

また、本発明によれば、
コンピュータが、
店舗内を撮影した画像を取得し、
前記画像に基づき、顧客の所持品に関する所持品関連情報を生成し、
前記所持品関連情報に基づき、前記顧客に適したサービスの提供が必要か否かを判断し、
前記顧客に適したサービスの提供が必要と判断した前記顧客を特定するための顧客特定情報を出力する処理方法が提供される。

【0010】

また、本発明によれば、
コンピュータを、
店舗内を撮影した画像を取得する取得手段、
前記画像に基づき、顧客の所持品に関する所持品関連情報を生成する画像解析手段、
前記所持品関連情報に基づき、前記顧客に適したサービスの提供が必要か否かを判断する判断手段、
前記顧客に適したサービスの提供が必要と判断した前記顧客を特定するための顧客特定情報を出力する出力手段、
として機能させるプログラムが提供される。

【発明の効果】

【0011】

本発明によれば、初めて来店した顧客の中に含まれる「顧客に適したサービスの提供が必要な顧客」検出することが可能となる。

【図面の簡単な説明】

【0012】

【図1】本実施形態の処理装置の利用例を説明するための図である。

【図2】本実施形態の処理装置のハードウエア構成の一例を示す図である。

【図3】本実施形態の処理装置の機能ブロック図の一例である。

【図4】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図5】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【図6】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図7】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【図8】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図9】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図10】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【図11】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図12】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【図13】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。

【図14】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

【図15】本実施形態の処理装置の利用例を説明するための図である。

【発明を実施するための形態】

【0013】

＜第１の実施形態＞
本実施形態の処理装置は、画像に基づき来店した顧客の所持品に関する情報を生成し、当該情報に基づき顧客に適したサービス（ＶＩＰ対応、高齢者は障がい者へのサポート等）の提供が必要な顧客か否かを判断する。以下、詳細に説明する。

【0014】

まず、図１を用いて、処理装置１０の全体像を説明する。処理装置１０は、サーバ（例えば、クラウドサーバ）であり、インターネット等の通信ネットワーク３０を介して、各店舗の店舗システム２０と通信する。店舗システム２０は、店内又はその周辺に設置されたカメラが生成した画像を処理装置１０に送信する。処理装置１０は、各店舗システム２０から受信した画像に基づき所定の演算処理を行い、演算結果を各店舗システム２０に返信する。店舗システム２０は、受信した演算結果をディスプレイに表示したり、所定の携帯端末に送信したりする。

【0015】

次に、処理装置１０のハードウエア構成の一例を説明する。本実施形態の処理装置１０が備える機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0016】

図２は、本実施形態の処理装置１０のハードウエア構成を例示するブロック図である。図２に示すように、処理装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａは有さなくてもよい。なお、処理装置１０は物理的及び／又は論理的に一体となった１つの装置で構成されてもよいし、物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。

【0017】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）等の演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイス等を含む。入力装置は、例えばキーボード、マウス、マイク、タッチパネル、物理ボタン、カメラ等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0018】

次に、処理装置１０の機能構成を説明する。図３に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、画像解析部１２と、判断部１３と、出力部１４と、記憶部１５とを有する。なお、処理装置１０は記憶部１５を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１５を有する。

【0019】

取得部１１は、店舗内を撮影した画像を取得する。取得部１１は、各店舗システム２０が送信してきた画像を取得する。また、取得部１１は、各画像を送信してきた店舗システム２０を識別する情報を取得する。

【0020】

各店舗には１つ又は複数のカメラが設置される。カメラは、店内又はその周辺（駐車場等）の任意の位置に設置され、動画像を撮影する。店舗システム２０は、カメラが生成した画像をリアルタイム処理で取得し、リアルタイム処理で処理装置１０に送信する。

【0021】

なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等を含んでもよい。また、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること等を含んでもよい。また、「取得」とは、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」を含んでもよい。

【0022】

画像解析部１２は、取得部１１が取得した画像（以下、単に「画像」という場合がある）を解析する。例えば、画像解析部１２は、画像から顧客（人物）を抽出する。そして、画像解析部１２は、抽出した顧客に対応して店舗内人物識別情報を発行するとともに、その顧客を画像内で追跡する。

【0023】

また、画像解析部１２は、抽出した顧客の所持品に関する所持品関連情報を生成する。そして、画像解析部１２は、その顧客の店舗内人物識別情報に紐づけて、その顧客の所持品関連情報を記憶部１５に記憶させる。

【0024】

図４に、画像解析部１２が生成する所持品関連情報の一例を模式的に示す。図示する所持品関連情報は画像解析結果と演算結果とを含む。

【0025】

画像解析結果は、画像に含まれる所持品の外観から抽出可能な情報であり、例えば、種類（カバン、装飾品、腕時計、眼鏡、サングラス、コート、上着、ズボン、スカート、靴、車等）、形、色、模様、ロゴ、素材等が例示されるが、これらに限定されない。

【0026】

演算結果は、画像解析結果に基づき算出された各所持品の高級度を示す。価値が高い（価格が高い）所持品ほど、より高い高級度となる。例えば、予め、複数の商品各々の高級度、種類及び外観の特徴（形、色、模様、ロゴ、素材等）を示すデータベースが作成されていてもよい。そして、画像解析部１２は、画像解析結果と当該データベースとに基づき、各所持品の高級度を算出してもよい。なお、高級度は、例えば「Ｓ、Ａ、Ｂ、Ｃ（Ｓが最も高級で、Ａ、Ｂ、Ｃの順に高級度が下がる）」のように複数のランクで示されてもよいし、高級か否かの２値で示されてもよい。その他、高級度は、例えば「０～１００の値（値が大きいほど高級）」のように数値で示されてもよい。

【0027】

図４に示すように、画像解析部１２は、画像から抽出した顧客毎に、所持品関連情報を生成する。また、図４に示すように、画像解析部１２は、画像から抽出した所持品毎に、所持品関連情報を生成する。

【0028】

図３に戻り、判断部１３は、所持品関連情報に基づき、顧客に適したサービスの提供が必要か否かを判断する。例えば、判断部１３は、高級度が第１の基準レベル以上の所持品を有する顧客を、「顧客に適したサービスの提供が必要な顧客」と判断してもよい。その他、判断部１３は、高級度が第２の基準レベル以上の所持品を所定数以上有する顧客を、「顧客に適したサービスの提供が必要な顧客」と判断してもよい。その他、判断部１３は、各顧客の所持品の高級度に基づく所定の演算式（例えば、より高級度の高い所持品をより多く有するほどスコアが高くなる）で顧客毎にスコアを算出し、算出したスコアが基準値以上の顧客を、「顧客に適したサービスの提供が必要な顧客」と判断してもよい。

【0029】

なお、判断部１３、各店舗に対応した判断基準に基づき、顧客に適したサービスの提供が必要か否かを判断してもよい。このようにすれば、例えば、高級品（高価格品）を扱う店舗と、そうでない商品を扱う店舗とで、「顧客に適したサービスの提供が必要な顧客」と判断するための基準を異ならせることができる。

【0030】

出力部１４は、顧客に適したサービスの提供が必要と判断した顧客を特定するための顧客特定情報を出力する。出力された顧客特定情報は、各店舗システム２０に送信される。店舗システム２０は、店員が閲覧可能な任意のディスプレイを介して顧客特定情報を表示してもよいし、店員の携帯端末に顧客特定情報を表示してもよいし、プリンターを介して顧客特定情報を出力してもよい。

【0031】

顧客特定情報は、画像に基づき推定された顧客の特徴、画像に基づき特定された顧客の所持品の特徴、及び、顧客の画像の中の少なくとも１つを含む。

【0032】

例えば、出力部１４は、取得部１１が取得した画像の中の「顧客に適したサービスの提供が必要な顧客」を含む画像を、顧客特定情報として出力してもよい。この場合、店員は、当該画像に含まれる顧客を、「顧客に適したサービスの提供が必要な顧客」として容易に認識することができる。

【0033】

しかし、プライバシー保護等の観点から、顧客の画像を勝手に利用することが望ましくない場合がある。そこで、出力部１４は、画像に基づき推定された顧客の特徴（年令、性別、体格等）や、画像に基づき特定された顧客の所持品の特徴等を、顧客特定情報として出力してもよい。この例の場合の顧客特定情報は、例えば「赤いコートを着た、３０代の女性」等となる。

【0034】

次に、図５のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

【0035】

取得部１１がある店舗システム２０から送信されてきた画像を処理対象として取得すると（Ｓ１００）、画像解析部１２は、処理対象の画像から顧客（人物）を抽出する処理を行う（Ｓ１０１）。処理対象の画像から顧客が抽出されなかった場合（Ｓ１０１のＮｏ）、Ｓ１１１に進む。一方、処理対象の画像から顧客が抽出された場合（Ｓ１０１のＹｅｓ）、画像解析部１２は、抽出した顧客の中から１人を処理対象として指定する（Ｓ１０２）。

【0036】

そして、画像解析部１２は、指定した顧客が追跡中の顧客でない場合（Ｓ１０３のＮｏ）、追跡を開始する（Ｓ１０５）。例えば、画像解析部１２は、その顧客に対応して店舗内人物識別情報を新たに発行し、記憶部１５に記憶させる。その後、Ｓ１０６に進む。

【0037】

一方、指定した顧客が追跡中の顧客である場合（Ｓ１０３のＹｅｓ）、画像解析部１２は、その顧客は「顧客に適したサービスの提供が必要な顧客」と認定済みか判断する（Ｓ１０４）。認定済みである場合（Ｓ１０４のＹｅｓ）、Ｓ１１０に進む。一方、認定済みでない場合（Ｓ１０４のＮｏ）、Ｓ１０６に進み、所持品判定を行う。追跡中である場合、その顧客の所持品判定はそれ以前に少なくとも一度は行われている。このように繰り返し所持品判定を行うことで、画像への映り込み方に起因してそれまでは検出されなかった所持品を新たに検出することが可能となる。

【0038】

Ｓ１０６では、画像解析部１２は、画像に基づき所持品関連情報（図４参照）を生成し、その顧客の店舗内人物識別情報に紐づけて記憶部１５に記憶させる。すなわち、画像解析部１２は、画像を解析してその顧客の所持品を抽出し、抽出した所持品各々の外観から、例えば種類（カバン、装飾品、腕時計、眼鏡、サングラス、コート、上着、ズボン、スカート、靴、車等）、形、色、模様、ロゴ、素材等の情報を抽出する。そして、画像解析部１２は、抽出結果に基づき、各所持品の高級度を算出する。

【0039】

次いで、判断部１３は、所持品関連情報に基づき、その顧客が「顧客に適したサービスの提供が必要な顧客」か判断する（Ｓ１０７）。

【0040】

その顧客は「顧客に適したサービスの提供が必要な顧客」と判断された場合（Ｓ１０８のＹｅｓ）、出力部１４は、その顧客を特定するための顧客特定情報を出力する（Ｓ１０９）。具体的には、出力部１４は、画像を送信してきた店舗システム２０に顧客特定情報を送信する。店舗システム２０は、店員が閲覧可能な任意のディスプレイを介して顧客特定情報を表示してもよいし、店員の携帯端末に顧客特定情報を表示してもよいし、プリンターを介して顧客特定情報を出力してもよい。なお、その顧客は「顧客に適したサービスの提供が必要な顧客」と判断した場合、判断部１３は、その顧客の店舗内人物識別情報に紐づけてその旨を記憶部１５に記憶させてもよい。例えば、画像解析部１２は、当該情報に基づきＳ１０４の判断を行ってもよい。

【0041】

一方、その顧客は「顧客に適したサービスの提供が必要な顧客」と判断されなかった場合（Ｓ１０８のＮｏ）、出力部１４は、その顧客の顧客特定情報を出力しない。

【0042】

Ｓ１１０では、画像解析部１２は、その画像から抽出した顧客の中に、Ｓ１０２で指定されていない顧客がいるか判断する。いる場合（Ｓ１１０のＹｅｓ）、画像解析部１２はＳ１０２に戻り、同様の処理を繰り返す。一方、いない場合（Ｓ１１０のＮｏ）、処理を終了する入力がなければ（Ｓ１１１のＮｏ）、Ｓ１００に戻り、同様の処理を繰り返す。

【0043】

次に、本実施形態の作用効果を説明する。本実施形態の処理装置１０は、画像に基づき来店した顧客の所持品に関する情報を生成し、当該情報に基づき各顧客が「顧客に適したサービスの提供が必要な顧客」（購買する可能性が高い顧客、購入金額が高くなる可能性が高い顧客等）か否かを判断する。このような処理装置１０によれば、初めて来店した顧客の中に含まれる「顧客に適したサービスの提供が必要な顧客」を検出することが可能となる。

【0044】

また、処理装置１０は、「顧客に適したサービスの提供が必要な顧客」と判断した顧客を特定するための顧客特定情報を出力することができる。店員は、この顧客特定情報に基づき、店内にいる顧客の中の「顧客に適したサービスの提供が必要な顧客」を把握することができる。

【0045】

また、処理装置１０は、画像に基づき推定された顧客の特徴や画像に基づき特定された顧客の所持品の特徴等を、「顧客に適したサービスの提供が必要な顧客」を特定するための顧客特定情報として出力することができる。この場合、「顧客に適したサービスの提供が必要な顧客」を特定するための情報として顧客の画像を利用する必要がないので、プライバシー保護等の観点から好ましい。

【0046】

また、処理装置１０は、各店舗に対応した判断基準に基づき、顧客が「顧客に適したサービスの提供が必要な顧客」か否かを判断することができる。このようにすれば、例えば、高級品（高価格品）を扱う店舗と、そうでない商品を扱う店舗とで、「顧客に適したサービスの提供が必要な顧客」と判断するための基準を異ならせることができる。結果、店舗ごとに適切に「顧客に適したサービスの提供が必要な顧客」か否かを判断することができる。

【0047】

次に、本実施形態の変形例を説明する。本実施形態では、上述の通り画像内で顧客を追跡することができるが、一度追跡が途切れた後に再度画像内で検出された場合、その顧客を新しく検出した顧客として新たに店舗内人物識別情報を発行し、追跡を行ってもよい。すなわち、Ｓ１０３のＮｏに進み、Ｓ１０５以下の処理を行ってもよい。

【0048】

その他、顧客の外観の特徴量（顔の特徴量、所持品の特徴量）や、画像から推定した顧客の属性（年令、性別等）に基づき、新しく検出した顧客と、それ以前に追跡していた顧客との同一性を判断してもよい。そして、同一と判断した場合、それ以前の追跡時の情報を引き継いだ追跡を行ってもよい。すなわち、Ｓ１０３の判断において、Ｓ１０２で指定した顧客がその時点で追跡中の顧客でない場合、画像解析部１２は、Ｓ１０２で指定した顧客の外観の特徴量等と、それ以前に追跡していた顧客の外観の特徴量等とに基づき、同一性を判断してもよい。そして、同一と判断した場合、それ以前の追跡時の情報を紐づけて、Ｓ１０２で指定した顧客の追跡を再開してもよい。この場合、Ｓ１０３のＹｅｓに進み、Ｓ１０４以下の処理を行ってもよい。なお、所持品で同一性を判定する場合、所定割合（９０％等）以上の所持品が同一である場合に、同一の顧客と判断してもよい。

【0049】

本実施形態の他の変形例を説明する。ここまでは、判断部１３は、顧客の所持品の高級度に基づき、各顧客が「顧客に適したサービスの提供が必要な顧客」か否かを判断した。このようにすることで、購買する可能性が高い顧客や、購入金額が高くなる可能性が高い顧客等を「顧客に適したサービスの提供が必要な顧客」として検出できた。

【0050】

変形例では、判断部１３は、上記判断処理に加えて又は代えて、「所持品の中に所定の種類の対象物が含まれる顧客」を「顧客に適したサービスの提供が必要な顧客」と判断してもよい。所定の種類の対象物は、例えば高齢者や障がい者等のサポートが必要な顧客が所持する傾向が高い物であり、例えば杖、車いす等が例示される。このようにすることで、高齢者や障がい者等のサポートが必要な顧客を「顧客に適したサービスの提供が必要な顧客」として検出することが可能となる。

【0051】

＜第２の実施形態＞
本実施形態の処理装置１０は、画像に基づき、来店した顧客の店舗内行動に関する情報を生成し、当該情報と、第１の実施形態で説明した所持品関連情報とに基づき、各顧客が「顧客に適したサービスの提供が必要な顧客」（購買する可能性が高い顧客、購入金額が高くなる可能性が高い顧客等）か否かを判断する。以下、詳細に説明する。

【0052】

画像解析部１２は、画像に基づき顧客の店舗内行動に関する行動情報を生成する。そして、画像解析部１２は、その顧客の店舗内人物識別情報に紐づけて、その顧客の行動情報を記憶部１５に記憶させる。

【0053】

行動情報は、商品の購買に繋がる所定の行動の実行有無を示す。商品の購買に繋がる所定の行動は、画像から特定可能なものであればよく、例えば、所定の動線での店内移動（レジカウンター付近をうろつく等）、商品の前で基準時間以上滞在、店内に基準時間以上滞在、宣伝用媒体（サイネージ、ポスター、マネキン等）の前で基準時間以上滞在、宣伝用媒体の前に基準回数以上立ち止まる、商品を手に取る、商品を触る、手にとった商品を元に戻す、複数の商品を比較する、値札を確認する、店内でうろつきながら辺りを見回す（店員を探す動作）、スマホを操作する（興味ある商品の情報を収集、家族や知人に購入を相談等）、同伴者と会話する（購入を相談）、試着する等が例示されるが、これらに限定さない。

【0054】

図６に、画像解析部１２が生成する行動情報の一例を模式的に示す。図示するように、予め、商品の購買に繋がる所定の行動が１つ又は複数定義されており、画像解析部１２は、各行動の検出に応じて当該行動情報を更新（その行動をした旨を登録）してもよい。また、画像解析部１２は、手にとる、比較する、試着する、触る等のように商品に関する行動を検出した場合、商品の外観の特徴に基づきその行動の対象となった商品を特定してもよい。そして、画像解析部１２は、その商品を識別する情報を行動情報に登録してもよい。

【0055】

判断部１３は、所持品関連情報と行動情報とに基づき、顧客が「顧客に適したサービスの提供が必要な顧客」か判断する。例えば、判断部１３は、各顧客の所持品の高級度に基づく所定の演算式（例えば、より高級度の高い所持品をより多く有するほどスコアが高くなる）で、顧客毎に所持品関連スコアを算出してもよい。また、判断部１３は、各顧客の上記所定の行動の実行有無に基づく所定の演算式（例えば、より多くの所定の行動を実行しているほどスコアが高くなる）で、顧客毎に行動関連スコアを算出してもよい。そして、判断部１３は、所持品関連スコアと行動関連スコアとに基づく所定の演算式（例えば、所持品関連スコアが高いほど、また、行動関連スコアが高いほど、スコアが高くなる）で、顧客毎にトータルスコアを算出し、トータルスコアが基準値以上の顧客を「顧客に適したサービスの提供が必要な顧客」と判断してもよい。

【0056】

なお、商品の購買に繋がる上記所定の行動各々には重付け値が設定されていてもよい。そして、当該重付け値を用いて上記行動関連スコアを算出してもよい。この場合、重付け値が大きい所定の行動を実行しているほど、行動関連スコアが高くなる。

【0057】

次に、図７のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

【0058】

取得部１１がある店舗システム２０から送信されてきた画像を処理対象として取得すると（Ｓ２００）、画像解析部１２は、処理対象の画像から顧客（人物）を抽出する処理を行う（Ｓ２０１）。処理対象の画像から顧客が抽出されなかった場合（Ｓ２０１のＮｏ）、Ｓ２１２に進む。一方、処理対象の画像から顧客が抽出された場合（Ｓ２０１のＹｅｓ）、画像解析部１２は、抽出した顧客の中から１人を処理対象として指定する（Ｓ２０２）。

【0059】

そして、画像解析部１２は、指定した顧客が追跡中の顧客でない場合（Ｓ２０３のＮｏ）、追跡を開始する（Ｓ２０５）。例えば、画像解析部１２は、その顧客に対応して店舗内人物識別情報を新たに発行し、記憶部１５に記憶させる。その後、Ｓ２０６に進む。

【0060】

一方、指定した顧客が追跡中の顧客である場合（Ｓ２０３のＹｅｓ）、画像解析部１２は、その顧客は「顧客に適したサービスの提供が必要な顧客」と認定済みか判断する（Ｓ２０４）。認定済みである場合（Ｓ２０４のＹｅｓ）、Ｓ２１１に進む。一方、認定済みでない場合（Ｓ２０４のＮｏ）、Ｓ２０６に進み、所持品判定（Ｓ２０６）及び行動判定（Ｓ２０７）を行う。追跡中である場合、その顧客の所持品判定及び行動判定はそれ以前に少なくとも一度は行われている。このように繰り返し所持品判定を行うことで、画像への映り込み方に起因してそれまでは検出されなかった所持品を新たに検出することが可能となる。また、このように行動判定を繰り返し行うことで、店内滞在中、各顧客の行動内容を継続的に蓄積することが可能となる。

【0061】

Ｓ２０６では、画像解析部１２は、画像に基づき所持品関連情報（図４参照）を生成し、その顧客の店舗内人物識別情報に紐づけて記憶部１５に記憶させる。すなわち、画像解析部１２は、画像を解析してその顧客の所持品を抽出し、抽出した所持品各々の外観から、例えば種類（カバン、装飾品、腕時計、眼鏡、サングラス、コート、上着、ズボン、スカート、靴、車等）、形、色、模様、ロゴ、素材等の情報を抽出する。そして、画像解析部１２は、抽出結果に基づき、各所持品の高級度を算出する。

【0062】

Ｓ２０７では、画像解析部１２は、画像に基づき行動情報（図６参照）を生成し、その顧客の店舗内人物識別情報に紐づけて記憶部１５に記憶させる。例えば、画像解析部１２は、画像に基づき、予め定義された所定の行動が行われたことを検出し、各行動の検出に応じて行動情報を更新（その行動をした旨を登録）してもよい。また、画像解析部１２は、手にとる、比較する、試着する、触る等のように商品に関する行動を検出した場合、商品の外観の特徴に基づきその行動の対象となった商品を特定してもよい。そして、画像解析部１２は、その商品を識別する情報を行動情報に登録してもよい。

【0063】

次いで、判断部１３は、所持品関連情報及び行動情報に基づき、その顧客が「顧客に適したサービスの提供が必要な顧客」か判断する（Ｓ２０８）。

【0064】

その顧客は「顧客に適したサービスの提供が必要な顧客」と判断された場合（Ｓ２０９のＹｅｓ）、出力部１４は、その顧客を特定するための顧客特定情報を出力する（Ｓ２１０）。具体的には、出力部１４は、画像を送信してきた店舗システム２０に顧客特定情報を送信する。店舗システム２０は、店員が閲覧可能な任意のディスプレイを介して顧客特定情報を表示してもよいし、店員の携帯端末に顧客特定情報を表示してもよいし、プリンターを介して顧客特定情報を出力してもよい。この時、出力部１４は、その顧客が行った購買に繋がる所定の行動の詳細をさらに出力してもよい。出力される所定の行動の詳細は、例えば、「商品Ａを手に取った」、「商品Ａの前で５分以上滞在した」、「商品Ａと商品Ｂを比較した」等が例示される。なお、その顧客は「顧客に適したサービスの提供が必要な顧客」と判断した場合、判断部１３は、その顧客の店舗内人物識別情報に紐づけてその旨を記憶部１５に記憶させてもよい。例えば、画像解析部１２は、当該情報に基づきＳ２０４の判断を行ってもよい。

【0065】

一方、その顧客は「顧客に適したサービスの提供が必要な顧客」と判断されなかった場合（Ｓ２０９のＮｏ）、出力部１４は、その顧客の顧客特定情報を出力しない。

【0066】

Ｓ２１１では、画像解析部１２は、その画像から抽出した顧客の中に、Ｓ２０２で指定されていない顧客がいるか判断する。いる場合（Ｓ２１１のＹｅｓ）、画像解析部１２はＳ２０２に戻り、同様の処理を繰り返す。一方、いない場合（Ｓ２１１のＮｏ）、処理を終了する入力がなければ（Ｓ２１２のＮｏ）、Ｓ２００に戻り、同様の処理を繰り返す。

【0067】

本実施形態の処理装置１０のその他の構成は、第１の実施形態と同様である（変形例も含む）。

【0068】

以上、本実施形態の処理装置１０によれば、第１の実施形態と同様の作用効果が実現される。また、顧客の所持品に加えて、顧客の店舗内行動に基づき、各顧客が「顧客に適したサービスの提供が必要な顧客」か否かを判断できるので、判断の精度が向上する。

【0069】

ここで、本実施形態の変形例を説明する。図７のフローでは、「顧客に適したサービスの提供が必要な顧客」と認定した後は、その顧客の行動判定（Ｓ２０７）は行わない。しかし、「顧客に適したサービスの提供が必要な顧客」と認定した後も、その顧客の行動判定（Ｓ２０７と同様な処理）を行ってもよい。そして、その顧客のその来店時の購買実績と、その顧客の行動情報とを紐づけて記憶部１５に記憶させてもよい。購買実績は、購入金額、購入商品の情報（名称、価格等）等を含む。

【0070】

当該変形例によれば、購買実績と、店舗内行動との関係を示す情報を蓄積することが可能となる。そして、処理装置１０は、当該情報に基づき、店舗内行動と購買との関係性を算出することが可能となる。すなわち、どの店舗内行動がより購買に繋がるか（または、より高額の購買に繋がるか）等を算出することが可能となる。そして、処理装置１０は、当該算出結果に基づき、商品の購買に繋がる所定の行動各々の重付け値を設定してもよい。より購買に繋がる（または、より高額の購買に繋がる）所定の行動ほど、重付け値が高くなる。

【0071】

＜第３の実施形態＞
本実施形態の処理装置１０は、各顧客の顧客識別情報に紐づけて過去の購買履歴を記憶しておく。そして、処理装置１０は、画像に基づき来店した顧客の顧客識別情報を特定する。そして、処理装置１０は、特定した顧客の過去の購買履歴と、第１の実施形態で説明した所持品関連情報とに基づき、各顧客が「顧客に適したサービスの提供が必要な顧客」（購買する可能性が高い顧客、購入金額が高くなる可能性が高い顧客等）か否かを判断する。なお、処理装置１０は、さらに第２に実施形態で説明した行動情報に基づき、各顧客が「顧客に適したサービスの提供が必要な顧客」か否かを判断してもよい。以下、詳細に説明する。

【0072】

記憶部１５は、各顧客の顧客識別情報に紐づけて過去の購買履歴を記憶する。図８に、記憶されている購買履歴の一例を模式的に示す。図示する例では、購買履歴は、購買日時、購入金額及び購入商品の情報（名称、価格等）を含む。さらに、図示する例では、購買履歴は、その来店時に生成された行動情報（第２の実施形態を参照）を含む。

【0073】

また、図示しないが、購買履歴は、さらに複数回の購買の統計結果を含んでもよい。統計結果は、例えば、購買回数、平均購入金額、最大購入金額、過去の購入商品から推定した嗜好品等を含んでもよい。

【0074】

なお、ここで例示した購買履歴の情報はあくまで一例であり、その他の情報を含んでもよいし、例示した情報の一部を含まなくてもよい。

【0075】

画像解析部１２は、取得部１１が取得した画像に基づき、画像に含まれる顧客の顧客識別情報を特定する。例えば、記憶部１５は、各顧客の顔画像及び外観の特徴量（顔の特徴量）の少なくとも一方と、顧客識別情報とを紐づけた顧客情報を記憶しておく。そして、画像解析部１２は、画像に含まれる顧客の顔画像又はそれから抽出した特徴量と、上記顧客情報との照合処理により、画像に含まれる顧客の顧客識別情報を特定してもよい。

【0076】

そして、画像解析部１２は、特定した顧客識別情報に紐づけられた購買履歴の少なくとも一部を、その顧客の店舗内識別情報に紐づけて記憶部１５に記憶させる。

【0077】

図９に、画像解析部１２が店舗内識別情報に紐づけて記憶部１５に記憶させた購買履歴の一例を模式的に示す。図示する例では、店舗内人物識別情報と、顧客識別情報と、購買履歴の少なくとも一部（購買回数、平均購入金額、最大購入金額、嗜好品等）とが互いに紐づけて登録されている。

【0078】

判断部１３は、所持品関連情報と購買履歴とに基づき、顧客が「顧客に適したサービスの提供が必要な顧客」か判断する。例えば、判断部１３は、各顧客の所持品の高級度に基づく所定の演算式（例えば、より高級度の高い所持品をより多く有するほどスコアが高くなる）で、顧客毎に所持品関連スコアを算出してもよい。また、判断部１３は、各顧客の購買履歴に基づく所定の演算式（例えば、購買回数が多いほど、平均購入金額が高いほど、最大購入金額が高いほど、スコアが高くなる）で、顧客毎に購買履歴関連スコアを算出してもよい。そして、判断部１３は、所持品関連スコアと購買履歴関連スコアとに基づく所定の演算式（所持品関連スコアが高いほど、また、購買履歴関連スコアが高いほど、スコアが高くなる）で、顧客毎にトータルスコアを算出し、トータルスコアが基準値以上の顧客を「顧客に適したサービスの提供が必要な顧客」と判断してもよい。

【0079】

なお、判断部１３は、所持品関連情報と行動情報と購買履歴とに基づき、顧客が「顧客に適したサービスの提供が必要な顧客」か判断してもよい。例えば、判断部１３は、上記手法で所持品関連スコア及び購買履歴関連スコアを算出してもよい。さらに、判断部１３は、第２の実施形態で説明した手法で行動関連スコアを算出してもよい。そして、判断部１３は、所持品関連スコアと購買履歴関連スコアと行動関連スコアに基づく所定の演算式（所持品関連スコアが高いほど、購買履歴関連スコアが高いほど、また、行動関連スコアが高いほど、スコアが高くなる）で、顧客毎にトータルスコアを算出し、トータルスコアが基準値以上の顧客を「顧客に適したサービスの提供が必要な顧客」と判断してもよい。

【0080】

次に、図１０のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。なお、ここでは、所持品関連情報、行動情報及び購買履歴に基づき、各顧客が「顧客に適したサービスの提供が必要な顧客」か判断する処理例を説明するが、上述の通り、処理装置１０は、行動情報を用いず、所持品関連情報及び購買履歴に基づき、各顧客が「顧客に適したサービスの提供が必要な顧客」か判断してもよい。この場合、Ｓ３０５及びＳ３０９の処理は不要となる。

【0081】

取得部１１がある店舗システム２０から送信されてきた画像を処理対象として取得すると（Ｓ３００）、画像解析部１２は、処理対象の画像から顧客（人物）を抽出する処理を行う（Ｓ３０１）。処理対象の画像から顧客が抽出されなかった場合（Ｓ３０１のＮｏ）、Ｓ３１４２に進む。一方、処理対象の画像から顧客が抽出された場合（Ｓ３０１のＹｅｓ）、画像解析部１２は、抽出した顧客の中から１人を処理対象として指定する（Ｓ３０２）。

【0082】

そして、画像解析部１２は、指定した顧客が追跡中の顧客でない場合（Ｓ３０３のＮｏ）、追跡を開始する（Ｓ３０６）。例えば、画像解析部１２は、その顧客に対応して店舗内人物識別情報を新たに発行し、記憶部１５に記憶させる。次いで、画像解析部１２は、画像に含まれるその顧客の顔画像に基づきその顧客の顧客識別情報を特定する（Ｓ３０７）。そして、画像解析部１２は、その顧客の店舗内人物識別情報に紐づけて特定した顧客識別情報を記憶部１５に記憶させる（図９参照）。また、画像解析部１２は、特定した顧客識別情報に紐づけられた購買履歴（図８参照）の少なくとも一部を、その顧客の店舗内人物識別情報に紐づけて記憶部１５に記憶させる（図９参照）。なお、顧客識別情報が特定されなかった場合（その顧客の情報が登録されていない場合）、画像解析部１２は、店舗内人物識別情報に顧客識別情報や購買履歴を紐づけて記憶させる処理を行わない。その後、Ｓ３０８に進む。

【0083】

一方、指定した顧客が追跡中の顧客である場合（Ｓ３０４のＹｅｓ）、画像解析部１２は、その顧客は「顧客に適したサービスの提供が必要な顧客」と認定済みか判断する（Ｓ２３４）。認定済みである場合（Ｓ３０４のＹｅｓ）、Ｓ３０５に進み行動判定を行った後、Ｓ３１３に進む。Ｓ３０５の行動判定の内容は、後述するＳ３０９の行動判定の内容と同様である。このように「顧客に適したサービスの提供が必要な顧客」と認定した後も行動判定を行って行動情報を生成することで、行動情報と実際の購買との関係を示す情報を収集することが可能となる。

【0084】

一方、認定済みでない場合（Ｓ３０４のＮｏ）、Ｓ３０８に進み、所持品判定（Ｓ３０８）及び行動判定（Ｓ３０９）を行う。追跡中である場合、その顧客の所持品判定及び行動判定はそれ以前に少なくとも一度は行われている。このように繰り返し所持品判定を行うことで、画像への映り込み方に起因してそれまでは検出されなかった所持品を新たに検出することが可能となる。また、このように行動判定を繰り返し行うことで、店内滞在中、各顧客の行動内容を継続的に蓄積することが可能となる。

【0085】

Ｓ３０８では、画像解析部１２は、画像に基づき所持品関連情報（図４参照）を生成し、その顧客の店舗内人物識別情報に紐づけて記憶部１５に記憶させる。すなわち、画像解析部１２は、画像を解析してその顧客の所持品を抽出し、抽出した所持品各々の外観から、例えば種類（カバン、装飾品、腕時計、眼鏡、サングラス、コート、上着、ズボン、スカート、靴、車等）、形、色、模様、ロゴ、素材等の情報を抽出する。そして、画像解析部１２は、抽出結果に基づき、各所持品の高級度を算出する。

【0086】

Ｓ３０９では、画像解析部１２は、画像に基づき行動情報（図６参照）を生成し、その顧客の店舗内人物識別情報に紐づけて記憶部１５に記憶させる。例えば、画像解析部１２は、画像に基づき、予め定義された所定の行動が行われたことを検出し、各行動の検出に応じて行動情報を更新（その行動をした旨を登録）してもよい。また、画像解析部１２は、手にとる、比較する、試着する、触る等のように商品に関する行動を検出した場合、商品の外観の特徴に基づきその行動の対象となった商品を特定してもよい。そして、画像解析部１２は、その商品を識別する情報を行動情報に登録してもよい。

【0087】

次いで、判断部１３は、所持品関連情報、行動情報及び購買履歴に基づき、その顧客が「顧客に適したサービスの提供が必要な顧客」か判断する（Ｓ３０１）。店舗内人物識別情報に紐づけて購買履歴が記憶されていない場合、判断部１３は、所持品関連情報及び行動情報に基づき、その顧客が「顧客に適したサービスの提供が必要な顧客」か判断する。

【0088】

その顧客は「顧客に適したサービスの提供が必要な顧客」と判断された場合（Ｓ３１１のＹｅｓ）、出力部１４は、その顧客を特定するための顧客特定情報を出力する（Ｓ３１２）。具体的には、出力部１４は、画像を送信してきた店舗システム２０に顧客特定情報を送信する。店舗システム２０は、店員が閲覧可能な任意のディスプレイを介して顧客特定情報を表示してもよいし、店員の携帯端末に顧客特定情報を表示してもよいし、プリンターを介して顧客特定情報を出力してもよい。この時、出力部１４は、その顧客が行った購買に繋がる所定の行動の詳細をさらに出力してもよい。出力される所定の行動の詳細は、例えば、「商品Ａを手に取った」、「商品Ａの前で５分以上滞在した」、「商品Ａと商品Ｂを比較した」等が例示される。また、出力部１４は、その顧客の購買履歴に関する情報（購買回数、平均購入金額、最大購入金額、過去の購入商品から推定した嗜好品等）をさらに出力してもよい。なお、その顧客は「顧客に適したサービスの提供が必要な顧客」と判断した場合、判断部１３は、その顧客の店舗内人物識別情報に紐づけてその旨を記憶部１５に記憶させてもよい。例えば、画像解析部１２は、当該情報に基づきＳ３０４の判断を行ってもよい。

【0089】

一方、その顧客は「顧客に適したサービスの提供が必要な顧客」と判断されなかった場合（Ｓ３１２のＮｏ）、出力部１４は、その顧客の顧客特定情報を出力しない。

【0090】

Ｓ３１３では、画像解析部１２は、その画像から抽出した顧客の中に、Ｓ３０２で指定されていない顧客がいるか判断する。いる場合（Ｓ３１３のＹｅｓ）、画像解析部１２はＳ３０２に戻り、同様の処理を繰り返す。一方、いない場合（Ｓ３１３のＮｏ）、処理を終了する入力がなければ（Ｓ３１４のＮｏ）、Ｓ３００に戻り、同様の処理を繰り返す。

【0091】

本実施形態の処理装置１０のその他の構成は、第１及び第２の実施形態と同様である（変形例も含む）。

【0092】

以上、本実施形態の処理装置１０によれば、第１及び第２の実施形態と同様の作用効果が実現される。また、処理装置１０は、顧客の購買履歴が登録されている場合、顧客の所持品に加えて、顧客の購買履歴に基づき、各顧客が「顧客に適したサービスの提供が必要な顧客」か否かを判断できるので、判断の精度が向上する。また、処理装置１０は、顧客の所持品及び顧客の購買履歴に加えて、さらに顧客の店舗内行動に基づき各顧客が「顧客に適したサービスの提供が必要な顧客」か否かを判断できるので、判断の精度がさらに向上する。

【0093】

ここで、本実施形態の変形例を説明する。各店舗は、本実施形態で説明した「過去の購買履歴を利用して各顧客が「顧客に適したサービスの提供が必要な顧客」か否かを判断する処理」を実行するか否かを選択できてもよい。過去の購買履歴を利用するためには画像等を用いて顧客を特定する必要があるが、プライバシー保護の観点からこのような処理を行うことを希望しない店舗がある。一方で、各顧客が「顧客に適したサービスの提供が必要な顧客」か否かの判断の精度を高めるために、顧客の理解を得た上で、「過去の購買履歴を利用して各顧客が「顧客に適したサービスの提供が必要な顧客」か否かを判断する処理」を行うことを希望する店舗もある。店舗ごとに処理装置１０の処理内容を選択できる当該変形例によれば、各店舗の要望に合ったサービスを提供することが可能となる。

【0094】

なお、各店舗が選択した内容は記憶部１５に記憶される。そして、「過去の購買履歴を利用して各顧客が「顧客に適したサービスの提供が必要な顧客」か否かを判断する処理」を実行することが選択されている店舗に対しては、本実施形態で説明した処理（例えば、図１０のフロー）が実行される。一方、「過去の購買履歴を利用して各顧客が「顧客に適したサービスの提供が必要な顧客」か否かを判断する処理」を実行しないことが選択されている店舗に対しては、第１又は第２の実施形態で説明した処理（例えば、図５又は図７のフロー）が実行される。

【0095】

＜第４の実施形態＞
本実施形態の処理装置１０は、勤務中の店員の中のいずれに顧客特定情報を通知するか決定し、決定した店員に顧客特定情報を通知する機能を有する。これにより、顧客に適した店員が接客することが可能となる。以下、詳細に説明する。

【0096】

出力部１４は、画像に基づき推定された顧客の属性、顧客の店舗内の位置、各店員の属性及び各店員の店舗内の位置の中の少なくとも１つに基づき決定した店員に、顧客特定情報を通知する。

【0097】

推定された顧客の属性は、例えば年令、性別等である。

【0098】

顧客の店舗内の位置は、画像に基づき特定される。例えば、貴金属コーナーを撮影するカメラが生成した画像に含まれる顧客は、貴金属コーナーにいることが特定される。その他、例えば、通路Ａを撮影するカメラが生成した画像に含まれる顧客は、通路Ａにいることが特定される

【0099】

各店員の属性は、例えば年令、性別、担当商品等である。例えば、店舗に所属する複数の店員各々の店員情報が予め作成され、記憶部１５に記憶されていてもよい。そして、当該店員情報に基づき、図１１に示すような勤務中の店員の情報が作成され、記憶部１５に記憶されていてもよい。

【0100】

店員の店舗内の位置は、画像に基づき特定される。例えば、記憶部１５は、各店員の顔画像及び外観の特徴量（顔の特徴量）の少なくとも一方と、店員識別情報とを紐づけた店員情報を記憶しておいてもよい。そして、画像解析部１２は、画像に含まれる人物の顔画像又はそれから抽出した特徴量と、上記店員情報との照合処理により、画像に含まれる店員を特定してもよい。そして、上記顧客の店舗内の位置の特定と同様の処理で、特定した店員の店舗内の位置が特定されてもよい。

【0101】

出力部１４は、例えば、「顧客に適したサービスの提供が必要な顧客」と同性の勤務中の店員に顧客特定情報を通知してもよい。その他、出力部１４は、「顧客に適したサービスの提供が必要な顧客」の年代が第１の条件（例：１０代、２０代）を満たす場合、「顧客に適したサービスの提供が必要な顧客」と同性の勤務中の店員に顧客特定情報を通知し、「顧客に適したサービスの提供が必要な顧客」の年代が第２の条件（例：３０代以上）を満たす場合、「顧客に適したサービスの提供が必要な顧客」と異性の勤務中の店員に顧客特定情報を通知してもよい。

【0102】

その他、出力部１４は、「顧客に適したサービスの提供が必要な顧客」の最も近くにいる勤務中の店員（同一のコーナーにいる同一の通路にいる、顧客がいるコーナーの最も近くのコーナーにいる等）に、顧客特定情報を通知してもよい。

【0103】

その他、出力部１４は、「顧客に適したサービスの提供が必要な顧客」がいる場所に陳列されている商品を担当する勤務中の店員に、顧客特定情報を通知してもよい。

【0104】

次に、図１２のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。なお、ここでは、所持品関連情報に基づき、各顧客が「顧客に適したサービスの提供が必要な顧客」か判断する処理例を説明するが、第２及び第３の実施形態で説明したように、処理装置１０は、所持品関連情報と、行動情報及び購買履歴の少なくとも一方とに基づき、各顧客が「顧客に適したサービスの提供が必要な顧客」か判断してもよい。

【0105】

取得部１１がある店舗システム２０から送信されてきた画像を処理対象として取得すると（Ｓ４００）、画像解析部１２は、処理対象の画像から顧客（人物）を抽出する処理を行う（Ｓ４０１）。処理対象の画像から顧客が抽出されなかった場合（Ｓ４０１のＮｏ）、Ｓ１１２に進む。一方、処理対象の画像から顧客が抽出された場合（Ｓ４０１のＹｅｓ）、画像解析部１２は、抽出した顧客の中から１人を処理対象として指定する（Ｓ４０２）。

【0106】

そして、画像解析部１２は、指定した顧客が追跡中の顧客でない場合（Ｓ４０３のＮｏ）、追跡を開始する（Ｓ４０５）。例えば、画像解析部１２は、その顧客に対応して店舗内人物識別情報を新たに発行し、記憶部１５に記憶させる。その後、Ｓ４０６に進む。

【0107】

一方、指定した顧客が追跡中の顧客である場合（Ｓ４０３のＹｅｓ）、画像解析部１２は、その顧客は「顧客に適したサービスの提供が必要な顧客」と認定済みか判断する（Ｓ４０４）。認定済みである場合（Ｓ４０４のＹｅｓ）、Ｓ４１１に進む。一方、認定済みでない場合（Ｓ４０４のＮｏ）、Ｓ４０６に進み、所持品判定を行う。追跡中である場合、その顧客の所持品判定はそれ以前に少なくとも一度は行われている。このように繰り返し所持品判定を行うことで、画像への映り込み方に起因してそれまでは検出されなかった所持品を新たに検出することが可能となる。

【0108】

Ｓ４０６では、画像解析部１２は、画像に基づき所持品関連情報（図４参照）を生成し、その顧客の店舗内人物識別情報に紐づけて記憶部１５に記憶させる。すなわち、画像解析部１２は、画像を解析してその顧客の所持品を抽出し、抽出した所持品各々の外観から、例えば種類（カバン、装飾品、腕時計、眼鏡、サングラス、コート、上着、ズボン、スカート、靴、車等）、形、色、模様、ロゴ、素材等の情報を抽出する。そして、画像解析部１２は、抽出結果に基づき、各所持品の高級度を算出する。

【0109】

次いで、判断部１３は、所持品関連情報に基づき、その顧客が「顧客に適したサービスの提供が必要な顧客」か判断する（Ｓ４０７）。

【0110】

その顧客は「顧客に適したサービスの提供が必要な顧客」と判断された場合（Ｓ４０８のＹｅｓ）、出力部１４は、画像に基づき推定されたその顧客の属性、その顧客の店舗内の位置、勤務中の各店員の属性及び勤務中の各店員の店舗内の位置の中の少なくとも１つに基づき、その顧客を特定するための顧客特定情報を通知する勤務中の店員を決定する（Ｓ４０９）。そして、出力部１４は、決定した店員に、その顧客を特定するための顧客特定情報を通知する（Ｓ４１０）。具体的には、出力部１４は、画像を送信してきた店舗システム２０に顧客特定情報、及び、決定した店員が所持する携帯端末を識別する情報（予め、各店員に対応付けて記憶部１５に記憶されている）を送信する。店舗システム２０は、受信した顧客特定情報を、受信した携帯端末を識別する情報で識別される携帯端末に送信する。携帯端末への送信は、携帯端末にインストールされた所定のアプリケーションを介したプッシュ通知等で実現されてもよい。なお、その顧客は「顧客に適したサービスの提供が必要な顧客」と判断した場合、判断部１３は、その顧客の店舗内人物識別情報に紐づけてその旨を記憶部１５に記憶させてもよい。例えば、画像解析部１２は、当該情報に基づきＳ４０４の判断を行ってもよい。

【0111】

一方、その顧客は「顧客に適したサービスの提供が必要な顧客」と判断されなかった場合（Ｓ４０８のＮｏ）、出力部１４は、その顧客の顧客特定情報を出力しない。

【0112】

Ｓ４１１では、画像解析部１２は、その画像から抽出した顧客の中に、Ｓ４０２で指定されていない顧客がいるか判断する。いる場合（Ｓ４１１のＹｅｓ）、画像解析部１２はＳ４０２に戻り、同様の処理を繰り返す。一方、いない場合（Ｓ４１１のＮｏ）、処理を終了する入力がなければ（Ｓ４１２のＮｏ）、Ｓ４００に戻り、同様の処理を繰り返す。

【0113】

本実施形態の処理装置１０のその他の構成は、第１乃至第３の実施形態と同様である（変形例も含む）。

【0114】

以上、本実施形態の処理装置１０によれば、第１乃至第３の実施形態と同様の作用効果が実現される。また、処理装置１０は、顧客の属性、顧客の店舗内の位置、勤務中の各店員の属性、及び、勤務中の各店員の店舗内の位置の中の少なくとも１つに基づき決定した店員に、顧客特定情報を通知することができる。結果、各顧客に適した店員がその顧客の接客を行うことが可能となる。

【0115】

＜第５の実施形態＞
本実施形態の処理装置１０は、ある顧客を「顧客に適したサービスの提供が必要な顧客」と判断した場合、その店舗の属性や、その顧客の属性等に基づき適切な接客方法を決定し、顧客特定情報とともに接客方法のアドバイスを出力する機能を有する。以下、詳細に説明する。

【0116】

出力部１４は、「顧客に適したサービスの提供が必要な顧客」に対する接客方法のアドバイスをさらに出力する。出力部１４は、店舗の属性、及び、「顧客に適したサービスの提供が必要な顧客」の属性の少なくとも一方に応じたアドバイスを出力する。

【0117】

例えば、記憶部１５は、図１３に示すように、店舗の属性ごと、また、顧客の属性ごとに適切な接客方法を定義した情報を記憶しておいてもよい。そして、出力部１４は、当該情報に基づき、出力する接客方法のアドバイスを決定してもよい。

【0118】

次に、図１４のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。なお、ここでは、所持品関連情報に基づき、各顧客が「顧客に適したサービスの提供が必要な顧客」か判断する処理例を説明するが、第２及び第３の実施形態で説明したように、処理装置１０は、所持品関連情報と、行動情報及び購買履歴の少なくとも一方とに基づき、各顧客が「顧客に適したサービスの提供が必要な顧客」か判断してもよい。また、処理装置１０は、第４の実施形態で説明したように顧客特定情報及びアドバイスを通知する店員を決定し、決定した店員に通知してもよい。

【0119】

取得部１１がある店舗システム２０から送信されてきた画像を処理対象として取得すると（Ｓ５００）、画像解析部１２は、処理対象の画像から顧客（人物）を抽出する処理を行う（Ｓ５０１）。処理対象の画像から顧客が抽出されなかった場合（Ｓ５０１のＮｏ）、Ｓ５１２に進む。一方、処理対象の画像から顧客が抽出された場合（Ｓ５０１のＹｅｓ）、画像解析部１２は、抽出した顧客の中から１人を処理対象として指定する（Ｓ５０２）。

【0120】

そして、画像解析部１２は、指定した顧客が追跡中の顧客でない場合（Ｓ５０３のＮｏ）、追跡を開始する（Ｓ５０５）。例えば、画像解析部１２は、その顧客に対応して店舗内人物識別情報を新たに発行し、記憶部１５に記憶させる。その後、Ｓ５０６に進む。

【0121】

一方、指定した顧客が追跡中の顧客である場合（Ｓ５０３のＹｅｓ）、画像解析部１２は、その顧客は「顧客に適したサービスの提供が必要な顧客」と認定済みか判断する（Ｓ５０４）。認定済みである場合（Ｓ５０４のＹｅｓ）、Ｓ５１１に進む。一方、認定済みでない場合（Ｓ５０４のＮｏ）、Ｓ５０６に進み、所持品判定を行う。追跡中である場合、その顧客の所持品判定はそれ以前に少なくとも一度は行われている。このように繰り返し所持品判定を行うことで、画像への映り込み方に起因してそれまでは検出されなかった所持品を新たに検出することが可能となる。

【0122】

Ｓ５０６では、画像解析部１２は、画像に基づき所持品関連情報（図４参照）を生成し、その顧客の店舗内人物識別情報に紐づけて記憶部１５に記憶させる。すなわち、画像解析部１２は、画像を解析してその顧客の所持品を抽出し、抽出した所持品各々の外観から、例えば種類（カバン、装飾品、腕時計、眼鏡、サングラス、コート、上着、ズボン、スカート、靴、車等）、形、色、模様、ロゴ、素材等の情報を抽出する。そして、画像解析部１２は、抽出結果に基づき、各所持品の高級度を算出する。

【0123】

次いで、判断部１３は、所持品関連情報に基づき、その顧客が「顧客に適したサービスの提供が必要な顧客」か判断する（Ｓ５０７）。

【0124】

その顧客は「顧客に適したサービスの提供が必要な顧客」と判断された場合（Ｓ５０８のＹｅｓ）、出力部１４は、店舗の属性、及び、その顧客の属性の少なくとも一方に基づき接客方法のアドバイスを決定する（Ｓ５０９）。そして、出力部１４は、その顧客を特定するための顧客特定情報及び決定した接客アドバイスを出力する（Ｓ５１０）。具体的には、出力部１４は、画像を送信してきた店舗システム２０に顧客特定情報及び接客アドバイスを送信する。店舗システム２０は、店員が閲覧可能な任意のディスプレイを介して顧客特定情報及び接客アドバイスを表示してもよいし、店員の携帯端末に顧客特定情報及び接客アドバイスを表示してもよいし、プリンターを介して顧客特定情報及び接客アドバイスを出力してもよい。なお、その顧客は「顧客に適したサービスの提供が必要な顧客」と判断した場合、判断部１３は、その顧客の店舗内人物識別情報に紐づけてその旨を記憶部１５に記憶させてもよい。例えば、画像解析部１２は、当該情報に基づきＳ５０４の判断を行ってもよい。

【0125】

一方、その顧客は「顧客に適したサービスの提供が必要な顧客」と判断されなかった場合（Ｓ５０８のＮｏ）、出力部１４は、その顧客の顧客特定情報及び接客アドバイスを出力しない。

【0126】

Ｓ５１１では、画像解析部１２は、その画像から抽出した顧客の中に、Ｓ５０２で指定されていない顧客がいるか判断する。いる場合（Ｓ５１１のＹｅｓ）、画像解析部１２はＳ５０２に戻り、同様の処理を繰り返す。一方、いない場合（Ｓ５１１のＮｏ）、処理を終了する入力がなければ（Ｓ５１２のＮｏ）、Ｓ５００に戻り、同様の処理を繰り返す。

【0127】

本実施形態の処理装置１０のその他の構成は、第１乃至第４の実施形態と同様である（変形例も含む）。

【0128】

以上、本実施形態の処理装置１０によれば、第１乃至第４の実施形態と同様の作用効果が実現される。また、処理装置１０は、店舗の属性や「顧客に適したサービスの提供が必要な顧客」の属性に基づき適切な接客アドバイスを決定し、通知することができる。結果、各顧客に適した接客を行うことが可能となる。

【0129】

ここで、全ての実施形態に適用可能な変形例を説明する。ここまでは、図１に示すように処理装置１０は、サーバ（例えば、クラウドサーバ）であり、インターネット等の通信ネットワーク３０を介して、複数の店舗各々の店舗システム２０と通信し、複数の店舗に関する処理を行うことを前提とした。変形例として、図１５に示すように、処理装置１０は各店舗に設置され、設置された店舗の店舗システム２０のみと通信し、その店舗に関する処理のみを行ってもよい。

【0130】

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0131】

以下、参考形態の例を付記する。
１． 店舗内を撮影した画像を取得する取得手段と、
前記画像に基づき、顧客の所持品に関する所持品関連情報を生成する画像解析手段と、
前記所持品関連情報に基づき、前記顧客に適したサービスの提供が必要か否かを判断する判断手段と、
前記顧客に適したサービスの提供が必要と判断した前記顧客を特定するための顧客特定情報を出力する出力手段と、
を有する処理装置。
２． 前記所持品関連情報は、前記顧客の所持品の高級度を示す１に記載の処理装置。
３． 前記画像解析手段は、前記画像に基づき前記顧客の店舗内行動に関する行動情報を生成し、
前記判断手段は、さらに前記行動情報に基づき、前記顧客に適したサービスの提供が必要か否かを判断する１又は２に記載の処理装置。
４． 前記行動情報は、商品の購買に繋がる所定の行動の実行有無を示す３に記載の処理装置。
５． 前記画像解析手段は、前記画像に基づき前記顧客の顧客識別情報を特定し、
前記判断手段は、さらに前記顧客識別情報に紐づけて登録されている購買履歴に基づき、前記顧客に適したサービスの提供が必要か否かを判断する１から４のいずれかに記載の処理装置。
６． 前記出力手段は、前記画像に基づき推定された前記顧客の特徴、前記画像に基づき特定された前記顧客の所持品の特徴、及び、前記顧客の画像の中の少なくとも１つを、前記顧客特定情報として出力する１から５のいずれかに記載の処理装置。
７． 前記判断手段は、前記店舗各々に対応した判断基準に基づき、前記顧客に適したサービスの提供が必要か否かを判断する１から６のいずれかに記載の処理装置。
８． 前記出力手段は、前記顧客に対する接客方法のアドバイスをさらに出力する１から７のいずれかに記載の処理装置。
９． 前記出力手段は、前記店舗の属性に応じた前記アドバイスを出力する８に記載の処理装置。
１０． 前記出力手段は、前記画像に基づき推定された前記顧客の属性、前記顧客の店舗内の位置、各店員の属性及び各店員の店舗内の位置の中の少なくとも１つに基づき決定した店員に、前記顧客特定情報を通知する１から９のいずれかに記載の処理装置。
１１． コンピュータが、
店舗内を撮影した画像を取得し、
前記画像に基づき、顧客の所持品に関する所持品関連情報を生成し、
前記所持品関連情報に基づき、前記顧客に適したサービスの提供が必要か否かを判断し、
前記顧客に適したサービスの提供が必要と判断した前記顧客を特定するための顧客特定情報を出力する処理方法。
１２． コンピュータを、
店舗内を撮影した画像を取得する取得手段、
前記画像に基づき、顧客の所持品に関する所持品関連情報を生成する画像解析手段、
前記所持品関連情報に基づき、前記顧客に適したサービスの提供が必要か否かを判断する判断手段、
前記顧客に適したサービスの提供が必要と判断した前記顧客を特定するための顧客特定情報を出力する出力手段、
として機能させるプログラム。

【符号の説明】

【0132】

１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
１０ 処理装置
１１ 取得部
１２ 画像解析部
１３ 判断部
１４ 出力部
１５ 記憶部
２０ 店舗システム
３０ 通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】