特開 2024-89580 情報出力プログラム、情報出力方法及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024089580

(43)【公開日】2024-07-03

(54)【発明の名称】情報出力プログラム、情報出力方法及び情報処理装置

(51)【国際特許分類】

   G06Q 30/01 20230101AFI20240626BHJP

【ＦＩ】

G06Q30/01

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022204998

(22)【出願日】2022-12-21

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】條 由花

(72)【発明者】

【氏名】村瀬 健太郎

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA06

(57)【要約】

【課題】店員の接客行動の評価を支援することを課題とする。
【解決手段】情報処理装置は、店内の映像を取得し、取得した映像を分析することで、映像の中から店員を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、店員および顧客の相互作用を識別した第一の関係性とを特定し、特定した第一の関係性に基づいて、第一の領域に含まれる店員が、第二の領域に含まれる顧客に対して接客行動を実施したと判定し、判定した結果を表示装置に出力する。
【選択図】図１４

【特許請求の範囲】

【請求項1】

店内の映像を取得し、
取得した映像を分析することで、前記映像の中から店員を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、前記店員および前記顧客の相互作用を識別した第一の関係性とを特定し、
特定した第一の関係性に基づいて、前記第一の領域に含まれる店員が、前記第二の領域に含まれる顧客に対して接客行動を実施したと判定し、
判定した結果を表示装置に出力する、
処理をコンピュータに実行させることを特徴とする情報出力プログラム。

【請求項2】

前記取得する処理は、前記店員から接客された顧客を含む映像を取得する処理を含み、
前記特定する処理は、取得した映像を分析することで、前記映像の中から商品を含む第三の領域と、前記顧客を含む第四の領域と、前記商品および前記顧客の相互作用を識別した第二の関係性とを特定する処理を含み、
前記第二の関係性と予め設定されたルールとに基づいて、前記第四の領域に含まれる顧客が前記第三の領域に含まれる商品の注目の度合いを特定し、
特定した商品の注目の度合いと、前記顧客に接客をした店員とを対応づけた分析画像を生成し、
生成した分析画像を表示装置に表示させる、
処理を前記コンピュータにさらに実行させることを特徴とする請求項１に記載の情報出力プログラム。

【請求項3】

前記第二の領域に含まれる人物を追跡し、
会計機を含むエリアを撮影した映像を分析することで、追跡をした人物が利用した会計機を特定し、
特定した会計機に登録をされている購入商品に関する情報を取得し、
取得した購入商品に関する情報に基づいて、前記店員の接客をした顧客が商品を購入したか否かを判定し、
判定した結果と、顧客に接客をした店員とを対応づけた分析画像を生成し、
生成した分析画像を表示装置に表示させる、
処理を前記コンピュータにさらに実行させることを特徴とする請求項１に記載の情報出力プログラム。

【請求項4】

前記特定する処理は、取得した映像を機械学習モデルに入力することで、前記第一の領域と、前記第二の領域と、前記第一の関係性を特定する処理を含み、
前記機械学習モデルは、前記店員を示す第１クラスおよび前記店員が出現する領域を示す第１領域情報と、前記顧客を示す第２クラスおよび前記顧客が出現する領域を示す第２領域情報と、前記第１クラスと前記第２クラスとの相互作用と、を識別するように機械学習が実行されたＨＯＩＤ（Human Object Interaction Detection）用のモデルである、
ことを特徴とする請求項１に記載の情報出力プログラム。

【請求項5】

前記特定する処理は、取得した映像を機械学習モデルに入力することで、前記第三の領域と、前記第四の領域と、前記第二の関係性を特定する処理を含み、
前記機械学習モデルは、前記商品を含む物体を示す第１クラスおよび前記物体が出現する領域を示す第１領域情報と、前記商品を購入する人物を示す第２クラスおよび前記人物が出現する領域を示す第２領域情報と、前記第１クラスと前記第２クラスとの相互作用と、を識別するように機械学習が実行されたＨＯＩＤ（Human Object Interaction Detection）用のモデルである、
ことを特徴とする請求項２に記載の情報出力プログラム。

【請求項6】

店内の映像を取得し、
取得した映像を分析することで、前記映像の中から店員を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、前記店員および前記顧客の相互作用を識別した第一の関係性とを特定し、
特定した第一の関係性に基づいて、前記第一の領域に含まれる店員が、前記第二の領域に含まれる顧客に対して接客行動を実施したと判定し、
判定した結果を表示装置に出力する、
処理をコンピュータが実行することを特徴とする情報出力方法。

【請求項7】

店内の映像を取得し、
取得した映像を分析することで、前記映像の中から店員を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、前記店員および前記顧客の相互作用を識別した第一の関係性とを特定し、
特定した第一の関係性に基づいて、前記第一の領域に含まれる店員が、前記第二の領域に含まれる顧客に対して接客行動を実施したと判定し、
判定した結果を表示装置に出力する、
処理を実行する制御部を含むことを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報出力プログラム、情報出力方法及び情報処理装置に関する。

【背景技術】

【0002】

店舗等における店員の接客は、店舗の評価に影響を与えるので、店員の接客内容を改善することが求められる側面がある。このような側面から、店舗内に設置されたカメラの映像を用いて、店員の顧客に対する接客を評価することが行われている。また、機械学習モデルを用いて、映像から物体や人物を含む領域を矩形で囲むバウンディングボックス（Bbox）を抽出するものがある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１６５４８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、映像から抽出されるBboxの位置関係は２次元空間によるものなので、例えば、Bbox間の奥行きについては分析できず、人物と人物との関係を識別することが難しい。また、店内で様々な人物が多様な行動を示す中で、店員の接客行動を検出することは容易でないので、店員の接客行動の評価を支援することが困難である側面がある。

【0005】

１つの側面では、店員の接客行動の評価を支援できる情報出力プログラム、情報出力方法及び情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

第１の案では、情報出力プログラムは、店内の映像を取得し、取得した映像を分析することで、前記映像の中から店員を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、前記店員および前記顧客の相互作用を識別した第一の関係性とを特定し、特定した第一の関係性に基づいて、前記第一の領域に含まれる店員が、前記第二の領域に含まれる顧客に対して接客行動を実施したと判定し、判定した結果を表示装置に出力する、処理をコンピュータに実行させる。

【発明の効果】

【0007】

一実施形態によれば、店員の接客行動の評価を支援できる。

【図面の簡単な説明】

【0008】

【図1】図１は、システムの構成例を示す図である。

【図2】図２は、情報処理装置の機能構成例を示すブロック図である。

【図3】図３は、正解情報の一例を示す図である。

【図4】図４は、正解情報の一例を示す図である。

【図5】図５は、第一のＨＯＩＤモデルの訓練例を示す模式図である。

【図6】図６は、第二のＨＯＩＤモデルの訓練例を示す模式図である。

【図7】図７は、第一のＨＯＩＤモデルの出力例を示す図である。

【図8】図８は、ＩＤ管理ＤＢの一例を示す図である。

【図9】図９は、トラッキングの開始および終了の一例を示す模式図である。

【図10】図１０は、第二のＨＯＩＤモデルの出力例を示す図である。

【図11】図１１は、注目度特定ルールＤＢの一例を示す図である。

【図12】図１２は、顧客行動履歴ＤＢの一例を示す図である。

【図13】図１３は、接客評価ＤＢの一例を示す図である。

【図14】図１４は、接客評価画面の一例を示す図である。

【図15】図１５は、接客評価画面の一例を示す図である。

【図16】図１６は、映像取得処理の手順を示すフローチャートである。

【図17】図１７は、判定処理の手順を示すフローチャートである。

【図18】図１８は、特定処理の手順を示すフローチャートである。

【図19】図１９は、生成処理の手順を示すフローチャートである。

【図20】図２０は、情報処理装置のハードウェア構成例を示す図である。

【図21】図２１は、セルフレジ端末のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本願の開示する情報出力プログラム、情報出力方法及び情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例0010】

＜１．全体構成＞
図１は、システムの構成例を示す図である。図１に示すシステム１は、スーパーマーケットやコンビニエンスストアなどの店舗３における店員５の接客行動の評価を支援する側面から、店舗３で撮像される映像を用いて店員の接客行動を検出して出力する情報出力機能を提供するものである。

【0011】

図１に示すように、システム１には、情報処理装置１０と、カメラ２０と、セルフレジ３０と、バックヤード端末５０と、営業部門端末７０とが含まれ得る。これら情報処理装置１０、カメラ２０、セルフレジ３０、バックヤード端末５０および営業部門端末７０は、ネットワークＮＷを介して接続される。例えば、ネットワークＮＷは、有線や無線を問わず様々な通信網であってよい。

【0012】

情報処理装置１０は、上記の情報出力機能を提供するコンピュータの一例である。例えば、情報処理装置１０は、ＰａａＳ（Platform as a Service）型、あるいはＳａａＳ（Software as a Service）型のアプリケーションとして実現することで、上記の情報出力機能をクラウドサービスとして提供できる。この他、情報処理装置１０は、上記の情報出力機能をオンプレミスに提供するサーバとして実現することもできる。

【0013】

カメラ２０は、映像を撮像する撮像装置の一例である。カメラ２０は、店舗３内の特定の範囲、例えば商品の売り場、商品の陳列棚、あるいは精算コーナーに設置されるセルフレジ３０を含むエリアを撮影可能に設置される。これにより、例えば、店員５が顧客２に接客する構図や顧客２が商品の陳列棚などで行動する構図、顧客２がセルフレジ３０で精算を行う構図などが撮影され得る。

【0014】

このようにカメラ２０により撮像される映像のデータは、情報処理装置１０送信される。例えば、映像のデータには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ２０があるタイミングで撮影した静止画像の画像データである。以下、映像のデータのことを指して「映像データ」と表記する場合がある。

【0015】

セルフレジ３０は、商品を購入する顧客自身が購入商品のレジ登録および精算（支払い）を行う会計機の一例である。セルフレジ３０は、“Self checkout”、“automated checkout”、“self-checkout machine”や“self-check-out register”などと呼ばれる。例えば、顧客２が購入対象の商品をセルフレジ３０のスキャン領域に移動させると、セルフレジ３０は、商品に印刷または貼付されたコードをスキャンして、購入対象の商品を登録する。

【0016】

顧客２は、上記のレジ登録の動作を繰り返し実行し、商品のスキャンが完了すると、セルフレジ３０のタッチパネル等を操作し、精算要求を行う。セルフレジ３０は、精算要求を受け付けると、購入対象の商品の数、購入金額等を提示し、精算処理を実行する。セルフレジ３０は、顧客２がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報を、記憶部に登録しておき、セルフレジデータ（商品情報）として、情報処理装置１０に送信する。

【0017】

バックヤード端末５０および営業部門端末７０は、店舗３の関係者により使用される端末装置である。ここで言う「関係者」には、店舗３の店員５や店員５を管理する管理者の他、店舗３を運営する企業等の組織の営業部門の従業員や管理者などが含まれてよい。１つの側面として、バックヤード端末５０および営業部門端末７０は、上記の情報出力機能の提供を受けるクライアントとして機能する。例えば、バックヤード端末５０および営業部門端末７０は、デスクトップ型またはラップトップ型のパーソナルコンピュータなどの任意のコンピュータにより実現されてよい。これはあくまで一例に過ぎず、バックヤード端末５０および営業部門端末７０は、携帯端末装置やウェアラブル端末などにより実現されてよい。

【0018】

このような構成において、情報処理装置１０は、店内の映像を取得する。そして、情報処理装置１０は、取得した映像を分析することで、映像の中から店員を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、店員および顧客の相互作用を識別した第一の関係性とを特定する。その上で、情報処理装置１０は、特定した第一の関係性に基づいて、第一の領域に含まれる店員が、第二の領域に含まれる顧客に対して接客行動を実施したと判定し、判定した結果を表示装置に出力する。この結果、情報処理装置１００は、１つの側面として、店員の接客行動の評価を支援できる。

【0019】

＜２．機能構成＞
図２は、情報処理装置１０の機能構成例を示すブロック図である。図２に示すように、情報処理装置１０は、通信部１１、記憶部１３、制御部１５を有する。

【0020】

＜２－１．通信部＞
通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、カメラ２０から映像データを受信したり、あるいは制御部１５による処理結果をバックヤード端末５０や営業部門端末７０などに送信したりする。

【0021】

＜２－２．記憶部＞
記憶部１３は、各種データや制御部１５が実行するプログラムなどを記憶する処理部であり、例えば、メモリやハードディスクなどにより実現される。記憶部１３は、訓練データＤＢ１３Ａ、機械学習モデル１３Ｂ、映像データＤＢ１３Ｃ、出力結果ＤＢ１３Ｄ、ＩＤ管理ＤＢ１３Ｅ、注目度特定ルールＤＢ１３Ｆ、顧客行動履歴ＤＢ１３Ｇ、接客評価ＤＢ１３Ｈを記憶する。

【0022】

＜２－２－１．訓練データＤＢ＞
訓練データＤＢ１３Ａは、第一の機械学習モデル１３Ｂ１および第二の機械学習モデル１３Ｂ２の訓練に使用されるデータを記憶するデータベースである。

【0023】

第一の機械学習モデル１３Ｂ１は、店員５の顧客２に対する接客行動の検出に用いられる第一の機械学習モデルである。あくまで一例として、第一の機械学習モデル１３Ｂ１がＨＯＩＤ（Human Object Interaction Detection）により実現される例を挙げる。以下、第一の機械学習モデル１３Ｂ１に対応するＨＯＩＤ用のモデルのことを指して「第一のＨＯＩＤモデル」と表記する場合がある。第一のＨＯＩＤモデルの訓練には、入力データとなる画像データと、当該画像データに対して設定された正解情報とが用いられる。

【0024】

図３は、正解情報の一例を示す図である。図３には、第一のＨＯＩＤモデルの正解情報が示されている。図３に示すように、正解情報には、検出対象であるヒトのクラスと、ヒトとヒトの相互作用を示すクラスと、各クラスの領域を示すＢｂｏｘ（Bounding Box：オブジェクトの領域情報）とが設定される。図３に示す例で言えば、正解情報として、店舗３の店員５を示すクラス「店員」、商品を購入する対象の人物、例えば顧客２を示すクラス「客」、これらのヒトの領域情報、並びに、ヒトとヒトとの相互作用を示す関係性「話す」が設定される。なお、ここでは、相互作用のクラスの例として、「話す」を例に挙げたが、他の相互作用のクラス、例えば「見る」や「触る」などが正解情報として設定された画像データを訓練データとして第一の機械学習モデル１３Ｂ１の訓練に用いることができる。

【0025】

第二の機械学習モデル１３Ｂ２は、店員５による接客後の顧客２の商品に対する行動の特定に用いる第二の機械学習モデルである。あくまで一例として、第二の機械学習モデル１３Ｂ２がＨＯＩＤにより実現される例を挙げる。以下、第二の機械学習モデル１３Ｂ２に対応するＨＯＩＤ用のモデルのことを指して「第二のＨＯＩＤモデル」と表記する場合がある。第二のＨＯＩＤモデルの訓練にも、入力データとなる画像データと、当該画像データに対して設定された正解情報とが用いられる。

【0026】

図４は、正解情報の一例を示す図である。図４には、第二のＨＯＩＤモデルの正解情報が示されている。図４に示すように、正解情報には、検出対象であるヒトおよびモノのクラスと、ヒトとモノの相互作用を示すクラスと、各クラスの領域を示すＢｂｏｘとが設定される。例えば、正解情報として、商品のアイテムを識別するアイテム名「トースターＡ」を示すクラス、商品を購入する対象の人物、例えば顧客２を示すクラス「客」、モノおよびヒトの領域情報、並びに、モノとヒトとの相互作用を示す関係性「把持」が設定される。なお、ここでは、相互作用のクラスの例として、「把持」を例に挙げたが、他の相互作用のクラス、例えば「見る」や「触る」などが正解情報として設定された画像データを訓練データとして第二の機械学習モデル１３Ｂ２の訓練に用いることができる。

【0027】

ここでは、モノのクラスのあくまで一例として、アイテム名を挙げるが、モノに設定されるクラスは、商品等の物体であってレジ袋以外の物体を示すSomethingクラスであってもよい。一般的に、通常の物体識別（物体認識）でSomethingクラスを作ると、すべての背景、服装品、小物などタスクと関係ないものをすべて検出することになる。かつ、それらはすべてSomethingなので、画像データ内に大量のＢｂｏｘが識別されるだけで何も分からない。ＨＯＩＤの場合は、ヒトが持っているモノという特殊な関係性（座っている、操作している、など他の関係の場合もある）であることが分かるので、意味のある情報としてタスク（例えばセルフレジの不正検出タスク）に利用することができる。物体をSomethingで検出した上で、レジ袋などをBag（レジ袋）という固有のクラスとして識別する。このレジ袋は、セルフレジの不正検出タスクでは価値のある情報だが、他のタスクでは重要な情報ではないので、商品はカゴ（買い物かご）から取り出され袋に収納されるというセルフレジの不正検出タスクの固有の知見に基づいて利用することに価値があり、有用な効果が得られる。

【0028】

なお、ここでは、店員５の顧客２に対する接客行動の検出、および、店員５による接客後の顧客２の商品に対する行動の特定が２つの機械学習モデルにより実現される例を挙げたが、１つの機械学習モデル、例えばＨＯＩＤモデルにより実現されてもよい。

【0029】

＜２－２－２．機械学習モデル＞
図２に戻り、機械学習モデル１３Ｂには、上記の第一の機械学習モデル１３Ｂ１および上記の第二の機械学習モデル１３Ｂ２が含まれ得る。

【0030】

第一の機械学習モデル１３Ｂ１は、あくまで一例として、上記のＨＯＩＤにより実現されてよい。この場合、第一の機械学習モデル１３Ｂ１は、入力された画像データから、店舗３の店員５に対応するヒト、商品を購入する顧客２に対応するヒト、これらのヒトの関係性を識別して識別結果を出力する。例えば、「１または複数のヒトのクラスと領域情報、ヒトとヒトの相互作用」が出力される。なお、ここでは、第一の機械学習モデル１３Ｂ１がＨＯＩＤにより実現される例を挙げるが、各種ニューラルネットワークなどを用いた機械学習モデルにより実現されてもよい。

【0031】

第二の機械学習モデル１３Ｂ２についても、あくまで一例として、上記のＨＯＩＤにより実現されてよい。この場合、第二の機械学習モデル１３Ｂ２は、入力された画像データから、ヒト、商品、ヒトと商品の関係性を識別して識別結果を出力する。例えば、「ヒトのクラスと領域情報、商品（モノ）のクラスと領域情報、ヒトと商品の相互作用」が出力される。なお、ここでは、第二の機械学習モデル１３Ｂ２がＨＯＩＤにより実現される例を挙げるが、各種ニューラルネットワークなどを用いた機械学習モデルにより実現されてもよい。

【0032】

＜２－２－３．映像データＤＢ＞
映像データＤＢ１３Ｃは、商品の売り場、商品の陳列棚、あるいは精算コーナーに設置されるセルフレジ３０を含むエリアを撮影可能に設置されるカメラ２０により撮像された映像データを記憶するデータベースである。例えば、映像データＤＢ１３Ｃは、カメラ２０ごとに、カメラ２０から取得される画像データなどをフレーム単位で記憶する。

【0033】

＜２－２－４．出力結果ＤＢ＞
出力結果ＤＢ１３Ｄは、カメラ２０により撮像された映像データが入力された第一のＨＯＩＤモデル１３Ｂ１が出力する出力結果を記憶するデータベースである。例えば、出力結果ＤＢ１３Ｄは、カメラ２０ごとに当該カメラ２０から取得される画像データが第一のＨＯＩＤモデル１３Ｂ１へ入力された出力結果などをフレーム単位で記憶する。

【0034】

＜２－２－５．ＩＤ管理ＤＢ＞
ＩＤ管理ＤＢ１３Ｅは、店員５の顧客２に対する接客行動の検出時に割り振られる接客ＩＤを管理するデータベースである。例えば、ＩＤ管理ＤＢ１３Ｅは、接客ＩＤごとに顧客２を識別する顧客ＩＤおよび店員５を識別する店員ＩＤの組合せを対応付けて記憶する。

【0035】

＜２－２－６．注目度特定ルールＤＢ＞
注目度特定ルールＤＢ１３Ｆは、店員５による接客後の顧客２の商品に対する注目度を特定するルールを記憶するデータベースである。例えば、注目度特定ルールＤＢ１３Ｆは、店員５による接客後の顧客２が行う行動と、注目度の度合いが複数の段階に区分された注目度とを対応付けて記憶する。以下、顧客２が行う行動のことを指して「顧客行動」と表記する場合がある。

【0036】

＜２－２－７．顧客行動履歴ＤＢ＞
顧客行動履歴ＤＢ１３Ｇは、店員５による接客後の顧客行動の履歴を記憶するデータベースである。例えば、顧客行動履歴ＤＢ１３Ｇは、顧客ＩＤごとに顧客行動が行われた時刻、顧客行動の種類、注目度および顧客行動が検出された商品の項目などを対応付けて記憶する。

【0037】

＜２－２－８．接客評価ＤＢ＞
接客評価ＤＢ１３Ｈは、店員５の接客評価に関する情報を記憶するデータベースである。例えば、接客評価ＤＢ１３Ｈは、店員ＩＤごとに接客後の顧客２の商品に対する注目度別の集計値および商品の購入数などを対応付けて記憶する。

【0038】

＜２－３．制御部＞
制御部１５は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部１５は、機械学習部１５Ａ、映像取得部１５Ｂ、セルフレジデータ取得部１５Ｃ、判定部１５Ｄ、特定部１５Ｅ、生成部１５Ｆ、情報出力部１５Ｇを有する。なお、機械学習部１５Ａ、映像取得部１５Ｂ、セルフレジデータ取得部１５Ｃ、判定部１５Ｄ、特定部１５Ｅ、生成部１５Ｆ、情報出力部１５Ｇは、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。

【0039】

＜２－３－１．機械学習部＞
機械学習部１５Ａは、第一の機械学習モデル１３Ｂ１および第二の機械学習モデル１３Ｂ２の機械学習を実行する処理部である。

【0040】

１つの側面として、機械学習部１５Ａは、訓練データＤＢ１３Ａに記憶される各訓練データを用いて、第一の機械学習モデル１３Ｂ１の一例である第一のＨＯＩＤモデルの機械学習を実行する。図５は、第一のＨＯＩＤモデルの訓練例を示す模式図である。図５に示すように、機械学習部１５Ａは、訓練データの入力データを第一のＨＯＩＤモデルに入力し、第一のＨＯＩＤモデルの出力結果を取得する。この出力結果には、第一のＨＯＩＤモデルが検出した１または複数のヒトのクラスと、ヒトとヒトの相互作用などが含まれる。そして、機械学習部１５Ａは、訓練データの正解情報と、第一のＨＯＩＤモデルの出力結果との誤差情報を算出し、誤差が小さくなるように、誤差逆伝播により第一のＨＯＩＤモデルの機械学習を実行する。これにより、訓練済みの第一のＨＯＩＤモデルが生成される。このように生成された訓練済みの第一のＨＯＩＤモデルが第一の機械学習モデル１３Ｂ１として記憶部１３に記憶される。

【0041】

他の側面として、機械学習部１５Ａは、訓練データＤＢ１３Ａに記憶される各訓練データを用いて、第二の機械学習モデル１３Ｂ２の一例である第二のＨＯＩＤモデルの機械学習を実行する。図６は、第二のＨＯＩＤモデルの訓練例を示す模式図である。図６に示すように、機械学習部１５Ａは、訓練データの入力データを第二のＨＯＩＤモデルに入力し、第二のＨＯＩＤモデルの出力結果を取得する。この出力結果には、第二のＨＯＩＤモデルが検出したヒトのクラスと、モノのクラスと、ヒトとモノの相互作用などが含まれる。そして、機械学習部１５Ａは、訓練データの正解情報と、第二のＨＯＩＤモデルの出力結果との誤差情報を算出し、誤差が小さくなるように、誤差逆伝播により第二のＨＯＩＤモデルの機械学習を実行する。これにより、訓練済みの第二のＨＯＩＤモデルが生成される。このように生成された訓練済みの第二のＨＯＩＤモデルが第二の機械学習モデル１３Ｂ２として記憶部１３に記憶される。

【0042】

＜２－３－２．映像取得部＞
図２の説明に戻り、映像取得部１５Ｂは、カメラ２０から映像データを取得する処理部である。例えば、映像取得部１５Ｂは、セルフレジ３０に設置されるカメラ２０から映像データを任意の周期、例えばフレーム単位で取得する。そして、映像取得部１５Ｂは、新規フレームの画像データが取得された場合、当該画像データを第一の機械学習モデル１３Ｂ１、例えば第一のＨＯＩＤモデルへ入力して第一のＨＯＩＤモデルの出力結果を取得する。その上で、映像取得部１５Ｂは、当該新規フレームの画像データを映像データＤＢ１３Ｃに格納すると共に、当該新規フレームに関する第一のＨＯＩＤモデルの出力結果を出力結果ＤＢ１３Ｄに格納する。

【0043】

このような第一のＨＯＩＤモデルの出力結果には、第一の領域に対応するヒトのクラスと、第二の領域に対応するヒトのクラスと、これらのヒトの相互作用を示すクラスと、各クラスの領域を示すＢｂｏｘとが含まれ得る。図７は、第一のＨＯＩＤモデルの出力例を示す図である。図７には、第一のＨＯＩＤモデルへの入力データである画像データおよび第一のＨＯＩＤモデルの出力結果が図示されている。図７には、店員５に対応するヒトのＢｂｏｘが一点鎖線の枠で示されると共に、顧客２に対応するヒトのＢｂｏｘが破線の枠で示されている。図７に示すように、第一のＨＯＩＤモデルの出力結果には、ヒトのクラス「店員」およびＢｂｏｘと、ヒトのクラス「客」およびＢｂｏｘと、これらのヒトの相互作用の確率値「０．８８」およびクラス名「話す」とが含まれる。

【0044】

＜２－３－３．セルフレジデータ取得部＞
セルフレジデータ取得部１５Ｃは、セルフレジ３０でレジ登録が行われた商品の情報をセルフレジデータとして取得する処理部である。ここで言う「レジ登録」には、商品に印刷または貼付された商品コードがスキャンされることにより実現される他、顧客２により商品コードが手動入力されることにより実現され得る。

【0045】

＜２－３－４．判定部＞
判定部１５Ｄは、第一のＨＯＩＤモデルにより検出されたヒトの関係性に基づいて、第一の領域に含まれる店員５が、第二の領域に含まれる顧客２に対して接客行動を実施したか否かを判定する処理部である。

【0046】

あくまで一例として、判定部１５Ｄは、店舗３に設置されたカメラ２０ごとに画像データのフレーム単位で次のような処理を実行する。すなわち、判定部１５Ｄは、出力結果ＤＢ１３Ｄに記憶された第一のＨＯＩＤモデルの出力結果のうち、新規フレームに対応する出力結果を取得する。

【0047】

続いて、判定部１５Ｄは、店員５および顧客２の両方のクラスの検出結果が新規フレームの出力結果に含まれるか否かを判定する。このとき、店員５および顧客２の両方のクラスの検出結果が新規フレームの出力結果に含まれる場合、判定部１５Ｄは、新規フレームの出力結果に含まれる相互作用のクラスが「話す」であるか否かをさらに判定する。

【0048】

ここで、新規フレームの出力結果に含まれる相互作用のクラスが「話す」である場合、店員５の顧客２に対する接客行動を検出できる。この場合、判定部１５Ｄは、新規フレームで検出された顧客２のトラッキングが未設定であるか否かをさらに判定する。このとき、新規フレームで検出された顧客２のトラッキングが未設定である場合、判定部１５Ｄは、判定部１５Ｄは、当該顧客２に顧客ＩＤを発行する。このように接客行動が検出されたタイミングで顧客ＩＤを発行するのは、店員５は店舗３の従業員であることから全ての店員５に予め店員ＩＤを発行しておくことが容易である一方で、全ての顧客２に予め顧客ＩＤを発行しておくことは容易ではないからである。

【0049】

その後、判定部１５Ｄは、新規フレームで検出された店員５に対応する店員ＩＤおよび新規フレームで検出された顧客２に発行した顧客ＩＤの組合せを識別する接客ＩＤを割り振る。このように新規の接客ＩＤが割り振られた場合、当該接客ＩＤと、店員ＩＤおよび顧客ＩＤの組合せとが対応付けられたデータエントリがＩＤ管理ＤＢ１３Ｅに追加登録される。

【0050】

図８は、ＩＤ管理ＤＢ１３Ｅの一例を示す図である。図８に示すように、ＩＤ管理ＤＢ１３Ｅには、接客ＩＤごとに、店員ＩＤ、店員５の画像、顧客２の顧客ＩＤおよび顧客２の画像が対応付けられたデータが記憶される。以下、店員５の画像のことを指して「店員画像」と表記すると共に、顧客２の画像のことを指して「顧客画像」と表記する場合がある。これらのうち、店員画像のカラムには、店員ＩＤに関連付けて事前に登録されたものを用いたり、新規フレームで検出されたヒト「店員」のＢｂｏｘに対応する部分画像を用いたりすることができる。また、顧客画像のカラムには、新規フレームで検出されたヒト「客」のＢｂｏｘに対応する部分画像を用いたりすることができる。

【0051】

このように接客ＩＤが発行された後、判定部１５Ｄは、店員５による接客後の顧客２をトラッキング中である接客ＩＤが一覧化されたトラッキングリストに当該接客ＩＤを追加する。

【0052】

＜２－３－５．特定部＞
特定部１５Ｅは、接客後の顧客２の商品に対する注目度を特定する処理部である。あくまで一例として、特定部１５Ｅは、トラッキングリストに含まれる接客ＩＤごとに当該接客ＩＤに関連付けられた顧客ＩＤの顧客をトラッキングすることにより、顧客２の商品に対する注目度を含む顧客行動の履歴を収集する。

【0053】

図９は、トラッキングの開始および終了の一例を示す模式図である。図９には、店舗３に訪れる顧客２に発生するイベントの例として、顧客２の入店、店員５の顧客２に対する接客行動、顧客２による会計終了、顧客２の退店の順に各イベントが発生する例が示されている。図９に示すように、特定部１５Ｅによる顧客２のトラッキングは、店員５の顧客２に対する接客行動が検出されてから顧客２の購入商品の会計が終了するまで実行される。

【0054】

このようなトラッキングは、接客ＩＤに関連付けられた顧客画像に含まれる顔画像と、カメラ２０ごとに取得される新規フレームの画像データに対する顔検出で得られた顔画像との間で類似度を算出し、類似度が閾値以上である顔画像が含まれる画像データを追跡することにより実現できる。さらに、トラッキングで顧客２が追跡された画像データに画像処理を適用することにより、顧客２の３次元空間上の位置を特定することができる。このような画像処理の例として、複数のカメラ２０の画像データを用いるステレオマッチングや店舗３内に設置されたマーカを用いる位置検出などが挙げられる。この他、カメラ２０がデプスカメラである場合、顧客２の被写体のデプス値と、カメラパラメータ、例えば外部パラメータおよび内部パラメータとに基づいて３次元位置をより正確に算出できる。なお、ここでは、顔画像の照合によりトラッキングが実行される例を挙げたが、ＭＯＴ（Multiple-Object Tracking）などのアルゴリズムに従ってトラッキングを実行することとしてもよい。

【0055】

より詳細には、特定部１５Ｅは、接客ＩＤに関連付けられた顧客ＩＤの顧客２に関するセルフレジデータが取得されたか否かを判定する。例えば、特定部１５Ｅは、顧客２の位置からの距離が閾値、例えば５０ｃｍ以内であるセルフレジ３０からセルフレジデータが取得された場合、顧客２の会計が終了したと識別する。ここで言う「距離」は、あくまで一例として、顧客２のトラッキング位置と、セルフレジ３０が有する入力装置が配置された操作位置、例えばタッチパネルのスクリーンの位置との距離であってよい。

【0056】

このとき、顧客２の会計が終了していない場合、特定部１５Ｅは、トラッキングで顧客２が追跡された画像データを第二の機械学習モデル１３Ｂ２、例えば第二のＨＯＩＤモデルへ入力して第二のＨＯＩＤモデルの出力結果を取得する。

【0057】

図１０は、第二のＨＯＩＤモデルの出力例を示す図である。図１０には、第二のＨＯＩＤモデルへの入力データである画像データおよび第二のＨＯＩＤモデルの出力結果が図示されている。図１０には、顧客２に対応するヒトのＢｂｏｘが破線の枠で示されると共に、モノのＢｂｏｘが実線の枠で示されている。図１０に示すように、第二のＨＯＩＤモデルの出力結果には、ヒトのクラス「客」およびＢｂｏｘと、モノのクラス「タンブラーＡ」およびＢｂｏｘと、ヒトとモノの相互作用の確率値「０．８８」およびクラス名「把持」とが含まれる。

【0058】

その後、特定部１５Ｅは、顧客２および商品の両方のクラスの検出結果が第二のＨＯＩＤモデルの出力結果に含まれるか否かを判定する。このとき、顧客２および商品の両方のクラスの検出結果が第二のＨＯＩＤモデルの出力結果に含まれる場合、特定部１５Ｅは、注目度特定ルールＤＢ１３１３Ｆに設定されたルールに従って第二のＨＯＩＤモデルの出力結果に含まれる相互作用のクラスに対応する注目度を特定する。

【0059】

図１１は、注目度特定ルールＤＢ１３Ｆの一例を示す図である。図１１に示すように、注目度特定ルールＤＢ１３Ｆには、店員５による接客後の顧客２が行う行動と、注目度の度合いが複数の段階に区分された注目度とが対応付けられたルールが記憶される。図１１には、あくまで一例として、注目度が「小」、「中」および「大」の３段階に区分される例が示されている。

【0060】

例えば、図１１に示す例で言えば、第二のＨＯＩＤモデルの出力結果に含まれる相互作用のクラスが「見る」である場合、顧客２の商品に対する注目度が「小」と特定される。また、第二のＨＯＩＤモデルの出力結果に含まれる相互作用のクラスが「触る」である場合、顧客２の商品に対する注目度が「中」と特定される。さらに、第二のＨＯＩＤモデルの出力結果に含まれる相互作用のクラスが「把持」である場合、顧客２の商品に対する注目度が「大」と特定される。

【0061】

ここで、上記の注目度の区分は、あくまで一例として、商品に対する顧客行動と、購買の心理段階との対応関係が定義された心理モデルに従って設定できる。例えば、心理モデルの例として、商品に注目し（Attention）、興味を持ち（Interest）、「欲しい」になり（Desire）、購入に至る（Action）、といった心理段階が定義されたＡＩＤＡを始め、ＡＩＤＭＡ、ＡＩＤＣＡなどが挙げられる。

【0062】

このように注目度が特定された後、特定部１５Ｅは、トラッキング中の顧客ＩＤ、商品に対する顧客行動、顧客２の商品に対する注目度および顧客行動が検出された商品の項目などが対応付けられたデータエントリを顧客行動履歴ＤＢ１３Ｇに追加登録する。

【0063】

図１２は、顧客行動履歴ＤＢ１３Ｇの一例を示す図である。図１２に示すように、顧客行動履歴ＤＢ１３Ｇには、顧客ＩＤごとに顧客行動が行われた時刻、顧客行動の種類、注目度および顧客行動が検出された商品の項目などが対応付けられたデータが記憶される。

【0064】

図１２には、あくまで一例として、顧客ＩＤ「００４」で識別される顧客２に関する顧客行動履歴が抜粋して示されている。図１２に示す顧客ＩＤ「００４」の顧客行動履歴の例で言えば、顧客ＩＤ「００４」の顧客２は、商品項目「タンブラーＡ」を見た後に触り、さらに把持したことを識別できる。さらに、顧客ＩＤ「００４」の顧客２は、商品項目「飲料Ａ」を見たり、商品項目「飲料Ｂ」を見たりしたことを識別できる。その後、顧客ＩＤ「００４」の顧客２は、商品項目「タンブラーＡ」を購入したことを識別できる。

【0065】

なお、顧客２の会計が終了した場合、特定部１５Ｅは、会計終了が検出された顧客ＩＤおよびセルフレジデータに含まれる購入商品の商品項目が対応付けられたデータエントリを顧客行動履歴ＤＢ１３Ｇに追加登録すると共に、会計終了が検出された接客ＩＤをトラッキングリストから削除する。

【0066】

＜２－３－６．生成部＞
生成部１５Ｆは、顧客行動履歴ＤＢ１３Ｇに記憶された顧客行動履歴を分析することにより、店員５の接客評価に関する情報を生成する処理部である。

【0067】

あくまで一例として、生成部１５Ｆは、ＩＤ管理ＤＢ１３Ｅに記憶された接客ＩＤのうち未評価の接客ＩＤごとに次のような処理を実行する。すなわち、生成部１５Ｆは、評価対象の接客ＩＤに関連付けられた顧客ＩＤの顧客行動履歴を顧客行動履歴ＤＢ１３Ｇから検索する。

【0068】

続いて、生成部１５Ｆは、検索でヒットする顧客行動履歴のうち最高の注目度を抽出する。例えば、図１２に示す顧客ＩＤ「００４」の顧客行動履歴の例で言えば、「小」、「中」および「大」の全てのレベルの注目度が含まるので、その中で最高である注目度「大」が抽出される。

【0069】

そして、生成部１５Ｆは、評価対象の接客ＩＤに関連付けられた店員ＩＤの注目度別の集計値のうち、顧客行動履歴から抽出された注目度に対応する集計値をインクリメントする更新を実行する。

【0070】

その後、生成部１５Ｆは、顧客行動履歴に含まれる購入商品ごとに次のような処理を実行する。すなわち、生成部１５Ｆは、顧客行動履歴のうち注目度のカラムがブランクでないデータエントリから購入商品の商品項目と一致する商品項目を検索する。

【0071】

このとき、購入商品の商品項目と一致する商品項目がヒットする場合、生成部１５Ｆは、評価対象の接客ＩＤに関連付けられた店員ＩＤの購入成立数の集計値をインクリメントする。ここで言う「購入成立数」とは、店員５の顧客２に対する接客行動により商品の購入が成立した件数を指す。

【0072】

以上のような処理が全ての接客ＩＤについて実行することにより、生成部１５Ｆは、店員ＩＤごとに注目度別の集計値および購入成立数の集計値が対応付けられた接客評価データを生成し、接客評価データを接客評価ＤＢ１３Ｈに登録する。図１３は、接客評価ＤＢ１３Ｈの一例を示す図である。図１３に示すように、接客評価ＤＢ１３Ｈには、店員ＩＤごとに、「小」、「中」および「大」の注目度別の集計値と、購入成立数の集計値とが対応付けられたデータが記憶される。

【0073】

＜２－３－７．情報出力部＞
情報出力部１５Ｇは、バックヤード端末５０や営業部門端末７０などの端末装置に各種の情報を出力する処理部である。１つの側面として、情報出力部１５Ｇは、接客評価ＤＢ１３Ｈに記憶された接客評価に関する情報をバックヤード端末５０や営業部門端末７０に出力する。例えば、情報出力部１５Ｇは、店員ごとに注目度別の集計値や購入成立数の集計値、あるいは集計値や購入成立数から計算される指標をバックヤード端末５０や営業部門端末７０に出力できる。このような指標の例として、接客行動の総数のうち購入成立数が占める割合を示す「購入成立率」を始め、下記の式（１）に従って計算される「購入成立スコア」などが挙げられる。なお、下記の式（１）における「Ｗ_１」～「Ｗ_３」は、注目度別の重みである。以下、注目度別の集計値や購入成立数の集計値、購入成立率、購入成立スコアなどを指して「評価項目」と表記する場合がある。

【0074】

購入成立スコア＝｛（注目度「小」の集計値×Ｗ_１）＋（注目度「中」の集計値×Ｗ_２）＋（注目度「大」の集計値×Ｗ_３）｝×購入成立率・・・（１）

【0075】

図１４は、接客評価画面２００の一例を示す図である。図１４には、図１３に示す接客評価ＤＢ１３Ｈに基づいて生成された接客評価画面２００が示されている。さらに、図１４には、注目度別の重みの各々が「１」、「２」、「３」として購入成立スコアが算出された例が示されている。

【0076】

図１４に示すように、接客評価画面２００では、注目度別の集計値、購入成立数の集計値、購入成立率および購入成立スコアなどの評価項目が店員ＩＤごとに表示されている。例えば、店員ＩＤ「００１」の購入成立率は、購入成立数「２」を接客行動の総数「計２回＝注目度「小」の１回＋注目度「中」の１回」で除算することにより「５０％」と算出できる。さらに、店員ＩＤ「００１」の購入成立スコアは、（注目度「小」の集計値「１」×注目度「小」の重み「１」＋注目度「中」の集計値「１」×注目度「中」の重み「２」）×購入成立率「５０％」の計算により「１．５」と算出できる。このような接客評価画面２００の表示によれば、店員５が接客をどれだけ積極的に行ったか、接客行動が商品購入にどれだけ寄与したかなどの評価、さらには、これらの総合評価が可能となるので、店員の接客行動の評価を効果的に支援できる。

【0077】

他の側面として、情報出力部１５Ｇは、接客評価ＤＢ１３Ｈに記憶された接客評価をシステム定義やユーザ定義などで指定される評価項目でソートすることにより、店員５の接客評価をランキング形式で表示させることもできる。図１５は、接客評価画面２１０の一例を示す図である。図１５には、図１３に示す接客評価ＤＢ１３Ｈに含まれる評価項目のうち購入成立数で店員５が昇順にソートされたランキングが生成された接客評価画面２１０が示されている。図１５に示すように、接客評価画面２１０によれば、より多くの商品を顧客２に購入させることができる店員５の評価を高めることができる。

【0078】

＜３．処理の流れ＞
次に、本実施例にかかる情報処理装置１０の処理の流れについて説明する。ここでは、情報処理装置１０により実行される（１）映像取得処理、（２）判定処理、（３）特定処理、（４）生成処理の順に説明することとする。

【0079】

（１）映像取得処理
図１６は、映像取得処理の流れを示すフローチャートである。この処理は、あくまで一例として、カメラ２０から映像データが取得される限り、反復して実行される。

【0080】

図１６に示すように、新規フレームの画像データが取得された場合（ステップＳ１０１Ｙｅｓ）、映像取得部１５Ｂは、当該画像データを第一の機械学習モデル１３Ｂ１、例えば第一のＨＯＩＤモデルへ入力してＨＯＩＤモデルの出力結果を取得する（ステップＳ１０２）。

【0081】

その上で、映像取得部１５Ｂは、新規フレームの画像データを映像データＤＢ１３Ｃに保存すると共に、当該新規フレームに関する第一のＨＯＩＤモデルの出力結果を出力結果ＤＢ１３Ｄに保存する（ステップＳ１０３）。

【0082】

（２）判定処理
図１７は、判定処理の流れを示すフローチャートである。この処理は、あくまで一例として、画像データのフレーム単位で反復して実行される。

【0083】

図１７に示すように、判定部１５Ｄは、店舗３に設置されたカメラ２０の個数Ｋに対応する回数の分、下記のステップＳ３０１から下記のステップＳ３０７までの処理を反復するループ処理１を実行する。なお、ここでは、下記のステップＳ３０１から下記のステップＳ３０７までの処理が反復される例を挙げるが、並列に実行されることとしてもよい。

【0084】

すなわち、判定部１５Ｄは、出力結果ＤＢ１３Ｄに記憶された第一のＨＯＩＤモデルの出力結果のうち、新規フレームに対応する出力結果を取得する（ステップＳ３０１）。

【0085】

続いて、判定部１５Ｄは、店員５および顧客２の両方のクラスの検出結果が新規フレームの出力結果に含まれるか否かを判定する（ステップＳ３０２）。このとき、店員５および顧客２の両方のクラスの検出結果が新規フレームの出力結果に含まれる場合（ステップＳ３０２Ｙｅｓ）、判定部１５Ｄは、新規フレームの出力結果に含まれる相互作用のクラスが「話す」であるか否かをさらに判定する（ステップＳ３０３）。

【0086】

ここで、新規フレームの出力結果に含まれる相互作用のクラスが「話す」である場合（ステップＳ３０３Ｙｅｓ）、店員５の顧客２に対する接客行動を検出できる。この場合、判定部１５Ｄは、新規フレームで検出された顧客２のトラッキングが未設定であるか否かをさらに判定する（ステップＳ３０４）。

【0087】

このとき、新規フレームで検出された顧客２のトラッキングが未設定である場合（ステップＳ３０４Ｙｅｓ）、判定部１５Ｄは、判定部１５Ｄは、当該顧客２に顧客ＩＤを発行する（ステップＳ３０５）。

【0088】

そして、判定部１５Ｄは、新規フレームで検出された店員５に対応する店員ＩＤおよび新規フレームで検出された顧客２に発行した顧客ＩＤの組合せを識別する接客ＩＤを割り振る（ステップＳ３０６）。その後、判定部１５Ｄは、店員５による接客後の顧客２をトラッキング中である接客ＩＤが一覧化されたトラッキングリストに当該接客ＩＤを追加する（ステップＳ３０７）。

【0089】

このようなループ処理１が実行されることにより、カメラ２０からごとに店員５が接客行動を行ったか否か判定して接客行動が検出された顧客２のトラッキングを開始するように設定できる。

【0090】

（３）特定処理
図１８は、特定処理の流れを示すフローチャートである。この処理は、あくまで一例として、画像データのフレーム単位で反復して実行される。

【0091】

図１８に示すように、特定部１５Ｅは、トラッキングリストに含まれる接客ＩＤの個数Ｌに対応する回数の分、下記のステップＳ５０１から下記のステップＳ５０７までの処理を反復するループ処理１を実行する。なお、ここでは、下記のステップＳ５０１から下記のステップＳ５０７までの処理が反復される例を挙げるが、並列に実行されることとしてもよい。

【0092】

すなわち、特定部１５Ｅは、接客ＩＤに関連付けられた顧客ＩＤの顧客２に関するセルフレジデータが取得されたか否かを判定する（ステップＳ５０１）。

【0093】

このとき、顧客２に関するセルフレジデータが取得されていない場合（ステップＳ５０１Ｎｏ）、特定部１５Ｅは、次のような処理を実行する。すなわち、特定部１５Ｅは、トラッキングで顧客２が追跡された画像データを第二の機械学習モデル１３Ｂ２、例えば第二のＨＯＩＤモデルへ入力して第二のＨＯＩＤモデルの出力結果を取得する（ステップＳ５０２）。

【0094】

続いて、特定部１５Ｅは、顧客２および商品の両方のクラスの検出結果が第二のＨＯＩＤモデルの出力結果に含まれるか否かを判定する（ステップＳ５０３）。このとき、顧客２および商品の両方のクラスの検出結果が第二のＨＯＩＤモデルの出力結果に含まれる場合（ステップＳ５０３Ｙｅｓ）、特定部１５Ｅは、次のような処理を実行する。すなわち、特定部１５Ｅは、注目度特定ルールＤＢ１３１３Ｆに設定されたルールに従って第二のＨＯＩＤモデルの出力結果に含まれる相互作用のクラスに対応する注目度を特定する（ステップＳ５０４）。

【0095】

その後、特定部１５Ｅは、トラッキング中の顧客ＩＤ、商品に対する顧客行動、顧客２の商品に対する注目度および顧客行動が検出された商品の項目などが対応付けられたデータエントリを顧客行動履歴ＤＢ１３Ｇに追加登録する（ステップＳ５０５）。

【0096】

一方、顧客２に関するセルフレジデータが取得された場合（ステップＳ５０１Ｙｅｓ）、特定部１５Ｅは、会計終了が検出された顧客ＩＤおよびセルフレジデータに含まれる購入商品の商品項目が対応付けられたデータエントリを顧客行動履歴ＤＢ１３Ｇに追加登録する（ステップＳ５０６）。さらに、特定部１５Ｅは、会計終了が検出された接客ＩＤをトラッキングリストから削除する（ステップＳ５０７）。

【0097】

このようなループ処理１が実行されることにより、接客行動ごとにその後の顧客２の商品に対する注目度を含む顧客行動の履歴を収集できる。

【0098】

（４）生成処理
図１９は、生成処理の流れを示すフローチャートである。図１９に示すように、生成部１５Ｆは、ＩＤ管理ＤＢ１３Ｅに記憶された接客ＩＤのうち未評価の接客ＩＤの個数Ｍに対応する回数の分、下記のステップＳ７０１から下記のステップＳ７０６までの処理を反復するループ処理１を実行する。なお、ここでは、下記のステップＳ７０１から下記のステップＳ７０６までの処理が反復される例を挙げるが、並列に実行されることとしてもよい。

【0099】

すなわち、生成部１５Ｆは、評価対象の接客ＩＤに関連付けられた顧客ＩＤの顧客行動履歴を顧客行動履歴ＤＢ１３Ｇから検索する（ステップＳ７０１）。続いて、生成部１５Ｆは、検索でヒットする顧客行動履歴のうち最高の注目度を抽出する（ステップＳ７０２）。

【0100】

そして、生成部１５Ｆは、評価対象の接客ＩＤに関連付けられた店員ＩＤの注目度別の集計値のうち、ステップＳ７０２で抽出された注目度に対応する集計値をインクリメントする更新を実行する（ステップＳ７０３）。

【0101】

その後、生成部１５Ｆは、ステップＳ７０２で抽出された顧客行動履歴に含まれる購入商品の個数Ｎに対応する回数の分、下記のステップＳ７０４から下記のステップＳ７０６までの処理を反復するループ処理１を実行する。なお、ここでは、下記のステップＳ７０４から下記のステップＳ７０６までの処理が反復される例を挙げるが、並列に実行されることとしてもよい。

【0102】

すなわち、生成部１５Ｆは、顧客行動履歴のうち注目度のカラムがブランクでないデータエントリから購入商品の商品項目と一致する商品項目を検索する（ステップＳ７０４）。

【0103】

このとき、購入商品の商品項目と一致する商品項目がヒットする場合（ステップＳ７０５Ｙｅｓ）、生成部１５Ｆは、評価対象の接客ＩＤに関連付けられた店員ＩＤの購入成立数の集計値をインクリメントする（ステップＳ７０６）。なお、購入商品の商品項目と一致する商品項目がヒットしない場合（ステップＳ７０５Ｎｏ）、ステップＳ７０６の処理はスキップされる。

【0104】

このようなループ処理２が実行されることにより、接客後の顧客２が商品を購入する場合に購入成立数をインクリメントできる。

【0105】

このようなループ処理１が実行されることにより、店員５の顧客２に対する接客行動ごとに評価項目別の評価値が集計される。

【0106】

その後、生成部１５Ｆは、店員ＩＤごとに注目度別の集計値および購入成立数の集計値が対応付けられた接客評価データを生成し、接客評価データを接客評価ＤＢ１３Ｈに登録する（ステップＳ７０７）。

【0107】

＜４．効果の一側面＞
上述してきたように、情報処理装置１０は、店内の映像を取得する。そして、情報処理装置１０は、取得した映像を分析することで、映像の中から店員を含む第一の領域と、商品を購入する対象の顧客を含む第二の領域と、店員および顧客の相互作用を識別した第一の関係性とを特定する。その上で、情報処理装置１０は、特定した第一の関係性に基づいて、第一の領域に含まれる店員が、第二の領域に含まれる顧客に対して接客行動を実施したと判定し、判定した結果を表示装置に出力する。したがって、情報処理装置１０によれば、１つの側面として、店員の接客行動の評価を支援できる。

【実施例0108】

＜５．応用例＞
さて、これまで開示の装置に関する実施例について説明したが、上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる応用例や適用例について説明する。

【0109】

＜５－１．数値＞
上記実施例で用いたカメラ２０やセルフレジ３０の台数、数値例、訓練データ例、訓練データ数、機械学習モデル、各クラス名、クラス数、データ形式等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。また、各モデルは、ニューラルネットワークなどの様々なアルゴリズムにより生成されたモデルを採用することができる。

【0110】

＜５－２．システム＞
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更されてもよい。

【0111】

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0112】

＜５－３．ハードウェア＞
図２０は、情報処理装置のハードウェア構成例を示す図である。ここでは、一例として、情報処理装置１０について説明する。図２０に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１５に示した各部は、バス等で相互に接続される。

【0113】

通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。

【0114】

プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図２等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、機械学習部１５Ａ、映像取得部１５Ｂ、セルフレジデータ取得部１５Ｃ、判定部１５Ｄ、特定部１５Ｅ、生成部１５Ｆ、情報出力部１５Ｇ等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、機械学習部１５Ａ、映像取得部１５Ｂ、セルフレジデータ取得部１５Ｃ、判定部１５Ｄ、特定部１５Ｅ、生成部１５Ｆ、情報出力部１５Ｇ等と同様の処理を実行するプロセスを実行する。

【0115】

このように、情報処理装置１０は、プログラムを読み出して実行することで情報処理方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。

【0116】

このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。

【0117】

次に、セルフレジ３０について説明する。図２１は、セルフレジ端末３０のハードウェア構成例を示す図である。図２１に示すように、セルフレジ３０は、通信インタフェース３００ａ、ＨＤＤ３００ｂ、メモリ３００ｃ、プロセッサ３００ｄ、入力装置３００ｅ、出力装置３００ｆを有する。また、図１６に示した各部は、バスなどで相互に接続される。

【0118】

通信インタフェース３００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ３００ｂは、セルフレジ３０の各機能を動作させるプログラムやデータを記憶する。

【0119】

プロセッサ３００ｄは、セルフレジ３０の各機能の処理を実行するプログラムをＨＤＤ３００ｂなどから読み出してメモリ３００ｃに展開することで、セルフレジ３０の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ３０が有する各処理部と同様の機能を実行する。

【0120】

このように、セルフレジ３０は、セルフレジ３０の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ３０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ３０の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ３０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

【0121】

また、セルフレジ３０の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

【0122】

入力装置３００ｅは、プロセッサ３００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ３０はさらに表示部を備え、入力装置３００ｅによって検知される入力操作は、当該表示部に対するタッチ操作であってよい。入力装置３００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。また、入力装置３００ｅは、バーコードの読み取りをする。入力装置３００ｅは、例えば、バーコードリーダである。バーコードリーダは、光源と光センサを持ち、バーコードをスキャンする。

【0123】

出力装置３００ｆは、プロセッサ３００ｄによって実行されるプログラムから出力されるデータをセルフレジ３０に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ３０が表示部を備える場合、セルフレジ３０は出力装置３００ｆを備えなくてもよい。