(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-04
(45)【発行日】2023-12-12
(54)【発明の名称】情報処理装置、情報処理システム、及び情報処理方法
(51)【国際特許分類】
G06Q 30/0251 20230101AFI20231205BHJP
G06Q 30/015 20230101ALI20231205BHJP
【FI】
G06Q30/0251
G06Q30/015
(21)【出願番号】P 2019107173
(22)【出願日】2019-06-07
【審査請求日】2022-05-25
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】TOPPANホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】畑 幸一
(72)【発明者】
【氏名】関根 豊
(72)【発明者】
【氏名】山本 一
【審査官】菅原 浩二
(56)【参考文献】
【文献】特開2004-348618(JP,A)
【文献】特開2012-226017(JP,A)
【文献】特開2002-337795(JP,A)
【文献】特開2012-018457(JP,A)
【文献】特開2010-113692(JP,A)
【文献】特開2013-109051(JP,A)
【文献】特開2017-204013(JP,A)
【文献】特開2012-208854(JP,A)
【文献】特開2007-286900(JP,A)
【文献】特開2013-247637(JP,A)
【文献】特開2017-162378(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
撮像装置が撮像した画像情報に含まれる人物を検出し、検出した検出人物の属性情報であって、少なくとも前記検出人物の人口統計学的特性と、前記検出人物の特徴的な行動を示す行動属性情報とのいずれかを含む検出人物の属性情報を、前記画像情報に基づいて抽出する画像処理部と、
前記画像処理部が前記検出人物を検出した場合に、前記撮像装置に対応する出力デバイスが所属するデバイスグループに対応する情報コンテンツを抽出し、抽出した前記情報コンテンツのうちから、前記画像処理部が抽出した前記検出人物の属性情報に基づく出力条件を満たす情報コンテンツを選択するコンテンツ抽出部と、
前記コンテンツ抽出部が選択した当該情報コンテンツを、前記撮像装置に対応する前記出力デバイスに出力させるコンテンツ出力処理部と
、
前記出力デバイスのロック開始時刻と、出力中の情報コンテンツの出力時間である設定ロック時間とを対応づけたデバイスロック情報を記憶するデバイスロック情報記憶部と
を備え、
前記コンテンツ出力処理部は、
前記デバイスロック情報記憶部が記憶する前記デバイスロック情報に基づいて、前記撮像装置に対応する前記出力デバイスが情報コンテンツを出力中であるか否かを判定し、
前記撮像装置に対応する前記出力デバイスが情報コンテンツを出力中である場合に、選択した前記情報コンテンツの出力を保留し、
前記撮像装置に対応する前記出力デバイスが情報コンテンツを出力中でない場合に、選択した前記情報コンテンツを前記出力デバイスに出力させる
ことを特徴とする情報処理装置。
【請求項2】
前記画像処理部が新たに検出した前記検出人物に、前記検出人物を識別する人物識別情報を付与し、当該人物識別情報と、前記検出人物の属性情報とを対応付けて人物情報記憶部に記憶させる登録処理部を備え、
前記コンテンツ抽出部は、前記画像処理部が検出した前記検出人物が既に前記人物情報記憶部に記憶されている場合に、前記検出人物に付与されている前記人物識別情報に対応する前記検出人物の属性情報を前記人物情報記憶部から取得する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記人物識別情報と、前記撮像装置を識別する撮像識別情報と、前記行動属性情報と、前記行動属性情報が抽出された日時情報とを対応付けた行動履歴情報を行動履歴記憶部に記憶させる行動履歴処理部を備え、
前記登録処理部は、前記行動履歴記憶部が記憶する前記行動履歴情報のうち、前記人物識別情報に対応する代表的な前記行動属性情報を、前記人物識別情報に対応する前記検出人物の属性情報として、人物情報記憶部に記憶させる
ことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記コンテンツ抽出部は、
複数の検出人物が検出された場合に、人物を検出した前記撮像装置に最も近い人物の属性情報に基づく出力条件を満たす情報コンテンツを選択する
ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置。
【請求項5】
前記コンテンツ抽出部は、
複数の検出人物が検出された場合に、複数の検出人物に対して優先順位を付与して、全ての検出人物それぞれに対応した情報コンテンツを選択し、
前記コンテンツ出力処理部は、前記コンテンツ抽出部が選択した当該情報コンテンツを、前記優先順位に基づいて順番に前記撮像装置に対応する前記出力デバイスに出力させる
ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置。
【請求項6】
前記コンテンツ抽出部は、
前記画像処理部が複数の前記検出人物を検出した場合に、複数の前記検出人物を代表する前記属性情報に基づく出力条件を満たす情報コンテンツを選択する
ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置。
【請求項7】
前記撮像装置は、設置環境の異なる複数の撮像グループのいずれかに所属しており、
前記画像処理部は、前記撮像装置が所属する前記撮像グループに応じて、異なる前記行動属性情報を抽出する
ことを特徴とする請求項1から請求項
6のいずれか一項に記載の情報処理装置。
【請求項8】
前記複数の撮像グループは、店舗内に設置された前記撮像装置のグループである第1グループと、店舗外に設置された前記撮像装置のグループである第2グループとである
ことをと特徴とする請求項
7に記載の情報処理装置。
【請求項9】
前記コンテンツ出力処理部が出力した前記情報コンテンツに対応する出力情報と、前記情報コンテンツを出力した前記出力デバイスを識別する出力識別情報と、前記情報コンテンツを出力した日時を示す出力日時情報とを対応付けた出力履歴情報を、出力履歴記憶部に記憶させる出力履歴処理部を備える
ことを特徴とする請求項1から請求項
8のいずれか一項に記載の情報処理装置。
【請求項10】
請求項1から請求項
9のいずれか一項に記載の情報処理装置と、
複数の前記撮像装置と、
前記撮像装置に対応付けられた前記出力デバイスと
を備えることを特徴とする情報処理システム。
【請求項11】
画像処理部が、撮像装置が撮像した画像情報に含まれる人物を検出し、検出した検出人物の属性情報であって、少なくとも前記検出人物の人口統計学的特性と、前記検出人物の特徴的な行動を示す行動属性情報とのいずれかを含む検出人物の属性情報を、前記画像情報に基づいて抽出する画像処理ステップと、
コンテンツ抽出部が、前記画像処理ステップによって前記検出人物が検出された場合に、前記撮像装置に対応する出力デバイスが所属するデバイスグループに対応する情報コンテンツを抽出し、抽出した前記情報コンテンツのうちから、前記画像処理ステップによって抽出された前記検出人物の属性情報に基づく出力条件を満たす情報コンテンツを選択するコンテンツ抽出ステップと、
コンテンツ出力処理部が、前記コンテンツ抽出ステップによって選択された当該情報コンテンツを、前記撮像装置に対応する前記出力デバイスに出力させるコンテンツ出力処理ステップと
、
出力履歴処理部が、前記出力デバイスのロック開始時刻と、出力中の情報コンテンツの出力時間である設定ロック時間とを対応づけたデバイスロック情報をデバイスロック情報記憶部に記憶させる出力履歴処理ステップと
を含
み、
前記コンテンツ出力処理ステップにおいて、前記コンテンツ出力処理部が、
前記デバイスロック情報記憶部が記憶する前記デバイスロック情報に基づいて、前記撮像装置に対応する前記出力デバイスが情報コンテンツを出力中であるか否かを判定し、
前記撮像装置に対応する前記出力デバイスが情報コンテンツを出力中である場合に、選択した前記情報コンテンツの出力を保留し、
前記撮像装置に対応する前記出力デバイスが情報コンテンツを出力中でない場合に、選択した前記情報コンテンツを前記出力デバイスに出力させる
ことを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム、及び情報処理方法に関する。
【背景技術】
【0002】
近年、店舗内のカメラで顧客の画像を取得し、画像から顧客の人物属性を判定して個人を判別し、更に、判別した個人毎にカメラ位置、顔向き、及び滞在時間から注目商品群を判断し、マーケティングに活用する技術が知られている(例えば、特許文献1、及び特許文献2を参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2004-348618号公報
【文献】特開2008-152810号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来技術では、店舗内の顧客情報を収集し、顧客が注目する注目商品群に対応する商品の案内を顧客に提供する技術であり、例えば、様々な環境に設置された出力デバイス及出力デバイスの周辺にいる人物に応じて、広告などの情報コンテンツを適切に提供するものではなかった。
【0005】
本発明は、上記問題を解決すべくなされたもので、その目的は、検出した検出人物及び出力デバイスが置かれている環境に応じて、適切な情報コンテンツを提供することができる情報処理装置、情報処理システム、及び情報処理方法を提供することにある。
【課題を解決するための手段】
【0006】
上記問題を解決するために、本発明の一態様は、撮像装置が撮像した画像情報に含まれる人物を検出し、検出した検出人物の属性情報であって、少なくとも前記検出人物の人口統計学的特性と、前記検出人物の特徴的な行動を示す行動属性情報とのいずれかを含む検出人物の属性情報を、前記画像情報に基づいて抽出する画像処理部と、前記画像処理部が前記検出人物を検出した場合に、前記撮像装置に対応する出力デバイスが所属するデバイスグループに対応する情報コンテンツを抽出し、抽出した前記情報コンテンツのうちから、前記画像処理部が抽出した前記検出人物の属性情報に基づく出力条件を満たす情報コンテンツを選択するコンテンツ抽出部と、前記コンテンツ抽出部が選択した当該情報コンテンツを、前記撮像装置に対応する前記出力デバイスに出力させるコンテンツ出力処理部と、前記出力デバイスのロック開始時刻と、出力中の情報コンテンツの出力時間である設定ロック時間とを対応づけたデバイスロック情報を記憶するデバイスロック情報記憶部とを備え、前記コンテンツ出力処理部は、前記デバイスロック情報記憶部が記憶する前記デバイスロック情報に基づいて、前記撮像装置に対応する前記出力デバイスが情報コンテンツを出力中であるか否かを判定し、前記撮像装置に対応する前記出力デバイスが情報コンテンツを出力中である場合に、選択した前記情報コンテンツの出力を保留し、前記撮像装置に対応する前記出力デバイスが情報コンテンツを出力中でない場合に、選択した前記情報コンテンツを前記出力デバイスに出力させることを特徴とする情報処理装置である。
【0007】
また、本発明の一態様は、上記に記載の情報処理装置と、複数の前記撮像装置と、前記撮像装置に対応付けられた前記出力デバイスとを備えることを特徴とする情報処理システムである。
【0008】
また、本発明の一態様は、画像処理部が、撮像装置が撮像した画像情報に含まれる人物を検出し、検出した検出人物の属性情報であって、少なくとも前記検出人物の人口統計学的特性と、前記検出人物の特徴的な行動を示す行動属性情報とのいずれかを含む検出人物の属性情報を、前記画像情報に基づいて抽出する画像処理ステップと、コンテンツ抽出部が、前記画像処理ステップによって前記検出人物が検出された場合に、前記撮像装置に対応する出力デバイスが所属するデバイスグループに対応する情報コンテンツを抽出し、抽出した前記情報コンテンツのうちから、前記画像処理によって抽出された前記検出人物の属性情報に基づく出力条件を満たす情報コンテンツを選択するコンテンツ抽出ステップと、コンテンツ出力処理部が、前記コンテンツ抽出ステップによって選択された当該情報コンテンツを、前記撮像装置に対応する前記出力デバイスに出力させるコンテンツ出力処理ステップと、出力履歴処理部が、前記出力デバイスのロック開始時刻と、出力中の情報コンテンツの出力時間である設定ロック時間とを対応づけたデバイスロック情報をデバイスロック情報記憶部に記憶させる出力履歴処理ステップとを含み、前記コンテンツ出力処理ステップにおいて、前記コンテンツ出力処理部が、前記デバイスロック情報記憶部が記憶する前記デバイスロック情報に基づいて、前記撮像装置に対応する前記出力デバイスが情報コンテンツを出力中であるか否かを判定し、前記撮像装置に対応する前記出力デバイスが情報コンテンツを出力中である場合に、選択した前記情報コンテンツの出力を保留し、前記撮像装置に対応する前記出力デバイスが情報コンテンツを出力中でない場合に、選択した前記情報コンテンツを前記出力デバイスに出力させることを特徴とする情報処理方法である。
【発明の効果】
【0009】
本発明によれば、検出した検出人物及び出力デバイスが置かれている環境に応じて、適切な情報コンテンツを提供することができる。
【図面の簡単な説明】
【0010】
【
図1】本実施形態による情報処理システムの一例を示すブロック図である。
【
図2】本実施形態におけるカメラグループ情報記憶部のデータ例を示す図である。
【
図3】本実施形態におけるカメラグループ対応記憶部のデータ例を示す図である。
【
図4】本実施形態におけるカメラ情報記憶部のデータ例を示す図である。
【
図5】本実施形態における出力デバイスグループ情報記憶部のデータ例を示す図である。
【
図6】本実施形態における出力デバイスグループ対応記憶部のデータ例を示す図である。
【
図7】本実施形態における出力デバイス情報記憶部のデータ例を示す図である。
【
図8】本実施形態におけるキャンペーングループ情報記憶部のデータ例を示す図である。
【
図9】本実施形態におけるキャンペーングループ対応記憶部のデータ例を示す図である。
【
図10】本実施形態におけるキャンペーン情報記憶部のデータ例を示す図である。
【
図11】本実施形態における人物情報記憶部のデータ例を示す図である。
【
図12】本実施形態における行動履歴記憶部のデータ例を示す図である。
【
図13】本実施形態におけるカメラデバイス対応記憶部のデータ例を示す図である。
【
図14】本実施形態におけるデバイスロック情報記憶部のデータ例を示す図である。
【
図15】本実施形態におけるコンテンツ情報記憶部のデータ例を示す図である。
【
図16】本実施形態における出力履歴記憶部のデータ例を示す図である。
【
図17】本実施形態における情報処理システムの行動履歴の収集処理の一例を示すフローチャートである。
【
図18】本実施形態における情報処理システムの情報コンテンツの出力処理の一例を示すフローチャートである。
【
図19】本実施形態におけるキャンペーン情報の管理画面の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態による情報処理装置、及び情報処理システムについて、図面を参照して説明する。
【0012】
図1は、本実施形態による情報処理システム1の一例を示すブロック図である。
図1に示すように、情報処理システム1は、情報処理装置10と、複数のカメラ20と、複数の出力デバイス30と、データサーバ装置40と、管理端末装置50とを備えている。また、情報処理装置10と、複数のカメラ20と、複数の出力デバイス30と、データサーバ装置40と、管理端末装置50とは、ネットワークNW1を介して接続されている。
【0013】
カメラ20(撮像装置の一例)は、例えば、動画を含む画像を撮像可能な監視カメラなどであり、情報処理システム1が導入されている様々な場所に設置されている。カメラ20は、撮像した撮像情報(画像情報)を後述する情報処理装置10に出力する。なお、カメラ20には、店舗ST内に設置されているカメラ21と、店舗ST外に設置されているカメラ22とが含まれる。カメラ20は、常時撮像するものであってもよいし、人感センサ(不図示)を備えて、周辺に人が近づいたことを検出して、撮像を開始するものであってもよい。
【0014】
なお、
図1に示す例では、カメラ21とカメラ22とをそれぞれ1台記載しているが、カメラ21とカメラ22とのそれぞれは、複数台設置されているものとする。また、本実施形態において、カメラ21とカメラ22とは、情報処理システム1が備える任意のカメラを示す場合、又は特に区別しない場合には、カメラ20として説明する。
【0015】
カメラ20は、設置環境(例えば、店舗ST内、店舗ST外など)の異なる複数の撮像グループのいずれかに所属している。
図1に示す例では、複数の撮像グループは、店舗ST内に設置されたカメラ20のグループであるカメラグループGr1(第1グループ)と、店舗ST外に設置されたカメラ20のグループであるカメラグループGr2(第2グループ)とである。
【0016】
出力デバイス30は、例えば、デジタルサイネージ装置、AI(Artificial Intelligence)スピーカ、プロジェクタなどのコミュニケーションデバイスであり、カメラ20に対応付けられて、様々な場所に設置されている。出力デバイス30は、後述する情報処理装置10から提供された広告やコミュニケーションコンテンツなどの情報コンテンツを出力する。
【0017】
なお、
図1に示す例では、出力デバイス31と出力デバイス32とをそれぞれ1台記載しているが、出力デバイス31と出力デバイス32とのそれぞれは、カメラ20と同様に、複数台設置されているものとする。また、本実施形態において、出力デバイス31と出力デバイス32とは、情報処理システム1が備える任意の出力デバイスを示す場合、又は特に区別しない場合には、出力デバイス30として説明する。
【0018】
データサーバ装置40は、例えば、ネットワークNW1に接続されたサーバ装置であり、情報処理システム1が利用する各種データ(各種情報)を記憶する。データサーバ装置40は、カメラグループ情報記憶部401と、カメラグループ対応記憶部402と、カメラ情報記憶部403と、出力デバイスグループ情報記憶部404と、出力デバイスグループ対応記憶部405と、出力デバイス情報記憶部406と、キャンペーングループ情報記憶部407と、キャンペーングループ対応記憶部408と、キャンペーン情報記憶部409と、人物情報記憶部410と、行動履歴記憶部411と、カメラデバイス対応記憶部412と、デバイスロック情報記憶部413と、コンテンツ情報記憶部414と、コンテンツファイル記憶部415と、出力履歴記憶部416とを備えている。
【0019】
カメラグループ情報記憶部401は、カメラ20のグループ情報であるカメラグループマスタデータを記憶する。カメラグループ情報記憶部401は、例えば、
図2に示すように、「カメラグループID」と、「カメラグループ名」とを対応付けて記憶する。ここで、「カメラグループID」は、カメラ20のグループを識別する識別情報であり、「カメラグループ名」は、カメラグループの名称である。
【0020】
カメラグループは、例えば、カメラ20の設置場所(例えば、店舗ST内、商品○○の売り場、店舗ST外のメイン通り、等)などの設置環境を示すグループである。
例えば、
図2に示す例では、「カメラグループID」が“CG01”に対応する「カメラグループ名」が、“○○店”であることを示している。また、「カメラグループID」が“CG02”に対応する「カメラグループ名」が、“店外カメラ”であることを示している。
【0021】
カメラグループ対応記憶部402は、情報処理システム1におけるカメラ20とカメラグループとの対応を示す対応テーブル(紐付けテーブル)を記憶する。カメラグループ対応記憶部402は、例えば、
図3に示すように、「カメラID」と、「カメラグループID」とを対応付けて記憶する。ここで、「カメラID」は、カメラ20を識別するカメラ識別情報(撮像識別情報)である。
図3に示す例では、「カメラID」が“C001”のカメラ20に対応する「カメラグループID」が“CG01”であることを示している。
【0022】
カメラ情報記憶部403は、カメラ20に関する管理情報であるカメラマスタデータを記憶する。カメラ情報記憶部403は、例えば、
図4に示すように、「カメラID」と、「ロケーション種別」と、「設置場所名」と、「設置場所情報」とを対応付けて記憶する。ここで、「ロケーション種別」は、撮像場所の種別を示す情報であり、「設置場所名」は、カメラ20が設置されている場所の名称を示している。また、「設置場所情報」は、カメラ20が設置されている場所の詳細情報(例えば、場所情報、緯度・経度情報など)を示している。
【0023】
例えば、
図4に示す例では、「カメラID」が“C001”のカメラ20は、「ロケーション種別」が“○○店内”であり、「設置場所名」が“○○売り場”であり、「設置場所情報」が“○○横、緯度XXX,経度YYY”であることを示している。
【0024】
出力デバイスグループ情報記憶部404は、出力デバイス30のグループ情報であるデバイスグループマスタデータを記憶する。出力デバイスグループ情報記憶部404は、例えば、
図5に示すように、「デバイスグループID」と、「デバイスグループ名」とを対応付けて記憶する。ここで、「デバイスグループID」は、出力デバイス30のグループを識別する識別情報であり、「デバイスグループ名」は、デバイスグループの名称である。
【0025】
例えば、
図5に示す例では、「デバイスグループID」が“DG01”に対応する「デバイスグループ名」が、“○○デバイス”であることを示している。また、「デバイスグループID」が“DG02”に対応する「デバイスグループ名」が、“店外デバイス”であることを示している。
【0026】
出力デバイスグループ対応記憶部405は、情報処理システム1における出力デバイス30とデバイスグループとの対応を示す対応テーブル(紐付けテーブル)を記憶する。出力デバイスグループ対応記憶部405は、例えば、
図6に示すように、「デバイスID」と、「デバイスグループID」とを対応付けて記憶する。ここで、「デバイスID」は、出力デバイス30を識別するデバイス識別情報である。
図6に示す例では、「デバイスID」が“D001”の出力デバイス30に対応する「デバイスグループID」が“DG01”であることを示している。
【0027】
出力デバイス情報記憶部406は、出力デバイス30に関する管理情報であるデバイスマスタデータを記憶する。出力デバイス情報記憶部406は、例えば、
図7に示すように、「デバイスID」と、「ロケーション種別」と、「設置場所名」と、「設置場所情報」と、「デバイスロック時間」とを対応付けて記憶する。ここで、「ロケーション種別」は、出力場所の種別を示す情報であり、「設置場所名」は、出力デバイス30が設置されている場所の名称を示している。また、「設置場所情報」は、出力デバイス30が設置されている場所の詳細情報(例えば、場所情報、緯度・経度情報など)を示している。
【0028】
また、「デバイスロック時間」は、出力デバイス30が情報コンテンツを既に出力中であり、新たな情報コンテンツを出力できない状態となる時間を示している。
例えば、
図7に示す例では、「デバイスID」が“D001”の出力デバイス30は、「ロケーション種別」が“○○店内”であり、「設置場所名」が“○○売り場”であり、「設置場所情報」が“○○横、緯度XXX,経度YYY”であることを示している。また、「デバイスロック時間」が“30秒”であることを示している。
【0029】
キャンペーングループ情報記憶部407は、広告などのキャンペーンのグループ情報であるキャンペーングループマスタデータを記憶する。キャンペーングループ情報記憶部407は、例えば、
図8に示すように、「キャンペーングループID」と、「キャンペーングループ名」とを対応付けて記憶する。ここで、「キャンペーングループID」は、キャンペーンのグループを識別する識別情報であり、「キャンペーングループ名」は、キャンペーングループの名称である。
【0030】
例えば、
図8に示す例では、「キャンペーングループID」が“CP001”に対応する「キャンペーングループ名」が、“○○アイスリニューアルPR”であることを示している。また、「キャンペーングループID」が“CP002”に対応する「キャンペーングループ名」が、“××ドリンクPR”であることを示している。
【0031】
キャンペーングループ対応記憶部408は、本実施形態におけるキャンペーンとキャンペーングループとの対応を示す対応テーブル(紐付けテーブル)を記憶する。キャンペーングループ対応記憶部408は、例えば、
図9に示すように、「キャンペーングループID」と、「キャンペーンID」とを対応付けて記憶する。ここで、「キャンペーンID」は、キャンペーンを識別するキャンペーン識別情報である。
図9に示す例では、「キャンペーングループID」が“CP001”に対応する「キャンペーンID」が“CP001-01”であることを示している。
【0032】
キャンペーン情報記憶部409は、キャンペーンに関する管理情報であるキャンペーンマスタデータを記憶する。キャンペーン情報記憶部409は、例えば、
図10に示すように、「キャンペーンID」と、「キャンペーン名」と、「適用開始日時」と、「適用終了日時」と、「出力条件」と、「デバイスグループID」と、「コンテンツID」とを対応付けたキャンペーン情報を記憶する。ここで、「キャンペーン名」は、キャンペーンの名称を示し、「適用開始日時」及び「適用終了日時」は、キャンペーンの開始日時及び終了日時を示している。
【0033】
また、「出力条件」は、キャンペーンを出力デバイス30に出力するための出力条件を示している。なお、「出力条件」は、例えば、後述する画像処理部111が、カメラ20の撮像情報から抽出した検出人物の属性情報に基づく条件である。また、「デバイスグループID」は、キャンペーンに対応するデバイスグループを示し、「コンテンツID」は、キャンペーンで出力する情報コンテンツを識別するコンテンツ識別情報を示している。
【0034】
図10に示す例では、「キャンペーンID」が“CP001-01”に対応するキャンペーンは、「キャンペーン名」が“男性20代店内”であり、「適用開始日時」及び「適用終了日時」が“2019/2/3”及び“2019/2/15”であることを示している。また、このキャンペーンは、「出力条件」が“男性、20歳代、デバイス注視行動”であることを示している。また、このキャンペーンの「デバイスグループID」が“DG02”であり、「コンテンツID」が“CT001”であることを示している。
【0035】
人物情報記憶部410は、カメラ20が撮像した画像情報から検出された人物に関する情報である人物マスタデータを記憶する。人物情報記憶部410は、例えば、
図11に示すように、「人物ID」と、「性別」と、「性別信頼度」と、「年代」と、「年代信頼度」と、「行動属性情報」と、「初回登録日時」と、「初回登録カメラID」と、「最終更新日時」とを対応付けて記憶する。ここで、「人物ID」は、カメラ20が撮像した画像情報から検出された人物を識別する人物識別情報であり、画像情報から特徴量を抽出し、抽出した当該特徴量に基づいて特定された人物(検出人物)に付与される。
【0036】
また、「性別」及び「年代」は、検出人物の性別及び年齢を示し、人口統計学的特性の一例である。また、「性別信頼度」は、抽出された性別の信頼度を示し、「年代信頼度」は、抽出された年代の信頼度を示している。また、「行動属性情報」は、検出人物の特徴的な行動を示し、「初回登録日時」及び「初回登録カメラID」は、検出人物が最初に検出された際の登録日時及びカメラIDを示している。また、「最終更新日時」は、この検出人物に対する人物情報の最終更新日を示している。
【0037】
例えば、
図11に示す例では、「人物ID」が“U001”の検出人物は、「性別」及び「年代」が“M”(男性)及び“20-29”(20歳代)であり、「性別信頼度」及び「年代信頼度」が“XXX”及び“YYY”であり、「行動属性情報」が“店内回遊行動”であることを示している。また、この検出人物は、「初回登録日時」が“2019/2/3”であり、「初回登録カメラID」が“C001”であることを示している。
なお、人物情報記憶部410は、上述した情報の他に、最終更新した際のカメラIDや登録・更新回数を示す情報を記憶するようにしてもよい。
【0038】
行動履歴記憶部411は、カメラ20の画像情報に基づいて検出された検出人物の行動履歴を記憶する。行動履歴記憶部411は、例えば、
図12に示すように、「行動ログ番号」と、「人物ID」と、「行動日時」と、「カメラID」と、「行動詳細」とを対応付けて記憶する。ここで、「行動ログ番号」は、行動履歴の番号(行動ログSEQ)を示し、各行動履歴のレコードを識別する識別情報である。また、「行動詳細」は、検出された行動属性情報の詳細を示している。
【0039】
例えば、
図12に示す例では、「行動ログ番号」が“AL001”の行動履歴(レコード)は、「人物ID」が“U001”であり、「行動日時」が“2019/2/3”で「カメラID」が“C001”のカメラで検出され、「行動詳細」が“店内回遊行動”であることを示している。
【0040】
カメラデバイス対応記憶部412は、情報処理システム1におけるカメラ20と、出力デバイス30との対応を示す対応テーブル(紐付けテーブル)を記憶する。カメラデバイス対応記憶部412は、例えば、
図13に示すように、「カメラID」と、「デバイスID」とを対応付けて記憶する。
例えば、
図13に示す例では、「カメラID」が“C001”のカメラ20と、「デバイスID」が“D001”の出力デバイス30とが対応付けられていることを示している。本実施形態の情報処理システム1では、“C001”のカメラ20により人物を検出した場合には、当該“C001”のカメラ20に対応する“D001”の出力デバイス30を使用して、広告などのキャンペーンのコンテンツを出力する。
【0041】
デバイスロック情報記憶部413は、出力デバイス30が情報コンテンツを既に出力中であることを示すデバイスロック情報を記憶する。デバイスロック情報記憶部413は、例えば、
図14に示すように、「デバイスID」と、「ロック開始日時」と、「設定ロック時間」とを対応付けて記憶する。ここで、「ロック開始日時」は、出力デバイス30が情報コンテンツの出力を開始した日時を示し、「設定ロック時間」は、出力中の時間(コンテンツの出力時間)を示している。
【0042】
例えば、
図14に示す例では、「デバイスID」が“D001”の出力デバイス30は、「ロック開始日時」の“2019/05/05、10:00:00”から“30秒”の期間、ロック中であることを示している。
【0043】
コンテンツ情報記憶部414は、出力デバイス30から出力する情報コンテンツの情報であるコンテンツマスタデータを記憶する。コンテンツ情報記憶部414は、例えば、
図15に示すように、「コンテンツID」と、「コンテンツ種別」と、「ファイルパス」とを対応付けて記憶する。ここで、「コンテンツID」は、情報コンテンツを識別するための識別情報であり、「コンテンツ種別」は、例えば、動画や音声、プロジェクション画像などのコンテンツの種別を示している。また、「ファイルパス」は、情報コンテンツのファイルが格納されている格納先(ファイルパス)を示している。
【0044】
例えば、
図15に示す例では、「コンテンツID」が“CT001”の情報コンテンツは、「コンテンツ種別」が“動画”であり、「ファイルパス」が“\\XXXX\movie\A.mp4”であることを示している。
コンテンツファイル記憶部415は、出力デバイス30から出力する情報コンテンツのファイルを記憶する。コンテンツファイル記憶部415は、上述したコンテンツ情報記憶部414の「ファイルパス」が示す格納先となる記憶部である。
【0045】
出力履歴記憶部416は、キャンペーンにより出力デバイス30から情報コンテンツを出力した出力履歴を記憶する。出力履歴記憶部416は、例えば、
図16に示すように、「出力ログ番号」と、「行動ログ番号」と、「デバイスID」と、「出力日時」と、「キャンペーンID」とを対応付けた出力履歴情報を記憶する。ここで、「出力ログ番号」は、出力履歴の番号(出力ログSEQ)を示し、各出力履歴のレコードを識別する識別情報である。また、「行動ログ番号」は、上述した行動履歴記憶部411の「行動ログ番号」を示している。また、「出力日時」は、出力デバイス30が情報コンテンツを出力した日時を示している。
【0046】
図16に示す例では、「出力ログ番号」が“LG001”の出力履歴は、「行動ログ番号」が“AL001”に対して、「デバイスID」が“D001”の出力デバイス30を使用して、「出力日時」の“2019/05/05、10:00”に、「キャンペーンID」が“CP001-01”に対応する情報コンテンツを出力したことを示している。
このように、出力履歴記憶部416は、検出人物の行動履歴(「行動ログ番号」)と、使用した出力デバイス30の情報(「デバイスID」)と、出力した内容(「キャンペーンID」)と、出力した日時(「出力日時」)とを対応付けた出力履歴を記憶する。
【0047】
管理端末装置50は、例えば、パーソナルコンピュータ(PC)や、タブレット端末などの端末装置であり、ネットワークNW1を介して、データサーバ装置40が記憶する各種情報の管理処理を実行する。管理端末装置50は、入力部51と、表示部52と、端末制御部53とを備えている。
【0048】
入力部51は、例えば、キーボードやマウスなどの入力装置であり、管理端末装置50の使用者(管理者)から必要な各種情報を受け付ける。
表示部52は、例えば、液晶ディスプレイなどの表示装置であり、各種情報を表示する。表示部52は、例えば、データサーバ装置40が記憶する各種情報を管理する際に、各種表示画面などを表示する。
【0049】
端末制御部53は、例えば、CPU(Central Processing Unit)などを含むプロセッサであり、管理端末装置50を統括的に制御する。端末制御部53は、例えば、管理処理部531を備えている。
管理処理部531は、ネットワークNW1を介して、データサーバ装置40との間で通信を行い、データサーバ装置40が記憶する各種情報を管理する管理処理を実行する。管理処理部531は、例えば、キャンペーン情報記憶部409、キャンペーングループ情報記憶部407、及びキャンペーングループ対応記憶部408へのキャンペーン情報の登録や削除、更新などの管理処理を実行する。また、管理処理部531は、例えば、コンテンツ情報記憶部414及びコンテンツファイル記憶部415に、情報コンテンツの登録や削除、更新などの管理処理を実行する。
【0050】
情報処理装置10は、例えば、ネットワークNW1に接続されたサーバ装置である。情報処理装置10は、カメラ20を用いて検出した検出人物及び当該検出人物の行動履歴を収集するとともに、検出人物に対応したキャンペーンを選択し、選択したキャンペーンに対応する情報コンテンツ(広告、PR情報、コミュニケーションコンテンツなど)を、出力デバイス30から出力させる。情報処理装置10は、制御部11を備えている。
【0051】
制御部11は、例えば、CPUなどを含むプロセッサであり、情報処理装置10を統括的に制御する。制御部11は、画像処理部111と、人物登録処理部112と、行動履歴処理部113と、キャンペーン抽出部114と、コンテンツ出力処理部115と、出力履歴処理部116とを備えている。
【0052】
画像処理部111は、カメラ20が撮像した画像情報に含まれる人物を検出し、検出した検出人物の属性情報を、画像情報に基づいて抽出する。ここで、検出人物の属性情報には、少なくとも検出人物の人口統計学的特性(例えば、性別、年代など)と、検出人物の特徴的な行動を示す行動属性情報とのいずれかが含まれる。画像処理部111は、人物を検出した場合に、例えば、人物の顔や体形、衣服などから特徴量を抽出する。また、画像処理部111は、画像処理部111が抽出した検出人物の特徴量と、不図示の記憶部に記憶されている過去の特徴量とを比較した比較結果に基づいて、新たな人物が検出されたと判定された場合に、検出人物に対して、新たな人物IDを付与する。
【0053】
また、画像処理部111は、検出人物の動作などから行動属性情報を抽出する。ここで、行動属性情報には、例えば、検出人物の動線に基づく店舗ST内の回遊行動、商品の棚前などの滞留行動、商品を手に取る行動、検出人物の視線や顔の向きに基づく、出力デバイス30や商品などへの注視行動などが含まれる。
【0054】
なお、画像処理部111は、カメラ20が所属するカメラグループ(撮像グループ)に応じて、異なる行動属性情報を抽出するようにしてもよい。例えば、人物を撮像したカメラ20が、店舗ST内のカメラグループGr1に所属する場合には、画像処理部111は、滞留行動、商品を手に取る行動などを検出し、カメラ20が、店舗ST外のカメラグループGr2に所属する場合には、画像処理部111は、注視行動などを検出するようにしてもよい。
【0055】
人物登録処理部112(登録処理部の一例)は、画像処理部111が新たに検出した検出人物に、検出人物を識別する人物ID(人物識別情報)を付与し、当該人物IDと、検出人物の属性情報とを対応付けて人物情報記憶部410に記憶させる。人物登録処理部112は、例えば、上述した
図11に示すように、人物情報を人物情報記憶部410に記憶させる。
【0056】
また、人物登録処理部112は、画像処理部111が抽出した検出人物の特徴量に基づいて、過去に検出した人物であると判定された場合に、当該検出人物に対応する人物情報記憶部410の人物情報を更新する。なお、人物登録処理部112は、行動履歴記憶部411が記憶する行動履歴情報のうち、人物IDに対応する代表的な行動属性情報を、人物IDに対応する検出人物の属性情報として、人物情報記憶部410に記憶させる。
【0057】
行動履歴処理部113は、画像処理部111が検出人物を検出した場合に、人物IDと、カメラID(撮像識別情報)と、行動属性情報と、行動属性情報が抽出された日時情報とを対応付けた行動履歴情報を行動履歴記憶部411に記憶させる。行動履歴処理部113は、例えば、
図12に示すように、検出された検出人物の行動履歴情報を、行動履歴記憶部411に記憶させる。
【0058】
キャンペーン抽出部114(コンテンツ抽出部の一例)は、画像処理部111が検出人物を検出した場合に、カメラ20に対応する出力デバイス30が所属するデバイスグループに対応する情報コンテンツを抽出する。キャンペーン抽出部114は、検出人物の人物IDに対応する属性情報(性別、年代、及び行動属性情報)を、人物情報記憶部410から取得する。なお、キャンペーン抽出部114は、複数の検出人物が検出された場合には、例えば、多数決により属性情報を決定するなど、複数の検出人物を代表する属性情報を適用(選択)する。また、キャンペーン抽出部114は、画像処理部111が検出した検出人物が既に人物情報記憶部410に記憶されている場合に、検出人物に付与されている人物IDに対応する検出人物の属性情報を人物情報記憶部410から取得する。
【0059】
また、キャンペーン抽出部114は、人物が検出されたカメラ20のカメラIDに対応する出力デバイス30のデバイスIDを、カメラデバイス対応記憶部412から取得する。キャンペーン抽出部114は、さらに、取得したデバイスIDが所属するデバイスグループのデバイスグループIDを、出力デバイスグループ対応記憶部405から取得する。キャンペーン抽出部114は、キャンペーン情報記憶部409が記憶する複数のキャンペーン情報のうちから、取得したデバイスグループIDに対応するキャンペーン情報を抽出する。なお、キャンペーン抽出部114は、抽出したキャンペーン情報に含まれるコンテンツIDに対応する情報コンテンツを抽出したものとする。
【0060】
また、キャンペーン抽出部114は、抽出した情報コンテンツのうちから、画像処理部111が抽出した検出人物の属性情報に基づく出力条件を満たす情報コンテンツを選択する。すなわち、キャンペーン抽出部114は、抽出したキャンペーン情報のうちから、人物情報記憶部410から取得した属性情報(性別、年代、及び行動属性情報)に基づく出力条件に一致する(出力条件を満たす)キャンペーン情報を選択する。
なお、キャンペーン抽出部114は、画像処理部111が複数の検出人物を検出した場合に、キャンペーン抽出部114によって適用された複数の検出人物を代表する属性情報に基づく出力条件を満たす情報コンテンツを選択する。また、キャンペーン抽出部114は、出力条件に一致するキャンペーンが複数ある場合に、例えば、更新日時の新しいキャンペーンを優先して選択する。
【0061】
コンテンツ出力処理部115は、キャンペーン抽出部114が選択した当該情報コンテンツを、カメラ20に対応する出力デバイス30に出力させる。コンテンツ出力処理部115は、キャンペーン抽出部114が選択したキャンペーン情報に含まれるコンテンツIDに対応する情報コンテンツを、カメラ20に対応する出力デバイス30に出力させる。
【0062】
具体的に、コンテンツ出力処理部115は、キャンペーン情報記憶部409のキャンペーン情報に含まれるコンテンツIDに対応するファイルパス(例えば、
図15に示す“\\XXXX\movie\A.mp4”など)を、コンテンツ情報記憶部414から取得する。そして、コンテンツ出力処理部115は、取得したファイルパスにより、コンテンツファイル記憶部415から情報コンテンツを取得し、取得した情報コンテンツを、カメラ20に対応する出力デバイス30に出力させる。
【0063】
また、コンテンツ出力処理部115は、カメラ20に対応する出力デバイス30が情報コンテンツを出力中である場合に、選択した情報コンテンツの出力を保留する。コンテンツ出力処理部115は、出力デバイス30に情報コンテンツを出力させる際に、デバイスロック情報記憶部413を確認し、デバイスIDに対応する出力デバイス30がロック中(出力中)であるか否かを判定し、当該出力デバイス30がロック中(出力中)である場合に、選択した情報コンテンツの出力を保留する。
また、コンテンツ出力処理部115は、カメラ20に対応する出力デバイス30がロック中(出力中)でない場合に、キャンペーン抽出部114が選択した情報コンテンツを出力デバイス30に出力させる。
【0064】
出力履歴処理部116は、コンテンツ出力処理部115が出力した情報コンテンツに対応する出力情報と、情報コンテンツを出力した出力デバイス30を識別する出力識別情報と、情報コンテンツを出力した日時を示す出力日時情報とを対応付けた出力履歴情報を、出力履歴記憶部416に記憶させる。出力履歴処理部116は、例えば、
図16に示すように、情報コンテンツを出力した出力履歴情報を、出力履歴記憶部416に記憶させる。
また、出力履歴処理部116は、例えば、
図14に示すように、デバイスロック情報をデバイスロック情報記憶部413に記憶させる。
【0065】
次に、図面を参照して、本実施形態による情報処理システム1の動作について説明する。
図17は、本実施形態における情報処理システム1の行動履歴の収集処理の一例を示すフローチャートである。
【0066】
図17に示すように、情報処理装置10は、まず、カメラ20から画像情報を取得する(ステップS101)。制御部11の画像処理部111は、各カメラ20が撮像した画像情報を定期的に取得する。
【0067】
次に、画像処理部111は、画像情報に人物が含まれるか否かを判定する(ステップS102)。画像処理部111は、例えば、既存の画像処理技術を用いて、画像情報に含まれる人物を抽出(検出)する。画像処理部111は、画像情報に人物が含まれている場合(ステップS102:YES)に、処理をステップS103に進める。また、画像処理部111は、画像情報に人物が含まれていない場合(ステップS102:NO)に、処理をステップS101に戻す。
【0068】
ステップS103において、画像処理部111は、検出人物の特徴量を抽出する。画像処理部111は、例えば、既存の顔認識技術を用いて、検出人物の特徴量を抽出する。
次に、画像処理部111は、検出人物に対して、人口統計学的特性を抽出する(ステップS104)。画像処理部111は、例えば、既存の画像処理技術により、検出人物の性別、年代などの人口統計学的特性及び、人口統計学的特性の信頼度を推定する。
【0069】
次に、画像処理部111は、検出人物が登録済みであるか否かを判定する(ステップS105)。画像処理部111は、抽出した検出人物の特徴量と、不図示の記憶部に記憶されている過去の特徴量とを比較して、一致率が所定の閾値以上であるか否かにより、検出人物が登録済みであるか否かを判定する。
【0070】
画像処理部111は、一致率が所定の閾値以上である場合に検出人物が登録済みであると判定し、検出人物が登録済みである場合(ステップS105:YES)に、処理をステップS110に進める。また、画像処理部111は、一致率が所定の閾値未満である場合に検出人物が登録済みでない(未登録である)と判定し、検出人物が未登録である場合(ステップS104:NO)に、処理をステップS106に進める。
【0071】
ステップS106において、制御部11の人物登録処理部112は、人物情報を登録する。人物登録処理部112は、検出人物に対して、新たな人物IDを付与して、画像処理部111が抽出した人口統計学的特性(性別、年代など)とともに、人物情報として、人物情報記憶部410に記憶させる。すなわち、人物登録処理部112は、例えば、
図11に示すように、人物情報を人物情報記憶部410に記憶させる。
【0072】
次に、ステップS107において、画像処理部111は、検出人物に対して、行動属性情報を抽出する。画像処理部111は、例えば、既存の画像処理技術により、画像情報から検出人物の行動属性情報を抽出する。
【0073】
次に、制御部11の行動履歴処理部113は、行動履歴情報を追加を実行する(ステップS108)。行動履歴処理部113は、例えば、
図12に示すように、検出された検出人物の行動履歴情報を、行動履歴記憶部411に記憶させる。
【0074】
次に、人物登録処理部112は、人物情報の更新を行う(ステップS109)。人物登録処理部112は、人物情報記憶部410に記憶されている人物情報を更新させる。ステップS109の処理後に、人物登録処理部112は、行動履歴の収集処理を終了する。
【0075】
また、ステップS110において、人物登録処理部112は、信頼度の高い人口統計学的特性を人物情報に採用する。人物登録処理部112は、画像処理部111が推定した人口統計学的特性の信頼度と、人物情報記憶部410が記憶する人口統計学的特性の信頼度とを比較し、信頼度の高い人口統計学的特性を人物情報記憶部410に採用する。すなわち、人物登録処理部112は、画像処理部111が新たに推定した信頼度が高い場合に、当該新たに推定した信頼度を、人物情報記憶部410に記憶させる。
【0076】
なお、上述したステップS101からステップS110までの行動履歴の収集処理は、予定の時間間隔で実行されてもよいし、カメラ20が人感センサを備えている場合には、人感センサが人物を検出した際に実行されるようにしてもよい。
【0077】
次に、
図18を参照して、本実施形態における情報コンテンツの出力処理について説明する。
図18は、本実施形態における情報処理システム1の情報コンテンツの出力処理の一例を示すフローチャートである。なお、
図18に示す処理は、上述した
図17に示す行動履歴の収集処理後に実行されるものとする。
【0078】
図18に示すように、情報処理装置10は、まず、人物を検出したか否かを判定する(ステップS201)。情報処理装置10の画像処理部111は、カメラ20が撮像した画像情報に含まれる人物がいるか否かを判定する。画像処理部111は、画像情報に人物を検出した場合(ステップS201:YES)に、処理をステップS202に進める。また、画像処理部111は、画像情報に人物を検出していない場合(ステップS201:NO)に、処理をステップS201に戻す。
【0079】
ステップS202において、情報処理装置10のキャンペーン抽出部114は、検出人物の性別、年代、及び行動属性情報を取得する。キャンペーン抽出部114は、例えば、
図11に示すような人物情報記憶部410から、検出人物の人物IDに対応する性別、年代、及び行動属性情報を読み出して取得する。
【0080】
次に、キャンペーン抽出部114は、人物を検出したカメラ20に対応する出力デバイス30のデバイスIDを取得する(ステップS203)。キャンペーン抽出部114は、例えば、
図13に示すようなカメラデバイス対応記憶部412から、人物を検出したカメラ20のカメラIDに対応するデバイスIDを取得する。
【0081】
次に、キャンペーン抽出部114は、出力デバイス30がロック中であるか否かを判定する(ステップS204)。キャンペーン抽出部114は、例えば、
図14に示すようなデバイスロック情報記憶部413を確認し、デバイスIDに対応する出力デバイス30がロック中(出力中)であるか否かを判定する。キャンペーン抽出部114は、出力デバイス30がロック中である場合(ステップS204:YES)に、処理をステップS201に戻す。また、キャンペーン抽出部114は、出力デバイス30がロック中でない場合(ステップS204:NO)に、処理をステップS205に進める。
【0082】
ステップS205において、キャンペーン抽出部114は、デバイスIDに対応するデバイスグループIDを取得する。キャンペーン抽出部114は、例えば、
図6に示すような出力デバイスグループ対応記憶部405から、デバイスIDに対応するデバイスグループIDを取得する。
【0083】
次に、キャンペーン抽出部114は、デバイスグループIDに対応するキャンペーンのリストを抽出する(ステップS206)。キャンペーン抽出部114は、例えば、
図10に示すようなキャンペーン情報記憶部409が記憶するキャンペーン情報の中から、デバイスグループIDに対応するキャンペーン情報を抽出して、キャンペーンのリストを生成する。
【0084】
次に、キャンペーン抽出部114は、性別、年代、及び行動属性情報に基づく出力条件を満たすキャンペーンを選択する(ステップS207)。キャンペーン抽出部114は、上述したキャンペーンのリストのうちから、検出人物の人物IDに対応する性別、年代、及び行動属性情報に基づく、出力条件を満たすキャンペーンを選択する。例えば、検出人物の人物IDに対応する性別、年代、及び行動属性情報が“男性”、“20歳代”、及び“デバイス注視行動”である場合に、キャンペーン抽出部114は、例えば、
図10に示す「キャンペーンID」が“CP001-01”のキャンペーンを選択する。
【0085】
次に、情報処理装置10のコンテンツ出力処理部115は、選択したキャンペーンに対応する情報コンテンツを取得する(ステップS208)。コンテンツ出力処理部115は、選択したキャンペーンのキャンペーン情報に対応する情報コンテンツを取得する。コンテンツ出力処理部115は、例えば、
図10に示す「キャンペーンID」が“CP001-01”のキャンペーンの場合には、まず、キャンペーン情報に含まれる「コンテンツID」(“CT001”)を取得する。コンテンツ出力処理部115は、取得した「コンテンツID」(“CT001”)に対応する「ファイルパス」(例えば、
図15に示す“\\XXXX\movie\A.mp4”)を、コンテンツ情報記憶部414から取得し、当該「ファイルパス」により、コンテンツファイル記憶部415から情報コンテンツを取得する。
【0086】
次に、コンテンツ出力処理部115は、取得した情報コンテンツをカメラ20に対応する出力デバイス30から出力させる(ステップS209)。コンテンツ出力処理部115は、上述したステップS203の処理において、取得したデバイスIDに対応する出力デバイス30を、例えば、
図7に示すような出力デバイス情報記憶部406から特定し、当該出力デバイス30から情報コンテンツを出力させる。
【0087】
次に、情報処理装置10の出力履歴処理部116は、出力履歴情報を追加する(ステップS210)。出力履歴処理部116は、例えば、
図16に示すように、情報コンテンツを出力した出力履歴情報を、出力履歴記憶部416に記憶させる。
次に、出力履歴処理部116は、デバイスロック情報を追加する(ステップS211)。出力履歴処理部116は、例えば、
図14に示すように、デバイスロック情報をデバイスロック情報記憶部413に記憶させる。ステップS211の処理後に、出力履歴処理部116は、処理をステップS201に戻す。
【0088】
次に、
図19を参照して、管理端末装置50による管理処理の一例について説明する。
図19は、本実施形態におけるキャンペーン情報の管理画面の一例を示す図である。
管理端末装置50の管理処理部531は、キャンペーン情報を管理する際に、表示部52に
図19に示すような管理画面を表示させる。
【0089】
図19(a)に示す画面G1は、キャンペーン情報の追加、又は削除を行う管理画面である。管理処理部531は、画面G1のような管理画面を表示部52に表示させる。この場合、管理処理部531は、ネットワークNW1を介して、データサーバ装置40のキャンペーングループ情報記憶部407、キャンペーングループ対応記憶部408、及びキャンペーン情報記憶部409からキャンペーン情報を取得する。
【0090】
また、管理処理部531は、入力部51により受け付けた情報を、キャンペーン情報に反映させる。管理処理部531は、追加、又は削除されたキャンペーン情報を更新させる処理を、ネットワークNW1を介して、データサーバ装置40に要求し、データサーバ装置40は、キャンペーングループ情報記憶部407、キャンペーングループ対応記憶部408、及びキャンペーン情報記憶部409のキャンペーン情報を更新する。
なお、管理処理部531は、画面G1において、“詳細”ボタンが押下された場合に、
図19(b)に示す画面G2のような詳細入力画面を表示部52に表示させる。
【0091】
管理処理部531は、上述したキャンペーン情報の他に、カメラ20の情報や出力デバイス30の情報、各種グループの情報などの管理処理を実行する。
なお、上述したカメラグループ情報記憶部401、出力デバイスグループ情報記憶部404、キャンペーングループ情報記憶部407、及びキャンペーングループ対応記憶部408が記憶する情報は、上述した情報コンテンツの出力処理では使用していないが、管理端末装置50の管理処理により利用される。
【0092】
以上説明したように、本実施形態による情報処理装置10は、画像処理部111と、キャンペーン抽出部114(コンテンツ抽出部)と、コンテンツ出力処理部115とを備える。画像処理部111は、カメラ20(撮像装置)が撮像した画像情報に含まれる人物を検出し、検出した検出人物の属性情報であって、少なくとも検出人物の人口統計学的特性と、検出人物の特徴的な行動を示す行動属性情報とのいずれかを含む検出人物の属性情報を、画像情報に基づいて抽出する。キャンペーン抽出部114は、画像処理部111が検出人物を検出した場合に、カメラ20に対応する出力デバイス30が所属するデバイスグループに対応する情報コンテンツを抽出し、抽出した情報コンテンツのうちから、画像処理部111が抽出した検出人物の属性情報に基づく出力条件を満たす情報コンテンツを選択する。コンテンツ出力処理部115は、キャンペーン抽出部114が選択した当該情報コンテンツを、カメラ20に対応する出力デバイス30に出力させる。
【0093】
これにより、本実施形態による情報処理装置10は、検出人物の属性情報及び出力デバイス30が所属するデバイスグループに応じた適切な情報コンテンツを出力することができる。よって、本実施形態による情報処理装置10は、検出した検出人物及び出力デバイス30が置かれている環境に応じて、適切な情報コンテンツを提供することができる。
【0094】
また、本実施形態による情報処理装置10は、画像処理部111が新たに検出した検出人物に、検出人物を識別する人物ID(人物識別情報)を付与し、当該人物IDと、検出人物の属性情報とを対応付けて人物情報記憶部410に記憶させる人物登録処理部112(登録処理部)を備える。キャンペーン抽出部114は、画像処理部111が検出した検出人物が既に人物情報記憶部410に記憶されている場合に、検出人物に付与されている人物IDに対応する検出人物の属性情報を人物情報記憶部410から取得する。
【0095】
これにより、本実施形態による情報処理装置10は、検出人物の情報を人物情報記憶部410に登録することで、継続して検出人物の行動を把握することができ、より適切な情報コンテンツを提供することができる。
【0096】
また、本実施形態による情報処理装置10は、人物IDと、カメラ20を識別するカメラID(撮像識別情報)と、行動属性情報と、行動属性情報が抽出された日時情報とを対応付けた行動履歴情報を行動履歴記憶部411に記憶させる行動履歴処理部113を備える。人物登録処理部112は、行動履歴記憶部411が記憶する行動履歴情報のうち、人物IDに対応する代表的な行動属性情報を、人物IDに対応する検出人物の属性情報として、人物情報記憶部410に記憶させる。
【0097】
これにより、本実施形態による情報処理装置10は、行動履歴情報を行動履歴記憶部411に記憶させるため、例えば、検出人物の過去の行動も考慮して、適切な情報コンテンツを提供することができる。また、本実施形態による情報処理装置10は、行動履歴情報を記憶させることにより、例えば、マーケティング施策(広告、コミュニケーションコンテンツなどの施策)の効果検証を適切に行うことができる。また、本実施形態による情報処理装置10は、行動履歴情報を解析することで、より有効なマーケティング施策を立案することができる。
【0098】
また、本実施形態では、コンテンツ出力処理部115は、カメラ20に対応する出力デバイス30が情報コンテンツを出力中である場合に、選択した情報コンテンツの出力を保留する。また、コンテンツ出力処理部115は、カメラ20に対応する出力デバイス30が情報コンテンツを出力中でない場合に、選択した情報コンテンツを出力デバイス30に出力させる。
これにより、本実施形態による情報処理装置10は、出力デバイス30に情報コンテンツが出力している途中で、他の情報コンテンツが出力されることを防止することができる。
【0099】
また、本実施形態では、キャンペーン抽出部114は、画像処理部111が複数の検出人物を検出した場合に、複数の検出人物を代表する属性情報に基づく出力条件を満たす情報コンテンツを選択する。例えば、代表する属性情報は、多数決で決定される。
これにより、本実施形態による情報処理装置10は、複数の検出人物を検出した場合であっても、適切な情報コンテンツを提供することができる。
【0100】
また、本実施形態では、カメラ20は、設置環境の異なる複数の撮像グループのいずれかに所属しており、画像処理部111は、カメラ20が所属する撮像グループに応じて、異なる行動属性情報を抽出する。画像処理部111は、例えば、店舗ST内に設置されたカメラ20のグループであるカメラグループGr1(第1グループ)と、店舗ST外に設置されたカメラ20のグループであるカメラグループGr2(第2グループ)とで抽出する行動属性情報を変更してもよい。
これにより、本実施形態による情報処理装置10は、カメラ20が設置されている環境に応じて、適切な行動属性情報を抽出することができ、環境に応じた行動属性情報の違いにより、環境に応じた適切な情報コンテンツを提供することができる。
【0101】
また、本実施形態では、複数の撮像グループは、店舗ST内に設置されたカメラ20のグループであるカメラグループGr1(第1グループ)と、店舗ST外に設置されたカメラ20のグループであるカメラグループGr2(第2グループ)とである。
これにより、本実施形態による情報処理装置10は、店舗ST内と店舗ST外とを一括して把握及び一元管理することができ、環境に応じた適切な情報コンテンツを提供することができる。
【0102】
また、本実施形態による情報処理装置10は、出力履歴処理部116を備える。出力履歴処理部116は、コンテンツ出力処理部115が出力した情報コンテンツに対応する出力情報と、情報コンテンツを出力した出力デバイス30を識別する出力識別情報と、情報コンテンツを出力した日時を示す出力日時情報とを対応付けた出力履歴情報を、出力履歴記憶部416に記憶させる。
これにより、本実施形態による情報処理装置10は、出力履歴情報を記憶させることにより、例えば、マーケティング施策(広告、コミュニケーションコンテンツなどの施策)の効果検証を適切に行うことができる。また、本実施形態による情報処理装置10は、出力履歴情報を解析することで、より有効なマーケティング施策を立案することができる。
【0103】
また、本実施形態による情報処理システム1は、上述した情報処理装置10と、複数のカメラ20と、カメラ20に対応付けられた出力デバイス30とを備える。
これにより、本実施形態による情報処理システム1は、上述した情報処理装置10と同様の効果を奏し、検出した検出人物及び出力デバイス30が置かれている環境に応じて、適切な情報コンテンツを提供することができる。
【0104】
また、本実施形態による情報処理方法は、画像処理ステップと、コンテンツ抽出ステップと、コンテンツ出力処理ステップとを含む。画像処理ステップにおいて、画像処理部111が、カメラ20が撮像した画像情報に含まれる人物を検出し、検出した検出人物の属性情報であって、少なくとも検出人物の人口統計学的特性と、検出人物の特徴的な行動を示す行動属性情報とのいずれかを含む検出人物の属性情報を、画像情報に基づいて抽出する。コンテンツ抽出ステップにおいて、キャンペーン抽出部114が、画像処理ステップによって検出人物が検出された場合に、カメラ20に対応する出力デバイス30が所属するデバイスグループに対応する情報コンテンツを抽出し、抽出された情報コンテンツのうちから、画像処理ステップによって抽出された検出人物の属性情報に基づく出力条件を満たす情報コンテンツを選択する。コンテンツ出力処理ステップにおいて、コンテンツ出力処理部115が、コンテンツ抽出ステップによって選択された当該情報コンテンツを、カメラ20に対応する出力デバイス30に出力させる。
これにより、本実施形態による情報処理は、上述した情報処理装置10と同様の効果を奏し、検出した検出人物及び出力デバイス30が置かれている環境に応じて、適切な情報コンテンツを提供することができる。
【0105】
なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の実施形態において、情報処理装置10は、1つの装置である例を説明したが、これに限定されるものではなく、情報処理装置10は、複数の装置で構成されてもよい。また、例えば、情報処理装置10の画像処理部111を、カメラ20が備えて、各カメラ20によって分散処理されてもよい。
【0106】
また、上記の実施形態において、データサーバ装置40は、1つの装置である例を説明したが、これに限定されるものではなく、データサーバ装置40は、複数の装置で構成されてもよい。また、データサーバ装置40が記憶する記憶部の一部又は全部を、情報処理装置10が備えるようにしてもよい。
【0107】
また、データサーバ装置40が記憶する記憶部の一部を1つの記憶部に統合してもよい。例えば、カメラグループ情報記憶部401と、カメラグループ対応記憶部402とは、1つの記憶部に統合してもよいし、出力デバイスグループ情報記憶部404と、出力デバイスグループ対応記憶部405とは、1つの記憶部に統合してもよい。また、キャンペーングループ情報記憶部407と、キャンペーングループ対応記憶部408とは、1つの記憶部に統合してもよい。
【0108】
また、上記の実施形態において、カメラ20と出力デバイス30とが1対1で対応する例を説明したが、カメラ20と出力デバイス30とが、複数対1(又は1対複数)に対応するようにしてもよい。
【0109】
また、上記の実施形態において、複数の検出人物が検出された場合に、多数決により行代表する属性情報を決定する例を説明したが、これに限定されるものではない。例えば、人物を検出したカメラ20に一番近い人物の属性情報に決定してもよいし、複数の検出人物に対して優先順位を付与して、全ての検出人物に対応した情報コンテンツを順番に出力デバイス30から出力させるようにしてもよい。
【0110】
また、上記の実施形態において、出力履歴処理部116が、出力履歴情報を、出力履歴記憶部416に記憶させる例を説明したが、情報処理装置10は、出力履歴情報に基づいて、広告料金の集計や請求を行うようにしてもよい。
【0111】
また、上記の実施形態において、検出人物の人口統計学的特性の一例として、性別と年代(年齢)を検出する例を説明したが、これに限定されるものではなく、例えば、身長、体重、人種、民族などの他の特性情報を検出して用いるようにしてもよい。
【0112】
また、カメラグループ及びデバイスグループは、上記の実施形態に限定されるものではなく、他のグループを適用してもよい。例えば、カメラグループは、店舗内のカメラグループと、店舗外のカメラグループとに限定されるものではなく、売り場ごとにカメラグループを設定してもよいし、店舗ごとに異なるカメラぐープを設定し、複数の店舗に対して、本実施形態による情報処理システム1を適用するようにしてもよい。また、デバイスグループについても同様である。
【0113】
なお、上述した情報処理システム1が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した情報処理システム1が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した情報処理システム1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
【0114】
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に情報処理システム1が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0115】
また、上述した機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【符号の説明】
【0116】
1 情報処理システム
10 情報処理装置
11 制御部
20、21、22 カメラ
30、31、32 出力デバイス
40 データサーバ装置
50 管理端末装置
51 入力部
52 表示部
53 端末制御部
111 画像処理部
112 人物登録処理部
113 行動履歴処理部
114 キャンペーン抽出部
115 コンテンツ出力処理部
116 出力履歴処理部
401 カメラグループ情報記憶部
402 カメラグループ対応記憶部
403 カメラ情報記憶部
404 出力デバイスグループ情報記憶部
405 出力デバイスグループ対応記憶部
406 出力デバイス情報記憶部
407 キャンペーングループ情報記憶部
408 キャンペーングループ対応記憶部
409 キャンペーン情報記憶部
410 人物情報記憶部
411 行動履歴記憶部
412 カメラデバイス対応記憶部
413 デバイスロック情報記憶部
414 コンテンツ情報記憶部
415 コンテンツファイル記憶部
416 出力履歴記憶部
531 管理処理部
NW1 ネットワーク