知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社トランザクション・メディア・ネットワークスの特許一覧
特開2024-165924心理状態情報推定システム、心理状態情報推定システムの制御方法及び心理状態情報推定システムの制御プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024165924
(43)【公開日】2024-11-28
(54)【発明の名称】心理状態情報推定システム、心理状態情報推定システムの制御方法及び心理状態情報推定システムの制御プログラム
(51)【国際特許分類】
G06Q 30/0251 20230101AFI20241121BHJP
G06T 7/20 20170101ALI20241121BHJP
G06V 40/16 20220101ALI20241121BHJP
G16Y 20/40 20200101ALI20241121BHJP
G16Y 40/20 20200101ALI20241121BHJP
G16Y 40/30 20200101ALI20241121BHJP
【ＦＩ】
G06Q30/0251
G06T7/20 300Z
G06T7/20 300B
G06V40/16 B
G16Y20/40
G16Y40/20
G16Y40/30
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023082520
(22)【出願日】2023-05-18
(71)【出願人】
【識別番号】508195497
【氏名又は名称】株式会社トランザクション・メディア・ネットワークス
(74)【代理人】
【識別番号】100097102
【弁理士】
【氏名又は名称】吉澤 敬夫
(74)【代理人】
【識別番号】100098796
【弁理士】
【氏名又は名称】新井 全
(74)【代理人】
【識別番号】100121647
【弁理士】
【氏名又は名称】野口 和孝
(74)【代理人】
【識別番号】100187377
【弁理士】
【氏名又は名称】芳野 理之
(72)【発明者】
【氏名】淀川 征慶
(72)【発明者】
【氏名】磨田 勝美
(72)【発明者】
【氏名】広川 一也
【テーマコード（参考）】
5L030
5L049
5L096
【Ｆターム（参考）】
5L030BB08
5L049BB08
5L096CA02
5L096HA02
(57)【要約】
【課題】容易且つ正確に情報表示部に表示された不特定多数人向け情報を視認した通行人等の心理状態情報を取得する心理状態情報推定システム等を提供すること。
【解決手段】不特定多数人向け情報を表示する表示部２００を備える情報表示部２０１と、情報表示部の前を通過する対象者Ｐを撮像する撮像部３００と、これらを管理する管理部１０と、を有し、撮像部が撮像した対象者の撮像情報に基づいて、立ち止まった対象者情報を記憶し、立ち止まった対象者の顔情報を記憶し、情報表示部に向いている立ち止まった対象者情報を不特定多数人向け情報に興味がある興味対象者情報として記憶し、興味対象者の頭の動作情報に基づき、興味対象者の心理状態情報を取得する構成である心理状態情報推定システム１。
【選択図】 図１
【解決手段】不特定多数人向け情報を表示する表示部２００を備える情報表示部２０１と、情報表示部の前を通過する対象者Ｐを撮像する撮像部３００と、これらを管理する管理部１０と、を有し、撮像部が撮像した対象者の撮像情報に基づいて、立ち止まった対象者情報を記憶し、立ち止まった対象者の顔情報を記憶し、情報表示部に向いている立ち止まった対象者情報を不特定多数人向け情報に興味がある興味対象者情報として記憶し、興味対象者の頭の動作情報に基づき、興味対象者の心理状態情報を取得する構成である心理状態情報推定システム１。
【選択図】 図１
【特許請求の範囲】
【請求項1】
不特定多数人向けの情報である不特定多数人向け情報を表示する表示部に配置された情報表示部と、
前記情報表示部の前を通過する対象者を撮像する撮像部と、
前記情報表示部と前記撮像部を管理する管理部と、を有する心理状態情報推定システムであって、
前記撮像部が撮像した前記対象者の撮像情報に基づいて、立ち止まった対象者情報を記憶する立ち止まり情報記憶部と、
前記立ち止まった前記対象者の顔情報を撮像し、記憶する顔情報記憶部と、
前記情報表示部に向いている前記顔情報を有する前記立ち止まった対象者情報を前記情報表示部に表示されている前記不特定多数人向け情報に興味がある興味対象者情報として記憶する興味対象者情報記憶部と、
興味対象者の頭の動作情報である頭動作情報に基づき、前記興味対象者の心理状態情報を取得する心理状態情報取得部と、を備えることを特徴とする心理状態情報推定システム。
前記情報表示部の前を通過する対象者を撮像する撮像部と、
前記情報表示部と前記撮像部を管理する管理部と、を有する心理状態情報推定システムであって、
前記撮像部が撮像した前記対象者の撮像情報に基づいて、立ち止まった対象者情報を記憶する立ち止まり情報記憶部と、
前記立ち止まった前記対象者の顔情報を撮像し、記憶する顔情報記憶部と、
前記情報表示部に向いている前記顔情報を有する前記立ち止まった対象者情報を前記情報表示部に表示されている前記不特定多数人向け情報に興味がある興味対象者情報として記憶する興味対象者情報記憶部と、
興味対象者の頭の動作情報である頭動作情報に基づき、前記興味対象者の心理状態情報を取得する心理状態情報取得部と、を備えることを特徴とする心理状態情報推定システム。
【請求項2】
前記頭動作情報には、頭を振る動作情報を含み、前記頭を振る動作情報に基づき、前記興味対象者が、前記不特定多数人向け情報を肯定するか否かの前記心理状態情報を取得する構成となっていることを特徴とする請求項１に記載の心理状態情報推定システム。
【請求項3】
前記頭動作情報は、頭を傾ける動作情報、頭を回転させる動作情報、頭を引く動作情報を含み、これらの動作情報に基づき、前記不特定多数人向け情報について、肯定するか否か以外の前記心理状態情報を取得する構成となっていることを特徴とする請求項１又は請求項２に記載の心理状態情報推定システム。
【請求項4】
前記心理状態情報取得部が、前記興味対象者の顔の表情情報である顔表情情報に基づき、前記興味対象者の前記心理状態情報を取得することを特徴とする請求項１又は請求項２に記載の心理状態情報推定システム。
【請求項5】
前記情報表示部に表示される前記不特定多数人向け情報の内容が、時間毎に変化する時間単位変化情報となり、前記撮像部が撮像した前記対象者の撮像情報が、前記時間単位変化情報と関連付けて記憶され、前記時間単位変化情報毎に、前記立ち止まった対象者情報、前記立ち止まった前記対象者の前記顔情報、前記興味対象者情報を生成することを特徴とする請求項１又は請求項２に記載の心理状態情報推定システム。
【請求項6】
不特定多数人向けの情報である不特定多数人向け情報を表示する表示部に配置された情報表示部と、
前記情報表示部の前を通過する対象者を撮像する撮像部と、
前記情報表示部と前記撮像部を管理する管理部と、を有し、
前記情報表示部が、複数に分割された各部分である部分情報表示部を有する心理状態情報推定システムであって、
前記部分情報表示部に向いている顔情報を有する立ち止まった対象者情報を前記部分情報表示部に表示されている前記不特定多数人向け情報に興味がある部分興味対象者情報として記憶する部分興味対象者情報記憶部と、
前記部分興味対象者の頭の動作情報である頭動作情報に基づき、前記部分興味対象者の心理状態情報を取得する部分心理状態情報取得部と、を備えることを特徴とする心理状態情報推定システム。
前記情報表示部の前を通過する対象者を撮像する撮像部と、
前記情報表示部と前記撮像部を管理する管理部と、を有し、
前記情報表示部が、複数に分割された各部分である部分情報表示部を有する心理状態情報推定システムであって、
前記部分情報表示部に向いている顔情報を有する立ち止まった対象者情報を前記部分情報表示部に表示されている前記不特定多数人向け情報に興味がある部分興味対象者情報として記憶する部分興味対象者情報記憶部と、
前記部分興味対象者の頭の動作情報である頭動作情報に基づき、前記部分興味対象者の心理状態情報を取得する部分心理状態情報取得部と、を備えることを特徴とする心理状態情報推定システム。
【請求項7】
前記情報表示部には、単一の画像情報が表示され、前記部分情報表示部には、前記情報表示部に表示された前記画像情報が分割された分割画像情報が表示され、前記分割画像情報が組み合わされることで、前記単一の画像情報が形成される構成となっていることを特徴とする請求項６に記載の心理状態情報推定システム。
【請求項8】
不特定多数人向けの情報である不特定多数人向け情報を表示する表示部に配置された情報表示部と、
前記情報表示部の前を通過する対象者を撮像する撮像部と、
前記情報表示部と前記撮像部を管理する管理部と、を有する心理状態情報推定システムの制御方法であって、
前記撮像部が撮像した前記対象者の撮像情報に基づいて、立ち止まり情報記憶部に立ち止まった対象者情報を記憶する工程と、
立ち止まった前記対象者の顔情報を撮像し、顔情報記憶部に記憶する工程と、
前記情報表示部に向いている前記顔情報を有する前記立ち止まった対象者情報を前記情報表示部に表示されている前記不特定多数人向け情報に興味がある興味対象者情報として興味対象者情報記憶部に記憶する工程と、
興味対象者の頭の動作情報である頭動作情報に基づき、前記興味対象者の心理状態情報を取得する工程と、を備えることを特徴とする心理状態情報推定システムの制御方法。
前記情報表示部の前を通過する対象者を撮像する撮像部と、
前記情報表示部と前記撮像部を管理する管理部と、を有する心理状態情報推定システムの制御方法であって、
前記撮像部が撮像した前記対象者の撮像情報に基づいて、立ち止まり情報記憶部に立ち止まった対象者情報を記憶する工程と、
立ち止まった前記対象者の顔情報を撮像し、顔情報記憶部に記憶する工程と、
前記情報表示部に向いている前記顔情報を有する前記立ち止まった対象者情報を前記情報表示部に表示されている前記不特定多数人向け情報に興味がある興味対象者情報として興味対象者情報記憶部に記憶する工程と、
興味対象者の頭の動作情報である頭動作情報に基づき、前記興味対象者の心理状態情報を取得する工程と、を備えることを特徴とする心理状態情報推定システムの制御方法。
【請求項9】
不特定多数人向けの情報である不特定多数人向け情報を表示する表示部に配置された情報表示部と、
前記情報表示部の前を通過する対象者を撮像する撮像部と、
前記情報表示部と前記撮像部を管理する管理部と、を有する心理状態情報推定システムに、
前記撮像部が撮像した前記対象者の撮像情報に基づいて、立ち止まり情報記憶部に立ち止まった対象者情報を記憶する機能、
立ち止まった前記対象者の顔情報を撮像し、顔情報記憶部に記憶する機能、
前記情報表示部に向いている前記顔情報を有する前記立ち止まった対象者情報を前記情報表示部に表示されている前記不特定多数人向け情報に興味がある興味対象者情報として興味対象者情報記憶部に記憶する機能、
興味対象者の頭の動作情報である頭動作情報に基づき、前記興味対象者の心理状態情報を取得する機能、を実現させることを特徴とする心理状態情報推定システムの制御プログラム。
前記情報表示部の前を通過する対象者を撮像する撮像部と、
前記情報表示部と前記撮像部を管理する管理部と、を有する心理状態情報推定システムに、
前記撮像部が撮像した前記対象者の撮像情報に基づいて、立ち止まり情報記憶部に立ち止まった対象者情報を記憶する機能、
立ち止まった前記対象者の顔情報を撮像し、顔情報記憶部に記憶する機能、
前記情報表示部に向いている前記顔情報を有する前記立ち止まった対象者情報を前記情報表示部に表示されている前記不特定多数人向け情報に興味がある興味対象者情報として興味対象者情報記憶部に記憶する機能、
興味対象者の頭の動作情報である頭動作情報に基づき、前記興味対象者の心理状態情報を取得する機能、を実現させることを特徴とする心理状態情報推定システムの制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレイ等の情報表示部に表示される不特定多数人向け情報等を視認した不特定多数人等の対象者の心理状態情報を取得することができる心理状態情報推定システム、心理状態情報推定システムの制御方法及び心理状態情報推定システムの制御プログラムに関するものである。
【背景技術】
【0002】
従来から会議等で参加者の「うなずき」等の人間の動作に関する情報を取得して、参加者を評価する提案はなされていた（例えば、特許文献１等）。
このように、会議等で長時間、同一の場所に着席している参加者の「うなずき」等の動作情報を取得するのは容易であり、また、継続的に同一人等の動作情報を取得し、その動作情報に基づいて、その評価を行うことも容易であった。
このように、会議等で長時間、同一の場所に着席している参加者の「うなずき」等の動作情報を取得するのは容易であり、また、継続的に同一人等の動作情報を取得し、その動作情報に基づいて、その評価を行うことも容易であった。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－１２０７８７号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、公共の場所で、不特定多数人向けの広告等を表示するサイネージ等の情報表示部の前を通過等する対象者がサイネージ等の内容について、どのような心理状態であるかを把握するのは困難であった。
【0005】
そこで、本発明は、容易且つ正確に情報表示部に表示された不特定多数人向け情報を視認した通行人等の不特定多数の対象者の心理状態情報を取得することができる心理状態情報推定システム、心理状態情報推定システムの制御方法及び心理状態情報推定システムの制御プログラムを提供することを目的とする。
【0006】
前記目的は、本発明によれば、不特定多数人向けの情報である不特定多数人向け情報を表示する表示部に配置された情報表示部と、前記情報表示部の前を通過する対象者を撮像する撮像部と、前記情報表示部と前記撮像部を管理する管理部と、を有する心理状態情報推定システムであって、前記撮像部が撮像した前記対象者の撮像情報に基づいて、立ち止まった対象者情報を記憶する立ち止まり情報記憶部と、前記立ち止まった前記対象者の顔情報を撮像し、記憶する顔情報記憶部と、前記情報表示部に向いている前記顔情報を有する前記立ち止まった対象者情報を前記情報表示部に表示されている前記不特定多数人向け情報に興味がある興味対象者情報として記憶する興味対象者情報記憶部と、前記興味対象者の頭の動作情報である頭動作情報に基づき、前記興味対象者の心理状態情報を取得する心理状態情報取得部と、を備えることを特徴とする心理状態情報推定システムにより達成される。
【0007】
前記構成によれば、立ち止まり情報記憶部に情報表示部の前で立ち止まった対象者情報を記憶させ、この立ち止まった対象者の顔情報を撮像して記憶し、立ち止まった対象者の顔が情報表示部に向いているとき、その対象者を興味対象者情報として記憶する。
そして、心理状態情報取得部が、興味対象者の頭の動作情報に基づき、興味対象者の心理状態情報を取得する。
このように、情報表示部の前を通過する不特定多数人について、その顔情報から情報表示部に表示された内容について「興味」を持ったか否かを判断し、興味を持った興味対象者の頭動作に基づいて、興味対象者の心理状態情報（例えば、情報表示部に表示されている不特定多数人向け情報を肯定したか否か等）を自動的に精度良く取得することができる。
このような情報に基づいて、当該情報表示部に表示されている不特定多数人向け情報についての不特定多数人の評価や分析も容易に行うことができる。
そして、心理状態情報取得部が、興味対象者の頭の動作情報に基づき、興味対象者の心理状態情報を取得する。
このように、情報表示部の前を通過する不特定多数人について、その顔情報から情報表示部に表示された内容について「興味」を持ったか否かを判断し、興味を持った興味対象者の頭動作に基づいて、興味対象者の心理状態情報（例えば、情報表示部に表示されている不特定多数人向け情報を肯定したか否か等）を自動的に精度良く取得することができる。
このような情報に基づいて、当該情報表示部に表示されている不特定多数人向け情報についての不特定多数人の評価や分析も容易に行うことができる。
【0008】
好ましくは、前記心理状態情報推定システムの前記頭動作情報には、頭を振る動作情報を含み、前記頭を振る動作情報に基づき、前記興味対象者が、前記不特定多数人向け情報を肯定するか否かの前記心理状態情報を取得する構成となっていることを特徴とする。
【0009】
前記構成によれば、頭動作情報には、頭を振る動作情報を含み、この頭を振る動作情報に基づき、興味対象者が、不特定多数人向け情報を肯定するか否かの心理状態情報を取得する構成となっているため、頭を振る動作情報に基づいて、興味対象者の肯定か否かの心理状態情報を自動的に取得することができる。
【0010】
好ましくは、前記心理状態情報推定システムの前記頭動作情報は、頭を傾ける動作情報、頭を回転させる動作情報、頭を引く動作情報を含み、これらの動作情報に基づき、前記不特定多数人向け情報について、肯定するか否か以外の前記心理状態情報を取得する構成となっていることを特徴とする。
【0011】
前記構成によれば、頭動作情報には、頭を傾ける動作情報、頭を回転させる動作情報、頭を引く動作情報を含み、これらの動作情報に基づき、興味対象者が、不特定多数人向け情報について、肯定するか否か以外の心理状態情報を取得する構成となっているため、頭を傾ける動作情報等に基づいて、興味対象者の肯定か否か以外の心理状態情報を自動的に取得することができる。
【0012】
好ましくは、前記心理状態情報推定システムの前記心理状態情報取得部が、前記興味対象者の顔の表情情報である顔表情情報に基づき、前記興味対象者の前記心理状態情報を取得することを特徴とする請求項１又は請求項２に記載の心理状態情報推定システム。
【0013】
前記構成によれば、心理状態情報取得部が、興味対象者の顔の表情情報である顔表情情報に基づき、興味対象者の心理状態情報を取得するため、頭動作情報に基づく心理状態情報のみならず、顔表情情報に基づく心理状態情報も取得できるので、取得した心理状態情報の精度を高めることができる。
【0014】
好ましくは、前記心理状態情報推定システムの前記情報表示部に表示される前記不特定多数人向け情報の内容が、時間毎に変化する時間単位変化情報となり、前記撮像部が撮像した前記対象者の撮像情報が、前記時間単位変化情報と関連付けて記憶され、前記時間単位変化情報毎に、前記立ち止まった対象者情報、前記立ち止まった前記対象者の前記顔情報、前記興味対象者情報を生成することを特徴とする。
【0015】
前記構成によれば、時間単位変化情報毎に、立ち止まった対象者情報、立ち止まった対象者の顔情報、興味対象者情報を生成するので、当該時間単位変化情報毎の対象者等の不特定多数人の心理状態情報を把握することができる。
【0016】
前記目的は、本発明によれば、不特定多数人向けの情報である不特定多数人向け情報を表示する表示部に配置された情報表示部と、前記情報表示部の前を通過する対象者を撮像する撮像部と、前記情報表示部と前記撮像部を管理する管理部と、を有し、前記情報表示部が、複数に分割された各部分である部分情報表示部を有する心理状態情報推定システムであって、前記部分情報表示部に向いている顔情報を有する立ち止まった対象者情報を前記部分情報表示部に表示されている前記不特定多数人向け情報に興味がある部分興味対象者情報として記憶する部分興味対象者情報記憶部と、部分興味対象者の頭の動作情報である頭動作情報に基づき、前記部分興味対象者の心理状態情報を取得する部分心理状態情報取得部と、を備えることを特徴とする心理状態情報推定システムにより達成される。
【0017】
前記構成によれば、情報表示部の各部分である部分情報表示部毎に、異なる情報を同時に表示することができ、立ち止まった対象者の顔が、各部分情報表示部に向いているとき、その対象者を当該部分情報表示部に表示されている情報についての部分興味対象者情報として記憶することができる。
そして、部分興味対象者の頭の動作情報である頭動作情報に基づき、部分興味対象者の心理状態情報を取得する構成となっている。
このため、部分情報表示部の前を通過する不特定多数人について、その顔情報から部分情報表示部に表示された内容について「興味」を持ったか否かを判断し、当該部分に興味を持った部分興味対象者の頭動作等に基づいて、部分興味対象者の心理状態情報を自動的に取得することができる。
このような情報に基づいて、当該部分情報表示部に表示されている不特定多数人向け情報についての不特定多数人の評価や分析も容易に行うことができる。
そして、部分興味対象者の頭の動作情報である頭動作情報に基づき、部分興味対象者の心理状態情報を取得する構成となっている。
このため、部分情報表示部の前を通過する不特定多数人について、その顔情報から部分情報表示部に表示された内容について「興味」を持ったか否かを判断し、当該部分に興味を持った部分興味対象者の頭動作等に基づいて、部分興味対象者の心理状態情報を自動的に取得することができる。
このような情報に基づいて、当該部分情報表示部に表示されている不特定多数人向け情報についての不特定多数人の評価や分析も容易に行うことができる。
【0018】
好ましくは、前記心理状態情報推定システムの前記情報表示部には、単一の画像情報が表示され、前記部分情報表示部には、前記情報表示部に表示された前記画像情報が分割された分割画像情報が表示され、前記分割画像情報が組み合わされることで、前記単一の画像情報が形成される構成となっていることを特徴とする。
【0019】
前記構成によれば、情報表示部の各部分である部分情報表示部に、情報表示部に表示された単一の画像の部分の画像を表示することができ、立ち止まった対象者の顔が各部分情報表示部に向いているとき、その対象者を当該部分情報表示部に表示されている単一画像の部分（例えば、単一画像のうち広告に係る商品部分、または、広告をする女優の部分等）についての部分興味対象者情報として記憶することができる。
そして、部分興味対象者の頭の動作情報である頭動作情報に基づき、部分興味対象者の心理状態情報を取得する構成となっている。
このように、部分情報表示部の前を通過する不特定多数人について、その動作等から全体の単一画像のうち、当該部分情報表示部に表示された内容について「興味」を持った場合に、その心理状態情報を自動的に精度良く把握することができる。
このような情報に基づいて、当該部分情報表示部に表示されている不特定多数人向け情報についての不特定多数人の評価や分析も容易に行うことができる。
そして、部分興味対象者の頭の動作情報である頭動作情報に基づき、部分興味対象者の心理状態情報を取得する構成となっている。
このように、部分情報表示部の前を通過する不特定多数人について、その動作等から全体の単一画像のうち、当該部分情報表示部に表示された内容について「興味」を持った場合に、その心理状態情報を自動的に精度良く把握することができる。
このような情報に基づいて、当該部分情報表示部に表示されている不特定多数人向け情報についての不特定多数人の評価や分析も容易に行うことができる。
【0020】
前記目的は、本発明によれば、不特定多数人向けの情報である不特定多数人向け情報を表示する表示部に配置された情報表示部と、前記情報表示部の前を通過する対象者を撮像する撮像部と、前記情報表示部と前記撮像部を管理する管理部と、を有する心理状態情報推定システムの制御方法であって、前記撮像部が撮像した前記対象者の撮像情報に基づいて、立ち止まり情報記憶部に立ち止まった対象者情報を記憶する工程と、立ち止まった前記対象者の顔情報を撮像し、顔情報記憶部に記憶する工程と、前記情報表示部に向いている前記顔情報を有する前記立ち止まった対象者情報を前記情報表示部に表示されている前記不特定多数人向け情報に興味がある興味対象者情報として興味対象者情報記憶部に記憶する工程と、興味対象者の頭の動作情報である頭動作情報に基づき、前記興味対象者の心理状態情報を取得する工程と、を備えることを特徴とする心理状態情報推定システムの制御方法により達成される。
【0021】
前記目的は、本発明によれば、不特定多数人向けの情報である不特定多数人向け情報を表示する表示部に配置された情報表示部と、前記情報表示部の前を通過する対象者を撮像する撮像部と、前記情報表示部と前記撮像部を管理する管理部と、を有する心理状態情報推定システムに、前記撮像部が撮像した前記対象者の撮像情報に基づいて、立ち止まり情報記憶部に立ち止まった対象者情報を記憶する機能、立ち止まった前記対象者の顔情報を撮像し、顔情報記憶部に記憶する機能、前記情報表示部に向いている前記顔情報を有する前記立ち止まった対象者情報を前記情報表示部に表示されている前記不特定多数人向け情報に興味がある興味対象者情報として興味対象者情報記憶部に記憶する機能、興味対象者の頭の動作情報である頭動作情報に基づき、前記興味対象者の心理状態情報を取得する機能、を実現させることを特徴とする心理状態情報推定システムの制御プログラムにより達成される。
【発明の効果】
【0022】
以上説明したように、本発明は、容易且つ正確に情報表示部に表示された不特定多数人向け情報を視認した通行人等の不特定多数の対象者の心理状態情報を取得することができる心理状態情報推定システム、心理状態情報推定システムの制御方法及び心理状態情報推定システムの制御プログラムを提供できるという利点がある。
【図面の簡単な説明】
【0023】
【図1】本発明の第１の実施の形態及び第２の実施の形態にかかる管理部である例えば、管理サーバ １０を備える心理状態情報推定システムである例えば「サイネージ効果分析システム １」を示す概略図である。
【図6】通行人の心理状態情報の判断方法を示す概略フローチャートである。
【図7】通行人の心理状態情報の判断方法を示す他の概略フローチャートである。
【図8】通行人の心理状態情報の判断方法を示す他の概略フローチャートである。
【図9】判断方法を示す概略説明図である。
【図12】「顔表情カテゴリー基準情報記憶部 ６１３」の「顔表情カテゴリー基準情報」の内容を示す概略説明図である。
【図13】本実施の形態に係るサイネージ効果分析システム １における具体的な動作例を示す主なフローチャートである。
【図14】本実施の形態に係るサイネージ効果分析システム １における具体的な動作例を示す主な他のフローチャートである。
【図15】具体例を示す概略図である。
【図16】第２の実施の形態に係る通行人の注目等を判断する判断手法を示す概略説明図である。
【図19】通行人の心理状態の判断方法を示す概略フローチャートである。
【図20】通行人の心理状態の判断方法を示す他の概略フローチャートである。
【図21】通行人の心理状態の判断方法を示す他の概略フローチャートである。
【図23】本発明の第３の実施の形態に係るサイネージ効果分析システムのデジタルサイネージ ５００の主な構成を示す概略図である。
【発明を実施するための形態】
【0024】
以下、この発明の好適な実施の形態を添付図面等を参照しながら、詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
尚、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
【0025】
（第１の実施の形態）
（サイネージ効果分析システム１の主な構成）
図１は、本発明の第１の実施の形態及び第２の実施の形態にかかる管理部である例えば、管理サーバ１０を備える心理状態情報推定システムである例えば「サイネージ効果分析システム１」を示す概略図である。
図１に示すように、同システム１は、不特定多数人向けの情報を表示する情報表示部である例えば、「ディスプレイ２０１」を備える表示部である「デジタルサイネージ２００」、撮像部である例えば、カメラ３００、管理サーバ１０を有し、これらはインターネット網２で、相互に通信可能に接続されている。
（サイネージ効果分析システム１の主な構成）
図１は、本発明の第１の実施の形態及び第２の実施の形態にかかる管理部である例えば、管理サーバ１０を備える心理状態情報推定システムである例えば「サイネージ効果分析システム１」を示す概略図である。
図１に示すように、同システム１は、不特定多数人向けの情報を表示する情報表示部である例えば、「ディスプレイ２０１」を備える表示部である「デジタルサイネージ２００」、撮像部である例えば、カメラ３００、管理サーバ１０を有し、これらはインターネット網２で、相互に通信可能に接続されている。
【0026】
ここで、デジタルサイネージ２００とは、屋外・店頭・公共空間・交通機関など、あらゆる場所で、ディスプレイ２０１などの電子的な表示機器を使って情報を発信するメディアの総称である。
本実施に形態では、ディスプレイ２０１の前を通過する対象者である不特定多数人向けの例えば、洋服、ケーキ、ドーナツ、寿司等に関する広告（「不特定多数人向け情報」の一例）等が表示される構成となっている。
本実施に形態では、ディスプレイ２０１の前を通過する対象者である不特定多数人向けの例えば、洋服、ケーキ、ドーナツ、寿司等に関する広告（「不特定多数人向け情報」の一例）等が表示される構成となっている。
【0027】
また、カメラ３００は、ディスプレイ２０１の前を通過する対象者を撮像する構成となっており、ディスプレイ２０１とカメラ３００が同軸になるように図示しない調整装置により、自動的に調整される構成となっている。
【0028】
そして、管理サーバ１０は、ディスプレイ２０１に表示される広告を管理する他、カメラ３００が取得した対象者の動作等の撮像情報に基づいて当該対象者がデジタルサイネージ２００に表示された広告について抱いた肯定や否定等の心理状態情報を判断（「心理状態情報推定」の一例）する構成となっている。
【0029】
また、上述のデジタルサイネージ２００のディスプレイ２０１に表示される洋服等の不特定多数人向け広告等は、時間帯を指定して内容を変化させて表示させることが可能となっている。
本実施の形態では、後述のように「洋服の広告」、「ケーキの広告」、「ドーナツの広告」及び「寿司の広告」を時間帯を違えて表示する。
このため、特定の時間帯における同広告の特定の内容について、通行人である対象者が抱いた心理状態を判断することができる構成ともなっている。
本実施の形態では、後述のように「洋服の広告」、「ケーキの広告」、「ドーナツの広告」及び「寿司の広告」を時間帯を違えて表示する。
このため、特定の時間帯における同広告の特定の内容について、通行人である対象者が抱いた心理状態を判断することができる構成ともなっている。
【0030】
さらに、本実施の形態では、後述のように、不特定多数人である通行人（対象者）の画像等から同対象者の年代等を把握することが可能な構成となっている。
【0031】
図１のデジタルサイネージ２００、カメラ３００、管理サーバ１０は、コンピュータを有し、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やハードディスク等を有し、バスを介して接続されている。
【0032】
図２は、図１の管理サーバ１０の主な構成を示す概略ブロック図である。
管理サーバ１０は、図２に示すように「サーバ側制御部１１」を有し、同制御部１１は、図１のデジタルサイネージ２００やカメラ３００等と通信するための「サーバ側通信装置１２」、各種情報を表示する表示部である「サーバ側ディスプレイ１３」、各種情報を入力する「サーバ側各種情報入力装置１４」、「時計１５」及び「第１のサーバ側各種情報記憶部１００」、「第２のサーバ側各種情報記憶部６００」、「第３のサーバ側各種情報記憶部１０１０」及び「第４のサーバ側各種情報記憶部２０１０」を制御している。
管理サーバ１０は、図２に示すように「サーバ側制御部１１」を有し、同制御部１１は、図１のデジタルサイネージ２００やカメラ３００等と通信するための「サーバ側通信装置１２」、各種情報を表示する表示部である「サーバ側ディスプレイ１３」、各種情報を入力する「サーバ側各種情報入力装置１４」、「時計１５」及び「第１のサーバ側各種情報記憶部１００」、「第２のサーバ側各種情報記憶部６００」、「第３のサーバ側各種情報記憶部１０１０」及び「第４のサーバ側各種情報記憶部２０１０」を制御している。
【0033】
図３は、図２の「第１のサーバ側各種情報記憶部１００」の内容を示す概略ブロック図であり、図４は、図２の「第２のサーバ側各種情報記憶部６００」の内容を示す概略ブロック図である。
図３の「第１のサーバ側各種情報記憶部１００」及び図４の「第２のサーバ側各種情報記憶部６００」の内容については後述する。
図３の「第１のサーバ側各種情報記憶部１００」及び図４の「第２のサーバ側各種情報記憶部６００」の内容については後述する。
【0034】
（サイネージ効果分析システム１の主な動作例）
（事前工程）
先ず、本システム１を動作させる前に以下の事前準備を行う。
管理サーバ１０は、図３の「広告情報記憶部１１１」に、デジタルサイネージ２００のディスプレイ２０１に表示させる広告の映像等と、その表示時間帯情報（「時間単位変化情報」の一例）を記憶させる。
（事前工程）
先ず、本システム１を動作させる前に以下の事前準備を行う。
管理サーバ１０は、図３の「広告情報記憶部１１１」に、デジタルサイネージ２００のディスプレイ２０１に表示させる広告の映像等と、その表示時間帯情報（「時間単位変化情報」の一例）を記憶させる。
【0035】
図５は、図３の「広告情報記憶部１１１」の内容を示す概略図である。
同記憶部１１１に記憶される「広告情報」は、例えば、図５に示すように、時間帯１１時５０分～１２時００分の間は、「洋服の広告」、時間帯１２時００分～１２時１０分の間は「ケーキの広告」、時間帯１２時１０分～１２時２０分は「靴の広告」、時間帯１２時２０分～１２時２５分は「ドーナツの広告」、時間帯１２時２５分～１２時３０分の間は「ケーキの広告」を含んでいる。
同記憶部１１１に記憶される「広告情報」は、例えば、図５に示すように、時間帯１１時５０分～１２時００分の間は、「洋服の広告」、時間帯１２時００分～１２時１０分の間は「ケーキの広告」、時間帯１２時１０分～１２時２０分は「靴の広告」、時間帯１２時２０分～１２時２５分は「ドーナツの広告」、時間帯１２時２５分～１２時３０分の間は「ケーキの広告」を含んでいる。
【0036】
（サイネージ効果分析システム１における分析判断方法）
以下、本システム１において、デジタルサイネージ２００の前を通行する通行人（対象者）の心理状態情報の分析（推定）の概要について説明する。
図６乃至図８は、通行人の心理状態情報の判断方法を示す概略フローチャートであり、図９は、判断方法を示す概略説明図である。
以下、同フローチャート及び図９に沿って、説明する。
以下、本システム１において、デジタルサイネージ２００の前を通行する通行人（対象者）の心理状態情報の分析（推定）の概要について説明する。
図６乃至図８は、通行人の心理状態情報の判断方法を示す概略フローチャートであり、図９は、判断方法を示す概略説明図である。
以下、同フローチャート及び図９に沿って、説明する。
【0037】
先ず、図６のステップ（以下「ＳＴ」とする）１で、「管理サーバ１０」の図３の「広告情報選択部（プログラム）１１２」が動作し、管理サーバの時計１５の時刻情報と管理サーバ１０が広告情報記憶部１１１を参照し、デジタルサイネージ２００のディスプレイ２０１に、不特定多数人向けの広告を表示する。
【0038】
次いで、ＳＴ２へ進む。
ＳＴ２では、カメラ３００がディスプレイ２０１の前を通行する通行人を撮像し、図３の「撮像情報記憶部１１３」に、その時刻情報と共に記憶する。
次いで、ＳＴ３へ進む。
ＳＴ３では、管理サーバ１０の図３「立ち止まり情報取得部（プログラム）１１４」が動作し、「撮像情報記憶部１１３」を参照し、ディスプレイ２０１前で立ち止まった者であるか否かを判断し、立ち止まった者（通行人）を「立ち止まった対象者」として、「立ち止まり情報記憶部１１５」に、その時刻情報と共に記憶する。
具体的には、カメラ３００で撮影された通行人の動作の画像から、通行人の動き等を時系列で測定し、立ち止まったか否かを判断し、記憶する。
ＳＴ２では、カメラ３００がディスプレイ２０１の前を通行する通行人を撮像し、図３の「撮像情報記憶部１１３」に、その時刻情報と共に記憶する。
次いで、ＳＴ３へ進む。
ＳＴ３では、管理サーバ１０の図３「立ち止まり情報取得部（プログラム）１１４」が動作し、「撮像情報記憶部１１３」を参照し、ディスプレイ２０１前で立ち止まった者であるか否かを判断し、立ち止まった者（通行人）を「立ち止まった対象者」として、「立ち止まり情報記憶部１１５」に、その時刻情報と共に記憶する。
具体的には、カメラ３００で撮影された通行人の動作の画像から、通行人の動き等を時系列で測定し、立ち止まったか否かを判断し、記憶する。
【0039】
次いで、ＳＴ４へ進む。
ＳＴ４では、管理サーバ１０の図３の「顔情報取得部（プログラム）１１６」が動作し、「立ち止まり情報記憶部１１５」を参照し、立ち止まった対象者の顔の顔情報を「顔情報記憶部１１７」に、その時刻情報と共に記憶する。
ＳＴ４では、管理サーバ１０の図３の「顔情報取得部（プログラム）１１６」が動作し、「立ち止まり情報記憶部１１５」を参照し、立ち止まった対象者の顔の顔情報を「顔情報記憶部１１７」に、その時刻情報と共に記憶する。
【0040】
次いで、ＳＴ５へ進む。
ＳＴ５では、管理サーバ１０の「顔の向き判断部（プログラム）１１８」が動作し、「顔情報記憶部１１７」を参照し、対象者の顔が「ディスプレイ２０１」に向いているか否かを判断する。
そして、ＳＴ６で「ディスプレイ２０１に向いている」と判断されると、ＳＴ７へ進み、当該対象者（通行人）は、ディスプレイ２０１に表示されている広告に「興味あり」と判断し、図３の「興味対象者情報記憶部１１９」に、その時刻情報と共に記憶する。
図９の通行人（対象者）Ｐ１は、この「興味あり」と判断される例を示す。
ＳＴ５では、管理サーバ１０の「顔の向き判断部（プログラム）１１８」が動作し、「顔情報記憶部１１７」を参照し、対象者の顔が「ディスプレイ２０１」に向いているか否かを判断する。
そして、ＳＴ６で「ディスプレイ２０１に向いている」と判断されると、ＳＴ７へ進み、当該対象者（通行人）は、ディスプレイ２０１に表示されている広告に「興味あり」と判断し、図３の「興味対象者情報記憶部１１９」に、その時刻情報と共に記憶する。
図９の通行人（対象者）Ｐ１は、この「興味あり」と判断される例を示す。
【0041】
具体的には、カメラ３００で撮影された通行人の動作の画像から、通行人の首の縦方向の変化、横方向の変化、傾きの変化等を時系列で測定し、記憶する。
次いで、時系列で測定されたデータをフーリエ変換と２階微分などで任意の時間範囲における振動数分布と変曲点を求め、顔の動き等、例えば、対象者の顔の向き等を判断する（顔の左右の傾きが「０°」のとき）。
次いで、時系列で測定されたデータをフーリエ変換と２階微分などで任意の時間範囲における振動数分布と変曲点を求め、顔の動き等、例えば、対象者の顔の向き等を判断する（顔の左右の傾きが「０°」のとき）。
【0042】
一方、ＳＴ６で「ディスプレイ２０１に向いていない」と判断した場合は、「興味なし」と判断し、図３の「非興味対象者情報記憶部１２０」に、その時刻情報と共に記憶する。
図９の通行人Ｐ２は、この「興味なし」と判断される例を示す。
図９の通行人Ｐ２は、この「興味なし」と判断される例を示す。
【0043】
次いで、ＳＴ９へ進む。
ＳＴ９では、図３の「頭動作カテゴリー候補情報取得部（プログラム）１２２」（心理状態情報取得部の一例）が動作し、「興味対象者情報記憶部１１９」に記憶されている対象者の頭の動作情報を取得すると共に「頭動作カテゴリー基準情報記憶部１２３」を参照し、その頭の動作が各「頭動作カテゴリー」に該当するか否かを判断する。
ＳＴ９では、図３の「頭動作カテゴリー候補情報取得部（プログラム）１２２」（心理状態情報取得部の一例）が動作し、「興味対象者情報記憶部１１９」に記憶されている対象者の頭の動作情報を取得すると共に「頭動作カテゴリー基準情報記憶部１２３」を参照し、その頭の動作が各「頭動作カテゴリー」に該当するか否かを判断する。
【0044】
図１０は、図３の「頭動作カテゴリー基準情報記憶部１２３」の「頭動作カテゴリー基準情報」の内容を示す概略説明図である。
図１０に示すように、「頭動作カテゴリー基準情報記憶部１２３」に記憶されている各「頭動作カテゴリー該当情報」の情報は以下のとおりであり、「頭動作カテゴリーの種類」、「該当する動作」及び「対応する心理状態」の順に説明する。
図１０に示すように、「頭動作カテゴリー基準情報記憶部１２３」に記憶されている各「頭動作カテゴリー該当情報」の情報は以下のとおりであり、「頭動作カテゴリーの種類」、「該当する動作」及び「対応する心理状態」の順に説明する。
【0045】
１）「頭を上下に振る動作カテゴリー（「頭を振る動作情報」の一例）」の該当する動作は、「頭を上下に振る動作」であり、対応する心理状態は、「肯定的心理状態」で、例えば、「同意：広告の内容に賛成」「承認：広告の内容を承認」「理解：広告の内容を理解」等が含まれる。
【0046】
２）「頭を左右に振る動作カテゴリー（「頭を振る動作情報」の一例）」の該当する動作は、「頭を左右に振る動作」であり、対応する心理状態は、「否定的心理状態」で、例えば、「否定：広告の内容に反対等」「不同意：広告の内容について異なる見解を持っている」「不承認：広告の内容が不適切」「困難又は不確かさ：広告の内容について明確な答えがない、又は理解できない」等が含まれる。
【0047】
３）「頭を前と後に傾ける動作カテゴリー（「頭を傾ける動作情報」の一例）の該当する動作は、「頭を前と後に傾ける動作」であり、対応する心理状態は、「好奇心、関心、又は疑問の心理状態」で、例えば、「好奇心：広告の内容に好奇心を持っている」「関心：広告の内容に関心を持っている」「疑問：広告の内容が理解できず、又は追加情報を求めている」「評価：広告の内容を分析している」等が含まれる。
【0048】
４）「頭を左又は右に傾ける動作カテゴリー（「頭を傾ける動作情報」の一例）」の該当する動作は、「頭を左又は右に傾ける動作」であり、対応する心理状態は、「疑問又は困惑：広告の内容が理解できない、又は不確かな状態」「興味又は好奇心：広告の内容に興味を持ち、詳細を知りたい状態」「友好的な態度：広告の内容をリラックスした雰囲気で、親しみ易い状態で知ろうとする状態」「聞き取りやすくする：広告の内容を聞き取ろうとする状態」等が含まれる。
【0049】
５）「頭を回転させる動作カテゴリー（「頭を回転させる動作情報」の一例）」の該当する動作は、「頭を回転させる動作」であり、対応する心理状態は「混乱、疲労、ストレス、圧力、情報過多の心理状態」で、例えば、「緊張やストレスが高まっているため、広告に対して集中力が散漫になっている状態」等が含まれる。
【0050】
６）「頭を引く動作カテゴリー（「頭を引く動作情報」の一例）の該当する動作は、「頭を引く動作」であり、対応する心理状態は、「遠慮、不安、恐れ、緊張、戸惑いの心理状態」で、例えば、「広告の内容に不安や恐れを感じることで、ストレスが高まり、自己防衛本能が働いている状態」等が含まれる。
【0051】
７）「頭を下げる動作カテゴリー」の該当する動作は、「頭を下げる動作」であり、対応する心理状態は、「敬意、謙虚さ、恥ずかしさ、同意の心理状態」である。
【0052】
８）「頭を後ろに傾ける動作カテゴリー」の該当する動作は、「頭を後ろに傾ける動作」であり、対応する心理状態は「自信、傲慢さ、挑発の心理状態」である。
【0053】
９）「頭を前に突き出す動作カテゴリー」の該当する動作は、「頭を前に突き出す動作」であり、対応する心理状態は、「興味、注目、挑戦、疑問の心理状態」である。
【0054】
次いで、ＳＴ１０で、各頭動作カテゴリーに該当すると判断されたときは、ＳＴ１１へ進む。
ＳＴ１１では、各頭動作カテゴリーに該当する頭動作データは、「頭動作カテゴリー候補情報」として、各頭動作カテゴリーと関連付けて図３の「頭動作カテゴリー候補情報記憶部１２４」に記憶される。
一方、ＳＴ１０で、該当する頭動作カテゴリーが存在しない場合は、終了する。
ＳＴ１１では、各頭動作カテゴリーに該当する頭動作データは、「頭動作カテゴリー候補情報」として、各頭動作カテゴリーと関連付けて図３の「頭動作カテゴリー候補情報記憶部１２４」に記憶される。
一方、ＳＴ１０で、該当する頭動作カテゴリーが存在しない場合は、終了する。
【0055】
次いで、ＳＴ１２へ進む。ＳＴ１２では、図３の「頭動作カテゴリー確定部（プログラム）１２５」が動作し、「頭動作カテゴリー確定基準情報記憶部１２６」を参照し、「頭動作カテゴリー候補情報記憶部１２４」の「頭動作カテゴリー候補情報」が「頭動作カテゴリー確定基準情報」のＡ～Ｄの全ての基準を充足しているか否かを判断する。
【0056】
なお、本実施の形態では、「頭動作カテゴリー確定基準情報」のＡ～Ｄの全ての基準を充足する例で説明したが、本発明はこれに限らず、いずれかの基準を充足する場合や、基準に優先順位を付けて判断する場合も含まれる。
【0057】
図１１は、図３の「頭動作カテゴリー確定基準情報記憶部１２６」の「頭動作カテゴリー確定基準情報」の内容を示す概略説明図である。
図１１に示すように、頭動作カテゴリー確定基準情報は、具体的にはＡ乃至Ｄの４つの種類を有するため、以下、頭動作カテゴリー確定基準情報の種類ごとに、その基準を説明する。
図１１に示すように、頭動作カテゴリー確定基準情報は、具体的にはＡ乃至Ｄの４つの種類を有するため、以下、頭動作カテゴリー確定基準情報の種類ごとに、その基準を説明する。
【0058】
Ａ）「頭を振った回数」の基準は、回数／ｓ、具体的には、年齢によって基準が異なる。
Ｂ）「頭の動きの範囲」の基準は、角度で、具体的には「移動平均＋３σ法」使用して、閾値を動的に設定する。例えば、頭がほとんど動かない対象者の場合、５°程度の僅かな動きでも検出される。
Ｃ）「頭の動きの持続時間」の基準は、動作が開始されてから終了するまでの時間である。
Ｄ）「頭の動きの繰り返し回数（動作が繰り返される回数）」の基準は、例えば、２回～４回等である。
なお、上述の各基準は、一例を示すものであり、これらに限定されないことは明らかである。
Ｂ）「頭の動きの範囲」の基準は、角度で、具体的には「移動平均＋３σ法」使用して、閾値を動的に設定する。例えば、頭がほとんど動かない対象者の場合、５°程度の僅かな動きでも検出される。
Ｃ）「頭の動きの持続時間」の基準は、動作が開始されてから終了するまでの時間である。
Ｄ）「頭の動きの繰り返し回数（動作が繰り返される回数）」の基準は、例えば、２回～４回等である。
なお、上述の各基準は、一例を示すものであり、これらに限定されないことは明らかである。
【0059】
次いで、ＳＴ１３で、充足していると判断されるとＳＴ１４へ進む。ＳＴ１４では「頭動作カテゴリー確定情報」として、各頭動作カテゴリーと関連付けて、図４の「頭動作カテゴリー確定情報記憶部６１１」に記憶する。
一方、ＳＴ１３で、充足していない場合は、終了する。
一方、ＳＴ１３で、充足していない場合は、終了する。
【0060】
次いで、ＳＴ１５へ進む。ＳＴ１５では、図４の「顔表情カテゴリー情報取得部（プログラム）６１２」（「心理状態情報取得部」の一例）」が動作し、図３の「興味対象者情報記憶部１１９」に記憶されている対象者の頭の表情情報を取得すると共に図４の「顔表情カテゴリー基準情報記憶部６１３」を参照し、その顔表情が各「顔表情カテゴリー」に該当するか否かを判断する。
具体的には、無表情状態からの目や口等の変化を測定、照合等することで判断する。
具体的には、無表情状態からの目や口等の変化を測定、照合等することで判断する。
【0061】
図１２は、「顔表情カテゴリー基準情報記憶部６１３」の「顔表情カテゴリー基準情報」の内容を示す概略説明図である。
図１２に示すように、「顔表情カテゴリー」は具体的には、１０種類のカテゴリー
を有するため、以下、顔表情カテゴリーの種類ごとに、その該当する表情を説明する。
図１２に示すように、「顔表情カテゴリー」は具体的には、１０種類のカテゴリー
を有するため、以下、顔表情カテゴリーの種類ごとに、その該当する表情を説明する。
【0062】
ａ）「喜びの表情カテゴリー」に該当する表情は、「目の輝き（目を大きく開く）」、「口角が上がり」及び「頬が膨らむ」の全てに該当する場合である。
ｂ）「悲しみの表情カテゴリー」に該当する表情は、「眉が下がる」、「口角が下がる」及び「目が涙で潤む」の全てに該当する場合である。
ｃ）「怒りの表情カテゴリー」に該当する表情は、「眉間にしわが寄る」、「目が細くなる」及び「口が固く閉じる」の全てに該当する場合である。
ｂ）「悲しみの表情カテゴリー」に該当する表情は、「眉が下がる」、「口角が下がる」及び「目が涙で潤む」の全てに該当する場合である。
ｃ）「怒りの表情カテゴリー」に該当する表情は、「眉間にしわが寄る」、「目が細くなる」及び「口が固く閉じる」の全てに該当する場合である。
【0063】
ｄ）「驚きの表情カテゴリー」に該当する表情は、「眉が上がる」、「目が大きく開く」及び「口が開く」の全ての該当する場合である。
ｅ）「軽蔑の表情カテゴリー」に該当する表情は、「片方の口角が上がる」及び「目が細くなる（片目で見るような表情）」の全てに該当する場合である。
ｆ）「恐怖の表情カテゴリー」に該当する表情は、「眉が上がる」、「目が見開かれ」及び「口が開くか小さくなる」の全てに該当する場合である。
ｅ）「軽蔑の表情カテゴリー」に該当する表情は、「片方の口角が上がる」及び「目が細くなる（片目で見るような表情）」の全てに該当する場合である。
ｆ）「恐怖の表情カテゴリー」に該当する表情は、「眉が上がる」、「目が見開かれ」及び「口が開くか小さくなる」の全てに該当する場合である。
【0064】
ｇ）「疑問の表情カテゴリー」に該当する表情は、「眉が上がる」、「顔をわずかに傾け」及び「目が広告に向けられる」の全てに該当する場合である。
ｈ）「興味の表情カテゴリー」に該当する表情は、「顔を広告に向け」、「目を大きく開いてしっかりと広告を見つめる」の全てに該当する場合である。
ｉ）「同情の表情カテゴリー」に該当する表情は、「顔を傾ける」、「眉が下がる」及び「表情が柔らかくなる」の全てに該当する場合である。
ｊ）「傲慢の表情カテゴリー」に該当する表情は、「顔を上向きに傾ける」、「目線を下げる」及び「鼻を高く上げる」の全てに該当する場合である。
ｈ）「興味の表情カテゴリー」に該当する表情は、「顔を広告に向け」、「目を大きく開いてしっかりと広告を見つめる」の全てに該当する場合である。
ｉ）「同情の表情カテゴリー」に該当する表情は、「顔を傾ける」、「眉が下がる」及び「表情が柔らかくなる」の全てに該当する場合である。
ｊ）「傲慢の表情カテゴリー」に該当する表情は、「顔を上向きに傾ける」、「目線を下げる」及び「鼻を高く上げる」の全てに該当する場合である。
【0065】
ＳＴ１６で該当すると判断された場合は、ＳＴ１７へ進む。
ＳＴ１７では、各顔表情カテゴリー（喜びの表情カテゴリー等）に該当する顔表情データは、「顔表情カテゴリー該当情報」として、各顔表情カテゴリーと関連付けられて、図４の「顔表情カテゴリー情報記憶部６１４」に記憶される。
ＳＴ１７では、各顔表情カテゴリー（喜びの表情カテゴリー等）に該当する顔表情データは、「顔表情カテゴリー該当情報」として、各顔表情カテゴリーと関連付けられて、図４の「顔表情カテゴリー情報記憶部６１４」に記憶される。
【0066】
次いで、ＳＴ１８へ進む。ＳＴ１８では、図４の「デジタルサイネージ分析部（プログラム）６１５」が動作し、「頭動作カテゴリー確定情報記憶部６１１」と「頭動作カテゴリー基準情報記憶部１２３」を参照し、該当動作カテゴリーの心理状態の情報を取得すると共に、「顔表情カテゴリー情報記憶部６１４」から「顔表情詳細カテゴリー情報」を取得し、これら「心理状態情報」と「顔情報カテゴリー情報」に基づいて表示した広告の分析を実行し、図４の「分析結果情報記憶部６１６」に記憶する。
【0067】
以上から、本実施の形態の「サイネージ効果分析システム１における分析判断方法」によれば、図１のデジタルサイネージ２００の前を通行する通行人（対象者）の個々についての心理状態情報を頭動作のみならず、顔表情からも取得でき、これらの心理状態情報基づき、サイネージ等に表示された広告等について、適切な分析を行うことができる。
【0068】
（サイネージ効果分析システム１における具体的な動作例）
図１３及び図１４は、本実施の形態に係るサイネージ効果分析システム１における具体的な動作例を示す主なフローチャートである。
また、図１５は、具体例を示す概略図である。
すなわち、図１のデジタルサイネージ２００が、時間帯によって、その広告を変え、同時に、デジタルサイネージ２００の前を通行する通行人の興味なし、興味あり、注目、納得等を自動的に判断し、その結果に基づき当該広告の分析等を行う例で、以下、図１３及び図１４のフローチャート及び図１５の概略図を用いて具体的に説明する。
図１３及び図１４は、本実施の形態に係るサイネージ効果分析システム１における具体的な動作例を示す主なフローチャートである。
また、図１５は、具体例を示す概略図である。
すなわち、図１のデジタルサイネージ２００が、時間帯によって、その広告を変え、同時に、デジタルサイネージ２００の前を通行する通行人の興味なし、興味あり、注目、納得等を自動的に判断し、その結果に基づき当該広告の分析等を行う例で、以下、図１３及び図１４のフローチャート及び図１５の概略図を用いて具体的に説明する。
【0069】
先ず、ＳＴ２１で、管理サーバ１０の図３の「広告情報選択部１１２」が動作し、「広告情報記憶部１１１」の時刻情報を取得し、デジタルサイネージ２００のディスプレイ２０１に当該時刻に表示すべき「広告」を選択、具体的には、１１時５０分の場合、「洋服の広告」を選択し、ディスプレイ２０１に表示する。
【0070】
【0071】
次いで、ＳＴ２３へ進む。ＳＴ２３では、管理サーバ１０の図３の「立ち止まり情報取得部（プログラム）１１４」が動作し、「撮像情報記憶部１１３」を参照し、ディスプレイ２０１前で立ち止まった者であるか否かを判断し、立ち止まった者を「立ち止まった対象者」として、図３の「立ち止まり情報記憶部１１５」に、その時刻情報と共に記憶する。
【0072】
次いで、ＳＴ２４へ進む。ＳＴ２４では、管理サーバ１０の図３「顔情報取得部（プログラム）１１６」が動作し、「立ち止まり情報記憶部１１５」を参照し、立ち止まった対象者の顔の顔情報を「顔情報記憶部１１７」に、その時刻情報と共に記憶する。
【0073】
次いで、ＳＴ２５へ進む。ＳＴ２５では、管理サーバ１０の図３の「顔の向き判断部（プログラム）１１８」が動作し、「顔情報記憶部１１７」を参照し、対象者の顔が「ディスプレイ２０１」に向いているか否かを判断する。
【0074】
本実施の形態では、図１５（１）に示すように、対象者（通行人）Ｐ２の顔は、ディスプレイ２０１を向いていないので、「興味なし」と判断する。
また、当該対象者Ｐ２の動作、顔等から性別と年代等を推定する。
そして、当該対象者Ｐ２の「興味なし情報」「性別、年代情報」を「時刻情報」と関連付けて、図３の「非興味対象者情報記憶部１２０」に記憶する。
以上で、「洋服の広告」に関する通行人Ｐ２に関する訴求程度情報（興味なし）の判断（推定）が終了する。
また、当該対象者Ｐ２の動作、顔等から性別と年代等を推定する。
そして、当該対象者Ｐ２の「興味なし情報」「性別、年代情報」を「時刻情報」と関連付けて、図３の「非興味対象者情報記憶部１２０」に記憶する。
以上で、「洋服の広告」に関する通行人Ｐ２に関する訴求程度情報（興味なし）の判断（推定）が終了する。
【0075】
次いで、ＳＴ２６へ進む。ＳＴ２６では、再び「広告情報選択部１１２」が動作し、「広告情報記憶部１１１」を参照すると共に、時計１５から時刻情報を取得し、デジタルサイネージ２００のディスプレイ２０１に当該時刻に表示すべき広告を選択する。具体的には、１２時００分の場合、「ケーキの広告」を選択し、ディスプレイ２０１に表示する。
【0076】
次いで、ＳＴ２７へ進む。ＳＴ２７は、上述のＳＴ２２乃至ＳＴ２４と同様の工程を実行し、ディスプレイ２０１の前で立ち止まった対象者の顔の顔情報を「顔情報記憶部１１７」に、その時刻情報と共に記憶する。
【0077】
次いで、ＳＴ２８へ進む。ＳＴ２８では、図３の「顔の向き判断部（プログラム）１１８」が動作し、「顔情報記憶部１１７」を参照する。
「ケーキの広告」の場合、図１５（２）に示すように、対象者（通行人）Ｐ１の顔が「ディスプレイ２０１」に向いているので「興味あり」と判断する。
「ケーキの広告」の場合、図１５（２）に示すように、対象者（通行人）Ｐ１の顔が「ディスプレイ２０１」に向いているので「興味あり」と判断する。
【0078】
次いで、ＳＴ２９へ進む。ＳＴ２９では、当該対象者Ｐ２の動作、顔等から性別と年代等を推定する。
そして、当該対象者Ｐ１の「興味あり情報」「性別、年代情報」を「時刻情報」と関連付けて、図３の「興味対象者情報記憶部１１９」に記憶する。
そして、当該対象者Ｐ１の「興味あり情報」「性別、年代情報」を「時刻情報」と関連付けて、図３の「興味対象者情報記憶部１１９」に記憶する。
【0079】
以上で、「ケーキの広告」に関する通行人（対象者）Ｐ１に関する訴求程度情報（興味あり）の判断（推定）が終了する。
【0080】
次いで、ＳＴ３０へ進む。ＳＴ３０では、図３の「興味対象者情報記憶部１１９」に記憶されている対象者の頭の動作情報を取得すると共に「頭動作カテゴリー基準情報記憶部１２３」を参照する。
そして、対象者Ｐ１の頭の動作が「頭を上下に振る動作カテゴリー」「頭を前後に傾ける動作カテゴリー」「頭を回転させる動作カテゴリー」に該当することがわかり、該当する頭の動作情報を、それぞれのカテゴリーと関連付けて「頭動作詳細カテゴリー候補情報」として、図３の「頭動作カテゴリー候補情報記憶部１２４」に記憶する。
そして、対象者Ｐ１の頭の動作が「頭を上下に振る動作カテゴリー」「頭を前後に傾ける動作カテゴリー」「頭を回転させる動作カテゴリー」に該当することがわかり、該当する頭の動作情報を、それぞれのカテゴリーと関連付けて「頭動作詳細カテゴリー候補情報」として、図３の「頭動作カテゴリー候補情報記憶部１２４」に記憶する。
【0081】
次いで、ＳＴ３１へ進む。ＳＴ３１では、図３の「頭動作カテゴリー確定基準情報記憶部１２６」を参照し、「頭動作カテゴリー候補情報記憶部１２４」の「頭動作カテゴリー候補情報」が図１１の「頭動作カテゴリー確定基準情報」のＡ乃至Ｄの基準の全てを充足しているのは、本実施の形態では、「頭を上下に振る動作カテゴリー」なので、この動作カテゴリーの情報が対象者Ｐ１の情報と共に、図４の「頭動作カテゴリー確定情報記憶部６１１」に記憶される。
【0082】
次いで、ＳＴ３２へ進む。ＳＴ３２では、図３の「興味対象者情報記憶部１１９」に記憶されている対象者Ｐ１の頭の表情情報を取得すると共に図４の「顔表情カテゴリー基準情報記憶部６１３」を参照する。
すると、対象者Ｐ１の顔の表情は、「驚きの表情」に該当するため、該当する顔の表情情報を、そのカテゴリーと関連付けて、「顔表情カテゴリー情報」として、図４の「顔表情カテゴリー情報記憶部６１４」に記憶される。
すると、対象者Ｐ１の顔の表情は、「驚きの表情」に該当するため、該当する顔の表情情報を、そのカテゴリーと関連付けて、「顔表情カテゴリー情報」として、図４の「顔表情カテゴリー情報記憶部６１４」に記憶される。
【0083】
次いで、ＳＴ３３へ進む。ＳＴ３３では、対象者Ｐ１の頭動作からは「肯定的」の心理状態が分かり、顔表情からは「驚き」の心理状態が分かるので、分析すると、当該ケーキの広告について、当該対象者Ｐ１が「肯定」しながら「驚き」の心理状態を持っている旨の分析結果を生成することができ、その結果を「分析結果情報記憶部６１６」に記憶する。
【0084】
以上で、「ケーキの広告」に関する通行人（対象者）Ｐ１に関する心理状態情報の判断（推定）が終了する。
したがって、デジタルサイネージ２００に表示する広告の広告主等は、その広告の有効性等を精度良く判断することができる。
すなわち、デジタルサイネージ２００に表示された広告等の情報を見た、不特定多数人である通行人等の心理状態情報を精度よく広告主等に提供することができる。
したがって、デジタルサイネージ２００に表示する広告の広告主等は、その広告の有効性等を精度良く判断することができる。
すなわち、デジタルサイネージ２００に表示された広告等の情報を見た、不特定多数人である通行人等の心理状態情報を精度よく広告主等に提供することができる。
【0085】
（第２の実施の形態）
図１の示す本実施の形態に係るサイネージ効果分析システム１０００の主な構成は、上述の第１の実施の形態と共通するため、主に相違点を中心に以下説明する。
図１６は、同実施の形態に係る通行人の注目等を判断する判断手法を示す概略説明図である。
図１６に示すように、本実施の形態では、情報表示部である例えば、ディスプレイ４１０の画面は、複数、例えば５個に分割された各部分である部分情報表示部、具体的には「分割ディスプレイ４１１乃至４１５が配置されている。
これら分割ディスプレイ４１１等は、それぞれ別個の情報を同時に表示することができる構成となっている。
図１の示す本実施の形態に係るサイネージ効果分析システム１０００の主な構成は、上述の第１の実施の形態と共通するため、主に相違点を中心に以下説明する。
図１６は、同実施の形態に係る通行人の注目等を判断する判断手法を示す概略説明図である。
図１６に示すように、本実施の形態では、情報表示部である例えば、ディスプレイ４１０の画面は、複数、例えば５個に分割された各部分である部分情報表示部、具体的には「分割ディスプレイ４１１乃至４１５が配置されている。
これら分割ディスプレイ４１１等は、それぞれ別個の情報を同時に表示することができる構成となっている。
【0086】
本実施の形態では、分割ディスプレイ４１１乃至４１５に、情報を表示した場合に、通行人の心理状態情報を、各分割ディスプレイ４１１等毎に分析することができる点で、上述の第１の実施の形態と相違するため、以下、例えば、黒、白、赤、緑及び黄色のスニーカーをそれぞれ表示した場合を例に説明する。
【0087】
（事前工程）
先ず、図１の本システム１０００を動作させる前に以下の事前準備を行う。
図１７及び図１８は、図２の第３のサーバ側各種情報記憶部１０１０及び第４のサーバ側各種情報記憶部１４００の内容を示す概略ブロック図である。
図１の管理サーバ１０は、図１７の「部分広告情報記憶部１１１１」に、図１６のデジタルサイネージ４００のディスプレイ４１０の分割ディスプレイ４１１乃至４１５に表示させる広告の映像等を記憶させる。
先ず、図１の本システム１０００を動作させる前に以下の事前準備を行う。
図１７及び図１８は、図２の第３のサーバ側各種情報記憶部１０１０及び第４のサーバ側各種情報記憶部１４００の内容を示す概略ブロック図である。
図１の管理サーバ１０は、図１７の「部分広告情報記憶部１１１１」に、図１６のデジタルサイネージ４００のディスプレイ４１０の分割ディスプレイ４１１乃至４１５に表示させる広告の映像等を記憶させる。
【0088】
図２２は、図１７の「部分広告情報記憶部１１１１」の内容を示す概略図である。
同記憶部に１１１１に記憶される「部分広告情報」は、例えば、図２２に示すように、第１分割ディスプレイ４１１は「黒色のスニーカー」、第２分割ディスプレイ４１２は「白色のスニーカー」、第３分割ディスプレイ４１３は「赤色のスニーカー」、第４分割ディスプレイ４１４は「緑色のスニーカー」そして、第５分割ディスプレイ４１５は「黄色のスニーカー」で、それぞれ同時に表示する旨の情報を記憶する。
同記憶部に１１１１に記憶される「部分広告情報」は、例えば、図２２に示すように、第１分割ディスプレイ４１１は「黒色のスニーカー」、第２分割ディスプレイ４１２は「白色のスニーカー」、第３分割ディスプレイ４１３は「赤色のスニーカー」、第４分割ディスプレイ４１４は「緑色のスニーカー」そして、第５分割ディスプレイ４１５は「黄色のスニーカー」で、それぞれ同時に表示する旨の情報を記憶する。
【0089】
（サイネージ効果分析システム１０００における分析判断方法）
以下、本システム１０００において、デジタルサイネージ４００の前を通行する通行人（対象者）の心理状態情報の分析（推定）の概要について説明する。
図１９乃至図２１は、通行人の心理状態の判断方法を示す概略フローチャートである。
以下、同フローチャート等に沿って、説明する。
以下、本システム１０００において、デジタルサイネージ４００の前を通行する通行人（対象者）の心理状態情報の分析（推定）の概要について説明する。
図１９乃至図２１は、通行人の心理状態の判断方法を示す概略フローチャートである。
以下、同フローチャート等に沿って、説明する。
【0090】
先ず、図１９のＳＴ１０１で、「管理サーバ１０」の図１７の「部分広告情報選択部（プログラム）１１１２」が動作し、管理サーバ１０が部分広告情報記憶部１１１１を参照し、図１６に示すデジタルサイネージ４００のディスプレイ４１０の５つの分割ディスプレイ（第１分割ディスプレイ４１１乃至第５分割ディスプレイ４１５）に、それぞれ、不特定多数人向けの広告である図２２の黒色のスニーカー等をそれぞれ同時に表示する。
【0091】
次いで、ＳＴ１０２へ進む。
ＳＴ１０２では、カメラ３００がディスプレイ４１０の前を通行する通行人を撮像し、図３の「撮像情報記憶部１１３」に、その時刻情報と共に記憶する。
ＳＴ１０２では、カメラ３００がディスプレイ４１０の前を通行する通行人を撮像し、図３の「撮像情報記憶部１１３」に、その時刻情報と共に記憶する。
【0092】
次いで、ＳＴ１０３へ進む。
ＳＴ１０３では、管理サーバ１０の図１７の「管理サーバの立ち止まり情報取得部（プログラム）１１４」が動作し、「撮像情報記憶部１１３」を参照し、ディスプレイ４１０の前で立ち止まった者であるか否かを判断し、立ち止まった者（通行人）を「立ち止まった対象者」として、図１７の「立ち止まり情報記憶部１１５」に、その時刻情報と共に記憶する。
具体的には、カメラ３００で撮影された通行人の動作の画像から、通行人の動き等を時系列で測定し、立ち止まったか否かを判断し、記憶する。
ＳＴ１０３では、管理サーバ１０の図１７の「管理サーバの立ち止まり情報取得部（プログラム）１１４」が動作し、「撮像情報記憶部１１３」を参照し、ディスプレイ４１０の前で立ち止まった者であるか否かを判断し、立ち止まった者（通行人）を「立ち止まった対象者」として、図１７の「立ち止まり情報記憶部１１５」に、その時刻情報と共に記憶する。
具体的には、カメラ３００で撮影された通行人の動作の画像から、通行人の動き等を時系列で測定し、立ち止まったか否かを判断し、記憶する。
【0093】
次いで、ＳＴ１０４へ進む。
ＳＴ１０４では、管理サーバ１０の図１７の「顔情報取得部（プログラム）１１６」が動作し、「立ち止まり情報記憶部１１５」を参照し、立ち止まった対象者の顔の顔情報を「顔情報記憶部１１７」に、その時刻情報と共に記憶する。
ＳＴ１０４では、管理サーバ１０の図１７の「顔情報取得部（プログラム）１１６」が動作し、「立ち止まり情報記憶部１１５」を参照し、立ち止まった対象者の顔の顔情報を「顔情報記憶部１１７」に、その時刻情報と共に記憶する。
【0094】
次いで、ＳＴ１０５へ進む。
ＳＴ１０５では、管理サーバ１０の図１７の「顔の向き部分判断部（プログラム）１１１８」が動作し、「顔情報記憶部１１７」を参照し、対象者の顔が「ディスプレイ４１０」のどの「分割ディスプレイ４１１等」に向いているか否かを判断する。
そして、ＳＴ１０６で、「いずれかの分割ディスプレイ４１１等に向いている」と判断されると、ＳＴ１０７へ進み、当該対象者（通行人）は、向いている分割ディスプレイ４１１等に表示されている広告に「興味あり」と判断され、当該広告又は分割ディスプレイ４１１等と関連付けて、図１７の「部分興味対象者情報記憶部１１１９」に、その時刻情報と共に記憶する。
図１６の通行人（対象者）Ｐ１は、「第４分割ディスプレイ４１４（緑のスニーカー）」に「興味あり」と判断される例を示す。
ＳＴ１０５では、管理サーバ１０の図１７の「顔の向き部分判断部（プログラム）１１１８」が動作し、「顔情報記憶部１１７」を参照し、対象者の顔が「ディスプレイ４１０」のどの「分割ディスプレイ４１１等」に向いているか否かを判断する。
そして、ＳＴ１０６で、「いずれかの分割ディスプレイ４１１等に向いている」と判断されると、ＳＴ１０７へ進み、当該対象者（通行人）は、向いている分割ディスプレイ４１１等に表示されている広告に「興味あり」と判断され、当該広告又は分割ディスプレイ４１１等と関連付けて、図１７の「部分興味対象者情報記憶部１１１９」に、その時刻情報と共に記憶する。
図１６の通行人（対象者）Ｐ１は、「第４分割ディスプレイ４１４（緑のスニーカー）」に「興味あり」と判断される例を示す。
【0095】
具体的には、カメラ３００で撮影された通行人の動作の画像から、通行人の首の縦方向の変化、横方向の変化、傾きの変化等を時系列で測定し、記憶する。
次いで、時系列で測定されたデータをフーリエ変換と２階微分などで任意の時間範囲における振動数分布と変曲点を求め、顔の動き等、例えば、対象者の顔の向き等を判断する（顔の左右の傾きが「０°」のとき）。
次いで、時系列で測定されたデータをフーリエ変換と２階微分などで任意の時間範囲における振動数分布と変曲点を求め、顔の動き等、例えば、対象者の顔の向き等を判断する（顔の左右の傾きが「０°」のとき）。
【0096】
一方、ＳＴ１０６で「ディスプレイ４１０に向いていない」と判断した場合は、「興味なし」と判断し、図１７の「部分非興味対象者情報記憶部１１２０」に、その時刻情報と共に記憶する。
図１６の通行人Ｐ２は、この「興味なし」と判断される例を示す。
図１６の通行人Ｐ２は、この「興味なし」と判断される例を示す。
【0097】
次いで、ＳＴ１０９へ進む。
ＳＴ１０９では、図１７の「部分頭動作カテゴリー候補情報取得部（プログラム）１１２２」（部分心理状態情報取得部の一例）が動作し、「部分興味対象者情報記憶部１１１９」に記憶されている対象者の頭の動作情報を取得すると共に「頭動作カテゴリー基準情報記憶部１２３」（詳細は図１０）を参照し、その頭の動作が各「頭動作カテゴリー」に該当するか否かを判断する。
ＳＴ１０９では、図１７の「部分頭動作カテゴリー候補情報取得部（プログラム）１１２２」（部分心理状態情報取得部の一例）が動作し、「部分興味対象者情報記憶部１１１９」に記憶されている対象者の頭の動作情報を取得すると共に「頭動作カテゴリー基準情報記憶部１２３」（詳細は図１０）を参照し、その頭の動作が各「頭動作カテゴリー」に該当するか否かを判断する。
【0098】
次いで、ＳＴ１１０で、各頭動作カテゴリーに該当すると判断されたときは、ＳＴ１１１へ進む。
ＳＴ１１１では、各頭動作カテゴリーに該当する頭動作データは、「部分頭動作カテゴリー候補情報」として、各頭動作カテゴリーと関連付けて図１７の「部分頭動作カテゴリー候補情報記憶部１１２４」に記憶される。
一方、ＳＴ１１０で、該当する頭動作カテゴリーが存在しない場合は、終了する。
ＳＴ１１１では、各頭動作カテゴリーに該当する頭動作データは、「部分頭動作カテゴリー候補情報」として、各頭動作カテゴリーと関連付けて図１７の「部分頭動作カテゴリー候補情報記憶部１１２４」に記憶される。
一方、ＳＴ１１０で、該当する頭動作カテゴリーが存在しない場合は、終了する。
【0099】
次いで、ＳＴ１１２へ進む。ＳＴ１１２では、図１７の「部分頭動作カテゴリー確定部（プログラム）１１２５」が動作し、「頭動作カテゴリー確定基準情報記憶部１２６」（詳細は図１１）を参照し、「部分頭動作カテゴリー候補情報記憶部１１２４」の「頭動作カテゴリー候補情報」が「頭動作カテゴリー確定基準情報」のＡ～Ｄの全ての基準を充足しているか否かを判断する。
【0100】
なお、本実施の形態では、「頭動作カテゴリー確定基準情報」のＡ～Ｄの全ての基準を充足する例で説明したが、本発明はこれに限らず、いずれかの基準を充足する場合や、基準に優先順位を付けて判断する場合も含まれる。
【0101】
次いで、ＳＴ１１３で、充足していると判断されるとＳＴ１１４へ進む。ＳＴ１１４では「部分頭動作カテゴリー確定情報」として、各頭動作カテゴリーと関連付けて、図１８の「部分頭動作カテゴリー確定情報記憶部１４１１」に記憶する。
一方、ＳＴ１１３で、充足していない場合は、終了する。
一方、ＳＴ１１３で、充足していない場合は、終了する。
【0102】
次いで、ＳＴ１１５へ進む。ＳＴ１１５では、図１８の「顔表情カテゴリー情報取得部（プログラム）６１２」（「部分心理状態情報取得部」の一例）」が動作し、図１７の「部分興味対象者情報記憶部１１１９」に記憶されている対象者の頭の表情情報を取得すると共に図１８の「顔表情カテゴリー基準情報記憶部６１３」（詳細は図１２）を参照し、その顔表情が各「顔表情カテゴリー」に該当するか否かを判断する。
具体的には、無表情状態からの目や口等の変化を測定、照合等することで判断する。
具体的には、無表情状態からの目や口等の変化を測定、照合等することで判断する。
【0103】
ＳＴ１１６で該当すると判断された場合は、ＳＴ１７へ進む。
ＳＴ１１７では、各顔表情カテゴリー（喜びの表情カテゴリー等）に該当する顔表情データは、「部分顔表情カテゴリー情報」として、各顔表情カテゴリーと関連付けられて、図１８の「部分顔表情カテゴリー情報記憶部１４１４」に記憶される。
ＳＴ１１７では、各顔表情カテゴリー（喜びの表情カテゴリー等）に該当する顔表情データは、「部分顔表情カテゴリー情報」として、各顔表情カテゴリーと関連付けられて、図１８の「部分顔表情カテゴリー情報記憶部１４１４」に記憶される。
【0104】
次いで、ＳＴ１１８へ進む。ＳＴ１１８では、図１８の「デジタルサイネージ分析部（プログラム）６１５」が動作し、「部分頭動作カテゴリー確定情報記憶部１４１１」と「頭動作カテゴリー基準情報記憶部１２３」を参照し、該当動作カテゴリーの心理状態の情報を取得すると共に、「顔表情カテゴリー情報記憶部６１４」から「顔表情詳細カテゴリー情報」を取得し、これら「心理状態情報」と「顔情報カテゴリー情報」に基づいて表示した広告の分析を実行し、図１８の「分析結果情報記憶部６１６」に記憶する。
【0105】
以上から、本実施の形態の「サイネージ効果分析システム１における分析判断方法」によれば、図１のデジタルサイネージ２００の前を通行する通行人（対象者）の個々についての心理状態情報を頭動作のみならず、顔表情からも取得でき、これらの心理状態情報基づき、サイネージ等に表示された広告等について、適切な分析を行うことができる。
【0106】
また、本実施の形態の「サイネージ効果分析システム１０００における分析判断方法」によれば、図１のデジタルサイネージ４００の前を通行する通行人（対象者）の個々が、ディスプレイ４１０の各分割ディスプレイ４１１乃至４１５に表示の各広告等についての心理状態情報を自動的に適切に区分して取得することができる。
したがって、同じデジタルサイネージ４００のディスプレイ４１０の分割ディスプレイ４１１等に分割して表示された広告等であっても、各広告について、通行人が、「興味あり」とした場合、その心理状態情報を個別に精度良く、且つ容易に分析をすることができる。
したがって、同じデジタルサイネージ４００のディスプレイ４１０の分割ディスプレイ４１１等に分割して表示された広告等であっても、各広告について、通行人が、「興味あり」とした場合、その心理状態情報を個別に精度良く、且つ容易に分析をすることができる。
【0107】
（第３の実施の形態）
図２３は、本発明の第３の実施の形態に係るサイネージ効果分析システムのデジタルサイネージ５００の主な構成を示す概略図である。
図２３に示すように、デジタルサイネージ５００は、ディスプレイ５１０を有し、ディスプレイ５１０には、単一の画像情報である例えば、「女優（ＦＭ）による化粧品（ＣＴ）の宣伝画像」が表示される。
図２３は、本発明の第３の実施の形態に係るサイネージ効果分析システムのデジタルサイネージ５００の主な構成を示す概略図である。
図２３に示すように、デジタルサイネージ５００は、ディスプレイ５１０を有し、ディスプレイ５１０には、単一の画像情報である例えば、「女優（ＦＭ）による化粧品（ＣＴ）の宣伝画像」が表示される。
【0108】
また、このディスプレイ５１０は、図２３に示すように、部分情報表示部である例えば、９個の分割ディスプレイ５１１乃至５１９により分割されている。
そして、本実施の形態の各分割ディスプレイ５１１乃至５１９は、上述の第２の実施の形態と異なり、それぞれ、別個の画像を表示するのではなく、ディスプレイ５１０で表示している「女優（ＦＭ）による化粧品（ＣＴ）の宣伝画像」の各部分の画像が表示される。
そして、本実施の形態の各分割ディスプレイ５１１乃至５１９は、上述の第２の実施の形態と異なり、それぞれ、別個の画像を表示するのではなく、ディスプレイ５１０で表示している「女優（ＦＭ）による化粧品（ＣＴ）の宣伝画像」の各部分の画像が表示される。
【0109】
このようにディスプレイ５１０に表示される「女優（ＦＭ）による化粧品（ＣＴ）の宣伝画像」を、図２３の通行人（対象者）Ｐ１１やＰ１２が視認することになる。
そして、管理サーバは、上述の第２に実施の形態と同様に、通行人Ｐ１１等の顔が、図１８の分割ディスプレイ５１１等のいずれに向けられているかを判断する。
そして、管理サーバは、上述の第２に実施の形態と同様に、通行人Ｐ１１等の顔が、図１８の分割ディスプレイ５１１等のいずれに向けられているかを判断する。
【0110】
さらに、上述の第２の実施の形態と同様に、各分割ディスプレイ５１１等について、通行人Ｐ１１やＰ１２が、「興味あり」の場合、その心理状態情報も取得する構成となっている。
【0111】
ただし、本実施の形態では、上述の第２の実施の形態と異なり、各分割ディスプレイ５１１等は、それぞれ異なる画像を表示しているのではなく、ディスプレイ５１０に表示される単一の画像情報である「女優（ＦＭ）による化粧品（ＣＴ）の宣伝画像」の部分、例えば、女優（ＦＭ）の表示部分や化粧品（ＣＴ）の表示部分を表示する。
したがって、分割ディスプレイ５１１等毎に、通行人Ｐ１１等の「興味あり」等を判断することで、ディスプレイ５１０に表示される全体の画像のうち、通行人Ｐ１１等が、どの部分に「興味」を持ったか、そして、その心理状態情報を自動的に精度良く判断することができる。
したがって、分割ディスプレイ５１１等毎に、通行人Ｐ１１等の「興味あり」等を判断することで、ディスプレイ５１０に表示される全体の画像のうち、通行人Ｐ１１等が、どの部分に「興味」を持ったか、そして、その心理状態情報を自動的に精度良く判断することができる。
【0112】
そして、このような情報に基づいて、当該分割ディスプレイ５１１等に表示されている部分（女優（ＦＭ）の表示部分や化粧品（ＣＴ）の表示部分）についての通行人Ｐ１１等の評価や分析も容易に行うことができる。
【0113】
以上説明した実施形態においては、装置として実現される場合を例に挙げて説明したが、本発明は、これに限定されず、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤなど）光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納され頒布されてもよい。
【0114】
また、記憶媒体は、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であればよい。記憶媒体の記憶形式は、特には限定されない。
【0115】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウエア）等が本実施形態を実現するための各処理の一部を実行してもよい。
【0116】
さらに、本発明における記憶媒体は、コンピュータと独立した媒体には限定されず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【0117】
また、本発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づいて本実施形態における各処理を実行すればよく、１つのパソコン等からなる装置であってもよいし、複数の装置がネットワーク接続されたシステム等であってもよい。
【0118】
また、本発明におけるコンピュータとは、パソコンには限定されず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。
【0119】
以上、本発明の実施形態について説明した。しかし、本発明は、上記実施形態に限定されず、特許請求の範囲を逸脱しない範囲で種々の変更を行うことができる。上記実施形態の構成は、その一部を省略したり、上記とは異なるように任意に組み合わせたりすることができる。
本実施の形態では、カメラ３００がディスプレイ２０１の前の通行人を撮像し、管理サーバ１０の「撮像情報記憶部１１３」に、その時刻情報と共に記憶し、この記憶された情報に基づき、その「興味あり」の場合、その心理状態情報を取得し、さらに、ディスプレイ４１１に表示した広告等について分析する構成としたが、本発明は、これに限らず、ディスプレイ４１１、カメラ３００、管理サーバ１０の時刻を同期させ、カメラ３００が通行人を撮像するのと同時に、その「興味あり」の場合、その心理状態情報を取得し、ディスプレイ４１１に表示された広告等について分析する構成としても構わない。
本実施の形態では、カメラ３００がディスプレイ２０１の前の通行人を撮像し、管理サーバ１０の「撮像情報記憶部１１３」に、その時刻情報と共に記憶し、この記憶された情報に基づき、その「興味あり」の場合、その心理状態情報を取得し、さらに、ディスプレイ４１１に表示した広告等について分析する構成としたが、本発明は、これに限らず、ディスプレイ４１１、カメラ３００、管理サーバ１０の時刻を同期させ、カメラ３００が通行人を撮像するのと同時に、その「興味あり」の場合、その心理状態情報を取得し、ディスプレイ４１１に表示された広告等について分析する構成としても構わない。
【符号の説明】
【0120】
１、１０００・・・サイネージ効果分析システム、２・・・インターネット網、１０・・・管理サーバ、１１・・・サーバ側制御部、１２・・・サーバ側通信装置、１３・・・サーバ側ディスプレイ、１４・・・サーバ側各種情報入力装置、１５・・・時計、１００・・・第１のサーバ側各種情報記憶部、１１１・・・広告情報記憶部、１１２・・・広告情報選択部、１１３・・・撮像情報記憶部、１１４・・・立ち止まり情報取得部、１１５・・・立ち止まり情報記憶部、１１６・・・顔情報取得部、１１７・・・顔情報記憶部、１１８・・・顔の向き判断部、１１９・・・興味対象者情報記憶部、１２０・・・非興味対象者情報記憶部、１２２・・・頭動作カテゴリー候補情報取得部、１２３・・・頭動作カテゴリー基準情報記憶部、１２４・・・頭動作カテゴリー候補情報記憶部、１２５・・・頭動作カテゴリー確定部、１２６・・・頭動作カテゴリー確定基準情報記憶部、１２５・・・デジタルサイネージ分析部、１２６・・・分析結果情報記憶部、２００、４００、５００・・・デジタルサイネージ、２０１、５１０・・・ディスプレイ、３００・・・カメラ、４１１、５１１等・・・分割ディスプレイ、６００・・・第２のサーバ側各種情報記憶部、６１１・・・頭動作カテゴリー確定情報記憶部、６１２・・・顔表情カテゴリー情報記憶部、６１３・・・顔表情カテゴリー基準情報記憶部、６１４・・・顔表情カテゴリー情報記憶部、６１５・・・デジタルサイネージ分析部、６１６・・・分析結果情報記憶部、１０１０・・・第３のサーバ側各種情報記憶部、１１１１・・・部分広告情報記憶部、１１１２・・・部分広告情報選択部、１１１８・・・顔の向き部分判断部、１１１９・・・部分興味対象者情報記憶部、１１２０・・・部分非興味対象者情報記憶部、１１２２・・・部分頭動作カテゴリー候補情報取得部、１１２４・・・部分頭動作カテゴリー候補情報記憶部、１１２５・・・部分頭動作カテゴリー確定部、１４００・・・第４のサーバ側各種情報記憶部、１４１１・・・部分頭動作カテゴリー確定情報記憶部、１４１４・・・部分顔表情カテゴリー情報記憶部、Ｐ１等・・・通行人（対象者）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】