(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】傾向判定装置、反射体付き表示装置、傾向表示システム装置、傾向判定方法、表示処理方法、傾向表示方法、プログラム及び記録媒体
(51)【国際特許分類】
G06Q 30/015 20230101AFI20241001BHJP
G06Q 30/0601 20230101ALI20241001BHJP
【FI】
G06Q30/015
G06Q30/0601 330
(21)【出願番号】P 2023502140
(86)(22)【出願日】2022-01-11
(86)【国際出願番号】 JP2022000578
(87)【国際公開番号】W WO2022181080
(87)【国際公開日】2022-09-01
【審査請求日】2023-04-18
(31)【優先権主張番号】P 2021030165
(32)【優先日】2021-02-26
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000232092
【氏名又は名称】NECソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100115255
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100201732
【氏名又は名称】松縄 正登
(74)【代理人】
【識別番号】100154081
【氏名又は名称】伊佐治 創
(74)【代理人】
【識別番号】100227019
【氏名又は名称】安 修央
(72)【発明者】
【氏名】柳澤 尋輝
(72)【発明者】
【氏名】和賀 巌
【審査官】田川 泰宏
(56)【参考文献】
【文献】特開2017-201499(JP,A)
【文献】特開2019-039084(JP,A)
【文献】特開2010-015565(JP,A)
【文献】米国特許出願公開第2017/0102765(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
提示部、取得部、生体情報分析部、感情特定部、記憶部、関連性分析部、及び判定部を含み、
前記提示部は、反射体付き表示装置を介してコンテンツに関するコンテンツ情報をユーザに提示し、
前記提示部は、前記反射体付き表示装置を介して前記ユーザの感情及び前記感情の数値を前記ユーザに提示し、
前記取得部は、反射体に写ったユーザを撮像した反射画像を取得し、
前記生体情報分析部は、前記反射画像から前記ユーザの生体情報を分析し、
前記感情特定部は、前記生体情報から前
記感情を数値化して特定し、
前記記憶部は、前記コンテンツ情報と紐づけて前記感情の数値を前記ユーザ毎に蓄積して記憶し、
前記関連性分析部は、前記記憶部に蓄積して記憶している前記感情の数値と、前記感情の数値と紐づいた前記コンテンツ情報との関連性を前記ユーザ毎に分析し、
前記判定部は、前記関連性の分析結果に基づき、前記ユーザの傾向を判定する、傾向判定装置。
【請求項2】
前記取得部は、前記提示部による前記コンテンツの提示の前に前記ユーザを撮像した提示前反射画像と、前記提示の後に前記ユーザを撮像した提示後反射画像とを取得し、
前記生体情報分析部は、前記提示前反射画像及び前記提示後反射画像のそれぞれから前記ユーザの生体情報を分析し、
前記感情特定部は、前記提示前反射画像及び前記提示後反射画像のそれぞれから分析された生体情報から前記ユーザの感情を数値化して特定し、
前記記憶部は、前記提示前反射画像における前記感情の数値と前記提示後反射画像における前記感情の数値との差分を前記コンテンツと紐づけて前記ユーザ毎に蓄積して記憶し、
前記関連性分析部は、前記記憶部に蓄積して記憶している前記感情の数値の差分と、前記感情の数値の差分と紐づいた前記コンテンツとの関連性を前記ユーザ毎に分析する、請求項
1記載の傾向判定装置。
【請求項3】
前記関連性分析部は、学習処理部を含み、
前記学習処理部は、前記ユーザの前記感情の数値と前記コンテンツ情報とを学習用データとして用いた教師なし学習によって、学習モデルの学習処理を行い、
前記関連性分析部は、前記学習モデルを用いて、前記感情の数値と前記コンテンツ情報との関連性を前記ユーザ毎に分析する、請求項1
又は2記載の傾向判定装置。
【請求項4】
前記取得部は、さらに、前記コンテンツを取得し、
前記提示部は、前記反射体付き表示装置を介して前記取得部が取得した前記コンテンツを前記ユーザに提示する、請求項1から
3のいずれか一項に記載の傾向判定装置。
【請求項5】
さらに、推奨部を含み、
前記推奨部は、判定した前記ユーザの傾向に基づき、複数の前記コンテンツ情報の中から少なくとも一つの前記コンテンツ情報を選択し、且つ選択した前記コンテンツ情報を前記反射体付き表示装置を介して前記ユーザに推奨する、請求項1から
4のいずれか一項に記載の傾向判定装置。
【請求項6】
請求項1から
5のいずれか一項に記載の傾向判定装置と併用される反射体付き表示装置であって、
反射体、ディスプレイ、撮像部、送信部、取得部、及び表示処理部を含み、
前記撮像部は、前記反射体に写ったユーザを撮像し、
前記送信部は、前記撮像部により撮像された反射画像を前記傾向判定装置に送信し、
前記取得部は、前記傾向判定装置が提示するコンテンツ情報を取得し、
前記表示処理部は、前記コンテンツ情報を前記ディスプレイに表示する、反射体付き表示装置。
【請求項7】
請求項1から
5のいずれか一項に記載の傾向判定装置と、請求項
6記載の反射体付き表示装置とを含み、
前記傾向判定装置と前記反射体付き表示装置とは、通信回線網を介して通信可能である、傾向表示システム装置。
【請求項8】
提示工程、取得工程、生体情報分析工程、感情特定工程、記憶工程、関連性分析工程、及び判定工程を含み、
前記提示工程は、反射体付き表示装置を介してコンテンツに関するコンテンツ情報をユーザに提示し、
前記提示工程は、前記反射体付き表示装置を介して前記ユーザの感情及び前記感情の数値を前記ユーザに提示し、
前記取得工程は、反射体に写ったユーザを撮像した反射画像を取得し、
前記生体情報分析工程は、前記反射画像から前記ユーザの生体情報を分析し、
前記感情特定工程は、前記生体情報から前
記感情を数値化して特定し、
前記記憶工程は、前記コンテンツ情報と紐づけて前記感情の数値を前記ユーザ毎に蓄積して記憶し、
前記関連性分析工程は、前記記憶工程に蓄積して記憶している前記感情の数値と、前記感情の数値と紐づいた前記コンテンツ情報との関連性を前記ユーザ毎に分析し、
前記判定工程は、前記関連性の分析結果に基づき、前記ユーザの傾向を判定する、傾向判定方法。
【請求項9】
提示手順、取得手順、生体情報分析手順、感情特定手順、記憶手順、関連性分析手順、及び判定手順を含み、
前記提示手順は、反射体付き表示装置を介してコンテンツに関するコンテンツ情報をユーザに提示し、
前記提示手順は、前記反射体付き表示装置を介して前記ユーザの感情及び前記感情の数値を前記ユーザに提示し、
前記取得手順は、反射体に写ったユーザを撮像した反射画像を取得し、
前記生体情報分析手順は、前記反射画像から前記ユーザの生体情報を分析し、
前記感情特定手順は、前記生体情報から前
記感情を数値化して特定し、
前記記憶手順は、前記コンテンツ情報と紐づけて前記感情の数値を前記ユーザ毎に蓄積して記憶し、
前記関連性分析手順は、前記記憶手順に蓄積して記憶している前記感情の数値と、前記感情の数値と紐づいた前記コンテンツ情報との関連性を前記ユーザ毎に分析し、
前記判定手順は、前記関連性の分析結果に基づき、前記ユーザの傾向を判定する、ことをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、傾向判定装置、反射体付き表示装置、傾向表示システム装置、傾向判定方法、表示処理方法、傾向表示方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
様々な分野において、「ユーザの傾向」が利用されている。例えば、特許文献1には、ユーザの傾向と類似する他のユーザの傾向に基づいて、前記ユーザに商品を推奨する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1では、衣服を着用しているユーザの画像に基づいて、ファッション嗜好を抽出している。しかしながら、より正確にユーザの傾向を判定可能な新たな技術が求められている。
【0005】
そこで、本発明は、ユーザの傾向を判定可能な傾向判定装置、反射体付き表示装置、傾向表示システム装置、傾向判定方法、表示処理方法、傾向表示方法、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の傾向判定装置は、
提示部、取得部、生体情報分析部、感情特定部、記憶部、関連性分析部、及び判定部を含み、
前記提示部は、反射体付き表示装置を介してコンテンツに関するコンテンツ情報をユーザに提示し、
前記取得部は、反射体に写ったユーザを撮像した反射画像を取得し、
前記生体情報分析部は、前記反射画像から前記ユーザの生体情報を分析し、
前記感情特定部は、前記生体情報から前記ユーザの感情を数値化して特定し、
前記記憶部は、前記コンテンツ情報と紐づけて前記感情の数値を前記ユーザ毎に蓄積して記憶し、
前記関連性分析部は、前記記憶部に蓄積して記憶している前記感情の数値と、前記感情の数値と紐づいた前記コンテンツ情報との関連性を前記ユーザ毎に分析し、
前記判定部は、前記関連性の分析結果に基づき、前記ユーザの傾向を判定する、装置である。
【0007】
本発明の反射体付き表示装置は、
本発明の傾向判定装置と併用される反射体付き表示装置であって、
反射体、ディスプレイ、撮像部、送信部、取得部、及び表示処理部を含み、
前記撮像部は、前記反射体に写ったユーザを撮像し、
前記送信部は、前記撮像部により撮像された反射画像を前記傾向判定装置に送信し、
前記取得部は、前記傾向判定装置が提示するコンテンツ情報を取得し、
前記表示処理部は、前記コンテンツ情報を前記ディスプレイに表示する、装置である。
【0008】
本発明の傾向表示システム装置は、
本発明の傾向判定装置と、本発明の反射体付き表示装置とを含み、
前記傾向判定装置と前記反射体付き表示装置とは、通信回線網を介して通信可能である、装置である。
【0009】
本発明の傾向判定方法は、
提示工程、取得工程、生体情報分析工程、感情特定工程、記憶工程、関連性分析工程、及び判定工程を含み、
前記提示工程は、反射体付き表示装置を介してコンテンツに関するコンテンツ情報をユーザに提示し、
前記取得工程は、反射体に写ったユーザを撮像した反射画像を取得し、
前記生体情報分析工程は、前記反射画像から前記ユーザの生体情報を分析し、
前記感情特定工程は、前記生体情報から前記ユーザの感情を数値化して特定し、
前記記憶工程は、前記コンテンツ情報と紐づけて前記感情の数値を前記ユーザ毎に蓄積して記憶し、
前記関連性分析工程は、前記記憶工程に蓄積して記憶している前記感情の数値と、前記感情の数値と紐づいた前記コンテンツ情報との関連性を前記ユーザ毎に分析し、
前記判定工程は、前記関連性の分析結果に基づき、前記ユーザの傾向を判定する、方法である。
【0010】
本発明の表示処理方法は、
本発明の傾向判定方法と並行して実行される表示処理方法であって、
撮像工程、送信工程、取得工程、及び表示処理工程を含み、
前記撮像工程は、反射体に写ったユーザを撮像し、
前記送信工程は、前記撮像工程により撮像された反射画像を前記傾向判定方法を実行する傾向判定装置に送信し、
前記取得工程は、前記傾向判定装置が提示するコンテンツ情報を取得し、
前記表示処理工程は、前記コンテンツ情報をディスプレイに表示する、方法である。
【0011】
本発明の傾向表示方法は、
本発明の傾向判定方法と、本発明の表示処理方法とを含む、方法である。
【発明の効果】
【0012】
本発明によれば、ユーザ自身が自覚している傾向のみならず、潜在的な傾向も判定することができる。
【図面の簡単な説明】
【0013】
【
図1】
図1は、実施形態1の傾向範囲亭装置の一例の構成を示すブロック図である。
【
図2】
図2は、実施形態1の傾向判定装置のハードウエア構成の一例を示すブロック図である。
【
図3】
図3は、実施形態1の傾向判定装置における処理の一例を示すフローチャートである。
【
図4】
図4は、実施形態2の反射体付き表示装置の一例の構成を示すブロック図である。
【
図5】
図5は、実施形態2の反射体付き表示装置のハードウエア構成の一例を示すブロック図である。
【
図6】
図6は、実施形態2の反射体付き表示装置における処理の一例を示すフローチャートである。
【
図7】
図7は、実施形態3の傾向表示システム装置の一例の構成を示すブロック図である。
【
図8A】
図8Aは、実施形態3の傾向表示システム装置において、前記商品及び前記サービスが音楽である場合の反射体付き表示装置の一例を示す模式図である。
【
図8B】
図8Bは、実施形態3の傾向表示システム装置において、前記商品及び前記サービスが旅行である場合の反射体付き表示装置の一例を示す模式図である。
【発明を実施するための形態】
【0014】
本発明の傾向判定装置において、例えば、
前記提示部は、前記反射体付き表示装置を介して前記感情及び前記感情の数値を前記ユーザに提示する、という態様であってもよい。
【0015】
本発明の傾向判定装置において、例えば、
前記取得部は、前記提示部による前記コンテンツの提示の前に前記ユーザを撮像した提示前反射画像と、前記提示の後に前記ユーザを撮像した提示後反射画像とを取得し、
前記生体情報分析部は、前記提示前反射画像及び前記提示後反射画像のそれぞれから前記ユーザの生体情報を分析し、
前記感情特定部は、前記提示前反射画像及び前記提示後反射画像のそれぞれから分析された生体情報から前記ユーザの感情を数値化して特定し、
前記記憶部は、前記提示前反射画像における前記感情の数値と前記提示後反射画像における前記感情の数値との差分を前記コンテンツと紐づけて前記ユーザ毎に蓄積して記憶し、
前記関連性分析部は、前記記憶部に蓄積して記憶している前記感情の数値の差分と、前記感情の数値の差分と紐づいた前記コンテンツとの関連性を前記ユーザ毎に分析する、という態様であってもよい。
【0016】
本発明の傾向判定装置において、例えば、
前記関連性分析部は、学習処理部を含み、
前記学習処理部は、前記ユーザの前記感情の数値と前記コンテンツ情報とを学習用データとして用いた教師なし学習によって、学習モデルの学習処理を行い、
前記関連性分析部は、前記学習モデルを用いて、前記感情の数値と前記コンテンツ情報との関連性を前記ユーザ毎に分析する、という態様であってもよい。
【0017】
本発明の傾向判定装置において、例えば、
前記取得部は、さらに、前記コンテンツを取得し、
前記提示部は、前記反射体付き表示装置を介して前記取得部が取得した前記コンテンツを前記ユーザに提示する、という態様であってもよい。
【0018】
本発明の傾向判定装置は、例えば、
さらに、推奨部を含み、
前記推奨部は、判定した前記ユーザの傾向に基づき、複数の前記コンテンツ情報の中から少なくとも一つの前記コンテンツ情報を選択し、且つ選択した前記コンテンツ情報を前記反射体付き表示装置を介して前記ユーザに推奨する、という態様であってもよい。
【0019】
本発明の反射体付き表示装置において、例えば、
前記取得部は、前記傾向判定装置が提示する前記ユーザの感情の数値を取得し、
前記表示処理部は、前記傾向判定装置によって提示された前記ユーザの感情の数値を前記ディスプレイに表示する、という態様であってもよい。
【0020】
本発明の反射体付き表示装置において、例えば、
前記撮像部は、前記表示処理部によって前記コンテンツを前記ディスプレイに表示する前と、表示した後とで前記ユーザを撮像し、
前記送信部は、前記表示する前に撮像した提示前反射画像と、前記表示した後に撮像した提示後反射画像とを前記傾向判定装置に送信する、という態様であってもよい。
【0021】
本発明の反射体付き表示装置において、例えば、
前記取得部は、前記傾向判定装置が推奨する前記コンテンツ情報を取得し、
前記表示処理部は、前記傾向判定装置によって推奨された前記コンテンツ情報を前記ディスプレイに表示する、という態様であってもよい。
【0022】
本発明の反射体付き表示装置は、例えば、
さらに、再生処理部、及び音入出力部を含み、
前記コンテンツ情報が音情報である場合、
前記再生処理部は、前記コンテンツ情報を前記音入出力部により再生する、という態様であってもよい。
【0023】
本発明の反射体付き表示装置は、例えば、
さらに、入力操作認識部を含み、
前記入力操作認識部は、前記ユーザの入力操作を認識する、という態様であってもよい。
【0024】
本発明の傾向判定方法において、例えば、
前記提示工程は、前記反射体付き表示装置を介して前記感情及び前記感情の数値を前記ユーザに提示する、という態様であってもよい。
【0025】
本発明の傾向判定方法において、例えば、
前記取得工程は、前記提示工程による前記コンテンツの提示の前に前記ユーザを撮像した提示前反射画像と、前記提示の後に前記ユーザを撮像した提示後反射画像とを取得し、
前記生体情報分析工程は、前記提示前反射画像及び前記提示後反射画像のそれぞれから前記ユーザの生体情報を分析し、
前記感情特定工程は、前記提示前反射画像及び前記提示後反射画像のそれぞれから分析された生体情報から前記ユーザの感情を数値化して特定し、
前記記憶工程は、前記提示前反射画像における前記感情の数値と前記提示後反射画像における前記感情の数値との差分を前記コンテンツと紐づけて前記ユーザ毎に蓄積して記憶し、
前記関連性分析工程は、前記記憶工程に蓄積して記憶している前記感情の数値の差分と、前記感情の数値の差分と紐づいた前記コンテンツとの関連性を前記ユーザ毎に分析する、という態様であってもよい。
【0026】
本発明の傾向判定方法において、例えば、
前記関連性分析工程は、学習処理工程を含み、
前記学習処理工程は、前記ユーザの前記感情の数値と前記コンテンツ情報とを学習用データとして用いた教師なし学習によって、学習モデルの学習処理を行い、
前記関連性分析工程は、前記学習モデルを用いて、前記感情の数値と前記コンテンツ情報との関連性を前記ユーザ毎に分析する、という態様であってもよい。
【0027】
本発明の傾向判定方法において、例えば、
前記取得工程は、さらに、前記コンテンツを取得し、
前記提示工程は、前記反射体付き表示装置を介して前記取得工程が取得した前記コンテンツを前記ユーザに提示する、という態様であってもよい。
【0028】
本発明の傾向判定方法は、例えば、
さらに、推奨工程を含み、
前記推奨工程は、判定した前記ユーザの傾向に基づき、複数の前記コンテンツ情報の中から少なくとも一つの前記コンテンツ情報を選択し、且つ選択した前記コンテンツ情報を前記反射体付き表示装置を介して前記ユーザに推奨する、という態様であってもよい。
【0029】
本発明の表示処理方法において、例えば、
前記取得工程は、前記傾向判定装置が提示する前記ユーザの感情の数値を取得し、
前記表示処理工程は、前記傾向判定装置によって提示された前記ユーザの感情の数値を前記ディスプレイに表示する、という態様であってもよい。
【0030】
本発明の表示処理方法において、例えば、
前記撮像工程は、前記表示処理工程によって前記コンテンツを前記ディスプレイに表示する前と、表示した後とで前記ユーザを撮像し、
前記送信工程は、前記表示する前に撮像した提示前反射画像と、前記表示した後に撮像した提示後反射画像とを前記傾向判定装置に送信する、という態様であってもよい。
【0031】
本発明の表示処理方法において、例えば、
前記取得工程は、前記傾向判定装置が推奨する前記コンテンツ情報を取得し、
前記表示処理工程は、前記傾向判定装置によって推奨された前記コンテンツ情報を前記ディスプレイに表示する、という態様であってもよい。
【0032】
本発明の表示処理方法は、例えば、
さらに、再生処理工程、及び音入出力工程を含み、
前記コンテンツ情報が音情報である場合、
前記再生処理工程は、前記コンテンツ情報を前記音入出力工程により再生する、という態様であってもよい。
【0033】
本発明の表示処理方法は、例えば、
さらに、入力操作認識工程を含み、
前記入力操作認識工程は、前記ユーザの入力操作を認識する、という態様であってもよい。
【0034】
本発明のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。
【0035】
本発明の記録媒体は、本発明のプログラムを記録しているコンピュータ読み取り可能な記録媒体である。
【0036】
本発明において、「傾向」とは、例えば、嗜好、苦手、リラックス、苦痛、好感、悪感、等を含めて最も広義に解釈されるべきであり、如何なる意味においても限定されない。
【0037】
本発明において、「コンテンツ」とは、人が認識可能なものであればよく、デジタルコンテンツであってもよいし、アナログコンテンツであってもよい。前記コンテンツの表現形式は、特に制限されず、例えば、実物、サンプル品、画像(例えば、静止画及び動画等)、テキスト、音、及びこれらの中の任意の2以上の組合せによって表現されてもよい。前記コンテンツは、例えば、草花、風景、せせらぎ音等の自然由来のコンテンツであってもよい。また、前記コンテンツは、例えば、商品やサービス等の販売物であってもよい。前記商品としては、例えば、家電製品、飲食品、衣料品、日用雑貨、生活用品、美術品、データ(動画データ及び音楽データ等)等が挙げられる。また、前記サービスとしては、例えば、旅行サービス、飲食店のサービス、美容、理容、マッサージ、医療サービス、金融サービス等が挙げられる。前記コンテンツは、上記各例示を含めて最も広義に解釈されるべきであり、如何なる意味においても限定されない。
【0038】
次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【0039】
[実施形態1]
図1は、本実施形態の傾向判定装置10の一例の構成を示すブロック図である。
図1に示すように、本装置10は、提示部11、取得部12、生体情報分析部13、感情特定部14、記憶部15、関連性分析部16、及び判定部17を含む。また、本装置10は、任意の構成として、さらに、推奨部18等を含んでもよい。関連性分析部16は、例えば、任意の構成として、学習処理部161を含んでもよい。これら各部は、例えば、内部バスにより相互に接続されている。
【0040】
本装置10は、例えば、前記各部を含む1つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置10は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、WWW(World Wide Web)、電話回線、LAN(Local Area Network)、SAN(Storage Area Network)、DTN(Delay Tolerant Networking)、LPWA(Low Power Wide Area)、L5G(ローカル5G)、等があげられる。無線通信としては、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ローカル5G、LPWA等が挙げられる。前記無線通信としては、各装置が直接通信する形態(Ad Hoc通信)、インフラストラクチャ(infrastructure通信)、アクセスポイントを介した間接通信等であってもよい。本装置10は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置10は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ(PC、例えば、デスクトップ型、ノート型)、スマートフォン、タブレット端末等であってもよい。さらに、本装置10は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0041】
図2に、本装置10のハードウエア構成のブロック図を例示する。本装置10は、例えば、中央処理装置(CPU、GPU等)101、メモリ102、バス103、記憶装置104、入力装置105、出力装置106、通信デバイス107等を含む。本装置10の各部は、それぞれのインタフェース(I/F)により、バス103を介して相互に接続されている。なお、これらは例示であって、本装置10のハードウエア構成は、前記各部の処理を実行可能であれば、これに限定されない。また、本装置10に含まれる中央処理装置101等の数も
図2の例示に限定されるものではなく、例えば、複数の中央処理装置101が本装置10に含まれていてもよい。
【0042】
中央処理装置101は、本装置10の全体の制御を担う。本装置10において、中央処理装置101により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央処理装置101が、提示部11、取得部12、生体情報分析部13、感情特定部14、関連性分析部16、及び判定部17、推奨部18等として機能する。
【0043】
バス103は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置(外部データベース等)、外部入力装置(外部撮像装置等)、外部出力装置(外部表示装置、外部プリンター等)等があげられる。本装置10は、例えば、バス103に接続された通信デバイス107により、外部ネットワーク(前記通信回線網)に接続でき、外部ネットワークを介して、他の装置と接続することもできる。
【0044】
メモリ102は、例えば、メインメモリ(主記憶装置)が挙げられる。中央処理装置101が処理を行う際には、例えば、後述する記憶装置104に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ102が読み込み、中央処理装置101は、メモリ102からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、RAM(ランダムアクセスメモリ)である。また、メモリ102は、例えば、ROM(読み出し専用メモリ)であってもよい。
【0045】
記憶装置104は、例えば、前記メインメモリ(主記憶装置)に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置104には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置104は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、HD(ハードディスク)、CD-ROM、CD-R、CD-RW、MO、DVD、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置104は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ(HDD)、及びソリッドステートドライブ(SSD)であってもよい。
【0046】
本装置10において、メモリ102及び記憶装置104は、ログ情報、外部データベース(図示せず)や外部の装置から取得した情報、本装置10によって生成した情報、本装置10が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。なお、少なくとも一部の情報は、例えば、メモリ102及び記憶装置104以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。また、メモリ102及び記憶装置104は、例えば、記憶部15として機能してもよい。
【0047】
本装置10は、例えば、さらに、入力装置105、及び出力装置106を含んでもよい。入力装置105は、例えば、文字、数字、画面上に表示された物の位置、画像、音等を入力する装置であり、具体的には、デジタイザ(タッチパネル等)、キーボード、マウス、スキャナ、撮像装置(カメラ)、マイク、センサ等である。出力装置106は、例えば、表示装置(LEDディスプレイ、液晶ディスプレイ等)、プリンター、スピーカー等が挙げられる。
【0048】
つぎに、本実施形態の傾向判定方法の一例を、
図3のフローチャートに基づき説明する。本実施形態の傾向判定方法は、例えば、
図1の傾向判定装置10を用いて、次のように実施する。なお、本実施形態の傾向判定方法は、
図1の傾向判定装置10の使用には限定されない。また、
図3においてかっこで示した工程は、任意の工程である。
【0049】
まず、提示部11により、反射体付き表示装置を介してコンテンツに関するコンテンツ情報をユーザに提示する(S11a、提示工程)。前記コンテンツがアナログコンテンツである場合、提示部11は、例えば、アナログコンテンツに関するコンテンツ情報のみを前記ユーザに提示してもよい。前記コンテンツがデジタルコンテンツである場合、提示部11は、例えば、前記デジタルコンテンツを含むコンテンツ情報を前記ユーザに提示してもよい。前記コンテンツ情報は、例えば、テキストデータ、画像データ、動画データ、音データ、及びこれらの中から任意の2つ以上の組み合わせ等であってもよい。前記コンテンツ情報は、例えば、予め記憶部15に記憶されていてもよいし、後述するように、取得部12により外部から取得してもよい。前記反射体付き表示装置は、鏡やガラス等の反射体を含む表示装置であれば、特に制限されない。前記反射体付き表示装置としては、例えば、後述の実施形態2記載の反射体付き表示装置20が挙げられる。前記ユーザは、例えば、反射体付き表示装置のディスプレイの正面に立っているユーザであり、購入者等ともいう。ここで、「反射体付き表示装置を介して」とは、前記反射体付き表示装置のディスプレイ上に表示されることを意味する。
【0050】
次に、取得部12により、反射体に写ったユーザを撮像した反射画像を取得する(S12a、取得工程)。前記反射体は、前記反射体付き表示装置の反射体である。具体的には、実施形態2にて説明する。前記反射画像は、前記反射体付き表示装置が撮像した画像であって、静止画であってもよいし、動画であってもよい。また、前記反射画像は、例えば、前記反射体付き表示装置によって連続して撮像されたデータでもよいし、一定間隔(例えば、10秒毎)で撮像されたデータでもよい。取得部12は、例えば、前記反射体付き表示装置から前記反射画像を直接取得してもよいし、外部のサーバ等を介して間接的に取得してもよい。また、取得部12は、例えば、前記反射画像とあわせて前記ユーザの音声を含む音データを取得してもよい。前記音データは、例えば、前記反射体付き表示装置における音に関する入力装置及び出力装置(マイク、センサ等)を用いて集音されたデータである。
【0051】
次に、生体情報分析部13により、前記反射画像から前記ユーザの生体情報を分析する(S13、生体情報分析工程)。前記生体情報は、特に制限されず、例えば、顔色、心拍(脈波)、表情、体温、声、目の動き、体の動き等である。前記心拍は、例えば、顔を撮像した鏡画像から血液中に含まれるヘモグロビン由来の緑色の変化に着目することで抽出できる。前記生体情報は、例えば、メモリ102及び記憶装置104等に記憶されてもよい。生体情報分析部13は、例えば、公知のアルゴリズムを用いて、前記生体情報を分析してもよい。
【0052】
次に、感情特定部14により、前記生体情報から前記ユーザの感情を数値化して特定する(S14、感情特定工程)。感情特定部14は、例えば、複数の感情を特定してもよく、前記感情毎に数値化してもよい。前記感情は、特に制限されず、ポジティブな感情であってもよく、ネガティブな感情であってもよい。具体的に、前記ポジティブな感情としては、例えば、喜び、驚き、関心、穏やか、敬愛、リラックス、興奮等があり、前記ネガティブな感情としては、例えば、悲しみ、怒り、諦め、嫌悪、恐怖、不安等がある。なお、前記ポジティブな感情及び前記ネガティブな感情は、上記例示に限定されず、例えば、ポジティブな感情であるかネガティブな感情であるかは、任意に設定可能であってもよい。前記感情の数値の上限及び下限は、特に制限されず、例えば、-100~100、―100~0、-10~10、-10~0、0~100、0~10、等である。なお、これは例示であって、例えば、前記感情の数値の上限は、100以上であってもよく、下限は、-100以下であってもよい。感情特定部14により特定された感情及びその数値は、例えば、メモリ102及び記憶装置104等に記憶されてもよい。感情特定部14は、例えば、公知のアルゴリズムを用いて、前記感情の特定を行ってもよい。
【0053】
感情特定部14により特定された前記感情及び前記感情の数値は、例えば、前記工程(S14)の後、提示部11により、前記反射体付き表示装置を介して前記ユーザに提示されもよい(S11b)。前記工程(S11b)は、例えば、後述の工程(S15)と並行して処理されてもよいし、後述の工程(S15)の後に処理されてもよい。これにより、前記ユーザは、自身の感情を把握することができる。また、ユーザは、前記反射体付き表示装置の反射体によっても、自身の感情を把握することができるため、前記ユーザにとって、感情特定部14により特定された前記感情及び前記感情の数値に対する納得性が高くなる。
【0054】
次に、記憶部15により、前記コンテンツ情報と紐づけて前記感情の数値を前記ユーザ毎に蓄積して記憶する(S15、記憶工程)。
【0055】
次に、関連性分析部16により、記憶部15に蓄積して記憶している前記感情の数値と、前記感情の数値と紐づいた前記コンテンツ情報との関連性を前記ユーザ毎に分析する(S16、関連性分析工程)。また、関連性分析部16が学習処理部161を含む場合は、例えば、まず、学習処理部161により、前記ユーザの前記感情の数値と前記コンテンツ情報とを学習用データとして用いた教師なし学習によって、学習モデルの学習処理を行ってもよい(S161)。そして、関連性分析部16は、例えば、前記学習モデルを用いて、前記感情の数値と前記コンテンツ情報との関連性を前記ユーザ毎に分析してもよい。すなわち、前記学習モデルは、前記ユーザの前記感情の数値と前記ユーザの前記コンテンツ情報との関連性を学習させたモデルである。前記学習モデルは、人工知能ソフトウェアの一部であるプログラムモジュールであってもよいし、多層化ネットワークであってもよい。前記多層化ネットワークとしては、例えば、ニューラルネットワーク等が挙げられる。前記ニューラルネットワークとしては、例えば、畳み込みニューラルネットワーク(Convolution Neural Network:CNN)等が挙げられるが、CNNに限定されず、CNN以外のニューラルネットワーク、SVM(Support Vector Machine)、ベイジアンネットワーク、回帰木等の他の学習アルゴリズムで構築された学習モデルであってもよい。
【0056】
そして、判定部17により、前記関連性の分析結果に基づき、前記ユーザの傾向を判定し(S17、判定工程)、終了する(END)。判定部18によれば、例えば、「『動物』に関連する前記コンテンツ情報が提示されると、『楽しい』という感情の数値が高くなる傾向がある」、「『楽しい』という感情の数値が高くなるとき、前記コンテンツ情報に『動物』が含まれている傾向がある」等の前記ユーザの傾向が分かる。
【0057】
また、例えば、前記工程(S12a)において、取得部12により、提示部11による前記コンテンツ情報の提示(前記工程(S11a))の前に前記ユーザを撮像した提示前反射画像と、前記提示(前記工程(S11a))の後に前記ユーザを撮像した提示後反射画像とを取得してもよい。前記提示前反射画像及び前記提示後反射画像に関しては、前述の前記反射画像の記載を援用できる。取得部12は、例えば、前記工程(S12a)において、前記提示前反射画像及び前記提示後反射画像をまとめて取得してもよいし、別々に取得してもよい。すなわち、取得部12は、例えば、前記工程(S11a)の前に前記提示前反射画像を取得して、前記工程(S12a)において前記提示後反射画像を取得してもよい。
【0058】
前記提示前反射画像及び前記提示後反射画像を取得した場合、例えば、前記工程(S13)において、生体情報分析部13により、前記提示前反射画像及び前記提示後反射画像のそれぞれから前記ユーザの生体情報を分析してもよい。具体的には、前述と同様である。生体情報分析部13は、例えば、前記提示前反射画像からの前記生体情報の分析と、前記提示後反射画像からの前記生体情報の分析とを並行して処理してもよいし、別々に処理してもよい。
【0059】
前記提示前反射画像及び前記提示後反射画像を取得した場合、例えば、前記工程(S14)において、感情特定部14により、前記提示前反射画像及び前記提示後反射画像のそれぞれから分析された生体情報から前記ユーザの感情を数値化して特定してもよい。具体的には、前述と同様である。感情特定部14は、例えば、前記提示前反射画像に基づく前記生体情報からの前記感情の特定と、前記提示後反射画像に基づく前記生体情報からの前記感情の特定とを並行して処理してもよいし、別々に処理してもよい。
【0060】
前記提示前反射画像及び前記提示後反射画像を取得した場合、例えば、前記工程(S15)において、記憶部15により、前記提示前反射画像における前記感情の数値と前記提示後反射画像における前記感情の数値との差分を前記コンテンツと紐づけて前記ユーザ毎に蓄積して記憶してもよい。前記差分は、例えば、前記提示前反射画像における前記感情の数値を基準として算出された差分であってもよい。
【0061】
前記提示前反射画像及び前記提示後反射画像を取得した場合、例えば、前記工程(S16)において、関連性分析部16により、記憶部15に蓄積して記憶している前記感情の数値の差分と、前記感情の数値の差分と紐づいた前記コンテンツとの関連性を前記ユーザ毎に分析してもよい。具体的には、例えば、前述と同様にして、前記関連性を分析する。
【0062】
前述したように、取得部12は、例えば、前記工程(S11a)の前に、前記コンテンツ情報を外部から取得してもよい(S12b)。そして、前記工程(S11a)にいて、提示部11は、例えば、前記反射体付き表示装置を介して取得部12が取得した前記コンテンツ情報をユーザに提示してもよい。前記外部とは、例えば、前記コンテンツ提供者のサーバ等であってもよい。
【0063】
前述したように、本装置10は、例えば、さらに、推奨部18を含んでもよい。推奨部18は、例えば、前記工程(S17)の後、判定した前記ユーザの傾向に基づき、複数の前記コンテンツ情報の中から少なくとも一つの前記コンテンツ情報を選択し、且つ選択した前記コンテンツ情報を前記反射体付き表示装置を介して前記ユーザに推奨する(S18、推奨工程)。具体的に、推奨部18は、例えば、「『動物』に関連する前記コンテンツ情報が提示されると、『楽しい』という感情の数値が高くなる傾向がある」ユーザに対して、動物に関連する前記コンテンツ情報を推奨する。なお、選択する前記コンテンツ情報は、例えば、これまで前記ユーザに提示及び推奨していない前記コンテンツ情報であってもよいし、前記ユーザに提示及び推奨したことのある前記コンテンツ情報であってもよい。
【0064】
本実施形態によれば、前記ユーザの感情を特定することで、ユーザの傾向を判定することができる。言い換えれば、本実施形態は、ユーザ自身の傾向のみを用いて、ユーザ毎に異なるコンテンツ情報を提供すること、すなわち、前記コンテンツ情報のパーソナライズ化が可能である。また、本実施形態によれば、ユーザの感情からユーザの傾向を判定するため、ユーザ自身が自覚している傾向のみならず、潜在的な傾向も判定することができる。さらに、本実施形態によれば、前記コンテンツ情報を前記ユーザに推奨することで、前記ユーザは、例えば、膨大な数のコンテンツの中から好みに合ったコンテンツを効率良く探し出すことができる。一方で、前記コンテンツの提供者は、例えば、ユーザに対して効率よくコンテンツの宣伝等をすることができる。また、前記コンテンツが商品やサービス等の販売物である場合、前記コンテンツの提供者は、例えば、ユーザの購入意識を刺激することができ、効率的に利益を得ることができる。一方で、前記ユーザは、例えば、不特定多数の人に送信されるダイレクトメッセージ等と異なり、自身の傾向に適した前記コンテンツ情報の推奨を受けることができ、不快な気持ちにならずにすむ。
【0065】
[実施形態2]
図4は、本実施形態の反射体付き表示装置20の一例の構成を示すブロック図である。
図4に示すように、本装置20は、反射体21、ディスプレイ22、撮像部23、送信部24、取得部25、及び表示処理部26を含む。本装置20は、例えば、任意の構成として、さらに、再生処理部27、音入出力部28、及び入力操作認識部29等を含んでもよい。これら各部は、例えば、内部バスにより相互に接続されている。本装置20は、前記実施形態1記載の傾向判定装置10と併用される装置である。
【0066】
本装置20は、例えば、前記各部を含む1つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置20は、前記通信回線網を介して、前述した外部装置と接続可能である。前記通信回線網は、特に制限されず、例えば、前述と同様である。また、本装置20は、例えば、本発明のプログラムがインストールされた反射体付き表示装置であってもよい。さらに、本装置20は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。本装置20は、例えば、前記通信回線網を介して前記実施形態1記載の傾向判定装置10と通信可能である。
【0067】
図5に、本装置20のハードウエア構成のブロック図を例示する。本装置20は、例えば、中央処理装置(CPU、GPC等)101、メモリ102、バス103、記憶装置104、入力装置105、出力装置106、通信デバイス107等を含む。本装置20の各部は、それぞれのインタフェース(I/F)により、バス103を介して相互に接続されている。反射体21も、例えば、バス103を介して、本装置20の各部と相互に接続されていてもよい。特に記載しない限り、前記各部の説明は、
図2に示す傾向判定装置10のハードウエア構成の記載を援用できる。なお、これらは例示であって、本装置20のハードウエア構成は、前記各部の処理を実行可能であれば、これに限定されない。また、本装置20に含まれる中央処理装置101等の数も
図5の例示に限定されるものではなく、例えば、複数の中央処理装置101が本装置20に含まれていてもよい。
【0068】
中央処理装置101は、例えば、送信部24、取得部25、表示処理部26、再生処理部27、及び入力操作認識部29等として機能する。
【0069】
入力装置105は、例えば、撮像装置108を含む。撮像装置108は、例えば、2Dカメラ、3Dカメラ、赤外線カメラ等のカメラである。撮像装置108は、例えば、撮像部23として機能する。撮像装置108は、1つでもよいし、2つ以上あってもよい。撮像装置108の設置場所は、特に制限されず、例えば、ユーザの顔を正面から撮像できる位置に配置されていてもよい。
【0070】
入力装置105及び出力装置106は、例えば、音の入出力に関する音入力装置109a及び音出力装置109bを含んでもよい。以下、音入力装置109a及び音出力装置109bをまとめて音入出力装置109という。音入出力装置109は、例えば、マイクやスピーカー等である。音入出力装置109は、例えば、音入出力部28として機能する。
【0071】
反射体21は、例えば、光の反射を利用して物を映す機能を有する物である。また、反射体21は、例えば、光を透過する機能を有していてもよい。前記光の波長は、特に制限されないが、例えば、可視光である。反射体21として、具体的には、例えば、フルミラー、ハーフミラー等の鏡、ガラス、ディスプレイ、フィルタ等がある。
【0072】
出力装置106は、例えば、ディスプレイ22として機能する。また、ディスプレイ22は、例えば、反射体21として用いられてもよい。
【0073】
反射体21とディスプレイ22とが別々で存在する場合、反射体21とディスプレイ22とは、例えば、接して配置されている。具体的には、例えば、反射体21が、ディスプレイ22の上下左右のいずれか一か所に接して配置され、反射体21とディスプレイ22がひとつなぎの状態になっていてもよい。また、反射体21が、ディスプレイ22の前面(表示面)に接して配置され、反射体21とディスプレイ22が重なる状態になってもよい。
【0074】
本装置20は、例えば、ショウウィンドウやガラスケース等のように、本装置20内に、前記コンテンツを収容可能な形態であってもよい。前記形態において、本装置20は、反射体21を介して、ユーザに対して、前記コンテンツを提示可能であってもよい。
【0075】
つぎに、本実施形態の表示処理方法の一例を、
図6のフローチャートに基づき説明する。本実施形態の表示処理方法は、例えば、
図4の反射体付き表示装置20を用いて、次のように実施する。なお、本実施形態の表示処理方法は、
図4の反射体付き表示装置20の使用には限定されない。また、
図6においてかっこで示した工程は、任意の工程である。
【0076】
まず、撮像部23により、反射体21に写ったユーザを撮像する(S21a、撮像工程)。撮像部23は、例えば、前記ユーザを連続して撮像してもよいし、一定間隔(例えば、10秒毎)で撮像してもよい。撮像部23により撮像した画像は、反射動画といい、前述の記載を援用できる。撮像部23は、例えば、前記ユーザの顔を正面方向から撮像する。
【0077】
次に、送信部24により、撮像部23により撮像された前記反射画像を傾向判定装置10に送信する(S22a、送信工程)。
【0078】
次に、取得部25により、傾向判定装置10が提示する前記コンテンツ情報を取得する(S23、取得工程)。
【0079】
そして、表示処理部26により、前記コンテンツ情報をディスプレイ22に表示し(S24、表示処理工程)、終了する(END)。
【0080】
また、取得部25は、例えば、前記工程(S23)において、傾向判定装置10が提示する前記ユーザの感情の数値を取得してもよい。そして、表示処理部26は、例えば、前記工程(S24)において、前記ユーザの感情の数値をディスプレイ22に表示してもよい。
【0081】
さらに、取得部25は、例えば、前記工程(S23)において、傾向判定装置10が推奨する前記コンテンツ情報を取得してもよい。そして、表示処理部26は、例えば、前記工程(S24)において、傾向判定装置10によって推奨された前記コンテンツ情報をディスプレイ22に表示してもよい。
【0082】
撮像部23は、例えば、表示処理部26によって前記コンテンツ情報をディスプレイ22に表示する前(前記工程(S21a))と、表示した後(工程(S21b))とで前記ユーザを撮像してもよい。そして、送信部24は、例えば、前記工程(S22a)において、前記表示する前に撮像した提示前反射画像を傾向判定装置10に送信し、かつ工程(S22b)において、前記表示した後に撮像した提示後反射画像を傾向判定装置10に送信してもよい。
【0083】
前述のように、本装置20は、例えば、さらに、再生処理部27、及び音入出力部28を含んでもよい。前記コンテンツ情報が音情報である場合、再生処理部27は、前記コンテンツ情報を音入出力部28により再生してもよい。また、送信部24は、例えば、前記工程(S22a)において、音入出力部28により集音した前記ユーザの音声を含む音データを前記反射画像とあわせて送信してもよい。
【0084】
前述のように、本装置20は、例えば、さらに、入力操作認識部29を含んでもよい。入力操作認識部29は、前記ユーザの入力操作を認識する(S25、入力操作認識工程)。前記入力操作は、特に制限されず、例えば、視線の検出、瞬きの検出、音声による指示、ディスプレイ22へのタッチ等がある。
図6において、前記工程(S25)を前記工程(S24)の後に記載しているが、これに制限されず、いつ実行されてもよい。入力操作認識部29による前記入力操作の認識によって、例えば、ディスプレイ22に表示されているカーソル等が操作されたり、文字等が入力されたり等、様々な入力操作が実行されてもよい。
【0085】
本実施形態によれば、例えば、前記反射画像を撮像して、傾向判定装置10に送信することで、前記ユーザの傾向を判定することができる。また、ユーザは、ディスプレイ22以外に、反射体21によっても、言い換えれば、傾向判定装置10を介することなく自身の感情を把握することができるため、前記ユーザにとって、傾向判定装置10により特定された前記感情及び前記感情の数値に対する納得性が高くなる。
【0086】
[実施形態3]
図7は、本実施形態の傾向表示システム装置100の一例の構成を示すブロック図である。
図7に示すように、本装置100は、前記実施形態1記載の傾向判定装置10と前記実施形態2記載の反射体付き表示装置20を含む。傾向判定装置10と反射体付き表示装置20とは、前記通信回線網を介して通信可能である。
【0087】
本実施形態の傾向表示方法は、
図3に示す傾向判定方法と、
図6に示す表示処理方法とを含む。
【0088】
以下、前記コンテンツが音楽である場合と旅行である場合とのそれぞれに傾向表示システム装置100を適用した一例について説明する。
【0089】
(音楽の場合)
図8Aに、前記コンテンツが音楽である場合の反射体付き表示装置20の一例を示す。
図8Aに示すように、反射体付き表示装置20は、例えば、スマートフォン等の端末であり、前記端末のスピーカー(図示せず)を介して音楽を流すことで、ユーザに対して前記音楽を聞かせる。すなわち、この場合の反射体21は、光を透過する機能を有していないものであり、例えば、ディスプレイ22そのものである。ディスプレイ22は、例えば、表示処理部26により複数の表示領域に分割されていてもよい。
図8(A)において、ディスプレイ22は、傾向判定装置10により特定された前記ユーザの感情の数値を表示する領域22aと、前記感情の数値以外の情報(例えば、前記コンテンツ情報等)を表示する領域22bとの2つの領域に分割されている。前記音楽は、特に制限されず、例えば、販売対象の音楽の形態としては、デジタルデータである音楽データであってもよいし、CD等の記録媒体に記録された音楽データであってもよい。反射体付き表示装置20は、ユーザが前記端末を操作して前記音楽を再生させたとき、すなわち、反射体21(ディスプレイ22)の前に、顔の正面を向けたとき、撮像部23により前記反射画像を撮像する。撮像部23は、例えば、前記音楽が再生している間、前記反射画像を継続して撮像してもよい。その後、前記反射画像を取得した傾向判定装置10(例えば、サーバ等)が、生体情報分析部13により前記ユーザの生体情報を分析する。生体情報分析部13は、例えば、継続して撮像した前記反射画像の時系列に沿って前記生体情報を分析してもよい。次に、傾向判定装置10は、感情特定部14により、前記ユーザの感情を数値化して特定する。感情特定部14は、例えば、時系列に沿って分析した前記生体情報に基づき、時系列に沿って前記感情を数値化して特定してもよい。言い換えれば、傾向判定装置10は、前記音楽の再生中における前記ユーザの感情の変化を分析・特定するといえる。その後、前記感情の数値を取得した反射体付き表示装置20が、表示処理部26により、前記数値をディスプレイ22aに表示する。これにより、前記ユーザは、前記音楽に対するユーザ自身の感情がフィードバックされる。一方で、傾向判定装置10は、記録部15により、前記音楽単位の前記ユーザの感情の数値を記憶する。次に、傾向判定装置10は、関連性分析部16により前記音楽と前記感情の数値との関連性を分析し、判定部17により前記ユーザの傾向を判定する。その後、傾向判定装置10は、推奨部18により前記ユーザの感情に適した音楽を選択して反射体付き表示装置20に再生させる。
【0090】
(旅行の場合)
図8Bに、前記コンテンツが旅行である場合の反射体付き表示装置20の一例を示す。
図8Bに示すように、反射体付き表示装置20は、例えば、デジタルサイネージであり、前記デジタルサイネージ上に前記旅行のカタログを表示する。これにより、ユーザは、旅行の内容を把握することができる。すなわち、この場合の反射体21は、光を透過する機能を有していないものであり、例えば、ディスプレイ22そのものである。反射体付き表示装置20は、例えば、複数の前記旅行のカタログを表示してもよい。
図8Bにおいて、ディスプレイ22は、前述と同様に、前記ユーザの感情の数値を表示する領域22aと、前記感情の数値以外の情報(例えば、前記コンテンツ情報、すなわち、前記旅行のカタログ等)を表示する領域22bとの2つの領域に分割されている。前記旅行のカタログは、特に制限されず、例えば、旅行中に見られる風景写真等であってもよい。反射体付き表示装置20は、ユーザが前記デジタルサイネージの前に立ったとき、すなわち、反射体21(ディスプレイ22)の前に、顔の正面を向けて立ったとき、撮像部23により前記反射画像を撮像する。その後、前記反射画像を取得した傾向判定装置10(例えば、サーバ等)が、生体情報分析部13により前記ユーザの生体情報を分析する。次に、傾向判定装置10は、感情特定部14により、前記ユーザの感情を数値化して特定する。その後、前記感情の数値を取得した反射体付き表示装置20が、表示処理部26により、前記数値をディスプレイ22aに表示する。これにより、前記ユーザは、前記音楽に対するユーザ自身の感情がフィードバックされる。一方で、傾向判定装置10は、記録部15により、反射体付き表示装置20に表示されている前記旅行のカタログと前記ユーザの感情の数値とを紐づけて記憶する。次に、傾向判定装置10は、関連性分析部16により前記旅行のカタログと前記感情の数値との関連性を分析し、判定部17により前記ユーザの傾向を判定する。その後、傾向判定装置10は、推奨部18により前記ユーザの感情に適し旅行のカタログを選択して反射体付き表示装置20に表示させる。
【0091】
[実施形態4]
本実施形態のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。本発明において、「手順」は、「処理」と読み替えてもよい。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されていてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体(non-transitory computer-readable storage medium)である。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ(ROM)、ハードディスク(HD)、光ディスク等が挙げられる。
【0092】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0093】
この出願は、2021年2月26日に出願された日本出願特願2021-030165を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【0094】
<付記>
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
(付記1)
提示部、取得部、生体情報分析部、感情特定部、記憶部、関連性分析部、及び判定部を含み、
前記提示部は、反射体付き表示装置を介してコンテンツに関するコンテンツ情報をユーザに提示し、
前記取得部は、反射体に写ったユーザを撮像した反射画像を取得し、
前記生体情報分析部は、前記反射画像から前記ユーザの生体情報を分析し、
前記感情特定部は、前記生体情報から前記ユーザの感情を数値化して特定し、
前記記憶部は、前記コンテンツ情報と紐づけて前記感情の数値を前記ユーザ毎に蓄積して記憶し、
前記関連性分析部は、前記記憶部に蓄積して記憶している前記感情の数値と、前記感情の数値と紐づいた前記コンテンツ情報との関連性を前記ユーザ毎に分析し、
前記判定部は、前記関連性の分析結果に基づき、前記ユーザの傾向を判定する、傾向判定装置。
(付記2)
前記提示部は、前記反射体付き表示装置を介して前記感情及び前記感情の数値を前記ユーザに提示する、付記1記載の傾向判定装置。
(付記3)
前記取得部は、前記提示部による前記コンテンツの提示の前に前記ユーザを撮像した提示前反射画像と、前記提示の後に前記ユーザを撮像した提示後反射画像とを取得し、
前記生体情報分析部は、前記提示前反射画像及び前記提示後反射画像のそれぞれから前記ユーザの生体情報を分析し、
前記感情特定部は、前記提示前反射画像及び前記提示後反射画像のそれぞれから分析された生体情報から前記ユーザの感情を数値化して特定し、
前記記憶部は、前記提示前反射画像における前記感情の数値と前記提示後反射画像における前記感情の数値との差分を前記コンテンツと紐づけて前記ユーザ毎に蓄積して記憶し、
前記関連性分析部は、前記記憶部に蓄積して記憶している前記感情の数値の差分と、前記感情の数値の差分と紐づいた前記コンテンツとの関連性を前記ユーザ毎に分析する、付記1又は2記載の傾向判定装置。
(付記4)
前記関連性分析部は、学習処理部を含み、
前記学習処理部は、前記ユーザの前記感情の数値と前記コンテンツ情報とを学習用データとして用いた教師なし学習によって、学習モデルの学習処理を行い、
前記関連性分析部は、前記学習モデルを用いて、前記感情の数値と前記コンテンツ情報との関連性を前記ユーザ毎に分析する、付記1から3のいずれかに記載の傾向判定装置。
(付記5)
前記取得部は、さらに、前記コンテンツを取得し、
前記提示部は、前記反射体付き表示装置を介して前記取得部が取得した前記コンテンツを前記ユーザに提示する、付記1から4のいずれかに記載の傾向判定装置。
(付記6)
さらに、推奨部を含み、
前記推奨部は、判定した前記ユーザの傾向に基づき、複数の前記コンテンツ情報の中から少なくとも一つの前記コンテンツ情報を選択し、且つ選択した前記コンテンツ情報を前記反射体付き表示装置を介して前記ユーザに推奨する、付記1から5のいずれかに記載の傾向判定装置。
(付記7)
付記1から6のいずれかに記載の傾向判定装置と併用される反射体付き表示装置であって、
反射体、ディスプレイ、撮像部、送信部、取得部、及び表示処理部を含み、
前記撮像部は、前記反射体に写ったユーザを撮像し、
前記送信部は、前記撮像部により撮像された反射画像を前記傾向判定装置に送信し、
前記取得部は、前記傾向判定装置が提示するコンテンツ情報を取得し、
前記表示処理部は、前記コンテンツ情報を前記ディスプレイに表示する、反射体付き表示装置。
(付記8)
前記取得部は、前記傾向判定装置が提示する前記ユーザの感情の数値を取得し、
前記表示処理部は、前記傾向判定装置によって提示された前記ユーザの感情の数値を前記ディスプレイに表示する、付記7記載の反射体付き表示装置。
(付記9)
前記撮像部は、前記表示処理部によって前記コンテンツを前記ディスプレイに表示する前と、表示した後とで前記ユーザを撮像し、
前記送信部は、前記表示する前に撮像した提示前反射画像と、前記表示した後に撮像した提示後反射画像とを前記傾向判定装置に送信する、付記7又は8記載の反射体付き表示装置。
(付記10)
前記取得部は、前記傾向判定装置が推奨する前記コンテンツ情報を取得し、
前記表示処理部は、前記傾向判定装置によって推奨された前記コンテンツ情報を前記ディスプレイに表示する、付記7から9のいずれかに記載の反射体付き表示装置。
(付記11)
さらに、再生処理部、及び音入出力部を含み、
前記コンテンツ情報が音情報である場合、
前記再生処理部は、前記コンテンツ情報を前記音入出力部により再生する、付記7から10のいずれかに記載の反射体付き表示装置。
(付記12)
さらに、入力操作認識部を含み、
前記入力操作認識部は、前記ユーザの入力操作を認識する、付記7から11のいずれかに記載の反射体付き表示装置。
(付記13)
付記1から6のいずれかに記載の傾向判定装置と、付記7から12のいずれかに記載の反射体付き表示装置とを含み、
前記傾向判定装置と前記反射体付き表示装置とは、通信回線網を介して通信可能である、傾向表示システム装置。
(付記14)
提示工程、取得工程、生体情報分析工程、感情特定工程、記憶工程、関連性分析工程、及び判定工程を含み、
前記提示工程は、反射体付き表示装置を介してコンテンツに関するコンテンツ情報をユーザに提示し、
前記取得工程は、反射体に写ったユーザを撮像した反射画像を取得し、
前記生体情報分析工程は、前記反射画像から前記ユーザの生体情報を分析し、
前記感情特定工程は、前記生体情報から前記ユーザの感情を数値化して特定し、
前記記憶工程は、前記コンテンツ情報と紐づけて前記感情の数値を前記ユーザ毎に蓄積して記憶し、
前記関連性分析工程は、前記記憶工程に蓄積して記憶している前記感情の数値と、前記感情の数値と紐づいた前記コンテンツ情報との関連性を前記ユーザ毎に分析し、
前記判定工程は、前記関連性の分析結果に基づき、前記ユーザの傾向を判定する、傾向判定方法。
(付記15)
前記提示工程は、前記反射体付き表示装置を介して前記感情及び前記感情の数値を前記ユーザに提示する、付記14記載の傾向判定方法。
(付記16)
前記取得工程は、前記提示工程による前記コンテンツの提示の前に前記ユーザを撮像した提示前反射画像と、前記提示の後に前記ユーザを撮像した提示後反射画像とを取得し、
前記生体情報分析工程は、前記提示前反射画像及び前記提示後反射画像のそれぞれから前記ユーザの生体情報を分析し、
前記感情特定工程は、前記提示前反射画像及び前記提示後反射画像のそれぞれから分析された生体情報から前記ユーザの感情を数値化して特定し、
前記記憶工程は、前記提示前反射画像における前記感情の数値と前記提示後反射画像における前記感情の数値との差分を前記コンテンツと紐づけて前記ユーザ毎に蓄積して記憶し、
前記関連性分析工程は、前記記憶工程に蓄積して記憶している前記感情の数値の差分と、前記感情の数値の差分と紐づいた前記コンテンツとの関連性を前記ユーザ毎に分析する、付記14又は15記載の傾向判定方法。
(付記17)
前記関連性分析工程は、学習処理工程を含み、
前記学習処理工程は、前記ユーザの前記感情の数値と前記コンテンツ情報とを学習用データとして用いた教師なし学習によって、学習モデルの学習処理を行い、
前記関連性分析工程は、前記学習モデルを用いて、前記感情の数値と前記コンテンツ情報との関連性を前記ユーザ毎に分析する、付記14から16のいずれかに記載の傾向判定方法。
(付記18)
前記取得工程は、さらに、前記コンテンツを取得し、
前記提示工程は、前記反射体付き表示装置を介して前記取得工程が取得した前記コンテンツを前記ユーザに提示する、付記14から17のいずれかに記載の傾向判定方法。
(付記19)
さらに、推奨工程を含み、
前記推奨工程は、判定した前記ユーザの傾向に基づき、複数の前記コンテンツ情報の中から少なくとも一つの前記コンテンツ情報を選択し、且つ選択した前記コンテンツ情報を前記反射体付き表示装置を介して前記ユーザに推奨する、付記14から18のいずれかに記載の傾向判定方法。
(付記20)
付記14から19のいずれかに記載の傾向判定方法と並行して実行される表示処理方法であって、
撮像工程、送信工程、取得工程、及び表示処理工程を含み、
前記撮像工程は、反射体に写ったユーザを撮像し、
前記送信工程は、前記撮像工程により撮像された反射画像を前記傾向判定方法を実行する傾向判定装置に送信し、
前記取得工程は、前記傾向判定装置が提示するコンテンツ情報を取得し、
前記表示処理工程は、前記コンテンツ情報をディスプレイに表示する、表示処理方法。
(付記21)
前記取得工程は、前記傾向判定装置が提示する前記ユーザの感情の数値を取得し、
前記表示処理工程は、前記傾向判定装置によって提示された前記ユーザの感情の数値を前記ディスプレイに表示する、付記20記載の表示処理方法。
(付記22)
前記撮像工程は、前記表示処理工程によって前記コンテンツを前記ディスプレイに表示する前と、表示した後とで前記ユーザを撮像し、
前記送信工程は、前記表示する前に撮像した提示前反射画像と、前記表示した後に撮像した提示後反射画像とを前記傾向判定装置に送信する、付記20又は21記載の表示処理方法。
(付記23)
前記取得工程は、前記傾向判定装置が推奨する前記コンテンツ情報を取得し、
前記表示処理工程は、前記傾向判定装置によって推奨された前記コンテンツ情報を前記ディスプレイに表示する、付記20から22のいずれかに記載の表示処理方法。
(付記24)
さらに、再生処理工程、及び音入出力工程を含み、
前記コンテンツ情報が音情報である場合、
前記再生処理工程は、前記コンテンツ情報を前記音入出力工程により再生する、付記20から23のいずれかに記載の表示処理方法。
(付記25)
さらに、入力操作認識工程を含み、
前記入力操作認識工程は、前記ユーザの入力操作を認識する、付記20から24のいずれかに記載の表示処理方法。
(付記26)
付記14から19のいずれかに記載の傾向判定方法と、付記20から25のいずれかに記載の表示処理方法とを含む、傾向表示方法。
(付記27)
提示手順、取得手順、生体情報分析手順、感情特定手順、記憶手順、関連性分析手順、及び判定手順を含み、
前記提示手順は、反射体付き表示装置を介してコンテンツに関するコンテンツ情報をユーザに提示し、
前記取得手順は、反射体に写ったユーザを撮像した反射画像を取得し、
前記生体情報分析手順は、前記反射画像から前記ユーザの生体情報を分析し、
前記感情特定手順は、前記生体情報から前記ユーザの感情を数値化して特定し、
前記記憶手順は、前記コンテンツ情報と紐づけて前記感情の数値を前記ユーザ毎に蓄積して記憶し、
前記関連性分析手順は、前記記憶手順に蓄積して記憶している前記感情の数値と、前記感情の数値と紐づいた前記コンテンツ情報との関連性を前記ユーザ毎に分析し、
前記判定手順は、前記関連性の分析結果に基づき、前記ユーザの傾向を判定する、ことをコンピュータに実行させるためのプログラム。
(付記28)
前記提示手順は、前記反射体付き表示装置を介して前記感情及び前記感情の数値を前記ユーザに提示する、付記27記載のプログラム。
(付記29)
前記取得手順は、前記提示手順による前記コンテンツの提示の前に前記ユーザを撮像した提示前反射画像と、前記提示の後に前記ユーザを撮像した提示後反射画像とを取得し、
前記生体情報分析手順は、前記提示前反射画像及び前記提示後反射画像のそれぞれから前記ユーザの生体情報を分析し、
前記感情特定手順は、前記提示前反射画像及び前記提示後反射画像のそれぞれから分析された生体情報から前記ユーザの感情を数値化して特定し、
前記記憶手順は、前記提示前反射画像における前記感情の数値と前記提示後反射画像における前記感情の数値との差分を前記コンテンツと紐づけて前記ユーザ毎に蓄積して記憶し、
前記関連性分析手順は、前記記憶手順に蓄積して記憶している前記感情の数値の差分と、前記感情の数値の差分と紐づいた前記コンテンツとの関連性を前記ユーザ毎に分析する、付記27又は28記載のプログラム。
(付記30)
前記関連性分析手順は、学習処理手順を含み、
前記学習処理手順は、前記ユーザの前記感情の数値と前記コンテンツ情報とを学習用データとして用いた教師なし学習によって、学習モデルの学習処理を行い、
前記関連性分析手順は、前記学習モデルを用いて、前記感情の数値と前記コンテンツ情報との関連性を前記ユーザ毎に分析する、付記27から29のいずれかに記載のプログラム。
(付記31)
前記取得手順は、さらに、前記コンテンツを取得し、
前記提示手順は、前記反射体付き表示装置を介して前記取得手順が取得した前記コンテンツを前記ユーザに提示する、付記27から30のいずれかに記載のプログラム。
(付記32)
さらに、推奨手順を含み、
前記推奨手順は、判定した前記ユーザの傾向に基づき、複数の前記コンテンツ情報の中から少なくとも一つの前記コンテンツ情報を選択し、且つ選択した前記コンテンツ情報を前記反射体付き表示装置を介して前記ユーザに推奨する、付記27から31のいずれかに記載のプログラム。
(付記33)
撮像手順、送信手順、取得手順、及び表示処理手順を含み、前記撮像手順は、反射体に写ったユーザを撮像し、
前記送信手順は、前記撮像手順により撮像された反射画像を付記27から32のいずれか一項に記載の第1のプログラムを実行する傾向判定装置に送信し、
前記取得手順は、前記傾向判定装置が提示するコンテンツ情報を取得し、
前記表示処理手順は、前記コンテンツ情報をディスプレイに表示する、ことをコンピュータに実行させるための第2のプログラム。
(付記34)
前記取得手順は、前記傾向判定装置が提示する前記ユーザの感情の数値を取得し、
前記表示処理手順は、前記傾向判定装置によって提示された前記ユーザの感情の数値を前記ディスプレイに表示する、付記33記載のプログラム。
(付記35)
前記撮像手順は、前記表示処理手順によって前記コンテンツを前記ディスプレイに表示する前と、表示した後とで前記ユーザを撮像し、
前記送信手順は、前記表示する前に撮像した提示前反射画像と、前記表示した後に撮像した提示後反射画像とを前記傾向判定装置に送信する、付記33又は34記載のプログラム。
(付記36)
前記取得手順は、前記傾向判定装置が推奨する前記コンテンツ情報を取得し、
前記表示処理手順は、前記傾向判定装置によって推奨された前記コンテンツ情報を前記ディスプレイに表示する、付記33から35のいずれかに記載のプログラム。
(付記37)
さらに、再生処理手順、及び音入出力手順を含み、
前記コンテンツ情報が音情報である場合、
前記再生処理手順は、前記コンテンツ情報を前記音入出力手順により再生する、付記33から36のいずれかに記載のプログラム。
(付記38)
さらに、入力操作認識手順を含み、
前記入力操作認識手順は、前記ユーザの入力操作を認識する、付記33から37のいずれかに記載のプログラム。
(付記39)
付記27から32のいずれかに記載の第1のプログラムと、付記33から38のいずれかに記載のプログラムとを含む、プログラム。
(付記40)
付記27から39のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【産業上の利用可能性】
【0095】
本発明によれば、ユーザの傾向を判定することができる。このため、本発明は、例えば、ユーザにコンテンツを推奨する場合において有用である。
【符号の説明】
【0096】
10 傾向判定装置
11 提示部
12 取得部
13 生体情報分析部
14 感情特定部
15 記憶部
16 関連性分析部
161 学習処理部
17 判定部
18 推奨部
20 反射体付き表示装置
21 反射体
22 ディスプレイ
23 撮像部
24 送信部
25 取得部
26 表示処理部
27 再生処理部
28 音入出力部
29 入力操作認識部
100 傾向表示システム装置
101 中央処理装置
102 メモリ
103 バス
104 記憶装置
105 入力装置
106 出力装置
107 通信デバイス
108 撮像装置
109 音入出力装置