IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人電気通信大学の特許一覧 ▶ 株式会社コアミックスの特許一覧

特許7584064心理評価装置、心理評価方法およびプログラム
<>
  • 特許-心理評価装置、心理評価方法およびプログラム 図1
  • 特許-心理評価装置、心理評価方法およびプログラム 図2
  • 特許-心理評価装置、心理評価方法およびプログラム 図3
  • 特許-心理評価装置、心理評価方法およびプログラム 図4
  • 特許-心理評価装置、心理評価方法およびプログラム 図5
  • 特許-心理評価装置、心理評価方法およびプログラム 図6
  • 特許-心理評価装置、心理評価方法およびプログラム 図7
  • 特許-心理評価装置、心理評価方法およびプログラム 図8
  • 特許-心理評価装置、心理評価方法およびプログラム 図9
  • 特許-心理評価装置、心理評価方法およびプログラム 図10
  • 特許-心理評価装置、心理評価方法およびプログラム 図11
  • 特許-心理評価装置、心理評価方法およびプログラム 図12
  • 特許-心理評価装置、心理評価方法およびプログラム 図13
  • 特許-心理評価装置、心理評価方法およびプログラム 図14
  • 特許-心理評価装置、心理評価方法およびプログラム 図15
  • 特許-心理評価装置、心理評価方法およびプログラム 図16
  • 特許-心理評価装置、心理評価方法およびプログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-07
(45)【発行日】2024-11-15
(54)【発明の名称】心理評価装置、心理評価方法およびプログラム
(51)【国際特許分類】
   A61B 5/16 20060101AFI20241108BHJP
   A61B 5/11 20060101ALI20241108BHJP
【FI】
A61B5/16 120
A61B5/11 230
【請求項の数】 11
(21)【出願番号】P 2021548913
(86)(22)【出願日】2020-09-23
(86)【国際出願番号】 JP2020035701
(87)【国際公開番号】W WO2021060245
(87)【国際公開日】2021-04-01
【審査請求日】2023-08-09
(31)【優先権主張番号】P 2019173151
(32)【優先日】2019-09-24
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
(73)【特許権者】
【識別番号】500389416
【氏名又は名称】株式会社コアミックス
(74)【代理人】
【識別番号】110000925
【氏名又は名称】弁理士法人信友国際特許事務所
(72)【発明者】
【氏名】水野 統太
(72)【発明者】
【氏名】板倉 直明
(72)【発明者】
【氏名】天田 知里
(72)【発明者】
【氏名】堀江 信彦
(72)【発明者】
【氏名】花田 健
(72)【発明者】
【氏名】中島 太陽
【審査官】牧尾 尚能
(56)【参考文献】
【文献】特開2016-000153(JP,A)
【文献】国際公開第2018/88042(WO,A1)
【文献】米国特許出願公開第2009/0312973(US,A1)
【文献】国際公開第2011/114620(WO,A1)
【文献】特開2018-007265(JP,A)
【文献】特開2018-036912(JP,A)
【文献】米国特許出願公開第2013/0179441(US,A1)
【文献】米国特許出願公開第2010/0194683(US,A1)
【文献】倉野 大二郎 ほか,マルチモーダルデータによる携帯映像閲覧者の興味推定,研究報告モバイルコンピューティングとユビキタス通信(MBL),日本,情報処理学会,2013年03月07日,Vol.2013-MBL-65 No.30,p.1-8
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/06- 5/22
A61B 5/00- 5/01
G06F 17/00
(57)【特許請求の範囲】
【請求項1】
被験者が保持する端末と一体に利用されるコンテンツに対する前記被験者の興味を推定する心理評価装置であって、
前記端末に内蔵された加速度センサで得られた加速度データを取得する加速度データ取得部と、
前記加速度データ取得部で得られた前記加速度データの内、重力方向の加速度データを周波数解析する周波数解析部と、
前記端末が特定のコンテンツを表示する際に、前記周波数解析部での周波数解析結果に基づいて、前記被験者の前記特定のコンテンツに対する興味を推定する評価部と、を備える
心理評価装置。
【請求項2】
前記加速度データ取得部は、前記端末に内蔵された加速度センサで得られた加速度データの他に、前記被験者の腕に装着された補助端末に内蔵された加速度センサで得られた加速度データも取得し、両低周波数データの差分データを得、
前記周波数解析部は、前記差分データを周波数解析する
請求項1に記載の心理評価装置。
【請求項3】
前記周波数解析部は、前記重力方向の交流成分の加速度データについて、少なくとも1Hzから20Hzの帯域を周波数解析する
請求項1又は2に記載の心理評価装置。
【請求項4】
前記評価部は、各周波数成分の平均の積分値の内で、ピークとなる積分値が小さな値であるとき、前記コンテンツに対する興味が高いと推定し、ピークとなる積分値が大きな値であるとき、前記コンテンツに対する興味が低いと推定する
請求項1~3のいずれか1項に記載の心理評価装置。
【請求項5】
被験者が保持する端末と一体に利用されるコンテンツに対する前記被験者の興味を推定する心理評価方法であって、
前記端末に内蔵された加速度センサで得られた加速度データを取得する加速度データ取得処理と、
前記加速度データ取得処理により得られた加速度データの内の重力方向の加速度データを周波数解析する周波数解析処理と、
前記端末が特定のコンテンツを表示する際に、前記周波数解析処理による周波数解析結果に基づいて、前記被験者の前記特定のコンテンツに対する興味を推定する評価処理と、を含む
心理評価方法。
【請求項6】
前記加速度データ取得処理では、前記端末に内蔵された加速度センサで得られた加速度データの他に、前記被験者の腕に装着された補助端末に内蔵された加速度センサで得られた加速度データも取得し、両低周波数成分の差分データを得、
前記周波数解析処理では、前記差分データを周波数解析する
請求項5に記載の心理評価方法。
【請求項7】
コンピュータに、被験者が保持する端末と一体に利用されるコンテンツに対する前記被験者の興味を推定する心理評価を実行させるプログラムであって、
前記端末に内蔵された加速度センサで得られた加速度データを取得する加速度データ取得手順と、
前記加速度データ取得手順により得られた加速度データの内の重力方向の加速度データを周波数解析する周波数解析手順と、
前記端末が特定のコンテンツを表示する際に、前記周波数解析手順による
周波数解析に基づいて、前記被験者の前記特定のコンテンツに対する興味を推定する評価手順と、を前記コンピュータに実行させる
プログラム。
【請求項8】
前記加速度データ取得手順では、前記端末に内蔵された加速度センサで得られた加速度データの他に、前記被験者の腕に装着された補助端末に内蔵された加速度センサで得られた加速度データも取得し、両加速度データの差分データを得、
前記周波数解析手順では、前記差分データの周波数解析する
請求項7に記載のプログラム。
【請求項9】
前記周波数解析部での周波数解析で得られた各周波数成分について、所定時間ごとの平均を算出する平均算出部を備え、
前記評価部は、前記平均算出部で算出された各周波数成分の平均の積分値が、前記端末が前記特定のコンテンツ以外を表示する際の平均の積分値よりも低い値であるとき、前記被験者の前記特定のコンテンツに対する興味が高いと推定する
請求項1に記載の心理評価装置。
【請求項10】
前記周波数解析処理での周波数解析で得られた各周波数成分について、所定時間ごとの平均を算出する平均算出処理を含み、
前記評価処理は、前記平均算出処理で算出された各周波数成分の平均の積分値が、前記端末が前記特定のコンテンツ以外を表示する際の平均の積分値よりも低い値であるとき、前記被験者の前記特定のコンテンツに対する興味が高いと推定する
請求項5に記載の心理評価方法。
【請求項11】
前記周波数解析手順での周波数解析で得られた各周波数成分について、所定時間ごとの平均を算出する平均算出手順を含み、
前記評価手順は、前記平均算出手順で算出された各周波数成分の平均の積分値が、前記端末が前記特定のコンテンツ以外を表示する際の平均の積分値よりも低い値であるとき、前記被験者の前記特定のコンテンツに対する興味が高いと推定する
請求項7に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツを閲覧しているユーザの嗜好などを評価する心理評価装置、心理評価方法およびプログラムに関する。
【背景技術】
【0002】
従来、スマートフォンやタブレット端末などの電子デバイスの普及に伴って、コンテンツの電子化が進んでいる。電子コンテンツの増加により、ユーザは、様々なコンテンツを電子デバイスのディスプレイに表示して、閲覧する機会が増えている。電子コンテンツとしては、例えば、書籍、漫画、各種動画などが含まれ、これらの電子コンテンツがスマートフォン等のディスプレイに表示されて、ユーザの閲覧に供せられる。
【0003】
スマートフォンで電子コンテンツを閲覧する場合、ユーザは、電子コンテンツを提供(販売)するサイトにアクセスして、サイトが提供している電子コンテンツのリストなどから、所望の電子コンテンツを選んで、サイトからの配信を受けることになる。
【0004】
ここで、電子コンテンツを提供するサイトでは、ユーザの過去のダウンロード履歴や閲覧履歴などに基づいて、ユーザが好むコンテンツの傾向を判断して、ユーザの嗜好に一致すると思われる電子コンテンツを推薦することが行われている。
【0005】
例えば特許文献1には、ネットワークを介して配信されるコンテンツの閲覧回数に基づいて、推薦するコンテンツを決定する処理が記載されている。
また、非特許文献1には、スマートフォンに内蔵された3軸加速度センサを用いてコンテンツ閲覧時の加速度波形を読み取り、閲覧時の振る舞いによるスマートフォン自体の3次元加速度とコンテンツの興味の関連性を評価する手法が記載されている。すなわち、非特許文献1には、関連性を評価する具体例として、ユーザにとって興味がある可能性が低いコンテンツのとき、3次元加速度をフーリエ変換した周波数成分の分布が分散するのに対し、ユーザにとって興味が高いコンテンツのとき、3次元加速度をフーリエ変換した周波数成分の分布が低周波成分の領域に集中することが記載されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2019-106033号公報
【非特許文献】
【0007】
【文献】顔洪、ユーザの振る舞いに基づく興味推定によるコンテンツ閲覧支援手法に関する研究、九州大学学習情報リポジトリ、2015年
【発明の概要】
【発明が解決しようとする課題】
【0008】
非特許文献1に記載されるように、コンテンツを閲覧する際に、スマートフォンに内蔵された3軸加速度センサの加速度データを使って、ユーザの閲覧コンテンツの興味を推定できることは、従来から知られている。しかしながら、従来の手法で、スマートフォンに内蔵された3軸加速度センサを用いて正確な評価を行うためには、ユーザがスマートフォンを手で持つ際の姿勢を、常に一定の状態とする必要がある。具体的には、スマートフォンを持った際のユーザの姿勢が変わるだけで、3軸加速度センサで取得される加速度波形が変化してしまい、正確な評価ができなくなってしまう。
【0009】
したがって、非特許文献1に記載された従来手法では、ユーザの興味を推定するために、予め決められた姿勢でユーザにスマートフォンを持たせる必要があり、汎用性の高い興味の推定方法とは言えないという問題がある。つまり、従来手法では、通常の使用状態とは異なる形態でユーザにスマートフォンを保持させる必要があるため、スマートフォンを日常的に使用した状態で、そのスマートフォンで表示したコンテンツに対するユーザの興味を推定することは困難であった。
【0010】
本発明は、スマートフォンなどの端末を日常的に使用した状態で、的確にユーザの興味を評価することができる、心理評価装置、心理評価方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の心理評価装置は、被験者が保持する端末と一体に利用されるコンテンツに対する被験者の興味を推定する心理評価装置であって、端末に内蔵された加速度センサで得られた加速度データを取得する加速度成分取得部と、加速度成分取得部で得られた加速度データの内、重力方向の加速度データを周波数解析する周波数解析部と端末が特定のコンテンツ以外を表示する際に、周波数解析部での周波数解析結果に基づいて、被験者の特定のコンテンツに対する興味を推定する評価部と、を備える。
【0012】
また、本発明の心理評価方法は、被験者が保持する端末と一体に利用されるコンテンツに対する被験者の興味を推定する心理評価方法であって、端末に内蔵された加速度センサで得られた加速度データを取得する加速度成分取得処理と、加速度成分取得処理により得られた加速度データの内の重力方向の加速度データを周波数解析する周波数解析処理と、周波数解析処理による周波数解析で得られた各周波数成分について、所定時間ごとの平均を算出する平均算出処理と、端末が特定のコンテンツを表示する際に平均算出処理で算出された各周波数成分の平均の積分値が、端末が特定のコンテンツ以外を表示する際に、周波数解析処理による周波数解析結果に基づいて、被験者の特定のコンテンツに対する興味を推定する評価処理と、を含む。
【0013】
また、本発明のプログラムは、上述した心理評価方法の各処理を実行する手順を、コンピュータに実装して実行させるものである。
【0014】
本発明によると、被験者の生理的振戦によって生じる振動を簡単な構成で的確に検出して、被験者のコンテンツに対する興味を的確に推定することが可能になる。
【図面の簡単な説明】
【0015】
図1】本発明の第1の実施の形態例による心理評価装置の適用例を示す図である。
図2】本発明の第1の実施の形態例による装置の構成例を示すブロック図である。
図3】本発明の第1の実施の形態例による心理評価装置の機能構成を示すブロック図である。
図4】本発明の第1の実施の形態例による加速度センサから得られる加速度データの例を示す図である。
図5】本発明の第1の実施の形態例による加速度センサから得られる加速度データの直流成分と交流成分を分離した例を示す図である。
図6】本発明の第1の実施の形態例による心理評価処理の流れを示すフローチャートである。
図7】本発明の第2の実施の形態例による心理評価装置の適用例を示す図である。
図8】本発明の第2の実施の形態例による装置の構成例を示すブロック図である。
図9】本発明の第2の実施の形態例による心理評価処理の流れを示すフローチャートである。
図10】本発明の第1及び第2の実施の形態例を適用して計測したコンテンツ閲覧時の周波数ごとの振幅の例を示す図である。
図11】本発明の第1及び第2の実施の形態例を適用して計測した作品の面白さと振幅積分値の相関関係の例を示す図である。
図12】本発明の第2の実施の形態例を適用して計測した2.5Hz~3.5Hzにおける振幅積分値の例を示す図である。
図13】本発明の第2の実施の形態例を適用して計測した際のアンケート評価値の例を示す図である。
図14】本発明の第3の実施の形態例によるコンテンツ閲覧時と非閲覧時の周波数解析結果を比較した図である。
図15】本発明の第3の実施の形態例による計測時の姿勢の例を示す図である。
図16】本発明の第3の実施の形態例による特定の被験者(被験者A)による興味の有無による周波数解析結果を比較した図である。
図17】本発明の第3の実施の形態例による特定の被験者(被験者B)による興味の有無による周波数解析結果を比較した図である。
【発明を実施するための形態】
【0016】
<1.第1の実施の形態例>
以下、本発明の第1の実施の形態例を、図1図6を参照して説明する。
[1-1.心理評価装置の適用例]
図1は、本実施の形態例の心理評価装置の適用例を示す。
本実施の形態例では、ユーザ(被験者)が片手で保持した端末100(スマートフォン)に、コンテンツ(電子漫画など)を表示させて、ユーザが閲覧中のコンテンツに対する興味を推測する心理評価を、端末100(又はサーバ200)で行うものである。
【0017】
すなわち、端末100は、コンテンツを配信するサーバ200とインターネットNを経由して通信を行い、サーバ200から配信されたコンテンツ(例えば電子漫画)を端末100の表示部101(図2)の画面101aが表示する。スマートフォンである端末100には、端末100を心理評価装置として機能させるためのアプリケーションプログラムが実装されている。
【0018】
ここでは、端末100は、ユーザaの手bで保持されているものとする。
端末100には、3軸加速度センサ105(図2)が内蔵されており、端末100は、手bで持った際の3軸(x軸、y軸、z軸)の加速度を検出することができる。図1に示すように、端末100に内蔵された3軸加速度センサ105で検出される加速度(ベクトル)のy軸は画面101aの縦方向(垂直方向)であり、x軸は画面101aの横方向(水平方向)であり、z軸は、画面101aと直交する方向である。
なお、ここでは説明を簡単にするために、画面101aの向きを基準にした3軸(x軸、y軸、z軸)を設定するようにしたが、相互に直交するx軸、y軸、z軸の3軸は、重力方向などのその他の向きを基準にして設定してもよい。例えば、重力方向(垂直方向)をy軸とし、重力方向と直交する2軸をx軸およびz軸に設定してもよい。これらの直交するx軸、y軸、z軸の3軸は、3軸加速度センサ105によって設定される。
本実施の形態例では、端末100に内蔵される3軸加速度センサ105により、ユーザaの手bの生理的振戦と称される振動が検出される。
【0019】
生理的振戦は、筋肉の収縮と弛緩が繰り返されて起こる振動であり、健常者であっても発生し、何らかの病気や障害に起因した振戦とは異なる。但し、生理的振戦は、非常に微小な振動であり、通常、健常者が生理的振戦を意識することはない。
生理的振戦の周波数は、例えば10Hz程度の低い周波数であることが知られているが、身体の部位によって変化する。例えば、手首より先の手では、生理的振戦による重力方向の振動の主要周波数が、2.5Hzから3.5Hzの範囲内にある。
【0020】
[1-2.装置構成の例]
図2は、図1に示す端末100とサーバ200のハードウェア構成の例を示す。
端末(スマートフォン)100は、表示部101、中央制御ユニット(CPU:Central Processing Unit)102、ROM(read only memory)103、RAM(random access memory)104、3軸加速度センサ105、及び無線通信部106を備え、それぞれがバスラインでデータ転送可能に接続されている。
【0021】
表示部101には、端末100内で生成した画像や外部からダウンロードした画像などが表示される。表示部101にはタッチパネルが配置され、表示部101は、このタッチパネルを通してユーザからの操作を受け付ける。
CPU102は、端末100が実行するプログラムのコードをROM103から読み出して実行する演算処理部である。
ROM103には、端末100で実行されるアプリケーションなどのプログラムが記憶されている。本実施の形態例で説明する、閲覧中のコンテンツに対する興味を推測する心理評価処理を行うプログラムも、ROM103に記憶されている。
RAM104には、演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。
【0022】
3軸加速度センサ105は、端末100に加わる加速度を、直交する3軸(x軸、y軸、z軸)ごとに検出する。
無線通信部106は、無線電話回線や無線LAN(local area network)などで無線通信を行う回路である。例えば、端末100は、無線通信部106による無線通信でインターネットNを経由してサーバ200にアクセスすることができる。
【0023】
サーバ200は、ネットワークインタフェース201、ユーザ管理部202、及びコンテンツ記憶部203を備える。
ネットワークインタフェース201は、インターネットNを介してアクセスされた端末100と通信を行う。
ユーザ管理部202は、アクセスがあった端末100ごとに登録されたユーザを認識し、認識したユーザの管理処理を行う。ユーザ管理部202が行うユーザに対する管理処理の一つとして、例えばユーザごとの過去のアクセス履歴や心理評価処理で推定した嗜好に応じて、該当するユーザに適切なコンテンツを推薦する処理がある。また、ユーザ管理部202は、アクセスされた端末100内で行われた心理評価処理の結果のデータを取得して、保持する。
【0024】
コンテンツ記憶部203には、サーバ200が提供するコンテンツ(例えば電子漫画や電子書籍)が記憶される。コンテンツ記憶部203に記憶されたコンテンツは、サーバ200にアクセスした端末100からの指示により、ユーザ管理部202によって読み出されて、端末100に転送される。
【0025】
[1-3.心理評価処理を行う構成の例]
図3は、端末100が心理評価処理を行うための構成を示す機能ブロック図である。この図3に示す各処理部の構成と機能は、図2に示す端末100が備えるCPU102が、ROM103からプログラムを読み出して実行することで得られるものである。
図3に示すように、端末100が心理評価処理を行うための構成として、加速度データ取得部111、低周波成分取得部112、高周波成分取得部113、重力成分取得部114、周波数解析部115、平均算出部116、及び評価部117を備える。
【0026】
加速度データ取得部111は、3軸加速度センサ105で検出された3軸の加速度データを取得する(加速度データ取得処理)。加速度データ取得部111は、例えば3軸加速度センサ105が出力する3軸の加速度を所定のサンプリング周波数(例えば50Hz)でサンプリングして、加速度の瞬時値を取得する。
低周波成分取得部112は、加速度データ取得部111で取得された3軸の加速度の瞬時値から、移動平均法を用いて高周波成分を遮断して3軸ごとに低周波成分を取得する。例えば、遮断周波数1Hz、移動平均点数を23点として、1Hz以下の低周波成分を取得する。
高周波成分取得部113は、加速度データ取得部111で取得された3軸の加速度データから、低周波成分取得部112で得られた低周波成分を減算して、遮断周波数(1Hz)より高い周波数の高周波成分を3軸ごとに取得する。
【0027】
重力成分取得部114は、3軸それぞれの重力成分を取得し、取得した3軸の重力成分を合成する(重力成分取得処理)。
重力成分取得部114での重力成分の取得は、例えば次の[数1]式により行われる。
【0028】
(数1)
×(f/9.8)
【0029】
ここで、fHは、高周波成分取得部113で取得される高周波成分、fLは低周波成分取得部112で取得される低周波成分である。[数1]式で低周波成分を9.8で割るのは、重力加速度が9.8m/sであることに基づく。
そして、重力成分取得部114は、3軸の重力成分X、Y、Zを合成する。すなわち、重力成分取得部114は、3軸の重力成分の加算値[X+Y+Z]を得る。
【0030】
このようにして、加速度データ取得部111で取得された3軸の加速度データから、重力成分を取得することは、3軸の加速度データに含まれる直流成分(静加速度)と交流成分(動加速度)を分解して、重力方向の交流成分を取得することに相当する。
すなわち、3軸加速度センサ105で検出される加速度データd図4及び図5に示す。図4に示す加速度データdは、図5に示すように、直流成分dDCと交流成分dACに分解することができる。交流成分dACは、3軸加速度センサ105で検出される加速度データdから、重力成分取得部114で取得された重力成分である直流成分dDCを除去することで得られる。
【0031】
直流成分dDCは重力加速度に相当し、交流成分dACは端末100が動いた加速度に相当する。ここでは、重力成分取得部114は、重力方向(垂直方向)の交流成分dACを取得し、その重力方向の交流成分dACを以下に説明するユーザの興味の解析処理に使用する。
このようにして、加速度データ取得部111で取得された3軸の加速度データから、直流成分dDCと交流成分dACに分解することで、3軸加速度センサ105の出力から、端末100が動いた加速度に相当する交流成分を簡単且つ的確に検出することができる。この端末100が動いた加速度に相当する交流成分は、以下に説明するように、ユーザの身体状態である生理的振戦を正確に検出したものであり、コンテンツを閲覧中のユーザの興味の推定などの各種推定に適用が可能である。
なお、3軸加速度センサ105としては、0Hzの直流成分を無視するものと、0Hzの直流成分を無視しないものがあるが、本実施の形態例の端末(スマートフォン)100では、0Hzの直流成分を無視しない3軸加速度センサ105が使用される。
【0032】
図3の説明に戻ると、周波数解析部115は、3軸の重力成分の加算値[X+Y+Z]を高速フーリエ変換して周波数解析して、周波数ごとの成分を取得する(周波数解析処理)。ここでは、周波数解析部115は、例えば計算点数を512点として高速フーリエ変換を行っている。高速フーリエ変換で周波数解析を行い、重力方向(垂直方向)の交流成分dACに相当する高い周波数成分の解析結果を得ることで、加速度データの交流成分dACの周波数解析結果を得ることになる。
平均算出部116は、周波数解析部115で周波数解析された結果を、周波数ごとに所定時間の平均値を取得する(平均算出処理)。ここでは、平均算出部116は、アンサンブル平均を取得する処理を行い、50%オーバーラップさせながら、所定時間ごとの平均値を取得する。
【0033】
評価部117は、平均算出部116で得られた平均値について、2Hz~5Hzの間の第1ピークの周波数(最も高いピークが得られる周波数)の成分を、一定期間(例えばコンテンツの閲覧期間)積分して、その積分値からコンテンツを閲覧中のユーザの興味を推定する(評価処理)。
【0034】
[1-4.心理評価処理の流れの例]
図6は、端末100が心理評価処理を行う流れを示すフローチャートである。
この図6のフローチャートに示す心理評価処理は、図3に示す各処理部で実行される。
まず、加速度データ取得部111は、3軸加速度センサ105で検出された3軸の加速度データを、所定のサンプリング周波数(例えば50Hz)でサンプリングして取得する(ステップS11)。
【0035】
次に、低周波成分取得部112は、加速度データ取得部111で取得された3軸の加速度から所定周波数以下(例えば1Hz以下)の低周波成分を3軸ごとに取得する(ステップS12)。さらに、高周波成分取得部113は、加速度データ取得部111で取得された3軸の加速度データから、低周波成分取得部112で得られた低周波成分を減算して、遮断周波数(1Hz)より高い高周波成分を3軸ごとに取得する(ステップS13)。
【0036】
その後、重力成分取得部114は、3軸それぞれの重力成分を取得し(ステップS14)、取得した3軸の重力成分を合成する(ステップS15)。
そして、周波数解析部115は、3軸の重力成分の合成値([数1]式で得た加算値[X+Y+Z])を高速フーリエ変換して周波数解析する(ステップS16)。
【0037】
さらに、平均算出部116は、周波数解析部115で周波数解析された結果の、周波数ごとの所定時間の平均値(50%オーバーラップさせたアンサンブル平均)を取得する(ステップS17)。
そして、評価部117は、平均算出部116で得られた平均値について、2Hz~5Hzの間の第1ピークとなる周波数を、一定期間積分して、その積分値からコンテンツを閲覧中のユーザの興味を推定する(ステップS18)。
【0038】
なお、本実施の形態によるユーザの興味の推定処理の具体的な評価の例については、後述する第2の実施の形態例の説明の後に、各実施の形態例を比較して説明する。
【0039】
<2.第2の実施の形態例>
次に、本発明の第2の実施の形態例を、図7図9を参照して説明する。
図7図9において、第1の実施の形態例で説明した図1図6に対応する箇所には同一符号を付し、重複説明は省略する。
【0040】
[2-1.心理評価装置の適用例]
図7は、第2の実施の形態例の心理評価装置の適用例を示す。
第2の実施の形態例でも、第1の実施の形態例と同様に、ユーザ(被験者)が片手で保持した端末100(スマートフォン)に、コンテンツ(電子漫画など)を表示させて、ユーザが閲覧中のコンテンツに対する興味を推測する心理評価を、端末100又はサーバ200で行う。
また、端末100が、サーバ200とインターネットNを経由して通信を行い、端末100の表示部101の画面101aに、サーバ200から配信されたコンテンツが表示される点も、第1の実施の形態例と同じである。
【0041】
そして、第2の実施の形態例の場合には、図6に示すように、ユーザの腕cに、スマートウォッチと称される補助端末300が装着される。ここで、腕cは、端末100を保持する側の腕である。補助端末(スマートウォッチ)300は、腕時計に類似した形状であり、表示部301の画面301aには、各種情報が表示される。
すなわち、補助端末300には、脈拍などのユーザの状態を計測する各種センサが内蔵され、画面301aに計測した脈拍数などが表示される。また、補助端末300は、端末100と近距離無線通信を行う機能を有し、端末100での電話やメールの着信を通知することもできる。さらに、補助端末300には、3軸加速度センサ305(図8)が内蔵されている。
【0042】
そして、端末100は、ユーザaの手bの生理的振戦と称される振動を、端末100に内蔵された3軸加速度センサ105と、補助端末300に内蔵された3軸加速度センサ305を使って検出する。端末100では、コンテンツを閲覧中のユーザの振動状態に基づいて、ユーザのコンテンツに対する興味を推定する(心理評価)。
なお、図7に示すように、端末100に内蔵された3軸加速度センサ105で検出される3軸の座標軸(x軸、y軸、z軸)と、補助端末300に内蔵された3軸加速度センサ305で検出される3軸の座標軸(x軸、y軸、z軸)は、それぞれの端末100、300の向きに対応したローカル座標軸であり、一致していない。
【0043】
[2-2.装置構成の例]
図8は、図7に示す端末100とサーバ200と補助端末300のハードウェア構成の例を示す。
端末(スマートフォン)100とサーバ200の構成については、第1の実施の形態例で図2に示した構成と基本的に同じである。但し、第2の実施の形態例の端末100は、補助端末300と通信を行うための近距離無線通信部107を備える点で、図2に示す端末100と相違する。
【0044】
補助端末(スマートウォッチ)300は、表示部301、CPU302、ROM303、RAM304、3軸加速度センサ305、及び近距離無線通信部306を備え、それぞれがバスラインでデータ転送可能に接続されている。
【0045】
表示部301には、補助端末300内で生成したメッセージなどを含む画像が表示される。
CPU302は、補助端末300が実行するプログラムのコードをROM303から読み出して実行する演算処理部である。
ROM303には、補助端末300で実行されるアプリケーションなどのプログラムが記憶されている。
RAM404には、演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。
【0046】
3軸加速度センサ305は、補助端末300に加わる加速度を、直交する3軸(x軸、y軸、z軸)ごとに検出する。
近距離無線通信部306は、端末100と無線通信を行う。近距離無線通信部306は、例えばBluetooth(ブルートゥース:登録商標)と称される近距離無線通信規格で、端末100側の近距離無線通信部107と無線通信を行う。
【0047】
[2-3.心理評価処理の流れの例]
図9は、端末(スマートフォン)100と補助端末(スマートウォッチ)300を使って、心理評価処理を行う流れを示すフローチャートである。
図9において、ステップS11~S18に示す処理は、端末100で行われる処理と同じであり、第1の実施の形態例の図6で説明したので省略する。
【0048】
補助端末300では、CPU302がROM303に用意されたプログラムを実行することにより、3軸加速度センサ305で検出された3軸の加速度データを、所定のサンプリング周波数(例えば50Hz)でサンプリングして取得する(ステップS21)。そして、補助端末300は、CPU302の制御により、3軸加速度センサ305により取得した3軸の加速度から、所定周波数以下(例えば1Hz以下)の低周波成分を3軸ごとに取得する(ステップS22)と共に、遮断周波数(1Hz)より高い高周波成分を3軸ごとに取得する(ステップS23)。
【0049】
さらに、補助端末300は、CPU302の制御により、3軸の加速度の高周波成分から、3軸それぞれの重力成分を取得し(ステップS24)、取得した3軸の重力成分を合成する(ステップS25)。ステップS25で得られた3軸の重力成分の合成値(加算値)は、近距離無線通信部306から端末100に送信される。
【0050】
端末100では、補助端末300から伝送された3軸の重力成分の合成値を、近距離無線通信部107が受信し、ステップS15で算出した端末100側の3軸の重力成分の合成値と、ステップS25で得られた3軸の重力成分の合成値との差分が算出される(ステップS26)。この差分の算出は、例えば図3に示す端末100の重力成分取得部114で行われる。
【0051】
そして、ステップS26で得られた端末100と補助端末300との3軸の重力成分の合成値の差分が、周波数解析部115に送られ、3軸の重力成分の合成値の差分の高速フーリエ変換で、周波数解析が行われる(ステップS16)。以下、図6のフローチャートの処理と同様に、ステップS17の処理とステップS18の処理が、平均算出部116と評価部117で行われる。
【0052】
<3.第1及び第2の実施の形態例による評価の例>
次に、ここまで説明した第1及び第2の実施の形態例による、コンテンツの閲覧時のユーザの興味を推定する評価処理の具体例と、効果について説明する。
図10は、ユーザが端末(スマートフォン)100でコンテンツ(ここでは電子漫画)を閲覧中に発生する、ユーザの持つ端末の加速度データの周波数に対する垂直成分(重力方向の成分)の振幅を示したものである。
【0053】
図10の横軸は周波数、縦軸は加速度の振幅であり、横軸は1Hzから25Hzまでの周波数範囲を示す。振幅は、コンテンツを閲覧中の加速度データの平均の積分値である。図10に示す特性W1は、端末(スマートフォン)100の3軸加速度センサ105で検出した加速度データによる周波数ごとの振幅である。この特性W1は、第1の実施の形態例で算出された値に相当する。
【0054】
また、特性W2は、補助端末(スマートウォッチ)300の3軸加速度センサ305で検出した加速度データによる周波数ごとの振幅であり、特性W3は、端末100の3軸加速度センサ105の出力と、補助端末300の3軸加速度センサ305の出力との差分データによる周波数ごとの振幅である。この特性W3は、第2の実施の形態例で算出された値に相当する。
なお、図10に示す差分データは、周波数信号の差分を解析したものであるため、各加速度データの位相によって、差分の振幅W3の方が、元の信号の振幅W1,W2よりも大きくなる場合がある。
【0055】
図10の特性W1,W2,W3を見ると分かるように、2Hzよりも低い帯域では、端末100を持った手や腕の動きに基づいた非常に大きな振幅となっているが、2Hzから5Hzの帯域では、約3Hzにピークを持ったそれなりの振幅が検出されている。特に、端末100の3軸加速度センサ105の出力に基づいた振幅特性W1と、差分の振幅特性W3については、明確なピークが検出される山なりの特性となっている。
また、5Hzよりも高い帯域では、2Hzから5Hzの帯域よりも検出される振幅が小さくなり、検出される振幅値が非常に小さい。
【0056】
図10に示す振幅特性の内で、2Hzから5Hzの帯域で検出されている振幅は、ユーザの生理的振戦によって生じる振動の成分に相当する。ユーザの生理的振戦は、筋肉の収縮と弛緩が繰り返されて起こる振動であり、通常、健常者が生理的振戦による振動を意識することはない。生理的振戦によって生じる振動の周波数は、身体の部位によって変化するが、例えば手指の生理的振戦は、10Hzと25Hzに主要周波数を持つことが知られている。但し、これらの周波数は、手指が何も持っていない状態での周波数である。
【0057】
ユーザの生理的振戦による振動状態は、ユーザの興味によって変化することが知られている。
すなわち、ユーザが手で端末100を持った状態で、その端末100に表示された電子漫画などのコンテンツを閲覧したとき、そのコンテンツに興味があるとき(コンテンツが面白いと思ったとき)、生理的振戦による手の振動が少なくなり、コンテンツに興味がないとき(コンテンツが面白くないとき)、生理的振戦による手の振動が多くなることが知られている。
【0058】
図10に示す端末100の3軸加速度センサ105の出力に基づく特性W1や、端末100と補助端末300の差分データに基づく特性W3の2Hzから5Hzの帯域で検出される振幅のピーク値は、生理的振戦による手の振動の成分を検出したものであり、ユーザが閲覧したコンテンツの興味に反映して変化する。図6及び図9のフローチャートのステップS18でのコンテンツの興味の評価処理では、振幅のピーク値が低いとき、そのとき閲覧したコンテンツに対する興味が高いと推定し、振幅のピーク値が高いとき、そのとき閲覧したコンテンツに対する興味が低いと推定する。
【0059】
図11は、ある1つのコンテンツをユーザが閲覧した場合の、そのコンテンツの面白さと各周波数帯の振幅積分値との相関関係の一例を示す。
図11では、1Hzから2Hz、2Hzから3Hz、3Hzから4Hz、4Hzから5Hzの4つの周波数帯域について、端末(スマートフォン)100の3軸加速度センサ105の出力の振幅積分値と、端末100と補助端末300の差分の出力の振幅積分値の平均と分散を示している。
【0060】
端末100単体で検出された振幅積分値の場合には、3Hzから4Hzの帯域の振幅積分値の平均が最も高い値なので、この3Hzから4Hzの帯域の振幅積分値の平均と分散を使って、興味の評価処理を行うことができる。
【0061】
端末100と補助端末300の差分の出力の振幅積分値の場合には、2Hzから3Hzの帯域の振幅積分値の平均が最も高い値なので、差分出力を利用する場合には、この2Hzから3Hzの帯域の振幅積分値の平均と分散を使って、興味の評価処理を行うことができる。
【0062】
図12は、三人の被験者[1]、[2]、[3]に、作品A、B、Cの3つのコンテンツを端末100で一定時間ずつ閲覧したときの、その閲覧中の振幅の積分値を示す。図13は、同じく三人の被験者[1]、[2]、[3]に、作品A、B、Cの3つのコンテンツを端末100で一定時間ずつ閲覧した際の、作品閲覧後に各被験者[1]、[2]、[3]が行ったアンケート結果を示す。アンケート結果では、各作品A、B、Cが面白かったか否かを、10段階で評価(値10が最も高い評価、値1が最も低い評価)した例を示す。
図12に示す振幅の積分値は、端末100と補助端末300の差分の出力の振幅積分値である。
【0063】
被験者[1]の場合、図12に示すように、作品Aと作品Cの振幅積分値が比較的低く、作品Bの振幅積分値が作品Aと作品Cの振幅積分値よりも高くなっている。一方、図13に示すアンケート結果では、作品Bが最も評価値が低い「5」であり、作品Aはそれよりも高い「6」であり、作品Cはさらに高い「7」である。したがって、振幅積分値が被験者[1]の作品A、B、Cの興味をほぼ反映していることが分かる。
【0064】
被験者[2]の場合、図12に示すように、作品A、B、Cの振幅積分値はほぼ同じである。一方、図13に示すアンケート結果では、作品Aが「7」、作品Bが「8」、作品Cが「7」であり、3つの作品の興味にほとんど変化がない。したがって、被験者[2]の場合にも、振幅積分値が作品A、B、Cの興味をほぼ反映していることが分かる。
【0065】
被験者[3]の場合、図12に示すように、作品Aの振幅積分値が比較的高く、作品Bと作品Cの振幅積分値がそれよりも低くなっている。一方、図13に示すアンケート結果では、作品Aが最も評価値が低い「4」であり、作品Bはそれよりも高い「7」であり、作品Cはさらに高い「9」である。したがって、被験者[3]の場合にも、振幅積分値が作品A,B,Cの興味をほぼ反映していることが分かる。
このように、作品(コンテンツ)に対する興味と振幅積分値には明確な相関関係がある。
なお、図12の例は、第2の実施の形態例による振幅積分値であるが、図1に示すように端末(スマートフォン)100単体で計測した振幅積分値の場合にも、3Hz付近にピークがあり、そのピーク成分から同様に作品に対する興味の推定が可能である。
【0066】
このように、本発明の第1および第2の実施の形態例によると、ユーザが手で持った端末100に何らかのコンテンツ(電子漫画、書籍、雑誌、動画など)を表示させて閲覧させたとき、閲覧中の加速度センサが検出した加速度データに基づいて、生理的振戦に相当する振動成分の積分値を得るようにしたことで、その積分値の大小から、ユーザの興味を推定することができる。
したがって、例えば端末100で得られた興味の推定値を、コンテンツを配信した業者側に送ることで、端末100を所持したユーザが興味を持つコンテンツの傾向などを取得でき、それぞれのユーザが興味を持つコンテンツを推薦できるようになる。
【0067】
この場合、本発明の第1および第2の実施の形態例では、端末100に内蔵された3軸加速度センサの出力から、重力方向の交流成分を取り出し、その交流成分を周波数解析するようにしたので、端末100を持つ手がどのような状態であっても(すなわち興味の判定用に手を特別に固定することなく)、良好に興味を推定できるようになり、ユーザによるコンテンツの日常的な閲覧時に、簡単に興味を推定できるようになる。
【0068】
また、第2の実施の形態例の場合には、端末(スマートフォン)100と補助端末(スマートウォッチ)300とを使って、両者に内蔵された3軸加速度センサの出力の差を周波数解析するようにしたので、振幅積分値から腕の振動成分が除去されることになり、より高い精度での興味の推定が可能になる。但し、図12及び図13で説明したように、端末(スマートフォン)100のみを使用した第1の実施の形態例であっても、演算値から興味を推定することは可能であり、補助端末(スマートウォッチ)300が必須ではない。
【0069】
<4.第3の実施の形態例>
次に、本発明の第3の実施の形態例を、図14図17を参照して説明する。
既に説明した第1および第2の実施の形態例では、複数のユーザが所持した端末100や補助端末300を使って、コンテンツに対する興味が高いユーザを推定するようにした。これに対して、本発明の第3の実施の形態例では、一人のユーザが所持した端末100や補助端末300に内蔵された3軸加速度センサの出力から周波数解析することで、その所持したユーザのコンテンツに対する興味の有無を推定するようにしている。
【0070】
本発明の第3の実施の形態例では、第2の実施の形態例と同様に、端末(スマートフォン)100と補助端末(スマートウォッチ)300とを使って、両者に内蔵された3軸加速度センサの出力の差を周波数解析するようにした。3軸加速度センサの出力の差を周波数解析する処理は、既に第2の実施の形態例で説明した処理と同じである。本発明の第3の実施の形態例では、得られた周波数解析結果を評価する処理が第2の実施の形態例と異なる。
【0071】
図14は、本発明の第3の実施の形態例で、ユーザが手で持った端末100に、興味のある特定のコンテンツを表示させたときの周波数解析結果(d12)と、特定のコンテンツ以外の興味がないコンテンツを表示させたときの周波数解析結果(d11)とを比較したものである。
この図14の周波数解析結果は、ユーザが図15に示す状態で計測したものである。すなわち、ユーザは、座った状態で手bにより端末(スマートフォン)100に保持すると共に、腕cに補助端末(スマートウォッチ)300を装着し、その腕cの肘を机400の上に置いた状態で、端末100でコンテンツを閲覧する。この図15に示すような姿勢で閲覧したとき、端末100や補助端末300には、主として机400の上に置かれた肘を支点として、その机400と手bとの間の距離αの変動に相当する振動が生じる。図14の周波数解析結果では、3Hz~5Hz程度の周波数帯が、高い振幅値となっている。
【0072】
図14に示す周波数の解析結果(d11、d12)は、このような周波数成分を解析した結果であり、興味のある特定のコンテンツを表示させたときの周波数解析結果(d12)の振幅は、興味のないコンテンツを表示させたときの周波数解析結果(d11)の振幅よりも大幅に高くなっている。
つまり、[興味のあるコンテンツを閲覧しているときの振幅]>[興味のないコンテンツを閲覧しているときの振幅]との関係が成り立つ。これは、興味のあるコンテンツを閲覧しているとき、企図振戦と称される振動が発生していることを示すものである。
【0073】
なお、3Hz~5Hz程度の周波数帯に企図振戦の影響が現れるのは、図15に示す状態で端末100を保持した場合であり、ユーザの姿勢によって、企図振戦の影響が現れる周波数帯は異なる。
図16図17は、企図振戦の影響が現れる周波数帯の例を示すものである。
図16に示す解析結果(d21、d22)は、ユーザが図15に示すように肘を机400に接触させた状態で、手のひら全体で持った端末100にコンテンツを表示させた場合における、興味があるコンテンツを表示したときの周波数解析結果(d22)と、興味がないコンテンツを表示したときの周波数解析結果(d21)とを示す。この図16の例の場合には、図14の例と同様に、ほぼ3Hz~5Hz程度の周波数帯で、振幅値に大きな変化が生じている。
【0074】
図17に示す解析結果(d31、d32)は、座ったユーザが指だけで端末100を支えて持った状態で、その端末100にコンテンツを表示させた場合における、興味があるコンテンツを表示したときの周波数解析結果(d32)と、興味がないコンテンツを表示したときの周波数解析結果(d31)とを示す。この図17の例の場合には、3Hz~20Hzの範囲の周波数帯で、振幅値に大きな変化が生じている。特に、3Hz~20Hzの中の7Hz~11Hzでは、興味があるコンテンツを表示したときの周波数解析結果(d32)に大きな振幅値が発生し、企図振戦が7Hz~11Hzの範囲で大きく現れている。
【0075】
また、図示していないが、ユーザが立った状態で端末100を持った状態では、1Hzの近傍の周波数帯に企図振戦が現れ、1Hzの付近で、興味があるコンテンツを表示したときの周波数解析結果と、興味がないコンテンツを表示したときの周波数解析結果とで比較的大きな変化が生じる。
これらの様々な姿勢を考慮すると、本実施の形態例の場合、1Hz~20Hzの周波数帯で振幅に変化があるのを判別して、興味の有無を推定するのが好ましい。
【0076】
以上説明したように、本発明の第3の実施の形態例によると、端末100に表示された特定のコンテンツに対する興味の推定が、他のコンテンツを表示したときとの企図振戦の相違に基づいて良好に行うことができる。
なお、ユーザ自身の興味の有無を推定する図14図16図17の周波数解析例は、いずれも端末100と補助端末300とを使って行った場合であり、端末100で検出される周波数と補助端末300で検出される周波数との差分を取った例である。このように端末100と補助端末300とを使うのが好ましいが、第1の実施の形態例で説明した端末100だけを使用した例の場合にも、同様の周波数解析結果を取得することができる。
【0077】
<5.変形例>
なお、上述した各実施の形態例では、端末100としてスマートフォンとし、補助端末300としてスマートウォッチを適用したが、タブレット端末など、3軸加速度センサを内蔵したその他の端末に適用してもよい。
【0078】
また、上述した各実施の形態例では、端末100内で加速度データから評価のためのデータ処理を全て行うようにしたが、加速度データの取得処理から評価処理までの処理の内の一部又は全てを、サーバ200などの外部で行うようにしてもよい。例えば、端末100では加速度データの周波数解析や平均値の算出までを行い、その算出した平均値の積分値は、サーバ200に送信し、サーバ200側で評価処理を行うようにしてもよい。
【0079】
また、上述した各実施の形態例では、周波数解析した結果を、アンサンブル平均して得られた平均値を積分して、振幅積分値を得るようにした。これに対して、その他の平均値を得るようにしてもよい。また、周波数ごとの平均の振幅積分値を得る際には、コンテンツを閲覧期間の積分値を得るようにしたが、例えば、コンテンツを閲覧して間の決められた一定時間(例えば1分間や3分間などの決められた時間)に積分した値としてもよい。
【0080】
また、上述した各実施の形態例で説明した処理は、端末100などに実装するプログラムで実行されるものであり、該当する処理を実行するプログラムを用意して、既存のスマートフォンなどの端末などに実装することで、各実施の形態例で説明した心理評価装置として構成することができる。端末に実装するプログラムは、各種記録媒体やネットワークを経由して、端末に送ることができる。
【0081】
また、上述した各実施の形態例では、端末100の表示部101が画面に表示した電子コンテンツ(電子漫画や電子書籍など)に対する興味の評価処理を行うようにした。これに対して、例えば、端末100と一体に利用されるその他のコンテンツを利用者が見ている際の興味の評価処理を行うようにしてもよい。例えば、端末100の上に載せた紙媒体の書籍(漫画、雑誌、その他の書籍など)を閲覧する際の興味の評価処理を、端末100に内蔵された加速度センサ105(及び補助端末(スマートウォッチ)300)の出力に基づいて行うようにしてもよい。
また、紙媒体の書籍の閲覧時に適用する場合には、端末100を書籍に挟むことが可能な程度の小型形状として、紙媒体の書籍(コンテンツ)と端末100とが一体に利用されるようにしてもよい。
【符号の説明】
【0082】
100…端末(スマートフォン)、101…表示部、101a…画面、102…中央制御ユニット(CPU)、103…ROM、104…RAM、105…3軸加速度センサ、106…無線通信部、107…近距離無線通信部、111…加速度データ取得部、112…低周波成分取得部、113…高周波成分取得部、114…重力成分取得部、115…周波数解析部、116…平均算出部、117…評価部、200…サーバ、201…ネットワークインタフェース、202…ユーザ管理部、203…コンテンツ記憶部、300…補助端末(スマートウォッチ)、301…表示部、301a…画面、302…中央制御ユニット(CPU)、303…ROM、304…RAM、305…3軸加速度センサ、306…近距離無線通信部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17