IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 住友電気工業株式会社の特許一覧

特許7684541提供システム、提供方法、及びコンピュータプログラム
<>
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図1
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図2
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図3
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図4
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図5
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図6
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図7
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図8
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図9
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図10
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図11
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図12
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図13
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図14
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図15
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図16
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図17
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図18
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図19
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図20
  • 特許-提供システム、提供方法、及びコンピュータプログラム 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-20
(45)【発行日】2025-05-28
(54)【発明の名称】提供システム、提供方法、及びコンピュータプログラム
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20250521BHJP
【FI】
G06Q50/10
【請求項の数】 13
(21)【出願番号】P 2023550854
(86)(22)【出願日】2021-09-29
(86)【国際出願番号】 JP2021035898
(87)【国際公開番号】W WO2023053278
(87)【国際公開日】2023-04-06
【審査請求日】2024-04-18
(73)【特許権者】
【識別番号】000002130
【氏名又は名称】住友電気工業株式会社
(74)【代理人】
【識別番号】100123021
【弁理士】
【氏名又は名称】渥美 元幸
(74)【代理人】
【識別番号】100126538
【弁理士】
【氏名又は名称】嶺 直道
(72)【発明者】
【氏名】前川 智哉
(72)【発明者】
【氏名】日比野 真吾
(72)【発明者】
【氏名】小柳津 直樹
(72)【発明者】
【氏名】別府 有香
(72)【発明者】
【氏名】上田 篤
【審査官】青柳 光代
(56)【参考文献】
【文献】特開2021-129891(JP,A)
【文献】特表2014-535114(JP,A)
【文献】国際公開第2014/027373(WO,A1)
【文献】国際公開第2019/073661(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 - 99/00
(57)【特許請求の範囲】
【請求項1】
接触面を有するセンサによって計測された、当該接触面が接触する面の変化の度合いを示す物理量に基づいて、前記センサのユーザの体表面への接触状態を推定する推定部と、
前記推定部による前記接触状態の推定結果に基づいて、前記センサが前記体表面に接触した前記ユーザが前記物理量を前記ユーザ以外の他者に提供することを許諾したか否かを判断し、許諾したと判断した場合に、前記物理量の前記他者が利用する装置への提供を開始する提供部と、を備える、提供システム。
【請求項2】
前記接触面には、剥がすことにより前記体表面への前記センサの貼り付けを可能にする剥離シートが設けられており、
前記剥離シートには、前記センサが前記体表面に接触していることが、前記物理量を前記他者に提供することへの許諾の条件となることが印刷されている、請求項1に記載の提供システム。
【請求項3】
前記推定部は、前記物理量と第1閾値との比較結果に基づいて、前記センサが前記体表面に接触していることを推定し、
前記提供部は、前記推定部により前記センサが前記体表面へ接触したと推定された場合に、前記物理量の前記他者が利用する装置への提供を開始する、請求項1または請求項2に記載の提供システム。
【請求項4】
前記推定部は、前記物理量と前記第1閾値との比較結果の持続時間に基づいて、前記センサが前記体表面に接触していることを推定する、請求項3に記載の提供システム。
【請求項5】
前記推定部は、前記物理量と第2閾値との比較結果に基づいて、前記センサが前記体表面に接触していないことを推定し、
前記提供部は、前記推定部により前記センサが前記体表面に接触していないと推定された場合に、前記物理量の前記他者が利用する装置への提供を終了する、請求項1または請求項2に記載の提供システム。
【請求項6】
前記推定部は、前記物理量と前記第2閾値との比較結果の持続時間に基づいて、前記センサが前記体表面から接触していないことを推定する、請求項5に記載の提供システム。
【請求項7】
前記提供システムは、
前記センサを識別するセンサ識別子を登録する登録部と、
前記センサから、前記物理量と当該センサの前記センサ識別子との組を受信する物理量受信部とをさらに備え、
前記提供部は、前記物理量受信部が受信した前記組のうち、前記登録部が登録した前記センサ識別子を含む組を前記他者が利用する装置に提供する、請求項1または請求項2に記載の提供システム。
【請求項8】
前記提供部は、さらに、前記物理量受信部が受信した前記組のうち、前記登録部が登録した前記センサ識別子を含まない前記組を前記他者が利用する装置に送信しない、請求項7に記載の提供システム。
【請求項9】
前記登録部は、さらに、前記ユーザを識別するユーザ識別子と前記センサ識別子とを前記他者が利用する装置に提供する、請求項7に記載の提供システム。
【請求項10】
前記提供部は、さらに、前記物理量の計測位置情報を前記他者が利用する装置に提供する、請求項1または請求項2に記載の提供システム。
【請求項11】
前記提供システムは、前記物理量の提供の前記ユーザによる許否を設定する設定部をさらに備え、
前記提供部は、前記ユーザにより前記物理量の提供が許可されていない場合には、前記物理量の前記他者が利用する装置への提供を中止する、請求項1または請求項2に記載の提供システム。
【請求項12】
端末装置が、接触面を有するセンサによって計測された、当該接触面が接触する面の変化の度合いを示す物理量に基づいて、前記センサのユーザの体表面への接触状態を推定するステップと、
前記端末装置が、前記接触状態の推定結果に基づいて、前記センサが前記体表面に接触した前記ユーザが前記物理量を前記ユーザ以外の他者に提供することを許諾したか否かを判断し、許諾したと判断した場合に、前記物理量の前記他者が利用する装置への提供を開始するステップと、を含む、提供方法。
【請求項13】
コンピュータを、
接触面を有するセンサにより計測され、当該接触面が接触する面の変化の度合いを示す物理量に基づいて、前記センサのユーザの体表面への接触状態を推定する推定部、及び、
前記推定部による前記接触状態の推定結果に基づいて、前記センサが前記体表面に接触した前記ユーザが前記物理量を前記ユーザ以外の他者に提供することを許諾したか否かを判断し、許諾したと判断した場合に、前記物理量の前記他者が利用する装置への提供を開始する提供部として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、提供システム、提供方法、及びコンピュータプログラムに関する。
【背景技術】
【0002】
従来、コンサートなどのライブ会場において、イベント参加者の表情をカメラで撮影した映像から、イベント参加者の感情の推移を解析するシステムが開発されている(例えば、非特許文献1参照)。
【0003】
また、ユーザが装着するウェアラブル端末などを用いて、ユーザの感情を解析する情報処理システムが提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第2017/064891号
【非特許文献】
【0005】
【文献】“エイベックス×MSが観客の感情を捉える--エンタメ業界でAIを活用するという挑戦”、[online]、cnet Japan(朝日インタラクティブ株式会社)、[2021年8月30日検索]、インターネット<URL:https://japan.cnet.com/article/35116085/>
【文献】“薄型フレキシブル電池(Air Patch Battery)(開発中)”、[online]、マクセルホールディングス株式会社、[2021年8月30日検索]、インターネット<URL:https://biz.maxell.com/ja/primary_batteries/air_patch_battery.html>
【文献】“次世代RFIDバッテリーフリーBluetooth(登録商標)タグ wiliot”、[online]、サトーホールディングス株式会社、[2021年9月22日検索]、インターネット<URL:https://www.sato.co.jp/taggingtown/wiliot.html>
【発明の概要】
【0006】
本開示の一実施態様に係る提供システムは、接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示する提示部と、前記物理量に基づいて、前記センサの前記体表面への接触状態を推定する推定部と、前記推定部による前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始する提供部と、を備える。
【0007】
本開示の他の実施態様に係る提供方法は、接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示するステップと、前記物理量に基づいて、前記センサの前記体表面への接触状態を推定するステップと、前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始するステップと、を含む。
【0008】
本開示の他の実施態様に係るコンピュータプログラムは、コンピュータを、接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示する提部、前記物理量に基づいて、前記センサの前記体表面への接触状態を推定する推定部、及び、前記推定部による前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始する提供部として機能させる。
【図面の簡単な説明】
【0009】
図1図1は、実施形態に係る感情解析システムの全体構成の一例を示す図である。
図2図2は、実施形態に係る感情解析システムを構成するセンサ及びサーバのそれぞれの構成の一例を示すブロック図である。
図3図3は、センサの構成の一例を示す図である。
図4図4は、回路層へのひずみゲージの配置位置の一例を示す図である。
図5図5は、センサを構成する剥離シートの一例を示す図である。
図6図6は、実施形態に係るスマートフォンの構成の一例を示すブロック図である。
図7図7は、センサを利用するユーザのユーザ情報をサーバに登録するユーザ登録処理の一例を示すシーケンス図である。
図8図8は、ユーザ情報登録画面の一例を示す図である。
図9図9は、サーバに登録されたユーザ情報の一例を示す図である。
図10図10は、イベント登録処理の一例を示すシーケンス図である。
図11図11は、イベント情報画面の一例を示す図である。
図12図12は、シール情報画面の一例を示す図である。
図13図13は、利用規約情報画面の一例を示す図である。
図14図14は、紐づけ処理の一例を示すシーケンス図である。
図15図15は、QRコード(登録商標)読み取り画面の一例を示す図である。
図16図16は、ユーザID入力画面の一例を示す図である。
図17図17は、センサIDを追加登録したユーザ情報の一例を示す図である。
図18図18は、ひずみ量計測処理の一例を示すシーケンス図である。
図19図19は、ひずみ量の時間的変化の一例を示す図である。
図20図20は、ひずみ量の時間的変化の一例を示す図である。
図21図21は、変形例に係るスマートフォンの構成の一例を示すブロック図である。
【発明を実施するための形態】
【0010】
[本開示が解決しようとする課題]
非特許文献1に記載のシステムによると、ユーザの感情や動態に関連する映像等のデータの取得及び解析が、ユーザの許諾なしになされる場合がある。このため、ユーザによっては不快に感じる場合がある。このため、ユーザによっては、自身の感情を読み取られるという拒否感又は恐怖感などの抵抗感を引き起こす可能性がある。
【0011】
また、特許文献1に記載のシステムによると、ユーザは、スマートウォッチ、スマートバンド、スマートアイグラスなどのウェアラブル端末を装着しなければならない。このようなウェアラブル端末を装着することは、ユーザにとって違和感があり、自身の感情を読み取られるという拒否感又は恐怖感などの抵抗感を引き起こす可能性がある。
【0012】
本開示は、このような事情に鑑みてなされたものであり、ユーザに違和感及び抵抗感を与えることなく感情を解析するための提供システム、提供方法、及びコンピュータプログラムを提供することを目的とする。
【0013】
[本開示の効果]
本開示によれば、ユーザに違和感及び抵抗感を与えることなく感情を解析することができる。
【0014】
[本開示の実施形態の説明]
最初に本開示の実施形態の概要を列記して説明する。
【0015】
(1)本開示の一実施形態に係る提供システムは、接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示する提示部と、前記物理量に基づいて、前記センサの前記体表面への接触状態を推定する推定部と、前記推定部による前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始する提供部と、を備える。
【0016】
この構成によると、例えば、センサをユーザの体表面に接触させることによりユーザを計測対象とした物理量が他者へ提供されることを了承した上で、ユーザはセンサを顔等の体表面に接触させることができる。このため、ユーザが知らないうちにユーザの物理量が他者に提供されることを防止することができる。また、ユーザは顔にシールを貼る感覚でセンサを体表面に接触させることができる。特に、スポーツ観戦会場やアトラクション会場などにおいては、ユーザは、顔にシールを貼ることへの抵抗感が少ない。よって、他者は、ユーザに違和感及び抵抗感を与えることなく物理量を収集し、ユーザの感情を解析することができる。
【0017】
(2)前記推定部は、前記物理量と第1閾値との比較結果に基づいて、前記センサが前記体表面に接触していることを推定し、前記提供部は、前記推定部により前記センサが前記体表面へ接触したと推定された場合に、前記物理量の前記他者への提供を開始してもよい。
【0018】
センサがユーザの体表面に接触していない場合には接触面の変化は小さく物理量も小さいが、例えばセンサがユーザの顔面に貼られた場合には表情筋等の動きに伴い物理量が大きくなる。このため、例えば、物理量が第1閾値以上の場合にセンサが体表面に接触していると推定し、物理量の他者への提供を開始することができる。これにより、センサが体表面に接触していることを推定することができ、センサの接触前に物理量が他者へ提供されることを防止することができる。よって、他者は感情を正確に解析することができる。
【0019】
(3)前記推定部は、前記物理量と前記第1閾値との比較結果の持続時間に基づいて、前記センサが前記体表面に接触していることを推定してもよい。
【0020】
体表面への接触前にシールが外的圧力等により一時的に変形した場合には物理量が一時的に大きくなるが、物理量が大きい状態は持続しない。このため、例えば、物理量が第1閾値以上の状態が所定時間持続した場合にセンサが体表面に接触していると推定することができる。
【0021】
(4)前記推定部は、前記物理量と第2閾値との比較結果に基づいて、前記センサが前記体表面に接触していないことを推定し、前記提供部は、前記推定部により前記センサが前記体表面に接触していないと推定された場合に、前記物理量の前記他者への提供を終了してもよい。
【0022】
センサが体表面に接触していない場合には接触面の変化は小さく物理量も小さい。このため、例えば、物理量が第2閾値未満となった場合にセンサが体表面に接触していないと推定し、物理量の他者への提供を終了することができる。これにより、センサが体表面に接触していないことを推定することができ、センサが接触していないにもかかわらずに物理量が他者へ提供されることを防止することができる。よって、他者は感情を正確に解析することができる。
【0023】
(5)前記推定部は、前記物理量と前記第2閾値との比較結果の持続時間に基づいて、前記センサが前記体表面から接触していないことを推定してもよい。
【0024】
センサが体表面に接触している状態であってもユーザが一時的に無表情になる等した場合には物理量が一時的に小さくなる場合があるが、体表面は微細に振動している。このため、無表情であっても一定の変化は発生しており、物理量が小さい状態は持続しない。よって、例えば、物理量が第2閾値未満の状態が所定時間持続した場合にセンサが体表面に接触していないと推定することができる。
【0025】
(6)前記提供システムは、前記センサを識別するセンサ識別子を登録する登録部と、前記センサから、前記物理量と当該センサの前記センサ識別子との組を受信する物理量受信部とをさらに備え、前記提供部は、前記物理量受信部が受信した前記組のうち、前記登録部が登録した前記センサ識別子を含む組を前記他者に提供してもよい。
【0026】
この構成によると、提供システムに登録されたセンサ識別子と当該センサ識別子のセンサが計測した物理量との組を他者に提供することができる。このため、提供システムは、複数のセンサから受信した物理量及びセンサ識別子の組の中から、登録したセンサ識別子を含む組を選別して他者に提供することができる。例えば、ユーザが利用するセンサのセンサ識別子を事前に登録しておくことにより、ユーザの物理量を効率的に他者に提供することができる。
【0027】
(7)前記提供部は、さらに、前記物理量受信部が受信した前記組のうち、前記登録部が登録した前記センサ識別子を含まない前記組を前記他者が利用する装置に送信しなくてもよい。
【0028】
この構成によると、物理量受信部が受信した組のうち、提供システムに登録されていないセンサ識別子を含む組は他者に提供されない。例えば、センサ識別子を登録する提供システムを一意に設定しておけば、当該センサ識別子及び物理量の組は1つの提供システムからしか他者に提供されることはない。このため、重複した物理量が他者に提供されることを防止することができる。
【0029】
(8)前記登録部は、さらに、前記ユーザを識別するユーザ識別子と前記センサ識別子とを前記他者が利用する装置に提供してもよい。
【0030】
この構成によると、他者が利用する装置は、提供システムから提供された物理量及びセンサ識別子の組からユーザを特定することができ、ユーザごとに感情を解析することができる。なお、提供システムから他者に提供される組にはユーザ識別子は含まれない。このため、第三者が当該組を傍受したとしても、第三者は物理量を計測したユーザを特定することができない。よって、ユーザのプライバシーが保護される。
【0031】
(9)前記提供部は、さらに、前記物理量の計測位置情報を前記他者が利用する装置に提供してもよい。
【0032】
この構成によると、物理量の計測位置情報の提供を受けた他者は、計測位置ごとに感情を解析することができる。
【0033】
(10)前記提供システムは、前記物理量の提供の前記ユーザによる許否を設定する設定部をさらに備え、前記提供部は、前記ユーザにより前記物理量の提供が許可されていない場合には、前記物理量の前記他者への提供を中止してもよい。
【0034】
この構成によると、ユーザがセンサを体表面に接触させた状態であっても設定により物理量の提供を停止させることも可能である。これにより、ユーザは、ユーザの意思で物理量の提供を一時的に中断することもできる。また、ユーザは、最初から物理量の提供を行わずに、センサをフェイスシール代わりに利用することもできる。
【0035】
(11)本開示の他の実施形態に係る提供方法は、接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示するステップと、前記物理量に基づいて、前記センサの前記体表面への接触状態を推定するステップと、前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始するステップと、を含む。
【0036】
この構成は、上述の提供システムが備える構成に対応するステップを含む。このため、上述の提供システムと同様の作用及び効果を奏することができる。
【0037】
(12)本開示の他の実施形態に係るコンピュータプログラムは、コンピュータを、接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示する提示部、前記物理量に基づいて、前記センサの前記体表面への接触状態を推定する推定部、及び、前記推定部による前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始する提供部として機能させる。
【0038】
この構成によると、コンピュータを、上述の提供システムとして機能させることができる。このため、上述の提供システムと同様の作用及び効果を奏することができる。
【0039】
[本開示の実施形態の詳細]
以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
【0040】
また、同一の構成要素には同一の符号を付す。それらの機能及び名称も同様であるため、それらの説明は適宜省略する。
【0041】
〔感情解析システムの全体構成〕
図1は、実施形態に係る感情解析システムの全体構成の一例を示す図である。
【0042】
感情解析システム1は、センサ3と、サーバ4と、スマートフォン5とを備える。
【0043】
センサ3は、接着面を有し、かつシート状をなす。センサ3は、例えば、接着面によりユーザ2(人間)の顔に貼り付けられ、表情の変化に応じた顔の形状の変化の度合いを示す物理量を計測する。なお、センサ3の接着面は、センサ3の顔への接触面の一例である。つまり、センサ3は、センサ3を顔に接着させずとも固定具等を用いて顔に接触させることによっても物理量を計測することができる。また、センサ3を顔以外のユーザ2の体表面に貼り付けて利用するものであってもよい。また、センサ3の形状であるシート状には、表面に凹凸のない形状のみならず、ファッション性や機能性等の観点よりセンサ3の表面に多少の凹凸のある立体形状も含まれる。例えば、ファッション性の観点よりセンサ3の表面に凹凸のある装飾が施されていてもよいし、センサ3の表面が凹凸形状であってもよい。また、機能性の観点よりセンサ3の接触面に凹凸が施され、皮膚への接触を和らげる構成であってもよい。
【0044】
図1では、一人のユーザ2に貼り付けられたセンサ3のみを示しているが、複数のユーザ2の各々に、センサ3が貼り付けられるものとする。
【0045】
センサ3は、スマートフォン5との間で近距離の無線通信が可能である。例えば、センサ3は、スマートフォン5との間でBLE(Bluetooth(登録商標) Low Energy)通信を行う。センサ3は、BLEビーコンの機能を有し、例えば2.4GHz帯の電波を出力することにより、計測した物理量と、自身を他のセンサ3と識別するためのセンサID(センサ識別子)とをリアルタイムでブロードキャストする。なお、BLE通信は、アダプティブ周波数ホッピングを利用しているため、センサ3が送信する電波と他のセンサ3が送信する電波との干渉を減らすことができる。
【0046】
スマートフォン5は、ユーザ2が所持する端末装置であり、センサ3との間で近距離の無線通信が可能である。例えば、スマートフォン5は、センサ3との間でBLE通信を行い、センサ3から送信される物理量及びセンサIDを受信するレシーバーの機能を有する。
【0047】
また、スマートフォン5は、無線基地局7を介してインターネット等のネットワーク6に接続される。スマートフォン5と無線基地局7との間では、例えば、5G(第5世代移動通信システム)又はWi-Fi(登録商標)などの無線通信規格に準拠した無線通信が行われる。
【0048】
スマートフォン5は、センサ3から物理量及びセンサIDの組データの中から、あらかじめ登録されているセンサIDを含む組データを抽出し、抽出した組データにスマートフォン5の位置情報を加えた組データを、ネットワーク6を介してサーバ4にリアルタイムで送信する。ユーザ2がスマートフォン5を所持していることより、サーバ4は、スマートフォン5の位置をユーザ2の物理量の計測位置とみなすことができる。
【0049】
なお、ユーザ2は、スマートフォン5の代わりに、携帯電話、ノートパソコン等の無線通信可能な端末装置を利用することも可能である。
【0050】
サーバ4は、ユーザ2以外の他者が利用する装置である。他者とは、例えば、ユーザ2から収集したデータを用いてユーザ2の感情を解析する事業者である。サーバ4は、感情解析装置として機能し、ネットワーク6に有線又は無線で接続され、ネットワーク6を介して複数のスマートフォン5の各々から物理量、センサID及び位置情報を含む組データを受信する。センサ3及びスマートフォン5はリアルタイムで組データを送信することより、サーバ4は、組データを受信した時刻を物理量の計測時刻と推定することができる。
【0051】
サーバ4には、ユーザ2毎に、ユーザ2の性別、生年月日等の個人情報とユーザ2が利用するセンサ3のセンサIDとを含むユーザ情報が事前に登録されているものとする。このため、サーバ4は、受信した組データとユーザ情報とに基づいて、受信した組データを利用するユーザ2を特定することができ、ユーザ2ごとに、組データに含まれる物理量に基づいてユーザ2の感情を解析する。
【0052】
例えば、スポーツ観戦会場又はアトラクション会場などのイベント会場への入場時に、イベンターが参加者であるユーザ2にセンサ3を配布する。センサ3を受け取ったユーザ2は、自身の顔(例えば、頬の部分)にセンサ3を貼ることにより、センサ3を顔に接触させる。ユーザ2が抵抗なくセンサ3を貼れるように、センサ3の他者から視認可能な面には文字や画像(例えば、応援するチームのマーク)などが印刷されているのが望ましい。これにより、ユーザ2は、フェイスシールを貼る感覚でセンサ3を顔に貼ることができる。
【0053】
サーバ4は、スマートフォン5から受信した組データに含まれる位置情報に基づいて、位置又はエリアごとにユーザ2の感情を解析することができる。例えば、サーバ4は、アトラクション会場(例えば、テーマパーク)などのアトラクション(例えば、ジェットコースター、メリーゴーランド)毎にユーザの感情を分析する。これにより、サーバ4は、例えば、人気のあるアトラクションを分析することができる。
【0054】
〔センサ3及びサーバ4の構成〕
図2は、実施形態に係る感情解析システム1を構成するセンサ3及びサーバ4のそれぞれの構成の一例を示すブロック図である。
【0055】
センサ3は、電源部31と、センサ部32と、無線通信部34と、記憶部39とを備える。
【0056】
電源部31は、センサ部32、無線通信部34及び記憶部39に、各処理部を駆動するための電力を供給する。電源部31は、例えば、シート型電池又はパッチ型電池である(例えば、非特許文献2参照)。図2では、電力の供給線を破線で示している。
【0057】
電源部31は、生体のエネルギーを利用して発電を行い、発電電力を供給してもよい。電源部31は、例えば、センサ3が貼り付けられるユーザ2の熱エネルギーを利用した温度差発電を行う。より詳細には、電源部31は、ユーザ2の皮膚に接触されるシート状のゼーベック素子(熱電素子)を備え、ゼーベック素子内部の温度差により起電力を生じるゼーベック効果を利用して発電を行う。
【0058】
また、電源部31は、生体の汗を利用して発電を行ってもよい。より詳細には、電源部31は、ユーザ2の皮膚に接触されるシート状のバイオ燃料電池を備え、バイオ燃料電池が、人間の汗に含まれている乳酸を酸化させる酵素により汗を電流に変換することで発電を行う。
【0059】
また、電源部31は、電磁波を利用して発電を行ってもよい。より詳細には、電源部31は、センサ3の周囲に存在する電磁波からエネルギーを回収し、自ら電気を生み出してもよい(例えば、非特許文献3参照)。
【0060】
なお、電源部31は、上記したものに限定されるものではない。
【0061】
記憶部39は、センサ3のセンサIDを記憶するための記憶装置である。
【0062】
センサ部32は、センサ部32の接着面が接触する面(ユーザ2の顔面)の形状の変化の度合いを示す物理量を計測する。センサ部32は、例えば、ひずみゲージを備える。ひずみゲージはユーザ2の顔の皮膚が動くことによりひずみゲージに加わった力を、電流(以下、「ひずみ量」という。)(物理量)として計測する。センサ部32は、ひずみゲージが計測したひずみ量を無線通信部34に出力する。
【0063】
無線通信部34は、小型かつ省電力の無線通信を行う通信インタフェースを備える。無線通信部34は、例えば、上述したようにBLEの通信規格に従ってデータ通信を行う。なお、無線通信部34は、例えば、Wi-SUN(Wireless Smart Utility Network)又はZigBee(登録商標)などの通信規格に従ってデータ通信を行ってもよい。無線通信部34は、センサ部32からひずみ量を受け、記憶部39からセンサIDを読み出し、ひずみ量にセンサIDを付加して、リアルタイムでブロードキャストする。
【0064】
無線通信部34は、センサ部32が計測したひずみ量と記憶部39に記憶されているセンサIDとの組データをサーバ4に送信する。
【0065】
図3は、センサ3の構成の一例を示す図である。図3では、センサ3を通常の使用方法で皮膚に貼り付ける場合に、皮膚に近い側を「下方」、皮膚から遠い側を「上方」とする。センサ3は、例えば、シート状の接着層3Aと、シート状の回路層3Bと、シート状の印刷層3Cとの3層により構成される。接着層3Aには、下方に皮膚への刺激が少ない肌用の粘着剤が塗布されている。また、粘着剤の下方には、剥離シート3Dが設けられている。ユーザ2は、剥離シート3Dを剥がした後に、接着層3Aの下方を肌に接触させることによりセンサ3を皮膚に貼り付ける。なお、ユーザ2は、センサ3を皮膚から剥がした後、貼りなおすことも可能である。
【0066】
接着層3Aの上方には、回路層3Bが配置されている。回路層3Bには、上述した電源部31、センサ部32、無線通信部34及び記憶部39を実現する回路が構成される。回路層3Bは、例えばフレキシブル基板上にIC(Integrated Circuit)チップを配置することにより構成される。なお、電源部31が温度差発電又は汗を利用した発電を行う場合には、ゼーベック素子又はバイオ燃料電池を皮膚に接触させることが望ましい。このため、ゼーベック素子又はバイオ燃料電池の下方には、接着層3Aは配置されておらず、ゼーベック素子又はバイオ燃料電池が皮膚に接触する構成とする。
【0067】
印刷層3Cは、回路層3Bの上方に配置され、印刷面を有する。印刷面は、印刷層3Cの上方に位置し、印刷面には、文字及び画像の少なくとも一方が印刷可能である。なお、ユーザ2が印刷面にペン等で文字又は画像を書き込むことができるように、印刷面の一部又は全部が白色等の無地であってもよいし、透明もしくは半透明であってもよい。
【0068】
図4は、回路層3Bへのひずみゲージ38の配置位置の一例を示す図である。ひずみゲージ38は、センサ部32の一部を構成する。回路層3Bには、例えば、四隅と中央部とにひずみゲージ38が配置されている。このように、複数の箇所にひずみゲージ38を配置することにより、ひずみゲージ38を1か所に配置する場合に比べて、センサ部32は、高精度に顔の形状の変化の度合いを計測することができる。この場合、センサ部32が計測したひずみ量は、複数のひずみゲージ38で計測されたひずみ量の代表値(例えば、平均値、最大値、最小値、中央値等)とする。ただし、複数のひずみゲージ38で計測されたひずみ量の組を、センサ部32が計測したひずみ量としてもよい。
【0069】
図5は、センサ3を構成する剥離シート3Dの一例を示す図である。剥離シート3Dの下方の面(つまり、ユーザ2が剥離シート3Dを剥がすことなく視認可能な面)には、利用規約61とQRコード(登録商標)62とがあらかじめ印刷されている。
【0070】
利用規約61には、ユーザ2がセンサ3を利用するにあたっての規約が示される。利用規約61には、特に、センサ3を貼ることが、ひずみ量をユーザ2以外の他者に提供することへの許諾の条件となることが示される。具体的には、利用規約61には、シール(センサ3)を貼った時点で生体情報(ひずみ量)の計測を開始することと、生体情報を感情解析に利用することが示される。また、利用規約61には、生体情報及び解析した感情情報が当社(ここでは、サーバ4を利用するKxx株式会社)に帰属し、二次利用されることが示されていてもよい。その他にも、利用規約61には、例えば、シールを体表面から剥がした時点で生体情報の計測を終了すること、計測の中断をアプリで設定可能であること、シールの誤った利用について当社は免責されること、シールを貼った時点で記載されているすべての事柄に許諾すること等が記載される。
【0071】
QRコード62は、センサ3のセンサIDを符号化した情報を含む。ユーザ2がスマートフォン5のカメラを利用してQRコード62を読み取ることにより、スマートフォン5は、センサ3のセンサIDを取得することができる。
【0072】
再び図2を参照して、サーバ4は、通信部41、処理部42、記憶部43及び計時部44を備える。
【0073】
サーバ4は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、通信インタフェース等を備えるコンピュータにより実現することができる。処理部42は、ROM又はHDD等の不揮発性メモリに記憶されたコンピュータプログラムをRAMに展開して、CPU上で実行することにより機能的に実現される。
【0074】
通信部41は、ネットワーク6を介して、スマートフォン5から、ひずみ量、センサID及び位置情報の組データを受信する。
【0075】
計時部44は、時刻を計時するクロック又はタイマである。
【0076】
記憶部43は、ユーザ2毎に、ユーザ2を識別するためのユーザID(ユーザ識別子)、ユーザ2の性別、生年月日等の個人情報とユーザ2が利用するセンサ3のセンサIDとを含むユーザ情報を記憶しているものとする。
【0077】
処理部42は、通信部41が受信した組データに、計時部44が計時した時刻を含めて記憶部43に記憶する。計時部44が計時した時刻は、ひずみ量の計測時刻と推定される。また、処理部42は、記憶部43から組データとユーザ情報とを読み出す。処理部42は、読み出した組データとユーザ情報とに基づいて、組データを利用するユーザ2を特定する。つまり、処理部42は、組データに含まれるセンサIDを特定し、特定したセンサIDに対応するユーザIDをユーザ情報に基づいて特定する。
【0078】
処理部42は、ユーザIDごと(ユーザ2ごと)に、当該ユーザIDに対応する組データに含まれるひずみ量に基づいて感情を解析する。解析の対象とする感情は、例えば、ユーザ2の喜びである。例えば、処理部42は、時系列のひずみ量と喜びの度合いを数値化した喜び度との関係をあらかじめ学習した学習モデルを用いて、学習モデルに計測時刻及びひずみ量を入力することにより喜び度を決定する。学習モデルは、例えば多層のニューラルネットワークであり、計測時刻とひずみ量とを入力とし、喜びの度合いを出力とする学習セットを用いてディープラーニングによりニューラルネットワークのパラメータが機械学習される。なお、学習モデルはニューラルネットワークに限定されるものではなく、例えば、線形回帰モデル、ロジスティック回帰モデル、サポートベクターマシン、ランダムフォレスト、Ada Boost、ナイーブベイズ、k近傍法等の他の識別器を用いることができる。
【0079】
処理部42は、さらに、ユーザ2ごとの喜び度の解析結果を表示装置の画面に表示するための表示データを作成してもよい。表示データは、例えば、複数のユーザ2の喜び度の分布を表形式又はグラフ形式で示すものであってもよいし、喜び度をユーザ2の位置と関連付けてマップ形式で示すものであってもよい。
【0080】
なお、ユーザIDは、個人情報と対応付けられている。このため、処理部42は、個人情報別にユーザ2の感情を解析してもよい。例えば、処理部42は、男女別にユーザ2の感情を解析してもよいし、年代別にユーザ2の感情を解析してもよい。
【0081】
また、通信部41が受信した組データには位置情報が含まれる。このため、処理部42は、位置又はエリアごとにユーザ2の感情を解析してもよい。
【0082】
〔スマートフォン5の構成〕
図6は、実施形態に係るスマートフォン5の構成の一例を示すブロック図である。
【0083】
スマートフォン5は、内部バス57を介して相互に接続された、通信部51と、記憶部52と、タッチパネル53と、カメラ54と、位置検出部55と、処理部56とを備える。
【0084】
通信部51は、小型かつ省電力の無線通信を行う通信インタフェースを備える。無線通信部34は、例えば、上述したようにBLEの通信規格に従って、センサ3からブロードキャストされた組データを受信する。なお、通信部51は、例えば、Wi-SUN又はZigBee(登録商標)などの通信規格に従ってデータ通信を行ってもよい。
【0085】
また、通信部51は、5G又はWi-Fi(登録商標)などの無線通信規格に従った通信により、無線基地局7を介してネットワーク6に接続される。
【0086】
記憶部52は、スマートフォン5を所持するユーザ2に貼り付けられるセンサ3のセンサIDを記憶している。なお、スマートフォン5を所持しないユーザ2も存在する。このため、記憶部52には、スマートフォン5を所持するユーザ2以外のユーザ2に貼り付けられるセンサ3のセンサIDを記憶していてもよい。これにより、例えば、記憶部52には、スマートフォン5を所持するユーザ2と、当該ユーザ2に同行する他のユーザ2とのそれぞれに貼り付けられるセンサ3のセンサIDが記憶される。
【0087】
記憶部52は、例えば、不揮発性メモリ又は揮発性メモリにより構成される。
【0088】
タッチパネル53は、ユーザ2に対して各種情報を表示する表示装置(表示パネル)と、ユーザ2から各種情報の入力を受け付ける入力装置(タッチセンサ)としての機能を有する。
【0089】
カメラ54は、図5に示したセンサ3の剥離シート3Dに印刷されたQRコード62を読み取るために利用される。
【0090】
位置検出部55は、衛星航法を用いてスマートフォン5の位置を検出する。例えば、位置検出部55は、複数のGPS(Global Positioning System)衛星から受信した電波に基づいて、スマートフォン5の位置を検出する。スマートフォン5の位置は、例えば、緯度及び経度により特定することができる。衛星航法は、GPSなどの衛星測位システム(GNSS:Global Navigation Satellite System)を用いるものであるが、GPSに限定されるものではない。
【0091】
処理部56は、例えば、CPU等のプロセッサにより構成される。
【0092】
処理部56は、記憶部52にあらかじめ記憶されているコンピュータプログラムを実行することにより実現される機能的な処理部として、提示部56Aと、ひずみ量受信部56Bと、推定部56Cと、提供部56Dと、登録部56Eとを含む。
【0093】
提示部56Aは、センサ3を利用するにあたっての利用規約をタッチパネル53に表示させる。タッチパネル53に表示される利用規約は、図5に示したセンサ3の剥離シート3Dに印刷された利用規約61と同様の内容を含む。つまり、タッチパネル53に表示される利用規約には、特に、センサ3を貼ることが、ひずみ量をユーザ2以外の他者に提供することへの許諾の条件となることが示される。
【0094】
ひずみ量受信部56Bは、通信部51を介して、センサ3からひずみ量とセンサ3のセンサIDとの組データを受信する。
【0095】
推定部56Cは、ひずみ量受信部56Bが受信した組データに含まれるひずみ量に基づいて、センサ3のユーザ2の体表面への接触状態を推定する。つまり、推定部56Cは、ひずみ量に基づいて、センサ3がユーザ2の体表面に接触していること、又は、センサ3がユーザ2の体表面に接触していないことを推定する。接触状態の推定方法については後述する。
【0096】
提供部56Dは、処理部56による接触状態の推定結果に基づいて、ひずみ量のサーバ4への提供を開始する。つまり、提供部56Dは、推定部56Cによりセンサ3がユーザ2の体表面に接触していると推定された場合に、ひずみ量を含む組データのサーバ4への提供を開始する。
【0097】
具体的には、提供部56Dは、ひずみ量受信部56Bが受信した組データのうち、記憶部52に記憶されているセンサIDを含む組データに、位置検出部55が検出した位置情報を加えて、通信部51を介してサーバ4に提供する。
【0098】
また、提供部56Dは、ひずみ量受信部56Bが受信した組データのうち、記憶部52に記憶されているセンサIDを含まない組データを破棄し、サーバ4には提供しない。
【0099】
また、提供部56Dは、推定部56Cによりセンサ3がユーザ2の体表面に接触していないと推定された場合に、ひずみ量のサーバ4への提供を終了する。
【0100】
登録部56Eは、ユーザ2が貼り付けるセンサ3のセンサIDを登録する。具体的には、登録部56Eは、カメラ54を利用してQRコード62を読み取ることにより取得されたセンサIDを、記憶部52に記憶させる。また、登録部56Eは、取得されたセンサIDとユーザ2のユーザIDとを組にして、サーバ4に送信する。サーバ4は、当該組を受信し、センサIDとユーザIDとを対応付けてユーザ情報に登録する。
【0101】
また、登録部56Eは、ユーザ2が参加するイベントの登録処理を実行する。
【0102】
〔ユーザ登録処理について〕
以下、感情解析システム1が実行する各処理について説明する。
【0103】
図7は、センサ3を利用するユーザ2のユーザ情報をサーバ4に登録するユーザ登録処理の一例を示すシーケンス図である。
【0104】
ユーザ2は、スマートフォン5のタッチパネル53を操作し、サーバ4に感情解析システム1のアプリ(以下、「感情解析アプリ」と言う)のダウンロードを要求する。例えば、ユーザ2は、アプリをダウンロード可能なサーバ4のWebページにアクセスし、ダウンロード可能なアプリの中から感情解析アプリを選択する。当該選択に応答して、登録部56Eは、感情解析アプリのダウンロードを要求する要求信号をサーバ4に送信する。サーバ4の処理部42は、通信部41を介して当該要求信号を受信する(ステップS1)。
【0105】
サーバ4の処理部42は、記憶部43から感情解析アプリを読み出し、読み出した感情解析アプリを通信部41を介してスマートフォン5に送信し、登録部56Eは感情解析アプリを受信する(ステップS2)。登録部56Eは、感情解析アプリをスマートフォン5にインストールする。なお、感情解析アプリを提供するのはサーバ4に限定されるものではなく、サーバ4以外のアプリを提供する専用サーバが、感情解析アプリを提供してもよい。
【0106】
ユーザ2がタッチパネル53に表示されている感情解析アプリのアイコンをタップすると、当該タップに応答して、処理部56は感情解析アプリを起動させる(ステップS3)。
【0107】
感情解析アプリ起動後に、ユーザ2がユーザ情報登録のメニューを選択すると、ユーザ情報登録画面が表示される(ステップS4)。
【0108】
図8は、ユーザ情報登録画面の一例を示す図である。ユーザ情報登録画面には、ユーザID、パスワード、性別、生年月日、氏名及び住所の入力欄と、OKボタン72及びキャンセルボタン73とを含む。例えば、ユーザ2が、タッチパネル53を操作して各入力欄にユーザ情報を入力し、OKボタン72をタップする(ステップS5)。登録部56Eは、入力されたユーザ情報を通信部51を介してサーバ4に送信し、サーバ4の処理部42は、通信部41を介してスマートフォン5からユーザ情報を受信する(ステップS6)。処理部42は、受信したユーザ情報を記憶部43に記憶させる(ステップS7)。
【0109】
なお、ユーザ2は、キャンセルボタン73をタップすることによりユーザ情報登録処理を中止することもできる。また、ユーザ2は、複数のユーザ2のユーザ情報を登録することもできる。例えば、ユーザ2は、ユーザ2に同行する他のユーザ2のユーザ情報を登録する。
【0110】
図9は、サーバ4に登録されたユーザ情報の一例を示す図である。ユーザ情報80は、ユーザID、パスワード、性別、生年月日、氏名及び住所を含む。例えば、ユーザIDが「U001」のユーザ2のパスワードは「P0123」、性別は「男」、生年月日は「2000年10月1日」、氏名は「住友太郎」、住所は「東京都港区XXX」である。また、ユーザIDが「U002」のユーザ2のパスワードは「APX3」、性別は「女」、生年月日は「2003年6月7日」、氏名は「住友花子」、住所は「東京都港区XXX」である。ここで、ユーザID「U002」のユーザ2は、ユーザID「U001」のユーザ2の同行者であるとする。
【0111】
〔イベント登録処理について〕
ユーザ登録処理が完了した後、ユーザ2は、自身及びその同行者が参加するイベントの登録処理を実行する。
【0112】
図10は、イベント登録処理の一例を示すシーケンス図である。
【0113】
ユーザ2がスマートフォン5のタッチパネル53に表示されている感情解析アプリのアイコンをタップすると、当該タップに応答して、処理部56は感情解析アプリを起動させる(ステップS11)。
【0114】
アプリ起動後に、ユーザ2がタッチパネル53を操作してユーザID及びパスワードを入力すると、処理部56は、入力されたユーザID及びパスワードをサーバ4に送信し、サーバ4の処理部42は、スマートフォン5から送信されたユーザID及びパスワードを受信する(ステップS12)。
【0115】
処理部42は、受信したユーザID及びパスワードがユーザ情報80に登録されているか否かを判断する認証処理を実行する(ステップS13)。
【0116】
処理部42は、ユーザID及びパスワードが登録されていれば、認証されたことを示す認証済み情報を送信元のスマートフォン5に送信し、スマートフォン5の処理部56は当該情報を受信する(ステップS14)。
【0117】
認証後にユーザ2がアプリ上でイベント情報画面表示のメニューを選択すると(ステップS15)、登録部56Eは、イベント情報の要求信号をサーバ4に送信し、処理部42は、要求信号に応答して参加募集中のイベント情報を記憶部43から読み出し、スマートフォン5に送信する。登録部56Eは、当該イベント情報を受信する(ステップS17)。
【0118】
登録部56Eは、受信したイベント情報に基づいて、イベント情報画面をタッチパネル53に表示させる(ステップS18)。
【0119】
図11は、イベント情報画面の一例を示す図である。イベント情報画面90には、一例として、ユーザ2が参加可能なイベントのイベント情報が2つ表示されている。ただし、イベントの数は2つに限定されるものではない。
【0120】
各イベント情報は、イベント名、費用、場所、日時を含む。例えば、1つ目のイベントのイベント名は「お笑いライブ」、費用は「大人5,000円 中学生以下3,000円」、場所は「ZZZ市市民ホール」、日時は「2021年12月1日 18:00開場 18:30開演」である。また、2つ目のイベントのイベント名は「ロックコンサート」、費用は「大人8,000円 中学生以下5,000円」、場所は「XYZコンサートホール」、日時は「2021年12月2日 18:30開場 19:00開演」である。
【0121】
各イベント情報には参加人数の入力欄が設けられており、ユーザ2は参加を希望するイベントの参加人数を入力し、OKボタン92をタップすることにより、参加イベントの登録を行う(ステップS19)。例えば、ユーザ2は、イベント名「ロックコンサート」の参加人数の欄に「大人2人」を入力し、OKボタン92をタップしたとする。
【0122】
登録部56Eは、ユーザ2が参加を希望するイベントの識別情報(例えば、イベント名)と、参加人数とを含む参加イベント情報をサーバ4に送信し、処理部42は参加イベント情報を受信する(ステップS20)。
【0123】
処理部42は、参加イベント情報に基づいて、ユーザ2が参加を希望するイベントへの登録処理を実行する(ステップS21)。例えば、「ロックコンサート」にユーザ2が大人2人で参加することを示す情報を、記憶部43に登録する。
【0124】
なお、イベント情報画面90でユーザ2がキャンセルボタン93をタップすることにより、参加イベントの登録を中止することもできる。
【0125】
処理部42は、参加イベント登録処理(ステップS21)の後、参加予定のユーザ2に対して配布可能なセンサ3の図柄を示すシール情報をスマートフォン5に送信し、スマートフォン5の登録部56Eは、通信部51を介してシール情報を受信する(ステップS22)。
【0126】
登録部56Eは、受信したシール情報に基づいて、シール情報画面をタッチパネル53に表示させる(ステップS23)。
【0127】
図12は、シール情報画面の一例を示す図である。シール情報画面100には、ユーザ2に配布可能なセンサ3の図柄としてシール102A~102Cの3つの図柄が表示される。また、シール102A~102Cのそれぞれに対する枚数入力欄103A~103Cが表示される。ユーザ2は、枚数入力欄103A~103Cに希望するセンサ3の枚数を入力してOKボタン104をタップすることにより、シールを発注する(ステップS24)。例えば、シール102A及びシール102Bのセンサ3をそれぞれ1枚希望する場合には、ユーザ2は、枚数入力欄103A、103Bにそれぞれ「1」を入力し、OKボタン104をタップする。なお、ユーザ2は、キャンセルボタン105を押すことにより、センサ3を発注しないことも可能である。
【0128】
シール発注処理(ステップS24)が実行されると、登録部56Eは、発注されたシールの情報をサーバ4に送信し、サーバ4の処理部42は通信部41を介して当該情報を受信する(ステップS25)。例えば、シール102B及びシール102Cの識別情報と、発注枚数(各1枚)とがサーバ4に送信される。
【0129】
処理部42は、発注されたシールの情報を受信した後、シール発注処理を実行する(ステップS26)。例えば、処理部42は、ユーザ2の氏名、住所、発送するセンサ3の図柄及び枚数、ユーザ2が参加登録したイベントの識別情報等の情報を、センサ3の発送担当者のメールアドレスに送信する。センサ3をユーザ2に発送する場合には、発送担当者は、イベントの開催日前までにユーザ2に届くようにセンサ3を発送する。また、センサ3をイベント会場でユーザ2に配布する場合には、発送担当者は、イベントの開催日前までにイベント会場に届くようにセンサ3を発送する。
【0130】
処理部42は、センサ3の利用規約情報をスマートフォン5に送信し、スマートフォン5の提示部56Aは、通信部51を介して利用規約情報を受信する(ステップS27)。
【0131】
提示部56Aは、受信した利用規約情報に基づいて、利用規約情報画面をタッチパネル53に表示させる(ステップS28)。
【0132】
図13は、利用規約情報画面の一例を示す図である。利用規約情報画面110には、ユーザ2がセンサ3を利用するにあたっての利用規約111と、利用規約111に同意したことを確認するためのOKボタン112とが表示される。利用規約111は、図5に示したセンサ3の剥離シート3Dに印刷されている利用規約61と同様の内容を含む。
【0133】
ユーザ2は、利用規約111を確認した上で、OKボタン112を押す。
【0134】
〔紐づけ処理について〕
ユーザ2は、センサ3を受け取った後に、センサ3のセンサIDと、センサ3を利用するユーザ2のユーザIDとを紐づけるための紐づけ処理を実行する。
【0135】
図14は、紐づけ処理の一例を示すシーケンス図である。
【0136】
ユーザ2がスマートフォン5のタッチパネル53に表示されている感情解析アプリのアイコンをタップすると、当該タップに応答して、処理部56は感情解析アプリを起動させる(ステップS31)。
【0137】
アプリ起動後に、ユーザ2がタッチパネル53を操作してユーザID及びパスワードを入力すると、処理部56は、入力されたユーザID及びパスワードをサーバ4に送信し、サーバ4の処理部42は、スマートフォン5から送信されたユーザID及びパスワードを通信部41を介して受信する(ステップS32)。
【0138】
処理部42は、受信したユーザID及びパスワードがユーザ情報80に登録されているか否かを判断する認証処理を実行する(ステップS33)。
【0139】
処理部42は、ユーザID及びパスワードが登録されていれば、認証されたことを示す認証済み情報を送信元のスマートフォン5に送信し、スマートフォン5の処理部56は通信部51を介して当該情報を受信する(ステップS34)。
【0140】
認証後にユーザ2がアプリ上で紐づけ処理のメニューを選択すると、登録部56Eは、センサ3に印刷されたQRコード62を読み取るためのQRコード読み取り画面をタッチパネル53に表示させる(ステップS35)。
【0141】
図15は、QRコード(登録商標)読み取り画面の一例を示す図である。QRコード読み取り画面120には、QRコード62を読み取るにあたっての説明文121と、アイコン122とが表示される。ユーザ2がアイコン122をタップすると、登録部56Eはカメラ54を起動させる。ユーザ2がカメラ54を用いてセンサ3の剥離シート3Dに印刷されたQRコード62(図5)を撮影すると、登録部56Eは撮影されたQRコード62をデコードし、センサ3のセンサIDを取得する(ステップS36)。
【0142】
処理部56は、センサIDの取得後に、センサIDに紐づけるユーザIDを入力するためのユーザID入力画面をタッチパネル53に表示させる(ステップS37)。
【0143】
図16は、ユーザID入力画面の一例を示す図である。ユーザID入力画面130には、登録部56Eが取得したセンサIDに対応付けるユーザIDの入力欄131と、ユーザIDの入力を確定するためのOKボタン132とが含まれる。
【0144】
ユーザ2が入力欄131にユーザIDを入力し、OKボタン132をタップすると(ステップS38)、登録部56Eは、取得したセンサIDと入力されたユーザIDとをセットにしてサーバ4に送信する。サーバ4の処理部42は、通信部41を介してセンサID及びユーザIDのセットを受信する(ステップS39)。
【0145】
処理部42は、受信したセットに基づいて、ユーザ情報80にセンサIDを追加登録する(ステップS41)。
【0146】
図17は、センサIDを追加登録したユーザ情報の一例を示す図である。ユーザ情報80には、センサIDの欄が追加されている。例えば、処理部42は、センサID及びユーザIDのセットとしてS123及びU001を受信した場合には、ユーザ情報80のユーザID「U001」に対応付けてセンサID「S123」を追加登録する。
【0147】
登録部56Eは、ステップS39においてサーバ4に送信したセンサID及びユーザIDのうち、少なくともセンサIDを記憶部52に保存することにより、スマートフォン5に登録する(ステップS40)。上述の例では、センサID「S123」がスマートフォン5に登録される。
【0148】
ステップS35以降の処理を繰り返し実行することにより、複数のセンサIDと複数のユーザIDとを対応付けて登録することが可能である。例えば、図17に示したユーザ情報80には、ユーザ情報80のユーザID「U002」に対応付けてセンサID「S124」も追加登録される。また、スマートフォン5には、センサID「S124」も登録される。
【0149】
〔ひずみ量計測処理〕
センサIDとユーザIDの紐づけ処理の後、ユーザ2は、センサ3の利用を開始することができる。
【0150】
図18は、ひずみ量計測処理の一例を示すシーケンス図である。
【0151】
ユーザ2がセンサ3の剥離シート3Dを剥がす、又はセンサ3に設けられている電源スイッチをONすることにより、センサ3の電源部31から各処理部への電力の供給が開始され、センサ部32は、ひずみゲージ38のひずみ量を計測する(ステップS41)。
【0152】
センサ3の無線通信部34は、計測されたひずみ量と記憶部39に記憶されているセンサ3のセンサIDとを含む組データをスマートフォン5に送信し、スマートフォン5のひずみ量受信部56Bは、当該組データを受信する(ステップS42)。
【0153】
ひずみ量受信部56Bは、受信した組データに含まれるセンサIDが記憶部52に登録済みか否かを判断し、ここでは登録済みであることを確認したとする(ステップS43)。
【0154】
ひずみ量受信部56Bは、登録済みのセンサIDを含む組データを、当該組データの受信時刻と対応付けて記憶部52に保存する(ステップS44)。
【0155】
推定部56Cは、記憶部52に保存されている組データ及び受信時刻に基づいて、センサIDごとに、当該センサIDに対応付けられたひずみ量及び受信時刻からセンサ3のユーザ2の体表面への接触状態を推定する。ここでは、センサ3が体表面に接触していることを示す接触条件を充足したものとする(ステップS45)。
【0156】
図19は、ひずみ量の時間的変化の一例を示す図である。横軸は時間(秒)を示し、縦軸はひずみ量(ε)を示す。例えば、推定部56Cは、ひずみ量が予め定められた閾値TH1以上になった時点(計測時刻t1)を起点として、ひずみ量が閾値TH1以上の状態が所定時間T1を超えた時点(計測時刻t2)で上記接触条件を充足したと判断する。なお、推定部56Cは、ひずみ量が予め定められた閾値TH1以上になった時点(計測時刻t1)で上記接触条件を充足したと判断してもよい。
【0157】
接触条件が充足されている場合には、提供部56Dは、ステップS42で受信したセンサID及びひずみ量の組データに、位置検出部55が検出した位置情報を加えて、サーバ4に送信する。サーバ4の処理部42は、通信部41を介して位置情報が加えられた組データを受信する(ステップS46)。
【0158】
処理部42は、受信した組データに、計時部44で計時された現在時刻を加えて記憶部43に保存する(ステップS47)。つまり、記憶部43には、センサID、ひずみ量、位置情報及び時刻情報を含む組データが登録される。
【0159】
なお、接触条件を充足せずに、センサ3が体表面に接触していないことを示す非接触条件を充足する場合には、以下のステップS48~S52の処理が実行される。つまり、ステップS41~S44と同様に、センサ3で計測されたひずみ量を含む組データがスマートフォン5の記憶部52に保存される(ステップS48~S51)。
【0160】
推定部56Cは、記憶部52に保存されている組データ及び受信時刻に基づいて、センサIDごとに、当該センサIDに対応付けられたひずみ量及び受信時刻からセンサ3のユーザ2の体表面への接触状態を推定する。ここでは、センサ3が体表面に接触していないことを示す非接触条件を充足したものとする(ステップS52)。
【0161】
図20は、ひずみ量の時間的変化の一例を示す図である。横軸は時間を示し、縦軸はひずみ量を示す。例えば、推定部56Cは、ひずみ量が予め定められた閾値TH2未満になった時点(計測時刻t3)を起点として、ひずみ量が閾値TH2未満の状態が所定時間T2を超えた時点(計測時刻t4)で上記非接触条件を充足したと判断する。なお、推定部56Cは、ひずみ量が予め定められた閾値TH2未満になった時点(計測時刻t3)で上記非接触条件を充足したと判断してもよい。ここで、閾値TH2は、閾値TH1と同じであってもよいし、異なっていてもよい。また、所定時間T2は、所定時間T1と同じであってもよいし、異なっていてもよい。
【0162】
非接触条件が充足されている場合には、提供部56Dは、ステップS49で受信したセンサID及びひずみ量の組データを、サーバ4に送信しない。
【0163】
また、スマートフォン5に登録されていないセンサIDを含む組データに対しては、以下のステップS53~S56の処理が実行される。つまり、ステップS41~S42と同様に、スマートフォン5は、センサ3から、センサIDとセンサ3が計測したひずみ量との組データを受信する(ステップS53~S54)。
【0164】
ひずみ量受信部56Bは、受信した組データに含まれるセンサIDが記憶部52に登録済みか否かを判断し、ここでは未登録であることを確認したとする(ステップS55)。
【0165】
ひずみ量受信部56Bは、未登録のセンサIDを含む組データを破棄する(ステップS56)。これにより、提供部56Dは、未登録のセンサIDを含む組データをサーバ4に送信しない。
【0166】
〔実施形態の効果〕
以上説明したように、本開示の実施形態によると、センサ3をユーザ2の体表面に貼ることによりユーザ2を計測対象としたひずみ量がサーバ4へ提供されることを了承した上で、ユーザ2はセンサ3を顔等の体表面に貼ることができる。このため、ユーザ2が知らないうちにユーザ2のひずみ量がサーバ4に提供されることを防止することができる。また、センサ3はシート状であることより、ユーザ2は顔にシールを貼る感覚でセンサ3を装着することができる。特に、スポーツ観戦会場やアトラクション会場などにおいては、ユーザ2は、顔にシールを貼ることへの抵抗感が少ない。よって、サーバ4は、ユーザ2に違和感及び抵抗感を与えることなくひずみ量を収集し、ユーザ2の感情を解析することができる。
【0167】
また、センサ3がユーザ2の体表面に接触していない場合には接触面の変化は小さくひずみ量も小さいが、例えばセンサ3がユーザ2の顔面に貼られた場合には表情筋等の動きに伴いひずみ量が大きくなる。このため、推定部56Cはひずみ量が閾値TH1以上の場合にセンサ3が体表面に接触していると推定し、提供部56Dは、接触していると推定された場合にひずみ量のサーバ4への提供を開始することができる。これにより、センサ3が体表面に接触していることを推定することができ、センサ3の接触前にひずみ量がサーバ4へ提供されることを防止することができる。よって、サーバ4は感情を正確に解析することができる。
【0168】
また、体表面への接触前にシールが外的圧力等により一時的に変形した場合にはひずみ量が一時的に大きくなるが、ひずみ量が大きい状態は持続しない。このため、推定部56Cはひずみ量が閾値TH1以上の状態が所定時間T1だけ持続した場合にセンサ3が体表面に接触していると推定することができる。
【0169】
また、センサ3が体表面に接触していない場合には接触面の変化は小さくひずみ量も小さい。このため、例えば、推定部56Cはひずみ量が閾値TH2未満となった場合にセンサ3が体表面に接触していないと推定し、提供部56Dは、センサ3が体表面に接触していないと推定された場合にひずみ量のサーバ4への提供を終了することができる。これにより、センサ3が体表面に接触していないことを推定することができ、センサ3が体表面に接触していないにもかかわらずにひずみ量がサーバ4へ提供されることを防止することができる。よって、サーバ4は感情を正確に解析することができる。
【0170】
また、センサ3が体表面に接触している状態であってもユーザが一時的に無表情になる等した場合には物理量が一時的に小さくなる場合があるが、体表面は微細に振動している。このため、無表情であっても一定のひずみは発生しており、ひずみ量が小さい状態は持続しない。よって、例えば、ひずみ量が閾値TH2未満の状態が所定時間T2だけ持続した場合にセンサ3が体表面に接触していないと推定することができる。
【0171】
また、スマートフォン5の登録部56Eは、ユーザ2又はその同行者が利用するセンサ3のセンサIDを登録する。ひずみ量受信部56Bは、複数のセンサ3から、ひずみ量とセンサIDとの組データを受信する。提供部56Dは、ひずみ量受信部56Bが受信した組データのうち、登録部56Eが登録したセンサIDを含む組データをサーバ4に提供する。このため、ユーザ2及び同行者のひずみ量を効率的にサーバ4に提供することができる。
【0172】
また、提供部56Dは、ひずみ量受信部56Bが受信した組データのうち、スマートフォン5に登録されていないセンサIDを含む組データをサーバ4に提供しない。例えば、センサIDを登録するスマートフォン5を一意に設定しておけば、当該センサID及びひずみ量の組データは1つのスマートフォン5からしかサーバ4に提供されることはない。このため、重複したひずみ量がサーバ4に提供されることを防止することができる。
【0173】
また、サーバ4には、ユーザIDとセンサIDとを含むユーザ情報80が登録されている。このため、サーバ4は、スマートフォン5から提供されたひずみ量及びセンサIDの組データからユーザ2を特定することができ、ユーザ2ごとに感情を解析することができる。なお、スマートフォン5からサーバ4に提供される組データにはユーザIDは含まれない。このため、第三者が当該組データを傍受したとしても、第三者はひずみ量を計測したユーザ2を特定することができない。よって、ユーザ2のプライバシーが保護される。
【0174】
また、スマートフォン5の提供部56Dは、組データにひずみ量の計測位置情報を含めてサーバ4に送信する。このため、サーバ4は、計測位置ごとに感情を解析することができる。
【0175】
〔変形例1〕
図21は、変形例に係るスマートフォン5の構成の一例を示すブロック図である。
【0176】
スマートフォン5の構成は、図6に示した実施形態に係るスマートフォン5の構成と同様である。ただし、処理部56は、記憶部52にあらかじめ記憶されているコンピュータプログラムを実行することにより実現される機能的な処理部として、設定部56Fをさらに含む。
【0177】
設定部56Fは、センサIDごとに、提供部56Dがサーバ4にひずみ量を提供することに対するユーザ2の許否を設定する。例えば、感情解析アプリのメニュー中に、センサIDごとにひずみ量の提供の許可又は不許可を設定するボタンが設けられているものとする。ユーザ2は、当該ボタンをタップすることによりひずみ量の提供の許可又は不許可を設定し、設定部56Fは、設定された許可又は不許可の結果を提供部56Dに通知する。提供部56Dは、ユーザ2によりひずみ量の提供の不許可が設定されている場合には、センサ3がユーザ2の体表面に接触している状態であっても、サーバ4に対するひずみ量を含む組データの提供を中止する。
【0178】
一方、センサ3がユーザ2の体表面に接触している状態において、ユーザ2がひずみ量の提供を不許可から許可に変更した場合には、提供部56Dは、サーバ4に対するひずみ量を含む組データの提供を再開する。
【0179】
本変形例によると、ユーザ2がセンサ3を体表面に接触させた状態であっても設定によりひずみ量の提供を停止させることが可能である。これにより、ユーザ2の意思でひずみ量の提供を一時的に中断することができる。また、最初からひずみ量の提供を行わずに、センサ3をフェイスシール代わりに利用することもできる。
【0180】
〔変形例2〕
上述の実施形態ではセンサ3で計測されたひずみ量をスマートフォン5を経由してサーバ4に送信することとしたが、スマートフォン5を経由せずにサーバ4に送信することとしてもよい。例えば、会場のエリアごとにアクセスポイントを設け、センサ3は、アクセスポイントと通信を行い、ひずみ量及びセンサIDの組データをアクセスポイントに送信する。アクセスポイントは、センサ3から受信した組データを、ネットワーク6を介してサーバ4に送信する。
【0181】
サーバ4には、センサID及びユーザIDを含むユーザ情報80が登録されている。このため、サーバ4は、ユーザ情報80に登録されたセンサIDを含む組データに基づいて、各ユーザの感情を解析することができる。一方、受信した組データに含まれるセンサIDがユーザ情報80に登録されていない場合には、組データをユーザIDに対応付けることができない。このため、サーバ4は、当該組データを破棄してもよいし、ユーザを特定できないものの、当該組データに基づいてセンサ3ごとに感情を解析してもよい。
【0182】
また、サーバ4は、組データが経由したアクセスポイントが分かるため、アクセスポイントごと(つまり、アクセスポイントが設置されたエリアごと)に、ユーザ2の感情を解析することができる。
【0183】
[付記]
上述の実施形態では、スマートフォン5は、サーバ4に時刻情報を送信しないとしたが、センサ3から受信した組データを纏めてサーバ4に送信する場合には、組データと合わせて組データの受信時刻をサーバ4に送信してもよい。
【0184】
上記の各装置を構成する構成要素の一部又は全部は、1又は複数のシステムLSIなどの半導体装置から構成されていてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
【0185】
上記したコンピュータプログラムを、コンピュータ読取可能な非一時的な記録媒体、例えば、HDD、CD-ROM、半導体メモリなどに記録して流通させてもよい。また、コンピュータプログラムを、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送して流通させてもよい。
【0186】
また、サーバ4は、複数のプロセッサ又は複数のコンピュータにより実現されてもよい。
【0187】
また、サーバ4の一部又は全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、サーバ4の一部又は全部の機能がクラウドサーバにより実現されていてもよい。
【0188】
また、センサ部32は、筋電センサでもよい。筋電センサとは、筋肉で発生する微弱な電場の変化(電位差)を計測するセンサである。なお、筋電センサは、上記電位差に相当する電流を出力する。筋電センサから出力される電流値は、センサ部32の接着面が接触する面(ユーザ2の顔面)の形状の変化の度合いを示す物理量の一例である。
【0189】
今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0190】
1 感情解析システム(提供システム)、2 ユーザ、3 センサ、3A 接着層、3B 回路層、3C 印刷層、3D 剥離シート、4 サーバ、5 スマートフォン、6 ネットワーク、7 無線基地局、31 電源部、32 センサ部、34 無線通信部、38 ひずみゲージ、39 記憶部、41 通信部、42 処理部、43 記憶部、44 計時部、51 通信部、52 記憶部、53 タッチパネル、54 カメラ、55 位置検出部、56 処理部、56A 提示部、56B ひずみ量受信部(物理量受信部)、56C 推定部、56D 提供部、56E 登録部、56F 設定部、57 内部バス、61 利用規約、62 QRコード、72 OKボタン、73 キャンセルボタン、80 ユーザ情報、90 イベント情報画面、92 OKボタン、93 キャンセルボタン、100 シール情報画面、102A シール、102B シール、102C シール、103A 枚数入力欄、103B 枚数入力欄、103C 枚数入力欄、104 OKボタン、105 キャンセルボタン、110 利用規約情報画面、111 利用規約、112 OKボタン、120 QRコード読み取り画面、121 説明文、122 アイコン、130 ユーザID入力画面、131 入力欄、132 OKボタン
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21