特許第6963668号(P6963668)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<>
  • 6963668-ソリューション提供システム 図000002
  • 6963668-ソリューション提供システム 図000003
  • 6963668-ソリューション提供システム 図000004
  • 6963668-ソリューション提供システム 図000005
  • 6963668-ソリューション提供システム 図000006
  • 6963668-ソリューション提供システム 図000007
  • 6963668-ソリューション提供システム 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】6963668
(24)【登録日】2021年10月19日
(45)【発行日】2021年11月10日
(54)【発明の名称】ソリューション提供システム
(51)【国際特許分類】
   A61M 21/02 20060101AFI20211028BHJP
   A61B 5/16 20060101ALI20211028BHJP
   G16Y 10/60 20200101ALI20211028BHJP
   G16H 20/30 20180101ALI20211028BHJP
   A61M 21/00 20060101ALI20211028BHJP
【FI】
   A61M21/02 J
   A61B5/16 120
   A61B5/16 200
   G16Y10/60
   G16H20/30
   A61M21/00 B
【請求項の数】13
【全頁数】26
(21)【出願番号】特願2020-200823(P2020-200823)
(22)【出願日】2020年12月3日
【審査請求日】2021年1月6日
【早期審査対象出願】
(73)【特許権者】
【識別番号】000113470
【氏名又は名称】ポーラ化成工業株式会社
(74)【代理人】
【識別番号】110000800
【氏名又は名称】特許業務法人創成国際特許事務所
(72)【発明者】
【氏名】本川 智紀
(72)【発明者】
【氏名】加藤 朋美
(72)【発明者】
【氏名】寺田 知彦
【審査官】 佐藤 智弥
(56)【参考文献】
【文献】 特表2019−518572(JP,A)
【文献】 特開2010−187810(JP,A)
【文献】 特開2005−237668(JP,A)
【文献】 特開2012−203590(JP,A)
【文献】 特表2020−513289(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G16H 20/30
A61M 21/02
A61B 5/16
G16Y 10/60
A61M 21/00
(57)【特許請求の範囲】
【請求項1】
ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶する記憶部と、
前記ユーザーが、該ユーザーの手指の肌の画像を取得する第1状況にあるか、該ユーザーの顔の肌の画像を取得する第2状況にあるか、を認識する状況認識部と、
前記ユーザーが前記第1状況にある場合には該ユーザーの手指の肌の画像を含むユーザー情報を取得し、該ユーザーが前記第2状況にある場合には該ユーザーの顔の肌の画像を含むユーザー情報を取得するユーザー情報取得部と、
前記ユーザーが前記第1状況にある場合には前記ユーザー情報に含まれる前記手指の肌の画像を分析し、該ユーザーが前記第2状況にある場合には該ユーザー情報に含まれる前記顔の肌の画像を分析する肌画像分析部と、
前記肌画像分析部による分析の結果に基づいて前記ユーザーの心拍に関する情報を取得する心拍情報取得部と、
前記ユーザーの心拍に関する情報に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成部と、
前記複数のソリューションから前記ユーザー状態情報に応じたソリューションを決定するソリューション決定部と、
決定された前記ソリューションを前記ユーザーに提供するソリューション提供部と、を備える
ことを特徴とするソリューション提供システム。
【請求項2】
請求項1に記載のソリューション提供システムにおいて、
前記状況認識部は、前記ユーザーが第1状況にあるか、第2状況にあるかの、前記ユーザーによる選択の入力を受け付けて、該受け付けた選択内容に応じて該ユーザーが該第1状況及び該第2状況のいずれの状況にあるかを認識する
ことを特徴とするソリューション提供システム。
【請求項3】
請求項に記載のソリューション提供システムにおいて、
前記状況認識部は、現在の時間帯が昼間の時間帯であれば前記ユーザーが前記第1状況にあると認識し、現在の時間帯が夜間の時間帯であれば該ユーザーが前記第2状況にあると認識する
ことを特徴とするソリューション提供システム。
【請求項4】
請求項1〜の何れかに記載のソリューション提供システムにおいて、
前記ユーザー情報取得部は、前記ソリューションが前記ユーザーに提供された後に、前記ユーザー情報を再度取得し、
前記ユーザー状態情報生成部は、前記ソリューションが前記ユーザーに提供された後に取得された前記ユーザー情報を含む情報に基づいて、前記ユーザー状態情報を再生成し、
前記ソリューション決定部は、前記再生成された前記ユーザー状態情報に応じたソリューションを決定する
ことを特徴とするソリューション提供システム。
【請求項5】
請求項1〜の何れかに記載のソリューション提供システムにおいて、
前記ユーザーが所望する該ユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を受け付ける所望状態受付部を備え、
前記ソリューション決定部は、前記ユーザー状態情報及び前記所望状態情報に基づいて、前記ユーザー状態を前記所望状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
ことを特徴とするソリューション提供システム。
【請求項6】
請求項1〜の何れかに記載のソリューション提供システムにおいて、
前記ソリューション決定部は、前記ユーザー状態情報に応じて、該ユーザー状態をリラックスした状態、冷静な状態、又は覚醒した状態に誘導する前記ソリューションを決定するように構成されている
ことを特徴とするソリューション提供システム。
【請求項7】
請求項1〜の何れかに記載のソリューション提供システムにおいて、
前記記憶部は、前記ユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す基準状態情報を記憶しており、
前記ソリューション決定部は、前記ユーザー状態及び前記基準状態情報に基づいて、前記ユーザー状態を前記基準状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
ことを特徴とするソリューション提供システム。
【請求項8】
請求項1〜の何れかに記載のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの触覚、聴覚又は嗅覚に対する刺激を含む
ことを特徴とするソリューション提供システム。
【請求項9】
請求項1〜の何れかに記載のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、音楽と、朗読音声と、所定の周期的な振動との組み合わせを含む
ことを特徴とするソリューション提供システム。
【請求項10】
請求項1〜の何れかに記載のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの前記ユーザー状態に応じた所定の香りを含む
ことを特徴とするソリューション提供システム。
【請求項11】
請求項1〜10の何れかに記載のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、移動体に設置された前記カメラを介して、該移動体の運転者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記運転者の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記移動体のハンドル部分及び座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記運転者に提供する
ことを特徴とするソリューション提供システム。
【請求項12】
請求項1〜10の何れかに記載のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、医療機関の診察台に設置された前記カメラを介して、該医療機関の患者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記患者の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記診察台に設置された前記振動発生部を介して前記周期的な振動を前記患者に提供する
ことを特徴とするソリューション提供システム。
【請求項13】
請求項1〜10の何れかに記載のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、教育機関において生徒が用いるタブレット端末に設置された前記カメラを介して、該生徒の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記生徒の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記タブレット端末及び該生徒が着席する座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記生徒に提供する
ことを特徴とするソリューション提供システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザーの感情又は疲労状態を改善するソリューションの提供システムに関する。
【背景技術】
【0002】
従来、生体測定装置、心身状態誘導装置が知られている(特許文献1、特許文献2参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2018−197910号公報
【特許文献2】特開2020−62282号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の発明によれば、近赤外光を用いて撮影したユーザーの顔画像から得られる脈波の情報に基づいてユーザーの状態を判定し、ユーザーの状態に応じた所定の警報を発することができる。
【0005】
また特許文献2の発明によれば、ユーザーの生体情報からユーザーの体調等を特定して、体調に応じた呼吸リズムに誘導するための刺激を発することができる。
【0006】
これらの技術を、ユーザーの感情又は疲労状態を分析して、ユーザーの状態に応じた適切なソリューションを提供して、ユーザーの状態を改善等するシステムに応用することが考えられる。
【0007】
ユーザーの状態を改善等するためにユーザーに提供すべきソリューションの内容は、ユーザーの状態によって大きく異なる。そのため、ユーザーの状態に適さないソリューションを提供してしまうと、ユーザーの状態の改善に役立たないばかりか、かえって悪化させてしまうことも考えられる。
【0008】
しかしながら特許文献1の技術ではユーザーに対して所定の警報を発することができるのみであり、また特許文献2の技術では呼吸のリズムを整えるための刺激を発することができるのみである。そのため、ユーザーの感情又は疲労状態に応じた適切なソリューションを提供できる仕組みにはなっていない。
【0009】
そこで本発明は、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できるソリューション提供システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明のソリューション提供システムは、
ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための、該ユーザーに提供可能な複数のソリューションの情報を記憶する記憶部と、
前記ユーザーが、該ユーザーの手指の肌の画像を取得する第1状況にあるか、該ユーザーの顔の肌の画像を取得する第2状況にあるか、を認識する状況認識部と、
前記ユーザーが前記第1状況にある場合には該ユーザーの手指の肌の画像を含むユーザー情報を取得し、該ユーザーが前記第2状況にある場合には該ユーザーの顔の肌の画像を含むユーザー情報を取得するユーザー情報取得部と、
前記ユーザーが前記第1状況にある場合には前記ユーザー情報に含まれる前記手指の肌の画像を分析し、該ユーザーが前記第2状況にある場合には該ユーザー情報に含まれる前記顔の肌の画像を分析する肌画像分析部と、
前記肌画像分析部による分析の結果に基づいて前記ユーザーの心拍に関する情報を取得する心拍情報取得部と、
前記ユーザーの心拍に関する情報に基づいて前記ユーザーの前記ユーザー状態を示すユーザー状態情報を生成するユーザー状態情報生成部と、
前記複数のソリューションから前記ユーザー状態情報に応じたソリューションを決定するソリューション決定部と、
決定された前記ソリューションを前記ユーザーに提供するソリューション提供部と、を備える
ことを特徴とする。
【0011】
ソリューション提供システムを利用しようとするユーザーが置かれている状況はさまざまである。例えば肌の画像を取得させる必要がある場合に、状況によってはユーザーが自身の顔の画像を取得させることを望まないか、あるいは顔の画像を取得させたくてもそれに適した状況にないことも考えられる。
本発明によれば、状況認識部によりユーザーの置かれている状況が認識されて、当該認識された状況に応じてユーザーの肌の画像を取得する部位(顔又は手指)を変えながら、ユーザーの感情又は疲労状態を精度よく分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。
【0028】
本発明のソリューション提供システムにおいて、
前記状況認識部は、前記ユーザーが第1状況にあるか、第2状況にあるかの、前記ユーザーによる選択の入力を受け付けて、該受け付けた選択内容に応じて該ユーザーが該第1状況及び該第2状況のいずれの状況にあるかを認識する
ことが好ましい。
これにより、手指と顔とのいずれの肌の画像を取得させるかを、ユーザーの選択に応じて切り替えて、ユーザーの感情や疲労状態に応じた適切なソリューションを簡便に提供できる。
あるいは本発明のソリューション提供システムにおいて、
前記状況認識部は、現在の時間帯が昼間の時間帯であれば前記ユーザーが前記第1状況にあると認識し、現在の時間帯が夜間の時間帯であれば該ユーザーが前記第2状況にあると認識する
ことが好ましい。
【0029】
これにより、例えば昼間働いている人は、昼間の時間帯は職場などで手指の肌の画像から、就寝前の夜の時間帯は自宅などで人目を気にせずに顔の肌の画像から自身の感情や疲労状態を知ることができる。
【0030】
このように、本発明によれば、時間帯に応じて取得する情報を変えながら、ユーザーの感情又は疲労状態を精度よく分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。
【0031】
本発明のソリューション提供システムにおいて、
前記ユーザー情報取得部は、前記ソリューションが前記ユーザーに提供された後に、前記ユーザー情報を再度取得し、
前記ユーザー状態情報生成部は、前記ソリューションが前記ユーザーに提供された後に取得された前記ユーザー情報を含む情報に基づいて、前記ユーザー状態情報を再生成し、
前記ソリューション決定部は、前記再生成された前記ユーザー状態情報に応じたソリューションを決定する
ことが好ましい。
【0032】
ソリューションの提供の結果、時間の経過等、その他の理由により、ユーザーの感情又は疲労状態は変化することが想定される。
【0033】
本発明によれば、ソリューションがユーザーに提供された後に、ユーザー情報取得部によりユーザー情報が再度取得される。
【0034】
そしてソリューションがユーザーに提供された後に取得されたユーザー情報を含む情報に基づいて、ユーザー状態情報生成部によりユーザー状態情報が再生成されて、ソリューション決定部により当該再生成されたユーザー状態情報に応じたソリューションが決定される。
【0035】
本発明によれば、ユーザーの感情又は疲労状態の変化に応じた個対応のソリューションを決定してユーザーに提供することができる可能性が高まる。
【0049】
本発明のソリューション提供システムにおいて、
前記ユーザーが所望する該ユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を受け付ける所望状態受付部を備え、
前記ソリューション決定部は、前記ユーザー状態情報及び前記所望状態情報に基づいて、前記ユーザー状態を前記所望状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
ことが好ましい。
本発明によれば、ユーザーが所望する感情の状態又は疲労から回復した状態に効果的に誘導することができる。
本発明のソリューション提供システムにおいて、
前記ソリューション決定部は、前記ユーザー状態情報に応じて、該ユーザー状態をリラックスした状態、冷静な状態、又は覚醒した状態に誘導する前記ソリューションを決定するように構成されている
ことが好ましい。
【0050】
本発明によれば、ソリューション決定部により、ユーザー状態情報に応じて、ユーザー状態をリラックスした状態、冷静な状態、又は覚醒した状態に誘導するソリューションが決定される。
【0051】
本発明によれば、効果的にユーザーをリラックスした状態、冷静な状態、又は覚醒した状態に誘導することができる。
【0052】
このように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じたリラックスした状態、冷静な状態、又は覚醒した状態に誘導するための適切なソリューションを簡便に提供できる。
【0061】
本発明のソリューション提供システムにおいて、
前記記憶部は、前記ユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す基準状態情報を記憶しており、
前記ソリューション決定部は、前記ユーザー状態及び前記基準状態情報に基づいて、前記ユーザー状態を前記基準状態情報が示す状態に向けて誘導する前記ソリューションを決定するように構成されている
ことが好ましい。
【0062】
本発明によれば、ユーザーを基準状態情報が示す状態の感情又は疲労状態に効果的に誘導することができる。
【0063】
本発明のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの触覚、聴覚又は嗅覚に対する刺激を含む
ことが好ましい。
【0064】
システムから提供されるソリューションが、ユーザーに対して能動的な行動を求めるソリューションである場合には、ユーザーにソリューションの提供を受けることに伴う労力を生じさせ、かえって感情を害したり、疲労を蓄積させたりしてしまうので望ましくない。
【0065】
このように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切かつユーザーに労力を生じさせないソリューションを簡便に提供できる。
【0066】
本発明のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、音楽と、朗読音声と、所定の周期的な振動との組み合わせを含む
ことが好ましい。
【0067】
朗読音声、所定の周期的な振動には、副交感神経の働きを活性化させて人の緊張感を緩和し、疲労を解消させるなどの効果がある。また、音楽には人の緊張感を緩和し、又は交感神経の働きを活性化させて人の緊張感を高める効果がある。これらを適切に組み合わせれば、より効果的である。
【0068】
本発明によれば、前記ソリューション決定部が決定するソリューションは、音楽と、朗読音声と、所定の周期的な振動との、ユーザーのユーザー状態に応じた組み合わせを含んでいる
【0069】
本発明によれば、豊富なソリューションを、ユーザー状態に応じて適切に組み合わせてユーザーの感情又は疲労状態をより効果的に改善することができる。
【0075】
本発明のソリューション提供システムにおいて、
前記ソリューション決定部が決定する前記ソリューションは、前記ユーザーの前記ユーザー状態に応じた所定の香りを含む
ことが好ましい。
【0076】
所定の香りには、人の緊張感を緩和し、疲労を解消させるなどの効果がある。
【0077】
本発明によれば、前記ソリューション決定部が決定するソリューションは、ユーザーのユーザー状態に応じた所定の香りを含んでいる
【0078】
本発明によれば、ユーザーの感情又は疲労状態を効果的に改善することができる。
【0079】
本発明のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、移動体に設置された前記カメラを介して、該移動体の運転者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記運転者の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記移動体のハンドル部分及び座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記運転者に提供する
ことが好ましい。
【0080】
本発明によれば、運転者の感情の状態、疲労状態に応じた振動がハンドル又は座席から伝わり、ストレス、疲労の回復が促される。
【0081】
本発明のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、医療機関の診察台に設置された前記カメラを介して、該医療機関の患者の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記患者の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記診察台に設置された前記振動発生部を介して前記周期的な振動を前記患者に提供する
ことが好ましい。
【0082】
本発明によれば、医療機関で診察を受ける患者の感情の状態に応じた振動が診察台から伝わり、患者の不安感、緊張状態の低減が促されて治療がやりやすくなる。また緊張状態が低減されることによって治療に伴う患者の感じる痛みが緩和されることも期待できる。
【0083】
本発明のソリューション提供システムにおいて、
カメラ及び、振動発生部を備え、
前記ユーザー情報取得部は、教育機関において生徒が用いるタブレット端末に設置された前記カメラを介して、該生徒の顔又は手指の肌の画像を含む前記ユーザー情報を取得し、
前記ソリューション決定部が決定する前記ソリューションは、前記生徒の前記ユーザー状態に応じた所定の周期的な振動を含み、
前記ソリューション提供部は、前記タブレット端末及び該生徒が着席する座席の一方又は両方に設置された前記振動発生部を介して前記周期的な振動を前記生徒に提供する
ことが好ましい。
【0084】
本発明によれば、生徒の感情の状態、疲労状態に応じた振動がタブレット端末又は座席から伝わり、ストレス、疲労の回復が促されるので、生徒の授業に対する集中力が高まって、学習効果が高まることが期待できる。
【図面の簡単な説明】
【0085】
図1】本発明のソリューション提供システムの全体像を示すブロック図。
図2】本発明のソリューション提供システムが処理に用いるデータの内容を示す図。
図3】本発明のソリューション提供システムの処理内容を示すフローチャート。
図4】本発明のソリューション提供システムの処理内容を示すフローチャート。
図5】本発明のソリューション提供システムの処理内容を示すフローチャート。
図6】本発明のソリューション提供システムの処理内容を示すイメージ図。
図7】本発明のソリューション提供システムが処理に用いるデータの内容を示す図。
【発明を実施するための形態】
【0086】
<ソリューション提供システムの構成>
まず図1を用いて、本実施形態のソリューション提供システムの構成について説明する。なお同一の構成については、同一の符号を付して説明を省略することがある。
【0087】
本実施形態のソリューション提供システムは、携帯端末10と、サーバー30と、を含んで構成される。携帯端末10とサーバー30との間は、携帯電話網などの通信ネットワーク90により相互に通信可能に接続される。なお携帯端末10とサーバー30は、いずれも複数であってよい。
【0088】
携帯端末10は、携帯端末制御部110と、入力部130と、出力部150と、を含んで構成される、例えばスマートフォン、タブレット端末などの汎用的な端末である。あるいは携帯端末10は、ユーザーが携帯可能な専用端末であってもよい。
【0089】
携帯端末制御部110は、CPU(Central Processing Unit)等の演算処理装置、メモリ、及びI/O(Input/Output)デバイスなどにより構成されている。携帯端末制御部110は、所定のプログラムを読み込んで実行することにより例えばユーザー情報取得部111と、ソリューション提供部113として機能し、あるいはさらに所望状態受付部115、肌画像分析部117、状況認識部119として機能する。
【0090】
ユーザー情報取得部111は、ユーザーの身体または動作から得られる情報を含むユーザー情報を取得する。
【0091】
ユーザー情報取得部111が取得するユーザーの身体または動作から得られる情報は、例えばユーザーの心拍に関する情報、ユーザーの肌の画像、ユーザーが入力する文字及び音声の一方又は両方である言語情報の少なくとも1つの情報である。
【0092】
ユーザー情報取得部111は、例えば入力部130である心拍計を介してユーザーの心拍を取得する。
【0093】
あるいはユーザー情報取得部111は、ユーザーの肌の動画像又はユーザーの肌を連続的に撮像した静止画像を、例えば入力部130であるカメラを介してユーザー情報として取得する。なお肌の画像とは、例えばユーザーの顔の肌の画像又は手指の肌の画像であるが、その他の部位の肌の画像であってよい。
【0094】
そしてユーザー情報取得部111は、ユーザーによる文字及び音声の一方又は両方である言語情報を含むユーザー情報の入力を、例えば入力部130であるタッチパネル、マイクなどを介して受け付ける。
【0095】
ソリューション提供部113は、ソリューション決定部313により決定されたソリューションを、出力部150を介してユーザーに提供する。
【0096】
所望状態受付部115は、ユーザーが所望するユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を、入力部130を介して受け付ける。
【0097】
肌画像分析部117は、ユーザー情報に含まれる記肌の画像を分析する。
【0098】
状況認識部119は、ユーザーが、ユーザー情報取得部111にユーザーの手指の肌の画像を取得させる第1状況にあるか、ユーザーの顔の肌の画像を取得させる第2状況にあるか、を認識する。状況認識部119は例えば、第1状況にあるか、第2状況にあるかの、ユーザー自身による選択の入力を受け付けて、当該受け付けた選択内容に応じてユーザーが第1状況及び第2状況のいずれの状況にあるかを認識する。あるいは例えば状況認識部119は、現在の時間帯に基づいて、ユーザーが第1状況及び第2状況のいずれの状況にあるかを認識してもよい。
【0099】
入力部130は、例えばカメラなどの映像取得手段であり、タッチパネル、キーボードなどの文字や選択結果等の入力機構であり、あるいはマイクなどの音声入力機構である。
【0100】
出力部150は、例えばバイブレーターなどの振動発生部151と、液晶ディスプレイなどの表示部153と、スピーカなどの音声再生部155と、香りを発生させる香り発生部157と、を含んで構成される。なお出力部150の一部は外付けの装置であってよい。
【0101】
すなわち例えば振動発生部151として、携帯端末10に備えられたバイブレーターに代えて又は加えて、振動発生機能を備えた外付けの装置が備えられている場合には、携帯端末10と当該外付けの装置とは、例えば無線又は有線の通信により、相互に通信可能に接続される。そして当該外付けの装置は、例えば携帯端末10から、振動のソリューションを提供するための信号を受信して、当該信号に従って、振動のソリューションをユーザーに提供する。
【0102】
サーバー30は、サーバー制御部310と、サーバー記憶部330と、を含んで構成される、例えばコンピューターである。
【0103】
サーバー制御部310は、CPU等の演算処理装置、メモリ、及びI/Oデバイスなどにより構成されている。サーバー制御部310は、所定のプログラムを読み込んで実行することにより例えばユーザー状態情報生成部311、ソリューション決定部313として機能し、あるいはさらに心拍情報取得部315、自律神経バランス取得部317、言語情報分析部319として機能する。
【0104】
ユーザー状態情報生成部311は、ユーザー情報取得部111によりされた身体または動作から取得された情報に基づいてユーザーのユーザー状態を示すユーザー状態情報を生成する。
【0105】
すなわち例えばユーザー状態情報生成部311は、ユーザー情報に含まれる心拍に関する情報、肌画像分析部117による分析の結果、言語情報分析部319による分析の結果、自律神経バランス情報に基づいて、ユーザー状態情報を生成する。
【0106】
ソリューション決定部313は、複数のソリューションからユーザー状態情報に応じたソリューションを決定する。
【0107】
そして心拍情報取得部315は、肌の画像からユーザーの心拍に関する情報を取得する。
【0108】
自律神経バランス取得部317は、ユーザー情報に含まれる心拍に関する情報又は、心拍情報取得部315により取得された心拍に関する情報に基づいて、ユーザーの自律神経バランスを示す自律神経バランス情報を取得する。
【0109】
あるいは例えば自律神経バランス取得部317は、言語情報分析部319により取得された、言語情報の特徴に関する情報に基づいて、ユーザーの自律神経バランス情報を取得する。
【0110】
言語情報分析部319は、ユーザー情報に含まれる言語情報を分析する。例えば言語情報分析部319は、言語情報からユーザー情報の特徴に関する情報を取得する。
【0111】
より具体的にはたとえば言語情報分析部319は、言語情報に含まれる特徴的な語句(ネガティブな語句など)を、あるいは例えばユーザー情報に音声が含まれる場合には、該音声の抑揚をユーザー情報の特徴に関する情報として取得する。
【0112】
サーバー記憶部330は、例えばROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等の記憶装置により構成されている。サーバー記憶部330は、ユーザーに提供可能な、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための複数のソリューションの情報を記憶しており、あるいはさらに対応辞書331、判定モデル333、変換モデル335、基準状態情報337のほか、本実施形態のソリューション提供システムの処理結果及び、処理に必要なデータを記憶している。
【0113】
サーバー記憶部330に記憶されているソリューションの情報は、音楽、音声、映像、所定の周期的な振動のパターンなどのデジタルデータそのものでもよく、あるいは例えば所定の香りを特定するIDなどの符号情報であってよい。これらのソリューションが単独で、又は組み合わせてユーザーに向けて提供されることにより、例えばユーザー状態をリラックスした状態、冷静な状態、覚醒した状態に誘導するソリューション、ユーザー状態を所望状態情報が示す状態に向けて誘導するソリューション、ユーザー状態を基準状態情報337が示す状態に向けて誘導するソリューションなどとして機能する。
【0114】
また、サーバー記憶部330に記憶されているソリューションは、例えばユーザーの触覚、聴覚又は嗅覚に対する受動的な刺激を含み、より具体的には所定の周期的な振動、音楽、朗読音声、所定の香り、ネガティブな語句に対応する前向きな言い換え又は語句に比してネガティブさの度合いの低い言い換えの語句候補などである。あるいはソリューションは、例えばユーザーに所定の方法での呼吸又は瞑想を促す情報などであってもよい。
【0115】
なおユーザーの感情とは、喜怒哀楽、又はネガティブな状態などのいわゆる心理状態のほか、興奮状態にあるかリラックス状態にあるかの指標の一つとしての自律神経バランスの状態及び、覚醒、休息、冷静、解放などのユーザー自身による自己認識の状態を含む概念である。
【0116】
対応辞書331は、例えば図2に示すような、言語情報に含まれるネガティブな語句などの特徴的な語句と、ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態の度合とを対応付けて記憶している対応テーブルであり、あるいはさらに語句の前向きな言い換えの語句又は当該語句に比してネガティブさの度合いの低い言い換えの語句とを対応付けて記憶していてもよい。あるいは対応辞書331は、音声の抑揚とユーザー状態とを対応付けて記憶している対応テーブルである。
【0117】
これらの対応辞書331は、ユーザー状態情報生成部311がユーザー状態情報を生成する際又はソリューション決定部313がソリューションを決定する際に用いられる。
【0118】
判定モデル333は、例えば言語情報に含まれる特徴的な語句入力としユーザー状態を出力とする判定モデル、または音声の抑揚を入力としユーザー状態を出力とする判定モデルであり、ユーザー状態情報生成部311がユーザー状態情報を生成する際に用いられる。
【0119】
変換モデル335は、ネガティブな語句を入力とし該語句の前向きな言い換えの語句又は該語句に比してネガティブさの度合いの低い言い換えの語句を出力とする変換モデルであり、ソリューション決定部313がソリューションを決定する際に用いられる。
【0120】
基準状態情報337は、ユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す情報であり、例えばユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準となる心拍数、心拍間隔、自律神経バランス、及びこれらのデータから求められる感情又は疲労状態の指標値が、例えば年代、性別などのユーザーの特性ごと、あるいは昼、夜などの時間帯ごとに記憶されている。
【0121】
<処理の概要>
次に、図3図7を参照して、本実施形態のソリューション提供システムの処理内容について説明する。
【0122】
<所望状態受付処理>
一連の処理を開始すると、まず必要に応じて携帯端末10の所望状態受付部115は、ユーザーが所望する該ユーザーの感情又は疲労状態の一方又は両方を示す所望状態情報の入力を受け付けて、サーバー30に送信する(図3/S110)。
【0123】
所望状態受付部115は、例えば携帯端末10のディスプレイにユーザーが所望する感情及び/又は疲労状態の選択肢を複数表示し、ユーザーに選択させることで所望状態情報の入力を受け付ける。所望状態受付部115が表示する選択肢は、例えば「仕事のやる気をアップしたい」、「回復力を高めて疲れを取りたい」などの抽象的なものでもよく、「明るい気持ちになりたい」、「リラックスした気持ちになりたい」、「冷静になりたい」、「覚醒した状態になりたい」、「自律神経バランスを整えたい」などのより具体的なものであってもよい。
【0124】
そして、サーバー30は、所望状態情報を受信してサーバー記憶部330に記憶する(図3/S130)。
【0125】
なおこのとき状況認識部119は例えば、ユーザーが第1状況にあるか、第2状況にあるかを選択させるための選択ボタンを携帯端末10のディスプレイに表示し、ユーザーに選択させることで、ユーザーが第1状況及び第2状況のいずれの状況にあるかを認識する。
【0126】
<ユーザー情報取得処理>
その後に、携帯端末10のユーザー情報取得部111は、ユーザー情報を取得してサーバー30に送信する(図3/S150)。
【0127】
より具体的には、例えば図4に示すようにユーザー情報取得部111は、携帯端末10が有するカメラを介してユーザーの肌の画像を取得し(図4/S151)、携帯端末10が有するタッチパネルを介して文字や選択肢の選択結果の入力を、あるいはマイクを介して音声の入力を、言語情報として受け付ける(図4/S153)。
【0128】
なおユーザー情報取得部111は、肌の画像を取得するときに、状況認識部119による認識結果に基づいて、ユーザーがユーザーの手指の肌の画像を取得させる第1状況にある場合にはユーザーの手指の肌の画像を取得し、ユーザーが顔の肌の画像を取得させる第2状況にある場合にはユーザーの顔の肌の画像を取得する。
【0129】
そしてユーザー情報取得部111は、例えば肌画像分析部117の機能を用いて、肌の画像から心拍に関する情報の取得に必要な情報を取得する(図4/S155)。
【0130】
なお肌画像分析部117は、心拍に関する情報の取得に必要な情報を取得するときに、状況認識部119による認識結果に基づいて、ユーザーが第1状況にある場合にはユーザーの手指の肌の画像を分析して心拍に関する情報の取得に必要な情報を取得し、第2状況にある場合にはユーザーの顔の肌の画像を分析して当該情報を取得する。
【0131】
肌画像分析部117が肌の画像から心拍に関する情報の取得に必要な情報を取得する手法としては既知の種々の手法が用いられてよいが、肌画像分析部117は例えば、肌の画像である動画像又は連続的に撮像した静止画像から、RGBの各色成分の輝度の変化の情報を取得する。
【0132】
そしてユーザー情報取得部111は、このようにして取得した、言語情報、心拍に関する情報の取得に必要な情報をユーザー情報としてサーバー30に送信する(図4/S157)。
【0133】
<ユーザー情報分析処理>
そして、サーバー30のユーザー状態情報生成部311は、ユーザー情報を受信して(図3/S210)、心拍に関する情報の取得に必要な情報、言語情報などの、ユーザー情報に含まれる情報を分析する(図3/S230)。
【0134】
より具体的には例えば図5に示すように、ユーザー状態情報生成部311は、心拍情報取得部315を介して、心拍に関する情報の取得に必要な情報から心拍に関する情報を取得する(図5/S231)。
【0135】
心拍情報取得部315が心拍に関する情報の取得に必要な情報からユーザーの心拍に関する情報を取得する手法としては既知の種々の手法が用いられてよいが、心拍情報取得部315は例えば、RGBの各色成分の輝度の変化の情報に含まれる特定の色成分(例えばG(緑))の輝度の変化を所定のアルゴリズムを用いて分析することにより、ユーザーの心拍を取得する。
【0136】
また心拍情報取得部315はユーザーの心拍から例えば、心拍数、心拍間隔、あるいはこれらの情報からCVR−R、CCVTPなどの指標値を計算して取得する。
【0137】
そして心拍情報取得部315は、例えばCVR−R、CCVTPなどの指標値から、所定のアルゴリズムを用いて0〜10の間で0.1刻みでユーザーの疲労状態を示す疲労度スコアを算出する。
【0138】
またユーザー状態情報生成部311は、言語情報分析部319の機能を用いて、ユーザー情報に含まれる言語情報の特徴に関する情報を取得する(図5/S233)。
【0139】
言語情報分析部319は、言語情報の特徴に関する情報として、例えば言語情報に含まれる特徴的な語句(ネガティブな語句など)を取得する。あるいは例えば言語情報分析部319は、ユーザー情報に音声が含まれる場合には、音声の抑揚をユーザー情報の特徴に関する情報として取得する。
【0140】
言語情報分析部319が言語情報の特徴に関する情報を取得する手法としては種々の手法が用いられてよい。すなわち例えば言語情報分析部319は、あらかじめサーバー記憶部330に記憶されたネガティブな語句の辞書を参照して、ユーザーが入力又は選択した語句に含まれるネガティブな語句を抽出し、当該ネガティブな語句を言語情報の特徴に関する情報として取得する。
【0141】
あるいは例えば言語情報分析部319は、ユーザー情報に含まれる音声データを音節ごとに分割し、各音節を分析してその抑揚パターンを取得して、あらかじめサーバー記憶部330に記憶された、人の発言の抑揚のパターンと感情、疲労状態、自律神経バランスなどとを対応付けた対応テーブルを参照して、ユーザー情報に含まれる音声データから特徴的な(例えば発生頻度の多い)抑揚パターンを抽出し、当該抑揚パターンを言語情報の特徴に関する情報として取得する。
【0142】
その後にユーザー状態情報生成部311は、自律神経バランス取得部317の機能を用いて、心拍に関する情報及び/又は言語情報から取得された特徴に関する情報に基づいて自律神経バランス情報を取得する(図5/S235)。
【0143】
自律神経バランス取得部317が自律神経バランス情報を取得する手法としては種々の手法が用いられてよい。すなわち例えば自律神経バランス取得部317は、心拍の変動を周波数解析して、心拍の変動の低周波成分であるLF(Low Frequency)と高周波成分であるHF(High Frequency)との比(LF/HF)を、自律神経バランス情報として取得する。
【0144】
そして自律神経バランス取得部317は、自律神経バランス情報から、所定のアルゴリズムを用いて0〜10の間で0.1刻みでユーザーの自律神経のバランスを示す自律神経バランススコアを算出する。
【0145】
<ユーザー状態情報生成処理>
そして、サーバー30のユーザー状態情報生成部311は、ユーザー情報分析処理における分析結果に基づいて、ユーザーのユーザー状態を示すユーザー状態情報を生成する(図3/S250)。
【0146】
例えばユーザー状態情報生成部311は、上記で得られた疲労度スコアと自律神経バランススコアに基づいてユーザー状態情報を生成する。
【0147】
そして、ユーザー状態情報生成部311は、例えば図6に示すような、疲労度を縦軸として、自律神経バランスを横軸としたマトリクス表を用いて、ユーザー疲労度と自律神経バランスとの組み合わせが当該マトリクス表のどこに位置するかを示す情報を取得して、当該取得した情報をユーザー状態情報とする。あるいは例えばユーザー状態情報生成部311は、このようにして取得したマトリクス表のどこに位置するかを示す情報及び疲労度スコアと自律神経バランススコアを組み合わせた情報をユーザー状態情報としてもよい。
【0148】
すなわち例えば図6に示すように、縦軸においては上に行くほど疲労度が高く、下に行くほど疲労度は低い。そして横軸においては右に行くほど交感神経が優位なすなわち心が緊張した状態の自律神経バランスであり、左に行くほど副交感神経が優位なすなわち心が弛緩した状態の自律神経バランスである。
【0149】
なお図6においては、自律神経スコアが0〜3.3であれば副交感神経が優位な状態とし、3.4〜6.6であれば自律神経バランスが整っている調和状態とし、6.7〜10.0であれば交感神経が優位な状態としている。また疲労度スコアが0〜3.3であれば疲労度は低く、3.4〜6.6であれば疲労度は中程度とし、6.7〜10.0であれば疲労度が高い状態としている。
【0150】
そして、副交感神経が優位な状態であって疲労度が中程度〜低い状態にある場合は過度なリラックス状態(over−relax)、交感神経が優位な状態であって疲労度が中程度〜低い状態にある場合は過度な覚醒状態(over−active)、疲労度が高ければ危険な状態(dangerous)であり、その中でも自律神経のバランスが取れている場合は要注意な状態(caution)となる。
【0151】
一方で、疲労度が中程度で自律神経バランスが取れている場合は平常状態(me−normal)であり、疲労度が低く自律神経バランスが取れている場合は充実した状態(me−fullness)となる。図6は、ユーザー状態が「caution」の状態であることを示している。
【0152】
<ソリューション決定処理>
そして、サーバー30のソリューション決定部313は、ユーザー状態情報に応じたソリューションを決定して携帯端末10に送信する(図3/S270)。
【0153】
より具体的には、例えば図7に示すような、疲労度と自律神経バランスとの組み合わせと、ソリューションとの対応テーブルを予めサーバー記憶部330に記憶しておき、ソリューション決定部313は、当該対応テーブルを参照して、上記のようにして得られた疲労度と自律神経バランスとの組み合わせに対応したソリューション又はソリューションの組み合わせを取得する。
【0154】
すなわち例えば上記の例においては、ユーザー状態が、自律神経のバランスはとれているが疲労度が高い「caution」の状態であるので、ソリューション決定部313は、振動と音声との組み合わせであって、音声としてはまずナレーション(朗読音声)が流れてそののちに音楽が流れる、6分間のソリューションの組み合わせをユーザー状態情報に応じたソリューションとして決定する。
【0155】
これは、疲労度の高いユーザーに対してはまず、疲労を和らげる効果を有する振動とナレーションとの組み合わせを提供し、その後に音声を自律神経のバランスを維持する音楽に入れ替えて提供することで、疲労の低減と自律神経バランスの維持を効果的に行うことを意図した組み合わせとなっている。また、ユーザーの感情又は疲労状態が良好な状態にあれば、ソリューションの時間は相対的に短く、ユーザーの感情又は疲労状態が良好な状態になければ、ソリューションの時間はユーザーにとって無理のない範囲で相対的に長く設定される。
【0156】
なおこのとき、ソリューション決定部313は、当該ユーザーの所望状態情報がサーバー記憶部330に記憶されている場合には、ユーザーの感情又は疲労状態を所望状態情報が示す状態に向けて誘導するソリューションを決定する。すなわち例えばユーザー状態が「caution」で、ユーザーの所望状態情報が「回復力を高めて疲れを取りたい」であれば、ユーザー状態が「me−normal」又は「me−fullness」に向けて誘導できるソリューションをサーバー記憶部330に記憶されているソリューションから選択することによりユーザーに向けて提供するソリューションを決定する。
【0157】
あるいはユーザーの所望状態情報がサーバー記憶部330に記憶されていない場合などには、ソリューション決定部313は、例えばユーザー状態をリラックスした状態、すなわち現在の自律神経バランスがより副交感神経優位な状態に向かうように誘導するソリューションを決定するように構成されていてもよい。
【0158】
あるいはソリューション決定部313は、例えばユーザー状態を冷静な状態、すなわち現在の自律神経バランスがより副交感神経優位な状態に、リラックスした状態に誘導するソリューションに比して速いスピードで、向かうように誘導するソリューションを決定するように構成されていてもよく、ユーザー状態を覚醒した状態、すなわち現在の自律神経バランスがより交感神経優位な状態に向かうように誘導するソリューションを決定するように構成されていてもよい。
【0159】
あるいはユーザーの感情又は疲労状態の一方又は両方が改善された状態の基準を示す基準状態情報337がサーバー記憶部330に記憶されている場合には、ソリューション決定部313は、ソリューション決定部313は、ユーザー状態及び基準状態情報337に基づいて、ユーザー状態を基準状態情報337が示す状態に向けて誘導するソリューションを決定するように構成されていてもよい。
【0160】
すなわち例えば、ソリューション決定部313はソリューションの決定にあたって基準状態情報337を参照する。基準状態情報337として、例えば「疲労度=0〜3.3」が指定されていれば、ソリューション決定部313は、疲労度を3.3以下に誘導するソリューションをサーバー記憶部330に記憶されているソリューションから選択することによりユーザーに向けて提供するソリューションを決定する。
【0161】
<言い換えの語句候補の決定>
なおソリューション決定部313が決定するソリューションは、ネガティブな語句に対応する前向きな言い換え又は該語句に比してネガティブさの度合いの低い言い換えの語句候補であってもよい。
【0162】
すなわち例えばソリューション決定部313は、言語情報に含まれるネガティブな語句と、該語句の前向きな言い換えの語句又は該語句に比してネガティブさの度合いの低い言い換えの語句と、の対応辞書を用いて、該ネガティブな語句に対応する前向きな言い換え又は該語句に比してネガティブさの度合いの低い言い換えの語句候補をソリューションとして決定する。
【0163】
より具体的には、言語情報に「悲しい」という語句が含まれていた場合に、ソリューション決定部313は、図2に示すような対応辞書を参照して、「悲しい」の語句の感情の度合が「−99」点で、に対応する言い換えの語句が「切ない」又は「涙を誘う」であることを認識する。そしてソリューション決定部313は、例えば言語情報に「悲しい」という語句が複数回登場すれば、感情の度合を下げる必要性が高いと認識して、より感情の度合が低い「−28」点の「涙を誘う」をネガティブさの度合いの低い言い換えの語句候補として選択し、ソリューションとして決定する。
【0164】
あるいは言語情報に「ぐったり」という語句が含まれていた場合には、ソリューション決定部313は、図2に示すような対応辞書を参照して、「ぐったり」に対応する前向きな言い換えの語句に「充実している」、「腕の見せ所だ」などがあることを認識する。そして言語情報の内容に応じて、これらの中から適宜に語句を選択して、ソリューションとして決定する。
【0165】
ソリューション決定部313は例えば、ユーザーが携帯端末10の入力部130を介して文字を入力し、文字変換の操作を行うたびに上記の処理を実行し、選択した語句をソリューションとして携帯端末10に送信する。
【0166】
そして携帯端末10のソリューション提供部113は例えば、後述するソリューション提供処理において、当該選択された語句を変換候補の一覧の上位に表示する。
【0167】
なおソリューション決定部313は、上記の対応辞書に加えて又は代えて、ネガティブな語句を入力とし該語句の前向きな言い換えの語句又は該語句に比してネガティブさの度合いの低い言い換えの語句を出力とする変換モデルを用いて言い換えの語句候補を決定してもよい。
【0168】
<ソリューション提供処理>
そして携帯端末10のソリューション提供部113は、ソリューションを受信して(図3/S310)、当該受信したソリューションをユーザーに向けて提供する(図3/S330)。
【0169】
より具体的にはソリューション提供部113は、サーバー30から受信したソリューションの内容に応じて、振動発生部151、表示部153、音声再生部155、香り発生部157を介して、所定の周期的な振動などの触覚に対する刺激、音楽、朗読音声、自然音(鳥の声、小川のせせらぎ等)などの聴覚に対する刺激、所定の香りなどの嗅覚に対する刺激などの受動的な刺激や、ネガティブな語句に対応する前向きな言い換え又は該語句に比してネガティブさの度合いの低い言い換えの語句候補、をユーザーに向けて提供する。
【0170】
すなわち例えば受信したソリューションが音楽のデジタルデータであれば、ソリューション提供部113は、当該音楽を音声再生部155に再生させる。あるいは例えば受信したソリューションが所定の香りを特定するIDであれば、ソリューション提供部113は、当該IDに対応する香りを香り発生部157に発生させる。
【0171】
なお本実施形態のソリューション提供システムは、これら一連の処理を定期的に又は不定期的に繰り返し行うように構成されていてもよい。
【0172】
すなわち例えばユーザー情報取得部111はソリューションがユーザーに提供された後にユーザー情報を再度取得し、ユーザー状態情報生成部311はソリューションがユーザーに提供された後に取得されたユーザー情報を含む情報に基づいてユーザー状態情報を再生成し、ソリューション決定部313は再生成されたユーザー状態情報に応じたソリューションを決定するように構成されていてもよい。
【0173】
以上説明したように本発明によれば、ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できる。
【0174】
以上、本発明の実施形態について説明したが、これに限定されない。本発明の趣旨を逸脱しない範囲で、種々の変更が可能である。
【0175】
<ソリューション提供システムの実装の例>
以下に、ソリューション提供システムの実装の例を記載する。
【0176】
<移動体との組み合わせ>
本発明のソリューション提供システムは、自動車などの移動体に搭載されて用いられてもよい。
【0177】
この場合、例えばユーザー情報取得部111は、例えば自動車に設置されたカメラ及び心拍計の一方又は両方を介して、自動車の運転者又は同乗者であるユーザーの顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。また、ユーザー状態情報生成部311が、取得された情報に基づいて運転者又は同乗者のユーザー状態情報を生成する。
【0178】
そして、ソリューション決定部313が決定するソリューションは、ユーザー状態に応じた、例えばユーザーに休憩を促す情報、該ユーザー状態に応じた所定の周期的な振動又はこれらの組み合わせである。
【0179】
また、ソリューション提供部113は、自動車の例えばハンドル部分及び座席の一方又は両方に設置された振動発生部を介して、ユーザー状態に応じた所定の周期的な振動を運転者又は同乗者に提供する。なお、振動発生部は、ハンドル部分、座席に内蔵されていてもよく、あと付けの装置であってもよい。
【0180】
あるいはこれに加えて又は代えて、ユーザー状態に応じた香りがソリューションとして提供されてもよい。
【0181】
本発明によれば、運転者又は同乗者のストレスなどの感情の状態、疲労状態に応じて、休憩の指示を適切に行え、また休憩時には振動がハンドル又は座席から伝わり、ストレス、疲労の回復が促される。特に運転者に関しては、運転に伴うストレス、疲労による集中力の低下が防止される。
【0182】
<医療機関での利用>
本発明のソリューション提供システムは、病院や歯科医院などの医療機関で用いられてもよい。
【0183】
この場合、例えばユーザー情報取得部111は、例えば医療機関の診察室に設置されたカメラ及び心拍計の何れか一方又は両方を介して、患者であるユーザーの顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。
【0184】
そしてユーザー状態情報生成部311が、取得された情報に基づいて患者のユーザー状態情報を生成して、ソリューション提供部113は、医療機関の診察台に設置された振動発生部を介して、患者のユーザー状態情報に応じた所定の周期的な振動を患者に提供する。
【0185】
ユーザー状態に応じた所定の周期的な振動の開始時の周期は例えば、患者の心拍にほぼ同期しており、その後段階的に周期を長くしていく振動パターンの振動をソリューションとして決定する。
【0186】
これは、ユーザーに提供される振動にあわせて、心拍の周期が同期されていく引き込みの効果を利用してユーザーの心拍数を下げ、ユーザーの不安感、緊張状態を低減することを意図したものである。
【0187】
本発明によれば、不安感、緊張状態の低減によって医療機関における治療がやりやすくなる。また緊張状態が低減されることによって治療に伴う患者の感じる痛みが緩和されることも期待できる。
【0188】
<教育機関での利用>
本発明のソリューション提供システムは、学校などの教育機関で用いられてもよい。
【0189】
この場合、例えばユーザー情報取得部111は、学校の生徒等に用いられるタブレット端末に備えられたカメラ及び心拍計の何れか一方又は両方を介して、各生徒の顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。
【0190】
また、ユーザー状態情報生成部311が、取得された情報に基づいて生徒等のユーザー状態情報を生成して、ソリューション提供部113は、タブレット端末及び該生徒が着席する座席に設置された振動発生部を介して、生徒等のユーザー状態情報に応じた所定の周期的な振動を患者に提供する。
【0191】
あるいはさらに自律神経バランス取得部は、ユーザー情報に基づいて各人の自律神経状態を分析してもよい。
【0192】
この場合、ソリューション決定部313は、交感神経が優位の生徒、副交感神経が優位な生徒のそれぞれに対して自律神経の分析結果に応じた異なる刺激を与えて、全生徒が交感神経と副交感神経とのバランスのとれた状態に誘導するための、所定の周期的な振動のソリューションを決定する。
【0193】
そしてソリューション提供部113は、タブレット端末及び該生徒が着席する座席に設置された振動発生部を介して、生徒のユーザー状態情報に応じた所定の周期的な振動を生徒に提供する。
【0194】
本発明によれば、交感神経優位の生徒、副交感神経優位の生徒が混在していて生徒のコントロールが困難な、混乱した状態が解消できることが期待できる。
【0195】
<オフィスビル等での利用>
本発明のソリューション提供システムは、オフィスビルの休憩スポット等で用いられてもよい。
【0196】
この場合、例えばユーザー情報取得部111は、オフィスビルの休憩スポットに設置された端末に備えられており、オフィスビルで勤務する人のユーザー情報を取得する。
【0197】
ソリューション決定部313は、ユーザー状態に応じたソリューションを決定し、オフィスビルの休憩スポットに設置されたソリューション提供部113を介してユーザーに提供される。
【0198】
ソリューション決定部313が決定するソリューションには、例えば休憩スポット内で提供される音楽、音声、映像、香り、振動、照明の明るさや色合いなどが含まれる。
【0199】
また、ユーザー情報取得部111が取得したユーザー情報、ユーザー状態情報生成部311が生成したユーザー状態情報は蓄積されて、当該オフィスビルで勤務する人の勤務先の管理者に随時に送信されてもよい。
【0200】
本発明によれば、オフィスビルで勤務する人のストレス状態や疲労状態に応じて、休憩スポット内での休憩時間中に効果的にストレス状態や疲労状態を改善することができるとともに、これらの人たちの勤務先の管理者にとっては、勤務者のストレス状態や疲労状態を見える化することができるので便利である。
【0201】
<振動機能を有する電気機器への応用>
例えば会社員などが休憩時間中にリフレッシュするために、振動機能を有する美顔器で顔の筋肉のコリをほぐしてリラックスすることが考えられる。集中力を維持するために、一度リラックスすることは有効だが、美顔器の利用後に気持ちを切り替えて、すぐに業務に取り掛かれるようにすることができればなおよい。
【0202】
そのため本発明のソリューション提供システムは、振動機能を有する美顔器などの電気機器とともに用いられてもよい。
【0203】
この場合、ソリューション提供システムは美顔器のタイマーと連動しており、美顔のための振動などの前半段階においては、ユーザーをリラックスした状態(副交感神経が優位な状態)に誘導するためのソリューションを提供し、美顔のための振動などの後半段階においては、ユーザーを覚醒した状態(交感神経が優位な状態)に誘導するためのソリューションを提供するように構成される。
【0204】
本発明によれば、ユーザーを一時的にリラックスさせることができるとともに、休憩後の業務に向けて、覚醒した状態に気持ちを切り替えて、すぐに業務に取り掛かれるようにすることができる。
【0205】
<宿泊施設での利用>
本発明のソリューション提供システムは、ホテル、旅館などの宿泊施設でのサービスと共に用いられてもよい。
【0206】
この場合、例えばユーザー情報取得部111は、ホテル、旅館などの宿泊施設のフロントに設置された端末に備えられており、宿泊客等の当該施設利用者のユーザー情報を取得する。
【0207】
ソリューション決定部313が決定するソリューションは、ユーザーが利用する客室内で提供される香り、入浴剤、食事の内容を含む宿泊施設サービス内容などが含まれる。
【0208】
ソリューション決定部313の決定結果は、ホテル、旅館の接客担当者に送信されて、ユーザーへのサービス内容に反映される。
【0209】
本発明によれば、当該施設の利用者により心地よい滞在体験を提供して、効果的にユーザーをリラックスした状態、冷静な状態、覚醒した状態、又は疲労から回復した状態に誘導することができる。
【0210】
<観光や旅客サービスでの利用>
本発明のソリューション提供システムは、観光や旅客サービスと共に用いられてもよい。
【0211】
この場合、例えばユーザー情報取得部111は、旅行者が旅行中に利用する移動手段に備えられており、旅行者のユーザー情報を取得する。
【0212】
ソリューション決定部313が決定するソリューションには、例えば移動手段の機内や座席で提供される音楽、音声、映像、香り、振動、照明の明るさや色合いなどが含まれる。
【0213】
本発明によれば、旅行者により心地よい旅行体験を提供して、効果的にユーザーをリラックスした状態、冷静な状態、覚醒した状態、又は疲労から回復した状態に誘導することができる。
【0214】
<プラネタリウム・水族館・映画館等のイベント会場での利用>
本発明のソリューション提供システムは、プラネタリウム・水族館・映画館等、あるいはさらに博物館、遊園地等の室内室外のイベント会場で用いられてもよい。
【0215】
この場合、ユーザー情報取得部111は、例えば当該イベント会場に備え付けられた機器又は持ち運びできる機器に設けられた、もしくはユーザーの携帯端末10が備えるカメラ及び心拍計の何れか一方又は両方を介して、ユーザーの顔、手指の肌の画像、心拍に関する情報を含むユーザー情報を取得する。
【0216】
そしてユーザー状態情報生成部311が、取得された情報に基づいてユーザー状態情報を生成して、ソリューション提供部113は、例えば当該イベント会場に備え付けられた機器又は持ち運びできる機器に設けられた、もしくはユーザーの携帯端末10が備える振動発生部を介して、ユーザー状態情報に応じた所定の周期的な振動をユーザーに提供する。
【0217】
ユーザー状態に応じた所定の周期的な振動の開始時の周期は例えば、ユーザーの心拍にほぼ同期しており、その後段階的に周期を長くしていくもしくは短くしていく振動パターンの振動をソリューションとして決定する。
【0218】
これは、ユーザーに提供される振動にあわせて、心拍の周期が同期されていく引き込みの効果を利用してユーザーをよりリラックス、もしくは活性化することを意図したものである。これにより例えばプラネタリウムや水族館でよりリラックスした気持ちでユーザーに鑑賞させることができ、あるいは例えばアクション映画の映像とともに活性化するようにユーザーの気持ちを誘導することができるなど、ユーザーの気分を含む状態の変化をはかることができる。このように、ソリューション提供システムを、リアルな体験と組み合わせて用いることができるようにすることでユーザーの状態を、リラックスした状態、冷静な状態、又は興奮した状態、もしくは、疲労から回復した状態に効果的に誘導できる。
【0219】
本発明によれば、イベントの内容に合わせて、イベントの体験をより印象深くよい体験にして、効果的にユーザーをリラックスした状態、冷静な状態、覚醒した状態、又は疲労から回復した状態に誘導することができる。
【0220】
以上、本発明の実装方法の例について説明したが、これらはあくまでも、想定される実装方法の例示であり、これらに関連する、あるいは派生するその他の実装方法に応用されてよいことは言うまでもない。また、本発明の趣旨を逸脱しない範囲で、さらに種々の変更が可能である。
【0221】
例えば自律神経バランス取得部317は、上述した人の発言の抑揚のパターンと自律神経バランスとを対応付けた対応テーブルを参照して、ユーザー情報に含まれる音声データから抽出された特徴的な抑揚パターンに対応付けられた自律神経バランスを自律神経バランス情報として取得してもよい。
【0222】
あるいは例えば自律神経バランス取得部317は、言語情報に含まれる特徴的な語句を入力とし、自律神経バランスを出力とするモデルに、言語情報に含まれる特徴的な語句を入力することにより出力された自律神経バランスを自律神経バランス情報として取得してもよい。
【0223】
あるいは例えばユーザー状態情報生成部311は、言語情報に含まれる特徴的な語句に基づいて、語句とユーザー状態との対応辞書及び、該語句を入力としユーザー状態を出力とする判定モデルの、一方又は両方を用いて、ユーザーの感情又は疲労状態を取得してもよい。
【0224】
この場合、ユーザー状態情報生成部311は例えば、語句と感情又は疲労状態との対応辞書を参照して、言語情報に含まれる特徴的な語句に対応するユーザーの感情又は疲労状態を示す指標値を取得する。
【0225】
あるいは例えばユーザー状態情報生成部311は、言語情報に含まれる特徴的な抑揚に基づいて、抑揚とユーザー状態との対応辞書及び、該抑揚を入力としユーザー状態を出力とする判定モデルの、一方又は両方を用いて、ユーザーの感情又は疲労状態を示す指標値を取得してもよい。
【0226】
この場合、ユーザー状態情報生成部311は例えば、言語情報に含まれる特徴的な抑揚を当該判定モデルに入力して出力されたユーザーの感情又は疲労状態を示す指標値を取得する。
【0227】
あるいは例えば上記においては対応辞書331にはネガティブな語句とユーザー状態とを対応付けて記憶させている例について説明したがこれに限定されない。すなわち例えば、喜び、楽しみを感じていることを示すポジティブな語句、又はリラックスしている、興奮していることを表す語句とユーザー状態とを対応付けて記憶していてもよい。
【0228】
あるいは例えば、ユーザー情報取得部111は、ユーザーの顔の動画像又はユーザーの顔を連続的に撮像した静止画像を、カメラを介してユーザー情報として取得し、言語情報分析部319は、顔の動画像又は静止画像に含まれる眉毛、目、鼻又は口の形や角度などからユーザーの感情の種類及びその強度を特徴情報として取得してユーザーの感情スコアを算出し、ユーザー状態情報生成部311は、当該感情スコアを用いてユーザー状態情報を生成するように構成されていてもよい。
【0229】
あるいは例えば、ソリューション決定部313は、ユーザー状態情報及び所望状態情報に基づいて、振動の周期を決定するように構成されていてもよい。
【0230】
より具体的には、例えばソリューション決定部313は、心拍に関する情報に基づいて振動の開始時の周期がユーザーの現在の心拍とほぼ同期するように振動の周期を決定する。
【0231】
そしてソリューション決定部313は例えば、所望状態情報に基づいて該振動の開始後の該周期及び強度の一方又は両方の変化のパターンを決定する。
【0232】
すなわち例えばソリューション決定部313は、所望状態情報に基づいて、リラックスした状態、冷静な状態などの、ユーザーの緊張が緩和された状態に誘導するべき場合には、振動の開始後に段階的に周期が長くなるように周期を変化させるようにソリューションを決定する。これによりユーザーは、現在の自律神経バランスがより副交感神経優位な状態に向かうように誘導されて、リラックスした状態、冷静な状態になる。
【0233】
あるいは例えばソリューション決定部313は、所望状態情報に基づいてユーザーを覚醒した状態に誘導するべき場合には、振動の開始後に段階的に振動の周期が短く、あるいはこれに代えて又は加えて、振動の強度が強くなるように周期を変化させるようにソリューションを決定する。これによりユーザーは、現在の自律神経バランスがより交感神経優位な状態に向かうように誘導されて、覚醒した状態になる。
【0234】
あるいは例えばソリューション決定部313は、所望状態の入力がない場合には、基準状態情報に基づいて、ユーザー状態を基準状態情報が示す状態に向けて誘導するように、振動の周期、強度を変化させる振動のパターンをソリューションとして決定する。
【0235】
あるいは上記においては、携帯端末10の肌画像分析部117が肌の画像から心拍に関する情報の取得に必要な情報を取得して、サーバー30のユーザーの心拍情報取得部315が、心拍に関する情報の取得に必要な情報に基づいて心拍に関する情報を取得する構成について説明したが、これに限定されない。
【0236】
すなわち例えば、肌画像分析部117又は心拍情報取得部315が肌の画像から心拍に関する情報を取得してもよい。その場合、肌画像分析部117及び心拍情報取得部315の一方は省略される。
【0237】
あるいは例えばユーザー情報取得部111は、ユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問に対する回答をユーザー状態情報として取得してもよい。
【0238】
より具体的にはユーザー情報取得部111は、まず、入力部130であるカメラにより撮像されたユーザーの顔の動画像又はユーザーの顔を連続的に撮像した静止画像を表示部153に表示すると共に、表示部153に表示されたユーザーの顔に現れている感情又は疲労状態と相関関係を有する、顔の状態についての質問を表示部153に表示する。
【0239】
そしてユーザー情報取得部111は、入力部130を介して、質問に対するユーザーによる回答の入力を、顔の画像を表示部153に表示させた状態で受け付ける。この場合に入力部130は、質問を見ながら操作を行える位置に配置される。
【0240】
なお顔の状態についての質問に対する回答は、音声や文字で入力されてもよいし、例えば5段階評価のどれに該当するかをユーザーに選択させることにより入力されてもよい。また、当該質問は、1つであっても複数であってもよい。
【0241】
あるいは例えばユーザー情報取得部111は、顔の画像を表示部153に表示させる代わりに、ユーザーの顔を映す鏡部に写るユーザーの顔の映像を見せた状態で、質問に対するユーザーによる回答の入力を受け付けるように構成されていてもよい。
【0242】
この場合、表示部153はユーザーが鏡部に写るユーザーの顔と同時に見ることができる位置に配置され、入力部130は鏡部に写るユーザーの顔及び表示部に表示された質問を見ながら操作を行える位置に配置される。
【符号の説明】
【0243】
10…携帯端末、30…サーバー、111…ユーザー情報取得部、113…ソリューション提供部、115…所望状態受付部、117…肌画像分析部、119…状況認識部、311…ユーザー状態情報生成部、313…ソリューション決定部、315…心拍情報取得部、317…自律神経バランス取得部、319…言語情報分析部、330…サーバー記憶部、331…対応辞書、333…判定モデル、335…変換モデル、337…基準状態情報。
【要約】
【課題】ユーザーの感情又は疲労状態を分析して、ユーザーの感情又は疲労状態に応じた適切なソリューションを簡便に提供できるソリューション提供システムを提供する。
【解決手段】ユーザーの感情及び疲労状態の一方又は両方であるユーザー状態を改善するための複数のソリューションの情報を記憶する記憶部と、ユーザーの身体または動作から得られる情報を含むユーザー情報を取得するユーザー情報取得部と、身体または動作から取得された情報に基づいてユーザー状態情報を生成するユーザー状態情報生成部と、複数のソリューションからユーザー状態情報に応じたソリューションを決定するソリューション決定部と、決定されたソリューションをユーザーに提供するソリューション提供部とを備える。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7