知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023163745
(43)【公開日】2023-11-10
(54)【発明の名称】振動情報出力システム、及び振動情報出力プログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20231102BHJP
【ＦＩ】
G06F3/01 560
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022074851
(22)【出願日】2022-04-28
(11)【特許番号】
(45)【特許公報発行日】2022-12-08
(71)【出願人】
【識別番号】522173273
【氏名又は名称】ＡＩ Ｉｎｆｉｎｉｔｙ 株式会社
(74)【代理人】
【識別番号】100120868
【弁理士】
【氏名又は名称】安彦 元
(72)【発明者】
【氏名】春芽 健生
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA48
5E555BA02
5E555BB02
5E555BC18
5E555CA47
5E555CB64
5E555CC01
5E555DA24
5E555DD06
5E555EA14
5E555EA19
5E555FA00
(57)【要約】
【課題】ユーザの感情に応じて、適切なコミュニケーションを提供する振動情報出力システム、及び振動情報出力プログラムを提供する。
【解決手段】ユーザとコミュニケーションをとるための振動情報出力システムであって、ユーザの感情を示す感情情報５を取得する取得手段と、予め取得された参照用感情情報８１０を含む入力データ８１と、参照用感情情報８１０に紐づいた物理的刺激を与える振動の特徴を示す参照用振動情報８２０を含む出力データ８２と、を一組とするデータセットを学習データ８０として用いて、機械学習により生成された振動モデル８が記憶されたデータベース６と、データベース６を参照し、感情情報５に基づいて、ユーザに対して物理的刺激を与える振動を出力するための振動情報７を生成し、出力する出力手段と、を備えることを特徴とする。
【選択図】図２
【解決手段】ユーザとコミュニケーションをとるための振動情報出力システムであって、ユーザの感情を示す感情情報５を取得する取得手段と、予め取得された参照用感情情報８１０を含む入力データ８１と、参照用感情情報８１０に紐づいた物理的刺激を与える振動の特徴を示す参照用振動情報８２０を含む出力データ８２と、を一組とするデータセットを学習データ８０として用いて、機械学習により生成された振動モデル８が記憶されたデータベース６と、データベース６を参照し、感情情報５に基づいて、ユーザに対して物理的刺激を与える振動を出力するための振動情報７を生成し、出力する出力手段と、を備えることを特徴とする。
【選択図】図２
【特許請求の範囲】
【請求項1】
ユーザとコミュニケーションをとるための振動情報出力システムであって、
前記ユーザの感情を示す感情情報を取得する取得手段と、
予め取得された参照用感情情報を含む入力データと、前記参照用感情情報に紐づいた物理的刺激を与える振動の特徴を示す参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された振動モデルが記憶されたデータベースと、
前記データベースを参照し、前記感情情報に基づいて、前記ユーザに対して物理的刺激を与える振動を出力するための振動情報を生成し、出力する出力手段と、
を備えること
を特徴とする振動情報出力システム。
前記ユーザの感情を示す感情情報を取得する取得手段と、
予め取得された参照用感情情報を含む入力データと、前記参照用感情情報に紐づいた物理的刺激を与える振動の特徴を示す参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された振動モデルが記憶されたデータベースと、
前記データベースを参照し、前記感情情報に基づいて、前記ユーザに対して物理的刺激を与える振動を出力するための振動情報を生成し、出力する出力手段と、
を備えること
を特徴とする振動情報出力システム。
【請求項2】
前記入力データは、疑似的に生成された前記参照用感情情報を含むこと
を特徴とする請求項１記載の振動情報出力システム。
を特徴とする請求項１記載の振動情報出力システム。
【請求項3】
前記感情情報を推定するための情報を含む感情要素を取得する感情要素取得手段と、
予め取得された参照用感情要素を含む入力データと、前記参照用感情情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された感情モデルが記憶された感情データベースと、
前記感情データベースを参照し、前記感情要素に基づいて、前記感情情報を出力する感情情報出力手段と、をさらに備え、
前記取得手段は、前記感情情報出力手段より出力された前記感情情報を取得すること
を特徴とする請求項１又は２記載の振動情報出力システム。
予め取得された参照用感情要素を含む入力データと、前記参照用感情情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された感情モデルが記憶された感情データベースと、
前記感情データベースを参照し、前記感情要素に基づいて、前記感情情報を出力する感情情報出力手段と、をさらに備え、
前記取得手段は、前記感情情報出力手段より出力された前記感情情報を取得すること
を特徴とする請求項１又は２記載の振動情報出力システム。
【請求項4】
前記感情要素は、前記ユーザの音声と、骨導音と、を含むこと
を特徴とする請求項３記載の振動情報出力システム。
を特徴とする請求項３記載の振動情報出力システム。
【請求項5】
前記出力手段は、
前記感情情報の特徴に基づき、前記データベースに含まれる複数の前記振動モデルの何れか一つを選択し、
選択された一つの前記振動モデルを参照し、前記感情情報に基づく前記振動情報を出力すること
を含むこと
を特徴とする請求項１又は２記載の振動情報出力システム。
前記感情情報の特徴に基づき、前記データベースに含まれる複数の前記振動モデルの何れか一つを選択し、
選択された一つの前記振動モデルを参照し、前記感情情報に基づく前記振動情報を出力すること
を含むこと
を特徴とする請求項１又は２記載の振動情報出力システム。
【請求項6】
前記出力手段により前記振動情報を出力したあと、前記振動情報に基づく物理的刺激が前記ユーザに与えられたときに取得された前記ユーザの感情を示す校正用感情情報を含む入力データと、前記参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、前記振動モデルを更新する更新手段をさらに備えること
を特徴とする請求項１又は２記載の振動情報出力システム。
を特徴とする請求項１又は２記載の振動情報出力システム。
【請求項7】
前記ユーザの細胞に対して、前記振動情報に基づく振動を出力する振動出力部をさらに備えること
を特徴とする請求項１又は２記載の振動情報出力システム。
を特徴とする請求項１又は２記載の振動情報出力システム。
【請求項8】
前記ユーザの筋肉に対して、前記振動情報に基づく振動を出力する振動出力部をさらに備えること
を特徴とする請求項１又は２記載の振動情報出力システム。
を特徴とする請求項１又は２記載の振動情報出力システム。
【請求項9】
ユーザとコミュニケーションをとるための処理を実行する振動情報出力プログラムであって、
ユーザの感情を示す感情情報を取得する取得ステップと、
予め取得された参照用感情情報を含む入力データと、前記参照用感情情報に紐づいた物理的刺激を与える振動の特徴を示す参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された振動モデルを参照し、前記取得ステップにより取得された感情情報に基づいて、前記ユーザに対して物理的刺激を与える振動を出力するための振動情報を生成し、出力する出力ステップと、をコンピュータに実行させること
を特徴とする振動情報出力プログラム。
ユーザの感情を示す感情情報を取得する取得ステップと、
予め取得された参照用感情情報を含む入力データと、前記参照用感情情報に紐づいた物理的刺激を与える振動の特徴を示す参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された振動モデルを参照し、前記取得ステップにより取得された感情情報に基づいて、前記ユーザに対して物理的刺激を与える振動を出力するための振動情報を生成し、出力する出力ステップと、をコンピュータに実行させること
を特徴とする振動情報出力プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、振動情報出力システム、及び振動情報出力プログラムに関する。
【背景技術】
【0002】
従来、ユーザとシステムとの間におけるコミュニケーションを目的としたシステムとして、例えば特許文献１のように、ユーザが発出する情報に基づきロボットが発出する情報を決定する技術が提案されている。特許文献１には、ユーザが発出した言語情報と、ユーザの感情と、ユーザの性格と、ロボットの感情とに基づき、ユーザに対しロボットが発出する情報を決定する技術が開示されている。
【0003】
また、例えば特許文献２のように、ユーザの感情に応じて、ユーザに対して適切な刺激を提供する技術が提案されている。特許文献２には、ユーザがストレス状態又は目標感情状態（例えば鎮静状態）から逸脱した状態と判定されたとき、ユーザのストレス状態や感情状態を調節するために有用な特定な刺激を発して生理的反応を促進する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６９９０４７２号公報
【特許文献2】特開２０１９－５１８５７２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、特許文献１では、ユーザが発出した情報に基づきロボットが発出する情報として、音声、ジェスチャー、文字列等が挙げられている。しかしながら、特許文献１に開示された技術では、ユーザ毎の性格や意識の違いにより、ロボットが発出する情報の捉え方が異なる恐れがある。このため、ユーザの感情に応じて、適切なコミュニケーションを図ることができない懸念が挙げられる。
【0006】
また、特許文献２では、取得した感情情報が否定的なトーン（恐怖、悲しみ、不快）を有するとみなされるとき、ソフトウェアが、ユーザに選択された刺激波形を刺激ジェネレータに提供することで、治療刺激を出力する方法が開示されている。この方法によれば、ユーザの感情に対する刺激の選択がユーザの主観に依拠しており、また、ユーザが選択し得る刺激の種類が、ソフトウェアにおいて予め設定された情報に基づく種類を前提としている。このため、特許文献２の開示技術では、ユーザの感情に応じた適切な刺激がユーザに提供されない可能性がある。このため、ユーザの感情に応じて、適切なコミュニケーションが提供されていない懸念が挙げられる。
【0007】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、ユーザの感情情報に応じたコミュニケーションを提供することができる振動情報出力システム、及び振動情報出力プログラムを提供することにある。
【課題を解決するための手段】
【0008】
第１発明における振動情報出力システムによれば、ユーザとコミュニケーションをとるための振動情報出力システムであって、前記ユーザの感情を示す感情情報を取得する取得手段と、予め取得された参照用感情情報を含む入力データと、前記参照用感情情報に紐づいた物理的刺激を与える振動の特徴を示す参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された振動モデルが記憶されたデータベースと、前記データベースを参照し、前記感情情報に基づいて、前記ユーザに対して物理的刺激を与える振動を出力するための振動情報を生成し、出力する出力手段と、を備えることを特徴とする。
【0009】
第２発明における振動情報出力システムによれば、第１発明において、前記入力データは、疑似的に生成された前記参照用感情情報を含むことを特徴とする。
【0010】
第３発明における振動情報出力システムによれば、第１発明又は第２発明において、前記感情情報を推定するための情報を含む感情要素を取得する感情要素取得手段と、予め取得された参照用感情要素を含む入力データと、前記参照用感情情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された感情モデルが記憶された感情データベースと、前記感情データベースを参照し、前記感情要素に基づいて、前記感情情報を出力する感情情報出力手段と、をさらに備え、前記取得手段は、前記感情情報出力手段より出力された前記感情情報を取得することを特徴とする。
【0011】
第４発明における振動情報出力システムによれば、第３発明において、前記感情要素は、前記ユーザの音声と、骨導音と、を含むことを特徴とする。
【0012】
第５発明における振動情報出力システムによれば、第１発明又は第２発明において、前記出力手段は、前記感情情報の特徴に基づき、前記データベースに含まれる複数の前記振動モデルの何れか一つを選択し、選択された一つの前記振動モデルを参照し、前記感情情報に基づく前記振動情報を出力することを含むことを特徴とする。
【0013】
第６発明における振動情報出力システムによれば、第１発明又は第２発明において、前記出力手段により前記振動情報を出力したあと、前記振動情報に基づく物理的刺激が前記ユーザに与えられたときに取得された前記ユーザの感情を示す校正用感情情報を含む入力データと、前記参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、前記振動モデルを更新する更新手段をさらに備えることを特徴とする。
【0014】
第７発明における振動情報出力システムによれば、第１発明又は第２発明において、前記ユーザの細胞に対して、前記振動情報に基づく振動を出力する振動出力部をさらに備えることを特徴とする。
【0015】
第８発明における振動情報出力システムによれば、第１発明又は第２発明において、前記ユーザの筋肉に対して、前記振動情報に基づく振動を出力する振動出力部をさらに備えることを特徴とする。
【0016】
第９発明における振動情報出力プログラムによれば、ユーザとコミュニケーションをとるための処理を実行する振動情報出力プログラムであって、ユーザの感情を示す感情情報を取得する取得ステップと、予め取得された参照用感情情報を含む入力データと、前記参照用感情情報に紐づいた物理的刺激を与える振動の特徴を示す参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された振動モデルを参照し、前記取得ステップにより取得された感情情報に基づいて、前記ユーザに対して物理的刺激を与える振動を出力するための振動情報を生成し、出力する出力ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【0017】
第１発明～第８発明によれば、感情情報を取得する取得手段と、振動モデルが記憶されたデータベースを参照し、感情情報に基づいて、振動情報を出力する出力手段と、を備える。このため、ユーザの感情情報に応じて、ユーザに対して物理的刺激を与える振動を出力するための振動情報を出力することができる。これにより、ユーザの感情情報に応じたコミュニケーションを提供することができる。
【0018】
また、第１発明～第８発明によれば、データベースには、予め取得された入力データと、出力データとを一組とするデータセットを学習データとして用いて、機械学習により生成された振動モデルが記憶される。また、出力手段は、データベースを参照し、感情情報に基づく振動情報を出力する。このため、過去に実績のある感情情報と振動情報との繋がりを踏まえ、定量的な振動情報を出力することができる。これにより、ユーザ等の主観に伴う評価のばらつきを抑制することが可能となる。
【0019】
特に第２発明によれば、入力データは、疑似的に生成された参照用感情情報を含む。このため、実測情報のみを用いる場合と比べて、より多様な学習データを用いて機械学習することができる。これにより、ユーザの感情情報に応じて、より多様なコミュニケーションを提供することができる。
【0020】
特に第３発明によれば、感情要素を取得する感情要素取得手段と、感情モデルが記憶された感情データベースを参照し、感情要素に基づいて、感情情報を出力する感情情報出力手段と、を備える。このため、ユーザの感情要素に基づく感情情報に応じて、ユーザに対して物理的刺激を与える振動を出力するための振動情報を出力することができる。これにより、ユーザの感情情報に応じて、より適切なコミュニケーションを提供することができる。
【0021】
特に第４発明によれば、感情要素は、ユーザの音声と、骨導音と、を含む。すなわち、ユーザの発話のみで、複数の感情要素を取得する。このため、振動情報を出力するためにユーザが複雑な操作を行う必要がない。これにより、システムの操作性向上を図ることができる。
【0022】
特に第５発明によれば、出力手段は、感情情報の特徴に基づき、データベースに記憶された複数の振動モデルの何れか一つを選択し、選択された一つの振動モデルを参照し、感情情報に基づく振動情報を出力することを含む。このため、ユーザの特徴を考慮して選択された振動モデルを参照して、振動情報を出力することができる。これにより、ユーザの感情情報に応じて、より適切なコミュニケーションを提供することができる。
【0023】
特に第６発明によれば、出力手段により振動情報を出力したあと、振動情報に基づく物理的刺激がユーザに与えられたときに取得されたユーザの感情を示す校正用感情情報を含む入力データと、参照用振動情報を含む出力データとを一組とするデータセットを学習データとして用いて、振動モデルを更新する更新手段をさらに備えることを含む。すなわち、物理的刺激が与えられたユーザの感情情報が、振動モデルに反映される。このため、ユーザの感情情報に応じて、より正確な振動情報を出力することができる。これにより、ユーザの感情情報に応じて、より適切なコミュニケーションを提供することができる。
【0024】
特に第７発明によれば、ユーザの細胞に対して、振動情報に基づく振動を出力する振動出力部をさらに備える。このため、ユーザの感情情報に応じて、細胞への物理的刺激を提供することができる。これにより、ユーザとの双方向のコミュニケーションを提供することができる。
【0025】
特に第８発明によれば、ユーザの筋肉に対して、振動情報に基づく振動を出力する振動出力部をさらに備える。このため、ユーザの感情情報に応じて、筋肉への物理的刺激を提供することができる。これにより、ユーザとの双方向のコミュニケーションを提供することができる。
【0026】
第９発明によれば、ユーザの感情情報を取得する取得ステップと、機械学習により生成された振動モデルを参照し、ユーザの感情情報に基づいて、ユーザに対して物理的刺激を与える振動を出力するための振動情報を出力する出力ステップと、を備える。このため、ユーザの感情情報に応じて、ユーザに対して物理的刺激を与える振動を出力するための振動情報を出力することができる。これにより、ユーザの感情情報に応じたコミュニケーションを提供することを、コンピュータに実行させることができる。
【図面の簡単な説明】
【0027】
【発明を実施するための形態】
【0028】
以下、本発明の実施形態としての振動情報出力システム、及び振動情報出力プログラムの一例について、図面を参照しながら説明する。
【0029】
（第１実施形態：振動情報出力システム１００）
図１を参照して、本実施形態における振動情報出力システム１００の一例を説明する。図１は、本実施形態における振動情報出力システム１００の構成の一例を示す模式図である。
図１を参照して、本実施形態における振動情報出力システム１００の一例を説明する。図１は、本実施形態における振動情報出力システム１００の構成の一例を示す模式図である。
【0030】
＜振動情報出力システム１００＞
振動情報出力システム１００は、ユーザ２とコミュニケーションをとることを目的としたシステムである。ここで、コミュニケーションとは、ユーザ２と振動情報出力システム１００との間で、交流を図ることを示す。特に、振動情報出力システム１００では、コミュニケーションの一環として、例えばユーザ２の感情に応じて、ユーザ２に対して適切な物理的刺激を与えることができる。ここで、物理的刺激とは、例えばユーザ２に対する経皮的刺激、細胞や筋肉に直接作用する等の方法によって触覚で取得する刺激を指しており、ユーザ２が視覚、聴覚、嗅覚、味覚で取得する情報としての刺激とは区別される。物理的刺激の例としては、音波刺激、超音波刺激、電気刺激（パルス電圧）が挙げられる。
振動情報出力システム１００は、ユーザ２とコミュニケーションをとることを目的としたシステムである。ここで、コミュニケーションとは、ユーザ２と振動情報出力システム１００との間で、交流を図ることを示す。特に、振動情報出力システム１００では、コミュニケーションの一環として、例えばユーザ２の感情に応じて、ユーザ２に対して適切な物理的刺激を与えることができる。ここで、物理的刺激とは、例えばユーザ２に対する経皮的刺激、細胞や筋肉に直接作用する等の方法によって触覚で取得する刺激を指しており、ユーザ２が視覚、聴覚、嗅覚、味覚で取得する情報としての刺激とは区別される。物理的刺激の例としては、音波刺激、超音波刺激、電気刺激（パルス電圧）が挙げられる。
【0031】
振動情報出力システム１００は、例えば図１に示すように、振動情報出力装置１を備えるほか、サーバ３を備えてもよい。振動情報出力装置１、及びサーバ３は、任意のデータを互いに送受信することができ、例えば通信網４を介して通信接続されてもよい。
【0032】
サーバ３は、例えば通信網４を介して送られてきた情報が蓄積される。サーバ３は、例えば振動情報出力装置１からの要求に基づき、通信網４を介して蓄積された情報を振動情報出力装置１へと送信する。サーバ３は、例えば振動モデル８が記憶されたデータベース６を記憶する。
【0033】
通信網４は、例えば振動情報出力装置１及びサーバ３が通信回路を介して接続されるインターネット網等である。通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網４は、有線通信網のほか、無線通信網等の公知の通信技術で実現してもよい。
【0034】
＜振動情報出力装置１＞
振動情報出力装置１は、例えばユーザ２の感情を示す感情情報５を取得する。振動情報出力装置１は、例えば図２（ａ）～図２（ｂ）に示すように、振動モデル８が記憶されたデータベース６を参照し、取得した感情情報５に基づいて、ユーザ２に対して物理的刺激を与える振動を出力するための振動情報７を出力する。
振動情報出力装置１は、例えばユーザ２の感情を示す感情情報５を取得する。振動情報出力装置１は、例えば図２（ａ）～図２（ｂ）に示すように、振動モデル８が記憶されたデータベース６を参照し、取得した感情情報５に基づいて、ユーザ２に対して物理的刺激を与える振動を出力するための振動情報７を出力する。
【0035】
振動情報出力装置１は、振動情報７に基づいて振動を出力する振動出力部を備えてもよい。振動出力部は、例えば振動情報７に基づく振動を出力して、ユーザ２に対して物理的刺激を与える。振動出力部の例としては、例えば、公知の超音波刺激装置や電気刺激装置が用いられる。
【0036】
振動出力部は、例えば振動情報７に基づく振動を出力し、ユーザ２の細胞に対して物理的刺激を与える。すなわち、ユーザ２の細胞は、例えばユーザ２が装着した振動出力部（例えば公知の刺激装置）を介して物理的刺激を受ける。このため、ユーザ２の感情情報５に応じて、細胞に対して物理的刺激を与えることができる。これにより、ユーザ２と振動情報出力システム１００との双方向のコミュニケーションを提供することができる。
【0037】
振動出力部は、例えば振動情報７に基づく振動を出力し、ユーザ２の筋肉に対して物理的刺激を与える。すなわち、ユーザ２の筋肉は、例えばユーザ２が装着した振動出力部（例えば公知の刺激装置）を介して物理的刺激を受ける。このため、ユーザ２の感情情報５に応じて、筋肉に対して物理的刺激を与えることができる。筋肉に対して物理的刺激を与えることで、例えばユーザ２の感情に対し、同調又は反駁等の主張を表現することができる。上記のほか、筋肉に対して物理的刺激を与えることで、例えばユーザ２の感情から推定される所望の動作を補助することができる。これにより、ユーザ２と振動情報出力システム１００との双方向のコミュニケーションを提供することができる。
【0038】
＜感情情報５＞
感情情報５は、例えばユーザ２の感情を示す。感情情報５は、例えばユーザ２の基本感情（喜び、信頼、恐れ、驚き、悲しみ、嫌悪、怒り、予期）、ストレス、覚醒度を示す情報を含む。感情情報５は、振動情報出力装置１が複数の感情情報５をユーザ２に提示し、ユーザ２に選択された一つの感情情報５を用いてもよい。
感情情報５は、例えばユーザ２の感情を示す。感情情報５は、例えばユーザ２の基本感情（喜び、信頼、恐れ、驚き、悲しみ、嫌悪、怒り、予期）、ストレス、覚醒度を示す情報を含む。感情情報５は、振動情報出力装置１が複数の感情情報５をユーザ２に提示し、ユーザ２に選択された一つの感情情報５を用いてもよい。
【0039】
＜データベース６＞
データベース６は、主に、機械学習により生成された振動モデル８を記憶するために用いられる。データベース６には、１つ以上の振動モデル８が記憶されるほか、例えば振動モデル８の生成に用いられた複数の学習データ８０が記憶されてもよい。データベース６は、予め取得された入力データ８１と、出力データ８２とを一組とするデータセットを学習データ８０として、複数の学習データ８０を用いた機械学習により生成された振動モデル８が記憶されてもよい。
データベース６は、主に、機械学習により生成された振動モデル８を記憶するために用いられる。データベース６には、１つ以上の振動モデル８が記憶されるほか、例えば振動モデル８の生成に用いられた複数の学習データ８０が記憶されてもよい。データベース６は、予め取得された入力データ８１と、出力データ８２とを一組とするデータセットを学習データ８０として、複数の学習データ８０を用いた機械学習により生成された振動モデル８が記憶されてもよい。
【0040】
データベース６は、例えばサーバ３に記憶される。この場合、振動情報出力装置１は、通信網４を介して、サーバ３に記憶されたデータベース６を参照してもよい。また、データベース６は、例えば振動情報出力装置１の構成に含まれる保存部１０４に、サーバ３に記憶されたデータベース６を複製して記憶されてもよく、同期して記憶されてもよい。この場合、振動情報出力装置１は、保存部１０４に記憶されたデータベース６を参照してもよい。
【0041】
＜振動情報７＞
振動情報７は、ユーザ２に対して物理的刺激を与える振動を出力するための情報である。振動情報７は、例えば振動出力部を制御するための情報を含み、後述する参照用振動情報８２０と同様の情報を含む。振動情報７の例としては、例えば周波数、波長、振幅、振動出力継続時間、振動出力パターン、パルス高、パルス幅が挙げられる。
振動情報７は、ユーザ２に対して物理的刺激を与える振動を出力するための情報である。振動情報７は、例えば振動出力部を制御するための情報を含み、後述する参照用振動情報８２０と同様の情報を含む。振動情報７の例としては、例えば周波数、波長、振幅、振動出力継続時間、振動出力パターン、パルス高、パルス幅が挙げられる。
【0042】
＜振動モデル８＞
振動モデル８は、例えば図２（ｂ）に示すように、学習データ８０を用いた機械学習により生成される。振動モデル８は、例えば入力データ８１と、出力データ８２と、を一組とするデータセットを学習データ８０として、複数の学習データ８０を用いて生成される。振動モデル８は、例えばデータベース６に記憶される。振動モデル８は、例えば入力データ８１を説明変数とし、出力データ８２を目的変数として、回帰分析等により解析し、その解析結果に基づいて生成される回帰モデルを示す。
振動モデル８は、例えば図２（ｂ）に示すように、学習データ８０を用いた機械学習により生成される。振動モデル８は、例えば入力データ８１と、出力データ８２と、を一組とするデータセットを学習データ８０として、複数の学習データ８０を用いて生成される。振動モデル８は、例えばデータベース６に記憶される。振動モデル８は、例えば入力データ８１を説明変数とし、出力データ８２を目的変数として、回帰分析等により解析し、その解析結果に基づいて生成される回帰モデルを示す。
【0043】
振動モデル８は、例えば入力データ８１と出力データ８２との間における振動連関度を有する振動連関性を含む。振動連関性は、例えば複数の学習データ８０を用いた機械学習により生成されてもよい。振動連関度は、入力データ８１と出力データ８２との繋がりの度合いを示しており、例えば振動連関度が高いほど各データの繋がりが強いと判断することができる。振動連関度は、例えば百分率等の３値以上（３段階以上）で示されるほか、２値以上（２段階以上）で示されてもよい。
【0044】
例えば振動連関性は、多対多の情報（複数の入力データ８１、対、複数の出力データ８２）の間における繋がりの度合いにより構築される。振動連関性は、機械学習の過程で適宜更新され、例えば複数の入力データ８１、及び複数の出力データ８２に基づいて最適化された関数（分類器）を示す。なお、振動連関性は、例えば各データの間における繋がりの度合いを示す複数の振動連関度を有してもよい。振動連関度は、例えばデータベースがニューラルネットワークで構築される場合、重み変数に対応させることができる。
【0045】
このため、振動情報出力システム１００では、例えば分類器の判定した結果を全て踏まえた振動連関性を用いて、入力データ８１に適した出力データ８２を選択する。これにより、入力データ８１が、出力データ８２と同一又は類似である場合のほか、非類似である場合においても、入力データ８１に適した出力データ８２を定量的に選択することができる。
【0046】
振動連関性は、例えば複数の入力データ８１と、複数の出力データ８２との間における繋がりの度合いを示してもよい。この場合、振動連関性を用いることで、複数の入力データ８１（例えば入力データＡ、入力データＢ）のそれぞれに対し、複数の出力データ８２（例えば出力データＡ、出力データＢ）の関係の度合いを紐づけて記憶させることができる。このため、例えば振動連関性を介して、１つの出力データ８２に対して、複数の入力データ８１を紐づけることができる。これにより、入力データ８１に対して多角的な出力データ８２の選択を実現することができる。
【0047】
振動連関性は、例えば各入力データ８１と、各出力データ８２とをそれぞれ紐づける複数の振動連関度を有する。振動連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、入力データ８１に含まれる「入力データＡ」は、出力データ８２に含まれる「出力データＡ」との間の振動連関度ＡＡ「７３％」を示し、出力データ８２に含まれる「出力データＢ」との間の振動連関度ＡＢ「１２％」を示す。すなわち、「振動連関度」は、各データ間における繋がりの度合いを示しており、例えば振動連関度が高いほど、各データの繋がりが強いことを示す。
【0048】
また振動連関性は、入力データ８１と出力データ８２との間に少なくとも１以上の隠れ層が設けられもよい。入力データ８１又は隠れ層データの何れか一方又は両方において上述した振動連関度が設定され、これが各データの重み付けとなり、これに基づいて出力の選択が行われる。そして、この振動連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。
【0049】
振動モデル８は、例えば複数の学習データ８０を用いた機械学習により生成された、学習済みモデルを含んでもよい。学習済みモデルは、例えばＣＮＮ（Convolutional Neural Network）等のニューラルネットワークモデルを示すほか、ＳＶＭ（Support vector machine）等を示す。また、機械学習として、例えば深層学習を用いることができる。機械学習として、例えば敵対的生成ネットワーク（ＧＡＮ：Generative adversarial network）を用いることで、入力データ８１を疑似的に生成してもよい。
【0050】
＜学習データ８０＞
学習データ８０は、振動モデル８を生成するための機械学習に用いられる。学習データ８０は、入力データ８１と出力データ８２とを一組とするデータセットである。
学習データ８０は、振動モデル８を生成するための機械学習に用いられる。学習データ８０は、入力データ８１と出力データ８２とを一組とするデータセットである。
【0051】
＜入力データ８１＞
入力データ８１は、振動モデル８を生成するための機械学習に用いる学習データ８０の一部として用いられる。入力データ８１は、例えば予め取得された参照用感情情報８１０を含む。参照用感情情報８１０は、振動モデル８を生成するための機械学習に用いられる感情情報を示し、例えばユーザ２以外の感情情報を含む。
入力データ８１は、振動モデル８を生成するための機械学習に用いる学習データ８０の一部として用いられる。入力データ８１は、例えば予め取得された参照用感情情報８１０を含む。参照用感情情報８１０は、振動モデル８を生成するための機械学習に用いられる感情情報を示し、例えばユーザ２以外の感情情報を含む。
【0052】
入力データ８１は、例えば疑似的に生成された参照用感情情報８１０を含んでもよい。この場合、実測情報のみを用いる場合と比べて、より多様な学習データ８０を用いることができる。これにより、ユーザ２の感情情報５に応じて、より多様なコミュニケーションを提供することができる。
【0053】
＜出力データ８２＞
出力データ８２は、振動モデル８を生成するための機械学習に用いる学習データ８０の一部として用いられる。出力データ８２は、例えば予め取得された参照用振動情報８２０を含む。参照用振動情報８２０は、振動モデル８を生成するための機械学習に用いられる振動情報を示す。
出力データ８２は、振動モデル８を生成するための機械学習に用いる学習データ８０の一部として用いられる。出力データ８２は、例えば予め取得された参照用振動情報８２０を含む。参照用振動情報８２０は、振動モデル８を生成するための機械学習に用いられる振動情報を示す。
【0054】
学習データ８０に含まれる一組の入力データ８１と出力データ８２との組み合わせは、例えば入力データ８１に含まれる参照用感情情報８１０と、出力データ８２に含まれる参照用振動情報８２０とが紐づけられた組み合わせを含む。参照用感情情報８１０と参照用振動情報８２０とが紐づけられる組み合わせとしては、例えば「悲しみ」を示す参照用感情情報８１０と、参照用感情情報８１０で示された「悲しみ」に対して、「怒り」を誘発させるための物理的刺激を出力するための参照用振動情報８２０と、が紐づけられる。上記のほか、例えば「喜び」を示す参照用感情情報８１０と、「喜び」を誘発させるための物理的刺激を出力するための参照用振動情報８２０と、が紐づけられてもよい。これらのような学習データ８０を用いて生成された振動モデル８を用いることで、ユーザ２と振動情報出力システム１００との双方向のコミュニケーションを図ることが可能となる。このほか、例えば振動連関性を含む振動モデル８を用いることにより、ユーザ２と振動情報出力システム１００との双方向のコミュニケーションを図ることが可能となる。
【0055】
出力データ８２は、例えば参照用振動情報８２０として、ユーザ２の細胞に対して物理的刺激を与えるための振動を出力するための情報を含む。
【0056】
例えば、物理的刺激として、音波刺激が用いられる。音波刺激を与えられた細胞が生体反応を示すことについて、文献で説明されている。「可聴音刺激による機械感受性遺伝子の細胞型特異的抑制 久米田康治、高橋大児、竹安佐和記、吉村茂 ＰＬＯＳ ＯＮＥ（２０１８年）」によれば、細胞に様々な音波を当て遺伝子解析を行ったところ、細胞によっては特定の遺伝子群のはたらきが抑制され、また、その応答レベルには音の大きさや波形などの特徴が大きく影響することが明らかにされている。これを踏まえ、参照用振動情報８２０は、例えば特定の細胞の状態を、「特定の感情」を示す際の細胞の状態へ変化させるために、細胞を応答させる音波刺激を出力するための周波数、波長、振幅のうち少なくとも何れかを含んでもよい。この場合、参照用振動情報８２０は、変化後の細胞の状態、又は変化が表れる細胞の種類に対応する「特定の感情」を示す感情情報を含む参照用感情情報８１０と紐づけられてもよい。例えば「悲しみ」を示す参照用感情情報８１０に対し、「怒り」を誘発させるための細胞（例えば肝細胞等）に影響を与える音波刺激を出力するための参照用振動情報８２０が紐づけられる。このような学習データ８０を用いて生成された振動モデル８を用いることで、ユーザ２と振動情報出力システム１００との双方向のコミュニケーションを図ることが可能となる。
【0057】
例えば、物理的刺激として、電気刺激が用いられる。電気刺激を与えられた細胞が生体反応を示すことについて、文献で説明されている。「物理的刺激と生体反応物理的刺激に対する細胞応答性 弓削 類 理学療法学第３１巻第４号（２００４年）」によれば、筋芽細胞に電気刺激を行うことで、発達した筋管細胞が形成されたことが確認されている。これを踏まえ、参照用振動情報８２０は、例えばユーザ２の「特定の感情」から推定される所望の刺激方法によって筋線維の形成促進を促すために、細胞を応答させる電気刺激を出力するための周波数、波長、振幅、振動出力継続時間、振動出力パターン、パルス高、パルス幅のうち少なくとも何れかを含んでもよい。この場合、参照用振動情報８２０は、刺激方法を所望した際の「特定の感情」を示す感情情報を含む参照用感情情報８１０と紐づけられてもよい。例えば「嫌悪」を示す参照用感情情報８１０に対し、「信頼」を誘発させるために振幅及び振動出力パターンが調整された電気刺激を出力するための参照用振動情報８２０が紐づけられる。このような学習データ８０を用いて生成された振動モデル８を用いることで、ユーザ２と振動情報出力システム１００との双方向のコミュニケーションを図ることが可能となる。
【0058】
出力データ８２は、例えば参照用振動情報８２０として、ユーザ２の筋肉に対して物理的刺激を与えるための振動を出力するための情報を含む。
【0059】
例えば、物理的刺激として、電気刺激が用いられる。電気刺激が筋肉に与えられることで身体を制御する技術について、文献で説明されている。「ＰｏｓｓｅｓｓｅｄＨａｎｄ：電気刺激を用いた人体手形状の直接制御システム 玉城絵美、味八木崇、暦本純一 ＩＮＴＥＲＡＣＴＩＯＮ２０１０論文（２０１０年）」によれば、前腕周辺の手指を駆動する筋肉に電気刺激を与えることで、合計１６関節の動作が確認された。これを踏まえ、参照用振動情報８２０は、例えばユーザ２の「特定の感情」から推定される所望の動作を補助するために、筋肉の屈曲動作及び伸展動作をさせる電気刺激を出力するための周波数、波長、振幅、振動出力継続時間、振動出力パターン、パルス高、パルス幅のうち少なくとも何れかを含んでもよい。この場合、参照用振動情報８２０は、特定の動作を所望した際の「特定の感情」を示す感情情報を含む参照用感情情報８１０と紐づけられてもよい。例えば「予期」を示す参照用感情情報８１０に対し、手を屈曲運動させて目の前の物を掴む動作を補助する電気刺激を出力するための参照用振動情報８２０が紐づけられる。このような学習データ８０を用いて生成された振動モデル８を用いることで、ユーザ２と振動情報出力システム１００との双方向のコミュニケーションを図ることが可能となる。
【0060】
次に、図３を参照して、本実施形態における振動情報出力装置１の構成及び機能の一例を説明する。図３（ａ）は、本実施形態における振動情報出力装置１の構成の一例を示す模式図であり、図３（ｂ）は、本実施形態における振動情報出力装置１の機能の一例を示す模式図である。
【0061】
振動情報出力装置１として、例えばラップトップ（ノート）ＰＣ又はデスクトップＰＣ等の電子機器が用いられる。振動情報出力装置１は、例えば図３（ａ）に示すように、筐体１０と、ＣＰＵ１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５～１０７とを備える。各構成１０１～１０７は、内部バス１１０により接続される。
【0062】
ＣＰＵ１０１は、振動情報出力装置１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、データベースや学習対象データ等の各種情報が記憶される。保存部１０４として、例えばＨＤＤ（Hard Disk Drive）のほか、ＳＳＤ（Solid State Drive）等のデータ保存装置が用いられる。なお、例えば振動情報出力装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。
【0063】
Ｉ／Ｆ１０５は、通信網４を介して、必要に応じてサーバ３との各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ１０６は、入力部１０８との情報の送受信を行うためのインターフェースである。入力部１０８として、例えばキーボードが用いられ、ユーザ２又は振動情報出力装置１のオペレータ等は、入力部１０８を介して、各種情報、又は振動情報出力装置１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、表示部１０９との各種情報の送受信を行うためのインターフェースである。表示部１０９は、保存部１０４に保存された各種情報、又は評価結果等を表示する。表示部１０９として、ディスプレイが用いられ、例えばタッチパネル式の場合、入力部１０８と一体に設けられる。
【0064】
図３（ｂ）は、振動情報出力装置１の機能の一例を示す模式図である。振動情報出力装置１は、取得部１１と、出力部１２と、記憶部１３と、学習部１４と、を備える。なお、図３（ｂ）に示した各機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に記憶されたプログラムを実行することにより実現される。
【0065】
以下、振動情報出力装置１の各機能についての詳細を説明する。
【0066】
＜取得部１１＞
取得部１１は、例えばユーザ２の感情情報５を取得する。取得部１１は、例えば振動情報出力装置１が表示部１０９を介して複数の感情情報５をユーザ２に提示し、ユーザ２に選択された１つの感情情報５を取得してもよい。
取得部１１は、例えばユーザ２の感情情報５を取得する。取得部１１は、例えば振動情報出力装置１が表示部１０９を介して複数の感情情報５をユーザ２に提示し、ユーザ２に選択された１つの感情情報５を取得してもよい。
【0067】
＜出力部１２＞
出力部１２は、例えば取得部１１が感情情報５を取得した際、振動モデル８が記憶されたデータベース６を参照し、取得部１１が取得した感情情報５に基づく振動情報７を生成する。また、出力部１２は、例えば出力部１２が生成した振動情報７を出力する。出力部１２は、例えば表示部１０９に振動情報７が表示されるように出力してもよい。出力部１２は、例えば保存部１０４等に予め記憶された表示用のフォーマットを用いて、振動情報７の特徴をユーザ２が理解できる形式に変換した振動情報７を出力してもよい。
出力部１２は、例えば取得部１１が感情情報５を取得した際、振動モデル８が記憶されたデータベース６を参照し、取得部１１が取得した感情情報５に基づく振動情報７を生成する。また、出力部１２は、例えば出力部１２が生成した振動情報７を出力する。出力部１２は、例えば表示部１０９に振動情報７が表示されるように出力してもよい。出力部１２は、例えば保存部１０４等に予め記憶された表示用のフォーマットを用いて、振動情報７の特徴をユーザ２が理解できる形式に変換した振動情報７を出力してもよい。
【0068】
＜記憶部１３＞
記憶部１３は、保存部１０４に保存されたデータベース６等の各種データを、必要に応じて取出す。記憶部１３は、各構成１１、１２、１４により取得又は出力された各種データを、必要に応じて保存部１０４に保存する。
記憶部１３は、保存部１０４に保存されたデータベース６等の各種データを、必要に応じて取出す。記憶部１３は、各構成１１、１２、１４により取得又は出力された各種データを、必要に応じて保存部１０４に保存する。
【0069】
＜学習部１４＞
学習部１４は、例えば複数の学習データ８０を用いて、振動モデル８を生成する。学習部１４は、例えば新たな学習データ８０を取得し、既存の振動モデル８を更新してもよい。学習部１４は、例えば新たな学習データ８０を疑似的に生成し、既存の振動モデル８を更新してもよい。
学習部１４は、例えば複数の学習データ８０を用いて、振動モデル８を生成する。学習部１４は、例えば新たな学習データ８０を取得し、既存の振動モデル８を更新してもよい。学習部１４は、例えば新たな学習データ８０を疑似的に生成し、既存の振動モデル８を更新してもよい。
【0070】
（第１実施形態：振動情報出力システム１００の動作の一例）
次に図４を参照して、本実施形態における振動情報出力システム１００の動作の一例を説明する。図４は、本実施形態における振動情報出力システム１００の動作の一例を示すフローチャートである。
次に図４を参照して、本実施形態における振動情報出力システム１００の動作の一例を説明する。図４は、本実施形態における振動情報出力システム１００の動作の一例を示すフローチャートである。
【0071】
振動情報出力システム１００は、例えば振動情報出力装置１内にインストールされた振動情報出力プログラムを介して実行する。
【0072】
振動情報出力システム１００の動作は、取得手段Ｓ１１０と、出力手段Ｓ１２０と、を備える。
【0073】
＜取得手段Ｓ１１０＞
取得手段Ｓ１１０は、例えばユーザ２の感情情報５を取得する。取得手段Ｓ１１０は、例えば取得部１１に、ユーザ２の感情を示す感情情報５を取得させてもよい。取得手段Ｓ１１０は、例えば取得部１１に、ユーザ２に提示するように表示部１０９が表示した複数の感情情報５のうち、ユーザ２に選択された一つの感情情報５を取得させてもよい。
取得手段Ｓ１１０は、例えばユーザ２の感情情報５を取得する。取得手段Ｓ１１０は、例えば取得部１１に、ユーザ２の感情を示す感情情報５を取得させてもよい。取得手段Ｓ１１０は、例えば取得部１１に、ユーザ２に提示するように表示部１０９が表示した複数の感情情報５のうち、ユーザ２に選択された一つの感情情報５を取得させてもよい。
【0074】
＜出力手段Ｓ１２０＞
出力手段Ｓ１２０は、例えば振動モデル８が記憶されたデータベース６を参照し、感情情報５に基づく振動情報７を生成する。また、出力手段Ｓ１２０は、例えば出力手段Ｓ１２０が生成した振動情報７を出力する。出力手段Ｓ１２０は、例えば出力部１２に、振動モデル８が記憶されたデータベース６を参照させ、感情情報５に基づく振動情報７を生成させ、出力させてもよい。出力手段Ｓ１２０は、例えば出力部１２に、表示部１０９に振動情報７が表示されるように出力させてもよい。
出力手段Ｓ１２０は、例えば振動モデル８が記憶されたデータベース６を参照し、感情情報５に基づく振動情報７を生成する。また、出力手段Ｓ１２０は、例えば出力手段Ｓ１２０が生成した振動情報７を出力する。出力手段Ｓ１２０は、例えば出力部１２に、振動モデル８が記憶されたデータベース６を参照させ、感情情報５に基づく振動情報７を生成させ、出力させてもよい。出力手段Ｓ１２０は、例えば出力部１２に、表示部１０９に振動情報７が表示されるように出力させてもよい。
【0075】
出力手段Ｓ１２０は、データベース６を参照し、感情情報５に基づく振動情報７を出力する。この場合、過去に実績のある感情情報５と振動情報７との繋がりを踏まえ、定量的な振動情報７を出力することができる。これにより、ユーザ２等の主観に伴う評価のばらつきを抑制することが可能となる。
【0076】
出力手段Ｓ１２０は、例えば感情情報５の特徴に基づき、データベース６に含まれ、それぞれ異なる学習データ８０を用いて生成された複数の振動モデル８の何れか一つを選択し、選択された一つの振動モデル８を参照し、感情情報５に基づく振動情報７を出力することを含む。この場合、ユーザ２の特徴を考慮して選択された振動モデル８を参照して、振動情報７を出力することができる。これにより、ユーザ２の感情情報５に応じて、より適切なコミュニケーションを提供することができる。感情情報５の特徴に基づく振動モデル８の選択方法としては、例えばユーザ２から取得した感情情報５に含まれる基本感情、ストレス、覚醒度の何れかについて、学習データ８０が最も多い振動モデル８を選択する方法が挙げられる。
【0077】
上述した各手段を実施し、本実施形態における振動情報出力システム１００の動作は終了する。なお、振動情報出力システム１００では、例えば上述した各手段を繰り返し実施してもよい。
【0078】
本実施形態によれば、感情情報５を取得する取得手段Ｓ１１０と、振動モデル８が記憶されたデータベース６を参照し、感情情報５に基づいて、振動情報７を出力する出力手段Ｓ１２０と、を備える。このため、ユーザ２の感情情報５に応じて、ユーザ２に対して物理的刺激を与える振動を出力するための振動情報７を出力することができる。これにより、ユーザ２の感情情報５に応じたコミュニケーションを提供することができる。
【0079】
また、本実施形態によれば、データベース６には、予め取得された入力データ８１と、出力データ８２とを一組とするデータセットを学習データ８０として用いて、機械学習により生成された振動モデル８が記憶される。また、出力手段Ｓ１２０は、データベース６を参照し、感情情報５に基づく振動情報７を出力する。このため、過去に実績のある感情情報５と振動情報７との繋がりを踏まえ、定量的な振動情報７を出力することができる。これにより、ユーザ２等の主観に伴う評価のばらつきを抑制することが可能となる。
【0080】
また、本実施形態によれば、入力データ８１は、疑似的に生成された参照用感情情報８１０を含む。このため、実測情報のみを用いる場合と比べて、より多様な学習データ８０を用いて機械学習することができる。これにより、ユーザ２の感情情報５に応じて、より多様なコミュニケーションを提供することができる。
【0081】
また、本実施形態によれば、出力手段Ｓ１２０は、感情情報５の特徴に基づき、データベース６に記憶された複数の振動モデル８の何れか一つを選択し、選択された一つの振動モデル８を参照し、感情情報５に基づく振動情報７を出力することを含む。このため、ユーザ２の特徴を考慮して選択された振動モデル８を参照して、振動情報７を出力することができる。これにより、ユーザ２の感情情報５に応じて、より適切なコミュニケーションを提供することができる。
【0082】
また、本実施形態によれば、ユーザ２の細胞に対して、振動情報７に基づく振動を出力する振動出力部をさらに備える。このため、ユーザ２の感情情報５に応じて、細胞への物理的刺激を提供することができる。これにより、ユーザ２との双方向のコミュニケーションを提供することができる。
【0083】
また、本実施形態によれば、ユーザ２の筋肉に対して、振動情報７に基づく振動を出力する振動出力部をさらに備える。このため、ユーザ２の感情情報５に応じて、筋肉への物理的刺激を提供することができる。これにより、ユーザ２との双方向のコミュニケーションを提供することができる。
【0084】
また、本実施形態によれば、ユーザ２の感情情報５を取得する取得ステップと、機械学習により生成された振動モデル８を参照し、ユーザ２の感情情報５に基づいて、ユーザ２に対して物理的刺激を与える振動を出力するための振動情報７を出力する出力ステップと、を備える。このため、ユーザ２の感情情報５に応じて、ユーザ２に対して物理的刺激を与える振動を出力するための振動情報７を出力することができる。これにより、ユーザ２の感情情報５に応じたコミュニケーションを提供することを、コンピュータに実行させることができる。
【0085】
（第２実施形態：振動情報出力システム１００）
次に図５を参照して、本実施形態における振動情報出力システム１００の一例を説明する。図５は、本実施形態における振動情報出力システム１００の構成の一例を示す模式図である。本実施形態は、振動情報出力システム１００が、感情要素取得手段Ｓ２１０と、感情データベース６１と、感情情報出力手段Ｓ２２０と、をさらに備え、取得手段Ｓ１１０が、感情情報出力手段Ｓ２２０より出力された感情情報５を取得する点で、第１実施形態とは異なる。なお、上述の内容と同様の構成については、説明を省略する。
次に図５を参照して、本実施形態における振動情報出力システム１００の一例を説明する。図５は、本実施形態における振動情報出力システム１００の構成の一例を示す模式図である。本実施形態は、振動情報出力システム１００が、感情要素取得手段Ｓ２１０と、感情データベース６１と、感情情報出力手段Ｓ２２０と、をさらに備え、取得手段Ｓ１１０が、感情情報出力手段Ｓ２２０より出力された感情情報５を取得する点で、第１実施形態とは異なる。なお、上述の内容と同様の構成については、説明を省略する。
【0086】
＜振動情報出力システム１００＞
振動情報出力システム１００は、感情データベース６１をさらに備える。
振動情報出力システム１００は、感情データベース６１をさらに備える。
【0087】
＜振動情報出力装置１＞
振動情報出力装置１は、例えばユーザ２の感情情報５を推定するための情報を含む感情要素５１を取得する。振動情報出力装置１は、例えば図５（ａ）～図５（ｂ）に示すように、まず、感情モデル９が記憶された感情データベース６１を参照し、取得した感情要素５１に基づいて感情情報５を出力する。次に、振動情報出力装置１は、振動モデル８が記憶されたデータベース６を参照し、出力した感情情報５に基づいて、ユーザ２に対して物理的刺激を与える振動を出力するための振動情報７を出力する。
振動情報出力装置１は、例えばユーザ２の感情情報５を推定するための情報を含む感情要素５１を取得する。振動情報出力装置１は、例えば図５（ａ）～図５（ｂ）に示すように、まず、感情モデル９が記憶された感情データベース６１を参照し、取得した感情要素５１に基づいて感情情報５を出力する。次に、振動情報出力装置１は、振動モデル８が記憶されたデータベース６を参照し、出力した感情情報５に基づいて、ユーザ２に対して物理的刺激を与える振動を出力するための振動情報７を出力する。
【0088】
＜感情要素５１＞
感情要素５１は、例えばユーザ２の感情情報５を推定するための情報を含む。感情要素５１は、例えばユーザ２が発した音声５１１（肉声、録音音声を含む）、骨導音５１２、及びユーザ２の表情を示す画像等が挙げられる。
感情要素５１は、例えばユーザ２の感情情報５を推定するための情報を含む。感情要素５１は、例えばユーザ２が発した音声５１１（肉声、録音音声を含む）、骨導音５１２、及びユーザ２の表情を示す画像等が挙げられる。
【0089】
感情要素５１は、例えば音声と骨導音との組み合わせを含む場合、音声と骨導音とを同時に取得してもよい。感情要素５１は、例えば音声と画像との組み合わせを含む場合、音声の取得時点と画像の取得時点との差が１０秒程度生じてもよい。感情要素５１は、例えば骨導音と画像との組み合わせを含む場合、骨導音の取得時点と画像の取得時点との差が１０秒程度生じてもよい。
【0090】
感情要素５１は、例えばユーザ２の音声５１１と、骨導音５１２と、を含む。すなわち、ユーザ２の発話のみで、複数の感情要素５１を取得する。このため、振動情報７を出力するためにユーザ２が複雑な操作を行う必要がない。これにより、システムの操作性向上を図ることができる。
【0091】
＜感情データベース６１＞
感情データベース６１は、主に、機械学習により生成された感情モデル９を記憶するために用いられる。感情データベース６１には、１つ以上の感情モデル９が記憶されるほか、例えば感情モデル９の生成に用いられた複数の感情学習データ９０が記憶されてもよい。この場合、振動情報出力装置１は、保存部１０４に記憶された感情データベース６１を参照してもよい。
感情データベース６１は、主に、機械学習により生成された感情モデル９を記憶するために用いられる。感情データベース６１には、１つ以上の感情モデル９が記憶されるほか、例えば感情モデル９の生成に用いられた複数の感情学習データ９０が記憶されてもよい。この場合、振動情報出力装置１は、保存部１０４に記憶された感情データベース６１を参照してもよい。
【0092】
感情データベース６１は、例えばサーバ３に記憶される。この場合、振動情報出力装置１は、通信網４を介して、サーバ３に記憶された感情データベース６１を参照してもよい。また、感情データベース６１は、例えば振動情報出力装置１の構成に含まれる保存部１０４に、サーバ３に記憶された感情データベース６１を複製して記憶されてもよく、同期して記憶されてもよい。
【0093】
＜感情モデル９＞
感情モデル９は、例えば図５（ｂ）に示すように、感情学習データ９０を用いた機械学習により生成される。感情モデル９は、例えば感情学習入力データ９１と、感情学習出力データ９２と、を一組とするデータセットを感情学習データ９０として、複数の感情学習データ９０を用いて生成される。感情モデル９は、例えば感情データベース６１に記憶される。感情モデル９は、例えば感情学習入力データ９１を説明変数とし、感情学習出力データ９２を目的変数として、回帰分析等により解析し、その解析結果に基づいて生成される回帰モデルを示す。
感情モデル９は、例えば図５（ｂ）に示すように、感情学習データ９０を用いた機械学習により生成される。感情モデル９は、例えば感情学習入力データ９１と、感情学習出力データ９２と、を一組とするデータセットを感情学習データ９０として、複数の感情学習データ９０を用いて生成される。感情モデル９は、例えば感情データベース６１に記憶される。感情モデル９は、例えば感情学習入力データ９１を説明変数とし、感情学習出力データ９２を目的変数として、回帰分析等により解析し、その解析結果に基づいて生成される回帰モデルを示す。
【0094】
感情モデル９は、例えば感情学習入力データ９１と感情学習出力データ９２との間における感情連関度を有する感情連関性を含む。感情連関性は、例えば複数の感情学習データ９０を用いた機械学習により生成されてもよい。感情連関度は、感情学習入力データ９１と感情学習出力データ９２との繋がりの度合いを示しており、例えば感情連関度が高いほど各データの繋がりが強いと判断することができる。感情連関度は、例えば百分率等の３値以上（３段階以上）で示されるほか、２値以上（２段階以上）で示されてもよい。
【0095】
例えば感情連関性は、多対多の情報（複数の感情学習入力データ９１、対、複数の感情学習出力データ９２）の間における繋がりの度合いにより構築される。感情連関性は、機械学習の過程で適宜更新され、例えば複数の感情学習入力データ９１、及び複数の感情学習出力データ９２に基づいて最適化された関数（分類器）を示す。なお、感情連関性は、例えば各データの間における繋がりの度合いを示す複数の感情連関度を有してもよい。感情連関度は、例えばデータベースがニューラルネットワークで構築される場合、重み変数に対応させることができる。
【0096】
このため、振動情報出力システム１００では、例えば分類器の判定した結果を全て踏まえた感情連関性を用いて、感情学習入力データ９１に適した感情学習出力データ９２を選択する。これにより、感情学習入力データ９１が、感情学習出力データ９２と同一又は類似である場合のほか、非類似である場合においても、感情学習入力データ９１に適した感情学習出力データ９２を定量的に選択することができる。
【0097】
感情連関性は、例えば複数の感情学習入力データ９１と、複数の感情学習出力データ９２との間における繋がりの度合いを示してもよい。この場合、感情連関性を用いることで、複数の感情学習入力データ９１（例えば感情学習入力データＡ、感情学習入力データＢ）のそれぞれに対し、複数の感情学習出力データ９２（例えば感情学習出力データＡ、感情学習出力データＢ）の関係の度合いを紐づけて記憶させることができる。このため、例えば感情連関性を介して、１つの感情学習出力データ９２に対して、複数の感情学習入力データ９１を紐づけることができる。これにより、感情学習入力データ９１に対して多角的な感情学習出力データ９２の選択を実現することができる。
【0098】
感情連関性は、例えば各感情学習入力データ９１と、各感情学習出力データ９２とをそれぞれ紐づける複数の感情連関度を有する。感情連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、感情学習入力データ９１に含まれる「入力データＡ」は、感情学習出力データ９２に含まれる「出力データＡ」との間の感情連関度ＡＡ「７３％」を示し、感情学習出力データ９２に含まれる「出力データＢ」との間の感情連関度ＡＢ「１２％」を示す。すなわち、「感情連関度」は、各データ間における繋がりの度合いを示しており、例えば感情連関度が高いほど、各データの繋がりが強いことを示す。
【0099】
また、感情連関性は、感情学習入力データ９１と感情学習出力データ９２との間に少なくとも１以上の隠れ層が設けられてもよい。感情学習入力データ９１又は隠れ層データの何れか一方又は両方において上述した感情連関度が設定され、これが各データの重み付けとなり、これに基づいて出力の選択が行われる。そして、この感情連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。
【0100】
感情モデル９は、例えば複数の感情学習データ９０を用いた機械学習により生成された、学習済みモデルを含んでもよい。また、機械学習として、例えば深層学習を用いることができる。機械学習として、例えば敵対的生成ネットワーク（ＧＡＮ：Generative adversarial network）を用いることで、感情学習入力データ９１を疑似的に生成してもよい。
【0101】
＜感情学習データ９０＞
感情学習データ９０は、感情モデル９を生成するための機械学習に用いられる。感情学習データ９０は、感情学習入力データ９１と感情学習出力データ９２とを一組とするデータセットである。
感情学習データ９０は、感情モデル９を生成するための機械学習に用いられる。感情学習データ９０は、感情学習入力データ９１と感情学習出力データ９２とを一組とするデータセットである。
【0102】
＜感情学習入力データ９１＞
感情学習入力データ９１は、感情モデル９生成するための機械学習に用いる感情学習データ９０として用いられる。感情学習入力データ９１は、例えば予め取得された感情学習参照用感情要素９１０を含む。感情学習参照用感情要素９１０は、感情モデル９を生成するための機械学習に用いられる感情要素を示し、例えばユーザ２以外の感情要素を含む。
感情学習入力データ９１は、感情モデル９生成するための機械学習に用いる感情学習データ９０として用いられる。感情学習入力データ９１は、例えば予め取得された感情学習参照用感情要素９１０を含む。感情学習参照用感情要素９１０は、感情モデル９を生成するための機械学習に用いられる感情要素を示し、例えばユーザ２以外の感情要素を含む。
【0103】
感情学習入力データ９１は、例えば疑似的に生成された感情学習参照用感情要素９１０を含んでもよい。この場合、実測情報のみを用いる場合と比べて、より多様な感情学習データ９０を用いることができる。これにより、ユーザ２の感情要素５１に応じて、より多様なコミュニケーションを提供することができる。
【0104】
＜感情学習出力データ９２＞
感情学習出力データ９２は、感情モデル９を生成するための機械学習に用いる感情学習データ９０として用いられる。感情学習出力データ９２は、例えば予め取得された感情学習参照用感情情報９２０を含む。感情学習参照用感情情報９２０は、感情モデル９を生成するための機械学習に用いられる感情情報を示す。
感情学習出力データ９２は、感情モデル９を生成するための機械学習に用いる感情学習データ９０として用いられる。感情学習出力データ９２は、例えば予め取得された感情学習参照用感情情報９２０を含む。感情学習参照用感情情報９２０は、感情モデル９を生成するための機械学習に用いられる感情情報を示す。
【0105】
感情学習データ９０に含まれる一組の感情学習入力データ９１と感情学習出力データ９２との組み合わせは、例えば感情学習入力データ９１に含まれる感情学習参照用感情要素９１０と、感情学習出力データ９２に含まれる感情学習参照用感情情報９２０とが紐づけられた組み合わせを含む。感情学習参照用感情要素９１０と感情学習参照用感情情報９２０とが紐づけられる組み合わせとしては、例えばユーザ２が発した「悲しみ」を示す音声（肉声、録音音声を含む）、「悲しみ」を示す骨導音、及びユーザ２の「悲しみ」を示す表情を示す画像の少なくとも何れかを含む感情学習参照用感情要素９１０と、「悲しみ」を示す感情学習参照用感情情報９２０と、が紐づけられる。このような感情学習データ９０を用いて生成された感情モデル９を用いることで、ユーザ２と振動情報出力システム１００との双方向のコミュニケーションをより適切に図ることが可能となる。このほか、例えば感情連関性を含む感情モデル９を用いることにより、ユーザ２と振動情報出力システム１００との双方向のコミュニケーションをより適切に図ることが可能となる。
【0106】
感情学習参照用感情要素９１０は、例えば音声と骨導音との組み合わせを含む場合、音声と骨導音とを同時に取得してもよい。感情学習参照用感情要素９１０は、例えば音声と画像との組み合わせを含む場合、音声の取得時点と画像の取得時点との差が１０秒程度生じてもよい。感情学習参照用感情要素９１０は、例えば骨導音と画像との組み合わせを含む場合、骨導音の取得時点と画像の取得時点との差が１０秒程度生じてもよい。
【0107】
以下、振動情報出力装置１の各機能についての詳細を説明する。
【0108】
＜取得部１１＞
取得部１１は、例えばユーザ２の感情要素５１を取得する感情要素取得部を含む。取得部１１は、例えば感情要素取得部が取得した感情要素５１に基づいて出力された感情情報５を取得する。
取得部１１は、例えばユーザ２の感情要素５１を取得する感情要素取得部を含む。取得部１１は、例えば感情要素取得部が取得した感情要素５１に基づいて出力された感情情報５を取得する。
【0109】
＜感情要素取得部＞
感情要素取得部は、例えば振動情報出力装置１が入力部１０８を介してユーザ２からユーザ２の感情要素５１を含む情報の入力を受け付け、入力された感情要素５１の中から、１つ以上の感情要素５１を選択して取得する。感情要素取得部は、例えば公知のコンデンサマイクが用いられ、ユーザ２が発した音声５１１を取得してもよい。感情要素取得部は、例えば公知の骨伝導マイクが用いられ、ユーザ２が発した骨導音５１２を取得してもよい。感情要素取得部は、例えば公知のカメラが用いられ、ユーザ２の表情を示す画像を取得してもよい。感情要素取得部は、例えばユーザ２が振動情報出力システム１００からのコミュニケーションの提供を要求したとき（振動情報出力システム１００のウェイクワードを発話するなど）、又はユーザ２が振動情報出力システム１００からコミュニケーションを提供されているときに、感情要素５１を取得してもよい。感情要素取得部は、例えばユーザ２が発話し、その発話前後にユーザ２以外の発話がないときに、感情要素５１を取得してもよい。
感情要素取得部は、例えば振動情報出力装置１が入力部１０８を介してユーザ２からユーザ２の感情要素５１を含む情報の入力を受け付け、入力された感情要素５１の中から、１つ以上の感情要素５１を選択して取得する。感情要素取得部は、例えば公知のコンデンサマイクが用いられ、ユーザ２が発した音声５１１を取得してもよい。感情要素取得部は、例えば公知の骨伝導マイクが用いられ、ユーザ２が発した骨導音５１２を取得してもよい。感情要素取得部は、例えば公知のカメラが用いられ、ユーザ２の表情を示す画像を取得してもよい。感情要素取得部は、例えばユーザ２が振動情報出力システム１００からのコミュニケーションの提供を要求したとき（振動情報出力システム１００のウェイクワードを発話するなど）、又はユーザ２が振動情報出力システム１００からコミュニケーションを提供されているときに、感情要素５１を取得してもよい。感情要素取得部は、例えばユーザ２が発話し、その発話前後にユーザ２以外の発話がないときに、感情要素５１を取得してもよい。
【0110】
＜出力部１２＞
出力部１２は、例えばユーザ２の感情情報５を生成し、出力する感情情報出力部を含む。
出力部１２は、例えばユーザ２の感情情報５を生成し、出力する感情情報出力部を含む。
【0111】
＜感情情報出力部＞
感情情報出力部は、例えば感情要素取得部が感情要素５１を取得した際、感情モデル９が記憶された感情データベース６１を参照し、感情要素取得部が取得した感情要素５１に基づく感情情報５を生成する。また、感情情報出力部は、例えば感情情報出力部が生成した振動情報７を出力する。感情情報出力部は、例えば表示部１０９に感情情報５が表示されるように出力してもよい。感情情報出力部は、例えば保存部１０４等に予め記憶された表示用のフォーマットを用いて、感情情報５の特徴をユーザ２が理解できる形式に変換した感情情報５を生成してもよい。
感情情報出力部は、例えば感情要素取得部が感情要素５１を取得した際、感情モデル９が記憶された感情データベース６１を参照し、感情要素取得部が取得した感情要素５１に基づく感情情報５を生成する。また、感情情報出力部は、例えば感情情報出力部が生成した振動情報７を出力する。感情情報出力部は、例えば表示部１０９に感情情報５が表示されるように出力してもよい。感情情報出力部は、例えば保存部１０４等に予め記憶された表示用のフォーマットを用いて、感情情報５の特徴をユーザ２が理解できる形式に変換した感情情報５を生成してもよい。
【0112】
＜記憶部１３＞
記憶部１３は、保存部１０４に保存された感情データベース６１等の各種データを、必要に応じて取出す。記憶部１３は、感情要素取得部、感情情報出力部、感情学習部により取得又は生成された各種データを、必要に応じて保存部１０４に保存する。
記憶部１３は、保存部１０４に保存された感情データベース６１等の各種データを、必要に応じて取出す。記憶部１３は、感情要素取得部、感情情報出力部、感情学習部により取得又は生成された各種データを、必要に応じて保存部１０４に保存する。
【0113】
＜学習部１４＞
学習部１４は、例えば感情モデル９を生成する感情学習部を含む。
学習部１４は、例えば感情モデル９を生成する感情学習部を含む。
【0114】
＜感情学習部＞
感情学習部は、複数の感情学習データ９０を用いて、感情モデル９を生成する。感情学習部は、例えば新たな感情学習データ９０を取得し、既存の感情モデル９を更新してもよい。感情学習部は、例えば新たな感情学習データ９０を疑似的に生成し、既存の感情モデル９を更新してもよい。
感情学習部は、複数の感情学習データ９０を用いて、感情モデル９を生成する。感情学習部は、例えば新たな感情学習データ９０を取得し、既存の感情モデル９を更新してもよい。感情学習部は、例えば新たな感情学習データ９０を疑似的に生成し、既存の感情モデル９を更新してもよい。
【0115】
（第２実施形態：振動情報出力システム１００の動作の一例）
次に図６を参照して、本実施形態における振動情報出力システム１００の動作の一例を説明する。図６は、本実施形態における振動情報出力システム１００の動作の一例を示すフローチャートである。
次に図６を参照して、本実施形態における振動情報出力システム１００の動作の一例を説明する。図６は、本実施形態における振動情報出力システム１００の動作の一例を示すフローチャートである。
【0116】
振動情報出力システム１００の動作は、感情要素取得手段Ｓ２１０と、感情情報出力手段Ｓ２２０と、をさらに備える。
【0117】
＜感情要素取得手段Ｓ２１０＞
感情要素取得手段Ｓ２１０は、例えばユーザ２の感情要素５１を取得する。感情要素取得手段Ｓ２１０は、例えば感情要素取得部に、ユーザ２の感情要素５１を取得させてもよい。感情要素取得手段Ｓ２１０は、例えば感情要素取得部に、振動情報出力装置１が入力部１０８を介してユーザ２からユーザ２の感情要素５１を含む情報の入力を受け付け、入力された感情要素５１の中から、１つ以上の感情要素５１を選択して取得させてもよい。
感情要素取得手段Ｓ２１０は、例えばユーザ２の感情要素５１を取得する。感情要素取得手段Ｓ２１０は、例えば感情要素取得部に、ユーザ２の感情要素５１を取得させてもよい。感情要素取得手段Ｓ２１０は、例えば感情要素取得部に、振動情報出力装置１が入力部１０８を介してユーザ２からユーザ２の感情要素５１を含む情報の入力を受け付け、入力された感情要素５１の中から、１つ以上の感情要素５１を選択して取得させてもよい。
【0118】
感情要素取得手段Ｓ２１０は、例えばユーザ２の感情要素５１として、ユーザ２が発した音声５１１（肉声、録音音声を含む）、骨導音５１２、及びユーザ２の表情を示す画像を取得してもよい。感情要素取得手段Ｓ２１０は、例えば２つ以上の感情要素５１を同時に取得してもよい。感情要素取得手段Ｓ２１０は、例えば音声と骨導音との組み合わせを含む感情要素５１を取得する場合、音声と骨導音とを同時に取得してもよい。感情要素取得手段Ｓ２１０は、例えば音声と画像との組み合わせを含む感情要素５１を取得する場合、音声の取得時点と画像の取得時点との差が１０秒程度生じてもよい。感情要素取得手段Ｓ２１０は、例えば骨導音と画像との組み合わせを含む感情要素５１を取得する場合、骨導音の取得時点と画像の取得時点との差が１０秒程度生じてもよい。
【0119】
感情要素取得手段Ｓ２１０は、例えば公知のコンデンサマイクを用いて、ユーザ２が発した音声５１１を取得してもよい。感情要素取得手段Ｓ２１０は、例えば公知の骨伝導マイクを用いて、ユーザ２が発した骨導音５１２を取得してもよい。感情要素取得手段Ｓ２１０は、例えば公知のカメラを用いて、ユーザ２の表情を示す画像を取得してもよい。感情要素取得手段Ｓ２１０は、例えばユーザ２が振動情報出力システム１００からのコミュニケーションの提供を要求したとき（振動情報出力システム１００のウェイクワードを発話するなど）、又はユーザ２が振動情報出力システム１００からコミュニケーションを提供されているときに、感情要素５１を取得してもよい。感情要素取得手段Ｓ２１０は、例えばユーザ２が発話し、その発話前後にユーザ２以外の発話がないときに、感情要素５１を取得してもよい。
【0120】
＜感情情報出力手段Ｓ２２０＞
感情情報出力手段Ｓ２２０は、例えば感情モデル９が記憶された感情データベース６１を参照し、感情要素５１に基づく感情情報５を生成する。また、感情情報出力手段Ｓ２２０は、例えば感情情報出力手段Ｓ２２０が生成した振動情報７を出力する。感情情報出力手段Ｓ２２０は、例えば感情情報出力部に、感情モデル９が記憶された感情データベース６１を参照させて、感情要素５１に基づく感情情報５を生成させ、出力させてもよい。感情情報出力手段Ｓ２２０は、例えば感情情報出力部に、表示部１０９に感情情報５が表示されるように出力させてもよい。
感情情報出力手段Ｓ２２０は、例えば感情モデル９が記憶された感情データベース６１を参照し、感情要素５１に基づく感情情報５を生成する。また、感情情報出力手段Ｓ２２０は、例えば感情情報出力手段Ｓ２２０が生成した振動情報７を出力する。感情情報出力手段Ｓ２２０は、例えば感情情報出力部に、感情モデル９が記憶された感情データベース６１を参照させて、感情要素５１に基づく感情情報５を生成させ、出力させてもよい。感情情報出力手段Ｓ２２０は、例えば感情情報出力部に、表示部１０９に感情情報５が表示されるように出力させてもよい。
【0121】
＜取得手段Ｓ１１０＞
取得手段Ｓ１１０は、例えば感情情報出力手段Ｓ２２０より出力された感情情報５を取得する。取得手段Ｓ１１０は、例えば取得部１１に、感情情報出力手段Ｓ２２０より出力された感情情報５を取得させてもよい。
取得手段Ｓ１１０は、例えば感情情報出力手段Ｓ２２０より出力された感情情報５を取得する。取得手段Ｓ１１０は、例えば取得部１１に、感情情報出力手段Ｓ２２０より出力された感情情報５を取得させてもよい。
【0122】
その後、例えば上述した出力手段Ｓ１２０を実施し、本実施形態における振動情報出力システム１００の動作は終了する。なお、振動情報出力システム１００では、例えば上述した各手段を繰り返し実施してもよい。
【0123】
本実施形態によれば、感情要素５１を取得する感情要素取得手段Ｓ２１０と、感情モデル９が記憶された感情データベース６１を参照し、感情要素５１に基づいて、感情情報５を出力する感情情報出力手段Ｓ２２０と、を備える。このため、ユーザ２の感情要素５１に基づく感情情報５に応じて、ユーザ２に対して物理的刺激を与える振動を出力するための振動情報７を出力することができる。これにより、ユーザ２の感情情報５に応じて、より適切なコミュニケーションを提供することができる。
【0124】
また、本実施形態によれば、感情要素５１は、ユーザ２の音声５１１と、骨導音５１２と、を含む。すなわち、ユーザ２の発話のみで、複数の感情要素５１を取得する。このため、振動情報７を出力するためにユーザ２が複雑な操作を行う必要がない。これにより、システムの操作性向上を図ることができる。
【0125】
（第３実施形態：振動情報出力システム１００）
次に図７を参照して、本実施形態における振動情報出力システム１００の一例を説明する。図７は、本実施形態における振動情報出力システム１００の構成の一例を示す模式図である。本実施形態は、振動情報出力システム１００が、更新手段Ｓ３１０をさらに備える点で、第１実施形態とは異なる。なお、上述の内容と同様の構成については、説明を省略する。
次に図７を参照して、本実施形態における振動情報出力システム１００の一例を説明する。図７は、本実施形態における振動情報出力システム１００の構成の一例を示す模式図である。本実施形態は、振動情報出力システム１００が、更新手段Ｓ３１０をさらに備える点で、第１実施形態とは異なる。なお、上述の内容と同様の構成については、説明を省略する。
【0126】
＜データベース６＞
データベース６は、振動モデル８が機械学習により更新された、振動モデル８’を記憶するために用いられる。データベース６には、１つ以上の振動モデル８’が記憶されるほか、例えば振動モデル８を振動モデル８’に更新するために用いられた複数の学習データ８０が記憶されてもよい。
データベース６は、振動モデル８が機械学習により更新された、振動モデル８’を記憶するために用いられる。データベース６には、１つ以上の振動モデル８’が記憶されるほか、例えば振動モデル８を振動モデル８’に更新するために用いられた複数の学習データ８０が記憶されてもよい。
【0127】
＜振動モデル８’＞
振動モデル８’は、例えば図７に示すように、学習データ８０を用いた機械学習により、振動モデル８から更新される。振動モデル８’は、例えば入力データ８１と、出力データ８２と、を一組とするデータセットを学習データ８０として、複数の学習データ８０を用いて、振動モデル８から更新される。振動モデル８’は、例えばデータベース６に記憶される。振動モデル８’は、例えば入力データ８１を説明変数とし、出力データ８２を目的変数として、回帰分析等により解析し、その解析結果に基づいて振動モデル８から更新される回帰モデルを示す。
振動モデル８’は、例えば図７に示すように、学習データ８０を用いた機械学習により、振動モデル８から更新される。振動モデル８’は、例えば入力データ８１と、出力データ８２と、を一組とするデータセットを学習データ８０として、複数の学習データ８０を用いて、振動モデル８から更新される。振動モデル８’は、例えばデータベース６に記憶される。振動モデル８’は、例えば入力データ８１を説明変数とし、出力データ８２を目的変数として、回帰分析等により解析し、その解析結果に基づいて振動モデル８から更新される回帰モデルを示す。
【0128】
振動モデル８’は、例えば複数の学習データ８０を用いた機械学習により生成された、学習済みモデルを含んでもよい。機械学習として、例えば敵対的生成ネットワーク（ＧＡＮ：Generative adversarial network）を用いることで、入力データ８１を疑似的に生成してもよい。
【0129】
＜学習データ８０＞
学習データ８０は、振動モデル８を振動モデル８’に更新するための機械学習に用いられる。学習データ８０は、入力データ８１と出力データ８２とを一組とするデータセットである。
学習データ８０は、振動モデル８を振動モデル８’に更新するための機械学習に用いられる。学習データ８０は、入力データ８１と出力データ８２とを一組とするデータセットである。
【0130】
＜入力データ８１＞
入力データ８１は、振動モデル８を振動モデル８’に更新するための機械学習に用いる学習データ８０として用いられる。入力データ８１は、例えば振動情報７に基づく物理的刺激がユーザ２に与えられたときに取得されたユーザ２の感情を示す校正用感情情報８１１を含む。校正用感情情報８１１は、振動モデル８を振動モデル８’に更新するための機械学習に用いられる感情情報を示す。
入力データ８１は、振動モデル８を振動モデル８’に更新するための機械学習に用いる学習データ８０として用いられる。入力データ８１は、例えば振動情報７に基づく物理的刺激がユーザ２に与えられたときに取得されたユーザ２の感情を示す校正用感情情報８１１を含む。校正用感情情報８１１は、振動モデル８を振動モデル８’に更新するための機械学習に用いられる感情情報を示す。
【0131】
校正用感情情報８１１は、例えば感情情報５と同様に、ユーザ２の基本感情（喜び、信頼、恐れ、驚き、悲しみ、嫌悪、怒り、予期）、ストレス、覚醒度を示す情報を含む。校正用感情情報８１１は、物理的刺激がユーザ２に与えられたときに、振動情報出力装置１が複数の感情情報をユーザ２に提示し、ユーザ２に選択された一つの感情情報を用いてもよい。校正用感情情報８１１は、物理的刺激がユーザ２に与えられたときに感情要素取得部を介して取得した、ユーザ２の感情要素（ユーザ２が発した音声、骨導音、及びユーザ２の表情を示す画像等）から推定される感情情報を用いてもよい。
【0132】
＜出力データ８２＞
出力データ８２は、振動モデル８を振動モデル８’に更新するための機械学習に用いる学習データ８０として用いられる。出力データ８２は、例えば予め取得された参照用振動情報８２０を含む。参照用振動情報８２０は、振動モデル８を振動モデル８’に更新するための機械学習に用いられる振動情報を示す。
出力データ８２は、振動モデル８を振動モデル８’に更新するための機械学習に用いる学習データ８０として用いられる。出力データ８２は、例えば予め取得された参照用振動情報８２０を含む。参照用振動情報８２０は、振動モデル８を振動モデル８’に更新するための機械学習に用いられる振動情報を示す。
【0133】
学習データ８０に含まれる一組の入力データ８１と出力データ８２との組み合わせは、例えば入力データ８１に含まれる校正用感情情報８１１と、出力データ８２に含まれる参照用振動情報８２０とが紐づけられた組み合わせを含む。校正用感情情報８１１と参照用振動情報８２０とが紐づけられる組み合わせとしては、例えば「悲しみ」を示す校正用感情情報８１１と、校正用感情情報８１１で示された「悲しみ」に対して、「怒り」を誘発させるための物理的刺激を出力するための参照用振動情報８２０と、が紐づけられる。このような学習データ８０を用いて振動モデル８を振動モデル８’に更新することで、ユーザ２と振動情報出力システム１００との双方向のコミュニケーションをより適切に図ることが可能となる。
【0134】
以下、振動情報出力装置１の各機能についての詳細を説明する。
【0135】
＜学習部１４＞
学習部１４は、例えば複数の学習データ８０を用いて、振動モデル８を振動モデル８’に更新する。
学習部１４は、例えば複数の学習データ８０を用いて、振動モデル８を振動モデル８’に更新する。
【0136】
（第３実施形態：振動情報出力システム１００の動作の一例）
次に図８を参照して、本実施形態における振動情報出力システム１００の動作の一例を説明する。図８は、本実施形態における振動情報出力システム１００の動作の一例を示すフローチャートである。
次に図８を参照して、本実施形態における振動情報出力システム１００の動作の一例を説明する。図８は、本実施形態における振動情報出力システム１００の動作の一例を示すフローチャートである。
【0137】
振動情報出力システム１００の動作は、更新手段Ｓ３１０をさらに備える。
【0138】
＜更新手段Ｓ３１０＞
更新手段Ｓ３１０は、例えば振動モデル８を更新する。更新手段Ｓ３１０は、例えば出力手段Ｓ１２０により振動情報７を出力したあと、振動情報７に基づく物理的刺激がユーザ２に与えられたときに取得されたユーザ２の感情を示す校正用感情情報８１１を含む入力データ８１と、参照用振動情報８２０を含む出力データ８２と、を一組とするデータセットを学習データ８０として用いて、振動モデル８を更新する。すなわち、物理的刺激が与えられたユーザ２の感情情報５が、振動モデル８に（振動モデル８’として）反映される。この場合、ユーザ２の感情情報５に応じて、より正確な振動情報７を出力することができる。これにより、ユーザ２の感情情報５に応じて、より適切なコミュニケーションを提供することができる。
更新手段Ｓ３１０は、例えば振動モデル８を更新する。更新手段Ｓ３１０は、例えば出力手段Ｓ１２０により振動情報７を出力したあと、振動情報７に基づく物理的刺激がユーザ２に与えられたときに取得されたユーザ２の感情を示す校正用感情情報８１１を含む入力データ８１と、参照用振動情報８２０を含む出力データ８２と、を一組とするデータセットを学習データ８０として用いて、振動モデル８を更新する。すなわち、物理的刺激が与えられたユーザ２の感情情報５が、振動モデル８に（振動モデル８’として）反映される。この場合、ユーザ２の感情情報５に応じて、より正確な振動情報７を出力することができる。これにより、ユーザ２の感情情報５に応じて、より適切なコミュニケーションを提供することができる。
【0139】
更新手段Ｓ３１０は、例えば学習部１４に、校正用感情情報８１１を含む入力データ８１と、振動情報７を含む出力データ８２と、を一組とするデータセットを学習データ８０として用いて、振動モデル８を振動モデル８’に更新させてもよい。
【0140】
本実施形態によれば、出力手段Ｓ１２０により振動情報７を出力したあと、振動情報７に基づく物理的刺激がユーザ２に与えられたときに取得されたユーザ２の感情を示す校正用感情情報８１１を含む入力データ８１と、参照用振動情報８２０を含む出力データ８２とを一組とするデータセットを学習データ８０として用いて、振動モデル８を更新する更新手段Ｓ３１０をさらに備えることを含む。すなわち、物理的刺激が与えられたユーザ２の感情情報５が、振動モデル８に（振動モデル８’として）反映される。このため、ユーザ２の感情情報５に応じて、より正確な振動情報７を出力することができる。これにより、ユーザ２の感情情報５に応じて、より適切なコミュニケーションを提供することができる。
【0141】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0142】
また、上述した「部（section、module、unit）」は、「手段」などに読み替えることができる。例えば、取得部は、取得手段に読み替えることができる。また、上述した「手段」は、「ステップ」などに読み替えることができる。例えば、取得手段は、取得ステップに読み替えることができる。
【符号の説明】
【0143】
１００ 振動情報出力システム
１ 振動情報出力装置
１０ 筐体
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 保存部
１０５ Ｉ／Ｆ
１０６ Ｉ／Ｆ
１０７ Ｉ／Ｆ
１０８ 入力部
１０９ 表示部
１１０ 内部バス
１１ 取得部
１２ 出力部
１３ 記憶部
１４ 学習部
２ ユーザ
３ サーバ
４ 通信網
５ 感情情報
５１ 感情要素
５１１ 音声
５１２ 骨導音
６ データベース
６１ 感情データベース
７ 振動情報
８、８’ 振動モデル
８０ 学習データ
８１ 入力データ
８１０ 参照用感情情報
８１１ 校正用感情情報
８２ 出力データ
８２０ 参照用振動情報
９ 感情モデル
９０ 感情学習データ
９１ 感情学習入力データ
９１０ 感情学習参照用感情要素
９２ 感情学習出力データ
９２０ 感情学習参照用感情情報
Ｓ１１０ 取得手段
Ｓ１２０ 出力手段
Ｓ２１０ 感情要素取得手段
Ｓ２２０ 感情情報出力手段
Ｓ３１０ 更新手段
１ 振動情報出力装置
１０ 筐体
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 保存部
１０５ Ｉ／Ｆ
１０６ Ｉ／Ｆ
１０７ Ｉ／Ｆ
１０８ 入力部
１０９ 表示部
１１０ 内部バス
１１ 取得部
１２ 出力部
１３ 記憶部
１４ 学習部
２ ユーザ
３ サーバ
４ 通信網
５ 感情情報
５１ 感情要素
５１１ 音声
５１２ 骨導音
６ データベース
６１ 感情データベース
７ 振動情報
８、８’ 振動モデル
８０ 学習データ
８１ 入力データ
８１０ 参照用感情情報
８１１ 校正用感情情報
８２ 出力データ
８２０ 参照用振動情報
９ 感情モデル
９０ 感情学習データ
９１ 感情学習入力データ
９１０ 感情学習参照用感情要素
９２ 感情学習出力データ
９２０ 感情学習参照用感情情報
Ｓ１１０ 取得手段
Ｓ１２０ 出力手段
Ｓ２１０ 感情要素取得手段
Ｓ２２０ 感情情報出力手段
Ｓ３１０ 更新手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2022-07-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ユーザとコミュニケーションをとるための振動情報出力システムであって、
前記ユーザの感情を示す感情情報を取得する取得手段と、
予め取得された参照用感情情報を含む入力データと、前記参照用感情情報に紐づいた物理的刺激を与える振動の特徴を示す参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された振動モデルが記憶されたデータベースと、
前記データベースを参照し、前記感情情報に基づいて、前記ユーザに対して物理的刺激を与える振動を出力するための振動情報を生成し、出力する出力手段と、
前記ユーザの筋肉に対して、前記振動情報に基づき、前記ユーザの感情から推定される所望の動作を補助するパルス電圧を出力する振動出力部と、を備えること
を特徴とする振動情報出力システム。
前記ユーザの感情を示す感情情報を取得する取得手段と、
予め取得された参照用感情情報を含む入力データと、前記参照用感情情報に紐づいた物理的刺激を与える振動の特徴を示す参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された振動モデルが記憶されたデータベースと、
前記データベースを参照し、前記感情情報に基づいて、前記ユーザに対して物理的刺激を与える振動を出力するための振動情報を生成し、出力する出力手段と、
前記ユーザの筋肉に対して、前記振動情報に基づき、前記ユーザの感情から推定される所望の動作を補助するパルス電圧を出力する振動出力部と、を備えること
を特徴とする振動情報出力システム。
【請求項2】
前記入力データは、疑似的に生成された前記参照用感情情報を含むこと
を特徴とする請求項１記載の振動情報出力システム。
を特徴とする請求項１記載の振動情報出力システム。
【請求項3】
前記感情情報を推定するための情報を含む感情要素を取得する感情要素取得手段と、
予め取得された参照用感情要素を含む入力データと、前記参照用感情情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された感情モデルが記憶された感情データベースと、
前記感情データベースを参照し、前記感情要素に基づいて、前記感情情報を出力する感情情報出力手段と、をさらに備え、
前記取得手段は、前記感情情報出力手段より出力された前記感情情報を取得すること
を特徴とする請求項１又は２記載の振動情報出力システム。
予め取得された参照用感情要素を含む入力データと、前記参照用感情情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された感情モデルが記憶された感情データベースと、
前記感情データベースを参照し、前記感情要素に基づいて、前記感情情報を出力する感情情報出力手段と、をさらに備え、
前記取得手段は、前記感情情報出力手段より出力された前記感情情報を取得すること
を特徴とする請求項１又は２記載の振動情報出力システム。
【請求項4】
前記感情要素は、前記ユーザの音声と、骨導音と、を含むこと
を特徴とする請求項３記載の振動情報出力システム。
を特徴とする請求項３記載の振動情報出力システム。
【請求項5】
前記出力手段は、
前記感情情報の特徴に基づき、前記データベースに含まれる複数の前記振動モデルの何れか一つを選択し、
選択された一つの前記振動モデルを参照し、前記感情情報に基づく前記振動情報を出力すること
を含むこと
を特徴とする請求項１又は２記載の振動情報出力システム。
前記感情情報の特徴に基づき、前記データベースに含まれる複数の前記振動モデルの何れか一つを選択し、
選択された一つの前記振動モデルを参照し、前記感情情報に基づく前記振動情報を出力すること
を含むこと
を特徴とする請求項１又は２記載の振動情報出力システム。
【請求項6】
前記出力手段により前記振動情報を出力したあと、前記振動情報に基づく物理的刺激が前記ユーザに与えられたときに取得された前記ユーザの感情を示す校正用感情情報を含む入力データと、前記参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、前記振動モデルを更新する更新手段をさらに備えること
を特徴とする請求項１又は２記載の振動情報出力システム。
を特徴とする請求項１又は２記載の振動情報出力システム。
【請求項7】
ユーザとコミュニケーションをとるための処理を実行する振動情報出力プログラムであって、
ユーザの感情を示す感情情報を取得する取得ステップと、
予め取得された参照用感情情報を含む入力データと、前記参照用感情情報に紐づいた物理的刺激を与える振動の特徴を示す参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された振動モデルを参照し、前記取得ステップにより取得された感情情報に基づいて、前記ユーザに対して物理的刺激を与える振動を出力するための振動情報を生成し、前記ユーザの筋肉に対して、前記振動情報に基づき、前記ユーザの感情から推定される所望の動作を補助するパルス電圧を出力する出力ステップと、をコンピュータに実行させること
を特徴とする振動情報出力プログラム。
ユーザの感情を示す感情情報を取得する取得ステップと、
予め取得された参照用感情情報を含む入力データと、前記参照用感情情報に紐づいた物理的刺激を与える振動の特徴を示す参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された振動モデルを参照し、前記取得ステップにより取得された感情情報に基づいて、前記ユーザに対して物理的刺激を与える振動を出力するための振動情報を生成し、前記ユーザの筋肉に対して、前記振動情報に基づき、前記ユーザの感情から推定される所望の動作を補助するパルス電圧を出力する出力ステップと、をコンピュータに実行させること
を特徴とする振動情報出力プログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
第１発明における振動情報出力システムによれば、ユーザとコミュニケーションをとるための振動情報出力システムであって、前記ユーザの感情を示す感情情報を取得する取得手段と、予め取得された参照用感情情報を含む入力データと、前記参照用感情情報に紐づいた物理的刺激を与える振動の特徴を示す参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された振動モデルが記憶されたデータベースと、前記データベースを参照し、前記感情情報に基づいて、前記ユーザに対して物理的刺激を与える振動を出力するための振動情報を生成し、出力する出力手段と、前記ユーザの筋肉に対して、前記振動情報に基づき、前記ユーザの感情から推定される所望の動作を補助するパルス電圧を出力する振動出力部と、を備えることを特徴とする。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【0016】
第７発明における振動情報出力プログラムによれば、ユーザとコミュニケーションをとるための処理を実行する振動情報出力プログラムであって、ユーザの感情を示す感情情報を取得する取得ステップと、予め取得された参照用感情情報を含む入力データと、前記参照用感情情報に紐づいた物理的刺激を与える振動の特徴を示す参照用振動情報を含む出力データと、を一組とするデータセットを学習データとして用いて、機械学習により生成された振動モデルを参照し、前記取得ステップにより取得された感情情報に基づいて、前記ユーザに対して物理的刺激を与える振動を出力するための振動情報を生成し、前記ユーザの筋肉に対して、前記振動情報に基づき、前記ユーザの感情から推定される所望の動作を補助するパルス電圧を出力する出力ステップと、をコンピュータに実行させることを特徴とする。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【0017】
第１発明～第６発明によれば、感情情報を取得する取得手段と、振動モデルが記憶されたデータベースを参照し、感情情報に基づいて、振動情報を出力する出力手段と、を備える。このため、ユーザの感情情報に応じて、ユーザに対して物理的刺激を与える振動を出力するための振動情報を出力することができる。これにより、ユーザの感情情報に応じたコミュニケーションを提供することができる。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【0018】
また、第１発明～第６発明によれば、データベースには、予め取得された入力データと、出力データとを一組とするデータセットを学習データとして用いて、機械学習により生成された振動モデルが記憶される。また、出力手段は、データベースを参照し、感情情報に基づく振動情報を出力する。このため、過去に実績のある感情情報と振動情報との繋がりを踏まえ、定量的な振動情報を出力することができる。これにより、ユーザ等の主観に伴う評価のばらつきを抑制することが可能となる。
また、第１発明～第６発明によれば、ユーザの筋肉に対して、前記振動情報に基づき、前記ユーザの感情から推定される所望の動作を補助するパルス電圧を出力する振動出力部を備える。このため、ユーザに対して、例えば「予期」など、特定の感情に対応する所望の動作を補助することができる。これにより、ユーザとの双方向のコミュニケーションを提供することができる。
また、第１発明～第６発明によれば、ユーザの筋肉に対して、前記振動情報に基づき、前記ユーザの感情から推定される所望の動作を補助するパルス電圧を出力する振動出力部を備える。このため、ユーザに対して、例えば「予期」など、特定の感情に対応する所望の動作を補助することができる。これにより、ユーザとの双方向のコミュニケーションを提供することができる。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【0026】
第７発明によれば、ユーザの感情情報を取得する取得ステップと、機械学習により生成された振動モデルを参照し、ユーザの感情情報に基づいて、ユーザに対して物理的刺激を与える振動を出力するための振動情報を出力する出力ステップと、を備える。このため、ユーザの感情情報に応じて、ユーザに対して物理的刺激を与える振動を出力するための振動情報を出力することができる。これにより、ユーザの感情情報に応じたコミュニケーションを提供することを、コンピュータに実行させることができる。