ホーム > 特許ランキング > アルプスアルパイン株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024059399
(43)【公開日】2024-05-01
(54)【発明の名称】振動制御システム、振動制御方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20240423BHJP
【ＦＩ】
G06F3/01 560
G06F3/01 510
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022167060
(22)【出願日】2022-10-18
(71)【出願人】
【識別番号】000010098
【氏名又は名称】アルプスアルパイン株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】森 友汰
(72)【発明者】
【氏名】田上 大樹
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA48
5E555AA64
5E555BA02
5E555BB02
5E555BB08
5E555BC04
5E555CA41
5E555CA42
5E555CA47
5E555CB64
5E555CB65
5E555CB66
5E555CB69
5E555CC03
5E555DA24
5E555FA00
(57)【要約】 （修正有）
【課題】コンテンツを視聴しているユーザーの生体情報、動き、発話に応じた振動刺激を生成する振動制御システム及び振動制御方法を提供する。
【解決手段】振動制御システム１００は、座席に配置された振動デバイス３０と、振動デバイス３０の振動を制御する振動制御部を含む振動制御装置１０と、を備える。振動制御部は、座席に着席しているユーザの動きを検出し、動きが検出された場合、検出される前と後で振動デバイス３０の振動特性を変更する。
【選択図】図２
【解決手段】振動制御システム１００は、座席に配置された振動デバイス３０と、振動デバイス３０の振動を制御する振動制御部を含む振動制御装置１０と、を備える。振動制御部は、座席に着席しているユーザの動きを検出し、動きが検出された場合、検出される前と後で振動デバイス３０の振動特性を変更する。
【選択図】図２
【特許請求の範囲】
【請求項1】
座席に配置された振動デバイスを振動させる振動制御システムであって、
前記座席に着席しているユーザーの動きが検出された場合、検出される前と後で振動特性を変更する振動制御部、
を有する振動制御システム。
前記座席に着席しているユーザーの動きが検出された場合、検出される前と後で振動特性を変更する振動制御部、
を有する振動制御システム。
【請求項2】
前記振動制御部が、コンテンツに連動して前記振動デバイスを振動させている状態で、前記座席に着席しているユーザーの動きが検出された場合、検出される前と後で振動特性を変更する請求項１に記載の振動制御システム。
【請求項3】
前記座席に着席しているユーザーの盛り上がり状態を決定する盛り上がり状態決定部を有し、
前記振動制御部は、前記振動デバイスの振動特性を前記盛り上がり状態に応じて変更する請求項１又は２に記載の振動制御システム。
前記振動制御部は、前記振動デバイスの振動特性を前記盛り上がり状態に応じて変更する請求項１又は２に記載の振動制御システム。
【請求項4】
前記振動制御部は、前記盛り上がり状態決定部が前記盛り上がり状態であると判断した状態で、前記座席に着席しているユーザーの動きが検出された場合、検出される前と後で振動特性を変更する請求項３に記載の振動制御システム。
【請求項5】
前記盛り上がり状態決定部は、前記ユーザーの生体情報に基づいて盛り上がり状態を決定し、
前記振動制御部は、前記盛り上がり状態に対応付けられている振動制御を前記振動デバイスに行うことを特徴とする請求項３に記載の振動制御システム。
前記振動制御部は、前記盛り上がり状態に対応付けられている振動制御を前記振動デバイスに行うことを特徴とする請求項３に記載の振動制御システム。
【請求項6】
前記盛り上がり状態決定部は、前記ユーザーの特定の動きに基づいて盛り上がり状態を決定し、
前記振動制御部は、前記盛り上がり状態に対応付けられている振動制御を前記振動デバイスに行うことを特徴とする請求項３に記載の振動制御システム。
前記振動制御部は、前記盛り上がり状態に対応付けられている振動制御を前記振動デバイスに行うことを特徴とする請求項３に記載の振動制御システム。
【請求項7】
前記盛り上がり状態決定部は、前記ユーザーの発話に基づいて盛り上がり状態を決定し、
前記振動制御部は、前記盛り上がり状態に対応付けられている振動制御を前記振動デバイスに行うことを特徴とする請求項３に記載の振動制御システム。
前記振動制御部は、前記盛り上がり状態に対応付けられている振動制御を前記振動デバイスに行うことを特徴とする請求項３に記載の振動制御システム。
【請求項8】
前記振動制御部は、コンテンツに連動して前記振動デバイスを振動制御している状態で、前記ユーザーの特定の動きに基づいた盛り上がり状態であると決定された場合に、前記盛り上がり状態に対応付けられている振動制御を前記振動デバイスに行うことを特徴とする請求項６に記載の振動制御システム。
【請求項9】
前記盛り上がり状態決定部は、前記ユーザーの生体情報に基づいて第一の盛り上がり状態を決定し、
前記盛り上がり状態決定部は、前記第一の盛り上がり状態において、前記ユーザーの動きに基づいて第二の盛り上がり状態を決定し、
前記盛り上がり状態決定部は、前記第二の盛り上がり状態において、前記ユーザーの発話に基づいて第三の盛り上がり状態を決定し、
前記盛り上がり状態決定部は、前記第一の盛り上がり状態から前記第二の盛り上がり状態へ、前記第二の盛り上がり状態から前記第三の盛り上がり状態へ遷移させ、
前記振動制御部は、前記第一の盛り上がり状態から前記第二の盛り上がり状態、前記第二の盛り上がり状態から前記第三の盛り上がり状態に遷移するにつれて、前記振動デバイスの振動を強くするか又は振動の範囲を広げることを特徴とする請求項３に記載の振動制御システム。
前記盛り上がり状態決定部は、前記第一の盛り上がり状態において、前記ユーザーの動きに基づいて第二の盛り上がり状態を決定し、
前記盛り上がり状態決定部は、前記第二の盛り上がり状態において、前記ユーザーの発話に基づいて第三の盛り上がり状態を決定し、
前記盛り上がり状態決定部は、前記第一の盛り上がり状態から前記第二の盛り上がり状態へ、前記第二の盛り上がり状態から前記第三の盛り上がり状態へ遷移させ、
前記振動制御部は、前記第一の盛り上がり状態から前記第二の盛り上がり状態、前記第二の盛り上がり状態から前記第三の盛り上がり状態に遷移するにつれて、前記振動デバイスの振動を強くするか又は振動の範囲を広げることを特徴とする請求項３に記載の振動制御システム。
【請求項10】
振動制御システムが、座席に配置された振動デバイスを振動させる振動制御方法であって、
前記座席に着席しているユーザーの動きが検出された場合、検出される前と後で振動特性を変更する振動制御方法。
前記座席に着席しているユーザーの動きが検出された場合、検出される前と後で振動特性を変更する振動制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、振動制御システム、及び振動制御方法に関する。
【背景技術】
【0002】
レベル４以上の自動運転レベルを達成した車両では、所定の条件下なら、乗員がステアリングを握って運転行為を継続して行う必要がなくなるといわれている。したがって、車両での移動時間において乗員に自由時間が生じる。例えば、乗員が移動中に地上波やストリーミング配信などのコンテンツを視聴する場合も多くなると考えられる。また、キャンピングカーなどの車両が停車中に乗員がコンテンツを視聴する場合もある。
【0003】
コンテンツの視聴体験を向上させる技術が考案されている（例えば、特許文献１～３参照。）。特許文献１には、イベント会場で行われるイベントの観客の気分の盛り上がりの程度を取得し、盛り上がりの程度に基づいて、盛り上がり度合いを高くするように照明装置を制御する技術が開示されている。
【0004】
特許文献２には、視聴者の生体情報を検知し、視聴者の番組に対する興奮度に基づいて映像、音声、装置を制御する技術が開示されている。特許文献３には、イベントにおいて盛り上がりに関する観客の属性と、イベントに対して観客が示している関心の度合いとの相対的な関係に応じて、盛り上がりを促進するために提供するコンテンツを選択する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2022－027224号公報
【特許文献2】特開2009－188876号公報
【特許文献3】特開2020－042557号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来の技術では、ユーザーの動きに応じた振動刺激が提供されていないという問題がある。例えば、従来からコンテンツのシーンに合わせて振動を発生させる制御は行われているが、身体が動いた場合に振動特性を変えるような制御は行われないため、身体が動くことで、振動デバイスとの接触が減り、ユーザーに振動刺激に与えることができない場合があった。
【0007】
また、コンテンツのシーンに合わせて振動を発生させるのみでは、ユーザーが該シーンで盛り上がっているとは限らず、違和感を生じさせるおそれがある。
【0008】
本発明は、上記課題に鑑み、ユーザーの動きに応じた振動刺激を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題に鑑み、本発明は、座席に配置された振動デバイスを振動させる振動制御システムであって、前記座席に着席しているユーザーの動きが検出された場合、検出される前と後で振動特性を変更する振動制御部、を有する。
【発明の効果】
【0010】
ユーザーの動きに応じた振動刺激を提供することができる。
【図面の簡単な説明】
【0011】
【図1】コンテンツを視聴中の乗員に振動制御システムが振動刺激を与える処理の概略を説明する図である。
【図2】振動制御システムの全体的な構成を示す車両の側面図の一例である。
【図3】バックシートとボトムシートに配置された振動デバイスの配置例を示す図である。
【図4】振動制御装置が有する機能をブロック状に示す機能ブロック図の一例である。
【図5】振動制御テーブルの一例を示す図である。
【図6】振動信号１～３の波形の一例を示す図である。
【図7】盛り上がり状態１～３における振動イメージを説明する図である。
【図8】盛り上がり状態に応じた振動制御を説明するフローチャート図の一例である。
【図9】盛り上がり状態に応じた振動制御を説明するフローチャート図である。
【図10】車内においてコンテンツ視聴時のイメージを説明する図である。
【図11】室内等においてコンテンツ視聴時のイメージを説明する図である。
【図12】自動運転の概略を説明する図である。
【発明を実施するための形態】
【0012】
以下、本発明を実施するための形態の一例として、振動制御システムと振動制御システムが行う振動制御方法について図面を参照しながら説明する。
【0013】
＜振動刺激に提供処理の概略＞
図１は、コンテンツを視聴中の乗員に振動制御システムが振動刺激を与える処理の概略を説明する図である。図１（ａ）は乗員の盛り上がり状態の変化を示し、図１（ｂ）は盛り上がり状態に応じた振動制御の一例を示す。
図１は、コンテンツを視聴中の乗員に振動制御システムが振動刺激を与える処理の概略を説明する図である。図１（ａ）は乗員の盛り上がり状態の変化を示し、図１（ｂ）は盛り上がり状態に応じた振動制御の一例を示す。
【0014】
Ｓ１００
例えば、乗員がコンテンツとして野球の試合を見始めた。振動制御システムがコンテンツに合わせてシートに振動を発生させていない場合、無振動である。あるいは、振動制御システムは、コンテンツの音に合わせてシートに振動を発生させてもよい。
例えば、乗員がコンテンツとして野球の試合を見始めた。振動制御システムがコンテンツに合わせてシートに振動を発生させていない場合、無振動である。あるいは、振動制御システムは、コンテンツの音に合わせてシートに振動を発生させてもよい。
【0015】
Ｓ２００
コンテンツにおいて、チャンスにバッターがバッターボックスに立つ。乗員は、一発逆転のシーンにドキドキする。振動制御システムは、生体情報に基づいて盛り上がり状態１（第一の盛り上がり状態の一例）であると決定する。そこで、振動制御システムは、バックシートの全体の振動デバイスから振動を発生させる。乗員はこの振動により、より緊張感が増していく。
コンテンツにおいて、チャンスにバッターがバッターボックスに立つ。乗員は、一発逆転のシーンにドキドキする。振動制御システムは、生体情報に基づいて盛り上がり状態１（第一の盛り上がり状態の一例）であると決定する。そこで、振動制御システムは、バックシートの全体の振動デバイスから振動を発生させる。乗員はこの振動により、より緊張感が増していく。
【0016】
Ｓ３００
バッターは、１ストライク...２ストライク...とカウントが不利になる。乗員はカウントが進むにつれて、拍手したり、腕を振り下ろしたり、ガッツポーズを取ったりする。振動制御システムは、乗員の動作に基づいて盛り上がり状態２（第二の盛り上がり状態の一例）であると決定する。そこで、振動制御システムは、振動デバイスの振動特性を変更する。すなわち、振動制御システムは、振動デバイスによる振動を、座面を含む体全体の広範囲に拡大する。更に、振動制御システムは、盛り上がり状態１よりも振動を強くする。乗員は、振動の変化により、盛り上がりが一層増していく。
バッターは、１ストライク...２ストライク...とカウントが不利になる。乗員はカウントが進むにつれて、拍手したり、腕を振り下ろしたり、ガッツポーズを取ったりする。振動制御システムは、乗員の動作に基づいて盛り上がり状態２（第二の盛り上がり状態の一例）であると決定する。そこで、振動制御システムは、振動デバイスの振動特性を変更する。すなわち、振動制御システムは、振動デバイスによる振動を、座面を含む体全体の広範囲に拡大する。更に、振動制御システムは、盛り上がり状態１よりも振動を強くする。乗員は、振動の変化により、盛り上がりが一層増していく。
【0017】
Ｓ４００
バッターが、ボールを打ち返し、ボールが大きな弧を描いて観客席へ勢いよく飛んでいく。乗員は、その状況を観て、「うおおおぉぉぉ～ホームランだーー!!」などの声まで出して盛り上がる。振動制御システムは、乗員の発話の音量に基づいて盛り上がり状態３（第三の盛り上がり状態の一例）であると決定する。そこで、振動制御システムは、振動デバイスの振動特性を変更する。すなわち、振動制御システムは、シート振動を最大強度で振動させる。振動制御システムは、例えば「ズドーン」と体の芯に刺さるシート振動へ変化させる。乗員は、振動の変化により、最大の盛り上がり環境の中、コンテンツに没頭することができる。
バッターが、ボールを打ち返し、ボールが大きな弧を描いて観客席へ勢いよく飛んでいく。乗員は、その状況を観て、「うおおおぉぉぉ～ホームランだーー!!」などの声まで出して盛り上がる。振動制御システムは、乗員の発話の音量に基づいて盛り上がり状態３（第三の盛り上がり状態の一例）であると決定する。そこで、振動制御システムは、振動デバイスの振動特性を変更する。すなわち、振動制御システムは、シート振動を最大強度で振動させる。振動制御システムは、例えば「ズドーン」と体の芯に刺さるシート振動へ変化させる。乗員は、振動の変化により、最大の盛り上がり環境の中、コンテンツに没頭することができる。
【0018】
このように、本実施形態の振動制御システムは、盛り上がり方に応じてシートの振動を段階的に変化させることで、乗員の盛り上がり状態に沿って乗員を自然に盛り上がらせることができる。また、コンテンツの音に応じて何らかの振動が発生されている状態で、身体の動きが検知されれば振動特性を変えることで、身体の動きに応じた振動刺激を与え、気分を盛り上げることができる。
【0019】
＜用語について＞
座席とは、座るための場所及びその場所に付帯する器具をいう。本実施形態の座席は、振動デバイスが配置されている。座席は、シート、腰掛け、椅子、席等と呼ばれてもよい。
座席とは、座るための場所及びその場所に付帯する器具をいう。本実施形態の座席は、振動デバイスが配置されている。座席は、シート、腰掛け、椅子、席等と呼ばれてもよい。
【0020】
盛り上がりとは、気持ちや勢いが高まることをいう。盛り上がることを、興奮する、ヒートアップする、ボルテージが上がる、ハイテンションになる、テンションが高まる等と称する場合がある。
【0021】
＜全体構成図＞
図２は、振動制御システム１００の全体的な構成を示す車両の側面図の一例である。図２では、一例として、振動制御システム１００が車載されている場合を説明する。振動制御システム１００は室内等に設置されてもよい。
図２は、振動制御システム１００の全体的な構成を示す車両の側面図の一例である。図２では、一例として、振動制御システム１００が車載されている場合を説明する。振動制御システム１００は室内等に設置されてもよい。
【0022】
振動制御システム１００は、主に、振動制御装置１０、振動デバイス３０、マイク１２、カメラ１１、及び、ディスプレイ１４を有している。図２に示すように、振動制御装置１０は車両８のセンタークラスター、ダッシュボード、メータパネル内などに搭載されている。ただし、搭載位置はこれらに限られない。振動制御装置１０には、振動デバイス３０、乗員の身体の動きを検知するカメラ１１、乗員の音声を取得するマイク１２、及び、コンテンツを表示するディスプレイ１４が接続されている。接続は有線でも無線でもよい。
【0023】
カメラ１１は、乗員の少なくとも上半身を撮像できる位置に配置されている。カメラ１１は、例えば、車室内に光軸を向けてメータパネル内、ダッシュボード上、又はステアリングコラム等に配置されたり、サンバイザや前方のフロントウィンドウシールドの上方などに乗員の顔に光軸を向けて配置されたりしている。複数のカメラ１１が配置されてよく、例えば、顔用のカメラ、腕用のカメラ、胸部用のカメラ、及び、脚用のカメラなどがあってもよい。
【0024】
マイク１２は、天井部に搭載されているが、これは一例である。マイク１２はヘッドレストに搭載されたり、Ａピラーやステアリングなどに配置されたりしてもよい。マイク１２は、アクティブノイズキャンセリングに対応していることが好ましい。アクティブノイズキャンセリングにより、コンテンツの音やロードノイズなどの環境音がマイク１２に入っても、乗員の音声からキャンセルできる。また、複数のマイク１２が配置されていてよい。マイク１２は、コンテンツの音を集音することもでき、振動制御システム１００が出力したコンテンツの音に限らず、コンテンツ（外部からの音）に応じた振動制御が可能である。
【0025】
ディスプレイ１４には各種のコンテンツが表示される。コンテンツはどのようなものでもよいが、例えば、ＴＶ放送、ＤＶＤ、ゲーム、映画、クラウドからダウンロード又はストリーミング配信された動画、又は、乗員のスマートフォンが再生する映像などがある。コンテンツは音声のみでもよい。ディスプレイ１４に表示される映像（少なくとも音声）は振動制御装置１０にも入力されることが好ましい。振動制御装置１０は、コンテンツのシーン（主に音）に応じた振動を振動デバイス３０に与えることができる。
【0026】
振動デバイス３０の詳細は後述するが、振動デバイス３０はバックシート及びボトムシートの内部に配置される。振動デバイス３０は、バックシート及びボトムシートはいずれにおいても場所ごとの個別振動が可能である。
【0027】
ヘッドレストにはスピーカ１３が配置されており、ヘッドレストＡＮＣ（アクティブノイズキャンセリング）が可能になっている。ヘッドレストＡＮＣは、乗員の耳の位置を推定することでＡＮＣの性能が向上するだけでなく、いわゆる立体音響の性能も向上させることができる。
【0028】
乗員の心拍数は瞳孔の大きさの変化により検知される。瞳孔の大きさは、交感神経と副交感神経の活発度と相関することが知られている。また、交感神経優位では心拍数や血圧が増加する。したがって、振動制御システム１００は、カメラ１１が撮像した乗員の瞳孔の大きさに基づいて心拍数の変化を監視できる。
【0029】
また、乗員は生体情報センサ１５を装着していてよい。生体情報センサ１５は、乗員の各種の生体情報を取得するセンサである。生体情報センサ１５は、乗員の心拍数、呼吸数、血中酸素飽和度計、体温、血圧、脳波、及び心電図、などを取得できる。以下、これらを区別しない場合、単に「生体情報」という。図では、生体情報センサ１５は、腕時計型だが、一例に過ぎず、例えばめがね型、ヘルメット型、ＶＲモニター型などどのような形状でもよい。生体情報センサ１５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線で振動制御装置１０と通信してもよいし、ＵＳＢケーブルなどの有線で通信してもよい。また、生体情報センサ１５は、バックシートやボトムシートに配置されてもよいし、シートベルトに配置されてもよい。
【0030】
なお、振動制御は、運転席（自動運転車両の場合、運転席は存在しない場合もがあるが便宜上、運転席という）だけでなく、助手席、後部座席にも適用可能である。また、乗用車に限らず、シートがあれば移動体でなくても室内のシートに適用できる。例えば、移動体としては、電動車椅子、１～２人乗りのパーソナルコミュータ、飛行機、電車、船舶などにも、本実施形態の振動制御が搭載され得る。また、室内であれば、室内、劇場、映画館、シアタールーム、イベント会場、遊園地、セミナー会場などでも振動制御が可能である。
【0031】
なお、本実施形態の振動制御装置１０は、コンテンツの視聴体験を向上させるものなので、ＡＶ(Audio Visual)の再生機能を有しているとよい。このような振動制御装置１０は、チューナー、又は、カーオーディオなどと呼ばれる場合がある。また、車両に搭載される装置を総称して車載装置という。
【0032】
また、振動制御装置１０はナビゲーション装置又はＰＮＤ（Portable Navigation Device）と呼ばれていてもよい。ナビゲーション装置は、出発地から目的地までのルートを探索して道路地図に設定し、ディスプレイ１４に表示された電子地図にルートと現在地を表示したり、ルートに基づいて進路変更の手前で音声案内を出力したり、アニメーションなどで適切な進路を案内したりする。この他、振動制御装置１０は、インターネットとの通信機能等を有していてよい。
【0033】
なお、主にＡＶ機能と通信機能を有する振動制御装置１０をディスプレイオーディオという。ディスプレイオーディオは、スマートフォンなどの端末装置との通信によりナビゲーションの機能を提供する。この場合、スマートフォンに搭載されるアプリがナビ画面を作成し、このナビ画面をディスプレイオーディオが通信で取得してディスプレイ１４に表示する。スマートフォンで動作するこのようなアプリとしてCarPlay（登録商標）やAndroid Auto（登録商標）等が知られている。よって、振動制御装置１０はディスプレイオーディオでもよい。
【0034】
また、振動制御装置１０は主に車両に専用の専用端末であるが、汎用的な情報処理端末でもよい。汎用的な情報処理端末とは、例えば、スマートフォン、タブレット端末、携帯電話、ＰＤＡ（Personal Digital Assistant）、又はノートＰＣなどをいう。これらの装置は、普段は情報処理端末として利用されるが、振動を制御するアプリケーションソフトウェアを実行すると、専用端末と同様、図１にて説明した振動制御を行う。
【0035】
＜振動デバイスの配置例＞
図３を参照して、振動デバイス３０の配置例について説明する。図３は、バックシートとボトムシートに配置された振動デバイス３０の配置例を示す。振動デバイス３０は、小型振動子３１と大型振動子３２を有している。小型振動子３１は一例として、ハプティクス（触覚技術（haptic technology））用の振動デバイス３０である。大型振動子３２は、モータ駆動などの強力な振動デバイス３０である。振動デバイス３０の具体的な振動子の種類はこれらに限られず、所望の振動を与えることができればよい。例えば、小型振動子３１が大型振動子３２と同等の振動を与えることができれば、大型振動子３２はなくてもよい。
図３を参照して、振動デバイス３０の配置例について説明する。図３は、バックシートとボトムシートに配置された振動デバイス３０の配置例を示す。振動デバイス３０は、小型振動子３１と大型振動子３２を有している。小型振動子３１は一例として、ハプティクス（触覚技術（haptic technology））用の振動デバイス３０である。大型振動子３２は、モータ駆動などの強力な振動デバイス３０である。振動デバイス３０の具体的な振動子の種類はこれらに限られず、所望の振動を与えることができればよい。例えば、小型振動子３１が大型振動子３２と同等の振動を与えることができれば、大型振動子３２はなくてもよい。
【0036】
図３（ａ）に示すように、バックシートとボトムシートの乗員と接触する面のほぼ全面に小型振動子３１が配置されている。バックシートの小型振動子３１は、肩から腰にかけて配置され、ボトムシートの小型振動子３１は臀部から太ももの裏に沿って配置されている。小型振動子３１は個別に振動が可能であり、振動制御システム１００は、乗員の身体の部位に選択的に振動を与えることができる。
【0037】
一方、図３（ｂ）に示すように、バックシートには大型振動子３２が配置されている。大型振動子３２は、広範囲に強力な振動を生じさせ、身体の芯に響くような振動刺激が可能である。
【0038】
＜機能について＞
図４は、振動制御装置１０が有する機能をブロック状に示す機能ブロック図の一例である。振動制御装置１０は、生体情報取得部２１、画像取得部２２、音声取得部２３、解析部２４、盛り上がり状態決定部２５、コンテンツ取得部２６、コンテンツ出力部２７、コンテンツ解析部２８、及び、振動制御部２９を有している。振動制御装置１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、Ｉ／Ｏ、通信装置、及び、バッテリー等を有する情報処理装置としての機能を有している。図示する機能は、フラッシュメモリからＲＡＭに展開されたアプリケーションソフト（又はプログラムともいう）をＣＰＵが実行し、各種のハードウェアを制御することで実現される機能又は手段である。
図４は、振動制御装置１０が有する機能をブロック状に示す機能ブロック図の一例である。振動制御装置１０は、生体情報取得部２１、画像取得部２２、音声取得部２３、解析部２４、盛り上がり状態決定部２５、コンテンツ取得部２６、コンテンツ出力部２７、コンテンツ解析部２８、及び、振動制御部２９を有している。振動制御装置１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、Ｉ／Ｏ、通信装置、及び、バッテリー等を有する情報処理装置としての機能を有している。図示する機能は、フラッシュメモリからＲＡＭに展開されたアプリケーションソフト（又はプログラムともいう）をＣＰＵが実行し、各種のハードウェアを制御することで実現される機能又は手段である。
【0039】
生体情報取得部２１は、生体情報センサ１５から生体情報を取得する。生体情報取得部２１は一例として心拍数を取得する。生体情報取得部２１は、常時、生体情報をモニターすることが好ましいが、例えば数秒などの一定時間ごとに生体情報を取得してもよい。
【0040】
画像取得部２２は、カメラ１１が撮像する乗員の身体及び顔の画像を取得する。この画像は乗員の動きの検知と、乗員の瞳孔の大きさに基づく心拍数の推定に使用される。カメラ１１は、常時、動画として画像をモニターすることが好ましいが、例えば数秒などの一定時間ごとに乗員の画像を取得してもよい。
【0041】
音声取得部２３は、マイク１２により乗員の発話を含む周囲の音声を取得する。マイク１２は、常時、音声をモニターするものとする。音声取得部２３は、コンテンツ解析部２８からコンテンツの音を取得し、マイク１２が集音する音に対しアクティブノイズキャンセリング処理を行う。アクティブノイズキャンセリング処理とは、コンテンツの音と逆位相の音をマイク１２が集音した音に合成することで、マイク１２が集音する音からコンテンツの音を除去する処理である。
【0042】
解析部２４は、生体情報、画像、及び音声を解析することで、それぞれから盛り上がり状態の決定に使用される盛り上がり度情報を作成する。
【0043】
解析部２４は、心拍数の変化を盛り上がり度情報として使用する。解析部２４は、カメラ１１が撮像する顔画像から取得した瞳孔の大きさと心拍数を予め対応付けておく。対応付けには例えば機械学習が利用されてもよい。解析部２４は、瞳孔の大きさに基づいて心拍数を推定する。解析部２４は、連続的な心拍数を推定することまでは要さず、３～５段階の心拍数を分類できればよい。解析部２４は、平常時の心拍数に対する現在の心拍数の比を盛り上がり度情報として算出する。
【0044】
機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。機械学習の手法には、パーセプトロン、ディープラーニング、ＳＶＭ（サポートベクターマシン）、ロジスティック回帰、ナイーブベイズ、決定木、ランダムフォレストなどがあり、本開示で説明する手法には限られない。
【0045】
例えば、ディープラーニングは、入力されたデータＡＢＣに基づいてデータＸＹＺを予測した後に、教師データとの誤差を減らすために誤差逆伝播法でニューラルネットワーク間の重みを調整するアルゴリズムである。
【0046】
また、解析部２４は、同様に、生体情報センサ１５が心拍数を数値として測定する場合、平常値の心拍数を予め求めておき、平常時の心拍数に対する現在の心拍数の比を盛り上がり度情報として算出する。解析部２４は、心拍数に限らず、呼吸数、血中酸素飽和度計、体温、血圧、脳波、及び心電図、又はこれらを加工した情報から盛り上がり度情報を抽出してよい。加工した情報としては、心拍のＲＲＩ（R R Interval）信号から求められるＨＦ成分（副交感神経の活動指標）や、LF/HF成分（交感神経の活動指標）がある。また、加工した情報としては、生体情報の傾き、傾きの微分値などがある。
【0047】
・解析部２４は、乗員の動きの大きさ又は特定の動きを盛り上がり度情報として使用する。例えば、解析部２４は、時系列の画像の差分を盛り上がり度情報として算出する。カメラ１１は固定されているので、画像の変化は乗員の動きによりもたらされる。解析部２４は、時刻ｔの画像と時刻ｔ＋１の画像の画素ごとの差の合計を繰り返し、算出する。画像間の差分が盛り上がり度情報である。画像間の差分が閾値以上である場合、大きな動きがあったと推定できる。
【0048】
また、解析部２４は機械学習を使用して、ガッツポーズなど盛り上がり時に乗員が取る特定の動きを検知できる。
【0049】
１．予め、人間の画像と骨格情報（画像における主要な骨の位置）の対応をＤＮＮ（ディープニューラルネットワーク）等で学習した骨格検知モデルが用意される。入力は、人が写った画像、教師信号は画像内における主要な骨の両端の座標である。すなわち、ＤＮＮの出力層にある複数のノードが主要な骨に対応して設けられる。学習済みの骨格検知モデルは人が写った画像に対し、主要な骨の両端の座標を出力する。
【0050】
２．また、骨格情報と乗員の動きの対応を同様にＤＮＮ等で学習した動き検知モデルが用意される。入力は、骨格情報、教師信号は動きの識別情報である。すなわち、ＤＮＮの出力層にある複数のノードが各動きに対応して設けられる。学習済みの骨格検知モデルは骨格情報に対し、画像に写っている人の動きに対応したノードから閾値以上の信頼度を出力する。
【0051】
３．解析部２４は、画像を骨格検知モデルに入力することで骨格情報を取得し、骨格情報を検知モデルに入力することでどのような動きかを決定する。解析部２４は、具体的な動きの識別情報（拍手、ガッツポーズ等）を盛り上がり度情報として出力する。
【0052】
また、人間の動きの検知方法として、Dense Trajectoriesという手法が知られている。Dense Trajectoriesは、特徴点追跡によって得られる、密な特徴点の軌跡を特徴量とする。
【0053】
１．解析部２４は、映像を段階的に縮小することで解像度の異なる複数の画像系列を生成する。
【0054】
２．解析部２４は、各解像度の画像系列ごとに時刻tと時刻t+1の間のオプティカルフローを計算する。
【0055】
３．解析部２４は、Median Filterによりフィルタリングしたオプティカルフローを連結していくことで、特徴点の軌跡を生成する。
【0056】
４．解析部２４は、得られた特徴点の軌跡ごとに特徴量を抽出する。解析部２４は、具体的には、HOG（Histograms of Oriented Gradients）特徴量、HOF（Histograms of Optical Flow)特徴量、MBH（Motion Boundary Histograms）特徴量を求める。
【0057】
５．解析部２４は、これら特徴量からFissher Vectorなどの特徴量ベクトルを生成する。
【0058】
６．学習フェーズでは、任意の情報処理装置が、この特徴量ベクトルをＳＶＭなどの機械学習を用いて人物の動きの認識を学習する。つまり、ガッツポーズなどの動きが分かっている画像を使って、ガッツポーズが写っている画像の入力に対し、閾値以上の信頼度を出力する識別モデルを生成する。
【0059】
解析部２４は、乗員の発話による音量の変化を盛り上がり度情報として使用する。解析部２４は、平常値の発話の音量を予め求めておき、平常時の音量に対する現在の発話の音量の比を盛り上がり度情報として算出する。上記のように、コンテンツの音はキャンセルされており、解析部２４は発話のみの音量を取得できる。
【0060】
あるいは、解析部２４は、音声取得部２３が取得した音声を音声認識してもよい。解析部２４は、予め登録されているキーワード（例えば、やったー、すごい、わー、など）と類似する音声が入力された場合、キーワードと類似する発話があった旨の盛り上がり度情報を出力する。
【0061】
盛り上がり状態決定部２５は、解析部２４が生成した盛り上がり度情報に基づいて、座席に着席しているユーザーの盛り上がり状態を決定する。例えば、盛り上がり状態は以下のように決定される。
【0062】
a. 盛り上がり状態決定部２５は、生体情報に基づく盛り上がり度情報が所定の条件を満たすと盛り上がり状態１であると決定する。例えば、盛り上がり状態決定部２５は、平常時の心拍数に対する現在の心拍数の比が閾値以上である場合、盛り上がり状態１と判断する。すなわち、盛り上がり状態１とは、生体情報に基づいて盛り上がっていると判断された状態をいう。盛り上がり状態決定部２５は、心拍数以外の他の生体情報についても同様に判断してよい。また、生体情報の傾き、傾きの微分値が閾値以上の場合、盛り上がり状態１と判断してもよい。
【0063】
b. 盛り上がり状態決定部２５は、乗員の動きの大きさに基づく盛り上がり度情報（画像間の差分）が閾値以上の場合、盛り上がり状態２であると決定する。例えば、一定以上の大きさ又は早さで動きが検出された場合に、盛り上がり状態２であると判断されてよい。このような動きの検出は、例えば、画像ごとに人間の部分が変化することにより行われてよい。
【0064】
あるいは、盛り上がり状態決定部２５は、特定の動きが検知された場合、盛り上がり状態２と判断する。特定の動きは、例えば、拍手、ガッツポーズ、手を挙げる、手を下げる、手を振る、脚を上げる、脚を下げる、その場で足踏みする、立ち上がる、かがむ、背を伸ばす等であるが、予め設定されるものとする。また、盛り上がり状態決定部２５は、乗員の動きの大きさに基づく盛り上がり度情報が閾値以上で、かつ、特定の動きが検知された場合、盛り上がり状態２と判断してもよい。
【0065】
c. 盛り上がり状態決定部２５は、乗員の発話に基づく盛り上がり度情報が所定の条件を満たすと盛り上がり状態１であると決定する。例えば、盛り上がり状態決定部２５は、平常時の発話の音量に対する現在の音量の比が閾値以上の場合、盛り上がり状態３と判断する。あるいは、盛り上がり状態決定部２５は、特定のキーワードが検知された場合、盛り上がり状態３と判断する。特定のキーワードは、例えば「すごい」「わー」「やったー」等であるが、予め設定されているものとする。また、盛り上がり状態決定部２５は、平常時に対する現在の音量の比が閾値以上で、かつ、特定のキーワードが検知された場合、盛り上がり状態３と判断してもよい。
【0066】
これらの盛り上がり状態の決定方法はあくまで一例であり、盛り上がり状態は、盛り上がり度情報に応じて、適宜、決定されてよい。盛り上がり状態は、例えば、盛り上がり状態１の次に盛り上がり状態３かどうか判断されてもよい。乗員が身体を動かすよりも先に発話する場合もあるためである。この場合、盛り上がり状態３は盛り上がり状態２とみなされて、盛り上がり状態２に対応した振動制御が行われる。すなわち、盛り上がり状態１の後は、動き又は発話のうち先に検出された方で盛り上がり状態２に遷移し、後に検出された方で盛り上がり状態３に遷移する。
【0067】
コンテンツ取得部２６は、ＴＶ放送などのコンテンツを取得する。取得するコンテンツは、乗員が視聴するコンテンツである。
【0068】
コンテンツ出力部２７は、コンテンツの映像をディスプレイ１４やプロジェクタに出力し、コンテンツの音をスピーカ１３から出力する。コンテンツの出力先は、ヘッドフォン、ＶＲゴーグル、又はＡＲゴーグル等でもよい。
【0069】
コンテンツ解析部２８は、コンテンツの音に基づいた場合にどのような振動制御が好ましいかを判断するためにコンテンツを解析する。コンテンツ解析部２８は、例えば音量を解析する。また、コンテンツ解析部２８は、コンテンツの音をフーリエ変換することで周波数スペクトルを生成してもよい。こうすることで、周波数帯ごとの音の強度が分かる。次述の振動制御部２９は、特定の周波数の音量に着目して音量に応じた振動制御を行うことができる。
【0070】
振動制御部２９は、コンテンツの音と盛り上がり状態の少なくとも一方に応じた振動制御を振動デバイス３０に要求する。盛り上がり状態１～３と振動信号及び振動させる振動デバイス３０は予め振動制御テーブルに登録されているものとする（図５）。
【0071】
図５は、振動制御テーブルの一例である。図５に示すように、盛り上がり状態１～３は、振動信号１～３及び振動する振動デバイス３０に対応付けられている。また、図６は、振動信号１～３の波形を示す。図６（ａ）は振動信号１の振動波形であり、次述の「ドッ振動」を生じさせる。図６（ｂ）は振動信号２の振動波形であり、次述の「ドン振動」を生じさせる。図６（ｃ）は振動信号３の振動波形であり、次述の「ドーン振動」を生じさせる。なお、振動信号１～３は、スピーカ１３を振動させる音データとして生成されている。
【0072】
盛り上がり状態１の場合、振動制御部２９は、心拍数（ドキドキ感）を増大するような振動でバックシート全体の小型振動子３１を振動させる。例えば、振動信号１は、短く小範囲の「ドッ振動」で振動デバイス３０を振動させる。「ドッ振動」を言葉で伝えるのは困難だが、スマートフォンなどが通知のためにブルブル震える振動である（図７（ａ）参照）。
【0073】
そして、振動制御部２９は、盛り上がり状態１であると決定すると、コンテンツの音に連動した振動制御を行う。例えば、コンテンツの音量が第二閾値以上の大きい音の場合、音の大きさに応じて振動デバイス３０を振動させる。これにより、コンテンツが所定の音を出力する場合に、心拍を更に早くするような刺激を与えることができる。
【0074】
また、振動制御部２９は、盛り上がり状態２の場合、盛り上がり度を大きくするため、シートの広範囲が振動するように振動デバイス３０を振動させる。振動制御部２９は、例えば、低波数帯の「ドン振動」をバックシートとボトムシート全体で再生する。「ドン振動」を言葉で伝えるのは困難だが、「ドッ振動」の強度をより強くし、範囲をより広くしたものである（図７（ｂ）参照）。なお、盛り上がり状態２の振動は、ユーザーの興奮状態が続くよう一定時間、継続される。
【0075】
そして、振動制御部２９は、盛り上がり状態２であると決定すると、コンテンツの音に連動した振動制御を行う。例えば、コンテンツの音量が第一閾値（＜第二閾値）以上の中くらいの音の場合、音の大きさに応じて振動デバイス３０を振動させる。これにより、乗員はよりコンテンツに集中できる。
【0076】
また、振動制御部２９は、盛り上がり状態３の場合、身体の芯に響く振動で振動デバイス３０を振動させる。振動制御部２９は、例えば、バックシートの大型振動子３２を「ドーン振動」させる。振動制御部２９は、バックシートとボトムシートの小型振動子３１についても振動を強くしてよい。「ドーン振動」を言葉で伝えるのは困難だが、身体に刺さるような強い振動である（図７（ｃ）参照）。
【0077】
盛り上がり状態１～３におけるコンテンツ連動の振動について補足する。振動制御部２９は、コンテンツに関しては、コンテンツの音と連動させて振動を与える。例えば、振動制御部２９は、コンテンツの周波数と音量に応じた振動で振動デバイス３０を振動させる。すなわち、振動制御部２９は、コンテンツの音の周波数が高ければ高い周波数、低ければ低い周波数で、音量が大きければ大きい振幅で、小さければ小さい振幅で、振動デバイス３０を振動させる。コンテンツの周波数ごとの音量は、コンテンツ解析部２８が解析している。
【0078】
なお、コンテンツに基づく振動については、盛り上がり状態１であると決定された後に提供されると説明したが、振動制御部２９は盛り上がり状態に関係なくコンテンツに基づく振動を提供してよい。
【0079】
コンテンツの音に連動して振動させる振動デバイス３０の位置については、種々のバリエーションが考えられる。
・振動制御部２９は、振動させるＮ（Ｎは１以上）個の小型振動子３１を順番に変更する。
・振動制御部２９は、常に全ての小型振動子３１を振動させる。
・振動制御部２９は、バックシートの小型振動子３１のみ、又は、ボトムシートの小型振動子３１のみを振動させる。
・振動制御部２９は、周波数に対応づけられている小型振動子３１を個別に振動させる。
・振動制御部２９は、常に大型振動子３２を音量に応じて振動させる。
・振動制御部２９は、音量が閾値以上の場合だけ大型振動子３２を振動させる。
・振動制御部２９は、振動させるＮ（Ｎは１以上）個の小型振動子３１を順番に変更する。
・振動制御部２９は、常に全ての小型振動子３１を振動させる。
・振動制御部２９は、バックシートの小型振動子３１のみ、又は、ボトムシートの小型振動子３１のみを振動させる。
・振動制御部２９は、周波数に対応づけられている小型振動子３１を個別に振動させる。
・振動制御部２９は、常に大型振動子３２を音量に応じて振動させる。
・振動制御部２９は、音量が閾値以上の場合だけ大型振動子３２を振動させる。
【0080】
＜振動イメージ＞
次に、図７を参照し、盛り上がり状態１～３における振動の振動イメージを説明する。図７は、盛り上がり状態１～３における振動イメージを説明する図である。図７では振動の範囲を円で示した。図７（ａ）は盛り上がり状態１における振動イメージを示す。上記のように、盛り上がり状態１では、バックシートの小型振動子３１が比較的狭い範囲４１を弱く振動する。
次に、図７を参照し、盛り上がり状態１～３における振動の振動イメージを説明する。図７は、盛り上がり状態１～３における振動イメージを説明する図である。図７では振動の範囲を円で示した。図７（ａ）は盛り上がり状態１における振動イメージを示す。上記のように、盛り上がり状態１では、バックシートの小型振動子３１が比較的狭い範囲４１を弱く振動する。
【0081】
図７（ｂ）は盛り上がり状態２における振動イメージを示す。上記のように、盛り上がり状態２では、バックシートの広い範囲４３とボトムシートの広い範囲４２の小型振動子３１が比較的（盛り上がり状態１よりも）強く振動する。盛り上がった乗員が身体を動かしてもボトムシートが振動するので、乗員に確実に振動を伝えることができる。
【0082】
図７（ｃ）は盛り上がり状態３における振動イメージを示す。上記のように、盛り上がり状態３では、バックシートの大型振動子３２が広い範囲４４で強く振動する。一般に、盛り上がった乗員は振動を感じにくくなるが、バックシートの大型振動子３２が強く振動するので、乗員が振動を感じやすくなる。盛り上がり状態２におけるバックシートとボトムシートの小型振動子３１の振動が継続してもよく、乗員に確実に振動を伝えることができる。
【0083】
なお、説明した各盛り上がり状態１～３における振動刺激は一例に過ぎない。例えば、振動制御装置１０は、盛り上がり状態１でボトムシートを含めて狭い範囲で振動させ、盛り上がり状態２でより広い範囲で強くバックシートとボトムシートを振動させてもよい。ボトムシートに大型振動子３２を配置しておき、盛り上がり状態１～３でボトムシートの大型振動子３２を徐々に強く振動させてもよい。盛り上がり状態１～３の遷移において、小型振動子３１、大型振動子３２の振動が段階的に強く又は広範囲（強く及び広範囲）に振動すればよい。
【0084】
【0085】
乗員がコンテンツの視聴を開始すると、振動制御装置１０が、心拍数、動き、及び、発話等の乗員の状態の監視を開始する（Ｓ１）。
【0086】
盛り上がり状態決定部２５は、心拍数等に応じた盛り上がり度情報に基づいて盛り上がり状態１であるか否か判断する（Ｓ２）。盛り上がり状態決定部２５は、一定時間、心拍数等が継続して盛り上がり状態１の条件を満たす場合に、盛り上がり状態１であると決定することが好ましい。
【0087】
盛り上がり状態１であると決定された場合（Ｓ２のＹｅｓ）、振動制御部２９はバックシートの小型振動子３１を「ドッ振動」する（Ｓ３）。
【0088】
また、盛り上がり状態１であると決定された場合、振動制御部２９は、コンテンツの音量が第二閾値以上の場合に、コンテンツの音に応じた振動制御を行う（Ｓ４）。振動制御部２９は、コンテンツの映像に応じた振動制御を行ってもよい。
【0089】
盛り上がり状態１でないと決定された場合（Ｓ２のＮｏ）、振動制御部２９は盛り上がり状態１に基づく振動を停止する（Ｓ１１）。盛り上がり状態１でないという決定は、心拍数等に応じた盛り上がり度情報に基づいて判断される。この場合、コンテンツの音に連動した振動も停止される。処理は、ステップＳ２に戻る。
【0090】
次に、盛り上がり状態決定部２５は、乗員の動きに応じた盛り上がり度情報に基づいて盛り上がり状態２であるか否か判断する（Ｓ５）。盛り上がり状態決定部２５は、一定時間、乗員の動きが継続して盛り上がり状態２の条件を満たす場合に、盛り上がり状態２であると決定することが好ましい。
【0091】
盛り上がり状態２であると決定された場合（Ｓ５のＹｅｓ）、振動制御部２９は振動特性の変更の一例として、バックシートとボトムシートを「ドン振動」する（Ｓ６）。振動制御部２９は乗員の盛り上がりを維持するため、「ドン振動」を一定時間、継続する。繰り返し、盛り上がり状態２であると決定される場合は「ドン振動」が繰り返されてよい。
【0092】
振動制御部２９は、乗員の動きが大きいほど、振動範囲を広く又は強くしてよい。また、振動制御部２９は、特定の動きの種類に応じた振動特性でバックシート又はボトムシートを振動制御してよい。
【0093】
また、盛り上がり状態２であると決定された場合、振動制御部２９は、コンテンツの音量が第一閾値以上の場合に、コンテンツの音に応じた振動制御を行う（Ｓ７）。これにより、コンテンツの音量が中くらいでも振動デバイス３０が振動するので、乗員がコンテンツに集中できる。振動制御部２９は、コンテンツの映像に応じた振動制御を行ってもよい。振動制御部２９は、盛り上がり状態１と２で映像に対する振動特性を変更するとよい（例えば振動を広く強くする）。
【0094】
盛り上がり状態２でないと決定された場合（Ｓ５のＮｏ）、振動制御部２９は盛り上がり状態２に基づく振動を停止する（Ｓ１２）。盛り上がり状態２でないという決定は、最後に盛り上がり状態２であると決定されてから一定時間が経過することをいう。すでに「ドン振動」が終了している場合には、ステップＳ１２は不要になる。ただし、この場合、コンテンツの音に連動した振動も停止される。処理は、ステップＳ２に戻る。
【0095】
次に、盛り上がり状態決定部２５は、乗員の発話（音量、特定のキーワード）に応じた盛り上がり度情報に基づいて盛り上がり状態３であるか否か判断する（Ｓ８）。盛り上がり状態決定部２５は、一定時間、発話の音量が継続して盛り上がり状態３の条件を満たす場合に、盛り上がり状態３であると決定することが好ましい。
【0096】
盛り上がり状態３であると決定された場合（Ｓ８のＹｅｓ）、振動制御部２９は振動特性の変更の一例として、バックシートの大型振動子３２を「ドーン振動」する（Ｓ９）。振動制御部２９は乗員の盛り上がりを維持するために「ドーン振動」を一定時間、継続する。繰り返し、盛り上がり状態３であると決定される場合は「ドーン振動」が繰り返されてよい。
【0097】
振動制御部２９は、乗員の発話の音量が大きいほど、振動範囲を広く又は強くしてよい。振動制御部２９は、乗員の発話の内容（音声認識により得たキーワード）に応じた振動特性でバックシート又はボトムシートを振動制御してよい。
【0098】
また、盛り上がり状態３であると決定された場合、振動制御部２９は、コンテンツの音量が第一閾値以上の場合に、コンテンツの音に応じた振動制御を行うことを継続する（Ｓ１０）。振動制御部２９は、コンテンツの映像に応じた振動制御を行ってもよい。振動制御部２９は、盛り上がり状態２と３で映像に対する振動特性を変更するとよい（例えば振動を広く強くする）。
【0099】
盛り上がり状態３でないと決定された場合（Ｓ８のＮｏ）、振動制御部２９は盛り上がり状態３に基づく振動を停止する（Ｓ１３）。盛り上がり状態３でないという決定は、最後に盛り上がり状態３であると決定されてから一定時間が経過することをいう。すでに「ドーン振動」が終了している場合には、ステップＳ１３は不要になる。ただし、この場合、コンテンツの音に連動した振動も停止される。処理は、ステップＳ５に戻る。
【0100】
このように、盛り上がり状態１から盛り上がり状態２，３と遷移するので、振動制御により徐々に乗員の気分を盛り上げることができる。すなわち、盛り上がり状態１から盛り上がり状態３へ、直接は遷移しない。ただし、盛り上がり状態１から盛り上がり状態３、盛り上がり状態３から盛り上がり状態２に段階的に遷移することを許容する場合、盛り上がり状態２と３の振動制御が逆にすればよい。
【0101】
また、盛り上がり状態１～３が並行に発生した場合、盛り上がり状態決定部２５は、盛り上がり状態１～３の振動制御を並行に継続してよい。あるいは、盛り上がり状態決定部２５は、盛り上がり状態１の振動制御を終了してから盛り上がり状態２の振動制御を開始し、盛り上がり状態２の振動制御を終了してから盛り上がり状態３の振動制御を開始してもよい。
【0102】
＜＜盛り上がり状態１であると決定される前からコンテンツの音に連動した振動制御（変形例）＞＞
図８のように、盛り上がり状態１であると決定されることを条件とするのでなく、コンテンツの音に連動した振動制御が常に与えられてもよい。
図８のように、盛り上がり状態１であると決定されることを条件とするのでなく、コンテンツの音に連動した振動制御が常に与えられてもよい。
【0103】
【0104】
図９の処理では、盛り上がり状態１に応じた振動制御はなく、乗員がコンテンツの視聴を開始すると、振動制御部２９が、コンテンツの音量が第二閾値以上の場合に、コンテンツの音に応じた振動制御を行う（Ｓ２１）。コンテンツの音量が第二閾値以上の場合に限るのでなく、振動制御部２９は、コンテンツの音に応じた振動制御を行ってよい。
【0105】
そして、乗員の状態が監視され（Ｓ２２）、ステップＳ２３以降では盛り上がり状態２，３に応じた振動制御が行われる。ステップＳ２３以降の処理は図８と同様でよい。すなわち、振動制御部２９は、盛り上がり状態２が検出された後、盛り上がり状態２が検出される前の振動特性を変更する。盛り上がり状態２が検出される前の振動特性はコンテンツに連動しているので、振動特性の変更とは、例えば、より広い範囲の振動、より強い振動、又は、コンテンツに連動した振動＋「ドン振動」などでよい。振動制御部２９は、コンテンツに連動した振動を停止してもよい。
【0106】
なお、ステップＳ２２では、例えば、一定以上の大きさ又は早さで動きが検出された場合に、振動特性が変更されてよい。このような動きの検出は、画像ごとに人間の部分が変化することにより行われてよい。
【0107】
振動制御部２９は、乗員の動きが大きいほど、振動範囲を広く又は強くしてよい。振動制御部２９は、特定の動きに応じた振動特性でバックシート又はボトムシートを振動制御してよい。
【0108】
同様に、振動制御部２９は、盛り上がり状態３が検出された後、盛り上がり状態３が検出される前の振動特性を変更する。振動特性の変更については、盛り上がり状態２が検出される前の振動より広い範囲の振動、より強い振動、又は、コンテンツに連動した振動＋「ドーン振動」などでよい。振動制御部２９は、コンテンツに連動した振動を停止してもよい。
【0109】
振動制御部２９は、乗員の発話の音量が大きいほど、振動範囲を広く又は強くしてよい。振動制御部２９は、乗員の発話の内容（音声認識により得たキーワード）に応じた振動特性でバックシート又はボトムシートを振動制御してよい。
【0110】
あるいは、図８において、盛り上がり状態１であると決定される前に、振動制御部２９が、コンテンツの音量が第二閾値以上の場合に、コンテンツの音に応じた振動制御を行ってもよい。コンテンツの音量が第二閾値以上の場合に限るのでなく、振動制御部２９は、コンテンツの音に応じた振動制御を行ってよい。
【0111】
＜コンテンツの視聴イメージ＞
図１０は、車内においてコンテンツ視聴時のイメージを説明する図である。図１０（ａ）は、盛り上がり状態１であると決定される前のコンテンツ視聴イメージである。車内には、天井とテーブルに映像６１，６２が表示される。天井の映像６１は、天井に埋設されたディスプレイが表示してもよいし、プロジェクタが投影したものでもよい。テーブルの映像６２は、テーブルディスプレイ（液晶などが埋め込まれたテーブル）が表示してもよいし、プロジェクタが投影したものでもよい。また、テーブルの映像６２は天井の映像が反射したものでもよい。
図１０は、車内においてコンテンツ視聴時のイメージを説明する図である。図１０（ａ）は、盛り上がり状態１であると決定される前のコンテンツ視聴イメージである。車内には、天井とテーブルに映像６１，６２が表示される。天井の映像６１は、天井に埋設されたディスプレイが表示してもよいし、プロジェクタが投影したものでもよい。テーブルの映像６２は、テーブルディスプレイ（液晶などが埋め込まれたテーブル）が表示してもよいし、プロジェクタが投影したものでもよい。また、テーブルの映像６２は天井の映像が反射したものでもよい。
【0112】
図１０（ｂ）は、盛り上がり状態２、３であると決定された場合のコンテンツ視聴イメージである。四人の乗員がコンテンツを視聴して盛り上がり、手６３で拍手している。
【0113】
盛り上がりに応じて車内の照明やコンテンツ表示も変化するとより好ましい。例えば、盛り上がり状態１では、コンテンツ画面枠がライティングする。盛り上がり状態２では、コンテンツ画面が大きくなったり、天井全体がライティングしたりする。盛り上がり状態３では、床面まで車内全体がライティングする。この他、ライティングが点滅したり、色が自動的に変化したりしてもよい。
【0114】
図１１は、室内等においてコンテンツ視聴時のイメージを説明する図である。本実施形態の振動刺激は車内に限らず提供可能である。例えば、室内、劇場、映画館、個人用シアタールーム、イベント会場、遊園地、セミナー会場等、座席、マイク１２及びカメラ１１があれば、振動制御システム１００が、振動刺激を提供できる。
【0115】
図１１（ａ）は、盛り上がり状態１であると決定された場合のコンテンツ視聴イメージである。ソファ（不図示）に座るユーザーの前方にディスプレイ５１がある。盛り上がり状態１の決定によりソファのバックシートの小型振動子３１が比較的弱く振動する。
【0116】
図１１（ｂ）は、盛り上がり状態２であると決定された場合のコンテンツ視聴イメージである。ソファ（不図示）に座るユーザーが拍手することで、盛り上がり状態２であると決定された。盛り上がり状態２の決定によりソファ５２のバックシートとボトムシートの小型振動子３１が比較的強く振動する。
【0117】
図１１（ｃ）は、盛り上がり状態３であると決定された場合のコンテンツ視聴イメージである。ソファ５２に座る複数のユーザーが大きな声で発話することで、盛り上がり状態３であると決定された。盛り上がり状態３の決定によりソファ５２のバックシートの大型振動子３２が強く振動する。
【0118】
このように、本実施形態の振動制御システム１００は、車両に限らず各種の視聴環境に好適に適用できる。
【0119】
＜自動運転について＞
本実施形態の振動制御システム１００は自動運転で移動中の乗員に好適に適用できる。レベル４又はレベル４に相当するレベル以上の自動運転を達成した車両では、乗員がステアリングを握って運転行為を継続して行わなくても法的責任を問われないといわれている。したがって、車両での移動時間において、乗員が移動中にコンテンツを視聴する場合が多くなる。車内は、密閉された空間となり得るので、乗員はコンテンツに没頭しやすくなり、振動制御システム１００は、コンテンツを視聴した乗員の盛り上がり状態に応じた振動で更に自然に乗員を盛り上げることができる。
本実施形態の振動制御システム１００は自動運転で移動中の乗員に好適に適用できる。レベル４又はレベル４に相当するレベル以上の自動運転を達成した車両では、乗員がステアリングを握って運転行為を継続して行わなくても法的責任を問われないといわれている。したがって、車両での移動時間において、乗員が移動中にコンテンツを視聴する場合が多くなる。車内は、密閉された空間となり得るので、乗員はコンテンツに没頭しやすくなり、振動制御システム１００は、コンテンツを視聴した乗員の盛り上がり状態に応じた振動で更に自然に乗員を盛り上げることができる。
【0120】
【0121】
自動運転装置７０は状況の把握７１、行動計画の生成７２、及び、行動計画の実行７３を繰り返す。状況の把握７１は、ダイナミックマップをベースにして各種のセンサを用いて、地図上の位置情報（緯度、経度、標高）、何番目の車線に居るか、車の移動速度、車の移動方向、車の加速度、車の角速度、他の車・自転車・歩行者等の障害物の運動状態（位置、移動方向、移動速度）、信号機の状態等を検出する。状況の把握により、自動運転装置７０は、現実世界を想定した仮想世界を構築できる。なお、ダイナミックマップとは自動運転用に開発された高精度な３次元地図データである。
【0122】
センサとしては、カメラ１１、ミリ波レーダー、LiDAR（ライダー）、超音波センサなど、特性の異なるセンサが併用される。カメラ１１が撮像する画像に何が写っているかは、様々な物体の特徴を学習させたＡＩ（人工知能）が判断する。自動運転装置７０は、ミリ波レーダーにより前後左右の障害物を検出し、LiDAR（ライダー）により周囲との正確な距離を把握する。これらを組み合わせて、車両は、道路の白線内を走行するよう自動操舵し、標識などで検知した法定速度を維持し、また、周囲の車両や歩行者などの存在を認識し、距離に応じた被害低減制御を行う。
【0123】
行動計画の生成７２では、自動運転装置７０は、仮想世界の中における行動計画を立案する。具体的には、自動運転装置７０は、目的地までの経路の決定、障害物の状況を基にした詳細な走行ラインの決定、車速の決定等を行う。精密な仮想世界が得られているため、仮想世界の中に一本の線で走行ラインを表すことができる。自動運転装置７０は、実際にルートを走行した場合に渋滞情報を得た場合、適宜ルートの変更やレーンチェンジといった変更を加えていく。レーンチェンジを行う際は、周囲の車両の挙動などを予測・把握したうえで自車の軌道候補を作成し、リスクなどを考慮したうえでそれぞれの選択肢を評価し、最適な走行ルートを決定する。
【0124】
また、ＡＩが周囲の車両や歩行者の動きを予測し、「念のため速度を抑える」「歩行者とは一定以上の距離を維持して走行する」「周囲の状況に応じて速度を下げる」「リスクが高い場合は停止する」など、状況に応じて柔軟に行動計画を生成する。
【0125】
行動計画の実行７３では、自動運転装置７０は、決定した走行ラインと車速で走行するようにステアリングの角度、アクセル量（スロットル開度）、ブレーキ量、をフィードバック制御する。つまり、行動計画を実現するための物理的な制御量を算出し実際にアクチュエータを制御する。
【0126】
自動運転装置７０は、状況の把握７１、行動計画の生成７２、及び、行動計画の実行７３を繰り返しながら、目的地まで走行する。
【0127】
遠隔操作により自動運転する技術も知られている。遠隔操作による制御では、車両が、車両に搭載されたカメラ１１の映像をリアルタイムで遠隔地に送信する。遠隔地では、シミュレータ用の運転席が用意され、遠隔操作される車両の周囲が運転席から見えるように表示される。遠隔地の運転者が運転操作を行うと、制御命令が低遅延で車両に伝達される。
【0128】
＜主な効果＞
以上説明したように、本実施形態の振動制御システム１００は、盛り上がり方に応じてシートの振動を段階的に変化させることで、ユーザーの盛り上がり状態に沿って自然に盛り上がらせることができる。また、コンテンツの音に応じて何らかの振動が発生されている状態で、動作が検知されれば振動特性を変えることで、身体の動きに応じた振動刺激を与え、気分を盛り上げることができる。
以上説明したように、本実施形態の振動制御システム１００は、盛り上がり方に応じてシートの振動を段階的に変化させることで、ユーザーの盛り上がり状態に沿って自然に盛り上がらせることができる。また、コンテンツの音に応じて何らかの振動が発生されている状態で、動作が検知されれば振動特性を変えることで、身体の動きに応じた振動刺激を与え、気分を盛り上げることができる。
【0129】
また、自動運転に対応した車両に搭載されると、車内での自由な時間が増えコンテンツの視聴時間が増える中で、より高品質な視聴体験を提供することができる。
【0130】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0131】
例えば、本実施形態では、振動制御装置１０が主にコンテンツの音に応じて振動デバイスを振動させた。振動制御装置１０が、コンテンツの映像に応じて振動デバイスを振動させる場合、重要なシーン、変化の大きいシーン、又は俳優の動きが大きいシーン、など盛り上がる映像を識別するモデルを機械学習で作成しておく。振動制御装置１０は、識別モデルが出力する映像の盛り上がり度に応じて、強度や広さを制御した振動を振動デバイス３０に与える。また、振動制御装置１０がコンテンツの音や映像で「盛り上がり」を検出する以外に、ストーリーの転換点やクライマックスで振動特性を変更してもよい。
【0132】
また、複数のユーザーが同じコンテンツを視聴している場合は以下のようなバリエーションが考えられる。
・振動制御装置１０は、複数のユーザーの一人でも盛り上がり状態１～３の条件を満たした場合に、盛り上がり状態１～３であると判断する。
・振動制御装置１０は、複数のユーザーの全てが盛り上がり状態１～３の条件を満たした場合に、盛り上がり状態１～３であると判断する。
・振動制御装置１０は、複数のユーザーの約半数が盛り上がり状態１～３の条件を満たした場合に、盛り上がり状態１～３であると判断する。
・複数のユーザーのうち各ユーザーごとに盛り上がり状態１～３の条件を満たした場合に、ユーザー別に盛り上がり状態１～３であると判断する。この場合、発話に関してはどのユーザーが発話したか判断されるものとする。
・振動制御装置１０は、複数のユーザーの一人でも盛り上がり状態１～３の条件を満たした場合に、盛り上がり状態１～３であると判断する。
・振動制御装置１０は、複数のユーザーの全てが盛り上がり状態１～３の条件を満たした場合に、盛り上がり状態１～３であると判断する。
・振動制御装置１０は、複数のユーザーの約半数が盛り上がり状態１～３の条件を満たした場合に、盛り上がり状態１～３であると判断する。
・複数のユーザーのうち各ユーザーごとに盛り上がり状態１～３の条件を満たした場合に、ユーザー別に盛り上がり状態１～３であると判断する。この場合、発話に関してはどのユーザーが発話したか判断されるものとする。
【0133】
また、盛り上がり状態１～３に応じた香りを振動制御装置１０が出力してもよい。香りは、盛り上がりを支援する香りでもよいし、盛り上がりを抑制する香りでもよい。
【0134】
例えば、盛り上がり状態１～３に応じた香りを振動制御装置１０が出力してもよい。香りは、盛り上がりを支援する香りでもよいし、盛り上がりを抑制する香りでもよい。
【0135】
また、盛り上がり状態１～３に応じて振動制御装置１０が温度や湿度を制御してもよい。振動制御装置１０は、例えば、体温の上昇を避けるため、盛り上がり状態１～３に応じて温度及び湿度を下げる。
【0136】
また、盛り上がり状態１において、動きが検知されない場合に、振動制御装置１０が盛り上がり状態１より大きな振動を与えてもよい。
【0137】
また、図４などの構成例は、振動制御装置１０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。振動制御装置１０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【0138】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【0139】
１０ 振動制御装置
１１ カメラ
１２ マイク
１３ スピーカ
１４ ディスプレイ
３０ 振動デバイス
１１ カメラ
１２ マイク
１３ スピーカ
１４ ディスプレイ
３０ 振動デバイス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】