(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025106666
(43)【公開日】2025-07-16
(54)【発明の名称】移動体
(51)【国際特許分類】
H04R 1/00 20060101AFI20250709BHJP
B62J 45/10 20200101ALI20250709BHJP
H04R 1/02 20060101ALI20250709BHJP
H04R 1/26 20060101ALI20250709BHJP
H04R 3/00 20060101ALI20250709BHJP
【FI】
H04R1/00 310G
B62J45/10
H04R1/02 102B
H04R1/26
H04R3/00 310
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2024000071
(22)【出願日】2024-01-04
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】三崎 華蓮
(72)【発明者】
【氏名】田上 隆久
(72)【発明者】
【氏名】池田 絵美子
(72)【発明者】
【氏名】繁田 脩
(72)【発明者】
【氏名】布沢 努
(72)【発明者】
【氏名】古賀 康之
(72)【発明者】
【氏名】野原 崇弘
【テーマコード(参考)】
5D017
5D018
5D220
【Fターム(参考)】
5D017AA14
5D017AE18
5D017AE19
5D018AC03
5D220AA01
5D220AA14
5D220AA34
5D220AA50
5D220AB08
(57)【要約】 (修正有)
【課題】周囲への音漏れを抑制する移動体を提供する。
【解決手段】移動体であるeバイク10には、オーディオ信号の低域成分に従って振動するハプティクスデバイス61による振動が、乗った状態のユーザの触覚を刺激するように、ハプティクスデバイスが配置されている。
【選択図】
図2
【特許請求の範囲】
【請求項1】
オーディオ信号の低域成分に従って振動するハプティクスデバイスによる振動が、乗った状態のユーザの触覚を刺激するように、前記ハプティクスデバイスが配置された
移動体。
【請求項2】
前記ハプティクスデバイスが、前記乗った状態のユーザの背中に接触する背もたれに配置された
請求項1に記載の移動体。
【請求項3】
前記オーディオ信号の低域成分は、略100Hz~300Hz以下の周波数成分である
請求項1に記載の移動体。
【請求項4】
前記オーディオ信号の中域成分を出力する中域スピーカが、前記乗った状態のユーザの方向に向き、かつ、前記乗った状態のユーザの前方下方に位置するように配置された
請求項1に記載の移動体。
【請求項5】
前記オーディオ信号の高域成分よりも遅延した前記オーディオ信号の中域成分を生成する信号生成部をさらに備える
請求項4に記載の移動体。
【請求項6】
前記オーディオ信号の中域成分は、略100Hz~300Hz以上略1kHz~5kHz以下の周波数成分である
請求項4に記載の移動体。
【請求項7】
前記オーディオ信号の高域成分を出力する高域スピーカが、前記乗った状態のユーザの方向に向き、かつ、前記乗った状態のユーザの耳の高さ付近の高さに位置するように配置された
請求項1に記載の移動体。
【請求項8】
前記オーディオ信号の高域成分は、略1kHz~5kHz以上の周波数成分である
請求項7に記載の移動体。
【請求項9】
前記高域スピーカとして、複数のスピーカを有する
請求項7に記載の移動体。
【請求項10】
前記ユーザの状態及び周囲の状況のうちの一方又は両方を認識する認識部と、
前記認識部の認識結果を表す認識情報に基づいて、前記オーディオ信号の高域成分のレベルを調整するレベル調整部と
をさらに備える請求項9に記載の移動体。
【請求項11】
前記レベル調整部は、前記複数のスピーカのうちの、前記乗った状態のユーザから見て、音漏れを抑制したい方向と反対方向に位置するスピーカが出力する前記オーディオ信号の高域成分のレベルを小さくする
請求項10に記載の移動体。
【請求項12】
前記レベル調整部は、前記複数のスピーカのうちの、前記乗った状態のユーザから見て、周囲にいる人の方向と反対方向に位置するスピーカが出力する前記オーディオ信号の高域成分のレベルを小さくする
請求項11に記載の移動体。
【請求項13】
前記レベル調整部は、前記複数のスピーカのうちの、前記乗った状態のユーザから見て、周囲の音を聞きたい方向に位置するスピーカが出力する前記オーディオ信号の高域成分のレベルを小さくする
請求項10に記載の移動体。
【請求項14】
前記レベル調整部は、前記複数のスピーカのうちの、前記乗った状態のユーザから見て、接近する車両の方向に位置するスピーカが出力する前記オーディオ信号の高域成分のレベルを小さくする
請求項13に記載の移動体。
【請求項15】
前記レベル調整部は、前記複数のスピーカのうちの、前記乗った状態のユーザから見て、特定音の音源の方向に位置するスピーカが出力する前記オーディオ信号の高域成分のレベルを小さくする
請求項13に記載の移動体。
【請求項16】
前記レベル調整部は、前記ユーザが降りた状態の場合、前記複数のスピーカすべてが出力する前記オーディオ信号の高域成分のレベルを小さくする
請求項10に記載の移動体。
【請求項17】
前記認識情報に基づいて、前記オーディオ信号に、危険を通知する危険通知音のオーディオ信号を重畳する重畳部をさらに備える
請求項10に記載の移動体。
【請求項18】
前記重畳部は、前記複数のスピーカのうちの、前記乗った状態のユーザから見て、接近する車両の方向に位置するスピーカが出力する前記オーディオ信号の高域成分に、前記危険通知音のオーディオ信号を重畳する
請求項17に記載の移動体。
【請求項19】
前記重畳部は、前記オーディオ信号の高域成分に、前記車両の音をエンハンスした音のオーディオ信号を、前記危険通知音のオーディオ信号として重畳する
請求項18に記載の移動体。
【請求項20】
自転車である
請求項1に記載の移動体。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、移動体に関し、特に、例えば、周囲への音漏れを抑制することができるようにする移動体に関する。
【背景技術】
【0002】
例えば、特許文献1には、マイクで収音されたノイズ信号を解析し、その解析結果に基づいて、複数のノイズキャンセリングモードのうち最適なノイズキャンセリングモードを選択するヘッドフォンが記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ユーザが、楽曲等のコンテンツを聴く場合に、周囲への音漏れは、周囲にいる人への迷惑になる。また、ユーザが、そのような周囲にいる人への迷惑が気になり、コンテンツの視聴に没頭することができず、楽しめないことがある。
【0005】
本技術は、このような状況に鑑みてなされたものであり、周囲への音漏れを抑制することができるようにするものである。
【課題を解決するための手段】
【0006】
本技術の移動体は、オーディオ信号の低域成分に従って振動するハプティクスデバイスによる振動が、乗った状態のユーザの触覚を刺激するように、前記ハプティクスデバイスが配置された移動体である。
【0007】
本技術の移動体においては、オーディオ信号の低域成分に従って振動するハプティクスデバイスによる振動が、乗った状態のユーザの触覚を刺激するように、前記ハプティクスデバイスが配置されている。
【図面の簡単な説明】
【0008】
【
図1】本技術を適用した電動アシスト自転車であるeバイク(electric-bike)の一実施の形態の外観構成例を示す斜視図である。
【
図2】eバイク10の外観構成例を示すeバイク10の右側の側面図である。
【
図3】eバイク10におけるハプティクスデバイス61、並びに、スピーカ71、及び、スピーカ81~85の配置を示す上面図(平面図)である。
【
図4】eバイク10のコンセプトを説明する図である。
【
図5】eバイク10に搭載されるアプリケーション(プログラム)の例を示す図である。
【
図6】eバイク10に設けられたLEDの発光の第1の例を示す図である。
【
図7】eバイク10に設けられたLEDの発光の第2の例を示す図である。
【
図8】eバイク10に設けられたLEDの発光の第3の例を示す図である。
【
図9】eバイク10に設けられたLEDの発光の第4の例を示す図である。
【
図10】eバイク10に設けられたLEDの発光の第5の例を示す図である。
【
図11】eバイク10を用いた情報処理システムの第1の構成例を示す図である。
【
図12】eバイク10の第1の電気的構成例を示すブロック図である。
【
図13】eバイク10を用いた情報処理システムの第2の構成例を示す図である。
【
図14】eバイク10の第2の電気的構成例を示すブロック図である。
【
図15】本技術を適用したオーディオ信号処理装置の一実施の形態の構成例を示すブロック図である。
【
図16】信号処理部254の構成例を示すブロック図である。
【
図17】信号生成部261による3way化の処理の例を説明する図である。
【
図18】ハプティクスデバイス61によるコンテンツ信号の低域成分の出力を説明する図である。
【
図19】中域スピーカとしてのスピーカ71によるコンテンツ信号の中域成分の出力を説明する図である。
【
図20】高域スピーカとしてのスピーカ81~85によるコンテンツ信号の高域成分の出力を説明する図である。
【
図21】3way化による音漏れの抑制の程度を説明する図である。
【
図22】高域スピーカの配置と、高域スピーカの名称とを示す図である。
【
図23】レベル調整部262による認識情報に基づくコンテンツ信号の高域成分のレベルの調整の第1の例を説明する図である。
【
図24】レベル調整部262による認識情報に基づくコンテンツ信号の高域成分のレベルの調整の第2の例を説明する図である。
【
図25】レベル調整部262による認識情報に基づくコンテンツ信号の高域成分のレベルの調整の第3の例を説明する図である。
【
図26】レベル調整部262による認識情報に基づくコンテンツ信号の高域成分のレベルの調整の第4の例を説明する図である。
【
図27】レベル調整部262による認識情報に基づくコンテンツ信号の高域成分のレベルの調整の第5の例を説明する図である。
【
図28】レベル調整部262による認識情報に基づくコンテンツ信号の高域成分のレベルの調整の第6の例を説明する図である。
【
図29】レベル調整部262による認識情報に基づくコンテンツ信号の高域成分のレベルの調整の第7の例を説明する図である。
【
図30】重畳部263による危険通知音のオーディオ信号の、コンテンツ信号の高域成分への重畳(コンテンツミックス)の例を説明する図である。
【発明を実施するための形態】
【0009】
<本技術を適用したeバイクの一実施の形態>
【0010】
図1は、本技術を適用した電動アシスト自転車であるeバイク(electric-bike)の一実施の形態の外観構成例を示す斜視図である。
図2は、
図1のeバイク10の外観構成例を示すeバイク10の右側の側面図である。
【0011】
なお、
図2では、図が煩雑になるのを避けるため、
図1に図示されたスピーカ71及びスピーカ81~85を、楕円で示してある。
【0012】
eバイク10のフレーム20のトップチューブ21の後方には、シート(サドル)31が配置され、トップチューブ21の前方には、スピーカ71が配置されている。
【0013】
スピーカ71(MD)は、例えば、楽曲等のコンテンツその他のオーディオ信号の中域成分(に対応する音)を出力する中域スピーカである。スピーカ71は、eバイク10に乗った(乗車した)状態のユーザ、すなわち、シート31に座った状態のユーザの方向に向くように(ユーザの方向への指向性を有するように)配置されている。スピーカ71が前方に配置されたトップチューブ21の後方には、上述のように、シート31が配置されているので、スピーカ71は、乗った状態のユーザの前方下方に位置するように配置されているということができる。
【0014】
シート31の後部には、eバイク10に乗った状態のユーザの背中に接触する背もたれ32が配置されている。背もたれ32の、例えば、eバイク10に乗った状態のユーザの背中に接触する部分には、ハプティクスデバイス61が配置されている。
【0015】
図2では、ハプティクスデバイス61を分かりやすくするために、ハプティクスデバイス61が楕円で示されているが、ハプティクスデバイス61は、背もたれ32に内蔵され、実際には、外部から見ることはできない。
【0016】
なお、ハプティクスデバイス61の配置位置は、背もたれ32に限定されるものではない。ハプティクスデバイス61は、そのハプティクスデバイス61による振動が、eバイク10に乗った状態のユーザの触覚を刺激するように配置されていればよい。
【0017】
ハプティクスデバイス61は、オーディオ信号の低域成分に従って振動する。ハプティクスデバイス61による振動が、ユーザの触覚を刺激することにより、すなわち、ハプティクスデバイス61によって、シート31に座った状態のユーザの背骨に振動が加えられること(背骨加振)により、オーディオ信号の低域成分は、音として再生されるのではなく、低音感として再生される。ユーザは、ハプティクスデバイス61による振動により、オーディオ信号の低域成分を触覚により感じる。
【0018】
フレーム20のダウンチューブ22には、バッテリ51が着脱可能になっている。バッテリ51は、例えば、フロントフォーク42に設けられたライト52や、eバイクの図示せぬモータ、その他必要なブロックに電源を供給する。
【0019】
ハンドル41のハンドルバー又はステムには、支持具80(
図1)が固定されている。支持具80は、スピーカ81、82、83が所定の状態に配置されるように、スピーカ81~83を支持する。
【0020】
スピーカ81~83は、オーディオ信号の高域成分(に対応する音)を出力する高域スピーカである。eバイク10は、高域スピーカとして、スピーカ81~83の他、スピーカ84及び85を有する。したがって、eバイク10は、高域スピーカとして、複数のスピーカである5個のスピーカ81~85を有する。
【0021】
スピーカ84及び85は、背もたれ32によって支持されている。
【0022】
スピーカ81~85は、いずれも、eバイク10に乗った状態のユーザの方向に向き、かつ、eバイク10に乗った状態のユーザの耳の高さ付近の高さに位置するように配置されている。
【0023】
すなわち、スピーカ81(C)は、eバイク10に乗った状態のユーザの正面方向の位置に、ユーザの方向に向き、かつ、ユーザの耳の高さ付近の高さに位置するように、支持具80によって支持されている。スピーカ82(FL)は、eバイク10に乗った状態のユーザの正面左方向の位置に、ユーザの方向に向き、かつ、ユーザの耳の高さ付近の高さに位置するように、支持具80によって支持されている。スピーカ83(FR)は、eバイク10に乗った状態のユーザの正面右方向の位置に、ユーザの方向に向き、かつ、ユーザの耳の高さ付近の高さに位置するように、支持具80によって支持されている。スピーカ84(SL)は、eバイク10に乗った状態のユーザの左(やや後方)の位置に、ユーザの方向に向き、かつ、ユーザの耳の高さ付近の高さに位置するように、背もたれ32によって支持されている。スピーカ85(SR)は、eバイク10に乗った状態のユーザの右(やや後方)の位置に、ユーザの方向に向き、かつ、ユーザの耳の高さ付近の高さに位置するように、背もたれ32によって支持されている。
【0024】
なお、スピーカ81~83を支持する支持具80、並びに、スピーカ84及び85を支持する背もたれ32には、スピーカ81~85の高さを調整する高さ調整機構を設けることができる。eバイク10では、eバイク10に乗った状態のユーザの耳を検出し、スピーカ81~85が、検出されたユーザの耳の高さ付近の高さに位置するように、高さ調整機構において、スピーカ81~85の位置(高さ)を調整することができる。
【0025】
ハンドル41のハンドルバー又はステムには、各種の表示を行うディスプレイ91が設けられている。ディスプレイ91は、タッチパネルと一体となって、タッチスクリーンを構成し、ユーザの各種の操作を受け付ける操作パネルとしても機能する。
【0026】
なお、eバイク10は、ハンドル41のハンドルバー又はステムに、ディスプレイ91を設ける代わりに、スマートフォン等の、通信機能を有し、アプリケーション(プログラム)を実行可能な携帯端末を着脱可能なように構成することができる。そして、そのスマートフォンを、ディスプレイ91及び操作パネルとして使用することができる。
【0027】
また、各種の表示は、ディスプレイ91の他、ユーザが装着するスマートグラス(コンタクトレンズを含む)で行うことができる。
【0028】
eバイク10において、いわば骨格を形作る部分には、光源、例えば、LED(light emitting diode)が設けられている。LEDが発光することにより、eバイク10が暗い環境で浮かび上がるような演出を行うことができる。eバイク10の骨格を形作る部分とは、例えば、フレーム20、シート31、ハンドル41、フロントフォーク42、前輪43及び後輪44のリム、並びに、ペダル45(クランク及びチェーンリングを必要に応じて含む)等である。
【0029】
また、eバイク10には、eバイク10の周辺の路面に光を照射し、その光によって路面に所定の模様を表示するLEDも設けることができる。
【0030】
さらに、eバイク10には、光のセンシングによりユーザや周囲を撮影するカメラ、音のセンシングにより集音を行うマイク、光又は電波のセンシングにより距離を測定する測距センサ等の各種のセンサが設けられている。eバイク10では、センサが出力するセンサ情報に基づいて、LEDの発光制御や、ハプティクスデバイス61並びにスピーカ71及びスピーカ81~85からのオーディオ信号(に対応する振動、音)の出力を制御することができる。
【0031】
図3は、eバイク10におけるハプティクスデバイス61、並びに、スピーカ71、及び、スピーカ81~85の配置を示す上面図(平面図)である。
【0032】
ハプティクスデバイス61(H)は、平面視で、eバイク10に乗った状態のユーザの真後ろ(背後)に位置する。
【0033】
スピーカ71(MD)は、平面視で、eバイク10に乗った状態のユーザの真正面に位置する。
【0034】
スピーカ81(C)は、eバイク10に乗った状態のユーザの真正面の、スピーカ71より離れた場所に位置する。スピーカ82(FL)は、eバイク10に乗った状態のユーザの正面左方向に位置する。スピーカ83(FR)は、eバイク10に乗った状態のユーザの正面右方向に位置する。スピーカ84(SL)は、eバイク10に乗った状態のユーザの左(やや後方)に位置する。スピーカ85(SR)は、eバイク10に乗った状態のユーザの右(やや後方)に位置する。
【0035】
なお、
図3では、eバイク10に乗った状態のユーザの位置を原点(0, 0, 0)とする3次元座標系(XYZ座標系)でのハプティクスデバイス61、並びに、スピーカ71、及び、スピーカ81~85の位置も示されている。
【0036】
<eバイク10のコンセプト等>
【0037】
図4は、eバイク10のコンセプトを説明する図である。
【0038】
eバイク10のコンセプトは、マチアソビ(様々な場所での遊び)を思う存分楽しめる最高の相棒(buddy)(SIDE-KICK)、スピーカ搭載のコネクテッドeバイク、である。eバイク10のユーザとなった消費者に、このコンセプトを感じてもらうため、eバイク10には、3つのアピールポイント1,2,3がある。
【0039】
アピールポイント1は、長時間乗っても疲れにくく、心地よい音に包まれ、いつまでも乗り続けたくなる点である。アピールポイント1の実現のため、eバイク10は、例えば、機能1及び2を有する。機能1は、人間工学を追究したデザイン設計で、長時間乗っても疲れにくい機能である。機能2は、高性能スピーカが、周囲の音と融合した心地よい音響空間に包んでくれる機能である。
【0040】
アピールポイント2は、専用AI(artificial intelligence)があなたの相棒になって、街の新しい楽しみ方を与えてくれる点である。アピールポイント2の実現のため、eバイク10は、例えば、機能3を有する。機能3は、目的地への案内も、急な寄り道も、対話型AIがスムーズにナビゲートする機能である。
【0041】
アピールポイント3は、自転車の楽しさを拡張する様々な演出・コンテンツがあなた(ユーザ)の好奇心を刺激する点である。アピールポイント3の実現のため、eバイク10は、例えば、機能4を有する。機能4は、(eバイク10の)走行中の流れる景色やペダリングなどから自動生成されるあなただけの音・光、振動の演出で盛り上げる機能である。
【0042】
図5は、eバイク10に搭載されるアプリケーション(プログラム)の例を示す図である。
【0043】
eバイク10には、例えば、アプリケーション"Music Generator"及び"Safety"等が搭載される。
【0044】
アプリケーション"Music Generator"は、周辺環境や自分(ユーザ)の操作に連動して、自分だけの、その時、その場所の音楽を生成するアプリケーションである。アプリケーション"Music Generator"で生成される音楽等のオーディオ信号(に対応する音、振動)は、ハプティクスデバイス61、並びに、スピーカ71、及び、スピーカ81~85から出力され、ユーザの触覚及び聴覚を通じて、ユーザによって知覚される。
【0045】
アプリケーション"Safety"は、音声による危険通知で、体験を阻害せず安心安全を提供するアプリケーションである。アプリケーション"Safety"は、後方接近検知アラート、走行車道検知(右側走行アラート)、及び、危険地点アラート等の制御を行う。後方接近検知アラートは、eバイク10の後方に接近する物体(人等の生命体を含む)がある場合に、その物体(の接近)を検出(検知)して、音(声)による危険通知を行う処理である。走行車道検知は、eバイク10が道路の不適切な場所を走行している場合、例えば、道路の右側を走行している場合に、そのことを検出して、音による危険通知を行う処理である。危険地点アラートは、eバイク10が、例えば、落石があった地点や、交通事故が発生している地点等の危険地点に向かって走行している場合に、危険地点に近づいていることを検出して、音による危険通知を行う処理である。
【0046】
eバイク10には、その他、機能1~4を提供するための様々なアプリケーションを搭載することができる。例えば、機能4を提供するアプリケーションにより、いわば走るインスタレーションを実現することができる。
【0047】
すなわち、例えば、eバイク10は、ディスプレイの発光や、フレーム20等に設けられたLEDの発光を活用しながら、街中をおしゃれに彩ることができる。eバイク10は、ユーザ自らのファッション表現のひとつになり得る。例えば、eバイク10どうしがすれ違うと、LEDの光が反応し合って、徐々に変化する。また、例えば、eバイク10での来場を推奨する夜間の音楽フェスティバルにおいて、来場者のeバイク10のLEDの発光を一斉制御し、ペンライトで行われているような会場の演出を行うことができる。さらに、例えば、会場で流れている音楽のビート等に基づいて、来場者のeバイク10のLEDの発光を制御することにより、音楽に合わせて、eバイク10の、いわば表情を変化させることや、会場を盛り上げる演出を行うことができる。LEDの発光の一斉制御は、例えば、フリフラ(登録商標)と呼ばれる、来場者がもつペンライト等の、数万本(個)のLEDライトの一斉制御と同様に行うことができる。
【0048】
図6は、eバイク10に設けられたLEDの発光の第1の例を示す図である。
【0049】
例えば、eバイク10の停車中においては、前輪43のリムに設けられたLEDのうちの、リムとしての円周の前方側の略1/3の円弧の部分のLEDを点灯することができる。さらに、後輪44のリムに設けられたLEDのうちの、リムとしての円周の後方側の略1/3の円弧の部分のLEDを点灯することができる。前輪43のLEDと、後輪44のLEDとは、異なる色に点灯することができる。例えば、前輪43のLEDは白色に点灯し、後輪44のLEDは赤色に点灯することができる。
【0050】
図7は、eバイク10に設けられたLEDの発光の第2の例を示す図である。
【0051】
例えば、eバイク10の走行中においては、後輪44のリムとしての円周全体の部分のLEDを点灯することができる。
【0052】
図8は、eバイク10に設けられたLEDの発光の第3の例を示す図である。
【0053】
図8では、eバイク10の骨格を形作る部分、例えば、フレーム20、シート31、ハンドル41、フロントフォーク42、前輪43及び後輪44のリム、並びに、ペダル45に設けられたLEDが点灯している。eバイク10の骨格を形作る部分のLEDが点灯することにより、闇に浮かび上がるようなeバイク10を楽しむことができる。
【0054】
図9は、eバイク10に設けられたLEDの発光の第4の例を示す図である。
【0055】
図9では、eバイク10に設けられたLEDの光によって、eバイク10の周辺の路面に、点群の模様が形成されるように、LEDが発光している。
【0056】
図10は、eバイク10に設けられたLEDの発光の第5の例を示す図である。
【0057】
図10では、eバイク10に設けられたLEDの光によって、eバイク10の前方及び後方それぞれの路面に、2重の円弧の模様が形成されるように、LEDが発光している。
【0058】
eバイク10に設けられたLEDの発光は、上述したように、会場で流れている音楽や、eバイク10が停車しているか,又は、走行しているかに基づいて制御する他、外部の操作者の操作や、eバイク10のユーザの操作に基づいて制御することができる。さらに、LEDの発光は、eバイク10の周辺の景色や、ハプティクスデバイス61、並びに、スピーカ71、及び、スピーカ81~85から出力されている(振動、音に対応する)オーディオ信号、その他、eバイク10の状態や周辺の環境に基づいて制御することができる。
【0059】
<eバイク10を用いた情報処理システム>
【0060】
図11は、eバイク10を用いた情報処理システムの第1の構成例を示す図である。
【0061】
図11において、情報処理システム110は、eバイク10及びサーバ(eバイクサーバ)111で構成される。
【0062】
eバイク10は、コネクテッドeバイクであり、インターネットや、LAN(local area network)、WAN(wide area network、携帯電話網等のネットワークを介して、サーバ111との間で通信を行う。eバイク10は、サーバ111と通信を行い、各種の情報を、サーバ111に送信することで保存し、必要な情報を、サーバ111から受信することで取り出す。
【0063】
例えば、eバイク10は、eバイク10に設けられたセンサのセンサ情報を、サーバ111に送信する。また、例えば、eバイク10は、ハプティクスデバイス61、並びに、スピーカ71、及び、スピーカ81~85から出力させるコンテンツ等のオーディオ信号や、ナビゲートのためにディスプレイ91に表示する(地図画像に対応する)地図データ等を、サーバ111から受信する。eバイク10は、その他、例えば、対話型AI等の各種の処理を行うAI(としての学習済みのモデル)や、各種の処理を行うアプリケーション、eバイク10の制御を行う制御情報等を、サーバ111から受信する。
【0064】
eバイク10は、AIやアプリケーションの実行により、ハプティクスデバイス61、並びに、スピーカ71、及び、スピーカ81~85からのオーディオ信号(に対応する音、振動)の出力制御を行う。その他、eバイク10は、センサ情報に基づいて、認識や、判定、各種データ処理等を行う。
【0065】
サーバ111は、eバイク10から送信されてくる各種の情報を必要に応じて保存する。また、サーバ111は、eバイク10からの情報その他の各種の情報を学習データとして、各種のAIの学習を行い、学習済みのAIを記憶(保存)する。さらに、サーバ111は、eバイク10用にリリースされたアプリケーションや、楽曲、効果音等のコンテンツ(のオーディオ信号)等を記憶する。また、サーバ111は、eバイク10から要求があった情報、例えば、AIや、アプリケーション、コンテンツ(のオーディオ信号)等を、eバイク10に送信する。その他、サーバ111では、eバイク10の制御、例えば、LEDの発光制御を行う制御情報を生成し、eバイク10に送信することができる。
【0066】
なお、サーバ111は、クラウドサーバのような仮想サーバであってもよいし、物理的に実在するサーバであってもよい。また、高機能のプロセッサ等のハードウエアの低コスト化が将来的に進行した場合には、そのような高機能のハードウエアを、eバイク10に搭載することができる。この場合、eバイク10を、いわゆるエッジAI化し、AIの学習を、サーバ111ではなく、eバイク10で行うことができる。
【0067】
図12は、eバイク10の第1の電気的構成例を示すブロック図である。
【0068】
すなわち、
図12は、
図11の情報処理システム110を構成するeバイク10の電気的構成例を示している。
【0069】
図12において、eバイク10は、バッテリ51、SoC(System on a chip)121、GPS(Global Positioning System)部122、BLE(Bluetooth(登録商標) Low Energy)部123、タッチスクリーン124、発光ユニット125、マイクロコントローラ126、駆動部127、ハプティクスユニット128、センサ部129、及び、オーディオユニット130等を有する。
【0070】
eバイク10を構成するブロックのうちの、SoC121、マイクロコントローラ126、駆動部127、センサ部129、及び、オーディオユニット130、その他電源を必要とするブロックは、バッテリ51から電源が供給されるように、バッテリ51と電源供給用の電源供給線を介して接続されている。但し、図が煩雑になるのを避けるため、電源供給線の図示は、省略してある。後述する
図14でも同様である。
【0071】
SoC121は、RF(Radio Frequency)モデム141、CPU(Central Processing Unit)142、及び、GPU(Graphics Processing Unit)143等を有し、コンピュータ及び通信装置としてのスマートフォン相当の機能を有する。
【0072】
RFモデム141は、RF信号の送信及び受信、並びに、RF信号への変調及びRF信号の復調等の、ネットワークを介したサーバ111等との通信のための処理を行う。RFモデム141は、その他、GPS部122及びBLE部123との通信のための処理を行う。
【0073】
CPU142は、アプリケーションやOS(operating system)等の各種のプログラムを、図示せぬメモリにロードして実行することにより、eバイク10を構成する各ブロックの制御を含む各種の処理を行う。
【0074】
GPU143は、CPU142がプログラムを実行する中で、画像処理を担当する。
【0075】
GPS部122は、GPS衛星からの電波を受信し、SoC121のRFモデム141に供給する。SoC121では、GPS衛星からの電波に基づいて、eバイク10の位置が検出(センシング)される。
【0076】
BLE部123は、RFモデム141からの信号を、BLE通信により送信するとともに、BLE通信による信号(電波)を受信し、RFモデム141に供給する。
【0077】
なお、eバイク10には、GPS部122及びBLE部123の他、NFC(near field communication)通信等の電波の送信及び/又は受信を行うIF(interface)を設けることができる。
【0078】
タッチスクリーン124は、ディスプレイ91とタッチパネル(操作パネル)151とが一体となって構成され、各種の表示と、ユーザの操作の受付とを行う。すなわち、ディスプレイ91は、各種の表示、例えば、CPU142の画像処理により得られた画像等の表示を行い、タッチパネル151は、ユーザの操作に対応する操作信号を出力する。SoC121は、タッチパネル151が出力する操作信号に応じて各種の処理を行う。
【0079】
発光ユニット125は、フレーム20等に設けられた図示せぬLEDと、そのLEDを駆動する図示せぬ駆動部を有する。発光ユニット125において、駆動部は、SoC121(のCPU142)の制御に従って、LEDを駆動し、LEDを点灯又は消灯させる。
【0080】
マイクロコントローラ126は、SoC121の制御に従って、駆動部127を制御する。駆動部127は、マイクロコントローラ126の制御に従って、被駆動部としてのeバイク10の各ユニット(Bicycle Unit)、例えば、モータ等を駆動する。
【0081】
ハプティクスユニット128は、ハプティクスデバイス61と、そのハプティクスデバイス61を駆動する駆動部161とを有する。ハプティクスユニット128において、駆動部161は、SoC121の制御に従って、例えば、ピエゾ素子やモータ等のアクチュエータで構成されるハプティクスデバイス61を駆動し、ハプティクスデバイス61を振動させる。
【0082】
センサ部129は、各種のセンサを有する。センサ部129は、例えば、
図1及び
図2で説明したカメラ、マイク、測距センサを有する。また、センサ部129は、例えば、直行3軸方向の並進運動及び回転運動を検出するセンサとしてのIMU(Inertial Measurement Unit)や、温度を検出する温度センサ(Temp)、圧力を検出する圧力(感圧)センサ、生体情報を検出する生体センサ等を有する。圧力センサ及び生体センサは、eバイク10においてユーザと接触する部分、例えば、シート31や、背もたれ32、ハンドル41(のハンドルグリップ)等に設けることができる。圧力センサについては、その圧力センサが出力するセンサ情報としての圧力に基づいて、例えば、ユーザが着座しているかや、起立しているか、ユーザの姿勢等を認識することができる。生体センサについては、その生体センサが出力するセンサ情報としての生体情報に基づいて、例えば、ユーザの緊張度や疲労度等を認識することができる。生体情報については、例えば、ユーザがスマートウオッチ等のウエアラブルデバイスを身につけている場合には、そのウエアラブルデバイスから取得することもできる。その他、センサ部129を構成するセンサとしては、例えば、eバイク10のスタンドが立っているか、又は、上がっているかの状態(スタンド状態)を検出するセンサ等の、eバイク10の各部の状態を検出するセンサを設けることができる。
【0083】
オーディオユニット130は、スピーカ71及びスピーカ81~85等のスピーカ、並びに、パワーアンプ171を有する。パワーアンプ171は、SoC121から供給されるオーディオ信号を増幅し、スピーカ71及びスピーカ81~85等のスピーカに供給して(対応する音を)出力させる。
【0084】
以上のように構成されるeバイク10では、例えば、SoC121が、アプリケーション"Music Generator"及び"Safety"等を実行することにより、サーバ111からのコンテンツの2チャンネルのオーディオ信号の受信や、コンテンツの2チャンネルのオーディオ信号の生成、危険通知のための音の2チャンネルのオーディオ信号等の生成を行う。さらに、SoC121は、2チャンネルのオーディオ信号に、処理を適宜施す。2チャンネルのオーディオ信号に施す処理としては、例えば、オーディオ信号を、ハプティクスデバイス61、並びに、スピーカ71及びスピーカ81~85から出力するためのマルチチャンネル化や3way化の処理等がある。
【0085】
SoC121は、マルチチャンネルのオーディオ信号を、ハプティクスユニット128及びオーディオユニット130に供給する。これにより、SoC121は、各チャンネルのオーディオ信号を、そのチャンネルを担当するハプティクスデバイス61、又は、スピーカ71若しくはスピーカ81~85から出力させる。
【0086】
ハプティクスユニット128において、ハプティクスデバイス61が、SoC121からのオーディオ信号を振動として出力するとともに、オーディオユニット130において、スピーカ71及びスピーカ81~85が、SoC121からのオーディオ信号を音として出力する。これにより、SoC121からのオーディオ信号(に対応する振動、音)が、ユーザに提示される。
【0087】
図13は、eバイク10を用いた情報処理システムの第2の構成例を示す図である。
【0088】
なお、図中、
図11の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【0089】
図13において、情報処理システム110は、eバイク10、サーバ111、及び、スマートフォン211で構成される。
【0090】
したがって、
図13の情報処理システム110は、eバイク10及びサーバ111を有する点で、
図11の場合と共通し、スマートフォン211が新たに設けられている点で、
図11の場合と相違する。
【0091】
図11では、eバイク10は、いわば直接的に、サーバ111と通信を行うが、
図13では、eバイク10は、スマートフォン211を経由して、サーバ111と通信を行う。
【0092】
図13において、スマートフォン211は、例えば、eバイク10のユーザが所有するスマートフォン211であり、
図1及び
図2で説明したように、ディスプレイ91(を有するタッチスクリーン124)に代えて、eバイク10に装着することができる。スマートフォン211は、
図12のSoC121~タッチスクリーン124等として機能する。
【0093】
スマートフォン211は、eバイク10との間で、所定の通信方式による通信、例えば、Bluetooth(登録商標)通信を行うことにより、情報のやり取りを行う。例えば、スマートフォン211は、eバイク10からセンサ情報等の各種の情報を受信し、サーバ111に送信する。また、例えば、スマートフォン211は、サーバ111から、コンテンツのオーディオ信号等の必要な情報を受信し、eバイク10に送信する。
【0094】
図14は、eバイク10の第2の電気的構成例を示すブロック図である。
【0095】
すなわち、
図14は、
図13の情報処理システム110を構成するeバイク10の電気的構成例を示している。
【0096】
なお、図中、
図12の対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【0097】
図14において、eバイク10は、バッテリ51、発光ユニット125、マイクロコントローラ126、駆動部127、ハプティクスユニット128、センサ部129、オーディオユニット130、RTOS(Real Time Operating System) BLEモジュール221等を有する。
【0098】
したがって、
図14のeバイク10は、バッテリ51、及び、発光ユニット125~オーディオユニット130を有する点で、
図12の場合と共通する。但し、
図14のeバイク10は、SoC121~タッチスクリーン124が設けられておらず、RTOS BLEモジュール221が新たに設けられている点で、
図12の場合と相違する。
【0099】
RTOS BLEモジュール221は、BLE通信のIFとして機能し、スマートフォン211との間で、BLE通信を行い、情報の送受信を行う。
【0100】
図14では、スマートフォン211が、
図12のSoC121~タッチスクリーン124として機能し、eバイク10と合わせて、
図12のeバイク10と同様の処理を行うことができる。
【0101】
なお、
図14では、スマートフォン211がeバイク10から取り外された場合、eバイク10の位置を検出することが困難となるため、センサ部129には、
図12のGPS部122のような位置を検出するセンサ(Position)を設けることができる。
【0102】
図12のeバイク10では、スマートフォン相当の機能を有するSoC121等を内蔵させる必要があり、そのために、各種のアプリケーション等の実行等が可能な高性能のCPU142等が必要となる。したがって、
図12のeバイク10は、高コスト化する。但し、
図12のeバイク10は、スマートフォン211を用意することが不要となる。
【0103】
一方、
図14のeバイク10では、SoC121等に相当するスマートフォン211等の携帯端末を用意し、eバイク10と連携(通信等)させる必要がある。但し、
図14のeバイク10には、SoC121等を内蔵させる必要がないので、eバイク10を低コストで製造することができる。
【0104】
なお、
図14のeバイク10については、スマートフォン211には、サーバ111等とのネットワークを介した通信、及び、eバイク10との通信だけを担当させ、アプリケーションの実行等のその他の処理(後述するオーディオ信号処理装置250の処理を含む)は、eバイク10に行わせること、すなわち、RTOS BLEモジュール221に行わせること、又は、eバイク10に専用のハードウエア(例えば、SoC121より簡易なチップ等)を設けて行わせることが可能である。
【0105】
また、スマートフォン211には、その他の処理のうちの一部をも担当させ、eバイク10には、その他の処理のうちの残りの処理を担当させることで、負荷分散を図ることが可能である。
【0106】
例えば、スマートフォン211には、2チャンネルのオーディ信号の生成を担当させ、eバイク10には、マルチチャンネル化や3way化の処理等を担当させることが可能である。
【0107】
また、例えば、スマートフォン211には、アプリケーション"Safety"以外のアプリケーションの実行を担当させ、eバイク10には、アプリケーション"Safety"の実行を担当させることができる。eバイク10とスマートフォン211との間では、BLE通信が行われるため、スマートフォン211で、アプリケーション"Safety"を実行する場合には、センサ部129が出力するセンサ情報を、BLE通信で、eバイク10からスマートフォン211に送信する必要がある。さらに、スマートフォン211において、センサ情報から危険が認識された場合には、危険通知のための(音に対応する)オーディオ信号を生成して、BLE通信で、eバイク10に送信する必要がある。したがって、eバイク10のハプティクスデバイス61、並びに、スピーカ71及びスピーカ81~85からの危険通知のためのオーディオ信号の出力は、センサ部129によるセンサ情報の出力から、少なくとも、BLE通信に要する時間だけ遅延する。eバイク10で、アプリケーション"Safety"を実行する場合には、スマートフォン211で、アプリケーション"Safety"を実行する場合に比較して、危険通知のためのオーディオ信号の出力に、BLE通信に要する時間の遅延が生じることを抑制することができる。
【0108】
アプリケーション"Safety"の実行の他、安全、安心に関して、重要性及び/又は緊急性が高く、リアルタイム性が要求される処理については、eバイク10に担当させることができる。
【0109】
<本技術を適用したオーディオ信号処理装置>
【0110】
図15は、本技術を適用したオーディオ信号処理装置の一実施の形態の構成例を示すブロック図である。
【0111】
eバイク10は、コンピュータとしてのSoC121(
図12)又はスマートフォン211(
図14)が各種のアプリケーションを実行することにより、各種の処理を行う処理装置として機能する。
【0112】
図15は、そのような処理装置の1つであるオーディオ信号処理装置250の機能的構成例を示している。
【0113】
eバイク10は、コンテンツ等のオーディオ信号を出力することにより、eバイク10に乗った状態のユーザに音響空間を提供する。しかしながら、eバイク10においてオーディオ信号を出力する場合には、周囲への音漏れが生じ、周囲にいる人への迷惑になることがある。また、eバイク10のユーザは、そのような周囲にいる人への迷惑が気になり、コンテンツを楽しめないことがある。
【0114】
音漏れを抑制する第1の方法としては、必要なエリア以外のエリアについて、音をキャンセルする方法がある。第1の方法の具体的な方法としては、例えば、複数のスピーカユニット(スピーカにおいて、電気信号を空気振動として出力する部品)を縦に並べた縦アレイのスピーカを用いる方法がある。その他、例えば、エリアノイズキャンセリングと呼ばれる技術や、波面合成による音が届くエリアの制御がある。
【0115】
しかしながら、第1の方法では、オーディオ信号の波長が短い高域成分の制御は容易であるが、波長の長い低域成分については、指向性の制御が困難である。
【0116】
音漏れを抑制する第2の方法としては、狭指向性を実現する技術を用いる方法がある。第2の方法の具体的方法としては、例えば、複数のスピーカユニットを横に並べた横アレイのスピーカを用いる方法や、ボーンフレアを用いる方法、ビームツイッタを用いる用法、パラボリックドームを用いる方法がある。
【0117】
しかしながら、第2の方法では、狭指向性の実現のために、スピーカのサイズとして、ある程度のサイズが必要になり、スピーカが大型化する。さらに、第2の方法では、再生帯域が狭くなる。
【0118】
音漏れを抑制する第3の方法としては、音圧レベルを抑えて、距離減衰により、音が届くエリアを狭くする方法がある。第3の方法の具体的方法としては、例えば、スピーカユニットをユーザの耳の近くに配置することができるネックバンド型のスピーカ等のウエアラブルなスピーカを用いる方法がある。
【0119】
しかしながら、第3の方法では、ネックスピーカのように、ユーザの耳の近くにスピーカユニットが配置されるように、スピーカを、eバイク10に配置した場合、例えば、eバイク10への乗り降りが不便になる等の多くの制約が生じる。また、装着型のネックスピーカをユーザに装着してもらう場合には、ユーザに装着の負荷をかける。さらに、耳に近い位置へのスピーカの配置としては、例えば、ユーザの左右の耳真横への2チャンネルのスピーカの配置があるが、そのようなスピーカの配置の場合、eバイク10に乗ったユーザの頭部の位置がずれると、信号処理で生成した立体的な音場が崩れる等の懸念がある。具体的には、リアルタイム性が重要になる緊急車両の位置の教示のために、例えば、右後ろから緊急車両が近づいてきた際に、緊急車両の接近を通知する通知音が右後ろで鳴っているかのような立体音響表現が行われる音場を信号処理で生成した場合、ユーザは、自然と頭を右後ろに向ける。その際にユーザの頭の位置(耳の位置)がずれ、これによって立体音響表現が崩れ、通知音が右後ろから聞こえなくなることがある。
【0120】
そこで、オーディオ信号処理装置250は、オーディオ信号を複数の周波数帯域に帯域分割したかような、オーディオ信号の複数の周波数成分を生成する、例えば、3way化の処理を行う。そして、オーディオ信号処理装置250は、3wayの処理により得られるオーディオ信号の各周波数成分を、ハプティクスデバイス61、並びに、スピーカ71及びスピーカ81~85のうちの、各周波数帯域を担当するデバイスに出力させる。さらに、eバイク10では、ハプティクスデバイス61、並びに、スピーカ71及びスピーカ81~85の配置が、
図1及び
図2で説明したように工夫される。これにより、周囲への音漏れを抑制することができる。その結果、ユーザは、eバイク10の走行中に、周囲への音漏れを気にせずに、音に包まれた心地よいサイクリングの体験をすることができる。
【0121】
さらに、eバイク10では、センサ部129が出力するセンサ情報に基づいて、ユーザの状態及び周囲の状況のうちの一方又は両方が認識され、その認識結果に基づいて、オーディオ信号のレベル(オーディオ信号に対応する音の音量)が調整される。オーディオ信号のレベルの調整により、ユーザが音量を操作する手間をかけなくても、音漏れの範囲が動的に制御されるとともに、eバイク10に乗った状態のユーザの、周囲の音の聞きやすさが制御される。
【0122】
例えば、eバイク10は、周囲に音漏れの配慮が必要な場合、その配慮が必要な方向を考慮した静音状態になる。すなわち、配慮が必要な方向への音漏れをより抑制するように、オーディオ信号のレベルが調整される。したがって、ユーザは、音漏れの配慮が必要な方向への音漏れを心配する必要がない。
【0123】
また、eバイク10は、eバイク10のユーザに対して周囲の音の聞こえやすさの配慮が必要な場合、その配慮が必要な方向を考慮した静音状態になる。すなわち、配慮が必要な方向からの音、例えば、自動車が接近してくる方向からの、その自動車の音や、併走している自転車に乗っている人(並走者)の発話(音声)が、eバイク10のユーザに聞こえやすいように、オーディオ信号のレベルが調整される。したがって、自動車の接近に対する安全性の向上を図ることや、並走者との会話をしやすくすることができる。
【0124】
図15において、オーディオ信号処理装置250は、認識部251、コンテンツ取得部252、マルチチャンネル化部253、及び、信号処理部254を有する。
【0125】
認識部251には、センサ部129が出力するセンサ情報が供給される。認識部251は、センサ情報に基づいて、eバイク10のユーザの状態(ユーザが乗っているeバイク10の状態を含む)及び周囲の状況のうちの一方又は両方を認識し、その認識結果を表す認識情報を、コンテンツ取得部252及び信号処理部254に供給する。
【0126】
例えば、認識部251は、センサ部129を構成するマイクが出力するセンサ情報としてのオーディオ信号に基づいて、ユーザの発話の有無を、ユーザの状態として認識(検出、判定)する。また、例えば、認識部251は、センサ部129を構成するIMUが出力するセンサ情報に基づいて、ユーザ(が乗っているeバイク10の)走行速度を、ユーザの状態として認識する。さらに、例えば、認識部251は、eバイク10のスタンドの状態を検出するセンサが出力するセンサ情報に基づいて、ユーザ(が乗っているeバイク10)が走行中か、停止しているか等を、ユーザの状態として認識する。また、例えば、認識部251は、センサ部129を構成する、シート31や、背もたれ32、ハンドル41等に設けられた圧力センサが出力するセンサ情報としての圧力に基づいて、例えば、ユーザが着座しているかや、起立しているか、ユーザの姿勢等を、ユーザの状態として認識する。
【0127】
例えば、認識部251は、センサ部129を構成するマイクが出力するセンサ情報としてのオーディオ信号に基づいて、周囲にいる他者の発話の有無や、eバイク10に近づく自動車の音(エンジン音や、クラクションの音、緊急車両のサイレン音等)等の危険を知らせる音等の特定音等を、周囲の状況として認識する。また、例えば、認識部251は、センサ部129を構成するカメラや測距センサが出力するセンサ情報としての画像(距離画像を含む)に基づいて、後方等からの自動車等の接近等を、周囲の状況として認識する。なお、認識部251は、オーディオ信号に基づいて、周囲にいる他者の発話の有無や、特定音等の認識を行う他、発話の音源(他者)や、特定音の音源(自動車等)が位置する方向を分析する方位分析により、音源が位置する方向を認識することができる。
【0128】
コンテンツ取得部252は、認識部251からの認識情報に基づいて、例えば、周囲の状況(景色等)に合った楽曲や、eバイク10の状態等に合った効果音等のコンテンツのオーディオ信号を取得する。コンテンツのオーディオ信号の取得は、サーバ111から受信するか、eバイク10が内蔵する図示せぬメモリから読み出すか、又は、生成することによって行われる。コンテンツの生成は、例えば、生成AIその他任意の方法により行うことができる。コンテンツ取得部252は、コンテンツの2チャンネルのオーディオ信号を取得し、マルチチャンネル化部253に供給する。
【0129】
なお、eバイク10が内蔵するメモリには、例えば、コンテンツとしての所定の効果音のオーディオ信号等を記憶させることができる。所定の効果音としては、例えば、eバイク10のスタンドを蹴り上げたときに鳴らすことができる音や、eバイク10の走行速度に応じてリズムを刻む音等である。
【0130】
マルチチャンネル化部253は、コンテンツ取得部252からのコンテンツのオーディオ信号から、マルチチャンネルのオーディオ信号を生成するマルチチャンネル化の処理を行う。ここでは、マルチチャンネル化の処理において、コンテンツ取得部252からのコンテンツの2チャンネルのオーディオ信号から、ハプティクスデバイス61、並びに、スピーカ71及びスピーカ81~85の7チャンネルのオーディオ信号が生成される。マルチチャンネル化の処理では、例えば、2チャンネルのオーディオ信号から、5.1チャンネルのオーディオ信号を生成し、その5.1チャンネルのオーディオ信号から、7チャンネルのオーディオ信号を生成することができる。マルチチャンネル化部253は、マルチチャンネル化の処理により得られるコンテンツのマルチチャンネルのオーディオ信号を、信号処理部254に供給する。
【0131】
信号処理部254は、マルチチャンネル化部253からのコンテンツの(マルチチャンネルの)オーディオ信号から、オーディオ信号の複数の周波数成分を生成する信号生成処理を行う。信号生成処理は、例えば、各チャンネルのオーディオ信号に対するフィルタ処理(イコライザをかけること)によって行われる。フィルタ処理は、ローパスフィルタ若しくはハイパルフィルタ、又は、ローパスフィルタ及びハイパルフィルタの両方を用いて行われる。信号生成処理としては、例えば、コンテンツのオーディオ信号の低域成分、中域成分、及び、高域成分を生成する3way化の処理を行うことができる。3way化の処理では、ハプティクスデバイス61用のチャンネルのオーディオ信号に、ローパスフィルタがかけられ、スピーカ71用のチャンネルのオーディオ信号に、ローパスフィルタ及びハイパルフィルタの両方がかけられる。さらに、スピーカ81~85用のチャンネルのオーディオ信号に、ハイパルフィルタがかけられる。これにより、コンテンツのオーディオ信号の低域成分、中域成分、及び、高域成分の3つの周波数成分が生成される。
【0132】
信号処理部254は、コンテンツのオーディオ信号の低域成分、中域成分、及び、高域成分に必要な信号処理を施す。信号処理部254は、信号処理の結果得られるオーディオ信号の低域成分を、ハプティクスユニット128においてオーディオ信号の低域成分(の再生)を担当するハプティクスデバイス61に供給する。さらに、信号処理部254は、信号処理の結果得られるオーディオ信号の中域成分を、オーディオユニット130においてオーディオ信号の中域成分(の再生)を担当する中域スピーカとしてのスピーカ71に供給する。また、信号処理部254は、信号処理の結果得られるオーディオ信号の高域成分を、オーディオユニット130においてオーディオ信号の高域成分(の再生)を担当する高域スピーカとしてのスピーカ81~85に供給する。
【0133】
なお、ここでは、信号生成処理として、コンテンツのオーディオ信号から、低域成分、中域成分、及び、高域成分の3つの周波数成分を生成する3way化の処理を行うこととしたが、信号生成処理は、これに限定されるものではない。信号生成処理では、コンテンツのオーディオ信号から、低域成分及び高域成分の2つの周波数成分を生成することや、4つ以上の周波数成分を生成することができる。例えば、信号生成処理において、コンテンツのオーディオ信号の低域成分及び高域成分の2つの周波数成分を生成する場合、スピーカ71には、スピーカ81~85とともに、高域成分を担当させるか、スピーカ81~85を設けずに、スピーカ71にだけ、高域成分を担当させるか、又は、スピーカ81~85に高域成分を担当させ、スピーカ71を設けずにeバイク10を構成することができる。
【0134】
<信号処理部254の構成例>
【0135】
図16は、
図15の信号処理部254の構成例を示すブロック図である。
【0136】
なお、以下では、コンテンツのオーディオ信号を、コンテンツ信号ともいう。
【0137】
図16において、信号処理部254は、信号生成部261、レベル調整部262、及び、重畳部263を有する。
【0138】
信号生成部261には、認識部251からの認識情報、及び、マルチチャンネル化部253からの(マルチチャンネルの)コンテンツ信号が供給される。信号生成部261は、信号生成処理として、コンテンツ信号の3way化を行うことで、コンテンツ信号の低域成分、中域成分、及び、高域成分を生成する。さらに、信号生成部261は、コンテンツ信号の低域成分や認識情報に基づいて、ハプティクスデバイス61を駆動するハプティクス信号を生成する。
【0139】
ハプティクス信号の生成では、コンテンツ信号の低域成分に基づいて、その低域成分のフィルタ処理を行うことにより、ハプティクス信号を生成することができる。例えば、生成AI等によって生成されたコンテンツ等の未知のコンテンツ(音源)のコンテンツ信号については、そのコンテンツ信号の低域成分に基づいて、ハプティクス信号が生成される。
【0140】
また、ハプティクス信号の生成では、例えば、eバイク10が内蔵する図示せぬメモリから、ハプティクス信号を読み出すことにより行うことができる。すなわち、例えば、既知のコンテンツ(音源)についてのハプティクス信号については、効果的なハプティクス信号をあらかじめ作成しておき、eバイク10が内蔵するメモリに記憶させておくことができる。そして、そのメモリからのハプティクス信号の読み出しを、ハプティクス信号の生成として行うことができる。既知のコンテンツとは、例えば、eバイク10のスタンドを蹴り上げたときに鳴らす効果音や、eバイク10の走行速度に応じてリズムを刻む効果音、サーバ111から受信する楽曲のコンテンツ等のあらかじめ用意されたコンテンツ等である。信号生成部261は、eバイク10のスタンドの蹴り上げや、eバイク10の走行速度を、認識情報から認識することができる。信号生成部261は、eバイク10のスタンドの蹴り上げや、eバイク10の走行速度等の認識情報に応じて、eバイク10のスタンドを蹴り上げたときに鳴らす効果音や、eバイク10の走行速度に応じてリズムを刻む効果音等のハプティクス信号を生成する。
【0141】
また、信号生成部261は、コンテンツ信号の中域成分を遅延することにより、コンテンツ信号の高域成分よりも遅延した中域成分を生成することができる。なお、中域成分を遅延する遅延時間としては、先行音効果(ハース効果)が生じる時間、例えば、0秒より大きく0.04秒以下の時間を採用することができる。
【0142】
レベル調整部262には、認識部251からの認識情報、及び、信号生成部261で生成されたコンテンツ信号の低域成分(に対応するハプティクス信号)、中域成分、及び、高域成分が供給される。レベル調整部262は、コンテンツ信号中域成分、及び、高域成分による音圧が、eバイク10に乗ったユーザの位置で略同一になるように、コンテンツ信号の中域成分、及び、高域成分のレベルを調整する。コンテンツ信号の低域成分(に対応するハプティクス信号)も、その低域成分に従ったハプティクスデバイス61の振動によりユーザが感じる音圧が、中域成分、及び、高域成分による音圧と略同一になるように調整される。さらに、レベル調整部262は、認識情報に基づいて、コンテンツ信号の高域成分のレベルを調整する。
【0143】
重畳部263には、認識部251からの認識情報、信号生成部261で生成されたコンテンツ信号の高域成分、及び、センサ部129を構成するマイクで検出(集音)されたオーディオ信号が供給される。重畳部263は、認識情報に基づいて、eバイク10への自動車の接近等の危険を認識した場合に、危険を通知する危険通知音のオーディオ信号を、コンテンツ信号の高域成分に重畳する。例えば、重畳部263は、センサ部129からのオーディオ信号から、eバイク10に接近する自動車の音のオーディオ信号を分離する。さらに、重畳部263は、自動車の音のオーディオ信号をエンハンスし、そのエンハンス後の自動車の音のオーディオ信号を、危険通知音のオーディオ信号として、コンテンツ信号の高域成分に重畳する。
【0144】
<3way化の処理>
【0145】
図17は、信号生成部261による3way化の処理の例を説明する図である。
【0146】
3way化の処理では、コンテンツ信号を低域成分、中域成分、及び、高域成分に帯域分割したかのような低域成分、中域成分、及び、高域成分生成される。
【0147】
低域成分は、例えば、略100Hz~300Hz以下の周波数成分である。中域成分は、略100Hz~300Hz以上略1kHz~5kHz以下の周波数成分である。高域成分は、略1kHz~5kHz以上の周波数成分である。
【0148】
コンテンツ信号の低域成分は、その低域成分(に対応するハプティクス信号)が、eバイク10の走行中であっても振動を感じやすい背中が接触する背もたれ32に配置されたハプティクスデバイス61に供給されることにより出力される。
【0149】
コンテンツ信号の中域成分は、その中域成分が、eバイク10に乗った状態のユーザ(の頭部(耳))の方向に向き、かつ、そのユーザの前方下方に位置するように配置された中域スピーカとしてのスピーカ71に供給されることにより出力される。
【0150】
コンテンツ信号の高域成分は、その高域成分が、eバイク10に乗った状態のユーザ(の頭部(耳))の方向に向き、かつ、そのユーザの耳の高さ付近の高さに位置するように配置された高域スピーカとしてのスピーカ81~85に供給されることにより出力される。なお、
図1及び
図2で説明したように、スピーカ81~83は、ハンドル41に固定された支持具80に支持され、スピーカ84及び85は、背もたれ32に支持されている。これらのスピーカ81~85は、eバイク10へのユーザの乗り降りを大きく妨げない範囲で、eバイク10に乗った状態のユーザの耳の近くに配置することができる。
【0151】
図18は、ハプティクスデバイス61によるコンテンツ信号の低域成分の出力を説明する図である。
【0152】
コンテンツ信号の波長の長い低域成分については、スピーカから出力すると、音漏れの抑制が困難である。そこで、コンテンツ信号の低域成分を、背もたれ32に配置されたハプティクスデバイス61の振動として出力することにより、音漏れを抑制することができる。背もたれ32に配置されたハプティクスデバイス61の振動により、ユーザの背骨(背中)が加振され、ユーザは、コンテンツ信号の低域成分を、触覚の刺激により音として(音のように)感じることができる。
【0153】
図19は、中域スピーカとしてのスピーカ71によるコンテンツ信号の中域成分の出力を説明する図である。
【0154】
コンテンツ信号の中域成分は、eバイク10に乗った状態のユーザの方向に向き、かつ、そのユーザの前方下方に位置するように配置されたスピーカ71から出力される。したがって、コンテンツ信号の中域成分は、ユーザの前方下方のスピーカ71から、eバイク10の後方斜め上方向に出力される。その結果、eバイク10の前後左右方向への音漏れを抑制することができる。
【0155】
なお、
図16で説明したように、信号生成部261は、コンテンツ信号の高域成分よりも遅延した中域成分を生成する。その結果、コンテンツの高域成分は、コンテンツの中域成分よりも、eバイク10に乗った状態のユーザに、時間的に早く到達する。その結果、先行音効果により、ユーザは、中域成分を出力する中域スピーカとしてのスピーカ71の位置ではなく、高域成分を出力する高域スピーカとしてのスピーカ81~85の位置に、音像を認識することができる。
【0156】
図20は、高域スピーカとしてのスピーカ81~85によるコンテンツ信号の高域成分の出力を説明する図である。
【0157】
コンテンツ信号の高域成分は、eバイク10に乗った状態のユーザの方向に向き、かつ、そのユーザの耳の高さ付近の高さに位置するように配置された高域スピーカとしてのスピーカ81~85から出力される。
【0158】
高域成分は、狭指向性の制御がしやすく、そのような高域成分を、eバイク10に乗った状態のユーザの方向に向き、かつ、そのユーザの耳の高さ付近の高さに位置するように配置されたスピーカ81~85から出力することで、周囲への音漏れを抑制することができる。さらに、
図16及び
図19で説明したように、コンテンツ信号の中域成分は、高域成分よりも遅延されるので、高域成分は、コンテンツの中域成分よりも、ユーザに、時間的に早く到達する。その結果、先行音効果により、ユーザは、高域成分を出力する高域スピーカとしてのスピーカ81~85の位置に、音像を認識することができる。
【0159】
なお、高域成分を出力する高域スピーカは、径が15mm~18mm程度の小型のスピーカユニットで構成することができる。したがって、高域スピーカとしてのスピーカ81~85としては、小型のスピーカを採用することができ、そのような小型のスピーカを採用することで、配置の自由度が向上する。
【0160】
ここで、信号生成処理としての3way化の処理において生成するオーディオ信号(コンテンツ信号)の各周波数成分の周波数帯や、中域スピーカとしてのスピーカ71及び高域スピーカとしてのスピーカ81~85の配置位置及び配置角度は、上述したものに限定されるものではない。すなわち、本技術は、自転車以外の各種の移動体に適用することができる。そして、本技術を各種移動体に適用するにあたり、3way化の処理において生成するオーディオ信号の各周波数成分の周波数帯や、中域スピーカ及び高域スピーカの配置位置及び配置角度は、本技術を適用する移動体に応じて、音漏れを抑制するように設定することができる。
【0161】
また、信号生成部261では、コンテンツ信号の中域成分を遅延することとしたが、中域成分の他、低域成分(に対応するハプティクス信号)も、同様に遅延することができる。低域成分については、例えば、低域成分を出力するハプティクスデバイス61の配置位置に応じて、遅延の有無を設定することができる。すなわち、ハプティクスデバイス61は、背もたれ32以外にも、ハプティクスデバイス61による振動が、eバイク10に乗った状態のユーザの触覚を刺激することができる位置に配置することができる。そして、低域成分の遅延の有無は、ハプティクスデバイス61の配置位置に応じて設定することができる。
【0162】
ここでは、オーディオ信号(コンテンツ信号)を、低域成分、中域成分、及び、高域成分の3つの周波数成分に3way化し、低域成分については、ユーザに接触する背もたれ32に配置されたハプティクスデバイス61から出力することとした。また、中域成分については、ユーザに向けて、ユーザの前方下方に配置されたスピーカ71から出力することとし、高域成分については、ユーザに向けて、ユーザの耳の高さ付近の高さに配置されたスピーカ81~85から出力することとした。
【0163】
音漏れは、低域成分を、ハプティクスデバイス61から出力すること、中域成分を、ユーザに向けて、ユーザの前方下方に配置されたスピーカ71から出力すること、及び、高域成分を、ユーザに向けて、ユーザの耳の高さ付近の高さに配置されたスピーカ81~85から出力することのうちのいずれか1つ又は2つでも抑制することができる。1つよりも2つを行う方が、音漏れの抑制の効果は大きくなり、2つよりも3つを行う方が、音漏れの抑制の効果はさらに大きくなる。
【0164】
図21は、3way化による音漏れの抑制の程度を説明する図である。
【0165】
図21は、3way化を行った場合と行っていない場合の、eバイク10に乗ったユーザから2mの位置における音の減衰量の測定結果を示している。なお、
図21では、減衰量がマイナスの値(dB)で示されている。
【0166】
例えば、ユーザの真後ろでは、3way化を行っていない場合には、減衰量が約5dBになっているのに対して、3way化を行った場合には、減衰量が約7.5dBになっている。したがって、3way化を行った場合には、行っていない場合よりも、約2.5dBだけ減衰量が多く、音漏れが抑制されることを確認することができる。
【0167】
なお、減衰量の測定は、壁がある室内で行われたため、音の反射や定在波の影響があるが、それでも、測定結果によれば、eバイク10に乗ったユーザの周囲のほとんどにおいて、音漏れが抑制されることを確認することができる。
【0168】
ここで、ハプティクスデバイス61、中域スピーカとしてのスピーカ71、及び、高域スピーカとしてのスピーカ81~85の配置位置は、上述した配置位置に限定されるものではない。また、高域スピーカは、スピーカ81~85に限定されるものではない。
【0169】
例えば、ハプティクスデバイス61は、ハプティクスデバイス61による振動が、乗った状態のユーザの触覚を刺激することができる任意の位置に配置することができる。例えば、ハプティクスデバイス61は、背もたれ32の他、ユーザの臀部が接触するシート31や、ユーザの掌部が接触するハンドル41に配置することができる。また、ハプティクスデバイス61としては、複数のハプティクスデバイスを、複数の位置に配置することができる。
【0170】
図22は、高域スピーカの配置と、高域スピーカの名称とを示す図である。
【0171】
高域スピーカについては、高さに関しては、eバイク10に乗ったユーザの耳の高さ付近の高さに配置される。
【0172】
eバイク10に乗ったユーザの正面方向の位置に配置される高域スピーカを、スピーカCともいい、ユーザの正面左方向の位置、及び、正面右方向の位置に配置される高域スピーカを、それぞれ、スピーカFL及びFRともいう。
【0173】
また、ユーザの左(やや後方)の位置、及び、右(やや後方)の位置に配置される高域スピーカを、それぞれ、スピーカSL及びSRともいう。
【0174】
さらに、ユーザの真後ろの方向の位置に配置される高域スピーカを、スピーカSBともいい、ユーザの後方左の位置、及び、後方右の位置に配置される高域スピーカを、それぞれ、スピーカSBL及びSBRともいう。
【0175】
高域スピーカとしては、5チャンネルのスピーカC、FL、FR、SL、SRに該当するスピーカ81~85の他、例えば、7チャンネルのスピーカFL、C、FR、SR、SL、SBR、SBLや、6チャンネルのスピーカFL、FR、SR、SL、SBR、SBLを採用することができる。その他、高域スピーカとしては、例えば、4チャンネルのスピーカFL、FR、SR、SLや、3チャンネルのスピーカFL、FR、SB、3チャンネルのスピーカC、SR、SL、2チャンネルのスピーカC、SB等を採用することができる。
【0176】
<レベル調整部262によるコンテンツ信号のレベルの調整>
【0177】
図23は、レベル調整部262による認識情報に基づくコンテンツ信号の高域成分のレベルの調整の第1の例を説明する図である。
【0178】
なお、以下では、eバイク10が高域スピーカとして、スピーカ82~84に該当する4チャンネルのスピーカFL、FR、SL、SRを有することとして、スピーカFL、FR、SL、SRが出力するコンテンツ信号の高域成分のレベルの調整について説明する。但し、レベルの調整の対象となるオーディオ信号の高域成分を出力する高域スピーカとしては、4チャンネルのスピーカFL、FR、SL、SRの他、例えば、7チャンネルのFL、C、FR、SR、SL、SBR、SBLを採用することができる。その他、例えば、6チャンネルのスピーカFL、FR、SR、SL、SBR、SBLや、5チャンネルのスピーカFL、C、FR、SR、SL、3チャンネルのスピーカFL、FR、SB、3チャンネルのスピーカC、SR、SL、2チャンネルのスピーカC、SB等を採用することができる。
【0179】
図23は、認識情報が、eバイク10の周囲としての所定の範囲に、物体が存在しないことを表す場合の、コンテンツ信号の高域成分のレベルの調整の例を示している。
【0180】
eバイク10の周囲に、物体が存在しない場合、音漏れ範囲が、あらかじめ設定された所定の範囲となるように、スピーカFL、FR、SL、SRが出力するコンテンツ信号の高域成分のレベルを、略同一レベルに調整することができる。略同一レベルとは、eバイク10に乗った状態のユーザの位置における音圧が略同一であることを意味する。音漏れ範囲とは、コンテンツ信号に対応する音のレベルが所定値以上の範囲である。所定値としては、例えば、感性評価を行って、人が迷惑であると感じない音の最大レベルを設定することができる。また、所定値は、周囲の環境音のレベルに基づいて、環境音のレベルが大きい場合には、大きい値に制御し、環境音のレベルが小さい場合には、小さい値に制御することができる。
【0181】
以下、eバイク10の周囲に、物体が存在しない場合のスピーカFL、FR、SL、SRが出力するコンテンツ信号の高域成分のレベルを、デフォルトレベルともいう。
【0182】
レベル調整部262は、認識情報に基づいて、スピーカFL、FR、SL、SRの全部又は一部が出力するコンテンツ信号の高域成分のレベルを下げる。
【0183】
例えば、レベル調整部262は、スピーカFL、FR、SL、SRのうちの、eバイク10に乗った状態のユーザから見て、音漏れを抑制したい方向と反対方向に位置するスピーカが出力するコンテンツ信号の高域成分のレベルを小さくすることを、周囲への音漏れの配慮として行うことができる。
【0184】
スピーカFL、FR、SL、SRの指向性、すなわち、スピーカFL、FR、SL、SRが、ユーザの方向を向いていることを考慮し、音漏れを抑制したい方向と反対方向に位置するスピーカが出力するオーディオ信号の高域成分のレベルを小さくすることで、音漏れを抑制したい方向の音漏れ範囲が小さくなり、音漏れが抑制される。
【0185】
また、例えば、レベル調整部262は、スピーカFL、FR、SL、SRのうちの、eバイク10に乗った状態のユーザから見て、ユーザが周囲の音を聞きたい方向に位置するスピーカが出力するコンテンツ信号の高域成分のレベルを小さくすることを、ユーザに対する周囲の音の聞こえやすさの配慮として行うことができる。
【0186】
スピーカFL、FR、SL、SRの指向性、すなわち、スピーカFL、FR、SL、SRが、ユーザの方向を向いていることを考慮し、ユーザが周囲の音を聞きたい方向に位置するスピーカが出力するコンテンツ信号の高域成分のレベルを小さくすることで、ユーザは、周囲の音を聞きたい方向の音を聞きやすくなる。
【0187】
以上のような、周囲への音漏れの配慮としてのコンテンツ信号の高域成分のレベルの調整、及び、ユーザに対する周囲の音の聞こえやすさの配慮としてのコンテンツ信号の高域成分のレベルの調整は、一方だけでなく、両方同時に行うことができる。
【0188】
図24は、レベル調整部262による認識情報に基づくコンテンツ信号の高域成分のレベルの調整の第2の例を説明する図である。
【0189】
図24は、認識情報が、eバイク10が横断歩道の手前で一時停止したことを表す場合や、一時停止したeバイク10の前に、人(歩行者)が存在することを表す場合の、コンテンツ信号の高域成分のレベルの調整の例を示している。
【0190】
eバイク10が横断歩道の手前で一時停止した場合や、一時停止したeバイク10の前に、人が存在する場合、音漏れを抑制したい方向は、横断歩道や人が存在する前方である。そのため、前方の反対方向に位置する、例えば、スピーカSL、SRが出力するコンテンツ信号の高域成分のレベルをデフォルトレベルより(所定値だけ)小さく調整することができる。
【0191】
この場合、前方の音漏れ範囲が小さくなり、横断歩道を歩行者が渡っている場合の、その歩行者や、前方に存在する人への音漏れを抑制することができる。
【0192】
図25は、レベル調整部262による認識情報に基づくコンテンツ信号の高域成分のレベルの調整の第3の例を説明する図である。
【0193】
図25は、認識情報が、ユーザがeバイク10から降りて、eバイク10を手押ししていることを表す場合や、ユーザがeバイク10から離れたことを表す場合の、コンテンツ信号の高域成分のレベルの調整の例を示している。
【0194】
ユーザがeバイク10から降りて、eバイク10を手押ししている場合や、ユーザがeバイク10から離れた場合、eバイク10の全方向の音漏れを抑制することが適切である。そのため、全方向の各方向の反対方向に位置する、例えば、すべてのスピーカFL、FR、SL、SRが出力するコンテンツ信号の高域成分のレベルをデフォルトレベルより小さく調整することができる。
【0195】
この場合、eバイク10の周囲の全方向の音漏れ範囲が小さくなり、eバイク10の近くに存在する人への音漏れを抑制することができる。
【0196】
なお、ユーザがeバイク10から離れた場合には、スピーカFL、FR、SL、SRが出力するコンテンツ信号の高域成分のレベルの調整として、スピーカFL、FR、SL、SRからのコンテンツ信号の高域成分の出力を停止することができる。
【0197】
図26は、レベル調整部262による認識情報に基づくコンテンツ信号の高域成分のレベルの調整の第4の例を説明する図である。
【0198】
図26は、認識情報が、走行中のeバイク10の右後方から、人が接近していることを表す場合の、コンテンツ信号の高域成分のレベルの調整の例を示している。
【0199】
走行中のeバイク10の右後方から、人が接近している場合、例えば、自転車やキックスケータに乗った人が接近している場合、音漏れを抑制したい方向は、人が接近してくる右後方である。そのため、右後方の反対方向に位置する、例えば、スピーカFLが出力するコンテンツ信号の高域成分のレベルをデフォルトレベルより小さく調整することができる。
【0200】
この場合、右後方の音漏れ範囲が小さくなり、右後方から接近してくる人への音漏れを抑制することができる。
【0201】
図27は、レベル調整部262による認識情報に基づくコンテンツ信号の高域成分のレベルの調整の第5の例を説明する図である。
【0202】
図27は、認識情報が、走行中のeバイク10と並んで、人が並走しており、その並走している人(並走者)とユーザが会話をしていることを表す場合の、コンテンツ信号の高域成分のレベルの調整の例を示している。
【0203】
走行中のeバイク10の右に存在する並走者とユーザが会話をしている場合、例えば、並走者としての友人が、自転車に乗って、走行中のeバイク10の右側を並走し、ユーザと会話している場合、音漏れを抑制したい方向は、並走者が存在する右方向である。そのため、右方向の反対方向に位置する、例えば、スピーカFL及びSLが出力するコンテンツ信号の高域成分のレベルをデフォルトレベルより小さく調整することができる。
【0204】
この場合、
図27のAに示すように、右方向の音漏れ範囲が小さくなり、右方向の並走者への音漏れを抑制することができる。
【0205】
また、走行中のeバイク10の右に存在する並走者とユーザが会話をしている場合、ユーザが周囲の音を聞きたい方向は、並走者が存在する右方向である。そのため、
図27のBに示すように、右方向に位置する、例えば、スピーカFR、SRが出力するコンテンツ信号の高域成分のレベルをデフォルトレベルより小さく調整することができる。
【0206】
右方向に位置するスピーカFR、SRが出力するコンテンツ信号の高域成分のレベルを小さくすることで、ユーザは、右方向に存在する並走者の音声(発話)を聞きやすくなる。
【0207】
以上のような、右方向の並走者への音漏れを抑制するコンテンツ信号の高域成分のレベルの調整と、ユーザが、右方向に存在する並走者の音声を聞きやすくなるコンテンツ信号の高域成分のレベルの調整とは、同時に行うことができる。
【0208】
例えば、
図27のCに示すように、音漏れを抑制したい方向である、並走者が存在する右方向の反対方向に位置する、例えば、スピーカSLが出力するコンテンツ信号の高域成分のレベルをデフォルトレベルより小さく調整することができる。同時に、
図27のCに示すように、ユーザが周囲の音を聞きたい方向である、並走者が存在する右方向に位置する、例えば、スピーカFR、SRが出力するコンテンツ信号の高域成分のレベルをデフォルトレベルより小さく調整することができる。
【0209】
この場合、
図27のCに示すように、右前方の音漏れ範囲が小さくなり、右方向の並走者への音漏れを抑制することができる。同時に、右方向に位置するスピーカFR、SRが出力するコンテンツ信号の高域成分のレベルを小さくすることで、ユーザは、右方向に存在する並走者の音声を聞きやすくなる。
【0210】
なお、走行中のeバイク10に乗っているユーザと、並走者とが会話をしている場合には、上述のように、スピーカFL、FR、SL、SRのうちの一部のスピーカが出力するコンテンツ信号の高域成分のレベルを小さく調整する他、スピーカFL、FR、SL、SRすべてについて、コンテンツ信号の高域成分のレベルを小さく調整することができる。スピーカFL、FR、SL、SRが出力するコンテンツ信号の高域成分のレベルの調整としては、スピーカFL、FR、SL、SRからのコンテンツ信号の高域成分の出力を停止することもできる。
【0211】
また、走行中のeバイク10に乗っているユーザと、並走者とが会話をしている場合については、ユーザが発話しているときには、並走者がユーザの音声を聞き取りやすいように、並走者側である右側と反対方向(左方向)に位置するスピーカFL、SLが出力するコンテンツ信号の高域成分のレベルを小さく調整し、並走者側である右側の音漏れ範囲を小さくすることができる。さらに、並走者が発話しているときには、ユーザが並走者の音声を聞き取りやすいように、並走者側である右側(右方向)に位置するスピーカFR、SRが出力するコンテンツ信号の高域成分のレベルを小さく調整することができる。
【0212】
ユーザが発話しているか、又は、並走者が発話しているかは、例えば、センサ部129を構成するマイクが出力するオーディオ信号に含まれる音声の音源(話者)の方位分析を行うことで認識することができる。
【0213】
図28は、レベル調整部262による認識情報に基づくコンテンツ信号の高域成分のレベルの調整の第6の例を説明する図である。
【0214】
図28は、認識情報が、走行中のeバイク10の右後方から、自動車(車両)が接近していることを表す場合の、コンテンツ信号の高域成分のレベルの調整の例を示している。
【0215】
走行中のeバイク10の右後方から、自動車が接近している場合、ユーザの安全の観点から、ユーザが周囲の音を聞きたい方向は、接近してくる自動車の方向、すなわち、右後方である。そのため、右後方に位置する、例えば、スピーカSRが出力するコンテンツ信号の高域成分のレベルをデフォルトレベルより小さく調整することができる。
【0216】
右後方に位置するスピーカSRが出力するコンテンツ信号の高域成分のレベルを小さくすることで、ユーザは、右後方から接近する自動車の音を聞きやすくなる。
【0217】
なお、走行中のeバイク10の右後方から、自動車が接近している場合、ユーザが、後方の音を、さらに聞きやすくするために、右後方に位置するスピーカSRの他、左後方に位置するスピーカSLが出力するコンテンツ信号の高域成分のレベルをデフォルトレベルより小さく調整することができる。この場合、接近する自動車の方向である右後方と少しずれた方向である左後方に位置するスピーカSLについては、接近する自動車の方向である右後方とほぼ一致する方向である右後方に位置するスピーカSRよりも、コンテンツ信号の高域成分のレベルを小さくする程度を軽減することができる。
【0218】
図29は、レベル調整部262による認識情報に基づくコンテンツ信号の高域成分のレベルの調整の第7の例を説明する図である。
【0219】
図29は、認識情報が、特定音を認識したことを表す場合の、コンテンツ信号の高域成分のレベルの調整の例を示している。
【0220】
走行中のeバイク10の周辺において、例えば、緊急車両のサイレン音等の特定音が鳴っている場合、ユーザの安全の観点や、緊急車両の走行を妨げることを防止する観点から、ユーザには、特定音が鳴っていることを迅速に認識してもらうことが望ましい。そのため、例えば、すべてのスピーカFL、FR、SL、SRが出力するコンテンツ信号の高域成分のレベルをデフォルトレベルより小さく調整することができる。又は、スピーカFL、FR、SL、SRが出力するコンテンツ信号の高域成分のレベルの調整として、すべてのスピーカFL、FR、SL、SRからのコンテンツ信号の高域成分の出力を停止することができる。
【0221】
また、認識情報が、特定音の音源、例えば、サイレン音を鳴らしている緊急車両が接近していることを表す場合には、スピーカFL、FR、SL、SRのうちの、接近してくる緊急車両の方向に位置するスピーカが出力するコンテンツ信号の高域成分のレベルをデフォルトレベルより小さく調整することができる。
【0222】
例えば、
図29に示すように、走行中のeバイク10の右後方から、サイレン音を鳴らしている緊急車両が接近している場合、ユーザが、右後方の音を聞きやすくするために、同一の右後方に位置するスピーカSRが出力するコンテンツ信号の高域成分のレベルをデフォルトレベルより小さく調整することができる。
【0223】
この場合、上述したように、既に、すべてのスピーカFL、FR、SL、SRが出力するコンテンツ信号の高域成分のレベルが小さく調整されているときには、右後方に位置するスピーカSRが出力するコンテンツ信号の高域成分のレベルを、さらに小さく調整することができる。
【0224】
なお、右後方に位置するスピーカSRについては、コンテンツ信号の高域成分のレベルの調整として、コンテンツ信号の高域成分の出力を停止することができる。
【0225】
また、特定音となる音は、あらかじめ設定することができる。
【0226】
図30は、重畳部263による危険通知音のオーディオ信号の、コンテンツ信号の高域成分への重畳(コンテンツミックス)の例を説明する図である。
【0227】
重畳部263は、認識情報に基づいて、例えば、eバイク10への自動車(車両)の接近等の危険を認識した場合に、危険を通知する危険通知音のオーディオ信号を、コンテンツ信号の高域成分に重畳する。
【0228】
図30では、
図28と同様に、認識情報が、走行中のeバイク10の右後方から、自動車が接近していることを表している。この場合、レベル調整部262では、
図28で説明したように、右後方のスピーカSR、さらには、必要に応じて、左後方のスピーカSLについて、コンテンツ信号の高域成分のレベルをデフォルトレベルより小さく調整することができる。
【0229】
重畳部263は、接近してくる自動車の方向、すなわち、右後方のスピーカSRが出力するコンテンツ信号の高域成分に、危険通知音のオーディオ信号を重畳することができる。
【0230】
危険通知音としては、例えば、自動車の接近等の危険を通知する音声や、所定の警告音を採用することができる。また、危険通知音(のオーディオ信号)としては、例えば、接近してくる自動車の音のオーディオ信号をエンハンスした信号を採用することができる。接近してくる自動車の音のオーディオ信号は、重畳部263において、センサ部129を構成するマイクで集音されたオーディオ信号から、そのオーディオ信号に含まれる、接近してくる自動車の音のオーディオ信号を分離することで得ることができる。
【0231】
以上のように、危険通知音のオーディオ信号を、コンテンツ信号の高域成分に重畳することで、ユーザは、自動車の接近等の危険を迅速に認識し、必要に応じて、その危険を回避する行動をとることができる。
【0232】
以上、本技術を適用したeバイク10について説明したが、本技術は、eバイク10のような電動アシスト自転車(smart bikeを含む)等の自転車の他、各種の移動体に適用することができる。例えば、本技術は、モペッド(ペダル付きオートバイ)や、オートバイ、キックスケータ、車椅子、ゴルフカート等のパーソナルモビリティに適用することができる。その他、例えば、本技術は、自動車や、飛行機、電車、船舶等の各種の移動体に適用することができる。さらに、本技術は、移動体の他、屋内外の一部のスペースに適用することもできる。
【0233】
また、本技術は、自転車等のように、ユーザが外部に露出した状態で乗る移動体に適用可能であることは勿論、クローズドボディを有する自動車(クローズドカー)等のように、ユーザが内部に収容され、外部に露出していない状態で乗る移動体にも適用することができる。
【0234】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0235】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【0236】
なお、本技術は、以下の構成をとることができる。
【0237】
<1>
オーディオ信号の低域成分に従って振動するハプティクスデバイスによる振動が、乗った状態のユーザの触覚を刺激するように、前記ハプティクスデバイスが配置された
移動体。
<2>
前記ハプティクスデバイスが、前記乗った状態のユーザの背中に接触する背もたれに配置された
<1>に記載の移動体。
<3>
前記オーディオ信号の低域成分は、略100Hz~300Hz以下の周波数成分である
<1>又は<2>に記載の移動体。
<4>
前記オーディオ信号の中域成分を出力する中域スピーカが、前記乗った状態のユーザの方向に向き、かつ、前記乗った状態のユーザの前方下方に位置するように配置された
<1>~<3>のいずれかに記載の移動体。
<5>
前記オーディオ信号の高域成分よりも遅延した前記オーディオ信号の中域成分を生成する信号生成部をさらに備える
<4>に記載の移動体。
<6>
前記オーディオ信号の中域成分は、略100Hz~300Hz以上略1kHz~5kHz以下の周波数成分である
<4>又は<5>に記載の移動体。
<7>
前記オーディオ信号の高域成分を出力する高域スピーカが、前記乗った状態のユーザの方向に向き、かつ、前記乗った状態のユーザの耳の高さ付近の高さに位置するように配置された
<1>~<6>のいずれかに記載の移動体。
<8>
前記オーディオ信号の高域成分は、略1kHz~5kHz以上の周波数成分である
<7>に記載の移動体。
<9>
前記高域スピーカとして、複数のスピーカを有する
<7>又は<8>に記載の移動体。
<10>
前記ユーザの状態及び周囲の状況のうちの一方又は両方を認識する認識部と、
前記認識部の認識結果を表す認識情報に基づいて、前記オーディオ信号の高域成分のレベルを調整するレベル調整部と
をさらに備える<9>に記載の移動体。
<11>
前記レベル調整部は、前記複数のスピーカのうちの、前記乗った状態のユーザから見て、音漏れを抑制したい方向と反対方向に位置するスピーカが出力する前記オーディオ信号の高域成分のレベルを小さくする
<10>に記載の移動体。
<12>
前記レベル調整部は、前記複数のスピーカのうちの、前記乗った状態のユーザから見て、周囲にいる人の方向と反対方向に位置するスピーカが出力する前記オーディオ信号の高域成分のレベルを小さくする
<11>に記載の移動体。
<13>
前記レベル調整部は、前記複数のスピーカのうちの、前記乗った状態のユーザから見て、周囲の音を聞きたい方向に位置するスピーカが出力する前記オーディオ信号の高域成分のレベルを小さくする
<10>~<12>のいずれかに記載の移動体。
<14>
前記レベル調整部は、前記複数のスピーカのうちの、前記乗った状態のユーザから見て、接近する車両の方向に位置するスピーカが出力する前記オーディオ信号の高域成分のレベルを小さくする
<13>に記載の移動体。
<15>
前記レベル調整部は、前記複数のスピーカのうちの、前記乗った状態のユーザから見て、特定音の音源の方向に位置するスピーカが出力する前記オーディオ信号の高域成分のレベルを小さくする
<13>に記載の移動体。
<16>
前記レベル調整部は、前記ユーザが降りた状態の場合、前記複数のスピーカすべてが出力する前記オーディオ信号の高域成分のレベルを小さくする
<10>~<15>のいずれかに記載の移動体。
<17>
前記認識情報に基づいて、前記オーディオ信号に、危険を通知する危険通知音のオーディオ信号を重畳する重畳部をさらに備える
<10>~<16>のいずれかに記載の移動体。
<18>
前記重畳部は、前記複数のスピーカのうちの、前記乗った状態のユーザから見て、接近する車両の方向に位置するスピーカが出力する前記オーディオ信号の高域成分に、前記危険通知音のオーディオ信号を重畳する
<17>に記載の移動体。
<19>
前記重畳部は、前記オーディオ信号の高域成分に、前記車両の音をエンハンスした音のオーディオ信号を、前記危険通知音のオーディオ信号として重畳する
<18>に記載の移動体。
<20>
自転車である
<1>~<19>のいずれかに記載の移動体。
【符号の説明】
【0238】
10 eバイク, 20 フレーム, 21 トップチューブ, 22 ダウンチューブ, 31 シート, 32 背もたれ、 41 ハンドル, 42 フロントフォーク, 43 前輪, 44 後輪, 45 ペダル, 51 バッテリ, 61 ハプティクスデバイス, 71 スピーカ, 80 支持具, 81~85 スピーカ, 91 ディスプレイ, 110 情報処理システム, 111 サーバ, 121 SoC, 122 GPS部, 123 BLE部, 124 タッチスクリーン, 125 発光ユニット, 126 マイクロコントローラ, 127 駆動部, 128 ハプティクスユニット, 129 センサ部, 130 オーディオユニット, 141 RFモデム, 142 CPU, 143 GPU, 151 タッチパネル, 161 駆動部, 171 パワーアンプ, 211 スマートフォン, 221 RTOS BLEモジュール, 251 認識部, 252 コンテンツ取得部, 253 マルチチャンネル化部, 254 信号処理部, 261 信号生成部, 262 レベル調整部, 263 重畳部