特許 7474548 オーディオデータの再生の制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-17

(45)【発行日】2024-04-25

(54)【発明の名称】オーディオデータの再生の制御

(51)【国際特許分類】

   G10L 21/0364 20130101AFI20240418BHJP

   H04R 3/00 20060101ALI20240418BHJP

【ＦＩ】

G10L21/0364

H04R3/00 310

【請求項の数】 13

【外国語出願】

(21)【出願番号】P 2022150997

(22)【出願日】2022-09-22

(65)【公開番号】P2023047338

(43)【公開日】2023-04-05

【審査請求日】2022-09-22

(31)【優先権主張番号】21198891

(32)【優先日】2021-09-24

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】519390265

【氏名又は名称】エレクトロビット オートモーティヴ ゲー・エム・ベー・ハー

【氏名又は名称原語表記】Ｅｌｅｋｔｒｏｂｉｔ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

【住所又は居所原語表記】Ａｍ Ｗｏｌｆｓｍａｎｔｅｌ ４６， ９１０５８ Ｅｒｌａｎｇｅｎ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】クリストフ ルエス

【審査官】毛利 太郎

(56)【参考文献】

【文献】特開２０２０－１９７６５１（ＪＰ，Ａ）

【文献】特開２０１２－０２５２７０（ＪＰ，Ａ）

【文献】特開２０１３－２０５６８０（ＪＰ，Ａ）

【文献】特開平０９－３３００８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １３／００ － ２５／９３

Ｈ０４Ｒ １／００ － ３１／００

Ｇ１０Ｋ １１／００ － １１／３６

(57)【特許請求の範囲】

【請求項1】

オーディオデータ（ＡＤ）の再生を制御するための、装置（２０）が行う方法であって、
－ 前記オーディオデータ（ＡＤ）の再生と同時にユーザに伝えられる音声信号（ＳＰ）を受信すること（Ｓ１）と、
－ 調整されたオーディオデータ（ＡＡＤ）を取得するために、前記オーディオデータ（ＡＤ）の選択された要素（Ｅ）の音量及び／又はスペクトル外観を修正すること（Ｓ２）と、
－ 前記調整されたオーディオデータ（ＡＡＤ）を再生すること（Ｓ３）と
を含む、方法において、
前記オーディオデータ（ＡＤ）の前記選択された要素（Ｅ）を、前記オーディオデータ（ＡＤ）のバックグラウンドトラックの処理とは別個に、前記オーディオデータ（ＡＤ）のフォアグラウンドトラック内の音声コンテンツを弱めるか又は除去することによって修正する（Ｓ２）ことを特徴とする、
方法。

【請求項2】

前記調整されたオーディオデータ（ＡＡＤ）と同時に、前記受信された音声信号（ＳＰ）を再生すること（Ｓ４）を更に含む、請求項１に記載の方法。

【請求項3】

前記受信された音声信号（ＳＰ）を再生すること（Ｓ４）は、前記オーディオデータ（ＡＤ）と関連付けられたメタ情報に基づいて且つ／又は外部データに基づいて遅延される、請求項２に記載の方法。

【請求項4】

伝えられる前記音声信号（ＳＰ）は、アナウンス、通知、音声通話の音声情報又は別のユーザによって発せられた音声情報である、請求項１又は２に記載の方法。

【請求項5】

前記オーディオデータ（ＡＤ）の前記選択された要素（Ｅ）は、バックグラウンドの音楽をフィルタリングすることによって更に調整される（Ｓ２）、請求項１又は２に記載の方法。

【請求項6】

前記オーディオデータ（ＡＤ）の前記選択された要素（Ｅ）は、前記オーディオデータ（ＡＤ）のセグメントをループさせることによって更に調整される（Ｓ２）、請求項１又は２に記載の方法。

【請求項7】

前記音声信号（ＳＰ）の再生速度は、前記ループされたセグメントの持続時間に適合される、請求項６に記載の方法。

【請求項8】

前記調整されたオーディオデータ（ＡＡＤ）の持続時間は、前記受信された音声信号（ＳＰ）の持続時間に依存する、請求項１又は２に記載の方法。

【請求項9】

前記調整されたオーディオデータ（ＡＡＤ）の前記持続時間は、前記音声信号（ＳＰ）に続く前記ユーザによるフィードバックを可能にする、請求項８に記載の方法。

【請求項10】

コンピュータプログラムコードであって、命令を含み、前記命令は、少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、オーディオデータ（ＡＤ）の再生を制御するために、請求項１又は２に記載の方法を実施させる、コンピュータプログラムコード。

【請求項11】

オーディオデータ（ＡＤ）の再生を制御するための装置（２０）であって、
－ 前記オーディオデータ（ＡＤ）の再生と同時にユーザに伝えられる音声信号（ＳＰ）を受信する（Ｓ１）ように構成された受信ユニット（２２）と、
－ 調整されたオーディオデータ（ＡＡＤ）を取得するために、前記オーディオデータ（ＡＤ）の選択された要素（Ｅ）の音量及び／又はスペクトル外観を修正する（Ｓ２）ように構成された修正ユニット（２３）と、
－ 前記調整されたオーディオデータ（ＡＡＤ）を再生する（Ｓ３）ように構成された再生ユニット（２４）と
を含む、装置において、
前記修正ユニット（２３）は、前記オーディオデータ（ＡＤ）の前記選択された要素（Ｅ）を、前記オーディオデータ（ＡＤ）のバックグラウンドトラックの処理とは別個に、前記オーディオデータ（ＡＤ）のフォアグラウンドトラック内の音声コンテンツを弱めるか又は除去することによって修正する（Ｓ２）ように構成されていることを特徴とする、
装置（２０）。

【請求項12】

自動車（４０）において、請求項１１に記載の装置（２０）を含むか、又はオーディオデータ（ＡＤ）の再生を制御するために、請求項１又は２に記載の方法を実施するように構成されることを特徴とする自動車（４０）。

【請求項13】

オーディオデータ（ＡＤ）を再生することができる電子機器（５０）において、請求項１１に記載の装置（２０）を含むか、又はオーディオデータ（ＡＤ）の再生を制御するために、請求項１又は２に記載の方法を実施するように構成されることを特徴とする電子機器（５０）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオデータの再生を制御するための方法、コンピュータプログラムコード及び装置に関する。本発明は、そのような方法又は装置を利用する自動車及び電子機器並びにそのような方法又は装置と共に使用するのに適しているメディアフォーマットに更に関する。

【背景技術】

【0002】

今日の車両は、通常、オーディオデータ、例えば音楽又はオーディオブックなどを再生するためのシステムを備える。そのようなシステムは、車両に関する情報を提供するために使用されることが多く、インフォテインメントシステムとも呼ばれる。

【0003】

オーディオデータの再生中、音声によるアナウンス、例えばナビゲーション指令などを行う必要が生じた場合だけでなく、電話呼び出し又はメッセンジャー若しくはソーシャルメディアからの通知が届いた場合、車両の運転者がそのアナウンス又は電話呼び出しを理解できるようにオーディオ再生を制御する必要がある。現在利用可能な車載インフォテインメントシステムでは、音声によるアナウンスは、通常、少なくとも幾つかのスピーカーについて、現在再生されているメディアの音量を下げるのみである。

【0004】

この点に関して、（特許文献１）は、車両における音声プロンプトを強化するための装置を開示している。この装置は、車両内の複数のスピーカーに電気的に結合されたオーディオプロセッサを含む。オーディオプロセッサは、娯楽データを、車両で再生するために複数のスピーカーに提供し、且つ車両内の運転者に向けて出力される音声オーディオのみを表す音声プロンプトを受信するようにプログラムされる。オーディオプロセッサは、音声プロンプトに応答して、複数のスピーカーの第１のスピーカーで再生されている娯楽データを無音にし、且つ音声プロンプトに応答して、音声プロンプトを、運転者に向けて再生するために第１のスピーカーに提供するように更にプログラムされる。

【0005】

残念ながら、現在再生されているメディアの音量を単に下げるのみでは、ナレーターの声が聞き取りにくい場合がある。更に、これにより、音楽又はメディアのリスニング体験が損なわれる。

【0006】

電子システムの処理能力が一層向上するにつれて、インフォテインメントシステムは、現在、より高度なオーディオ処理が可能である。

【0007】

例えば、（特許文献２）は、車両内のスピーカーシステムを介してオーディオを生成するための方法を開示している。車両のマイクのアレイから到来するオーディオ信号が受信され、この到来するオーディオ信号にビーム形成が適用される。次いで、オーディオ信号内において、人間が生成した音が検出されるかどうかが判断される。人間が生成した音が検出されることに応答して、人間によらない音を発するように構成されたスピーカーは、人間によらない音を調整するように指示される。

【0008】

（特許文献３）は、オーディオファイルの再生を音量及び／又は圧縮の観点で調整するための方法を開示している。オーディオファイルは、それぞれ異なる楽器に帰することができる複数のトラックに分割される。オーディオ信号において主要な又は最も音量の大きい楽器が決定され、それぞれの異なる楽器に帰するオーディオ信号の音量の好みに関する設定がアクセスされる。主要な又は最も音量の大きい楽器に帰するオーディオ信号の音量の好みに関する設定は、ユーザ入力に基づいて修正され、これにより、別の楽器に帰するオーディオ信号の音量の好みに関する設定を修正することなく、オーディオファイルが出力される音量が変更される。更に、オーディオ信号は、修正された設定に基づいて増幅されるか又は弱められる。

【先行技術文献】

【特許文献】

【0009】

【文献】米国特許出願公開第２０１７／０１９３９９１Ａ１号明細書

【文献】米国特許出願公開第２０２１／０２０４０５９Ａ１号明細書

【文献】米国特許出願公開第２０１８／００８３５８７Ａ１号明細書

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明の目的は、オーディオデータの再生と同時に、ユーザに音声信号が伝えられるべきである場合にオーディオデータの再生を制御するための改善された解決策を提供することである。

【課題を解決するための手段】

【0011】

この目的は、請求項１に記載の方法、この方法を実装する、請求項１１に記載のコンピュータプログラムコード及び請求項１２に記載の装置によって達成される。この目的は、請求項１３に記載の自動車、請求項１４に記載の電子機器及び請求項１５で規定されるようなオーディオデータによって更に達成される。従属請求項は、以下で説明するような本原理の更なる有利な発展形態及び改良形態を含む。

【0012】

第１の態様によれば、オーディオデータの再生を制御するための方法は、
－ オーディオデータの再生と同時にユーザに伝えられる音声信号を受信するステップと、
－ 調整されたオーディオデータを取得するために、オーディオデータの選択された要素の音量及び／又はスペクトル外観を修正するステップと、
－ 調整されたオーディオデータを再生するステップと
を含む。

【0013】

従って、コンピュータプログラムコードは、命令を含み、この命令は、少なくとも１つのプロセッサによって実行されると、その少なくとも１つのプロセッサに、オーディオデータの再生を制御するために、以下のステップ：
－ オーディオデータの再生と同時にユーザに伝えられる音声信号を受信するステップと、
－ 調整されたオーディオデータを取得するために、オーディオデータの選択された要素の音量及び／又はスペクトル外観を修正するステップと、
－ 調整されたオーディオデータを再生するステップと
を実施させる。

【0014】

コンピュータという用語は、広く理解されなければならない。特に、コンピュータには、モバイル機器、組み込み機器及び他のプロセッサベースのデータ処理機器も含まれる。

【0015】

コンピュータプログラムコードは、例えば、電子的な検索ができるようにされるか、又はコンピュータ可読記憶媒体に保存され得る。

【0016】

別の態様によれば、オーディオデータの再生を制御するための装置は、
－ オーディオデータの再生と同時にユーザに伝えられる音声信号を受信するように構成された受信ユニットと、
－ 調整されたオーディオデータを取得するために、オーディオデータの選択された要素の音量及び／又はスペクトル外観を修正するように構成された修正ユニットと、
－ 調整されたオーディオデータを再生するように構成された再生ユニットと
を含む。

【0017】

従って、本発明による解決策と共に使用するのに特に適しているオーディオデータは、オーディオデータのコンテンツ構造に関するメタ情報を含む。

【0018】

上記で概説した問題を解決するために、本発明によれば、現在再生されているオーディオデータの音量が単に下げられるのではない。代わりに、追加の音声信号の聞き取りやすさが改善されるように、オーディオデータの選択された要素の音量又はスペクトル外観が調整される。高度なオーディオ処理機能、例えば従来のフィルタ及びコンテンツ認識セパレータ又はフィルタ並びに新しいステムベース又はオブジェクトベースのオーディオフォーマットなどを用いると、オーディオコンテンツを、異なるリスニングシナリオにより良好に適合するように容易に修正又は適合させることができる。必要な要素及び不要な要素を分離することにより、それらの音量及びスペクトル外観を個別に調整することができる。複数のスピーカーを用いるシナリオでは、少なくとも一人の対象人物に向けられたスピーカーに選択的に処理を施すことができる。

【0019】

ステムベース及びオブジェクトベースのオーディオフォーマットは、一層利用可能になっている。これが利用可能ではない場合、コンテンツ認識フィルタ又は機械学習ベースの方式、例えばＳｐｌｅｅｔｅｒ（ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｄｅｅｚｅｒ／ｓｐｌｅｅｔｅｒ）などは、ミックスダウンからのステム抽出についてもっともな結果をもたらすことができる。高い処理能力が利用可能ではない場合又は低遅延の処理が必要である場合、従来のアルゴリズムで十分な品質を提供することができる。

【0020】

オーディオデータの発生源に応じて、必要な要素及び不要な要素を分離するために、異なるタイプの前処理が施され得る。ラジオなどの生放送のオーディオの場合、従来のフィルタ及び特定の範囲でコンテンツ認識セパレータ又はフィルタを使用する方式が使用され得る。オフラインのメディア又はオフラインのストリーミングメディアの場合、従来のフィルタ及びコンテンツ認識フィルタが使用され得る。ステムベースのメディア及びオブジェクトベースのメディアの場合、前処理は、必要ではなく、なぜなら、要素は、ステム又はオブジェクトによって定義されるからである。

【0021】

有利な実施形態では、受信された音声信号は、調整されたオーディオデータと同時に再生される。受信された音声信号が、オーディオデータも再生するために使用されるオーディオシステムによってユーザに伝えられる場合、音声信号は、調整されたオーディオデータと一緒にこのシステムによって再生される。このようにして、調整されたオーディオデータ及び音声信号は、最適に同期される。

【0022】

有利な実施形態では、受信された音声信号を再生することは、オーディオデータに関連付けられたメタ情報に基づいて且つ／又は外部データに基づいて遅延される。外部ソース又はコンテンツの分析及び検出を通してオーディオデータと一緒に提供され得る追加のメタ情報を用いて、音声信号の再生は、オーディオデータの流れとよりよく統合させるために故意に遅延され得る。例えば、再生は、間奏中又はコーラス前に開始し得る。これにより、リスニング体験の向上がもたらされる。再生の遅延は、優先度などの異なる指標に依存し得る。音声信号の配置は、外部データによっても影響を受け得、例えば運転者の集中力を維持するために情報の流入が低減される。このための指標は、運転状況であり得、運転状況は、地図データ、交通データ若しくはセンサデータ又はユーザのストレス若しくは注意力に関する情報を評価することによって導き出され得る。

【0023】

有利な実施形態では、伝えられる音声信号は、アナウンス、通知、音声通話の音声情報又は別のユーザによって発せられた音声情報である。説明する解決策の主な応用分野は、ナビゲーションコマンドなどのアナウンス又はメッセンジャー若しくはソーシャルメディアからの通知の再生である。この用途では、音声信号の持続時間は、既知であり、再生の開始を容易に制御することができる。しかしながら、説明する解決策は、オーディオデータの再生中に起きる音声通話に対しても同様に有用である。別の用途は、可聴領域内での人間同士の会話を容易にすることである。この目的のために、音声対話のための既存のマイクが使用され得る。

【0024】

有利な実施形態では、オーディオデータの選択された要素は、オーディオデータの音声コンテンツを弱めるか又は除去することによって調整される。音声コンテンツは、通常、最も顕著な要素である。従って、音声を弱めるか又は完全に除去することにより、重なった音声メッセージの聞き取りやすさを大幅に向上させることができる。同時に、バックグラウンドの音楽は、元通りの音量のままであり得る。

【0025】

有利な実施形態では、オーディオデータの選択された要素は、バックグラウンドの音楽をフィルタリングすることによって更に調整される。バックグラウンドの音楽を元通りの音量に保つ代わりに、ナレーションの聴覚的な理解のしやすさを更に向上させるために、バックグラウンドの音楽も同様にフィルタリングされ得る。特に、フィルタは、聞き取りやすさを潜在的に邪魔するスペクトル成分を低減するように適用され得る。

【0026】

有利な実施形態では、オーディオデータの選択された要素は、オーディオデータのセグメントをループさせることによって更に調整される。ループで繰り返され得るセグメントを含む構成では、再生は、追加の音声信号が再生されている間、適切な位置におけるそのようなループ内でトラップされ得る。これは、オーディオデータの仮想的な一時停止に対応する。ループに適したセグメントを決定するために、オーディオデータのコンテンツ構造に関するメタ情報が使用され得る。

【0027】

有利な実施形態では、音声信号の再生速度は、ループされたセグメントの持続時間に適合される。ループで繰り返されるセグメントの長さに関する情報に基づいて、音声信号の再生速度をよりよく時間的に整合するように調整することができる。このようにして、元のオーディオデータの再生を音声信号の終了の直後に再開することができる。

【0028】

有利な実施形態では、調整されたオーディオデータの持続時間は、受信された音声信号の持続時間に依存する。音響的な外観の修正に加えて、重ね合わされたコンテンツに応じて、干渉の持続時間も影響を受け得る。例えば、調整されたオーディオデータの持続時間は、受信された音声信号の持続時間と同一であり得る。代わりに、調整されたオーディオデータの持続時間は、受信された音声信号の持続時間よりもわずかに長い場合がある。これにより、オーディオデータから、重ね合わされた音声信号への突然の変更及びその逆を回避することが可能になる。

【0029】

有利な実施形態では、調整されたオーディオデータの持続時間は、音声信号に続くユーザによるフィードバックを可能にする。ユーザによる応答を必要とするアナウンスの場合、調整されたオーディオデータの持続時間を延長して、返答の予想を知らせ、例えば音声認識を改善することにより対話を向上させ得る。これにより、「音声命令の終了」のための合図音の必要性がなくなり、また音声命令の処理だけでなく、ユーザの注意力にもプラスの影響を与え得る。

【0030】

有利には、オーディオデータを再生することができる自動車又は電子機器は、本発明による装置を含むか、又はオーディオデータの再生を制御するために、本発明による方法を実施するように構成される。本発明の使用は、アナウンス、音声通話又はユーザの会話に特に有用である。例えば、自動車は、乗用車であり得る。電子機器は、例えば、スマートフォン、タブレット、スマートスピーカー又はテレビセットであり得る。

【0031】

本発明の更なる特徴は、図面と共に以下の説明及び添付の特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0032】

【図1】オーディオデータの再生を制御するための方法を概略的に示す。

【図2】オーディオデータの再生を制御するための装置の第１の実施形態を概略的に示す。

【図3】オーディオデータの再生を制御するための装置の第２の実施形態を概略的に示す。

【図4】本発明による解決策が実装される自動車を概略的に示す。

【図5】本発明による解決策が実装される電子機器を概略的に示す。

【図6】本発明による解決策のシステム図を示す。

【発明を実施するための形態】

【0033】

本明細書は、本開示の原理を説明する。従って、当業者であれば、本明細書に明示的に説明又は図示されなくとも、本開示の原理を具現化する様々な構成を考案できることを理解されたい。

【0034】

本明細書に列挙する全ての例及び条件的言語は、技術を促進するために本発明者によって提供される本開示の原理及び概念を読者が理解することを補助するという教育的な目的のためのものであることが意図され、そのように具体的に列挙された例及び条件に限定されないと解釈されるべきである。

【0035】

更に、本開示の原理、態様及び実施形態並びにそれらの具体的な例を列挙した本明細書の記載の全ては、それらの構造的な均等物及び機能的な均等物の両方を包含することが意図される。更に、そのような均等物は、現在既知の均等物及び将来開発される均等物、即ち構造に関わらず、同じ機能を実施する任意の開発された要素の両方を含むことが意図される。

【0036】

従って、例えば、本明細書で提示される図は、本開示の原理を具現化する例示的な回路の概念図を表すことが当業者によって理解されるであろう。

【0037】

図に示される様々な要素の機能は、専用のハードウェア及び適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアの使用を通して提供され得る。機能は、プロセッサによって提供される場合、単一の専用のプロセッサ、単一の共有プロセッサ又は一部が共有され得る複数の個々のプロセッサによって提供され得る。更に、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを専ら指すものと解釈されるべきではなく、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、システムオンチップ、マイクロコントローラ、ソフトウェアを格納するための読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）及び不揮発性ストレージを暗示的に含み得るが、これらに限定するものではない。

【0038】

他の従来の及び／又はカスタムのハードウェアも含まれ得る。同様に、図に示されているスイッチは、何れも単に概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用のロジックを通して、プログラム制御と専用ロジックとの相互作用を通して又は更に手動で実行され得、文脈からより具体的に理解されるように、特定の技法が実装者によって選択可能である。

【0039】

本明細書の特許請求の範囲では、特定の機能を実行するための手段として表された任意の要素は、例えば、任意の形態の、その機能を実施する回路要素又はソフトウェアの組み合わせを含めて、その機能を実施する任意の方法を包含することが意図され、従って、回路要素又はソフトウェアには、そのソフトウェアを実行してその機能を実施するための適切な回路と組み合わされたファームウェア、マイクロコード等が含まれる。そのような特許請求の範囲によって規定される本開示は、列挙される様々な手段によって提供される機能が、特許請求の範囲が要求する態様で組み合わされ且つ結び合わされるという事実にある。従って、それらの機能を提供することができる任意の手段は、本明細書に示されたものと均等であるとみなされる。

【0040】

図１は、オーディオデータの再生を制御するための、本発明による方法を概略的に示す。第１のステップでは、オーディオデータの再生と同時にユーザに伝えられる音声信号、例えばアナウンス、通知、音声通話の音声情報又は別のユーザによって発せられた音声情報などが受信される（Ｓ１）。次いで、調整されたオーディオデータを取得するために、オーディオデータの選択された要素の音量及び／又はスペクトル外観が修正される（Ｓ２）。例えば、オーディオデータの音声コンテンツが弱められるか又は除去され得る。更に、バックグラウンドの音楽がフィルタリングされ得、且つ／又はオーディオデータのセグメントがループで繰り返され得る。有利には、調整されたオーディオデータの持続時間は、受信された音声信号の持続時間に依存する。この持続時間は、音声信号に続くユーザによるフィードバックを可能にし得る。次いで、調整されたオーディオデータが再生される（Ｓ３）。次いで、受信された音声信号は、調整されたオーディオデータと同時に再生され得る（Ｓ４）。しかしながら、受信された音声信号を再生すること（Ｓ４）は、オーディオデータと関連付けられたメタ情報に基づいて且つ／又は外部データに基づいて遅延され得る。更に、オーディオデータのセグメントがループで繰り返される場合、音声信号の再生速度は、ループされたセグメントの持続時間に適合され得る。

【0041】

図２は、オーディオデータＡＤの再生を制御するための、本発明による装置２０の第１の実施形態のブロック図を概略的に示す。装置２０は、入力部２１を有し、この入力部を介して、受信ユニット２２は、オーディオデータＡＤの再生と同時にユーザに伝えられる音声信号ＳＰ、例えばアナウンス、通知、音声通話の音声情報又は別のユーザによって発せられた音声情報などを受信する。オーディオデータＡＤは、同様に、入力部２１を介して受信されるか、又はローカルストレージユニット２６から取り出され得る。修正ユニット２３は、調整されたオーディオデータＡＡＤを取得するために、オーディオデータＡＤの選択された要素Ｅの音量及び／又はスペクトル外観を修正するように構成される。例えば、オーディオデータＡＤの音声コンテンツが弱められるか又は除去され得る。更に、バックグラウンドの音楽がフィルタリングされ得、且つ／又はオーディオデータＡＤのセグメントがループで繰り返され得る。有利には、調整されたオーディオデータＡＡＤの持続時間は、受信された音声信号ＳＰの持続時間に依存する。この持続時間は、音声信号ＳＰに続くユーザによるフィードバックを可能にし得る。再生ユニット２４は、調整されたオーディオデータＡＡＤを再生するように構成される。この目的のために、調整されたオーディオデータＡＡＤは、出力部２７を介して利用可能にされ得る。しかしながら、受信された音声信号ＳＰを再生することは、オーディオデータＡＤと関連付けられたメタ情報に基づいて且つ／又は外部データに基づいて遅延され得る。更に、オーディオデータＡＤのセグメントがループで繰り返される場合、音声信号ＳＰの再生速度は、ループされたセグメントの持続時間に適合され得る。出力部２７を入力部２１と組み合わせて、単一のインターフェースにし得る。ローカルストレージユニット２６は、処理中にデータを記憶するために更に使用され得る。

【0042】

受信ユニット２２、修正ユニット２３及び再生ユニット２４は、制御モジュール２５によって制御され得る。ユーザが受信ユニット２２、修正ユニット２３、再生ユニット２４及び制御モジュール２５の設定を修正できるようにするために、ユーザインターフェース２８が提供され得る。受信ユニット２２、修正ユニット２３、再生ユニット２４及び制御モジュール２５は、専用のハードウェアユニットとして具現化することができる。当然のことながら、それらは、同様に、完全に若しくは部分的に組み合わせて単一のユニットにされ得るか、又はプロセッサ、例えばＣＰＵ若しくはＧＰＵなどで実行されるソフトウェアとして実装され得る。

【0043】

オーディオデータの再生を制御するための、本発明による装置３０の第２の実施形態のブロック図が図３に示されている。装置３０は、処理デバイス３２及びメモリデバイス３１を含む。例えば、装置３０は、コンピュータ、電子制御ユニット又は組み込みシステムであり得る。メモリデバイス３１は、命令を記憶し、この命令は、処理デバイス３２によって実行されると、装置３０に、説明した方法の１つに従ってステップを実施させる。従って、メモリデバイス３１に記憶された命令は、処理デバイス３２によって実行可能な命令のプログラムを具体的に具現化して、本原理に従った本明細書で説明されるようなプログラムステップを実施する。装置３０は、データを受信するための入力部３３を有する。処理デバイス３２によって生成されたデータは、出力部３４を介して利用可能にされる。更に、そのようなデータは、メモリデバイス３１に記憶され得る。入力部３３及び出力部３４を組み合わせて、単一の双方向のインターフェースにし得る。

【0044】

本明細書で使用される処理デバイス３２は、１つ又は複数の処理ユニット、例えばマイクロプロセッサ、デジタル信号プロセッサ又はそれらの組み合わせなどを含み得る。

【0045】

ローカルストレージユニット２６及びメモリデバイス３１は、揮発性及び／又は不揮発性のメモリ領域並びにハードディスクドライブ、光学ドライブ及び／又はソリッドステートメモリなどのストレージデバイスを含み得る。

【0046】

図４は、本発明による解決策が実装される自動車４０を概略的に示す。この例では、自動車４０は、乗用車である。この乗用車は、自動車４０の乗員にオーディオ再生を提供するための複数のスピーカー４１を有する。オーディオ信号は、インフォテインメントシステム４２によってスピーカー４１に提供され得る。この例における自動車４０の更なる構成要素は、ナビゲーションシステム４３と、超音波センサ、レーザースキャナ、ライダーセンサ、レーダーセンサ又はカメラなどの環境センサ４４とである。ナビゲーションシステム４３は、オーディオ再生と並行して再生する必要がある場合があるアナウンスを生成し得る。同様に、環境センサ４４によって導き出されたデータにより、オーディオ再生と並行して再生する必要がある場合がある警告アナウンスが生成され得る。従って、自動車４０は、オーディオデータの再生を制御するための本発明による装置２０を含む。この例では、装置２０は、自己完結型ユニットである。当然のことながら、装置２０は、同様に、例えばインフォテインメントシステム４２に組み込まれ得る。データ伝送ユニット４５により、例えば再生のためのオーディオデータ又は更新されたプログラムコードを受信するために、後部への接続を確立することができる。再生のためのオーディオデータは、Ｂｌｕｅｔｏｏｔｈ、メモリインターフェース、補助入力などのローカルオーディオインターフェースを介しても受信され得る。データを記憶するためにメモリ４６が利用可能である。自動車４０の異なる構成要素間でのデータ交換は、ネットワーク４７を介して行われる。

【0047】

図５は、本発明による解決策が実装される電子機器５０を概略的に示す。この例では、電子機器５０は、スマートフォンである。スマートフォンは、スピーカー５１を有し、このスピーカー５１を介してオーディオ再生が可能である。同様に、オーディオ再生は、スマートフォンのソケット５２に接続されたヘッドセット（図示せず）を介して行われ得る。スマートフォン上で動作するナビゲーションアプリケーションは、画面５３を介してスマートフォンのユーザに視覚的なナビゲーション指示を提供し得る。ナビゲーションアプリケーションは、オーディオ再生と並行して再生する必要がある場合があるアナウンスを更に生成し得る。同様に、メッセンジャー又はソーシャルメディアアプリケーションなどの他のアプリケーションは、再生される必要がある通知を生成し得る。従って、このスマートフォンは、オーディオデータの再生を制御するための本発明による装置２０を含む。

【0048】

図６は、本発明による解決策のシステム図を示す。この例では、ユーザに伝えられる音声信号は、アナウンスである。この図では、太線は、オーディオデータの流れを示し、細い実線は、メタ情報の流れを示し、破線は、制御情報の流れを示す。このシステム図は、３つの異なるドメイン、即ちメディアオーディオドメイン、アナウンスドメイン及び音声認識ドメインに分かれている。オーディオデータは、異なるメディアソースから発せられ得る。アナウンスがない場合、オーディオデータは、単にセレクタＳＥＬに提供され、スピーカーの記号によって表される１つ又は複数のオーディオ出力ＯＵＴに出力される。セレクタＳＥＬは、任意選択的であり、音声信号が統合される必要がある場合にのみ、高度なオーディオ処理が必要であることを表す。

【0049】

しかしながら、アナウンスの場合、異なるメディアソースからのオーディオデータは、メディアオーディオドメインで処理される。例えば、ステムベース又はオブジェクトベースのオーディオファイルがミキサに提供され得、ミキサは、バックグラウンドトラック及びフォアグラウンドトラック、例えば音声コンテンツをメディア再生制御ブロックに出力する。代わりに、従来のオーディオファイル又はライブオーディオは、処理のためにコンテンツ認識オーディオセパレータ又は従来のフィルタに提供され得る。次いで、このオーディオセパレータ又はフィルタは、バックグラウンドトラック及びフォアグラウンドトラックをメディア再生制御ブロックに出力する。メディア再生制御ブロックは、例えば、潜在的に聞き取りやすさを妨げるスペクトル成分を低減するために、バックグラウンドトラックをフィルタＦＩＬに提供する。フォアグラウンドトラックは、減衰させるか又は除去するために利得制御部ＧＣに提供される。

【0050】

補助メタデータソースから取得されるか、又はコンテンツ分析及び検出ブロックによって導出される、オーディオデータに関連付けられ得るメタ情報は、任意選択的な配置及びループ情報ブロックに提供され、この配置及びループ情報ブロックは、アナウンス並びにループ内で繰り返され得るオーディオデータのセグメント（そのようなセグメントが利用可能である場合）の適切な配置を決定する。配置及びループ情報ブロックは、それぞれの情報をアナウンス再生制御ブロックに提供する。アナウンス再生制御ブロックは、メディア再生制御ブロック、フィルタＦＩＬ及び利得制御部ＧＣの動作を適切なタイミングで開始し、アナウンスのオーディオ信号を合成器に提供する。アナウンスの配置は、外部データによっても影響を受け得る。このための指標は、運転状況であり得、運転状況は、地図データ、交通データ若しくはセンサデータ又はユーザのストレス若しくは注意力に関する情報を評価することによって導き出され得る。合成器は、このオーディオ信号を、調整されたフォアグラウンドトラック及び調整されたバックグラウンドトラックと合成し、合成されたオーディオ信号をセレクタＳＥＬに提供する。セレクタＳＥＬは、合成されたオーディオ信号がスピーカーＳＰＫに出力されるように、アナウンス再生制御ブロックによって制御される。

【0051】

音声認識ドメインでは、１つ又は複数のマイクＭＩＣによって取得された音声データが音声認識ブロックによって評価される。音声認識は、アナウンスによってトリガーされ得る。音声認識は、音声認識が完了したという信号をアナウンス再生制御ブロックに提供することが好ましい。このようにして、アナウンス再生制御ブロックは、フォアグラウンドトラック及びバックグラウンドトラックの調整を終了し、セレクタＳＥＬに適切な信号を提供することにより、変更されていないオーディオ再生に戻ることができる。

【符号の説明】

【0052】

２０ 装置
２１ 入力部
２２ 受信ユニット
２３ 修正ユニット
２４ 再生ユニット
２５ 制御モジュール
２６ ローカルストレージユニット
２７ 出力部
２８ ユーザインターフェース
３０ 装置
３１ メモリデバイス
３２ 処理デバイス
３３ 入力部
３４ 出力部
４０ 自動車
４１ スピーカー
４２ インフォテインメントシステム
４３ ナビゲーションシステム
４４ 環境センサ
４５ データ伝送ユニット
４６ メモリ
４７ ネットワーク
５０ 電子機器
５１ スピーカー
５２ ソケット
５３ 画面
ＡＡＤ 調整されたオーディオデータ
ＡＤ オーディオデータ
Ｅ 要素
ＦＩＬ フィルタ
ＧＣ 利得制御部
ＭＩＣ マイク
ＯＵＴ オーディオ出力
ＳＥＬ セレクタ
ＳＰ 音声信号
Ｓ１ 音声信号を受信する
Ｓ２ オーディオデータの選択された要素の音量及び／又はスペクトル外観を修正する
Ｓ３ 調整されたオーディオデータを再生する
Ｓ４ 受信された音声信号を再生する

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】