特許 7037671 オーディオの提示のための装置および関連する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-08

(45)【発行日】2022-03-16

(54)【発明の名称】オーディオの提示のための装置および関連する方法

(51)【国際特許分類】

   H04S 7/00 20060101AFI20220309BHJP

   G10L 19/008 20130101ALI20220309BHJP

   G10L 19/00 20130101ALI20220309BHJP

【ＦＩ】

H04S7/00 300

G10L19/008 100

G10L19/00 330B

【請求項の数】 15

(21)【出願番号】P 2020571769

(86)(22)【出願日】2019-06-17

(65)【公表番号】

(43)【公表日】2021-10-21

(86)【国際出願番号】 EP2019065856

(87)【国際公開番号】W WO2020002023

(87)【国際公開日】2020-01-02

【審査請求日】2021-01-25

(31)【優先権主張番号】18179707.7

(32)【優先日】2018-06-26

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】315002955

【氏名又は名称】ノキア テクノロジーズ オーユー

(74)【代理人】

【識別番号】100127188

【弁理士】

【氏名又は名称】川守田 光紀

(72)【発明者】

【氏名】ラークソネン ラッセ

(72)【発明者】

【氏名】レフティニエミ アルト

(72)【発明者】

【氏名】エロネン アンッティ

(72)【発明者】

【氏名】レッパネン ユッシ

【審査官】冨澤 直樹

(56)【参考文献】

【文献】特開２０１６－１００６７７（ＪＰ，Ａ）

【文献】特開２００６－１１４９４２（ＪＰ，Ａ）

【文献】国際公開第２０１７／２０８８２０（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１７２１１１（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１４／２４７９４５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ ７／００

Ｇ１０Ｌ １９／００８

Ｇ１０Ｌ １９／００

(57)【特許請求の範囲】

【請求項1】

プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、オーディオコンテンツをリモートユーザデバイスから受信し、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信し、
１つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で１つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記１つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信し、
前記プライマリオーディオの提示を提供し、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供する
手段を備える装置。

【請求項2】

前記セカンダリオーディオの重要性情報は、重要であることおよび重要でないことを含む、少なくとも２つのレベルの重要性を規定し、
前記装置は、
前記セカンダリオーディオが重要であることを示す前記セカンダリオーディオの重要性情報に基づいて、前記現在のオーディオ提示情報に基づく前記セカンダリオーディオの提示を提供し、
・ 前記セカンダリオーディオが重要でないことを示す前記セカンダリオーディオの重要性情報、および前記１つ以上のオーディオソースのうちのどれもがオーディオを現在提示していないことを示す前記現在のオーディオ提示情報に基づく、前記セカンダリオーディオの提示の提供、および
・ 前記セカンダリオーディオが重要でないことを示す前記セカンダリオーディオの重要性情報、および前記１つ以上のオーディオソースのうちの少なくとも１つがオーディオを現在提示していることを示す前記現在のオーディオ提示情報に基づく、前記セカンダリオーディオの非提示の提供
のうちの少なくとも１つを行う
ように構成される、請求項１に記載の装置。

【請求項3】

前記手段は、
前記セカンダリオーディオが重要であることを示す前記セカンダリオーディオの重要性情報、および前記１つ以上のオーディオソースのうちの少なくとも１つがオーディオを現在提示していることを示す前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供し、
前記１つ以上のオーディオソースのうちの少なくとも１つの前記オーディオが前記セカンダリオーディオの提示に適応するように提示される、ボリュームまたは方向の前記範囲のうちの一方または両方の修正を提供する
ように構成されている、請求項２に記載の装置。

【請求項4】

前記手段は、前記セカンダリオーディオが重要であることを示す前記セカンダリオーディオの重要性情報、および前記１つ以上のオーディオソースのうちのどれもがオーディオを現在提示していないことを示す前記現在のオーディオ提示情報に基づいて、ユーザの周囲のすべての方向から発生しているとして知覚されるような前記セカンダリオーディオの提示を提供するように構成されている、請求項２または３に記載の装置。

【請求項5】

前記現在のオーディオ提示情報に基づいて、前記１つ以上のオーディオソースの前記オーディオに対応付けられる方向または方向の範囲に重複しない、方向または方向の範囲から発生しているとして知覚されるように、空間オーディオとして前記プライマリオーディオの提示を提供するように構成される、請求項１から４のいずれかに記載の装置。

【請求項6】

前記手段は、
前記オーディオコンテンツについてのデフォルトの知覚場所を規定する、デフォルトの知覚場所情報を受信し、
前記デフォルトの知覚場所から発生しているとして知覚されるように、空間オーディオとして前記オーディオコンテンツの少なくとも前記プライマリオーディオの提示を提供する
ように構成されている、請求項１から５のいずれかに記載の装置。

【請求項7】

前記手段は、
ユーザのユーザオーディオコンテンツを捕捉し、
前記ユーザと、前記リモートユーザデバイスのリモートユーザとの間の通信を提供するために、プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、前記捕捉されたユーザオーディオコンテンツを前記リモートユーザデバイスに送信し、
前記ユーザオーディオコンテンツに対応付けられ、かつ前記リモートユーザデバイスによる使用のための前記ユーザオーディオコンテンツの前記セカンダリオーディオの重要性を示す、前記ユーザから受信されるユーザ入力に基づくセカンダリオーディオの重要性情報を送信する
ように構成されている、請求項１から６のいずれかに記載の装置。

【請求項8】

前記セカンダリオーディオの重要性情報は、
前記ユーザオーディオコンテンツのオーディオ分析、および
前記ユーザの判定された現在の場所
のうちの１つ以上に基づく、請求項７に記載の装置。

【請求項9】

前記手段は、前記捕捉されたユーザオーディオコンテンツに対応付けられた前記セカンダリオーディオの重要性情報が、前記ユーザオーディオコンテンツが重要でないことを示す判定時に、前記捕捉されたユーザオーディオコンテンツの前記送信の前に、プライマリオーディオおよびセカンダリオーディオとして分類されるものから、モノフォニックおよびステレオフォニックオーディオのうちの一方に、前記捕捉されたユーザオーディオコンテンツを修正するか、またはモノフォニックおよびステレオフォニックのうちの一方として前記ユーザオーディオコンテンツを捕捉するように構成されている、請求項７または８に記載の装置。

【請求項10】

前記手段は、ユーザモニタリング情報を前記リモートユーザデバイスに送信するように構成されており、
前記ユーザモニタリング情報は、前記セカンダリオーディオがリモートユーザまたは前記リモートユーザデバイスに少なくとも通知するために提示されているかどうかを示す、請求項１から９のいずれかに記載の装置。

【請求項11】

前記手段は、ユーザモニタリング情報を前記リモートユーザデバイスに送信するように構成されており、
前記ユーザモニタリング情報は、
前記装置が使用されるときに前記オーディオコンテンツがどこから知覚されるかを含む、基準方向に対して規定される方向を含む提示方向であって、前記リモートユーザデバイスによってリモートユーザに前記オーディオコンテンツを提示する際に使用するための当該提示方向、
前記リモートユーザデバイスによって前記リモートユーザに提示するための前記現在のオーディオ提示情報で規定されるように前記ユーザに提示される、前記１つ以上のオーディオソースのうちの少なくとも１つのオーディオ、および
前記オーディオが、前記リモートユーザデバイスによって、前記１つ以上のオーディオソースのうちの前記少なくとも１つの前記オーディオを前記リモートユーザに提示するために取り出され得る、前記現在のオーディオ提示情報で規定されるように前記ユーザに提示される、前記１つ以上のオーディオソースのうちの少なくとも１つへの参照
のうちの１つ以上を示す、請求項１から１０のいずれかに記載の装置。

【請求項12】

前記手段は、
前記リモートユーザデバイスからリモートユーザモニタリング情報を受信し、
・ 提示位置に対応する位置から発生しているとして知覚されるような前記ユーザオーディオコンテンツの提示の提供であって、前記リモートユーザデバイスからの前記リモートユーザモニタリング情報が、前記ユーザオーディオコンテンツが前記リモートユーザデバイスによって提示されるときに知覚される、リモートユーザに対する位置を示す、前記提示位置を含む、当該提供、および
・ 前記リモートユーザに現在提示されている１つ以上のオーディオソースのうちの少なくとも１つの前記オーディオの提示の提供であって、前記リモートユーザデバイスから受信される前記リモートユーザモニタリング情報が、前記オーディオ、または前記リモートユーザに提示される前記１つ以上のオーディオソースのうちの前記少なくとも１つへの参照を含む、当該提供
のうちの１つ以上を行う
ように構成されている、請求項７に記載の装置。

【請求項13】

プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、オーディオコンテンツをリモートユーザデバイスから受信することと、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信することと、
１つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で１つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記１つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信することと、
前記プライマリオーディオの提示を提供することと、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供することと、
を含む方法。

【請求項14】

装置の少なくとも１つのプロセッサ上で実行されると、前記装置に、
プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、オーディオコンテンツをリモートユーザデバイスから受信することと、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信することと、
１つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で１つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記１つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信することと、
前記プライマリオーディオの提示を提供することと、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供することと、
を遂行させるように構成されているプログラムコードを備える、コンピュータプログラム。

【請求項15】

リモートユーザへの提示のために、プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、ローカルユーザデバイスによって捕捉されるユーザオーディオコンテンツをリモートユーザデバイスに送信し、
前記ユーザオーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を送信する
手段を備える装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、オーディオの提示の分野に関し、特に、通信オーディオコンテンツまたは没入型通信オーディオコンテンツなどのオーディオコンテンツの提示に関する。本開示はまた、関連する装置、方法、およびコンピュータプログラムに関する。

【背景】

【0002】

モノフォニックなオーディオの捕捉および提示を超えるものを提供する、遠隔通信システムや電話通信システムが開発されている。そのような電話通信のオーディオは、空間オーディオを含んでもよい。そのようなオーディオの提示は、通信がクリアで有効であることを保証するように入念な検討を必要としてもよい。

【0003】

本明細書における、以前に発行された文献または任意の背景としての言及または説明によって、必ずしも、その文献または背景が従来技術の一部であるか、または一般的な知見であるという認識として受け取られるべきではない。ここで開示の１つ以上の態様や例は、背景の問題のうちの１つ以上に対処してもよいし、対処しなくてもよい。

【摘要】

【0004】

本開示の第１の態様では、装置が提供される。当該装置は、
プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、オーディオコンテンツをリモートユーザデバイスから受信し、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信し、
１つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で１つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記１つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信し、
前記プライマリオーディオの提示を提供し、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供する
手段を備える。

【0005】

１つ以上の例では、前記基準ポイントは、前記オーディオコンテンツが提示されるユーザの場所を示す。１つ以上の例では、前記プライマリオーディオは、ユーザとの通信などのための、１人以上のリモートユーザの音声によって生成されていると判定されるオーディオを含む、音声オーディオを含み、前記セカンダリオーディオは、１人以上のリモートユーザの音声によって生成されていると判定されるもの以外のオーディオを含む、周囲の音響を含む。１つ以上の例では、前記プライマリオーディオは、提示されるときに、指向性情報に従って方向または方向の範囲から発生していると知覚されるように指向性情報を含む、空間オーディオを含み、前記セカンダリオーディオは、前記指向性情報を有しないオーディオ、およびオーディオが方向の閾値範囲よりも大きく知覚されるべき方向の範囲を規定する、前記指向性情報を有する空間オーディオのうちの少なくとも１つを含む。１つ以上の例では、前記オーディオコンテンツは、従来の通信ネットワークを介してもよいし、またはボイスオーバーＩＰもしくは任意の他のパケットベースもしくは回線交換電話通信サービスを介して提供されてもよい、通信の目的で提供されるオーディオコンテンツを含む、通信オーディオコンテンツを含む。前記プライマリオーディオおよび／または前記セカンダリオーディオが空間オーディオを含む１つ以上の例では、前記プライマリオーディオは、それぞれの１つ以上のオーディオオブジェクトにそれぞれ対応付けられた１つ以上のオーディオチャネルを含んでもよい。これらのオーディオオブジェクトはそれぞれ、提示されるときに、対応付けられたオーディオチャネルが知覚される、規定場所を有する。１つ以上の例では、前記プライマリオーディオに対応付けられた場所は、そのように位置し、および／または前記方向の閾値範囲よりも小さい幅を有する。１つ以上の例では、前記セカンダリオーディオに対応付けられた場所は、そのように位置し、および／または前記方向の閾値範囲よりも大きい幅を有する。

【0006】

１つ以上の例では、前記セカンダリオーディオの重要性情報は、前記オーディオコンテンツとともにリモートユーザデバイスから受信される。１つ以上の例では、前記オーディオコンテンツは、リモートユーザと装置のユーザとの間のコールの一部として提供される。前記セカンダリオーディオの重要性情報は、リモートユーザによって設定されるか、または少なくとも各コールについて自動的に判定される。１つ以上の例では、前記セカンダリオーディオの重要性情報は、リモートユーザデバイスを介してリモートユーザによって設定され、前記オーディオコンテンツに基づく。１つ以上の例では、前記セカンダリオーディオの重要性情報は、リモートユーザデバイスから前記オーディオコンテンツを受信するサーバによって判定され、サーバから受信される。

【0007】

１つ以上の例では、前記セカンダリオーディオの重要性情報は、重要であることおよび重要でないことを含む、少なくとも２つのレベルの重要性を規定し、
前記装置は、
前記セカンダリオーディオが重要であることを示す前記セカンダリオーディオの重要性情報に基づいて、前記現在のオーディオ提示情報に基づく前記セカンダリオーディオの提示を提供し、
・ 前記セカンダリオーディオが重要でないことを示す前記セカンダリオーディオの重要性情報、および前記１つ以上のオーディオソースのうちのどれもがオーディオを現在提示していないことを示す前記現在のオーディオ提示情報に基づく、前記セカンダリオーディオの提示の提供、および
・ 前記セカンダリオーディオが重要でないことを示す前記セカンダリオーディオの重要性情報、および前記１つ以上のオーディオソースのうちの少なくとも１つがオーディオを現在提示していることを示す前記現在のオーディオ提示情報に基づく、前記セカンダリオーディオの非提示の提供
のうちの少なくとも１つを行う
手段を備える。

【0008】

１つ以上の例では、前記手段は、
前記セカンダリオーディオが重要であることを示す前記セカンダリオーディオの重要性情報、および前記１つ以上のオーディオソースのうちの少なくとも１つがオーディオを現在提示していることを示す前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供し、
前記１つ以上のオーディオソースのうちの少なくとも１つの前記オーディオが前記セカンダリオーディオの提示に適応するように提示される、ボリュームまたは方向の前記範囲のうちの一方または両方の修正を提供する
ように構成されている。

【0009】

１つ以上の例では、前記手段は、前記セカンダリオーディオが重要であることを示す前記セカンダリオーディオの重要性情報、および前記１つ以上のオーディオソースのうちのどれもがオーディオを現在提示していないことを示す前記現在のオーディオ提示情報に基づいて、ユーザの周囲のすべての方向から発生しているとして知覚されるような前記セカンダリオーディオの提示を提供するように構成されている。

【0010】

１つ以上の例では、前記手段は、前記現在のオーディオ提示情報に基づいて、前記１つ以上のオーディオソースの前記オーディオに対応付けられる方向または方向の範囲に重複しない、方向または方向の範囲から発生しているとして知覚されるように、空間オーディオとして前記プライマリオーディオの提示を提供するように構成されている。

【0011】

１つ以上の例では、前記手段は、
前記オーディオコンテンツについてのデフォルトの知覚場所を規定する、デフォルトの知覚場所情報を受信し、
前記デフォルトの知覚場所から発生しているとして知覚されるように、空間オーディオとして前記オーディオコンテンツの少なくとも前記プライマリオーディオの提示を提供する
ように構成されている。

【0012】

１つ以上の例では、前記手段は、前記デフォルトの知覚場所情報が受信されない場合、前記１つ以上のオーディオソースによって提示されるいずれのオーディオとも重複しない、方向または方向の範囲から知覚されるように、空間オーディオとしての前記オーディオコンテンツの前記プライマリオーディオの提示を提供するように構成されてもよい。

【0013】

１つ以上の例では、前記手段は、
ユーザのユーザオーディオコンテンツを捕捉し、
前記ユーザと、前記リモートユーザデバイスのリモートユーザとの間の通信を提供するために、プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、前記捕捉されたユーザオーディオコンテンツを前記リモートユーザデバイスに送信し、
前記ユーザオーディオコンテンツに対応付けられ、かつ前記リモートユーザデバイスによる使用のための前記ユーザオーディオコンテンツの前記セカンダリオーディオの重要性を示す、前記ユーザから受信されるユーザ入力に基づくセカンダリオーディオの重要性情報を送信する
ように構成されている。

【0014】

１つ以上の例では、前記プライマリオーディオは、リモートユーザとの通信などのための、少なくともユーザの音声によって生成されていると判定されるオーディオを含む、音声オーディオを含み、前記セカンダリオーディオは、ユーザの音声によって生成されていると判定されるもの以外のオーディオを含む、周囲の音響を含む。１つ以上の例では、前記プライマリオーディオは、提示されるときに、指向性情報に従って方向または方向の範囲から発生していると知覚されるように指向性情報を含む、空間オーディオを含み、前記セカンダリオーディオは、前記指向性情報を有しないオーディオ、およびオーディオが方向の閾値範囲よりも大きく知覚されるべき方向の範囲を規定する、前記指向性情報を有する空間オーディオのうちの少なくとも１つを含む。

【0015】

１つ以上の例では、前記セカンダリオーディオの重要性情報は、
前記ユーザオーディオコンテンツのオーディオ分析、および
前記ユーザの判定された現在の場所
のうちの１つ以上に基づく。

【0016】

１つ以上の例では、前記手段は、前記捕捉されたユーザオーディオコンテンツに対応付けられた前記セカンダリオーディオの重要性情報が、前記ユーザオーディオコンテンツが重要でないことを示す判定時に、前記捕捉されたユーザオーディオコンテンツの前記送信の前に、プライマリオーディオおよびセカンダリオーディオとして分類されるものから、モノフォニックおよびステレオフォニックオーディオのうちの一方に、前記捕捉されたユーザオーディオコンテンツを修正するか、またはモノフォニックおよびステレオフォニックのうちの一方として前記ユーザオーディオコンテンツを捕捉するように構成されている。

【0017】

１つ以上の例では、前記手段は、ユーザモニタリング情報を前記リモートユーザデバイスに送信するように構成されており、
前記ユーザモニタリング情報は、前記セカンダリオーディオがリモートユーザに少なくとも通知するために提示されているかどうかを示す。

【0018】

１つ以上の例では、前記手段は、ユーザモニタリング情報を前記リモートユーザデバイスに送信するように構成されており、
前記ユーザモニタリング情報は、
前記装置が使用されるときに前記オーディオコンテンツがどこから知覚されるかを含む、基準方向に対して規定される方向を含む提示方向であって、前記リモートユーザデバイスによってリモートユーザに前記オーディオコンテンツを提示する際に使用するための当該提示方向、
前記リモートユーザデバイスによって前記リモートユーザに提示するための前記現在のオーディオ提示情報で規定されるように前記ユーザに提示される、前記１つ以上のオーディオソースのうちの少なくとも１つのオーディオ、および
前記オーディオが、前記リモートユーザデバイスによって、前記１つ以上のオーディオソースのうちの前記少なくとも１つの前記オーディオを前記リモートユーザに提示するために取り出され得る、前記現在のオーディオ提示情報で規定されるように前記ユーザに提示される、前記１つ以上のオーディオソースのうちの少なくとも１つへの参照
のうちの１つ以上を示す。

【0019】

１つ以上の例では、前記手段は、
前記リモートユーザデバイスからリモートユーザモニタリング情報を受信し、
・ 提示位置に対応する位置から発生しているとして知覚されるような前記ユーザオーディオコンテンツの提示の提供であって、前記リモートユーザデバイスからの前記リモートユーザモニタリング情報が、前記ユーザオーディオコンテンツが前記リモートユーザデバイスによって提示されるときに知覚される、リモートユーザに対する位置を示す、前記提示位置を含む、当該提供、および
・ 前記リモートユーザに現在提示されている１つ以上のオーディオソースのうちの少なくとも１つの前記オーディオの提示の提供であって、前記リモートユーザデバイスから受信される前記リモートユーザモニタリング情報が、前記オーディオ、または前記リモートユーザに提示される前記１つ以上のオーディオソースのうちの前記少なくとも１つへの参照を含む、当該提供
のうちの１つ以上を行う
ように構成されている。

【0020】

さらなる態様では、方法が提供される。当該方法は、
プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、オーディオコンテンツをリモートユーザデバイスから受信することと、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信することと、
１つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で１つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記１つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信することと、
前記プライマリオーディオの提示を提供することと、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供することと、
を含む。

【0021】

さらなる態様では、格納されたコンピュータプログラムコードを含むコンピュータ可読媒体が提供される。前記コンピュータ可読媒体および前記コンピュータプログラムコードは、少なくとも１つのプロセッサ上で実行されると、
プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、オーディオコンテンツをリモートユーザデバイスから受信することと、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信することと、
１つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で１つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記１つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信することと、
前記プライマリオーディオの提示を提供することと、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供することと、
の方法を実施するように構成されている。

【0022】

さらなる態様では、装置が提供される。当該装置は、
リモートユーザへの提示のために、プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、ローカルユーザデバイスによって捕捉されるユーザオーディオコンテンツをリモートユーザデバイスに送信し、
前記ユーザオーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を送信する
手段を備える。

【0023】

１つ以上の例では、前記ユーザオーディオコンテンツは、前記ローカルユーザデバイスの少なくともユーザのオーディオを含む。

【0024】

さらなる態様では、方法が提供される。当該方法は、
リモートユーザへの提示のために、プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、ローカルユーザデバイスによって捕捉されるユーザオーディオコンテンツをリモートユーザデバイスに送信することと、
前記ユーザオーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を送信することと、
を含む。

【0025】

さらなる態様では、格納されたコンピュータプログラムコードを含むコンピュータ可読媒体が提供される。前記コンピュータ可読媒体および前記コンピュータプログラムコードは、少なくとも１つのプロセッサ上で実行されると、
リモートユーザへの提示のために、プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、ローカルユーザデバイスによって捕捉されるユーザオーディオコンテンツをリモートユーザデバイスに送信することと、
前記ユーザオーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を送信することと、
の方法を実施するように構成されている。

【0026】

さらなる例示的な態様では、
少なくとも１つのプロセッサと、
コンピュータプログラムコードを含む、少なくとも１つのメモリと、
を備える装置が提供される。
前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に少なくとも、
プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、オーディオコンテンツをリモートユーザデバイスから受信させ、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信させ、
１つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で１つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記１つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信させ、
前記プライマリオーディオの提示を提供させ、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供させる
ように構成されている。

【0027】

さらなる例示的な態様では、
少なくとも１つのプロセッサと、
コンピュータプログラムコードを含む少なくとも１つのメモリと、
を備える装置が提供される。
前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、前記装置に少なくとも、
リモートユーザへの提示のために、プライマリオーディオと、前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオと、を含む、ローカルユーザデバイスによって捕捉されるユーザオーディオコンテンツをリモートユーザデバイスに送信させ、
前記ユーザオーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を送信させる
ように構成されている。

【0028】

本開示は、１つ以上の対応する態様、例、または特徴を、個別にまたは様々な組合せで、その組合せでまたは個別に具体的に述べられている（特許請求されていることを含む）か否かにかかわらず含む。論じられた機能のうちの１つ以上を実行するための、対応する手段および対応する機能ユニット（例えば、機能エネイブラ、スピーカセレクタ、アンプ、ディスプレイデバイス）もまた本開示内にある。

【0029】

開示される方法のうちの１つ以上を実施するための対応するコンピュータプログラムもまた本開示内にあり、説明された例のうちの１つ以上に包含される。

【0030】

上述の摘要は、単に例示であり非限定的であるように意図される。

【図面の簡単な説明】

【0031】

ここで、添付の図面を参照して、単なる例として説明が示される。

【図1】図１は、オーディオの提示を提供するための例示的な装置を示す。

【図2】図２は、ユーザと、リモートユーザとの間の通信を示す。

【図3】図３は、没入型空間オーディオエンコーダの例示的なブロック図を示す。

【図4】図４は、ユーザがオーディオを提示される例示的な提示スペースを示す。

【図5】図５は、同じ提示スペースを示すが、装置の制御下でユーザに提供されるオーディオが発生していると知覚される場所を示す例示的な空間オーディオシーンが重ねて表示される。

【図6】図６は、図５の平面図を示す。

【図7】図７は、ユーザモニタリング情報の使用を例示するために、ユーザおよびリモートユーザへのオーディオの提示を示す。

【図8】図８は、通信コールを行う際の装置およびリモート装置の動作を示す。

【図9】図９は、例示的な方法を示すフローチャートを示す。

【図10】図１０は、コンピュータ可読媒体を示す。

【例示的な態様の説明】

【0032】

モノフォニックなオーディオの捕捉および提示を超えるものを提供する、通信または電話通信システムが開発されている。第３世代パートナーシッププロジェクト（3rd Generation Partnership Project：３ＧＰＰ）などによって、電話通信サービスでの新しいレベルの没入感を可能にする、没入型電話通信システムが開発されている。没入型電話通信は、ユーザ間通信の提供において、空間オーディオ提示技術の使用および空間オーディオコンテンツの捕捉を含んでもよい。そのようなサービスは、例えば、モバイル４Ｇまたは５Ｇネットワークを介して、マルチマイクロフォン空間オーディオ捕捉および処理、好適な没入型オーディオフォーマットでのエンコーディング、伝達およびデコーディング、ならびにバイノーラルまたはスピーカ提示によって実現され得る。そのようなシステムは、パラメトリック空間オーディオなどの没入型空間オーディオコンテンツの伝達および提示を提供してもよい。これは、通信コール参加者またはユーザ間での包囲オーディオシーンの受信および送信を可能にしてもよい。したがって、例えば、リモートユーザがユーザにコールするとき、ユーザは、自分が物理的にリモートユーザの場所に位置しているかのように、逆の場合も同様に、リモートユーザの周囲の音響環境を体験し得る。

【0033】

しかしながら、１つ以上の例では、ユーザは、既に、１つ以上のオーディオソースからの没入型空間オーディオコンテンツを体験している場合がある。したがって、上記オーディオが１つ以上のそれぞれの方向から知覚されるように、空間オーディオとして提示される１つ以上のオーディオソースからのオーディオを含む、既に存在する空間オーディオシーンと組み合わせて、没入型オーディオ通信コンテンツの提示を提供するように入念な検討を必要としてもよい。例えば、時間、周波数、および／または空間精度での聴覚のマスキングに関する複雑化は、同時に提示中の１つ以上のオーディオソースのうちの少なくとも１つについて生じる場合がある。

【0034】

１つ以上の例では、上記通信の一部として提供されるオーディオコンテンツは、プライマリオーディオおよびセカンダリオーディオとして分類されてもよい。プライマリオーディオは、通信コールを理解するための重要なオーディオを含んでもよく、一方、セカンダリオーディオは、周囲の音響を含んでもよい。周囲の音響は、オーディオコンテンツの背景オーディオとみなされてもよい。本明細書での例は、通信の分野でのオーディオコンテンツに関するが、原理は、オーディオコンテンツ提示の他の分野に適用されてもよいことが理解されるであろう。

【0035】

１つ以上の例では、プライマリオーディオは、（ローカルユーザと称されることもある）ユーザとの通信で１人以上のリモートユーザの音声によって生成されていると判定されるオーディオを含む、音声オーディオを含んでもよい。「音声」プライマリオーディオは、オーディオ分析技術を使用して、または上記通信に関与するサーバもしくは任意の他のエンティティによって、捕捉のポイントまたはプレイバックのポイントで分類されてもよい。１つ以上の例では、セカンダリオーディオは、１人以上のリモートユーザの音声によって生成されていると判定されるもの以外のオーディオを含む、周囲の音響を含んでもよい。したがって、１つ以上の例では、ユーザの音声を検出するように構成された第１のマイクロフォンは、プライマリオーディオを提供してもよく、他の場所からのオーディオを検出するように構成された１つ以上の他のマイクロフォンは、セカンダリオーディオを提供してもよい。マルチマイクロフォン配置を用いて、同じオーディオが、２つ以上のマイクロフォンによって検出されてもよく、したがって、オーディオ処理技術は、他のマイクロフォンによって検出されるオーディオから、第１のマイクロフォンによって主として検出される音声オーディオを分離するために使用されてもよいことが理解されるであろう。例えば、オーディオを捕捉するために携帯電話が使用される場合、ユーザの口の近くのマイクロフォンは、主として、音声オーディオを捕捉するように構成されてもよく、携帯電話の後ろにあるマイクロフォンは、周囲の音響を捕捉するように構成されてもよい。１つ以上の例では、単一のマイクロフォンが使用されてもよく、プライマリオーディオおよびセカンダリオーディオとして分類されるオーディオコンテンツを提供するように、任意の周囲のノイズから音声オーディオを分離するために、オーディオ処理アルゴリズムが使用されてもよく、そのようなアルゴリズムは、当業者に既知である。さらなる例では、音声オーディオは、クローズアップマイクロフォンまたはマイクロフォンを使用して捕捉されてもよいが、周囲音は、シーン内で固定された位置を有してもよい（アンビソニックスマイクロフォンなどの）マイクロフォンアレイを使用して捕捉されてもよい。

【0036】

１つ以上の例では、プライマリオーディオは、指向性情報を含む空間オーディオコンテンツを含んでもよく、その結果、提示されるときに、指向性情報に従って１つ以上の方向から発生しているとして知覚される。１つ以上の例では、プライマリオーディオは、指向性情報を含まない場合がある。１つ以上の例では、セカンダリオーディオは、指向性情報を伴わないか、または閾値レベルよりも上の区別可能な到来方向を伴わないオーディオを含む、周囲の音響を含んでもよい。１つ以上の例では、周囲の音響は、空間オーディオを含むが、ユーザが知覚し得るか、または捕捉されたオーディオから判定され得る、（例えば、指向性の閾値レベルよりも上の）クリアな方向を有しない場合がある。したがって、１つ以上の例では、セカンダリオーディオは、少なくともいくつかの指向性情報も含んでもよい。しかしながら、伝達する側または任意の他の要素は、これらの指向性音声成分を、コミュニケーションに特に関連するか、またはコミュニケーションに知覚的に重要な情報を提供しないものとみなしてもよい。したがって、１つ以上の例では、分類またはコンテンツ分析は、どのオーディオがプライマリとして分類されるべきか、セカンダリとして分類されるべきか、任意で指向性情報がオーディオに対応付けられるべきかどうかを判定するために実行されてもよい。

【0037】

１つ以上の例では、プライマリオーディオは、通信コールを理解するために重要であってもよく、一方、周囲のセカンダリオーディオは、リモートユーザの場所での背景オーディオであるとみなされてもよい。したがって、通信コールにとって、単に、重要「かも知れない」だけであってもよいことが理解されるであろう。デフォルトでのセカンダリオーディオは、広範囲またはすべての方向から聞かれるように、または不特定の方向もしくは場所から知覚されるように提示するように構成されてもよい。したがって、セカンダリオーディオは、リモートユーザの周囲の音響環境をユーザに再現するために、または逆の場合も同様に、デフォルトで提供されるように構成されてもよい。オーディオコンテンツがオーディオブックである場合、プライマリオーディオは、オーディオブックのリーダーを含んでもよく、一方、セカンダリオーディオは、ストーリーを補うために提供される背景音声を含んでもよい。１つ以上の例では、セカンダリオーディオは、選択的に提示されてもよいし、その提示は、その重要性、および通信コールの受信時にユーザに既に提示されているオーディオのうちの一方または両方に基づいて、そのデフォルト提示から修正されてもよい。

【0038】

空間オーディオコンテンツを含むプライマリオーディオを用いて、リモートユーザの場所でオーディオが受信された方向は、空間オーディオ提示の使用によって、オーディオを第１のユーザ（または任意の他のユーザ）に提示するときに再生されてもよい。１つ以上の例では、プライマリオーディオは、（空間オーディオコンテンツなどから）モノフォニックオーディオに変換され、それが所望の方向または場所から知覚されるように空間オーディオ提示を使用して提示されてもよい。

【0039】

空間オーディオは、オーディオのソースが特定の場所または方向に位置しているかのように、特定の場所または方向から発生していると知覚されるような方法でユーザに提示されるオーディオを含む。空間オーディオコンテンツは、空間オーディオとしての提示のためのオーディオを含み、したがって、典型的には、指向性情報（例えば、メタデータとして明示的に指定されるか、またはオーディオが捕捉される方法に本来存在する）を有するオーディオを含み、その結果、その成分オーディオが、指向性情報に従って１つ以上のポイントまたは１つ以上の方向から発生していると知覚されるように、空間オーディオコンテンツが提示され得る。没入型オーディオ通信コールのために空間オーディオをエンコードし、送達するための１つの方法は、ユーザの音声および空間周囲音を別々にエンコードすることである。例えば、ニアファーステレオ、１次アンビソニックス（First Order Ambisonics：ＦＯＡ）／より高次のアンビソニックス（Higher Order Ambisonics：ＨＯＡ）（＋オブジェクト）、および他の空間オーディオエンコーディングスキームを含む、様々なエンコーディングフォーマットが存在する。１つ以上の例では、プライマリおよびセカンダリオーディオの提供は、上述のエンコーディングスキームによって提供されてもよい。

【0040】

１つ以上の例では、非空間オーディオコンテンツは、空間オーディオとして提示されてもよい。したがって、「従来の」モノフォニックもしくはステレオフォニックオーディオ（またはそのようなフォーマットに変換されたオーディオ）は、特定の場所または方向から発生していると知覚されるような提示のために提供されてもよい。本明細書で説明される実施形態のうちの１つ以上は、空間オーディオコンテンツまたは非空間オーディオコンテンツに基づいて、空間オーディオを提示してもよい。

【0041】

空間オーディオの空間ポジショニングは、オーディオがユーザへの提示のために位置付けられ得る、（拡張現実の場合に実世界スペースで整列される）空間オーディオスペースを生成するために、頭部伝達関数を利用するものなどの３Ｄオーディオ効果によって提供されてもよい。空間オーディオは、頭部伝達関数（Head-Related-Transfer-Function：ＨＲＴＦ）フィルタリング技術を使用することによってヘッドフォンにより、またはスピーカに対して、オーディオコンテンツの知覚される音声の起点を位置付けるためにベクトルベース振幅パンニング技術を使用することにより、提示されてもよい。他の実施形態では、空間オーディオを提示するために、アンビソニックスオーディオ提示が使用されてもよい。

【0042】

空間オーディオは、オーディオの起点がスペース内の特定の場所または特定の方向にあるという知覚を生成するために、ユーザの耳のそれぞれへの可聴提示間のボリュームの違い、タイミングの違い、およびピッチの違いのうちの１つ以上を使用してもよい。オーディオの知覚された起点までの知覚された距離は、空間オーディオの知覚されたソースからの近さまたは距離を示すために、反響およびゲインの量を制御することによってレンダリングされてもよい。本明細書で説明されるような空間オーディオ提示は、その起点に向かう知覚された方向のみでのオーディオの提示、およびオーディオの起点が、例えば、ユーザからの距離の知覚を含む、知覚された場所を有するような、オーディオの提示に関してもよいことが理解されるであろう。

【0043】

例示的な図１および例示的な図２は、ユーザ２００へのオーディオコンテンツの提示を制御または提供するために使用されてもよい装置１００を示す。装置１００は、通信の分野のアプリケーションを有してもよく、したがって、以下の例では、オーディオコンテンツは、通信オーディオコンテンツと称される。しかしながら、オーディオコンテンツは、通信のためである必要がないことが理解されるであろう。通信オーディオコンテンツへの参照は、どのようにオーディオコンテンツが送達されるかについて限定しないことを意味し、従来の電話ネットワーク、モバイルもしくは携帯電話ベースのネットワーク、ボイスオーバーＩＰを使用するインターネットなどのデータネットワーク、またはパケットベースか回線交換型のいずれか任意の電話通信サービスを介するものであってもよいことも理解されるであろう。装置１００は、通信オーディオコンテンツ、または別の装置による通信オーディオコンテンツの受信についての情報を受信するための手段、例えば入力Ｉを、含んでもよい。装置１００は、ユーザ２００への提示のための他のオーディオソースからのオーディオ、または別の装置によってユーザ２００に提示される他のオーディオについての情報を受信するためなどのさらなる入力を含んでもよいことが理解されるであろう。入力Ｉは、リモートユーザデバイス２０２（図２に示す）から、プライマリおよびセカンダリオーディオを含む、没入型オーディオなどのオーディオを受信してもよい。１つ以上の例では、装置１００は、通信ネットワーク２０３を介して、リモートユーザデバイス２０２との通信を提供するための能力を有してもよい、ローカルユーザデバイス２０１の一部を含んでもよい。ローカルユーザデバイス２０１および／またはリモートユーザデバイス２０２は、携帯電話または任意の他の通信機器を備えてもよい。したがって、第１のユーザ２００は、リモートユーザデバイス２０２に対応付けられたリモートユーザ２０４と通信し得る。

【0044】

以下の説明は、主として、ローカルユーザデバイス２０１の一部として装置１００を説明するが、対応するリモート装置（図示しないが、装置１００に相当する）は、リモートユーザデバイス２０２の一部として提供されてもよく、それに対してリモートであるグループから受信されるオーディオおよび情報についての相当する機能を実施してもよいことが理解されるであろう。

【0045】

装置１００は、プロセッサ１０８およびメモリ１０９を含んでもよいし、それらと接続されてもよく、さらにコンピュータプログラムコードを実行するように構成されてもよい。装置１００は、１つのプロセッサ１０８および１つのメモリ１０９のみを有してもよいが、他の実施形態は、２つ以上のプロセッサおよび／または２つ以上のメモリ（例えば、同じまたは異なるプロセッサ／メモリタイプ）を利用してもよいことが理解されるであろう。さらに、装置１００は、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）であってもよい。

【0046】

プロセッサは、メモリでコンピュータプログラムコードの形態で格納される命令に従って、通信オーディオコンテンツなど、他の構成要素から受信される情報の実行／処理に特化させた汎用プロセッサであってもよい。プロセッサのそのような動作によって生成される出力シグナリングは、オーディオをユーザ２００に提示するためのスピーカ、ヘッドフォン、アンプ、または他のオーディオ提示機器（図示せず）などのさらなる構成要素に向けて提供される。

【0047】

メモリ１０９（必ずしも単一のメモリユニットではない）は、コンピュータプログラムコードを格納するコンピュータ可読媒体（この例では、ソリッドステートメモリであるが、ハードドライブ、ＲＯＭ、ＲＡＭ、フラッシュなどの他のタイプのメモリであってもよい）である。このコンピュータプログラムコードは、プログラムコードがプロセッサ上で実行されると、プロセッサによって実行可能な命令を格納する。メモリとプロセッサとの間の内部接続は、１つ以上の例示的な実施形態では、プロセッサがメモリ上に格納されたコンピュータプログラムコードにアクセスすることを可能にするように、プロセッサとメモリとの間のアクティブな接続を提供するためであることが理解され得る。

【0048】

この例では、それぞれのプロセッサおよびメモリは、それぞれの構成要素間での電気的通信を可能にするために、内部で互いに電気的に接続されている。この例では、構成要素はすべて、ＡＳＩＣとして一緒に形成されるように、言い換えると、電子デバイス内に取り付けられ得る単一のチップ／回路として一緒に統合されるように互いに近接して位置している。一部の例では、構成要素のうちの１つ以上またはすべては、互いに別れて位置してもよい。

【0049】

したがって、ユーザ２００は、音楽プレイヤーからの音楽、ラップトップコンピュータ上で提供される作業提示からのオーディオ、および電子メールまたはメッセージの着信をユーザに注意喚起するラップトップコンピュータからのオーディオなどの１つ以上のオーディオソース（図示せず）からのオーディオを提示されてもよい。装置１００は、オーディオソースからの前述のオーディオの提示を提供してもよく、もしくはオーディオソースからのオーディオの提示を制御してもよいし、オーディオソースからのどのオーディオがユーザ２００に提示されているかについての情報をオーディオ提示機器から受信してもよい。装置１００は、通信オーディオコンテンツの提示を提供してもよいし、１つ以上のオーディオソースからのオーディオと組み合わせて、通信オーディオコンテンツの提示を制御してもよい。１つ以上の例では、装置１００は、通信からの前述のオーディオおよびオーディオコンテンツの提示の制御のためのユーザインタフェースを提供してもよい。

【0050】

図３は、没入型オーディオエンコーダによる没入型オーディオコンテンツの捕捉およびエンコーディングの例示的なブロック図を示す。ブロック３０１は、携帯電話、没入型ビデオ捕捉デバイス、コンピュータ、またはスマートフォンなどの１つ以上のソースからの１つ以上のマイクロフォンによるオーディオの捕捉を示す。ブロック３０２は、モノフォニック、アンビソニックスオーディオ、複数のチャネルまたはストリームなど、様々なフォーマットで捕捉されてもよいオーディオの受信を示す。１つ以上の例では、上記オーディオは、少なくともオーディオのソースからのオーディオの到来方向またはオーディオのソースの場所を規定してもよいメタデータに、対応付けられてもよい。エンコーダブロック３０３は、その様々なフォーマットで捕捉されるオーディオを受信する。エンコーダブロック３０３は、オーディオミキシングを提供してもよい。オーディオに対応付けられたメタデータは、複数の異なるフォーマットで捕捉されてもよい。１つ以上の例では、ブロック３０３は、メタデータを標準フォーマットに変換してもよい。１つ以上の例では、オーディオ自体は、異なるフォーマットで捕捉およびエンコードされてもよく、ブロック３０３は、オーディオを標準フォーマットにコード変換してもよい。ブロック３０４は、没入型オーディオエンコードフォーマットでのビットストリームの生成を提供する。１つ以上の例では、本明細書で称されるオーディオコンテンツは、上述のように処理されてもよい。

【0051】

例示的な図４は、ユーザ２００のリビングルームを備えるオーディオ提示スペース４００にいるユーザ２００を示す。リビングルーム４００は、ソファ４０１と、書棚４０２と、大画面テレビ４０３と、スピーカ４０４、４０５と、を備える。ユーザ２００は、空間オーディオ提示などの、没入型の方法で提示されるオーディオコンテンツを体験してもよい。オーディオコンテンツは、１つ以上のオーディオソースからであってもよい。オーディオソースは、空間オーディオ、モノフォニックオーディオまたはステレオフォニックオーディオなどの、様々なフォーマットでのオーディオを提供してもよい。オーディオ提示機器（図示しないが、ヘッドフォン４０６は一部を含んでもよい）は、１つ以上のソースからの空間オーディオとしてオーディオを提示してもよいし、オーディオソースは、どのように、もしくはどの知覚場所から、オーディオソースのそれぞれが基準ポイントに対してそれらのオーディオを提示するかを調整するために通信してもよい。基準ポイントは、典型的には、ユーザの場所である。したがって、１つ以上の例では、１つ以上のオーディオソースのオーディオは、１つ以上のそれぞれの方向またはユーザの周囲の方向の範囲から発生しているとして知覚される。

【0052】

空間オーディオコンテンツ（例えば、頭部追従バイノーラルオーディオ）をレンダリングすることができる、高品質空間オーディオサービス、アプリケーション、およびデバイスの普及は、それらの使用の著しい増加につながる可能性が高い。逆の場合も同様に、没入型媒体の関心が高まると、市場での提供がますます増えることにつながる。使用が増えると、ユーザ２００は、リモートユーザ２０４がユーザ２００への通信コールをするときに空間オーディオコンテンツ（または空間オーディオとして提示されるモノフォニックコンテンツもしくはステレオフォニックコンテンツ）を消費する可能性が高い。さらに、ユーザ２００は、空間オーディオ提示の能力をマルチタスクすること、つまり新しい独創的な方法で利用することを望む可能性が高い。

【0053】

この１つ以上の例では、ユーザ２００は、以下で説明されるような没入型空間オーディオを体験してもよい。ユーザ２００は、リビングルームの大画面テレビ４０３を使用してコンピュータ上で作業していてもよく、頭部追従ヘッドフォン４０６を介して空間オーディオを提示されてもよい。ヘッドフォン４０６は、リモートユーザ２０４との通信コールにおいて、そのような通信コールが確立される場合にユーザ参加を可能にするために、マイクロフォン（可視化せず）を提供されてもよい。マイクロフォンは、ヘッドフォン４０６から独立してもよいことが理解されるであろう。ユーザ２００は、作業していることに関連するオーディオを受信し、（ソーシャルメディアアプリケーションオーディオソースからの）ソーシャルメディアアップデートの着信に対応付けられたオーディオ、（音楽プレイヤーオーディオソースからの）音楽、および（コールをユーザが受信またはかける場合、通信デバイスからの）通信オーディオコンテンツを受信することを決定してもよい。ユーザ２００は、オーディオソースのオーディオがどこで知覚されるかについての決定を行わない場合があり、その代わりに、配置は、所定の選択もしくはルールに基づくか、または他のオーディオソースと重複しない場所であってもよいことが理解されるであろう。一部の例では、ユーザは、空間オーディオレンダリングおよび提示の少なくともいくつかの態様を制御するために使用されるユーザインタフェースを介してオーディオを知覚する、知覚方向または知覚場所のうちの少なくともいくつかを規定し得る。１つ以上の例では、ユーザがオーディオを知覚する方向または場所は、ユーザが位置する部屋またはスペースに対して規定されてもよい。したがって、ユーザが自らの頭部を回転させるか、または部屋の周囲を移動するにつれて、オーディオのレンダリングは、固定された知覚方向／場所での知覚方向／場所を維持するように、部屋でのユーザの新しい配向または位置を考慮するために修正されてもよい。

【0054】

図５および図６は、どのようにユーザが空間オーディオシーン５００を配置したかを示しており、空間オーディオシーン５００は、ユーザが様々なオーディオソースからオーディオを知覚するスペース内の場所を規定する。前述のように、空間オーディオシーンは、ユーザ制御を用いて、またはユーザ制御を用いずに、自動的に生成されてもよい。図５は、図４と同じ図を示し、図６は、同じオーディオ提示スペース４００の平面図を示す。

【0055】

ユーザ２００は、提示されるときに前方の位置５０１から発生していると知覚されるように、自らの作業関連オーディオを配置している。空間オーディオシーン５００は、提示されるときに音楽が前方右の位置５０２から発生していると知覚されるようにさらに構成されている。空間オーディオシーン５００は、ソーシャルメディアアップデートのオーディオが後方の位置５０３から発生していると知覚されるようにさらに構成されている。空間オーディオシーン５００は、入って来る任意の通信オーディオコンテンツのオーディオが、前方左の位置５０４から発生していると知覚されるように提示されるようにさらに構成されている。したがって、１つ以上のオーディオソースからのオーディオが、ヘッドフォン４０６もしくはスピーカ４０４、４０５、またはそれらの組合せによって空間オーディオとして、例えば、ユーザ２００に提示される、空間オーディオシーンが生成されてもよく、その結果、各オーディオソースからのオーディオが、ユーザ２００に対して異なる方向または場所から知覚される。したがって、オーディオソースのオーディオの知覚された起点は、ユーザ２００の周囲でバーチャルに位置付けられていることが理解され得る。

【0056】

入って来る没入型オーディオ通信コールが受信されるとき、本発明の一部を形成しない空間オーディオシーン５００のデフォルト構成は、オーディオソースのオーディオの空間オーディオ提示を、入って来る通信に置き換えてもよい。しかしながら、これは、現在マルチタスクをしていて、空間オーディオシーン５００でのオーディオソースの好ましい配置をセットアップさえしているユーザ２００にとっては不愉快で不便な場合がある。

【0057】

以下で説明されるように、どのように通信オーディオコンテンツが、既存の空間オーディオシーン５００内での提示の観点で提示されるか、またはユーザ２００の空間オーディオシーン５００での他のオーディオの提示を置き換えもしくは修正しているかは、装置１００によって受信される情報に基づいてもよい。したがって、装置１００は、通信オーディオコンテンツのセカンダリオーディオの重要性についての情報を受信してもよい。さらに、装置１００は、（もしあれば）既存の空間オーディオシーン５００で提示されるオーディオについての情報を受信してもよい。

【0058】

したがって、１つ以上の例では、装置１００は、
オーディオコンテンツの受信、
セカンダリオーディオの重要性情報の受信、および
現在のオーディオ提示情報の受信
の少なくとも一部に基づいて、入って来る通信オーディオコンテンツの提示を提供する手段を備えてもよい。

【0059】

装置１００は、ローカルユーザデバイス２０１などを介して、ユーザ２００への提示のためにリモートユーザデバイス２０２からであり得る、通信オーディオコンテンツを受信してもよい。通信オーディオコンテンツは、リモートユーザ２０４の音声と、リモートユーザ２０４の場所で聴こえる周囲の音響と、を含んでもよい。したがって、通信オーディオコンテンツは、上述のように、プライマリオーディオおよびセカンダリオーディオとして分類されてもよい。

【0060】

したがって、１つ以上の例では、プライマリオーディオは、音声オーディオを含むものとして規定されてもよい。したがって、プライマリオーディオは、ユーザ２００と通信を行うリモートユーザ２０４の音声によって生成されていると判定されるオーディオを含んでもよい。セカンダリオーディオは、周囲の音響を含むものとして規定されてもよい。したがって、周囲の音響は、リモートユーザ２０４の音声によって生成されていると判定されるもの以外のオーディオを含んでもよい。

【0061】

１つ以上の他の例では、プライマリオーディオは、指向性情報を含む空間オーディオコンテンツを含むものとして規定されてもよく、その結果、ユーザ２００に提示されるときに、指向性情報に従って特定の方向または方向の範囲から発生しているとして知覚される。これらの１つ以上の例では、より明確でない方向または方向の範囲から知覚される、より拡散するオーディオから、より明確な方向または方向の範囲から知覚されるオーディオを分離することが望ましい場合がある。一部の例では、これは、指向性情報がオーディオに対応付けられているかどうかに基づいて達成されてもよく、したがって、指向性情報を有するオーディオは、プライマリオーディオとして分類され、指向性情報を有しないオーディオは、オーディオ周囲音を構成すると考えられるため、セカンダリオーディオとして分類される。他の例では、対応付けられた指向性情報を有するが、上記対応付けられた指向性情報が、方向の閾値範囲を超える方向の広範囲から知覚されるように提示されるべきであることを示すオーディオをセカンダリオーディオとして分類することが望ましい場合がある。したがって、閾値範囲は１８０°を含んでもよいので、オーディオが、１８０°未満の起点の知覚方向を提示されるべきであることを示す指向性情報を有する場合、プライマリオーディオとして考えられ、オーディオが、１８０°以上の知覚方向を示す指向性情報を有する場合、セカンダリオーディオとして考えられる。閾値は、セカンダリオーディオからプライマリオーディオを分離するための任意の所望の閾値を含んでもよいことが理解されるであろう。

【0062】

１つ以上の例では、セカンダリオーディオの重要性情報は、上記通信オーディオコンテンツに対応付けられ、そのセカンダリオーディオの重要性を示す。重要性は、リモートユーザ２０４によって設定される、知覚の重要性であってもよい。例えば、リモートユーザ２０４は、自らのノイズの多いオフィスから通信コールを行い、周囲のセカンダリオーディオを重要でないと考えてもよい。他の例では、リモートユーザ２０４は、音楽コンサートにいて、ユーザ２００に自らのオーディオ体験を聞いて欲しい場合がある。したがって、リモートユーザ２０４は、セカンダリオーディオを重要であると考えてもよく、これを自らのリモート装置またはリモートユーザデバイス２０２に示して、装置１００による受信のためにセカンダリオーディオの重要性情報を提供してもよい。１つ以上の例では、周囲の音響を重要でないとみなすリモートユーザ２０４は、「音声コール」アプリケーションショートカットを使用してコールしてもよい。別の例では、周囲の音響を重要であるとみなすリモートユーザ２０４は、「没入型コール」アプリケーションショートカットを使用してコールしてもよい。言い換えると、例えば、リモートユーザデバイス２０２のスマートフォンユーザインタフェース上のアプリケーションアイコンは、周囲の音響であるセカンダリオーディオについての相対的な重要性の異なる２つの場合について異なってもよい。周囲の音響すなわちセカンダリオーディオの重要性を示す任意の他の好適な方法はまた、ユーザが自らの選択を行うために使用され得る。ここで、「音声コール」は、セカンダリオーディオコンテンツが（例えば、オーディオの重要性情報およびネットワーク輻輳などの他のビットレート判定因子に基づいて、）時間変化の方法で、伝達されるビットストリームに存在していて存在していなくてもよい、通信コールを指してもよく、一方、ここで、「没入型コール」は、セカンダリオーディオコンテンツが、好ましくはコール全体を通じて提示のために利用可能である、通信コールを指すことが理解される。

【0063】

一部の例では、リモート装置またはリモートユーザデバイス２０２は、例えば、クラウドもしくは近くの端末またはそれらの組合せから受信される、リモート装置またはリモートユーザデバイス２０２によって収集される知覚データのいずれかに基づいて、例えば、現在の環境の予期された重要性または文脈上の重要性を分析してもよい。リモート装置またはリモートユーザデバイス２０２は、この情報に基づいて、現在の環境または文脈が、セカンダリオーディオすなわち周囲音を提供するのに重要であるとみなされるとき、例えば、「没入型コール」アプリケーションがまず示されるか、ユーザに好ましいオプションとして別の方法で提供されるように、ユーザインタフェースを適応させるように構成されてもよい。一方、セカンダリオーディオすなわち周囲音が分析によって重要でないとみなされるとき、「音声コール」ショートカットが、ユーザに好ましいかまたはデフォルトのオプションとして、まず示されてもよいし、別の方法で提供されてもよい。少なくとも一部の例では、ネットワークは、この適応を行うためにさらなる情報をデバイスに提供してもよい。例えば、ネットワークが輻輳していて（没入型コールがより多くの帯域幅を必要とするため、「音声コール」が好ましくあるべき）か、または現在のセルもしくは現在の時間に「没入型コール」について特別な価格設定があることを、ネットワークが示してもよい。したがって、様々な例によれば、リモートユーザ２０４は、少なくとも１つの手段を介して、「周囲音」すなわちセカンダリオーディオの重要性をこのように選択してもよい。

【0064】

したがって、１つ以上の例では、セカンダリオーディオの重要性情報は、リモートユーザデバイス２０２によって捕捉されてもよい通信オーディオコンテンツでリモートユーザデバイス２０２から受信される。１つ以上の例では、セカンダリオーディオの重要性情報は、通信コール毎に設定される。したがって、確立される各通信コールについて、リモートユーザ２０４は、装置１００に送信するためにセカンダリオーディオの重要性情報を設定してもよい。１つ以上の他の例では、セカンダリオーディオの重要性情報の設定は、所定の基準に基づいて自動化されてもよいし、自動化されたオーディオ分析に基づいて自動化されてもよい。例えば、リモートユーザ２０４が頻繁によく行く場所にいる場合、セカンダリオーディオを、重要でないものとして自動的に設定してもよい。しかしながら、リモートユーザ２０４がサファリパークなどの珍しい場所にいる場合、セカンダリオーディオを、セカンダリオーディオの重要性情報として通信するために重要なものとして自動的に設定してもよい。１つ以上の例では、上記セカンダリオーディオの重要性情報は、（ネットワーク２０３の一部として図２に示される）サーバ２０５によって判定され、サーバ２０５から受信される。サーバ２０５は、リモートユーザデバイス２０２から通信オーディオコンテンツを受信し、上記通信を提供するためにそれをローカルユーザデバイス２０１に転送してもよい。

【0065】

１つ以上のオーディオソース例では、現在のオーディオ提示情報は、少なくとも、１つ以上のオーディオソースからのオーディオが現在、空間オーディオとしてユーザに提示されているかどうかを示す。したがって、現在のオーディオ提示情報は、既存の空間オーディオシーン５００についての情報を装置１００に提供してもよい。この情報は、任意のオーディオソースが現在提示されているかどうかであってもよく、またはそれは、オーディオソースのオーディオの空間オーディオ提示のために使用される場所の詳細を含んでもよい。１つ以上の例では、装置１００は、オーディオソースのオーディオを提示するように構成されてもよく、したがって、現在のオーディオ提示情報は、装置１００に既知であってもよい。

【0066】

入って来る通信オーディオコンテンツの提示は、通信オーディオコンテンツのプライマリオーディオの提示を提供することと、セカンダリオーディオの重要性情報および現在のオーディオ提示情報に基づいて、セカンダリオーディオの提示を提供することと、を含んでもよい。したがって、プライマリオーディオは、セカンダリオーディオの重要性情報から独立して、すなわち、それを検討せずに提示されてもよい。装置１００は、現在のオーディオ提示情報に基づいて、プライマリオーディオの提示を提供するように構成されてもよい。しかしながら、装置１００は、セカンダリオーディオの重要性情報および現在のオーディオ提示情報の両方に基づいて、セカンダリオーディオを提示するかどうか、および／またはそれをどのように（すなわち、どの方向から知覚されるか）提示するかを判定するように構成されてもよい。

【0067】

１つ以上の例では、装置１００は、ある方向または方向の範囲から発生していると知覚されるように、空間オーディオとしてプライマリオーディオの提示を提供するように構成されている。１つ以上の例では、上記「方向の範囲」は、（１）オーディオの知覚された起点の方向／場所の「幅」または「空間範囲」（すなわち、オーディオは、ポイントソースから起きるものとして知覚されない）、および（２）オーディオが、時間の経過とともに方向の上記範囲で移動するように構成されたポイントソースから知覚される、エリア／セクターのうちの一方または両方を含む。どの方向からプライマリオーディオが知覚されるかは、現在のオーディオ提示情報に基づいて判定されてもよい。例えば、ユーザ２００が、通信オーディオを知覚する位置または領域５０４を指定している場合、装置１００は、上記所定の位置５０４から知覚されるように、空間オーディオとして、通信オーディオのプライマリオーディオを提示するように構成されてもよい。次いで、通信オーディオについての所定の位置５０４が予め決められていない１つ以上の他の例では、装置１００は、方向または方向の範囲、すなわち、例えば、現在のオーディオ提示情報に基づいて１つ以上のオーディオソースのオーディオに対応付けられる、ユーザ２００に向かう位置５０１、５０２、および５０３からの方向と重複しない位置を識別するように構成されてもよい。したがって、装置１００は、既存の空間オーディオシーン５００で未使用の位置を識別して、上記未使用の位置から知覚される空間オーディオとしてプライマリオーディオを提示するときに使用するように構成されてもよい。１つ以上の他の例では、現在のオーディオ提示情報は、現在提示されているオーディオがないことを示してもよく、装置１００は、ユーザ２００の正面の知覚位置、または通信オーディオコンテンツの空間オーディオコンテンツに付随する指向性情報によって規定される任意の他の配置に従う知覚位置から、空間オーディオとして通信オーディオコンテンツのプライマリオーディオを提示するように構成されてもよい。

【0068】

セカンダリオーディオの重要性情報は、例えば、重要であることおよび重要でないことを含む、少なくとも２つのレベルの重要性を規定してもよい。３つ以上のレベルの重要性が規定されてもよいことが理解されるであろう。

【0069】

１つ以上の例では、セカンダリオーディオの重要性情報は、受信者適応情報を含んでもよく、リモートユーザまたはリモートユーザデバイス２０２は、例えば、ローカルユーザの現在提示されているオーディオについての情報を受信するように構成されてもよく、セカンダリオーディオの重要性情報は、上記受信された情報に基づいてもよい。さらに、セカンダリオーディオの重要性情報は、セカンダリオーディオコンテンツによる、少なくとも１つの現在提示されているオーディオソースの提案される置換の規定を含んでもよい。そのような提案を受信すると、装置１００は、現在のオーディオ提示を修正するための上記提案を受け入れるかまたは拒否するかを少なくとも選択し得るローカルユーザからユーザ入力を受信するために、ユーザインタフェースの提示を提供するように構成されてもよい。

【0070】

一般的に、装置は、セカンダリオーディオの重要性情報および現在のオーディオ提示情報に基づいて、セカンダリオーディオを提示するかどうかを判定するように構成されてもよい。さらに、１つ以上の例では、装置は、セカンダリオーディオが提示されるべきイベントで、空間オーディオとして提示されるセカンダリオーディオが発生しているとして知覚される場所を現在のオーディオ提示情報に基づいて判定するように構成されてもよい。

【0071】

１つ以上の例では、セカンダリオーディオは、通信コールのメインコンテンツではなく、通信コールの周囲の音響であるとみなされてもよい。

【0072】

したがって、装置１００は、セカンダリオーディオが重要である（またはセカンダリオーディオの重要性情報の別の「重要性」指定よりも重要である）ことを示すセカンダリオーディオの重要性情報に基づいて、セカンダリオーディオの提示を提供し、上記提示が、現在のオーディオ提示情報に基づくように構成されてもよい。したがって、セカンダリオーディオが提示に重要または望ましいとみなされるか指定されることに基づいて、装置１００は、その提示を必須と考えてもよい。次いで、装置１００は、現在のオーディオ提示情報に基づいて、それが提示される方法を検討してもよい。例えば、どの方向からセカンダリオーディオが聞かれるかは、現在のオーディオ提示情報に基づいて判定されてもよい。ユーザが、通信オーディオを知覚する位置または領域５０４を指定している場合、装置１００は、上記所定の位置５０４から知覚されるように、空間オーディオとして、通信オーディオのセカンダリオーディオを提示するように構成されてもよい。次いで、通信オーディオについての所定の位置５０４が予め決められていない１つ以上の他の例では、装置１００は、方向または方向の範囲、すなわち、例えば、現在のオーディオ提示情報に基づいて１つ以上のオーディオソースのオーディオに対応付けられる、ユーザ２００に向かう位置５０１、５０２、および５０３からの方向と重複しない位置を識別するように構成されてもよい。１つ以上の例では、セカンダリオーディオは、モノフォニックオーディオとして提示されてもよく、したがって、知覚される起点場所または方向なしで提示されてもよい。現在のオーディオ提示情報が、現在提示されているオーディオがないことを示す１つ以上の他の例では、装置１００は、通信オーディオコンテンツのセカンダリオーディオに付随する指向性情報によって規定される空間配置に従って、ユーザ２００の全周囲の知覚位置または方向から空間オーディオとして通信オーディオコンテンツのセカンダリオーディオを提示するように構成されてもよい。

【0073】

セカンダリオーディオの重要性情報が、セカンダリオーディオが重要であることを示し、現在のオーディオ提示情報が、１つ以上のオーディオソースのうちの少なくとも１つがオーディオをユーザ２００に現在提示していることを示す１つ以上の例では、装置１００は、セカンダリオーディオの提示を提供し、１つ以上のオーディオソースのうちの少なくとも１つのオーディオがセカンダリオーディオの提示に適応するように提示される、ボリュームまたは方向の範囲のうちの一方または両方の修正を提供するように構成されてもよい。したがって、知覚位置５０１、５０２、５０３からオーディオを提示したボリュームが低減されてもよい。１つ以上の例では、知覚位置５０１、５０２、５０３のサイズは、各オーディオソースのオーディオがより狭い方向の範囲から知覚されるように低減されてもよい。１つ以上の例では、知覚位置５０１、５０２、５０３の位置は、セカンダリオーディオの提示のために既存の空間オーディオシーン５００でより大量のスペースが存在するように移動されてもよい。ボリューム、オーディオソースオーディオの知覚位置、および位置５０１、５０２、５０３の知覚サイズのうちの１つ以上の修正が提供される度合いは、セカンダリオーディオの所定の基準および／またはコンテンツに基づいてもよいことが理解されるであろう。例えば、セカンダリオーディオが空間オーディオコンテンツを含む場合、指向性情報は、リモートユーザ２０４のオーディオ体験を再現するためにセカンダリオーディオが提示されるべき方向の範囲を示してもよい。したがって、装置１００は、方向のこの範囲を使用して、既存の空間オーディオシーンを修正するように構成されてもよい。

【0074】

セカンダリオーディオの重要性情報が、セカンダリオーディオが重要でないことを示す１つ以上の例では、装置１００は、セカンダリオーディオを全く提示しないように構成されてもよい。１つ以上の他の例では、装置１００は、１つ以上のオーディオソースのうちの少なくとも１つがオーディオをユーザ２００に現在提示していることを示す、現在のオーディオ提示情報に基づいて、セカンダリオーディオの非提示を提供するように構成されてもよい。したがって、他のオーディオソースが提示されている場合、重要でないセカンダリオーディオが同様に提示されることは、非常に紛らわしい場合があり、したがって、それは無視されてもよい。１つ以上の例では、重要でないとするセカンダリオーディオの指定によって、リモートユーザデバイス２０２によるセカンダリオーディオを非送信としてもよい。したがって、装置１００は、セカンダリオーディオがなくプライマリオーディオのみを含む通信オーディオコンテンツを受信してもよい。

【0075】

セカンダリオーディオの重要性情報が、セカンダリオーディオが重要でないことを示す１つ以上の他の例では、装置１００は、１つ以上のオーディオソースのうちのどれもがオーディオをユーザ２００に現在提示していないことを、現在のオーディオ提示情報が示すときにのみ、セカンダリオーディオの提示を提供するように構成されてもよい。したがって、現在の既存の空間オーディオシーン５００がない場合、セカンダリオーディオは、それがセカンダリオーディオの重要性情報において重要でないと考えられるにもかかわらず提示されてもよい。セカンダリオーディオの重要性情報が３つ以上のレベルを含む１つ以上の例では、最も低いレベルの重要性が、常に、セカンダリオーディオの非提示を提供してもよく、一方、高いレベルであるが最も高いレベルではない重要性が、１つ以上のオーディオソースのうちのどれもが、オーディオをユーザ２００に現在提示していないことを現在のオーディオ提示情報が示すときなど、現在のオーディオ提示情報に基づく限定された状況でのみ、セカンダリオーディオの提示を提供してもよい。

【0076】

１つ以上の例では、装置１００は、オーディオコンテンツについてのデフォルトの知覚場所を規定する、デフォルトの知覚場所情報を受信してもよい。したがって、装置は、通信オーディオコンテンツの提示のためのデフォルトの知覚場所として、位置５０４などの位置の設定を提供してもよい。上記デフォルトの知覚場所の設定は、現在のオーディオ提示情報で提供されてもよい。他の例では、デフォルトの知覚場所の別々の指定は、通信オーディオコンテンツの提示での装置１００による使用のための現在のオーディオ提示情報から独立して提供されてもよいことが理解されるであろう。１つ以上の例では、装置１００は、通信オーディオコンテンツの受信時に、上記デフォルトの知覚場所が設定される場合、上記コンテンツの少なくとも上記プライマリオーディオが、上記デフォルトの知覚場所から発生しているとして知覚される空間オーディオとしての提示を提供されるように構成されてもよい。１つ以上の例では、装置１００は、通信オーディオコンテンツの受信時に、上記デフォルトの知覚場所が設定されない場合、１つ以上のオーディオソースから提示されるいずれのオーディオとも重複しない、方向または方向の範囲から知覚されるように、上記コンテンツの少なくともプライマリオーディオが空間オーディオとしての提示を提供されるように構成されてもよい。したがって、方向は、異なるオーディオ間の知覚される空間の重複を回避するように自動的に判定される。

【0077】

したがって、装置１００は、提案される没入型オーディオコールなどの、プライマリおよびセカンダリオーディオを含む通信オーディオコンテンツの受信時に、通信オーディオコンテンツの提示が、少なくともセカンダリオーディオの重要性情報の存在によって制御され得るため、有利な場合がある。セカンダリオーディオの重要性情報は、セカンダリオーディオがどれほど重要かに関して装置１００にシグナリングするための手段をリモートユーザ２０４、リモートユーザデバイス２０２、またはサーバ２０５に有利に提供してもよい。したがって、装置１００は、入って来る通信オーディオコンテンツをユーザ２００にどのようにレンダリングおよび／または提示するかについて、情報に基づく選択をしてもよい。

【0078】

上記では、ローカルユーザデバイス２０１は、リモートユーザデバイス２０２から通信オーディオコンテンツを受信するものとして説明される。しかし当然のことながら、双方向通信を提供するために、ローカルユーザデバイス２０１は同様に、ユーザ通信オーディオコンテンツ（または上述のオーディオコンテンツから意味的に区別するために、より一般的には「ユーザオーディオコンテンツ」）と称される、ユーザ２００のオーディオコンテンツおよびその周囲の音響を捕捉するように構成されてもよい。したがって、装置１００は、ユーザ２００とリモートユーザデバイス２０２のリモートユーザ２０４との間の通信を提供するために、上記ユーザ通信オーディオコンテンツをリモートユーザデバイス２０２に送信するように構成されてもよい。装置は、ユーザ通信オーディオコンテンツの送信を提供するために、通信デバイスまたはトランスミッタを制御してもよい。１つ以上の例では、上記ユーザ通信オーディオコンテンツは、通信オーディオコンテンツと同様に、プライマリオーディオと、セカンダリオーディオと、を含む。

【0079】

さらに、装置１００は、例えば、リモートユーザデバイス２０２のリモート装置による使用のためのセカンダリオーディオの重要性情報の生成および送信を提供するように構成されてもよい。当然のことながら、装置１００によって提供されるセカンダリオーディオの重要性情報は、上記ユーザ通信オーディオコンテンツに対応付けられて、ユーザ通信オーディオコンテンツのセカンダリオーディオの重要性を示してもよい。

【0080】

リモートユーザデバイス２０２に送信されるユーザ通信オーディオコンテンツに対応付けられたセカンダリオーディオの重要性情報は、ユーザ２００から受信されるユーザ入力に基づいてもよい。したがって、１つ以上の例では、ユーザ２００は、ユーザ入力を通じて、通信コールを開始するときにおよび／または通信コール中に、セカンダリオーディオの重要性を示してもよい。１つ以上の他の例では、ユーザ通信オーディオコンテンツに対応付けられたセカンダリオーディオの重要性情報は、装置１００、ローカルユーザデバイス２０１、またはサーバ２０５によって実行されるオーディオ分析によって自動的に判定されてもよい。ユーザ２００は、セカンダリオーディオの重要性情報の自動的な判定を確認するように要求されても要求されなくてもよい。したがって、装置１００は、確認のユーザ入力を受信するように構成されていても構成されていなくてもよい。１つ以上の他の例では、ユーザ通信オーディオコンテンツに対応付けられたセカンダリオーディオの重要性情報は、ユーザ２００の現在の場所に基づいて、自動的に判定されてもよい。例えば、ユーザ２００の現在の場所は、現在の場所が珍しいかまたは注目に値するかどうか、したがって、セカンダリオーディオの潜在的な重要性を判定するために、ユーザ２００（または多くの他のユーザ）がそこにいたことのある地図データまたは歴史的な場所と比較されてもよい。

【0081】

上述のように、セカンダリオーディオの重要性情報が、セカンダリオーディオが重要でないことを示すとき、装置１００は、特定の場所からの空間オーディオとしてセカンダリオーディオを提示しないように構成されてもよいし、提示するように構成されてもよいし、空間オーディオ提示なしで構成されてもよい。したがって、セカンダリオーディオは、ネットワーク２０３を介して提供されてもよいが、最終的に使用されない場合がある。したがって、１つ以上の例では、装置１００は、ユーザ通信コンテンツに対応付けられたセカンダリオーディオの重要性情報が、セカンダリオーディオが重要でないことを示すことに基づいて、リモートユーザデバイス２０２に送信する前に、セカンダリオーディオを修正するか、またはセカンダリオーディオを除去するために、ユーザ通信オーディオコンテンツの修正を提供してもよい。１つ以上の例では、対応付けられた指向性情報を用いて、またはそれを用いずに送信するためにプライマリオーディオのみが提供されてもよい。１つ以上の例では、装置１００は、プライマリオーディオおよびセカンダリオーディオとして分類されるものから、モノフォニックおよびステレオフォニックオーディオのうちの一方を含むものへの、ユーザ通信オーディオコンテンツのオーディオ修正を提供するように構成されてもよい。したがって、セカンダリオーディオが重要でない場合、没入型コールの提供の関連性が失われてもよく、通信コールは、モノフォニックまたはステレオフォニックオーディオコールに「ダウングレード」されてもよい。そのようなモノフォニックまたはステレオフォニックオーディオコールは、少なくとも一部の例では、オーディオコール中に唯一伝達されたオーディオコンテンツであってもよいプライマリオーディオコンテンツのための少なくともいくつかの空間情報を含んでもよい。

【0082】

セカンダリオーディオがどのように提示されるか、またはセカンダリオーディオが本当に提示されるかどうかは、セカンダリオーディオの重要性情報に少なくとも基づいて、装置１００によって選択されてもよい。１つ以上の例では、リモートユーザ２０４またはリモートユーザデバイス２０２が、装置１００によって行われる選択を把握していることが有利な場合がある。したがって、１つ以上の例では、装置１００は、リモートユーザデバイス２０２へのユーザモニタリング情報の送信を提供するように構成されてもよい。ユーザモニタリング情報は少なくとも、通信オーディオのセカンダリオーディオが、少なくともリモートユーザ２０４またはリモートユーザデバイスに通知するためにユーザ２００に提示されているかどうかを示す。

【0083】

したがって、ユーザモニタリング情報に基づいて、リモートユーザデバイス２０２に対応付けられた装置１００に相当するリモート装置は、ユーザ２００に送信しているセカンダリオーディオがユーザ２００に提示されているかどうかのリモートユーザ２０４への通知を提供するように構成されてもよい。

【0084】

同様に、リモートユーザデバイス２０２またはリモート装置から装置１００によって受信されるユーザモニタリング情報に基づいて、装置１００は、リモートユーザ２０４に送信しているユーザ通信オーディオコンテンツのセカンダリオーディオがリモートユーザ２０４に提示されているかどうかをユーザ２００に通知するように構成されてもよい。

【0085】

関連ユーザ２００、２０４への通知は、テキスト、図形、聴覚、または触覚によるメッセージなどのメッセージの提示を含んでもよい。

【0086】

ユーザモニタリング情報は、通信オーディオまたはユーザ通信オーディオのソースへのフィードバックとみなされて、それがその送信先でどのように提示されているかについての情報を提供してもよい。

【0087】

ユーザモニタリング情報は、（ユーザ）通信オーディオコンテンツの提示の他のパラメータについて示してもよい。

【0088】

１つ以上の例では、ユーザ２００が提示位置５０４から発生しているように通信オーディオコンテンツを知覚するような、通信オーディオコンテンツのユーザ２００への提示に対応付けられたユーザ２００に対する位置を含む提示位置５０４を、ユーザモニタリング情報が示してもよい。したがって、リモートユーザデバイス２０２またはそのリモート装置は、ユーザ２００が通信オーディオコンテンツの起点を現在知覚している、提示スペース４００または空間オーディオシーン５００での場所を通知されてもよい。

【0089】

リモートユーザデバイス２０２またはリモート装置は、相当する提示位置５０４での通信オーディオコンテンツのリモートユーザ２０４への提示を提供するように構成されてもよい。したがって、リモートユーザの自己生成オーディオ、すなわち、通信オーディオコンテンツは、ユーザ２００に対して位置５０４に相当する前方左の位置から知覚されるように捕捉されて、リモートユーザ２０４に提示される。

【0090】

同様に、装置１００は、リモートユーザデバイス２０２またはそのリモート装置から、明確にするためにリモートユーザモニタリング情報と称される、対応するユーザモニタリング情報を受信するように構成されてもよい。したがって、リモートユーザモニタリング情報に基づいて、装置１００は、上記リモートユーザモニタリング情報で示される提示位置に対応する、ユーザ２００に対する方向または場所から、ユーザ通信オーディオコンテンツのユーザ２００への提示を提供するように構成されてもよい。

【0091】

例示的な図７を参照して、リモートユーザ２０４は７０１に示されているが、これは、リモートユーザ２０４のオーディオ環境を示す。通信オーディオコンテンツは、プライマリオーディオとしてのリモートユーザ２０４の少なくとも音声と、（猫を含む）場所７０５および（犬を含む）場所７０６から受信される周囲のセカンダリオーディオの少なくとも２つの実体と、を含む。

【0092】

ユーザ２００は７０２に示されているが、これは、ユーザ２００のオーディオ環境およびユーザ２００に提示される空間オーディオシーンを示す。リモートユーザからの通信オーディオコンテンツ（プライマリおよびセカンダリオーディオ）は、位置７０７から発生していると知覚されるように提示されるように生じる。ユーザ２００はまた、オーディオソースのオーディオを聴いており、これは、位置７０８から発生していると知覚されるように提示される。この例では、オーディオソースのオーディオは、音符によって示される音楽である。位置７０９（子供）および位置７１０（第２の子供）に、ユーザ２００を取り囲む周囲の音響のいくつかのソースもある。

【0093】

装置１００によって提供されるユーザモニタリング情報は、ユーザ２００が通信オーディオコンテンツを知覚する場所を含む場所７０７、すなわち、位置７０７を示す情報を含んでもよい。

【0094】

上記ユーザモニタリング情報を受信したリモートユーザ２０４は、７０３に示されている。したがって、リモートユーザデバイスのリモート装置は、位置７０７に対応する位置７１１での通信オーディオコンテンツの提示を提供している。したがって、リモートユーザ２０４は、ユーザ２００がその通信オーディオコンテンツを知覚している、空間オーディオシーン５００での場所を知っている。これがリモートグループのオーディオシーンを理解するうえで有利な場合がある。したがって、オーディオコンテンツ（例えば、プライマリオーディオおよび／またはセカンダリオーディオ）が、基準方向（例えば、ユーザが面している方向）に対してユーザによって知覚されるかまたは知覚されている方向が、ユーザモニタリング情報としてリモートユーザデバイスに提供されてもよい。次いで、オーディオコンテンツは、リモートユーザに、そのオーディオコンテンツがどのようにユーザに提示されているかを理解させるために、ユーザモニタリング情報に作用するリモートユーザデバイスによってリモートユーザに提示され得る。

【0095】

１つ以上の例では、ユーザモニタリング情報は、リモートユーザデバイス２０２またはその相当するリモート装置によってリモートユーザ２０４に提示するための現在のオーディオ提示情報で規定されるようにユーザに提示される、１つ以上のオーディオソースのうちの少なくとも１つのオーディオを示してもよい。したがって、ユーザモニタリング情報は、ユーザ２００によって聴かれるオーディオソースオーディオの、リモートユーザデバイス２０２に送信されるオーディオストリームを含んでもよい。１つ以上の例では、ユーザ２００によってプライベートであるとして指定されるオーディオは、ストリーミングされない。１つ以上の例では、ユーザモニタリング情報は、ユーザ２００に提示される１つ以上のオーディオソースのうちの少なくとも１つ（すなわち、７０８で提示される音楽）への、ＵＲＬまたはリンクなどの参照を示してもよい。

【0096】

オーディオソースオーディオまたはそこへの参照を含むときのユーザモニタリング情報の使用が７０４に示されている。リモートユーザ２０４は、位置７０７に対応する位置７１１での通信オーディオコンテンツ、ならびに７０６および７０５での周囲の音響を再び含むオーディオシーン内で、７０４に示されている。しかしながら、さらに、ユーザモニタリング情報に基づいて、リモート装置は、位置７０８に対応し得る７１２で示されるように、音符によって示され、ユーザ２００によって聴かれる音楽のリモートユーザ２０４への提示を提供してもよい。この例では、ユーザ通信オーディオのセカンダリオーディオは、位置７０９および７１０に対応する位置７１３および７１４で提示される。子供および第２の子供は、リモートユーザ２０４とともに物理的に存在するものではなくリモートユーザ２０４の空間オーディオシーンに存在する単なるオーディオであることを示すためにボックスで示される。

【0097】

図７の説明は、リモートユーザデバイス２０２または装置１００に相当するそのリモート装置が、ユーザモニタリング情報に基づいてどのようにオーディオの提示を提供し得るかに関するが、装置１００が、リモートユーザモニタリング情報と称される、リモートユーザデバイス２０２からのユーザモニタリング情報に基づいて、相当する動作を実行してもよいことが理解されるであろう。

【0098】

したがって、装置１００は、リモートユーザデバイスから受信されるリモートユーザモニタリング情報に基づいて、リモートユーザ２０４に対する位置に対応し、リモートユーザがユーザ通信コンテンツを知覚する、ユーザ２００に対する位置から知覚されるように、ユーザ通信コンテンツのユーザ２００への提示を提供するように構成されてもよい。したがって、この例では、リモートユーザモニタリング情報は、リモートユーザが、提示位置から発生しているようにユーザ通信オーディオコンテンツ（少なくともそのプライマリオーディオ）を知覚するような、ユーザ通信オーディオコンテンツのリモートユーザ２０４への提示に対応付けられたリモートユーザ２０４に対する位置を含む、提示位置を含む。

【0099】

１つ以上の例では、装置１００は、リモートユーザデバイス２０２から受信されるリモートユーザモニタリング情報に基づいて、リモートユーザ２０４に現在提示されている１つ以上のオーディオソースのうちの少なくとも１つのオーディオのユーザ２００への提示を提供するように構成されてもよい。この例では、リモートユーザデバイス２０２から受信される上記リモートユーザモニタリング情報は、上記オーディオ、またはリモートユーザ２０４に提示される１つ以上のオーディオソースのうちの少なくとも１つに対する参照を含む。

【0100】

図８は、８０１でリモート装置の観点から、８０２で装置１００の観点から、通信コールを示す一対のフローチャートを示す。典型的には、上記通信コールは双方向であり、したがって、各装置１００は、他方から受信される情報およびコンテンツに少なくとも部分的に基づいて、両方のフローチャートで動作を実行し得ることが理解されるであろう。

【0101】

フローチャート８０１は、８０３において、没入型通信コールを開始するリモートユーザ２０４を示す。リモートユーザ２０４は、さらに、８０４において、セカンダリオーディオの重要性を示すためのユーザ入力を提供してもよい。ユーザ入力に基づいて、セカンダリオーディオの重要性情報と称される適切なシグナリングが、８０５において、生成および伝達される。リモート装置は、８０６において、ユーザ２００の装置１００からユーザモニタリング情報を受信してもよい。

【0102】

フローチャート８０２は、オーディオソースのオーディオが提示されているユーザ２００を示す。ユーザ２００は、ステップ８０７において、現在のオーディオ提示情報を設定してもよい。装置１００は、８０８において、ステップ８０５において送信されるセカンダリオーディオの重要性情報とともにリモートユーザから通信オーディオコンテンツを受信してもよい。装置１００は、ステップ８０９において、セカンダリオーディオの重要性情報、現在のオーディオ提示情報、および任意でデフォルトの知覚場所に基づいて、通信オーディオコンテンツとともにオーディオソースのオーディオのレンダリングを提供してもよい。

【0103】

したがって、ローカルユーザデバイスを介したリモートユーザ２０４への提示のためにユーザ通信オーディオコンテンツをリモートユーザデバイス２０２に提供するように構成された装置１００も開示する。上記ユーザ通信オーディオコンテンツは、ローカルユーザデバイス２０１の少なくともユーザのオーディオを含む。上記通信オーディオコンテンツは、プライマリオーディオと、セカンダリオーディオと、を含む。装置１００は、さらに、上記ユーザ通信オーディオコンテンツのセカンダリオーディオの重要性を示す、上記ユーザ通信オーディオコンテンツに対応付けられたセカンダリオーディオの重要性情報を提供するように構成されてもよい。

【0104】

図９はフロー図を示す。このフロー図は、
プライマリオーディオ、および前記プライマリオーディオと異なり、かつ周囲の音響を含むセカンダリオーディオを含む、オーディオコンテンツをリモートユーザデバイスから受信するステップ９００と、
前記オーディオコンテンツに対応付けられ、かつ前記セカンダリオーディオの重要性を示す、セカンダリオーディオの重要性情報を受信するステップ９０１と、
１つ以上のオーディオソースのそれぞれのオーディオが、基準ポイントの周囲で１つ以上のそれぞれの方向または方向の範囲から発生しているとして知覚されるように、前記１つ以上のオーディオソースからのオーディオが空間オーディオとして現在提示されているかどうかを少なくとも示す、現在のオーディオ提示情報を受信するステップ９０２と、
前記プライマリオーディオの提示を提供するステップ９０３と、
前記セカンダリオーディオの重要性情報および前記現在のオーディオ提示情報に基づいて、前記セカンダリオーディオの提示を提供するステップ９０４と、
を示す。

【0105】

図１０は、一例による、プログラムを提供するコンピュータ／プロセッサ可読媒体１０００を概略的に示す。この例では、コンピュータ／プロセッサ可読媒体は、デジタルバーサタイルディスク（Digital Versatile Disc：ＤＶＤ）またはコンパクトディスク（Compact Disc：ＣＤ）などのディスクである。一部の例では、コンピュータ可読媒体は、発明の機能を実施するような方法でプログラムされた任意の媒体であってもよい。コンピュータプログラムコードは、同じタイプの複数のメモリ、またはＲＯＭ、ＲＡＭ、フラッシュ、ハードディスク、ソリッドステートなどの異なるタイプの複数のメモリ間で分配されてもよい。

【0106】

ユーザ入力は、タップ、スワイプ、スライド、プレス、ホールド、回転ジェスチャー、デバイスのユーザインタフェースの近くでの静的ホバリングジェスチャー、デバイスの近くでの移動ホバリングジェスチャー、デバイスの少なくとも一部を曲げること、デバイスの少なくとも一部をつかむこと、複数本の指によるジェスチャー、デバイスを傾けること、または制御デバイスを裏返すことのうちの１つ以上を含む、ジェスチャーであってもよい。さらに、ジェスチャーは、腕などのユーザの体や、フリースペースユーザジェスチャーを実行するのに好適なスタイラスまたは他の要素を使用する、任意のフリースペースユーザジェスチャーであってもよい。

【0107】

上述の例に示される装置は、ポータブル電子デバイス、ラップトップコンピュータ、携帯電話、スマートフォン、タブレットコンピュータ、携帯情報端末（Personal Digital Assistant：ＰＤＡ）、デジタルカメラ、スマートウォッチ、スマートアイウェア、ペンベースのコンピュータ、非ポータブル電子デバイス、デスクトップコンピュータ、モニター、スマートテレビ、サーバ、ウェアラブル装置、仮想現実装置、またはそれらの１つ以上についてのモジュール／回路であってもよい。

【0108】

任意の前述の装置および／または特定の前述の装置の他の特徴は、例えば、スイッチオンなど、有効にされるときにのみ所望の動作を実行するように構成された状態になるように用意された装置によって提供されてもよい。そのような場合、それらは、必ずしも、有効でないとき（例えば、スイッチオフ状態）にアクティブメモリ内にロードされる適切なソフトウェアを有しておらず、有効なとき（例えば、オン状態）に適切なソフトウェアをロードするだけであってもよい。装置は、ハードウェア回路および／またはファームウェアを備えてもよい。装置は、メモリ上にロードされるソフトウェアを備えてもよい。そのようなソフトウェア／コンピュータプログラムは、同じメモリ／プロセッサ／機能ユニットおよび／または１つ以上のメモリ／プロセッサ／機能ユニット上に記録されてもよい。

【0109】

一部の例では、特定の前述の装置は、所望の動作を実行するための適切なソフトウェアで予めプログラムされてもよい。適切なソフトウェアは、例えば、ソフトウェアおよび関連するその機能をロック解除／有効にするための「キー」をダウンロードするユーザによって使用のために有効にされ得る。そのような例に対応付けられる利点は、さらなる機能がデバイスに必要なときにデータをダウンロードする要求が少ないことを含み得る。これは、デバイスが、ユーザによって有効にされない場合がある機能のためにそのような予めプログラムされたソフトウェアを格納するのに十分な能力を有すると認識される例で有用であり得る。

【0110】

任意の前述の装置／回路／要素／プロセッサは、前述の機能に加えて、他の機能を有してもよい。これらの機能は、同じ装置／回路／要素／プロセッサによって実行されてもよい。１つ以上の開示された態様は、関連するコンピュータプログラム、および適切なキャリア（例えば、メモリ、信号）上に記録される（エンコードされるソース／輸送であってもよい）コンピュータプログラムの電子分配を包含してもよい。

【0111】

本明細書で説明される任意の「コンピュータ」は、同じ回路基板もしくは回路基板の同じ領域／位置または同じデバイスにさえ位置していても位置していなくてもよい、１つ以上の個々のプロセッサ／処理要素の集合を備え得る。一部の例では、任意の前述のプロセッサのうちの１つ以上は、複数のデバイスで分配されてもよい。同じまたは異なるプロセッサ／処理要素は、本明細書で説明される１つ以上の機能を実施してもよい。

【0112】

「シグナリング」という用語は、一連の伝達および／または受信された電気／光信号として伝達される１つ以上の信号を指してもよい。一連の信号は、上述のシグナリングを構成するための、１つ、２つ、３つ、４つ、もしくはさらに多くの個々の信号構成要素または別個の信号を含んでもよい。これらの個々の信号のうちの一部またはすべては、同時に、連続して、および／または一時的に互いに重複するように、無線または有線通信によって伝達／受信されてもよい。

【0113】

任意の前述のコンピュータならびに／またはプロセッサおよび（例えば、ＲＯＭ、ＣＤ－ＲＯＭなどを含む）メモリの任意の説明を参照して、これらは、コンピュータプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field-Programmable Gate Array：ＦＰＧＡ）、および／または発明の機能を実施するような方法でプログラムされた他のハードウェア構成要素を備えてもよい。

【0114】

本明細書の出願人は、２つ以上の特徴または特徴の組合せが本明細書に開示される任意の問題を解決するかどうかにかかわらず、特許請求の範囲を限定することなく、当業者の一般的な知見に照らして、そのような特徴または組合せが全体として本明細書に基づいて実行されることが可能な程度まで、本明細書で説明される個々の特徴を個別に、２つ以上のそのような特徴の任意の組合せを開示する。出願人は、開示された態様／例が任意のそのような個々の特徴または特徴の組合せで構成されてもよいことを示す。前述の説明の観点から、本開示の範囲内で様々な修正が行われてもよいことが当業者に明らかであろう。

【0115】

例示に適用されるような基本的な新しい特徴が示され、説明され、指摘されているが、説明されるデバイスおよび方法の形態および詳細における様々な省略ならびに置換および変更が、本開示の範囲から逸脱することなく当業者によって行われてもよいことが理解されるであろう。例えば、同じ結果を達成するために実質的に同じ方法で実質的に同じ機能を実施する、それらの要素および／または方法ステップのすべての組合せが、本開示の範囲内にあることが明確に意図される。さらに、任意の開示された形態または例に関連して示され、かつ／または説明される構造および／もしくは要素ならびに／または方法ステップが、設計選択の一般的な事項として、任意の他の開示、説明、または提案された形態または例に組み込まれてもよいことを認識されたい。さらに、特許請求の範囲において、ミーンズプラスファンクションクレームは、記載された機能を実施するとして本明細書で説明される構造をカバーするように意図され、これは構造的な等価物だけでなく等価構造も含まれる。したがって、釘は、木製部品を一緒に固定するために円柱形表面を採用するが、一方、ねじは、らせん形表面を採用するという点で、釘およびねじは構造的な等価物でない場合があるが、木製部品を固定する環境では、釘およびねじは等価構造であってもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】