(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-27
(45)【発行日】2024-10-07
(54)【発明の名称】設定変更可能な非公開モードを備えたウェアラブルサウンドシステム
(51)【国際特許分類】
H04R 3/00 20060101AFI20240930BHJP
G06F 3/16 20060101ALI20240930BHJP
G10K 11/178 20060101ALI20240930BHJP
G10K 11/34 20060101ALI20240930BHJP
G10L 15/10 20060101ALI20240930BHJP
H04R 1/40 20060101ALI20240930BHJP
【FI】
H04R3/00 310
G06F3/16 630
G10K11/178
G10K11/34
G10L15/10 200W
H04R1/40 310
(21)【出願番号】P 2019008469
(22)【出願日】2019-01-22
【審査請求日】2021-12-14
【審判番号】
【審判請求日】2023-11-17
(32)【優先日】2018-01-25
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】592051453
【氏名又は名称】ハーマン インターナショナル インダストリーズ インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(72)【発明者】
【氏名】ジェイム エリオット ナーマン
(72)【発明者】
【氏名】ステファン マルティ
(72)【発明者】
【氏名】ダヴィデ ディ センソ
(72)【発明者】
【氏名】ミリャナ スパソイェヴィッチ
(72)【発明者】
【氏名】ジョセフ ヴァーベック
【合議体】
【審判長】千葉 輝久
【審判官】坂本 聡生
【審判官】高橋 宣博
(56)【参考文献】
【文献】特開2005-197896(JP,A)
【文献】特開2006-154144(JP,A)
【文献】特開2017-118376(JP,A)
【文献】特開2017-220695(JP,A)
【文献】特開平9-233588(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04R 3/00
H04R 1/40
H04R 1/02
H04R 1/10
G06F 3/16
G10K11/178
G10K11/34
G10L15/10
(57)【特許請求の範囲】
【請求項1】
聴取者間に音声を分配するコンピュータ実装方法であって、
第1のモードで動作するように1つ以上の音響トランスデューサを構成することであって、前記第1のモードにおいて、前記1つ以上の音響トランスデューサが、音声が第1の聴取者に向かって、かつ第2の聴取者及び第3の聴取者から離れて出力される第1の音場を生成する、ことと、
前記1つ以上の音響トランスデューサを、第1のトリガイベントに応答して、前記第1のモードから第2のモードに移行させることと、
前記第2のモードで動作するように前記1つ以上の音響トランスデューサを構成することであって、前記第2のモードにおいて、前記1つ以上の音響トランスデューサが、音声が前記第1の聴取者及び前記第2の聴取者に向かって、かつ前記第3の聴取者から離れて出力される第2の音場を生成することにより、前記第3の聴取者を妨害することなく前記音声を前記第1の聴取者及び前記第2の聴取者が知覚できるように
し、前記1つ以上の音響トランスデューサは、前記第1のモードから前記第2のモードに移行させるように機械的サブシステムによって機械的に作動させられるように構成される、ことと
を含む、方法。
【請求項2】
第3のモードで動作するように前記1つ以上の音響トランスデューサを構成することをさらに含み、前記第3のモードにおいて、前記1つ以上の音響トランスデューサが、音声が前記第2の聴取者に向かって、かつ前記第1の聴取者から離れて出力される第3の音場を生成する、請求項1に記載のコンピュータ実装方法。
【請求項3】
前記第1の音場と前記第2の音場とを同時に生成する、請求項1に記載のコンピュータ実装方法。
【請求項4】
前記第1の音場が第1の音源と関連し、前記第2の音場が第2の音源と関連する、請求項1に記載のコンピュータ実装方法。
【請求項5】
前記第1のモードで動作するように前記1つ以上の音響トランスデューサを構成することが、前記第1の聴取者に向かって、かつ前記第2の聴取者から離れて音声を集束させるビーム形成動作を行うことを含む、請求項1に記載のコンピュータ実装方法。
【請求項6】
前記第1のモードで動作するように前記1つ以上の音響トランスデューサを構成することが、前記第2の聴取者と関連する位置において、音声の第1の部分を相殺する能動型ノイズキャンセル動作を行うことを含む、請求項1に記載のコンピュータ実装方法。
【請求項7】
前記第1の聴取者と関連するセンサデータに基づいて、または前記第1の聴取者が存在する環境と関連するセンサデータに基づいて、前記第1のトリガイベントを検出することをさらに含む、請求項1に記載のコンピュータ実装方法。
【請求項8】
プロセッサによって実行されるとき、
第1のモードで動作するように1つ以上の音響トランスデューサを構成するステップであって、前記第1のモードにおいて、前記1つ以上の音響トランスデューサが、音声が第1の聴取者に向かって、かつ第2の聴取者及び第3の聴取者から離れて出力される第1の音場を生成する、ステップと、
第1のトリガイベントに応答して第2の動作モードを開始するステップと、
前記第2のモードで動作するように前記1つ以上の音響トランスデューサを構成するステップであって、前記第2のモードにおいて、前記1つ以上の音響トランスデューサが、前記第1の音場を生成することと併せて、音声が前記第1の聴取者及び前記第2の聴取者に向かって、かつ前記第3の聴取者から離れて出力される第2の音場を生成することにより、前記第3の聴取者を妨害することなく前記音声を前記第1の聴取者及び前記第2の聴取者が知覚できるように
し、前記1つ以上の音響トランスデューサは、前記第1のモードから前記第2のモードに移行させるように機械的サブシステムによって機械的に作動させられるように構成される、ステップとを行うことによって、前記プロセッサに、聴取者間に音声を分配させる非一時的なコンピュータ可読媒体。
【請求項9】
前記第1の音場が、前記第1の聴取者に応答する情報端末と関連し、前記第2の音場が、前記第1の聴取者と関連する第1の音楽ファイルから生じる、請求項8に記載の非一時的なコンピュータ可読媒体。
【請求項10】
前記第2の動作モードを開始するステップが、1つ以上のコマンドを
前記機械的サブシステムに送って、前記第2の音場を生成させることを含む、請求項8に記載の非一時的なコンピュータ可読媒体。
【請求項11】
前記第2の動作モードを開始するステップが、オーディオ生成器にデジタル信号処理計算を行わせて、第1のオーディオ信号を生成することを含み、前記第2の音場が、前記第1のオーディオ信号から生じる、請求項8に記載の非一時的なコンピュータ可読媒体。
【請求項12】
前記第1のトリガイベントが、前記第1の聴取者によって発行される第1の音声コマンドの検出を含み、前記第2の動作モードに対応する、請求項8に記載の非一時的なコンピュータ可読媒体。
【請求項13】
前記第1の聴取者が存在する環境内の第1の物体と音声を関連付けるように、前記第1の音場を生成し、前記第1の聴取者が前記環境の中を通って移動するときに前記第1の音場を前記第1の物体に関連付けたままにすることをさらに含む、請求項8に記載の非一時的なコンピュータ可読媒体。
【請求項14】
前記1つ以上のトランスデューサに、前記第1の聴取者が存在する環境からサンプリングされた第1の音声を生成して、前記第1の聴取者に向けて音声を出力させるステップをさらに含む、請求項8に記載の非一時的なコンピュータ可読媒体。
【請求項15】
聴取者間で音声を分配するシステムであって、
第1の聴取者によって着用されるように構成されたウェアラブルデバイスであって、
センサアレイとスピーカアレイとを含む入出力(I/O)サブシステムを含む、ウェアラブルデバイスと、
コンピューティングデバイスであって、
制御アプリケーションを格納するメモリと、
前記制御アプリケーションを実行するときに、
第1のモードで動作するように前記スピーカアレイを構成するステップであって、前記第1のモードにおいて、前記スピーカアレイが、音声が第1の聴取者に向かって、かつ第2の聴取者及び第3の聴取者から離れて出力される第1の音場を生成する、ステップと、
前記スピーカアレイを、第1のトリガイベントに応答して、前記第1のモードから第2のモードに移行させるステップと、
前記第2のモードで動作するように前記スピーカアレイを構成するステップであって、前記第2のモードにおいて、前記スピーカアレイが、音声が前記第1の聴取者及び前記第2の聴取者に向かって、かつ前記第3の聴取者から離れて出力される第2の音場を生成することにより、前記第3の聴取者を妨害することなく前記音声を前記第1の聴取者及び前記第2の聴取者が知覚できるように
し、前記スピーカアレイは、前記第1のモードから前記第2のモードに移行させるように機械的サブシステムによって機械的に作動させられるように構成される、ステップと
を行うように構成されたプロセッサと
を含む、コンピューティングデバイスと
を含む、システム。
【請求項16】
前記ウェアラブルデバイスが、前記スピーカアレイを作動して、前記第1の動作モードから前記第2の動作モードに移行させるように構成された
前記機械的サブシステムをさらに含む、請求項15に記載のシステム。
【請求項17】
前記機械的サブシステムが、前記第1の動作モードで動作するときに、前記スピーカアレイを作動して前記第1の聴取者の方に向かわせ、前記第2の動作モードで動作するように、前記スピーカアレイを作動して前記第2の聴取者の方に向かわせる、請求項16に記載のシステム。
【請求項18】
聴取者間で音声を分配するシステムであって、
第1の聴取者によって着用されるように構成されたウェアラブルデバイスであって、
センサアレイとスピーカアレイとを含む入出力(I/O)サブシステムを含む、ウェアラブルデバイスと、
コンピューティングデバイスであって、
制御アプリケーションを格納するメモリと、
前記制御アプリケーションを実行するときに、
第1のモードで動作するように前記スピーカアレイを構成するステップであって、前記第1のモードにおいて、前記スピーカアレイが、音声が第1の聴取者に向かって、かつ第2の聴取者及び第3の聴取者から離れて出力される第1の音場を生成する、ステップと、
前記スピーカアレイを、第1のトリガイベントに応答して、前記第1のモードから第2のモードに移行させるステップと、
前記第2のモードで動作するように前記スピーカアレイを構成するステップであって、前記第2のモードにおいて、前記スピーカアレイが、音声が前記第1の聴取者及び前記第2の聴取者に向かって、かつ前記第3の聴取者から離れて出力される第2の音場を生成することにより、前記第3の聴取者を妨害することなく前記音声を前記第1の聴取者及び前記第2の聴取者が知覚できるようにする、ステップと
を行うように構成されたプロセッサと
を含む、コンピューティングデバイスと
を含み、
前記ウェアラブルデバイスが、前記スピーカアレイを作動して、前記第1の動作モードから前記第2の動作モードに移行させるように構成された機械的サブシステムをさらに含み、
前記機械的サブシステムが、前記第1の動作モードで動作するときに、前記スピーカアレイを作動して前記第1の聴取者の方に向かわせ、前記第2の動作モードで動作するように、前記スピーカアレイを作動して前記第2の聴取者の方に向かわせ、
前記ウェアラブルデバイスが、帽子を含み、前記スピーカアレイが前記帽子のイヤフラップに埋め込まれ、前記機械的サブシステムが、動作モード間を移行する際に、前記イヤフラップを上昇及び下降させる
、システム。
【請求項19】
前記ウェアラブルデバイスが、頸部装着型のデバイスを含み、前記スピーカアレイが、複数の異なる動作モードに対応する複数の指向性の音場を生成するように構成された操向可能スピーカアレイを含む、請求項15に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
様々な実施形態の技術分野
様々な実施形態は、全般に、スピーカシステムに関し、より詳細には、設定可能な非公開モードを備えたウェアラブルサウンドシステムに関する。
【背景技術】
【0002】
関連技術の説明
従来のパーソナルサウンドシステムは、一般に、オーディオ信号を生成するよう構成されたオーディオデバイスと、これらのオーディオ信号から得られる音声をユーザの耳に出力するよう構成された一組のヘッドホンとを含む。例えば、従来のデジタル音楽プレーヤは、音楽ファイルを基にオーディオ信号を生成し、次にそれらの信号を、ユーザの耳に音を出力する一対のヘッドホンまたはイヤホンに伝送する。
【0003】
従来のパーソナルサウンドシステムは、ユーザが孤立して音声を聴取するという特定の状況においてうまく機能する。しかし、そのようなシステムは、ユーザが他の人たちに近接して音声を聴取するという、より一般的な状況において動作するように適合される必要がある。具体的には、皆のいる場所で、パーソナルサウンドシステムのユーザが、他の人たちと一緒に音声を聴取する共有経験を促進したいと望む場合がある。
【0004】
そのような状況では、パーソナルサウンドシステムのユーザは、多くの場合、1つのヘッドホンまたはイヤホンを他の聴取者と共有する。しかし、ヘッドホンワイヤが通常は短すぎて快適な聴き取りができず、絡まり易くなる場合があるため、このようなアプローチは煩わしくなり得る。さらに、ヘッドホンまたはイヤホンを1つだけ使用する場合、ステレオ効果が失われ、没入感に乏しい聴取体験に終わる。さらに、このようなアプローチが音声を共有することを可能にするのは、2人までである。このように、一般的な事項として、従来のパーソナルサウンドシステムを複数人の聴取者と一緒に利用することは容易ではない。
【0005】
以上のように、複数人の聴取者間で音声を共有することへのより効果的な取り組みがあれば有益である。
【発明の概要】
【課題を解決するための手段】
【0006】
1つ以上の実施形態は、聴取者間に音声を分配するコンピュータ実装方法を明らかにする。本方法は、第1のモードで動作するように1つ以上の音響トランスデューサを構成することを含み、第1のモードにおいて、1つ以上の音響トランスデューサが、音声が第1の聴取者に向かって、かつ第2の聴取者から離れて出力される第1の音場を生成し、本方法はさらに、1つ以上の音響トランスデューサを、第1のトリガイベントに応答して、第1のモードから第2のモードに移行させること、ならびに第2のモードで動作するように1つ以上の音響トランスデューサを構成することを含み、第2のモードにおいて、1つ以上の音響トランスデューサが、音声が第1の聴取者及び第2の聴取者に向かって出力される第2の音場を生成する。
【0007】
さらなる実施形態は、とりわけ、上記の方法を実装するように構成されたシステム及びコンピュータ可読媒体を提供する。
【0008】
本明細書に記載される技術の1つの利点は、オーディオ共有システムのユーザが、ある時に他の人たちと孤立して音声を聴取することができ、他の時に近くの聴取者と選択的に音声を共有できることである。
【0009】
上記の特徴を細部にわたって理解することができるように、上に簡潔に要約した様々な実施形態のより詳細な内容を、いくつかの実施形態を参照することによって知ることができ、その一部が添付の図面において説明される。しかしながら、添付の図面は、典型的な実施形態のみを示し、企図された実施形態は他の同等に有効な実施形態に通じることができるので、したがって、範囲を限定するものとみなされるべきではないことに注意すべきである。
本発明は、例えば、以下の項目を提供する。
(項目1)
聴取者間に音声を分配するコンピュータ実装方法であって、
第1のモードで動作するように1つ以上の音響トランスデューサを構成することを含み、前記第1のモードにおいて、前記1つ以上の音響トランスデューサが、音声が第1の聴取者に向かって、かつ第2の聴取者から離れて出力される第1の音場を生成し、前記方法はさらに、
前記1つ以上の音響トランスデューサを、第1のトリガイベントに応答して、前記第1のモードから第2のモードに移行させること、ならびに
前記第2のモードで動作するように前記1つ以上の音響トランスデューサを構成することを含み、前記第2のモードにおいて、前記1つ以上の音響トランスデューサが、音声が前記第1の聴取者及び前記第2の聴取者に向かって出力される第2の音場を生成する、前記方法。
(項目2)
前記第1のモードにおいて、前記1つ以上の音響トランスデューサが、音声が第3の聴取者から離れて出力される前記第1の音場を生成し、かつ前記第1のモードにおいて、前記1つ以上の音響トランスデューサが、音声が前記第3の聴取者から離れて出力される前記第2の音場を生成する、上記項目に記載のコンピュータ実装方法。
(項目3)
第3のモードで動作するように前記1つ以上の音響トランスデューサを構成することをさらに含み、前記第3のモードにおいて、前記1つ以上の音響トランスデューサが、音声が前記第2の聴取者に向かって、かつ前記第1の聴取者から離れて出力される第3の音場を生成する、上記項目のいずれか一項に記載のコンピュータ実装方法。
(項目4)
前記第1の音場と前記第2の音場とを同時に生成する、上記項目のいずれか一項に記載のコンピュータ実装方法。
(項目5)
前記第1の音場が第1の音源と関連し、前記第2の音場が第2の音源と関連する、上記項目のいずれか一項に記載のコンピュータ実装方法。
(項目6)
前記第1のモードで動作するように前記1つ以上の音響トランスデューサを構成することが、前記第1の聴取者に向かって、かつ前記第2の聴取者から離れて音声を集束させるビーム形成動作を行うことを含む、上記項目のいずれか一項に記載のコンピュータ実装方法。
(項目7)
前記第1のモードで動作するように前記1つ以上の音響トランスデューサを構成することが、前記第2の聴取者と関連する位置において、音声の第1の部分を相殺する能動型ノイズキャンセル動作を行うことを含む、上記項目のいずれか一項に記載のコンピュータ実装方法。
(項目8)
前記第1の聴取者と関連するセンサデータに基づいて、または前記第1の聴取者が存在する環境と関連するセンサデータに基づいて、前記第1のトリガイベントを検出することをさらに含む、上記項目のいずれか一項に記載のコンピュータ実装方法。
(項目9)
プロセッサによって実行されるとき、
第1のモードで動作するように1つ以上の音響トランスデューサを構成することであって、前記第1のモードにおいて、前記1つ以上の音響トランスデューサが、音声が第1の聴取者に向かって、かつ第2の聴取者から離れて出力される第1の音場を生成する、前記第1のモードで動作するように1つ以上の音響トランスデューサを構成すること、
第1のトリガイベントに応答して第2の動作モードを開始すること、及び
前記第2のモードで動作するように前記1つ以上の音響トランスデューサを構成することであって、前記第2のモードにおいて、前記1つ以上の音響トランスデューサが、前記第1の音場を生成することと併せて、音声が前記第1の聴取者及び前記第2の聴取者に向かって出力される第2の音場を生成する、前記第2のモードで動作するように前記1つ以上の音響トランスデューサを構成することのステップを行うことによって、前記プロセッサに、聴取者間に音声を分配させる非一時的なコンピュータ可読媒体。
(項目10)
前記第1の音場が、前記第1の聴取者に応答する情報端末と関連し、前記第2の音場が、前記第1の聴取者と関連する第1の音楽ファイルから生じる、上記項目のいずれか一項に記載の非一時的なコンピュータ可読媒体。
(項目11)
前記第2の動作モードを開始することの前記ステップが、1つ以上のコマンドを機械的サブシステムに送って、前記第2の音場を生成させることを含む、上記項目のいずれか一項に記載の非一時的なコンピュータ可読媒体。
(項目12)
前記第2の動作モードを開始することの前記ステップが、オーディオ生成器にデジタル信号処理計算を行わせて、第1のオーディオ信号を生成することを含み、前記第2の音場が、前記第1のオーディオ信号から生じる、上記項目のいずれか一項に記載の非一時的なコンピュータ可読媒体。
(項目13)
前記第1のトリガイベントが、前記第1の聴取者によって発行される第1の音声コマンドの検出を含み、前記第2の動作モードに対応する、上記項目のいずれか一項に記載の非一時的なコンピュータ可読媒体。
(項目14)
前記第1の聴取者が存在する環境内の第1の物体と音声を関連付けるように、前記第1の音場を生成し、前記第1の聴取者が前記環境の中を通って移動するときに前記第1の音場を前記第1の物体に関連付けたままにすることをさらに含む、上記項目のいずれか一項に記載の非一時的なコンピュータ可読媒体。
(項目15)
前記1つ以上のトランスデューサに、前記第1の聴取者が存在する環境からサンプリングされた第1の音声を生成して、前記第1の聴取者に向けて音声を出力させる前記ステップをさらに含む、上記項目のいずれか一項に記載の非一時的なコンピュータ可読媒体。
(項目16)
聴取者間で音声を分配するシステムであって、
第1の聴取者によって着用されるように構成されたウェアラブルデバイスであって、
センサアレイとスピーカアレイとを含む入出力(I/O)サブシステムを含む前記ウェアラブルデバイスと、
コンピューティングデバイスであって、
制御アプリケーションを格納するメモリと、
前記制御アプリケーションを実行するときに、
第1のモードで動作するように前記スピーカアレイを構成することであって、前記第1のモードにおいて、前記スピーカアレイが、音声が第1の聴取者に向かって、かつ第2の聴取者から離れて出力される第1の音場を生成する、前記第1のモードで動作するように前記スピーカアレイを構成すること、
前記スピーカアレイを、第1のトリガイベントに応答して、前記第1のモードから第2のモードに移行させること、及び
前記第2のモードで動作するように前記スピーカアレイを構成することを含み、前記第2のモードにおいて、前記スピーカアレイが、音声が前記第1の聴取者及び前記第2の聴取者に向かって出力される第2の音場を生成することのステップを行うように構成されたプロセッサとを含む前記コンピューティングデバイスとを含む前記システム。
(項目17)
前記ウェアラブルデバイスが、前記スピーカアレイを作動して、前記第1の動作モードから前記第2の動作モードに移行させるように構成された機械的サブシステムをさらに含む、上記項目のいずれか一項に記載のシステム。
(項目18)
前記機械的サブシステムが、前記第1の動作モードで動作するときに、前記スピーカアレイを作動して前記第1の聴取者の方に向かわせ、前記第2の動作モードで動作するように、前記スピーカアレイを作動して前記第2の聴取者の方に向かわせる、上記項目のいずれか一項に記載のシステム。
(項目19)
前記ウェアラブルデバイスが、帽子を含み、前記スピーカアレイが前記帽子のイヤフラップに埋め込まれ、前記機械的サブシステムが、動作モード間を移行する際に、前記イヤフラップを上昇及び下降させる、上記項目のいずれか一項に記載のシステム。
(項目20)
前記ウェアラブルデバイスが、頸部装着型のデバイスを含み、前記スピーカアレイが、複数の異なる動作モードに対応する複数の指向性の音場を生成するように構成された操向可能スピーカアレイを含む、上記項目のいずれか一項に記載のシステム。
(摘要)
オーディオ共有システムは、少なくとも2つの動作モードで動作するように構成される。非公開モードでは、オーディオ共有システムは、ユーザにのみ音声を出力し、周囲の音響環境からユーザを分離することができる。公開動作モードでは、オーディオ共有システムは、ユーザとユーザに近接する他の聴取者とに音声を一斉送信し、それによって社会的方法で音声を共有する。オーディオ共有システムは、音声の選択的共有を可能にする他の動作モードで動作することもできる。
【図面の簡単な説明】
【0010】
【
図1A】様々な実施形態の1つ以上の態様を実装するように構成されたオーディオ共有システムを示す。
【
図1B】様々な実施形態の1つ以上の態様を実装するように構成されたオーディオ共有システムを示す。
【
図1C】様々な実施形態の1つ以上の態様を実装するように構成されたオーディオ共有システムを示す。
【
図1D】様々な実施形態の1つ以上の態様を実装するように構成されたオーディオ共有システムを示す。
【
図1E】様々な実施形態の1つ以上の態様を実装するように構成されたオーディオ共有システムを示す。
【
図2A】様々な実施形態による、
図1のオーディオ共有システムと連携する例示的な肩部装着型のオーディオデバイスを示す。
【
図2B】様々な実施形態による、
図1のオーディオ共有システムと連携する例示的な肩部装着型のオーディオデバイスを示す。
【
図2C】様々な実施形態による、
図1のオーディオ共有システムと連携する例示的な肩部装着型のオーディオデバイスを示す。
【
図2D】様々な実施形態による、
図1のオーディオ共有システムと連携する例示的な肩部装着型のオーディオデバイスを示す。
【
図3A】様々な実施形態による、
図1のオーディオ共有システムと連携する例示的な頭部装着型のオーディオデバイスを示す。
【
図3B】様々な実施形態による、
図1のオーディオ共有システムと連携する例示的な頭部装着型のオーディオデバイスを示す。
【
図3C】様々な実施形態による、
図1のオーディオ共有システムと連携する例示的な頭部装着型のオーディオデバイスを示す。
【
図3D】様々な実施形態による、
図1のオーディオ共有システムと連携する例示的な頭部装着型のオーディオデバイスを示す。
【
図4A】様々な実施形態による、
図1のオーディオ共有システムのより詳細な説明図である。
【
図4B】様々な実施形態による、
図1のオーディオ共有システムのより詳細な説明図である。
【
図5】様々な実施形態による、オーディオ共有モード間を移行する方法ステップのフロー図である。
【
図6】様々な実施形態による、複数のオーディオ共有モードで同時に動作する方法ステップのフロー図である。
【発明を実施するための形態】
【0011】
以下の説明では、様々な実施形態の理解の徹底を期すために、多数の細部にわたる詳細な内容が示される。しかし、それらの細部のうちの1つ以上をその通りに用いなくても、様々な実施形態の実施が可能であることは、当業者にとって明らかであろう。
【0012】
上述のように、従来のパーソナルサウンドシステムは、他の人たちと孤立して一人の聴取者にオーディオを発するように特に設計されており、そのため、社会的コンテクストにおいて容易に使用することができない。具体的には、従来のパーソナルサウンドシステムは、複数の聴取者間でオーディオを共有するための内蔵機構を有していない。
【0013】
この問題に対処するために、様々な実施形態には、少なくとも2つの動作モードで動作するように構成されたオーディオ共有システムが含まれる。非公開モードにおいて、本オーディオ共有システムは、ユーザにのみ音声を出力し、ユーザを周囲の音響環境から隔離することができる。公開動作モードでは、オーディオ共有システムは、ユーザとユーザに近接する他の聴取者とに音声を一斉送信し、それによって社会的方法で音声を共有する。オーディオ共有システムは、音声の選択的共有を可能にする他の動作モードで動作することもできる。本明細書に記載される技術の1つの利点は、オーディオ共有システムのユーザが、ある時に他の人たちと孤立して音声を聴取することができ、他の時に近くの聴取者と選択的に音声を共有できることである。
【0014】
概念的概要
図1A~
図1Eは、本実施形態の1つ以上の態様を実装するように構成されたオーディオ共有システムを示す。
図1Aに示すように、オーディオ共有システム100は、ユーザ110によって着用されるように構成される。具体的には、オーディオ共有システム100のコンポーネントは、ユーザ110の頭112及び/または肩114に結合されてもよい。オーディオ共有システム100の他のコンポーネントは、他にも選択肢はあるが、ユーザの衣服に格納されるか、またはユーザによって運ばれ得る。オーディオ共有システムの様々な実施態様については、
図2A~
図3Dに関連して、以下に詳細に説明する。
【0015】
動作中、オーディオ共有システム100は、音声を発して音場120(A)を生成するように構成される。本構成では、オーディオ共有システム100は、「非公開」動作モードで動作し、ひいてはユーザ110のすぐ近くに音場120(A)を生成する。非公開モードで動作するとき、オーディオ共有システム100は、音声を対象ユーザ110へ向かわせるとともに、近隣の聴取者130(0)及び130(1)によって知覚され得る音声は発しないようにする指向性音響技術を実装することができる。このような指向性音響技術は、
図2A~
図2Dに関連して具体的に説明するように、ビーム形成及び/または操向可能音響アレイを含むことができる。このような指向性音響技術は、
図3A~
図3Dに関連して具体的に説明するように、音声を指向させる機械的アプローチを含むこともできる。
【0016】
様々なトリガイベントに応答して、オーディオ共有システム100は、異なる動作モード間を移行するように構成される。トリガイベントは、ユーザ110から受け取った入力、またはユーザ110を取り囲む環境から受け取った入力に基づいて識別され得る。例えば、限定はしないが、オーディオ共有システム100は、ユーザ110から受け取った音声コマンドに応答して、動作モード間を移行することができる。あるいは、オーディオ共有システム100は、他の近隣の聴取者を識別すると、動作モード間を移行することができる。他のトリガイベントについては、
図4A~
図4Bに関連して以下にさらに詳細に説明する。さらなる動作モードについては後述する。
【0017】
オーディオ共有システム100は、それぞれの異なる動作モードに対応する各種の音場を生成することができる。
図1Bは、オーディオ共有システム100が「公開」動作モードで動作するときに生成される音場を示す。
【0018】
図1Bに示すように、オーディオ共有システム100は、公開モードで動作するときに音場120(B)を生成するように構成される。音場120(B)は、音場120(A)の拡張バージョンに相当する。音場120(B)は、ユーザ110ならびに聴取者130(0)及び130(1)によって知覚できるものであり得る。このように、オーディオ共有システム100は、社会的コンテクストにおける音声の共有に役立ち、それによって従来のパーソナルサウンドシステムに伴う制約を克服する。
【0019】
オーディオ共有システム100は、一層正確に形づくられた音場を生成することもできる。
図1Cは、オーディオ共有システム100が「指定」動作モードで動作するときに生成される音場を示す。
【0020】
図1Cに示すように、オーディオ共有システム100は、指定モードで動作するときに音場120(C)を生成するように構成される。音場120(C)は、ユーザ110及び聴取者130(0)によって知覚されるように正確に形成され、聴取者130(1)によって知覚されることがない。このアプローチは、聴取者のサブグループ化を含む社会的コンテクストにおいて実行され得る。例えば、限定はしないが、ユーザ110及び聴取者130は、共同で公開スペースを共有することができるが、ユーザ110及び聴取者130(0)は、聴取者130(1)を含まない対話形式によるグループ化などのサブグループを形成することができる。したがって、ユーザ110は、聴取者130(1)を妨害することなく、すなわち含むことなく、聴取者130(0)と音声を共有することを望むことができる。
【0021】
オーディオ共有システム100は、特定の聴取者を対象にする集束音場を生成することもできる。
図1Dは、オーディオ共有システム100が「スポットライト」動作モードで動作するときに生成される音場を示す。
【0022】
図1Dに示すように、オーディオ共有システム100は、スポットライトモードで動作するときに音場120(D)を生成するように構成される。音場120(D)は、聴取者130(0)を特に対象とし、ユーザ110を除外する。したがって、聴取者130(0)は、オーディオ共有システム100によって生成された音声を知覚することができ、ユーザ110は、その音声を知覚することができない。この特殊な動作モードは、ユーザ110が、近隣の聴取者と音を共有したいが、その音を聞くことを望まない場合に実行され得る。例えば、限定はしないが、ユーザ110は、聴取者130(0)と音声メッセージを共有することを望む場合がある。ユーザ110は、既にその音声メッセージを聴いているので、そのメッセージを再び聴くことを避けたいと望む可能性がある。したがって、ユーザ110は、オーディオ共有システム100に、聴取者130(0)を対象とし、ユーザ110を除外する音場120(D)を生成させる。
【0023】
音声共有システム100は、複数の音場を同時に生成することもできる。
図1Eは、オーディオ共有システム100が「マルチ」動作モードで動作するときに生成される音場を示す。
【0024】
図1Eに示すように、オーディオ共有システム100は、
図1Aの音場120(A)、
図1Cの音場120(C)、及び音場120(E)を、同時にかつ連動して生成するように構成される。これらの異なる音場は、ユーザ110及び聴取者130の様々なサブグループを対象とする。具体的には、音場120(A)は、ユーザ110を対象とし、それによって前述のように、ユーザ110によってのみ知覚できるようになり得る。音場120(C)は、ユーザ110及び聴取者130(0)の両者を対象とし、それによって先に述べたように、ユーザ110及び聴取者130(0)によってのみ知覚できるようになり得る。さらに、音場130(E)は、ユーザ110及び聴取者130(1)を対象とし、それによってユーザ110及び聴取者130(1)によってのみ知覚できるようになり得る。
【0025】
示される種々の音場のそれぞれは、異なった音源から出ていてもよく、または個別の設定で変調される共通の音源から出ていてもよい。例えば、限定はしないが、音場120(A)は、ユーザ110が非公開にしたいと望む、携帯情報端末に伴うオーディオを構成することができる。さらに、音場120(C)は、聴取者130(0)が聴取に関心を示したオーディオを構成することができる一方で、音場120(E)は、聴取者130(1)が聴取に関心を示した異なるオーディオを構成することができる。別の例では、音場120(C)は、特定の音源から生じて第1の音量で発することができる一方で、音場120(E)はまた、その同じ音源から生じるが、第2の音量で発することができる。一実施形態では、特定の聴取者130は、オーディオ共有システム100とインタラクトして、その聴取者130と関係がある音場に特に適用される設定を構成することができる。本明細書で論じる方法では、オーディオ共有システム100は、複数の異なるモードで同時に動作して、連動して異なる音場120を生成するように構成される。
【0026】
一実施形態では、オーディオ共有システム100は、複数の異なる対話型エージェントに関連付けられた音場を同時に生成して、管理する。一つ一つ異なる対話型エージェントに対応する個別の音場は、別々のグループの聴取者に向けることができる。各聴取者グループは、関連する音場を介して異なる対話型エージェントとインタラクトすることができる。オーディオ共有システム100は、これらの種々の聴取者グループと、対応する対話型エージェントとの間の対話を、互いに独立して調整することができる。あるいは、オーディオ共有システム100は、他の対話に基づいてそれぞれの異なる対話を管理することができる。一例では、限定はしないが、オーディオ共有システム100は、自動車の車内にいるユーザと会話することができ、車両の外部の歩行者と会話することもできる。これらの2つの会話は、(場合によっては、ユーザに対して透過的に)互いにインタラクトしてもしなくてもよい2つの異なる対話型エージェントを介して、または単一の対話型エージェントを介して行うことができる。
【0027】
全体として
図1A~
図1Eを参照すると、上述の音場120のいずれかを生成する場合、オーディオ共有システム100は、本明細書で詳細に説明するように、デジタル信号処理または他の音響変調技法を実行して、さらなる機能を実現することができる。
【0028】
一実施形態では、オーディオ共有システム100は、特定の聴取者(例えば、ユーザ110及び/または聴取者130)にとって、特定の方向から発せられるように思われるように、変調音を生成することができる。例えば、限定はしないが、
図1Aに示す音場120(A)を生成する場合、オーディオ共有システム100は、音声がユーザ110を取り囲む環境の特定の場所から生じるように思われるように、音場120(A)を変調することができる。オーディオ共有システム100は、ユーザ110がその環境内を移動するときに、この局所的効果を保存するように、音場120(A)を変調することもできる。このようにして、オーディオ共有システム100は、周囲環境に固定されたままの音源を装うことができる。
【0029】
別の実施形態では、オーディオ共有システム100は、変調音を生成して、時間とともに、移動し、及び/または形状を変える音場120をもたらすことができる。例えば、限定はしないが、
図1Cに示す音場120(C)を生成する場合、オーディオ共有システム100は、聴取者130(0)がユーザ110に対して動くときに、この移動中に、ユーザ110及び聴取者130(0)に特に音声を発し続けるために、音場120(C)を変調することができる。
【0030】
さらに別の実施形態では、オーディオ共有システム100は、環境音を音場に選択的に組み込む変調音を生成することができる。例えば、限定はしないが、
図1Aに示される音場120(A)を生成する場合、オーディオ共有システム100は、音場120(A)を変調して、近隣の往来から発される環境音を含め、それによってユーザ110にある程度の状況認識を提供することができる。
【0031】
前述のように、オーディオ共有システム100は、指向性の音を発して、音場120を生成するように構成された、各種のオーディオデバイスを含むことができる。
図2A~
図2D及び
図3A~
図3Dは、それぞれそのような装置の2つの例を明らかにする。
【0032】
例示的なオーディオデバイス
図2A~
図2Dは、様々な実施形態による、
図1のオーディオ共有システムと連携する例示的な肩部装着型及び/または頸部装着型のオーディオデバイスを示す。
図2A~
図2Bのそれぞれに示すように、ユーザ110は、肩部114に操向可能音響アレイ200を着用する。操向可能音響アレイ200は、相互運用して高指向性の音声を生成するように構成された音響トランスデューサの一群を含み、それによって、正確に形づくられた音場の形成を可能にする。操向可能音響アレイ200は、例えば限定はしないが、数ある実行可能な手段の中でも特に、一組の微小電気機械システム(MEMS)デバイス、一組の超音波トランスデューサ、または一組のマイクロ音響デバイスを含むことができる。
【0033】
図2Aに示すように、操向可能音響アレイ200を介して、オーディオ共有システム100は、ユーザ110の耳を特に対象とし、他所へ音を発することを回避する音場120(A)を生成することができる。この構成は、前述の非公開動作モードに対応する。次に、オーディオ共有システム100は公開モードに移行し、それに応じて操向可能音響アレイ200の出力を調節することができる。
【0034】
図2Bに示すように、操向可能音響アレイ200を介して、オーディオ共有システムは今度は、多方向に音声を一斉送信するために音場120(B)を生成することができ、それによって近隣の聴取者130が共有された音声を聴くことを可能にする。この構成は、前述の公開動作モードに対応する。
図2B~
図2Dは、オーディオ共有システム100と連携するオーディオデバイスの別の実施態様を図示する。
【0035】
図2C~
図2Dに示すように、ユーザ110は、頸部装着型の音響アレイ210を着用する。頸部装着型の音響アレイ210は、相互運用して高指向性の音声を生成するように構成された音響トランスデューサの一群を含むことができ、それによって、
図2A~
図2Bの操向可能音響アレイ200と同じように、正確に形づくられた音場の形成を可能にする。頸部装着型の音響アレイ210を介して、
図2Cに示すように、オーディオ共有システム100は、非公開モードで動作する際に音場120(A)を生成することができる。次に、オーディオ共有システム100は、
図2Dに示すように、公開モードに移行し、音場120(B)を生成することができる。オーディオ共有システム100は、
図3A~
図3Dと併せて以下にさらに詳細に説明するように、ユーザ110の頭部112に装着することができるオーディオデバイスを含むこともできる。
【0036】
図3A~
図3Dは、様々な実施形態による、
図1のオーディオ共有システムと連携する例示的な頭部装着型のオーディオデバイスを示す。
図3A~
図3Bのそれぞれに示すように、ユーザ110は、頭部112にロボット帽子300を着用する。ロボット帽子300は、折り下げ位置と折り上げ位置との間で折り畳めるように構成された機械的フラップ310を含む。機械的フラップは、アクチュエータ、電気モータ、サーボ機構、ステッパ、ソレノイド、または、並進及び/または回転をもたらすように構成された他のロボット要素を含むことができる。機械的フラップは、形状記憶合金、形状記憶ポリマー、熱可塑性物質、誘電性電気活性ポリマーなどを含む形態変化材料を介して作動させることもできる。
【0037】
機械的フラップが、
図3Aに示すように、折り下げ位置に配置している場合、各機械的フラップ310がユーザ110の個別の耳を覆い、それぞれの耳に音声を向かわせる。この構成では、オーディオ共有システム100は、非公開モードで動作し、限られた音声がユーザ110を取り囲む環境に発される。機械的フラップ310が、
図3Bに示すように、折り上げ位置に配置している場合、各機械的フラップ310が外側に向き、周囲環境に音声を向かわせる。この構成では、オーディオ共有システム100は、公開モードで動作する。
【0038】
一実施形態では、ロボット帽子300は、ロボット帽子300の機械的に作動するツバに結合された1つ以上の表示画面をさらに含むことができる。この機械的に作動するツバは、第1の表示画面をユーザ110に見せるために、下方に折り畳むことができる。ツバの反対側の第2の表示画面は、機械的に作動するツバが下方に折り畳まれたときに、他の近隣の聴取者に見えるようにすることもできる。オーディオ共有システム100は、現在の動作モードに応じて、これらの表示画面の一方または両方にビジュアルコンテンツを選択的に表示することができる。例えば、限定はしないが、非公開モードで動作する場合、オーディオ共有システム100は、第1の表示画面にのみ、ひいてはユーザ110にのみ、ビジュアルコンテンツを表示することができる。しかしながら、公開モードでの動作時には、オーディオ共有システム100は、第2の表示画面上にビジュアルコンテンツを表示することもできる。関連する実施形態では、ロボット帽子300は、ユーザ110が、シミュレーションされた現実に部分的または完全に没入する非公開モードと、シミュレーションされた現実の景観が近隣の聴取者と共有される公開モードとの間で移行するように構成された、十分な機能を有する拡張現実(AR)デバイスまたはバーチャルリアリティ(VR)デバイスであってもよい。当業者であれば、ロボット帽子300に関連する技術は、ジャケットの襟、スカーフ、ネックレス、バックパックなどを含む他の形態の衣服及びウェアラブルアイテムとの関連で実装することができることも認識されるはずである。また、上述のビデオ表示部を伴う実施形態のいずれも、前述のオーディオ関連の実施形態のいずれとも組み合わせることもできる。
【0039】
図3C~
図3Dに示すように、
図3A~
図3Bと併せて上に述べた機構は、他の種類の帽子に適用することもできる。具体的に、
図3C~
図3Dに示す帽子320は、スピーカ330を含むことができる。
図3Cに示すように、帽子320のツバが下方に折り畳まれると、オーディオ共有システム100は非公開モードで動作する。次に、
図3Dに示すように、帽子320のツバが上方に折り畳まれると、オーディオ共有システム100は公開モードで動作する。
【0040】
全体として
図2A~
図3Dを参照すると、これらの図に関連して説明したオーディオデバイスは、
図1A~
図1Eに関連して上に述べた音場のいずれかを生成するように、互いに組み合わせて実装することができる。さらに、上述のオーディオデバイスは、記載された音場のいずれかを生成するように、様々なデジタル信号処理技術と組み合わせて実装することもできる。
【0041】
一般的な事項として、オーディオ共有システム100は、技術的に可能な任意のアプローチまたはアプローチの組合せを介して、動作モード間を移行する特定の設定を実行する。例えば、限定はしないが、オーディオ共有システム100は、上述のような機械的作動を実行することができ、またはやはり前に述べたようなデジタル信号処理技術を実行することができる。さらに、オーディオ共有システム100は、数ある実行可能な手段の中でも特に、機械技術及びデジタル信号処理技術の両方を互いに組み合わせて実行することができる。これらの技術のいずれかを用いて、オーディオ共有システム100が、上述した音場120のありとあらゆる組合せを実現するように、1つ以上のオーディオ出力デバイスが構成される。
【0042】
オーディオ共有システム100に含まれる様々なコンピューティングコンポーネントにつき、
図4A~
図4Bと併せて、以下にさらに詳細に説明する。
【0043】
システム概観
図4A~
図4Bは、様々な実施形態による、
図1のオーディオ共有システムのより詳細な説明図である。図のように、オーディオ共有システム100は、ウェアラブルデバイス420に結合されたコンピューティングデバイス400を含む。コンピューティングデバイス400は、連結されたプロセッサ402、入出力(I/O)デバイス404、及びメモリ406を含む。
【0044】
プロセッサ402は、データを処理し、かつプログラム命令を実行するように構成される、技術的に可能な任意のハードウェアユニットであってよい。プロセッサ402は、例えば、限定はしないが、中央処理装置(CPU)、グラフィックス処理装置(GPU)、特定用途向け集積回路(ASIC)、及びそれらの任意の組合せであってよい。I/Oデバイス404には、入力を受け取るデバイス、出力を提供するデバイス、ならびに入力及び出力の両方をそれぞれ受け取って提供するデバイスが含まれる。例えば、限定はしないが、I/Oデバイス404には、入力を受け取って、出力を提供するように構成されたタッチスクリーンを含めることができる。メモリ406は、データ及びソフトウェアアプリケーションを格納する技術的に可能な任意の記憶媒体を含むことができる。メモリは、例えば、限定はしないが、ランダムアクセスメモリ(RAM)モジュールであってもよい。メモリ406は、制御アプリケーション408及びデータストア410を含む。
【0045】
制御アプリケーション408は、プロセッサ402によって実行されるときに、オーディオ共有システム100の動作を調整するプログラムコードを含むソフトウェアアプリケーションである。そうすることで、制御アプリケーション408は、オーディオ共有システム100と関連する様々な動作モード間の移行を実行し、そのような各モードに対応する音場120の生成を管理する。その際に、制御アプリケーション408はウェアラブルデバイス420と相互運用する。
【0046】
ウェアラブルデバイス420は、着用されるか、または別の方法でユーザ110に結合されるように構成される。例えば、限定はしないが、ウェアラブルデバイス420は、
図3A~
図3Dに関連して上に述べたロボット帽子300であってもよい。一部の実施形態では、ウェアラブルデバイス420は、機械的サブシステム422を含む。機械的サブシステム422は、作動操作を実行するように構成された任意のロボットハードウェアを含む。例えば、限定はしないが、機械的サブシステム422は、ロボット帽子300に取り付けられた機械的フラップ310を作動させるように構成された電気モータを含むことができる。機械的サブシステム422は、機械的作動を伴わない実施形態では省略してもよい。
【0047】
ウェアラブルデバイス420はまた、I/Oサブシステム424を含む。I/Oサブシステム424は、ユーザ110及び/またはユーザ110を取り囲む環境に関連するセンサデータを取得するように構成されたセンサアレイなどの、入力を受け取るように構成されたデバイスを含む。例えば、限定はしないが、I/Oサブシステム424は、ユーザ110の頭部の向きを計測するように構成されたジャイロスコープ、空間を介してユーザ110の動きを計測するように構成された慣性計測ユニット(IMU)、周囲の音を計測するように構成された一組の音響トランスデューサ、可視光または赤外光を計測するように構成された1つ以上の光センサ、光検知測距(LIDAR)センサ、距離センサ、飛行時間センサ、輝度センサ、または任意の他の技術的に可能な形式の感知装置を含むことができる。
【0048】
I/Oサブシステム424はまた、出力を生成するように構成されたデバイスを含む。例えば、限定はしないが、I/Oサブシステム424は、
図2A~
図2Dに関連して上に述べた操向可能音響アレイ300を含むことができる。I/Oサブシステム424は、例えば、限定はしないが、音響アレイ、超音波デバイス、ビジュアル表示デバイス、骨導振動子、フレキシブルディスプレイ、ビーム形成スピーカ、光学パススルー装置、ヘッドアップディスプレイ、または任意の他の技術的に可能な形式の発出装置を含む、他の形式のオーディオ及び/またはビジュアル出力デバイスを含むこともできる。
【0049】
コンピューティングデバイス400及びウェアラブルデバイス420は、一体化されて単一の物理的コンポーネントを形成してもよく、または別個のモジュールコンポーネントであってもよい。また、コンピューティングデバイス400は、有線接続または無線接続を介して、ウェアラブルデバイス420と通信してもよい。一実施形態では、コンピューティングデバイス400はモバイルデバイスであり、制御アプリケーション408は、ウェアラブルデバイス420の動作を調整するように、そのコンピューティングデバイス400上で、場合によっては他のアプリケーションと並行して実行するアプリケーション(アプリ)である。制御アプリケーション408は、
図4Bと併せて、以下でさらに詳細に説明する。
【0050】
図4Bに示すように、制御アプリケーション408は、移行モジュール440、ハードウェアコントローラ450、及びオーディオ生成器460を含む。移行モジュール440は、I/Oサブシステム424からセンサデータを含む入力を受け取り、次にハードウェアコントローラ450及びオーディオ生成器460との相互作用を介して、動作モード間の移行を実行するように構成されたソフトウェアモジュールである。
【0051】
そうすることで、移行モジュール440は、I/Oサブシステム424から受け取った入力データを分析して、特定のトリガイベントを検出する。各トリガイベントは、異なる動作モードに対応することができる。移行モジュール440は、トリガイベントの特定のセットを検出するように事前設定されてもよく、カスタムトリガイベントを検出するようにユーザ110によって設定されてもよい。移行モジュール440は、所与のトリガイベントを検出するために、技術的に可能な任意の形式のデータ処理を実行することができる。
【0052】
移行モジュール440は、ユーザ110によって発行された音声コマンドを識別する音声認識モジュールを含むことができる。それぞれの異なるコマンドは、異なる動作モードへの移行を開始することができる。例えば、限定はしないが、ユーザ110は、「非公開モードへ移行する」などのコマンドを発行することができ、これに応答して、次に移行モジュール440が、ハードウェアコントローラ450及びオーディオ生成器450との相互作用を介して、非公開モードへの移行を開始する。他のトリガイベントには、とりわけ、ユーザ110の名前の呼ばれ方、近隣の特定の聴取者の検出、特定の危険な状況の識別、またはオーディオ共有システム100の他のインスタンスの検出が含まれ得る。
【0053】
移行モジュール440は、コンピュータビジョン技術を実装して、ユーザ110に近い人または物を識別し、その後、適切な動作モードへの移行を開始することができる。例えば、限定はしないが、聴取者130がユーザ110に近づくと、移行モジュール440は、その聴取者の存在を検出し、それから公開モードへの移行を開始することができる。別の例では、限定はしないが、移行モジュール440は、近づいてくる自動車を検出し、それからユーザ110のオーディオへの没入を低減させるために、及び/またはユーザ110に潜在的な危険性について注意を喚起するために、非公開モードから抜け出て移行することができる。オーディオ共有システム100は、モード間を移行することなしに、潜在的な危険性をユーザ110に警告することもできる。さらに、オーディオ共有システム100は、トリガイベントに基づいて、対外的に環境に警告を送信するステップを実行することができる。例えば、限定はしないが、オーディオ共有システム100は、近づいてくる自動車に、ユーザ110が気をとられていて、潜在的な怒りに気付いていない可能性があるという警告を送信することができる。
【0054】
任意のトリガイベントに応答して、移行モジュール440は、ハードウェアコントローラ450に機械的サブシステム422を用いて特定の機械的作動を実行させることができる。そうすることで、ハードウェアコントローラ450は、1つ以上の機械的コンポーネントにコマンドを発行することができる。例えば、限定はしないが、移行モジュール440が公開モードへの移行を開始するとき、ハードウェアコントローラは、これらのフラップを上方に折り畳むために、ロボット帽子300の機械的フラップ310を作動させることができる。
【0055】
任意のトリガイベントに応答して、移行モジュール440は、オーディオ生成器460に、様々なオーディオ処理技術を実行して、I/Oサブシステム424に送られるオーディオ信号を生成させることもできる。次に、I/Oサブシステム424は、それらのオーディオ信号に基づいて、音場120を生成することができる。オーディオ生成器460は、オーディオライブラリ462にアクセスしてサウンドファイルを検索し、次にそれらのサウンドファイルを復号してオーディオ信号を生成することができる。オーディオライブラリ462は、例えば、限定はしないが、モーションピクチャエクスパーツグループ-1オーディオレイヤ-3(MP3)ファイルの一群を含むことができる。オーディオ生成器460は、一般に、様々なデジタル信号処理技術を連携して働かせ、そうするために離散デジタル信号プロセッサ(図示せず)に依拠することができる。それらの技術は、とりわけ、オーディオビーム形成、能動型ノイズキャンセル、及び3次元(3D)音響に関連し得る。例えば、限定はしないが、オーディオ生成器460は、近隣の聴取者130の位置における選択された音声を相殺するキャンセル信号を生成することができる。
【0056】
全体として
図4A~
図4Bを参照すると、コンピューティングデバイス400及びウェアラブルデバイス420の最も重要な機能性は、上記のものを超える他の技術的に可能な実装に従って実行され得ることを、当業者であれば理解するはずである。例えば、コンピューティングデバイス400及びウェアラブルデバイス420の機能性は、1枚の衣類に埋め込まれた単一の集積回路として実装されてもよい。一般的な事項として、
図1A~
図1Eに示される音場120を生成することへの技術的に可能な任意の取り組みは、本開示の範囲内にまさに入る。
図5~
図6は、これまでに論じた様々な技術を実行するためにオーディオ共有システム100によって実行される手順を示す。
【0057】
オーディオを共有する技術
図5は、様々な実施形態による、オーディオ共有モード間を移行する方法ステップのフロー図である。方法ステップは、
図1~
図4Bのシステムと関連して説明しているが、当業者であれば、本方法ステップが任意のシステムによって任意の順序で実行できることを理解するはずである。
【0058】
図示するように、方法500は、ステップ502で開始し、ここでオーディオ共有システム100は、非公開モードで動作して、ユーザ110に排他的に関連付けられた非公開音場を生成する。そうすることで、オーディオ共有システム100は、
図1Aに示す音場120(A)を生成することができる。ステップ504において、オーディオ共有システム100は、公開モードへの移行がトリガされたかどうかを判断する。オーディオ共有システム100は、公開モードに移行するかどうかを決定するための多くのあり得る基準を実装することができ、そうすることで、ユーザ110及び/またはユーザ110が存在する環境に関連するデータを処理することができる。方法500は、公開モードへの移行がトリガされない場合、ステップ502に戻る。そうでなければ、方法500はステップ506に進む。
【0059】
ステップ506において、オーディオ共有システム100は、公開モードへの移行を実行する。オーディオ共有システム100は、音場120(B)を生成するため、及び/または公開一斉送信用のオーディオ信号を調整するためのデジタル信号処理動作を実行するために、機械的作動を実行することができる。ステップ508において、オーディオ共有システム100は、公開モードで動作して、ユーザ100及び周囲環境に関連付けられた公開音場を生成する。オーディオ共有システムは、公開モードに移行すると音場120(B)を生成し、それによってユーザ110に近接する聴取者と音声を共有することができる。
【0060】
ステップ510において、オーディオ共有システムは、非公開モードへの移行がトリガされたかどうかを判断する。そのような移行がトリガされない場合、方法はステップ508に戻り、オーディオ共有システム100は公開モードのままである。そうでなければ、方法はステップ512に進み、そこでオーディオ共有システム100は非公開モードに戻る。次に方法500はステップ502に戻り、上述のとおりに進行する。オーディオ共有システム100は、方法500を実行して、非公開モードと公開モードとの間の移行という本質的な機能を実装する。オーディオ共有システム100は、
図6と併せて以下に詳細に説明するように、複数の音場を同時に生成することを含む、さらに複雑なアプローチを実装することもできる。
【0061】
図6は、様々な実施形態による、複数のオーディオ共有モードで同時に動作する方法ステップのフロー図である。方法ステップは、
図1~
図4Bのシステムと関連して説明しているが、当業者であれば、本方法ステップが任意のシステムによって任意の順序で実行できることを理解するはずである。
【0062】
図のように、方法600は、ステップ602で開始し、ここでオーディオ共有システム100は、第1のタイプのオーディオデータに関連する第1のトリガイベントを識別する。第1のトリガイベントは、ユーザ110またはユーザ110が存在する環境に関連付けられてもよい。第1のトリガイベントはまた、特定のタイプのオーディオデータに関連付けられてもよい。例えば、限定はしないが、第1のトリガイベントは、第1のオーディオファイルが再生されるべきであることを指示する、ユーザ110によって発行された特定の音声コマンドに関連付けることができる。ステップ604において、オーディオ共有システム100は、第1の音場を生成して、第1のタイプのオーディオデータを近隣の聴取者の第1のサブセットに出力する。聴取者の第1のサブセットは、ユーザ110及び特定の他の聴取者130、ユーザ110を含まない聴取者130のサブセット、またはユーザ110のみを含むことができる。
【0063】
ステップ606において、オーディオ共有システム100は、第2のタイプのオーディオデータに関連する第2のトリガイベントを識別する。第1のトリガイベントと同様に、第2のトリガイベントは、ユーザ110またはユーザ110が存在する環境に関連付けられてもよく、特定のタイプのオーディオデータに関連付けられてもよい。例えば、限定はしないが、第2のトリガイベントは、音楽が環境内に一斉送信するようにする環境信号と関連付けられ得る。ステップ608において、オーディオ共有システム100は、第1の音場を生成することと併せて、第2の音場を生成して、第2のタイプのオーディオデータを近隣の聴取者の第2のサブセットに出力する。聴取者の第2のサブセットは、第1のサブセット内の聴取者を含むことができ、または聴取者の別個のセットを含むことができる。
【0064】
上述のアプローチは、オーディオ共有システム100が複数の動作モードで同時に動作することを可能にする。例えば、限定はしないが、オーディオ共有システム100は、ユーザ110用の第1の音場のみを生成し、それによって非公開モードで動作して第1のタイプのオーディオデータを出力することができるとともに、複数の近隣の聴取者用の第2の音場を生成し、それによって公開モードで動作して第2のタイプのオーディオデータを出力することもできる。
【0065】
これまでに論じた技術は音響伝達を介しての音声共有に関わるが、当業者であれば、音声をデジタル処理で共有することができることも理解するはずである。例えば、限定はしないが、公開モードで動作するとき、オーディオ共有システム100は、近隣の聴取者に関連する選択されたモバイルデバイスにデジタルオーディオ信号をストリーミング配信することができる。このアプローチでは、オーディオ共有システム100は、多くの聴取者間でオーディオを共有できるようにしながら、音響信号を環境に一斉送信することを回避することができる。
【0066】
要するに、オーディオ共有システムは、少なくとも2つの動作モードで動作するように構成される。非公開モードでは、オーディオ共有システムは、ユーザにのみ音声を出力し、周囲の音響環境からユーザを分離することができる。公開動作モードでは、オーディオ共有システムは、ユーザとユーザに近接する任意の他の聴取者とに音声を一斉送信し、それによって社会的方法で音声を共有する。オーディオ共有システムは、音声の選択的共有を可能にする他の動作モードで動作することもできる。
【0067】
本明細書に記載される技術の1つの利点は、オーディオ共有システムのユーザが、ある時に他の人たちと孤立して音声を聴取することができ、他の時に近くの聴取者と選択的に音声を共有できることである。したがって、開示されるオーディオ共有システムは、他の人たちとの間での音声の共有を容易に行うことができない従来のアプローチを超える技術の進歩を表す。
【0068】
1.一部の実施形態は、聴取者間に音声を分配するコンピュータ実装方法であって、第1のモードで動作するように1つ以上の音響トランスデューサを構成することを含み、前記第1のモードにおいて、前記1つ以上の音響トランスデューサが、音声が第1の聴取者に向かって、かつ第2の聴取者から離れて出力される第1の音場を生成し、前記方法はさらに、前記1つ以上の音響トランスデューサを、第1のトリガイベントに応答して、前記第1のモードから第2のモードに移行させること、ならびに前記第2のモードで動作するように前記1つ以上の音響トランスデューサを構成することを含み、前記第2のモードにおいて、前記1つ以上の音響トランスデューサが、音声が前記第1の聴取者及び前記第2の聴取者に向かって出力される第2の音場を生成する、前記方法を含む。
【0069】
2.前記第1のモードにおいて、前記1つ以上の音響トランスデューサが、音声が第3の聴取者から離れて出力される前記第1の音場を生成し、かつ前記第1のモードにおいて、前記1つ以上の音響トランスデューサが、音声が前記第3の聴取者から離れて出力される前記第2の音場を生成する、条項1に記載のコンピュータ実装方法。
【0070】
3.第3のモードで動作するように前記1つ以上の音響トランスデューサを構成することをさらに含み、前記第3のモードにおいて、前記1つ以上の音響トランスデューサが、音声が前記第2の聴取者に向かって、かつ前記第1の聴取者から離れて出力される第3の音場を生成する、条項1及び2のいずれかに記載のコンピュータ実装方法。
【0071】
4.前記第1の音場と前記第2の音場とを同時に生成する、条項1、2、及び3のいずれかに記載のコンピュータ実装方法。
【0072】
5.前記第1の音場が第1の音源と関連し、前記第2の音場が第2の音源と関連する、条項1、2、3、及び4のいずれかに記載のコンピュータ実装方法。
【0073】
6.前記第1のモードで動作するように前記1つ以上の音響トランスデューサを構成することが、前記第1の聴取者に向かって、かつ前記第2の聴取者から離れて音声を集束させるビーム形成動作を行うことを含む、条項1、2、3、4、及び5のいずれかに記載のコンピュータ実装方法。
【0074】
7.前記第1のモードで動作するように前記1つ以上の音響トランスデューサを構成することが、前記第2の聴取者と関連する位置において、音声の第1の部分を相殺する能動型ノイズキャンセル動作を行うことを含む、条項1、2、3、4、5、及び6のいずれかに記載のコンピュータ実装方法。
【0075】
8.前記第1の聴取者と関連するセンサデータに基づいて、または前記第1の聴取者が存在する環境と関連するセンサデータに基づいて、前記第1のトリガイベントを検出することをさらに含む、条項1、2、3、4、5、6、及び7のいずれかに記載のコンピュータ実装方法。
【0076】
9.一部の実施形態は、プロセッサによって実行されるとき、第1のモードで動作するように1つ以上の音響トランスデューサを構成することであって、前記第1のモードにおいて、前記1つ以上の音響トランスデューサが、音声が第1の聴取者に向かって、かつ第2の聴取者から離れて出力される第1の音場を生成する、前記第1のモードで動作するように1つ以上の音響トランスデューサを構成すること、第1のトリガイベントに応答して第2の動作モードを開始すること、及び前記第2のモードで動作するように前記1つ以上の音響トランスデューサを構成することであって、前記第2のモードにおいて、前記1つ以上の音響トランスデューサが、前記第1の音場を生成することと併せて、音声が前記第1の聴取者及び前記第2の聴取者に向かって出力される第2の音場を生成する、前記第2のモードで動作するように前記1つ以上の音響トランスデューサを構成することのステップを行うことによって、前記プロセッサに、聴取者間に音声を分配させる非一時的なコンピュータ可読媒体を含む。
【0077】
10.前記第1の音場が、前記第1の聴取者に応答する情報端末と関連し、前記第2の音場が、前記第1の聴取者と関連する第1の音楽ファイルから生じる、条項9に記載の非一時的なコンピュータ可読媒体。
【0078】
11.前記第2の動作モードを開始することの前記ステップが、1つ以上のコマンドを機械的サブシステムに送って、前記第2の音場を生成させることを含む、条項9及び10のいずれかに記載の非一時的なコンピュータ可読媒体。
【0079】
12.前記第2の動作モードを開始することの前記ステップが、オーディオ生成器にデジタル信号処理計算を行わせて、第1のオーディオ信号を生成することを含み、前記第2の音場が、前記第1のオーディオ信号から生じる、条項9、10、及び11のいずれかに記載の非一時的なコンピュータ可読媒体。
【0080】
13.前記第1のトリガイベントが、前記第1の聴取者によって発行される第1の音声コマンドの検出を含み、前記第2の動作モードに対応する、条項9、10、11、及び12のいずれかに記載の非一時的なコンピュータ可読媒体。
【0081】
14.前記第1の聴取者が存在する環境内の第1の物体と音声を関連付けるように、前記第1の音場を生成し、前記第1の聴取者が前記環境の中を通って移動するときに前記第1の音場を前記第1の物体に関連付けたままにすることをさらに含む、条項9、10、11、12、及び13のいずれかに記載の非一時的なコンピュータ可読媒体。
【0082】
15.前記1つ以上のトランスデューサに、前記第1の聴取者が存在する環境からサンプリングされた第1の音声を生成して、前記第1の聴取者に向けて音声を出力させる前記ステップをさらに含む、条項9、10、11、12、13、及び14のいずれかに記載の非一時的なコンピュータ可読媒体。
【0083】
16.一部の実施形態は、聴取者間で音声を分配するシステムであって、第1の聴取者によって着用されるように構成されたウェアラブルデバイスであって、センサアレイとスピーカアレイとを含む入出力(I/O)サブシステムを含む前記ウェアラブルデバイスと、コンピューティングデバイスであって、制御アプリケーションを格納するメモリと、前記制御アプリケーションを実行するときに、第1のモードで動作するように前記スピーカアレイを構成することであって、前記第1のモードにおいて、前記スピーカアレイが、音声が第1の聴取者に向かって、かつ第2の聴取者から離れて出力される第1の音場を生成する、前記第1のモードで動作するように前記スピーカアレイを構成すること、前記スピーカアレイを、第1のトリガイベントに応答して、前記第1のモードから第2のモードに移行させること、及び前記第2のモードで動作するように前記スピーカアレイを構成することを含み、前記第2のモードにおいて、前記スピーカアレイが、音声が前記第1の聴取者及び前記第2の聴取者に向かって出力される第2の音場を生成することのステップを行うように構成されたプロセッサとを含む前記コンピューティングデバイスとを含む前記システムを含む。
【0084】
17.前記ウェアラブルデバイスが、前記スピーカアレイを作動して、前記第1の動作モードから前記第2の動作モードに移行させるように構成された機械的サブシステムをさらに含む、条項16に記載のシステム。
【0085】
18.前記機械的サブシステムが、前記第1の動作モードで動作するときに、前記スピーカアレイを作動して前記第1の聴取者の方に向かわせ、前記第2の動作モードで動作するように、前記スピーカアレイを作動して前記第2の聴取者の方に向かわせる、条項16及び17のいずれかに記載のシステム。
【0086】
19.前記ウェアラブルデバイスが、帽子を含み、前記スピーカアレイが前記帽子のイヤフラップに埋め込まれ、前記機械的サブシステムが、動作モード間を移行する際に、前記イヤフラップを上昇及び下降させる、条項16、17、及び18のいずれかに記載のシステム。
【0087】
20.前記ウェアラブルデバイスが、頸部装着型のデバイスを含み、前記スピーカアレイが、複数の異なる動作モードに対応する複数の指向性の音場を生成するように構成された操向可能スピーカアレイを含む、条項16、17、18、及び19のいずれかに記載のシステム。
【0088】
特許請求の範囲の任意のものに記載される請求項要素の任意のもの、及び/または本出願に記載される任意の要素の、任意及び全ての組合せは、いずれの態様においても、本実施形態及び保護の意図される範囲内に入る。
【0089】
様々な実施形態の説明は、例示の目的で提示されたものであり、網羅的であること、または開示された実施形態に限定されることを意図するものではない。記載された実施形態の範囲及び趣旨から逸脱することなく、多くの変更及び変形が当業者には明らかとなるであろう。
【0090】
本実施形態の態様は、システム、方法、またはコンピュータプログラム製品として具体化することができる。したがって、本開示の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、または本明細書で全般に「モジュール」または「システム」と総称され得るソフトウェア及びハードウェアの態様を組み合わせた実施形態を取ることができる。さらに、本開示の態様は、コンピュータ可読プログラムコードが組み込まれた1つ以上のコンピュータ可読媒体(複数可)で具体化されるコンピュータプログラム製品の形態を取ることができる。
【0091】
1つまたは複数のコンピュータ可読媒体(複数可)の任意の組合せを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、もしくは半導体システム、装置、もしくはデバイス、またはこれらの任意の適切な組合せであり得るが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例(非網羅的リスト)は、以下を含む。すなわち、1つ以上のワイヤを有する電気的接続部、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能なプログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光記憶装置、磁気記憶装置、または上記の任意の適切な組合せである。本文書との関連で、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれらと関連して使用するためのプログラムを含むことができるか、または格納することができる任意の有形的媒体であり得る。
【0092】
本開示の態様は、本開示の実施形態による方法、装置(システム)、及びコンピュータプログラム製品のフローチャート図及び/またはブロック図を参照して上に記載される。フローチャート図及び/またはブロック図の各ブロック、及びフローチャート図及び/またはブロック図のブロックの組合せは、コンピュータプログラム命令によって実施できることが理解されよう。これらのコンピュータプログラム命令が、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行される命令が、フローチャート及び/またはブロック図の1つまたは複数のブロックに指定される機能/動作の実行を可能にするようなマシンを生成する。そのようなプロセッサは、汎用プロセッサ、専用プロセッサ、特定用途向けプロセッサ、またはフィールドプログラマブルゲートアレイであってもよいが、これらに限定されない。
【0093】
図面のフローチャート及びブロック図は、本開示の様々な実施形態による、システム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び動作を示す。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能(複数可)を実装するための1つまたは複数の実行可能命令を含むモジュール、セグメント、またはコード部分を表すことができる。また、いくつかの代替的な実施形態では、ブロックに記されている機能は、図に示された順序から外れることがあることにも注意すべきである。例えば、連続して示される2つのブロックは、実際には実質的に同時に実行されてもよいし、または含まれる機能に依拠してブロックが時には逆の順序で実行されてもよい。ブロック図及び/またはフローチャート図の各ブロック、及びブロック図及び/またはフローチャート図のブロックの組合せは、特定の機能もしくは動作を実行する専用ハードウェアベースのシステム、または専用ハードウェアとコンピュータ命令との組合せによって実装することができることにも留意されたい。
【0094】
上記は、本開示の実施形態を対象としているが、本開示の他の実施形態及びさらなる実施形態を、その基本的な範囲から逸脱することなく考案することができ、その範囲は、以下の特許請求の範囲によって決定される。