特許 6521604 危険、又はその他の関心対象の事象があることを示すようにするオーディオパノラマの修正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6521604

(24)【登録日】2019年5月10日

(45)【発行日】2019年5月29日

(54)【発明の名称】危険、又はその他の関心対象の事象があることを示すようにするオーディオパノラマの修正

(51)【国際特許分類】

   H04R 3/00 20060101AFI20190520BHJP

   H04S 7/00 20060101ALI20190520BHJP

【ＦＩ】

   H04R3/00 310

   H04S7/00 300

【請求項の数】10

【全頁数】25

(21)【出願番号】特願2014-213581(P2014-213581)

(22)【出願日】2014年10月20日

(65)【公開番号】特開2015-82844(P2015-82844A)

(43)【公開日】2015年4月27日

【審査請求日】2017年9月28日

(31)【優先権主張番号】14/059,359

(32)【優先日】2013年10月21日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】512168283

【氏名又は名称】ハーマン インターナショナル インダストリーズ， インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ダヴィデ ディ チェンソ

(72)【発明者】

【氏名】シュテファン マルティ

(72)【発明者】

【氏名】エイジェイ ジュニジャ

【審査官】 大石 剛

(56)【参考文献】

【文献】 国際公開第２００８／０７５４０７（ＷＯ，Ａ１）

【文献】 特開２０１３−１４９０８０（ＪＰ，Ａ）

【文献】 特開２０１２−１４６３１６（ＪＰ，Ａ）

【文献】 特開２００６−０９２４８２（ＪＰ，Ａ）

【文献】 特開２０１１−２０１４０６（ＪＰ，Ａ）

【文献】 特開２００５−２０８９９８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／０２１３７７１（ＵＳ，Ａ１）

【文献】 特開２００９−１１３６５９（ＪＰ，Ａ）

【文献】 特開２００９−１９６５２８（ＪＰ，Ａ）

【文献】 特開昭６３−２２２９５２（ＪＰ，Ａ）

【文献】 実開昭６３−１１４５９３（ＪＰ，Ｕ）

【文献】 特開２００６−１１５３６４（ＪＰ，Ａ）

【文献】 特開２０１３−００５０２１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｒ ３／００

Ｈ０４Ｓ ７／００

(57)【特許請求の範囲】

【請求項1】

関心対象の事象の存在をユーザに示すように構成されたシステムであって、
前記システムは、
前記ユーザに関連する第１のオーディオパノラマをサンプリングすることと、
前記ユーザが面している方向に対する前記関心対象の事象に関連する方向を特定することと、
前記第１のオーディオパノラマに基づいて、前記第１のオーディオパノラマよりも狭く、前記関心対象の事象に関連する方向と実質的に位置合わせされた第２のオーディオパノラマを生成することと
を実行するように構成されたコンピューティングデバイスと、
前記第２のオーディオパノラマを前記ユーザに出力するように構成された少なくとも１つの音声出力デバイスと
を備える、システム。

【請求項2】

前記コンピューティングデバイスが、前記第１のオーディオパノラマの少なくとも一部を消去するアンチノイズを生成することにより前記第２のオーディオパノラマを生成するように構成されている、請求項１に記載のシステム。

【請求項3】

前記コンピューティングデバイスが、前記関心対象の事象に関連する方向とは実質的に異なる方向から発する前記第１のオーディオパノラマの１つ又は複数の部分を消去するアンチノイズを生成することにより前記第２のオーディオパノラマを生成するように構成されている、請求項１に記載のシステム。

【請求項4】

前記コンピューティングデバイスが、
前記第１のオーディオパノラマを消去するアンチノイズを生成することと、
前記第１のオーディオパノラマを、前記関心対象の事象に関連する方向と実質的に位置合わせされたモノラル音源へと収縮することと
によって前記第２のオーディオパノラマを生成するように構成されている、請求項１に記載のシステム。

【請求項5】

前記コンピューティングデバイスが、
前記第１のオーディオパノラマを消去するアンチノイズを生成することと、
前記第１のオーディオパノラマを前記第２のオーディオパノラマへと圧縮することと
によって前記第２のオーディオパノラマを生成するように構成されている、請求項１に記載のシステム。

【請求項6】

前記コンピューティングデバイスが、
第１の方向に関連する前記第１のオーディオパノラマ内の第１の音源を特定することと、
前記第１の方向と前記関心対象の事象に関連する方向との角度を縮小することと
によって前記第１のオーディオパノラマを前記第２のオーディオパノラマへと圧縮する、請求項５に記載のシステム。

【請求項7】

前記ユーザが乗る車両の外部に結合され、前記第１のオーディオパノラマを変換するように構成された音声トランスデューサのセットをさらに含む請求項１に記載のシステム。

【請求項8】

前記ユーザが乗る前記車両の内部で前記第２のオーディオパノラマを出力するように構成された音声出力デバイスのセットをさらに含む請求項７に記載のシステム。

【請求項9】

前記ユーザに結合され、前記第１のオーディオパノラマを変換するように構成された音声トランスデューサのセットをさらに含む請求項１に記載のシステム。

【請求項10】

ユーザを関心対象の事象に向けるコンピュータによる実装方法であって、
前記方法は、
環境オーディオパノラマをサンプリングして、前記ユーザが認識する１つ又は複数の周囲音を反映する複数の音声チャネルを生成することと、
前記複数の音声チャネルを複数のスピーカに配分して、複製オーディオパノラマを生成することと、
前記関心対象の事象に関連する方向を判定することと、
前記複製オーディオパノラマを、前記関心対象の事象に関連する方向と位置合わせされたオーディオコーンへと圧縮することと
を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は一般に、危険回避システムに関し、より具体的には危険、又はその他の関心対象の事象があることを示すようにするオーディオパノラマの修正に関する。

【背景技術】

【0002】

従来の危険回避システムは、ユーザに危険が迫っていることを知らせるために、多様な異なる音声、又は視覚信号伝達技術を使用する。例えば、自動車内の近接センサは、自動車が別の物体からある一定の距離内に接近すると、大きい警告音を発することで、ドライバに対して衝突が迫っていることを知らせる。あるいは、航空機のコックピットに組み込まれたヘッドアップディスプレイが航空機に近接する物体を視覚的に強調することで、パイロットに対して衝突が迫っていることを知らせる。このような従来のシステムにより生成される音声及び視覚信号は一般に、追加の知覚情報をユーザの周囲に導入することにより、ユーザの知覚を高める。追加の知覚情報はユーザに危険の存在を警告することを意味する。

【0003】

上記のアプローチの欠点の１つは、ユーザ環境に追加の知覚情報を導入することでユーザを動転させ、又は驚かせることがあることである。その結果、ユーザは入力に圧倒され、目の前の作業への集中力を失い、ひいては既に危険な状況を悪化させてしまうことがある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

上に説明したように、危険、又はその他の関心対象の事象があることをユーザに示すより効果的な技術が有用であろう。

【課題を解決するための手段】

【0005】

本発明の一実施形態は、関心対象の事象があることをユーザに示すように構成されたシステムを記載する。システムは、ユーザに関連する第１のオーディオパノラマをサンプリングし、ユーザが面している方向に対して関心対象の事象に関連する方向を特定し、第１のオーディオパノラマに基づいて、第１のオーディオパノラマよりも狭く、関心対象の事象に関連する方向と実質的に位置合わせされた第２のオーディオパノラマを生成するように構成されたコンピューティングデバイスを備える。さらに、システムは、ユーザに第２のオーディオパノラマを出力するように構成された、少なくとも１つの音声出力デバイスを備える。
例えば、本願発明は以下の項目を提供する。
（項目１）
関心対象の事象の存在をユーザに示すように構成されたシステムであって、
前記ユーザに関連する第１のオーディオパノラマをサンプリングし、
前記ユーザが面している方向に対する前記関心対象の事象に関連する方向を特定し、
前記第１のオーディオパノラマに基づいて、前記第１のオーディオパノラマよりも狭く、前記関心対象の事象に関連する方向と実質的に位置合わせされた第２のオーディオパノラマを生成するように構成されたコンピューティングデバイスと、
前記第２のオーディオパノラマを前記ユーザに出力するように構成された少なくとも１つの音声出力デバイスと、を備えるシステム。
（項目２）
前記コンピューティングデバイスが、前記第１のオーディオパノラマの少なくとも一部を消去するアンチノイズを生成することにより前記第２のオーディオパノラマを生成するように構成された上記項目に記載のシステム。
（項目３）
前記コンピューティングデバイスが、前記関心対象の事象に関連する方向とは実質的に異なる方向から発する前記第１のオーディオパノラマの１つ又は複数を消去するアンチノイズを生成することにより、前記第２のオーディオパノラマを生成するように構成された上記項目のいずれか一項に記載のシステム。
（項目４）
前記コンピューティングデバイスが、
前記第１のオーディオパノラマを消去するアンチノイズを生成し、
前記第１のオーディオパノラマを、前記関心対象の事象の方向と実質的に位置合わせされたモノラル音源へと収縮することによって、
前記第２のオーディオパノラマを生成するように構成された上記項目のいずれか一項に記載のシステム。
（項目５）
前記コンピューティングデバイスが、
前記第１のオーディオパノラマを消去するアンチノイズを生成し、
前記第１のオーディオパノラマを前記第２のオーディオパノラマへと圧縮することによって、
前記第２のオーディオパノラマを生成するように構成された上記項目のいずれか一項に記載のシステム。
（項目６）
前記コンピューティングデバイスが、
第１の方向に関連する前記オーディオパノラマ内の第１の音源を特定し、
前記第１の方向と前記関心対象の事象に関連する方向との角度を縮小することによって、
前記第１のオーディオパノラマを前記第２のオーディオパノラマへと圧縮する上記項目のいずれか一項に記載のシステム。
（項目７）
前記ユーザが乗る車両の外部に結合され、前記第１のオーディオパノラマを変換するように構成された音声トランスデューサのセットをさらに含む上記項目のいずれか一項に記載のシステム。
（項目８）
前記ユーザが乗る前記車両の内部で前記第２のオーディオパノラマを出力するように構成された音声出力デバイスのセットをさらに含む上記項目のいずれか一項に記載のシステム。
（項目９）
前記ユーザに結合され、前記第１のオーディオパノラマを変換するように構成された音声トランスデューサのセットをさらに含む上記項目のいずれか一項に記載のシステム。
（項目１０）
ユーザを関心対象の事象に向けるコンピュータによる実装方法であって、
環境オーディオパノラマをサンプリングして、前記ユーザが認識する１つ又は複数の周囲音を反映する複数の音声チャネルを生成し、
前記複数の音声チャネルを複数のスピーカに配分して、複製オーディオパノラマを生成し、
前記関心対象の事象に関連する方向を判定し、
前記複製オーディオパノラマを、前記関心対象の事象に関連する方向と位置合わせされたオーディオコーンへと圧縮すること、を含む方法。
（摘要）
個人安全システムは、切迫する危険、又はその他の関心対象の事象を検出し、次いでサウンドパノラマを修正してユーザの注意を危険、又はその他の関心対象の事象に向ける。個人安全システムは、危険、又はその他の関心対象の事象の方向から発する音響を分離し、サウンドパノラマを危険、又はその他の関心対象の事象の方向へと収縮し、又はサウンドパノラマを圧縮して危険、又はその他の関心対象の事象の方向に位置合わせする。個人安全システムは、自動車、又はユーザに物理的に取り付けられるウェアラブルシステムに組み込んでもよい。有利には、追加の知覚情報をユーザに導入せずに、ユーザの注意を切迫する危険、又はその他の関心対象の事象へと引き付けることによって、ユーザが動転したり、驚いたりすることが軽減される。

【発明の効果】

【0006】

開示されるシステム及び技術の１つの利点は、ユーザに追加の知覚情報を導入せずに、ユーザの注意が関心対象の事象へと引き付けられることにある。したがって、ユーザは動転したり驚いたりせずに関心対象の事象に気付くことができる。

【0007】

本発明の上記の特徴を詳細に理解できるように、幾つかが添付図面で示される実施形態を参照して、上に概要を記載した本発明をより詳細に説明する。しかしながら、添付図面は、本発明の一般的な実施形態のみを例示するものであり、本発明の範囲を限定するものとは解釈されず、他の同様に有効な実施形態も認められる。

【図面の簡単な説明】

【0008】

【図1A】本発明の様々な実施形態による、危険、又はその他の関心対象の事象があることを個人であるユーザの安全システムに示すように修正し得るオーディオパノラマを示す概念図である。

【図1B】本発明の様々な実施形態による、危険、又はその他の関心対象の事象があることを個人であるユーザの安全システムに示すように修正し得るオーディオパノラマを示す概念図である。

【図1C】本発明の様々な実施形態による、危険、又はその他の関心対象の事象があることを個人であるユーザの安全システムに示すように修正し得るオーディオパノラマを示す概念図である。

【図1D】本発明の様々な実施形態による、危険、又はその他の関心対象の事象があることを個人であるユーザの安全システムに示すように修正し得るオーディオパノラマを示す概念図である。

【図2A】本発明の様々な実施形態による、図１Ａ〜１Ｄの個人安全システムを示すブロック図である。

【図2B】本発明の様々な実施形態による、図１Ａ〜１Ｄの個人安全システムを示すブロック図である。

【図2C】本発明の様々な実施形態による、図１Ａ〜１Ｄの個人安全システムを示すブロック図である。

【図3A】本発明の様々な実施形態による、音声チャネルを変調して車両内の外部オーディオパノラマを複製する技術を示す概念図である。

【図3B】本発明の様々な実施形態による、音声チャネルを変調して車両内の外部オーディオパノラマを複製する技術を示す概念図である。

【図3C】本発明の様々な実施形態による、音声チャネルを変調して車両内の外部オーディオパノラマを複製する技術を示す概念図である。

【図3D】本発明の様々な実施形態による、音声チャネルを変調して車両内の外部オーディオパノラマを複製する技術を示す概念図である。

【図4A】本発明の様々な実施形態による、車両内のオーディオパノラマを３６０度複製する技術を示す概念図である。

【図4B】本発明の様々な実施形態による、車両内のオーディオパノラマを３６０度複製する技術を示す概念図である。

【図4C】本発明の様々な実施形態による、車両内のオーディオパノラマを３６０度複製する技術を示す概念図である。

【図5】本発明の様々な実施形態による、図１から４Ｃの個人安全システムのユーザに危険、又はその他の関心対象の事象があることを示すように、オーディオパノラマを修正する方法のステップの流れ図である。

【図6】本発明の様々な実施形態による、図１から４Ｃの個人安全システムのユーザに危険、又はその他の関心対象の事象があることを示すように、オーディオパノラマ内の音源をオーディオコーン内の位置にマッピングする方法のステップの流れ図である。

【図7】本発明の様々な実施形態による、図１から４Ｃの個人安全システムのユーザに危険、又はその他の関心対象の事象があることを示すように、環境オーディオパノラマを複製し、複製オーディオパノラマをオーディオコーンへと圧縮する方法のステップの流れ図である。

【図8】本発明の様々な実施形態による、図１Ａから４Ｃに個人安全システムに含まれてもよい例示的コンピューティングデバイスを示す図である。

【発明を実施するための形態】

【0009】

以下の説明では、本発明をより完全に理解するために多くの特定の詳細を記載する。しかし、これらの１つ又は複数の特定の詳細なしで本発明を実施してもよいことが当業者には明らかであろう。

【0010】

図１Ａは、本発明の一実施形態による、個人安全システムのユーザに危険、又はその他の関心対象の事象の存在を示すように修正し得るオーディオパノラマ１００を示す概念図である。図示のように、オ―ディオパノラマ１００はユーザ１１０を囲み、音源１０１、１０２及び１０３を含む様々な音源を含んでいる。ユーザ１１０は方向１１２に面しており、したがって方向１１２に対する特定方向から発する異なる各々の音源１０１、１０２及び１０３に気付くことができる。ユーザ１１０は例えば、ユーザ１１０の左方向から発する音源１０１に気付くであろう。同様に、ユーザ１１０はユーザ１１０の正面方向から発する音源１０２に気付き、また、ユーザ１１０の右方向から発する音源１０３に気付くであろう。

【0011】

これも図示のように、ユーザ１１０は、（ｉ）ユーザ１１０を脅かすことがある危険の存在を検出し、（ｉｉ）オーディオパノラマ１００を修正することに拠ってその危険方向へとユーザ１１０の聴覚を引き付けるように構成された個人安全システム１２０に結合されている。個人安全システム１２０は、図２Ａ〜２Ｃに関連して以下により詳細に記載される異なる幾つかの実施形態により実装され得るため、個人安全システム１２０の特定の詳細はここには示さない。しかし一般的には、個人安全システムは、ユーザ１１０に危険、又はその他の関心対象の事象の存在を検出するように構成された様々なセンサ、並びにオーディオパノラマ１００を修正するためユーザ１１０に音響を出力するように構成された様々な音声出力デバイスを含んでいる。

【0012】

個人安全システム１２０は、ユーザ１１０の聴覚を危険な方向に引き付けるための異なる幾つかの技術を実装し得る。図１Ｂを参照して以下により詳細に記載するように、個人安全システム１２０は、危険な方向から発しない音源をすべて消去し、又は無効にしてもよい。図１Ｃに関連して以下により詳細に記載するように、個人安全システム１２０はまた、オーディオパノラマ１００を収縮して、ユーザ１１０が危険な方向から発するそのパノラマ内の音源の一部又はすべてに気付くようにしてもよい。図１Ｄに関連して以下により詳細に記載するように、個人安全システム１２０はまた、ユーザ１１０が危険な方向から発するパノラマ内の音源に気付く一方、元のパノラマ内のこれらの音源の相対的な位置を保つようにオーディオパノラマ１００を圧縮してもよい。

【0013】

図１Ｂは、本発明の一実施形態による、危険１１４があることを示すためにオーディオコーン１１６に分解された図１のオーディオパノラマ１００を示す概念図である。図示のように、危険１１４はユーザ１１０の右方向からユーザ１１０に接近する。ユーザ１１０は方向１１２に面しており、危険１１２が迫っていることを即座には気付かないかもしれない。しかし、個人安全システム１２０は危険１１４を検出し、それに応答してコーン１１６の形状になるように音響パノラマ１１０を修正することによって、ユーザ１１０の聴覚を危険１１４に方向に引き付けるように構成されている。

【0014】

具体的には、個人安全システム１２０は、オーディオコーン１１６の外側にある元のオーディオパノラマ１００内にあるすべての音源を消去し、オーディオコーン１１６内にあるどの音源をも許容する。図１Ｂでは、個人安全システム１２０は、音源１０１と１０２とがオーディオコーン１１６外にあるためこれらを消去し、音源１０３はオーディオコーン１１６内にあるためこれが残ることを許容する。個人安全システム１２０は、音源１０１及び１０２を消去する際に、技術的に実現可能な任意のノイズ消去アプローチを実装してもよい。一実施形態では、ユーザ安全システム１２０はまた、例えば音源１０３などのオーディオコーン１１６内の音響を増幅してもよい。

【0015】

このようにしてオーディオパノラマ１００の形状を変えることにより、個人安全システム１２０はユーザ１１０の聴覚を音源１０３の方向に、ひいては危険１１４の方向に引き付ける。これに反応して、ユーザ１１０は危険１１４に向かって振り向き、危険１１４が迫っていることに視覚的に気付くようになる。図１Ｃを参照して、オーディオパノラマ１００を修正する別のアプローチを以下に記載する。

【0016】

図１Ｃは、危険１１４があることを示すためにオーディオコーン１１６に収縮された、本発明の一実施形態による図１のオーディオパノラマ１００を示す概念図である。図示のように、危険１１４はユーザ１１０の右方向からユーザ１１０に接近し、ユーザ１１０は図１Ｂと同様に方向１１２に面している。個人安全システム１２０は危険１１４を検出し、それに応答してオーディオパノラマ１００をオーディオコーン１１６へと収縮するように構成されている。

【0017】

具体的には、個人安全システム１２０は、元のオーディオパノラマ１００内のすべての音源を消去し、これらの音源がオーディオコーン１１６内の単一の位置、又は角度にあるように音源を再配置する。図１Ｃでは、個人安全システム１２０は音源１０１、１０２及び１０３がオーディオコーン１１６内の単一の角度に沿って位置するようにこれらの音源を再配置する。そうすることによって、個人安全システム１２０は音源１０１、１０２及び１０３を消去し、次いでこれらの音源を複製して、ユーザ１１０がオーディオコーン１１６内の同じ方向から発する各音源に関連する音声に気付くようにする。消去された音源は簡略にするためにこの図では示さない。

【0018】

このような機能を実装するため、個人安全システム１２０は音源１０１、１０２及び１０３を録音し、ノイズ消去技術を用いてこれらの音源を消去し、録音された音源を二次元（２Ｄ）又は三次元（３Ｄ）位置オーディオ技術を用いて表現し、次いでこれらの変調された音源をユーザ１１０に出力する。一実施形態では、個人安全システム１２０は音源１０１、１０２及び１０３を、ユーザ１１０がオーディオコーン１１６内の単一の位置から発するものと気付くことができる単一のモノラル音源に収縮する。

【0019】

本明細書に記載の態様でオーディオパノラマ１００を収縮することによって、個人安全システム１２０は図１Ｂを参照して前述したように、ユーザ１１０の聴覚をオーディオコーン１１６内の音源１０１、１０２及び１０３の方向に、ひいては危険１１４の方向に引き付けることができる。これに反応して、ユーザ１１０は危険１１４に面するように振り向き、危険１１４が迫っていることに視覚的に気付くようになる。図１Ｄを参照して、オーディオパノラマ１００を修正する別のアプローチを以下に記載する。

【0020】

図１Ｄは、危険１１４があることを示すために空間的にオーディオコーン１１６へと圧縮された、本発明の一実施形態による図１のオーディオパノラマ１００を示す概念図である。図示のように、危険１１４は図１Ｂ〜１Ｃと同様にユーザ１１０の右方向からユーザ１１０に接近し、ユーザ１１０は方向１１２に面している。個人安全システム１２０は危険１１４を検出し、それに応答して全体がオーディオコーン１１６内に存在するようにオーディオパノラマ１００を圧縮する一方、音源１０１、１０２及び１０３の相対的な角度位置が保たれるように構成されている。

【0021】

具体的には、個人安全システム１２０は元のオーディオパノラマ１００内のすべての音源を消去し、次いで、これらの音源の元の間隔に応じて角間隔を相対的に互いに隔てるようにこれらの音源をオーディオコーン１１６内の新たな位置にマッピングする。図１Ｄでは、個人安全システム１２０は、これらの音源間の元の距離又は角度から導出された距離又は角度で互いに離間されたオーディオコーン１１６内の新たな位置に音源１０１、１０２及び１０３を再配置する。例えば、個人安全システム１２０は、オーディオパノラマ１００内のこれらの音源の元の位置と同様に互いに相対的に近接した位置に音源１０２及び１０３を再配置する。

【0022】

このような機能を実装するため、個人安全システム１２０は音源１０１、１０２及び１０３を録音し、次いで図１Ｂ〜１Ｃを参照して前述したようにノイズ消去技術を用いてこれらの音源を消去する。次いで個人安全システム１２０は、音源１０１、１０２及び１０３の新たな位置を計算することによりオーディオパノラマ１００をオーディオコーン１１６へと圧縮し、次いでこれらの音源がこれらの新たな位置から発すると思われるように、録音された音源を２Ｄ又は３Ｄ位置オーディオ技術を用いて表現してもよい。個人安全システム１２０は次いで、変調された音源をユーザ１１０に出力してもよい。そこでユーザ１１０は、オーディオパノラマ１００全体がオーディオコーン１１６内から発するように感じることができる。本明細書に簡単に記載する「圧縮」機能を達成するための幾つかの技術は、図３Ａ〜４Ｃを参照して以下でも詳細に記載する。

【0023】

本明細書に記載のようにオーディオパノラマ１００を圧縮することによって、個人安全システム１２０は、ユーザ１１０の聴覚をオーディオコーン１１６内の音源１０１、１０２及び１０３の方向に、ひいては危険１１４の方向に引き付けることができる。ユーザ１１０は、それに反応して危険１１４に振り向き、危険１１４が迫っていることに視覚的に気付くようになる。

【0024】

図１Ａ〜１Ｄを全般的に参照すると、当業者は、上記の機能を実装するために個人安全システム１２０が広範な異なる技術に依拠してもよいことを理解するであろう。例えば、個人安全システム１２０は、音声及び視覚データ処理、コンピュータビジョン技術、環境データの経験則などを含むセンサ入力データを処理するいずれかのアプローチにより危険１１４の存在を検出することができよう。加えて、個人安全システム１２０は、構造的干渉、又はその他の形態の騒音防止を含む技術的に実現可能ないずれかのノイズ消去アプローチを用いてオーディオパノラマ１００内の音源を消去することができよう。さらに、個人安全システム１２０は、音響パノラマ１００を修正して危険１１４自体に関する音響を増幅し、又はそのパノラマ内の別の音響を、迫りくる無音の危険に関連する方向に集中させることができよう。一般に、オーディオパノラマ１００を修正するため、個人安全システム１２０はオーディオコーン１１６を方向１１２に対して位置決めしてもよい。一実施形態では、ユーザ１１０が面している方向を検出するように構成されたセンサ、又はユーザ１１０が見ている方向を検出するように構成された視線検出センサを含んでいる。

【0025】

開示される機能を実装することによって、個人安全システム１２０は、追加の知覚情報を導入せずにユーザ１１０の注意を危険１１４の方向に引き付けることができる。したがって、個人安全システム１２０は、ユーザ１１０の驚きや動転を回避し得る。加えて、ユーザ１１０は聴覚の変更方向（すなわち図１Ｂ〜１Ｄに示すコーン１１６）に自然に振り向くことができるため、本明細書に記載のアプローチはユーザ１１０の直感に密接に一致させることができる。この聴覚には動転させる人工音を含んでいないため、ユーザ１１０は無意識に危険１１４に面することができ、したがってその危険に適切に反応する十分な認知資源を保つことができる。

【0026】

個人安全システム１２０は、多様な異なる実施形態により実装し得る。しかし一般的には、個人安全システム１２０は、１つ又は複数のセンサ、１つ又は複数の音声出力デバイス、及び少なくとも１つの処理デバイスを含んでいる。これらの異なるデバイスは、これまで記載した機能を実行するために相互運用するように構成されている。図７を参照して個人安全システム１２０の例示的実装を以下により詳細に記載する。個人安全システム１２０は、異なる多様なコンテクストで実装され得る。例えば、個人安全システム１２０は自動車、ウェアラブルコンピューティングデバイス、ポータブルコンピューティングデバイス、聴力増幅装置などに組み込んでもよい。図２Ａ〜２Ｃを参照して、個人安全システム１２０を実装し得る幾つかの例示的コンテクストを以下により詳細に記載する。

【0027】

図２Ａは、車両２００に組み込まれた本発明の一実施形態による個人安全システム１２０を示すブロック図である。図示のように、危険２１０は、方向１１４からユーザ１１０がいる車両２００に接近する。車両２００は、外向きのカメラ２２０、コンピューティングデバイス２３０、左のスピーカ２４０−１、及び右のスピーカ２４０−２を含む個人安全システム１２０の幾つかの要素を含んでいる。

【0028】

外向きのカメラ２２０は車両２００の内部又は外部に取り付けてもよく、一般に車両２００の周囲環境に関連するビデオを撮像するように位置される。コンピューティングデバイス２３０は、データ処理が可能な、技術的に実現可能な任意のデバイスでよい。例示的コンピューティングデバイス２３０は、図７を参照して以下により詳細に記載する。スピーカ２４０には、一般的な自動車に見られる従来型のスピーカ、ヘッドレストに埋め込まれたスピーカ、又はその他のタイプのスピーカが含まれてもよい。スピーカ２４０には、ノイズ消去専用の１つ又は複数の音声出力デバイスが含まれるとともに、音響生成専用の１つ又は複数のオーディオデバイスも含まれてもよい。

【0029】

外向きのカメラ２２０は、危険２１０を反映し得るビデオデータを捉えるように構成されている。コンピューティングデバイス２３０は、外向きのカメラ２２０によって捉えられたビデオデータを処理し、危険２１０を検知するように構成されている。危険２１０に反応して、コンピューティングデバイス２３０は、図１Ａ〜１Ｄを参照して前述したように、ユーザ１１０に関連するオーディオパノラマ１００を修正して、スピーカ２４０にオーディオコーン１１６を生成させる。オーディオコーン１１６は、ユーザ１１０の注意をその危険な方向に引き付けることができる。コンピューティングデバイス２３０は、ユーザ１１０に出力されたオーディオパノラマを修正してオーディオコーン１１６を生成するためにこれまで記載したどの技術を実装してもよい。そうすることによって、ユーザ１１０に関連するオーディオパノラマを消去し、又はその他の修正によってオーディオコーン１１６を生成するため、選択的な（すなわちスピーカ２４０による）ノイズ消去を実装し得る。

【0030】

前述の機能を実行する際、個人安全システム１２０は、車両２００内で車両の周囲環境に関連する外部のオーディオパノラマを複製するように構成されている。そこで、危険２１０が検出されると、個人安全システム１２０は複製されたそのパノラマを修正して、図２Ａに示したオーディオコーン１１６の形状になるようにする。個人安全システム１２０は、図３Ａ〜３Ｃを参照して以下でもより詳細に記載するように、オーディオコーン１１６を生成するため、左右のスピーカ２４０に送信されるように左右に割り当てられた音声チャネルを変調するように構成されている。図２Ｂを参照して個人安全システム１２０の別の実施形態を以下に記載する。

【0031】

図２Ｂは、本発明の別の実施形態による、車両に組み込まれた個人安全システム１２０を示すブロック図である。図示のように、危険２１０は図２Ａと同様に、方向１１４からユーザ１１０がいる車両２００に接近する。車両２００は、外向きのカメラ２２０、コンピューティングデバイス２３０、及びインイヤーデバイス２５０を含む個人安全システム１２０の幾つかの要素を含んでいる。インイヤーデバイス２５０は、補聴器、又は音声をユーザ１１０の耳内に直接送信するように構成されたその他の形態の音声デバイスでよいであろう。

【0032】

図２Ａを参照して記載したように、外向きのカメラ２２０は、危険２１０を反映し得るビデオデータを捉えるように構成され、コンピューティングデバイス２３０は、そのビデオデータを処理して危険２１０を検出するように構成されている。危険２１０に反応して、コンピューティングデバイス２３０は、図１Ａ〜１Ｄを参照して前述したように、インイヤーデバイス２５０がユーザ１１０に関連するオーディオパノラマを修正してオーディオコーン１１６を生成するようにさせる。オーディオコーン１１６は、その危険な方向にユーザ１１０の注意を引き付けることができる。コンピューティングデバイス２３０は、ユーザ１１０に出力されたオーディオパノラマを修正してオーディオコーン１１６を生成するためにこれまで記載したどの技術を実装してもよい。個人安全システム１２０の別の実装形態は図２Ｃを参照して以下に記載する。

【0033】

図２Ｃは、本発明の一実施形態による、ウェアラブルシステムに組み込まれた個人安全システム１２０を示すブロック図である。図示のように、危険２１０は図２Ａ〜２Ｂと同様に方向１１４からユーザ１１０に接近する。ユーザ１１０は、コンピューティングデバイス２３０、ウェアラブルカメラ２６０、及びインイヤーデバイス２７０を含む個人安全システム１２０を装着している。

【0034】

インイヤーデバイス２７０は補聴器、又は音声をユーザ１１０の耳内に直接送信するように構成されたその他の形態の音声デバイスでよい。ウェアラブルカメラ２６０は、それらに限定されないが、例えばメガネセット、帽子、ユーザ１１０が着けるイヤホン、又は例えばお守りなどのユーザ１１０が着ける宝石などのユーザのアクセサリーに組み込んでもよい。コンピューティングデバイス２３０は、メガネセット又は他のユーザアクセサリーに組み込まれる回路であってもよく、あるいは、ユーザ１１０が携帯する携帯電話又はタブレットコンピュータであってもよい。

【0035】

ウェアラブルカメラ２６０は、危険２１０を反映し得るビデオデータを捉えるように構成され、コンピューティングデバイス２３０は、そのビデオデータを処理して危険２１０を検出するように構成されている。危険２１０に反応して、コンピューティングデバイス２３０は、図１Ａ〜１Ｄを参照して前述したように、インイヤーデバイス２７０がユーザ１１０に関連するオーディオパノラマを修正してオーディオコーン１１６を生成するようにさせる。オーディオコーン１１６は、その危険な方向にユーザ１１０の注意を引き付けることができる。コンピューティングデバイス２３０は、ユーザ１１０に出力されたオーディオパノラマを修正してオーディオコーン１１６を生成するためにこれまで記載したどの技術を実装してもよい。図３Ａ〜４Ｃを参照して、以下にこれらの技術をより詳細に記載する。

【0036】

図３Ａは、本発明の一実施形態による、車両２００の外部にある環境オーディオパノラマ３００−１を示す概念図である。図示のように、車両２００は、環境オーディオパノラマ３００−１を検出するように構成された左マイクロフォン３１０−１及び右マイクロフォン３１０−２を含んでいる。マイクロフォン３１０は、個人安全システム１２０に組み込まれてもよい。環境オーディオパノラマ３００−１は音源１０１、１０２及び１０３を含んでいる。

【0037】

一般に、本発明の実施形態は、動物、別の車などの自然音を含む外部の音場を完全に捉えるマイクロフォン３１０などの任意の形態の外部トランスデューサに依拠してもよい。外部の音場を拾う一般的な方法は、互いに近接した位置にあるが異なる方向を向く（図３Ａに示すような）２つの双方向マイクロフォンを使用することである。２つのマイクロフォン間の角度は９０度と１２０度の間でよい。マイクロフォン３１０−１は左チャネルに送られる信号を供給し、マイクロフォン３１０−２は右チャネルに送られる信号を供給する。次いで、図３Ｂを参照して以下により詳細に記載するように、環境オーディオパノラマ３００−１を複製するために、これらのチャネルに関連する音声がスピーカ２４０を介してユーザ１１０に出力される。

【0038】

図３Ｂは、車両２００内で生成される複製オーディオパノラマ３００−２を示す概念図である。左のスピーカ２４０−１及び右のスピーカ２４０−２は、ユーザ１１０が車両２００内のオーディオパノラマ３００−２を感知するように、車両２００内の音源１０１、１０２及び１０３を複製するように構成されている。オーディオパノラマ３００−２は環境オーディオパノラマ３００−１と同様に見えてもよい。言い換えると、個人安全システム１２０は、外部の音響が車両２００の外部から車両２００の内部に伝わり、そこでユーザ１１０が知覚できるように「パススルー」デバイスとして機能するように構成されている。

【0039】

上記の機能を達成するため、左マイクロフォン３１０−１は、環境オーディオパノラマ３００−１の左側に関連する音響をサンプリングし、サンプリングされた音響を左チャネルに割り当てるように構成されている。同様に、右マイクロフォン３１０−２は、環境オーディオパノラマ３００−１の右側に関連する音響をサンプリングし、サンプリングされた音響を右チャネルに割り当てるように構成されている。左のスピーカ２４０−１は次いで左チャネルの１００％を出力し、一方、右のスピーカ２４０−２は右チャネルの１００％を出力するように構成されていることにより、マイクロフォン３１０によってサンプリングされた環境オーディオパノラマ３００−１全体を複製する。

【0040】

音響システムは一般に、左と右の音響チャネルを有してもよく、上記の構成と同様に、左のスピーカが左チャネルを出力し、右のスピーカが右チャネルを出力することを当業者は理解するであろう。しかし、個人安全システム１２０は、複製サウンドパノラマ３００−２を狭くするために、各チャネルが異なるスピーカに出力される度合いを修正するようにも構成される。そうすることによって、個人安全システム１２０は図３Ｃを参照して以下に記載するように、スピーカ２４０が様々な比率で左右のチャネルを出力するようにさせる。

【0041】

図３Ｃは、本発明の一実施形態による、オーディオコーン１１６へと圧縮された図３Ｂの複製オーディオパノラマ３００−２を示す概念図である。図示のように、オーディオコーン１１６は聴覚的注意３１４の方向に位置合わせされる。実際には、個人安全システム１２０は、迫る危険に関連する方向を示すためにオーディオコーン１１６を生成することによって、このような危険が存在することをユーザ１１０に伝える。そうすることによって、個人安全システム１２０は、図１Ｄを参照して記載したように音源１０１、１０２及び１０３を再配置することにより、これらの音源の相対的角度位置が保たれるように複製オーディオパノラマ３００−２を圧縮する。音源の相対的角度位置を保ちつつ前述の音源再配置を達成する１つの技術は、ラウドスピーカへの音響チャネルの配分を操作することにより、複製オーディオパノラマ３００−１を狭くすることである。

【0042】

ラウドスピーカへの音響チャネルの配分を操作することによりサウンドパノラマを狭めることを説明するため、一例として追加の音響システムを検討する。このような音響システムは、個々の楽器の集合に関連する音声を生成することができ、各々の楽器は個々の音源に相当する。各音源の一部の位置を左の音響チャネルに割り当て、各音源の一部の位置を右チャネルに割り当てることによって、個々の音源はすべて、サウンドミキサによりオーディオパノラマに沿って左端から右端、又はその間のどこかに位置決めされる。具体的には、１つの音源が最も遠い左方位置から発するように感じさせるため、音響システムは、音源に関連する信号の１００％を左チャネルに送り、その信号の０％を右チャネルに送るであろう。音源が真っすぐ前から発するように感じさせるため、音響システムは、信号の５０％を左チャネルに送り、信号の５０％を右チャネルに送るであろう。通常の構成では、左チャネルは専ら左のラウドスピーカに送られ、右チャネルは専ら右のラウドスピーカに送られるが、後者の構成では、音源がスピーカの間から発するという聴覚的、空間的な錯覚を生じる（同じことが、必然的に２Ｄ音場、又はサラウンド音場を形成する２つのラウドスピーカにも当てはまる）。

【0043】

前述のように、ほとんどのスピーカシステムに共通の標準的な構成では、左チャネルの１００％が左のラウドスピーカで再生され、右チャネルの１００％が右のラウドスピーカで再生される。個々の音源のすべての相対的角度位置を保ちつつ、なおオーディオパノラマ３００−２をオーディオコーン１１６に狭めるために、個人安全システム１２０は、左チャネルと右チャネルのデフォルトの配分を左と右のラウドスピーカ２４０−１及び２４０−２にそれぞれ変更するように構成されている。例えば、左チャネルの１００％を左のスピーカ２４０−１に送り、右チャネルの１００％を右のスピーカ２４０−２に送る代わりに、個人安全システム１２０は、左チャネルの８０％を左のスピーカ２４０−１に、また左チャネルの２０％を右のスピーカ２４０−２に送り、右チャネルの８０％を右のスピーカ２４０−２に、また右チャネルの２０％を左のスピーカ２４０−１に送ってもよい。この構成では、複製オーディオパノラマ３００−１は、元のパノラマよりも狭いオーディオコーン１１６へと圧縮される。

【0044】

別の実施例では、個人安全システム１２０は、左チャネルの５０％を左のスピーカ２４０−１に、また左チャネルの５０％を右のスピーカ２４０−２に送り、右チャネルの１００％を右のスピーカ２４０−２に送ってもよい。この構成では、複製オーディオパノラマ３００−２は半分のサイズに圧縮されてオーディオコーン１１６になり、同時にオーディオコーン１１６がユーザ１１０の視野から右側に回転される。この特殊なケースは図３Ｃに示されている。

【0045】

音源の再配置の代替技術は以下のとおりである。環境オーディオパノラマ３００−１は、例えばマイクロフォン３１０などの１つ又は複数の音声トランスデューサによってサンプリングされる。次いで、サンプリングされた音声が鳥のさえずり、犬の吠える声、又は別の車のエンジン音などの個々の音源について分析される。個々の音源を検出した後、ディジタル信号処理（ＤＳＰ）技術を用いて各音源が音響的に分離される。各音源がモノラルの音の流れに分離された後、これらの音源は、前述の付加的なサウンドミキシングと同様に、複製オーディオパノラマ３００−２内の任意の位置に配置できる。この構成では、外部トランスデューサからの音響信号は左チャネルと右チャネルとに直接割り当てられない。

【0046】

各音源の位置は、例えば左前方から来た鳥のさえずりなどの音源が発する元の方向を反映することができ、複製オーディオパノラマ３００−２内に同じ角度位置で左前方に配置することができる。複製オーディオパノラマ３００−２を元のパノラマよりも狭いオーディオコーン１１６に空間的に圧縮するため、個々の音源を、個々の音源の相対的角度位置を保つ位置を含む（しかしそれらに限定されない）オーディオコーン１１６内の任意の所望の位置にコンピュータにより配置することができる。あるいは、複数の音源を同一の角度位置に配置し、複製オーディオパノラマ３００−２を単一のポイントに収縮し、すべての音源間の角度差をゼロに縮小することができよう。さらに別の代替形態では、ユーザのために複製オーディオパノラマ３０２−２全体にわたって個々の音源を広げ、これらの音源間の角度差を最大にすることもできよう。後者の代替形態は、ユーザが例えば同様の方向ではあるが、正確に同じではない方向から接近する２台の異なる車などの２つの個々の音源を識別し易くなるために適している。

【0047】

上記の技術は、図４Ａ〜４Ｃを参照して以下により詳細に記載するように、車両２００内の３６０度のオーディオパノラマ全体を複製するためにも利用可能である。

【0048】

図４Ａは、音源１０１、１０２、１０３、１０４及び１０５を含む３６０度オーディオパノラマ４００−１を示している。車両２００は、個人安全システム１２０の要素であるサラウンドマイクロフォン群４１０を含んでいる。サラウンドマイクロフォン群４１０は、図４Ｂを参照して以下により詳細に記載するように、３６０度オーディオパノラマ４００−１をサンプリングし、そのパノラマを車両２００内で複製するように構成されている。

【0049】

図４Ｂは、車両２００内の個人安全システム１２０により生成された複製３６０度オーディオパノラマを示す概念図である。図示のように、車両２００は左前スピーカ４４０−１、右前スピーカ４４０−２、左後スピーカ４４０−３、及び右後スピーカ４４０−４を含んでいる。個人安全システム１２０は、３６０度オーディオパノラマ４００−１をサンプリングし、次いで複製３６０度オーディオパノラマ４００−２をスピーカ４４０に出力させるように構成されている。そうすることによって、個人安全システムは図３Ａ〜３Ｄを参照して前述したように同様の技術を使用し得る。

【0050】

具体的には、個人安全システム１２０は、マイクロフォン群４１０内の各マイクロフォンに、３６０度オーディオパノラマの異なる領域に関連する音声をサンプリングさせ、次いでこのような各領域に関連する音声を別個のチャネルに割り当てさせる。個人安全システム１２０は次いで、異なるスピーカ４４０に各々の異なるチャネルを出力させる。左前スピーカ４４０−１は３６０度オーディオパノラマ４００−１の左前部に関連する音声を出力し、右前スピーカ４４０−２は３６０度オーディオパノラマ４００−１の右前部に関連する音声を出力し、左後スピーカ４４０−３は３６０度オーディオパノラマ４００−１の左後部に関連する音声を出力し、右後スピーカ４４０−４は３６０度オーディオパノラマ４００−１の右後部に関連する音声を出力することになる。個人安全システム１２０は、図４Ｃを参照して詳細に記載するように、次いでスピーカ４４０への音声チャネルの配分を操作するように構成されている。

【0051】

図４Ｃは、オーディオコーン３１６へと圧縮された複製オーディオパノラマ３００−２を示す概念図である。図示のように、オーディオコーン３１６には音源１０１、１０２、１０３、１０４及び１０５を含んでいる。個人安全システム１２０は、これらの音源の元の角度位置に応じて相対的角度位置を有するようにこれらの音源を配置するように構成されている。オーディオコーン４１６は、実際には迫る危険に関連する方向を示す聴覚的注意４１４の方向に位置合わせされる。個人安全システム１２０は、音源１０１、１０２、１０３、１０４及び１０５が図４Ｃに示すオーディオコーン４１６内の位置から発していると感じさせるために、マイクロフォン群４１０内のマイクロフォンに関連する音声チャネルの配分を操作するように構成されている。個人安全システム１２０はまた、各音源を別個のチャネルに割り当て、次いでこれらのチャネルの配分を操作してもよい。そうすることによって、個人安全システムは一般に、図３Ａ〜３Ｄに記載の技術と同様の技術を使用する。

【0052】

これまで記載した任意の技術を本明細書に記載のその他の技術と組み合わせてもよいことが当業者には理解されよう。例えば、図４Ｃを参照して記載した３６０度オーディオパノラマを複製及び修正するアプローチは、図３Ｃを参照して上に記載したウェアラブル個人安全システムのコンテクストで実装されてもよい。図５を参照して、個人安全システム１２０により実行される基本的技術を段階的に記載する。

【0053】

図５は、本発明の一実施形態による、危険又はその他の関心対象の事象があることをユーザに示すためにオーディオパノラマを修正する方法ステップの流れ図である。方法ステップは図１Ａ〜４Ｃのシステムに関連して記載するが、任意の方法ステップを任意の順序で実行するように構成されたどのシステムも本発明の範囲内にあることが当業者には理解されよう。

【0054】

図示のように、方法５００はステップ５０１で開始され、そこで個人安全システム１２０は危険が検出されたか否かを判定する。個人安全システム１２０は、例えば図１Ａ〜４Ｃに示すユーザ１１０などのユーザが装着してもよく、又は図２Ａ〜２Ｃを参照して記載したように、その他の可能性のなかでも特にユーザが運転する車両内に組み込んでもよい。別の実施形態では、それらに限定されないが、例えば個人安全システム１２０は、特定の部屋で泣く幼児、又はガス漏れ、又は火災などの家庭内の危険、又は関心対象の事象にユーザの注意を引き付けるために家庭環境で実装されてもよい。個人安全システム１２０は、危険が検知されるまで方法５００のステップ５０１を反復してもよい。個人安全システム１２０は、センサの生データを処理し、多様なデータ処理技術のいずれかを実装することによって危険を検出するように構成されている。個人安全システム１２０は、それらに限定されないが、例えばユーザに脅威をもたらす自動車を特定するコンピュータビジョンによるアプローチを実装することができよう。

【0055】

例えば図１Ｂ〜１Ｄに示す危険１１４などの危険を検出すると、個人安全システム１２０は次いで、ステップ５０２で危険な方向を判定する。ステップ５０３で、個人安全システム１２０は、ユーザの頭の向きをも判定する。個人安全システム１２０は、それらに限定されないが、例えばユーザが面している、又は見ている方向を判定するためのヘッドセンサ又は視線方向センサを使用することができよう。

【0056】

ステップ５０４で、個人安全システム１２０はユーザのオーディオパノラマを修正する。オーディオパノラマは、例えば図１Ａ〜１Ｄに示したオーディオパノラマ１００でよい。そうすることによって、個人安全システム１２０は、図１Ｂを参照して前述したように、危険な方向から発する以外のオーディオパノラマ内のすべての音源を消去する。個人安全システム１２０はまた、オーディオパノラマ内のすべての音源を消去し、次いで図１Ｃを参照して記載したように、オーディオパノラマの圧縮バージョンに相当する音響出力を生成してもよい。個人安全システム１２０は、オーディオパノラマ内のすべての音源を消去し、次いで図１Ｄを参照して記載したように、オーディオパノラマの圧縮バージョンに相当する音響出力を生成してもよい。

【0057】

個人安全システム１２０は、切迫する危険に継続的にオーディオパノラマを集中させるため、必要に応じて方法５００を反復してもよい。本明細書に記載のアプローチで、個人安全システム１２０は、追加の知覚情報を導入せずにユーザの注意を危険な方向に引き付けることができる。したがって、個人安全システム１２０はユーザの驚きや動転を回避し得る。

【0058】

図１Ｄ及び３Ａ〜４Ｃを参照して前述したように、オーディオパノラマの圧縮バージョンに相当する音響出力を生成する際に、個人安全システム１２０は、図６を参照して以下に段階的に記載する特定の技術を実装してもよい。

【0059】

図６は、本発明の一実施形態による、個人安全装置のユーザに危険、又はその他の関心対象の事象を示すため、オーディオパノラマの音源をオーディオコーン内の位置にマッピングする方法ステップの流れ図である。方法ステップは図１Ａ〜４Ｃのシステムに関連して記載するが、方法ステップを任意の順序で実行するように構成されたどのシステムも本発明の範囲内にあることが当業者には理解されよう。

【0060】

図示のように、方法６００は、ステップ６０１で開始され、そこで個人安全システム１２０がユーザの周囲のオーディオパノラマ内の音源の位置を特定する。例えば、オーディオパノラマは、音源が、例えば、図１Ａ〜１Ｄの音源１０１、１０２及び１０３のようなオーディオパノラマ１００でもよい。

【0061】

ステップ６０２では、個人安全システム１２０は、危険な方向を示すオーディオパノラマ内にオーディオコーンを生成する。オーディオコーンは、例えば図１Ｂ〜１Ｄのオーディオコーン１１６でもよいであろう。個人安全システム１２０は、前述の方法５００のステップ５０２を実装することによって危険な方向を特定し得る。個人安全システム１２０は、ユーザの頭の向きに対する危険な方向と位置合わせされる特定の方向性を有するオーディオコーンを生成する。ユーザの頭の向きは、方法５００のステップ５０３を実行することによって判定可能であろう。

【0062】

ステップ６０３で、個人安全システム１２０は、オーディオパノラマ内の音源をオーディオコーン内の対応位置にマッピングする。個人安全システム１２０は、例えば図１Ａに示す音源１０１、１０２及び１０３を図１Ｄに示すこれらの音源の新たな位置にマッピングする。個人安全システム１２０は、オーディオパノラマの角度を３６０度の全方位からより小さい角度に圧縮することにより、オーディオコーン内の所定の音源の新たな位置を判定する。個人安全システム１２０は、その他のタイプの入力のなかで特に手振りなどのユーザから受信した入力に基づいて音源の新たな位置を判定する。一実施形態では、個人安全システム１２０は、オーディオパノラマの一部を圧縮するためにスピーカへのチャネルの配分を操作する。別の実施形態では、個人安全システム１２０は、各音源を別個のチャネルに割り当て、次いで音源を別個に移動させるためにこれらの別個のチャネルの配分を操作する。

【0063】

ステップ６０４で、個人安全システム１２０は、オーディオコーン内の音源の新たな位置を反映するようにユーザに出力された音響を変調する。そうすることによって個人安全システム１２０は、音源のリアリティを高めるために３Ｄ音声技術、ノイズ消去技術、及びその他の多様な音声調整技術に依拠し得る。

【0064】

ステップ６０５で、個人安全システム１２０は、追加の音源をマッピングする必要があるか否かを判定する。追加の音源が残っている場合は、方法はステップ６０３に戻り、別の音源のマッピングに進む。そうでない場合は、方法６００は終了する。

【0065】

このアプローチで、個人安全システム１２０は、個別の音源を別個に再配置することによってオーディオパノラマをより小さいオーディオコーンへと縮小する。個人安全システム１２０は、このような各音源を再配置する際に異なる技術を用いてもよく、他の音源の再配置を避けつつ、ある音源を選択的に再配置してもよい。例えば、個人安全システムは、大きい音を再配置してこれらの音が危険な方向から発することを気付かせ、一方、より小さい周囲音を再配置することを避ける。個人安全システムは、特定の音源の特定の位置を選択する多様な技術を実装してもよいことを当業者は理解するであろう。したがって、各音源を他の音源とは別個に再配置するこのような技術は本発明の範囲内にある。

【0066】

図７は、本発明の一実施形態による、図１Ａ〜４Ｃの個人安全システムのユーザに危険、又はその他の関心対象の事象があることを示すために環境オーディオパノラマを複製し、複製されたオーディオパノラマをオーディオコーンに縮小する方法ステップの流れ図である。方法ステップは図１Ａ〜４Ｃのシステムに関連して記載するが、任意の順序で方法ステップを実行するように構成された任意のシステムが本発明の範囲内にあることを当業者は理解するであろう。

【0067】

図示のように、方法７００はステップ７０１で開始され、そこで個人安全システム１２０は、ユーザ１１０による周囲音の認識を反映する第１のセットの音声チャネルを生成するために環境オーディオパノラマをサンプリングする。環境オーディオパノラマは例えば、図３Ａの環境オーディオパノラマ３００−１でもよく、又は図４Ａのオーディオパノラマ４００−１でもよい。個人安全システム１２０は、例えば図３Ａのマイクロフォン３１０、又は図４Ａのマイクロフォン群４１０などのトランスデューサのセットを介して環境オーディオパノラマをサンプリングするように構成されている。最初に、個人安全システム１２０はこのような各々のトランスデューサの出力を異なる音声チャネルに割り当ててもよい。個人安全システム１２０はまた、サンプリングされた音声をフィルタリングして、図６を参照して前述したように、個々のチャネルに割り当てられる音響の個々の音源を特定してもよい。

【0068】

ステップ７０２で、個人安全システム１２０は、複製オーディオパノラマを生成するために音声チャネルのセットをユーザ１１０の近傍のスピーカに配分する。そうすることによって、個人安全システム１２０は、図３Ｂを参照して前述したように、左チャネルを左のスピーカに、右チャネルを右のスピーカに割り当ててもよい。複製されたオーディオパノラマはそれぞれ、図３Ｂ及び４Ｂの複製オーディオパノラマ３００−２又は４００−２でよい。

【0069】

ステップ７０４で、個人安全システム１２０は、危険、又はその他の関心対象の事象に関連する方向を判定する。個人安全システム１２０は、車、動物、又は歩行者などの実際の対象が特に出現したことを特定するため、ビデオ又はその他の画像ベースのデータをコンピュータビジョン技術で処理することによって、危険、又はその他の関心対象の事象に関連する方向を特定することができる。個人安全システム１２０は、接近軌道に沿ってユーザ１１０に向かって進行する任意の対象を特定することもできる。一般に、個人安全システム１２０は、任意の実際の対象（１つ又は複数）又は事象（１つ又は複数）を特定し、また、ユーザ１１０に対する対象（１つ又は複数）又は事象（１つ又は複数）に関する方向を特定するように構成されてもよい。

【0070】

ステップ７０５で、個人安全システム１２０は、危険に関連する方向に位置合わせされたオーディオコーンへと複製オーディオパノラマを圧縮する。複製オーディオパノラマを圧縮する際、個人安全システム１２０は、図３Ｃ、３Ｄ及び４Ｃにも示すように、複製されたオーディオパノラマが圧縮されたという錯覚を引き起こすため、音声チャネルのセットをユーザの近傍のスピーカに再配分してもよい。個人安全システム１２０はまた、個々の音源に関連する各チャネルを再配分して、これらの音源がオーディオコーン内から発するように感じられるようにしてもよい。いずれの場合も、個人安全システム１２０は、これらの音源の相対的角度位置を保ちつつ、複製オーディオパノラマをオーディオコーンに圧縮する。

【0071】

このように個人安全システム１２０は、ユーザ１１０によって知覚される環境オーディオパノラマに関連する周囲音を複製するため「パススルー」デバイスとして機能してもよい。次いで、個人安全システム１２０は、ユーザ１１０の注意を危険、又はその他の関心対象の事象に引き付けるために複製オーディオパノラマを修正してもよい。

【0072】

図８は、本発明の一実施形態による、個人安全システム１２０に含めてもよいコンピューティングデバイス２３０を示すブロック図である。図示のように、コンピューティングデバイス２３０は、各々が互いに結合された処理ユニット８０１、入力／出力（Ｉ／Ｏ）デバイス８０２、及びメモリユニット８０３を含んでいる。メモリユニット８０３は、データベース８０５と相互運用するように構成されたアプリケーション８０４を含んでいる。

【0073】

処理ユニット８０１は中央処理ユニット（ＣＰＵ）、ディジタル信号処理ユニット（ＤＳＰ）などを含んでもよい。Ｉ／Ｏデバイス８０２は、入力デバイス、出力デバイス、及び入力の受信と出力の提供の両方が可能なデバイスを含んでもよい。メモリユニット８０３は、メモリモジュール又はメモリモジュールの集合体でよい。メモリユニット８０３内のソフトウエアアプリケーション８０４は、コンピューティングデバイス２３０の機能全体を実装し、ひいては個人安全システム１２０の動作を全体的に調整するために処理ユニット８０１によって実行されてもよい。

【0074】

コンピューティングデバイス２３０は、例えばマイクロフォン群４１０などの１つ又は複数のセンサを含むセンサアレイに結合されてもよい。センサアレイは、ユーザ１１０がいる環境の様々な特性、並びにユーザ１１０に関連する様々な特性を測定するように構成されている。センサアレイは、任意数のマイクロフォン、ビデオカメラ、タッチセンサ、風センサ、熱センサ、光センサ、電界検出器、無線トランシーバ、全地球測位システム（ＧＰＳ）受信機、又はその他のいずれかのタイプのセンサを含んでもよい。一般に、センサアレイは、環境に関連する知覚データ、及びユーザ１１０に関連する知覚データを捉え、そのデータをコンピューティングデバイス２３０に提供する。

【0075】

コンピューティングデバイス２３０はまた、音声出力を生成し、例えばスピーカ２４０などのその音声出力をユーザ１１０に気付かせるように構成された１つ又は複数のデバイスを含む音声出力デバイスに結合されてもよい。音声出力デバイスは、任意数のスピーカ、ヘッドフォン、インイヤー音声デバイス、又は音声を生成可能なその他の任意のタイプのデバイスを含んでもよい。一般に、音声出力デバイスは、環境から派生する自然音、特定の音を消去するアンチノイズ、及び環境音を基に生成される変調音を生成するように構成されている。

【0076】

コンピューティングデバイス１２０は全体として、マイクロプロセッサ、特定用途向き集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、タブレット型コンピュータ又は携帯電話などのモバイルコンピューティングデバイスなどでよい。一般に、コンピューティングデバイス２３０は、個人安全システム１２０の動作全体を調整するように構成されている。個人安全システム１２０の機能を実装するように構成された技術的に実現可能などのシステムも本発明の範囲内に含まれる。

【0077】

実際には、コンピューティングデバイス２３０は、これに結合されたセンサアレイから環境データを受信し、ユーザ１１０に脅威を与える可能性のある特定の危険などの関心対象の事象を特定するように構成されている。例えば、コンピューティングデバイス２３０は、ユーザ１１０と衝突する進路で走行する自動車を特定するコンピュータビジョン技術を実装することができよう。あるいは、コンピューティングデバイス２３０は、例えば危険動物などの危険な存在に共通して関連する音声を特定する音声認識技術を実装することができよう。コンピューティングデバイス２３０はまた、危険、又は関心対象のその他の事象に関連する方向を特定するように構成されている。加えて、コンピューティングデバイス２３０はまた、ユーザ１１０に関連するセンサアレイからデータを受信し、ユーザ１１０が面している方向を特定するように構成されている。例えば、図１Ａ〜１Ｄを参照すると、コンピューティングデバイス２３０は、ユーザ１１０の頭が方向１１２に面し、又はユーザ１１０の眼が方向１１２と一致することを特定できよう。

【0078】

次いでコンピューティングデバイス２３０は、これに結合された音声出力デバイスに、図１Ａ〜１Ｄに示すオーディオパノラマ１００の修正バージョンを表す音響出力を生成させる。例えば、コンピューティングデバイス２３０は、図１Ｂを参照して前述したように、音声出力デバイス２１０に、危険な方向から発する音源以外のオーディオパノラマ１００内のすべての音源を消去させることができよう。別の実施形態では、コンピューティングデバイス２３０は、図１Ｃを参照して記述したように、音声出力デバイス２１０に、オーディオパノラマ１００の収縮バージョンを表す音響出力を生成させることができよう。さらに別の実施例では、コンピューティングデバイス２３０は、図１Ｄを参照して記述したように、音声出力デバイス２１０に、オーディオパノラマ１００の圧縮バージョンを表す音響出力を生成させることができよう。

【0079】

上記の例示的機能のいずれかを実行する際、コンピューティングデバイス２３０は、ユーザ１１０が面する方向１１２に対して、また、危険な方向に対してオーディオパノラマ１００を選択的に消去し、且つ／又は変調する。例えば、コンピューティングデバイス２３０が、ユーザ１１０が面する方向１１２の右に向かって危険が迫っていると判定すると、コンピューティングデバイス２３０は、音声出力デバイスに、ユーザ１１０の聴覚的注意をユーザ１１０の右側に引き付ける音響出力を生成させるであろう。そうすることによって、コンピューティングデバイス２３０は、オーディオパノラマ１００の一部を分離、収縮、又は圧縮して、基本的に方向１１２の左側向きとなるそのパノラマの修正バージョンを生成し得る。

【0080】

加えて、コンピューティングデバイス２３０は、３Ｄ音響調整技術を実装して、ユーザ１１０に出力される音質を修正又は改善してもよい。例えば、ヘッドフォン又はインイヤー音声デバイスを介してオーディオパノラマを生成する場合、これらの特定の音声デバイスはユーザ１１０の外耳を迂回するものの、コンピューティングデバイス２３０は、音声出力がユーザ１１０の外耳を横切る音の通過をシミュレートするように音声出力を変調してもよい。このアプローチで、コンピューティングデバイス２３０は、自然の音声環境を複製し得る。コンピューティングデバイス２３０はまた、危険が検出される前に周囲のオーディオパノラマをユーザ１１０に対して受動的に再生することによって、「パススルー」デバイスとして機能するようにしてもよい。危険、又はその他の関心対象の事象が検出されると、コンピューティングデバイス２３０は、前述の技術を用いてオーディオパノラマを修正することができよう。

【0081】

要約すると、個人安全システムは、切迫する危険、又はその他の関心対象の事象を検出し、次いでユーザが知覚するオーディオパノラマを修正して、ユーザの関心を危険、又はその他の関心対象の事象に集中させる。そうすることによって、個人安全システムは、危険、又はその他の関心対象の事象の方向から発する音響を分離し、オーディオパノラマを危険、又はその他の関心対象の事象の方向に収縮し、又はオーディオパノラマを角度的に圧縮して、危険、又はその他の関心対象の事象の方向と位置合わせし得る。個人安全システムは、自動車、又はユーザに物理的に取り付けられるウェアラブルシステムに組み込んでもよい。

【0082】

開示する技術の１つの利点は、ユーザに追加の知覚情報を導入せずに危険、又はその他の関心対象の事象にユーザの注意を引き付けることができることである。したがって、ユーザは驚いたり動転したりせずに危険、又はその他の関心対象の事象を認識できる。加えて、本明細書に記載のアプローチは、ユーザが個人安全システムにより生じる聴覚の変化の方向に自然に振り向くことができるため、ユーザの本来の直感と密接に一致させることができる。この聴覚は動転させる人工音を伝達しないため、ユーザは無意識に危険に振り向くことができ、したがって危険、又はその他の関心対象の事象に適切に反応する十分な認知資源を保つことができる。自動車に組み込む場合は、開示するシステムは、警報を発することなく切迫した危険、又はその他の関心対象の事象をユーザに気付かせることによって、自動車事故のリスクを低減できる。同様に、歩行者が身に付けるウェアラブルシステムに組み込む場合は、開示するシステムは同様に歩行者事故のリスクを低減できる。したがって、本発明の個人安全システムは、人間の個人的安全を保つ上で大きな進歩をもたらす。

【0083】

本発明の一実施形態は、コンピュータシステムと共に使用するプログラム製品として実装され得る。プログラム製品のプログラム（１つ又は複数）は、（本明細書に記載の方法を含む）実施形態の機能を規定し、多様なコンピュータ読み取り可能記憶媒体に格納される。例示的なコンピュータ読み取り可能媒体には、それらに限定されないが、（ｉ）書き込み不能記憶媒体（例えばＣＤ−ＲＯＭドライブにより読み取り可能なコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）チップ、又はその他のいずれかのタイプのソリッドステート不揮発性半導体メモリなど）；（ｉｉ）変更可能な情報が格納される書き込み可能記憶媒体（例えばディスケットドライブ又はハードディスクドライブ内のフロッピー（登録商標）ディスク、又はいずれかのタイプのソリッドステートランダムアクセス半導体メモリ）が含まれる。

【0084】

本発明を特定の実施形態を参照して記載した。しかし、添付の特許請求に記載の本発明のより広い趣旨及び範囲から逸脱せずに、様々な修正及び変更を行ってもよいことが当業者には理解されよう。例えば、本明細書の記述の多くは危険又は脅威（例えば危険１１４）に言及しているが、本明細書に記載のシステム及び技術はユーザの焦点及び／又は注意をその他のいずれかのタイプの関心対象の事象に向けることにも応用可能であることが当業者には理解されよう。したがって、上記の記載及び図面は限定的ではなく、例示的な意味と見なされるべきである。

【0085】

したがって、本発明の実施形態の範囲は以下の特許請求の範囲に記載する。

【図1A】

【図1B】

【図1C】

【図1D】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】