IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ カリフォルニア インスティチュート オブ テクノロジーの特許一覧 ▶ ヤマハ発動機株式会社の特許一覧 ▶ マーク チャンギージーの特許一覧

特許7529679最周辺部における視覚による運動知覚の補助
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-29
(45)【発行日】2024-08-06
(54)【発明の名称】最周辺部における視覚による運動知覚の補助
(51)【国際特許分類】
   B60W 50/14 20200101AFI20240730BHJP
   G06F 3/01 20060101ALI20240730BHJP
   G08G 1/16 20060101ALI20240730BHJP
【FI】
B60W50/14
G06F3/01 510
G08G1/16 C
【請求項の数】 49
(21)【出願番号】P 2021547338
(86)(22)【出願日】2020-01-06
(65)【公表番号】
(43)【公表日】2022-05-24
(86)【国際出願番号】 US2020012425
(87)【国際公開番号】W WO2020205029
(87)【国際公開日】2020-10-08
【審査請求日】2022-12-19
(31)【優先権主張番号】62/880,557
(32)【優先日】2019-07-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/826,540
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/879,971
(32)【優先日】2019-07-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】508032284
【氏名又は名称】カリフォルニア インスティチュート オブ テクノロジー
(73)【特許権者】
【識別番号】000010076
【氏名又は名称】ヤマハ発動機株式会社
(73)【特許権者】
【識別番号】521355913
【氏名又は名称】マーク チャンギージー
【氏名又は名称原語表記】CHANGIZI, Mark
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100173794
【弁理士】
【氏名又は名称】色部 暁義
(72)【発明者】
【氏名】マーク チャンギージー
(72)【発明者】
【氏名】末神 翔
(72)【発明者】
【氏名】下條 信輔
(72)【発明者】
【氏名】クリストファー シー ベルガー
(72)【発明者】
【氏名】ドウ-アン ウー
(72)【発明者】
【氏名】望月 博文
【審査官】家喜 健太
(56)【参考文献】
【文献】米国特許出願公開第2017/0096104(US,A1)
【文献】米国特許出願公開第2018/0186286(US,A1)
【文献】米国特許出願公開第2005/0190047(US,A1)
【文献】特開2020-098396(JP,A)
【文献】国際公開第2018/227062(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B60W 50/00
G08G 1/16
B60R 21/00
(57)【特許請求の範囲】
【請求項1】
視覚による運動知覚を向上するシステムであって、前記システムは、
実行可能命令を記憶するように構成される非一時的メモリと、
音出力デバイスと、及び
前記非一時的メモリ、画像捕捉デバイス、および前記音出力デバイスと通信するハードウェアプロセッサと、
を備え、
前記ハードウェアプロセッサは、以下のこと、すなわち、
前記画像捕捉デバイスによって捕捉された複数の画像を受け取ること、
前記複数の画像を利用して、第1時刻におけるユーザーに対する対象物の位置および軌道を決定することであり、ここで、前記第1時刻における前記ユーザーに対する前記対象物の前記位置及び前記軌道は、通過時刻において前記対象物が前記ユーザーのそばを通り過ぎる尤度が尤度閾値を超えることを示し、また前記第1時刻及び/又は前記通過時刻において、前記対象物は、前記ユーザーの視野内にいない又は前記ユーザーの視野の遠周辺部にいるものである、該位置及び軌道を決定すること、
前記第1時刻における前記ユーザーに対する前記対象物の前記位置及び前記軌道に基づいて聴覚刺激及び前記聴覚刺激を出力する出力時刻を決定することであり、前記出力時刻は前記通過時刻である、又は前記出力時刻は前記第1時刻と前記通過時刻の中間であり、また前記聴覚刺激の特徴は、下降ピッチを含むグループから選択されるものである、該聴覚刺激及び前記聴覚刺激を出力する出力時刻を決定すること、並びに
前記音出力デバイスに、前記出力時刻において前記ユーザーに対して前記聴覚刺激を出力させ、それにより、前記出力時刻または前記出力時刻の直後の時刻において、前記ユーザーの視野の遠周辺部で前記ユーザーが対象物を視覚的に知覚する尤度を増加させること、
を行うよう、前記実行可能命令によってプログラムされている、
システム。
【請求項2】
請求項1に記載のシステムにおいて、前記複数の画像を受け取るために、前記ハードウェアプロセッサは、1つ以上のセンサによって捕捉された前記複数の画像を含むセンサデータを受け取るように、前記実行可能命令によってプログラムされ、前記1つ以上のセンサは、前記画像捕捉デバイス、無線検出及び測距装置(レーダー)、光検出及び測距装置(ライダー)、音捕捉デバイス、若しくはそれらの組み合わせを含み、前記第1時刻における前記ユーザーに対する前記対象物の前記位置および前記軌道を決定するために、前記ハードウェアプロセッサは、前記複数のセンサデータを利用して、前記第1時刻における前記ユーザーに対する前記対象物の前記位置および前記軌道を決定するように、前記実行可能命令によってプログラムされている、システム。
【請求項3】
請求項2に記載のシステムにおいて、前記システムは、前記1つ以上のセンサ又は前記1つ以上のセンサのうち1つ以上を備える、システム。
【請求項4】
請求項1又は2に記載のシステムにおいて、前記システムは、前記画像捕捉デバイスを備える、システム。
【請求項5】
請求項2に記載のシステムにおいて、前記センサデータを受け取るために、前記ハードウェアプロセッサは、前記1つ以上のセンサによって捕捉された前記センサデータを第2システムから受け取るように、前記実行可能命令によってプログラムされる、システム。
【請求項6】
請求項2、3及び5のいずれか1項に記載のシステムにおいて、前記ハードウェアプロセッサは、前記センサデータを更なるシステムに送るように、前記実行可能命令によってプログラムされている、システム。
【請求項7】
請求項2~6のいずれか1項に記載のシステムにおいて、前記ハードウェアプロセッサは、前記複数の画像と、前記第1時刻における前記ユーザーに対する前記対象物の前記位置及び前記軌道と、及び/又は、前記通過時刻において、前記対象物が前記ユーザーのそばを通過する前記尤度が前記尤度閾値を超えることの表示と、を更なるシステムに送るように、前記実行可能命令によってプログラムされている、システム。
【請求項8】
請求項1~のいずれか1項に記載のシステムにおいて、ヘルメット、カーオーディオシステム、又は、ウェアラブルスピーカシステム若しくはウェアラブルデバイスが、前記システム若しくは前記システムの一部に関連する、それを含む、またはそれに含まれる、システム。
【請求項9】
請求項1~のいずれか1項に記載のシステムにおいて、前記システムは、(1a)前記ユーザーの水平軸からの音、(1b)前記ユーザーの前記水平軸より下からの音、(2a)前記ユーザーの左側からの音、(2b)前記ユーザーの真後ろからの音、及び(2c)前記ユーザーの右側からの音、を模倣する聴覚刺激を出力する複数の音出力デバイスを備える、システム。
【請求項10】
請求項1~のいずれか1項に記載のシステムにおいて、前記対象物は第1動力車両である、システム。
【請求項11】
請求項1~10のいずれか1項に記載のシステムにおいて、前記ユーザーは第2動力車両の中にいる、又は前記第2動力車両にライディングしている、システム。
【請求項12】
請求項1~11のいずれか1項に記載のシステムにおいて、前記ハードウェアプロセッサは、前記第1時刻における前記ユーザーに対する前記対象物の前記位置および前記軌道に基づいて、前記通過時刻で前記対象物が前記ユーザーのそばを通過する前記尤度が前記尤度閾値を超えるかを判定するように、前記実行可能命令によってプログラムされている、システム。
【請求項13】
請求項1~12のいずれか1項に記載のシステムにおいて、前記通過時刻で前記対象物が前記ユーザーのそばを通過する前記尤度閾値は、少なくとも50%、60%、70%、80%、90%、95%、または99%である、システム。
【請求項14】
請求項1~13のいずれか1項に記載のシステムにおいて、前記第1時刻における前記ユーザーに対する前記対象物の前記位置および前記軌道は、前記通過時刻で、前記対象物が前記ユーザーから最大で1メートル、2メートル、5メートル、または10メートル以内で前記ユーザーのそばを通過する前記尤度が前記尤度閾値を超えることを示す、システム。
【請求項15】
請求項1~14のいずれか1項に記載のシステムにおいて、前記第1時刻で、前記対象物は前記ユーザーの前記視野の最周辺部にいる、システム。
【請求項16】
請求項15に記載のシステムにおいて、前記ユーザーの前記視野の前記最周辺部は、前記ユーザーの鼻から離れてこめかみに向かって約90°~110°を含む、システム。
【請求項17】
請求項1~16のいずれか1項に記載のシステムにおいて、前記ユーザーの前記視野の前記遠周辺部は、前記ユーザーの鼻から離れてこめかみに向かって約60°~約110°を含む、システム。
【請求項18】
請求項1~17のいずれか1項に記載のシステムにおいて、前記聴覚刺激の前記特徴は、下降ピッチ、ラウドネスの増加、音響陰影、またはそれらの組み合わせを含むグループから選択される、システム。
【請求項19】
請求項1~18のいずれか1項に記載のシステムにおいて、前記聴覚刺激の前記特徴の変化が、前記通過時刻または前記通過時刻付近において、最も速いまたは最も高い、システム。
【請求項20】
請求項1~19のいずれか1項に記載のシステムにおいて、前記聴覚刺激は、周波数の範囲が1Hz、10Hz、若しくは100Hzである複数の周波数、又は、周波数が250Hz、500Hz、750Hz、800Hz、900Hz、1000Hz、1100Hz、若しくは1200Hzである単一の周波数を含む、システム。
【請求項21】
請求項1~19のいずれか1項に記載のシステムにおいて、前記聴覚刺激は、音楽、音声、またはそれらの組み合わせを含む、システム。
【請求項22】
請求項1~21のいずれか1項に記載のシステムにおいて、前記第1時刻は前記複数の画像若しくはその一部が捕捉された時刻である、前記第1時刻は前記複数の画像若しくはその一部が捕捉された後の時刻である、または、前記第1時刻は前記複数の画像若しくはその一部が捕捉された直後の時刻である、システム。
【請求項23】
請求項1~22のいずれか1項に記載のシステムにおいて、前記ユーザーに対する前記対象物の前記位置および前記軌道は、前記通過時刻において、前記対象物が前記ユーザーの左側または右側で前記ユーザーのそばを通過する可能性が高いことを示し、前記音出力デバイスは、前記ユーザーの左耳および右耳のそれぞれに対する前記聴覚刺激を出力するよう構成されている、左側音出力デバイスおよび右側音出力デバイスを有し、また前記音出力デバイスに前記出力時刻で前記ユーザーに対して前記聴覚刺激を出力させるために、前記ハードウェアプロセッサは、左側音声出力デバイスまたは右側音声出力デバイスに、前記出力時刻でユーザーの左耳または右耳のそれぞれに対する聴覚刺激を出力させるように、前記実行可能命令によってプログラムされている、システム。
【請求項24】
請求項1~23のいずれか1項に記載のシステムにおいて、前記出力時刻は前記通過時刻である、前記出力時刻は前記通過時刻の直前である、又は、前記出力時刻は前記第1時刻と前記通過時刻の中間である、システム。
【請求項25】
請求項1~24のいずれか1項に記載のシステムであって、前記システムにより、前記出力時刻または前記出力時刻の直後の前記時刻において、前記ユーザーの前記視野の前記遠周辺部にいる前記対象物を前記ユーザーが視覚的に知覚する前記尤度を、少なくとも10%、20%、30%、40%、または50%増加させる、システム。
【請求項26】
視覚による運動知覚を向上する方法であって、ハードウェアプロセッサの制御下で、以下のステップ、すなわち、
1つ以上のセンサによって捕捉されたセンサデータを受け取るステップと、
前記センサデータを利用して、第1時刻における主体に対する対象物の位置及び軌道を決定するステップであって、ここで、前記第1時刻における前記主体に対する前記対象物の前記位置及び前記軌道は、第2時刻において前記対象物が前記主体の閾値距離内で前記主体に対して移動している尤度が尤度閾値を超えることを示し、また前記第1時刻において、前記対象物は、前記主体の視野内にいない又は前記主体の視野の周辺部にいるものである、該位置及び軌道を決定するステップと、
前記第1時刻における前記主体に対する前記対象物の前記位置及び前記軌道に基づいて聴覚刺激を決定するステップであり、前記聴覚刺激の特徴が、前記主体の前記閾値距離内で前記主体に対して移動する前記対象物の聴覚的特徴に対応するものであり、また前記聴覚刺激の特徴は、下降ピッチを含むグループから選択されるものである、該聴覚刺激を決定するステップと、並びに
出力時刻において前記主体に対して前記聴覚刺激を出力させ、それにより、前記出力時刻または前記出力時刻の直後の時刻において、前記主体の視野の周辺部にいる前記対象物を前記主体が視覚的に知覚する尤度を増加させるステップと、
を備える、方法。
【請求項27】
請求項26に記載の方法において、前記1つ以上のセンサは、画像捕捉デバイス、無線検出及び測距装置(レーダー)、光検出及び測距装置(ライダー)、音捕捉デバイス、またはそれらの組み合わせを含む、方法。
【請求項28】
請求項26又は27に記載の方法において、ヘルメット、カーオーディオシステム、又は、ウェアラブルスピーカシステム若しくはウェアラブルデバイスが、前記1つ以上のセンサに関連する、それを含む、またはそれに含まれるものであり、また前記聴覚刺激を出力させるステップは、出力時刻で、前記ヘルメット、前記カーオーディオシステム、または、前記ウェアラブルスピーカシステム若しくは前記ウェアラブルデバイスの音出力デバイスに前記聴覚刺激を出力させるステップを含む、方法。
【請求項29】
請求項28に記載の方法において、前記ヘルメット、前記カーオーディオシステム及び/又は前記ウェアラブルスピーカシステム若しくは前記ウェアラブルデバイスは、(1a)前記主体の水平軸からの音、(1b)前記主体の前記水平軸より下からの音、(2a)前記主体の左側からの音、(2b)前記主体の真後ろからの音、及び(2c)前記主体の右側からの音、を模倣する聴覚刺激を出力する複数の音出力デバイスを備える、方法。
【請求項30】
請求項26~29のいずれか1項に記載の方法において、前記センサデータは、前記対象物に関連する1つ以上の遠隔測定センサ及び位置センサによって捕捉された前記対象物の位置、速度、及び方向を含み、前記1つ以上のセンサは、前記対象物に関連する前記1つ以上の遠隔測定センサ及び位置センサを含む、方法。
【請求項31】
請求項26~30のいずれか1項に記載の方法において、前記センサデータは、前記主体に関連する前記1つ以上の遠隔測定センサ及び位置センサによって捕捉された前記対象物の位置、速度、及び方向を含み、前記1つ以上のセンサは、前記主体に関連する前記1つ以上の遠隔測定センサおよび位置センサを含む、方法。
【請求項32】
請求項30又は31に記載の方法において、前記対象物に関連する前記1つ以上の遠隔測定センサ及び位置センサは、前記対象物に関連する全地球測位システム(GPS)センサを含み、前記主体に関連する前記1つ以上の遠隔測定センサ及び位置センサは、前記主体に関連する全地球測位システム(GPS)センサを含む、方法。
【請求項33】
請求項26~32のいずれか1項に記載の方法において、前記対象物は第1動力車両である、方法。
【請求項34】
請求項26~33のいずれか1項に記載の方法において、前記主体は、第2動力車両の中にいる、又は前記第2動力車両にライディングしている、方法。
【請求項35】
請求項26~34のいずれか1項に記載の方法において、前記第1時刻における前記主体に対する前記対象物の前記位置および前記軌道に基づいて、前記第2時刻において前記主体の前記閾値距離内で前記対象物が前記主体に対して移動している前記尤度が前記尤度閾値を超えているかを判定するステップを含む、方法。
【請求項36】
請求項26~35のいずれか1項に記載の方法において、前記第1時刻における前記主体に対する前記対象物の前記位置および前記軌道は、前記第2時刻において、前記対象物は、前記主体のそばを通過し又は前記主体に衝突する尤度が高いことを示す、方法。
【請求項37】
請求項26~36のいずれか1項に記載の方法において、前記主体の前記閾値距離内で前記対象物が前記主体に対して移動している前記尤度閾値が、前記第2時刻において少なくとも50%、60%、70%、80%、90%、95%、または99%である、方法。
【請求項38】
請求項26~37のいずれか1項に記載の方法において、前記閾値距離は、最大で0メートル、1メートル、2メートル、5メートル、または10メートルである、方法。
【請求項39】
請求項26~38のいずれか1項に記載の方法において、前記対象物は、前記第1時刻及び/又は前記第2時刻で、前記主体の前記視野の遠周辺部または最周辺部にいる、方法。
【請求項40】
請求項39に記載の方法において、前記主体の前記視野の前記遠周辺部は、前記主体の鼻から離れてこめかみに向かって約60°~約110°を含み、及び/又は前記主体の前記視野の前記最周辺部は、前記主体の前記鼻から離れて前記こめかみに向かって約90°~110°を含む、方法。
【請求項41】
請求項26~40のいずれか1項に記載の方法において、前記聴覚刺激の特徴は、下降ピッチ、ラウドネスの増加、音響陰影、又はそれらの組み合わせを含むグループから選択される、方法。
【請求項42】
請求項26~41のいずれか1項に記載の方法において、前記聴覚刺激を決定するステップは、前記第1時刻における前記主体に対する前記対象物の前記位置及び前記軌道に基づいて、前記聴覚刺激および前記出力時刻を決定するステップを含む、方法。
【請求項43】
請求項26~42のいずれか1項に記載の方法において、前記聴覚刺激の前記特徴の変化は、前記通過時刻又は前記通過時刻付近で、最も速い又は最も高い、方法。
【請求項44】
請求項26~43のいずれか1項に記載の方法において、前記聴覚刺激は、周波数の範囲が1Hz、10Hz、若しくは100Hzである複数の周波数、又は、周波数が250Hz、500Hz、750Hz、800Hz、900Hz、1000Hz、1100Hz、若しくは1200Hzである単一の周波数を含む方法。
【請求項45】
請求項26~43のいずれか1項に記載の方法において、前記聴覚刺激は、音楽、音声、またはそれらの組み合わせを含む、方法。
【請求項46】
請求項26~45のいずれか1項に記載の方法において、前記第1時刻は前記センサデータ若しくはその一部が捕捉された時刻であり、前記第1時刻は前記センサデータ若しくはその一部が捕捉された後の時刻であり、又は、前記第1時刻は前記センサデータ若しくはその一部が捕捉された直後の時刻である、方法。
【請求項47】
請求項26~46のいずれか1項に記載の方法において、前記主体に対する前記対象物の前記位置及び前記軌道は、前記第2時刻において、前記対象物が、前記主体の左側または右側で、前記主体のそばを通過し又は前記主体と衝突する可能性が高いことを示し、前記出力時刻において前記主体に対して前記聴覚刺激を出力させるステップは、前記出力時刻において、前記主体の左耳又は右耳のそれぞれに対して前記聴覚刺激を出力させるステップを含む、方法。
【請求項48】
請求項26~47のいずれか1項に記載の方法において、前記出力時刻は前記第2時刻である、前記出力時刻は前記第2時刻の直前である、又は、前記出力時刻は前記第1時刻と前記第2時刻の中間である、方法。
【請求項49】
請求項26~48のいずれか1項に記載の方法であって、その方法により、前記出力時刻または前記出力時刻の直後の前記時刻において、前記主体の前記視野の遠周辺部にいる前記対象物を前記主体が視覚的に知覚する前記尤度を、少なくとも10%、20%、30%、40%、又は50%増加させる、方法。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本願は、2019年3月29日に出願された米国仮特許出願第62/826,540号、2019年7月29日に出願された米国仮特許出願第62/879,971号、および2019年7月30日に出願された米国仮特許出願第62/880,557号の優先権の利益を主張し、これらの各出願の内容は、その全体が参照により本明細書に組み込まれる。
【技術分野】
【0002】
本開示は、全体的に、視覚による運動知覚の補助の分野に関し、より詳細には、遠周辺部や最周辺部等の周辺部における視覚による運動知覚の補助に関する。
【背景技術】
【0003】
同時聴覚刺激は、視覚による運動知覚を、中心窩よりも周辺部に偏らせることができる。視覚の信頼性が低下すると、聴覚が重要になる。最周辺部における視覚により後ろからの運動を検出することが、重要となる場合がある。なぜなら、視覚の曖昧さが非常に高く、そのような運動を検出することが生態学的に重要な場合があるからである。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本明細書で開示されるものは、視覚による運動知覚を改善するシステムの実施形態を含む。いくつかの実施形態では、システムが、実行可能命令を記憶するように構成される非一時的メモリと、音出力デバイスと、非一時的メモリ、画像捕捉デバイス、および音出力デバイスと通信するハードウェアプロセッサ(または仮想プロセッサ等のプロセッサ)と、を備える。画像捕捉デバイスによって捕捉された複数の画像を受け取るように、実行可能命令によってハードウェアプロセッサをプログラムする。複数の画像を利用して、第1時刻におけるユーザーに対する対象物の位置および軌道を決定するように、実行可能命令によってプロセッサをプログラムすることができる。第1時刻におけるユーザーに対する対象物の位置および軌道は、通過時刻において対象物がユーザーのそばを通過する尤度が尤度閾値を超えることを示すことができる。第1時刻および/または通過時刻において、対象物は、ユーザーの視野内にいなくてもよく、及び/又はユーザーの視野の遠周辺部にいてもよい。第1時刻におけるユーザーに対する対象物の位置および軌道に基づいて、聴覚刺激および聴覚刺激を出力する出力時刻を決定するように、実行可能命令によってプロセッサをプログラムすることができる。出力時刻を通過時刻にすることができ、または、出力時刻を第1時刻と通過時刻の中間にすることができる。聴覚刺激の特徴を、下降ピッチを含むグループから選択することができる。音出力デバイスに、出力時刻においてユーザーに対して聴覚刺激を出力させるように、実行可能命令によってプロセッサをプログラムすることができる。出力時刻においてユーザーに対して聴覚刺激が出力されることにより、出力時刻または出力時刻の直後の時刻において、ユーザーの視野の遠周辺部でユーザーが対象物を視覚的に知覚する尤度を増加させることができる。
【0005】
本明細書で開示されるものは、視覚による運動知覚を向上するシステムの実施形態を含む。いくつかの実施形態では、システムが、実行可能命令を記憶するように構成される非一時的メモリと、音出力デバイスと、非一時的メモリ、画像捕捉デバイス、および音出力デバイスと通信するハードウェアプロセッサ(または仮想プロセッサ等のプロセッサ)と、を備える。画像捕捉デバイスによって捕捉された複数の画像を受け取るように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。複数の画像を利用して、通過時刻において、対象物が、ユーザーのそばを通過していること、又はユーザーのそばを通過している尤度が尤度閾値を超えることを判定するように、実行可能命令によってプロセッサをプログラムすることができる。通過時刻において、対象物は、ユーザーの視野内にいなくてもよく、又はユーザーの視野の遠周辺部にいてもよい。下降ピッチを含むグループから選択される特徴を有する聴覚刺激を決定するように、実行可能命令によってプロセッサをプログラムすることができる。音出力デバイスに、出力時刻においてユーザーに対して聴覚刺激を出力させるように、実行可能命令によってプロセッサをプログラムすることができる。出力時刻においてユーザーに聴覚刺激が出力されることにより、出力時刻または出力時刻の直後の時刻において、ユーザーの視野の遠周辺部でユーザーが対象物を視覚的に知覚する尤度を増加させることができる。
【0006】
いくつかの実施形態では、複数の画像を受け取るために、1つ以上のセンサによって捕捉された複数の画像を含むセンサデータを受け取るように、実行可能命令によってハードウェアプロセッサをプログラムする。1つ以上のセンサは、画像捕捉デバイス、無線検出及び測距装置(レーダー)、光検出及び測距装置(ライダー)、音捕捉デバイス、またはそれらの組み合わせを含むことができる。第1時刻におけるユーザーに対する対象物の位置および軌道を決定するために、センサデータを利用して、第1時刻におけるユーザーに対する対象物の位置および軌道を決定するように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。通過時刻において、対象物が、ユーザーのそばを通過していること、またはユーザーのそばを通過している尤度が尤度閾値を超えることを判定するために、センサデータを利用して、通過時刻において、対象物が、ユーザーのそばを通過していること、またはユーザーのそばを通過する尤度が尤度閾値を超えることを判定するように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。
【0007】
いくつかの実施形態では、システムは、1つ以上のセンサ又は1つ以上のセンサのうち1つ以上を備える。システムは、画像捕捉デバイスを備えることができる。いくつかの実施形態では、センサデータを受け取るために、1つ以上のセンサによって捕捉されたセンサデータを第2システムから受け取るように、実行可能命令によってハードウェアプロセッサをプログラムする。いくつかの実施形態では、センサデータと、第1時刻におけるユーザーに対する対象物の位置および軌道と、および/または、通過時刻において、対象物が、ユーザーのそばを通過していること、又はユーザーが通過する尤度が尤度閾値を超えることの表示と、を第3システムに送るように、実行可能命令によってハードウェアプロセッサをプログラムする。いくつかの実施形態では、ヘルメット、カーオーディオシステム、又は、ウェアラブルスピーカシステム若しくはウェアラブルデバイスが、システム若しくはシステムの一部に関連し、それを含み、またはそれに含まれる。
【0008】
いくつかの実施形態では、対象物が第1動力車両である。ユーザーは、第2動力車両の中にいてもよい、又は第2動力車両にライディングしていてもよい。いくつかの実施形態では、第1時刻において、対象物がユーザーの視野の最周辺部にいる。いくつかの実施形態では、ユーザーの視野の遠周辺部が、ユーザーの鼻から離れてこめかみに向かう約60°~約110°を含む。ユーザーの視野の最周辺部は、ユーザーの鼻から離れてこめかみに向かう約90°~110°を含むことができる。
【0009】
いくつかの実施形態では、第1時刻におけるユーザーに対する対象物の位置および軌道に基づいて、通過時刻において対象物がユーザーのそばを通過する尤度が尤度閾値を超えるかを判定するように、実行可能命令によってハードウェアプロセッサをプログラムする。いくつかの実施形態では、通過時刻においてユーザーが対象物を通過する尤度閾値が、少なくとも50%、60%、70%、80%、90%、95%、または99%である。いくつかの実施形態では、第1時刻におけるユーザーに対する対象物の位置および軌道が、通過時刻において、対象物がユーザーから最大1メートル、2メートル、5メートル、または10メートル以内でユーザーのそばを通過する尤度が尤度閾値を超えることを示す。
【0010】
いくつかの実施形態では、聴覚刺激の特徴は、下降ピッチ、ラウドネスの増加、より多数の周波数、より高い周波数、角度差の規則性、角度差の特異性、音響陰影、より大きな角度サイズ、ユーザーの耳に対するラウドネスの非対称性、約90°の頭部伝達関数、ユーザーの水平線より下の垂直位置、またはそれらの組み合わせを含むグループから選択される。いくつかの実施形態では、聴覚刺激の特徴の変化が、通過時刻または通過時刻付近において、最も速くまたは最も高い。いくつかの実施形態では、聴覚刺激は、狭い範囲の周波数または純音を含む。いくつかの実施形態では、聴覚刺激は、音楽、音声、またはそれらの組み合わせを含む。
【0011】
いくつかの実施形態では、第1時刻が、複数の画像またはその一部が捕捉された時刻である。第1時刻を、複数の画像またはその一部が捕捉された後の時刻にすることができる。第1時刻を、複数の画像またはその一部が捕捉された直後の時刻にすることができる。いくつかの実施形態では、出力時刻は通過時刻である。出力時刻を、通過時刻の直前の時刻にすることができる。出力時刻を、第1時刻と通過時刻の中間にすることができる。
【0012】
いくつかの実施形態では、ユーザーに対する対象物の位置および軌道が、通過時刻において、対象物がユーザーの左側または右側でユーザーのそばを通過する可能性が高いことを示す。音出力デバイスは、ユーザーの左耳および右耳のそれぞれに聴覚刺激を出力するように構成される、左側音出力デバイスおよび右側音出力デバイスを備えることができる。音出力デバイスに出力時刻においてユーザーに対して聴覚刺激を出力させるために、左側音出力デバイスまたは右側音出力デバイスに、出力時刻においてユーザーの左耳または右耳のそれぞれに聴覚刺激を出力させるように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。
【0013】
いくつかの実施形態では、出力時刻においてユーザーに対して出力される聴覚刺激は、出力時刻または出力時刻の直後の時刻において、ユーザーの視野の遠周辺部にいる対象物をユーザーが視覚的に知覚する尤度を、少なくとも10%、20%、30%、40%、または50%増加させることができる。
【0014】
本明細書で開示されるものは、視覚による運動知覚を向上する方法の実施形態を含む。いくつかの実施形態では、この方法は、ハードウェアプロセッサ(または仮想プロセッサ等のプロセッサ)の制御下にあり、1つ以上のセンサによって捕捉されたセンサデータを受け取るステップを含む。この方法は、センサデータを利用して、第1時刻における主体(subject)に対する対象物(object)の位置および軌道を決定するステップを含むことができる。第1時刻における主体に対する対象物の位置および軌道は、第2時刻において対象物の閾値距離内で対象物が主体に対して移動している尤度が尤度閾値を超えることを示すことができる。第1時刻において、対象物は、主体の視野内にいなくてもよく、又は主体の視野の周辺部にいてもよい。この方法は、第1時刻における主体に対する対象物の位置および軌道に基づいて、聴覚刺激を決定するステップを含むことができる。聴覚刺激の特徴は、主体の閾値距離内で主体に対して移動する対象物の聴覚的特徴に対応することができる。この方法は、出力時刻において主体に対して聴覚刺激を出力させるステップを含むことができる。この方法によって、出力時刻または出力時刻の直後の時刻において、主体の視野の周辺部にいる対象物を主体が視覚的に知覚する尤度を増加させることができる。
【0015】
本明細書で開示されるものは、視覚による運動知覚を向上する方法の実施形態を含む。いくつかの実施形態では、この方法は、ハードウェアプロセッサ(または仮想プロセッサなどのプロセッサ)の制御下にあり、1つ以上のセンサによって捕捉されたセンサデータを受け取るステップを含む。この方法は、センサデータを利用して、主体の閾値距離内で、対象物が、主体に対して移動していること、または主体に対して移動している尤度が尤度閾値を超えることを判定するステップを含むことができる。この方法は、主体の閾値距離内で主体に対して移動する対象物の聴覚的特徴に対応する特徴を有する聴覚刺激を決定するステップを含むことができる。この方法は、出力時刻において主体に対して聴覚刺激を出力させるステップを含むことができる。この方法によって、出力時刻または出力時刻の直後の時刻において、主体の視野の周辺部にいる対象物を主体が視覚的に知覚する尤度を増加させることができる。
【0016】
いくつかの実施形態では、1つ以上のセンサが、画像捕捉デバイス、無線検出及び測距装置(レーダー)、光検出及び測距装置(ライダー)、音捕捉デバイス、またはそれらの組み合わせを含む。いくつかの実施形態では、センサデータが、対象物に関連する1つ以上の遠隔測定センサおよび位置センサによって捕捉された対象物の位置、速度、および方向を含む。1つ以上のセンサは、対象物に関連する1つ以上の遠隔測定センサおよび位置センサを含むことができる。いくつかの実施形態では、センサデータが、主体に関連する1つ以上の遠隔測定センサおよび位置センサによって捕捉された対象物の位置、速度、および方向を含む。1つ以上のセンサは、主体に関連する1つ以上の遠隔測定センサおよび位置センサを含むことができる。対象物に関連する1つ以上の遠隔測定センサおよび位置センサは、対象物に関連する全地球測位システム(GPS)センサを含むことができる。主体に関連する1つ以上の遠隔測定センサおよび位置センサは、主体に関連する全地球測位システム(GPS)センサを含むことができる。
【0017】
いくつかの実施形態では、ヘルメット、カーオーディオシステム、又は、ウェアラブルスピーカシステム若しくはウェアラブルデバイスが、1つ以上のセンサに関連し、それを含み、またはそれに含まれる。聴覚刺激を出力させるステップは、出力時刻において、ヘルメット、カーオーディオシステム、又はウェアラブルスピーカシステム若しくはデバイスの音出力デバイスに聴覚刺激を出力させるステップを含むことができる。
【0018】
いくつかの実施形態では、対象物が第1動力車両である。いくつかの実施形態では、主体が、第2動力車両の中にいて、又は第2動力車両に乗っている。いくつかの実施形態では、対象物が、第1時刻および/または第2時刻において、主体の視野の遠周辺部または最周辺部にいる。いくつかの実施形態では、ユーザーの視野の遠周辺部が、主体の鼻から離れてこめかみに向かう約60°~約110°を含む。ユーザーの視野の最周辺部は、主体の鼻から離れてこめかみに向かう約90°~110°を含むことができる。
【0019】
いくつかの実施形態では、この方法が、第1時刻における主体に対する対象物の位置および軌道に基づいて、第2時刻において主体の閾値距離内で対象物が主体に対して移動している尤度が尤度閾値を上回ることを判定するステップを含む。いくつかの実施形態では、第1時刻における主体に対する対象物の位置および軌道が、第2時刻において、対象物が主体のそばを通過し又は主体に衝突する可能性が高いことを示すことができる。いくつかの実施形態では、主体に対する対象物の位置および軌道は、第2時刻において、対象物が、主体の左側または右側で、主体のそばを通過し又は主体に衝突する可能性が高いことを示す。出力時刻において主体に対して聴覚刺激を出力させるステップは、出力時刻において、主体の左耳または右耳のそれぞれに対して聴覚刺激を出力させるステップを含むことができる。
【0020】
いくつかの実施形態では、第2時刻において主体の閾値距離内で対象物が主体に対して移動している尤度閾値は、少なくとも50%、60%、70%、80%、90%、95%、または99%である。いくつかの実施形態では、閾値距離が、最大で0メートル、1メートル、2メートル、5メートル、または10メートルである。
【0021】
いくつかの実施形態では、聴覚刺激の特徴が下降ピッチである。いくつかの実施形態では、聴覚刺激の特徴が、下降ピッチ、ラウドネスの増加、より多数の周波数、より高い周波数、角度差の規則性、角度差の特異性、音響陰影、より大きな角度サイズ、主体の耳に対するラウドネスの非対称性、約90°の頭部伝達関数、主体の水平線より下の垂直位置、またはそれらの組み合わせを含むグループから選択される。いくつかの実施形態では、聴覚刺激の特徴の変化が、通過時刻または通過時刻付近で、最も速くまたは最も高い。いくつかの実施形態では、聴覚刺激が、狭い範囲の周波数または純音を含む。いくつかの実施形態では、聴覚刺激が、音楽、音声、またはそれらの組み合わせを含む。いくつかの実施形態では、聴覚刺激を決定するステップが、第1時刻における主体に対する対象物の位置および軌道に基づいて、聴覚刺激および出力時刻を決定するステップを含む。
【0022】
いくつかの実施形態では、第1時刻が、センサデータ又はその一部が捕捉された時刻である。第1時刻を、センサデータ又はその一部が捕捉された後の時刻にすることができる。第1時刻を、センサデータ又はその一部が捕捉された直後の時刻にすることができる。いくつかの実施形態では、出力時刻が第2時刻である。出力時刻を、第2時刻の直前の時刻にすることができる。出力時刻を、第1時刻と第2時刻の中間にすることができる。
【0023】
いくつかの実施形態では、この方法によって、出力時刻または出力時刻の直後の時刻において、ユーザーの視野の周辺部で主体が対象物を視覚的に知覚する尤度を、少なくとも10%、20%、30%、40%、または50%増加させる。
【0024】
本明細書で開示されるものは、ユーザーの安全性のためのシステムの実施形態を含む。いくつかの実施形態では、システムが、実行可能命令を記憶するように構成される非一時的メモリと、異なるタイプのセンサデータを捕捉するヘルメット又はウェアラブルデバイスに関連する1つ以上のセンサと、(1a)ユーザーの水平線からの音、(1b)ユーザーの水平線より下からの音、(2a)ユーザーの左側からの音、(2b)ユーザーの真後ろからの音、および(2c)ユーザーの右側からの音を模倣する聴覚刺激を出力する複数の音出力デバイスと、非一時的メモリと通信するハードウェアプロセッサと、を備える。1つ以上のセンサによって捕捉された第1センサデータを受け取るように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。第1センサデータを利用して、第1時刻におけるユーザーに対する対象物の第1位置を決定するように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。ユーザーに対する対象物の第1位置は、ユーザーの第1閾値距離内にあることができる。第1時刻におけるユーザーに対する対象物の第1位置を利用して、1つ以上の第1聴覚刺激と、1つ以上の第1聴覚刺激を出力する複数の出力デバイスのうち対応する1つ以上の第1音出力デバイスと、を決定するように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。第1聴覚刺激の特徴は、対象物の特性に関係することができる。1つ以上の第1音出力デバイスのそれぞれに、1つ以上の第1聴覚刺激のうち対応する第1聴覚刺激を出力させるように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。
【0025】
いくつかの実施形態では、第1聴覚刺激の特徴は第1聴覚刺激のピッチであり、第1聴覚刺激の特徴は対象物のサイズを含む対象物の特性に関係し、及び第1聴覚刺激のピッチは対象物のサイズと正または負に相関する。いくつかの実施形態では、第1聴覚刺激の特徴が第1聴覚刺激のラウドネスであり、第1聴覚刺激の特徴が対象物の速度を含む対象物の特性に関係し、及び第1聴覚刺激のラウドネスが対象物の速度と正または負に相関する。いくつかの実施形態では、第1聴覚刺激の特徴が第1聴覚刺激のピッチであり、第1聴覚刺激の特徴が対象物のサイズおよび/または速度を含む対象物の特性に関係し、第1聴覚刺激のピッチが対象物のサイズと正または負に相関し、及び第1聴覚刺激のピッチが対象物の速度と正または負に相関する。
【0026】
いくつかの実施形態では、1つ以上の第1聴覚刺激および対応する1つ以上の第1音出力デバイスが、2つ以上の第1聴覚刺激、及び対応する2つ以上の第1音出力デバイスを含む。対応する第1音出力デバイスによって出力される2つ以上の第1聴覚刺激の組み合わせが、複数の音出力デバイスのいずれも個別に模倣することができない、第1時刻においてユーザーに対して第1位置で移動する対象物の音を模倣することができる。いくつかの実施形態では、1つ以上の第1聴覚刺激が、狭い範囲の周波数または純音を含む。いくつかの実施形態では、1つ以上の第1聴覚刺激は、音楽、音声、またはそれらの組合せを含む。
【0027】
いくつかの実施形態では、1つ以上のセンサによって捕捉された第2センサデータを受け取るように、実行可能命令によってハードウェアプロセッサをプログラムする。第2センサデータを利用して、第2時刻におけるユーザーに対する対象物の第2位置を決定するように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。ユーザーに対する対象物の第2位置は、ユーザーの第2閾値距離内にあることができ、第2閾値距離は、第1閾値距離よりも短くまたは長い。第2時刻におけるユーザーに対する対象物の第2位置を利用して、1つ以上の第2聴覚刺激と、1つ以上の第2聴覚刺激を出力する複数の出力デバイスのうち対応する1つ以上の第2音出力デバイスと、を決定するように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。第2聴覚刺激の特徴は、対象物の特性に関係することができる。第1聴覚刺激の特徴に対する第2聴覚刺激の特徴の差異は、第2時刻におけるユーザーに対する対象物の第2位置に関係することができる。1つ以上の第2音出力デバイスのそれぞれに、1つ以上の第2聴覚刺激のうち対応する第2聴覚刺激を出力させるように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。
【0028】
いくつかの実施形態では、第1聴覚刺激の特徴に対する第2聴覚刺激の特徴の差異は、より多数または少数の周波数である。いくつかの実施形態では、第1聴覚刺激の特徴に対する第2聴覚刺激の特徴の差異は、ラウドネスがより大きいこと又は小さいことである。
【0029】
いくつかの実施形態では、1つ以上のセンサによって捕捉された第3センサデータを受け取るように、実行可能命令によってハードウェアプロセッサをプログラムする。第3センサデータを利用して、第3時刻におけるユーザーに対する対象物の第3位置を決定するように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。ユーザーに対する対象物の第3位置は、ユーザーの第3閾値距離内にあることができる。第3閾値距離を、第2閾値距離よりも短くまたは長くすることができる。第3時刻におけるユーザーに対する対象物の第3位置を利用して、(i)1つ以上の第1聴覚刺激と、1つ以上の第1聴覚刺激を出力する複数の出力デバイスのうち対応する1つ以上の第1音出力デバイスと、(ii)1つ以上の第2聴覚刺激と、1つ以上の第2聴覚刺激を出力する複数の出力デバイスのうち対応する1つ以上の第2音出力デバイスと、を決定するように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。1つ以上の第1音出力デバイスおよび第2音出力デバイスのそれぞれに、1つ以上の第1聴覚刺激および第2聴覚刺激のうち対応する第1聴覚刺激または第2聴覚刺激を出力させるように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。
【0030】
いくつかの実施形態では、システムは、ヘルメット若しくはウェアラブルデバイスに関連し、それを含み、またはそれに含まれ、任意選択で、複数の音出力デバイスは、ヘルメット若しくはウェアラブルデバイス上、その中、またはその内部にある。複数の音出力デバイスを、(1a)ユーザーの水平線からの音、(1b)ユーザーの水平線より下からの音、(2a)ユーザーの左側からの音、(2b)ユーザーの真後ろからの音、および(2c)ユーザーの右側からの音を模倣する聴覚刺激を出力するように配置することができる。
【0031】
いくつかの実施形態では、複数の音出力デバイスは、(i)水平線レベル音出力デバイスと、(ii)ヘルメット若しくはウェアラブルデバイスの第1輪郭線上の、またはヘルメット若しくはウェアラブルデバイスの、第1水平線左下部音出力デバイスおよび第1水平線右下部音出力デバイスと、を備える。水平線レベル音出力デバイスは、ヘルメット又はウェアラブルデバイスを着用している場合に、ユーザーの水平線の中心点からの音を模倣する聴覚刺激を出力する。第1水平線左下部音出力デバイスおよび第1水平線右下部音出力デバイスは、ヘルメット又はウェアラブルデバイスを着用している場合に、ユーザーの水平線より下側である第1垂直レベルからの音を模倣する聴覚刺激を、ユーザーの左側および右側のそれぞれに出力する。複数の音出力デバイスは、第1輪郭線の水平線中心下部音出力デバイスを備えることができる。水平線中心下部音出力デバイスは、ユーザーの水平線より下側および中心点からの音を模倣する聴覚刺激を出力する。
【0032】
いくつかの実施形態では、複数の音出力デバイスは、(iii)ヘルメット若しくはウェアラブルデバイスの第2輪郭線上の、またはヘルメット若しくはウェアラブルデバイスの、第1水平線左下部音出力デバイスおよび第1水平線右下部音出力デバイスを備える。当該第1水平線左下部音出力デバイスおよび第1水平線右下部音出力デバイスは、ヘルメット又はウェアラブルデバイスを着用している場合に、ユーザーの水平線より下側である第2垂直レベルからの音を模倣する聴覚刺激を、ユーザーの左側および右側のそれぞれに出力する。第2垂直レベルは、第1垂直レベルよりも下側にあることができる。第2輪郭線は、第1輪郭線よりも下側にあることができる。
【0033】
いくつかの実施形態では、複数の音出力デバイスは、(ii)ヘルメット若しくはウェアラブルデバイスの第1輪郭線上の、またはヘルメット若しくはウェアラブルデバイスの、第2水平線左下部音出力デバイスおよび第2水平線右下部音出力デバイスを備える。当該第2水平線左下部音出力デバイスおよび第2水平線右下部音出力デバイスはそれぞれ、ヘルメット又はウェアラブルデバイスを着用する場合に、ユーザーの水平線より下側である第1垂直レベルからの音を模倣する聴覚刺激を出力する。第2水平線左下部音出力デバイスによって出力される聴覚刺激で模倣される音は、第1輪郭線の第1水平線左下部音出力デバイスによって出力される聴覚刺激で模倣される音の左側にあることができる。第2水平線右下部音出力デバイスによって出力される聴覚刺激で模倣される音は、第1輪郭線の第1水平線右下部音出力デバイスによって出力される聴覚刺激で模倣される音の右側にあることができる。第2水平線左下部音出力デバイスは、第1輪郭線の第1水平線左下部音出力デバイスの左側にあることができる。第2水平線右下部音出力デバイスは、第1輪郭線の第1水平線右下部音出力デバイスの右側にあることができる。
【0034】
いくつかの実施形態では、1つ以上のセンサによって捕捉された第4センサデータを受け取るように、実行可能命令によってハードウェアプロセッサをプログラムする。第4センサデータを利用して、通過時刻において、対象物が、ユーザーのそばを通過していること、又はユーザーのそばを通過する尤度が尤度閾値を超えることを判定するように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。通過時刻において、対象物は、ユーザーの視野内にいなくてもよく、又はユーザーの視野の遠周辺部にいてもよい。ユーザーのそばを通過する対象物の聴覚特徴に対応する特徴を有する第4聴覚刺激を決定するように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。出力時刻において、複数の音出力デバイスのうち1つ以上に第4聴覚刺激をユーザーに対して出力させるように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。出力時刻においてユーザーに対して出力される第4聴覚刺激により、出力時刻または出力時刻の直後の時刻において、ユーザーの視野の遠周辺部にいる対象物をユーザーが視覚的に知覚する尤度を増加させることができる。
【0035】
いくつかの実施形態では、1つ以上のセンサが、画像捕捉デバイス、無線検出及び測距装置(レーダー)、光検出及び測距装置(ライダー)、音捕捉デバイス、またはそれらの組合せを含む。
【0036】
いくつかの実施形態では、対象物が第1動力車両である。いくつかの実施形態では、ユーザーが、第2動力車両の中にいて、又は第2動力車両に乗っている。いくつかの実施形態では、通過時刻において、対象物はユーザーの視野の最周辺部にいる。ユーザーの視野の遠周辺部は、ユーザーの鼻から離れてこめかみに向かう約60°~約110°を含むことができる。ユーザーの視野の最周辺部は、ユーザーの鼻から離れてこめかみに向かう約90°~110°を含むことができる。
【0037】
いくつかの実施形態では、通過時刻において対象物がユーザーのそばを通過する尤度閾値が、少なくとも50%、60%、70%、80%、90%、95%、または99%である。いくつかの実施形態では、通過時刻において、対象物が、ユーザーから最大1メートル、2メートル、5メートル、または10メートル以内で、ユーザーのそばを通過していて、又はユーザーのそばを通過する尤度が尤度閾値を超える。
【0038】
いくつかの実施形態では、第4聴覚刺激の特徴は、下降ピッチ、ラウドネスの増加、より多数の周波数、より高い周波数、角度差の規則性、角度差の特異性、音響陰影、より大きな角度サイズ、ユーザーの耳に対するラウドネスの非対称性、約90°の頭部伝達関数、ユーザーの水平線より下の垂直位置、またはそれらの組み合わせを含むグループから選択される。いくつかの実施形態では、第4聴覚刺激の特徴の変化が、通過時刻または通過時刻付近において、最も速くまたは最も高い。
【0039】
いくつかの実施形態では、通過時刻は、第4センサデータ又はその一部が捕捉された時刻である。通過時刻を、第4センサデータ又はその一部が捕捉された後の時刻にすることができる。通過時刻を、第4センサデータ又はその一部が捕捉された直後の時刻にすることができる。
【0040】
いくつかの実施形態では、対象物は、ユーザーの左側または右側で、ユーザーのそばを通過していて又は通過する可能性が高い。出力時刻において、複数の音出力デバイスのうち1つ以上に第4聴覚刺激をユーザーに対して出力させるために、出力時刻において、第1輪郭線の第1水平線左下部音出力デバイス若しくは第1水平線音右下部出力デバイスに、および/または第2輪郭線の第1水平線左下部音出力デバイス若しくは第1水平線右下部音出力デバイスに、第4聴覚刺激を出力させるように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。
【0041】
いくつかの実施形態では、出力時刻においてユーザーに対して出力される第4聴覚刺激が、出力時刻または出力時刻の直後の時刻において、ユーザーの視野の遠周辺部にいる対象物をユーザーが視覚的に知覚する尤度を、少なくとも10%、20%、30%、40%、または50%増加させることができる。
【0042】
本明細書で開示されるものは、実行可能命令を含むコンピュータ可読媒体の実施形態を含み、計算システム又は計算デバイスのハードウェアプロセッサによって実行される場合、ハードウェアプロセッサ、計算システム又は計算デバイスに、本明細書で開示されるいずれかの方法を実行させる。
【0043】
本明細書に記載される主題の1つ以上の実装形態の詳細は、添付の図面および以下の説明に記載される。他の特徴、態様、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。この概要も、以下の詳細な説明も、本発明の主題の範囲を定義または限定するものではない。
【図面の簡単な説明】
【0044】
図1】遠周辺部および最周辺部における視覚による運動知覚を強化する、非限定的な例示的システムのブロック図である。
図2】視覚による後ろからの運動の知覚を強化する例示的な方法を示すフロー図である。
図3図3A~3Dは、遠周辺部および最周辺部における視覚による運動知覚を強化するシステムの音出力デバイス(例えば、スマートヘルメット又はウェアラブルデバイスのスピーカ)の、非限定的な例示的配置を示す概略図である。
図4図4A~Fは、遠周辺部および最周辺部における視覚による運動知覚を強化するシステムの音出力デバイス(例えば、スマートヘルメット又はウェアラブルデバイスのスピーカ)の、非限定的な例示的作動を示す概略図である。
図5】ユーザーの安全性を向上させる例示的な方法を示すフロー図である。
図6】本開示のいずれかの方法を実施するように構成される例示的な計算システムのブロック図である。
図7】下降ピッチを有する聴覚刺激が、最周辺部における視覚による後ろからの運動の検出に影響を及ぼすかどうか判定する実験構成の、非限定的な例示的概略図である。
図8】聴覚が、最周辺部における視覚による後ろからの運動の検出に影響を及ぼすかどうか判定する実験構成の、非限定的な例示的概略図である。
図9】最周辺部における視覚による後ろからの運動の検出に対する、3つのタイプの聴覚刺激の影響を判定する実験構成の、非限定的な例示的概略図である。
図10】最周辺部における視覚による後ろからの運動の検出に対する、3つのタイプの聴覚刺激の影響を示す、非限定的な例示的プロットである。
【発明を実施するための形態】
【0045】
以下の詳細な説明では、その一部を形成する添付の図面を参照する。図面では、文脈が別段の指示をしない限り、同様の記号は通常、同様の構成要素を特定する。発明の詳細な説明、図面、および特許請求の範囲に記載される例示的実施形態は、限定することを意図しない。本明細書に提示される主題の精神または範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本明細書に全体的に記載され、図面に示される本開示の態様は、多種多様な異なる構成で配置、置換、組み合わせ、分離、および設計できることが容易に理解されるであろう。これらの構成はすべて、本明細書で明示的に企図され、本明細書の開示の一部とされる。
【0046】
本明細書で開示されるものは、視覚による運動知覚を向上させるシステムの実施形態を含む。いくつかの実施形態では、システムが、実行可能命令を記憶するように構成される非一時的メモリと、音出力デバイスと、非一時的メモリ、画像捕捉デバイス、および音出力デバイスと通信するハードウェアプロセッサ(または仮想プロセッサ等のプロセッサ)と、を備える。画像捕捉デバイスによって捕捉された複数の画像を受け取るように、実行可能命令によってハードウェアプロセッサをプログラムする。複数の画像を利用して、第1時刻におけるユーザーに対する対象物の位置および軌道を決定するように、実行可能命令によってプロセッサをプログラムすることができる。第1時刻におけるユーザーに対する対象物の位置および軌道は、通過時刻において対象物がユーザーのそばを通過する尤度が尤度閾値を超えることを示すことができる。第1時刻において、対象物は、ユーザーの視野内にいなくてもよく、又はユーザーの視野の遠周辺部にいてもよい。第1時刻におけるユーザーに対する対象物の位置および軌道に基づいて、聴覚刺激および聴覚刺激を出力する出力時刻を決定するように、実行可能命令によってプロセッサをプログラムすることができる。出力時刻を通過時刻にすることができ、または、出力時刻を、第1時刻と通過時刻の中間にすることができる。聴覚刺激の特徴を、下降ピッチを含むグループから選択することができる。音出力デバイスに、出力時刻においてユーザーに対して聴覚刺激を出力させるように、実行可能命令によってプロセッサをプログラムすることができる。出力時刻においてユーザーに対して聴覚刺激が出力される結果、出力時刻または出力時刻の直後の時刻において、ユーザーの視野の遠周辺部でユーザーが対象物を視覚的に知覚する尤度を増加することができる。
【0047】
本明細書で開示されるものは、視覚による運動知覚を向上させるシステムの実施形態を含む。いくつかの実施形態では、システムが、実行可能命令を記憶するように構成される非一時的メモリと、音出力デバイスと、非一時的メモリ、画像捕捉デバイス、および音出力デバイスと通信するハードウェアプロセッサ(または仮想プロセッサ等のプロセッサ)と、を含む。画像捕捉デバイスによって捕捉された複数の画像を受け取るように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。複数の画像を利用して、通過時刻において、対象物が、ユーザーのそばを通過していること、又はユーザーのそばを通過する尤度が尤度閾値を超えることを判定するように、実行可能命令によってプロセッサをプログラムすることができる。第1時刻において、対象物は、ユーザーの視野内にいなくてもよく、又はユーザーの視野の遠周辺部にいてもよい。下降ピッチを含むグループから選択される特徴を有する聴覚刺激を決定するように、実行可能命令によってプロセッサをプログラムし得る。音出力デバイスに、出力時刻においてユーザーに対して聴覚刺激を出力させるように、実行可能命令によってプロセッサをプログラムすることができる。出力時刻においてユーザーに対して聴覚刺激が出力されることで、出力時刻または出力時刻の直後において、ユーザーの視野の遠周辺部でユーザーが対象物を視覚的に知覚する尤度を増加させることができる。
【0048】
本明細書で開示されるものは、視覚による運動知覚を向上させる方法の実施形態を含む。いくつかの実施形態では、この方法が、ハードウェアプロセッサ(または仮想プロセッサ等のプロセッサ)の制御下にあり、1つ以上のセンサによって捕捉されたセンサデータを受け取るステップを含む。この方法は、センサデータを利用して、第1時刻における主体に対する対象物の位置および軌道を決定するステップを含むことができる。第1時刻における主体に対する対象物の位置および軌道は、第2時刻において主体の閾値距離内で対象物が主体に対して移動している尤度が尤度閾値を超えることを示すことができる。第1時刻において、対象物は、主体の視野内にいなくてもよく、又は主体の視野の周辺部にいてもよい。この方法は、第1時刻における主体に対する対象物の位置および軌道に基づいて、聴覚刺激を決定するステップを含むことができる。聴覚刺激の特徴は、主体の閾値距離内で主体に対して移動する対象物の聴覚的特徴に対応することができる。この方法は、出力時刻において主体に対して聴覚刺激を出力させるステップを含むことができる。この方法によって、出力時刻または出力時刻の直後の時刻において、主体の視野の周辺部で主体が対象物を視覚的に知覚する尤度を増加させることができる。
【0049】
本明細書で開示されるものは、視覚による運動知覚を向上させる方法の実施形態を含む。いくつかの実施形態では、この方法が、ハードウェアプロセッサの制御下にあり、1つ以上のセンサによって捕捉されたセンサデータを受け取るステップを含む。この方法は、センサデータを利用して、主体の閾値距離内で、対象物が、主体に対して移動していること、又は主体に対して移動している尤度が閾値尤度を上回ることを判定するステップを含むことができる。第1時刻において、対象物は、主体の視野内にいなくてもよく、又は主体の視野の周辺部にいてもよい。この方法は、主体の閾値距離内で主体に対して移動する対象物の聴覚的特徴に対応する特徴を有する聴覚刺激を決定するステップを含むことができる。この方法は、出力時刻において、主体に対して聴覚刺激を出力させるステップを含むことができる。この方法によって、出力時刻または出力時刻の直後の時刻において、主体の視野の周辺部で主体が対象物を視覚的に知覚する尤度を増加させることができる。
【0050】
本明細書で開示されるものは、ユーザーの安全性のためのシステムの実施形態を含む。いくつかの実施形態において、システムは、実行可能命令を記憶するように構成される非一時的メモリと、異なるタイプのセンサデータを捕捉するヘルメット又はウェアラブルデバイスに関連する1つ以上のセンサと、(1a)ユーザーの水平線からの音、(1b)ユーザーの水平線より下からの音、(2a)ユーザーの左側からの音、(2b)ユーザーの真後ろからの音、および(2c)ユーザーの右側からの音を模倣する聴覚刺激を出力する複数の音出力デバイスと、非一時的メモリと通信するハードウェアプロセッサ(または仮想プロセッサ等のプロセッサ)と、を備える。1つ以上のセンサによって捕捉された第1センサデータを受け取るように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。第1センサデータを利用して、第1時刻におけるユーザーに対する対象物の第1位置を決定するように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。ユーザーに対する対象物の第1位置は、ユーザーの第1閾値距離内にあることができる。第1時刻におけるユーザーに対する対象物の第1位置を利用して、1つ以上の第1聴覚刺激と、1つ以上の第1聴覚刺激を出力する複数の出力デバイスのうち対応する1つ以上の第1音出力デバイスと、を決定するように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。第1聴覚刺激の特徴は、対象物の特性に関係することができる。1つ以上の第1音出力デバイスのそれぞれに、1つ以上の第1聴覚刺激のうち対応する第1聴覚刺激を出力させるように、実行可能命令によってハードウェアプロセッサをプログラムすることができる。
【0051】
図面全体を通して、参照番号は、参照される要素間の対応を示すために再利用される場合がある。図面は、本明細書で説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図するものではない。
【0052】
<視覚による運動知覚の強化>
人間の視覚による知覚は、眼の中心窩(~2度)で最も正確かつ敏感であり、その性能は、傍中心窩(~5度)から周辺部(~40度)に行くにつれて徐々に低下する。したがって、人は、中心窩に対象物を捕捉するために、(対象物の移動が相対的なものであり、知覚者の運動によって引き起こされる場合であっても、)自分の頭部および/または注視を、自分の最周辺部(60~100度)で移動する対象物に向ける必要がある。最周辺部で移動する対象物を視覚的に知覚することは、自動車を運転しているときなど、人の日常生活において重要な場合がある。リアミラー、サイドミラー、リアモニタ、サイドミラー内の死角アラートシステム、またはデジタルミラー等の多くの技術が、それがなければ人の目の中心窩内および傍中心窩内に捕捉されないであろう移動する対象物を見るために開発されている。これらの技術は、2つのカテゴリ、すなわち、光学的に(例えば、ミラー)及び/若しくは画像処理(例えば、デジタルミラー)によって人の中心窩により近づけて対象物の画像を見せるカテゴリ、または、人に警告してその注視を対象物に向けさせるカテゴリ(例えば、死角アラートシステム)のうち一方に分類される。従来技術は、デバイス(例えば、ミラー)上の対象物自体および/またはその光学画像に人の注視を向けることを必要とする。従来技術は、人が前を見ないで運転することにつながり、これは自動車事故の最も一般的な原因の1つである。
【0053】
本明細書で開示されるものは、周辺部における人間の視覚による運動知覚を強化するシステム、デバイス、コンピュータ可読媒体、および方法を含む。聴覚キューまたは聴覚刺激(例えば、単純な聴覚キュー)を使用することで、人は、自分の注視を対象物に向けることなく、移動する対象物を周辺部で知覚することができる。いくつかの実施形態では、遠周辺部または最周辺部における人の視力が強化され、これにより、自動車を運転するまたはオートバイに乗る等のタスクを実行中の主体を手助けすることができる。聴覚キューまたは聴覚刺激は、人の注視を対象物に向けることなく、人間が移動する対象物を遠周辺部および最周辺部で知覚することを可能にすることができる。強化された知覚は、自動車を運転しているときなど、人の日常生活における安全性を向上させることができる。本明細書で開示される要素のうち1つ以上を操作しながら人に音を提示することによって、人が遠周辺部および最周辺部で1つ以上の移動する対象物を視覚により知覚することを、活性化または向上できる。これらの要素のいずれも操作せずに音を提示すると、遠周辺部および最周辺部における視覚による知覚を実際に損なう可能性がある。
【0054】
<聴覚による刺激、提示、及びキュー>
遠周辺部または最周辺部における運動に対応する生態学的に適切な聴覚による刺激、提示、またはキューは、遠周辺部または最周辺部における視覚による運動知覚を促進することができる。最周辺部は、人が前方を向いている場合に、側面側におよそ90度である。1つ以上の特性または特徴を有する聴覚刺激は、刺激が非生態学的な聴覚刺激よりも、遠周辺部または最周辺部における視覚をより顕著にすることができる。
【0055】
(a) <ピッチ>
ピッチは下降している(上昇していない)。
【0056】
(a’) ピッチは、下降するだけでなく、その下降途中に最速で下降する。ピッチの変化率対時刻のシグモイド関数を考える。関数が最速で下降している(すなわち、ピッチが最速で下降している)場合、人の脳は、移動している自動車(または、移動しているオートバイや移動しているトラック等の、移動している対象物)が人の視野の90度のところにいて、人に物理的に最も近い可能性があることがわかる。
【0057】
(b) <ラウドネス>
対応する音源が近くにあるので、音は大きい。音は、身体(聴覚の一般化とみなすことができる)を振動させることさえもあるほど十分な大きさになり得る。
【0058】
(b’) ラウドネスは高いだけでなく、そのピークにある。ラウドネスは、逆U字型関数として表すことができる。ラウドネスが水平になるにつれて、人の脳は、対象物が周辺部に近づいていることがわかる。
【0059】
(c) <周波数帯域>
ノイズを発する対象物が近くにいる場合、放出されるノイズのうち人が聞くことができる周波数帯域が広くなり、特に高周波成分が多くなる。ノイズを発する対象物が遠く離れている場合、人は低周波成分をより多く聞くことができる。
【0060】
(c’) (c)の派生変形例。
【0061】
(d) <角度差の規則性>
人が対象物に対して移動していなくとも、移動している対象物が人の前、後ろ、または横にいるように聞こえることには、規則性がある。
【0062】
移動している対象物(例えば車)が、自走してノイズを発する。例えば、土ほこりは前でなく後ろに跳ね飛ばされている。人間は、発せられるノイズ又は音に敏感である。
【0063】
移動者は通常、点状サイズの先端で走るのではなく、文字通り、各ステップまたは足跡に対して「ヒール-トウ」シーケンスを有する。タイヤを有する対象物の場合、タイヤが新しい「トウ(toes)」で絶えず回転していて、タイヤが回転するにつれてトウ(つま先)がヒール(踵)になるという意味で、ヒール-トウシーケンスでもある。ヒール-トウシーケンスは、人が対象物に対して移動していない場合であっても、人の後ろにいるときと比較して、人の前にいるときとは異なるように聞こえる。例えば、前にいる場合、ヒール-トウの音のタイミングがより一致する(例えば、より高い周波数を有する)のに対し、後ろにいる場合、ヒール-トウの音の時間のずれがより大きい(例えば、より低い周波数を有する)。
【0064】
(d’) (d)の派生変形例。
【0065】
(e) <角度差の特異性>
ノイズを発しながら移動する現実の対象物は、(d)よりも一般化可能性が低い理由で、人の前、人の後ろ、および人の横で同じように聞こえない。人が自動車の前方において(同じ速度で)運転している場合を、すべて等距離にあるとして、自動車の後ろで運転している場合や自動車の横で運転している場合と比較して考える。人が聞く音には差異がある。人は、自動車の前を運転している場合(自動車がフロントエンジンを有すると仮定して)、より多くのモータ音を聞くことができ、自動車の後ろを運転している場合、より多くの排気音およびキャブレター音を聞くことができる。音の差異は、音を発する対象物(例えば、車)の種類に大きく依存し、人間はこれら音の差異を学習する。
【0066】
(e’) (e)の派生変形例。
【0067】
(f) <音響陰影>
対象物は、環境内で、対象物の後ろの物体からの音を部分的に遮る。したがって、対象物が非常に静かに移動していても、「音響陰影」が移動し、対象物の後ろの周囲環境音を部分的に遮断する。移動する音ではなくむしろ、移動する対象物は、移動する静寂化に関連する、または人間が知覚できる移動する音響陰影を有することがあり得る。
【0068】
(g) <より大きな角度サイズ>
移動する音発生対象物は点状サイズではない。このような対象物は有限サイズを有し、接近するとき、多方向由来の音を発する。例えば、列車が遠く離れている場合、列車は点音源であるが、隣にいる場合、ほぼ180度の角度にわたって音を発することができる。実際は、半球のほぼ半分の角度であり、水平線の上下を含む。より近接する対象物はより多くの「サラウンド音」を有することができる。
【0069】
(g’) (g)の派生変形例。
【0070】
(h) <聴力の非対称性>
移動する対象物が人とすれ違うほど近づくにつれて、人の聴力に対するラウドネスの非対称性は大きくなる。
【0071】
(h’) (h)の派生変形例。
【0072】
(i) <頭部伝達関数(HRTF)>
移動する対象物が人とすれ違うほど近づくにつれて、対象物が人に対して90度のところにいることをHRTFはより示すようになる。
【0073】
(i’) (i)の派生変形例。
【0074】
(k) <垂直位置>
移動している生き物に対する最も強い聴覚キューは、水平線のかなり下方向から、すなわち地面を移動している生き物の足から方向性を持って発する場合がある。したがって、人の周辺部にいる近くの生き物は、水平線より下に70度から水平線より上に40度までの、この110度の全垂直範囲を進むかもしれないが、その音は、ちょうど底部の-70度から不均衡に発する傾向がある。-70度の聴覚キューは、対象物が-70度にいることを必ずしも意味しない。その代わり、-70度の聴覚キューは、たとえほとんどの生き物が-70度付近にいなくても、生き物の足(または移動する車両のホイール)が偶然-70度にある、移動している生き物全てを示すことができる。生き物の身体(または車体)の残りの部分は、完全に静寂であり得る。実際、ほとんどの動物はこのようなものであり、移動しているときにその関節が音を立てることはない。動物が発する全ての音は、下の地面を踏んでいる動物に由来する。
【0075】
(k’) <人からの対象物の距離に対する人の知覚領域内にいる対象物の音の高さの1対1写像>
対象物は、特に対象物が人の近くにいる場合、人の多くの知覚領域を充満することができる。対象物は、多くの様々な方法で音を発することができ、その音は対象物の様々な部分から来る。移動する生き物(または移動する車両)について、いくつかの基本的な一般化がある。すなわち、移動する生き物が発する音は、地面上にいる生物の足から来る傾向がある。人の知覚領域で移動する生き物によって発せられる音の垂直位置から、人に対する生き物の距離を決定することができる。水平線より下側の垂直領域位置と距離の間には、1対1の関係がある。水平線から来る音は、無限に遠く離れている。人の知覚領域より下から人が発する音、または人の知覚領域より下から人によって知覚される音は、よりすぐそばにある。人より下から来る音は、基本的に、音を発する生き物が、人のすぐ隣を人からゼロ距離で歩いていることを意味する。
【0076】
<視覚による運動知覚を強化するシステム>
図1は、遠周辺部および最周辺部における視覚による運動知覚を強化する、非限定的で例示的なシステム又はデバイス100(例えば、ウェアラブルデバイス)のブロック図である。システムは、1つ以上のセンサ104、プロセッサ108、音作成装置112、および音発生装置116を備えることができる。1つ以上のセンサ104は、レーダー、カメラ、及びマイクロフォンを含むことができる。1つ以上のセンサ104は、複数の画像等のセンサデータを捕捉することができる。
【0077】
プロセッサ108は、センサデータを利用して、対象物のサイズ、対象物の主体までの距離、対象物の速度、対象物の移動方向などの、移動する対象物(例えば、システムのユーザー等の主体に後ろから接近する、車両等の対象物)の特性および特徴を決定することができる。プロセッサ108は、センサデータを利用して、対象物の位置および対象物がとり得る軌道を決定することができる。例えば、プロセッサ108は、センサデータを利用して、第1時刻における主体に対する対象物の位置および軌道を決定することができる。第1時刻における主体に対する対象物の位置および軌道は、第2時刻において主体の閾値距離(例えば、5メートル)内で対象物が主体に対して移動している尤度が尤度閾値(例えば、80%)を超えることを示すことができる。第1時刻において、対象物は、主体の視野内にいない場合があり得る(若しくはいない)、または主体の視野の周辺部にいる場合があり得る(若しくはいる)。
【0078】
音作成装置112は、対象物の特性および特徴を、本明細書で開示される音刺激または音のキューに変換することができる。音刺激または音のキューは、対象物からのリアルな/自然な音(例えば、エンジン音)である必要はなく、その音を擬似再現する必要もない。いくつかの実施形態では、音刺激または音のキューを、移動する対象物からの音の本質をシミュレート又は増幅する非常に単純な人工音(例えば、急なピッチ変化を伴う単純なビープ音)にすることができる。例えば、音作成装置112は、第1時刻における主体に対する対象物の位置および軌道に基づいて、聴覚刺激を決定することができる。聴覚刺激の特徴は、主体の閾値距離内で主体に対して移動する対象物の聴覚的特徴に対応することができる。例えば、聴覚刺激は、ドップラーピッチシフトを擬似再現できる下降ピッチを有することができる。
【0079】
音発生装置116を、スピーカ又はイヤホン等の音デバイスにすることができる。音発生装置116は、決定された音刺激または音のキューを出力することができる。例えば、音発生装置116は、出力時刻において、主体に対して聴覚刺激を出力することができる。主体の最周辺部の視覚による知覚を、音発生装置112によって出力される音刺激または音のキューによって強化することができる。出力時刻または出力時刻の直後(例えば、0.0000001秒、0.000001秒、0.00001秒、0.0001秒、0.001秒、0.01秒、0.1秒、または1秒以内)の時刻において、主体の視野の周辺部で主体が対象物を視覚的に知覚する尤度が増加する。
【0080】
システム100又はシステム100の1つ以上の構成要素は、オートバイまたは自転車の乗り手のヘルメット(例えば、スマートヘルメット)、自動車またはレジャービークル等の車両の乗り手のヘルメット、航空機パイロットのヘルメット、車両のオーディオシステム(例えば、カーオーディオシステム)、および、歩行者または車椅子ユーザーのウェアラブルスピーカシステムに関連し、それらを含み、またはそれらに含まれることができる。
【0081】
<聴覚刺激の特徴に基づく視覚による運動知覚の強化>
(1)<デジタルミラーデバイス>
本明細書で開示される、聴覚提示または聴覚刺激に基づくデジタルミラーデバイスおよび任意の方法(またはシステム)は、最周辺部等の死角内にいる移動する対象物を、人間が視覚的に知覚することを助けることを目的とする。しかし、デジタルミラーデバイスは画像処理を利用するが、一方で、本明細書で開示される方法は聴覚提示を利用する。また、デジタルミラーデバイスは、人の注視方向がデバイス内の視覚画像に向かって移動することを必要とするが、一方で、本開示の方法はこのような注視方向を必要としない。なぜなら、本開示の方法は、中心窩ではなく最周辺部で人間が対象物を直接知覚することを可能にするからである。
【0082】
(2)<後方対象物警告システム>
本明細書で開示される、聴覚提示または聴覚刺激に基づく後方対象物警告システムおよび任意の方法(またはシステム)は、最周辺部等の死角内にいる移動する対象物を、人間が視覚的に知覚する助けとなることを目的とする。しかし、後方対象物警告システムは、聴覚警告および/または視覚警告を利用して、人間に対象物の方へ注視を向けさせるが、本明細書で開示される方法は、聴覚刺激を利用して、人間が自分の注視方向を変更せずに、対象物を視覚的に知覚することを可能にする。聴覚刺激は、本明細書で開示される特徴または特性(例えば、下降ピッチ)を有することができるが、一方、後方対象物警告システムによって発せられる単純な警告音では、最周辺部で視覚的に知覚することができない(視覚による検出を損なうことさえある)。
【0083】
(3)<音響・触覚方向インジケータ>
本明細書で開示される、聴覚提示または聴覚刺激に基づく音響・触覚方向インジケータおよび任意の方法(またはシステム)は、2つのモダリティを使用して、情報を提示する。音響・触覚方向インジケータは、聴覚刺激および触覚刺激に基づく。本明細書で開示される方法は、視覚刺激および聴覚刺激に基づく。音響・触覚方向インジケータは、主に聴覚刺激によってヘルメットに方向情報を提供することを目的とし、触覚刺激を補助として使用する。本明細書で開示される方法は、本明細書で開示される1つ以上の特徴または特性(例えば、下降ピッチ)を有する聴覚刺激を提示することによって、人間が移動する対象物を最周辺部で視覚的に知覚できるようにすることを目的とする。
【0084】
(4)<3次元音響技術またはステレオ技術>
本明細書で開示される、聴覚提示または聴覚刺激に基づく3次元音響技術やステレオ技術および任意の方法(またはシステム)は、音を利用して、人間が聴覚刺激によって外界をより明確に知覚することを可能にする。この技術は、現実の環境音を再現するために、よりリアルで超正確な音を作り出すことを目指している。しかし、本開示の方法は、本明細書で開示される1つ以上の要素または特徴を操作する一方で、単純な音しか必要としないが、これらの技術とは異なり、そのような高品質の音を作り出す必要はない。例えば、安価なヘッドホンを用いて、ピッチが10%減少する1000Hzの単純なモノラルビープ音と、ラウドネスの基本的なフェードイン効果およびフェードアウト効果により、遠周辺部および最周辺部における視覚による運動知覚を向上させることができる。
【0085】
<視覚による運動知覚の強化>
図2は、視覚による後ろからの運動の知覚を強化または向上する例示的な方法200を示すフロー図である。コンピューティング・システム又はコンピューティング・デバイスにおける1つ以上のディスクドライブ等のコンピュータ可読媒体に記憶される実行可能プログラム命令のセットで、方法200を実施し得る。例えば、図6に示され、以下でより詳細に説明されるコンピューティング・システム600は、実行可能プログラム命令のセットを実行して、方法200を実施することができる。方法200が開始されると、実行可能プログラム命令は、RAM等のメモリに読み込まれ、コンピューティング・システム600の1つ以上のプロセッサによって実行され得る。方法200は、図6に示されるコンピューティング・システム600に関して説明されるが、この説明は例示的なものにすぎず、限定することを意図するものではない。いくつかの実施形態では、複数のコンピューティング・システムによって、方法200又はその一部を、逐次的又は並列的に実行してもよい。
【0086】
いくつかの実施形態では、コンピューティング・システムが、ヘルメット又はウェアラブルデバイスに関連し、それを含み、またはそれに含まれる。例えば、コンピューティング・システムをヘルメット又はウェアラブルデバイスに取り付けることができる。例えば、コンピューティング・システムは、ヘルメット又はウェアラブルデバイスの一部であってもよい。
【0087】
方法200は、ブロック204で開始した後、ブロック208に進み、ここでコンピューティング・システムが、1つ以上のセンサによって捕捉されたセンサデータを受け取る。1つ以上のセンサは、画像捕捉デバイス、無線検出及び測距装置(レーダー)、光検出及び測距装置(ライダー)、音捕捉デバイス、またはそれらの組み合わせを含むことができる。センサデータは、複数の画像を含むことができる。コンピューティング・システムは、画像捕捉デバイスによって捕捉された複数の画像を受け取ることができる。
【0088】
いくつかの実施形態では、センサデータが対象物の位置、速度、および方向を含み、それらのデータは、対象物に関連する1つ以上の遠隔測定センサおよび位置センサによって捕捉される。1つ以上のセンサは、対象物に関連する1つ以上の遠隔測定センサおよび位置センサを含むことができる。対象物に関連する1つ以上の遠隔測定センサおよび位置センサは、対象物に関連する全地球測位システム(GPS)センサを含むことができる。例えば、第1車両のコンピューティング・システム200は、第2車両の1つ以上の遠隔測定センサおよび位置センサによって捕捉されたセンサデータを利用して、ブロック212(詳細は後述)で、第1時刻における第1車両に対する第2車両の位置および軌道を決定することができる。
【0089】
例えば、第1の人は、コンピューティング・システム200に関連し又はコンピューティング・システム200を備える第1車両を運転している。第2の人は、第1車両に後ろから接近する第2車両を運転している。第2車両は、別のコンピューティング・システム200に関連し又は別のコンピューティング・システム200を備える。第1車両は、1つ以上の遠隔測定センサおよび位置センサに関連し又はそれらを備えることができる。第2車両は、1つ以上の遠隔測定センサおよび位置センサに関連し又はそれらを備えることができる。第1車両は、第1車両の1つ以上の遠隔測定センサおよび位置センサによって捕捉されたセンサデータを、第2車両に直接的または間接的に送ることができる。第2車両は、第2車両の1つ以上の遠隔測定センサおよび位置センサによって捕捉されたセンサデータを、第1車両に直接的または間接的に送ることができる。例えば、第1車両のコンピューティング・システム200は、第2車両の1つ以上の遠隔測定センサおよび位置センサによって捕捉されたセンサデータを利用して、ブロック212(詳細は後述)で、第1時刻における第1車両に対する第2車両の位置および軌道を決定することができる。例えば、第2車両のコンピューティング・システム200は、第1車両の1つ以上の遠隔測定センサおよび位置センサによって捕捉されたセンサデータを利用して、ブロック212(詳細は後述)で、別の第1時刻における第2車両に対する第1車両の位置および軌道を決定することができる。
【0090】
いくつかの実施形態では、コンピューティング・システムが、1つ以上のセンサ又は1つ以上のセンサのうち1つ以上を備える。コンピューティング・システムは、1つ以上のセンサ又は1つ以上のセンサのうち1つ以上と(例えば、電気通信、有線通信、または無線通信で)関連することができる。いくつかの実施形態では、1つ以上のセンサ又は1つ以上のセンサのうち1つ以上が、センサシステム等の第2システムに関連する。コンピューティング・システムは、第2システムと(例えば、電気通信、有線通信、または無線通信で)関連することができる。コンピューティング・システムは、1つ以上のセンサ又は1つ以上のセンサのうち1つ以上によって捕捉されたセンサデータを、第2システムから受け取ることができる。いくつかの実施形態では、ヘルメット、カーオーディオシステム、または、ウェアラブルスピーカシステム若しくはウェアラブルデバイスは、1つ以上のセンサに関連し、それを含み、またはそれに含まれる。例えば、コンピューティング・システムは、ヘルメットに取り付けられることができ、1つ以上のセンサと電気的、有線、および/または無線通信することができる。例えば、1つ以上のセンサをヘルメット又はウェアラブルデバイスに取り付けることができる。
【0091】
方法200はブロック208からブロック212に進み、ここでコンピューティング・システムは、センサデータを利用して、主体(例えば、主体のそばを通過する対象物、または主体に衝突する対象物)の閾値距離内で、対象物が、主体(例えば、システムのユーザー)に対して移動していること、又は主体に対して移動している尤度が尤度閾値を超えることを判定する。コンピューティング・システムは、センサデータを利用して、第2時刻において主体の閾値距離で、対象物が、主体に対して移動していること、又は主体に対して移動している尤度が尤度閾値を超えることを判定できる。コンピューティング・システムは、センサデータを利用して、通過時刻において、対象物が、ユーザーのそばを通過していること、又はユーザーのそばを通過している尤度が尤度閾値を超えることを判定できる。
【0092】
いくつかの実施形態では、コンピューティング・システムが、センサデータを利用して、主体に対する対象物の位置および軌道を決定することができる。第1時刻における主体に対する対象物の位置および軌道は、第2時刻において、対象物が、主体のそばを通過し又は主体に衝突する尤度が高いことを示すことができる。第1時刻におけるユーザーに対する対象物の位置および軌道は、通過時刻において対象物がユーザーのそばを通過する尤度が尤度閾値を超えることを示す。
【0093】
コンピューティング・システムは、第1時刻における主体に対する対象物の位置および軌道に基づいて、第2時刻において主体の閾値距離内で対象物が主体に対して移動している尤度が尤度閾値を超えることを判定できる。コンピューティング・システムは、第1時刻におけるユーザーに対する対象物の位置および軌道に基づいて、通過時刻において対象物がユーザーのそばを通過する尤度が尤度閾値を超えることを判定できる。
【0094】
いくつかの実施形態では、コンピューティング・システムは、1つ以上の機械学習方法または機械学習モデルを利用して、(例えば、第2時刻において)主体の閾値距離内で、対象物が、主体に対して移動していること、又は主体に対して移動している尤度が尤度閾値を超えることを判定する。コンピューティング・システムは、1つ以上の機械学習方法または機械学習モデルを利用して、通過時刻において、対象物が、ユーザーのそばを通過していること、又はユーザーのそばを通過する尤度が尤度閾値を超えることを判定できる。コンピューティング・システムは、1つ以上の機械学習方法または機械学習モデルを利用して、主体に対する対象物の位置および軌道を決定することができる。
【0095】
例えば、尤度閾値を、少なくとも50%、60%、70%、80%、90%、95%、または99%にすることができる。例えば、閾値距離を、最大で0メートル、1メートル、2メートル、5メートル、または10メートルにすることができる。対象物は、例えば、主体から最大で1メートル、2メートル、5メートル、または10メートル以内で、主体のそばを通過することができる。
【0096】
対象物は、第1動力車両(例えば、自転車、オートバイ、自動車、またはトラック)であってもよい。主体は、第2動力車両の中にいてもよい。主体は、第2動力車両(例えば、オートバイ又は自転車)に乗っていてもよい。主体は歩いていてもよい。第1動力車両は、後ろから主体に接近してもよい。
【0097】
いくつかの実施形態では、コンピューティング・システムが、センサデータ、第1時刻におけるユーザーに対する対象物の位置および軌道、並びに/又は、通過時刻において対象物がユーザーのそばを通過していること若しくはユーザーのそばを通過する尤度が尤度閾値を超えることの表示を、第3システムに送ることができる。コンピューティング・システムは、第3システムに(例えば、電気通信、有線通信、又は無線通信で)関連することができる。例えば、コンピューティング・システムは、センサデータ、第1時刻におけるユーザーに対する対象物の位置および軌道、並びに/又は、通過時刻において対象物がユーザーのそばを通過していること若しくはユーザーのそばを通過する尤度が尤度閾値を超えることの表示を、車両のオーディオシステム又は制御システムに送ることができる。
【0098】
対象物は、第1時刻、第2時刻、および/または通過時刻において、主体の視野内にいなくてもよい(またはいない)。対象物は、第1時刻、第2時刻、および/または通過時刻において、主体の視野の(遠周辺部および/または最周辺部等の)周辺部にいてもよい(またはいる)。対象物は、第1時刻、第2時刻、および/または通過時刻において、主体の視野の遠周辺部にいてもよい(またはいる)。対象物は、第1時刻、第2時刻、および/または通過時刻において、主体の視野の最周辺部にいてもよい(またはいる)。例えば、ユーザーの視野の遠周辺部は、主体の鼻から離れてこめかみに向かう約60°~約110°を含むことができる。例えば、ユーザーの視野の遠周辺部は、主体の鼻から離れてこめかみに向かって、約50°、約55°、約60°、約65°、または約70°から、約100°、約105°、約110°、約115°、または約120°までを含むことができる。例えば、ユーザーの視野の最周辺部は、主体の鼻から離れてこめかみに向かう約90°~110°を含むことができる。例えば、ユーザーの視野の遠周辺部は、主体の鼻から離れてこめかみに向かって約80°、約85°、約90°、約95°、または約100°から、約100°、約105°、約110°、約115°、または約120°までを含むことができる。
【0099】
いくつかの実施形態では、第1時刻は、センサデータ、複数の画像、またはそれらの一部が捕捉された時刻である。第1時刻を、センサデータ、または複数の画像、またはその一部が捕捉された後の時刻にすることができる。第1時刻を、センサデータ、または複数の画像、またはその一部が取り込まれた直後(例えば、0.0000001秒、0.000001秒、0.00001秒、0.0001秒、0.001秒、0.01秒、0.1秒、または1秒以内)の時刻にすることができる。
【0100】
方法200はブロック212からブロック216に進み、ここで、コンピューティング・システムは、主体の閾値距離内で主体に対して移動する対象物の聴覚的特徴に対応する特徴を有する聴覚刺激を決定する。コンピューティング・システムは、第1時刻における主体に対する対象物の位置および軌道に基づいて、聴覚刺激を決定することができる。聴覚刺激の特徴は、主体の閾値距離内で主体に対して移動する対象物の聴覚的特徴に対応することができる。コンピューティング・システムは、下降ピッチを含むグループから選択される特徴を有する聴覚刺激を決定することができる。コンピューティング・システムは、第1時刻におけるユーザーに対する対象物の位置および軌道に基づいて聴覚刺激を出力するために、聴覚刺激および出力時刻を決定することができる。出力時刻を通過時刻にすることができ、または、出力時刻を第1時刻と通過時刻の中間にすることができる。コンピューティング・システムは、第1時刻におけるユーザーに対する対象物の位置および軌道に基づいて、出力する必要がある聴覚刺激を決定することができる。聴覚刺激の特徴を、下降ピッチを含むグループから選択することができる。聴覚刺激を、あらかじめ選択することができる。聴覚刺激の特徴(例えば、下降ピッチ)を、あらかじめ選択することができる。
【0101】
いくつかの実施形態では、出力時刻が第2時刻(主体の閾値距離内で対象物が主体に対して移動している尤度が尤度閾値を超えることが判定される時刻)または通過時刻(対象物がユーザーのそばを通過する尤度が尤度閾値を超える時刻)である。出力時刻を、第2時刻または通過時刻の直前(例えば、0.0000001秒、0.000001秒、0.00001秒、0.0001秒、0.001秒、0.01秒、0.1秒、または1秒)にすることができる。出力時刻を、第1時刻と第2時刻の中間、または第1時刻と通過時刻の中間にすることができる。
【0102】
いくつかの実施形態では、聴覚刺激の特徴が下降ピッチである。例えば、聴覚刺激を、ピッチが10%または100Hz、減少または下降する1000Hzのビープ音にすることができる。例えば、ピッチは、聴覚刺激の周波数の1%、5%、10%、15%、20%、またはそれ以上、減少または下降することができる。例えば、ピッチは、10Hz、50Hz、100Hz、150Hz、200Hz、またはそれ以上、減少または下降することができる。聴覚刺激のピッチの減少または下降は、0.0000001秒、0.000001秒、0.00001秒、0.0001秒、0.001秒、0.01秒、0.1秒、または1秒以内に起こることができる。聴覚刺激は、フェードインおよびフェードアウト効果を有することができる。いくつかの実施形態では、聴覚刺激が、狭い範囲の周波数(例えば、1Hz、10Hz、または100Hz)または純音(例えば、250Hz、500Hz、750Hz、800Hz、900Hz、1000Hz、1100Hz、または1200Hz)を含む。いくつかの実施形態では、聴覚刺激が、音楽、音声、またはそれらの組み合わせを含む。
【0103】
いくつかの実施形態では、聴覚刺激の特徴が、下降ピッチ、ラウドネスの増加、より多数の周波数、より高い周波数、角度差の規則性、角度差の特異性、音響陰影、より大きな角度サイズ、主体(またはユーザー)の耳に対するラウドネスの非対称性、約90°の頭部伝達関数、主体(またはユーザー)の水平線より下の垂直位置、またはそれらの組み合わせを含むグループから選択される。いくつかの実施形態では、聴覚刺激の特徴の変化が、通過時刻または通過時刻付近で、最も速くまたは最も高い。
【0104】
方法200はブロック216からブロック220に進み、ここで、コンピューティング・システムは、出力時刻において主体に対して聴覚刺激を出力させる。コンピューティング・システムは、1つ以上の音出力デバイスに、出力時刻において聴覚刺激を出力させることができる。コンピューティング・システムは、1つ以上の音出力デバイスに関連し、それを含み、またはそれに含まれることができる。別のシステムは、ヘルメット、カーオーディオシステム、又は、ウェアラブルスピーカシステム若しくはウェアラブルデバイス等の1つ以上の音出力デバイスを備えることができる。コンピューティング・システムは、聴覚刺激および/または出力時刻を、他のシステムに送ることができる。コンピューティング・システムは、他のシステムの1つ以上の音出力デバイスに、出力時刻において聴覚刺激を出力させることができる。
【0105】
聴覚刺激は、出力時刻または出力直後の時刻において、主体の視野の周辺部(例えば、遠周辺部および/または最周辺部)で、主体が対象物を視覚的に知覚する尤度を増加させることができる。聴覚刺激は、出力時刻または出力時刻の直後の時刻において、ユーザーの視野の遠周辺部および/または最周辺部で、ユーザーが対象物を視覚的に知覚する尤度を増加させることができる。例えば、尤度の増加を、少なくとも10%、20%、30%、40%、または50%とすることができる。例えば、出力時刻の直後の時刻を、出力時刻の0.0000001秒、0.000001秒、0.00001秒、0.0001秒、0.001秒、0.01秒、0.1秒、または1秒以内とすることができる。
【0106】
<左右の音出力デバイス>
いくつかの実施形態では、第1時刻における主体に対する対象物の位置および軌道は、第2時刻(または通過時刻)において、対象物が、主体の左側若しくは右側で、主体のそばを通過し又は主体に衝突する可能性が高いことを示す。コンピューティング・システムは、出力時刻において、主体の左耳または右耳のそれぞれに対して聴覚刺激を出力させることができる。
【0107】
いくつかの実施形態では、1つ以上の音出力デバイスが、主体の左耳および/または右耳に聴覚刺激を出力する左側音出力デバイスおよび右側音出力デバイスを備える。オーバーイヤーヘッドセット等のヘッドセットは、主体の左耳および/または右耳のそれぞれに聴覚刺激を出力する左スピーカおよび右スピーカを備えることができる。カーオーディオシステムは、左スピーカおよび右スピーカを備えることができる。カーオーディオシステムの左スピーカが聴覚刺激を出力する場合、主体は両耳で聴覚刺激を聞くことができるが、最初に主体は左耳で聴覚刺激を聞くことができる。
【0108】
第1時刻における主体に対する対象物の位置および軌道は、通過時刻または第2時刻(主体の閾値距離内で対象物が主体に対して移動している尤度が尤度閾値を超えることが判定される時刻)において、対象物が、ユーザーの左側で、主体のそばを通過し又は主体に衝突する可能性が高いことを示すことができる。コンピューティング・システムは、左側音出力デバイスに、出力時刻においてユーザーの左耳に対して聴覚刺激を出力させることができる。主体に対する対象物の位置および軌道は、通過時刻または第2時刻において、対象物がユーザーの右側で、主体のそばを通過し又は主体に衝突する可能性が高いことを示すことができる。コンピューティング・システムは、右側音出力デバイスに、出力時刻においてユーザーの右耳に対して聴覚刺激を出力させることができる。
【0109】
方法200はブロック224で終了する。
【0110】
<ユーザーの安全性を向上させるシステム>
<スピーカの構成>
図3A~3Dは、例えば、遠周辺部および最周辺部における視覚による運動知覚を強化することで、ユーザーの安全性を向上させるシステムの音出力デバイス(例えば、スマートフォンヘルメット又はウェアラブルデバイスのスピーカ)の、非限定的な例示的配置を示す概略図である。図3Aは、人の後方投影領域300、すなわち人の後ろを示す。人(例えば、車両のドライバー又はライダー)の周りを移動するほとんどの対象物にとって、音は、人の知覚水平線より下から不均衡に来る。人の知覚水平線は、人の目や耳の高さにある。理論に束縛されるものではないが、移動する対象物は地上を自走し、そのため地面と相互に作用してかなりのノイズを発するので、人の周りを移動する対象物の音は、人の水平線より下から来る。さらに、自動車(および車両一般)からのエンジンノイズも、人の目の高さより下にある傾向がある。人からかなり後ろの道路にいる(同じ方向に進む)自動車は、水平線の中心点(点線が304c0と交差する)にいる傾向がある。自動車が人(またはドライビング中若しくはライディング中など人が操作している、あるいは人が内部にいる車両)に接近するにつれて、これらの自動車は、人の投影領域の下側及び外側を移動する傾向がある。人から2、3車線隔てて通過する自動車は、下側よりも外側を移動する(左端の矢印または軌道308を参照)。1車線隔てて通過する自動車では、下側での移動がより大きく、外側での移動がより小さい(約7時の矢印または軌道312を参照)。人の後端部への衝突コース上にある対象物は、ほとんど真下を移動し、外側ではほとんど移動しない(2つの下矢印または軌道316aと316bの間の領域を参照)。
【0111】
図3Aで人の後ろの投影領域内にいる対象物の特徴的経路が与えられれば、ヘルメット内またはウェアラブルデバイス(例えば、ネックデバイス)にスピーカを配置することによって、課題を提示することができる。スピーカが人の頭部の周りに一定の高さで配置される場合、スピーカは、運転者の後ろで同じ方向に移動する自動車の運動と異なり、図3Bの左側にある点線状の水平線320のように、より多く追跡するであろう。
【0112】
いくつかの実施形態では、図3Cに示すように、ヘルメットが、後方視野に、スピーカ324、328a~328h、332a~332hの2次元アレイを装備する。いくつかの実施形態では、ヘルメットが、後方視野に、スピーカ324、スピーカ328a~328hのうち1つ以上、および/またはスピーカ332a~332hのうち1つ以上を備える、スピーカの2次元アレイを装備する。いくつかの実施形態では、ヘルメットが、スピーカ324、328a~328h、332a~332hの2次元アレイ、及び1つ以上のスピーカを、放射状の線のそれぞれに装備する。図3Aを参照して説明した理由により、人の後ろにいる自動車のあらゆる位置に対して、その位置に対応する後方投影領域上に、固有のスポットが存在する。したがって、任意の特定のスピーカを作動させれば、人の後ろの道路にいる自動車の固有の3次元位置を、その人に一意的に合図(または示す)することができる。
【0113】
単一の輪郭線または一列のスピーカだけを含むネックデバイス(またはウェアラブルデバイス)の場合、デバイスは、図3Dに示される「1車線隔てて後ろから通過する車」の曲線またはパターン340に従って配置されるスピーカ332a、328a、324、328b、332bを備えることができる。デバイスは、デバイス(例えば、ウェアリングデバイス)の使用者の後頭部に向かってデバイスが移動するにつれて上昇することができ、またはそれに応じてデバイスから上に到達するスピーカを有することができる。ヘルメット(またはウェアラブルデバイス)が一列のスピーカを含む場合、スピーカを、直線に配置するのではなく、ヘルメットの背面にある「1車線隔てて後ろから通過する車」の曲線またはパターン336に従って配置することができる。このように配置される一列のスピーカ332a、328a、324、328b、332bを利用して、典型的な通過する車を追跡することができる。自動車がヘルメットを着用している人と後ろから衝突する場合、同じ離心率または異なる離心率を有する2つ以上のスピーカ332a、328a、324、328b、332bを作動させることができる。例えば、一組のスピーカ332a、332bを作動させることができる。別の例として、一組のスピーカ328a、328bを作動させることができる。作動する2つ以上のスピーカ332a、328a、324、328b、332bは、同じ離心率または異なる離心率を有することができる。作動する2つ以上のスピーカ332a、328a、324、328b、332bは、対応する時刻に、同じラウドネス又は異なるラウドネスで聴覚刺激を出力することができる。いくつかの実施形態では、自動車がヘルメットを着用している人と後ろから衝突する場合、スピーカ332a、328a、324、328b、332bのうち1つを作動させることができる。
【0114】
<スピーカの作動>
図4A~4Fは、例えば遠周辺部および最周辺部における視覚による運動知覚を強化することによって、ユーザーの安全性を向上させるシステムの音出力デバイス(例えば、スマートヘルメット又はウェアラブルデバイスのスピーカ)の、非限定的な例示的作動を示す概略図である。
【0115】
図4Aは、人の後方投影領域400、すなわち人の後ろを示す。(同一方向に進む)人の真後ろの道路にいる自動車は、投影領域内の水平線の中心点(0度404)にいる傾向がある。自動車が人(またはドライビング中若しくはライディング中など人が操作している、あるいは人が内部にいる車両)に接近するにつれて、自動車は、投影領域内で下側を移動し、また人の投影領域内で外側を移動する傾向がある。例えば、自動車が遠くから人に接近するにつれて、自動車は、人の投影領域内で0度から45度(45度の輪郭線404c1で表される)まで移動することがある。次いで、自動車は、人の投影領域内で45度から90度(90度の輪郭線404c2で表される)に移動することがあり、自動車は、自動車が実際に人に近づいている(例えば、自動車が人の真後ろにいる、または、自動車が人のそばを通過している場合に自動車が人のすぐ隣にいる)場合、人の最外周にいることがある。人から数車線隔てて通過する自動車は、下側よりも外側を移動する(例としては、ラインまたは軌道408を参照)。1車線隔てて通過する自動車は、下側での移動がより大きく、外側での移動がより小さいことになる(例としては、ラインまたは軌道412を参照)。人の後端部までの衝突コース上にある対象物は、ほとんど真下を移動し、外側ではほとんど移動しない(例としては、ラインまたは軌道416を参照)。
【0116】
図4B1および4B2を参照すると、対象物(例えば、自動車)が一定の距離(例えば、50m)で後ろから来る場合、音を生成し始めることができる。いくつかの実施形態では、生成される音が、1つ又は3つのトーン、すなわち大型の対象物(例えばトラック)に対して低いトーン、中型の対象物(例えば自動車)に対して中間のトーン、そして小型の対象物(例えばオートバイ)に対して高いトーンを有することができる。いくつかの実施形態では、生成される音が、1つ又は3つのトーン、すなわち小型の対象物(例えば、オートバイ)に対して低いトーン、中型の対象物(例えば、自動車)に対して中間のトーン、そして大型の対象物(例えば、トラック)に対して高いトーンを有することができる。各トーンは、狭い範囲の周波数または純音(例えば、250Hz、500Hz、または1000Hz)を有することができる。
【0117】
図4Cを参照すると、対象物が、例えば50メートルの距離で後ろから来る場合、スピーカ0は、小さなラウドネスで単一のトーンを生成し始めることができる。トーンは対象物の大きさを反映することができる。すなわち、大型トラックに対して250Hz、自動車に対して500Hz、そしてオートバイに対して1000Hzである。トーンを、対象物の速度によって調整することができる。すなわち、より高速に対してより高いトーン、より低速に対してより低いトーンである。例えば、高速のオートバイに対して1050Hzの単一のトーンを生成することができる。別の例として、低速のオートバイに対して950Hzの単一のトーンを生成することができる。
【0118】
図4Dを参照すると、対象物が、例えば人から25メートルの距離後ろにいる場合、1つ以上のスピーカ1x(例えば、スピーカ1a、1b、又は1c)は、中程度のラウドネスで複数のトーンを生成し始めることができる。図4Cを参照して説明したように、トーンを、対象物のサイズ(および、場合によっては対象物の速度によって調整される)に基づいて生成されるトーンに加え、狭い範囲の周波数(例えば、±1%、±2%、±5%、または±10%、または±10Hz、±20Hz、±50Hz、または±100Hz)に基づいて生成されるトーンとすることができる。例えば、対象物が人の50メートル後ろにいるときに生成されるトーンが250Hzである場合、トラックが人の25メートル後ろにいるときに生成される複数のトーンを、250Hz±5%とすることができる。対象物の軌道に基づいて、別のスピーカを作動させることができる。軌道が異なれば、1つ以上の異なるスピーカを作動させることができる。例えば、衝突コースの軌道で対象物が後ろから接近している場合、スピーカ1aを作動させることができる。危険なほど近い軌道で対象物が後ろから接近している場合、スピーカ1bを作動させることができる。人が曲がっているときに、危険な軌道で対象物が後ろから接近している場合、スピーカ1cを作動させることができる。いくつかの実施形態では、人がそれぞれ右または左に曲がっているときに、危険な軌道で対象物が後ろから接近している場合、スピーカ1c’又は1cを作動させることができる。
【0119】
図4Eを参照すると、対象物が、例えば人から5メートル後ろの距離にいる場合、スピーカ1xに加えて、1つ以上のスピーカ2x(例えば、スピーカ2a、2b、又は2c)は、高いラウドネスで複数のトーンを生成し始めることができる。図4Cを参照して説明したように、トーンを、対象物のサイズ(および、場合によっては対象物の速度によって調整される)に基づいて生成されるトーンに加え、狭い範囲の周波数に基づいて生成されるトーンとすることができる。例えば、対象物が人の50メートル後ろにいるときに生成されるトーンが250Hzである場合、トラックが人の25メートル後ろにいるときに生成される複数のトーンを250Hz±5%とすることができる。対象物の軌道に基づいて、異なるスピーカを作動させることができる。軌道が異なれば、作動させるスピーカも異なる。例えば、衝突コースの軌道で対象物が後ろから接近している場合、スピーカ1aおよび2aを作動させることができる。危険なほど近い軌道で対象物が後ろから接近している場合、スピーカ1bおよび2bを作動させることができる。人が曲がっているときに危険な軌道で対象物が後ろから接近している場合、スピーカ1cおよび2cを作動させることができる。対象物が人に近い場合、作動する2つ(またはそれ以上)のスピーカは、角度サイズがより大きいサイズの音源、すなわち対象物を擬似再現することができる。いくつかの実施形態では、例えば5メートルの距離で、人がそれぞれ右または左に曲がっているときに危険である軌道に対象物が後ろから接近している場合に、スピーカ1c’と2c’又は1cと2cを作動させることができる。
【0120】
図4Fを参照すると、曲がっているときに危険なほど近い軌道または危険な軌道で(例えば、約90度から)人の最周辺部に対象物がいる場合、スピーカ1xおよび2x(例えば、危険なほど近い軌道のためのスピーカ1bおよび2b)は、本明細書で説明されるように、急なピッチ下降を生成し、最周辺部における運動検出のクロスモーダルを強化することができる。
【0121】
<聴覚刺激>
人に接近する車両の挙動に応じた刺激の変化の仕方には、規則性がある。以下にいくつかの規則性を示す。
【0122】
A. <下部後方投影領域と自動車位置との間の1対1写像>
運転者の後ろにいて同じ方向に移動する自動車は、自動車がどれだけ後ろにいるかに応じて、及び自動車が何車線向こうにいるかに応じて、図3Aの輪郭線の1つの上に位置することができる。後方投影球の下半分における位置と、運転者の後ろの道路にいる自動車の全てのあり得る3次元(3D)位置の間には、1対1写像の傾向がある。運転者の後ろの道路にいる自動車のどんな3次元位置に対しても、その3次元位置に対応するスピーカを作動させることができる。対応するスピーカがなくても、スピーカの出力を補間することで、中間の3次元位置を知らせる助けとなることができる。例えば、図3Dを参照すると、スピーカ328aおよび328bを(例えば、異なるラウドネスで)作動させて、後方投影領域内のスピーカ間の位置に対応する自動車の3次元位置をシミュレートすることができる。別の例として、図3Dのスピーカ328a及び332aを作動させて、後方投影領域内の2つのスピーカ間の位置に対応する自動車の3次元位置をシミュレートすることができる。
【0123】
B. <ドップラーによる自動車のピッチ>
人の後ろの車のピッチは、その相対速度に依存する。自動車が人と同じ速度で移動している場合、自動車は、高くも低くもない、あるベースラインピッチを有することができる。自動車が人に対して移動している速度がより遅いほど(例えば、自動車が人により速く接近するほど)、そのピッチはベースラインよりも高くなることができる。自動車が人に対して移動している速度がより遅いほど(例えば、自動車が追い越されている場合)、そのピッチはベースラインよりも低くなることができる。自動車が追跡されている場合、自動車に対応して人に対して生成され及び出力される聴覚音または聴覚刺激のピッチは、相対速度に応じて変化することができる(いくつかの実施形態では、ある程度誇張される)。
【0124】
C. <自動車のラウドネス>
人の後ろの自動車に対応して作動するスピーカのラウドネスは、自動車の実際の直線距離が与えられれば、自動車の実際のラウドネスに対応することができる。距離は、下部後方投影球における自動車の位置から直接コンピュータで計算することができる。自動車がそれに応じて物理的により近い場合、投影球に沿ってさらに外側で作動するスピーカよりも、投影球(またはヘルメット)上の水平線により近いスピーカの方が、静かになることができる。
【0125】
D. <触覚刺激の利用>
触覚刺激は、生態学的に適切な2つの役割を有することができ、以下の2つの要因に応じて、その両方が同時に関係する場合がある。
【0126】
a. 人の後ろの自動車が近くにいる場合、自動車からの音は、実際に触覚刺激を誘発するのに十分な大きさである可能性がある。ヘルメット又はネックレスの1つ以上の刺激因子(例えば、1つ以上のスピーカ)からの触覚の強度は、人と自動車の間の距離の逆二乗で変化することができる。また、近くにいる場合、触覚刺激は、後方投影球上の適当な位置を中心にピークを有し、刺激因子(例えば、スピーカ)のより広域にわたることができる。
【0127】
b. 触覚刺激は、人に接近する自動車によって引き起こされる風で生じることもある。ヘルメット又はネックレスの1つ以上のスピーカによって生成される聴覚刺激からの触覚刺激は、ベースラインを上回るドップラーシフトに比例することができる。
【0128】
<ユーザーの安全性の向上>
図5は、ユーザーの安全性を向上させる例示的な方法500を示すフロー図である。方法500は、コンピューティング・システム又はコンピューティング・デバイスの、1つ以上のディスクドライブ等のコンピュータ可読媒体に記憶される実行可能プログラム命令のセットで実施することができる。例えば、図6に示され、以下でより詳細に説明されるコンピューティング・システム600は、実行可能プログラム命令のセットを実行して、方法500を実施することができる。方法500が開始されると、実行可能プログラム命令が、RAMなどのメモリに読み込まれ、コンピューティング・システム600の1つ以上のプロセッサによって実行されることができる。方法500は、図6に示されるコンピューティング・システム600に関して説明されるが、この説明は例示的なものにすぎず、限定することを意図するものではない。いくつかの実施形態では、方法200又はその一部を、複数のコンピューティング・システムによって、逐次的又は並列的に実行してもよい。
【0129】
コンピューティング・システムは、1つ以上のセンサを備え、またはそれに関連する(例えば、電気通信、有線通信、または無線通信等で通信する)ことができる。1つ以上のセンサはヘルメットに関連することができる。1つ以上のセンサは、異なる種類のセンサデータを捕捉することができる。
【0130】
コンピューティング・システムは、(1a)ユーザーの水平線からの音、(1b)ユーザーの水平線より下からの音、(2a)コンピューティング・システムのユーザーの左側からの音、(2b)コンピューティング・システムのユーザーの真後ろからの音、および(2c)コンピューティング・システムのユーザーの右側からの音を模倣する聴覚刺激を出力するために、複数の音出力デバイス(例えば、図3Dを参照して説明したスピーカ332a、328a、324、328b、332、または図4B2を参照して説明したスピーカ0、1c’、1b’、1a~1c、2b’、2a~2c)を備えることができ、またはそれに関連することができる。システムは、ヘルメット又はウェアラブルデバイス(拡張現実デバイスまたは複合現実デバイスなど)に関連することができ、それを含むことができ、又はそれに含まれることができる。複数の音出力デバイスは、ヘルメット若しくはウェアラブルデバイス上、その中、またはその内部にあることができる。複数の音出力デバイスを、(1a)ユーザーの水平線からの音、(1b)ユーザーの水平線より下からの音、(2a)ユーザーの左側からの音、(2b)ユーザーの真後ろからの音、および(2c)ユーザーの右側からの音を模倣する聴覚刺激を出力するために配置することができる。図3C、3D、4B1及び4B2、並びに付随する説明は、(1a)ユーザーの水平線からの音、(1b)ユーザーの水平線より下からの音、(2a)ユーザーの左側からの音、(2b)ユーザーの真後ろからの音、および(2c)ユーザーの右側からの音を模倣する複数の音出力デバイスの配置の、非限定的な例示的概略図を示す。
【0131】
いくつかの実施形態では、複数の音出力デバイスが、(i)水平線レベル音出力デバイスは、ヘルメット又はウェアラブルデバイスを着用している場合に、ユーザーの水平線の中心点からの音を模倣する聴覚刺激を出力するための、水平線レベル音出力デバイス(例えば、図3Dのスピーカ324、又は図4B1および4B2のスピーカ0)と、及び(ii)ヘルメット若しくはウェアラブルデバイスの第1輪郭線(例えば、45度の輪郭線)上の、またはヘルメット若しくはウェアラブルデバイスの、第1水平線左下部音出力デバイスおよび第1水平線右下部音出力デバイス(例えば、図3Dのスピーカ328bと328a、又は図4B2のスピーカ1bと1b’)であって、ヘルメット又はウェアラブルデバイスを着用している場合に、ユーザーの水平線より下側である第1垂直レベルからの音を模倣する聴覚刺激を、ユーザーの左側および右側のそれぞれに出力するための、該第1水平線左下部音出力デバイスおよび第1水平線右下部音出力デバイスと、を備える。複数の音出力デバイスは、第1輪郭線の水平線中心下部音出力デバイス(例えば、図4B2のスピーカ1a)を備えることができる。水平線中心下部音出力デバイスは、ユーザーの水平線より下側および中心点からの音を模倣する聴覚刺激を出力する。
【0132】
いくつかの実施形態では、複数の音出力デバイスが、(iii)ヘルメット又はウェアラブルデバイスを着用している場合に、ユーザーの水平線より下である第2垂直レベルからの音を模倣する聴覚刺激をユーザーの左側および右側のそれぞれに出力するため、ヘルメット若しくはウェアラブルデバイスの第2輪郭線(例えば、90度の輪郭線)上の、または、ヘルメット若しくはウェアラブルデバイスの、第1水平線左下部音出力デバイスおよび第1水平線右下部音出力デバイス(例えば、図3Dのスピーカ332b、332a、または図4B2のスピーカ2bおよび2b’)を備える。第2垂直レベルは、第1垂直レベルより下側にあることができる。第2輪郭線は、第1輪郭線よりも下側にあることができる。
【0133】
いくつかの実施形態では、複数の音出力デバイスが、(ii)ヘルメット又はウェアラブルデバイスを着用している場合に、ユーザーの水平線より下側である第1垂直レベルからの音を模倣する聴覚刺激を出力するため、ヘルメット若しくはウェアラブルデバイスの第1輪郭線上の、または、ヘルメット若しくはウェアラブルデバイスの、第2水平線左下部音出力デバイスおよび第2水平線右下部音出力デバイス(例えば、図4B2のスピーカ1cおよび1c’)をそれぞれ備える。第2水平線左下部音出力デバイスによって出力される聴覚刺激で模倣される音は、第1輪郭線の第1水平線左下部音出力デバイスによって出力される聴覚刺激で模倣される音の左側にあることができる。第2水平線右下部音出力デバイスによって出力される聴覚刺激で模倣される音は、第1輪郭線の第1水平線右下部音出力デバイスによって出力される聴覚刺激で模倣される音の右側にあることができる。第2水平線左下部音出力デバイスは、第1輪郭線の第1水平線左下部音出力デバイスの左側にあることができる。第2水平線右下部音出力デバイスは、第1輪郭線の第1水平線右下部音出力デバイスの右側にあることができる。
【0134】
方法500がブロック504で開始した後、方法500はブロック508に進み、ここで、コンピューティング・システム(例えば、図6に示されるコンピューティング・システム600)が、1つ以上のセンサによって捕捉された第1センサデータを受け取る。いくつかの実施形態では、1つ以上のセンサが、画像捕捉デバイス、無線検出及び測距装置(レーダー)、光検出及び測距装置(ライダー)、音捕捉デバイス、又はそれらの組合せを含む。
【0135】
方法500はブロック508からブロック512に進み、ここで、コンピューティング・システムは、第1センサデータ(例えば、画像データ、レーダーデータ、ライダーデータ、音入力、遠隔測定データ、および位置データ)を利用して、第1時刻におけるユーザーに対する対象物の第1位置を決定する。第1時刻におけるユーザーに対する対象物の第1位置は、0度における水平線の中心点等の、ユーザーの後方投影領域内の位置に対応することができる。コンピューティング・システムは、1つ以上の機械学習方法または機械学習モデルを利用して、第1時刻におけるユーザーに対する対象物の第1位置を決定することができる。ユーザーに対する対象物の第1位置は、ユーザーの第1閾値距離内にあることができる。例えば、第1閾値距離を、1メートル、2メートル、5メートル、10メートル、20メートル、または100メートルとすることができる。例えば、対象物は、ユーザーの50メートル後ろにいることができる。いくつかの実施形態では、対象物が第1動力車両である。いくつかの実施形態では、ユーザーが、第2動力車両の中にいて、又は第2動力車両に乗っている。
【0136】
方法500はブロック512からブロック516に進み、ここで、コンピューティング・システムは、第1時刻におけるユーザーに対する対象物の第1位置を利用して、1つ以上の第1聴覚刺激と、1つ以上の第1聴覚刺激を出力する複数の音出力デバイスのうち対応する1つ以上の第1音出力デバイスと、を決定する。第1聴覚刺激の特徴は、対象物の特性に関係することができる。第1聴覚刺激の特徴は、対象物の少なくとも1つの特性に関係することができる。
【0137】
いくつかの実施形態では、1つ以上の第1聴覚刺激、および対応する1つ以上の第1音出力デバイスが、2つ以上の第1聴覚刺激、及び対応する2つ以上の第1音出力デバイスを備える。対応する第1音出力デバイスによって出力される2つ以上の第1聴覚刺激の組み合わせが、複数の音出力デバイスのいずれも個別に模倣することができない、第1時刻においてユーザーに対して第1位置で移動する対象物の音を模倣することができる。例えば、図3Dのスピーカ328a及び328bを(例えば、異なるラウドネスで)作動させて、後方投影領域内にあるスピーカの間の位置に対応する、自動車の3次元位置をシミュレートすることができる。別の実施例として、図3Dのスピーカ328a及び332aを作動させて、後方投影領域内にある2つのスピーカの間の位置に対応する、自動車の3次元位置をシミュレートすることができる。
【0138】
いくつかの実施形態では、1つ以上の第1聴覚刺激が、狭い範囲の周波数(例えば、1Hz、10Hz、または100Hz)または純音(例えば、250Hz、500Hz、750Hz、800Hz、900Hz、1000Hz、1100Hz、または1200Hz)を含む。いくつかの実施形態では、1つ以上の第1聴覚刺激が、音楽、非音楽、音声、非音声、またはそれらの組合せを含む。
【0139】
いくつかの実施形態では、第1聴覚刺激の特徴が、第1聴覚刺激のピッチである。第1聴覚刺激の特徴は、対象物の大きさ等の対象物の特性に関係することができる。第1聴覚刺激のピッチは、対象物のサイズと正または負に相関することができる。いくつかの実施形態では、第1聴覚刺激の特徴が、第1聴覚刺激のラウドネスである。第1聴覚刺激の特徴は、対象物の速度等の対象物の特性(例えば、第1時刻における対象物の特性)に関係することができる。第1聴覚刺激のラウドネスは、対象物の速度と正または負に相関することができる。いくつかの実施形態では、第1聴覚刺激の特徴が、第1聴覚刺激のピッチである。第1聴覚刺激の特徴は、対象物の大きさ及び速度等の対象物の特性に関係することができる。第1聴覚刺激のピッチは、対象物のサイズと正または負に相関することができる。第1聴覚刺激のピッチは、対象物の速度と正または負に相関することができる。
【0140】
方法500はブロック516からブロック520に進み、ここで、コンピューティング・システムは、1つ以上の第1音出力デバイスのそれぞれに、1つ以上の第1聴覚刺激のうち、対応する第1聴覚刺激を出力させる。例として、対象物が、例えばユーザーから50メートルの距離で後ろから来る場合、図4Cを参照して説明したように、スピーカ0は、小さいラウドネスで単一のトーンを生成し始める。
【0141】
<対象物が近い>
いくつかの実施形態では、コンピューティング・システムが、1つ以上のセンサによって捕捉された第2センサデータを受け取ることができる。コンピューティング・システムは、第2センサデータを利用して、第2時刻におけるユーザーに対する対象物の第2位置を決定することができる。第2時刻におけるユーザーに対する対象物の第2位置は、45度の輪郭線上の位置等の、ユーザーの後方投影領域内の位置に対応することができる。ユーザーに対する対象物の第2位置は、ユーザーの第2閾値距離内にあることができる。例えば、第2閾値距離を、1メートル、2メートル、5メートル、10メートル、20メートル、又は100メートルとすることができる。第2閾値距離を、第1閾値距離よりも短く(または長く、または同じに)することができる。コンピューティング・システムは、第2時刻におけるユーザーに対する対象物の第2位置を利用して、1つ以上の第2聴覚刺激と、1つ以上の第2聴覚刺激を出力する複数の出力デバイスのうち対応する1つ以上の第2音出力デバイスと、を決定することができる。コンピューティング・システムは、1つ以上の第2音出力デバイスのそれぞれに、1つ以上の第2聴覚刺激のうち、対応する第2聴覚刺激を出力させることができる。例として、対象物が、例えばユーザーから25メートルの距離で後ろから来る場合、図4Dを参照して説明したスピーカ1a、1b、及び1cのうち1つは、自動車の軌道に応じて、中程度のラウドネスで複数のトーンを生成し始めることができる。
【0142】
第2聴覚刺激の特徴は、対象物の特性(例えば、第2時刻における対象物の特性)に関係することができる。第1聴覚刺激の特徴と第2聴覚刺激の特徴の差異は、第2時刻におけるユーザーに対する対象物の第2位置に関係することができる。第1聴覚刺激の特徴と第2聴覚刺激の特徴の差異は、第1時刻におけるユーザーに対する対象物の第1位置と、第2時刻におけるユーザーに対する対象物の第2位置と、の差異に関係することができる。第1聴覚刺激の特徴と第2聴覚刺激の特徴の差異は、第1時刻におけるユーザーに対する対象物の第1位置と、第2時刻におけるユーザーに対する対象物の第2位置と、の差異と正または負に相関することができる。
【0143】
いくつかの実施形態では、第1聴覚刺激の特徴と第2聴覚刺激の特徴の差異は、より多数または少数の周波数である。例えば、第1時刻よりも第2時刻において対象物がユーザーに近い(または遠い)場合、第2聴覚刺激の周波数の数をより多くし、又はその周波数帯域をより広くすることができる。別の例として、第2時刻よりも第1時刻において対象物がユーザーに近い(または遠い)場合、第1聴覚刺激の周波数をより多数にし、又はその周波数帯域をより広くすることができる。いくつかの実施形態では、第1聴覚刺激の特徴に対する第2聴覚刺激の特徴の差異が、より高いピッチ又はより低いピッチである。例えば、第1時刻よりも第2時刻において対象物がユーザーに近い(または遠い)場合、第2聴覚刺激のピッチを、第1聴覚刺激と比較してより高くすることができる。別の例として、第2時刻よりも第1時刻において対象物がユーザーに近い(または遠い)場合、第1聴覚刺激のピッチを、第2聴覚刺激と比較してより高くすることができる。いくつかの実施形態では、第1聴覚刺激の特徴に対する第2聴覚刺激の特徴の差異が、ラウドネスがより大きいこと又は小さいことである。例えば、第1時刻よりも第2時刻において対象物がユーザーに近い(または遠い)場合、第2聴覚刺激を、第1聴覚刺激よりも大きくすることができる。別の例として、第2時刻よりも第1時刻において対象物がユーザーに近い(または遠い)場合、第1聴覚刺激を、第2聴覚刺激よりも大きくすることができる。
【0144】
<対象物が非常に近い>
いくつかの実施形態では、コンピューティング・システムが、1つ以上のセンサによって捕捉された第3センサデータを受け取ることができる。コンピューティング・システムは、第3センサデータを利用して、第3時刻におけるユーザーに対する対象物の第3位置を決定することができる。ユーザーに対する対象物の第3位置は、ユーザーの第3閾値距離内にあることができる。例えば、第2閾値距離を、1メートル、2メートル、5メートル、10メートル、20メートル、または100メートルとすることができる。第3閾値距離を、第2閾値距離よりも短く(または長く、または同じに)することができる。コンピューティング・システムは、第3時刻におけるユーザーに対する対象物の第3位置を利用して、(i)1つ以上の第1聴覚刺激と、1つ以上の第1聴覚刺激を出力する複数の出力デバイスのうち対応する1つ以上の第1音出力デバイスと、(ii)1つ以上の第2聴覚刺激と、1つ以上の第2聴覚刺激を出力する複数の出力デバイスのうち対応する1つ以上の第2音出力デバイスと、を決定することができる。コンピューティング・システムは、1つ以上の第1音出力デバイス及び第2音出力デバイスのそれぞれに、1つ以上の第1聴覚刺激及び第2聴覚刺激のうち、対応する第1聴覚刺激又は第2聴覚刺激を出力させることができる。例として、対象物がユーザーから例えば5mの距離で後ろに来る場合、スピーカ1a、1b、又は1cに加えて、図4(e)を参照して説明されるスピーカ2a、2b、又は2cが、高いラウドネスで複数のトーンを生成し始める。
【0145】
<対象物がそばを通過する>
いくつかの実施形態では、コンピューティング・システムが、1つ以上のセンサによって捕捉された第4センサデータを受け取ることができる。コンピューティング・システムは、第4センサデータを利用して、通過時刻において、対象物が、ユーザーのそばを通過していること、又はユーザーのそばを通過している尤度が尤度閾値を超えることを判定できる。いくつかの実施形態では、通過時刻において、対象物がユーザーのそばを通過する尤度閾値が、少なくとも50%、60%、70%、80%、90%、95%、または99%である。いくつかの実施形態では、通過時刻において、対象物が、ユーザーから最大で1メートル、2メートル、5メートル、または10メートル以内で、ユーザーのそばを通過していて、またはユーザーのそばを通過する尤度が尤度閾値を超える。第1時刻において、対象物は、ユーザーの視野内にいなくてもよく、若しくはいなく、又は、ユーザーの視野の遠周辺部にいてもよく、若しくはいる。いくつかの実施形態では、通過時刻が、第4センサデータ又はその一部が捕捉された時刻である。通過時刻を、第4センサデータ又はその一部が捕捉された後の時刻にすることができる。通過時刻を、第4センサデータが取り込まれた直後(例えば、0.0000001秒以内、0.000001秒以内、0.00001秒以内、0.0001秒以内、0.001秒以内、0.01秒以内、0.1秒以内、または1秒以内)の時刻またはそのセンサデータの一部が捕捉された直後の時刻にすることができる。
【0146】
コンピューティング・システムは、出力する聴覚刺激を決定することができる。第4聴覚刺激は、ユーザーのそばを通過する対象物の聴覚的特徴に対応する特徴を有することができる。いくつかの実施形態では、聴覚刺激の特徴が、下降ピッチ、ラウドネスの増加、より多数の周波数、より高い周波数、角度差の規則性、角度差の特異性、音響陰影、より大きな角度サイズ、ユーザーの耳に対するラウドネスの非対称性、約90°の頭部伝達関数、ユーザーの水平線より下の垂直位置、またはそれらの組み合わせを含むグループから選択される。いくつかの実施形態では、第2聴覚刺激の特徴の変化が、通過時刻または通過時刻付近で、最も速くまたは最も高い。
【0147】
コンピューティング・システムは、出力時刻において、複数の音出力デバイスのうち1つ以上に、第4聴覚刺激をユーザーに対して出力させることができる。出力時刻においてユーザーに対して出力される第4聴覚刺激は、出力時刻または出力時刻の直後の時刻において、ユーザーの視野の遠周辺部でユーザーが対象物を視覚的に知覚する尤度を増加することができる。出力時刻においてユーザーに対して出力される第4聴覚刺激は、0.0000001秒、0.000001秒、0.00001秒、0.0001秒、0.001秒、0.01秒、0.1秒、または1秒以内などの出力時刻の直後の時刻において、ユーザーの視野の遠周辺部でユーザーが対象物を視覚的に知覚する尤度を増加することができる。出力時刻においてユーザーに対して出力される第4聴覚刺激は、出力時刻または出力時刻の直後の時刻において、ユーザーの視野の遠周辺部でユーザーが対象物を視覚的に知覚する可能性を、例えば、少なくとも10%、20%、30%、40%、または50%増加させることができる。例えば、対象物が、曲がるときに危険なほど近い又は危険な軌道でユーザーの遠周辺部又は最周辺部に来る場合、図4Fのスピーカ1bと2b、又はスピーカ1cと2cはそれぞれ、遠周辺部又は最周辺部における運動検出のクロスモーダルを強化する急なピッチ下降を生成する。
【0148】
いくつかの実施形態では、第1時刻において、対象物がユーザーの視野の最周辺部にいる。ユーザーの視野の遠周辺部は、ユーザーの鼻から離れてこめかみに向かう約60°~約110°を含むことができる。ユーザーの視野の最周辺部は、ユーザーの鼻から離れてこめかみに向かう約90°~110°を含むことができる。
【0149】
いくつかの実施形態では、対象物が、ユーザーの左側で、ユーザーのそばを通過していて又は通過する可能性が高い。出力時刻において、複数の音出力デバイスのうち1つ以上に第4聴覚刺激をユーザーに対して出力させるために、コンピューティング・システムは、出力時刻において、第1水平線左下部音出力デバイスに、第2聴覚刺激を出力させることができる。いくつかの実施形態では、対象物が、ユーザーの右側で、ユーザーのそばを通過していて又は通過する可能性が高い。出力時刻において、複数の音出力デバイスのうち1つ以上に第4聴覚刺激をユーザーに対して出力させるために、コンピューティング・システムは、出力時刻において、第1輪郭線の第1水平線右下部音出力デバイス、および/または第2輪郭線の第1水平線右下部音出力デバイスに、第2聴覚刺激を出力させることができる。
【0150】
方法500はブロック524で終了する。
【0151】
<コンピュータビジョン、機械学習、及びニューラルネットワーク>
<コンピュータビジョン>
視覚による運動知覚を強化させるため及び/又はユーザーの安全性を向上させるために(例えば、対象物の位置および軌道を決定するために)、1つ以上のコンピュータビジョン・アルゴリズムを実装することができる。コンピュータビジョン・アルゴリズムの非限定的な例には、スケール不変特性変換(SIFT:Scale-invariant feature transform)、加速化ロバスト特性(SURF:speeded up robust feature)、指向性FAST及び回転BRIEF(ORB:oriented FAST and rotated BRIEF)、バイナリロバスト不変性拡縮可能キーポイント(BRISK:binary robust invariant scalable keypoints)、高速網膜キーポイント(FREAK:fast retina keypoint)、ビオラ・ジョーンズ(Viola-Jones)法・アルゴリズム、固有顔アプローチ、ルーカス・カナデ(Lucas-Kanade)法アルゴリズム、ホーン・シャンク(Horn-Shunk)法・アルゴリズム、平均値シフト法・アルゴリズム、視覚的同時位置付けマッピング(vSLAM:visual simultaneous location and mapping)技術、逐次ベイズ推定器(例えば、カルマンフィルタ、拡張カルマンフィルタなど)、バンドル調整、適応的閾値処理(および他の閾値処理技術)、反復最近接ポイント(ICP:Iterative Closest Point)、セミグローバルマッチング(SGM)、セミグローバルブロックマッチング(SGBM)、特徴ポイントヒストグラム、様々な機械学習アルゴリズム(例えば、サポートベクターマシン、k近傍アルゴリズム、ナイーブベイズ、ニューラルネットワーク(畳み込みニューラルネットワーク又はディープニューラルネットワークを含む)、又はその他の教師あり/教師なしモデル等)等が含まれる。これらのコンピュータビジョン・アルゴリズムのうち1つ以上を、例えば、対象物に対する車両の軌道を決定するために、本明細書で説明される軌道予測に使用することができる。
【0152】
<機械学習>
視覚による運動知覚の強化および/またはユーザーの安全性の向上は、様々な機械学習アルゴリズムによって、追加的又は代替的に実行することができる。いったん学習すれば、機械学習アルゴリズムを、コンピューティング・システム(例えば、図6を参照して説明されるコンピューティング・システム6)に記憶することができる。機械学習アルゴリズムのいくつかの実施例には、回帰アルゴリズム(例えば、通常の最小二乗回帰など)、インスタンスベースのアルゴリズム(例えば、学習ベクトル量子化など)、決定木アルゴリズム(例えば、分類木および回帰木など)、ベイズアルゴリズム(例えば、ナイーブベイズなど)、クラスタリングアルゴリズム(例えば、k平均法など)、相関ルール学習アルゴリズム(例えば、先験(a-priori)アルゴリズムなど)、人工ニューラルネットワーク・アルゴリズム(例えば、パーセプトロンのような)、ディープ・ラーニング・アルゴリズム(例えば、ディープ・ボルツマン・マシン又はディープニューラルネットワークなど)、次元削減アルゴリズム(例えば、主成分分析アルゴリズムなど)、アンサンブルアルゴリズム(例えば、積層汎化など)、および/またはその他の機械学習アルゴリズムを含めることができる。機械学習アルゴリズムのうち1つ以上を、例えば、対象物に対する車両の軌道を決定するために、本明細書で説明される軌道予測に使用することができる。
【0153】
<ニューラルネットワーク>
ディープニューラルネットワーク(DNN)等のニューラルネットワーク(NN)の層は、その層の入力に線形変換又は非線形変換を適用して、その層の出力を生成することができる。ニューラルネットワーク層を、正規化層、畳み込み層、ソフトサイン層、正規化線形層、連結層、プーリング層、再帰層、インセプション様層、またはそれらの任意の組合せとすることができる。正規化層は、その入力の輝度を正規化し、その出力を、例えばL2正規化して生成することができる。例えば、正規化層は、一度に複数の画像の輝度を、お互いに対して正規化し、その層の出力として複数の正規化画像を生成することができる。輝度を正規化する方法の非限定的な例には、局所コントラスト正規化(LCN)または局所応答正規化(LRN)が含まれる。局所コントラスト正規化は、画像の局所領域を画素ごとに正規化することによって、画像のコントラストを非線形的に正規化し、平均値が0で分散が1(または平均と分散が他の値)となるようにすることができる。局所応答正規化は、局所入力領域にわたって画像を正規化し、平均が0で分散が1(または平均と分散が他の値)となるようにすることができる。正規化層によって、学習プロセスの速度を上げることができる。
【0154】
畳み込み層は、その層の入力を畳み込んでその層の出力を生成するカーネルのセットを適用することができる。ソフトサイン層は、その入力にソフトサイン関数を適用することができる。ソフトサイン関数(softsign(x))を、例えば、(x/(1+|x|))とすることができる。ソフトサイン層は、要素ごとの外れ値の影響を無視し得る。正規化線形層(rectified linear layer)を、正規化線形層ユニット(ReLU)またはパラメータ化された正規化線形層ユニット(PReLU)とすることができる。ReLU層は、その層の入力にReLU関数を適用して、出力を生成することができる。ReLU関数ReLU(x)を、例えば、max(0、x)とすることができる。PReLU層は、その層の入力にPReLU関数を適用して、その出力を生成することができる。PReLU関数PReLU(x)を、例えば、x≧0であればx、x<0であればaxとすることができ、ここで、aは正の数である。連結層は、その入力を連結して、その出力を生成することができる。例えば、連結層は、4つの5×5画像を連結して、1つの20×20画像を生成することができる。プーリング層は、その層の入力をダウンサンプリングしてその層の出力を生成するプーリング関数を適用することができる。例えば、プーリング層は、20×20画像を、10×10画像にダウンサンプリングすることができる。プーリング関数の非限定的な例には、最大プーリング、平均プーリング、または最小プーリングが含まれる。
【0155】
時点tでは、再帰層は、隠れ状態s(t)をコンピュータで計算することができ、再帰接続は、次のt+1の時点における入力として、時刻tにおける隠れ状態s(t)を再帰層に提供することができる。再帰層は、時刻tにおける隠れ状態s(t)に基づいて、時刻t+1における再帰層の出力をコンピュータで計算することができる。例えば、再帰層は、時刻t+1における再帰層の出力をコンピュータで計算するために、時刻tにおける隠れ状態s(t)に対してソフトサイン関数を適用することができる。時刻t+1における再帰層の隠れ状態は、再帰層の入力として、時刻tにおける再帰層の隠れ状態s(t)を有する。再帰層は、例えばReLU関数を再帰層の入力に適用することによって、隠れ状態s(t+1)をコンピュータで計算することができる。インセプション様層は、正規化層、畳み込み層、ソフトサイン層、ReLU層およびPReLU層等の正規化線形層、連結層、プーリング層、またはそれらの任意の組合せのうち1つ以上を含むことができる。
【0156】
異なる実装形態では、NN内の層の数も異なる場合がある。例えば、DNN内の層の数を、50、100、200、又はそれ以上とすることができる。異なる実装形態では、ディープニューラルネットワーク層の入力タイプも異なる場合がある。例えば、1つの層が、複数の層の出力をその入力として受け取ることができる。1つの層の入力は、5つの層の出力を含むことができる。別の例として、層の入力は、NNの層の1%を含むことができる。層の出力を、複数の層の入力とすることができる。例えば、層の出力を、5つの層の入力として使用することができる。別の例として、層の出力を、NNの層の1%の入力として使用することができる。
【0157】
層の入力サイズ又は出力サイズを、かなり大きくすることができる。層の入力サイズ又は出力サイズをn×mとすることができる。ここで、nは幅を示し、mは入力又は出力の高さを示す。例えば、n又はmを、11、21、31、又はそれ以上にすることができる。異なる実装形態では、層の入力又は出力のチャネルサイズも異なる場合がある。例えば、層の入力又は出力のチャネルサイズを、4、16、32、64、128、またはそれ以上とすることができる。異なる実装形態では、層のカーネルサイズも異なる場合がある。例えば、カーネルサイズをn×mとすることができる。ここで、nは幅を示し、mはカーネルの高さを示す。例えば、n又はmを、5、7、9、又はそれ以上にすることができる。異なる実装形態では、層のストライドサイズも異なる場合がある。例えば、ディープニューラルネットワーク層のストライドサイズを、3、5、7又はそれ以上とすることができる。
【0158】
いくつかの実施形態では、NNが、NNの出力を一緒にコンピュータで計算する複数のNNを指す場合がある。異なるタスクについて、複数のNNのうち異なるNNに学習させる場合がある。プロセッサ(例えば、図6を参照して説明したプロセッサ610)は、複数のNNのうち1つのNNの出力をコンピュータで計算して、NNの出力を決定することができる。例えば、複数のNNのうち1つのNNの出力は、尤度スコアを含むことができる。プロセッサは、複数のNNのうち異なるNNの出力の尤度スコアに基づいて、複数のNNを含むNNの出力を決定することができる。
【0159】
<実行環境>
図6は、本明細書で開示される代謝産物、注釈付け、および遺伝子組み込みシステムを実現するように構成される、例示的なコンピューティング・デバイス600の一般的なアーキテクチャを示す。図6に示すコンピューティング・デバイス600の一般的なアーキテクチャは、コンピュータハードウェア及びソフトウェアコンポーネントの配置を含む。コンピューティング・デバイス600は、図6に示される要素よりもはるかに多くの(または少ない)要素を含むことができる。しかし、実施可能な程度の開示を提供するためには、これらの一般的な従来要素を全て示す必要はない。図示のように、コンピューティング・デバイス600は、処理ユニット610、ネットワークインタフェース620、コンピュータ可読媒体ドライブ630、入出力デバイスインターフェース640、ディスプレイ650、および入力デバイス660を含み得る。これらは全て、通信バスを介して互いに通信し得る。ネットワークインタフェース620は、1つ以上のネットワーク又はコンピューティング・システムに接続し得る。したがって、処理ユニット610は、ネットワークを介して、他のコンピューティング・システム又はコンピューティング・サービスから情報および命令を受け取ることができる。また、処理ユニット610は、メモリ670に通信し又はメモリ670から通信され、入出力デバイスインターフェース640を介して任意選択のディスプレイ650への出力情報をさらに提供し得る。また、入出力デバイスインターフェース640は、キーボード、マウス、デジタルペン、マイクロフォン、タッチスクリーン、ジェスチャ認識システム、音声認識システム、ゲームパッド、加速度計、ジャイロスコープ、又はその他の入力デバイス等の、任意選択の入力デバイス660からの入力を受け入れることができる。
【0160】
メモリ670は、1つ以上の実施形態を実現するために処理ユニット610が実行する(いくつかの実施形態ではモジュール又はコンポーネントとしてグループ化される)コンピュータプログラム命令を包含し得る。一般的に、メモリ670は、RAM、ROM、及び/又はその他の永続的、補助的若しくは非一時的なコンピュータ可読媒体を含む。メモリ670は、オペレーティングシステム672を記憶し得る。オペレーティングシステム672は、コンピューティング・デバイス600を一般的に管理及び操作する際に処理ユニット610によって使用される、コンピュータプログラム命令を提供する。さらに、メモリ670は、本開示の態様を実現するコンピュータプログラム命令および他の情報を含み得る。
【0161】
例えば、ある実施形態では、メモリ670が、図2を参照して説明した方法200のように視覚による運動知覚を強化する、視覚による運動知覚モジュール674を含む。メモリ670は、図5を参照して説明した方法500のようにユーザーの安全性を向上するユーザー安全モジュール676を、付加的に又は代替的に含み得る。さらに、メモリ670は、メモリ670が記憶できるコンピュータプログラム命令を記憶する、データ記憶装置690及び/又は1つ以上の他のデータ記憶装置を含み、またはそれと通信することができる。
【実施例
【0162】
上述の実施形態のいくつかの態様は以下の実施例でさらに詳細に開示されるが、このことは、本開示の範囲を限定することを決して意図するものではない。
【0163】
(実施例1)
<遠周辺部および最周辺部における視覚による運動知覚の強化>
最周辺部における視覚による後ろからの運動の検出に対する、聴覚刺激の効果を詳細に調査した。
【0164】
最周辺部は、主体が視野外からの対象物と最初に接触する点である可能性があるので、最周辺部を知覚できることは、主体(例えば、哺乳動物又は人間)にとって生態学的に重要な場合がある。最周辺部は、主体の視覚への入り口とみなすことができる。対象物が後ろから主体に来る場合、主体が対象物と最初に接触する点は、主体の最周辺部である可能性がある。主体が自分の頭を主体の後ろにいる対象物に向ける場合、やはり、主体が対象物と最初に接触するポイントは、主体の最周辺部である可能性がある。
【0165】
人間は、最周辺部の対象物を見るために、多くの技術を開発してきた。例えば、自動車は、自動車の運転者が運転者の最周辺部で対象物を見ることを可能にする2つのミラーを有することができる。自動車は死角警報システムを有することができる。死角警報システムは、運転者の最周辺部を見やすくすることを目的とする。最周辺部を見やすくすることは、自動車をドライビングするまたはオートバイでライディングするなど、人の日常生活にとって非常に重要な場合がある。
【0166】
驚くべきことに、最周辺部における視覚については、ほとんどわかっていない。最周辺部を見やすくするために取り得る1つの方法が、クロスモーダル変調である。同時聴覚刺激は、検出などの視覚による知覚を促進することができる。クロスモーダル変調は、中心窩よりも周辺部で強くなり得る。同時聴覚刺激は、最周辺部における視覚を促進し得る。
【0167】
<同時聴覚刺激は最周辺部における視覚による運動検出を抑制した>
最周辺部におけるクロスモーダル効果を調べるために、人間の被験者(主体)が、ビープ音等の聴覚刺激の有無にかかわらず、最周辺部において単純な視覚検出タスクを実行できるかどうかを詳細に調査した。実験では、被験者の左側または右側の最周辺部に、フラッシュを1回出現させた。標的位置は個別に決定され、平均は、主体の中心窩から96.8度であった。聴覚刺激には、同時ホワイトノイズ、同時ブラウンノイズ、および同時500Hzビープ音を含めていた。ベースラインは音のない状態であった。驚くべきことに、3つの聴覚刺激のどれも、視覚検出を促進しなかった。3つの聴覚刺激のうち2つ(ホワイトノイズ及び同時500Hzビープ音)は検出を抑制した。モノラルヘッドフォンからのビープ音でも、同様の抑制が観察された。
【0168】
クロスモーダルが抑制されたのは、ビープ音またはホワイトノイズ等の聴覚刺激が、視覚刺激及びタスクと完全に無関係なせいなのかもしれない。同時ではあるが無関係な聴覚刺激は、視覚による知覚を抑制する可能性がある。視覚の信頼性が低下すると、聴覚が重要になる。理論に束縛されるものではないが、無関係な聴覚刺激によるクロスモーダルの抑制を観察したのは、最周辺部における視覚のノイズが非常に高く、したがって聴覚入力を受けやすいせいだった可能性がある。
【0169】
<同時聴覚刺激は最周辺部における視覚による運動検出を促進した>
視覚刺激に関連する(例えば、非常に関連する)聴覚刺激は、最周辺部におけるクロスモーダル促進のために必要となり得る。ある種の運動は、独特な音と関連する。そばを後ろから通過する対象物を検出することは、生態学的に重要な危機的状況である可能性がある。最周辺部においてそばを通過する運動は、顕著な下降ピッチシフトと物理的に関連する可能性がある。対象物から来る音のピッチは、主体の視覚の90度付近で突然下降する可能性がある。このような顕著な下降ピッチシフトは、主体の最周辺部で発生する。
【0170】
顕著な下降ピッチシフトによって、このような前方運動の検出を促進できるかどうか判定する実験において、204ミリ秒(ms)ドット(306msの刺激時間間隔(SOA))を連続して2回、各被験者の最周辺部で提示した。最周辺部は、離心率が最大であり、各被験者についての検出率が75%であると決定された。各ドットを、前方に見かけの運動を有するように2°の間隔で隣接する2つの位置に提示し、または同じ位置に提示した。聴覚刺激として、下降ピッチと同時に発生するビープ音を採用した。下降ピッチと同時に発生するビープ音は、そばを通過する対象物のドップラーピッチシフトを、おおよそ擬似再現することができる。別の対照群である音がない場合に加えて、対照群として、上昇ピッチと同時に発生するビープ音を使用した。この結果、下降ピッチと同時に発生するビープ音は、音がない場合や、上昇ピッチと同時に発生するビープ音の場合と比べて、運動検出のヒット率を増加させることが示された。
【0171】
図8は、最周辺部における視覚による後ろからの運動の検出に、聴覚が影響を及ぼすかどうか判定する実験構成の、非限定的な例示的概略図である。各被験者の左または右の75%検出可能点を決定するために、予備検出を行った。第1フラッシュを被験者の75%検出可能点に現し、次いで第2フラッシュを、第1フラッシュと同じ位置に(運動がないことをシミュレートするために)、または第1フラッシュから2度前方に(前方運動を刺激するために)現した。第2フラッシュが第1フラッシュと同じ場所に現れる場合、被験者は運動を観察しないはずである。第2フラッシュが第1フラッシュから2度前方に現れる場合、被験者は前方の運動を観察するはずである。
【0172】
主体の最周辺部708における2回の連続する近傍フラッシュ704a、704bによって、見かけの前方運動をシミュレートした。このような前方運動の検出を独特な下降ピッチシフト712によって促進することができるかどうか、図7に示すように調べた。運動検出を、図9に示される個別のピッチシフトパターンを有する3つの音のうち1つと結びつけて行った。下降ピッチシフト条件では、第1フラッシュと第2フラッシュの提示中に、音のピッチを1000Hzから900Hzに急激に減少させた。対照条件では、第1フラッシュと第2フラッシュの提示中に、音のピッチを900Hzから1000Hzに急激に増加させた。別の対照条件では、音のピッチを常に950Hzに固定した。接近し次いで離れる対象物を擬似再現するため、3つの音は同一のラウドネス変調を有していた。
【0173】
図10は、最周辺部における視覚による後ろからの運動の検出に対する3つのタイプの聴覚刺激の効果を示す、非限定的な例示的プロットである。クロスモーダル促進の結果は、それぞれの音の条件と無音ベースラインとの差d’の観点から示され、d’は信号検出理論を使用してコンピュータで計算される。聴覚刺激の効果は、F(1、17)=8.27、p=0.010であり、ここでF(1、17)は、自由度が1及び17である分散分析(ANOVA)によるF値である。クロスモーダル促進は、上昇ピッチシフト条件と一定ピッチ条件(それぞれp=0.031とp=0.031)に比べて、下降ピッチシフト条件でかなり大きかった。このようなクロスモーダル促進は、下降ピッチシフト条件(p=0.010)でのみ、0より大きかった。この結果は明らかに、下降ピッチシフト条件が最周辺部における前方運動の検出を促進することを示していた。ラウドネスの変化が90度でピークを有する一定ピッチの対照群は、促進効果を有さなかった。そばを通過する対象物を擬似再現するようにラウドネスを変化しても、最周辺部における運動検出を促進するのに十分でない可能性がある。ピッチシフトを減少させることが、最周辺部において「そばを通過する」対象物を検出するために重要な合図である可能性がある。
【0174】
各被験者は、事後アンケートを記入した。事後アンケートを利用して、被験者が聞いた音と、被験者が聞いた音を生じさせる移動との関係について、各被験者が認識しているかどうか判定した。運動の選択肢には、「あなたに向かって移動している」、「あなたから離れるように移動している」、「あなたのそばを通過している」、「あなたの周辺を同じ距離で移動している」、「あなたを横断して移動している」、および「上記のいずれでもない」が含まれる。驚くべきことに、ほとんど誰も正しい運動を識別することができなかった。下降ピッチシフト条件で音を聞いた被験者のうち、聞こえる音を引き出すはずの「あなたのそばを通過している」対象物の移動を正しく識別したのは、2人(11.8%)のみであった。上昇ピッチシフト条件で音を聞いた被験者のうち、聞こえる音を引き出すはずの「上記のいずれでもない」移動を正しく識別したのは、誰もいなかった。一定ピッチ条件で音を聞いた被験者のうち、聞こえる音を引き出すはずの「上記のいずれでもない」運動を正しく識別したのは、1人(5.9%)のみであった。被験者が聞いた音を引き出すはずの移動について被験者が認識していなかったことは、観察されたクロスモーダル促進を、知識ベースの効果だけでは説明できないことを意味していた。
【0175】
視覚刺激と自然に及び生態学的に関連する同時クロスモーダル刺激は、最周辺部における視覚による知覚を促進することができる。このような生態学的に関係する聴覚刺激は、主体が聴覚刺激を正しく知覚できない場合、及び/又は主体が聴覚刺激と視覚刺激の関連についてトップダウン知識を有していない場合でも、最周辺部における視覚による知覚を促進することができる。ラウドネスの変化ではなく、下降ピッチシフト条件が、最周辺部における前方運動の検出を促進することができる。ラウドネスの変化は、そばを通過する対象物を必ずしも示すものではなく、クロスモーダル促進と無関係であってもよい。視覚刺激に特有の聴覚刺激は、クロスモーダル促進を促進し得る。
【0176】
全体としてこれらのデータは、音に下降ピッチシフトを加えると、最周辺部における視覚による前方運動の検出を促進できることを示す。
【0177】
<追加考慮事項>
前述の少なくともいくつかの実施形態において、技術的に実現可能でない場合を除き、ある実施形態で使用される1つ以上の要素を、別の実施形態では交換して使用することができる。当業者であれば、特許請求の範囲で主張される主題の範囲から逸脱することなく、上述の方法および構造に、様々な他の省略、追加、および修正をできることを理解するであろう。そのような修正および変更は全て、添付の特許請求の範囲によって定義されるように、主題の範囲内に入ることを意図される。
【0178】
当業者であれば、本明細書で開示されるこのプロセス及び他のプロセス並びにこの方法及び他の方法について、プロセスおよび方法で実行される機能を異なる順序で実装できることを理解するであろう。さらに、概説されたステップ及び動作は例としてのみ提供され、ステップ及び動作のいくつかは、任意選択で、当該ステップ及び動作のいくつかを、開示された実施形態の本質を損なうことなく、より少ないステップ及び動作と組み合わせ、又はステップ及び動作を追加して拡大することができる。
【0179】
本明細書における実質的に任意の複数形および/または単数形の用語の使用に関して、当業者は、文脈および/または用途に適切であるように、複数形から単数形へ、及び/又は単数形から複数形へと翻訳することができる。明確にするために、様々な単数形/複数形の置換が本明細書に明示的に記載される場合がある。本明細書および添付の特許請求の範囲で使用されるように、単数形「A」、「an」、及び「the」は、文脈がそうでないことを明らかに示さない限り、複数のものを含む。したがって、「構成されるデバイス」等の句は、1つ以上の記載されたデバイスを含むように意図される。述べられた記載を実行するために、このような1つ以上の列挙されたデバイスを集合的に構成する場合もある。例えば、「記載A、B、及びCを実行するように構成されるプロセッサ」は、記載Aを実行するように構成され、記載B及びCを実行するように構成される第2プロセッサと共同して動作する第1プロセッサを含むことができる。本明細書における「または」へのあらゆる言及は、特に明記しない限り、「および/または」を包含するように意図される。
【0180】
一般に、本明細書で使用される用語、特に添付の特許請求の範囲で使用される用語(例えば、添付の特許請求の範囲の本文)は、「オープン」用語(例えば、「含んでいる(including)」は「含んでいるが、これに限定されない」と解釈されるべきであり、「有している(having)」は「少なくとも有している」と解釈されるべきであり、「含む(includes)」は「含むがこれに限定されない」と解釈されるべき等である)を意図することを、当業者は全体的に理解するであろう。さらに、導入される特許請求の範囲の記載が特定の数を意図する場合、そのような意図は、特許請求の範囲に明示的に記載され、そのような記載がなければそのような意図も存在しないことを、当業者は全体的に理解するであろう。例えば、理解の助けとして、以下に添付する特許請求の範囲は、クレームの記載を導入するために、導入句「少なくとも1つ」及び「1つ以上」の用語の使用を含む場合がある。しかし、このような句を使用したからといって、たとえ同一の特許請求の範囲が導入句「1つ以上」又は「1つ以上」、及び不定冠詞「a」又は「an」を含む場合でさえも、不定冠詞「a」又は「an」を特許請求の範囲に導入することが、そのように導入された特許請求の範囲の記載を包含する特定の特許請求の範囲を、そのような記載のみを包含する実施形態に限定するものであると示唆するように解釈されるべきではない(例えば、「a」及び/又は「an」は、「少なくとも1つ」又は「1つ以上」を意味すると解釈されるべきである)。定冠詞を使用して特許請求の範囲の記載を導入する場合についても、同じことがいえる。さらに、導入された特許請求の範囲の記載において特定の数が明示的に記載されている場合であっても、そのような記載が、少なくとも記載された数を意味するものと解釈されるべきであると、当業者は認識するであろう(例えば、他の修飾語を含まない「2つの記載」だけの記載は、少なくとも2つの記載を手段、又は2つ以上の記載を意味する)。さらに、「A、B、及びC等のうち少なくとも1つ」に類する表記が使用される場合、一般に、そのような構造は、当業者なら表記を理解するはずであるという意味で意図される(例えば、「A、B、及びCのうち少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、A及びBの双方、A及びCの双方、B及びCの双方、A、B、及びCの三方ともに、等を含むが、それらに限定されない)。「A、B、又はC等のうち少なくとも1つ」に類する表記の場合が使用される場合、一般に、そのような構造は、当業者なら表記を理解するはずであるという意味で意図される(例えば、「A、B又はCのうち少なくとも1つを有するシステム」とは、Aのみ、Bのみ、Cのみ、A及びBの双方、A及びCの双方、B及びCの双方、並びに/又はA、B、及びCの三方ともに等を含むが、それらに限定されない)。さらに、2つ以上の代替的な用語を表す事実上いかなる離接語および/または離接句も、明細書、クレーム、又は図面のいずれにおいても、その用語のいずれか又は両方の用語を含む可能性を意図すると理解されるべきであることを、当業者は理解するであろう。例えば、「A」又は「B」という句は、「A」、「B」又は「A及びB」の可能性を含むと理解されるであろう。
【0181】
さらに、本開示の構成または態様がマーカッシュグループに関して説明される場合、それによって、本開示がマーカッシュグループの要素における任意の個別要素または要素のサブグループに関しても説明されることを、当業者は認識するであろう。
【0182】
当業者によって理解されるように、記載された明細書の提供に関すること等の、いずれの及び全ての目的に対して、本明細書で開示される全ての範囲は、そのいずれの及び全てのとり得る部分範囲および部分範囲の組合せをも包含する。列挙されたいずれの範囲も、同じ範囲が少なくとも等しく半分に、3分の1に、4分の1に、5分の1に、10分の1等に分解されることを十分に説明し及びそれを可能にするものとして、容易に認識することができる。非限定的な例として、本明細書で論じられた各範囲は、下部3分の1、中部3分の1、上部3分の1等に、容易に分解することができる。また、当業者によって理解されるように、「まで」、「少なくとも」、「より大きい」、「より小さい」等の全ての言語は、列挙された数を含み、続いて、上で論じたように部分範囲に分解することができる範囲を指す。最後に、当業者によって理解されるように、範囲は、それぞれ個別の要素を含む。したがって、例えば、1~3個の項目を有するグループは、1個、2個、又は3個の項目を有するグループを指す。同様に、1~5個の項目を有するグループは、1個、2個、3個、4個、または5個の項目を有するグループ等を指す。
【0183】
本開示の様々な実施形態が説明目的で本明細書に記載されており、本開示の範囲および精神から逸脱することなく、様々な修正をし得ることが理解されるであろう。したがって、本明細書で開示される様々な実施形態は、限定を意図するものではなく、その真の範囲および精神は、以下の特許請求の範囲によって示される。
【0184】
必ずしも全ての目的または利点が、本明細書で説明される任意の特定の実施形態に従って達成され得るわけではないことを理解されたい。したがって、例えば、特定の実施形態が、本明細書で教示または示唆され得る他の目的または利点を必ずしも達成せずに、本明細書で教示される1つの利点または利点のグループを達成または最適化する方法で動作するように構成され得ることを、当業者は理解するであろう。
【0185】
本明細書に記載するすべてのプロセスは、1つ以上のコンピュータ又はプロセッサを含むコンピューティング・システムによって実行されるソフトウェアコードモジュールで実施されてもよいし、そのソフトウェアコードモジュールによって完全に自動化されてもよい。コードモジュールを、任意のタイプの非一時的コンピュータ可読媒体またはその他のコンピュータ記憶デバイスに記憶してもよい。一部または全部の方法を、特別なコンピュータハードウェアで実施してもよい。
【0186】
本明細書で説明されたもの以外の多くの他の変形形態が、本開示から明らかになるであろう。例えば、実施形態に応じて、本明細書で説明されるアルゴリズムのいずれかの一定の動作、イベント、または機能を、異なるシーケンスで実行することができ、追加することができ、マージすることができ、または完全に除外することができる(例えば、説明された動作又はイベントの全てが、アルゴリズムの実施に必要であるわけではない)。そのうえ、一定の実施形態では、例えばマルチスレッド処理、割り込み処理、若しくは複数のプロセッサやプロセッサコアを介して、又は、その他の逐次アーキテクチャではなくその他の並列アーキテクチャ上で、動作又はイベントを同時に実行することができる。さらに、一緒に機能することができる異なるマシン及び/又はコンピューティング・システムによって、異なるタスク又はプロセスを実行することができる。
【0187】
本明細書で開示される実施形態に関連して説明される様々な例示的な論理ブロック及びモジュールを、処理ユニット若しくはプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)若しくはその他のプログラマブルロジックデバイス、離散ゲート若しくはトランジスタ論理、離散ハードウェアコンポーネント、またはそれらの任意の組合せであって本明細書で説明される機能を実施するように設計されたもの等のマシンによって、実装又は実施することができる。プロセッサはマイクロプロセッサであってもよいが、あるいは、プロセッサは、コントローラ、マイクロコントローラ、ステートマシン、または同じものの組み合わせ等であってもよい。プロセッサは、コンピュータ実行可能命令を処理するように構成される電気回路を含むことができる。別の実施形態では、プロセッサは、コンピュータ実行可能命令を処理することなく論理演算を実行するFPGA又はその他のプログラマブルデバイスを含む。プロセッサは、コンピューティング・デバイスの組み合わせとして実装することもでき、その組み合わせは、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと組み合わせた1つ以上のマイクロプロセッサ、またはその他のそのような構成とする。本明細書では主にデジタル技術に関して説明するが、プロセッサは、主にアナログコンポーネントを含んでもよい。例えば、本明細書に記載される信号処理アルゴリズムのいくつか又は全部を、アナログ回路又はアナログとデジタルの混合回路で実装してもよい。コンピューティング環境は、任意のタイプのコンピュータシステムを含むことができ、当該コンピュータシステムは、いくつか例を挙げると、マイクロプロセッサ、メインフレームコンピュータ、デジタル信号プロセッサ、携帯コンピューティング・デバイス、デバイスコントローラ、またはデバイス内のコンピュータ計算エンジンに基づくコンピュータシステムを含むが、これらに限定されない。
【0188】
本明細書に記載され及び/又は添付の図面に示されるフロー図における任意のプロセスの記述、要素、またはブロックは、プロセスにおける特定の論理機能又は論理素子を実装する1つ以上の実行可能命令を含むモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されるべきである。代替実装形態が本明細書で説明される実施形態の範囲内に含まれ、当該実装形態では、当業者によって理解されるように、含まれる機能に応じて、要素又は機能が削除され、実質的に同時若しくは逆の順序を含む、示された順序と異なる順序で実行され、または論じられ得る。
【0189】
上述の実施形態に対して多くの変形および修正を行うことができ、その要素は、他の許容可能な例の中にあると理解されるべきことを強調すべきである。これらの修正および変形は、本開示の範囲に含まれ、以下の特許請求の範囲によって保護されることが意図される。
図1
図2
図3A
図3B
図3C
図3D
図4A
図4B1
図4B2
図4C
図4D
図4E
図4F
図5
図6
図7
図8
図9
図10