(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-23
(45)【発行日】2023-08-31
(54)【発明の名称】音響感知と警告
(51)【国際特許分類】
H04R 3/00 20060101AFI20230824BHJP
H04R 1/02 20060101ALI20230824BHJP
【FI】
H04R3/00 320
H04R1/02 107
(21)【出願番号】P 2019568019
(86)(22)【出願日】2018-06-08
(86)【国際出願番号】 US2018036628
(87)【国際公開番号】W WO2018227062
(87)【国際公開日】2018-12-13
【審査請求日】2021-06-08
(32)【優先日】2017-06-09
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2018-06-07
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】517284201
【氏名又は名称】アイビクィティ デジタル コーポレイション
(74)【代理人】
【識別番号】100094569
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100109335
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100141553
【氏名又は名称】鈴木 信彦
(74)【代理人】
【識別番号】100210239
【氏名又は名称】富永 真太郎
(72)【発明者】
【氏名】ミルバー マレク
【審査官】大石 剛
(56)【参考文献】
【文献】米国特許出願公開第2008/0079571(US,A1)
【文献】特開2016-164793(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04R 3/00
H04R 1/02
(57)【特許請求の範囲】
【請求項1】
ユーザにより身に着けられるように構成されたハウジングと、
周囲の音声を感知し、少なくとも1つの時間領域音声信号を生成する少なくとも1つのマイクロホン
であって、前記ハウジング内又は前記ハウジング上に配置されている少なくとも1つのマイクロホンと、
少なくとも1つの周波数領域音声信号を形成するために少なくとも1つの時間領域音声信号を変換する変換回路と、
少なくとも1つの周波数領域音声信号のスペクトル特徴を識別する識別回路と、
前記周波数領域音声信号内の他の周波数と比較して、どのように周波数成分の大きさが時間と共に増加するかを分析することにより、前記スペクトル特徴の時間発展を追跡する追跡回路と、
前記追跡された前記スペクトル特徴の時間発展から、前記スペクトル特徴が少なくとも1つのマイクロホンに向かって移動している物体に対応することを決定する決定回路と、
を備え
、
前記決定回路は、前記ユーザの近接ゾーンと、前記物体の接近を示す脅威ベクトルとを計算し、前記近接ゾーン及び前記脅威ベクトルとの間のゾーンが重複する確率を計算する、
システム。
【請求項2】
前記決定回路は、さらに、
前記追跡された前記スペクトル特徴の時間発展から前記物体の推定速度及び推定方向を決定し、及び、
前記推定速度及び前記推定方向から、前記物体が前記ハウジングから閾値距離内を通過する推定軌道上を移動していることを決定する、
請求項
1記載のシステム。
【請求項3】
前記決定回路が、前記物体が前記ハウジングから前記閾値距離内を通過する前記推定軌道上を移動していることを決定することに応じて、前記ハウジングから1又は2以上の音声警告、視覚警告、又は触覚警告を含む警告を発する警告回路をさらに備える、
請求項
2記載のシステム。
【請求項4】
前記警告回路は、さらに、前記決定回路が、前記物体が前記ハウジングから第2の閾値距離内を通過する前記推定軌道上を移動していることを決定することに応じて、前記ハウジングから、1又は2以上の第2の音声警告、第2の視覚警告、又は第2の触覚警告を含む第2の警告を発する、
請求項
3記載のシステム。
【請求項5】
前記警告回路は、さらに、前記決定回路が前記物体が前記ハウジングから前記閾値距離内を通過する前記推定軌道上を移動していることを決定することに応答して、前記ハウジングに接近した少なくとも1つの電子デバイスに警告を無線で伝達する、
請求項
3記載のシステム。
【請求項6】
前記変換回路、前記識別回路、前記追跡回路、前記決定回路、及び前記警告回路は、前記ハウジング内又は前記ハウジング上に配置されている、
請求項
5記載のシステム。
【請求項7】
前記変換回路、前記識別回路、前記追跡回路、前記決定回路、及び前記警告回路は、前記ハウジング内又は前記ハウジング上に配置された単一のチップ内に統合されている、
請求項
6記載のシステム。
【請求項8】
前記ハウジングは、ブレスレット、時計、ネックレス、クリップ式のアクセサリ、又は衣料品のうちの1つであるウェアラブルデバイスとして構成されている、
請求項
7記載のシステム。
【請求項9】
前記ハウジングは受動的であり、前記感知された周囲の音声が前記ハウジングから発せられた音を排除する、
請求項
1記載のシステム。
【請求項10】
前記周波数成分は、ある時間間隔で増加し、前記ある時間間隔で一定のままであり、又は特定された閾値未満を単位として前記時間間隔で減少する周波数値を有する、
請求項1記載のシステム。
【請求項11】
前記少なくとも1つのマイクロホンは、20kHz超であるカットオフ周波数より低い周波数で反応し、
前記少なくとも1つの周波数領域音声信号は、20kHzと前記カットオフ周波数との間の情報を含み、
前記スペクトル特徴は、20kHzと前記カットオフ周波数との間の周波数値を有する第1の周波数成分を含む、
請求項1記載のシステム。
【請求項12】
前記少なくとも1つのマイクロホンは、20kHz以下であるカットオフ周波数より低い周波数で反応し、
前記少なくとも1つの周波数領域音声信号は、前記カットオフ周波数より低い周波数の情報を含み、
前記スペクトル特徴は、前記カットオフ周波数より低い周波数値を有する第1の周波数成分を含む、
請求項1記載のシステム。
【請求項13】
ユーザにより身に着けられるように構成されたハウジング上又は前記ハウジング内に配置された少なくとも1つのマイクロホンを使用して、少なくとも1つの時間領域音声信号を生成するために周囲の音声を感知すること、
変換回路を用いて、少なくとも1つの周波数領域音声信号を形成するために前記少なくとも1つの時間領域音声信号を変換すること、
識別回路を用いて、前記少なくとも1つの周波数領域音声信号のスペクトル特徴を識別すること、
前記周波数領域音声信号内の他の周波数と比較して、どのように周波数成分の大きさが時間と共に増加するかを分析することにより、追跡回路を用いて、前記スペクトル特徴の時間発展を追跡すること、及び、
決定回路を用いて、前記追跡された前記スペクトル特徴の時間発展から、前記スペクトル特徴が前記ハウジングに向かって移動している物体に対応することを決定すること、
前記決定回路を用いて、前記ユーザの近接ゾーンと、前記物体の接近を示す脅威ベクトルとを計算し、前記近接ゾーン及び前記脅威ベクトルとの間のゾーンが重複する確率を計算すること
を備える、
方法。
【請求項14】
前記決定回路が、前記物体が前記ハウジングに向かって移動していることを決定することに応じて、警告回路を用いて、1又は2以上の音声警告、視覚警告、又は触覚警告を含む警告を前記ハウジングから発すること、をさらに含む、
請求項
13記載の方法。
【請求項15】
前記決定回路が前記物体が前記ハウジングに向かって移動していることを決定することに応じて、警告回路を用いて、前記ハウジングに接近した少なくとも1つの電子デバイスに無線で警告を伝達すること、をさらに備える、
請求項
13記載の方法。
【請求項16】
ユーザにより身に着けられるように構成されたハウジングと、
周囲の音声を感知し、少なくとも1つの時間領域音声信号を生成するための前記ハウジング内又は前記ハウジング上の少なくとも1つのマイクロホンであって、前記ハウジングは、前記ハウジングにより発せられる音が前記少なくとも1つの時間領域音声信号に含まれない程に受動的である、マイクロホンと、
少なくとも1つの周波数領域音声信号を形成するために前記少なくとも1つの時間領域音声信号を変換する変換回路と、
前記少なくとも1つの周波数領域音声信号のスペクトル特徴を識別する識別回路と、
前記周波数領域音声信号内の他の周波数と比較して、どのように周波数成分の大きさが時間と共に増加するかを分析することにより、前記スペクトル特徴の時間発展を追跡する追跡回路と、
前記追跡された前記スペクトル特徴の時間発展から、前記スペクトル特徴が前記ハウジングに向かって移動している物体に対応することを決定する決定回路と、
前記決定回路が、前記物体が前記ハウジングに向かって移動していることを決定することに応じて、前記ユーザを警告する警告回路と、
を備え、
前記変換回路、前記識別回路、前記追跡回路、前記決定回路、及び前記警告回路は、前記ハウジング内又は前記ハウジング上に配置されている単一のチップ内に統合さ
れ、
前記決定回路は、前記ユーザの近接ゾーンと、前記物体の接近を示す脅威ベクトルとを計算し、前記近接ゾーン及び前記脅威ベクトルとの間のゾーンが重複する確率を計算する、
システム。
【請求項17】
前記警告回路は、さらに、前記ハウジングから音を発すること、前記ハウジングから光を発すること、前記ハウジングから振動を発すること、又は前記ハウジングに接近した少なくとも1つの電子デバイスに警告を無線で伝達することの少なくとも1つにより、前記ユーザを警告する、
請求項
16記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
[優先権の主張]
この出願は、2017年6月9日に出願された米国仮出願第62/517,660号、及び、2018年6月7日に出願された、米国特許出願第16/002,480号の利益を主張し、両方の米国出願はその全体が参照により本明細書に組み込まれる。
【0002】
[開示の分野]
本開示は、音響感知を実行すること及び、任意に警告を提供することに関係する。
【背景技術】
【0003】
自動車などの移動物体は、子供、高齢者、視覚障害者などの歩行者に危険をもたらす可能性がある。
【図面の簡単な説明】
【0004】
【
図1】
図1は、いくつかの実施形態による、音響感知及び警告システムの一例のブロック図である。
【
図2】
図2は、いくつかの実施形態による、音響感知及び警告を実行するための方法の一例のフローチャートである。
【発明を実施するための形態】
【0005】
対応する参照符号は、いくつかの図を通して対応する部分を示す。図面の要素は、必ずしも縮尺通りに描かれているわけではない。図面に示された構成は、単なる例であり、いかなる方法でも本発明の範囲を限定するものとして解釈されるべきではない。
【0006】
歩行者などのユーザの安全性を高めるために、デバイスはその周囲を聞くことができ、車両などの物体がデバイスに向かって移動していることを感知し、物体が近づいていることをユーザに警告することができる。
【0007】
例えば、ハウジングは、ユーザにより身に着けることができる。ハウジング内又はハウジング上の少なくとも1つのマイクロホンは、周囲の音声を感知し、少なくとも1つの時間領域音声信号を生成することができる。ハウジングは、感知された周囲の音声がハウジングから発せられる音を含まない程に受動的であり得、又は、ハウジングにより発生された任意の音は、少なくとも1つの時間領域音声信号を含まれない場合がある。変換回路は、少なくとも1つの周波数領域音声信号を形成するために少なくとも1つの時間領域音声信号を変換することができる。識別回路は、少なくとも1つの周波数領域音声信号のスペクトル特徴を識別することができる。追跡回路は、スペクトル特徴の時間発展を追跡することができる。決定回路は、追跡されたスペクトル特徴の時間発展から、スペクトル特徴がハウジングに向かって移動している物体に対応していることを決定することができる。警告回路は、決定回路が、物体がハウジングに向かって移動していることを決定することに応じて、ユーザを警告することができる。いくつかの例では、警告回路は、ハウジングから音、光、若しくは振動、又は少なくとも1つの電子デバイスに警告を無線で伝達することの少なくとも1つを発することにより、ユーザを警告することができる。
【0008】
本明細書で説明する周波数ベースの分析は、1又は複数のマイクロホンの向きに比較的影響を受けない。例えば、向きを急に変え得るウェアラブルマイクロホンで周波数ベースの分析を使用するとき、周波数ベースの分析は、マイクロホンの向き又は各マイクロホンがどんなに速く動くかに関わらず、頑強な結果を生じさせることができる。時間領域分析に基づいて接近する物体を感知することのできるデバイスと比較して(例えば、単に時間とともに大きくなる音を聞くだけ)、マイクロホンの動きが時間領域分析を著しく損う可能性があるので、これは重要な利点をもたらす。
【0009】
この文書では、音声(audio)という用語は、典型的な人間の聴覚の周波数領域を超えて任意に及ぶことのできる音(例えば、音波)を表すことを意図している。典型的な人間の聴覚の周波数領域は、16Hzから20kHzに及ぶことができ、音波(sonic)領域と呼ぶことができる。20kHzを超える周波数など、典型的な人間の聴覚の上限を超える周波数は、超音波領域と呼ぶことができる。この文書では、音声(audio)及び音(sound)の用語は、音波領域と超音波領域の両方を含むことを意図している。以下で説明するように、超音波領域で1又は2以上の操作を実行することが有益になり得る。
【0010】
この文書は、回路という用語は、特定のタスクを実行するデバイスを含むことを意図している。そのようなデバイスは、個別の電子部品を備えた物理回路などのハードウェア、タスクを実行するための命令を含むメモリを備えたプロセッサなどのソフトウェア、又は、ハードウェアとソフトウェアの組み合わせに純粋に含まれ得る。
【0011】
図1は、いくつかの実施形態による、音響感知及び警告システム100の一例のブロック図を示す。
図1のシステム100は、その周囲を聞くことができ、車両のような物体がシステム100に向かって移動していることを感知することができ、物体が接近していることをユーザに任意に警告することができる。
図1の構成は、単なる音響感知及び警告システム100の一例であり、他の構成も使用することができる。
【0012】
システム100は、ハウジング102を含むことができる。いくつかの例では、ハウジング102は、ユーザが身に着けることができる。例えば、ハウジング102は、ブレスレット、時計、ネックレス、クリップ式のアクセサリ、衣料品、又は別の適切なウェアラブルデバイスなどのウェアラブルデバイスであり得る。いくつかの例では、ハウジング102は、取り付け可能なポーチ又は持ち運び可能なバックパックに入れることができる。いくつかの例では、ハウジング102は、プラスチックなどの剛性材料から形成することができる。他の例では、ハウジング102は、織物などの曲げ可能な材料から形成することができる。
【0013】
いくつかの例では、ハウジング102は、能動的(active)よりはむしろ受動的(passive)であり得る。言い換えると、ハウジング102は、物体を検出する目的で特に音を発することができず、ハウジング102を取り囲んでいる環境から戻るこれらの発せられた音を聞かなくて良い。代わりに、ハウジング102は、周囲の音(例えば、ハウジング102又はハウジング102上若しくはハウジング102内の任意の部品により生成されない音)を受動的に検出することができ、検出した周囲の音に対して、物体がハウジング102に接近しているかどうかを判定するための操作を実行することができる。そのような動作の詳細は以下で説明する。
【0014】
ハウジング102内又はハウジング102上の少なくとも1つのマイクロホン104は、周囲の音声106を感知することができ、少なくとも1つの時間領域音声信号108を生成することができる。一般に、各マイクロホン104は、下流で処理され得る自身の時間領域音声信号108を生成することができる。いくつかの例では、少なくとも1つのマイクロホン104は、対応する時間領域音声信号108が、感知された周囲音声レベルに対応するアナログ時間変化電圧であるように、アナログ領域で全体的に動作することができる。他の例では、少なくとも1つのマイクロホン104は、対応する時間領域音声信号108は感知された周囲音声レベルのデジタル表現となるように、アナログ-デジタル変換器を含むことができる。
【0015】
いくつかの例では、各マイクロホン104は、超音波であり得る。言い換えると、各マイクロホン104は、カットオフ周波数よりも低い周波数で反応することができる。カットオフ周波数は20kHz超であり、人間の聴覚の一般に言われる上限である。音声という用語は人間の聴覚の領域外の周波数に適用することができるということが理解されるであろう。適切なカットオフ周波数の例は、40kHz、50kHz、両端の値を含めた40kHzと50kHzとの間の値、100kHz、両端の値を含めた50kHzと100kHzとの間の値、150kHz、又は、両端の値を含めた100kHzと150kHzとの間の値である。超音波マイクロホンの例には、微小電気機械システム(MEMS)薄膜テフロンエレクトレットマイクロホン、モノリシックMEMマイクロホン、伸縮自在のマイクロホンなどを含むことができる。一般に、各マイクロホン104は、比較的小さく、直径が4mm程度で、厚みが1.5mm程度であり得る。他のサイズを用いることもできる。
【0016】
他の例では、各マイクロホン104は、音波であり得る。言い換えると、各マイクロホン104は、20kHz以下であるカットオフ周波数よりも低い周波数で反応することができる。
【0017】
変換回路110は、少なくとも1つの周波数領域音声信号112を形成するために少なくとも1つの時間領域音声信号108を変換することができる。いくつかの例では、変換は、修正離散コサイン変換であり得る。離散短時間フーリエ変換などの他の適切な変換を用いることができる。超音波マイクロホン104が使用される場合、少なくとも1つの周波数領域音声信号112は、20kHzとマイクロホン104のカットオフ周波数との間の情報を含むことができる。
【0018】
識別回路114は、少なくとも1つの周波数領域音声信号112のスペクトル特徴を識別することができる。スペクトル特徴は、車のエンジンの周波数、サイレンの周波数、道路のノイズの周波数分布、又は周波数領域音声信号112に存在する別の適切な特徴など、移動する物体により生成された音に対応することができる。
【0019】
超音波マイクロホン104が使用される場合、スペクトル特徴は、20kHzとマイクロホン104のカットオフ周波数との間の周波数を有する第1の周波数成分を含むことができる。
【0020】
追跡回路116は、連続する音のサンプルを分析することによるなどして、スペクトル特徴の時間発展を追跡することができる。その連続は、時間とともに発展するサンプルのウィンドウ(window)を含むことができる。いくつかの例では、追跡回路116は、スペクトル特徴が、一時的なアーチファクトではなく現実の物体に対応することを示すために周波数の持続性を探すことができる。いくつかの例では、スペクトル特徴は、周波数領域音声信号112の他の周波数と比較して、時間とともに大きさが増加する周波数成分を含むことができる。そのような周波数は、マイクロホンの動き又は他の影響により引き起こされる大きさの変化とともに、上下する大きさを有することができる。周波数成分が時間とともに大きさが上昇すると、他の周波数と比較して、周波数成分は、ハウジング102に接近するか又は少なくとも1つのマイクロホン104に接近する現実の物体と対応することができる。いくつかの例では、スペクトル特徴は、第1の時間前には存在せず、第1の時間後には存在する周波数成分を含むことができる。
【0021】
いくつかの例では、周波数成分は、ある時間間隔で増加し、当該時間間隔で一定のままであり、又は特定された閾値未満を単位として当該時間間隔で減少する周波数値を有することができる。これらの例では、周波数値は、マイクロホン又は複数のマイクロホン104に対する物体の動きに関連してドップラー効果を含むことができる。例えば、増加する周波数は、マイクロホン又は複数のマイクロホン104に向かって加速する物体に対応することができる。一定の周波数は、マイクロホン若しくは複数のマイクロホン104に向かって又はマイクロホン若しくは複数のマイクロホン104から遠ざかる一定速度で移動する物体に対応することができる(一定の周波数は、マイクロホン又は複数のマイクロホン104を通り過ぎて移動する間に物体の速度が増加するというありそうもない状況に対応することもでき、増加する速度は動きのドップラー効果に対抗することができるということに留意されたい。)。減少する周波数は、物体がマイクロホン又は複数のマイクロホン104にどれだけ近いかに対応している、周波数が減少する変化割合(rate)を用いて、マイクロホン又は複数のマイクロホン104を通り過ぎて移動する物体に対応することができる。具体的な例として、第1の時間間隔での第1の一定周波数と、その後の第2の時間間隔での第2の一定周波数は、マイクロホン若しくは複数のマイクロホン104に向かって又はマイクロホン若しくは複数のマイクロホン104から遠ざかる一定の速度で移動する物体に対応することができ、第1及び第2の一定周波数は、わずかに互いに異なる。
【0022】
決定回路118は、追跡されたスペクトル特徴の時間発展から、スペクトル特徴がハウジング102に向かって移動している物体に対応することを決定することができる。例えば、決定回路118は、追跡されたスペクトル特徴の時間発展から物体の推定速度又は推定方向のうちの少なくとも一方を決定することができる。決定回路118は、決定された推定速度及び/又は推定方向から、物体がハウジング102から特定された閾値距離内を通過する推定軌道上を移動しているかどうかをさらに決定することができる。推定軌道がハウジング102から特定の閾値距離内を通過する場合、決定回路118は、警告を下流に引き起こすことができる。
【0023】
警告回路120は、決定回路118が、物体がハウジング102に向かって移動していることを決定することに応じて、ユーザに警告することができる。いくつかの例では、警告回路120は、決定回路118が、物体がハウジング102から閾値距離内で通過する推定軌道上を移動していることを決定することに応じて、ハウジング102から1又は2以上の音声警告、視覚警告、又は触覚警告を含む警告を発することができる。音声警告は、ハウジング102上又はハウジング102内のスピーカ122から発することができる。視覚警告は、ハウジング102上又はハウジング102内の光源124から発することができる。触覚警告は、ハウジング102上又はハウジング102内のバイブレータ126から発することができる。いくつかの例では、警告回路120は、決定回路118が物体がハウジング102から第2の閾値距離内を通過する推定軌道上を移動することを決定することに応じて、ハウジング102から、1又は2以上の第2の音声警告、第2の視覚警告、又は第2の触覚警告を含む第2の警告をさらに発することができる。
【0024】
音声、視覚、又は触覚警告に加えて、又はその代わりに、警告回路120は、決定回路118が物体がハウジング102から閾値距離内を通過する推定軌道上を移動していることを決定することに応じて、ワイヤレス通信回路128を介して、警告をハウジング102に接近した少なくとも1つの電子デバイスに無線で伝達することができる。例えば、警告回路120は、スマートフォン又はZigbeeを介して、隣接した電子デバイスとスマートフォンに通知することができるメッシュアプローチを使用することができる。いくつかの例では、子供はシステム100を身に着けることができ、警告回路120は、決定回路118が、物体がマイクロホン104に向かって移動していることを決定することに応じて、警告を子供の親が持っているスマートフォンに送信することができる。いくつかの例では、警告回路120は、親のスマートフォンに直接又は間接に警告を送信することができる。例えば、警告は、まず、子供が持つスマートフォン又は別の中間デバイスに送信され、その後、親のスマートフォンに送信される。
【0025】
決定回路118の特定の例は、ベクトル分析を含むことができる。例えば、決定回路118は、着用者の近接ゾーンを計算することができる。そのような近接ゾーンは、一般的な領域を含むことができ、及び/又は、システム100が全地球測位システム(GPS)受信機134又は加速度計136などの動きセンサをさらに含む場合、推定運動ベクトルを含むことができる。決定回路118は、脅威ベクトル又は車両ベクトルなどの脅威の接近を作り上げることができる。脅威の接近において、決定回路118は、初期状況及び運動パラメータを推定することができる。決定回路118は、システム100がその外部のプロセッサと接続されている場合、システム100又はスタンプ(stamp)内で処理することにより、識別を拡大することができる。決定回路118は、着用者と脅威の衝突の可能性を決定することができる。いくつかの例では、決定回路118は、着用者の近接ゾーンと脅威ベクトルとの間のゾーンが重複する確率を計算することができる。いくつかの例では、決定回路118は、重複ゾーンが着用者の近接ゾーン内にある場合に、アクションを引き起こすことができる。いくつかの例では、引き起こされたアクションは、警告回路120により下流で遂行され得る。
【0026】
着用者の近接ゾーンを計算する特定の例では、システム100のセンサは、運動情報を提供することができる。例えば、システム100は、活動追跡装置に通常見られる3次元の加速度計を含むことができる。システム100は、全地球測位システム(GPS)受信機を任意に含むことができる。いくつかの例では、システム100は、Bluetooth(登録商標)を介して接続されたスマートフォンに接続することができ、スマートフォンを介してGPSデータを抽出することができる。
【0027】
決定回路118は、経時的な着用者の推定面積を計算することができる。健康追跡システムで通常使用される加速度計ベースの運動評価を純粋に使用することには欠点がある。例えば、そのような運動評価は、限定された方向情報を典型的に提供し、粗い放射状構造(radial)のみを導出することを許容し得る。GPSベースの運動評価の使用は、運動方向及び速度情報をさらに提供することができ、洗練された弧(arc)を導き出すことができる。いくつかの例では、デフォルトの領域が放射状構造を確立することができる。いくつかの例では、放射状構造は時間に関連する放射状構造である。例えば、放射状構造は、1分、2分、3分、4分、及び5分に対応することができる。他の適切な値も使用することができる。いくつかの例では、洗練された領域は、GPSベースのメトリック(metric)(高速更新、一貫性のある情報など)が95%を超える場合、1つの弧に減らすことができる。
【0028】
いくつかの例では、変換回路110、識別回路114、追跡回路116、決定回路118、及び警告回路120は、ハウジング102内又はハウジング102上に配置された単一のチップ内に統合することができる。いくつかの例では、プロセッサ130は、変換回路110、識別回路114、追跡回路116、決定回路118、及び任意に警告回路120を含むことができる。いくつかの例では、プロセッサ130は、ストレージ132に記憶された命令を実行することができ、その命令は、回路110から回路120に対応するブロックを実装することができる。
【0029】
特定の例において、プロセッサ130は、脅威の近接(例えば、接近する物体)を作り上げることができる。この例では、プロセッサ130は、変換回路110、識別回路114、追跡回路116、及び決定回路118を含むことができる。マイクロホンアレイは、周囲の音を感知することができる。アレイは、1又は2以上のマイクロホンを含むことができる。プロセッサ130は、感知された周囲音が潜在的な脅威を表すかどうかを決定することができる。この例では、潜在的な脅威には、任意の大規模な運動可能な塊を含むことができる。この例では、プロセッサ130は、音に一致するために、プリロードされたシグネチャー(signature)を検索することができる。いくつかの例では、プロセッサ130は、あらかじめ定義された特徴を検索することができる。いくつかの例では、Bluetoothで接続されたデバイスはプロセッサ130に追加のシグネチャーを提供することができる。この例では、プロセッサ130は、脅威ベクトルを計算することができる。いくつかの例では、初期計算は、大まかな三角測量に基づくことができる。予め定義された小さなカタログは、洗練されたパラメータを提供することができる。Bluetoothで接続されたスマートフォンに記憶された拡張カタログは、さらに洗練されたパラメータを提供することができる。
【0030】
いくつかの例では、マイクロホン又は複数のマイクロホン104からの情報は、ハウジングから分離したスマートフォン又はコンピューティングデバイスなどの接続されたデバイスに無線で伝達され得る。接続されたデバイスは、1又は2以上の回路110から回路120を任意に含むことができ、回路110から回路120により実行される何れかの又はすべてのタスクを任意に実行することができる。いくつかの例では、接続されたデバイスは、警告をもたらすことができ、統計分析を任意に実行することができるリモートコンピューティング設備であり得る。いくつかの例では、接続されたデバイスは、近くの車両に情報を中継することのできる、車両‐インフラストラクチャー(V2I)の道路側デバイスであり得る。いくつかの例では、近くの車両は、1又は2以上の回路110から回路120を任意に含むことができ、回路110から回路120により実行される何れかの又はすべてのタスクを任意に実行することができる。これらの例では、各車両は、車両がハウジング102に向かう軌道上にあるかどうかを決定することができ、したがって、車両がハウジング102を脅かすかどうかを決定することができる。
【0031】
いくつかの例では、決定回路118は、警告を引き起こさないアクションを取ることができる。例えば、決定回路118は、位置及び動きの詳細などの脅威情報を車両‐インフラストラクチャー(V2I)の道路側デバイスに任意に伝えることができ、次に、当該道路側デバイスが脅威情報を近くの車両に配信することができる。
【0032】
いくつかの例では、警告回路120は、必ずしも警告を含まないアクションを取ることができる。例えば、森の中に配置され得るシステムの場合、アクションは、システムに結合されたカメラを動作させることを含むことができる。他の警告なしのアクションを使用することもできる。
【0033】
図2は、いくつかの実施形態による、音響感知及び警告を実行するための方法200の一例のフローチャートを示す。方法200は、
図1のシステム100により、又は、他の適切なシステムにより実行することができる。方法200は、音響感知及び警告を実行するための単なる1つの方法であり、他の適切な方法を使用することもできる。
【0034】
動作202において、ハードウェアプロセッサは、実行されると、少なくとも1つの時間領域音声信号を生成するために、ハウジング上又はハウジング内に配置された少なくとも1つのマイクロホンを用いて周囲の音声を感知する命令に従って構成され得る。
【0035】
動作204において、プロセッサは、実行されると、変換回路を用いて、少なくとも1つの周波数領域音声信号を形成するために、少なくとも1つの時間領域音声信号を変換する命令に従って構成され得る。
【0036】
動作206において、プロセッサは、実行されると、識別回路を用いて、少なくとも1つの周波数領域音声信号のスペクトル特徴を識別する命令に従って構成され得る。
【0037】
動作208において、プロセッサは、実行されると、スペクトル特徴の時間発展を追跡する命令に従って構成され得る。
【0038】
動作210において、プロセッサは、実行されると、追跡されたスペクトル特徴の時間発展から、スペクトル特徴がハウジングに向かって移動している物体に対応することを決定する命令に従って構成され得る。
【0039】
いくつかの例では、方法200は、決定回路が、物体がハウジングに向かって移動していることを決定することに応じて、警告回路を用いて、ハウジングから1又は2以上の音声警告、視覚警告、又は触覚警告を含む警告を発することを任意にさらに含むことができる。
【0040】
いくつかの例では、方法200は、決定回路が、物体がハウジングに向かって移動していることを決定することに応じて、警告回路を用いて、ハウジングに接近する少なくとも1つの電子デバイスに警告を無線で伝達することを任意にさらに含むことができる。
【0041】
本明細書に記載されているもの以外の他の変形は、この文書から明らかであろう。例えば、実施形態に応じて、本明細書に記載されている方法及びアルゴリズムの特定の行為、イベント、又は機能は、異なる順序で実行することができ、追加、統合、又は完全に省略され得る(ので記載されているすべての行為又はイベントが方法及びアルゴリズムの実行に必要なわけではない)。さらに、所定の実施形態では、行為又はイベントは、マルチスレッド処理、割り込み処理、又は複数のプロセッサ若しくはプロセッサコアを通じて、又は他の並列アーキテクチャ上で、順次よりむしろ同時に実行され得る。さらに、異なるタスク又は処理は、一緒に機能することができる異なるマシン及びコンピューティングシステムにより実行され得る。
【0042】
本明細書に記載された実施形態に関連して記載された様々な理解を助ける論理ブロック、モジュール、方法、及びアルゴリズムプロセス及びシーケンスは、電子的なハードウェア、コンピュータハードウェア、又は両方の組み合わせとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に説明するために、様々な理解を助けるコンポーネント、ブロック、モジュール、及び処理アクションは、それらの機能に関して一般的に上で説明されてきた。そのような機能がハードウェア又はソフトウェアとして実装されるかどうかは、特定のアプリケーションとシステム全体に課される設計上の制約に依存する。記載された機能は、特定のアプリケーション毎に様々な方法で実装され得るが、そのような実装の決定は、この文書の範囲からの逸脱を引き起こすものとして解釈されるべきではない。
【0043】
本明細書に記載された実施形態に関連して記載された様々な理解を助ける論理ブロック及び方法は、汎用プロセッサ、処理デバイス、1又は2以上の処理デバイスを有するコンピューティングデバイス、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートウェイ(FPGA)若しくは他のプログラマブルロジックデバイスなどのマシン、ディスクリートゲート(discrete gate)若しくはトランジスタロジック(transistor logic)、ディスクリートハードウェアコンポーネント、又は本明細書で記載された機能を実行するように設計されたそれらの何れかの組み合わせにより、実装又は実行され得る。汎用プロセッサ及び処理デバイスは、マイクロプロセッサであり得るが、代わりに、プロセッサは、コントローラ、マイクロコントローラ、又は状態機械、それらの組み合わせなどであり得る。プロセッサは、DSP及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと連結した1又は2以上のマイクロプロセッサ、又は他のそのような構成などのコンピューティングデバイスの組み合わせとして実装することもできる。
【0044】
本明細書で記載されたシステム及び方法の実施形態は、多数のタイプの汎用又は専用のコンピューティングシステム環境又は構成内で動作可能である。一般に、コンピューティング環境は、1又は2以上のマイクロプロセッサ、メインフレームコンピュータ、デジタルシグナルプロセッサ、ポータブルコンピューティングデバイス、電子手帳、デバイスコントローラ、電化製品に用いる計算エンジン、携帯電話、デスクトップコンピュータ、モバイルコンピュータ、タブレットコンピュータ、スマートホン、組み込みコンピュータを備えた電化製品などに基づくコンピュータシステムを含むがこれらに限定されない何れかのタイプのコンピュータシステムを含むことができる。
【0045】
そのようなコンピューティングデバイスは、典型的には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドコンピューティングデバイス、ラップトップ又はモバイルコンピュータ、携帯電話及びPDAなどの通信装置、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラムで制御できる家電製品、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、オーディオ又はビデオメディアプレーヤなどを含むがこれらに限定されない少なくともいくつかの最小計算能力を有するデバイスに見出すことができる。いくつかの実施形態では、コンピューティングデバイスは、1又は2以上のプロセッサを含むことになる。各プロセッサは、デジタルシグナルプロセッサ(DSP)、超長命令語(VLIW)、又は他のマイクロコントローラなど特殊化したマイクロプロセッサであっても良く、又は、マルチコアCPUの特殊化したグラフィックスプロセッシングユニット(GPU)ベースのコアを含む、1又は2以上の処理コアを有する従来の中央処理装置(CPU)であり得る。
【0046】
本明細書に記載された実施形態に関連して記載された方法、処理、又はアルゴリズムの処理アクションは、ハードウェアで、プロセッサにより実行されるソフトウェアモジュールで、又はそれらの任意の組み合わせで直接具体化することができる。ソフトウェアモジュールは、コンピューティングデバイスによりアクセス可能なコンピュータ可読媒体に含まれ得る。コンピュータ可読媒体は、取り外し可能、取り外し不可能、又はそれらの何らかの組み合わせである揮発性及び不揮発性の両方の媒体を含む。コンピュータ可読媒体は、コンピュータが読取可能な又はコンピュータが実行可能な命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶するために使用される。例として、限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含むことができる。
【0047】
コンピュータ記憶媒体には、ブルーレイディスク(BD)、デジタル多用途ディスク(DVD)、コンパクトディスク(CD)、フロッピーディスク、テープデバイス、ハードドライブ、光学ドライブ、ソリッドステートメモリデバイス、RAMメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、フラッシュメモリ又は他のメモリ技術、磁気カセット、磁気テープ、磁気ディスクストレージ、又は他の磁気ストレージデバイス、又は所望の情報を記憶するために使用され、1又は2以上のコンピューティングデバイスによりアクセス可能な任意の他のデバイスなどのコンピュータ又は機械可読媒体又は記憶装置が含まれるが、これらに限定されない。
【0048】
ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CDROM、又は、非一時的なコンピュータ可読記憶媒体、メディア、若しくは技術分野で知られている物理的なコンピュータストレージの任意の他の形式に存在することができる。典型的な記憶媒体は、プロセッサが記憶媒体からの情報を読み取り可能であり、記録媒体に情報を書き込み可能であるようなプロセッサに結合することができる。別の方法では、記憶媒体は、プロセッサと統合することができる。プロセッサ及び記憶媒体は、特定用途向け集積回路(ASIC)に存在することができる。ASICは、ユーザ端末に存在することができる。その代わりに、プロセッサ及び記憶媒体は、ユーザ端末の個別のコンポーネントとして存在することができる。
【0049】
本文書で使用されるような「非一時的」の語句は、「永続的又は長命」を意味する。「非一時的なコンピュータ可読媒体」の語句は、一時的な、伝搬信号を唯一の例外として、任意及びすべてのコンピュータ可読媒体を含む。これは、限定ではなく例として、レジスタメモリ、プロセッサキャッシュ及びランダムアクセスメモリ(RAM)などの非一時的なコンピュータ可読媒体を含む。
【0050】
「音声信号」の語句は、物理的な音を表す信号である。
【0051】
コンピュータ可読又はコンピュータ実行可能命令、データ構造、プログラムモジュールなどの情報の保持は、1又は2以上の変調されたデータ信号、(搬送波などの)電磁波を符号化するための様々な通信媒体、又は、他の伝送メカニズム若しくは通信プロトコルを使用することにより達成することもでき、有線又は無線の情報配信メカニズムを含む。一般に、これらの通信媒体は、信号の情報又は命令を符号化するような方法で設定又は変更された1又は2以上の特性を有する信号を参照する。例えば、通信媒体は、1又は2以上の変調データ信号を伝送する有線ネットワーク又は直接有線接続などの有線媒体、並びに、音響、無線周波数(RF)、赤外線、レーザ、及び1又は2以上の変調されたデータ信号又は電磁波を送信し、受信し、又は送受信するための他の無線媒体などの無線媒体を含む。上記の何れかの組み合わせも、通信媒体の範囲内に含まれるべきである。
【0052】
さらに、本明細書に記載された符号化及び復号化システム及び方法の様々な実施形態のいくつか又は全てを具体化するソフトウェア、プログラム、コンピュータプログラム製品の1若しくは任意の組み合わせ、又はその一部は、コンピュータが実行可能な命令又は他のデータ構造の形式で、コンピュータ又は機械可読/媒体又は記憶装置及び通信媒体の任意の所望の組み合わせから記憶され、受信され、送信され、又は読まれ得る。
【0053】
本明細書で記載されたシステム及び方法の実施形態は、コンピューティングデバイスにより実行される、プログラムモジュールなどのコンピュータが実行可能な命令の一般的な文脈でさらに説明することができる。一般に、プログラムモジュールは、特定のタスクを実行し又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。本明細書に記載された実施形態は、分散型コンピューティング環境で実装しても良い。分散型コンピューティング環境では、タスクが、1又は2以上のリモート処理デバイスによって、又は、1又は2以上の通信ネットワークを介してリンクされる1又は2以上のデバイスのクライド内で実行される。分散型コンピューティング環境では、プログラムモジュールは、メディアストレージデバイスを含むローカル及びリモートのコンピュータストレージメディアの両方に配置することができる。
【0054】
本明細書で使用される条件付きの言語、特に、「できる(can)」、「しても良い(might)」、「できる(may)」、「例えば(e.g.)」などは、特に明記しない限り、又はそうでなければ使用される文脈内で理解されない限り、所定の特徴、要素及び/又は状態が、所定の実施形態には含まれるが、他の実施形態には含まれないことを伝えることを一般に意図している。したがって、そのような条件付き言語は、特徴、要素、及び/又は状態が1又は2以上の実施形態に何らかの形で必要であること、又は、1又は2以上の実施形態が、著者の記載(author input)又は示唆(prompting)の有無に関わらず、これらの特徴、要素、及び/又は状態が含まれるのか、任意の特定の実施形態で実行されることになっているのかどうかを決定するためのロジックを必然的に含むことを暗示することを一般に意図していない。「備える(comprising)」、「含む(including)」、「有する(having)」などの用語は、同義であり、無制限の方法で包括的に使用され、追加的な要素、特徴、行為、動作などを排除しない。また、「又は(若しくは)」の用語は、包括的な意味で使用される(排他的な意味ではない)ので、例えば要素のリストを接続するために使用される場合、「又は」の用語は、リストの中の要素の1つ、いくつか、又は全てを意味する。
【0055】
上記の詳細な説明は、様々な実施形態に適用される新規な特徴を示し、説明し、指摘したが、説明されたデバイス又はアルゴリズムの形態及び詳細における様々な省略、置換、及び変更は、本開示の範囲を逸脱することなくなし得ることを理解されるであろう。認識されるように、本明細書で記載された本発明の所定の実施形態は、いくつかの特徴がその他から個別に使用され又は実行され得るので、本明細書で説明される特徴及び利益の全てを提供しない形態内で具体化され得る。
【0056】
さらに、主題は構造的特徴及び方法論的行為に特有の言語で説明されているが、添付された特許請求の範囲で定義される主題は、必ずしも上記の特定の特徴又は行為に限定されないことを理解されるべきである。むしろ、上記の特定の特徴及び行為は、特許請求の範囲を実施する例示的な形態として開示されている。
【0057】
本明細書で開示されるデバイス及び関連する方法をさらに説明するために、例の非限定的なリストを以下に提供する。以下の非限定的な例の各々は、それ自体で成立することができ、又は、他の例の1又は2以上の任意の順列又は組み合わせで組み合わせることができる。
【0058】
例1では、システムは、以下を含むことができる。
・周囲の音声を感知し、少なくとも1つの時間領域音声信号を生成するための少なくとも1つのマイクロホン;
・少なくとも1つの周波数領域音声信号を形成するための少なくとも1つの時間領域音声信号を変換する変換回路;
・少なくとも1つの周波数領域音声信号のスペクトル特徴を識別する識別回路;
・スペクトル特徴の時間発展を追跡する追跡回路;
・追跡されたスペクトル特徴の時間発展から、スペクトル特徴が少なくとも1つのマイクロホンに向かって移動している物体に対応することを決定する決定回路
【0059】
例2では、例1のシステムは、ハウジングをさらに任意に含むことができ、少なくとも1つのマイクロホンは、ハウジング内又はハウジング上に配置されている。
【0060】
例3では、例1~2の何れか1つのシステムは、決定回路がさらに、追跡されたスペクトル特徴の時間発展から物体の推定速度及び推定方向を決定し、推定速度及び推定方向から物体がハウジングから閾値距離内を通過する推定軌道上を移動していることを決定するように任意に構成することができる。
【0061】
例4では、例1~3の何れか1つのシステムは、決定回路が、物体がハウジングから閾値距離内を通過する推定軌道上を移動していることを決定することに応じて、ハウジングから1又は2以上の音声警告、視覚警告、又は触覚警告を含む警告を発する警告回路をさらに任意に含むことができる。
【0062】
例5では、例1~4の何れか1つのシステムは、警告回路がさらに、決定回路が、物体がハウジングから第2の閾値距離内を通過する推定軌道上を移動していることを決定することに応じて、ハウジングから1又は2以上の第2の音声警告、第2の視覚警告、又は第2の触覚警告を含む第2の警告を発するように任意に構成することができる。
【0063】
例6では、例1~5の何れか1つのシステムは、警告回路がさらに、決定回路が、物体がハウジングから閾値距離内を通過する推定軌道上を移動していることを決定することに応じて、ハウジングに接近した少なくとも1つの電子デバイスに警告を無線で伝達するように任意に構成することができる。
【0064】
例7では、例1~6の何れか1つのシステムは、変換回路、識別回路、追跡回路、決定回路、及び警告回路がハウジング内又はハウジング上に配置されるように任意に構成することができる。
【0065】
例8では、例1~7の何れか1つのシステムは、変換回路、識別回路、追跡回路、決定回路、及び警告回路がハウジング内又はハウジング上に配置された単一のチップ内に統合されるように任意に構成することができる。
【0066】
例9では、例1~8の何れか1つのシステムは、ハウジングが、ブレスレット、時計、ネックレス、クリップ式のアクセサリ、又は衣料品のうちの1つであるウェアラブルデバイスとして構成されるように任意に構成することができる。
【0067】
例10では、例1~9の何れか1つのシステムは、ハウジングが、感知された周囲の音声がハウジングから発せられた音を排除する程に受動的であるように任意に構成することができる。
【0068】
例11では、例1~10の何れか1つのシステムは、スペクトル特徴が、周波数領域音声信号内の他の周波数と比較して、時間とともに大きさが増加する第1の周波数成分を含むように任意に構成することができる。
【0069】
例12では、例1~11の何れか1つのシステムは、第1の周波数成分がある時間間隔で増加し、当該時間間隔で一定のままであり、又は特定された閾値未満を単位として当該時間間隔で減少する周波数値を有するように任意に構成することができる。
【0070】
例13では、例1~12の何れか1つのシステムは、スペクトル特徴が、第1の時間の前には存在せず、第1の時間後に存在する第1の周波数成分を含むように任意に構成することができる。
【0071】
例14では、例1~13の何れか1つのシステムは、少なくとも1つのマイクロホンが、20kHz超であるカットオフ周波数より低い周波数で反応し、少なくとも1つの周波数領域音声信号が20kHzとカットオフ周波数との間の情報を含み、スペクトル特徴が20kHzとカットオフ周波数との間の周波数値を有する第1の周波数成分を含むように任意に構成することができる。
【0072】
例15では、例1~14の何れか1つのシステムは、少なくとも1つのマイクロホンが、20kHz以下であるカットオフ周波数より低い周波数で反応し、少なくとも1つの周波数領域音声信号が、カットオフ周波数より低い周波数の情報を含み、スペクトル特徴が、カットオフ周波数より低い周波数値を有する第1の周波数成分を含むように任意に構成することができる。
【0073】
例16では、方法は以下を含むことができる。
・ハウジング上又はハウジング内に配置された少なくとも1つのマイクロホンを使用して、少なくとも1つの時間領域音声信号を生成するために周囲の音声を感知すること;
・変換回路を用いて、少なくとも1つの周波数領域音声信号を形成するために少なくとも1つの時間領域音声信号を変換すること;
・識別回路を用いて、少なくとも1つの周波数領域音声信号のスペクトル特徴を識別すること;
・追跡回路を用いて、スペクトル特徴の時間発展を追跡すること;及び
・決定回路を用いて、追跡されたスペクトル特徴の時間発展から、スペクトル特徴がハウジングに向かって移動している物体に対応することを決定すること
【0074】
例17では、例16の方法は、決定回路が、物体がハウジングに向かって移動していることを決定することに応じて、警告回路を用いて、ハウジングから、1又は2以上の音声警告、視覚警告、又は触覚警告を含む警告を発することを任意にさらに含むことができる。
【0075】
例18では、例16~17の何れか1つの方法は、決定回路が、物体がハウジングに向かって移動していることを決定することに応じて、警告回路を用いて、ハウジングに接近した少なくとも1つの電子デバイスに無線で警告を伝達することを任意にさらに含むことができる。
【0076】
例19では、システムは以下を含むことができる。
・ユーザにより身に着けられるように構成されたハウジング;
・周囲の音声を感知し、少なくとも1つの時間領域音声信号を生成するためのハウジング内又はハウジング上の少なくとも1つのマイクロホンであって、ハウジングは、ハウジングにより発せられる音が少なくとも1つの時間領域音声信号に含まれない程に受動的である、マイクロホン;
・少なくとも1つの周波数領域音声信号を形成するために少なくとも1つの時間領域音声信号を変換するための変換回路;
・少なくとも1つの周波数領域音声信号のスペクトル特徴を識別するための識別回路;
・スペクトル特徴の時間発展を追跡する追跡回路;
・追跡されたスペクトル特徴の時間発展から、スペクトル特徴がハウジングに向かって移動している物体に対応することを決定するための決定回路;及び
・決定回路が、物体がハウジングに向かって移動していることを決定することに応じて、ユーザを警告するための警告回路;
・変換回路、識別回路、追跡回路、決定回路、及び警告回路が、ハウジング内又はハウジング上に配置されている単一のチップ内に統合されていること
【0077】
例20では、例19のシステムは、警告回路はさらに、ハウジングから音を発すること、ハウジングから光を発すること、ハウジングから振動を発すること、又はハウジングに接近した少なくとも1つの電子デバイスに警告を無線で伝達することの少なくとも1つにより、ユーザを警告するように任意に構成することができる。