特許 6688286 歩行者情報システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6688286

(24)【登録日】2020年4月7日

(45)【発行日】2020年4月28日

(54)【発明の名称】歩行者情報システム

(51)【国際特許分類】

   G08B 21/24 20060101AFI20200421BHJP

   G08G 1/16 20060101ALI20200421BHJP

【ＦＩ】

   G08B21/24

   G08G1/16 F

【請求項の数】14

【全頁数】25

(21)【出願番号】特願2017-513240(P2017-513240)

(86)(22)【出願日】2015年9月14日

(65)【公表番号】特表2017-536595(P2017-536595A)

(43)【公表日】2017年12月7日

(86)【国際出願番号】US2015050038

(87)【国際公開番号】WO2016048704

(87)【国際公開日】20160331

【審査請求日】2018年9月13日

(31)【優先権主張番号】14/498,525

(32)【優先日】2014年9月26日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】592051453

【氏名又は名称】ハーマン インターナショナル インダストリーズ インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(72)【発明者】

【氏名】ディ チェンソ， ダヴィデ

(72)【発明者】

【氏名】マルティ， シュテファン

【審査官】 永田 義仁

(56)【参考文献】

【文献】 特開２００７−３３４６０９（ＪＰ，Ａ）

【文献】 特開２００５−２０２９１３（ＪＰ，Ａ）

【文献】 特開２０１３−２２５２９５（ＪＰ，Ａ）

【文献】 特開２０１３−００８３０７（ＪＰ，Ａ）

【文献】 特開平１０−２４６６４０（ＪＰ，Ａ）

【文献】 実開平０１−１７２１９４（ＪＰ，Ｕ）

【文献】 特開２０１１−０２５８５１（ＪＰ，Ａ）

【文献】 特開２０１３−０９７４８０（ＪＰ，Ａ）

【文献】 特開２０１３−００８３０８（ＪＰ，Ａ）

【文献】 特開２００７−３３４５５４（ＪＰ，Ａ）

【文献】 特開２００５−２９２７３０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ ２１／００−２１／１３

Ｂ６０Ｒ ２１／３４−２１／３８

Ｇ０１Ｃ ２１／００−２１／３６

Ｇ０１Ｃ ２３／００−２５／００

Ｇ０８Ｂ １９／００−３１／００

Ｇ０８Ｇ １／００−９９／００

(57)【特許請求の範囲】

【請求項1】

危険に対する警告をユーザに提供するためのシステムであって、
前記ユーザの環境内の領域と物体とのうちの少なくとも１つを検出する第１のセンサと、
前記ユーザの動作を検出する第２のセンサであって、前記第１のセンサ及び前記第２のセンサが、前記ユーザによって装着可能であり、前記第２のセンサが、全地球測位システム（ＧＰＳ）センサを備える、第２のセンサと、
前記ユーザの耳に対して配置されている、少なくとも１つの装着可能な音響変換器と、
前記ユーザに対する危険を、検出された領域と検出された物体とのうちの少なくとも１つに基づいて特定することと、
前記ユーザの検出された動作が、前記特定された危険についての前記ユーザによる認識を示しているかどうかを判断することと、
前記検出された動作が前記特定された危険についての認識を示していないと判断すると、前記少なくとも１つ音響変換器に、前記特定された危険に対する音声警告を出力することと、
を行うようにプログラムされたプロセッサと、
を備え、
前記プロセッサが、前記ユーザの前記検出された動作が前記特定された危険についての前記ユーザによる認識を示しているかどうかを、前記ユーザの移動速度の検出された変化に基づいて判断し、前記ユーザの移動速度の前記検出された変化は、前記ＧＰＳセンサによって検出される、システム。

【請求項2】

前記第１のセンサが、前記ユーザの前記環境内の物体を検出する画像センサを備える、請求項１に記載のシステム。

【請求項3】

前記第２のセンサが、前記ユーザの視線方向を検出する画像センサをさらに備える、請求項１に記載のシステム。

【請求項4】

前記プロセッサが、前記検出された領域と前記検出された物体とのうちの前記少なくとも１つに対する方位をさらに決定し、前記プロセッサが、前記ユーザの前記検出された動作が前記特定された危険についての前記ユーザによる認識を示しているかどうかを、前記ユーザの前記視線方向に基づいて判断する、請求項３に記載のシステム。

【請求項5】

前記第２のセンサが、前記ユーザの頭部の動きと位置とのうちの少なくとも１つを検出する少なくとも１つの姿勢センサをさらに備える、請求項１に記載のシステム。

【請求項6】

前記プロセッサが、前記ユーザの前記検出された動作が前記特定された危険についての前記ユーザによる認識を示しているかどうかを、前記特定された危険に対する、前記ユーザの前記頭部の動きと位置とのうちの少なくとも１つに基づいて判断する、請求項５に記載のシステム。

【請求項7】

危険に対する警告をユーザに提供するためのヘッドフォンであって、
ハウジングと、
前記ハウジング上に配置されており、前記ユーザが前記ヘッドフォンを装着した時に前記ユーザの耳に対して配置される、少なくとも１つの音響変換器と、
前記ユーザの環境内の領域と物体とのうちの少なくとも１つを検出する第１のセンサと、
前記ユーザの動作を検出するように構成された第２のセンサであって、前記第１のセンサ及び前記第２のセンサが、前記ハウジングに対して配置されており、前記第２のセンサが、全地球測位システム（ＧＰＳ）センサを備える、第２のセンサと、
前記ユーザに対する危険を、検出された領域と検出された物体とのうちの少なくとも１つに基づいて特定することと、
前記ユーザの検出された動作が、前記特定された危険についての前記ユーザによる認識を示しているかどうかを判断することと、
前記検出された動作が前記特定された危険についての認識を示していないと判断すると、前記少なくとも１つの音響変換器に、前記検出された領域と前記検出された物体とのうちの前記少なくとも１つに対する音声警告を出力することと、
を行うようにプログラムされたプロセッサと、
を備え、
前記プロセッサが、前記ユーザの前記検出された動作が前記特定された危険についての前記ユーザによる認識を示しているかどうかを、前記ユーザの移動速度の検出された変化に基づいて判断し、前記ユーザの移動速度の前記検出された変化は、前記ＧＰＳセンサによって検出される、ヘッドフォン。

【請求項8】

前記第２のセンサが、前記ユーザの位置と前記ユーザの移動速度とのうちの少なくとも１つを計算する、請求項７に記載のヘッドフォン。

【請求項9】

前記第２のセンサが、前記ユーザの脳活動を検出する少なくとも１つの脳活動センサをさらに備える、請求項７に記載のヘッドフォン。

【請求項10】

前記プロセッサが、前記ユーザの前記検出された動作が前記特定された危険についての前記ユーザによる認識を示しているかどうかを、脳活動の検出された変化に基づいて判断する、請求項９に記載のヘッドフォン。

【請求項11】

前記第１のセンサが、前記ユーザの前記環境内の少なくとも１つの物体の連続する画像を取得する画像センサを備え、物体を検出すると、前記プロセッサが、前記物体と前記画像センサとの間の相対的な軌跡を計算するようにさらにプログラムされており、前記相対的な軌跡が衝突の軌跡であると判断すると、前記物体を危険として特定する、請求項７に記載のヘッドフォン。

【請求項12】

前記少なくとも１つの音響変換器が、前記ユーザが前記ヘッドフォンを装着した時に、前記ユーザの右耳に対して配置される第１の音響変換器と、前記ユーザの左耳に対して配置される第２の音響変換器と、を備え、前記プロセッサが、
前記検出された領域と前記検出された物体とのうちの前記少なくとも１つに対する方位を決定することと、
前記警告を、前記第１の音響変換器と前記第２の音響変換器とに、前記警告が前記決定された方位と明らかに一致する場所で発せられているような方法で、出力することと、
を行うようにさらにプログラムされている、請求項７に記載のヘッドフォン。

【請求項13】

監視サービスを提供するための非一時的コンピュータ可読媒体であって、前記非一時的コンピュータ可読媒体には、コンピュータ可読プログラムコードが実装されており、前記コンピュータ可読プログラムコードは、プロセッサによって実行されると、
環境のデジタル画像を分析することにより、ユーザに対する危険を、物体と領域とのうちの少なくとも１つに基づいて特定することと、
前記ユーザの動作についての受信情報を分析することにより、前記ユーザの前記動作が、前記危険についての認識を示しているかどうかを判断することと、
前記動作が前記危険についての認識を示していないと判断すると、前記ユーザの耳に対して配置されている音響変換器を通した再生のために、前記特定された危険に対する警告を出力することと、
を含む動作を実行し、
前記プロセッサが、前記ユーザの前記動作が前記危険についての認識を示しているかどうかを、前記ユーザの移動速度の検出された変化に基づいて判断し、前記ユーザの移動速度の前記検出された変化は、前記ユーザによって装着可能である全地球測位システム（ＧＰＳ）センサによって検出される、非一時的コンピュータ可読媒体。

【請求項14】

プロセッサによって実行されると、環境のデジタル画像を分析することにより、ユーザに対して危険である前記環境内の物体と領域とのうちの少なくとも１つを特定することを含む動作をさらに実行する前記コンピュータ可読プログラムコードが、機械学習アルゴリズムを備え、前記機械学習アルゴリズムが、危険として、前記ユーザが避けるように動いた物体と領域とのうちの少なくとも１つを特定し、物体と領域とのうちの前記特定された少なくとも１つが、後続のデジタル画像内に存在していると判断すると、前記物体と前記領域とのうちの前記少なくとも１つを、危険として特定する、請求項１３に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１４年９月２６日に出願された、米国特許出願番号第１４／４９８，５２５号の優先権を主張し、それは、ここに、参照によって、本明細書に組み込まれる。

【背景技術】

【0002】

歩行者は、歩行中、注意散漫であることがある。たとえば、歩行者の中には、歩行中に、Ｅメール、テキストメッセージ、などを、歩行者の携帯電話から送信する。他にも歩行者は、歩行中、単に空想にふけっているかもしれない。しかしながら、歩行者が歩行者らの周囲に注意を払っていない場合、歩行者らは、危険物及び／または危険領域に踏み入る危険がある。たとえば、歩行者は、車道へ踏み入るかもしれない。別の例として、歩行者は、水たまりまたは泥地に足を入れてしまうかもしれない。

【発明の概要】

【課題を解決するための手段】

【0003】

危険に対する警告を歩行者に提供するためのシステムのさまざまな実施形態は、歩行者の環境内の領域及び／または物体のうちの少なくとも１つを検出することができる第１のセンサを含むことができる。システムは、また、歩行者の動作を検出することができる第２のセンサを含むことができる。第１のセンサ及び第２のセンサは、歩行者によって装着され得る。システムは、歩行者の耳の上、中、または耳に対して、配置され得る音響変換器（たとえば、スピーカー）を含むことができる。システムは、また、歩行者にとって危険をもたらす、検出された領域と物体とのうちの少なくとも１つを特定するように構成され得るプロセッサを含むことができる。プロセッサは、また、歩行者の検出された動作が、歩行者が検出された領域と物体とのうちの少なくとも１つについて認識していることの表示であるかどうか、を判断することができる。検出された動作が認識の表示でないと判断した時に、プロセッサは、音響変換器に、検出された領域と物体とのうちの少なくとも１つに対する音声警告を出力するように構成され得る。

【0004】

危険に対する警告を歩行者に提供するためのヘッドフォンのさまざまな実施形態は、ハウジングと、ハウジング上に配置され、歩行者の耳に対して配置されるように構成された、少なくとも１つの音響変換器と、を含むことができる。ヘッドフォンは、歩行者の環境内の領域及び／または物体のうちの少なくとも１つを検出することができる第１のセンサを含むことができる。ヘッドフォンは、また、歩行者の動作を検出することができる第２のセンサを含むことができる。ヘッドフォンは、また、歩行者にとって危険をもたらす、検出された領域と物体とのうちの少なくとも１つを特定するように構成され得るプロセッサを含むことができる。プロセッサは、また、歩行者の検出された動作が、歩行者が検出された領域と物体とのうちの少なくとも１つについて認識していることの表示であるかどうか、を判断することができる。検出された動作が認識の表示ではないと判断した時に、プロセッサは、少なくとも１つの音響変換器に、検出された領域と物体とのうちの少なくとも１つに対する音声警告を出力するように構成され得る。

【0005】

監視サービスを提供するためのコンピュータプログラム製品のさまざまな実施形態は、それを用いて具現化されたコンピュータ可読媒体プログラムコードを含む非一時的コンピュータ可読媒体を、含むことができる。プログラムコードは、歩行者の環境のデジタル画像を分析して、歩行者にとって危険をもたらす、物体と領域とのうちの少なくとも１つを特定するように構成され得る。プログラムコードは、また、歩行者の動作についての受信情報を分析して、検出された動作が、歩行者が検出された物体と領域とのうちの少なくとも１つについて認識していることの表示であるかどうか、を判断するように構成され得る。プログラムコードは、また、動作が、歩行者が検出された物体と領域とのうちの少なくとも１つについて認識していることの表示ではない、と判断した時、音響変換器に可聴警告を出力するように構成され得る。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
危険に対する警告をユーザに提供するためのシステムであって、
前記ユーザの環境内の領域と物体とのうちの少なくとも１つを検出する第１のセンサと、
前記ユーザの動作を検出する第２のセンサであって、前記第１のセンサ及び前記第２のセンサが、前記ユーザによって装着可能である、第２のセンサと、
前記ユーザの耳に対して配置されている、少なくとも１つの装着可能な音響変換器と、
前記ユーザに対する危険を、検出された領域と検出された物体とのうちの少なくとも１つに基づいて特定することと、
前記ユーザの検出された動作が、前記特定された危険についての前記ユーザによる認識を示しているかどうかを判断することと、
前記検出された動作が前記特定された危険についての認識を示していないと判断すると、前記少なくとも１つ音響変換器に、前記特定された危険に対する音声警告を出力することと、
を行うようにプログラムされたプロセッサと、
を備える、前記システム。
（項目２）
前記第１のセンサが、前記ユーザの前記環境内の物体を検出する画像センサを備える、項目１に記載のシステム。
（項目３）
前記第２のセンサが、前記ユーザの視線方向を検出する画像センサを備える、項目１に記載のシステム。
（項目４）
前記プロセッサが、前記検出された領域と前記検出された物体とのうちの前記少なくとも１つの方角をさらに決定し、前記認識の表示が、前記方角の前記方向への前記ユーザの検出された視線方向を備える、項目３に記載のシステム。
（項目５）
前記第２のセンサが、前記ユーザの頭部の動きと位置とのうちの少なくとも１つを検出する少なくとも１つの姿勢センサを備える、項目１に記載のシステム。
（項目６）
前記認識の表示が、前記特定された危険に対する、前記ユーザの前記頭部の動きと位置とのうちの少なくとも１つを検出することを備える、項目５に記載のシステム。
（項目７）
危険に対する警告をユーザに提供するためのヘッドフォンであって、
ハウジングと、
前記ハウジング上に配置されており、前記ユーザが前記ヘッドフォンを装着した時に前記ユーザの耳に対して配置される、少なくとも１つの音響変換器と、
前記ユーザの環境内の領域と物体とのうちの少なくとも１つを検出する第１のセンサと、
前記ユーザの動作を検出するように構成された第２のセンサであって、前記第１のセンサ及び前記第２のセンサが、前記ハウジングに対して配置されている、第２のセンサと、
前記ユーザに対する危険を、検出された領域と検出された物体とのうちの少なくとも１つに基づいて特定することと、
前記ユーザの検出された動作が、前記特定された危険についての前記ユーザによる認識を示しているかどうかを判断することと、
前記検出された動作が前記特定された危険についての認識を示していないという判断により、前記少なくとも１つの音響変換器に、前記検出された領域と前記検出された物体とのうちの前記少なくとも１つに対する音声警告を、出力することと、
を行うようにプログラムされたプロセッサと、
を備える、前記ヘッドフォン。
（項目８）
前記第２のセンサが、前記ユーザの位置と前記ユーザの移動速度とのうちの少なくとも１つを計算する、項目７に記載のヘッドフォン。
（項目９）
前記認識の表示が、前記ユーザの移動速度の検出された変化を備える、項目８に記載のヘッドフォン。
（項目１０）
前記第２のセンサが、前記ユーザの脳活動を検出する、項目７に記載のヘッドフォン。
（項目１１）
前記認識の表示が、脳活動の検出された変化を備える、項目１０に記載のヘッドフォン。
（項目１２）
前記第１のセンサが、前記ユーザの前記環境内の少なくとも１つの物体の連続する画像を取得する画像センサを備え、物体を検出すると、前記プロセッサが、前記物体と前記画像センサとの間の相対的な軌跡を計算するようにさらにプログラムされており、前記相対的な軌跡が衝突の軌跡であると判断すると、前記物体を危険として特定する、項目７に記載のヘッドフォン。
（項目１３）
前記少なくとも１つの音響変換器が、前記ユーザが前記ヘッドフォンを装着した時に、前記ユーザの右耳に対して配置される第１の音響変換器と、前記ユーザの左耳に対して配置される第２の音響変換器と、を備え、前記プロセッサが、
前記検出された領域と前記検出された物体とのうちの前記少なくとも１つに対する方角を判断することと、
前記警告を、前記第１の音響変換器と前記第２の音響変換器とに、前記警告が前記判断された方角と明らかに一致する場所で発せられているような方法で、出力することと、
を行うようにさらにプログラムされている、項目７に記載のヘッドフォン。
（項目１４）
監視サービスを提供するためのコンピュータプログラム製品であって、
それを用いて具現化されたコンピュータ可読媒体プログラムコードを有する非一時的コンピュータ可読媒体であって、プロセッサによって実行されると動作を実行する前記コンピュータ可読媒体プログラムコードが、
環境のデジタル画像を分析して、ユーザに対する危険を、物体と領域とのうちの少なくとも１つに基づいて特定することと、
前記ユーザの動作についての受信情報を分析して、前記ユーザの前記動作が、前記危険についての認識を示しているかどうかを判断することと、
前記動作が前記危険についての認識を示していないと判断すると、前記ユーザの耳に対して配置されている音響変換器を通した再生のために、前記特定された危険に対する警告を出力することと、
を備える、非一時的コンピュータ可読媒体、
を備える、前記コンピュータプログラム製品。
（項目１５）
前記ユーザの動作についての前記受信情報が、前記ユーザの頭部の動きについての情報を備え、前記ユーザの前記頭部の左右への交互の動きが、認識していることを示す、項目１４に記載のコンピュータプログラム製品。
（項目１６）
前記ユーザの動作についての前記受信情報が、異なるコンピュータプログラム製品へのユーザ入力を検出することを備え、入力が検出されている期間が、前記ユーザによる認識がないことを示す、項目１４に記載のコンピュータプログラム製品。
（項目１７）
前記コンピュータ可読媒体プログラムコードが、ユーザによって実行されると、前記デジタル画像を分析して前記デジタル画像内の検出された物体の大きさを計算することを備える動作をさらに実行し、前記計算された大きさが所定の閾値の大きさを超えているという判断により、前記検出された物体が、危険として特定される、項目１４に記載のコンピュータプログラム製品。
（項目１８）
前記コンピュータ可読媒体プログラムコードが、プロセッサによって実行されると、前記デジタル画像内の検出された物体を画像のデータベース内の参照画像と比較することを備える動作をさらに実行し、前記検出された物体が前記画像データベース内の参照画像に一致すると前記判断したことにより、前記検出された物体が、危険として特定される、項目１４に記載のコンピュータプログラム製品。
（項目１９）
前記コンピュータ可読媒体プログラムコードが、プロセッサによって実行されると、
前記検出された物体と前記検出された領域とのうちの前記少なくとも１つについてのテキスト記述を作成することと、
テキスト音声変換を前記テキスト記述に対して実行することと、
を備える動作をさらに実行し、
前記警告が、前記音声変換されたテキスト記述の音声提示を備える、
項目１４に記載のコンピュータプログラム製品。
（項目２０）
プロセッサによって実行されると、環境のデジタル画像を分析して、ユーザに対して危険である前記環境内の物体と領域とのうちの少なくとも１つを特定することを備える動作をさらに実行する前記コンピュータ可読媒体プログラムコードが、機械学習アルゴリズムを備え、前記機械学習アルゴリズムが、危険として、前記ユーザが避けるように動いた物体と領域とのうちの少なくとも１つを特定し、物体と領域とのうちの前記特定された少なくとも１つが、後続のデジタル画像内に存在していると判断すると、前記物体と前記領域とのうちの前記少なくとも１つを、危険として特定する、項目１４に記載のコンピュータプログラム製品。

【図面の簡単な説明】

【0006】

【図1A】ヘッドフォンの一実施形態を装着している歩行者の斜視図である。

【図1B】スマート眼鏡とヘッドフォンとの一実施形態を装着している歩行者の斜視図である。

【図2A】本明細書に記載の実施形態のシステム構成要素のブロック図である。

【図2B】プロセッサモジュールの一実施形態の詳細ブロック図である。

【図2C】環境センサの一実施形態の詳細ブロック図である。

【図2D】歩行者センサの実施形態の詳細ブロック図である。

【図3A】さまざまな実施形態によって実装されたプロセスのフローチャートである。

【図3B】さまざまな実施形態によって実装された別のプロセスのフローチャートである。

【図4】さまざまな実施形態の動作を示したシナリオを上から見下ろした図である。

【図5A】さまざまな実施形態の動作を示したシナリオを上から見下ろした図である。

【図5B】さまざまな実施形態の動作を示したシナリオを上から見下ろした図である。

【図5C】さまざまな実施形態の動作を示したシナリオを上から見下ろした図である。

【図5D】さまざまな実施形態の動作を示したシナリオを上から見下ろした図である。

【図5E】さまざまな実施形態の動作を示したシナリオを上から見下ろした図である。

【図5F】さまざまな実施形態の動作を示したシナリオを上から見下ろした図である。

【図5G】さまざまな実施形態の動作を示したシナリオを上から見下ろした図である。

【図5H】さまざまな実施形態の動作を示したシナリオを上から見下ろした図である。

【図5I】さまざまな実施形態の動作を示したシナリオを上から見下ろした図である。

【図5J】さまざまな実施形態の動作を示したシナリオを上から見下ろした図である。

【図5K】さまざまな実施形態の動作を示したシナリオを上から見下ろした図である。

【図6】さまざまな実施形態の動作を示した別のシナリオの斜視図である。

【発明を実施するための形態】

【0007】

本開示の実施形態は、デジタルアシスタントシステムを含み、デジタルアシスタントシステムは、少なくとも１つのセンサと、出力モジュールと、制御論理と、を含むことができる。センサは、発せられた言葉、音、ユーザの周囲の画像、及び／またはユーザの行動などの、ユーザの環境の１つまたは複数の特徴を検出することができる。処理モジュール内に含まれ得る制御論理は、たとえば、ユーザの動作及び／または環境の内容を、センサによって検出された特徴から特定することができる。その後、システムは、ユーザの動作及び／または環境の特定された内容に関連する追加情報及び／または補足情報を積極的に検索し、検索した情報を、積極的にユーザに提示することができる。

【0008】

図１は、ヘッドフォン１００内に配置された歩行者守護天使の一実施形態を示している。図２Ａ〜図２Ｄは、ヘッドフォン１００内及び／またはその上に配置され得る、さまざまな構成要素を示している。ヘッドフォン１００は、ハウジング１０４と音響変換器１０６（たとえば、スピーカー）とを含むことができる。さまざまな実施形態では、音響変換器１０６は、オーバーイヤー（スープラオーラル型の）ヘッドフォンまたはアラウンドイヤー（サーカムオーラル型の）ヘッドフォンを含むことができ、ハウジング１０４は、音響変換器１０６を支え、歩行者の頭にフィットするヘッドバンドを含むことができる。さまざまな実施形態では、音響変換器１０６は、挿耳型音響変換器（たとえば、小型イヤホン）を含むことができ、ハウジング１０４は、音響変換器１０６にスピーカーケーブルまたはワイヤレス接続（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標））を介して接続されている、別のユニットを含むことができる。

【0009】

ハウジング１０４は、プロセッサモジュール２１６とさまざまなセンサとを含むことができ、センサは、歩行者が歩行者の周囲やあらゆる危険に注意を払っているかどうかを示すことができる、歩行者の環境や歩行者の挙動の特徴を検出することができる。たとえば、ハウジング１０４は、装着者の周囲のデジタル画像を取得する、１つまたは複数の外向きのカメラ２２０を含むことができる。図１Ａに示した実施形態では、ハウジング１０４は、３つのカメラ２０８、２１０、及び２１２を含み、それらは、歩行者の前と後と側面とのデジタル画像を取得することができる。（図１Ａには図示しない）ハウジングの第２の側面は、歩行者の他方の側面の画像を取得する追加のカメラを含むことができる。カメラは、可視光センサ、赤外線センサ、紫外線センサ、温度センサ、などのうちの１つまたは複数を含むことができる。

【0010】

ハウジング１０４は、また、歩行者の環境からの音を取得することができる、外部マイク２２２を含むことができる。図１Ａに示した実施形態では、ハウジング１０４は、第１のマイク２１４と、ハウジング１０４の反対側にある第２のマイクと、を含むことができる。２つ以上のマイク２２２を提供することによって、プロセッサモジュール２０２は、両方のマイクによって検出された音を分析し、音源に対する相対方位を提供することができる。

【0011】

ハウジング１０４は、歩行者の環境の特徴を検出する追加のセンサを含むことができる。たとえば、ハウジング１０４は、歩行者の位置を検出することができる全地球測位システム（ＧＰＳ）モジュール２２４を含むことができる。本明細書で述べるＧＰＳは、一般に、任意及び／またはすべての全地球的航法衛星システムを指し、ＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、ＢｅｉＤｏｕ、などが含まれる。ＧＰＳモジュールは、また、歩行者の移動方向と移動速度とを計算することができる。ハウジング１０４は、また、たとえば、大気中の化学物質を検出するエアースニッファー、レーザー距離測定センサ、超音波センサ、などの他のセンサを含むことができる。

【0012】

ハウジング１０４は、また、歩行者の動作及び／または挙動の特徴を検出するセンサを含むことができる。たとえば、図１Ｂに例示した通り、さまざまな実施形態は、歩行者の方を向いているカメラ２３０を含むことができる。図１Ｂでは、歩行者の方を向いているカメラ１６４を、眼鏡１５０のレンズ１６０またはフレーム１５４に取り付けて、歩行者の目１６２を見ることができる。歩行者の方を向いているカメラ１６４は、歩行者の視線の方向を検出することができる。ハウジング１０４は、また、歩行者の頭部の動きと位置と（たとえば、歩行者が歩行者の頭を向けた方向、歩行者の頭が向いている方向）を検出することができるセンサ（たとえば、加速度計２３２及び位置センサ２３４）を、含むことができる。ハウジング１０４は、また、刺激された歩行者の脳の脳波及び／または位置を検出することができる脳活動センサ２３６を、含むことができる。脳活動センサ２３６の例は、Ｅｍｏｔｉｖ（登録商標） ＥＰＯＣ（登録商標） ｎｅｕｒｏｈｅａｄｓｅｔと、ＮｅｕｒｏＳｋｙ（登録商標） ｂｉｏセンサと、Ｆｒｅｅｒ Ｌｏｇｉｃ Ｂｏｄｙｗａｖｅ（登録商標）センサと、を含むことができる。

【0013】

さらに図１Ｂを参照すると、眼鏡１５０の実施形態は、歩行者の頭部１０２上で耳に対して配置されている音響変換器１５６を含むことができる。たとえば、音響変換器１５６を、眼鏡フレーム１５４から伸びる柄１５８に取り付けることができる。

【0014】

ここで図２Ａ〜図２Ｄを参照すると、システム２００のさまざまな実施形態では、さまざまな歩行者センサ２０６と環境センサ２０８とをプロセッサモジュール２０２と連通させて、歩行者の環境内の危険物及び／または危険領域を検出し、歩行者が検出された危険物及び／または危険領域について認識しているかどうかを判断することができる。たとえば、歩行者は、歩行者のスマートフォンなどに気を取られていて、歩いている場所に注意を払っていないかもしれない。プロセッサモジュール２０２が、１つまたは複数の危険物及び／または危険領域を（環境センサ２０８からの入力に基づいて）検出し、歩行者が危険を認識していないと（環境センサ及び／または歩行者センサに基づいて）判断した場合、プロセッサモジュール２０２は、可聴警告を音響変換器２０４を通して出力することができる。さまざまな実施形態では、プロセッサモジュール２０２は、異なる音響変換器２０４（たとえば、歩行者の左耳内の音響変換器及び歩行者の右耳内の音響変換器）に送信される可聴警告を調節して、検出された危険の方向から発せられたと歩行者が認識する可聴警告を提供する。さまざまな実施形態では、システムは、また、振動モータなどの触覚フィードバックモジュールを、危険に対する振動警告を歩行者に提供するために含むことができる。

【0015】

さまざまな実施形態では、システム２００のさまざまな構成要素を、複数の物理的なハードウェアに分割することができる。たとえば、プロセッサモジュール２０２は、スマートフォン内に提供され得る。たとえば、スマートフォンは、本明細書で説明する処理及び／またはアルゴリズムを実行するアプリケーションを含むことができる。さまざまな環境センサ２０８（たとえば、外部カメラ、目追跡カメラ、ＧＰＳ受信機、など）は、スマートフォン内に含まれ得る。音響変換器２０４を、スマートフォンにスピーカーワイヤまたはワイヤレス接続を介して接続されているイヤホンまたはヘッドフォン内に、組み込むことができる。装着者センサを、スマートフォン内に、音響変換器を含むハウジング内に、または別のハウジング（たとえば、宝石、衣服、などのハウジング）内に、組み込むことができる。

【0016】

さまざまな実施形態では、プロセッサモジュール２０２は、コンピュータプロセッサ２１０とメモリ２１２とを含むことができる。プロセッサ２１０は、メモリ２１２内に格納されているアルゴリズムを実行することができる。プロセッサ２１０は、また、（歩行者センサ２０６と環境センサ２０８とからの）受信センサデータを分析して、危険を検出及び／または特定し、歩行者が検出された危険を認識しているかどうかを判断することができる。プロセッサ２１０は、また、可聴警告を音響変換器２０４に出力することができる。たとえば、プロセッサ２１０は、テキスト音声変換を実行して、危険について説明する警告を提供することができ、歩行者が何に気を付けるかを理解できるようにする。また、上記で説明した通り、プロセッサ２１０は、異なる出力を異なる音響変換器に提供して、危険の位置から発せられたと歩行者が認識する可聴ステレオ警告を提供することができる。

【0017】

メモリ２１２は、プロセッサ２１０によって実行されるさまざまなアルゴリズムを含むことができる。メモリ２１２は、また、物体認識データベース及び／または地理参照危険マップを含むことができる。物体認識データベースは、車両、歩道上の自治体のごみ箱、縁石、などの、知られている危険物の画像を含むことができる。物体認識データベースは、また、危険ではない、知られている物体の画像を含むことができる。プロセッサ２１０は、受信画像を物体認識データベースと比較して、危険かもしれない、環境内の物体を識別することができる。地理参照危険マップは、歩道内の照明用ポールまたは標識などの、知られている、場所が固定されている危険の位置を含むことができる。

【0018】

本明細書で使用する通り、「危険」という用語は、歩行者がそれらと衝突した場合に歩行者を傷つける恐れのある、歩行者の環境内の物体及び／または領域（たとえば、車、自転車、他の歩行者、ごみ箱、など）を含むことができる。「危険」は、また、歩行者が接触することを嫌う、歩行者の環境内の物体及び／または領域（たとえば、大きな水たまり、ぬかるんだエリア、歩道上の犬の糞、など）を含むことができる。さまざまな場合で、システム２００は、機械学習などを用いて、歩行者を不快にさせるものを判断することができる。たとえば、歩行者が常に水たまりの周囲を歩く場合、システム２００は、歩行者が水たまりを不快に思っていると判断することができる。さまざまな実施形態では、システム２００は、複数の歩行者によって集められ、格納されている、不快にさせる物体及び／または領域のデータベースにアクセスすることができる（たとえば、クラウドソーシング）。たとえば、さまざまな実施形態では、システム２００は、データベースをローカルにダウンロードし、格納することができる。さまざまな実施形態では、システム２００は、遠隔コンピュータシステム上のデータベースに、遠隔コンピュータシステムとデータトランシーバ（たとえば、Ｗｉ−Ｆｉまたは携帯電話データ接続）を用いて通信することによって、アクセスすることができる。

【0019】

図３Ａは、歩行者に警告を与えるためにプロセッサ２１０によって実装され得る、プロセス３００の実施形態を示している。ブロック３０２では、プロセッサモジュール２１０は、１つまたは複数の画像を外部カメラ２２０から受信し、受信画像内の物体及び／または領域を特定することができる。加えて、プロセッサ２１０は、歩行者の位置を（たとえば、ＧＰＳモジュール２２４を使用して）判断し、地理参照危険マップデータベース内に格納されている危険を特定することができる。

【0020】

ブロック３０４では、プロセッサは、検出された物体及び／または領域が危険であるかどうかを判断することができる。歩行者が、地理参照危険マップデータベース内に格納されている、知られている危険に近づいていく場合、検出された物体及び／または領域は、危険である。外部カメラ２２０から受信した画像内で検出された物体及び／または領域に対して、プロセッサ２１０は、検出された物体及び／または領域を分析して、物体及び／または領域が危険であるかどうかを判断することができる。たとえば、プロセッサ２１０は、検出された物体及び／または領域を物体認識データベースと比較して、検出された物体及び／または領域が知られている危険物及び／または危険領域の画像に一致するかどうか、を確かめることができる。プロセッサ２１０は、また、検出された物体を分析して、その大きさを判断することができる。歩道上のチューインガムの包装紙などの小さな物体は、危険ではないかもしれない。反対に、自治体のごみ箱などの大きな物体は、危険かもしれない。プロセッサ２１０は、また、検出された物体及び／または領域の赤外線特徴及び／または紫外線特徴を分析することができる。たとえば、歩道上の水たまりは、水たまりの周囲の乾いた歩道の赤外線特徴またはほとんど濡れていない歩道の部分からの赤外線特徴とは異なる赤外線特徴を有することができる。同様に、プロセッサ２１０は、検出された物体の反射率を分析することができる。上記の実施例では、水たまりは、乾いた舗道またはほとんど濡れていない舗道とは異なる反射率を有することができる。

【0021】

ブロック３０４では、プロセッサ２１０が、分析された物体及び／または領域が危険ではないと判断した場合、プロセス３００は、ブロック３０２に戻り、歩行者が移動するにつれて追加の物体及び／または領域を検出することができる。プロセッサ２１０が、分析された物体及び／または領域が危険であると判断した場合、プロセス３００は、ブロック３０６に移動し、歩行者が物体及び／または領域と衝突するコース上にあるかどうかを判断することができる。ブロック３０６では、プロセッサ３０６は、さまざまなセンサからのデータを分析して、歩行者が検出された危険物及び／または危険領域と衝突するコース上にあるかどうかを判断することができる。たとえば、プロセッサ２１０は、歩行者の軌跡（たとえば、移動速度及び移動方向）、及び／または物体が移動している（たとえば、道路に沿って移動している車の）場合の物体の軌跡を、計算することができる。さまざまな実施形態では、プロセッサ２１０は、歩行者と検出された危険物及び／または危険領域との間の相対的な軌跡を計算することができる。たとえば、さまざまな実施形態では、プロセッサ２１０は、外部カメラ２２０から受信した連続するデジタル画像を分析して、歩行者に対する検出された危険物及び／または危険領域の相対的な軌跡を計算することができる。たとえば、検出された危険物及び／または危険領域のデジタル画像が連続するデジタル画像内で大きくなっていく場合、物体は近づいてきている。また、検出された危険物及び／または危険領域のデジタル画像が連続するデジタル画像内でほぼ静止している場合、検出された危険物及び／または危険領域は、歩行者に向かって真っすぐに移動しているかもしれない。反対に、検出された危険物及び／または危険領域が連続するデジタル画像内で小さくなっていく場合、及び／または物体及び／または領域が連続するデジタル画像内であまり静止していない場合、物体及び／または領域は、歩行者から離れるように移動しているかもしれず、または歩行者と衝突する結果にならない相対的な軌跡に沿って、移動しているかもしれない。プロセッサ２１０は、また、他のセンサデータを受信することができ、それを使用して、検出された危険物及び／または危険領域と歩行者との間の相対的な軌跡が衝突する結果になりそうかどうかを判断することができる。たとえば、上記で説明した通り、システム２００は、レーザー距離測定センサ、動作感知装置、及び／または超音波センサを含むことができる。プロセッサ２１０は、これらのセンサから受信したデータを使用して、検出された物体及び／または領域の範囲及び／または相対移動方向を計算することができる。ブロック３０６では、プロセッサ２１０が、歩行者及び／または検出された危険物及び／または危険領域が衝突するコース上にないと判断した場合、プロセス３００は、ブロック３０２に戻ることができる。

【0022】

ブロック３０６では、プロセッサ２１０が、歩行者、及び／または検出された危険物及び／または危険領域が衝突するコースにあると判断した場合、プロセス３００は、ブロック３０８に進み、そこで、プロセッサ２１０は、歩行者が検出された危険物及び／または危険領域を認識しているかどうかを判断する。たとえば、プロセッサ２１０は、さまざまなセンサから受信したデータを分析して、歩行者の動作を検出し、検出された動作が、歩行者が検出された危険物及び／または危険領域について認識していることを示しているかどうか、を判断することができる。たとえば、さまざまな実施形態では、プロセッサ２１０は、歩行者がアプリケーションと相互作用していることを示すデータ（たとえば、ユーザ動作）を、スマートフォン上で作動しているアプリケーションから受信することができる。歩行者がアプリケーションと相互作用している場合、プロセッサ２１０は、歩行者が歩行者の周囲に注意を払っておらず、したがって、検出された危険物及び／または危険領域について認識していない、と判断することができる。別の実施例として、プロセッサ２１０が、歩行者が通りに近づいた時に歩行者の頭を両方向に向けたというデータを、（上記で説明した）加速度計から受信した場合、プロセッサ２１０は、歩行者が周囲を見回しており、見回していることは、歩行者が通りなどの検出された危険物及び／または危険領域を認識しているかもしれないということを示している、と判断することができる。別の実施例として、ユーザの方を向いているカメラ２３０は、歩行者が別のどこかを見ている（したがって、歩行者が行先を見ていない）かどうかを判断することができる。たとえば、スマートフォンに内蔵されているカメラは、歩行者の視線を検出し、視線情報をプロセッサ２１０に送信することができる。歩行者がスマートフォンの画面から数秒間目を離さなかった場合、プロセッサ２１０は、歩行者が、スマートフォン画面上のコンテンツによって注意を逸らされており、危険物及び／または危険領域について認識していないかもしれない、と判断することができる。別の実施例として、プロセッサ２１０が、歩行者が歩行者のペースを変えた（たとえば、通りに近づくにつれてゆっくりになる）というデータをＧＰＳモジュール２２４から受信した場合、プロセッサ２１０は、ゆっくりになったペースが、歩行者が通り（つまり、検出された危険な領域）を認識していることを示している、と判断することができる。別の実施例として、プロセッサ２１０は、データを脳活動センサ２３６から受信することができる。さまざまな実施形態では、脳活動センサ２３６は、歩行者が危険について認識している時に活発な、歩行者の脳の領域（つまり、脳の危険領域）内の脳活動を検出することができる。そのような実施形態では、プロセッサ２１０が歩行者の脳の危険領域が活発であると判断した場合、プロセッサ２１０は、特定の脳活動が、歩行者が検出された危険物及び／または危険領域について認識していることを示している、と判断することができる。さまざまな実施形態では、脳活動センサ２３６は、歩行者が特定の注意を散漫にする活動（たとえば、Ｅメールを読んでいる、音楽を聴いている、電話で話しをしている）を行っている時に活発な、歩行者の脳の領域内の脳活動を検出することができる。たとえば、システム２００の実施形態は、機械学習を用いて、異なる種類の活動中に活発である歩行者の脳の領域を、特定することができる。システム２００が、注意を散漫にする活動中に活発になる歩行者の脳の領域が活発である、と判断した場合、プロセッサ２１０は、検出された動作が、歩行者は注意散漫であって、検出された危険物及び／または危険について認識していない可能性が高いことを示している、と判断することができる。さまざまな他の実施形態では、脳活動センサ２３６は、危険の認識を示す脳信号を検出することができる。そのような実施形態では、プロセッサ２１０が脳信号を検出した場合、プロセッサ２１０は、その脳活動が、歩行者が危険について認識していることを示すものである、と判断する。プロセッサ２１０が、歩行者が検出された危険物及び／または危険領域について認識していると判断した場合、ブロック３０８で、プロセッサ２１０は、ブロック３０２に戻ることができる。別の実施形態では、脳活動信号２３６は、歩行者の経路内の危険物及び／または危険領域を認識することから歩行者の注意を逸らし得る動作を、歩行者が行っていることを示す脳信号を、検出することができる。たとえば、さまざまな実施形態では、システム２００は、機械学習を用いて、歩行者が特定の注意を散漫にする活動（たとえば、電話で話をしている、Ｅメールまたはテキストメッセージを入力している、及び歩行者のスマートフォンでビデオを見ている）を行っている時の脳活動信号パターンを、特定することができる。システム２００が特定された脳活動信号パターンを検出した場合、システム２００は、その信号パターンが、危険物及び／または危険領域を認識することから歩行者の注意を逸らし得る活動を歩行者が行っていることを示している、と判断することができる。

【0023】

プロセッサ２１０が、歩行者が検出された危険物及び／または危険領域を認識していないと判断した場合、プロセッサ２１０は、プロセスのブロック３１０に移動し、警告を歩行者に出力することができる。警告は、音響変換器２０４を通して再生される可聴警告を含むことができる。警告は、危険を説明する話し言葉による警告（たとえば、「車が左側から近づいてきています」）を含むことができる。上記で説明した通り、２つの音響変換器２０４を含む実施形態では、警告は、検出された危険及び／または領域と同じ位置で発生していると歩行者が認識する、ステレオ出力または両耳用の出力を含むことができる。システム２００が歩行者のスマートフォン上で動作するさまざまな実施形態では、警告は、スマートフォンの表示画面上の視覚警告を含むことができる。視覚警告は、検出された危険物及び／または危険領域の画像とテキスト警告とを含むことができる。さまざまな実施形態では、システム２００は、頭部装着型表示デバイス、またはＧｏｏｇｌｅ Ｇｌａｓｓ（登録商標）などの他のコンピュータ制御眼鏡と通信することができ、視覚警告は、歩行者の視野内の接眼部上に表示され得る。さまざまな実施形態では、警告は、歩行者への触覚警告を含むことができる。たとえば、システム２００は、１つまたは複数の振動モータ（たとえば、歩行者のスマートフォン内の振動モータ、または歩行者が装着している振動モータ）と通信することができる。そのような実施形態では、警告は、振動モータの動作を含むことができる。歩行者が複数の振動モータを装着しているかもしれない実施形態では、検出された危険物及び／または危険領域に最も近いモータを、危険の方向を歩行者に対して示すように動作させることができる。警告を出力した後、プロセス３００は、ブロック３０２に戻ることができる。歩行者が（ブロック３０８を参照して上記で説明した）警告を認識し、危険を検出した場合、プロセッサ２１０は、（ブロック３１０では）警告を再発行しない。しかしながら、歩行者が警告を無視した場合、及び／または歩行者の動作が歩行者が危険を認識していないと示す場合、プロセッサ２１０は、ステップ３１０に再び戻ってきた時に、警告を繰り返すことができる。

【0024】

図３Ｂは、プロセッサ２１０によって実装され得るプロセス３２０の別の実施形態を示している。（物体及び／または領域を検出する）ブロック３０２、（物体及び／または領域が危険であるかどうかを判断する）ブロック３０４、（歩行者が物体及び／または領域と衝突するコース上にあるかどうかを判断する）ブロック３０６、及び（歩行者が物体及び／または領域を認識しているかどうかを判断する）ブロック３０８は、図３Ａで示したプロセス３００のものと同じであってよい。図３Ｂのプロセス３２０では、プロセッサ２１０が、歩行者が検出された危険物及び／または危険領域について認識していると判断した場合、プロセッサ２１０は、低レベル警告を出力することができる（ブロック３２４）。たとえば、低レベル警告は、音響変換器１０４を通して比較的小さなボリュームで再生される、１回の、話し言葉によるメッセージを含むことができる。プロセッサ２１０が、歩行者が検出された危険物及び／または危険領域を認識していないと判断した場合、ブロック３２２で、プロセッサ２１０は、高レベル警告を出力することができる。たとえば、高レベル警告は、音響変換器１０４を通して比較的大きなボリュームで再生される、繰り返しの、話し言葉によるメッセージを含むことができる。出力される高レベル警告を、また、追加の警告モード（たとえば、視覚及び／または触覚）に組み込むことができる。

【0025】

図４、図５Ａ、図５Ｂ、及び図６は、システム２００の動作を例示する例示的なシナリオである。図４を参照すると、第１のシナリオ４００では、歩行者４０２は、歩道に沿って、交差点４０４に向かって、矢印４０５の方向に歩いている。ここで、システムは、縁石４０８（つまり、潜在的に危険な道路との境界）と（歩行者が通行権を有していないことを示す）歩行禁止信号４１０とを検出することができる。システム２００は、また、歩行者４０２の経路を横断しようとしている、近くのレーン内の車４１２（つまり、潜在的な危険物）と、歩行者の経路に向かってきている、対向レーン内の車４１４（つまり、潜在的な危険物）と、を検出することができる。さらに、システム２００は、歩行者の経路に曲がってくるかもしれない第１の車４１８のウィンカー４１８（つまり、潜在的な危険物）を検出することができ、歩行者の経路に曲がってくるかもしれない第２の車４２０のウィンカー４２２（つまり、潜在的な危険物）を検出することができる。

【0026】

システム２００は、近くのレーン内の車４１２が、歩行者４０２の前を横切り、したがって、脅威ではない、と判断することができる。しかしながら、システムは、歩行者が縁石４０８を超えて歩き続け道路内に入った場合には、残りの車４１４、車４１６、及び車４２０は、それぞれ、潜在的に歩行者４０２と衝突する、と判断することができる。たとえば、歩行者４０２が、縁石４０８に近づくにつれて速度を落とした場合、及び／または縁石４０８に近づくにつれて歩行者の周囲を見渡した場合、及び／または「歩行禁止」の歩行者天使と目を合わせた場合、システム２００は、信号４１０が「歩行禁止」を示していることを歩行者４０２が認識しており、歩行者４０２が車４１４と車４１６と車４２０とを認識していることを、これらの行動が示していると、判断することができる。別の実施例として、システム２００は、歩行者４０２が危険を認識していることを示す脳信号または脳の領域内の脳活動を検出することができる。別の実施例として、歩行者４０２が、（たとえば、歩行者がスマートフォンの画面を見ているために）速度を落とさない場合、または周りを見渡さない場合、システム２００は、警告を歩行者４０２に出力することができる。さまざまな実施形態では、システム２００は、車のすべてに対する一般的警告を、発することができる（たとえば、「警告−通りに出ようとしています。何台かの車が近づいています！」）。さまざまな実施形態では、システム２００は、車の各々に対する別々の警告を発することができる。システム２００は、警告を、各脅威の計算された可能性に基づいて、優先順位付けすることができる。たとえば、遠いレーン内で近づいてくる車４１４が、歩行者４０２が歩き続けて通りに入った場合に歩行者４０２と衝突する可能性が高い場合、システム２００は、車４１４に対する警告を最初に発することができる。さまざまな実施形態では、車４１４に対する警告を、歩行者の右耳内の音響変換器１０４を通して出力して、方向を示すことができる。システム２００は、その後、歩行者４０２の背後から近づいてくる車４２０が歩行者４０２に衝突する可能性が次に高い、と判断することができる。したがって、システム２００は、車４２０に対する警告を、２番目に発することができる。複数の音響変換器１０４を含むさまざまな実施形態では、システム２００は、警告が歩行者の右肩の後ろから来ていると歩行者４０２が認識するように、警告を出力することができる。最後に、システム２００は、車４１６に対する警告を発することができる。さまざまな実施形態では、システム２００は、警告がまっすぐ前からわずかに右の方向から出ていると歩行者４０２が認識するように、警告を出力することができる。例示的な警告は、［歩行者の右から出ているように認識される］「警告−通りに出ようとしています。右側から近づいてくる車があります、［歩行者の後ろから出ているように認識される］後ろから近づいてくる車があります、及び［歩行者の前から出ているように認識される］前から近づいてくる車があります。」であってよい。

【0027】

図５Ａ〜図５Ｋは、別のシナリオ４５０のシステムの実施形態の動作の違いを、歩行者４５２が（図５Ａと図５Ｆとに示した）通り４５４の縁石４５６間の横断歩道４５８に向かって歩いている時の（移動方向は矢印４６２によって示されている）、歩行者４５２の異なる挙動に基づいて示している。シナリオ４５０では、横断歩道４５８は、歩行／歩行禁止信号４６０によって制御されている。歩行者４５２が横断歩道４５８と信号４６０とに近づくと、システム２００の実施形態は、通り４５４と、横断歩道４５８と、縁石４５６と、信号４６０と、を検出することができる。図５Ｂ及び図５Ｇでは、システム２００は、信号４６０が「歩行禁止」を示していると、検出することができる。さまざまな実施形態では、外部カメラ２２０は、照らされる信号４６０の色、記号、及び／または位置を検出して、信号４６０の状態（つまり、「歩行」または「歩行禁止」）を判断することができる。いくつかの場合では、システム２００は、マイク２２２を使用して、信号４６０の状態を判断することができる。たとえば、信号４６０の中には、信号４６０の状態を盲目の歩行者に提供する音声メッセージを放送することができるものもある。マイク２２２は、音声放送を検出することができ、プロセッサ２１０は、検出された音声放送を分析して、信号４６０の状態を判断することができる。さまざまな実施形態では、システム２００は、信号４６０からの放送メッセージを検出して信号４６０の状態を判断することができるレシーバ（たとえば、無線レシーバ）を含むことができる。たとえば、信号４６０は、その現在の状態（つまり、「歩行」または「歩行禁止」）を放送することができ、システムのレシーバは、放送を受信して、信号４６０の状態を判断することができる。このシナリオにおける信号４６０の状態が「歩行禁止」であるため、システム２００は、近づきつつある横断歩道４５８は危険な領域である、と判断することができる。したがって、図５Ｃ及び図５Ｈでは、歩行者４５２が縁石４５６に近づくと、システム２００は、歩行者４５２の行動を分析して、歩行者４５２が横断歩道４５８と信号４６０の状態とを認識しているかどうか、を判断する。図５Ｄを参照すると、歩行者４５２が矢印４６２の方向に歩き続け、速度を落とさない場合、システム２００は、歩行者が、横断歩道４５４を認識していない、及び／または信号４６０の状態が「歩行禁止」であることを認識していない、と判断することができる。システム２００は、警告（たとえば、「止まれ！」）を歩行者４５２に出力して、歩行者４５２が横断歩道４５８に侵入することを防ごうとすることができる。警告は、音声警告及び／または視覚警告（たとえば、歩行者のスマートフォンの表示画面に表示される停止サインの画像）であってよい。図５Ｅでは矢印４６０が無いことが示している通り、歩行者４５２は、警告に応答して停止することができる。反対に、ここで図５Ｉと図５Ｊとを参照すると、歩行者４５２が、縁石４５６に近づいた時に、歩行者の頭部を右に向け（図５Ｉの矢印４６６によって示されている）、そして左に向けた（図５Ｊの矢印４６８によって示されている）、とシステム２００が検出した場合、システム２００は、歩行者４５２が、横断歩道４５８を認識しており、また、信号４６０の状態が「歩行禁止」であることを認識している、と判断することができる。結果として、システム２００は、歩行者が（図５Ｋに示す通り）横断歩道の中まで歩き続けたとしても、警告を出力しないかもしれない。

【0028】

図６は、歩行者５０２が歩道に沿って歩いており、ヘッドフォン５０４に組み込まれたシステム２００の実施形態を装着している、第３の例示的なシナリオ５００を示している。このシナリオでは、さまざまな物体及び／または領域が、歩行者の経路内にある。システムは、歩行者５０２の前の、水たまり５１０（領域）と、大きな自治体のごみ箱５０８（物体）と、ガムの包装紙５１２（物体）と、別の歩行者５０６（物体）とを、検出することができる。システム２００は、水たまり５１０と、ごみ箱５０８と、ガムの包装紙５１２と、他の歩行者５０６とを、外部カメラ２２０を使用して検出することができる。加えて、ごみ箱５０８は、メモリ２１２内に格納されている地理参照危険データベース内に含まれ得る。システム２００は、歩行者５０２の位置を地理参照危険データベースと比較して、歩行者５０２の前のごみ箱５０８を特定することができる。水たまりは、周囲の舗道とは異なる色、反射率、赤外線特徴、などを有する歩道上の領域として、検出され得る。メモリ２１２内のデータベースは、水たまりなどのさまざまな物体及び／または領域の視覚特性を含むことができる。

【0029】

システム２００は、他の歩行者５０６及び大きなごみ箱５０８が歩行者５０２にとって危険である、と判断することができる。言い換えると、歩行者５０２がごみ箱５０８または他の歩行者５０６と衝突した場合、歩行者５０２及び／または他の歩行者５０６は、怪我をすることがある。システムは、ガムの包装紙５１２は非常に小さく、歩行者５０２は歩行者５０２がそれを踏んでも怪我をしない、と判断することができる。水たまり５１０は、危険とはみなされないかもしれない。しかしながら、歩行者５０２が水たまりを過去に避けた場合、システム２００は、機械学習を用いて、歩行者５０２は水たまりの中を歩きたくない、と認識することができる。したがって、システム２００は、水たまり５１０を、危険として特定することができる。

【0030】

歩行者の経路は、水たまり５１０とガムの包装紙５１２と他の歩行者５０６との方に向かっているかもしれず、ごみ箱５０８の横を通るかもしれない。システムは、したがって、歩行者が水たまり５１０と他の歩行者５０６と衝突するコース上にいると判断することができる。上記で説明した通り、ガムの包装紙５１２は危険ではないと判断されているため、システム２００は、歩行者５０２がガムの包装紙５１２と衝突するコース上にいるかどうか、を判断しなくてもよい。システムは、その後、歩行者５０２が水たまり５１０と歩行者５０６とを認識しているかどうかを判断することができる。たとえば、歩行者５０２が歩行者のスマートフォンを見ているが、その後歩行者の前の経路を見上げた場合、システム２００は、歩行者が水たまり５１０と他の歩行者５０６とを認識している、と判断することができる。同様に、歩行者５０２が水たまり５１０と歩行者５０６とを避けるように歩行者５０２の経路を調整した場合、システム２００は、歩行者５０２が水たまり５１０と他の歩行者５０６とを認識している、と判断することができる。しかしながら、歩行者５０２が経路上を歩き続けて、水たまり５１０と他の歩行者５０６との方に向かう場合、及び／またはスマートフォンから顔を上げない場合、システム２００は、歩行者５０２が水たまり５１０と他の歩行者５０６とを認識していない、と判断することができる。システムは、その後、警告を、ヘッドフォン５０４内の音響変換器１０４を介して発することができる。システム２００は、また、視覚警告を、歩行者５０２のスマートフォンの表示画面上に発することができる。

【0031】

さまざまな実施形態では、システム２００は、歩行者が歩行者の移動経路に注意を払っていないことを他者（たとえば、他の歩行者、車両の操作者）に警告する外部信号を、提供することができる。たとえば、図１Ａに示したハウジング１０４は、１つまたは複数の光源（たとえば、発光ダイオード）を含むことができ、光源は、歩行者が危険物及び／または危険領域との切迫した衝突を認識していない場合、点滅する。別の実施例として、歩行者は、メッセージを表示することができるサインを装着することができる。たとえば、歩行者が横断歩道に入ろうとしており、注意を払っていない場合、サインは、「通りを横断します」というメッセージを光らせて、車両の操作者に歩行者の行動について警告することができる。別の実施例として、システム２００は、車両が車両の操作者に対して、歩行者が歩行者の行先に注意を払っていない、というメッセージを表示するように、信号を、近くの車両にワイヤレス送信することができる。たとえば、車両は、メッセージを、車両の移動地図ディスプレイ上に表示することができる。システム２００が、歩行者の位置を追跡するＧＰＳモジュールを備えている場合、車両に送信されたワイヤレス信号は、車両の地図ディスプレイが歩行者の位置を車両の地図上に表示することができるように、歩行者の位置を含むことができる。

【0032】

上記で説明したさまざまな実施形態は、歩行者の経路内の危険物及び／または危険領域を認識するために、１つまたは複数のセンサとコンピュータ処理とを提供することができる。センサ及びコンピュータ処理は、さらに、歩行者が歩行者の周囲に注意を払っており、検出された危険物及び／または危険領域を認識している可能が高いかどうか、を判断することができる。歩行者が注意を払っていない可能性が高い場合、コンピュータ処理は、注意及び／または警告を歩行者に出力して、歩行者に危険物及び／または危険領域について警告することができる。そのような注意及び／または警告を送信することによって、本明細書で説明した実施形態は、守護天使として動作することができ、歩行者が注意散漫になっていて、歩行者の周囲に注意を払っていない時に、不注意に危険物及び／または危険領域内に踏み込むことから、歩行者を守る。

【0033】

本発明のさまざまな実施形態の説明は、例示の目的のために提示されたが、それは、網羅的であること、または開示の実施形態を限定すること、を意図していない。多くの変更物及び変形物は、説明した実施形態の範囲と精神とから逸脱することなく、当業者には明白である。本明細書で使用する用語は、実施形態の原理、実際のアプリケーション、または市場で見つかる技術の技術的改善を最も良く説明するために、または当業者が本明細書で開示した実施形態を理解することを可能にするために、選択された。

【0034】

本発明は、システム、方法、及び／またはコンピュータプログラム製品であってよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有する、コンピュータ可読ストレージ媒体（または媒体）を含むことができる。

【0035】

コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用される命令を保持、格納することができる有形デバイスであってよい。コンピュータ可読ストレージ媒体は、たとえば、電子ストレージデバイス、磁気ストレージデバイス、光ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、または前述の任意の適切な組み合わせであってよいが、それらに限定されない。コンピュータ可読ストレージ媒体のより具体的な例の非包括的リストは、以下の、携帯型コンピュータディスケットと、ハードディスクと、ランダムアクセスメモリ（ＲＡＭ）と、リードオンリーメモリ（ＲＯＭ）と、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）と、スタティックランダムアクセスメモリ（ＳＲＡＭ）と、携帯型コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）と、デジタル多用途ディスク（ＤＶＤ）と、メモリスティックと、前述の任意の適切な組み合わせと、を含む。本明細書で使用するコンピュータ可読ストレージ媒体は、電波または他の自由伝播電磁波、導波管または他の伝達媒体を通して伝播する電磁波（たとえば、光ファイバーケーブルを通過する光パルス）、またはワイヤを通って伝達される電気信号などの、本来一時的な信号であると解釈されるものでない。

【0036】

本明細書で説明したコンピュータ可読プログラム命令を、各コンピューティングデバイス／処理デバイスに、コンピュータ可読ストレージ媒体または外部コンピュータまたは外部ストレージデバイスから、ネットワーク、たとえば、インターネット、ローカルエリアネットワーク、広域ネットワーク及び／またはワイヤレスネットワークを介して、ダウンロードすることができる。ネットワークは、銅伝送ケーブル、伝送光ファイバ、ワイヤレス伝送ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／またはエッジサーバを備えることができる。各コンピューティングデバイス／処理デバイス内のネットワークアダプタカードまたはネットワークインターフェースは、コンピュータ可読プログラム命令をネットワークから受信し、コンピュータ可読プログラム命令を、各コンピューティングデバイス／処理デバイス内のコンピュータ可読ストレージ媒体内に格納するために転送する。

【0037】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または１つまたは複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかであってよく、プログラミング言語には、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語と、を含む。コンピュータ可読プログラム命令は、全体をユーザのコンピュータ上で、一部をユーザのコンピュータ上で、独立型ソフトウェアパッケージとして、一部をユーザのコンピュータ上及び一部を遠隔コンピュータ上で、または全体を遠隔コンピュータまたはサーバ上で、実行させることができる。後者のシナリオでは、遠隔コンピュータを、ユーザのコンピュータに、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通して接続することができ、または接続は、外部コンピュータに（たとえば、インターネットサービスプロバイダを使用してインターネットを通して）行うことできる。いくつかの実施形態では、たとえば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令を、コンピュータ可読プログラム命令の状態情報を活用することによって実行して、電子回路をパーソナライズすることができる。

【0038】

これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供して、機械を生成し、命令が、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行されると、フローチャート及び／またはブロック図のブロックで規定した機能／動作を実装するための手段を作成するようにすることができる。これらのコンピュータ可読プログラム命令を、また、コンピュータ可読ストレージ媒体内に格納することができ、コンピュータ可読プログラム命令は、コンピュータ、プログラマブルデータ処理装置、及び／または他のデバイスに、特定の方法で動作するように指示して、命令をその中に格納して有するコンピュータ可読ストレージ媒体が、フローチャート及び／またはブロック図のブロックで規定した機能／動作の態様を実装する命令を含む製造品を備えるようにする。

【0039】

コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードして、一連の動作ステップを、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行し、コンピュータ実装プロセスを生成し、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される命令が、フローチャート及び／またはブロック図のブロックで規定した機能／動作を実装するようにすることができる。

【0040】

図中のフローチャート及びブロック図は、本発明のさまざまな実施形態による、システムと方法とコンピュータプログラム製品との可能な実装形態のアーキテクチャと機能と動作とを示している。この点に関して、フローチャートまたはブロック図内の各ブロックは、モジュール、セグメント、または命令の一部を表すことができ、それは、規定の論理機能を実装するための１つまたは複数の実行可能命令を備える。いくつかの代替的な実装形態では、ブロック内で述べた機能は、図中に示した順番以外で発生することができる。たとえば、連続する２つのブロックを、実際には、実質的に同時に実行することができ、またはブロックを、時には、関与する機能により、反対の順番で実行することができる。また、ブロック図及び／またはフローチャート図の各ブロックと、ブロック図及び／またはフローチャート図内のブロックの組み合わせとを、特定の機能または動作を実行する専用ハードウェアベースのシステムによって実装することができ、または専用ハードウェアとコンピュータ命令との組み合わせで実行することができる、ということに留意すること。

【0041】

本開示の実施形態を、エンドユーザに、クラウドコンピューティングインフラストラクチャを通して提供することができる。クラウドコンピューティングは、一般的に、スケーラブルコンピューティング資源をサービスとしてネットワークを介してプロビジョンすることを指す。より正式には、クラウドコンピューティングは、コンピューティング資源とその下層の技術アーキテクチャ（たとえば、サーバ、ストレージ、ネットワーク）との間に抽象化を提供して、迅速にプロビジョンし、最小限の管理努力またはサービスプロバイダの作用で始動することができる、構成可能なコンピューティング資源の共有プールへの、便利な、オンデマンドネットワークアクセスを可能にするコンピューティング能力として、定義することができる。したがって、クラウドコンピューティングは、ユーザが、仮想コンピューティング資源に（たとえば、ストレージ、データ、アプリケーション、及び完全な仮想コンピューティングシステムにも）、「クラウド」内で、そのコンピューティング資源を提供するために使用される下層の物理的システム（またはそれらのシステムの場所）にかかわらず、アクセスすることを可能にする。

【0042】

通常、クラウドコンピューティング資源は、ユーザに、使用毎の支払いベースで提供され、ユーザは、実際に使用したコンピューティング資源（たとえば、ユーザによって消費されたストレージスペースの量、またはユーザによってインスタンス化された仮想システムの数）に対してのみ課金される。ユーザは、クラウド内に存在する資源のうちの任意のものに、いつでも、インターネットのどこからでも、アクセスすることができる。本開示の文脈では、システムのさまざまな実施形態は、クラウド内に格納されている地理参照危険データベースにアクセスすることができる。さまざまな実施形態では、クラウドコンピューティング環境は、さまざまな歩行者と車両とについての報告された位置情報と軌跡情報とを受信して、衝突の可能性を計算することができる。クラウドコンピューティング環境は、可能性の高い衝突を、関与する歩行者及び／または車両に報告することができる。

【0043】

前述は、本発明の実施形態に向けられているが、本発明の他の実施形態とさらなる実施形態とを、本発明の基本的な範囲から逸脱することなく考え出すことができ、本発明の範囲は、以下の特許請求の範囲によって定められる。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図2D】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図5F】

【図5G】

【図5H】

【図5I】

【図5J】

【図5K】

【図6】