▶ ウーブン プラネット ノース アメリカ，インコーポレイティドの特許一覧
特許7199627高精細準リアルタイムマップ生成用の撮像機器を備える車両のシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-23
(45)【発行日】2023-01-06
(54)【発明の名称】高精細準リアルタイムマップ生成用の撮像機器を備える車両のシステム
(51)【国際特許分類】
G08G 1/13 20060101AFI20221226BHJP
G08G 1/01 20060101ALI20221226BHJP
G06T 7/00 20170101ALI20221226BHJP
【ＦＩ】
G08G1/13
G08G1/01 A
G06T7/00 650A
【請求項の数】
13
(21)【出願番号】P 2019564035
(86)(22)【出願日】2018-05-31
(65)【公表番号】
(43)【公表日】2020-07-30
(86)【国際出願番号】 US2018035494
(87)【国際公開番号】W WO2018222937
(87)【国際公開日】2018-12-06
【審査請求日】2021-05-12
(31)【優先権主張番号】62/513,056
(32)【優先日】2017-05-31
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521411231
【氏名又は名称】ウーブン プラネット ノース アメリカ，インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100147555
【弁理士】
【氏名又は名称】伊藤 公一
(74)【代理人】
【識別番号】100123593
【弁理士】
【氏名又は名称】関根 宣夫
(74)【代理人】
【識別番号】100133835
【弁理士】
【氏名又は名称】河野 努
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100117019
【弁理士】
【氏名又は名称】渡辺 陽一
(74)【代理人】
【識別番号】100108903
【弁理士】
【氏名又は名称】中村 和広
(72)【発明者】
【氏名】グプタ，ロ
(72)【発明者】
【氏名】デイ，ジャスティン
(72)【発明者】
【氏名】ニコル，チェイス
(72)【発明者】
【氏名】ヘンステル，マックス
(72)【発明者】
【氏名】ステイモス，イオアニス
(72)【発明者】
【氏名】ボイル，デイビッド
(72)【発明者】
【氏名】ソレルグリーン，イーサン
(72)【発明者】
【氏名】ディン，フォン
【審査官】西中村 健一
(56)【参考文献】
【文献】国際公開第２０１４／０４１８２６（ＷＯ，Ａ１）
【文献】特開２０１７－０２１７４５（ＪＰ，Ａ）
【文献】特表２０１６－５２０９０２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１２／０２４４８４９（ＵＳ，Ａ１）
【文献】特開２０１６－１２３０３４（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／００５７３３８（ＵＳ，Ａ１）
【文献】特開２００２－３１９０９１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００－９９／００
Ｇ０１Ｃ ２１／００－２１／３６
２３／００－２５／００
Ｇ０６Ｔ ７／００－４０／２０
(57)【特許請求の範囲】
【請求項1】
プロセッサによって実行されるように構成されるコードを記憶する、非一時的プロセッサ可読媒体であって、前記コードは、
車両と共に配置されるスマートフォンのカメラから街路状況の映像を捕捉すること、
前記街路状況の前記映像に対してコンピュータビジョン分析の第１のパスを前記プロセッサにおいてローカルで実行して候補となる複数の優先度の高いイベントを識別すること、
前記候補となる複数の優先度の高いイベントに対してコンピュータビジョン分析の第２のパスを前記プロセッサにおいてローカルで実行して優先度の高いイベントを識別すること、及び
遠隔分析サービスが前記街路状況のマップ内に前記優先度の高いイベントを統合することができるように、前記優先度の高いイベントの指示を無線データネットワーク上で前記遠隔分析サービスに伝送すること
をプロセッサに行わせるためのコードを含み、
コンピュータビジョン分析の前記第２のパスはコンピュータビジョン分析の前記第１のパスよりも多くの計算資源を消費し、そのためコンピュータビジョン分析の前記第２のパスは前記映像に対してリアルタイムで実行できず、
前記遠隔分析サービスは前記マップ内に前記優先度の高いイベントを統合するのに前記車両において入手可能であるよりも多くの計算資源を消費する、非一時的プロセッサ可読媒体。
【請求項2】
前記コードが、前記優先度の高いイベントを含む前記街路状況の前記マップを前記遠隔分析サービスから受信すること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
【請求項3】
コンピュータビジョン分析の前記第１のパスを前記プロセッサに実行させるための前記コードが、前記街路状況の前記映像に対してコンピュータビジョン分析の前記第１のパスをリアルタイムで実行させるためのコードを含む、請求項１に記載の非一時的プロセッサ可読媒体。
【請求項4】
前記プロセッサが前記スマートフォンのハウジング内に位置する、請求項１に記載の非一時的プロセッサ可読媒体。
【請求項5】
前記コードが、前記車両がオンにされていることを検出すること、
前記車両がオンにされていることを検出することに基づいて前記スマートフォンのオペレーティングシステムを起動すること、
通話機能が無効にされるように前記スマートフォンを構成すること、及び
前記車両が自宅拠点を離れたことを検出することであって、捕捉される前記街路状況の前記映像は前記車両が前記自宅拠点を離れたことを前記検出することによってトリガされる、検出すること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
【請求項6】
前記コードが、前記車両がオンにされていることを検出すること、
前記車両がオンにされていることを検出することに基づいて前記スマートフォンのオペレーティングシステムを起動すること、
通話機能が無効にされるように前記スマートフォンを構成すること、及び
指示を得るために前記遠隔分析サービスに定期的に接触するように前記スマートフォンを構成すること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
【請求項7】
前記コードが、前記車両が自宅拠点に戻ったことを検出すること、
前記車両が前記自宅拠点に戻ったことを検出することに基づいて映像の捕捉を停止すること、
前記車両が前記自宅拠点に戻ったことを検出することに基づいてWiFiネットワークに接続すること、及び
前記WiFiネットワークを介して前記カメラから捕捉された映像を前記遠隔分析サービスにアップロードすること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
【請求項8】
前記コードが、前記車両が自宅拠点に戻ったことを検出すること、
前記車両が前記自宅拠点に戻ったことを検出することに基づいてWiFiネットワークに接続すること、
前記WiFiネットワークを介して前記カメラから捕捉された映像を前記遠隔分析サービスにアップロードすること、
前記車両がオフにされていることを検出すること、
前記車両がオフにされていることを検出することに基づき、前記カメラから捕捉された映像が前記遠隔分析サービスにアップロードされた後で前記スマートフォンを節電状態に入れること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
【請求項9】
前記コードが、前記カメラから静止画を捕捉すること、
前記静止画を複数の領域に分割すること、
前記複数の領域からの領域の少なくともサブセットについてラプラシアンバリアンスを計算すること、及び
前記ラプラシアンバリアンスを所定の閾値と比較し、前記領域のサブセットの大多数のラプラシアンバリアンスが前記所定の閾値を下回る場合は前記静止画を記憶するか、又は前記複数の領域からの少なくとも１つの領域について計算される少なくとも１つのラプラシアンバリアンスが前記所定の閾値を上回る場合は前記静止画を破棄すること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
【請求項10】
コンピュータビジョン分析の前記第１のパスを実行することが、候補となる交通コーンを識別するためにオレンジ色の特徴を求めて前記映像をリアルタイムで走査することを含む、請求項１に記載の非一時的プロセッサ可読媒体。
【請求項11】
コンピュータビジョン分析の前記第１のパスを実行することが、候補となる交通コーンを識別するためにオレンジ色の特徴を求めて前記映像をリアルタイムで走査することを含み、コンピュータビジョン分析の前記第２のパスを実行することは、前記候補となる交通コーンが実際の交通コーンであることを確認することを含む、
請求項１に記載の非一時的プロセッサ可読媒体。
【請求項12】
コンピュータビジョン分析の前記第１のパスを実行することが、候補となる交通コーンを識別するためにオレンジ色の特徴を求めて前記映像をリアルタイムで走査することを含み、コンピュータビジョン分析の前記第２のパスを実行することは、前記候補となる交通コーンが実際の交通コーンであることを確認することを含み、
前記街路状況の前記マップが、前記実際の交通コーンがあることに対応する車線閉鎖の指示を含む、
請求項１に記載の非一時的プロセッサ可読媒体。
【請求項13】
コンピュータビジョン分析の前記第１のパスを実行することが、候補となる緊急車両を識別するために点滅光を求めて前記映像をリアルタイムで走査することを含み、コンピュータビジョン分析の前記第２のパスを実行することが、静止した緊急車両を識別することを含む、
請求項１に記載の非一時的プロセッサ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[001] 本願は、参照によりそのそれぞれの開示を全て本明細書に援用する、２０１７年５月３１日に出願され「準リアルタイムストリートレベルインテリジェンスプラットフォーム（Near Real-Time Street Level Intelligence Platform）」と題された米国仮特許出願第６２／５１３，０５６号の本出願であり、その優先権の利益を主張する。
[001] 本願は、参照によりそのそれぞれの開示を全て本明細書に援用する、２０１７年５月３１日に出願され「準リアルタイムストリートレベルインテリジェンスプラットフォーム（Near Real-Time Street Level Intelligence Platform）」と題された米国仮特許出願第６２／５１３，０５６号の本出願であり、その優先権の利益を主張する。
【背景技術】
【0002】
発明の背景
[002] ストリートレベルインテリジェンスは自律運転、建築、工事、エンジニアリング、不動産、広告、都市計画、研究等を含む多岐にわたる分野に応用できる。撮像機器を備える車両のフリートは、高度なストリートレベルインテリジェンスを提供するために高精細及び／又は準リアルタイムデータを有するマップを作成する及び／又は補足することができる。概して、ストリートレベルインテリジェンスは、商業的なフリートの管理者が利用して車両及び運転者が現場に出ているときにそれらを追跡することができるテレマティックスシステムを含み得る。一部のフリートは事故、走行中の交通違反、又は駐車違反に由来する責任の保護を提供するためにカメラを組み込む場合がある。
[002] ストリートレベルインテリジェンスは自律運転、建築、工事、エンジニアリング、不動産、広告、都市計画、研究等を含む多岐にわたる分野に応用できる。撮像機器を備える車両のフリートは、高度なストリートレベルインテリジェンスを提供するために高精細及び／又は準リアルタイムデータを有するマップを作成する及び／又は補足することができる。概して、ストリートレベルインテリジェンスは、商業的なフリートの管理者が利用して車両及び運転者が現場に出ているときにそれらを追跡することができるテレマティックスシステムを含み得る。一部のフリートは事故、走行中の交通違反、又は駐車違反に由来する責任の保護を提供するためにカメラを組み込む場合がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
発明の概要
[003] 都市規模でストリートレベルインテリジェンスを捕捉するための従来の方法は高価であるか効果的でない。Google Street View等のシステムは改造車両に搭載された高価な機器が関与し、かかる車両はマップ及び視覚データベースを作成するためのデータを収集する目的で特に運転される。ボランティアを使用してデータを「クラウドソース」する解決策は有用な規模に決して達することはない。何れの場合にも、収集されるデータはすぐに陳腐化する。
[003] 都市規模でストリートレベルインテリジェンスを捕捉するための従来の方法は高価であるか効果的でない。Google Street View等のシステムは改造車両に搭載された高価な機器が関与し、かかる車両はマップ及び視覚データベースを作成するためのデータを収集する目的で特に運転される。ボランティアを使用してデータを「クラウドソース」する解決策は有用な規模に決して達することはない。何れの場合にも、収集されるデータはすぐに陳腐化する。
【課題を解決するための手段】
【0004】
[004] 一態様では、本明細書で開示するのは、少なくとも１台のマッパ車両であって、各マッパ車両はテリトリ内のマッパ車両を取り囲む環境に関するデータを能動的に捕捉するように構成される位置決定装置、ＬｉＤＡＲ装置、及び少なくとも１つの撮像装置を含む能動データ捕捉システムを含む、少なくとも１台のマッパ車両と、スワーム車両のフリートであって、各スワーム車両はテリトリ内のスワーム車両を取り囲む環境の画像を受動的に捕捉するように構成される位置決定装置及び複数の撮像装置を含む受動データ捕捉システムを含む、スワーム車両のフリートと、少なくとも１個のプロセッサ及び少なくとも１個のプロセッサによって実行されるとき、能動データ捕捉システムからデータを受信し、ＬｉＤＡＲ、撮像装置、及び位置決定装置からのデータを組み合わせ、能動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行し、受動データ捕捉システムからデータを受信し、撮像装置及び位置決定装置からのデータを組み合わせ、受動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行し、抽出した特徴に基づいて能動データ捕捉システムからの組み合わさったデータを受動データ捕捉システムからの組み合わさったデータとマージするように構成されるデータ処理パイプライン、ストリートレベルインテリジェンスインタフェース、及びフリート管理者インタフェースを含む、ストリートレベルインテリジェンスアプリケーションを少なくとも１個のプロセッサに作成させる命令を含む計算システムとを含む、ストリートレベルインテリジェンスプラットフォームである。様々な実施形態において、少なくとも１台のマッパ車両は少なくとも２台、少なくとも５台、少なくとも１０台、少なくとも５０台、又は少なくとも１００台のマッパ車両を含む。一部の実施形態では、能動データ捕捉システムが少なくとも１つのカラーパノラマカメラを含む。一部の実施形態では、少なくとも１台のマッパ車両が少なくとも２年に１回データをリフレッシュする。一部の実施形態では、少なくとも１台のマッパが専用車両である。様々な実施形態において、スワーム車両のフリートは少なくとも１０台、少なくとも５０台、少なくとも１００台、少なくとも１０００台、又は少なくとも５０００台のスワーム車両を含む。一部の実施形態では、スワーム車両のフリート内の各スワーム車両が少なくとも月１回データをリフレッシュする。一部の実施形態では、スワーム車両のフリートは受動データ捕捉システムが取り付けられるサードパーティ車両フリートを含む。一部の実施形態では、受動データ捕捉システムが磁気的に取り付けられる。一部の実施形態では、受動データ捕捉システムが複数の外部給電スマートフォンを含む。更なる実施形態では、映像を捕捉するために少なくとも１つのスマートフォンが車両の前面から外側に向き、静止画を捕捉するために少なくとも１つのスマートフォンが車両の各側面から外側に向く。様々な実施形態において、テリトリは１０マイル未満、５０マイル未満、又は１００マイル未満の平均半径を有する。一部の実施形態ではテリトリは近所、都市、地域、又は州である。一部の実施形態ではマージすることが、陸標を検出するためにマッパデータに対して特徴抽出を実行すること、陸標を検出するためにスワームデータに対して特徴抽出を実行すること、同じ陸標を見つけるために各マッパの陸標の所定の閾値の範囲内にあるスワームの陸標を比較すること、及び一致する特徴が見つかる場合にスワームの位置データを更新することを含む。一部の実施形態では、ストリートレベルインテリジェンスインタフェースが、関連データが集められている限定道路区分がオーバレイされたマップ、道路区分の１つ又は複数を利用者が見ることを可能にするツール、道路区分の１つ又は複数を利用者が選択してそれをカートに追加することを可能にするツール、カートに追加された１つ又は複数の道路区分へのアクセスに利用者が支払うことを可能にするツール、３Ｄ又は２Ｄサイトインテリジェンス又は歩行者アナリティクスを含む、アクセスの支払いが行われている道路区分に関するペイロードを利用者がダウンロードすることを可能にするツール、過去に支払ったペイロードに利用者がアクセスすることを可能にするツール、及び利用者がアクセスしたペイロードをパートナ又は他の顧客と共有することを可能にするツールのうちの１つ又は複数を含む。一部の実施形態では、フリート管理者インタフェースが、各フリート車両の現在位置を利用者が見ることを可能にするツール、フリート車両からオフロードされた映像を利用者がダウンロードすることを可能にするツール、フリート車両に映像の優先オフロードを利用者が要求することを可能にするツール、及び運転者の質データを利用者が見ることを可能にするツールのうちの１つ又は複数を含む。
【0005】
[005] 別の態様では、本明細書で開示するのは、少なくとも１個のプロセッサと、実行可能命令を実行するように構成されるオペレーティングシステムと、メモリと、マッパ車両に関連する少なくとも１つの能動データ捕捉システムからデータを受信するためのソフトウェアモジュールであって、各能動データ捕捉システムはテリトリ内のマッパ車両を取り囲む環境に関するデータを能動的に捕捉するように構成される位置決定装置、ＬｉＤＡＲ装置、及び少なくとも１つの撮像装置を含む、受信するためのソフトウェアモジュール、ＬｉＤＡＲ、撮像装置、及び位置決定装置からのデータを組み合わせるためのソフトウェアモジュール、能動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行するためのソフトウェアモジュール、スワーム車両のフリートに関連する複数の受動データ捕捉システムからデータを受信するためのソフトウェアモジュールであって、各受動データ捕捉システムはテリトリ内のスワーム車両を取り囲む環境の画像を受動的に捕捉するように構成される位置決定装置及び複数の撮像装置を含む、受信するためのソフトウェアモジュール、撮像装置及び位置決定装置からのデータを組み合わせるためのソフトウェアモジュール、受動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行するためのソフトウェアモジュール、抽出した特徴に基づいて能動データ捕捉システムからの組み合わさったデータを受動データ捕捉システムからの組み合わさったデータとマージするためのソフトウェアモジュール、ストリートレベルインテリジェンスインタフェースを提供するためのソフトウェアモジュール、及びフリート管理者インタフェースを提供するためのソフトウェアモジュールを含む、ストリートレベルインテリジェンスアプリケーションを作成するためにデジタル処理装置によって実行可能な命令を含むコンピュータプログラムとを含むデジタル処理装置を含む、コンピュータによって実装されるシステムである。
【0006】
[006] 更に別の態様では、本明細書で開示するのは、マッパ車両に関連する少なくとも１つの能動データ捕捉システムからデータを受信するためのソフトウェアモジュールであって、各能動データ捕捉システムはテリトリ内のマッパ車両を取り囲む環境に関するデータを能動的に捕捉するように構成される位置決定装置、ＬｉＤＡＲ装置、及び少なくとも１つの撮像装置を含む、受信するためのソフトウェアモジュール、ＬｉＤＡＲ、撮像装置、及び位置決定装置からのデータを組み合わせるためのソフトウェアモジュール、能動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行するためのソフトウェアモジュール、スワーム車両のフリートに関連する複数の受動データ捕捉システムからデータを受信するためのソフトウェアモジュールであって、各受動データ捕捉システムはテリトリ内のスワーム車両を取り囲む環境の画像を受動的に捕捉するように構成される位置決定装置及び複数の撮像装置を含む、受信するためのソフトウェアモジュール、撮像装置及び位置決定装置からのデータを組み合わせるためのソフトウェアモジュール、受動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行するためのソフトウェアモジュール、抽出した特徴に基づいて能動データ捕捉システムからの組み合わさったデータを受動データ捕捉システムからの組み合わさったデータとマージするためのソフトウェアモジュール、ストリートレベルインテリジェンスインタフェースを提供するためのソフトウェアモジュール、及びフリート管理者インタフェースを提供するためのソフトウェアモジュールを含む、アプリケーションを作成するために少なくとも１個のプロセッサによって実行可能な命令を含むコンピュータプログラムで符号化される非一時的コンピュータ可読記憶媒体である。
【0007】
[007] 更に別の態様では、本明細書で開示するのは、マッパ車両に関連する少なくとも１つの能動データ捕捉システムからデータを受信することであって、各能動データ捕捉システムはテリトリ内のマッパ車両を取り囲む環境に関するデータを能動的に捕捉するように構成される位置決定装置、ＬｉＤＡＲ装置、及び少なくとも１つの撮像装置を含む、受信すること、ＬｉＤＡＲ、撮像装置、及び位置決定装置からのデータを組み合わせること、能動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行すること、スワーム車両のフリートに関連する複数の受動データ捕捉システムからデータを受信することであって、各受動データ捕捉システムはテリトリ内のスワーム車両を取り囲む環境の画像を受動的に捕捉するように構成される位置決定装置及び複数の撮像装置を含む、受信すること、撮像装置及び位置決定装置からのデータを組み合わせること、受動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行すること、抽出した特徴に基づいて能動データ捕捉システムからの組み合わさったデータを受動データ捕捉システムからの組み合わさったデータとマージすること、ストリートレベルインテリジェンスインタフェースを提供すること、及びフリート管理者インタフェースを提供することを含む、リアルタイムストリートレベルインテリジェンスを生成するコンピュータによって実装される方法である。
【0008】
図面の簡単な説明
[008] 例示的実施形態について記載する以下の詳細な説明及び添付図面を参照することによって説明する内容の特徴及び利点を理解することができる。
[008] 例示的実施形態について記載する以下の詳細な説明及び添付図面を参照することによって説明する内容の特徴及び利点を理解することができる。
【図面の簡単な説明】
【0009】
【図1】[009]本開示の一部の実施形態による、マッパシステム及びスワームシステムを含むストリートレベルインテリジェンスシステムの例示的概要を示す。
【図2】[010]本開示の一部の実施形態による、ハウジングを有するスワーム捕捉装置の左前方の図である。
【図3】[011]本開示の一部の実施形態による、ハウジングを有するスワーム捕捉装置の右前方の図である。
【図4】[012]本開示の一部の実施形態による、ハウジングを有するスワーム捕捉装置の下面図である。
【図5】[013]本開示の一部の実施形態による、車両内に配備されるスワーム捕捉装置の非限定的な配線図の一例を示す。
【図6】[014]本開示の一部の実施形態による、スワーム選択的捕捉ロジックの非限定的な一例を示す。
【図7】[015]本開示の一部の実施形態による、スワームダウンロードロジックの非限定的な一例を示す。
【図8】[016]一実施形態による、優先度の高いイベントを識別するために映像を処理する方法の流れ図である。
【図9】[017]一実施形態による、リアルタイムイベントサービスＵＩのスクリーンショットである。
【図10】[018]一実施形態による、スワームシステムのための処理パイプラインの非限定的な一例を示す。
【図11】[019]本開示の一部の実施形態による、マッパシステムの配線図の非限定的な一例を示す。
【図12】[020]一実施形態による、マッパシステムのための処理パイプラインの非限定的な一例を示す。
【図13】[021]本開示の一部の実施形態による、フリート管理者のためのグラフィックユーザインタフェース（ＧＵＩ）の非限定的な一例を示す。
【図14】[022]一実施形態による、歩行者計数を調べるための選択ツールを含むストリートレベルインテリジェンスプラットフォームのためのＧＵＩの非限定的な一例を示す。
【図16】[024]本開示の一部の実施形態による、ストリートレベルインテリジェンスプラットフォームのためのＧＵＩの非限定的な一例を示す。
【発明を実施するための形態】
【0010】
発明の詳細な説明
[025] 特定の実施形態において本明細書で開示するのは、少なくとも１台のマッパ車両であって、各マッパ車両はテリトリ内のマッパ車両を取り囲む環境に関するデータを能動的に捕捉するように構成される位置決定装置、ＬｉＤＡＲ装置、及び少なくとも１つの撮像装置を含む能動データ捕捉システムを含む、少なくとも１台のマッパ車両と、スワーム車両のフリートであって、各スワーム車両はテリトリ内のスワーム車両を取り囲む環境の画像を受動的に捕捉するように構成される位置決定装置及び複数の撮像装置を含む受動データ捕捉システムを含む、スワーム車両のフリートと、少なくとも１個のプロセッサ及び少なくとも１個のプロセッサによって実行されるとき、能動データ捕捉システムからデータを受信し、ＬｉＤＡＲ、撮像装置、及び位置決定装置からのデータを組み合わせ、能動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行し、受動データ捕捉システムからデータを受信し、撮像装置及び位置決定装置からのデータを組み合わせ、受動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行し、抽出した特徴に基づいて能動データ捕捉システムからの組み合わさったデータを受動データ捕捉システムからの組み合わさったデータとマージするように構成されるデータ処理パイプライン、ストリートレベルインテリジェンスインタフェース、及びフリート管理者インタフェースを含む、ストリートレベルインテリジェンスアプリケーションを少なくとも１個のプロセッサに作成させる命令を含む計算システムとを含む、ストリートレベルインテリジェンスプラットフォームである。
[025] 特定の実施形態において本明細書で開示するのは、少なくとも１台のマッパ車両であって、各マッパ車両はテリトリ内のマッパ車両を取り囲む環境に関するデータを能動的に捕捉するように構成される位置決定装置、ＬｉＤＡＲ装置、及び少なくとも１つの撮像装置を含む能動データ捕捉システムを含む、少なくとも１台のマッパ車両と、スワーム車両のフリートであって、各スワーム車両はテリトリ内のスワーム車両を取り囲む環境の画像を受動的に捕捉するように構成される位置決定装置及び複数の撮像装置を含む受動データ捕捉システムを含む、スワーム車両のフリートと、少なくとも１個のプロセッサ及び少なくとも１個のプロセッサによって実行されるとき、能動データ捕捉システムからデータを受信し、ＬｉＤＡＲ、撮像装置、及び位置決定装置からのデータを組み合わせ、能動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行し、受動データ捕捉システムからデータを受信し、撮像装置及び位置決定装置からのデータを組み合わせ、受動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行し、抽出した特徴に基づいて能動データ捕捉システムからの組み合わさったデータを受動データ捕捉システムからの組み合わさったデータとマージするように構成されるデータ処理パイプライン、ストリートレベルインテリジェンスインタフェース、及びフリート管理者インタフェースを含む、ストリートレベルインテリジェンスアプリケーションを少なくとも１個のプロセッサに作成させる命令を含む計算システムとを含む、ストリートレベルインテリジェンスプラットフォームである。
【0011】
[026] 特定の実施形態において本明細書で更に開示するのは、少なくとも１個のプロセッサと、実行可能命令を実行するように構成されるオペレーティングシステムと、メモリと、マッパ車両に関連する少なくとも１つの能動データ捕捉システムからデータを受信するためのソフトウェアモジュールであって、各能動データ捕捉システムはテリトリ内のマッパ車両を取り囲む環境に関するデータを能動的に捕捉するように構成される位置決定装置、ＬｉＤＡＲ装置、及び少なくとも１つの撮像装置を含む、受信するためのソフトウェアモジュール、ＬｉＤＡＲ、撮像装置、及び位置決定装置からのデータを組み合わせるためのソフトウェアモジュール、能動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行するためのソフトウェアモジュール、スワーム車両のフリートに関連する複数の受動データ捕捉システムからデータを受信するためのソフトウェアモジュールであって、各受動データ捕捉システムはテリトリ内のスワーム車両を取り囲む環境の画像を受動的に捕捉するように構成される位置決定装置及び複数の撮像装置を含む、受信するためのソフトウェアモジュール、撮像装置及び位置決定装置からのデータを組み合わせるためのソフトウェアモジュール、受動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行するためのソフトウェアモジュール、抽出した特徴に基づいて能動データ捕捉システムからの組み合わさったデータを受動データ捕捉システムからの組み合わさったデータとマージするためのソフトウェアモジュール、ストリートレベルインテリジェンスインタフェースを提供するためのソフトウェアモジュール、及びフリート管理者インタフェースを提供するためのソフトウェアモジュールを含む、ストリートレベルインテリジェンスアプリケーションを作成するためにデジタル処理装置によって実行可能な命令を含むコンピュータプログラムとを含むデジタル処理装置を含む、コンピュータによって実装されるシステムである。
【0012】
[027] 本明細書に記載の一部の実施形態は、スマートフォンのカメラから街路状況の映像を捕捉することを含む、ソフトウェアによって実装される方法（例えば或る方法を実行するためにプロセッサによって実行されるように構成されるコードを記憶する非一時的プロセッサ可読媒体）に関する。コンピュータビジョン分析の第１のパスは、候補となる優先度の高いイベントを識別するために街路状況の映像に対して実行することができる。コンピュータビジョン分析の第２のパスは、優先度の高いイベントを識別するために候補となる優先度の高いイベントに対して実行することができる。このようにして、使用可能な計算資源を用いてさもなければ可能であるよりも詳細な街路状況の映像の分析を実行することができる。例えば使用可能な資源は、優先度の高いイベントを識別するために街路状況の映像をリアルタイムで処理できない可能性があるが、候補となる優先度の高いイベントをリアルタイムで識別し、候補となる高プロファイルイベントをスクリーニングして（実際の）高プロファイルイベントを識別するには十分であり得る。街路状況のマップ内に優先度の高いイベントを統合することができるように、高プロファイルイベントの指示を遠隔分析サービスに送信することができる。遠隔分析サービスは、スマートフォンに関連する車両において入手可能であるよりも多くの計算資源を有し得る。
【0013】
[028] 特定の実施形態において本明細書で更に開示するのは、マッパ車両に関連する少なくとも１つの能動データ捕捉システムからデータを受信するためのソフトウェアモジュールであって、各能動データ捕捉システムはテリトリ内のマッパ車両を取り囲む環境に関するデータを能動的に捕捉するように構成される位置決定装置、ＬｉＤＡＲ装置、及び少なくとも１つの撮像装置を含む、受信するためのソフトウェアモジュール、ＬｉＤＡＲ、撮像装置、及び位置決定装置からのデータを組み合わせるためのソフトウェアモジュール、能動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行するためのソフトウェアモジュール、スワーム車両のフリートに関連する複数の受動データ捕捉システムからデータを受信するためのソフトウェアモジュールであって、各受動データ捕捉システムはテリトリ内のスワーム車両を取り囲む環境の画像を受動的に捕捉するように構成される位置決定装置及び複数の撮像装置を含む、受信するためのソフトウェアモジュール、撮像装置及び位置決定装置からのデータを組み合わせるためのソフトウェアモジュール、受動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行するためのソフトウェアモジュール、抽出した特徴に基づいて能動データ捕捉システムからの組み合わさったデータを受動データ捕捉システムからの組み合わさったデータとマージするためのソフトウェアモジュール、ストリートレベルインテリジェンスインタフェースを提供するためのソフトウェアモジュール、及びフリート管理者インタフェースを提供するためのソフトウェアモジュールを含む、アプリケーションを作成するために少なくとも１個のプロセッサによって実行可能な命令を含むコンピュータプログラムで符号化される非一時的コンピュータ可読記憶媒体である。
【0014】
[029] 特定の実施形態において本明細書で更に開示するのは、マッパ車両に関連する少なくとも１つの能動データ捕捉システムからデータを受信することであって、各能動データ捕捉システムはテリトリ内のマッパ車両を取り囲む環境に関するデータを能動的に捕捉するように構成される位置決定装置、ＬｉＤＡＲ装置、及び少なくとも１つの撮像装置を含む、受信すること、ＬｉＤＡＲ、撮像装置、及び位置決定装置からのデータを組み合わせること、能動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行すること、スワーム車両のフリートに関連する複数の受動データ捕捉システムからデータを受信することであって、各受動データ捕捉システムはテリトリ内のスワーム車両を取り囲む環境の画像を受動的に捕捉するように構成される位置決定装置及び複数の撮像装置を含む、受信すること、撮像装置及び位置決定装置からのデータを組み合わせること、受動データ捕捉システムからの組み合わさったデータに対して特徴抽出を実行すること、抽出した特徴に基づいて能動データ捕捉システムからの組み合わさったデータを受動データ捕捉システムからの組み合わさったデータとマージすること、ストリートレベルインテリジェンスインタフェースを提供すること、及びフリート管理者インタフェースを提供することを含む、リアルタイムストリートレベルインテリジェンスを生成するコンピュータによって実装される方法である。
【0015】
[030] 本明細書に記載の一部の実施形態は、車載スマートフォン及び映像－マップ統合装置をそれぞれ備える複数の車両を含むシステムに関する。車載スマートフォンは街路状況の映像を継続的に捕捉することができる。例えばセルラデータネットワークの平均（例えば日常）帯域幅は映像を転送するのに必要な帯域幅を下回るので、車載スマートフォンは生の街路状況の映像を映像－マップ統合装置に転送できない場合がある。従って、車載スマートフォンは街路状況の映像を（例えば内蔵メモリ及び／又は周辺局所記憶域を使用して）局所的に記憶することができる。一部の例では、車載スマートフォンが少なくとも８時間の街路状況の撮影場面を記憶するように動作可能であり得る。車載スマートフォンは、街路状況の映像内の優先度の高い特徴を識別し、優先度の高い特徴を含む映像の一部を映像－マップ統合装置に例えばスマートフォンのセルラデータ無線及び／又はセルラデータネットワークによって送信するようにも動作可能であり得る。映像－マップ統合装置はマップ内に優先度の高いイベントを統合し、更新済みのマップをセルラデータネットワーク上で車載スマートフォンのフリートに送信するように動作可能であり得る。このようにして、フリートをほぼリアルタイムで（例えば３時間以内に）優先度の高いイベントを通知され得る。車両が自宅位置（例えば車庫）に戻ると、車載スマートフォンはセルラデータネットワークよりも高い周波数を有し得る及び／又は車両がより長時間過ごし得るWiFiネットワークに接続し、局所的に記憶された街路状況の映像を映像－マップ統合装置に車載スマートフォンのWiFi無線経由で転送することができる。マップが少なくとも毎日更新されるように、映像－マップ統合装置はWiFiによって受信される映像をマップ内に統合するように動作可能であり得る。更新済みのマップは、マップビューワ装置、車載スマートフォン、及び／又はナビゲーション装置に送信され得る。
【0016】
決まった定義
[031] 別段の定めがない限り、本明細書で使用する全ての技術用語は本発明が属する当業者によって一般に理解されるのと同じ意味を有する。本明細書及び添付の特許請求の範囲の中で使用するとき、単数形「a」、「an」、及び「the」は文脈が明らかに異なる場合を除いて複数形の言及も含む。別段の定めがない限り、本明細書における「又は（or）」への如何なる言及も「及び／又は（and/or）」を包含することを意図する。
[031] 別段の定めがない限り、本明細書で使用する全ての技術用語は本発明が属する当業者によって一般に理解されるのと同じ意味を有する。本明細書及び添付の特許請求の範囲の中で使用するとき、単数形「a」、「an」、及び「the」は文脈が明らかに異なる場合を除いて複数形の言及も含む。別段の定めがない限り、本明細書における「又は（or）」への如何なる言及も「及び／又は（and/or）」を包含することを意図する。
【0017】
[032] 本明細書で使用するとき、「スワーム」は周囲環境の画像及び／又は映像を受動的に捕捉することができる受動捕捉システムを指し、交通に影響を及ぼすイベントをリアルタイムで表す。一部の例では、スワームシステムはデータを収集し処理するためのスワームシステムを装備する複数の車両を有し得るサードパーティフリートによって提供され得る。マップの区分ごとの歩行者交通等のインテリジェンス製品を相対的に短いリフレッシュレートで、例えば毎夜、毎週、又は毎月ブロックレベル又は近所レベルで導出することができる。
【0018】
[033] 本明細書で使用するとき、「マッパ」は周囲環境の画像及び映像を能動的に捕捉し、２Ｄ又は三次元（３Ｄ）ベースマップ等の高解像度グラフィカル表現を生成することができる能動的捕捉システムを指す。一部の例では、周囲環境を検知しデータを収集するための複数のセンサを有する専用車両に基づいてマッパシステムを構成することができる。データは、相対的に長いリフレッシュレートで、例えば２年に１回のリフレッシュレートで高解像度２Ｄ及び３Ｄマップを住所レベルで導出するために使用することができる。
【0019】
[034] 本開示の一部の実施形態によれば、上記で論じたマッパシステム及びスワームシステムは一体化された様式で動作するように構成することができ、それによりマッパシステムによって提供されるデータセットがより正確になり、スワームシステムによって提供されるデータセットがより定期的に更新される。一部の例では、これらの２種類のデータセットの組み合わせが機械学習に基づく特徴抽出及び特徴マッチングによって実行され得る。
【0020】
概要
[035] 図１を参照し、特定の実施形態では、ストリートレベルインテリジェンスシステム１００が２つのサブシステム、即ちマッパシステム及びスワームシステムを含み得る。図示のスワームシステムは収集モジュール１０１、融合モジュール１０２、及び分析モジュール１０３を含み得る。同様に及びそれに対応し、図示のマッパシステムは収集モジュール１０４、融合モジュール１０５、及び分析モジュール１０６を含み得る。更に図示してあるのがマージモジュール１０７及び変換モジュール１０８であり、これらはマッパシステム及びスワームシステムによって共用することができ、分析モジュールからのデータをマージし、マージ済みのデータを利用するために所望の形式に変換することができる。
[035] 図１を参照し、特定の実施形態では、ストリートレベルインテリジェンスシステム１００が２つのサブシステム、即ちマッパシステム及びスワームシステムを含み得る。図示のスワームシステムは収集モジュール１０１、融合モジュール１０２、及び分析モジュール１０３を含み得る。同様に及びそれに対応し、図示のマッパシステムは収集モジュール１０４、融合モジュール１０５、及び分析モジュール１０６を含み得る。更に図示してあるのがマージモジュール１０７及び変換モジュール１０８であり、これらはマッパシステム及びスワームシステムによって共用することができ、分析モジュールからのデータをマージし、マージ済みのデータを利用するために所望の形式に変換することができる。
【0021】
[036] 一部の例では、スワームシステムの収集モジュール１０１が静止画又は映像を捕捉するための１つ又は複数の撮像装置を含み得る。撮像装置は電磁放射（例えば可視光、赤外光、及び／又は紫外光等）を検出し、検出した電磁放射に基づいて画像データを生成するように構成され得る。撮像装置は、光の波長に応じて電気信号を生成する電荷結合素子（ＣＣＤ）センサ又は相補形金属酸化膜半導体（ＣＭＯＳ）センサを含み得る。結果として生じる電気信号を処理して画像データを作成することができる。撮像装置によって生成される画像データは、静止画（例えば写真）、動画（例えば映像）、又はその適切な組み合わせであり得る１つ又は複数の画像を含み得る。画像データは多色（例えばＲＧＢ、ＣＭＹＫ、ＨＳＶ等）又はモノクロ（例えばグレースケール、白黒、セピア等）であり得る。撮像装置は画像センサ上に光を導くように構成されるレンズを含み得る。
【0022】
[037] 一部の実施形態では、静止画データ又は動画データ（例えば映像）を捕捉可能な１つ又は複数のカメラを含み得るスマートフォンとして撮像装置を実装することができる。カメラは静止画（例えば写真）を捕捉する静止カメラとすることができる。カメラは動画及び静止画の両方を捕捉してもよい。カメラは動画の捕捉と静止画の捕捉とを切り替えてもよい。本明細書に記載の特定の実施形態はスマートフォンの脈絡で説明するが、本開示は任意の適切な撮像装置に適用できること、カメラに関する本明細書の如何なる説明も任意の適切な撮像装置に適用できること、及びカメラに関する本明細書の如何なる説明も他の種類の撮像装置に適用できることを理解すべきである。３Ｄシーン（例えば環境、１つ又は複数のオブジェクト等）の２Ｄ画像を生成するためにカメラを使用することができる。カメラによって生成される画像は２Ｄ画像平面上への３Ｄシーンの投影を表し得る。従って、２Ｄ画像内の各点はシーン内の３Ｄ空間座標に対応する。カメラは光学素子（例えばレンズ、ミラー、フィルタ等）を含み得る。カメラはカラー画像、グレースケール画像、赤外画像等を捕捉することができる。赤外画像を捕捉するように構成される場合、カメラは熱撮像装置であり得る。
【0023】
[038] 一部の実施形態では、撮像装置（例えばスマートフォン）及び／又は他の局所（例えば車載の）計算資源が限られている場合がある。例えば撮像装置は（例えばスマートフォンのハウジング内に部分的に又は完全に配置される）中程度の処理及び／又はメモリを含み得る。更に、クラウドコンピューティング資源等のよりロバストな処理能力への接続がない期間を含め、撮像装置は現場にあるとき限られた帯域幅を有し得る。例えば撮像装置にとってアクセス可能なセルラデータネットワークは継続的に収集される映像を転送するのに十分な帯域幅を提供しない場合があり、及び／又はデータを転送するためにセルラデータネットワークキャリアによって課せられる料金は継続的に収集される映像の転送を法外に費用がかかるものにし得る。従って本明細書で更に詳細に説明するように、一部の実施形態は使用可能な計算資源を用いてさもなければ可能であるよりも優れた結果をもたらすために撮像装置によって捕捉されるデータを処理し分析するための、及び／又は撮像装置から遠隔記憶域及び／又は分析設備へのデータ転送を管理するためのシステム及び方法に関する。
【0024】
[039] スワームシステムの収集モジュール１０１は、スワームシステムの起動時に自動で始動することができる。一部の例では、データを収集するための撮像装置として使用され得るスマートフォン上にスワームシステムがインストールされる場合、スマートフォンがWi-Fiネットワークから切断されるや否や、例えばスマートフォンがフリートの車両上に搭載され、車両がフリートの車庫を出て道路に入るとき、画像又は映像を捕捉し始めるように収集モジュール１０１が構成され得る。捕捉処理中、高解像度の静止画が捕捉される場合は被写体ぶれに直面することがあり、本明細書で論じるように図６に示すスワーム選択的捕捉ロジックによって考慮に入れられるべきである。
【0025】
[040] 画像及び映像を捕捉するために撮像装置を使用することに加えて、収集モジュール１０１は１つ又は複数のセンサ、例えばビジョンセンサ、全地球測位システム（ＧＰＳ）センサ等の位置決めセンサ、又は加速度計、ジャイロスコープ、及び／又は重力検出センサ等の慣性センサも含み得る。これにより、時間、フレーム番号、位置、速度、加速度、光源レベル、及びBluetooth／Wi-Fi装置の付近の計数等の追加データをそれらのセンサの１つ又は複数によって捕捉し又は収集することができ、その後、スワームシステムの融合モジュール１０２によって画像又は映像データと融合することができる。融合モジュール１０２による融合操作時、例えば運転者を分析するためにフリート管理者又は潜在的なサードパーティによって要求されるビデオオンデマンド（ＶＯＤ）サービスのために、おおよその位置又は変化している位置を有するリアルタイムのイメージ又は準リアルタイムのイメージを実現することができる。
【0026】
[041] 一部の例では、スワームシステムの収集モジュール１０１が、例えば無線通信システム上でハイパーテキスト転送プロトコル（ＨＴＴＰＳ）によって位置及びステータスレポートを遠隔サーバに定期的に追加で伝送することができる。本明細書の遠隔サーバは、遠隔サイトにおけるクラウドサーバ又はサードパーティに位置するサーバ若しくはサードパーティによって所有されるサーバであり得る。
【0027】
[042] 一部の例ではスワームシステムの分析モジュール１０３が捕捉イメージを分析し、処理アルゴリズムを適用して歩行者交通を明らかにすることができ、これについては図１０に関して後で詳細に論じる。
【0028】
[043] 一部の例では、高解像度の画像及び映像を収集して得るために、マッパシステムの収集モジュール１０４が高精度及び高精細のハードウェアを含むことができる。例えばマッパシステムの収集モジュール１０４は、位置及び方位を決定するための高度なＧＰＳ／全地球的航法衛星システム（ＧＮＳＳ）又は慣性計測装置（ＩＭＵ）センサを含み得る。更に収集モジュール１０４は、点群データを形成するための１つ又は複数のＬｉＤＡＲセンサ及びパノラマ画像を撮影し又は捕捉するためのPointGray Ladybug5等の球面デジタルビデオカメラシステムを含むことができる。本明細書で言及するハードウェアは例示目的に過ぎず、適切なハードウェアを含むマッパシステムの一例を図１０に関して説明する。
【0029】
[044] 高解像度の画像及び映像、時間データ、位置データ等の様々な種類のデータは、対応する形式を有するファイル内に収集することができる。ファイルはこれだけに限定されないがＷＭＶファイル、ＡＳＦファイル、ＡＳＸファイル、ＲＭファイル、ＲＭＶＢファイル、ＭＰＧファイル、ＭＰＥＧファイル、ＭＰＥファイル、３ＧＰファイル、ＭＯＶファイル、ＭＰ４ファイル、Ｍ４Ｖファイル、ＡＶＩファイル、ＤＡＴファイル、ＭＫＶファイル、ＦＬＶファイル、ＶＯＢファイル、ＪＰＧファイル、ＴＩＦＦファイル、ＲＡＭファイル、ＢＭＰファイル、ＧＩＦファイル、ＰＮＧファイル、ＰＣＸファイル、ＷＭＦファイル、ＰＣＸファイル、ＳＷＦファイル、ＧＤＦファイル、ＫＩＷＩファイル、NavTechファイル、raw network ＰＡＣＰファイル、Ladybug ＰＧＲファイル、及びＧＰＳファイルを含み得る。一部の実施形態では、これらのファイルの一部がマッパシステムの融合モジュール１０５によって必要に応じて互いに融合される。例えばＰＣＡＰファイルからのＬｉＤＡＲデータをＧＮＳＳデータと組み合わせて、ＣＳＶファイル内の点群スライス及びＰＯＳＥファイル内の位置／方位情報を作成することができる。ＳＣＡＮファイル、ＰＯＳＥファイル、及び修正ＪＰＧファイルを更に組み合わせることにより、レジスタされカラー化された点群スライスを作成することができる。その後、分析モジュール１０６は高精細の又は高解像度のマップを生成することができ、特徴抽出及び他の所要のデータ処理を実行することによってサイトインテリジェンスを実現することができる。融合モジュール１０５及び分析モジュール１０６の動作の説明はそれらによって実行される処理の一部の側面を例示するに過ぎず、マッパシステム及びスワームシステムの処理の流れの更なる詳細を示す図１０及び図１２に関して詳細な解説を後で行う。
【0030】
[045] 図１に示すように、分析モジュール１０３及び分析モジュール１０６によってデータをそれぞれ分析した後、本開示の一部の実施形態により、結果として生じるマッパシステム及びスワームシステムからのデータをマージモジュール１０７及び変換モジュール１０８によってそれぞれマージし変換することができる。一部の例では、窓、標識（例えば道路標識又は広告標識）、及び他の陸標等のオブジェクト又は特徴を検出するために、ディープラーニング技法を用いて１つ又は複数の機械学習モデルを確立し訓練することができる。例えば特徴が窓に関係する場合、窓を検出するためにマッパデータに対して特徴抽出を実行することができ、同様に窓を検出するためにスワームデータに対して特徴抽出を実行することができる。次いでマッパデータ内で検出される窓をスワームデータ内で検出される窓と比較し、それらが同じかどうかを判定することができる。同じである場合、それはスワームデータがこの点に関して正しいことを意味する。しかし同じではない場合、窓に関するスワームデータを更新し（例えば位置データ）、それによりスワームデータの精度を改善することができる。更に一部の例では、マージモジュール１０７を用いて画像を局所化することができ（即ち画像の局所化）、従って変換モジュール１０８においてリアルタイムの高精細マップを得ることができる。加えて、マージモジュール１０７におけるマージ操作に基づいて歩行者交通に関する予測を変更することができ、変換モジュール１０８においてマッピングに優先順位を付けることができる。
【0031】
[046] 上記の内容は、ストリートレベルインテリジェンスシステムのモジュール又はブロック及びその主な機能について論じた。それらのモジュール及びその動作についての本明細書の説明は例示目的に過ぎず、当業者なら本開示の趣旨及び範囲から逸脱することなしに本開示の教示に基づいてモジュールの１つ又は複数を追加し、除去し、省略し、又は組み合わせることができることを理解すべきである。更に、マッパシステムからのマッパデータ及びスワームシステムからのスワームデータの効率的且つ効果的な組み合わせにより、本開示の実施形態によるストリートレベルインテリジェンスシステムは高解像度であるだけでなく最新に保つことができ、２つの組み合わさったデータセットから機械学習技法を使用して分析情報を導出することができる。更に、機械学習に基づく特徴抽出及び特徴マッチングを用いてスワームデータをより正確にすることができ、マッパデータをより定期的に更新することができる。
【0032】
[047] 図２を参照し、特定の実施形態では、スワーム捕捉装置２００が撮像装置を収容するためのハウジングを含み得る。ハウジングは、車内に撮像装置を固定し締め付けるための補完として設計され得る２つの部品、即ち第１の主部品２０１及び第２の主部品２０２を有し得る。一部の例では、第１の主部品と第２の主部品とがロック機構又はクランプ機構等の接続機構を用いて互いに移動可能に接続され得る。一部の例では、第１の主部品及び第２の主部品は引き抜き設計を有する単一の部品とすることができ、そのため２つの主部品を反対方向に引っ張るとき撮像装置をその中に挿入することができる。ハウジングは、互いに補完的であり第１の主部品及び第２の主部品上にそれぞれ配置される突出部分２０４及び２０５を更に含むことができる。どちらの突出部分も例えばボルト、ベルト、螺子、ナット等の接続部品によって互いに取り付けることができ、それによりハウジング内に撮像装置をしっかりと留めることができる。更に、本明細書の突出部分は車両内の他の接続機構又は接続部品に取り付けることもでき、それにより画像収集のために撮像装置を車両に固定することができる。
【0033】
[048] 図示の撮像装置２０３は例示目的でカメラを有するスマートフォンとして実装されており、カメラ等の他の撮像装置も可能である。スマートフォンは画像を捕捉するためにハウジング内に配置し又は挿入することができる。一部の例では、スワーム捕捉装置がスマートフォンに給電するための電池ユニット等の１つ又は複数の電源ユニットを任意選択的に有し、それによりスマートフォンの電源レベルが所定の閾値を下回る場合にスマートフォンの撮影時間を延ばすことができる。更にスワーム捕捉装置は、スマートフォンを他の装置、例えば図５に例示的に示す画像を捕捉するために同じ車両上に配置される他の撮像装置に接続するための１つ又は複数のスロット又はポートを更に含み得る。
【0034】
[049] 一部の実施形態では、スマートフォンの一部の機能を無効にし、それによりスマートフォンは車両の周りの画像及び映像を捕捉することに充てられ得る。例えばハウジング内に配置され撮影の準備が整ったとき、スマートフォンの通話機能を無効にすることができる。一部の例では、節電のためにショートメッセージの受信等の他の機能も無効にすることができる。更に、通信を行うことができないフライトモードにスマートフォンを設定することができ、それにより環境のデータを収集するためにスマートフォンの電力を更に節約することができる。
【0035】
[050] 図３を参照し、スワーム捕捉装置３００の右前方の図を示す。スワーム捕捉装置３００は、図２に示すスワーム捕捉装置２００と同様であり又は等しくあり得ることを理解すべきである。従って本明細書では、図２に関するスワーム捕捉装置の如何なる説明もスワーム捕捉装置３００に等しく適用することができる。
【0036】
[051] 図３に示すようにスワーム捕捉装置３００は、内部に挿入される撮像装置３０３を収容可能な、第１の主部品３０１及び第２の主部品３０２を含むハウジングを有する。更にハウジングは、画像の捕捉時にスワーム捕捉装置３００を所定位置に固定するための２つの突出部分を更に含み得る。本明細書の撮像装置３０３は、図２に示すのと同じであり得るスマートフォンとして示す。図２に関して行った説明と同様に、本明細書のスマートフォンは画像を収集するために排他的に使用されるように構成され得る。加えて又は或いはスマートフォンはBluetooth接続に接続することもでき、その結果、たとえ画像及び映像を捕捉するためにスマートフォンが動作していても通話機能を引き続き有効にすることができる。
【0037】
[052] 図２及び図３に示すスマートフォンは任意の適切なオペレーティングシステム（ＯＳ）、例えばAndroid OS又はMac OS上で実行されるように構成され得る。一部の例では、本開示の一部の実施形態によるスマートフォンがLinageOS（前のCyanogen）Android distributionのカスタム版を実行するように構成され得る。このカスタム化はスマートフォンの電源投入時の起動、遠隔アクセス、及び追加のロギングを有効にし得る。例えば本明細書で更に詳細に論じるように、車両のエンジンがオン及び／又はオフにされるときをスマートフォンが検出できるようにスマートフォンを車両電源に接続することができる。スマートフォンは、例えば通話機能、一部の及び／又は全ての入力モードを無効にする「ヘッドレス」式に動作するように、カスタム出力を提供するように等構成され得る。例えばスマートフォンは車両がオンにされるときに電源投入するように、（例えば街路状況の映像及び／又は写真を捕捉する）データ捕捉モードに自動で入るように、通話機能を無効にするように、及び／又は車両がオフにされるときに電源を切る若しくは節電状態に入るように構成され得る。更にスマートフォンは、（例えばＧＰＳ及び／又は慣性センサによって）自宅拠点又は車庫を離れたことを検出する場合、（例えば遠隔分析、モニタリング、及び／又は調整装置（例えば本明細書で更に詳細に説明するリアルタイムイベントサービス）から受信されるデータに基づいて過去に及び／又は最近撮像されていない領域内にあることを検出する場合等、特定の条件が満たされる場合にデータを自動で捕捉するように構成され得る。スマートフォンは、自宅拠点又は車庫に入ったことを検出する場合等、特定の場合にデータの捕捉を自動で停止するように構成することもできる。更にスマートフォンは、遠隔分析、モニタリング、及び／又は調整装置に自動でデータを送信するように、及び／又はデータが送信されると共によりモードを管理するように構成され得る。例えばスマートフォンは、相対的に高帯域幅の及び／又は低コストのネットワーク（WiFi又は有線ローカルエリアネットワーク等）を利用できるようになるまで優先度の低いデータ（例えば映像データ）を局所的に記憶しながら、相対的に低帯域幅の及び／又は高コストのネットワーク（例えばＬＴＥネットワーク等のセルラデータネットワーク）を使用して優先度の高いイベントの指示を送信するように構成され得る。同様に述べるが、スマートフォンは自宅拠点又は車庫に入ったことを検出する場合にWiFiに接続し、WiFiネットワークを介して映像データをアップロードするように構成され得る。加えて又は或いは、スマートフォンは定期的に接触ように構成されてもよい、指示、マップの更新、他のスマートフォンによって検出される優先度の高いイベントの指示等を得るために遠隔分析、モニタリング、及び／又は調整装置。
【0038】
[053] 図４を参照し、スワーム捕捉装置４００の下面図を示す。本明細書のスワーム捕捉装置４００は、図２及び図３にそれぞれ示すものと同様であり又は等しくあり得る。従って、図２及び図３に関して前に行ったスワーム捕捉装置の如何なる説明もスワーム捕捉装置４００に等しく適用することができる。スワーム捕捉装置４００は、第１の主部品４０１及び第２の主部品４０２を含むハウジングを有する。スワーム捕捉装置の底面には、第１の磁性部品４０３及び第２の磁性部品４０４等の２つの装着部品も示されている。第１の磁性部品４０３及び第２の磁性部品４０４は、例えば車両の前面、左側、及び右側にある金属面にスワーム捕捉装置４００を固定するのに十分な磁気を与えることができる。従って、利用者はスワーム捕捉装置を容易に車両に搭載し又は車両から取り外すことができる。本明細書の磁性部品は例示目的に過ぎず、スワーム捕捉装置を車両に移動可能に結合するために留め具、作動要素、ジョイント、ヒンジ、ボルト、螺子等の他の任意の結合機構も使用できることを理解すべきである。本明細書の車両は自律車両又は無人車両であり得る。
【0039】
[054] 図５を参照し、車両５０１内に配備されるスワーム捕捉装置の配線図５００を示す。特定の実施形態では、そのそれぞれが図２～図４に関して論じたのと同様であり又は等しい４つのスワーム捕捉装置５０４、５０５、５０６、及び５０７が車両５０１上に配置される。図示のように、スワーム捕捉装置５０５及び５０７は車両の運転台の上部に配置されており、カメラのレンズは前を向いている。更に、スワーム捕捉装置５０４及び５０６は運転台の両側に配置されており、カメラのレンズは側方を向いている。このスワーム捕捉装置の構成を用いて車両の前部の周りのビューを捕捉することができる。先に論じたように、スワーム捕捉装置は映像又は静止画を捕捉するように構成され得る。典型的な構成では、２つの前向きのスワーム捕捉装置（例えば５０５及び５０７）が映像を捕捉し得る一方、２つの横向きのスワーム捕捉装置（例えば５０４及び５０６）が高解像度の静止画を捕捉し得る。
【0040】
[055] 本明細書のスワーム捕捉装置の構成は例示目的に過ぎず、スワーム捕捉装置は必要に応じて車両の何処にでも配置できることを当業者なら想像できると理解すべきである。例えばスワーム捕捉装置は車両の後部、例えばバックミラー付近に配置することもできる。
【0041】
[056] 集中制御及びデータ同期に関して、スワーム捕捉装置を制御するために、例えばスワーム捕捉装置を例えば５Ｖ電源で給電するために及びスワーム捕捉装置をユニバーサルシリアルバス（ＵＳＢ）ポートによって同期するために、マイクロコントローラ５０２を任意選択的に適用することができる。スワーム捕捉装置により上手く電源投入するために、車両のモータが動いているときはオンになり車両のモータが止まるときはオフになるヒューズタップを使用し、車両の１２Ｖ電源システム内にＤＣ－ＤＣコンバータを配線接続することができる。この場合、スワーム捕捉装置が車両のモータが動いているときを検出し、電源投入し、及び／又は車両がオンにされるときに捕捉を開始することを可能にするために、及び／又は車両のモータがオフにされるときに電源を切る（例えば待機状態又は低エネルギ状態に入る）ことを可能にするためにカスタムソフトウェアを使用することができる。車両のモータが動いている間、スワーム捕捉装置はＤＣ－ＤＣコンバータから電力を得ることができる。
【0042】
[057] 図６を参照し、特定の実施形態では、画像を選択的に撮って保ち、それにより静止画の品質及び有効度を保証するためにスワーム選択的捕捉ロジック６００が使用される。
【0043】
[058] 図６の上部の写真を撮るためのプロセスの流れ図の中で示すように、ブロック６０１で、静止捕捉ロジックは現在の時間が昼間かどうかを判定することができる。現在の時間が昼間ではなく写真を撮るのに適していない夜である場合、ブロック６０６でロジックは写真を撮らないことに決めることができる。しかし現在の時間が写真を撮るのに適した昼間である場合、この流れはブロック６０２に進み、ブロック６０２では現在位置が車両の駐車場所である車庫に近いかどうかを判定する。車両が車庫に近い、例えば車両が車庫から出ていないと判定される場合、ブロック６０６でロジックは写真を撮らないことに決めることができる。現在位置が車庫に近くない、例えば車両が車庫から出ている場合、ブロック６０３でロジックは車両が３メートル以上移動しているかどうかを更に判定することができる。３メートル以上移動している場合、スワーム捕捉装置はブロック６０５で写真を撮ることができる。さもなければこの流れはブロック６０４に進み、ブロック６０４でロジックは最後の写真が１０秒前に撮られたかどうかを判定することができる。最後の写真が１０秒前に撮られている場合、スワーム捕捉装置はブロック６０５で写真を撮ることができる。最後の写真が１０秒前に撮られていない場合、この流れはブロック６０６に戻り、ブロック６０６でスワーム捕捉装置は写真を撮らないことに決める。写真を撮らないのは、一部の状況では静止画を頻繁に撮ることが望ましくないことに起因し得る。
【0044】
[059] 上記の写真を選択的に撮るためのプロセスの流れ図は例示目的に過ぎず、静止画を撮るかどうかを決定するために、時間又は位置に加えて他の判断条件も適用できることを当業者なら理解できることを理解すべきである。例えば判断条件は、利用者によって指定されるスワーム捕捉装置の電源レベル又は記憶域レベル、写真を撮るための所与の時間枠であり得る。加えて一部の例では、スワーム捕捉装置がWi-Fi接続から絶たれ、スワーム捕捉装置がフリートの車庫から十分遠くに移動しているとそのＧＰＳが報告すると画像の捕捉が始まる。
【0045】
[060] 図６の左下に示すように、静止画がスワーム捕捉装置によって撮られ、９つの格子又は領域に分割されており、中央の格子及び角の４つの格子が３、１、２、４、５でそれぞれ示されている。このように前処理した静止写真に基づき、捕捉した静止写真を保つかどうかを決定するためのプロセスを図６の右下の流れ図の中で示すように実行することができる。ブロック６０７で、スワーム選択的捕捉ロジックが５つの領域１、２、３、４、及び５のそれぞれの中のピクセルごとにラプラシアンバリアンス（Laplacian variance）を計算することができる。次いでブロック６０８で、このロジックは５つの領域全てについて計算したラプラシアンバリアンスが所定の閾値を下回るかどうかを判定することができる。所定の閾値を下回る場合、ブロック６０９でこのロジックは写真を保つことに決めることができる。さもなければ、５つの領域全てについて計算したラプラシアンバリアンスが所定の閾値以上である場合、このロジックは捕捉した写真をブロック６１０で削除することに決めることができる。このようにして、捕捉した画像内で生じ得る被写体ぶれをなくし又は軽減することもできる。一部の領域が所定の閾値を上回るラプラシアンバリアンスを有する一方、他の領域が所定の閾値を下回るラプラシアンバリアンスを有する例では画像を保つことができる。或いは、所定の閾値を上回るラプラシアンバリアンスを有する領域の数が別の所定の閾値を下回る場合（例えば領域の大多数のラプラシアンバリアンスが所定の閾値を下回る場合）に画像を保ってもよい。このようにして、高速で移動するオブジェクト（例えば車）を有する街路状況を撮像するときに生じ得るような部分的にぼけた画像を保つことができる。
【0046】
[061] 上記で論じた写真を保つかどうかを決定するためのプロセスは例示目的に過ぎず、写真を保つかどうかを決定するための他の解決策又は代替策を当業者なら想像できることに留意すべきである。例えば写真が９つの格子に分割され、そのうちの５つが選択されているが、精度要件を満たすために写真を更に多くの又は少ない格子に分割することもできる。更に本明細書ではラプラシアンバリアンスを使用するが、画像の品質を決定するのに適した他のアルゴリズムも当業者によって想像されるように適用することができる。
【0047】
[062] 一部の例では、画像及び映像捕捉ロジック（又はソフトウェア）が適切に機能していることをモニタし確実にするために、スワーム捕捉装置上に監視ソフトウェアをインストールすることができる。加えて監視ソフトウェアは、ソフトウェア又はファームウェアの更新をダウンロードしインストールする役割も担い得る。一部の例では、写真を撮り画像データを収集することに加えて、スワーム捕捉装置はこれだけに限定されないが時間、フレーム番号、位置、加速度計の状態、光源レベル、及びBluetooth／Wi-Fi装置の付近の計数を含む他の種類のデータを別個のメタデータファイル内に収集するように及び生成するように構成され得る。マイクロコントローラが使用されている場合、メタデータファイル内に同期パルスデータも含めることができる。
【0048】
[063] 図７を参照し、特定の実施形態では映像のダウンロードを制御するためにスワームダウンロードロジックを使用し、最近の映像をダウンロードするためのプロセス７０１を図７の上部の流れ図に示し、過去の映像をダウンロードするためのプロセス７０８を図７の下部の流れ図に示す。
【0049】
[064] まずプロセス７０１を参照し、ステップ７０２で、一部の事例では自律車両であり得る車両７１３上の映像を得るための要求を顧客又はクライアントがフリート管理者に伝送することができる。この要求は、例えばスマートフォン上にインストールされたクライアントアプリケーションを用いて利用者のスマートフォンによって伝送され得る。フリート管理者がその要求を例えば遠隔サーバを介して受信すると、ステップ７０３でフリート管理者はその要求を指令室（ＣＮＣ：Command and Control Center）に転送することができ、ＣＮＣでは様々なフリート管理者からの要求が収集され処理され得る。次いでＣＮＣは、その要求をロングタームエボリューション（ＬＴＥ）システム等の無線通信ネットワークを介して車両７１３に伝送することができる。ＬＴＥネットワークにより、車両７１３は自らのステータスをステップ７０４でＣＮＣに伝送し、又は潜在的な要求を求めてＣＮＣをポーリングすることができる。ステップ７０５で車両７１３が要求を受信する場合、車両７１３はＬＴＥネットワークを介して走行中に収集した映像をAmazon Simple Storage Service等のクラウド記憶システム（Ｓ３）に伝送し又はアップロードすることができ、それにより要求され又は求められた映像が顧客に伝送され得る。換言すれば、顧客はデータベースＳ３から映像をダウンロードしそれを自分のスマートフォン上で局所的に見ることができる。
【0050】
[065] 上記のプロセスは、車両が道路を走行しているとき又は街区を横断しているとき実行され得ることを理解することができる。更に、プロセス７０１に示すステップは例示目的に過ぎず、必要に応じてステップの一部を省略し又は組み合わせることができることを当業者なら理解することができる。例えば一部の例では、ＣＮＣ及びフリート管理者が同じ位置にあってもよく、従ってフリート管理者の如何なる関与もなしにＣＮＣが直接要求を処理することができる。加えて又は或いは、ＣＮＣ及びデータベースＳ３も同じ位置にあってもよく、従ってＣＮＣはデータベースＳ３とクライアントとの間の新たな接続を確立することなしにデータベースＳ３からクライアントに直接映像を転送することができる。一部の事例ではスワーム捕捉装置が、記録及び統計的分析のためにＬＴＥネットワーク上でＨＴＴＰＳによって位置及びステータスレポートをデータベースＳ３に定期的に送信することができる。或いはスワーム捕捉装置は、位置及びステータスレポートをフリート管理者に定期的に又はリアルタイムで送信することもでき、そのためフリート管理者は任意の所与の時点において車両をモニタすることができる。
【0051】
[066] 次にプロセス７０８を参照し、ステップ７０２で、車両７１３が車庫に入るときスワーム捕捉装置とのWi-Fi接続を確立することができ、スワーム捕捉装置が行う捕捉操作が停止し得る。スワーム捕捉装置は全ての画像データをデータベースＳ３にオフロードすることができる。画像データが完全にオフロードされ、車両がオフにされると、スワーム捕捉装置は直ちにシャットダウンする。或いはオフロード操作は、スワーム捕捉装置又はフリート管理者によって制御される遠隔サーバ等の遠隔サーバの要求時に任意の適切な位置において実行され得る。加えてスワーム捕捉装置は遠隔サーバにオフロード操作を要求することができ、遠隔サーバから確認情報を受信するとオフロード操作を開始することができる。
【0052】
[067] 一部の例では、ステップ７１０で利用者が映像を得るための要求をフリート管理者に送信すると、ステップ７１２でフリート管理者はその要求をWi-FiネットワークによってデータベースＳ３に転送することができる。フリート管理者から要求を受信すると、ステップ７１１でデータベースＳ３は要求された映像を利用者に伝送することができる。本明細書の利用者は人物又はサードパーティ（例えばZendrive）等の企業とすることができ、従って運転者を分析するために優先順位データを含む要求された映像が使用され得る。
【0053】
[068] プロセス７０８は、車両が車庫に戻るとき又は車庫に駐車されるときに実行され得ることを理解することができる。更に、プロセス７０８に示すステップは例示目的に過ぎず、必要に応じてステップの一部を省略し又は組み合わせることができることを当業者なら理解することができる。例えば一部の例では、データベースＳ３及びフリート管理者が同じ位置にあってもよく、従ってフリート管理者の如何なる関与もなしにデータベースＳ３が直接要求を処理することができる。加えて又は或いは、フリート管理者は別の接続を介して、例えばＬＴＥ接続を介してデータベースＳ３と通信することができる。
【0054】
[069] 図８は、一実施形態による、優先度の高いイベントを識別するために映像を処理する方法の流れ図である。図８に関して図示し説明する方法の少なくとも一部は、Snapdragon 820プロセッサを有するスマートフォン等の相対的に低い計算能力を有する計算エンティティによって実行され得る。従って図８に関して説明する方法は、相対的に控え目の計算資源が既知の技法を使用して実現することができない結果をもたらすことを可能にする。例えば図８に関して説明する方法は、映像に対する既知のマシンビジョン技法をリアルタイムで実行できないプロセッサを使用し、リアルタイムの映像から優先度の高いイベントを識別することができる。
【0055】
[070] スワーム捕捉装置は映像を継続的に記録するように動作可能であり得る。映像は高品質のものであり得る（例えば少なくとも１２８０ｘ７２０の解像度、及び少なくとも３０フレーム／秒のフレームレートを有する）。本明細書で更に詳細に論じるように、継続的に捕捉した映像をセルラデータネットワーク上で無線伝送できない場合がある。従って捕捉される映像は局所的に、例えばスマートフォンのハウジング内のメモリ上に及び／又は局所ハードドライブ若しくはフラッシュメモリ装置上に局所的に記憶され得る。一部の実施形態では、少なくとも４時間、少なくとも８時間、少なくとも１２時間、又は少なくとも２４時間の映像を記憶するのに十分な局所（例えば車載）記憶容量があり得る。かかる例では、例えば車両が自宅拠点又は車庫に戻るとき、局所的に記憶される映像が分析、モニタリング、及び／又は調整装置（例えばリアルタイムイベントサービス、映像－マップ統合装置、又は他の適切な装置及び／又はサービス）にWiFi無線／ネットワークを介して転送され得る。分析、モニタリング、及び／又は調整装置は、WiFiによって受信される映像データを用いてマップが少なくとも４時間ごとに、１２時間ごとに、毎日、毎週、毎月、又は他の任意の適切な時間間隔で更新されるように、スワーム捕捉装置からWiFiによって受信される映像をマップ内に統合することができる。更に分析、モニタリング、及び／又は調整装置は動作可能であり得る、スワーム捕捉装置から受信されたコンテンツで更新されたマップを表す信号をマップビューワ装置（例えばウェブブラウザ又はマップビューワアプリケーションを実行するパーソナルコンピュータ、スマートフォン、タブレット等）、スワーム捕捉装置、及び／又はナビゲーション装置に送信する。一部の実施形態では、スワーム捕捉装置がＧＰＳ、ＬｉＤＡＲ、他の画像捕捉装置等の１つ又は複数のセンサに通信可能に結合され、かかるセンサから受信されるデータを捕捉済みの映像に関連させることができる。例えばＧＰＳ座標、ＬｉＤＡＲ点群等を捕捉済みの映像に関連させること、及び／又はメタデータとして映像に添付することができる。
【0056】
[071] スワーム捕捉装置は、映像の第１のパスのコンピュータビジョン分析をリアルタイムで実行するように動作可能であり得る。第１のパスは、候補となる優先度の高い特徴を識別することができる。例えば帯域フィルタリング技法を映像に対して実行して、優先度の高い特徴に関連する既定の特徴的な信号を識別することができる。例えば安全性－オレンジ色、又は安全性－黄色の色が識別される場合、それらのフレームは交通コーン又はバレルを潜在的に含むものとして識別することができる。同様に、点滅する青色又は赤色の光が検出される場合、その映像は緊急車両を潜在的に含むものとして識別することができる。第１のパスはリアルタイムで、ことによると映像が捕捉されたよりも低いフレームレートで（例えば１フレーム／秒、１０フレーム／秒、３０フレーム／秒等で）実行することができる。
【0057】
[072] マシンビジョン／機械学習分析の第２のパスは、候補となる優先度の高い特徴として識別されるフレーム及び／又は映像クリップに対して実行することができる。第２のパスはより計算集約的である可能性があり、スワーム捕捉装置のプロセッサは継続的に記録される映像に対して第２のパス中に実行される分析をリアルタイムで実行するのに十分な資源を有さない場合がある。候補となる優先度の高い特徴に対して第２のパスを選択的に実行することにより、スワーム捕捉装置は他のやり方で可能であるよりも高品質の画像認識タスクを実行することができる。第２のパスは、例えばコーン、工事現場のコンクリート壁、路上封鎖物、及び／又はバレルを識別して工事領域を識別することができる。加えて又は或いは、第２のパスは緊急灯、警察のロゴ／印、及び警察の路上封鎖物を識別することができる。第２のパスはほぼリアルタイムで（例えば映像を捕捉してから５分以内に）実行され得る。
【0058】
[073] 第２のパス中に識別される優先度の高いイベントは、更に処理し及び／又は分析するためにリアルタイムイベントサービスに送信することができる。例えばスワーム捕捉装置によって捕捉される映像の一部を、例えばセルラデータネットワーク（例えばＬＴＥ）上でリアルタイムイベントサービスにメタデータ（例えば位置データ、タイムスタンプ、優先度の高い特徴の指示等）と共にアップロードすることができる。一部の例では、リアルタイムイベントサービスがスワーム車両内で利用可能であるよりも多くの計算資源及び／又は人的資源を保持し得る。更に、スワーム捕捉装置はリアルタイムイベントサービスに完全な生映像を送信できない場合がある。例えばセルラデータネットワークは、継続的に捕捉される映像をスワーム捕捉装置がアップロードできるようにするには不十分な平均日常帯域幅を有し得る。同様に述べるが、スワーム捕捉装置によって映像が捕捉される帯域幅は、スワーム捕捉装置が利用できるセルラデータネットワークの帯域幅を平均して上回り得る。
【0059】
[074] リアルタイムイベントサービスは、追加のマシンビジョン／機械学習及び／又は人間の評価を行って優先度の高いイベントの影響を明らかにすることができる。例えばリアルタイムイベントサービスは、機械学習モデルを適用して更なる精度を伴って第２のパス内で識別されるイベントオブジェクトの検出を検証することができる。優先度の高いイベントの影響を明らかにし及び／又は記録するために使用され得る通知がリアルタイムイベントサービスＵＩ内に表示され得る。図９は、一実施形態によるリアルタイムイベントサービスＵＩのスクリーンショットである。一部の実施形態では、ＧＩＳアナリストがリアルタイムイベントサービスＵＩを使用し、同期されたマップと共に映像を見ることができる。アナリストは、優先度の高いイベントが交通に影響を及ぼすかどうかを判定することができる。多角形が（ＧＩＳアナリスト及び／又は機械学習プロセスによって）描かれてもよく、（例えばドロップダウンメニューから）影響の種類が選ばれる。スワーム車両及び／又は加入している当事者は、あり得るイベント、確認ステータス、及び影響を受ける領域を知らされ得る。加えて又は或いは、スワーム捕捉装置は（例えばスワーム車両の所定の範囲内で生じる）優先度の高いイベントに対する更新を求めてリアルタイムイベントＡＰＩを定期的にポーリングすることができ、及び／又はリアルタイムイベントサービスは優先度の高いイベントに対する更新をスワーム捕捉装置にプッシュすることができる。
【0060】
[075] リアルタイムイベントサービスは、優先度の高いイベントが生じたときを突き止めるように動作可能であり得る。例えばスワーム装置から優先度の高いイベントの指示を受信すると、リアルタイムイベントサービスは、優先度の高いイベントの位置を他の任意のスワーム装置が（例えば１時間以内に、６時間のうちに、２４時間のうちに、４８時間のうちに、先週等に）通過したかどうかを判定し、かかる任意のスワーム装置に優先度の高いイベントの位置の映像場面を要求する。リアルタイムイベントサービスはかかるスワーム装置から受信した映像を分析し、優先度の高いイベントが現れた窓を突き止めることができる。
【0061】
[076] 識別済みの優先度の高いイベントを通過するスワーム捕捉装置は、（例えば上記の２つのパスの分析と同様のプロセスを使用し）そのイベントがないことを識別するように構成され得る。後続のスワーム捕捉装置によってイベント内でが検出されない場合、リアルタイムイベントサービスはマップを更新して優先度の高いイベントを除去するように構成され得る。
【0062】
[077] 図１１を参照し、特定の実施形態では、本開示の一部の実施形態によるマッパ８００が、図示のようにＵＳＢ２．０、ＵＳＢ３．０、又はイーサネットポート等の様々な通信インタフェース又はケーブルによって互いに接続されるアンテナモジュール８０１（例えばNovatel 702GGアンテナ）、ＧＰＳ／ＧＮＳＳモジュール８０２（例えばNovatel SPAN-IGM-S1 GNSS）、データ収集モジュール８０３、ＬｉＤＡＲモジュール８０４（例えばVelodyne VLP-16「Puck」）、ＬｉＤＡＲインタフェースモジュール８０５（例えばVelodyne VLP-16インタフェース）、球面撮像モジュール８０６（例えばPointGrey Ladybug 5）、電池モジュール８０７、及びインバータ８０８を含むことができる。マッパ８００は、写真及び映像を含む高解像度画像を収集するために一部の領域内を運転して回る車両上に備え付けられ得る。
【0063】
[078] 一部の例では、アンテナモジュール８０１は、組み合わさったＧＰＳ＋ＧＬＯＮＡＳＳ信号受信を提供するＬ１／Ｌ２ ＧＮＳＳアンテナとすることができる。一部の事例では、利用者が同じアンテナをＧＰＳだけに、又はＧＰＳ＋ＧＬＯＮＡＳＳの応用に使用して統合の柔軟性を高め、機器費用を下げることができる。アンテナユニット８０１は同軸ケーブルを介してＧＰＳ／ＧＮＳＳモジュール８０２に接続し、そこに受信信号を伝送することができる。ＧＰＳ／ＧＮＳＳモジュール８０２はアンテナユニット８０１から位置信号を受信するための受信機を含み、車両の位置及び速度を高精度で計算することができる。ＧＰＳ／ＧＮＳＳモジュール８０２は、測定の精度を更に改善するために慣性計測装置（ＩＭＵ）が組み込まれてもよい。そのために、ＧＰＳ／ＧＮＳＳモジュールは１つ又は複数（例えば３つ）の加速度計、１つ又は複数（例えば３つ）のジャイロスコープを追加で含み、それにより非常に高度に動的且つ頻繁な信号の中断が予期され得る環境内で受信機が動作することを可能にし得る。
【0064】
[079] 一部の例では、ＬｉＤＡＲモジュール８０４が、例えばコンパクトなハウジング内に搭載される、周囲環境を走査するために高速スピン可能な１つ又は複数の（例えば１６個の）レーザ／検出器の対を使用することによってレーザ走査を行うように構成され得る。例えばＬｉＤＡＲモジュール８０４は、道路を走査するためにケーブルが下方へ向けられ９０度傾けられた状態で車両の後部に搭載することができる。
【0065】
[080] 一部の事例では、レーザが１秒当たり何千回も発射し、それにより濃い３Ｄ点群をリアルタイムでもたらす。更にＬｉＤＡＲモジュール８０４は、高い精度、延長された距離の検知、及び較正された反射率データを提供するために高度なデジタル信号処理及び波形分析を行うように構成され得る。一部の例では、ＬｉＤＡＲモジュール８０４は、応用にもよるが３６０°の水平視野（ＦＯＶ）、５～２０回転／秒の調節可能な回転速度、３０°の垂直ＦＯＶ、及び１００メートルまでのリターンが可能である。ＬｉＤＡＲモジュール８０４は正確なＧＰＳによって供給される時間パルスに自らのデータを同期させ、利用者が各レーザの厳密な発射時間を決定できるようにすることもできる。
【0066】
[081] 一部の例では、ＬｉＤＡＲモジュール８０４が、ＬｉＤＡＲモジュール８０４のインタフェースボックスの役割を果たし得るＬｉＤＡＲインタフェースモジュール８０５に接続され得る。図示のように、ＬｉＤＡＲインタフェースモジュール８０５はＧＰＳ／ＧＮＳＳモジュール８０２によって出される１秒に１回の同期パルス（ＰＰＳ）を受信し、それをＬｉＤＡＲモジュール８０４に転送することができる。それにより同期されると、ＬｉＤＡＲモジュール８０４は協定世界時（ＵＴＣ）の時刻に準拠して時間を過ぎたマイクロ秒の数に自らのタイムスタンプを設定することができる。それにより、ＬｉＤＡＲデータを点群内にジオリファレンスするのが容易になる。
【0067】
[082] 一部の例では、球面撮像モジュール８０６がＧＰＳ／ＧＮＳＳモジュール８０２からトリガパルスを受信し、地理的なマッピングアプリケーション内で表示するための位置ベースの視覚表現を捕捉することができる。例えば利用者は球面ビジョンカメラを使用して移動環境内で映像を捕捉し、画像の伝送をその捕捉時にラップトップコンピュータ又はデスクトップコンピュータとして実装され得るデータ収集モジュール８０３を使用して見ることができる。一部の事例では、球面撮像モジュール８０６が３６０°の映像ストリーミング、及び視覚的球面（visual sphere）の９０％をカバーすることができる。更に球面撮像モジュール８０６は事前に較正され、独自のソフトウェア開発キット（ＳＤＫ）が付属し、それにより撮像を捕捉するための専用アプリケーションの作成を可能にし得る。
【0068】
[083] 一部の例では、ＧＰＳ／ＧＮＳＳモジュール８０２、ＬｉＤＡＲインタフェースモジュール８０５、及び球面撮像モジュール８０６が、ＵＳＢ又はイーサネットインタフェース等の様々なインタフェースを使用し、データのやり取り、記憶、同期、及び制御のためにデータ収集モジュール８０３にそれぞれ接続し得る。本明細書のデータ収集モジュール８０３は、画像データを記憶するためのデータベースとして働き得る大容量記憶域を有するラップトップコンピュータ又はデスクトップコンピュータであり得る。
【0069】
[084] 一部の例では、上記のモジュールの１つ又は複数に給電するために電池モジュール８０７を電源として設ける。本明細書の電池モジュール８０７は、１２Ｖの直流（ＤＣ）を与えることができる車両上の補助電池であり得る。図示のように、この１２Ｖ ＤＣはＧＰＳ／ＧＮＳＳモジュール８０２、ＬｉＤＡＲインタフェースモジュール８０５、及び球面撮像モジュール８０６に直接適用され得る。しかし、データ収集モジュール８０３に適切に給電するために、インバータ８０８を導入して１２Ｖ ＤＣを１２０Ｖの交流（ＡＣ）に変換することができる。
【0070】
[085] 一部の例では、車両のシャフト又は軸の角度位置又は動きをアナログコード又はデジタルコードに変換するためにホイールエンコーダを使用することができる。アナログコード又はデジタルコードは速度、距離、及び位置等の情報へと更に処理し、それにより走行中の車両の更なる詳細を提供することができる。
【0071】
スワーム処理
[086] 図１０を参照し、特定の実施形態では、図１に示すようにスワームシステムに画像データがアップロードされると、処理パイプライン９００がそれを処理し始める。全ての画像データがファイル記憶域又はデータベースＳ３内に記憶され、他の種類のデータがデータベースＰＧ内に記憶される。全てのデータは道路区分とおおよそ等しいエッジに関連する。一部の例では、図１１の上部に示すように、スワームシステムのパイプライン９００が関連するデータベースとデータをやり取りしながら対応するブロックにおいて以下のステップを実行することができる：
ａ）ブロック９０１で、ＦＦＭＰＥＧを使用して映像からフレームを抽出し、フレームをメタデータに関連させる。
ｂ）ブロック９０２で、ヒューリスティックス及びマッピングデータを使用して位置データを訂正する（ＯＳＲＭ＋Tiger）。
ｃ）ブロック９０３で、ＹＯＬＯ検出等の訓練された機械学習モデルを使用してイメージ内の歩行者、車、道路標識、街灯等のオブジェクトの位置を突き止める。
ｄ）ブロック９０４で、必要に応じてＯＰＥＮＣＶを使用して歩行者の画像をぼかす。
ｅ）ブロック９０５で、生の歩行者計数を歩行者交通データに外挿する。
ｆ）例えば優先度の高い新たなイベント、優先度の高い古いイベントの除去、車両又は歩行者交通の変化等を含むマッピングインベントリの変化を検出する。
[086] 図１０を参照し、特定の実施形態では、図１に示すようにスワームシステムに画像データがアップロードされると、処理パイプライン９００がそれを処理し始める。全ての画像データがファイル記憶域又はデータベースＳ３内に記憶され、他の種類のデータがデータベースＰＧ内に記憶される。全てのデータは道路区分とおおよそ等しいエッジに関連する。一部の例では、図１１の上部に示すように、スワームシステムのパイプライン９００が関連するデータベースとデータをやり取りしながら対応するブロックにおいて以下のステップを実行することができる：
ａ）ブロック９０１で、ＦＦＭＰＥＧを使用して映像からフレームを抽出し、フレームをメタデータに関連させる。
ｂ）ブロック９０２で、ヒューリスティックス及びマッピングデータを使用して位置データを訂正する（ＯＳＲＭ＋Tiger）。
ｃ）ブロック９０３で、ＹＯＬＯ検出等の訓練された機械学習モデルを使用してイメージ内の歩行者、車、道路標識、街灯等のオブジェクトの位置を突き止める。
ｄ）ブロック９０４で、必要に応じてＯＰＥＮＣＶを使用して歩行者の画像をぼかす。
ｅ）ブロック９０５で、生の歩行者計数を歩行者交通データに外挿する。
ｆ）例えば優先度の高い新たなイベント、優先度の高い古いイベントの除去、車両又は歩行者交通の変化等を含むマッピングインベントリの変化を検出する。
【0072】
歩行者計数の外挿
[087] 歩行者計数を推定する既知の方法は、典型的には固定カメラの映像を調べることを含む。固定カメラを使用するとき、特定の位置でかなり正確な歩行者計数を明らかにできるが、カメラの被写域が存在しない領域では歩行者情報が殆ど又は全く入手できない。上記のスワーム捕捉装置等のモバイルカメラを使用することは、所与の台数のカメラを用いて歩行者計数を明らかにできる領域を増やせるが、幾つかの新たな課題を生ぜしめる。具体的には、モバイルカメラの被写域及び被写域のギャップが予測不能に変化する場合があり、特定の道路区分を示す映像が不規則的にしか受信されない可能性がある。以下の方法は、一貫していない被写域に基づいて歩行者計数を外挿するために使用可能な技法について説明する：
ｅ１）スワーム画像をクエリし、道路区分上の単一の車両通過を表す単一の時間枠へと集めることができる。これは毎日、毎週等の定期的に行うことができる。同様に述べるが、複数のスワーム捕捉装置からの映像データを受信し、バケット化することができる。例えばスワーム捕捉装置ごとの映像をそのスワーム捕捉装置によって捕捉される道路区分ごと（例えば交差点から交差点まで）のバケットへと細分することができる。
ｅ２）スワーム画像（例えばバケット化されたスワーム画像）をDarknet YOLO又は他の任意の適切な画像処理技法によって処理して画像にタグを帰することができる。例えば（例えば道路区分に関連するバケットに対応する）映像区分からの各静止画を分析して、その画像内の歩行者の数を識別することができる。その映像区分について認められる総人数をその映像内のフレーム数で割って、道路区分に関連し得るその映像区分の平均歩行者計数を算出することができる。
ｅ３）以下でより詳細に論じるように、選択した道路区分の歩行者交通計数を求めるために、或る期間の且つ選択した道路区分の歩行者データを直接隣接する道路区分の歩行者データと組み合わせることができる。同様に述べるが、選択した道路区分と交差する任意の道路区分の映像を分析してそれらの隣接する道路区分の歩行者数を求めることができる。隣接する道路区分の映像は１週間、１か月、１年等の任意の適切な期間にわたって分析することができる。
ｅ４）選択した道路区分又は隣接する道路区分について複数の映像が集められている場合、歩行者計数の重複を任意の適切な手段（通過を集約し、通過の数で除算すること等）によって排除することができる。
ｅ５）スワーム装置が行った過去の観測等の歩行者の履歴的な観測に基づいて、及び／又は公に入手可能な歩行者計数データに基づいて、１時間ごとのヒストグラム（又は他の任意の適切な間隔のヒストグラム）を計算することができる。１時間ごとのヒストグラムは、個々の車両の通過に由来する歩行者計数を１日の総計数に外挿するために使用することができる。１時間ごとのヒストグラムは、映像を入手できない期間（例えば１時間ごとの期間）中の選択した道路区分又は隣接する道路区分の歩行者計数を推定するために使用することができる。選択した道路区分及び／又は隣接する道路区分の日々の予測は、２４時間の期間にわたって１時間ごとのヒストグラムを合計することによって求めることができる。
ｅ６）異常値を除去するために、おおよその１日の予測に四分位範囲アルゴリズムを適用することができる。
ｅ７）隣接する道路区分について複数の車両の通過が存在する場合、それらの隣接する道路区分の計数を使用して選択された道路区分の歩行者を推定することができる。例えば隣接する道路区分の値の平均（又は中心傾向の他の測度の）歩行者計数を計算することができ、異常値を除去することができ、隣接する道路区分と選択した区分との間の平均（又は中心傾向の他の測度）を計算することができる。
ｅ８）選択した道路区分の計数が欠落している場合（例えば特定の期間の歩行者計数を計算するために、選択した道路区分の映像を入手できない場合）、隣接する道路区分の平均（又は中心傾向の他の測度）を使用して選択した道路区分及び期間の平均（又は中心傾向の他の測度の）歩行者計数を推定することができる。例えば期間中に映像が受信された隣接する道路区分ごとに、かかる映像の画像認識を行ってその隣接する道路区分の歩行者計数をもたらすことができる。隣接する道路区分の歩行者計数の平均（又は中心傾向の他の測度）を使用して、その期間中の選択した道路区分の歩行者計数を推定することができる。
ｅ９）選択した区分の歩行者交通の日々の予測を使用して、３６５／１２で乗算することによって毎月の歩行者交通の予測を概算することができる。
[087] 歩行者計数を推定する既知の方法は、典型的には固定カメラの映像を調べることを含む。固定カメラを使用するとき、特定の位置でかなり正確な歩行者計数を明らかにできるが、カメラの被写域が存在しない領域では歩行者情報が殆ど又は全く入手できない。上記のスワーム捕捉装置等のモバイルカメラを使用することは、所与の台数のカメラを用いて歩行者計数を明らかにできる領域を増やせるが、幾つかの新たな課題を生ぜしめる。具体的には、モバイルカメラの被写域及び被写域のギャップが予測不能に変化する場合があり、特定の道路区分を示す映像が不規則的にしか受信されない可能性がある。以下の方法は、一貫していない被写域に基づいて歩行者計数を外挿するために使用可能な技法について説明する：
ｅ１）スワーム画像をクエリし、道路区分上の単一の車両通過を表す単一の時間枠へと集めることができる。これは毎日、毎週等の定期的に行うことができる。同様に述べるが、複数のスワーム捕捉装置からの映像データを受信し、バケット化することができる。例えばスワーム捕捉装置ごとの映像をそのスワーム捕捉装置によって捕捉される道路区分ごと（例えば交差点から交差点まで）のバケットへと細分することができる。
ｅ２）スワーム画像（例えばバケット化されたスワーム画像）をDarknet YOLO又は他の任意の適切な画像処理技法によって処理して画像にタグを帰することができる。例えば（例えば道路区分に関連するバケットに対応する）映像区分からの各静止画を分析して、その画像内の歩行者の数を識別することができる。その映像区分について認められる総人数をその映像内のフレーム数で割って、道路区分に関連し得るその映像区分の平均歩行者計数を算出することができる。
ｅ３）以下でより詳細に論じるように、選択した道路区分の歩行者交通計数を求めるために、或る期間の且つ選択した道路区分の歩行者データを直接隣接する道路区分の歩行者データと組み合わせることができる。同様に述べるが、選択した道路区分と交差する任意の道路区分の映像を分析してそれらの隣接する道路区分の歩行者数を求めることができる。隣接する道路区分の映像は１週間、１か月、１年等の任意の適切な期間にわたって分析することができる。
ｅ４）選択した道路区分又は隣接する道路区分について複数の映像が集められている場合、歩行者計数の重複を任意の適切な手段（通過を集約し、通過の数で除算すること等）によって排除することができる。
ｅ５）スワーム装置が行った過去の観測等の歩行者の履歴的な観測に基づいて、及び／又は公に入手可能な歩行者計数データに基づいて、１時間ごとのヒストグラム（又は他の任意の適切な間隔のヒストグラム）を計算することができる。１時間ごとのヒストグラムは、個々の車両の通過に由来する歩行者計数を１日の総計数に外挿するために使用することができる。１時間ごとのヒストグラムは、映像を入手できない期間（例えば１時間ごとの期間）中の選択した道路区分又は隣接する道路区分の歩行者計数を推定するために使用することができる。選択した道路区分及び／又は隣接する道路区分の日々の予測は、２４時間の期間にわたって１時間ごとのヒストグラムを合計することによって求めることができる。
ｅ６）異常値を除去するために、おおよその１日の予測に四分位範囲アルゴリズムを適用することができる。
ｅ７）隣接する道路区分について複数の車両の通過が存在する場合、それらの隣接する道路区分の計数を使用して選択された道路区分の歩行者を推定することができる。例えば隣接する道路区分の値の平均（又は中心傾向の他の測度の）歩行者計数を計算することができ、異常値を除去することができ、隣接する道路区分と選択した区分との間の平均（又は中心傾向の他の測度）を計算することができる。
ｅ８）選択した道路区分の計数が欠落している場合（例えば特定の期間の歩行者計数を計算するために、選択した道路区分の映像を入手できない場合）、隣接する道路区分の平均（又は中心傾向の他の測度）を使用して選択した道路区分及び期間の平均（又は中心傾向の他の測度の）歩行者計数を推定することができる。例えば期間中に映像が受信された隣接する道路区分ごとに、かかる映像の画像認識を行ってその隣接する道路区分の歩行者計数をもたらすことができる。隣接する道路区分の歩行者計数の平均（又は中心傾向の他の測度）を使用して、その期間中の選択した道路区分の歩行者計数を推定することができる。
ｅ９）選択した区分の歩行者交通の日々の予測を使用して、３６５／１２で乗算することによって毎月の歩行者交通の予測を概算することができる。
【0073】
マッピングインベントリの変化の検出
[088] （例えばスワームシステム要素及び／又はマッパシステム要素から）新たに受信される情報に基づき、継続的に更新されるに関するマッピングインベントリ。例えば道路及び／又は交通条件に対する永続的な及び／又は一時的な変更を検出し、入手可能なマップ内に統合することができる。一部の例では、関心地点、交差点、住所等の特定の位置についてマッピングインベントリを追跡することができる。かかる例では、特定の位置（例えば交差点）の付近で収集される映像を例えば映像に関連するメタデータに基づいて分析することができる。特定の位置を表す可能性が高い画像（例えば交差点の横断歩道を示す可能性が高い画像）を分析することができる。画像ごとに、最も一般的に検出される１組のマッピングオブジェクトを識別することができる。勝っている１組のオブジェクトについて、オブジェクトの種類及び相対位置を交差点に関連させることができる。交差点に関連するオブジェクトの変化を識別することによって特定の位置の変化を識別することができる。例えば定期的な（例えば毎夜、毎週、毎月等の）マッピングインベントリの更新中、その期間中に受信される特定の位置の画像を分析することができる。期間中に受信される１組の画像が交差点に関連する１組のオブジェクトと一致するオブジェクトを含む場合、その交差点は変わっていないと見なすことができる。しかし期間中に受信される１組の画像が交差点に関連するオブジェクトを含まない場合、例えば期間中に受信されるオブジェクトが交差点に関連するオブジェクトから閾値を上回って逸脱するオブジェクトを含む場合、図８及び図９に関して図示し上記で論じたイベントサービスＵＩに画像、映像、及び／又は関連するメタデータを伝えることができる。ＧＩＳアナリスト及び／又は機械学習プロセスは、インベントリが変化したかどうかを判定する及び／又はマッピングインベントリを更新する（例えば工事、交通パターン、車線区分線の変化等により車線が閉鎖されていることを示す）ことができる。
[088] （例えばスワームシステム要素及び／又はマッパシステム要素から）新たに受信される情報に基づき、継続的に更新されるに関するマッピングインベントリ。例えば道路及び／又は交通条件に対する永続的な及び／又は一時的な変更を検出し、入手可能なマップ内に統合することができる。一部の例では、関心地点、交差点、住所等の特定の位置についてマッピングインベントリを追跡することができる。かかる例では、特定の位置（例えば交差点）の付近で収集される映像を例えば映像に関連するメタデータに基づいて分析することができる。特定の位置を表す可能性が高い画像（例えば交差点の横断歩道を示す可能性が高い画像）を分析することができる。画像ごとに、最も一般的に検出される１組のマッピングオブジェクトを識別することができる。勝っている１組のオブジェクトについて、オブジェクトの種類及び相対位置を交差点に関連させることができる。交差点に関連するオブジェクトの変化を識別することによって特定の位置の変化を識別することができる。例えば定期的な（例えば毎夜、毎週、毎月等の）マッピングインベントリの更新中、その期間中に受信される特定の位置の画像を分析することができる。期間中に受信される１組の画像が交差点に関連する１組のオブジェクトと一致するオブジェクトを含む場合、その交差点は変わっていないと見なすことができる。しかし期間中に受信される１組の画像が交差点に関連するオブジェクトを含まない場合、例えば期間中に受信されるオブジェクトが交差点に関連するオブジェクトから閾値を上回って逸脱するオブジェクトを含む場合、図８及び図９に関して図示し上記で論じたイベントサービスＵＩに画像、映像、及び／又は関連するメタデータを伝えることができる。ＧＩＳアナリスト及び／又は機械学習プロセスは、インベントリが変化したかどうかを判定する及び／又はマッピングインベントリを更新する（例えば工事、交通パターン、車線区分線の変化等により車線が閉鎖されていることを示す）ことができる。
【0074】
[089] 図１２を更に参照し、特定の実施形態では、図１に示すようにマッパシステムに画像データがアップロードされると、処理パイプライン９０６がそれを処理し始める。全ての画像データがファイル記憶域又はデータベースＳ３内に記憶され、他の種類のデータがデータベースＰＧ内に記憶される。本明細書のデータは生のネットワークＰＣＡＰファイル、ＰＧＲファイル、及びＧＰＳファイルを含み得る。全てのデータは道路区分とおおよそ等しいエッジに関連する。一部の例では、マッパシステムのパイプライン９０６が関連するデータベースとデータをやり取りしながら対応するブロックにおいて以下のステップを実行することができる：
ａ）ブロック９０７で、Novatel Inertial Explorerを自動化して、ＩＭＵデータ、ホイールエンコーダデータ、及び公的基地局データを使用して位置データを訂正したＧＮＳＳファイルへとＧＰＳファイルを処理する。
ｂ）ブロック９０８で、ＰＣＡＰからＬｉＤＡＲデータを抽出し、ＧＮＳＳデータと組み合わせてＣＳＶファイル内の点群スライス及びＰＯＳＥファイル内の位置／方位情報を作成し、Ladybug ＰＧＲファイルから修正及びパノラマイメージをＪＰＧファイルへと更に抽出する。
ｃ）ブロック９０９で、ＳＣＡＮファイル、ＰＯＳＥファイル、及び修正ＪＰＧファイルを組み合わせてレジスタされカラー化された点群スライスを作成し、本明細書では正確さに欠けるＧＰＳデータを補正するためにIterative Closest Point（ＩＣＰ）を適用し、カラー化された点群及び更新されたＰＯＳＥ情報がＣＳＶファイル及びＰＯＳＥファイルに保存される。
ｄ）ブロック９１１で、特徴抽出（以下で説明する）を実行して道路、歩道、柱、及び建物の正面外壁を識別する。
ａ）ブロック９０７で、Novatel Inertial Explorerを自動化して、ＩＭＵデータ、ホイールエンコーダデータ、及び公的基地局データを使用して位置データを訂正したＧＮＳＳファイルへとＧＰＳファイルを処理する。
ｂ）ブロック９０８で、ＰＣＡＰからＬｉＤＡＲデータを抽出し、ＧＮＳＳデータと組み合わせてＣＳＶファイル内の点群スライス及びＰＯＳＥファイル内の位置／方位情報を作成し、Ladybug ＰＧＲファイルから修正及びパノラマイメージをＪＰＧファイルへと更に抽出する。
ｃ）ブロック９０９で、ＳＣＡＮファイル、ＰＯＳＥファイル、及び修正ＪＰＧファイルを組み合わせてレジスタされカラー化された点群スライスを作成し、本明細書では正確さに欠けるＧＰＳデータを補正するためにIterative Closest Point（ＩＣＰ）を適用し、カラー化された点群及び更新されたＰＯＳＥ情報がＣＳＶファイル及びＰＯＳＥファイルに保存される。
ｄ）ブロック９１１で、特徴抽出（以下で説明する）を実行して道路、歩道、柱、及び建物の正面外壁を識別する。
【0075】
特徴抽出
[090] 一部の例では、特徴抽出は以下の異なる段階で実行することができる。
[090] 一部の例では、特徴抽出は以下の異なる段階で実行することができる。
【0076】
[091] 段階１
ａ）局所平面当てはめによって各３Ｄ点における法線を計算する。
ｂ）走査の３Ｄ点及び法線を使用し、ＲＡＮＳＡＣ平面当てはめアルゴリズムを実行し、垂直の法線を有する面（即ち水平面）を検出し、そのような最も大きい２つの水平面を保ち、それらの水平面内の１組の点をPoints_Ransacと呼ぶ。
ｃ）Points_Ransac内の点に対してユークリッドクラスタリング（例えばＰＣＬユークリッドクラスタ抽出）を実行する。
ｄ）ステップ（ｃ）で計算したクラスタのうちの最も大きいものを保ち、それらの１組の点をPoints_Clusteredと呼ぶ。
ｅ）走査内の３Ｄ点ごとに、ステップ（ｂ）で計算した水平面からのその最大距離を計算し、距離は３Ｄ点ごとの地面からの高さの概算である。
ｆ）地面からの高さが所与の閾値を下回るPoints_Clustered内にない点をPoints_Clustered内に追加する。
ｇ）Points_Clusteredに属する場合は各３Ｄ点を「地面」のラベルでラベル付けし、Points_Ransacに属する場合は「ransac」のラベルでラベル付けし、Points_Clustered内にない各３Ｄ点を「非地面」のラベルでラベル付けし、各点には地面からの距離が割り当てられる。
ａ）局所平面当てはめによって各３Ｄ点における法線を計算する。
ｂ）走査の３Ｄ点及び法線を使用し、ＲＡＮＳＡＣ平面当てはめアルゴリズムを実行し、垂直の法線を有する面（即ち水平面）を検出し、そのような最も大きい２つの水平面を保ち、それらの水平面内の１組の点をPoints_Ransacと呼ぶ。
ｃ）Points_Ransac内の点に対してユークリッドクラスタリング（例えばＰＣＬユークリッドクラスタ抽出）を実行する。
ｄ）ステップ（ｃ）で計算したクラスタのうちの最も大きいものを保ち、それらの１組の点をPoints_Clusteredと呼ぶ。
ｅ）走査内の３Ｄ点ごとに、ステップ（ｂ）で計算した水平面からのその最大距離を計算し、距離は３Ｄ点ごとの地面からの高さの概算である。
ｆ）地面からの高さが所与の閾値を下回るPoints_Clustered内にない点をPoints_Clustered内に追加する。
ｇ）Points_Clusteredに属する場合は各３Ｄ点を「地面」のラベルでラベル付けし、Points_Ransacに属する場合は「ransac」のラベルでラベル付けし、Points_Clustered内にない各３Ｄ点を「非地面」のラベルでラベル付けし、各点には地面からの距離が割り当てられる。
【0077】
[092] 段階２
ａ）Points_Clustered内の点（即ち地面点（ground points））のＫ－Ｄ木インデックスを高速検索のために構築する。
ｂ）Points_Clustered内の３Ｄ点Ｐごとに、
ｉ）ユークリッドクラスタリングを使用して点の近傍を計算することによって、及び検知方向の角度に基づいて点をソートすることによってＰの周りの走査線近傍を再構築する。
ｉｉ）走査線近傍を前後に進んで、累積統計を使用して奥行の突然の変化を検出する。かかる変化が検出される場合、その変化点をあり得る縁石点として印付けする。
ｃ）出力：縁石上にあり得る走査内の点をあり得る縁石点としてラベル付けする。
ａ）Points_Clustered内の点（即ち地面点（ground points））のＫ－Ｄ木インデックスを高速検索のために構築する。
ｂ）Points_Clustered内の３Ｄ点Ｐごとに、
ｉ）ユークリッドクラスタリングを使用して点の近傍を計算することによって、及び検知方向の角度に基づいて点をソートすることによってＰの周りの走査線近傍を再構築する。
ｉｉ）走査線近傍を前後に進んで、累積統計を使用して奥行の突然の変化を検出する。かかる変化が検出される場合、その変化点をあり得る縁石点として印付けする。
ｃ）出力：縁石上にあり得る走査内の点をあり得る縁石点としてラベル付けする。
【0078】
[093] 段階３
ａ）全ての走査に由来する全てのあり得る縁石点をPoints_Possible_Curbsと呼ばれる組に入れる。
ｂ）全ての走査に由来する全ての地面点をPoints_Groundと呼ばれる組に入れる。
ｃ）（グローバルポーズからの）一連のスキャナ位置をScanner_Positionsのリスト内に入れる。
ｄ）ユークリッドクラスタリングを使用して点Points_Possible_Curbsをコンポーネントへとクラスタリングし、小さいクラスタを破棄する。
ｅ）ステップ（ｄ）のクラスタごとに、Scanner_Positions内の最も近いスキャナ位置を見つけることによりスキャナの動きをたどって点を順に並べる。
ｆ）ステップ（ｅ）の順に並べられた点をサブサンプリングし、それらを平滑化し、それにより１組の折れ線又は曲線を生成する。
ｇ）各曲線が（Scanner_Positionsによって表される）移動するスキャナの左側にあるのか右側にあるのかに基づき、ステップ（ｆ）の曲線を左曲線及び右曲線へとまとめる。
ｈ）左曲線を順に処理し、次の曲線と接続するかどうかを決める。接続は、１）曲線間の接続がPoints_Groundに関して空きスペースを横断するかどうか（即ち駐車車両が縁石を見えなくしている場合）、２）接続の長さ、３）曲線の終点を接続する線と曲線自体との間の角度、及び４）接続曲線とスキャナ軌道との間の距離等の様々な基準に基づいて決定される。
ｉ）右曲線についてステップｈ）を実行する。
ｊ）出力：センサ軌道の左側及び右側にある一連の縁石の曲線。
ａ）全ての走査に由来する全てのあり得る縁石点をPoints_Possible_Curbsと呼ばれる組に入れる。
ｂ）全ての走査に由来する全ての地面点をPoints_Groundと呼ばれる組に入れる。
ｃ）（グローバルポーズからの）一連のスキャナ位置をScanner_Positionsのリスト内に入れる。
ｄ）ユークリッドクラスタリングを使用して点Points_Possible_Curbsをコンポーネントへとクラスタリングし、小さいクラスタを破棄する。
ｅ）ステップ（ｄ）のクラスタごとに、Scanner_Positions内の最も近いスキャナ位置を見つけることによりスキャナの動きをたどって点を順に並べる。
ｆ）ステップ（ｅ）の順に並べられた点をサブサンプリングし、それらを平滑化し、それにより１組の折れ線又は曲線を生成する。
ｇ）各曲線が（Scanner_Positionsによって表される）移動するスキャナの左側にあるのか右側にあるのかに基づき、ステップ（ｆ）の曲線を左曲線及び右曲線へとまとめる。
ｈ）左曲線を順に処理し、次の曲線と接続するかどうかを決める。接続は、１）曲線間の接続がPoints_Groundに関して空きスペースを横断するかどうか（即ち駐車車両が縁石を見えなくしている場合）、２）接続の長さ、３）曲線の終点を接続する線と曲線自体との間の角度、及び４）接続曲線とスキャナ軌道との間の距離等の様々な基準に基づいて決定される。
ｉ）右曲線についてステップｈ）を実行する。
ｊ）出力：センサ軌道の左側及び右側にある一連の縁石の曲線。
【0079】
[094] 段階４
ａ）地面又は非地面（但し閾値を下回る地面からの高さにある）としてラベル付けされており、左側の縁石の曲線と右側の縁石の曲線との間にある点を道路としてラベル付けし直す。
ｂ）左側の縁石の曲線の左側にある、地面又は非地面（但し閾値を下回る地面からの高さにある）としてラベル付けされている点を歩道としてラベル付けする。
ｃ）右側の縁石の曲線の右側にある、地面又は非地面（但し閾値を下回る地面からの高さにある）としてラベル付けされている点を歩道としてラベル付けする。
ｄ）非水平面へと非道路及び非歩道の点に対してＲＡＮＳＡＣ平面クラスタリングを実行し、縁石の曲線の左側又は右側にあるかかるＲＡＮＳＡＣ平面上の点は正面外壁としてラベル付けされる。
ｅ）出力：各Velodyne走査の点を道路、歩道、正面外壁、又はその他としてラベル付けする。
ａ）地面又は非地面（但し閾値を下回る地面からの高さにある）としてラベル付けされており、左側の縁石の曲線と右側の縁石の曲線との間にある点を道路としてラベル付けし直す。
ｂ）左側の縁石の曲線の左側にある、地面又は非地面（但し閾値を下回る地面からの高さにある）としてラベル付けされている点を歩道としてラベル付けする。
ｃ）右側の縁石の曲線の右側にある、地面又は非地面（但し閾値を下回る地面からの高さにある）としてラベル付けされている点を歩道としてラベル付けする。
ｄ）非水平面へと非道路及び非歩道の点に対してＲＡＮＳＡＣ平面クラスタリングを実行し、縁石の曲線の左側又は右側にあるかかるＲＡＮＳＡＣ平面上の点は正面外壁としてラベル付けされる。
ｅ）出力：各Velodyne走査の点を道路、歩道、正面外壁、又はその他としてラベル付けする。
【0080】
[095] 上記では複数の段階を用いた特徴抽出の操作について詳細に説明した。本明細書の処理段階は例示目的に過ぎず、当業者なら本明細書の教示に基づいて特徴抽出を実行するための他の段階又はステップを想像できることを理解すべきである。加えて、マッパシステムはスワームシステムと同じ又は同様のアルゴリズムを使用し、ブロック９１０でＧＰＳデータを処理し、ブロック９１２及び９１３で歩行者の検出を実行し顔をぼかすこともできる。
【0081】
[096] 先に述べたように、本開示の実施形態によれば、マッパシステム及びスワームシステムからのデータをマージし、それにより各システムの効率を改善することができる。例えばシステムは、マッパデータ内の特徴をスワームデータ内の特徴と比較してスワームの精度を改善することができる。例示的なステップは下記の通りである：
ａ）陸標を検出するためにマッパ２Ｄデータに対して特徴抽出を実行する。
ｂ）陸標を検出するためにスワームデータに対して特徴抽出を実行する。
ｃ）同じ陸標を見つけるために各マッパ特徴の１００ｍの範囲内にあるスワーム特徴を比較する。
ｄ）一致する特徴が見つかる場合はスワーム位置データを更新する。
ａ）陸標を検出するためにマッパ２Ｄデータに対して特徴抽出を実行する。
ｂ）陸標を検出するためにスワームデータに対して特徴抽出を実行する。
ｃ）同じ陸標を見つけるために各マッパ特徴の１００ｍの範囲内にあるスワーム特徴を比較する。
ｄ）一致する特徴が見つかる場合はスワーム位置データを更新する。
【0082】
[097] 図１３を参照し、特定の実施形態では、フリート管理者が使用することができ「フリート管理者ソフトウェア」と呼ばれるウェブアプリケーションが、ストリートレベルインテリジェンスシステムを使用して車両を制御しモニタすることができる。このアプリケーションは、フリート管理者が以下を含むがこれだけに限定されない複数のアクションを実行することを可能にするように構成され得る：
ａ）各フリート車両の現在位置を見る。
ｂ）既にオフロードされている映像をダウンロードする。
ｃ）ＬＴＥ上の優先オフロードを要求する。
ｄ）Zendriveからの運転者の質データを見る。
ａ）各フリート車両の現在位置を見る。
ｂ）既にオフロードされている映像をダウンロードする。
ｃ）ＬＴＥ上の優先オフロードを要求する。
ｄ）Zendriveからの運転者の質データを見る。
【0083】
[098] 図１３に示すように、６台の車両が路上にあり、マップ上にリアルタイムで示されている。「車両」カラムがそれらの６台の車両をそのそれぞれの名前、走行距離、及び等級と共に列挙する。「Grimlock」と名付けられた車両はオフラインであり保守中なのでリスト内で灰色で表示されている。本明細書の車両は、上記及び本明細書の他の箇所で論じるスワームシステムを装備することができる。図１２に示すユーザインタフェースはフリート管理者ソフトウェアのホームページであり得ることを理解すべきである。
【0084】
[099] 図１６を参照し、特定の実施形態では、顧客が使用することができ「ストリートレベルインテリジェンスソフトウェア」と呼ばれるウェブアプリケーションがサイトインテリジェンスペイロードを顧客に提供することができる。本明細書のウェブアプリケーションは、顧客が以下を含むがこれだけに限定されないアクションを実行することを可能にするように構成され得る：
ａ）関連データが集められている区分がオーバレイされたマップを見ること。
ｂ）１つ又は複数の区分を選択してそれをカートに追加すること。
ｃ）クレジットカードを使用して区分へのアクセスに支払うこと。
ｄ）３Ｄ／２Ｄサイトインテリジェンス又は歩行者アナリティクスを含む、それらの区分に関するペイロードをダウンロードすること。
ｅ）過去に支払ったペイロードにアクセスすること。
ｆ）ペイロードをパートナ又は他の顧客と共有すること。
ａ）関連データが集められている区分がオーバレイされたマップを見ること。
ｂ）１つ又は複数の区分を選択してそれをカートに追加すること。
ｃ）クレジットカードを使用して区分へのアクセスに支払うこと。
ｄ）３Ｄ／２Ｄサイトインテリジェンス又は歩行者アナリティクスを含む、それらの区分に関するペイロードをダウンロードすること。
ｅ）過去に支払ったペイロードにアクセスすること。
ｆ）ペイロードをパートナ又は他の顧客と共有すること。
【0085】
[0100] 一部の例では、サイトインテリジェンスペイロードが以下を含み得る：
ａ）ステッチされたカラー３Ｄ点群（下記のステッチングプロセス参照）。
ｂ）パノラマ画像。
ｃ）パノラマビューイングソフトウェア。
ｄ）メタデータ及び命令。
ａ）ステッチされたカラー３Ｄ点群（下記のステッチングプロセス参照）。
ｂ）パノラマ画像。
ｃ）パノラマビューイングソフトウェア。
ｄ）メタデータ及び命令。
【0086】
[0101] 一例として、点群データをステッチングするためのステップは下記の通りである：
ａ）捕捉日ごとに順序付けられる、カラー化された走査を区分の走行について集める。
ｂ）交通渋滞の冗長性をなくすために走査をフィルタリングする（移動を確認する）。
ｃ）区分の長さ及びクリーニングされた走査計数に基づき、走査が許容可能な計数を有することを確実にする。
ｄ）フィルタ済みの走査を単一のｘｙｚファイルへと連結する。
ｅ）その結果生じるファイルを、ｌａｓファイルをエクスポートするｌａｓコンバータバイナリに伝える。
ａ）捕捉日ごとに順序付けられる、カラー化された走査を区分の走行について集める。
ｂ）交通渋滞の冗長性をなくすために走査をフィルタリングする（移動を確認する）。
ｃ）区分の長さ及びクリーニングされた走査計数に基づき、走査が許容可能な計数を有することを確実にする。
ｄ）フィルタ済みの走査を単一のｘｙｚファイルへと連結する。
ｅ）その結果生じるファイルを、ｌａｓファイルをエクスポートするｌａｓコンバータバイナリに伝える。
【0087】
[0102] 一部の例では、歩行者アナリティクスペイロードが以下の情報を含み得る：
ａ）区分ごとの推定歩行者交通を表すインフォグラフィックスがオーバレイされた、要求された区分のＰＮＧマップ。
ｂ）他のソフトウェア内にインポート可能な生データを含むＣＳＶ。
ａ）区分ごとの推定歩行者交通を表すインフォグラフィックスがオーバレイされた、要求された区分のＰＮＧマップ。
ｂ）他のソフトウェア内にインポート可能な生データを含むＣＳＶ。
【0088】
[0103] 図１６に示すように、顧客は関心のある領域又は区分を検索フィールド内に入力することができる。更に、顧客は図示のカートアイコンを選択し、マップから選択した区分をカート内に入れることができる。一部の事例では、顧客はカート内で表示される割り引きを見ることもできる。最後に、顧客は図示のコインアイコンを選択して例えばクレジットカードを用いて検索料金を支払うことができる。それに応答し、本開示の実施形態によるストリートレベルインテリジェンスソフトウェアは、顧客が見るためにマイルの検索、グループの検索、又は費用の検索等の項目を提供することができる。加えて顧客は、検索した区分のＰＮＧマップ又はＣＳＶファイル等、自分が関心のある他のデータを注文することができる。
【0089】
非一時的コンピュータ可読記憶媒体
[0104] 一部の実施形態では、本明細書で開示したプラットフォーム、システム、媒体、及び方法が、任意選択的にネットワーク化されたデジタル処理装置のオペレーティングシステムによって実行可能な命令を含むプログラムで符号化された１つ又は複数の非一時的コンピュータ可読記憶媒体を含む。更なる実施形態では、コンピュータ可読記憶媒体がデジタル処理装置の有形コンポーネントである。また更なる実施形態では、コンピュータ可読記憶媒体は任意選択的にデジタル処理装置から脱着可能である。一部の実施形態では、コンピュータ可読記憶媒体が、非限定的な例としてＣＤ－ＲＯＭ、ＤＶＤ、フラッシュメモリ装置、ソリッドステートメモリ、磁気ディスクドライブ、磁気テープドライブ、光ディスクドライブ、クラウドコンピューティングシステム及びサービス等を含む。一部の事例では、プログラム及び命令が媒体上に永続的に、ほぼ永続的に、半永続的に、又は非一時的に符号化される。
[0104] 一部の実施形態では、本明細書で開示したプラットフォーム、システム、媒体、及び方法が、任意選択的にネットワーク化されたデジタル処理装置のオペレーティングシステムによって実行可能な命令を含むプログラムで符号化された１つ又は複数の非一時的コンピュータ可読記憶媒体を含む。更なる実施形態では、コンピュータ可読記憶媒体がデジタル処理装置の有形コンポーネントである。また更なる実施形態では、コンピュータ可読記憶媒体は任意選択的にデジタル処理装置から脱着可能である。一部の実施形態では、コンピュータ可読記憶媒体が、非限定的な例としてＣＤ－ＲＯＭ、ＤＶＤ、フラッシュメモリ装置、ソリッドステートメモリ、磁気ディスクドライブ、磁気テープドライブ、光ディスクドライブ、クラウドコンピューティングシステム及びサービス等を含む。一部の事例では、プログラム及び命令が媒体上に永続的に、ほぼ永続的に、半永続的に、又は非一時的に符号化される。
【0090】
実行可能命令
[0105] 一部の実施形態では、本明細書で開示したプラットフォーム、システム、媒体、及び方法が、プロセッサ実行可能命令又はその使用を含む。コンピュータプログラムは、指定のタスクを実行するように書かれる、デジタル処理装置のＣＰＵ内で実行可能な一連の命令を含む。コンピュータ可読命令は、特定のタスクを実行する又は特定の抽象データ型を実装する関数、オブジェクト、アプリケーションプログラミングインタフェース（ＡＰＩ）、データ構造等のプログラムモジュールとして実装することができる。本明細書で示した開示に照らして、コンピュータプログラムは様々な言語の様々なバージョンで書くことができることを当業者なら理解されよう。
[0105] 一部の実施形態では、本明細書で開示したプラットフォーム、システム、媒体、及び方法が、プロセッサ実行可能命令又はその使用を含む。コンピュータプログラムは、指定のタスクを実行するように書かれる、デジタル処理装置のＣＰＵ内で実行可能な一連の命令を含む。コンピュータ可読命令は、特定のタスクを実行する又は特定の抽象データ型を実装する関数、オブジェクト、アプリケーションプログラミングインタフェース（ＡＰＩ）、データ構造等のプログラムモジュールとして実装することができる。本明細書で示した開示に照らして、コンピュータプログラムは様々な言語の様々なバージョンで書くことができることを当業者なら理解されよう。
【0091】
[0106] 様々な実施形態において、コンピュータ可読命令の機能は所望の通りに組み合わせ又は分散させることができる。一部の実施形態では、コンピュータプログラムが１つの一連の命令を含む。一部の実施形態では、コンピュータプログラムが複数の一連の命令を含む。一部の実施形態では、コンピュータプログラムが１つの位置から提供される。他の実施形態では、コンピュータプログラムが複数の位置から提供される。様々な実施形態において、コンピュータプログラムは１つ又は複数のソフトウェアモジュールを含む。様々な実施形態において、コンピュータプログラムは１つ又は複数のウェブアプリケーション、１つ又は複数のモバイルアプリケーション、１つ又は複数の独立型アプリケーション、１つ又は複数のウェブブラウザプラグイン、拡張、アドイン、若しくはアドオン、又はその組み合わせを部分的に又は全体的に含む。
【0092】
ソフトウェアモジュール
[0107] 一部の実施形態では、本明細書で開示したプラットフォーム、システム、媒体、及び方法が、ソフトウェア、サーバ、及び／又はデータベースモジュール又はその使用を含む。本明細書で示した開示に照らして、ソフトウェアモジュールは当技術分野で知られているマシン、ソフトウェア、及び言語を使用して当業者に知られている技法によって作成される。本明細書で開示したソフトウェアモジュールは複数のやり方で実装される。様々な実施形態において、ソフトウェアモジュールはファイル、コードのセクション、プログラミングオブジェクト、プログラミング構造、又はそれらの組み合わせを含む。更なる様々な実施形態において、ソフトウェアモジュールは複数のファイル、複数のコードのセクション、複数のプログラミングオブジェクト、複数のプログラミング構造、又はそれらの組み合わせを含む。様々な実施形態において、１つ又は複数のソフトウェアモジュールが、非限定的な例としてウェブアプリケーション、モバイルアプリケーション、及び独立型アプリケーションを含む。一部の実施形態では、ソフトウェアモジュールが１つのコンピュータプログラム又はアプリケーション内にある。他の実施形態では、ソフトウェアモジュールが複数のコンピュータプログラム又はアプリケーション内にある。一部の実施形態では、ソフトウェアモジュールが１台のマシン上にホストされる。他の実施形態では、ソフトウェアモジュールが複数台のマシン上にホストされる。更なる実施形態では、ソフトウェアモジュールがクラウドコンピューティングプラットフォーム上にホストされる。一部の実施形態では、ソフトウェアモジュールが１つの位置にある１台又は複数台のマシン上にホストされる。他の実施形態では、ソフトウェアモジュールが複数の位置にある１台又は複数台のマシン上にホストされる。
[0107] 一部の実施形態では、本明細書で開示したプラットフォーム、システム、媒体、及び方法が、ソフトウェア、サーバ、及び／又はデータベースモジュール又はその使用を含む。本明細書で示した開示に照らして、ソフトウェアモジュールは当技術分野で知られているマシン、ソフトウェア、及び言語を使用して当業者に知られている技法によって作成される。本明細書で開示したソフトウェアモジュールは複数のやり方で実装される。様々な実施形態において、ソフトウェアモジュールはファイル、コードのセクション、プログラミングオブジェクト、プログラミング構造、又はそれらの組み合わせを含む。更なる様々な実施形態において、ソフトウェアモジュールは複数のファイル、複数のコードのセクション、複数のプログラミングオブジェクト、複数のプログラミング構造、又はそれらの組み合わせを含む。様々な実施形態において、１つ又は複数のソフトウェアモジュールが、非限定的な例としてウェブアプリケーション、モバイルアプリケーション、及び独立型アプリケーションを含む。一部の実施形態では、ソフトウェアモジュールが１つのコンピュータプログラム又はアプリケーション内にある。他の実施形態では、ソフトウェアモジュールが複数のコンピュータプログラム又はアプリケーション内にある。一部の実施形態では、ソフトウェアモジュールが１台のマシン上にホストされる。他の実施形態では、ソフトウェアモジュールが複数台のマシン上にホストされる。更なる実施形態では、ソフトウェアモジュールがクラウドコンピューティングプラットフォーム上にホストされる。一部の実施形態では、ソフトウェアモジュールが１つの位置にある１台又は複数台のマシン上にホストされる。他の実施形態では、ソフトウェアモジュールが複数の位置にある１台又は複数台のマシン上にホストされる。
【0093】
データベース
[0108] 一部の実施形態では、本明細書で開示したプラットフォーム、システム、媒体、及び方法が、１つ又は複数のデータベース又はその使用を含む。本明細書で示した開示に照らして、車両、位置、画像、特徴、及びストリートレベルインテリジェンス情報を記憶し取得するのに多くのデータベースが適していることを当業者なら理解されよう。様々な実施形態において、適切なデータベースは非限定的な例としてリレーショナルデータベース、非リレーショナルデータベース、オブジェクト指向データベース、オブジェクトデータベース、エンティティ関係モデルデータベース、連想データベース、及びＸＭＬデータベースを含む。更なる非限定的な例はＳＱＬ、ＰｏｓｔｇｒｅＳＱＬ、ＭｙＳＱＬ、Oracle、ＤＢ２、及びSybaseを含む。一部の実施形態ではデータベースがインターネットに基づく。更なる実施形態では、データベースがウェブに基づく。また更なる実施形態では、データベースがクラウドコンピューティングに基づく。他の実施形態では、データベースが１つ又は複数のローカルコンピュータ記憶装置に基づく。
本明細書に開示される発明は以下の態様を含む。
＜態様１＞
車両と共に配置されるスマートフォンのカメラから街路状況の映像を捕捉すること、
前記街路状況の前記映像に対してコンピュータビジョン分析の第１のパスを実行して候補となる複数の優先度の高いイベントを識別すること、
前記候補となる複数の優先度の高いイベントに対してコンピュータビジョン分析の第２のパスを実行して優先度の高いイベントを識別することであって、コンピュータビジョン分析の前記第２のパスはコンピュータビジョン分析の前記第１のパスよりも多くの計算資源を消費し、そのためコンピュータビジョン分析の前記第２のパスは前記映像に対してリアルタイムで実行できない、識別すること、及び
遠隔分析サービスが前記街路状況のマップ内に前記優先度の高いイベントを統合することができるように、前記優先度の高いイベントの指示を無線データネットワーク上で前記遠隔分析サービスに伝送することであって、前記遠隔分析サービスは前記マップ内に前記優先度の高いイベントを統合するのに前記車両において入手可能であるよりも多くの計算資源を消費する、伝送すること
をプロセッサに行わせるためのコードを含む前記プロセッサによって実行されるように構成されるコードを記憶する、非一時的プロセッサ可読媒体。
＜態様２＞
前記コードが、
前記優先度の高いイベントを含む前記街路状況の前記マップを前記遠隔分析サービスから受信すること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様３＞
コンピュータビジョン分析の前記第１のパスを前記プロセッサに実行させるための前記コードが、前記街路状況の前記映像に対してコンピュータビジョン分析の前記第１のパスをリアルタイムで実行させるためのコードを含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様４＞
前記プロセッサが前記スマートフォンのハウジング内に位置する、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様５＞
前記コードが、
前記車両がオンにされていることを検出すること、
前記車両がオンにされていることを検出することに基づいて前記スマートフォンのオペレーティングシステムを起動すること、
通話機能が無効にされるように前記スマートフォンを構成すること、及び
前記車両が自宅拠点を離れたことを検出することであって、捕捉される前記街路状況の前記映像は前記車両が前記自宅拠点を離れたことを前記検出することによってトリガされる、検出すること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様６＞
前記コードが、
前記車両がオンにされていることを検出すること、
前記車両がオンにされていることを検出することに基づいて前記スマートフォンのオペレーティングシステムを起動すること、
通話機能が無効にされるように前記スマートフォンを構成すること、及び
指示を得るために前記遠隔分析サービスに定期的に接触するように前記スマートフォンを構成すること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様７＞
前記コードが、
前記車両が自宅拠点に戻ったことを検出すること、
前記車両が前記自宅拠点に戻ったことを検出することに基づいて映像の捕捉を停止すること、
前記車両が前記自宅拠点に戻ったことを検出することに基づいてWiFiネットワークに接続すること、及び
前記WiFiネットワークを介して前記カメラから捕捉された映像を前記遠隔分析サービスにアップロードすること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様８＞
前記コードが、
前記車両が自宅拠点に戻ったことを検出すること、
前記車両が前記自宅拠点に戻ったことを検出することに基づいてWiFiネットワークに接続すること、
前記WiFiネットワークを介して前記カメラから捕捉された映像を前記遠隔分析サービスにアップロードすること、
前記車両がオフにされていることを検出すること、
前記車両がオフにされていることを検出することに基づき、前記カメラから捕捉された映像が前記遠隔分析サービスにアップロードされた後で節電状態に入ること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様９＞
前記コードが、
前記カメラから静止画を捕捉すること、
前記静止画を複数の領域に分割すること、
前記複数の領域からの領域の少なくともサブセットについてラプラシアンバリアンスを計算すること、及び
前記ラプラシアンバリアンスを所定の閾値と比較し、前記領域のサブセットの大多数のラプラシアンバリアンスが前記所定の閾値を下回る場合は前記静止画を記憶するか、又は前記複数の領域からの少なくとも１つの領域について計算される少なくとも１つのラプラシアンバリアンスが前記所定の閾値を上回る場合は前記静止画を破棄すること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様１０＞
コンピュータビジョン分析の前記第１のパスを実行することが、候補となる交通コーンを識別するためにオレンジ色の特徴を求めて前記映像をリアルタイムで走査することを含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様１１＞
コンピュータビジョン分析の前記第１のパスを実行することが、候補となる交通コーンを識別するためにオレンジ色の特徴を求めて前記映像をリアルタイムで走査することを含み、
コンピュータビジョン分析の前記第２のパスを実行することは、前記候補となる交通コーンが実際の交通コーンであることを確認することを含む、
請求項１に記載の非一時的プロセッサ可読媒体。
＜態様１２＞
コンピュータビジョン分析の前記第１のパスを実行することが、候補となる交通コーンを識別するためにオレンジ色の特徴を求めて前記映像をリアルタイムで走査することを含み、
コンピュータビジョン分析の前記第２のパスを実行することは、前記候補となる交通コーンが実際の交通コーンであることを確認することを含み、
前記街路状況の前記マップが、前記実際の交通コーンがあることに対応する車線閉鎖の指示を含む、
請求項１に記載の非一時的プロセッサ可読媒体。
＜態様１３＞
コンピュータビジョン分析の前記第１のパスを実行することが、候補となる緊急車両を識別するために点滅光を求めて前記映像をリアルタイムで走査することを含み、
コンピュータビジョン分析の前記第２のパスを実行することが、静止した緊急車両を識別することを含む、
請求項１に記載の非一時的プロセッサ可読媒体。
＜態様１４＞
セルラデータ無線及びWiFi無線を含む複数の車載スマートフォンであって、前記複数の車載スマートフォンからの各車載スマートフォンは、
前記車載スマートフォンのための前記セルラデータ無線によってアクセス可能なネットワークの平均日常帯域幅を超えるレートで街路状況の映像を継続的に捕捉すること、
少なくとも８時間の映像を局所的に記憶すること、
前記街路状況の前記映像内の優先度の高い特徴を識別し、前記車載スマートフォンのセルラデータ無線によって前記優先度の高い特徴を含む前記映像の一部を映像－マップ統合装置に送信すること、及び
自宅位置に駐車したときに、及び前記車載スマートフォンのWiFi無線によって局所的に記憶されている映像を前記映像－マップ統合装置に転送するためにWiFiネットワークに接続すること
を行うように構成される、複数の車載スマートフォンと、
マップ内に優先度の高い特徴を統合すること、
前記優先度の高い特徴を含む前記マップを表す信号をセルラデータネットワーク上で前記複数の車載スマートフォンに送信すること、
前記マップが少なくとも毎日更新されるように、WiFi無線によって前記複数の車載スマートフォンから受信される映像を前記マップ内に統合すること、及び
WiFi無線によって受信される前記映像からのコンテンツを含む前記マップを表す信号を（１）マップビューワ装置、（２）前記複数の車載スマートフォンからの車載スマートフォン、又は（３）ナビゲーション装置の少なくとも１つに送信すること
を行うように構成される、前記映像－マップ統合装置と
を含む、システム。
＜態様１５＞
WiFi無線によって前記複数の車載スマートフォンから受信される前記映像が、少なくとも３０フレーム／秒において少なくとも１２８０ｘ７２０の解像度を有する、請求項１４に記載のシステム。
＜態様１６＞
前記複数の車載スマートフォンからの各車載スマートフォンが、車載ＬｉＤＡＲ装置に通信可能に結合され、前記ＬｉＤＡＲ装置からのデータを記録済みの映像に関連させるように構成される、請求項１４に記載のシステム。
＜態様１７＞
前記複数の車載からの各車載スマートフォンが、記録済みの映像を全地球測位システム（ＧＰＳ）受信機から受信されるＧＰＳ座標に関連させるように構成される、請求項１４に記載のシステム。
＜態様１８＞
前記映像－マップ統合装置が、
第１の車両上に搭載された第１の車載スマートフォンから或る位置における優先度の高い特徴の指示を受信することであって、前記第１の車載スマートフォンは前記複数の車載スマートフォンからのものである、受信すること、
前記第１の車両が前記位置を通過した所定の時間の範囲内で前記位置を通過した第２の車両に搭載された第２の車載スマートフォンを識別するために、前記複数の車載スマートフォンをポーリングすること、
前記位置の映像を前記第２の車載スマートフォンから受信すること、及び
前記第２の車載スマートフォンから受信される前記位置の前記映像及び前記第１の車載スマートフォンから受信される前記優先度の高い特徴の前記指示に基づき、前記優先度の高い特徴が現れた時間を突き止めること
を行うように構成される、請求項１４に記載のシステム。
＜態様１９＞
前記所定の時間が４８時間未満である、請求項１４に記載のシステム。
＜態様２０＞
複数の道路区分を示す映像を複数の車載スマートフォンから受信すること、
前記複数の車載スマートフォンからの１台の車載スマートフォンにより前記複数の道路区分からの１つの道路区分を捕捉する映像区分に各バケットが関連するように前記映像をバケット化すること、
（ｉ）選択された道路区分、及び（ｉｉ）前記複数の道路区分からの前記選択された道路区分に隣接する複数の道路区分を識別することであって、前記複数の車載スマートフォンのどれからも前記選択された道路区分の映像が或る時間間隔中に受信されない、識別すること、
前記選択された道路区分に隣接する前記複数の道路区分のそれぞれについて、前記選択された道路区分に隣接する前記道路区分及び前記時間間隔に関連する各バケットに対して画像認識を行って歩行者計数を計算すること、及び
前記選択された道路区分に隣接する前記複数の道路区分のそれぞれについて、前記時間間隔にわたる前記歩行者計数の平均に基づいて前記選択された道路の歩行者計数を推定すること
を含む、方法。
＜態様２１＞
映像フレームの数及び前記選択された道路区分に隣接する前記道路区分の映像を前記時間間隔中に捕捉した車載スマートフォンの数に基づき、前記時間間隔にわたる及び前記選択された道路区分に隣接する前記複数の道路区分のそれぞれの前記歩行者計数を正規化することを更に含み、前記選択された道路区分に隣接する前記複数の道路区分のそれぞれに関する前記時間間隔にわたる前記正規化済みの歩行者計数の平均に基づく前記選択された道路の前記歩行者計数の前記推定、
請求項２０に記載の方法。
＜態様２２＞
前記複数の道路区分からの特定の道路区分を示す映像が不規則に受信される、請求項２０に記載の方法。
[0108] 一部の実施形態では、本明細書で開示したプラットフォーム、システム、媒体、及び方法が、１つ又は複数のデータベース又はその使用を含む。本明細書で示した開示に照らして、車両、位置、画像、特徴、及びストリートレベルインテリジェンス情報を記憶し取得するのに多くのデータベースが適していることを当業者なら理解されよう。様々な実施形態において、適切なデータベースは非限定的な例としてリレーショナルデータベース、非リレーショナルデータベース、オブジェクト指向データベース、オブジェクトデータベース、エンティティ関係モデルデータベース、連想データベース、及びＸＭＬデータベースを含む。更なる非限定的な例はＳＱＬ、ＰｏｓｔｇｒｅＳＱＬ、ＭｙＳＱＬ、Oracle、ＤＢ２、及びSybaseを含む。一部の実施形態ではデータベースがインターネットに基づく。更なる実施形態では、データベースがウェブに基づく。また更なる実施形態では、データベースがクラウドコンピューティングに基づく。他の実施形態では、データベースが１つ又は複数のローカルコンピュータ記憶装置に基づく。
本明細書に開示される発明は以下の態様を含む。
＜態様１＞
車両と共に配置されるスマートフォンのカメラから街路状況の映像を捕捉すること、
前記街路状況の前記映像に対してコンピュータビジョン分析の第１のパスを実行して候補となる複数の優先度の高いイベントを識別すること、
前記候補となる複数の優先度の高いイベントに対してコンピュータビジョン分析の第２のパスを実行して優先度の高いイベントを識別することであって、コンピュータビジョン分析の前記第２のパスはコンピュータビジョン分析の前記第１のパスよりも多くの計算資源を消費し、そのためコンピュータビジョン分析の前記第２のパスは前記映像に対してリアルタイムで実行できない、識別すること、及び
遠隔分析サービスが前記街路状況のマップ内に前記優先度の高いイベントを統合することができるように、前記優先度の高いイベントの指示を無線データネットワーク上で前記遠隔分析サービスに伝送することであって、前記遠隔分析サービスは前記マップ内に前記優先度の高いイベントを統合するのに前記車両において入手可能であるよりも多くの計算資源を消費する、伝送すること
をプロセッサに行わせるためのコードを含む前記プロセッサによって実行されるように構成されるコードを記憶する、非一時的プロセッサ可読媒体。
＜態様２＞
前記コードが、
前記優先度の高いイベントを含む前記街路状況の前記マップを前記遠隔分析サービスから受信すること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様３＞
コンピュータビジョン分析の前記第１のパスを前記プロセッサに実行させるための前記コードが、前記街路状況の前記映像に対してコンピュータビジョン分析の前記第１のパスをリアルタイムで実行させるためのコードを含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様４＞
前記プロセッサが前記スマートフォンのハウジング内に位置する、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様５＞
前記コードが、
前記車両がオンにされていることを検出すること、
前記車両がオンにされていることを検出することに基づいて前記スマートフォンのオペレーティングシステムを起動すること、
通話機能が無効にされるように前記スマートフォンを構成すること、及び
前記車両が自宅拠点を離れたことを検出することであって、捕捉される前記街路状況の前記映像は前記車両が前記自宅拠点を離れたことを前記検出することによってトリガされる、検出すること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様６＞
前記コードが、
前記車両がオンにされていることを検出すること、
前記車両がオンにされていることを検出することに基づいて前記スマートフォンのオペレーティングシステムを起動すること、
通話機能が無効にされるように前記スマートフォンを構成すること、及び
指示を得るために前記遠隔分析サービスに定期的に接触するように前記スマートフォンを構成すること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様７＞
前記コードが、
前記車両が自宅拠点に戻ったことを検出すること、
前記車両が前記自宅拠点に戻ったことを検出することに基づいて映像の捕捉を停止すること、
前記車両が前記自宅拠点に戻ったことを検出することに基づいてWiFiネットワークに接続すること、及び
前記WiFiネットワークを介して前記カメラから捕捉された映像を前記遠隔分析サービスにアップロードすること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様８＞
前記コードが、
前記車両が自宅拠点に戻ったことを検出すること、
前記車両が前記自宅拠点に戻ったことを検出することに基づいてWiFiネットワークに接続すること、
前記WiFiネットワークを介して前記カメラから捕捉された映像を前記遠隔分析サービスにアップロードすること、
前記車両がオフにされていることを検出すること、
前記車両がオフにされていることを検出することに基づき、前記カメラから捕捉された映像が前記遠隔分析サービスにアップロードされた後で節電状態に入ること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様９＞
前記コードが、
前記カメラから静止画を捕捉すること、
前記静止画を複数の領域に分割すること、
前記複数の領域からの領域の少なくともサブセットについてラプラシアンバリアンスを計算すること、及び
前記ラプラシアンバリアンスを所定の閾値と比較し、前記領域のサブセットの大多数のラプラシアンバリアンスが前記所定の閾値を下回る場合は前記静止画を記憶するか、又は前記複数の領域からの少なくとも１つの領域について計算される少なくとも１つのラプラシアンバリアンスが前記所定の閾値を上回る場合は前記静止画を破棄すること
を前記プロセッサに行わせるためのコードを更に含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様１０＞
コンピュータビジョン分析の前記第１のパスを実行することが、候補となる交通コーンを識別するためにオレンジ色の特徴を求めて前記映像をリアルタイムで走査することを含む、請求項１に記載の非一時的プロセッサ可読媒体。
＜態様１１＞
コンピュータビジョン分析の前記第１のパスを実行することが、候補となる交通コーンを識別するためにオレンジ色の特徴を求めて前記映像をリアルタイムで走査することを含み、
コンピュータビジョン分析の前記第２のパスを実行することは、前記候補となる交通コーンが実際の交通コーンであることを確認することを含む、
請求項１に記載の非一時的プロセッサ可読媒体。
＜態様１２＞
コンピュータビジョン分析の前記第１のパスを実行することが、候補となる交通コーンを識別するためにオレンジ色の特徴を求めて前記映像をリアルタイムで走査することを含み、
コンピュータビジョン分析の前記第２のパスを実行することは、前記候補となる交通コーンが実際の交通コーンであることを確認することを含み、
前記街路状況の前記マップが、前記実際の交通コーンがあることに対応する車線閉鎖の指示を含む、
請求項１に記載の非一時的プロセッサ可読媒体。
＜態様１３＞
コンピュータビジョン分析の前記第１のパスを実行することが、候補となる緊急車両を識別するために点滅光を求めて前記映像をリアルタイムで走査することを含み、
コンピュータビジョン分析の前記第２のパスを実行することが、静止した緊急車両を識別することを含む、
請求項１に記載の非一時的プロセッサ可読媒体。
＜態様１４＞
セルラデータ無線及びWiFi無線を含む複数の車載スマートフォンであって、前記複数の車載スマートフォンからの各車載スマートフォンは、
前記車載スマートフォンのための前記セルラデータ無線によってアクセス可能なネットワークの平均日常帯域幅を超えるレートで街路状況の映像を継続的に捕捉すること、
少なくとも８時間の映像を局所的に記憶すること、
前記街路状況の前記映像内の優先度の高い特徴を識別し、前記車載スマートフォンのセルラデータ無線によって前記優先度の高い特徴を含む前記映像の一部を映像－マップ統合装置に送信すること、及び
自宅位置に駐車したときに、及び前記車載スマートフォンのWiFi無線によって局所的に記憶されている映像を前記映像－マップ統合装置に転送するためにWiFiネットワークに接続すること
を行うように構成される、複数の車載スマートフォンと、
マップ内に優先度の高い特徴を統合すること、
前記優先度の高い特徴を含む前記マップを表す信号をセルラデータネットワーク上で前記複数の車載スマートフォンに送信すること、
前記マップが少なくとも毎日更新されるように、WiFi無線によって前記複数の車載スマートフォンから受信される映像を前記マップ内に統合すること、及び
WiFi無線によって受信される前記映像からのコンテンツを含む前記マップを表す信号を（１）マップビューワ装置、（２）前記複数の車載スマートフォンからの車載スマートフォン、又は（３）ナビゲーション装置の少なくとも１つに送信すること
を行うように構成される、前記映像－マップ統合装置と
を含む、システム。
＜態様１５＞
WiFi無線によって前記複数の車載スマートフォンから受信される前記映像が、少なくとも３０フレーム／秒において少なくとも１２８０ｘ７２０の解像度を有する、請求項１４に記載のシステム。
＜態様１６＞
前記複数の車載スマートフォンからの各車載スマートフォンが、車載ＬｉＤＡＲ装置に通信可能に結合され、前記ＬｉＤＡＲ装置からのデータを記録済みの映像に関連させるように構成される、請求項１４に記載のシステム。
＜態様１７＞
前記複数の車載からの各車載スマートフォンが、記録済みの映像を全地球測位システム（ＧＰＳ）受信機から受信されるＧＰＳ座標に関連させるように構成される、請求項１４に記載のシステム。
＜態様１８＞
前記映像－マップ統合装置が、
第１の車両上に搭載された第１の車載スマートフォンから或る位置における優先度の高い特徴の指示を受信することであって、前記第１の車載スマートフォンは前記複数の車載スマートフォンからのものである、受信すること、
前記第１の車両が前記位置を通過した所定の時間の範囲内で前記位置を通過した第２の車両に搭載された第２の車載スマートフォンを識別するために、前記複数の車載スマートフォンをポーリングすること、
前記位置の映像を前記第２の車載スマートフォンから受信すること、及び
前記第２の車載スマートフォンから受信される前記位置の前記映像及び前記第１の車載スマートフォンから受信される前記優先度の高い特徴の前記指示に基づき、前記優先度の高い特徴が現れた時間を突き止めること
を行うように構成される、請求項１４に記載のシステム。
＜態様１９＞
前記所定の時間が４８時間未満である、請求項１４に記載のシステム。
＜態様２０＞
複数の道路区分を示す映像を複数の車載スマートフォンから受信すること、
前記複数の車載スマートフォンからの１台の車載スマートフォンにより前記複数の道路区分からの１つの道路区分を捕捉する映像区分に各バケットが関連するように前記映像をバケット化すること、
（ｉ）選択された道路区分、及び（ｉｉ）前記複数の道路区分からの前記選択された道路区分に隣接する複数の道路区分を識別することであって、前記複数の車載スマートフォンのどれからも前記選択された道路区分の映像が或る時間間隔中に受信されない、識別すること、
前記選択された道路区分に隣接する前記複数の道路区分のそれぞれについて、前記選択された道路区分に隣接する前記道路区分及び前記時間間隔に関連する各バケットに対して画像認識を行って歩行者計数を計算すること、及び
前記選択された道路区分に隣接する前記複数の道路区分のそれぞれについて、前記時間間隔にわたる前記歩行者計数の平均に基づいて前記選択された道路の歩行者計数を推定すること
を含む、方法。
＜態様２１＞
映像フレームの数及び前記選択された道路区分に隣接する前記道路区分の映像を前記時間間隔中に捕捉した車載スマートフォンの数に基づき、前記時間間隔にわたる及び前記選択された道路区分に隣接する前記複数の道路区分のそれぞれの前記歩行者計数を正規化することを更に含み、前記選択された道路区分に隣接する前記複数の道路区分のそれぞれに関する前記時間間隔にわたる前記正規化済みの歩行者計数の平均に基づく前記選択された道路の前記歩行者計数の前記推定、
請求項２０に記載の方法。
＜態様２２＞
前記複数の道路区分からの特定の道路区分を示す映像が不規則に受信される、請求項２０に記載の方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
