知財求人 - 知財ポータルサイト「IP Force」
▶ シーティーワイ，インコーポレイテッド・ディービーエー・ニューミナの特許一覧
特表2022-526443カメラベースの分散オブジェクト検出、分類および追跡のためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-05-24
(54)【発明の名称】カメラベースの分散オブジェクト検出、分類および追跡のためのシステムおよび方法
(51)【国際特許分類】
G06T 7/246 20170101AFI20220517BHJP
G06T 7/00 20170101ALI20220517BHJP
G06T 7/80 20170101ALI20220517BHJP
G08G 1/00 20060101ALI20220517BHJP
【ＦＩ】
G06T7/246
G06T7/00 350C
G06T7/80
G06T7/00 650B
G08G1/00 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021560452
(86)(22)【出願日】2020-03-29
(85)【翻訳文提出日】2021-11-19
(86)【国際出願番号】 US2020025605
(87)【国際公開番号】W WO2020205682
(87)【国際公開日】2020-10-08
(31)【優先権主張番号】62/830,234
(32)【優先日】2019-04-05
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521442268
【氏名又は名称】シーティーワイ，インコーポレイテッド・ディービーエー・ニューミナ
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100219542
【弁理士】
【氏名又は名称】大宅 郁治
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】グッドマン、イラン・ネイサン
(72)【発明者】
【氏名】マクグリール、マーティン
(72)【発明者】
【氏名】ビギエ、ラファエル
(72)【発明者】
【氏名】ファム、タラ
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181AA21
5H181BB04
5H181BB20
5H181CC04
5H181CC07
5H181EE02
5L096BA02
5L096DA02
5L096EA27
5L096FA67
5L096FA69
5L096GA17
5L096GA19
5L096GA34
5L096HA05
5L096HA08
5L096HA11
5L096JA09
5L096KA04
(57)【要約】
表面地形に沿って複数のゾーンを通して移動する分散オブジェクトを検出し、分類し、追跡するためのカメラベースのシステムおよび方法。システムは、各セクションまたはゾーンに据え付けられた画像センサから画像を獲得し、ゾーン中のオブジェクトを分類し、オブジェクトのピクセル座標を検出し、ピクセル座標を実空間中のポジションに変換し、ゾーンを通して各オブジェクトの経路を生成する。システムはさらに、第２のセル中のオブジェクトに対する基準のマッチングのために、第１のセルからのオブジェクトの経路を予測し、それによって、オブジェクトは、予測された経路に基づいて、個人的に識別可能な情報の記憶および送信を必要とすることなく、セルにわたって関係付けられてもよい。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
センサによって、交差点を通過するオブジェクトを追跡するための方法であって、第１のセンサから画像を獲得することと、ここで、前記第１のセンサは第１のセルを監視し、
前記画像中のオブジェクトを分類することと、
前記画像中の前記オブジェクトのピクセル座標を検出することと、
前記ピクセル座標を実空間中のポジションに変換することと、
前記オブジェクトの前記ポジションでトラッカを更新することを含む、方法。
【請求項2】
前記変換するステップは、ホモグラフィ変換を使用して実行される、請求項１に記載の方法。
【請求項3】
前記オブジェクトのピクセル座標は、第１のオブジェクトが前記画像中の地面に接触するロケーションによって決定される、請求項１に記載の方法。
【請求項4】
前記分類するステップおよび前記検出するステップは、前記オブジェクトのクラスを識別し、前記オブジェクトの前記ピクセル座標を決定する畳み込みニューラルネットワークによって達成される、請求項１に記載の方法。
【請求項5】
実空間における前記オブジェクトの前記ポジションは、前記オブジェクトが地面に接触する点を接地平面座標に変換することと、
前記オブジェクトを囲み、下縁、第１の垂直縁および第２の垂直縁を有するオブジェクト境界ボックスを生成することと、
前記オブジェクト境界ボックスを接地平面座標に変換することと、
前記オブジェクトが前記地面に接触し、前記オブジェクト境界ボックスの底縁の近くにある第１の点を位置付けることと、
前記オブジェクトが地面に接触し、前記オブジェクト境界ボックスの前記第１の垂直縁の近くにある第２の点を位置付けることと、
前記第１の点と前記第２の点との間の第１の線を決定することと、
前記第１の点と交差し、前記第１の線に垂直な第２の線を決定することと、
前記第２の線および前記第２の垂直縁と交差する第３の点を位置付けることと、
前記第１、第２および第３の点を使用して、前記オブジェクトのベースフレームを定義することと、
前記ベースフレーム上の任意の点として、実空間中に前記オブジェクトのポジションを定義すること、によって決定される、請求項１に記載の方法。
【請求項6】
第１のセル中のトラッカに基づいて、第１のオブジェクトの経路を予測することと、前記経路が第２のセルにつながり、マッチング基準を満たす場合、前記トラッカを前記第２のセル中の第２のオブジェクトにマッチングさせることと、
前記経路が前記第２のセルにつながらない場合、前記トラッカを終了させることをさらに含む、請求項１に記載の方法。
【請求項7】
経路は、一定速度モデル、リカレントニューラルネットワーク、または粒子フィルタのうちの少なくとも１つに基づいて予測される、請求項５に記載の方法。
【請求項8】
マッチング基準は、第１のオブジェクトおよび第２のオブジェクトが同じクラスを有することを含み、前記第２のオブジェクトは、経路と一致する時間に第２のセル中に現れ、前記第２のオブジェクトは前記第１のオブジェクトの最後の既知のロケーションの予め定められた距離内にある、請求項５に記載の方法。
【請求項9】
複数のオブジェクトがマッチング基準を満たすとき、前記複数のオブジェクト中の各オブジェクトについて類似性メトリックを計算することと、前記類似性メトリックが予め定められたしきい値を超えることに基づいて、前記複数のオブジェクトからマッチングオブジェクトを選択することを含む、請求項５に記載の方法。
【請求項10】
前記予め定められたしきい値を上回る類似性メトリックを有する前記複数のオブジェクトから、最も高い類似性メトリックを有する前記マッチングオブジェクトを選択することを含む、請求項９に記載の方法。
【請求項11】
交差点を通過するオブジェクトを追跡するためのセンサを較正する方法であって、セルを監視できるようにセンサを据え付けることと、
特定のセンサを識別するモバイルデバイスで前記センサ上のＱＲコードをスキャンすることと、
画像に対する要求を前記センサに送信することと、
前記センサから画像を受信することと、
前記センサと同じ画像をキャプチャするために電話上のカメラを配向することと、
前記モバイルデバイスから画像、ポジション、配向、および類似のデータを含む追加データをキャプチャすることと、
前記追加データから３Ｄ構造を作成することと、
前記センサのＧＰＳポジションまたは任意の点が原点として使用され、ピクセル座標を実空間中のポジションに変換することを含む、方法。
【請求項12】
特徴点マッチングアルゴリズムは、前記センサからの前記画像と前記モバイルデバイスからの前記画像との間のマッチング点を見つけ、前記モバイルデバイスは、十分なマッチング点が予め定められたしきい値を超えて見つかったかどうかを示し、
前記マッチング点の数が予め定められたしきい値を満たさない場合、前記モバイルデバイスから画像を再キャプチャすることを含む、請求項１１に記載の方法。
【請求項13】
前記追加データは、監視されるべき前記セルの上で前記モバイルデバイスをゆっくりスイープし、前記モバイルデバイス上の加速度計、ジャイロスコープ、コンパス、および画像センサからの情報をキャプチャすることによってキャプチャされ、前記特徴点マッチングアルゴリズムは、前記追加データ中の連続する画像間のマッチング点を見つけ、
前記追加データから前記予め定められたしきい値を満たすのに十分なマッチング点がない場合、前記モバイルデバイスは、前記セルの追加のスイープを要求する、請求項１２に記載の方法。
【請求項14】
前記追加データは、ＧＰＳデータも含む、請求項１１に記載の方法。
【請求項15】
３Ｄ構造は、動きアルゴリズムからの構造を使用して生成される、請求項１１に記載の方法。
【発明の詳細な説明】
【優先権の主張】
【0001】
［０００１］本出願人は、２０１９年４月５日に出願された「カメラベースの分散オブジェクト検出、分類および追跡のためのシステムおよび方法」と題する米国仮特許出願シリアル番号第６２／８３０，２３４号の優先権を主張する。上述の出願の全体内容が、参照によりここに組み込まれている。
【技術分野】
【0002】
［０００２］本開示は、分散オブジェクトのカメラベースの検出、分類、および追跡のための方法およびシステムに関し、特に、個人的に識別可能な情報の送信または記憶なしに、複数のゾーンを通して表面地形に沿って移動オブジェクトを検出、分類、および追跡することに関する。
【背景技術】
【0003】
［０００３］空間を通るオブジェクトの検出、分類、および追跡は、多種多様な用途を有する。１つのそのような一般的な用途は、例えば、都市および郊外の道路および交差点を通る地形上の人、車両、動物または他のオブジェクトの交通パターンの監視および分析におけるものである。
【0004】
［０００４］カメラを使用する表面地形にわたるオブジェクトの検出および追跡は、監視されている地形の表面に対してカメラ視野角が本質的に垂直であるような、頭上カメラを使用して可能になっている。しかしながら、カメラを直接頭上に据え付けることは、頭上の取り付け点がほとんどないか、またはそれらが有意な歪みのない視野を取り込むのに十分に高くないので、しばしば困難であり、費用がかかる。代替として、カメラ視野角を垂直軸から移動させて、例えば、道路に沿った街灯柱上または道路の隅にそれを配置して、頭上から下方によりもむしろ、交通エリアにわたって見ることが可能である。しかしながら、カメラ角度が垂線から外れると、地形表面、より具体的には表面上のオブジェクトの経路を識別することがより困難になる。この問題に対する１つの解決策は、複数のカメラを使用して、空間を通してオブジェクトの動きをより容易に計算することができる立体視を作成することである。この解決策は、監視されるエリアごとに複数のカメラを必要とし、ハードウェアおよび設置コストを大幅に増加させるという欠点を有する。
【0005】
［０００５］トラフィック監視の特定の分野では、より初歩的なシステムも知られているが、それらは能力および有用性に欠けている。例えば、交差点の交通パターンに関するデータを収集することは、手動集計、深度センサ（例えば、赤外線、レーダー、ライダー、超広帯域）、または空気式道路管、圧電センサ、若しくは誘導ループなどのデバイスの設置を通して知られている。手動集計は、人間のオペレータに関係付けられた安全性リスクを有し、カウンタは、他の方法よりも小さいサンプルサイズを収集する。深度センサおよび誘導ループは高価である。さらに、これらの方法のすべては、オブジェクトを分類し、オブジェクト経路を追跡する能力に欠けている。すなわち、これらの従来のトラフィック監視方法およびデバイスは、収集できるデータの量が制限されている。例えば、空気式道路管からのデータで、トラックと車とを区別することは困難である。誘導ループは歩行者または自転車を追跡することができない。最後に、交通パターンを追跡するために意味のあるデータを作成する方法で複数の交通センサからのデータを組み合わせて評価することは困難または不可能である。
【0006】
［０００６］既知のシステムの問題は、監視されるべきエリアが大きいとき、例えば、都市景観全体における交通パターンを監視する際に特に深刻になる。具体的には、例えば、街路、横断歩道、陸橋、およびこれらに類するものの使用量、ならびに全都市景観にわたってそれらを横断するオブジェクトの経路を評価するために、システムは、１つのセンサゾーンから別のセンサゾーンまでオブジェクトを追跡する必要がある。典型的には、カメラベースのシステムのみが、経路を追跡するそのような能力を有するが、次いで、ゾーンが重複し、オブジェクトが追跡のために一方のゾーンセンサから他方のゾーンセンサに受け渡されることができる場合に、ゾーンからの連続経路を追跡することのみができる。しかしながら、この方法は、不連続性のない全てのエリアの完全なカバレッジを必要とすることから、非常に高価である。
【発明の概要】
【0007】
［０００７］本開示は、車両および歩行者の交通監視および予測システムならびに方法において有用であるような、分散オブジェクトを検出し、分類し、追跡する既知の方法を用いて上記の必要性および欠点を解決する。例えば、本明細書に開示される方法およびシステムは、単一の側面据え付けカメラを使用して、各ゾーンまたは交差点を監視し、プライバシーを維持しながら、すなわち、オブジェクトについての関する個人識別可能情報を記憶または送信することなく、複数の不連続ゾーンにわたってオブジェクトを追跡できる。
【0008】
［０００８］本システムの第１の態様では、ゾーンにわたる視野を有する単一のカメラを介して単一のゾーンまたは交差点中の分散オブジェクトを検出し、分類し、追跡するためのシステムおよび方法が提供される。本システムおよび方法は、ゾーンまたはセルの画像を獲得し、画像中の１つ以上のオブジェクトを分類し、画像中のオブジェクトのピクセル座標を検出し、ピクセル座標を実空間中のポジションに変換し、経時的にオブジェクトのポジションでトラッカを更新する単一のカメラセンサを使用して、交差点を通過するオブジェクトを追跡することを含む。
【0009】
［０００９］本システムおよび本方法の第２の態様では、複数のゾーンまたはセルが都市景観中で監視され、ここで、複数のゾーンは不連続であってもよく、重複せず、ゾーンからゾーンへの経路は、分散されたオブジェクトのいずれかに関連する個人的に識別可能な情報の記憶または転送なしに、オブジェクト特性および経路確率分析を通して予測される。
【0010】
［００１０］本システムおよび本方法の第３の態様は、較正デバイス（たとえば、モバイルデバイス／スマートフォン）上で実行する較正アプリケーションを使用して、ゾーンごとにセンサユニットを構成し、較正するために提供される。本システムおよび本方法は、セルを監視できるようにセンサを据え付けることを含む。ユーザは、特定のセンサを識別するモバイルデバイスでセンサ上のＱＲコード（登録商標）をスキャンし、画像に対する要求をセンサに送信する。モバイルデバイスは、センサから画像を受信し、ユーザは、センサと同じ画像をキャプチャするために電話上のカメラを配向する。ユーザは、モバイルデバイスから、画像、ポジション、配向、および類似のデータを含む追加データをキャプチャし、追加データから３Ｄ構造を作成する。センサのＧＰＳポジションまたは任意の点を原点として使用して、ピクセル座標を実空間におけるポジションに変換する。
【0011】
［００１１］上記の開示および以下の詳細な開示は、特定の交差点の文脈において例として本明細書で提示されるが、本概念は、街路、歩道、経路、または他の地形もしくは空間上の人間、動物、車両、または他のオブジェクトの交通パターンを追跡および予測する有益な利点がある他の交通経路に適用されてもよいことが当業者によって理解されるだろう。前述の概要を考慮して、これらの詳細が例示目的のみのためであり、排他的であることを意図しないことを考慮して、特定の詳細を提示する。
【図面の簡単な説明】
【0012】
［００１２］添付の図面は、本説明による、分散オブジェクトのカメラベースの検出、分類および追跡、その較正、ならびに複数の異種ゾーンを通る経路の予測のためのシステムおよび方法の様々な非限定的な例および革新的な態様を図示する。
【発明を実施するための形態】
【0013】
［００２４］簡略化された概要では、分散オブジェクトのカメラベースの検出、分類、および追跡のための改善されたシステムおよび方法が提供され、システムを較正し、不連続なカメラビューゾーンにわたるオブジェクト経路を予測するシステムおよび方法が本明細書で説明される。本開示の概念は、説明を容易にするために都市景観における歩行者および車両の文脈において本明細書で開示および説明されるが、オブジェクトが任意の地形を横断している多くの用途に同じ原理および方法を適用できることが当業者には明らかであろう。
【0014】
［００２５］ システム構成
【0015】
［００２６］図１を参照すると、本開示の１つの例示的な実施形態は、街路交差点１０２を通過するオブジェクトを追跡するためのシステムおよび方法を提供し、単一のセンサユニット１０１を使用して、都市景観全体にわたる１つ以上のセルまたは交差点にわたって各セルまたは交差点１０２を通る交通を監視することができる。画像センサは、各センサユニット１０１を形成するために、少なくともマイクロプロセッサ、記憶ユニット、およびワイヤードまたはワイヤレストランシーバと共に配置される。画像センサは、オブジェクトの識別および追跡を可能にするのに十分な解像度を有する。さらに、画像センサは、歪みを発生させない広視野のレンズを使用する。例示的な実施形態では、レンズは少なくとも９０度の視野を有する。センサユニット１０１はまた、ＧＰＳ受信機、スピーカ、または他の機器を含んでもよい。センサユニット１０１は、好ましくは、ポール、壁、またはセンサユニット１０１が交差点を見落とすことを可能にし、監視されるべき地形の遮られない視界を提供する任意の同様の形状の表面に据え付けられるように適合される。センサユニット１０１は、交差部１０２の上方に据え付けられ、交差部１０２に向かって下方に傾斜している。センサユニット１０１は、センサユニット１０１が交差点１０２の最大エリアを観察できるように据え付けられる。例示的な実施形態では、センサユニット１０１は、交差点１０２の２０フィート（６．０９６メートル）上方に据え付けられ、水平線の３０度下方に角度付けられる。
【0016】
［００２７］図１に示すような様々な実施形態では、複数の不連続なゾーン、セル、または交差点１０２はセンサユニット１０１を装備することができ、センサユニット１０１は、好ましくは、直接通信経路を介して、またはクラウドコンピュータ１０３を介して間接的に、１つのゾーン中の追跡されるオブジェクトに関する個人を識別できない情報を、隣接するゾーンを監視するセンサユニット１０１に通信することができる。
【0017】
［００２８］センサ較正
【0018】
［００２９］各感知ユニット中の画像センサがその視野（たとえば、交差点）中のオブジェクトを正確に追跡することができる前に、感知ユニットは、単一のカメラユニットからの画像（すなわち、立体画像または深度センサなし）がその視野中の地形上のオブジェクトのポジションを識別するために使用されることができるように較正されなければならない。
【0019】
［００３０］センサユニットを較正するための例示的な方法が図２のフローチャートに図示されている。較正プロセスは、測定段階と処理段階とに分けられる。モバイルデバイスは、好ましくは、較正データを生成する際に（処理段階）使用される測定データを収集する（測定段階）ために、システムインストーラによって使用されることが好ましい。モバイルデバイスは、好ましくは、カメラ、加速度計、ジャイロスコープ、コンパス、ワイヤレストランシーバ、およびＧＰＳ受信機を含み、したがって、多くのモバイルフォン、タブレット、および他のハンドヘルドデバイスは、較正データを収集するために必要なハードウェアを含み、本開示の較正ソフトウェアとともに使用されて、較正のための測定値を収集することができる。
【0020】
［００３１］図２を参照すると、較正プロセス２０１は、上述したように適切なロケーションに第１のセンサユニットを設置すること２０２から始まる。いったんセンサユニットが適切に据え付けられ、電力のために配線されると、センサユニットは、ローカルインターネット接続に配線されるか、またはインターネットにワイヤレスで接続されるかのいずれかによって、インターネットに接続され得る。ワイヤレス接続は、セルラ接続、任意の８０２.１１規格またはＢｌｕｅｔｏｏｔｈ（登録商標）を使用することができる。接続は、中央受信機への直接的なポイントツーポイント接続であってもよく、またはエリア中の複数のセンサユニットがメッシュネットワークを形成し、単一のインターネット接続を共有してもよい。設置が完了した後、センサユニットが起動される。
【0021】
［００３２］次に、ステップ２０３において、インストーラ／ユーザは、モバイルデバイス上で較正アプリケーションを実行する。較正アプリケーションは、いったんポジションに固定された各センサユニットについて以下のステップで説明されるように測定データを収集するために使用される。ステップ２０４において、較正アプリケーションは、測定データで較正されるべき特定のセンサユニットを提供するために使用される。これは、センサユニットの本体から読み取られたセンサユニットシリアル番号の入力、センサユニット上のバーコードまたはＱＲコードのスキャン、ＲＦＩＤの読み取り、Ｂｌｕｅｔｏｏｔｈを介した一意の識別子、近距離無線通信、または他のワイヤレス通信など、任意の数の方法で達成されてもよい。
【0022】
［００３３］いったん較正アプリケーションがセンサユニットを正しく識別すると、較正アプリケーションは、ステップ２０５において、センサユニットからサンプル画像を収集する。例示的な実施形態では、モバイルデバイスは、サンプル画像に対する要求をクラウドコンピュータに送る。クラウドコンピュータは、インターネットを通してセンサユニット１０１からサンプル画像を要求し、サンプル画像をモバイルデバイスに中継する。他の実施形態では、較正ユニットは、センサユニット１０１に接続し、そこからサンプル画像を直接要求してもよく、次いで、サンプル画像をセンサユニット１１０に送る。設置者は、サンプル画像を、画像を収集するときにモバイルデバイスを向けるロケーションのガイドとして使用する。
【0023】
［００３４］ステップ２０６において、ユーザは、サンプル画像と実質的に同じである第１の画像を撮影するようにモバイルデバイス／較正ユニット上のカメラを配向する。較正アプリケーションは、特徴点マッチングアルゴリズム、例えばＳＩＦＴまたはＳＵＲＦを使用して、第１の画像とサンプル画像との間でマッチングする連携点を見つける。予め定められた数の連携点が識別されるとき、較正アプリケーションは、画像中の連携点を強調表示するか、電話を振動させるか、または音を鳴らすことなどによって、ユーザに正のフィードバックを提供する。例示的な実施形態では、連携点は識別され、センサユニット１０１の視野全体にわたって分散される。例示的な実施形態では、少なくとも５０から１００の連携点が特定される。
【0024】
［００３５］正のフィードバックを受信すると、ステップ２０７において、較正アプリケーションは、好ましくは、カメラをセンサユニットの視野（例えば、交差点）に向けたまま、ゆっくりとしたスイープ動作で電話を移動させるようにユーザに促す。スイーププロセスは図３に図示される。モバイルデバイスを有する設置者／ユーザは、第１の画像を撮影し、較正アプリケーションは、サンプル画像３０２とマッチングする連携点３０３を識別する。次いで、ユーザは、Ｎ個のモバイルデバイスポジションにわたってモバイルデバイスをスイープする。例示的な実施形態では、設置者／ユーザは、スイープを完了するために、一方の側の腕の最大伸長から他方の側の腕の最大伸長まで電話を振る。ユーザはまた、スイープを完了するために、電話を取り、センサユニットの視野の外側に沿って経路を歩いてもよい。このプロセスは、Ｋｎ個の連携点を出力し、ここで、Ｋは、各Ｎ画像とＮ－１画像との間のマッチングする連携点の数である。
【0025】
［００３６］ステップ２０８において、スイープの間に、モバイルデバイスは、加速度計、ジャイロスコープ、およびコンパスデータから、サンプル画像または前の画像のいずれかに対するモバイルデバイスの相対ポジションの対応する測定値をキャプチャする。ＧＰＳ座標もまた、各画像について収集されてもよい。
【0026】
［００３７］図４に示すように、各画像のロケーションにはわずかな違いがある。この違いまたは変位は、各画像の相対ロケーションを決定するために以下のステップで使用される。スイープの間に収集された各画像について、較正アプリケーションは、ステップ２０９において追加の特徴点マッチングを実行し、ステップ２１０において、予め定められた数の連携点がサンプル画像とともに各連続画像において見えることを保証する。例示的な実施形態では、５０から１００個の連携点が識別される。
【0027】
［００３８］予め定められた数のマッチングする連携点が検出されない場合、較正アプリケーションは、モバイルデバイスを再配向し、追加のスイープを実行するようにユーザに命令する２１１。その後、プロセスはステップ２０８を繰り返すために戻る。
【0028】
［００３９］加速度計、ジャイロスコープ、コンパスなどからの予め定められた数の画像およびそれらの対応する測定値が収集されるとき（ステップ２１２）、設置が完了する。例示的な実施形態では、少なくとも６個の画像が較正のために収集される。代替の例示的な実施形態では、少なくとも６から１２個の画像が収集される。
【0029】
［００４０］例示的な実施形態では、センサユニットはまた、設置プロセスの間にその経度および緯度を取得する。センサユニットがＧＰＳ受信機を含まない場合、ユーザはモバイルデバイスをセンサユニットに隣接して保持することができ、アプリケーションはＧＰＳ座標をセンサユニットに送信する。センサユニットもモバイルデバイスもＧＰＳセンサを有していない場合には、経度座標および緯度座標が後でマップから決定され、センサユニットに送信または入力される。
【0030】
［００４１］いったんＮ個の画像を含む較正データ、コンパスからのＮ個の対応する測定値、モバイルデバイスの相対ポジションのＮ－１個の対応する測定値が加速度計およびジャイロスコープから取得され、Ｋｎ個の連携点が収集されると、プロセス段階において変換が作成される。この変換は、画像中のオブジェクトのピクセル座標を実世界の経度および緯度座標に変換する。
【0031】
［００４２］例示的な実施形態では、較正データは、センサユニットの較正が完了すると、センサユニットまたはクラウドコンピュータに記憶される。変換を計算するための処理段階は、センサユニットまたはクラウドコンピュータ上で実行される。ストラクチャフロムモーション（ＳＦＭ structure from motion）アルゴリズムを使用して、交差点の３Ｄ構造を計算することができる。各画像の相対的なポジションおよび配向の測定値を使用して、ＳＦＭ座標フレームを、東‐北‐上（「ＥＮＵ」）などの任意の現実世界の基準フレームと位置合わせし、距離をメートルまたはこれに類するもののような現実世界の測定システムに再スケーリングする。
【0032】
［００４３］センサユニットのＧＰＳポジションまたはサンプル画像内の任意の点が、以前に取得された現実世界座標を緯度および経度座標に変換するための原点として使用される。例示的な実施形態では、ＧＰＳポジションおよび他のメタデータは、クラウドコンピュータ中のセンサデータベース１１８に記憶される。
【0033】
［００４４］例示的なＳＦＭアルゴリズムは、密度マルチビュー再構成である。この例では、画像センサの視野中のすべてのピクセルが、現実世界の座標系にマッピングされる。
【0034】
［００４５］追加の例示的なＳＦＭアルゴリズムは、図５に図示されるホモグラフィ変換である。この例では、地面上にあることが知られている連携点に平面が適合される。路面上のピクセルをセグメント化して識別するようにトレーニングされた畳み込みニューラルネットワークを使用して、地上にある点と、建物、オブジェクトなどに関係付けられた点とを区別する。次いで、ホモグラフィ変換を使用して、任意のピクセル座標を現実世界座標に変換する。図７は、センサユニットによって撮影された画像の例示的な図である。この図では、オブジェクトは既に境界ボックスを有し、オブジェクトのうちの２つは経路を有する。境界ボックス７０１は、以下でさらに説明するように、接地平面上のオブジェクトのロケーションを識別する。図８は、図７が接地平面に投影されるホモグラフィ変換の例である。
【0035】
［００４６］いったん構成されると、センサユニットは、各セルまたは交差点を通る別個のオブジェクトの経路を追跡することができる。図９は、交差点の衛星画像に投影された図７に概説されたオブジェクトの経路の図である。センサユニットは、単独で、または任意のサイズを有するエリアをカバーする他のセンサユニットとのネットワーク中で動作することができる。
【0036】
［００４７］検出および追跡
【0037】
［００４８］図６に図示する例示的な実施形態では、各センサユニットは、少なくとも３つの論理モジュール、すなわち、検出モジュール、予測モジュール、および更新モジュールを有する。これらのモジュールは協働して、センサユニットが観察する特定の交差点を通るオブジェクトの移動を追跡する。各オブジェクトには、交差点を通って移動する経路が割り当てられる。各経路は、オブジェクトのポジション、クラスラベル、現在のタイムスタンプ、および一意の経路ＩＤなどの識別情報を含む。
【0038】
［００４９］経路を生成するプロセスは、センサユニットが時間ｔにおいて交差点の第１の画像を撮影することで始まる。図７は、交差点を通過する車および人を有する例示的な第１の画像である。
【0039】
［００５０］図６を参照すると、検出モジュール６０１は、第１の画像を取得し、画像内のオブジェクトを検出および分類することによって開始する。検出モジュール６０１は、交差点を通過する異なるオブジェクトを検出するように予めトレーニングされた畳み込みニューラルネットワークを含む。例えば、オブジェクトは、車、歩行者、または自転車として分類されてもよい。オブジェクトを識別し、そのロケーションを決定するために使用されるプロセスについては、以下でさらに説明する。
【0040】
［００５１］予測モジュール６０２は、時間ｔ－１から第２のフレーム中で識別されるオブジェクトの経路を予測する。オブジェクトの予測経路は、オブジェクトの以前の経路および第２のフレームにおけるそのロケーションに基づく。例示的な予測モジュール６０２は、ナイーブモデル（例えば、カルマンフィルタ）、統計モデル（例えば、粒子フィルタ）、またはトレーニングデータから学習されたモデル（例えば、リカレントニューラルネットワーク）を含む。センサユニットが履歴データを収集すると、複数のモデルを使用することができる。さらに、複数のモデルを同時に使用し、後でそれらの精度に基づいてユーザによって選択することができる。
【0041】
［００５２］更新モジュール６０３は、第１のフレームからの現在のオブジェクトおよびロケーション情報を、予測モジュールから生成された予測経路と組み合わせることを試みる。オブジェクトの現在ロケーションが経路の予測ポジションに十分に類似している場合、現在ロケーションは経路に追加される。オブジェクトの現在ロケーションが既存の経路とマッチングしない場合、新しい一意の経路ＩＤを有する新しい経路が作成される。
【0042】
［００５３］例示的な実施形態において、センサユニット１０１は、経路をクラウドコンピュータ１０３または他のセンサユニット１０１に送信する。各反復の後に、規則的な間隔で（例えば、１分ごとに）、または経路が完了したとセンサユニット１０１が決定すると、経路は送信されてもよい。オブジェクトが予め定められた期間の間検出されなかった場合、または経路がセンサユニットの視野からオブジェクトを取り出した場合、経路は完了したと見なされる。完了決定は、センサユニットの代わりにクラウドコンピュータによって行われてもよい。
【0043】
［００５４］センサユニット１０１は、経路データを、ＨＴＴＰを通してウェブＡＰＩへのＪＳＯＮテキストオブジェクトとしてクラウドコンピュータ１０３に送信してもよい。他の送信方法（例えば、ＭＱＴＴ）を使用することができる。送信されるオブジェクトは、テキストベースである必要はない。
【0044】
［００５５］座標変換
【0045】
［００５６］図１０は、実空間におけるオブジェクトのポジションを決定するための例示的な方法を図示する。検出モジュール６０１は、畳み込みニューラルネットまたは同様のオブジェクト検出器を使用して、境界ボックスを交差点中のオブジェクト上に配置し、オブジェクトが境界ボックス内で地面に接触する点を検出する。境界ボックスは、下縁、第１の垂直縁および第２の垂直縁を有する。検出モジュール６０１は、ホモグラフィ変換を使用して、オブジェクトが地面および境界ボックスに接触する点を実世界座標に変換する。
【0046】
［００５７］次に、検出モジュール６０１は、畳み込みニューラルネットを使用して、オブジェクトが地面に接触し、オブジェクト境界ボックスの下縁の近くにある点Ａを位置付ける。次いで、検出モジュール６０１は、オブジェクトが地面に接触し、オブジェクト境界ボックスの第１の垂直縁の近くにある点Ｂを位置付ける。第１および第２の点が識別されると、それらの間に線が引かれる。点Ａと交差し、第１の線に垂直な第２の線が引かれる。点Ｃは、第２の線および第２の垂直縁と交差する。点Ａ、ＢおよびＣは、オブジェクトのベースフレームを定義する。実空間におけるオブジェクトのポジションは、ベースフレーム上の任意の点である。
【0047】
［００５８］経路マージ
【0048】
［００５９］第１の交差点から第２の交差点までオブジェクトを追跡するための例示的な方法が図１１に図示されている。センサユニットによって生成された各経路は、クラウドコンピュータまたは近くのセンサユニットと共有される。この情報を用いて、クラウドコンピュータまたは他の近くのセンサユニットは、第１のセンサユニットから第２のセンサユニットへの経路をマージすることができる。
【0049】
［００６０］上述したように、オブジェクトの経路は、交差点を通過する間に追跡される。追跡は時間ｔ１で開始する。以下のステップは、第１のセンサユニットおよび第２のセンサユニットからの経路をマージするクラウドコンピュータを説明するが、プロセスは、集中型クラウドコンピュータなしでセンサユニットのネットワークに適用できる。センサユニットまたはセルの地面上の視野は、六角形、正方形または任意の正多角形としてモデル化される。オブジェクト予測ポジションは、一定速度モデルを使用して、リカレントニューラルネットワークまたは時系列予測の他の同様の方法を使用して、決定される。オブジェクトのポジションは、オブジェクトの最後の既知のポジションと他の同様に分類されたオブジェクトの履歴経路とに基づいて予測される。
【0050】
［００６１］クラウドコンピュータは、ＡＰＩまたはメッセージブロッカー１１２を介してインターネットゲートウェイ１１１においてセンサユニットからデータを受信することによって経路をマージするプロセスを開始する。センサイベントストリーム１１３は、クラウドコンピュータに送信される、それらの一意の経路ＩＤを含む、オブジェクトアイデンティティおよびポジションのシーケンスである。クラウドコンピュータ中の追跡完了モジュール１１４は、交差点中の経路を監視する。追跡予測モジュール１１５は、上述のプロセスに基づいてオブジェクトの次のロケーションを予測する。第１のオブジェクトの予測されたロケーションが時間ｔｎにおいて第１のセンサユニットの視野の外側にあるとき、オブジェクトの予測されたロケーションを含む隣接する監視される交差点がない場合、経路は完了する。完了した経路は、追跡データベース１１７に記憶される。
【0051】
［００６２］第１のオブジェクトの予測されたロケーションを含む監視された第２の交差点が存在する場合、クラウドコンピュータは、マージするための関係付けられた経路を有する第２のオブジェクトを検索する。第１の交差点からの第２のオブジェクトおよび第１のオブジェクトは、マージが成功するためのマッチング基準を有していなければならない。マッチング基準は、同じ分類を有する第２のオブジェクトおよび第１のオブジェクトを含み、第２のオブジェクトの追跡は、追跡予測の時間枠内で時間ｔ１とｔｎとの間で開始し、第２のオブジェクトの第１のポジションは、第１のオブジェクトの最後の既知のポジションの半径ｒ内にある。マッチング基準が満たされる場合、追跡マージモジュール１１６は、第２のオブジェクトの一意の経路ＩＤを第１のオブジェクトの一意の経路ＩＤで置き換えることによって、第１のオブジェクトを第２のオブジェクトとマージする。
【0052】
［００６３］識別情報に加えてオブジェクト外観情報を含めることによって、マージプロセスの精度が改善される。オブジェクト外観情報は、配向傾斜のヒストグラムまたは畳み込みニューラルネットワーク特徴マップを含んでいてもよい。
【0053】
［００６４］第１のオブジェクトのマッチング基準を満たす追跡されたオブジェクトが第２の交差点中にない場合、第１の経路は完了する。
【0054】
［００６５］第２の交差点中に２つ以上のオブジェクトがマッチング基準を満たす場合、類似性メトリックＤ（例えば、平均二乗距離）が、第２の交差点中のマッチング基準を満たす各オブジェクトについて計算される。予め定められた閾値を超える類似性メトリックに基づいて、第２の交差点中の複数のオブジェクトからマッチングオブジェクトが選択され、第１のオブジェクトとマージされる。
【0055】
［００６６］オブジェクト外観情報は、類似性メトリックおよび予め定められたしきい値に組み込まれてもよい。これは、３番目、４番目または後続する交差点でオブジェクトマージが試みられるときの精度を改善する。
【0056】
［００６７］予め定められたしきい値を上回る類似性メトリックを複数のマッチングオブジェクトが有する場合、最も高い類似性メトリックを有するオブジェクトが、第１のオブジェクトとマージするために選択される。高い類似性メトリックは、２つのオブジェクトが同じである可能性が高いことを示す。
【0057】
［００６８］複数のオブジェクトからマッチングオブジェクトを決定する追加の方法が存在する。選択プロセスは、相似行列を構築することによって第１および第２のオブジェクトの類似性がテストされる組合せ割当て問題として扱うことができる。マッチングオブジェクトはまた、ハンガリーアルゴリズムまたは同様のものを使用することによって決定されてもよい。
【0058】
［００６９］例示的な実施形態では、異なる交差点からの第１のオブジェクトと第２のオブジェクトとをマージするプロセスは、対話式に実行され、任意の数のセンサユニットが監視する交差点にわたる第１のオブジェクトのための経路をもたらす。
【0059】
［００７０］いくつかの実施形態では、開示される方法は、機械読取可能フォーマットで非一時的コンピュータ読取可能記憶媒体上に、または他の非一時的媒体もしくは製造品上に符号化されたコンピュータプログラム命令として実現されてもよい。いくつかの例では、信号伝達媒体は、限定はしないが、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、メモリなどのコンピュータ読取可能媒体を包含してもよい。いくつかのインプリメンテーションでは、信号伝達媒体は、限定はしないが、メモリ、読取り／書込み（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ ＤＶＤなどのコンピュータ記録可能媒体を包含してもよい。いくつかのインプリメンテーションでは、信号伝達媒体は、限定はしないが、デジタルおよび／またはアナログ通信媒体（たとえば、光ファイバケーブル、導波管、ワイヤード通信リンク、ワイヤレス通信リンクなど）などの通信媒体を包含してもよい。したがって、例えば、信号伝達媒体は、通信媒体のワイヤレス形態によって搬送されてもよい。
【0060】
［００７１］非一時的コンピュータ読取可能媒体はまた、互いから遠隔に位置付けられてもよい複数のデータ記憶要素の間で分散されてもよい。記憶された命令の一部または全部を実行するコンピューティングデバイスは、センサユニットであってもよい。代替的に、記憶された命令の一部または全部を実行するコンピューティングデバイスは、クラウドコンピュータなどの別のコンピューティングデバイスであってもよい。
【0061】
［００７２］（図面を含む）この説明は、いくつかの例示的な実施形態の代表にすぎないことを理解されたい。読者の便宜のために、上記の説明は、すべての可能な実施形態の代表的なサンプル、および本開示の原理を教示するサンプルに焦点を合わせている。説明は、全ての可能なバリエーションを網羅的に列挙することを試みていない。代替の実施形態が本開示の特定の部分について提示されていない場合があること、またはさらなる説明されていない代替の実施形態が部分について利用可能であってもよいことは、それらの代替の実施形態の放棄と見なされるべきではない。当業者は、これらの記載されていない実施形態の多くが、請求項中に記載されているような本開示の同じ原理を組み込み、他のものは同等であることを理解するであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】