知財求人 - 知財ポータルサイト「IP Force」
▶ ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーの特許一覧
特許7495384トップビューセンサデータを用いた交通推定を向上させるための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-27
(45)【発行日】2024-06-04
(54)【発明の名称】トップビューセンサデータを用いた交通推定を向上させるための方法およびシステム
(51)【国際特許分類】
G08G 1/01 20060101AFI20240528BHJP
G08G 1/00 20060101ALI20240528BHJP
【ＦＩ】
G08G1/01 C
G08G1/00 A
【請求項の数】
15
【外国語出願】
(21)【出願番号】P 2021175562
(22)【出願日】2021-10-27
(65)【公開番号】P2022074068
(43)【公開日】2022-05-17
【審査請求日】2022-10-17
(31)【優先権主張番号】17/084,652
(32)【優先日】2020-10-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503113186
【氏名又は名称】ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー
【氏名又は名称原語表記】Ｈｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】フラーデ，ベネディクト
(72)【発明者】
【氏名】アイネッケ，ニルス
【審査官】白石 剛史
(56)【参考文献】
【文献】特開２０１７－０７３０２３（ＪＰ，Ａ）
【文献】特開２０２０－１６０９３９（ＪＰ，Ａ）
【文献】特開２００５－０５６１８６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／０１
Ｇ０８Ｇ １／００
(57)【特許請求の範囲】
【請求項1】
拡張交通データに基づいて、交通インフラストラクチャデバイスおよび交通参加者のアクチュエータのうちの少なくとも一方を制御するための方法であって、前記方法は、トリガプロセッサ（２）によってエリアを監視することと、
監視する前記エリアである監視エリアにおいてトリガイベントが特定される場合、前記トリガプロセッサ（２）によってトリガデータ（７）を生成し（Ｓ１）、関心エリアを示す前記生成されたトリガデータ（７）を画像データソースに提供することであって、前記関心エリアは前記監視エリアの一部分を含むことと、
前記送信されたトリガデータ（７）に基づいて前記関心エリアにおける航空画像または衛星画像を含む画像データ（８）を取得し（Ｓ２）、前記取得された画像データ（８）を、幾何学的に補正またはオルソ補正して、地形の起伏、レンズの歪みおよびカメラの傾きについて調製し、地表面を正確に表現する画像とし、補正した画像データ（８）を画像データストリームとして連続して交通評価プロセッサ（４）に送信することと、
前記交通評価プロセッサ（４）によって、受信された画像データ（８）を評価して（Ｓ４）、前記関心エリアにおける拡張交通データを生成すること（Ｓ５）と、
前記交通評価プロセッサ（４）によって、前記生成された拡張交通データを制御信号（１０）において出力すること（Ｓ６、Ｓ７）であって、前記制御信号（１０）は、前記交通インフラストラクチャデバイスおよび／または前記交通参加者の前記アクチュエータを制御するように構成されることと、
を含む、方法。
【請求項2】
前記取得された画像データ（８）は、カメラ画像、レーダ画像、マルチスペクトル画像、およびポイントクラウドのうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項3】
前記トリガデータ（７）を生成すること（Ｓ１）は、ＴＭＣデータ、災害または気象警報、少なくとも１つの交通インフラストラクチャデバイスによって入手されたテレメトリデータ、および前記監視エリア内のモバイル無線デバイス上のデータのうちの少なくとも１つに基づく、請求項１または２に記載の方法。
【請求項4】
テレメトリデータおよび／または前記監視エリア内のモバイル無線デバイス上のデータに基づいて前記トリガデータ（７）を生成すること（Ｓ１）は、平均交通密度値または平均速度値のうちの少なくとも１つを計算することを含む、請求項３に記載の方法。
【請求項5】
前記トリガイベントは、交通渋滞、事故、緊急呼、工事現場、気象現象、自然災害、のうちの少なくとも１つを含むか、または前記トリガイベントは、所定の交通密度値からの、前記計算された平均交通密度値の差が、所定の交通密度閾値を超えている場合に特定されるか、または
前記トリガイベントは、所定の平均速度値からの、前記計算された平均速度値の差が、所定の速度閾値を超えている場合に特定される、請求項４に記載の方法。
【請求項6】
補完情報プロバイダ（６）から補完情報（１２、１３）を取得すること（Ｓ３）であって、前記補完情報（１２、１３）は、特に、前記監視エリアにおけるマップデータを含み、前記トリガデータ（７）は、前記特定されたトリガイベントおよび前記取得された補完情報（１３）に基づいて生成されること、ならびに／または前記取得された補完情報（１２）に基づいて、前記取得された画像データ（８）を前処理することを含む、前記取得された画像データ（８）を評価すること（Ｓ４）、
を更に含む、請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記取得された画像データ（８）を評価すること（Ｓ４）は、前記交通評価プロセッサ（４）によって、前記取得された補完情報（１２）を用いて、前記関心エリアにおける前記取得された画像データ（８）の評価を制限することを含む、
請求項６に記載の方法。
【請求項8】
前記取得された画像データ（８）を評価すること（Ｓ４）は、前記交通評価プロセッサ（４）によって、前記取得された補完情報（１２）を用いて、前記関心エリアにおける交通ルート上の前記画像データ（８）の評価を制限することを含む、請求項６または７に記載の方法。
【請求項9】
前記取得された画像データ（８）を評価すること（Ｓ４）は、前記交通評価プロセッサ（４）によって、前記取得された補完情報（１２）に含まれる路地図データを用いて、車線単位で前記画像データ（８）を評価することを含む、請求
項６から８のいずれか一項に記載の方法。
【請求項10】
前記取得された画像データ（８）を評価すること（Ｓ４）は、前記交通評価プロセッサ（４）によって、前記取得された補完情報（１２）、特に道路地図データを用いて、車両のロケーションに基づいて駐車車両と運転車両とを区別することを含む、請求項６から９のいずれか一項に記載の方法。
【請求項11】
前記取得された画像データ（８）を評価すること（Ｓ４）は、前記交通評価プロセッサ（４）によって、前記画像データ（８）から特徴を抽出し、前記抽出した特徴に基づいて、前記取得された補完情報（１２）および前記画像データ（８）を位置合わせすることを含む、請求項６から１０のいずれか一項に記載の方法。
【請求項12】
コンピュータ可読プログラム命令が記憶された非一時的コンピュータ可読記録媒体であって、前記命令は、コンピュータまたはデジタル信号プロセッサによって実行されると、前記コンピュータまたはデジタル信号プロセッサに、拡張交通データに基づいて、交通インフラストラクチャデバイスおよび交通参加者のアクチュエータのうちの少なくとも一方を制御するための方法を実行させ、前記方法は、トリガプロセッサ（２）によってエリアを監視するステップと、
監視する前記エリアである監視エリアにおいてトリガイベントが特定される場合、前記トリガプロセッサ（２）によってトリガデータ（７）を生成し（Ｓ１）、関心エリアを示す前記生成されたトリガデータ（７）を画像データソースに提供するステップであって、前記関心エリアは前記監視エリアの一部分を含む、ステップと、
前記送信されたトリガデータ（７）に基づいて前記関心エリアにおける航空画像または衛星画像を含む画像データ（８）を取得し（Ｓ２）、前記取得された画像データ（８）を幾何学的に補正またはオルソ補正して、地形の起伏、レンズの歪みおよびカメラの傾きについて調製し、地表面を正確に表現する画像とし、補正した画像データ（８）を画像データストリームとして連続して交通評価プロセッサ（４）に送信するステップと、
前記交通評価プロセッサ（４）によって、受信された画像データ（８）を評価して（Ｓ４）、前記関心エリアにおける拡張交通データを生成する（Ｓ５）ステップと、
前記交通評価プロセッサ（４）によって、前記生成された拡張交通データを制御信号（１０）において出力する（Ｓ６、Ｓ７）ステップであって、前記制御信号（１０）は、前記交通インフラストラクチャデバイスおよび／または前記交通参加者の前記アクチュエータを制御するように構成される、ステップと、
を含む、非一時的コンピュータ可読記録媒体。
【請求項13】
拡張交通データに基づいて、交通インフラストラクチャデバイスおよび交通参加者のアクチュエータのうちの少なくとも一方を制御するためのシステムであって、前記システムは、エリアを監視し、監視する前記エリアである監視エリアにおいてトリガイベントが特定される場合、トリガデータ（７）を生成し、関心エリアを示す前記生成されたトリガデータ（７）を画像データソース（３）に提供するように構成されたトリガプロセッサ（２）であって、前記関心エリアは前記監視エリアの一部分を含む、トリガプロセッサ（２）と、
前記トリガデータ（７）に基づいて前記関心エリアにおいて捕捉デバイスによって捕捉された航空画像または衛星画像を含む画像データ（８）を取得し、前記取得された画像データ（８）を、幾何学的に補正またはオルソ補正して、地形の起伏、レンズの歪みおよびカメラの傾きについて調製し、地表面を正確に表現する画像とし、補正した画像データ（８）を画像データストリームとして連続して交通評価プロセッサ（４）に送信するように構成された前記画像データソース（３）と、
前記画像データ（８）を評価して前記関心エリアにおける拡張交通データを生成するように構成された前記交通評価プロセッサ（４）と、
前記生成された拡張交通データを制御信号（１０）において出力するように構成された出力デバイスであって、前記制御信号（１０）は、前記交通インフラストラクチャデバイスおよび／または前記交通参加者の前記アクチュエータを制御する、出力デバイスと、
を備える、システム。
【請求項14】
前記捕捉デバイスは、衛星（１９）、飛行体、特に航空機もしくは無人航空機のうちの少なくとも１つに配置されるか、または高層ビルに取り付けられる、請求項１３に記載のシステム。
【請求項15】
前記交通評価プロセッサ（４）は少なくとも１つの中央サーバを備える、請求項１３又は１４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、交通推定、ならびに交通インフラストラクチャおよび車両の制御の分野に関する。特に、空中または空間ベースの撮像デバイスから動的に入手された画像データを用いて交通密度を推定するための方法およびシステムが提示される。
【背景技術】
【0002】
より一層動的で渋滞した交通環境では、現在の交通状況の正確な推定および予測がより一層重要なタスクとなる。交通インフラストラクチャ、例えば交通信号灯等を制御し、動的車線割り当てを行うために、正確な交通密度推定および予測が重要となる。
【0003】
従来、特定の交通インフラストラクチャデバイス、例えば、誘導ループ、カメラ、レーダデバイスが、交通参加者の速度を測定し、選択された関心点における交通密度を推定する。この情報は高い精度を呈するが、関与するかなりのコストに起因して、道路インフラストラクチャにおける数箇所の重大な位置においてまばらにしか利用可能でない。
【0004】
最近では、スマートフォン等のモバイルデバイスの広域分布を利用して、モバイルデバイスの位置情報によって交通密度を推定するための大規模データ基盤が提供される。交通密度の特定は、スマートフォン等のモバイルデバイスの測定値に間接的に基づいて実行することができる。より詳細には、複数（「一群」）のモバイルデバイスにおけるＧＮＳＳまたは類似の位置特定デバイスを用いて、道路上のエージェントの位置および速度等の微視的特徴を特定することができる。モバイルデバイスの特定された位置および速度を利用することによって、交通密度等の巨視的特徴を推論することが可能になる。
【0005】
しかしながら、交通密度のそのような間接的推定は誤差を生じやすい。１つの潜在的誤差要因は、複数の乗客、このため複数のモバイルデバイスを伴う車両が、複数の車両として誤って解釈されることである。更に、最新の位置情報は、そのようなテレメトリデータを道路の個々の車線にロバストに関係付けるのに十分正確でない。しかしながら、交通信号灯等の道路インフラストラクチャデバイスを制御するとき、または交通ベースの自律車両ナビゲーションを行うとき、精密な測定が特に重要である。
【0006】
米国特許第９，４０１，０８６号は、交通流の変化を検出するためにモバイルデバイスデータを用いる技法を開示している。交通密度の変化の検出は、中でも、衛星から取得されたデータを用いて拡張することができる。特に、交通量の変化を検出するために、衛星画像が基準画像と比較されることが特許請求されている。しかしながら、衛星画像の画像処理は、特に結果がほぼリアルタイムで提供されるとき、膨大な処理リソースを必要とする。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開示の目的は、交通密度を推定し、動的交通環境において交通インフラストラクチャおよび車両を制御するための、改善したより効率的な手法を提供することである。
【課題を解決するための手段】
【0008】
本開示は、本開示の第１の態様による方法、第２の態様によるプログラム、および第３の態様によるシステムを提供する。
【0009】
本開示の第１の態様は、拡張交通データに基づいて交通インフラストラクチャデバイスまたは交通参加者のアクチュエータのうちの少なくとも一方を制御するための方法に関し、この方法は、トリガプロセッサによって、交通環境内のエリアを監視することを含む。トリガプロセッサは、監視エリアにおいてトリガイベントが特定される場合、トリガデータを生成し、関心エリアを示す生成されたトリガデータを画像データソースに提供する。関心エリアは、監視エリアの少なくとも一部分を含む。方法は、送信されたトリガデータに基づいて関心エリアにおける画像データを取得することによって進行し、入手した画像データを交通評価プロセッサに送信する。交通評価プロセッサは、画像データを評価して、関心エリアに関する拡張交通データを生成し、生成された拡張交通データを制御信号において出力する。制御信号は、交通インフラストラクチャデバイスを制御し、かつ／または交通参加者のアクチュエータを制御するように構成される。
【0010】
本開示によれば、測定による交通密度の直接的な推定が達成可能になる。特に、単一の車両内に位置する複数の人物、および人物の対応するモバイルデバイスは、交通密度推定に影響を及ぼさない。加えて、モバイルデバイスの位置情報の精度と比較して、画像データの位置精度が増大することに起因した、車両のより正確なロケーション測定により、例えば、道路の個々の車線に車両を正しく配分することで、交通密度推定が改善する。
【0011】
これらの利点は、道路に沿った固定のテレメトリデバイスインフラストラクチャのコストを負担する必要なく達成される。本発明の手法は、例えば、衛星ベースのセンサまたは自律型無人航空機（ＵＡＶ）からのトップビュー画像データの利用可能性が増大することから利益を受ける。航空機および低地球軌道衛星は、少なくともピクセルあたり３０～５０ｃｍの分解能でトップビュー画像を捕捉することができる。この分解能は、個々の車両を他の物体と区別するのに十分である。トップビューセンサデータを利用することは、交通予測を大幅に向上させるための方法を提供することを可能にする。
【0012】
この方法の利点は、交通密度推定の精度が単に改善されることを超える。大量の画像データ、例えば広域、都市または領域からの画像ストリームの入手および処理は、同時に、大きな処理および送信能力を必要とするため、本方法は、トリガの概念を利用して、交通流のより正確な分析が車両または交通を制御するために通常有利になるロケーションおよび時点を効率的に識別し、選択する。これは、例えば、交通メッセージチャネル（ＴＭＣ）、測候所の予報もしくは警告、または更には個々の道路ユーザに基づいて生成することができるトリガデータに基づいて行うことができる。例えば、重大であるかまたは分析が重要であると識別された特定のロケーションにおいて、トップビューセンサデータ等の画像データが、捕捉デバイス、例えばカメラセンサまたはレーダセンサによって衛星またはＵＡＶにおいて動的に捕捉され、巨視的レベルで分析され、更には、車線レベルの分解能を達成し、結果として拡張交通情報が得られる。
【0013】
本開示により、生成された拡張交通データから、交通ルート、または道路の個々の車線の遮断、道路容量の低下または交通ルートの変更（変化）を推論することが可能である。
【0014】
本開示との関連で、「車両」という用語は、道路車両に制限されず、「交通」という用語は、自動車の道路交通に制限されず、「ルート」という用語は道路（街路）に制限されない。本方法の有利な適用分野は、他の陸上車両、航空交通シナリオにおける航空交通ルート上の飛行機等の飛行体、航路上の船舶等の海上車両、または例えば州立公園内のハイキング路上のハイカー等の他のエージェントもカバーする。
【0015】
アクチュエータは、拡張交通データを用いて、拡張交通情報に基づいて車両の運転者に対しディスプレイ上に出力を生成することができる。
【0016】
例示的な実施形態による方法における取得された画像データは、カメラ画像、レーダ画像、マルチスペクトル画像、およびポイントクラウドのうちの少なくとも１つを含む。
【0017】
カメラ画像はＲＧＢ画像とすることができるが、ＲＧＢ画像に限定されない。
【0018】
画像データの挙げられた例は、有利には、広域にわたって高い画像分解能を提供する。このため、取得された画像データは、例えばモバイルデバイスに基づいて取得された位置データに依拠する既知の手法をはるかに超える相応する高い精度で交通データを推定することを可能にする。カメラセンサによって入手された画像データ（センサデータ）が、高い分解能を提供し、このため高いロケーション精度を提供するのに対し、レーダセンサは、悪い気象条件下で画像データを提供することができる。したがって、異なるセンサタイプを組み合わせたセンサ一式から発せられる画像データは、本方法のための追加の利点を明らかにすることができる。
【0019】
有利な例示的な実施形態のトリガデータを生成することは、ＴＭＣデータ、災害または気象警報、少なくとも１つの交通インフラストラクチャデバイスによって入手されたテレメトリデータ、および監視エリア内のモバイル無線デバイス上のデータのうちの少なくとも１つに基づく。
【0020】
トリガプロセッサは、トリガイベントが発生するか否かを判断するために容易に利用可能な入力データに依拠する。この入力データは、一方では、限られた処理リソースしか必要とせずに処理することができ、拡張交通データを生成し、それに基づいてアクチュエータを制御するために、画像データのより詳細な評価が有利となるか否か、それがいつ、どのロケーションにおけるものであるかを判定することを可能にすることができる。トリガイベントは、監視エリアにおける現在の交通流または予測交通流に影響を与える推定イベントとすることができる。トリガイベントは、例えば、推定される交通渋滞、発表された工事現場、または高風速を予測する雷雨警報とすることができる。
【0021】
テレメトリデータおよび／または監視エリア内のモバイル無線デバイス上のデータに基づいてトリガデータを生成することは、平均交通密度値または平均速度値のうちの少なくとも一方を計算することを含むことができる。
【0022】
例示的な実施形態において、トリガイベントは、所定の交通密度値からの、計算された平均交通密度値の差が、所定の交通密度閾値を超えている場合に特定される。
【0023】
平均値を計算することは、計算効率が良く、同時に、画像データのより詳細な分析が、現在の交通シナリオについての重大な交通データおよび／または監視エリアにおける交通の進展の予測をもたらすか否かを確実に判定することを可能にする。
【0024】
例示的な実施形態において、トリガイベントは、交通渋滞、事故、緊急呼、工事現場、気象現象、および自然災害のうちの少なくとも１つを含むことができる。
【0025】
トリガイベントの挙げられた例は、各々、結果として、交通における追加のデータ、特に高精度で現実性を有する交通密度推定が、ルート計画および車両の作動にとっての利点を提供することができる交通シナリオをもたらすことができる。
【0026】
例示的な実施形態による方法は、補完情報プロバイダから補完情報を取得するステップを含み、補完情報は、特に、監視エリア上の地図データを含む。次に、トリガデータを、特定されたトリガイベントおよび取得された補完情報に基づいて生成することができる。
【0027】
画像データを評価するステップにおける交通流の分析について、方法は、例えば、内蔵のグローバルナビゲーション衛星システム（ＧＮＳＳ）受信機によって生成されたテレメトリ情報を提供しているモバイルフォンとしての補完的ソースからのデータを含むことができる。補完情報として入手されたこの追加データは、監視エリアにおける重大なエリアを特定することを可能にし、これにより、関心エリアを更に限定することが可能になり、このため、必要とされる処理能力が更に大幅に低減される。道路地図データ等の補完情報は、処理を、取得された画像データ内の道路エリアを表す部分のみに限定することを可能にする一方で、画像データの他の部分は、交通密度推定のタスクに関連する情報を何ら保持してないものとして無視することができる。それでもなお、補完情報は、方法を実行するときに任意選択である。方法は、補完データプロバイダからの追加の補完情報が利用可能でないか、または捕捉デバイスからの画像データを評価することによる交通流分析に用いられない場合であっても、有利な結果を達成する。
【0028】
例示的な実施形態において、取得された画像データは、取得された補完情報に基づいて、取得された画像データを前処理することを含む。
【0029】
例示的な実施形態において、交通評価プロセッサは、取得された補完情報を用いて、関心エリアにおける画像データの評価を制限することができる。
【0030】
好ましくは、交通評価プロセッサは、取得された補完情報を用いて、関心エリアにおける交通ルート上の画像データの評価を制限することを含めて、画像データを評価する。
【0031】
このため、補完情報は、取得された画像データを目下のタスクの関連部分に縮約することによって、画像データを評価する最も複雑な処理ステップにおいて処理リソースを効率的に用いることを可能にする。
【0032】
例示的な実施形態において、画像データを評価するステップは、交通評価プロセッサが、取得された補完情報に含まれる道路地図データを用いて車線レベルの精度で画像データを評価することを含む。
【0033】
最新の位置情報は、個々の車線上の車両をロバストに位置特定するのに十分正確でない。本方法は、トリガデータを用いて動的方式で画像データを含めることによって、車線レベルの交通密度推定を可能にする。これと対照的に、道路インフラストラクチャデバイスからの測定値もほとんどの場合に車線レベルの精度を示すが、既存の道路インフラストラクチャでは数箇所の重大な位置においてまばらにしか利用可能でなく、大きなインフラストラクチャ投資を必要とするが、車線レベルの精度に対する定常的な改善しか達成しない。
【0034】
実施形態による方法は、評価するステップにおいて、交通評価プロセッサが、取得された補完情報、特に道路地図データを用いて、車両のロケーションに基づいて駐車車両と運転車両とを区別することを含む。
【0035】
地図データを含む補完情報は、一方で、移動中の車両の車線と駐車車両の車線とを区別することを可能にし、それによって、また一方で本質的に静的な画像データを誤って解釈することを回避し、同時に、評価ステップにおいて交通分析を実行するときに処理されなくてはならない画像データを更に低減する。
【0036】
画像データを評価することは、例示的な実施形態において、車両を検出することと、異なる車両タイプ（車両クラス）に従って、検出した車両を分類することとを含むことができる。車両タイプは、乗用自動車、オートバイ、バス、トラック、小型商業車、公共交通機関を含むことができる。そのような分類は、例えば、生成された拡張交通データに基づいて車両の特定のクラスに車線を動的に割り当てるために、交通制御における追加の利点を提供することができる。
【0037】
交通評価プロセッサによって実行される評価ステップは、画像データから特徴を抽出し、抽出した特徴に基づいて、取得された補完情報を画像データと位置合わせすることを含むことができる。
【0038】
取得された画像データは、特徴抽出、および補完情報、特に道路地図との特徴の位置合わせにより、複数の独立したデータソースからのデータを組み合わせることに起因した、精度が増大した交通評価を可能にする。
【0039】
第２の態様において、プログラムは、プログラムがコンピュータまたはデジタル信号プロセッサにおいて実行されているとき、先行する例示的な実施形態のうちの任意のものによるステップを実行するためのプログラムコード手段を含む。
【0040】
第３の態様による、生成された拡張交通データに基づいて、交通インフラストラクチャデバイスまたは交通参加者のアクチュエータのうちの少なくとも一方を制御するためのシステムは、エリアを監視し、監視エリアにおいてトリガイベントが特定される場合にトリガイベントを生成し、関心エリアを示す生成されたトリガデータを画像データソースに提供するように構成されたトリガプロセッサを備える。関心エリアは、監視エリアの一部分を含む。システムは、トリガデータに基づいて関心エリアにおける画像データを入手するように構成された画像データソースを更に備え、画像データは捕捉デバイスによって捕捉される。取得された画像データは、システムの交通評価プロセッサへの送信データである。交通評価プロセッサは、画像データを評価して、関心エリアにおける拡張交通データを生成するように構成される。システムは、生成された拡張交通データを制御信号において出力するように構成された出力デバイスも備える。制御信号は、生成された拡張交通データに基づいて、交通インフラストラクチャデバイスを制御し、かつ／または交通参加者のアクチュエータを制御するように構成される。
【0041】
例示的な実施形態によれば、捕捉デバイスは、衛星または飛行体、特に無人航空機（ＵＡＶ）もしくは航空機のうちの少なくとも１つに配置されるか、または高層ビルに取り付けられる。
【0042】
捕捉デバイスのための航空ベースまたは空間ベースのセンサプラットフォームは、トップビューの視点から画像データを入手する能力を提供する。レーダセンサまたはカメラセンサによって入手されたトップビュー画像データ、好ましくは前処理された画像データは、交通評価、およびそこから生成された拡張交通データに基づくトラフィックインフラストラクチャまたは車両のアクチュエータの制御の目的で最も有利な詳細を提供する。
【0043】
例示的な実施形態による交通評価プロセッサシステムは少なくとも１つの中央サーバを備える。
【0044】
拡張交通データを生成することによって方法を実行するときの処理タスクの分布は、画像データおよび画像データストリームを評価することを含む。画像データの処理は、大きな処理リソースを必要とする。例示的な実施形態によるシステムは、拡張交通データを生成するための処理リソースを提供する１つまたは複数の集中型サーバにおける関心エリアにおける画像データを評価することによって実施される。
【0045】
ここで、本開示が、添付の図面を参照してより詳細に説明される。
【図面の簡単な説明】
【0046】
【図1】本開示の例示的な実施形態によるシステムにわたる概観を示す図である。
【図2】本開示の例示的な実施形態によるトリガの例を示す図である。
【図3】本開示の例示的な実施形態による衛星データの画像処理のための関心エリアの特定を示す図である。
【図4】本開示の例示的な実施形態による方法の一連の処理ステップを示すフローチャートを提示する図である。
【図5】本開示の例示的な実施形態における道路交通シナリオを示す例示的な画像データの処理を示す図である。
【図6】本開示の例示的な実施形態における例示的な道路交通シナリオを示す図である。
【図7】本開示の例示的な実施形態における道路車線レベルにおける例示的な道路交通シナリオを示す図である。
【図8】本開示の例示的な実施形態における画像データのセグメンテーションを示す図である。
【発明を実施するための形態】
【0047】
同じまたは対応する特徴は、図において同じ参照符号で表される。
【0048】
図１は、本発明の例示的な実施形態を実施するシステム１にわたる概観を示す。図１は、拡張交通データに基づいて交通インフラストラクチャデバイスまたは車両を制御するためのシステムの主要構成要素、および道路交通シナリオにおけるその実装を示す。
【0049】
交通インフラストラクチャデバイスまたは車両を制御するためのシステム１は、動的に取得された画像データ、例えば、衛星画像、航空画像またはＵＡＶ画像を処理する手法を実施して、アクチュエータ５を制御する、例えば車両または交通信号灯等の少なくとも１つの動的交通標識を制御するための、拡張交通データの形態の交通関連情報を生成する。
【0050】
システム１は、機能に対応する構成要素に構造化することができる。トリガプロセッサ２は、画像データを取得しかつ／または画像を捕捉し、処理を開始するためのトリガデータ７を生成する。捕捉デバイス３は、画像データ８を捕捉し、画像データ８を評価プロセッサ４に提供する。評価プロセッサ４は、取得された画像データ８に対し分析（評価）を実行する。画像データ８の分析により拡張交通データが提供される。補完データプロバイダ６は、補完データ１３をトリガプロセッサ２に提供して、トリガデータ７の生成をサポートし、補完データ１３を評価プロセッサ４に提供して、画像データ８の評価をサポートする。アクチュエータ５は、評価プロセッサ４からの制御信号１０において、評価プロセッサ４によって生成された拡張交通データを取得し、取得された拡張交通データに基づいて交通環境において動作する。トリガプロセッサ２、評価プロセッサ４および補完データプロバイダ６は、１つまたは複数のコンピュータサーバ上で実行されるソフトウェアにおいて実装することができる。
【0051】
システム１は画像データ８を用いる。捕捉デバイス３は画像データ８を捕捉する。捕捉デバイス３は、ＵＡＶ、航空機または衛星に配置された、カメラセンサ、レーダセンサ、マルチスペクトルセンサのうちの少なくとも１つを備えることができる。したがって、捕捉デバイス３は、地上エリア（カバレッジエリア、監視エリア）からのトップビュー画像および現在の交通シナリオを捕捉するために適切に配置される。捕捉デバイス３は、画像を画像データ８として提供する。画像データ８は、センサデータまたは好ましくは前処理されたセンサデータを含む。画像データ８は、デジタルオルソフォトを含むことができる。
【0052】
オルソフォトは、幾何学的に補正またはオルソ補正された航空画像または衛星画像を含むことができ、それによって、オルソフォトのスケールはオルソフォトにわたって均一となる。画像は所与の地図投影に従う。補正されていない航空画像と対照的に、オルソフォトは、例えば、元の捕捉されたセンサデータを処理することによって、地形の起伏、レンズの歪みおよびカメラの傾きについて調製された地表面の正確な表現であるため、真の距離の測定を可能にする。
【0053】
好ましくは、画像データ８は、衛星からのオルソ補正された画像としてデジタルオルソフォトを含む。この文脈において、オルソ補正とは、画像データ８の幾何学的補正を指す。
【0054】
捕捉デバイス３は、画像を捕捉し、捕捉画像を含む画像データ８を画像データストリームとして連続して提供することができる。例示的な実施形態において、捕捉デバイス３は画像を捕捉し、画像データ８を需要に応じて、例えばトリガプロセッサ４からのトリガデータ７によってトリガされるのに応じて提供する。例示的な実施形態において、捕捉デバイス３は、評価プロセッサ４からの要求に応じて、例えば、評価プロセッサ４によって生成および提供される更なるトリガデータ９によってトリガされるのに応じて画像データ８を提供する。
【0055】
捕捉デバイス３によって提供される画像データ８における画像の分解能は、画像データ８におけるオートバイまたは自動車等の交通エンティティを確実に検出するために十分であるべきである。好ましくは、画像データ８の分解能は、検出された車両を区別し、別個の車両クラスに分類するのに十分である。車両の可能なクラスは、クラス「自動車」、「バス」、「トラック」、「オートバイ」を含むことができる。
【0056】
捕捉画像データ８を取得するには、適切な取得周波数およびレイテンシが必要となる。特に、捕捉デバイス３の運搬プラットフォームとして動作する複数のＵＡＶまたは衛星コンステレーションは、これらの特性をもたらす。画像データ８の更なるソースは、航空画像を提供する航空機またはヘリコプター上に配置された捕捉デバイス３を含むことができる。
【0057】
捕捉デバイス３は、画像データ８を生成するために画像処理を実行することができる。代替的にまたは加えて、評価プロセッサ４は、画像前処理タスクを実行し、特に、センサ遮蔽を考慮に入れ、かつ／またはカメラセンサが視覚画像データを提供する場合の画像歪みの影響を考慮に入れることができる。
【0058】
トリガプロセッサ２は、画像データ８を捕捉することによって画像データを取得するためのトリガデータ７と、評価プロセッサ１１における評価処理の開始のためのトリガデータ１１とを生成する。
【0059】
トリガデータ７は、捕捉デバイス３の撮像の焦点をエリア内の特定の空間ロケーションに向かって移動させることを可能にする情報を含む。エリア内のこの特定の空間ロケーションは関心エリアである。画像データ８を監視エリアのサブパートである関心エリアに制限する結果として、監視エリアにおける関心エリアと無関係のエリアを区別することによって、評価プロセッサ４における処理量が低減することになる。
【0060】
トリガデータ７、１１は、異なるタイプのトリガ、例えば１ショットトリガおよび連続トリガを含むことができる。
【0061】
１ショットトリガは、空間的に静的な情報を指すトリガまたは単一の時点におけるトリガを含む。例えば、交通メッセージチャネル（ＴＭＣ）による事故の報告、または公共団体もしくは通行する目撃者による道路工事のロケーションの報告の結果として、それぞれの１ショットトリガを含むトリガデータ７が生成される。
【0062】
ＴＭＣは、交通および走行情報を車両運転者および車両ナビゲーションシステムに送達するための技法を記述している。現在のＴＭＣ情報は、ＡＬＥＲＴ ＣまたはＴＰＥＧプロトコルを用いて、従来のＦＭラジオ、デジタルオーディオブロードキャストまたは衛星ラジオを介してブロードキャストされるＲＤＳ Ｔｙｐｅ ８Ａグループにデジタル符号化されている。したがって、ＴＭＣは、オーディオブロードキャストサービスを中断させることなく、ユーザの言語での再生または表示に適した動的情報を送達するのみでなく、関心エリアにおける交通流に影響を及ぼす特定のトリガイベントの識別および特定に起因したトリガデータ７、１１の自動生成のための情報も送達する。
【0063】
連続トリガの結果として、安定した画像データストリームが得られ、これは特定の期間にわたって監視される必要がある。これは、例えば、エリア内の複数のモバイルデバイスの移動の分析を含む。エリア内の複数のモバイルデバイスの移動に関するそのような情報は、補完データプロバイダ６によって提供される補完データ１３から導出することができる。トリガプロセッサ２によって実行される分析は、粗い道路レベルの交通密度情報を提供する。この場合、トリガプロセッサ２は、それぞれのトリガデータ８を生成し、分析により所定の分析結果が提供される場合に、トリガデータ８において要求を捕捉デバイス３に送信することによって、要求を発行することができる。そのような所定の分析結果は、粗い道路レベルの交通密度情報において計算された平均が所定の閾値を超えていることとすることができる。所定の閾値を超えていることは、監視エリアにおいて特定のトリガイベントが生じていることを定義する。このとき、生成されたトリガデータ７、１１は、この特定のトリガイベントのための対応する関心エリアについての定義を更に含む。
【0064】
複数のモバイルデバイスまたはテレメトリユニットは、補完データプロバイダ６およびトリガプロセッサ２の双方にデータを提供することができる。
【0065】
補完データプロバイダ６は、静的および／または動的補完データ１２を提供し、このデータは、基礎としての役割を果たすことによって、かつ／または補足的基準を表すことによって、評価プロセッサ４における画像データ評価処理をサポートするために用いることができる。それでもなお、捕捉デバイス３によって提供される画像データ８は、拡張交通データを生成するための主要な情報源を与える。
【0066】
静的補完データ１２、１３は、好ましくは、エリア、特に関心エリアの地図データを含むことができるが、補完データ１２、１３は地図データに限定されない。
【0067】
地図データ、特に幾何学的地図データを用いて、ジオリファレンスタスク、すなわち、道路中心ポリラインまたは道路形状ポリゴンを重ね合わせることによる、捕捉デバイス３によって提供される画像データ８の、幾何学的基準座標系への関連付けをサポートすることができる。
【0068】
更に、地図データは、画像データ８における関連する道路および車線を特定することを可能にすることができる。例示的な実施形態において、地図データは、駐車車両と、実際に運転中の車両とを区別することを可能にすることができる。実際に運転中の車両を検出するために、地図データにおいて駐車車線（駐車場）としてマーキングされたエリアは、交通分析のための個々のタスクに適する場合に無視することができる。地図データは、車線幅または車線数等のタグ付けされた情報を含むことができ、これは、評価プロセッサ４によって考慮に入れられた場合、画像データ８の処理に焦点を合わせることを更に可能にする。
【0069】
動的補完データ１２、１３は、車両内のモバイルフォン（無線電話）またはｅＣａｌｌデバイス（緊急呼）等の動的モバイルエンティティによって伝達される情報を含むことができる。この場合、これらのモバイルエンティティの位置特定デバイス、例えば衛星ナビゲーションシステムの受信機の位置情報を巨視的レベルで分析することができる。概算の交通量推定および交通密度情報の第１のソースは、その後融合することができ、画像データ８の評価結果が、拡張交通データを生成するための第２のソースとして捕捉デバイス３によって提供される。
【0070】
ｅＣａｌｌを用いることは、トリガ生成の有利な可能性である。なぜなら、モータ車両のための自動緊急呼システムは、ヨーロッパ連合によって規定され、自動車および軽商業車の全ての最近のモデルにおいて設置されているためである。ｅＣａｌｌデバイスは、交通事故を一律のヨーロッパ緊急番号に自動的に報告する。
【0071】
評価プロセッサ４は、１つまたは複数のサーバをハードウェアとして備えることができ、このハードウェア上で、入力データ、特に画像データ８、トリガデータ１１、および場合によっては交通評価タスクに従って拡張交通データを生成するための補完データ１２も処理するためのソフトウェアが実行されている。交通評価タスクは、例えば、関心エリアにおける交通流を特定することを含むことができる。交通評価タスクは、交通速度、交通密度、または関心エリアにおける交通流を記述する類似の交通関連パラメータを特定することを含むことができる。
【0072】
評価プロセッサ４は、例えば画像データ８において提供される衛星未加工画像データの処理により、位置特定データの前処理から、交通量関連パラメータの計算、例えば、関心エリア内の特定の道路セグメントにおける交通密度の計算にわたるタスクを実行することができる。評価プロセッサ４によって実行される位置特定データの前処理は、例えば車線レベルの交通密度の分析のために、画像データ８および地図データ内の対応する車線に特定の車両を配分することを含むことができる。代替的に、特定の車両（自車両）の配分は、制御信号１０において自車両のアクチュエータ５に提供される拡張交通データに基づいて自車両内の電子処理ユニットによって実行されてもよい。
【0073】
評価プロセッサ４は、宇宙の衛星上に、航空機上に、例えばＵＡＶ上に配置することができるか、または１つもしくは複数の地上ベースの静的サーバ上に配置することができる。評価プロセッサ４は、空間的に分散した方式で、または単一の場所において集中型で実装することができる。実施の決定は、特に、計算要件および信号レイテンシに関する判断基準を考慮することができる。
【0074】
アクチュエータ５は、評価プロセッサ４から制御信号１０における拡張交通データを受信するエンティティである。
【0075】
アクチュエータ５は、交通参加者の一部を形成するか、または交通参加者と同じ位置にあることができる。アクチュエータ５は、車両ナビゲーションシステムの一部を形成することができ、車両ナビゲーションシステムは、拡張交通データに基づいて、情報を生成し、車両オペレータに出力することができる。アクチュエータ５は、拡張交通データに基づいて情報を生成し、車両オペレータに出力する、トラフィック情報システムの一部、例えばＴＭＣまたは動的道路標識を形成することができる。アクチュエータ５は、自律動作車両のための、または先進運転支援システム（ＡＤＡＳ）のための制御システムに統合することができ、動的に変化する交通シナリオ内の自車両（ホスト車両）の自律ナビゲーションをサポートするように適合することができる。
【0076】
アクチュエータ５は、交通インフラストラクチャデバイス（道路インフラストラクチャデバイス）の一部を形成することができる。交通インフラストラクチャデバイスは、例えば、拡張交通データに基づいて制御される交通信号灯を含むことができる。例示的な実施形態において、アクチュエータ５は、例えば、料金収集所、国境検問所、または路側インテリジェント交通システムユニットにおいて、車線を、トラック、特定の重量クラスの小型商業車、自動車等の特定の車両クラスに動的に割り当てるように適合された交通標識を含むことができる。
【0077】
システム１の更なる潜在的受益者は、自身のスケジューリングされたルートに沿って拡張交通データに基づいて生成された情報を要求することができる交通参加者である。
【0078】
拡張交通データは、情報目的で、例えば、ユーザ警告のためにディスプレイまたは触覚ユーザインタフェースを用いるために、および／または制御目的で、例えば交通信号灯を制御するために、および／または先進運転者支援システム内で、および／または分析目的で、例えば１日または１週間等の期間にわたる時間に依存した交通量評価のために用いることができる。
【0079】
拡張交通データは、受益者によって、例えばアクチュエータ５を介したアクティブな入手により要求されてもよく、または評価プロセッサ４によって１つもしくは複数のアクチュエータ５に配信され、これによって受動取得方式を実施してもよい。
【0080】
図２は、例示的な実施形態によるトリガデータ７の生成のいくつかの例を示す。
【0081】
通常、トリガは、評価プロセッサ４に対する要求である。トリガはトリガプロセッサ２によって発行され、トリガデータ７、１１において評価プロセッサ４および捕捉デバイス３に送信される。要求は、関心エリアに関するデータを含む。関心エリアは、アクチュエータ５によって実行される交通関連タスクに関連する特定の空間ロケーションまたはエリアを定義する。トリガプロセッサ２は、連続イベント（連続トリガ）、例えばテレメトリベースの生成されたトリガ、および単一のイベントまたは定常イベント（１ショットトリガ）、例えばＴＭＣベースの生成されたトリガを検討する。
【0082】
連続トリガは、疑惑、例えば、この道路セグメントにおける潜在的交通渋滞を示唆する、道路セグメントにおける車両の異常に低い平均速度を示す場合がある。図２は、図２の中心における交差路から離れる方に延びる車線Ａ１におけるそのような潜在的な交通渋滞を示す。この潜在的な交通渋滞は、図２における車線Ａ１、Ａ２上の車両内の複数のモバイルデバイスからのデータに基づいて計算された位置特定データおよび平均車両速度を含むデータの形態で補完データプロバイダ６によって提供される補完データ１３に基づいてトリガプロセッサ３によって検出することができる。補完データプロバイダ６は、セルラ無線通信システム１８からのデータを介してこのデータを入手する。
【0083】
１ショットトリガに関して、これらは、暗黙的トリガおよび明示的トリガに分離することができる。明示的トリガは、直接定義されたイベント、例えば、道路工事現場または事故現場のロケーションを記述する。図２は、ＴＭＣ送信機１４からの補完データ１３において提供された道路工事現場に関するＴＭＣデータを示す。
【0084】
暗黙的トリガは、例えば、森林エリアに雷雨が発生し、これにより木が倒れて道路を部分的にまたは完全に塞ぐ場合がある際に間接的なヒントを提供する。図２の下側部分における測候所１５は、気象情報を含む更なる補完データ１３を提供することができる。気象情報は、トリガイベントを定義するための基礎を形成することができ、したがって、これに基づいてトリガデータ７、１１を生成するためのイベントをトリガする。
【0085】
更に、受益者は、トリガプロセッサ２によって自動的に生成されたトリガデータ７、１１において他のトリガが発行されていない場合であっても、特定のロケーションにおける交通状況をチェックするために、要求を発行し、トリガを開始することができる。図２において、自車両１７は、トリガイベントのうちの任意のものを検出することから利益を受けることができる。公共団体によって通知された道路工事現場、測候所１５からの気象データに基づいて予測された道路を遮断する倒木、およびＴＭＣ送信機１４からのデータに基づく車線Ａ１における交通渋滞。図２の自車両１７が、交差路において右に曲がることを意図する際、関心エリアは、図２を見るとき、交差点から左に延びる車線Ａ１、Ａ２に制限することができる。自車両１７のこの意図されるコースは、自車両１７内のナビゲーションシステム、または自車両１７の起動された方向指示装置からのデータに基づいて特定することができる。したがって、トリガプロセッサ２は、トリガデータ７、１１を、車線Ａ１の推定される交通渋滞のトリガイベントに対応する関心エリアに伝達することに制限することができ、倒木および道路工事現場に関する更なる潜在的トリガイベントを無視することができる。したがって、画像データ８、このため評価プロセッサ４における評価の取得は、図２における交差点から左に延びる車線Ａ１、Ａ２からなる画像データ８の部分に制限することができる。トリガの概念を用いるシステム１の有利な処理特性はすぐに明らかとなる。
【0086】
システム１の過負荷、およびシステム１に対するサービス妨害攻撃（ＤｏＳ攻撃）の成功を回避するために、システム１は、受益者によって発行された手動で生成されたトリガ要求を制限する手段を実施することができる。要求を処理するための必要な支払い等の手段、または所定の時間間隔あたりに許可される要求数を限定することにより、システム１の過負荷を阻止することを可能にすることができる。
【0087】
最も一般的なトリガは、区別することができ、連続トリガ（「何か疑惑がある」と解釈される）、暗黙的１ショットトリガ（「何かがあり得る」と解釈される）、および明示的１ショットトリガ（「確かに何かがあるが、程度または結果は不明確である」と解釈される）として解釈される。
【0088】
図３は、衛星データの画像処理のための関心エリアを特定するための例を示す。衛星１９は捕捉デバイス３を備え、画像を捕捉し、捕捉画像およびトリガデータ７に基づいて画像データ８を生成することができる。トリガデータ７は、関心エリアを定義するロケーションデータを含むことができる。したがって、捕捉画像から画像を捕捉しかつ／または画像データ８を生成するプロセスは、トリガデータ７に基づいて、衛星１９、衛星サーバ等の衛星１９の地上制御要素、または捕捉デバイス３によって制御することができる。
【0089】
画像データ８は、衛星１９によって監視されるエリア全体の一部分のみを含む関心エリアに関する画像データを含む。
【0090】
トリガデータ７、１１によって定義される関心エリアは２つの態様に関する。第１の態様において、トリガデータ７、１１におけるトリガプロセッサ２によって生成および通信されるトリガ要求は、幾何学的ロケーションまたはエリアを含み、これにより捕捉デバイス３の焦点を特定の空間ロケーション、例えば幾何学的座標における関心エリアに向けることになる。例えば、この特定の空間ロケーションの周りの定義された半径以内で、捕捉デバイス３は画像データ８を入手する。
【0091】
第２の態様において、補完データ１２、１３またはデータ処理アルゴリズムを用いて、入手した画像データ８内の制限された関心エリアを更に指定することができる。例えば、衛星画像、道路セグメンテーションアルゴリズムまたは（幾何学的地図データ）を用いて、評価プロセッサ４によって実行される評価処理を、道路エリアに対応する画像データ８に制限することができる一方で、同時に、評価タスクに無関係のエリアに対応する画像データ８を評価処理から明示的に除外することができる。例えば、駐車車線Ａは、交通流推定に無関係なエリアの例を与える。駐車車線エリアと道路車線エリアＢとのこの区別は、評価プロセッサ４による画像データ８の評価中、取得された画像における交通渋滞に嵌った車両と駐車車両との区別をサポートする。
【0092】
システム１は、交通評価のための有利な手法を実施する。拡張交通データを生成するための処理労力は、大きな無差別エリアおよびその対応する画像データの処理と比較して大幅に低減することができる。加えて、システム１は、有利な方式でデータプライバシの態様を管理することを可能にする。なぜなら、検出された車両と個人情報との直接的な関連付けがないためであり、これはこのタスクに対処するモバイルデバイスベースの、例えばスマートフォンベースのテレメトリ手法と対照的である。
【0093】
図２および図３の組み合わされた概念、特に、図２に示すトリガデータ７、１１を生成する概念、ならびに図３に関して論考した関心エリアを定義する概念は、相互作用し、特定の有利な効果をもたらす、システム１の主要要素を示す。システム１は、交通分析のタスクに特に関連する特定のロケーション（関心エリア）に対する最も複雑な処理ステップに焦点を当てながら、動的に取得されたトップビュー画像データ８、例えば衛星画像を処理し、そこから交通関連情報を導出するという着想を実施する。捕捉デバイス３は、トリガプロセッサ２からのトリガデータ７、１１により提供されるトリガを待機し、トリガデータ７、１１は関心エリアを示す。場合によっては関心エリアに焦点を当てた画像のシーケンスを含む画像データ８は、次に、衛星１９上の捕捉デバイス３によって取得され、評価プロセッサ４に渡される。
【0094】
図４は、本発明の例示的な実施形態による、拡張交通データに基づいて、交通インフラストラクチャデバイス、および交通参加者のアクチュエータのうちの少なくとも一方を制御するための方法の処理ステップのシーケンスを示すフローチャートを提示する。
【0095】
ステップＳ１において、トリガプロセッサ２はエリアを監視する。監視エリアは、複数の車両が移動しているエリアを指すことができる。トリガプロセッサ２は、トリガプロセッサ２が監視エリアにおいて発生しているトリガイベントを特定する場合、トリガデータ７、１１を生成する。トリガデータ７、１１は、特定されたトリガイベントおよび取得された補完情報１３、例えば取得された地図データに基づいて生成することができる。
【0096】
トリガプロセッサ２は、関心エリアを示す生成されたトリガデータ７を捕捉デバイス３に提供する。関心エリアは、監視エリアの一部分を含み、したがって、目下の交通評価タスクに関連する捕捉された交通シーンの部分に対し調製された画像データ、特定されたトリガイベント、およびこれに基づいて生成されたトリガデータ７を含む。
【0097】
ステップＳ２において、捕捉デバイス３は、トリガデータ７に基づいて関心エリアにおける画像データ８を取得し、取得された画像データ８を評価プロセッサ４に送信する。
【0098】
任意選択のステップＳ３において、評価プロセッサ４は、補完情報プロバイダ６から補完情報１２を取得することができる。補完情報１２は、例えば、監視エリア、特に関心エリアにおける地図データを含むことができる。
【0099】
ステップＳ４において、評価プロセッサ４は、取得された画像データ８に対し分析を実行する。特に、評価プロセッサ４は、関心エリアに対応する画像データ８を評価して、関心エリアにおける拡張交通データを生成する。
【0100】
評価プロセッサ４は取得された補完情報１２に基づいて、取得された画像データ８を前処理した後に、取得された画像データ８を評価することができる。
【0101】
評価プロセッサ４は、低詳細度の情報を有する地図データおよび／またはテレメトリデータ等の補完データ１２を潜在的に検討して、画像データ８を分析する。特に、評価プロセッサ４は、取得された画像データ８内の車両等の交通エンティティを検出するための処理を実行する。評価タスクに応じて、評価プロセッサ４は、検出された交通エンティティを、自動車、バス、トラックまたはオートバイ等の、交通エンティティの別個のクラスに分類する処理を実行することができる。
【0102】
評価プロセッサ４は、画像データ８に対し画像セグメンテーション技法を適用することができる。処理は、一時的に更新された道路コースの検出、または道路へのまたは道路からの個々の車線の追加および／または除去も含むことができる。通常、衛星画像からの地図生成の分野において既知の既存の手法を用いてこれらの処理ステップを実行することができる。Ｏ． ＰｉｎｋおよびＣ． Ｓｔｉｌｌｅｒ「Ａｕｔｏｍａｔｅｄ ｍａｐ ｇｅｎｅｒａｔｉｏｎ ｆｒｏｍ ａｅｒｉａｌ ｉｍａｇｅｓ ｆｏｒ ｐｒｅｃｉｓｅ ｖｅｈｉｃｌｅ ｌｏｃａｌｉｚａｔｉｏｎ」１３ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ， Ｆｕｎｃｈａｌ， ２０１０， ｐｐ． １５１７－１５２２は、評価プロセッサ４における評価処理のこれらの態様に関する更なる詳細を含む。
【0103】
評価プロセッサ４は、取得された画像データ８の基礎をなす、詳細な、好ましくは車線レベルの交通挙動の解析を生成する。評価プロセッサ４は、交通量情報を含む拡張交通データを生成および出力する。拡張交通データは、関心エリアにおける道路の特定の車線上の車両の現在の密度等の情報および交通関連パラメータを含むことができる。拡張交通データは、交通シナリオの予測される未来の進展に関する情報、特に、特定された現在のイベントに基づく交通シーンの進展の予測も含むことができる。
【0104】
そのような特定されたイベントは、道路セグメントにおける交通量の増大に伴いラッシュアワーの潜在的な交通渋滞を結果として引き起こすことが予測される、道路セグメントの３つの車線のうちの２つを遮断する木を指す場合がある。
【0105】
評価プロセッサ４は、特定された交通イベントの基礎をなす理由を推測するために更なる処理を実行することができる。理由は、ラッシュアワー、事故および／または道路の遮断を含むことができる。理由は、複数レベルの精度を含むことができ、例えば、道路遮断（粗い第１のレベルの理由）は、より精緻な第２のレベルの理由において、倒木に起因した、地滑りに起因した、洪水エリアに起因した、または予定された建設作業に起因した道路遮断を含む場合がある。評価プロセッサ４は、例えば、測候所１５からのデータ、および／または補完データプロバイダ６から入手された補完データ１２の形態で提供される情報を含む、トリガデータ１１においてトリガプロセッサ２によって提供される情報を検討することによって、更なる処理を実行することができる。補完データプロバイダ６は、例えば、外部テレメトリソースから発せられる補完データ、地図データ、または更には、現在時刻等の一般的に入手可能な情報を提供することができる。
【0106】
ステップＳ６において、評価プロセッサ４は制御信号１０を生成する。生成された制御信号１０は拡張交通データを含む。ステップＳ７において、評価プロセッサ４は、制御信号１０における生成された拡張交通データをアクチュエータ５に出力する。制御信号１０は、アクチュエータ５を制御するように構成される。
【0107】
アクチュエータ５は、交通参加者のアクチュエータ、特に車両アクチュエータまたは道路インフラストラクチャデバイスのアクチュエータとすることができる。アクチュエータ５は、拡張交通データを用いて、拡張交通情報に基づいて車両の運転者に対しディスプレイ上に出力を生成することができる。アクチュエータ５は、拡張交通データを用いて、ハイキング路に関する拡張交通情報に基づいてハイカーのモバイルデバイスのディスプレイ上に出力を生成することができる。制御信号１０は、情報、例えば安全関連警告を制御および出力し、ナビゲーションまたは快適性に関連する情報を更新し、かつ／または物理デバイス、例えば交通信号灯、もしくは車両の先進運転者支援システムを制御し、かつ／または交通分析、例えば日中依存性の交通量評価を行うことができる。
【0108】
例示的な実施形態において、交通信号灯等の道路インフラストラクチャデバイスは、交差する道路における交通密度情報を含む拡張交通情報に基づいて、交差点における停止フェーズおよび／または進行フェーズの持続時間を制御することができる。これにより、利用可能な交通空間における現在の交通量および交通エンティティの交通分布に対し適合させることによって、交差点における交通流が改善する。
【0109】
図５は、本発明の実施態様における道路交通シナリオを示す画像データ８の評価を示す。
【0110】
特に、図５は、左側の衛星画像（スナップショット画像）の画像データ８からのシーケンスおよび対応する補完データ１２、ここでは、評価プロセッサ４における更なる評価のための前処理された画像データに対する入力データとしての補完的地図データを示す。評価プロセッサ４は車両検出を実行する。地図データ２０は、道路エリアＢ等の交通流推定の関心が高いエリアを含む。駐車場を示すエリアＡは、交通流推定に対する悪影響なしで画像データ８の評価中に無視することができる。
【0111】
評価プロセッサ４は、取得された画像データ８に基づいて車両検出を実行し、画像データ８内の全ての検出された車両を示す検出結果２１を生成する。検出された車両は、実際に移動している車両、または、道路エリアＢにおいて少なくとも移動を意図している車両、および駐車場エリアＡにおける駐車車両を含む。
【0112】
評価プロセッサ４は、画像データ８内で車両を検出するために画像処理を実行する。地図データの検討および画像処理の結果２２が図５の右側に示される。地図データ２０に含まれる駐車場エリアＡに関する情報を考慮に入れることに起因して、交通流を推定することに関連する車両のみが示される一方で、駐車車両は無視される。
【0113】
図６は、本発明の実施態様における交差点２６における例示的な道路交通シナリオを示す。道路インフラストラクチャデバイス２７は、交差点２６につながる車線Ｆ１、Ｆ２における車両交通に関する交通データのみを特定することができるように据え付けられる。車線Ｆにおける車両交通に関するこのデータは、道路インフラストラクチャデバイス２７を通過する車線Ｆ１、Ｆ２上の車両数に高度に正確に関係することができるが、車線Ａ、Ｂ１、Ｂ２、Ｃ、Ｄ、Ｅ、ＧおよびＨも含む交差する道路を有する交差点２６のエリア全体をカバーする交通密度推定を可能にしない。
【0114】
補完データプロバイダ６は、車線Ｂ１上を低速で走行している車両２５に乗った人物に関連付けられた複数のモバイル無線デバイス上の複数のモバイル無線デバイスからデータを提供することもできる。それでもなお、車両のうちのいくつか、例えば車両２４は、２人以上の人物を乗せているため、複数の車両を含む交通渋滞における車両の数は、現在の交通シナリオの評価が交通渋滞を伴う道路Ｂ１、Ｂ２上の複数の車両２５上のモバイル無線デバイスに関するデータを含む補完データ１３のみに基づく場合、過大評価される場合がある。
【0115】
更に、交差点２６に向かって延びる道路の２つの車線Ｂ１、Ｂ２間を区別することは、複数の車両２５におけるモバイル無線デバイスのナビゲーション受信機の低い位置特定分解能に起因して可能でない。
【0116】
交差点２６に向かって延びる道路Ｂ１、Ｂ２における推定される交通渋滞のトリガイベントを特定し、交差点２６を示す画像データおよび取得された画像データ８の後続の評価を要求するトリガデータ７、１１を生成することにより、交通渋滞を検出するのみでなく、交通渋滞の可能性のある原因を判定し、車両２５の正しい数を考慮に入れることにより、交通渋滞の解消にどのくらいかかる場合があるかを判定することもできるようになる。
【0117】
図７において生成された拡張交通データの意図される受益者としての車両２３の場合、評価される画像データ８は、更には、生成される交通データの品質に悪影響を及ぼすことなく、車線Ａ、Ｄ、ＦおよびＨを無視して車線Ｅ、Ｇ、Ｃ、Ｂ１およびＢ２をカバーする関心エリアの処理に制限することができる。
【0118】
図７は、本発明の実施態様における車線レベルにおける例示的な道路交通シナリオを示す。示される道路セグメントは、２つの進行方向の各々において２車線ずつ、４つの車線Ａ１、Ａ２、Ａ３、Ａ４を含む。車線Ｂ２は渋滞している。車線Ａ１、Ａ２およびＢ１における車両は、各々、車線Ｂ２における車両の車両速度を大幅に超える車両速度で走行する。
【0119】
車線Ｂ２上の車両の平均速度は、おそらく、車線Ｂ２、Ｂ１において許可される最大速度から逸脱することになる。したがって、トリガプロセッサ２は、例えば、モバイル無線デバイスによって提供され、補完データ１３において補完データプロバイダ６から取得されたデータの評価に基づいて、道路Ｂ１、Ｂ２上に存在するトリガイベントを特定することができる。
【0120】
図８は、本発明の実施態様におけるトリガ処理および地図データ８のセグメンテーションの詳細を示す。
【0121】
中央サーバは、地図データの形態で補完情報１１を記憶する。図８における地図データは、補完データプロバイダ６が外部サービスとして提供した道路地図Ｍである。中央サーバはトリガプロセッサ２の機能を実行する。道路地図Ｍ＝｛Ｓ１，…，Ｓｋ｝は複数のｋ個の道路セグメントＳｉに分割される。各道路セグメントは、一意の識別子ＩＤと、道路セグメントの位置を記述するｎ個のＧＮＳＳ座標ｇｎｓｓｊのセットを有する。
【数1】
【0122】
トラフィックパッケージは、送信されるインターネットトラフィックのデータパッケージを指す。トラフィックパッケージは、情報セット、情報タプル、またはデータセットとも呼ばれる場合がある。モバイルデバイスは、トラフィックパッケージのための１つのデータソースを表すことができる。ナビゲーションシステム（グローバルナビゲーション衛星システム：ＧＮＳＳ、例えばＧＰＳ）を装備した車両およびインターネット接続は、トラフィックパッケージの別のデータソースを表すことができる。双方のソースが、それらの位置g＝（ｌａｔ，ｌｏｎｇ）およびそれらの速度ｖを、トラフィックパッケージｐ＝｛ｌａｔ，ｌｏｎｇ，ｖ，ｔ｝においてタイムスタンプｔと共に、無線インターネットサービスを介して中央サーバ（トリガプロセッサ２）に送信する。インターネットサービスは、例えば、ＧＳＭ（登録商標）、ＵＭＴＳ、ＬＴＥまたは５Ｇを介した通信により提供することができる。
【0123】
各トラフィックパッケージは、中央サーバによって、距離関数ｄ（ｘ，ｙ）を用いて最も近い道路セグメントに割り当てられる。
【数2】
【0124】
図８は、道路地図Ｍが、四分木技法を適用してフラクタルセルに分割される実施形態を示す。この手法は、全ての既知の道路点に対する距離ｄの計算を回避し、したがって、有利な計算特性を有する。トラフィックパッケージの位置を用いることに基づいて、木の最下レベルが処理の数回の反復で得られる。道路地図Ｍにおける、例えば現実世界の１００×１００ｍのセルサイズのセルを表す道路地図Ｍの最下レベルにおいて、数個のみの可能な道路セグメントが残っている。図８は、道路セグメントの四分木を示す。道路地図は、第１のセグメンテーションレベルにおいてフラクタルセルＡ、Ｂ、Ｃ、Ｄに分割される。図８に示すように、第２のセグメンテーションレベルは、第１のセグメンテーションレベルの各フラクタルセルＡ、Ｂ、Ｃ、Ｄを、第２のセグメンテーションレベルにおける４つのフラクタルセルに分割する。フラクタルセルＡは、４つのフラクタルセルＡ１、Ａ２、Ａ３およびＡ４にセグメンテーションされる。図８の上側部分において道路地図の道路セグメント上を走行しているものとして示される車両のマーカは、図８の下側部分における第２のセグメンテーションレベルにおけるセル識別子Ｄ１を有するフラクタルセルに対応する。
【0125】
補完情報１２に含まれるトラフィックパッケージは、その後、道路セグメント識別子ＳＩＤを有する道路セグメントの交通速度分布を更新するのに用いられる。その後、道路が更新した、道路セグメント識別子ＳＩＤを有する道路セグメントの交通速度分布が、同じ道路セグメントの交通速度分布の期待値と異なっているか否か、および道路セグメント識別子ＳＩＤを有する道路セグメントの交通速度分布の期待値とどの程度異なっているかがチェックされる。
【0126】
これは、トリガプロセッサ２が更新された交通速度分布から平均速度を計算することによって実行することができる。次に、計算された平均速度は、道路セグメント識別子ＳＩＤを有する道路セグメントについて許可された交通速度と比較することができる。例えば、計算された平均速度が、対応する道路セグメントについて許可された交通速度から２０％を超えて逸脱している場合、トリガプロセッサ２は、道路セグメント上の交通量が実際に少ないと判断する。計算された平均速度が、道路セグメントについて許可された交通速度から５０％を超えて逸脱している場合、トリガプロセッサ２は、現在道路セグメント上に存在する交通量が多いと判断する。計算された平均速度が、対応する道路セグメントについて許可された交通速度から８０％を超えて逸脱している場合、トリガプロセッサ２は、道路セグメント上でトリガイベント、特に交通渋滞が発生していると判断することができる。次に、トリガプロセッサ２は、トリガデータ７、１１の生成に進む。
【0127】
トリガプロセッサ２が、道路セグメントにおける交通渋滞を特定する場合、トリガプロセッサ２はトリガデータ７、１１を生成し、トリガデータ７、１１を含むインジケーション信号Ｉ＝｛ＩＤ，ｔ｝を生成する。トリガプロセッサ２は、インジケーション信号Ｉをトリガデータ７、１１と共に衛星サーバに送信する。衛星サーバは、衛星ネットワークの地上ベースの制御要素を表す。衛星ネットワークは、通信ネットワークを介して地上ベースの制御要素と接続された複数の地球監視衛星１９を備える。複数の地球監視衛星１９の各々が、地上の衛星１９の監視エリアの少なくとも一部分から捕捉デバイス３を用いて画像を捕捉し、そこから画像データ８を生成するように配置される。個々の衛星１９の監視エリアは、時間と共に地上にわたって移動することができる。
【0128】
衛星サーバは、いずれの衛星１９およびいずれの捕捉デバイス３が、トリガデータ８において示された道路セグメントＳＩＤを最も早く捕捉する空間位置にあるかを特定する。
【0129】
衛星サーバが、受容可能な時間内にセグメントＳＩＤ上を通過する特定の衛星１９が存在すると特定する場合、衛星サーバは、特定の衛星１９からの街路セグメントＳＩＤの画像データ８を要求する。受容可能な時間は、トリガデータ７において示された時点から、例えば１５分の所定の期間以内の時間とすることができる。所定の期間は、トリガプロセッサ２によって選択可能とすることができる。加えてまたは代替的に、所定の期間は評価プロセッサ４によって選択可能であり、例えば、画像データ８が要求される特定の交通評価タスクに基づいて、要求信号９において通信される。
【0130】
例示的な実施形態において、衛星サーバは、画像データ８の複数のセットを含む連続して更新されたデータベースにアクセスすることができる。十分な現実性を有し、道路セグメントＳＩＤを含む関心エリアをカバーする画像データ８が利用可能である場合、衛星サーバは、データベースから適切な画像データ８を取得し、道路セグメントＳＩＤをカバーする取得された画像データ８を、画像分析を実行することによる更なる評価のために評価プロセッサ４に提供する。
【0131】
例えば、衛星ネットワークのいずれの衛星も、現在、道路セグメントＳＩＤを含む画像を捕捉するために定位置になく、更に、道路セグメントＳＩＤにおける画像データ８が衛星サーバにおいて利用可能になるまでに所定の時間制限、例えば１５分を超える時間が経過することになる場合、トリガデータ７を含むインジケーション信号Ｉを無視することができる。この場合、画像データ８が利用可能になるまでの推定時間を示す通知を、衛星サーバからトリガプロセッサ２まで戻して送信することができる。トリガプロセッサ２は、通知からのこの戻された情報を用いて、所定の期間が経過するまで対応する道路セグメントＳＩＤのためのインジケーション信号Ｉをブロックし、それによってシステム１の信号スパミングを回避することができる。
【0132】
システム１および対応する方法は、道路交通環境および車両交通を参照して論考される。この手法は、航空交通管理用途について対応する利点を提供する更なる実施形態において、航空交通シナリオ、航空交通ルートおよび航空機に適合させることができる。システム１の代替的な実施形態を、海上交通シナリオ、航路および船舶航行システムに適用することができる。システム１の別の代替的な実施形態は、ハイキング路上のハイカー、または都市のランニングトラック上のランナー等の人間の交通に適用されてもよい。
【0133】
当業者には、本発明の範囲または趣旨から逸脱することなく、本発明の構造に対し様々な変更および変形を行うことができることが明らかとなろう。上記に鑑みて、本発明の変更および変形が以下の特許請求の範囲およびそれらの等価物の範囲に入るならば、本発明がこれらをカバーすることが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】