IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ウーブン・プラネット・ホールディングス株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-13
(45)【発行日】2024-03-22
(54)【発明の名称】道路地図生成システム及び使用方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240314BHJP
【FI】
G06T7/00 640
G06T7/00 650A
G06T7/00 350C
【請求項の数】 20
【外国語出願】
(21)【出願番号】P 2022204327
(22)【出願日】2022-12-21
(65)【公開番号】P2023102765
(43)【公開日】2023-07-25
【審査請求日】2022-12-21
(31)【優先権主張番号】17/574,458
(32)【優先日】2022-01-12
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521042770
【氏名又は名称】ウーブン・バイ・トヨタ株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100147555
【弁理士】
【氏名又は名称】伊藤 公一
(74)【代理人】
【識別番号】100123593
【弁理士】
【氏名又は名称】関根 宣夫
(74)【代理人】
【識別番号】100133835
【弁理士】
【氏名又は名称】河野 努
(74)【代理人】
【識別番号】100180194
【弁理士】
【氏名又は名称】利根 勇基
(72)【発明者】
【氏名】ホセ フェリックス ロドリゲス
【審査官】新井 則和
(56)【参考文献】
【文献】中国特許出願公開第113313629(CN,A)
【文献】特開2018-106017(JP,A)
【文献】特開2019-204211(JP,A)
【文献】米国特許出願公開第2020/0386567(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
道路地図を決定する方法であって、
道路の上からの画像を受信するステップと、
前記受信された画像に基づいて、スケルトン化された地図を生成するステップであって、前記スケルトン化された地図が複数の道路を備える、ステップと、
前記スケルトン化された地図内の前記複数の道路のうちの複数の道路の合流点に基づいて、交差点を識別するステップと、
前記識別された交差点に基づいて、前記スケルトン化された地図を分割するステップであって、前記スケルトン化された地図を分割することが道路データセット及び交差点データセットを規定する、ステップと、
前記道路データセットを分析して、前記複数の道路の各道路内における車線の数を決定するステップと、
前記識別された交差点内の車線接続への前記交差点データセットを分析するステップと、
前記分析された道路データセットの結果と、前記分析された交差点データセットの結果とを統合して、前記道路地図を生成するステップと
を含む、方法。
【請求項2】
前記受信された画像が衛星画像である、請求項1に記載の方法。
【請求項3】
前記道路データセットを分析することが、学習済みのニューラルネットワークを使用して前記道路データセットを分析して、オブジェクト検出を実施することを含む、請求項1又は2に記載の方法。
【請求項4】
前記オブジェクト検出を実施することが、前記複数の道路のうちの少なくとも1つの道路に沿った車線境界線を識別することを含む、請求項3に記載の方法。
【請求項5】
前記道路データセットを分析することが、前記複数の道路の道幅を決定することを含む、請求項1又は2に記載の方法。
【請求項6】
前記決定された道幅に基づいて前記道路の車線の数を決定するステップをさらに含む、請求項5に記載の方法。
【請求項7】
前記スケルトン化された地図を分割することが、
前記識別された交差点の各々においてノードを設定することと、
前記ノードの周りの半径範囲を設定することと、
前記道路データセットを前記ノードの周りの前記半径範囲の外側にあるものとして規定することと
を含む、請求項1又は2に記載の方法。
【請求項8】
前記半径範囲を設定することが、前記識別された交差点の各々について同じ値になるように前記ノードの周りの前記半径範囲を設定することを含む、請求項7に記載の方法。
【請求項9】
前記半径範囲を設定することが、前記識別された交差点のうちの第1の識別された交差点と関連付けられたノードの周りの半径範囲を、前記識別された交差点のうちの第2の識別された交差点と関連付けられたノードの周りの半径範囲とは異なるように設定することを含む、請求項7に記載の方法。
【請求項10】
命令を記憶するように構成された非一時的なコンピュータ可読媒体と、
前記非一時的なコンピュータ可読媒体に接続されたプロセッサと
を備え、
前記プロセッサが、
道路の上からの画像を受信するステップと、
前記受信された画像に基づいて、スケルトン化された地図を生成するステップであって、前記スケルトン化された地図が複数の道路を備える、ステップと、
前記スケルトン化された地図内の前記複数の道路のうちの複数の道路の合流点に基づいて、交差点を識別するステップと、
前記識別された交差点に基づいて、前記スケルトン化された地図を分割するステップであって、前記スケルトン化された地図を分割することが道路データセット及び交差点データセットを規定する、ステップと、
前記道路データセットを分析して、前記複数の道路の各道路内における車線の数を決定するステップと、
前記識別した交差点内の車線接続への前記交差点データセットを分析するステップと、
前記分析された道路データセットの結果と、前記分析された交差点データセットの結果とを統合して、道路地図を生成するステップと
を行うための命令を実行するように構成される、システム。
【請求項11】
前記受信された画像が衛星画像である、請求項10に記載のシステム。
【請求項12】
前記プロセッサが、学習済みのニューラルネットワークを使用して道路データセットを分析して、オブジェクト検出を実施するための命令を実行するように構成される、請求項10又は11に記載のシステム。
【請求項13】
前記プロセッサが、前記オブジェクト検出を使用して前記複数の道路のうちの少なくとも1つの道路に沿った車線境界線を識別するための命令を実行するように構成される、請求項12に記載のシステム。
【請求項14】
前記プロセッサが、前記複数の道路の道幅を決定するための命令を実行するように構成される、請求項10又は11に記載のシステム。
【請求項15】
前記プロセッサが、前記決定された道幅に基づいて前記道路の車線の数を決定するための命令を実行するように構成される、請求項14に記載のシステム。
【請求項16】
前記プロセッサが、
前記識別された交差点の各々においてノードを設定することと、
前記ノードの周りの半径範囲を設定することと、
前記道路データセットを前記ノードの周りの前記半径範囲の外側にあるものとして規定することと
を行うことによって、前記スケルトン化された地図を分割するための命令を実行するように構成される、請求項10又は11に記載のシステム。
【請求項17】
前記プロセッサが、前記識別された交差点の各々について同じ値になるように前記ノードの周りの前記半径範囲を設定するための命令を実行するように構成される、請求項16に記載のシステム。
【請求項18】
前記プロセッサが、前記識別された交差点のうちの第1の識別された交差点と関連付けられたノードの周りの半径範囲を、前記識別された交差点のうちの第2の識別された交差点と関連付けられたノードの周りの半径範囲とは異なるように設定するための命令を実行するように構成される、請求項16に記載のシステム。
【請求項19】
道路地図を決定する方法であって、
道路の上からの画像を受信するステップと、
前記受信された画像に基づいて、スケルトン化された地図を生成するステップであって、前記スケルトン化された地図が複数の道路を備える、ステップと、
前記スケルトン化された地図内の前記複数の道路のうちの複数の道路の合流点に基づいて、ノードを識別するステップと、
複数の半径範囲を設定するステップであって、前記複数の半径範囲の各々が、前記識別されたノードの対応するノードの周りにある、ステップと、
前記スケルトン化された地図を分割して、前記複数の半径範囲の各々の外側の道路データセット及び前記複数の半径範囲の各々の内側の交差点データセットを規定するステップと、
前記道路データセットを分析して、前記複数の道路の各道路内における車線の数を決定するステップと、
車線接続への前記交差点データセットを分析するステップと、
前記分析された道路データセットの結果と、前記分析された交差点データセットの結果とを統合して、前記道路地図を生成するステップと
を含む、方法。
【請求項20】
前記統合された結果を外部デバイスにワイヤレス送信するステップをさらに含む、請求項19に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
車載ナビゲーションは、自律運転用途にしてもナビゲーション用途にしても、車両が走行するための経路を決定するために道路地図を使用する。ナビゲーションシステムは、車両が現在の場所から目的地へ移動するための経路を決定するために道路地図を頼りにする。
【背景技術】
【0002】
道路地図は、道路に沿った車線と、車線間の交差点とを含む。場合によっては、道路は、道路内の車線の数に関する情報、又は道路に沿って許可された進行方向に関する情報なしに、単一車線として示される。さらに、場合によっては、交差点は、どのように車両が交差点を横断することを許可されているかに関する情報なしに2つ以上の線の合流点として示される。
【図面の簡単な説明】
【0003】
図1図1は、いくつかの実施形態に従う道路地図生成システムの図である。
図2A図2Aは、いくつかの実施形態に従う道路地図を生成する方法のフローチャートである。
図2B図2Bは、いくつかの実施形態に従う図2Aの方法の様々な動作中に生成されるサンプル画像を示す図である。
図2C図2Cは、いくつかの実施形態に従う図2Aの方法Aの様々な動作中に生成されるサンプル画像を示す図である。
図2D図2Dは、いくつかの実施形態に従う図2Aの方法の様々な動作中に生成されるサンプル画像を示す図である。
図2E図2Eは、いくつかの実施形態に従う図2Aの方法の様々な動作中に生成されるサンプル画像を示す図である。
図2F図2Fは、いくつかの実施形態に従う図2Aの方法の様々な動作中に生成されるサンプル画像を示す図である。
図3図3は、いくつかの実施形態に従う道路地図を生成する方法のフローチャートである。
図4A図4Aは、いくつかの実施形態に従う鳥瞰画像を示す図である。
図4B図4Bは、いくつかの実施形態に従う道路の平面図である。
図5A図5Aは、いくつかの実施形態に従う交差点の識別を含む道路の平面図である。
図5B図5Bは、いくつかの実施形態に従う拡大された交差点領域を含む道路の平面図である。
図6図6は、いくつかの実施形態に従うベクトルを含む道路の平面図である。
図7図7は、いくつかの実施形態に従う識別されたマーカを含む道路の鳥瞰画像を示す図である。
図8A図8Aは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。
図8B図8Bは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。
図8C図8Cは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。
図9A図9Aは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。
図9B図9Bは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。
図9C図9Cは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。
図10図10は、いくつかの実施形態に従う道路地図を生成するためのシステムの図である。
【発明を実施するための形態】
【0004】
本開示の態様は、添付の図面と共に読むとき、以下の詳細な説明から最も理解される。業界における標準的な慣行に従って、様々な特徴は、縮尺通りに描写されないということに留意されたい。実際、様々な特徴の寸法は、議論の明白性のため、恣意的に増大又は減少され得る。
【0005】
以下の開示は、提供された主題の異なる特徴を実装するための、多くの異なる実施形態、又は例を提供する。構成要素、値、動作、材料、配置、又は同種のものの具体例が、本開示を単純化するために以下に説明される。当然ながら、これらは、単なる例であり、限定することは意図されていない。他の構成要素、値、動作、材料、配置、又は同種のものが企図される。例えば、後に続く説明における第1の特徴の第2の特徴の上への形成は、第1及び第2の特徴が直接接触して形成される実施形態を含んでもよく、また、第1及び第2の特徴が直接接触しないように追加の特徴が第1及び第2の特徴の間に形成され得る実施形態を含んでもよい。加えて、本開示は、様々な例において参照番号及び/又は文字を繰り返し得る。この繰り返しは、簡略性及び明白性の目的のためであり、それ自体では、論じられる様々な実施形態及び/又は構成の間の関係性を定めない。
【0006】
さらには、「真下」、「下」、「下方」、「上」、「上方」、及び同種のものなどの空間的に相対的な用語は、1つの要素又は特徴の、図に例証されるような別の要素又は特徴に対する関係性を説明するために、説明しやすいように本明細書では使用され得る。空間的に相対的な用語は、図に描写される配向に加えて、使用又は動作中のデバイスの異なる配向を包含することが意図される。装置は、別の方式で配向されてもよく(90度回転される、又は他の配向で)、本明細書で使用される空間的に相対的な記述子は、同様にそれに相応して解釈され得る。
【0007】
本説明は、道路地図の生成に関する。いくつかの実施形態において、情報は、衛星画像から抽出され、道路の場所を決定するために分析される。ディープラーニング(DL)セマンティックセグメンテーションが、アルゴリズムに基づいて衛星画像内の各画素を分類するために、受信された衛星画像に対して実施される。分類された画像は、次いで、前処理及びノイズ除去に供される。ノイズ除去はマスククロッピングを含む。前処理された画像は、次いで、「スケルトン化された」地図を識別するために、ノード検出に供される。スケルトン化された地図は、車線、許可された進行方向、又は道路と関連付けられた他の進行規則に関する情報のない、道路の場所を含む地図である。スケルトン化された地図は処理に供され、その結果は、正確な道路地図を作成するために使用可能である。
【0008】
スケルトン化された地図は、道路内の交差点の場所を識別するために使用される。交差点は、スケルトン化された地図から複数の道路の合流点に基づいて識別される。複数の道路の合流点の周りの半径範囲は、交差点の場所を決定するために使用される。交差点は、次いで、スケルトン化された地図から分割される。交差点、及び残りの道路、すなわち非交差点は、全体的な道路地図を開発するために別個に分析される。
【0009】
道路の分析は、道幅及び道路内の車線の数を決定することを含む。場合によっては、道路分析はまた、道路が、単一方向にのみ進行を許可する一方通行の道路であるか、又は双方向における進行を許可する双方向道路であるかを決定する。いくつかの実施形態において、一方通行の道路の決定は車線幅及び/又は車線の数に基づく。例えば、いくつかの実施形態において、道路が単一車線を有することが決定される場合、道路が一方通行の道路であることが決定される。いくつかの実施形態において、オブジェクト検出は、双方向道路を示す中央分離帯又は二重実線によって道路が分離されているかどうかを決定するために使用可能である。
【0010】
道幅の決定は、オブジェクト検出を使用して可能である。オブジェクト検出は、道路の境界を指定する実線などの道路の境界を検出することができる。場合によっては、オブジェクト検出は、受信された衛星画像内の色又は反射性などの外観の変化に基づいて道幅を決定するために使用される。例えば、アスファルト道路からコンクリート側壁又は路肩の草への遷移は、受信された衛星画像内の色の変化に基づいて可視である。これらの遷移は、次いで、道路の境界を決定するために使用可能である。
【0011】
道路内の車線の数の決定は、オブジェクト検出及び/又は統計分析を使用して可能である。いくつかの実施形態において、オブジェクト検出は、車線境界線として識別可能な破線を検出することによって道路内の車線の数を決定することができる。いくつかの実施形態において、統計分析は、全体的な道幅を決定して、既知の車線幅データに基づいてその全体的な道幅内にいくつの車線がありそうかを決定することによって、車線の数を決定するために使用可能である。
【0012】
別個の分析は、規定の半径範囲内の交差点に対して実施される。半径範囲のサイズが増大するにつれて、交差点分析の正確性が増大するが、処理時間及び計算能力も増大する。半径範囲のサイズが減少するにつれて、交差点分析の正確性が減少するが、分析はより速く完了される。いくつかの実施形態において、オブジェクト検出は、停止線、例えば、道路に対して垂直に延びる道路上の実線、又は横断歩道、例えば、道路に対して垂直の方向に狭く離間される、道路に対して平行に延びる破線、を検出するために、交差点の分析において使用される。いくつかの実施形態において、車線境界線を示す破線から停止線を示す実線への変化が、交差点を分析するために使用される。
【0013】
道路及び交差点の別個の分析に続いて、これらの分析は、道路及び交差点の両方を含む道路システムの包括的な地図を作成するために統合される。いくつかの実施形態において、包括的な地図は、図形表現を使用して表示される。いくつかの実施形態において、包括的な地図は、道路の異なる部分について数値的な識別番号を使用して表示される。
【0014】
包括的な地図の信頼レベルは、道路及び交差点を分析するために使用される分析のタイプに基づいて生成される。車線境界線のオブジェクト検出が道路及び交差点の分析において使用されるいくつかの実施形態においては、信頼レベルは高く、例えば、0.3メートル(m)以内の予測正確性である。検出が道路及び交差点内で検出される色に基づくいくつかの実施形態においては、信頼レベルは、中レベルであり、例えば、0.3m~1.0mの予測正確性である。分析が道幅検出に関連した推定に基づくいくつかの実施形態においては、信頼レベルは、低く、例えば、約1.0mの予測正確性である。
【0015】
図1は、いくつかの実施形態に従う道路地図生成システム100の図である。道路地図生成システム100は、入力情報を受信し、車両運転者などのデータユーザ190及び/又はアプリケーション(アプリ)設計者などのツールユーザ195による使用のための道路地図を生成するように構成される。道路地図生成システム100は、道路地図を生成するために、道路を走行する車両から捕捉される情報及び衛星又は他の上空のオブジェクトからの画像などの現実世界データを使用する。これは、履歴データに依存するいくつかの手法と比較して道路地図の正確性を高めるのに役立つ。
【0016】
道路地図生成システム100は、空間的画像110及びプローブデータ120を受信するように構成される。空間的画像110は、道路の上から捕捉される衛星画像、航空画像、ドローン画像、又は他の同様の画像などの画像を含む。プローブデータ120は、カメラ、ライダ(LiDAR:light detection and ranging)センサ、レーダ(RADAR:radio detection and ranging)センサ、ソナー(SONAR:sonic navigation and ranging)、又は他のタイプのセンサなどの車両センサデータを含む。
【0017】
道路地図生成システム100は処理ユニット130を含み、処理ユニット130は、パイプラインを生成し、空間的画像110及びプローブデータ120に基づいて特徴を識別するように構成される。道路地図生成システム100は、パイプライン生成ユニット132を使用して空間的画像110及びプローブデータ120を処理するように構成される。パイプライン生成ユニット132は、受信された情報に基づいて道路の場所及び経路を決定するように構成される。パイプラインは道路の場所を示す。場合によっては、パイプラインは、スケルトン化された道路地図とも呼ばれる。パイプライン生成ユニット132は、空間的画像110を処理するように構成される空間地図パイプラインユニット134を含む。パイプライン生成ユニット132は、プローブデータ120を処理するように構成されるプローブデータ地図パイプラインユニット136をさらに含む。空間地図パイプラインユニット134は空間的画像110に基づいて道路の場所を決定し、プローブデータ地図パイプラインユニット136は、空間地図パイプラインユニット134とは独立して、プローブデータ120に基づいて道路の場所を決定する。道路の場所を独立して決定することにより、パイプライン生成ユニット132は、サブユニットの各々、すなわち、空間地図パイプラインユニット134及びプローブデータ地図パイプラインユニット136によって実施される決定を確認することができる。この確認は、他の手法と比較して道路地図生成システム100の精度及び正確性を高めるのに役立つ。パイプライン生成ユニット132は、空間地図パイプラインユニット134及びプローブデータ地図パイプラインユニット136によって生成されるパイプラインを比較するように構成される地図検証パイプラインユニット138をさらに含む。空間地図パイプラインユニット134及びプローブデータ地図パイプラインユニット136の両方によって識別される道路の場所が所定の閾値分散内にあるという地図検証パイプラインユニット138による決定に応答して、地図検証パイプラインユニット138は、道路の場所が正しいことを確認する。いくつかの実施形態において、所定の閾値分散はユーザによって設定される。いくつかの実施形態において、所定の閾値分散は空間的画像110及び/又はプローブデータ120の分解能に基づいて決定される。いくつかの実施形態において、道路を検出することができない、又は道路の場所が2つのユニット間で異なるなど、空間地図パイプラインユニット134とプローブデータ地図パイプラインユニット136との間の所定の閾値分散よりも大きい差の、地図検証パイプラインユニット138による決定に応答して、地図検証パイプラインユニット138は、どちらのパイプラインを正確であると見なすかを決定するために、空間的画像110又はプローブデータ120のうちのより最近収集されたデータに基づいて、開発されるパイプラインを決定する。すなわち、プローブデータ120が空間的画像110よりも最近収集された場合、プローブデータ地図パイプラインユニット136によって生成されるパイプラインが、正しいと見なされる。いくつかの実施形態において、道路を検出することができない、又は道路の場所が2つのユニット間で異なるなど、空間地図パイプラインユニット134とプローブデータ地図パイプラインユニット136との間の所定の閾値分散よりも大きい差の、地図検証パイプラインユニット138による決定に応答して、地図検証パイプラインユニット138は、いずれのパイプラインも正しくないことを決定する。いくつかの実施形態において、道路を検出することができない、又は道路の場所が2つのユニット間で異なるなど、空間地図パイプラインユニット134とプローブデータ地図パイプラインユニット136との間の所定の閾値分散よりも大きい差の、地図検証パイプラインユニット138による決定に応答して、地図検証パイプラインユニット138はユーザからの検証を要求する。いくつかの実施形態において、地図検証パイプラインユニット138は、ワイヤレスアラートなどのアラートを、ユーザにより使用可能なモバイルデバイスのためのユーザインターフェース(UI)などの外部デバイスに送信することによって、ユーザからの検証を要求する。いくつかの実施形態において、アラートは、例えばモバイルデバイスのためのUIを使用して、ユーザに自動的に表示されるように構成される、音声又は視覚アラートを含む。ユーザから受信される入力に応答して、地図検証パイプラインユニット138は、ユーザが選択したパイプラインが正しいことを決定する。
【0018】
道路地図生成システム100は、空間的画像110と、空間地図パイプラインユニット134を使用して生成されるパイプラインとのオブジェクト及び特徴を検出するように構成される空間的画像オブジェクト検出ユニット140をさらに含む。空間的画像オブジェクト検出ユニット140は、交差点、道路境界、車線境界線、建物、又は他の好適な特徴などの特徴を識別するために、パイプライン及び空間的画像110に対してオブジェクト検出を実施するように構成される。いくつかの実施形態において、特徴は二次元(2D)特徴142を含む。空間的画像オブジェクト検出ユニット140は、いくつかの実施形態において、空間的画像110が測距データを含まないことから、2D特徴142を識別するように構成される。いくつかの実施形態において、どの特徴が空間的画像110及びプローブデータ120の両方に基づいて識別されたかを決定するために、地図検証パイプラインユニット138から情報が受信される。空間的画像110及びプローブデータ120の両方に基づいて識別される特徴は、これらの特徴が両方のデータセット内に存在することから、共通特徴144と呼ばれる。いくつかの実施形態において、空間的画像オブジェクト検出ユニット140は、空間的画像110に基づいて識別される各々のパイプライン及び特徴に識別番号を割り当てるように構成される。
【0019】
道路地図生成システム100は、プローブデータ120と、プローブデータ地図パイプラインユニット136を使用して生成されるパイプラインとのオブジェクト及び特徴を検出するように構成されるプローブデータオブジェクト検出ユニット150をさらに含む。プローブデータオブジェクト検出ユニット150は、交差点、道路境界、車線境界線、建物、又は他の好適な特徴などの特徴を識別するために、パイプライン及びプローブデータ120に対してオブジェクト検出を実施するように構成される。いくつかの実施形態において、特徴は三次元(3D)特徴152を含む。プローブデータオブジェクト検出ユニット150は、いくつかの実施形態において、プローブデータ120が測距データを含むことから、3D特徴152を識別するように構成される。いくつかの実施形態において、どの特徴が空間的画像110及びプローブデータ120の両方に基づいて識別されたかを決定するために、地図検証パイプラインユニット138から情報が受信される。空間的画像110及びプローブデータ120の両方に基づいて識別される特徴は、これらの特徴が両方のデータセット内に存在することから、共通特徴154と呼ばれる。いくつかの実施形態において、プローブデータオブジェクト検出ユニット150は、プローブデータ120に基づいて識別される各々のパイプライン及び特徴に識別番号を割り当てるように構成される。
【0020】
道路地図生成システム100は、パイプライン生成ユニット132からのパイプラインと一緒に共通特徴144及び154を組み合わせるように構成されるフュージョン地図パイプラインユニット160をさらに含む。フュージョン地図パイプラインユニット160は、パイプライン及び共通特徴の両方を含む道路地図を出力するように構成される。
【0021】
道路地図生成システム100は、サービスアプリケーションプログラムインターフェース(API)165をさらに含む。サービスAPI165は、パイプライン生成ユニット132及びフュージョン地図パイプラインユニット160によって生成される情報が外部デバイスへ出力されることを許可するために使用可能である。サービスAPI165は、データを、外部デバイスのプログラミング言語に対してアグノスティックにすることができる。これは、他の手法と比較してデータが幅広い外部デバイスによって使用可能であることに役立つ。
【0022】
道路地図生成システム100は外部デバイス170をさらに含む。いくつかの実施形態において、外部デバイス170は、処理ユニット130からデータを受信するように構成されるサーバを含む。いくつかの実施形態において、外部デバイス170は、ユーザにより使用可能なモバイルデバイスを含む。いくつかの実施形態において、外部デバイス170は、サーバ及びモバイルデバイスなどの複数のデバイスを含む。処理ユニット130は、ワイヤレスで又は有線接続を介してデータを外部デバイスへ転送するように構成される。
【0023】
外部デバイス170は、メモリユニット172を含む。メモリユニット172は、データユーザ190及び/又はツールユーザ195によってアクセス可能であるように処理ユニット130からの情報を記憶するように構成される。いくつかの実施形態において、メモリユニット172は、ダイナミックRAM(DRAM)、フラッシュメモリ、又は別の好適なメモリなどのランダムアクセスメモリ(RAM)を含む。メモリユニット170は、空間的画像オブジェクト検出ユニット140から2D特徴142を受信するように構成される。2D特徴は2D特徴パラメータ174として記憶される。データセット172は、フュージョン地図パイプラインユニット160から共通特徴を受信するようにさらに構成される。共通特徴は共通特徴パラメータ176として記憶される。いくつかの実施形態において、共通特徴パラメータ176はパイプライン及び共通特徴を含む。メモリユニット170は、プローブデータオブジェクト検出ユニット150から3D特徴を受信するように構成される。3D特徴は3D特徴パラメータ178として記憶される。
【0024】
外部デバイス170は、パイプライン又は識別された特徴に関連する情報を含むか、これに依存するアプリを生成するために使用可能なデータ及びデータ操作ツールを含むツールセット180をさらに含む。いくつかの実施形態において、ツールセット180は省略される。ツールセット180を省略することは、外部デバイス170の記憶空間の量及び処理能力を低減する。しかしながら、ツールセット180を省略することは、外部デバイス170の機能性を低下させ、ツールユーザ195は、アプリを生成するためのより高い負担を有する。いくつかの実施形態において、アプリは、車両にインストールされることができる。いくつかの実施形態において、アプリは、自律運転又はナビゲーションシステムに関連付けられる。
【0025】
いくつかの実施形態において、データユーザ190及びツールユーザ195は同じである。いくつかの実施形態において、データユーザ190は、道路地図を見るために外部デバイス170からのデータを使用する。いくつかの実施形態において、データユーザ190は、外部デバイス170内のデータに関連するフィードバック又はコメントを提供することができる。
【0026】
図2Aは、いくつかの実施形態に従う道路地図を生成する方法200のフローチャートである。いくつかの実施形態において、方法200は、道路地図生成システム100(図1)を使用して実施される。いくつかの実施形態において、方法200は、異なるシステムを使用して実施される。方法200は、ナビゲーションシステム又は自律運転システムを実施するために使用可能なシェイプファイルを作成するように構成される。方法200は、さらに、道路地図内の道路に沿った移動を示すためのナビゲーションシステム又は自律運転システムにおける使用のため、例えば、シンクライアントメディア(TMI:Thin Client Media)フォーマットの映像データを作成するように構成される。
【0027】
方法200は、画像が受信される動作202を含む。いくつかの実施形態において、画像は、衛星画像、航空画像、ドローン画像、又は他の好適な画像を含む。いくつかの実施形態において、画像は空間的画像110(図1)を含む。いくつかの実施形態において、画像は外部ソースから受信される。いくつかの実施形態において、画像はワイヤレスで受信される。いくつかの実施形態において、画像は有線接続を介して受信される。
【0028】
方法200は、画像がタイラ(tiler)によるタイリングに供される動作204を含む。動作204において、画像は、タイルと呼ばれる画素の群に分けられる。いくつかの実施形態において、各タイルのサイズはユーザによって決定される。いくつかの実施形態において、各タイルのサイズは、受信された画像の分解能に基づいて決定される。いくつかの実施形態において、各タイルのサイズは、受信された画像のサイズに基づいて決定される。いくつかの実施形態において、衛星画像のサイズは約1ギガバイト(GB)である。画像のタイリングは、さらなる処理のために画像を使用可能な断片に分けるのに役立つ。各タイルのサイズがより小さくなると、タイリング画像の後処理は、より正確であるが、より高い処理負荷を有する。
【0029】
方法200は、画像のタイルが、例えば、メモリユニットに記憶される動作206をさらに含む。いくつかの実施形態において、メモリユニットは、DRAM、フラッシュメモリ、又は別の好適なメモリを含む。画像のタイルは、受信された画像内の特徴及び特徴の場所を示す空間地図を開発するために2つの平行の処理トラックに沿って処理される。図2Bは、いくつかの実施形態に従うタイリング画像の例である。いくつかの実施形態において、図2Bの画像は、動作206によって生成される。タイリング画像は、タイリング画像内の情報の効率的な処理を可能にするために充分に小さい。
【0030】
本方法は、タイリング画像がセグメント化される動作208をさらに含む。タイリング画像のセグメント化は、識別された境界に基づいて画像を分割することを含む。いくつかの実施形態において、セグメント化は、学習済みのニューラルネットワーク(NN)を使用してタイリング画像内の境界を識別するディープラーニング(DL)セグメンテーションプロセスによって実施される。図2Cは、いくつかの実施形態に従うタイリング画像のセグメンテーションの出力の例である。いくつかの実施形態において、図2Cの画像は、動作208によって生成される。セグメンテーションは、車線境界線又は建物などの追加情報を含むことなく、道路の場所を含む。
【0031】
本方法は、道路上のオブジェクトが検出される動作210をさらに含む。いくつかの実施形態において、オブジェクトは、車線境界線、中央分離帯、横断歩道、停止線、又は他の好適なオブジェクトを含む。いくつかの実施形態において、オブジェクト検出は、学習済みのNNを使用して実施される。いくつかの実施形態において、学習済みのNNは、動作208において使用されるものと同じ学習済みのNNである。いくつかの実施形態において、学習済みのNNは、動作210で使用される学習済みのNNとは異なる。図2Dは、いくつかの実施形態に従うオブジェクト検出情報を含むタイリング画像の例である。いくつかの実施形態において、図2Dの画像は、動作210によって生成される。オブジェクト検出情報を含む画像は、車線境界線などのオブジェクトの強調、及び画像内のオブジェクト識別情報を含む。
【0032】
本方法は、道路マスクがメモリユニットに記憶される動作212をさらに含む。道路マスクは、道路地図生成システム100(図1)に関して論じられるパイプラインと同様である。いくつかの実施形態において、道路マスクは、スケルトン化された道路マスクである。道路マスクは、画像内の道路の場所及び経路を示す。
【0033】
本方法は、車線マーカがメモリユニットに記憶される動作214をさらに含む。動作214は車線マーカに言及するが、当業者は、他のオブジェクトも動作210の出力に基づいてメモリユニットに記憶されることができるということを認識するだろう。例えば、横断歩道、停止線、又は他の好適な検出されたオブジェクトの場所も、いくつかの実施形態において、メモリユニットに記憶される。
【0034】
本方法は、車線網が生成される動作216をさらに含む。動作216は、以下に説明される複数の動作を含む。車線網は、道路地図内の道路に沿った車線の位置付けを含む。車線網は、ナビゲーションシステム、自律運転システム、又は別の好適なアプリを実装するために、生成された車線網を使用するアプリ又はシステムのプログラミング言語に対してアグノスティックである記述を有するように生成される。
【0035】
本方法は、道路グラフが生成される動作218をさらに含む。道路グラフは、単に道路の場所及び経路だけでなく、道路に沿った進行方向のためのベクトル及び道路のための境界も含む。いくつかの実施形態において、道路のための境界は、道路のための境界を決定するために、オブジェクト認識を使用して決定される。道路の境界を決定するためのオブジェクトは、歩道、道路の外縁近くの実線、建物の場所、又は他の好適なオブジェクトなどの項目を含む。いくつかの実施形態において、道路に沿った進行方向は、タイリング画像内の道路上の車両の配向に基づいて決定される。例えば、いくつかの実施形態において、学習済みのNNは、タイリング画像内の車両を識別するために使用可能であり、車両の前面が、道路に沿った進行方向に配向されると見なされる。
【0036】
本方法は、道路境界を含む道路グラフの画像がメモリユニットに記憶される動作220をさらに含む。いくつかの実施形態において、道路境界は、道路の存在を示す色とは異なる色を有する線を含む。いくつかの実施形態において、道路グラフの画像は、道路に沿った進行方向を示すベクトルをさらに含む。
【0037】
本方法は、道路グラフの画像が文字表現へ変換される動作222をさらに含む。図2Aは、道路グラフ画像の文字表現の例としてJSONを含むが、当業者は、他のプログラミング言語が方法200と共に使用可能であることを認識するだろう。文字表現が、アグノスティックであるか、他のアプリでの使用のためにアグノスティックにされることができる限り、この説明は、文字表現のための任意の特定のフォーマットに限定されない。
【0038】
本方法は、車線補間が、記憶された車線マーカに基づいて実施される動作224をさらに含む。車線補間は、車線区分線を、車線区分線が動作210において検出されなかった道路の部分まで延長する。例えば、受信した画像内の建物又は車両が車線区分線をブロックしている場合、車線補間は、車線区分線を予期される場所へ挿入する。いくつかの実施形態において、車線補間は、道路の交差点を通る進行方向を予測するために使用される。いくつかの実施形態において、車線区分線は、交差点内に示されないが、予期される進行経路を示すメタデータが、車線補間器によって生成されるデータ内に埋め込まれる。
【0039】
本方法は、車線マーカを含む車線境界の画像がメモリユニットに記憶される動作226をさらに含む。いくつかの実施形態において、車線境界は、道路の存在を示す色とは異なる色を有する線を含む。
【0040】
本方法は、車線境界の画像が文字表現へ変換される動作228をさらに含む。図2Aは、車線境界画像の文字表現の例としてJSONを含むが、当業者は、他のプログラミング言語が方法200と共に使用可能であることを認識するだろう。文字表現が、アグノスティックであるか、他のアプリでの使用のためにアグノスティックにされることができる限り、この説明は、文字表現のための任意の特定のフォーマットに限定されない。いくつかの実施形態において、動作228における文字表現のフォーマットは、動作222におけるものと同じフォーマットである。いくつかの実施形態において、動作228の文字表現のフォーマットは、動作222におけるフォーマットとは異なる。
【0041】
本方法は、動作222及び動作228において生成される文字表現が組み合わされて空間地図を規定する動作230をさらに含む。いくつかの実施形態において、動作222及び動作228の文字表現のフォーマットは、動作のうちのいずれかの出力のフォーマットを変換することなしに情報の組み合わせを可能にする。いくつかの実施形態において、動作222又は動作228の出力の文字表現のうちの少なくとも1つは、空間地図への包含のために変換される。図2Aは、空間地図の文字表現の例としてJSONを含むが、当業者は、他のプログラミング言語が方法200と共に使用可能であることを認識するだろう。図2Eは、空間地図の視覚表現の例である。いくつかの実施形態において、動作230において生成される文字表現は、図2E内の情報の文字表現である。図2E内の情報は、車線境界、車線境界線、及び道路網に関連した他の情報を含む。
【0042】
本方法は、空間地図がシェイプファイルを開発するために使用される動作234をさらに含む。いくつかの実施形態において、シェイプファイルは、Shape2.0(登録商標)などのプログラムを使用して生成される。シェイプファイルは、道路に沿った進行に関連した、点、線、又はポリゴンなどのベクトルデータを含む。各シェイプファイルは、単一のシェイプを含む。シェイプファイルは、道路網に沿って走行するためのベクトルを決定するために階層化される。シェイプファイルは、車両のための進行方向を識別するためのナビゲーションシステム及び自律運転などのアプリにおいて使用可能である。図2Fは、階層化されたシェイプファイルの視覚表現の例である。いくつかの実施形態において、図2F内の階層化されたシェイプファイルを生成するために使用されるシェイプファイルは、動作234において生成される。階層化されたシェイプファイルは、道路網内の許可された進行経路に関連した情報を含む。
【0043】
本方法は、シェイプファイルがメモリユニットに記憶される動作236をさらに含む。いくつかの実施形態において、シェイプファイルは、階層化された群として記憶される。いくつかの実施形態において、シェイプファイルは、個々のファイルとして記憶される。いくつかの実施形態において、シェイプファイルは、空間地図の道路網内の車両の決定された位置に基づいて、ユーザ又は車両によってアクセス可能である別個のファイルとして記憶される。
【0044】
本方法は、空間地図が空間地図内の道路網に沿った移動を視覚的に表現するために符号化映像フォーマットに変換される動作238をさらに含む。図2Aは、空間地図の符号化の例としてTMIを含むが、当業者は、他のプログラミング言語が方法200と共に使用可能であることを認識するだろう。空間地図に基づいて映像を符号化することは、例えば、ナビゲーションシステムが、道路に沿って走行するためのシミュレーション前方視又は道路に沿って走行するためのシミュレーション鳥瞰図を表示することを可能にする。
【0045】
本方法は、符号化映像がメモリユニットに記憶される動作240をさらに含む。いくつかの実施形態において、符号化映像は、空間地図の道路網内の車両の決定された場所に基づいて、ユーザ又は車両によってアクセス可能である複数の別個のファイルに記憶される。
【0046】
図3は、いくつかの実施形態に従う道路地図を生成する方法300のフローチャートである。いくつかの実施形態において、方法300は、方法200(図2A)の動作236においてメモリユニットに記憶されるシェイプファイルなどの階層化されたシェイプファイルを生成するために使用可能である。いくつかの実施形態において、方法300は、道路地図生成システム100(図1)を使用して実施される。いくつかの実施形態において、方法300は、異なるシステムを使用して実施される。方法300は、道路及び交差点を別個に処理することによって道路地図を生成するように構成される。道路及び交差点を別個に処理することにより、方法300は、他の手法と比較して、道路地図による生成の精度を増大させることができる。道路の評価の間、交差点に関連する情報を除外することにより、方法300は、分析されたデータ内の高レベルの変動を除去することができ、このことによって、より高い精度の道路地図が作成される。加えて、交差点を独立して分析することは、道路で使用される交差点における異なる評価ツール及び方法論の使用を可能にする。これは、同じ複雑な分析を道路及び交差点に適用することによって道路地図を生成するための処理負荷を著しく増大させずに、交差点のより複雑な分析を可能にする。その結果、道路地図を生成する時間及び電力消費は、他の手法と比較して低減される。
【0047】
方法300は、ディープラーニング(DL)セマンティックセグメンテーションが実施される動作302を含む。セマンティックセグメンテーションは、受信された画像内の各画素に分類ラベルを割り当てることを含む。いくつかの実施形態において、DLセマンティックセグメンテーションは、畳み込みNN(CNN)などの学習済みのNNを使用して実施される。受信された画像内の画素の各々に分類ラベルを割り当てることにより、道路は、受信された画像内の建物、歩道、中央分離帯、川、又は他のオブジェクトなどの他のオブジェクトから区別されることができる。これは、受信された画像内の道路の存在及び場所を示すスケルトン化された道路地図の生成を可能にする。
【0048】
方法300は、前処理及びノイズ除去がセグメント化画像に対して実施される動作304をさらに含む。いくつかの実施形態において、前処理は、セグメント化画像のダウンサンプリングを含む。ダウンサンプリングは画像分解能の減少を含み、これは、画像の後処理のための処理負荷を低減するのに役立つ。いくつかの実施形態において、ノイズ除去は、画像の線形フィルタリング、中央値フィルタリング、適応フィルタリング、又は他の好適なフィルタリングなど、画像のフィルタリングを含む。いくつかの実施形態において、ノイズ除去は、道路を含まない画像の部分を除去するためにスケルトン化された道路地図のクロッピングを含む。前処理及びノイズ除去は、方法300の実施のための処理負荷を低減するのに役立ち、また画像からノイズを除去することによって、生成された道路地図の精度を増大させるのに役立つ。
【0049】
方法300は、ノード検出が実施される動作306をさらに含む。ノード検出は、道路が接続する場所、例えば、交差点を識別することを含む。いくつかの実施形態において、ノード検出は、別の道路との交差以外の道路内の目立った特徴、例えば、踏切、交差点以外での交通信号、又は別の好適な特徴を識別することをさらに含む。
【0050】
方法300は、グラフ処理が実施される動作308をさらに含む。グラフ処理は、動作306において識別されたノードに基づくスケルトン化された道路地図の処理である。グラフ処理は、接続された構成要素のリストを生成することができる。例えば、いくつかの実施形態において、グラフ処理は、どの道路が識別された交差点のノードにおいて出会うかを識別する。グラフ処理はまた、ノード間の道路に沿った距離を決定することができる。いくつかの実施形態において、グラフ処理は、ノード間の道路の向きの変化をさらに識別する。例えば、道路が湾曲する状況では、グラフ処理は、道路が第1の向き又は角度に沿って続く第1のノードからの距離を識別することができる。次いで、グラフ処理は、向きの変化を識別し、道路が新規の第2の向きに沿って続く距離を決定する。いくつかの実施形態において、グラフ処理は、道路の向きの変化が向き閾値を超える度に新規の向きを識別する。いくつかの実施形態において、向き閾値の値は約10度である。向き閾値が増加するにつれて、グラフ処理を実施するための処理負荷が減少するが、道路の記述における正確性が減少する。向き閾値が減少するにつれて、グラフ処理を実施するための処理負荷が増大するが、道路の記述における正確性が増大する。
【0051】
方法300は、道路及び交差路が別個の処理のために識別及び抽出される動作310をさらに含む。交差路又は交差点は、動作306において検出されるノードに基づいて識別される。いくつかの実施形態において、ノードの周りの半径範囲は、抽出されるべき交差点の範囲を決定するために使用される。いくつかの実施形態において、半径範囲は各交差点について一定である。いくつかの実施形態において、第1の交差点についての半径範囲は、第2の交差点についての半径範囲とは異なる。いくつかの実施形態において、各交差点についての半径範囲は、ノードに接続される道路の幅に基づいて設定される。例えば、交差点に接続される道路が広いほど、より大きい交差点を有すると仮定される。小さい交差点についての半径範囲と同じサイズである半径範囲を広い交差点に適用することは、処理負荷を増大させる小さい交差点が過剰に検出され、又はより大きい交差点の全体より小さいものが抽出されるというリスクを増加させる。いくつかの実施形態において、各交差点についての半径範囲は、ノードで出会う道路の数に基づいて設定される。例えば、2つの道路の交差点は、3つ以上の道路の交差点よりも小さいことが予期される。ここでも、交差点の予期されるサイズと一致しない半径範囲を有することは、方法300を実施するための処理負荷を増加させ、又は道路地図の正確性及び精度を減少させる。
【0052】
動作310の後、交差路又は交差点は、別個の処理のために、交差路又は交差点以外の道路から分離される。道路は、動作312~318を使用して処理されるが、交差路は、動作314、320、及び322を使用して処理される。交差路及び道路を別個に処理することにより、道路の特徴を決定するための処理負荷が低減される一方で、より複雑な交差路の正確性及び精度は維持される。これは、他の手法と比較してより低い処理負荷及び時間消費で正確かつ精密な道路地図を作成するのに役立つ。
【0053】
方法300は、道路接線ベクトルが抽出される動作312をさらに含む。道路接線ベクトルは、1つのノードから別のノードへ移動するための道路に沿った進行方向を示す。いくつかの実施形態において、道路接線ベクトルは、進行方向に関連した情報を含む。例えば、単一方向にのみ進行を許可する一方通行の道路の場合、接線ベクトルは、単一方向に沿った進行を示す。
【0054】
方法300は、受信された画像に対してオブジェクト検出が実施される動作314をさらに含む。オブジェクト検出は、ディープラーニングを使用して、例えば、学習済みのNNを使用して実施される。動作314は画像に対して実施され、オブジェクト検出の結果は道路処理及び交差路処理の両方に使用される。いくつかの実施形態において、オブジェクト検出は、検出されたオブジェクトの分類を含む。例えば、いくつかの実施形態において、道路に対して平行の実線は道路境界として分類され、道路に対して平行の破線は車線境界線として分類され、道路に対して垂直の実線は停止線として分類され、道路に対して平行だが、車線の幅よりは小さく離間される一連のより短い線は横断歩道として分類され、又は他の好適な分類がある。いくつかの実施形態において、色は、オブジェクト分類のために使用可能である。例えば、白又は黄色は、道路上の区分線を識別するために使用可能であり、緑色は、草又は他の植物を含む中央分離帯を識別するために使用可能であり、グレーなど、より薄い色は、歩道又はコンクリート中央分離帯を識別するために使用可能である。
【0055】
方法300は、動作314の出力から受信されたオブジェクト検出に基づいて車線推定が実施される動作316をさらに含む。動作314において検出されたオブジェクトに基づいて、道路に沿った車線の数と、車線が一方通行の道路であることが予期されるかどうかとが決定可能である。さらに、道路の境界は、検出されたオブジェクトに基づいて決定されることができる。例えば、いくつかの実施形態において、一組の車線境界線、例えば道路に対して平行な破線の検出に基づいて、動作316は、道路内に2つの車線が存在することを決定する。いくつかの実施形態において、道路の中央領域内の実線は、双方交通のための境界線を示す。例えば、道路の中央領域内での1つ若しくは複数の実線の検出、又は中央分離帯の検出は、道路に沿った交通が、2つの進行方向の間の境界線として実線を伴って、両方向にあることが予期されることを示す。いくつかの実施形態において、道路の中央領域内の実線を検出すること、又は中央分離帯の検出ができないことは、一方通行の道路を示す。
【0056】
方法300は、道路の統計分析に基づいて車線推定が実施される動作318をさらに含む。いくつかの実施形態において、車線推定は、道路の幅を決定して、その幅を道路が位置する領域内の平均車線幅で割ることによって実施される。結果として生じる除算の最大整数が道路内の車線の数を示唆する。いくつかの実施形態において、方法300は、異なる領域における平均車線幅に関連した情報を得るために、サーバなどの外部データソースから情報を取得する。いくつかの実施形態において、オブジェクト検出は、道路内の車線の数を決定するために、統計分析と組み合わされる。例えば、いくつかの実施形態において、道路境界が検出され、車線の数を決定するために道路の全幅を使用する代わりに、道路境界間の距離だけが、道路の車線の数を決定するために使用される。いくつかの実施形態において、道路が単一車線を含むという決定は、道路が一方通行の道路であることを示すものである。いくつかの実施形態において、一方通行の道路を示す単一車線の決定は、都市又は街に限定され、田舎の道路には適用されない。
【0057】
いくつかの実施形態において、車線推定を検証するために、動作316からの車線推定が動作318からの車線推定と比較される。いくつかの実施形態において、車線推定は、動作316において決定された車線推定が動作318において決定された車線推定と一致するかどうかが検証される。いくつかの実施形態において、動作316において決定された車線推定と動作318において決定された車線推定との間の相違に応じて、アラートがユーザのために生成される。いくつかの実施形態において、アラートは、自動的に生成されて、ユーザによってアクセス可能なユーザインターフェース(UI)に送信される。いくつかの実施形態において、アラートは音声又は視覚アラートを含む。いくつかの実施形態において、動作316において決定された車線推定は、2つの車線推定間の対立に応じて、動作318において決定された車線推定を上書きするために使用可能である。この説明では、相違とは、一方の車線推定が車線の存在又は車線の位置を含み、他方の車線推定を使用した車線の決定がなかった状況であり、対立とは、第1の車線推定が、第2の車線決定とは異なる場所を決定し、又は第2の車線決定から車線の不在の肯定的な決定を決定する場合である。
【0058】
いくつかの実施形態において、動作316において識別される特徴は、高い信頼レベルを付与され、特徴の場所が高い精度であることを示す。いくつかの実施形態において、高い信頼レベルを有する特徴は、計算した場所の0.3メートル以内の場所正確性を有する。いくつかの実施形態において、動作318において識別される特徴は、低い信頼レベルを有し、特徴の場所が動作316において識別されるよりも低い精度であることを示す。いくつかの実施形態において、低い信頼レベルを有する特徴は、1.0メートル以内の場所正確性を有する。いくつかの実施形態において、動作318において識別される特徴との矛盾を有する動作316において識別される特徴は、高い信頼レベルと低い信頼レベルとの間にある中程度の信頼レベルを有する。いくつかの実施形態において、信頼レベルは、対応する特徴と関連したメタデータとして記憶される。いくつかの実施形態において、信頼レベルは、以下に説明される動作326における特徴の出力と一緒に含まれる。
【0059】
いくつかの実施形態において、動作316及び318は、建物など、受信された画像内のオブジェクトによって不明瞭にされる道路上の特徴の場所を補間するために使用可能である。いくつかの実施形態において、動作316及び318は、対応する不明瞭な特徴の場所を予想するために、受信された画像からの道路に関連した使用可能なデータを使用する。
【0060】
動作316及び318は、動作310において確立された半径範囲の外側の道路の部分に対して実施される。対照的に、動作320及び322は、動作310において確立された半径範囲の内側の道路の部分に対して実施される。
【0061】
方法300は、動作314のオブジェクト検出に基づいて車線及び交差路推定が実施される動作320をさらに含む。場合によっては、交差路は、交差点とも呼ばれる。動作314において検出されたオブジェクトに基づいて、交差点を通る車線接続を決定することができる。例えば、いくつかの実施形態において、交差点を通る曲線の後の破線は、いくつかの実施形態において、車線間の接続を決定するために使用可能である。いくつかの実施形態において、道路の側方に対する車線位置は、交差点を通る車線接続を決定するために使用可能である。例えば、道路の第1の側における道路の右側に最も近い車線は、第1の側から交差点をまたいだ交差点の第2の側における道路の右側に最も近い車線に接続されると仮定される。いくつかの実施形態において、動作310において設定された半径範囲内の検出された中央分離帯は、交差点を通る車線接続を決定するために使用可能である。例えば、道路の右側から第1の距離である交差点の第1の側の車線は、中央分離帯が交差点の第2の側の道路の右側から第1の距離であることに応じて、ターン専用車線であることが決定される。このため、交差点の第1の側の車線が交差点の第2の側の車線と直接接続することは予期されない。
【0062】
いくつかの実施形態において、オブジェクト認識は、交差点を通る車線接続を示す道路上の矢印などの道路標示を識別する。例えば、いくつかの実施形態において、直進のみを示す検出された矢印は、交差点の第1の側の車線が、交差点の真向いの交差点の第2の側の車線に接続されることを示す。いくつかの実施形態において、ターン専用車線を示す検出された矢印は、交差点の第1の側の車線が交差点の第2の側の車線に接続されないことを示す。いくつかの実施形態において、検出された停止線は、特定の進行方向のための車線が交差点においていくつ存在するかを決定するために使用可能である。例えば、いくつかの実施形態において、道路の全体にわたって延びる停止線の検出に応じて、道路が一方通行の道路であることが決定される。いくつかの実施形態において、およそ2つの車線幅の距離だけ道路にわたって部分的に延びる停止線の検出に応じて、道路に沿って交差点に接近する方向への進行を許可する2つの車線が存在すること、及び停止線が道路の全体にわたって延びないことから、道路が双方交通を許可することが示される。
【0063】
いくつかの実施形態において、複数の画像にわたって交差点を通って進行する車両の検出は、交差点における車線間の接続を決定するために使用可能である。例えば、交差点の第1の側の第1の車線から交差点の第2の側の第2の車線へ進行する一連の車両の検出に基づいて、動作320は、いくつかの実施形態において、第1及び第2の車線が接続されることを決定する。いくつかの実施形態において、交差点の第1の側の第1の車線から第1の側の左側の第3の車線へ進行する一連の車両の検出は、第1の車線が、第3の車線へ入るために左折を可能にすることを示す。いくつかの実施形態において、検出された車両経路に基づいた車線同士の接続は、特定の時間フレーム内での特定の経路に沿って進行する車両の閾値数の検出に従って仮定される。特定の時間フレーム内で経路に沿って進行する車両の閾値数を設定することは、長い時間期間にわたって単一車両又は非常に少ない車両が進行する違法又は緊急経路に基づいて車線同士の車線接続を確立することを回避するのに役立つ。いくつかの実施形態において、車両の閾値数は、1時間以内に約5台の車両から20分以内に約10台の車両の範囲に及ぶ。閾値内の車両の数が増加するか、時間期間が減少すると、その経路に沿って進行する車両の頻度が閾値を満足しない高いリスクを有することから、車線接続を確立することができないリスクが増大する。閾値内の車両の数が減少するか、時間期間が増加すると、誤った車線接続を確立するリスクが増大する。
【0064】
方法300は、交差路をまたぐ車線接続が、識別された車線に基づいて決定される動作322をさらに含む。いくつかの実施形態において、動作310において決定された半径範囲内の車線の存在は、動作316及び318において上で論じられるようなオブジェクト検出又は統計分析に基づく。いくつかの実施形態において、動作316又は動作318のうちの少なくとも一方からの情報は、動作310において決定された半径範囲近くの車線の場所を決定するために動作322において使用可能である。動作322は、車線の相対位置に基づいて交差点を通る車線同士の接続を決定する。すなわち、各車線は、交差点の反対側の対応する車線との接続を有すると見なされる。
【0065】
いくつかの実施形態において、車線接続を検証するために、動作320からの車線接続が動作322からの車線接続と比較される。いくつかの実施形態において、車線接続は、動作320において決定された車線接続が動作322において決定された車線接続と一致するかどうかが検証される。いくつかの実施形態において、動作320において決定された車線接続と動作322において決定された車線接続との間の相違に応じて、アラートがユーザのために生成される。いくつかの実施形態において、アラートは、自動的に生成されて、ユーザによってアクセス可能なユーザインターフェース(UI)に送信される。いくつかの実施形態において、アラートは音声又は視覚アラートを含む。いくつかの実施形態において、動作320において決定された車線接続は、2つの車線接続間の対立に応じて、動作322において決定された車線接続を上書きするために使用可能である。この説明では、相違とは、一方の車線接続が接続の存在を含み、他方の車線接続動作を使用した車線接続の決定がなかった状況であり、対立とは、第1の車線接続が、第2の車線接続とは異なる場所を決定し、又は第2の車線接続から車線接続の不在の肯定的な決定を決定する場合である。
【0066】
方法300は、動作312~318における道路の分析が、動作314、320、及び322における交差点の分析と組み合わされる動作324をさらに含む。いくつかの実施形態において、2つの分析は、動作310において決定された半径範囲において車線を整列させることによって組み合わされる。いくつかの実施形態において、2つの分析は、各分析によって生成されたシェイプファイルを一緒に階層化することによって組み合わされる。
【0067】
方法300は、統合された分析がエクスポートされる動作326をさらに含む。いくつかの実施形態において、統合された分析はサーバ又はUIなどの外部デバイスに送信される。いくつかの実施形態において、統合された分析はワイヤレスで又は有線接続によって送信される。いくつかの実施形態において、統合された分析は、目的地に到達するために道路網に沿ってどの経路を走行するべきかを車両運転者に指示するためのナビゲーションシステムにおいて使用可能である。いくつかの実施形態において、統合された分析は、目的地に到達するために道路網に沿って自動的に走行するように車両に指示するための自律運転プロトコルにおいて使用可能である。
【0068】
いくつかの実施形態において、方法300は追加の動作を含む。例えば、いくつかの実施形態において、方法300は、道路網に関連した履歴情報を受信することを含む。履歴情報は、新たに受信した情報と履歴情報との比較を可能にして、新たに受信した情報の分析における効率を向上させる。いくつかの実施形態において、方法300の動作の順序は変更される。例えば、いくつかの実施形態において、動作312は動作310の前に実施される。いくつかの実施形態において、方法300から少なくとも一つの動作が省略される。例えば、いくつかの実施形態において、動作326が省略され、統合された分析は、ユーザによるアクセスのためにメモリユニットに記憶される。
【0069】
図4Aは、いくつかの実施形態に従う鳥瞰画像400Aである。いくつかの実施形態において、画像400Aは、DLセマンティックセグメンテーションを経るための方法300(図3)によって受信されるタイル化画像である。いくつかの実施形態において、画像400Aは、方法200(図2A)の動作202において受信される画像の一部である。いくつかの実施形態において、画像400Aは、システム100(図1)によって受信される空間的画像110の一部である。画像400Aは、道路410Aを含む。道路410Aのうちのいくつかは、互いに接続される。道路410のうちのいくつかは、例えば、建物又は中央分離帯によって、互いから分離される。
【0070】
図4Bは、いくつかの実施形態に従う道路の平面図400Bである。いくつかの実施形態において、図面400Bは、方法300(図3)の動作302におけるDLセマンティックセグメンテーションの結果である。いくつかの実施形態において、図面400Bは、方法200(図2A)の動作208におけるセグメンテーションの結果である。いくつかの実施形態において、図面400Bは、システム100(図1)内の空間地図パイプラインユニット134において生成される。図面400Bは、道路410Bを含む。道路410Bの場所及びサイズは、画像400A(図4A)内の道路410Aの場所及びサイズに対応する。画像400A(図4A)内の建物、中央分離帯、車両、及び他のオブジェクトは、スケルトン化された道路地図を生成するためにセグメンテーションプロセスによって除去される。
【0071】
図5Aは、いくつかの実施形態に従う交差点識別を含む道路の平面図500Aである。いくつかの実施形態において、図面500Aは、方法300(図3)の動作306におけるノード検出の結果である。いくつかの実施形態において、図面500Aは、方法200(図2A)の動作210における道路オブジェクト検出による交差点の検出の結果である。いくつかの実施形態において、図面500Aは、システム100(図1)内のフュージョン地図パイプラインユニット160において生成される。図面500Aは、スケルトン化された道路地図からの道路の交差点においてノード510Aを含む。
【0072】
図5Bは、いくつかの実施形態に従う拡大された交差点領域を含む道路の平面図500Bである。図面500Bは、図面500A(図5A)と類似しており、識別された交差点の各々の周りに半径範囲510Bを伴う。半径範囲510Bは、図面500B内の交差点の各々の境界を越えて延びる。図面500B内の半径範囲510Bの各々は、同じ大きさを有する。いくつかの実施形態において、半径範囲510Bのうちの少なくとも1つは、少なくとも1つの他の半径範囲510Bとは異なるサイズを有する。いくつかの実施形態において、半径範囲510Bは、方法300(図3)における動作310に基づいて生成される。
【0073】
図6は、いくつかの実施形態に従うベクトル610、620、及び630を含む道路の平面図600である。図面600は、図面400B(図4B)と類似するスケルトン化された道路地図を含む。図面400B(図4B)と比較して、図面600は、1つの交差点、すなわちノードから、別の交差点への進行方向を示すベクトル610、620、及び630を含む。ベクトル610は、交差点612から交差点614への進行方向を示す。ベクトル620は、交差点622から交差点624への進行方向を示す。ベクトル630は、交差点632から交差点634への進行方向を示す。ベクトル610、620、及び630は、1つの交差点から別の交差点へ進行するために車両がどんな移動をするかを決定するために使用可能である。これは、第1の交差点から第2の交差点へ進行するためにどの道路及び車線接続を車両がとるべきかを決定することに役立つ。いくつかの実施形態において、図面600は、方法300(図3)における動作312の結果である。
【0074】
図7は、いくつかの実施形態に従う、識別されたマーカ710、720、及び730を含む道路の鳥瞰画像700である。いくつかの実施形態において、画像700は、方法300(図3)における動作314の結果である。いくつかの実施形態において、画像700は、方法200(図2A)内の動作230における空間地図の視覚表現である。いくつかの実施形態において、画像700は、道路地図生成システム100(図1)内の空間的画像オブジェクト検出ユニット140によって作成される。画像700は道路を含む。道路境界マーカ710は、道路の境界線を示す。車線境界線マーカ720は、道路に沿った車線境界線を示す。マーカ730は、道路の視界を妨害する建物の縁を示す。マーカ730によって示される建物による妨害の結果として、道路についての不明瞭な情報は、画像700において利用可能データから補間される。
【0075】
図8A図8Cは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。いくつかの実施形態において、図8A図8Cは、方法300(図3)の動作316及び/又は動作318を使用して生成される図面を含む。いくつかの実施形態において、図8A図8Cは、方法200(図2A)の動作216を使用して生成される図面を含む。いくつかの実施形態において、図8A図8Cは、道路地図生成システム100(図1)内の空間的画像オブジェクト検出ユニット140によって生成される図面を含む。図8Aは、スケルトン化された道路810を含む図面800Aを含む。図8Bは、道路810及び道路810の中央領域に沿った車線マーカ820を含む図面800Bを含む。いくつかの実施形態において、車線マーカ820は、反対方向に移動する交通を分離する実線を示す。いくつかの実施形態において、車線マーカ820は、同じ方向に移動する交通を分離する車線間の破線を示す。図8Cは、道路810、車線マーカ820、及び道路境界マーカ830を含む図面800Cを含む。道路境界マーカ830は道路810の周辺を示す。いくつかの実施形態において、道路境界マーカ830を越える領域は、路肩、歩道、道路に沿った駐車領域、又は他の道路特徴を含む。
【0076】
図9A図9Cは、いくつかの実施形態に従う車線識別の様々な段階における道路の平面図である。いくつかの実施形態において、図9A図9Cは、方法300(図3)の動作316及び/又は318を使用して生成される図面を含む。いくつかの実施形態において、図9A図9Cは、方法200(図2A)の動作216を使用して生成される図面を含む。いくつかの実施形態において、図9A図9Cは、道路地図生成システム100(図1)内の空間的画像オブジェクト検出ユニット140によって生成される図面を含む。図9Aは、スケルトン化された道路910及び車線境界線マーカ920を含む図面900Aを含む。図面800B(図8B)とは対照的に、車線境界線マーカ920は、同じ方向に移動する交通を分離する破線を明確に示す。図9Bは、道路910、車線境界線マーカ920、及び道路境界マーカ930を含む図面900Bを含む。道路境界マーカ930は道路910の周辺を示す。いくつかの実施形態において、道路境界マーカ930を越える領域は、路肩、歩道、道路に沿った駐車領域、又は他の道路特徴を含む。図9Cは、道路910の経路を示す道路グラフ940を含む図面900Cを含む。いくつかの実施形態において、道路グラフ940は、方法300(図3)の動作308を使用して生成される。
【0077】
図10は、いくつかの実施形態に従う道路地図を生成するためのシステム1000の図である。システム1000は、ハードウェアプロセッサ1002と、コンピュータプログラムコード1006、すなわち実行可能な命令のセットで符号化される、すなわちこれを記憶する非一時的なコンピュータ可読記憶媒体1004とを含む。コンピュータ可読記憶媒体1004はまた、サーバ又はUIなどの外部デバイスとインターフェースをとるための命令1007で符号化される。プロセッサ1002は、バス1008によりコンピュータ可読記憶媒体1004に電気的に結合される。プロセッサ1002はまた、バス1008によってI/Oインターフェース1010に電気的に結合される。ネットワークインターフェース1012もまた、バス1008によりプロセッサ1002に電気的に接続される。ネットワークインターフェース1012は、プロセッサ1002及びコンピュータ可読記憶媒体1004がネットワーク1014を介して外部要素に接続することができるようにネットワーク1014に接続される。プロセッサ1002は、システム1000を、道路地図生成システム100(図1)、方法200(図2A)、又は方法300(図3)において説明されるような動作の一部又はすべてを実施するために使用可能にさせるために、コンピュータ可読記憶媒体1004において符号化されるコンピュータプログラムコード1006を実行するように構成される。
【0078】
いくつかの実施形態において、プロセッサ1002は、中央処理ユニット(CPU)、マルチプロセッサ、分散処理システム、特定用途向け集積回路(ASIC)、及び/又は好適な処理ユニットである。
【0079】
いくつかの実施形態において、コンピュータ可読記憶媒体1004は、電子、磁気、光学、電磁、赤外線、及び/又は半導体システム(又は装置若しくはデバイス)である。例えば、コンピュータ可読記憶媒体1004は、半導体若しくは固体メモリ、磁気テープ、リムーバブルコンピュータディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、剛性磁気ディスク、及び/又は光学ディスクを含む。光学ディスクを使用するいくつかの実施形態において、コンピュータ可読記憶媒体1004は、コンパクトディスク-リードオンリメモリ(CD-ROM)、コンパクトディスク-リード/ライト(CD-R/W)、及び/又はデジタルビデオディスク(DVD)を含む。
【0080】
いくつかの実施形態において、記憶媒体1004は、道路地図生成システム100(図1)、方法200(図2A)、又は方法300(図3)において説明されるような動作の一部又はすべてをシステム100に実施させるように構成されるコンピュータプログラムコード1006を記憶する。いくつかの実施形態において、記憶媒体1004はまた、道路地図生成システム100(図1)、方法200(図2A)、又は方法300(図3)に説明されるような動作の一部又はすべてを実施するために必要とされる情報、並びに、画像パラメータ1016、道路パラメータ1018、交差点パラメータ1020、車線パラメータ1022、及び/又は道路地図生成システム100(図1)、方法200(図2A)、若しくは方法300(図3)において説明されるような動作の一部若しくはすべてを実施するための実行可能な命令のセットなど、道路地図生成システム100(図1)、方法200(図2A)、又は方法300(図3)において説明されるような動作の一部又はすべてを実施している間に生成される情報を記憶する。
【0081】
いくつかの実施形態において、記憶媒体1004は、外部デバイスとインターフェースをとるための命令1007を記憶する。命令1007は、道路地図生成システム100(図1)、方法200(図2A)、又は方法300(図3)において説明されるような動作の一部又はすべてを効果的に実施するために、プロセッサ1002が外部デバイスによって読み取り可能な命令を生成することを可能にする。
【0082】
システム1000は、I/Oインターフェース1010を含む。I/Oインターフェース1010は、外部回路に結合される。いくつかの実施形態において、I/Oインターフェース1010は、情報及びコマンドをプロセッサ1002に通信するための、キーボード、キーパッド、マウス、トラックボール、トラックパッド、及び/又はカーソル方向キーを含む。
【0083】
システム1000はまた、プロセッサ1002に結合されたネットワークインターフェース1012を含む。ネットワークインターフェース1012は、システム1000がネットワーク1014と通信することを可能にし、ネットワーク1014には1つ又は複数の他のコンピュータシステムが接続される。ネットワークインターフェース1012は、BLUETOOTH(登録商標)、WIFI、WIMAX、GPRS、若しくはWCDMA(登録商標)などのワイヤレスネットワークインターフェース、又はETHERNET、USB、若しくはIEEE-1394などの有線ネットワークインターフェースを含む。いくつかの実施形態において、道路地図生成システム100(図1)、方法200(図2A)、又は方法300(図3)に説明されるような動作の一部又はすべては、2つ以上のシステム100において実施され、情報は、ネットワーク1014を介して異なるシステム1000間で交換される。
【0084】
本説明の態様は、道路地図を決定する方法に関する。本方法は、道路の上からの画像を受信することを含む。本方法は、受信された画像に基づいて、スケルトン化された地図を生成することを含み、スケルトン化された地図は複数の道路を備える。本方法は、スケルトン化された地図内の複数の道路のうちの複数の道路の合流点に基づいて、交差点を識別することをさらに含む。本方法は、識別された交差点に基づいて、スケルトン化された地図を分割することをさらに含み、スケルトン化された地図を分割することは、道路データセット及び交差点データセットを規定する。本方法は、道路データセットを分析して、複数の道路の各道路内における車線の数を決定することをさらに含む。本方法は、識別された交差点内の車線接続への交差点データセットを分析することをさらに含む。本方法は、分析された道路データセット及び分析された交差点データセットの結果を統合して、道路地図を生成することをさらに含む。いくつかの実施形態において、受信された画像は衛星画像である。いくつかの実施形態において、道路データセットを分析することは、学習済みのニューラルネットワークを使用して道路データセットを分析して、オブジェクト検出を実施することを含む。いくつかの実施形態において、オブジェクト検出を実施することは、複数の道路のうちの少なくとも1つの道路に沿った車線境界線を識別することを含む。いくつかの実施形態において、道路データセットを分析することは、複数の道路の道幅を決定することを含む。いくつかの実施形態において、本方法は、決定された道幅に基づいて道路の車線の数を決定することをさらに含む。いくつかの実施形態において、スケルトン化された地図を分割することは、識別された交差点の各々においてノードを設定することと、ノードの周りの半径範囲を設定することと、道路データセットをノードの周りの半径範囲の外側にあるものとして規定することとを含む。いくつかの実施形態において、半径範囲を設定することは、識別された交差点の各々について同じ値になるようにノードの周りの半径範囲を設定することを含む。いくつかの実施形態において、半径範囲を設定することは、識別された交差点のうちの第1の識別された交差点と関連付けられたノードの周りの半径範囲を、識別された交差点のうちの第2の識別された交差点と関連付けられたノードの周りの半径範囲とは異なるように設定することを含む。
【0085】
本説明の態様は、システムに関する。本システムは、命令を記憶するように構成された非一時的なコンピュータ可読媒体を含む。本システムは、非一時的なコンピュータ可読媒体に接続されたプロセッサをさらに含む。プロセッサは、道路の上からの画像を受信するための命令を実行するように構成される。プロセッサは、受信された画像に基づいて、スケルトン化された地図を生成するための命令を実行するようにさらに構成され、スケルトン化された地図は複数の道路を備える。プロセッサは、スケルトン化された地図内の複数の道路のうちの複数の道路の合流点に基づいて交差点を識別するための命令を実行するようにさらに構成される。プロセッサは、識別された交差点に基づいて、スケルトン化された地図を分割するための命令を実行するようにさらに構成され、スケルトン化された地図を分割することは道路データセット及び交差点データセットを規定する。プロセッサは、道路データセットを分析して、複数の道路の各道路内における車線の数を決定するための命令を実行するようにさらに構成される。プロセッサは、識別された交差点内の車線接続への交差点データセットを分析するための命令を実行するようにさらに構成される。プロセッサは、分析された道路データセットの結果と、分析された交差点データセットの結果とを統合して、道路地図を生成するための命令を実行するようにさらに構成される。いくつかの実施形態において、受信された画像は衛星画像である。いくつかの実施形態において、プロセッサは、学習済みのニューラルネットワークを使用して道路データセットを分析して、オブジェクト検出を実施するための命令を実行するように構成される。いくつかの実施形態において、プロセッサは、オブジェクト検出を使用して複数の道路のうちの少なくとも1つの道路に沿った車線境界線を識別するための命令を実行するように構成される。いくつかの実施形態において、プロセッサは、複数の道路の道幅を決定するための命令を実行するように構成される。いくつかの実施形態において、プロセッサは、決定された道幅に基づいて道路の車線の数を決定するための命令を実行するように構成される。いくつかの実施形態において、プロセッサは、識別された交差点の各々においてノードを設定することと、ノードの周りの半径範囲を設定することと、道路データセットをノードの周りの半径範囲の外側にあるものとして規定することとによって、スケルトン化された地図を分割するための命令を実行するように構成される。いくつかの実施形態において、プロセッサは、識別された交差点の各々について同じ値になるようにノードの周りの半径範囲を設定するための命令を実行するように構成される。いくつかの実施形態において、プロセッサは、識別された交差点のうちの第1の識別された交差点と関連付けられたノードの周りの半径範囲を、識別された交差点のうちの第2の識別された交差点と関連付けられたノードの周りの半径範囲とは異なるように設定するための命令を実行するように構成される。
【0086】
本説明の態様は、道路地図を決定する方法に関する。本方法は、道路の上からの画像を受信することを含む。本方法は、受信された画像に基づいて、スケルトン化された地図を生成することを含み、スケルトン化された地図は複数の道路を備える。本方法は、スケルトン化された地図内の複数の道路のうちの複数の道路の合流点に基づいて、ノードを識別することをさらに含む。本方法は、複数の半径範囲を設定することをさらに含み、複数の半径範囲の各々が、識別されたノードの対応するノードの周りにある。本方法は、スケルトン化された地図を分割して、複数の半径範囲の各々の外側の道路データセット及び複数の半径範囲の各々の内側の交差点データセットを規定することをさらに含む。本方法は、道路データセットを分析して、複数の道路の各道路内における車線の数を決定することをさらに含む。本方法は、車線接続への交差点データセットを分析することをさらに含む。本方法は、分析された道路データセットの結果と、分析された交差点データセットの結果とを統合して、道路地図を生成することをさらに含む。いくつかの実施形態において、本方法は、統合された結果を外部デバイスにワイヤレス送信することをさらに含む。
【0087】
前述は、当業者が本開示の態様をよりよく理解することができるように、いくつかの実施形態の特徴を概説する。当業者は、本明細書で紹介された実施形態の同じ目的を果たすために且つ/又は同じ利点を達成するために、他のプロセス及び構図を設計又は修正するための基礎として本開示を容易に使用できるということを理解すべきである。当業者は、そのような等価の構造が、本開示の思想及び範囲から逸脱しないこと、並びにそれらが本開示の思想及び範囲から逸脱することなく本明細書において様々な変化、置換、及び変更をなし得ることも認識すべきである。
図1
図2A
図2B
図2C
図2D
図2E
図2F
図3
図4A
図4B
図5A
図5B
図6
図7
図8A
図8B
図8C
図9A
図9B
図9C
図10