(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024008904
(43)【公開日】2024-01-19
(54)【発明の名称】道路変化検出方法、コンピューティングデバイス及び記憶媒体
(51)【国際特許分類】
G08G 1/01 20060101AFI20240112BHJP
【FI】
G08G1/01 C
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023111052
(22)【出願日】2023-07-05
(31)【優先権主張番号】202210803292.7
(32)【優先日】2022-07-07
(33)【優先権主張国・地域又は機関】CN
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.WCDMA
(71)【出願人】
【識別番号】521254764
【氏名又は名称】北京図森智途科技有限公司
(74)【代理人】
【識別番号】110001139
【氏名又は名称】SK弁理士法人
(74)【代理人】
【識別番号】100130328
【弁理士】
【氏名又は名称】奥野 彰彦
(74)【代理人】
【識別番号】100130672
【弁理士】
【氏名又は名称】伊藤 寛之
(72)【発明者】
【氏名】宋代偉
(72)【発明者】
【氏名】魏佳輝
(72)【発明者】
【氏名】許可
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181BB05
5H181BB13
5H181BB20
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5H181DD02
5H181FF04
5H181FF10
5H181FF22
5H181FF25
5H181FF27
5H181FF33
(57)【要約】 (修正有)
【課題】検出の正確率が高く、リアルタイム、効率的、迅速に道路変化を発見することができる方法を提供する。
【解決手段】道路変化検出方法、コンピューティングデバイス及び記憶媒体に関し、該道路変化検出方法は、センサにより収集された道路データを取得するステップであって、前記道路データは、第1の車線を含み、前記第1の車線は、第1の基準点を含む、ステップと、前記道路データに対応するマップを取得するステップであって、前記マップは、第2の車線を含み、前記第2の車線は、第2の基準点を含む、ステップと、前記第1の車線及びその第1の基準点、前記第2の車線及びその第2の基準点、並びに前記道路データと前記マップとの投影関係に基づいて、前記道路データの道路特徴を生成するステップと、前記道路特徴を道路検出モデルに入力し、前記道路データにおける道路変化有無の結果を得るステップと、を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
道路変化検出方法であって、
センサにより収集された道路データを取得するステップであって、前記道路データは、第1の車線を含み、前記第1の車線は、第1の基準点を含む、ステップと、
前記道路データに対応するマップを取得するステップであって、前記マップは、第2の車線を含み、前記第2の車線は、第2の基準点を含む、ステップと、
前記第1の車線、前記第2の車線、及び前記道路データと前記マップとの投影関係に基づいて、前記道路データに対応する道路の道路特徴を生成するステップと、
前記道路特徴を道路検出モデルに入力し、前記道路変化有無の結果を得るステップと、を含む、道路変化検出方法。
【請求項2】
前記第1の車線、前記第2の車線、及び前記道路データと前記マップとの投影関係に基づいて、前記道路データに対応する道路の道路特徴を生成するステップは、
前記センサの姿勢に基づいて前記第1の車線を前記マップに投影し、投影後の第3の車線を得、前記第3の車線は、各第1の基準点に対応する第3の基準点を含むステップと、
各第2の車線、及び各第3の車線に基づいて前記道路特徴を生成するステップと、を含む、請求項1に記載の方法。
【請求項3】
前記道路検出モデルの出力は、道路変化タイプを含み、
前記道路変化タイプは、変化なし、実線の車線の消失、破線の車線の消失、実線の車線のオフセット、破線の車線のオフセット、実線の車線の新設、破線の車線の新設、実線の車線から破線の車線に変わること、破線の車線から実線の車線に変わること、道路が広くなること、道路が狭くなることの少なくとも1つを含む、請求項1に記載の方法。
【請求項4】
前記方法は、
同じ区間に属する複数フレームの道路データを決定するステップと、
前記複数フレームの道路データの検出結果に基づいて前記区間の変化有無を決定するステップと、をさらに含み、
センサにより収集された道路データを取得するステップは、
道路を走行する車両により収集された道路データパケットを取得し、前記車両に前記センサが取り付けられ、前記道路データパケットは、前記道路データ、前記センサの姿勢、及び検出して得られた前記道路データにおける実線の車線、破線の車線、及び遮蔽された車線の画素を含む、請求項1に記載の方法。
【請求項5】
前記第1の車線は、第1の実線及び第1の破線のうち少なくとも1つを含み、
前記第2の車線は、第2の実線及び第2の破線のうち少なくとも1つを含み、
前記第3の車線は、第3の実線及び第3の破線のうち少なくとも1つを含み、
前記第1の基準点は、第1の実線に位置する第1の実線点及び第1の破線に位置する第1の破線点のうち少なくとも1つを含み、
前記第2の基準点は、第2の実線に位置する第2の実線点及び第2の破線に位置する第2の破線点のうち少なくとも1つを含み、
前記第3の基準点は、第3の実線に位置する第3の実線点及び第3の破線に位置する第3の破線点のうち少なくとも1つを含む、請求項2に記載の方法。
【請求項6】
前記道路特徴は、
第2の実線点からそれに最も近い第3の実線点までの第1の距離パラメータ、
第2の破線点からそれに最も近い第3の破線点までの第2の距離パラメータ、
第3の破線点からそれに最も近い第2の破線点までの第3の距離パラメータ、
第3の実線が所在する所定の領域内の第2の破線点の数、
第3の実線が所在する所定の領域内の第2の実線点の数、
各第3の破線が所在する所定の領域内に第2の破線点が含まれない第3の破線の数、
遮蔽された車線の面積と総車道の面積との比、
前記センサの前方の所定の領域内の障害物の画素の数の少なくとも1つを含む、請求項5に記載の方法。
【請求項7】
前記道路特徴は、
前記マップにおける全ての第2の実線点にそれぞれ対応する第1の距離パラメータの平均値又は合計値と、
前記マップにおける全ての第2の破線点にそれぞれ対応する第2の距離パラメータの平均値又は合計値と、
前記マップにおける全ての第3の破線点にそれぞれ対応する第3の距離パラメータの平均値又は合計値と、
前記マップにおける全ての第3の実線にそれぞれ対応する第2の破線点の数の平均値又は合計値と、
前記マップにおける全ての第3の実線が所在する所定の領域内の第2の実線点の数の平均値又は合計値と、の少なくとも1つをさらに含む、請求項6に記載の方法。
【請求項8】
前記第1~第3の実線点は、いずれも実線の中心点を含み、
前記第2の破線点は、第2の破線のコーナー点及び第2の破線の中心点のうち少なくとも1つを含み、
前記第3の破線点は、第3の破線のコーナー点及び第3の破線の中心点のうち少なくとも1つを含み、
前記第2の距離パラメータは、第2の破線の中心点からそれに最も近い第3の破線のコーナー点までの距離パラメータを含み、
前記第3の距離パラメータは、第3の破線の中心点からそれに最も近い第2の破線の中心点までの距離パラメータを含み、
前記第2の破線点の数は、前記第3の実線が所在する所定の領域内の第2の破線のコーナー点の数を含み、
前記第2の実線点の数は、前記第3の実線が所在する所定の領域内の第2の実線の中心点の数を含む、請求項6に記載の方法。
【請求項9】
前記第3の実線が所在する所定の領域は、前記第3の実線の境界枠が所定の距離を外側に拡張して得られる領域を含み、
前記第3の破線が所在する所定の領域は、前記第3の破線の中心点を円心として前記第3の破線の長さよりも長い所与の長さを半径として得られる円形の領域を含み、
前記第3の破線の数は、初期が0であり、且つ1つの第3の破線が所在する所定の領域内に第2の破線点が含まれない度に、前記第3の破線の数に1を加算する、請求項6に記載の方法。
【請求項10】
前記第2の車線を前記道路データに投影し、投影後の第4の車線を得、前記第4の車線は、各第2の基準点にそれぞれ対応する第4の基準点を含むステップと、
前記第4の基準点からそれに最も近い第1の車線までの距離変換値を計算するステップと、
前記距離変換値が第1の閾値以上であることに応答して、地面の車線の消失又は車線の変更を決定するステップと、
前記第4の車線から障害物の画素に位置する第4の基準点を除去し、及び接続不可能な車線に位置する第2の基準点が投影された第4の基準点を除去するステップと、
第1の車線内の第4の基準点の数が第2の閾値以下であることに応答して、該第1の車線が新設線であると決定するステップと、をさらに含む、請求項1に記載の方法。
【請求項11】
前記第4の基準点は、第4の実線点及び第4の破線点のうち少なくとも1つを含み、第1の車線内の第4の基準点の数が第2の閾値以下であることに応答して、該第1の車線が新設線であると決定するステップは、
第1の実線内の第4の実線点の数及び第1の破線内の第4の破線点の数を計算するステップと、
第4の実線点の数が第2の閾値以下であることに応答して、該第1の実線が新設線であると決定するステップと、
第4の破線点の数が第2の閾値以下であることに応答して、該第1の破線が新設線であると決定するステップと、を含む、請求項10に記載の方法。
【請求項12】
前記第1の車線を地面に投影し、投影後の第5の車線を得、前記第5の車線は、各第1の基準点にそれぞれ対応する第5の基準点を含むステップと、
各第5の基準点からその座標に最も近い第2の基準点までの第5の距離パラメータを計算するステップと、
前記第5の距離パラメータに基づいて、前記道路データにおいて、破線から実線に変わること、実線から破線に変わること、又は道路修繕の位置ずれの状況の有無を決定するステップと、をさらに含む、請求項1に記載の方法。
【請求項13】
道路検出モデルのトレーニング方法であって、
タグ付けされたトレーニングセットを取得するステップであって、前記トレーニングセットは、複数の道路データと、各道路データにおける車線変化有無のタグと、を含み、前記道路データは、第1の車線を含み、前記第1の車線は、第1の基準点を含む、ステップと、
前記道路データに対応するマップを取得するステップであって、前記マップは、第2の車線を含み、前記第2の車線は、第2の基準点を含む、ステップと、
前記第1の車線、前記第2の車線、及び前記道路データと前記マップとの投影関係に基づいて、前記道路データの道路特徴を生成するステップと、
前記道路データの道路特徴及びタグに基づいて前記道路検出モデルをトレーニングするステップと、を含む、道路検出モデルのトレーニング方法。
【請求項14】
コンピューティングデバイスであって、
プロセッサ、メモリ、及びメモリに記憶されてプロセッサで実行可能なコンピュータプログラムを含み、
ここで、前記プロセッサは、前記コンピュータプログラムを実行する時に、請求項1に記載の方法を実行する、コンピューティングデバイス。
【請求項15】
コンピュータ読み取り可能な記憶媒体であって、コンピュータプログラムを記憶し、前記コンピュータプログラムがプロセッサにより実行される時に、請求項1に記載の方法を実現する、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コンピュータ技術分野に関し、特に、道路変化検出の変化方法、コンピューティングデバイス及び記憶媒体に関する。
【背景技術】
【0002】
高精度マップは、自動運転システムのコアモジュールとして、事前知識により実際の運転中にセンサが感知する不足を補うことにより、自動運転システムの安定性を向上させることができ、自動運転システムに不可欠な一部である。高精度マップは、各道路の状況を明確且つ正確に表示することができるが、実際の応用において、道路における車線が既に変化しており、例えば、車線が消失し又は車線が新設されるが、高精度マップでは該変化状況が更新されず、依然として変化前の道路状況であることがよく発生する。そのため、道路の車線が変化したか否かを即時に決定する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示は、上述言及した問題を解決するか、又は少なくとも解決するための道路変化検出方法、コンピューティングデバイス、記憶媒体及び車両を提供する。
【課題を解決するための手段】
【0004】
本開示の実施例の第1の態様にて提供される道路変化検出方法は、
センサにより収集された道路データを取得するステップであって、前記道路データは、第1の車線を含み、前記第1の車線は、第1の基準点を含む、ステップと、
前記道路データに対応するマップを取得するステップであって、前記マップは、第2の車線を含み、前記第2の車線は、第2の基準点を含む、ステップと、
前記第1の車線及びその第1の基準点、前記第2の車線及びその第2の基準点、並びに前記道路データと前記マップとの投影関係に基づいて、前記道路データの道路特徴を生成するステップと、
前記道路特徴を道路検出モデルに入力し、前記道路データにおける道路変化有無の結果を得るステップと、を含む。
【0005】
本開示の実施例の第2の態様にて提供される道路検出モデルのトレーニング方法は、
タグ付けされたトレーニングセットを取得するステップであって、前記トレーニングセットは、複数の道路データと、各道路データにおける車線変化有無のタグと、を含み、前記道路データは、第1の車線を含み、前記第1の車線は、第1の基準点を含む、ステップと、
前記道路データに対応するマップを取得するステップであって、前記マップは、第2の車線を含み、前記第2の車線は、第2の基準点を含む、ステップと、
前記第1の車線及びその第1の基準点、前記第2の車線及びその第2の基準点、並びに前記道路データと前記マップとの投影関係に基づいて、前記道路データの道路特徴を生成するステップと、
前記道路データの道路特徴及びタグに基づいて前記道路検出モデルをトレーニングするステップと、を含む。
【0006】
本開示の実施例の第3の態様にて提供されるコンピューティングデバイスは、1つ又は複数のプロセッサと、メモリと、を含み、前記メモリは、1つ又は複数のプログラムを記憶し、前記1つ又は複数のプログラムは、前記1つ又は複数のプロセッサにより実行される時に、前記1つ又は複数のプロセッサに本開示の道路変化検出方法及び道路検出モデルトレーニング方法のうち少なくとも1つを実現させる。
【0007】
本開示の実施例の第4の態様にて提供されるコンピュータ読み取り可能な記憶媒体は、プログラムを記憶し、前記プログラムがプロセッサにより実行される時に、本開示による道路変化検出方法及び道路検出モデルトレーニング方法のうち少なくとも1つを実現する。
【発明の効果】
【0008】
本開示の実施例の解決手段によれば、マップの車線と道路データ(例えば道路画像、道路点群など)を比較することで車線の特徴を生成し、且つ予めトレーニングされた道路検出モデルを用いて道路データにおける道路変化有無を検出し、検出の正確率が高く、リアルタイム、効率的、迅速に道路変化を発見することができる。その後、道路変化の結果に応答して、フローを更新するようにマップを自動的にトリガーし、収集された道路データに基づいて最新のバージョンのマップを生成することもできる。
【図面の簡単な説明】
【0009】
本開示の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術に対する説明における使用が必要な図面を簡単に紹介し、明らかに、当業者にとって、創造的な労力を行わずに、これらの図面に基づいて他の図面を得ることもできる。
【
図1】本開示の1つの実施例の道路変化検出方法100のフローチャートを示す。
【
図2】本開示の別の実施例の道路変化検出方法200のフローチャートを示す。
【
図3】本開示のさらに別の実施例の道路変化検出方法300のフローチャートを示す。
【
図4】本開示の1つの実施例の道路検出モデルトレーニング方法400のフローチャートを示す。
【
図5】本開示のさらに別の実施例のマッピング方法500のフローチャートを示す。
【
図6】本開示の1つの実施例の接続不可能な車道の模式図を示す。
【
図7】本開示の1つの実施例のコンピューティングデバイス700の構成図を示す。
【発明を実施するための形態】
【0010】
以下、図面と併せて本開示の実施例における技術的解決手段を明確且つ完全に記述し、明らかに、記述された実施例は、単に本開示の一部の実施例であり、全ての実施例ではない。本明細書における実施例に基づいて、当業者は、様々な変形及び変換を行うことができ、同等の方式で変換して得られた全ての技術的解決手段は、いずれも本開示の保護範囲に属する。
【0011】
本開示の実施例の技術的解決手段を明確に記述するために、本開示の実施例において、「第1の」、「第2の」などの文字を用いて機能又は作用が基本的に同じである同一項目又は類似項目を区分し、当業者は「第1の」、「第2の」などの文字が数及び実行順序を限定しないと理解することができる。
【0012】
本明細書における用語「及び/又は」は、関連対象を記述する関連関係のみであり、3種類の関係が存在することを示し、例えば、A及び/又はBは、Aが単独で存在する場合と、AとBが同時に存在する場合と、Bが単独で存在する場合とを示すことができる。なお、本明細書において符号「/」は、一般的には、前後の関連対象が「又は」の関係であることを示す。
【0013】
図1は、本開示の1つの実施例による道路変化検出方法100(すなわち、道路修繕検出方法)のフローチャートを示す。
図1に示すように、方法100は、
センサにより収集された道路データを取得するステップであって、該道路データは、少なくとも1つの第1の車線を含み、各第1の車線は、少なくとも1つの第1の基準点を含む、ステップS110と、
道路データに対応するマップを取得するステップであって、該マップは、少なくとも1つの第2の車線を含み、各第2の車線は、少なくとも1つの第2の基準点を含む、ステップS120と、
第1の車線及びその第1の基準点、第2の車線及びその第2の基準点、並びに道路データとマップとの投影関係に基づいて、道路データの道路特徴を生成するステップS130と、
道路特徴を道路検出モデルに入力し、道路データにおける道路変化有無の結果を得るステップS140と、を含む。
【0014】
いくつかの実施例において、センサにより収集された道路データを取得するステップS110は、
道路を走行する車両により収集された道路データパケットを取得し、該車両にセンサが取り付けられ、センサにより収集されたデータは、リアルタイム又は定期的にリモートプラットフォーム(該プラットフォームは、専用の検出プラットフォームであってもよく、後述するマッピングプラットフォームであってもよい)に伝送され、リモートプラットフォームは、受信したデータに基づいて道路変化有無を判断し、且つ道路変化時に、フローを更新するようにマップをトリガーし、最新のバージョンのマップを生成することができるステップを含む。
【0015】
1つの実現形態において、専用のマップ収集車により実際の道路情報を収集し、道路データパケットを生成することができる。別の実現形態において、消費者車両(消費者らが購入したトラック、自動車などの)のセンサにより実際の道路情報を収集し、道路データパッケージを生成することができる。
【0016】
1つのデータパケットは、所定の時間又は所定の走行距離の道路データ(又はセンサデータと呼ばれる)を含む可能性があり、道路データは、道路及び周辺環境の結像データ、該道路データを収集するためのセンサの姿勢、並びにこれらの結像データを検出した後のセマンティック情報などを含むことができる。該セマンティック情報は、例えば、検出された道路データにおける障害物、実線の車線、破線の車線、及び遮蔽された車線の画素である。
【0017】
例えば、ある車線の一部の領域が車両や樹木により遮蔽され、本開示の実施例は、道路データをセマンティック検出する時に、該フレーム結像における車線の画素、遮蔽された車線の画素、実線の車線の画素、破線の車線の画素、及び各障害物の画素、例えば、車両の画素、歩行者や動物の画素などを直接決定することができる。結像データを予めトレーニングされたセマンティック検出モデルに入力してセマンティック情報を得ることができ、エッジ検出、連通ドメイン検出などの多様な画像処理方法に基づいてセマンティック情報を決定することもできる。また、道路が車線に属する画素を検出したが、破線と実線を区分しない場合、車線マスクを3D地面に投影し、且つ3D地面に投影された長さに基づいて破線と実線を区分し、さらに対応する投影前の車線の破線と実線の属性を決定することができる。
【0018】
センサにより収集された道路データは、画像収集装置により収集された画像データ、及び点群収集装置により収集された点群データを含むが、それらに限定されない。画像収集装置は、カメラを含み、点群収集装置は、レーザレーダー、ミリメートル波レーダー、固体レーザレーダーなどを含むが、これらに限定されない。
【0019】
道路データパケットは、センサが道路データを収集する時に異なるタイムスタンプ(又は時刻)におけるセンサの姿勢又は車両の姿勢をさらに含むことができる。センサの姿勢は、例えば、IMU/GNSS、GPS、レーザレーダー及びカメラなどの多様な測位センサにより決定して得られるが、本開示の実施例は、マルチセンサの測位観測結果を融合し、各フレームの道路画像を収集する時のカメラの姿勢、IMU姿勢、レーダーの姿勢、又は車両の姿勢を決定することができ、異なるデバイスの間の姿勢は、座標変換関係により計算して得られる。姿勢は、位置及び姿態のうち少なくとも1つを含む。位置は、道路点の2次元座標値、3次元座標値などを含むが、これらに限定されない。姿態は、ピッチ角、ヨー角及びロール角を含む車両の向きを表す。センサの姿勢又はタイムスタンプにより対応する道路データをルックアップし、さらに該道路データに基づいて、例えば、点群マップ、セマンティックマップなどのマップを更新することができる。
【0020】
各フレームの道路データは、少なくとも1つの第1の車線を含み、各第1の車線は、少なくとも1つの第1の基準点を含み、本開示の各基準点は、2次元座標又は3次元座標を有する。第1の車線は、第1の実線及び第1の破線のうち少なくとも1つを含む。実線の車線は、すなわち道路における連続した長い線であり、破線の車線は、すなわち道路における離散的な短い線である。第1の基準点は、第1の実線点及び第1の破線点のうち少なくとも1つを含む。ここで、第1の実線点は、第1の実線の中心点を含み、具体的には、実線の中心線における一連の離散点を含み、実線の左右の境界線における離散点であってもよい。第1の破線の中心点は、破線における一連の離散的な中心点を含み、破線の左右の境界線における離散点を含むことができ、破線のコーナー点(すなわち、破線の頂点)を含むこともできる。すなわち、第1の破線点は、第1の破線のコーナー点及び第1の破線の中心点のうち少なくとも1つを含む。本開示の実施例は、対応する破線及び実線を一意に表すことができる限り、実線の基準点及び破線の基準点の位置の属性に特に制限を課すものではない。
【0021】
各フレームの道路画像を収集する時のセンサの姿勢(又は例えばGPS位置などの車両の姿勢)が既知である場合、ステップS120において、センサの姿勢に基づいて各フレームの道路画像に対応するローカルマップを決定することができる。一般的に、該センサ又は車両の測位情報に基づいて高精度マップからセマンティックサブマップを取得することができ、該高精度マップは、3Dマップであってもよく、2Dマップであってもよい。該セマンティックサブマップは、複数の第2の車線を含み、各第2の車線は、少なくとも1つの第2の基準点を含み、各基準点は、2次元座標又は3次元座標を有する。第2の基準点は、第1の車線に類似し、第2の実線点及び第2の破線点のうち少なくとも1つを含み、第2の実線点は、第2の実線の中心点を含み、具体的には、実線の中心線における一連の離散点を含み、又は、実線の左右の境界線における離散点を含む。第2の破線点は、破線ブロックの中心点、破線の中心線における一連の離散点を含み、破線の4つのコーナー点を含むこともできる。すなわち、第2の破線点は、第2の破線のコーナー点及び第2の破線の中心点のうち少なくとも1つを含む。
【0022】
座標計算を容易にするために、本開示の実施例は、マップ座標、観測された道路データにおける車線をいずれもIMU座標系に変換する。
【0023】
また、ローカルマップの表示領域は、道路データの表示領域と同じであってもよく、異なっていてもよい。好ましくは、ローカルマップは、例えば、車両を中心とする円形、正方形、又は長方形、車両が所在する所定の領域内のマップであり、すなわち、ローカルマップは、車両の前後左右の所定の距離内、例えば60~80メートルを表示するマップであり、当然ながら、これに限定されない。車両が所在する所定の領域は、現在検出対象の道路を含むので、上記円形の半径又は正方形又は長方形の辺の長さは、検出対象の区間の長さ以上であり、該区間は、道路全体であってもよく、道路全体のうち一部の区間であってもよい。好ましくは、道路が修繕されているか否かをセグメントごとに検出することができるので、あるフレームの道路データとのマッチングを行う度に、車両の前後左右60メートルずつの範囲内のローカルマップを選択し、該フレームの道路データとのマッチングを行う。道路データの表示領域がセンサの結像の大きさに関係することを考慮し、マップの縮尺に応じて道路データの対応領域のマップを取得することができる。マップにおける車線の表現方式は、道路データにおける車線の表現方式と同じであってもよく、異なっていてもよい。マップにおける隣接する実線点の間の距離(すなわち、点の疎らの程度)は、画像における隣接する実線点の間の距離と同じであってもよく、異なっていてもよく、本開示は、これを限定しない。
【0024】
いくつかの実施例において、ステップS130は、道路データにおける車線をマップ(すなわち、ステップS120におけるローカルマップ)に投影し、且つマップにおける既存の車線及び投影後の車線に基づいて道路特徴を計算することができ、具体的には、
センサの姿勢に基づいて道路データにおける第1の車線をマップに投影し、投影後の第3の車線を得、第3の車線は、各第1の基準点に対応する第3の基準点を含むステップS131と、
マップにおける各第2の車線及びその第2の基準点、並びに各第3の車線及びその第3の基準点に基づいて道路特徴を生成するステップS132と、を含む。
【0025】
例えば、画像におけるある破線の車線L1がセンサの姿勢に基づいてマップに投影された後、投影後の車線L3を得、車線L1の4つのコーナー点の座標は、それぞれA、B、C、Dであり、投影後にそれぞれ点A'、B'、C'、D'を得る。第3の車線は、同様に第3の実線及び第3の破線のうち少なくとも1つを含み、投影対象の第1の車線が実線である場合、投影された該第3の車線は、依然として実線である。第3の基準点は、第3の実線点及び第3の破線点のうち少なくとも1つを含み、第3の実線点は、実線の中心線又は境界線における離散点を含み、第3の破線点は、破線の中心点及び破線のコーナー点のうち少なくとも1つを含む。その後、マップにおける既存の車線及び基準点、並びに投影された車線及び基準点に基づいて道路特徴を生成することができる。
【0026】
理解されるように、ステップS130は、マップの車線を道路データに投影し、且つ道路データにおける既存の車線及び投影された車線に基づいて道路特徴を計算することもでき、具体的には、
センサの姿勢に基づいてマップにおける第2の車線を道路データに投影し、投影後の第4の車線を得、該第4の車線は、各第2の基準点に対応する第4の基準点を含むステップS133と、
道路データにおける各第1の車線及びその第1の基準点、並びに各第4の車線及びその第4の基準点に基づいて道路特徴を生成するステップS134と、を含む。
【0027】
マップの車線を道路データに投影して道路特徴を計算する方式は、結像の車線をマップに投影して道路特徴を計算する方式に類似するので、ここではその説明を省略する。
【0028】
いくつかの実施例において、道路特徴は、基準点及び/又は車線に関連する距離パラメータ(例えば、2つ点の間の距離パラメータ、2本の線の間の距離パラメータ、点から線までの距離パラメータ)、点の数(例えばある所定の領域内の線の数)、遮蔽された車線の面積パラメータ、車線の数(例えばある所定の領域内の線の数)、物体の画素の数などを含む。さらに、道路特徴は、以下の少なくとも1つを含む。
【0029】
特徴1:第2の実線点から最も近い第3の実線点までの第1の距離パラメータである。各フレームの道路データに複数の第2の実線点がある可能性があることを考慮するので、特徴1は、さらにマップにおける全ての第2の実線点にそれぞれ対応する第1の距離パラメータの平均値又は合計値を含む。すなわち、マップにおける第2の実線点をトラバースし、各第2の実線点にそれぞれ対応する第1の距離パラメータを決定し、且つ決定された複数の第1の距離パラメータの平均値及び/又は合計値を求める。ここで、第2の実線点は、すなわち、第2の実線における一連の離散的な中心点であり、第3の実線点は、すなわち、第3の実線における一連の離散的な中心点である。各点の2次元又は3次元座標が既知であるので、第2の実線点に最も近い第3の実線点を決定することができる。選択可能に、第1の距離パラメータは、第2の実線の中心点から最も近い第3の実線の中心点までの距離を含む。
【0030】
特徴2:第2の破線点から最も近い第3の破線点までの第2の距離パラメータである。特徴2は、マップにおける全ての第2の破線点にそれぞれ対応する第2の距離パラメータの平均値又は合計値を含む。すなわち、マップにおける第2の破線点をトラバースし、各第2の破線点にそれぞれ対応する第2の距離パラメータを決定し、且つ決定された複数の第2の距離パラメータの平均値及び/又は合計値を求める。選択可能に、第2の距離パラメータは、第2の破線の中心点から最も近い第3の破線のコーナー点までの距離を含む。特徴2は、特徴1と原理的に類似するので、ここではその説明を省略する。
【0031】
特徴3:第3の破線点から最も近い第2の破線点までの第3の距離パラメータである。特徴3は、マップにおける全ての第3の破線点にそれぞれ対応する第3の距離パラメータの平均値又は合計値を含む。すなわち、マップに投影された複数の第3の破線点をトラバースし、各第3の破線点にそれぞれ対応する第3の距離パラメータを決定し、且つ決定された複数の第3の距離パラメータの平均値及び/又は合計値を求める。選択可能に、第3の距離パラメータは、第3の破線の中心点から最も近い第2の破線の中心点までの距離を含む。
【0032】
特徴4:第3の実線が所在する所定の領域内の第2の破線点の数である。特徴4は、さらにマップにおける全ての第3の実線にそれぞれ対応する第2の破線点の数の平均値又は合計値を含む。選択可能に、第2の破線点の数は、第3の実線が所在する所定の領域内の第2の破線のコーナー点の数を含む。第3の実線が所在する所定の領域は、第3の実線の境界枠が所定の距離を外側に拡張して得られる領域を含む。本開示の実施例では、検出された各実線の車線及び破線の車線は、その境界枠があり、境界枠が所定の距離又は所定の画素の数を外側に拡張して得られる領域は、第3の実線が所在する所定の領域である。
【0033】
特徴5:第3の実線が所在する所定の領域内の第2の実線点の数である。特徴5は、マップにおける全ての第3の実線が所在する所定の領域内の第2の実線点の数の平均値又は合計値を含む。選択可能に、第2の実線点の数は、第3の実線が所在する所定の領域内の第2の実線の中心点の数を含む。
【0034】
特徴6:各第3の破線が所在する所定の領域内に第2の破線点が含まれない第3の破線の数である。ここで、第3の破線の数は、初期が0であり、且つ1つの第3の破線が所在する所定の領域内に第2の破線点が含まれない度に、前記第3の破線の数に1を加算する。例えば、現在のマップにおいて、投影後の破線の車線が5本あり、そのうち3本の破線の車線が所在する所定の領域内に既存のマップの破線点がない場合、特徴6の数は、3である。選択可能に、第3の破線が所在する所定の領域は、第3の破線の中心点を円心として第3の破線の長さよりも長い所与の長さを半径として得られる円形の領域を含む。又は、第3の破線が所在する所定の領域は、第3の破線の境界枠が所定の距離を外側に拡張して得られる領域を含む。
【0035】
特徴7:遮蔽された車線の面積と総車道の面積との比である。本開示の実施例は、各フレームの道路データにおける車線の画素、非車線の画素、及び遮蔽された車線の画素を出力することができ、さらに遮蔽された車線の面積及び総車線の面積を計算することができ、具体的には、画素の数又は幾何学的関係に基づいて計算することができ、ここではその説明を省略する。遮蔽された車線の画素とは、該車線の画素が車両や歩行者などの他の物体により覆われることである。
【0036】
特徴8:センサの前方の所定の領域内の障害物の画素の数である。ここで、センサの前方の所定の領域は、該道路データを収集するセンサの前方5m~10mの領域範囲内を含むが、当然ながら、これに限定されない。障害物は、動的障害物を含み、具体的には、車両、歩行者、動物などの動的障害物を含む。
【0037】
いくつかの実施例において、道路特徴は、車道幅、車道内の車線の数、車線の長さ、現在車道における車線の番号、第2の実線から最も近い第3の実線までの第6の距離パラメータ、第3の実線から最も近い第2の実線までの第7の距離パラメータ、第3の実線点から最も近い第2の実線点までの第8の距離パラメータのうち少なくとも1つを含むこともできる。ここで、第6の距離パラメータは、第3の実線の中心線から第2の実線の中心点までの距離を含み、第7の距離パラメータは、第3の実線の中心線から第2の実線の中心点までの距離を含み、第8の距離パラメータは、第3の実線の中心点から最も近い第2の実線の中心点までの距離を含む。距離に関連する後の3つの特徴は、同様に本フレームの画像又は点群における全てのオブジェクトの距離パラメータの平均値及び/又は合計値を含むことができる。また、以上の各特徴における各距離パラメータ又は点の数の統合は、平均値や合計値の他、当然ながら、最大値、最小値、中央値、上位n位の平均値などの常用の統計量を用いてもよく、本開示は、これを限定しない。以下言及する各距離パラメータ及び点の数も、同様に該統計方式を用いてもよく、以下、その説明を省略する。以上の異なる種類の道路特徴は、高次元ベクトルを構成することができ、さらに該高次元ベクトルに基づいてモデル予測を行うことができる。m個の道路特徴は、m次元ベクトルを構成することができる。
【0038】
その後、ステップS150において、生成された道路特徴を予めトレーニングされた道路検出モデルに入力する。該道路検出モデルの入力は、道路の道路特徴を含み、出力は、道路変化有無、及び道路変化タイプのうち少なくとも1つを含む。
【0039】
1つの実現形態において、道路検出モデルは、道路変化有無、例えば、変化した場合に1を出力し、変化していない場合に0を出力し、及び道路変化有無の信頼度を出力することができる。
【0040】
別の実現形態において、道路検出モデルは、さらに道路変化タイプ、及び各種の道路変化タイプの信頼度を出力することもできる。該道路変化タイプは、変化なし、実線の車線の消失、破線の車線の消失、実線の車線のオフセット、破線の車線のオフセット、実線の車線の新設、破線の車線の新設、実線の車線から破線の車線に変わること、破線の車線から実線の車線に変わること、道路が広くなること、道路が狭くなることの少なくとも1つを含む。各種の変化タイプは、1つの出力識別子に対応することができ、それにより出力識別子に基づいて道路変化タイプを決定することができる。当然ながら、当業者は、実際の状況に応じて他の都市工事の道路変化タイプを加えることもでき、本開示は、これを限定しない。また、本開示のマップには、各道路の道路識別子が記憶され得るので、異なる道路識別子に対応する道路変化有無を最後に決定することができる。
【0041】
長い道路において、道路の一部が修繕され、一部が変化しないことを考慮する。そのため、いくつかの実施例において、本開示の実施例は、フレームごとに、各フレームの画像又は各フレームの点群における道路変化有無を検出し、すなわち、フレームごとに道路特徴を生成し、且つ生成された道路特徴に基づいて道路が修繕されるか否かを決定することができる。各フレームの道路画像を取得する時のセンサの姿勢が既知であり、画像収集車の位置を決定することができ、各道路は、道路識別子を有し、各区間は、その属する道路の道路識別子を有するので、同じ道路に属する複数フレームの道路データを決定することができる。さらに、方法100は、同じ道路に属する複数の道路データを決定し、且つ該複数の道路データの検出結果に基づいて該道路変化有無を決定することができる。
【0042】
例えば、同じ道路に属する複数フレームの検出結果を取得し、そのうち最も出現回数が多い検出結果を該道路の検出結果とする。ある道路は、合計20フレームの画像を有し、そのうち15フレームの画像の検出結果がいずれも道路が変化したことであり、残り5フレームの結果が道路が変化していないことであると仮定すると、該道路が変化したと決定する。具体的な道路変化タイプの検出結果の出力についても、同様に該方式に適用され、すなわち、最も出現回数が多い変化タイプが該道路の変化タイプであり、ここではその説明を省略する。
【0043】
他のいくつか実施例において、本開示の実施例は、まず同じ道路に属する複数の道路データを決定し、該複数の道路データを統合して道路特徴を計算し、且つ該道路特徴に基づいて該道路変化有無を決定することもできる。
【0044】
例えば、同じ道路の複数の道路データに対して、各フレームの道路データに対して、それぞれステップS120~ステップS140の方式により、対応する第3の車線及び第3の基準点を決定し、及び各フレームの道路データの道路特徴を計算する。以下、ステップS150において、複数フレームの道路データの道路特徴に基づいて1つの総合的な道路特徴を計算し、且つ該総合的な道路特徴を道路検出モデルに入力し、該道路変化有無及び変化タイプの結果を得る。
【0045】
以上、モデル予測の方式により道路変化有無を検出することを第1の検出方式と呼び、得られた結果は、第1の検出結果である。本開示の実施例は、さらに別の空間座標計算方式を提供して道路変化有無を検出し、第2の検出方式と呼び、得られた結果は、第2の検出結果である。各フレームの道路画像に対して、第1の検出方式により予測してもよく、第2の検出方式により予測してもよく、それ以外、2種類の予測結果を統合して、道路変化有無の最終結果も得ることができる。
【0046】
図2は、本開示の別の実施例による道路変化検出方法200のフローチャートを示し、第2の検出方法により、各フレームの道路データ変化有無、例えば、地面の車線の消失又は車線の変更の有無、車線の新設の有無、破線から実線に変わることの有無、実線から破線に変わることの有無、又は道路修繕の位置ずれの有無を検出する。
図2に示すように、方法200は、ステップS210~ステップS230を含み、
ステップS210において、第2の車線を道路データに投影し、投影後の第4の車線を得、該第4の車線は、各第2の基準点にそれぞれ対応する第4の基準点を含む。
ステップS220において、第4の基準点からそれに最も近い第1の車線までの距離変換値を計算する。
ステップS230において、距離変換値が第1の閾値以上であることに応答して、地面における車線の消失又は車線の変更を決定する。該距離変換値の値が大きいほど、地面線の消失又は車線の変更の信頼度が高く、本開示は、距離の変化値に基づいて該点線の消失又は車線の変更の信頼度を計算することができる。
【0047】
具体的には、各第4の車線に対してそれぞれ計算を行い、単一の第4の車線内の第4の基準点からその座標位置に最も近い第1の車線までの距離変換値を計算する。第4の車線及び第1の車線は、いずれも画像や点群などの道路データに位置し、該距離変換値は、点から直線までの垂直的な最も近い距離を採用することができる。以下、1つの第4の車線内の全ての第4の基準点の距離変化値の合計値又は平均値を求め、該合計値又は平均値が第1の閾値以上であれば、地面の既存の車線の消失又は車線の変更を決定し、この時にマップに車線があるが、実際の道路に車線がない。
【0048】
第4の車線は、第4の実線及び第4の破線のうち少なくとも1つを含み、第4の基準点は、第4の実線点及び第4の破線点のうち少なくとも1つを含み、第4の実線点は、実線の中心線における一連の点を含み、第4の破線点は、破線の中心点及び破線のコーナー点のうち少なくとも1つを含む。そのため、第4の基準点から最も近い第1の車線までの距離変化値は、第4の実線点から最も近い第1の実線までの距離変化値、又は第4の破線点から最も近い第1の破線までの距離変換値を含むことができる。
【0049】
いくつかの実施例において、方法200は、ステップS240~ステップS250をさらに含むことができ、
ステップS240において、第4の車線から障害物の画素に位置する第4の基準点を除去する。
ステップS250において、第1の車線内の第4の基準点の数が第2の閾値以下であることに応答して、該第1の車線が新設線であると決定する。該第4の基準点の数が少ないほど、該第1の車線が新設線であることを表す信頼度が高く、本開示は、該第4の基準点の数に基づいて該新設線の信頼度を計算することができる。
【0050】
前述のように、本開示が収集したデータパケットは、道路データ、センサの姿勢、道路データに対して検出された車線の画素、障害物の画素などを含む。道路データにおける障害物の画素が既知である場合、ステップS240において障害物の画素に投影された第4の基準点を除去することができる。
【0051】
また、本開示の実施例は、道路データにおける破線の車線を検出する時に、隣接する2つの破線ブロックの接続領域をそのうち1つの破線の車線に加えてもよい。すなわち、各第1の破線は、該破線ブロック自体を含み、該破線ブロックと次の破線ブロックとの接続領域、又は該破線ブロックと前の破線ブロックとの接続領域も含む。便宜上、各破線は、一斉に次の接続領域を含むか、又は、各破線は、一斉に前の接続領域を含む。
【0052】
一般的に、セマンティックセグメンテーションモデルのトレーニングセットをタグ付ける時に、各破線の車線が破線ブロック自体及び隣接する次の又は前の接続領域を含むようにタグ付けると、トレーニングされたセマンティックセグメンテーションモデルは、直接、破線ブロック及びその隣接する接続領域を1つの破線の車線、すなわち第1の破線として出力する。
【0053】
選択可能に、ステップS240は、第4の車線から接続不可能な車線に位置する第2の基準点が投影された第4の基準点を除去するステップを含むこともできる。本開示の実施例は、各道路に道路識別子を割り当てることができ、各道路を複数の区間に区画し、且つ各区間に区間識別子を割り当てることもできる。接続不可能な車線とは、車両を現在方向に走行不可能な車線である。
図6に示すように、車両が道路L1にあり、且つランプウェーの入口Oにあり、車両の前方の走行可能な2本の道路は、道路L1及び道路L2であり、道路L3を走行不可能であるので、道路L3は、道路L1の接続不可能な区間であり、道路L3における車線は、車両の現在の区間の接続不可能な車線である。接続不可能な車線に位置するマップ点が道路画像に投影された後、データ処理に干渉するので、これらの投影点を除去する必要がある。
【0054】
選択可能に、ステップS250は、ステップS251~ステップS253を含むことができ、
ステップS251において、第1の実線内の第4の実線点の数及び第1の破線内の第4の破線点の数を計算し、すなわち、画像における各実線ブロック内に投影された実線マップ点の数、又は各破線ブロック内に投影された破線マップ点の数を統計する。
ステップS252において、第4の実線点の数が第2の閾値以下であることに応答して、該第1の実線が新設線であると決定する。
ステップS253において、第4の破線点の数が第2の閾値以下であることに応答して、該第1の破線が新設線であると決定する。
【0055】
選択可能に、ステップS250の前に、面積が第3の閾値以上の第1の車線を選別し、すなわち、面積の非常に小さい第1の車線を除去するステップをさらに含むこともできる。該第3の閾値は、通常の破線の車線の面積よりも明らかに低く、具体的な数値は、当業者が自ら設定することができる。そのため、ステップS251において、選別された第1の実線及び第1の破線について処理を行う。第4の実線点の数が少ないほど、新設実線の信頼度が高く、第4の破線点の数が少ないほど、新設破線の信頼度が高く、本開示は、第4の実線点の数及び第4の破線点の数に基づいて対応する結果の信頼度を計算することができる。
【0056】
いくつかの実施例において、方法200は、ステップS260~ステップS280をさらに含むことができ、
ステップS260において、第1の車線を地面(例えば3D地面)に投影し、投影後の第5の車線を得、該第5の車線は、各第1の基準点に対応する複数の第5の基準点を含む。投影は、地面式(例えば3D地面式)に従って行ってもよく、地面式は、本分野で常用式であり、ここではその説明を省略する。
ステップS270において、各第5の基準点からその位置に最も近い第2の基準点までの第5の距離パラメータを計算する。
ステップS280において、第5の距離パラメータに基づいて、道路データにおいて、破線から実線に変わること、実線から破線に変わること、又は道路修繕の位置ずれの状況の有無を決定する。該第5の距離パラメータが大きいほど、破線から実線に変わること、実線から破線に変わること、又は修正修繕の位置ずれの信頼度が高い。
【0057】
ここで、第5の車線は、第5の実線及び第5の破線のうち少なくとも1つを含み、第5の基準点は、第5の実線点及び第5の破線点のうち少なくとも1つを含み、第5の実線点は、実線の中心線における一連の離散点を含み、第5の破線点は、第5の破線の中心点及び/又はコーナー点を含む。
【0058】
そのため、ステップS270は、各第5の実線点からその位置に最も近い第2の実線点までの距離を計算し、又は第5の実線から位置に最も近い第2の実線までの距離を計算するステップを含むことができる。該距離パラメータが第4の閾値よりも大きければ、ステップS280において、実線から破線に変わること、又は道路修繕の位置ずれの状況、すなわち、マップにおいて破線であるが道路画像において実線であり、又はマップ及び画像において車線の位置がずれることが発生すると決定する。ここで、車線ごとに判断してもよく、すなわち各第5の実線における全ての第5の実線点の対応距離を統合して計算してもよく、1フレームのデータから判断してもよく、すなわち、1フレームのデータにおける全ての第5の実線の対応距離を統合して計算し、最終的な距離パラメータを得てもよい。
【0059】
同様に、ステップS270は、各第5の破線点からその位置に最も近い第2の破線点までの距離パラメータを計算するステップを含むこともできる。該距離パラメータは、同様に全ての第5の破線点に対応する距離パラメータの合計値又は平均値を含むことができ、単一の破線、例えば、1つの破線の4つのコーナー点に対して計算し、これら4つのコーナー点における最小距離パラメータを該破線の距離パラメータとしてもよい。該距離パラメータが第4の閾値以上であれば、ステップS280において、破線から実線に変わること、又は道路修繕の位置ずれの状況、すなわち、マップにおいて実線であるが道路画像において破線であり、又はマップ及び画像において車線が位置ずれることを決定する。また、第5の距離パラメータが検出結果の信頼度に関連し、第5の距離パラメータが大きければ、実線から破線に変わること、破線から実線に変わること、又は道路修繕の位置ずれの信頼度が大きいことが発生する。
【0060】
なお、本開示の実施例で言及した複数種類の閾値、例えば、第1~第4の閾値は、当業者が必要に応じて自ら各閾値の数値を設定することができ、本開示は、これを限定しない。
【0061】
上記方法200により、本開示の実施例は、各フレームの道路データに対して1つの第2の検出結果を出力することができる。第2の検出結果は、道路変化有無、道路変化タイプ及び信頼度を含み、信頼度は、異なる道路変化タイプに対応する距離変換値、マップ点の数及び最も近い距離に基づいて計算して得られる。
【0062】
以上、本開示は、1つの区間の各フレームの道路データに対して、それぞれ1つの第1の検出結果及び第2の検出結果を得、第1の検出結果及び第2の検出結果は、いずれも道路変化有無の信頼度のみを含むことができ、さらに特定の道路変化タイプの信頼度を含むこともでき、2つの検出結果を統合して該区間の最終的な検出結果、例えば、道路変化有無及び特定の変化タイプを得ることができる。
【0063】
1つの実現形態において、まず複数フレームの道路データの第1の検出結果及び第2の検出結果に基づいて該区間の道路変化タイプをそれぞれ得、また2つの方式によりそれぞれ得られた道路変化タイプを統合して最終的な道路変化タイプを決定することができる。別の実現形態において、まず各フレームの道路データの第1の検出結果及び第2の検出結果に基づいて該フレームの道路データの道路変化タイプを得、また該区間の複数フレームの道路データの道路変化タイプを統合して該区間の道路変化タイプを得ることができる。2つの結果を統合して総合的な結果を得る方式が多く、当業者は、必要に応じて自ら適切な方式を選択することができ、本開示は、これを限定しない。
【0064】
例えば、1フレームデータ又は単一の区間の第1及び第2の検出結果を比較する時に、2つの検出結果の信頼度に基づいて本フレームデータの結果を決定することができる。複数フレームデータの第1の検出結果を統合する時に、そのうち最も信頼度の高い結果を選択し、又は最も出現回数の多い結果を選択し、又は上位n位の信頼度の高い検出結果を選択し、また2つの方式によりそれぞれ選択された上位n位の検出結果を総合して最終的な結果を得ることができる。ここではその説明を省略する。
【0065】
検出された最終的な結果は、道路が変化したことであれば、該区間の情報を導き出すことができ、該区間データを収集した開始と終了タイムスタンプを含むが、これに限定されない。また、手動で表示区間を検証することもできる。選択可能に、方法100は、道路が変化したことに応答して、収集された該区間の道路データパケットに基づいて、マッピングプラットフォームにおいて該区間のマップを更新するステップをさらに含むことができる。
【0066】
図3は、本開示の別の実施例による道路修繕検出方法300の模式図を示し、該方法は、
第2の検出方法のより詳細な方式である。
図3に示すように、方法300は、ステップS301~ステップS310を含み、
ステップS301において、マップ(例えば3Dマップ)における破線の車線及び実線の車線を道路データに投影し、投影後の第4の車線及び投影された第4の基準点(2Dマップ点)を得る。
ステップS302において、投影された第4の基準点から障害物の画素に位置するマップ点を除去する。
ステップS303において、各第4の車線における各第4の基準点から第1の車線までの距離変換値を計算し、ある第4の車線で計算した距離変換値が第1の閾値以下であれば、地面の車線の消失又は車線の変更を決定し、この時にマップにおいて車線があるが、実際の道路において車線がない。
ステップS304において、データパケットにおける面積の小さい第1の車線を除去し、残りの第1の車線の2D連通ドメインを地面(例えば3D地面)に投影し、投影後の第5の車線を得、該第5の車線は、各第1の車線に対応する第5の基準点を含み、該第5の基準点は、第5の実線点及び第5の破線点のうち少なくとも1つを含む。
ステップS305において、地面に投影された車線の長さに応じて破線の車線及び実線の車線を区分し、さらに対応する車線の連通ドメインの破線と実線の属性を決定する。
ステップS306において、接続不可能な車線に位置する3Dマップ点が投影された第4の基準点を第4の車線から除去し、例えば、ランプウェーの出入り口の分岐におけるマップ点を除去する。
ステップS307において、破線の連通ドメイン内の破線マップ点の数及び実線の連通ドメイン内の実線マップ点の数をそれぞれ計算し、対応するマップ点の数が非常に少なければ、該破線又は実線が新規に引かれたことを表し、この時にマップにおいて車線がないが、実際の道路において車線がある。
ステップS308において、ステップS304における各第5の実線点からマップにおける最も近い実線点までの距離、及び各第5の破線点からマップにおける最も近い破線点までの距離を計算し、且つ最も近い距離に基づいて、破線から実線に変わること、実線から破線に変わること、又は道路修繕の位置ずれの状況の有無を決定する。
ステップS309において、各フレームに対して1つの第2の検出結果を出力し、検出結果は、道路修繕が行われるか否かのこと、道路修繕タイプ及び信頼度を含み、道路修繕タイプは、ステップS303、ステップS307、ステップS308のうち何れのステップに問題があるかを示すことができ、直接何れの変化タイプであるかを示すこともでき、信頼度は、3種類の問題に対応する距離変換値、マップ点の数、又は最も近い距離に基づいて計算して得られる。
ステップS310において、同じ区間の複数の道路データフレームの第2の検出結果、及び複数の道路データフレームが道路検出モデルにより出力された第1の検出結果を統合し、該区間の最終的な検出結果を得る。
【0067】
方法300の具体的な詳細は、方法100及び200に基づく説明において詳細に開示されており、ここではその説明を省略する。
【0068】
以上、どのように実車データを用いて道路修繕検出を行う応用を説明し、以下、どのように道路検出モデルをトレーニングすることを説明する。
図4は、本開示の1つの実施例による道路検出モデルのトレーニング方法400を示し、
図4に示すように、方法400は、ステップS410~ステップS440を含み、
ステップS410において、タグ付けされたトレーニングセットを取得し、該トレーニングセットは、複数の道路データ、及び各道路データにおける車線変化有無のタグを含む。該道路データは、第1の車線を含み、各第1の車線は、第1の基準点を含む。タグは、道路変化有無を含み、さらに道路変化タイプを含むこともでき、道路変化タイプは、上記で詳述したので、ここではその説明を省略する。
ステップS420において、道路データに対応するマップを取得し、該マップは、第2の車線を含み、該第2の車線は、第2の基準点を含み、該ステップは、具体的にステップS120を参照することができ、ここではその説明を省略する。
ステップS430において、第1の車線及びその第1の基準点、第2の車線及びその第2の基準点、並びに前記道路データと前記マップとの投影関係に基づいて、該道路データの道路特徴を生成し、該ステップは、具体的にステップS130を参照することができ、ここで説明を省略する。
ステップS440において、道路データの道路特徴及びタグに基づいて道路検出モデルをトレーニングして得る。ここで、道路検出モデルは、XGBoost決定木モデルであってもよく、当然ながら、他の常用のニューラルネットワークモデルであってもよく、各道路データのタグ及び生成された道路特徴に基づいて、該XGBoost決定木モデルをトレーニングし、トレーニングされた道路検出モデルを得る。具体的なモデル構造、パラメータ及びハイパーパラメータは、当業者が必要に応じて自ら設定することができ、本開示は、これを限定しない。
【0069】
前述のように、現在の道路が変化したことが検出された時に、マッピングプラットフォームのマップ更新フローがトリガーされる。いくつかの実施例において、マッピングプラットフォームは、表示インタフェースを有し、該表示インタフェースは、マッピングタスクの配置情報を生成し、且つマッピングタスクを実行するために用いられることができる。
図5は、本開示の1つの実施例によるマッピング方法500のフローチャートを示し、
図5に示すように、方法500は、ステップS510~ステップS530を含み、
ステップS510において、マッピングタスクの配置情報を生成し、配置情報は、マッピングタスクがカスケードタスクであるか否かのことを含み、カスケードタスクは、互いに入力と出力の関係を有する複数のサブタスクを含む。
ステップS520において、マッピング対象道路の道路データに基づいて該道路をカットし、少なくとも1つの目標区間を得る。
ステップS530において、目標区間の道路データ及びマッピングタスクの配置情報に基づいてマッピングタスクを実行し、最新のバージョンのマップを生成する。
【0070】
いくつかの実施例において、マッピング対象道路、すなわち道路修繕変化が発生したことが検出された道路であり、道路変化有無を検出する検出プラットフォームは、マッピングプラットフォームと区別されることができ、この時に、検出プラットフォームは、道路修繕が発生したことが検出された後に、該区間マップを更新するようにマッピングプラットフォームに通知する。当然ながら、検出プラットフォームは、マッピングプラットフォームと同じプラットフォームであってもよく、マッピング対象道路のデータパケットは、道路修繕の検出が行われる時に既にマッピングプラットフォームに導入される。そのため、マッピングプラットフォームにおいて道路が変化したことが決定された場合に、ステップS510の実行が自動的にトリガーされることができる。複数のサブタスクは、点群生成、点群後処理、後処理ファイルプッシュ、制限速度情報抽出、信号機マーキング、走行軌跡抽出、シングルパケット地形抽出、マルチパケット地形最適化、センサデータアライメント、シングルパケット車線抽出、マルチパケット車線最適化を含むが、これらに限定されない。すなわち、配置情報は、マッピングタスクが点群生成、点群後処理、後処理ファイルプッシュ、制限速度情報抽出、信号機マーキング、走行軌跡抽出、シングルパケット地形抽出、マルチパケット地形最適化、センサデータアライメント、シングルパケット車線抽出、マルチパケット車線最適化のうちいずれか1つ又は複数であるか否かも指示する。シングルパケットによる処理は、いずれもシングルパケット最適化とも呼ばれ、マルチパケットによる処理は、いずれもマルチパケット最適化とも呼ばれる。
【0071】
ここで、点群生成は、データパケットにおける点群を抽出することを含む。点群後処理は、抽出された複数フレームの点群に対して点群位置合わせを行うことを含む。後処理ファイルプッシュは、後処理されたファイルに対してフォーマットの切り替えを行い、且つクラウドにプッシュすることを含む。制限速度情報抽出は、各車道の制限速度情報を抽出して表示することを含む。信号機マーキングは、各車道における信号機を抽出して表示することを含む。走行軌跡抽出は、マップ車の走行軌跡を抽出することを含む。シングルパケット地形抽出は、単一のデータパケットにおける地形情報を抽出することを含む。マルチパケット地形最適化は、複数のデータパケットの地形情報に対してジョイント最適化を行い、ジョイント最適化された1つのセグメントの地形情報を得る。センサデータアライメントは、収集して得られた複数のセンサデータを、同じフレームの収集タイムスタンプに従ってアライメントすることで、同じ収集時刻における画像及び点群データを決定することを含む。シングルパケット車線抽出は、単一のデータパケットにおける、例えば、車線実線、車線破線などの車線情報を抽出することを含む。マルチパケット車線最適化は、複数のデータパケットの車線情報に対してジョイント最適化を行い、ジョイント最適化された1つのセグメントの車線情報を得ることを含む。
【0072】
複数のサブタスクの間にカスケード関係を確立してカスケードタスクを生成するために用いられることができる。そのため、配置情報は、マッピングタスクがカスケードタスクであるか否かも指示し、該カスケードタスクは、互いに入力と出力の関係を有する複数のサブタスクを含む。例えば、システムは、導入された道路データパケット又は生成された道路断片に基づいて、まず点群生成、また点群後処理、さらにシングルパケット車線の抽出、ないし複数車の車線最適化を行うカスケードタスクを作成する。まず点群生成、また点群後処理、さらにシングルパケット地形最適化を行うカスケードタスクを作成することもできる。本開示のマッピングプラットフォームは、カスケードタスクにおける入力と出力の論理関係を自動的に処理し、ユーザは、各サブタスクの一部の配置情報を決定するだけでよい。
【0073】
別の実施例において、配置情報は、マッピングタスクが属する第1のタスクタイプも指示し、該第1のタスクタイプは、集積タスク、独立タスク、又はバッチ処理タスクを含む。
【0074】
ここで、独立タスクとは、単一のタスクを指し、該単一のタスクに基づいて対応するマップを生成する。独立タスクは、通常、目標道路における単一の目標区間について、該単一の目標区間のマップを生成するために用いられる。
【0075】
集積タスクは、複数のサブタスクを含み、該複数のサブタスクの間には入力と出力の関係を有し、通常、ある複数のサブタスクの出力は、あるサブタスクの入力である。例えば、集積タスクがn個のサブタスクを有すると仮定すれば、上位n-1個のサブタスクは、互いに独立する可能性があり、これらn-1個のサブタスクの出力は、共に第n個のサブタスクの入力とすることで、最終的には、該集積タスクのマップを得る。集積タスクは、目標道路における複数の目標区間について、該複数の目標区間を包含するマップを全体的に生成するために用いられ、且つ各目標区間は、いずれも対応するタスク配置情報を有してもよい。
【0076】
バッチ処理タスクは、複数のサブタスクを含むこともできるが、バッチ処理タスクの複数のサブタスクは、互いに独立しており、これら複数のサブタスクは、一部の配置パラメータを共有できるだけであるので、対応するマップをバッチ生成することができる。バッチ処理タスクは、目標道路の複数の目標区間について、各目標区間が1つ又は複数のサブタスクに対応し、且つ各目標区間は、いずれも1つの目標区間のマップをそれぞれ作成するために用いられる対応するタスク配置情報を有してもよい。そのため、1つのバッチ処理タスクは、最終的に各目標区間のマップをそれぞれ生成する。
【0077】
いくつかの実施例において、集積タスクにおける各サブタスクは、配置情報をそれぞれ生成してもよく、バッチ処理タスクの複数のサブタスクは、全て又は一部の配置情報を共有してもよい。本開示の配置情報は、ホスト識別子、該データパケットを収集する車両識別子、該データパケットに対応する開始と終了タイムスタンプ、データパケット識別子、オペレータ識別子、全体的なマッピングタスク識別子、タスク生成時間などを含むこともできる。
【0078】
いくつかの実施例において、方法500は、バッチ処理タスクにおける各サブタスク、及び集積タスク、独立タスクを、タスク生成時間の順に従ってメッセージ・キューに格納し、該メッセージ・キューに従って各タスクを処理するステップを含むこともできる。ここで、バッチ処理タスクにおける各サブタスクは、互いに独立しており、本質的には複数のマッピングタスクをそれぞれ完了させるためのものであるが、集積タスク及び独立タスクは、本質的には単一のマッピングタスクを完了させるためのものであるので、バッチ処理タスクにおけるサブタスク、集積タスク及び独立タスクを処理対象タスクとしてメッセージ・キューに入れ、タスク生成時間に従って順に処理する。
【0079】
1つの実施形態において、ステップS520は、ユーザが表示インタフェースに入力し又は選択したタイムスタンプに基づいて道路をカットしてもよく、ユーザが表示インタフェースにマーキングした少なくとも1つのカット線に基づいて道路をカットしてもよく、履歴マッピングタスクのカット線に基づいて本タスクに必要である可能性があるカット線を自動的に生成してもよい。ここで、毎回生成される少なくとも1本のカット線の情報を保存し、且つ少なくとも1本のカット線と目標道路との関連関係を構築してもよい。ここで、カット線の情報は、カット線の長さ、カット線における各点の座標、及びカット線と目標道路との交点座標のうち少なくとも1つを含む。そのため、カット線が直線であれば、長さ値や始点座標で記憶してもよく、又は始点座標と終点座標で記憶してもよい。カット線が曲線であれば、始点から終点までの一連の離散点座標で表示して記憶することができる。1本のカット線が複数の目標道路に覆い被さる場合、該カット線と各道路との交点から、カット線の隣接する2本の道路における中点を決定し、且つ中点を境目点としてカット線を2辺の道路に区画し、且つ区画された道路の道路識別子を記録することができる。
【0080】
ここで、目標道路と目標区間とカット線との関連関係を記憶することができる。つまり、毎回マッピングタスクに導入される道路データパケットに対応する道路、該道路からカットされた目標区間、及び決定されたカット線を保存する。選択可能に、本開示は、カット線により覆い被さる道路識別子又は名称の集合を記憶することもでき、例えば、各カット線により覆い被さる道路識別子集合をそれぞれ記憶することができ、又は各グループのカット線(1つのグループのカット線は、カット始点とカット終点に対応する2本のカット線をを表す)により覆い被さる道路識別子集合をそれぞれ記憶することができる。
【0081】
いくつかの実施例において、方法500は、複数のサブタスクの間の入力と出力の関係に基づいてトポロジ関係ネットワークを生成することを含むこともでき、具体的には、単一で導入されたデータパケットに基づいてトポロジ関係ネットワークを生成することができ、各マッピングタスクに基づいてトポロジ関係ネットワークを生成することもできる。該トポロジ関係ネットワークは、マッピングタスク全体の進捗状況、及び各サブタスクの完了状況を表示することができる。
【0082】
本開示は、各サブタスクの完了状況をリアルタイムに監視することができ、各サブタスクは、その完了状態をマーキングすることができ、完了状態は、実行待ち、起動中、実行中、実行成功、実行失敗などを含む。理解されるように、マッピングタスクが失敗した場合、又は、あるサブタスクが失敗した場合、ユーザに通知を開始する。実行完了済みタスクは、そのタスク実行時間の長さをマーキングすることもできる。例えば、トポロジ関係ネットワークの入力と出力の関係に基づいて、あるサブタスクが実行されている時に、後続の他のサブタスクは、実行待ち状態にあり、前のサブタスクの実行が成功しようとすると、直近の次のサブタスクが起動中状態にあり、それによりタスクの実行効率を向上させることができる。これに基づいて、方法500は、トポロジ関係ネットワークに従ってマッピングタスクを分析し、例えば、マッピングタスクの完了状況を決定することもできる。
【0083】
ここからわかるように、本開示は、自動化分析方式を採用し、道路修繕区間を迅速且つ自動的に認識し、マップのメンテナンス効率を向上させ、人件費を低減させることができる。しかも、本開示は、それぞれ道路検出モデルと空間座標計算に基づいて道路修繕検出結果を得、且つ2種類の方式の検出結果を統合してより正確な道路修繕検出結果を得ることもできる。また、本開示は、高精度マップ構築プラットフォームを構築することで、マッピングフローにおける各ステップを管理することもでき、構築フロー全体をより明瞭、効率的且つ利用可能にする。本開示は、より汎用的なカスケードタスクスケジューリング解決手段を用いて、1つの完全なマッピングタスクを、実行を自動的にトリガーする各サブタスクに分解し、前のサブタスクの出力が得られた時に、次のサブタスクの実行を自動的にトリガーし、且つメッセージ・キューを用いてタスク状態の変化を知ることで、無駄なポーリングを回避する。しかも、タスクが実行されると同時に、プラットフォームインタフェースは、タスクに関連する全ての情報、例えば、タスクの入力出力、配置パラメータ、起動及び終了時間などを表示することができる。それと共に、プラットフォームは、統計解析機能を提供し、ある階層的なタスクにある全てのタスク、あるデータパケットが実行された全てのタスクなどを容易に見ることができる。
【0084】
図7は、コンピューティングデバイス700の例示的な形態の機械の図を示し、該コンピューティングデバイスにおいて命令集合が実行される時及び/又は処理ロジックが起動される時に該機械に本明細書で説明され及び/又は請求される方法のいずれか1つ又は複数を実行させることができる。候補実施例において、機械は、独立したデバイスとして動作し、又は他の機械(例えば、ネットワーク)に接続されてもよい。ネットワーク接続の配置において、機械は、サーバ-クライアントネットワーク環境においてサーバ又はクライアント機械の身分で動作してもよく、又はピアツーピア(又は分散型)ネットワーク環境においてピアデバイスとして動作してもよい。機械は、パーソナルコンピュータ(PC)、ラップトップコンピュータ、タブレットコンピューティングシステム、パーソナルデジタルアシスタント(PDA)、携帯電話、スマートフォン、ネットワークアプリケーション、セットトップボックス(STB)、ネットワークルータ、スイッチもしくはブリッジ又は該機械によりアクションを取るように指定する命令集合(順次又はその他)を実行することができるか、又は処理ロジックを起動することができる任意の機械であってもよい。さらに、単一の機械のみが図示されているが、「機械」という用語は、本明細書で説明され及び/又は請求される方法のいずれか1つ又は複数を実行するための命令集合(又は複数の命令集合)を個別に又は組み合わせて実行する機械の任意の集合を含むと理解されてもよい。
【0085】
例示的なコンピューティングデバイス700は、バス706又は他のデータ伝送システムを介して互いに通信可能なデータプロセッサ702(例えば、システムオンチップ(SoC)、汎用処理コア、グラフィックコア及び選択可能な他の処理ロジック)及びメモリ704(例えば、メモリ)を含むことができる。コンピューティングデバイス700は、さらに例えばタッチスクリーンディスプレイ、オーディオジャック、音声インタフェース及び選択可能なネットワークインタフェース712などの様々な入力/出力(I/O)デバイス及び/又はインタフェース710を含むことができる。例示的な実施例において、ネットワークインタフェース712は、1つ又は複数の無線トランシーバを含むことができ、それは、いずれか1つ又は複数の標準的な無線及び/又はセルラプロトコル又はアクセス技術(例えば、セルラシステムの第2世代(2G)、第2.5世代、第3世代(3G)、第4世代(4G)及び次世代無線アクセス、グローバル移動通信システム(GSM)、汎用パケット無線サービス(GPRS)、拡張データGSM環境(EDGE)、ワイドバンド符号分割多元接続(WCDMA)、LTE、CDMA2000、WLAN、無線ルータ(WR)グリッドなど)に構成される。ネットワークインタフェース712は、さらに様々な他の有線及び/又は無線通信プロトコル(TCP/IP、UDP、SIP、SMS、RTP、WAP、CDMA、TDMA、UMTS、UWB、WiFi、WiMax、Bluetooth(登録商標)、IEEE802.11xなどを含む)とともに使用するように構成することができる。本質的に、ネットワークインタフェース712は、任意の有線及び/又は無線通信及びデータ処理機構を実際に含むか又はサポートすることができ、該機構により情報/データがネットワーク714を介してコンピューティングデバイス700と別のコンピューティング又は通信システムとの間で伝播することができる。
【0086】
メモリ704は、機械読み取り可能な媒体(又はコンピュータ読み取り可能な記憶媒体)を表すことができ、機械読み取り可能な媒体(又はコンピュータ読み取り可能な記憶媒体)には、本明細書で説明され及び/又は請求される方法又は機能のいずれか1つ又は複数を実施する1つ又は複数の命令集合、ソフトウェア、ファームウェア又は他の処理ロジック(例えば、ロジック708)が記憶される。コンピューティングデバイス700に実行される期間中、ロジック708又はその一部もプロセッサ702内に完全に又は少なくとも部分的に設置されてもよい。このように、メモリ704及びプロセッサ702も機械読み取り可能な媒体(又はコンピュータ読み取り可能な記憶媒体)を構成してもよい。ロジック708又はその一部も処理ロジック又はロジックとして構成されてもよく、該処理ロジック又はロジックの少なくとも一部は、ハードウェアに部分的に実現される。ロジック708又はその一部は、さらにネットワークインタフェース712を介してネットワーク714により伝送又は受信されてもよい。例示的な実施例の機械読み取り可能な媒体(又はコンピュータ読み取り可能な記憶媒体)は、単一の媒体であってもよいが、「機械読み取り可能な媒体」(又はコンピュータ読み取り可能な記憶媒体)という用語は、1つ又は複数の命令集合を記憶する単一の非一時的媒体又は複数の非一時的媒体(例えば、集中型又は分散型データベース及び/又は関連する高速キャッシュ及びコンピューティングシステム)を含むと理解されるべきである。「機械読み取り可能な媒体」(又はコンピュータ読み取り可能な記憶媒体)という用語は、機械に実行されるための命令集合を記憶、符号化又は携帯することができかつ様々な実施例の方法のいずれか1つ又は複数を機械に実行させることができ、又はそのような命令集合に利用され又はそれに関連するデータ構造を記憶、符号化又は携帯することができる任意の非一時的媒体を含むと理解することもできる。「機械読み取り可能な媒体」(又はコンピュータ読み取り可能な記憶媒体)という用語は、ソリッドステートメモリ、光学媒体及び磁気媒体を含むが、これらに限定されないと理解されてもよい。
【0087】
開示された実施例及び他の実施例、モジュール及び本明細書に説明された機能操作は、デジタル電子回路システムにおいて、又はコンピュータソフトウェア、ファームウェア若しくはハードウェア(本明細書に開示された構造及びその構造的等価物を含む)において、又はそれらのうち1つ又は複数の組み合わせにおいて実現されることができる。開示された実施例及び他の実施例は、1つ又は複数のコンピュータプログラム製品として実現されることができ、つまり、コンピュータ読み取り可能な媒体に符号化され、それによりデータ処理装置により実行され又は該データ処理装置の操作を制御するコンピュータプログラム命令の1つ又は複数のモジュールとして実現されることができる。コンピュータ読み取り可能な媒体は、機械読み取り可能な記憶デバイス、機械読み取り可能な記憶基板、メモリデバイス、機械読み取り可能な伝播信号に影響を及ぼす物質複合物又はそれらのうち1つ又は複数の組み合わせであってもよい。「データ処理装置」という用語は、データを処理するための全ての装置、デバイス及び機械を包含し、例えば、プログラマブルプロセッサ、コンピュータ又は複数のプロセッサ若しくはコンピュータを含む。ハードウェアに加えて、該装置は、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム又はそれらのうち1つ又は複数の組み合わせを構成するコードなどの検討中のコンピュータプログラムのための実行環境を作成するコードを含むことができる。伝播信号は、人工的に生成された信号、例えば、機械により生成された電気信号、光信号又は電磁信号であり、該信号は、適切な受信装置に送信される情報を符号化するために生成される。
【0088】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト又はコードとも呼ばれる)は、任意の形態のプログラミング言語(コンパイル又はインタープリタ型言語を含む)で書き込まれてもよく、且つ該コンピュータプログラムは、独立型プログラムとして、又はモジュール、コンポーネント、サブルーチン若しくはコンピューティング環境での使用に適した別のユニットとしてのいずれかで配置されることを含む任意の形態で配置されてもよい。コンピュータプログラムは、ファイルシステム内のファイルに必ずしも対応するわけではない。プログラムは、他のプログラム又はデータ(例えば、マーク言語文書内に記憶される1つ又は複数のスクリプト)を保持するファイルの一部に記憶されてもよく、又は検討中のプログラムに専用される単一のファイルに記憶され、又は複数の協調ファイル(例えば、1つ又は複数のモジュール、サブプログラム又は一部のコードを記憶するファイル)に記憶されてもよい。コンピュータプログラムは、1つのコンピュータ上で実行され又は1つのサイトに位置決めされ又は複数のサイトに分散されかつ通信ネットワークにより互に接続された複数のコンピュータで実行されるように配置されてもよい。
【0089】
本明細書に説明されるプロセス及びロジックフローは、入力データを操作して出力を生成することにより機能を実行するために、1つ又は複数のコンピュータプログラムを実行する1つ又は複数のプログラマブルプロセッサにより実行されてもよい。プロセス及びロジックフローは、また専用ロジック回路システム(例えば、FPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路))により実行されてもよく、装置は、また専用ロジック回路(例えば、FPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路))として実現されてもよい。
【0090】
コンピュータプログラムを実行するために適したプロセッサは、例えば、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方並びに任意の種類のデジタルコンピュータの任意の1つ又は複数のプロセッサを含む。一般的には、プロセッサは、リードオンリーメモリ又はランダムアクセスメモリ又はその両方からの命令及びデータを受信する。コンピュータの必須エレメントは、命令を実行するためのプロセッサ及び命令とデータを記憶するための1つ又は複数のメモリデバイスである。一般的には、コンピュータは、さらにデータを記憶するための1つ又は複数の大容量記憶デバイス(例えば、磁気ディスク、光磁気ディスク又は光ディスク)を含むか、又はコンピュータは、さらに該1つ又は複数の大容量記憶装置からのデータを受信するか、又はデータを該1つ又は複数の大容量記憶装置に送信するか、又はその両方を行うように操作可能に結合される。しかしながら、コンピュータは、このようなデバイスを有する必要がない。コンピュータプログラム命令及びデータを記憶するために適したコンピュータ読み取り可能な媒体は、あらゆる形態の不揮発性メモリ、媒体及びメモリデバイスを含み、例えば、EPROM、EEPROM及びフラッシュメモリデバイスのような半導体メモリデバイス、内部ハードディスク又はリムーバブルディスクのような磁気ディスク、光磁気ディスク及びCD-ROMディスクとDVD-ROMディスクを含む。プロセッサ及びメモリは、専用ロジック回路により補充されてもよく、又は該専用ロジック回路に組み込まれてもよい。
【0091】
本開示は、多くの詳細を含むが、これらの詳細は、任意の本開示又は保護が請求される可能性がある内容の範囲を限定するものとしてではなく、特定の本開示の特定の実施例に対する特徴の説明として解釈されるべきである。本開示では、個別の実施例の文脈に説明された特定の特徴を、さらに組み合わせて単一の実施例に実現することも可能である。逆に、単一の実施例の文脈に説明された各特徴も個別に又は任意の適切なサブ組み合わせという形態により複数の実施例に実現されてもよい。さらに、特徴は、特定の組み合わせで機能するものとして上記で説明され、これらの特徴は、当初は同様に請求されてもよいが、場合によっては、請求された組み合わせからの1つ又は複数の特徴が組み合わせから削除されることがあり、請求された組み合わせは、サブ組み合わせ又はサブ組み合わせの変形に向けられてもよい。
【0092】
類似的に、操作は、図面において特定の順序で示されているが、このようにすることに示された特定の順序又は順番にそのような操作を実行し、又は図に示された全ての操作を実行すべきであり、それにより期待された結果を達成すると理解すべきではない。さらに、本開示に説明される実施例における様々なシステムコンポネントの分離は、全ての実施例においてそのような分離を必要とするものとして理解されるべきではない。
【0093】
いくつかの実現及び例のみが説明され、他の実現、補強及び変更は、本開示に説明され及び図示される内容に基づいて行われてもよい。
【0094】
本明細書に説明される実施例の説明は、様々な実施例の構造に対する一般的な理解を提供することを意図しており、本明細書に説明される構造のコンポーネント及びシステムを利用する可能性がある全てのエレメント及び特徴の完全な説明として機能することを意図していない。当業者にとって、本明細書に提供される説明を精査すると、多くの他の実施例は、明らかである。本開示の範囲から逸脱することなく、構造的及び論理的な置換及び変更を行うことができるように、他の実施例を利用し及び導出することができる。本明細書の図面は、単に代表的なものであり、縮尺通りに描かれていない場合がある。いくつかの比率は、増加される可能性もあり、他の比率は、最小化される可能性もある。そのため、明細書及び図面は、限定ではなく例示的なものとみなされるべきである。
【0095】
いくつかの実施例は、2つ以上の特定の互いに接続されたハードウェアモジュール又はデバイスにおいて機能を実現し、そのうち、関連する制御及びデータ信号は、モジュール間かつモジュールを介して伝達され、又は特定用途向け集積回路の一部とする。そのため、例示的なシステムは、ソフトウェア、ファームウェア及びハードウェアの実現に適する。
【0096】
本開示の例示的な実施例又は例が図面を参照しながら説明されたが、上記の例示的な議論は、網羅的であること、又は本発明を開示された具体的な形態に限定することを意図しないことが理解されたい。上記の教示内容に基づいて、多くの修正及び変形が可能である。そのため、開示される主題は、本明細書に記載される任意の単一の実施例又は例に限定されるべきではなく、添付の特許請求の範囲の広さ及び範囲に従って解釈されるべきである。