(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-30
(45)【発行日】2024-02-07
(54)【発明の名称】対象を識別する方法とシステム
(51)【国際特許分類】
G06T 7/60 20170101AFI20240131BHJP
G06V 10/62 20220101ALI20240131BHJP
G08G 1/095 20060101ALI20240131BHJP
G08G 1/16 20060101ALI20240131BHJP
【FI】
G06T7/60 200J
G06V10/62
G08G1/095 A
G08G1/16 C
(21)【出願番号】P 2021576303
(86)(22)【出願日】2019-06-28
(86)【国際出願番号】 CN2019093596
(87)【国際公開番号】W WO2020258222
(87)【国際公開日】2020-12-30
【審査請求日】2022-06-14
(73)【特許権者】
【識別番号】398037767
【氏名又は名称】バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト
(74)【代理人】
【識別番号】100069556
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100221981
【氏名又は名称】石田 大成
(74)【代理人】
【識別番号】100208258
【氏名又は名称】鈴木 友子
(72)【発明者】
【氏名】リー・チェンサン
(72)【発明者】
【氏名】デムリング・マクシミリアン
(72)【発明者】
【氏名】ティエン・ウェンシン
【審査官】笠田 和宏
(56)【参考文献】
【文献】特開2018-005617(JP,A)
【文献】特開2002-056392(JP,A)
【文献】Ahmed Mahmoud,外7名,Real-Time Lane Detection-Based Line Segment Detection,2018 New Generation of CAS (NGCAS),2018年11月20日,pp. 57-61
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/60
G06V 10/62
G08G 1/095
G08G 1/16
(57)【特許請求の範囲】
【請求項1】
最初の時刻にて、車両に搭載されたカメラによる生データ出力を得るステップであって、出力生データは、連続モデル用の連続データ出力フォーマットと、離散モデル用の離散データ出力フォーマットのいずれかを含む、前記生データ出力を得るステップと、
前記最初の時刻用の離散統計モデルフォーマットデータを形成すべく、前記生データを離散統計モデルに供給するステップであって、前記離散統計モデルフォーマットデータが連続データ出力フォーマットを持つ連続部分と、離散データ出力フォーマットを持つ離散部分とを含んでいる、前記供給するステップと、
前記最初の時刻用の離散統計モデルフォーマットデータを更新すべく、前記最初の時刻用の離散統計モデルフォーマットデータを
、履歴離散統計モデルフォーマットデータに融合するステップと、
最初の時刻用の前記更新された離散統計モデルフォーマットデータから、対象を識別するステップと
を備え、前記対象が曲線に特徴がある車線標示を含む、
対象を
識別する方法。
【請求項2】
曲線の記述に前記連続モデルは多項式を使用し、曲線の記述に前記離散モデルは複数の離散点を使用する、請求項1に記載の方法。
【請求項3】
前記カメラは、次の、単眼カメラと、両眼ステレオビジョンカメラと、パノラマビジョンカメラと、赤外線カメラとの中の1つ又は複数を備える、請求項1に記載の方法。
【請求項4】
もし前記最初の時刻にて得た生データが前記連続データ出力フォーマットを持っているならば、前記生データを前記離散統計モデルフォーマットデータの前記連続部分として使用し、前記生データによって記述された曲線上の複数の離散点を前記離散統計モデルフォーマットデータの前記離散部分として計算するステップと、
もし前記最初の時刻にて得た生データが前記離散統計モデルフォーマットを持っているならば、前記離散統計モデルフォーマットデータの前記連続部分としての生データに基づいて生データに対応する曲線の前記連続データ出力フォーマットを計算し、前記離散統計モデルフォーマットデータの前記離散部分として生データを使用するステップと
をさらに備える、請求項1に記載の方法。
【請求項5】
前記最初の時刻用の離散統計モデルフォーマットデータを、前記履歴離散統計モデルフォーマットデータに融合するステップが、
前記最初の時刻用の離散統計モデルフォーマットデータを、前記最初の時刻に先立つしきい値時間内の、複数の以前の時刻用の複数の離散統計モデルフォーマットデータを含む履歴離散統計モデルフォーマットデータに融合するステップと、
前記融合された統計モデルフォーマットデータの前記離散部分に基づいて、前記融合された離散統計モデルフォーマットデータの前記離散部分に相当している曲線用に連続データ出力フォーマットデータを、前記融合された離散統計モデルフォーマットデータの前記連続部分として計算するステップと
をさらに備える、請求項1に記載の方法。
【請求項6】
前記最初の時刻用の離散統計モデルフォーマットデータを、前記履歴離散統計モデルフォーマットデータに融合するステップが、
前記最初の時刻に先立つ以前のしきい値時間内で複数の以前の時刻の複数の離散統計モデルフォーマットデータ用に、
前記最初の時刻用の離散統計モデルフォーマットデータが更新されるまで、所定時間間隔後に、後の時刻用の離散統計モデルフォーマットデータを更新すべく、各時刻用の離散統計モデルフォーマットデータを、前記後の時刻用の離散統計モデルフォーマットデータに融合するステップと、
融合された離散統計モデルフォーマットデータの離散部分に基づいて、連続データ出力フォーマットデータを、前記融合された離散統計モデルフォーマットデータの前記連続部分として計算するステップと
を繰り返し実行すること
をさらに備える、請求項1に記載の方法。
【請求項7】
複数の前記離散統計モデルフォーマットデータの全ての離散部分から重複データを削除することをさらに備える、請求項5又は6に記載の方法。
【請求項8】
前記融合するステップが、
前記履歴離散統計モデルフォーマットデータと、前記最初の時刻用の離散統計モデルフォーマットデータとの両方が、ローカル座標系によって表されるように、前記履歴離散統計モデルフォーマットデータを前記ローカル座標系への変換のため、前記最初の時刻における車両の位置を前記ローカル座標系の原点として使うこと
をさらに備える、請求項1に記載の方法。
【請求項9】
前記融合するステップが、
前記履歴離散統計モデルフォーマットデータと前記最初の時刻用の離散統計モデルフォーマットデータとが両方、同一の座標系によって表されるように、前記履歴離散統計モデルフォーマットデータに使用されている座標系と、前記最初の時刻用の離散統計モデルフォーマットデータに使用されている、異なる種類の座標系を世界測地系に変換すること
をさらに備える、請求項1に記載の方法。
【請求項10】
前記最初の時刻用の更新された離散統計モデルフォーマットデータから前記対象を識別するステップが、
前記最初の時刻用の前記更新された離散統計モデルフォーマットデータ内の、前記離散データ出力フォーマットを持つデータから前記対象を識別すべく、回帰アルゴリズムと、補間アルゴリズムと、フィッティングアルゴリズムとの中のいずれかを含む数学的アルゴリズムを採用すること
をさらに備える、請求項1に記載の方法。
【請求項11】
最初の時刻にて、生データ出力を取得するように構成されたデータ取得モジュールであって、前記生データが、連続モデル用の連続データ出力フォーマット、又は離散モデル用の離散データ出力フォーマットを備えている、データ取得モジュールと、
前記最初の時刻用の離散統計モデルフォーマットデータを形成すべく、前記生データを離散統計モデルに供給するように構成されたデータ供給モジュールであって、前記離散統計モデルフォーマットデータが、前記連続データ出力フォーマットを持つ連続部分及び前記離散データ出力フォーマットを持つ離散部分とを含む、データ供給モジュールと、
前記最初の時刻用の離散統計モデルフォーマットデータを更新すべく、前記最初の時刻用の離散統計モデルフォーマットデータを
、履歴離散統計モデルフォーマットデータに融合するように構成されたデータ融合モジュールと、
対象を、前記最初の時刻用の更新された離散統計モデルフォーマットデータから識別すべく構成された対象識別モジュールであって、前記対象が曲線に特徴がある車線標示を含む、対象識別モジュールと
を備える、対象を識別する装置。
【請求項12】
前記データ融合モジュールが、
もし前記最初の時刻にて得た生データが前記連続データ出力フォーマットを持っているならば、生データを離散統計モデルフォーマットデータの前記連続部分として使用し、生データによって記述された曲線上の複数の離散点を離散統計モデルフォーマットデータの前記離散部分として計算するように、
もし前記最初の時刻にて得た生データが前記離散統計モデルフォーマットを持っているならば、離散統計モデルフォーマットデータの前記連続部分としての生データに基づいて生データに対応する曲線の連続データ出力フォーマットを計算し、離散統計モデルフォーマットデータの前記離散部分として生データを使用するように
さらに構成された、請求項11に記載の装置。
【請求項13】
前記データ融合モジュールが、
前記最初の時刻用の離散統計モデルフォーマットデータを、前記最初の時刻に先立つしきい値時間内の、複数の以前の時刻用の複数の離散統計モデルフォーマットデータを含む前記履歴離散統計モデルフォーマットデータに融合するように、そして
融合された統計モデルフォーマットデータの前記離散部分に基づいて、前記融合された離散統計モデルフォーマットデータの前記離散部分に相当している曲線用に連続データ出力フォーマットデータを、前記融合された離散統計モデルフォーマットデータの前記連続部分として計算するように
さらに構成された、請求項11に記載の装置。
【請求項14】
前記データ融合モジュールが、
前記最初の時刻に先立つ以前のしきい値時間内の複数の以前の時刻の複数の離散統計モデルフォーマットデータ用に、
前記最初の時刻用の前記離散統計モデルフォーマットデータが更新されるまで、所定時間間隔後に、後の時刻用の離散統計モデルフォーマットデータを更新すべく、各時刻用の前記離散統計モデルフォーマットデータを、前記後の時刻用の前記離散統計モデルフォーマットデータに融合するステップと、
融合された前記離散統計モデルフォーマットデータの前記離散部分に基づいて、連続データ出力フォーマットデータを、融合された前記離散統計モデルフォーマットデータの前記連続部分として計算するステップと
を繰り返し実行するようにさらに構成された、請求項11に記載の装置。
【請求項15】
1台又はそれより多い台数のカメラであって、前記カメラが、対象を表す連続モデル又は離散モデルを使うものであって、前記対象は、曲線が特徴的な車線標示を含む、前記カメラと、
請求項11に記載の装置と
を備える、車両。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、広い意味では対象の識別に関連し、より具体的には、離散統計モデルを使用して対象を識別することに関する。
【背景技術】
【0002】
(運転者不要車、自動運転車、ロボットカーとも知られている)自動運転車両は、人間の入力なしで、環境の感知可能であり航行可能な種類の車両である。自動運転車両(以下「ADV」という。)は、レーダー、レーザーライト、GPS、オドメトリ(自己位置姿勢推定法の一つ)、コンピュータビジョンなど、さまざまな技術を使用して周囲を検出する。高度な制御システムは、感知された情報を解釈して、適切な走行経路、障害物、及び関連する標識を識別する。
【0003】
具体的には、ADVは、(カメラなど)視野のようなセンサ、(レーザーレーダー、ミリ波レーダー、超音波レーダーなど)レーダーのような測距センサなど、さまざまな搭載センサからセンサデータを収集する。カメラは通常、道路のリアルタイム画像を捕捉するために使用される。例えば、リアルタイム画像を処理することで、車線標示の縁の曲線を連続画像から抽出して、車線標示を抽出可能である。車線標示の識別は、車線逸脱を判断するための基礎であり、その識別品質は、車両警告の適時性と正確性に直接影響する。
【0004】
さまざまな製造会社が製造したカメラは、対象を表すのに、さまざまなフォーマットのデータを使用することがある。例えば、一部のカメラは離散点を使用して対象を表す場合があり、他のカメラは多項式方程式を使用して対象を表す場合がある。現在、さまざまなデータフォーマットの場合、保存と処理用に離散データモデルを構築する必要がある。複数の異なるデータフォーマットを同時にサポートできるモデルがない。
【0005】
さらに、1回のインスタンス(時刻)で取得された単一フレームのカメラデータは不安定で信頼性がない。その時点のカメラデータを、以前の複数の時点のマルチフレームカメラデータと融合して、データを適合させて車線標示を特定することが望ましい。
【0006】
したがって、前述の欠点を克服するために、複数のデータフォーマットを同時にサポートできるモデルを使用して、リアルタイムで車線標示を特定できる解決手段の提供が望まれている。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開示は、対象を識別する方法と装置の提供を課題としている。
【課題を解決するための手段】
【0008】
本開示の最初の例示的な実施形態に従って、対象を識別する方法が提供される。この方法は、
最初の時刻にて、車両に搭載されたカメラによる生データ出力を得るステップであって、出力生データは、連続モデル用の連続データ出力フォーマットと、離散モデル用の離散データ出力フォーマットのいずれかを含む、前記生データ出力を得るステップと、
前記最初の時刻用に、離散統計モデルフォーマットデータを形成すべく、前記生データを離散統計モデルに供給するステップであって、前記離散統計モデルフォーマットデータが連続データ出力フォーマットを持つ連続部分と、離散データ出力フォーマットを持つ離散部分とを含んでいる、前記供給するステップと、
前記最初の時刻用の離散統計モデルフォーマットデータを更新すべく、最初の時刻用の離散統計モデルフォーマットデータを、履歴離散統計モデルフォーマットデータに融合するステップと、
最初の時刻用の前記更新された離散統計モデルフォーマットデータから、対象を識別するステップと
を備え、前記対象が曲線に特徴がある車線標示を含む。
【0009】
本開示の第2の例示的な実施形態に従って、対象を識別する装置が開示されている。この装置は、
最初の時刻にて、生データ出力を取得するように構成されたデータ取得モジュールであって、前記生データが、連続モデル用の連続データ出力フォーマット、又は離散モデル用の離散データ出力フォーマットを備えている、データ取得モジュールと、
最初の時刻用の離散統計モデルフォーマットデータを形成すべく、前記生データを離散統計モデルに供給するように構成されたデータ供給モジュールであって、離散統計モデルフォーマットデータが、連続データ出力フォーマットを持つ連続部分及び離散データ出力フォーマットを持つ離散部分とを含む、データ供給モジュールと、
最初の時刻用の離散統計モデルフォーマットデータを更新すべく、最初の時刻用の離散統計モデルフォーマットデータを、履歴離散統計モデルフォーマットデータに融合するように構成されたデータ融合モジュールと、
対象を、最初の時刻用の更新された離散統計モデルフォーマットデータから識別すべく構成された対象識別モジュールであって、前記対象が曲線に特徴がある車線標示を含む、対象識別モジュールと
を備える。
【0010】
本開示の第3の例示的な実施形態に従って、1つ又は複数のカメラを含む車両が提供される。前記カメラは、対象を表す連続モデル又は離散モデルを使うものであって、前記対象は、曲線が特徴的な車線標示を含む。
【0011】
この概要は、以下の詳細な説明でさらに説明する簡略化された形式で、選択した概念を紹介するために提供されている。この概要は、請求項に記載の主題の主要な機能又は必須の特徴の特定を意図しているのではなく、請求項に記載の主題の範囲を制限するために使用されることも意図されていない。複数実施例の追加的観点、機能、及び/又は有利点は、続く記載の一部で設定され、記載から明らかであるか、又は開示の実践によって学習されてよい。
図面の簡単な説明
【0012】
本開示の上記及び他の観点及び有利点は、例として、添付の図面と併せて取られた例示的な実施形態の以下の詳細な説明から明らかになるであろう。図面は必ずしも縮尺どおりに描かれているわけではないことに注意されたい。
【図面の簡単な説明】
【0013】
【
図1】
図1は、本発明の1つ又は複数の実施形態に従って道路を走行する自動運転車両100の概略図を示す。
【
図2】
図2は、連続モデルを使用するカメラによって表される対象201と、本発明の1つ又は複数の実施形態に従って、離散モデルを使用するカメラによって表される対象201を示す。
【
図3】
図3は、本発明の1つ又は複数の実施形態に従って対象を識別するための例示的な方法300のフローチャートである。
【
図4】
図4は、現在の発明の1つ又は複数の実施形態に準拠した離散統計モデルフォーマットのデータ融合の概略
図401及び402を示す。
【
図5】
図5は、
図3の実施形態に従って、離散統計モデルフォーマットのデータを過去の離散統計モデルフォーマットのデータと初めて融合するための方法500のフロー図を示す。
【
図6】
図6は、本発明の1つの実施形態に従って物体を識別する装置600のブロック図である。
【
図7】
図7は、現在の開示が現在の開示の例示的な実施形態に従って適用可能である一般的なハードウェア環境を示す。
【発明を実施するための形態】
【0014】
以下の詳細な説明では、説明されている例示的な実施形態を完全に理解するために、複数の具体的詳細が設定されている。しかし、これらの特定の詳細の一部又は全てがなくても、説明されている実施形態を実践可能なことは当業者には明らかであろう。他の例示的な実施形態では、現在の開示の概念を不必要に曖昧にするのを避けるために、よく知られた構造又は処理工程は詳細に説明されない。
【0015】
本願明細書で使う「車両」という用語は、車、飛行機、ヘリコプター、船などに言及している。簡単化のため、本発明は「車」に関して説明されているが、ここで説明されている実施形態は「車」のみに限定されず、他の種類の車両に適用可能である。本願明細書で使用されている「A又はB」という用語は、特に明記されていない限り、AとBが排他的であることを意味するのではなく、「A及びB」及び「A又はB」に言及している。
【0016】
離散統計モデル
【0017】
道路上で自動運転車を運転するときは、リアルタイムの道路状況を知る必要がある。この目的のために、さまざまなタイプのセンサが車両に搭載され、車両の「目」として機能する。現在広く使用されているセンサには、(カメラなど)視覚のようなセンサと(レーザーレーダー、ミリ波レーダー、超音波レーダーなど)レーダーのような測距センサがある。その中でも、カメラは低費用で、さまざまな対象を識別できて、対象の高さと幅の測定精度、車線標示の認識、歩行者認識の精度などに有利であり、車線逸脱の警告と交通標識の認識の実施に不可欠なセンサである。
【0018】
図1を参照すると、道路を走行する自動運転車両100の概略図が示されている。説明の目的で、
図1の車両100は、カメラ101と、ミリ波レーダー102と、レーザーレーダー103とを使用して対象を識別するが、当業者には、現在の発明の技術的解決手段がより多くの、又はより少ないセンサを採用する可能性があることがわかるだろう。本発明の1実施形態によれば、対象は、車線標示104を備えている。しかし、曲線によって特徴付けられる他の対象も現在の適用範囲内にあることを、当業者は完全に理解するだろう。
【0019】
一般に、さまざまなカメラの製造者から提供されるカメラデータのフォーマットは、異なっている。通常、1つ以上のモデルを使用して、各センサデータフォーマットのセンサデータを記録する。例えば、さまざまなカメラデータフォーマットを使用するさまざまな製造者のカメラが車両に搭載されている場合、さまざまなカメラデータフォーマットの複数のモデルを事前定義する必要がある。そのため、大量のデータを処理する場合は、データフォーマット間の相互変換のため、データ処理速度に遅延が出ることがある。さらに、実際には、プリインストールされたカメラを別の出力フォーマットを使用するカメラに替える必要がある可能性が高くなる(例えば、プリインストールされたカメラが破損している、ユーザーが特定のカメラブランドを好むなど)。この場合、カメラデータのモデルを再定義する必要がある。これは多くの場合、ユーザーにとって不便で、後で使用するときにプログラムの問題が発生するかもしれない。
【0020】
現在の発明は、連続モデルと離散モデルの両方をサポートできる離散統計モデルを定義している。連続モデルは、多項式フォーマットのデータに使用される。例えば、多項式フォーマットのデータは通常、多項式方程式y=c
0+c
1x+c
2x
2+c
3x
3+..+c
nx
nを使用して対象(車線標示104など)を記述し、カメラは連続モデルを使用する{[c
0、c
2、c
3、...、c
n]、[start、end]}は、データを多項式フォーマットで出力する場合、出力データは連続的なデータ出力フォーマットであると見なされる。ここで、「開始」は多項式で表される曲線の開始点を表し、「終了」は多項式で表される曲線の終了点を表す。
図2は、連続モデルを使用してカメラによって表される対象201を示す。
【0021】
離散モデルは、離散フォーマットのデータに使用される。例えば、離散フォーマットのデータは通常、複数の離散点を持つ対象(車線標示104など)を記述し、カメラは離散モデル{(x
1、y
1)、(x
2、y
2)、....、(x
m、y
m)}離散フォーマットでデータを出力する。出力データは、離散データ出力フォーマットであると見なされる。
図2は、離散モデルを使用してカメラによって表される対象201を示す。
【0022】
本発明の離散統計モデルは、上記の連続モデルと離散モデルを次のフォーマットで統合する。{t、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1 y1)、(x2、y2)、....、(xm、ym)]}、これは、時刻tでのカメラによるカメラデータ出力を表す。ここで、「[c0、c1、c2、c3、...、cn]、[start、end]」は連続部分であり、「[(x1、y1)、(x2、y2)、....、(xm、ym)]」は離散部分である。これら2つの部分のデータは、同じ対象を記述している。
【0023】
上記の離散統計モデルを使用することで、1つのモデルのみで2つの異なるフォーマットのカメラデータをサポートできるため、データ処理がより効率的になり、存在するおそれのあるプログラミングの問題が軽減される。
【0024】
具体的な方法
【0025】
図3は、対象を識別するための例示的な方法300のフローチャートである。例えば、方法300は、少なくとも1つのプロセッサ(例えば、
図7のプロセッサ704)内に実装可能であり、これは、オンボードコンピュータシステム、リモートサーバー、又はそれらの組み合わせに配置し得る。もちろん、本発明のさまざまな観点において、方法300は、関連する操作を実行可能な任意の適切な手段によっても実装可能である。
【0026】
方法300はステップ310で始まる。ステップ310で、最初の時刻(以下の説明では、「最初の時刻」は「リアルタイム」として理解される)で、最初の時刻で車両に搭載されたカメラによって出力される最初のデータが取得される。出力された最初のデータには、上記の連続モデルの連続データフォーマット、又は上記の離散モデルの離散データフォーマットのいずれかが含まれる。つまり、最初のデータは、多項式を使用して対象を記述するか、離散点を使用して対象を記述する。
【0027】
ステップ320で、取得された最初のデータが離散統計モデルに供給されて、初めて瞬時に離散統計モデルフォーマットデータを形成する。つまり、時間情報(例えば、tFTI(最初時刻)などのタイムスタンプ)と最初のデータを離散統計モデル{t、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、....、(xm、ym)]}は、離散統計モデルをインスタンス化する。
【0028】
本発明の1実施形態によれば、最初のデータが連続的なデータ出力フォーマット(すなわち、{[c0、c1、c2、c3、...、cn]、[start、end]}フォーマット)を持つ場合、その後、最初のデータは、離散統計の「[c0、c1、c2、c3、...、cn]、[start、end]」の部分に最初のデータを配置することにより、離散統計モデルフォーマットのデータの連続部分として使用される。
次に、最初のデータに対応する多項式に基づいて、最初のデータによって記述された曲線上の複数の離散点が計算される。計算される離散ポイントの数は任意であってよい。当業者は、計算される離散点の数が、車両のプロセッサ能力に応じて選択されてよいことを理解するであろう。もちろん、計算される離散点の数は、他の基準に従って決定可能でもある。次に、計算された離散点が、離散統計モデルフォーマットデータの離散部分として、離散統計モデルの「[(x1、y1)、(x2、y2)、....、(xm、ym)]」の一部に配置される。
【0029】
本発明の1実施形態によれば、最初のデータが離散データ出力フォーマット(すなわち、{(x1、y1)、(x2、y2)、....、(xm、ym)}フォーマット)を有する場合、最初のデータは、最初のデータを「[(x1、y1)、(x2、y2)、....、(xm、ym)]」の一部に配置することにより、離散統計モデルフォーマットのデータの離散部分として使用される。
次に、最初のデータに対応する多項式が、最初のデータに基づいて計算される。当業者は、離散点が、多項式によって表される曲線を取得するために、補間又は曲線あてはめを使用して数学的に処理できることを理解するであろう。次に、計算された多項式は、離散統計モデルフォーマットデータの連続部分として、離散統計モデルの「[c0、c1、c2、c3、...、cn]、[start、end]」の部分に配置される。
【0030】
ステップ320の後、離散統計モデルフォーマットデータの連続部分と離散部分には、同じ対象を記述するデータが含まれていることがわかるだろう。
【0031】
ステップ330で、最初の離散統計モデルフォーマットデータが、過去の離散統計モデルフォーマットデータと融合されて、最初の離散統計モデルフォーマットデータが更新される。実際には、1回の時刻で取得されたリアルタイムのセンサデータは、対象を正確に描写していない。特に、車線標示などの連続性のある対象の場合、車線標示を説明するために、複数の連続する時刻のセンサデータを融合する必要がある。
【0032】
本発明の1つの実施形態によれば、車両に搭載されたカメラは、特定の時間間隔でカメラデータを出力すると想定されている。
時間間隔は、0.1秒、0.2秒、0.5秒、1秒など、オンデマンドで異なる場合がある。もちろん、他の時間間隔も発明の範囲内にある。本発明の1つ又は複数の実施形態に従って、履歴離散統計モデルフォーマットデータは、最初の即時の読み取り又はキャッシュメモリに格納される前に、いくつかの連続した時刻で形成され得る。理解しておくべきことは、最初の時刻には、履歴離散統計モデルフォーマットのデータは、離散統計モデルフォーマットのデータと同じデータフォーマットであり、最初の時刻に先立つある1つ又はそれより多いインタンスには、最初のインタンス用離散統計モデルフォーマットデータと同じように形成される。
【0033】
本発明の1実施形態によれば、融合後、融合された離散統計モデルフォーマットデータの離散部分は、複数の離散統計モデルフォーマットデータ内の全ての離散部分のデータを含む。
例えば、融合中に、更新された離散統計モデルフォーマットデータの離散部分が初めてインスタンスになり、全ての離散部分が履歴離散統計モデルフォーマットデータに集約される。よって、融合後、最初の時刻の更新された離散統計モデルフォーマットデータの離散部分は、最初の離散統計モデルフォーマットデータの離散部分のデータと、履歴離散統計モデルフォーマットデータ内の全ての離散部分のデータとを含む。本発明の1つの実施形態によれば、計算負荷及びメモリ機能を考慮して、融合中に、集約された離散データ内の重複データ又は異常データが削除又はフィルタリングされる。例えば、最初のインスタントの、更新された離散統計モデルフォーマットのデータの離散部分で、重複、又は外れ値の離散点を削除してよい。
【0034】
本発明の1つの実施形態によれば、融合された離散統計モデルフォーマットデータの離散部分データに基づいて、融合離散統計モデルフォーマットデータの離散部分データに相当する曲線の連続データ出力フォーマットデータは、融合離散統計モデルフォーマットデータの連続部分として、計算される。
例えば、最初の時刻に、更新された(つまり、融合された)離散統計モデルフォーマットデータの上記の離散部分に基づいて、更新された(つまり、融合された)離散統計モデルフォーマットデータに対応する多項式が、最初の時刻の、更新された(つまり融合された)離散統計モデルフォーマットデータの連続部分として計算される。
【0035】
図4は、現在の発明の1つ又は複数の実施形態に準拠した離散統計モデルフォーマットのデータ融合の概略
図401及び402を示す。特に、図示401は単一の融合を示し、図示402は反復的な融合を示す。
【0036】
図示401は、最初の離散統計モデルフォーマットデータと、過去の離散統計モデルフォーマットデータとの融合を示す図である。これには、複数の離散統計モデルフォーマットデータが含まれる。これには、複数の離散統計モデルフォーマットデータが含まれる。すなわち、以前の複数の連続する時刻(時間のインスタンス)の場合、、{tFTI、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、....、(xm、ym)]}を更新するには、
{tFTI、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、....、(xm、ym)]}は、{tFTI-1、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、...、(xm、ym)]}、{tFTI-2、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、...、(xm、ym)]}……{tFTI-n、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、....、(xm、ym)]}と融合する。
ここで、「FTI」は「最初時刻」を表す。ここにおいて、例えば、tFTIとtFTI-1の間の、隣り合う2つの時刻の間の時間間隔は、上記のように事前に決定できる。また、tFTI-nとtFTI-nの間で選択されたしきい値期間も経過する場合がある。例えば、所定の時間間隔が0.1秒の場合、しきい値期間を1秒(すなわち、この場合、nは10である)に選択できる。それにより、10個の履歴の一般的な統計モデルフォーマットのデータが、融合用の最初の時刻に選択される。
複数の以前の履歴一般統計モデルフォーマットデータを持って{tFTI、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、....、(xm、ym)]}を融合後、{tFTI、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、....、(xm、ym)]}が更新されて{tFTI、[c0、c1、c2、c3、...、cn]’、[start、end]’、[(x1、y1)’、(x2、y2)’、....、(xm、ym)’]}となる。したがって、図示401の方法は、{tFTI、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、....、(xm、ym)]}{tFTI、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、....、(xm、ym)]}を更新するのに、履歴統計モデルフォーマットのデータを1回使用する。
【0037】
図示402は、複数の以前の時刻の複数の統計モデルフォーマットデータを、最初の時刻より前のしきい値期間内に繰り返し融合することを示す図である。
上記の例を続けると、しきい値期間は1秒であり、2つの隣り合う時刻間の所定の時間間隔は0.1秒であると想定されている。最初の時刻より前のしきい値期間内の以前の時刻が複数ある場合は、次の手順が繰り返し実行される。これは、離散統計モデルのフォーマットデータを使用して、各統計の離散のデータを使用する。事前に決定された時間間隔の後の、後の時間の離散統計モデルフォーマットデータを更新して、後の時間の離散統計モデルフォーマットデータを更新する。
【0038】
例えば、最初に、{tFTI-n、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、....、(xm、ym)]}は、
更新された{tFTI-n+1、[c0、c1、c2、c3、...、cn]’、[start、end]’、[(x1、y1)、(x2、y2)、....、(xm、ym)]’}を得るのに、
{tFTI-n+1、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、....、(xm、ym)]}と融合される。
次に、更新された{tFTI-n+2、[c0、c1、c2、c3、...、cn]’、[start、end]’、[(x1、y1)、(x2、y2)、....、(xm、ym)]’}を得るのに、
{tFTI-n+1、[c0、c1、c2、c3、...、cn]’、[start、end]’、[(x1、y1)、(x2、y2)、...。、(xm、ym)]’}は、
{tFTI-n+2、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、....、(xm、ym)]}と融合される。
次に、更新された{tFTI-n+3、[c0、c1、c2、c3、...、cn]’、[start、end]’を得るのに、
{tFTI-n+2、[c0、c1、c2、c3、...、cn]’、[start、end]’、[(x1、y1)、(x2、y2)、...。、(xm、ym)]’}は、
{tFTI-n+3、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、....、(xm、ym)]}、[(x1、y1)、(x2、y2)、....、(xm、ym)]’}と融合される。
最後に、更新された{tFTI、[c0、c1、c2、c3、...、cn]’、[start、end]’、[(x1、y1)、(x2、y2)、....、(xm、ym)]’}を得るのに、
{tFTI-1、[c0、c1、c2、c3、...、cn]’、[start、end]’、[(x1、y1)、(x2、y2)、....、(xm、ym)]’}は、
{tFTI、[c0、c1、c2、c3、...、cn]、[start、end]、[(x1、y1)、(x2、y2)、....、(xm、ym)]}と融合される。
よって、この処理は「反復融合」と見なせる。
【0039】
融合されたデータをより正確にするために、次の数学的方法を融合で使用できる。
図5は、
図3の実施形態に従って、離散統計モデルフォーマットデータを過去の離散統計モデルフォーマットデータと初めて融合する方法500のフローチャートを示す。ステップ510で、履歴離散統計モデルフォーマットデータが取得される。履歴離散統計モデルフォーマットには、最初の時刻に先立つしきい値期間内の、複数の以前の時刻用の複数の離散統計モデルフォーマットデータが含まれる。
【0040】
ステップ520で、最初の時刻用の離散統計モデルフォーマットデータと、履歴離散統計モデルフォーマットデータが同じ座標系に変換される。例えば、車両がローカル座標系の原点であり、車両の進行方向がローカル座標系のx軸として取得され、車両の進行方向に垂直な方向を、ローカル座標系のy軸として取得されるとする。
次に、車両がtFTI-1からtFTIまでの距離Lを移動方向に移動するときに、tFTI-1のローカル座標系の原点と比較してtFTIでのローカル座標系の原点が(Lx、Ly)に移動することがわかる。座標変換により、全ての履歴離散統計モデルフォーマットのデータがtFTIのローカル座標系に変換される。これにより、融合用のデータは同じ座標系になる。
【0041】
本発明の別の実施形態によれば、履歴離散統計モデルフォーマットデータで使用され、かつ最初の時刻用の離散統計モデルフォーマットデータで使用される様々なタイプの座標系が、均一に世界測地系に変換可能である。これにより、融合用のデータの作成が、同じ座標系内にある。さまざまな座標変換方法には、2次元空間での座標の平行移動と回転、3次元空間での座標の平行移動と回転などが含まれるが、これらに限定されない。
【0042】
ステップ530で、
図4に示す2つの融合モード401と402のいずれかを使用することにより、初めて離散統計モデルフォーマットデータを更新するのに、最初の時刻用の離散統計モデルフォーマットデータと、同じ座標系内の履歴離散統計モデルフォーマットデータが融合される。
【0043】
1実施形態では、加重平均化アルゴリズムもまた、融合のために採用され得る。例えば、融合時に、最初の時刻の近くに記録された履歴離散統計モデルフォーマットのデータには高い重みが与えられ、履歴離散統計モデルフォーマットのデータは、最初の時刻から遠く離れて記録された場合に、より低い重みが与えられる。もちろん、他の重み付け方法も考えられる。
【0044】
図3に戻ると、ステップ340で、最初の時刻用の更新された離散統計モデルフォーマットのデータに基づいて、対象が識別される。1実施形態では、最初の時刻用の更新された離散統計モデルフォーマットで、離散データ出力フォーマット(つまり、離散データ点を含む)からの車線標示を表す曲線を識別するのに、回帰アルゴリズム、補間アルゴリズム、フィッティングアルゴリズムの1つを含む数学的アルゴリズムを採用可能である。
【0045】
よって、本発明の解決手段を使用することにより、異なるタイプのデータを統合されたデータモデルに配置することにより、データセットをより迅速に処理可能である。標示の連続モデルと離散モデルの両方をサポートするデータモデルを使用することで、車両システムは両方の種類のカメラと互換性を持つことができる。また、履歴情報が考慮されているため、車線標示の識別がより正確になる。
【0046】
図6は、本発明の1つの実施形態に従って、物体を識別するための装置600のブロック図である。(装置600のさまざまなユニットを含む)装置600の全ての機能ブロックは、ハードウェア、ソフトウェア、ハードウェア、及びソフトウェアの組み合わせによって実装してよい。当業者は、
図6に示されている機能ブロックを単一の機能ブロックに結合することも、複数のサブ機能ブロックに分割可能なことをも理解するであろう。
【0047】
装置600は、データ取得モジュール610を備え、データ取得モジュールは、最初に、車両にインストールされたカメラによって生データ出力を取得するように構成され、出力生データは、連続したモデル用の出力フォーマット又は離散モデル用の離散データ出力フォーマットデータのうちの1つを含む。
装置600は、データ供給モジュール620を備える。データ供給モジュール620は、生データを離散統計モデルに供給して、最初の時刻用の離散統計モデルフォーマットデータを形成するように構成されている。離散統計モデルフォーマットデータは、連続データ出力フォーマットを持つ連続部分と、離散データ出力フォーマットを持つ離散部分とを含む。
装置600は、データ融合モジュール630を備える。データ融合モジュール630は、最初の時刻用の離散統計モデルフォーマットデータを、履歴離散統計モデルフォーマットデータと融合して、最初の時刻用の離散統計モデルフォーマットデータを更新するように構成されている。
また、装置600は、対象識別モジュール640をさらに備える。対象識別モジュール640は、更新された離散統計モデルフォーマットデータから対象を識別するように構成されている。対象は、曲線により特徴がある車線標示を含む。
【0048】
次に、
図7を参照して、本開示の複数の観点に適用してよいハードウェア装置の例である計算装置700について説明する。計算装置700は、処理や計算を実行するように構成された任意のマシンであってよく、ワークステーション、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、携帯情報端末、スマートフォン、車載コンピュータ、又はそれらの任意の組み合わせであってよいが、これらに限定されない。前述のシステムは、計算装置700又は同様の装置又は同様のシステムによって全体的又は少なくとも部分的に実行されてよい。
【0049】
計算装置700は、1つ又は複数のインタフェースを介し得て、バス702に接続されているか、又はバス702と通信する要素を備えてよい。例えば、計算装置700は、バス702、及び1つ又は複数のプロセッサ704、1つ又は複数の入力装置706、及び1つ又は複数の出力装置708を備えてよい。1つ又は複数のプロセッサ704は、任意の種類のプロセッサでよく、1つ又は複数の汎用プロセッサと、1つ又は複数の特殊用途プロセッサ(特別な処理チップなど)との少なくとも一方を備えてもよいが、それらに限定されない。
入力装置706は、計算装置に情報を入力可能な任意の種類の装置でよく、マウス、キーボード、タッチスクリーン、マイク、及び/又はリモートコントロールであってよいが、それらに限定されない。出力装置708は、情報を提示することができる任意の種類の装置でよく、ディスプレイ、スピーカー、ビデオ/オーディオ出力端末、振動器及び/又はプリンタを備えることがあるが、それらに限定されない。
計算装置700はまた、非一時的記憶装置710を備えてよい。非一時的記憶装置710は、非一時的であり、データの記憶を実行可能である。非一時的記憶装置710は、ディスクドライブと、光学的記憶装置と、ソリッドステート記憶と、フロッピーディスクと、フレキシブルディスクと、ハードディスクと、磁気テープ又はその他の磁気媒体と、コンパクトディスク又はその他の光学媒体と、ROM(読み取り専用メモリ)と、RAM(ランダムアクセスメモリ)と、キャッシュメモリ及び/又はその他のメモリチップ又はカートリッジと、コンピュータがデータ、指示、及び/又はコードを読み取れるその他の媒体との中の少なくとも1つを備えてよいが、それらに限定されない。非一時的記憶装置710は、インタフェースから取り外し可能であってよい。非一時的記憶装置710が、上記の方法及びステップを実行するデータ/命令/コードを持っていてよい。計算装置700は、通信装置712をも備えてよい。
通信装置712は、外部装置及び/又はネットワークと通信可能な任意の種類の装置又はシステムであってよい。通信装置712は、モデムと、ネットワークカードと、赤外線通信装置と、無線通信装置と、チップセット(ブルートゥース(登録商標)装置、802.11装置、WiFi装置、WiMax装置、セルラー通信設備などのチップセットなどのいずれか又はそれらの組み合わせ)とのいずれか又はそれらの組み合わせがあり得るが、それらに限定されない。
【0050】
計算装置700を車載装置として使用する場合は、GPSレシーバ、加速度センサ、ホイールスピードセンサなどのさまざまな環境データを検知するセンサなどの外部装置に接続されることがある。このようにして、計算装置700は、例えば、車両の走行状況を示す位置データ及びセンサデータを受信するだろう。計算装置700を車載装置として使用する場合は、車両の走行と操作の制御のため、他の設備(エンジンシステム、ワイパー、アンチロックブレーキシステムなど)にも接続される場合があろう。
【0051】
加えて、非一時的記憶装置710は、プロセッサ704がルート案内処理を実行可能に、マップ情報及びソフトウェア要素を備えてよい。さらに、出力装置706は、地図と、車両の位置印とを表示し、車両の走行状況を示す画像も表示するディスプレイを備えてよい。出力装置906はまた、音声案内のためのスピーカー又はイヤホンとのインタフェースを備えてよい。
【0052】
バス702には、アイサ(Industry Standard Architecture(ISA))バス、エムシーエー(Micro Channel Architecture(MCA))バス、イーアイサ(Enhanced ISA(EISA))バス、ベサ(Video Electronics Standards Association(VESA))ローカルバス、及びペリフェラルコンポーネントインターコネクト(Peripheral interconnect(PCI))バスが含まれる場合があるが、これらに限定されない。特に、車載装置の場合、バス702は、コントローラエリアネットワーク(CAN)バス、又は自動車での適用に設計されたその他のアーキテクチャも含む場合がある。
【0053】
計算装置700はまた、プロセッサ704の動作に有用な命令とデータとの少なくとも一方を格納可能な、任意の種類の作業メモリ714を備えることがある。計算装置700は、ランダムアクセスメモリと、リードオンリーメモリとの少なくとも一方を備えてよいが、これらに限定されない。
【0054】
ソフトウェア要素は、作業メモリ714内に配置されることがある。作業メモリ714は、オペレーティングシステム716、1つ又は複数のアプリケーションプログラム718、ドライバ及び/又は他のデータ及びコードを備えることがあるが、これらに限定されない。上記の方法及びステップを行う指示は、1つ又は複数のアプリケーションプログラム718に含まれることがあり、前述の装置800のユニットは、プロセッサ704が1つ又は複数のアプリケーションのプログラム718の複数指示を読み取って実行することで、実施されることがある。
ソフトウェア要素の命令の実行可能コード又はソースコードは、上記のメモリを備えた記憶装置710などの非一時的コンピュータ可読記憶メディアに保存され、コンパイル及び/又はインストールを伴って作業メモリ714に読み込まれるようにしてもよい。ソフトウェア要素の指示の実行可能コード又はソースコードは、リモートの場所からダウンロードされるようにしてもよい。
【0055】
当業者は、本開示が、必要なハードウェアを備えたソフトウェアによって、又はハードウェア、ファームウェアなどによって実行され得ることを、上記の複数の実施形態から明確に知るだろう。そのような理解に基づいて、本開示の具体化は、ソフトウェアフォーマットの一部で具体化されてもよい。コンピュータソフトウェアは、フロッピーディスク、ハードディスク、光学ディスク、コンピュータのフラッシュメモリなどの読み取り可能な記憶メディアに保存されていてもよい。コンピュータソフトウェアは、コンピュータ(例えば、パーソナルコンピュータ、サービスステーション、又はネットワーク端末)に、本開示のそれぞれの実施形態に従って、その方法又はその一部を実行させるための一連の指示を含む。
【0056】
この明細書では、「1つの例」又は「任意の例」への参照が行われている。これは、特定の説明された機能、構造、又は特性が少なくとも1つの例に含まれていることを意味する。したがって、このような句の使用は、1つの例以上のものを指す場合がある。さらに、記載されている機能、構造、又は特性は、1つ又は複数の例で適切な方法で組み合わせてよい。
【0057】
ただし、関連技術の当業者は、特定の詳細が1つ以上なくても、又は他の方法、リソース、資料などを使用して、複数の例が実践され得ることを認識するかもしれない。他のインスタンスでは、周知の構造、リソース、又は操作は、上記複数例のあいまいな側面を観察するためだけに、詳細に示されたり説明されたりしていない。
【0058】
抽出された複数の例と複数の適用が図解されて説明されているが、実施例が、上記の構成とリソースの細かいところに限定されないことを理解されたい。当業者に明らかな様々な修正、変更、及び変形は、請求される複数例の範囲から逸脱することなく、本明細書に開示される方法及びシステムの配置、操作、及び詳細においてなされ得る。