特許 7179695 車線追跡方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-18

(45)【発行日】2022-11-29

(54)【発明の名称】車線追跡方法及び装置

(51)【国際特許分類】

   G06T 7/60 20170101AFI20221121BHJP

   G06T 7/00 20170101ALI20221121BHJP

   G08G 1/16 20060101ALI20221121BHJP

【ＦＩ】

G06T7/60 200J

G06T7/00 650A

G08G1/16 C

【請求項の数】 19

(21)【出願番号】P 2019127325

(22)【出願日】2019-07-09

(65)【公開番号】P2020038622

(43)【公開日】2020-03-12

【審査請求日】2019-07-09

【審判番号】

【審判請求日】2021-03-26

(31)【優先権主張番号】201811026061.X

(32)【優先日】2018-09-04

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】512015127

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】シエ，シュフ

(72)【発明者】

【氏名】ヅァイ，ユーキャン

(72)【発明者】

【氏名】シア，ティアン

(72)【発明者】

【氏名】マ，ユー

【合議体】

【審判長】畑中 高行

【審判官】木方 庸輔

【審判官】樫本 剛

(56)【参考文献】

【文献】特開２０１７－１５６７９５（ＪＰ，Ａ）

【文献】特開２０１８－１１６１４７（ＪＰ，Ａ）

【文献】特開２０１８－１１２９８９（ＪＰ，Ａ）

【文献】特開２０１４－１６０３２２（ＪＰ，Ａ）

【文献】特開２０１８－２５９０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 7/00 ,

G06T 7/60 ,

G08G 1/16

(57)【特許請求の範囲】

【請求項1】

車線追跡装置に用いられる車線追跡方法であって、
所定のフレームの前のＫフレームのカメラ座標系での車線検出結果を世界座標系に投影して、第一投影結果を取得し、Ｋは、１以上の正の整数であり、前記前のＫフレームは、前記所定のフレームより前の連続するＫ個のフレームであるステップと、
前記前のＫフレームの世界座標系での前記第一投影結果を前記所定のフレームのカメラ座標系に投影して、第二投影結果を取得するステップと、
前記所定のフレームのカメラ座標系において、前記前のＫフレームの前記第二投影結果における車線点グループと同じグループに属する前記所定のフレームの車線点グループを確定するステップと、を含み、
前記車線検出結果は、フレーム画像内の、車線に属する車線点を含むことを特徴とする車線追跡方法。

【請求項2】

前記前のＫフレームの前記第二投影結果における車線点グループと同じグループに属する前記所定のフレームの車線点グループを確定するステップは、
前記所定のフレームにおける車線点グループのうちの一つを選択し、前記所定のフレームの選択された車線点グループと前記前のＫフレームの前記第二投影結果における各車線点グループとの間の最小距離を計算するステップと、
前記最小距離のうちの最小値が、前記前のＫフレームの前記第二投影結果における車線点グループのうちの第Ｓ車線の車線点グループに対応すれば、前記所定のフレームの選択された車線点グループを前記前のＫフレームの前記第Ｓ車線の車線点グループに合併し、Ｓは、１以上の正の整数であるステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記最小距離のうちの最小値が、前記前のＫフレームの前記第二投影結果における車線点グループのうちの第Ｓ車線の車線点グループに対応すれば、前記所定のフレームの選択された車線点グループを前記Ｋフレームの前記第Ｓ車線の車線点グループに合併するステップは、
前記最小距離のうちの最小値が設定された閾値より小さければ、前記所定のフレームの選択された車線点グループを前記前のＫフレームの前記第Ｓ車線の車線点グループに合併し、
そうでなければ、前記所定のフレームの選択された車線点グループを新規車線点グループとすること、を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記所定のフレームのカメラ座標系において、前記前のＫフレームの前記第二投影結果における車線点グループの車線点に基づいて、前記所定のフレームにおける前記車線点グループの車線点に対して削除処理を行うステップを更に含むことを特徴とする請求項１に記載の方法。

【請求項5】

前記前のＫフレームの前記第二投影結果における車線点グループの車線点に基づいて、前記所定のフレームの前記車線点グループの車線点に対して削除処理を行うステップは、
前記所定のフレームの第Ｐ車線の車線点グループの車線点と、前のフレームの第Ｐ車線の車線点グループとの距離が設定された閾値より大きければ、前記所定のフレームの第Ｐ車線の車線点グループの該車線点をフィルタリングにより削除し、Ｐは、１以上の正の整数であることを含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記前のＫフレームの前記第二投影結果における車線点グループの車線点を用いて、前記所定のフレームにおける車線点を補完するステップを更に含むことを特徴とする請求項１に記載の方法。

【請求項7】

前記前のＫフレームの前記第二投影結果における車線点グループの車線点を用いて、前記所定のフレームにおける車線点を補完するステップは、
前記前のＫフレームの前記第二投影結果には、いずれも第Ｍ車線の車線点グループが含まれ、且つ、前記所定のフレームには、前記第Ｍ車線の車線点グループが含まれなければ、前記前のＫフレームの前記第二投影結果における第Ｍ車線の車線点グループの各車線点を用いて、前記所定のフレームに前記第Ｍ車線の車線点グループの車線点を増加し、Ｍは、１以上の正の整数であることを含むことを特徴とする請求項６に記載の方法。

【請求項8】

前記前のＫフレームの前記第二投影結果には、いずれも第Ｎ車線の車線点グループが含まれ、且つ、前記所定のフレームより後の連続するＴフレームには、前記第Ｎ車線の車線点グループが含まれなければ、前記第Ｎ車線の車線点グループを削除し、Ｔは、１よりも大きい正の整数であり、Ｎは、１以上の正の整数であるステップを更に含むことを特徴とする請求項１乃至５の何れか１項に記載の方法。

【請求項9】

所定のフレームの前のＫフレームのカメラ座標系での車線検出結果を世界座標系に投影して、第一投影結果を取得するために用いられ、Ｋは、１以上の正の整数であり、前記前のＫフレームは、前記所定のフレームより前の連続するＫ個のフレームである第一投影モジュールと、
前記前のＫフレームの世界座標系での投影結果を前記所定のフレームのカメラ座標系に投影して、第二投影結果を取得するための第二投影モジュールと、
前記所定のフレームのカメラ座標系において、前記前のＫフレームの前記第二投影結果における車線点グループと同じグループに属する前記所定のフレームの車線点グループを確定するためのグループ化モジュールと、を備え、
前記車線検出結果は、フレーム画像内の、車線に属する車線点を含むことを特徴とする車線追跡装置。

【請求項10】

前記グループ化モジュールは、
前記所定のフレームにおける車線点グループのうちの一つを選択し、前記所定のフレームの選択された車線点グループと前記前のＫフレームの前記第二投影結果における各車線点グループとの間の最小距離を計算するための距離サブモジュールと、
前記最小距離のうちの最小値が、前記前のＫフレームの前記第二投影結果における車線点グループのうちの第Ｓ車線の車線点グループに対応すれば、前記所定のフレームの選択された車線点グループを前記前のＫフレームの前記第Ｓ車線の車線点グループに合併するために用いられ、Ｓは、１以上の正の整数である合併サブモジュールと、を備えることを特徴とする請求項９に記載の装置。

【請求項11】

前記合併サブモジュールは、前記最小距離のうちの最小値が設定された閾値より小さければ、前記所定のフレームの選択された車線点グループを前記前のＫフレームの前記第Ｓ車線の車線点グループに合併するためにさらに用いられ、
前記グループ化モジュールは、前記最小距離のうちの最小値が設定された閾値より以上であれば、前記所定のフレームの選択された車線点グループを新規車線点グループとする新規サブモジュールを更に備えることを特徴とする請求項１０に記載の装置。

【請求項12】

前記所定のフレームのカメラ座標系において、前記前のＫフレームの前記第二投影結果における車線点グループの車線点に基づいて、前記所定のフレームの前記車線点グループの車線点に対して削除処理を行う削除処理モジュールを更に備えることを特徴とする請求項１０に記載の装置。

【請求項13】

前記削除処理モジュールは、前記所定のフレームの第Ｐ車線の車線点グループの車線点と、前のフレームの第Ｐ車線の車線点グループとの距離が設定された閾値より大きければ、前記所定のフレームの第Ｐ車線の車線点グループの該車線点をフィルタリングにより削除するためにさらに用いられ、Ｐは、１以上の正の整数であることを特徴とする請求項１２に記載の装置。

【請求項14】

前記前のＫフレームの前記第二投影結果における車線点グループの車線点を用いて、所定のフレームにおける車線点を補完する補完モジュールを更に備えることを特徴とする請求項９に記載の装置。

【請求項15】

前記補完モジュールは、前記前のＫフレームの前記第二投影結果には、いずれも第Ｍ車線の車線点グループが含まれ、且つ、前記所定のフレームには、前記第Ｍ車線の車線点グループが含まれなければ、前記前のＫフレームの前記第二投影結果における第Ｍ車線の車線点グループの車線点を用いて、前記所定のフレームに前記第Ｍ車線の車線点グループの車線点を増加するためにさらに用いられ、Ｍは、１以上の正の整数であることを特徴とする請求項１４に記載の装置。

【請求項16】

前記前のＫフレームの前記第二投影結果には、いずれも第Ｎ車線の車線点グループが含まれ、且つ、前記所定のフレームより後の連続するＴフレームには、前記第Ｎ車線の車線点グループが含まれなければ、前記第Ｎ車線の車線点グループを削除し、Ｔは、１よりも大きい正の整数であり、Ｎは、１以上の正の整数である削除モジュールを更に備えることを特徴とする請求項９乃至１３の何れか１項に記載の装置。

【請求項17】

１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するためのメモリと、
画像を採集するためのカメラと、を備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサが請求項１乃至８の何れか１項に記載の方法を実現するようにすることを特徴とする車線追跡装置。

【請求項18】

コンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行されると、請求項１乃至８の何れか１項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。

【請求項19】

コンピュータにおいて、プロセッサにより実行される場合、請求項１乃至８の何れか１項に記載の方法を実現することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、交通技術分野に関し、特に、車線追跡方法及び装置に関する。

【背景技術】

【0002】

車線は、自動運転に対して重要な役割を果たしており、測位や決定制御等のモジュールに重要な情報を提供することができる。

【0003】

走行中の車両に対して、撮影された車線ビデオにおいて、前後のフレームの画像の間には、関連性を有する。あるフレーム画像に問題が起こると、単一フレームにおける検出結果に突然の変化が生じやすくなり、例えば、車線が失われる等の状況に繋がってしまうため、単一フレームによる検出で得られた車線結果は、極めて不正確となる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施例は、先行技術における１つ又は複数の技術的課題を解決するための車線追跡方法及び装置を提供する。

【課題を解決するための手段】

【0005】

第一態様によれば、本発明の実施例は、車線追跡方法を提供し、当該方法は、
車線追跡装置に用いられる車線追跡方法であって、
当前フレームの前のＫフレームのカメラ座標系での車線検出結果を世界座標系に投影して、第一投影結果を取得し、Ｋは、１以上の正の整数であり、前記前のＫフレームは、前記当前フレームより前の連続するＫ個のフレームであるステップと、
前記前のＫフレームの世界座標系での前記第一投影結果を前記当前フレームのカメラ座標系に投影して、第二投影結果を取得するステップと、
前記当前フレームのカメラ座標系において、前記前のＫフレームの前記第二投影結果における車線グループと同じグループに属する前記当前フレームの車線グループを確定するステップと、を含み、
前記車線検出結果は、フレーム画像内の、車線に属する像素点を含む。

【0006】

第一態様に合わせて、本発明の実施例として、第一態様の第一実施形態において、前記前のＫフレームの前記第二投影結果における車線グループと同じグループに属する前記当前フレームの車線グループを確定するステップは、
前記当前フレームにおける車線グループのうちの一つを選択し、前記当前フレームの選択された車線グループと前記前のＫフレームの前記第二投影結果における各車線グループとの間の最小距離を計算するステップと、
前記最小距離のうちの最小値が、前記前のＫフレームの前記第二投影結果における車線グループのうちの第Ｓ車線グループに対応すれば、前記当前フレームの選択された車線グループを前記前のＫフレームの前記第Ｓ車線グループに合併し、Ｓは、１以上の正の整数であるステップと、を含む。

【0007】

第一態様の第一実施形態に合わせて、本発明の実施例として、第一態様の第二実現形態において、前記最小距離のうちの最小値が、前のＫフレームの前記第二投影結果における車線グループのうちの第Ｓ車線グループに対応すれば、前記所定のフレームの選択された車線グループを前記Ｋフレームの前記第Ｓ車線グループに合併するステップは、
前記最小距離のうちの最小値が設定された閾値より小さければ、前記所定のフレームの選択された車線グループを前記前のＫフレームの前記第Ｓ車線グループに合併し、
そうでなければ、前記所定のフレームの選択された車線グループを新規車線グループとすること、を含む。

【0008】

第一態様に合わせて、本発明の実施例として、第一態様の第三実現形態において、
前記所定のフレームのカメラ座標系において、前のＫフレームの前記第二投影結果における車線グループの車線点に基づいて、所定のフレームにおける前記車線グループの車線点に対して平滑化処理を行うステップを更に含む。

【0009】

第一態様の第三実現形態に合わせて、本発明の実施例として、第一態様の第四実現形態において、前のＫフレームの前記第二投影結果における車線グループの車線点に基づいて、所定のフレームにおける前記車線グループの車線点に対して平滑化処理を行うステップは、
前記所定のフレームの第Ｐ車線グループの車線点と、前フレームの第Ｐ車線グループとの距離が設定された閾値より大きければ、前記所定のフレームの第Ｐ車線グループの該車線点をフィルタリングにより削除し、Ｐは、１以上の正の整数であることを含む。

【0010】

第一態様に合わせて、本発明の実施例として、第一態様の第五実現形態において、
前のＫフレームの前記第二投影結果における車線グループの車線点を用いて、所定のフレームを補完するステップを更に含む。

【0011】

第一態様の第五実現形態に合わせて、本発明の実施例として、第一態様の第六実現形態において、前のＫフレームの前記第二投影結果における車線グループの車線点を用いて、所定のフレームを補完するステップは、
前記前のＫフレームの前記第二投影結果には、いずれも第Ｍ車線グループが含まれ、且つ、前記所定のフレームには、前記第Ｍ車線グループが含まれなければ、前のＫフレームの前記第二投影結果における第Ｍ車線グループの各車線点を用いて、前記所定のフレームに第Ｍ車線グループの車線点を増加し、Ｍは、１以上の正の整数であることを含む。

【0012】

第一態様又はその何れか１つの実現形態に合わせて、本発明の実施例として、第一態様の第七実現形態において、
前記前のＫフレームの前記第二投影結果には、いずれも第Ｎ車線グループが含まれ、且つ、所定のフレームより後の連続するＴフレームには、前記第Ｎ車線グループが含まれなければ、前記第Ｎ車線グループを削除し、Ｔは、１よりも大きい正の整数であり、Ｎは、１以上の正の整数であるステップを更に含む。

【0013】

第二態様によれば、本発明の実施例は、車線追跡装置を提供し、該装置は、
当前フレームの前のＫフレームのカメラ座標系での車線検出結果を世界座標系に投影して、第一投影結果を取得するために用いられ、Ｋは、１以上の正の整数であり、前記前のＫフレームは、前記当前フレームより前の連続するＫ個のフレームである第一投影モジュールと、
前記前のＫフレームの世界座標系での投影結果を前記当前フレームのカメラ座標系に投影して、第二投影結果を取得するための第二投影モジュールと、
前記当前フレームのカメラ座標系において、前記前のＫフレームの前記第二投影結果における車線グループと同じグループに属する前記当前フレームの車線グループを確定するためのグループ化モジュールと、を備え、
前記車線検出結果は、フレーム画像内の、車線に属する像素点を含む。

【0014】

第二態様にあわせ、本発明の実施例として、第二態様の第一実施形態において、前記グループ化モジュールは、
前記所定のフレームにおける車線グループのうちの一つを選択し、前記所定のフレームの選択された車線グループと前記前のＫフレームの前記第二投影結果における各車線グループとの間の最小距離を計算するための距離サブモジュールと、
前記最小距離のうちの最小値が、前記前のＫフレームの前記第二投影結果における車線グループのうちの第Ｓ車線グループに対応すれば、前記所定のフレームの選択された車線グループを前記前のＫフレームの前記第Ｓ車線グループに合併するために用いられ、Ｓは、１以上の正の整数である合併サブモジュールと、を備える。

【0015】

第二態様の第一実施形態に合わせて、本発明の実施例として、第二態様の第二実現形態において、前記合併サブモジュールは、前記最小距離のうちの最小値が設定された閾値より小さければ、前記所定のフレームの選択された車線グループを前記前のＫフレームの前記第Ｓ車線グループに合併するためにさらに用いられ、
前記グループ化モジュールは、前記最小距離のうちの最小値が設定された閾値より以上であれば、前記所定のフレームの選択された車線グループを新規車線グループとする新規サブモジュールを更に備える。

【0016】

第二態様に合わせて、本発明の実施例として、第二態様の第三実現形態において、
前記所定のフレームのカメラ座標系において、前記前のＫフレームの前記第二投影結果における車線グループの車線点に基づいて、前記所定のフレームの前記車線グループの車線点に対して平滑化処理を行う平滑化モジュールを更に備える。

【0017】

第二態様の第三実現形態に合わせて、本発明の実施例として、第二態様の第四実現形態において、前記平滑化モジュールは、前記所定のフレームの第Ｐ車線グループの車線点と、前のフレームの第Ｐ車線グループとの距離が設定された閾値より大きければ、前記所定のフレームの第Ｐ車線グループの該車線点をフィルタリングにより削除するためにさらに用いられ、Ｐは、１以上の正の整数である。

【0018】

第二態様に合わせて、本発明の実施例として、第二態様の第五実現形態において、
前記前のＫフレームの前記第二投影結果における車線グループの車線点を用いて、所定のフレームを補完する補完モジュールを更に備える。

【0019】

第二態様の第五実現形態に合わせて、本発明の実施例として、第二態様の第六実現形態において、前記補完モジュールは、前記前のＫフレームの前記第二投影結果には、いずれも第Ｍ車線グループが含まれ、且つ、前記所定のフレームには、前記第Ｍ車線グループが含まれなければ、前記前のＫフレームの前記第二投影結果における第Ｍ車線グループの車線点を用いて、前記所定のフレームに前記第Ｍ車線グループの車線点を増加するためにさらに用いられ、Ｍは、１以上の正の整数である。

【0020】

第二態様又はその何れか１つの実現形態に合わせて、本発明の実施例として、第二態様の第七実現形態において、
前記前のＫフレームの前記第二投影結果には、いずれも第Ｎ車線グループが含まれ、且つ、前記所定のフレームより後の連続するＴフレームには、前記第Ｎ車線グループが含まれなければ、前記第Ｎ車線グループを削除し、Ｔは、１よりも大きい正の整数であり、Ｎは、１以上の正の整数である削除モジュールを更に備える。

【0021】

第三態様によれば、本発明の実施例は、車線追跡装置を提供し、前記装置の機能が、ハードウェアで実現されてもよいし、ハードウェアにより相応のソフトウェアを実行することで実現されてもよい。前記ハードウェア又はソフトウェアは、上記機能に対応する１つ又は複数モジュールを含む。

【0022】

１つの可能な設計において、前記装置の構造には、プロセッサ及びメモリが含まれており、前記メモリが、前記装置による上記車線追跡方法の実行をサポートするプログラムを記憶するために用いられ、前記プロセッサが、前記メモリに記憶されたプログラムを実行するように配置されている。前記装置は、他の機器又は通信ネットワークと通信するための通信インターフェースを更に含んでもよい。

【0023】

第四態様によれば、本発明の実施例は、車線追跡装置に用いられるコンピュータソフトウェア命令を記憶するためのコンピュータ可読記憶媒体を提供しており、該命令は、上記車線追跡方法を実行するためのプログラムを含む。

【0024】

上記技術案のうちの１つの技術案は、前後のフレームの間の関連を用いることで、より正確且つよりロバストとなる車線結果を出力して、正確な車線追跡効果を実現することができるという利点又は有益な効果がある。

【0025】

上記技術案のうちのもう１つの技術案は、前後のフレームの間の関係性を用いることで、車線検出結果の平滑性を向上させるのを図ることができるという利点又は有益な効果がある。

【0026】

上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。

【図面の簡単な説明】

【0027】

図面において、特に断らない限り、複数の図面を通して同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺で描かれたものではない。なお、これらの図面は本発明に開示された幾つかの実施形態のみを示し、本発明の範囲を限定するものではない。

【0028】

【図1】本発明の実施例に係る車線追跡方法のフローチャートである。

【図2】本発明の実施例に係る車線追跡方法における所定のフレームのカメラ座標系の例を示す図である。

【図3】本発明の実施例に係る車線追跡方法のフローチャートである。

【図4】本発明の実施例に係る車線追跡方法のフローチャートである。

【図5】本発明の実施例に係る車線追跡方法における補完の模式図である。

【図6】本発明の実施例に係る車線追跡方法における補完の模式図である。

【図7】本発明の実施例に係る車線追跡装置の構造ブロック図である。

【図8】本発明の実施例に係る車線追跡装置の構造ブロック図である。

【図9】本発明の実施例に係る車線追跡装置の構造ブロック図である。

【発明を実施するための形態】

【0029】

以下では、幾つかの例示的な実施例のみを簡単に説明する。当業者であれば、本発明の趣旨又は範囲を逸脱せずに、説明した実施例に様々な変更を施すことができると理解できる。従って、図面と説明は本質的に例示的であり、限定的ではないとみなされるべきである。

【0030】

図１は、本発明の実施例に係る車線追跡方法のフローチャートである。図１に示すように、該方法は、以下のステップＳ１１～Ｓ１３を含んでもよい。

【0031】

ステップＳ１１では、所定のフレームの前のＫフレームにおけるカメラ座標系での車線検出結果を世界座標系に投影して第一投影結果を取得する。ここで、Ｋは、１以上の正の整数であり、前記前のＫフレームは、前記所定のフレームより前の連続するＫ個のフレームである。

【0032】

本実施例において、車両は、走行中に車線を含むビデオを撮影することができる。該ビデオは、連続するいくつかのフレーム画像を含む。ある時刻でのフレーム画像を所定のフレームと称してもよい。所定のフレームの前のＫフレームは、所定のフレーム画像より前のＫ個の連続するフレーム画像を含んでもよい。例えば、図２に示すように、所定のフレームが第２５フレームであり、Ｋ＝３であれば、所定のフレームの前の３フレームは、第２２フレーム、第２３フレーム及び第２４フレームを含むことになる。

【0033】

各フレーム画像のカメラ座標系での車線検出結果は、車線点を含んでもよい。車線点は、フレーム画像内のどの画素が車線に属するかを確定することにより得られる。車線検出結果は、これらの車線点に対するグループを更に含んでもよい。車線点のグループは、どの車線点が同じグループに属するかを確定することにより得られる。車線点のグループは、車線グループと称されてもよい。

【0034】

カメラ座標系は、三次元（３Ｄ、Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎｓ）空間内にあるものであって、カメラのスクリーン視認可能エリアで定義されている。例えば、図２に示すように、カメラ座標系において、カメラの位置が原点にあり、ｘ軸が右向きであり、ｚ軸が前向きであり（スクリーン内又はカメラに向く）、ｙ軸が上向きである（世界の上方ではなく、カメラ自身の上方）。世界座標系は、システムの絶対座標系である。それぞれのフレームにおけるカメラ座標系の座標とその世界座標系の座標との間には、一定の姿勢変換関係を持つ。異なるフレームにおけるカメラ座標系の座標とその世界座標系の座標との間には、姿勢変換関係が異なる可能性があり、具体的には、それぞれのフレームを撮影する時のカメラのパレメータ、例えば、焦点位置、焦点距離、ピッチ角（ｐｉｔｃｈ）、ロール角（ｒｏｌｌ）等に依存する。

【0035】

本実施例において、それぞれのフレームにおいて、車線検出を行い、当該フレームのカメラ座標系での車線検出結果を取得してもよい。それぞれのフレームの車線検出結果は、いずれも、当該フレームと世界座標系との姿勢変換関係に従って、世界座標系に投影されてもよい。

【0036】

ステップＳ１２では、前記前のＫフレームの世界座標系での前記第一投影結果を、前記所定のフレームのカメラ座標系に投影して第二投影結果を取得する。

【0037】

所定のフレームにおいて、車線検出を行い、所定のフレームのカメラ座標系での車線検出結果を取得する。世界座標系を中継として用いれば、前のＫフレームと所定のフレームとの画素を、所定のフレームのカメラ座標系で揃うことができる。図２に示すように、第２２フレーム、第２３フレーム及び第２４フレームは、第２５フレームのカメラ座標系で揃われている。

【0038】

ステップＳ１３では、前記所定のフレームのカメラ座標系において、前記前のＫフレームの前記第二投影結果における車線グループに基づいて、前記所定のフレームの車線グループを確定する。

【0039】

例えば、前のＫフレームの車線グループと所定のフレームの車線グループとが、数量、位置や距離等の方面でマッチングできるかどうかについて比較する。マッチングできなければ、所定のフレームの車線グループを調整して、所定のフレームの車線グループと前のＫフレームの車線グループとが連続するようにすることにより、車線追跡を実現してもよい。

【0040】

一実施形態において、図３に示すように、ステップＳ１３は、
前記所定のフレームにおける車線グループのうちの一つを選択し、前記所定のフレームの該選択された車線グループと、前のＫフレームの第二投影結果における各車線グループとの間の最小距離を計算するステップＳ１３１と、
前記最小距離のうちの最小値が、前のＫフレームの第二投影結果における車線グループのうちの第Ｓ車線グループに対応すれば、前記所定のフレームの該選択された車線グループを前記前のＫフレームの第Ｓ車線グループに合併し、Ｓは、１以上の正の整数であるステップＳ１３２と、を含む。

【0041】

一例において、所定のフレームから、１つの車線グループ、例えば、第Ｄ車線グループを選択する。該第Ｄ車線グループにおける各車線点（例えば、Ｄ１、Ｄ２）と、前のＫフレームのある車線グループ、例えば、第Ｅ車線グループの各車線点（例えば、Ｅ１、Ｅ２、Ｅ３）との間の距離を計算する。そして、これらの距離の中の最小値（Ｄ１とＥ２との距離が最小であるとする）を、これら２つの車線グループ、即ち、所定のフレームの第Ｄ車線グループと前のＫフレームの第Ｅ車線グループとの間の距離とする。

【0042】

所定のフレームの第Ｄ車線グループと、前のＫフレームの各車線グループとの間の距離をそれぞれ計算する。所定のフレームの第Ｅ車線グループと前のＫフレームの第Ｓ車線グループとの距離が最小であれば、所定のフレームの第Ｅ車線グループを第Ｓ車線グループに合併してもよい。

【0043】

一実施形態において、ステップＳ１３２は、前記最小距離のうちの最小値が設定された閾値より小さければ、前記所定のフレームの該選択された車線グループを前記前のＫフレームの第Ｓ車線グループに合併し、そうでなければ、前記所定のフレームの該選択された車線グループを新規車線グループとすること、を含む。

【0044】

所定のフレームと前のＫフレームとの車線グループの間の距離の最小値が、依然として大きいと、これら２つの車線グループを合併して得られたグループは、好ましくない可能性がある。従って、１つの合理的な閾値を立ててもよい。所定のフレームと前のＫフレームとの２つの車線グループの間の距離の最小値が該閾値より小さければ、これら２つの車線グループの関連性が大きくて、合併可能であると考えられる。車線グループの間の距離の最小値が該閾値より大きければ、これら２つの車線グループの関連性が小さくて、合併に適しないと考えられる。この際、新たな車線グループを作成してもよい。閾値の立て方は、複数があり、例えば、車速やカメラのパレメータ等を参考して立ててもよい。

【0045】

ここで、所定のフレームのある車線グループのグループ番号を、前のＫフレームの第Ｓ車線グループと同じになるように変更することで、これら２つの車線グループを１つの車線グループに合併することができる。

【0046】

一実施形態において、図４に示すように、該方法は、
前記所定のフレームのカメラ座標系において、前のＫフレームの第二投影結果における車線グループの車線点に基づいて、所定のフレームの車線グループの車線点に対して平滑化処理を行うステップＳ１４を更に含む。

【0047】

一実施形態において、ステップＳ１４では、前のＫフレームの第二投影結果における車線点に基づいて、所定のフレームの車線グループの各車線点に対して平滑化処理を行うことは、
前記所定のフレームの第Ｐ車線グループの車線点と、前のフレームの第Ｐ車線グループとの距離が設定された閾値より大きければ、前記所定のフレームの第Ｐ車線グループの車線点をフィルタリングにより削除し、Ｐは、１以上の正の整数であることを含む。

【0048】

例えば、所定のフレームの第Ｐ車線グループのある車線点と、前のフレームの第Ｐ車線グループの全車線点との距離を計算してもよい。各距離の最小値を、所定のフレームの当該車線点と、前のフレームの第Ｐ車線グループとの距離とする。最小値がある閾値を超えると、所定のフレームの当該車線点をフィルタリングにより削除してもよい。

【0049】

もしくは、所定のフレームの第Ｐ車線グループのある車線点と、前のフレームの第Ｐ車線グループのある車線点との距離を計算してもよい。この距離がある閾値を超えると、所定のフレームの当該車線点をフィルタリングにより削除してもよい。

【0050】

一実施形態において、図４に示すように、該方法は、
前のＫフレームの第二投影結果における車線グループの車線点を用いて、所定のフレームを補完するステップＳ１５を更に含む。ステップＳ１５は、ステップＳ１３の後に実行されてもよいし、ステップＳ１４の後に実行されてもよく、平滑化処理後のデータを用いて、補完を行う。

【0051】

一実施形態において、ステップＳ１５は、前記前のＫフレームの第二投影結果にはいずれも第Ｍ車線グループが含まれ、且つ、前記所定のフレームには、第Ｍ車線グループが含まれなければ、前のＫフレーム、例えば、前のフレームの第二投影結果における第Ｍ車線グループの各車線点を用いて、前記所定のフレームには、第Ｍ車線グループの車線点を増加し、Ｍは、１以上の正の整数であることを含む。

【0052】

例えば、図５に示すように、前のＫフレームには、４つの車線グループがあり、所定のフレームには、３つの車線グループがある。図５に示すように、前述した内容によると、前のＫフレームの第４車線グループが、所定のフレームにおいて、対応する車線グループがないことを確定する。即、所定のフレームには、前のＫフレームの第４車線グループとの最小距離が設定された閾値より小さい車線グループは存在しない。この場合、図６に示すように、前のＫフレームのうちの何れか１つのフレーム、例えば、前のフレーム（図６における第２４フレームを参照）の第４車線グループを用いて、所定のフレームの第４車線グループを補完してもよい。

【0053】

一実施形態において、図４に示すように、該方法は、
前記前のＫフレームの第二投影結果には、いずれも第Ｎ車線グループが含まれ、且つ、所定のフレームより後の連続するＴフレームには、第Ｎ車線グループが含まれなければ、前記第Ｎ車線グループを削除し、Ｔは、１より大きい正の整数であり、Ｎは、１以上の正の整数であるステップＳ１６を更に含む。ステップＳ１６は、ステップＳ１３の後に実行されてもよいし、ステップ１４の後に実行されてもよく、平滑化処理後のデータを用いて、車線グループを削除するかどうかを判断する。

【0054】

例えば、図６に示すように、車線グループを削除する閾値Ｔが２であり、所定のフレームが第ｉ－１フレームであるとする（但し、図６に示す例では、ｉ＝２６である）。第ｉフレームの各車線グループは、いずれも、第ｉフレームの前のＫフレームの第４車線グループに合併されておらず、第ｉ＋１フレームの各車線グループは、いずれも、第ｉ＋１フレームの前のＫフレームの第４車線グループに合併されていない。この場合、後続では、例えば、第ｉ＋１フレームの後に、第Ｎ車線グループを削除してもよい。削除後、第Ｎ車線グループを用いて後続のフレームの車線グループと比較することをしない。

【0055】

連続するフレームにおいて、前後のフレームの間の車線情報は、関連性を有する。本発明は、前後のフレームの間の関連を用いることで、前のフレームを用いて、例えば、後続のフレームの車線グループを確定したり、前のフレームの車線グループと合併したり、新規車線グループを作成或は車線グループを削除したりをすることができる。従って、より正確且つよりロバストとなる車線結果を出力して、正確な車線追跡効果を実現することができる。

【0056】

また、前のフレームに基づいて、後続のフレームの車線点に対して平滑化フィルタリングや補完等の処理を行い、前後のフレームの間の関係性を用いて、車線検出結果の平滑性や完全性等を向上させるのを図ることができる。

【0057】

図７は、本発明の実施例に係る車線追跡装置の構造ブロック図である。図７に示すように、該装置は、
所定のフレームの前のＫフレームのカメラ座標系での車線検出結果を世界座標系に投影して、第一投影結果を取得し、Ｋは、１以上の正の整数であり、前記前のＫフレームは、前記所定のフレームより前の連続するＫ個のフレームである第一投影モジュール７１と、
前記前のＫフレームの世界座標系での前記第一投影結果を前記所定のフレームのカメラ座標系に投影して、第二投影結果を取得する第二投影モジュール７２と、
前記所定のフレームのカメラ座標系において、前記前のＫフレームの第二投影結果における車線グループに基づいて、前記所定のフレームの車線グループを確定するグループ化モジュール７３と、を備えてもよい。

【0058】

一実施形態において、図８に示すように、前記グループ化モジュール７３は、
前記所定のフレームの車線グループのうちの一つを選択し、前記所定のフレームの該選択された車線グループと前のＫフレームの第二投影結果における各車線グループとの間の最小距離を計算する距離サブモジュール８１と、
前記最小距離のうちの最小値が、前のＫフレームの第二投影結果における車線グループのうちの第Ｓ車線グループに対応すれば、前記所定のフレームの該選択された車線グループを前記前のＫフレームの第Ｓ車線グループに合併し、Ｓは、１以上の正の整数である合併サブモジュール８２と、を備える。

【0059】

一実施形態において、前記合併サブモジュール８２は、前記最小距離のうちの最小値が設定された閾値より小さければ、前記所定のフレームの該選択された車線グループを前記前のＫフレームの前記第Ｓ車線グループに合併するためにさらに用いられ、
前記グループ化モジュールは、前記最小距離のうちの最小値が設定された閾値より以上であれば、前記所定のフレームの該選択された車線グループを新規車線グループとする新規サブモジュール８３を更に備える。

【0060】

一実施形態において、該装置は、
前記所定のフレームのカメラ座標系において、前のＫフレームの第二投影結果における車線グループの車線点に基づいて、所定のフレームの車線グループの車線点に対して平滑化処理を行う平滑化モジュール７４を更に備える。

【0061】

一実施形態において、前記平滑化モジュール７４は、前記所定のフレームの第Ｐ車線グループの車線点と、前のフレームの第Ｐ車線グループとの距離が設定された閾値より大きければ、前記所定のフレームの第Ｐ車線グループの該車線点をフィルタリングにより削除し、Ｐは、１以上の正の整数であるためにさらに用いられる。

【0062】

一実施形態において、該装置は、
前のＫフレームの第二投影結果における車線グループの車線点を用いて、所定のフレームを補完する補完モジュール７５を更に備える。

【0063】

一実施形態において、前記補完モジュール７５は、前記前のＫフレームの第二投影結果には、いずれも第Ｍ車線グループが含まれ、且つ、前記所定のフレームには、第Ｍ車線グループが含まれなければ、前のＫフレームの第二投影結果における第Ｍ車線グループの各車線点を用いて、前記所定のフレームに第Ｍ車線グループの車線点を増加し、Ｍは、１以上の正の整数であるためにさらに用いられる

【0064】

一実施形態において、該装置は、
前記前のＫフレームの第二投影結果には、いずれも第Ｎ車線グループが含まれ、且つ、所定のフレームより後の連続するＴフレームには、第Ｎ車線グループが含まれなければ、前記第Ｎ車線グループを削除し、Ｔは、１よりも大きい正の整数であり、Ｎは、１以上の正の整数である削除モジュール７６を更に備える。

【0065】

本発明の実施例による各装置における各モジュールの機能について、上記の方法における対応する説明を参照してもよい。ここで繰り返して説明しない。

【0066】

図９は、本発明の実施例に係る車線追跡装置の構造ブロック図である。図９に示すように、該装置は、カメラ、メモリ９１０及びプロセッサ９２０を備え、カメラは、画像を採集するために用いられ、メモリ９１０には、プロセッサ９２０で稼働できるコンピュータプログラムが記憶されている。前記プロセッサ９２０は、前記コンピュータプログラムを実行すると、上記実施例における車線追跡方法を実現する。前記メモリ９１０とプロセッサ９２０の数は、一つ又は複数であってもよい。

【0067】

当該装置は、周辺機器と通信し、データのインタラクティブ転送を行うための通信インターフェース９３０をさらに備える。

【0068】

メモリ９１０は、高速ＲＡＭメモリを含む可能性もあるし、更にメモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば少なくとも一つの磁気ディスクメモリーを備える可能性もある。

【0069】

メモリ９１０、プロセッサ９２０及び通信インターフェース９３０が独立して実現する場合、メモリ９１０、プロセッサ９２０及び通信インターフェース９３０はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャ（ＩＳＡ、Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ペリフェラルコンポーネント（ＰＣＩ、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス又は拡張業界標準アーキテクチャ（ＥＩＳＡ、Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等であってもよい。前記バスはアドレスバス、データバス、制御バス等に分けられてもよい。示しやすくするために、図９では、１本のみの太線で示すが、１本のみのバス又は１つのタイプのみのバスを有すると示さない。

【0070】

選択的に、具体的に実現する時、メモリ９１０、プロセッサ９２０及び通信インターフェース９３０が１枚のチップに統合される場合、メモリ９１０、プロセッサ９２０及び通信インターフェース９３０は内部インターフェースによって相互間の通信を実現することができる。

【0071】

本発明の実施例は、プロセッサにより実行されると、上記実施例におけるいずれか１項に記載の方法を実現するコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供する。

【0072】

本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか１つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。

【0073】

また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも１つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は２つ又は２つ以上である。

【0074】

当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための１つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。

【0075】

フローチャートに示す、又はここでほかの方式で説明される論理及び／又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス（例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム）の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例（非網羅的リスト）は、１つ又は複数の配線を有する電気接続部（電子装置）、ポータブルコンピュータケース（磁気装置）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去再書込み可能な読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリー）、光ファイバー装置、及び携帯型読み出し専用メモリー（ＣＤＲＯＭ）を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。

【0076】

本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の本分野での公知技術のうちのいずれか１つ又はそれらの組み合わせで実現してもよい。

【0077】

当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの１つ又はそれらの組み合わせを含むと理解される。

【0078】

また、本発明の各実施例における各機能ユニットが１つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、２つ又は２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、１つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。

【0079】

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】