特許6995188車載カメラの姿勢推定方法、装置およびシステムならびに電子機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-16
(45)【発行日】2022-01-14
(54)【発明の名称】車載カメラの姿勢推定方法、装置およびシステムならびに電子機器
(51)【国際特許分類】
G06T 7/80 20170101AFI20220106BHJP
H04N 5/232 20060101ALI20220106BHJP
【ＦＩ】
G06T7/80
H04N5/232 290
【請求項の数】
17
(21)【出願番号】P 2020510614
(86)(22)【出願日】2019-06-28
(65)【公表番号】
(43)【公表日】2020-11-19
(86)【国際出願番号】 CN2019093911
(87)【国際公開番号】W WO2020038118
(87)【国際公開日】2020-02-27
【審査請求日】2020-02-20
(31)【優先権主張番号】201810973920.X
(32)【優先日】2018-08-24
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】519454811
【氏名又は名称】北京市商▲湯▼科技▲開▼▲発▼有限公司
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ７１０－７１２， ７ｔｈ Ｆｌｏｏｒ， ３ｒｄ Ｂｕｉｌｄｉｎｇ， １ｓｔ Ｃｏｕｒｔｙａｒｄ， Ｚｈｏｎｇｇｕａｎｃｕｎ Ｅａｓｔ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８４ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】戴▲興▼
(72)【発明者】
【氏名】王哲
(72)【発明者】
【氏名】石建萍
【審査官】山田 辰美
(56)【参考文献】
【文献】特表２０１０－５３７３３１（ＪＰ，Ａ）
【文献】特開２０１１－０２２９９５（ＪＰ，Ａ）
【文献】特開２００７－０３４９８９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｈ０４Ｎ ５／２３２
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
車載カメラの姿勢推定方法であって、前記車載カメラの姿勢推定方法は、
車載カメラで取得した車両の車両走行路面のビデオストリームに基づいて、前記路面の区画線検出を行うことと、
区画線の検出結果に基づいて、前記車両走行路面の地平線情報を取得することと、
前記地平線情報に基づいて、前記車載カメラの姿勢情報を取得することと
を含み、
前記車載カメラの姿勢情報は、前記車載カメラの水平偏角を含み、
前記地平線情報に基づいて、前記車載カメラの姿勢情報を取得することは、
前記地平線情報および前記車載カメラの消失点に基づいて、前記車両の進行経路情報を取得することと、
前記進行経路情報に基づいて、前記車載カメラの水平偏角を取得することと
を含む、車載カメラの姿勢推定方法。
【請求項2】
前記路面は、構造化道路であり、および／または、前記車載カメラは、前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる、請求項１に記載の方法。
【請求項3】
前記車載カメラの姿勢情報は、前記車載カメラの回転角度を含み、
前記地平線情報に基づいて、前記車載カメラの姿勢情報を取得することは、地平線の傾斜度情報に基づいて、前記車載カメラの回転角度を特定することを含む、請求項１または請求項２に記載の方法。
【請求項4】
前記進行経路情報に基づいて、前記車載カメラの水平偏角を取得することは、前記進行経路情報および前記車載カメラの焦点距離に基づいて、前記車載カメラの水平偏角を取得することを含む、請求項３に記載の方法。
【請求項5】
前記車載カメラの姿勢情報は、前記車載カメラのピッチ角を含む、請求項１から４のいずれか一項に記載の方法。
【請求項6】
前記地平線情報に基づいて、前記車載カメラの姿勢情報を取得することは、前記地平線情報および前記車載カメラの焦点距離に基づいて、前記車載カメラのピッチ角を取得することを含む、請求項５に記載の方法。
【請求項7】
区画線の検出結果に基づいて、前記車両走行路面の地平線情報を取得することは、前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと、
前記少なくとも二つの区画線の区画線情報に基づいて、区画線の視覚交点を取得することと、
前記区画線の視覚交点に基づいて、地平線情報を取得することと
を含む、請求項１から６のいずれか一項に記載の方法。
【請求項8】
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることは、前記区画線の検出結果に基づいて、区画線に属する区画線画素点を取得することと、
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと
を含む、請求項７に記載の方法。
【請求項9】
前記区画線の視覚交点に基づいて、地平線情報を取得することは、前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づいて、交点確率マップを取得することと、
前記交点確率マップに基づいて、地平線に属する視覚交点を取得することと、
取得した地平線に属する視覚交点に基づいて、前記地平線情報を取得することと
を含む、請求項７または請求項８に記載の方法。
【請求項10】
前記方法は、
前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づいて、地平線に属する視覚交点を取得することと、
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの視覚消失点を取得することと
をさらに含む、請求項１に記載の方法。
【請求項11】
前記方法は、
前記ビデオストリームにおける少なくとも２フレームの画像に基づいて、区画線の確率画像を取得することであって、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示す、ことと、
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得することと、
前記少なくとも二つの区画線の区画線情報に基づいて、前記車載カメラの消失点を取得することと
をさらに含む、請求項１に記載の方法。
【請求項12】
前記方法は、
前記姿勢情報に基づいて前記車載カメラに対してキャリブレーションを行うこと、および／または、
前記姿勢情報に基づいて前記車両の測位情報を特定すること
をさらに含む、請求項１から１１のいずれか一項に記載の方法。
【請求項13】
車載カメラの姿勢推定装置であって、前記車載カメラの姿勢推定装置は、
車載カメラで取得した車両の車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うための区画線検出モジュールと、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得するための地平線情報取得モジュールと、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得するための姿勢情報取得モジュールと
を含み、
前記車載カメラの姿勢情報は、前記車載カメラの水平偏角を含み、
前記車載カメラの姿勢推定装置は、前記地平線情報および前記車載カメラの消失点に基づいて、前記車両の進行経路情報を取得するための進行経路情報取得モジュールをさらに含み、
前記姿勢情報取得モジュールは、前記進行経路情報に基づいて、前記車載カメラの水平偏角を取得するための水平偏角取得ユニットを含む、車載カメラの姿勢推定装置。
【請求項14】
プログラム命令を記憶するためのメモリと、前記メモリ内のプログラム命令を呼び出して実行し、請求項１から１２のいずれか一項に記載の方法を実行するためのプロセッサと
を含む電子機器。
【請求項15】
請求項１から１２のいずれか一項に記載の方法を実行するためのコンピュータプログラムが記憶されている読み取り可能な記憶媒体。
【請求項16】
車両に用いられる車載カメラの姿勢推定システムであって、
前記車両に取り付けられたカメラと、前記カメラと通信的に接続されている請求項１３に記載の車載カメラの姿勢推定装置とを含む車載カメラの姿勢推定システム。
【請求項17】
コンピュータ命令を含むコンピュータプログラムであって、
前記コンピュータ命令は、機器のプロセッサによって実行されると、請求項１から１２のいずれか一項に記載の車載カメラの姿勢推定方法を実現する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は２０１８年０８月２４日に出願された、出願番号が２０１８１０９７３９２０．Ｘである中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本願は２０１８年０８月２４日に出願された、出願番号が２０１８１０９７３９２０．Ｘである中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【0002】
本願はインテリジェント運転技術分野に関し、特に車載カメラの姿勢推定方法、装置およびシステムならびに電子機器に関する。
【背景技術】
【0003】
先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｔ Ｓｙｓｔｅｍ、ＡＤＡＳ）または無人運転システムなどのインテリジェント運転システムは、車両（自動車、電気自動車、鉄道列車など）に取り付けられた様々なセンサを利用して、車両走行中に周囲の環境を随時感知し、それにより運転者の車両操縦を支援して運転者に可能な危険を早期に警告し、走行過程での運転者の安全および運転心地を向上させる。
【0004】
ＡＤＡＳにおいて、車載カメラが主なセンサとして、それが取得するデータが特に重要である。通常、車載カメラは特定の姿勢で動作し、それが取得するデータはいずれも該特定の姿勢でのデータであり、かつ車両走行中に車載カメラが震えたり、車載カメラのメンテナンス時に車載カメラが取り外されたりする可能性があることにより、車載カメラの姿勢は変化し得る。
【発明の概要】
【課題を解決するための手段】
【0005】
本願の実施例は車載カメラの姿勢推定およびその用途の技術的解決手段を提供する。
【0006】
第一態様で、本願の実施例は、
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うことと、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得することと、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得することと、を含む車載カメラの姿勢推定方法を提供する。
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うことと、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得することと、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得することと、を含む車載カメラの姿勢推定方法を提供する。
【0007】
第二態様で、本願の実施例はさらに、
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うための区画線検出モジュールと、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得するための地平線情報取得モジュールと、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得するための姿勢情報取得モジュールと、を含む車載カメラの姿勢推定装置を提供する。
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うための区画線検出モジュールと、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得するための地平線情報取得モジュールと、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得するための姿勢情報取得モジュールと、を含む車載カメラの姿勢推定装置を提供する。
【0008】
第三態様で、本願の実施例は、
プログラム命令を記憶するように構成されたメモリと、
前記メモリ内のプログラム命令を呼び出して実行し、上記第一態様のいずれかの実行可能な実施形態における方法のステップを実行するように構成されたプロセッサと、を含む電子機器を提供する。
プログラム命令を記憶するように構成されたメモリと、
前記メモリ内のプログラム命令を呼び出して実行し、上記第一態様のいずれかの実行可能な実施形態における方法のステップを実行するように構成されたプロセッサと、を含む電子機器を提供する。
【0009】
第四態様で、本願の実施例は、上記第一態様のいずれかの実行可能な実施形態における方法のステップを実行するためのコンピュータプログラムが記憶されている読み取り可能な記憶媒体を提供する。
【0010】
第五態様で、本願の実施例は、車両に用いられる車載カメラの姿勢推定システムであって、前記車両に取り付けられたカメラ、および前記カメラと通信的に接続される上記第二態様のいずれかの実行可能な実施形態における車載カメラの姿勢推定装置を含む車載カメラの姿勢推定システムを提供する。
【0011】
第六態様で、本願の実施例はさらに、コンピュータ命令を含むコンピュータプログラム製品であって、前記コンピュータ命令は機器のプロセッサにおいて運用される時、上記第一態様のいずれかの実行可能な実施形態における方法のステップを実現するコンピュータプログラム製品を提供する。
【0012】
本願の実施例が提供する車載カメラの姿勢推定方法および装置は、車載カメラで取得した車両走行路面のビデオストリームに基づいて路面の区画線検出を行うことと、区画線の検出結果に基づいて車両走行路面の地平線情報を取得することと、地平線情報に基づいて車載カメラの姿勢情報を取得することと、を含む。本願の実施例が提供する車載カメラの姿勢推定方法において車載カメラはその位置を固定する必要がなく、かつカメラの姿勢はリアルタイムに取得可能であるため、車載カメラの姿勢推定の正確度を向上させる。
例えば、本願は以下の項目を提供する。
（項目１）
車載カメラで取得した車両走行路面のビデオストリームに基づき、前記路面の区画線検出を行うことと、
区画線の検出結果に基づき、前記車両走行路面の地平線情報を取得することと、
前記地平線情報に基づき、前記車載カメラの姿勢情報を取得することと、を含む車載カメラの姿勢推定方法。
（項目２）
前記路面は構造化道路であり、および／または、前記車載カメラは前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる項目１に記載の方法。
（項目３）
前記車載カメラの姿勢情報は前記車載カメラの回転角度を含み、前記地平線情報に基づいて前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線の傾斜度情報に基づいて前記車載カメラの回転角度を特定することを含む項目１または２に記載の方法。
（項目４）
前記車載カメラの姿勢情報は前記車載カメラの水平偏角を含み、前記地平線情報に基づき、前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線情報に基づき、前記車両の進行経路情報を取得することと、
前記進行経路情報に基づき、前記車載カメラの水平偏角を取得することと、を含む項目１から３のいずれか一項に記載の方法。
（項目５）
前記進行経路情報に基づき、前記車載カメラの水平偏角を取得する前記ステップは、
前記進行経路情報および前記車載カメラの焦点距離に基づき、前記車載カメラの水平偏角を取得することを含む項目４に記載の方法。
（項目６）
前記車載カメラの姿勢情報は前記車載カメラのピッチ角を含む項目１から５のいずれか一項に記載の方法。
（項目７）
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線情報および前記車載カメラの焦点距離に基づき、前記車載カメラのピッチ角を取得することを含む項目６に記載の方法。
（項目８）
区画線の検出結果に基づき、前記車両走行路面の地平線情報を取得する前記ステップは、
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと、
前記少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得することと、
前記区画線の視覚交点に基づき、地平線情報を取得することと、を含む項目１から７のいずれか一項に記載の方法。
（項目９）
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得る前記ステップは、
前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得することと、
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと、を含む項目８に記載の方法。
（項目１０）
前記区画線の視覚交点に基づき、地平線情報を取得する前記ステップは、
前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得することと、
前記交点確率マップに基づき、地平線に属する視覚交点を取得することと、
取得した地平線に属する視覚交点に基づき、前記地平線情報を取得することと、を含む項目８または９に記載の方法。
（項目１１）
前記地平線情報に基づいて前記車両の進行経路情報を取得する前記ステップは、
前記地平線情報および前記車載カメラの消失点に基づき、前記車両の進行経路情報を取得することを含む項目４に記載の方法。
（項目１２）
前記方法は、さらに、
前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づき、地平線に属する視覚交点を取得することと、
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの視覚消失点を取得することと、を含む項目１１に記載の方法。
（項目１３）
さらに、
前記ビデオストリームにおける少なくとも２フレームの画像に基づき、区画線の確率画像を取得することであって、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示すことと、
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得することと、
前記少なくとも二つの区画線の区画線情報に基づき、前記車載カメラの消失点を取得することと、を含む項目１１に記載の方法。
（項目１４）
前記方法は、さらに、
前記姿勢情報に基づいて前記車載カメラに対してキャリブレーションを行うこと、および／または、
前記姿勢情報に基づいて前記車両の測位情報を特定すること、を含む項目１から１３のいずれか一項に記載の方法。
（項目１５）
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うための区画線検出モジュールと、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得するための地平線情報取得モジュールと、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得するための姿勢情報取得モジュールと、を含む車載カメラの姿勢推定装置。
（項目１６）
前記路面は構造化道路であり、および／または、前記車載カメラは前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる項目１５に記載の装置。
（項目１７）
前記車載カメラの姿勢情報は前記車載カメラの回転角度を含み、前記姿勢情報取得モジュールは、
前記地平線の傾斜度情報に基づいて前記車載カメラの回転角度を特定するための回転角度取得ユニットを含む項目１５または１６に記載の装置。
（項目１８）
前記車載カメラの姿勢情報は前記車載カメラの水平偏角を含み、前記装置は、さらに、
前記地平線情報に基づいて前記車両の進行経路情報を取得するための進行経路情報取得モジュールを含み、
前記姿勢情報取得モジュールは、
前記進行経路情報に基づき、前記車載カメラの水平偏角を取得するための水平偏角取得ユニットを含む項目１５から１７のいずれか一項に記載の装置。
（項目１９）
前記水平偏角取得ユニットは、前記進行経路情報および前記車載カメラの焦点距離に基づき、前記車載カメラの水平偏角を取得するように構成される項目１８に記載の装置。
（項目２０）
前記車載カメラの姿勢情報は前記車載カメラのピッチ角を含む項目１５から１９のいずれか一項に記載の装置。
（項目２１）
前記姿勢情報取得モジュールは、
前記地平線情報および前記車載カメラの焦点距離に基づき、前記車載カメラのピッチ角を取得するためのピッチ角取得ユニットを含む項目２０に記載の装置。
（項目２２）
前記地平線情報取得モジュールは、
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るための区画線情報取得ユニットと、
前記少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得するための交点取得ユニットと、
前記区画線の視覚交点に基づき、地平線情報を取得するための地平線情報取得ユニットと、を含む項目１５から２１のいずれか一項に記載の装置。
（項目２３）
前記区画線情報取得ユニットは具体的に、前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得し、
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るために用いられる項目２２に記載の装置。
（項目２４）
前記地平線情報取得ユニットは具体的に、
前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得し、
前記交点確率マップに基づき、地平線に属する視覚交点を取得し、
取得した地平線に属する視覚交点に基づき、前記地平線情報を取得するために用いられる項目２２または２３に記載の装置。
（項目２５）
前記進行経路情報取得モジュールは具体的に、前記地平線情報および前記車載カメラの消失点に基づき、前記車両の進行経路情報を取得するために用いられる項目１８に記載の装置。
（項目２６）
さらに、
前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づき、地平線に属する視覚交点を取得し、
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの消失点を取得するための消失点取得モジュールを含む項目２５に記載の装置。
（項目２７）
さらに、
前記ビデオストリームにおける少なくとも２フレームの画像に基づき、区画線の確率画像を取得し、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示し、
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得し、
前記少なくとも二つの区画線の区画線情報に基づき、前記車載カメラの消失点を取得するための消失点取得モジュールを含む項目２５に記載の装置。
（項目２８）
さらに、
前記姿勢情報に基づいて前記車載カメラに対してキャリブレーションを行うためのカメラキャリブレーションモジュール、および／または、
前記姿勢情報に基づいて前記車両の測位情報を特定するための車両測位モジュールを含む項目１５から２７のいずれか一項に記載の装置。
（項目２９）
プログラム命令を記憶するためのメモリと、
前記メモリ内のプログラム命令を呼び出して実行し、項目１から１４のいずれか一項に記載の方法のステップを実行するためのプロセッサと、を含む電子機器。
（項目３０）
項目１から１４のいずれか一項に記載の方法のステップを実行するためのコンピュータプログラムが記憶されている読み取り可能な記憶媒体。
（項目３１）
車両に用いられる車載カメラの姿勢推定システムであって、前記車両に取り付けられたカメラ、および前記カメラと通信的に接続される項目１５から２８のいずれか一項に記載の車載カメラの姿勢推定装置を含む車載カメラの姿勢推定システム。
（項目３２）
コンピュータ命令を含むコンピュータプログラム製品であって、前記コンピュータ命令は機器のプロセッサにおいて運用される時、上記項目１から１４のいずれか一項に記載の車載カメラの姿勢推定方法におけるステップを実現するコンピュータプログラム製品。
例えば、本願は以下の項目を提供する。
（項目１）
車載カメラで取得した車両走行路面のビデオストリームに基づき、前記路面の区画線検出を行うことと、
区画線の検出結果に基づき、前記車両走行路面の地平線情報を取得することと、
前記地平線情報に基づき、前記車載カメラの姿勢情報を取得することと、を含む車載カメラの姿勢推定方法。
（項目２）
前記路面は構造化道路であり、および／または、前記車載カメラは前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる項目１に記載の方法。
（項目３）
前記車載カメラの姿勢情報は前記車載カメラの回転角度を含み、前記地平線情報に基づいて前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線の傾斜度情報に基づいて前記車載カメラの回転角度を特定することを含む項目１または２に記載の方法。
（項目４）
前記車載カメラの姿勢情報は前記車載カメラの水平偏角を含み、前記地平線情報に基づき、前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線情報に基づき、前記車両の進行経路情報を取得することと、
前記進行経路情報に基づき、前記車載カメラの水平偏角を取得することと、を含む項目１から３のいずれか一項に記載の方法。
（項目５）
前記進行経路情報に基づき、前記車載カメラの水平偏角を取得する前記ステップは、
前記進行経路情報および前記車載カメラの焦点距離に基づき、前記車載カメラの水平偏角を取得することを含む項目４に記載の方法。
（項目６）
前記車載カメラの姿勢情報は前記車載カメラのピッチ角を含む項目１から５のいずれか一項に記載の方法。
（項目７）
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線情報および前記車載カメラの焦点距離に基づき、前記車載カメラのピッチ角を取得することを含む項目６に記載の方法。
（項目８）
区画線の検出結果に基づき、前記車両走行路面の地平線情報を取得する前記ステップは、
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと、
前記少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得することと、
前記区画線の視覚交点に基づき、地平線情報を取得することと、を含む項目１から７のいずれか一項に記載の方法。
（項目９）
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得る前記ステップは、
前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得することと、
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと、を含む項目８に記載の方法。
（項目１０）
前記区画線の視覚交点に基づき、地平線情報を取得する前記ステップは、
前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得することと、
前記交点確率マップに基づき、地平線に属する視覚交点を取得することと、
取得した地平線に属する視覚交点に基づき、前記地平線情報を取得することと、を含む項目８または９に記載の方法。
（項目１１）
前記地平線情報に基づいて前記車両の進行経路情報を取得する前記ステップは、
前記地平線情報および前記車載カメラの消失点に基づき、前記車両の進行経路情報を取得することを含む項目４に記載の方法。
（項目１２）
前記方法は、さらに、
前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づき、地平線に属する視覚交点を取得することと、
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの視覚消失点を取得することと、を含む項目１１に記載の方法。
（項目１３）
さらに、
前記ビデオストリームにおける少なくとも２フレームの画像に基づき、区画線の確率画像を取得することであって、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示すことと、
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得することと、
前記少なくとも二つの区画線の区画線情報に基づき、前記車載カメラの消失点を取得することと、を含む項目１１に記載の方法。
（項目１４）
前記方法は、さらに、
前記姿勢情報に基づいて前記車載カメラに対してキャリブレーションを行うこと、および／または、
前記姿勢情報に基づいて前記車両の測位情報を特定すること、を含む項目１から１３のいずれか一項に記載の方法。
（項目１５）
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うための区画線検出モジュールと、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得するための地平線情報取得モジュールと、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得するための姿勢情報取得モジュールと、を含む車載カメラの姿勢推定装置。
（項目１６）
前記路面は構造化道路であり、および／または、前記車載カメラは前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる項目１５に記載の装置。
（項目１７）
前記車載カメラの姿勢情報は前記車載カメラの回転角度を含み、前記姿勢情報取得モジュールは、
前記地平線の傾斜度情報に基づいて前記車載カメラの回転角度を特定するための回転角度取得ユニットを含む項目１５または１６に記載の装置。
（項目１８）
前記車載カメラの姿勢情報は前記車載カメラの水平偏角を含み、前記装置は、さらに、
前記地平線情報に基づいて前記車両の進行経路情報を取得するための進行経路情報取得モジュールを含み、
前記姿勢情報取得モジュールは、
前記進行経路情報に基づき、前記車載カメラの水平偏角を取得するための水平偏角取得ユニットを含む項目１５から１７のいずれか一項に記載の装置。
（項目１９）
前記水平偏角取得ユニットは、前記進行経路情報および前記車載カメラの焦点距離に基づき、前記車載カメラの水平偏角を取得するように構成される項目１８に記載の装置。
（項目２０）
前記車載カメラの姿勢情報は前記車載カメラのピッチ角を含む項目１５から１９のいずれか一項に記載の装置。
（項目２１）
前記姿勢情報取得モジュールは、
前記地平線情報および前記車載カメラの焦点距離に基づき、前記車載カメラのピッチ角を取得するためのピッチ角取得ユニットを含む項目２０に記載の装置。
（項目２２）
前記地平線情報取得モジュールは、
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るための区画線情報取得ユニットと、
前記少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得するための交点取得ユニットと、
前記区画線の視覚交点に基づき、地平線情報を取得するための地平線情報取得ユニットと、を含む項目１５から２１のいずれか一項に記載の装置。
（項目２３）
前記区画線情報取得ユニットは具体的に、前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得し、
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るために用いられる項目２２に記載の装置。
（項目２４）
前記地平線情報取得ユニットは具体的に、
前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得し、
前記交点確率マップに基づき、地平線に属する視覚交点を取得し、
取得した地平線に属する視覚交点に基づき、前記地平線情報を取得するために用いられる項目２２または２３に記載の装置。
（項目２５）
前記進行経路情報取得モジュールは具体的に、前記地平線情報および前記車載カメラの消失点に基づき、前記車両の進行経路情報を取得するために用いられる項目１８に記載の装置。
（項目２６）
さらに、
前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づき、地平線に属する視覚交点を取得し、
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの消失点を取得するための消失点取得モジュールを含む項目２５に記載の装置。
（項目２７）
さらに、
前記ビデオストリームにおける少なくとも２フレームの画像に基づき、区画線の確率画像を取得し、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示し、
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得し、
前記少なくとも二つの区画線の区画線情報に基づき、前記車載カメラの消失点を取得するための消失点取得モジュールを含む項目２５に記載の装置。
（項目２８）
さらに、
前記姿勢情報に基づいて前記車載カメラに対してキャリブレーションを行うためのカメラキャリブレーションモジュール、および／または、
前記姿勢情報に基づいて前記車両の測位情報を特定するための車両測位モジュールを含む項目１５から２７のいずれか一項に記載の装置。
（項目２９）
プログラム命令を記憶するためのメモリと、
前記メモリ内のプログラム命令を呼び出して実行し、項目１から１４のいずれか一項に記載の方法のステップを実行するためのプロセッサと、を含む電子機器。
（項目３０）
項目１から１４のいずれか一項に記載の方法のステップを実行するためのコンピュータプログラムが記憶されている読み取り可能な記憶媒体。
（項目３１）
車両に用いられる車載カメラの姿勢推定システムであって、前記車両に取り付けられたカメラ、および前記カメラと通信的に接続される項目１５から２８のいずれか一項に記載の車載カメラの姿勢推定装置を含む車載カメラの姿勢推定システム。
（項目３２）
コンピュータ命令を含むコンピュータプログラム製品であって、前記コンピュータ命令は機器のプロセッサにおいて運用される時、上記項目１から１４のいずれか一項に記載の車載カメラの姿勢推定方法におけるステップを実現するコンピュータプログラム製品。
【図面の簡単な説明】
【0013】
【図1】本願の実施例１が提供する車載カメラの姿勢推定方法のフローチャートである。
【図2】本願の実施例が適する応用シーンの例である。
【図5】本願の実施例２が提供する車載カメラの姿勢推定方法のフローチャートである。
【図6】本願の実施例３が提供する車載カメラの姿勢推定方法のフローチャートである。
【図7】本願の実施例が提供する車載カメラのピッチ角推定の原理模式図である。
【図8】本願の実施例が提供する車載カメラの水平偏角推定の原理模式図である。
【図9】本願の実施例が提供する車載カメラの姿勢推定装置の構成模式図である。
【図10】本願の実施例が提供する姿勢情報取得モジュールの構成模式図である。
【図11】本願の実施例が提供する電子機器の実体のブロック図である。
【図12】本願の実施例が提供する車載カメラの姿勢推定システムのアーキテクチャ模式図である。
【発明を実施するための形態】
【0014】
本願の実施例または従来技術における技術的解決手段をより明確に説明するために、以下に実施例または従来技術の記述において必要な図面を用いて簡単に説明を行うが、当然ながら、以下に記載する図面は単に本願の実施例の一例であり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面に想到し得る。
【0015】
本願の実施例の目的、技術的解決手段および利点をより明確にするために、以下に本願の実施例における図面と関連付けて、本願の実施例における技術的解決手段を明確に、完全に説明し、当然ながら、説明される実施例は本願の実施例の一部に過ぎず、全ての実施例ではない。本願における実施例に基づき、当業者が創造的な労力を要することなく、得られた他の全ての実施例は、いずれも本願の保護範囲に属する。
【0016】
本願の実施例に係る車載カメラの姿勢推定方法の実行主体は端末機器またはサーバなどの電子機器としてもよく、そのうち、端末機器はユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルド機器、計算機器、車載カメラ、カメラ以外の他の車載機器、ウェアラブル機器などであってもよい。いくつかの可能な実施形態では、前記姿勢推定方法はプロセッサによってメモリに記憶されたコンピュータ読み取り可能命令を呼び出すように実現できる。
【0017】
図１は本願の実施例１が提供する車載カメラの姿勢推定方法のフローチャートである。本実施例では、車載カメラが撮影した画像の区画線検出を行い、区画線検出結果に基づいて画像内の区画線情報を特定し、さらに各画像内の区画線情報に基づいてカメラの姿勢を取得し、それは計算量が少なくかつカメラの位置に対する要求を低下させる。
【0018】
図１に示すように、本願の実施例が提供する車載カメラの姿勢推定方法は、以下のステップを含む。
【0019】
Ｓ１０１において、車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行う。
【0020】
例示的に、本実施例は路面情報を撮影可能な車載カメラが取り付けられた車両に用いられる。図２は本願の実施例が適する応用シーンの例であり、図２に示すように、車両が道路を走行する時、車両の前面に設置された車載カメラは路面を撮影でき、車載カメラで取得した車両走行路面のビデオストリームには、少なくとも１フレームの画像が含まれる。例示的に、本願の各実施例において車載カメラは車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる。
【0021】
いくつかの実施例では、本願の各実施例における路面は構造化道路である。構造化道路とは一般的に高速道路、都市の幹線道路などの構造化程度が高い道路であり、このような道路は区画線などの道路標示線を有し、道路の背景環境が比較的単純であり、道路の幾何学的特徴も比較的明瞭である。非構造化道路とは一般的に都市の幹線道路以外の道路、田舎の街道などの構造化程度が低い道路であり、このような道路は区画線および／または明晰な道路境界がなく、また影および水溜まりなどの影響をも受けており、道路領域および非道路領域は区別しにくい。本願の実施例に提供される技術的解決手段が構造化道路に適用され、車載カメラの姿勢推定効果が高く、結果が正確である。
【0022】
いくつかの実施例では、該車載カメラの姿勢を推定してから、車載機器の測位、ナビゲーション、道路シーンの復元など様々な応用シーンに用いることができる。
【0023】
いくつかの実施例では、車両が構造化道路を走行しているかどうかと特定するプロセスは具体的に、
車載カメラで取得した車両走行路面のビデオストリームに基づいて路面の区画線検出を行うことと、ビデオストリームに少なくとも二つの区画線を含む画像が存在する場合、車両が構造化道路を走行していると特定することと、を含んでもよい。
車載カメラで取得した車両走行路面のビデオストリームに基づいて路面の区画線検出を行うことと、ビデオストリームに少なくとも二つの区画線を含む画像が存在する場合、車両が構造化道路を走行していると特定することと、を含んでもよい。
【0024】
例示的に、車両が路面を走行しておりかつ車載カメラを起動して撮影し始める時、カメラが撮影した画像における路面の区画線検出を行い、あるフレームの画像に少なくとも二つの区画線が含まれていると検出した場合、車両が構造化道路を走行していると特定できる。いくつかの実施例では、あるフレームの画像に車両に隣接する少なくとも二つの区画線が含まれていると検出した場合、車両が構造化道路を走行していると特定するようにしてもよい。
【0025】
例示的に、区画線検出結果は区画線情報を含んでもよい。
【0026】
いくつかの実施例では、上記区画線情報は車両左右側の二つの区画線の情報または路面上の任意の二つの区画線の情報であってもよい。該二つの区画線は直線区画線であってもよいし、湾曲区画線であってもよく、本開示の実施例はこれを限定しない。
【0027】
上記区画線情報は区画線関数で表すことができ、区画線情報の取得プロセスは下記実施例において説明する。
【0028】
Ｓ１０２において、区画線の検出結果に基づいて車両走行路面の地平線情報を取得する。
【0029】
例示的に、地平線情報は車載カメラが撮影した画像における地平線関数であってもよい。
【0030】
いくつかの実施例では、地平線情報を取得する実行可能な一方法は以下を含む。
【0031】
Ｓ１１において、区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得る。
【0032】
例示的に、車載カメラで取得したビデオストリームにおける少なくとも２フレームの画像の各々について、画像における少なくとも二つの区画線の対応する区画線関数を取得する。図３は本願の実施例における車載カメラが撮影した画像の模式図１である。図４は本願の実施例における車載カメラが撮影した画像の模式図２である。図３および図４に示すように、特徴抽出などのアルゴリズムによって画像を検出し、画像における区画線を取得することができ、区画線は一般的に図３に示すような直線および図４に示すような曲線である。例示的に、画像の左上隅を座標原点とすれば、区画線の画像における区画線関数をフィッティングして得ることができる。
【0033】
いくつかの実施例では、画像における少なくとも二つの区画線の対応する区画線関数を取得するステップは、具体的に以下を含む。
【0034】
Ｓ１１１において、前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得する。
【0035】
例示的に、区画線は連続的である場合があり、通常直線、曲線であるなどの特性を考慮すると、画像分割アルゴリズム、特徴抽出アルゴリズム、畳み込みニューラルネットワークアルゴリズムなどを採用して、画像における車線を検出し、検出結果に基づいて画像において区画線に属する区画線画素点をマークすることができる。
【0036】
Ｓ１１２において、区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得る。
【0037】
例示的に、画像中の区画線に属する区画線画素点を特定してから、ＯｐｅｎＣＶを利用して画像中の車線画素点の曲線関数フィッティング処理を行えば、画像中の全ての区画線の関数を得ることができる。例示的に、直線区画線については、区画線関数は通常一次関数である。
【0038】
Ｓ１２において、少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得する。
【0039】
例示的に、透視の原理によって、区画線は地平線で交差するため、各区画線関数の視覚交点は地平線に落ちる。各区画線関数によって画像における視覚交点の座標を取得できる。例示的に、区画線が曲線である場合、区画線関数が画像画素座標範囲内にある点を区画線関数の視覚交点とする。
【0040】
Ｓ１３において、区画線の視覚交点に基づき、地平線情報を取得する。
【0041】
例示的に、区画線の視覚交点が地平線にあることを考慮すると、取得した各フレームの画像における視覚交点に基づき、地平線関数を取得することができる。
【0042】
例示的に、本実施例のもとに、上記Ｓ１０２での地平線情報取得の後に、車載カメラの姿勢推定はさらに以下を含む。
【0043】
Ｓ１０２１において、地平線情報および車載カメラの消失点に基づき、車両の進行経路情報を取得する。
【0044】
例示的に、進行経路情報は進行経路関数であってもよい。消失点は車載カメラの画角に伴って移動し、車載カメラの消失点とは車載カメラが撮影した進行経路の路面消失点をいう。透視の原理によって、車両の走行進行経路が地平線と垂直であり、かつ車載カメラの画像における消失点が車両の走行進行経路にあるため、取得した地平線関数および画像消失点に基づき、車両の走行進行経路の関数を取得することができる。
【0045】
Ｓ１０３において、地平線情報に基づいて車載カメラの姿勢情報を取得する。
【0046】
例示的に、車載カメラの姿勢情報は、車載カメラの回転角度、ピッチ角および水平偏角の少なくとも一つを含む。
【0047】
例示的に、車載カメラの姿勢の変化に伴い、車載カメラが撮影した画像における地平線および進行経路が異なるようになるため、取得した地平線情報および進行経路情報に基づいて車載カメラの姿勢を取得することができる。
【0048】
例示的に、具体的には地平線の傾斜度情報に基づいて車載カメラの回転角度を特定できる。進行経路情報に基づき、車載カメラの水平偏角を取得する。地平線情報に基づいて前記車載カメラのピッチ角を取得する。
【0049】
本願の実施例が提供する車載カメラの姿勢推定方法は、車載カメラで取得した車両走行路面のビデオストリームに基づいて路面の区画線検出を行うことと、区画線の検出結果に基づいて車両走行路面の地平線情報を取得することと、地平線情報に基づいて車載カメラの姿勢情報を取得することと、を含む。本願が提供する車載カメラの姿勢推定方法において車載カメラはその位置を固定する必要がなく、かつカメラの姿勢はリアルタイムに取得可能であるため、車載カメラの姿勢推定の正確度を向上させる。
【0050】
例示的に、上記実施例に係る解決手段はインテリジェント運転シーン、例えば運転支援または自動運転シーンにおいて用いることができ、正確な車載カメラの姿勢をリアルタイムに取得することで、運転支援または自動運転の安全性を向上させることができる。例示的に、カメラの姿勢情報を取得してから、さらに車載カメラの姿勢情報に基づいて車両の測位、ナビゲーション、シーンの復元などを行うことができる。
【0051】
例示的に、上記実施例のもとに、本願の実施例はさらに車載カメラの姿勢推定方法を提供する。図５は本願の実施例２が提供する車載カメラの姿勢推定方法のフローチャートである。本実施例では区画線の視覚交点に基づいて地平線情報を取得するプロセスを詳しく説明する。図５に示すように、区画線の視覚交点に基づいて地平線情報を取得するステップは、以下を含む。
【0052】
Ｓ５０１において、ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得する。
【0053】
例示的に、ビデオストリームに含まれる複数フレームの画像のうちのＮフレームについて、各フレームの画像における視覚交点の画素座標を統計し、Ｎフレームの画像における視覚交点の画素座標に基づき、交点確率マップを得る。交点確率マップにおける各画素点の値はＮフレームの画像における視覚交点が該画素点にある画像の数とする。ここで、Ｎは１よりも大きい正整数である。
【0054】
Ｓ５０２において、交点確率マップに基づき、地平線に属する視覚交点を取得する。
【0055】
例示的に、交点確率マップを取得してから、密度に基づくクラスタリングアルゴリズムを採用して、外れ値を除去し、交点確率マップにおいて地平線に属する視覚交点を特定する。
【0056】
Ｓ５０３において、取得した地平線に属する視覚交点に基づき、地平線情報を取得する。
【0057】
例示的に、地平点に属する視覚交点を取得してから、各視覚交点の座標に基づいて一次関数である地平線関数を構築することができる。例示的に、可能な一実施形態では、画像の左上隅を座標原点とすれば、地平線関数はＹ＝１００とすることができる。このとき、画像の地平線は水平線である。
【0058】
例示的に、本実施例は透視の原理に基づき、各区画線の視覚交点が地平線にあることを考慮した上で、各画像における区画線の視覚交点に基づいて地平線情報を特定することができ、それは地平線情報の取得方式を簡略化し、車載カメラの姿勢推定の計算量を低減する。
【0059】
いくつかの実施例では、上記いずれかの実施例のもとに、消失点の取得方式は例示的に、取得した地平線に属する視覚交点を平均化処理し、車載カメラの消失点を取得するようにしてもよい。
【0060】
例示的に、透視の原理によって、消失点が地平線にあることを考慮し、地平線に属する視覚交点の座標に基づき、各視覚交点の縦横座標についてそれぞれ平均値を取れば、消失点の縦横座標を特定し、それにより消失点を得ることができる。
【0061】
上記いずれかの実施例のもとに、消失点の取得方式は例示的に、図６に示すようにしてもよい。消失点の取得プロセスは以下を含む。
【0062】
Ｓ６０１において、ビデオストリームに含まれる複数フレームの画像のうちの少なくとも２フレームの画像に基づき、その各画素点の値が各画素の区画線に属する確率を示す区画線の確率画像を取得する。
【0063】
例示的に、可能な一実施形態では、Ｎフレームの画像について、直線区画線の数が湾曲区画線の数よりも大幅に多いことを考慮すると、統計によって直線区画線の確率画像を得ることができる。確率画像における各画素点の値は各画素点が区画線に属する確率を示す。いくつかの実施例では、確率画像における画素点の値はまたＮフレームの画像において該画素点が区画線に属する回数を示すこともできる。
【0064】
Ｓ６０２において、確率画像に基づいて少なくとも二つの区画線の区画線情報を取得する。
【0065】
例示的に、確率画像において区画線に属する画素点を特定し、区画線に属する画素点に基づいて、区画線の関数をフィッティングして得ることができる。
【0066】
Ｓ６０３において、少なくとも二つの区画線の区画線情報に基づいて車載カメラの消失点を取得する。
【0067】
例示的に、透視の原理によって、各区画線の関数の視覚交点を消失点として取得する。
【0068】
例示的に、本実施例は透視の原理に基づき、区画線の視覚交点が消失点であることを考慮した上で、複数フレームの画像に基づいて確率画像を統計して得て、さらに区画線関数を特定し、それにより区画線の視覚交点に基づいて消失点を取得し、それは消失点の取得方式を簡略化し、車載カメラの姿勢推定の計算量を低減する。
【0069】
いくつかの実施例では、上記いずれかの実施例のもとに、地平線関数に基づいて車載カメラのピッチ角を取得するステップは、具体的に、
地平線情報および車載カメラの焦点距離に基づき、車載カメラのピッチ角を取得することを含む。
地平線情報および車載カメラの焦点距離に基づき、車載カメラのピッチ角を取得することを含む。
【0070】
例示的に、車載カメラの主光軸が画像にマッピングした画素点から地平線関数までの距離および車載カメラの焦点距離に基づき、車載カメラのピッチ角を取得する。
【0071】
例示的に、車載カメラの主光軸が画像にマッピングした画素点から地平線関数までの距離Ｄ１を取得し、
【数1】
【0072】
によって車載カメラのピッチ角を取得する。
【0073】
ここで、ｆは車載カメラの焦点距離であり、ＰＭは車載カメラで取得した画像の内部パラメータであり、内部パラメータの単位は画素／ミリメートルであり、撮像素子において１ミリメートル当たり撮像可能な画素数を示す。
【0074】
図７は本願の実施例が提供する車載カメラのピッチ角推定の原理模式図である。図７は車両が路面を走行する側面図である。図７に示すように、ＢＥは車両が走行する路面であり、ＢＤは地面と垂直であり、ＡＤは地面と平行であり、ＡＤが存在する点線はカメラと同じ高さの地面平行線を表す。ＭＡはｆ、即ち車載カメラの焦点距離である。ＭＮはカメラ内の撮像素子のサイズである。Θは車載カメラのピッチ角であり、ｔａｎθ＝ＭＮ／ｆである。同時に、車載カメラの主光軸が画像にマッピングした画素点は点Ｐであり、ＰＱは車載カメラの主光軸が画像にマッピングした画素点から地平線関数までの距離Ｄ１であり、Ｄ１の単位は画素であり、ＭＮ＝ＰＱ／ＰＭである。
【0075】
例示的に、進行経路情報に基づき、車載カメラの水平偏角を取得するステップは、
進行経路情報および車載カメラの焦点距離に基づき、車載カメラの水平偏角を取得することを含む。
進行経路情報および車載カメラの焦点距離に基づき、車載カメラの水平偏角を取得することを含む。
【0076】
例示的に、車載カメラの主光軸が画像にマッピングした画素点から進行経路関数までの距離および車載カメラの焦点距離に基づき、車載カメラの水平偏角を取得する。
【0077】
例示的に、車載カメラの主光軸が画像にマッピングした画素点から進行経路関数までの距離Ｄ２を取得し、
【数2】
【0078】
によって車載カメラの水平偏角を取得する。
【0079】
例示的に、図８は本願の実施例が提供する車載カメラの水平偏角推定方法の原理模式図である。図８は車両が路面を走行する平面図である。図８に示すように、ψは車載カメラの水平偏角であり、ＧＡＣは車両の走行方向であり、ｔａｎψ＝ＧＨ／ｆである。ここで、ＧＨはカメラ内の撮像素子のサイズであり、ＧＨ＝ＣＤ／ＰＭである。車載カメラの主光軸が画像にマッピングした画素点は点Ｄであり、ＣＤは車載カメラの主光軸が画像にマッピングした画素点から進行経路関数までの距離Ｄ２である。ｆは車載カメラの焦点距離である。
【0080】
例示的に、地平線情報に基づいて車載カメラの姿勢情報を取得するステップは、
地平線の傾斜度情報に基づいて車載カメラの回転角度を特定することを含む。
地平線の傾斜度情報に基づいて車載カメラの回転角度を特定することを含む。
【0081】
例示的に、地平線関数は画像において一次関数であり、車載カメラが回転していない時、地平線関数は水平の直線である。車載カメラが回転したら、地平線関数の傾斜度は車載カメラの回転角度を示すことができる。
【0082】
本願の実施例の別の一態様はさらに、車載カメラの姿勢推定装置を提供し、図９は本願の実施例が提供する車載カメラの姿勢推定装置の構成模式図である。図９に示すように、車載カメラの姿勢推定装置は、
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うための区画線検出モジュール９０１と、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得するための地平線情報取得モジュール９０２と、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得するための姿勢情報取得モジュール９０３と、を含む。
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うための区画線検出モジュール９０１と、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得するための地平線情報取得モジュール９０２と、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得するための姿勢情報取得モジュール９０３と、を含む。
【0083】
本願の実施例が提供する車載カメラの姿勢推定方法および装置は、車載カメラで取得した車両走行路面のビデオストリームに基づいて路面の区画線検出を行うことと、区画線の検出結果に基づいて車両走行路面の地平線情報を取得することと、地平線情報に基づいて車載カメラの姿勢情報を取得することと、を含む。本願の実施例が提供する車載カメラの姿勢推定方法において車載カメラはその位置を固定する必要がなく、かつカメラの姿勢はリアルタイムに取得可能であるため、車載カメラの姿勢推定の正確度を向上させる。
【0084】
いくつかの実施例では、前記路面は構造化道路であり、および／または、前記車載カメラは前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる。
【0085】
本願の各実施例における路面は構造化道路である。構造化道路とは一般的に高速道路、都市の幹線道路などの構造化程度が高い道路をいい、このような道路は区画線などの道路標示線を有し、道路の背景環境が比較的単純であり、道路の幾何学的特徴も比較的明瞭である。非構造化道路とは一般的に都市の幹線道路以外の道路、田舎の街道などの構造化程度が低い道路をいい、このような道路は区画線および／または明晰な道路境界がなく、また影および水溜まりなどの影響をも受けており、道路領域および非道路領域は区別しにくい。本願の実施例が提供する技術的解決手段を構造化道路に用いれば、車載カメラの姿勢推定効果が高く、結果が正確である。
【0086】
いくつかの実施例では、前記車載カメラの姿勢情報は前記車載カメラの回転角度を含む。
【0087】
例示的に、図９および図１０に示すように、姿勢情報取得モジュール９０３はさらに、
前記地平線の傾斜度情報に基づいて前記車載カメラの回転角度を特定するように構成された回転角度取得ユニット１００１を含んでもよい。
前記地平線の傾斜度情報に基づいて前記車載カメラの回転角度を特定するように構成された回転角度取得ユニット１００１を含んでもよい。
【0088】
いくつかの実施例では、前記車載カメラの姿勢情報はさらに前記車載カメラの水平偏角を含む。
【0089】
図９に示すように、車載カメラの姿勢推定装置はさらに、前記地平線情報に基づいて前記車両の進行経路情報を取得するための進行経路情報取得モジュール９０４を含む。
【0090】
【0091】
いくつかの実施例では、前記水平偏角取得ユニット１００２は具体的に、前記進行経路情報および前記車載カメラの焦点距離に基づき、前記車載カメラの水平偏角を取得するために用いられる。
【0092】
いくつかの実施例では、前記車載カメラの姿勢情報は前記車載カメラのピッチ角を含む。
【0093】
いくつかの実施例では、図９および図１０に示すように、前記姿勢情報取得モジュール９０３は、
前記地平線情報および前記車載カメラの焦点距離に基づき、前記車載カメラのピッチ角を取得するためのピッチ角取得ユニット１００３を含む。
前記地平線情報および前記車載カメラの焦点距離に基づき、前記車載カメラのピッチ角を取得するためのピッチ角取得ユニット１００３を含む。
【0094】
いくつかの実施例では、図９に示すように、前記地平線情報取得モジュール９０２は、
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るための区画線情報取得ユニット９０２１と、
前記少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得するための交点取得ユニット９０２２と、
前記区画線の視覚交点に基づき、地平線情報を取得するための地平線情報取得ユニット９０２３と、を含む。
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るための区画線情報取得ユニット９０２１と、
前記少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得するための交点取得ユニット９０２２と、
前記区画線の視覚交点に基づき、地平線情報を取得するための地平線情報取得ユニット９０２３と、を含む。
【0095】
いくつかの実施例では、前記区画線情報取得ユニット９０２１は具体的に、前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得し、
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るために用いられる。
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るために用いられる。
【0096】
いくつかの実施例では、前記地平線情報取得ユニット９０２３は具体的に、
前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得し、
前記交点確率マップに基づき、地平線に属する視覚交点を取得し、
取得した地平線に属する視覚交点に基づき、前記地平線情報を取得するために用いられる。
前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得し、
前記交点確率マップに基づき、地平線に属する視覚交点を取得し、
取得した地平線に属する視覚交点に基づき、前記地平線情報を取得するために用いられる。
【0097】
透視の原理によって、区画線は地平線で交差するため、各区画線関数の視覚交点は地平線に落ちる。各区画線関数によって画像における視覚交点の座標を取得できる。例示的に、区画線が曲線である場合、区画線関数が画像画素座標範囲内にある点を区画線関数の視覚交点とする。
【0098】
いくつかの実施例では、図９に示すように、車載カメラの姿勢推定装置はさらに、前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づき、地平線に属する視覚交点を取得し、
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの消失点を取得するための消失点取得モジュール９０５を含む。
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの消失点を取得するための消失点取得モジュール９０５を含む。
【0099】
いくつかの実施例では、図９に示すように、車載カメラの姿勢推定装置はさらに、前記ビデオストリームにおける少なくとも２フレームの画像に基づき、区画線の確率画像を取得し、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示し、
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得し、
前記少なくとも二つの区画線の区画線情報に基づき、前記車載カメラの消失点を取得するための消失点取得モジュール９０５を含む。
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得し、
前記少なくとも二つの区画線の区画線情報に基づき、前記車載カメラの消失点を取得するための消失点取得モジュール９０５を含む。
【0100】
【0101】
例示的に、図９に示すように、車載カメラの姿勢推定装置はさらに、
前記姿勢情報に基づいて前記車両の測位情報を特定するための車両測位モジュール９０７を含む。
前記姿勢情報に基づいて前記車両の測位情報を特定するための車両測位モジュール９０７を含む。
【0102】
図１１は本願の実施例が提供する電子機器の実体のブロック図であり、図１１に示すように、該電子機器は、
プログラム命令を記憶するためのメモリ１１０１と、
前記メモリ内のプログラム命令を呼び出して実行し、上記方法の実施例に記載の方法のステップを実行するためのプロセッサ１１０２と、を含む。
プログラム命令を記憶するためのメモリ１１０１と、
前記メモリ内のプログラム命令を呼び出して実行し、上記方法の実施例に記載の方法のステップを実行するためのプロセッサ１１０２と、を含む。
【0103】
図１２は本願の実施例が提供する車載カメラの姿勢推定システムのアーキテクチャ模式図であり、該システムは車両に用いられ、図１２に示すように、該システムは、車両に取り付けられたカメラ１２０１、およびカメラ１２０１と接続される上記車載カメラの姿勢推定装置１２０２を含む。
【0104】
本願の実施例はさらに、上記方法の実施例に記載の方法のステップを実行するためのコンピュータプログラムが記憶されている読み取り可能な記憶媒体を提供する。
【0105】
本願の実施例はさらに、コンピュータ命令を含むコンピュータプログラム製品であって、前記コンピュータ命令は機器のプロセッサにおいて運用される時、上記方法の実施例に記載の方法のステップを実現するコンピュータプログラム製品を提供する。
【0106】
なお、本願の実施例が提供するいずれかの車載カメラの姿勢推定装置、車載カメラの姿勢推定システム、電子機器内の各部材、モジュールまたはユニットの動作プロセス、設置方式および技術的効果などの説明は、本開示の上記方法の実施例の対応する記載を参照すればよいことを理解すべきであり、紙数に限りがあるので、ここでは詳細な説明を省略する。
【0107】
当業者であれば、上記各方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解できる。前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能である。該プログラムは実行される時に、上記各方法の実施例を含むステップを実行する。
【0108】
最後に、説明すべきは、以上の各実施例は本願の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、前記各実施例を参照しながら本願を詳細に説明したが、当業者であれば、前記各実施例に記載の技術的解決手段に対する修正、またはその一部もしくは全ての技術的特徴に対する置換が可能であることは、当然理解されるものであり、これらの修正または置換は、該当する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱させるものではないということである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
