知財求人 - 知財ポータルサイト「IP Force」
特許7082671車載カメラ自己校正方法、車載カメラ自己校正装置、電子機器および記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-31
(45)【発行日】2022-06-08
(54)【発明の名称】車載カメラ自己校正方法、車載カメラ自己校正装置、電子機器および記憶媒体
(51)【国際特許分類】
H04N 5/232 20060101AFI20220601BHJP
G06T 7/80 20170101ALI20220601BHJP
【ＦＩ】
H04N5/232
G06T7/80
【請求項の数】
14
(21)【出願番号】P 2020541881
(86)(22)【出願日】2019-05-29
(65)【公表番号】
(43)【公表日】2021-05-20
(86)【国際出願番号】 CN2019089033
(87)【国際公開番号】W WO2019233330
(87)【国際公開日】2019-12-12
【審査請求日】2020-07-30
(31)【優先権主張番号】201810578736.5
(32)【優先日】2018-06-05
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520180323
【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司
【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＳＥＮＳＥＴＩＭＥ ＩＮＴＥＬＬＩＧＥＮＴ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ １６０５Ａ， Ｂｕｉｌｄｉｎｇ ３， ３９１ Ｇｕｉｐｉｎｇ Ｒｏａｄ， Ｘｕｈｕｉ Ｄｉｓｔｒｉｃｔ， Ｓｈａｎｇｈａｉ ２００２３３ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002468
【氏名又は名称】特許業務法人後藤特許事務所
(72)【発明者】
【氏名】向 傑
(72)【発明者】
【氏名】毛 寧元
(72)【発明者】
【氏名】朱 海波
【審査官】吉川 康男
(56)【参考文献】
【文献】特開２０１３－１２９２７８（ＪＰ，Ａ）
【文献】特開２０１６－０７０８１４（ＪＰ，Ａ）
【文献】国際公開第２０１７／１３０６５０（ＷＯ，Ａ１）
【文献】特開２００２－１３５７６５（ＪＰ，Ａ）
【文献】特開２０１６－１８１７５３（ＪＰ，Ａ）
【文献】特開２００８－２６９１３９（ＪＰ，Ａ）
【文献】特開２００８－１９３１８８（ＪＰ，Ａ）
【文献】国際公開第２０１２／１４３０３６（ＷＯ，Ａ１）
【文献】特開２０１３－２３８４９７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０２７８２７０（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３２
Ｇ０６Ｔ ７／８０
(57)【特許請求の範囲】
【請求項1】
車載カメラの自己校正をオンにして、前記車載カメラが取り付けられている車両を走行状態にすることと、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することと、
取得された情報に基づいて前記車載カメラを自己校正することと、を含むことを特徴とする車載カメラ自己校正方法。
【請求項2】
車載カメラの自己校正をオンにすることは、前記車載カメラの画角または焦点距離の変化を検出した場合、前記車載カメラの自己校正をオンにすることと、
前記車載カメラの取付位置および／または撮影角度の変化を検出した場合、前記車載カメラの自己校正をオンにすることと、
前記車載カメラが取り付けられている車両の累計走行距離を確認し、前記累計走行距離が走行距離閾値よりも大きい場合、前記車載カメラの自己校正をオンにすることと、
自己校正オン命令に応じて、前記車載カメラの自己校正をオンにすることと、の少なくとも一つを含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記車載カメラによる、自己校正に必要な情報の取得の進捗情報を含む取得進捗情報を提供することを、さらに含み、取得された情報に基づいて前記車載カメラを自己校正することは、前記取得進捗情報に基づいて、自己校正に必要な情報の取得が完成したと確認した場合、取得された情報に基づいて前記車載カメラを自己校正することを含むこと、および／または、
前記車載カメラが取得条件を備えるかどうかについての提示情報を含む取得条件提示情報を提供することであって、前記取得条件は、前記車載カメラが自己校正に必要な情報を取得する条件を含むことを、さらに含み、
前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することは、前記取得条件提示情報に基づき、前記車載カメラが前記取得条件を備えていると確認した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することを含むこと、を特徴とする請求項１または２に記載の方法。
【請求項4】
前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することは、前記車載カメラのレンズピッチ角が撮影ピッチ角の範囲内にある場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することと、
前記情報は車両走行道路の車線区画線を含み、前記車載カメラが前記車両走行道路の車線区画線を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することと、
前記情報は前記車両走行道路の車線区画線を含み、前記車載カメラが前記車両走行道路の地平線または車線区画線の消失点を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することと、
前記車両の走行中に、前記車載カメラによって取得時間範囲内で前記車載カメラの自己校正に必要な情報を取得することと、
前記車両の走行中に、車両の走行距離が走行距離範囲内にある場合、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することと、の少なく一つを含むことを特徴とする請求項１から３のいずれか一項に記載の方法。
【請求項5】
取得された情報に基づいて前記車載カメラを自己校正することは、取得された情報に基づき、前記車載カメラのポーズを反映する前記車載カメラのホモグラフィ行列を更新することと、
更新前および更新後の前記車載カメラのホモグラフィ行列に基づいて前記車載カメラを自己校正することと、を含むことを特徴とする請求項４に記載の方法。
【請求項6】
前記情報は前記車両走行道路の車線区画線を含み、取得された情報に基づいて前記車載カメラのホモグラフィ行列を更新することは、前記車載カメラが撮影した画像において車線区画線を検出し、前記車線区画線の検出位置情報を得ることと、
前記車線区画線の検出位置情報に基づいて前記車載カメラのホモグラフィ行列を更新することと、を含むことを特徴とする請求項５に記載の方法。
【請求項7】
更新前および更新後の前記車載カメラのホモグラフィ行列に基づいて前記車載カメラを自己校正することは、更新前の前記車載カメラのホモグラフィ行列に基づいて前記車線区画線の既知位置情報を得ることと、
前記車線区画線の検出位置情報および前記車線区画線の既知位置情報に基づき、前記車載カメラの校正パラメータを決定することと、
前記校正パラメータに基づいて前記車載カメラを自己校正することと、を含むことを特徴とする請求項６に記載の方法。
【請求項8】
前記車載カメラが撮影した画像において車線区画線を検出し、前記車線区画線の検出位置情報を得ることは、前記車載カメラが撮影した画像において車線区画線を検出することと、
検出された車線区画線上にキーポイントを決定し、キーポイントの検出座標を得ることと、を含み、
前記車線区画線の検出位置情報および前記車線区画線の既知位置情報に基づき、前記車載カメラの校正パラメータを決定することは、
前記キーポイントの検出座標および前記キーポイントの既知座標に基づき、前記車載カメラの校正パラメータを決定することを含むこと、および／または、
前記車載カメラが撮影した画像において車線区画線を検出し、前記車線区画線の検出位置情報を得ることは、
前記車載カメラが撮影した各画像において車線区画線を検出し、各画像におけるフィッティング対象の車線区画線を得ることと、
各画像におけるフィッティング対象の車線区画線をフィッティングし、車線区画線および前記車線区画線の検出位置情報を得ることとを含むこと、を特徴とする請求項７に記載の方法。
【請求項9】
前記車線区画線は第一車線区画線および第二車線区画線を含み、検出された車線区画線上にキーポイントを決定し、キーポイントの検出座標を得ることは、各画像において検出された第一車線区画線および第二車線区画線に基づき、各画像における第一車線区画線と第二車線区画線との交点を決定することと、
各画像における交点に基づいて地平線を決定することと、
前記地平線、前記第一車線区画線および前記第二車線区画線に基づいてキーポイントを決定し、前記キーポイントの検出座標を得ることとを含むこと、および／または
前記キーポイントの検出座標および前記キーポイントの既知座標に基づき、前記車載カメラの校正パラメータを決定することは、
走行撮影画角での前記キーポイントの座標を含む前記キーポイントの検出座標、および既知画角での前記キーポイントの座標を含む前記キーポイントの既知座標に基づき、前記カメラの変換パラメータを決定することと、
前記変換パラメータおよび既知パラメータに基づき、前記カメラの校正パラメータを決定することとを含むこと、を特徴とする請求項８に記載の方法。
【請求項10】
前記地平線、前記第一車線区画線および前記第二車線区画線に基づいてキーポイントを決定し、各前記キーポイントの検出座標を得ることは、前記地平線と平行、かつ前記第一車線区画線および前記第二車線区画線とそれぞれ交差する検出線を決定することと、
前記検出線と前記第一車線区画線との交点、および前記検出線と前記第二車線区画線との交点をキーポイントとして決定し、各前記キーポイントの検出座標を得ることとを含むこと、および／または、
前記キーポイントの既知座標は、
既知画角での、前記キーポイントの画像座標系での座標である第一既知座標と、
既知画角での、前記キーポイントのワールド座標系での座標である第二既知座標と、を含み、
前記変換パラメータおよび既知パラメータに基づき、前記カメラの校正パラメータを決定することは、
前記第一既知座標および前記第二既知座標に基づき、既知パラメータを決定することと、
前記変換パラメータおよび前記既知パラメータに基づき、前記カメラの校正パラメータを決定することとを含むこと、を特徴とする請求項９に記載の方法。
【請求項11】
前記車載カメラの較正パラメータに基づき、透視の原理または三角の原理を利用して前記校正パラメータを較正することを、さらに含むことを特徴とする請求項７から１０のいずれか一項に記載の方法。
【請求項12】
車載カメラの自己校正をオンにして、前記車載カメラが取り付けられている車両を走行状態にするための自己校正オンモジュールと、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための情報取得モジュールと、
取得された情報に基づいて前記車載カメラを自己校正するための自己校正演算モジュールと、を含むことを特徴とする車載カメラ自己校正装置。
【請求項13】
プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記実行可能な命令を呼び出すことにより、請求項１から１１のいずれか一項に記載の方法を実現することを特徴とする電子機器。
【請求項14】
コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサにより実行されると、請求項１から１１のいずれか一項に記載の方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は画像処理の技術分野に関し、特に車載カメラ自己校正方法と装置、および車両運転方法と装置に関する。
【背景技術】
【0002】
従来の車載カメラ校正方法は、設定されたカメラモデルで、特定の基準物を手動的に校正し、続いて画像を処理し、一連の数学的な変換式を利用して計算および最適化し、最終的にカメラモデルのパラメータを求めてからカメラを校正する。
【発明の概要】
【0003】
本開示は車載カメラ自己校正の技術的解決手段を提供する。
【0004】
本開示の一方面によれば、車載カメラの自己校正をオンにして、前記車載カメラが取り付けられている車両を走行状態にすることと、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することと、取得された情報に基づいて前記車載カメラを自己校正することと、を含む車載カメラ自己校正方法が提供される。
【0005】
本開示の一方面によれば、車載カメラの自己校正をオンにして、前記車載カメラが取り付けられている車両を走行状態にするための自己校正オンモジュールと、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための情報取得モジュールと、取得された情報に基づいて前記車載カメラを自己校正するための自己校正演算モジュールと、を含む車載カメラ自己校正装置が提供される。
【0006】
本開示の一方面によれば、上記車載カメラ自己校正方法のいずれか一項に記載の自己校正後の車載カメラを、車両の運転に用いる車両運転装置が提供される。
【0007】
本開示の一方面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリとを含み、前記プロセッサは、上記車載カメラ自己校正方法を実行するように構成される電子機器が提供される。
【0008】
本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサにより実行されると、上記車載カメラ自己校正方法を実現させるコンピュータ読み取り可能な記憶媒体が提供される。
【0009】
本開示の一方面によれば、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器において実行されると、前記電子機器内のプロセッサは上記車載カメラ自己校正方法を実現するための命令を実行するコンピュータプログラムが提供される。
【0010】
本開示の実施例では、車載カメラの自己校正をオンにした後、車両の走行中に車載カメラによって取得した情報に基づき、車載カメラが自己校正を行うことができる。車載カメラの自己校正プロセスは、車両の使用を妨げることなく、車載カメラの実際の使用環境において容易に完成でき、校正結果が正確で、校正効率が高く、適用範囲が広い。
【0011】
図面を参照しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴および方面は明確になる。
【図面の簡単な説明】
【0012】
明細書の一部として含まれる図面は、明細書と共に本開示の例示的な実施例、特徴および方面を示し、本開示の原理を解釈するために用いられる。
【図1】本開示の実施例に係る車載カメラ自己校正方法のフローチャートを示す。
【図2】本開示の実施例に係る車載カメラ自己校正方法のフローチャートを示す。
【図3】本開示の実施例に係る車載カメラ自己校正方法のフローチャートを示す。
【図4】本開示の実施例に係る車載カメラ自己校正方法のフローチャートを示す。
【図5】本開示の実施例に係る車載カメラ自己校正方法における交点の模式図を示す。
【図6】本開示の実施例に係る車載カメラ自己校正方法における地平線の模式図を示す。
【図7】本開示の実施例に係る車載カメラ自己校正方法におけるキーポイントの模式図を示す。
【図8】本開示の実施例に係る車載カメラ自己校正装置のブロック図を示す。
【図9】本開示の例示的な実施例に係る電子機器のブロック図を示す。
【発明を実施するための形態】
【0013】
以下、図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似の機能の要素を表す。図面に実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
【0014】
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」ことを意味する。ここで「例示的」として説明されるいかなる実施例も、他の実施例より好ましい又は優れるものであると理解すべきではない。
【0015】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示は同様に実施可能であることを理解すべきである。いくつかの実施例では、当業者に既知の方法、手段、要素および回路について、本開示の趣旨を強調するために、詳細な説明を行わない。以下のいくつかの具体的な実施例は互いに組み合わせることができる。また、同じまたは類似の概念またはプロセスについては、ある実施例において詳細な説明を省略することがある。なお、以下の実施例は、本開示の選択可能的な実施形態に過ぎず、本開示の保護範囲を実質的に限定するものと解釈すべきではない。以下の実施例に基づく他の実施形態も本開示の保護範囲に属するものと理解すべきである。
【0016】
【0017】
ステップＳ１０、車載カメラの自己校正をオンにして、前記車載カメラが取り付けられている車両を走行状態にする。
【0018】
前記車両は走行機能を有する装置である。例えば、可能な一実施形態では、前記車両は、自動車、軽車両、列車、車おもちゃ、およびロボットの一つまたは任意の組み合わせを含んでもよい。
【0019】
自動車は、大型自動車、電車、電動車両、オートバイ、トラクターなど動力装置が配置され、かつ動力装置により駆動されて走行する車両を含んでもよい。軽車両は、自転車、三輪車、スクーター、畜力車など人力または畜力により駆動されて走行する車両を含んでもよい。車おもちゃは、リモコンカー、電動乗用玩具など車両形状の走行可能な玩具を含んでもよい。ロボットは、人型走行ロボットおよび非人型走行ロボットを含んでもよい。そのうち、非人型走行ロボットは、ロボット掃除機、搬送ロボットなどを含んでもよい。
【0020】
車載カメラは、車両出荷時に車両に組みこまれているカメラであってもよいし、車両出荷後に車両に追加されるカメラであってもよい。車載カメラは、例えば、可視光カメラ、赤外線カメラ、両眼カメラなど様々なタイプのカメラを含んでもよい。本開示は車載カメラのタイプを限定しない。
【0021】
車載カメラの自己校正は、車載カメラが自動的に自己校正の実質的な動作を完成することを含んでもよい。車載カメラの自己校正プロセスは手動操作を必要としない。例えば、車載カメラは、設定された自己校正オン条件に応じて、車両の走行中に車載カメラが撮影した画像における目標物の位置情報、および保存されている初期校正情報を利用し、自動的に校正パラメータを計算して、計算された校正パラメータに基づいて自動的に校正することができる。校正プロセス全体は、車載カメラに対する手動操作を必要とせず、校正パラメータまたは位置情報などの手動入力も必要としない。
【0022】
車載カメラ自己校正をオンにする方式は、手動で命令を入力してオンにする方式を含んでもよいし、予め設定されたオン条件に応じて自動的にオンにする方式を含んでもよい。そのうち、予め設定されたオン条件は、車両の走行状況が設定された走行条件を満たすことを含んでもよいし、車載カメラの撮影状況が設定された撮影条件を満たすことを含んでもよい。オン条件は複数のオン条件の組み合わせを含んでもよい。必要に応じて車載カメラ自己校正プロセスのオン条件およびオン方式を決定してもよく、非常に柔軟に実現可能である。
【0023】
車載カメラの自己校正をオンにした後、車載カメラが取り付けられている車両を走行状態にする必要がある。選択可能的に、車両を走行状態にする提示情報を発信して、ユーザ体験を向上させてもよい。車両の走行中に、車載カメラはオン状態にあり、画像を撮影可能である。車載カメラは静的な画像を撮影してもよいし、ビデオストリームを撮影してもよい。
【0024】
必要に応じて、所要の画像を得るように車載カメラの撮影方式および撮影した画像のフォーマットを決定してもよい。
【0025】
ステップＳ２０、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得する。
【0026】
可能な一実施形態では、車両の走行中に、車載カメラが撮影した画像から車載カメラの自己校正に必要な情報を取得してもよい。
【0027】
車載カメラの自己校正に必要な情報は、車載カメラが撮影した画像を含んでもよいし、車載カメラが撮影した画像を処理した処理画像を含んでもよい。また、車載カメラが撮影した画像において検出された目標物の情報を含んでもよい。そのうち、目標物は、建築物、車両または歩行者など様々なタイプの対象を含んでもよい。
【0028】
車両は走行中に車載カメラの自己校正に必要な情報を連続的に取得してもよいし、設定された取得周期で車載カメラの自己校正に必要な情報を取得してもよく、非常に柔軟に実現して、異なる適用の必要を満たすことができる。
【0029】
ステップＳ３０、取得された情報に基づいて前記車載カメラを自己校正する。
【0030】
可能な一実施形態では、車載カメラの取付位置または撮影画角が変化した場合、車載カメラが撮影した画像で車載カメラを正確に自己校正できるように、改めて車載カメラを再校正する必要がある。ユーザが手動で校正することなく、車載カメラが取得した情報に基づいて車載カメラを自己校正することができる。
【0031】
走行中に車載カメラが取得した情報、及び車載カメラの既知条件での初期校正情報に基づいて、車載カメラを自己校正するようにしてもよい。
【0032】
本実施例では、車載カメラは、車載カメラの自己校正がオンにされた後、車両の走行中に車載カメラが取得した情報に基づき、自己校正を行うことができる。車載カメラの自己校正プロセスは、車両の使用を妨げることなく、車載カメラの実際の使用環境において容易に完成でき、校正結果が正確で、校正効率が高く、適用範囲が広い。
【0033】
可能な一実施形態では、車載カメラの自己校正をオンにすることは、前記車載カメラの画角または焦点距離の変化を検出した場合、前記車載カメラの自己校正をオンにすることを含む。
【0034】
可能な一実施形態では、車載カメラの画角は、車載カメラのレンズ中心点と結像面の対角線の両端とをそれぞれ連結した連結線がなす夾角を含んでもよい。車載カメラの焦点距離は、車載カメラのレンズの光学後側主点から焦点までの距離を含む。車載カメラの画角が車載カメラの焦点距離に反比例する。同じ結像面積について、車載カメラのレンズ焦点距離が短いほど、画角が大きい。
【0035】
車載カメラが撮影した画像を利用して車載カメラの画角または焦点距離が変化したかどうかを検出してもよい。車載カメラのパラメータを取得して、車載カメラの画角または焦点距離が変化したかどうかを確認してもよい。
【0036】
車載カメラの画角または焦点距離が変化した場合、車載カメラが同じ位置の同じ目標物を撮影した画像は異なりになる。従って、車載カメラの画角または焦点距離が変化した場合、車載カメラが正確な位置決め情報などを取得可能になるように、車載カメラの自己校正をオンにして、自己校正する必要がある。
【0037】
本実施例では、車載カメラの画角または焦点距離が変化した場合、前記車載カメラの自己校正をオンにする。このように、車載カメラの画角または焦点距離が変化した場合、車載カメラがタイムリーに自己校正を行うことができる。車載カメラの自己校正は、車両の正常な走行および正常な使用に影響を及ぼすことがない。車載カメラは常に正確な校正状態を維持できる。
【0038】
可能な一実施形態では、車載カメラの自己校正をオンにすることは、前記車載カメラの取付位置および／または撮影角度の変化を検出した場合、前記車載カメラの自己校正をオンにすることを含む。
【0039】
可能な一実施形態では、車載カメラの取付位置は、車載カメラの車両における取付部位を含んでもよい。本開示の実施例では、車載カメラが車両の走行路面を撮影可能な任意の部位に取り付けられてもよい。車載カメラの撮影角度は、車載カメラのレンズ面と水平面とがなす夾角を含んでもよい。必要および使用環境に応じて車載カメラの取付位置および撮影角度を決定してもよい。
【0040】
車載カメラの取付位置および／または撮影角度が変化した場合、車載カメラの使用環境が異なりになると考えられ、改めて車載カメラを自己校正する必要がある。
【0041】
本実施例では、車載カメラの取付位置および／または撮影角度が変化した場合、前記車載カメラの自己校正をオンにする。このように、車載カメラの取付位置および／または撮影角度が変化した場合、車載カメラがタイムリーに自己校正を行うことができる。車載カメラの自己校正プロセスは、車両の正常な走行および正常な使用に影響を及ぼすことがなく、車載カメラは常に正確な校正状態を維持できる。
【0042】
可能な一実施形態では、車載カメラの自己校正をオンにすることは、前記車載カメラが取り付けられている車両の累計走行距離を確認することと、前記累計走行距離が走行距離閾値よりも大きい場合、前記車載カメラの自己校正をオンにすることと、を含む。
【0043】
可能な一実施形態では、車両の累計走行距離が走行距離閾値よりも大きい場合、車載カメラまたは車両の使用環境が大きく変化したと考えられ、車載カメラを自己校正する必要がある。
【0044】
車両の走行距離を読み取ることにより、車両の累計走行距離を確認してもよい。例えば、車両の走行距離の変化がＭキロメートルよりも大きいたびに、車載カメラの自己校正をオンにしてもよい。
【0045】
本実施例では、車両の累計走行距離が走行距離閾値よりも大きい場合、前記車載カメラの自己校正をオンにする。車両が一定時間使用されたら、車両の実用中に振動を生じて車載カメラの撮影角度または取付位置の変化を招くおそれがある。上記のようにすれば、車両の累計走行距離が走行距離閾値よりも大きくなる場合、車載カメラがタイムリーに自己校正を行うことができる。車載カメラの自己校正プロセスは、車両の正常な走行および正常な使用に影響を及ぼすことがなく、車載カメラは常に正確な校正状態を維持できる。
【0046】
可能な一実施形態では、車載カメラの自己校正をオンにすることは、自己校正オン命令に応じて、前記車載カメラの自己校正をオンにすることを含む。
【0047】
可能な一実施形態では、本開示の実施例は、自己校正オン命令を受信した場合、車載カメラの自己校正をオンにしてもよい。受信される自己校正オン命令は、手動で入力される自己校正オン命令であってもよいし、予め設定された実行プログラムにより自動的に送信される自己校正オン命令であってもよい。
【0048】
自己校正オン命令を受信するために、自己校正オン命令の入力方式を提供してもよい。例えば、自己校正オン命令用のボタンを提供し、または提示情報を提供して利用者に自己校正オン命令の入力を指導してもよい。
【0049】
また、自動実行プログラムを設定し、予め設定された実行周期で自己校正オン命令を自動的に送信してもよい。例えば、設定された自動実行プログラムに従い、２０日毎に１回自己校正オン命令を送信する。
【0050】
本実施例では、自己校正オン命令に応じて、前記車載カメラの自己校正をオンにすることができる。使用上の必要に応じてタイムリーに車載カメラの自己校正をオンにすることができる。車載カメラの自己校正を異なる使用環境にタイムリーに適応できる。
【0051】
【0052】
ステップＳ４０、前記車載カメラによる、自己校正に必要な情報の取得の進捗情報を含む取得進捗情報を提供する。
【0053】
可能な一実施形態では、自己校正の結果をより正確にするために、車載カメラが十分な情報を取得する必要がある。取得進捗情報を提供することにより、車両の利用者に車載カメラの取得進捗を提示して、ユーザ体験を改善することができる。
【0054】
音声提示情報、テキスト提示情報または画像提示情報の一つまたは任意の組み合わせによって、取得進捗情報を提供してもよい。自発的に取得進捗情報を提供してもよいし、提示命令に応じて取得進捗情報を提供してもよい。
【0055】
例えば、車両のセンターコンソール画面に進捗バーを表示するように、取得進捗情報を提供してもよい。また、「現在取得進捗は、２０％である」の音声を放送するように、取得進捗情報を提供してもよい。
【0056】
本開示は取得進捗情報の形式および提供方式を限定しない。
【0057】
ステップＳ３０は、前記取得進捗情報に基づいて、自己校正に必要な情報の取得が完成したと確認した場合、取得された情報に基づいて前記車載カメラを自己校正するステップＳ３１を含む。
【0058】
可能な一実施形態では、取得進捗情報は取得の未完成を提示する場合、車載カメラが自己校正に必要な情報を十分に取得するように、車両の利用者は走行状態を維持し続ける必要がある。取得進捗情報は取得の完成を提示する場合、取得された情報に基づいて車載カメラを自己校正することができる。
【0059】
本実施例では、取得進捗情報を提供することで、車載カメラの自己校正プロセスをより明瞭にすることができ、車両の利用者はより容易に車載カメラ自己校正の進捗を把握できる。車載カメラ自己校正の成功率および正確度を向上させることができる。
【0060】
【0061】
ステップＳ５０、前記車載カメラが取得条件を備えるかどうかについての提示情報を含む取得条件提示情報を提供し、前記取得条件は、前記車載カメラが自己校正に必要な情報を取得する条件を含む。
【0062】
可能な一実施形態では、車載カメラは、車載カメラ自己校正の成功率を向上させるために、車載カメラが自己校正に必要な情報を取得する取得条件を満たす必要がある。取得条件提示情報を提供することにより、車両の利用者に車載カメラが取得条件を満たすかどうかを確認するように提示することができる。
【0063】
音声提示情報、テキスト提示情報または画像提示情報の一つまたは任意の組み合わせによって、取得条件提示情報を提供してもよい。自発的に取得条件提示情報を提供してもよいし、提示命令に応じて取得条件提示情報を提供してもよい。
【0064】
例えば、車両のセンターコンソール画面に関連画像またはテキストを表示するように、取得条件提示情報を提供してもよい。また、「現在の撮影視線に遮蔽物があるかどうか？」の音声を放送するように、取得条件提示情報を提供してもよい。
【0065】
本開示は取得条件提示情報の形式および提供方式を限定しない。
【0066】
ステップＳ２０は、前記取得条件提示情報に基づき、前記車載カメラが前記取得条件を備えていると確認した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するステップＳ２１を含む。
【0067】
可能な一実施形態では、取得条件提示情報に基づき、車載カメラが取得条件を備えていないと確認した場合、車両の利用者により車載カメラを調整しまたは環境を変更してから車載カメラを自己校正してもよい。
【0068】
取得条件提示情報に基づき、車載カメラが取得条件を備えていると確認した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得する。
【0069】
本実施例では、取得条件提示情報によって、車載カメラが自己校正に必要でかつ正確な情報を取得可能になり、車載カメラ自己校正の成功率および正確度が向上する。
【0070】
可能な一実施形態では、ステップＳ２０は、前記車載カメラのレンズピッチ角が撮影ピッチ角の範囲内にある場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することを含む。
【0071】
可能な一実施形態では、撮影ピッチ角の範囲は、最小ピッチ角を下限、最大ピッチ角を上限としたピッチ角の集合を含んでもよい。車載カメラの取付位置、撮影角度および使用環境に応じて、撮影ピッチ角の範囲を設定してもよい。
【0072】
車載カメラの撮影ピッチ角が撮影ピッチ角の範囲外にある場合、車載カメラが撮影した画像から自己校正に必要な情報を取得できない、または取得された情報が不完全、不正確で、車載カメラの自己校正に用いられることができない。
【0073】
本実施例では、前記車載カメラの撮影ピッチ角が撮影ピッチ角の範囲内にある場合、車載カメラによって車載カメラの自己校正に必要な情報を取得し、正確な車載カメラ自己校正の結果を得ることができる。
【0074】
可能な一実施形態では、前記情報は前記車両走行道路の車線区画線を含み、ステップＳ２０は、前記車載カメラが前記車両走行道路の車線区画線を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することを含む。
【0075】
可能な一実施形態では、車両の走行中に、車両走行道路上に車線区画線がある。車線区画線は、白色の車線区画線または黄色の車線区画線を含んでもよく、実線または破線を含んでもよく、単一線または二重線を含んでもよい。例えば、車線区画線は白色破線、白色実線、黄色実線、黄色破線、二重白色破線、二重黄色実線などであってもよい。車線区画線は、自動車が走行している路面の路肩であってもよい。車線区画線は、車載カメラが撮影した画像において明確で、形状均一などの特徴を有する。
【0076】
車載カメラによって取得される車載カメラの自己校正に必要な情報が車線区画線である場合、車載カメラが撮影した画像において車線区画線が含まれる必要がある。前記車載カメラが前記車両走行道路の車線区画線を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得する。車載カメラは、取得された情報に基づいて自己校正を行うことができる。
【0077】
本実施例では、前記車載カメラが前記車両走行道路の車線区画線を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得する。車載カメラが車両走行道路の車線区画線を撮影したことが確保されると、取得された車線区画線に基づいて車載カメラを自己校正することができる。これによって、車載カメラの自己校正は適用範囲が広くなり、校正プロセスが簡単かつ確実になる。
【0078】
可能な一実施形態では、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することは、前記車載カメラが前記車両走行道路の地平線または車線区画線の消失点を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することを含む。
【0079】
可能な一実施形態では、車載カメラが前記車両走行道路の地平線または車線区画線の消失点を撮影した場合、車載カメラの前方に遮蔽物がないと確認できる。車載カメラが撮影した車線区画線は完全でかつ鮮明である。完全でかつ鮮明な車線区画線に基づき、車載カメラを正確に自己校正できる。
【0080】
本実施例では、前記車載カメラが前記車両走行道路の地平線または車線区画線の消失点を撮影した場合、車載カメラは、撮影された完全でかつ鮮明な車線区画線に基づき、より正確な車載カメラ自己校正の結果を得ることができる。
【0081】
可能な一実施形態では、ステップＳ２０は、前記車両の走行中に、前記車載カメラによって取得時間範囲内で前記車載カメラの自己校正に必要な情報を取得することを含む。
【0082】
可能な一実施形態では、取得時間範囲は、最小取得時間を下限、最大取得時間を上限とした時間範囲を含んでもよい。車載カメラが自己校正に必要な情報を取得する取得時間が最小取得時間よりも短い場合、取得された情報が車載カメラ自己校正のための計算に十分でない。車載カメラが自己校正に必要な情報を取得する取得時間が最大取得時間を超える場合、最大取得時間を超えた後に車載カメラが取得した情報は、自己校正のための計算に用いられなくてもよい。必要に応じて取得時間範囲を予め設定してもよく、例えば、取得時間範囲は１０～２５分としてもよい。
【0083】
車載カメラの取得時間が取得時間範囲により限定された最大取得時間を超えた場合、システムリソースの浪費を回避するように、車載カメラに自己校正に必要な情報の取得を終止させてもよい。
【0084】
本実施例では、取得時間範囲によって、車載カメラが取得した情報が自己校正のための計算に十分であるとともに、システムリソースの浪費を生じない。
【0085】
可能な一実施形態では、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することは、前記車両の走行中に、車両の走行距離が走行距離範囲内にある場合、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することを含む。
【0086】
可能な一実施形態では、走行距離範囲は、最小走行距離を下限、最大走行距離を上限とした車両の走行距離の範囲を含んでもよい。車両の走行中に、車両の走行した距離が大きいほど、車載カメラの取得した情報が多い。車両の走行距離が最小走行距離よりも小さい場合、車載カメラが取得した情報は、自己校正のための計算に十分でない。車両の走行距離が最大走行距離よりも大きい場合、最大走行距離を超えた後に車載カメラが取得した情報は、自己校正のための計算に用いられなくてもよい。必要、車載カメラの配置および車載カメラの実際の使用環境に応じて、走行距離範囲を決定してもよい。例えば、走行距離範囲は５～８キロメートルとしてもよい。
【0087】
車両の走行距離が走行距離範囲により限定された最大走行距離を超えた場合、システムリソースの浪費を回避するように、車載カメラに自己校正に必要な情報の取得を終止させてもよい。
【0088】
本実施例では、走行距離範囲によって、車載カメラが取得した情報が自己校正のための計算に十分であるとともに、システムリソースの浪費を生じない。
【0089】
【0090】
ステップＳ３２、取得された情報に基づき、前記車載カメラのポーズを反映する前記車載カメラのホモグラフィ行列を更新する。
【0091】
可能な一実施形態では、車載カメラのポーズは、車載カメラの回転パラメータおよび並進パラメータを含んでもよい。車載カメラのポーズに基づき、車載カメラのホモグラフィ行列を構築してもよい。車載カメラのホモグラフィ行列は、車載カメラの変換パラメータまたは変換行列などを含んでもよい。車載カメラのホモグラフィ行列によって、車載カメラが撮影した画像における点について、画像座標系とワールド座標系での座標間の相互変換を行うことができる。
【0092】
車載カメラのホモグラフィ行列の構築プロセスは、車両に配置されているカメラで実の道路画像を撮影し、道路画像における点の集合、実の道路上の対応する点の集合に基づいて、ホモグラフィ行列を構築することを含んでもよい。具体的な方法は以下のことを含んでもよい。１、座標系の確立：車両の左前輪を原点とし、運転者の視野角の右方向をＸ軸の正方向とし、前方向をＹ軸の正方向として、車体座標系を確立する。２、点選択：車両の車体座標系での点を選択し、例えば（０，５）、（０，１０）、（０，１５）、（１．８５，５）、（１．８５，１０）、（１．８５，１５）のような点集合を得て、ここで、各点の単位はメートルである。必要に応じて、距離がより遠い点を選択してもよい。３、マーキング：選択された点を実の道路上でマークし、実の点集合を得る。４、校正：校正用ボードおよび校正プログラムを使用して、実の点集合に対応する撮影画像での画素位置を得る。５、対応の画素位置に基づいてホモグラフィ行列を生成する。
【0093】
車載カメラの初回使用、初回取付または出荷時に、既知画角で車載カメラのホモグラフィ行列を構築してもよい。構築された車載カメラのホモグラフィ行列に基づき、車載カメラが既知画角で撮影した画像における目標物の座標を、既知画角で撮影した画像の画像座標系での座標とワールド座標系での座標との間で相互に変換してもよい。
【0094】
前記車両の走行中に車載カメラによって車載カメラの自己校正に必要な情報を取得した後、取得された情報に基づき、車載カメラのホモグラフィ行列を更新できる。例えば、走行中に車載カメラが撮影した車線区画線に基づき、車載カメラのホモグラフィ行列を更新することができる。
【0095】
更新後の車載カメラのホモグラフィ行列に基づき、車載カメラが走行撮影画角で撮影した画像における目標物の座標を、走行撮影画角で撮影した画像の画像座標系で座標とワールド座標系での座標との間で相互に変換することができる。
【0096】
ステップＳ３３、更新前および更新後の前記車載カメラのホモグラフィ行列に基づいて前記車載カメラを自己校正する。
【0097】
可能な一実施形態では、更新前の車載カメラのホモグラフィ行列は、車載カメラが既知画角で撮影した画像の画像座標系とワールド座標系との変換関係を含んでもよい。更新前の車載カメラのホモグラフィ行列は、車載カメラの既知パラメータまたは既知行列を含んでもよい。
【0098】
更新後の車載カメラのホモグラフィ行列は、車載カメラが走行撮影画角で撮影した画像の画像座標系とワールド座標系との変換関係を含んでもよい。更新後の車載カメラのホモグラフィ行列は、車載カメラの変換パラメータまたは変換行列を含んでもよい。
【0099】
更新前および更新後の前記車載カメラのホモグラフィ行列に基づき、車載カメラが既知画角で撮影した第一画像における目標物の第一画像座標と、車載カメラが走行撮影画角で撮影した第二画像における目標物の第二画像座標とを、相互に変換できる。第一画像座標と第二画像座標との変換関係に基づき、車載カメラを自己校正できる。
【0100】
本実施例では、車載カメラのホモグラフィ行列を更新し、更新前および更新後の車載カメラのホモグラフィ行列に基づき、車載カメラを自己校正する。車載カメラのホモグラフィ行列によって、正確に、高速に車載カメラを自己校正できる。
【0101】
可能な一実施形態では、ステップＳ３２は、前記車載カメラが撮影した画像において車線区画線を検出し、前記車線区画線の検出位置情報を得ることと、前記車線区画線の検出位置情報に基づいて前記車載カメラのホモグラフィ行列を更新することと、を含む。
【0102】
可能な一実施形態では、画像認識技術を利用し、車載カメラが撮影した画像において車線区画線を検出してもよい。車載カメラが撮影した画像をニューラルネットワークに入力し、ニューラルネットワークの出力に基づき、車載カメラが撮影した画像において車線区画線を検出してもよい。
【0103】
車載カメラが撮影した画像は、車両の走行中に、車載カメラが走行撮影画角で撮影した画像を含む。車線区画線の検出位置情報は、走行撮影画角で撮影された画像の画像座標系での車線区画線の位置情報を含む。
【0104】
車線区画線の走行撮影画角で撮影された画像での位置情報に基づき、車載カメラのホモグラフィ行列を更新してもよい。更新後のホモグラフィ行列は、車線区画線の走行撮影画角で撮影された画像での位置情報と、車線区画線の既知画角で撮影された画像での位置情報とを、相互に変換できる。
【0105】
本実施例では、前記車載カメラが撮影した画像において車線区画線を検出した後、車線の検出位置に基づいて車載カメラのホモグラフィ行列を更新する。画像において正確な車線区画線を検出し、正確な車線区画線の検出位置情報を得ることができる。正確な車線区画線の検出位置情報に基づいて正確な更新後のホモグラフィ行列を得ることができ、更新後のホモグラフィ行列を車載カメラの自己校正に用いることにより、正確な自己校正の結果を得ることができる。
【0106】
可能な一実施形態では、ステップＳ３３は以下のステップを含む。
【0107】
ステップＳ３３１、更新前の前記車載カメラのホモグラフィ行列に基づいて前記車線区画線の既知位置情報を得る。
【0108】
可能な一実施形態では、更新前の車載カメラのホモグラフィ行列は、車載カメラの初回使用、初回取付または出荷時に、既知画角で構築された車載カメラのホモグラフィ行列を含んでもよい。構築された車載カメラのホモグラフィ行列に基づき、車載カメラが既知画角で撮影した画像における目標物の座標を、既知画角で撮影した画像の画像座標系での座標とワールド座標系での座標との間で相互に変換できる。
【0109】
更新前のホモグラフィ行列に基づき、既知画角で撮影された画像の画像座標系での車線区画線の位置情報と、ワールド座標系での車線区画線の位置情報とを含む車線区画線の既知位置情報を得ることができる。
【0110】
ステップＳ３３２、前記車線区画線の検出位置情報および前記車線区画線の既知位置情報に基づき、前記車載カメラの校正パラメータを決定する。
【0111】
可能な一実施形態では、車載カメラのパラメータは、内部パラメータおよび外部パラメータを含んでもよい。内部パラメータは、車載カメラの焦点距離、画素サイズなど車載カメラ自体の特性に関するパラメータを含んでもよく、車載カメラ毎に内部パラメータが一意である。外部パラメータは、車載カメラのワールド座標系での位置パラメータおよび回転方向パラメータを含む。車載カメラの校正パラメータは、車載カメラの回転方向パラメータを含んでもよい。校正パラメータを利用して、ワールド座標系と車載カメラが撮影した画像の画像座標系とのマッピング関係を構築できる。校正パラメータに基づくマッピング関係を利用して、目標物の画像座標系での位置情報と、ワールド座標系での位置情報とを相互に変換できる。
【0112】
ワールド座標系での車線区画線の既知位置情報、および車載カメラが既知画角で撮影した画像の画像座標系での車線区画線の既知位置情報に基づき、車載カメラの既知パラメータを得ることができる。さらに、車載カメラの既知パラメータ、および車載カメラの走行撮影画角と既知画角との変換パラメータに基づき、車載カメラの走行撮影画角での校正パラメータを得ることができる。
【0113】
ステップＳ３３３、前記校正パラメータに基づいて前記車載カメラを自己校正する。
【0114】
可能な一実施形態では、校正パラメータに基づいて車載カメラを自己校正した後、車載カメラが走行撮影画角で撮影した画像における対象物の座標情報を、走行撮影画角で撮影した画像の画像座標系での座標情報とワールド座標系での座標情報との間で相互に変換できる。
【0115】
本実施例では、車線区画線の検出位置情報および既知位置情報に基づいて車載カメラの校正パラメータを得て、校正パラメータに基づいて車載カメラを自己校正する。車線区画線に基づいて車載カメラを校正し、それによって車載カメラが自己校正を容易に完成可能になり、校正効率が高く、適用範囲が広い。
【0116】
可能な一実施形態では、前記車載カメラが撮影した画像において車線区画線を検出し、前記車線区画線の検出位置情報を得ることは、前記車載カメラが撮影した画像において車線区画線を検出することと、検出された車線区画線上にキーポイントを決定し、キーポイントの検出座標を得ることと、を含み、前記車線区画線の検出位置情報および前記車線区画線の既知位置情報に基づき、前記車載カメラの校正パラメータを決定することは、前記キーポイントの検出座標および前記キーポイントの既知座標に基づき、前記車載カメラの校正パラメータを決定することを含む。
【0117】
可能な一実施形態では、キーポイントは、車線区画線上の指定位置の点を含んでもよいし、車線区画線上の所定特徴を有する点を含んでもよい。必要に応じて車線区画線上のキーポイントを決定してもよい。車線区画線上のキーポイントは一つ以上としてもよく、必要に応じてキーポイントの数を決定してもよい。
【0118】
キーポイントの検出座標は、車載カメラが走行撮影画角で撮影した画像の画像座標系でのキーポイントの位置情報を含んでもよい。例えば、車線区画線上のキーポイント１の検出座標は（Ｘ1，Ｙ1）であり、キーポイント２の検出座標は（Ｘ2，Ｙ2）である。
【0119】
キーポイントの既知座標は、ワールド座標系でのキーポイントの既知座標、および車載カメラが既知画角で撮影した画像の画像座標系でのキーポイントの既知座標を含む。
【0120】
キーポイントの既知座標および検出座標に基づいて車載カメラの変換パラメータを得、キーポイントの既知座標に基づいて車載カメラの既知パラメータを得、最終的に車載カメラの既知パラメータおよび変換パラメータに基づいて、車載カメラの校正パラメータを得ることができる。
【0121】
本実施例では、キーポイントの検出座標および既知座標に基づいて、車載カメラの校正パラメータを得ることができる。キーポイントの検出座標および既知座標に基づいて校正パラメータを得ることは、計算量が小さい。車載カメラが高速に、正確に自己校正を完成でき、校正効率が高く、適用範囲が広い。
【0122】
可能な一実施形態では、前記車載カメラが撮影した画像において車線区画線を検出し、前記車線区画線の検出位置情報を得ることは、前記車載カメラが撮影した各画像において車線区画線を検出し、各画像におけるフィッティング対象の車線区画線を得ることと、各画像におけるフィッティング対象の車線区画線をフィッティングし、車線区画線および前記車線区画線の検出位置情報を得ることと、を含む。
【0123】
可能な一実施形態では、車載カメラが撮影した複数の画像において車線区画線を検出してもよい。必要に応じて、検出される車線区画線の数および位置を決定してもよい。例えば、車両左側の車線区画線を検出してもよいし、車両右側の車線区画線を検出してもよい。複数車線の路面の場合、車両自体に最も近い左右両側の車線区画線を検出してもよいし、車両右側の二つの車線区画線のみを検出してもよい。
【0124】
車両が路面上を走行している時、車載カメラが撮影した複数の画像において、車線区画線の画像における位置が比較的一定である。各画像においてフィッティング対象の車線区画線を検出し、さらに、複数の画像におけるフィッティング対象の車線区画線をフィッティングして、車線区画線を得て、車線区画線の検出位置情報を得ることができる。
【0125】
検出される車線区画線を車両走行車線の車線区画線に決定した場合、画像において、検出される車線区画線は車両の左側および右側にそれぞれ最も近い二つの車線区画線とする。車載カメラが撮影した複数の画像において検出されたフィッティング対象の車線区画線に基づき、フィッティングによって、車両が走行している車線の左右二つの車線区画線を得て、左右二つの車線区画線の検出位置情報を得ることができる。
【0126】
例えば、車載カメラが撮影した１００枚の画像において検出されるフィッティング対象の車線区画線は、各画像における自動車の最前端から前方５メートル以内の車線区画線とする。１００枚の画像において検出されたフィッティング対象の車線区画線をフィッティングして、車両走行道路の車線区画線を得て、車線区画線の検出位置情報を得ることができる。
【0127】
車線区画線の既知位置情報および検出位置情報に基づき、車載カメラの校正パラメータを得ることができる。
【0128】
本実施例では、複数の画像において検出されたフィッティング対象の車線区画線を利用して車線区画線の検出位置情報を得ることにより、各画像におけるフィッティング対象の車線区画線間に存在し得る位置ずれを除去できる。それによって車載カメラの自己校正の結果はより正確になる。
【0129】
可能な一実施形態では、前記車線区画線は第一車線区画線および第二車線区画線を含み、検出された車線区画線上にキーポイントを決定し、キーポイントの検出座標を得ることは、各画像において検出された第一車線区画線および第二車線区画線に基づき、各画像における第一車線区画線と第二車線区画線との交点を決定することと、各画像における交点に基づいて地平線を決定することと、前記地平線、前記第一車線区画線および前記第二車線区画線に基づいてキーポイントを決定し、前記キーポイントの検出座標を得ることと、を含む。
【0130】
可能な一実施形態では、第一車線区画線および第二車線区画線はそれぞれ車両左側または右側の車線区画線であってもよい。例えば、第一車線区画線は車両に最も近い左側車線区画線、第二車線区画線は車両に最も近い右側車線区画線であってもよい。第一車線区画線と第二車線区画線は実の道路上の平行な二つの線であってもよい。車載カメラが撮影した画像において、第一車線区画線と第二車線区画線が自動車の前方に交点を持ってもよいし、または第一車線区画線の延長線と第二車線区画線の延長線が自動車の前方に交点を持ってもよい。
【0131】
車載カメラが撮影した各画像において、第一車線区画線および第二車線区画線をそれぞれ検出して、各画像における第一車線区画線と第二車線区画線との交点を決定するようにしてもよい。
【0132】
図５は本開示の実施例に係る車載カメラ自己校正方法における交点の模式図を示す。図５に示すように、図５中の座標系は画像座標系であり、第一車線区画線は左車線区画線であり、第二車線区画線は右車線区画線であり、左車線区画線の延長線と右車線区画線の延長線が自動車の前方に交点を持つ。
【0133】
可能な一実施形態では、車両が走行している実の道路上で、第一車線区画線と第二車線区画線は地平線で交わってもよい。従って、各画像における交点に基づき、車両前方の地平線の位置をフィッティングして得ることができる。各画像における交点とフィッティングされた地平線との距離の和が最も小さい。
【0134】
図６は本開示の実施例に係る車載カメラ自己校正方法における地平線の模式図を示す。図６に示すように、図６中の座標系は画像座標系であり、各画像から決定された交点は合計１２個であり、１２個の交点に基づいて地平線を決定してもよい。各交点と決定された地平線との距離の和が最も小さい。
【0135】
可能な一実施形態では、各画像において決定された地平線の位置は比較的一定である。車線区画線が第一車線区画線および第二車線区画線を含む場合、各画像におけるキーポイントの検出位置間の誤差を最小にし、キーポイントの検出位置情報および既知位置情報をより正確にするために、決定された地平線を基準として、第一車線区画線および第二車線区画線上にキーポイントを決定するようにしてもよい。
【0136】
例えば、各画像において、地平線との距離がＭとなるように、第一車線区画線および第二車線区画線上にキーポイント１およびキーポイント２をそれぞれ決定し、地平線との距離がＮとなるように、第一車線区画線および第二車線区画線上にキーポイント３およびキーポイント４をそれぞれ決定するようにしてもよい。ここで、ＭとＮは単位が同じであるが、値が異なる。
【0137】
各画像において、決定されたキーポイントに基づいて各キーポイントの検出座標を得ることができる。各キーポイントの検出座標は、走行撮影画角で撮影された画像の画像座標系での各キーポイントの座標を含む。
【0138】
本実施例では、画像において二つの車線区画線を検出した後、二つの車線区画線に基づいて地平線の位置を得て、地平線の位置に基づいてキーポイントの位置を決定した後、キーポイントの検出座標を得る。地平線に基づいて各画像におけるキーポイントの正確な位置を得ることができ、これによってより正確な校正パラメータが得られる。
【0139】
可能な一実施形態では、前記地平線、前記第一車線区画線および前記第二車線区画線に基づいてキーポイントを決定し、各前記キーポイントの検出座標を得ることは、前記地平線と平行、かつ前記第一車線区画線および前記第二車線区画線とそれぞれ交差する検出線を決定することと、前記検出線と前記第一車線区画線との交点、および前記検出線と前記第二車線区画線との交点をキーポイントとして決定し、各前記キーポイントの検出座標を得ることと、を含む。
【0140】
図７は本開示の実施例に係る車載カメラ自己校正方法におけるキーポイントの模式図を示す。図７に示すように、図中の座標系は画像座標系であり、地平線の下方に地平線と平行な二つの検出線があり、検出線と左車線区画線および右車線区画線との四つの交点がキーポイントとして決定される。
【0141】
可能な一実施形態では、前記キーポイントの検出座標および前記キーポイントの既知座標に基づき、前記車載カメラの校正パラメータを決定することは、走行撮影画角での前記キーポイントの座標を含む前記キーポイントの検出座標、および既知画角での前記キーポイントの座標を含む前記キーポイントの既知座標に基づき、前記カメラの変換パラメータを決定することと、前記変換パラメータおよび既知パラメータに基づき、前記カメラの校正パラメータを決定することと、を含む。
【0142】
可能な一実施形態では、キーポイントの既知座標は、車載カメラが既知画角で撮影した画像の画像座標系でのキーポイントの既知座標を含む。例えば、車載カメラの既知画角Ａの場合、キーポイントの画像での既知座標は（ＸA，ＹA）である。既知画角Ａおよび既知座標（ＸA，ＹA）に基づき、既知画角Ａでの車載カメラの既知パラメータＨAを得ることができる。ここで、既知パラメータＨAは行列形式のパラメータを含んでもよい。既知パラメータＨAは車載カメラの回転方向パラメータを含んでもよい。既知パラメータＨAは、既知画角Ａで撮影した画像におけるキーポイントの画像座標系での座標をワールド座標系での座標へ変換できる。
【0143】
キーポイントの検出座標は、車載カメラが走行撮影画角で撮影した画像の画像座標系でのキーポイントの検出座標を含む。例えば、車載カメラの走行撮影画角Ｂの場合、キーポイントの画像での検出座標は（ＸB，ＹB）である。
【0144】
既知座標（ＸA，ＹA）および検出座標（ＸB，ＹB）に基づき、車載カメラの既知画角Ａから走行撮影画角Ｂへの変換パラメータＨABを得ることができる。変換パラメータＨABは行列形式のパラメータを含んでもよい。変換パラメータＨABは車載カメラの回転方向パラメータを含んでもよい。変換パラメータＨABは、キーポイントの座標を、既知画角Ａで撮影した画像の画像座標系での座標と、走行撮影画角Ｂで撮影した画像の画像座標系での座標との間で相互に変換できる。
【0145】
可能な一実施形態では、変換パラメータＨABおよび既知パラメータＨAに基づき、車載カメラの走行撮影画角Ｂでの検出パラメータＨBを得ることができる。検出パラメータＨBは行列形式のパラメータを含んでもよい。検出パラメータＨBは車載カメラの回転方向パラメータを含んでもよい。検出パラメータＨBは、走行撮影画角Ｂで撮影した画像におけるキーポイントの画像座標系での座標をワールド座標系での座標へ変換できる。検出パラメータＨBは車載カメラの走行撮影画角Ｂでの校正パラメータである。
【0146】
可能な一実施形態では、前記キーポイントの既知座標は、既知画角での、前記キーポイントの画像座標系での座標である第一既知座標、および既知画角での、前記キーポイントのワールド座標系での座標である第二既知座標を含み、前記変換パラメータおよび既知パラメータに基づき、前記車載カメラの校正パラメータを決定することは、前記第一既知座標および前記第二既知座標に基づき、既知パラメータを決定することと、前記変換パラメータおよび前記既知パラメータに基づき、前記カメラの校正パラメータを決定することと、を含んでもよい。
【0147】
可能な一実施形態では、キーポイントの既知座標は、車載カメラが既知画角Ａで撮影した画像の画像座標系でのキーポイントの既知座標（ＸA，ＹA）、およびワールド座標系でのキーポイントの既知ワールド座標（Ｘ，Ｙ，１）を含む。既知座標（ＸA，ＹA）および既知ワールド座標（Ｘ，Ｙ，１）に基づき、車載カメラの既知画角Ａでの既知パラメータＨAを得ることができる。既知パラメータＨAおよび変換パラメータＨABに基づいて、走行撮影画角Ｂでの検出パラメータＨBを得ることができる。
【0148】
本実施例では、車載カメラの既知画角での既知座標および車載カメラの走行撮影画角での検出座標に基づき、車載カメラの校正パラメータを決定し、キーポイントの既知座標および検出座標によって、車載カメラを容易に校正でき、計算プロセスが簡単で、計算結果が正確である。
【0149】
可能な一実施形態では、前記方法は、前記車載カメラの較正パラメータに基づき、透視の原理または三角の原理を利用して前記校正パラメータを較正することをさらに含む。
【0150】
可能な一実施形態では、車載カメラの較正パラメータは、車載カメラの焦点距離および単位画素に基づいて算出された較正パラメータを含んでもよい。車載カメラ毎に焦点距離および単位画素が異なっており、車載カメラ自身のパラメータに基づいて較正パラメータを算出することができる。透視の原理または三角の原理を利用し、車載カメラの変換パラメータをより正確になるように較正してもよい。
【0151】
例えば、ｆは車載カメラの焦点距離（ミリメートル）であり、ｐｍは車載カメラの画素／ミリメートルである。較正のBAは下式である。
ここで、ｋ’は第一較正係数であり、ｋは第二較正係数であり、ｂは第三較正係数である。
【数1】
【0152】
本実施例では、車載カメラ自身の較正パラメータを変換パラメータに反映させる計算プロセスによって、変換パラメータをより正確にし、車載カメラの個体特徴により適応させることができる。
【0153】
本開示の実施例は、自己校正後の車載カメラを車両の運転に用いることを含む車両運転方法をさらに提供する。
【0154】
可能な一実施形態では、車両運転は、車両の自発的運転および車両の運転支援を含んでもよい。自己校正後の車載カメラを用いることにより、車両に正確な位置決め情報を提供し、車両の自発的運転および運転支援をより安全かつ確実にすることができる。
【0155】
車載カメラをセンサとする運転支援システムに校正パラメータを保存し、運転支援の後続の画像処理に有効な校正パラメータを提供する。運転支援システムは、特定の目標物の位置情報に基づいて運転を支援するシステムを含んでもよい。
【0156】
例えば、運転支援システムは、車線維持支援システム、ブレーキ支援システム、自動駐車支援システム、および車両後退支援システムを含んでもよい。そのうち、車線維持支援システムは、車両が走行している車線に基づいて、車両を現在車線内に維持するように運転を支援することができる。ブレーキ支援システムは、設定された目標物との距離に基づき、車両にブレーキ命令を出し、車両と目標物との距離を安全距離内に維持することができる。自動駐車支援システムは、検出された駐車線に基づき、車両をガレージに入庫することができる。車両後退支援システムは、自動車とその後方の障害物との距離に基づき、車両に後退命令を出し、障害物を避けるように車両を後退させることができる。
【0157】
車載カメラの正確な校正パラメータを利用することにより、車両は車載カメラが撮影した画像における目標物の正確な位置情報を得ることができ、運転支援システムは目標物の位置情報に基づき、正確な運転支援命令を取得できる。
【0158】
本実施例では、自己校正後の車載カメラを用いることにより、車両の実際の使用に影響を及ぼすことがなく、車両をより安全に、確実に運転できる。
【0159】
なお、本開示で言及された上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙数に限りがあるので、本開示では説明を省略する。
【0160】
また、本開示は画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体、およびプログラムをさらに提供し、それらはいずれも本開示が提供する画像処理方法のいずれか一つを実現するために用いられることができ、対応する技術的解決手段および説明は方法部分の対応する記載を参照すればよく、ここでは説明を省略する。
【0161】
図８は本開示の実施例に係る車載カメラ自己校正装置のブロック図を示す。図８に示すように、前記車載カメラ自己校正装置は、車載カメラの自己校正をオンにして、前記車載カメラが取り付けられている車両を走行状態にするための自己校正オンモジュール１０と、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための情報取得モジュール２０と、取得された情報に基づいて前記車載カメラを自己校正するための自己校正演算モジュール３０と、を含む。本実施例では、車載カメラの自己校正をオンにした後、車両の走行中に車載カメラが取得した情報に基づき、車載カメラが自己校正を行うことができる。車載カメラの自己校正プロセスは車両の使用を妨げることなく、車載カメラの実際の使用環境において容易に完成でき、校正結果が正確で、校正効率が高く、適用範囲が広い。
【0162】
可能な一実施形態では、前記自己校正オンモジュール１０は、前記車載カメラの画角または焦点距離の変化を検出した場合、前記車載カメラの自己校正をオンにするための第一自己校正オンサブモジュールを含む。それによって車載カメラは常に正確な校正状態を維持できる。
【0163】
可能な一実施形態では、前記自己校正オンモジュール１０は、前記車載カメラの取付位置および／または撮影角度の変化を検出した場合、前記車載カメラの自己校正をオンにするための第二自己校正オンサブモジュールを含む。それによって車載カメラは常に正確な校正状態を維持できる。
【0164】
可能な一実施形態では、前記自己校正オンモジュール１０は、前記車載カメラが取り付けられている車両の累計走行距離を確認し、前記累計走行距離が走行距離閾値よりも大きい場合、前記車載カメラの自己校正をオンにするための第三自己校正オンサブモジュールを含む。それによって車載カメラは常に正確な校正状態を維持できる。
【0165】
可能な一実施形態では、前記自己校正オンモジュール１０は、自己校正オン命令に応じて、前記車載カメラの自己校正をオンにするための第四自己校正オンサブモジュールを含む。それによって使用上の必要に応じて、車載カメラの自己校正を適時オンにすることができる。車載カメラの自己校正は異なる使用環境に適時に適応できる。
【0166】
可能な一実施形態では、前記装置は、前記車載カメラによる、自己校正に必要な情報の取得の進捗情報を含む取得進捗情報を提供するための進捗情報提供モジュールをさらに含み、前記自己校正演算モジュール３０は、前記取得進捗情報に基づいて、自己校正に必要な情報の取得が完成したと確認した場合、取得された情報に基づいて前記車載カメラを自己校正するための第一自己校正演算サブモジュールを含む。取得進捗情報を提供することにより、車両の利用者に車載カメラの取得進捗を提示して、ユーザ体験を改善することができる。
【0167】
可能な一実施形態では、前記装置は、前記車載カメラが取得条件を備えるかどうかについての提示情報を含む取得条件提示情報を提供するためのものであって、前記取得条件は前記車載カメラが自己校正に必要な情報を取得する条件を含む取得条件提示情報をさらに含み、前記情報取得モジュール２０は、前記取得条件提示情報に基づき、前記車載カメラが前記取得条件を備えていると確認した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための第一情報取得サブモジュールを含む。本実施例では、前記車載カメラが前記車両走行道路の車線区画線を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得する。車載カメラが車両走行道路の車線区画線を撮影したことが確保されると、取得された車線区画線に基づいて車載カメラを自己校正できる。それによって車載カメラの自己校正は適用範囲が広くなり、校正プロセスが簡単かつ確実になる。
【0168】
可能な一実施形態では、前記情報取得モジュール２０は、前記車載カメラのレンズピッチ角が撮影ピッチ角の範囲内にある場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための第二情報取得サブモジュールを含む。
【0169】
可能な一実施形態では、前記情報は前記車両走行道路の車線区画線を含み、前記情報取得モジュール２０は、前記車載カメラが前記車両走行道路の車線区画線を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための第三情報取得サブモジュールを含む。
【0170】
可能な一実施形態では、前記情報取得モジュール２０は、前記車載カメラが前記車両走行道路の地平線または車線区画線の消失点を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための第四情報取得サブモジュールを含む。
【0171】
可能な一実施形態では、前記情報取得モジュール２０は、前記車両の走行中に、前記車載カメラによって取得時間範囲内で前記車載カメラの自己校正に必要な情報を取得するための第五情報取得サブモジュールを含む。
【0172】
可能な一実施形態では、前記情報取得モジュール２０は、前記車両の走行中に、車両の走行距離が走行距離範囲内にある場合、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための第六情報取得サブモジュールを含む。
【0173】
可能な一実施形態では、前記自己校正演算モジュール３０は、取得された情報に基づき、前記車載カメラのポーズを反映する前記車載カメラのホモグラフィ行列を更新するためのホモグラフィ行列更新サブモジュールと、更新前および更新後の前記車載カメラのホモグラフィ行列に基づいて前記車載カメラを自己校正するための第二自己校正演算サブモジュールと、を含む。ここで、車載カメラのホモグラフィ行列を更新し、更新前および更新後の車載カメラのホモグラフィ行列に基づき、車載カメラを自己校正する。車載カメラのホモグラフィ行列によって、正確に、高速に車載カメラを自己校正できる。
【0174】
可能な一実施形態では、前記情報は前記車両走行道路の車線区画線を含み、前記ホモグラフィ行列更新サブモジュールは、前記車載カメラが撮影した画像において車線区画線を検出し、前記車線区画線の検出位置情報を得るための車線区画線検出位置情報取得ユニットと、前記車線区画線の検出位置情報に基づいて前記車載カメラのホモグラフィ行列を更新するためのホモグラフィ行列更新ユニットと、を含む。
【0175】
可能な一実施形態では、前記第二自己校正演算サブモジュールは、更新前の前記車載カメラのホモグラフィ行列に基づいて前記車線区画線の既知位置情報を得るための車線区画線既知位置情報取得ユニットと、前記車線区画線の検出位置情報および前記車線区画線の既知位置情報に基づき、前記車載カメラの校正パラメータを決定するための校正パラメータ取得ユニットと、前記校正パラメータに基づいて前記車載カメラを自己校正するための自己校正ユニットと、を含む。
【0176】
可能な一実施形態では、前記車線区画線検出位置情報取得ユニットは、前記車載カメラが撮影した画像において車線区画線を検出することと、検出された車線区画線上にキーポイントを決定し、キーポイントの検出座標を得ることとに用いられ、前記校正パラメータ取得ユニットは、前記キーポイントの検出座標および前記キーポイントの既知座標に基づき、前記車載カメラの校正パラメータを決定するために用いられる。本実施例では、車線区画線の検出位置情報および既知位置情報に基づいて車載カメラの校正パラメータを得て、校正パラメータに基づいて車載カメラを自己校正する。車線区画線に基づいて車載カメラを校正し、それによって車載カメラが容易に自己校正を完成でき、校正効率が高く、適用範囲が広い。
【0177】
可能な一実施形態では、前記車線区画線検出位置情報取得ユニットは、前記車載カメラが撮影した各画像において車線区画線を検出し、各画像におけるフィッティング対象の車線区画線を得ることと、各画像におけるフィッティング対象の車線区画線をフィッティングし、車線区画線および前記車線区画線の検出位置情報を得ることとに用いられる。
【0178】
可能な一実施形態では、前記車線区画線は第一車線区画線および第二車線区画線を含み、検出された車線区画線上にキーポイントを決定し、キーポイントの検出座標を得ることは、各画像において検出された第一車線区画線および第二車線区画線に基づき、各画像における第一車線区画線と第二車線区画線との交点を決定することと、各画像における交点に基づいて地平線を決定することと、前記地平線、前記第一車線区画線および前記第二車線区画線に基づいてキーポイントを決定し、前記キーポイントの検出座標を得ることと、を含む。
【0179】
可能な一実施形態では、前記地平線、前記第一車線区画線および前記第二車線区画線に基づいてキーポイントを決定し、各前記キーポイントの検出座標を得ることは、前記地平線と平行、かつ前記第一車線区画線および前記第二車線区画線とそれぞれ交差する検出線を決定することと、前記検出線と前記第一車線区画線との交点、および前記検出線と前記第二車線区画線との交点をキーポイントとして決定し、各前記キーポイントの検出座標を得ることと、を含む。
【0180】
可能な一実施形態では、前記キーポイントの検出座標および前記キーポイントの既知座標に基づき、前記車載カメラの校正パラメータを決定することは、走行撮影画角での前記キーポイントの座標を含む前記キーポイントの検出座標、および既知画角での前記キーポイントの座標を含む前記キーポイントの既知座標に基づき、前記カメラの変換パラメータを決定することと、前記変換パラメータおよび既知パラメータに基づき、前記カメラの校正パラメータを決定することと、を含む。
【0181】
可能な一実施形態では、前記キーポイントの既知座標は、既知画角での、前記キーポイントの画像座標系での座標である第一既知座標、および既知画角での、前記キーポイントのワールド座標系での座標である第二既知座標を含み、前記変換パラメータおよび既知パラメータに基づき、前記カメラの校正パラメータを決定することは、前記第一既知座標および前記第二既知座標に基づき、既知パラメータを決定することと、前記変換パラメータおよび前記既知パラメータに基づき、前記カメラの校正パラメータを決定することと、を含む。
【0182】
可能な一実施形態では、前記装置は、前記車載カメラの較正パラメータに基づき、透視の原理または三角の原理を利用して前記校正パラメータを較正するための較正モジュールをさらに含む。
【0183】
可能な一実施形態では、前記車両は、自動車、軽車両、列車、車おもちゃ、およびロボットの一つまたは任意の組み合わせを含む。
【0184】
本開示が提供する車載カメラ自己校正装置の実施例の動作プロセスおよび設定方式のいずれも、本開示の上記の対応する方法の実施例の具体的な説明を参照すればよく、紙数に限りがあるので、ここでは説明を省略する。
【0185】
本開示の実施例はさらに、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサにより実行されると、上記方法の実施例のいずれか一つを実現させるコンピュータ読み取り可能な記憶媒体を提供する。コンピュータ読み取り可能な記憶媒体は、非揮発性コンピュータ読み取り可能な記憶媒体または揮発性コンピュータ読み取り可能な記憶媒体であってもよい。
【0186】
本開示の実施例はさらに、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリとを含み、前記プロセッサは、前記実行可能な命令を呼び出すことにより、本開示の方法の実施例のいずれか一つを実現する電子機器を提供する。具体的な動作プロセスおよび設定方式のいずれも、本開示の上記の対応する方法の実施例の具体的な説明を参照すればよく、紙数に限りがあるので、ここでは説明を省略する。
【0187】
図９は本開示の例示的な実施例に係る電子機器のブロック図を示す。電子機器は端末、サーバまたは他の形態の装置として提供されてもよい。例えば、電子機器は車載カメラ自己校正装置を含んでもよく、車載カメラ自己校正装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどの端末であってもよい。
【0188】
図９を参照すると、装置８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
【0189】
処理コンポーネント８０２は通常、装置８００の全体的な動作、例えば表示、電話呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、命令を実行して上記方法の全てまたは一部のステップを実行するための一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
【0190】
メモリ８０４は、装置８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、装置８００において運用するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどのあらゆるタイプの揮発性または非揮発性記憶装置、またはそれらの組み合わせによって実現できる。
【0191】
電源コンポーネント８０６は装置８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および装置８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
【0192】
マルチメディアコンポーネント８０８は、前記装置８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するように、タッチスクリーンとして実現されてもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサは、タッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は一つの前面カメラおよび／または後面カメラを含む。装置８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
【0193】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、マイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は装置８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【0194】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
【0195】
センサコンポーネント８１４は装置８００の各面での状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は装置８００のオン／オフ状態、例えば装置８００の表示装置およびキーパッドであるコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、装置８００または装置８００のあるコンポーネントの位置の変化、ユーザと装置８００との接触の有無、装置８００の方位または加減速および装置８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤ画像センサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
【0196】
通信コンポーネント８１６は装置８００と他の装置との間の有線または無線通信を実現するように配置される。装置８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標／ＢＴ）技術および他の技術によって実現できる。
【0197】
例示的な実施例では、装置８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
【0198】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は装置８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
【0199】
図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能な命令を含む。いくつかの代替としての実施形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定された機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
【0200】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書における用語は、各実施例の原理、実際の適用または従来技術に対する技術的改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるために選ばれたものである。
【0201】
本願は２０１８年０６月０５日に中国特許局に提出された、出願番号２０１８１０５７８７３６．５、発明の名称「車載カメラ自己校正方法と装置、および車両運転方法と装置」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】