特許 6902899 レーン線認識装置およびレーン線認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6902899

(24)【登録日】2021年6月24日

(45)【発行日】2021年7月14日

(54)【発明の名称】レーン線認識装置およびレーン線認識プログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20210701BHJP

   G06T 7/543 20170101ALI20210701BHJP

   G06T 1/00 20060101ALI20210701BHJP

   G06T 7/00 20170101ALI20210701BHJP

   G06T 7/70 20170101ALI20210701BHJP

   G08G 1/16 20060101ALI20210701BHJP

【ＦＩ】

   G06T7/60 200J

   G06T7/543

   G06T1/00 330A

   G06T7/00 650A

   G06T7/70 B

   G08G1/16 C

【請求項の数】8

【全頁数】19

(21)【出願番号】特願2017-68673(P2017-68673)

(22)【出願日】2017年3月30日

(65)【公開番号】特開2018-169947(P2018-169947A)

(43)【公開日】2018年11月1日

【審査請求日】2020年1月10日

(73)【特許権者】

【識別番号】000233295

【氏名又は名称】株式会社日立情報通信エンジニアリング

(74)【代理人】

【識別番号】110000442

【氏名又は名称】特許業務法人 武和国際特許事務所

(72)【発明者】

【氏名】山田 喬

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 特開２０１６−１２２３２０（ＪＰ，Ａ）

【文献】 特開２００４−２４６６４１（ＪＰ，Ａ）

【文献】 特開２０１６−２０６８８１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／６０

Ｇ０６Ｔ ７／５４３

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両に搭載されたレーン線認識装置であって、
前記車両に搭載された単眼の車載カメラが撮像した画像データを取得する画像取得部と、
前記画像データを所定の境界により分割した分割領域に係る画像である分割領域画像から処理対象画像を生成する処理対象画像生成部と、
前記処理対象画像のそれぞれにおいて、当該処理対象画像に含まれる特徴画素を抽出し、当該特徴画素を要素とする特徴画素集合を生成する特徴抽出部と、
直線状のレーン線の画像であって前記処理対象画像に含まれるレーン線画像から、当該レーン線画像に含まれる単線のレーン線の内側直線成分と、前記単線のレーン線の外側直線成分とを前記特徴画素集合に基づいて算出する直線算出部と、
前記単線のレーン線の内側直線成分から求まる内側直線及び前記単線のレーン線の外側直線成分から求まる外側直線の交点座標からなる消失点の座標を算出し、前記消失点の座標から前記単線のレーン線に対する前記車載カメラのパン角及びチルト角を求め、当該パン角及びチルト角を用いて前記車載カメラにおけるレンズ主点と前記レーン線との距離を算出する測距部と、
前記距離を外部の装置に出力する結果出力部と、を有する、
ことを特徴とするレーン線認識装置。

【請求項2】

前記画像データは、前記車載カメラが撮像した車両前方の画像である、請求項１記載のレーン線認識装置。

【請求項3】

前記処理対象画像生成部は、前記画像データの上下方向の中心付近よりも下方向の領域を、前記画像データの左右方向の中心付近を境界とする左右のチャネルに分割して前記分割領域画像を生成し、
前記分割領域画像における遠近方向に沿って、設定済みのレーン線の最小長ごとにさらに前記分割領域画像を分割したラインブロックを生成し、当該ラインブロックを用いて前記処理対象画像を生成する、
請求項１または２記載のレーン線認識装置。

【請求項4】

前記特徴抽出部は、前記ラインブロックごとの輝度ヒストグラムの解析により得られる前記レーン線の候補となる画素に対する二次元スキャンにより前記特徴画素を抽出する、請求項３記載のレーン線認識装置。

【請求項5】

前記直線算出部は、前記特徴画素集合に基づいて前記内側直線成分を算出し、当該内側直線成分に基づいて前記外側直線成分を算出する、請求項１乃至４のいずれか一項に記載のレーン線認識装置。

【請求項6】

前記測距部は、前記レーン線の検出結果から前記画像データの入力元である前記車載カメラにおける画像取得条件を推定する、請求項１乃至５のいずれか一項に記載のレーン線認識装置。

【請求項7】

前記画像取得部は、前記画像データを時系列に沿って順次取得し、前記結果出力部は、前記レーン線の前記距離を前記画像データの時系列に沿って出力する、請求項１乃至６のいずれか一項に記載のレーン線認識装置。

【請求項8】

車両に搭載されたレーン線認識装置に備えられたコンピュータにおいて、
前記車両に搭載された単眼の車載カメラが撮像した画像データを取得する画像取得ステップと、
前記画像データを所定の境界により分割した分割領域に係る画像である分割領域画像から処理対象画像を生成する処理対象画像生成ステップと、
前記処理対象画像のそれぞれにおいて、当該処理対象画像に含まれる特徴画素を抽出し、当該特徴画素を要素とする特徴画素集合を生成する特徴抽出ステップと、
直線状のレーン線の画像であって前記処理対象画像に含まれるレーン線画像から、当該レーン線画像に含まれる単線のレーン線の内側直線成分と、前記単線のレーン線の外側直線成分とを前記特徴画素集合に基づいて算出する直線算出ステップと、
前記単線のレーン線の内側直線成分から求まる内側直線及び前記単線のレーン線の外側直線成分から求まる外側直線の交点座標からなる消失点の座標を算出し、前記消失点の座標から前記単線のレーン線に対する前記車載カメラのパン角及びチルト角を求め、当該パン角及びチルト角を用いて前記車載カメラにおけるレンズ主点と前記レーン線との距離を算出する測距ステップと、
前記距離を外部の装置に出力する結果出力ステップと、を実行させることを特徴とするレーン線認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両の車線を示す道路白線等のレーン線を認識するレーン線認識装置およびレーン線認識プログラムに関する。

【背景技術】

【0002】

近年のＩＴＳの普及に伴い、車両に搭載されたカメラにより取得される画像を用いて、自車両の車線の路面標示を認識し、車両の自動制御（一部自動制御を含む）に用いる情報を得る技術が開示されている（特許文献１乃至５を参照）。

【0003】

特許文献１には、自車両の前方の画像を近い近距離領域と遠い遠距離領域に分けた各領域に対し、白線の持つエッジ特性を抽出するフィルタを適用して特徴点を取得し、白線の線分座標を算出する画像検出方法等が開示されている。

【0004】

特許文献２には、走行レーン内の白線の認識の精度向上を図ることを目的とし、画像の輝度ヒストグラム特性とエッジ特性を組み合わせて、白線の線分座標を算出する画像検出方法等が開示されている。

【0005】

特許文献３には、車載の単眼カメラによる画像検出結果を用いて、ターゲットである前方車両までの距離を推定する測距方法等が開示されている。

【0006】

特許文献４には、車載のステレオカメラを用いて、ターゲットである任意の周辺物体までの距離を推定する測距方法等が開示されている。

【0007】

特許文献５には、車載の単眼カメラによる画像検出結果を用いて、車両の姿勢を推定する方法等が開示されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開平９−７３５４５号公報

【特許文献2】特開２００７−２５７２４２号公報

【特許文献3】特開２００５−１５６１９９号公報

【特許文献4】特開２００８−２１６１７７号公報

【特許文献5】特開平８−１５９７１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

特許文献１に開示されている技術は、画像による白線の検出において、晴天などの視界良好な環境を前提とする。したがって、雨天や夜間などの視界不良な環境では検出精度が不十分である、という課題を有する。

【0010】

特許文献２に開示されている技術は、夜間などの視界不良環境にも適応するとしているが、画質依存の多数のパラメータを設定する必要がある。したがって、実用性が低い、という課題を有する。

【0011】

特許文献３に開示されている技術は、単眼カメラにより取得した画像を用いて物体までの距離を測定するものであるが、対象物体の実寸が既知である必要があり、実用性が低い、という課題を有する。また、測距精度を補うためにミリ波レーダなど他センサと併用することになる。したがって、設計コストおよび生産コストが高くなる、という課題も有する。

【0012】

特許文献４に開示されている技術は、ステレオカメラにより取得した画像を用いて物体までの距離を測定するものであるが、事前のカメラキャリブレーションに加え、ステレオマッチングなども必要とする。また、一般的にステレオカメラは単眼カメラよりカメラ本体が高価である。したがって、車載システムに求められる処理の迅速性を確保するために計算コストが多くなり、また、生産コストが高くなる、という課題を有する。

【0013】

以上説明した種々の技術は、特に車載カメラを用いて取得した画像を用いて車両前方の物体までの距離を精度よく測定するために必須となる要素のうち、本来は経時的に変化する車載カメラの外部パラメータを固定値として設定することになる。特許文献５に開示されている技術は、これを可変値として推定しているが、これには複数のレーン線が必要であり、世の中に多く存在するレーン線一本のみの道路には適用できない。レーン線二本の一般的な道路でも、片方の検出に失敗してしまうと前記同様に適用できない。この点において、従来の技術では、車載システムによる測距精度の安定性および融通性を向上させることについて課題が存在する。

【0014】

本発明は、車両前方の道路標示の検出の迅速性を確保しつつ、検出精度の向上と、レーン線一本のみで前記の外部パラメータ（車載カメラの姿勢）を常時的（オンライン）に推定することで測距精度の安定性および融通性を高めるレーン線認識装置およびレーン線認識方法を提供することを目的とする。

【課題を解決するための手段】

【0015】

上記課題を解決するために、本発明の一態様は、車両に搭載されたレーン線認識装置であって、前記車両に搭載された単眼の車載カメラが撮像した画像データを取得する画像取得部と、前記画像データを所定の境界により分割した分割領域に係る画像である分割領域画像から処理対象画像を生成する処理対象画像生成部と、前記処理対象画像のそれぞれにおいて、当該処理対象画像に含まれる特徴画素を抽出し、当該特徴画素を要素とする特徴画素集合を生成する特徴抽出部と、直線状のレーン線の画像であって前記処理対象画像に含まれるレーン線画像から、当該レーン線画像に含まれる単線のレーン線の内側直線成分と、前記単線のレーン線の外側直線成分とを前記特徴画素集合に基づいて算出する直線算出部と、前記単線のレーン線の内側直線成分から求まる内側直線及び前記単線のレーン線の外側直線成分から求まる外側直線の交点座標からなる消失点を算出し、前記消失点の座標から前記単線のレーン線に対する前記車載カメラのパン角及びチルト角を求め、当該パン角及びチルト角を用いて前記車載カメラにおけるレンズ主点と前記レーン線との距離を算出する測距部と、前記距離を外部の装置に出力する結果出力部と、を有することを特徴とする。

【発明の効果】

【0016】

本発明によれば、車両前方のレーン線の検出の迅速性を確保しつつ、検出精度の向上と、測距精度の安定性および融通性を高めることができる。なお、上述した以外の目的や構成、効果については以下の説明で明らかにされる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態に係るレーン線認識装置の使用態様を説明する概要図。

【図2】本実施形態に係るレーン線認識装置のハードウェア構成を示す図。

【図3】本実施形態に係るレーン線認識装置の機能構成を示す図。

【図4】本実施形態に係るレーン線認識装置における処置対象画像の例を示す図。

【図5】本実施形態に係るエッジ画像の例を示す図。

【図6】本実施形態に係る二値画像の例を示す図。

【図7】本実施形態に係る輝度ヒストグラムの例を示す図。

【図8】本実施形態に係るエッジ二値画像の例を示す図。

【図9】本実施形態に係るＸ次元の特徴画素抽出の例を示す図。

【図10】本実施形態に係るＹ次元の特徴画素抽出の例を示す図。

【図11】本実施形態に係る直線算出の例を示す図。

【図12】本実施形態に係る画像検出結果と測距の関係を示す図。

【図13】本実施形態に係る測距における座標系を示す図。

【図14】ピンホールカメラの構造を示す図。

【図15】本実施形態に係るレーン線認識処理を示すフローチャート。

【発明を実施するための形態】

【0018】

以下、本発明に係るレーン線認識装置の実施形態について図面を参照しながら説明する。以下の説明において、レーン線とは、車両通行帯境界線、車両通行最外側線など、自車両の車線を示す白線または黄色線のことである。

【0019】

［レーン線認識装置の概要］
まず、本発明に係るレーン線認識装置の使用態様について説明する。図１は、本発明に係るレーン線認識装置の実施形態であって、自車両からレーン線までの距離を測定するレーン線認識装置１００の使用態様を示す概要図である。図１に示すとおりレーン線認識装置１００は、車両１０００に搭載されて用いられる。レーン線認識装置１００は、車両前方（車両１０００の室内前方）に設置されたカメラ２００により取得された画像を解析し、当該画像に含まれているレーン線を検出し、車両１０００とレーン線との距離を算出する。以下、距離の測定について単に”測距“と表記する。カメラ２００は、車両１０００の室内の、例えばバックミラーの周辺に設置される車載カメラであり、車両１０００の前方の画像を取得できるように動作する画像取得装置である。レーン線認識装置１００は、車両１０００の室内の任意の場所に設置され、カメラ２００において取得されて出力される画像を入力として取り込むことができるようにカメラ２００と接続されている。

【0020】

［レーン線認識装置１００のハードウェア構成例］
次に、レーン線認識装置１００のハードウェア構成について図２を用いて説明する。図２に示すように、レーン線認識装置１００は、少なくとも、マイクロコンピュータ１１０と、メモリ１２０と、備える情報処理装置である。マイクロコンピュータ１１０は、カメラ２００から入力される画像上での「レーン線の検出」および、前記検出結果を用いた「レーン線までの測距」のための演算処理を実行する。メモリ１２０は、マイクロコンピュータ１１０において実行されるプログラムやデータを記憶し、当該プログラムによる演算処理等のワークエリアとしても機能する。また、レーン線認識装置１００は、演算処理の結果に基づいて、車両１０００を制御する車両制御部３００、警報を出力する警報部４００と、演算処理の結果を表示する結果表示部５００などの上位ブロックに対して、所定のデータを出力するように構成されている。

【0021】

マイクロコンピュータ１１０は、カメラ２００から入力される画像上でのレーン線を検出する演算処理および、レーン線までの測距をする演算処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む構成を有する。メモリ１２０は、マイクロコンピュータ１１０における演算処理を実行するためのコンピュータプログラムを記憶する不揮発性のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や、演算処理のワークエリアとして利用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、およびキャッシュメモリなどを含む構成を有する。以下の説明は、本発明の主要点であるマイクロコンピュータ１１０により実現される処理機能の構成および処理内容に重点をおくものとする。

【0022】

［レーン線認識装置１００の機能構成例］
図３は、本実施形態に係るレーン線認識装置１００において、上記で説明したハードウェアと後述する制御プログラムとの協働において実現される機能ブロックを示す図である。図３に示すように、制御プログラムに含まれるレーン線認識部１０はマイクロコンピュータ１１０において実現される演算処理機能であって、画像取得部１１、前処理部１２、ノイズ除去画像二値化部１３、エッジ画像二値化部１４、特徴抽出部１５、直線算出部１６、測距部１７、結果出力部１８、をさらに含む。また、上記の各部の処理によって生成される各種データをメモリ１２０に記憶し、また、所定の処理により当該各種データを読み出すために記憶部２１を有する。

【0023】

＜画像取得部１１＞
画像取得部１１は、車両１０００の前方の画像データをカメラ２００から取得し、記憶部２１に格納する。画像取得部１１において記憶部２１に格納される画像データは、後段の処理における処理対象データとしての元データになる。

【0024】

＜前処理部１２＞
前処理部１２は、元データを図４に示す元画像２１０のように複数の画像領域に分割した分割領域に係る画像を分割領域画像とする。すなわち、分割領域画像毎にノイズ除去処理やエッジ抽出処理を行う。前処理部１２におけるノイズ除去処理や、エッジ抽出処理は、周知の画像処理を組み合わせたものである。ノイズ除去処理やエッジ抽出処理により得られる画像データは、記憶部２１に適宜記憶される。なお、図４は便宜上、境界線を白色の破線で明示しているが、実際の元画像２１０に、このような破線が含まれるわけではない。

【0025】

＜ノイズ除去画像二値化部１３＞
ノイズ除去画像二値化部１３は、前処理部１２において得られるノイズ除去画像を記憶部２１から読み出して、レーン線らしい部分を示す画素のみを抽出するための二値化処理を実行し、得られたノイズ除去二値化画像２３０を記憶部２１に記憶する。なお、ノイズ除去二値化画像２３０の詳細については後述する。

【0026】

＜エッジ画像二値化部１４＞
エッジ画像二値化部１４は、前処理部１２において記憶部２１に記憶されたエッジ画像２２０を読み出して、ノイズ除去画像二値化部１３と同様の処理を行う。なお、エッジ画像２２０の詳細については後述する。エッジ画像二値化部において分割領域画像のそれぞれから生成あれる画像を処理対象画像とする。前処理部１２、ノイズ除去画像二値化部１３およびエッジ画像二値化部１４によって処理対象画像生成部が構成される。

【0027】

＜特徴抽出部１５＞
特徴抽出部１５は、エッジ画像二値化部１４において記憶部２１に記憶されたエッジ二値画像を読み出して、その有効画素からレーン線を構成する主要な画素を特徴画素として抽出し、記憶部２１に記憶する。

【0028】

＜直線算出部１６＞
直線算出部１６は、特徴抽出部１５において得られた特徴画素に基づいて、この特徴画素を通る直線を算出し、記憶部２１に記憶する。直線算出部１６において実行される直線算出処理は、例えば、周知の画像処理技術の一種であるハフ（Ｈｏｕｇｈ）変換などを利用すればよい。

【0029】

＜測距部１７＞
測距部１７は、直線算出部１６における回帰分析により得られた直線に対するカメラ２００の主点からの距離を推定し、推定した距離を記憶部２１に記憶する。

【0030】

＜結果出力部１８＞
結果出力部１８は、直線算出部１６において得られた画像検出結果（レーン線の画像）や測距部１７において得られた測距結果を、後述するシステム検出における上位ブロックに出力する。

【0031】

［レーン線認識処理の実施形態］
次に、上記の機能ブロックにより実行される本発明に係るレーン線認識方法の実施形態について、より詳細に説明をする。図１５は、本実施形態に係るレーン線認識処理の流れを示すフローチャートである。

【0032】

≪画像取得処理≫
まず、画像取得部１１において、カメラ２００からの元画像２１０を１フレーム分取得して記憶部２１に記憶する画像取得処理が実行される（Ｓ１５０１）。カメラ２００からは連続的に元画像２１０を取得できる。以下において説明する各処理は、１フレーム分の元画像２１０に対して各々実行される処理である。即ち、元画像２１０はカメラ２００において取得される連続画像のうち、１フレーム分の画像に相当するものである。

【0033】

≪前処理：ベース画像生成処理≫
続いて前処理部１２において、Ｓ１５０１において記憶された元画像２１０を記憶部２１から読み出して、後段の処理における処理の対象となるベース画像を生成するベース画像生成処理を実行する（Ｓ１５０２）。図４に元画像２１０およびベース画像の例を示す。なお、以下、本実施形態の説明に用いる座標軸は、図４において示す座標軸と同じものである。当該座標軸は、車両１０００の前方の画像である元画像２１０において、車両の幅方向をＸ軸、車両の高さ方向をＹ軸、車両１０００の進行方向に向かって左上の端点を元画像２１０の原点とする。

【0034】

ベース画像は、元画像２１０を所定の領域に分割した分割領域画像のそれぞれをいう。ベース画像を生成するための元画像２１０の分割の仕方は、例えば、図４に示す様に、＋Ｘ方向の中点付近を境界にした左右のチャネルと、−Ｙ方向における任意の位置を上限とした下側の領域において下限との間の任意の位置を境界にした上下のエリアと、において分ける。本実施形態における測距対象であるレーン線は、元画像２１０の全体における下半分の領域に存在する。そこで、元画像２１０のＹ方向下側の画像領域のみをベース画像として扱うようにすればよい。

【0035】

生成された４つのベース画像をそれぞれ、左下側領域を第１ベース画像領域２１１、右下側領域を第２ベース画像領域２１２、左上側領域を第３ベース画像領域２１３、右上側領域を第４ベース画像領域２１４、とする。以降の処理は、これらベース画像ごとに実行される。

【0036】

ベース画像生成処理（Ｓ１５０２）において元画像２１０から生成された各ベース画像は記憶部２１に記憶される。なお、車両１０００に最も近い部分の白線（レーン線）を検出して車両１０００の位置の推定精度を向上させるために、ベース画像の生成に用いる所定値Ｙ１は、車両１０００に対してできるだけ手前に設定すればよい。また、所定値Ｙ２は任意でよく、所定値Ｙ３は所定値Ｙ２に隣接する値であり、所定値Ｙ４は下段領域幅（Ｙ２−Ｙ１）と上段領域幅（Ｙ４−Ｙ３）が同じになる値に設定すればよい。

【0037】

≪前処理：ノイズ除去処理≫
続いて、前処理部１２において、ベース画像を記憶部２１から読み出し、メディアンフィルタ等を用いたノイズ除去処理を実行してノイズ除去画像を生成し、当該ノイズ除去画像を記憶部２１に記憶する処理を実行する（Ｓ１５０３）。

【0038】

また、続いて、前処理部１２において、Ｓ１５０３において生成されたノイズ除去画像に対して、Ｘ方向エッジとＹ方向エッジを抽出する２種類のソーベルフィルタを用いたフィルタリング処理を実行する。このフィルタリング結果を加算して、図５に示すようなエッジ画像２２０を生成するによりエッジ画像生成処理を実行する（Ｓ１５０４）。生成されたエッジ画像２２０は、記憶部２１に記憶される。

【0039】

≪二値化画像生成処理≫
続いて、ノイズ除去画像二値化部１３において、ノイズ除去画像を記憶部２１から読み出して、レーン線らしい部分を示す画素のみを抽出したノイズ除去二値化画像２３０を生成するノイズ除去二値化画像生成処理を実行する（Ｓ１５０５）。具体的には図６に示すように、各ベース画像領域の画像であるノイズ除去画像を、Ｙ方向に関して新たに設けるレーン線の最小長に関する所定値Ｌｍｉｎごとにさらに分割してラインブロック２３１を形成させる。そして、ラインブロック２３１ごとに、輝度ヒストグラムを生成してレーン線に相当する画素の輝度とアスファルトに相当する画素の輝度を推定する。これによって、対象領域の各画素を二値化する。

【0040】

なお、Ｓ１５０５において用いられる輝度ヒストグラムは、例えば、図７に例示するようなものである。図７に示すヒストグラム７００は、新たに設けるヒストグラム分解能に関する所定値Ｒに従ってＮｈ個の輝度範囲（以下、ビンとする。）を用意し、処理対象領域であるラインブロック２３１に含まれる各画素の輝度に該当する各ビンのスコア（以下、頻度とする。）を１ずつ加算することで生成される。この場合、輝度上限値をＶｍａｘとすると、ビン数Ｎｈは、以下の式（１）で表される。

【0041】

【数1】

【0042】

なお、式（１）の右辺における［Ｖｍａｘ／Ｒ］は、“Ｖｍａｘ／Ｒ”を超えない最大の整数を指す。また、ビンｎ（ｎ＝０，．．．，Ｎｈ−１）の頻度は、ｎ＊Ｒ〜（ｎ＋１）＊Ｒ−１の輝度範囲にある画素数を示す。

【0043】

上記のヒストグラム７００を生成した後、まず、アスファルトの輝度を推定する処理を実行する。一般に、アスファルトは対象領域の大半を占める。したがって、ヒストグラム７００における最大頻度を持つビンはアスファルトに起因するものである。そこで、最大頻度を持つビンＮａが示す輝度範囲の中央値を、アスファルトの輝度Ｖａとして推定する。

【0044】

アスファルトの輝度Ｖａが推定された後、続けて、レーン線の輝度を推定する処理を実行する。一般に、レーン線の輝度は対象領域において相対的に高く、アスファルトの輝度よりも高い。したがって、最高位のビンＮｈ−１を始点、アスファルトのビンＮａに隣接するビンＮａ＋１を終点として、以下の式（２）をはじめて満たし、所定値Ｈｗｌ以上かつ単調減少の頻度を持つビンｎを、レーン線のビンＮｗｌとする。

【0045】

【数2】

【0046】

Ｈ［ｎ］は、ビンｎが持つ頻度を指す。また、Ｈｗｌは式（３）のように表され、設定済みのレーン線の最小長に関する所定値Ｌｍｉｎと新たに設けるレーン線の最小幅に関する所定値Ｗｍｉｎを積算した、レーン線の最小面積（画素数）に相当するものを使用する。これを適用することで、レーン線に類似したノイズの影響を排除することができる。

【0047】

【数3】

【0048】

前記方法にてレーン線のビンＮｗｌが検出されない場合は、式（３）における積算を加算に変えて、所定値Ｈｗｌを新たに設定して再度探索を実行する。それでもなお、レーン線のビンＮｗｌが検出されない場合は、式（２）の単調減少に関する制約を取り除いて、前記２パターンの方法で順に再探索する。

【0049】

レーン線のビンＮｗｌが検出された場合は、当該輝度範囲の中央値をレーン線の輝度Ｖｗｌとする。そして、以下の式（４）に示すように、レーン線の輝度Ｖｗｌと推定済みのアスファルトの輝度Ｖａとの中央値をとることで、両者を分離する閾値ＴＨｂを算出する。

【0050】

【数4】

【0051】

この閾値ＴＨｂを用いて対象領域であるラインブロック２３１を二値化する。これによって、閾値ＴＨｂ以上の輝度を持つ画素のみを有効画素としたノイズ除去二値化画像２３０が生成される（図６参照）。このノイズ除去二値化画像２３０は記憶部２１に記憶される。なお、レーン線に相当するビンが検出されなかった場合は、全て無効画素とした同画像を生成する。

【0052】

続いて、エッジ画像二値化部１４において、エッジ画像２２０を記憶部２１から読み出して、Ｓ１５０５と同様の画像処理によるエッジ二値化画像生成処理が実行される（Ｓ１５０６）。具体的には、ノイズ除去画像（輝度）に代えてエッジ画像（エッジ強度）を対象とし、エッジ強度ヒストグラムＨの生成から二値化までを行い、図８に示すようなエッジ二値化画像２４０を生成して、記憶部２１に記憶する。

【0053】

Ｓ１５０６において、エッジ画像二値化部１４は、ノイズ除去画像二値化部１３において生成されたノイズ除去二値化画像２３０において有効画素となっている画素のみを処理対象とする。これにより、エッジ画像二値化部１４での最大頻度を持つビンは、レーン線に相当する領域に起因するものとなる。なお、レーン線のビンＮｗｌの頻度に関する所定値Ｈｗｌは、式（５）で表されるように、設定済みのレーン線の最小長に関する所定値Ｌｍｉｎを２倍した、レーン線のエッジ最小周囲長に相当するものを使用する。

【0054】

【数5】

【0055】

レーン線のビンＮｗｌが検出されなかった場合は、式（５）における係数を２から１にし（２倍を１倍にし）、所定値Ｈｗｌを新たに設定し、エッジ画像二値化部１４における処理と同様に再探索する。

【0056】

＜ラインブロック分割による効果＞
以上の処理により、例えば、雨天時に対向車のヘッドライトの路面反射などによって、レーン線と同等以上の輝度を持つノイズが特定のラインブロック２３１に含まれたとしても、他のラインブロック２３１の処理には影響がなく、白線であるレーン線の輝度を精度良く識別できるようになる。

【0057】

≪特徴画素抽出処理≫
続いて、特徴抽出部１５において、Ｓ１５０６において得られたエッジ二値化画像２４０を記憶部２１から読み出して、エッジ二値化画像２４０の有効画素からレーン線を構成する主要な画素を特徴画素として抽出する処理を実行する（Ｓ１５０７）。

【0058】

具体的には、図９に示すように、処理対象となる画像領域の各Ｙ座標において、Ｘ次元の所定ベクトルに従って有効画素を探索する。そして、各画像領域の各Ｙ座標において初めて見つかった有効画素をＸ次元特徴画素２５１として抽出する。Ｓ１５０７の処理では、このＸ次元特徴画素２５１を要素とする集合であるＸ次元特徴画素集合を生成する。ここでの「Ｘ次元の所定ベクトル」とは、第１ベース画像領域２１１および第３ベース画像領域２１３に含まれるラインブロック２３１であれば、各領域の右端Ｘ座標から左端Ｘ座標（−Ｘ方向）に向かうベクトルである。また、第２ベース画像領域２１２および第４ベース画像領域２１４に含まれるラインブロック２３１であれば、各領域の左端Ｘ座標から右端Ｘ座標（＋Ｘ方向）に向かうベクトルである。

【0059】

次に、図１０に示すように、処理対象領域の各Ｘ座標において、Ｙ次元の所定ベクトルに従って有効画素を探索する。そして、各処理対象領域内の各Ｘ座標において初めて見つかった有効画素をＹ次元特徴画素２６１として抽出する。Ｓ１５０７の処理では、このＹ次元特徴画素２６１を要素とする集合であるＹ次元特徴画素集合を生成する。ここでの「Ｙ次元の所定ベクトル」とは、各ベース画像領域に含まれるラインブロック２３１における下端Ｙ座標から上端Ｙ座標（−Ｙ方向）に向かうベクトルである。

【0060】

以上のように、特徴抽出部１５においてＸ次元特徴画素集合とＹ次元特徴画素集合の両方の特徴画素集合を生成した後に、この２つの集合を合わせた集合を生成して、最終的な特徴画素集合として記憶部２１に格納する。

【0061】

＜特徴画素集合による効果＞
Ｓ１５０７のように、Ｘ次元とＹ次元の二次元スキャンにより特徴画素の集合を生成することにより、路面標示や反射光など誤抽出しやすい障害物がレーン線周辺に存在する場合であっても、レーン線に相当する特徴画素の取りこぼしの低減を図ることができる。なお、特徴画素集合を生成するときに、各次元の集合において重複する特徴画素が存在する場合は、どちらか一方のみを採用することで、データ数の無駄を省くことができる。これによって演算処理の効率を向上させることもできる。

【0062】

≪直線算出処理≫
続いて、直線算出部１６が、Ｓ１５０７において生成された特徴画素集合を記憶部２１から読み出して、特徴画素集合に含まれる要素が示す座標を通過する直線を算出する直線算出処理を実行する（Ｓ１５０８）。

【0063】

具体的には、図１１に示すように、記憶部２１から読みだされた特徴画素集合の要素である特徴画素２７１が｛Ｐ１，・・，ＰＮ｝＝｛（ｘ１，ｙ１）・・・（ｘＮ，ｙＮ）｝としてＮ個あるとする。この特徴画素２７１はレーン線の内側線に相当するものであり、これら特徴画素２７１を通過する直線を周知のＨｏｕｇｈ変換などを用いて算出する。算出された内側線を「レーン内側線」とすると、Ｓ１５０８において算出された直線における任意の２点Ｐｎ＝（ｘｎ，ｙｎ），Ｐｍ＝（ｘｍ，ｙｍ）における勾配を「Ｓｎｍ」とし、Ｙ切片を「ｌｎｍ」とすると、それぞれ以下の式（６）で表される。

【0064】

【数6】

【0065】

続いて、レーン線の外側線を算出する。すでに実行したレーン内側線の算出結果によって、各Ｙ座標におけるレーン内側線の成分に相当するＸ座標が既知となる。そこで、エッジ二値化画像２４０における各Ｙ座標を用いて、レーン線の最大幅に関する所定値Ｗｍａｘおよび設定済みのレーン線の最小幅に関する所定値Ｗｍｉｎだけ当該Ｘ座標から外側に移動した座標を、開始座標Ｘｓｔおよび終了座標Ｘｅｎｄとして探索する。この探索において初めて見つかった有効画素を外側特徴画素２７２とする。これによって、レーン線の外側を示す外側特徴画素集合を得ることができる。なお、ここでの「外側」とは、車両１０００の前方左側のレーンであれば「−Ｘ方向」、同様に前方右側のレーン線であれば「＋Ｘ方向」を指す。

【0066】

レーン線の外側特徴画素集合を生成した後、この外側特徴画素集合を用いて、レーン内側線を算出した処理と同じ処理を行う。これによって、レーン線の外側直線成分を算出することができる。算出された外側線を「レーン外側線」とする。レーン外側線はレーン内側線よりも勾配絶対値が小さいので、算出済みのレーン内側線の勾配絶対値をＳｉｎとすると、レーン外側線はＳｍｉｎ〜Ｓｉｎの絶対勾配範囲で算出する。

【0067】

以上の処理により、レーン線を示す両側（レーン内側線とレーン外側線）が算出される。Ｓ１５０７において車両１０００に近い下領域の結果を優先して、レーン線の画像検出結果として記憶部２１に格納する。レーン外側線が算出できなかった場合は、外側でなく内側にかけて対となるレーン内側線の特徴画素を探索し、その直線を算出する。これは、かすれ線などの影響で、先に算出した直線がレーン線の外側部分を示すものである場合があるためである。レーン内側線はレーン外側線よりも勾配絶対値が大きいので、算出済みのレーン外側線の勾配絶対値をＳｏｕｔとすると、レーン内側線はＳｏｕｔ〜Ｓｍａｘの絶対勾配範囲で算出する。ここでの「内側」とは、車両１０００の前方左側に相当する領域のレーン線であれば「＋Ｘ方向」、車両１０００の前方右側に相当する領域のレーン線であれば「−Ｘ方向」を指す。これによってレーン線が算出されれば、その結果を記憶部２１に格納する。仮に、算出されなかった場合は、画像検出結果は存在しないことし、レーン線は未検出とする。

【0068】

≪消失点算出処理≫
次に、直線算出部１６が、図１２に示すように、レーン線の消失点の座標である消失点座標Ｐｖ＝（ｘｖｐ，ｙｖｐ）を算出し、算出結果を記憶部２１に記憶する（Ｓ１５０９）。ここで「消失点」とは、元画像２１０において、画像検出結果が両チャネルで存在する場合は両内側直線の交点座標であり、片方のチャネルのみに存在する場合は内側直線２８１と外側直線２８２の交点座標を指す。

【0069】

本実施形態においては、上記にて説明したとおり、レーン線の内側直線と外側直線を精度良く検出することができる。したがって、車両通行帯を示すレーン線の一方のみのレーン線のみを認識できれば、レーン線の幅を構成する内側直線２８１と外側直線２８２を認識することができ、このレーン線との距離を算出することができる。なお、消失点座標Ｐｖが不明確であれば、これ以降の処理は継続しない。

【0070】

交点座標は、以下の式（７）の形式で表される２つの対象直線を連立一次方程式にて求まる。また、各レーン線の画像下端座標Ｐｗｌ＝（ｘｗｌ，ｙｗｌ）に関しても、式（７）のｙに元画像２１０のＹサイズを代入して求め、記憶部２１に格納する。

【0071】

【数7】

【0072】

≪距離算出処理≫
続いて、測距部１７が、Ｓ１５０８において算出された画像検出結果を用いて、カメラ２００からレーン線までの距離を推定する処理を実行する（Ｓ１５１０）。一般に、カメラ２００の画角の値と内部パラメータおよび外部パラメータの行列を用いることで、車両１０００を含む座標系（ここでは、世界座標とする）における、世界座標（Ｘ，Ｙ，Ｚ）から元画像２１０の座標系である画像座標（ｕ，ｖ）への変換が可能である。ここでは、カメラ２００の主点を世界座標の原点に置き、外界を回転・並進する処理を行う。なお、世界座標は、カメラ２００の主点を原点とし、カメラ２００の向きをレーン線の向きに補正した座標である。

【0073】

本実施形態では、画像座標から世界座標への逆変換演算を実行することになる。これによって、レーン線の画像座標（ｕ，ｖ）から世界座標（Ｘ，Ｙ，Ｚ）を算出することができ、カメラ２００の真下の世界座標との差分（Ｘ値）を「レーン線−カメラ間の距離」として算出することができる。

【0074】

Ｓ１５１０について具体的説明する。カメラ２００からの画像情報（元画像２１０）と、カメラ２００の設置高さと、カメラ２００の画角、焦点距離の数値情報をもとに、レーン線の消失点座標Ｐｖからレーン線に対するカメラ外部パラメータ（パン角、チルト角）を、カメラ２００が置かれている状態を推定し、この推定結果を用いて、レーン線の画像下端座標から「レーン線−カメラ間の距離」を推定する処理を行う。

【0075】

カメラ２００が一般的な単眼カメラとした場合、その内部はピンホール構造となっている。したがって、図１３に示す座標系にて式（８）〜（１０）の関係式が成り立つ。図１３は、車両１０００を上方から俯瞰した状態を例示する図である。図１３に示すように、カメラ２００の光軸は、車両１０００が直進するときの進行方向に相当するＺ方向に向いている。

【0076】

【数8】

【0077】

【数9】

【0078】

【数10】

【0079】

ここで、（Ｘ，Ｙ，Ｚ）は世界座標系の３次元座標、（ｕ，ｖ）は画像平面に投影された点の座標（画像座標）、Ａはカメラ内部パラメータ行列、（ｆｘ，ｆｙ）はピクセル単位で表される焦点距離、（ｃｘ，ｃｙ）は画像中心座標、［Ｒ｜ｔ］はカメラ外部パラメータ行列（外部並進‐回転の同次変換行列）を示す。

【0080】

本実施形態では、図１３のように、カメラ２００のレンズ主点を世界座標の原点とし、外界（道路等）が３次元的に運動しているとものと仮定する。はじめに、ＣＨをカメラ２００の設置高さとして、消失点の世界座標（Ｘｖｐ，−ＣＨ，Ｚｖｐ）とｔ＝（０，０，０）を式（９）に代入して展開する。これにより、パン角（ｒｙ）とチルト角（ｒｘ）の推定を行うことができる。

【0081】

まず、Ｘ軸、Ｙ軸、Ｚ軸中心の各回転行列は式（１１）で表される。これらの積をＲ＝ＲｘＲｙＲｚとおく。なお、本実施形態では車両１０００は４輪自動車を前提としているため、ロール角（ｒｚ）は０とする。

【0082】

【数11】

【0083】

次に、式（１１）を式（１０）に適用して、これに消失点の世界座標（Ｘｖｐ，−ＣＨ，Ｚｖｐ）を代入する。そのうえで「Ｚｖｐ→＋∞」の極限値を算出すると、消失点の画像座標（ｕｖｐ，ｖｖｐ）は式（１２）で表すことができる。

【0084】

【数12】

【0085】

ここで、正方格子サンプリングの場合は、ｆx＝−ｆy＝ｆである。図１４に示すように、ｆ＝画像幅／（２＊ｔａｎ（画角／２））である。また、（ｕｖｐ，ｖｖｐ）は、直線算出処理（Ｓ１５０８）において算出された消失点の画像座標（ｘｖｐ，ｙｖｐ）と等価であるので、これをメモリから読み込んで代入することで、パン角（ｒｘ）とチルト角（ｒｙ）を求める。

【0086】

最後に、レーン線の画像座標（ｕ，ｖ）の値から世界座標（Ｘ，Ｙ，Ｚ）の値を求める。具体的には、まず、算出済みのパン角（ｒｘ）とチルト角（ｒｙ）を式（１１）に代入し、式（１３）に示す回転行列を改めて定義する。

【0087】

【数13】

【0088】

次に、式（１３）を式（１０）に適用するが、ｆｘ＝−ｆｙ＝ｆであるので、ターゲットであるレーン線の世界座標（Ｘ，Ｙ＝−ＣＨ）と画像座標（ｕ，ｖ）の関係は式（１４）となる。

【0089】

【数14】

【0090】

本実施形態ではカメラ２００の「レンズ主点を世界座標の原点」と設定したので、カメラ２００から見た真下のＸの値は０となる。したがって、式（１４）に式（１３）の各要素を代入したうえで、Ｓ１５０８において算出済みのレーン線の画像下端座標（ｘｗｌ，ｙｗｌ）を記憶部２１から読み出して、これを（ｕ，ｖ）に代入してＸの値を求める。その結果の値が「レーン線−カメラ間の距離」になる。

【0091】

以上のように、本実施形態に係る距離算出処理は、元画像２１０の入力元となるカメラ２００における撮像条件（画像取得条件）を推定しながら、距離を算出する。また、カメラ２００の設置高さと、カメラ２００の画角のみを画像取得条件のパラメータとして、元画像２１０を得ることができる。

【0092】

≪結果出力処理≫
続いて、結果出力部１８において、Ｓ１５０８で画像検出結果やＳ１５１０で得た測距結果を、後述するシステム検出における上位ブロックに出力する処理を実行する（Ｓ１５１１）。

【0093】

以上説明をした一連の処理において、カメラ２００からの元画像２１０を時系列に沿って順次取得し、Ｓ１５１０において、レーン線との距離を時系列的変化に沿って出力することで、車両１０００の移動に応じて変化するレーン線との距離を適宜得ることができる。

【0094】

＜本実施形態の効果＞
本実施形態に係るレーン線認識装置１００においてレーン線認識プログラムを実行することで得られるレーン線認識方法によれば、一本のレーン線のみで、測距に必要なカメラ外部パラメータをオンラインで推定するために必要な消失点を求めることができる。また、任意のレーン線の画像検出結果から測距に必要なカメラ外部パラメータをオンラインで推定し、これらとカメラの設置高および画角のみから解析的に測距するので、一本のレーン線および一般的な単眼カメラのみで、高精度かつ低コストに測距が可能となる。

【0095】

本実施形態に係るレーン線認識装置１００によれば、ラインブロック単位の輝度ヒストグラムおよびエッジ強度ヒストグラムの解析により、例えば雨天時の路面反射など、レーン線と同等以上に輝度もエッジ強度も高い物体が局所的に存在する場合でも、それが及ぼす大域的な影響を軽減し、本来のレーン線の輝度やエッジ強度を正確に取得し、レーン線の候補画素の取りこぼしを抑制することが可能となる。

【符号の説明】

【0096】

１１ 画像取得部
１２ 前処理部
１３ ノイズ除去画像二値化部
１４ エッジ画像二値化部
１５ 特徴抽出部
１６ 直線算出部
１７ 測距部
１８ 結果出力部
２１ 記憶部
１００ レーン線測距装置
１１０ マイクロコンピュータ
１２０ メモリ
２００ カメラ
１０００ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】