(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022093798
(43)【公開日】2022-06-24
(54)【発明の名称】区画線検出装置および区画線検出プログラム
(51)【国際特許分類】
G06T 7/60 20170101AFI20220617BHJP
G06T 7/00 20170101ALI20220617BHJP
G08G 1/16 20060101ALI20220617BHJP
G01B 11/00 20060101ALI20220617BHJP
【FI】
G06T7/60 200J
G06T7/00 650A
G08G1/16 C
G01B11/00 Z
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2020206459
(22)【出願日】2020-12-14
(71)【出願人】
【識別番号】591074161
【氏名又は名称】アジア航測株式会社
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】本間 亮平
(72)【発明者】
【氏名】佐野 実可子
(72)【発明者】
【氏名】橋本 侑弥
(72)【発明者】
【氏名】新名 恭仁
【テーマコード(参考)】
2F065
5H181
5L096
【Fターム(参考)】
2F065AA04
2F065AA17
2F065AA37
2F065AA53
2F065CC40
2F065DD03
2F065FF41
2F065FF65
2F065FF67
2F065GG04
2F065MM16
2F065MM26
2F065QQ04
2F065QQ13
2F065QQ29
2F065QQ42
2F065SS13
5H181AA01
5H181CC03
5H181CC24
5H181FF04
5H181LL04
5H181LL09
5L096AA09
5L096BA04
5L096DA02
5L096EA43
5L096FA14
5L096FA62
5L096FA64
5L096FA67
5L096FA69
5L096GA51
(57)【要約】
【課題】区画線にかすれが含まれている場合でも適切に区画線を抽出する。
【解決手段】台車が移動する道路に対して照射したレーザー光の反射光に基づいて道路の3次元座標を点群データとして生成する点群データ生成装置2から、点群データを取得し、取得した点群データに基づいて道路の区画線を検出する区画線検出装置1であって、取得した点群データにおける反射光の反射強度に基づいて、区画線の方向ベクトルを推定する方向ベクトル推定手段103と、方向ベクトル推定手段103により推定された方向ベクトルに沿って所定の間隔に含まれる点群データを投影し、投影した点群データの反射強度に基づいて区画線の中心点を算出する中心点算出手段104と、方向ベクトルと中心点とに基づいて、区画線を決定する区画線決定手段105と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
移動体が移動する道路に対して照射したレーザー光の反射光に基づいて前記道路の3次元座標を点群データとして生成する点群データ生成装置から、前記点群データを取得し、前記取得した点群データに基づいて前記道路の区画線を検出する区画線検出装置であって、
前記取得した点群データにおける前記反射光の反射強度に基づいて、前記区画線の方向ベクトルを推定する方向ベクトル推定手段と、
前記方向ベクトル推定手段により推定された方向ベクトルに沿って所定の間隔に含まれる点群データを投影し、前記投影した点群データの反射強度に基づいて前記区画線の中心点を算出する中心点算出手段と、
前記方向ベクトルと前記中心点とに基づいて、前記区画線を決定する区画線決定手段と、
を備えたことを特徴とする区画線検出装置。
【請求項2】
前記方向ベクトル推定手段は、
前記点群データに基づいて判別分析法を用いて分離度が最大となる閾値を算出し、前記算出した閾値に基づいて前記反射光の反射強度を二値化した二値化データを生成し、前記生成した二値化データに基づいて、前記方向ベクトルを推定する
ことを特徴とすることを特徴とする請求項1記載の区画線検出装置。
【請求項3】
前記中心点算出手段は、
前記方向ベクトル推定手段により推定された方向ベクトルに沿って所定の間隔に含まれる点群データを投影し、前記投影した点群データの反射強度の変化率を算出し、前記算出した変化率がピークとなる2点間の中心を前記区画線の中心点として算出する
ことを特徴とする請求項1記載の区画線検出装置。
【請求項4】
前記中心点算出手段は、
前記方向ベクトル推定手段により推定された方向ベクトルに沿って所定の間隔に含まれる点群データを投影し、前記投影した点群データの反射強度のうち前記方向ベクトル推定手段により算出された閾値以上の値を前記閾値に変更し、前記変更した反射強度の変化率を算出し、前記算出した変化率がピークとなる2点間の中心を前記区画線の中心点として算出する
ことを特徴とする請求項2記載の区画線検出装置。
【請求項5】
移動体が移動する道路に対して照射したレーザー光の反射光に基づいて前記道路の3次元座標を点群データとして生成する点群データ生成装置から、前記点群データを取得し、前記取得した点群データに基づいて前記道路の区画線を検出する区画線検出装置が実行する区画線検出プログラムであって、
前記取得した点群データにおける前記反射光の反射強度に基づいて、前記区画線の方向ベクトルを推定する方向ベクトル推定ステップと、
前記方向ベクトル推定ステップにより推定された方向ベクトルに沿って所定の間隔に含まれる点群データを投影し、前記投影した点群データの反射強度に基づいて前記区画線の中心点を算出する中心点算出ステップと、
前記方向ベクトルと前記中心点とに基づいて、前記区画線を決定する区画線決定ステップと、
を前記区画線検出装置に実行させることを特徴とする区画線検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、適切に区画線を検出する区画線検出装置および区画線検出プログラムに関する。
【背景技術】
【0002】
近年、自動運転用地図などの高精度道路地図の整備や、道路維持管理業務の効率化及び高度化のため、MMS(Mobile Mapping System)によって取得した点群の活用が進んでいる。
【0003】
例えば、車道中央線や車道外側線などを含む路面にペイントされた区画線は、運転手や自動運転用の環境認識用センサが車線の範囲を認識するために非常に重要な情報である。
【0004】
そのため、路面にペイントされた区画線を適切に検出する必要がある。
【0005】
そこで、非特許文献1には、MMSによって取得した点群の反射強度を利用し、白線上の計測点のグループ化による白線モデルを生成することで白線の抽出を行う技術が開示されている。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】宮崎龍二,山本真,“高密度移動計測データを用いた道路モデル生成(第5報)-道路区画線に基づいた道路中心線の生成-”,2018年度精密工学会春季大会,pp.553-554
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に記載の技術では、白線上の計測点のグループ化による白線モデルを生成するので、抽出の対象は路線に沿って連続した実線のみからなる白線となる。そのため、例えば、区画線のかすれた区間では抽出が困難となる。
【0008】
同様に、区画線中心線の抽出処理においては、最大最小レーザ照射角度を使用しているために区画線のかすれた区間では中心線の位置精度が低下する可能性がある。
【0009】
また、減速マークなど区画線に近接する反射強度の高いマーキングの存在が抽出率に大きく影響を受ける他、区画線の分岐や合流への対応も困難となる。
【0010】
本発明は、上記問題点に鑑みてなされたものであり、区画線にかすれが含まれている場合でも適切に区画線を抽出することができる区画線検出装置および区画線検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記目的を解決するため、本発明に係る区画線検出装置の第1の特徴は、
移動体が移動する道路に対して照射したレーザー光の反射光に基づいて前記道路の3次元座標を点群データとして生成する点群データ生成装置から、前記点群データを取得し、前記取得した点群データに基づいて前記道路の区画線を検出する区画線検出装置であって、
前記取得した点群データにおける前記反射光の反射強度に基づいて、前記区画線の方向ベクトルを推定する方向ベクトル推定手段と、
前記方向ベクトル推定手段により推定された方向ベクトルに沿って所定の間隔に含まれる点群データを投影し、前記投影した点群データの反射強度に基づいて前記区画線の中心点を算出する中心点算出手段と、
前記方向ベクトルと前記中心点とに基づいて、前記区画線を決定する区画線決定手段と、
を備えたことにある。
【0012】
本発明に係る区画線検出装置の第2の特徴は、
前記方向ベクトル推定手段は、
前記点群データに基づいて判別分析法を用いて分離度が最大となる閾値を算出し、前記算出した閾値に基づいて前記反射光の反射強度を二値化した二値化データを生成し、前記生成した二値化データに基づいて、前記方向ベクトルを推定する
ことを特徴とすることにある。
【0013】
本発明に係る区画線検出装置の第3の特徴は、
前記中心点算出手段は、
前記方向ベクトル推定手段により推定された方向ベクトルに沿って所定の間隔に含まれる点群データを投影し、前記投影した点群データの反射強度の変化率を算出し、前記算出した変化率がピークとなる2点間の中心を前記区画線の中心点として算出する
ことにある。
【0014】
本発明に係る区画線検出装置の第4の特徴は、
前記中心点算出手段は、
前記方向ベクトル推定手段により推定された方向ベクトルに沿って所定の間隔に含まれる点群データを投影し、前記投影した点群データの反射強度のうち前記方向ベクトル推定手段により算出された閾値以上の値を前記閾値に変更し、前記変更した反射強度の変化率を算出し、前記算出した変化率がピークとなる2点間の中心を前記区画線の中心点として算出する
ことにある。
【0015】
本発明に係る区画線検出プログラムの第1の特徴は、
移動体が移動する道路に対して照射したレーザー光の反射光に基づいて前記道路の3次元座標を点群データとして生成する点群データ生成装置から、前記点群データを取得し、前記取得した点群データに基づいて前記道路の区画線を検出する区画線検出装置が実行する区画線検出プログラムであって、
前記取得した点群データにおける前記反射光の反射強度に基づいて、前記区画線の方向ベクトルを推定する方向ベクトル推定ステップと、
前記方向ベクトル推定ステップにより推定された方向ベクトルに沿って所定の間隔に含まれる点群データを投影し、前記投影した点群データの反射強度に基づいて前記区画線の中心点を算出する中心点算出ステップと、
前記方向ベクトルと前記中心点とに基づいて、前記区画線を決定する区画線決定ステップと、
を前記区画線検出装置に実行させることにある。
【発明の効果】
【0016】
本発明に係る区画線検出装置および区画線検出プログラムによれば、適切に区画線を検出することができる。
【図面の簡単な説明】
【0017】
【
図1】本発明の一実施形態である区画線検出システムの概略構成を示した概略構成図である。
【
図2】本発明の一実施形態である区画線検出システムが備える点群データ生成装置2による点群データの生成を模式的に説明した説明図である。
【
図3】本発明の一実施形態である区画線検出装置1が備える方向ベクトル推定手段103による方向ベクトルの推定を模式的に示した説明図である。
【
図4】本発明の一実施形態である区画線検出装置1が備える中心点算出手段による投影を模式的に示した説明図である。
【
図5】本発明の一実施形態である区画線検出装置1が備える中心点算出手段による中心点の算出を模式的に説明した説明図である。
【
図6】本発明の一実施形態である区画線検出装置1が備える区画線決定手段による端点の検出処理の処理内容を説明した説明図である。
【
図7】本発明の一実施形態である区画線検出システムの処理手順を示したフローチャートである。
【
図8】
図7における本発明の一実施形態である区画線検出システムの処理手順を示したフローチャートのうち、ステップS103、S107、S115における処理を示したフローチャートである。
【
図9】
図8に示したフローチャートのステップS217において、失敗判定が複数回連続した場合に実行されるフローチャートである。
【
図10】本発明の一実施形態である区画線検出装置において、路面に破線がペイントされている場合における区画線の検出を模式的に示した説明図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施の形態について、図面を参照して説明する。各図面を通じて同一若しくは同等の部位や構成要素には、同一若しくは同等の符号を付している。ただし、図面は模式的なものであり、現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれている。
【0019】
また、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置等を例示するものであって、この発明の技術的思想は、各構成部品の配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
【0020】
<区画線検出システムの構成>
以下、本発明の一実施形態である区画線検出装置を備えた区画線検出システムについて説明する。
【0021】
図1は、本発明の一実施形態である区画線検出システムの概略構成を示した概略構成図である。
【0022】
図1に示すように、区画線検出システム100は、路面Rに沿って移動する台車(移動体)3に搭載されており、区画線検出装置1と、点群データ生成装置2と、モニタ5とを備えている。
【0023】
区画線検出システム100が搭載された台車3が移動中に、点群データ生成装置2は台車3が走行する道路の路面Rに対してレーザー光を照射する。そして、点群データ生成装置2は、照射したレーザー光の反射光に基づいて路面Rの3次元座標を点群データとして生成する。詳細は後述する。
【0024】
区画線検出装置1は、点群データ生成装置2から点群データを取得し、取得した点群データに基づいて区画線を検出する。区画線には、路面に例えば白色や黄色などでペイントされた実線および破線を含んでいる。区画線は、車道中央線や車道外側線などとして用いられる。
【0025】
モニタ5は、区画線検出装置1により検出された区画線を表示する画面など各種画面を表示する。
【0026】
<点群データ生成装置2による点群データの生成>
図2は、本発明の一実施形態である区画線検出システム100が備える点群データ生成装置2による点群データの生成を模式的に説明した説明図である。
【0027】
図1,2に示すように、点群データ生成装置2は、レーザースキャナ21と、GNSS(Global Navigation Satellite System )22と、IMU(Inertial Measurement Unit)23と、データ収集手段24と、データ一時記憶部25とを備えている。
【0028】
レーザースキャナ21は、台車3の後方に設けられており、路面Rに向かってレーザー光を照射する。照射するレーザー光の到達距離は80m~100mの範囲であり、例えば、200Hz周期で回転し、1000kHzでレーザー光を発射する。そして、レーザースキャナ21は、発射したレーザー光の反射光を受光し、受光した反射光に基づいて受光した測定時刻と路面Rまでの角度と距離と反射強度とを示すレーザデータ(Time,θ,L,I)を取得する。
【0029】
GNSS22は、人工衛星から発射される信号を用いてGNSSデータ(位置座標)を取得する。
【0030】
IMU23は、点群データ生成装置2の姿勢を検出することができる。これらのIMU23で取得した姿勢はGNSSデータに対応させてPOS(Position and Orientation System)データとしてデータ収集手段24に供給される。すなわち、POSデータは、GNSS22からのGNSSデータ(位置座標)と検出した姿勢とを組み合わせた、基準となるIMU23の位置姿勢(測定時刻、位置座標、傾き)を示すデータ(Time,xi,yi,zi,Roll,Pitch,Yaw)を含んでいる。ziは、グランドレベルからのIMU23が取り付けられている標高値となる。
【0031】
IMU23を基準としたレーザースキャナ21の位置座標は、(Δx,Δy,Δz)で示すことできる。
【0032】
データ収集手段24は、IMU23から取得したPOSデータと、レーザースキャナ21から取得したレーザデータとに基づいて、地物の位置を示す3次元座標の集まりを点群データ(X,Y,Z,I)として生成する。
【0033】
データ一時記憶部25は、データ収集手段24により生成された点群データ(X,Y,Z,I)を一時的に記憶する。記憶された点群データは、区画線検出装置1に供給される。ここでは、データ一時記憶部25に記憶された点群データは、リアルタイムで区画線検出装置1へと供給されるようにしたが、これに限らず、台車3には点群データ生成装置2のみが搭載され、点群データの一時保存の後、点群データ生成装置2と区画線検出装置1とが接続された際に、データ一時記憶部25から区画線検出装置1へ点群データが供給されるようにしてもよい。
【0034】
<区画線検出装置1の構成>
図1に戻り、区画線検出装置1は、点群データ取得手段101と、点群データ記憶部102と、方向ベクトル推定手段103と、中心点算出手段104と、区画線決定手段105と、区画線データ記憶部106と、表示制御手段107とを有している。
【0035】
点群データ取得手段101は、点群データ生成装置2のデータ一時記憶部25から供給される点群データを取得し、取得した点群データを点群データ記憶部102に記憶する。
【0036】
点群データ記憶部102は、例えば、ハードディスクドライブなどで構成され、点群データ(X,Y,Z,I)が記憶されている。
【0037】
方向ベクトル推定手段103は、取得した点群データにおける反射光の反射強度に基づいて、区画線の方向ベクトルを推定する。
【0038】
図3(a),(b)は、本発明の一実施形態である区画線検出装置1が備える方向ベクトル推定手段103による方向ベクトルの推定を模式的に示した説明図である。
【0039】
図3(a)に示すように、方向ベクトル推定手段103は、点群データにおいて任意の1点をシード点S1として設定する。
【0040】
方向ベクトル推定手段103は、シード点S1を中心とした矩形T1内に含まれる点群データPを取得する。方向ベクトル推定手段103は、シード点S1周辺、すなわち矩形T1内に点群Pが所定数未満しか存在しない場合は推定失敗、すなわち、シード点S1が区画線外であると推定する。
【0041】
矩形T1内に点群Pが所定数以上存在する場合、方向ベクトル推定手段103は、シード点S1が区画線内であると推定する。
【0042】
そこで、方向ベクトル推定手段103は、点群Pの反射強度の値を利用して、区画線内の点群データと区画線外の点群データとを分類するため、判別分析法(大津の二値化)を用いて分離度が最大となる閾値Th1を算出する。
【0043】
そして、方向ベクトル推定手段103は、閾値Th1を用いて二値化することにより、反射強度が閾値Th1より大きい点群データの集合を点群データP’とする。
【0044】
次に、方向ベクトル推定手段103は、点群データP’について、以下の(数式1)を用いて、区画線の分布方向角度θを算出する。これにより、方向ベクトル推定手段103は、分布方向角度θの角度を持つ方向ベクトルQを推定することができる。
【0045】
【0046】
このとき、M(2,0)、M(0,2)、M(1,1)、表1のとおり表される。
【0047】
【0048】
方向ベクトル推定手段103により方向ベクトルQが推定されると、
図3(b)に示すように、シード点S1から方向ベクトルQに沿って距離dだけ移動した点をシード点S2として設定する。そして、同様に、方向ベクトル推定手段103は、取得した点群データにおける反射光の反射強度に基づいて、区画線の方向ベクトルを推定する。
【0049】
このように、方向ベクトルQに沿ってシード点を移動させながら、新たに、方向ベクトルQを算出することで、区画線が連続する方向を推定することができる。
【0050】
中心点算出手段104は、方向ベクトル推定手段103により推定された方向ベクトルQに沿って所定の間隔Th2に含まれる点群データを投影し、投影した点群データの反射強度に基づいて区画線の中心点を算出する。
【0051】
図4(a),(b)は、本発明の一実施形態である区画線検出装置1が備える中心点算出手段104による投影を模式的に示した説明図である。
【0052】
図4(a)に示すように、中心点算出手段104は、方向ベクトルQに沿って点群データP’を含む投影対象領域41を設定する。投影対象領域41は、10×12メッシュ(ベクトルQ方向に10メッシュ、ベクトルQと直交する方向に12メッシュ)などに分割されている。
【0053】
中心点算出手段104は、方向ベクトルQに沿って点群データPを投影することにより、反射強度投影データ42を生成する。例えば、投影対象領域41のうち方向ベクトルQに沿った1列の投影対象領域41aに含まれる10メッシュ分の点群データPを投影し、代表値として反射強度投影データ42aを生成する。このとき、代表値は、投影対象領域41aの最大値でもよいし、中央値でもよいし、平均値でもよい。そして、中心点算出手段104は、同様に、投影対象領域41を1次元化した反射強度投影データ42を生成する。
【0054】
このとき、点群データに欠損が生じる場合がある。
【0055】
図4(b)は、本発明の一実施形態である区画線検出装置1において、点群データの欠損の補正処理を説明した説明図である。
【0056】
図4(b)に示すように、中心点算出手段104により反射強度投影データ42Aが生成されたとする。
【0057】
このとき、反射強度投影データ42Aに含まれる、反射強度投影データ42A2,42A3,42A6が欠損データであったとする。
【0058】
このとき、中心点算出手段104は、欠損データを挟む両側の反射強度投影データの値の平均値を入れ替えることにより補正する。
【0059】
例えば、欠損データ42A2,42A3の方向ベクトルQと直交する方向に挟む反射強度投影データ42A1と反射強度投影データ42A4との平均値を算出し、算出した平均値を欠損データ42A2,42A3の値とする。
【0060】
同様に、欠損データ42A6の方向ベクトルQと直交する方向に挟む反射強度投影データ42A5と反射強度投影データ42A7との平均値を算出し、算出した平均値を欠損データ42A6の値とする。
【0061】
このようにして、中心点算出手段104は、欠損データを含む反射強度投影データ42Aを補正して、欠損データを含まない反射強度投影データ42Bを生成する。
【0062】
そして、中心点算出手段104は、生成した反射強度投影データ42Bのうち、閾値Th1以上の値を閾値Th1に変更する。
【0063】
図5(a)~
図5(c)は、本発明の一実施形態である区画線検出装置1が備える中心点算出手段104による中心点の算出を模式的に説明した説明図である。
図5(a)は、反射強度投影データ42Bの反射強度をグラフ化した図である。
図5(b)は、反射強度を閾値Th1に変更した値を示した図である。
図5(c)は、
図5(c)を微分した値を示した図である。なお、
図5(a)~
図5(c)において、x軸は方向ベクトルQと直交する方向の位置座標であり、y軸は反射強度である。
【0064】
図5(a)に示すように、反射強度投影データ42Bの反射強度201は、中央部201bは高い値となっており、その両端201a,201cは低い値となっている。
【0065】
中央部201bは、値にバラツキが生じることがあるので、区画線内の点群データと区画線外の点群データとを分類し易いように中央部201bの値を変更した方が好ましい。
【0066】
そこで、中心点算出手段104は、反射強度投影データ42Bの反射強度201のうち、方向ベクトル推定手段103により算出された閾値Th1以上の値を閾値Th1に変更する。
【0067】
これにより、
図5(b)に示すように、反射強度201の中央部201bが、閾値Th1に変更された変更反射強度204を得ることができる。
【0068】
そして、中心点算出手段104は、変更反射強度204を微分することにより、
図5(c)に示すような反射強度変化率206を算出する。
【0069】
図5(c)に示すように、反射強度変化率206は、A1およびA2において、ピークとなる。このピークA1からピークA2までが区画線の幅となる。
【0070】
そこで、中心点算出手段104は、この算出した変化率のピークA1からピークA2までの中心を区画線中心点qとして算出する。
【0071】
このとき、方向ベクトルQと直交する方向における区画線の端点が片側しか存在しない場合や、区画線端点から算出できる区画線の幅が閾値Th4より大きい場合や閾値Th5よりも小さい場合、算出した区画線中心点qと前回の区画線中心点qからなる方向ベクトルと、方向ベクトル推定手段103により算出された方向ベクトルQとの角度差が所定の閾値値Th3以上の場合は、区画線の抽出に失敗したと判定する。なお、区画線が存在しない区間に本処理を適用した場合は、この区画線の幅や方向ベクトルQの判定で抽出に失敗と判定されることが実験の結果分かっている。抽出に成功したと判定した場合は、射影データ上の区画線中心点を元の空間座標系に変換することで、区画線中心座標qを取得する。このとき、区画線中心点の高さ(標高値)は、区画線点群P’の高さ平均値、中央値から選択できることとする。
【0072】
区画線決定手段105は、方向ベクトル推定手段103により推定した方向ベクトルQと、中心点算出手段104により算出した区画線中心点qとに基づいて、区画線を決定する。具体的には、算出した方向ベクトルQと区画線中心点qとに基づいて、端点が現れるまで区画線を抽出する。
【0073】
図6(a)~
図6(b)は、本発明の一実施形態である区画線検出装置1が備える区画線決定手段105による端点の検出処理の処理内容を説明した説明図である。
【0074】
図6(a)に示すように、区画線決定手段105は、最後に抽出した中心点である最終抽出成功点ESPから方向ベクトルQの方向に距離e(例えば3cm)だけ離れた位置にシード点Sを設定する。
【0075】
そして、区画線決定手段105は、
図6(b)に示すように、シード点Sを中心とした矩形T内に含まれる点群データPを取得し、矩形T内に点群Pが所定数存在するか否かを判定する。矩形T内に点群Pが所定数未満しか存在しない場合、区画線決定手段105は、端点であると判定する。
【0076】
そして、区画線決定手段105は、反射強度投影データに基づいて、ピークを検出することにより区画線の幅を検出し、この区画線の幅の中心を区画線中心点qとして算出し、最終抽出成功点ESPを区画線中心点qに置き換える。
【0077】
区画線データ記憶部106は、区画線決定手段105により決定した区画線を記憶する。区画線は、例えば、区画線中心点qと方向ベクトルQとを関連付けて区画線データとして記憶する。
【0078】
表示制御手段107は、区画線データ記憶部106に記憶された区画線データに基づいて、モニタ5に区画線を描画する。
【0079】
<区画線検出システムの作用>
次に、本発明の一実施形態である区画線検出装置を備えた区画線検出システム100の作用について説明する。
【0080】
図7は、本発明の一実施形態である区画線検出システム100の処理手順を示したフローチャートである。
【0081】
図7に示すように、ステップS101において、方向ベクトル推定手段103は、点群データにおいて、抽出開始点として任意の1点をシード点S1として設定する。
【0082】
ステップS103において、方向ベクトル推定手段103および中心点算出手段104により、区画線の抽出処理を行う。これにより、方向ベクトルQと区画線中心点qとが算出される。詳細は
図8に示す。
【0083】
区画線が抽出されると、ステップS105において、シード点S1を順方向に画像内において距離d(例えば、30cm)だけ移動し、新たなシード点を設定する。
【0084】
さらに、ステップS103と同様に、ステップS107において、方向ベクトル推定手段103および中心点算出手段104により、区画線の抽出処理を行う。
【0085】
ステップS109において、区画線決定手段105は、区画線が順方向における端点に達したか否かを判定する。
【0086】
ステップS111において、区画線決定手段105は、順方向の端点を抽出する。詳細は、
図9に示す。
【0087】
ここまで、ステップS101において設定されたシード点S1から順方向における端点までの区画線が抽出された。
【0088】
そこで、ステップS113において、シード点S1を順方向とは逆方向に画像内において距離d(例えば、30cm)だけ移動し、新たなシード点を設定する。
【0089】
さらに、ステップS111と同様に、ステップS115において、方向ベクトル推定手段103および中心点算出手段104により、区画線の抽出処理を行う。
【0090】
ステップS117において、区画線決定手段105は、区画線が逆方向における端点に達したか否かを判定する。
【0091】
ステップS119において、区画線決定手段105は、逆方向の端点を抽出する。詳細は、
図9に示す。
【0092】
ステップS121において、区画線決定手段105は、ステップS111で抽出した順方向の端点から、ステップS119で抽出した逆方向の端点までの中心点を統合して区画線とする。
【0093】
<区画線の抽出処理>
図8は、
図7における本発明の一実施形態である区画線検出システム100の処理手順を示したフローチャートのうち、ステップS103、S107、S115における処理を示したフローチャートである。
【0094】
図8に示すように、ステップS201において、方向ベクトル推定手段103は、シード点S1を中心とした矩形T1内に含まれる点群データPを取得する。
【0095】
ステップS203において、方向ベクトル推定手段103は、矩形T1内に点群Pが所定数存在するか否かを判定する。
【0096】
矩形T1内に点群Pが所定数未満しか存在しない場合(ステップS203;NO)、方向ベクトル推定手段103は、推定失敗であるとして(ステップS217)、処理を終了する。
【0097】
一方、矩形T1内に点群Pが所定数以上存在する場合(ステップS203;YES)、方向ベクトル推定手段103は、点群Pの反射強度の値を利用して判別分析法を用いて分離度が最大となる閾値Th1を算出し、閾値Th1を用いて二値化することにより、反射強度が閾値Th1より大きい点群データの集合を点群データP’とする(ステップS205)。
【0098】
次に、方向ベクトル推定手段103は、点群データP’について、区画線の分布方向角度θを算出することにより分布方向角度θの角度を持つ方向ベクトルQを推定する(ステップS207)。
【0099】
ステップS209において、中心点算出手段104は、方向ベクトル推定手段103により推定された方向ベクトルQに沿って所定の間隔Th2に含まれる点群データを投影する。
【0100】
ステップS211において、中心点算出手段104は、反射強度投影データに基づいて、ピークを検出することにより区画線の幅を検出する。
【0101】
ステップS213において、中心点算出手段104は白線らしさを判定する。
【0102】
方向ベクトルQと直交する方向(幅方向)における区画線の端点が片側しか存在しない場合や、区画線端点から算出できる区画線の幅が閾値Th4より大きい場合や閾値Th5より小さい場合は、白線らしくないと判定する。また、算出した区画線中心点qと前回の区画線中心点qからなる方向ベクトルが、方向ベクトル推定手段103により算出された方向ベクトルQと大きく乖離することになる。
【0103】
そこで、中心点算出手段104は、角度差が所定の閾値値Th3以上の場合も、白線らしくないと判定する。なお、区画線が存在しない区間に本処理を適用した場合は、この区画線の幅や方向ベクトルQの判定で抽出に失敗と判定されることが実験の結果分かっている。抽出に成功したと判定した場合は、射影データ上の区画線中心点を元の空間座標系に変換することで、区画線中心座標qを取得する。このとき、区画線中心点の高さ(標高値)は、区画線点群P’の高さ平均値、中央値から選択できることとする。
【0104】
ステップS213において、白線らしいと判定された場合(YES)、中心点算出手段104は、この算出した変化率のピークに基づいて区画線中心点qを算出する(ステップS215)。
【0105】
<端点の抽出処理>
図9は、
図8に示したフローチャートのステップS217において、失敗判定が複数回連続した場合に実行されるフローチャートである。
【0106】
図9に示したように、ステップS301において、区画線決定手段105は、最後に抽出した中心点である最終抽出成功点ESPをシード点としてセットする。
【0107】
ステップS303において、区画線決定手段105は、前回のシード点BSと最終抽出成功点ESPとに基づいて、方向ベクトルQを算出する。
【0108】
ステップS305において、区画線決定手段105は、最終抽出成功点ESPから方向ベクトルQの方向に距離dより十分短い距離e(例えば3cm)だけ離れた位置にシード点Sを設定する。
【0109】
ステップS307において、区画線決定手段105は、新たに設定したシード点Sを中心とした矩形T内に含まれる点群データPを取得する。
【0110】
ステップS309において、区画線決定手段105は、矩形内に点群データPが所定数存在するか否かを判定する。
【0111】
矩形内に点群データPが所定数以上存在する場合(ステップS309;YES)、区画線決定手段105は、点群Pの反射強度の値を利用して判別分析法を用いて分離度が最大となる閾値Th1を算出し、閾値Th1を用いて二値化することにより、反射強度が閾値Th1より大きい点群データの集合を点群データP’とする(ステップS311)。
【0112】
ステップS313において、区画線決定手段105は、ステップS303において推定された方向ベクトルQに沿って所定の間隔Th2に含まれる点群データを投影することにより反射強度投影データを生成する。
【0113】
ステップS315において、区画線決定手段105は、反射強度投影データに基づいて、ピークを検出することにより区画線の幅を検出する。
【0114】
ステップS316において、区画線決定手段105は白線らしさを判定する。
【0115】
ステップS316において、白線らしいと判定された場合(YES)、ステップS317において、区画線決定手段105は、最終抽出成功点ESPを区画線中心点qに置き換える。
【0116】
ステップS319において、区画線決定手段105は、シード点の移動が規定量である距離d(例えば、30cm)を超えているか否かを判定する。
【0117】
シード点の移動が規定量(例えば、30cm)を超えていると判定された場合(ステップS319;YES)、シード点を端点と判定して処理を終了する。
【0118】
このように、シード点の移動が規定量(例えば、30cm)を超えるまで、シード点を端点と判定して処理を終了する。
【0119】
以上のように、本発明の一実施形態である区画線検出装置1によれば、取得した点群データにおける反射光の反射強度に基づいて、区画線の方向ベクトルを推定する方向ベクトル推定手段103と、方向ベクトル推定手段103により推定された方向ベクトルに沿って所定の間隔に含まれる点群データを投影し、投影した点群データの反射強度に基づいて区画線の中心点を算出する中心点算出手段104と、方向ベクトルと中心点とに基づいて、区画線を決定する区画線決定手段105と、を備える。
【0120】
これにより、区画線のかすれた区間においても中心線の位置精度が低下することを防止することができ、また、減速マークなど反射強度の高いマーキングが、区画線に近接する場合であっても、影響を受けることなく適切に区画線を抽出することができる。
【0121】
なお、本発明の一実施形態では、路面にペイントされた実線の白線を区画線の例として挙げたが、これに限らず、破線の白線や、黄色などでペイントされた実線および破線も同様に検出可能である。
【0122】
図10(a),(b)は、本発明の一実施形態である区画線検出装置1において、路面に破線がペイントされている場合における区画線の検出を模式的に示した説明図である。
図10(a)は、破線で描かれた区画線の途中の検出を示した説明図であり、
図10(b)は、破線で描かれた区画線の端点の検出を示した説明図である。区画線検出装置1では、実線で描かれた区画線を検出する実線モードと、破線で描かれた区画線を検出する破線モードとが選択可能であり、ここでは、破線モードが選択されたとする。
【0123】
破線モードが選択されていると、
図10(a)に示すように、方向ベクトル推定手段103は、点群データにおいて前回の破線内端点をシード点S3として設定する。
【0124】
方向ベクトル推定手段103は、シード点S3から、推定した方向ベクトルQに沿って距離fだけ移動した点をシード点S4とする。距離fは、破線を検出する際に用いられ、距離dより大きい値として予め設定されている。
【0125】
方向ベクトル推定手段103は、シード点S4を中心とした矩形T4内に含まれる点群データPを取得し、矩形T4内に点群Pが所定数以上存在する場合、方向ベクトル推定手段103は、シード点S4が区画線内であると推定する。
【0126】
そこで、方向ベクトル推定手段103は、点群Pの反射強度の値を利用して、判別分析法を用いて分離度が最大となる閾値Th1を算出し、閾値Th1を用いて二値化することにより、反射強度が閾値Th1より大きい点群データの集合を点群データP’とする。
【0127】
次に、方向ベクトル推定手段103は、点群データP’について、区画線の分布方向角度θを算出し、シード点S4から分布方向角度θの角度を持つ方向ベクトルQを推定する。
【0128】
一方、
図10(b)に示すように、シード点S5が端点である場合にも、方向ベクトル推定手段103は、点群データにおいて前回の破線内端点として検出したシード点S5として設定する。
【0129】
方向ベクトル推定手段103は、シード点S3から、推定した方向ベクトルQに沿って距離fだけ移動した点をシード点S6とする。
【0130】
方向ベクトル推定手段103は、シード点S6を中心とした矩形T6内に含まれる点群データPを取得する。ここでは、シード点S5が端点であるので、その先には破線が現れないことになる。
【0131】
そのため、矩形T6内に点群Pが所定数以上存在しないので、方向ベクトル推定手段103は、シード点S5が破線である区画線の端点であると推定する。
【0132】
このように、方向ベクトルQに沿ってシード点を移動させながら、新たに、方向ベクトルQを算出することで、破線である区画線を検出することができる。
【0133】
なお、上述した実施形態は、コンピュータにインストールした区画線検出プログラムを実行させることにより実現することもできる。
【符号の説明】
【0134】
1 区画線検出装置
2 点群データ生成装置
3 台車(移動体)
5 モニタ
21 レーザースキャナ
24 データ収集手段
25 データ一時記憶部
100 区画線検出システム
101 点群データ取得手段
102 点群データ記憶部
103 方向ベクトル推定手段
104 中心点算出手段
105 区画線決定手段
106 区画線データ記憶部
107 表示制御手段