(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024128881
(43)【公開日】2024-09-24
(54)【発明の名称】推定装置、推定方法、及び推定プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240913BHJP
【FI】
G06T7/00 650A
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023038150
(22)【出願日】2023-03-10
(71)【出願人】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】高橋 新
(72)【発明者】
【氏名】鈴木 俊輔
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA04
5L096CA02
5L096DA02
5L096FA67
5L096FA69
(57)【要約】
【課題】車両が走行する走路モデルのパラメータを精度良く推定することができる推定装置、推定方法、及び推定プログラムを得る。
【解決手段】推定装置は、車両に搭載された撮影装置により撮影された車両が走行する走路の画像における隠蔽される路面の境界位置を導出する導出部と、走路の縦断線形データと、境界位置とを用いて、走路の画像が撮影された際の俯角を推定する推定部と、を含む。
【選択図】
図6
【特許請求の範囲】
【請求項1】
車両に搭載された撮影装置により撮影された前記車両が走行する走路の画像における隠蔽される路面の境界位置を導出する導出部と、
前記走路の縦断線形データと、前記境界位置とを用いて、前記走路の画像が撮影された際の俯角を推定する推定部と、
を含む推定装置。
【請求項2】
前記推定部により推定された俯角を用いて、前記縦断線形データを補正する補正部
を更に含む請求項1に記載の推定装置。
【請求項3】
前記導出部は、前記走路の画像における路面領域の上端の水平位置又は空の領域の下端の水平位置を検出することによって前記境界位置を導出する
請求項1又は請求項2に記載の推定装置。
【請求項4】
前記導出部は、前記走路の画像における車線の境界線を検出し、前記車線の境界線が終端するか又は不連続になる箇所を検出することによって前記境界位置を導出する
請求項1又は請求項2に記載の推定装置。
【請求項5】
車両に搭載された撮影装置により撮影された前記車両が走行する走路の画像における隠蔽される路面の境界位置を導出し、
前記走路の縦断線形データと、前記境界位置とを用いて、前記走路の画像が撮影された際の俯角を推定する
処理をコンピュータが実行する推定方法。
【請求項6】
車両に搭載された撮影装置により撮影された前記車両が走行する走路の画像における隠蔽される路面の境界位置を導出し、
前記走路の縦断線形データと、前記境界位置とを用いて、前記走路の画像が撮影された際の俯角を推定する
処理をコンピュータに実行させるための推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、推定装置、推定方法、及び推定プログラムに関する。
【背景技術】
【0002】
特許文献1には、自車両の前景を画像データとして取得する撮影装置を有し、自車両が走行中又は走行すると予想される道路の形状を推定する車載用の道路形状推定装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の技術は、単眼の車載カメラにより撮影された画像から抽出した白線に対する3次元モデルフィッティングによる走路パラメータの推定を目的としている。従って、画像から片側の白線しか抽出できない場合等、必ずしも車両が走行する走路モデルのパラメータを精度良く推定できない場合があった。
【0005】
本開示は、以上の事情を鑑みてなされたものであり、車両が走行する走路モデルのパラメータを精度良く推定することができる推定装置、推定方法、及び推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
第1の態様の推定装置は、車両に搭載された撮影装置により撮影された前記車両が走行する走路の画像における隠蔽される路面の境界位置を導出する導出部と、前記走路の縦断線形データと、前記境界位置とを用いて、前記走路の画像が撮影された際の俯角を推定する推定部と、を含む。
【0007】
第1の態様の推定装置によれば、車両が走行する走路の縦断線形データと、走路の画像における隠蔽される路面の境界位置とを用いて、走路の画像が撮影された際の俯角が推定される。従って、俯角を精度良く推定することができる結果、車両が走行する走路モデルのパラメータを精度良く推定することができる。
【0008】
第2の態様の推定装置は、第1の態様の推定装置において、前記推定部により推定された俯角を用いて、前記縦断線形データを補正する補正部を更に含む。
【0009】
第2の態様の推定装置によれば、推定された俯角を用いて、縦断線形データが補正される。従って、その縦断線形データを用いて、車両が走行する走路モデルのパラメータを精度良く推定することができる。
【0010】
第3の態様の推定装置は、第1の態様又は第2の態様の推定装置において、前記導出部は、前記走路の画像における路面領域の上端の水平位置又は空の領域の下端の水平位置を検出することによって前記境界位置を導出する。
【0011】
第3の態様の推定装置によれば、走路の画像における隠蔽される路面の境界位置を精度良く推定することができる。
【0012】
第4の態様の推定装置は、第1の態様又は第2の態様の推定装置において、前記導出部は、前記走路の画像における車線の境界線を検出し、前記車線の境界線が終端するか又は不連続になる箇所を検出することによって前記境界位置を導出する。
【0013】
第4の態様の推定装置によれば、走路の画像における隠蔽される路面の境界位置を精度良く推定することができる。
【0014】
第5の態様の推定方法は、車両に搭載された撮影装置により撮影された前記車両が走行する走路の画像における隠蔽される路面の境界位置を導出し、前記走路の縦断線形データと、前記境界位置とを用いて、前記走路の画像が撮影された際の俯角を推定する処理をコンピュータが実行するものである。
【0015】
第6の態様の推定方法は、車両に搭載された撮影装置により撮影された前記車両が走行する走路の画像における隠蔽される路面の境界位置を導出し、前記走路の縦断線形データと、前記境界位置とを用いて、前記走路の画像が撮影された際の俯角を推定する処理をコンピュータに実行させるためのものである。
【発明の効果】
【0016】
本開示によれば、車両が走行する走路モデルのパラメータを精度良く推定することができる。
【図面の簡単な説明】
【0017】
【
図2】推定装置のハードウェア構成の一例を示すブロック図である。
【
図3】俯角の推定誤差を説明するための側面断面図である。
【
図4】俯角の推定誤差を説明するための走路画像の一例を示す図である。
【
図5】直線をカーブと誤認してしまうことを説明するための平面図である。
【
図6】推定装置の機能的な構成の一例を示すブロック図である。
【
図7】変形例に係る隠蔽路面の境界位置の導出処理を説明するための側面断面図である。
【
図8】変形例に係る隠蔽路面の境界位置の導出処理を説明するための走路画像の一例を示す図である。
【
図9】走路推定処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
【0019】
まず、
図1を参照して、本実施形態に係る車両10の構成を説明する。
図1に示すように、車両10は、車両に搭載された撮影装置の一例としてのカメラ12、及び推定装置14を備える。以下では、車両10の右手方向をX軸、重力方向をY軸、車両10の進行方向をZ軸とした3軸で構成される直交座標系を用いて説明する。本実施形態に係る推定装置14は、自動運転と手動運転との切り替えを可能とする自動運転車両に適用される。
【0020】
カメラ12は、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等のイメージセンサを備える。カメラ12は、車室内のリアビューミラーの位置に前向きに設置され、車両10の前方の画像を撮影し、車両10が走行する走路の画像(以下、「走路画像」という)を推定装置14に対して出力する。カメラ12は、予め設定されたフレームレートに従って走路画像を撮影する。以下では、カメラ12により撮影される画像の座標系として、画像の垂直方向をiy軸、画像の水平方向をix軸とした2軸で構成される直交座標系を用いて説明する。
【0021】
次に、
図2を参照して、本実施形態に係る推定装置14のハードウェア構成を説明する。
図2に示すように、推定装置14は、CPU(Central Processing Unit)20、ROM(Read Only Memory)21、RAM(Random Access Memory)22、及び車内通信I/F(Interface)23を含む。CPU20、ROM21、RAM22、及び車内通信I/F23は、バス27を介して相互に通信可能に接続される。推定装置14の例としては、ECU(Electronic Control Unit)等のコンピュータが挙げられる。
【0022】
CPU20は、プロセッサの一例であり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU20は、ROM21からプログラムを読み出し、RAM22を作業領域としてプログラムを実行する。
【0023】
記憶部としてのROM21には、推定プログラム30及び縦断線形データ32が記憶される。縦断線形データ32には、例えば、経度及び緯度の組合せにより表される位置情報と、その位置情報が示す位置における道路の縦断線形データが含まれる。この縦断線形データの例としては、進行距離に対する路面の高さ又は縦断曲線曲率等が挙げられる。
【0024】
縦断線形データ32には、例えば、過去に自車両及び他の車両が走行した際に高精度測位装置により計測された標高情報を車両の進行距離に対して記憶された蓄積データが含まれる。また、縦断線形データ32には、例えば、LiDAR(Light Detection And Ranging)、ステレオカメラ、又は単眼移動ステレオカメラ等の測距センサにより計測された車両進行方向の縦断線形データが含まれてもよい。また、縦断線形データ32には、例えば、道路設計時の設計データに基づく縦断線形データが含まれてもよい。
【0025】
RAM22は、作業領域として一時的にプログラム及びデータを記憶する。車内通信I/F23は、カメラ12と接続するためのインタフェースである。当該インタフェースは、CAN(Controller Area Network)プロトコルによる通信規格が用いられる。
【0026】
ところで、走路画像に、車両10が走行する車線の境界線が片側しか写らない場合がある。この場合、その走路画像から境界線を検出し、かつ俯角を推定した場合、俯角の推定誤差が大きくなる傾向がある。本実施形態では、車線の境界線を表すレーンマークとして白線を適用した場合について説明する。なお、車線の境界線は、白線に限定されず、縁石等であってもよい。
図3及び
図4を参照し、片側の白線のみが検出可能な走路画像を用いて俯角を推定した場合の誤差について説明する。
【0027】
図3に示すように、車両10が走行する走路の縦断線形が1つの凸型曲線であるものとする。この場合、
図4に示すように、走路画像において、近傍側の路面によって遠方側の路面が隠蔽される場合がある。以下では、走路画像において近傍側の路面によって隠蔽される遠方側の路面を「隠蔽路面」という。
【0028】
この場合、遠方側の路面が不可視領域となることによって視認距離が短くなってしまう結果、俯角の推定精度が低下してしまう場合がある。この場合、俯角の推定誤差に起因して、白線点を路面上へ逆透視変換した場合に、距離の誤差も発生する。
【0029】
この場合、例えば、
図5に示すように、車線の平面線形が直進路であっても、俯角の推定誤差に起因して、白線点を路面上へ逆透視変換する際に、カメラ12からの距離Z1がZ2として誤認されてしまう場合がある。この場合、車線の平面線形が直線であっても、車線がカーブしていると誤認してしまう場合がある。
【0030】
本実施形態に係る推定装置14は、走路画像から片側白線しか検出されず、かつ隠蔽路面が存在する場合においても、俯角の推定精度の低下を抑制する機能を有する。
【0031】
次に、
図6を参照して、本実施形態に係る推定装置14の機能的な構成について説明する。
図6に示すように、推定装置14は、取得部40、導出部42、推定部44、補正部46、及び抽出部48を含む。CPU20が推定プログラム30を実行することにより、取得部40、導出部42、推定部44、補正部46、及び抽出部48として機能する。
【0032】
取得部40は、カメラ12により撮影された走路画像を、車内通信I/F23を介して取得する。
【0033】
導出部42は、取得部40により取得された走路画像における隠蔽路面の境界位置iy
occ(
図4参照)を導出する。具体的には、導出部42は、パターン認識等の公知の技術を用いて走路画像における路面領域を検出し、その路面領域の上端の水平位置を境界位置iy
occとして導出する。なお、導出部42は、走路画像における空の領域を検出し、その空の領域の下端の水平位置を境界位置iy
occとして導出してもよい。
【0034】
また、
図7及び
図8に示すように、縦断線形が凸型曲線の路面と縦断線形が凹型曲線の路面とが連続している場合、Z
occの位置で一旦路面が隠蔽され、より遠方の位置であるZ
reaで再度路面が観測される場合がある。この場合、導出部42は、走路画像における車線の境界線の一例としての白線を検出し、白線が終端するか又は不連続になる箇所を検出することによって境界位置iy
occを導出してもよい。
【0035】
また、導出部42は、縦断線形データ32を用いて、走路画像に写る範囲内に、縦断線形が凸型曲線の路面が1つであるか、又は、縦断線形が凸型曲線の路面と縦断線形が凹型曲線の路面とが連続しているかを判定してもよい。導出部42は、走路画像に写る範囲内に縦断線形が凸型曲線の路面が1つであると判定した場合、走路画像における路面領域の上端の水平位置又は空の領域の下端の水平位置を境界位置iyoccとして導出してもよい。また、導出部42は、走路画像に写る範囲内に縦断線形が凸型曲線の路面と縦断線形が凹型曲線の路面とが連続していると判定した場合、走路画像における白線が終端するか又は不連続になる箇所を検出することによって境界位置iyoccを導出してもよい。
【0036】
推定部44は、縦断線形データ32と、導出部42により導出された境界位置iyoccとを用いて、走路画像が撮影された際のカメラ12と路面とがなす俯角を推定する。以下、推定部44による俯角の推定処理の詳細を説明する。
【0037】
白線の平面線形は以下の(1)式で表される。(1)式におけるXjは、Zj[m]先の白線のオフセット位置を表し、x0は、Z=0におけるオフセット位置[m]を表し、θ0は、Z=0における白線のZ軸に対する角度[rad]を表す。また、(1)式におけるc0は、Z=0における白線の曲率[1/m]を表し、c1は、Z=0における白線の曲率変化率[1/m2]を表す。
【0038】
【0039】
また、白線の縦断線形は以下の(2)式で表される。(2)式におけるYjは、Zj[m]先の白線の路面高さを表し、hは、Z=0における路面に対するカメラ12の高さ[m]を表し、φは、Z=0におけるZ軸に対する俯角[rad]を表す。ここでの俯角は、カメラ座標上でのカメラ光軸に対する路面の傾きを意味する。また、(2)式におけるcv0は、Z=0における白線の縦断曲線曲率[1/m]を表し、cv1は、Z=0における白線の縦断曲線曲率変化率[1/m2]を表す。
【0040】
【0041】
hは、予め計測しておいたり、車高センサによる計測値を取得したりすることによって既知であるとする。cv0及びcv1は、縦断線形データ32から取得が可能である。φは車両状態により変動する。縦断線形データがZ-Y座標点列である場合、最小二乗法等によって予め点列を(2)式にフィッティングすることによりcv0、cv1、及びφを得ることができる。
【0042】
走路画像における白線上の白線点座標値(ixj、iyj)は、以下の(3)式及び(4)式で表される。(3)式及び(4)式におけるfは、焦点距離[m]を表し、rh、rvは、水平方向の画素分解能[m/画素]及び垂直方向の画素分解能[m/画素]を表し、ixc、iyjcは、画像中心座標値を表す。
【0043】
【0044】
【0045】
推定部44により推定された境界位置iyoccまでの距離をZoccとする。このとき、(4)式をZで偏微分することにより以下の(5)式が得られる。
【0046】
【0047】
縦断線形データ32から縦断曲線の縦断曲線曲率cv0及び縦断曲線曲率変化率cv1が得られる場合、カメラ高さhは既知であるため、(5)式を解くことによって距離Zoccを算出することができる。次に、距離Zoccと、境界位置iyoccと、(2)式と、(4)式によって俯角φを算出することができる。このように、推定部44は、俯角φを推定する。
【0048】
補正部46は、推定部44により推定された俯角を用いて、縦断線形データ32から得られた縦断線形データを補正する。補正部46は、この補正によって、縦断線形データをカメラ座標系から見た縦断曲線へと変換する。
【0049】
抽出部48は、公知の処理により走路画像から白線を抽出する。例えば、抽出部48は、走路面と車線境界の境には画像上の輝度差があると仮定して、Sobelフィルタ等のエッジ抽出フィルタによって走路画像から白線を抽出する。なお、抽出部48は、画像中の小領域内では車線境界は直線であると仮定して、ハフ変換等により白線を抽出してもよい。また、抽出部48は、深層学習により得られた学習済みモデルに対して走路画像を入力することによって白線を抽出してもよい。
【0050】
次に、抽出部48は、抽出した白線点座標位置から、最小二乗法、RANSAC、拡張カルマンフィルタ、又はパーティクルフィルタ等によってフィッティングした結果として車線を表す平面曲線を導出する。白線点座標値は、3次元の距離の情報が欠落しているため、抽出部48は、補正部46による補正により得られた縦断曲線へ白線点座標値を逆透視変換することにより、白線点のZ軸方向(すなわち、奥行き方向)の距離を導出する。平面曲線は、例えば、走路モデルのパラメータ(例えば、車線に対する相対位置姿勢、及び走路の曲率等)又は車線を表す点列で表現される。抽出部48により導出された平面曲線は、自動運転を制御するECU及び警告を制御するECU等に送信され、各種アプリケーションによって利用される。
【0051】
次に、
図9を参照して、本実施形態に係る推定装置14の作用を説明する。
図9に示す走路推定処理は、例えば、車両10の動作モードが自動運転モードに設定された場合、及び運転者により実行指示が入力された場合等に実行される。
【0052】
図9のステップS10で、取得部40は、カメラ12により撮影された走路画像を、車内通信I/F23を介して取得する。ステップS12で、導出部42は、前述したように、ステップS10で取得された走路画像における隠蔽路面の境界位置iy
occを導出する。ステップS14で、推定部44は、前述したように、縦断線形データ32と、ステップS12で導出された境界位置iy
occとを用いて、走路画像が撮影された際のカメラ12と路面とがなす俯角を推定する。
【0053】
ステップS16で、補正部46は、前述したように、推定部44により推定された俯角を用いて、縦断線形データ32から得られた縦断線形データを補正する。ステップS18で、抽出部48は、前述したように、ステップS10で取得された走路画像から白線を抽出する。ステップS20で、抽出部48は、前述したように、ステップS18で抽出した白線点座標位置から、最小二乗法、RANSAC、拡張カルマンフィルタ、又はパーティクルフィルタ等によってフィッティングした結果として車線を表す平面曲線を導出する。ステップS20の処理が終了すると、処理はステップS10に戻る。
【0054】
以上説明したように、本実施形態によれば、縦断線形データと、走路画像における隠蔽路面の境界位置とに基づいて俯角を推定し、その俯角を用いて縦断線形データを補正しているため、白線点の路面への逆透視変換時の距離誤差を低減することができる。この結果、車両が走行する走路モデルのパラメータを精度良く推定することができる。
【0055】
なお、上記実施形態では、道路の縦断線形データがROM21に予め記憶される場合について説明したが、これに限定されない。CPU20が、GPS(Global Positioning System)装置等の測位装置から得られる測位情報から縦断線形データを導出する形態としてもよい。また、CPU20が、走路画像を入力とし、縦断線形データを出力とする学習済みモデルであって、深層学習により得られた学習済みモデルに対して走路画像を入力することによって縦断線形データを導出する形態としてもよい。
【0056】
また、上記実施形態において、推定装置14の各種の処理を実行する機能部をCPU以外のプロセッサにより実現してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、推定装置14の各機能部を、これらの各種のプロセッサのうちの1つで実現してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実現してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【0057】
また、上記実施形態では、推定プログラム30がROM21に予め記憶(インストール)されている態様を説明したが、これに限定されない。推定プログラム30は、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、推定プログラム30は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【符号の説明】
【0058】
10 車両
12 カメラ
14 推定装置
20 CPU
21 ROM
22 RAM
23 車内通信I/F
27 バス
30 推定プログラム
32 縦断線形データ
40 取得部
42 導出部
44 推定部
46 補正部
48 抽出部