IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-19
(45)【発行日】2024-12-27
(54)【発明の名称】路面描画装置および路面描画方法
(51)【国際特許分類】
   B60Q 1/26 20060101AFI20241220BHJP
【FI】
B60Q1/26 Z
【請求項の数】 12
(21)【出願番号】P 2024548814
(86)(22)【出願日】2022-09-26
(86)【国際出願番号】 JP2022035638
(87)【国際公開番号】W WO2024069682
(87)【国際公開日】2024-04-04
【審査請求日】2024-09-17
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100088672
【弁理士】
【氏名又は名称】吉竹 英俊
(74)【代理人】
【識別番号】100088845
【弁理士】
【氏名又は名称】有田 貴弘
(72)【発明者】
【氏名】川村 敏
(72)【発明者】
【氏名】井上 悟
(72)【発明者】
【氏名】長谷川 誠治
【審査官】山崎 晶
(56)【参考文献】
【文献】特開2021-46206(JP,A)
【文献】特開2019-197008(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60Q 1/00
(57)【特許請求の範囲】
【請求項1】
車両に搭載された少なくとも1つのカメラにより撮影された前記車両の周辺路面の撮影画像の情報である撮影画像情報を取得する画像取得部と、
前記車両に搭載された少なくとも1つの投光部による前記周辺路面への投光を制御する投光制御部と、を備え、
前記投光制御部は、
基準路面に第1基準描画パターンを描画する第1基準投光パターンの光を前記少なくとも1つの投光部に投光させ、
前記第1基準投光パターンの光が前記周辺路面に描画した第1実描画パターンを前記撮影画像情報から抽出し、
前記第1実描画パターンと前記第1基準描画パターンとの差分に基づき補正量を算出し、
前記基準路面に前記第1基準描画パターンと同一または異なる第2基準描画パターンを描画する、前記第1基準投光パターンと同一または異なる第2基準投光パターンを前記補正量で補正することにより補正投光パターンを作成し、
前記少なくとも1つの投光部に前記補正投光パターンの光を前記周辺路面へ投光させることにより、前記周辺路面に第2実描画パターンを描画させ、
前記投光制御部は、前記第1実描画パターンと前記第1基準描画パターンとの面積の差が予め定められた閾値以上である場合に前記補正投光パターンを作成するか、または、前記撮影画像情報が前記撮影画像中の特徴点間の距離の情報を含む場合に、前記撮影画像情報から取得した、前記第1基準描画パターンの各特徴点に対応する前記第1実描画パターンの各特徴点間の距離との比較に基づき、前記補正投光パターンを作成する、
路面描画装置。
【請求項2】
前記少なくとも1つの投光部は、前記車両の複数個所に設けられた複数の投光部であり、
前記少なくとも1つのカメラは、前記複数の投光部に対応して前記車両の複数個所に設けられた複数のカメラである、
請求項1に記載の路面描画装置。
【請求項3】
前記投光制御部は、特定視点から前記第2実描画パターンの各特徴点を見る方位角および俯角が、前記特定視点から前記第2実描画パターンの各特徴点に対応する前記第1基準描画パターンの各特徴点の前記特定視点から見る方位角および俯角に一致するよう、前記補正投光パターンを作成する、
請求項1に記載の路面描画装置。
【請求項4】
前記第2基準描画パターンは特定視点から立体視される画像である、
請求項1に記載の路面描画装置。
【請求項5】
前記第1基準投光パターンの光は不可視光であり、
前記第2基準投光パターンおよび前記補正投光パターンの光は可視光である、
請求項1に記載の路面描画装置。
【請求項6】
前記第1基準投光パターンと前記第2基準投光パターンは同一であり、
前記投光制御部は、直近の前記補正投光パターンを新たな前記第2基準投光パターンとし、直近の前記補正投光パターン作成時の前記周辺路面を新たな前記基準路面として、新たな前記補正投光パターンを作成する、
請求項1に記載の路面描画装置。
【請求項7】
前記第1実描画パターンの特徴点数と前記第1基準描画パターンの特徴点数との差が予め定められた閾値以上である場合、前記車両に搭載された出力装置に警報を出力させる警報制御部をさらに備える、
請求項1に記載の路面描画装置。
【請求項8】
前記投光制御部は、前記周辺路面の下り勾配値が予め定められた閾値を超える場合に、超えない場合より前記補正投光パターンの光の輝度を大きくする、
請求項1に記載の路面描画装置。
【請求項9】
前記少なくとも1つの投光部は複数の投光部であり、
前記画像取得部は、前記複数の投光部から前記周辺路面に投光されて描画された位置合わせパターンの、前記少なくとも1つのカメラによる撮影画像の情報を取得し、
前記投光制御部は、前記位置合わせパターンの撮影画像の情報に基づき、前記複数の投光部間の位置または回転の関係の少なくとも一方を補正する、
請求項1に記載の路面描画装置。
【請求項10】
前記少なくとも1つのカメラは複数のカメラであり、
前記画像取得部は、前記複数のカメラによる前記周辺路面上の同一の対象物の撮影画像の情報を取得し、
前記投光制御部は、前記複数のカメラによる前記周辺路面上の同一の対象物の撮影画像の情報から、前記同一の対象物の位置に関する値を検出し、検出した値から前記複数のカメラ間の位置または回転の関係の少なくとも一方を補正する、
請求項1に記載の路面描画装置。
【請求項11】
前記投光制御部は、前記少なくとも1つのカメラによる前記周辺路面の撮影画像の情報から、前記少なくとも1つの投光部が前記周辺路面に投光した光の位置に関する値を検出し、検出した前記光の位置に関する値に基づき、前記少なくとも1つの投光部と前記少なくとも1つのカメラとの間の、位置または回転の少なくとも一方を補正する、
請求項1に記載の路面描画装置。
【請求項12】
画像取得部が、車両に搭載された少なくとも1つのカメラにより撮影された前記車両の周辺路面の撮影画像の情報である撮影画像情報を取得し、
投光制御部が、前記車両に搭載された少なくとも1つの投光部による前記周辺路面への投光を制御し、
前記投光制御部が、基準路面に第1基準描画パターンを描画する第1基準投光パターンの光を前記少なくとも1つの投光部に投光させ、
前記投光制御部が、前記第1基準投光パターンの光が前記周辺路面に描画した第1実描画パターンを前記撮影画像情報から抽出し、
前記投光制御部が、前記第1実描画パターンと前記第1基準描画パターンとの差分に基づき補正量を算出し、
前記投光制御部が、前記基準路面に前記第1基準描画パターンと同一または異なる第2基準描画パターンを描画する、前記第1基準投光パターンと同一または異なる第2基準投光パターンを前記補正量で補正することにより補正投光パターンを作成し、
前記投光制御部が、前記少なくとも1つの投光部に前記補正投光パターンの光を前記周辺路面へ投光させることにより、前記周辺路面に第2実描画パターンを描画させ、
前記投光制御部は、前記第1実描画パターンと前記第1基準描画パターンとの面積の差が予め定められた閾値以上である場合に前記補正投光パターンを作成するか、または、前記撮影画像情報が前記撮影画像中の特徴点間の距離の情報を含む場合に、前記撮影画像情報から取得した、前記第1基準描画パターンの各特徴点に対応する前記第1実描画パターンの各特徴点間の距離との比較に基づき、前記補正投光パターンを作成する、
路面描画方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両から路面へ光を照射して図形または文字などのパターンを描画する技術に関する。
【背景技術】
【0002】
特許文献1に記載の路面描画装置は、所期の画像を路面に歪むことなく正しく描画するため、ヘッドランプの高さまたは左右の間隔などの配置関係に基づいて、所期の画像を補正して投光する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2022-86966号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1に記載の路面描画装置は、水平な路面に画像を描画することを前提としているため、路面に傾斜がある場合または路面に凹凸がある場合には、描画画像が歪んでしまうという問題があった。
【0005】
本開示は、上記の問題点を解決するためになされたものであり、車両から路面への投光により、路面の勾配または凹凸を問わず所期の描画パターンを歪みなく描画することを目的とする。
【課題を解決するための手段】
【0006】
本開示の路面描画装置は、車両に搭載された少なくとも1つのカメラにより撮影された車両の周辺路面の撮影画像の情報である撮影画像情報を取得する画像取得部と、車両に搭載された少なくとも1つの投光部による周辺路面への投光を制御する投光制御部と、を備える。投光制御部は、基準路面に第1基準描画パターンを描画する第1基準投光パターンの光を少なくとも1つの投光部に投光させ、第1基準投光パターンの光が周辺路面に描画した第1実描画パターンを撮影画像情報から抽出し、第1実描画パターンと第1基準描画パターンとの差分に基づき補正量を算出し、基準路面に第1基準描画パターンと同一または異なる第2基準描画パターンを描画する、第1基準投光パターンと同一または異なる第2基準投光パターンを補正量で補正することにより補正投光パターンを作成し、少なくとも1つの投光部に補正投光パターンの光を周辺路面へ投光させることにより、周辺路面に第2実描画パターンを描画させ、投光制御部は、第1実描画パターンと第1基準描画パターンとの面積の差が予め定められた閾値以上である場合に補正投光パターンを作成するか、または、撮影画像情報が撮影画像中の特徴点間の距離の情報を含む場合に、撮影画像情報から取得した、第1基準描画パターンの各特徴点に対応する第1実描画パターンの各特徴点間の距離との比較に基づき、補正投光パターンを作成する。
【発明の効果】
【0007】
本開示の路面描画装置によれば、車両から路面への投光により、路面の勾配を問わず所期の描画パターンを歪みなく描画することができる。本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
【図面の簡単な説明】
【0008】
図1】車両の投光部から周辺路面に投光される様子を示す図である。
図2】基準路面に描画される基準描画パターンを示す図である。
図3】勾配のある路面に描画される実描画パターンを示す図である。
図4】実施の形態1に係る路面描画装置およびその周辺装置の構成を示すブロック図である。
図5】路面の勾配に応じた実描画パターンの変化を示す図である。
図6】実施の形態1に係る路面描画装置の動作を示すフローチャートである。
図7】実描画パターンの面積を示す図である。
図8】実描画パターンの分割領域ごとの面積を示す図である。
図9】実描画パターンの特徴点を示す図である。
図10】実描画パターンの寸法を示す図である。
図11】実描画パターンの分割領域ごとの寸法を示す図である。
図12】平坦な路面S0に投射された基準描画パターンを示す図である。
図13】平坦でない路面S1に投射された実描画パターンを示す図である。
図14】実施の形態4に係る路面描画装置の動作を示すフローチャートである。
図15】視点Vから見た実描画パターンの投影点P1の方位角を基準描画パターンの投影点P0の方位角にあわせて補正する様子を示す図である。
図16】視点Vから見た実描画パターンの投影点P1の俯角を基準描画パターンの投影点P0の俯角にあわせて補正する様子を示す図である。
図17】視点V1から立体視される仮想的な直方体を示す図である。
図18】視点V1から立体視される仮想的な直方体のxz平面図である。
図19】視点V1から立体視される仮想的な直方体のxy平面図である。
図20】視点V1から立体視される仮想的な直方体の描画パターンのxy平面図である。
図21】視点V2から立体視される仮想的な直方体を示す図である。
図22】視点V2から立体視される仮想的な直方体のxz平面図である。
図23】視点V2から立体視される仮想的な直方体のxy平面図である。
図24】視点V2から立体視される仮想的な直方体の描画パターンのxy平面図である。
図25】実施の形態7に係る路面描画装置およびその周辺装置の構成を示すブロック図である。
図26】欠損した実描画パターンを示す図である。
図27】実施の形態7に係る路面描画装置の動作を示すフローチャートである。
図28】2つの投光部から同一の方向に投光された位置合わせパターンを示す図である。
図29】格子状の位置合わせパターンを示す図である。
図30】各実施の形態の路面描画装置のハードウェア構成を示す図である。
図31】各実施の形態の路面描画装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【0009】
<A.実施の形態1>
図1は、車両Mの投光部22L,22Rから周辺路面3に投光される様子を示している。投光部22L,22Rは、例えば車両Mのヘッドライトである。図1において、周辺路面3は車両Mの前方路面である。図1において、投光部22L,22Rの照射範囲は符号6で示されている。
【0010】
実施の形態1における路面描画装置は、投光部22L,22Rの投光を制御し、周辺路面3に所定のパターンが描画されるようにする。投光部22L,22Rの投光により周辺路面3に描画されるパターン(以下、「描画パターン」と称する)は、例えば車両Mのドライバー1に向けられたものである。ドライバー1に対する描画パターンの例は、車両Mの望ましい進行方向を表す矢印である。ドライバー1は、周辺路面3の描画パターンに示された進行方向に沿って車両Mを運転することができる。
【0011】
描画パターンは、例えば車両Mの周辺の歩行者7などの交通参加者に向けられたものであってもよい。歩行者7に対する描画パターンの例は、車両Mの進行方向を表す矢印である。歩行者7は、周辺路面3の描画パターンを見て車両Mの進行方向を把握し、車両Mを避ける行動をとることができる。
【0012】
このように、路面描画装置は、周辺路面3に矢印などの所定の描画パターンが描画されるように投光部22L,22Rから投射される光のパターン(以下、「投光パターン」)を制御する。描画パターンは投光部22L,22Rのいずれか一方の投光により描画されてもよい。
【0013】
図1は、周辺路面3の勾配が車両Mの走行地点と投光部22の投光位置とで変化しない、水平な路面である場合を示している。このような水平な路面は基準路面とも称される。
【0014】
これに対して図2は、周辺路面3の勾配が車両Mの走行地点と投光部22の投光位置とで変化する場合を示している。図2において、周辺路面3の勾配は車両Mの走行地点では水平だが、車両Mの前方で下りになる。基準路面ではない周辺路面3に、基準路面に対すると同様の投光パターンが投光されても、所期の描画パターンは得られない。
【0015】
図2において、水平であると仮定した周辺路面3が一点鎖線で示されている。周辺路面3が水平である場合、周辺路面3には円形の描画パターン8が描画される。この描画パターン8が所期の描画パターンである。
【0016】
図3は、図2の周辺路面3を車両Mの上方から見た図である。図3における実線Aおよび破線B,Cの位置は、図2における実線Aおよび破線B,Cの位置に対応する。図3に示されるように、下り勾配の周辺路面3における描画パターン9は、車両Mの進行方向に伸びたパターンとなってしまう。このように、投光部22から同一のパターンを投光しても、周辺路面3に実際に描画されるパターンは周辺路面3の勾配に応じて異なる。
【0017】
そこで、実施の形態1に係る路面描画装置は、車両Mの周辺路面3の勾配に応じて、投光部22の投光パターンを補正することにより、どのような勾配の周辺路面3にも所期のパターンが描画されるようにする。
【0018】
図4は、実施の形態1に係る路面描画装置101とその周辺装置の構成を示すブロック図である。路面描画装置101は、車両Mに搭載された投光部22の投光パターンを周辺路面3の勾配に応じて補正することにより、投光部22の投光により周辺路面3に実際に描画されるパターン(以下、「実描画パターン」と称する)の歪みを抑制する。なお、投光部22は1つでも複数でも良く、図1から図3では、車両Mの左側前方および右側前方に設けられた2つの投光部22が投光部22R,22Lとして示されている。
【0019】
路面描画装置101は、画像取得部11と投光制御部12とを備えて構成される。
【0020】
画像取得部11は、車両Mのフロントカメラ21の撮影画像をフロントカメラ21から取得する。フロントカメラ21は投光部22の投光範囲を含む車両Mの周辺路面3を撮影するカメラの例である。フロントカメラ21は車両Mの前方を撮影する。フロントカメラ21は周辺路面3の撮影画像の情報である撮影画像情報を画像取得部11に出力する。投光部22が周辺路面3に投光する場合、フロントカメラ21の撮影画像には、投光部22の投光による周辺路面3の実描画パターンが含まれている。
【0021】
フロントカメラ21は1個でも複数個でもよい。図1には、ドライバー1の頭部の上方に設けられた1個のフロントカメラ21Aが例示されている。すなわち、フロントカメラ21は1個のフロントカメラ21Aであってもよい。また、図2および図3には、車両Mの2個の投光部22L,22Rの近傍に設けられた2個のフロントカメラ21Bが例示されている。すなわち、フロントカメラ21は複数の投光部22L,22Rに対応して車両Mの複数個所に設けられた複数のフロントカメラ21Bであってもよい。
【0022】
投光制御部12は、周辺路面3に応じた投光パターンの補正量を知るため、まず第1基準投光パターンを作成し、これを投光部22に投光させる。ここで、第1基準投光パターンは、基準路面に投光されることで、基準路面に第1基準描画パターンを描画することが可能な投光部22の投光パターンである。第1基準描画パターンは、後述する実描画パターンと比較され、周辺路面3の勾配に応じた補正量を算出するために用いられるパターンである。第1基準描画パターンは、例えば、路面描画装置101が周辺路面3に描画したい所期のパターンである。あるいは、第1基準描画パターンは、より簡素なパターンであってもよい。
【0023】
投光部22から周辺路面3に第1基準投光パターンが投光されると、周辺路面3にパターンが描画される。第1基準投光パターンにより周辺路面3に描画される実描画パターンを実描画パターンと称する。実描画パターンの画像はフロントカメラ21により撮影され、画像取得部11に取得される。投光制御部12は、画像取得部11から取得した撮影画像情報から実描画パターンを抽出し、実描画パターンと第1基準描画パターンとを比較して補正量を算出する。
【0024】
投光制御部12は、算出した補正量を用いて第2基準投光パターンを補正することにより、補正投光パターンを作成し、これを投光部22に投光させる。第2基準投光パターンは、路面描画装置101が描画したい所期のパターンを基準路面に描画することが可能な投光パターンである。従って、路面描画装置101が周辺路面3に描画したい所期のパターンが第1基準描画パターンに用いられる場合、第2基準投光パターンは第1基準投光パターンと同じパターンである。また、より簡素なパターンが第1基準描画パターンに用いられる場合、第2基準投光パターンは第1基準投光パターンと異なるパターンである。
【0025】
第1基準投光パターンにより周辺路面3に描画される実描画パターンを第1実描画パターンとも称し、補正投光パターンにより周辺路面3に描画される実描画パターンを第2実描画パターンとも称する。第1基準投光パターンと第2基準投光パターンが同じパターンである場合、第2実描画パターンと基準描画パターンとのズレは、第1実描画パターンと基準描画パターンとのズレよりも小さい。このように、投光部22の投光パターンを補正することにより、周辺路面3がどのような勾配であっても、所期のパターンを描画することが可能となる。
【0026】
以下の説明では、第1基準描画パターンを路面描画装置101が周辺路面3に描画したい所期のパターンとし、第1基準投光パターンと第2基準投光パターンとを同一のパターンとする。
【0027】
図2では円形の描画パターン8が基準描画パターンであった。しかし、基準描画パターンの形状は円形に限らない。図5は、種々の形状の基準描画パターンと、それに対応する実描画パターンとを示している。図5において、破線は基準描画パターンを示し、梨地ハッチングされた領域は実描画パターンを示している。基準描画パターンは、円形、直進矢印、または右折矢印などのパターンである。周辺路面3が平坦な基準路面である場合、実描画パターンは基準描画パターンに一致する。しかし、周辺路面3が下り勾配である場合、実描画パターンは基準描画パターンを車両Mの進行方向に伸ばしたパターンとなる。また、周辺路面3が上り勾配である場合、実描画パターンは基準描画パターンを車両Mの進行方向に縮めたパターンとなる。
【0028】
図6は、路面描画装置101の動作を示すフローチャートである。以下、図8のフローに沿って路面描画装置101の動作を説明する。
【0029】
まず、ステップS101において投光制御部12が基準投光パターンを作成する。投光制御部12は、周辺路面3に描画したい基準描画パターンを基に、基準投光パターンを作成する。
【0030】
次に、ステップS102において投光制御部12は基準投光パターンを投光部22に出力し、周辺路面3への基準投光パターンの投光を投光部22に指示する。これにより、投光部22から周辺路面3に基準投光パターンが投光され、実描画パターンが描画される。この実描画パターンは、フロントカメラ21により撮影される。
【0031】
その後、ステップS103において画像取得部11がフロントカメラ21から実描画パターンの撮影画像を取得する。
【0032】
次に、ステップS104において、投光制御部12は実描画パターンを基準描画パターンと比較し、基準投光パターンの補正要否を判断する。ステップS104で補正不要の場合、路面描画装置101の処理はステップS103に戻る。ステップS104において補正要の場合、ステップS105において基準投光パターンの補正量を算出する。
【0033】
ステップS105の後、ステップS106において投光制御部12はステップS105で算出した補正量を用いて基準投光パターンを補正し、補正投光パターンを作成する。
【0034】
ステップS106の後、ステップS107において投光制御部12は投光部22に補正投光パターンを出力し、周辺路面3への補正投光パターンの投光を投光部22に指示する。これにより、投光部22から周辺路面3へ補正投光パターンが投光される。そして、路面描画装置101の処理はステップS103に戻る。
【0035】
以下、ステップS104-106の処理の具体例を示す。この具体例では、投光制御部12は、基準描画パターンの面積を実描画パターンの面積と比較し、両者の面積の差分が予め定められた閾値以上である場合に、補正投光パターンを作成する。なお、以下の説明では、車両Mのドライバー1の目、フロントカメラ21、および投光部22の相対位置は固定とする。また、基準描画パターン、基準描画パターンのフロントカメラ21による撮像画面、およびドライバー1により視認される基準描画パターンは相似形であるものとする。
【0036】
図7は、矢印形状の実描画パターンを示している。投光制御部12は、実描画パターンの面積Aと基準描画パターンの面積Aoとを算出し、両者の面積比A/Ao=AKを算出し、面積比の逆数1/AKを基準投光パターンの補正量とする。
【0037】
また、投光制御部12は、実描画パターンおよび基準描画パターンの面積比AKを予め定められた閾値AKthと比較し、AK<AKthの場合に補正不要、AK≧AKthの場合に補正要と判断する。言い換えれば、投光制御部12は、実描画パターンと基準描画パターンとの面積の差が予め定められた閾値以上である場合に、補正投光パターンを作成する。補正要の場合、投光制御部12は、基準投光パターンの面積を1/AK倍に拡大または縮小することによって、補正投光パターンを作成する。
【0038】
図7では、実描画パターンの全領域の面積と、基準描画パターンの全領域の面積とが比較された。しかし、投光制御部12は、実描画パターンを図8の破線で示すように複数の領域に分割し、分割領域ごとに面積比較を行っても良い。図8において、実描画パターンは6つの領域に分割されている。実描画パターンの各分割領域の面積をA1-A6とする。投光制御部12は、実描画パターンの各分割領域に対応して、基準描画パターンを6つの領域に分割する。基準描画パターンの各分割領域の面積をAo1‐Ao6とする。投光制御部12は、分割領域ごとに実描画パターンおよび基準描画パターンの面積比Ai/Aoi=AKi(iは1から6の自然数)を算出し、その逆数1/AKiを基準投光パターンの補正量とする。
【0039】
次に、投光制御部12は、分割領域ごとの実描画パターンおよび基準描画パターンの面積比AKiを予め定められた閾値AKithと比較し、全ての分割領域でAKi<AKithである場合に補正不要と判断し、Aki≧Akithとなる分割領域が1つでもあれば補正要と判断する。補正要の場合、投光制御部12は、Aki≧Akithとなった基準描画パターンの分割領域に対応する基準投光パターンの領域の面積を1/Aki倍に拡大または縮小することによって、補正投光パターンを作成する。
【0040】
実施の形態1に係る路面描画装置101は、画像取得部11と投光制御部12とを備える。画像取得部11は、車両Mに搭載された少なくとも1つのカメラにより撮影された車両Mの周辺路面3の撮影画像の情報である撮影画像情報を取得する。投光制御部12は、車両Mに搭載された少なくとも1つの投光部22による周辺路面3への投光を制御する。より具体的には、投光制御部12は、基準路面に第1基準描画パターンを描画する第1基準投光パターンの光を少なくとも1つの投光部22に投光させ、第1基準投光パターンの光が周辺路面3に描画した第1実描画パターンを撮影画像情報から抽出し、第2実描画パターンの第1基準描画パターンとの差分に基づき補正量を算出し、基準路面に第1基準描画パターンと同一または異なる第2基準描画パターンを描画する、第1基準投光パターンと同一または異なる第2基準投光パターンを補正量で補正することにより補正投光パターンを作成し、補正投光パターンの光を少なくとも1つの投光部22に投光させることにより、周辺路面3に第2実描画パターンを描画させる。これにより、周辺路面3の勾配を問わず、周辺路面3に描画したい所期のパターンが描画される。
【0041】
<B.実施の形態2>
実施の形態2の路面描画装置102は、図4に示される通り、実施の形態1の路面描画装置101と同様の構成である。実施の形態2では、図6のステップS104-106の具体的な処理が、以下の通り実施の形態1とは異なる。
【0042】
実施の形態1において、投光制御部12は基準描画パターンおよび実描画パターンの面積比較により補正量を算出した。一方、実施の形態2において、投光制御部12は基準描画パターンおよび実描画パターンの特徴点間の距離を比較することにより補正量を算出する。
【0043】
図9は、矢印形状の実描画パターンの特徴点a,b,d,e,f,gを示している。投光制御部12は、実描画パターンの画像の点滅、パターンマッチング、もしくはSURF(Speeded-Up Robust Features)またはSIFT(Scale-Invariant Feature Transform)などの検出アルゴリズムを用いて、これら特徴点a,b,d,e,f,gを抽出することができる。
【0044】
そして、投光制御部12は、図10に示すように、特徴点b,e間の距離L1、特徴点a,gまたはa,f間の距離L2、および特徴点f,gの距離L3を算出する。同様に、投光制御部12は、実描画パターンの特徴点a,b,d,e,f,gに対応する基準描画パターンの特徴点ao,bo,do,eo,fo,goを抽出し(図示せず)、特徴点ao,eo間の距離Lo1、特徴点ao,goまたはao,fo間の距離Lo2、および特徴点fo,goの距離Lo3を算出する。
【0045】
ステップS104において投光制御部12は、特徴点間の距離の比LKiを予め定められた閾値LKthと比較し、LKi<LKthの場合に補正不要と判断し、LKi≧LKthの場合に補正要と判断する。
【0046】
ステップS104において補正要の場合、ステップS105において投光制御部12は、実描画パターンおよび基準描画パターンの特徴点間の距離の比Li/Loi=LKi(i=1,2,3)を算出し、その逆数1/LKiを基準投光パターンの補正量とする。
【0047】
ステップS105の後、ステップS106において投光制御部12は、基準描画パターンの特徴点に対応する基準投光パターンの特徴点間の距離に1/LKiをかけることにより、基準投光パターンを拡大または縮小し、補正投光パターンを作成する。
【0048】
実描画パターンおよび基準描画パターンの特徴点間の距離比較についても、面積比較と同様、分割領域ごとに行われてもよい。図11の例では、実描画パターンが左右、および上下に計4つの領域に分割され、各分割領域における特徴点間の距離がL11,L12,L21,L22,L23,L24,L31,L32と算出されている。
【0049】
実施の形態2に係る路面描画装置102において、撮影画像情報は撮影画像中の特徴点間の距離の情報を含む。投光制御部12は、第1基準描画パターンの各特徴点間の距離と、撮影画像情報から取得した、第1基準描画パターンの各特徴点に対応する実描画パターンの各特徴点間の距離との比較に基づき、補正投光パターンを作成する。
【0050】
<C.実施の形態3>
実施の形態3の路面描画装置103は、図4に示される通り、実施の形態1,2の路面描画装置101,102と同様の構成である。実施の形態3では、図6のステップS104-106の具体的な処理が、以下の通り実施の形態1,2とは異なる。
【0051】
図3に示されるように、フロントカメラ21が2個のフロントカメラ21B、すなわちステレオカメラで構成されている場合、投光制御部12は、2個のフロントカメラ21Bが撮影した実描画パターンの画像から、実描画パターンの各特徴点のフロントカメラ21Bとの距離を測定することができる。従って、投光制御部12は、実描画パターンの各特徴点のフロントカメラ21Bとの距離が、基準描画パターンの各特徴点のフロントカメラ21Bとの距離と一致するように、基準投光パターンを補正することが可能である。
【0052】
図3には、描画パターン9(実描画パターン)の各特徴点のフロントカメラ21Bとの距離D1,D2が示されている。同様に、投光制御部12は、基準描画パターンの各特徴点のフロントカメラ21Bとの距離Do1,Do2を算出する。
【0053】
ステップS104において投光制御部12は、距離の比DKiを予め定められた閾値Dthと比較し、DKi<DKthの場合に補正不要と判断し、DKi≧DKthの場合に補正要と判断する。
【0054】
ステップS104において補正要の場合、ステップS105において投光制御部12は、実描画パターンにおける各特徴点のフロントカメラ21Bとの距離と、基準描画パターンにおける各特徴点のフロントカメラ21Bとの距離との比Di/Doi=DKi(i=1,2)を算出し、その逆数1/DKiを基準投光パターンの補正量とする。
【0055】
ステップS105の後、ステップS106において投光制御部12は、基準描画パターンの各特徴点とフロントカメラ21Bとの距離に1/DKiをかけて得られる描画パターンを描画できるように、基準投光パターンを補正し、補正投光パターンとする。この方法によれば、周辺路面3の勾配が変化しても、車両Mから常に一定の距離にパターンを描画できる。
【0056】
<D.実施の形態4>
実施の形態4の路面描画装置104は、図4に示される通り実施の形態1-3と同様の構成である。実施の形態4では、図6のステップS104-106の具体的な処理が、実施の形態1-3とは異なる。路面描画装置104は、特定視点から第2実描画パターンの各特徴点を見る方位角および俯角が、特定視点から第2実描画パターンの各特徴点に対応する第1基準描画パターンの各特徴点を見る方位角および俯角と一致するよう、基準投光パターンを補正して補正投光パターンを作成する。
【0057】
図12は、光源Oから平坦な路面S0に向かって基準投光パターンが投光された状態を示している。xyz座標は車両Mの車体上に原点を有する。x軸方向は車体の前方方向であり、y軸方向は右方向であり、z軸は高さ方向である。光源Oから投光部22L,22Rまたはフロントカメラ21のフレーム面fへおろした垂線は、フレーム面fの中心でフレーム面と交わる。原点との角度または座標軸方向の距離により、フレーム内の位置が示される。これをフレーム座標とする。投影面が決まると、数式によりフレーム座標を投影位置の座標に変換することが可能である。投光部22L,22Rのフレーム座標上に外枠ABCDを有する矢印形状の描画パターンを描くと、路面S0には、座標返還された図形が描画される。フレーム座標上の長方形は路面S0に対して台形状に投影される。路面S0は基準路面であり、路面S0に描画されるパターンは基準描画パターンである。路面S0上の基準描画パターンを構成する投影点をP0(x0,y0,z0)とする。
【0058】
図13は、光源Oから路面S1に向かって図12と同じ基準投光パターンが投光された状態を示している。路面S1は平坦ではないため、路面S1に描画される実描画パターンは図12の基準描画パターンとは異なり、歪が生じている。図12の基準描画パターンにおける外枠ABCDは、図13の実描画パターンにおいては外枠A´B´C´D´に変形する。外枠と同様に、枠内の矢印も同様に変形する。路面S1上の実描画パターンを構成する投影点をP1(x1,y1,z1)とする。
【0059】
ここで、実描画パターンの歪を補正することを考える。しかし、路面S0と路面S1とは高さ方向(図12,13におけるz軸方向)の位置が異なるため、基準投光パターンを補正しても、路面S0と同じ高さに実描画パターンを描画することはできない。実描画パターンをどの視点で見るかにより、基準描画パターン上の特徴点と、対応する実描画パターン上の特徴点とのズレの大きさおよび方向は異なる。
【0060】
そこで、路面描画装置104は、任意の視点Vから路面S1上の実描画パターンの各特徴点を見る方向(方位角および俯角)が、同視点Vから路面S0上の基準描画パターンの各特徴点を見る方向(方位角および俯角)と一致するように、路面S1へ投光する基準投光パターンを補正して補正投光パターンを作成する。これにより、路面描画装置104は、路面による描画パターンの見え方の違いを補正する。
【0061】
図14は、路面描画装置104による投光パターン補正処理のフローチャートである。以下、図14のフローに沿って路面描画装置104の投光パターン補正処理を説明する。
【0062】
まず、ステップS201において投光制御部12は、路面S1に描画したい投影画像を取得する。投影画像は、単純な二次元図形でも、三次元図形でも、複数の図形が時系列で変化するものであってもよい。
【0063】
次に、ステップS202において投光制御部12は、視点Vの位置(以下、視点位置)(Xv,Yv,Zv)を取得する。視点位置は決められた値でもよいし、Lidar(Light Detection And Ranging)またはカメラなどの三次元距離センサーを用いて取得された値でもよい。
【0064】
その後、ステップS203において投光制御部12は、投影画像を視点位置で補正することにより基準描画パターンを作成する。基準路面に描画された基準描画パターンを視点位置から見ると、投影画像として見える。基準描画パターンは、投影画像、投光部22の位置および視点位置に基づき定められる。
【0065】
次に、ステップS204において投光制御部12は、基準描画パターンを基に基準投光パターンを作成する。基準投光パターンは、投光部22に設定されるパターンであり、基準描画パターンから逆算して作成される。本ステップは、図6のステップS101に対応する。
【0066】
その後、ステップS205において、投光制御部12は基準投光パターンの特徴点を抽出する。
【0067】
基準投光パターンの特徴点に対応する基準描画パターンの特徴点の位置は、投光面、すなわち路面S1の深さに応じて変化する。そこで、ステップS205の後のステップS206において、投光制御部12は、投光面の深さ(図13におけるz軸位置)を変化させたときの、基準描画パターンの特徴点の軌跡を計算する。特徴点の軌跡は、表または計算式などで表されてもよい。
【0068】
ステップS205およびステップS206と平行して、ステップS207において投光制御部12は基準投光パターンの投光制御を行う。本ステップは図6のステップS102に対応する。これにより、投光部22から基準投光パターンが路面S1に投光され、路面S1に基準描画パターンが描画される。
【0069】
ステップS207の後、フロントカメラ21が路面S1に描画された実描画パターンを撮影する。そして、ステップS208において画像取得部11はフロントカメラ21から実描画パターンを含む撮影画像情報を取得する。本ステップは図6のステップS103に対応する。
【0070】
ステップS208の後、ステップS209において投光制御部12は、実描画パターンの特徴点を抽出する。ここで特徴点の抽出は、実描画パターンの画像の点滅、パターンマッチング、もしくはSURF(Speeded-Up Robust Features)またはSIFT(Scale-Invariant Feature Transform)などの検出アルゴリズムにより行われる。
【0071】
ステップS206およびステップS209の後、ステップS210において投光制御部12は、基準描画パターンと実描画パターンとを比較し、実描画パターンの特徴点の位置をステップS206で計算した軌跡上で変化させることにより、基準投光パターンの補正量を算出または修正する。具体的には、投光制御部12は、視点Vから見た実描画パターンの方位角および俯角が、視点Vから見た基準描画パターンの方位角および俯角に近づくように、実描画パターンの特徴点をステップS206で計算した軌跡上で移動する。実描画パターンの特徴点の移動方向および移動距離を基に基準投光パターンの補正量が定められる。
【0072】
次に、ステップS211において投光制御部12は、ステップS210で算出した補正量を基に基準投光パターンを補正することによって補正投光パターンを作成する。
【0073】
次に、ステップS212において投光制御部12は、投影画像に変更があるかを判断する。投影画像に変更があれば、路面描画装置104の処理はステップS201に戻る。投影画像に変更がなければ、ステップS213において投光制御部12は視点Vに変更があるかを判断する。
【0074】
視点Vに変更があれば、路面描画装置104の処理はステップS202に戻る。視点Vに変更がなければ、路面描画装置104の処理はステップS207に戻る。ステップS207において投光制御部12は、ステップS211で作成した補正投光パターンを新たな基準投光パターンとして、その投光制御を行う。
【0075】
すなわち、投影画像および視点Vのいずれにも変更がない間は、投光制御部12はステップS210における補正量の算出処理を繰り返す。2回目以降の補正量の算出は、前回の補正量、前回の補正量算出処理で移動した実描画パターンの特徴点の位置、および今回の実描画パターンの特徴点の位置に基づき行われる。これにより、視点Vから見た実描画パターンの方位角および俯角が、視点Vから見た基準描画パターンの方位角および俯角に徐々に近づいていく。
【0076】
すなわち、この例において、第1基準投光パターンと第2基準投光パターンは同一である。そして、投光制御部12は、直近の補正投光パターンを新たな第2基準投光パターンとし、直近の補正投光パターン作成時の周辺路面を新たな基準路面として、新たな補正投光パターンを作成する。
【0077】
投光制御部12は、任意の視点Vから見た歪んだ路面S1上への投影点P1の方位角および俯角が、平坦な路面S0上への投影点P0の方位角および俯角に一致する様、投光部22から投光される基準投光パターンの方位角および俯角を制御する。その具体的な手順は以下の通りである。
【0078】
手順1:投光部22が基準投光パターンを方位角θ、俯角φの向きに投影する。
【0079】
手順2:投光部22の投光方位角の補正量をxy視で計算する。図15は、xy視の投影状態を示している。P1を実描画パターンの特徴点とする。P1が直線V-P0上の延長線上のP1´に移動するよう、投光方位角の補正量が計算される。
【0080】
手順3:投光部22の投光俯角の補正量をxz視で計算する。図16は、xy視の投影状態を示している。P1が直線V-P0上の延長線上のP1´に移動するよう、投光俯角の補正量が計算される。
【0081】
手順4:手順3で計算した補正量を用いて投光部22の投光方位角および投光俯角を修正する。
【0082】
手順5:手順2,3,4を繰り返す。
【0083】
一般的なプロジェクションマッピングが建築物の壁など固定された面を投影面とするのに対し、車両用途では車両の走行に伴い投影面の形状が変化する。そのため、手順2,3を1度きり行って補正をやめると、その後の走行により路面形状が変化するため路面に投影された図形が揺れ動く。しかし、手順5において手順2,3,4を繰り返すことにより、連続的に補正を繰り返し図形の揺れを小さくすることができる。
【0084】
以下、図15および図16を用いて手順2,3の具体例を説明する。まず、手順2,3の具体例に用いられるパラメーターを以下に記載する。
【0085】
O(0,0,0),C(Xc,Yc,Zc),V(Xv,Yv,Zv)は固定点であり、それぞれ投光部22、フロントカメラ21、視点の位置を表す。Oの方向ベクトル、すなわち投光部22の投光方向ベクトルをω(θ,φ)とする。Cの方向ベクトル、すなわちフロントカメラ21から見た方向ベクトルをω(θ,φ)とする。Vから見た方向ベクトルをω(θ,φ)とする。
【0086】
S0は基準路面となる平坦な路面である。S0はxy平面に平行であり、S0のz軸座標は-hである。S1は平坦でない周辺路面であり、投光部22が実際に投光する路面である。S1の形状は不明である。
【0087】
Pは、投光部22の投影点を表す。P0(x0,y0,z0)は、基準投光パターンによる路面S0への投影点を表す。P1(x1,y1,z1)は、基準投光パターンによる路面S1への投影点を表す。P1´(x1´,y1´,z1´)は、補正投光パターンによる路面S1への投影点を表す。P1´は、視点VからP1´を見る方向が視点VからP0を見る方向に一致するように定められる。すなわち、P1´は、直線V-P0の延長線上にある。
【0088】
θは、方位角であり、x-y視における直線のy軸正方向との角度である。θは、投光部22の投光方位角である。θは、フロントカメラ21から投影点をみる方位角である。θは、視点Vからから投影点をみる方位角である。θo,0は、投光部22からP0への投光方位角である。θo,1´は、投光部22からP1´への投光方位角である。θc,1は、フロントカメラ21からP1への方位角である。θV,0は、視点VからP0を見る方位角である。θV,1´は、視点VからP1´を見る方位角である。
【0089】
φは、俯角であり、xy平面との角度である。φx-zは、x-z視での俯角である。φx-z図16において反時計回りを+とする。-φO,x-z,0は、x-z視でOからP0に投光する俯角である。-φO,x-z,1´は、x-z視でOからP1´に投光する俯角である。-φC,x-z,1は、x-z視でCからP1を見た俯角である。-φV,x-z,0は、x-z視でVからP0を見た俯角である。
【0090】
以下は、計算上の値である。X1_Azimuthは、θO,1´の計算に用いられるP1´のx方向位置である。Z1_Elevationは、φO,1´の計算に用いられるP1´のz方向位置である。
【0091】
次に、図15を用いて手順2の具体例を説明する。投光制御部12は、x-y視で投影点P1の投光方位角を操作してV-P0の延長線上に乗せる。x-y視ではz方向の位置は無視できる。V,C,Oから任意の投影点P(x,y,z)を見たときの方位角θ,θ,θは以下の式で表される。
【0092】
【数1】
【0093】
最初に投光部22はωO,1(θO,1,φO,1)方向に投光し点P1を投影している。点P1は、フロントカメラ21の位置CからはωC,1(θC,1,φC,1)方向に見える。θO,1,θC,1図15から以下の式で表される。
【0094】
【数2】
【0095】
式(4),(5)を変形して以下の式が得られる。
【0096】
【数3】
【0097】
式(6),(7)から投影点P1のx座標x1は以下の式で表される。
【0098】
【数4】
【0099】
投光方位角θを変えても、投影点のx座標はx1=X1_Azimuthのまま変化しないものとする。θを変えたときの投影点のy座標は、以下の式で表される。
【0100】
【数5】
【0101】
式(1),(8),(9)より、以下の式が得られる。
【0102】
【数6】
【0103】
視点Vから補正後の投影点P1´を見る方位角が、視点Vから路面S0上の投影点P0を見る方位角と同じになるように、補正後の投影点P1´の位置を定める。従って、補正後の投影点P1´のy座標y1´は以下のように表される。
【0104】
【数7】
【0105】
これに式(8)を代入して、y1´は以下のように表される。
【0106】
【数8】
【0107】
投光部22の位置Oから補正後の投影点P1´への投光方位角θO,1´は以下の式で表される。
【0108】
【数9】
【0109】
式(8),(12),(13)により、補正後の投影点P1´への投光方位角θO,1´が定まる。x=X1_Azimuthを満たす平面上、かつV-P0の延長線上にP1´が位置する。但し、路面S1は未知であるため、実際に投影される点P1´は、多くの場合V-P0の延長線上に近づくが、正確にV-P0の延長線上に位置するとは限らない。
【0110】
次に、図16を用いて手順3の具体例を説明する。投光制御部12は、x-z視で投影点P1の投光俯角を操作してV-P0の延長線上に乗せる。視点V、フロントカメラ21の位置C、投光部22の位置Oから任意の点P(x,y,z)を見たときのx-z視での俯角φV,x-z,φC,x-z,φO,x-zは以下の式で表される。
【0111】
【数10】
【0112】
1回目の補正による投影点P1´について考える。初めに投光部22はOからωO,1(θO,1,φO,1)方向に投光し点P1を投影している。点P1は、フロントカメラ21の位置CからはωC,1(θC,1,φC,1)方向に見える。x-z視でO,Cから点P1を見る俯角φO,x-z,1,φC,x-z,1図16から以下の式で表される。
【0113】
【数11】
【0114】
式(17),(18)を変形して以下の式が得られる。
【0115】
【数12】
【0116】
式(19),(20)から投影点P1のx座標x1は以下の式で表される。
【0117】
【数13】
【0118】
式(20)を変形して投影点P1のz座標z1は以下の式で表される。
【0119】
【数14】
【0120】
投光俯角φO,x-zを変えても投影点のz座標はz1=Z1_Elevationのまま変化しないものとする。φO,x-zを変えたときの投影点のx座標は、以下の式で表される。
【0121】
【数15】
【0122】
視点VからP0への俯角φv,x-z,0と、視点Vから補正後の投影点P1´への俯角φv,x-z,1´は、それぞれ以下の式で表される。
【0123】
【数16】
【0124】
φv,x-z,0とφv,x-z,1´が同じになるようにする。
【0125】
Z1´=Z1_Elevationであるため、式(25)は式(26)に変形する。
【0126】
【数17】
【0127】
補正後の投影点P1´の位置は、視点Vから補正後の投影点P1´を見る俯角が、視点Vから路面S0上の投影点P0を見る俯角と同じになるように定められる。従って、式(24),(26)より、補正後の投影点P1´のx座標x1´は以下の式で表される。
【0128】
【数18】
【0129】
投光部22の位置Oから補正後の投影点P1´へのx-z面での俯角φO,x-z,1´は以下の式で表される。
【0130】
【数19】
【0131】
なお、投光部22の位置Oからの投光方位角θO,1´は式(13)に示した通りである。従って、投光部22の位置Oから補正後の投影点P1´への俯角φO,1´は、式(28)を投光方位角θO,1´で補正して、以下の式で表される。
【0132】
【数20】
【0133】
式(8)、(12)、(13)により、補正後の投影点P1´への投光方位角θO,1´が定まる。式(12)、(13)、(27)、(29)により補正後の投影点P1´への投光俯角φO,1´が定まる。投光制御部12は、投光部22から投光方位角θO,1´および投光俯角φO,1´に投光させる。これにより、z=Z1_Elevationを満たす平面上にP1´が投影された場合、P1´はV-P0の延長線上に位置する。
【0134】
但し、S1は未知の路面であるため、投影点P1´がz=Z1_Elevationを満たすとは限らない。従って、多くの場合には、P1´はV-P0の延長線上に近づくものの、正確に延長線上に位置するとは限らない。それでも、得られたP1´を新たなP1として補正処理を繰り返すことにより、P1´はV-P0の延長線上に十分近づいていく。
【0135】
実施の形態4の路面描画装置104において、投光制御部12は、特定視点から第2実描画パターンの各特徴点を見る方位角および俯角が、特定視点から第2実描画パターンの各特徴点に対応する第1基準描画パターンの各特徴点の特定視点から見る方位角および俯角に一致するよう、補正投光パターンを作成する。
【0136】
<E.実施の形態5>
実施の形態5の路面描画装置105は、図4に示される通り実施の形態1-4と同様の構成である。本実施の形態において、第2基準描画パターンは、特定視点から立体視されるパターンである。
【0137】
図17から図20は、特定視点である視点V1から立体視される第2基準描画パターンの作成例を示している。
【0138】
図17は、xyz座標においてz=0のxy平面上に配置され、視点V1から立体視される直方体を示す立体図である。投光制御部12は、視点V1を起点として、直方体の各頂点a,b,c,d,e,f,g,hをz=0のxy平面に投影し、投影点a1,b1,c1,d1,e1,f1,g1,h1を得る。投影点a1は視点V1と頂点aを結ぶ直線の延長線がz=0のxy平面と重なる交点である。他の投影点も同様に定められる。なお、図17には、直方体に隠れず目視できる投影点b1,c1,d1のみが図示されている。
【0139】
図18は、図17をy軸方向から見た図である。
【0140】
図19は、図17をz軸方向から見た図である。
【0141】
図20は、投影点a1,b1,c1,d1,e1,f1を特徴点とするxy平面(z=0)に描かれた図形を示している。この図形は、基準路面に描画されると視点V1から直方体に見える基準描画パターンである。
【0142】
図21から図24は、特定視点である視点V2から立体視される第2基準描画パターンの作成例を示している。特定視点がV1からV2に変化することで、z=0のxy平面への投影点の位置が変化する。
【0143】
投光制御部12は、視点V1を起点として、直方体の各頂点a,b,c,d,e,f,g,hをz=0のxy平面に投影し、投影点a2,b2,c2,d2,e2,f2,g2,h2を得る。なお、図21には、直方体に隠れず目視できる投影点a2,c2,d2のみが図示されている。
【0144】
図22は、図21をy軸方向から見た図である。
【0145】
図23は、図21をz軸方向から見た図である。
【0146】
図24は、投影点a2,b2,c2,d2,e2,f2,g2,h2を特徴点とするxy平面(z=0)に描かれた図形を示している。この図形は、基準路面に描画されると視点V2から直方体に見える第2基準描画パターンである。
【0147】
すなわち、基準描画パターンを図20に示すパターンから図24に示すパターンに変形すると、視点がV1からV2に移動しても同じ直方体が視認される。投光制御部12は、視点に応じて図20または図24に示すパターンを立体視の基準描画パターンとして用いる。
【0148】
なお、上記の説明には直方体を用いたが、立体視される立体物は直方体でなくてもよい。また、立体物の面に模様または文字が描かれていてもよい。
【0149】
<F.実施の形態6>
実施の形態6の路面描画装置106は、図4に示される通り実施の形態1-5と同様の構成である。
【0150】
実施の形態1-5では、周辺路面3に応じた投光パターンの補正量を算出するための基準投光パターンである第1基準投光パターンと、補正量を適用する基準投光パターンである第2基準投光パターンとが同一であるものとして説明を行った。
【0151】
しかし、実施の形態6では、第1基準投光パターンと第2基準投光パターンとを異なるパターンとする。
【0152】
具体的には、第2基準描画パターンは、路面描画装置106が周辺路面3に描画したい所期のパターンである。そして、第2基準投光パターンは、所期のパターンである第2基準描画パターンから逆算して設定される詳細なパターンである。
【0153】
これに対して、第1基準投光パターンおよび第1基準描画パターンは、円形、矩形、三角形などの特徴点数が少ない単純なパターンとする。第1基準投光パターンを単純なパターンとすることにより、第1実描画パターンと第1基準描画パターンとの間で、面積比較、特徴点間の距離比較、視点抽出などの演算処理が簡単になる。
【0154】
また、第1基準投光パターンは、あくまでも補正量を算出するためのものであるため、ドライバー1等に視認される必要がない。そのため、第1基準投光パターンには赤外光または紫外光などの不可視光のパターンであってもよい。すなわち、第1基準投光パターンの光は不可視光であり、第2基準投光パターンおよび補正投光パターンの光は可視光であってもよい。
【0155】
<G.実施の形態7>
図25は、実施の形態7の路面描画装置107とその周辺装置の構成を示すブロック図である。路面描画装置107は、実施の形態1の路面描画装置101の構成に警報制御部13を加えたものである。また、本実施の形態において、車両Mにはフロントカメラ21および投光部22の他、出力装置23が備えられている。
【0156】
出力装置23は、車両Mに搭載されたLED照明、ディスプレイまたはスピーカである。
【0157】
図26は、欠損のある実描画パターンを示している。欠損のある実描画パターンとは、基準投光パターンに対して特徴点が不足している実描画パターンのことである。図26の実描画パターンは、本来なら図9に示されるように特徴点a,b,c,d,e,f,gから構成される矢印形状の実描画パターンであるが、欠損し特徴点a,d,eが無い状態である。
【0158】
例えば、投光部22であるヘッドライトの前面に雪または泥が付着した場合、図26に示すような欠損が実描画パターンに生じる。あるいは、フロントカメラ21の前面に雪または泥が付着した場合、周辺路面3に描画される実描画パターンに欠損は生じないが、画像取得部11に取得される実描画パターンには図26に示すような欠損が生じる。画像取得部11が取得した実描画パターンに欠損があると、実施の形態1の面積判定方法では、面積が算出できないエリアが発生する。また、実施の形態2の距離判定方法では、距離が抽出できないエリアが発生する。また、実施の形態4の方法でも特徴点が不足するなどの異常が生じる。
【0159】
図27は、路面描画装置107の動作を示すフローチャートである。図27のフローは、図6に示す路面描画装置101のフローに対しステップS103AとステップS108を追加したものである。
【0160】
ステップS103において画像取得部11が実描画パターンを取得すると、投光制御部12は、ステップS103Aにおいて実描画パターンと基準描画パターンとを比較し、実描画パターンの特徴点数が不足しているか否かを判断する。
【0161】
ステップS103Aにおいて実描画パターンの特徴点数が不足している場合、警報制御部13は実描画パターンに欠損が生じていると判断し、ステップS108において警報制御を行う。本ステップで警報制御部13は、出力装置23に灯火異常警報を出力させる。この警報を受けて、ドライバー1は車両Mを停車し、投光部22を目視検査し、雪または泥などの付着物があれば清掃することができる。また、投光部22に付着物がなければ、ドライバー1は投光部22の内部故障と判断し、適切な措置を講じることができる。
【0162】
なお、灯火異常警報の出力と同時に、警報制御部13は投光部22の前面に装着されたワイパー(図示せず)を動作させ、投光部22の前面の清掃を行ってもよい。
【0163】
実施の形態7の路面描画装置107は、第1実描画パターンの特徴点数と第1基準描画パターンの特徴点数との差が予め定められた閾値以上である場合、車両に搭載された出力装置に警報を出力させる警報制御部13を備える。これにより、車両Mのドライバー1は投光部22またはフロントカメラ21の不調に気づき、必要な策を講じることができる。
【0164】
<H.実施の形態8>
実施の形態8の路面描画装置108は、図4に示される通り実施の形態1-6と同様の構成である。
【0165】
実描画パターンが描画される周辺路面3が下方に傾斜している場合、水平な場合と比べて、投光部22の投射光の周辺路面3に対する正反射光成分が大きくなり、車両Mへの反射光成分が減少する。そのため、ドライバー1、または車両Mの進行方向にいない歩行者にとっては、実描画パターンは暗く見え、車両Mの進行方向にいる歩行者7にとっては、実描画パターンが過度に明るく見える。
【0166】
従って、実描画パターンの視認対象者がドライバー1または車両Mの進行方向にいない歩行者である場合に、投光制御部12は補正投光パターンの輝度を高める。また、描画パターンの視認対象者が車両Mの進行方向にいる歩行者7である場合に、投光制御部12は補正投光パターンの輝度を低くする。
【0167】
投光制御部12は、実描画パターンと基準描画パターンとの比較により、周辺路面3の勾配を算出することができる。また、図8または図11のように実描画パターンを複数の領域に分割して基準描画パターンと比較する場合、車両Mの進行方向において前方の分割領域の補正量が公報の分割領域の補正量より大きい場合には、投光部22の投光範囲の途中で周辺路面3の勾配が変化している。そこで、投光制御部12は補正投光パターンの進行方向における前方の分割領域の輝度を、後方の分割領域の輝度に比べて高くする。
【0168】
実施の形態8の路面描画装置108において、投光制御部12は、周辺路面3の下り勾配値が予め定められた閾値を超える場合に、超えない場合より補正投光パターンの光の輝度を大きくする。
【0169】
<I.実施の形態9>
実施の形態9の路面描画装置109は、図4に示される通り実施の形態1-6,8と同様の構成である。
【0170】
図12,15,16に示されるx-y-z座標系は、車両Mの車体、より具体的には投光部22L,22Rの光源を原点とするものである。この他、フロントカメラ21を原点としたフロントカメラ21のカメラ画像が認識する座標系xc-yc-zc、投光部22Lの座標系xl-yl-zl、投光部22Rの座標系xr-yr-zrとがある。座標系xl-yl-zlおよびxr-yr-zrは、投光部22L,22Rの投光角度により決定される。各座標系は独立しているため、ある座標系において特定の位置を示す座標値を他の座標系に入力しても、各座標系の原点の位置または回転が未知であれば、他の座標系において同じ特定の位置に投影することはできない。
【0171】
図28は、投光部22Lと投光部22Rの両方から同一の点に投光すべく、同一の方向に投光された位置合わせパターンである投光点P1L,P1Rを示している。図28は、フロントカメラ21で撮影した画像における投光点P1L,P1Rのxc-yc上の位置を示している。+マークで表される投光部22Lによる投光点P1Lは、×マークで表される投光部22Rによる投光点P1Rと重ならない。
【0172】
路面描画装置109の投光制御部12は、投光点P1L,P1Rを位置合わせパターンとして用い、両者のズレから、投光部22Lの座標系xl-yl-zlと投光部22Rの座標系xr-yr-zrとを補正する。補正は、各座標系の原点の位置および各座標軸周りの回転により行われる。この場合、座標は原点のx位置、y位置およびz位置と、x回転、y回転およびz回転の6個の調整用パラメーターをもつ。全ての調整用パラメーターが同定される必要はなく、誤差が大きそうなもの、または同定が容易なもののみが同定されてもよい。z回転の方向は、実施の形態4において投光部22L,22Rの投光方向の方位角として表されたθと同じ方向である。y回転の方向は、実施の形態4において投光部22L,22Rの投光方向の俯角として表されたφと同じ方向である。
【0173】
P1L,P1Rのズレから、図12における投光部22L,22Rの俯角方向の回転と原点Oのy方向とを補正する場合について説明する。xc-yc-zc座標系では、フロントカメラ21の撮影画像から、フレーム座標におけるP1L,P1Rのxy各方向の位置座標を知ることができる。これらの位置座標から、xc-yc-zc座標系におけるP1L,P1Rの方向角と俯角とが算出できる。
【0174】
P1L,P1RともにS0平面上に投影されるものとする。P1Lをフロントカメラ21から見た方位角およびz-x視俯角を、θ(1,r)およびφC,x-z(1,r)とする。また、P1Rをフロントカメラ21から見た方位角およびz-x視俯角を、θ(1,l)およびφC,x-z(1,l)とする。
【0175】
xc座標およびyc座標は以下の式で表される。
【0176】
【数21】
【0177】
従って、P1Lのxc座標xc(1,l)およびyc座標yc(1,l)、ならびにP1Rのxc座標xc(1,r)およびxc座標yc(1,r)は以下の式で表される。多くの場合、P1Lの近傍にP1Rがあるため、P1LとP1Rとは同一平面上にあると仮定しても大きな矛盾は無い。
【0178】
【数22】
【0179】
まず、yc方向のズレを合わせる処理について説明する。この場合、P1LとP1Rのyc方向のズレΔyc,(1)は、式(33)および式(35)より、以下の式で計算できる。
【0180】
【数23】
【0181】
座標系のy方向の回転を変更しても、y方向投影位置は変化しない。そのため、座標系xr-yr-zrの原点位置である投光部22Rのy方向位置を-Δyc,(1)だけ移動させる。これにより、P1RとP1Lのyc方向の位置が一致する。
【0182】
次に、y軸の回転方向を合わせる処理について説明する。P1LとP1Rのxc方向のズレΔxc,(1)は以下の式で表される。
【0183】
【数24】
【0184】
投光部22Rの座標系xr-yr-zrにおけるxr座標は以下の式で表される。
【0185】
【数25】
【0186】
P1LとP1Rのxc方向のズレΔxc,(1)を補正する量だけ、投光部22Rをyc軸周りに回転させたときの回転量、すなわち補正量をΔφ(1)とすると、以下の式が得られる。
【0187】
【数26】
【0188】
補正量Δφ(1)は以下の式で決定される。
【0189】
【数27】
【0190】
yr軸周りの補正の代わりに、yr軸の位置hrを用いて補正する場合は、式(40)に代えてxrのhrによる微分を含む式(41)が用いられる。
【0191】
【数28】
【0192】
以上の例では、投光部22L,22Rのxc方向およびyc方向の位置の調整について説明した。すなわち、同定されるパラメーターはxc座標およびyc座標の2つであった。しかし、同定するパラメーターをさらに多くてもよい。フロントカメラ21の撮影画像はx方向およびy方向の情報を有するため、撮影画像上の1つの点を用いて2つのパラメーターを同時に同定することができる。同時に同定可能なパラメーターの数は、位置合わせパターンに用いられる点の数の2倍である。位置合わせパターンを2点にすれば4つのパラメーター、3点にすれば6つのパラメーターを同時に同定することができる。
【0193】
より精度を向上させるため、投光制御部12は上記の補正を一度行った後、再度同様の補正を繰り返してもよい。このようにすれば、S0のような平坦で水平な路面でなくとも補正が可能である。また走行中で路面形状が変化する場合でも補正が可能である。
【0194】
図29は、格子状の位置合わせパターンP1L,P2L,P3L,P4L,P5L,P6L,P7L,P8L,P9L,P10L,P11L,P12LおよびP1R,P2R,P3R,P4R,P5R,P6R,P7R,P8R,9R,P10R,P11R,P12Rを示している。このように複数の位置合わせパターンを用いることにより、xc‐yc座標の夫々の場所で調整パラメーターを同定し、投影する位置により調整パラメーター値を変更することが可能となる。
【0195】
CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などを画像素子とするフロントカメラ21は、フレームレート毎に1フレームずつ画像を取得している。投光部22は、ドライバー1等に対する描画パターンを投光中、フロントカメラ21が画像を取得するタイミングにあわせて瞬間的に位置合わせパターンを投光してもよい。例えば、あるフレームで投光部22Lが位置合わせパターンを投光し、別のフレームで投光部22Rが位置合わせパターンを投光してもよい。
【0196】
また、投光制御部12は、位置合わせパターンをドライバー1等に対する描画パターンの中に埋め込んでもよい。この場合、投光部22Lと投光部22Rとは異なるフレームのタイミングで投光することにより、両者が識別できるようにしてもよい。
【0197】
上記の説明では、投光部22Lと投光部22Rという2つの投光部が用いられる場合について説明した。しかし、投光部22は3台以上の投光部で構成されていてもよい。
【0198】
図28および図29では、簡単な形状の位置合わせパターンを示したが、位置合わせパターンは図形または写真などの画像であってもよい。位置合わせパターンにおける同一点の位置を補正するのみならず、並行、回転、拡大といった特定の関係になる点の位置を補正してもよい。投光部22の照射方向または照射位置が機械的に変更され、調整されてもよい。
【0199】
<J.実施の形態10>
実施の形態10の路面描画装置110は、図4に示される通り実施の形態1-6、8、9と同様の構成である。
【0200】
実施の形態9では、投光部22L,22Rの位置が異なることによる座標系のズレを補正することについて説明した。実施の形態10において、投光制御部12は、複数のフロントカメラ21Bの位置が異なることによる座標系のズレを補正する。補正方法は実施の形態9と同様である。
【0201】
図3において、投光部22L,22Rと同じ位置に2個のフロントカメラ21Bが設置されているものとする。これら2個のフロントカメラ21Bは、周辺路面上の同一の対象物を撮影する。投光制御部12は、フロントカメラ21Bの夫々のカメラフレーム画像から、各フロントカメラ21Bの原点からみた座標系で対象物の座標を決定し、2個のフロントカメラ21B間の位置または回転の関係を表すパラメーターの少なくとも一方を補正する。
【0202】
ここで、補正に用いられる周辺路面上の対象物は、投光部22による周辺路面上の描画パターンでなくてもよい。フロントカメラ21Bに代えて、Lidarまたはradarなどの位置検出センサーが用いられてもよい。
【0203】
<K.実施の形態11>
実施の形態11の路面描画装置111は、図4に示される通り実施の形態1-6、8-10と同様の構成である。
【0204】
図3において、投光部22L,22Rと同じ位置に2個のフロントカメラ21Bが設置されているものとする。投光部22Lからある方位および俯角に投光され、路面にパターンが描画される。このとき、投光制御部12は、路面上の投光点について、投光部22Lと同じ位置に設置された左側のフロントカメラ21Bを原点とする座標系上での座標が把握できる。次に、路面に描画されたパターンを右側のフロントカメラ21Bが撮影する。すると、投光制御部12は、右側のフロントカメラ21Bの撮影画像のフレーム座標を投影位置の座標に変換することにより、右側のフロントカメラ21Bを原点とする座標系における投光点の座標を把握できる。投光制御部12は、こうして取得した、左側のフロントカメラ21Bを原点とする座標系上での座標と、フロントカメラ21Bを原点とする座標系上での座標とのズレに基づき、実施の形態9と同様にして座標系間のズレを補正することができる。
【0205】
実施の形態10,11が組み合わせられてもよい。投光制御部12は、実施の形態10で説明した補正と実施の形態11で説明した補正とを同時に行い、対象物までの距離を測定するLidarまたはradarなどのセンサーの座標系と、投光部22の座標系とを調整してもよい。すなわち、投光制御部12は、投光部22とフロントカメラ21Bとの間で、位置の関係または回転の関係の少なくとも一方を補正してもよい。
【0206】
<L.ハードウェア構成>
上述した路面描画装置101-111における画像取得部11、投光制御部12および警報制御部13は、図30に示す処理回路81により実現される。すなわち、処理回路81は、画像取得部11、投光制御部12および警報制御部13(以下、「画像取得部11等」と称する)を備える。処理回路81には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)等である。
【0207】
処理回路81が専用のハードウェアである場合、処理回路81は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものが該当する。画像取得部11等の各部の機能それぞれは、複数の処理回路81で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
【0208】
処理回路81がプロセッサである場合、画像取得部11等の機能は、ソフトウェア等(ソフトウェア、ファームウェアまたはソフトウェアとファームウェア)との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図31に示すように、処理回路81に適用されるプロセッサ82は、メモリ83に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、路面描画装置101-108は、処理回路81により実行されるときに、周辺路面の撮影画像情報を取得するステップと、基準路面に第1基準描画パターンを描画する第1基準投光パターンの光を投光部22に投光させるステップと、第1基準投光パターンの光が周辺路面に描画した実描画パターンを撮影画像情報から抽出するステップと、第1描画パターンと第1基準描画パターンとの差分に基づき補正量を算出するステップと、基準路面に第1基準描画パターンと同一または異なる第2基準描画パターンを描画する第2基準投光パターンを補正量で補正することにより補正投光パターンを作成するステップと、補正投光パターンの光を投光部22に投光させるステップと、が結果的に実行されることになるプログラムを格納するためのメモリ83を備える。
【0209】
換言すれば、このプログラムは、画像取得部11等の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ83は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disk)及びそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
【0210】
以上、画像取得部11等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、画像取得部11等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば投光制御部12については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ82としての処理回路81がメモリ83に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
【0211】
以上のように、処理回路は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【0212】
また、上記では路面描画装置101-108を車載装置として説明したが、PND(Portable Navigation Device)、通信端末(例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末)、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどを適宜に組み合わせてシステムとして構築されるシステムにも適用することができる。この場合、以上で説明した路面描画装置101-108の各機能または各構成要素は、システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。
【0213】
なお、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。上記の説明は、すべての態様において、例示である。例示されていない無数の変形例が想定され得るものと解される。
【0214】
投影パターン位置指示または座標計算に使用する座標系の原点は車体幅方向の中央である必要はない。
【符号の説明】
【0215】
3 周辺路面、11 画像取得部、12 投光制御部、13 警報制御部、21,21A,21B フロントカメラ、22,22L,22R 投光部、23 出力装置、81 処理回路、82 プロセッサ、83 メモリ、101-111 路面描画装置。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31