▶ 株式会社日本自動車部品総合研究所の特許一覧 ▶ 株式会社デンソーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022124233
(43)【公開日】2022-08-25
(54)【発明の名称】車両用表示制御装置、車両用表示制御方法
(51)【国際特許分類】
G01C 21/36 20060101AFI20220818BHJP
G08G 1/0968 20060101ALI20220818BHJP
B60K 35/00 20060101ALI20220818BHJP
【ＦＩ】
G01C21/36
G08G1/0968
B60K35/00 A
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021021882
(22)【出願日】2021-02-15
(71)【出願人】
【識別番号】000004695
【氏名又は名称】株式会社ＳＯＫＥＮ
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】100106149
【弁理士】
【氏名又は名称】矢作 和行
(74)【代理人】
【識別番号】100121991
【弁理士】
【氏名又は名称】野々部 泰平
(74)【代理人】
【識別番号】100145595
【弁理士】
【氏名又は名称】久保 貴則
(72)【発明者】
【氏名】石丸 和寿
(72)【発明者】
【氏名】羽藤 猛
【テーマコード（参考）】
2F129
3D344
5H181
【Ｆターム（参考）】
2F129AA03
2F129BB03
2F129CC06
2F129DD21
2F129DD29
2F129EE22
2F129EE25
2F129EE29
2F129EE52
2F129EE62
2F129GG17
2F129HH14
2F129HH25
3D344AA21
3D344AA30
3D344AB01
3D344AC25
5H181AA01
5H181BB04
5H181CC04
5H181CC24
5H181FF24
5H181FF32
(57)【要約】 （修正有）
【課題】車両の走行路に関する案内画像が実景とずれて表示される恐れを低減可能な車両用表示制御装置、車両用表示制御方法を提供する。
【解決手段】車両用表示システムにおいて、ＨＭＩ Ｃｏｎｔｒｏｌ Ｕｎｉｔは、カメラから自車レーンの左右の境界線に対する画像認識結果を取得し、自車が分岐路から所定距離以内に存在する場合には、左右の境界線のうちの相対的に分岐路側に位置する境界線である分岐路側境界を正しく認識できているか否かを、反対側の境界線情報をもとに検証する。例えば分岐路側の境界線と反対側の境界線の間隔が所定値以上となる区間が存在する場合には、分岐路側境界線の認識位置情報を案内画像の表示位置の調整に使用しなくするか、案内画像の透明度を上げるなど、通常時よりも目立たない態様に変更して表示する。
【選択図】図１６
【解決手段】車両用表示システムにおいて、ＨＭＩ Ｃｏｎｔｒｏｌ Ｕｎｉｔは、カメラから自車レーンの左右の境界線に対する画像認識結果を取得し、自車が分岐路から所定距離以内に存在する場合には、左右の境界線のうちの相対的に分岐路側に位置する境界線である分岐路側境界を正しく認識できているか否かを、反対側の境界線情報をもとに検証する。例えば分岐路側の境界線と反対側の境界線の間隔が所定値以上となる区間が存在する場合には、分岐路側境界線の認識位置情報を案内画像の表示位置の調整に使用しなくするか、案内画像の透明度を上げるなど、通常時よりも目立たない態様に変更して表示する。
【選択図】図１６
【特許請求の範囲】
【請求項1】
車両の走行路に関する案内画像を前記車両の前方の景色に重ねて表示するための車両用表示制御装置であって、
前記案内画像を生成する画像生成部（Ｆ６）と、
地図データ及び先行車の走行軌跡の少なくとも何れか一方を用いて、左右のうち、前記車両の前方において走行路に対して他の道路又はレーンが接続される方向である接続方向を取得する道路構造取得部（Ｆ２）と、
撮像装置が撮像した車両前方の画像データに基づいて認識された、前記接続方向において自車両から最も近い位置に存在するレーン境界線である接続側境界線の位置情報を取得する接続側境界線情報取得部（Ｆ１１）と、
前記車両から見て前記接続方向とは反対側に位置する前記レーン境界線である反対側境界線の形状、前記地図データに示される道路形状、周辺車両の走行軌跡、及び、前記画像データに基づき認識された道路端の形状の少なくとも何れか１つを取得する検証材料取得部（Ｆ１２）と、
認識されている前記レーン境界線の位置情報、先行車の走行軌跡、及び前記地図データが示す道路形状、及び、認識されている前記道路端の形状の少なくとも何れか１つに基づいて前記案内画像の表示位置を調整する表示制御部（Ｆ７）と、
前記接続側境界線の認識結果の正当性を、認識されている前記反対側境界線の形状、前記道路端の形状、前記地図データに示される道路形状、及び周辺車両の走行軌跡の少なくとも何れか１つを用いて検証する検証部（Ｆ４）と、を備え、
前記表示制御部は、前記検証部にて前記接続側境界線を正しく認識できていると判定されているか否かに応じて、前記案内画像の表示態様、及び、前記案内画像の表示位置を調整するための基準とするデータの少なくとも何れか一方を変更する車両用表示制御装置。
前記案内画像を生成する画像生成部（Ｆ６）と、
地図データ及び先行車の走行軌跡の少なくとも何れか一方を用いて、左右のうち、前記車両の前方において走行路に対して他の道路又はレーンが接続される方向である接続方向を取得する道路構造取得部（Ｆ２）と、
撮像装置が撮像した車両前方の画像データに基づいて認識された、前記接続方向において自車両から最も近い位置に存在するレーン境界線である接続側境界線の位置情報を取得する接続側境界線情報取得部（Ｆ１１）と、
前記車両から見て前記接続方向とは反対側に位置する前記レーン境界線である反対側境界線の形状、前記地図データに示される道路形状、周辺車両の走行軌跡、及び、前記画像データに基づき認識された道路端の形状の少なくとも何れか１つを取得する検証材料取得部（Ｆ１２）と、
認識されている前記レーン境界線の位置情報、先行車の走行軌跡、及び前記地図データが示す道路形状、及び、認識されている前記道路端の形状の少なくとも何れか１つに基づいて前記案内画像の表示位置を調整する表示制御部（Ｆ７）と、
前記接続側境界線の認識結果の正当性を、認識されている前記反対側境界線の形状、前記道路端の形状、前記地図データに示される道路形状、及び周辺車両の走行軌跡の少なくとも何れか１つを用いて検証する検証部（Ｆ４）と、を備え、
前記表示制御部は、前記検証部にて前記接続側境界線を正しく認識できていると判定されているか否かに応じて、前記案内画像の表示態様、及び、前記案内画像の表示位置を調整するための基準とするデータの少なくとも何れか一方を変更する車両用表示制御装置。
【請求項2】
請求項１に記載の車両用表示制御装置であって、
前記表示制御部は、前記検証部にて前記接続側境界線を正しく認識できていない可能性があると判定されている場合には接続側境界線を正しく認識できていると判定されている場合に比べて、より目立たない態様で前記案内画像を表示する車両用表示制御装置。
前記表示制御部は、前記検証部にて前記接続側境界線を正しく認識できていない可能性があると判定されている場合には接続側境界線を正しく認識できていると判定されている場合に比べて、より目立たない態様で前記案内画像を表示する車両用表示制御装置。
【請求項3】
請求項１又は２に記載の車両用表示制御装置であって、
前記表示制御部は、前記接続側境界線を正しく認識できていない可能性があると判定されている場合には、前記案内画像の表示範囲を、前記走行路に前記他の道路又はレーンが接続する地点の手前までに制限する車両用表示制御装置。
前記表示制御部は、前記接続側境界線を正しく認識できていない可能性があると判定されている場合には、前記案内画像の表示範囲を、前記走行路に前記他の道路又はレーンが接続する地点の手前までに制限する車両用表示制御装置。
【請求項4】
請求項１から３の何れか１項に記載の車両用表示制御装置であって、
前記表示制御部は、前記接続側境界線を誤認識している可能性があると判定されている場合、前記走行路に前記他の道路又はレーンが接続する地点である接続地点よりも遠方に位置する領域に重畳される前記案内画像は、前記接続地点の手前までの領域に重畳される前記案内画像よりも目立たない態様で表示する車両用表示制御装置。
前記表示制御部は、前記接続側境界線を誤認識している可能性があると判定されている場合、前記走行路に前記他の道路又はレーンが接続する地点である接続地点よりも遠方に位置する領域に重畳される前記案内画像は、前記接続地点の手前までの領域に重畳される前記案内画像よりも目立たない態様で表示する車両用表示制御装置。
【請求項5】
請求項１から４の何れか１項に記載の車両用表示制御装置であって、
前記道路構造取得部は、前記接続方向として、自動車専用道路の本線に対して分岐路が接続されている方向である分岐路方向を、前記接続方向として取得し、
前記表示制御部は、前記走行路が自動車専用道路であることを条件として、前記検証部にて前記接続側境界線を正しく認識できていると判定されているか否かに応じて、前記案内画像の表示態様、及び、前記案内画像の表示位置を調整するための基準とするデータの少なくとも何れか一方を変更する処理である認識状態応答処理を実施するように構成されている車両用表示制御装置。
前記道路構造取得部は、前記接続方向として、自動車専用道路の本線に対して分岐路が接続されている方向である分岐路方向を、前記接続方向として取得し、
前記表示制御部は、前記走行路が自動車専用道路であることを条件として、前記検証部にて前記接続側境界線を正しく認識できていると判定されているか否かに応じて、前記案内画像の表示態様、及び、前記案内画像の表示位置を調整するための基準とするデータの少なくとも何れか一方を変更する処理である認識状態応答処理を実施するように構成されている車両用表示制御装置。
【請求項6】
請求項５に記載の車両用表示制御装置であって、
前記表示制御部は、
前記走行路が自動車専用道路であって、且つ、自動車専用道路の本線から離脱するための前記分岐路から所定距離以内に自車両が位置する場合に、前記認識状態応答処理を実行する一方、
前記走行路が自動車専用道路の本線に合流するための合流用道路である場合、又は、前記分岐路と前記本線との接続地点から自車両の現在位置が所定距離以上離れている場合には、前記認識状態応答処理は実施しないように構成されている車両用表示制御装置。
前記表示制御部は、
前記走行路が自動車専用道路であって、且つ、自動車専用道路の本線から離脱するための前記分岐路から所定距離以内に自車両が位置する場合に、前記認識状態応答処理を実行する一方、
前記走行路が自動車専用道路の本線に合流するための合流用道路である場合、又は、前記分岐路と前記本線との接続地点から自車両の現在位置が所定距離以上離れている場合には、前記認識状態応答処理は実施しないように構成されている車両用表示制御装置。
【請求項7】
請求項５又は６に記載の車両用表示制御装置であって、
前記検証部は、認識している前記反対側境界線の形状と前記接続側境界線の形状とを比較することにより、前記接続側境界線に対する認識結果の正当性を判断し、
前記表示制御部は、
前記検証部にて前記接続側境界線を正しく認識できていない可能性があると判定されており且つ自車両の走行予定経路が前記分岐路を通過する経路である場合には、前記接続側境界線の認識結果を用いて前記案内画像の表示位置を調整する一方、
前記検証部にて前記接続側境界線を正しく認識できていない可能性があると判定されており且つ前記走行予定経路が前記本線に沿った走行を維持する経路である場合には、前記反対側境界線の認識結果を用いて前記案内画像の表示位置を調整するように構成されている車両用表示制御装置。
前記検証部は、認識している前記反対側境界線の形状と前記接続側境界線の形状とを比較することにより、前記接続側境界線に対する認識結果の正当性を判断し、
前記表示制御部は、
前記検証部にて前記接続側境界線を正しく認識できていない可能性があると判定されており且つ自車両の走行予定経路が前記分岐路を通過する経路である場合には、前記接続側境界線の認識結果を用いて前記案内画像の表示位置を調整する一方、
前記検証部にて前記接続側境界線を正しく認識できていない可能性があると判定されており且つ前記走行予定経路が前記本線に沿った走行を維持する経路である場合には、前記反対側境界線の認識結果を用いて前記案内画像の表示位置を調整するように構成されている車両用表示制御装置。
【請求項8】
請求項１から７の何れか１項に記載の車両用表示制御装置であって、
前記表示制御部は、前記検証部にて前記接続側境界線を誤認識している可能性があると判定されている場合には、前記周辺車両の走行軌跡を用いて前記案内画像の表示位置を決定する車両用表示制御装置。
前記表示制御部は、前記検証部にて前記接続側境界線を誤認識している可能性があると判定されている場合には、前記周辺車両の走行軌跡を用いて前記案内画像の表示位置を決定する車両用表示制御装置。
【請求項9】
請求項１から８の何れか１項に記載の車両用表示制御装置であって、
前記検証材料取得部は、前記画像データに基づいて認識された前記反対側境界線の位置及び形状情報を取得し、
前記検証部は、認識されている前記反対側境界線の形状と前記接続側境界線の形状とを比較することにより、前記接続側境界線に対する認識結果の正当性を判断するように構成されている車両用表示制御装置。
前記検証材料取得部は、前記画像データに基づいて認識された前記反対側境界線の位置及び形状情報を取得し、
前記検証部は、認識されている前記反対側境界線の形状と前記接続側境界線の形状とを比較することにより、前記接続側境界線に対する認識結果の正当性を判断するように構成されている車両用表示制御装置。
【請求項10】
請求項１から９の何れか１項に記載の車両用表示制御装置であって、
前記検証材料取得部は、前記画像データの認識結果、ミリ波又はレーザ光を用いた物体検出センサの検出結果、及び、車車間通信によって取得した周辺車両の位置情報の時系列データの少なくとも何れかに基づいて、前記周辺車両の走行軌跡を取得し、
前記検証部は、認識している前記接続側境界線の形状と前記周辺車両の走行軌跡を比較することにより、前記接続側境界線に対する認識結果の正当性を判断するように構成されている車両用表示制御装置。
前記検証材料取得部は、前記画像データの認識結果、ミリ波又はレーザ光を用いた物体検出センサの検出結果、及び、車車間通信によって取得した周辺車両の位置情報の時系列データの少なくとも何れかに基づいて、前記周辺車両の走行軌跡を取得し、
前記検証部は、認識している前記接続側境界線の形状と前記周辺車両の走行軌跡を比較することにより、前記接続側境界線に対する認識結果の正当性を判断するように構成されている車両用表示制御装置。
【請求項11】
請求項１から１０の何れか１項に記載の車両用表示制御装置であって、
前記検証材料取得部は、前記画像データの認識結果、及び、ミリ波又はレーザ光を用いた物体検出センサの検出結果に基づいて前記道路端の位置及び形状情報を取得し、
前記検証部は、認識されている前記接続方向の前記道路端の形状と前記接続側境界線の形状とを比較することにより、前記接続側境界線の認識結果の正当性を判断するように構成されている車両用表示制御装置。
前記検証材料取得部は、前記画像データの認識結果、及び、ミリ波又はレーザ光を用いた物体検出センサの検出結果に基づいて前記道路端の位置及び形状情報を取得し、
前記検証部は、認識されている前記接続方向の前記道路端の形状と前記接続側境界線の形状とを比較することにより、前記接続側境界線の認識結果の正当性を判断するように構成されている車両用表示制御装置。
【請求項12】
請求項１から１１の何れか１項に記載の車両用表示制御装置であって、
前記検証部は、前記反対側境界線と前記接続側境界線の間隔（Ｗｒ）を複数の地点について算出するとともに、他の地点での前記間隔と比較することで前記間隔の広がり度合いを算出し、
前記表示制御部は、前記広がり度合いが所定値以上ではない場合には、前記接続側境界線の位置情報を用いて表示位置を決定する一方、
前記広がり度合いが前記所定値以上となる区間が存在する場合には、所定時間、前記表示位置の決定に前記接続側境界線は使用しないように構成されている車両用表示制御装置。
前記検証部は、前記反対側境界線と前記接続側境界線の間隔（Ｗｒ）を複数の地点について算出するとともに、他の地点での前記間隔と比較することで前記間隔の広がり度合いを算出し、
前記表示制御部は、前記広がり度合いが所定値以上ではない場合には、前記接続側境界線の位置情報を用いて表示位置を決定する一方、
前記広がり度合いが前記所定値以上となる区間が存在する場合には、所定時間、前記表示位置の決定に前記接続側境界線は使用しないように構成されている車両用表示制御装置。
【請求項13】
車両の前方を撮像した画像データを解析することによって定まるレーン境界線の位置情報に基づいて、前記車両の走行路に関する案内画像を前記車両の前方の景色に重ねて表示するための車両用表示制御方法であって、
前記案内画像を生成すること（Ｓ３０１）と、
地図データ及び先行車の走行軌跡の少なくとも何れか一方を用いて、左右のうち、前記車両の前方において走行路に対して他の道路又はレーンが接続される方向である接続方向を取得すること（Ｓ１０１）と、
前記画像データに基づいて認識された、前記接続方向において自車両から最も近い位置に存在するレーン境界線である接続側境界線の位置情報を取得すること（Ｓ１０３）と、
前記車両から見て前記接続方向とは反対側に位置する前記レーン境界線である反対側境界線の形状、前記地図データに示される道路形状、周辺車両の走行軌跡、及び、前記画像データに基づき認識された道路端の形状の少なくとも何れか１つを取得すること（Ｓ１０４）と、
前記接続側境界線の認識結果の正当性を、認識されている前記反対側境界線の形状、前記道路端の形状、前記地図データに示される道路形状、及び周辺車両の走行軌跡の少なくとも何れか１つを用いて検証すること（Ｓ１０５～Ｓ１１２）と、
前記接続側境界線を正しく認識できていると判定されているか否かに応じて、前記案内画像の表示態様、及び、前記案内画像の表示位置を調整するための基準とするデータの少なくとも何れか一方を変更すること（Ｓ３０４～Ｓ３０５）と、を含む車両用表示制御方法。
前記案内画像を生成すること（Ｓ３０１）と、
地図データ及び先行車の走行軌跡の少なくとも何れか一方を用いて、左右のうち、前記車両の前方において走行路に対して他の道路又はレーンが接続される方向である接続方向を取得すること（Ｓ１０１）と、
前記画像データに基づいて認識された、前記接続方向において自車両から最も近い位置に存在するレーン境界線である接続側境界線の位置情報を取得すること（Ｓ１０３）と、
前記車両から見て前記接続方向とは反対側に位置する前記レーン境界線である反対側境界線の形状、前記地図データに示される道路形状、周辺車両の走行軌跡、及び、前記画像データに基づき認識された道路端の形状の少なくとも何れか１つを取得すること（Ｓ１０４）と、
前記接続側境界線の認識結果の正当性を、認識されている前記反対側境界線の形状、前記道路端の形状、前記地図データに示される道路形状、及び周辺車両の走行軌跡の少なくとも何れか１つを用いて検証すること（Ｓ１０５～Ｓ１１２）と、
前記接続側境界線を正しく認識できていると判定されているか否かに応じて、前記案内画像の表示態様、及び、前記案内画像の表示位置を調整するための基準とするデータの少なくとも何れか一方を変更すること（Ｓ３０４～Ｓ３０５）と、を含む車両用表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両の前方の景色に重畳表示する画像の表示態様を制御する技術に関する。
【背景技術】
【0002】
車両が進むべき方向などを示す案内画像を、車両前方の実景に表示する技術が開発されている。特許文献１には、カメラ画像を解析することで、前方のレーン境界線の位置を検出し、当該レーン境界線の位置に応じて案内画像の表示位置を調整する技術が開示されている。
【0003】
なお、特許文献２には、通過予定の道路の曲率半径を３つの方法で推定し、その多数決に基づいて車両制御に使用する曲率半径を決定する構成が開示されている（段落００１１－００１３）。具体的には、ナビゲーションシステムの地図データに基づく第１道路形状と、自車の車両挙動に基づく第２道路形状と、カメラの画像を解析することで定まる第３道路形状との比較により、車両制御に使用する曲率半径を決定する。なお、第３道路形状の決定方法として、左右両方の境界線を認識できている場合にはそれらの平均値、又は、進路に応じた方の境界線の曲率半径を採用する構成が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１８－１６７６９８号公報
【特許文献2】特開２０１８－１８９９００号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
レーン境界線等の画像認識結果は誤りうる。例えばレーン境界線ではないものをレーン境界線と誤検出したり、実在するレーン境界線を検出できなかったりする。そして、案内画像の表示位置を決定するための地物としてのレーン境界線の位置が誤認識されると、案内画像の表示位置が実景と整合しなくなり、運転席乗員に違和感を与えてしまうおそれがある。
【0006】
なお、特許文献２では分岐路付近における画像認識に基づく道路形状の決定方法として、本線側のレーン曲率と分岐路側のレーン曲率の平均値を採用する構成や、自車両の進路に応じた方の境界線の曲率半径を採用する構成については言及されている。ただし、特許文献２でも、分岐路側の境界線の認識結果そのものの正当性を判断する構成については何ら言及されていない。
【0007】
分岐路側のレーン境界線の検出に失敗している場合、コンピュータは、更に外側に位置するレーン境界線を自車レーンの境界線と見なしてしまう恐れがある。別レーンの境界線を自車レーンの境界線と見なした場合、案内画像の表示位置がずれてしまう。なお、ここでの分岐路側のレーン境界線とは、分岐路そのもののレーン境界線ではなく、自車レーンの左右の境界線のうち、相対的に分岐路側に位置するレーン境界線を指す。
【0008】
本開示は、上記の着想及び検討に基づいて成されたものであり、その目的の１つは、車両の走行路に関する案内画像が実景とずれて表示される恐れを低減可能な車両用表示制御装置、車両用表示制御方法を提供することにある。
【課題を解決するための手段】
【0009】
ここに開示される車両用表示制御装置の１つは、車両の走行路に関する案内画像を車両の前方の景色に重ねて表示するための車両用表示制御装置であって、案内画像を生成する画像生成部（Ｆ６）と、地図データ及び先行車の走行軌跡の少なくとも何れか一方を用いて、左右のうち、車両の前方において走行路に対して他の道路又はレーンが接続される方向である接続方向を取得する道路構造取得部（Ｆ２）と、撮像装置が撮像した車両前方の画像データに基づいて認識された、接続方向において自車両から最も近い位置に存在するレーン境界線である接続側境界線の位置情報を取得する接続側境界線情報取得部（Ｆ１１）と、車両から見て接続方向とは反対側に位置するレーン境界線である反対側境界線の形状、地図データに示される道路形状、周辺車両の走行軌跡、及び、画像データに基づき認識された道路端の形状の少なくとも何れか１つを取得する検証材料取得部（Ｆ１２）と、認識されているレーン境界線の位置情報、先行車の走行軌跡、及び地図データが示す道路形状、及び、認識されている道路端の形状の少なくとも何れか１つに基づいて案内画像の表示位置を調整する表示制御部（Ｆ７）と、接続側境界線の認識結果の正当性を、認識されている反対側境界線の形状、道路端の形状、地図データに示される道路形状、及び周辺車両の走行軌跡の少なくとも何れか１つを用いて検証する検証部（Ｆ４）と、を備え、表示制御部は、検証部にて接続側境界線を正しく認識できていると判定されているか否かに応じて、案内画像の表示態様、及び、案内画像の表示位置を調整するための基準とするデータの少なくとも何れか一方を変更する。
【0010】
また、上記目的を達成するための車両用制御方法は、車両の前方を撮像した画像データを解析することによって定まるレーン境界線の位置情報に基づいて、車両の走行路に関する案内画像を車両の前方の景色に重ねて表示するための車両用表示制御方法であって、案内画像を生成すること（Ｓ３０１）と、地図データ及び先行車の走行軌跡の少なくとも何れか一方を用いて、左右のうち、車両の前方において走行路に対して他の道路又はレーンが接続される方向である接続方向を取得すること（Ｓ１０１）と、画像データに基づいて認識された、接続方向において自車両から最も近い位置に存在するレーン境界線である接続側境界線の位置情報を取得すること（Ｓ１０３）と、車両から見て接続方向とは反対側に位置するレーン境界線である反対側境界線の形状、地図データに示される道路形状、周辺車両の走行軌跡、及び、画像データに基づき認識された道路端の形状の少なくとも何れか１つを取得すること（Ｓ１０４）と、接続側境界線の認識結果の正当性を、認識されている反対側境界線の形状、道路端の形状、地図データに示される道路形状、及び周辺車両の走行軌跡の少なくとも何れか１つを用いて検証すること（Ｓ１０５～Ｓ１１２）と、接続側境界線を正しく認識できていると判定されているか否かに応じて、案内画像の表示態様、及び、案内画像の表示位置を調整するための基準とするデータの少なくとも何れか一方を変更すること（Ｓ３０４～Ｓ３０５）と、を含む。
【0011】
上記の構成／方法によれば、接線方向に検出されている最寄りのレーン境界線が真に自車両の走行レーンの境界線であるかが検証され、その結果に応じて表示態様又は表示位置を調整するための基準データが変更される。その結果、左右のレーン境界線のうち、接続方向に位置するレーン境界線に対する認識結果が不正である可能性がある場合において、車両の走行路に関する案内画像が実景とずれて表示される恐れを低減可能となる。
【0012】
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【図面の簡単な説明】
【0013】
【図1】ＨＣＵに接続するデバイスの一例を示すブロック図である。
【図2】カメラの構成を示すブロック図である。
【図3】ＨＣＵの機能ブロック図である。
【図4】認識結果取得部の作動を説明するための図である。
【図5】案内画像の一例を示す図である。
【図6】案内画像の一例を示す図である。
【図7】案内画像の一例を示す図である。
【図8】案内画像の一例を示す図である。
【図9】分岐路付近におけるレーン境界線の認識結果の一例を示す図である。
【図11】分岐路付近におけるレーン境界線の認識結果の他の例を示す図である。
【図14】認識結果検証処理に対応するフローチャートである。
【図15】分岐路側境界線に対する認識結果の正当性を評価するための指標を説明するための図である。
【図16】表示制御処理についてのフローチャートである。
【図17】本開示の作動の一例を説明するための図である。
【図18】表示制御処理の他の例を示すフローチャートである。
【図19】本開示の作動の他の例を説明するための図である。
【図20】本開示の作動の他の例を説明するための図である。
【発明を実施するための形態】
【0014】
以下、本開示の実施形態について図を用いて説明する。
【0015】
＜全体構成について＞
図１は、本開示に係る車両用表示システムＳｙｓの概略的な構成の一例を示す図である。図１に示すように車両用表示システムＳｙｓは、ＨＣＵ１、ナビゲーション装置２、カメラ３、Ｖ２Ｘ車載器４、入力装置５、ＨＵＤ６、ディスプレイ７、スピーカ８、及びロケータ９を備えている。
図１は、本開示に係る車両用表示システムＳｙｓの概略的な構成の一例を示す図である。図１に示すように車両用表示システムＳｙｓは、ＨＣＵ１、ナビゲーション装置２、カメラ３、Ｖ２Ｘ車載器４、入力装置５、ＨＵＤ６、ディスプレイ７、スピーカ８、及びロケータ９を備えている。
【0016】
部材名称中のＥＣＵは、Electronic Control Unitの略であり、電子制御装置を意味する。ＨＭＩは、Human Machine Interfaceの略であり、ＨＣＵは、HMI Control Unitの略である。Ｖ２ＸはVehicle to X（Everything）の略で、車を様々なものをつなぐ通信技術を指す。ＨＵＤは、ヘッドアップディスプレイ（Head-Up Display）を指す。
【0017】
ナビゲーション装置２、カメラ３、Ｖ２Ｘ車載器４、及びロケータ９はそれぞれ、車両内に構築された通信ネットワークである車両内ネットワークＩｖＮを介してＨＣＵ１と相互通信可能に接続されている。また、入力装置５、ＨＵＤ６、ディスプレイ７、及びスピーカ８はそれぞれ、所定のケーブルでＨＣＵ１と直接的に接続されている。なお、ここで開示する装置間の接続態様は一例であって適宜変更可能である。例えばナビゲーション装置２やカメラ３などは車両内ネットワークＩｖＮを介さずにＨＣＵ１と接続されていても良い。また、入力装置５やＨＵＤ６などは車両内ネットワークＩｖＮを介してＨＣＵ１と接続されていても良い。
【0018】
ＨＣＵ１は、ナビゲーション装置２やカメラ３から提供される情報や、入力装置５からの入力信号に基づき、ＨＵＤ６などの情報提示デバイスの表示画面を制御する。例えばＨＣＵ１は、ナビゲーション装置２からの要求に基づき、案内画像をＨＵＤ６に表示する。
【0019】
このようなＨＣＵ１は、プロセッサ１１、ＲＡＭ１２、ストレージ１３、通信インターフェース１４、及びこれらを接続するバス等を備えたコンピュータを主体として構成されている。プロセッサ１１は、ＲＡＭ１２と結合された演算処理のためのハードウェアである。プロセッサ１１は、ＣＰＵ（Central Processing Unit）等の演算コア、換言すればプロセッサを少なくとも一つ含む構成である。プロセッサ１１は、ＲＡＭ１２へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。ストレージ１３は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ１３には、所定のプログラムである車両用表示制御プログラムが格納されている。プロセッサ１１が車両用表示制御プログラムを実行することは、車両用表示制御方法として、車両制御プログラムに対応する方法が実行されることに相当する。通信インターフェース１４は、車両内ネットワークＩｖＮを介して他の装置と通信するための回路である。通信インターフェース１４は、アナログ回路素子やＩＣなどを用いて実現されればよい。ＨＣＵ１の詳細については別途後述する。
【0020】
ナビゲーション装置２は、ＨＣＵ１と連携し、乗員によって設定された目的地までの経路案内を実施する装置である。ナビゲーション装置２は、プロセッサ、ＲＡＭ、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたマイクロコンピュータを主体に構成されている。ナビゲーション装置２は、自車両の位置情報及び方角情報を、図示しないＧＮＳＳ（Global Navigation Satellite System）受信機や、慣性センサ、車速センサの出力信号を元に特定する。
【0021】
また、ナビゲーション装置２は、ナビ地図記憶部２１を含む。ナビ地図記憶部２１は、ナビゲーション用の地図データであるナビ地図データが格納されている記憶装置である。ナビ地図記憶部２１は、不揮発性メモリを主体に構成されている。ナビ地図記憶部２１に格納されたナビ地図データには、道路についてのリンクデータ、ノードデータ等が記載されている。ノードデータは、複数の道路が交差、合流、分岐する地点（以降、ノード）に関するデータである。リンクデータは、ノード間を結ぶ道路セグメントであるリンクに関するデータである。ノードデータには、ノードごとの位置座標、その形状、交差点名称、及び接続リンクごとの情報などを含む。接続リンクごと情報とは、ノードに接続しているリンクが伸びる方向などを含む。リンクデータは、リンクごとの形状や、車線情報、始端ノードのＩＤ、終端ノードのＩＤなどを含む。また、リンクデータには、自動車専用道路であるか、一般道路であるかといった、道路種別を示すデータも含まれていてもよい。ここでの自動車専用道路とは、歩行者や自転車の進入が禁止されている道路であって、例えば高速道路などの有料道路などを指す。
【0022】
ナビ地図データは、自動車専用道路において本線に接続する道路である分岐路が存在する地点である分岐地点の位置座標や、分岐地点において分岐路が右側と左側のどちらに有るかを示すデータである分岐路データを含む。分岐路には、別の本線や一般道路に退出するための退出用道路と、本線に合流するための合流用道路とが含まれる。本線を走行する車両にとっては退出用道路や合流用道路が他の道路に相当する。また、合流用道路を走行する車両にとっては本線が他の道路に相当する。
【0023】
ナビゲーション装置２は、ＨＣＵ１を通じて、入力装置５に入力された操作情報を取得し、ユーザ操作に基づき目的地を設定する。ナビゲーション装置２は、目的地までの複数経路を、例えば時間優先及び距離優先等の条件を満たすように探索する。探索された複数経路のうちの一つが選択されると、ナビゲーション装置２は、当該設定経路に基づく経路情報を、関連するナビ地図データと共に、車両内ネットワークＩｖＮを通じて、ＨＣＵ１に提供する。
【0024】
また、ナビゲーション装置２は、現在位置から所定距離以内となる区間についての地図データをＨＣＵ１に出力する。ここでの所定距離は、地図データの読み出し範囲を規定するパラメータであって、例えば２００ｍである。読み出し範囲は、自車両の前方５００ｍや、７５０ｍ、１ｋｍなどであっても良い。読み出し範囲は、走行路の種別に応じて調整されても良い。例えば車速が大きいほど、読み出し範囲は長く設定されうる。また、読み出し範囲は、走行路が高速道路である場合には、走行路が一般道路である場合よりも長く設定されてもよい。ここでの走行路は、自車両が走行している道路を指す。また、走行路との表現には自車両がこれから走行予定の道路、換言すれば走行すべき道路領域も含まれうる。ＨＣＵ１に提供される地図データには、曲率や勾配、幅員などが含まれる。さらには、ＨＣＵ１に提供される地図データには、車線数や、右折専用レーン、左折専用レーンなどといった車線情報などが含まれることが好ましい。また、ＨＣＵ１に提供される地図データには、車両位置に応じて分岐路データが含まれうる。
【0025】
カメラ３は、車両に取り付けられてあって、車室外を所定の画角で撮像するカメラである。カメラ３は、例えば車両前方を撮像するように、フロントガラスの車室内側の上端部や、フロントグリル、ルーフトップ等に配置された、フロントカメラである。カメラ３は車両側方を撮像するサイドカメラであってもよいし、車両後方を撮像するリアカメラであってもよい。
【0026】
カメラ３は、図２に示すように、画像フレームを生成するカメラ本体部３１と、画像フレームに対して認識処理を施す事により、所定の検出対象物を検出するＥＣＵ（以降、カメラＥＣＵ３２）と、を備える。カメラ本体部３１は少なくともイメージセンサとレンズとを含む構成であって、所定のフレームレート（例えば６０ｆｐｓ）で撮像画像データを生成及び出力する。カメラＥＣＵ３２は、ＣＰＵや、ＧＰＵなどを含む画像処理チップを主体として構成されており、機能ブロックとして識別器Ｇ１を含む。識別器Ｇ１は、カメラ本体部３１で生成された画像の特徴量ベクトルに基づき、物体の種別を識別する構成である。識別器Ｇ１には、例えばディープラーニングを適用したＣＮＮ（Convolutional Neural Network）やＤＮＮ（Deep Neural Network）などを利用可能である。識別器Ｇ１は、色、輝度、色や輝度に関するコントラスト等を含む画像情報に基づいて、撮像画像から背景と検出対象物とを分離して抽出する。
【0027】
カメラ３の検出対象物には、例えば、歩行者や、他車両などの移動体が含まれる。他車両には自転車や原動機付き自転車、オートバイも含まれる。また、カメラ３は、所定の地物も検出可能に構成されている。カメラ３が検出対象とする地物には、道路端や、路面標示、道路沿いに設置される構造物が含まれる。道路沿いに設置される構造物とは、例えば、ガードレール、縁石、電柱、道路標識、信号機などである。
【0028】
路面標示は、交通制御、交通規制のための路面に描かれたペイントを含む。例えば道路標示には、レーンの境界を示すレーン境界線（いわゆるレーンマーカ）や、横断歩道、停止線、導流帯、安全地帯、規制矢印などが含まれる。レーンは車両通行帯や車線とも称される。レーン境界線には、連続線（実線）又は破線状のペイントのほか、チャッターバーやボッツドッツなどの道路鋲によって実現されるものも含まれる。本開示におけるレーン境界線には、道路中央線や、車道外側線なども含まれる。また、破線状のペイントには、ブロック線なども含まれる。
【0029】
例えばカメラＥＣＵ３２は、レーン境界線や道路端といった地物の自車両からの相対距離および方向（つまり相対位置）、移動速度などを、ＳｆＭ（Structure from Motion）処理等を用いて画像から算出する。自車両に対する地物の相対位置は、画像内における地物の大きさや傾き度合いに基づいて特定してもよい。
【0030】
検出物の位置は、例えば自車の基準点を原点とする３次元座標系である車両座標系で表現される。この車両座標系を構成するＸ軸は車両の左右方向に平行であって、例えば右方向を正方向とするように設定されている。Ｙ軸は車両の前後方向に平行であって、車両の前方に向かう方向を正方向とするように設定されている。Ｚ軸は車両高さ方向に対応するように設定される。なお、車両座標系はＺ軸を省略した２次元座標系であってもよい。
【0031】
例えばカメラＥＣＵ３２は、道路端やレーン境界線の複数の認識点のそれぞれの位置を車両座標系で示したデータを生成する。また、カメラＥＣＵ３２は、レーン境界線及び道路端の位置及び形状に基づいて、走路の曲率や幅員、勾配等の形状などを示す走行路データを生成する。なお、レーン境界線などの認識点の位置は、画像座標系で表現されても良い。画像座標系は、例えば画像の左上隅部の画素の中心を原点とし、画像右方向がＸ軸正方向、画像下方向がＹ軸正方向として定義される。画像座標系では、画素の中心が整数値をもつように定義されうる。
【0032】
なお、カメラＥＣＵ３２は、路面の左右方向の終端部を道路端として検出する。例えば道路の外側が未舗装の地面である場合には、当該舗装路と未舗装部分の境界を画像フレームの輝度分布を解析することにより（例えばエッジ検出により）道路端として検出する。また、歩道用の段差等、立体的な構造物が道路の端部に形成されている場合には、当該構造物と路面との接合部分、つまり当該構造物の最下部を道路端として検出する。路面から立設する部分もまた、画像フレームの輝度分布を解析することにより、道路端として検出可能である。その他、カメラＥＣＵ３２は側壁やガードレールなどの位置を道路端の位置として出力するように構成されていても良い。
【0033】
加えて、カメラＥＣＵ３２は、ＳｆＭに基づき自車両に作用しているヨーレート（回転角速度）を算出する。カメラＥＣＵ３２は、検出物の相対位置や種別等を含む検出結果データを、車両内ネットワークＩｖＮを介してＨＣＵ１に逐次提供する。
【0034】
なお、カメラ３が備える機能の一部は、ＨＣＵ１や運転支援ＥＣＵが備えていても良い。例えば画像解析による物体認識処理や相対位置の演算処理は、ＨＣＵ１や運転支援ＥＣＵが実行してもよい。その場合、カメラ３は、物体認識用の画像フレームをＨＣＵ１等に提供するように構成されていても良い。カメラ３が撮像装置に相当する。
【0035】
Ｖ２Ｘ車載器４は、自車両が他の装置と無線通信を実施するための装置である。なお、Ｖ２Ｘの「Ｖ」は自車両としての自動車を指し、「Ｘ」は、歩行者や、他車両、道路設備、ネットワーク、サーバなど、自車両以外の多様な存在を指しうる。Ｖ２Ｘ車載器４は、通信モジュールとして、例えば広域通信部と狭域通信部を備える。広域通信部は、所定の広域無線通信規格に準拠した無線通信を実施するための通信モジュールである。ここでの広域無線通信規格としては例えばＬＴＥ（Long Term Evolution）や４Ｇ、５Ｇなど多様なものを採用可能である。なお、広域通信部は、無線基地局を介した通信のほか、広域無線通信規格に準拠した方式によって、他の装置との直接的に、換言すれば基地局を介さずに、無線通信を実施可能に構成されていても良い。つまり、広域通信部はセルラーＶ２Ｘを実施するように構成されていても良い。自車両は、Ｖ２Ｘ車載器４の搭載により、インターネットに接続可能なコネクテッドカーとなる。
【0036】
Ｖ２Ｘ車載器４が備える狭域通信部は、通信距離が数百ｍ以内に限定される通信規格（以降、狭域通信規格）によって、自車両周辺に存在する他の移動体や路側機と直接的に無線通信を実施するための通信モジュールである。他の移動体としては、車両のみに限定されず、歩行者や、自転車などを含めることができる。狭域通信規格としては、ＩＥＥＥ１６０９にて開示されているＷＡＶＥ（Wireless Access in Vehicular Environment）規格や、ＤＳＲＣ（Dedicated Short Range Communications）規格など、任意のものを採用可能である。
【0037】
Ｖ２Ｘ車載器４は、自車両の走行状態を示す車両情報を含んだ通信パケットを送信するとともに、他車両の車両情報を含んだ通信パケットを受信する。車両情報には、現在位置、進行方向、車速、加速度などが含まれる。車両情報を含む通信パケットには、車両情報のほかに、当該通信パケットの送信時刻や、送信元情報などの情報を含む。送信元情報とは、送信元に相当する車両に割り当てられている識別番号（いわゆる車両ＩＤ）を指す。自車両の車両情報である自車両情報を示すデータセットは、例えば車両内ネットワークを流れる種々のデータに基づき、Ｖ２Ｘ車載器４が生成してもよいし、ＨＣＵ１や運転支援ＥＣＵなどで生成されてもよい。また、他車両から受信した車両情報である他車両情報は、受信次第、ＨＣＵ１や運転支援ＥＣＵに出力する。
【0038】
入力装置５は、乗員による車両に対する種々の入力操作を受け付けるための装置である。入力装置５としては、たとえば、ディスプレイの表示面に重畳されたタッチパネルや、メカニカルスイッチなどを採用可能である。メカニカルスイッチは、ステアリングホイールやインストゥルメントパネル、センターコンソールなどに配置されうる。また、音声入力を行うためのマイクを入力装置５として設けることもできる。さらに、乗員が所持するスマートフォンがＨＣＵ１又はナビゲーション装置２と有線又は無線接続している場合には、当該スマートフォンを入力装置５として援用可能である。
【0039】
ＨＵＤ６は、ＨＣＵ１と電気的に接続されており、ＨＣＵ１にて生成された映像データを取得する。ＨＵＤ６は、プロジェクタ、スクリーンおよび拡大光学系等によって構成されている。拡大光学系とは、例えば凹面鏡やレンズなどである。ＨＵＤ６は、スクリーンとしてのウィンドシールドの下方にて、インストゥルメントパネル内の収容空間に収容されている。
【0040】
ＨＵＤ６は、虚像として結像される表示像の光を、ウィンドシールドの投影範囲へ向けて投影する。ウィンドシールドへ向けて投影された光は、投影範囲において運転席側へ反射され、ドライバによって知覚される。ドライバは、投影範囲を通して見える前景中の重畳対象に、虚像が重畳された表示を視認する。虚像は、例えば路面や前走車等を含む実景に所定のコンテンツ画像が重畳された、いわゆる拡張現実（ＡＲ：Augmented Reality）表示を実現する。コンテンツ画像とは、例えばナビゲーション装置２に設定された走行経路を示す案内画像や、運転支援システムの作動状態を示すアイコン画像、走行速度画像、警告画像などである。その他、ＨＵＤ６はＨＣＵ１からの制御に基づき、例えばブレーキ操作など、車両に対する特定の操作を促す情報表示等をドライバに提示する。
【0041】
ディスプレイ７は、インストゥルメントパネルに設けられた、画像を表示するデバイスである。ディスプレイ７は、例えば、インストゥルメントパネルの車幅方向中央部に設けられた、いわゆるセンターディスプレイである。ディスプレイ７は運転席の正面、いわゆるメータクラスタに配置された、メータディスプレイであってもよい。ディスプレイ７は、フルカラー表示が可能なものであり、液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ、プラズマディスプレイ等を用いて実現できる。ディスプレイ７は、ＨＵＤ６との区別のため、実像ディスプレイやインパネディスプレイと呼ぶこともできる。
【0042】
スピーカ８は、ＨＣＵ１から入力される信号に基づき、車両の車室内で音声を発生させる。音声出力の種類としては、所定のテキストを読み上げる音声メッセージや、音楽と、アラームなどがある。音声との表現には、単なる音も含まれる。
【0043】
ロケータ９は、当該ロケータ９が用いられている車両（つまり自車両）の位置を逐次算出する装置である。例えばロケータ９は、ＧＮＳＳを構成する測位衛星が送信する測位信号を受信するＧＮＳＳ受信機を備え、ＧＮＳＳ受信機が受信した測位信号を用いて位置を算出する。なお、ロケータ９は、ＧＮＳＳ受信機の測位結果と、ジャイロセンサや車速センサなどの計測結果との組み合わせにより位置を決定するものであってもよい。
【0044】
ロケータ９は高精度地図データが保存された高精度地図記憶部９１を備える。ここでの高精度地図とは、道路構造、及び、道路沿いに配置されている地物についての位置座標等を、自動運転に利用可能な精度で示す地図データに相当する。自動運転に利用可能な精度とは例えば位置誤差が１０ｃｍ未満であるレベルを指す。高精度地図データには、道路の３次元形状情報（道路構造情報）、レーン数情報、各レーンの進行方向を示す情報等、高度運転支援および自動運転に利用可能な情報が含まれている。
【0045】
ロケータ９は、決定した位置の軌跡を高精度地図データが示す道路形状に重ね合わせる、いわゆるマップマッチング処理を実施することで位置の補正を行ってもよい。さらに、ロケータ９は、ローカライズ処理を実施可能に構成されていても良い。ローカライズ処理は、前方カメラなどの周辺監視カメラで撮像された画像に基づいて特定されたランドマークの座標と、地図データに登録されているランドマークの座標とを照合することによって自車両の詳細位置を特定する処理を指す。本開示におけるランドマークとは、車両の縦方向位置を推定するための目印として利用可能な地物を指す。ランドマークとして用いる地物の種別は適宜変更可能である。ランドマークとしては、例えば方面看板などの交通標識や、一時停止線などの路面標示など、道路に沿って離散的に配置されてあって、かつ、経時変化が乏しい地図要素を採用可能である。
【0046】
ロケータ９は、現在位置から所定距離以内の地図データを前方地図データとして高精度地図記憶部９１から読み出し、ＨＣＵ１等に出力する。なお、ロケータ９は任意の要素である。
【0047】
＜ＨＣＵ１の機能について＞
ＨＣＵ１は図３に示すように、種々の機能部を備える。すなわち、ＨＣＵ１は、認識結果取得部Ｆ１、地図情報取得部Ｆ２、先行車情報取得部Ｆ３、検証部Ｆ４、経路設定取得部Ｆ５、画像生成部Ｆ６、及び表示制御部Ｆ７を備える。認識結果取得部Ｆ１は、左側境界線取得部Ｆ１１と右側境界線取得部Ｆ１２を備える。また表示制御部Ｆ７がより細かい機能部として、表示位置決定部Ｆ７１と表示態様調整部Ｆ７２とを備える。
ＨＣＵ１は図３に示すように、種々の機能部を備える。すなわち、ＨＣＵ１は、認識結果取得部Ｆ１、地図情報取得部Ｆ２、先行車情報取得部Ｆ３、検証部Ｆ４、経路設定取得部Ｆ５、画像生成部Ｆ６、及び表示制御部Ｆ７を備える。認識結果取得部Ｆ１は、左側境界線取得部Ｆ１１と右側境界線取得部Ｆ１２を備える。また表示制御部Ｆ７がより細かい機能部として、表示位置決定部Ｆ７１と表示態様調整部Ｆ７２とを備える。
【0048】
認識結果取得部Ｆ１は、カメラ３から画像認識結果としてのデータを取得する。例えば認識結果取得部Ｆ１は、自車両前方に存在する他の移動体や、地物、障害物などの位置や、移動速度などを取得する。地物には、ガードレールや側壁のほか、所定のランドマークが含まれる。
【0049】
また認識結果取得部Ｆ１は、レーン境界線及び道路端（以降、レーン境界線等）の認識点列を示すデータを取得する。レーン境界線が基準物に相当する。故に、レーン境界線の認識点を示すデータが基準物認識データに相当する。認識結果取得部Ｆ１は、道路端やレーン境界線の認識結果に基づき道路の勾配や曲率などを取得する。
【0050】
なお、レーン境界線についての認識結果は、図４に示すように、自車両が走行しているレーンである自車レーンＬｅの右側境界を示す右側境界線ｅＲ、及び、自車レーンの左側境界を示す左側境界線ｅＬのそれぞれについてのデータを含む。自車レーンはエゴレーンと呼ばれることもある。ＨＣＵ１は、自車両の左側に検出されているレーン境界線のうち、自車両から最も近い位置に存在するレーン境界線を自車レーンの左側境界線ｅＬと解する。また、ＨＣＵ１は、自車両の右側に検出されているレーン境界線のうち、自車両から最も近い位置に存在するレーン境界線を自車レーンの右側境界線ｅＲと解する。左側境界線ｅＬについての認識結果を取得する認識結果取得部Ｆ１が左側境界線取得部Ｆ１１に相当し、右側境界線ｅＲについての認識結果を取得する認識結果取得部Ｆ１が右側境界線取得部Ｆ１２に相当する。
【0051】
また、カメラ３から提供されるレーン境界線の情報としては、自車レーンＬｅについての情報だけでなく、隣接する他のレーン境界線についての情報を含みうる。自車レーン境界線以外のレーン境界線が他車レーン境界線に相当する。便宜上、自車レーンの左側に隣接するレーンのことを左隣接レーンＬｐ、右側に隣接するレーンのことを右隣接レーンＬｑとも記載する。
【0052】
左隣接レーンＬｐの右側境界線は、自車レーンの左側境界線ｅＬに相当する。また、自車レーンＬｅの左側境界線ｅＬよりも１つ左側に位置するレーン境界線ｐＬは、左隣接レーンＬｐの左側境界を規定するレーン境界線に相当する。右隣接レーンＬｑの左側境界線は、自車レーンＬｅの右側境界線ｅＲに相当する。また、自車レーンＬｅの右側境界線ｅＲよりも１つ右側に位置するレーン境界線ｑＲは、右隣接レーンＬｑの右側境界を規定するレーン境界線に相当する。なお、図４は、片側３車線の道路において、左端から２番目（つまり中央車線）を自車両が走行している状態を例示している。図４に示すＥｇＬは左側道路端を、ＥｇＲは右側道路端を示している。
【0053】
本開示の認識結果取得部Ｆ１は一例として、レーン境界線ごとの認識点を統計的に処理することで、レーン境界線毎の３次元位置を決定する。例えば認識結果取得部Ｆ１は、各レーン境界線の認識点の集合を母集団として、各レーン境界線の位置を近似的に示す線である近似曲線を算出する。より具体的には、認識結果取得部Ｆ１は、自車レーンの右側境界線ｅＲの認識点を母集団として右側境界線ｅＲの回帰式を算出する。同様に、左側境界線ｅＬの認識点を母集団として左側境界線ｅＬの回帰式を算出する。隣接レーンや道路端に対しても同様に、対応する認識点の集合を母集団として、回帰式を算出する。回帰式は複数の検出点の分布を近似的に表す直線又は曲線に相当する関数であって、例えば最小二乗法等によって算出される。
【0054】
レーン境界線等の回帰式は、例えばＹ座標を変数とする２次関数で表現される。回帰式の次元数は適宜変更可能であって、回帰式は１次関数や３次関数、指数関数であってもよい。以降では回帰式が表す直線又は曲線を回帰線とも称する。
【0055】
なお、ここでは説明の都合上、或いは処理負荷軽減のため、路面は概ね平坦であるとみなし、ＸＹ平面でのレーン境界線の位置を決定する構成を開示したが、もちろんＺ軸方向を考慮して３次元位置を決定するように構成されていても良い。また、レーン境界線の位置は車両座標系ではなく画像座標系で算出されてもよい。さらに、いったん画像座標系で算出された後に、後述する地図データとの比較のために車両座標系に変換されても良い。
【0056】
その他、認識結果取得部Ｆ１は、レーン境界線位置の決定方法と同様の方法により、道路端の認識点を母集団として、左右の道路端の位置も決定しうる。認識結果取得部Ｆ１が取得又は決定したレーン境界線の位置情報は検証部Ｆ４や表示制御部Ｆ７に出力される。なお、以降で述べる自車レーン境界線の認識結果は、１つの局面において、認識結果取得部Ｆ１が実際の認識点をもとに統計的に決定した位置と解することができる。すなわち、認識点をもとに設定された回帰線に沿う位置をレーン境界線の認識位置として採用することができる。また、他の局面においては、レーン境界線の認識位置として、認識点列の位置そのものを採用してもよい。
【0057】
地図情報取得部Ｆ２は、ナビゲーション装置２から現在位置に応じた前方地図データを取得する。すなわち、走行路の曲率や勾配、分岐路データを取得する。また、車線数、右折専用レーン、左折専用レーンなどといった車線情報なども取得しうる。地図情報取得部Ｆ２が取得した地図データは検証部Ｆ４や表示制御部Ｆ７に出力される。なお地図データの取得元はロケータ９や、車両外部に配置された地図配信サーバであってもよい。地図情報取得部Ｆ２が取得する地図データは高精度地図であっても良い。分岐路が存在する方向を取得する地図情報取得部Ｆ２が道路構造取得部に相当する。なお、分岐路が存在する方向は、案内標識に対する画像認識結果に基づいて特定されても良いし、車々間通信で取得する周辺車両の軌跡から特定しても良い。
【0058】
先行車情報取得部Ｆ３は、車車間通信で取得した他車両情報に基づき、自車両の前方を走行する車両の軌跡を特定する。自車両の前方には、正面方向に限らず、斜め前方も含めることができる。走行軌跡の特定対象には、自車レーン上に存在する車両に限らず、隣接レーンを走行する車両を含めることができる。或る車両の走行軌跡は、当該車両から受信した位置情報の時系列データによって特定されうる。便宜上、自車両の前方において自車レーン上を走行する車両を先行車と称するとともに、自車両前方において隣接レーンを走行する車両のことを側方先行車と称する。先行車と側方先行車とを区別しない場合には周辺車両と記載する。周辺車両の走行軌跡は、車両座標系で表現されうる。
【0059】
なお、周辺車両の走行軌跡を特定する手段は、車車間通信に限定されない。カメラ３での認識結果に基づいて、周辺車両の走行軌跡を算出しても良い。車車間通信で取得した他車両情報とカメラ３での画像認識結果とを組み合わせて周辺車両の走行軌跡を特定しても良い。先行車情報取得部Ｆ３は、認識結果取得部Ｆ１が備えていても良い。先行車情報取得部Ｆ３が取得した先行車の走行軌跡データは、検証部Ｆ４や表示制御部Ｆ７に出力される。先行車情報取得部Ｆ３もまた道路形状取得部の一例に相当する。
【0060】
検証部Ｆ４は、認識結果取得部Ｆ１が取得した分岐路側境界線に対する認識結果の正当性を、分岐路が存在する方向とは反対側のレーン境界線の認識結果を基準として検証する構成である。ここでの分岐路側境界線とは、自車レーンの範囲を規定する左右のレーン境界線のうち、分岐路が存在する側のレーン境界線である。分岐路が存在する方向とは反対側のレーン境界線のことを反対側境界線とも称する。分岐路が存在する方向を、分岐路方向とも称する。
【0061】
例えば前方の左側に自動車専用道路の本線から退出するための分岐路が設けられている場合、左側境界線ｅＬが分岐路側境界線に相当し、右側境界線ｅＲが反対側境界線に相当する。また、左方向が分岐路方向に相当する。便宜上、本線において最も分岐路方向に位置し、分岐路と接続するレーンのことを分岐路接続レーンとも称する。左側通行の地域においては、多くの場合、最も左側のレーンが分岐路接続レーンとなりうる。もちろん、道路の構造上、例えば一部のジャンクションなどにおいては最も右側のレーンが分岐路接続レーンとなっているケースも存在しうる。分岐路方向が左である場合、左側境界線取得部Ｆ１１が接続側境界線情報取得部に相当し、右側境界線取得部Ｆ１２が検証材料取得部に相当する。分岐路方向が左側である場合、反対側境界線としての右側境界線の形状が分岐路側境界線に対する認識結果を検証するための材料となりうるためである。
【0062】
このような検証部Ｆ４は、反対側境界線の認識結果（例えば形状）をもとに、分岐路側境界線を正しく認識できているか否かを判断する構成に相当する。分岐路側境界線を正しく認識できていると判定しないことは、分岐路側境界線を誤認識している可能性が有ると判定することに相当する。なお、レーン境界線を正しく認識している状態とは、実際のレーン境界線と完全に一致するように認識している状態に限定されない。実際のレーン境界線との誤差が所定の許容範囲に収まっている状態も含まれる。また、別のレーン境界線や道路端、ガードレールのエッジなどを分岐路側境界線として認識している状態が、分岐路側境界線を正しく認識できていない状態に該当する。
【0063】
例えば検証部Ｆ４は、認識されている分岐路側境界線と反対側境界線のそれぞれの形状を比較し、両者の類似度合いが所定の閾値以上である場合に、分岐路側境界線は正しく認識されていると判断する。
【0064】
また、検証部Ｆ４は、認識されている左右のレーン境界線の間隔を算出し、レーン境界線の間隔が所定の正常範囲外である区間が存在することに基づいて、分岐路側境界線についての認識結果の正当性を判断しても良い。正常範囲は、例えば所定の標準レーン幅を基準に設定されれば良い。標準レーン幅は、自車両が使用される地域の法規に応じた値に設定されればよい。例えば標準レーン幅は２．２ｍや、２．５ｍ、３．０ｍに設定されうる。標準レーン幅の設定値は、自車両が走行している道路種別に応じて変更されてもよい。一般道路の標準レーン幅は、高速道路の標準レーン幅よりも小さく設定されてもよい。右側境界線ｅＲと左側境界線ｅＬの間隔に対する正常範囲の下限値は例えば１．０ｍや１．５ｍなど、標準レーン幅の半分程度の値に設定することができる。また、正常範囲の上限値は例えば４．０ｍや４．５ｍなどに設定されうる。上限値は、２レーン分の幅、つまり標準レーン幅を２倍した値と同等かそれよりも小さく設定されることが好ましい。
【0065】
検証部Ｆ４の詳細については別途後述する。なお、ここでは一例として反対側境界線を基準として分岐路側境界線の認識結果の正当性を評価するものとするが、これに限らない。レーン境界線の認識結果の正当性の判断材料としては、地図データに示される道路形状や、画像認識された道路端の形状、先行車の走行軌跡なども用いることができる。すなわち、検証部Ｆ４は、分岐路側境界線に対する認識結果の正当性を、反対側境界線の形状、道路端の形状、地図データに示される道路形状、及び周辺車両の走行軌跡の少なくとも何れか１つを用いて検証する。
【0066】
検証部Ｆ４は、例えば分岐地点から所定距離以内に自車両が位置していることを条件として、分岐路側境界線に対する認識結果を検証する処理を実行しうる。検証部Ｆ４の検証結果を示すデータは表示制御部Ｆ７に出力される。
【0067】
経路設定取得部Ｆ５は、ナビゲーション装置２から、ユーザによって設定されている目的地までの走行予定経路を取得する。なお、走行予定経路情報は、例えば自動車専用道路を利用する区間や、右左折する交差点などの情報を含む。自動車専用道路を利用する区間についての情報は、出入り口としてのインターチェンジの名称などを含みうる。なお、走行予定経路の取得元はナビゲーション装置２に限らず、運転支援ＥＣＵや自動運転ＥＣＵなどであってもよい。経路設定取得部Ｆ５は、取得した走行予定経路情報を画像生成部Ｆ６や表示制御部Ｆ７に出力する。
【0068】
画像生成部Ｆ６は、ＨＵＤ６を用いて表示するための画像であるＨＵＤ画像を生成する構成である。ＨＵＤ画像としては、自車両の進路を示すターンバイターン画像や、自車レーンの範囲を強調表示するレーン強調画像などありうる。
【0069】
ターンバイターン画像としては、図５に示すように路面に平行な視覚的態様で表示される進行方向に応じた矢印画像や、図６に示す通り、三角形などの相対的に小さいアイコン画像を進行方向に沿って所定間隔で配置された画像等が挙げられる。また、レーン強調画像としては、レーン幅強調画像や境界線強調画像が含まれる。レーン幅強調画像は、図７に示すように、自車レーン内において幅方向に伸びる線状又は帯状の要素画像が自車レーンの延伸方向に沿って配置された画像に相当する。境界線強調画像は、自車レーン境界線そのものを強調する画像である。境界線強調画像には、図８に示すように自車レーン境界線に重畳表示されるライン状の画像の他、自車レーン境界線から立設する壁を模した半透明なポリゴン画像である疑似壁画像など、多様なパターンが想定される。
【0070】
ターンバイターン画像や、自車レーンの範囲を強調表示するレーン強調画像など、進路や走行路についての情報を示すＨＵＤ画像が案内画像に相当する。なお、ここでの進路を示す案内画像とは、道なりでよいのか、右左折するのかなどを、路面に平行な仮想面に投影した矢印等で示す画像に相当する。また、走行路を示す案内画像とは、自車レーン境界線や、自車レーンに相当する道路領域を明示するための画像を指す。図５～図８に示すＧＰは案内画像としてのＨＵＤ画像を示している。なお、図中のドットパターンのハッチングは、案内画像を強調して明示するために付与したものである。実際には必ずしもドットパターンの模様が付与されているわけではない。案内画像は、例えば青色や緑色、黄色、赤色などの所定の透明度を有する有色半透明な画像として表示されうる。もちろん、画像の表示態様は適宜変更可能である。
【0071】
各種画像は、ストレージ１３に保存されている素材データを元に描画される。なお、ＨＣＵ１は図５～図８に示す全ての画像を描画可能に構成されている必要はない。また、画像のデザインも適宜変更可能である。複数種類の画像を描画可能に構成されている場合、何れの画像を生成するかは車両の状態や走行環境、ユーザ設定に応じて表示制御部Ｆ７に基づき、選択的に決定される。画像生成部Ｆ６が生成したＨＵＤ画像のデータは、表示制御部Ｆ７に入力される。
【0072】
表示制御部Ｆ７は、ＨＵＤ画像の表示態様を変更する構成である。表示態様の変更には、表示位置の調整も含まれる。また、表示態様を変更することの概念には、表示する画像の種類や、形状、色合い、透明度、明滅パターンなどの何れかを変更することも含まれる。表示位置決定部Ｆ７１は、自車レーンの左右のレーン境界線を基準に、ＨＵＤ画像を配置する位置を決定する。ターンバイターン画像やレーン幅強調画像は、例えば自車レーンの中心に沿って表示されるように位置を調整する。また、境界線強調画像は、レーン境界線そのものに沿うように配置する。表示位置の調整に使用するためのレーン境界線の位置情報としては、例えば、認識結果取得部Ｆ１によって決定された値が適用される。
【0073】
表示態様調整部Ｆ７２は、検証部Ｆ４による分岐側境界線の認識結果に対する正当性の判断結果に基づいて、案内画像の表示態様を変更する構成である。例えば検証部Ｆ４にて接続側境界線を正しく認識できていると判定されている場合には、接続側境界線を正しく認識できていない可能性があると判定されている場合に比べて、より目立つ態様で表示させる。また、表示態様調整部Ｆ７２は検証部Ｆ４にて接続側境界線を正しく認識できていない可能性があると判定されている場合には、案内画像の表示範囲を分岐路の手前までに制限してもよい。その他、表示態様調整部Ｆ７２は、検証部Ｆ４にて接続側境界線を正しく認識できていない可能性があると判定されている場合、分岐地点よりも遠方領域においては、分岐地点の手前までの区間よりも案内画像を目立たない態様で表示してもよい。
【0074】
また、表示制御部Ｆ７は、検証部Ｆ４にて分岐路側境界線が正しく認識されていない可能性が有ると判定された場合には、所定の棄却時間、案内画像の表示位置の調整に、分岐路側境界線の認識結果を使用しないように構成されていても良い。棄却時間は例えば１０秒や、３０秒、４５秒などに設定されうる。棄却時間の間、表示制御部Ｆ７は、反対側境界線の認識結果だけ、或いは、地図データや先行車の走行軌跡などのデータを基準として、案内画像の表示位置を決定する。
【0075】
＜分岐点付近における自車レーン境界線の認識精度について＞
ここでは自車レーン境界線以外のレーン境界線を自車レーンと誤判断されやすいシーンの一例として分岐路接続レーンを自車両が走行しているシーンについて図９等を用いて説明する。図９は、分岐路接続レーンを自車両が走行しているシーンにおいて、分岐路と本線との接続箇所における分岐路側境界線を正しく認識できている場合を例示した図である。また、図１０は、図９に示す画像上の認識点をもとに決定されたレーン境界線を車両座標系に変換して示した図である。なお、車両座標系は自車両を基準とするため、ｘ＝０、ｙ＝０となる地点は自車両の位置を示している。
ここでは自車レーン境界線以外のレーン境界線を自車レーンと誤判断されやすいシーンの一例として分岐路接続レーンを自車両が走行しているシーンについて図９等を用いて説明する。図９は、分岐路接続レーンを自車両が走行しているシーンにおいて、分岐路と本線との接続箇所における分岐路側境界線を正しく認識できている場合を例示した図である。また、図１０は、図９に示す画像上の認識点をもとに決定されたレーン境界線を車両座標系に変換して示した図である。なお、車両座標系は自車両を基準とするため、ｘ＝０、ｙ＝０となる地点は自車両の位置を示している。
【0076】
図１０及び後述する図１２、図１５等においてｅＬ＿ｒで示す線はＨＣＵ１が認識している左側境界線ｅＬを表し、ｅＲ＿ｒで示す線はＨＣＵ１が認識している右側境界線ｅＲを表す。また、ｐＬ＿ｒで示す線はＨＣＵ１が認識している左側境界線ｅＬ＿ｒよりも１つ左側の境界線を表し、ｑＲ＿ｒで示す線はＨＣＵ１が認識している右側境界線ｅＲよりも１つ右側の境界線を表す。つまり、末尾に「＿ｒ」を付与した線は、実際の線ではなく、ＨＣＵ１が認識している線を示す。
【0077】
分岐路接続レーンと分岐路との接合部分の境界線は、図９に示すように、連続線ではなく、ブロック線や、短破線、ボッツドッツで表現されている場合がある。連続線に比べてブロック線などは、画像情報（画素）が少ない。故に、分岐路接続レーンと分岐路との接合部分の境界線は、連続線で表現されているレーン境界線に比べて認識しにくい。一方、分岐路へと続く車道最外線は連続線で表現されうるため、分岐路接続レーンと分岐路との接合部分の境界線は認識されなくとも、車道外側線は認識できることがある。
【0078】
その結果、図１１及び図１２に示すように、分岐路接続レーンと分岐路との接合部分の境界線が認識されずに、車道外側線が分岐路方向において自車両から最も近い境界線として認識されるケースが生じうる。このような場合、ＨＣＵ１は、分岐路の車道外側線に対応する認識点列を自車レーンの境界線と見なすことがある。
【0079】
分岐路の車道外側線を自車レーン境界線と解釈してしまうと、例えば案内画像が図１３に示すように自車レーンの中心からずれた位置に表示されてしまう。その結果、ユーザに違和感を与えてしまう。特に、案内画像ＧＰが、２つの分岐路と本線との間に向かうように表示されると、例えば分岐路と本線のどちらに進めばよいのかが不明確となり、ユーザを戸惑わせてしまう。また、場合によっては本来進むべきではない方向に案内画像としての矢印画像が表示されうる。本開示の検証部Ｆ４の判定結果に基づく表示制御は、以下の説明の通り、上記のような自車レーン境界線のロスト又は誤認識による表示位置のズレを抑制するように作用する。なお、図１３においてＧＰ０は、本来表示されるべき案内画像の表示像を示している。
【0080】
なお、分岐路接続レーンと分岐路との接合部分の境界線は、当該境界線が先行車によって遮られている場合や、摩耗等によりかすれている場合にはより一層認識しづらくなる。その他、水たまりや落下物、路面の補修痕など、分岐路接続レーンと分岐路との接合部分の境界線を困難とする要因としては多様なものが想定されうる。
＜検証処理について＞
ここでは図１４に示すフローチャートを用いて認識結果検証処理について説明する。認識結果検証処理は、検証部Ｆ４が実施する、分岐側境界線に対する認識結果の正当性を判定するための一連の処理に相当する。図１４に示すフローチャートは、車両の走行用電源がオンとなっている間、所定の確認周期（例えば２００ミリ秒毎）に実行される。走行用電源は、例えばエンジン車両においてはイグニッション電源である。電気自動車においてはシステムメインリレーが走行用電源に相当する。
＜検証処理について＞
ここでは図１４に示すフローチャートを用いて認識結果検証処理について説明する。認識結果検証処理は、検証部Ｆ４が実施する、分岐側境界線に対する認識結果の正当性を判定するための一連の処理に相当する。図１４に示すフローチャートは、車両の走行用電源がオンとなっている間、所定の確認周期（例えば２００ミリ秒毎）に実行される。走行用電源は、例えばエンジン車両においてはイグニッション電源である。電気自動車においてはシステムメインリレーが走行用電源に相当する。
【0081】
本実施形態では一例として認識結果検証処理は、ステップＳ１０１～Ｓ１１４を備える。認識結果検証処理が備えるステップ数や処理順序は適宜変更可能である。当該一連の処理フローは、繰り返し実行されるものであって、処理が成功した場合には、本処理にて算出された整合範囲のデータがメモリに保存され、後述する表示制御処理に随時使用される。なお、後述する表示制御処理は、ここでは一例として本フローとは独立して実行されるものとするが、一連の処理として構成されていても良い。
【0082】
ステップＳ１０１では地図情報取得部Ｆ２がナビゲーション装置２等から前方地図データを取得してステップＳ１０２に移る。ステップＳ１０２ではステップＳ１０１で取得した地図データに基づき、前方所定距離以内に分岐点が存在するか否かを判定する。ここでの所定距離は、例えば２５０ｍや４００ｍなど、カメラ３で境界線を認識可能な距離の最大値、換言すればカメラ３の性能に応じた値に設定されうる。分岐点がある場合には、当該分岐路が左右のどちら側に有るのか、すなわち分岐路方向を特定してステップＳ１０３に移る。一方、所定距離以内に分岐路が存在しない場合には本フローを終了する。
【0083】
ステップＳ１０３では認識結果取得部Ｆ１が決定した自車レーンについての左側境界線の位置情報を取得してステップＳ１０４に移る。ステップＳ１０３は、左側境界線情報取得ステップと呼ぶことができる。ステップＳ１０４では認識結果取得部Ｆ１が決定した自車レーンについての右側境界線の位置情報を取得してステップＳ１０５に移る。ステップＳ１０４は、右側境界線情報取得ステップと呼ぶことができる。
【0084】
ステップＳ１０５では、以降の処理で使用する変数の初期化を行う。変数としては、判定ポイントＰｙ及び確認済み距離Ｙｃがある。判定ポイントＰｙは、分岐路側境界線を検証する地点を表すパラメータである。初期化処理において判定ポイントＰｙは、所定の初期判定距離Ｐｙ０に設定される。初期判定距離Ｐｙ０は、例えば１０．０ｍとすることができる。なお、初期判定距離Ｐｙ０によって規定される判定ポイントＰｙである初期判定ポイントは、５．０ｍ先の地点であっても良いし、８．５ｍ先の地点であっても良い。初期判定ポイントは、カメラ３の撮像範囲に含まれる所定の地点とすることができる。判定ポイントＰｙは、自車両から所定距離前方に位置する点、及び、当該地点の左右に存在する地点を含む線状の概念である。判定ポイントＰｙは、判定ラインと読み替えることができる。判定ポイントＰｙは、後述するループ処理によって、初期値から徐々に遠方側に移動していく。
【0085】
確認済み距離Ｙｃは、分岐路側境界線が正しく認識されていると判断した区間を示すパラメータである。確認済み距離Ｙｃも、後述するループ処理によって、初期値から徐々に遠方側に移動していく。初期化処理が完了するとステップＳ１０６に移る。
【0086】
ステップＳ１０６では、現在設定されている判定ポイントＰｙでの認識レーン幅Ｗｒを算出する。認識レーン幅Ｗｒは、図１５に示すように、判定ポイントＰｙにおいて、認識している右側境界線ｅＲ＿ｒと左側境界線ｅＬ＿ｒとの左右方向の距離に相当する。認識レーン幅Ｗｒは、認識している反対側境界線から分岐側境界線までの最短距離であってもよい。
【0087】
なお、図１５では分岐路との接続部分に配置されているレーン境界線の検出に失敗し、分岐路自体の左側境界線を現在の自車レーンの左側境界線として認識している場合を例示している。図１５の破線は、認識されるべき左側境界線ｅＬを示している。図１５に示すように、分岐路の境界線を自車レーンの境界線と誤認識している場合には、認識レーン幅が増大していく。例えば相対的に車両から近い判定ポイントＰｙ１での認識レーン幅Ｗｒに比べて遠方側の判定ポイントＰｙ２での認識レーン幅Ｗｒは大きくなりうる。検証部Ｆ４は算出した認識レーン幅Ｗｒを判定ポイントＰｙと対応付けてＲＡＭ１２などのメモリに一時保存する。
【0088】
ステップＳ１０７ではステップＳ１０６で算出した認識レーン幅Ｗｒが所定の正常範囲に収まっているか否かを判定する。正常範囲の下限値Ｗｍｉｎは前述の通り例えば１．０ｍや１．５ｍなどである。また正常範囲の上限値Ｗｍａｘは例えば４．０ｍや４．５ｍに設定される。
【0089】
ステップＳ１０７での比較処理の結果、認識レーン幅Ｗｒが正常範囲内に収まっている場合にはステップＳ１０７を肯定判定してステップＳ１０９に移る。一方、認識レーン幅Ｗｒが正常範囲を逸脱している場合にはステップＳ１０７を否定判定してステップＳ１０８に移る。
【0090】
ステップＳ１０８では判定ポイントＰｙでは分岐路側境界線を正しく認識できていない可能性があると判定して本フローを終了する。分岐路側境界線を正しく認識できていない可能性がある区間はフラグ等で管理されてもよい。また、検証部Ｆ４は複数回連続して認識レーン幅Ｗｒが正常範囲を逸脱していたことに基づいて、分岐路側境界線を誤認識している可能性があると判定してもよい。すなわち、検証部Ｆ４は、判定ポイントＰｙを移動させていく過程において、認識レーン幅Ｗｒが正常範囲を逸脱している状態が所定距離以上継続した場合に、当該区間の開始地点以降においては分岐路側境界線を誤認識している可能性が有ると判定しても良い。例えば判定ポイントＰｙを遠方側にスライドさせていく過程において３回連続して認識レーン幅Ｗｒが正常範囲外であった場合に、分岐路側境界線を正しく認識できていないと判定しても良い。
【0091】
ステップＳ１０９では現在の判定ポイントＰｙでの認識レーン幅Ｗｒから、判定ポイントよりも所定距離手前での認識レーン幅Ｗｒを減算することで、認識レーン幅Ｗｒの広がり度合いである拡幅度ｄＷを算出する。ここでの所定距離は例えば５ｍや１０ｍなどとすることができる。拡幅度ｄＷは、左右の自車レーン境界線を正しく認識できている場合には例えば０．５ｍ以内に収まることが想定されるパラメータである。ステップＳ１０９での算出処理が完了するとステップＳ１１０に移る。
【0092】
ステップＳ１１０では拡幅度ｄＷが所定の拡幅閾値Ｔｈｄ未満であるか否かを判定する。拡幅閾値Ｔｈｄは例えば０．５ｍや、０．７５ｍ、１．０ｍなどに設定されうる。拡幅度ｄＷが拡幅閾値Ｔｈｄ未満である場合にはステップＳ１１１に移る。一方、拡幅度ｄＷが拡幅閾値Ｔｈｄ以上である場合にはステップＳ１０８に移り、認識結果検証処理の結果として、現在設定されている確認済み距離Ｙｃ以降では分岐路側境界線が正しく認識されていない可能性があると判定する。本フロー終了時に設定されている確認済み距離Ｙｃは、例えば案内画像を通常通りに表示可能な範囲を規定するパラメータとして使用されうる。
【0093】
ステップＳ１１１では確認済み距離Ｙｃを判定ポイントＰｙまで伸ばす。つまり、ステップＳ１１１ではＹｃ＝Ｐｙに設定する。ステップＳ１１１での処理が完了するとステップＳ１１２に移る。ステップＳ１１２では判定ポイントＰｙが所定の表示希望距離Ｙｄｓｐ未満であるか否かを判定する。表示希望距離Ｙｄｓｐは、ＨＵＤ６にターンバイターン画像などの案内画像を表示する範囲、すなわち、どこまで案内画像を表示するかを規定するパラメータである。表示希望距離Ｙｄｓｐは例えば５０ｍや１００ｍ、１５０ｍなどに対応する値に設定されうる。なお、表示希望距離Ｙｄｓｐは、走行路が高速道路か一般道路かで変更されても良い。また、表示希望距離Ｙｄｓｐは、自車両の走行速度に応じて変更されても良い。表示希望距離Ｙｄｓｐは、案内画像の種別によって変更されうる。
【0094】
判定ポイントＰｙが所定の表示希望距離Ｙｄｓｐ未満である場合にはステップＳ１１２を肯定判定してステップＳ１１３に移る。一方、判定ポイントＰｙが所定の表示希望距離Ｙｄｓｐ以上である場合にはステップＳ１１２を否定判定してステップＳ１１４に移る。
【0095】
ステップＳ１１３では、判定ポイントＰｙの値を所定量ｄＹ増加させてステップＳ１０６に戻る。ステップＳ１１３は、判定ポイントＰｙをｄＹだけ前方に移動させる処理に相当する。ステップＳ１０６～ステップＳ１１３を繰り返すことにより、自車両に近い側から遠方に向けて判定ポイントＰｙが移動していき、分岐路側境界線が正しく認識できている範囲が決定される。ステップＳ１０６～ステップＳ１１３は局所検証ステップと呼ぶことができる。ステップＳ１１４では、表示希望距離Ｙｄｓｐ以内において分岐路側境界線は正しく認識されていると判定して本フローを終了する。
【0096】
なお、案内画像の表示制御にも使用されうる確認済み距離Ｙｃは、直近所定時間以内の移動平均値としてもよい。例えば直近３秒以内に算出された確認済み距離Ｙｃの平均値としてもよい。当該構成によれば整合範囲が小刻みに変動することで、ＨＵＤ６による画像の表示範囲が小刻みに変動する恐れを低減することができる。
【0097】
上記の検証部Ｆ４は、認識している分岐路側境界線が所定の棄却条件を充足している場合には岐路側境界線を正しく認識できていない可能性があると判定する構成に相当する。例えば上記の例では、確認済み距離Ｙｃが表示希望距離Ｙｄｓｐであること、具体的には、表示希望距離Ｙｄｓｐ以内において認識レーン幅Ｗｒや広がり度合いが所定の閾値を超過する地点／区間が存在することが棄却条件に該当する。棄却条件は、分岐路側境界線に対する認識結果を破棄又は表示制御に不使用とする条件に相当する。
【0098】
＜表示制御処理＞
ここではＨＣＵ１が実施する図１６を用いて表示制御処理について説明する。表示制御処理は、車両の走行用電源がオンとなっている間、逐次実行されうる。本実施形態では一例として表示制御処理は、ステップＳ３０１～Ｓ３１０を備える。表示制御処理が備えるステップ数や処理順序は適宜変更可能である。表示制御処理が認識状態応答処理に相当する。
ここではＨＣＵ１が実施する図１６を用いて表示制御処理について説明する。表示制御処理は、車両の走行用電源がオンとなっている間、逐次実行されうる。本実施形態では一例として表示制御処理は、ステップＳ３０１～Ｓ３１０を備える。表示制御処理が備えるステップ数や処理順序は適宜変更可能である。表示制御処理が認識状態応答処理に相当する。
【0099】
まずステップＳ３０１では、画像生成部Ｆ６が現在の走行シーン及びユーザ設定の少なくとも何れか一方に応じた案内画像を生成し、表示制御部Ｆ７に出力する。例えば画像生成部Ｆ６は、分岐地点から所定以内となったことをトリガとして、自車両の走行すべきレーンを示す案内画像を生成する。ステップＳ３０１は、画像生成ステップと呼ぶことができる。
【0100】
ステップＳ３０２では表示制御部Ｆ７が、認識結果取得部Ｆ１から認識している自車レーン境界線の位置情報を取得してステップＳ３０３に移る。ステップＳ３０３では表示制御部Ｆ７が検証部Ｆ４の検証結果を読み出し、分岐路側境界線を正しく認識できていない可能性があると判定しているか否かを判定する。検証部Ｆ４にて分岐路側境界線を正しく認識できていない可能性があると判定されている場合にはステップＳ３０４に移る。一方、検証部Ｆ４にて分岐路側境界線は正しく認識されていると判定されている場合にはステップＳ３０５に移る。ステップＳ３０３は、別の観点によれば分岐路側境界線に対する認識結果が棄却条件を充足しているか否かを判定することに相当する。分岐路側境界線に対する認識結果が棄却条件を充足している場合が誤認識の可能性がある場合に対応し、認識結果が棄却条件を充足していない場合が正しく認識されている場合に対応する。
【0101】
ステップＳ３０４では表示位置決定部Ｆ７１が、ステップＳ３０２で取得した左右のレーン境界線の認識位置情報のうち、反対側境界線の位置情報に基づき、ステップＳ３０１で取得した案内画像の表示位置、主として左右方向を決定してステップＳ３１０に移る。なお、ステップＳ３０４では左右方向の表示位置の調整に加えて、反対側境界線に案内画像の中心が平行となるように画像形状を補正（回転、湾曲）する処理が実施されてもよい。各種補正等の処理は表示制御部Ｆ７によって実行されうる。ステップＳ３０４が完了するとステップＳ３１０に移る。
【0102】
ステップＳ３０５では、表示位置決定部Ｆ７１が、ステップＳ３０２で取得した左右のレーン境界線の認識位置情報に基づき、ステップＳ３０１で取得した案内画像の表示位置、主として左右方向を決定してステップＳ３１０に移る。例えば案内画像の表示位置は、左右の境界線の中心線に沿うように調整される。また、左右の境界線の中心線は、左右の境界線の位置（Ｘ座標）を平均化することで算出されうる。
【0103】
なお、ステップＳ３０５では左右方向の表示位置の調整に加えて、左右の境界線の中心線に案内画像の中心が沿うように画像形状を補正（回転、湾曲）する処理が実施されてもよい。また、認識レーン幅Ｗｒに応じて案内画像の幅を拡張／縮小する処理を実施しても良い。画像補正に係る処理は表示制御部Ｆ７によって実行されてもよいし、画像生成部Ｆ６が実施しても良い。機能配置は適宜変更可能である。ステップＳ３０４及びＳ３０５は、表示位置調整ステップと呼ぶことができる。ステップＳ３０５が完了するとステップＳ３１０に移る。
【0104】
ステップＳ３１０では以上の処理で生成されたＨＵＤ画像に対応する画像データ／映像信号をＨＵＤ６に出力する。ＨＵＤ６は、ＨＣＵ１から入力されたデータ／信号に応じた表示光を出力する。これにより案内画像が実景に重なるように表示され、ユーザによって視認されうる。
【0105】
図１７は上記制御による効果を説明するための図である。分岐路側境界線の認識結果が棄却条件を充足している場合には、分岐路側境界線の情報を使わずに、反対側境界線の認識結果をもとに案内画像の表示位置を決定する。当該構成によれば、図１７に示すように、分岐路側境界線を誤認識しやすいシーンにおいても案内画像を本来表示されるべき位置に表示可能となる。図１７に示すＧＰｘは、誤認識された分岐路側境界線を用いて表示位置を決定した場合の案内画像の表示位置を示している。
【0106】
また、分岐路側境界線の認識結果が棄却条件を充足していない場合、すなわち左右の境界線を正しく認識できている場合には、左右の境界線の認識位置を用いて案内画像の表示位置を調整する。当該構成によれば、案内画像の表示位置を調整するための情報量が増えるため、表示を安定させることが可能となる。
【0107】
ところで、以上では分岐路側境界線に誤認識の疑いがある場合には、案内画像の表示範囲の全区間にわたり、表示位置を決定するためのパラメータを変更する態様を開示したがこれに限らない。分岐路側境界線に誤認識の疑いがある区間のみ、分岐路側境界線を用いずに表示位置を決定してもよい。分岐路側境界線を正しく認識できていると判定されている区間については、左右両方の境界線の位置情報をもとに表示位置を決定しても良い。つまり、確認済み距離Ｙｃよりも手前の領域に表示する案内画像は左右両方の境界線情報をもとに表示位置を決定し、確認済み距離Ｙｃ以遠においては反対側境界線を基準に表示位置を調整しても良い。少なくとも確認済み距離Ｙｃ以遠においては分岐路側境界線の認識結果が表示制御に使用されなくなるので、案内画像が自車レーンから外れた位置に表示される恐れを低減することができる。
【0108】
＜表示制御処理の変形例＞
図１６では検証部Ｆ４の判定結果、換言すれば、分岐路側境界線が棄却条件を充足しているか否かに応じて表示位置を決定するためのパラメータを変更する態様を開示したがこれに限らない。表示制御部Ｆ７は、図１８に示すように検証部Ｆ４の判定結果に応じて、部分的又は全区間において案内画像の表示態様を変更してもよい。
図１６では検証部Ｆ４の判定結果、換言すれば、分岐路側境界線が棄却条件を充足しているか否かに応じて表示位置を決定するためのパラメータを変更する態様を開示したがこれに限らない。表示制御部Ｆ７は、図１８に示すように検証部Ｆ４の判定結果に応じて、部分的又は全区間において案内画像の表示態様を変更してもよい。
【0109】
図１８に示すステップＳ３０１～ステップＳ３０２は図１６のステップＳ３０１～ステップＳ３０２と同じである。ステップＳ３０３では表示制御部Ｆ７が検証部Ｆ４にて分岐路側境界線を正しく認識できていない可能性があると判定しているか否かを判定する。検証部Ｆ４にて分岐路側境界線を正しく認識できていない可能性があると判定されている場合にはステップＳ３０６に移る。一方、検証部Ｆ４にて分岐路側境界線は正しく認識されていると判定されている場合にはステップＳ３１０に移る。
【0110】
ステップＳ３０６ではＲＡＭ１２を参照し、直近所定時間以内に決定された確認済み距離Ｙｃを読み出す。そして、表示態様調整部Ｆ７２が、自車両から確認済み距離Ｙｃ以上遠方に位置する案内画像の不透明度を元の不透明度よりも所定量下げる。便宜上、車両前方において自車両から確認済み距離Ｙｃ以上遠方となる範囲を不明瞭領域と称する。
【0111】
例えば表示態様調整部Ｆ７２は、不明瞭領域に位置する案内画像の不透明度は、元の設定値の５０％や２５％などに設定されうる。不透明度を下げることは、透明度を上げることに相当する。不透明度は、値が高いほど不透明／色が濃いことを指すパラメータであって、不透明度が０％の状態は完全透明な状態を指すものとする。画像の透明度は、画素ごとのアルファ値に対応する概念である。一般的にアルファ値が小さいほど透明な度合いが高まる。
【0112】
なお、表示態様調整部Ｆ７２は、不明瞭領域に位置する案内画像の不透明度は０％、すなわち完全透明に設定されても良い。不明瞭領域に位置する案内画像の不透明度を０％に設定する構成は、不明瞭領域に案内画像を表示しない構成に相当する。確認済み距離Ｙｃよりも手前に位置する画像については画像生成部Ｆ６から提供された不透明度が維持されうる。不透明度は色の濃さや強度と言い換える事もできる。ステップＳ３０６での車両からの距離に応じた不透明度の調整処理が完了すると、ステップＳ３１０に移る。ステップＳ３１０の処理は前述の通りである。なお、ステップＳ３０６は表示態様調整ステップと呼ぶことができる。
【0113】
上記構成によれば、不明瞭領域においては、案内画像を相対的に目立たない態様で表示するか、表示を中止する。故に、案内画像が本来表示させたい位置から外れた位置に表示される恐れを低減できる。また、上記構成によれば確認済み距離Ｙｃよりも手前側においては通常と同じ態様で案内画像を表示することができる。故に、ユーザに提供する情報量が低下することを抑制できる。
【0114】
図１８に示すフローチャートは図１６に示すフローチャートと同様、逐次実行されうる。なお、図１８に示すフローチャートは図１６に示すフローチャートと組み合わせて実施されても良い。例えばステップＳ３０５はステップＳ３０４の前後の処理として実施されても良い。
【0115】
より具体的には表示制御部Ｆ７は、分岐線側境界線を正しく認識できていない可能性があると判定されている場合には、反対側境界線を基準に左右方向の表示位置を決定しつつ、確認済み距離Ｙｃ以遠における透明度を高めた態様で案内画像を表示しても良い。図１９は当該制御による表示像の一例を示した図である。図１９においては不透明度をドットパターンの密度で表現している。ドットパターンの密度が小さいほど透明度が高いことを表す。なお、確認済み距離Ｙｃを境に色合いや不透明度を不連続に変えるのではなく、不透明度や色合いはグラデーションをなすように自車両からの距離に応じて連続に変化させてもよい。その場合、確認済み距離Ｙｃでは、デフォルト値と目標値の中間の不透明度を有するように設定されればよい。
【0116】
なお、図１８では不明瞭領域に位置する案内画像の表示態様の変更例として、透明度を上げることを例示したが、表示制御部Ｆ７の作動はこれに限定されない。例えば、ＨＵＤ画像のうち、不明瞭領域に位置する案内画像については、画像オブジェクトのフレーム（輪郭）のみ表示し、その内部は無色透明としても良い。また、不明瞭領域に位置する部分については、画像オブジェクトの輪郭を破線に変更するなど、より目立たない態様に変更しても良い。
【0117】
また、図１８では確認済み距離Ｙｃ以遠に位置する案内画像のみ表示態様を変更するパターンについて述べたが、表示制御部Ｆ７は検証部Ｆ４の判定結果に応じて、全区間において案内画像の表示態様を変更しても良い。例えば検証部Ｆ４にて分岐路側境界線を正しく認識できていない可能性があると判定されている場合には、分岐路側境界線を正しく認識で来ている場合に比べて案内画像を目立たない表示態様に変更しても良い。目立たちにくい表示態様とは、透明度を上げた態様や、幅や長さを小さくした態様などを指す。例えば、表示制御部Ｆ７は、検証部Ｆ４にて分岐路側境界線は誤認識している可能性があると判定されている場合には、正しく認識できていると判定されている場合に比べて、案内画像としての矢印画像の幅を細くしても良い。
【0118】
また、表示制御部Ｆ７は、全ての案内画像が確認済み距離Ｙｃまでに収まるように圧縮して表示しても良い。換言すれば、図２０に示すように、前後方向における表示範囲を確認済み距離Ｙｃまでとなるように調整しても良い。さらに、検証部Ｆ４にて分岐路側境界線を正しく認識できていない可能性があると判定されている場合には、案内画像のＡＲ表示を中止しても良い。
【0119】
その他、表示制御部Ｆ７は、案内画像の表示位置の調整に左右の両方の境界線情報を使用できるか否かに対応させて、案内画像の表示態様を変更してもよい。例えば案内画像の表示位置の調整に左右の両方の境界線情報を使用できる場合には、分岐路側境界線を使用できない場合に比べて、太くあるいは濃く、案内画像を表示しても良い。表示制御部Ｆ７は、画像生成部Ｆ６に確認済み距離Ｙｃを通知し、確認済み距離Ｙｃよりも遠方に相当する部分は描画させないように構成されていてもよい。
【0120】
＜効果＞
分岐路側のレーン境界線は、破線や道路鋲で表現されていることがある。破線ペイントや道路鋲で表現されているレーン境界線は、連続的なペイントで表現されている境界線に比べて検出しづらく、分岐路側のレーン境界線を検出できないことがある。また、海外においては分岐路と本線との接続部分にレーン境界線を設けていない場所もあり得る。分岐路と本線との境界線を検出できていない場合、ＨＣＵ１は分岐路の本線から見て外側の境界線を自車レーンの境界線と見なしてしまうことが起こりうる。別レーンの境界線を自車レーンの境界線と見なしてしまうと、当然、案内画像の表示位置がずれてしまう。
分岐路側のレーン境界線は、破線や道路鋲で表現されていることがある。破線ペイントや道路鋲で表現されているレーン境界線は、連続的なペイントで表現されている境界線に比べて検出しづらく、分岐路側のレーン境界線を検出できないことがある。また、海外においては分岐路と本線との接続部分にレーン境界線を設けていない場所もあり得る。分岐路と本線との境界線を検出できていない場合、ＨＣＵ１は分岐路の本線から見て外側の境界線を自車レーンの境界線と見なしてしまうことが起こりうる。別レーンの境界線を自車レーンの境界線と見なしてしまうと、当然、案内画像の表示位置がずれてしまう。
【0121】
上記課題に対し本開示の表示制御部Ｆ７は、分岐路側境界線を誤認識している恐れがある場合、（Ａ）案内の表示位置を調整するための基準データを変更することと、（Ｂ）案内画像の表示態様を変更することの少なくとも何れか一方を実施する。なお、表示位置を調整するための基準とするデータを変更することは、表示位置の調整に分岐路側境界線を使用するか否かを切り替えることを含む。また、案内画像の表示態様を変更することの具体例としては、（Ｂ１）確認済み距離Ｙｃまでの表示に留める、（Ｂ２）案内画像を相対的に目立たない態様で表示する、（Ｂ３）表示を中止する、などが含まれる。
【0122】
上記構成によれば、案内画像の表示位置の調整に、誤認識された疑いのある分岐路側境界線が使用されにくくなる。その結果、案内画像が本来表示したい位置から外れた位置に表示される恐れを低減できる。ひいては、表示位置ずれによりユーザに違和感を与える恐れを低減できる。また、構成（Ａ）、（Ｂ１）、及び（Ｂ２）によれば、自車両から少なくとも確認済み距離Ｙｃまでは案内画像が表示されるため、ユーザの利便性が損なわれる恐れを低減できる。
【0123】
また、上記構成ではレーン境界線の認識点をそのままレーン境界線の位置として採用するのではなく、認識点を母集団として定まる回帰式を用いて、境界線位置を決定する。当該構成によれば、局所的なノイズによって案内画像の表示が不安定となる恐れを低減できる。また、誤認識点をもとに確認済み距離Ｙｃが過度に短く設定される恐れを低減できる。
【0124】
以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。例えば下記の種々の補足や変形例などは、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。なお、以上で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略することがある。また、構成の一部のみに言及している場合、他の部分については上記説明を適用することができる。
【0125】
＜分岐路側境界線に対する認識結果の正当性を判断する基準について＞
上記構成では分岐路が側存在する方向とは反対側のレーン境界線を基準に分岐路側境界線に対する認識結果の妥当性を判断する構成を開示したが、分岐路側境界線に対する認識結果の正当性を判断する基準（換言すれば検証材料）はこれに限らない。
上記構成では分岐路が側存在する方向とは反対側のレーン境界線を基準に分岐路側境界線に対する認識結果の妥当性を判断する構成を開示したが、分岐路側境界線に対する認識結果の正当性を判断する基準（換言すれば検証材料）はこれに限らない。
【0126】
例えば、分岐路側境界線に対する認識結果の正当性の検証材料は、認識している分岐路側又は反対側の道路端の形状データであっても良い。道路端は、連続的に形成されるため、破線、ブロック状、又はボッツドッツなどで形成される境界線よりも誤認識の可能性が抑えられる。なお、分岐路側の道路端を検証材料として用いる構成においては、検証部Ｆ４は分岐路側境界線が道路端形状に沿う形状となっていることに基づいて、分岐路側境界線の認識結果は不正であると判定することができる。
【0127】
なお、分岐路側境界線の誤認識は、自車両の走行レーンが分岐路接続レーンであるケースに生じやすい。自車両の走行レーンが分岐路接続レーンである場合には、分岐路側道路端と自車両との間に他のレーンが介在しないため、分岐路側道路端に関しては精度良く認識できていることが期待できる。
【0128】
ところで、自車両の走行予定経路として分岐路への進入が予定されている場合には、分岐路側境界線が道路端形状に沿う形状となっている場合であっても、分岐路側境界線の認識結果を用いて案内画像の表示位置を調整しても良い。ＨＣＵ１は、自車両の予定経路として、分岐路への進入が計画されているか否かに応じて、認識している分岐路側境界線を表示制御に使用するか否かを変更するように構成されていても良い。
【0129】
また、分岐路側境界線に対する認識結果の正当性の検証材料は、地図データに示される道路形状であっても良い。例えば検証部Ｆ４は、認識されている分岐路側境界線の形状が、地図データが示す本線の形状との類似度が所定の閾値未満である場合に、分岐路側境界線は正しく認識されていない可能性があると判定してもよい。２つの形状の類似度の算出方法としてはパターンマッチングなどの多様な方法を援用することができる。また、地図データが高精度地図であって、レーンごとの形状データを含む場合には走行レーンの形状データと認識している分岐路側境界線の形状とを比較して、認識結果の正当性を判断しても良い。
【0130】
さらに、分岐路側境界線に対する認識結果の正当性の検証材料は、先行車の軌跡であっても良い。例えば検証部Ｆ４は先行車の軌跡と認識されている分岐路側境界線の形状の類似度が所定の閾値未満であることに基づいて、分岐路側境界線は正しく認識されていない可能性があると判定してもよい。ここでの先行車とは、自車両の前方において自車両と同一のレーンを走行する他車両を指す。先行車の特定は、分岐地点から所定距離以内に進入する前など、随時実行されれば良い。
【0131】
＜案内画像の表示位置を決定するためのパラメータのバリエーションについて＞
分岐路側境界線を正しく認識できていない可能性がある場合、表示制御部Ｆ７は地図データが示す道路形状をもとに案内画像の表示位置を決定しても良い。なお、分岐路側境界線を正しく認識できていない可能性がある場合、表示制御部Ｆ７は案内画像を表示する範囲の全区間において、地図データを用いて表示位置を調整しても良いし、部分的に地図データを用いて表示位置を調整しても良い。例えば表示制御部Ｆ７は、確認済み距離Ｙｃ以下となる区間については、左右の境界線に対する認識結果をもとに案内画像の表示位置を調整する一方、確認済み距離Ｙｃ以遠においては、地図データが示す道路形状を元に案内画像の表示位置を決定しても良い。
分岐路側境界線を正しく認識できていない可能性がある場合、表示制御部Ｆ７は地図データが示す道路形状をもとに案内画像の表示位置を決定しても良い。なお、分岐路側境界線を正しく認識できていない可能性がある場合、表示制御部Ｆ７は案内画像を表示する範囲の全区間において、地図データを用いて表示位置を調整しても良いし、部分的に地図データを用いて表示位置を調整しても良い。例えば表示制御部Ｆ７は、確認済み距離Ｙｃ以下となる区間については、左右の境界線に対する認識結果をもとに案内画像の表示位置を調整する一方、確認済み距離Ｙｃ以遠においては、地図データが示す道路形状を元に案内画像の表示位置を決定しても良い。
【0132】
また、分岐路側境界線を正しく認識できていない可能性がある場合、表示制御部Ｆ７は先行車の走行軌跡をもとに左右方向における案内画像の表示位置を決定しても良い。例えば表示制御部Ｆ７は、自車両からの距離が確認済み距離Ｙｃ以下となる区間では、左右の境界線に対する認識結果をもとに案内画像の表示位置を調整する一方、確認済み距離Ｙｃ以遠においては先行車の走行軌跡を元に案内画像の表示位置を決定しても良い。先行車を含む周辺車両の走行軌跡は画像認識結果に基づいて決定されても良いし、車車間通信で取得したデータをもとに特定されても良い。また、周辺車両の走行軌跡は、ミリ波レーダやＬｉＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）などの検出信号を元に特定されてもよい。ＬｉＤＡＲは、赤外光や近赤外光など、所定の波長のレーザ光の受信結果に基づいて、所定の検知エリア内に存在する物体を検出する物体検出センサである。ミリ波レーダは、ミリ波帯の電磁波を用いて物体を検出するセンサである。カメラ３やミリ波レーダ、ＬｉＤＡＲなど、車両外の物体／環境を検出するセンサはまとめて周辺監視センサとも呼ばれる。
【0133】
以上では、ＨＣＵ１は、反対側境界線を認識できていることを前提とした構成を開示したが、何らかの要因によって反対側境界線を正しく認識できていない状況も考えられうる。表示制御部Ｆ７は、反対側境界線を認識できていない場合には、周辺車両の走行軌跡や、地図データ、道路端の認識形状をもとに案内画像の表示位置を決定するように構成されていても良い。なお、ここでの認識形状とは、画像認識の結果として特定されている形状であって、実際の形状とは相違しうる。反対側境界線を認識できていない場合には、反対側境界線らしきレーン境界線が検出されている一方、当該検出結果が地図データや先行車の走行軌跡が示す道路形状と整合していない場合も含まれる。つまり、反対側境界線を認識できていない場合には、反対側境界線は認識されているものの、その認識結果の正当性が低い場合も含まれる。反対側境界線についても、先行車の走行軌跡や反対側道路端の形状、地図データが示す道路／レーン形状を基準として検証部Ｆ４が正当性を判断してもよい。
【0134】
＜適用シーンについて＞
以上では、自車レーンを規定する境界線を誤認識しやすいシーンとして、自動車専用道路の分岐路付近を走行するシーンを例示したが、自車レーンを規定する境界線を誤認識しやすいシーンはこれに限らない。レーン数が増加する地点、つまり、新たなレーンが既存レーンに対して並列的に接続される地点など、レーン構成が変化する地点でも、レーン構成が変化する方向のレーン境界線は、連続線から破線などに変化するため、誤認識が生じやすい。増設されるレーンの種別としては、本線としてのレーンの他、大型車両や緊急車両、自動運転車両などの特定の車両向けのレーン、登坂車線、右折専用レーン、左折専用レーンなどがある。例えばレーン数が増加する地点では、レーンが増設される方向が接続方向に相当し、隣にレーンが設けられる方の境界線が接続側境界線に相当する。本開示はレーン構成が変化する地点にも適用可能である。レーン数が変化する地点が接続地点に相当する。
以上では、自車レーンを規定する境界線を誤認識しやすいシーンとして、自動車専用道路の分岐路付近を走行するシーンを例示したが、自車レーンを規定する境界線を誤認識しやすいシーンはこれに限らない。レーン数が増加する地点、つまり、新たなレーンが既存レーンに対して並列的に接続される地点など、レーン構成が変化する地点でも、レーン構成が変化する方向のレーン境界線は、連続線から破線などに変化するため、誤認識が生じやすい。増設されるレーンの種別としては、本線としてのレーンの他、大型車両や緊急車両、自動運転車両などの特定の車両向けのレーン、登坂車線、右折専用レーン、左折専用レーンなどがある。例えばレーン数が増加する地点では、レーンが増設される方向が接続方向に相当し、隣にレーンが設けられる方の境界線が接続側境界線に相当する。本開示はレーン構成が変化する地点にも適用可能である。レーン数が変化する地点が接続地点に相当する。
【0135】
なお、接続側境界線を正しく認識できていると判定されているか否かを判断することは、接続側境界線が棄却条件を充足しているか否かを判断することに対応する。故に、上記構成は、接続側境界線が棄却条件を充足しているか否かに応じて、案内画像の表示態様、及び、案内画像の表示位置を決定するための基準とするデータの少なくとも何れか一方を変更する構成に相当する。接続側境界線を誤認識している状態には、本来検出されるべき境界線の検出に失敗している状態も含まれる。
【0136】
ＨＣＵ１は、走行路が自動車用専用道路の本線であって、かつ、退出用道路から所定距離以内に自車両が位置する場合にのみ、検証部Ｆ４の検証結果に基づく表示制御処理を実行するように構成されていても良い。また、ＨＣＵ１は、走行路が合流用道路である場合には、検証部Ｆ４による境界線の認識結果の検証処理や、当該検証結果に基づく表示制御処理を実行しないように構成されていても良い。ＨＣＵ１は分岐地点のように案内画像の表示位置がずれることで進むべき方向が変わってしまうようなシーンでは表示補正を行うことが好ましい。一方、合流のように運転操作に影響が少ない場合には表示補正をしない構成によれば、ＨＣＵ１の処理負荷を低減しつつ、ユーザの利便性を高めることができる。
【0137】
また、ＨＣＵ１は自車両の走行レーンが分岐路接続レーンであることを条件として、検証部Ｆ４の検証結果に基づく表示制御処理を実行するように構成されていても良い。換言すれば自車両の走行レーンが分岐路接続レーンではない場合には、検証部Ｆ４の検証処理などをキャンセルするように構成されていても良い。なお、自車両が左端又は右端の道路端から何番目のレーンを走行しているか、つまり自車両の走行レーン番号は、例えば道路端からの距離や、自車両の位置座標、画像認識できている区画線の線種などに基づいて特定することができる。
【0138】
その他、ＨＣＵ１は、検証部Ｆ４にて分岐路側境界線を正しく認識できていない可能性があると判定されており、且つ、自車両の走行予定経路が分岐路を通過する経路である場合には、分岐路側境界線の認識結果を用いて案内画像の表示位置を調整しても良い。分岐側の道路端と分岐路用の境界線の向きは略一致している可能性が高い。そのため、自車両が分岐路に退出する予定がある場合には、上記構成によっても結果的に表示ズレを抑制する効果が期待できる。また、検証部Ｆ４にて接続側境界線を正しく認識できていない可能性があると判定されており且つ自車両の走行予定経路が分岐路を通過しない経路である場合には、反対側境界線の認識結果を用いて案内画像の表示位置を調整するように構成されていてもよい。
【0139】
加えて、ＨＣＵ１は分岐路側道路端の認識形状と周辺車両の走行軌跡を比較することで、分岐路に入って行く周辺車両である分岐車両と、本線上の走行を維持する周辺車両である本線車両とを区別しても良い。表示制御部Ｆ７は、分岐路側道路端の認識形状との角度差が所定値未満の走行軌跡を有する周辺車両は分岐車両と見なし、分岐路側道路端の認識形状との角度差が所定値以上の走行軌跡を有する周辺車両は本線車両とみなすことができる。そして、ＨＣＵ１は、自車が本線走行を維持する予定である場合には、本線車両の走行軌跡をもとに案内画像の表示位置を調整する一方、分岐路を通過予定である場合には分岐車両の走行軌跡をもとに案内画像の表示位置を調整してもよい。
【0140】
以上では案内画像を虚像として表示するヘッドアップディスプレイの表示制御に適用する例を開示したが、上記開示は、ディスプレイ７や、車両を遠隔制御するオペレータ用のディスプレイの表示画面の制御にも適用されうる。案内画像は、実際の景色である実景に重畳するようにウィンドシールドなどのスクリーンに表示されるものでもよいし、実像ディスプレイなどに表示される実景相当の画像上に重畳表示されるものでもよい。実景相当の画像とは、カメラ３で撮像された画像に対応する。案内画像を車両の前方に位置する景色に重ねて表示する、との表現には、前方景色を示す撮像画像上に案内画像を重ねて表示する態様も含まれる。なお、撮像装置としては、可視光カメラの他、赤外線カメラや、ＬｉＤＡＲなどを採用可能である。
また、本開示におけるドライバとは、運転席に着座している人物、つまり運転席乗員を指す。ドライバとの表現には、実際に運転操作の一部又は全部を実施している人物に限らない。ドライバとの記載は、自動運転中においては自動運転システムから運転操作の権限を受け取るべき人物を指す。
上記の開示は、道路上を走行する多様な車両に適用可能である。すなわち、本開示は、四輪自動車のほか、二輪自動車、三輪自動車等、道路上を走行可能な多様な車両に搭載可能である。原動機付き自転車も二輪自動車に含めることができる。本開示のシステム／装置が適用される車両は、個人によって所有されるオーナーカーであってもよいし、サービスカーであってもよい。サービスカーとは、例えば、カーシェアリングサービスや車両貸し出しサービスに供される車両を指す。サービスカーには、タクシーや路線バス、乗り合いバスなどが含まれる。また、サービスカーは、運転手が搭乗していない、ロボットタクシーまたは無人運行バスなどであってもよい。サービスカーには、移動サービスを提供する車両を含めることができる。さらに、車両は、車両外部に存在するオペレータによって遠隔操作される遠隔操作車両であってもよい。ここでのオペレータとは、所定のセンタなど、車両の外部から遠隔操作によって車両を制御する権限を有する人物を指す。オペレータもまた、ドライバの概念に含めることができる。
また、本開示におけるドライバとは、運転席に着座している人物、つまり運転席乗員を指す。ドライバとの表現には、実際に運転操作の一部又は全部を実施している人物に限らない。ドライバとの記載は、自動運転中においては自動運転システムから運転操作の権限を受け取るべき人物を指す。
上記の開示は、道路上を走行する多様な車両に適用可能である。すなわち、本開示は、四輪自動車のほか、二輪自動車、三輪自動車等、道路上を走行可能な多様な車両に搭載可能である。原動機付き自転車も二輪自動車に含めることができる。本開示のシステム／装置が適用される車両は、個人によって所有されるオーナーカーであってもよいし、サービスカーであってもよい。サービスカーとは、例えば、カーシェアリングサービスや車両貸し出しサービスに供される車両を指す。サービスカーには、タクシーや路線バス、乗り合いバスなどが含まれる。また、サービスカーは、運転手が搭乗していない、ロボットタクシーまたは無人運行バスなどであってもよい。サービスカーには、移動サービスを提供する車両を含めることができる。さらに、車両は、車両外部に存在するオペレータによって遠隔操作される遠隔操作車両であってもよい。ここでのオペレータとは、所定のセンタなど、車両の外部から遠隔操作によって車両を制御する権限を有する人物を指す。オペレータもまた、ドライバの概念に含めることができる。
【0141】
＜付言＞
本開示に記載の装置、システム、並びにそれらの手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。つまり、ＨＣＵ１等が提供する手段および／又は機能は、実体的なメモリ装置に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組み合わせによって提供できる。例えばＨＣＵ１が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、１つ又は複数のＩＣなどを用いて実現する態様が含まれる。ＨＣＵ１は、ＣＰＵの代わりに、ＭＰＵやＧＰＵ、ＤＦＰ（Data Flow Processor）を用いて実現されていてもよい。ＨＣＵ１は、ＣＰＵや、ＭＰＵ、ＧＰＵなど、複数種類の演算処理装置を組み合わせて実現されていてもよい。ＨＣＵ１は、システムオンチップ（ＳｏＣ：System-on-Chip）として実現されていても良い。さらに、各種処理部は、ＦＰＧＡ（Field-Programmable Gate Array）や、ＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されていても良い。各種プログラムは、非遷移的実体的記録媒体（non- transitory tangible storage medium）に格納されていればよい。プログラムの保存媒体としては、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ、ＳＤ（Secure Digital）カード等、多様な記憶媒体を採用可能である。非遷移的実体的記録媒体には、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）などのＲＯＭも含まれる。また、「車両用表示制御装置」との記載は、車両に搭載された状態で使用される装置に限定されるものではない。車両外に配置された、車両にかかる情報を表示する表示装置の表示画面を制御する装置も含まれる。
本開示に記載の装置、システム、並びにそれらの手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。つまり、ＨＣＵ１等が提供する手段および／又は機能は、実体的なメモリ装置に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組み合わせによって提供できる。例えばＨＣＵ１が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、１つ又は複数のＩＣなどを用いて実現する態様が含まれる。ＨＣＵ１は、ＣＰＵの代わりに、ＭＰＵやＧＰＵ、ＤＦＰ（Data Flow Processor）を用いて実現されていてもよい。ＨＣＵ１は、ＣＰＵや、ＭＰＵ、ＧＰＵなど、複数種類の演算処理装置を組み合わせて実現されていてもよい。ＨＣＵ１は、システムオンチップ（ＳｏＣ：System-on-Chip）として実現されていても良い。さらに、各種処理部は、ＦＰＧＡ（Field-Programmable Gate Array）や、ＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されていても良い。各種プログラムは、非遷移的実体的記録媒体（non- transitory tangible storage medium）に格納されていればよい。プログラムの保存媒体としては、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ、ＳＤ（Secure Digital）カード等、多様な記憶媒体を採用可能である。非遷移的実体的記録媒体には、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）などのＲＯＭも含まれる。また、「車両用表示制御装置」との記載は、車両に搭載された状態で使用される装置に限定されるものではない。車両外に配置された、車両にかかる情報を表示する表示装置の表示画面を制御する装置も含まれる。
【0142】
上記実施形態における１つの構成要素が有する複数の機能は、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。加えて、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
【0143】
上述したＨＣＵ１の他、当該ＨＣＵ１を構成要素とするシステムなと、種々の形態も本開示の範囲に含まれる。例えば、コンピュータをＨＣＵ１として機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体等の形態も本開示の範囲に含まれる。
【符号の説明】
【0144】
１ ＨＣＵ、Ｆ１ 認識結果取得部、Ｆ１１ 左側境界線取得部（接続側境界線情報取得部）、Ｆ１２ 右側境界線取得部（検証材料取得部）、Ｆ２ 地図情報取得部（道路構造取得部）、Ｆ３ 先行車情報取得部、Ｆ４ 検証部、Ｆ５ 経路設定取得部、Ｆ６ 画像生成部、Ｆ７ 表示制御部、Ｓ１０３ 左側境界線情報取得ステップ、Ｓ１０４ 右側境界線情報取得ステップ、Ｓ１０６～Ｓ１１３ 局所検証ステップ、Ｓ３０１ 画像生成ステップ、Ｓ３０４・Ｓ３０５ 表示位置調整ステップ、Ｓ３０６ 表示態様調整ステップ、Ｗｒ 認識レーン幅（間隔）。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】