▶ 株式会社日本自動車部品総合研究所の特許一覧 ▶ 株式会社デンソーの特許一覧 ▶ トヨタ自動車株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024077288
(43)【公開日】2024-06-07
(54)【発明の名称】道路区画線認識装置および道路区画線認識プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240531BHJP
G06T 7/60 20170101ALI20240531BHJP
G08G 1/16 20060101ALI20240531BHJP
【ＦＩ】
G06T7/00 650A
G06T7/60 200J
G08G1/16 C
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022189291
(22)【出願日】2022-11-28
(71)【出願人】
【識別番号】000004695
【氏名又は名称】株式会社ＳＯＫＥＮ
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110001128
【氏名又は名称】弁理士法人ゆうあい特許事務所
(72)【発明者】
【氏名】村田 裕樹
(72)【発明者】
【氏名】熊野 俊也
(72)【発明者】
【氏名】鈴木 俊輔
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB20
5H181CC04
5H181CC05
5H181CC24
5H181FF04
5H181LL01
5L096BA04
5L096EA39
5L096FA02
5L096FA03
5L096FA64
5L096FA69
5L096GA51
5L096JA16
(57)【要約】
【課題】夜間や悪天候等の悪条件下においても、安定した道路区画線認識動作を実現すること。
【解決手段】撮影画像から道路区画線を認識する道路区画線認識装置（５）は、前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、複数の線種候補判定部（７）と、複数の前記線種候補判定部、または、複数の前記線種候補判定部の各々による線種候補判定結果の中から、いずれか１つを選択することで、前記区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する、線種判定選択部（８）とを備え、複数の前記線種候補判定部は、判定アルゴリズムが互いに異なる。
【選択図】図２
【解決手段】撮影画像から道路区画線を認識する道路区画線認識装置（５）は、前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、複数の線種候補判定部（７）と、複数の前記線種候補判定部、または、複数の前記線種候補判定部の各々による線種候補判定結果の中から、いずれか１つを選択することで、前記区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する、線種判定選択部（８）とを備え、複数の前記線種候補判定部は、判定アルゴリズムが互いに異なる。
【選択図】図２
【特許請求の範囲】
【請求項1】
撮影画像から道路区画線を認識する、道路区画線認識装置（５）であって、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、複数の線種候補判定部（７）と、
複数の前記線種候補判定部、または、複数の前記線種候補判定部の各々による線種候補判定結果の中から、いずれか１つを選択することで、前記区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する、線種判定選択部（８）と、
を備え、
複数の前記線種候補判定部は、判定アルゴリズムが互いに異なる、
道路区画線認識装置。
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、複数の線種候補判定部（７）と、
複数の前記線種候補判定部、または、複数の前記線種候補判定部の各々による線種候補判定結果の中から、いずれか１つを選択することで、前記区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する、線種判定選択部（８）と、
を備え、
複数の前記線種候補判定部は、判定アルゴリズムが互いに異なる、
道路区画線認識装置。
【請求項2】
前記線種判定選択部は、
前記線種候補判定に影響を与える撮影状況に対応するシーンの成立状況を判定する、シーン判定部（８３）を備え、
前記シーン判定部による前記シーンの成立状況の判定結果に応じて、前記線種候補判定部または前記線種候補判定結果を選択する、
請求項１に記載の道路区画線認識装置。
前記線種候補判定に影響を与える撮影状況に対応するシーンの成立状況を判定する、シーン判定部（８３）を備え、
前記シーン判定部による前記シーンの成立状況の判定結果に応じて、前記線種候補判定部または前記線種候補判定結果を選択する、
請求項１に記載の道路区画線認識装置。
【請求項3】
互いに異なる前記シーンの各々に対して、前記線種候補判定部毎の重み付け値である加重値が設定されており、
前記線種判定選択部は、前記シーン判定部により成立が判定された前記シーンに対応する前記加重値に基づいて、前記線種候補判定部または前記線種候補判定結果を選択する、
請求項２に記載の道路区画線認識装置。
前記線種判定選択部は、前記シーン判定部により成立が判定された前記シーンに対応する前記加重値に基づいて、前記線種候補判定部または前記線種候補判定結果を選択する、
請求項２に記載の道路区画線認識装置。
【請求項4】
前記線種判定選択部は、最も大きい前記加重値に対応する、前記線種候補判定部またはその判定結果が、複数存在する場合、判定結果同士を比較した結果に基づいて、前記線種判定を実行する、
請求項３に記載の道路区画線認識装置。
請求項３に記載の道路区画線認識装置。
【請求項5】
前記線種判定選択部は、
前記シーン判定部により複数の前記シーンの成立が判定された場合、成立した前記シーンに対応する前記加重値を、複数の前記線種候補判定部の各々について加算し、
前記加算の結果である加算値の最大値に対応する前記線種候補判定部または前記線種候補判定結果を選択する、
請求項３に記載の道路区画線認識装置。
前記シーン判定部により複数の前記シーンの成立が判定された場合、成立した前記シーンに対応する前記加重値を、複数の前記線種候補判定部の各々について加算し、
前記加算の結果である加算値の最大値に対応する前記線種候補判定部または前記線種候補判定結果を選択する、
請求項３に記載の道路区画線認識装置。
【請求項6】
前記線種判定選択部は、
前記シーン判定部による前記シーンの判定結果の信頼度を算出する、シーン信頼度算出部（８７）をさらに備え、
前記信頼度により補正した前記加重値に基づいて、前記線種候補判定部または前記線種候補判定結果を選択する、
請求項３に記載の道路区画線認識装置。
前記シーン判定部による前記シーンの判定結果の信頼度を算出する、シーン信頼度算出部（８７）をさらに備え、
前記信頼度により補正した前記加重値に基づいて、前記線種候補判定部または前記線種候補判定結果を選択する、
請求項３に記載の道路区画線認識装置。
【請求項7】
前記線種判定選択部は、
前記シーン判定部による前記シーンの判定結果の信頼度を算出する、シーン信頼度算出部（８７）をさらに備え、
前記信頼度に基づいて、前記線種候補判定部または前記線種候補判定結果を選択する、
請求項２に記載の道路区画線認識装置。
前記シーン判定部による前記シーンの判定結果の信頼度を算出する、シーン信頼度算出部（８７）をさらに備え、
前記信頼度に基づいて、前記線種候補判定部または前記線種候補判定結果を選択する、
請求項２に記載の道路区画線認識装置。
【請求項8】
前記シーン信頼度算出部は、前記シーン判定部による前記シーンの判定結果の継続状態に基づいて、前記信頼度を算出する、
請求項６または７に記載の道路区画線認識装置。
請求項６または７に記載の道路区画線認識装置。
【請求項9】
複数の前記線種候補判定部のうちの１つである、第一線種候補判定部（７１）は、
前記撮影画像内の前記区画線候補における、エッジ点を選択する、エッジ点選択部（７１２）と、
前記エッジ点選択部により選択した前記エッジ点における位置の時系列変化を取得する、時系列変化取得部（７１３）と、
を備え、
前記エッジ点選択部は、自車両（Ｃ）に最も近接する前記エッジ点である近方エッジ点、および／または、前記自車両から最も離隔する前記エッジ点である遠方エッジ点を選択し、
前記第一線種候補判定部は、前記時系列変化取得部により取得した、前記近方エッジ点および／または前記遠方エッジ点における位置の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
請求項１に記載の道路区画線認識装置。
前記撮影画像内の前記区画線候補における、エッジ点を選択する、エッジ点選択部（７１２）と、
前記エッジ点選択部により選択した前記エッジ点における位置の時系列変化を取得する、時系列変化取得部（７１３）と、
を備え、
前記エッジ点選択部は、自車両（Ｃ）に最も近接する前記エッジ点である近方エッジ点、および／または、前記自車両から最も離隔する前記エッジ点である遠方エッジ点を選択し、
前記第一線種候補判定部は、前記時系列変化取得部により取得した、前記近方エッジ点および／または前記遠方エッジ点における位置の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
請求項１に記載の道路区画線認識装置。
【請求項10】
前記第一線種候補判定部は、
前記遠方エッジ点の位置の時系列変化に基づく前記線種の判定結果である遠方側判定結果と、前記近方エッジ点の位置の時系列変化に基づく前記線種の判定結果である近方側判定結果とに基づいて、前記区画線候補における前記線種を判定する、
請求項９に記載の道路区画線認識装置。
前記遠方エッジ点の位置の時系列変化に基づく前記線種の判定結果である遠方側判定結果と、前記近方エッジ点の位置の時系列変化に基づく前記線種の判定結果である近方側判定結果とに基づいて、前記区画線候補における前記線種を判定する、
請求項９に記載の道路区画線認識装置。
【請求項11】
前記第一線種候補判定部は、
前記遠方エッジ点の位置の時系列変化に基づいて、前記遠方側判定結果に対する重み付け値を設定し、
前記近方エッジ点の位置の時系列変化に基づいて、前記近方側判定結果に対する重み付け値を設定し、
重み付けされた前記遠方側判定結果および前記近方側判定結果に基づいて、前記区画線候補における前記線種を判定する、
請求項１０に記載の道路区画線認識装置。
前記遠方エッジ点の位置の時系列変化に基づいて、前記遠方側判定結果に対する重み付け値を設定し、
前記近方エッジ点の位置の時系列変化に基づいて、前記近方側判定結果に対する重み付け値を設定し、
重み付けされた前記遠方側判定結果および前記近方側判定結果に基づいて、前記区画線候補における前記線種を判定する、
請求項１０に記載の道路区画線認識装置。
【請求項12】
前記第一線種候補判定部は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記線情報であるペイント長およびギャップ長に基づいて設定する、
請求項９に記載の道路区画線認識装置。
請求項９に記載の道路区画線認識装置。
【請求項13】
前記第一線種候補判定部は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記自車両の周囲の物体の前記撮影画像における認識位置に基づいて設定する、
請求項９に記載の道路区画線認識装置。
請求項９に記載の道路区画線認識装置。
【請求項14】
複数の前記線種候補判定部のうちの他の１つである、第二線種候補判定部（７２）は、
前記撮影画像内の前記区画線候補における各画素に対して、セマンティックセグメンテーションによるクラスを出力する、クラス出力部（７２２）と、
前記クラス出力部の出力に基づいて、前記クラスに該当する確率であるクラス率を算出する、クラス率算出部（７２３）と、
を備え、
前記クラス率算出部により算出した前記クラス率に基づいて、前記区画線候補における前記線種を判定する、
請求項９に記載の道路区画線認識装置。
前記撮影画像内の前記区画線候補における各画素に対して、セマンティックセグメンテーションによるクラスを出力する、クラス出力部（７２２）と、
前記クラス出力部の出力に基づいて、前記クラスに該当する確率であるクラス率を算出する、クラス率算出部（７２３）と、
を備え、
前記クラス率算出部により算出した前記クラス率に基づいて、前記区画線候補における前記線種を判定する、
請求項９に記載の道路区画線認識装置。
【請求項15】
前記第二線種候補判定部は、前記クラス率の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
請求項１４に記載の道路区画線認識装置。
請求項１４に記載の道路区画線認識装置。
【請求項16】
前記第二線種候補判定部は、
前記クラス率がクラス判定閾値以上であるか否かにより、前記区画線候補における前記線種を判定し、
自車線における前記区画線候補と隣接車線における前記区画線候補とで、異なる前記クラス判定閾値を用いる、
請求項１４に記載の道路区画線認識装置。
前記クラス率がクラス判定閾値以上であるか否かにより、前記区画線候補における前記線種を判定し、
自車線における前記区画線候補と隣接車線における前記区画線候補とで、異なる前記クラス判定閾値を用いる、
請求項１４に記載の道路区画線認識装置。
【請求項17】
前記線種判定選択部は、
他車両による前記区画線候補の遮蔽状態を示す遮蔽率を算出する、遮蔽率算出部（８９）を備え、
前記遮蔽率が選択判定閾値未満である場合、前記第一線種候補判定部またはその前記線種候補判定結果を選択し、
前記遮蔽率が前記選択判定閾値以上である場合、前記第二線種候補判定部またはその前記線種候補判定結果を選択する、
請求項１４に記載の道路区画線認識装置。
他車両による前記区画線候補の遮蔽状態を示す遮蔽率を算出する、遮蔽率算出部（８９）を備え、
前記遮蔽率が選択判定閾値未満である場合、前記第一線種候補判定部またはその前記線種候補判定結果を選択し、
前記遮蔽率が前記選択判定閾値以上である場合、前記第二線種候補判定部またはその前記線種候補判定結果を選択する、
請求項１４に記載の道路区画線認識装置。
【請求項18】
撮影画像から道路区画線を認識する道路区画線認識装置（４）により実行される、道路区画線認識プログラムであって、
前記道路区画線認識装置が実行する処理は、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、判定アルゴリズムが互いに異なる複数の線種候補判定処理と、
複数の前記線種候補判定処理による線種候補判定結果の中から、いずれか１つを選択することで、前記区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する、線種判定選択処理と、
を含む、
道路区画線認識プログラム。
前記道路区画線認識装置が実行する処理は、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、判定アルゴリズムが互いに異なる複数の線種候補判定処理と、
複数の前記線種候補判定処理による線種候補判定結果の中から、いずれか１つを選択することで、前記区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する、線種判定選択処理と、
を含む、
道路区画線認識プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影画像から道路区画線を認識する、道路区画線認識装置および道路区画線認識プログラムに関するものである。
【背景技術】
【0002】
運転支援等のために、車両が走行している道路上の白線等の道路区画線を認識する装置が、従来種々知られている。例えば、特許文献１には、白線候補同士のコントラストの比率に基づいて、白線と消し線跡等のノイズとを区別し、誤認識を抑制する技術が開示されている。消し線跡とは、白線を消したが、その跡が残っているものをいう。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１１－１８６７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
この種の装置において、例えば、夜間や悪天候等の、路面認識条件が悪い状況においても、安定した道路区画線認識動作を実現することが求められている。本発明は、上記に例示した事情等に鑑みてなされたものである。
【課題を解決するための手段】
【0005】
請求項１に記載の道路区画線認識装置（５）は、撮影画像から道路区画線を認識するように構成されている。
この道路区画線認識装置は、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、複数の線種候補判定部（７）と、
複数の前記線種候補判定部、または、複数の前記線種候補判定部の各々による線種候補判定結果の中から、いずれか１つを選択することで、前記区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する、線種判定選択部（８）と、
を備え、
複数の前記線種候補判定部は、判定アルゴリズムが互いに異なる。
請求項１８に記載の道路区画線認識プログラムは、前記道路区画線認識装置により実行されるコンピュータプログラムであって、
前記道路区画線認識装置が実行する処理は、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、判定アルゴリズムが互いに異なる複数の線種候補判定処理と、
複数の前記線種候補判定処理による線種候補判定結果の中から、いずれか１つを選択することで、前記区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する、線種判定選択処理と、
を含む。
この道路区画線認識装置は、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、複数の線種候補判定部（７）と、
複数の前記線種候補判定部、または、複数の前記線種候補判定部の各々による線種候補判定結果の中から、いずれか１つを選択することで、前記区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する、線種判定選択部（８）と、
を備え、
複数の前記線種候補判定部は、判定アルゴリズムが互いに異なる。
請求項１８に記載の道路区画線認識プログラムは、前記道路区画線認識装置により実行されるコンピュータプログラムであって、
前記道路区画線認識装置が実行する処理は、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、判定アルゴリズムが互いに異なる複数の線種候補判定処理と、
複数の前記線種候補判定処理による線種候補判定結果の中から、いずれか１つを選択することで、前記区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する、線種判定選択処理と、
を含む。
【0006】
なお、出願書類の各欄において、各要素に括弧付きの参照符号が付される場合がある。しかしながら、かかる参照符号は、同要素と後述する実施形態に記載の具体的手段との対応関係の一例を、単に示すものにすぎない。よって、本発明は、上記の参照符号の記載によって、何ら限定されるものではない。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
（実施形態）
以下、本発明の実施形態を、図面に基づいて説明する。なお、一つの実施形態に対して適用可能な各種の変形例については、当該実施形態に関する一連の説明の途中に挿入されると当該実施形態の理解が妨げられるおそれがある。このため、変形例は、一つの実施形態に関する一連の説明の後に、まとめて記載する。
以下、本発明の実施形態を、図面に基づいて説明する。なお、一つの実施形態に対して適用可能な各種の変形例については、当該実施形態に関する一連の説明の途中に挿入されると当該実施形態の理解が妨げられるおそれがある。このため、変形例は、一つの実施形態に関する一連の説明の後に、まとめて記載する。
【0009】
（車載システム構成）
図１Ａおよび図１Ｂを参照すると、道路を走行する自動車である自車両Ｃには、車載システム１が搭載されている。車載システム１は、カメラ２による撮影画像に基づく画像認識結果を用いて、自車両Ｃの運転制御動作や乗員に対する警告動作等の各種動作を実行可能に構成されている。すなわち、車載システム１は、いわゆる運転自動化システム（すなわち自動運転システムあるいは運転支援システム）としての構成を有している。「自動運転」とは、ＳＡＥ Ｉｎｔｅｒｎａｔｉｏｎａｌが公開している規格「ＳＡＥ Ｊ３０１６」におけるレベル３～５に該当する、運転自動化システムが全ての動的運転タスクを担当すなわち実行する運転自動化レベルをいう。ＳＡＥはＳｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓの略である。「動的運転タスク」とは、道路交通において車両を操作する際にリアルタイムで行う必要がある全ての操作上および戦術上の機能であって、戦略上の機能を除いたものである。「戦略上の機能」は、行程計画、経由地選択、等であって、具体的には、「行くか行かないか、いつどこへどのように行くか」を決定あるいは選択することを含む。「運転支援」とは、「ＳＡＥ Ｊ３０１６」におけるレベル１～２に該当する、運転自動化システムが動的運転タスクのうちの縦方向の車両運動制御サブタスクおよび／または横方向の車両運動制御サブタスクを特定の限定領域において持続的に実行する運転自動化レベルをいう。縦方向の車両運動制御サブタスクおよび／または横方向の車両運動制御サブタスクは、例えば、発進、操舵、加速、減速、制動、停止、シフトレンジ変更、等を含む。自動運転における車両運転制御動作と、運転支援における車両運転制御動作と、これらに伴う、案内、報知、あるいは警告動作を、以下総称して「運転自動化関連動作」と称することがある。
図１Ａおよび図１Ｂを参照すると、道路を走行する自動車である自車両Ｃには、車載システム１が搭載されている。車載システム１は、カメラ２による撮影画像に基づく画像認識結果を用いて、自車両Ｃの運転制御動作や乗員に対する警告動作等の各種動作を実行可能に構成されている。すなわち、車載システム１は、いわゆる運転自動化システム（すなわち自動運転システムあるいは運転支援システム）としての構成を有している。「自動運転」とは、ＳＡＥ Ｉｎｔｅｒｎａｔｉｏｎａｌが公開している規格「ＳＡＥ Ｊ３０１６」におけるレベル３～５に該当する、運転自動化システムが全ての動的運転タスクを担当すなわち実行する運転自動化レベルをいう。ＳＡＥはＳｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓの略である。「動的運転タスク」とは、道路交通において車両を操作する際にリアルタイムで行う必要がある全ての操作上および戦術上の機能であって、戦略上の機能を除いたものである。「戦略上の機能」は、行程計画、経由地選択、等であって、具体的には、「行くか行かないか、いつどこへどのように行くか」を決定あるいは選択することを含む。「運転支援」とは、「ＳＡＥ Ｊ３０１６」におけるレベル１～２に該当する、運転自動化システムが動的運転タスクのうちの縦方向の車両運動制御サブタスクおよび／または横方向の車両運動制御サブタスクを特定の限定領域において持続的に実行する運転自動化レベルをいう。縦方向の車両運動制御サブタスクおよび／または横方向の車両運動制御サブタスクは、例えば、発進、操舵、加速、減速、制動、停止、シフトレンジ変更、等を含む。自動運転における車両運転制御動作と、運転支援における車両運転制御動作と、これらに伴う、案内、報知、あるいは警告動作を、以下総称して「運転自動化関連動作」と称することがある。
【0010】
カメラ２は、いわゆる前方カメラであって、自車両Ｃの前方を撮影するように自車両Ｃの車体または車室内にて固定されている。すなわち、カメラ２は、自車両Ｃの前方の路面Ｒに設けられた道路区画線等の路面標示や、自車両Ｃの前方に存在する障害物等の物体を撮影可能に設けられている。図１Ｂにて斜線ハッチングで示された領域である路面撮影範囲Ｒ１は、カメラ２による路面Ｒの撮影範囲である。図１Ｂに示されているように、路面撮影範囲Ｒ１における、最も自車両Ｃに近接する側すなわち「手前側」の端縁を、近位端境界Ｒ２と称する。
【0011】
図２を参照すると、車載システム１は、カメラ２と、自車両状態検知部３と、認識結果利用部４と、画像認識装置５とを備えている。自車両状態検知部３は、自車両Ｃの走行状態（例えば車速やヨーレート等）を表す各種情報を検知するように設けられている。すなわち、自車両状態検知部３は、車速センサやジャイロセンサ等の、車両運転制御に必要な周知のセンサ類を、図示および説明の簡略化のために総称したものである。認識結果利用部４は、カメラ２による撮影画像を画像認識装置５によって画像認識した結果に基づいて、自車両Ｃの運転制御動作や乗員に対する警告動作等の各種動作を実行するように構成されている。すなわち、認識結果利用部４は、例えば、カメラ２による撮影画像に基づく道路区画線の認識結果に基づいて、車線逸脱警報、車線維持支援、車線変更支援、自動車線変更、自動追越、等の運転自動化関連動作を実現可能な構成を有している。
【0012】
画像認識装置５は、カメラ２および自車両状態検知部３からの入力情報に基づいて画像認識することで、自車両Ｃの前方に存在する路面標示や物体を検出すなわち認識するように構成されている。すなわち、本発明における道路区画線認識装置としての画像認識装置５は、カメラ２による撮影画像から道路区画線を認識するように構成されている。本実施形態においては、画像認識装置５は、プロセッサ５ａとメモリ５ｂとを備えた、車載コンピュータとしての構成を有している。プロセッサ５ａは、ＣＰＵやＭＰＵ等により構成されている。メモリ５ｂは、ＲＯＭ、ＲＡＭ、不揮発性リライタブルメモリ、等の各種の非遷移的実体的記憶媒体のうち、少なくともＲＯＭまたは不揮発性リライタブルメモリとＲＡＭとを備えている。不揮発性リライタブルメモリは、電源投入中は情報を書き換え可能である一方で電源遮断中は情報を書き換え不能に保持する記憶装置であって、例えば、フラッシュＲＯＭ、ハードディスク、等である。画像認識装置５は、ＲＯＭまたは不揮発性リライタブルメモリに格納されたコンピュータプログラムを読み出して実行することで、画像認識動作を実行するように構成されている。
【0013】
（画像認識装置）
図３は、プロセッサ５ａがメモリ５ｂからプログラムを読み出して実行することによって車載マイクロコンピュータ上に実現される機能構成の一部を示す。図３に示されているように、画像認識装置５は、車載マイクロコンピュータ上に実現される機能構成として、情報取得部６と、複数の線種候補判定部７と、線種判定選択部８と、道路形状推定部９とを備えている。
図３は、プロセッサ５ａがメモリ５ｂからプログラムを読み出して実行することによって車載マイクロコンピュータ上に実現される機能構成の一部を示す。図３に示されているように、画像認識装置５は、車載マイクロコンピュータ上に実現される機能構成として、情報取得部６と、複数の線種候補判定部７と、線種判定選択部８と、道路形状推定部９とを備えている。
【0014】
情報取得部６は、カメラ２および自車両状態検知部３からの出力情報を取得するとともに、これらを時系列的に保持するように設けられている。複数の線種候補判定部７の各々は、撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、区画線候補における線種の判定である線種候補判定を実行するように設けられている。「線種」には、例えば、直線、破線、直線と破線とによる二重線、直線と直線とによる二重線、等がある。線種判定選択部８は、複数の線種候補判定部７、または、複数の線種候補判定部７の各々による線種候補判定結果の中から、いずれか１つを選択することで、認識した区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行するように設けられている。道路形状推定部９は、線情報であるエッジ点に基づいて、カルマンフィルタ等を用いて道路モデル形状を推定するように設けられている。「エッジ点」とは、周囲との輝度等の画素パラメータの変化が所定以上となる点すなわち画素をいう。なお、認識対象である道路区画線やその候補である区画線候補を総称して、以下「境界線」と称することがある。
【0015】
画像認識装置５は、判定アルゴリズムが互いに異なる複数の線種候補判定部７を有している。図３は、複数の線種候補判定部７として、基本候補判定部７０と、第一線種候補判定部としての第一追加候補判定部７１と、第二線種候補判定部としての第二追加候補判定部７２という、３つの線種候補判定部７が設けられている例を示す。
【0016】
基本候補判定部７０は、線情報であるペイント長およびギャップ長に基づくテンプレートマッチングを用いて、線種候補を判定するように構成されている。「ペイント長」は、路面Ｒ上に白色やオレンジ色等でペイントされた部分であるペイント部の、前後方向すなわち自車両Ｃの進行方向における長さであって、「マーカ長」とも称され得る。なお、自車両Ｃの進行方向は、直進中は自車両Ｃの車両全長方向と平行となるが、カーブ走行中はカーブに沿った曲線上の方向となり得る。「ギャップ長」は、破線におけるギャップ部の、前後方向における長さである。ギャップ部は、破線における、前後方向に並ぶ複数のペイント部の間の部分である。すなわち、基本候補判定部７０による、検出したペイント長およびギャップ長に基づくテンプレートマッチングという認識手法は、本願の出願時点において既に公知あるいは周知となっているため、これ以上の詳細な説明については省略する。
【0017】
第一追加候補判定部７１は、線情報である、ペイント部における特定のエッジ点（例えば近方エッジ点）の前後方向における位置の時系列変化に基づいて、線種候補を判定するように構成されている。「近方エッジ点」とは、撮影画像中、あるいは、撮影画像における所定領域中において、区画線候補のペイント部における自車両Ｃに最も近接する「手前側」に位置するエッジ点であって、例えば、図１Ｂに示された近位端境界Ｒ２に対応する位置のエッジ点である。これに対し、撮影画像中、あるいは、撮影画像における所定領域中において、区画線候補のペイント部における自車両Ｃから最も離隔する「奥側」に位置するエッジ点を、「遠方エッジ点」と称する。第一追加候補判定部７１およびこれによる線種候補判定手法の詳細については後述する。
【0018】
第二追加候補判定部７２は、線情報である、セマンティックセグメンテーションによるクラスの判定結果に基づいて、線種候補を判定するように構成されている。セマンティックセグメンテーションは、機械学習（例えばＤＮＮやＣＮＮ等）を用いて、画像内の各画素に「植物」、「動物」、「人」、「道路」、「空」、「海」、「自動車」、等の「クラス」のラベルやカテゴリを関連付けるアルゴリズムである。ＤＮＮはディープ・ニューラル・ネットワークの略である。ＣＮＮは畳み込みニューラルネットワークの略である。具体的には、第二追加候補判定部７２は、所定のクラス（例えばペイント部あるいはギャップ部）に該当する確率であるクラス率に基づいて、線種候補を判定するようになっている。第二追加候補判定部７２およびこれによる線種候補判定手法の詳細については後述する。
【0019】
線種判定選択部８は、選択演算部８１と選択結果決定部８２とを有している。選択演算部８１は、複数の線種候補判定部７、または、複数の線種候補判定部７の各々による線種候補判定結果の中から、いずれか１つを選択するための、必要な演算処理を実行するように設けられている。選択結果決定部８２は、選択演算部８１による演算結果に基づいて、１つの線種候補判定部７またはこれによる線種候補判定結果を選択することで、最終的な線種認識結果を決定するように設けられている。
【0020】
（選択演算部：第一実施形態）
本実施形態においては、線種判定選択部８は、線種候補判定に影響を与える撮影状況に対応するシーンの成立状況に応じて、線種候補判定部または線種候補判定結果を選択するように構成されている。「線種候補判定に影響を与える撮影状況」は、自然環境や他車両の存在等の撮影環境に加えて、撮影対象が複合線や掠れ線であるか否か等の撮影対象の状況も含む。「掠れ線」とは、ペイント部に掠れすなわち部分的欠落が生じている道路区画線をいうものとする。すなわち、「シーン」は、例えば、「夜間」、「雨」、「先行車遮蔽」、「複合線」、「掠れ線」、等である。「先行車遮蔽」とは、道路区画線の一部が、自車両Ｃに先行する他車両またはその影により遮蔽されている状態をいうものとする。
本実施形態においては、線種判定選択部８は、線種候補判定に影響を与える撮影状況に対応するシーンの成立状況に応じて、線種候補判定部または線種候補判定結果を選択するように構成されている。「線種候補判定に影響を与える撮影状況」は、自然環境や他車両の存在等の撮影環境に加えて、撮影対象が複合線や掠れ線であるか否か等の撮影対象の状況も含む。「掠れ線」とは、ペイント部に掠れすなわち部分的欠落が生じている道路区画線をいうものとする。すなわち、「シーン」は、例えば、「夜間」、「雨」、「先行車遮蔽」、「複合線」、「掠れ線」、等である。「先行車遮蔽」とは、道路区画線の一部が、自車両Ｃに先行する他車両またはその影により遮蔽されている状態をいうものとする。
【0021】
図４は、本実施形態における線種判定選択部８による最終的な線種判定のための、選択演算部８１の機能構成の一例を示す。以下、図３および図４を参照しつつ、本実施形態における線種判定選択部８の機能構成について説明する。図４に示されているように、選択演算部８１は、シーン判定部８３と、加重値算出部８４とを有している。シーン判定部８３は、シーンの成立状況を判定するように設けられている。具体的には、シーン判定部８３は、カメラ２による撮影画像に基づいて、シーンの成立状況を判定するようになっている。加重値算出部８４は、互いに異なるシーンの各々に対して、複数の線種候補判定部７毎の重み付け値である加重値を設定するように設けられている。また、加重値算出部８４は、シーン判定部８３によるシーンの成立状況の判定結果に基づいて、複数の線種候補判定部７毎の加重値を算出するように設けられている。具体的には、加重値算出部８４は、複数のシーンが成立した場合、複数の線種候補判定部７毎に、成立したシーンに対応する加重値の合計値を算出するようになっている。そして、線種判定選択部８すなわち図３に示された選択結果決定部８２は、シーン判定部８３により成立が判定されたシーンに対応する加重値に基づいて、線種候補判定部７または線種候補判定結果を選択するようになっている。
【0022】
以下、本実施形態に係る画像認識装置５あるいはこれにより実行されるコンピュータプログラムである画像認識プログラム（すなわち道路区画線認識プログラム）の動作の概要について、これらにより奏される効果とともに説明する。以下、本実施形態に係る画像認識装置５と、これにより実行される画像認識プログラムとを、「本実施形態」と総称することがある。
【0023】
図５は、異なる判定アルゴリズムの各々における、シーン毎の道路区画線認識結果の正解率の一具体例を示す。図５において、「基本アルゴリズム」は、基本候補判定部７０による判定アルゴリズム、すなわち、ペイント長およびギャップ長に基づくテンプレートマッチングを用いた線種判定アルゴリズムを示す。「追加アルゴリズム１」は、第一追加候補判定部７１による判定アルゴリズム、すなわち、特定のエッジ点の前後方向における位置の時系列変化に基づく線種判定アルゴリズムを示す。「追加アルゴリズム２」は、第二追加候補判定部７２による判定アルゴリズム、すなわち、セマンティックセグメンテーションによるクラスの判定結果に基づく線種判定アルゴリズムを示す。「シーン」におけるＡ～Ｅは、上記のような夜間や先行車遮蔽等を列挙したものである。図５中の数値は、正解率をパーセントで表示したものである。
【0024】
車線維持等の車線関連制御や自動運転制御等の、運転自動化関連動作は、高速道路等の自動車専用道路のみならず、一般道にも拡大適用される傾向がある。特に、車線変更支援や自動車線変更においては、制御可能か否か（例えば黄色や白色の実線では車線変更不可等）を判定する指標として、道路区画線の種類を正確に判定することが求められている。ここで、一般道、特に、市街地や山道といった場所においては、自動車専用道路よりも、路面認識条件が悪くなる。また、従来周知のテンプレートマッチングによる線種判定手法では、掠れや先行車遮蔽等の悪条件や、テンプレートに当てはまらない特殊なパターンの場合、ペイント長やギャップ長が不明確な状況となり、線種判定精度が低下する懸念がある。このため、夜間や悪天候や掠れ等の、路面認識条件が悪い状況においても、安定した道路区画線認識動作を実現することが求められている。
【0025】
この点、図５に示されているように、シーン毎に、最も正解率が高くなる判定アルゴリズムは異なる。すなわち、判定アルゴリズム毎に、「得意な」シーンが異なる。具体的には、例えば、ペイント長およびギャップ長に基づくテンプレートマッチングを用いた基本アルゴリズムは、良条件に対してロバスト性が高い。一方、特定のエッジ点の前後方向における位置の時系列変化に基づく追加アルゴリズム１は、悪条件としてのシーンＢやシーンＣにおける判定精度が高い。また、セマンティックセグメンテーションによるクラスの判定結果に基づく追加アルゴリズム２は、悪条件としてのシーンＣやシーンＤやシーンＥにおける判定精度が高い。そこで、発明者は、従来周知のテンプレートマッチングによるアルゴリズムにおける苦手シーンをカバー可能な手法を見出した。
【0026】
すなわち、本実施形態は、シーンの成立状況の判定結果に応じて、複数の線種候補判定部７のうちのいずれか１つ、あるいは、これによる線種候補判定結果を選択する。具体的には、本実施形態は、例えば、成立したシーンが１つである場合、複数の線種候補判定部７のうちの、成立したシーンに対応するいずれか１つを選択して、選択した線種候補判定部７のみにて、線種候補判定を実行する。あるいは、本実施形態は、例えば、成立したシーンが１つである場合、複数の線種候補判定部７のそれぞれにおける線種候補判定結果の中から、最終的な線種判定結果を、成立したシーンに応じて選択する。あるいは、本実施形態は、例えば、成立したシーンが複数である場合、複数の線種候補判定部７のそれぞれにおける線種候補判定結果の中から、最終的な線種判定結果を、成立したシーンに応じて選択する。このように、本実施形態は、複数の線種判定手法を、シーンに応じて使い分ける。したがって、本実施形態によれば、夜間や悪天候等の悪条件下においても、安定した道路区画線認識動作を実現することが可能となる。
【0027】
図６は、図５に示された正解率に基づいて加重値を設定した結果を示す。本具体例においては、加重値は、正解率が９０％未満の場合は「０」とし、正解率が９０％以上の場合は正解率の数値における小数点以下を切り捨てた２桁の数値における「１の位」の値とする。例えば、正解率が「９１．７％」である場合、加重値は「１」となる。本実施形態においては、線種判定選択部８は、シーン判定部８３により成立が判定されたシーンに対応する加重値に基づいて、線種候補判定部７、あるいは、これによる線種候補判定結果を選択する。具体的には、線種判定選択部８は、成立したシーンに対応する加重値が最も大きな値となる線種候補判定部７、あるいは、これによる線種候補判定結果を選択する。例えば、シーンＡの場合、基本アルゴリズムにおける加重値は「３」、追加アルゴリズム１における加重値は「０」、追加アルゴリズム２における加重値は「１」である。よって、選択結果決定部８２は、最も加重値の値が大きい基本アルゴリズムに対応する基本候補判定部７０、あるいは、これによる線種候補判定結果を選択することで、最終的な線種認識結果を決定する。なお、シーンＣの場合、追加アルゴリズム１と追加アルゴリズム２とで、加重値が同一値且つ最大値となる。しかしながら、このような場合であっても、加重値が「１」以上であることは正解率が９０％以上であることが前提となっているため、両者の線種候補判定結果は、一致している蓋然性が高い。よって、このように、加重値が同一値且つ最大値となる判定アルゴリズムが複数存在しても、いずれか１つを任意に選択すればよい。
【0028】
図７は、図５の表に、本実施形態による効果を追加したものである。図７において、「今回アルゴリズム」は、複数の判定アルゴリズムをシーンに応じて使い分ける、本実施形態に係る線種判定アルゴリズムを示す。「従来比較」は、従来の線種判定アルゴリズムに相当する基本アルゴリズムのみを用いた場合との正解率の比較結果すなわち偏差を示す。図７に示されているように、本実施形態に係る線種判定アルゴリズムによれば、シーン毎に最適な線種判定手法を選択することで、いずれのシーンにおいても９０％以上の良好な正解率を達成することができる。特に、本実施形態によれば、従来の線種判定アルゴリズムでは正解率が比較的低かった、シーンＤ，Ｅの悪条件下においても、精度よく線種判定を行うことが可能となる。
【0029】
シーン判定部８３により複数のシーンの成立が判定された場合、加重値算出部８４は、成立したシーン毎に、複数の線種候補判定部７の各々に対応する加重値を設定する。また、加重値算出部８４は、シーン判定部８３によるシーンの成立状況の判定結果に基づいて、複数の線種候補判定部７毎の加重値を算出する。すなわち、加重値算出部８４は、成立したシーンに対応する加重値を、複数の線種候補判定部７の各々について加算する。そして、選択結果決定部８２は、加算の結果である加算値の最大値に対応する線種候補判定部７、あるいは、これによる線種候補判定結果を選択する。
【0030】
具体的には、例えば、シーンＡが成立している場合、加重値算出部８４は、基本アルゴリズムにおける加重値を「３」、追加アルゴリズム１における加重値を「０」、追加アルゴリズム２における加重値を「１」に、それぞれ設定する。また、例えば、シーンＢが成立している場合、加重値算出部８４は、基本アルゴリズムにおける加重値を「６」、追加アルゴリズム１における加重値を「８」、追加アルゴリズム２における加重値を「７」に、それぞれ設定する。そして、加重値算出部８５は、成立しているシーンがシーンＡ且つＢである場合、両者の加重値を加算する。すると、基本アルゴリズムにおける加重値は「９」、追加アルゴリズム１における加重値は「８」、追加アルゴリズム２における加重値は「８」となる。そこで、選択結果決定部８２は、加算値が最も大きな値「９」となる基本アルゴリズムに対応する基本候補判定部７０、あるいは、これによる線種候補判定結果を選択して、最終的な線種判定結果を決定する。すなわち、選択結果決定部８２は、シーンＢのみが成立する場合はシーンＢに強い追加アルゴリズム１を選択する一方、シーンＢのみならずシーンＡも成立する場合には、複数のアルゴリズムの強みを総合勘案して、基本アルゴリズムを選択する。このように、本実施形態によれば、複合的なシーン成立状況においても、良好な線種判定が可能となる。
【0031】
図８～図１１は、本実施形態に係る画像認識装置５の一動作例を示すフローチャートである。図中のフローチャートにおいて、「Ｓ」は「ステップ」を略記したものである。図９以降の他のフローチャートにおいても同様である。図８を参照すると、ステップ８１０にて、プロセッサ５ａは、フレーム画像を取得する。次に、ステップ８２１にて、プロセッサ５ａは、１つ目の線種候補判定部７（例えば図３の例では基本候補判定部７０）による線種候補判定を実行する。同様に、ステップ８２２にて、プロセッサ５ａは、２つ目の線種候補判定部７（例えば図３の例では第一追加候補判定部７１）による線種候補判定を実行する。このように、プロセッサ５ａは、１～ｎ個目の線種候補判定部７による線種候補判定処理であるステップ８２１～ステップ８２ｎを実行した後、処理をステップ８３０およびステップ８４０に進行させる。
【0032】
ステップ８３０にて、プロセッサ５ａは、線種判定選択処理を実行する。すなわち、プロセッサ５ａは、複数の線種候補判定部７の各々による線種候補判定結果の中から、いずれか１つを選択することで、区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する。次に、ステップ８４０にて、プロセッサ５ａは、線種判定処理が完了したか否か、すなわち、線種判定処理すべき次のフレーム画像があるか否かを判定する。次のフレーム画像がある場合（すなわちステップ８４０＝ＮＯ）、プロセッサ５ａは、次のフレーム画像に対する処理に進行する。この場合、プロセッサ５ａは、処理をステップ８１０に戻す。これに対し、次のフレーム画像がない場合（すなわちステップ８４０＝ＹＥＳ）、プロセッサ５ａは、線種判定処理を一旦終了する。
【0033】
図９は、ステップ８３０における処理内容の詳細を示す。すなわち、プロセッサ５ａは、図８に示されたステップ８３０における線種判定選択処理において、ステップ９０１～ステップ９０４の処理を実行する。具体的には、図９に示されているように、まず、ステップ９０１にて、プロセッサ５ａは、カメラ２による撮影画像データを取得する。次に、ステップ９０２にて、プロセッサ５ａは、シーンの成立状況を判定する。続いて、ステップ９０３にて、プロセッサ５ａは、ステップ９０２におけるシーンの成立状況の判定結果に応じて、線種候補判定部７毎の重み付け値である加重値を設定する。そして、ステップ９０４にて、プロセッサ５ａは、成立が判定されたシーンに対応する加重値に基づいて、線種候補判定結果を選択する。
【0034】
図１０は、ステップ９０３における処理内容の詳細を示す。すなわち、プロセッサ５ａは、図９に示されたステップ９０３における加重値設定処理において、ステップ１００１以降の処理を実行する。なお、これ以降の説明においては、説明の簡略化のため、図８におけるｎ＝３、すなわち、図３に示されているように、複数の線種候補判定部７として、基本候補判定部７０と第一追加候補判定部７１と第二追加候補判定部７２との３つの線種候補判定部７が設けられている構成例に基づいて説明する。
【0035】
具体的には、図１０に示されているように、まず、ステップ１００１にて、プロセッサ５ａは、線種候補判定部７毎の加重値の設定状態を初期化する。次に、ステップ１００２にて、プロセッサ５ａは、図９に示されたステップ９０２におけるシーンの成立状況の判定結果を取得する。そして、ステップ１００３以降にて、プロセッサ５ａは、成立が判定されたシーンに対応して、線種候補判定部７毎に加重値を設定する。
【0036】
まず、ステップ１００３にて、プロセッサ５ａは、シーンＡが成立しているか否かを判定する。シーンＡが成立している場合（すなわちステップ１００３＝ＹＥＳ）、プロセッサ５ａは、ステップ１００４の処理を実行した後、処理をステップ１００５に進行させる。ステップ１００４にて、プロセッサ５ａは、シーンＡが成立している場合の加重値を、複数の線種候補判定部７の各々、すなわち、基本アルゴリズム、追加アルゴリズム１、および追加アルゴリズム２に対して、それぞれ、「３」「０」「１」に設定する。シーンＡが成立していない場合（すなわちステップ１００３＝ＮＯ）、プロセッサ５ａは、ステップ１００４の処理をスキップして、処理をステップ１００５に進行させる。
【0037】
ステップ１００５にて、プロセッサ５ａは、シーンＢが成立しているか否かを判定する。豪雨シーンが成立している場合（すなわちステップ１００５＝ＹＥＳ）、プロセッサ５ａは、ステップ１００６の処理を実行した後、処理をステップ１００７に進行させる。ステップ１００６にて、プロセッサ５ａは、シーンＢが成立している場合の加重値を、基本アルゴリズム、追加アルゴリズム１、および追加アルゴリズム２に対して、それぞれ、「６」「８」「７」に設定する。シーンＢが成立していない場合（すなわちステップ１００５＝ＮＯ）、プロセッサ５ａは、ステップ１００６の処理をスキップして、処理をステップ１００７に進行させる。
【0038】
ステップ１００７にて、プロセッサ５ａは、シーンＣが成立しているか否かを判定する。シーンＣが成立している場合（すなわちステップ１００７＝ＹＥＳ）、プロセッサ５ａは、ステップ１００８の処理を実行した後、処理をステップ１００９に進行させる。ステップ１００８にて、プロセッサ５ａは、シーンＣが成立している場合の加重値を、基本アルゴリズム、追加アルゴリズム１、および追加アルゴリズム２に対して、それぞれ、「６」「８」「８」に設定する。シーンＣが成立していない場合（すなわちステップ１００７＝ＮＯ）、プロセッサ５ａは、ステップ１００８の処理をスキップして、処理をステップ１００９に進行させる。
【0039】
ステップ１００９にて、プロセッサ５ａは、シーンＤが成立しているか否かを判定する。シーンＤが成立している場合（すなわちステップ１００９＝ＹＥＳ）、プロセッサ５ａは、ステップ１０１０の処理を実行した後、処理をステップ１０１１に進行させる。ステップ１０１０にて、プロセッサ５ａは、シーンＤが成立している場合の加重値を、基本アルゴリズム、追加アルゴリズム１、および追加アルゴリズム２に対して、それぞれ、「０」「１」「８」に設定する。シーンＤが成立していない場合（すなわちステップ１００９＝ＮＯ）、プロセッサ５ａは、ステップ１０１０の処理をスキップして、処理をステップ１０１１に進行させる。
【0040】
ステップ１０１１にて、プロセッサ５ａは、シーンＥが成立しているか否かを判定する。シーンＥが成立している場合（すなわちステップ１０１１＝ＹＥＳ）、プロセッサ５ａは、ステップ１０１２の処理を実行した後、処理をステップ１０１３に進行させる。ステップ１０１２にて、プロセッサ５ａは、シーンＥが成立している場合の加重値を、基本アルゴリズム、追加アルゴリズム１、および追加アルゴリズム２に対して、それぞれ、「０」「０」「８」に設定する。シーンＥが成立していない場合（すなわちステップ１０１１＝ＮＯ）、プロセッサ５ａは、ステップ１０１２の処理をスキップして、処理をステップ１０１３に進行させる。
【0041】
ステップ１０１３にて、プロセッサ５ａは、複数の線種候補判定部７の各々（すなわち各アルゴリズム）に対応する最終的な加重値を算出する。すなわち、例えば、成立したシーンが１つである場合、プロセッサ５ａは、ステップ１００４、ステップ１００６、ステップ１００８、ステップ１０１０、およびステップ１０１２のうちの、実行されたいずれか１つにて設定された加重値を、最終的な加重値とする。一方、成立したシーンが複数である場合、プロセッサ５ａは、ステップ１００４、ステップ１００６、ステップ１００８、ステップ１０１０、およびステップ１０１２のうちの、実行された複数のステップにて設定された加重値を加算することで、最終的な加重値を算出する。
【0042】
図１１は、図９におけるステップ９０３～ステップ９０４の処理をまとめたものである。図１１を参照すると、まず、ステップ１１０１にて、プロセッサ５ａは、各シーンの加重値を取得する。すなわち、ステップ１１０１の処理は、図１０のフローチャートにおけるステップ１００１～ステップ１０１２の処理に相当する。次に、ステップ１１０２にて、プロセッサ５ａは、基本アルゴリズムすなわち基本候補判定部７０について、最終的な加重値を算出する。ステップ１１０２にて得られた、基本アルゴリズムについての最終的な加重値を、Ａ０とする。同様に、ステップ１１０３にて、プロセッサ５ａは、追加アルゴリズム１すなわち第一追加候補判定部７１について、最終的な加重値を算出する。ステップ１１０３にて得られた、追加アルゴリズム１についての最終的な加重値を、Ａ１とする。さらに、ステップ１１０４にて、プロセッサ５ａは、追加アルゴリズム２すなわち第二追加候補判定部７２について、最終的な加重値を算出する。ステップ１１０４にて得られた、追加アルゴリズム２についての最終的な加重値を、Ａ２とする。すなわち、ステップ１１０２～ステップ１１０４の処理は、図１０のフローチャートにおけるステップ１０１３の処理に相当する。そして、プロセッサ５ａは、複数の線種候補判定部７、または、複数の線種候補判定部７の各々による線種候補判定結果の中から、いずれか１つを選択するために、処理をステップ１１０５以降に進行させる。
【0043】
ステップ１１０５にて、プロセッサ５ａは、Ａ０の値とＡ１の値とを比較する。Ａ０≧Ａ１である場合（すなわちステップ１１０５＝ＹＥＳ）、プロセッサ５ａは、処理をステップ１１０６に進行させる。ステップ１１０６にて、プロセッサ５ａは、Ａ０の値とＡ２の値とを比較する。Ａ０≧Ａ２である場合（すなわちステップ１１０６＝ＹＥＳ）、プロセッサ５ａは、処理をステップ１１０７に進行させる。ステップ１１０７にて、プロセッサ５ａは、基本アルゴリズムすなわち基本候補判定部７０、あるいは、これによる線種候補判定結果を選択して、最終的な線種認識結果を決定する。Ａ０＜Ａ２である場合（すなわちステップ１１０６＝ＮＯ）、プロセッサ５ａは、処理をステップ１１０８に進行させる。ステップ１１０８にて、プロセッサ５ａは、追加アルゴリズム２すなわち第二追加候補判定部７２、あるいは、これによる線種候補判定結果を選択して、最終的な線種認識結果を決定する。Ａ０＜Ａ１である場合（すなわちステップ１１０５＝ＮＯ）、プロセッサ５ａは、処理をステップ１１０９に進行させる。ステップ１１０９にて、プロセッサ５ａは、Ａ１の値とＡ２の値とを比較する。Ａ１≧Ａ２である場合（すなわちステップ１１０９＝ＹＥＳ）、プロセッサ５ａは、処理をステップ１１１０に進行させる。ステップ１１１０にて、プロセッサ５ａは、追加アルゴリズム１すなわち第一追加候補判定部７１、あるいは、これによる線種候補判定結果を選択して、最終的な線種認識結果を決定する。Ａ１＜Ａ２である場合（すなわちステップ１１０９＝ＮＯ）、プロセッサ５ａは、処理をステップ１１０８に進行させる。
【0044】
（選択演算部：第二実施形態）
以下、選択演算部８１についての別例すなわち第二実施形態について説明する。なお、本実施形態の説明においては、上記第一実施形態との相違点を主として説明する。また、上記第一実施形態と本実施形態とにおいて、互いに同一または均等である部分には、同一の符号が付されている。したがって、以下の本実施形態の説明において、上記第一実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記第一実施形態における説明が適宜援用され得る。後述する他の実施形態についても同様であり、先行する実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、当該実施形態における説明が、後続する実施形態において適宜援用され得る。
以下、選択演算部８１についての別例すなわち第二実施形態について説明する。なお、本実施形態の説明においては、上記第一実施形態との相違点を主として説明する。また、上記第一実施形態と本実施形態とにおいて、互いに同一または均等である部分には、同一の符号が付されている。したがって、以下の本実施形態の説明において、上記第一実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記第一実施形態における説明が適宜援用され得る。後述する他の実施形態についても同様であり、先行する実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、当該実施形態における説明が、後続する実施形態において適宜援用され得る。
【0045】
図３を参照すると、本実施形態においては、線種判定選択部８は、最も大きい加重値に対応する、線種候補判定部７またはその判定結果が、複数存在する場合、判定結果同士を比較した結果に基づいて、線種判定を実行するように構成されている。図１２は、本実施形態における最終的な線種判定のための、選択演算部８１の機能構成の一例を示す。すなわち、図１２に示された構成は、図４に示された構成の一部を変容したものである。図１３は、本実施形態に対応する動作例を示すフローチャートである。以下、図３、図１２、および図１３を用いて、本実施形態の内容について説明する。
【0046】
本実施形態においては、選択演算部８１は、シーン判定部８３と、加重値算出部８４と、判定結果比較部８６とを有している。判定結果比較部８６は、最も大きい加重値に対応する、線種候補判定部７またはその判定結果が、複数存在する場合、判定結果同士を比較し、比較結果に基づいて最終的な線種判定を実行するようになっている。
【0047】
図１３は、判定結果比較部８６による動作の概要を示す。以下図１３を参照すると、まず、ステップ１３００にて、プロセッサ５ａは、今回のフレーム画像における、複数の線種候補判定部７の各々に設定された加重値を取得する。次に、ステップ１３０１にて、プロセッサ５ａは、ステップ１３００にて取得された加重値の最大値が閾値以上であるか否かを判定する。最大値が閾値以上である場合（すなわちステップ１３０１＝ＹＥＳ）、プロセッサ５ａは、処理をステップ１３０２に進行させる。ステップ１３０２にて、プロセッサ５ａは、ステップ１３００にて取得された加重値の最大値が１つであるか否か、すなわち、加重値が最大の線種候補判定部７が１つのみであるか否かを判定する。
【0048】
最大値が１つである場合（すなわちステップ１３０２＝ＹＥＳ）、プロセッサ５ａは、処理をステップ１３０３に進行させる。ステップ１３０３にて、プロセッサ５ａは、上記第一実施形態と同様に、加重値が最大値となる線種候補判定部７、あるいは、これによる線種候補判定結果を選択する。次に、ステップ１３０４にて、プロセッサ５ａは、ステップ１３０３における選択結果に基づく１つの線種候補判定結果を、最終的な線種判定結果として出力する。一方、最大値が複数ある場合（すなわちステップ１３０２＝ＮＯ）、プロセッサ５ａは、処理をステップ１３０５に進行させる。ステップ１３０５にて、プロセッサ５ａは、加重値が最大値となった複数の線種候補判定部７における線種候補判定結果が同一であるか否かを判定する。上述の通り、加重値が最大値となった複数の線種候補判定部７における線種候補判定結果は、通常、一致するものである。そこで、線種候補判定結果が同一である場合（すなわちステップ１３０５＝ＹＥＳ）、プロセッサ５ａは、処理をステップ１３０４に進行させる。これに対し、発生頻度は非常に稀ではあるが、線種候補判定結果が異なる場合（すなわちステップ１３０５＝ＮＯ）、線種の誤判定による不具合を可能な限り回避するため、プロセッサ５ａは、処理をステップ１３０６に進行させる。また、ステップ１３０１にて最大値が閾値未満であると判定した場合（すなわちステップ１３０１＝ＮＯ）も、プロセッサ５ａは、処理をステップ１３０６に進行させる。ステップ１３０６にて、プロセッサ５ａは、最終的な線種判定結果が不明である旨を決定する。
【0049】
（選択演算部：第三実施形態）
以下、選択演算部８１についてのさらなる別例について説明する。シーン判定については、瞬間的な誤判定が生じる可能性がある。このため、本実施形態は、シーンの判定結果の信頼度を算出し、かかる信頼度に基づいて線種候補判定部７または線種候補判定結果を選択する構成を有している。すなわち、図１４に示されているように、本実施形態においては、選択演算部８１は、シーン判定部８３と、加重値算出部８４と、シーン信頼度算出部８７とを有している。シーン信頼度算出部８７は、シーン判定部８３によるシーンの判定結果の信頼度であるシーン判定信頼度を算出するように設けられている。シーン判定信頼度は、例えば、シーン判定部８３によるシーンの判定結果を経時的に統計処理することによって算出され得る。すなわち、例えば、直近の時系列的に連続するＮフレーム中における、同一シーン判定のフレーム数あるいは連続フレーム数をｐとすると、シーン判定信頼度は、ｐ／Ｎで示すことができ、この場合の最大値は１、最小値は０である。具体的には、直近１０フレーム中の３フレームで連続的に豪雨判定がなされている場合、ｐ＝３且つＮ＝１０となり、シーン判定信頼度（雨）＝０．３となる。このように、シーン判定信頼度は、シーン判定部８３によるシーンの判定結果あるいはその継続状態に基づいて算出することが可能である。
以下、選択演算部８１についてのさらなる別例について説明する。シーン判定については、瞬間的な誤判定が生じる可能性がある。このため、本実施形態は、シーンの判定結果の信頼度を算出し、かかる信頼度に基づいて線種候補判定部７または線種候補判定結果を選択する構成を有している。すなわち、図１４に示されているように、本実施形態においては、選択演算部８１は、シーン判定部８３と、加重値算出部８４と、シーン信頼度算出部８７とを有している。シーン信頼度算出部８７は、シーン判定部８３によるシーンの判定結果の信頼度であるシーン判定信頼度を算出するように設けられている。シーン判定信頼度は、例えば、シーン判定部８３によるシーンの判定結果を経時的に統計処理することによって算出され得る。すなわち、例えば、直近の時系列的に連続するＮフレーム中における、同一シーン判定のフレーム数あるいは連続フレーム数をｐとすると、シーン判定信頼度は、ｐ／Ｎで示すことができ、この場合の最大値は１、最小値は０である。具体的には、直近１０フレーム中の３フレームで連続的に豪雨判定がなされている場合、ｐ＝３且つＮ＝１０となり、シーン判定信頼度（雨）＝０．３となる。このように、シーン判定信頼度は、シーン判定部８３によるシーンの判定結果あるいはその継続状態に基づいて算出することが可能である。
【0050】
図３に示された選択結果決定部８２は、選択演算部８１すなわちシーン信頼度算出部８７にて算出したシーン判定信頼度が最も高いシーンにおける加重値が最大の線種候補判定部７あるいはその線種候補判定結果を選択することが可能である。あるいは、選択結果決定部８２は、選択演算部８１すなわちシーン信頼度算出部８７にて算出したシーン判定信頼度により補正した加重値に基づいて、線種候補判定部７あるいはその線種候補判定結果を選択することが可能である。
【0051】
図１５は、本実施形態による一動作例の概要を示す。図１５に示されているように、本実施形態においては、まず、ステップ１５０１にて、プロセッサ５ａは、カメラ２による撮影画像データを取得する。次に、ステップ１５０２にて、プロセッサ５ａは、シーンの成立状況を判定する。続いて、ステップ１５０３にて、プロセッサ５ａは、ステップ１５０２におけるシーンの成立状況の判定結果の経時的データに基づいて、シーン判定信頼度を算出する。また、ステップ１５０４にて、プロセッサ５ａは、ステップ１５０２におけるシーンの成立状況の判定結果に応じて、線種候補判定部７毎の重み付け値である加重値を設定する。そして、ステップ１５０５にて、プロセッサ５ａは、シーン判定信頼度を用いて加重値を統合すなわち補正する。具体的には、例えば、豪雨シーンと先行車遮蔽シーンとが成立していて、シーン判定信頼度（雨）＝０．３且つシーン判定信頼度（遮蔽）＝０．２である場合、豪雨シーンに対応する各加重値に対して０．３の補正値が乗算されるとともに、先行車遮蔽シーンに対応する各加重値に対して０．２の補正値が乗算される。最後に、ステップ１５０６にて、プロセッサ５ａは、ステップ１５０５にて統合された加重値に基づいて、線種候補判定部７または線種候補判定結果を選択する。
【0052】
図１６は、シーン判定信頼度による加重値の補正の別態様の概要を示す。本具体例は、豪雨シーンの場合を示す。まず、プロセッサ５ａは、ステップ１６０１～ステップ１６０６の処理を順に実行する。ステップ１６０１にて、プロセッサ５ａは、線種候補判定部７毎の加重値の設定状態を初期化する。ステップ１６０２にて、プロセッサ５ａは、今回の線種判定対象のフレーム画像におけるシーンの成立状況の判定結果を取得する。ステップ１６０３にて、プロセッサ５ａは、前回のステップ１６０２の実行結果、すなわち、前回の線種判定対象のフレーム画像におけるシーンの成立状況の判定結果を取得する。ステップ１６０４にて、プロセッサ５ａは、ステップ１６０２におけるシーンの成立状況の判定結果に応じて、線種候補判定部７毎の重み付け値である加重値を設定する。ステップ１６０５にて、プロセッサ５ａは、ステップ１６０４にて設定された加重値に基づいて、複数の線種候補判定部７の各々（すなわち各アルゴリズム）に対応する加重値を算出する。ステップ１６０６にて、プロセッサ５ａは、豪雨シーンが継続しているか否かを判定する。
【0053】
豪雨シーンが継続している場合（すなわちステップ１６０６＝ＹＥＳ）、プロセッサ５ａは、処理をステップ１６０７に進行させる。ステップ１６０７にて、プロセッサ５ａは、豪雨シーンの継続回数が所定の最大閾値未満であるか否かを判定する。豪雨シーンの継続回数が所定の最大閾値未満である場合（すなわちステップ１６０７＝ＹＥＳ）、プロセッサ５ａは、処理をステップ１６０８に進行させる。ステップ１６０８にて、プロセッサ５ａは、豪雨シーンの継続回数に１を加算する。豪雨シーンの継続回数が所定の最大閾値以上である場合（すなわちステップ１６０７＝ＮＯ）、プロセッサ５ａは、処理をステップ１６０９に進行させる。ステップ１６０９にて、プロセッサ５ａは、豪雨シーンの継続回数を所定の最大閾値に設定する。すなわち、プロセッサ５ａは、豪雨シーンの継続回数の上限値を所定の最大閾値にガードする。
【0054】
豪雨シーンが継続していない場合（すなわちステップ１６０６＝ＮＯ）、プロセッサ５ａは、処理をステップ１６１０に進行させる。ステップ１６１０にて、プロセッサ５ａは、豪雨シーンの継続回数が所定の最小閾値より大きいか否かを判定する。豪雨シーンの継続回数が所定の最小閾値より大きい場合（すなわちステップ１６１０＝ＹＥＳ）、プロセッサ５ａは、処理をステップ１６１１に進行させる。ステップ１６１１にて、プロセッサ５ａは、豪雨シーンの継続回数に－１を加算する。豪雨シーンの継続回数が所定の最小閾値以下である場合（すなわちステップ１６１０＝ＮＯ）、プロセッサ５ａは、処理をステップ１６１２に進行させる。ステップ１６１２にて、プロセッサ５ａは、豪雨シーンの継続回数を所定の最小閾値に設定する。すなわち、プロセッサ５ａは、豪雨シーンの継続回数の下限値を所定の最小閾値にガードする。
【0055】
ステップ１６０８、ステップ１６０９、ステップ１６１１、またはステップ１６１２の処理の後、プロセッサ５ａは、処理をステップ１６１３およびステップ１６１４に進行させる。ステップ１６１３にて、プロセッサ５ａは、継続回数を所定の最大閾値で除することで、豪雨シーンのシーン判定信頼度を算出する。ステップ１６１４にて、プロセッサ５ａは、ステップ１６０５にて算出された加重値に対してシーン判定信頼度を乗算することで、加重値を補正する。
【0056】
（選択演算部：第四実施形態）
以下、選択演算部８１についてのさらなる別例について説明する。上述の通り、先行車遮蔽シーンにおいては、ペイント長およびギャップ長に基づく基本アルゴリズムによる線種判定は、他の追加アルゴリズム１，２による線種判定よりも精度が低くなる。また、特定のエッジ点の前後方向における位置の時系列変化に基づく追加アルゴリズム１による線種判定と、セマンティックセグメンテーションによるクラスの判定結果に基づく追加アルゴリズム２による線種判定とを対比すると、後者の方が、精度が高くなる。なぜなら、先行車による遮蔽の度合いが大きい場合、特定のエッジ点の前後方向における位置の時系列変化に基づく線種候補判定の精度が若干低下する可能性がある一方で、セマンティックセグメンテーションによれば「遮蔽」というクラスによる良好な認識が可能となるからである。このため、先行車による遮蔽の度合いが大きい場合、セマンティックセグメンテーションによるクラスの判定結果に基づく追加アルゴリズム２による線種候補判定が、精度すなわち正解率が最も高まる。
以下、選択演算部８１についてのさらなる別例について説明する。上述の通り、先行車遮蔽シーンにおいては、ペイント長およびギャップ長に基づく基本アルゴリズムによる線種判定は、他の追加アルゴリズム１，２による線種判定よりも精度が低くなる。また、特定のエッジ点の前後方向における位置の時系列変化に基づく追加アルゴリズム１による線種判定と、セマンティックセグメンテーションによるクラスの判定結果に基づく追加アルゴリズム２による線種判定とを対比すると、後者の方が、精度が高くなる。なぜなら、先行車による遮蔽の度合いが大きい場合、特定のエッジ点の前後方向における位置の時系列変化に基づく線種候補判定の精度が若干低下する可能性がある一方で、セマンティックセグメンテーションによれば「遮蔽」というクラスによる良好な認識が可能となるからである。このため、先行車による遮蔽の度合いが大きい場合、セマンティックセグメンテーションによるクラスの判定結果に基づく追加アルゴリズム２による線種候補判定が、精度すなわち正解率が最も高まる。
【0057】
そこで、本実施形態においては、図３および図１７を参照すると、線種判定選択部８すなわち選択演算部８１は、クラス取得部８８と、遮蔽率算出部８９とを有している。クラス取得部８８は、区画線候補における全てのエッジ点のセマンティックセグメンテーションによるクラスの判定結果を取得するように設けられている。遮蔽率算出部８９は、他車両による区画線候補の遮蔽状態を示す遮蔽率を算出するように設けられている。そして、選択結果決定部８２は、遮蔽率が選択判定閾値未満である場合、第一追加候補判定部７１またはその線種候補判定結果を選択し、遮蔽率が選択判定閾値以上である場合、第二追加候補判定部７２またはその線種候補判定結果を選択するようになっている。
【0058】
図１８は、本実施形態による一動作例の概要を示す。図１８に示されているように、本実施形態においては、まず、プロセッサ５ａは、ステップ１８０１～ステップ１８０４の処理を順に実行する。ステップ１８０１にて、プロセッサ５ａは、フレーム画像内の全てのエッジ点を取得する。ステップ１８０２にて、プロセッサ５ａは、ステップ１８０１にて取得した全てのエッジ点のセマンティックセグメンテーションによるクラスの判定結果を取得する。ステップ１８０３にて、プロセッサ５ａは、ステップ１８０２にて取得したクラスの判定結果に基づいて、遮蔽率を算出する。ステップ１８０４にて、プロセッサ５ａは、遮蔽率が閾値以上であるか否かを判定する。
【0059】
遮蔽率が閾値以上である（すなわちステップ１８０４＝ＹＥＳ）、プロセッサ５ａは、処理をステップ１８０５に進行させる。ステップ１８０５にて、プロセッサ５ａは、追加アルゴリズム２すなわちセマンティックセグメンテーションによるクラスの判定結果に基づく判定アルゴリズムによる線種判定手法を選択する。換言すれば、プロセッサ５ａは、第二追加候補判定部７２あるいはその線種候補判定結果を、最終的な線種判定結果の決定のために選択する。遮蔽率が閾値未満である（すなわちステップ１８０４＝ＮＯ）、プロセッサ５ａは、処理をステップ１８０６に進行させる。ステップ１８０６にて、プロセッサ５ａは、追加アルゴリズム１すなわち特定のエッジ点の前後方向における位置の時系列変化に基づく判定アルゴリズムによる線種判定手法を選択する。換言すれば、プロセッサ５ａは、第一追加候補判定部７１あるいはその線種候補判定結果を、最終的な線種判定結果の決定のために選択する。ステップ１８０５またはステップ１８０６の処理に続いて、プロセッサ５ａは、次のフレーム画像に対する処理に進行する。
【0060】
（追加アルゴリズム１）
以下、特定のエッジ点の前後方向における位置の時系列変化に基づく線種判定アルゴリズムである追加アルゴリズム１、すなわち第一追加候補判定部７１の詳細について説明する。図１９に示されているように、第一追加候補判定部７１は、第一境界線情報検出部７１１と、エッジ点選択部７１２と、時系列変化取得部７１３と、第一追加候補決定部７１４とを有している。
以下、特定のエッジ点の前後方向における位置の時系列変化に基づく線種判定アルゴリズムである追加アルゴリズム１、すなわち第一追加候補判定部７１の詳細について説明する。図１９に示されているように、第一追加候補判定部７１は、第一境界線情報検出部７１１と、エッジ点選択部７１２と、時系列変化取得部７１３と、第一追加候補決定部７１４とを有している。
【0061】
第一境界線情報検出部７１１は、線情報である、エッジ点に関する情報や、ペイント長や、ギャップ長等を、取得すなわち算出するようになっている。エッジ点選択部７１２は、撮影画像内の区画線候補における特定のエッジ点、すなわち、時系列変化取得部７１３による処理対象となるエッジ点（例えば近方エッジ点）を選択するようになっている。時系列変化取得部７１３は、エッジ点選択部７１２により選択したエッジ点における位置の時系列変化を取得すなわち算出するようになっている。第一追加候補決定部７１４は、時系列変化取得部７１３によって取得した、特定のエッジ点の前後方向における位置の時系列変化に基づいて、線種候補を判定するようになっている。
【0062】
上記の通りの追加アルゴリズム１を用いた第一追加候補判定部７１における処理内容について、これにより奏される効果とともに、以下説明する。線種判定において、従来周知のテンプレートマッチングによる手法では、掠れや先行車遮蔽等の悪条件や、テンプレートに当てはまらない特殊なパターンの場合、ペイント長やギャップ長が不明確な状況となり、線種判定精度が低下する懸念がある。この点、発明者は、鋭意検討の結果、境界線候補におけるペイント部上のエッジ端点を検出し、その位置情報の時系列変化から線種判定することで、安定した線種判定が実現可能となることを見出した。
【0063】
図２０は、時系列的に連続して撮影された２つのフレーム画像間、すなわち、時刻ｔ０にて撮影されたフレーム画像とその次の時刻ｔ１にて撮影されたフレーム画像との間の、エッジ点の前後方向における位置変化の様子を示す。図中、丸印はエッジ点を示す。また、一点鎖線で示した矩形範囲は、フレーム画像中においてエッジ点を抽出する領域を示し、これを以下「エッジ点抽出領域ＲＺ」と称する。かかるエッジ点抽出領域ＲＺは、フレーム画像の全域あるいはその一部分である。すなわち、エッジ点抽出領域ＲＺは、全画像領域とは限らない。具体的には、例えば、フレーム画像の外縁部は、カメラ２におけるレンズ収差等の影響を受ける。また、遠方領域は、距離誤差が大きくなり得るとともに、エッジ点の分解能が低下し得る。そこで、エッジ点抽出領域ＲＺにおける手前側の端縁である近位端ＲＺ１は、図１Ｂに示された近位端境界Ｒ２よりも若干前方となる位置、例えば、自車両Ｃの前端から８ｍ程度に相当する位置に設定され得る。また、エッジ点抽出領域ＲＺにおける奥側の端縁である遠位端ＲＺ２は、自車両Ｃを水平面に走行可能に載置した状態における消失点に相当する位置よりもフレーム画像中における若干下方となる位置、例えば、自車両Ｃの前端から５０ｍ程度に相当する位置に設定され得る。
【0064】
図２０は、エッジ点抽出領域ＲＺにおける左側に実線の区画線候補が、右側に破線の区画線候補が存在している例を示す。図２０に示されているように、実線においては、黒丸で示された遠方エッジ点や、斜線ハッチングで示された近方エッジ点の、前後方向における位置は、変動量が小さい。これに対し、破線においては、遠方エッジ点や近方エッジ点の、前後方向における位置は、変動量が大きい。図２１は、実線と破線とにおける、近方エッジ点の前後方向における位置変動量の時間変化を示す。図２１において、縦軸は、位置変動量を示し、単位はメートルである。横軸は、時間に対応するフレーム数を示す。フレーム間隔は１００ｍｓである。すなわち、図２１は、タイムチャートにおける横軸を時間からフレーム数に変換したものに相当する。このように、遠方エッジ点や近方エッジ点の、時間経過に伴う、前後方向における位置の変動量に基づけば、悪条件下においても安定した線種判定が実現可能となる。
【0065】
具体的には、例えば、エッジ点選択部７１２は、エッジ点抽出領域ＲＺ内において、区画線候補における、自車両Ｃに最も近接するエッジ点である近方エッジ点、および／または、自車両Ｃから最も離隔するエッジ点である遠方エッジ点を選択する。時系列変化取得部７１３は、エッジ点選択部７１２により選択したエッジ点における位置の時系列変化を取得する。そして、第一追加候補決定部７１４は、時系列変化取得部７１３によって取得した、特定のエッジ点の前後方向における位置の時系列変化に基づいて、線種候補を判定する。すなわち、例えば、近方エッジ点や遠方エッジ点の位置変化が大きい場合、線種候補を破線と判定する。一方、例えば、近方エッジ点や遠方エッジ点の位置変化が小さい場合、線種候補を実線と判定する。なお、エッジ点選択部７１２は、各境界線において、処理を行うことができるため、多重線等の複数の線がある場合においても、用いることができる。すなわち、ラインごとに処理することで、最終的に多重線判定にも用いることが可能となる。
【0066】
図２２は、近方エッジ点を選択して線種候補を判定する態様に対応するフローチャートである。以下図２２を参照すると、まず、プロセッサ５ａは、ステップ２２０１～ステップ２２０３の処理を、順に実行する。具体的には、ステップ２２０１にて、プロセッサ５ａは、今回取得したフレーム画像にて、近方エッジ点を取得する。ステップ２２０２にて、プロセッサ５ａは、前回取得したフレーム画像における近方エッジ点からの位置変動量を取得すなわち算出する。ステップ２２０３にて、プロセッサ５ａは、ステップ２２０２にて算出した位置変動量が閾値未満であるか否かを判定する。
【0067】
位置変動量が閾値未満である場合（すなわちステップ２２０３＝ＹＥＳ）、プロセッサ５ａは、処理をステップ２２０４およびステップ２２０５に進行させる。ステップ２２０４にて、プロセッサ５ａは、区画線候補の線種が実線らしいと判定する。そこで、ステップ２２０５にて、プロセッサ５ａは、１フレーム進行距離を実線距離として加算する。すなわち、プロセッサ５ａは、実線距離をＤｓとし、１フレーム進行距離をΔＤｓとすると、Ｄｓ＋ΔＤｓの値を新たなＤｓとする。なお、「実線距離」とは、判定対象である区画線候補における、連続するペイント部の長さ（すなわち路面Ｒ上の長さ）である。また、「１フレーム進行距離」とは、１フレーム間隔において自車両Ｃが進行する距離である。これに対し、位置変動量が閾値以上である場合（すなわちステップ２２０３＝ＮＯ）、プロセッサ５ａは、処理をステップ２２０６およびステップ２２０７に進行させる。ステップ２２０６にて、プロセッサ５ａは、区画線候補の線種が破線らしいと判定する。そこで、ステップ２２０７にて、プロセッサ５ａは、１フレーム進行距離を実線距離として減算する。すなわち、プロセッサ５ａは、Ｄｓ－ΔＤｓの値を新たなＤｓとする。
【0068】
ステップ２２０３における判定結果に応じてステップ２２０５またはステップ２２０７の処理を実行した後、プロセッサ５ａは、処理をステップ２２０８に進行させる。ステップ２２０８にて、プロセッサ５ａは、実線距離が閾値以上であるか否かを判定する。実線距離が閾値以上である場合（すなわちステップ２２０８＝ＹＥＳ）、プロセッサ５ａは、処理をステップ２２０９に進行させる。ステップ２２０９にて、プロセッサ５ａは、区画線候補の線種を実線と判定する。これに対し、実線距離が閾値未満である場合（すなわちステップ２２０８＝ＮＯ）、プロセッサ５ａは、処理をステップ２２１０に進行させる。ステップ２２１０にて、プロセッサ５ａは、区画線候補の線種を破線と判定する。このように、ステップ２２０８における判定結果に応じてステップ２２０９またはステップ２２１０の処理を実行した後、プロセッサ５ａは、処理をステップ２２１１に進行させる。ステップ２２１１にて、プロセッサ５ａは、今回取得したフレーム画像における近方エッジ点を、次回処理時における前回値として保存する。
【0069】
例えば、自車線や隣接車線における先行車による遮蔽等の原因により、近位端ＲＺ１側にて、エッジ点検出が継続的に困難となる場合があり得る。あるいは、例えば、車速やペイント長やギャップ長によっては、エッジ点位置変動による線種判定の精度が低下する場合があり得る。具体的には、例えば、ペイント長およびギャップ長がともに小さな補助線の場合、車速によっては、常にほぼ同じペイント位置を近方エッジ点として取得してしまうことがあり得る。この点、前後方向における複数位置にて、エッジ点位置変動のモニタリングを行うことで、上記のような場合における線種判定精度の低下を良好に抑制することが可能となる。
【0070】
そこで、第一追加候補判定部７１は、遠方エッジ点の位置の時系列変化に基づく線種の判定結果である遠方側判定結果と、近方エッジ点の位置の時系列変化に基づく線種の判定結果である近方側判定結果とに基づいて、区画線候補における線種を判定してもよい。遠方側判定結果と近方側判定結果とを用いた線種判定は、例えば、ＡＮＤやＯＲ等の論理演算を用いることが可能である。図２３は、かかる態様に対応するフローチャートである。以下図２３を参照すると、まず、プロセッサ５ａは、ステップ２３０１～ステップ２３０３の処理を、順に実行する。ステップ２３０３の処理を実行した後、プロセッサ５ａは、ステップ２３０４～ステップ２３０７の処理と、ステップ２３０８～ステップ２３１１の処理とを実行した後、処理をステップ２３１２に進行させる。そして、プロセッサ５ａは、ステップ２３１２における判定結果に応じて線種を判定する。
【0071】
具体的には、まず、ステップ２３０１にて、プロセッサ５ａは、今回取得したフレーム画像にて、区画線候補を構成するペイント上のエッジ点を取得すなわち検出する。次に、ステップ２３０２にて、プロセッサ５ａは、ステップ２３０１にて取得したエッジ点の中から、近方エッジ点を取得する。続いて、ステップ２３０３にて、プロセッサ５ａは、ステップ２３０１にて取得したエッジ点の中から、遠方エッジ点を取得する。
【0072】
ステップ２３０４にて、プロセッサ５ａは、近方エッジ点側の実線距離を算出する。「近方エッジ点側の実線距離」とは、近方エッジ点を起点として奥側に向かって延びる実線を想定した場合の実線距離である。ステップ２３０５にて、プロセッサ５ａは、近方エッジ点側の実線距離が閾値以上であるか否かを判定する。近方エッジ点側の実線距離が閾値以上である場合（すなわちステップ２３０５＝ＹＥＳ）、プロセッサ５ａは、処理をステップ２３０６に進行させる。ステップ２３０６にて、プロセッサ５ａは、近方エッジ点側を実線であると判定する。すなわち、プロセッサ５ａは、現在の線種判定対象である区画線候補について、近方エッジ点側から見た場合に、その線種を実線であると判定する。近方エッジ点側の実線距離が閾値未満である場合（すなわちステップ２３０５＝ＮＯ）、プロセッサ５ａは、処理をステップ２３０７に進行させる。ステップ２３０７にて、プロセッサ５ａは、近方エッジ点側を破線であると判定する。
【0073】
ステップ２３０８にて、プロセッサ５ａは、遠方エッジ点側の実線距離を算出する。「遠方エッジ点側の実線距離」とは、遠方エッジ点を起点として手前側に向かって延びる実線を想定した場合の実線距離である。ステップ２３０９にて、プロセッサ５ａは、遠方エッジ点側の実線距離が閾値以上であるか否かを判定する。遠方エッジ点側の実線距離が閾値以上である場合（すなわちステップ２３０９＝ＹＥＳ）、プロセッサ５ａは、処理をステップ２３１０に進行させる。ステップ２３１０にて、プロセッサ５ａは、遠方エッジ点側を実線であると判定する。遠方エッジ点側の実線距離が閾値未満である場合（すなわちステップ２３０９＝ＮＯ）、プロセッサ５ａは、処理をステップ２３１１に進行させる。ステップ２３１１にて、プロセッサ５ａは、遠方エッジ点側を破線であると判定する。
【0074】
ステップ２３１２にて、プロセッサ５ａは、近方エッジ点側または遠方エッジ点側が実線であると判定されているか否かを判定する。すなわち、プロセッサ５ａは、ステップ２３０６またはステップ２３１０の処理が実行されたか否かを判定する。換言すれば、プロセッサ５ａは、ステップ２３０５またはステップ２３０９における判定結果が「ＹＥＳ」であるか否かを判定する。近方エッジ点側または遠方エッジ点側が実線であると判定されている場合（すなわちステップ２３１２＝ＹＥＳ）、プロセッサ５ａは、処理をステップ２３１３に進行させる。ステップ２３１３にて、プロセッサ５ａは、区画線候補の線種を実線と判定する。これに対し、近方エッジ点側および遠方エッジ点側が破線であると判定されている場合（すなわちステップ２３１２＝ＮＯ）、プロセッサ５ａは、処理をステップ２３１４に進行させる。ステップ２３１４にて、プロセッサ５ａは、区画線候補の線種を破線と判定する。最後に、ステップ２３１５にて、プロセッサ５ａは、今回取得したフレーム画像における近方エッジ点および遠方エッジ点を、次回処理時における前回値として保存する。
【0075】
第一追加候補判定部７１は、重み付けした、遠方側判定結果および近方側判定結果に基づいて、区画線候補における線種を判定してもよい。すなわち、第一追加候補判定部７１は、遠方エッジ点の位置の時系列変化に基づいて、遠方側判定結果に対する重み付け値を設定する。また、第一追加候補判定部７１は、近方エッジ点の位置の時系列変化に基づいて、近方側判定結果に対する重み付け値を設定する。そして、第一追加候補判定部７１は、遠方側判定結果および近方側判定結果と、これらに対する重み付け値とに基づいて、区画線候補における線種を判定する。この場合の重み付け値は、例えば、ある一定の走行区間あるいは走行時間における、位置変化量の安定性（例えば分散等）に基づいて算出され得る。図２４は、かかる態様に対応するフローチャートである。以下図２４を参照すると、まず、プロセッサ５ａは、ステップ２４０１～ステップ２４０９の処理を、順に実行する。そして、プロセッサ５ａは、ステップ２４０９における判定結果に応じて線種を判定する。
【0076】
具体的には、ステップ２４０１にて、プロセッサ５ａは、今回取得したフレーム画像にて、区画線候補を構成するペイント上のエッジ点を取得すなわち検出する。ステップ２４０２にて、プロセッサ５ａは、ステップ２４０１にて取得したエッジ点の中から、近方エッジ点を取得する。ステップ２４０３にて、プロセッサ５ａは、ステップ２４０１にて取得したエッジ点の中から、遠方エッジ点を取得する。ステップ２４０４にて、プロセッサ５ａは、近方エッジ点側の実線距離を算出する。ステップ２４０５にて、プロセッサ５ａは、遠方エッジ点側の実線距離を算出する。ステップ２４０６にて、プロセッサ５ａは、近方エッジ点および遠方エッジ点における位置変化量の安定性（例えば分散等）を算出する。ステップ２４０７にて、プロセッサ５ａは、ステップ２４０６にて算出した安定性に基づいて、重み付け値を算出する。ステップ２４０８にて、プロセッサ５ａは、ステップ２４０４およびステップ２４０５にて算出した実線距離に対して、ステップ２４０８にて算出された重み付け値を適用する（例えば乗算する）ことで、重み付けされた実線距離を算出する。
【0077】
ステップ２４０９にて、プロセッサ５ａは、近方エッジ点側または遠方エッジ点側の、重み付けされた実線距離が閾値以上であるか否かを判定する。閾値以上である場合（すなわちステップ２４０９＝ＹＥＳ）、プロセッサ５ａは、処理をステップ２４１０に進行させる。ステップ２４１０にて、プロセッサ５ａは、区画線候補の線種を実線と判定する。これに対し、閾値未満である場合（すなわちステップ２４０９＝ＮＯ）、プロセッサ５ａは、処理をステップ２４１１に進行させる。ステップ２４１１にて、プロセッサ５ａは、区画線候補の線種を破線と判定する。最後に、プロセッサ５ａは、処理をステップ２４１２に進行させる。ステップ２４１２にて、プロセッサ５ａは、今回取得したフレーム画像における近方エッジ点および遠方エッジ点を、次回処理時における前回値として保存する。
【0078】
ここで、上述の通り、第一追加候補判定部７１は、遠方エッジ点および近方エッジ点のような、特定のエッジ点の位置の時系列変化をモニタリングする箇所を、所定の距離によって定めてもよい。すなわち、例えば、エッジ点抽出領域ＲＺにおける近位端ＲＺ１や遠位端ＲＺ２の適切な位置を、実験や計算機シミュレーションの結果を用いて、あらかじめ設定しておいてもよい。あるいは、遠方エッジ点および近方エッジ点のモニタリング位置を、近位端ＲＺ１や遠位端ＲＺ２から所定距離オフセットした位置に設けてもよい。あるいは、近位端ＲＺ１と遠位端ＲＺ２との間の中間的な位置においても、エッジ点位置をモニタリングしてもよい。図２５は、近方エッジ点のモニタリング位置である近方モニタリング位置Ｐ１を近位端ＲＺ１から若干奥側にオフセットし、遠方エッジ点のモニタリング位置である遠方モニタリング位置Ｐ２を遠位端ＲＺ２から若干手前側にオフセットし、両者の中間に中間モニタリング位置Ｐ３を設けた例を示す。図中、クロスハッチングで示されたエッジ点は、遠方エッジ点と近方エッジ点との間に位置する、中間モニタリング位置Ｐ３に対応する検出エッジ点を示す。かかる検出エッジ点は、前後方向すなわち図中上下方向について、中間モニタリング位置Ｐ３に最も近接する位置にて検出されるものとする。なお、中間モニタリング位置Ｐ３は、複数設けてもよい。近方エッジ点や遠方エッジ点等の位置の時系列変化をモニタリングする位置（すなわち近方モニタリング位置Ｐ１等）を、以下総称して、単に「モニタリング位置」と称することがある。
【0079】
図２６は、近方モニタリング位置Ｐ１と遠方モニタリング位置Ｐ２とに加えて中間モニタリング位置Ｐ３をも用いた場合の動作例を示す。以下図２６を参照すると、まず、ステップ２６０１にて、プロセッサ５ａは、今回取得したフレーム画像にて、区画線候補を構成するペイント上のエッジ点を取得すなわち検出する。次に、ステップ２６０２にて、プロセッサ５ａは、ステップ２４０１にて取得したエッジ点の中から、各モニタリング位置に対応するエッジ点を取得する。続いて、ステップ２６０３にて、プロセッサ５ａは、ステップ２６０２にて取得したエッジ点のうちの１つにおける実線距離（例えば近方エッジ点側の実線距離）を算出する。そして、ステップ２６０４にて、プロセッサ５ａは、全エッジ点についての実線距離の算出が完了したか否かを判定する。実線距離が未算出のエッジ点が存在する場合（すなわちステップ２６０４＝ＮＯ）、プロセッサ５ａは、処理をステップ２６０５に進行させる。ステップ２６０５にて、プロセッサ５ａは、次のエッジ点（例えば遠方エッジ点）へ処理を進め、ステップ２６０３にて、かかるエッジ点における実線距離（例えば遠方エッジ点側の実線距離）を算出する。このようにして、全エッジ点についての実線距離の算出が完了すると（すなわちステップ２６０４＝ＹＥＳ）、プロセッサ５ａは、処理をステップ２６０６以降に進行させる。
【0080】
ステップ２６０６にて、プロセッサ５ａは、上述の例と同様に、複数のモニタリング位置における位置変化量の安定性（例えば分散等）に基づく重み付けを、実線距離に対して行う。そして、ステップ２６０７にて、プロセッサ５ａは、上記のステップ２４０９と同様に、重み付けされた実線距離が閾値以上であるか否かを判定する。閾値以上である場合（すなわちステップ２６０７＝ＹＥＳ）、プロセッサ５ａは、処理をステップ２６０８に進行させる。ステップ２６０８にて、プロセッサ５ａは、区画線候補の線種を実線と判定する。これに対し、閾値未満である場合（すなわちステップ２６０７＝ＮＯ）、プロセッサ５ａは、処理をステップ２６０９に進行させる。ステップ２６０９にて、プロセッサ５ａは、区画線候補の線種を破線と判定する。最後に、プロセッサ５ａは、処理をステップ２６１０に進行させる。ステップ２６１０にて、プロセッサ５ａは、今回取得したフレーム画像における各エッジ点を、次回処理時における前回値として保存する。
【0081】
モニタリング位置は、撮影状況等に応じて設定され得る。図２７は、かかる態様に対応するブロック図である。すなわち、図２７に示されているように、第一追加候補判定部７１は、第一境界線情報検出部７１１と、エッジ点選択部７１２と、時系列変化取得部７１３と、第一追加候補決定部７１４と、モニタリング位置決定部７１５とを有している。モニタリング位置決定部７１５は、撮影状況等に応じて、モニタリング位置を設定するように設けられている。具体的には、例えば、モニタリング位置決定部７１５は、線情報であるペイント長およびギャップ長に基づいて、モニタリング位置を設定することが可能である。これにより、上記のような、ペイント長およびギャップ長がともに小さな補助線であって車速によっては特定のモニタリング位置にて線種による位置変化が生じにくくなるような場合においても、良好な線種認識精度を達成することが可能となる。
【0082】
図２８は、かかる態様に対応する動作例を示す。以下図２８を参照すると、まず、ステップ２８０１にて、プロセッサ５ａは、今回取得したフレーム画像にて、区画線候補を構成するペイント上のエッジ点を取得すなわち検出する。次に、ステップ２８０２にて、プロセッサ５ａは、ペイント長およびギャップ長を取得すなわち算出する。続いて、ステップ２８０３にて、プロセッサ５ａは、ステップ２８０２にて取得したペイント長およびギャップ長に基づいてモニタリング位置を設定し、設定したモニタリング位置にて、線種判定用のエッジ点を取得する。さらに、ステップ２８０４にて、プロセッサ５ａは、ステップ２８０３にて取得したエッジ点のうちの１つ（例えば近方エッジ点）における実線距離を算出する。そして、ステップ２８０５にて、プロセッサ５ａは、全エッジ点についての実線距離の算出が完了したか否かを判定する。実線距離が未算出のエッジ点が存在する場合（すなわちステップ２８０５＝ＮＯ）、プロセッサ５ａは、処理をステップ２８０６に進行させる。ステップ２８０６にて、プロセッサ５ａは、次のエッジ点（例えば遠方エッジ点）へ処理を進め、ステップ２８０４にて、かかるエッジ点における実線距離を算出する。このようにして、全エッジ点についての実線距離の算出が完了すると（すなわちステップ２８０５＝ＹＥＳ）、プロセッサ５ａは、処理をステップ２８０７以降に進行させる。
【0083】
ステップ２８０７にて、プロセッサ５ａは、上述の例と同様に、複数のモニタリング位置における位置変化量の安定性（例えば分散等）に基づく重み付けを、実線距離に対して行う。そして、ステップ２８０８にて、プロセッサ５ａは、重み付けされた実線距離が閾値以上であるか否かを判定する。閾値以上である場合（すなわちステップ２８０８＝ＹＥＳ）、プロセッサ５ａは、処理をステップ２８０９に進行させる。ステップ２８０９にて、プロセッサ５ａは、区画線候補の線種を実線と判定する。これに対し、閾値未満である場合（すなわちステップ２８０８＝ＮＯ）、プロセッサ５ａは、処理をステップ２８１０に進行させる。ステップ２８１０にて、プロセッサ５ａは、区画線候補の線種を破線と判定する。最後に、プロセッサ５ａは、処理をステップ２８１１に進行させる。ステップ２８１２にて、プロセッサ５ａは、今回取得したフレーム画像における各エッジ点を、次回処理時における前回値として保存する。
【0084】
あるいは、例えば、モニタリング位置を決定するにあたり、隣接車両等の遮蔽物が映り込んでいる状況においては、任意のモニタリング位置が安定せず、線種判定精度が低下するおそれがある。具体的には、例えば、自車両Ｃの斜め前方に割り込み車が存在し、かかる割り込み車による遮蔽が発生している場合、近位端ＲＺ１あるいはその近傍領域では物体の遮蔽の影響を受けるために安定度が比較的低くなるのに対し、遠位端ＲＺ２あるいはその近傍領域では物体の遮蔽の影響が小さいために安定度が比較的高くなる。そこで、モニタリング位置決定部７１５は、自車両Ｃの周囲の物体の撮影画像における認識位置に基づいて、モニタリング位置を設定することが可能である。すなわち、例えば、モニタリング位置決定部７１５は、認識された物体の位置に形成される矩形状の物体認識枠と重複しない領域にて、モニタリング位置を設定する。これにより、隣接車両等の遮蔽物に起因する線種判定精度の低下が、良好に抑制され得る。
【0085】
図２９は、かかる態様に対応する動作例を示す。以下図２９を参照すると、まず、ステップ２９０１にて、プロセッサ５ａは、今回取得したフレーム画像にて、区画線候補を構成するペイント上のエッジ点を取得検出する。次に、ステップ２９０２にて、プロセッサ５ａは、物体認識結果を取得する。続いて、ステップ２９０３にて、プロセッサ５ａは、ステップ２９０２にて取得した物体認識結果に基づいてモニタリング位置を設定し、設定したモニタリング位置にて、線種判定用のエッジ点を取得する。さらに、ステップ２９０４にて、プロセッサ５ａは、ステップ２９０３にて取得したエッジ点のうちの１つ（例えば近方エッジ点）における実線距離を算出する。そして、ステップ２９０５にて、プロセッサ５ａは、全エッジ点についての実線距離の算出が完了したか否かを判定する。実線距離が未算出のエッジ点が存在する場合（すなわちステップ２９０５＝ＮＯ）、プロセッサ５ａは、処理をステップ２９０６に進行させる。ステップ２９０６にて、プロセッサ５ａは、次のエッジ点（例えば遠方エッジ点）へ処理を進め、ステップ２９０４にて、かかるエッジ点における実線距離を算出する。このようにして、全エッジ点についての実線距離の算出が完了すると（すなわちステップ２９０５＝ＹＥＳ）、プロセッサ５ａは、処理をステップ２９０７以降に進行させる。ステップ２９０７以降の処理内容は、ステップ２８０７以降の処理内容と同様である。
【0086】
（追加アルゴリズム２）
以下、セマンティックセグメンテーションによるクラスの判定結果に基づく線種判定アルゴリズムである追加アルゴリズム２、すなわち第二追加候補判定部７２の詳細について説明する。図３０に示されているように、第二追加候補判定部７２は、第二境界線情報検出部７２１と、クラス出力部７２２と、クラス率算出部７２３と、第二追加候補決定部７２４とを有している。
以下、セマンティックセグメンテーションによるクラスの判定結果に基づく線種判定アルゴリズムである追加アルゴリズム２、すなわち第二追加候補判定部７２の詳細について説明する。図３０に示されているように、第二追加候補判定部７２は、第二境界線情報検出部７２１と、クラス出力部７２２と、クラス率算出部７２３と、第二追加候補決定部７２４とを有している。
【0087】
第二境界線情報検出部７２１は、線情報である、ＤＮＮ等の機械学習による境界線エッジ点情報や多項式フィッティングから得られる道路形状（例えば、横位置、ヨー角、曲率、等。）を検出するようになっている。クラス出力部７２２は、撮影画像内の区画線候補における各画素に対して、セマンティックセグメンテーションによるクラスを出力するようになっている。クラス率算出部７２３は、クラス出力部７２２の出力に基づいて、クラスに該当する確率であるクラス率を算出するようになっている。具体的には、本実施形態においては、クラス率算出部７２３は、着目エリアを限定せず、前後方向に並ぶ画素列全体すなわち境界線全体で、クラス率を算出するようになっている。第二追加候補決定部７２４は、クラス率算出部７２３により算出したクラス率に基づいて、区画線候補における線種を判定するようになっている。
【0088】
上記の通りの追加アルゴリズム２を用いた第二追加候補判定部７２における処理内容について、これにより奏される効果とともに、以下説明する。線種判定において、従来周知のテンプレートマッチングによる手法では、掠れや先行車遮蔽等の悪条件や、テンプレートに当てはまらない特殊なパターンの場合、ペイント長やギャップ長が不明確な状況となり、線種判定精度が低下する懸念がある。特に、先行車による遮蔽や、ペイント上の木陰等により、ペイント上のエッジ点が検出しづらい状況が発生する場合があり得る。
【0089】
この点、発明者は、鋭意検討の結果、セマンティックセグメンテーションのクラス率（例えば、ペイント率、ギャップ率、等。）を用いることで、安定した線種判定が実現可能となることを見出した。図３１は、クラス率を用いた線種判定の概要を示す。図中、白丸は「ペイント」クラスの画素を示し、黒丸は「ギャップ」クラスの画素を示す。図３１の例では、左側に、「ペイント」クラスの画素が連続して前後方向に並ぶ画素列が存在しており、右側に、「ペイント」クラスの画素と「ギャップ」クラスの画素が混在した画素列が存在しているものとする。左側の画素列は、ペイント率が１００％であり、ギャップ率は０％である。そこで、かかる画素列は、実線の道路区画線であると推定することが可能である。一方、右側の画素列は、ペイント率が６０％であり、ギャップ率は４０％である。そこで、かかる画素列は、破線の道路区画線であると推定することが可能である。このように、本実施形態によれば、上記のようなエッジ点の位置変化による線種判定が困難な状況においても、良好な線種判定が可能となる。なお、クラス率は、着目エリアを限定せず、前後方向に並ぶ画素列全体すなわち境界線全体で算出する。具体的には、例えば、境界線の一部が先行車により遮蔽されている場合、クラス率算出部７２３は、遮蔽された部分以外の部分を全体的に捉えて、クラス率を算出する。
【0090】
図３２は、第二追加候補判定部７２による線種判定結果を用いた道路形状推定の概要を示す。以下図３２を参照すると、まず、ステップ３２０１にて、プロセッサ５ａは、線情報である、ＤＮＮ等の機械学習による境界線エッジ点情報や多項式フィッティングから得られる道路形状（例えば、横位置、ヨー角、曲率、等。）を検出する。また、ステップ３２０２にて、プロセッサ５ａは、ＤＮＮを用いたセマンティックセグメンテーションにより、各画素に、「路面」「自車線ペイント」「自車線ギャップ」「他車線ペイント」「ゼブラ」「立体物」「移動物」のようなクラスを出力する。次に、ステップ３２０３にて、プロセッサ５ａは、道路形状情報の周期毎の一致度から同一のラインを追跡し、自車線／隣接車線を決定する。ステップ３２０４にて、プロセッサ５ａは、各境界線の線種・線色を判定する。ステップ３２０５にて、プロセッサ５ａは、線種判定結果やＤＮＮによる複合線情報から境界線種別（多重線・複合線）を判定する。ステップ３２０６にて、プロセッサ５ａは、境界線エッジ点列、道路形状から、車線数の増減（分岐合流）を判定する。ステップ３２０７にて、プロセッサ５ａは、境界線エッジ点列から、カルマンフィルタ等を用いて、道路モデル形状を推定する。
【0091】
図３３は、第二追加候補判定部７２による線種候補判定の一例を示す。以下図３３を参照すると、まず、ステップ３３０１にて、プロセッサ５ａは、境界線すなわち区画線候補上の全エッジ点を取得する。次に、ステップ３３０２にて、プロセッサ５ａは、全エッジ点について、セマンティックセグメンテーションのクラスを取得する。続いて、ステップ３３０３にて、プロセッサ５ａは、各区画線候補におけるクラス率（例えば、ペイント率、ギャップ率、ゼブラ率、等。）を算出する。図中、「Ｐｐ」はペイント率を示し、「Ｐｇ」はギャップ率を示す。その後、ステップ３３０４にて、プロセッサ５ａは、ペイント率が実線用閾値以上であるか否かを判定する。
【0092】
ペイント率が実線用閾値以上である場合（すなわちステップ３３０４＝ＹＥＳ）、プロセッサ５ａは、処理をステップ３３０５に進行させる。ステップ３３０５にて、プロセッサ５ａは、区画線候補における線種を実線と判定する。これに対し、ペイント率が実線用閾値未満である場合（すなわちステップ３３０４＝ＮＯ）、プロセッサ５ａは、処理をステップ３３０６に進行させる。ステップ３３０６にて、プロセッサ５ａは、ペイント率が破線用閾値以下であるか否かを判定する。ペイント率が破線用閾値以下である場合（すなわちステップ３３０６＝ＹＥＳ）、プロセッサ５ａは、処理をステップ３３０７に進行させる。ステップ３３０７にて、プロセッサ５ａは、ギャップ率が破線用閾値以上であるか否かを判定する。ギャップ率が破線用閾値以上である場合（すなわちステップ３３０７＝ＹＥＳ）、プロセッサ５ａは、処理をステップ３３０８に進行させる。ステップ３３０８にて、プロセッサ５ａは、区画線候補における線種を破線と判定する。ペイント率が実線用閾値未満であって（すなわちステップ３３０４＝ＮＯ）、且つ、ペイント率が破線用閾値を超える場合（すなわちステップ３３０６＝ＮＯ）やギャップ率が破線用閾値未満である場合（すなわちステップ３３０７＝ＮＯ）、プロセッサ５ａは、処理をステップ３３０９に進行させる。ステップ３３０９にて、プロセッサ５ａは、区画線候補における線種を実線や破線以外のものであると判定する。ステップ３３０５、ステップ３３０８、あるいはステップ３３０９の処理の後、プロセッサ５ａは、処理を次のフレーム画像に進行させる。
【0093】
例えば、第二追加候補決定部７２４は、クラス率の時系列変化に基づいて、区画線候補における線種を判定することが可能である。具体的には、例えば、クラス率算出部７２３は、クラス率の時系列変化に応じた補正係数を、直前に算出したクラス率に乗算することで、クラス率を補正することが可能である。かかる補正係数は、クラス率に関する信頼度とも称され得る。これにより、先行車等による遮蔽状態に変動がある場合であっても、安定した線種判定を行うことが可能となる。
【0094】
一般的に、隣接車線等の他車線の場合、自車線よりも認識距離が遠くなる。そこで、実線／破線判定のための、ペイント率やギャップ率の閾値を、自車線か他車線かに応じて切り替えてもよい。すなわち、第二追加候補決定部７２４は、クラス率がクラス判定閾値以上であるか否かにより区画線候補における線種を判定する場合、自車線における区画線候補と隣接車線における区画線候補とで、異なるクラス判定閾値を用いてもよい。これにより、横位置すなわち前後方向と直交する位置の違いに伴う認識精度の変動が、良好に抑制され得る。
【0095】
（他の変形例）
本発明は、上記の実施形態や変形例に限定されるものではない。故に、上記実施形態等に対しては、適宜変更が可能である。以下、代表的な他の変形例について説明する。以下の変形例の説明においては、上記実施形態等との相違点を主として説明する。また、上記実施形態等と以下の変形例とにおいて、互いに同一または均等である部分には、同一の符号が付されている。したがって、以下の変形例の説明において、上記実施形態等と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記実施形態等における説明が適宜援用され得る。
本発明は、上記の実施形態や変形例に限定されるものではない。故に、上記実施形態等に対しては、適宜変更が可能である。以下、代表的な他の変形例について説明する。以下の変形例の説明においては、上記実施形態等との相違点を主として説明する。また、上記実施形態等と以下の変形例とにおいて、互いに同一または均等である部分には、同一の符号が付されている。したがって、以下の変形例の説明において、上記実施形態等と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記実施形態等における説明が適宜援用され得る。
【0096】
本発明は、上記実施形態に示された具体的な装置構成に限定されるものではない。例えば、カメラ２は、いわゆるフロントカメラに限定されず、全周囲カメラであってもよい。カメラ２の搭載数や搭載位置についても、特段の限定はない。
【0097】
画像認識装置５は、認識結果利用部４に設けられていてもよい。すなわち、画像認識装置５は、自動運転ＥＣＵあるいは運転支援ＥＣＵに設けられた画像認識部であってもよい。ＥＣＵはＥｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔの略である。
【0098】
画像認識装置５の全部または一部は、上記のような動作を可能に構成されたデジタル回路、例えばＡＳＩＣあるいはＦＰＧＡを備えた構成であってもよい。ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡはＦｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。すなわち、画像認識装置５において、車載マイクロコンピュータ部分とデジタル回路部分とは併存し得る。
【0099】
上記実施形態にて説明した、各種の動作、手順、あるいは処理を実行可能とする、本発明に係るプログラムは、Ｖ２Ｘ通信を介して、ダウンロードあるいはアップグレードされ得る。Ｖ２ＸはＶｅｈｉｃｌｅ ｔｏ Ｘの略である。あるいは、かかるプログラムは、自車両Ｃの製造工場、整備工場、販売店、等に設けられた端末機器を介して、ダウンロードあるいはアップグレードされ得る。かかるプログラムの格納先は、メモリーカード、光学ディスク、磁気ディスク、等であってもよい。
【0100】
このように、上記の各機能構成および処理は、コンピュータプログラムにより具体化された一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および処理は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および処理は、一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移的実体的記憶媒体に記憶されていてもよい。すなわち、上記の各機能構成および処理は、これを実現するための手順を含むコンピュータプログラム、あるいは、当該プログラムを記憶した非遷移的実体的記憶媒体としても表現可能である。
【0101】
したがって、図３等に示された各機能構成ブロックは、あくまで、本発明の内容の理解に資するために便宜的に設定したものである。したがって、これらの機能構成ブロックが実際にサブルーチンあるいはハードウェアとして画像認識装置５の内部に実現されていなくても、本発明所定の機能あるいは処理が実現されていれば、本発明の要件は充足され得る。
【0102】
図３においては、複数の線種候補判定部７として、基本候補判定部７０と第一追加候補判定部７１と第二追加候補判定部７２という３つの線種候補判定部７が設けられているが、本発明は、かかる態様に限定されるものではない。具体的には、例えば、複数の線種候補判定部７として、基本候補判定部７０と第一追加候補判定部７１という２つの線種候補判定部７が設けられていてもよい。すなわち、第二追加候補判定部７２は、省略され得る。同様に、第一追加候補判定部７１は、省略され得る。あるいは、複数の線種候補判定部７として、４つ以上の線種候補判定部７が設けられ得る。また、複数の線種候補判定部７において、線情報を取得する境界線情報検出部は、共通化され得る。
【0103】
本発明は、上記実施形態に示された具体的な動作態様に限定されるものではない。例えば、本発明の適用対象は、車線逸脱警報、車線維持支援、車線変更支援、自動車線変更、アダプティブクルーズコントロール、自動追越、等の、車両運転制御に限定されない。具体的には、本発明は、例えば、自車両Ｃの現在位置推定や、プローブ地図情報への適用も想定され得る。また、活用例として、実線判定できた場合、エッジ点数が少ないときは、エッジ抽出の動的閾値を下げて、エッジ点数を確保するようにフィードバックすることが可能である。さらに、他の活用例として、動的に推定モデルのパラメータを最適化することが可能である。具体的には、道路形状推定はエッジ点の内の数点しか用いないため、エッジ点の選定が肝となる。実線判定された場合は、エッジが安定して並んでいるとみなし、観測誤差を小さく設定できる。破線判定された場合は、破線の端点のエッジを選択した場合、位置が微妙に境界線からずれることを考慮して、観測誤差を大きく設定できる。
【0104】
本発明については、複数の線種候補判定部７のうちからシーンに応じて１つを選択して、選択した線種候補判定部７のみにて線種判定を実行する態様と、複数の線種候補判定部７の各々における線種判定結果のうちからシーンに応じて１つを選択する態様とが想定され得る。すなわち、本発明は、技術的整合性による制約あるいは特段の意思表示がない限り、上記いずれかの態様には限定されない。また、上記の各態様のいずれかをシーンの成立状況に応じて使い分けてもよい。すなわち、例えば、成立したシーンが１つのみである場合は、計算負荷の低減のため、いずれか１つの線種候補判定部７のみにて線種判定を実行する一方で、複数のシーンが成立している場合は、成立した各シーンにおける加重値が最も高い線種候補判定部７を選択して、選択した線種候補判定部７の線種判定結果に基づいて最終的な線種判定を実行してもよい。よって、例えば、図５および図６の例では、複合線シーンと豪雨シーンとが成立する場合、追加アルゴリズム２すなわち第二追加候補判定部による線種候補判定は、行われなくてもよい。
【0105】
シーン判定部８３は、自車両状態検知部３に含まれる、雨滴センサや照度センサ等の各種センサ類の出力に基づいて、シーンの成立状況を判定してもよい。加重値の設定手法についても、特段の限定はない。すなわち、図５および図６の例において、加重値は、例えば、正解率が９０％未満の場合は「０」とし、正解率が９０％以上の場合は正解率の数値における小数点以下第一位を四捨五入した２桁の数値における「１の位」の値としてもよい。あるいは、加重値は、例えば、正解率から所定値（例えば９０）を減じた値としてもよい。
【0106】
数値同士の判定において、「ＸＸ以上」と「ＸＸを超える」とは置換可能である。同様に、「ＸＸ以下」と「ＸＸ未満」とは置換可能である。「検出」「検知」「算出」「取得」「演算」等の類似概念を示す用語は、技術的に矛盾しない限り、置換可能である。
【0107】
変形例も、上記の例示に限定されない。また、複数の変形例が、互いに組み合わされ得る。さらに、上記実施形態の全部または一部と、変形例の全部または一部とが、互いに組み合わされ得る。
【0108】
（観点）
上記の通りの、実施形態および変形例に係る構成および動作の説明から明らかなように、本明細書による開示は、少なくとも、以下の観点を含む。
［観点１－１］
撮影画像から道路区画線を認識する、道路区画線認識装置（５）であって、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、複数の線種候補判定部（７）と、
複数の前記線種候補判定部、または、複数の前記線種候補判定部の各々による線種候補判定結果の中から、いずれか１つを選択することで、前記区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する、線種判定選択部（８）と、
を備え、
複数の前記線種候補判定部は、判定アルゴリズムが互いに異なる、
道路区画線認識装置。
［観点１－２］
前記線種判定選択部は、
前記線種候補判定に影響を与える撮影状況に対応するシーンの成立状況を判定する、シーン判定部（８３）を備え、
前記シーン判定部による前記シーンの成立状況の判定結果に応じて、前記線種候補判定部または前記線種候補判定結果を選択する、
観点１－１に記載の道路区画線認識装置。
［観点１－３］
互いに異なる前記シーンの各々に対して、前記線種候補判定部毎の重み付け値である加重値が設定されており、
前記線種判定選択部は、前記シーン判定部により成立が判定された前記シーンに対応する前記加重値に基づいて、前記線種候補判定部または前記線種候補判定結果を選択する、
観点１－２に記載の道路区画線認識装置。
［観点１－４］
前記線種判定選択部は、最も大きい前記加重値に対応する、前記線種候補判定部またはその判定結果が、複数存在する場合、判定結果同士を比較した結果に基づいて、前記線種判定を実行する、
観点１－３に記載の道路区画線認識装置。
［観点１－５］
前記線種判定選択部は、
前記シーン判定部により複数の前記シーンの成立が判定された場合、成立した前記シーンに対応する前記加重値を、複数の前記線種候補判定部の各々について加算し、
前記加算の結果である加算値の最大値に対応する前記線種候補判定部または前記線種候補判定結果を選択する、
観点１－３に記載の道路区画線認識装置。
［観点１－６］
前記線種判定選択部は、
前記シーン判定部による前記シーンの判定結果の信頼度を算出する、シーン信頼度算出部（８７）をさらに備え、
前記信頼度により補正した前記加重値に基づいて、前記線種候補判定部または前記線種候補判定結果を選択する、
観点１－３～１－５のいずれか１つに記載の道路区画線認識装置。
［観点１－７］
前記線種判定選択部は、
前記シーン判定部による前記シーンの判定結果の信頼度を算出する、シーン信頼度算出部（８７）をさらに備え、
前記信頼度に基づいて、前記線種候補判定部または前記線種候補判定結果を選択する、
観点１－２に記載の道路区画線認識装置。
［観点１－８］
前記シーン信頼度算出部は、前記シーン判定部による前記シーンの判定結果の継続状態に基づいて、前記信頼度を算出する、
観点１－６または１－７に記載の道路区画線認識装置。
［観点１－９］
複数の前記線種候補判定部のうちの１つである、第一線種候補判定部（７１）は、
前記撮影画像内の前記区画線候補における、エッジ点を選択する、エッジ点選択部（７１２）と、
前記エッジ点選択部により選択した前記エッジ点における位置の時系列変化を取得する、時系列変化取得部（７１３）と、
を備え、
前記エッジ点選択部は、自車両（Ｃ）に最も近接する前記エッジ点である近方エッジ点、および／または、前記自車両から最も離隔する前記エッジ点である遠方エッジ点を選択し、
前記第一線種候補判定部は、前記時系列変化取得部により取得した、前記近方エッジ点および／または前記遠方エッジ点における位置の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
観点１－１～１－８のいずれか１つに記載の道路区画線認識装置。
［観点１－１０］
前記第一線種候補判定部は、
前記遠方エッジ点の位置の時系列変化に基づく前記線種の判定結果である遠方側判定結果と、前記近方エッジ点の位置の時系列変化に基づく前記線種の判定結果である近方側判定結果とに基づいて、前記区画線候補における前記線種を判定する、
観点１－９に記載の道路区画線認識装置。
［観点１－１１］
前記第一線種候補判定部は、
前記遠方エッジ点の位置の時系列変化に基づいて、前記遠方側判定結果に対する重み付け値を設定し、
前記近方エッジ点の位置の時系列変化に基づいて、前記近方側判定結果に対する重み付け値を設定し、
重み付けされた前記遠方側判定結果および前記近方側判定結果に基づいて、前記区画線候補における前記線種を判定する、
観点１－１０に記載の道路区画線認識装置。
［観点１－１２］
前記第一線種候補判定部は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記線情報であるペイント長およびギャップ長に基づいて設定する、
観点１－９～１－１１のいずれか１つに記載の道路区画線認識装置。
［観点１－１３］
前記第一線種候補判定部は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記自車両の周囲の物体の前記撮影画像における認識位置に基づいて設定する、
観点１－９～１－１１のいずれか１つに記載の道路区画線認識装置。
［観点１－１４］
複数の前記線種候補判定部のうちの他の１つである、第二線種候補判定部（７２）は、
前記撮影画像内の前記区画線候補における各画素に対して、セマンティックセグメンテーションによるクラスを出力する、クラス出力部（７２２）と、
前記クラス出力部の出力に基づいて、前記クラスに該当する確率であるクラス率を算出する、クラス率算出部（７２３）と、
を備え、
前記クラス率算出部により算出した前記クラス率に基づいて、前記区画線候補における前記線種を判定する、
観点１－９～１－１３のいずれか１つに記載の道路区画線認識装置。
［観点１－１５］
前記第二線種候補判定部は、前記クラス率の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
観点１－１４に記載の道路区画線認識装置。
［観点１－１６］
前記第二線種候補判定部は、
前記クラス率がクラス判定閾値以上であるか否かにより、前記区画線候補における前記線種を判定し、
自車線における前記区画線候補と隣接車線における前記区画線候補とで、異なる前記クラス判定閾値を用いる、
観点１－１４または１－１５に記載の道路区画線認識装置。
［観点１－１７］
前記線種判定選択部は、
他車両による前記区画線候補の遮蔽状態を示す遮蔽率を算出する、遮蔽率算出部（８９）を備え、
前記遮蔽率が選択判定閾値未満である場合、前記第一線種候補判定部またはその前記線種候補判定結果を選択し、
前記遮蔽率が前記選択判定閾値以上である場合、前記第二線種候補判定部またはその前記線種候補判定結果を選択する、
観点１－１４～１－１６のいずれか１つに記載の道路区画線認識装置。
［観点２－１］
撮影画像から道路区画線を認識する道路区画線認識装置（４）により実行される、道路区画線認識プログラムであって、
前記道路区画線認識装置が実行する処理は、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、判定アルゴリズムが互いに異なる複数の線種候補判定処理と、
複数の前記線種候補判定処理による線種候補判定結果の中から、いずれか１つを選択することで、前記区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する、線種判定選択処理と、
を含む、
道路区画線認識プログラム。
［観点２－２］
前記線種判定選択処理は、
前記線種候補判定に影響を与える撮影状況に対応するシーンの成立状況を判定する、シーン判定処理を含み、
前記シーン判定処理による前記シーンの成立状況の判定結果に応じて、前記線種候補判定処理または前記線種候補判定結果を選択する、
観点２－１に記載の道路区画線認識プログラム。
［観点２－３］
互いに異なる前記シーンの各々に対して、前記線種候補判定処理毎の重み付け値である加重値が設定されており、
前記線種判定選択処理は、前記シーン判定処理により成立が判定された前記シーンに対応する前記加重値に基づいて、前記線種候補判定処理または前記線種候補判定結果を選択する、
観点２－２に記載の道路区画線認識プログラム。
［観点２－４］
前記線種判定選択処理は、最も大きい前記加重値に対応する、前記線種候補判定処理またはその判定結果が、複数存在する場合、判定結果同士を比較した結果に基づいて、前記線種判定を実行する、
観点２－３に記載の道路区画線認識プログラム。
［観点２－５］
前記線種判定選択処理は、
前記シーン判定処理により複数の前記シーンの成立が判定された場合、成立した前記シーンに対応する前記加重値を、複数の前記線種候補判定処理の各々について加算し、
前記加算の結果である加算値の最大値に対応する前記線種候補判定処理または前記線種候補判定結果を選択する、
観点２－３に記載の道路区画線認識プログラム。
［観点２－６］
前記線種判定選択処理は、
前記シーン判定処理による前記シーンの判定結果の信頼度を算出する、シーン信頼度算出処理をさらに含み、
前記信頼度により補正した前記加重値に基づいて、前記線種候補判定処理または前記線種候補判定結果を選択する、
観点２－３～２－５のいずれか１つに記載の道路区画線認識プログラム。
［観点２－７］
前記線種判定選択処理は、
前記シーン判定処理による前記シーンの判定結果の信頼度を算出する、シーン信頼度算出処理をさらに含み、
前記信頼度に基づいて、前記線種候補判定処理または前記線種候補判定結果を選択する、
観点２－２に記載の道路区画線認識プログラム。
［観点２－８］
前記シーン信頼度算出処理は、前記シーン判定処理による前記シーンの判定結果の継続状態に基づいて、前記信頼度を算出する、
観点２－６または２－７に記載の道路区画線認識プログラム。
［観点２－９］
複数の前記線種候補判定処理のうちの１つである、第一線種候補判定処理は、
前記撮影画像内の前記区画線候補における、エッジ点を選択する、エッジ点選択処理と、
前記エッジ点選択処理により選択した前記エッジ点における位置の時系列変化を取得する、時系列変化取得処理と、
を含み、
前記エッジ点選択処理は、自車両（Ｃ）に最も近接する前記エッジ点である近方エッジ点、および／または、前記自車両から最も離隔する前記エッジ点である遠方エッジ点を選択し、
前記第一線種候補判定処理は、前記時系列変化取得処理により取得した、前記近方エッジ点および／または前記遠方エッジ点における位置の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
観点２－１～２－８のいずれか１つに記載の道路区画線認識プログラム。
［観点２－１０］
前記第一線種候補判定処理は、
前記遠方エッジ点の位置の時系列変化に基づく前記線種の判定結果である遠方側判定結果と、前記近方エッジ点の位置の時系列変化に基づく前記線種の判定結果である近方側判定結果とに基づいて、前記区画線候補における前記線種を判定する、
観点２－９に記載の道路区画線認識プログラム。
［観点２－１１］
前記第一線種候補判定処理は、
前記遠方エッジ点の位置の時系列変化に基づいて、前記遠方側判定結果に対する重み付け値を設定し、
前記近方エッジ点の位置の時系列変化に基づいて、前記近方側判定結果に対する重み付け値を設定し、
重み付けされた前記遠方側判定結果および前記近方側判定結果に基づいて、前記区画線候補における前記線種を判定する、
観点２－１０に記載の道路区画線認識プログラム。
［観点２－１２］
前記第一線種候補判定処理は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記線情報であるペイント長およびギャップ長に基づいて設定する、
観点２－９～２－１１のいずれか１つに記載の道路区画線認識プログラム。
［観点２－１３］
前記第一線種候補判定処理は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記自車両の周囲の物体の前記撮影画像における認識位置に基づいて設定する、
観点２－９～２－１１のいずれか１つに記載の道路区画線認識プログラム。
［観点２－１４］
複数の前記線種候補判定処理のうちの他の１つである、第二線種候補判定処理は、
前記撮影画像内の前記区画線候補における各画素に対して、セマンティックセグメンテーションによるクラスを出力する、クラス出力処理と、
前記クラス出力処理の出力に基づいて、前記クラスに該当する確率であるクラス率を算出する、クラス率算出処理と、
を有し、
前記クラス率算出処理により算出した前記クラス率に基づいて、前記区画線候補における前記線種を判定する、
観点２－９～２－１３のいずれか１つに記載の道路区画線認識プログラム。
［観点２－１５］
前記第二線種候補判定処理は、前記クラス率の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
観点２－１４に記載の道路区画線認識プログラム。
［観点２－１６］
前記第二線種候補判定処理は、
前記クラス率がクラス判定閾値以上であるか否かにより、前記区画線候補における前記線種を判定し、
自車線における前記区画線候補と隣接車線における前記区画線候補とで、異なる前記クラス判定閾値を用いる、
観点２－１４または２－１５に記載の道路区画線認識プログラム。
［観点２－１７］
前記線種判定選択処理は、
他車両による前記区画線候補の遮蔽状態を示す遮蔽率を算出する、遮蔽率算出処理を有し、
前記遮蔽率が選択判定閾値未満である場合、前記第一線種候補判定処理またはその前記線種候補判定結果を選択し、
前記遮蔽率が前記選択判定閾値以上である場合、前記第二線種候補判定処理またはその前記線種候補判定結果を選択する、
観点２－１４～２－１６のいずれか１つに記載の道路区画線認識プログラム。
［観点３－１］
撮影画像から道路区画線を認識する、道路区画線認識装置（５）であって、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、線種候補判定部（７１）を備え、
前記線種候補判定部は、
前記撮影画像内の前記区画線候補における、エッジ点を選択する、エッジ点選択部（７１２）と、
前記エッジ点選択部により選択した前記エッジ点における位置の時系列変化を取得する、時系列変化取得部（７１３）と、
を備え、
前記エッジ点選択部は、自車両（Ｃ）に最も近接する前記エッジ点である近方エッジ点、および／または、前記自車両から最も離隔する前記エッジ点である遠方エッジ点を選択し、
前記第一線種候補判定部は、前記時系列変化取得部により取得した、前記近方エッジ点および／または前記遠方エッジ点における位置の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
道路区画線認識装置。
［観点３－２］
前記線種候補判定部は、
前記遠方エッジ点の位置の時系列変化に基づく前記線種の判定結果である遠方側判定結果と、前記近方エッジ点の位置の時系列変化に基づく前記線種の判定結果である近方側判定結果とに基づいて、前記区画線候補における前記線種を判定する、
観点３－１に記載の道路区画線認識装置。
［観点３－３］
前記線種候補判定部は、
前記遠方エッジ点の位置の時系列変化に基づいて、前記遠方側判定結果に対する重み付け値を設定し、
前記近方エッジ点の位置の時系列変化に基づいて、前記近方側判定結果に対する重み付け値を設定し、
重み付けされた前記遠方側判定結果および前記近方側判定結果に基づいて、前記区画線候補における前記線種を判定する、
観点３－２に記載の道路区画線認識装置。
［観点３－４］
前記線種候補判定部は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記線情報であるペイント長およびギャップ長に基づいて設定する、
観点３－１～３－３のいずれか１つに記載の道路区画線認識装置。
［観点３－５］
前記線種候補判定部は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記自車両の周囲の物体の前記撮影画像における認識位置に基づいて設定する、
観点３－１～３－４のいずれか１つに記載の道路区画線認識装置。
［観点４－１］
撮影画像から道路区画線を認識する、道路区画線認識プログラムであって、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、線種候補判定処理（７１）を含み、
前記線種候補判定処理は、
前記撮影画像内の前記区画線候補における、エッジ点を選択する、エッジ点選択処理（７１２）と、
前記エッジ点選択処理により選択した前記エッジ点における位置の時系列変化を取得する、時系列変化取得処理（７１３）と、
を含み、
前記エッジ点選択処理は、自車両（Ｃ）に最も近接する前記エッジ点である近方エッジ点、および／または、前記自車両から最も離隔する前記エッジ点である遠方エッジ点を選択し、
前記第一線種候補判定処理は、前記時系列変化取得処理により取得した、前記近方エッジ点および／または前記遠方エッジ点における位置の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
道路区画線認識プログラム。
［観点４－２］
前記線種候補判定処理は、
前記遠方エッジ点の位置の時系列変化に基づく前記線種の判定結果である遠方側判定結果と、前記近方エッジ点の位置の時系列変化に基づく前記線種の判定結果である近方側判定結果とに基づいて、前記区画線候補における前記線種を判定する、
観点４－１に記載の道路区画線認識プログラム。
［観点４－３］
前記線種候補判定処理は、
前記遠方エッジ点の位置の時系列変化に基づいて、前記遠方側判定結果に対する重み付け値を設定し、
前記近方エッジ点の位置の時系列変化に基づいて、前記近方側判定結果に対する重み付け値を設定し、
重み付けされた前記遠方側判定結果および前記近方側判定結果に基づいて、前記区画線候補における前記線種を判定する、
観点４－２に記載の道路区画線認識プログラム。
［観点４－４］
前記線種候補判定処理は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記線情報であるペイント長およびギャップ長に基づいて設定する、
観点４－１～４－３のいずれか１つに記載の道路区画線認識プログラム。
［観点４－５］
前記線種候補判定処理は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記自車両の周囲の物体の前記撮影画像における認識位置に基づいて設定する、
観点４－１～４－４のいずれか１つに記載の道路区画線認識プログラム。
［観点５－１］
撮影画像から道路区画線を認識する、道路区画線認識装置（５）であって、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、線種候補判定部（７２）を備え、
前記線種候補判定部は、
前記撮影画像内の前記区画線候補における各画素に対して、セマンティックセグメンテーションによるクラスを出力する、クラス出力部（７２２）と、
前記クラス出力部の出力に基づいて、前記クラスに該当する確率であるクラス率を算出する、クラス率算出部（７２３）と、
を備え、
前記クラス率算出部により算出した前記クラス率に基づいて、前記区画線候補における前記線種を判定する、
道路区画線認識装置。
［観点５－２］
前記線種候補判定部は、前記クラス率の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
観点５－１に記載の道路区画線認識装置。
［観点５－３］
前記線種候補判定部は、
前記クラス率がクラス判定閾値以上であるか否かにより、前記区画線候補における前記線種を判定し、
自車線における前記区画線候補と隣接車線における前記区画線候補とで、異なる前記クラス判定閾値を用いる、
観点５－１または５－２に記載の道路区画線認識装置。
［観点５－４］
前記線種判定選択部は、
他車両による前記区画線候補の遮蔽状態を示す遮蔽率を算出する、遮蔽率算出部（８９）を備え、
前記遮蔽率が選択判定閾値以上である場合、前記線種候補判定部の前記線種候補判定結果が、他の判定アルゴリズムによる判定結果よりも判定精度が高いものと判定する、
観点５－１～５－３のいずれか１つに記載の道路区画線認識装置。
［観点６－１］
撮影画像から道路区画線を認識する、道路区画線認識プログラムであって、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、線種候補判定処理を含み、
前記線種候補判定処理は、
前記撮影画像内の前記区画線候補における各画素に対して、セマンティックセグメンテーションによるクラスを出力する、クラス出力処理と、
前記クラス出力処理の出力に基づいて、前記クラスに該当する確率であるクラス率を算出する、クラス率算出処理と、
を含み、
前記クラス率算出処理により算出した前記クラス率に基づいて、前記区画線候補における前記線種を判定する、
道路区画線認識プログラム。
［観点６－２］
前記線種候補判定処理は、前記クラス率の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
観点６－１に記載の道路区画線認識プログラム。
［観点６－３］
前記線種候補判定処理は、
前記クラス率がクラス判定閾値以上であるか否かにより、前記区画線候補における前記線種を判定し、
自車線における前記区画線候補と隣接車線における前記区画線候補とで、異なる前記クラス判定閾値を用いる、
観点６－１または６－２に記載の道路区画線認識プログラム。
［観点６－４］
前記線種判定選択処理は、
他車両による前記区画線候補の遮蔽状態を示す遮蔽率を算出する、遮蔽率算出処理を含み、
前記遮蔽率が選択判定閾値以上である場合、前記線種候補判定処理の前記線種候補判定結果が、他の判定アルゴリズムによる判定結果よりも判定精度が高いものと判定する、
観点６－１～６－３のいずれか１つに記載の道路区画線認識プログラム。
上記の通りの、実施形態および変形例に係る構成および動作の説明から明らかなように、本明細書による開示は、少なくとも、以下の観点を含む。
［観点１－１］
撮影画像から道路区画線を認識する、道路区画線認識装置（５）であって、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、複数の線種候補判定部（７）と、
複数の前記線種候補判定部、または、複数の前記線種候補判定部の各々による線種候補判定結果の中から、いずれか１つを選択することで、前記区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する、線種判定選択部（８）と、
を備え、
複数の前記線種候補判定部は、判定アルゴリズムが互いに異なる、
道路区画線認識装置。
［観点１－２］
前記線種判定選択部は、
前記線種候補判定に影響を与える撮影状況に対応するシーンの成立状況を判定する、シーン判定部（８３）を備え、
前記シーン判定部による前記シーンの成立状況の判定結果に応じて、前記線種候補判定部または前記線種候補判定結果を選択する、
観点１－１に記載の道路区画線認識装置。
［観点１－３］
互いに異なる前記シーンの各々に対して、前記線種候補判定部毎の重み付け値である加重値が設定されており、
前記線種判定選択部は、前記シーン判定部により成立が判定された前記シーンに対応する前記加重値に基づいて、前記線種候補判定部または前記線種候補判定結果を選択する、
観点１－２に記載の道路区画線認識装置。
［観点１－４］
前記線種判定選択部は、最も大きい前記加重値に対応する、前記線種候補判定部またはその判定結果が、複数存在する場合、判定結果同士を比較した結果に基づいて、前記線種判定を実行する、
観点１－３に記載の道路区画線認識装置。
［観点１－５］
前記線種判定選択部は、
前記シーン判定部により複数の前記シーンの成立が判定された場合、成立した前記シーンに対応する前記加重値を、複数の前記線種候補判定部の各々について加算し、
前記加算の結果である加算値の最大値に対応する前記線種候補判定部または前記線種候補判定結果を選択する、
観点１－３に記載の道路区画線認識装置。
［観点１－６］
前記線種判定選択部は、
前記シーン判定部による前記シーンの判定結果の信頼度を算出する、シーン信頼度算出部（８７）をさらに備え、
前記信頼度により補正した前記加重値に基づいて、前記線種候補判定部または前記線種候補判定結果を選択する、
観点１－３～１－５のいずれか１つに記載の道路区画線認識装置。
［観点１－７］
前記線種判定選択部は、
前記シーン判定部による前記シーンの判定結果の信頼度を算出する、シーン信頼度算出部（８７）をさらに備え、
前記信頼度に基づいて、前記線種候補判定部または前記線種候補判定結果を選択する、
観点１－２に記載の道路区画線認識装置。
［観点１－８］
前記シーン信頼度算出部は、前記シーン判定部による前記シーンの判定結果の継続状態に基づいて、前記信頼度を算出する、
観点１－６または１－７に記載の道路区画線認識装置。
［観点１－９］
複数の前記線種候補判定部のうちの１つである、第一線種候補判定部（７１）は、
前記撮影画像内の前記区画線候補における、エッジ点を選択する、エッジ点選択部（７１２）と、
前記エッジ点選択部により選択した前記エッジ点における位置の時系列変化を取得する、時系列変化取得部（７１３）と、
を備え、
前記エッジ点選択部は、自車両（Ｃ）に最も近接する前記エッジ点である近方エッジ点、および／または、前記自車両から最も離隔する前記エッジ点である遠方エッジ点を選択し、
前記第一線種候補判定部は、前記時系列変化取得部により取得した、前記近方エッジ点および／または前記遠方エッジ点における位置の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
観点１－１～１－８のいずれか１つに記載の道路区画線認識装置。
［観点１－１０］
前記第一線種候補判定部は、
前記遠方エッジ点の位置の時系列変化に基づく前記線種の判定結果である遠方側判定結果と、前記近方エッジ点の位置の時系列変化に基づく前記線種の判定結果である近方側判定結果とに基づいて、前記区画線候補における前記線種を判定する、
観点１－９に記載の道路区画線認識装置。
［観点１－１１］
前記第一線種候補判定部は、
前記遠方エッジ点の位置の時系列変化に基づいて、前記遠方側判定結果に対する重み付け値を設定し、
前記近方エッジ点の位置の時系列変化に基づいて、前記近方側判定結果に対する重み付け値を設定し、
重み付けされた前記遠方側判定結果および前記近方側判定結果に基づいて、前記区画線候補における前記線種を判定する、
観点１－１０に記載の道路区画線認識装置。
［観点１－１２］
前記第一線種候補判定部は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記線情報であるペイント長およびギャップ長に基づいて設定する、
観点１－９～１－１１のいずれか１つに記載の道路区画線認識装置。
［観点１－１３］
前記第一線種候補判定部は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記自車両の周囲の物体の前記撮影画像における認識位置に基づいて設定する、
観点１－９～１－１１のいずれか１つに記載の道路区画線認識装置。
［観点１－１４］
複数の前記線種候補判定部のうちの他の１つである、第二線種候補判定部（７２）は、
前記撮影画像内の前記区画線候補における各画素に対して、セマンティックセグメンテーションによるクラスを出力する、クラス出力部（７２２）と、
前記クラス出力部の出力に基づいて、前記クラスに該当する確率であるクラス率を算出する、クラス率算出部（７２３）と、
を備え、
前記クラス率算出部により算出した前記クラス率に基づいて、前記区画線候補における前記線種を判定する、
観点１－９～１－１３のいずれか１つに記載の道路区画線認識装置。
［観点１－１５］
前記第二線種候補判定部は、前記クラス率の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
観点１－１４に記載の道路区画線認識装置。
［観点１－１６］
前記第二線種候補判定部は、
前記クラス率がクラス判定閾値以上であるか否かにより、前記区画線候補における前記線種を判定し、
自車線における前記区画線候補と隣接車線における前記区画線候補とで、異なる前記クラス判定閾値を用いる、
観点１－１４または１－１５に記載の道路区画線認識装置。
［観点１－１７］
前記線種判定選択部は、
他車両による前記区画線候補の遮蔽状態を示す遮蔽率を算出する、遮蔽率算出部（８９）を備え、
前記遮蔽率が選択判定閾値未満である場合、前記第一線種候補判定部またはその前記線種候補判定結果を選択し、
前記遮蔽率が前記選択判定閾値以上である場合、前記第二線種候補判定部またはその前記線種候補判定結果を選択する、
観点１－１４～１－１６のいずれか１つに記載の道路区画線認識装置。
［観点２－１］
撮影画像から道路区画線を認識する道路区画線認識装置（４）により実行される、道路区画線認識プログラムであって、
前記道路区画線認識装置が実行する処理は、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、判定アルゴリズムが互いに異なる複数の線種候補判定処理と、
複数の前記線種候補判定処理による線種候補判定結果の中から、いずれか１つを選択することで、前記区画線候補がいずれの線種の道路区画線に該当するかに関する線種判定を実行する、線種判定選択処理と、
を含む、
道路区画線認識プログラム。
［観点２－２］
前記線種判定選択処理は、
前記線種候補判定に影響を与える撮影状況に対応するシーンの成立状況を判定する、シーン判定処理を含み、
前記シーン判定処理による前記シーンの成立状況の判定結果に応じて、前記線種候補判定処理または前記線種候補判定結果を選択する、
観点２－１に記載の道路区画線認識プログラム。
［観点２－３］
互いに異なる前記シーンの各々に対して、前記線種候補判定処理毎の重み付け値である加重値が設定されており、
前記線種判定選択処理は、前記シーン判定処理により成立が判定された前記シーンに対応する前記加重値に基づいて、前記線種候補判定処理または前記線種候補判定結果を選択する、
観点２－２に記載の道路区画線認識プログラム。
［観点２－４］
前記線種判定選択処理は、最も大きい前記加重値に対応する、前記線種候補判定処理またはその判定結果が、複数存在する場合、判定結果同士を比較した結果に基づいて、前記線種判定を実行する、
観点２－３に記載の道路区画線認識プログラム。
［観点２－５］
前記線種判定選択処理は、
前記シーン判定処理により複数の前記シーンの成立が判定された場合、成立した前記シーンに対応する前記加重値を、複数の前記線種候補判定処理の各々について加算し、
前記加算の結果である加算値の最大値に対応する前記線種候補判定処理または前記線種候補判定結果を選択する、
観点２－３に記載の道路区画線認識プログラム。
［観点２－６］
前記線種判定選択処理は、
前記シーン判定処理による前記シーンの判定結果の信頼度を算出する、シーン信頼度算出処理をさらに含み、
前記信頼度により補正した前記加重値に基づいて、前記線種候補判定処理または前記線種候補判定結果を選択する、
観点２－３～２－５のいずれか１つに記載の道路区画線認識プログラム。
［観点２－７］
前記線種判定選択処理は、
前記シーン判定処理による前記シーンの判定結果の信頼度を算出する、シーン信頼度算出処理をさらに含み、
前記信頼度に基づいて、前記線種候補判定処理または前記線種候補判定結果を選択する、
観点２－２に記載の道路区画線認識プログラム。
［観点２－８］
前記シーン信頼度算出処理は、前記シーン判定処理による前記シーンの判定結果の継続状態に基づいて、前記信頼度を算出する、
観点２－６または２－７に記載の道路区画線認識プログラム。
［観点２－９］
複数の前記線種候補判定処理のうちの１つである、第一線種候補判定処理は、
前記撮影画像内の前記区画線候補における、エッジ点を選択する、エッジ点選択処理と、
前記エッジ点選択処理により選択した前記エッジ点における位置の時系列変化を取得する、時系列変化取得処理と、
を含み、
前記エッジ点選択処理は、自車両（Ｃ）に最も近接する前記エッジ点である近方エッジ点、および／または、前記自車両から最も離隔する前記エッジ点である遠方エッジ点を選択し、
前記第一線種候補判定処理は、前記時系列変化取得処理により取得した、前記近方エッジ点および／または前記遠方エッジ点における位置の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
観点２－１～２－８のいずれか１つに記載の道路区画線認識プログラム。
［観点２－１０］
前記第一線種候補判定処理は、
前記遠方エッジ点の位置の時系列変化に基づく前記線種の判定結果である遠方側判定結果と、前記近方エッジ点の位置の時系列変化に基づく前記線種の判定結果である近方側判定結果とに基づいて、前記区画線候補における前記線種を判定する、
観点２－９に記載の道路区画線認識プログラム。
［観点２－１１］
前記第一線種候補判定処理は、
前記遠方エッジ点の位置の時系列変化に基づいて、前記遠方側判定結果に対する重み付け値を設定し、
前記近方エッジ点の位置の時系列変化に基づいて、前記近方側判定結果に対する重み付け値を設定し、
重み付けされた前記遠方側判定結果および前記近方側判定結果に基づいて、前記区画線候補における前記線種を判定する、
観点２－１０に記載の道路区画線認識プログラム。
［観点２－１２］
前記第一線種候補判定処理は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記線情報であるペイント長およびギャップ長に基づいて設定する、
観点２－９～２－１１のいずれか１つに記載の道路区画線認識プログラム。
［観点２－１３］
前記第一線種候補判定処理は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記自車両の周囲の物体の前記撮影画像における認識位置に基づいて設定する、
観点２－９～２－１１のいずれか１つに記載の道路区画線認識プログラム。
［観点２－１４］
複数の前記線種候補判定処理のうちの他の１つである、第二線種候補判定処理は、
前記撮影画像内の前記区画線候補における各画素に対して、セマンティックセグメンテーションによるクラスを出力する、クラス出力処理と、
前記クラス出力処理の出力に基づいて、前記クラスに該当する確率であるクラス率を算出する、クラス率算出処理と、
を有し、
前記クラス率算出処理により算出した前記クラス率に基づいて、前記区画線候補における前記線種を判定する、
観点２－９～２－１３のいずれか１つに記載の道路区画線認識プログラム。
［観点２－１５］
前記第二線種候補判定処理は、前記クラス率の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
観点２－１４に記載の道路区画線認識プログラム。
［観点２－１６］
前記第二線種候補判定処理は、
前記クラス率がクラス判定閾値以上であるか否かにより、前記区画線候補における前記線種を判定し、
自車線における前記区画線候補と隣接車線における前記区画線候補とで、異なる前記クラス判定閾値を用いる、
観点２－１４または２－１５に記載の道路区画線認識プログラム。
［観点２－１７］
前記線種判定選択処理は、
他車両による前記区画線候補の遮蔽状態を示す遮蔽率を算出する、遮蔽率算出処理を有し、
前記遮蔽率が選択判定閾値未満である場合、前記第一線種候補判定処理またはその前記線種候補判定結果を選択し、
前記遮蔽率が前記選択判定閾値以上である場合、前記第二線種候補判定処理またはその前記線種候補判定結果を選択する、
観点２－１４～２－１６のいずれか１つに記載の道路区画線認識プログラム。
［観点３－１］
撮影画像から道路区画線を認識する、道路区画線認識装置（５）であって、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、線種候補判定部（７１）を備え、
前記線種候補判定部は、
前記撮影画像内の前記区画線候補における、エッジ点を選択する、エッジ点選択部（７１２）と、
前記エッジ点選択部により選択した前記エッジ点における位置の時系列変化を取得する、時系列変化取得部（７１３）と、
を備え、
前記エッジ点選択部は、自車両（Ｃ）に最も近接する前記エッジ点である近方エッジ点、および／または、前記自車両から最も離隔する前記エッジ点である遠方エッジ点を選択し、
前記第一線種候補判定部は、前記時系列変化取得部により取得した、前記近方エッジ点および／または前記遠方エッジ点における位置の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
道路区画線認識装置。
［観点３－２］
前記線種候補判定部は、
前記遠方エッジ点の位置の時系列変化に基づく前記線種の判定結果である遠方側判定結果と、前記近方エッジ点の位置の時系列変化に基づく前記線種の判定結果である近方側判定結果とに基づいて、前記区画線候補における前記線種を判定する、
観点３－１に記載の道路区画線認識装置。
［観点３－３］
前記線種候補判定部は、
前記遠方エッジ点の位置の時系列変化に基づいて、前記遠方側判定結果に対する重み付け値を設定し、
前記近方エッジ点の位置の時系列変化に基づいて、前記近方側判定結果に対する重み付け値を設定し、
重み付けされた前記遠方側判定結果および前記近方側判定結果に基づいて、前記区画線候補における前記線種を判定する、
観点３－２に記載の道路区画線認識装置。
［観点３－４］
前記線種候補判定部は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記線情報であるペイント長およびギャップ長に基づいて設定する、
観点３－１～３－３のいずれか１つに記載の道路区画線認識装置。
［観点３－５］
前記線種候補判定部は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記自車両の周囲の物体の前記撮影画像における認識位置に基づいて設定する、
観点３－１～３－４のいずれか１つに記載の道路区画線認識装置。
［観点４－１］
撮影画像から道路区画線を認識する、道路区画線認識プログラムであって、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、線種候補判定処理（７１）を含み、
前記線種候補判定処理は、
前記撮影画像内の前記区画線候補における、エッジ点を選択する、エッジ点選択処理（７１２）と、
前記エッジ点選択処理により選択した前記エッジ点における位置の時系列変化を取得する、時系列変化取得処理（７１３）と、
を含み、
前記エッジ点選択処理は、自車両（Ｃ）に最も近接する前記エッジ点である近方エッジ点、および／または、前記自車両から最も離隔する前記エッジ点である遠方エッジ点を選択し、
前記第一線種候補判定処理は、前記時系列変化取得処理により取得した、前記近方エッジ点および／または前記遠方エッジ点における位置の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
道路区画線認識プログラム。
［観点４－２］
前記線種候補判定処理は、
前記遠方エッジ点の位置の時系列変化に基づく前記線種の判定結果である遠方側判定結果と、前記近方エッジ点の位置の時系列変化に基づく前記線種の判定結果である近方側判定結果とに基づいて、前記区画線候補における前記線種を判定する、
観点４－１に記載の道路区画線認識プログラム。
［観点４－３］
前記線種候補判定処理は、
前記遠方エッジ点の位置の時系列変化に基づいて、前記遠方側判定結果に対する重み付け値を設定し、
前記近方エッジ点の位置の時系列変化に基づいて、前記近方側判定結果に対する重み付け値を設定し、
重み付けされた前記遠方側判定結果および前記近方側判定結果に基づいて、前記区画線候補における前記線種を判定する、
観点４－２に記載の道路区画線認識プログラム。
［観点４－４］
前記線種候補判定処理は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記線情報であるペイント長およびギャップ長に基づいて設定する、
観点４－１～４－３のいずれか１つに記載の道路区画線認識プログラム。
［観点４－５］
前記線種候補判定処理は、前記遠方エッジ点および前記近方エッジ点の位置の時系列変化をモニタリングする箇所を、前記自車両の周囲の物体の前記撮影画像における認識位置に基づいて設定する、
観点４－１～４－４のいずれか１つに記載の道路区画線認識プログラム。
［観点５－１］
撮影画像から道路区画線を認識する、道路区画線認識装置（５）であって、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、線種候補判定部（７２）を備え、
前記線種候補判定部は、
前記撮影画像内の前記区画線候補における各画素に対して、セマンティックセグメンテーションによるクラスを出力する、クラス出力部（７２２）と、
前記クラス出力部の出力に基づいて、前記クラスに該当する確率であるクラス率を算出する、クラス率算出部（７２３）と、
を備え、
前記クラス率算出部により算出した前記クラス率に基づいて、前記区画線候補における前記線種を判定する、
道路区画線認識装置。
［観点５－２］
前記線種候補判定部は、前記クラス率の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
観点５－１に記載の道路区画線認識装置。
［観点５－３］
前記線種候補判定部は、
前記クラス率がクラス判定閾値以上であるか否かにより、前記区画線候補における前記線種を判定し、
自車線における前記区画線候補と隣接車線における前記区画線候補とで、異なる前記クラス判定閾値を用いる、
観点５－１または５－２に記載の道路区画線認識装置。
［観点５－４］
前記線種判定選択部は、
他車両による前記区画線候補の遮蔽状態を示す遮蔽率を算出する、遮蔽率算出部（８９）を備え、
前記遮蔽率が選択判定閾値以上である場合、前記線種候補判定部の前記線種候補判定結果が、他の判定アルゴリズムによる判定結果よりも判定精度が高いものと判定する、
観点５－１～５－３のいずれか１つに記載の道路区画線認識装置。
［観点６－１］
撮影画像から道路区画線を認識する、道路区画線認識プログラムであって、
前記撮影画像から取得した、道路区画線の候補となる区画線候補における形状的特徴に関する情報である線情報に基づいて、前記区画線候補における線種の判定である線種候補判定を実行する、線種候補判定処理を含み、
前記線種候補判定処理は、
前記撮影画像内の前記区画線候補における各画素に対して、セマンティックセグメンテーションによるクラスを出力する、クラス出力処理と、
前記クラス出力処理の出力に基づいて、前記クラスに該当する確率であるクラス率を算出する、クラス率算出処理と、
を含み、
前記クラス率算出処理により算出した前記クラス率に基づいて、前記区画線候補における前記線種を判定する、
道路区画線認識プログラム。
［観点６－２］
前記線種候補判定処理は、前記クラス率の時系列変化に基づいて、前記区画線候補における前記線種を判定する、
観点６－１に記載の道路区画線認識プログラム。
［観点６－３］
前記線種候補判定処理は、
前記クラス率がクラス判定閾値以上であるか否かにより、前記区画線候補における前記線種を判定し、
自車線における前記区画線候補と隣接車線における前記区画線候補とで、異なる前記クラス判定閾値を用いる、
観点６－１または６－２に記載の道路区画線認識プログラム。
［観点６－４］
前記線種判定選択処理は、
他車両による前記区画線候補の遮蔽状態を示す遮蔽率を算出する、遮蔽率算出処理を含み、
前記遮蔽率が選択判定閾値以上である場合、前記線種候補判定処理の前記線種候補判定結果が、他の判定アルゴリズムによる判定結果よりも判定精度が高いものと判定する、
観点６－１～６－３のいずれか１つに記載の道路区画線認識プログラム。
【符号の説明】
【0109】
１ 車載システム
２ カメラ
５ 画像認識装置（道路区画線認識装置）
７ 線種候補判定部
７１ 第一追加候補判定部（第一線種候補判定部）
７２ 第二追加候補判定部（第二線種候補判定部）
８ 線種判定選択部
８３ シーン判定部
８７ シーン信頼度算出部
Ｃ 自車両
２ カメラ
５ 画像認識装置（道路区画線認識装置）
７ 線種候補判定部
７１ 第一追加候補判定部（第一線種候補判定部）
７２ 第二追加候補判定部（第二線種候補判定部）
８ 線種判定選択部
８３ シーン判定部
８７ シーン信頼度算出部
Ｃ 自車両
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】