特開 2024-112485 異常検知装置、異常検知方法及び異常検知用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112485

(43)【公開日】2024-08-21

(54)【発明の名称】異常検知装置、異常検知方法及び異常検知用コンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240814BHJP

   G08G 1/16 20060101ALI20240814BHJP

【ＦＩ】

G06T7/00 650A

G06T7/00 350B

G08G1/16 C

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023017528

(22)【出願日】2023-02-08

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】川島 渉

(72)【発明者】

【氏名】佐藤 圭太

(72)【発明者】

【氏名】花田 武彦

(72)【発明者】

【氏名】大浦 聡一郎

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181CC24

5H181CC27

5H181FF04

5H181FF27

5H181FF32

5H181LL01

5H181LL02

5H181LL04

5H181LL06

5H181LL09

5L096AA06

5L096BA04

5L096CA02

5L096DA02

5L096FA02

5L096GA10

5L096GA43

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】車両の通常走行を妨げる異常を検知することが可能な異常検知装置を提供する。
【解決手段】異常検知装置は、車両１０の周囲を表す画像における、車両１０が走行している自車線を表す走路領域を特定する特定部３１と、画像から、路面の状況を表す特徴量を抽出するよう予め学習された特徴抽出器に画像の走路領域を入力することで、走路領域についてのその特徴量を抽出する抽出部３２と、車両１０が通常走行可能な許容範囲を表す正常範囲に特徴量が含まれない場合に、自車線において車両１０が通常走行可能でない異常な状況を検知する検知部３３とを有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両の周囲を表す画像における、前記車両が走行している自車線を表す走路領域を特定する特定部と、
前記画像から、路面の状況を表す特徴量を抽出するよう予め学習された特徴抽出器に前記走路領域を入力することで、前記走路領域についての前記特徴量を抽出する抽出部と、
前記車両が通常走行可能な許容範囲を表す正常範囲に前記特徴量が含まれない場合に、自車線において前記車両が通常走行可能でない異常な状況を検知する検知部と、
を有する異常検知装置。

【請求項2】

前記抽出部は、前記走路領域のうち、前記車両の直前を走行する先行車両が表された先行車両領域の下端よりも下方の範囲を前記特徴抽出器に入力することで前記特徴量を抽出する、請求項１に記載の異常検知装置。

【請求項3】

車両の周囲を表す画像における、前記車両が走行している自車線を表す走路領域を特定し、
前記画像から、路面の状況を表す特徴量を抽出するよう予め学習された特徴抽出器に前記走路領域を入力することで、前記走路領域についての前記特徴量を抽出し、
前記車両が通常走行可能な許容範囲を表す正常範囲に前記特徴量が含まれない場合に、自車線において前記車両が通常走行可能でない異常な状況を検知する、
ことを含む異常検知方法。

【請求項4】

車両の周囲を表す画像における、前記車両が走行している自車線を表す走路領域を特定し、
前記画像から、路面の状況を表す特徴量を抽出するよう予め学習された特徴抽出器に前記走路領域を入力することで、前記走路領域についての前記特徴量を抽出し、
前記車両が通常走行可能な許容範囲を表す正常範囲に前記特徴量が含まれない場合に、自車線において前記車両が通常走行可能でない異常な状況を検知する、
ことを前記車両に搭載されたプロセッサに実行させるための異常検知用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周囲を表す画像に基づいて異常を検知する異常検知装置、異常検知方法及び異常検知用コンピュータプログラムに関する。

【背景技術】

【0002】

車両に搭載された撮像装置により得られた画像に基づいて、車両の走行に好適な走行好適領域を判定し、その判定結果を車両の自動運転制御または運転支援に利用する技術が提案されている（特許文献１を参照）。

【0003】

特許文献１に記載された走行領域判定装置は、被写体が路面であることが既知の複数の画像を機械学習した機械学習モデルにより、撮像装置から車両の周囲が撮像された画像における特定領域を判定する。そしてこの走行領域判定装置は、特定領域が車両の走行に好適な走行好適領域か否かを判定する。これにより、例えば、障害物が存在する可能性のある領域が車両の走行に不適な走行不適領域と判定される。また、この走行領域判定装置は、画像における車両の走行車線内の領域について特定領域を判定する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－２１１８２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

車両の進路上に、落下物のような障害物が存在することがある。このような障害物は、色、形状及びサイズが予め特定されないような物体であることがある。そのため、このような障害物は、画像から所定の物体を検出するための識別器を用いても精度良く検出することができないおそれがある。その結果として、車両の進路上の路面について、車両が走行可能か否かを精度良く判定することが困難なことがある。

【0006】

そこで、本発明は、車両の通常走行を妨げる異常を検知することが可能な異常検知装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

一つの実施形態によれば、異常検知装置が提供される。この異常検知装置は、車両の周囲を表す画像における、車両が走行している自車線を表す走路領域を特定する特定部と、画像から、路面の状況を表す特徴量を抽出するよう予め学習された特徴抽出器に画像の走路領域を入力することで、走路領域についてのその特徴量を抽出する抽出部と、車両が通常走行可能な許容範囲を表す正常範囲に特徴量が含まれない場合に、自車線において車両が通常走行可能でない異常な状況を検知する検知部とを有する。

【0008】

この異常検知装置において、抽出部は、走路領域のうち、車両の直前を走行する先行車両が表された先行車両領域の下端よりも下方の範囲を特徴抽出器に入力することで特徴量を抽出することが好ましい。

【0009】

他の実施形態によれば、異常検知方法が提供される。この異常検知方法は、車両の周囲を表す画像における、車両が走行している自車線を表す走路領域を特定し、画像から、路面の状況を表す特徴量を抽出するよう予め学習された特徴抽出器に画像の走路領域を入力することで、走路領域についてのその特徴量を抽出し、車両が通常走行可能な許容範囲を表す正常範囲に特徴量が含まれない場合に、自車線において車両が通常走行可能でない異常な状況を検知する、ことを含む。

【0010】

さらに他の実施形態によれば、異常検知用コンピュータプログラムが提供される。この異常検知用コンピュータプログラムは、車両の周囲を表す画像における、車両が走行している自車線を表す走路領域を特定し、画像から、路面の状況を表す特徴量を抽出するよう予め学習された特徴抽出器に画像の走路領域を入力することで、走路領域についてのその特徴量を抽出し、車両が通常走行可能な許容範囲を表す正常範囲に特徴量が含まれない場合に、自車線において車両が通常走行可能でない異常な状況を検知する、ことを車両に搭載されたプロセッサに実行させる命令を含む。

【発明の効果】

【0011】

本開示による異常検知装置は、車両の通常走行を妨げる異常を検知することができるという効果を奏する。

【図面の簡単な説明】

【0012】

【図1】異常検知装置が実装される車両制御システムの概略構成図である。

【図2】異常検知装置の一つの実施形態である電子制御装置のハードウェア構成図である。

【図3】異常検知処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。

【図4】本実施形態による異常検知処理の一例を説明する図である。

【図5】異常検知処理を含む車両制御処理の動作フローチャートである。

【発明を実施するための形態】

【0013】

以下、図を参照しつつ、異常検知装置、及び、異常検知装置において実施される異常検知方法ならびに異常検知用コンピュータプログラムについて説明する。この異常検知装置は、車両に設けられた撮像部により生成された車両の周囲を表す画像において、車両が走行している車線（以下、自車線と呼ぶことがある）が表された走路領域を特定する。さらに、この異常検知装置は、画像の走路領域を特徴抽出器に入力することで、路面の状況を表す特徴量を抽出する。そしてこの異常検知装置は、抽出された特徴量が、車両が通常走行可能なことを表す正常範囲に含まれるか否か判定し、その特徴量が正常範囲から外れる場合、自車線において車両が通常走行可能でない異常な状況を検知する。

【0014】

なお、自車線において車両が通常走行可能であるとは、車両が何らかの障害物との接触を避けるための所定の減速度以上の減速あるいは所定の操舵量以上の操舵を行うことなく、車両が走行可能であることを表す。また、障害物は、例えば、路面上に落下した落下物といった、本来路面上に存在するべきでない何らかの立体的な構造物、あるいは、路面に形成されたポットホールといった、段差を伴う路面の欠陥である。

【0015】

以下では、異常検知装置を、車両制御装置に適用した例について説明する。

【0016】

図１は、異常検知装置が実装される車両制御システムの概略構成図である。車両制御システム１は、車両１０に搭載され、かつ、車両１０を制御する。そのために、車両制御システム１は、カメラ２と、異常検知装置の一例である電子制御装置（ＥＣＵ）３とを有する。カメラ２とＥＣＵ３とは、コントローラエリアネットワークといった通信規格に準拠した車内ネットワークを介して互いに通信可能に接続される。なお、車両制御システム１は、車両制御システム１は、LiDARあるいはレーダといった、車両１０から車両１０の周囲に存在する物体までの距離を測定する測距センサ（図示せず）を有していてもよい。さらに、車両制御システム１は、GPS受信機といった、衛星からの信号に基づいて車両１０の位置を測位するための測位機器（図示せず）を有していてもよい。さらにまた、車両制御システム１は、目的地までの走行予定ルートを探索するためのナビゲーション装置（図示せず）を有していてもよい。さらにまた、車両制御システム１は、車両１０の自動運転制御において参照される地図情報を記憶するストレージ装置（図示せず）を有していてもよい。

【0017】

カメラ２は、車両１０の周囲を表す画像を生成する撮像部の一例である。カメラ２は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。カメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両１０には、撮影方向または焦点距離が異なる２台以上のカメラが設けられてもよい。

【0018】

カメラ２は、画像を生成する度に、その生成した画像を、車内ネットワークを介してＥＣＵ３へ出力する。

【0019】

ＥＣＵ３は、所定の状況下において車両１０を自動運転制御するよう構成される。

【0020】

図２は、異常検知装置の一例であるＥＣＵ３のハードウェア構成図である。図２に示されるように、ＥＣＵ３は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１、メモリ２２及びプロセッサ２３は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。

【0021】

通信インターフェース２１は、ＥＣＵ３とカメラ２とを接続するためのインターフェース回路を有する。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。

【0022】

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ３のプロセッサ２３により実行される、異常検知処理を含む車両制御処理において使用される各種のデータを記憶する。例えば、メモリ２２は、走路領域の検出のために利用される識別器を特定するためのパラメータ、及び、路面の状況を表す特徴量を抽出するために用いられる特徴抽出器を特定するためのパラメータを記憶する。さらに、メモリ２２は、特徴量に対する、車両１０が通常走行可能な許容範囲を表す正常範囲を記憶する。さらに、メモリ２２は、カメラ２から受け取った画像を一時的に記憶する。さらにまた、メモリ２２は、車両制御処理の途中で生成される各種のデータを一時的に記憶する。

【0023】

プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０に対する車両制御処理を実行する。

【0024】

図３は、異常検知処理を含む車両制御処理に関する、プロセッサ２３の機能ブロック図である。プロセッサ２３は、特定部３１と、抽出部３２と、検知部３３と、車両制御部３４とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、これらの各部のうち、特定部３１、抽出部３２及び検知部３３が異常検知処理に関するものである。

【0025】

特定部３１は、所定の周期ごとに、カメラ２からＥＣＵ３が受け取った最新の画像において、自車線が表された走路領域を特定する。

【0026】

例えば、特定部３１は、カメラ２から取得した画像を、走路領域を識別するように予め学習された識別器に入力することで、走路領域を特定する。特定部３１は、そのような識別器として、コンボリューショナルニューラルネットワーク型(CNN)のアーキテクチャを持つディープニューラルネットワーク(DNN)を用いることができる。より具体的に、識別器として、画素ごとに、その画素に表されている物体を識別するセマンティックセグメンテーション用のDNN、例えば、Fully Convolutional Network(FCN)またはU-netが用いられる。あるいは、特定部３１は、識別器として、ランダムフォレストといった、ニューラルネットワーク以外の機械学習手法に基づく、セマンティックセグメンテーション用の識別器を用いてもよい。識別器は、走路領域が表された多数の教師画像を用いて、誤差逆伝搬法といった所定の学習手法に従って予め学習される。

【0027】

特定部３１は、識別器が出力した、自車線が表されているとする画素の集合を、走路領域とする。

【0028】

あるいは、特定部３１は、上記のような識別器を用いる代わりに、画像解析によって画像から自車線を区画する二つの車線区画線を検出し、検出した二つの車線区画線で挟まれた領域を走路領域としてもよい。一般に、車線区画線は、その周囲の路面よりも明るい色（白または黄色）を有する。そのため、画像上において、車線区画線が表された画素の輝度値は、その周囲の路面が表された画素の輝度値よりも高くなる。そこで、特定部３１は、画像上で路面が表されていると想定される範囲内において輝度値が所定値以上となる画素を抽出する。あるいは、特定部３１は、水平方向において隣接する二つの画素間の輝度差が所定の閾値以上となるときの輝度値が高い方の画素を抽出してもよい。そして特定部３１は、抽出した画素の集合を直線で近似することで、個々の車線区画線を検出し、画像の左右それぞれにおいて、画像の中央に最も近い車線区画線を、自車線を区画する車線区画線とする。

【0029】

さらに、特定部３１は、画像上で、自車線において車両１０の直前を走行する先行車両が表された領域（以下、先行車両領域と呼ぶことがある）を特定してもよい。上記のように、セマンティックセグメンテーション用の識別器を用いて走路領域が特定される場合、その識別器が他の車両が表された領域も特定するように予め学習されればよい。そして特定部３１は、他の車両が表された領域のうち、走路領域と重なり、かつ、画像上で最も下方に位置する領域を、先行車両領域とする。これにより、特定部３１は、画像を識別器に入力することで、走路領域だけでなく先行車両領域も特定することができる。また、画像解析により走路領域が特定される場合、特定部３１は、画像から車両を検出するように予め学習された車両検出器に画像を入力することで、画像に表された、車両１０の周囲を走行する他の車両を検出してもよい。そして特定部３１は、検出された他の車両のうち、走路領域と重なり、かつ、画像上で最も下方に位置する他の車両が表された領域を、先行車両領域とすればよい。特定部３１は、このような車両検出器として、例えば、Single Shot MultiBox DetectorあるいはFaster R-CNNといった、物体検出用のDNNを用いることができる。このような車両検出器は、検出対象となる車両が表された多数の教師画像を用いて、誤差逆伝搬法といった所定の学習手法に従って予め学習される。

【0030】

特定部３１は、画像から走路領域を検出する度に、その走路領域を表す情報を抽出部３２へ通知する。また、特定部３１は、画像から先行車両領域を検出している場合には、その先行車両領域を表す情報も抽出部３２へ通知する。なお、走路領域を表す情報は、例えば、元の画像と同じサイズを有し、かつ、走路領域内の画素と走路領域外の画素とが異なる値を持つ画像とすることができる。先行車両領域を表す情報についても同様である。

【0031】

抽出部３２は、画像上の走路領域から、路面の状況を表す特徴量（以下では、この特徴量を、路面状況特徴量と呼ぶことがある）を抽出する。そのために、抽出部３２は、路面状況特徴量を抽出するように予め学習された特徴抽出器に画像の走路領域を入力する。特徴抽出器は、例えば、VGG16あるいはVGG19といった、複数の畳み込み層を有するCNN型のアーキテクチャを有するDNNにより構成される。また、特徴抽出器は、複数の畳み込み層よりも出力側に、１以上の全結合層を有していてもよい。ただし、最も出力側の畳み込み層（あるいは、最も出力側の畳み込み層とその層よりも入力側の何れかの畳み込み層）から出力される特徴マップが、特徴抽出器により出力される路面状況特徴量として利用される。特徴抽出器により出力される路面状況特徴量は、例えば、一つまたは複数の要素値を有する特徴量ベクトルとして表される。

【0032】

特徴抽出器は、路面に限らず、様々な種類の物体の何れかが表された多数の画像を用いて、それらの物体の分類が可能なように、誤差逆伝搬法といった所定の学習手法に従って予め学習される。これにより、路面状況特徴量は、画像に表される様々な情報を凝縮したものとなる。そのため、特徴抽出器は、走路領域に表される路面の状況を表す路面状況特徴量を出力することが可能となる。

【0033】

あるいは、特徴抽出器として、Auto-EncoderあるいはStacked What-Where Auto-Encodersといった、いわゆる教師無し学習により予め学習されるDNNが用いられてもよい。この場合、特徴抽出器は、入力側から順に、入力されたデータ（本実施形態では、走路領域）よりも次元が削減された特徴量を出力する符号化器と、符号化器から出力された特徴量が入力される復号器とを有する。そして特徴抽出器は、上記のような多数の画像を用いて、符号化器に入力されるデータと復号器から出力されるデータとが同じとなるように予め学習される。そして、学習済みの特徴抽出器に走路領域を入力することで符号化器が出力する特徴量が、路面状況特徴量として得られる。さらに、特徴抽出器として、Self Supervised Learningといった、自己教師有り学習手法により学習されるDNNが用いられてもよい。このような特徴抽出器を用いることで、抽出部３２は、色、形状及びサイズが不定な障害物が自車線上に存在する場合でも、自車線の路面の状況を適切に表す路面状況特徴量を得ることができる。

【0034】

また、抽出部３２は、特徴抽出器が画像のうちの走路領域のみに基づいて路面状況特徴量をもとめることができるように、画像において走路領域以外の各画素の値を所定値に置換することで走路領域以外をマスクする。そして抽出部３２は、走路領域以外がマスクされた画像を特徴抽出器に入力すればよい。あるいは、抽出部３２は、画像から走路領域を切り出し、切り出した走路領域を特徴抽出器に入力してもよい。この場合、切り出した走路領域が所定の形状及びサイズを持つ領域となるよう、抽出部３２は、切り出した走路領域に対してアップサンプリング、ダウンサンプリングあるいはパディングなどの前処理を実行してもよい。そして抽出部３２は、前処理が施された走路領域を特徴抽出器に入力するようにしてもよい。これにより、特徴抽出器に入力される走路領域の形状及びサイズが一定となるので、特徴抽出器を簡単化することが可能となる。

【0035】

さらに、自車線上を走行する先行車両が検出されている場合、抽出部３２は、走路領域のうち、車両１０から先行車両までの間の区間に相当する領域を、特徴抽出器に入力するようにしてもよい。すなわち、抽出部３２は、走路領域のうち、先行車両領域の下端よりも下方の領域を特徴抽出器に入力する。これにより、先行車両が路面状況特徴量の算出に影響することが防止される。

【0036】

抽出部３２は、抽出した路面状況特徴量を検知部３３へわたす。

【0037】

検知部３３は、抽出部３２から受け取った路面状況特徴量が、メモリ２２から読み込んだ正常範囲に含まれるか否か判定する。正常範囲は、上記のように、路面状況特徴量に対する、車両１０が通常走行可能な許容範囲を表す。正常範囲は、車両１０が通常走行可能なときの走路領域が表された多数の画像のそれぞれから抽出された路面状況特徴量を含み、車両１０が通常走行可能でないときの走路領域が表された多数の画像のそれぞれから抽出された路面状況特徴量を含まないように予め設定される。そして検知部３３は、正常範囲に、抽出部３２により抽出された路面状況特徴量が含まれない場合に、自車線において車両１０が通常走行可能でない異常な状況を検知する。一方、正常範囲に路面状況特徴量が含まれる場合、検知部３３は、そのような異常な状況を検知しない。

【0038】

検知部３３は、異常な状況を検知したか否かの判定結果を車両制御部３４へ通知する。

【0039】

車両制御部３４は、検知部３３から異常な状況が検知されたことが通知されると、その異常な状況によって車両１０に危険が生じることがないよう、車両１０の各部を制御する。例えば、車両制御部３４は、異常な状況が検知されたことが通知されると、車両１０を所定の減速度で減速させる。

【0040】

車両制御部３４は、設定された減速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３４は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３４は、設定されたアクセル開度に応じた電力を、車両１０を駆動するためのモータへ供給させるように、そのモータへの電力供給装置を制御する。あるいはまた、車両制御部３４は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

【0041】

さらに、車両制御部３４は、車両１０の車室内に設けられた通知機器を介して、ドライバに対して異常な状況が検知されたことを表す警告を通知してもよい。例えば、通知機器の一例として表示装置が設けられている場合、車両制御部３４は、表示装置に、異常な状況が検知されたことを表す警告メッセージまたはアイコンを表示させる。また、通知機器の他の一例としてスピーカが設けられている場合、車両制御部３４は、スピーカに、異常な状況が検知されたことを表す警告音声を出力させる。さらに、通知機器の他の一例として、ドライバシートまたはステアリングに振動子が設けられている場合、車両制御部３４は、その振動子を振動させる。さらにまた、通知機器の他の一例として、１以上の光源が設けられている場合、車両制御部３４は、各光源のうち、異常な状況が検知されたことに相当する光源を点灯または点滅させる。また、複数の通知機器が車室内に設けられている場合、車両制御部３４は、それら複数の通知機器のうちの二つ以上を介して、異常な状況が検知されたことを表す警告を通知してもよい。

【0042】

あるいは、車両制御部３４は、車両１０に適用される自動運転制御のレベルを低下させてもよい。例えば、Society of Automotive Engineers(SAE)により規定される、いわゆるレベル３の自動運転制御が車両１０に対して適用されている場合、車両制御部３４は、車両１０に適用される自動運転制御レベルを、レベル０～レベル２の何れかのレベルに低下させる。また、車両１０に対して適用されている自動運転制御のレベルがレベル２の運転制御である場合、車両制御部３４は、車両１０に適用される自動運転制御レベルを、レベル０またはレベル１に低下させる。あるいは、車両制御部３４は、車両１０のドライバに対してステアリングを保持することを要求してもよい。この場合も、車両制御部３４は、車両１０の車室内に設けられた通知機器を介して、ドライバに対して自動運転制御のレベルを変更することを通知する。すなわち、通知機器の一例として表示装置が設けられている場合、車両制御部３４は、表示装置に、適用される自動運転制御のレベルを変更すること、及び、変更後のレベルを表す通知メッセージまたはアイコンを表示させる。また、通知機器の他の一例としてスピーカが設けられている場合、車両制御部３４は、スピーカに、適用される自動運転制御のレベルを変更すること、及び、変更後のレベルを表す通知音声を出力させる。さらに、通知機器の他の一例として、ドライバシートまたはステアリングに振動子が設けられている場合、車両制御部３４は、その振動子を、適用される自動運転制御のレベルの変更に応じた方式で振動させる。さらにまた、通知機器の他の一例として、１以上の光源が設けられている場合、車両制御部３４は、各光源のうち、変更後の自動運転制御のレベルに相当する光源を点灯または点滅させる。また、複数の通知機器が車室内に設けられている場合、車両制御部３４は、それら複数の通知機器のうちの二つ以上を介して、適用される自動運転制御のレベルを変更することを通知してもよい。

【0043】

あるいはまた、車両制御部３４は、車両１０の減速及び適用される自動運転制御のレベルの変更の何れも実施せず、車室内に設けられた通知機器を介して、ドライバに対して異常な状況が検知されたことを表す警告を通知するだけでもよい。

【0044】

図４は、本実施形態による異常検知処理の一例を説明する図である。図４に示される画像４００において、自車線が表された走路領域４０１が特定される。この例では、自車線を走行する先行車両が存在するため、先行車両が表された先行車両領域４０２も特定される。先行車両領域４０２の下端は、先行車両の後端の位置あるいは先行車両の後輪の位置を表すと想定される。したがって、走路領域４０１のうち、先行車両領域４０２の下端よりも下方の領域４０１ａが特徴抽出器４１０に入力され、特徴抽出器４１０から路面状況特徴量Fが抽出される。抽出された路面状況特徴量Fが正常範囲NRに含まれていると、異常は検知されず、一方、路面状況特徴量Fが正常範囲NRから外れていると、異常が検知される。

【0045】

図５は、プロセッサ２３により実行される、異常検知処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、所定の周期ごとに、以下の動作フローチャートに従って車両制御処理を実行する。

【0046】

プロセッサ２３の特定部３１は、カメラ２により得られた最新の画像において、自車線が表された走路領域を特定する（ステップＳ１０１）。また、特定部３１は、その画像において、先行車両が表された先行車両領域を特定する（ステップＳ１０２）。

【0047】

プロセッサ２３の抽出部３２は、画像上の走路領域のうち、先行車両領域を除いた領域から、路面状況特徴量を抽出する（ステップＳ１０３）。そしてプロセッサ２３の検知部３３は、路面状況特徴量が正常範囲に含まれるか否か判定する（ステップＳ１０４）。路面状況特徴量が正常範囲に含まれない場合（ステップＳ１０４－Ｎｏ）、検知部３３は、自車線において車両１０が通常走行可能でない異常な状況を検知する（ステップＳ１０５）。そしてプロセッサ２３の車両制御部３４は、検知された異常な状況によって車両１０に危険が生じることがないよう、車両１０を減速し、あるいは、車両１０に適用される自動運転制御のレベルを低下させる（ステップＳ１０６）。

【0048】

一方、ステップＳ１０４において、路面状況特徴量が正常範囲に含まれる場合（ステップＳ１０４－Ｙｅｓ）、検知部３３は、自車線において車両１０が通常走行可能でない異常な状況を検知しない。そして車両制御部３４は、車両１０に対して現在適用されている車両１０の制御を継続する（ステップＳ１０７）。

【0049】

ステップＳ１０６またはＳ１０７の後、プロセッサ２３は、車両制御処理を終了する。

【0050】

以上に説明してきたように、この異常検知装置は、車両に設けられた撮像部により生成された車両の周囲を表す画像において、自車線が表された走路領域を特定する。さらに、この異常検知装置は、画像の走路領域を特徴抽出器に入力することで、路面状況特徴量を抽出する。そしてこの異常検知装置は、抽出された路面状況特徴量が、車両が通常走行可能なことを表す正常範囲に含まれるか否か判定し、その特徴量が正常範囲から外れる場合、自車線において車両が通常走行可能でない異常な状況を検知する。これにより、この異常検知装置は、自車線において、落下物あるいは道路の欠陥といった、色、形状及びサイズが不定な障害物が存在する場合でも、異常な状況を精度良く検知することができる。

【0051】

変形例によれば、車両制御部３４は、異常な状況が検知された継続期間に応じて、車両１０に適用される制御を変更してもよい。例えば、異常な状況が検知された継続期間が第１の期間閾値未満である場合、車両制御部３４は、通知機器を介してドライバに異常な状況が検知されたことを警告する。また、異常な状況が検知された継続期間が第１の期間閾値以上、かつ、第２の期間閾値未満（ただし、第２の期間閾値＞第１の期間閾値）になると、車両制御部３４は、車両１０に適用される自動運転制御のレベルを低下させる。さらに、異常な状況が検知された継続期間が第２の期間閾値以上になると、車両制御部３４は、車両１０を減速させる。このように、異常な状況が検知された継続期間に応じて車両１０に対して適用される制御を変更することで、車両制御部３４は、車両１０に危険が生じないようにより適切に車両１０を制御することができる。

【0052】

他の変形例によれば、路面状況特徴量が正常範囲から外れている場合に、車両制御部３４は、路面状況特徴量から正常範囲までの距離に応じて、車両１０に適用される制御を変更してもよい。例えば、路面状況特徴量から正常範囲までの距離が第１の距離閾値未満である場合、車両制御部３４は、通知機器を介してドライバに異常な状況が検知されたことを警告する。また、路面状況特徴量から正常範囲までの距離が第１の距離閾値以上、かつ、第２の距離閾値未満（ただし、第２の距離閾値＞第１の距離閾値）になると、車両制御部３４は、車両１０に適用される自動運転制御のレベルを低下させる。さらに、路面状況特徴量から正常範囲までの距離が第２の距離閾値以上になると、車両制御部３４は、車両１０を減速させる。このように、路面状況特徴量から正常範囲までの距離に応じて車両１０に対して適用される制御を変更することで、車両制御部３４は、車両１０に危険が生じないようにより適切に車両１０を制御することができる。

【0053】

上記の実施形態または変形例による、ＥＣＵ３のプロセッサ２３の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

【0054】

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

【符号の説明】

【0055】

１ 車両制御システム
１０ 車両
２ カメラ
３ 電子制御装置(ＥＣＵ、異常検知装置)
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 特定部
３２ 抽出部
３３ 検知部
３４ 車両制御部

【図1】

【図2】

【図3】

【図4】

【図5】