特許 6048384 画像判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6048384

(24)【登録日】2016年12月2日

(45)【発行日】2016年12月21日

(54)【発明の名称】画像判定装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20161212BHJP

   B60R 1/00 20060101ALI20161212BHJP

【ＦＩ】

   G08G1/16 C

   B60R1/00 A

【請求項の数】1

【全頁数】8

(21)【出願番号】特願2013-256497(P2013-256497)

(22)【出願日】2013年12月11日

(65)【公開番号】特開2015-114848(P2015-114848A)

(43)【公開日】2015年6月22日

【審査請求日】2016年2月15日

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】西嶋 征和

【審査官】 島倉 理

(56)【参考文献】

【文献】 特開２００２−９４９７８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／０２０６５１１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ １／００

(57)【特許請求の範囲】

【請求項1】

カメラの撮影画像中の付着物又は写り込みの有無を判定する画像判定装置であって、
前記撮影画像中の画像データから画像特徴量の画素点を検出する特徴量検出手段と、自車両の旋回状態を検出する旋回状態検出手段と、を備え、
自車両が直進走行しているときの画像特徴量の画素点の位置と、自車両が旋回走行しているときの画像特徴量の画素点の位置と、の差が所定値以下である場合に、前記撮影画像中に付着物又は写り込みがあると判定することを特徴とする画像判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、カメラの撮影画像中の付着物又は写り込みの有無を判定する画像判定装置に関する。

【背景技術】

【0002】

自車両前方を撮影するカメラに付着した付着物の検出方法に関する技術が知られている（例えば特許文献１参照）。特許文献１に開示された装置は、最新の画像データと過去の画像データの特徴量の画素点を比較し、所定時間連続して一致する画素点を検出することにより、カメラの付着物の有無を検出している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−１７２５０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、例えば、自車両が直進して走行している場合、道路の白線等の車線や路側帯は同一の画素点として検出されてしまう。そのため、特許文献１に開示された装置では、カメラのレンズへの付着物や画像への写り込みがないにもかかわらず、付着物や写り込みがあると誤判定する虞がある。

【0005】

そこで、上述の点に鑑み、カメラの撮影画像中の付着物又は写り込みの有無を正確に判定することができる画像判定装置を提供することが望ましい。

【課題を解決するための手段】

【0006】

本開示の一局面によれば、カメラの撮影画像中の付着物又は写り込みの有無を判定する画像判定装置であって、前記撮影画像中の画像データから画像特徴量の画素点を検出する特徴量検出手段と、自車両の旋回状態を検出する旋回状態検出手段と、を備え、自車両が直進走行しているときの画像特徴量の画素点の位置と、自車両が旋回走行しているときの画像特徴量の画素点の位置と、の差が所定値以下である場合に、前記撮影画像中に付着物又は写り込みがあると判定することを特徴とする画像判定装置が得られる。

【発明の効果】

【0007】

本開示によれば、カメラの撮影画像中の付着物又は写り込みの有無を正確に判定することができる画像判定装置が得られる。

【図面の簡単な説明】

【0008】

【図1】自車両が直進走行している場合における車線のエッジ点の検出方法を説明する図（図１（ａ））、自車両がカーブ走行している場合における車線のエッジ点の検出方法を説明する図（図１（ｂ））である。

【図2】自車両が直進走行している場合におけるオブジェクトのエッジ点の検出方法を説明する図（図２（ａ））、自車両がカーブ走行している場合におけるオブジェクトのエッジ点の検出方法を説明する図（図２（ｂ））である。

【図3】一実施例に係る画像判定装置の制御装置の処理動作を説明するフローチャートである。

【発明を実施するための形態】

【0009】

以下、一実施形態に係る画像判定装置について説明する。

【0010】

（画像判定装置の構成）
本実施形態に係る画像判定装置は、カメラによって撮影した車外環境を認識する車外環境認識システムにおける、カメラの撮影画像中の付着物又はオブジェクト１５等の写り込みの有無を判定する装置である。具体的には、画像判定装置１は、自車両のハンドルの操舵角等が異なる２種類の画像データから検出した画像特徴量の画素点を比較して、付着物、又は、オブジェクト１５等の写り込みの有無の判定を行うものである。より詳細には、オブジェクトの存在があると認められる場合に、「写り込みオブジェクトあり」の判定を行う。

【0011】

画像特徴量とは、カメラによって撮影した撮影画像フレーム１０上において、画素値の変化が生じる位置（画素点）の画素値変化量のことをいう。以下の説明において、画素値の変化が生じる画素点のことをエッジ点といい、エッジ点の座標のことをエッジ座標という。エッジ座標は、ｘ軸方向の座標（ｘ座標）、ｙ軸方向の座標（ｙ座標）として表される（図１、２参照）。以下、詳細に説明する。

【0012】

画像判定装置は、該装置を統括的に制御する制御装置を備えている。

【0013】

カメラは、自車両周辺（例えば、自車両の進行方向）を所定の画角で撮像して、その撮像画像を出力する撮像手段である。自車両の進行方向は、前進方向でも、後進方向でもよい。

【0014】

制御装置は、中央演算処理装置（ＣＰＵ）、読込専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、等を備えている。

【0015】

制御装置には、車両の速度を検出する車速センサと、ステアリングセンサと、が接続されている。なお、ステアリングセンサの代わりにヨーレートセンサが接続されていてもよい。

【0016】

車速センサは、例えば自車両の車輪に取り付けられており、車輪の速度に関する車輪速情報を取得する。車速センサは、取得した車輪速度に関する車輪速情報を制御装置に送信する。

【0017】

ステアリングセンサは、例えば自車両のステアリングロッドに取り付けられており、運転者が操作したステアリングの操舵角を検出する。ステアリングセンサは、検出した操舵角に関する操舵角情報を制御装置に送信する。

【0018】

ヨーレートセンサは、例えば自車両の車体に取り付けられており、自車両が路面に対し水平に回転する際のヨーレート（旋回方向への回転角の変化速度）を検出するとともに、自車両の前後左右の加速度を検出している。ヨーレートセンサは、検出したヨーレートに関するヨーレート情報を制御装置に送信する。

【0019】

（制御装置の構成）
次に、制御装置の構成について説明する。

【0020】

制御装置は、カメラで撮影された撮影画像を画像データとして検出して、撮影画像中の画像データから画像特徴量の画素点を検出する特徴量検出手段と、自車両の操舵角の変化、或いは、ヨーレートの有無（旋回状態）を検出する旋回状態検出手段と、通知手段と、を含んで構成されている。

【0021】

（制御装置の制御機構）
次に、制御装置の制御機構について説明する。

【0022】

車速センサにより自車両の車輪速情報を検出すると、その車輪速情報が制御装置に送信される。送信された車輪速情報が所定値以上である場合は、ステアリングセンサ、或いは、ヨーレートセンサによって検出された操舵角情報或いはヨーレート情報が制御装置に送信される。制御装置は、該操舵角情報或いは該ヨーレート情報（旋回状態の情報）に基づき、自車両の旋回状態の検出を行う。この検出は、操舵角情報或いはヨーレート情報に基づき、旋回状態検出手段が行う。次いで、旋回状態検出手段によって自車両のハンドル操舵角に変化があるとの検出結果が得られた場合、カメラによって撮影された画像特徴量のエッジ点の位置の検出が行われる。この検出は、制御装置が備える特徴量検出手段によって行う。そして、自車両のハンドル操舵角変化前後の画像特徴量のエッジ点の位置、すなわち、エッジ座標を比較する。そして、エッジ座標に差が認められない場合には、制御装置によって、「写り込みオブジェクトあり」と判定するとともに、その旨を通知手段によって運転者に通知する。

【0023】

（エッジ点の検出方法）
次に、操舵角変化前後の画像特徴量のエッジ点の検出方法について、図面を参照しながら詳細に説明する。図１は、自車両が直進走行している場合における車線のエッジ点の検出方法を説明する図（図１（ａ））、自車両がカーブ走行している場合における車線のエッジ点の検出方法を説明する図（図１（ｂ））である。また、図２は、自車両が直進走行している場合におけるオブジェクト１５のエッジ点の検出方法を説明する図（図２（ａ））、自車両がカーブ走行している場合におけるオブジェクト１５のエッジ点の検出方法を説明する図（図２（ｂ））である。上段の図はカメラによる撮影画像フレーム１０の一例を示し、下段のグラフは撮影画像フレーム１０の画素値の分布を示す。なお、図１（ｂ）においては、自車両が左カーブ走行をしている状態を図示している。

【0024】

まず、図１上段の図のカメラによる撮影画像フレーム１０について説明する。自車両が直進走行している場合、図１（ａ）に示すように、左右の車線位置が、エッジ点（Ａ１〜Ａ４点参照）として表れる。

【0025】

このエッジ点の検出は、注目画素値に対する、左画素値の差分値を順次演算することによって行う。この演算は、制御装置のＣＰＵによって行う。ここで、注目画素値とは、撮影画像フレーム１０中の水平方向に延在する線分Ｌ−Ｌ（図１（ａ）中、破線部分）上の検出対象の注目画素の画素値のことをいう。また、左画素値とは、この注目画素に隣接する左画素の画素値のことをいう。本実施形態においては、隣接する画素値を比較することによって、エッジ点の検出を行う。

【0026】

図１（ａ）に示すように、注目画素値と左画素値が異なる場合、その変化量がエッジ点として下段のグラフ上に図示される（Ａ１〜Ａ４点参照）。画素値変化量（画像特徴量）に基づいてエッジ点が検出されることになり、これに伴ってエッジ座標が検出される。急激に画素値が変化する程、エッジ点の変化の度合いが顕著に現れる。

【0027】

なお、自車両がカーブ走行している場合（図１（ｂ）参照）も、自車両が直進走行している場合（図１（ａ）参照）と同様であるため、詳細な説明は省略する。

【0028】

ここで、運転者が、直進走行からカーブ走行（旋回走行）に切り替えることにより、操舵角を変化させた場合について考える。図１（ａ）、（ｂ）に示すように、カメラによる撮影画像フレーム１０中の対応する車線幅（ｍ１及びｍ３、ｍ２及びｍ４）が変化することになる。すなわち、操舵角変化前後のエッジ点の位置（エッジ座標）も変化する。具体的には、対応するエッジ点（Ａ１点及びＡ５点、Ａ２点及びＡ６点、Ａ３点及びＡ７点、Ａ４点及びＡ８点）の各ｘ、ｙ座標が、それぞれ異なることになる。したがって、白線等の車線がカメラによって写し出された場合、車外環境認識システムは、これを車線であると認識する。

【0029】

ところで、自車両内のダッシュボード等には、物１５（オブジェクト）が置かれている場合も想定される。このような場合には、フロントガラスにオブジェクト１５が写し出される可能性があり、カメラの撮影範囲内に余計なコントラストが発生してしまい、車外環境認識システムが、このコントラストを車線であると誤認識してしまう虞がある。

【0030】

しかしながら、ダッシュボード上に置かれているオブジェクト１５の相対的な位置関係は自車両の旋回状態（直進走行若しくはカーブ走行）によって変化することはほとんどない。そのため、コントラスト部分（画像特徴量）におけるエッジ点の位置（エッジ座標）も、操舵角の変化前後でほぼ一致することになる。直進走行とカーブ走行とでエッジ座標を比較すると、図２（ａ）、（ｂ）に示すように、下段のグラフには同一の位置にエッジ点が図示されることになる（Ａ９〜Ａ１２点参照）。具体的には、対応するエッジ点である、Ａ９点及びＡ１１点のｘ、ｙ座標がそれぞれ同一の値となり、Ａ１０点及びＡ１２点のｘ、ｙ座標がそれぞれ同一の値となる。この場合は、画像判定装置によって、「写り込みオブジェクトあり」との判定を行う。

【0031】

したがって、本実施形態に係る画像判定装置によれば、車外環境認識システムが、オブジェクト１５が写し出されることによるコントラストを車線であると誤認識することはない。

【0032】

なお、オブジェクト１５のエッジ点の検出方法は、車線のエッジ点の検出方法と基本的に同様であるため、詳細な説明は省略する。

【0033】

（制御装置による制御処理）
次に、制御装置の制御処理の流れについて、図３のフローチャートを参照しながら説明する。図３は、一実施例に係る画像判定装置の制御装置の処理動作を説明するフローチャートである。

【0034】

最初に、現在の自車両の走行速度を読み取る。この読み取りは、車速センサによる車輪速情報を制御装置に送信することによって行う。そして、自車両の走行速度が所定速度以上であるか否かの判定を制御装置によって行う（ステップＳ１）。本実施形態においては、所定速度は、時速５０ｋｍと設定している。

【0035】

自車両の走行速度が時速５０ｋｍ以上である場合（ステップＳ１のＹｅｓ）、画像判定装置が備える制御装置によって、自車両のハンドルの操舵角或いはヨーレートに変化が認められるか否かの判定を行う（ステップＳ２）。自車両のハンドルの操舵角或いはヨーレートは、制御装置に接続されているステアリングセンサ、或いは、ヨーレートセンサによって検出される。これら検出情報が制御装置に送信されることによって、時々刻々の自車両のハンドルの操舵角等の変化状況が判定される。この判定は制御装置が備える旋回状態検出手段によって行う。

【0036】

旋回状態検出手段によって、例えば、自車両のハンドルの操舵角に変化があると判定されると（ステップＳ２のＹｅｓ）、自車両のハンドルの操舵角が変化する前後の撮影画像フレームのエッジ点の位置（エッジ座標）の検出を行う。具体的には、操舵角変化前のカメラによる過去の撮影画像フレーム（以下「過去のフレーム」という）のエッジ座標検出（ステップＳ３）、及び、操舵角変化後のカメラによる現在の撮影画像フレーム（以下「現在のフレーム」という）のエッジ座標の検出（ステップＳ４）を行う。エッジ座標の検出方法は上述した通りである。これらのエッジ座標の検出は、制御装置が備える特徴量検出手段によって行う。

【0037】

続いて、現在及び過去のフレームのエッジ座標の比較を行う（ステップＳ５）。エッジ座標に差がない、若しくは、その差が微小であると判定される場合（ステップＳ５のＹｅｓ）は、自車両内のダッシュボード等にオブジェクト１５が置かれている、すなわち、「写り込みオブジェクトあり」と判定する。オブジェクト１５の位置は、旋回状態によって変化しない場合が多いからである。なお、「写り込みオブジェクトあり」との判定は、制御装置が備える通知手段によって運転者に通知される（ステップＳ６）。

【0038】

制御装置には、さらに、特徴量差演算手段が備えられており、現在及び過去のフレームのエッジ座標の比較は、この特徴量差演算手段によって行われる。具体的には、現在のフレームのエッジ座標に対する過去のフレームのエッジ座標の差分値を演算することによって行う。差分値の有無によって、現在及び過去のフレームのエッジ座標の比較を行う。この演算は、各エッジ点（図１、２中、Ａ１〜Ａ１２点参照）の、操舵角変化前後における、対応するエッジ点のｘ、ｙ座標の差分値を演算することによって行う。

【0039】

一方、現在及び過去のフレームのエッジ座標の比較を行った結果、エッジ座標に変化があると判定される場合（ステップＳ５のＮｏ）は、画像判定装置による「写り込みオブジェクトあり」の判定は行わず、そのまま処理を終了する。

【0040】

また、自車両のハンドルの操舵角等に変化がないと判定される場合は（ステップＳ２のＮｏ）、車外風景の変化が小さいと考えられるため、現在及び過去のフレームのエッジ座標検出を行うことなく処理を終了する
そして、自車両の走行速度が時速５０ｋｍ未満である場合（ステップＳ１のＮｏ）は、車外環境認識システムは停止状態であるため、画像判定装置による旋回状態の判定、「写り込みオブジェクトあり」の判定等は行わずに、そのまま処理を終了する。車外環境にほとんど変化がないと考えられるためである。例えば、自車両が停止しており、車速センサによる車速情報が時速０ｋｍを示している場合は車外環境に変化はないため、画像判定装置による旋回状態の判定、「写り込みオブジェクトあり」の判定等は行うことなく、そのまま処理を終了する。

【0041】

以上のように構成されているため、本実施形態に係る画像判定装置によれば、フロントウインドウの反射によって生じたオブジェクト１５の写り込み、又は、カメラのレンズに付着した付着物等を、車線や路側帯等と誤って認識してしまい、車外環境認識システムの認識精度が低下することはない。このため、車外環境認識システムが、誤認識することを効果的に防止することができる。

【0042】

以上、本発明の好ましい実施の形態について詳説したが、本発明は、上述した実施の形態に限定されることはなく、本発明の範囲を逸脱することなく、上述した実施の形態に種々の変形及び置換を加えることができる。

【符号の説明】

【0043】

１０ 撮影画像フレーム
１５ オブジェクト

【図1】

【図2】

【図3】