知財求人 - 知財ポータルサイト「IP Force」
▶ アイシン精機株式会社の特許一覧 ▶ 株式会社豊田中央研究所の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-11
(45)【発行日】2025-03-19
(54)【発明の名称】環境認識装置、及びプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20250312BHJP
G05D 1/243 20240101ALI20250312BHJP
G05D 1/245 20240101ALI20250312BHJP
G06T 7/70 20170101ALI20250312BHJP
G06V 20/56 20220101ALI20250312BHJP
G06T 7/00 20170101ALI20250312BHJP
G05D 1/43 20240101ALN20250312BHJP
【ＦＩ】
G08G1/16 C
G05D1/243
G05D1/245
G06T7/70 A
G06V20/56
G06T7/00 650B
G06T7/00 650A
G05D1/43
【請求項の数】
7
(21)【出願番号】P 2024503139
(86)(22)【出願日】2023-02-20
(86)【国際出願番号】 JP2023006049
(87)【国際公開番号】W WO2023162932
(87)【国際公開日】2023-08-31
【審査請求日】2024-05-07
(31)【優先権主張番号】P 2022027041
(32)【優先日】2022-02-24
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(73)【特許権者】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】早川 和孝
(72)【発明者】
【氏名】上田 康貴
(72)【発明者】
【氏名】浅井 彰司
【審査官】上野 博史
(56)【参考文献】
【文献】特開平１１－２０３４４６（ＪＰ，Ａ）
【文献】特開２０１３－０４７９３４（ＪＰ，Ａ）
【文献】特開２０１８－００５８３８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／１６
Ｇ０５Ｄ １／２４３
Ｇ０５Ｄ １／２４５
Ｇ０６Ｔ ７／７０
Ｇ０６Ｖ ２０／５６
Ｇ０６Ｔ ７／００
Ｇ０５Ｄ １／４３
(57)【特許請求の範囲】
【請求項1】
移動体に搭載され当該移動体の周囲の環境を撮影する撮影装置により撮影された画像から環境中の照明装置の３次元位置を推定する３次元位置推定部と、前記移動体の位置情報を取得する位置情報取得部と、
前記移動体の第１の時点で前記撮影装置により撮影された画像から推定した前記照明装置の３次元位置と前記移動体の第２の時点での前記位置情報とに基づいて、当該第２の時点で前記撮影装置により撮影された画像において前記照明装置から照射される照明光を反射する路面反射領域を推定する路面反射領域推定部と、
前記照明光を反射する前記路面反射領域を除いた画像領域から環境を認識する環境認識部と、を備え、
前記３次元位置推定部は、前記照明装置の画像上位置と前記照明光が路面で鏡面反射する路面上の鏡面反射領域の画像上位置に基づいて、照明装置の３次元位置を推定する、
環境認識装置。
【請求項2】
移動体に搭載され当該移動体の周囲の環境を撮影する撮影装置により撮影された画像から環境中の照明装置の３次元位置を推定する３次元位置推定部と、
前記移動体の位置情報を取得する位置情報取得部と、
前記移動体の第１の時点で前記撮影装置により撮影された画像から推定した前記照明装置の３次元位置と前記移動体の第２の時点での前記位置情報とに基づいて、当該第２の時点で前記撮影装置により撮影された画像において前記照明装置から照射される照明光を反射する路面反射領域を推定する路面反射領域推定部と、
前記照明光を反射する前記路面反射領域を除いた画像領域から環境を認識する環境認識部と、を備え、
前記第１の時点は、前記撮影装置により撮影された画像に前記照明装置が写る時点であり、
前記第２の時点は、前記撮影装置により撮影された画像に前記照明装置が写らない時点である、
環境認識装置。
【請求項3】
前記位置情報取得部は、オドメトリ情報に基づいて前記位置情報を取得する請求項１または２に記載の環境認識装置。
【請求項4】
前記路面反射領域は、前記第２の時点での前記照明光が路面で鏡面反射する路面上の鏡面反射領域から前記移動体側と前記照明装置側とに予め定められた距離の領域である請求項１または２に記載の環境認識装置。
【請求項5】
前記路面反射領域は、前記第２の時点での前記照明光が路面で鏡面反射する路面上の鏡面反射領域に予め定められた係数をかけて当該鏡面反射領域の大きさを変更して算出する請求項１または２に記載の環境認識装置。
【請求項6】
コンピュータを移動体に搭載され当該移動体の周囲の環境を撮影する撮影装置により撮影された画像から環境中の照明装置の３次元位置を推定する３次元位置推定部と、
前記移動体の位置情報を取得する位置情報取得部と、
前記移動体の第１の時点で前記撮影装置により撮影された画像から推定した照明装置の３次元位置と前記移動体の第２の時点での前記位置情報とに基づいて、当該第２の時点で前記撮影装置により撮影された画像において前記照明装置から照射される照明光が反射する路面反射領域を推定する路面反射領域推定部と、
前記照明光が反射する前記路面反射領域を除いた画像領域から環境を認識する環境認識部と、して機能させるためのプログラムであって、
前記３次元位置推定部は、前記照明装置の画像上位置と前記照明光が路面で鏡面反射する路面上の鏡面反射領域の画像上位置に基づいて、照明装置の３次元位置を推定する、
プログラム。
【請求項7】
コンピュータを
移動体に搭載され当該移動体の周囲の環境を撮影する撮影装置により撮影された画像から環境中の照明装置の３次元位置を推定する３次元位置推定部と、
前記移動体の位置情報を取得する位置情報取得部と、
前記移動体の第１の時点で前記撮影装置により撮影された画像から推定した照明装置の３次元位置と前記移動体の第２の時点での前記位置情報とに基づいて、当該第２の時点で前記撮影装置により撮影された画像において前記照明装置から照射される照明光が反射する路面反射領域を推定する路面反射領域推定部と、
前記照明光が反射する前記路面反射領域を除いた画像領域から環境を認識する環境認識部と、して機能させるためのプログラムであって、
前記第１の時点は、前記撮影装置により撮影された画像に前記照明装置が写る時点であり、
前記第２の時点は、前記撮影装置により撮影された画像に前記照明装置が写らない時点である、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は環境認識装置、及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、自動車の照明装置の３次元位置を推定し、照明装置から照射される照射光が路面で鏡面反射するとして鏡面反射領域を推定する。そして鏡面反射領域を距離方向と幅方向とに拡大縮小する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第５８９２８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載の技術では、常に画像に自動車の照明装置が写っている必要があり、画像に照明装置が写らない場合は、鏡面反射領域を推定できない。
【0005】
本発明は上記事実を考慮して成されたもので、画像に照明装置が写っているかを問わず、照明装置から照射される照明光が路面で反射することに起因する環境の誤認識を防止することができる環境認識装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
第１の態様に係る環境認識装置は、移動体に搭載され当該移動体の周囲の環境を撮影する撮影装置により撮影された画像から環境中の照明装置の３次元位置を推定する３次元位置推定部と、前記移動体の位置情報を取得する位置情報取得部と、前記移動体の第１の時点で前記撮影装置により撮影された画像から推定した前記照明装置の３次元位置と前記移動体の第２の時点での前記位置情報とに基づいて、当該第２の時点で前記撮影装置により撮影された画像において前記照明装置から照射される照明光を反射する路面反射領域を推定する路面反射領域推定部と、前記照明光を反射する前記路面反射領域を除いた画像領域から環境を認識する環境認識部と、を備える。
【0007】
第１の態様の環境認識装置によれば、画像に照明装置が写っているかを問わず、照明装置から照射される照明光が路面で反射することに起因する環境の誤認識を防止することができる環境認識装置を提供することが可能となる。
【0008】
第２の態様に係る環境認識装置において、前記３次元位置推定部は、前記照明装置の画像上位置と前記照明光が路面で鏡面反射する路面上の鏡面反射領域の画像上位置に基づいて、照明装置の３次元位置を推定することを特徴とする。
【0009】
第２の態様の環境認識装置によれば、照明装置の３次元位置を推定することができる環境認識装置を提供することが可能となる。
【0010】
第３の態様に係る環境認識装置において、前記位置情報取得部は、オドメトリ情報に基づいて前記位置情報を取得する。
【0011】
第３の態様の環境認識装置によれば、オドメトリ情報に基づいて移動体の位置情報を取得することができる環境認識装置を提供することが可能となる。
【0012】
第４の態様に係る環境認識装置において、前記路面反射領域は、前記第２の時点での前記照明光が路面で鏡面反射する路面上の鏡面反射領域から前記移動体側と前記照明装置側とに予め定められた距離の領域である。
【0013】
第４の態様の環境認識装置によれば、鏡面反射領域に加え、車両から照明装置までの間にある鏡面反射領域の周囲の領域についても除いて環境を認識することにより、誤認識を防止することができる環境認識装置を提供することが可能となる。
【0014】
第５の態様に係る環境認識装置において、前記路面反射領域は、前記第２の時点での前記照明光が路面で鏡面反射する路面上の鏡面反射領域に予め定められた係数をかけて当該鏡面反射領域の大きさを変更して算出する。
【0015】
第５の態様の環境認識装置によれば、鏡面反射領域を路面の状況に合わせて変更して路面反射領域を算出することができる環境認識装置を提供することが可能となる。
【0016】
第６の態様に係る環境認識装置において、前記第１の時点は、前記撮影装置により撮影された画像に前記照明装置が写る時点であり、前記第２の時点は、前記撮影装置により撮影された画像に前記照明装置が写らない時点である。
【0017】
第６の態様の環境認識装置によれば、第２の時点で画像に照明装置が写っていない場合でも、照明装置から照射される照明光が路面で反射することに起因する環境の誤認識を防止することができる環境認識装置を提供することが可能となる。
【0018】
第７の態様に係るプログラムは、コンピュータを移動体に搭載され当該移動体の周囲の環境を撮影する撮影装置により撮影された画像から環境中の照明装置の３次元位置を推定する３次元位置推定部と、前記移動体の位置情報を取得する位置情報取得部と、前記移動体の第１の時点で前記撮影装置により撮影された画像から推定した照明装置の３次元位置と前記移動体の第２の時点での前記位置情報とに基づいて、当該第２の時点で前記撮影装置により撮影された画像において前記照明装置から照射される照明光が反射する路面反射領域を推定する路面反射領域推定部と、前記照明光が反射する前記路面反射領域を除いた画像領域から環境を認識する環境認識部と、して機能させる。
【0019】
第７の態様のプログラムによれば、画像に照明装置が写っているかを問わず、照明装置から照射される照明光が路面で反射することに起因する環境の誤認識を防止することができるプログラムを提供することが可能となる。
【発明の効果】
【0020】
本発明は、画像に照明装置が写っているかを問わず、照明装置から照射される照明光が路面で反射することに起因する環境の誤認識を防止することができる、という効果を有する。
【図面の簡単な説明】
【0021】
【図1】本実施形態に係る環境認識システムの構成の一例を示したブロック図である。
【図2】本実施形態に係る環境認識装置の概略ブロック図である。
【図3】本実施形態に係る環境認識装置の機能構成の例を示すブロック図である。
【図4】本実施形態に係る車両の移動前に撮影された画像の一例を説明するための説明図である。
【図5】本実施形態に係る照明装置の３次元位置を推定する一例を説明するための説明図である。
【図6】本実施形態に係る車両のオドメトリ情報と移動後の路面反射領域との一例を説明するための説明図である。
【図7】本実施形態に係る路面反射領域を推定する一例を説明するための説明図である。
【図8】本実施形態に係る路面反射領域を推定する一例を説明するための説明図である。
【図9】本実施形態に係る車両の移動後の画像の一例を説明するための説明図である。
【図10】本実施形態に係る環境認識装置の動作の流れの一例を説明するための説明図である。
【発明を実施するための形態】
【0022】
以下、図面を参照して本実施形態の一例を詳細に説明する。
【0023】
図１に示すように、本実施形態に係る環境認識システム１０は、撮影装置１００、車輪速センサ２００、操舵角センサ２１０、及び環境認識装置３００から構成されている。
【0024】
撮影装置１００は、移動体に搭載され、当該移動体の周囲の環境を撮影する。本実施形態では、移動体について、車両を例に説明する。
【0025】
また、撮影装置１００は、車両の移動前の画像と移動後の画像とを撮影する。ここで、移動前は、第１の時点の一例である。また、移動前の画像は、車両の運転手などが、駐車場などで車両を自動運転モードに切り替えて自動で車庫入れをする操作を行った際の画像である。なお、移動前の画像は、停止されている時の画像に限定されず、移動中のある時点の画像を含むものである。また、移動後は、第２の時点の一例である。また、移動後の画像は、車両の運転手などが、駐車場などで車両を自動運転モードに切り替えて自動で車庫入れをする操作を行った後車両が移動した際の画像である。なお、移動後の画像は、停止されている時の画像に限定されず、移動中のある時点の画像を含むものである。また、画像は、車両の運転手などが、駐車場などで車両を自動運転モードに切り替えて自動で車庫入れをする操作を行うことを契機に撮影される場合に限定されず、車両の車速が予め定められた車速範囲内の場合に撮影をしてもよいし、又、常に撮影していてもよい。
【0026】
撮影装置１００は、車両のいずれかの場所、例えば、側部に設けられた単眼カメラであり、車両の前方、側方、後方などを撮影する。なお、撮影装置１００は、車両の側部に設けられる場合に限定されず、前部や後部などでもよいし、又、複数箇所に設けられてもよい。また、撮影装置１００は、単眼カメラに限定されず、複眼カメラであってもよい。
【0027】
撮影装置１００は、撮影した画像を、環境認識装置３００に渡す。
【0028】
車輪速センサ２００は、車両の４輪の車輪速を検出し、検出した車輪速を、環境認識装置３００に渡す。
【0029】
操舵角センサ２１０は、車両の操舵角を検出し、検出した操舵角を、環境認識装置３００に渡す。
【0030】
【0031】
図２に示すように、環境認識装置３００は、プロセッサの一例であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３、ストレージ３０４、入力部３０５、表示部３０６、通信部３０７を有する。各構成は、バス３０８を介して相互に通信可能に接続されている。
【0032】
ＣＰＵ３０１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ３０１は、ＲＯＭ３０２又はストレージ３０４からプログラムを読み出し、ＲＡＭ３０３を作業領域としてプログラムを実行する。ＣＰＵ３０１は、ＲＯＭ３０２又はストレージ３０４に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ３０２又はストレージ３０４には、プログラムが格納されている。
【0033】
ＲＯＭ３０２は、各種プログラムおよび各種データを格納する。ＲＡＭ３０３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ３０４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。
【0034】
入力部３０５は、マウス等のポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。
【0035】
表示部３０６は、例えば、液晶ディスプレイである。表示部３０６は、ＣＰＵ３０１の制御に基づき各種の情報を表示する。また、表示部３０６は、タッチパネル方式を採用して、入力部３０５として機能してもよい。
【0036】
通信部３０７は、撮影装置１００、車輪速センサ２００、操舵角センサ２１０等と通信するためのものである。
【0037】
環境認識装置３００は、上記のハードウェア資源を用いて、各種の機能を実現する。環境認識装置３００が実現する機能構成について説明する。
【0038】
図３は、環境認識装置３００の機能構成の例を示すブロック図である。
図３に示すように、環境認識装置３００は、機能構成として、受付部３１０、３次元位置推定部３２０、位置情報取得部３３０、路面反射領域推定部３４０及び環境認識部３５０を有する。各機能構成は、ＣＰＵ３０１がストレージ３０４に記憶されたプログラムを読み出し、実行することにより実現される。
図３に示すように、環境認識装置３００は、機能構成として、受付部３１０、３次元位置推定部３２０、位置情報取得部３３０、路面反射領域推定部３４０及び環境認識部３５０を有する。各機能構成は、ＣＰＵ３０１がストレージ３０４に記憶されたプログラムを読み出し、実行することにより実現される。
【0039】
受付部３１０は、撮影装置１００により撮影された画像、車輪速センサ２００により検出された車輪速、及び操舵角センサ２１０により検出された操舵角、の入力を受け付ける。また、受付部３１０は、受け付けた画像を３次元位置推定部３２０、路面反射領域推定部３４０、に渡す。また、受付部３１０は、受け付けた車輪速と操舵角とを位置情報取得部３３０、に渡す。
【0040】
３次元位置推定部３２０は、撮影装置１００により撮影された画像から環境中の照明装置Ｌの３次元位置を推定する。具体的には、３次元位置推定部３２０は、照明装置Ｌの画像上位置と照明装置Ｌから照射される照明光が路面で鏡面反射する路面上の鏡面反射領域Ｍの画像上位置に基づいて、照明装置Ｌの３次元位置を推定する。ここで、照明装置Ｌの３次元位置には、車両と照明装置Ｌとの相対的な位置であり、例えば、車両からの距離と地面からの高さの情報とを含む。
【0041】
より具体的には、３次元位置推定部３２０は、まず、図４に示す移動前に撮影装置１００により撮影された画像から、輝度値が予め定められた閾値Ｔ１よりも大きい領域を照明装置Ｌとして抽出する。次に、抽出した照明装置Ｌの下方にあって輝度値が予め定められた閾値Ｔ２よりも大きくかつ閾値Ｔ１よりも小さい領域を鏡面反射領域Ｍとして抽出する。次に、図５に示すように、予め測定された撮影装置１００の俯角θと路面からの高さＨの情報と、撮影装置１００のレンズ中心から照明装置Ｌの画像上位置を結ぶ直線Ｓ１と、撮影装置１００のレンズ中心から鏡面反射領域Ｍの画像上位置を結ぶ直線Ｓ３と、照明装置Ｌから照射される照明光を路面で鏡面反射（入射角と反射角がほぼ等しい）するとして直線Ｓ３を路面で反射させた直線Ｓ２から、照明装置Ｌの３次元位置を推定する。なお、照明装置Ｌが複数（照明装置Ｌａ，照明装置Ｌｂ，照明装置Ｌｃ）ある場合には、全ての照明装置Ｌ（照明装置Ｌａ，照明装置Ｌｂ，照明装置Ｌｃ）について同じ処理を行う。
【0042】
ここで、照明装置Ｌは、主として壁などに固定されたライトであるが、これに限定されず、走っている車両のライトなども含む。
【0043】
そして、３次元位置推定部３２０は、推定した照明装置Ｌの３次元位置を路面反射領域推定部３４０、に渡す。
【0044】
位置情報取得部３３０は、車両の位置情報を取得する。本実施形態では、車両の位置情報として、オドメトリ情報を取得する。位置情報取得部３３０は、車輪速センサ２００と操舵角センサ２１０から、図６に示すように車両の位置変化量（ΔＸｖ， ΔＹｖ）とヨー角変化量Δθｖを計算することでオドメトリ情報を取得する。
【0045】
具体的には、位置情報取得部３３０は、まず、車輪速に基づいて、車両の走行距離を算出すると共に、操舵角に基づいて、車両の旋回半径を算出する。次に、位置情報取得部３３０は、図６に示すように、車両の走行距離及び旋回半径から、車両座標系での車両の位置変化量（ΔＸｖ，ΔＹｖ）とヨー角変化量Δθｖとを計算する。
【0046】
そして、位置情報取得部３３０は、取得したオドメトリ情報（車両の位置変化量（ΔＸｖ，ΔＹｖ）とヨー角変化量Δθｖ）を路面反射領域推定部３４０、に渡す。
【0047】
なお、位置情報は、オドメトリ情報に限定されず、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などにより取得した情報であってもよい。
【0048】
路面反射領域推定部３４０は、車両の移動前で撮影装置１００により撮影された画像から推定した照明装置Ｌの３次元位置と車両の移動後でのオドメトリ情報とに基づいて、当該移動後に撮影装置１００により撮影された画像において照明装置Ｌから照射される照明光を反射する路面反射領域Ｎを推定する。
【0049】
具体的には、路面反射領域推定部３４０は、まず、図６に示すように、照明装置Ｌの３次元位置と移動後の車両のオドメトリ情報（車両の位置変化量（ΔＸｖ，ΔＹｖ）とヨー角変化量Δθｖ）に基づいて、移動後の鏡面反射領域Ｍの３次元位置を推定する。
【0050】
そして、図６及び図７に示すように、路面反射領域推定部３４０は、推定された照明装置Ｌの左端部位置Ｌ１と鏡面反射領域Ｍの左端部側位置Ｍ１とを結んだ直線Ｔ１と、推定された照明装置Ｌの右端部位置Ｌ２と鏡面反射領域Ｍの右端部側位置Ｍ２とを結んだ直線Ｔ２との間の領域であって、鏡面反射領域Ｍから車両側と照明装置Ｌ側に予め定められた距離Ｐ、例えば５メートル、の領域を路面反射領域Ｎとして推定する。
【0051】
なお、鏡面反射領域Ｍから車両側と照明装置Ｌ側に予め定められた距離Ｐの領域を路面反射領域Ｎとして推定する場合に限定されず、例えば、車両と照明装置Ｌとの距離（撮影装置１００のレンズ中心から照明装置Ｌの画像上位置を結ぶ直線Ｓ１の長さ）に応じて鏡面反射領域Ｍから車両側と照明装置Ｌ側の距離Ｐの領域を変更して路面反射領域Ｎを推定してもよいし、又、照明装置Ｌの路面からの高さに応じて鏡面反射領域Ｍから車両側と照明装置Ｌ側の距離Ｐの領域を変更して路面反射領域Ｎを推定してもよいし、車両と照明装置Ｌとの距離と照明装置Ｌの高さとに応じて鏡面反射領域Ｍから車両側と照明装置Ｌ側の距離Ｐの領域を変更して路面反射領域Ｎを推定してもよい。また、鏡面反射領域Ｍから車両側への距離Ｐ１と、鏡面反射領域Ｍから照明装置Ｌ側の距離Ｐ２とは、同じ距離Ｐに限定されず、鏡面反射領域Ｍから車両側への距離Ｐ１の方を鏡面反射領域Ｍから照明装置Ｌ側の距離Ｐ２よりも長くしてもよいし、短くしてもよい。
【0052】
また、実際の路面では、照明装置Ｌからの光が路面で反射する反射角が入射角と等しくなく、完全な鏡面反射ではないことを考慮して、図８に示すように、鏡面反射領域Ｍを車両からの距離方向の大きさと当該距離方向と直交する幅方向の大きさとを変更した領域ＭＡを元に、鏡面反射領域Ｍの左端部側位置Ｍ１と右端部側位置Ｍ２とを変更して、路面反射領域Ｎを推定するようにしてもよい。すなわち、推定された照明装置Ｌの左端部位置Ｌ１と鏡面反射領域Ｍの左端部側位置Ｍ１を幅方向に変更したＭ１Ａとを結んだ直線Ｔ３と、推定された照明装置Ｌの右端部位置Ｌ２と鏡面反射領域Ｍの右端部側位置Ｍ２を幅方向に変更したＭ２Ａとを結んだ直線Ｔ４との間の領域であって、鏡面反射領域Ｍを距離方向に変更した位置から車両側と照明装置Ｌ側に予め定められた距離Ｐ、例えば５メートル、の領域を路面反射領域Ｎとして推定する。ここで、鏡面反射領域Ｍの距離方向の大きさと幅方向の大きさとの変更は、鏡面反射領域Ｍに予め定められた係数、例えば「１．１」をかけることにより行われる。
【0053】
なお、鏡面反射領域Ｍを距離方向と幅方向とに拡大した領域ＭＡを元に路面反射領域Ｎを推定する場合に限定されず、拡大しない鏡面反射領域Ｍから路面反射領域Ｎを推定した後に、推定した路面反射領域Ｎを距離方向と幅方向とに拡大してもよい。また、鏡面反射領域Ｍの距離方向と幅方向とのいずれか一方のみを拡大して路面反射領域Ｎを推定するようにしてもよい。
【0054】
次に、路面反射領域推定部３４０は、推定した路面反射領域Ｎの３次元位置を、図９に示す移動後の画像に当てはめて、当該画像における路面反射領域Ｎの画像上位置を計算する。すなわち、図９に示すように、移動後の画像に照明装置Ｌが映っていなくても、照明装置Ｌから照射される照明光による路面反射領域Ｎの画像上位置を計算できる。
【0055】
そして、路面反射領域推定部３４０は、推定した路面反射領域を環境認識部３５０、に渡す。
【0056】
環境認識部３５０は、撮影装置１００により撮影された画像、特に移動後の画像における照明装置から照射される照明光が反射する路面反射領域Ｎを除いた画像領域から環境を認識する。ここで、環境は、例えば、路面に引かれている白線Ｗや構造物の角や路面の模様の角などの特徴点などである。すなわち、路面反射領域Ｎ内は輝度差が小さいため、当該路面反射領域Ｎ内に含まれる環境の誤認識が生じやすいが、路面反射領域Ｎを除いた画像領域を用いて環境を認識するため誤認識を防止することができる。また、鏡面反射領域Ｍの周囲は、照明装置Ｌから照射される照明光が弱いながら反射しており、かかる路面反射領域Ｎについても、環境を認識する際の誤認識の原因となりうるため、鏡面反射領域Ｍだけではなく、路面反射領域Ｎについても除いた画像領域から環境を認識することで誤認識を防止している。
【0057】
かかる環境認識部３５０により認識された環境により、車両の自動運転などにおける画像認識が実行される。
【0058】
次に、環境認識装置３００の作用について説明する。
【0059】
図１０は、環境認識装置３００の動作の流れの一例を示す説明図である。
【0060】
まず、ステップＳ１００において、受付部３１０により、撮影装置１００から画像を、車輪速センサ２００から車輪速を、操舵角センサ２１０から操舵角を、それぞれ受け付ける。そして、次のステップＳ１０２に進む。
【0061】
ステップＳ１０２において、３次元位置推定部３２０により照明装置Ｌの３次元位置が推定される。そして、次のステップＳ１０４に進む。
【0062】
ステップＳ１０４において、位置情報取得部３３０により移動後の車両のオドメトリ情報（車両の位置変化量（ΔＸｖ，ΔＹｖ）とヨー角変化量Δθｖ）が取得される。そして、次のステップＳ１０６に進む。
【0063】
ステップＳ１０６において、路面反射領域推定部３４０により、上述したステップＳ１０２で推定された照明装置Ｌの３次元位置と、移動後の車両のオドメトリ情報（車両の位置変化量（ΔＸｖ，ΔＹｖ）とヨー角変化量Δθｖ）とに基づいて、移動後の鏡面反射領域Ｍの３次元位置を推定する。そして、次のステップＳ１０８に進む。
【0064】
ステップＳ１０８において、路面反射領域推定部３４０により、上述したステップＳ１０６で推定された鏡面反射領域Ｍに係数をかけて路面反射領域Ｎを推定する。そして、次のステップＳ１１０に進む。
【0065】
ステップＳ１１０において、環境認識部３５０により、車両の周囲の環境が認識される。そして、処理を終了する。
【0066】
なお、かかる処理は、車両の運転手などが、駐車場などで車両を自動運転モードに切り替えて自動で車庫入れをする操作を行うことや、車両の車速が予め定められた車速範囲内になった場合、撮影装置１００により明るいものが写った場合などにより開始される。
【0067】
以上説明したように、本実施形態によれば、画像に照明装置が写っているかを問わず、照明装置Ｌから照射される照明光が路面で反射することに起因する環境の誤認識を防止することができる環境認識装置３００を提供することが可能となる。すなわち、照明装置Ｌの３次元位置と車両のオドメトリ情報とに基づいて、車両の移動後の画像に対する照明装置Ｌの方向を推定する。そして、移動後の画像において照明装置Ｌから照射される照明光を路面で反射する路面反射領域Ｎの画像上の位置を推定する。照明装置Ｌから照射される照明光を路面で反射する路面反射領域Ｎ内は、白飛びなどにより輝度差が小さいため、白線Ｗや特徴点などの環境の誤認識が生じやすくなるが、本実施形態のように、照明装置Ｌから照射される照明光を路面で反射する路面反射領域Ｎを除いた画像領域を用いて環境を認識することにより、環境の誤認識を防止することが可能となる。
【0068】
なお、本発明は、上述した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、上述したもの以外に種々の変更を行うことが可能である。
【0069】
例えば、環境認識装置３００は、車両に搭載される場合に限定されず、車両とインターネットなどの無線通信を介して接続されるようにしてもよい。
【0070】
また、上述した実施形態では、鏡面反射領域Ｍの距離方向の大きさと幅方向の大きさとの変更は、予め定められた係数をかけることにより行ったが、他の条件により変更してもよい。例えば、照明装置Ｌの輝度値の大きさにより係数を変更してもよい。すなわち、照明装置Ｌの輝度値が大きいほど、大きな係数をかけることにより、鏡面反射領域Ｍを変更して路面反射領域Ｎを推定するようにしてもよい。一方、照明装置Ｌの輝度値が閾値よりも小さい場合は、係数をかけることなく、大きさを変更しない鏡面反射領域Ｍから路面反射領域Ｎを推定するようにしてもよい。
【0071】
また、鏡面反射領域Ｍの大きさの変更は、天候により予め定められた係数をかけることにより行ってもよい。例えば、天候が雨の場合は、当該雨の場合に予め定められた係数をかけるようにしてもよい。この場合は、車両の運転手などが、天候が雨であることを環境認識装置３００に入力してもよいし、車両に雨量計や感雨センサなどを備え、環境認識装置３００が運転手の入力を必要とせず、天候を認識するようにしてもよい。
【0072】
また、鏡面反射領域Ｍの大きさの変更は、路面状況により予め定められた係数をかけることにより行ってもよい。例えば、路面状況がアスファルトの場合の係数と、土の場合の係数とを予め定めておいてもよい。この場合は、車両の運転手などが、路面状況が土であることを入力してもよいし、路面を撮影するカメラにより撮影された画像を認識することで、環境認識装置３００が運転手の入力を必要とせず、路面状況を認識するようにしてもよい。
【符号の説明】
【0073】
１００ 撮影装置
２００ 車輪速センサ
２１０ 操舵角センサ
３００ 環境認識装置
３１０ 受付部
３２０ ３次元位置推定部
３３０ 位置情報取得部
３４０ 路面反射領域推定部
３５０ 環境認識部
２００ 車輪速センサ
２１０ 操舵角センサ
３００ 環境認識装置
３１０ 受付部
３２０ ３次元位置推定部
３３０ 位置情報取得部
３４０ 路面反射領域推定部
３５０ 環境認識部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】