特許 7552530 物体認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】物体認識装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240910BHJP

   G06T 1/00 20060101ALI20240910BHJP

   G06T 5/70 20240101ALI20240910BHJP

   G08G 1/16 20060101ALI20240910BHJP

【ＦＩ】

G06T7/00 650Z

G06T1/00 330Z

G06T5/70

G06T7/00 300F

G08G1/16 C

【請求項の数】 5

(21)【出願番号】P 2021128803

(22)【出願日】2021-08-05

(65)【公開番号】P2023023352

(43)【公開日】2023-02-16

【審査請求日】2024-01-25

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】長岡 孝太郎

【審査官】高野 美帆子

(56)【参考文献】

【文献】国際公開第２０２１／１２５０７６（ＷＯ，Ａ１）

【文献】特開２００９－６５３６０（ＪＰ，Ａ）

【文献】特開２００６－１２９０８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ５／７０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

ウィンドシールドの車内側に設けられたカメラで車外状況が撮像された撮像画像から認識対象物の物体像を認識する物体認識装置であって、
前記撮像画像において一定値以上の輝度を有する前記物体像を特定物体像として特定し、前記特定物体像に関して前記撮像画像における二重像判定エリアを、少なくとも前記カメラと前記ウィンドシールドとの相対的な位置関係により設定するエリア設定部と、
前記撮像画像の前記二重像判定エリア内に存在する前記物体像について、前記特定物体像の二重像の可能性を判定する二重像判定部と、
前記二重像の可能性があると判定された前記物体像に対して、前記可能性があると判定されない場合には行わない前記物体像の検出に関する二重像処理を行う二重像処理部と、
を備える物体認識装置。

【請求項2】

前記二重像処理部は、前記二重像処理として、前記二重像の可能性があると判定された前記物体像を前記撮像画像から削除する、請求項１に記載の物体認識装置。

【請求項3】

前記二重像処理部は、前記二重像処理として、前記二重像の可能性があると判定された前記物体像の検出信頼度が、前記可能性があると判定されない場合と比較して低くなるように、前記検出信頼度に関する処理を行う、請求項１に記載の物体認識装置。

【請求項4】

前記二重像判定部は、前記特定物体像と前記二重像判定エリア内に存在する前記物体像の間における、色及び形状の少なくとも一方に関する類似度に基づいて、前記可能性を判定する、請求項１～３のいずれか一項に記載の物体認識装置。

【請求項5】

前記二重像判定部は、前記特定物体像として特定された前記物体像の前記輝度から、前記二重像の輝度を予測し、予測された該輝度に基づいて、前記可能性を判定する請求項１～４のいずれか一項に記載の物体認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ウィンドシールドの車内側に設けられたカメラによって車外状況が撮像された撮像画像の物体を認識する物体認識装置に関する。

【背景技術】

【0002】

この種の装置では、車載カメラの広角化に伴い、信号機などの広角領域にある発光物も認識対象となっている。また、車外状況が撮像された撮像画像の画像認識技術として、撮像画像から信号機の点灯状態を認識する技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１―００２２７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、信号機のように広角領域にある発光物は、車載カメラと外界との間に存在するガラスのために二重像を発生しやすい。その結果、車載カメラによって得られた撮像画像における二重像が実像として誤検出され、実像の検出精度の低下を招くという技術的問題点がある。また、楔型ガラスにより、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）領域等の狭画な範囲において二重像の発生を抑制する方法も提案されているが、当該方法では広角領域における二重像の発生を抑制することは困難である。特に、ウィンドシールドが寝ている場合、入射光の入射角度がつくため、二重像が実像から遠い位置に発生する傾向があり、誤検出が顕著となる。

【0005】

本発明は、車内に設けられたカメラによって車外状況が撮像された撮像画像において実像の検出精度を高め、信頼性の高い物体認識装置を提供することを課題とする。

【課題を解決するための手段】

【0006】

本発明に係る物体認識装置の一の態様は上記課題を解決するために、ウィンドシールドの車内側に設けられたカメラで車外状況が撮像された撮像画像から認識対象物の物体像を認識する物体認識装置であって、前記撮像画像において一定値以上の輝度を有する前記物体像を特定物体像として特定し、前記特定物体像に関して前記撮像画像における二重像判定エリアを、少なくとも前記カメラと前記ウィンドシールドとの相対的な位置関係により設定するエリア設定部と、前記撮像画像の前記二重像判定エリア内に存在する前記物体像について、前記特定物体像の二重像の可能性を判定する二重像判定部と、前記二重像の可能性があると判定された前記物体像に対して、前記可能性があると判定されない場合には行わない前記物体像の検出に関する二重像処理を行う二重像処理部と、を備える。

【発明の効果】

【0007】

本発明に係る物体認識装置によれば、まず、撮像画像において、二重像が発生し得る二重像判定エリアが設定され、次に、二重像判定エリア内において二重像の可能性があると判定された物体像に対して検出に関する二重像処理が行われる。カメラとウィンドシールドとの相対的な位置関係により設定される二重像判定エリアは、広角の（即ち、画角が大きい）撮像範囲であっても設定可能である。また、二重像処理は当該可能性があると判定されない物体像には行われない。従って、二重像の可能性があると判定された物体像と当該可能性があると判定されない物体像とにおいて検出に関する識別を可能とすることができる。これにより、二重像が発生している場合でも誤検出の発生を抑制できる。従って、実像の検出精度が高められ、撮像画像における物体認識の信頼性を高めることが可能となる。

【0008】

本発明によるこのような作用効果は、以下に説明する発明の実施形態により、より明らかにされる。

【図面の簡単な説明】

【0009】

【図1】本開示の実施形態に係る物体認識装置を実現するための全体構成の一例を示す構成図である。

【図2】二重像の発生を説明するための概略図である。

【図3】撮像画像の一例を示す概略図である。

【図4】二重像の発生予測位置について説明するための図である。

【図5】カメラへの入射角が異なる３つの経路ペアを示す図。

【図6】図１に示す物体認識装置が行う処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本開示の実施形態に係る物体認識装置１３について、図面を参照して説明する。まず、物体認識装置１３が行う処理を実現するための全体構成について、図１を用いて説明する。物体認識装置１３は、自動車などの車両１０のウィンドシールド１１の車内側に設けられたカメラ１２と接続され、カメラ１２で撮像された撮像画像の画像認識に関する処理を行う。物体認識装置１３は、例えば、図１に示すように、カメラ１２と別体として設けられ、電気的に接続されてよい。或いは、カメラ１２と物体認識装置１３とは、一体化されてカメラセンサとして提供されてもよい。車両１０には、カメラ１２及び物体認識装置１３の他に、例えば、車両１０を電気的及び／又は物理的に駆動させる各種駆動機構（不図示）や当該各種駆動機構の動作を電気的に制御する各種制御機構（不図示）が設けられてよい。物体認識装置１３は、例えば、車両１０の動作を電気的に制御する車両制御装置（不図示）の一部として設けられてもよい。

【0011】

ウィンドシールド１１は、例えば、所定の厚さを有する透明な車両用ガラスで構成された窓部材である。ウィンドシールド１１を構成するガラスは、例えば、平行ガラス（即ち、板厚方向に関する断面において車内側表面と車外側表面とが平行になるように成形されたガラス）でもよいし、楔型ガラス（即ち、板厚方向に関する断面において車内側表面と車外側表面とが楔型になるように成形されたガラス）であってもよい。ウィンドシールド１１は、所定の曲率を有するように成形されたものでもよいし、平坦に成形されたものであってもよい。ウィンドシールド１１は、車両前方に配置されたフロントウィンドシールド、車両側方に配置されたサイドウィンドシールド、或いは車両後方に配置されたリアウィンドシールドのいずれであってもよい。本形態では、ウィンドシールド１１がフロントウィンドシールドである場合について説明する。

【0012】

カメラ１２は、ウィンドシールド１１を通じて車外状況を撮像するように、レンズ１２ａを車外に向けてウィンドシールド１１の車内側に設けられている。例えば、ウィンドシールド１１がフロントウィンドシールドの場合は、カメラ１２は、レンズ１２ａを車両前方に向けてウィンドシールド１１の車内側に配置され、ウィンドシールド１１を通じて車両前方の車外状況を撮像する。撮像画像は、例えば、動画像であってもよいし、所定の時間間隔で撮像される静止画像であってもよい。カメラ１２で撮像された撮像画像は、車外状況の把握のために、物体認識装置１３によって、信号機等の認識対象物の物体像が認識される。認識された物体像に関する画像情報を含む撮像画像に関する画像情報は、例えば、撮像画像に基づいた車外状況に応じて実行される各種制御処理で利用される。この制御処理には、例えば、自動運転モードの際の走行制御処理やドライバの運転支援処理が含まれる。

【0013】

物体認識装置１３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及びＣＰＵの動作に必要なＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含むメモリを備えたコンピュータ制御ユニットでよい。物体認識装置１３は、例えばＲＯＭに記憶されたコンピュータプログラムを実行してよい。或いは、物体認識装置１３が通信機能を有する場合は、クラウドサーバからコンピュータプログラムを読み込んで実行してもよい。物体認識装置１３がコンピュータプログラムを実行することにより、物体認識装置１３では、物体認識装置１３が行うべき動作を実行するための論理的な機能ブロックが実現される。図１では、物体認識装置１３に実現される機能ブロックの一例として、物体認識部１３ａ、エリア設定部１３ｂ、二重像判定部１３ｃ、二重像処理部１３ｄ及び物体出力部１３ｅが示されている。各部１３ａ～１３ｅの動作については後述する。

【0014】

カメラ１２で撮像された撮像画像に二重像が発生する態様の一例を、図２を用いて説明する。図２は車両１０を側面視した場合のウィンドシールド１１と、カメラ１２と、車外の光源としての発光物体Ｃとの相対的な位置関係を示す図である。発光物体Ｃとして、例えば、信号機や先行車のテールランプが考えられる。なお、図２に示すように、ウィンドシールド１１は、例えば、厚さＢを有し、上方から下方に向かうにつれて徐々に車両の前方方向Ａに向かう態様で車両１０の車体に対して傾斜していてよい。

【0015】

図２において、実線（即ち、光線Ｘ）は、発光物体Ｃから発射された光がウィンドシールド１１に入射し、ウィンドシールド１１のガラス内で反射せずにカメラ１２のレンズ１２ａに到達するまでの進行経路を示す。レンズ１２ａに到達した光線Ｘで示される光によって発光物体Ｃの実像が得られる。一方、ウィンドシールド１１に入射した入射光の一部は、点線（即ち、光線Ｙ）で示すように、ウィンドシールド１１のガラス内を反射し、その後ウィンドシールド１１から出射する。ウィンドシールド１１のガラス内を反射してレンズ１２ａに到達した光（即ち、光線Ｙで示される光）によって、発光物体Ｃの二重像が発生する。

【0016】

物体認識装置１３は、認識した物体像について発光物体Ｃに関する二重像の可能性を判定する。物体認識装置１３によって行われる当該可能性を判定する方法の一例について、図３～図５を用いて説明する。図３はカメラ１２によって撮像された撮像画像２０の一例である。二重像を発生させる可能性のある発光物体Ｃ（図２参照）は、一定値以上の輝度を有する特定物体像ＣＣとして撮像画像２０に撮像される。即ち、特定物体像ＣＣは発光物体Ｃの実像と考えてよい。物体認識装置１３は、まず、撮像画像２０において、特定物体像ＣＣの二重像が発生し得るエリアである二重像判定エリア２１を設定する。そして、物体認識装置１３は、二重像判定エリア２１内に存在する物体像である判定対象像Ｄ、Ｅ、Ｆに関して、特定物体像ＣＣの二重像の可能性を判定する。二重像判定エリア２１は、例えば、特定物体像ＣＣの二重像が発生し得る位置（即ち、発生予測位置）に基づいた（例えば、発生予測位置を中心とする）所定範囲とするエリアでよい。なお、図３の例では、二重像判定エリア２１は四角形であるが、二重像判定エリア２１の形状はこれに限らず、例えば、円形であってもよいし、或いは、少なくとも１つの可変係数により可変な形状であってもよい。

【0017】

二重像の発生予測位置は、ウィンドシールド１１とカメラ１２の相対的な位置関係に基づいて予測され得る。従って、二重像判定エリア２１は、少なくともウィンドシールド１１とカメラ１２との相対的な位置関係により設定され得る。物体認識装置１３によって行われる発生予測位置の予測方法の一例について、図４及び図５を用いて説明する。図４は、光線Ｘがカメラ１２のレンズ１２ａに角度θ１で入射する場合の光線Ｘ及び光線Ｙの進行経路の概略を示す。角度θ１は、例えば、撮像画像２０（図３参照）の中心２０ｃをカメラ方向（中心２０ｃを貫く撮像画像２０の法線方向）とした場合、当該カメラ方向に対する上下方向Ｈに関する特定物体像ＣＣの位置に基づいて算出されてよい。なお、図４では、光線がウィンドシールド１１に当たる部分における接線を二点鎖線で示し、当該当たる部分における法線及びレンズ１２ａが向く方向を一点鎖線で示す。

【0018】

図４に示される光線Ｘの進行経路の概略について説明する。光線Ｘは、まず、交点Ｐ２でウィンドシールド１１（即ち、ガラス外側境界１１ｂ）に当たり、角度θ５（即ち入射角θ５）で外界から入射し、角度θ４（即ち屈折角θ４）でガラス内部へ透過する。その後、光線Ｘはガラス内部を進み、交点Ｐ１でガラス内側境界１１ａに当たり、角度θ３（即ち入射角θ３）でガラス内部から入射し、角度θ２（即ち屈折角θ２）で外界へ透過する。そして、外界へ透過した光線Ｘは角度θ１で外界からレンズ１２ａへ入射する。角度θ２－θ５は、例えば、スネルの法則に基づき、空気の屈折率（例えば、１）及びガラスの屈折率（例えば、１．５１）を用いて、角度θ１から角度θ２、角度θ３、角度θ４、そして角度θ５の順で逆算することにより算出されてよい。そして、交点Ｐ１及び交点Ｐ２の位置は、例えば、角度θ１－θ５を用いて、カメラ１２とウィンドシールド１１との相対的な位置関係（例えば、距離）及びガラスの厚さＢに基づいて、算出されてよい。

【0019】

一方、二重像を発生させる光線Ｙは、図４において、ガラス内側境界１１ａの交点Ｐ１において角度θ３（即ち入射角θ３）で入射する光線Ｘの一部が、角度θ３（即ち反射角θ３）で反射した光線である。図４に示される光線Ｙの進行経路の概略について説明する。角度θ３で反射した光線Ｙは、ガラス内部を進み、交点Ｐ３でガラス外側境界１１ｂに当たり、角度θ６（即ち入射角θ６）で入射し、角度θ６（即ち反射角θ６）で反射する。角度θ６で反射した光線Ｙはガラス内部を進み、交点Ｐ４でガラス内側境界１１ａに当たり、角度θ７（即ち入射角θ７）で入射し、角度θ８（即ち屈折角θ８）で外界へ透過する。角度θ８で外界へ透過した光線Ｙがレンズ１２ａに到達し、二重像を発生させる。

【0020】

角度θ６－θ８は、例えば、角度θ３の算出後、スネルの法則に基づき、空気の屈折率（例えば、１）及びガラスの屈折率（例えば、１．５１）を用いて、算出されてよい。また、交点Ｐ３の位置及び交点Ｐ４の位置は、例えば、交点Ｐ１の位置及び交点Ｐ２の位置と同様に、カメラ１２とウィンドシールド１１との相対的な位置関係（例えば、距離）及びガラスの厚さＢに基づいて算出されてよい。そして、交点Ｐ４から外界へ透過した光線Ｙがレンズ１２ａに至る位置を二重像の発生予測位置として予測してよい。

【0021】

上記予測方法により、３つの異なる角度θ１のそれぞれについて進行経路が予測された光線Ｘ及び光線Ｙを図５に示す。図５には、カメラ位置Ｐ０を原点とし、縦軸を車両１０車体の上下方向Ｈ、横軸を車両１０の横方向（即ち、図５の右側を車両１０の前方方向Ａとする車両１０の車体の水平方向）とした座標軸上に、表面が平坦なウィンドシールド１１が側面視された状態とともに３つの経路ペアＰｒ１、Ｐｒ２、Ｐｒ３が示されている。

【0022】

経路ペアＰｒ１は光線Ｘ１と光線Ｘ１の一部が反射した光線Ｙ１とを含み、二重像の発生予測位置Ｐｙ１が予測されている。経路ペアＰｒ２は光線Ｘ２と光線Ｘ２の一部が反射した光線Ｙ２とを含み、二重像の発生予測位置Ｐｙ２が予測されている。経路ペアＰｒ３は光線Ｘ３と光線Ｘ３の一部が反射した光線Ｙ３とを含み、二重像の発生予測位置Ｐｙ３が予測されている。以下、各光線Ｘ１、Ｘ２、Ｘ３を区別する必要がないときは光線Ｘといい、各光線Ｙ１、Ｙ２、Ｙ３を区別する必要がないときは光線Ｙという。

【0023】

図５の光線Ｘ１の進行経路において、カメラ位置Ｐ０と交点Ｐ１との間を区間１ａ、交点Ｐ１と交点Ｐ２との間を区間１ｂ、交点Ｐ２と発光物体Ｃとの間を区間１ｃとし、また、光線Ｙ１の進行経路において、交点Ｐ１と交点Ｐ３との間を区間１ｄ、交点Ｐ３と交点Ｐ４との間を区間１ｅ、及び交点Ｐ４と発生予測位置Ｐｙ１との間を区間１ｆとする。この場合、上述した予測方法により、区間１ａ、区間１ｂ、区間１ｃ、区間１ｄ、区間１ｅ、区間１ｆの順で進行経路を算出（即ち、予測）していくことが可能である。経路ペアＰｒ２及び経路ペアＰｒ３についても、同様である。

【0024】

カメラ位置Ｐ０から車体の水平方向に平行な方向をカメラ方向とした場合、カメラ１２に入射する角度θ１は、カメラ位置Ｐ０における光線Ｘのカメラ方向に対する角度としてよい。図５に示す例では、経路ペアＰｒ１の角度θ１＝－１５°、経路ペアＰｒ２の角度θ１＝－５°、経路ペアＰｒ３の角度θ１＝０．０１°である。経路ペアＰｒ３の角度θ１は、他の経路ペアＰｒ１、Ｐｒ２の角度θ１と比較してカメラ方向に対して緩やかであり、この場合、経路ペアＰｒ３の光線Ｘ３のガラス外側境界１１ｂへの入射角度（即ち、図４の角度θ５）は他の経路ペアＰｒ１、Ｐｒ２の光線Ｘ１、Ｘ２の入射角度よりもついている。以下、入射角度というときは光線Ｘのガラス外側境界１１ｂへの入射角度をいう。

【0025】

二重像の発生位置について、「二重像は入射角度がつくほど実像の位置から遠い位置に明るい二重像が発生する」という原理があり、撮像画像２０において、実像の位置（即ち、図３では特定物体像ＣＣの位置）と二重像の発生予測位置との相対的な位置関係は、光線Ｘがウィンドシールド１１に入射する入射角度に応じて異なる。経路ペアＰｒ３の場合、他の経路ペアＰｒ１、Ｐｒ２と比較して、発生予測位置Ｐｙ３はカメラ位置Ｐ０（即ち、実像の位置）から遠く、また、光線Ｙ３の進行経路が他の光線Ｙ１、Ｙ２より短いことからより明るい二重像が発生する。経路ペアＰｒ３は、上述したように他の経路ペアＰｒ１、Ｐｒ２よりも入射角度がついている。このように、本開示の予測方法によれば、上記原理に基づき実像の位置から遠い位置に発生する二重像であっても、発生予測位置を予測することができる。

【0026】

以上のように、撮像画像２０において、二重像が発生し得る発生予測位置は、ウィンドシールド１１とカメラ１２の相対的な位置関係（例えば、距離や角度θ１）に基づいて予測可能である。二重像の発生予測位置が予測されると、物体認識装置１３は、上述したように、二重像判定エリア２１（図３参照）を設定し、二重像判定エリア２１内の判定対象像Ｄ、Ｅ、Ｆに関して、二重像の可能性を判定してよい。物体認識装置１３によって、二重像の可能性が判定される方法について説明する。

【0027】

物体認識装置１３は、例えば、特定物体像ＣＣに対する類似度に基づいて、特定物体像ＣＣの二重像の可能性を判定してよい。物体認識装置１３は、例えば、色の類似度に基づいて当該可能性を判定してよい。色の類似度は、例えば、色のＲＧＢ値に基づいて判定されてよい。物体認識装置１３は、例えば、特定物体像ＣＣのＲＧＢ値と二重像判定エリア２１内に含まれる判定対象像Ｄ、Ｅ、ＦのＲＧＢ値とが近いほど類似度が高いと判定しよい。二重像の可能性の判定には、形状の類似度も考慮されてよい。二重像と特定物体像ＣＣとの間で、幅方向Ｗの長さの変化は上下方向Ｈの長さの変化に対して小さいことを利用し、物体認識装置１３は、例えば、幅方向Ｗの長さが近いほど類似度が高いと判定してよい。物体認識装置１３は、例えば、類似度のレベルに応じて二重像の可能性のレベルを判定してよい。

【0028】

更に、物体認識装置１３は、例えば、判定対象像Ｄ、Ｅ、Ｆの輝度に基づいて上記可能性を判定してもよい。物体認識装置１３は、例えば、光線Ｘ及び光線Ｙが図４に示すように進行すると想定し、下記に示すフレネルの式によって得られるＰ波及びＳ波の光量の変化及び進行距離に基づいて、特定物体像ＣＣの輝度に対応する二重像の輝度を予測してよい。

【0029】

【数1】

式１～式４は、入射角をα、反射角をα、屈折角をβ、入射側の屈折率をｎ１透過側の屈折率をｎ_２とした場合のフレネルの式を示す。ｒ_ＰはＰ波の振幅反射率、ｔ_ＰはＰ波の振幅透過率、ｒ_ＳはＳ波の振幅反射率、ｔ_ＰはＳ波の振幅透過率を示す。

【0030】

物体認識装置１３は、例えば、特定物体像ＣＣに関する角度θ１（図４参照）と輝度が予測される二重像の輝度に対応付けされたマップで保有し、当該マップを参照することにより、特定物体像ＣＣの輝度に対応する二重像の輝度を予測し、予測された輝度に基づいて各判定対象像Ｄ、Ｅ、Ｆの二重像の可能性を判定してよい。物体認識装置１３は、例えば、予測された輝度と判定対象像Ｄ、Ｅ、Ｆの輝度との差に応じて、二重像の可能性のレベルを判定してよい。なお、物体認識装置１３は、例えば、上記判定方法のいずれか１つにより、或いは上記判定方法を組み合わせることにより上記可能性を判定してよい。

【0031】

物体認識装置１３は、上述したように、撮像画像２０において認識された物体像に関して、二重像の可能性を判定し、後継の各種制御処理のために実像としての物体像の検出精度を上げる処理を行う。当該処理は、上述したように物体認識装置１３に形成される物体認識部１３ａ、エリア設定部１３ｂ、二重像判定部１３ｃ、二重像処理部１３ｄ及び物体出力部１３ｅによって実現されてよい。各部１３ａ－１３ｅが行う処理の一例について、図６を用いて説明する。

【0032】

物体認識装置１３は、まず、カメラ１２により撮像された撮像画像２０（図３参照）を入力する（ステップＳ１０１）。続いて、物体認識装置１３の物体認識部１３ａは、撮像画像２０に対して物体認識処理を行う（ステップＳ１０２）。物体認識部１３ａは、物体認識処理として、例えば、撮像画像２０における認識対象物の物体像を認識してよい。認識対象物は、後継の各種制御処理で車外状況として利用される物体であり、例えば、先行車両のテールランプ、信号機等、広角領域にある発光物が含まれてよい。物体認識部１３ａは、例えば、ディープニューラルネットワークを利用して認識対象物の物体像を認識してよい。ディープニューラルネットワークは、例えば、ディープラーニングにより撮像画像２０から認識対象物の物体像を認識可能なように作成されたニューラルネットワークでよい。或いは、物体認識部１３ａは、パターンマッチングにより認識対象物の物体像を認識してもよい。物体認識部１３ａは、例えば、認識した各物体像に関して画像情報を生成してよい。画像情報には、例えば、輝度や検出信頼度等が含まれてよい。検出信頼度の初期値は、例えば、最高値（即ち、実像であることを示す値）であってよい。

【0033】

続いて、物体認識装置１３のエリア設定部１３ｂは、認識された物体像のうち輝度が一定値以上のものがあるいか否か、即ち、特定物体像ＣＣがあるか否か判定する（ステップＳ１０３）。エリア設定部１３ｂは、当該判定のための輝度の閾値として、例えば、「二重像を発生しやすい輝度」として、撮像画像２０における特定物体像ＣＣの上下方向Ｈに関する位置に応じた値を設定してよい。エリア設定部１３ｂは、例えば、特定物体像ＣＣの上下方向Ｈに関する位置と当該閾値とを対応付けたマップを参照し、当該閾値以上をステップＳ１０３における「一定値以上」としてよい。

【0034】

撮像画像２０に輝度が一定値以上の物体像が存在しない場合（ステップＳ１０３：Ｎｏ）、物体認識装置１３は、例えば、ステップＳ１０８へ進んでよい。一方、撮像画像２０に輝度が一定値以上の物体像、即ち、特定物体像ＣＣが存在する場合（ステップＳ１０３：Ｙｅｓ）、エリア設定部１３ｂは、二重像判定エリア設定処理を行ってよい（ステップＳ１０４）。エリア設定部１３ｂは、二重像判定エリア設定処理として、例えば、上述した発生予測位置の予測方法に基づいて、特定物体像ＣＣの二重像が発生する可能性がある二重像判定エリア２１を撮像画像２０に設定してよい。

【0035】

二重像判定エリア２１が設定されると、二重像判定部１３ｃが二重像判定処理を行う（ステップＳ１０５）。二重像判定処理においては、二重像判定エリア２１内に存在する判定対象像Ｄ、Ｅ、Ｆから特定物体像ＣＣの二重像の可能性が判定される。判定対象像Ｄ、Ｅ、Ｆは、例えば、ステップＳ１０２の物体認識処理で認識された物体像でよい。二重像判定部１３ｃは、二重像判定処理として、例えば、上述したように、例えば、色の類似度、形状の類似度、及び輝度差のいずれか１つ、或いは複数の組合せに基づいて特定物体像ＣＣの二重像の可能性を判定してよい。二重像判定部１３ｃは、例えば、二重像の可能性が所定レベルより高い場合に、二重像の可能性があると判定してよい。

【0036】

続いて、物体認識装置１３の二重像処理部１３ｄは判定対象像Ｄ、Ｅ、Ｆが二重像の可能性があると判定されたか否かを判断する（ステップＳ１０６）。例えば、判定対象像Ｅは当該可能性があると判定された場合（ステップＳ１０６：Ｙｅｓ）、二重像処理部１３ｄは判定対象像Ｅに対して検出に関する二重像処理を行ってよい（ステップＳ１０７）。一方、例えば、当該可能性があると判定されない判定対象像Ｆの場合（ステップＳ１０６：Ｎｏ）は、二重像処理部１３ｄは、判定対象像Ｆに対してステップＳ１０７の二重像処理を行わずに、ステップＳ１０８へ進んでよい。

【0037】

二重像処理部１３ｄは、二重像処理として、例えば、判定対象像Ｅが二重像である可能性があると判定された場合、或いは当該可能性が所定レベル以上の場合、判定対象像Ｅを撮像画像２０から削除してよい。即ち、二重像処理部１３ｄは、例えば、撮像画像２０に関する画像情報から判定対象像Ｅに関する画像情報を削除してよい。或いは、二重像処理部１３ｄは、例えば、判定対象像Ｅの検出信頼度を、二重像の可能性があると判定されない場合（即ち、初期値）と比較して低くなるように、判定対象像Ｅに関する画像情報に設定してよい。判定対象像Ｅの検出信頼度は、例えば、二重像の可能性のレベルに応じて設定してよい。二重像処理部１３ｄは、例えば、判定対象像Ｅの二重像の可能性が高いほど、判定対象像Ｅの検出信頼度を低く設定してよい。

【0038】

物体認識装置１３の物体出力部１３ｅは、ステップＳ１０７の二重像処理がされた後、或いは、ステップＳ１０６が否定判断（ステップＳ１０６：Ｎｏ）されてステップＳ１０７の二重像処理がスキップされた後、撮像画像２０を利用する各種制御処理のために、判定対象像Ｄ、Ｅ、Ｆや特定物体像ＣＣを含む物体像に関する画像情報を出力してよい（ステップＳ１０８）。また、物体認識装置１３は、ステップＳ１０３が否定判断（ステップＳ１０３：Ｎｏ）された場合、ステップＳ１０４－ステップＳ１０８の処理をスキップして、即ち、物体認識処理はされたが二重像処理がされていない物体像に関する画像情報を、撮像画像２０を利用する後継の各種制御処理のために出力してよい（ステップＳ１０８）。後継の各種制御処理では、例えば、物体像の検出信頼度のレベルに応じて、走行制御に対する判定対象像の影響度が異なるように決定されてよい。例えば、検出信頼度が高レベルの場合は、物体像が走行制御に使用されるように決定され、検出信頼度が中レベル以下の場合は、ドライバへの通知に留めるように決定されてよい。

【0039】

物体認識装置１３は、例えば、無線の通信回線を介してカメラ１２と接続されてよい。この場合、物体認識装置１３は、例えば、不図示のクラウドサーバに設けられてよい。判定対象像Ｄ、Ｅ、Ｆに関する二重像の可能性の判定は、例えば、ディープラーニングによって行われてもよい。例えば、物体認識装置１３は、特定物体像ＣＣの画像が入力されると、特定物体像ＣＣの予測二重像が出力されるモデルを利用し、予測二重像と判定対象像との類似度に基づいて二重像の可能性を判定しよい。

【0040】

付記
以上説明した実施形態に関して、更に以下の付記を開示する。

【0041】

［付記１］
付記１記載の物体認識装置は、ウィンドシールドの車内側に設けられたカメラで車外状況が撮像された撮像画像から認識対象物の物体像を認識する物体認識装置であって、前記撮像画像において一定値以上の輝度を有する前記物体像を特定物体像として特定し、前記特定物体像に関して前記撮像画像における二重像判定エリアを、少なくとも前記カメラと前記ウィンドシールドとの相対的な位置関係により設定するエリア設定部と、前記撮像画像の前記二重像判定エリア内に存在する前記物体像について、前記特定物体像の二重像の可能性を判定する二重像判定部と、前記二重像の可能性があると判定された前記物体像に対して、前記可能性があると判定されない場合には行わない前記物体像の検出に関する二重像処理を行う二重像処理部と、を備える物体認識装置である。

【0042】

付記１の物体認識装置によれば、車内に設けられたカメラによってウィンドシールドを介して車外状況が撮像された撮像画像において、まず、一定値以上の輝度を有する物体像が二重像を発生しやすい特定物体像として特定され、二重像判定エリアがカメラとウィンドシールドとの相対的な位置関係により設定される。そして、二重像判定エリア内の物体像に関して、特定物体像の二重像の可能性が判定される。カメラとウィンドシールドとの相対的な位置関係により予測され設定される二重像判定エリアは、広角の撮像範囲であっても設定可能である。また、二重像判定エリアが設定されることにより、二重像の可能性の判定は二重像判定エリア内に存在する物体像のみに関して行われれば足り、処理の効率化も実現される。更に、二重像の可能性があると判定された物体像については、物体像の検出に関する二重像処理が行われる。二重像処理は二重像の可能性があると判定されない物体像には実行されない。これにより、例えば、撮像画像から認識された物体像に基づいて各種制御処理がされる際に、二重像の可能性があると判定された物体像と当該可能性があると判定されない物体像との識別を可能とすることができる。これにより、二重像が発生している場合でも誤検出の発生を抑制できる。従って、実像の検出精度が高められ、撮像画像における物体認識の信頼性を高めることが可能となる。

【0043】

［付記２］
付記２記載の物体認識装置は、前記二重像処理部は、前記二重像処理として、前記二重像の可能性があると判定された前記物体像を前記撮像画像から削除する、付記１記載の物体認識装置である。

【0044】

付記２記載の物体認識装置によれば、二重像の可能性がある物体像を撮像画像から削除されるので、実像としての物体像のみの撮像画像を提供することが可能である。

【0045】

［付記３］
付記３記載の物体認識装置は、前記二重像処理部は、前記二重像処理として、前記二重像の可能性があると判定された前記物体像の検出信頼度が、前記可能性があると判定されない場合と比較して低くなるように、前記検出信頼度に関する処理を行う、付記１記載の物体認識装置である。

【0046】

付記３記載の物体認識装置によれば、二重像の可能性がある物体像の検出信頼度を当該可能性がない物体像（即ち、実像としての物体像）よりも低く設定される。これにより、例えば、撮像画像から検出された物体像に基づいた処理において、二重像の可能性がある物体像の影響を、実像としての物体像の影響より小さくすることが可能である。

【0047】

［付記４］
付記４記載の物体認識装置は、前記二重像判定部は、前記特定物体像と前記二重像判定エリア内に存在する前記物体像の間における、色及び形状の少なくとも一方に関する類似度に基づいて、前記可能性を判定する、付記１～３のいずれか一項記載の物体認識装置である。

【0048】

付記４記載の物体認識装置によれば、二重像の可能性の判定が、色及び形状の少なくとも一方に関する類似度に基づいて行われる。これにより、二重像の可能性の判定において、判定対象の物体像の態様を考慮することができる。

【0049】

［付記５］
付記５記載の物体認識装置は、前記二重像判定部は、前記特定物体像として特定された前記物体像の前記輝度から、前記二重像の輝度を予測し、予測された該輝度に基づいて、前記可能性を判定する付記１～４のいずれか一項記載の物体認識装置である。

【0050】

付記５記載の物体認識装置によれば、二重像の可能性の判定が、予測された二重像の輝度に基づいて行われる。これにより、二重像の可能性の判定において、判定対象の物体像の輝度を考慮することができる。

【0051】

本発明は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う物体認識装置もまた本発明の技術思想に含まれる。

【符号の説明】

【0052】

１０ 車両
１１ ウィンドシールド
１２ カメラ
１３ 物体認識装置
１３ａ 物体認識部
１３ｂ エリア設定部
１３ｃ 二重像判定部
１３ｄ 二重像処理部
１３ｅ 物体出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】