特許 7658243 物体認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-31

(45)【発行日】2025-04-08

(54)【発明の名称】物体認識装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250401BHJP

   G08G 1/16 20060101ALI20250401BHJP

【ＦＩ】

G06T7/00 650A

G08G1/16 A

【請求項の数】 13

(21)【出願番号】P 2021172571

(22)【出願日】2021-10-21

(65)【公開番号】P2023062538

(43)【公開日】2023-05-08

【審査請求日】2023-12-11

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】辻田 翔

(72)【発明者】

【氏名】栗本 真也

(72)【発明者】

【氏名】天木 博文

(72)【発明者】

【氏名】王 斌

(72)【発明者】

【氏名】神谷 成美

(72)【発明者】

【氏名】松永 真也

【審査官】吉田 千裕

(56)【参考文献】

【文献】特開２０１３－０６１９１９（ＪＰ，Ａ）

【文献】特開２０１０－１４６４９４（ＪＰ，Ａ）

【文献】国際公開第２０２０／１７８６６７（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１１１３０９（ＷＯ，Ａ１）

【文献】特開２０１７－１５１５４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両に搭載される物体認識装置であって、
前記車両の周辺状況を判断するように構成される周辺状況判断部（１１２）と、
前記車両に搭載されたカメラにより撮像された撮像画像において物体を認識するための複数の学習済みモデルを有し、前記複数の学習済みモデルを使用して物体を認識可能に構成される物体認識部（１１１）であって、前記周辺状況判断部により判断された前記周辺状況に基づき、前記複数の学習済みモデルのうち物体を認識するうえで必要性の高い前記学習済みモデルである必要学習済みモデルを特定し、前記必要学習済みモデル以外の前記学習済みモデルの使用を抑制する前記物体認識部と、
を備え、
前記物体認識部は、前記撮像画像における少なくとも一部の範囲であって前記複数の学習済みモデルごとに設定された範囲である認識対象範囲において、物体を認識可能に構成され、
前記複数の学習済みモデルには、前記車両の近くの範囲である近傍範囲に存在しうる物体を認識するための前記学習済みモデルである近距離モデルと、前記近傍範囲よりも遠くの範囲である遠方範囲に存在しうる物体を認識するための前記学習済みモデルである遠距離モデルと、が含まれ、
前記近距離モデルが認識対象とする画像は、前記遠距離モデルが認識対象とする画像と比較して、前記認識対象範囲が広く、解像度が低く、
前記周辺状況判断部は、前記物体認識部の認識結果に基づき、前記車両の周辺の交通信号機に関する状況を判断し、
前記物体認識部は、前記周辺状況判断部により前記車両の前方の前記交通信号機が停止指示を表示していると判断された場合、前記近距離モデルを前記必要学習済みモデルとして特定する、物体認識装置。

【請求項2】

請求項１に記載の物体認識装置であって、
前記周辺状況判断部は、外部の情報通信システムから取得した道路交通情報に基づき、前記車両の周辺の交通渋滞に関する状況を判断するように構成され、
前記物体認識部は、前記周辺状況判断部により前記車両の進行先に交通渋滞があると判断された場合、前記近距離モデル及び前記遠距離モデルを前記必要学習済みモデルとして特定する、物体認識装置。

【請求項3】

車両に搭載される物体認識装置であって、
前記車両の周辺状況を判断するように構成される周辺状況判断部（１１２）と、
前記車両に搭載されたカメラにより撮像された撮像画像において物体を認識するための複数の学習済みモデルを有し、前記複数の学習済みモデルを使用して物体を認識可能に構成される物体認識部（１１１）であって、前記周辺状況判断部により判断された前記周辺状況に基づき、前記複数の学習済みモデルのうち物体を認識するうえで必要性の高い前記学習済みモデルである必要学習済みモデルを特定し、前記必要学習済みモデル以外の前記学習済みモデルの使用を抑制する前記物体認識部と、
を備え、
前記物体認識部は、前記撮像画像における少なくとも一部の範囲であって前記複数の学習済みモデルごとに設定された範囲である認識対象範囲において、物体を認識可能に構成され、
前記複数の学習済みモデルには、前記車両の近くの範囲である近傍範囲に存在しうる物体を認識するための前記学習済みモデルである近距離モデルと、前記近傍範囲よりも遠くの範囲である遠方範囲に存在しうる物体を認識するための前記学習済みモデルである遠距離モデルと、が含まれ、
前記近距離モデルが認識対象とする画像は、前記遠距離モデルが認識対象とする画像と比較して、前記認識対象範囲が広く、解像度が低く、
前記周辺状況判断部は、外部の情報通信システムから取得した道路交通情報に基づき、前記車両の周辺の交通渋滞に関する状況を判断するように構成され、
前記物体認識部は、前記周辺状況判断部により前記車両の進行先に交通渋滞があると判断された場合、前記近距離モデル及び前記遠距離モデルを前記必要学習済みモデルとして特定する、物体認識装置。

【請求項4】

請求項３に記載の物体認識装置であって、
前記周辺状況判断部は、前記物体認識部の認識結果に基づき、前記車両の周辺の交通信号機に関する状況を判断する、物体認識装置。

【請求項5】

請求項１乃至請求項４のいずれか１項に記載の物体認識装置であって、
前記複数の学習済みモデルには、前記車両の前方の左側に存在しうる物体を認識するための前記学習済みモデルである左モデルと、前記車両の前方の右側に存在しうる物体を認識するための前記学習済みモデルである右モデルと、が更に含まれ、
前記左モデルが認識対象とする画像は、前記認識対象範囲が前記撮像画像における左寄りに位置し、前記右モデルが認識対象とする画像は、前記認識対象範囲が前記撮像画像における右寄りに位置する、物体認識装置。

【請求項6】

車両に搭載される物体認識装置であって、
前記車両の周辺状況を判断するように構成される周辺状況判断部（１１２）と、
前記車両に搭載されたカメラにより撮像された撮像画像において物体を認識するための複数の学習済みモデルを有し、前記複数の学習済みモデルを使用して物体を認識可能に構成される物体認識部（１１１）であって、前記周辺状況判断部により判断された前記周辺状況に基づき、前記複数の学習済みモデルのうち物体を認識するうえで必要性の高い前記学習済みモデルである必要学習済みモデルを特定し、前記必要学習済みモデル以外の前記学習済みモデルの使用を抑制する前記物体認識部と、
を備え、
前記物体認識部は、前記撮像画像における少なくとも一部の範囲であって前記複数の学習済みモデルごとに設定された範囲である認識対象範囲において、物体を認識可能に構成され、
前記複数の学習済みモデルには、前記車両の近くの範囲である近傍範囲に存在しうる物体を認識するための前記学習済みモデルである近距離モデルと、前記近傍範囲よりも遠くの範囲である遠方範囲に存在しうる物体を認識するための前記学習済みモデルである遠距離モデルと、前記車両の前方の左側に存在しうる物体を認識するための前記学習済みモデルである左モデルと、前記車両の前方の右側に存在しうる物体を認識するための前記学習済みモデルである右モデルと、が含まれ、
前記近距離モデルが認識対象とする画像は、前記遠距離モデルが認識対象とする画像と比較して、前記認識対象範囲が広く、解像度が低く、
前記左モデルが認識対象とする画像は、前記認識対象範囲が前記撮像画像における左寄りに位置し、前記右モデルが認識対象とする画像は、前記認識対象範囲が前記撮像画像における右寄りに位置する、物体認識装置。

【請求項7】

請求項６に記載の物体認識装置であって、
前記周辺状況判断部は、前記物体認識部の認識結果に基づき、前記車両の周辺の交通信号機に関する状況を判断する、物体認識装置。

【請求項8】

請求項５乃至請求項７のいずれか１項に記載の物体認識装置であって、
前記周辺状況判断部は、前記車両が走行中の道路の幅を判断するように構成され、
前記物体認識部は、前記周辺状況判断部により前記道路の幅が所定の幅よりも狭いと判断された場合、前記左モデル及び前記右モデルを前記必要学習済みモデルとして特定する、物体認識装置。

【請求項9】

請求項５乃至請求項８のいずれか１項に記載の物体認識装置であって、
前記周辺状況判断部は、前記車両の周辺の自転車用道路又は歩行者用道路に関する状況を判断するように構成され、
前記物体認識部は、前記周辺状況判断部により前記自転車用道路又は前記歩行者用道路が存在すると判断された場合、前記左モデル及び前記右モデルを前記必要学習済みモデルとして特定する、物体認識装置。

【請求項10】

請求項１乃至請求項９のいずれか１項に記載の物体認識装置であって、
前記車両の走行状態を判断するように構成される走行状態判断部（１１３）を更に備え、
前記物体認識部は、前記走行状態判断部により前記車両が高速走行中であると判断され、かつ、前記周辺状況判断部により前記車両の周辺に危険がない状況であると判断された場合、前記遠距離モデルを前記必要学習済みモデルとして特定する、物体認識装置。

【請求項11】

請求項１乃至請求項１０のいずれか１項に記載の物体認識装置であって、
前記周辺状況判断部は、自車両が高速道路を走行中であるか否かを判断するように構成され、
前記物体認識部は、前記周辺状況判断部により前記自車両が高速道路を走行中であると判断された場合、前記遠距離モデルを前記必要学習済みモデルとして特定する、物体認識装置。

【請求項12】

請求項１乃至請求項１１のいずれか１項に記載の物体認識装置であって、
前記物体認識部は、前記必要学習済みモデル以外の前記学習済みモデルの使用をしないことで、当該学習済みモデルの使用を抑制する、物体認識装置。

【請求項13】

請求項１乃至請求項１２のいずれか１項に記載の物体認識装置であって、
前記物体認識部は、物体を認識するにあたり、前記複数の学習済みモデルのそれぞれを周期的に使用するように構成され、前記必要学習済みモデル以外の前記学習済みモデルの使用頻度を低下させることで、当該学習済みモデルの使用を抑制する、物体認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物体認識装置に関する。

【背景技術】

【0002】

車両に搭載されたカメラにより撮像された撮像画像において物体を認識する物体認識装置が知られている。
例えば、特許文献１には、車両の状況に応じて撮像画像における物体認識処理の対象領域を変更し、変更された対象領域において物体認識処理を実行する装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－２０１５８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

物体認識の処理においては、例えば処理対象の画像の解像度を高くするなどして物体認識の性能を高めようとするほど、処理負荷が大きくなる傾向がある。一方、車両に搭載される装置には、リソースの制約が厳しく求められる。そのため、発明者の詳細な検討の結果、車両に搭載される物体認識装置において、物体認識の性能を大きく損なわない形で物体認識の処理負荷を抑制する必要がある、という課題が見出された。

【0005】

本開示の一局面は、車両に搭載される物体認識装置において、物体認識の性能を大きく損なわない形で物体認識の処理負荷を抑制する技術を提供する。

【課題を解決するための手段】

【0006】

本開示の一態様は、車両に搭載される物体認識装置であって、物体認識部（１１１）と、周辺状況判断部（１１２）と、を備える。物体認識部は、車両に搭載されたカメラにより撮像された撮像画像において物体を認識するための複数の学習済みモデルを有し、複数の学習済みモデルを使用して物体を認識可能に構成される。周辺状況判断部は、車両の周辺状況を判断するように構成される。物体認識部は、周辺状況判断部により判断された周辺状況に基づき、複数の学習済みモデルのうち物体を認識するうえで必要性の高い学習済みモデルである必要学習済みモデルを特定し、必要学習済みモデル以外の学習済みモデルの使用を抑制する。

【0007】

このような構成によれば、車両に搭載される物体認識装置において、物体認識の性能を大きく損なわない形で物体認識の処理負荷を抑制することができる。

【図面の簡単な説明】

【0008】

【図1】物体認識装置の構成を示すブロック図である。

【図2】物体認識装置の機能的な構成を示すブロック図である。

【図3】物体認識部が必要学習済みモデルを特定する条件を示した表である。

【発明を実施するための形態】

【0009】

以下、本開示の例示的な実施形態について図面を参照しながら説明する。
［１．構成］
［１－１．全体構成］
図１に示す物体認識装置１は、車両に搭載され、当該車両の周辺に存在する種々の物体を認識する装置である。以下では、物体認識装置１が搭載された車両を自車両と称する。本実施形態では、物体認識装置１は、後述するカメラ２１により撮像された画像である撮像画像において物体を認識する装置である。

【0010】

物体認識装置１は、ＣＰＵ１０１と、ＲＯＭ１０３、ＲＡＭ１０４、フラッシュメモリ等の半導体メモリ（以下、メモリ１０２）と、を有するマイクロコンピュータ（以下、マイコン）を中心に構成される。物体認識装置１の各種機能は、ＣＰＵ１０１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１０２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、物体認識装置１を構成するマイコンの数は１つでも複数でもよい。また、物体認識装置１が有する各種機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、１つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。

【0011】

自車両には、カメラ２１、測距装置２２、ＧＰＳ受信機２３、道路交通情報取得装置２４、地図情報記憶装置２５、車速センサ２６、操舵角センサ２７、方向指示器センサ２８、スピーカ３１、表示器３２、及び車両制御装置３３、が搭載されている。

【0012】

カメラ２１は、自車両の前側に搭載され、自車両の前方を撮像可能に構成される車載カメラである。
測距装置２２は、自車両の前側に搭載され、自車両の前方の所定領域に存在する物体までの距離を計測する装置である。本実施形態における測距装置２２は、光を照射し、照射された光の物体での反射光を検出することで当該物体までの距離を計測するＬｉＤＡＲ装置である。なお、ＬｉＤＡＲは、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇの略語である。

【0013】

ＧＰＳ受信機２３は、ＧＰＳ衛星から発信されるＧＰＳ信号を受信し、自車両の現在位置を検出する装置である。なお、ＧＰＳは、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍの略語である。

【0014】

道路交通情報取得装置２４は、外部の情報通信システムから道路交通情報を取得する装置である。外部の情報通信システムの例として、ＶＩＣＳ（登録商標）、ＴＳＰＳ等が挙げられる。また、道路交通情報の例として、交通渋滞、交通規制、道路工事、事故等についての情報が挙げられる。

【0015】

地図情報記憶装置２５は、地図情報を記憶する装置である。ここで、地図情報記憶装置２５が記憶する地図情報は、自車両にあらかじめ記憶されているものであってもよく、外部のサーバ等から取得されたものであってもよい。

【0016】

車速センサ２６は、自車両の車速を検出するセンサである。
操舵角センサ２７は、自車両のステアリングホイールの操舵角を検出するセンサである。
方向指示器センサ２８は、自車両の方向指示器の動作状態を検出するセンサである。方向指示器の動作状態の例として、左方向指示器が点滅している状態、右方向指示器が点滅している状態、あるいはいずれの方向指示器も動作していない状態等が挙げられる。

【0017】

スピーカ３１は、自車両の車室内に搭載されるスピーカである。
表示器３２は、自車両の車室内に搭載される表示器である。本実施形態における表示器３２は、自車両の乗員が視認可能な画像を表示するディスプレイ装置である。ただし、表示器３２はディスプレイ装置に限定されるものではなく、例えば、自車両の乗員が視認可能に発光するＬＥＤライトであってもよい。

【0018】

車両制御装置３３は、自車両に対して車両制御を実行する装置である。車両制御の例として、減速、停止、自車両と物体との衝突を避けることが可能な方向への操舵等が挙げられる。

【0019】

［１－２．物体認識装置の機能的な構成］
次に、物体認識装置１の機能的な構成について、図２を用いて説明する。
物体認識装置１は、ＣＰＵ１０１がプログラムを実行することで実現される機能ブロック、すなわち、仮想的な構成要素として、物体認識部１１１と、周辺状況判断部１１２と、走行状態判断部１１３と、を備える。

【0020】

［１－２－１．物体認識部］
物体認識部１１１は、カメラ２１から撮像画像を入力し、当該撮像画像において物体を認識可能に構成される。物体認識部１１１が認識する物体の例として、交通信号機、先行車両、歩行者、自車両が走行中の道路である走行中道路、自転車用道路、歩行者用道路、横断歩道等が挙げられる。なお、交通信号機は、例えば、交通信号機の点灯色や矢印灯の点灯の有無等も併せて認識される。物体認識装置１は、物体認識部１１１により撮像画像において物体が認識されることで、自車両の周辺に存在する種々の物体を認識可能に構成される。

【0021】

物体認識部１１１は、撮像画像において物体を認識するための学習済みモデルを有する。学習済みモデルは、例えば、機械学習によって生成され、多層ニューラルネットワークにより構成される。物体認識部１１１は、学習済みモデルを使用して物体を認識可能に構成される。具体的には、物体認識部１１１は、撮像画像における少なくとも一部の範囲である認識対象範囲の画像を学習済みモデルに入力する。そして、当該学習済みモデルは、認識対象とする画像において物体を認識し、物体認識結果を出力する。このようにして、物体認識部１１１は、物体を認識可能に構成される。

【0022】

物体認識部１１１は、認識対象範囲が異なる複数の学習済みモデルを有する。本実施形態では、物体認識部１１１は、近距離モデル、遠距離モデル、左モデル、及び右モデル、の４種類の学習済みモデルを有する。

【0023】

近距離モデルは、自車両の近くの範囲である近傍範囲に存在しうる物体を認識するための学習済みモデルである。近距離モデルが認識対象とする画像の認識対象範囲は、図２に示すように、撮像画像における全部の範囲である。ただし、近距離モデルが認識対象とする画像には、撮像画像よりも解像度を低下させた画像が用いられる。近傍範囲に存在しうる物体は、撮像画像において大きく表示されるため、解像度を低下させた画像においても十分に認識されるからである。

【0024】

遠距離モデルは、近傍範囲よりも遠くの範囲である遠方範囲に存在しうる物体を認識するための学習済みモデルである。遠距離モデルが認識対象とする画像の認識対象範囲は、図２に示すように、撮像画像における無限遠点を中心とする一部の範囲であって遠方を示す範囲である。なお、遠距離モデルが認識対象とする画像の解像度は、撮像画像の解像度と同じである。
すなわち、近距離モデルが認識対象とする画像は、遠距離モデルが認識対象とする画像と比較して、認識対象範囲が広く解像度が低い画像である。

【0025】

左モデルは、自車両の前方の左側に存在しうる物体を認識するための学習済みモデルである。左モデルが認識対象とする画像の認識対象範囲は、撮像画像における左寄りに位置する範囲であり、本実施形態では、図２に示すように、撮像画像における左側半分の範囲である。なお、左モデルが認識対象とする画像の解像度は、撮像画像の解像度と同じである。

【0026】

右モデルは、自車両の前方の右側に存在しうる物体を認識するための学習済みモデルである。右モデルが認識対象とする画像の認識対象範囲は、撮像画像における右寄りに位置する範囲であり、本実施形態では、図２に示すように、撮像画像における右側半分の範囲である。なお、右モデルが認識対象とする画像の解像度は、撮像画像の解像度と同じである。

【0027】

物体認識部１１１は、近傍範囲、遠方範囲並びに自車両の前方の左側及び右側のそれぞれに存在しうる物体を、近距離モデル、遠距離モデル、左モデル及び右モデルのそれぞれを使用することで認識する。すなわち、４種類の学習済みモデルの認識対象とする画像は、認識対象範囲がそれぞれ異なる。このため、４種類の学習済みモデルは並列的に使用される。

【0028】

ただし、自車両の周辺状況によっては、物体を認識するうえで必要性の低い学習済みモデルが生じ得る。例えば、自車両前方の交通信号機が停止指示を表示している場合、遠距離モデルの必要性が低くなる。物体認識部１１１は、物体認識の処理負荷を抑制するため、当該必要性の低い学習済みモデルの使用を抑制する。必要性の低い学習済みモデルであれば、その使用が抑制されても、物体認識の性能に与える影響が少ないためである。

【0029】

具体的には、物体認識部１１１は、４種類の学習済みモデルのうち物体を認識するうえで必要性の高い学習済みモデルである必要学習済みモデルを、後述の方法により特定する。そして、物体認識部１１１は、物体を認識するにあたり、特定された必要学習済みモデル以外の学習済みモデルの使用を抑制する。本実施形態では、物体認識部１１１は、物体を認識するにあたり、必要学習済みモデル以外の学習済みモデルの使用をしないことで、必要学習済みモデル以外の学習済みモデルの使用を抑制する。

【0030】

［１－２－２．周辺状況判断部］
周辺状況判断部１１２は、自車両の周辺の状況である周辺状況を判断し、判断結果を物体認識部１１１に出力するように構成される。

【0031】

具体的には、周辺状況判断部１１２は、自車両の周辺の交通信号機に関する状況を、物体認識部１１１から入力した物体認識結果に基づき判断する。物体認識結果は、物体認識部１１１により認識された物体と、撮像画像における当該物体が存在する領域と、を示す情報である。本実施形態では、周辺状況判断部１１２は、自車両の周辺の交通信号機に関する状況として、自車両の前方に交通信号機が存在するか否か、及び、交通信号機が存在する場合には当該交通信号機の表示内容、を判断する。交通信号機の表示内容は、停止指示及び進行許可に分類される。周辺状況判断部１１２は、交通信号機の点灯色が青色又は黄色である場合、当該交通信号機が進行許可を表示していると判断する。また、周辺状況判断部１１２は、交通信号機の点灯色が赤色である場合、当該交通信号機が停止指示を表示していると判断する。ただし、周辺状況判断部１１２は、交通信号機の点灯色が赤色であっても、矢印灯が点灯している場合には、当該交通信号機が進行許可を表示していると判断する。

【0032】

また、周辺状況判断部１１２は、自車両の周辺に歩行者が存在するか否かを、物体認識部１１１から入力した物体認識結果に基づき判断する。
また、周辺状況判断部１１２は、走行中道路の幅が所定の幅よりも狭いか否かを、物体認識部１１１から入力した物体認識結果に基づき判断する。具体的には、周辺状況判断部１１２は、撮像画像における走行中道路が存在する領域から走行中道路の幅を計測し、計測された幅が所定の幅よりも狭いか否かを判断する。ここで、所定の幅は、例えば、対向車両とすれ違うことが容易でない程度の幅である。ただし、所定の幅はこれに限定されるものではない。

【0033】

また、周辺状況判断部１１２は、自車両の周辺に自転車用道路又は歩行者用道路が存在するか否かを、物体認識部１１１から入力した物体認識結果に基づき判断する。
また、周辺状況判断部１１２は、先行車両の状況を、測距装置２２から入力した自車両と先行車両との車間距離の計測結果に基づき判断する。ここで、先行車両の状況とは、自車両の前方に先行車両が存在するか否か、及び、先行車両が存在する場合には車間距離が狭いか広いか、である。周辺状況判断部１１２は、車間距離が所定の距離未満である場合に車間距離が狭いと判断し、車間距離が所定の距離以上である場合に車間距離が広いと判断する。所定の距離は、例えば、５０ｍである。ただし、所定の距離はこれに限定されるものではない。

【0034】

また、周辺状況判断部１１２は、自車両が交差点内に位置しているか否かを、ＧＰＳ受信機２３から入力した自車両の現在位置の検出結果と、地図情報記憶装置２５から入力した地図情報と、に基づき判断する。

【0035】

また、周辺状況判断部１１２は、自車両の周辺の交通渋滞に関する状況を、道路交通情報取得装置２４から入力した道路交通情報に基づき判断する。本実施形態では、周辺状況判断部１１２は、自車両の周辺の交通渋滞に関する状況として、自車両の進行先に交通渋滞があるか否かを判断する。自車両の進行先とは、例えばナビゲーション装置で走行予定経路に沿った走行案内がされている状況であれば当該走行予定経路であり、それ以外の状況であれば自車両が道なりに走行すると仮定した場合の走行予定経路である。周辺状況判断部１１２は、自車両の進行先における所定の範囲内で交通渋滞が発生しているという情報が含まれた道路交通情報を入力した場合、自車両の進行先に交通渋滞があると判断する。また、交通規制、道路工事、事故等は交通渋滞を引き起こす可能性があることから、周辺状況判断部１１２は、自車両の進行先における所定の範囲内で交通規制、道路工事、事故等が発生しているという情報が含まれた道路交通情報を入力した場合にも、自車両の進行先に交通渋滞があると判断する。所定の範囲は、例えば、自車両から５００ｍの範囲である。ただし、所定の範囲はこれに限定されるものではない。

【0036】

［１－２－３．走行状態判断部］
走行状態判断部１１３は、走行中における自車両の状態である走行状態を判断し、判断結果を物体認識部１１１に出力するように構成される。走行状態には、車速と、操舵状態と、が含まれる。

【0037】

具体的には、走行状態判断部１１３は、車速センサ２６から入力した車速に基づき、自車両が、高速走行中、低速走行中、停車中及び完全停止の４種類の状態のいずれであるかを判断する。走行状態判断部１１３は、車速が第１速度以上である場合に自車両が高速走行中であると判断し、車速が第２速度以上第１速度未満である場合に自車両が低速走行中であると判断する。第１速度は、例えば時速３０ｋｍ／ｈであり、第２速度は、例えば時速３ｋｍ／ｈである。ただし、第１速度及び第２速度はこれに限定されるものではない。また、走行状態判断部１１３は、車速が第２速度未満である場合に自車両が停止中であると判断し、特に、車速が時速０ｋｍ／ｈの状態が所定時間以上継続した場合に自車両が完全停止の状態であると判断する。所定時間は、例えば５秒である。ただし、所定時間はこれに限定されるものではない。また、完全停止の状態において、自車両のブレーキが解除された場合、走行状態判断部１１３は、自車両が停止中であると判断する。

【0038】

また、走行状態判断部１１３は、操舵角センサ２７から入力したステアリングホイールの操舵角に基づき、自車両が、左折中、右折中及び直進中の３種類の状態のいずれであるかを判断する。走行状態判断部１１３は、操舵角が左方向に所定角度以上である場合、自車両が左折中であると判断する。一方、走行状態判断部１１３は、操舵角が右方向に所定角度以上である場合、自車両が右折中であると判断する。そして、走行状態判断部１１３は、自車両が左折中及び右折中のいずれとも判断されない場合に、自車両が直進中であると判断する。なお、操舵状態の判断は、方向指示器センサ２８から入力した方向指示器の動作状態も加味して行われてもよい。

【0039】

［１－３．必要学習済みモデルの特定方法］
続いて、物体認識部１１１が必要学習済みモデルを特定する方法について説明する。物体認識部１１１は、走行状態判断部１１３から入力した走行状態の判断結果と、周辺状況判断部１１２から入力した周辺状況の判断結果と、に基づき、４種類の学習済みモデルから必要学習済みモデルを特定する。物体認識部１１１は、複数の学習済みモデルを必要学習済みモデルとして特定してもよい。

【0040】

本実施形態では、物体認識部１１１は、図３に示す条件に従い必要学習済みモデルを特定する。具体的には、左モデルは、自車両が左折中の状態において必要学習済みモデルとして特定される。同様に、右モデルは、自車両が右折中の状態において必要学習済みモデルとして特定される。以下では、近距離モデル及び遠距離モデルが必要学習済みモデルとして特定される条件について説明する。なお、自車両が完全停止の状態においては、物体認識の処理が行われないため、必要学習済みモデルが特定されない。

【0041】

近距離モデルは、次の条件（１）～（６）の全てが成立する場合を除き、必要学習済みモデルとして特定される。
（１）自車両が高速走行中である。
（２）自車両が直進中である。
（３）自車両の前方に交通信号機が存在しない。
（４）自車両が交差点内に位置していない。
（５）先行車両が存在しない又は先行車両との車間距離が広い。
（６）自車両の周辺に歩行者が存在しない。

【0042】

上記条件（１）～（６）の全てが成立する場合とは、自車両が高速走行中であり、かつ、自車両の周辺に危険がない状況である場合であり、例えば自車両が高速道路や見通しのよい田舎道などを走行中であることが考えられる。この場合、遠距離モデルが必要学習済みモデルとして特定される。

【0043】

一方で、遠距離モデルは、次の条件（７）又は（８）が成立する場合を除き、必要学習済みモデルとして特定される。
（７）自車両が停車中である。
（８）自車両が低速走行中であって、自車両の前方の交通信号機が停止指示を表示している。

【0044】

物体認識部１１１は、以上のような条件で必要学習済みモデルを特定する。ただし、上述した条件はあくまでも一例であり、条件の少なくとも一部を追加、削除、変更などしてもよい。例えば、走行中道路の幅が所定の幅よりも狭い場合、又は、自車両の周辺に自転車用道路若しくは歩行者用道路が存在する場合、左モデル及び右モデルの双方が必要学習済みモデルとして特定されてもよい。また、例えば、自車両の進行先に交通渋滞がある場合、近距離モデル及び遠距離モデルの双方が必要学習済みモデルとして特定されてもよい。

【0045】

物体認識部１１１は、必要学習済みモデルを特定した後、物体を認識する。本実施形態では、上述のように、物体認識部１１１は、物体を認識するにあたり、必要学習済みモデル以外の学習済みモデルの使用をしないことで、必要学習済みモデル以外の学習済みモデルの使用を抑制する。

【0046】

物体認識部１１１による物体認識結果は、例えば、スピーカ３１、表示器３２、車両制御装置３３によって実施される運転支援や走行制御に用いられる。物体認識部１１１は、運転支援や走行制御に必要な情報を、スピーカ３１、表示器３２、車両制御装置３３のそれぞれに出力する。

【0047】

［２．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（２ａ）物体認識部１１１は、撮像画像において物体を認識するための複数の学習済みモデルを有し、複数の学習済みモデルを使用して物体を認識可能に構成される。物体認識部１１１は、周辺状況判断部１１２により判断された周辺状況に基づき、複数の学習済みモデルのうち物体を認識するうえで必要性の高い学習済みモデルである必要学習済みモデルを特定し、必要学習済みモデル以外の学習済みモデルの使用を抑制する。

【0048】

必要学習済みモデル以外の学習済みモデル、すなわち、物体を認識するうえで必要性の低い学習済みモデルの使用が抑制された場合であっても、物体認識の性能に与える影響は少ない。一方、複数の学習済みモデルのうち一部の学習済みモデルの使用を抑制することは、物体認識の処理負荷を抑制することにつながる。したがって、本実施形態の構成によれば、物体認識装置１において、物体認識の性能を大きく損なわない形で物体認識の処理負荷を抑制することができる。

【0049】

（２ｂ）複数の学習済みモデルには、近傍範囲に存在しうる物体を認識するための学習済みモデルである近距離モデルと、遠方範囲に存在しうる物体を認識するための学習済みモデルである遠距離モデルと、が含まれる。近距離モデルが認識対象とする画像は、遠距離モデルが認識対象とする画像と比較して、認識対象範囲が広く解像度が低い画像である。

【0050】

撮像画像における物体の大きさは、当該物体が遠方範囲に存在する場合には小さく、近傍範囲に存在する場合には大きい。また、遠方範囲に存在する物体のうち、自車両の前方に存在する物体は、撮像画像における無限遠点を中心とする一部の範囲に位置する。そのため、遠方範囲に存在する物体については、認識対象範囲を狭めても当該範囲に認識対象の物体が包含されうる。一方で、近傍範囲に存在する物体については、撮像画像において大きく表示されるため、物体認識にあたって認識対象範囲を広く確保する必要があるが、認識対象とする画像の解像度を低下させても十分に認識可能である。

【0051】

つまり、近距離モデル及び遠距離モデルのいずれも、撮像画像よりも画素数の少ない画像において物体認識が行われるため、物体認識の処理負荷が抑制される一方、上述の理由により物体認識の性能が大きく損なわれることも抑制される。したがって、本実施形態の構成によれば、物体認識装置１において、物体認識の性能を大きく損なわない形で物体認識の処理負荷を抑制することができる。

【0052】

（２ｃ）周辺状況判断部１１２は、自車両の周辺の交通信号機に関する状況を、物体認識部１１１から入力した物体認識結果に基づき判断する。したがって、本実施形態の構成によれば、自車両の周辺の交通信号機に関する状況に基づき必要学習済みモデルを特定することができる。

【0053】

（２ｄ）本実施形態では、近距離モデルは、自車両の前方の交通信号機が停止指示を表示している場合に、必要学習済みモデルとして特定される。自車両の前方の交通信号機が停止指示を表示している場合には、自車両が現在停止しているか、自車両が直後に減速あるいは停止するか、という状況であることが考えられる。このような状況では、近傍範囲に存在しうる物体を認識する必要性が高いと考えられる。したがって、本実施形態の構成によれば、自車両の前方の交通信号機が停止指示を表示している状況において、近距離モデルが使用されるようにすることで、物体認識の性能を大きく損なわないようにすることができる。

【0054】

（２ｅ）本実施形態では、近距離モデルは、自車両が高速走行中かつ直進中であり、自車両の前方に交通信号機が存在せず、自車両が交差点内に位置しておらず、先行車両が存在しない又は先行車両との車間距離が広く、自車両の周辺に歩行者が存在しない、という全ての条件を満たす場合を除き、必要学習済みモデルとして特定される。上述の全ての条件を満たす場合には、例えば自車両が高速道路や見通しのよい田舎道などを走行中であることが考えられる。このような状況では、近傍範囲に存在しうる物体を認識する必要性が低いと考えられる。したがって、本実施形態の構成によれば、近傍範囲に存在しうる物体を認識する必要性が低い状況において、近距離モデルの使用が抑制されうるようにすることで、物体認識の性能を大きく損なわない形で物体認識の処理負荷を抑制することができる。

【0055】

（２ｆ）本実施形態では、遠距離モデルは、自車両が高速走行中であり、かつ、自車両の周辺に危険がない状況である場合に、必要学習済みモデルとして特定される。自車両が高速走行中であり、かつ、自車両の周辺に危険がない状況である場合には、例えば自車両が高速道路や見通しのよい田舎道などを走行中であることが考えられる。このような状況では、遠方範囲に存在しうる物体を認識する必要性が高いと考えられる。したがって、本実施形態の構成によれば、自車両が高速走行中であり、かつ、自車両の周辺に危険がない状況において、遠距離モデルが使用されるようにすることで、物体認識の性能を大きく損なわないようにすることができる。

【0056】

（２ｇ）本実施形態では、遠距離モデルは、自車両が停車中である場合、又は、自車両が低速走行中であって自車両の前方の交通信号機が停止指示を表示している場合、を除き、必要学習済みモデルとして特定される。上述のいずれかの場合には、自車両が直後に遠方まで到達する可能性が低い状況であることが考えられる。このような状況では、遠方範囲に存在しうる物体を認識する必要性が低いと考えられる。したがって、本実施形態の構成によれば、遠方範囲に存在しうる物体を認識する必要性が低い状況において、遠距離モデルの使用が抑制されうるようにすることで、物体認識の性能を大きく損なわない形で物体認識の処理負荷を抑制することができる。

【0057】

（２ｈ）自車両の進行先に交通渋滞がある場合には、自車両の周辺に存在しうる車両等の数が増加する可能性などから、通常の状態と比較して、近傍範囲及び遠方範囲共に監視の必要性が高まる。したがって、自車両の進行先に交通渋滞がある場合に、近距離モデル及び遠距離モデルの双方が必要学習済みモデルとして特定される構成によれば、自車両の進行先に交通渋滞がある状況での物体認識を適切に行うことができる。

【0058】

（２ｉ）走行中道路の幅が狭い場合には、自車両の前方の左側及び右側共に監視の必要性が高まる。したがって、走行中道路の幅が所定の幅よりも狭い場合に左モデル及び右モデルの双方が必要学習済みモデルとして特定される構成によれば、走行中道路の幅が狭い状況での物体認識を適切に行うことができる。

【0059】

（２ｊ）自車両の周辺に自転車用道路又は歩行者用道路が存在する場合には、自車両の周辺に自転車用道路又は歩行者用道路が存在しない場合と比較して、自車両の前方の左側及び右側共に監視の必要性が高まる。したがって、自車両の周辺に自転車用道路又は歩行者用道路が存在する場合に左モデル及び右モデルの双方が必要学習済みモデルとして特定される構成によれば、自車両の周辺に自転車用道路又は歩行者用道路が存在する状況での物体認識を適切に行うことができる。

【0060】

（２ｋ）本実施形態では、物体認識部１１１は、必要学習済みモデル以外の学習済みモデルの使用をしない。したがって、本実施形態の構成によれば、物体認識部１１１が必要学習済みモデル以外の学習済みモデルの使用をする構成と比較して、物体認識装置１における処理負荷を抑制することができる。

【0061】

［３．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

【0062】

（３ａ）上記実施形態では、自車両の前方に存在する交通信号機の点灯色が赤色であっても矢印灯が点灯している場合には、周辺状況判断部１１２により当該交通信号機が進行許可を表示していると判断される構成を例示したが、当該交通信号機が進行許可を表示していると判断される構成はこれに限定されるものではない。例えば、周辺状況判断部１１２は、当該交通信号機の点灯色が赤色である場合には矢印灯が直進方向に点灯している場合にのみ、当該交通信号機が進行許可を表示していると判断してもよい。また、例えば、周辺状況判断部１１２は、当該交通信号機の点灯色が赤色である場合において、自車両の進行先と一致する方向に矢印灯が点灯している場合にのみ当該交通信号機が進行許可を表示していると判断してもよい。なお、自車両の進行先とは、上述したように、ナビゲーション装置で走行案内がされている走行予定経路や、自車両が道なりに走行すると仮定した場合の走行予定経路である。

【0063】

（３ｂ）上記実施形態では、自車両の周辺に自転車用道路又は歩行者用道路が存在するか否かを周辺状況判断部１１２が判断する構成として、物体認識部１１１から入力した物体認識結果に基づき判断する構成を例示したが、自車両の周辺に自転車用道路又は歩行者用道路が存在するか否かを周辺状況判断部１１２が判断する構成はこれに限定されるものではない。例えば、周辺状況判断部１１２は、自車両の周辺に自転車用道路又は歩行者用道路が存在するか否かを、ＧＰＳ受信機２３から入力した自車両の現在位置の検出結果と、地図情報記憶装置２５から入力した地図情報と、に基づき判断してもよい。

【0064】

（３ｃ）上記実施形態では、走行中道路の幅が所定の幅よりも狭いか否かを周辺状況判断部１１２が判断する構成として、物体認識部１１１から入力した物体認識結果に基づき判断する構成を例示したが、走行中道路の幅が所定の幅よりも狭いか否かを周辺状況判断部１１２が判断する構成はこれに限定されるものではない。例えば、周辺状況判断部１１２は、走行中道路の幅を、ＧＰＳ受信機２３から出力された自車両の現在位置の検出結果と、地図情報記憶装置２５から出力された地図情報と、に基づき判断してもよい。

【0065】

（３ｄ）上記実施形態では、自車両が交差点内に位置しているか否かを周辺状況判断部１１２が判断する構成として、ＧＰＳ受信機２３から入力した自車両の現在位置の検出結果と、地図情報記憶装置２５から入力した地図情報と、に基づき判断する構成を例示したが、自車両が交差点内に位置しているか否かを周辺状況判断部１１２が判断する構成はこれに限定されるものではない。例えば、周辺状況判断部１１２は、自車両が交差点内に位置しているか否かを物体認識部１１１から入力した物体認識結果に基づき判断してもよい。この場合、例えば、周辺状況判断部１１２は、交通信号機や横断歩道等の交差点周辺に存在しうる物体が撮像画像において認識された場合に、自車両が交差点内に位置していると判断してもよい。

【0066】

（３ｅ）上記実施形態では、近距離モデルが認識対象とする画像の認識対象範囲は撮像画像における全部の範囲であることを例示したが、近距離モデルが認識対象とする画像の認識対象範囲はこれに限定されるものではない。例えば、近距離モデルが認識対象とする画像の認識対象範囲は、撮像画像における一部の範囲であってもよい。

【0067】

（３ｆ）上記実施形態では、遠距離モデルが認識対象とする画像の解像度は撮像画像の解像度と同じであることを例示したが、遠距離モデルが認識対象とする画像はこれに限定されるものではない。例えば、遠距離モデルが認識対象とする画像には、撮像画像よりも解像度を低下させた画像が用いられてもよい。

【0068】

（３ｇ）上記実施形態では、左モデル及び右モデルが認識対象とする画像の認識対象範囲は撮像画像における左右それぞれ半分の範囲であることを例示したが、左モデル及び右モデルが認識対象とする画像の認識対象範囲はこれに限定されるものではない。例えば、左モデル及び右モデルが認識対象とする画像の認識対象範囲は、撮像画像における左右それぞれ３分の１程度の範囲であってもよい。また、上記実施形態では、左モデル及び右モデルが認識対象とする画像として、撮像画像と同じ解像度の画像が用いられる構成を例示したが、撮像画像よりも解像度を低下させた画像が用いられてもよい。

【0069】

（３ｈ）上記実施形態では、物体認識部１１１が物体を認識するにあたり必要学習済みモデル以外の学習済みモデルの使用をしない構成を例示したが、必要学習済みモデル以外の学習済みモデルの使用を抑制する構成はこれに限定されるものではない。例えば、物体認識部１１１は、必要学習済みモデル以外の学習済みモデルの使用頻度を低下させることで、必要学習済みモデル以外の学習済みモデルの使用を抑制してもよい。

【0070】

物体認識部１１１は、物体を認識するにあたり、複数の学習済みモデルのそれぞれを周期的に使用するように構成される。そして、物体認識部１１１は、例えば、必要学習済みモデル以外の学習済みモデルを使用する周期を長くして、必要学習済みモデル以外の学習済みモデルの使用頻度を低下させてもよい。したがって、このような構成によれば、必要学習済みモデル以外の学習済みモデルの使用頻度を低下させない構成と比較して、物体認識装置１における処理負荷を抑制することができる。

【0071】

（３ｉ）上記実施形態では、近距離モデル、遠距離モデル、左モデル、及び右モデル、の４種類の学習済みモデルを物体認識部１１１が有する構成を例示したが、物体認識部１１１が有する学習済みモデルはこれに限定されるものではない。例えば、物体認識部１１は、近距離モデル及び遠距離モデルの２種類の学習済みモデルを有する構成であってもよい。

【0072】

（３ｊ）上記実施形態では、周辺状況判断部１１２は、周辺状況として、自車両の周辺の交通信号機に関する状況、自車両の周辺に歩行者が存在するか否か、走行中道路の幅が所定の幅よりも狭いか否か、自車両の周辺に自転車用道路又は歩行者用道路が存在するか否か、先行車両の状況、自車両が交差点内に位置しているか否か、自車両の周辺の交通渋滞に関する状況、を判断しているが、周辺状況判断部１１２が判断する周辺状況はこれに限定されるものではない。例えば、周辺状況判断部１１２は、周辺状況として、走行中道路が高速道路であるか否か、すなわち、自車両が高速道路を走行中であるか否かを判断してもよい。この場合において、周辺状況判断部１１２は、自車両が高速道路を走行中であるか否かを、例えば、ＧＰＳ受信機２３から入力した自車両の現在位置の検出結果と、地図情報記憶装置２５から入力した地図情報と、に基づき判断してもよい。

【0073】

そして、この場合において、物体認識部１１１は、自車両が高速道路を走行中である場合、遠距離モデルを必要学習済みモデルとして特定してもよい。自車両が高速道路を走行中である状況では、遠方範囲に存在しうる物体を認識する必要性が高いと考えられる。したがって、このような構成によれば、自車両が高速道路を走行中である状況において、遠距離モデルが使用されるようにすることで、物体認識の性能を大きく損なわないようにすることができる。

【0074】

また、上記のような場合において、物体認識部１１１は、自車両が高速道路を走行中である場合を除き、近距離モデルを必要学習済みモデルとして特定してもよい。自車両が高速道路を走行中である状況では、近傍範囲に存在しうる物体を認識する必要性が低いと考えられる。したがって、このような構成によれば、近傍範囲に存在しうる物体を認識する必要性が低い状況において、近距離モデルの使用が抑制されうるようにすることで、物体認識の性能を大きく損なわない形で物体認識の処理負荷を抑制することができる。

【0075】

（３ｋ）上記実施形態では、自車両の周辺の交通信号機に関する状況として、自車両の前方に交通信号機が存在するか否か、が周辺状況判断部１１２により判断される構成を例示したが、周辺状況判断部１１２が判断する対象の交通信号機は、自車両の前方に存在する交通信号機に限定されるものではない。

【0076】

（３ｌ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。

【0077】

（３ｍ）本開示は、上述した物体認識装置の他、当該物体認識装置を備える物体認識システム、当該物体認識装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、物体認識方法など、種々の形態で実現することができる。

【符号の説明】

【0078】

１…物体認識装置、１１１…物体認識部、１１２…周辺状況判断部、１１３…走行状態判断部。

【図1】

【図2】

【図3】