特開 2024-150873 環境認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024150873

(43)【公開日】2024-10-24

(54)【発明の名称】環境認識装置

(51)【国際特許分類】

   G06T 7/215 20170101AFI20241017BHJP

   G06T 7/00 20170101ALI20241017BHJP

   G06T 7/73 20170101ALI20241017BHJP

   G01C 21/28 20060101ALI20241017BHJP

【ＦＩ】

G06T7/215

G06T7/00 350B

G06T7/00 650B

G06T7/73

G01C21/28

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023063890

(22)【出願日】2023-04-11

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】上田 康貴

【テーマコード（参考）】

2F129

5L096

【Ｆターム（参考）】

2F129AA03

2F129BB19

2F129BB33

2F129BB49

2F129GG17

5L096DA01

5L096GA51

5L096HA03

5L096KA04

(57)【要約】

【課題】過大な装置構成を必要とせずに、移動体検出を高精度に行うこと。
【解決手段】実施形態の環境認識装置は、撮像部によって撮像された画像を入力し、入力された画像の特徴点と、前記特徴点の特徴量と、を出力する学習済みモデルで構成される特徴点検出部と、前記特徴点検出部から出力される前記特徴量を解析し、前記特徴量の解析結果に基づいて、前記画像における特徴点を、移動体の特徴点からなる移動体領域と、非移動体の特徴点からなる非移動体領域とに分類する解析部と、前記非移動体領域の特徴点ごとの対応点を検出し、前記対応点に基づいて自己位置を推定し、環境地図を生成する環境認識部と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

撮像部によって撮像された画像を入力し、入力された画像の特徴点と、前記特徴点の特徴量と、を出力する学習済みモデルで構成される特徴点検出部と、
前記特徴点検出部から出力される前記特徴量を解析し、前記特徴量の解析結果に基づいて、前記画像における特徴点を、移動体の特徴点からなる移動体領域と、非移動体の特徴点からなる非移動体領域とに分類する解析部と、
前記非移動体領域の特徴点ごとの対応点を検出し、前記対応点に基づいて自己位置を推定し、環境地図を生成する環境認識部と、
を備える環境認識装置。

【請求項2】

前記解析部は、前記特徴量を、予め定められた前記移動体の参照特徴量と比較し、前記特徴量と前記参照特徴量との距離が第１の閾値以下である場合に、前記特徴量を有する前記特徴点を前記移動体領域に分類し、前記距離が前記第１の閾値より大きい場合に、前記特徴量を有する前記特徴点を前記非移動体領域に分類する、
請求項１に記載の環境認識装置。

【請求項3】

前記解析部は、前記特徴点の特徴量を入力して前記特徴量を有する前記特徴点を前記移動体の特徴点と前記非移動体の特徴点とに分類する第２の学習済みモデルを用いて、前記特徴量を有する前記画像における特徴点を、前記移動体領域と前記非移動体領域とに分類する、
請求項１に記載の環境認識装置。

【請求項4】

前記解析部は、前記特徴量に基づいて、前記画像における特徴点を、前記移動体である雲の特徴点からなる雲領域と、前記移動体である移動物体の特徴点からなる移動物体領域と、前記非移動体領域とに分類する、
請求項１から３のいずれか１項に記載の環境認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、環境認識装置に関する。

【背景技術】

【0002】

従来から、撮像装置から得られる映像データ等の画像から現在の自己位置を三次元で推定して環境地図を生成する技術として、Ｖｉｓｕａｌ－ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ：以下、「ＶＳＬＡＭ」と称する。）技術が知られている。近年は、ＶＳＬＡＭの分野において、人工知能を利用した特徴点検出器や対応点検出器が開発されている（例えば、特許文献１参照）。

【0003】

ＶＳＬＡＭ技術では、周辺の環境が静止していることを前提として自己位置推定を行っている。このため、車両、人等の移動体が存在する場合、自己位置推定の精度に悪影響を及ぼす恐れがある。

【0004】

例えば、セグメンテーションモデル等の人工知能を用いた手法によって、画素ごとに移動体か非移動体かを分類する技術があり、この技術を用いることで、特徴点が移動体から検出されたものか否かを判断することは可能である。

【0005】

また、車両や人間等の移動体のテンプレートを予め準備しておき、撮像した周囲の画像から、テンプレートマッチングにより、車両や人間等の移動体を判断して、移動体を除去して環境地図を生成する技術も従来から知られている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】中国特許出願公開第１１１３４４７１６号明細書

【特許文献2】特開２０２０－１５２２３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、セグメンテーションモデル等の人工知能の手法を用いた移動体の判断の従来技術では、画素ごとに判断しなければならず処理負荷が高くなるため、装置に多くのハードウェアリソースが必要となる。また、特許文献１の技術では、予め多数の移動体のテンプレートを準備しておく必要があり、記憶容量が過大となる。また、この特許文献１の技術では、テンプレートマッチングの手法を用いているため、テンプレートのない移動体については検出が困難となり、検出精度が低下する可能性がある。

【0008】

実施形態の課題の一つは、過大な装置構成を必要とせずに、移動体検出を高速かつ高精度に行うことができる環境認識装置を提供することである。

【課題を解決するための手段】

【0009】

実施形態の環境認識装置は、撮像部によって撮像された画像を入力し、入力された画像の特徴点と、前記特徴点の特徴量と、を出力する学習済みモデルで構成される特徴点検出部と、前記特徴点検出部から出力される前記特徴量を解析し、前記特徴量の解析結果に基づいて、前記画像における特徴点を、移動体の特徴点からなる移動体領域と、非移動体の特徴点からなる非移動体領域とに分類する解析部と、前記非移動体領域の特徴点ごとの対応点を検出し、前記対応点に基づいて自己位置を推定し、環境地図を生成する環境認識部と、を備える。当該構成により、一例として、画素ごとの移動体の判断やテンプレートを用いる必要がなくなるので、過大な装置構成を必要とせずに、移動体検出を高速かつ高精度に行うことができる。

【0010】

また、実施形態の環境認識装置において、前記解析部は、前記特徴量を、予め定められた前記移動体の参照特徴量と比較し、前記特徴量と前記参照特徴量との距離が第１の閾値以下である場合に、前記特徴量を有する前記特徴点を前記移動体領域に分類し、前記距離が前記第１の閾値より大きい場合に、前記特徴量を有する前記特徴点を前記非移動体領域に分類する。当該構成により、一例として、特徴点の特徴量と移動体の参照特徴量と比較して分類しているので、画素ごとの移動体の判断やテンプレートを用いる必要がなくなり、過大な装置構成を必要とせずに、移動体検出をより高速かつより高精度に行うことができる。

【0011】

また、実施形態の環境認識装置において、前記解析部は、前記特徴点の特徴量を入力して前記特徴量を有する前記特徴点を前記移動体の特徴点と前記非移動体の特徴点とに分類する第２の学習済みモデルを用いて、前記特徴量を有する前記画像における特徴点を、前記移動体領域と前記非移動体領域とに分類する。当該構成により、一例として、特徴量を有する特徴点を移動体の特徴点と非移動体の特徴点とに分類する第２の学習済みモデルを用いているので、画素ごとの移動体の判断やテンプレートを用いる必要がなくなり、過大な装置構成を必要とせずに、移動体検出をより高速かつより高精度に行うことができる。

【0012】

また、実施形態の環境認識装置において、前記解析部は、前記特徴量に基づいて、前記画像における特徴点を、前記移動体である雲の特徴点からなる雲領域と、前記移動体である移動物体の特徴点からなる移動物体領域と、前記非移動体領域とに分類する。当該構成により、一例として、特徴点を移動体の一つである雲の領域にも分類するので、雲の移動を考慮して、移動体検出をより高速かつより高精度に行うことができる。

【図面の簡単な説明】

【0013】

【図1】図１は、本実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。

【図2】図２は、本実施形態にかかる車両の一例の平面図である。

【図3】図３は、本実施形態にかかる車両の構成の一例を示すブロック図である。

【図4】図４は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。

【図5】図５は、本実施形態において入力されるフレームの一例を示す図である。

【図6】図６は、本実施形態において入力されるフレームの一部を拡大した図である。

【図7】図７は、本実施形態にかかる解析部によりフレームの特徴点を分類した結果の一例を示す模式図である。

【図8】図８は、本実施形態にかかる環境認識処理の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

【0015】

（実施形態）
本実施形態にかかる車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。

【0016】

図１は、本実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１と、を備える。車体２は、乗員が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転手が座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。

【0017】

モニタ装置１１は、例えば、ダッシュボード２４の車幅方向（すなわち、左右方向）の中央部に設けられる。モニタ装置１１は、例えば、ナビゲーションシステム又はオーディオシステム等の機能を有していても良い。モニタ装置１１は、表示装置８、音声出力装置９、及び操作入力部１０を有する。また、モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、及び押しボタン等の各種の操作入力部を有しても良い。

【0018】

表示装置８は、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electroluminescent Display）等で構成され、画像データに基づいて各種画像を表示可能である。音声出力装置９は、スピーカ等で構成され、音声データに基づいて各種音声を出力する。音声出力装置９は、車室２ａ内において、モニタ装置１１以外の異なる位置に設けられていても良い。

【0019】

操作入力部１０は、タッチパネル等で構成され、乗員による各種情報の入力を可能とする。また、操作入力部１０は、表示装置８の表示画面に設けられ、表示装置８に表示される画像を透過可能である。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることを可能とする。操作入力部１０は、表示装置８の表示画面上における乗員のタッチ操作を検出することによって、乗員による各種情報の入力を受け付ける。

【0020】

図２は、本実施形態にかかる車両の一例の平面図である。図１及び図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。４つの車輪３の全て又は一部が、転舵可能である。

【0021】

車両１は、複数の撮像部１５（車載カメラ）を搭載する。本実施形態では、車両１は、例えば、４つの撮像部１５ａ～１５ｄを搭載する。撮像部１５は、ＣＣＤ（Charge Coupled Device）又はＣＩＳ（CMOS Image Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズ又は魚眼レンズを有し、水平方向には、例えば、１４０°～２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。

【0022】

具体的には、撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置し、リアハッチのドア２ｈのリアウィンドウの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置し、右側のドアミラー２ｇに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部２ｃに位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部２ｄに位置し、左側のドアミラー２ｇに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。

【0023】

図３は、本実施形態にかかる車両の構成の一例を示すブロック図である。次に、図３を用いて、本実施形態にかかる車両１の構成の一例について説明する。

【0024】

図３に示すように、車両１は、操舵システム１３と、ブレーキシステム１８と、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、車内ネットワーク２３と、ＥＣＵ（Electronic Control Unit）１４と、を備える。

【0025】

モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、及びＥＣＵ１４は、電気通信回線である車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、ＣＡＮ（Controller Area Network）等により構成される。

【0026】

操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａ及びトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。

【0027】

ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、及びＢＢＷ（Brake By Wire）を含む。

【0028】

ブレーキシステム１８は、アクチュエータ１８ａ及びブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、及び横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、及び横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。

【0029】

舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。

【0030】

アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。

【0031】

シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

【0032】

車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

【0033】

ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、及びＳＳＤ（Solid State Drive）１４ｆを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、及びＲＡＭ１４ｃは、同一の回路基板内に設けられていても良い。

【0034】

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って各種の演算処理を実行する。例えば、ＣＰＵ１４ａは、表示装置８に表示させる画像データに対する画像処理、自動運転や駐車位置等の目標位置までの目標経路に従った車両１の走行の制御、撮像部１５のキャリブレーションに関わる処理等を実行する。

【0035】

ＲＯＭ１４ｂは、各種プログラム及び当該プログラムの実行に必要なパラメータ等を記憶する。

【0036】

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。

【0037】

表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する画像データに対する画像処理、ＣＰＵ１４ａから取得した画像データを表示装置８に表示させる表示用の画像データへの変換等を実行する。

【0038】

音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。

【0039】

ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。

【0040】

次に、図４を用いて、本実施形態にかかる車両１が有するＥＣＵ１４の機能構成の一例について説明する。ＥＣＵ１４は、車両制御装置２００として動作する。以下、ＥＣＵ１４の機能を、車両制御装置２００として説明する。
図４は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。

【0041】

図４に示すように、車両制御装置２００は、環境認識装置１００と、走行制御部２１０と、環境地図２３０と、を主に備えている。環境認識装置１００は、画像取得部１０５と、特徴点検出部１０３と、解析部１０４と、環境認識部１１０と、を主に備えている。環境認識部１１０は、自己位置推定部１０２と、環境地図生成部１０１と、を備えている。

【0042】

例えば、回路基板に搭載されたＣＰＵ１４ａ等のプロセッサが、ＲＯＭ１４ｂ又はＳＳＤ１４ｆ等の記憶媒体内に格納された環境認識プログラムおよび車両制御プログラムを実行することにより、ＥＣＵ１４は、画像取得部１０５、特徴点検出部１０３、解析部１０４、自己位置推定部１０２、環境地図生成部１０１および走行制御部２１０の機能を実現する。画像取得部１０５、特徴点検出部１０３、解析部１０４、自己位置推定部１０２、環境地図生成部１０１および走行制御部２１０の一部又は全部を回路等のハードウェアによって構成しても良い。

【0043】

画像取得部１０５は、撮像部１５によって車両１の周囲を撮像して得られる画像（フレーム）を取得する。以後、画像をフレームとも称する。本実施形態では、画像取得部１０５は、車両１の移動時に、撮像部１５からフレームを取得する。

【0044】

特徴点検出部１０３は、学習済みモデルで構成される特徴点検出器である。この学習済みモデルは、画像取得部１０５で取得されたフレームを入力し、フレームに存在する複数の特徴点と特徴量とを出力する。特徴量は、特徴点を表現するための記述子であり、高次元ベクトルで表現される。

【0045】

図５は、本実施形態において入力されるフレームの一例を示す図である。図５に示すフレームでは、移動物体として人が乗った２台のバイクと１台の自動車とが現れている。

【0046】

図６は、本実施形態において入力されるフレームの一部（図５の符号６０１の部分）を拡大した図である。図６に示す例では、バイクの車輪の一部を拡大している。符号７０１は、特徴点の特徴量の一例を示している。

【0047】

図４に戻り、特徴点検出部１０３を構成する学習済みモデルは、ディープラーニング手法等の人工知能を利用したものであればよく、例えば、特許文献１（中国特許出願公開第１１１３４４７１６号明細書）に開示されている特徴点検出器を用いることができる。

【0048】

解析部１０４は、特徴点検出部１０３から出力される特徴量を解析し、特徴量の解析結果に基づいて、フレームにおける特徴点を、移動体領域と非移動体領域とに分類する。ここで、移動体領域は、フレームにおいて移動体の特徴点からなる領域である。非移動体領域は、フレームにおいて移動体の特徴点からなる領域である。

【0049】

移動体領域には、移動物体領域と雲領域とが含まれる。移動物体領域とは、フレームにおいて車、人等の移動物体の特徴点からなる領域である。雲領域は、フレームにおいて,雲からなる特徴点の領域である。雲も移動することから移動物体と同様に、移動体領域に含めている。

【0050】

すなわち、解析部１０４は、特徴量の解析結果に基づいて、フレームにおける特徴点を、雲領域と移動物体領域と非移動体領域とに分類する。

【0051】

解析および分類の手法としては、例えば、以下の２つの手法がある。
第１の手法としては以下のとおりである。

【0052】

まず、移動物体の特徴量、雲の特徴量は、移動体の種類、雲について予め定められている。この特徴量を参照特徴量と称する。そして、解析部１０４は、特徴点検出部１０３から出力される特徴量を、移動物体や雲の参照特徴量と比較し、特徴量と移動物体や雲の参照特徴量との距離を求める。そして、解析部１０４は、求めた距離が第１の閾値以下であるか否かを判断する。そして、解析部１０４は、距離が第１の閾値以下である場合に、当該特徴量を有する特徴点を移動体領域あるいは雲領域に分類し、距離が第１の閾値より大きい場合に、当該特徴量を有する特徴点を非移動体領域に分類する。

【0053】

第２の手法としては、以下のとおりである。
解析部１０４は、特徴点の特徴量を入力して特徴量を有する特徴点を移動物体の特徴点と雲の特徴点と非移動体の特徴点とに分類する第２の学習済みモデルを用いて、フレームにおける特徴点を、移動物体領域と雲領域と非移動体領域とに分類する。

【0054】

ここで、本実施形態の特徴点検出部１０３のように人工知能を利用した学習済みモデルからなる特徴点検出器が出力する特徴量は、人工知能を利用していない特徴点検出器に比べて情報量が多い。このため、人工知能を利用した学習済みモデルからなる特徴点検出器、すなわち本実施形態の特徴点検出部１０３が出力する特徴量は、本実施形態の解析部１０４による解析処理を実行可能である。しかしながら、人工知能を利用していない特徴点検出器から出力される特徴量は情報量が少ないため、本実施形態の解析部１０４による解析処理を行うことができない。

【0055】

なお、解析および分類の手法は、上記第１の手法、第２の手法に限定されるものではなく、任意の手法を採用することができる。

【0056】

図７は、本実施形態にかかる解析部によりフレームの特徴点を分類した結果の一例を示する模式図である。図７に示すように、フレームは、移動物体領域８０２と、雲領域８０１と、非移動体領域８０３とに分類されていることがわかる。

【0057】

環境認識部１１０は、解析部１０４の解析結果である非移動体領域８０３の特徴点を用いて、ＶＳＬＡＭの手法で自己位置推定を行い、環境地図２３０を生成する。
環境認識部１１０の自己位置推定部１０２は、例えば、ＶＳＬＡＭの手法を用いて、非移動体領域の特徴点ごとの対応点を検出し、対応点に基づいて自己位置を推定する。

【0058】

環境認識部１１０の環境地図生成部１０１は、例えば、ＶＳＬＡＭの手法を用いて、推定された自己位置および特徴点や対応点に基づいて環境地図２３０を生成する。環境地図２３０は、対象物に関して定義された３次元座標の地図点を示すデータである。環境地図２３０は、ＳＳＤ１４ｆ等の記憶装置に生成されて保存される。

【0059】

走行制御部２１０は、車両１の走行制御を行う。具体的には、走行制御部２１０は、環境地図２３０を参照しながら、自動運転や自動駐車支援の処理を実行する。

【0060】

次に、以上のように構成された本実施形態にかかる環境認識装置１００による環境認識処理について説明する。
図８は、本実施形態にかかる環境認識処理の手順の一例を示すフローチャートである。

【0061】

画像取得部１０５は、車両１の移動中に撮像部１５で撮像された画像を取得する（Ｓ１１）。具体的には、画像取得部１０５は、撮像部１５で撮像された動画像を構成するフレームを逐次取得する。そして、フレームごとに以下の処理が実行される。

【0062】

次に、特徴点検出部１０３は、画像取得部１０５で取得したフレームを入力して特徴点検出を行い、検出結果として、フレームから特徴点と特徴量とを出力する（Ｓ１２）。

【0063】

次に、解析部１０４は、特徴点検出部１０３から出力された特徴量を解析して、解析結果に基づいて、複数の特徴点を移動物体領域８０２、雲領域８０１、非移動体領域８０３に分類する（Ｓ１３）。解析および分類の手法は、上述した第１の手法や第２の手法を用いることができる。

【0064】

次に、自己位置推定部１０２は、複数のフレームについて、Ｓ１３で非移動体領域８０３に分類された特徴点ごとの対応点を検出する（Ｓ１４）。そして、自己位置推定部１０２は、この対応点に基づいて、ＶＳＬＡＭの手法で車両１の自己位置を推定する（Ｓ１５）。また、環境地図生成部１０１は、環境地図２３０を生成する（Ｓ１６）。

【0065】

このように本実施形態によれば、環境認識装置１００は、撮像部１５によって撮像された画像を入力し、入力された画像の特徴点と、特徴点の特徴量と、を出力する学習済みモデルで構成される特徴点検出部１０３と、特徴点検出部１０３から出力される特徴量を解析し、特徴量の解析結果に基づいて、画像における特徴点を、移動体の特徴点からなる移動体領域と、非移動体の特徴点からなる非移動体領域とに分類する解析部１０４と、非移動体領域の特徴点ごとの対応点を検出し、対応点に基づいて自己位置を推定し、環境地図を生成する環境認識部１１０と、を備える。このため、本実施形態によれば、学習済みモデルを用いて画像の特徴量を検出し特徴量を解析し、特徴量の解析結果に基づいて、特徴点を移動体領域と、非移動体領域とに分類するので、画素ごとの移動体の判断やテンプレートを用いる必要がなくなり、過大な装置構成を必要とせずに、移動体検出を高速かつ高精度に行うことができる。

【0066】

また、本実施形態では、環境認識装置１００において、解析部１０４は、特徴量を、予め定められた移動体の参照特徴量と比較し、特徴量と参照特徴量との距離が第１の閾値以下である場合に、当該特徴量を有する特徴点を移動体領域に分類し、距離が第１の閾値より大きい場合に、当該特徴量を有する特徴点を非移動体領域に分類する。このため、本実施形態によれば、特徴点の特徴量と移動体の参照特徴量と比較して特徴点を分類しているので、画素ごとの移動体の判断やテンプレートを用いる必要がなくなり、過大な装置構成を必要とせずに、移動体検出をより高速かつより高精度に行うことができる。

【0067】

また、本実施形態では、環境認識装置１００において、解析部１０４は、特徴点の特徴量を入力して特徴量を有する特徴点を移動体の特徴点と非移動体の特徴点とに分類する第２の学習済みモデルを用いて、特徴量を有する画像における特徴点を、移動体領域と非移動体領域とに分類する。このため、本実施形態によれば、特徴量を有する特徴点を移動体の特徴点と非移動体の特徴点とに分類する第２の学習済みモデルを用いているので、画素ごとの移動体の判断やテンプレートを用いる必要がなくなり、過大な装置構成を必要とせずに、移動体検出をより高速かつより高精度に行うことができる。

【0068】

また、本実施形態では、環境認識装置１００において、解析部１０４は、特徴量の解析結果に基づいて、画像における特徴点を、移動体である雲の特徴点からなる雲領域と、移動体である移動物体の特徴点からなる移動物体領域と、前記非移動体領域とに分類する。このため、本実施形態によれば、特徴点を、移動体の一つである雲の領域にも分類するので、雲の移動を考慮して、移動体検出をより高速かつより高精度に行うことができる。

【0069】

特に、雲には無数の形状や無数の移動のパターンがあり、移動体のテンプレートを用いて移動体の判別を行う従来技術では、これら無数の形状や無数の移動のパターンを予めテンプレートとして準備しておくことは難しく、このため雲を移動体と判別することが困難で移動体検出の精度が低下する。これに対し、本実施形態では、上述のとおり、テンプレートを必要とせずに特徴点を雲領域に分類することが可能となるため、従来技術に比べ高精度に移動体検出を行うことができる。

【0070】

なお、本実施形態の環境認識装置１００で実行される環境認識プログラムは、ＲＯＭ等に予め組み込まれて提供される。

【0071】

本実施形態の環境認識装置１００で実行される環境認識プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0072】

さらに、本実施形態の環境認識装置１００で実行される環境認識プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の環境認識装置１００で実行される環境認識プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

【0073】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0074】

１５ 撮像部
１４ ＥＣＵ
１００ 環境認識装置
１０１ 環境地図生成部
１０２ 自己位置推定部
１０３ 特徴点検出部
１０４ 解析部
１０５ 画像取得部
１１０ 環境認識部
２００ 車両制御装置
２１０ 走行制御部
２３０ 環境地図
８０１ 雲領域
８０２ 移動物体領域
８０３ 非移動体領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】