特開 2020-204839 外部環境認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-204839(P2020-204839A)

(43)【公開日】2020年12月24日

(54)【発明の名称】外部環境認識装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20201127BHJP

   G08G 1/16 20060101ALI20201127BHJP

   H04N 7/18 20060101ALI20201127BHJP

【ＦＩ】

   G06T7/00 650

   G08G1/16 C

   H04N7/18 J

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

【全頁数】13

(21)【出願番号】特願2019-111349(P2019-111349)

(22)【出願日】2019年6月14日

(71)【出願人】

【識別番号】000003137

【氏名又は名称】マツダ株式会社

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】濱野 大輔

【テーマコード（参考）】

5C054

5H181

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054DA07

5C054EA05

5C054FC12

5C054HA28

5C054HA29

5C054HA30

5H181AA01

5H181BB04

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181FF04

5H181FF27

5H181LL01

5H181LL02

5H181LL04

5H181LL09

5L096AA09

5L096BA04

5L096BA18

5L096CA05

5L096CA18

5L096DA02

5L096FA66

5L096FA69

5L096GA26

5L096GA59

5L096HA04

5L096HA11

5L096KA04

(57)【要約】

【課題】運転者の快適さを損なわずに、運転者の意図を反映した制御を実現する。
【解決手段】外部環境認識装置は、外部環境信号を受信する物理層１１１と、物理層１１１で受信された外部環境信号を基にデータ列を構築する論理層１１２と、データ列から自律移動体外部の環境データを生成する環境データ生成部１２１と、環境データを基に、自律移動体の移動シーンを判定する移動シーン判定部１３１と、移動シーン判定部１３１で判定された移動シーンに応じた間引き方法を決定し、データ列または環境データの少なくとも一方の間引き処理をする間引き処理部１３２とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

自律移動体の外部環境を認識する外部環境認識装置であって、
前記自律移動体外部の環境情報を取得する外部情報取得手段から当該環境情報が含まれる外部環境信号を受信する物理層と、
前記物理層で受信された外部環境信号を基にデータ列を構築する論理層と、
前記データ列から前記自律移動体外部の環境データを生成する環境データ生成部と、
前記環境データを基に、前記自律移動体の移動シーンを判定する移動シーン判定部と、
前記移動シーン判定部で判定された移動シーンに応じた間引き方法を決定し、前記データ列または前記環境データの少なくとも一方の間引き処理をする間引き処理部とを備える
ことを特徴とする外部環境認識装置。

【請求項2】

自律移動体の外部環境を認識するための外部環境認識装置であって、
前記自律移動体外部を撮像する撮像デバイスの撮像信号を受信する物理層と、
前記物理層で受信された撮像信号からデータ列を構築する論理層と、
前記データ列から画像データを生成する画像データ生成部と、
前記自律移動体外部の環境情報を取得する外部情報取得手段からの出力を基に、移動シーンを判定する移動シーン判定部と、
前記移動シーン判定部で判定された移動シーンに応じた間引き方法を決定し、前記データ列及び前記画像データの少なくとも一方の間引き処理をする間引き処理部とを備える
ことを特徴とする外部環境認識装置。

【請求項3】

請求項１または２に記載の外部環境認識装置において、
前記移動シーン判定部は、前記自律移動体の移動シーンとして、前記自律移動体の移動速度を判定し、
前記間引き処理部では、前記間引き方法として、前記移動速度が遅くなるのにしたがって前記間引き処理の間引き率が高くなるように構成されている
ことを特徴とする外部環境認識装置。

【請求項4】

請求項１または２に記載の外部環境認識装置において、
前記間引き処理部は、前記移動シーン判定部が、前記移動シーンとして前記自律移動体としての車両が駐停車動作をしていると判定した場合に、前記間引き方法として、前記車両の通常移動時と比較して前記間引き処理の間引き率を高くする
ことを特徴とする外部環境認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

ここに開示された技術は、自律移動体に用いられる外部環境認識装置に関する技術分野に属する。

【背景技術】

【0002】

近年、外部環境を認識して移動や走行、飛行等（以下、総称して単に「移動」ともいう）を行う自律移動体に関する研究開発等が進められている。これらの自律移動体では、カメラ等のセンサデバイスを用いて、外部の環境を認識し、その認識結果を基に移動方向、移動速度等が決定される。このような自律移動体では、センサデバイスで取得されたデータの量や精度が、その動作精度に影響を与える。例えば、センサデバイスとしてカメラについて例を挙げると、カメラの台数を増やしたり高精度のカメラを用いる等により、撮影可能範囲を拡大したり、撮影画質やフレームレートを高めることで、自律移動の動作精度を高めることができる。特に、自動運転機能を有する自動車のように、相対的に移動速度が速い状況でも十分な安全性を担保する観点から、高画質の画像データを相対的に短い時間で解析し、処理することが望まれる。一方で、高画質画像、高フレームレート画像では、扱うデータ量が多くなり、データを処理する演算処理装置への負荷が大きくなり放熱等の問題が発生するおそれがある。したがって、演算処理装置では、処理データ量が少ないことが望まれる。

【0003】

そこで、例えば、撮影画像データのうちの一部のフレームを間引くことが考えられるが、むやみに画像データを間引くと、自律移動体の制御性能が低下する恐れがある。

【0004】

特許文献１には、検出精度等を極力落とすことなく画像解析の処理負荷の軽減を図ることを目的として、各フレームの画像における監視範囲の全体領域を複数の小領域に区画化し、全体領域の中で特定の位置に存在する複数の区画の画像だけを解析対象として、現フレームの画像と前フレームの画像との比較により動きベクトルを検出する障害物検出装置が開示されている。

【0005】

特許文献２には、撮像手段によって得た道路画像の全体について画像情報を間引きして処理する第１の画像処理手段と、撮像手段によって得た道路画像の一部領域について画像情報を間引きせずに処理する第２の画像処理手段とを、状況に応じて選択的に使用する車両用後側方監視装置が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１０−２６２３５７号公報

【特許文献2】特開２０００−２５１０８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１，２のような方法を用いた場合には、自律移動体の移動に必要な情報を間引き処理によって失う恐れがある。

【0008】

例えば、特許文献１の技術では、画像の解析処理の負荷を減らすためには、各フレームにおける解析対象のブロック数を減らす必要があるが、そうすると、各フレームの中で解析できないブロックが増加することになる。解析精度をある程度高めるために、各フレームにおける解析対象のブロック数を確保することもできるが、そうすると、処理負荷の低減量が少なくなる。

【0009】

また、特許文献２の技術は、道路画像の全体については、間引き処理を実施していることから、例えば、第２の画像処理手段で画像処理を行っている以外の領域において、自律移動体の移動に必要な情報を間引き処理によって失う恐れがある。

【0010】

ここに開示された技術は、斯かる点に鑑みてなされたものであり、その目的とするとこは、自律移動体の移動に必要な情報をなるべく失わずに、演算装置の処理の負荷を軽減することにある。

【課題を解決するための手段】

【0011】

前記課題を解決するために、ここに開示された技術の一態様では、車両の走行を制御する外部環境認識装置を対象として、前記自律移動体外部の環境情報を取得する外部情報取得手段から当該環境情報が含まれる外部環境信号を受信する物理層と、前記物理層で受信された外部環境信号を基にデータ列を構築する論理層と、前記データ列から前記自律移動体外部の環境データを生成する環境データ生成部と、前記環境データを基に、前記自律移動体の移動シーンを判定する移動シーン判定部と、前記移動シーン判定部で判定された移動シーンに応じた間引き方法を決定し、前記データ列または前記環境データの少なくとも一方の間引き処理をする間引き処理部とを備える、という構成とした。

【0012】

また、ここに開示された技術の他の態様では、外部環境認識装置を対象として、前記自律移動体外部を撮像する撮像デバイスの撮像信号を受信する物理層と、前記物理層で受信された撮像信号からデータ列を構築する論理層と、前記データ列から画像データを生成する画像データ生成部と、前記自律移動体外部の環境情報を取得する外部情報取得手段からの出力を基に、移動シーンを判定する移動シーン判定部と、前記移動シーン判定部で判定された移動シーンに応じた間引き方法を決定し、前記データ列及び前記画像データの少なくとも一方の間引き処理をする間引き処理部とを備える、という構成とした。

【0013】

これらの構成によると、走行シーン判定部で走行シーンを判定し、その判定結果を基にして決定された間引き方法により間引き処理を行うようにしている。すなわち、どのような走行シーンのデータであるかということが分かった段階、換言すると、間引いても問題がない状況のデータなのか否かが分かった段階で、間引き処理をすることができる。これにより、必要な情報をなるべく失うことなく、演算装置で処理をするデータ量を削減することができ、演算装置の処理の負荷を軽減することができる。

【0014】

前記移動シーン判定部は、前記自律移動体の移動シーンとして、前記自律移動体の移動速度を判定し、前記間引き処理部では、前記間引き方法として、前記移動速度が遅くなるのにしたがって前記間引き処理の間引き率が高くなるように構成されていてもよい。

【0015】

これにより、自律移動体が低速で移動している場合における、過剰なデータ処理を回避することができる。

【0016】

前記間引き処理部は、前記移動シーン判定部が、前記移動シーンとして前記自律移動体としての車両が駐停車動作をしていると判定した場合に、前記間引き方法として、前記車両の通常移動時と比較して前記間引き処理の間引き率を高くする、という構成でもよい。

【0017】

これにより、車両の駐停車時における、過剰なデータ処理を回避することができる。

【発明の効果】

【0018】

以上説明したように、ここに開示された技術によると、移動シーンに応じた間引き方法で間引き処理をするので、自律移動体の移動に必要な情報をなるべく失わずに、演算装置の処理の負荷を軽減することができる。

【図面の簡単な説明】

【0019】

【図1】外部環境認識装置が搭載された自動車の制御系を示すブロック図

【図2】外部環境認識装置の構成を示すブロック図

【図3】外部環境認識装置の動作例を示すフローチャート

【図4】外部環境認識装置の動作例を示すフローチャート

【発明を実施するための形態】

【0020】

以下、例示的な実施形態について、図面を参照しながら詳細に説明する。なお、以下の実施形態では、自律移動体として自動運転機能を有する自動車を例に挙げて説明する。ただし、本開示に係る外部環境認識装置が適用できる自律移動体は、自動車に限定されるものではなく、例えば、自律移動型の走行ロボット、掃除機、ドローン等に適用することが可能である。

【0021】

図１は、本実施形態に係る車両１０の制御系の構成を概略的に示すブロック図である。車両１０は、アシスト運転及び自動運転ができるように構成されている。

【0022】

本実施形態において、車両１０は、アシスト運転及び自動運転を可能にするために、センサデバイス２０からの出力や、車外のネットワークから受けた情報に基づいて、車両１０が走行すべき経路を算出するとともに、該経路を追従するための車両１０の運動を決定する演算装置１００を有する。演算装置１００は、１つ又は複数のチップで構成されたマイクロプロセッサであって、ＣＰＵやメモリ等を有している。なお、図１においては、本実施形態に係る経路生成機能を発揮するための構成を中心に示しており、演算装置１００が有する全ての機能を示しているわけではない。

【0023】

演算装置１００に情報を出力するセンサデバイス２０は、例えば、（１）車両１０のボディ等に設けられかつ車外環境を撮影する複数のカメラ２１、（２）車両１０のボディ等に設けられかつ車外の物標等を検知する複数のレーダ２２、（３）全地球測位システム（Global Positioning System：ＧＰＳ）を利用して、車両１０の位置（車両位置情報）を検出する位置センサ２３、（４）車速センサ、加速度センサ、ヨーレートセンサ等の車両の挙動を検出するセンサ類の出力から構成され車両１０の状態を取得する車両状態センサ２４、（５）車内カメラ等により構成され、車両１０の乗員の状態を取得する乗員状態センサ２５、（６）運転者の運転操作を検出するための運転操作情報取得部２６、を含む。また、演算装置１００には、車外のネットワークと接続された車外通信部３０を介して自車両１０の周囲に位置する他車両からの通信情報やナビゲーションシステムからの交通情報が入力される。

【0024】

各カメラ２１は、車両１０の周囲を水平方向に３６０°撮影できるようにそれぞれ配置されている。各カメラ２１は、生成した画像データを演算装置１００に出力する。

【0025】

具体的に、各カメラ２１は、演算装置１００と通信するカメラ側通信部２１０と、ＣＣＤ(Charged Coupled devices)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子を用いて車外環境を示す光学画像を撮像して画像データを生成する撮像部２１５とを備えている。

【0026】

図２に示すように、カメラ側通信部２１０は、撮像部２１５で生成された画像データから、データ列（例えば、通信規格等に準拠したデータ列）を構築する論理層２１１と、論理層で構築されたデータ列を通信可能な信号形態（例えば、アナログ信号）に変換して演算装置１００に出力する物理層２１２とを備えている。なお、カメラ側通信部２１０の論理層２１１及び物理層２１２の具体的な構成は、例えば、通信規格（送信側の規格）等に準拠して作成された回路構成のように、一般的に知られている構成を用いることができるので、ここではその詳細説明を省略する。カメラ２１は、車両１０の走行シーンの情報を取得するための外部情報取得手段の一例であり、車両１０の外部を撮像する撮像デバイスの一例である。

【0027】

各カメラ２１が取得した画像データは、演算装置１００以外にも、ＨＭＩ（Human Machine Interface）ユニット７０に入力される。ＨＭＩユニット７０は、取得した画像データに基づく情報を車内のディスプレイ装置等に表示する。

【0028】

各レーダ２２は、カメラ２１と同様に、検出範囲が車両１０の周囲を水平方向に３６０°広がるようにそれぞれ配置されている。レーダ２２の種類が特に限定されず、例えば、ミリ波レーダを採用することができる。レーダ２２は、車両１０の走行シーンの情報を取得するための外部情報取得手段の一例である。なお、具体的な図示は省略するが、各レーダ２２が、撮像が可能に構成されたイメージングレーダーやレーザーレーダーであってもよい。そして、各レーダ２２が、上記のカメラ２１と同様に、画像データを生成し、論理層及び物理層を有するセンサ側通信部を介して、画像データを演算装置１００のＰＵ側通信部１１０に出力するように構成されていてもよい。その場合、レーダ２２は、車両１０の車外環境の撮像するための撮像デバイスに相当する。

【0029】

演算装置１００は、カメラ２１やレーダ２２等のセンサデバイス２０からの出力や、車外のネットワークから受けた情報に基づいて、車両１０の目標運動を決定し、決定された目標運動を実現するための駆動力、制動力、操舵量を算出し、算出結果をエンジンやブレーキ等を制御するコントロールユニット８０に出力するように構成されている。

【0030】

図１に示すように、演算装置１００は、車両１０の目標運動を設定するために、カメラ２１等のセンサ側通信部の出力を受信するためのＰＵ側通信部１１０と、ＰＵ側通信部１１０の出力を基にして車外環境を認識する車外環境認識部１２０と、車外環境認識部１２０で認識された車外環境に応じて、車両１０が走行可能な１つ又は複数の候補経路を算出する候補経路生成部１５１と、車両状態センサ２４からの出力を基にして車両１０の挙動を推定する車両挙動推定部１５２と、乗員状態センサ２５からの出力を基にして、車両１０の乗員の挙動を推定する乗員挙動推定部１５３と、車両１０が走行すべき経路を決定する経路決定部１５４と、経路決定部１５４が設定した経路を追従するための車両１０の目標運動を決定する車両運動決定部１５５とを有する。

【0031】

さらに、図２に示すように、演算装置１００は、車両１０の走行シーンを判定する走行シーン判定部１３１と、走行シーン判定部１３１で判定された走行シーンに応じた間引き方法を決定し、その間引き方法に基づく間引き処理を実行する間引き処理部１３２とを備える。

【0032】

〈ＰＵ側通信部〉
ＰＵ側通信部１１０は、カメラ２１やレーダ２２等の撮像デバイスから、撮像デバイスで撮像された撮像情報が含まれる撮像信号を受け、画像データを形成するためのデータ列を構築して、車外環境認識部１２０に出力する。ＰＵ側通信部１１０は、例えば、カメラ２１やレーダ２２と１対１で接続するように、カメラ２１やレーダ２２と同じ数が設けられている。

【0033】

図２に示すように、各ＰＵ側通信部１１０は、撮像デバイスから撮像信号を受信する物理層１１１と、物理層１１１で受信された撮像信号から画像データを形成するためのデータ列を構築する論理層１１２とを備えている。各ＰＵ側通信部１１０では、論理層１１２が、データ列を構築し、後述する間引き処理部から「データ間引き」の指示があった場合、構築されたデータ列から一部のデータを間引いて出力するように構成されている。なお、「データの間引き」の動作の具体的例については後ほど説明する。また、ＰＵ側通信部１１０の物理層１１１及びデータ間引き部以外の論理層１１２の具体的な構成は、例えば、通信規格（受信側の規格）等に準拠して作成された回路構成のように、一般的に知られている構成を用いることができるので、ここではその詳細説明を省略する。

【0034】

ＰＵ側通信部１１０の物理層１１１、論理層１１２は、それぞれ、外部環境認識装置の物理層、論理層の一例である。

【0035】

〈車外環境認識部〉
車外環境認識部１２０は、各ＰＵ側通信部１１０からの出力を基に車外環境を認識するものであり、画像データ生成部１２１と、物体認識部１２２と、マップ生成部１２３と、環境認識部１２４とを備える。

【0036】

画像データ生成部１２１は、ＰＵ側通信部１１０から出力されたデータ列から画像データを生成する。換言すると、画像データ生成部１２１は、カメラ２１やレーダ２２（例えば、イメージレーダ）で撮像された画像データを復元したり、カメラ２１やレーダ２２での撮像結果を基に画像データを再生成する処理を行う。なお、画像データの生成は、一般的な方法を使用できるので、ここではその詳細説明を省略する。

【0037】

物体認識部１２２は、画像データ生成部１２１で生成された画像データや、レーダ２２から受けた反射波のピークリスト等を基に、車外の物体が何であるかを認識する。例えば、物体認識部１２２は、上記の画像データやピークリスト等によって車外の物体を検知し、演算装置１００に格納されているデータベース等にある識別情報等を用いて、車外の物体が何であるかを識別し、「車外の物体情報」として認識する。さらに、物体認識部１２２は、レーダ７１の出力を受けており、上記「車外の物体情報」として、車両１の周辺に存在する物標の位置や速度等を含む「物標の測位情報」を取得している。なお、ニューラルネットワークなどにより車外の物体が何であるかを識別するようにしてもよい。また、各センサからの出力情報によりその位置と速度などを把握するようにしてもよい。

【0038】

マップ生成部１２３は、物体認識部１２２で認識された車外の物体情報を基にして、車両１０の周囲の３次元情報と車外環境モデルとを対照することにより、道路および障害物を含む車外環境を認識し、それをマップにする処理を行う。車外環境モデルは、例えば深層学習によって生成された学習済みモデルであって、車両周囲の３次元情報に対して、道路や障害物等を認識することができる。なお、マップ生成部１２３は、周囲の３次元もしくは２次元マップ、またはその両方を生成するように構成されていてもよい。

【0039】

具体的に、例えば、マップ生成部１２３は、物体認識部１２２で認識された車外の物体情報を基にして、フリースペースすなわち物体が存在しない領域を特定する。ここでの処理には、例えば深層学習によって生成された学習済みモデルが利用される。そして、マップ生成部１２３は、フリースペースを表す２次元のマップを生成する。また、マップ生成部１２３は、物標の測位情報を利用して、車両１０の周囲を表す３次元マップを生成する。ここでは、カメラ２１の設置位置および撮像方向の情報、レーダ２２の設置位置および送信方向の情報が用いられる。

【0040】

環境認識部１２４では、マップ生成部１２３で生成された３次元マップと、車外環境モデルとを対比することによって、道路及び障害物を含む車外環境を認識する。なお、深層学習では、多層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）が用いられる。多層ニューラルネットワークとして、例えば、ＣＮＮ（Convolutional Neural Network）がある。

【0041】

なお、マップ生成部１２３によるマップの生成は、深層学習を使用しない方法であってもよい。例えば、マップ生成部１２３が認識された物体を、深層学習を使わずに、３次元乃至２次元に配置するように構成されていてもよい。

【0042】

車外環境認識部１２０で認識された車外環境の情報は、候補経路生成部１５１及び走行シーン判定部１３１に出力される。候補経路生成部１５１では、車外環境認識部１２０の出力、位置センサ２３の出力、及び車外通信部３０を介して外部ネットワーク等から受信された情報等を基にして、車両１０が走行可能な候補経路を生成する。

【0043】

車外環境認識部１２０の画像データ生成部１２１及びマップ生成部１２３は、外部環境認識装置の環境データ生成部の一例である。

【0044】

〈走行シーン判定部〉
走行シーン判定部１３１は、車外環境認識部１２０で生成されたマップ情報、道路及び障害物を含む車外環境情報、位置センサ２３の検出結果、車外通信部３０を介して外部ネットワーク等から受信された情報のうちの少なくとも１つの情報を基にして、車両１０の走行シーンを判定する。位置センサ２３を含むセンサデバイス２０及び車外通信部３０は、外部情報取得手段の一例である。

【0045】

車両１０の走行シーンの判定として、例えば、車両１０が走行している走行場所や走行状況等の判定が含まれる。例えば、走行シーンの判定として、カメラ２１等で撮像された情報に基づいて、周囲の車両や人の多さや混雑状況等を確認することで車両１０が現在走行している走行シーンを判定してもよいし、位置センサ２３やカーナビゲーションの情報、外部ネットワークからの情報等を基に、市街地、郊外、高速道路等のように走行場所で走行シーンを判定してもよい。

【0046】

走行シーン判定部１３１は、外部環境認識装置の移動シーン判定部の一例である。

【0047】

なお、上記の説明において、車外環境認識部１２０から環境認識部１２４を省いてもよい。この場合に、例えば、物体認識部１２２により、障害物や道路構成物を認識（分類）し、その認識結果を基に周辺の道路環境を把握し、走行シーン判定部１３１において、マップ生成部１２３で生成されたマップ情報と、物体認識部１２２での認識結果と、を基に、走行シーンを判定するようにしてもよい。

【0048】

〈間引き処理部〉
間引き処理部１３２は、走行シーン判定部１３１で判定された走行シーンに応じた間引き方法を決定し、論理層１１２で構築されたデータ列及び画像データ生成部で生成された画像データの少なくとも一方の間引き処理をする。図２では、間引き処理部１３２が論理層１１２で構築されたデータ列の間引き処理をする例を示している。

【0049】

図２の例では、間引き処理部１３２は、間引き方法の決定に関し、（１）テンプレートに基づいた決定手段と、（２）ＡＩを用いた決定手段とを有しており、外部のモード制御信号に基づいて、いずれか一方の決定方法を選択するように構成されている。ただし、間引き方法の決定の仕方は、特に限定されず、（１），（２）いずれか一方の方法を用いる等、他の方法を用いるようにしてもよい。

【0050】

「（１）テンプレートに基づいた決定手段」では、例えば、走行シーン判定部１３１で判定された走行シーンと、それぞれの走行シーンに対応する間引き方法とがリスト化されたテンプレートを有し、走行シーン判定部１３１からの出力に応じて間引き方法を決定する。間引き方法は、従来から知られている各種の間引き方法を採用することができ、特に限定されないが、例えば、間引く対象が画像の場合に、画像の間引く領域や各領域の間引き率、フレーム毎に間引くのか否か、フレーム毎に間引く場合の間引き率等が含まれる。

【0051】

「（２）ＡＩを用いた決定手段」では、例えば深層学習によって生成された学習済みモデルを利用することができる。

【0052】

論理層１１２でデータを間引く方法は、特に限定されないが、例えば、データ列がパケット毎に分離されている場合に、例えば、各パケットに、重要度や間引いて良いか否かのフラグを立て、そのフラグに基づいて間引いたり、データ列再構築後に再構築されたデータを特定の周期で特定の期間、タイマーなどを用いて間引いてもよい。画像データを間引く方法については、従来から知られている種々の方法があり、それらを適宜採用することができるので、ここではその詳細説明を省略する。

【0053】

また、間引き処理を行うフェーズについても特に限定されるものではない。例えば、図２に示すように、ＰＵ側通信部１１０の論理層１１２で間引くようにしてもよいし、それよりも上位のレイヤで間引くようにしてもよい。また、車外環境認識部１２０の画像データ生成の過程で間引き処理をしてもよいし、物体認識部１２２での物体認識過程や、マップ生成部１２３でのマップ生成過程で間引き処理をするようにしてもよい。また、マップ生成部１２３で、逐次マップの更新がされているような場合に、マップ情報に対して間引き処理をするようにしてもよい。

【0054】

間引き処理部１３２は、外部環境認識装置の間引き処理部の一例である。なお、外部環境認識装置の間引き処理部の一部が、他のブロック内に設けられていてもよい。例えば、論理層１１２で構築されたデータ列から間引き処理をする場合に、間引き処理部の一部がＰＵ側通信部１１０の論理層１１２に設けられていてもよい。

【0055】

（外部環境認識装置の動作）
次に、図３，４のフローチャートを参照しつつ、外部環境認識装置の動作について説明する。なお。図３では、説明の便宜上、わかりやすいように、演算装置１００のＰＵ通信部の後段のブロックを、間引き処理系と経路生成系とに分けて図示しているが、本図面に発明の範囲を限定する意図はない。

【0056】

まず、センサデバイス２０及び演算装置１００が起動され（ステップＳ１０）、カメラ２１での撮像が開始され（ステップＳ１１）、カメラ２１からカメラ側通信部２１０に撮像データが送られる。

【0057】

ステップＳ１２において、カメラ側通信部２１０は、撮像データを受け、その撮像データを送信可能な形態の撮像信号に変換し、ＰＵ側通信部１１０に出力する。具体的には、カメラ側通信部２１０の論理層２１１で撮像データを送信可能な形式のデータ列に変換したり、符号化等の処理を行い、物理層２１２でデジタル−アナログ変換して、ＰＵ側通信部１１０に出力する。

【0058】

ＰＵ側通信部１１０では、物理層１１１で撮像信号を受信し（ステップＳ２１）、アナログ−デジタル変換して、論理層１１２で復号化やデータ列の構築を行い（ステップＳ２２）、車外環境認識部１２０に出力する。

【0059】

次のステップＳ２３では、車外環境認識部１２０において、論理層１１２から受けたデータ列を基に、画像データの生成から車外環境の認識までの処理を行い、認識された車外環境の情報が、候補経路生成部１５１及び走行シーン判定部１３１に出力される。候補経路生成部１５１では、車外環境認識部１２０から受けた車外環境の情報を基に、車両１０が走行可能な１つ又は複数の候補経路が算出される。

【0060】

ステップＳ２４において、走行シーン判定部１３１は、車外環境認識部１２０から受けた車外環境の情報を基に、走行シーンを判定する。次のステップＳ２５では、間引き処理部１３２は、走行シーンに応じた間引き方法を決定する。

【0061】

例えば、走行シーン判定部１３１は、カメラ２１で撮像された画像データや、位置センサ２３による自車両の位置情報、車外のネットワークから受けた情報等に基づいて、走行シーンとして、自車両１０が走行している場所や状況を判定する。そして、間引き処理部１３２において、走行シーン判定部１３１が判定した場所や状況に応じた間引き方法を決定する。

【0062】

より具体的に、例えば、郊外や高速道路を単独で走行している場合のように、周囲に障害物が少なく、また、人が飛び出しているような可能性が低いような場合に、間引き方法として、相対的に間引き率を高くする、としてもよい。一方で、市街地を走行する場合のように、周囲に注意すべき事象が多いことが想定されるような場合に、間引き方法として、相対的に間引き率を低くする、としてもよい。

【0063】

また、例えば、走行シーン判定部１３１は、車両状態センサ２４からの出力を基に、車両１０の走行速度を判定し、間引き処理部１３２は、間引き方法として、移動速度が遅くなるのにしたがって間引き処理の間引き率が高くなるように設定する処理を行うようにしてもよい。例えば、車両が徐行運転をしているような場合には、間引き率を相対的に高く設定する一方で、市街地等を通常に走行している場合には、間引き率が相対的に低くなるように設定する、としてもよい。これにより、車両１０の低速で走行している場合における過剰なデータ処理を回避することができる。一方で、車両１０が高速で走行している場合には、間引き率を相対的に低く設定するので、安全走行に必要な情報をなるべく失わずに経路生成等の処理を行うことができる。

【0064】

また、例えば、走行シーン判定部１３１が、車両１０が駐停車動作をしていると判定した場合に、間引き処理部１３２は、間引き方法として、通常の走行時と比較して、間引き処理の間引き率を高くするようにしてもよい。駐停車時には、比較的走行速度が遅いことが多いので、間引き率を高くすることで、車両１０の駐停車時における過剰なデータ処理を回避することができる。また、例えば、車両１０の駐停車時に、バックをしている場合等は、前方を撮像しているカメラ２１からの画像データの間引き率を他のカメラの画像と比較して高めることにより、過剰なデータ処理を回避するようにしてもよい。また、明らかに車両左側に車道/歩道/路側帯などがなく、物体が存在する確率が非常に低い場合は、車両左側における間引き率を上げてもよい。

【0065】

次のステップＳ２６では、間引き処理部１３２は、決定した間引き方法を示す間引き制御信号を間引き対象となるブロックに送信する。図２の例では、間引き処理部１３２は、ＰＵ側通信部１１０の論理層１１２に、間引き制御信号を送信する。ＰＵ側通信部１１０の論理層１１２では、間引き制御信号に基づいたデータ間引きを実施し、それ以降、間引きされたデータが、車外環境認識部１２０に出力される。

【0066】

図４は、外部環境認識装置の動作に注目して作成したフローチャートである。図４において、図３と対応するフローには、共通の符号を付しており、以下の説明では、共通点についての説明を省略する場合がある。

【0067】

図４では、間引き方法が適宜変更される場合について示しており、走行シーン判定部１３１による走行シーンの判定と、間引き処理部１３２による間引き方法の決定との間に、間引き方法の変更があったかどうかの確認を行う処理（ステップＳ２８）が追加されている。

【0068】

例えば、走行シーン判定部１３１による走行シーンの判定が前回の判定結果と異なっていた場合（ステップＳ２８でＹＥＳ）、フローは、前述のステップＳ２５に進み、変更された走行シーンに応じた間引き方法が決定され、間引き処理が実行される。一方で、間引き処理方法に変更がない場合には、フローがステップＳ２３に戻るようになっている。

【0069】

図１に戻り、以下において、候補経路生成部１５１よりも後段のブロックについて、簡単に説明する。

【0070】

車両挙動推定部１５２は、車速センサ、加速度センサ、ヨーレートセンサ等の車両の挙動を検出するセンサ類の出力から、車両の状態を推定する。車両挙動推定部１５２は、車両の挙動を示す車両６軸モデルを生成する。

【0071】

乗員挙動推定部１５３は、乗員状態センサ２５の検出結果から、特に、運転者の健康状態や感情を推定する。健康状態としては、例えば、健康、軽い疲労、体調不良、意識低下等がある。感情としては、例えば、楽しい、普通、退屈、イライラ、不快等がある。

【0072】

経路決定部１５４は、乗員挙動推定部１５３の出力に基づいて、車両１０が走行すべき経路を決定する。候補経路生成部１５１が生成した経路が１つである場合には、経路決定部１５４は当該経路を車両１０が走行すべき経路とする。候補経路生成部１５１が生成した経路が複数ある場合には、乗員挙動推定部１５３の出力を考慮して、例えば、複数の候補経路のうち乗員（特に運転者）が最も快適と感じる経路、すなわち、障害物を回避するに当たって慎重過ぎるなどの冗長さを運転者に感じさせない経路を選択する。

【0073】

車両運動決定部１５５は、経路決定部１５４が決定した走行経路について、目標運動を決定する。目標運動とは、走行経路を追従するような操舵および加減速のことをいう。また、車両運動決定部１５５は、車両６軸モデルを参照して、経路決定部１５４が選択した走行経路について、車体の動きを演算する。

【0074】

物理量算出部は、目標運動を達成するための駆動力、制動力、操舵量を算出するものであり、駆動力算出部１６１、制動力算出部１６２、及び操舵量算出部１６３で構成されている。駆動力算出部１６１は、目標運動を達成するために、パワートレイン装置（エンジン及びトランスミッション）が生成すべき目標駆動力を算出する。制動力算出部１６２は、目標運動を達成するために、ブレーキ装置が生成すべき目標制動力を算出する。操舵量算出部１６３は、目標運動を達成するために、ステアリング装置が生成すべき目標操舵量を算出する。

【0075】

周辺機器動作設定部１７０は、車両運動決定部１５５の出力に基づいて、ランプやドアなどの車両１０のボディ関係のデバイスの動作を設定する。なお、デバイスには、自動車が走行する際や駐停車している際に制御されるアクチュエータやセンサ等の装置類が含まれる。

【0076】

〈演算装置の出力先〉
演算装置１００での演算結果は、コントロールユニット８０及びボディ系マイコン６０に出力される。コントロールユニット８０は、パワートレインマイコン８１、ブレーキマイコン８２、ステアリングマイコン８３で構成される。具体的に、パワートレインマイコン８１には、駆動力算出部１６１が算出した目標駆動力に関する情報が入力され、ブレーキマイコン８２には、制動力算出部１６２が算出した目標制動力に関する情報が入力され、ステアリングマイコン８３には、操舵量算出部１６３が算出した目標操舵量に関する情報が入力され、ボディ系マイコン６０には、周辺機器動作設定部１４０が設定したボディ関係の各デバイスの動作に関する情報が入力される。なお、ステアリングマイコン８３は、電動パワーステアリング(ＥＰＡＳ)用のマイコンを含む。

【0077】

以上をまとめると、本実施形態の外部環境認識装置は、カメラ２１からの撮像信号を受信する物理層１１１と、物理層１１１で受信された撮像信号を基にデータ列を構築する論理層１１２とを有するＰＵ側通信部１１０と、論理層１１２で構築されたデータ列から車両１０外部の画像データを生成する画像データ生成部１２１と、画像データを基に、車両１０の走行シーンを判定する走行シーン判定部１３１と、走行シーン判定部１３１で判定された走行シーンに応じた間引き方法を決定し、データ列または画像データの少なくとも一方の間引き処理をする間引き処理部１３２とを備える。

【0078】

このように、外部環境認識装置において、走行シーン判定部１３１で走行シーンを判定し、その判定結果を基にして決定された間引き方法により間引き処理を行うようにしている。すなわち、どのような走行シーンのデータであるかということが分かった段階、換言すると、間引いても問題がない状況のデータなのか否かが分かった段階で、不要部分がある場合に、その部分を間引き処理をすることができるので、必要な情報を失うことなく、演算装置で処理をするデータ量を削減することができる。

【0079】

なお、データ列の間引き処理は、データ列を構築した場所、例えば、上記実施形態では、論理層１１２に限定されず、それよりも後段のレイヤやブロック等で実行されてもよい。画像データについても同様である。

【0080】

また、間引き処理に関し、車両周辺の特定の領域のデータを間引くようにしてもよい。例えば、車両の左側に物体が存在する可能性が極めて低い場合に、その領域の間引き率を上げるようにしてもよい。

【0081】

また、上記の実施形態では、車両１０の外部環境をカメラ２１で撮像された画像を基に認識するものとしたが、これに限定されない。例えば、カメラ２１で撮像された画像に加えて、または、代えて、車外通信部３０を介した車外通信により外部ネットワークから交差点情報や特定の道路構造情報等を含む外部環境情報を受け取るようにしてもよい。

【産業上の利用可能性】

【0082】

ここに開示された技術は、自律移動体の外部環境を認識する外部環境認識装置として有用である。

【符号の説明】

【0083】

１０ 車両
２１ カメラ（撮像デバイス、外部情報取得手段）
１００ 演算装置
１１１ 物理層
１１２ 論理層
１２１ 画像データ生成部（環境データ生成部）
１３１ 走行シーン判定部（移動シーン判定部）
１３２ 間引き処理部

【図1】

【図2】

【図3】

【図4】