特許 7392221 物体認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-28

(45)【発行日】2023-12-06

(54)【発明の名称】物体認識システム

(51)【国際特許分類】

   G01S 17/89 20200101AFI20231129BHJP

   G01C 21/28 20060101ALI20231129BHJP

   G01S 17/86 20200101ALI20231129BHJP

   G01S 17/87 20200101ALI20231129BHJP

   G08G 1/09 20060101ALI20231129BHJP

【ＦＩ】

G01S17/89

G01C21/28

G01S17/86

G01S17/87

G08G1/09 H

【請求項の数】 5

(21)【出願番号】P 2022053711

(22)【出願日】2022-03-29

(65)【公開番号】P2023146505

(43)【公開日】2023-10-12

【審査請求日】2022-03-29

(73)【特許権者】

【識別番号】390014306

【氏名又は名称】防衛装備庁長官

(74)【代理人】

【識別番号】100067323

【弁理士】

【氏名又は名称】西村 教光

(74)【代理人】

【識別番号】100124268

【弁理士】

【氏名又は名称】鈴木 典行

(72)【発明者】

【氏名】重松 康祐

(72)【発明者】

【氏名】西野 司

(72)【発明者】

【氏名】國方 貴光

(72)【発明者】

【氏名】布施 行規

(72)【発明者】

【氏名】田窪 渓太

【審査官】渡辺 慶人

(56)【参考文献】

【文献】特開２０１７－１６６８４６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０１１８１８３（ＵＳ，Ａ１）

【文献】国際公開第２０２１／１０６２０７（ＷＯ，Ａ１）

【文献】特開２０２２－０１５１１３（ＪＰ，Ａ）

【文献】特開２０１９－０２８８６１（ＪＰ，Ａ）

【文献】国際公開第２０１９／０４４５００（ＷＯ，Ａ１）

【文献】特開２０１７－１８７４２２（ＪＰ，Ａ）

【文献】特開２０１９－１１７５０１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８ － ７／５１

１７／００ － １７／９５

(57)【特許請求の範囲】

【請求項1】

複数の移動手段と、
前記移動手段に登載されて周囲を計測することにより３次元点群を取得する３次元計測手段と、
前記移動手段に登載されて他の前記移動手段と通信を行なう通信手段と、
前記移動手段に登載されて前記３次元点群を用いた物体認識処理に基づき周囲の物体認識を行なう制御手段と、
を備えた物体認識システムであって、
前記制御手段は、
自ら取得した前記３次元点群からデータ量を低減した鳥瞰画像を生成する画像化処理を行い、生成した前記鳥瞰画像を、３次元点群を送受信する場合に必要な容量の通信回線よりも狭帯域の通信回線を有する前記通信手段により他の前記移動手段に送信し、
自ら生成した前記鳥瞰画像と、前記通信手段により受信した他の前記移動手段の前記鳥瞰画像を用い、他の前記移動手段の前記鳥瞰画像を、自ら生成した前記鳥瞰画像の座標系のデータに変換し、これを自ら生成した前記鳥瞰画像と統合するデータ統合処理によって連続した一の画像データである統合鳥瞰画像を生成し、これに前記物体認識処理を施して統合鳥瞰画像を構成するピクセル毎の物体種別を推定する物体認識を行なうことを特徴とする物体認識システム。

【請求項2】

前記移動手段の位置と姿勢を検出する位置・姿勢センサを有しており、前記制御手段は、前記移動手段の位置と姿勢及び他の前記移動手段の位置と姿勢に基づいて前記データ統合処理を行なうことを特徴とする請求項１記載の物体認識システム。

【請求項3】

前記制御手段は、前記移動手段の位置を推定する自己位置推定処理と、他の前記移動手段との相対位置を推定する相対位置推定処理に基づいて前記データ統合処理を行なうことを特徴とする請求項１記載の物体認識システム。

【請求項4】

前記制御手段は、前記３次元点群が得られた時刻での前記移動手段の位置と、現時刻での前記移動手段の位置に基づき、得られた前記３次元点群を現時刻の前記移動手段の座標系に変換することで、過去から現在までの計測により取得された前記３次元点群を蓄積する点群蓄積処理により得られた、現時刻に得られる前記３次元点群のみよりも密である蓄積３次元点群から前記鳥瞰画像を生成することを特徴とする請求項１乃至３の何れかに記載の物体認識システム。

【請求項5】

前記制御手段は、前記統合鳥瞰画像に前記物体認識処理を施した結果を、前記３次元点群と紐付けることにより、物体情報付き３次元点群を生成する物体情報付き３次元点群生成処理を行なうことを特徴とする請求項１乃至４の何れかに記載の物体認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両等の移動手段を移動させつつ、登載した３次元計測手段によって周囲の３次元点群を取得し、これを用いて周囲にある物体の認識処理を行なう高精度の物体認識システムに係り、特に、自ら取得した３次元点群を画像処理して得た鳥瞰画像と、他の移動手段から通信により入手した鳥瞰画像とを統合して統合鳥瞰画像を生成し、これに物体認識処理を行なう物体認識システムに関するものである。

【背景技術】

【0002】

自動運転等で必要不可欠な、人・車両などの障害物の認識には、自車両に搭載したLiDAR(Light Detection and Ranging)等のような周囲の３次元形状を計測する３次元計測センサが用いられている。しかしながら、自車に搭載したセンサのみで３次元点群を取得しただけでは、センサの計測距離や範囲の制限により、自車近傍の狭い範囲でしか計測データを得ることができない。また、物体の一部の面しか計測できず、物体の全体形状を把握することができない。さらに、周辺環境によってはセンサの死角となる領域が生じてしまう。

【0003】

非特許文献１では、LiDAR により取得した３次元点群を複数台車両間で共有及び統合し、統合した３次元点群を使用することにより、周囲の車両等の物体位置姿勢の推定を行う物体認識システムの発明が開示されている。

【0004】

非特許文献２には、車両に搭載したLiDAR から得られた現時刻の計測データを用いて物体認識処理を行う発明が開示されている。

【先行技術文献】

【非特許文献】

【0005】

【文献】Qi Chen et al., “Cooper: Cooperative Perception for Connected Autonomous Vehicles based on 3D Point Clouds,” 2019 IEEE 39th International Conference on Distributed Computing Systems(ICDCS), 2019, pp. 514-524

【文献】Alejandro Barrera et al., “BirdNet+: End-to-End 3D Object Detection in LiDAR Bird’s Eye View, ” 2020 IEEE 23rd International Conference on Intelligent Transportation System(ITSC), 2020, pp. 1-6

【発明の概要】

【発明が解決しようとする課題】

【0006】

複数車両がそれぞれ取得した３次元点群を統合するためには、各車両間の相対位置に関するデータが必要になる。非特許文献１に開示された発明では、複数の車両の相対位置に関して高精度のデータが与えられることを所与の条件としている。すなわち、この発明では、複数の車両の位置が予め定められており、各車両が移動しながらデータの送受信をリアルタイムで行う現実的な状況とはかけ離れた理想的な状況が前提となっている。従って、複数の車両が移動しながら、それぞれ取得した３次元点群を統合する場合、車両間の相対位置のデータに誤差が含まれていれば、物体認識精度が大きく低下することは避けられない。また、データ量が膨大である３次元点群を複数の車両の間で送受信して共有するには大容量の通信回線が必要であるとともに、通信状況が良好な場合にのみ可能であるという問題もあった。

【0007】

また、非特許文献２に開示された発明では、現時刻の３次元点群のみを用いており、搭載するセンサによっては疎な３次元点群しか得られず、物体の認識精度が不充分であるという問題があった。

【0008】

本発明は、以上説明した従来の技術に鑑みてなされたものであり、車両に登載した３次元計測手段を用いて移動しながら周囲の３次元点群を取得し、３次元点群から生成した画像について物体認識処理を行なう物体認識システムにおいて、一の移動手段が生成した画像と、他の移動手段が生成した画像を統合して物体認識処理を行なう場合において高い物体認識精度を実現することを第１の目的としており、大容量の通信回線を用いなくても、移動手段と移動手段の通信を可能とすることを第２の目的としている。

【課題を解決するための手段】

【0009】

請求項１に記載された物体認識システムは、
複数の移動手段と、
前記移動手段に登載されて周囲を計測することにより３次元点群を取得する３次元計測手段と、
前記移動手段に登載されて他の前記移動手段と通信を行なう通信手段と、
前記移動手段に登載されて前記３次元点群を用いた物体認識処理に基づき周囲の物体認識を行なう制御手段と、
を備えた物体認識システムであって、
前記制御手段は、
自ら取得した前記３次元点群からデータ量を低減した鳥瞰画像を生成する画像化処理を行い、生成した前記鳥瞰画像を、３次元点群を送受信する場合に必要な容量の通信回線よりも狭帯域の通信回線を有する前記通信手段により他の前記移動手段に送信し、
自ら生成した前記鳥瞰画像と、前記通信手段により受信した他の前記移動手段の前記鳥瞰画像を用い、他の前記移動手段の前記鳥瞰画像を、自ら生成した前記鳥瞰画像の座標系のデータに変換し、これを自ら生成した前記鳥瞰画像と統合するデータ統合処理によって連続した一の画像データである統合鳥瞰画像を生成し、これに前記物体認識処理を施して統合鳥瞰画像を構成するピクセル毎の物体種別を推定する物体認識を行なうことを特徴としている。

【0010】

請求項２に記載された物体認識システムは、請求項１記載の物体認識システムにおいて、
前記移動手段の位置と姿勢を検出する位置・姿勢センサを有しており、前記制御手段は、前記移動手段の位置と姿勢及び他の前記移動手段の位置と姿勢に基づいて前記データ統合処理を行なうことを特徴としている。

【0011】

請求項３に記載された物体認識システムは、請求項１記載の物体認識システムにおいて、
前記制御手段は、前記移動手段の位置を推定する自己位置推定処理と、他の前記移動手段との相対位置を推定する相対位置推定処理に基づいて前記データ統合処理を行なうことを特徴としている。

【0012】

請求項４に記載された物体認識システムは、請求項１乃至３の何れかに記載の物体認識システムにおいて、
前記制御手段は、前記３次元点群が得られた時刻での前記移動手段の位置と、現時刻での前記移動手段の位置に基づき、得られた前記３次元点群を現時刻の前記移動手段の座標系に変換することで、過去から現在までの計測により取得された前記３次元点群を蓄積する点群蓄積処理により得られた、現時刻に得られる前記３次元点群のみよりも密である蓄積３次元点群から前記鳥瞰画像を生成することを特徴としている。

【0014】

請求項５に記載された物体認識システムは、請求項１乃至４の何れかに記載の物体認識システムにおいて、
前記制御手段は、前記統合鳥瞰画像又は前記鳥瞰画像に前記物体認識処理を施した結果を、前記３次元点群と紐付けることにより、物体情報付き３次元点群を生成する物体情報付き３次元点群生成処理を行なうことを特徴としている。

【発明の効果】

【0015】

請求項１に記載された物体認識システムによれば、一の移動手段において３次元点群から生成した鳥瞰画像と、当該一の移動手段に対して他の移動手段から送信された鳥瞰画像を統合して統合鳥瞰画像を生成し、これを物体認識処理することによって物体認識を行なうことができる。すなわち、各移動手段は、移動しながらリアルタイムで他の移動手段とデータの送受信を行うことにより、高精度の物体認識を実現することができる。また、一の移動手段が他の移動手段に送信するのは、データ量の大きな３次元点群ではなく、３次元点群から生成した鳥瞰画像であるため、移動手段同士の通信に大容量の通信回線は必要ない。

【0016】

請求項２に記載された物体認識システムによれば、一の移動手段が、他の移動手段から送信された鳥瞰画像と自らの鳥瞰画像を統合して統合鳥瞰画像を生成する際には、一の移動手段と他の移動手段の間の相対的な位置・姿勢に関するデータが必要になるが、係る相対的な位置・姿勢に関するデータは、各移動手段に登載された位置・姿勢センサによって得られる各移動手段の位置・姿勢に関する高精度のデータから推定により取得することができる。

【0017】

請求項３に記載された物体認識システムによれば、一の移動手段が、他の移動手段から送信された鳥瞰画像と自らの鳥瞰画像を統合して統合鳥瞰画像を生成する際には、一の移動手段と他の移動手段の間の相対的な位置・姿勢に関するデータが必要になるが、係る相対的な位置・姿勢に関するデータは、各移動手段に登載された制御手段が、自己位置推定処理と、他の移動手段との相対位置を推定する相対位置推定処理によって、位置・姿勢センサを利用することなく取得することができる。

【0018】

請求項４に記載された物体認識システムによれば、制御手段は、点群蓄積処理により、過去から現在までに得られた３次元点群を蓄積することで、現時刻で得られる３次元点群のみよりも、より密な３次元点群を得ることができ、物体認識精度の向上を図ることができる。

【0020】

請求項５に記載された物体認識システムによれば、統合鳥瞰画像又は鳥瞰画像に物体認識処理を施した結果を３次元点群と紐付けることにより、物体情報付き３次元点群を生成することができる。

【図面の簡単な説明】

【0021】

【図1】第１実施形態に係る物体認識システムの全体構成図である。

【図2】第１実施形態に係る物体認識システムの機能ブロック図である。

【図3】第１実施形態に係る物体認識システムにおいて自車が計測した３次元点群と他車が計測した３次元点群から、統合鳥瞰画像を生成する手順を示す説明図である。

【図4】第２実施形態に係る物体認識システムの全体構成図である。

【図5】第２実施形態に係る物体認識システムの機能ブロック図である。

【図6】第３実施形態に係る物体認識システムの機能ブロック図である。

【図7】第４実施形態に係る物体認識システムの機能ブロック図である。

【図8】第５実施形態に係る物体認識システムの機能ブロック図である。

【発明を実施するための形態】

【0022】

本発明の第１実施形態を図１～図３を参照して説明する。
図１に示すように、第１実施形態の物体認識システム１ａは、移動手段である複数の車両２，２を走行させながら、各車両２の周囲にある物体を計測して３次元点群を取得し、矢印で示すように車両間でデータを無線により送受信し、各車両２においてデータの統合処理を行うとともに、統合したデータに物体認識処理を施して各車両２の周囲にある物体をカテゴリ分類することができる。具体的には、統合したデータである統合鳥瞰画像中の各部分について、例えば車、人、建物等、事前に定義した同一と見なされるカテゴリごとに区分して色分け等により表示することができる。なお、図１においては、２台の車両２，２が示されているが、３台以上でもよい。以下の説明においては、図示した２台の車両２，２のうち、一方の車両を自車２ａと称し、他方の車両を他車２ｂと称するものとする。

【0023】

図１に示すように、各車両２には、位置・姿勢に関するデータ（以下、単に「位置・姿勢」とも称する。）を取得する位置・姿勢センサ３と、周囲を計測することにより３次元点群データ（以下、単に「３次元点群」とも称する。）を取得する３次元計測手段としての３次元計測センサ４が登載されている。

【0024】

位置・姿勢センサ３としては、受信機と複数の衛星との距離から受信機の位置を算出するシステムの総称であるＧＮＳＳ（Global Navigation Satellite System（全球衛星測位システム）の略）を利用することができる。ＧＮＳＳの具体例としてはGPS 、GLONASS 、Galileo 等がある。

【0025】

３次元計測センサ４としては、一例としてLiDAR （Light Detection And Ranging （光検出と測距）の略）を用いることができる。LiDAR は、センサからレーザを照射し、物体に反射して戻ってくるまでの時間を計測することで物体までの距離を測ることができる。３次元LiDAR では、回転により360 °走査可能なレーザ照射部を垂直に複数積むことで３次元点群（[x, y, z] 座標の集合）を得ることができる。

【0026】

位置・姿勢センサ３と３次元計測センサ４は、その機能を最も有効に発揮できるように、車両２の屋根の上の所定の位置に配置されている。また、車両２の内部には、位置・姿勢センサ３と３次元計測センサ４により取得したデータを処理して物体認識を行う制御手段としてのデータ処理部５ａが設けられている。データ処理部５ａとしては、後述するデータ処理を実行するアプリケーションを実装したパーソナルコンピュータ等を利用できる。また、車両２の内部には通信手段としての無線通信機６が設けられている。無線通信機６は、データ処理部５ａで処理されたデータを他の車両２に向けて送信する送信部７と、他の車両２から送信されたデータを受信してデータ処理部５ａに送る受信部８と、車両２の屋根の上に設けられて送信部７と受信部８に接続されたアンテナ９を有している。

【0027】

図２に示すように、データ処理部５ａは３次元点群処理部１０ａを有している。３次元点群処理部１０ａには、位置・姿勢センサ３と３次元計測センサ４が接続されており、位置・姿勢センサ３が取得した自車の位置・姿勢と、３次元計測センサ４が取得した自車の３次元点群が入力される。また、３次元点群処理部１０ａは画像化処理部１１を備えている。画像化処理部１１は、３次元計測センサ４が取得した３次元点群を、車両２の上方から真下に向けて見た鳥瞰画像に変換する。

【0028】

図３（ａ）に示すように、車両２（自車２ａ）に登載した３次元計測センサ４である３次元LiDAR は、レーザを照射しながら回転することにより自車の全周囲（360 °）を走査し、３次元点群（[x, y, z] 座標の集合）を取得して画像化処理部１１（図２参照）に送る。図３（ａ）の例では、高さ方向[z] の所定位置における[x, y]座標の集合点群を表示しているが、実際には高さ方向[z] の値も含めた３次元点群が取得されており、この３次元点群によって自車２ａの周囲に存在する種々の物体Ｓの立体的形状を把握することができる。また、図３（ｂ）に示すように、自車２ａの近傍にある他車２ｂにおいても同様の計測が行われて３次元点群が取得されている。なお、図３は、自車２ａの計測範囲と、自車２ａの近傍にある他車２ｂの計測範囲が一部重なっている場合を示しており、この場合には、後に説明するように自車２ａで得たデータと他車２ｂで得たデータを統合することにより、図３（ｅ）に示すように一つの連続した領域を表す統合鳥瞰画像を生成することができる。

【0029】

自車２ａの３次元点群処理部１０ａでは、画像化処理部１１が、３次元計測センサ４から入力された図３（ａ）に示す３次元点群を、２次元データである図３（ｃ）に示す鳥瞰画像に変換する。その際には、鳥瞰画像を構成するピクセルの各々が、位置データだけでなく、高さ、反射強度及び密度を示す規格化されたデータが含まれるようにデータ処理を行い、平面的な鳥瞰画像中に把握されるピクセルの特定の集合が、特定種類の物体Ｓ（例えば車、人、建物等）であることを識別できるようにしている。また、自車２ａの近傍にある他車２ｂにおいても、自車２ａと同様に、図３（ｂ）に示す他車が取得した３次元点群の画像化処理が行われており、図３（ｄ）に示すような鳥瞰画像が取得されている。

【0030】

図２に示すように、自車２ａの３次元点群処理部１０ａは、画像化処理部１１が生成した自車２ａの鳥瞰画像と、位置・姿勢センサ３から入力された自車２ａの位置・姿勢を無線通信機６に送り、送信部７及びアンテナ９によって他車２ｂに送信する。３次元点群はデータ容量が大きく、通信回線の通信容量によってはリアルタイムでの送受信が困難である場合もあるが、この実施形態では、他車２ｂに送るのは３次元点群を画像化処理したデータ量が小さい鳥瞰画像であるため、通信量を削減でき、車両間通信により共有することが容易である。また、自車２ａの３次元点群処理部１０ａは、位置・姿勢センサ３から入力された自車２ａの位置・姿勢と、自車２ａの３次元点群を、相対位置推定処理部１２に送る。また、自車２ａの３次元点群処理部１０ａは、画像化処理部１１が生成した自車２ａの鳥瞰画像を、後述するデータ統合処理部１３に送る。

【0031】

図２に示すように、データ処理部５ａは相対位置推定処理部１２を備えている。相対位置推定処理部１２は、３次元点群処理部１０ａから自車２ａの３次元点群と自車２ａの位置・姿勢を入力され、また無線通信機６の受信部８が受信した他車２ｂの鳥瞰画像と他車２ｂの位置・姿勢を入力され、自車２ａと他車２ｂの間の相対的な位置関係及び姿勢を示すデータである車両間相対位置・姿勢を算出してデータ統合処理部１３に送る。本実施形態における相対位置推定処理はＧＮＳＳにより得られた座標データから算出する方法であるため正確であり、処理も速い。なお、無線通信機６の受信部８が受信した他車２ｂの鳥瞰画像は、相対位置推定処理部１２を経て、そのままデータ統合処理部１３に送られる。

【0032】

図２に示すように、データ処理部５ａはデータ統合処理部１３を備えている。データ統合処理部１３は、相対位置推定処理部１２から送られた車両間相対位置・姿勢に基づき、相対位置推定処理部１２を経て送られた図３（ｄ）に示す他車２ｂの鳥瞰画像を、３次元点群処理部１０ａから送られた図３（ｃ）に示す自車２ａの鳥瞰画像の座標系のデータに変換し、自車２ａの鳥瞰画像と統合して連続した一の画像データである図３（ｅ）に示すような統合鳥瞰画像を生成する。

【0033】

図２に示すように、データ処理部５ａは物体認識処理部１４を備えている。物体認識処理部１４は、データ統合処理部１３が生成した統合鳥瞰画像に対し、例えばＣＮＮを利用したセマンティックセグメンテーション処理を行い、鳥瞰画像を構成するピクセル毎の物体種別を推定する。

【0034】

セマンティックセグメンテーションとは、認識データの最小単位（画像では１ピクセルごと、３次元点群について行う場合は１点ごと）に、例えば車、人、建物等、事前に定義した同一と見なされるカテゴリごとに分類を行うことであり、近年ではＣＮＮを用いた手法が主流になっている。

【0035】

ＣＮＮとは、Convolutional Neural Network（畳み込みニューラルネットワーク）の略語であり、入力する画像データに対して、３×３程度のサイズのフィルターを用いた畳み込みとダウンサンプリングを繰り返しながら、画像の特徴を抽出するアルゴリズムである。

【0036】

この実施形態では、分類を行うカテゴリごとに異なる色彩を定めておく。そして、図３（ｅ）に示す統合鳥瞰画像の１ピクセルごとに、当該ピクセルが属するカテゴリの色彩を付すことにより、統合鳥瞰画像中に認識される物体Ｓを着色し、車、人、建物等の区別が容易に理解できるような平面画像を得ることができる。なお、３次元点群に対してセマンティックセグメンテーション処理を行うことも可能ではあるが、本実施形態では３次元点群を変換したデータ量の小さい鳥瞰画像に対してセマンティックセグメンテーション処理を行うため、３次元点群に対して物体認識処理を行う場合よりも処理が高速化する。

【0037】

図４及び図５を参照して第１実施形態と異なる点を中心に第２実施形態を説明する。
第２実施形態の構成において、第１実施形態と同一の部分については、第１実施形態と同一の符号を図面に付し、第１実施形態の説明を援用するものとする。

【0038】

図４に示すように、第２実施形態の物体認識システム１ｂは、複数の車両２，２を走行させながら、車両間でデータを送受信することにより各車両２で統合鳥瞰画像を生成し、これに物体認識処理を施して周囲の物体Ｓのカテゴリ分類を行う。図４及び機能ブロック図である図５に示すように、各車両２には、自車２ａの位置・姿勢を取得する位置・姿勢センサ３は登載されていないが、図５に示すように、データ処理部５ｂの３次元点群処理部１０ｂは、第１実施形態にはない自己位置推定処理部１５を備えている。

【0039】

すなわち、第１実施形態では、各車両２、例えば自車２ａは、登載した位置・姿勢センサ３によって自車２ａの位置・姿勢を取得していたが、第２実施形態では、自己位置推定処理部１５が自車２ａの位置を推定し、その結果を自車２ａの位置・姿勢としてデータ処理に使用している。

【0040】

自己位置推定処理部１５が行う自己位置推定処理の方法としては、まずＳＬＡＭを挙げることができる。ＳＬＡＭとは、Simultaneous Localization And Mapping （自己位置推定と地図作成を同時に行う処理）の略語であり、ある時刻においてセンサで計測したデータを１時刻前の計測データと比較することで自己位置を推定し、推定した自己位置に基づいて計測データを配置して地図の作成を行う手法である。

【0041】

自己位置推定処理の他の方法としては、複数の車両２で得られた複数の３次元点群の間で、ＩＣＰをはじめとするスキャンマッチングを行うことにより、計測データを位置合わせすることで自己位置を推定する手法も採用できる。ＩＣＰとは、Iterative Closest Point （反復最近傍点）の略語であり、異なる点群データの重ね合わせを行うことにより、各点から最も近い点のマッチングと距離の総和の最小化を交互に行い、点群データの最適な位置合わせを行う手法である。また、スキャンマッチングとは、現在の点群データと地図の点群データが最も重なる位置を探すことで自己位置を推定する手法である。

【0042】

統合鳥瞰画像を生成する際には、自車２ａと他車２ｂの車両間相対位置・姿勢に関するデータが必要になるが、第２実施形態によれば、このようなデータは、位置・姿勢センサ３を利用することなく自己位置推定処理によって取得することができるため、第１実施形態では必要であった位置・姿勢センサ３の費用を削減することができる。

【0043】

図６を参照して第２実施形態と異なる点を中心に第３実施形態を説明する。
第３実施形態の構成において、第１～第２実施形態と同一の部分については、第１～第２実施形態と同一の符号を図面に付し、第１～第２実施形態の説明を援用するものとする。

【0044】

図６に示す第３実施形態の３次元点群処理部１０ｃが、図５に示す第２実施形態の３次元点群処理部１０ｂと異なる点は、点群蓄積処理部１６を有する点である。点群蓄積処理部１６は、過去から現在までに３次元計測センサ４から入力された３次元点群を蓄積する点群蓄積処理により、現時刻に得られる３次元点群のみよりも、密な３次元点群を得るデータ処理方法であり、より具体的には、３次元点群が得られた時刻での自車２ａの位置と、現時刻での自車２ａの位置に基づき、３次元点群を現時刻の車両２の座標系に変換することで３次元点群を蓄積するものである。第３実施形態によれば、点群蓄積処理部１６により得られた密な３次元点群を元にした統合鳥瞰画像が得られるため、物体認識精度の向上を図ることができる。

【0045】

図７を参照して第３実施形態と異なる点を中心に第４実施形態を説明する。
第４実施形態の構成において、第１～第３実施形態と同一の部分については、第１～第３実施形態と同一の符号を図面に付し、第１～第３実施形態の説明を援用するものとする。

【0046】

図７に示す第４実施形態のデータ処理部５ｄが、図６に示す第３実施形態のデータ処理部５ｃと異なる点は、物体情報付き３次元点群生成処理部１７を有する点である。物体情報付き３次元点群生成処理部１７は、３次元計測センサ４が取得した自車２ａの３次元点群に対し、物体認識処理部１４におけるセマンティックセグメンテーション結果、すなわちピクセル毎に物体種別が特定された統合鳥瞰画像を紐付ける処理を行い、３次元点群の１点ごとに、当該点が分類されたカテゴリの色彩を付すことにより、３次元点群中に認識される物体Ｓを着色して車、人、建物等の区別が容易に理解できるような物体情報を含む３次元点群を得ることができる。

【0047】

以上説明したように、第１～第４実施形態によれば、他車２ｂと共有した計測データに基づき相対位置を推定し、複数台の車両２の計測データを統合しているので、各車両２を走行させながら各車両２においてリアルタイムで高精度な物体認識を行うことが可能となった。特に、３次元計測データを鳥瞰画像にしてデータ量を低減しているため、狭帯域の通信回線によって他車２ｂとデータ共有することが可能となる。さらに、第３及び第４実施形態によれば、過去の３次元点群を蓄積し、物体認識処理を行うことで、死角の低減や物体認識精度を向上させることができる。さらに、第４実施形態によれば、物体情報付き３次元点群を得ることができる。

【0048】

図８を参照して第５実施形態を説明する。
第５実施形態の構成において、他の実施形態と同一の部分については、それら実施形態と同一の符号を図面に付し、同実施形態の説明を援用するものとする。

【0049】

第１～第４実施形態では、複数の車両２を使用して車両間で計測データを共有し、各車両２において統合鳥瞰画像を生成して物体認識処理を行っていた。これとは異なり、第５実施形態では、３次元計測センサ４を登載した単一の車両２を用い、自車２ａが取得した鳥瞰画像に物体認識処理を行い、さらにその認識結果を、自車２ａの３次元点群に紐付けて物体情報付き３次元点群を生成する。従って、無線通信機６、相対位置推定処理部１２及びデータ統合処理部１３は持たない。

【0050】

第５実施形態の物体認識システム１ｅは、第１乃至第４実施形態（図２、５、６、７）の物体認識システム１ａ，１ｂ，１ｃ，１ｄが有するのと同一の３次元計測センサ４を有し、第３及び第４実施形態（図６、７）の物体認識システム１ｃ，１ｄが有するのと同一の３次元点群処理部１０ｃを有する。また、第５実施形態の物体認識システム１ｅは、３次元点群処理部１０ｃから送られた自車２ａの鳥瞰画像に対して物体認識処理を行う物体認識処理部１４ｅと、物体認識処理部１４ｅから送られた物体認識処理された自車２ａの鳥瞰画像を、自車２ａの３次元点群に紐付けて物体情報付き３次元点群を生成する物体情報付き３次元点群生成処理部１７ｅを有する。

【0051】

第５実施形態によれば、車両２を単独で走行させながらリアルタイムで物体情報付き３次元点群を得るという高精度な物体認識を行うことが可能となった。特に、過去の３次元点群を蓄積して物体認識処理を行うことで、死角の低減や物体認識精度を向上させることができる。

【0052】

以上説明した実施形態では、自車２ａにおいては、他車２ｂの位置・姿勢を他車２ｂからの無線通信により取得して、自車２ａと他車２ｂの間の車両間相対位置・姿勢を算出している。しかしながら、他車２ｂとの距離等について条件が整えば、自車２ａに登載した３次元LiDAR 等の３次元計測手段４を用いて他車２ｂの位置・姿勢を直接計測し、自車２ａにおける車両間相対位置・姿勢の算出に使用してもよい。

【符号の説明】

【0053】

１ａ，１ｂ，１ｃ，１ｄ，１ｅ…物体認識システム
２…移動手段としての車両
２ａ…車両である自車
２ｂ…車両である他車
３…位置・姿勢センサ
４…３次元計測手段としての３次元計測センサ
５ａ，５ｂ，５ｃ，５ｄ，５ｅ…制御手段としてのデータ処理部
６…通信手段としての無線通信機
１０ａ，１０ｂ，１０ｃ…３次元点群処理部
１１…画像化処理部
１２…相対位置推定処理部
１３…データ統合処理部
１４，１４ｅ…物体認識処理部
１５…自己位置推定処理部
１６…点群蓄積処理部
１７，１７ｅ…物体情報付き３次元点群生成処理部
Ｓ…物体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】