特開 2024-95068 車載処理装置及び物体認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024095068

(43)【公開日】2024-07-10

(54)【発明の名称】車載処理装置及び物体認識方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240703BHJP

【ＦＩ】

G08G1/16 C

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022212077

(22)【出願日】2022-12-28

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110000925

【氏名又は名称】弁理士法人信友国際特許事務所

(72)【発明者】

【氏名】酒寄 剛

(72)【発明者】

【氏名】城戸 英彰

(72)【発明者】

【氏名】豊田 英弘

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB12

5H181BB13

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF04

5H181FF27

5H181FF33

5H181LL09

(57)【要約】

【課題】物体の点群情報に点群の欠落領域がある場合においても、少なくとも自動運転車両周辺の物体を高精度に認識するようにする。
【解決手段】第１の外界領域を計測した第一点群を記憶する点群記憶部２２と、車両周辺の物体において取得された点群に含まれる測定点が所定の条件を満たしていない領域である点群欠落領域を推定する点群欠落領域推定部２３と、点群欠落領域において、記憶された第一点群と第２の外界領域を計測した第二点群とをマッチングする点群マッチング部２３と、該点群マッチング部２３によりマッチングされた第一点群と第二点群を用いて、第三点群を生成する第三点群生成部２４と、第三点群を用いて物体を認識する物体認識部２５と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両に搭載された外界センサによって第一の外界領域において計測された第一点群を取得する第一点群取得部と、
前記外界センサ又は前記外界センサと異なる外界センサによって前記第一の外界領域と異なる領域を含む第二の外界領域において計測された第二点群を取得する第二点群取得部と、
前記第一点群及び前記第二点群を処理する点群処理部と、を備え、
前記点群処理部は、
前記第一点群を記憶する点群記憶部と、
前記車両周辺の物体において取得された点群に含まれる測定点が所定の条件を満たしていない領域である点群欠落領域を推定する点群欠落領域推定部と、
前記点群欠落領域において、記憶された前記第一点群と前記第二点群取得部により取得された前記第二点群とをマッチングする点群マッチング部と、
前記点群マッチング部によりマッチングされた前記第一点群と前記第二点群を用いて、第三点群を生成する第三点群生成部と、
前記第三点群を用いて前記物体を認識する物体認識部と、を有する
車載処理装置。

【請求項2】

前記点群欠落領域は、取得された前記点群に含まれる前記測定点の密度が閾値以下となる領域である
請求項１に記載の車載処理装置。

【請求項3】

前記点群欠落領域推定部は、前記車両周辺の移動可能な物体である移動可能物体において点群の測定点の密度が閾値以下となる点群欠落領域を推定し、
前記物体認識部は、前記第三点群を用いて前記移動可能物体を認識する
請求項２に記載の車載処理装置。

【請求項4】

前記第三点群生成部は、前記第二点群の前記点群欠落領域に、記憶された前記第一点群を適用して前記第三点群を生成する
請求項１に記載の車載処理装置。

【請求項5】

前記第三点群生成部は、前記第二点群の前記点群欠落領域において前記測定点の間を、記憶された前記第一点群を用いて補完して前記第三点群を生成する
請求項１に記載の車載処理装置。

【請求項6】

前記第二点群には、前記第一点群の測定点の密度よりも小さい密度の測定点が含まれる
請求項１に記載の車載処理装置。

【請求項7】

前記第一の外界領域は、車両の前方の外界情報を取得する外界センサの検知領域であり、
前記第二の外界領域は、車両の側方の外界情報を取得する外界センサの検知領域である
請求項６に記載の車載処理装置。

【請求項8】

前記点群欠落領域は、取得された前記点群に含まれる前記測定点と、前記物体の種別に応じて設定されている参照点群との類似度が閾値以下となる領域である
請求項１に記載の車載処理装置。

【請求項9】

車両に搭載された外界センサによって第一の外界領域において計測された第一点群を取得する第一点群取得部と、前記外界センサ又は前記外界センサと異なる外界センサによって前記第一の外界領域と異なる領域を含む第二の外界領域において計測された第二点群を取得する第二点群取得部と、前記第一点群及び前記第二点群を処理する点群処理部と、を備えた車載処理装置における物体認識方法であって、
前記点群処理部により、
前記第一点群を記憶する処理と、
前記車両周辺の物体において取得された点群に含まれる測定点が所定の条件を満たしていない領域である点群欠落領域を推定する処理と、
前記点群欠落領域において、記憶された前記第一点群と前記第二点群取得部により取得された前記第二点群とをマッチングする処理と、
マッチングされた前記第一点群と前記第二点群を用いて、第三点群を生成する処理と、
前記第三点群を用いて前記物体を認識する処理と、を有する
物体認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動運転車両が他の車両等と協調行動を実現するための車載処理装置及び物体認識方法に関する。

【背景技術】

【0002】

複数の移動可能物体が混在する環境において自動運転車両を最適に制御するには、周辺環境を正しく認識するとともに周辺移動可能物体の行動意図を理解する必要がある。自動運転車両は外界センサから得られる画像情報や複数の測定点の情報（点群情報）を用いて周辺環境認識を実施することが一般的である。点群情報を用いた周辺環境認識に関する手法として、特許文献１及び特許文献２に記載された発明がある。

【0003】

特許文献１に記載の発明は、センサにて取得された第１の点群データをクラスタリングし第１のクラスタ点群を生成する。そして、特許文献１に記載の発明では、第１クラスタ点群に含まれる第１クラスタの各々を、第１の点群データよりも過去に取得された点群クラスタの各々に融合させることでクラスタ群を更新し、周辺環境認識を実施する。

【0004】

特許文献２に記載の発明は、３次元点群データを２次元グリッドに投影して路面画像を生成し、複数の路面画像の相対位置関係を表す変形量を推定するデータ処理装置に関する。この際、演算量を抑制しつつ、複数の３次元点群データ間の位置ずれを調整することで自己位置推定と周辺環境認識を実施する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０２２／００９６０２号

【特許文献2】特開２０１８－１６９８２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載の発明においては、取得した点群情報をクラスタリングすることで情報量を低減させているものの、過去に取得された点群クラスタに新規点群クラストを融合させていく。必要に応じず逐次的に点群クラスタを融合させていくことで、自移動体が所有する情報量が増大し、周辺環境認識に要する演算時間が増大してしまう可能性がある。

【0007】

特許文献２に記載の発明においては、３次元点群データを２次元グリッドに投影することにより情報量の削減を実施している。特許文献２に記載された情報量の削減では、認識対象物が路面ペイント情報であるため、問題が顕在化しないと考えられる。

【0008】

ところで、自動運転車両周辺の移動可能物体の行動意図を把握するためには、移動可能物体の種別を判定する必要がある。特許文献２に記載の発明では、点群情報を１次元削減することにより、削減前と比べて対象移動可能物体の種別の分類が難しくなってしまう。また、高度な種別分離を行うには点群情報が密であることが望ましいが、点群情報が欠落した場合においては高精度に周辺環境を認識できないと考えられる。

【0009】

上記の状況に鑑みて、本発明は、自動運転車両と周辺の物体の協調行動を実現するために、外界センサから得られる物体の点群情報に点群の欠落領域がある場合であっても、少なくとも自動運転車両周辺の物体を高精度に認識できるようにすることを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本発明の一態様の車載処理装置は、車両に搭載された外界センサによって第一の外界領域において計測された第一点群を取得する第一点群取得部と、外界センサ又は該外界センサと異なる外界センサによって第一の外界領域と異なる領域を含む第二の外界領域において計測された第二点群を取得する第二点群取得部と、第一点群及び第二点群を処理する点群処理部と、を備える。
上記点群処理部は、第一点群を記憶する点群記憶部と、車両周辺の物体において取得された点群に含まれる測定点が所定の条件を満たしていない領域である点群欠落領域を推定する点群欠落領域推定部と、点群欠落領域において、記憶された第一点群と第二点群取得部により取得された第二点群とをマッチングする点群マッチング部と、該点群マッチング部によりマッチングされた第一点群と第二点群を用いて、第三点群を生成する第三点群生成部と、第三点群を用いて物体を認識する物体認識部と、を有する。

【発明の効果】

【0011】

本発明の少なくとも一態様によれば、外界センサから得られる物体の点群情報に点群の欠落領域がある場合においても、少なくとも車両周辺の物体を高精度に認識することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0012】

【図1】本発明の第１の実施形態に係る車載処理装置を備えた自動運転車両の構成例を示す概略図である。

【図2】本発明の第１の実施形態に係る車載処理装置の構成例を示す図である。

【図3】本発明の第１の実施形態に係る車載処理装置の物体認識処理の手順例を示すフローチャートである。

【図4】自動運転車両と対向車両がすれ違いを実施する環境の一例を示す図である。

【図5】本発明の第１の実施形態において自動運転車両に搭載されている外界センサの検知可能領域の一例を示す図である。

【図6】本発明の第１の実施形態において自動運転車両のすれ違い行動において初期行動時における外界センサのセンシング結果の一例を示す図である。

【図7】本発明の第１の実施形態において自動運転車両が対向車両とすれ違い行動を実施するために退避路に移動した際の、外界センサのセンシング結果の一例を示す図である。

【図8】本発明の第１の実施形態において自動運転車両と対向車両の横方向間隔が極めて狭い場合における外界センサのセンシング結果の一例を示す図である。

【図9】本発明の第１の実施形態において第二取得点群と記憶点群のマッチングに関する一例を示す図である。

【図10】本発明の第１の実施形態において第二取得点群と記憶点群のマッチングに関する他の例を示す図である。

【図11】本発明の第１の実施形態において対向車両が後退移動する例を示す図である。

【図12】本発明の第２の実施形態において自動運転車両が交差点に進入した際の一例を示す図である。

【図13】本発明の第２の実施形態において自動運転車両が進入した交差点の道路を歩行者が横断している際の一例を示す図である。

【図14】本発明の第３の実施形態に係る車載処理装置の構成例を示す図である。

【図15】本発明の第３の実施形態に係る車載処理装置の物体認識処理の手順例を示すフローチャートである。

【図16】本発明の第３の実施形態において自動運転車両が高速道路の本線を走行する複数の周辺車両と協調し合流を実施する環境の一例を示す図である。

【図17】本発明の第３の実施形態において自動運転車両と路側外界センサが通信し、本線を走行する周辺車両の密な点群を記憶する動作の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明を実施するための形態（以下、「実施形態」と称する）の例について、添付図面を参照して説明する。本明細書及び添付図面において、同一の構成要素又は実質的に同一の機能を有する構成要素には同一の符号を付して重複する説明を省略する。

【0014】

＜第１の実施形態＞
［車載処理装置を搭載した自動運転車両の構成］
図１は、本発明の第１の実施形態に係る車載処理装置を備えた自動運転車両の構成例を示す概略図である。図１において、自動運転車両１は、信号受付部２と、一個以上のセンサ３ａ，３ｂ，・・・，３ｎと、車載処理装置１０とを有する。これらの構成要素は、バス４により相互に接続されている。本明細書では、センサ３ａ，３ｂ，・・・，３ｎを特に区別しない場合には、センサ３と記載する。

【0015】

センサ３は、自動運転車両１に取り付けられたセンサである。センサ３として、点群を取得可能な２以上の外界センサが含まれる。点群に含まれる測定点は、形状を有する物体の表面又は内部に位置する空間上の座標を表すものである。外界センサで得られる点群情報を基に、自車周辺の物体の形状に関する情報と物体までの距離に関する情報を検出することができる。測定点データに輝度や色の情報が含まれていてもよい。

【0016】

センサ３として、ステレオカメラ、レーザレーダ、ミリ波レーダ、又は超音波センサなどを用いることができる。例えば、外界センサの一つ（第１の外界センサ）は、自動運転車両１の前方に設置されている。本実施形態では、第１の外界センサは、レンズを有し、自動運転車両１の前方領域の情報（第一領域情報の例）を取得する。また、他の外界センサ（第２の外界センサ）は、自動運転車両１の側方に設置され、自動運転車両１の側方領域の情報（第二領域情報の例）を取得する。

【0017】

センサ３ａ～３ｎは、制御部１２から情報取得開始（測定開始）の指令を受けたとき又は一定の時間間隔で情報を取得する。取得された情報のデータは取得時刻とともに、メモリ１３に格納される。なお、本明細書では、説明の便宜上、「側方」について右側方か左側方かを区別していないが、実際には右側方領域の情報を取得する外界センサと、左側方領域の情報を取得する外界センサがある。

【0018】

信号受付部２は、外部からの信号を受信する。例えば、信号受付部２は、地球の絶対座標で現在位置を推定する全地球測位システム（Global Positioning System : GPS）の受信機である。また、信号受付部２は、ＧＰＳよりも精度よく現在位置を推定するＲＴＫ－ＧＰＳ（Real Time Kinematic GPS）の受信機でもよい。また、信号受付部２は、準天頂衛星システムの受信機でもよい。また、信号受付部２は、既知の位置に固定されたビーコンからの信号を受信するものでもよい。また、信号受付部２は、車輪エンコーダ、慣性計測装置（Inertial Measurement Unit : IMU）、ジャイロなど、相対座標で位置を推定するセンサから信号を受信してもよい。また、信号受付部２は、走行環境の車線、標識、交通状態、立体物の形状、大きさ、高さなどの情報を受信してもよい。最終的に、車載処理装置１０が搭載された自動運転車両１の現在位置推定や制御や認知に利用できれば、どのような方式でもよい。

【0019】

車載処理装置１０は、自動運転車両１の現在位置の推定（自己位置推定）、現在位置に基づく自動運転、自車周辺の物体を認識する処理、自車周辺の移動可能物体と協調して自動運転を実施する協調自動運転などを実行する。例えば、車載処理装置１０は、センサ３で取得した情報を処理して、自動運転車両１の位置又は移動量を算出する。そして、車載処理装置１０は、自動運転車両１の制御に関する信号を出力してもよい。車載処理装置１０は、算出された位置又は移動量に応じた表示を行ってもよい。

【0020】

また、センサ処理部１１は、センサ３の外界センサで取得された情報を処理する。例えば、自動運転車両１の走行中にセンサ３が取得した情報をセンサ処理部１１で処理して点群情報を取得することで、自車周辺の物体が検知される。センサ処理部１１は、図２に示す第一点群取得部１１１及び第二点群取得部１１２に相当する。

【0021】

車載処理装置１０は、例えば、コンピューターシステム（電子計算機）によって構成される。車載処理装置１０は、センサ処理部１１と、制御部１２と、メモリ１３と、不揮発性ストレージ１４と、を含む。制御部１２は、ＣＰＵ（Central Processing Unit）などの演算装置である。車載処理装置１０においては、制御部１２（例えばＣＰＵ）が、メモリ１３又は不揮発性ストレージ１４に記録されたコンピュータープログラムを読み出して実行することにより、本実施形態に係る各機能が実現される。

【0022】

なお、センサ処理部１１の一部又は全部を専用の集積回路などを用いてハードウェアで実現してもよいし、ソフトウェアで実現してもよい。ソフトウェアによって実現する場合、制御部１２（例えばＣＰＵ）が、メモリ１３又は不揮発性ストレージ１４に記録されたコンピュータープログラムを読み出して実行することにより、センサ処理部１１の機能が実現される。

【0023】

メモリ１３は、車載処理装置１０の主記憶装置（メインメモリ）及びコンピュータープログラムなどが記録されたＲＯＭを含む。例えば、メモリ１３には、センサ処理部１１で取得した点群データ及び種別が一時的に記憶される。また、メモリ１３には、本実施形態に係る各機能を実現するコンピュータープログラム、テーブル、ファイル等の情報が記録されている。

【0024】

不揮発性ストレージ１４には、地図情報を含む自動運転車両１が走行する環境の情報などが記憶されている。例えば、不揮発性ストレージ１４に記憶される情報として、地図情報の他に、走行環境にある静止物（木、建物、道路、車線、信号、標識、路面ペイント、路端など）の形状や位置についての情報が含まれていてもよい。制御部１２は、これらの情報を基に地図上での自車の位置を正確に推測する。不揮発性ストレージ１４に、本実施形態に係る各機能を実現するコンピュータープログラム等が記録されていてもよい。不揮発性ストレージ１４は、半導体メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又はＩＣカード、光ディスク等の記録媒体を用いることができる。

【0025】

バス４は、ＩＥＢＵＳ（Inter Equipment Bus）やＬＩＮ（Local Interconnect Network）やＣＡＮ（Controller Area Network）などで構成できる。

【0026】

車載処理装置１０は、自動運転車両１の外部に存在する外部装置５と無線により通信可能となっている。車載処理装置１０と外部装置５との間の送受信は、通信ＩＦ１５により行う。

【0027】

外部装置５は、自動運転車両１の外部に設けられた装置であって、例えば、後述するサーバ（図１４参照）や路側外界センサ１７０（図１７参照）などである。

【0028】

なお、車載処理装置１０では、自動運転車両１の走行中にセンサ３が取得した情報をセンサ処理部１１が処理して、自動運転車両１の位置を推定してもよい。例えば、センサ処理部１１は、センサ３が時系列に取得した情報で自動運転車両１の移動量を算出し、過去の位置に移動量を加算して現在位置を推定する。センサ処理部１１は、時系列に取得した情報のそれぞれから特徴を抽出してもよい。センサ処理部１１は、さらに、次回以降の情報で同じ特徴を抽出する。そして、センサ処理部１１は、特徴のトラッキングにより自動運転車両１の移動量を算出する。

【0029】

［車載処理装置の構成］
次に、車載処理装置１０の構成について図２を用いて説明する。
図２は、車載処理装置１０の構成例を示す図である。本実施形態では、自車周辺の移動可能物体と協調して自動運転を実施する協調自動運転時における物体認識を想定している。協調自動運転時に、車載処理装置１０は、自車に搭載されている複数のセンサ３（外界センサ）を用いて自車周辺の複数の測定点を含む情報（点群情報）を取得し、取得された点群情報に基づいて点群を新たに生成するかを判定する。判定後、車載処理装置１０は、外界センサから取得された点群及び新たに生成された第三点群を用いて、自車周辺の移動可能物体を認識する。

【0030】

上記の協調自動運転は、自動運転車両（自車）と対象移動可能物体が相互に意思疎通を図りながら移動を実施する状態であり、絶えず対象移動可能物体を認識する必要がある。外界センサを用いて物体の点群情報を取得する方法として、ステレオカメラ、レーザレーダ、ミリ波レーダ、又は超音波センサなどを用いた方法などがあるが、その方法は問わない。

【0031】

図２に示すように、車載処理装置１０は、第一点群取得部１１１、第二点群取得部１１２、及び点群処理部２０を備える。上述したように、車載処理装置１０は、例えばハードウェアとしてＣＰＵやメモリなどを備えたコンピュータシステムとして構成される。このハードウェアが情報処理プログラムを実行することにより、点群処理部２０の各機能（点群欠落領域推定部２１、点群記憶部２２、点群マッチング部２３、第三点群生成部２４、物体認識部２５）が実現する。なお、第一点群取得部１１１、第二点群取得部１１２についても、ハードウェアが情報処理プログラムを実行することにより実現してもよい。

【0032】

このハードウェアの一部又は全部については、専用の処理装置、汎用の機械学習マシン、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＰＬＤ（Programmable Logic Device）などで代替してもよい。

【0033】

第一点群取得部１１１は、自動運転車両１周辺の特定領域（第一の外界領域）における点群情報（第一点群）を取得する。第二点群取得部１１２は、自動運転車両１周辺の領域で、第一点群取得部１１１が担当する領域とは異なる特定領域（第二の外界領域）の点群情報（第二点群）を取得する。点群を構成する測定点は、３Ｄ（ｘ，ｙ，ｚ）、又は４Ｄ（ｘ，ｙ，ｚ，輝度又は色）などで表すことができる。

【0034】

第二点群取得部１１２が担当する領域の一部が、第一点群取得部１１１の担当領域と重複してもよい。第二点群取得部１１２で取得される点群に含まれる複数の測定点の密度（以下、点群密度）は、第一点群取得部１１１で取得される点群の点群密度よりも小さい（疎）ものとする。すなわち、第二点群には、第一点群の測定点の密度よりも小さい密度の測定点が含まれている。第一点群取得部１１１及び第二点群取得部１１２で取得された点群情報は、点群処理部２０に入力される。

【0035】

車載処理装置１０において、第一点群取得部１１１及び第二点群取得部１１２で取得された点群情報を用いて、対象移動可能物体の認識を行ってもよい。しかしながら、第二点群取得部１１２で取得された点群密度は場合によって疎であり、物体認識を実施するのに十分な測定点の数が確保されていない場合がある。例えば、十分な測定点の数が確保されていない場合、対象移動可能物体が複数の物体に分割されて認識される、あるいは物体として認識されない等の問題が生じてしまう。対象移動可能物体が正しく認識されてない場合においては、相互の意思疎通を図ることが困難となり、協調自動運転の実現が不可能となる。

【0036】

このため、ここでの実施形態においては、既に多くの公知技術が存在する点群情報を活用した物体認識技術を用いることを前提として、一度取得された点群を記憶し、取得点群情報に点群欠落領域が存在する場合においては、記憶した点群（記憶点群）と取得点群から密な点群情報を生成することで対象物体を安定的に検知する。

【0037】

移動体情報は、信号受付部２等から得られる自車に関する情報である。例えば、移動体情報として、衛星測位により得られる自車の現在位置情報、デッドレコニングにより得られる自車の移動量情報、自車の走行速度、慣性計測装置の測定結果、自車の物体種別などが挙げられる。

【0038】

点群処理部２０は、第一点群取得部１１１及び第二点群取得部１１２で得られた点群情報を処理し、自車周辺の物体を認識する。点群処理部２０には、移動体情報も入力される。点群処理部２０は、点群欠落領域推定部２１、点群記憶部２２、点群マッチング部２３、第三点群生成部２４、及び物体認識部２５を備える。

【0039】

点群欠落領域推定部２１は、第一点群取得部１１１及び第二点群取得部１１２で得られた点群情報が移動可能物体のものかを判別し、移動可能物体のものである場合はその点群情報に欠落領域（以下「点群欠落領域」と呼ぶ）が存在するかを判断する。点群欠落領域とは、車両周辺の物体において取得された点群に含まれる測定点が所定の条件を満たしていない領域のことである。取得点群の測定点が、高精度の物体認識のための所定の条件を満たしているかどうかは、測定点の密度、又は、取得点群と比較対象の点群（後述する記憶点群又は参照点群）との類似度で判断される。

【0040】

本実施形態では、点群欠落領域推定部２１は、車両周辺の移動可能物体において取得点群の測定点の密度が閾値以下となる点群欠落領域を推定し、推定結果を欠落情報として点群記憶部２２及び点群マッチング部２３へ出力する。ここで、点群欠落領域推定部２１は、第一点群取得部１１１により取得された点群と第二点群取得部１１２により取得された点群の双方に対して点群欠落領域を推定する。なお、点群欠落領域推定部２１は、第一点群取得部１１１及び第二点群取得部１１２で得られた点群情報を点群記憶部２２へ出力する構成としてもよい。

【0041】

ここで、点群欠落領域推定部２１は、移動可能物体の物体種別を事前に理解した前提で点群欠落領域有無の判断を実施するものとする。すなわち、点群処理部２０（物体認識部２５）では、新たな移動可能物体の点群情報が得られたときにはその都度、物体種別を判定するようにしている。上述した移動体情報に、移動可能物体の物体種別の情報が含まれていてもよい。事前に移動可能物体の物体種別を把握していることで、点群欠落領域有無の判断の精度が上がる。

【0042】

点群記憶部２２は、点群欠落領域推定部２１で判断された点群情報の欠落領域有無に応じて、第一点群取得部１１１から得られた第一点群を記憶するか決定する。ただし、第二点群取得部１１２で得られる第二点群の密度が所定値よりも高い場合には、第一点群と同様に、第二点群取得部１１２から得られた第二点群を点群記憶部２２に記憶してもよい。

【0043】

点群記憶部２２に点群を記憶する場合は、物体認識サイクルにおける前周期と現周期で対象移動可能物体が同一のものか判断した後、過去（前周期）に取得された記憶点群に対して直近（現周期）の点群を用いて記憶点群を更新する。なお、新規に移動可能物体が認識された場合においては、新たに認識された移動可能物体の記憶点群を生成する。

【0044】

点群マッチング部２３は、点群欠落領域推定部２１で取得された点群情報についての欠落領域に基づいて、第一点群取得部１１１又は第二点群取得部１１２で取得された点群と、記憶点群とのマッチングを実施する。そして、点群マッチング部２３は、取得点群が記憶点群のどの領域又は位置に該当するか（以下「マッチング箇所」とも呼ぶ）を判断する。マッチングを行う際は、点群に含まれる測定点の３次元位置情報のみならず、点群情報に含まれている輝度情報も活用するとよい。または、点群情報に色情報が含まれている場合は色情報を活用してもよい。

【0045】

第三点群生成部２４は、点群記憶部２２の記憶点群と、点群マッチング部２３から出力されるマッチング箇所の情報とを用いて、マッチング箇所に対して少なくとも対象移動可能物体のマッチングに用いている点群情報よりも密な点群情報を生成する。この際、マッチング箇所に対して新規に点群情報を生成するのではなく、情報が欠落している箇所を過去の取得点群に基づく記憶点群を用いて補完し密な点群情報を生成してもよい。ここで、「第一取得点群」は、第一点群取得部１１１で取得した点群である。同様に、第二点群取得部１１２で取得した点群を「第二取得点群」と呼ぶ。

【0046】

物体認識部２５は、第三点群生成部２４で生成された、欠落情報を含んだ点群よりも高い密度の点群（第三点群）に基づいて物体認識を行う。この際、物体認識部２５は、対象移動可能物体の物体種別のみならず移動速度（推定速度ベクトル）なども検知し、物体追跡も実施するものとする。この移動速度には、位置変化及び姿勢変化の情報も含まれる。姿勢変化は、例えば、自車周辺の物体に対する相対角、又は外界上での絶対角の変化である。

【0047】

［物体認識処理］
次に、自動運転車両と対向車両がすれ違いを実施する環境において、図３に示す車載処理装置１０の動作に関して図４～図１１を用いて説明する。

【0048】

図３は、車載処理装置１０の物体認識処理の手順例を示すフローチャートである。まず、車載処理装置１０は、物体認識部２５の直近（例えば前周期）の出力結果（例えば、物体種別、推定速度ベクトルなど）に基づいて、センシング範囲内に移動可能物体が存在するか否かを判定する（Ｓ３１）。そして、移動可能物体が存在する場合（Ｓ３１のＹＥＳ判定）は、ステップＳ３２へ進む。一方、移動可能物体が存在しない場合（Ｓ３１のＮＯ判定）は、物体認識処理を終了する。移動可能物体とは、移動機能を有する物体であり、例えば、自動車、自動二輪車、自転車、歩行者などである。よって、移動可能物体には、停止状態にある移動可能物体も含まれる。

【0049】

なお、新規に点群が取得された物体においては物体認識結果がないことから、ステップＳ３９の物体認識だけを実施し、次周期からステップＳ３１の物体認識の対象が移動可能物体であるか判断を行う。また、ステップＳ３１の判定処理を省略して検知された全ての物体を物体認識処理の対象とする構成としてもよい。

【0050】

図４に、自動運転車両４１と対向車両４２がすれ違いを実施する環境の一例を示す。自動運転車両４１は、図１の自動運転車両１に相当する。例えば、図４に示すような狭路でのすれ違いを実施する場合においては、対向車両４２が存在するのでステップＳ３２の処理へ進む。ここで、狭路とは、生活道路において自車線と対向車線の区別がなく、かつ単線において移動方向が異なる車両が混在する環境を想定する。例えば、図４では、自動運転車両４１が左から右へ向かう方向へ、対向車両４２が右から左へ向かう方向へ進行する一例が示されている。なお、道路上の広くなっている領域４３は退避路とする。

【0051】

ステップＳ３１でＹＥＳ判定の場合、第一点群取得部１１１は第一点群の取得処理を実施し（Ｓ３２）、第一点群を取得後にステップＳ３３へ進む。次いで、第二点群取得部１１２は第二点群の取得処理を実施し（Ｓ３３）、ステップＳ３４へ進む。実際には、ステップＳ３２とステップＳ３３の処理は並行して実施されると考えてよい。

【0052】

図５に、自動運転車両４１に搭載されている外界センサ（センサ３）の検知可能領域の一例を示す。例えば、図５に示すように、前方領域５１の情報は第一点群取得部１１１で取得され、側方領域５２の情報は第二点群取得部１１２で取得されるものとする。また、第一点群取得部１１１において前方領域５１から取得される点群は、第二点群取得部１１２において側方領域５２で取得される点群と比較して密な点群であるとする。一般に、密な点群からは、疎な点群よりも高精度な情報が得られる。

【0053】

次いで、点群処理部２０は、対象移動可能物体から第一点群を取得可能かどうか判定する（Ｓ３４）。そして、点群処理部２０は、第一点群を取得可能な場合（Ｓ３４のＹＥＳ判定）はステップＳ３５へ進む。一方、第一点群を取得できない場合（Ｓ３４のＮＯ判定）、すなわち対象移動可能物体が前方領域５１に存在しない場合にはステップＳ３６へ進む。

【0054】

図６は、自動運転車両４１のすれ違い行動において初期行動時における外界センサのセンシング結果の一例を示す図である。
図７は、自動運転車両４１が対向車両４２とすれ違い行動を実施するために退避路に移動した際の、外界センサのセンシング結果の一例を示す図である。
例えば、図６に示すように、対向車両４２が自動運転車両４１の前方にいる場合においては、対向車両４２の前面を中心に第一取得点群６１が得られる。一方、図７に示すように、対向車両４２が自動運転車両４１の側方にいる場合においては、前方領域５１に対向車両４２が存在しないことにより第一点群が取得されない。

【0055】

ステップＳ３４でＹＥＳ判定の場合、点群記憶部２２は、第一点群取得部１１１により取得された点群を逐次的に記憶（Ｓ３５）した後に、ステップＳ３９の物体認識に移行する。例えば、図６に示すように、外界センサが対向車両４２を検知し第一取得点群６１が逐次得られた場合、点群記憶部２２は最新の第一取得点群６１を記憶していく。これにより、点群記憶部２２に、対向車両４２の最新の点群情報が記憶点群として保持される。

【0056】

また、点群記憶部２２に記憶されている第一取得点群６１を最新の点群情報で更新するのではなく、過去に対向車両４２から得られた点群情報に新たに取得した第一取得点群６１を追加することで、記憶点群を逐次的に更新してもよい。この際、新たな第一取得点群６１に内包されている点が既に記憶点群に存在する場合は、該当する点を追加するのではなく、棄却する。例えば、自動運転車両４１と対向車両４２が停止しているような場合は、新たな第一取得点群６１に内包されている点が既に記憶点群に全て存在するため、第一取得点群６１を棄却することができる。

【0057】

なお、記憶点群の各点が３次元位置情報のみならず輝度値を含む場合は、第一取得点群６１に内包されている点が既に記憶点群に存在する場合においても、第一取得点群６１の各点の輝度値情報を棄却することなく記憶点群の情報を更新するとよい。これにより、点群マッチング部２３において３次元位置情報だけでなく輝度値情報も含めてマッチング処理を実施することで、マッチングの精度が向上する。

【0058】

これは外界センサから取得される点群が外乱光の影響を受け、自動運転車両４１と対向車両４２の位置関係によっては新たに取得する点群の輝度値が変化して、記憶点群の輝度値と異なってしまうことを防止するためである。これにより、対向車両４２の特徴的なパーツ（ボディ、ホイール、車両内の座席シートなど）を輝度値に基づいて分類したときの精度が向上する。その意味では、自動運転車両４１と対向車両４２が動いている場合であって、かつ第一取得点群６１と記憶点群の各々の点が対応している場合であっても、新しい点群の情報を記憶するとよい。

【0059】

ステップＳ３４でＮＯ判定の場合、点群欠落領域推定部２１は、第二点群取得部１１２により取得された点群（第二取得点群）に欠落情報が存在するか否かを判定し（Ｓ３６）、欠落情報がある場合（Ｓ３６のＹＥＳ判定）はステップＳ３７に進む。第二取得点群に欠落情報がない場合（Ｓ３６のＮＯ判定）はステップＳ３９の物体認識に進む。

【0060】

第二取得点群に欠落情報が存在することを確認する方法として、点群密度によって判断する方法がある。例えば、図７に示すように、第二点群取得部１１２において第二取得点群７１として、対向車両４２の前面１点及び側面１点の計２点しか取得できていない場合を想定する。この場合、欠落情報有無の判定のための点群密度の閾値を所定面積当たり１０点とすると、２点では点群密度が閾値以下であるので、欠落情報が存在すると判断することができる。この点群密度は、搭載された外界センサの性能によるところが支配的ではあるが、自動運転車両４１と対向車両４２の位置関係によっても変化することがある。

【0061】

図８は、自動運転車両と対向車両の横方向間隔が極めて狭い場合における外界センサのセンシング結果の一例を示す図である。例えば、図８に示すように、自動運転車両４１と対向車両４２の横方向間隔が極めて近い場合には、対向車両４２に対して広範囲にセンシングすることが困難であり、第二取得点群８１は対向車両４２側方の特定の領域のみの点群情報となる。このような状況では、所定空間（例えば１ｍ^３）内において複数の測定点を内包しているボクセルの数が少なくなるため、欠落情報が存在すると判断することも可能である。

【0062】

さらに、欠落情報が存在することを確認する他の方法として、移動可能物体の種別に基づいた参照点群を用いる方法も挙げられる。例えば、物体認識部２５（図２）で対向車両４２が正しく車両と認識されている場合においては、車載処理装置１０が所有しているデータベースから車両の参照点群の情報を引き出し、対向車両４２の第二取得点群と比較する。

【0063】

参照点群は、物体種別を表す特徴的な形状を内包した点群とする。例えば、車両の場合においては、ボディ、ホイール、ルーフ、ドアミラーなど車両を表現するときに必要となる情報を参照点群内に内包するものとする。第二取得点群で、参照点群に類似する点群が取得されていない場合においては、欠落情報が存在すると判定する。例えば、第二取得点群と参照点群に含まれる各測定点の信号レベル（輝度値など）及び位置との差分が所定値よりも小さい場合には、第二取得点群の一部又は全部が参照点群に類似していると判断することができる。つまり、参照点群を用いる場合、点群欠落領域は、取得点群に含まれる測定点と、物体の種別に応じて設定されている参照点群との類似度が閾値以下となる領域である。このように、点群欠落領域推定部２１は、移動可能物体の点群の測定点と物体種別による参照点群を比較することで、点群欠落部分を推定してもよい。

【0064】

なお、参照点群は物体種別の一般的な特徴を示すものであることから、参照点群は点群に欠落情報が存在するか確認する際にのみ使用される。すなわち、参照点群は、点群マッチング部２３における該当箇所マッチングや、第三点群生成部２４における第三点群生成には使用されないものとする。

【0065】

ステップＳ３６の処理後、点群マッチング部２３は、第二点群取得部１１２で取得された点群がマッチングする箇所が記憶点群に存在するかどうかを確認して（Ｓ３７）、ステップＳ３８に進む。ここでは、ＩＣＰ（Iterative Closest Point）やＮＤＴ（Normal Distribution Transform）などの一般的な点群マッチング手法を用いてマッチング箇所を演算する。

【0066】

一般的な点群マッチング手法においては、前周期の時点で認識した点群の位置（初期位置）を自車が移動した距離に基づいて決定する。記憶点群とのマッチングに用いる初期位置算出方法は、対向車両４２の移動状態に基づいて変更する。例えば、対向車両４２が自動運転車両４１の側方に来てから停止している場合においては、記憶点群の更新が停止した時からの移動量、すなわち第一点群取得部１１１から点群が取得できなくなる直前の位置からの移動量と、第一点群取得部１１１と第二点群取得部１１２間の位置関係を用いて第二取得点群の初期位置を決定する。

【0067】

第一点群取得部１１１と第二点群取得部１１２間の位置関係とは、第一点群取得部１１１と第二点群取得部１１２の距離、及び第一点群取得部１１１と第二点群取得部１１２との相対的な角度である。自動運転車両４１の移動量を計算する方法は、デッドレコニングに基づく計算や衛星測位を用いた手法などが考えられ、その方法は問わない。

【0068】

また、対向車両４２が自動運転車両４１の側方を移動している場合においては、記憶点群の更新が停止した時からの自動運転車両４１の移動量及び対向車両４２の移動量を用いて対向車両４２の初期位置を決定する。記憶点群（記憶点群が第一点群で構成されていると想定）の更新が停止する状況として、対向車両４２が停止したとき、又は対向車両４２が完全に自動運転車両４１の側方に位置したときである。対向車両４２の移動量は物体認識部２５が出力した推定速度ベクトルを用いることで算出することが可能となる。すなわち、前周期から現周期の間で点群上での推定速度ベクトルを算出し、それを基に対向車両４２の実際の移動量を計算できる。

【0069】

図９は、第二取得点群と記憶点群のマッチングに関する一例を示す図である。図９に示すように、対向車両４２の第二取得点群９１（中間階調で表現した６点）の点数が少ない場合や特徴が少ない場合においてはマッチングが困難となる。

【0070】

例えば、図９において、対向車両４２のボディに関する点群として、第二取得点群９１（６点）しか取得されていない場合を想定する。この場合、対向車両４２の側面において前後方向に第二取得点群９１を移動させても、記憶点群９２（白丸で表現した複数の点）とマッチングする箇所が複数候補検出される恐れがある。マッチング箇所が複数候補ある場合においては、自動運転車両４１及び対向車両４２が相対的に移動した後の位置を用いるのではなく、初期位置をそのまま使用してもよい。

【0071】

さらに、点群のマッチング手法として点単体のマッチングではなく、点群の輝度値が所定の範囲内に収まる点をクラスタリングし、クラスタ同士を比較する手法もある。点群マッチング部２３は、点群欠落領域において点群クラスタ毎に記憶点群と、第二点群とをマッチングする。

【0072】

図１０は、第二取得点群と記憶点群のマッチングに関する他の例を示す図である。例えば、図１０に示すように、対向車両４２から得た第二取得点群を、クラスタ１０１（中間階調で表現した２点）と、クラスタ１０２（中間階調で表現した２点）に分割することが可能である。クラスタ１０１は対向車両４２のボディから得られた点群、クラスタ１０２は対向車両４２のホイールから得られた点群とする。記憶点群（ここでは図９の記憶点群９２）に対しても輝度値によるクラスタリングを実施することで、対向車両４２のボディから得られたクラスタ１０３、同じくホイールから得られたクラスタ１０４に分類することが可能となる。つまり、クラスタでは、物体の特徴的な形状を示す情報（例えば、輝度値に基づく車両の部位や部品）と、点群とが紐づけられる。

【0073】

第二取得点群と記憶点群との間でクラスタ同士を比較することにより、ボディに関するクラスタ１０１とクラスタ１０３が、ホイールに関するクラスタ１０２とクラスタ１０４がそれぞれ対応づけられる。それらのクラスタの点群を用いて、第二取得点群と記憶点群のマッチング箇所の算出が可能となる。

【0074】

また、点群マッチング部２３は、第二点群の点群欠落領域において鉛直方向に設定されたブロック（測定点の列）毎に、記憶された第一点群と第二点群とをマッチングするようにしてもよい。物体の鉛直方向では輝度の変化が比較的少なく、水平方向は輝度の変化が出やすい。そのため、上記マッチング手法により、マッチング精度を一定レベル以上に維持することができる。

【0075】

なお、ステップＳ３６の欠落情報有無の判定とステップＳ３７の該当箇所マッチングを合わせて一つの処理としてもよい。すなわち、点群欠落領域推定部２１が、第二取得点群と記憶点群を比較し、欠落情報が存在するか確認してもよい。

【0076】

例えば、自動運転車両４１（自車）は、対向車両４２との位置関係が図６に示した状態から図７に示した状態に遷移するにあたり、前方領域５１において対向車両４２の前面から右側面の点群を取得している。よって、車両側面に関して図９に示すような記憶点群９２が記憶されていることとなる。これにより記憶点群９２内には、対向車両４２を表現するのに十分な点が内包されていると考えられる。第二取得点群９１と記憶点群９２をマッチングさせ、特定の領域内の点群が不足している場合には欠落情報があると判定する。例えば、図９においては、第二取得点群９１内に対向車両４２のホイールに関する点群情報が存在しないことから、点群情報が欠落していると判定することが可能である。

【0077】

ステップＳ３７の処理後、第三点群生成部２４は、第二取得点群と記憶点群とのマッチング箇所（点群欠落領域）に応じて第三点群を生成し（Ｓ３８）、ステップＳ３９に進む。例えば、図９に示すように、第二取得点群９１には対向車両４２のホイールやルーフに関する点群情報が欠落している。もし、第二取得点群の点群欠落領域が記憶点群９２のホイールやルーフに関する領域ならば、記憶点群９２のホイールやルーフに関する点群を第二取得点群９１の点群欠落領域に適用（復元）し、その周期で得られる対向車両４２全体の密な第三点群として生成する。

【0078】

また、第三点群生成部２４は、記憶点群を用いて第二取得点群を構成する各点の間（点群欠落領域）を補完し、第三点群として生成してもよい。例えば、図９において、第二取得点群９１は、対向車両４２の前方（２個）、中央（２個）、後方（２個）の３箇所のみで点群が取得されている。このため、対向車両４２のボディの前方寄り（すなわち前方と中央の間）、及び後方寄り（すなわち中央と後方の間）の領域に、記憶点群９２を用いて点群を補完することで密な点群を生成する。補完は、第二取得点群を構成する各測定点の間を記憶点群の対応する測定点で埋めることで、第二取得点群を密な点群にするという考え方である。密な点群の生成に記憶点群を用いることから、上記補完は、広い意味では復元の一形態とも言える。

【0079】

ステップＳ３８の処理後、物体認識部２５は、第一点群取得部１１１で取得された第一点群、点群記憶部２２の記憶点群、又は第三点群生成部２４で生成された第三点群のいずれかを用いて物体認識を行い（Ｓ３９）、処理を終了する。点群を用いた物体認識手法に関しては、ルールベース、ディープラーニングによるものなど多岐に渡り存在するが、その手法は問わない。物体認識部２５は、物体認識により物体種別を判別する。また、物体認識部２５は、各時刻で検知された移動可能物体の情報を時系列的に扱うことで移動可能物体の追跡も実施し、推定速度（推定速度ベクトル）などを算出する。

【0080】

第一点群取得部１１１で点群の取得が可能な場合においては、物体認識部２５は、第一取得点群又は記憶点群を用いて物体認識を行う。この際、第一取得点群の密度が高くない場合、例えば対向車両４２が自動運転車両４１の前側方（斜め前）に位置している場合は、記憶点群を活用した物体認識を実施するものとする。これにより、第一点群取得部１１１で取得された点群に基づく、密な点群を用いて高精度な物体認識が可能となる。

【0081】

また、第一点群取得部１１１で点群が取得できない場合においては、物体認識部２５は、第二取得点群の点群欠落領域に基づいて生成された第三点群を用いて物体認識を実施する。

【0082】

物体認識で得られた物体種別情報や推定速度情報などは、次周期の処理の際に使用される。具体的にはステップＳ３１において、上記の物体種別情報及び推定速度情報が使用される。これにより、図７に示すように、対向車両４２が自動運転車両４１の側方を通過している際も対向車両４２の密な点群が継続して取得可能となり、対向車両４２を見失うこことなく安定的に検知することが可能となる。そして、すれ違いが終了するまで対向車両４２を安定的に検知することで、自動運転車両４１が退避路で長時間待機している事象や、自動運転車両４１が対向車両４２の方に走行し始める事象が発生しなくなる。それゆえ、自動運転車両４１において、安全で効率的な協調自動運転が実現される。

【0083】

ここで、自動運転車両４１と対向車両４２がすれ違いを終了した場合には、対向車両４２の記憶点群を破棄するとよい。これにより、必要のない点群情報を点群記憶部２２から削除でき、車載処理装置１０のメモリ１３の記憶容量を余分に消費することがなくなる。例えば、自動運転車両４１の側方領域５２において対向車両４２の第二取得点群を取得できなくなったことをもって、対向車両４２とのすれ違いが終了したことを検知することが可能である。

【0084】

ここで、道路幅が狭いなどの理由によって、対向車両４２が一度接近してから後退移動する状況について図１１を用いて説明する。
図１１は、対向車両４２が後退移動する例を示す図である。図１１に示すように、対向車両４２が一度自動運転車両４１の側方（図１１では側方付近Ｐ１）に来た後に後退した場合においては、物体認識部２５は、記憶点群を活用した第三点群による物体認識から第一取得点群を活用した物体認識に切り替わる。いずれの点群情報を活用した場合においても、点群情報が密であることから、円滑にすれ違いできないときでも対向車両４２を見失うことはなく、安定的に対向車両４２を追跡することが可能となる。

【0085】

以上のとおり、第１の実施形態に係る車載処理装置（車載処理装置１０）は、車両に搭載された外界センサ（センサ３ａ～３ｎ）によって第一の外界領域（例えば前方領域５１）において計測された第一点群を取得する第一点群取得部（第一点群取得部１１１）と、外界センサ又は該外界センサと異なる外界センサによって第一の外界領域と異なる領域を含む第二の外界領域（例えば側方領域５２）において計測された第二点群を取得する第二点群取得部（第二点群取得部１１２）と、第一点群及び第二点群を処理する点群処理部（点群処理部２０）と、を備える。
上記点群処理部は、第一点群を記憶する点群記憶部（点群記憶部２２）と、車両周辺の物体において取得された点群に含まれる測定点が所定の条件を満たしていない領域である点群欠落領域を推定する点群欠落領域推定部（点群欠落領域推定部２１）と、点群欠落領域において、記憶された第一点群と第二点群取得部により取得された第二点群とをマッチングする点群マッチング部（点群マッチング部２３）と、該点群マッチング部によりマッチングされた第一点群と第二点群を用いて、第三点群を生成する第三点群生成部（第三点群生成部２４）と、第三点群を用いて物体を認識する物体認識部（物体認識部２５）と、を有する。

【0086】

このように構成された第１の実施形態に係る車載処理装置を活用することで、外界センサから得られる物体（移動可能物体）の点群情報に点群の欠落領域がある場合においても、欠落領域の情報を基に、取得点群と記憶点群を用いて密な点群（第三点群）を生成して物体認識を行う。このため、本実施形態では、少なくとも自動運転車両周辺の移動可能物体を高精度に認識することができる。例えば、対象移動可能物体の種別の判別、対象移動可能物体の位置及び姿勢の計算を、高精度に行える。

【0087】

また、本実施形態では、欠落領域の情報を基に、取得点群と記憶点群を用いて密な点群（第三点群）を生成して物体認識を行うため、安定的な物体認識が可能である。例えば、前方領域の情報を取得する外界センサと側方領域の情報を取得する外界センサとを備えた自動運転車両が対向車両とすれ違う場合などにおいて、外界センサごとに取得点群の測定点の密度にばらつきがあっても、第三点群を生成して物体認識することで、対向車両を見失うことなく安定的かつ高精度に検知することができる。それにより、本実施形態では、自動運転車両において、協調自動運転の一例であるすれ違い行動を実現することが可能となる。

【0088】

また、本実施形態では、欠落領域の情報を基に、取得点群と記憶点群を用いて密な点群（第三点群）を生成するので、過去の点群情報に新規の点群情報を逐次的に追加する場合と比べて、対象移動可能物体の点群に関する情報量の増大を抑えられる。

【0089】

上述した本実施形態に係る車載処理装置においては、上記第一の外界領域は、車両の前方の外界情報を取得する外界センサの検知領域（前方領域５１）であり、上記第二の外界領域は、車両の側方の外界情報を取得する外界センサの検知領域（側方領域５２）である。

【0090】

一般的に、車両の前方の外界情報を取得する外界センサの取得点群の測定点の密度は高く、車両の側方の外界情報を取得する外界センサの取得点群の測定点の密度は、前方用の外界センサのものよりも低い。したがって、第一の外界領域及び第二の外界領域を上記のように設定することで、本実施形態に係る車載処理装置を実際の車両に適用した場合に好適である。

【0091】

＜第２の実施形態＞
第２の実施形態として、自動運転車両が左折を実施する際の車載処理装置の動作に関して図１２～図１３を用いて説明する。第２の実施形態においては、自動運転車両が歩行者の動きと協調し、自動運転を実施することを想定する。

【0092】

図１２は、第２の実施形態において自動運転車両４１が交差点に進入した際の一例を示す図である。図１３は、第２の実施形態において自動運転車両４１が進入した交差点の道路を歩行者１２０が横断している際の一例を示す図である。第１の実施形態と同様に、図３に示したステップＳ３１～Ｓ３９の処理が図１２及び図１３に示すような環境を対象に実施される。

【0093】

図１２においては、自動運転車両４１が交差点において左折の実施を試みる。この際、前方領域５１に歩行者１２０が入るため、ステップＳ３１において車載処理装置１０は認識対象が移動可能物体だと判断される。

【0094】

歩行者１２０が道路横断（奥側から手間側に向かう方向）を開始してから数秒間は前方領域５１内にいることから、第一点群取得部１１１で点群が取得可能となる。このことから、ステップＳ３５が実施され点群記憶部２２に歩行者１２０の点群が記憶されていく。

【0095】

図１２に示すように、歩行者が道路を横断するとき自動運転車両４１の左折動作が進むと、歩行者１２０が自動運転車両４１の前方右側にいる。このとき、歩行者１２０から取得した点群が点群記憶部２２に記憶可能となるが、自動運転車両４１の前方左側にいる場合においても、同様の動作が期待できる。

【0096】

例えば、自動運転車両４１が交差点に接近している段階においては、歩行者１２０が前方領域５１内に存在することにより、歩行者１２０の点群が記憶可能となる。第一点群取得部１１１により点群が取得されている間は、第一取得点群又は記憶点群を活用して物体認識及び物体追跡を継続することで安定的に歩行者１２０を検知可能となる。

【0097】

図１３に示すように、歩行者１２０が道路横断を終えようとしている場合においては、歩行者１２０は前方領域５１内におらず、左側の側方領域５２に移動している。これにより、第一点群が取得不可となり、ステップＳ３６において点群欠落領域推定部２１は第二取得点群に欠落情報があるか判断を行う。欠落情報の有無によって、ステップＳ３７～Ｓ３９が実施される。

【0098】

歩行者１２０は車両と比較して表面積が小さいことから、第二点群取得部１１２において取得する測定点の点数が著しく少ない可能性がある。このことを考慮して、移動可能物体の種別に応じて点群マッチングを実施する際の、マッチング許容誤差の閾値を変更してもよい。つまり、物体の種別として表面積が小さい物体の場合、測定点の点数が少なくマッチング精度が変動しやすいと考えられるため、マッチング許容誤差の閾値をあまくする方向に設定する。例えば、車両の場合はマッチング許容誤差を１５％、歩行者の場合はマッチング許容誤差を３０％などと設定する。

【0099】

また、場合によっては、第二点群取得部１１２においても歩行者１２０の点群が取得されない可能性も存在する。歩行者１２０の点群が取得されない場合においては、ステップＳ３７のマッチングは実施できないため、物体認識部２５から出力された推定速度ベクトルと記憶点群から第三点群を生成する。すなわち、記憶点群に推定速度ベクトルを加味して第三点群を推測する。

【0100】

（左折時及び右折時の車両認識）
図１２及び図１３を用いて、交差点において歩行者が道路を横断時の車載処理装置１０の動作例を説明したが、交差点左折時におけるバイクや自転車などの二輪車巻き込み防止にも有用であると考えられる。

【0101】

例えば、車載処理装置１０は、自動運転車両の前方を走行している自動二輪車を検知したら、第一点群取得部１１１により得られた点群を記憶し始める。自動運転車両が自動二輪車を追い越す際には、自動二輪車が自動運転車両の側方に存在することとなる。この際、第二点群取得部１１２により得られた点群情報に欠落情報がある場合も考えられる。第二取得点群に欠落情報がある場合は、ステップＳ３８において第三点群を生成することにより安定的な物体認識が実現され、自動運転車両が無理な操舵を行うことを低減することができる。同様に、交差点右折時において、対向車両を安定的に検知することが可能となる。

【0102】

（死角領域が発生した場合の物体認識）
また、交差点などにおいては複数車両が混在して走行することにより、第一点群取得部１１１で取得した点群においても死角領域が発生する可能性がある。このようなことを考慮して、第二取得点群のみならず第一取得点群に欠落情報があるか判定してもよい。

【0103】

第一取得点群に欠落情報がある場合は、第二取得点群に欠落情報があった場合と同様の処理を実施し、第三点群を生成することで安定した物体認識を実現可能とする。すなわち、ある時点から混雑による重なり等のために第一取得点群に欠落情報が存在するようになることがあり、このような場合に、欠落情報とそれまで該当外界センサで得られていた記憶点群（第一点群）とを利用して第三点群を作成する。

【0104】

このように、第２の実施形態において示したような状況であっても、すなわち、外界センサから得られる移動可能物体の点群情報に点群の欠落領域がある場合においても、第１の実施形態（すれ違い行動）と同様に、欠落領域の情報を基に、取得点群と記憶点群を用いて密な点群（第三点群）を生成して物体認識を行うことが可能である。したがって、密な点群情報を取得できない状況においても、第三点群を用いて移動可能物体を安定的に検知することが可能となり、安全性を担保した自動運転が実現可能となる。

【0105】

＜第３の実施形態＞
第３の実施形態として、自動運転車両が高速道路の本線へ合流を実施する環境において車載処理装置の構成及び動作に関して、図１４～図１７を用いて説明する。なお、本実施形態では、高速道路の本線への合流を例に挙げているが、高速道路の本線や一般道路での車線変更についても同様である。例えば、車線変更としては、走行車線から追い越し車線への変更、又は、その逆の車線変更もある。

【0106】

［車載処理装置の構成］
図１４は、第３の実施形態に係る車載処理装置１０Ａの構成例を示す図である。車載処理装置１０Ａが、第１の実施形態に係る車載処理装置１０（図２）と異なる点は、車載処理装置１０Ａの点群処理部２０Ａが、点群記憶部２２の代わりに通信部１４０を有することである。通信部１４０は、点群欠落領域推定部２１と第三点群生成部２４の間、かつ点群欠落領域推定部２１と点群マッチング部２３の間に設けられる。

【0107】

車載処理装置１０Ａにおいてコンピュータシステムのハードウェアが、情報処理プログラムを実行することにより、点群処理部２０Ａの各機能（点群欠落領域推定部２１、通信部１４０、点群マッチング部２３、第三点群生成部２４、物体認識部２５）が実現する。

【0108】

通信部１４０は、外部装置５（図１）の一例であるサーバと無線で通信を行い、サーバから物体種別に応じた参照点群を取得して点群マッチング部２３及び第三点群生成部２４へ出力する。

【0109】

［物体認識処理］
図１５は、車載処理装置１０Ａの物体認識処理の手順例を示すフローチャートである。
図１６は、自動運転車両４１が高速道路の本線１６６を走行する複数の周辺車両と協調し合流を実施する環境の一例を示す図である。
例えば、図１６に示すような高速道路における合流を実施する場合においては、自動運転車両４１は、後方車両１６２と前方車両１６１の間に入るよう加速車線１６５から本線１６６への車線変更を実施する。第１の実施形態及び第２の実施形態においては、対象の移動可能物体が１つであったが、合流の場合においては、協調行動を２以上の移動可能物体に対して実施しなければならないケースがある。

【0110】

まず、車載処理装置１０Ａは、物体認識部２５の直近（例えば前周期）の出力結果（例えば、物体種別、推定速度ベクトルなど）に基づいて、自動運転車両４１のセンシング範囲内に移動可能物体が存在するか否かを判定する（Ｓ１５１）。ここでは、自動運転車両４１周辺の物体全てに対して移動可能物体か否かを判定する。そして、移動可能物体が１つ以上存在する場合（Ｓ１５１のＹＥＳ判定）には、ステップＳ１５２に進む。一方、自車周辺に移動可能物体が存在しない場合（Ｓ１５１のＮＯ判定）には、物体認識処理を終了する。

【0111】

ステップＳ１５１でＹＥＳ判定の場合、第一点群取得部１１１は第一点群の取得処理を実施し（Ｓ１５２）、ステップＳ１５３へ進む。次いで、第二点群取得部１１２は第二点群の取得処理を実施し（Ｓ１５３）、ステップＳ１５４へ進む。実際には、ステップＳ１５２とステップＳ１５３の処理は並行して実施されると考えてよい。

【0112】

次いで、点群処理部２０Ａは、各移動可能物体（図１６では後方車両１６２と前方車両１６１）から第一点群を取得可能かどうか判定する（Ｓ１５４）。つまり、点群処理部２０Ａは、各移動可能物体について第一取得点群が存在するか判定する。そして、点群処理部２０Ａは、各移動可能物体から第一点群を取得可能な場合（Ｓ１５４のＹＥＳ判定）はステップＳ１５８へ進む。一方、各移動可能物体から第一点群を取得できない場合（Ｓ１５４のＮＯ判定）、すなわち各移動可能物体が前方領域５１に存在しない場合にはステップＳ１５５へ進む。ここでは、第一点群を取得できない移動可能物体が一つでもあればステップＳ１５５へ進む。

【0113】

例えば、図１６に示す例では、自動運転車両４１と並行する後方車両１６２が第二取得点群の対象となり、前方車両１６１が第一取得点群の対象となる。本線１６６に後方車両１６２が存在する状況で合流を実施する際には、自動運転車両４１の側方に位置する後方車両１６２の密な点群を取得することが困難であり、記憶点群を作成することも困難である。

【0114】

ステップＳ１５４でＮＯ判定の場合、点群欠落領域推定部２１は、第二点群取得部１１２により取得された点群（第二取得点群）に欠落情報が存在するか否かを判定し（Ｓ１５５）、第二取得点群に欠落情報がある場合（Ｓ１５５のＹＥＳ判定）はステップＳ１５６に進む。第二取得点群に欠落情報がない場合（Ｓ１５５のＮＯ判定）はステップＳ１５８の物体認識に進む。欠落情報の有無は、第１の実施形態と同様に、第二取得点群の点群密度から判断することができる。あるいは、欠落情報を確認するための参照点群を用いて、欠落情報の有無を判断してもよい。

【0115】

ステップＳ１５５でＹＥＳ判定の場合、通信部１４０が外部のサーバと通信を行い、欠落情報が存在する第二取得点群に対応する移動可能物体の参照点群を取得する（Ｓ１５６）。例えば、図１６に示す場合においては、高速道路における本線１６６への合流であることから、移動可能物体が一般車両、トラック、バス、バイクのいずれかであることが分かる。そのため、サーバから一般車両、トラック、バス、バイクの参照点群を取得する。

【0116】

なお、第二取得点群に欠落情報が存在するか判定するために、ステップＳ１５５及びＳ１５６の処理順序を入れ替えてもよい。予め通信部１４０により参照点群を取得し、第二取得点群と比較することで欠落情報が存在するか判定可能となる。この際、対象移動可能物体の物体種別が判定できていないため、全ての移動可能物体候補の参照点群と比較を実施する。図１６に示す場合においては、点群欠落領域推定部２１は、第二取得点群を、一般車両、トラック、バス、バイクの全ての参照点群と比較し、欠落情報が存在するか確認する。

【0117】

そして、点群マッチング部２３は、第二点群取得部１１２で取得された点群がマッチングする箇所が参照点群に存在するかどうかを確認する。このマッチング処理は、図３のステップＳ３の処理と同様である。また、点群欠落領域推定部２１において、参照点群を用いて欠落情報の有無を判断する場合にも同様である。

【0118】

点群マッチング部２３又は点群欠落領域推定部２１は、第二取得点群と各移動可能物体の参照点群とを比較した際のマッチング度合いを用いることで、各周期における尤もらしい移動可能物体の物体種別候補を算出してもよい。複数周期において、尤もらしい物体種別候補が同じである場合は、該当物体種別候補を実際の移動可能物体の物体種別に決定する。

【0119】

次いで、第三点群生成部２４は、第二取得点群と参照点群とのマッチング箇所（点群欠落領域）に応じて第三点群を生成し（Ｓ１５７）、ステップＳ１５８へ進む。移動可能物体の物体種別候補が複数存在する場合においては、各移動物体候補の参照点群で共通する特徴を用いて第三点群を生成する。例えば、移動可能物体が一般車両、トラック、バス、バイクのいずれかであることが分かる場合には、ホイールとボディが全ての物体種別候補で共通することにより、ホイールとボディに該当する点群を第二取得点群に追加する。

【0120】

次いで、物体認識部２５は、第一点群取得部１１１で取得された第一点群、又は第三点群生成部２４で生成された第三点群を用いて、自動運転車両４１周辺の物体全てに対して物体認識及び物体追跡を実施し（Ｓ１５８）、処理を終了する。物体認識部２５は、センシング範囲内に存在する全ての移動可能物体に対して物体認識を行う。例えば、図１６に示す場合においては、後方車両１６２に対し第三点群を用いた物体認識、前方車両１６１に対し第一取得点群を用いた物体認識を実施する。

【0121】

［第３の実施形態の変形例］
ここで、第３の実施形態の変形例について図１７を用いて説明する。
図１７は、第３の実施形態において自動運転車両４１と路側外界センサが通信し、本線１６６を走行する周辺車両の密な点群を記憶する動作の一例を示す図である。

【0122】

図１７には、合流部の付近（合流部手前）に設置されている路側外界センサ１７０の点群情報を、自動運転車両４１に搭載した車載処理装置１０Ａの通信部１４０を介して取得する例が示されている。通信部１４０は、路側外界センサ１７０と無線で通信する。ここでは、路側外界センサ１７０で取得する点群の測定点の密度は、第一取得点群の測定点と同等とする。すなわち、路側外界センサ１７０を用いることで、本線１６６を走行する車両の車両全体（少なくとも側面と後面を含む領域）、又は車両側方に関して高い密度の点群情報を得ることができる。

【0123】

路側外界センサ１７０の点群密度は高いことから、図１７に示す環境では、ステップＳ１５５において、第二取得点群を路側外界センサ１７０の点群情報と比較することで、第二取得点群に欠落情報が存在するか確認することが可能となる。また、ステップＳ１５７においては、第二取得点群と路側外界センサ１７０の点群情報を用いることで第三点群を生成する。また、ステップＳ１５８においては、路側外界センサ１７０の点群情報が存在することから、移動可能物体の物体種別を高精度に認識することが可能となる。

【0124】

このように、第３の実施形態において示したような状況であっても、すなわち、外界センサから得られる移動可能物体の点群情報に点群の欠落領域がある場合においても、第１の実施形態（すれ違い行動）と同様に、欠落領域の情報を基に、取得点群と参照点群を用いて密な点群（第三点群）を生成して物体認識を行うことが可能である。本実施形態に係る車載処理装置１０Ａでは、通信部１４０を介して外部から対象移動可能物体の点群情報（参照点群）を取得することで、対象移動可能物体を安定的に認識することが可能となる。それにより、本実施形態では、自動運転車両において、協調自動運転の一例である合流を実現することが可能となる。

【0125】

なお、本発明は上述した実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した実施形態は本発明を分かりやすく説明するためにその構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成要素を備えるものに限定されない。また、ある実施形態の構成の一部を他の実施形態の構成要素に置き換えることが可能である。また、ある実施形態の構成に他の実施形態の構成要素を加えることも可能である。また、各実施形態の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。

【0126】

また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的、あるいは個別に実行される処理（例えば、オブジェクトによる処理）をも含むものである。また、時系列的な処理を記述する処理ステップについては、処理結果に影響を及ぼさない範囲で、処理順序を変更してもよい。

【0127】

また、上述した実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成要素が相互に接続されていると考えてもよい。

【符号の説明】

【0128】

１…自動運転車両、 ３ａ～３ｎ…センサ、 １０，１０Ａ…車載処理装置、 １１…センサ処理部、 ２０，２０Ａ…点群処理部、 ２１…点群欠落領域推定部、 ２２…点群記憶部、 ２３…点群マッチング部、 ２４…第三点群生成部、 ２５…物体認識部、 ４１…自動運転車両、 ４２…対向車両、 ５１…前方領域、 ５２…側方領域、 ９２…記憶点群、 １１１…第一点群取得部、 １１２…第二点群取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】