知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社デンソーの特許一覧 ▶ トヨタ自動車株式会社の特許一覧 ▶ 株式会社ミライズテクノロジーズの特許一覧
特開2024-44234点群データを関連データと関連付ける方法、プログラム、学習データセット、および装置。
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024044234
(43)【公開日】2024-04-02
(54)【発明の名称】点群データを関連データと関連付ける方法、プログラム、学習データセット、および装置。
(51)【国際特許分類】
G01S 17/86 20200101AFI20240326BHJP
G01S 17/931 20200101ALI20240326BHJP
G08G 1/16 20060101ALI20240326BHJP
【ＦＩ】
G01S17/86
G01S17/931
G08G1/16 C
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022149644
(22)【出願日】2022-09-21
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(71)【出願人】
【識別番号】520124752
【氏名又は名称】株式会社ミライズテクノロジーズ
(74)【代理人】
【識別番号】110000028
【氏名又は名称】弁理士法人明成国際特許事務所
(72)【発明者】
【氏名】北山 敦史
(72)【発明者】
【氏名】アナンド ハヤセンス マリオ アルヴィンド
(72)【発明者】
【氏名】シュタウデンマイアー アナ クリスティイナ
【テーマコード（参考）】
5H181
5J084
【Ｆターム（参考）】
5H181AA01
5H181AA21
5H181BB20
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5J084AA04
5J084AA05
5J084AA07
5J084AB01
5J084AB07
5J084AB17
5J084AC02
5J084AD01
5J084AD05
5J084BA03
5J084BA34
5J084BA40
5J084BA50
5J084CA32
5J084CA34
5J084CA65
5J084CA67
5J084CA70
5J084EA04
5J084EA22
(57)【要約】
【課題】センサ同士が非同期で作動する場合において、算出される距離に含まれる誤差を低減することができる技術の提供。
【解決手段】点群データを関連データと関連付ける方法であって、複数組の点群データを用意する工程であってそれぞれ３次元の位置情報と関連付けられた点群の情報を含み、各点群データが取得された時刻と関連付けられている工程と、２以上の点群データのそれぞれについて、点群を分類して１以上のグループを作成し、位置のラベルと移動体であるか否かを表す移動体フラグのラベルとを含むラベルを付与する工程と、移動体オンフラグが付されたグループの位置のラベルに基づいて、グループの移動経路を予測する工程と、移動経路に基づいて、グループを関連データの取得時刻における位置に置き換え、関連データの取得時刻と関連付ける工程とを含む。
【選択図】図３
【解決手段】点群データを関連データと関連付ける方法であって、複数組の点群データを用意する工程であってそれぞれ３次元の位置情報と関連付けられた点群の情報を含み、各点群データが取得された時刻と関連付けられている工程と、２以上の点群データのそれぞれについて、点群を分類して１以上のグループを作成し、位置のラベルと移動体であるか否かを表す移動体フラグのラベルとを含むラベルを付与する工程と、移動体オンフラグが付されたグループの位置のラベルに基づいて、グループの移動経路を予測する工程と、移動経路に基づいて、グループを関連データの取得時刻における位置に置き換え、関連データの取得時刻と関連付ける工程とを含む。
【選択図】図３
【特許請求の範囲】
【請求項1】
点群データを関連データと関連付ける方法であって、
（ａ）複数組の点群データを用意する工程であって、前記複数組の点群データのそれぞれは、それぞれ３次元の位置情報と関連付けられた点群の情報を含み、前記各点群データが取得された時刻と関連付けられている、工程と、
（ｂ）前記複数組の点群データのうちの２以上の点群データのそれぞれについて、前記点群を分類して１以上のグループを作成し、前記１以上のグループのそれぞれに、位置のラベルと、移動体であるか否かを表す移動体フラグのラベルと、を含むラベルを付与する工程と、
（ｃ）前記２以上の点群データのそれぞれに含まれる前記グループであって、それぞれ移動体であることを表す移動体フラグである移動体オンフラグが付された前記グループの位置のラベルに基づいて、前記移動体オンフラグが付されたグループの移動経路を予測する工程と、
（ｄ）前記移動経路に基づいて、前記移動体オンフラグが付されたグループを、周囲の情報を取得する装置（３０、７０）によって取得されたデータである関連データの取得時刻における位置に置き換えて、前記関連データの取得時刻と関連付ける工程と、を含む方法。
（ａ）複数組の点群データを用意する工程であって、前記複数組の点群データのそれぞれは、それぞれ３次元の位置情報と関連付けられた点群の情報を含み、前記各点群データが取得された時刻と関連付けられている、工程と、
（ｂ）前記複数組の点群データのうちの２以上の点群データのそれぞれについて、前記点群を分類して１以上のグループを作成し、前記１以上のグループのそれぞれに、位置のラベルと、移動体であるか否かを表す移動体フラグのラベルと、を含むラベルを付与する工程と、
（ｃ）前記２以上の点群データのそれぞれに含まれる前記グループであって、それぞれ移動体であることを表す移動体フラグである移動体オンフラグが付された前記グループの位置のラベルに基づいて、前記移動体オンフラグが付されたグループの移動経路を予測する工程と、
（ｄ）前記移動経路に基づいて、前記移動体オンフラグが付されたグループを、周囲の情報を取得する装置（３０、７０）によって取得されたデータである関連データの取得時刻における位置に置き換えて、前記関連データの取得時刻と関連付ける工程と、を含む方法。
【請求項2】
請求項１に記載の方法であって、
前記（ｂ）工程において、前記１以上のグループのそれぞれに属する点群を、それぞれのグループ毎に三次元の矩形の箱で囲い、前記三次元の矩形の箱の頂点のうち、１つ以上の頂点に前記位置のラベルを付す、方法。
前記（ｂ）工程において、前記１以上のグループのそれぞれに属する点群を、それぞれのグループ毎に三次元の矩形の箱で囲い、前記三次元の矩形の箱の頂点のうち、１つ以上の頂点に前記位置のラベルを付す、方法。
【請求項3】
請求項１に記載の方法であって、
前記（ｂ）工程において、さらに、前記グループの種類と、前記移動体オンフラグが付されたグループの速度と、前記移動体オンフラグが付されたグループの前後に他のグループがあるか否かを表す前後フラグと、のうち、１以上のラベルを付す、方法。
前記（ｂ）工程において、さらに、前記グループの種類と、前記移動体オンフラグが付されたグループの速度と、前記移動体オンフラグが付されたグループの前後に他のグループがあるか否かを表す前後フラグと、のうち、１以上のラベルを付す、方法。
【請求項4】
請求項１に記載の方法であって、
前記周囲の情報を取得する装置は、周囲の物体を撮像することにより、２次元の画像データを取得する画像センサ（３０）であり、
さらに、
（ｅ）前記移動経路に基づいて、前記移動体オンフラグが付されたグループを、ミリ波レーダと、ソナーと、赤外線またはレーザ光を利用した装置と、のうちの、１つ以上によって取得された三次元のデータの取得時刻における位置に置き換えて、前記三次元のデータの取得時刻と関連付ける工程と、を含む方法。
前記周囲の情報を取得する装置は、周囲の物体を撮像することにより、２次元の画像データを取得する画像センサ（３０）であり、
さらに、
（ｅ）前記移動経路に基づいて、前記移動体オンフラグが付されたグループを、ミリ波レーダと、ソナーと、赤外線またはレーザ光を利用した装置と、のうちの、１つ以上によって取得された三次元のデータの取得時刻における位置に置き換えて、前記三次元のデータの取得時刻と関連付ける工程と、を含む方法。
【請求項5】
請求項１に記載の方法であって、
前記工程（ｂ）は、
（ｂ１）点群をグループ分けするアルゴリズムを用いる方法と、
（ｂ２）前記グループにラベルを付与するツールを用いて、自動で、または、部分的に自動で、前記グループに前記ラベルを付与する方法、
のうち、いずれか１つで、または２つの方法を組み合わせる、方法。
前記工程（ｂ）は、
（ｂ１）点群をグループ分けするアルゴリズムを用いる方法と、
（ｂ２）前記グループにラベルを付与するツールを用いて、自動で、または、部分的に自動で、前記グループに前記ラベルを付与する方法、
のうち、いずれか１つで、または２つの方法を組み合わせる、方法。
【請求項6】
請求項１に記載の方法であって、
前記工程（ａ）において用意される前記複数組の点群データは、
互いに一定の時間間隔で取得された前記複数組の点群データのうちの、全ての前記点群データである、方法。
前記工程（ａ）において用意される前記複数組の点群データは、
互いに一定の時間間隔で取得された前記複数組の点群データのうちの、全ての前記点群データである、方法。
【請求項7】
請求項１に記載の方法であって、
前記工程（ａ）において用意される前記複数組の点群データは、
互いに一定の時間間隔で取得された前記複数組の点群データのうちの、前記時間間隔の整数倍の時間間隔における、前記複数組の点群データである、方法。
前記工程（ａ）において用意される前記複数組の点群データは、
互いに一定の時間間隔で取得された前記複数組の点群データのうちの、前記時間間隔の整数倍の時間間隔における、前記複数組の点群データである、方法。
【請求項8】
請求項１に記載の方法であって、
前記（ｃ）工程において、
（ｃ１）前記移動体オンフラグが付されたグループの動きを、等速直線運動に近似して、前記移動体オンフラグが付されたグループの移動経路を予測する方法と、
（ｃ２）カルマンフィルタ、または粒子フィルタを用いて、前記移動体オンフラグが付されたグループの移動経路を非線形的に予測する方法と、
のいずれかを用いる、方法。
前記（ｃ）工程において、
（ｃ１）前記移動体オンフラグが付されたグループの動きを、等速直線運動に近似して、前記移動体オンフラグが付されたグループの移動経路を予測する方法と、
（ｃ２）カルマンフィルタ、または粒子フィルタを用いて、前記移動体オンフラグが付されたグループの移動経路を非線形的に予測する方法と、
のいずれかを用いる、方法。
【請求項9】
請求項１に記載の方法であって、
前記２以上の点群データは、前記関連データの取得時刻に対して、最も近い時刻に取得された点群データと、２番目に近い時刻に取得された点群データと、を含む、方法。
前記２以上の点群データは、前記関連データの取得時刻に対して、最も近い時刻に取得された点群データと、２番目に近い時刻に取得された点群データと、を含む、方法。
【請求項10】
請求項９に記載の方法であって、
前記２以上の点群データは、さらに、前記関連データの取得時刻に対して、３番目に近い時刻に取得された点群データを含み、前記３番目に近い時刻は、
前記最も近い時刻と、前記２番目に近い時刻と、よりも、前の時刻である、
または、
前記最も近い時刻と、前記２番目に近い時刻と、よりも、後の時刻である、
のいずれかである、方法。
前記２以上の点群データは、さらに、前記関連データの取得時刻に対して、３番目に近い時刻に取得された点群データを含み、前記３番目に近い時刻は、
前記最も近い時刻と、前記２番目に近い時刻と、よりも、前の時刻である、
または、
前記最も近い時刻と、前記２番目に近い時刻と、よりも、後の時刻である、
のいずれかである、方法。
【請求項11】
請求項１に記載の方法であって、
前記複数組の点群データの取得時刻のうち、前記関連データの取得時刻に最も近い取得時刻と、前記関連データの取得時刻と、のずれは、０．１ミリ秒から１秒である、方法。
前記複数組の点群データの取得時刻のうち、前記関連データの取得時刻に最も近い取得時刻と、前記関連データの取得時刻と、のずれは、０．１ミリ秒から１秒である、方法。
【請求項12】
請求項１に記載の方法であって、
さらに、
（ｆ１）前記関連データの取得時刻における位置に置き換えられたグループのデータを、前記周囲の情報を取得する装置が向いている方向に投影することによって前記関連データの取得時刻における位置に置き換えられたグループのデータを２次元のデータに変換する工程と、
（ｆ２）前記関連データに含まれる対象物を認識する工程と、
（ｆ３）前記認識の結果と、前記グループとを紐づける工程と、
を備える、方法。
さらに、
（ｆ１）前記関連データの取得時刻における位置に置き換えられたグループのデータを、前記周囲の情報を取得する装置が向いている方向に投影することによって前記関連データの取得時刻における位置に置き換えられたグループのデータを２次元のデータに変換する工程と、
（ｆ２）前記関連データに含まれる対象物を認識する工程と、
（ｆ３）前記認識の結果と、前記グループとを紐づける工程と、
を備える、方法。
【請求項13】
請求項１から請求項１２のいずれか一項に記載の方法を実行するプログラム。
【請求項14】
請求項１から請求項１２のいずれか一項に記載の方法によって作成された学習データセット。
【請求項15】
点群データを関連データと関連付ける装置（１０）であって、
測定光を照射し、物体からの反射光に基づいて、３次元の位置情報と関連付けられた点群の情報を含む複数組の点群データを生成する点群データ生成部（２０）と、
周囲の情報である関連データを取得する周囲情報取得部（３０、７０）と、
前記複数組の点群データを分類して１以上のグループを作成し、前記グループの移動経路を予測して、前記関連データの取得時刻における位置に前記グループを置き換えて、前記関連データが取得された時刻と関連付ける処理部（４０）と、を備え、
前記処理部は、
前記複数組の点群データと、前記関連データと、のそれぞれが取得された時刻を、前記複数組の点群データと、前記関連データと、のそれぞれと関連付ける時刻付与部（４１０）と、
前記複数組の点群データのうちの２以上の点群データのそれぞれについて、前記点群を分類して１以上のグループを作成する、グループ作成部（４２０）と、
前記１以上のグループのそれぞれに、位置のラベルと、移動体であるか否かを表す移動体フラグのラベルと、を含むラベルを付与するラベル付与部（４３０）と、
前記２以上の点群データのそれぞれに含まれる前記グループであって、それぞれ移動体であることを表す移動体フラグである移動体オンフラグが付された前記グループの位置のラベルに基づいて、前記移動体オンフラグが付されたグループの移動経路を予測する経路予測部（４４０）と、
前記移動経路に基づいて、前記移動体オンフラグが付されたグループを、前記関連データの取得時刻における位置に置き換える、位置再取得部（４５０）と、を備える、装置。
測定光を照射し、物体からの反射光に基づいて、３次元の位置情報と関連付けられた点群の情報を含む複数組の点群データを生成する点群データ生成部（２０）と、
周囲の情報である関連データを取得する周囲情報取得部（３０、７０）と、
前記複数組の点群データを分類して１以上のグループを作成し、前記グループの移動経路を予測して、前記関連データの取得時刻における位置に前記グループを置き換えて、前記関連データが取得された時刻と関連付ける処理部（４０）と、を備え、
前記処理部は、
前記複数組の点群データと、前記関連データと、のそれぞれが取得された時刻を、前記複数組の点群データと、前記関連データと、のそれぞれと関連付ける時刻付与部（４１０）と、
前記複数組の点群データのうちの２以上の点群データのそれぞれについて、前記点群を分類して１以上のグループを作成する、グループ作成部（４２０）と、
前記１以上のグループのそれぞれに、位置のラベルと、移動体であるか否かを表す移動体フラグのラベルと、を含むラベルを付与するラベル付与部（４３０）と、
前記２以上の点群データのそれぞれに含まれる前記グループであって、それぞれ移動体であることを表す移動体フラグである移動体オンフラグが付された前記グループの位置のラベルに基づいて、前記移動体オンフラグが付されたグループの移動経路を予測する経路予測部（４４０）と、
前記移動経路に基づいて、前記移動体オンフラグが付されたグループを、前記関連データの取得時刻における位置に置き換える、位置再取得部（４５０）と、を備える、装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、点群データを関連データと関連付ける方法、プログラム、学習データセット、および装置に関する。
【背景技術】
【0002】
特許文献１には、車両に搭載された画像センサと、ＬＩＤＡＲ（Light Detection And Ranging）センサを用いて、物体との距離を測定する方法が開示されている。画像センサによって取得された画像データが、車両システムのプロセッサに送信される。プロセッサによって、取得された画像データ内に点在する物体が検出される。プロセッサによって、検出された物体に対応する、画像データの一部分を識別した関心領域が生成される。画像が取り込まれた時間に対応するＬＩＤＡＲデータと、関心領域のデータに基づいて、車両と物体との距離が決定される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０２１－５２３４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
複数のセンサが使用されるシステムにおいて、センサ同士が非同期で作動することがある。特許文献１においては、点群データ生成部と画像センサが非同期の場合、画像データの取得時刻に最も近い時刻のＬＩＤＡＲデータが使用されることが提案されている。しかし、異なる時刻に取得されたデータを互いに関連付けする場合、異なる位置にある物体を表している画像データと、ＬＩＤＡＲデータとが関連付けされることがある。その場合、算出される距離に含まれる誤差が大きくなるおそれがあった。
【課題を解決するための手段】
【0005】
本開示は、以下の形態として実現することが可能である。
【0006】
本開示の一形態によれば、点群データを関連データと関連付ける方法が提供される。この方法は、（ａ）複数組の点群データを用意する工程であって、前記複数組の点群データのそれぞれは、それぞれ３次元の位置情報と関連付けられた点群の情報を含み、前記各点群データが取得された時刻と関連付けられている、工程と、（ｂ）前記複数組の点群データのうちの２以上の点群データのそれぞれについて、前記点群を分類して１以上のグループを作成し、前記１以上のグループのそれぞれに、位置のラベルと、移動体であるか否かを表す移動体フラグのラベルと、を含むラベルを付与する工程と、（ｃ）前記２以上の点群データのそれぞれに含まれる前記グループであって、それぞれ移動体であることを表す移動体フラグである移動体オンフラグが付された前記グループの位置のラベルに基づいて、前記移動体オンフラグが付されたグループの移動経路を予測する工程と、（ｄ）前記移動経路に基づいて、前記移動体オンフラグが付されたグループを、周囲の情報を取得する装置（３０、７０）によって取得されたデータである関連データの取得時刻における位置に置き換えて、前記関連データの取得時刻と関連付ける工程と、を含む。
【0007】
この形態の方法によれば、関連データとは異なる時刻に取得された点群データを分類することで作成されたグループを、関連データと同時刻における位置に置き換えて関連付ける。これにより、異なる時刻に取得された複数のデータを、同時刻における位置に置き換えずに関連付けする態様と比較して、関連データに表される物体と、グループが表す物体との間において、位置のズレが小さくなる。その結果、算出される物体との距離の誤差を低減させることができる。
【図面の簡単な説明】
【0008】
【図1】関連付け装置のブロック図。
【図2】車両の周囲の状況を表した図。
【図3】第１実施形態の処理の手順を示すフローチャート。
【図4】第３時刻に取得された第１点群データの点群を表した図。
【図6】移動経路の予測を説明する図。
【図7】画像データ取得時刻４に取得された画像データの図。
【図8】第２実施形態を説明する図。
【図9】第３実施形態を説明する図。
【図10】第４実施形態の処理の手順を示すフローチャート。
【図11】第５実施形態の処理の手順を示すフローチャート。
【発明を実施するための形態】
【0009】
Ａ.第１実施形態：
Ａ１．第１実施形態の構成：
図１に示す関連付け装置１０は、関連付け装置１０が搭載されている移動体を基準とした物体との距離を算出して、点群データを生成する。また、関連付け装置１０は、周囲の情報のデータである関連データを取得する。関連付け装置１０は、点群データを分類して作成したグループの移動経路を予測する。関連付け装置１０は、移動経路に基づいて、グループを、関連データの取得時刻における位置に置き換えて、関連データの取得時刻と関連付ける。本実施形態において、関連付け装置１０は、点群データを分類して作成したグループを囲うＢＢＯＸの移動経路を予測する。関連装置１０は、移動経路に基づいたＢＢＯＸを、画像センサ３０によって取得された画像データの取得時刻における位置に置き換えることにより、新たなＢＢＯＸを作成する。そして、関連装置１０は、新たなＢＢＯＸを、画像データの取得時刻と関連付ける。ＢＢＯＸについては後述する。
Ａ１．第１実施形態の構成：
図１に示す関連付け装置１０は、関連付け装置１０が搭載されている移動体を基準とした物体との距離を算出して、点群データを生成する。また、関連付け装置１０は、周囲の情報のデータである関連データを取得する。関連付け装置１０は、点群データを分類して作成したグループの移動経路を予測する。関連付け装置１０は、移動経路に基づいて、グループを、関連データの取得時刻における位置に置き換えて、関連データの取得時刻と関連付ける。本実施形態において、関連付け装置１０は、点群データを分類して作成したグループを囲うＢＢＯＸの移動経路を予測する。関連装置１０は、移動経路に基づいたＢＢＯＸを、画像センサ３０によって取得された画像データの取得時刻における位置に置き換えることにより、新たなＢＢＯＸを作成する。そして、関連装置１０は、新たなＢＢＯＸを、画像データの取得時刻と関連付ける。ＢＢＯＸについては後述する。
【0010】
本実施形態の関連付け装置１０は、図２に示す車両１に搭載されている。図１に示すように、関連付け装置１０は、点群データ生成部２０と、画像センサ３０と、処理部４０と、記憶部５０と、表示部６０と、を備える。点群データ生成部２０と、画像センサ３０と、記憶部５０と、表示部６０は、処理部４０と互いに電気的に接続しており、相互にデータを送受信することが可能である。
【0011】
点群データ生成部２０は、図２に示す車両１の周囲に測定光を照射して、物体からの反射光を受光する。点群データ生成部２０は、受光した反射光に基づいて点群データを生成する。本実施形態において、点群データ生成部２０として、ＬＩＤＡＲセンサを使用している。物体とは、例えば、図２に示す他車両ＡＯ１や、歩行者ＡＯ２や、植物ＡＯ３や、対向車両ＡＯ４等である。本実施形態において、点群データ生成部２０は、車両１の前方と、後方と、左右側方にそれぞれ１つずつ搭載されており、それぞれの方向に存在する物体の点群データを生成する。なお、図２において、車両１の後方と左右側方の点群データ生成部２０の符号を省略している。図１に示すように、点群データ生成部２０は、走査部２１０と、受光部２２０と、制御部２３０と、を備える。
【0012】
走査部２１０は、車両１の周囲に測定光であるレーザ光を照射する。図２に、レーザ光が照射される照射範囲の一部として、照射範囲ＭＲを示している。レーザ光が照射される範囲は、上下左右方向に広がる範囲である。本実施形態において、走査部２１０は０．１秒の時間間隔で、１秒間に１０回、レーザ光を照射する。照射されたレーザ光は、人や車等の物体に到達すると、その物体の表面で反射する。受光部２２０は、反射した反射光を受光する。
【0013】
制御部２３０は、走査部２１０によるレーザ光の照射を制御する。また、制御部２３０は、受光部２２０が受光した反射光の情報に基づいて、走査部２１０がレーザ光を照射してから受光部２２０が反射光を受光するまでの時間ＴＯＦ（Time of Flight）を特定する。制御部２３０は、時間ＴＯＦに基づいて物体までの距離を算出し、点群データを生成する。制御部２３０は、複数組の点群データを、互いに一定の時間間隔で生成する。本実施形態において、制御部２３０は、０．１秒の時間間隔で、１秒間に１０の点群データを生成する。点群データは、３次元の位置情報と関連付けられた点群の情報を含む、３次元のデータである。制御部２３０は、生成した点群データを、処理部４０に送信する。
【0014】
画像センサ３０は、車両１の周囲の物体を撮像することにより、２次元の画像データを取得する。本実施形態において、画像センサ３０としてカメラを使用している。複数の画像センサ３０のそれぞれが、点群データ生成部２０のそれぞれと近接して搭載されている。なお、図２において、車両１の後方と左右側方の画像センサ３０の符号を省略している。画像センサ３０は、撮像する範囲が、近接する点群データ生成部２０の照射範囲と重なるように、車両１に搭載されている。本実施形態において、画像センサ３０は、０．１秒の時間間隔で、１秒間に１０の画像データを取得する。画像センサ３０によって取得される画像データは、２次元のデータである。画像センサ３０は、取得した画像データを、処理部４０に送信する。
【0015】
画像センサ３０を、周囲の情報を取得する装置、または周囲情報取得部ともいう。画像データを、関連データともいう。
【0016】
処理部４０は、記憶部５０に記憶されたプログラムを展開して実行することで、時刻付与部４１０と、グループ作成部４２０と、ラベル付与部４３０と、経路予測部４４０と、位置再取得部４５０と、データ変換部４６０として機能する。
【0017】
時刻付与部４１０は、点群データ生成部２０が生成した点群データと、その点群データが取得された時刻を、関連付ける。時刻付与部４１０は、画像センサ３０が取得した画像データと、画像データが取得された時刻を関連付ける。
【0018】
グループ作成部４２０は、点群データ生成部２０がそれぞれ異なる時刻に取得した、複数組の点群データのそれぞれについて、点群を分類する。グループ作成部４２０は、分類した点群の集合から、１以上のグループを作成する。グループ作成部４２０は、作成したグループのそれぞれに対し、区別のための名前付けをする。名前付けをされることにより、複数のグループが作成された場合、異なるグループ同士を区別することができる。
【0019】
また、本実施形態において、グループ作成部４２０は、作成したグループのそれぞれに属する点群を、それぞれのグループ毎に、三次元の矩形の箱で囲う。本実施形態において、三次元の矩形の箱を、「バウンディングボックス（bounding box、以下ＢＢＯＸ）」とよぶ。グループ作成部４２０は、作成したＢＢＯＸのそれぞれに対し、名前付けをする。本実施形態において、グループ作成部４２０は、ＢＢＯＸを作成後、ＢＢＯＸで囲われたグループに属する点群を消去する。
【0020】
ラベル付与部４３０は、グループ作成部４２０によって作成されたＢＢＯＸに、そのＢＢＯＸの特徴を表すラベルを付与する。本実施形態において、ラベルの種類は、ＢＢＯＸの種類のラベルと、ＢＢＯＸが移動体であるか否かを表す移動体フラグのラベルと、移動体であることを表す移動体フラグである移動体オンフラグが付されたＢＢＯＸの位置のラベルと、移動体オンフラグが付されたＢＢＯＸの速度のラベルと、移動体オンフラグが付されたＢＢＯＸの前後に、他のＢＢＯＸがあるか否かを表す前後フラグのラベルと、ＢＢＯＸの寸法のラベルである。本実施形態において、ラベル付与部は、ＢＢＯＸの頂点のうち、全ての頂点に、位置のラベルを付す。その他のラベルは、ＢＢＯＸの頂点のうち、ラベル付与部によって選択された頂点に付される。
【0021】
経路予測部４４０は、ラベル付与部４３０によって移動体オンフラグが付され、かつ、２以上の点群データのそれぞれに、共通して含まれるグループを囲うＢＢＯＸの移動経路を予測する。移動経路の予測は、移動体オンフラグが付されたＢＢＯＸの、位置のラベルに基づいて行われる。
【0022】
位置再取得部４５０は、経路予測部４４０によって予測された移動経路に基づいて、移動体オンフラグが付されたＢＢＯＸを、画像センサ３０によって取得された画像データの取得時刻における位置に置き換える。
【0023】
データ変換部４６０は、画像データの取得時刻における位置に置き換えられたＢＢＯＸのデータを、画像センサ３０が向いている方向に投影することによって、画像データの取得時刻における位置に置き換えられたＢＢＯＸのデータを２次元のデータに変換する。また、データ変換部４６０は、位置再取得部４５０によって関連付けられたＢＢＯＸの位置の座標を、異なる座標に変換する。
【0024】
記憶部５０は、図示しないＲＯＭと、ＲＡＭを備える。ＲＯＭは、処理部４０が実行する処理を規定したプログラムを予め記憶する。また、ＲＯＭは、処理部４０が実行する処理によって、点群データの分類によって作成されたグループのデータや、グループを囲うＢＢＯＸのデータや、グループまたはＢＢＯＸに付されたラベルのデータや、グループまたはＢＢＯＸの予測された移動経路や、移動経路に基づいて関連データの取得時刻における位置に置き換えられたグループまたはＢＢＯＸのデータや、関連データの取得時刻と関連付けられたグループまたはＢＢＯＸのデータ等を記憶する。ＲＡＭは、処理部４０が取り扱うデータを、一時的に記憶する。
【0025】
表示部６０は、処理部４０が実行した処理の結果を表示する。表示される結果は、点群データと、関連データと、のそれぞれが関連付けられた時刻の情報や、ラベル付与部４３０によって付与されたラベルの情報や、経路予測部４４０によって予測された、移動体オンフラグが付されたグループまたはＢＢＯＸの移動経路や、移動経路に基づいて関連データの取得時刻における位置に置き換えられたグループまたはＢＢＯＸの情報等である。
【0026】
Ａ２．点群データを画像データの取得時刻と関連付ける方法：
図３の各工程の処理は、処理部４０によって実行される。図３のステップＳ１００において、処理部４０は、制御部２３０が生成した複数組の点群データと、それぞれの点群データが取得された時刻を、関連付ける。本実施形態においては、互いに一定の時間間隔である０．１秒の間隔で取得された複数組の点群データのうち、全ての点群データを用いて、処理を実行する。
図３の各工程の処理は、処理部４０によって実行される。図３のステップＳ１００において、処理部４０は、制御部２３０が生成した複数組の点群データと、それぞれの点群データが取得された時刻を、関連付ける。本実施形態においては、互いに一定の時間間隔である０．１秒の間隔で取得された複数組の点群データのうち、全ての点群データを用いて、処理を実行する。
【0027】
以下において、任意の時刻である第１時刻と、第１時刻の０．１秒後である第２時刻と、第２時刻の０．１秒後である第３時刻とそれぞれ関連付けられた、３組の点群データの処理について説明する。なお、図２は、第３時刻における車両１の周囲の状況を表している。時刻が関連付けられた点群データを、「第１点群データ」とよぶ。第１時刻と関連付けられた点群データを第１点群データＤＡ１、第２時刻と関連付けられた点群データを第１点群データＤＡ２、第３時刻と関連付けられた点群データを第１点群データＤＡ３とよぶ。ステップＳ１００の機能は、処理部４０の時刻付与部４１０によって実現される。
【0028】
ステップＳ２００において、処理部４０は、第１点群データＤＡ１ないし第１点群データＤＡ３のそれぞれについて、点群を分類して、１以上のグループを作成する。点群の分類は、点群をグループ分けするアルゴリズムを用いて行われる。
【0029】
例として、第１点群データＤＡ３の処理について説明する。図４は、図２の車両１の前方に配置された点群データ生成部２０によって生成され、処理部４０によって第３時刻と関連付けられた点群データである第１点群データＤＡ３を簡略に示す図である。なお、図４において、横断歩道や道路を表す点群等は省略している。図４に示すように、処理部４０は、第１点群データＤＡ３の点群を分類して、４つのグループを作成する。処理部４０は、他車両ＡＯ１を構成するグループにグループ１、歩行者ＡＯ２を構成するグループにグループ２、植物ＲＯ３を構成するグループにグループ３、対向車両ＡＯ４を構成するグループにグループ４と、名前付けをする。名前付けは、手動で行ってもよく、アルゴリズムを用いて自動で行ってもよい。
【0030】
さらに、ステップＳ２００において、処理部４０は、図４および図５に示すように、各グループを、ＢＢＯＸで囲う。上述したようにＢＢＯＸは３次元の矩形の箱であるが、図４において、ＢＢＯＸを２次元で表している。図５において、グループ１の点群と、ＢＢＯＸ１を表している。処理部４０は、グループを囲ったＢＢＯＸに、名前付けをする。具体的には、図４に示すように、グループ１を囲うＢＢＯＸをＢＢＯＸ１、グループ２を囲うＢＢＯＸをＢＢＯＸ２、グループ３を囲うＢＢＯＸをＢＢＯＸ３、グループ４を囲うＢＢＯＸをＢＢＯＸ４と、名前付けをする。ＢＢＯＸに名前付けがされることにより、異なる時刻におけるＢＢＯＸ同士の関連付けが用意となる。名前付けは、手動で行ってもよく、アルゴリズムを用いて自動で行ってもよい。処理部４０は、ＢＢＯＸを作成後、ＢＢＯＸに囲まれるグループの点群を消去する。
【0031】
図は省略するが、第３時刻と同様に、第１時刻と関連付けられた第１点群データＤＡ１と第２時刻と関連付けられた第１点群データＤＡ２のそれぞれについて、点群を分類して、グループを作成し、ＢＢＯＸで囲う。本実施形態において、第１点群データＤＡ１ないし第１点群データＤＡ３に、ＢＢＯＸ１ないしＢＢＯＸ４のそれぞれが共通して含まれている。ステップＳ２００の機能は、処理部４０のグループ作成部４２０によって実現される。
【0032】
以下において、第１点群データＤＡ１の点群を分類して作成されたグループ１を囲うＢＢＯＸ１のことを、「第１時刻に対応するＢＢＯＸ１」とよぶ。第１時刻に対応する他のＢＢＯＸと、第２時刻と第３時刻に対応するＢＢＯＸにおいても同様である。
【0033】
ステップＳ３００において、処理部４０は、第１時刻にないし第３時刻に対応する全てのＢＢＯＸに、ラベルを付与する。ラベルの付与は、グループにラベルを付与するツールを用いて、自動で行われる。なお、グループにラベルを付与するツールは、グループを囲うＢＢＯＸにも同様にラベルを付与することができるツールである。グループにラベルを付与するツールのプログラムは、ラベル付与部４３０に組み込まれている。
【0034】
例として、第３時刻に対応するＢＢＯＸ１に付されるラベルについて、説明する。グループにラベルを付与するツールによって、ＢＢＯＸ１に対し、種類を表すラベルとして、「車両」が付される。車両のラベルが付されることにより、グループにラベルを付与するツールによって、ＢＢＯＸ１が移動体であると自動的に判別され、ＢＢＯＸ１に「移動体オンフラグ」のラベルが付される。また、図４に示すように、ＢＢＯＸ１の後ろにＢＢＯＸ３が存在するため、後ろに他のＢＢＯＸがあることを表す前後フラグである「後ろオンフラグ」のラベルが付される。なお、「前後に他のＢＢＯＸがある」場合とは、点群データ生成部２０の測定光が照射される方向に沿って見たときに、他のＢＢＯＸが、ＢＢＯＸと重なることをいう。さらに、ＢＢＯＸ１の各辺の長さを表す寸法のラベルが、各辺に対し、付される。ＢＢＯＸ１に付される位置のラベルは、ＢＢＯＸ１の箱の頂点の全てに付される。
【0035】
速度のラベルについて説明する。上述したように、第１点群データＤＡ１ないし第１点群データＤＡ３に、ＢＢＯＸ１が共通して含まれている。処理部４０は、第１時刻または第２時刻に対応するＢＢＯＸ１の、１つの頂点の位置のラベルと、第３時刻におけるその頂点の位置のラベルの移動距離から、その頂点の速度を予測する。処理部４０は、同じ処理をＢＢＯＸ１の他の頂点にも実行して速度の平均を算出する。処理部４０は、算出された速度の平均を、ＢＢＯＸ１の速度のラベルとして決定する。そして、処理部４０は、算出された速度を表すラベルを、ＢＢＯＸ１の箱の重心に付す。なお、算出された速度は、ＢＢＯＸ１の重心以外の箇所に付されてもよい。
【0036】
第１時刻に対応するＢＢＯＸ１の速度は、第１時刻の０．１秒前に取得された第１点群データを基に作成したグループを囲うＢＢＯＸ１に付された位置のラベルを用いて算出される。
【0037】
ＢＢＯＸ１と同様に、処理部４０は、ＢＢＯＸ２ないしＢＢＯＸ４に、ラベルを付与する。ＢＢＯＸ２は、種類を表すラベルとして、「人」が付される。ＢＢＯＸ４は、種類を表すラベルとして、「車両」が付される。ＢＢＯＸ２とＢＢＯＸ４は、ＢＢＯＸ１と同様に、移動体オンフラグを含めた全てのラベルが付される。ＢＢＯＸ３は、「植物」のラベルが付される。「植物」のラベルが付与されたＢＢＯＸは、グループにラベルを付与するツールによって、移動体ではないと自動的に判別され、移動体でないことを表す移動体フラグである移動体オフフラグが付与される。移動体オフフラグが付与されたＢＢＯＸは、以降の処理が実行されない。移動体フラグが付されたＢＢＯＸ１とＢＢＯＸ２とＢＢＯＸ４は、以降の処理に進む。
【0038】
ステップＳ３００において、第１時刻および第２時刻対応する全てのＢＢＯＸについても、同様に、ラベルが付与される。ステップＳ３００の機能は、処理部４０のラベル付与部４３０によって実行される。
【0039】
以下において、第３時刻に対応するＢＢＯＸ１の処理について説明する。ステップＳ４００において、処理部４０は、ＢＢＯＸ１の位置のラベルに基づいて、ＢＢＯＸ１の、第３時刻よりも後における移動経路を予測する。移動経路は、ＢＢＯＸ１の動きを等速直線運動に近似することで予測される。
【0040】
図６において、第１時刻ないし第３時刻に対応するＢＢＯＸ１を実線の箱で、予測された移動経路を破線で、画像データ取得時刻に置き換えられたＢＢＯＸ１２を破線の箱で、表している。第１時刻ないし第３時刻に対応する線を実線で、画像データ取得時刻１ないし画像データ取得時刻４に対応する線を一点鎖線で表している。また、第１時刻ないし第３時刻をＴ１ないしＴ３、画像データ取得時刻１ないし画像データ取得時刻４をＴＩ１ないしＴＩ４と表記している。図８および図９においても同様である。
【0041】
第３時刻に対応するＢＢＯＸ１の移動経路の予測の前に、処理部４０によって、第１時刻に対応するＢＢＯＸ１から、第２時刻までのＢＢＯＸ１の移動経路が予測される。次に、処理部４０によって、第２時刻に対応するＢＢＯＸ１から、第３時刻までのＢＢＯＸ１の移動経路が予測される。そして、処理部４０によって、第３時刻に対応するＢＢＯＸ１から、第３時刻後のＢＢＯＸ１の移動経路が予測される。ステップＳ４００の処理は、処理部４０の経路予測部４４０によって実行される。
【0042】
ステップＳ５００において、処理部４０は、画像センサ３０によって取得された画像データと、取得時刻を関連付ける。図６に示す各画像データ取得時刻の間隔は、０．１秒である。なお、ステップＳ５００の処理は、ステップＳ１００からステップＳ４００のうち、いずれかの処理と同時に行われてもよく、ステップＳ１００からステップＳ４００の間のどこかで行われてもよい。ステップＳ５００の機能は、処理部４０の時刻付与部４１０によって実現される。
【0043】
ステップＳ６００において、処理部４０は、ステップＳ４００で予測した第３時刻後のＢＢＯＸ１の移動経路に基づいて、ＢＢＯＸ１を、画像センサ３０によって取得された画像データの取得時刻における位置に置き換える。図６に示すように、本実施形態において、処理部４０は、予測されたＢＢＯＸ１の移動経路に基づいて、ＢＢＯＸを、第３時刻よりも後の時刻である画像データ取得時刻４における位置に置き換える。これにより、処理部４０は、新たなＢＢＯＸ１２を作成する。処理部４０は、ＢＢＯＸ１２に、予測された移動経路に基づく位置のラベルを付与する。また、処理部４０は、位置のラベル以外に、ステップＳ４００においてＢＢＯＸ１に付されたラベルと同じラベルを、ＢＢＯＸ１２に付与する。本実施形態において、第３時刻と、画像データ取得時刻４との間のずれは、０．０４秒である。ステップＳ６００の機能は、処理部４０のデータ変換部４６０によって実現される。
【0044】
図４に、画像データ取得時刻４に対応する、他車両ＡＯ１のＢＢＯＸであるＢＢＯＸ１２を破線の箱で表している。図４に示すように、第３時刻から画像データ取得時刻４の間に、実線のＢＢＯＸ１で表した位置から破線のＢＢＯＸ１２で表した位置まで、他車両ＡＯ１が移動している。また、図７において、第３時刻における他車両ＡＯ１を、破線で表している。図７に示すように、第３時刻から画像データ取得時刻４の間に、他車両ＡＯ１は白抜き矢印方向に、破線で表した位置から実線で表した位置まで移動している。
【0045】
上述したようにＢＢＯＸ１は他車両ＡＯ１の点群データを分類して作成したグループ１を囲う箱であるため、図４のＢＢＯＸ１と図７の破線の他車両ＡＯ１は第３時刻における他車両ＡＯ１を表し、図４のＢＢＯＸ１２と図７の実線の他車両ＡＯ１は、画像データ取得時刻４における他車両ＡＯ１を表している。図４と図７に示すように、図４に示す第３時刻に対応するＢＢＯＸ１と、図７に示す画像データ取得時刻４の他車両ＡＯ１を関連付けた場合、ＢＢＯＸ１の位置と、画像データ内の他車両ＡＯ１の位置に、ずれが生じる。この場合、他車両ＡＯ１の、車両１からの距離に誤差が含まれる可能性がある。
【0046】
一方、本実施形態において、第３時刻に対応するＢＢＯＸ１を用いて予測された移動経路を基に、画像データ取得時刻４における位置にＢＢＯＸを置き換える。これにより、画像データ取得時刻に取得された画像データ内の物体の位置と、画像データ取得時刻とは異なる時刻に取得された点群データから作成したグループを囲うＢＢＯＸの位置とのずれを、補正することができる。
【0047】
ステップＳ７００において、処理部４０は、ＢＢＯＸ１２と、画像データ取得時刻４を関連付ける。ステップＳ７００の機能は、処理部４０の時刻付与部４１０によって実現される。
【0048】
ステップＳ８００において、処理部４０は画像データ取得時刻４における位置に置き換えられたＢＢＯＸのデータを、画像センサ３０が向いている方向に投影することによって、画像データ取得時刻４における位置に置き換えられたＢＢＯＸのデータを２次元のデータに変換する。処理部４０は、画像データの画像に含まれる、対象物である他車両ＡＯ１を認識し、認識の結果と、ＢＢＯＸ１２とを紐づける。ステップＳ８００の機能は、処理部４０のデータ変換部４６０によって実現される。
【0049】
以上のように、本実施形態において、関連データとは異なる時刻に取得された点群データを分類することで作成されたグループを、関連データと同時刻における位置に置き換えて関連付ける。これにより、異なる時刻に取得された複数のデータを、同時刻における位置に置き換えずに関連付けする態様と比較して、関連データである画像データに表される物体と、グループが表す物体との間において、位置のズレが小さくなる。その結果、算出される物体との距離の誤差を低減させることができる。
【0050】
本実施形態において、グループに属する点群をＢＢＯＸで囲い、ＢＢＯＸの頂点に位置のラベルを付すことで、例えばグループを構成する点群の全ての点に位置のラベルを付す態様と比較して、容易に位置のラベルや、速度のラベルを付すことができるため、ＢＢＯＸの移動経路を容易に予測することができる。
【0051】
本実施形態において、ＢＢＯＸの種類と、移動体オンフラグが付されたＢＢＯＸの速度と、移動体オンフラグが付されたＢＢＯＸの前後に他のＢＢＯＸがあるか否かを表す前後フラグと、ＢＢＯＸの寸法と、のラベルを付すことで、これらのラベルを付さない態様と比較して、多様な情報を有するＢＢＯＸを作成することができる。
【0052】
本実施形態において、点群をグループ分けするアルゴリズムと、グループにラベルを付与するツールの２つの方法を用いることによって、いずれの方法も使用しない多様と比較して、容易かつ迅速に、点群のグループ分けと、ラベルの付与を行うことができる。
【0053】
また、本実施形態においては、画像データ取得時刻４に対して、最も近い時刻である第３時刻に取得された点群データと、２番目に近い時刻である第２時刻に取得された点群データと、を使用している。画像データが取得された時刻に対して最も近い時刻と、２番目に近い時刻に取得された点群データを使用することで、それらの時刻よりも遠い時刻に取得された点群データのみを使用して移動経路を予測する態様と比較して、正確に移動経路を予測することができる。
【0054】
本実施形態において、互いに一定の時間間隔で生成された複数組の点群データのうちの、全ての点群データを用いている。例えば一定の時間間隔で生成された複数組の点群データのうち一部の点群データのみを用いる態様と比較して、ステップＳ８００までの処理において、より多くのデータを取得することができる。
【0055】
なお、ステップＳ８００までの処理によって作成され、ＲＯＭに記憶されたデータは、機械学習の学習データセットとして使用することができる。移動体に搭載された機械学習装置が、学習データセットを用いて、移動体の周囲の物体に対してステップＳ１００からステップＳ８００までの処理を実行することにより、学習する。機械学習装置が学習を繰り返すことで、グループの作成を迅速かつ高精度に実行することができるようになる。その結果、関連データに表される物体と、グループが表す物体との間における位置のズレの補正が高精度に行われ、算出される物体との距離の誤差を低減させることができる。
【0056】
Ｂ．第２実施形態：
第１実施形態においては、１秒の間に生成された１０の点群データのうち、全ての点群データを用いて、処理部４０による処理を実行している。第２実施形態においては、互いに一定の時間間隔で取得された複数組の点群データのうちの、時間間隔の整数倍の時間間隔における、複数組の点群データを用いて、処理部４０による処理を実行する。それ以外の構成については第１実施形態と同様であるので、同一の符号を付し、詳細な説明を省略する。
第１実施形態においては、１秒の間に生成された１０の点群データのうち、全ての点群データを用いて、処理部４０による処理を実行している。第２実施形態においては、互いに一定の時間間隔で取得された複数組の点群データのうちの、時間間隔の整数倍の時間間隔における、複数組の点群データを用いて、処理部４０による処理を実行する。それ以外の構成については第１実施形態と同様であるので、同一の符号を付し、詳細な説明を省略する。
【0057】
第２実施形態においては、ステップＳ１００において、処理部４０は、互いに０．１秒の間隔で取得された複数組の点群データのうち、０．１秒の間隔の３倍の０．３秒の時間間隔における、複数組の点群データを用意する。ステップＳ１００において用意される点群データは、第３時刻と、第６時刻と、第９時刻において取得された点群データである。それ以外の、第１時刻から第１０時刻までの時刻において取得された点群データは、第２実施形態において用いられない。ステップＳ２００において、処理部４０は、第３時刻と、第６時刻と、第９時刻に取得された点群データについて、それぞれ点群を分類してグループを作成し、グループ毎にＢＢＯＸで囲う。
【0058】
図８において、第３時刻と、第６時刻と、第９時刻に対応するＢＢＯＸ２１が表されているｊ。ＢＢＯＸ２１は、第１実施形態におけるＢＢＯＸ１に対応する。以下、第９時刻後の移動経路の予測について説明する。ステップＳ４００において、処理部４０は、第３時刻と、第６時刻と、第９時刻に対応するＢＢＯＸ２１に付されたラベルから、ＢＢＯＸ２１の第９時刻後の移動経路を予測する。
【0059】
ステップＳ６００において、処理部４０は、予測された移動経路に基づいて、ＢＢＯＸ２１を、画像データ取得時刻１０における位置に置き換えて、ＢＢＯＸ２２を作成する。図８において、画像データ取得時刻１０に対応するＢＢＯＸ２２を、破線の箱で表している。ステップＳ７００において、処理部４０は、ＢＢＯＸ２２と、画像データ取得時刻１０を関連付ける。
【0060】
第２実施形態において、ステップＳ２００において、ユーザが手動で点群をグループ分けしてラベルを付与する場合や、ステップＳ３００において、ユーザが手動でグループやＢＢＯＸにラベルを付与する場合に、取得された全ての点群データについてユーザが手動で行う場合と比較して、容易に、グループ分けや、ラベルの付与を行うことができる。
【0061】
Ｃ．第３実施形態：
第１実施形態において、各点群データの取得時刻である第１時刻ないし第３時刻のうち、画像データの取得時刻４に対して３番目に近い時刻である第１時刻は、最も近い時刻である第３時刻と、２番目に近い時刻である第２時刻よりも、前の時刻である。第３実施形態において、３番目に近い時刻は、最も近い時刻と、２番目に近い時刻よりも、後の時刻である。それ以外の構成については第１実施形態と同様であるので、同一の符号を付し、詳細な説明を省略する。
第１実施形態において、各点群データの取得時刻である第１時刻ないし第３時刻のうち、画像データの取得時刻４に対して３番目に近い時刻である第１時刻は、最も近い時刻である第３時刻と、２番目に近い時刻である第２時刻よりも、前の時刻である。第３実施形態において、３番目に近い時刻は、最も近い時刻と、２番目に近い時刻よりも、後の時刻である。それ以外の構成については第１実施形態と同様であるので、同一の符号を付し、詳細な説明を省略する。
【0062】
第３実施形態において、図９に示す画像データ取得時刻５に対応するＢＢＯＸ３２について説明する。第３実施形態において、第４時刻と、第５時刻と、第６時刻に取得された点群データを使用する。画像データ取得時刻５と、第５時刻とのずれは、０．０４秒である。
【0063】
処理部４０は、記憶部５０に、予め第１０時刻までに取得された点群データ、および画像データ取得時刻１０までに取得された画像データを、記憶させておく。処理部４０は、画像データ取得時刻５と最も近い時刻である第５時刻と、２番目に近い時刻である第４時刻と、３番目に近い時刻である第６時刻に取得された点群データに基づいて、ＢＢＯＸ３１の移動経路を予測する。ＢＢＯＸ３１は、第１実施形態におけるＢＢＯＸ１に対応する。そして、処理部４０は、ＢＢＯＸ３１の移動経路に基づいて、画像データ取得時刻５における位置に、ＢＢＯＸを置き換えて、ＢＢＯＸ３２を作成する。そして、処理部４０は、新たなＢＢＯＸ３２を、画像データ取得５と関連付ける。
【0064】
Ｄ．第４実施形態：
第４実施形態においては、画像センサ３０の代わりに、測距装置７０を、車両の周囲の情報を取得する装置として使用する点で、上記実施形態と異なる。それ以外の構成については第１実施形態と同様であるので、同一の符号を付し、詳細な説明を省略する。
第４実施形態においては、画像センサ３０の代わりに、測距装置７０を、車両の周囲の情報を取得する装置として使用する点で、上記実施形態と異なる。それ以外の構成については第１実施形態と同様であるので、同一の符号を付し、詳細な説明を省略する。
【0065】
測距装置７０は、車両１の周囲の物体に測定光を照射して、対象物から反射した反射光から三次元のデータである点群データを生成する。第４実施形態において、測距装置７０として、ミリ波レーダを使用する。第４実施形態において、４つの測距装置７０のそれぞれが、点群データ生成部２０のうちの１つと近接して搭載されている。測距装置７０は、点群データを取得する範囲が、近接する点群データ生成部２０の測定範囲と重なるように、搭載されている。測定光が照射される範囲は、上下左右方向に広がる範囲である。本実施形態において、測距装置７０は、０．１秒の時間間隔で、１０の点群データを取得する。測距装置７０は、取得した点群データを、処理部４０に送信する。
【0066】
図１０を用いて、第４実施形態の処理について説明する。図１０のステップＳ５００Ｄにおいて、処理部４０は、測距装置７０が点群データを取得した時刻と、点群データとを、関連付ける。ステップＳ６００Ｄにおいて、処理部４０は、移動経路に基づいて、移動体オンフラグが付されたＢＢＯＸを、測距装置７０が点群データを取得した時刻に置き換える。ステップＳ７００Ｄにおいて、処理部４０は、作成された新たなＢＢＯＸと、測距装置７０が点群データを取得した時刻を、関連付ける。
【0067】
第４実施形態において、互いに非同期の異なる装置の、三次元のデータ同士を、関連付けることができる。これにより、物体との距離の測定を、高精度に行うことができる。また、測距装置７０として使用するミリ波レーダと、点群データ生成部２０として使用するＬＩＤＡＲセンサを比較すると、ミリ波レーダの解像度が低い。ミリ派レーダよりも解像度が高い点群データ生成部２０を使用することで、ミリ派レーダを用いてＢＢＯＸを作成する態様と比較して、高精度なＢＢＯＸを作成することができる。
【0068】
Ｅ．第５実施形態：
第５実施形態において、画像センサ３０に加えて、測距装置７０を使用する点で、上記実施形態と異なる。それ以外の構成については第１実施形態と同様であるので、同一の符号を付し、詳細な説明を省略する。第５実施形態において、測距装置７０として、第４実施形態と同様、ミリ波レーダを使用する。
第５実施形態において、画像センサ３０に加えて、測距装置７０を使用する点で、上記実施形態と異なる。それ以外の構成については第１実施形態と同様であるので、同一の符号を付し、詳細な説明を省略する。第５実施形態において、測距装置７０として、第４実施形態と同様、ミリ波レーダを使用する。
【0069】
図１１のステップＳ５００Ｅにおいて、処理部４０は、測距装置７０が点群データを取得した時刻と、測距装置７０が取得した点群データとを、関連付ける。なお、測距装置７０が点群データを取得した時刻とは、画像データ取得時刻、および点群データ生成部２０が点群データを取得した時刻とは異なる時刻である。
【0070】
ステップＳ６００Ｅにおいて、処理部４０は、測距装置７０が点群データを取得した時刻における位置に、ＢＢＯＸを置き換えて新たなＢＢＯＸを作成する。なお、ステップＳ６００Ｅにおいて作成されるＢＢＯＸは、ステップＳ６００で画像データ取得時刻における位置に置き換えられたＢＢＯＸとは異なる。ステップＳ７００Ｅにおいて、処理部４０は、新たなＢＢＯＸを、測距装置７０が点群データを取得した時刻と関連付ける。ステップＳ８００Ｅにおいて、処理部４０は、ステップＳ７００Ｅによって関連付けられたＢＢＯＸのデータを、２次元のデータに変換する。
【0071】
第５実施形態において、画像センサ３０と測距装置７０を併用することで、２次元の画像データと、３次元の点群データの２種類のデータを、グループまたはＢＢＯＸと関連付けることができる。
【0072】
Ｆ．他の実施形態：
Ｆ１．他の実施形態１：
（１）上記実施形態において、点群データ生成部として、ＬＩＤＡＲセンサを使用しており、車両の前方と、後方と、左右側方に搭載されている。点群データ生成部として、ＲＡＤＡＲセンサを用いて点群を生成する装置を用いてもよい。また、点群データ生成部は、車両の前方と後方と左右側方ではなく、例えば車体の上下に搭載されてもよく、車両の前方と後方のみに搭載されるなど、上記実施形態と異なる数の点群データ生成部が、異なる位置に搭載されてもよい。
Ｆ１．他の実施形態１：
（１）上記実施形態において、点群データ生成部として、ＬＩＤＡＲセンサを使用しており、車両の前方と、後方と、左右側方に搭載されている。点群データ生成部として、ＲＡＤＡＲセンサを用いて点群を生成する装置を用いてもよい。また、点群データ生成部は、車両の前方と後方と左右側方ではなく、例えば車体の上下に搭載されてもよく、車両の前方と後方のみに搭載されるなど、上記実施形態と異なる数の点群データ生成部が、異なる位置に搭載されてもよい。
【0073】
（２）上記実施形態において、関連付け装置１０は、車両１に搭載されている。関連付け装置１０は、車両以外の、船舶や飛行機等の移動体に搭載されていてもよい。
【0074】
（３）上記実施形態において、走査部は０．１秒の間隔で、１秒間に１０回、レーザ光を照射する。走査部は、０．２秒や０．５秒等の、０．１秒とは異なる時間間隔で、レーザ光を照射してもよい。また、レーザ光の時間間隔が、０．１秒の次は０．３秒であるなど、各時間間隔が異なってもよい。
【0075】
（４）上記実施形態において、制御部２３０は、０．１秒の時間間隔で、１秒間に１０の点群データを生成する。制御部は、０．２秒や０．５秒等の、０．１秒とは異なる間隔で、点群データを生成してもよい。
【0076】
（５）上記第１実施形態において、画像センサ３０であるカメラを用いて、画像データを作成している。カメラは、単眼カメラや、ステレオカメラや、サーモグラフィカメラや、赤外線カメラや、熱画像カメラ等を使用することができる。画像センサ以外の、周囲情報取得部を用いて、周囲の情報である関連データを取得してもよい。例えば、第４実施形態に示すように、測距装置７０を使用して、三次元のデータである点群データを作成してもよい。第４実施形態に示したミリ派レーダ以外に、ソナーと、赤外線またはレーザ光を利用した装置と、が使用されてもよい。また、周囲情報取得部は、上記実施形態と異なる位置に、異なる数、搭載されていてもよい。
【0077】
（６）上記実施形態においては、画像センサ３０は、０．１秒の間隔で、１秒間に１０の画像データを取得する。画像センサ３０は、例えば０．２秒の間隔で、１秒間に５つ画像データを取得するなど、０．１秒とは異なる間隔で画像データを取得してもよい。
【0078】
（７）上記実施形態において、「前後に他のグループがある」場合とは、点群データ生成部２０の測定光が照射される方向に沿って見たときに、ＢＢＯＸと、他のＢＢＯＸが重なることをいう。なお、「前後に他のグループがある」場合とは、点群データ生成部２０の測定光が照射される方向に沿って見たときに、各グループのそれぞれを構成する点群のうちの１つ以上が互いに重なることをいってもよい。
【0079】
（８）上記実施形態において、ステップＳ２００において、他車両ＡＯ１を構成するグループにグループ１、歩行者ＡＯ２を構成するグループにグループ２、植物ＲＯ３を構成するグループにグループ３、対向車両ＡＯ４を構成するグループにグループ４と、名前付けをする。なお、グループに名前付けをせずに、以降の処理を実行してもよい。
【0080】
（９）上記実施形態において、第１時刻ないし第３時刻に取得された第１点群データＤＡ１ないし第１点群データＤＡ３の、３組の点群データを用いている。なお、３組の点群データではなく、異なる時刻に取得された、２組や５組や８組の点群データなど、３組とは異なる２以上の点群データを用いてもよい。
【0081】
（１０）上記実施形態において、処理部４０は、ステップＳ４００において、位置のラベル以外に、ステップＳ４００においてＢＢＯＸ１に付されたラベルと同じラベルを、ＢＢＯＸ１２に付与する。処理部は、ステップＳ４００において、位置のラベル以外のラベルを付与しなくてもよい。
【0082】
（１１）上記第１実施形態において、第１時刻ないし第３時刻において取得された点群データの処理を同時に行っている。なお、処理を同時に行わなくてもよく、例えば第１時刻と第２時刻において取得された点群データのラベル付けまでの処理が、それぞれ第３時刻において取得された点群データの処理の前に行われてもよい。
【0083】
Ｆ２．他の実施形態２：
（１）上記実施形態において、点群データを分類して作成したグループを三次元の矩形の箱であるＢＢＯＸで囲って、ＢＢＯＸの移動経路を予測し、移動経路に基づいて、ＢＢＯＸを、画像センサ３０によって取得された画像データの取得時刻における位置に置き換えて、画像データの取得時刻と関連付けている。なお、グループをＢＢＯＸで囲う処理を行なわなくてもよい。点群データを分類して作成したグループの点群を、関連データの取得時刻における位置に置き換えることによって、新たな点群データを作成し、新たな点群データを、関連データの取得時刻と関連付けてもよい。
（１）上記実施形態において、点群データを分類して作成したグループを三次元の矩形の箱であるＢＢＯＸで囲って、ＢＢＯＸの移動経路を予測し、移動経路に基づいて、ＢＢＯＸを、画像センサ３０によって取得された画像データの取得時刻における位置に置き換えて、画像データの取得時刻と関連付けている。なお、グループをＢＢＯＸで囲う処理を行なわなくてもよい。点群データを分類して作成したグループの点群を、関連データの取得時刻における位置に置き換えることによって、新たな点群データを作成し、新たな点群データを、関連データの取得時刻と関連付けてもよい。
【0084】
グループをＢＢＯＸで囲わない態様において、グループを構成する点群のうち、任意の点に対してラベルが付与されてもよい。また、グループを構成する点群のうち、最もグループの外側に位置する点を結んだ線に対してラベルが付されてもよい。
【0085】
グループをＢＢＯＸで囲わない態様において、２以上の点群データのそれぞれに、共通して含まれ、かつ移動体オンフラグが付されたグループの移動経路を予測する。グループを構成する点群の全てが共通して含まれる必要はなく、点群をグループ分けするアルゴリズムまたはユーザによって同一のグループであると認識される程度に点群が共通して含まれていればよい。同一のグループであると認識できる程度とは、手動によりグループ分けする方法の場合、作業者によって異なってもよい。アルゴリズムを用いて自動で行う方法の場合、どの程度の点群が共通して含まれている必要があるか、予め定められる。
【0086】
グループをＢＢＯＸで囲わない態様において、予測された移動経路に基づいて、移動体オンフラグが付されたグループの点群の位置を、周囲の情報を取得する装置によって取得されたデータである関連データの取得時刻における位置に置き換えることによって、グループの新たな位置を、関連データの取得時刻と関連付けてもよい。
【0087】
（２）上記実施形態において、処理部４０は、ＢＢＯＸを作成後、ＢＢＯＸ内に含まれるグループの点群を消去する。なお、処理部は、ＢＢＯＸを作成後、ＢＢＯＸ内に含まれるグループの点群を消去せずに、以降の処理を実行してもよい。
【0088】
（３）上記実施形態において、ＢＢＯＸ１に付される位置のラベルは、ＢＢＯＸ１の頂点の全てに付される。なお、ＢＢＯＸ１に付される位置のラベルは、ＢＢＯＸの箱の１つや５つなどの任意の数の頂点に付されてもよく、ＢＢＯＸの重心に付されてもよい。
【0089】
（４）上記実施形態において、１つの頂点の位置のラベルの移動距離から、その頂点の速度を予測し、同じ処理を、ＢＢＯＸ１の他の頂点にも実行して平均を算出することで、ＢＢＯＸ１の速度のラベルを決定する。なお、例えば算出された速度のうち、最も速い速度をＢＢＯＸの速度としてもよい。
【0090】
（５）上記実施形態において、第１時刻に対応するＢＢＯＸ１によって、第２時刻までのＢＢＯＸ１の移動経路が予測される。第２時刻に対応するＢＢＯＸ１によって、第３時刻までのＢＢＯＸ１の移動経路が予測される。第３時刻に対応するＢＢＯＸ１によって、第３時刻後のＢＢＯＸ１の移動経路が予測される。なお、各時刻に対応するＢＢＯＸ１によって、次の時刻以後の移動経路が予測されてもよいが、その場合において、次の時刻に作成されたＢＢＯＸ１によって移動経路が上書きされてもよい。例えば、第１時刻に対応するＢＢＯＸ１によって、第２時刻よりも後の移動経路が予測された後に、第２時刻に対応するＢＢＯＸ１の位置のラベルによって第２時刻におけるＢＢＯＸ１の位置が修正され、第２時刻以後は第２時刻に対応するＢＢＯＸ１に付与されたラベルによって予測された移動経路が上書きされてもよい。
【0091】
（６）上記実施形態において、処理部４０は、グループ１を囲うＢＢＯＸをＢＢＯＸ１、グループ２を囲うＢＢＯＸをＢＢＯＸ２、グループ３を囲うＢＢＯＸをＢＢＯＸ３、グループ４を囲うＢＢＯＸをＢＢＯＸ４と、名前付けをする。名前付けは、ユーザが手動で行ってもよく、アルゴリズムを用いて自動で行われてもよい。また、ＢＢＯＸに名前付けを行わなくてもよい。
【0092】
（７）上記実施形態において、ＢＢＯＸ１の全ての頂点の位置のラベルから、ＢＢＯＸ１の速度の平均を算出する。ＢＢＯＸ１の任意のいくつかの頂点の位置のラベルから、ＢＢＯＸ１の速度の平均を算出してもよく、ＢＢＯＸ１の任意の１つの頂点のラベルから算出された速度を、ＢＢＯＸの速度としてもよい。
【0093】
Ｆ３．他の実施形態３：
（１）上記実施形態において、ラベル付与部４３０によって、ＢＢＯＸの種類のラベルと、ＢＢＯＸが移動体であるか否かを表す移動体フラグのラベルと、移動体であることを表す移動体フラグである移動体オンフラグが付されたＢＢＯＸの位置のラベルと、移動体オンフラグが付されたＢＢＯＸの速度のラベルと、移動体オンフラグが付されたＢＢＯＸの前後に、他のＢＢＯＸがあるか否かを表す前後フラグのラベルと、ＢＢＯＸの寸法のラベルが付される。なお、グループの種類と、移動体オンフラグが付されたグループの速度と、移動体オンフラグが付されたグループの前後に他のグループがあるか否かを表す前後フラグと、が付与されなくてもよく、このうちのいずれか１つ以上のラベルが付与されてもよい。また、ＢＢＯＸの寸法のラベルが付与されなくてもよい。
（１）上記実施形態において、ラベル付与部４３０によって、ＢＢＯＸの種類のラベルと、ＢＢＯＸが移動体であるか否かを表す移動体フラグのラベルと、移動体であることを表す移動体フラグである移動体オンフラグが付されたＢＢＯＸの位置のラベルと、移動体オンフラグが付されたＢＢＯＸの速度のラベルと、移動体オンフラグが付されたＢＢＯＸの前後に、他のＢＢＯＸがあるか否かを表す前後フラグのラベルと、ＢＢＯＸの寸法のラベルが付される。なお、グループの種類と、移動体オンフラグが付されたグループの速度と、移動体オンフラグが付されたグループの前後に他のグループがあるか否かを表す前後フラグと、が付与されなくてもよく、このうちのいずれか１つ以上のラベルが付与されてもよい。また、ＢＢＯＸの寸法のラベルが付与されなくてもよい。
【0094】
Ｆ４．他の実施形態４：
（１）周囲の情報を取得する装置として、ミリ波レーダと、ソナーと、赤外線またはレーザ光を利用した装置と、のうち、２つ以上を使用してもよい。２つ以上の装置によって異なる時刻に取得された三次元のデータの取得時刻における位置に、移動体オンフラグが付されたグループを置き換えることによって、三次元のデータの取得時刻と関連付けてもよい。また、周囲の情報を取得する装置として、ミリ波レーダと、ソナーと、赤外線またはレーザ光を利用した装置と、のうち、２つ以上に加えて、画像センサを使用してもよい。周囲の情報を取得する装置を、周囲情報取得部ともいう。
（１）周囲の情報を取得する装置として、ミリ波レーダと、ソナーと、赤外線またはレーザ光を利用した装置と、のうち、２つ以上を使用してもよい。２つ以上の装置によって異なる時刻に取得された三次元のデータの取得時刻における位置に、移動体オンフラグが付されたグループを置き換えることによって、三次元のデータの取得時刻と関連付けてもよい。また、周囲の情報を取得する装置として、ミリ波レーダと、ソナーと、赤外線またはレーザ光を利用した装置と、のうち、２つ以上に加えて、画像センサを使用してもよい。周囲の情報を取得する装置を、周囲情報取得部ともいう。
【0095】
Ｆ５．他の実施形態５：
（１）上記実施形態において、点群の分類は、点群をグループ分けするアルゴリズムを用いて行い、ラベルの付与は、グループにラベルを付与するツールを用いて、自動で行っている。なお、点群をグループ分けするアルゴリズムを用いる方法と、グループにラベルを付与するツールを用いて、自動で、または、部分的に自動で、グループにラベルを付与する方法のうち、いずれか一つを用いてもよい。部分的に自動とは、例えば、手動によって、グループに「車両」のラベルが付され、グループにラベルを付与するツールによって、車両のラベルが付されたグループの位置のラベルが付される方法をいう。
（１）上記実施形態において、点群の分類は、点群をグループ分けするアルゴリズムを用いて行い、ラベルの付与は、グループにラベルを付与するツールを用いて、自動で行っている。なお、点群をグループ分けするアルゴリズムを用いる方法と、グループにラベルを付与するツールを用いて、自動で、または、部分的に自動で、グループにラベルを付与する方法のうち、いずれか一つを用いてもよい。部分的に自動とは、例えば、手動によって、グループに「車両」のラベルが付され、グループにラベルを付与するツールによって、車両のラベルが付されたグループの位置のラベルが付される方法をいう。
【0096】
Ｆ６．他の実施形態６：
（１）上記実施形態においては、互いに一定の時間間隔である０．１秒の間隔で取得された複数組の点群データのうち、全ての点群データを用いて、以降の処理を実行する。なお、異なる時間間隔で取得された複数組の点群データのうち、全ての点群データを用いてもよい。
（１）上記実施形態においては、互いに一定の時間間隔である０．１秒の間隔で取得された複数組の点群データのうち、全ての点群データを用いて、以降の処理を実行する。なお、異なる時間間隔で取得された複数組の点群データのうち、全ての点群データを用いてもよい。
【0097】
Ｆ７．他の実施形態７：
（１）上記第２実施形態において、互いに０．１秒の間隔で取得された複数組の点群データのうち、０．１秒の間隔の３倍の間隔における、点群データを用いている。例えば０．１秒の間隔の２倍や、５倍等、３倍以外の間隔における点群データを用いてもよい。
（１）上記第２実施形態において、互いに０．１秒の間隔で取得された複数組の点群データのうち、０．１秒の間隔の３倍の間隔における、点群データを用いている。例えば０．１秒の間隔の２倍や、５倍等、３倍以外の間隔における点群データを用いてもよい。
【0098】
（２）上記第２実施形態において、互いに０．１秒の間隔で取得された複数組の点群データのうち、全ての点群データについて、取得時刻と関連付けがされており、そのうち、０．１秒の間隔の３倍の間隔における、点群データを用いている。例えば、０．１秒の間隔で点群データ生成部によって点群データが生成され、そのうち、０．１秒の間隔の３倍の間隔における点群データのみが、取得時刻と関連付けされ、ステップＳ１００以降の処理が行われてもよい。
【0099】
Ｅ８．他の実施形態８：
（１）上記実施形態において、処理部４０は、ＢＢＯＸの移動経路を、ＢＢＯＸ１の動きを等速直線運動に近似することで予測する。なお、処理部は、カルマンフィルタ、または粒子フィルタを用いて、移動体オンフラグが付されたグループまたはＢＢＯＸの移動経路を非線形的に予測してもよい。
（１）上記実施形態において、処理部４０は、ＢＢＯＸの移動経路を、ＢＢＯＸ１の動きを等速直線運動に近似することで予測する。なお、処理部は、カルマンフィルタ、または粒子フィルタを用いて、移動体オンフラグが付されたグループまたはＢＢＯＸの移動経路を非線形的に予測してもよい。
【0100】
Ｆ９．他の実施形態９：
（１）上記実施形態において、画像データの取得時刻に対して、最も近い時刻に取得された点群データと、２番目に近い時刻に取得された点群データが使用されている。なお、例えば最も近い時刻と、３番目に近い時刻に取得された点群データのみが使用されてもよく、２番目に近い時刻と、４番目に近い時刻に取得された点群データのみが使用されるなど、最も近い時刻に取得された点群データと、２番目に近い時刻に取得された点群データ以外が使用されてもよい。
（１）上記実施形態において、画像データの取得時刻に対して、最も近い時刻に取得された点群データと、２番目に近い時刻に取得された点群データが使用されている。なお、例えば最も近い時刻と、３番目に近い時刻に取得された点群データのみが使用されてもよく、２番目に近い時刻と、４番目に近い時刻に取得された点群データのみが使用されるなど、最も近い時刻に取得された点群データと、２番目に近い時刻に取得された点群データ以外が使用されてもよい。
【0101】
Ｆ１０．他の実施形態１０：
（１）上記第実施形態において、関連データの取得時刻に対して、３番目に近い時刻に取得された点群データが使用されている。なお、例えば４番目や５番目や６番目等、３番目に近い時刻よりも遠い時刻に取得された点群データが使用されてもよい。また、取得された点群データが全て使用されてもよい。
（１）上記第実施形態において、関連データの取得時刻に対して、３番目に近い時刻に取得された点群データが使用されている。なお、例えば４番目や５番目や６番目等、３番目に近い時刻よりも遠い時刻に取得された点群データが使用されてもよい。また、取得された点群データが全て使用されてもよい。
【0102】
（２）第３実施形態において、画像データ取得時刻５と、第５時刻とのずれは、０．０４秒である。例えば画像データ取得時刻５と、第４時刻および第５時刻とのずれが共に０．０５秒であり、画像データ取得時刻５と、第３時刻および第６時刻とのずれが共に０．１５秒である態様において、画像データ取得時刻５から最も近い時刻として第５時刻が位置づけられ、２番目に近い時刻として第４時刻が位置づけられ、３番目に近い時刻として第６時刻が位置づけられてもよい。また、画像データ取得時刻５から最も近い時刻を第４時刻と位置づけ、２番目に近い時刻として第５時刻を位置づけ、３番目に近い時刻として第３時刻を位置づけてもよい。
【0103】
３番目に近い時刻が、最も近い時刻と前記２番目に近い時刻よりも、前の時刻である態様や、３番目に近い時刻が、最も近い時刻と２番目に近い時刻よりも、後の時刻である態様のように、異なる時刻に取得された点群データの、様々な組み合わせを用いることができる。
【0104】
Ｆ１１．他の実施形態１１：
（１）上記第１実施形態において、第３時刻と、画像データ取得時刻４との間のずれは、０．０４秒である。なお、画像データ取得時刻と、点群データが取得される時刻と、のずれは、０．０５秒や０．１秒や０．５秒など、０．０４秒とは異なる秒数であってもよい。複数組の点群データの取得時刻のうち、関連データの取得時刻に最も近い取得時刻と、関連データの取得時刻とのずれが、０．１ミリ秒から１秒であることが望ましい。
（１）上記第１実施形態において、第３時刻と、画像データ取得時刻４との間のずれは、０．０４秒である。なお、画像データ取得時刻と、点群データが取得される時刻と、のずれは、０．０５秒や０．１秒や０．５秒など、０．０４秒とは異なる秒数であってもよい。複数組の点群データの取得時刻のうち、関連データの取得時刻に最も近い取得時刻と、関連データの取得時刻とのずれが、０．１ミリ秒から１秒であることが望ましい。
【0105】
Ｆ１２．他の実施形態１２：
（１）上記実施形態において、関連付け装置１０は、表示部６０とデータ変換部４６０と、を備えている。なお、関連付け装置は、表示部やデータ変換部を備えていなくてもよい。
（１）上記実施形態において、関連付け装置１０は、表示部６０とデータ変換部４６０と、を備えている。なお、関連付け装置は、表示部やデータ変換部を備えていなくてもよい。
【0106】
本開示は、上述の実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【0107】
１…車両、１０…関連付け装置、２０…点群データ生成部、３０…画像センサ、４０…処理部、５０…記憶部、６０…表示部、７０…測距装置、２１０…走査部、２２０…受光部、２３０…制御部、４１０…時刻付与部、４２０…グループ作成部、４３０…ラベル付与部、４４０…経路予測部、４５０…位置再取得部、４６０…データ変換部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】