特許 7619700 データ処理装置、及び、データ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-01-14

(45)【発行日】2025-01-22

(54)【発明の名称】データ処理装置、及び、データ処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20250115BHJP

【ＦＩ】

G06T19/00 A

【請求項の数】 7

(21)【出願番号】P 2024146807

(22)【出願日】2024-08-28

【審査請求日】2024-08-28

【早期審査対象出願】

(73)【特許権者】

【識別番号】723009858

【氏名又は名称】株式会社ＳＹＭＭＥＴＲＹ

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】沼倉 正吾

(72)【発明者】

【氏名】ケラネン トンミ

【審査官】中田 剛史

(56)【参考文献】

【文献】特開２０２３－１６５４５３（ＪＰ，Ａ）

【文献】特表２０２３－５２６３２９（ＪＰ，Ａ）

【文献】特開２０２４－０２２８８８（ＪＰ，Ａ）

【文献】国際公開第２０１８／０２０９５４（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０６７２０４（ＷＯ，Ａ１）

【文献】特開２０１７－１０２８３８（ＪＰ，Ａ）

【文献】特表２０２４－５１９３６１（ＪＰ，Ａ）

【文献】国際公開第２０２３／１４５０２６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

現実空間を模した仮想空間と、前記仮想空間に配置された対象物と、前記仮想空間を移動可能な第１の点群センサを有する第１の移動体と、前記仮想空間を移動可能な第２の点群センサを有する、前記第１の移動体とは種類の異なる第２の移動体と、を管理する仮想空間管理部と、
前記第１の移動体の前記第１の点群センサが第１の位置から前記対象物をセンシングして得た第１の点群データと、前記第１の移動体の種類と、前記第１の点群データにおける前記対象物の領域及び種類を示す第１の対象物セグメント情報とを対応付けて計測情報テーブルに格納し、前記第２の移動体の前記第２の点群センサが前記第１の位置と異なる第２の位置から前記対象物をセンシングして得た第２の点群データと前記第２の移動体の種類と、前記第２の点群データにおける前記対象物の領域及び種類を示す第２の対象物セグメント情報とを対応付けて前記計測情報テーブルに格納する情報取得部と、
前記計測情報テーブルに格納された情報を使用して、前記現実空間を移動可能な移動体が備える点群センサが得た点群データに対するセグメンテーションを行うＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の学習を行うＡＩ学習部と、を備え、
前記ＡＩ学習部は、前記計測情報テーブルに格納された前記第１の移動体の種類及び前記第１の点群データを入力データとし、前記第１の対象物セグメント情報を正解データとして前記ＡＩの学習を行い、前記計測情報テーブルに格納された前記第２の移動体の種類及び前記第２の点群データを入力データとし、前記第２の対象物セグメント情報を正解データとして前記ＡＩの学習を行う、
データ処理装置。

【請求項2】

前記第１の移動体と前記第２の移動体とは、移動速度が互いに異なる、
請求項１に記載のデータ処理装置。

【請求項3】

前記第１の移動体又は第２の移動体の種類は、自動車、バイク、自転車、人、飛行物体、又は、ドローンである、
請求項１に記載のデータ処理装置。

【請求項4】

前記第１の点群センサと前記第２の点群センサとは、性能が互いに異なる、
請求項１に記載のデータ処理装置。

【請求項5】

前記情報取得部は、
前記第１の点群データに前記第１の移動体の種類及び前記第１の点群センサの性能を対応付け、前記第２の点群データに前記第２の移動体の種類及び前記第２の点群センサの性能を対応付けて、前記計測情報テーブルに格納する、
請求項４に記載のデータ処理装置。

【請求項6】

前記仮想空間管理部は、前記仮想空間に配置された移動しない第３の点群センサをさらに管理し、
前記情報取得部は、
前記第３の点群センサが前記対象物をセンシングして得た第３の点群データを取得し、
前記第３の点群データを前記計測情報テーブルに格納する、
請求項１に記載のデータ処理装置。

【請求項7】

現実空間を模した仮想空間と、前記仮想空間に配置された対象物と、前記仮想空間を移動可能な第１の点群センサを有する第１の移動体と、前記仮想空間を移動可能な第２の点群センサを有する、前記第１の移動体とは種類の異なる第２の移動体と、を管理し、
前記第１の移動体の前記第１の点群センサが第１の位置から前記対象物をセンシングして得た第１の点群データと、前記第１の移動体の種類と、前記第１の点群データにおける前記対象物の領域及び種類を示す第１の対象物セグメント情報とを対応付けて計測情報テーブルに格納し、前記第２の移動体の前記第２の点群センサが前記第１の位置と異なる第２の位置から前記対象物をセンシングして得た第２の点群データと前記第２の移動体の種類と、前記第２の点群データにおける前記対象物の領域及び種類を示す第２の対象物セグメント情報とを対応付けて前記計測情報テーブルに格納し、
前記計測情報テーブルに格納された情報を使用して、前記現実空間を移動可能な移動体が備える点群センサが得た点群データに対するセグメンテーションを行うＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の学習を行い、
前記ＡＩの学習において、前記計測情報テーブルに格納された前記第１の移動体の種類及び前記第１の点群データを入力データとし、前記第１の対象物セグメント情報を正解データとして前記ＡＩの学習を行い、前記計測情報テーブルに格納された前記第２の移動体の種類及び前記第２の点群データを入力データとし、前記第２の対象物セグメント情報を正解データとして前記ＡＩの学習を行う、
データ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、データ処理装置、及び、データ処理方法に関する。

【背景技術】

【0002】

深層学習などを利用した人工知能（ＡＩ；Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を機械学習させるためには、大量の学習データが必要である。点群データを認識する人工知能の場合、点群データの各領域（セグメント）に対して正解ラベルを付けたデータを大量に準備する必要があるが、これを人手で行うと時間と手間がかかる。

【0003】

そこで、現実空間を模した仮想空間を利用して、点群データを取得し、その正解ラベルを自動で付けることが考えられている。仮想空間は、既知のモデルを組み合わせて作製されているので、それを構成する各部分が何であるかが判明している。そのため、仮想空間内で点群データを取得すれば、その領域が何であるかを示す正解ラベルを自動で付与することができ、大量の学習データを時間と手間をかけずに作成することができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２３－１６５４５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

現実空間において点群データを取得するセンサ（例えばＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ））は、様々な種類の移動体（例えば自動車、ドローン等）に備えられて利用されており、移動体の種類によって得られる点群データの特徴は異なる。そのため、例えば特許文献１に開示される、仮想空間において人が手に持ったスマートフォンで収集した点群データだけでは、人工知能の学習には不十分である。

【0006】

本開示の目的は、物体を様々な位置からセンシングした大量の点群データを効率的に収集することができる技術を提供することにある。

【課題を解決するための手段】

【0007】

本開示の一態様は、現実空間を模した仮想空間と、前記仮想空間に配置された対象物と、前記仮想空間を移動可能な第１の点群センサを有する第１の移動体と、前記仮想空間を移動可能な第２の点群センサを有する第２の移動体と、を管理する仮想空間管理部と、前記第１の移動体の前記第１の点群センサが第１の位置から前記対象物をセンシングして得た第１の点群データと、前記第２の移動体の前記第２の点群センサが前記第１の位置と異なる第２の位置から前記対象物をセンシングして得た第２の点群データとを、計測情報テーブルに格納する情報取得部と、を備える、データ処理装置を提供する。

【0008】

本開示の一態様は、現実空間を模した仮想空間と、前記仮想空間に配置された対象物と、前記仮想空間を移動可能な第１の点群センサを有する第１の移動体と、前記仮想空間を移動可能な第２の点群センサを有する第２の移動体と、を管理し、前記第１の移動体の前記第１の点群センサが第１の位置から前記対象物をセンシングして得た第１の点群データと、前記第２の移動体の前記第２の点群センサが前記第１の位置と異なる第２の位置から前記対象物をセンシングして得た第２の点群データとを、計測情報テーブルに格納する、データ処理方法を提供する。

【0009】

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0010】

本開示によれば、物体を様々な位置からセンシングした大量の点群データを効率的に収集することができる。

【図面の簡単な説明】

【0011】

【図1】本実施の形態に係るデータ処理装置の構成例を示すブロック図である。

【図2】本実施の形態に係る仮想空間の一例を示す模式図である。

【図3】本実施の形態に係る計測情報テーブルの一例を示す図である。

【図4】本実施の形態に係る仮想空間における計測情報の収集方法の一例を示すフローチャートである。

【図5】本実施の形態に係るセグメンテーションＡＩの学習方法の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。また、本実施の形態で示される１つの構成が有する機能が２つ以上の物理的構成により実現されても、又は２つ以上の構成の機能が例えば１つの物理的構成によって実現されていても構わない。

【0013】

（本実施の形態）
＜システム構成＞
図１は、本実施の形態に係るデータ処理装置１００の構成例を示すブロック図である。

【0014】

データ処理装置１００は、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信部１０４と、入力部１０５と、表示部１０６とを備える。

【0015】

プロセッサ１０１は、メモリ１０２又はストレージ１０３からプログラム及びデータを読み出して処理することにより、本実施の形態に係るデータ処理装置１００が有する機能を実現する。機能の詳細については後述する。プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、制御装置又はコントローラ等と読み替えられてもよい。また、プロセッサ１０１は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＮＰＵ（Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んでもよい。

【0016】

メモリ１０２は、揮発性記憶媒体及び／又は不揮発性記憶媒体によって構成され、プログラム及びデータを記憶する。メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と読み替えられてもよい。

【0017】

ストレージ１０３は、不揮発性記憶媒体（例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等）によって構成され、プログラム及びデータを記憶する。

【0018】

通信部１０４は、通信ネットワーク５０を通じて、他の装置（例えば端末６０）とデータを送受信する。通信ネットワーク５０の例として、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、インターネット、移動体通信網等が挙げられる。

【0019】

入力部１０５は、ユーザが指示を入力するための装置であり、例えばキーボード、マウス、タッチパッド、タッチパネル、マイク等である。

【0020】

表示部１０６は、画像又は情報等を表示するための装置であり、例えば液晶ディスプレイ、有機ＥＬディスプレイ等である。

【0021】

データ処理装置１００は、機能として、仮想空間管理部１１１と、情報取得部１１２と、ＡＩ学習部１１３と、セグメンテーションＡＩ１２０と、計測情報テーブル２００とを有する。次に、図２を参照して、仮想空間管理部１１１について説明する。

【0022】

なお、本実施の形態では、ユーザがデータ処理装置１００を直接操作する例を説明するが、ユーザは通信ネットワーク５０に接続されている端末６０を通じて、データ処理装置１００を操作してもよい。端末６０の例として、ＰＣ、タブレット端末、スマートフォン等が挙げられる。

【0023】

図２は、本実施の形態に係る仮想空間１０の一例を示す模式図である。

【0024】

仮想空間管理部１１１は、現実空間を模した仮想空間１０を管理及び制御する。図２に例示するように、仮想空間管理部１１１は、現実空間の物体を模した仮想的な物体（３Ｄオブジェクト）を配置した仮想空間１０を生成する。例えば、仮想空間１０には、建物、道路、ガードレール、歩道、橋梁、信号機、電柱等の移動しない静止体１１と、自動車１３、ドローン１４、自転車（図示しない）、人１５が所持するスマートフォン１６、飛行物体（図示しない）、バイク（図示しない）等の移動可能な移動体１２とが配置される。また、仮想空間管理部１１１は、仮想空間１０において現実空間の物理法則を模した物体の挙動を制御する。つまり、仮想空間管理部１１１は、仮想空間１０において、現実空間のエミュレーションを行う。

【0025】

仮想空間管理部１１１は、図２に例示するような仮想空間１０の状況を表示部１０６に表示してよい。

【0026】

また、仮想空間管理部１１１は、仮想空間１０における、移動体１２の移動を制御する。移動体１２の移動は、ユーザが入力部１０５を通じて手動で行ってもよいし、仮想空間管理部１１１が予め設定されたルート又はルールに基づいて自動的に行ってもよい。

【0027】

移動体１２には、仮想空間１０において、物体をセンシングして３次元の点群データを取得可能な点群センサ２０が設けられる。点群センサ２０は、現実空間におけるＬｉＤＡＲ等を模したものであってよい。つまり、点群センサ２０は、仮想空間１０において、レーザを照射し、そのレーザが物体に反射した反射光に基づいて、点群データを生成する。

【0028】

また、仮想空間１０の移動体１２が備える点群センサ２０は、現実空間において実際の移動体が備える点群センサの位置及び性能を模したものであってよい。例えば、移動体１２の種類が自動車の場合、仮想空間１０の自動車１３が備える点群センサ２０は、実際の自動車が備えるＬｉＤＡＲの位置及び性能を模したものであってよい。これにより、仮想空間１０において、より現実空間に近い点群データを取得することができる。

【0029】

図２では、仮想空間１０における、自動車１３、ドローン１４、人１５が所持するスマートフォン１６にそれぞれ点群センサ２０が設けられている。なお、点群センサ２０は、移動体１２に限らず静止体１１に設けられてもよい。例えば、仮想空間１０の電柱、壁面又は信号機等に点群センサ２０が設けられてもよい。

【0030】

仮想空間管理部１１１は、仮想空間１０における各静止体１１の位置及び形状等を管理する。また、仮想空間管理部１１１は、仮想空間１０における各移動体１２を一意に識別するための移動体ＩＤと、各移動体１２の形状と、各移動体１２の種類と、各移動体１２が備える点群センサ２０の性能とを管理する。また、仮想空間管理部１１１は、仮想空間１０における各移動体１２の各時刻での位置、姿勢、速度、移動方向を管理する。また、仮想空間管理部１１１は、仮想空間１０における各移動体１２の点群センサ２０が各時刻にてセンシングして得た点群データを管理する。すなわち、仮想空間管理部１１１は、仮想空間１０に関するすべての情報を管理する。

【0031】

図１の説明に戻る。

【0032】

情報取得部１１２は、仮想空間管理部１１１と連携して、仮想空間１０における各静止体１１の情報を取得する。また、情報取得部１１２は、仮想空間管理部１１１と連携して、仮想空間１０における各移動体１２の情報を取得する。また、情報取得部１１２は、仮想空間管理部１１１と連携して、仮想空間１０における各静止体１１及び／又は各移動体１２が有する点群センサ２０がセンシングして得た点群データを取得する。また、情報取得部１１２は、取得した点群データに含まれる対象物３０の種類と、点群データにおける当該対象物３０の領域とを特定する。情報取得部１１２は、これらの情報を計測情報テーブル２００に格納する。なお、情報取得部１１２が行う処理の詳細については後述する（図４参照）。

【0033】

計測情報テーブル２００は、情報取得部１１２が仮想空間１０から取得した情報等が格納される。なお、計測情報テーブル２００の詳細については後述する（図３参照）。

【0034】

ＡＩ学習部１１３は、計測情報テーブル２００に格納された情報を用いて、セグメンテーションＡＩ１２０の学習を行う。セグメンテーションＡＩ１２０は、点群データに対してセマンティックセグメンテーションを行うためのＡＩである。例えば、セグメンテーションＡＩ１２０は、点群データを入力すると、当該点群データに含まれる物体の種類（セマンティック）と、当該点群データにおける当該物体の領域（セグメント）とを出力する。なお、ＡＩ学習部１１３及びセグメンテーションＡＩ１２０の詳細については後述する（図５参照）。

【0035】

＜計測情報テーブル＞
図３は、本実施の形態に係る計測情報テーブル２００の一例を示す図である。

【0036】

図３に示すように、計測情報テーブル２００は、項目として、時刻２０１と、移動体ＩＤ２０２と、移動体種類２０３と、移動体位置２０４と、移動体姿勢２０５と、移動体速度２０６と、移動体移動方向２０７と、点群センサ性能２０８と、点群データ２０９と、対象物セグメント情報２１０とを有する。ただし、計測情報テーブル２００は、これらの項目の一部を有する構成であってもよい。

【0037】

時刻２０１は、仮想空間１０における時刻を示す。なお、時刻に代えて、仮想空間１０における所定の時刻からの経過時間が用いられてもよい。

【0038】

移動体ＩＤ２０２は、仮想空間１０における移動体１２を一意に識別するためのＩＤである。

【0039】

移動体種類２０３は、移動体ＩＤ２０２の移動体１２の種類を示す。移動体種類２０３として、例えば、自動車、ドローン、自転車、人が所持するスマートフォン、飛行物体、バイク等が挙げられる。

【0040】

移動体位置２０４は、時刻２０１における、移動体ＩＤ２０２の移動体１２の位置を示す。移動体位置２０４は、仮想空間１０における３次元座標（ｘ，ｙ，ｚ）で示されてよい。

【0041】

移動体姿勢２０５は、時刻２０１における、移動体ＩＤ２０２の移動体１２の姿勢を示す。移動体姿勢２０５は、仮想空間１０の３次元座標に対するロール角（θ）、ピッチ角（φ）、ヨー角（ψ）で示されてよい。

【0042】

移動体速度２０６は、時刻２０１における、移動体ＩＤ２０２の移動体１２の移動速度を示す。

【0043】

移動体移動方向２０７は、時刻２０１における、移動体ＩＤ２０２の移動体１２の移動方向を示す。移動体移動方向２０７は、仮想空間１０における３次元ベクトル（ａ，ｂ，ｃ）で示されてよい。

【0044】

点群センサ性能２０８は、移動体ＩＤ２０２の移動体１２が備える点群センサ２０の性能を示す。点群センサ性能２０８は、例えば、点群センサ２０のセンシング方式、点群センサ２０のセンシング周期、点群センサ２０がセンシング可能な距離及び範囲等である。各移動体１２が備える点群センサ２０の性能の情報は、仮想空間管理部１１１が予め保持してよい。

【0045】

点群データ２０９は、移動体ＩＤ２０２の移動体１２が備える点群センサ２０が、時刻２０１に計測した点群データを示す。

【0046】

対象物セグメント情報２１０は、点群データ２０９に含まれる対象物３０のセグメントを示す情報である。ここで、対象物３０は、仮想空間１０に存在する物体の１つである。本実施の形態では、仮想空間１０に存在する物体のうち、着目する１つの物体を対象物３０と称している。つまり、対象物３０は物体と読み替えられてよい。対象物３０は、静止体１１又は移動体１２のいずれであってもよい。対象物３０は、仮想空間１０に存在する物体の中からユーザが選択してもよい。対象物セグメント情報２１０は、点群データ２０９に含まれる物体の種類（セマンティック）を示す情報と、当該点群データ２０９における当該物体の領域（セグメント）を示す情報とを含んでよい。

【0047】

例えば、図３に示す１行目は、仮想空間１０に存在する移動体ＩＤ「１」の移動体１２である自動車１３は、時刻「ｔ１」において、（ｘ１，ｙ１，ｚ１）に位置し、（θ１，φ１，ψ１）の姿勢であり、速度「ｖ１」で（ａ１，ｂ１，ｃ１）の方向に移動しており、「性能１」の点群センサ２０を備え、当該点群センサ２０によって「第１の点群データ」が計測されたことを示す。さらに、当該１行目の対象物セグメント情報は、当該第１の点群データに対象物Ａ（例えば図２の場合の対象物３０は「橋梁」）が含まれることと、当該第１の点群データにおける対象物Ａの領域（セグメント）とを示す。

【0048】

例えば、図３に示す２行目は、仮想空間１０に存在する移動体ＩＤ「２」の移動体１２であるドローン１４は、時刻「ｔ１」において、（ｘ２，ｙ２，ｚ２）に位置し、（θ２、φ２、ψ２）の姿勢であり、速度「ｖ２」で（ａ２，ｂ２，ｃ２）の方向に移動しており、「性能２」の点群センサ２０を備え、当該点群センサ２０によって第２の点群データが計測されたことを示す。さらに、当該２行目の対象物セグメント情報は、当該第２の点群データに対象物Ａ（例えば図２の場合の対象物３０は「橋梁」が含まれることと、当該第２の点群データにおける対象物Ａの領域（セグメント）とを示す。

【0049】

なお、計測情報テーブル２００は、移動体１２に限らず、静止体１１が有する点群センサ２０が取得した情報が格納されてもよい。この場合、移動体ＩＤ２０２に静止体１１のＩＤが、移動体種類２０３に静止体１１の種類が、移動体位置２０４に静止体１１の位置が、点群センサ性能２０８に静止体１１が有する点群センサ２０の性能が格納されてよい。加えて、点群データ２０９に、静止体１１が有する点群センサ２０が取得した点群データが、対象物セグメント情報２１０に、当該点群データにおける対象物の種類及び領域を示すセグメント情報が格納されてよい。また、移動体姿勢２０５、移動体速度２０６及び移動体移動方向には、セロ又はＮＵＬＬが格納されてよい。

【0050】

＜仮想空間における情報の収集＞
図４は、本実施の形態に係る仮想空間１０における計測情報の収集方法の一例を示すフローチャートである。次に、図４を参照して、データ処理装置１００が仮想空間１０から計測情報を収集する方法（処理）について説明する。

【0051】

仮想空間管理部１１１は、仮想空間１０において、各移動体１２を移動させる（Ｓ１０１）。移動体１２の移動は、予め定められたルート又はルールに基づいて自動的に行われてもよいし、ユーザによって手動で行われてもよい。

【0052】

情報取得部１１２は、仮想空間管理部１１１と連携して、仮想空間１０において、同じ時刻にて、対象物３０をセンシング中の複数の移動体１２を特定する（Ｓ１０２）。対象物３０は、ユーザが予め指定してもよいし、情報取得部１１２が仮想空間１０に存在する物体の中から所定の条件に基づいて自動的に指定してもよい。また、対象物３０は、１つ指定されてもよいし、複数指定されてもよい。

【0053】

情報取得部１１２は、仮想空間管理部１１１と連携して、ステップＳ１０２で特定した対象物３０をセンシング中の各移動体１２について、センシングの時刻、移動体ＩＤ、移動体種類、移動体位置、移動体姿勢、移動体速度、移動体移動方向、点群センサ性能、点群データを取得する（Ｓ１０３）。

【0054】

情報取得部１１２は、仮想空間管理部１１１と連携して、ステップＳ１０３で得られた点群データに含まれる対象物３０のセグメント情報を特定する（Ｓ１０４）。仮想空間１０では対象物３０と移動体１２の相対的な位置及び姿勢等はすべて判明しているので、情報取得部１１２は、これらの情報に基づいて、点群データのどの領域が対象物３０のセグメントであるか及び対象物３０の種類を特定することができる。

【0055】

情報取得部１１２は、ステップＳ１０３で取得した各移動体１２の情報及び点群データと、ステップＳ１０４で特定した対象物３０のセグメント情報とを、計測情報テーブル２００の各項目（２０１～２１０）に格納する（Ｓ１０５）。そして、処理はステップＳ１０１に戻る。

【0056】

以上の処理により、図３に例示すように、計測情報テーブル２００には、様々な移動体１２が様々な位置及び方向等から対象物３０をセンシングして得た点群データ２０９とその点群データ２０９に含まれる対象物３０のセグメント情報とが格納される。さらに、計測情報テーブル２００には、そのセンシングしたときの移動体１２の位置、姿勢、速度等が格納される。

【0057】

例えば、図２に示す仮想空間１０の場合、同じ時刻ｔ１において、自動車１３の点群センサ２０が道路上から対象物３０である「橋梁」をセンシングして得た第１の点群データと、当該第１の点群データにおける対象物「橋梁」のセグメント情報と、ドローン１４が上空から同じ対象物３０である「橋梁」をセンシングして得た第２の点群データと、当該第２の点群データにおける対象物「橋梁」のセグメント情報とが、計測情報テーブル２００に格納される。

【0058】

このように、本実施の形態によれば、仮想空間１０において、対象物３０に対して様々な移動体１２がセンシングした点群データを同時に収集できる。よって、セグメンテーションＡＩ１２０の学習に使用するための大量の点群データを効率的に収集することができると共に、様々な移動体１２に特有の点群データを効率的に収集することができる。

【0059】

＜セグメンテーションＡＩの学習＞
図５は、本実施の形態に係るセグメンテーションＡＩ１２０の学習方法の一例を示すフローチャートである。次に、図５を参照して、データ処理装置１００が計測情報テーブル２００の情報を用いてセグメンテーションＡＩ１２０を学習する方法（処理）について説明する。

【0060】

ＡＩ学習部１１３は、学習の対象物３０を選択する（Ｓ２０１）。対象物３０は、ユーザが指定してもよいし、ＡＩ学習部１１３が仮想空間１０に存在する物体の中から所定の条件に基づいて指定してもよい。また、対象物３０は、１つ指定されてもよいし、複数指定されてもよい。

【0061】

ＡＩ学習部１１３は、計測情報テーブル２００から、ステップＳ２０１で選択された対象物３０に対応する対象物セグメント情報を有する行を抽出する（Ｓ２０２）。例えば、対象物３０として特定の「橋梁」が指定された場合、ＡＩ学習部１１３は、計測情報テーブル２００から、当該「橋梁」の対象物セグメント情報２１０を有する行（計測情報）を抽出する。なお、当該抽出した行（計測情報）は、教師データと読み替えられてもよい。

【0062】

ＡＩ学習部１１３は、ステップＳ２０２で抽出した行のうち未選択の１行を選択する（Ｓ２０３）。

【0063】

ＡＩ学習部１１３は、ステップＳ２０３で選択した行の移動体種類２０３及び点群データ２０９を入力データとし、当該選択した行の対象物セグメント情報２１０を正解データとして、セグメンテーションＡＩ１２０の学習を行う（Ｓ２０４）。

【0064】

ＡＩ学習部１１３は、ステップＳ２０２で抽出した行のすべてを選択したか否かを判定する（Ｓ２０５）。ＡＩ学習部１１３は、ステップＳ２０２で抽出した行のうち未選択の行が残っている場合（Ｓ２０５：ＮＯ）、処理をステップＳ２０３に戻す。ＡＩ学習部１１３は、ステップＳ２０２で抽出した行のすべてを選択した場合（Ｓ２０５：ＹＥＳ）、本処理を終了する。なお、ＡＩ学習部１１３は、他の対象物についても図５に示す処理を行ってよい。

【0065】

これにより、現実空間において移動体が備える点群センサがセンシングして得た点群データと、当該移動体の種類とを入力すると、当該点群データに対する物体の領域のセグメンテーションと当該物体の種類（ラベル）とを精度良く出力できるセグメンテーションＡＩ１２０を生成することができる。

【0066】

移動体の種類が異なると、同じ物体をセンシングした場合であっても、得られる点群データは異なり得る。例えば、自動車１３（移動体１２の一例）が道路上から橋梁（対象物３０の一例）をセンシングして得た点群データと、ドローン１４が上空から同じ橋梁をセンシングして得た点群データとでは、点群データにおける橋梁の領域（セグメント）は異なる。

【0067】

これに対して、本実施の形態に係るセグメンテーションＡＩ１２０は、仮想空間１０にて種類の異なる移動体１２のそれぞれから得られた点群データを用いて学習済みである。よって、セグメンテーションＡＩ１２０は、現実空間において種類の異なる移動体がそれぞれ得た点群データに対しても、物体のセグメンテーションを精度良く行うことができる。

【0068】

また、同じ物体をセンシングした場合であっても、移動体の姿勢及び速度等が異なると、得られる点群データの特性（例えばノイズ等）は異なり得る。例えば、ドローン１４が姿勢（θ２ａ，φ２ａ，ψ２ａ）にて速度ｖ２ａで飛行中に橋梁をセンシングして得た点群データと、同じドローン１４が姿勢（θ２ｂ，φ２ｂ，ψ２ｂ）にて速度ｖ２ｂで飛行中に橋梁をセンシングして得た点群データとでは、点群データの特徴は異なり得る。

【0069】

そこで、ＡＩ学習部１１３は、ステップＳ２０４において、ステップＳ２０３で選択した行の移動体種類２０３及び点群データ２０９に加えて、移動体姿勢２０５及び移動体速度２０６も入力データとし、当該選択した行の対象物セグメント情報２１０を正解データとして、セグメンテーションＡＩ１２０の学習を行ってもよい。

【0070】

これにより、現実空間において移動体がセンシングして得た点群データと、当該移動体の種類と姿勢と速度とを入力すると、当該点群データに対する物体の領域のセグメンテーションと当該物体の種類（ラベル）とを精度良く出力できるセグメンテーションＡＩ１２０を生成することができる。

【0071】

また、同じ物体をセンシングした場合であっても、点群センサ２０の性能によって得られる点群データの特性（例えば分解能又はノイズ等）は異なり得る。例えば、第１の性能の点群センサ２０にて橋梁をセンシングして得た点群データと、第２の性能の点群センサ２０にて橋梁をセンシングして得た点群データとでは、点群データの特徴は異なり得る。

【0072】

そこで、ＡＩ学習部１１３は、ステップＳ２０４において、ステップＳ２０３で選択した行の移動体種類２０３及び点群データ２０９に加えて、点群センサ性能２０８も入力データとし、当該選択した行の対象物セグメント情報２１０を正解データとして、セグメンテーションＡＩ１２０の学習を行ってよい。

【0073】

これにより、現実空間において移動体がセンシングして得た点群データと、当該移動体の点群センサの性能とを入力すると、当該点群データに対する物体の領域のセグメンテーションと当該物体の種類（ラベル）とを精度良く出力できるセグメンテーションＡＩ１２０を生成することができる。

【0074】

すなわち、ＡＩ学習部１１３は、計測情報テーブル２００における、移動体種類２０３、移動体位置２０４、移動体姿勢２０５、移動体速度２０６、移動体移動方向２０７、点群センサ性能２０８の少なくとも１つと、点群データ２０９とを入力データとし、対象物セグメント情報２１０を正解データとして、セグメンテーションＡＩ１２０の学習を行ってよい。

【0075】

（本実施の形態のまとめ）
以上の本実施の形態の記載により、下記の技術が開示される。

【0076】

＜技術１＞
本実施の形態に係るデータ処理装置（１００）は、現実空間を模した仮想空間（１０）と、前記仮想空間に配置された対象物（３０）と、前記仮想空間を移動可能な第１の点群センサ（２０）を有する第１の移動体（１２）と、前記仮想空間を移動可能な第２の点群センサ（２０）を有する第２の移動体（１２）と、を管理する仮想空間管理部（１１１）と、前記第１の移動体の前記第１の点群センサが第１の位置から前記対象物をセンシングして得た第１の点群データと、前記第２の移動体の前記第２の点群センサが前記第１の位置と異なる第２の位置から前記対象物をセンシングして得た第２の点群データとを、計測情報テーブル（２００）に格納する情報取得部（１１２）と、を備える。
これにより、仮想空間において、同じ対象物に対して、互いに異なる位置からセンシングして得た複数の点群データを計測情報テーブルに格納することができる。すなわち、対象物を様々な位置からセンシングした大量の点群データを効率的に収集することができる。

【0077】

＜技術２＞
技術１に記載のデータ処理装置において、前記第１の移動体と前記第２の移動体とは、種類が互いに異なる。
これにより、種類の異なる移動体からセンシングして得た複数の点群データを計測情報テーブルに格納することができる。すなわち、様々な種類の移動体から対象物をセンシングした大量の点群データを効率的に収集することができる。

【0078】

＜技術３＞
技術１又は２に記載のデータ処理装置において、前記第１の移動体と前記第２の移動体とは、移動速度が互いに異なる。
これにより、移動速度の異なる移動体からセンシングして得た複数の点群データを計測情報テーブルに格納することができる。すなわち、様々な移動速度の移動体から対象物をセンシングした大量の点群データを効率的に収集することができる。

【0079】

＜技術４＞
技術２又は３に記載のデータ処理装置において、前記第１の移動体又は第２の移動体の種類は、自動車、バイク、自転車、人、飛行物体、又は、ドローンである。
これにより、仮想空間において、自動車、バイク、自転車、人、飛行物体、又は、ドローンから取得した点群データを計測情報テーブルに格納することができる。

【0080】

＜技術５＞
請求項１から４のいずれか１つに記載のデータ処理装置において、前記第１の点群センサと前記第２の点群センサとは、性能が互いに異なる。
これにより、性能の異なる点群センサからセンシングして得た複数の点群データを計測情報テーブルに格納することができる。すなわち、様々な性能の点群センサから対象物をセンシングした大量の点群データを効率的に収集することができる。

【0081】

＜技術６＞
技術２から５のいずれか１つに記載のデータ処理装置において、前記情報取得部は、前記第１の点群データに前記第１の移動体の種類を対応付け、前記第２の点群データに前記第２の移動体の種類を対応付けて前記計測情報テーブルに格納する。
これにより、計測情報テーブルは、点群データを得た移動体の種類を当該点群データに対応付けて格納することができる。

【0082】

＜技術７＞
技術５に記載のデータ処理装置において、前記情報取得部は、前記第１の点群データに前記第１の移動体の種類及び前記第１の点群センサの性能を対応付け、前記第２の点群データに前記第２の移動体の種類及び前記第２の点群センサの性能を対応付けて、前記計測情報テーブルに格納する。
これにより、計測情報テーブルは、点群データを得た移動体の種類と点群センサの性能とを当該点群データに対応付けて格納することができる。

【0083】

＜技術８＞
技術１から７のいずれか１つに記載のデータ処理装置において、前記仮想空間に配置された移動しない第３の点群センサをさらに管理し、前記情報取得部は、前記第３の点群センサが前記対象物をセンシングして得た第３の点群データを取得し、前記第３の点群データを前記計測情報テーブルに格納する。
これにより、移動しない点群センサが対象物をセンシングして得た複数の第３の点群データを計測情報テーブルに格納することができる。

【0084】

＜技術９＞
技術１から８のいずれか１つに記載のデータ処理装置において、前記情報取得部は、前記第１の点群データに、前記第１の点群データにおける前記対象物の領域及び種類を示す対象物セグメント情報を対応付け、前記第２の点群データに、前記第２の点群データにおける前記対象物の領域及び種類を示す対象物セグメント情報を対応付けて、前記計測情報テーブルに格納する。
これにより、計測情報テーブルは、様々な移動体が得た点群データにおける対象物の領域及び種類を示す対象物セグメント情報を、当該点群データに対応付けて格納することができる。

【0085】

＜技術１０＞
技術９に記載のデータ処理装置において、前記計測情報テーブルに格納された情報を使用して、前記現実空間を移動可能な移動体が備える点群センサが得た点群データに対するセグメンテーションを行うＡＩ（例えばセグメンテーションＡＩ１２０）の学習を行うＡＩ学習部（１１３）、をさらに備える。
計測情報テーブルには仮想空間において様々な移動体がセンシングして得た点群データとそれに対応する対象物セグメント情報が大量に格納されているため、これによりＡＩ学習部は、現実空間において様々な移動体がセンシングして得た点群データに対して物体のセグメンテーションを行うＡＩの学習を効率的に行うことができる。

【0086】

＜技術１１＞
データ処理方法は、現実空間を模した仮想空間（１０）と、前記仮想空間に配置された対象物（３０）と、前記仮想空間を移動可能な第１の点群センサ（２０）を有する第１の移動体（１２）と、前記仮想空間を移動可能な第２の点群センサ（２０）を有する第２の移動体（１２）と、を管理し、前記第１の移動体の前記第１の点群センサが第１の位置から前記対象物をセンシングして得た第１の点群データと、前記第２の移動体の前記第２の点群センサが前記第１の位置と異なる第２の位置から前記対象物をセンシングして得た第２の点群データとを、計測情報テーブル（２００）に格納する。
これにより、仮想空間において、同じ対象物に対して、互いに異なる位置からセンシングして得た複数の点群データを計測情報テーブルに格納することができる。すなわち、対象物を様々な位置からセンシングした大量の点群データを効率的に収集することができる。

【0087】

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0088】

本開示の技術は、特性の異なる点群データの収集、点群データに関する人工知能の学習、及び、当該人工知能の利用に有用である。

【符号の説明】

【0089】

１０ 仮想空間
１１ 静止体
１２ 移動体
１３ 自動車
１４ ドローン
１５ 人
１６ スマートフォン
２０ 点群センサ
３０ 対象物
５０ 通信ネットワーク
６０ 端末
１００ データ処理装置
１０１ プロセッサ
１０２ メモリ
１０３ ストレージ
１０４ 通信部
１０５ 入力部
１０６ 表示部
１１１ 仮想空間管理部
１１２ 情報取得部
１１３ ＡＩ学習部
１２０ セグメンテーションＡＩ
２００ 計測情報テーブル
２０１ 時刻
２０２ 移動体ＩＤ
２０３ 移動体種類
２０４ 移動体位置
２０５ 移動体姿勢
２０６ 移動体速度
２０７ 移動体移動方向
２０８ 点群センサ性能
２０９ 点群データ
２１０ 対象物セグメント情報

【要約】

【課題】対象物を様々な位置からセンシングした大量の点群データを効率的に収集する。
【解決手段】データ処理装置は、現実空間を模した仮想空間と、仮想空間に配置された対象物と、仮想空間を移動可能な第１の点群センサを有する第１の移動体と、仮想空間を移動可能な第２の点群センサを有する第２の移動体と、を管理する仮想空間管理部と、第１の移動体の第１の点群センサが第１の位置から対象物をセンシングして得た第１の点群データと、第２の移動体の第２の点群センサが第１の位置と異なる第２の位置から対象物をセンシングして得た第２の点群データとを、計測情報テーブルに格納する情報取得部と、を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】