特開 2023-165453 データ処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023165453

(43)【公開日】2023-11-16

(54)【発明の名称】データ処理装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20231109BHJP

   G06T 7/00 20170101ALI20231109BHJP

   G06V 10/82 20220101ALI20231109BHJP

【ＦＩ】

G06T19/00 600

G06T7/00 350B

G06V10/82

【審査請求】有

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2022076456

(22)【出願日】2022-05-06

(11)【特許番号】

(45)【特許公報発行日】2023-03-13

(71)【出願人】

【識別番号】518144986

【氏名又は名称】シンメトリー・ディメンションズ・インク

【日本における営業所】東京都渋谷区代々木３－４５－２西参道Ｋハウス４Ｆ

(72)【発明者】

【氏名】ケラネン トンミ

(72)【発明者】

【氏名】瀬古 保次

(72)【発明者】

【氏名】沼倉 正吾

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050EA09

5B050EA27

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】データ処理装置において、人工知能の機械学習に利用するデータを収集する。
【解決手段】動体モデルと静止体モデルで構成された仮想現実空間１Ａの中で、人モデル２０にスマートフォン２２を持たせて点群データを取得させる。点群データは、現実世界でスマートフォンが撮影する点群データと類似していることから、現実世界の点群データを認識する人工知能の学習データに利用することができる。また、その学習データは、短時間で効率的に作成できる。
【選択図】図５

【特許請求の範囲】

【請求項1】

仮想現実空間と、前記仮想現実空間の中で動く第１動体モデルと、前記仮想現実空間の中で点群データを取得する点群取得機器モデルと、を備え、
前記仮想現実空間は、静止した静止体モデルと、動く動体モデルで構成され、
前記点群取得機器モデルは、前記第１動体モデルと連動して動くことを特徴とするデータ処理装置

【請求項2】

前記データ処理装置は、データ識別部を更に備え、
前記データ識別部は、前記点群取得機器モデルが取得した点群データの中から、前記静止体モデルの点群データと、前記動体モデルの点群データとを識別することを特徴とする請求項１に記載のデータ処理装置

【請求項3】

前記データ処理装置は、データ統合部を更に備え、
前記データ統合部は、前記静止体モデルの点群データを統合して、広範囲の点群データを生成することを特徴とする請求項２に記載のデータ処理装置

【請求項4】

前記データ処理装置は、ユーザーインターフェイス部を更に備え、
前記ユーザーインターフェイス部を用いた操作により、前記第１動体モデルが操作されることを特徴とする請求項１乃至３に記載のデータ処理装置

【請求項5】

前記第１動体モデルは、人間を模した動体モデルであり、前記第１動体モデルは、前記点群取得機器モデルを把持することを特徴とする請求項１乃至４に記載のデータ処理装置

【請求項6】

前記点群取得機器モデルが取得する点群データは、人工知能が機械学習するデータであることを特徴とする請求項１乃至５に記載のデータ処理装置

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、仮想現実空間を利用して、人工知能の機械学習に利用するデータを収集するデータ処理装置に関する。

【背景技術】

【0002】

深層学習などを利用した人工知能を機械学習させるためには、通常、大量の学習データが必要である。点群データを認識する人工知能の場合であれば、点群データの各領域に対して正解ラベルを付けたデータを大量に準備しなければならないが、これを人手で行うと時間と手間がかかるという問題がある。そこで、仮想現実空間を利用して、点群データを取得し、その正解ラベルを自動で付けて、人による手作業を無くす方法が提案されている（特許文献１参照）。

【0003】

仮想現実空間は、既知のモデルを組み合わせて作製されているので、それを構成する各部分が何であるかが判明している。そのため、仮想現実空間内で点群データを取得すれば、その領域が何であるかを示すラベルを自動で付与することが可能で、大量の学習データを時間と手間をかけずに作成することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－１９１８７４

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１で提案されている手法では、点群データを取得する仮想現実空間は、静止状態の物体モデルで構築されており、車や人などの移動体や、一時的に設置される工事中のフェンスなどが入り混じっている現実世界とは異なる、という問題がある。また、現実世界の中で、ＬｉＤＡＲ（Light Detection and Ranging）などを搭載したスマートフォンを、人が手に持って取得した点群は、ＬｉＤＡＲそのものが手と連動して動くために、静止状態の物体モデルで構築された仮想現実空間で取得する点群データとは異なるという問題があった。

【0006】

本開示は、上記事情に鑑みてなされたものであり、現実世界で点群データを取得する状況に近い状況を、仮想現実空間の中に実現し、そこで点群データを取得して、現実世界で取得する点群データに近い点群データを仮想現実空間から取得することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一態様は、仮想現実空間と、前記仮想現実空間の中で動く第１動体モデルと、前記仮想現実空間の中で点群データを取得する点群取得機器モデルと、を備え、前記仮想現実空間は、静止した静止体モデルと、動く動体モデルで構成され、前記点群取得機器モデルは、前記第１動体モデルと連動して動くことを特徴とするデータ処理装置、である。

【発明の効果】

【0008】

本開示によれば、現実世界で点群データを取得する状況と類似した仮想現実空間の状況で、点群を取得できるため、仮想現実で取得した点群データが現実に取得した点群データと近いという効果がある。そのため、仮想現実空間を利用して取得した点群データを用いて人工知能を機械学習させた後、その人工知能を現実世界の点群データの認識に利用することができるという効果がある。さらには、仮想現実空間では、点群データを取得する対象物が予め判明しているので、点群データが何を対象とした点群データであるかを示すラベル付けが容易にできるという効果がある。そのため、短い時間で、大量にラベル付けをした点群データを生成できるという効果がある。

【図面の簡単な説明】

【0009】

【図1】本実施の形態に係る仮想現実空間を利用した点群データ取得のシステム構成の例を示す表である。

【図2】（ａ）本実施の形態に係るサーバ装置のハードウェア構成の例を示す図である。（ｂ）本実施の形態に係る端末装置のハードウェア構成の例を示す図である。

【図3】（ａ）本実施の形態に係る仮想現実空間制御管理部の機能構成の例を示す図である。（ｂ）本実施の形態に係る仮想現実空間ソフトの機能構成の例を示す図である。

【図4】本実施の形態に係る仮想現実空間を構成するモデルのリストの例を示す表

【図5】本実施の形態に係る仮想現実空間の構成と、その中で点群データを取得する方法の例を示す図である。

【図6】本実施の形態に係る仮想現実空間を利用した点群データの取得と生成の例を示すフローチャートである。

【図7】本実施の形態に係るＬｉＤＡＲによる点群データ取得のプロセスの例を示す図である。（ａ）最初の位置からの点群データ取得、（ｂ）ＬｉＤＡＲの角度を変えた点群データ取得、（ｃ）ＬｉＤＡＲの位置を変えた点群データ取得

【図8】本実施の形態に係るニューラルネットワークと学習データの関係の例を示す図である。

【発明を実施するための形態】

【0010】

以下、適宜図面を参照しながら、本実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明や実質的に同一の構成に対する重複説明は省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0011】

本実施の形態で示される１つの構成が有する機能が２つ以上の物理的構成により実現されても、又は２つ以上の構成の機能が例えば１つの物理的構成によって実現されていても構わない。

【0012】

＜本実施の形態＞
以下、本願発明の本実施の形態について説明する。

【0013】

（システム構成）
図１は、仮想現実空間を利用した点群データ取得のシステム構成の例を示す図である。サーバ装置４と端末装置４は通信ネットワーク１０を介して通信可能な状態で接続されている。通信ネットワーク１０の通信方法として有線／無線を特に限定するものではない。サーバ装置４は、仮想現実空間１と仮想現実空間制御管理部６と点群データを含んでいる。端末装置は、仮想現実空間１と連携する仮想現実ソフト８とＵＩ（ユーザーインターフェイス）部９と表示部７７を含んでいる。

【0014】

サーバ装置４の中にある仮想現実空間１は、動くことができる動体モデル２と静止した静止体モデル３で構成される。動体モデル２は、人や動物、車、飛行機等の３次元モデルであり、静止体モデル３は、道路や建物、山や田畑などの３次元モデルである。仮想現実空間制御管理部６は、仮想現実空間１を構成する３次元モデルの作成、制御、管理を行う。点群データ部５は、仮想現実空間の中で取得した点群データを保存する。

【0015】

端末装置７の中にある仮想現実空間ソフト８は、サーバ装置４の仮想現実空間１と、通信ネットワーク１０を介して通信しており、ＵＩ部９を用いて、仮想現実空間１を操作することができる。また、仮想現実空間ソフト８は仮想現実空間１を表示部７７に表示する。

【0016】

ＵＩ部９は、仮想現実空間１を作成するための入力機能を持ち、動体モデル２や静止体モデル３を作成することができる。また、動体モデル２や静止体モデル３を仮想現実空間１の中に配置して、所望の仮想現実空間を作成することができる。

【0017】

（ハードウェア構成）
図２（ａ）はサーバ装置４のハードウェア構成を、図２（ｂ）は端末装置７のハードウェア構成を示す。サーバ装置４と端末装置７の基本的な部分の構成は同じであり、サーバ装置４の入力部４０，出力部４１、メモリ部４２、プロセッサ部４３、ストレージ部４４、通信部４５は、端末装置７の入力部７０、出力部７１、メモリ部７２、プロセッサ部７３、ストレージ部７４、通信部７７に対応して、同じ構成である。端末装置７はそれに加えて、コントローラ部７６と表示部７７を備えている。

【0018】

入力部４０、７０は、キーボート、マウス、マイク、又はカメラなどの入力デバイスで構成され、文字入力、カーソル入力、音声入力、画像入力等の機能を有する。出力部５１、７１は、液晶や有機ＥＬなどの表示デバイスと、スピーカなどの音声出力デバイスで構成され、画像表示、テキスト表示の機能と、音声出力の機能を有する。メモリ部４２、７２は、ＲＡＭ（Random Access Memory）などの揮発性記憶領域で構成され、プロセッサ部４３、７３の処理を補助する短期的な記憶領域の機能を果たす。プロセッサ部４３、７３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（ Graphics Processing Unit）で構成され、制御処理と演算処理の機能を有する。ストレージ部４４、７４は、ＳＳＤ（Solid State Drive）やＨＤＤ（ Hard Disk Drive）などの不揮発性記憶領域で構成され、フラッシュメモリや磁気ディスクなどを利用して、データの長期的な記憶機能を有する。通信部４５、７５は通信ネットワーク１０を介して外部と通信する機能を有する。通信部４５、７５は通信プロトコルを用いて、ネットワーク１１に接続されたサーバ装置や、端末装置と通信することができる。

【0019】

図２（ｂ）が示すように、端末装置７は、上記で述べた、入力部７０、出力部７１、メモリ部７２、プロセッサ部７３、ストレージ部７４、通信部７７と、これらに加えて、コントローラ部７６と表示部７７を備えている。入力部７０、コントローラ部７６、表示部７７は、図１が示すＵＩ部９を構成する。

【0020】

コントローラ部７６は、ユーザが手に持って操作するデバイスで、電子コンパス、加速度計、ジャイロスコープなどを用いて、手の動きや３Ｄ角度を計測し、仮想現実空間１に対して、ユーザが操作、制御する操作制御機能を有する。仮想現実空間の中を進んだり、場面を変更したりする機能も有する。

【0021】

表示部７７は、ヘッドマウントディスプレイ（Head Mount Display）や、メガネ型ディスプレイなどの透過型ディスプレイ、一般的なフラットパネルディスプレイであってよい。ヘッドマウントディスプレイは、視覚全体をカバーするように表示するデバイスであり、電子コンパス、加速度計、ジャイロスコープ等により、ユーザの頭の動きや３Ｄ角度を計測する機能が備えられ、ユーザの頭の方向に応じた仮想現実空間１を表示することができる。

【0022】

（機能構成）
図３（ａ）は、図１の仮想現実空間制御管理部６の機能構成の例を示す図である。図３（ｂ）は、図１の仮想現実空間ソフト８の機能構成の例を示す図である。図４は、仮想現実空間を構成するモデルのリストの例を示す図である。以下、順に説明する。

【0023】

図３（ａ）に示す仮想現実空間制御管理部６は、点群取得装置モデル６０、点群範囲選択部６１、点群統合部６２、ラベル付与部６３、動体モデル配置制御部６４、静止体モデル配置部６５、モデル素材部６６、通信制御部６７で構成される。以下、順に説明する。

【0024】

仮想現実空間制御管理部６の点群取得装置モデル部６０は、ＬｉＤＡＲ（Light Detection And Ranging）の動作原理を模して、仮想現実空間の中で点群を取得する３次元モデルである。ＬｉＤＡＲは現実世界の携帯端末などに搭載が可能であり、現実世界の点群を取得することができる。動作原理としては、ＬｉＤＡＲに光源と光センサーを備え、光源から対象物に光を放射し、その反射光が光センサーに到達するまでの時間を測定して、ＬｉＤＡＲと対象物との距離を測定する方法などがある。光の放射角度を順次変えることで、対象物上の異なる位置までの距離を測定でき、その各位置の点群データを取得できる。この原理を仮想現実空間の中に適用し、仮想現実空間で点群データを取得できる。

【0025】

点群３Ｄ座標決定部６１は、点群取得装置モデル部６０が取得した点群データが、仮想現実空間のどの３次元モデルのどの位置から取得したデータであるか、つまり仮想現実空間の中の一点を規定する３次元座標を決定する機能を有する。

【0026】

点群統合部６２は、場所を変えて取得した点群データを統合して、ひとまとまりの点群データにする機能を有する。点群データの統合では、点群３Ｄ座標決定部６１が決定した点群の３Ｄ座標を利用して、統合してよい。

【0027】

点群統合部６２が点群を統合する方法の一例を図７に示す。図７の（ａ）はある位置から、ＬｉＤＡＲ２３を用いて、点群データを取得する様子を示す。点線２５は、ＬｉＤＡＲ２３の光源２４からの光放射の範囲を示し、この範囲に存在する３次元モデルの点群を取得することができる。（ｂ）はＬｉＤＡＲ２３の光源２４の位置は変えず、角度だけを変えて、点群を取得する様子を示す。この場合、点群の取得範囲を示す点線２５は（ａ）で取得した範囲と重なっていない。（ｃ）はＬｉＤＡＲ２３の位置を少し移動して点群を取得した様子を示す。（ｃ）の点線２５が（ａ）と（ｂ）の点線２５と重なる領域があるので、重なった領域の点群データを利用して、（ａ）、（ｂ）、（ｃ）で取得した点群データを統合することができる。このように統合することで、連続的につながった点群データを作成することが出来る。

【0028】

ラベル付与部６３は、点群データにラベルを付与する機能を有する。ラベルとは、点群データの各点がどの対象物から取得したかを示す名前のことである。例えば、建物Ａから取得した点群データには、建物Ａが付与され、道路Ｂから取得した点群データには、道路Ｂが付与される。仮想現実空間１の中で取得した点群データは、点群３Ｄ座標決定部６１が決定した３次元座標から、どの３次元モデルから取得した点であるかが判明するので、それをラベルとして点群データに付与する。

【0029】

動体モデルの場合であっても、点群データを取得するタイミングにおける、動体モデルの位置と姿勢等がわかっているので、点群データの測定範囲内にあるか、ないかなどがわかり、ラベルを付与することができる。

【0030】

動体モデル配置制御部６４は、仮想現実空間１の中にある動体モデルの３次元座標と動きを制御する機能を有する。動体モデルの３次元座標と動きは、端末装置７の仮想現実空間ソフト８を用いて、ユーザにより設定される。仮想現実空間１が街であり、動体モデル２が人である場合は、現実空間で人が歩道を歩くように、街モデルの中に配置した歩道モデルの上を、人モデルに歩かせる制御を行う。

【0031】

仮想現実空間１は、仮想現実空間１全体に対する原点とそれに基づいたグローバル座標（３次元）を有する。動体モデル配置制御部６４は、動いている動体モデル２の位置を示すグローバル座標と、動体モデル２の各部の、各時刻におけるローカル座標（３次元）と、モデル素材部６６が有する動体モデル２の表面形状データとを組み合わせることで、動体モデル２の各部表面のグローバル座標を算出することができる。

【0032】

静止体モデル配置部６５は、道路や建物、山、畑などの静止体モデル３を配置した３次元座標と角度、重なり情報などを記憶する機能を有する。仮想現実空間１に配置した静止体モデル３の表面のグローバル座標は、静止体モデルを配置したグローバル座標と、モデル素材部６６が有する各モデルの３次元形状データのローカル座標を組み合わせることで算出できる。

【0033】

モデル素材部６６は、動体モデル２と静止体モデル３に関する３次元モデルの素材を有する。３次元モデルの素材としては、モデルの名称、モデル表面の３次元形状データ、色、光の反射特性、などを有する。モデル素材部６６は、３次元モデル単体としてだけでなく、３次元モデルを組み合わせて一つの３次元モデルを構成してよい。構成された３次元モデルは、その名称、組み合わせ位置情報、モデル表面の３次元形状データ、色、光反射特性などと共に、モデル素材部６６に保存される。

【0034】

通信制御部６７は、仮想現実空間制御管理部６が、通信ネットワーク１０を経由して、仮想現実空間ソフト８と通信し、端末装置７から送られる制御信号の送受信や、仮想現実空間１のデータ、又は端末装置７のユーザが見る仮想現実空間１の画像を送信する機能を有する。

【0035】

図３（ｂ）に示す仮想現実空間ソフト８は、静止体モデル作成部８０、動体モデル作成部８１、仮想現実空間作成部８２、通信制御部８３で構成される。図４は、仮想現実空間作成部８２が作成するモデルリスト１１である。

【0036】

静止体モデル作成部８０は、端末装置７のＵＩ部９の操作に応じて、モデル素材部６６の素材モデルを利用したり、組み合わせたり、あるいは新たに作成したりして、静止体モデルを作成する機能を持つ。さらに、静止体モデルの色、形状、寸法などの属性を設定する機能を有する。設定された属性は、図４のモデルリスト１１に属性として記載される。

【0037】

静止体モデルに設定された属性は、モデルリスト１１における番号１～５の属性のように記載される。例えば、静止体モデルｓ１の属性の内容は、ｓ１ｐの項目として記載される。

【0038】

動体モデル作成部８１は、端末装置７のＵＩ部９の操作に応じて、静止体モデル３に、動作をする機能を追加して動体モデルを作成する。動作をする機能は、可動部の設定、可動方法、可動範囲、可動速度、タイミング、可動部同士の連携、規定動作、手動モード、自動モード、などの機能が、動体モデルに設定される。設定された機能は、モデルリスト１１に機能として記載される。

【0039】

動体モデルに設定された機能は、モデルリスト１１における番号６～８の機能のように記載される。例えば、動体モデルｍ１の機能は、ｍ１ｆの項目として記載される。

【0040】

規定動作として、例えば、人モデルの、「歩く」「走る」「手を上げる」「屈む」「携帯端末を見る」などの動作シーケンスを、動体モデル作成部８１に予め登録しておき、これを人モデルに設定することができる。車モデルであれば、「走行」「高速走行」「駐車」などの動作を規定動作に登録することができる。「走行」では、現実世界の車の走行を模倣して、車道上を信号に従って走行する動作シーケンスが設定される。携帯端末モデルの場合では、「写真を撮る」「点群を取得する」などの動作シーケンスを登録することができる。「写真を撮る」場合は、携帯端末モデルのカメラレンズからの視野角に応じて、仮想現実空間の写真を撮影し、「点群を取得する」場合は、携帯端末のＬｉＤＡＲの光源からの光放射角に応じて、距離を計測し、点群データを作成する。

【0041】

手動モードは、端末装置７のＵＩ部９のコントローラ部７６をユーザが操作して、動体モデルを動かすモードである。コントローラの上矢印↑を押すと、人モデルや車モデルが前進し、左矢印←を押すと、人モデルが左を向き、車モデルが左折をする、などの動作をする。

【0042】

自動モードは、動体モデルが自動で動くモードである。規定動作として「歩く」が設定された人モデルに対して自動モードを設定すると、現実の人の歩行を模倣して、人モデルが歩く動作をする。規定動作として「走行」が設定された車モデルに対して、自動モードを設定すると、車モデルは道路上を走行する。

【0043】

動体モデルに設定される機能は、現実世界で繰り広げられる動きを反映するために、仮想現実空間の中の状況を現実世界に近づけることができ、その中で取得する点群データをより現実世界で取得する点群データに近づける効果がある。

【0044】

仮想現実空間作成部８０は、モデルリスト１１を有し、端末装置７のＵＩ部９の操作に応じて、仮想現実空間１に、動体モデル２と静止体モデル３を配置し、その位置を、仮想現実空間１全体のグローバル座標として、モデルリスト１１に記載する。また、作成されたモデルリスト１１を仮想現実空間制御管理部６に送信する機能を有する。

【0045】

仮想現実空間ソフトの通信制御部８３は、仮想現実空間制御管理部６の通信制御部６７と通信情報の送受信を行う機能を有する。通信制御部８３は、ＵＩ部９による、仮想現実空間１をコントロールする信号を送信する機能を有する。具体的には、コントローラ部７６を用いて、仮想現実空間１内の動体モデル３を動作させたり、移動させたりする信号を送信する。

【0046】

図４に示したモデルリスト１１は、仮想現実空間を構成する静止体モデルと動体モデルをリスト形式で記載した表である。静止体モデルと動体モデルは、その配置位置が、仮想現実空間全体を規定するグローバル座標か、静止体モデル内の位置を規定するローカル座標で記載される。例えば、モデルリスト１１の番号１には静止体モデルｓ１に、グローバル座標ｓ１ｇが記載されているが、これは仮想現実空間１のグローバル座標のｓ１ｇに静止体モデルｓ１が配置されたことを意味する。番号２の静止体モデルｓ２には、ローカル座標ｓ２ｌが記載されているが、これは番号が一つ小さい静止体モデルｓ１のローカル座標のｓ２ｌに、静止体モデルｓ２が配置されたことを意味する。以下、同様に記載されている。

【0047】

モデルリスト１１には、静止体モデルと動体モデルの各々に付帯する属性が記載される。例えば、番号３の静止体モデルｓ３には、属性ｓ３ｐが記載されているが、これは静止体モデルｓ３には、属性ｐが付帯することを示している。以下、同様に記載されている。属性のｓ３ｐは静止体モデル作成部８０が設定したものである。

【0048】

モデルリスト１１の動体モデルには、機能が記載される。例えば、番号６の動体モデルｍ１には、機能ｍ１ｆが記載されているが、これは動体モデルｍ１には、機能ｍ３ｆが付帯していることを示す。機能ｍ３ｆは動体モデル作成部８１で設定したものである。

【0049】

（点群データ取得プロセス）
図５は、道路モデル３０、家モデル３１，３２、３３、山モデル３４などの静止体モデル３で構成された仮想現実空間１Ａの中を、ＬｉＤＡＲ搭載スマートフォンモデル２２を手に持つ人モデル２２が歩きながら、点群を取得するシーンを描いた図である。仮想現実空間１Ａの中には、動体モデル２として、歩く人モデル２１と走る自動車モデル２３が配置されている。人モデル２０が歩きながら、ＬｉＤＡＲ搭載スマートフォンモデル２２を用いて、点群を取得するプロセスを図６のフローチャートを用いて説明する。

【0050】

ステップＳ１００にて、端末装置７の仮想現実空間ソフト８を起動する。

【0051】

ステップ１０１にて、仮想現実空間ソフト８を用いて、静止体モデルである、道モデル３０，家モデル３１～３３と山モデル３４を作成し、配置して、図５の仮想現実空間１Ａを作成する。

【0052】

ステップ１０２にて、仮想現実空間ソフト８を用いて、動体モデルである、人モデル２０、人モデル２１、車モデル２３を作成する。人モデル２０と人モデル２１には、規定動作「歩く」を設定し、車モデル２３には、規定動作「走行」を設定する。人モデル２０には手動モードを設定し、人モデル２１と車モデル２３には自動モードを設定して、自動で動かす。

【0053】

ステップ１０３にて、動体モデルの機能として、仮想現実空間の点群を取得するＬｉＤＡＲモデルを作成し、スマートフォンモデル２２に配置する。ＬｉＤＡＲモデルの機能は、点群取得装置モデル部６０が担当する。スマートフォンモデル２２を人モデル２０の右手に配置する。人モデル２０を仮想現実空間１Ａに配置する。

【0054】

ステップ１０４にて、端末装置７のＵＩ部９を操作して、所望の位置に人モデル２０を移動させる。

【0055】

ステップ１０５にて、ＬｉＤＡＲ付きスマートフォンモデル２２の位置と角度を計測する。次に、仮想現実空間１Ａの点群データを取得する。取得した点群データを、無修正点群データとして、サーバ装置４の点群データ部５に保存する。

【0056】

ステップ１０６にて、無修正点群データに対して、ラベル付与部６３が、どのモデルから取得した点群であるかを示すラベルを付与する。ラベルは、静止体モデルの道モデル３０、家モデル３１や、動体モデルの人モデル２１、車モデル２３、などである。無修正点群データの中から、動体モデルに対応する点群を除去し、静止体モデルだけで構成される点群データを修正点群データとして、サーバ装置４の点群データ部５に保存する。

【0057】

点群３Ｄ座標決定部６１が決定した３次元座標から、点群がどの３次元モデルから取得した点であるかが判明するので、その情報に基づいて、ラベル付与部６３は、動体モデルに対応する点群を除去することができる。

【0058】

ステップ１０７では、仮想現実空間１Ａの中で、点群を取得したい領域から点群を取得したかどうかを判断する。その判断が「いいえ」の場合には、ステップ１０４に戻り、ステップ１０４以降のプロセスを繰り返す。その判断が「はい」の場合には、ステップ１０８に進む。

【0059】

ステップ１０８では、保存した修正点群データを、点群統合部６７を用いて、統合し、連続した一群の修正点群データを作成する。これで、点群データ取得プロセスを終了する。

【0060】

動体モデルを含んだ無修正点群データは、町や道路、建物、構造物などのインフラとなる点群データを取得する場合には、削除したい対象となる。そのため、動体モデルを除去した修正データの作成が重要となる。

【0061】

連続した一群の修正点群データは、狭い特定領域の場所ではなく、広範囲の仮想現実空間をカバーすることができるので、途切れることない、一連の広範囲の３次元形状データとなり有用である。

【0062】

取得した無修正点群データと、修正点群データは、ニューラルネットワークなどで構成された人工知能の機械学習データとして利用する。その利用の仕方を引き続き説明する。

【0063】

（機械学習データの利用方法）
図８は、ニューラルネットワーク９０の入力層９１、出力層９２と、入力データ９３、教師データ９４との関係を模式的に示した図である。入力層９１には入力データ９３が入力され、出力層９２からは出力データが出力される（不図示）。出力データは教師データ９４と比較される。

【0064】

ニューラルネットワーク９０は、図８の○で示される各層のニューロンを、重みを付けて結合し、ニューロンの活性化関数による非線形出力を繰り返すことで、最終的な出力データを出力層９２から出力する。出力データは、教師データ９４と比較され、その差分をニューラルネットワーク９０にフィードバックして、ニューラルネットワーク９２の出力データが教師データ９４に近づくように、学習を進めていく。

【0065】

無修正点群データを入力データ、修正点群データを教師データとして、ニューラルネットワーク９０を学習させると、静止体モデルや動体モデルを含んだ無修正点群データから、動体モデルを除去し、静止体モデルだけで構成した修正点群データに近いデータを出力するようになる。

【0066】

このように、仮想現実空間を利用してニューラルネットワークの学習データを作成することで、現実世界で実際に点群を取得して、その点群に対して正解ラベルを付与して学習データを作成するより、短時間で効率的に学習データを作成できる利点がある。

【0067】

仮想現実空間は、現実空間とそっくりに作成することが可能となってきたので、仮想現実空間で作成した学習データと、現実世界で作成する学習データの差が小さく、そのため、仮想現実空間で作成した学習データを機械学習した人工知能は、実世界で取得するデータを処理することができるという利点がある。

【0068】

本実施の形態では、無修正点群データをニューラルネットワークの入力データとしているが、完全に無修正のデータである必要はなく、ノイズと考えられる点群データは除去して、無修正点群データとしてよい。

【0069】

本実施の形態では、動体モデルである人モデルを、端末装置のコントローラ部から制御し、人モデルが把持するスマートフォンモデルで点群を取得したが、動体モデルとして人モデル以外を利用してよいし、動体モデルとしてスマートフォンモデル以外を利用してよい。例えば、自動車モデルをコントローラ部で制御して車を運転し、車載の点群取得装置で点群を取得してよい。また、飛行機モデルを自動運転モードで航行させながら、飛行機モデルに搭載した点群取得装置で地上モデルの点群を取得してよい。

【0070】

仮想現実空間で取得した点群データは、仮想現実空間と同様の状況で取得する現実世界の点群データと似ていることから、現実世界の点群を認識する人工知能の学習データとして利用することができる。仮想現実空間では、様々な状況の点群を、効率よく大量に作成できることから、人工知能の学習を効率よく進めることができる。

【0071】

本実施の形態では、図やフローチャートを用いて説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

【産業上の利用可能性】

【0072】

本開示は、人工知能などを機械学習させる場合に必要な学習データを、短時間で大量に作成する場合に有用である。

【符号の説明】

【0073】

１、１Ａ 仮想現実空間
２ 動体モデル
３ 静止体モデル
４ サーバ装置
５ 点群データ部
６ 仮想現実空間制御管理部
７ 端末装置
８ 仮想現実空間ソフト
９ ＵＩ部
１０ 通信ネットワーク
１１ モデルリスト
２０、２１ 人モデル
２２ スマートフォンモデル
２３ 車モデル
３０ 道モデル
３１、３２、３３ 家モデル
３４ 山モデル
４０ 入力部
４１ 出力部
４２ メモリ部
４３ プロセッサ部
４４ ストレージ部
４５ 通信部
６０ 点群取得装置モデル部
６１ 点群３Ｄ座標決定部
６２ 点群統合部
６３ ラベル付与部
６４ 動体モデル配置制御部
６５ 静止体モデル配置部
６６ モデル配置部
６７ 通信制御部
７０ 入力部
７１ 出力部
７２ メモリ部
７３ プロセッサ部
７４ ストレージ部
７５ 通信部
７６ コントローラ部
７７ 表示部
８０ 静止体モデル作成部
８１ 動体モデル作成部
８２ 仮想現実空間作成部
８３ 通信制御部
９０ ニューラルネットワーク
９１ 入力層
９２ 出力層
９３ 入力データ
９４ 教師データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2022-10-14

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

仮想現実空間と、前記仮想現実空間の中で動く、人間を模した第１動体モデルと、前記仮想現実空間の中で点群データを取得する点群取得機器モデルと、データ識別部と、を備え、
前記仮想現実空間は、静止した静止体モデルと、動く動体モデルで構成され、
前記点群取得機器モデルは、前記第１動体モデルに把持されて、前記第１動体モデルと連動して動き、
前記データ識別部は、前記点群データに対して、前記静止体モデル、又は前記動体モデル、に基づいて、ラベルを付与し、
前記ラベルを付与された前記点群データは、人工知能が機械学習する教師データである
ことを特徴とするデータ処理装置

【請求項2】

前記データ処理装置は、データ統合部を更に備え、
前記データ統合部は、前記静止体モデルの点群データを統合して、広範囲の点群データを生成することを特徴とする請求項１に記載のデータ処理装置

【請求項3】

前記データ処理装置は、ユーザーインターフェイス部を更に備え、
前記ユーザーインターフェイス部を用いた操作により、前記第１動体モデルが操作されることを特徴とする請求項１乃至２に記載のデータ処理装置