知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024040662
(43)【公開日】2024-03-26
(54)【発明の名称】学習データ生成装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240318BHJP
G06V 10/82 20220101ALI20240318BHJP
G06V 10/774 20220101ALI20240318BHJP
G06N 20/00 20190101ALI20240318BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
G06V10/774
G06N20/00
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022145141
(22)【出願日】2022-09-13
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人情報通信研究機構「革新的情報通信技術研究開発委託研究／Ｂｅｙｏｎｄ ５Ｇ研究開発促進事業／Ｂｅｙｏｎｄ ５Ｇ を活用した安全かつ効率的なクラウドロボティクスの実現」産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】中野谷 学
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096DA02
5L096FA69
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】現実にはあり得ない位置や姿勢などの物体の学習データが生成されること。
【解決手段】学習データ生成装置は、生成モデル学習手段と乱数生成手段とデータ生成手段を含む。生成モデル学習手段は、実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから擬似的な空間データへの変換を学習する。乱数生成手段は、設定されたパラメータの集合で規定される確率分布の実現値として、特徴ベクトルのサンプルを生成する。データ生成手段は、生成された特徴ベクトルのサンプルを生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成する。
【選択図】図１
【解決手段】学習データ生成装置は、生成モデル学習手段と乱数生成手段とデータ生成手段を含む。生成モデル学習手段は、実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから擬似的な空間データへの変換を学習する。乱数生成手段は、設定されたパラメータの集合で規定される確率分布の実現値として、特徴ベクトルのサンプルを生成する。データ生成手段は、生成された特徴ベクトルのサンプルを生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから擬似的な空間データへの変換を学習する生成モデル学習手段と、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成する乱数生成手段と、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成するデータ生成手段と、
を備える学習データ生成装置。
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成する乱数生成手段と、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成するデータ生成手段と、
を備える学習データ生成装置。
【請求項2】
前記パラメータの集合を更新するパラメータ更新手段を、さらに備える、
請求項１に記載の学習データ生成装置。
請求項１に記載の学習データ生成装置。
【請求項3】
前記生成された学習データから抽出された一部の学習データを用いて前記物体認識モデルの学習を行う認識モデル学習手段を、さらに備える、
請求項１に記載の学習データ生成装置。
請求項１に記載の学習データ生成装置。
【請求項4】
前記生成された学習データから抽出されたテストデータを用いて前記学習後の前記物体認識モデルのテストを行い、前記テストの結果に基づいて前記パラメータの集合を更新するパラメータ更新手段を、さらに備える、
請求項３に記載の学習データ生成装置。
請求項３に記載の学習データ生成装置。
【請求項5】
前記パラメータ更新手段は、前記テストデータに対する前記物体認識モデルの損失関数を、認識度合いを測る尺度として用い、前記損失関数の前記確率分布の実現値に対する勾配を計算することで、前記損失関数のより大きくなる値が前記確率分布の実現値として発生しやすくなるように前記パラメータの集合を更新する、
請求項４に記載の学習データ生成装置。
請求項４に記載の学習データ生成装置。
【請求項6】
前記データ生成手段は、
前記生成された擬似的な空間データに基づいて認識対象の空間内における物体の種類、位置、姿勢に関する組み合わせ情報を生成する組み合わせ情報決定手段と、
前記生成された組み合わせ情報に基づいて組み合わせた物体の種類、位置、姿勢の物体を空間内に含む疑似的な観測データである疑似データを生成する擬似データ生成手段と、
前記生成された疑似データに対して実際の観測データに近づけるデータ変換を行うデータ変換手段と、を備え、
前記データ変換後の疑似データと前記組み合わせた物体の種類、位置、姿勢の情報を表すアノテーション情報を含む前記学習データを生成する、
請求項１に記載の学習データ生成装置。
前記生成された擬似的な空間データに基づいて認識対象の空間内における物体の種類、位置、姿勢に関する組み合わせ情報を生成する組み合わせ情報決定手段と、
前記生成された組み合わせ情報に基づいて組み合わせた物体の種類、位置、姿勢の物体を空間内に含む疑似的な観測データである疑似データを生成する擬似データ生成手段と、
前記生成された疑似データに対して実際の観測データに近づけるデータ変換を行うデータ変換手段と、を備え、
前記データ変換後の疑似データと前記組み合わせた物体の種類、位置、姿勢の情報を表すアノテーション情報を含む前記学習データを生成する、
請求項１に記載の学習データ生成装置。
【請求項7】
前記データ変換手段は、観測データを学習データとしたＡｄｖｅｒｓａｒｉａｌ ｔｒａｉｎｉｎｇによって事前に学習された機械学習モデルを使用して前記データ変換を行う、
請求項６に記載の学習データ生成装置。
請求項６に記載の学習データ生成装置。
【請求項8】
前記生成モデル学習手段は、実際の物体の空間データから抽出された物体の軌跡データを用いて、前記生成モデルにより、軌跡データから特徴ベクトルへの変換と特徴ベクトルから擬似的な軌跡データへの変換を学習するように構成され、
前記組み合わせ情報決定手段は、
前記生成された擬似的な軌跡データに基づいて前記組み合わせ情報を生成する組み合わせ情報生成手段、を備える、
請求項６に記載の学習データ生成装置。
前記組み合わせ情報決定手段は、
前記生成された擬似的な軌跡データに基づいて前記組み合わせ情報を生成する組み合わせ情報生成手段、を備える、
請求項６に記載の学習データ生成装置。
【請求項9】
コンピュータにより実行される学習データ生成方法であって、
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから空間データへの変換を学習し、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成し、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成する、
学習データ生成方法。
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから空間データへの変換を学習し、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成し、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成する、
学習データ生成方法。
【請求項10】
コンピュータに、
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから空間データへの変換を学習する処理と、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成する処理と、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成する処理と、
を行わせるためのプログラム。
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから空間データへの変換を学習する処理と、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成する処理と、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成する処理と、
を行わせるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習データ生成装置、学習データ生成方法、および、プログラムに関する。
【背景技術】
【0002】
空間内での物体認識を行う物体認識モデルの学習に使用する学習データ（ｔｒａｉｎｉｎｇ ｄａｔａ）を人工的に生成する技術が知られている。例えば、ＣＧ画像（コンピュータグラフィック画像）の生成ツールが用いるモデリングパラメータを変動させて物体の様々な位置や姿勢などの学習データを生成する技術が、特許文献１（特に第２の実施の形態）に開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１８４７７号公報
【特許文献2】ＷＯ２０２０／１５２９２７
【特許文献3】再特ＷＯ２０２０／１８３５９８
【非特許文献】
【0004】
【非特許文献1】Georgakis, Georgios, et al. "Synthesizing training data for object detection in indoor scenes." arXiv preprint arXiv:1702.07836 (2017).
【非特許文献2】Xiao, Aoran, et al. "SynLiDAR: Learning From Synthetic LiDAR Sequential Point Cloud for Semantic Segmentation." arXiv preprint arXiv:2107.05399 (2021).
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１には、モデリングパラメータをどのように変動させるかについては具体的な開示がない。不適切な方法に基づいてモデリングパラメータを変動させると、現実にはあり得ない位置や姿勢などの物体の学習データが生成される。そのような不適切な学習データによる学習は、学習後の物体認識モデルの推論精度に悪影響を及ぼす。
【0006】
本発明の目的は、上述した課題を解決する学習データ生成装置、学習データ生成方法、および、プログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明の一形態に係る学習データ生成装置は、
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから擬似的な空間データへの変換を学習する生成モデル学習手段と、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成する乱数生成手段と、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成するデータ生成手段と、
を備えるように構成されている。
また、本発明の他の形態に係る学習データ生成方法は、
コンピュータにより実行される学習データ生成方法であって、
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから空間データへの変換を学習し、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成し、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成する、
ように構成されている。
また、本発明の他の形態に係るプログラムは、
コンピュータに、
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから空間データへの変換を学習する処理と、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成する処理と、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成する処理と、
を行わせるように構成されている。
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから擬似的な空間データへの変換を学習する生成モデル学習手段と、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成する乱数生成手段と、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成するデータ生成手段と、
を備えるように構成されている。
また、本発明の他の形態に係る学習データ生成方法は、
コンピュータにより実行される学習データ生成方法であって、
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから空間データへの変換を学習し、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成し、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成する、
ように構成されている。
また、本発明の他の形態に係るプログラムは、
コンピュータに、
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから空間データへの変換を学習する処理と、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成する処理と、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成する処理と、
を行わせるように構成されている。
【発明の効果】
【0008】
本発明は上述したような構成を有することにより、現実にはあり得ない物体の位置や姿勢などの学習データが生成されるのを抑制しつつ、多様な位置や姿勢などの物体の知識データを生成することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の第１の実施の形態に係る学習データ生成装置のブロック図である。
【図2】本発明の第１の実施の形態に係る学習データ生成装置の処理の一例を示すフローチャートである。
【図3】本発明の第１の実施の形態に係る学習データ生成装置におけるデータ生成部の構成例を示す図である。
【図4】本発明の第１の実施の形態に係る学習データ生成装置におけるデータ生成部の処理の一例を示すフローチャートである。
【図5】本発明の第１の実施の形態に係る学習データ生成装置における組み合わせ情報決定部の構成例を示す図である。
【図6】本発明の第１の実施の形態に係る学習データ生成装置における軌跡生成ネットワークの事前学習の処理の一例を示すフローチャートである。
【図7】本発明の第１の実施の形態に係る学習データ生成装置における組み合わせ情報決定部の処理の一例を示すフローチャートである。
【図8】本発明の第２の実施の形態に係る学習データ生成装置のブロック図である。
【図9】本発明の学習データ生成装置のハードウェア構成の一例を示すブロック図である。
【図10】本発明の第３の実施の形態に係る学習データ生成装置のブロック図である。
【発明を実施するための形態】
【0010】
次に本発明の実施の形態について図面を参照して詳細に説明する。なお、以降の説明において、符号「ＸＸＸ」を付された要素と共通の機能を持つ要素が複数存在する場合には、当該符号「ＸＸＸ」に枝番号を付けて区別することとする。
【0011】
［第１の実施の形態］
次に、本発明の第１の実施の形態について説明する。まず本実施の形態について、理解を容易にするため、本実施の形態が想定する課題について詳細に説明する。
次に、本発明の第１の実施の形態について説明する。まず本実施の形態について、理解を容易にするため、本実施の形態が想定する課題について詳細に説明する。
【0012】
カメラやＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）センサ等で空間を撮影した画像や点群データ（空間データ）に対して、撮影した空間内に存在する物体の種類や位置および姿勢等を推定する物体認識技術は、公共空間や産業現場等の監視やロボット制御など幅広い分野で応用が進んでいる。物体認識技術の主要なアプローチの１つとして、空間データとその空間データに対応する物体の種類や位置および姿勢のデータ（アノテーションデータ）をもとに物体の認識方法の学習を行い、学習後の推論器（認識モデル）を使い推論を行う手法が存在する。これらは一般に機械学習ベースの物体認識技術と呼ばれる。機械学習ベースの物体認識技術は、推論対象の空間データの変動に対してロバストであるなどの利点がある反面、学習のために推論対象の空間データの分布に適合した空間データを大量に用意する必要があるという欠点がある。これは空間データの撮影およびアノテーション（これらは通常手作業で行われる）を大量に行う必要があることを意味し、機械学習ベースの物体認識技術を利用する際の大きなコストとなっている。
【0013】
このような学習データの取得コストを軽減するための手法として、学習データに用いる空間データを人工的に合成するアプローチが存在する。物体認識技術向けには、物体以外の背景データに任意の種類の検出対象の物体データを任意の位置に重ね合わせることで空間データを構成するもので、特許文献２および特許文献３に記載された手法などが開示されている。
【0014】
さらに重ね合わせて合成した空間データと実際の観測データとの差異（現実にはあり得ない位置および姿勢と背景を組み合わせてしまう、所謂「不自然な」データ）を抑制するために、背景と物体の組み合わせ方に一定の規則を設ける手法も提案されている。例えば非特許文献１では背景画像に対してセマンティックセグメンテーションを行い物体の現実的な配置場所候補を選定し、ステレオカメラの深度情報をもとに当該領域に物体が配置された場合のカメラからの距離を推定し物体の描画サイズを調節することで実際の観測データに近い位置およびサイズで物体を重ね合わせる手法を開示している。
【0015】
また、学習データに用いる空間データに限らず一般に画像や点群データを実際のカメラ等の撮影装置を用いずに生成する技術が存在する。代表的な手法としては、３次元物体モデルを使ったコンピュータシミュレーションの他、疑似データを生成する機械学習モデル（生成モデル）をＧｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ）やＡｕｔｏｅｎｃｏｄｅｒ（ＡＥ）により訓練する手法がある。多くは２次元の画像データを生成対象にした手法だが、非特許文献２のようにＬｉＤＡＲセンサのデータを疑似的に生成する手法も提案されている。なおＧＡＮやＡＥにより訓練される生成モデルは画像や点群データだけでなく、例えば機械の制御入力や移動する物体の軌跡などいった時系列データも生成可能であり、様々なタイプのデータに対して実際のデータに類似した架空のデータを生成することが可能である。
【0016】
しかしながら、特許文献２および特許文献３に開示されるような学習データ生成手法においては、背景データの選択（どういった背景データを用意するのか、複数個用意した場合はどのデータを選ぶのか）や検出対象の物体の位置および姿勢等の決定方法については具体的な開示が無い。そのためこれらの手法を利用する際には、何らかの外的な方法によって適切に検出対象の物体の位置および姿勢等を決定する必要がある。これは最適な空間データの分布が自明のケース（例えば、一定の背景の空間に画角の固定されたカメラで決められた角度でしか映りこまない物体を認識するケース）では問題とならない。しかし、様々な背景データに対して多様な姿勢で観測され得る物体を認識することを目的に学習を行う場合は、こうした背景データの選択や物体の姿勢等を決定する最適な方法が自明でない。不適切な方法に基づいてこれらを選択および決定すると学習後の認識モデルの推論精度に悪影響を及ぼすという問題がある。
【0017】
また、人工的に合成された空間データは、実際の観測データとは異なるデータ特性（画像であれば不自然な輪郭、光源や影。ＬｉＤＡＲデータであれば反射強度や走査線の位置等）を持つ。こうした要素を認識モデルが学習してしまうと実際の観測データに対する推論精度が低下する恐れがある。非特許文献１に示した手法のようなヒューリスティックに基づいて実際の空間データとの差異を緩和する手法では設計者が事前に想定および予測可能な差異は緩和することが可能であるが、センサデータのハードウェア特性や未知の偶発的要素に起因する観測値のゆらぎやノイズなどには対応できない。
【0018】
以上が、本実施の形態が解決しようとする課題である。本実施の形態は、上述の課題を解決するための装置、方法、プログラムを提供することを目的とする。
【0019】
先ず、本実施の形態の学習データ生成装置の概要を説明する。
【0020】
本実施の形態の学習データ生成装置は、空間データの特徴を表現するｎ次元（ｎは自然数）ベクトルを入力として学習データを生成する。この際、空間データの特徴を表現するｎ次元ベクトルは、特定のパラメータ（以降、乱数パラメータと呼ぶ）で規定される確率分布の実現値として与えられる。学習データの生成は、大きく２つのパートから成る。一つは、実際の観測データから得られる物体の軌跡データ等から物体の種類や位置および姿勢などを決定し物理的に矛盾の無い疑似データを生成する疑似データ生成部である。もう一つは、Ａｄｖｅｒｓａｒｉａｌ Ｔｒａｉｎｉｎｇによって訓練されたニューラルネットワークなどを用いてハードウェア特性や偶発的要素に起因する実際の観測データとの差異を解消するデータ変換部である。
【0021】
本実施の形態の学習データ生成装置では、生成された学習データを入力に学習対象の認識モデルは推論を行い、推論結果を出力する。
【0022】
本実施の形態の学習データ生成装置では、出力された推論結果と対応する学習データを生成した乱数パラメータの関係性に基づいて、より学習が進む学習データを生成する乱数パラメータを推定し、当該乱数パラメータを更新する。
【0023】
認識モデルは、この更新された乱数パラメータに基づいて生成された学習データを使って学習を行う。以降、上記のデータ生成と乱数パラメータの推定および更新を繰り返すことで認識モデルの学習を行う。即ち、本実施の形態に係る学習データ生成装置は、空間内に存在する物体を検出する機械学習モデルの学習において、学習データを学習の進行状況に応じて自動的に生成する学習データ生成機能を提供する。
【0024】
以上が、本実施の形態の学習データ生成装置の概要である。続いて、本実施の形態の学習データ生成装置の構成について詳細に説明する。
【0025】
図１は、本発明の第１の実施の形態における学習データ生成装置１００の構成の一例を示すブロック図である。図１を参照すると、本実施の形態の学習データ生成装置１００は、乱数生成器１１０、データ生成部１２０、学習部１３０、パラメータ更新部１４０を含む。また、学習データ生成装置１００へは、観測データ２１０、マップデータ２２０、オブジェクトデータ２３０を含む入力データ２００が入力される。
【0026】
観測データ２１０は、カメラやＬｉＤＡＲセンサで取得された空間データを表す時系列観測データである。例えば、認識対象の物体（人、動物、車など）が行き交う公共空間などをカメラやＬｉＤＡＲなどのセンサで連続して撮影および測定して得られた画像および点群データの時系列データは、観測データ２１０の一つの例である。マップデータ２２０は、認識対象の空間全体の画像または３次元データを表す。例えば、認識対象の物体が存在していないときの公共空間などをカメラやＬｉＤＡＲなどのセンサで撮影して得られた画像および点群データは、マップデータ２２０の一つの例である。また、認識対象の物体が存在していないときの公共空間などを擬似的に描いたＣＧ画像は、マップデータ２２０の他の例である。即ち、マップデータ２２０は、背景データに相当する。オブジェクトデータ２３０は、認識対象の物体の画像もしくは３次元データである。
【0027】
学習データ生成装置１００で生成された学習データ１５０の一部を用いて、認識モデル３００の学習が行われ、残りの一部をテストデータに用いて、上記学習後の認識モデル３００のテストが行われる。テストデータを入力したときに認識モデル３００から出力される推論結果は出力データ４００として、学習データ生成装置１００へフィードバックされる。
【0028】
学習データ生成装置１００は、例えば図９に示すように、通信インタフェース部５０１と、キーボードやマウスなどの操作入力部５０２と、液晶ディスプレイ等の画面表示部５０３と、メモリやハードディスク等の記憶部５０４と、１以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む演算処理部５０５とを有する情報処理装置５００と、プログラム５０７とで実現することができる。情報処理装置５００は、例えばパーソナルコンピュータやスマートフォンなどであってよい。プログラム５０７は、情報処理装置５００の立ち上げ時等に外部のコンピュータ読み取り可能な記憶媒体からメモリに読み込まれ、演算処理部５０５の動作を制御することにより、演算処理部５０５上に、乱数生成器１１０、データ生成部１２０、学習部１３０、パラメータ更新部１４０といった機能的手段を実現する。
【0029】
図２は本実施の形態に係る学習データ生成装置１００の学習データ生成時の動作の流れを示すフローチャートである。学習データの生成は、後述する事前学習が行われた後に実施される。学習データ生成装置１００は、動作を開始すると、まず乱数生成器１１０内に記憶される乱数パラメータを適当な値で初期化する（Ｓ１）。ここでの乱数パラメータとは、乱数を生成する確率分布の形状を特定するパラメータを指す。例えば、乱数生成器１１０がｎ次元正規分布に従う乱数ベクトルを生成する場合、その正規分布の平均（μ）や分散（σ２）を表す。次に乱数生成器１１０が、初期化された乱数パラメータに基づいてｎ次元ベクトルの乱数ベクトルｚを生成し、その乱数ベクトルｚをもとにデータ生成部１２０が学習データを生成する（Ｓ２）。次に学習部１３０が、この生成された学習データから評価用データをサンプルし（Ｓ３）、それ以外の学習データで認識モデル３００の学習を行う（Ｓ４）。次に学習部１３０は、上記学習後の認識モデル３００を上記サンプルした評価用データに基いて評価する。即ち、学習部１３０は、ステップＳ３でサンプルした評価用データを認識モデル３００に入力して推論を行わせ（Ｓ５）、その推論結果である出力データ４００をパラメータ更新部１４０へ送信する。
【0030】
推論結果を受け取ったパラメータ更新部１４０は、評価用データ内のアノテーション情報と当該評価用データに対する推論結果を突き合わせることで、評価用データごとの学習の進捗度合いの評価を行い、未学習の空間データが優先的に生成されるように乱数パラメータの更新を行う（Ｓ６）。具体的な更新方法の一例としては、パラメータ更新部１４０は、学習の進捗度合いを学習時の損失関数Ｌ（ｚ）の値で測定し、損失の乱数ベクトルｚに対する
を利用した以下の更新式で乱数パラメータを更新する。
ただし、μiは乱数生成器がｎ次元正規分布に従う乱数ベクトルを生成する場合の第ｉ成分の平均値、γ（γ＞０）は１回あたりの更新幅を表すパラメータである。
【数1】
【数2】
【0031】
別の方法の一例として、パラメータ更新部１４０は、学習の進捗度合いを損失関数のかわりに推論結果の不確かさ（認識モデル３００の推論結果ベクトルのエントロピーなど）で測定する方法がある。
【0032】
その後、学習データ生成装置１００は、乱数パラメータの更新が収束しているかを確認し（Ｓ７）、収束していない場合はステップＳ２へ戻って処理を継続し、収束している場合はここで図２の処理を終了する。
【0033】
図３はデータ生成部１２０の内部構造の一例を示した構成図である。データ生成部１２０は、組み合わせ情報決定部１２１、疑似データ生成部１２２、データ変換部１２３を含む。また、組み合わせ情報決定部１２１とデータ変換部１２３は、データ生成部１２０によって学習データ１５０を生成する前に観測データ２１０を利用した事前学習が行われる。事前学習については後述する。
【0034】
図４は事前学習完了後の学習データ生成時におけるデータ生成部１２０の処理のフローチャートである。乱数生成器１１０が乱数ベクトル（特徴ベクトルのサンプル）を生成すると（Ｓ２１）、組み合わせ情報決定部１２１がその乱数ベクトルとマップデータ２２０をもとに組み合わせる物体の位置および姿勢等の情報（組み合わせパターン）を生成する（Ｓ２２）。疑似データ生成部１２２は、３次元モデルのシミュレーション等によって、その組み合わせ情報とオブジェクトデータ２３０を入力に実際の観測データに似た画像や点群データと物体の種類および位置情報（バウンディングボックス）であるアノテーションデータを含む疑似データを生成し（Ｓ２３）、データ変換部１２３へ送信する。データ変換部１２３は、観測データ２１０を学習データとしたＡｄｖｅｒｓａｒｉａｌ Ｔｒａｉｎｉｎｇによって事前に学習したニューラルネットワークを利用して、疑似データ内の画像（または点群）データに対して本物のカメラやＬｉＤＡＲセンサで撮影した際に発生するデータ特性（ゆらぎ、ノイズや解像度などの特性）を付加する（Ｓ２４）。データ変換部１２３は、変換された空間データと疑似データ生成部１２２より受け取ったアノテーションデータを合わせて学習データ１５０を出力する。
【0035】
図５は組み合わせ情報決定部１２１の内部構造の一例を示した構成図である。本実施形態においては、物体の組み合わせ情報の決定に観測データ２１０から得られる実際の物体の軌跡を用いる。物体の軌跡データからは当該物体のある時点の位置や進行方向が分かる。物体の進行方向が分かれば、物体の姿勢が分かる。組み合わせ情報決定部１２１は、それらの情報をもとに疑似データにおける物体の位置および姿勢を決定する。組み合わせ情報決定部１２１は、軌跡データ抽出部１２１１、軌跡生成ネットワーク１２１３、組み合わせ情報生成部１２１４、生成モデル学習部１２１２を含む。軌跡生成ネットワーク１２１３は、認識モデル３００を学習するための学習データを生成する前準備として、観測データを学習データとして、生成モデル学習部１２１２によって事前学習が行われる。
【0036】
図６は軌跡生成ネットワーク１２１３の事前学習時の処理の流れを示したフローチャートである。軌跡データ抽出部１２１１は、観測データ２１０とマップデータ２２０を照合し、マップデータ２２０に存在しない観測データ２１０中の観測物を認識対象の物体として観測データ２１０中のその他の背景データと分離し、その物体の空間データの時間的な移り変わりから軌跡データ１２１６を抽出する（Ｓ２２１）。生成モデル学習部１２１２は、抽出された軌跡データ１２１６を訓練データとして、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ ａｕｔｏｅｎｃｏｄｅｒ）等で実装された軌跡生成ネットワーク１２１３を訓練する（Ｓ２２２）。例えば、ＶＡＥ等のＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒネットワークの場合、生成モデル学習部１２１２は、上記軌跡データ１２１６を訓練データとして用いて、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒネットワークによる生成モデルにより、エンコーダにおいて入力データの軌跡データから潜在変数への変換を学習し、デコーダにおいて潜在変数から擬似的な軌跡データへの変換を学習する。訓練された軌跡生成ネットワーク１２１３は、ＶＡＥの潜在変数としてｎ次元ベクトルを与えると、与えられたｎ次元ベクトルの値に応じた物体の疑似的な軌跡データを生成することができる。
【0037】
図７は組み合わせ情報決定部１２１の事前学習後の組み合わせ情報生成時の処理の流れを示したフローチャートである。組み合わせ情報決定部１２１は、乱数生成器１１０がステップＳ２２３で生成したｎ次元の特徴ベクトルを軌跡生成ネットワーク１２１３に入力し、疑似軌跡データを生成する（Ｓ２２４）。組み合わせ情報生成部１２１４は、この生成された擬似軌跡データを前述したようにして位置情報や姿勢に変換する。組み合わせ情報決定部１２１は、物体種類については任意のルールに基づき決定する。組み合わせ情報決定部１２１は、これらの情報を合わせて組み合わせ情報１２１５を生成する（Ｓ２２５）。生成された組み合わせ情報１２１５は、組み合わせ情報決定部１２１から前述の疑似データ生成部１２２へ渡され、図４のステップＳ２３へと処理が継続される。
【0038】
以上のように学習データ生成装置１００は、空間内での物体認識の学習に必要なデータセットを人工的に生成する学習データ生成装置である。学習データ生成装置１００は、分布の特徴を表す特定のパラメータの集合で規定される確率分布に従う変数として符号化された学習データの特徴ベクトルからアノテーション（教師信号）を含む学習データを生成する手段を備える。学習データ生成装置１００は、任意の値のパラメータの集合で規定した確率分布の実現値から人工的にアノテーションを含む学習データを生成し、生成した学習データに対する物体認識モデルの認識度合いに基づき、上記パラメータの集合を更新する手段を備える。
【0039】
また、学習データ生成装置１００における上記パラメータの集合を更新する手段は、人工的に生成した学習データに対する物体認識モデルの損失関数を、認識度合いを測る尺度として用い、当該損失関数の上記確率分布の実現値に対する勾配を計算することで、損失関数のより大きくなる値が確率分布の実現値として発生しやすくなるように上記パラメータの集合を更新する。
【0040】
また、学習データ生成装置１００における上記学習データの特徴ベクトルからアノテーション（教師信号）を含む学習データを生成する手段は、認識対象の空間での観測データ、マップデータおよび認識対象のオブジェクトデータを入力とし、上記の任意の特徴ベクトルの値を入力として認識対象の空間上にどのように認識対象オブジェクトを合成するかを規定する物体の種類、位置、姿勢に関する組み合わせ情報を生成し、上記マップデータと組み合わせ情報を入力に空間内に物体が存在した際の疑似的な観測データである疑似データを合成する。加えて、学習データ生成手段は、観測データと疑似データを入力にＡｄｖｅｒｓａｒｉａｌ Ｔｒａｉｎｉｎｇにより訓練された、疑似データを実際の観測データに近づけるデータ変換を行える機械学習モデルにより実装されるデータ変換手段を備え、このデータ変換手段により変換された疑似データと組み合わせ情報より特定されるアノテーション情報を含む学習データを生成する手段を備える。
【0041】
また、学習データ生成装置１００における上記組み合わせ情報を生成する手段は、認識対象の空間での観測データおよびマップデータより観測データ内の物体の軌跡を抽出する。また、組み合わせ情報生成手段は、物体の軌跡を学習データとして訓練されたＶＡＥ等の生成モデルを備え、ＶＡＥ内の潜在変数として乱数により生成した特徴ベクトルを入力に疑似的な軌跡データを生成する。また、組み合わせ情報生成手段は、生成された疑似的な軌跡データをもとに、どのように認識対象オブジェクトを合成するかを規定する物体の種類、位置、姿勢に関する組み合わせ情報を生成する。
【0042】
以上説明したように本実施の形態によれば、物体認識モデルの学習において認識対象の空間および認識対象物体の実態に即した学習データを学習の進捗状況に合わせて自動的に生成することができる。それにより、人手によるチューニングや監視をすることなく認識対象の空間及び物体に最適化された物体認識モデルの学習が行える。
【0043】
［第２の実施の形態］
本発明の第２の実施の形態の構成について説明する。図８は、本発明の第２の実施の形態における学習データ生成装置１００の構成の一例を示すブロック図である。図１の第１の実施の形態との違いは、図１の学習データ生成装置１００をｍ台（ｍは２以上の自然数）同時に動作させている点である。１台の学習データ生成装置１００－ｉ（ｉ＝１、２、・・・、ｍ）から１回の反復（乱数ベクトルの生成から乱数パラメータを更新するまでの１サイクル）で得られる学習データ１５０－ｉは、学習したいデータ空間全体のうちのごくわずかになる。そのため、単独の学習データ生成装置１００によって生成される学習データは、１回の学習処理（Ｓ４）で使用する学習データセットとしては偏りがあり、時として不適切な場合がある。そこで、本実施の形態では、互いに乱数パラメータの大きく異なる（すなわち生成される乱数ベクトルの値および学習データが大きく異なる）複数の乱数生成器１１０を実装し、それぞれの乱数生成器１１０に紐づく学習データ生成装置１００を並列で稼働させる。これにより、学習に適した多様性を持つ学習データ１５０を高速に生成することができる。
本発明の第２の実施の形態の構成について説明する。図８は、本発明の第２の実施の形態における学習データ生成装置１００の構成の一例を示すブロック図である。図１の第１の実施の形態との違いは、図１の学習データ生成装置１００をｍ台（ｍは２以上の自然数）同時に動作させている点である。１台の学習データ生成装置１００－ｉ（ｉ＝１、２、・・・、ｍ）から１回の反復（乱数ベクトルの生成から乱数パラメータを更新するまでの１サイクル）で得られる学習データ１５０－ｉは、学習したいデータ空間全体のうちのごくわずかになる。そのため、単独の学習データ生成装置１００によって生成される学習データは、１回の学習処理（Ｓ４）で使用する学習データセットとしては偏りがあり、時として不適切な場合がある。そこで、本実施の形態では、互いに乱数パラメータの大きく異なる（すなわち生成される乱数ベクトルの値および学習データが大きく異なる）複数の乱数生成器１１０を実装し、それぞれの乱数生成器１１０に紐づく学習データ生成装置１００を並列で稼働させる。これにより、学習に適した多様性を持つ学習データ１５０を高速に生成することができる。
【0044】
複数の学習データ生成装置１００で生成された学習データによる認識モデル３００の１回の学習処理（Ｓ４）は、それぞれの学習データ生成装置１００内の学習部１３０がそれぞれの学習データ生成装置１００で生成された学習データを使用して個別に実施してもよいし、何れか１つの学習部１３０が代表してまとめて実施してもよい。
【0045】
また、複数の学習データ生成装置１００で生成された学習データによる認識モデル３００の１回の評価処理（Ｓ５）は、それぞれの学習データ生成装置１００内の学習部１３０がそれぞれの学習データ生成装置１００で生成された学習データを使用して個別に実施してもよいし、何れか１つの学習部１３０が代表してまとめて実施してもよい。このとき、学習データ生成装置１００－ｉで生成された学習データをテストデータとして認識モデル３００に入力したときに認識モデル３００から出力される推論結果である出力データ４００－ｉは、テストデータ入力元の学習データ生成装置１００－ｉへ出力される。即ち、認識モデル３００は、学習後の評価用データでの推論（Ｓ５）を各学習データ生成装置１００に行い、それぞれの学習データ生成装置１００に異なる推論結果である出力データ４００を送信する。
【0046】
各学習データ生成装置１００内での以降の処理の流れは第１の実施の形態と同様である。
【0047】
本実施の形態によれば、第１の実施の形態での効果に加え、１回の学習処理に適した偏りのない学習データセットを高速に得ることができる。
【0048】
［第３の実施の形態］
図１０は、本発明の第３の実施の形態に係る学習データ生成装置１のブロック図である。本実施の形態では、本発明の学習データ生成装置の概要を説明する。図１０を参照すると、学習データ生成装置１は、物体認識モデルの学習に用いる学習データを生成する装置であり、生成モデル学習手段２と乱数生成手段３とデータ生成手段４を含んで構成されている。
図１０は、本発明の第３の実施の形態に係る学習データ生成装置１のブロック図である。本実施の形態では、本発明の学習データ生成装置の概要を説明する。図１０を参照すると、学習データ生成装置１は、物体認識モデルの学習に用いる学習データを生成する装置であり、生成モデル学習手段２と乱数生成手段３とデータ生成手段４を含んで構成されている。
【0049】
生成モデル学習手段２は、実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから擬似的な空間データへの変換を学習するように構成されている。空間データは、カメラやＬｉＤＡＲセンサ等で空間を撮影し或いは計測して得られた画像や３次元点群データである。空間データは、例えば、物体の移動軌跡を表すデータであってもよいし、物体の位置および姿勢等を表すデータであってもよい。特徴ベクトルは、空間データの特徴量で構成されたベクトルであり、１つのサンプルは、ｎ次元ベクトル空間における１点として表される。例えば、空間データの特徴ベクトルＸは、Ｘ＝（ｘ1，ｘ2，・・・，ｘn）で表される。ここで、ｘi（ｉ＝１，２，・・・ｎ）はｎ次元ベクトルの第ｉ成分である。生成モデルとしては、それに限定されないが、例えば、ＶＡＥなどのＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒネットワークを使用してよい。生成モデル学習部２は、実際の空間データを訓練データとして用いて、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒネットワークによる生成モデルにより、エンコーダにおいて入力データの空間データから潜在変数への変換を学習し、デコーダにおいて潜在変数から擬似的な空間データへの変換を学習する。訓練された生成モデルは、潜在変数としてｎ次元ベクトルを与えると、与えられたｎ次元ベクトルの値に応じた疑似的な空間データを生成することができる。
【0050】
乱数生成手段３は、設定されたパラメータの集合で規定される確率分布の実現値として、上記特徴ベクトルのサンプルを生成する。確率分布とそれを規定するパラメータの集合としては、正規分布および正規分布の平均と分散を例示することができるが、それに限定されない。
【0051】
データ生成手段４は、乱数生成手段３によって生成された特徴ベクトルのサンプルを生成モデルに入力することにより、擬似的な空間データを生成する。また、データ生成手段４は、上記生成された擬似的な空間データに基づいて、機械学習モデルである物体認識モデルの学習に用いる学習データを生成する。学習データは、物体の空間データとアノテーションデータとを含む。ここで、学習データに含まれる空間データと上記生成された擬似的な空間データとは同じ種類のデータであってもよいし、異なっていてもよい。例えば、学習データに含まれる空間データおよび上記生成された擬似的な空間データは、共に物体の位置および姿勢を表す空間データであってよい。或いは、上記生成された擬似的な空間データが物体の移動軌跡を表すデータであり、学習データに含まれる空間データが、当該物体の移動軌跡に基づいて生成された物体の位置および姿勢を表すデータであってよい。
【0052】
以上のように構成された学習データ生成装置１は、以下のように動作する。即ち、生成モデル学習手段２は、実際の物体の空間データを用いて、生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから擬似的な空間データへの変換を学習する。次に、乱数生成手段３は、設定されたパラメータの集合で規定される確率分布の実現値として、上記特徴ベクトルのサンプルを生成する。次に、データ生成手段４は、上記生成された特徴ベクトルのサンプルを生成モデルに入力して生成された擬似的な空間データに基づいて、物体認識モデルの学習に用いる学習データを生成する。
【0053】
以上のように学習データ生成装置１は、実際の物体の空間データを用いて、生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから擬似的な空間データへの変換を学習する。そのため、特徴ベクトルのサンプルを生成モデルに入力して生成される擬似的な空間データ、従って、それに基づいて生成される学習データの空間データは、現実の空間データに即したものとなる。また、生成モデルに入力する特徴ベクトルのサンプルが異なれば、生成モデルによって生成される擬似的な空間データが相違する。以上のことから、学習データ生成装置１によれば、現実にはあり得ない物体の位置や姿勢などの学習データが生成されるのを抑制しつつ、多様な位置や姿勢などの物体の知識データを生成することができる。
【0054】
本実施の形態に係る学習データ生成装置１は、例えば、以下のような各種の付加変更が可能である。
【0055】
上記パラメータの集合を更新するパラメータ更新手段を、さらに備えるようにしてよい。これにより、乱数生成手段３によって生成する特徴ベクトルのサンプルの分布の形状を調整でき、従って、最終的には生成される学習データの空間データの分布の形状を調整することができる。
【0056】
データ生成手段４によって生成された学習データから抽出された一部の学習データを用いて物体認識モデルの学習を行う認識モデル学習手段を、さらに備えるようにしてよい。これにより、実際の空間データに類似した多様な位置や姿勢などの物体の知識データに基づいて物体認識モデルの学習を行うことができる。
【0057】
データ生成手段４によって生成された学習データから抽出されたテストデータを用いて上記学習後の物体認識モデルのテストを行い、そのテストの結果に基づいて上記パラメータの集合を更新するパラメータ更新手段を備えるようにしてよい。このとき、パラメータ更新手段は、上記テストデータに対する物体認識モデルの損失関数を、認識度合いを測る尺度として用い、損失関数の確率分布の実現値に対する勾配を計算することで、損失関数のより大きくなる値が確率分布の実現値として発生しやすくなるように上記パラメータの集合を更新するようにしてよい。これにより、学習が進捗する学習データを生成することができる。
【0058】
データ生成手段４は、生成された擬似的な空間データに基づいて認識対象の空間内における物体の種類、位置、姿勢に関する組み合わせ情報を生成し、この組み合わせ情報に基づいて組み合わせた物体の種類、位置、姿勢の物体を空間内に含む疑似的な観測データである疑似データを生成するようにしてよい。これにより、多様な位置や姿勢などの物体の知識データを生成するための擬似的な空間データを生成することができる。
【0059】
データ生成手段４は、上記生成された疑似データに対して実際の観測データに近づけるデータ変換を行うようにしてよい。これにより、実際の観測データに似た多様な位置や姿勢などの物体の擬似的な空間データを生成することができる。
【0060】
データ生成手段４は、上記データ変換後の疑似データと上記組み合わせた物体の種類、位置、姿勢の情報を表すアノテーション情報を含む学習データを生成するようにしてよい。これにより、実際の観測データに似た多様な位置や姿勢などの物体の空間データを含む知識データを生成することができる。
【0061】
以上、実施の形態を参照して本発明を説明したが、本発明は上記実施の形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。例えば、上述したＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の代わりに、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＵ（Ｆｌｏａｔｉｎｇ ｎｕｍｂｅｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＰＰＵ（（Ｐｈｙｓｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。
【産業上の利用可能性】
【0062】
本発明の活用例として、環境の変化（認識対象空間および物体の変更、ならびに、カメラおよびセンサの変更）に自律的に追従する認識モデルの自動学習システムへの応用が考えられる。
【0063】
上記の実施の形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから擬似的な空間データへの変換を学習する生成モデル学習手段と、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成する乱数生成手段と、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成するデータ生成手段と、
を備える学習データ生成装置。
［付記２］
前記パラメータの集合を更新するパラメータ更新手段を、さらに備える、
付記１に記載の学習データ生成装置。
［付記３］
前記生成された学習データから抽出された一部の学習データを用いて前記物体認識モデルの学習を行う認識モデル学習手段を、さらに備える、
付記１または２に記載の学習データ生成装置。
［付記４］
前記生成された学習データから抽出されたテストデータを用いて前記学習後の前記物体認識モデルのテストを行い、前記テストの結果に基づいて前記パラメータの集合を更新するパラメータ更新手段を、さらに備える、
付記１乃至３に記載の学習データ生成装置。
［付記５］
前記パラメータ更新手段は、前記テストデータに対する前記物体認識モデルの損失関数を、認識度合いを測る尺度として用い、前記損失関数の前記確率分布の実現値に対する勾配を計算することで、前記損失関数のより大きくなる値が前記確率分布の実現値として発生しやすくなるように前記パラメータの集合を更新する、
付記１乃至４に記載の学習データ生成装置。
［付記６］
前記データ生成手段は、
前記生成された擬似的な空間データに基づいて認識対象の空間内における物体の種類、位置、姿勢に関する組み合わせ情報を生成する組み合わせ情報決定手段と、
前記生成された組み合わせ情報に基づいて組み合わせた物体の種類、位置、姿勢の物体を空間内に含む疑似的な観測データである疑似データを生成する擬似データ生成手段と、
前記生成された疑似データに対して実際の観測データに近づけるデータ変換を行うデータ変換手段と、を備え、
前記データ変換後の疑似データと前記組み合わせた物体の種類、位置、姿勢の情報を表すアノテーション情報を含む前記学習データを生成する、
付記１乃至５に記載の学習データ生成装置。
［付記７］
前記データ変換手段は、観測データを学習データとしたＡｄｖｅｒｓａｒｉａｌ ｔｒａｉｎｉｎｇによって事前に学習された機械学習モデルを使用して前記データ変換を行う、
付記１乃至６に記載の学習データ生成装置。
［付記８］
前記生成モデル学習手段は、実際の物体の空間データから抽出された物体の軌跡データを用いて、前記生成モデルにより、軌跡データから特徴ベクトルへの変換と特徴ベクトルから擬似的な軌跡データへの変換を学習するように構成され、
前記組み合わせ情報決定手段は、
前記生成された擬似的な軌跡データに基づいて前記組み合わせ情報を生成する組み合わせ情報生成手段、を備える、
付記１乃至７に記載の学習データ生成装置。
［付記９］
前記生成モデルは、Ｖａｒｉａｔｉｏｎａｌ ａｕｔｏｅｎｃｏｄｅｒ（ＶＡＥ）を含む、
付記１乃至８に記載の学習データ生成装置。
［付記１０］
付記１乃至９の何れかに記載の学習データ生成装置を複数備え、前記学習データ生成装置毎に、前記学習データ生成装置によって生成された学習データから物体認識モデルの学習に使用する学習データと前記学習後のテストに使用するテストデータとを抽出し、前記学習データ生成装置毎に抽出された前記学習データを１つにまとめて前記物体認識モデルの学習を行うように構成された学習データ生成装置。
［付記１１］
前記学習データ生成装置毎に、前記学習データ生成装置で抽出された前記テストデータを用いて前記学習後の前記物体認識モデルの認識度合いを計測し、該計測の結果に基づいて前記パラメータの集合を更新する、
付記１０に記載の学習データ生成装置。
［付記１２］
コンピュータにより実行される学習データ生成方法であって、
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから空間データへの変換を学習し、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成し、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成する、
学習データ生成方法。
［付記１３］
コンピュータに、
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから空間データへの変換を学習する処理と、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成する処理と、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成する処理と、
を行わせるためのプログラム。
（付記１）
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから擬似的な空間データへの変換を学習する生成モデル学習手段と、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成する乱数生成手段と、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成するデータ生成手段と、
を備える学習データ生成装置。
［付記２］
前記パラメータの集合を更新するパラメータ更新手段を、さらに備える、
付記１に記載の学習データ生成装置。
［付記３］
前記生成された学習データから抽出された一部の学習データを用いて前記物体認識モデルの学習を行う認識モデル学習手段を、さらに備える、
付記１または２に記載の学習データ生成装置。
［付記４］
前記生成された学習データから抽出されたテストデータを用いて前記学習後の前記物体認識モデルのテストを行い、前記テストの結果に基づいて前記パラメータの集合を更新するパラメータ更新手段を、さらに備える、
付記１乃至３に記載の学習データ生成装置。
［付記５］
前記パラメータ更新手段は、前記テストデータに対する前記物体認識モデルの損失関数を、認識度合いを測る尺度として用い、前記損失関数の前記確率分布の実現値に対する勾配を計算することで、前記損失関数のより大きくなる値が前記確率分布の実現値として発生しやすくなるように前記パラメータの集合を更新する、
付記１乃至４に記載の学習データ生成装置。
［付記６］
前記データ生成手段は、
前記生成された擬似的な空間データに基づいて認識対象の空間内における物体の種類、位置、姿勢に関する組み合わせ情報を生成する組み合わせ情報決定手段と、
前記生成された組み合わせ情報に基づいて組み合わせた物体の種類、位置、姿勢の物体を空間内に含む疑似的な観測データである疑似データを生成する擬似データ生成手段と、
前記生成された疑似データに対して実際の観測データに近づけるデータ変換を行うデータ変換手段と、を備え、
前記データ変換後の疑似データと前記組み合わせた物体の種類、位置、姿勢の情報を表すアノテーション情報を含む前記学習データを生成する、
付記１乃至５に記載の学習データ生成装置。
［付記７］
前記データ変換手段は、観測データを学習データとしたＡｄｖｅｒｓａｒｉａｌ ｔｒａｉｎｉｎｇによって事前に学習された機械学習モデルを使用して前記データ変換を行う、
付記１乃至６に記載の学習データ生成装置。
［付記８］
前記生成モデル学習手段は、実際の物体の空間データから抽出された物体の軌跡データを用いて、前記生成モデルにより、軌跡データから特徴ベクトルへの変換と特徴ベクトルから擬似的な軌跡データへの変換を学習するように構成され、
前記組み合わせ情報決定手段は、
前記生成された擬似的な軌跡データに基づいて前記組み合わせ情報を生成する組み合わせ情報生成手段、を備える、
付記１乃至７に記載の学習データ生成装置。
［付記９］
前記生成モデルは、Ｖａｒｉａｔｉｏｎａｌ ａｕｔｏｅｎｃｏｄｅｒ（ＶＡＥ）を含む、
付記１乃至８に記載の学習データ生成装置。
［付記１０］
付記１乃至９の何れかに記載の学習データ生成装置を複数備え、前記学習データ生成装置毎に、前記学習データ生成装置によって生成された学習データから物体認識モデルの学習に使用する学習データと前記学習後のテストに使用するテストデータとを抽出し、前記学習データ生成装置毎に抽出された前記学習データを１つにまとめて前記物体認識モデルの学習を行うように構成された学習データ生成装置。
［付記１１］
前記学習データ生成装置毎に、前記学習データ生成装置で抽出された前記テストデータを用いて前記学習後の前記物体認識モデルの認識度合いを計測し、該計測の結果に基づいて前記パラメータの集合を更新する、
付記１０に記載の学習データ生成装置。
［付記１２］
コンピュータにより実行される学習データ生成方法であって、
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから空間データへの変換を学習し、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成し、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成する、
学習データ生成方法。
［付記１３］
コンピュータに、
実際の物体の空間データを用いて、機械学習モデルである生成モデルにより、空間データから特徴ベクトルへの変換と特徴ベクトルから空間データへの変換を学習する処理と、
設定されたパラメータの集合で規定される確率分布の実現値として、前記特徴ベクトルのサンプルを生成する処理と、
前記生成された前記特徴ベクトルのサンプルを前記生成モデルに入力して生成された擬似的な空間データに基づいて機械学習モデルである物体認識モデルの学習に用いる学習データを生成する処理と、
を行わせるためのプログラム。
【符号の説明】
【0064】
１ 学習データ生成装置
２ 生成モデル学習手段
３ 乱数生成手段
４ データ生成手段
１００ 学習データ生成装置
１１０ 乱数生成器
１２０ データ生成部
１２１ 組み合わせ情報決定部
１２１１ 軌跡データ抽出部
１２１２ 生成モデル学習部
１２１３ 軌跡生成ネットワーク
１２１４ 組み合わせ情報生成部
１２１５ 組み合わせ情報
１２１６ 軌跡データ
１２２ 疑似データ生成部
１２３ データ変換部
１３０ 学習部
１４０ パラメータ更新部
１５０ 学習データ
２００ 入力データ
２１０ 観測データ
２２０ マップデータ
２３０ オブジェクトデータ
３００ 認識モデル
４００ 出力データ
２ 生成モデル学習手段
３ 乱数生成手段
４ データ生成手段
１００ 学習データ生成装置
１１０ 乱数生成器
１２０ データ生成部
１２１ 組み合わせ情報決定部
１２１１ 軌跡データ抽出部
１２１２ 生成モデル学習部
１２１３ 軌跡生成ネットワーク
１２１４ 組み合わせ情報生成部
１２１５ 組み合わせ情報
１２１６ 軌跡データ
１２２ 疑似データ生成部
１２３ データ変換部
１３０ 学習部
１４０ パラメータ更新部
１５０ 学習データ
２００ 入力データ
２１０ 観測データ
２２０ マップデータ
２３０ オブジェクトデータ
３００ 認識モデル
４００ 出力データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】