特開 2024-60252 データ作成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024060252

(43)【公開日】2024-05-02

(54)【発明の名称】データ作成装置

(51)【国際特許分類】

   G06V 10/774 20220101AFI20240424BHJP

   G06T 7/00 20170101ALI20240424BHJP

【ＦＩ】

G06V10/774

G06T7/00 350B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022167504

(22)【出願日】2022-10-19

(71)【出願人】

【識別番号】000003643

【氏名又は名称】株式会社ダイフク

(74)【代理人】

【識別番号】110004082

【氏名又は名称】弁理士法人北大阪特許事務所

(74)【代理人】

【識別番号】100141092

【弁理士】

【氏名又は名称】山本 英生

(72)【発明者】

【氏名】高野 洋一

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096GA08

5L096KA04

5L096MA03

(57)【要約】      （修正有）

【課題】物体認識や音声認識等が適切に実行可能となる大量の教師データを容易に作成することが可能となるデータ作成装置及び学習システムを提供する。
【解決手段】機械学習用の教師データを作成するデータ作成装置１であって、フィジカル空間から得られる対象のリアルデータと、仮想空間から対象のモデリングにより得られる仮想データの入力を受付けるデータ入力部と、同じ対象について、リアルデータには含まれて仮想データには含まれないノイズ情報を取得するノイズ情報取得部と、仮想空間から認識対象のモデリングにより得られる認識対象仮想データに前記ノイズ情報を合成して、当該認識対象の前記教師データを作成する教師データ作成部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

機械学習用の教師データを作成するデータ作成装置であって、
フィジカル空間から得られる対象のリアルデータと、仮想空間から対象のモデリングにより得られる仮想データの入力を受付けるデータ入力部と、
同じ対象について前記リアルデータに含まれて前記仮想データには含まれないノイズ情報を取得するノイズ情報取得部と、
仮想空間から認識対象のモデリングにより得られる認識対象仮想データに前記ノイズ情報を合成して、当該認識対象の前記教師データを作成する教師データ作成部と、を備えたことを特徴とするデータ作成装置。

【請求項2】

前記ノイズ情報取得部は、
同じ対象についての前記リアルデータと前記仮想データの差分を、前記ノイズ情報として取得することを特徴とする請求項１に記載のデータ作成装置。

【請求項3】

前記教師データ作成部は、
前記認識対象仮想データに前記ノイズ情報を合成させて合成済みの認識対象仮想データを生成し、当該合成済みの認識対象仮想データに変形処理を施すことにより、前記教師データを作成することを特徴とする請求項１に記載のデータ作成装置。

【請求項4】

前記教師データ作成部は、
前記認識対象仮想データに変形処理を施して変形処理済みの認識対象仮想データを生成し、当該変形処理済み認識対象仮想データに前記ノイズ情報を合成させることにより、前記教師データを作成することを特徴とする請求項１に記載のデータ作成装置。

【請求項5】

複数の前記ノイズ情報を保有するノイズ情報保有部と、
前記ノイズ情報保有部が保有する複数の前記ノイズ情報の一部または全部を合成させて、新たなノイズ情報を作成するノイズ情報作成部と、を備えたことを特徴とする請求項１から請求項４の何れかに記載のデータ作成装置。

【請求項6】

前記リアルデータおよび前記仮想データは、前記対象である物体を表す２次元データであることを特徴とする請求項１に記載のデータ作成装置。

【請求項7】

前記リアルデータおよび前記仮想データは、前記対象である物体を表す３次元データであることを特徴とする請求項１に記載のデータ作成装置。

【請求項8】

請求項６または請求項７に記載のデータ作成装置により作成された教師データを用いて、物体認識のための機械学習を行うことを特徴とする学習システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習用の教師データを作成するデータ作成装置に関する。

【背景技術】

【0002】

近年、深層学習（ディープラーニング）等の機械学習による物体認識や音声認識の実用化が進められている。機械学習による物体認識や音声認識の精度を高めるためには大量の教師データが必要となるため、データ拡張による教師データの水増しが行われる。特許文献１には、データ拡張システムの一例が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１２０９１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし教師データを水増しするにあたり、フィジカル空間から得られるリアルデータ（現実の物体の撮影や録音等で得られるデータ）を大量に収集するためには、多くの時間や労力が掛かる。そのため、教師データとしてリアルデータを利用するだけでは、大量の教師データを作成するのは容易ではない。

【0005】

そこで教師データとして、仮想データ（物体や音等のモデリングで得られるデータ）を利用することが考えられる。これにより、教師データとしてリアルデータのみを利用する場合に比べ、大量の教師データを容易に作成することができる。また、教師データとして仮想データを利用すれば、例えば未だ設計段階の物品の教師データを予め作成する場合にも、試作品（現実の物体）を作成することなく教師データを作成することが可能となる。

【0006】

しかしながら、現実の物体の撮影や録音等で得られるリアルデータには、例えばハレーションやオクルージョン等が混入するが、仮想データにはこのようなものは含まれない。このように、リアルデータと仮想データの間にはギャップがあるため、仮想データの教師データをそのまま用いて機械学習を行うと、物体認識や音声認識等が適切に実行されないという問題が生じ得る。

【0007】

本発明は上述した問題点に鑑み、物体認識や音声認識等が適切に実行可能となる大量の教師データを容易に作成することが可能となるデータ作成装置の提供を目的とする。

【課題を解決するための手段】

【0008】

本発明に係るデータ作成装置は、機械学習用の教師データを作成するデータ作成装置であって、フィジカル空間から得られる対象のリアルデータと、仮想空間から対象のモデリングにより得られる仮想データの入力を受付けるデータ入力部と、同じ対象について前記リアルデータに含まれて前記仮想データには含まれないノイズ情報を取得するノイズ情報取得部と、仮想空間から認識対象のモデリングにより得られる認識対象仮想データに前記ノイズ情報を合成して、当該認識対象の前記教師データを作成する教師データ作成部と、を備えた構成とする。

【0009】

本構成によれば、物体認識や音声認識等が適切に実行可能となる大量の教師データを容易に作成することが可能となる。なおここでの「認識対象仮想データにノイズ情報を合成して教師データを作成する」ことは、「変形処理を施した認識対象仮想データにノイズ情報を合成して教師データを作成する」こと、および、「認識対象仮想データにノイズ情報を合成したものに、さらに変形処理を施して教師データを作成する」ことも含む概念である。またここでの機械学習は、物体認識のための機械学習と音声認識のための機械学習を含む概念であり、前者の場合「対象」および「認識対象」は物体であり、後者の場合「対象」および「認識対象」は音である。なお「フィジカル空間から得られる対象のリアルデータ」は、対象の撮影または録音により得られるリアルデータを含む概念である。

【発明の効果】

【0010】

本発明に係るデータ作成装置によれば、物体認識や音声認識等が適切に実行可能となる大量の教師データを容易に作成することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本実施形態のデータ作成装置１の概略的な構成を示すブロック図である。

【図2】ノイズ情報取得動作に関するフローチャートである。

【図3】ノイズ情報取得動作の内容に関する説明図である。

【図4】ノイズ情報取得動作の内容に関する説明図である。

【図5】教師データ作成動作に関するフローチャートである。

【図6】教師データ作成動作の第１パターンの手法に関する説明図である。

【図7】教師データ作成動作の第２パターンの手法に関する説明図である。

【図8】教師データ作成動作の第３パターンの手法に関する説明図である。

【図9】ノイズ情報作成動作に関するフローチャートである。

【図10】ノイズ情報作成動作の内容に関する説明図である。

【発明を実施するための形態】

【0012】

本発明の一実施形態について、各図面を参照しながら以下に説明する。

【0013】

１．データ作成装置の構成等
図１は、本実施形態に係るデータ作成装置１の概略的な構成を示すブロック図である。データ作成装置１は、深層学習（ディープラーニング）用の教師データを作成する装置であって、データ入力部１１、ノイズ情報取得部１２、ノイズ情報保有部１３、教師データ作成部１４、ノイズ情報作成部１５、データ出力部１６、および制御部１７を備える。なお、深層学習（ディープラーニング）は機械学習の一形態である。また、本発明に係るデータ作成装置は、物体認識（認識対象が物体である機械的な認識）を可能とする機械学習のための教師データだけでなく、音声認識を可能とする機械学習のための教師データを作成するように構成することも可能であるが、一例として、物体認識を可能とする機械学習のための教師データを作成するデータ作成装置１について以下に説明する。

【0014】

データ入力部１１は、物体（本発明に係る「対象」の一形態）の撮影により得られるリアルデータと、物体をモデリングした仮想データの入力を受付ける。リアルデータは、現実の物体を被写体とした撮影により得られるデータであり、当該物体の外観を表すデータである。なお当該リアルデータは、フィジカル空間から得られる視覚に関する対象から得られるデータと見ることもできる。また仮想データは、現実の物体または仮想的な物体をモデリングして得られるモデルの外観を表すデータである。このモデリングは、例えばＣＡＤのソフトウェア等を利用して実施可能である。

【0015】

なお、リアルデータおよび仮想データは、物体を表す２次元データと３次元データの何れであっても良い。以下の説明では一例として、リアルデータおよび仮想データは物体を表す２次元データであるとし、当該データは物体の外観を表すカラー画像のデータ（ＲＧＢ（赤緑青）の輝度が割り当てられた複数画素の情報を含むデータ）であるとする。２次元データであるリアルデータは、例えばデジタルカメラ等で物体を撮影することにより得られる。２次元データである仮想データは、例えば、２次元ＣＡＤのソフトウェアでモデリングされた物体の２Ｄモデルの画像データであっても良く、３次元ＣＡＤのソフトウェアでモデリングされた物体の３Ｄモデルを一方向から見た外観の画像データであっても良い。

【0016】

ノイズ情報取得部１２は、仮想データには含まれないリアルデータに特有の情報であるノイズ情報を取得する。すなわち、同じ物体についてのリアルデータと仮想データであっても、リアルデータには含まれるが仮想データには含まれない情報があり、ノイズ情報取得部１２はこの情報をノイズ情報として取得する。ノイズ情報の内容としては、一例として、ハレーション、オクルージョン、物体に貼付けられたラベルの違い、および物体の色の違い等が挙げられる。なお、ノイズ情報を取得するための動作（ノイズ情報取得動作）については、改めて詳細に説明する。

【0017】

ノイズ情報保有部１３は、ノイズ情報取得部１２によって取得されたノイズ情報、および、ノイズ情報作成部１５によって新たに作成されたノイズ情報を保有する。後述するように、ノイズ情報保有部１３が保有するノイズ情報は、教師データの作成に利用可能である。

【0018】

教師データ作成部１４は、ノイズ情報保有部１３が保有するノイズ情報を用いて、教師データを作成する。なお、教師データを作成するための動作（教師データ作成動作）については、改めて詳細に説明する。

【0019】

ノイズ情報作成部１５は、ノイズ情報保有部１３が保有する複数のノイズ情報の全部または一部を合成させて、新たなノイズ情報を作成する。この新たに作成されたノイズ情報は、他のノイズ情報と同様に、ノイズ情報保有部１３に蓄積される。なお、新たなノイズ情報を作成するための動作（ノイズ情報作成動作）については、改めて詳細に説明する。

【0020】

データ出力部１６は、教師データ作成部１４によって作成された教師データを出力する。教師データの出力先としては、例えば、教師データを利用して機械学習を行う学習システムが挙げられる。この場合に当該学習システムは、データ作成装置１によって作成された教師データを利用して、物体認識のための画像認識の機械学習を実行することが可能となる。

【0021】

制御部１７は、データ作成装置１が正常に動作するように、データ作成装置１の各部を適切に制御する。なおデータ作成装置１が実行する動作には、ノイズ情報を取得するためのノイズ情報取得動作、教師データを作成するための教師データ作成動作、および、新たなノイズ情報を作成するためのノイズ情報作成動作が含まれる。以下、これらの動作について説明する。

【0022】

２．データ作成装置の動作等
（１）ノイズ情報取得動作
まず、ノイズ情報取得動作について、図２に示すフローチャートを参照しながら説明する。ノイズ情報取得動作が開始されると、データ入力部１１は、任意の物体についての撮影により得られたリアルデータであるノイズ情報取得用のリアルデータ（リアルデータＤＡ）と、これと同じ物体のモデリングにより得られた仮想データであるノイズ情報取得用の仮想データ（仮想データＤＢ）の入力を受付ける（ステップＳ１）。

【0023】

そしてリアルデータＤＡと仮想データＤＢが入力されると、ノイズ情報取得部１２は、リアルデータＤＡに含まれて仮想データＤＢには含まれないノイズ情報ＮＸを取得する（ステップＳ２）。より具体的に説明すると、ノイズ情報取得部１２は、リアルデータＤＡと仮想データＤＢとの差分（ＤＡ－ＤＢ）を求め、この差分をノイズ情報ＮＸとして取得する。

【0024】

なおノイズ情報取得部１２は、リアルデータＤＡと仮想データＤＢの間で物体の輪郭の形状、サイズ、或いは位置に多少のズレが存在していても、このズレが解消されるようにリアルデータＤＡまたは仮想データＤＢを補正した上で、リアルデータＤＡと仮想データＤＢとの差分を求めることが好ましい。但し、ノイズ情報ＮＸを取得するための手法としては、同じ物体であってもリアルデータには含まれるが仮想データには含まれない情報をノイズ情報ＮＸとして取得できる手法であれば、種々の手法が採用され得る。例えば、人工知能（ＡＩ）を利用してリアルデータＤＡの中から仮想データＤＢには無い各要素を抽出し、これをノイズ情報ＮＸとしても良い。

【0025】

ノイズ情報取得部１２によって取得されたノイズ情報ＮＸは、ノイズ情報保有部１３に格納される（ステップＳ３）。このようにしてデータ作成装置１は、ノイズ情報取得動作を実行する度に、新たなノイズ情報ＮＸを取得してノイズ情報保有部１３に蓄積し、大量のノイズ情報ＮＸを保有することが可能である。

【0026】

ここで図３は、ノイズ情報取得動作が実施される様子の一具体例を概念的に示している。図３に示す例では、リアルデータＤＡ－１、および、仮想データＤＢ－１に基づいて、ノイズ情報ＮＸ－１が作成される様子が示されている。ノイズ情報ＮＸ－１は、リアルデータＤＡ－１と仮想データＤＢ－１の差分として作成されている。なお本実施形態の説明において、符号の末尾に設けた「－ｎ」（ｎは自然数）は、第ｎ番目の具体例であることを示す。

【0027】

図３に示す例において、リアルデータＤＡ－１および仮想データＤＢ－１は、同じ物体（同じスマートフォン）の画像を表すが、リアルデータＤＡ－１の方は、主にハレーションＮ１からなる画像の要素（ノイズ）が含まれる点で、仮想データＤＢ－１とは異なる。そのためノイズ情報取得動作の実行時において、ノイズ情報取得部１２にリアルデータＤＡ－１および仮想データＤＢ－１が入力されると、ノイズ情報取得部１２によって、主にハレーションＮ１を含むノイズ情報ＮＸ－１が取得されることになる。

【0028】

また図４は、ノイズ情報取得動作が実施される様子の別の具体例を概念的に示している。図４に示す例では、リアルデータＤＡ－２、および、仮想データＤＢ－１に基づいて、ノイズ情報ＮＸ－２が作成される様子が示されている。ノイズ情報ＮＸ－２は、リアルデータＤＡ－２と仮想データＤＢ－１の差分として作成されている。

【0029】

図４に示す例において、リアルデータＤＡ－２および仮想データＤＢ－１は、同じ物体（同じスマートフォン）の画像を表すが、リアルデータＤＡ－２の方は、主にオクルージョンＮ２からなる画像の要素（ノイズ）が含まれる点で、仮想データＤＢ－１とは異なる。そのためノイズ情報取得動作の実行時において、ノイズ情報取得部１２にリアルデータＤＡ－２および仮想データＤＢ－１が入力されると、ノイズ情報取得部１２によって、主にオクルージョンＮ２を含むノイズ情報ＮＸ－２が取得されることになる。

【0030】

図３および図４に示す例のように、データ作成装置１では、ノイズ情報取得動作を実行する度に新たなノイズ情報ＮＸを取得することができる。そのため、少なくともリアルデータＤＡを変えながらノイズ情報取得動作を繰り返し実行させることにより、その度に新たなノイズ情報ＮＸを作成して、ノイズ情報保有部１３に蓄積させることが可能である。なお、ノイズ情報保有部１３が保有するノイズ情報ＮＸが多くなるほど、後述する教師データ作成動作によって多くの教師データを作成することが可能となる点で好ましい。

【0031】

（２）教師データ作成動作
次に、教師データ作成動作について、図５に示すフローチャートを参照しながら説明する。教師データ作成動作が開始されると、データ入力部１１は、認識対象をモデリングした仮想データである認識対象仮想データＤＸの入力を受付ける（ステップＳ１１）。この認識対象は、画像認識の対象となる物体であり、例えば、所定の財布Ａの画像認識を可能とする機械学習用の教師データを作成する場合には、この財布Ａを認識対象とすれば良い。

【0032】

そして認識対象仮想データＤＸが入力されると、教師データ作成部１４は、この認識対象仮想データＤＸとノイズ情報保有部１３が保有するノイズ情報ＮＸとを用いて、当該認識対象の教師データＺを作成する（ステップＳ１２）。作成された教師データＺは、データ出力部１６から外部に出力される（ステップＳ１３）。出力された教師データＺは、認識対象の画像認識のための機械学習に利用することが可能である。

【0033】

なお、認識対象の教師データＺの作成に用いるノイズ情報ＮＸは、認識対象とは異なる物体のリアルデータに由来するノイズ情報ＮＸであっても構わない。例えば認識対象が「財布」である場合に、認識対象の教師データＺの作成に用いるノイズ情報ＮＸとしては、「財布」のリアルデータに由来するノイズ情報ＮＸに限られず、「スマートフォン」など様々な物体のリアルデータに由来するノイズ情報ＮＸを採用することも可能である。ここで、認識対象の教師データＺを作成する動作（ステップＳ１２）の具体的手法の一例について、第１～第３の各パターンの手法を例に挙げて以下に説明する。

【0034】

（２－１）第１パターンの手法
第１パターンの手法として、認識対象仮想データＤＸにノイズ情報ＮＸを合成させる（組み合わせる）ことにより、認識対象の教師データＺを作成する手法が挙げられる。図６は、当該第１パターンの手法によって認識対象の教師データＺが作成される様子の具体例を、概念的に示している。

【0035】

図６に示す例では、認識対象仮想データＤＸ－１に、ノイズ情報ＮＸ－１を合成させることにより、認識対象の教師データＺ－１が作成されている。また更に、認識対象仮想データＤＸ－１にノイズ情報ＮＸ－２を合成させることにより、認識対象の教師データＺ－２が作成されている。なお上述した第１パターンの手法によれば、ｎ個のノイズ情報ＮＸを利用して、ｎ個の教師データＺを作成することが可能となる。

【0036】

（２－２）第２パターンの手法
また第２パターンの手法として、認識対象仮想データＤＸにノイズ情報ＮＸを合成させて合成済みの認識対象仮想データＤＸａを生成し、当該合成済みの認識対象仮想データＤＸａに変形処理を施すことにより、認識対象の教師データＺを作成する手法が挙げられる。合成済みの認識対象仮想データＤＸに施す変形処理の具体的内容としては、画像の拡大・縮小、回転、平行移動、水平または垂直方向の反転、シアー変換、および色彩変換などが挙げられる。

【0037】

図７は、当該第２パターンの手法によって認識対象の教師データＺが作成される様子の具体例を、概念的に示している。図７に示す例では、認識対象仮想データＤＸ－１にノイズ情報ＮＸ－１を合成させた合成済みの認識対象仮想データＤＸａ－１（図６に示す教師データＺ－１と同様に作成されるため、作成過程の図示を省略する）が生成され、この認識対象仮想データＤＸａ－１に、画像縮小の変形処理を施して教師データＺ－３が作成されるとともに、画像回転の変形処理を施して教師データＺ－４が作成されている。

【0038】

更に図７に示す例では、認識対象仮想データＤＸ－１にノイズ情報ＮＸ－２合成させた合成済みの認識対象仮想データＤＸａ－２（図６に示す教師データＺ－２と同様に作成されるため、作成過程の図示を省略する）が生成され、この認識対象仮想データＤＸａ－２に、画像縮小の変形処理を施して教師データＺ－５が作成されるとともに、画像回転の変形処理を施して教師データＺ－６が作成されている。なお上述した第２パターンの手法によれば、例えば、ｎ個のノイズ情報ＮＸを利用してｎ個の合成済みの認識対象仮想データＤＸａを生成し、それぞれの認識対象仮想データＤＸａに対してｍ通りの変形処理を施すことにより、ｎ×ｍ個の教師データＺを作成することが可能となる。

【0039】

（２－３）第３パターンの手法
また第３パターンの手法として、認識対象仮想データＤＸに変形処理を施して変形処理済みの認識対象仮想データＤＸｂを生成し、当該変形処理済みの認識対象仮想データＤＸｂにノイズ情報ＮＸを合成させることにより、認識対象の教師データＺを作成する手法が挙げられる。認識対象仮想データＤＸに施す変形処理の具体的内容としては、画像の拡大・縮小、回転、平行移動、水平または垂直方向の反転、シアー変換、および色彩変換などが挙げられる。

【0040】

図８は、当該第３パターンの手法によって認識対象の教師データＺが作成される様子の具体例を、概念的に示している。図８に示す例では、認識対象仮想データＤＸ－１に画像縮小の変形処理を施した認識対象仮想データＤＸｂ－１に、ノイズ情報ＮＸ－１を合成させて、教師データＺ－７が作成されている。更に、認識対象仮想データＤＸ－１に画像回転の変形処理を施した認識対象仮想データＤＸｂ－２に、ノイズ情報ＮＸ－１を合成させて、教師データＺ－８が作成されている。

【0041】

なお上述した第３パターンの手法によれば、例えば、認識対象仮想データＤＸにｎ通りの変形処理を施してｎ個の変形処理済みの認識対象仮想データＤＸｂを生成し、それぞれの認識対象仮想データＤＸｂに対してｍ個のノイズ情報ＮＸを合成させることにより、ｎ×ｍ個の教師データＺを作成することが可能となる。

【0042】

教師データ作成部１４は、上述した第１～第３の各パターンのうちの一部または全部の手法を実行し、認識対象の教師データＺを大量に作成することが可能である。なお、教師データ作成部１４が採用する教師データＺの作成手法については、ユーザによって指定可能となっていても良く、本発明の趣旨を逸脱しない範囲において上述した第１～第３の各パターン以外の手法が採用されても良い。また、教師データ作成部１４が採用する教師データＺの作成手法に、公知である各種の手法（一例としてはRandAugmentの手法）を組合わせるようにしても良い。

【0043】

（３）ノイズ情報作成動作
次に、ノイズ情報作成動作について、図９に示すフローチャートを参照しながら説明する。ノイズ情報作成動作が開始されると、ノイズ情報保有部１３に保有済みの複数個のノイズ情報ＮＸから、新たなノイズ情報の作成に用いるための複数個のノイズ情報ＮＸが特定される（ステップＳ２１）。この特定は、データ作成装置１が自動的に行うようにしても良く、ユーザの指定に基づいて行われるようにしても良い。

【0044】

複数個のノイズ情報ＮＸが特定されると、ノイズ情報作成部１５は、これらのノイズ情報ＮＸを用いて、新たなノイズ情報ＮＸを作成する（ステップＳ２２）。より具体的に説明すると、ノイズ情報作成部１５は、特定された各ノイズ情報ＮＸを合成させることにより、新たなノイズ情報ＮＸを作成する。但し、新たなノイズ情報ＮＸを作成する手法としては、これとは別の手法が採用されても構わない。ノイズ情報作成部１５によって作成されたノイズ情報ＮＸは、ノイズ情報保有部１３に格納される（ステップＳ２３）。

【0045】

図１０は、ノイズ情報作成動作に新たなノイズ情報ＮＸが作成される様子の具体例を、概念的に示している。図１０に示す例では、主にハレーションＮ１を含むノイズ情報ＮＸ－１に、主にオクルージョンＮ２を含むノイズ情報ＮＸ－２を合成させることにより、ハレーションＮ１とオクルージョンＮ２の両方を含む新たなノイズ情報ＮＸ－３が作成されている。

【0046】

なお上述した例では、２個のノイズ情報ＮＸを合成させて新たなノイズ情報ＮＸを作成しているが、３個以上のノイズ情報ＮＸを合成させて新たなノイズ情報ＮＸを作成するようにしても良い。このようにノイズ情報作成動作によれば、ノイズ情報保有部１３が保有するノイズ情報ＮＸに基づいて新たなノイズ情報ＮＸを作成し、ノイズ情報保有部１３が保有するノイズ情報ＮＸを水増しすることが可能である。これにより、先述した教師データ作成動作によって、より多くの教師データを作成することが可能となる。またノイズ情報作成部１５は、ノイズ情報ＮＸを水増しするための他の動作として、ノイズ情報保有部１３に保有済みのノイズ情報ＮＸ（或いは、上述したノイズ情報作成動作により作成されたノイズ情報ＮＸ）に対して種々の変形処理（例えば、正規化処理、上下反転処理、左右反転処理、回転処理、或いはサイズ変更（画質変更）の処理など）を施す動作を行うようにしても良い。

【0047】

３．その他
以上に説明したとおりデータ作成装置１は、機械学習用の教師データを作成するデータ作成装置であって、物体の撮影により得られるリアルデータと、物体のモデリングにより得られる仮想データの入力を受付けるデータ入力部１１と、同じ物体についてリアルデータＤＡに含まれて仮想データＤＢには含まれないノイズ情報ＮＸを取得するノイズ情報取得部１２と、認識対象のモデリングにより得られる認識対象仮想データＤＸにノイズ情報ＮＸを合成して、当該認識対象の教師データＺを作成する教師データ作成部１４と、を備える。

【0048】

そのためデータ作成装置１によれば、物体認識が適切に実行可能となる大量の教師データを容易に作成することが可能となっている。すなわち、認識対象のリアルデータ（公知の変形処理を施したものを含む）を教師データとする場合、多くのリアルデータの収集には時間や労力が非常に掛かるため、教師データとしてリアルデータを利用するだけでは、大量の教師データを作成するのは容易ではない。しかし本実施形態では、認識対象の仮想データをベースとして教師データを作成するため、大量の教師データを作成することが容易である。

【0049】

仮想データは、モデリングに使用したＣＡＤやシミュレーション用のソフトウェア等を使って種々の変形処理を施すことが容易であり、この点でも大量の教師データの作成に好適である。また、例えば未だ設計段階である認識対象の教師データを予め作成する場合にも、仮想データを利用すれば、認識対象の試作品等（現実の物体）を作成することなく、教師データを作成することが可能である。

【0050】

但し、一般的に認識対象の物体認識は、実空間において当該認識対象を撮影して行われることになる。そのため、認識対象のモデリングにより得られる仮想データは、当該認識対象を撮影して得られる情報とのギャップがあり、単に認識対象の仮想データを教師データとして機械学習を行うようにすると、物体認識が適切に実行されないという問題が生じ得る。そこで本実施形態では、認識対象仮想データＤＸだけでなく、リアルデータに由来するノイズ情報ＮＸも利用することで当該ギャップを極力解消させ、物体認識が適切に実行可能となる教師データＺを作成可能としている。

【0051】

なお、データ作成装置１の具体的形態は特に限定されず、例えば、教師データの作成専用の装置であっても良く、各種機能を複合的に備えるコンピュータ（パソコンやワークステーション等）であっても良い。後者の場合、当該コンピュータにインストールされたＣＡＤのソフトウェアによって、ノイズ情報取得用の仮想データＤＢ或いは認識対象仮想データＤＸが形成され、これがデータ入力部１１に入力されるようにしても良い。また当該コンピュータが物体認識の機械学習を行う機能を有する場合、当該コンピュータは、データ出力部１６から出力される教師データＺを用いて機械学習を行うようにしても良い。この場合に当該コンピュータは、データ作成装置１により作成された教師データＺを用いて、物体認識のための機械学習を行う学習システムと見ることもできる。なお、教師データＺを用いて物体認識のための機械学習を行う学習システムは、データ作成装置１とは別のコンピュータにより構成されても良い。

【0052】

また先述したとおり、データ作成装置１が取り扱うリアルデータおよび仮想データは、物体を表す３次元データとしても良い。この場合にも、リアルデータおよび仮想データが２次元データである場合と同様の趣旨で、教師データＺを作成することが可能である。

【0053】

３次元データである場合のリアルデータおよび仮想データは、物体の立体形状を表すデータであり、３次元空間（３次元座標）において物体が占める領域を表すデータとすることができる。３次元データであるリアルデータは、例えば３Ｄカメラ等で物体を撮影することにより得られる。３次元データである仮想データとしては、例えば３次元ＣＡＤのソフトウェアでモデリングされた３Ｄモデルのデータが採用され得る。

【0054】

なお、リアルデータおよび仮想データが３次元データである場合、ノイズ情報取得部１２によって取得されるノイズ情報の内容としては、一例として、質感の違い、撓み、表面の凹凸、および塵や埃などの異物などが挙げられる。また仮想データに対する変形処理の例としては、立体形状を全体的または部分的に変形させる種々の処理が挙げられる。

【0055】

また先述したとおり、本発明に係るデータ作成装置は、音声認識（認識対象が音である機械的な認識）を可能とする機械学習のための教師データを作成するように構成することも可能である。この場合も、データ作成装置は、物体認識を可能とする機械学習のための教師データを作成する場合と同様の趣旨の動作を行って、教師データを作成することが可能である。当該データ作成装置によれば、音声認識が適切に実行可能となる大量の教師データを容易に作成することが可能となる。なお、音声認識を可能とする機械学習のための教師データを作成するデータ作成装置においては、データ入力部は、現実の音（本発明に係る「対象」の一形態）の録音により得られるリアルデータ（フィジカル空間から得られる聴覚に関する対象から得られるデータと見ることもできる）と、音のモデリングにより得られる仮想データ（例えば、音作成用のソフトウェアを利用して作成できる音のデータ）の入力を受付けるようにすれば良い。またこの場合のリアルデータおよび仮想データは、何れも音を表す音声データである。また、ノイズ情報取得部は、例えば同じ音についてのリアルデータと仮想データの差分を、ノイズ情報として取得するようにすれば良い。この場合のノイズ情報の内容としては、一例として、ホワイトノイズや雑音などが挙げられる。また仮想データに対する変形処理の例としては、音の内容を全体的または部分的に変更させる種々の処理が挙げられる。

【0056】

また更には、本発明に係るデータ作成装置は、味覚、嗅覚或いは触覚に関する認識（認識対象が味、臭い或いは肌触りである機械的な認識）を可能とする機械学習のための教師データを作成するように構成しても良い。この場合、リアルデータとしては、フィジカル空間から得られる味覚、嗅覚或いは触覚に関する対象（味、臭い或いは肌触り）のリアルデータを採用し、仮想データとしては、味覚、嗅覚或いは触覚に関する対象のモデリングにより得られる仮想データを採用すれば良い。また、ノイズ情報取得部は、例えば同じ味、臭い或いは肌触りについてのリアルデータと仮想データの差分を、ノイズ情報として取得するようにすれば良い。なお本発明に関して、リアルデータはフィジカル空間から得られる対象のデータであり、仮想データは仮想空間から対象のモデリングにより得られるデータであり、認識対象仮想データは仮想空間から認識対象のモデリングにより得られるデータである。

【0057】

以上、本発明の実施形態について説明したが、本発明の構成は上記実施形態に限られず、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。

【産業上の利用可能性】

【0058】

本発明は、機械学習用の教師データを作成するデータ作成装置に利用可能である。

【符号の説明】

【0059】

１ データ作成装置
１１ データ入力部
１２ ノイズ情報取得部
１３ ノイズ情報保有部
１４ 教師データ作成部
１５ ノイズ情報作成部
１６ データ出力部
１７ 制御部
ＤＡ ノイズ情報取得用のリアルデータ
ＤＢ ノイズ情報取得用の仮想データ
ＤＸ 認識対象仮想データ
ＤＸａ 合成済みの認識対象仮想データ
ＤＸｂ 変形処理済みの認識対象仮想データ
ＮＸ ノイズ情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】