特許 7045103 データ拡張装置、データ拡張システム、及びデータ拡張プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-03-23

(45)【発行日】2022-03-31

(54)【発明の名称】データ拡張装置、データ拡張システム、及びデータ拡張プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20220324BHJP

   G06T 7/00 20170101ALI20220324BHJP

【ＦＩ】

G06N20/00

G06T7/00 350C

【請求項の数】 7

(21)【出願番号】P 2020191255

(22)【出願日】2020-11-17

【審査請求日】2020-11-26

【早期審査対象出願】

(73)【特許権者】

【識別番号】520158001

【氏名又は名称】株式会社ＶＲＡＩＮ Ｓｏｌｕｔｉｏｎ

(74)【代理人】

【識別番号】100120868

【弁理士】

【氏名又は名称】安彦 元

(72)【発明者】

【氏名】南塲 勇佑

(72)【発明者】

【氏名】荻本 成基

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１８－１１６５８９（ＪＰ，Ａ）

【文献】国際公開第２０１８／２２０７００（ＷＯ，Ａ１）

【文献】堰澤 映，外１名，人工的に生成した道路シーンを用いた道路標識認識器の学習，電子情報通信学会技術研究報告 Ｖｏｌ．１１８ Ｎｏ．３６２ ［ｏｎｌｉｎｅ］ IEICE Technical Report，日本，一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，2018年，第118巻，pp.73-78

【文献】石田 皓之，外３名，生成型学習による低解像度道路標識認識のための生成モデルの検討，電子情報通信学会２００５年総合大会講演論文集 基礎・境界 PROCEEDINGS OF THE 2005 IEICE GENERAL CONFERENCE，2005年

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

機械学習のためのデータ拡張を支援するデータ拡張装置であって、
対象物が撮影された対象画像に含まれ、前記対象物の画像と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得部と、
前記取得部により取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成部と、
前記生成部により生成された前記指標情報を出力する出力部と、
前記出力部により出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張部と、
を備えることを特徴とするデータ拡張装置。

【請求項2】

前記取得部により取得される前記対象データは、画像データ、映像データ、又はテキストデータの少なくとも何れかのデータであること、
を特徴とする請求項１記載のデータ拡張装置。

【請求項3】

前記生成部により生成される前記指標情報は、前記対象データに紐づく識別情報、及び前記拡張対象情報の特徴を示す縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、又はパターン情報の少なくとも何れかを含むこと、
を特徴とする請求項１又は２記載のデータ拡張装置。

【請求項4】

前記生成部により生成された前記指標情報を調整する調整部をさらに備え、
前記データ拡張部は、
前記調整部により調整された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成すること、
を特徴とする請求項１～３のうち何れか１項記載のデータ拡張装置。

【請求項5】

予め取得された過去の拡張対象情報に含まれる複数のデータと、前記過去の拡張対象情報に紐づく参照情報に含まれる複数のデータと、の間における重み変数に対応する複数の連関度を有する連関性が記憶された参照データベースと、
前記取得部により取得された前記拡張対象情報に基づいて、前記参照データベースを参照し、前記連関性に基づき算出された解に紐づく最適な前記参照情報を選択し、最適な前記参照情報に基づき複数の前記指標情報を含む評価結果を生成する評価部と、をさらに備え、
前記出力部は、前記評価部により生成された前記評価結果を出力すること、
を特徴とする請求項１～４のうち何れか１項記載のデータ拡張装置。

【請求項6】

機械学習のためのデータ拡張を支援するデータ拡張システムであって、
対象物が撮影された対象画像に含まれ、前記対象物と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得手段と、
前記取得手段により取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成手段と、
前記生成部により生成された前記指標情報を出力する出力手段と、
前記出力手段により出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張手段と、
を備えることを特徴とするデータ拡張システム。

【請求項7】

機械学習のためのデータ拡張を支援するデータ拡張プログラムであって、
対象物が撮影された対象画像に含まれ、前記対象物と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得ステップと、
前記取得ステップにより取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成ステップと、
前記生成ステップにより生成された前記指標情報を出力する出力ステップと、
前記出力ステップにより出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張ステップと、
をコンピュータに実行させること
を特徴とするデータ拡張プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習のためのデータ拡張を支援するデータ拡張装置、データ拡張システム、及びデータ拡張プログラムに関する。データ拡張装置、データ拡張システム、及びデータ拡張プログラムに関する。

【背景技術】

【0002】

従来、機械学習のためのデータ拡張するシステムとして、例えば特許文献１のＸ線画像物体認識システムが提案されている。

【0003】

特許文献１に開示されたＸ線画像物体認識システムは、物体のＸ線画像と、物体に対応する正解ラベルとを含む学習セットを用いて機械学習を行う学習ネットワークと、学習セットから、物体のＸ線撮影時の撮影条件を導くための撮影情報を算出する撮影情報算出部と、撮影情報に基づいて、Ｘ線画像から新たなＸ線画像を作成するデータ拡張を行う際に用いるデータ拡張パラメータを決定するデータ拡張パラメータ決定部と、データ拡張パラメータに基づいてデータ拡張を行い、取得した新たなＸ線画像と正解ラベルとを用いて学習ネットワークを機械学習させる学習処理部とを備えることを特徴とする。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１４７９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、機械学習に用いる学習画像の枚数が不足している場合、現状では、回転や拡大・縮小などを用いて、１枚の画像から複数枚の新たな画像を生成することでデータ拡張を行っている。このため、検出対象のパターンが多い場合には、ランダムにデータ拡張を行うことが可能であるが、形や色が変化しない特定のパターンのみを検出する場合は、ランダムに学習させるよりも、限定したデータ拡張の手法を適用することでデータ拡張の精度が向上する。これにより、実際にはあり得ないパターンを拡張して学習してしまうことを防ぐことができるが、全ての検出パターンを確認する必要があり、多大な工数と時間がかかり、適切、適確なデータ拡張を迅速に行えない懸念が挙げられる。

【0006】

この点、特許文献１の開示技術では、予め用意される学習セットから、物体のＸ線撮影時の撮影条件を導くための撮影情報を算出し、算出した撮影情報に基づいて決定されるデータ拡張パラメータに基づいてデータ拡張を行う。このため、撮影情報を算出するための学習セットが存在しない場合、またはデータ拡張の元となる対象データが少数・少量の場合には、撮影時の撮影条件を導くためのデータ拡張パラメータが不足し、適切、適確なデータ拡張を迅速に行うことができない。このような事情により、機械学習におけるデータ拡張の精度の向上が望まれている。

【0007】

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、機械学習におけるデータ拡張の精度の向上を図ることができるデータ拡張装置、データ拡張システム、及びデータ拡張プログラムを提供することにある。

【課題を解決するための手段】

【0008】

第１発明に係るデータ拡張装置は、機械学習のためのデータ拡張を支援するデータ拡張装置であって、対象物が撮影された対象画像に含まれ、前記対象物の画像と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得部と、前記取得部により取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成部と、前記生成部により生成された前記指標情報を出力する出力部と、前記出力部により出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張部と、を備えることを特徴とする。

【0009】

第２発明に係るデータ拡張装置は、第１発明において、前記取得部により取得される前記対象データは、画像データ、映像データ、又はテキストデータの少なくとも何れかのデータであること、を特徴とする。

【0010】

第３発明に係るデータ拡張装置は、第１発明又は第２発明において、前記生成部により生成される前記指標情報は、前記対象データに紐づく識別情報、及び前記拡張対象情報の特徴を示す縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、又はパターン情報の少なくとも何れかを含むこと、を特徴とする。

【0011】

第４発明に係るデータ拡張装置は、第１発明～第３発明の何れかにおいて、前記出力部により出力された複数の前記指標情報を調整する調整部をさらに備え、前記データ拡張部は、前記調整部により調整された前記指標情報に基づき前記対象データを拡張し、拡張データを生成すること、を特徴とする。

【0012】

第５発明に係るデータ拡張装置は、第１発明～第４発明の何れかにおいて、予め取得された過去の拡張対象情報に含まれる複数のデータと、前記過去の拡張対象情報に紐づく参照情報に含まれる複数のデータと、の間における重み変数に対応する複数の連関度を有する連関性が記憶された参照データベースと、前記取得部により取得された前記拡張対象情報に基づいて、 前記参照データベースを参照し、前記連関性に基づき算出された解に紐づく最適な前記参照情報を選択し、最適な前記参照情報に基づき複数の前記指標情報を含む評価結果を生成する評価部と、をさらに備え、前記出力部は、前記評価部により生成された前記評価結果を出力すること、を特徴とする。

【0013】

第６発明に係るデータ拡張システムは、機械学習のためのデータ拡張を支援するデータ拡張システムであって、対象物が撮影された対象画像に含まれ、前記対象物と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得手段と、前記取得手段により取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成手段と、前記生成手段により生成された前記指標情報を出力する出力手段と、前記出力手段により出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張手段と、を備えることを特徴とする。

【0014】

第７発明に係るデータ拡張プログラムは、機械学習のためのデータ拡張を支援するデータ拡張プログラムであって、対象物が撮影された対象画像に含まれ、前記対象物と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得ステップと、前記取得ステップにより取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成ステップと、前記生成ステップにより生成された前記指標情報を出力する出力ステップと、前記出力ステップにより出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張ステップと、をコンピュータに実行させることを特徴とする。

【発明の効果】

【0015】

第１発明～第５発明によれば、取得部は、データ拡張を行う対象物の対象データと、対象データに付与されるアノテーション情報とを含む拡張対象情報を取得する。このため、対象データとアノテーション情報とに基づき、拡張データを生成するための複数の指標情報を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。

【0016】

また、第１発明～第５発明によれば、生成部は、アノテーション情報に基づいて、異なる特性を示す指標情報を生成する。このため、異なる特性を示す指標情報に基づき、様々にデータ拡張された拡張データを生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。

【0017】

特に、第２発明によれば、対象データは、画像データ、映像データ、又はテキストデータの少なくとも何れかのデータである。このため、対象データの種類に応じた指標情報を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。

【0018】

特に、第３発明によれば、指標情報は、対象データに紐づく識別情報、及び拡張対象情報の特徴を示す縦横長情報、縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、又はパターン情報の少なくとも何れかを含む。このため、複数の指標情報を出力することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。

【0019】

特に、第４発明によれば、調整部は、指標情報を調整する。このため、データ拡張部は、調整部により調整された前記指標情報に基づき新しい前記対象データを含む拡張データを生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。

【0020】

特に、第５発明によれば、参照データベースは、予め取得された過去の拡張対象情報と、過去の拡張対象情報に紐づく参照情報に含まれる複数のデータと、の間における重み変数に対応する複数の連関度を有する連関性を記憶する。このため、過去の拡張対象情報とは異なる未知の拡張対象情報を評価する場合においても、定量的な評価を実施することができる。これにより、機械学習における更なるデータ拡張の精度の向上を図ることが可能となる。

【0021】

また、第６発明によれば、取得手段は、データ拡張を行う対象物の対象データと、対象データに付与されるアノテーション情報とを含む拡張対象情報を取得する。このため、対象データとアノテーション情報とに基づき、拡張データを生成するための複数の指標情報を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。

【0022】

また、第７発明によれば、取得ステップは、データ拡張を行う対象物の対象データと、対象データに付与されるアノテーション情報とを含む拡張対象情報を取得する。このため、対象データとアノテーション情報とに基づき、拡張データを生成するための複数の指標情報を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。

【図面の簡単な説明】

【0023】

【図1】図１は、本実施形態におけるデータ拡張システムの一例を示す模式図である。

【図2】図２は、本実施形態におけるデータ拡張システムの動作の一例を示す模式図である。

【図3】図３（ａ）は、本実施形態におけるデータ拡張システムの構成の一例を示す模式図であり、図３（ｂ）は、本実施形態におけるデータ拡張システムの機能の一例を示す模式図である。

【図4】図４は、本実施形態における参照データベースの一例を示す模式図である。

【図5】図５は、本実施形態における参照データベースの第１変形例を示す模式図である。

【図6】図６は、本実施形態におけるデータ拡張システムの動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0024】

以下、本発明を適用した実施形態におけるデータ拡張装置、データ拡張システム、及び
データ拡張方法の一例について、図面を参照しながら説明する。

【0025】

（データ拡張システム１００）
図１を参照して、本実施形態におけるデータ拡張システム１００、及びデータ拡張装置１の一例について説明する。

【0026】

本実施形態におけるデータ拡張システム１００は、例えば図１に示すように、データ拡張装置１を有する。データ拡張装置１は、例えば公衆通信網４を介して他の端末２やサーバ３に接続されてもよい。データ拡張装置１は、例えば公衆通信網４で接続される他の端末２を介して対象画像２０を取得する。

【0027】

データ拡張システム１００では、例えば図２に示すように、データ拡張装置１を用いて対象画像２０を取得する。対象画像２０は、例えば被写体、工作物等の対象物２０ａと、対象物２０ａと合わせてデータ拡張させたい対象データ２１を含む。対象画像２０をデータ拡張させる場合、例えば対象画像２０における対象物２０ａの画像はそのままで、対象データ２１を「回転」、「色相」、「輝度」のそれぞれのパターン、バリエーション等を増やすことで、対象画像２０を拡張データとして水増しさせる。

【0028】

データ拡張システム１００は、対象画像２０を取得したあと、例えばデータ拡張を行う対象部分である対象データ２１と、対象データ２１に付与されるアノテーション情報２１ａとを含む拡張対象情報を取得する。データ拡張システム１００は、例えば対象データ２１に付与されるアノテーション情報２１ａに含まれる複数の情報に基づいて、複数の指標情報（指標情報３１ａ、指標情報３１ｂ、指標情報３１ｃ、等）を生成する。データ拡張システム１００は、例えば生成された複数の指標情報３１ａ～３１ｃを表示部１０９等に出力する。複数の指標情報３１ａ～３１ｃは、例えば公知の画像解析などの技術に基づき分析され、対象データ２１を構成する複数の指標情報として数値化し、例えば分布図などとして表示部１０９等に出力するようにしてもよい。

【0029】

対象データ２１は、例えばデータ拡張システム１００により、データ拡張装置１を介して取得される対象画像２０に含まれる。対象データ２１は、対象画像２０の他に、例えば映像データ、又はテキストデータの少なくとも何れかのデータであってもよい。データ拡張装置１を介して取得されるデータが、例えば映像データ、音楽データの場合は、それらの各々に付加されるアノテーション情報の特徴を分析し、分析された結果に基づいて複数の指標情報を生成する。対象データ２１の分析は、例えば公知の画像解析技術、または音楽解析技術などが用いられ、複数の異なる指標情報として、例えば数値、分布図などで生成されてもよい。

【0030】

指標情報３０は、例えばデータ拡張システム１００により、データ拡張装置１を介して取得された対象データ２１に付与されるアノテーション情報２１ａに含まれる複数の情報に基づいて生成され、例えば対象データ２１の回転を示す指標情報３１ａ、色相の度合いを示す指標情報３１ｂ、輝度の度合いを示す指標情報３１ｃとして生成される。データ拡張システム１００は、例えば生成された複数の指標情報３０を表示部１０９等に出力し、データ拡張装置１を介して入力された指示により、指定された複数の指標情報３０に基づいて、複数の拡張データ４０を生成する。

【0031】

指標情報３０は、例えば対象データ２１に紐づく識別情報、及び拡張対象情報の特徴を示す縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、又はパターン情報の少なくとも何れかを含むようにしてもよい。

【0032】

拡張データ４０は、例えばデータ拡張装置１により、複数の指標情報３０に基づいて生成される。データ拡張装置１は、例えば生成された指標情報が指標情報３１ａである場合は、複数の指標情報３１ａに基づいて対象データ２１を回転させ、複数の拡張データ４１ａを生成する。またデータ拡張装置１は、例えば生成された指標情報が指標情報３１ｂである場合は、複数の指標情報３１ｂに基づいて対象データ２１の色相を変化させ、複数の拡張データ４１ｂを生成する。またデータ拡張装置１は、例えば生成された指標情報が指標情報３１ｃである場合は、複数の指標情報３１ｃに基づいて対象データ２１の輝度を変化させ、複数の拡張データ４１ｃを生成する。

【0033】

拡張データ４０は、例えば複数の指標情報３０の組合せであってもよい。データ拡張装置１を介して指定された複数の指標情報３０が、例えば指標情報３１ａ（回転）、指標情報３１ｂ（色相）、及び指標情報３１ｃ（輝度）である場合は、複数の指標情報３１ａ～３１ｃの組合せに基づいて、対象データ２１の回転、色相、及び輝度が変化した拡張データを複数生成するようにしてもよい。これにより、対象データ２１とアノテーション情報２１ａとに基づいて、適切、適確な拡張データを迅速に生成することが可能となり、拡張データを用いた機械学習におけるデータ拡張の精度の向上を図ることが可能となる。

【0034】

データ拡張装置１として、例えばパーソナルコンピュータ（ＰＣ）等の電子機器が用いられるほか、例えばスマートフォン、タブレット型端末、ウェアラブル端末、ＩｏＴ（Internet of Things）デバイス等の電子機器、Ｒａｓｐｂｅｒｒｙ Ｐｉ（登録商標）等のシングルボードコンピュータが用いられてもよく、例えばマイクやカメラなどの入力装置（図示せず）が内蔵されてもよい。

【0035】

対象画像２０は、例えばデータ拡張装置１の取得した対象データ２１、アノテーション情報２１ａに紐づくように、操作者等が直接にデータ拡張装置１に入力するほか、例えば公衆通信網４に接続される他の端末２等から送信されてもよい。

【0036】

（データ拡張装置１）
次に、図３を参照して、本実施形態におけるデータ拡張装置１の一例を説明する。図３（ａ）は、本実施形態におけるデータ拡張装置１の構成の一例を示す模式図であり、図３（ｂ）は、本実施形態におけるデータ拡張装置１の機能の一例を示す模式図である。

【0037】

データ拡張装置１は、例えば図３（ａ）に示すように、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５～１０７とを備える。各々の構成１０１～１０７は、内部バス１１０により接続される。

【0038】

ＣＰＵ１０１は、データ拡張装置１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。

【0039】

保存部１０４は、拡張対象情報や参照データベース等の各種情報が保存される。保存部１０４として、例えばＨＤＤ（Hard Disk Drive）の他、ＳＳＤ（Solid State Drive）やＵＳＢメモリ、クラウド等のデータ保存装置が用いられる。なお、例えばデータ拡張装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。ＧＰＵを有することで、通常よりも高速演算処理が可能となる。

【0040】

Ｉ／Ｆ１０５は、データ拡張装置１との各種情報の送受信を行うためのインターフェースであるほか、例えば公衆通信網４を介して、他の端末２やサーバ３等との各種情報の送受信を行うためのインターフェースでもよい。

【0041】

Ｉ／Ｆ１０６は、入力部１０８との情報の送受信を行うためのインターフェースである。入力部１０８として、例えばキーボードが用いられ、データ拡張装置１を利用する操作者等は、入力部１０８を介して、各種情報又はデータ拡張装置１の制御コマンド等を入力する。

【0042】

Ｉ／Ｆ１０７は、表示部１０９との各種情報の送受信を行うためのインターフェースである。表示部１０９は、保存部１０４に保存された評価結果等の各種情報、又はデータ拡張装置１の処理状況等を出力する。表示部１０９として、ディスプレイが用いられ、例えばタッチパネル式でもよい。

【0043】

＜参照データベース＞
保存部１０４に保存された参照データベースには、予め取得された過去の拡張対象情報と、過去の拡張対象情報に紐づく参照情報との間における連関性が記憶され、例えば連関性を有する学習モデルが記憶される。

【0044】

参照データベースには、例えば過去の拡張対象情報、及び参照情報が記憶されてもよい。連関性は、例えば過去の拡張対象情報、及び参照情報を一組の学習データとして、複数の学習データを用いた機械学習により構築される。学習方法として、例えば畳み込みニューラルネットワーク等の深層学習が用いられる。

【0045】

この場合、例えば連関性は、多対多の情報（過去の拡張対象情報に含まれる複数のデータ、対、参照情報に含まれる複数のデータ）の間における繋がりの度合いを示す。

【0046】

連関性は、機械学習の過程で適宜更新される。即ち、連関性は、例えば過去の対象データ２１、アノテーション情報２１ａ及び参照情報に基づいて最適化された関数を示す。このため、過去に拡張対象情報を評価した結果を全て踏まえて構築された連関性を用いて、拡張対象情報に対する評価結果が生成される。これにより、拡張対象情報が他の対象データ２１、アノテーション情報２１ａなどと組み合わされる構成状態を有する場合においても、最適な評価結果を生成することができる。

【0047】

また、参照データベースは、拡張対象情報が過去の拡張対象情報と同一又は類似である場合のほか、非類似である場合においても、最適な評価結果を定量的に生成することができる。なお、機械学習を行う際に汎化能力を高めることで、未知の拡張対象情報に対する評価精度の向上を図ることができる。

【0048】

なお、連関性は、例えば過去の拡張対象情報に含まれる複数のデータと、参照情報に含まれる複数のデータとの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えば学習モデルがニューラルネットワークで構築される場合、重み変数に対応させることができる。

【0049】

過去の拡張対象情報は、上述した拡張対象情報と同種の情報を示す。過去の拡張対象情報は、例えば過去に対象データ２１を評価した際に取得された拡張対象情報を複数含む。

【0050】

参照情報は、過去の拡張対象情報に紐づき、対象データ２１、アノテーション情報２１ａに関する情報を示す。参照情報は、対象データ２１の内容、状態、または影響を踏まえた評価（例えば「回転」、「色相」、「輝度」等）を示すほか、指標情報の優先度、組合せ、数値、分布などに関する情報を含んでもよい。なお、参照情報に含まれる具体的な内容は、任意に設定することができる。

【0051】

連関性は、例えば図４に示すように、過去の拡張対象情報と参照情報との間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、過去の拡張対象情報に含まれる複数のデータ（図４では「データＡ」～「データＣ」）のそれぞれに対し、参照情報に含まれる複数のデータ（図４では「参照Ａ」～「参照Ｃ」）の関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、過去の拡張対象情報に含まれる１つのデータに対して、参照情報に含まれる複数のデータを紐づけることができ、多角的な評価結果の生成を実現することができる。

【0052】

連関性は、例えば過去の拡張対象情報に含まれる複数のデータと、参照情報に含まれる複数のデータとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、過去の拡張対象情報に含まれる「データＡ」は、参照情報に含まれる「参照Ａ」との間の連関度ＡＡ「８０％」を示し、参照情報に含まれる「参照Ｂ」との間の連関度ＡＢ「６５％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。なお、上述した機械学習により連関性を構築する際、連関性が３段階以上の連関度を有するように設定してもよい。

【0053】

過去の拡張対象情報は、例えば図５に示すように、過去の対象データと、過去のアノテーション情報とを分割して、参照データベースに記憶されてもよい。この場合、過去の対象データ及び過去のアノテーション情報の組み合わせと、参照情報との間の関係に基づいて、連関度が算出される。なお、過去の拡張対象情報は、例えば上記に加え、過去の対策情報を分割して、参照データベースに記憶されてもよい。

【0054】

例えば、過去の対象データに含まれる「対象データａ」、及び過去のアノテーション情報に含まれる「アノテーション情報ａ」の組み合わせは、「参照Ａ」との間の連関度ＡＡＡ「５６％」を示し、「参照Ｂ」との間の連関度ＡＢＡ「２３％」を示す。この場合、過去の対象データ及び過去のアノテーション情報をそれぞれ独立してデータを記憶させることができる。このため、評価結果を生成する際、精度の向上及び選択肢の範囲を拡大させることが可能となる。

【0055】

過去の拡張対象情報は、例えば合成データと、類似度とを含んでもよい。合成データは、過去の対象データ又は過去のアノテーション情報との間における３段階以上の類似度により示される。合成データは、数値、行列、又はヒストグラム等の形式で参照データベースに記憶されるほか、例えば画像や文字列等の形式で記憶するようにしてもよい。

【0056】

図３（ｂ）は、データ拡張装置１の機能の一例を示す模式図である。データ拡張装置１は、取得部１１と、生成部１２と、出力部１３と、データ拡張部１４と、調整部１５と、記憶部１６と、更新部１７と、評価部１８とを備える。なお、図３（ｂ）に示した各機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に保存されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。

【0057】

＜取得部１１＞
取得部１１は、対象画像２０を取得する。対象画像２０には、例えば対象物２０ａと対象データ２１を含む。取得部１１は、例えば対象画像２０に複数の対象物２０ａが含まれている場合、操作者によって入力部１０８を介して選択された範囲に含まれる対象データ２１を、データ拡張する対象データ２１として取得するようにしてもよい。

【0058】

取得部１１は、データ拡張を行う対象の対象データ２１と、対象データ２１に付与されるアノテーション情報２１ａとを含む拡張対象情報を取得する。取得部１１は、データ拡張装置１から対象画像２０を取得するほか、例えば接続された他の端末２から、対象画像２０、その他の形式の各種データを取得するようにしてもよい。

【0059】

取得部１１は、例えば対象画像２０を取得した場合、対象画像２０と共に対象データ２１とアノテーション情報２１ａを拡張対象情報として取得する。なお、取得部１１が対象画像２０、対象データ２１、拡張対象情報を取得する範囲、枚数、頻度、及び周期等は、任意である。

【0060】

取得部１１は、取得部１１が取得する対象データ２１として、例えば画像データ、映像データ、又はテキストデータの少なくとも何れかのデータを取得する。

【0061】

また取得部１１は、例えばデータ拡張装置１を介して対象画像２０を先に取得しておき、他の端末２を介して後から対象データ２１と、対象データ２１に付与されるアノテーション情報２１ａを取得するようにしてもよい。

【0062】

取得部１１は、例えば対象データ２１が画像である場合に、例えば対象データ２１の画像の特徴「◆（黒色の菱形の画像）」と、付与されたアノテーション情報２１ａとして、例えば対象データ２１の識別情報「対象データ ００１」、対象データ２１の特徴「菱形」、対象データ２１の色情報「ＲＧＢ（０，０，０）」、対象画像２０における位置「座標（Ｘ，Ｙ）」、タグ情報「破片」、対象データ２１の発生した工程「生産工程」等を、各種のアノテーション情報２１ａとして取得する。

【0063】

取得部１１は、データ拡張装置１に送信された各種情報を受信する。取得部１１は、例えば公衆通信網４及びＩ／Ｆ１０５を介して、他の端末２等の外部端末から送信された対象画像２０やアノテーション情報２１ａ、指標情報３０に対する指定等の各種情報を受信してもよい。

【0064】

取得部１１は、例えば保存部１０４に保存された学習モデルを参照し、対象データ２１に対応するアノテーション情報２１ａを選択し、拡張対象情報として取得してもよい。

【0065】

取得部１１は、例えばデータ拡張装置１の入力部１０８等を介して入力された対象データ２１の範囲を特定し、その範囲に含まれる対象データ２１を取得するようにしてもよい。取得部１１は、入力部１０８等を介して入力されたデータ拡張の範囲が、対象物２０ａを含む場合は、対象物２０ａと対象データ２１をデータ拡張の範囲として取得するようにしてもよい。

【0066】

＜生成部１２＞
生成部１２は、取得部１１により取得された対象データ２１に付与されるアノテーション情報２１ａに含まれる複数の情報に基づいて、複数のデータ拡張が可能となる異なる特性を示す複数の指標情報３０を生成する。

【0067】

生成部１２は、例えば対象画像２０に含まれる対象物２０ａ、対象データ２１が複数ある場合、各々を対象画像２０の部分画像として認識し、部分画像毎に指標情報３０を生成してもよい。生成部１２は、例えば公知の画像判別技術等により、対象画像２０に写っている対象物２０ａ、対象データ２１を各々に細分化し、各々を判別する。

【0068】

生成部１２は、例えば対象画像２０における対象データ２１の位置情報、大きさ、形状等の評価結果に基づいて、数値情報、または分布等で「回転」に関する指標情報３１ａを生成する。

【0069】

生成部１２は、例えば対象画像２０における対象データ２１と、アノテーション情報２１ａに基づいて、例えば「色相」、「輝度」における指標情報３０を生成する。生成部１２は、前述と同様に、例えば対象データ２１と、対象データ２１に付与されるアノテーション情報２１ａに基づいて評価し、評価結果に基づいて「色相」に関する指標情報３１ｂ、「輝度」に関する指標情報３１ｃを生成する。

【0070】

生成部１２は、判別した各部分画像に対して、例えば対象画像２０における配置位置、大きさ、色、撮影条件、アノテーション情報２１ａ等の各種の情報に基づいて、適切な指標情報３０を生成するようにしてもよい。これにより、対象画像２０に複数の対象物２０ａ、対象データ２１が含まれていた場合であっても、それらを、それら画像、データの特性、各々の位置関係等に基づいて区別することができ、機械学習におけるデータ拡張の精度を向上させるための指標情報３０を生成することが可能となる。

【0071】

＜出力部１３＞
出力部１３は、生成部１２により生成された複数の指標情報３０を出力する。出力部１３は、Ｉ／Ｆ１０７を介して表示部１０９に評価結果を送信するほか、例えばＩ／Ｆ１０５を介して、他の端末２等に指標情報３０を送信する。出力部１３は、例えば図２に示した複数の指標情報３０、拡張データ４０等を、表示部１０９等に出力する。

【0072】

＜データ拡張部１４＞
データ拡張部１４は、出力部１３により出力された指標情報３０に基づいて、新しい対象データを含む拡張データ４０を生成する。データ拡張部１４は、例えばデータ拡張装置１を介して操作者により「回転」を示す指標情報３１ａが選択された場合は、「回転」を示す数値情報に基づいて、対象データ２１を回転させた新しい対象データを生成する。データ拡張部１４は、新しく生成した対象データと対象画像２０に含まれる対象物２０ａとを合成した拡張データ４１ａを生成する。

【0073】

データ拡張部１４は、例えば対象画像２０の対象データ２１を、出力部１３により出力された指標情報３０に基づき元の対象データ２１を修正、移動等を行い、新しい対象データとして複数生成する。データ拡張部１４は、複数の新しい対象データを、データ拡張する対象画像２０の対象データとして置き換え、拡張データ４０を生成する。

【0074】

データ拡張部１４は、指標情報３１ａに基づいて、対象データ２１の回転を、さらに角度を増した（回転させた）新しい対象データを生成し、新しい対象データを含む拡張データ４０として生成する。データ拡張部１４は、指標情報３０が、例えば「回転」の他に、位置や大きさに関する指標情報である場合は、それらの各々の指標情報３０に基づいて、対象データ２１の配置位置や大きさを変えた新しい対象データを含む拡張データ４０を複数生成する。

【0075】

データ拡張部１４は、例えば「色相」に関する指標情報３１ｂに基づいて、「色相」を変化させた新しい対象データを生成し、この新しい対象データを含む拡張データ４１ｂを生成する。また、データ拡張部１４は、例えば「輝度」に関する指標情報３１ｃに基づいて、「輝度」を変化させた新しい対象データを含む拡張データ４１ｃを生成するようにしてもよく、生成部１２により生成された複数の指標情報３０に基づいて、それぞれ異なる新しい対象データを生成し、その新しい対象データを含む拡張データを複数生成する。

【0076】

データ拡張部１４は、出力部１３により出力された複数の指標情報３０の複数の指標情報３０の組合せに基づいて、例えば回転、位置、大きさと合わせ、「色相」と「輝度」を変えた新しい対象データを含む拡張データ４０を複数生成するようにしてもよい。データ拡張部１４は、後述する調整部１５により調整された複数の指標情報３０に基づいて、新しい対象データを含む新たな拡張データ４０を生する。

【0077】

データ拡張部１４は、例えば、同じ指標情報３０に基づいて、同一の新しい対象データを複数含み、配置位置だけ変えた拡張データ４０を生成してもよい。これにより、例えば対象画像２０には１つの対象データ２１しか含まれていない画像であっても、新しい対象データ（例えば「縮小」）の個数を変えた拡張データ４０、新しい対象データ（例えば「位置」）の配置を変えた拡張データ４０を生成することが可能となる。

【0078】

＜調整部１５＞
調整部１５は、例えば出力部１３により出力された複数の指標情報３０で示される各々の指標情報３０（例えば指標情報３１ａ～３１ｃ等）を調整する。調整部１５は、例えばデータ拡張装置１の入力部１０８を介して、表示部１０９に表示される指標情報３０の数値や範囲、位置等を調整することができる。調整部１５により調整された指標情報３０の数値や範囲に基づいて、データ拡張部１４において対応する新しい対象データを含む拡張データ４０が生成される。

【0079】

＜記憶部１６＞
記憶部１６は、保存部１０４に保存された参照データベース等の各種情報を必要に応じて取出す。記憶部１６は、各々の構成１１、１３～１６により取得又は生成された各種情報を、保存部１０４に保存する。

【0080】

＜表示部１０９＞
表示部１０９は、対象画像２０、複数の指標情報３０、複数の拡張データ４０、評価結果を表示する。表示部１０９は、例えば図２に示すように、生成部１２で生成された複数の指標情報３０を表示する。指標情報３１ａは「回転」に関する指標情報を示し、指標情報３１ｂは「色相」に関する指標情報を示し、指標情報３１ｃは「輝度」に関する指標情報を示す。

【0081】

表示部１０９は、複数の拡張データ４０を表示する。拡張データ４１ａは指標情報３１ａに基づき生成された新しい対象データを含む拡張データを示し、拡張データ４１ｂは指標情報３１ｂに基づいて生成された拡張データを示し、拡張データ４１ｃは指標情報３１ｃに基づいて生成された新しい対象データを含む拡張データを示す。表示部１０９は、例えばリストや文字列のみを用いて、評価結果を表示してもよい。上記表示方法には、公知の技術を用いることができる。

【0082】

＜更新部１７＞
更新部１７は、例えば参照データベースを更新する。更新部１７は、過去の拡張対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させる。例えば評価部１８により生成された評価結果を踏まえ、評価者等が評価結果の内容における精度を判定し、判定結果をデータ拡張装置１が取得した場合、更新部１７は、判定結果に基づき参照データベースに含まれる連関性を更新する。

【0083】

＜評価部１８＞
評価部１８は、参照データベースを参照し、拡張対象情報に対する評価結果を生成する。評価部１８は、例えば拡張対象情報を入力データとし、連関性に基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。

【0084】

評価部１８は、例えば図４に示した参照データベースを参照した場合、拡張対象情報に含まれるデータと同一又は類似するデータ（例えば「データＡ」：第１データとする）を選択する。第１データとして、拡張対象情報と一部一致又は完全一致するデータが選択されるほか、例えば類似するデータが選択される。拡張対象情報が行列等の数値で表される場合、選択される第１データに含まれる数値範囲を、予め設定してもよい。

【0085】

評価部１８は、選択した第１データに紐づく参照情報、及び選択した第１データと参照情報との間における連関度（第１連関度）を選択し、選択した参照情報及び第１連関度に基づき評価結果を生成する。なお、第１連関度は、予め構築された連関性から選択されるほか、評価部１８によって算出されてもよい。

【0086】

例えば評価部１８は、第１データ「データＡ」に紐づく参照情報に含まれるデータ「参照Ａ」、及び「データＡ」と「参照Ａ」との間における第１連関度（連関度ＡＡ）「８０％」を選択する。なお、参照情報及び第１連関度は、複数のデータを含んでもよい。この場合、上述した「参照Ａ」及び「８０％」に加えて、第１データ「データＡ」に紐づく参照情報「参照Ｂ」、及び「データＡ」と「参照Ｂ」との間における第１連関度（連関度ＡＢ）「６５％」を選択し、「参照Ａ」及び「８５％」、並びに、「参照Ｂ」及び「３３％」に基づき評価結果を生成してもよい。

【0087】

評価結果は、拡張対象情報を含んでもよい。評価結果は、例えば参照情報及び連関度を用いて、確率で表された指標情報の推奨（拡張性）を示してもよい。

【0088】

評価部１８は、例えば予め保存部１０４等に記憶された出力用フォーマット等の形式データを用いて、上述選択した参照情報及び第１連関度等を、評価者等が理解できる形式（例えば文字列）を示す評価結果を生成する。なお、評価結果を生成する際における形式の設定等は、例えば公知の技術を用いてもよい。

【0089】

評価部１８は、例えば選択した第１連関度に基づいて、評価結果の内容を決定する。例えば評価部１８は、「５０％」以上の第１連関度に紐づく参照情報に基づいて、評価結果を生成し、「５０％」未満の第１連関度に紐づく参照情報を評価結果に反映しないように設定されてもよい。なお、第１連関度に基づく判定基準は、例えば評価者等が予め閾値等を設定してもよく、閾値の範囲等は任意に設定できる。また、評価部１８は、例えば２以上の第１連関度を演算した結果や、２以上の第１連関度の比較に基づいて、評価結果の内容を決定してもよい。

【0090】

＜公衆通信網４＞
公衆通信網４は、例えばデータ拡張装置１等が通信回路を介して接続されるインターネット網等である。公衆通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、公衆通信網４は、有線通信網のほか、無線通信網等の公知の通信網で実現してもよい。

【0091】

＜他の端末２＞
他の端末２として、例えばデータ拡張装置１と同様に電子機器で具現化されたものが用いられる。他の端末２は、例えばデータ拡張装置１と通信可能な中央制御装置等を示す。他の端末２は、例えばデータ拡張装置１と接続可能であり、各データ拡張装置１により生成された指標情報３０、拡張データ４０、または評価結果を取得することができる。これにより、例えば複数個所で対象画像２０のデータ拡張や評価結果を分析することができ、対象画像２０のデータ拡張の効率化等を図ることが可能となる。

【0092】

＜サーバ３＞
サーバ３には、例えば上述した各種情報が記憶される。サーバ３には、例えば公衆通信網４を介して送られてきた各種情報が蓄積される。サーバ３には、例えば保存部１０４と同様の情報が保存され、公衆通信網４を介して１つ以上のデータ拡張装置１と各種情報の送受信が行われてもよい。即ち、データ拡張装置１は、保存部１０４の代わりにサーバ３を用いてもよい。

【0093】

（データ拡張システム１００の動作の一例）
次に、本実施形態におけるデータ拡張システム１００の動作の一例について説明する。図６は、本実施形態におけるデータ拡張システム１００の動作の一例を示すフローチャートである。

【0094】

＜取得手段Ｓ１１０＞
取得部１１は、データ拡張を行う対象の対象データ２１と、対象データ２１に付与されるアノテーション情報２１ａとを含む拡張対象情報を取得す（取得手段Ｓ１１０）。取得部１１は、取得する対象データ２１として、例えば画像データ、映像データ、又はテキストデータを取得する。

【0095】

また取得部１１は、出力部１３により出力された複数の指標情報３０に対する調整を、入力部１０８を介して取得する。取得部１１は、例えば記憶部１６を介して、拡張対象情報を保存部１０４に保存する。

【0096】

取得部１１は、例えば対象データ２１と、対象データ２１に付与されるアノテーション情報２１ａを含む拡張対象情報を取得する。アノテーション情報２１ａは、例えば予め対象データ２１に紐づくように、評価者等によってデータ拡張装置１に入力されるほか、例えば対象データ２１に基づき、取得部１１が対象データ２１に適した各情報を選択するようにしてもよい。この場合、取得部１１は、予め保存部１０４に保存された複数のアノテーション情報２１ａから、対象データ２１に適した各情報を選択する。

【0097】

＜生成手段Ｓ１２０＞
次に、生成部１２は、複数の指標情報３０を生成する（生成手段Ｓ１２０）。生成部１２は、例えば、取得部１１により取得された対象拡張情報に含まれる対象データ２１と、対象データ２１に紐づけられるアノテーション情報２１ａに含まれる複数の情報に基づいて、異なる特性を示す複数の指標情報３０を生成する。

【0098】

生成部１２は、例えば取得部１１により取得された拡張対象情報に基づいて、対象データ２１に紐づく識別情報、及び拡張対象情報の特徴を示す縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、またはパターン情報等により示される指標情報３０を生成する。各々の指標情報３０は、例えば公知の画像分析技術、音声分析技術を用いて、各成分に細分化され、分布図などとして生成されてもよい。

【0099】

＜出力手段Ｓ１３０＞
次に、出力部１３は、複数の指標情報３０を出力する（出力手段Ｓ１３０）。出力部１３は、複数の指標情報３０を表示部１０９等に出力する。出力部１３は、例えば公衆通信網４を介して他の端末２又はサーバ３に出力してもよい。

【0100】

＜データ拡張手段Ｓ１４０＞
次に、データ拡張手段Ｓ１４０は、新しい対象データを含む複数の拡張データ４０を生成する（データ拡張手段Ｓ１４０）。データ拡張部１４は、出力部１３により出力された複数の指標情報３０に基づいて、対応する新しい対象データを含む複数の拡張データ４０を生成する。

【0101】

データ拡張部１４は、新しく生成した対象データを、対象画像２０から対象データ２１を除去した画像に重ね合わせることで、新しい対象データを含む拡張データ４０を生成することを繰り返し行うことで、機械学習のためのデータ拡張を行う。

【0102】

＜調整手段Ｓ１５０＞
また、調整部１５は、複数の指標情報３０を調整する（調整手段Ｓ１５０）。調整部１５は、例えば出力部１３により出力された複数の指標情報３０を調整する。調整部１５は、表示部１０９に出力された個々の指標情報３１ａ～指標情報３１ｃ等に対し、入力部１０８を介して対象データ２１に紐づく識別情報、及び拡張対象情報の特徴を示す縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、またはパターン情報等を選択し、選択した指標情報３０の調整を行う。これにより、操作者、または評価者による指標情報３０の修正や編集が可能となり、より正確な拡張データ４０を生成することが可能となる。

【0103】

＜評価手段Ｓ１６０＞
次に、参照データベースを参照し、拡張対象情報に対する評価結果を生成する（評価手段Ｓ１６０）。評価部１８は、取得部１１により取得された拡張対象情報を取得し、例えば保存部１０４に保存された参照データベースを取得する。評価部１８は、例えば拡張対象情報を入力データとし、関数等で示された連関性に基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。このとき、例えば評価部１８は、１つの拡張対象情報に対して複数の参照情報を選択してもよい。

【0104】

評価部１８は、１つの拡張対象情報に対して１つの評価結果を生成するほか、例えば複数の拡張対象情報に対して１つの評価結果を生成してもよい。評価部１８は、例えば保存部１０４に保存された出力用フォーマット等の形式データを用いて、評価結果を生成する。評価部１８は、例えば記憶部１６を介して、評価結果を保存部１０４に保存する。

【0105】

＜更新手段Ｓ１７０＞
なお、例えば過去の拡張対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させてもよい（更新手段Ｓ１７０）。例えば評価部１８により生成された評価結果を踏まえ、評価者等が評価結果の精度を判定した判定結果をデータ拡張装置１が取得した場合、更新部１７は、判定結果に基づき参照データベースに記憶された連関性を更新する。

【0106】

これにより、本実施形態におけるデータ拡張システム１００の動作が終了する。なお、更新手段Ｓ１７０を実施する場合のタイミングは、任意である。

【0107】

本実施形態によれば、評価部１８は、参照データベースを参照し、拡張対象情報に対する評価結果を生成する。参照情報は、指標情報３０を含む。このため、過去の拡張対象情報を評価した結果を踏まえた評価結果を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。

【0108】

また、本実施形態によれば、連関性は、過去の拡張対象情報と、参照情報とを学習データとして用いた機械学習により構築される。このため、過去の拡張対象情報とは異なる未知の拡張対象情報を評価する場合においても、定量的な評価を実施することができる。これにより、評価精度の更なる向上を図ることが可能となる。

【0109】

また、本実施形態によれば、更新部１７は、過去の拡張対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させる。このため、連関性を容易に更新することができ、継続した評価精度の向上を図ることが可能となる。

【0110】

また、本実施形態によれば、取得手段Ｓ１１０を行う取得ステップ、生成手段Ｓ１２０を行う生成ステップ、出力手段Ｓ１３０を行う出力ステップ、データ拡張手段Ｓ１４０を行うデータ拡張ステップは、データ拡張方法として提供されてもよい。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。

【0111】

本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0112】

１ ：データ拡張装置
２ ：端末
３ ：サーバ
４ ：公衆通信網
１０ ：筐体
１１ ：取得部
１２ ：生成部
１３ ：出力部
１４ ：データ拡張部
１５ ：調整部
１６ ：記憶部
１７ ：更新部
１８ ：評価部
２０ ：対象画像
２０ａ ：対象物
２１ ：対象データ
２１ａ ：アノテーション情報
３０ ：指標情報
３１ａ ：指標情報
３１ｂ ：指標情報
３１ｃ ：指標情報
４０ ：拡張データ
４１ａ ：拡張データ
４１ｂ ：拡張データ
４１ｃ ：拡張データ
１００ ：データ拡張システム
１０１ ：ＣＰＵ
１０２ ：ＲＯＭ
１０３ ：ＲＡＭ
１０４ ：保存部
１０５ ：Ｉ／Ｆ
１０６ ：Ｉ／Ｆ
１０７ ：Ｉ／Ｆ
１０８ ：入力部
１０９ ：表示部
１１０ ：内部バス
Ｓ１１０ ：取得手段
Ｓ１２０ ：生成手段
Ｓ１３０ ：出力手段
Ｓ１４０ ：データ拡張手段
Ｓ１５０ ：調整手段
Ｓ１６０ ：評価手段
Ｓ１７０ ：更新手段

【要約】

【課題】機械学習のためのデータ拡張を支援するデータ拡張装置、データ拡張システム、及びデータ拡張方法を提供する。
【解決手段】機械学習のためのデータ拡張を支援するデータ拡張装置１であって、データ拡張を行う対象の対象データと、対象データに付与されるアノテーション情報とを含む拡張対象情報を取得する取得部と、アノテーション情報に基づいて指標情報を生成する生成部と、生成部により生成された指標情報に基づいて、新しい対象データを生成し、生成した新しい対象データを含む拡張データを生成するデータ拡張部を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】