特開 2024-147914 学習データ生成方法、該プログラムおよび該装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024147914

(43)【公開日】2024-10-17

(54)【発明の名称】学習データ生成方法、該プログラムおよび該装置

(51)【国際特許分類】

   G06V 10/72 20220101AFI20241009BHJP

   G06T 7/00 20170101ALI20241009BHJP

   G06V 10/82 20220101ALI20241009BHJP

【ＦＩ】

G06V10/72

G06T7/00 350C

G06V10/82

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023060655

(22)【出願日】2023-04-04

(71)【出願人】

【識別番号】000001199

【氏名又は名称】株式会社神戸製鋼所

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100111453

【弁理士】

【氏名又は名称】櫻井 智

(72)【発明者】

【氏名】土屋 雅大

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096EA03

5L096EA15

5L096FA67

5L096HA04

5L096HA11

5L096KA04

(57)【要約】

【課題】本発明は、人手によるアノテーションの工数をより低減できる学習データ生成方法、該プログラムおよび該装置を提供する。
【解決手段】本発明は、所定の対象物を含む第1画像に基づいて第1疑似画像を生成する第１モデルに、前記対象物を幾何学的に変化させる機能を付与した第２モデルを、前記変化の仕方を異ならせて複数生成し、第１画像から前記第１モデルで第１疑似画像を生成し、前記第１疑似画像から前記複数の第２モデルそれぞれで複数の第２疑似画像を生成し、前記複数の第２疑似画像それぞれについて、当該第２疑似画像と前記第１疑似画像との変化量を求め、これら求めた各変化量に基づいて、前記第１疑似画像のラベルを生成し、前記第１疑似画像と前記ラベルとを対応付けて学習データを生成し、この第１疑似画像の生成からそのラベルの生成までの各処理を複数回繰り返すことによって学習データセットとして生成する。
【選択図】図７

【特許請求の範囲】

【請求項1】

所定の対象物を含む第1画像に基づいて第1疑似画像を生成する第１モデルに、前記対象物を幾何学的に変化させる機能を付与した第２モデルを、前記変化の仕方を異ならせて複数生成する第１工程と、
第１画像から前記第１モデルによって第１疑似画像を生成する第２工程と、
前記第１疑似画像から前記複数の第２モデルそれぞれによって複数の第２疑似画像を生成する第３工程と、
前記複数の第２疑似画像それぞれについて、当該第２疑似画像と前記第１疑似画像との変化量を求め、前記複数の第２疑似画像それぞれについて求めた各変化量に基づいて、前記第１疑似画像のラベルを生成する第４工程と、
前記第１疑似画像と前記ラベルとを対応付けて学習データを生成する第５工程と、
前記第２ないし第５工程を複数回繰り返すことによって複数の学習データを学習データセットとして生成する第６工程とを備える、
学習データ生成方法。

【請求項2】

前記第４工程は、
前記複数の第２疑似画像それぞれについて、当該第２疑似画像と前記第１疑似画像との変化量を求めて変化量データを生成する第４１工程と、
前記複数の第２疑似画像それぞれについて前記第４１工程で求めた各変化量データそれぞれについて、当該変化量データの欠損を補完して補完変化量データを生成する第４２工程と、
前記各変化量データそれぞれについて前記第４２工程で生成した各補完変化量データに基づいて前記ラベルを生成する第４３工程とを備える、
請求項１に記載の学習データ生成方法。

【請求項3】

前記第１モデルは、ＳＴＹＬＥＧＡＮまたはＳＴＹＬＥＧＡＮ２であり、
複数の第１画像と前記複数の第１画像それぞれに対応付けられたクラスラベルとを備える第１モデル用学習データセットを用いることによって、前記第１モデルを、機械学習する第７工程を、前記第１工程より前にさらに備える、
請求項１に記載の学習データ生成方法。

【請求項4】

前記変化の仕方は、前記対象物を左右方向に位置変化させる第１の変化の仕方、前記対象物を上下方向に位置変化させる第２の変化の仕方、前記対象物を斜め方向に位置変化させる第３の変化の仕方、および、前記対象物を拡大および縮小のいずれかを行う第４の変化の仕方のうちの少なくとも２つを含み、
前記第１工程は、前記少なくとも２つを実施することにより、少なくとも２つの第２モデルを生成する、
請求項１に記載の学習データ生成方法。

【請求項5】

前記第１疑似画像と前記第２疑似画像との変化量は、オプティカルフローによって表されている、
請求項１に記載の学習データ生成方法。

【請求項6】

コンピュータに、
所定の対象物を含む第1画像に基づいて第1疑似画像を生成する第１モデルに、前記対象物を幾何学的に変化させる機能を付与した第２モデルを、前記変化の仕方を異ならせて複数生成する第１工程と、
第１画像から前記第１モデルによって第１疑似画像を生成する第２工程と、
前記第１疑似画像から前記複数の第２モデルそれぞれによって複数の第２疑似画像を生成する第３工程と、
前記複数の第２疑似画像それぞれについて、当該第２疑似画像と前記第１疑似画像との変化量を求め、前記複数の第２疑似画像それぞれについて求めた各変化量に基づいて、前記第１疑似画像のラベルを生成する第４工程と、
前記第１疑似画像と前記ラベルとを対応付けて学習データを生成する第５工程と、
前記第２ないし第５工程を複数回繰り返すことによって複数の学習データを学習データセットとして生成する第６工程と、
を実行させるための学習データ生成プログラム。

【請求項7】

所定の対象物を含む第1画像に基づいて第1疑似画像を生成する第１モデルに、前記対象物を幾何学的に変化させる機能を付与した第２モデルを、前記変化の仕方を異ならせて複数生成する第２モデル生成部と、
第１画像から前記第１モデルによって第１疑似画像を生成する第１疑似画像生成処理を実行する第１疑似画像生成部と、
前記第１疑似画像から前記複数の第２モデルそれぞれによって複数の第２疑似画像を生成する第２疑似画像生成処理を実行する第２疑似画像生成部と、
前記複数の第２疑似画像それぞれについて、当該第２疑似画像と前記第１疑似画像との変化量を求め、前記複数の第２疑似画像それぞれについて求めた各変化量に基づいて、前記第１疑似画像のラベルを生成するラベル生成処理を実行するラベル生成部と、
前記第１疑似画像と前記ラベルとを対応付けて学習データを生成する学習データ生成処理を実行する学習データ生成部と、
前記第１疑似画像生成処理、前記第２疑似画像生成処理、前記ラベル生成処理および前記学習データ生成処理を複数回繰り返すことによって複数の学習データを学習データセットとして生成する学習データセット生成部とを備える、
学習データ生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物を検出する機械学習モデルを機械学習するために用いられる学習データセットを生成する学習データ生成方法、学習データ生成プログラムおよび学習データ生成装置に関する。

【背景技術】

【0002】

近年、機械学習が研究、開発され、様々な分野に適用されつつある。この機械学習には、機械学習を実施するための比較的多数の学習データが必要である。特に、教師ありの機械学習では、学習データに、前記教師、すなわち、当該学習データが正解であるか否かを表す教師データ（教師ラベル、ラベル）を付す必要がある。このため、学習データごとに教師データを生成すること（アノテーション）が必要であることから、多大な工数が発生する。このため、前記工数の低減が要望されており、例えば、非特許文献１に開示された技術がある。

【0003】

非特許文献１に開示された機械学習方法は、ペア画像のピクセル間の対応関係ではなく、ドメイン（ｄｏｍａｉｎ）の異なる２つの画像データセットにおけるドメイン間の対応関係を、敵対的生成ネットワーク（ＧＡＮ、Ｇｅｎｅｒａｔｉｎｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）によって、機械学習する。この機械学習方法では、２つの画像データセットに対し、変換と逆変換との循環構造で機械学習するので、大量の画像データセットを学習データセットとして用意しなくても機械学習できる。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】ＬａｎＩａｎ Ｌｉｕ、ｅｔ ａｌ．“Ｇｅｎｅｒａｔｉｖｅ Ｍｏｄｅｌｉｎｇ ｆｏｒ ＳｍａｌｌＤａｔａ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ”、［ｏｎｌｉｎｅ］、令和４年１月２８日検索、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１９１０．０１７１６９．ｐｄｆ

【発明の概要】

【発明が解決しようとする課題】

【0005】

前記非特許文献１に開示された機械学習方法は、大量の画像データセットを学習データセットとして必要としないが、不要と言うわけではなく、少量の学習データセットは、必要であり、これに応じたアノテーションを要する。

【0006】

本発明は、上述の事情に鑑みて為された発明であり、その目的は、人手によるアノテーションの工数をより低減できる学習データ生成方法、学習データ生成プログラムおよび学習データ生成装置を提供することである。

【課題を解決するための手段】

【0007】

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる学習データ生成方法は、所定の対象物を含む第1画像に基づいて第1疑似画像を生成する第１モデルに、前記対象物を幾何学的に変化させる機能を付与した第２モデルを、前記変化の仕方を異ならせて複数生成する第１工程と、第１画像から前記第１モデルによって第１疑似画像を生成する第２工程と、前記第１疑似画像から前記複数の第２モデルそれぞれによって複数の第２疑似画像を生成する第３工程と、前記複数の第２疑似画像それぞれについて、当該第２疑似画像と前記第１疑似画像との変化量を求め、前記複数の第２疑似画像それぞれについて求めた各変化量に基づいて、前記第１疑似画像のラベルを生成する第４工程と、前記第１疑似画像と前記ラベルとを対応付けて学習データを生成する第５工程と、前記第２ないし第５工程を複数回繰り返すことによって複数の学習データを学習データセットとして生成する第６工程とを備える。

【0008】

このような学習データ生成方法は、第１モデルに基づき生成した第２モデルを用いることによって、第１モデルによって生成した第１疑似画像のラベルを生成することができるから、アノテーションが不要となり、人手によるアノテーションの工数をより低減できる。

【0009】

他の一態様では、上述の学習データ生成方法において、前記第４工程は、前記複数の第２疑似画像それぞれについて、当該第２疑似画像と前記第１疑似画像との変化量を求めて変化量データを生成する第４１工程と、前記複数の第２疑似画像それぞれについて前記第４１工程で求めた各変化量データそれぞれについて、当該変化量データの欠損を補完して補完変化量データを生成する第４２工程と、前記各変化量データそれぞれについて前記第４２工程で生成した各補完変化量データに基づいて前記ラベルを生成する第４３工程とを備える。

【0010】

このような学習データ生成方法は、変化量データの欠損を補完するので、より精度良くラベルを生成できる。

【0011】

他の一態様では、これら上述の学習データ生成方法において、前記第１モデルは、ＳＴＹＬＥＧＡＮまたはＳＴＹＬＥＧＡＮ２であり、複数の第１画像と前記複数の第１画像それぞれに対応付けられたクラスラベルとを備える第１モデル用学習データセットを用いることによって、前記第１モデルを、機械学習する第７工程を、前記第１工程より前にさらに備える。

【0012】

このような学習データ生成方法は、第１モデルを機械学習によって生成できる。

【0013】

他の一態様では、これら上述の学習データ生成方法において、前記変化の仕方は、前記対象物を左右方向に位置変化させる第１の変化の仕方、前記対象物を上下方向に位置変化させる第２の変化の仕方、前記対象物を斜め方向に位置変化させる第３の変化の仕方、および、前記対象物を拡大および縮小のいずれかを行う第４の変化の仕方のうちの少なくとも２つを含み、前記第１工程は、前記少なくとも２つを実施することにより、少なくとも２つの第２モデルを生成する。

【0014】

これによれば、第１ないし第３の変化の仕方のうちの少なくとも２つを含む学習データ生成方法が提供できる。

【0015】

他の一態様では、これら上述の学習データ生成方法において、前記第１疑似画像と前記第２疑似画像との変化量は、オプティカルフローによって表されている。

【0016】

これによれば、前記第１疑似画像と前記第２疑似画像との変化量をオプティカルフローによって表した学習データ生成方法が提供できる。

【0017】

本発明の他の一態様にかかる学習データ生成プログラムは、コンピュータに、 所定の対象物を含む第1画像に基づいて第1疑似画像を生成する第１モデルに、前記対象物を幾何学的に変化させる機能を付与した第２モデルを、前記変化の仕方を異ならせて複数生成する第１工程と、第１画像から前記第１モデルによって第１疑似画像を生成する第２工程と、前記第１疑似画像から前記複数の第２モデルそれぞれによって複数の第２疑似画像を生成する第３工程と、前記複数の第２疑似画像それぞれについて、当該第２疑似画像と前記第１疑似画像との変化量を求め、前記複数の第２疑似画像それぞれについて求めた各変化量に基づいて、前記第１疑似画像のラベルを生成する第４工程と、前記第１疑似画像と前記ラベルとを対応付けて学習データを生成する第５工程と、前記第２ないし第５工程を複数回繰り返すことによって複数の学習データを学習データセットとして生成する第６工程と、を実行させるためのプログラムである。

【0018】

このような学習データ生成プログラムは、第１モデルに基づき生成した第２モデルを用いることによって、第１モデルによって生成した第１疑似画像のラベルを生成することができるから、アノテーションが不要となり、人手によるアノテーションの工数をより低減できる。

【0019】

本発明の他の一態様にかかる学習データ生成装置は、 所定の対象物を含む第1画像に基づいて第1疑似画像を生成する第１モデルに、前記対象物を幾何学的に変化させる機能を付与した第２モデルを、前記変化の仕方を異ならせて複数生成する第２モデル生成部と、第１画像から前記第１モデルによって第１疑似画像を生成する第１疑似画像生成処理を実行する第１疑似画像生成部と、前記第１疑似画像から前記複数の第２モデルそれぞれによって複数の第２疑似画像を生成する第２疑似画像生成処理を実行する第２疑似画像生成部と、前記複数の第２疑似画像それぞれについて、当該第２疑似画像と前記第１疑似画像との変化量を求め、前記複数の第２疑似画像それぞれについて求めた各変化量に基づいて、前記第１疑似画像のラベルを生成するラベル生成処理を実行するラベル生成部と、前記第１疑似画像と前記ラベルとを対応付けて学習データを生成する学習データ生成処理を実行する学習データ生成部と、前記第１疑似画像生成処理、前記第２疑似画像生成処理、前記ラベル生成処理および前記学習データ生成処理を複数回繰り返すことによって複数の学習データを学習データセットとして生成する学習データセット生成部とを備える。

【0020】

このような学習データ生成装置は、第１モデルに基づき生成した第２モデルを用いることによって、第１モデルによって生成した第１疑似画像のラベルを生成することができるから、アノテーションが不要となり、人手によるアノテーションの工数をより低減できる。

【発明の効果】

【0021】

本発明にかかる学習データ生成方法、学習データ生成プログラムおよび学習データ生成装置は、手によるアノテーションの工数をより低減できる。

【図面の簡単な説明】

【0022】

【図1】実施形態における学習データ生成装置の構成を示すブロック図である。

【図2】一例として、第２学習データを示す図である。

【図3】一例として、第１疑似画像を示す図である。

【図4】一例として、オプティカルフローを示す図である。

【図5】一例として、変化量を視覚化した変化量マップおよびその補完変化量マップを示す図である。

【図6】一例として、第１疑似画像とそのヒートマップを示す図である。

【図7】前記学習データ生成装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0023】

以下、図面を参照して、本発明の１または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

【0024】

実施形態における学習データ生成装置は、所定の物体を検出する機械学習モデルを機械学習するための、教師ありの学習データを、複数、備えた学習データセットを生成する装置である。この学習データ生成装置は、第２モデル生成部と、第１疑似画像生成部と、第２疑似画像生成部と、ラベル生成部と、学習データ生成部と、学習データセット生成部とを備える。前記第２モデル生成部は、所定の対象物を含む第1画像に基づいて第1疑似画像を生成する第１モデルに、前記対象物を幾何学的に変化させる機能を付与した第２モデルを、前記変化の仕方を異ならせて複数生成するものである。前記第１疑似画像生成部は、第１画像から前記第１モデルによって第１疑似画像を生成する第１疑似画像生成処理を実行するものである。前記第２疑似画像生成部は、前記第１疑似画像から前記複数の第２モデルそれぞれによって複数の第２疑似画像を生成する第２疑似画像生成処理を実行するものである。前記ラベル生成部は、前記複数の第２疑似画像それぞれについて、当該第２疑似画像と前記第１疑似画像との変化量を求め、前記複数の第２疑似画像それぞれについて求めた各変化量に基づいて、前記第１疑似画像のラベルを生成するラベル生成処理を実行するものである。前記学習データ生成部は、前記第１疑似画像と前記ラベルとを対応付けて学習データを生成する学習データ生成処理を実行するものである。前記学習データセット生成部は、前記第１疑似画像生成処理、前記第２疑似画像生成処理、前記ラベル生成処理および前記学習データ生成処理を複数回繰り返すことによって複数の学習データを学習データセットとして生成するものである。以下、このような学習データ生成装置ならびにこれに実装された学習データ生成方法および学習データ生成プログラムについて、より具体的に説明する。

【0025】

図１は、実施形態における学習データ生成装置の構成を示すブロック図である。図２は、一例として、第２学習データを示す図である。図２Ａおよび図２Ｂは、左右位置変化用の学習データを示し、図２Ｃおよび図２Ｄは、上下位置変化用の学習データを示し、図２Ｅおよび図２Ｆは、斜め位置変化用の学習データを示し、図２Ｇおよび図２Ｈは、拡大縮小変化用の学習データを示す。図３は、一例として、第１疑似画像を示す図である。図３には、４枚の互いに異なる第１疑似画像が示されている。図４は、一例として、オプティカルフローを示す図である。図４Ａは、左右位置変化の場合のオプティカルフローを示し、図４Ｂは、上下位置変化の場合のオプティカルフローを示し、図４Ｃは、斜め位置変化の場合のオプティカルフローを示し、図４Ｄは、拡大縮小変化の場合のオプティカルフローを示す。図５は、一例として、変化量を視覚化した変化量マップおよびその補完変化量マップを示す図である。図５Ａは、左右位置変化の場合の変化量マップを示し、図５Ｂは、図５Ａに示す変化量マップを補完した補完変化量マップを示す。図５Ｃは、上下位置変化の場合の変化量マップを示し、図５Ｄは、図５Ｃに示す変化量マップを補完した補完変化量マップを示す。図５Ｅは、斜め位置変化の場合の変化量マップを示し、図５Ｆは、図５Ｅに示す変化量マップを補完した補完変化量マップを示す。図５Ｇは、拡大縮小変化の場合の変化量マップを示し、図５Ｈは、図５Ｇに示す変化量マップを示す。なお、拡大縮小変化の場合では、補完が行われていない。図６は、一例として、第１疑似画像とそのヒートマップを示す図である。図６Ａは、第１疑似画像を示し、図６Ｂは、そのヒートマップを示す。

【0026】

実施形態における学習データ生成装置Ｓは、例えば、図１に示すように、制御処理部１と、入力部２と、出力部３と、インターフェース部（ＩＦ部）４と、記憶部５とを備える。

【0027】

入力部２は、制御処理部１に接続され、例えば、学習データの生成開始を指示するコマンド等の各種コマンド、および、第１モデル用学習データセットや第２モデル用学習データセット等の、学習データ生成装置Ｓを動作させる上で必要な各種データを前記学習データ生成装置Ｓに入力する機器であり、例えば、所定の機能を割り付けられた複数の入力スイッチや、キーボードや、マウス等である。出力部３は、制御処理部１に接続され、制御処理部１の制御に従って、入力部２から入力されたコマンドやデータ、および、当該学習データ生成装置Ｓで生成した学習データ等を出力する機器であり、例えばＣＲＴディスプレイ、ＬＣＤ（液晶表示装置）および有機ＥＬディスプレイ等の表示装置やプリンタ等の印刷装置等である。

【0028】

なお、入力部２および出力部３は、タッチパネルより構成されてもよい。このタッチパネルを構成する場合において、入力部２は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部３は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置に触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として学習データ生成装置Ｓに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い学習データ生成装置Ｓが提供される。

【0029】

ＩＦ部４は、制御処理部１に接続され、制御処理部１の制御に従って、例えば、外部の機器との間でデータを入出力する回路であり、例えば、シリアル通信方式であるＲＳ－２３２Ｃのインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、および、ＵＳＢ規格を用いたインターフェース回路等である。また、ＩＦ部４は、例えば、データ通信カードや、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路等の、外部の機器と通信信号を送受信する通信インターフェース回路であってもよい。

【0030】

記憶部５は、制御処理部１に接続され、制御処理部１の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。

【0031】

前記各種の所定のプログラムには、例えば、制御処理プログラムが含まれ、前記制御処理プログラムには、例えば、制御プログラム、第１モデル生成プログラム、第２モデル生成プログラム、第１疑似画像生成プログラム、第２疑似画像生成プログラム、ラベル生成プログラム、学習データ生成プログラムおよび学習データセット生成プログラム等が含まれる。前記制御プログラムは、学習データ生成装置Ｓの各部２～５を当該各部の機能に応じてそれぞれ制御するものである。前記第１モデル生成プログラムは、所定の対象物を含む第1画像に基づいて第1疑似画像を生成する第１モデルを、複数の第１画像と前記複数の第１画像それぞれに対応付けられたクラスラベルとを備える第１モデル用学習データセットを用いることによって、機械学習するプログラムである。前記第２モデル生成プログラムは、前記第１モデルに、前記対象物を幾何学的に変化させる機能を付与した第２モデルを、前記変化の仕方を異ならせて複数生成するプログラムである。前記第１疑似画像生成プログラムは、第１画像から前記第１モデルによって第１疑似画像を生成する第１疑似画像生成処理を実行するプログラムである。前記第２疑似画像生成プログラムは、前記第１疑似画像から前記複数の第２モデルそれぞれによって複数の第２疑似画像を生成する第２疑似画像生成処理を実行するプログラムである。前記ラベル生成プログラムは、前記複数の第２疑似画像それぞれについて、当該第２疑似画像と前記第１疑似画像との変化量を求め、前記複数の第２疑似画像それぞれについて求めた各変化量に基づいて、前記第１疑似画像のラベルを生成するラベル生成処理を実行するプログラムである。前記学習データ生成プログラムは、前記第１疑似画像と前記ラベルとを対応付けて学習データを生成する学習データ生成処理を実行するプログラムである。前記学習データセット生成プログラムは、前記第１疑似画像生成処理、前記第２疑似画像生成処理、前記ラベル生成処理および前記学習データ生成処理を複数回繰り返すことによって複数の学習データを学習データセットとして生成するプログラムである。

【0032】

前記各種の所定のデータには、例えば、第１モデル用学習データセット、第２モデル用学習データセット、および、当該学習データ生成装置Ｓで生成した学習データ（生成学習データ、第３学習データ）の学習データセット（生成学習データセット、第３学習データセット）等の、これら各プログラムを実行する上で必要なデータが含まれる。

【0033】

このような記憶部５は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。そして、記憶部５は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部１のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。また、記憶部５は、比較的記憶容量の大きいハードディスク装置を備えて構成されてもよい。

【0034】

記憶部５は、第１学習データ記憶部５１、第２学習データ記憶部５２および生成学習データ記憶部５３を機能的に備える。

【0035】

第１学習データ記憶部５１は、第１学習データを、複数、備える第１モデル用学習データセットを記憶するものである。前記第１モデル用学習データセットは、所定の対象物を含む第1画像に基づいて第1疑似画像を生成する第１モデルを、機械学習で生成するために用いられる。このため、前記第１学習データは、前記所定の対象物を含む第１画像と、前記第１画像に対応付けられたクラスラベル（教師データ）とを備える。したがって、前記第１モデル用学習データセットは、複数の第１画像と前記複数の第１画像それぞれに対応付けられたクラスラベルとを備える。前記対象物は、任意の物体であってよく、例えば、検出対象となる物体である。一例では、検出対象が猫である場合、第１画像は、猫を写し込んだ画像であり、クラスラベルは、猫である。クラスラベルの付いた画像とは、検出対象が画像中のどこかに含まれている画像である。このため、クラスラベルの付いた画像を複数備えて第１モデル用学習データセットとすればよいので、第１学習データは、黙示的にクラスラベル（教師データ）を備えていることになるから、必ずしも明示的にクラスラベル（教師データ）を備えている必要は無い。第１画像中の猫の位置や大きさに応じて、機械学習後の第１モデルで生成可能な猫の位置の大きさが制御されるので、第１学習データの第１画像は、検出対象の検出範囲に応じて様々な態様の画像であることが好ましく、第１モデルで多くのバリエーションの第１疑似画像を生成する観点から、猫が様々な位置で様々なポーズ（姿勢）をとっている画像であることが好ましい。

【0036】

第２学習データ記憶部５２は、第２学習データを、複数、備える第２モデル用学習データセットを記憶するものである。前記第２モデル用学習データセットは、前記第１モデルに、前記対象物を幾何学的に変化させる機能を付与する第２モデルを、機械学習で生成するために用いられる。前記幾何学的な変化の仕方は、前記対象物を左右方向に位置変化させる第１の変化の仕方、前記対象物を上下方向に位置変化させる第２の変化の仕方、前記対象物を斜め方向に位置変化させる第３の変化の仕方、および、前記対象物を拡大および縮小のいずれかを行う第４の変化の仕方のうちの少なくとも２つを含む。本実施形態では、これら４つが含まれる。このため、４個の第２Ａ、第２Ｂ、第２Ｃおよび第２Ｄモデル用学習データセットが用意され、これらは、第２学習データ記憶部５２に記憶される。

【0037】

前記第２Ａモデル用学習データセットは、前記対象物を左右方向に位置変化させる機能（左右位置変化機能）を前記第１モデルに付与した第２モデル（第２Ａモデル）を機械学習で生成するために用いられる。このため、前記第２Ａモデル用学習データセットの第２学習データ（第２Ａ学習データ）は、例えば、図２Ａに示す猫が中央位置より左寄りに写り込んだ画像（左寄り画像）と図２Ｂに示す猫が前記中央位置より右寄りに写り込んだ画像（右寄り画像）とを備える。このような第２Ａ学習データは、背景が単色（例えば黒色等）の画像（背景画像）に、猫を写した画像（猫画像）を重ねることによって生成され、前記重ねる際に、重ねる位置を無作為（ランダム）に前記中央位置より左寄りに生成することによって前記左寄り画像が生成でき、重ねる位置を無作為に前記中央位置より右寄りに生成することによって前記右寄り画像が生成できる。前記第２Ａ学習データにおける左寄り画像および右寄り画像における各猫画像は、同一である。このような第２Ａ学習データが互いに異なるように複数生成され、前記第２Ａモデル用学習データセットが生成される。

【0038】

前記第２Ｂモデル用学習データセットは、前記対象物を上下方向に位置変化させる機能（上下位置変化機能）を前記第１モデルに付与した第２モデル（第２Ｂモデル）を機械学習で生成するために用いられる。このため、前記第２Ｂモデル用学習データセットの第２学習データ（第２Ｂ学習データ）は、例えば、図２Ｃに示す猫が中央位置より上寄りに写り込んだ画像（上寄り画像）と図２Ｄに示す猫が前記中央位置より下寄りに写り込んだ画像（下寄り画像）とを備える。このような第２Ｂ学習データは、前記背景画像に、前記猫画像を重ねることによって生成され、前記重ねる際に、重ねる位置を無作為に前記中央位置より上寄りに生成することによって前記上寄り画像が生成でき、重ねる位置を無作為に前記中央位置より下寄りに生成することによって前記下寄り画像が生成できる。前記第２Ｂ学習データにおける上寄り画像および下寄り画像における各猫画像は、同一である。このような第２Ｂ学習データが互いに異なるように複数生成され、前記第２Ｂモデル用学習データセットが生成される。

【0039】

前記第２Ｃモデル用学習データセットは、前記対象物を斜め方向に位置変化させる機能（斜め位置変化機能）を前記第１モデルに付与した第２モデル（第２Ｃモデル）を機械学習で生成するために用いられる。このため、前記第２Ｃ学習データセットの第２学習データ（第２Ｃ学習データ）は、例えば、一方斜め画像と他方斜め画像とを備え、前記一方斜め画像および前記他方斜め画像それぞれは、例えば図２Ｅおよび図２Ｆに示すように、前記一方斜め画像と前記他方斜め画像とを並置した場合に、前記一方斜め画像の猫画像における中央位置（一方中央位置）と前記他方斜め画像の猫画像における中央位置（他方中央位置）とを結ぶ線分が並置方向に沿った線分と交差する画像である。このような第２Ｃ学習データは、前記背景画像に、前記猫画像を重ねることによって生成され、前記重ねる際に、前記交差の角度を無作為に生成し、前記一方斜め画像と前記他方斜め画像における各猫画像の重ねる各位置を前記線分上で無作為に生成することによって生成できる。前記第２Ｃ学習データにおける一方斜め画像および他方斜め画像における各猫画像は、同一である。図２Ｅに示す一方斜め画像は、猫画像が背景画像の中央位置より斜め左下に重ねられた画像であり、図２Ｆに示す他方斜め画像は、猫画像が背景画像の前記中央位置より斜め右上に重ねられた画像である。このような第２Ｃ学習データが互いに異なるように複数生成され、前記第２Ｃモデル用学習データセットが生成される。

【0040】

前記第２Ｄモデル用学習データセットは、前記対象物を拡大および縮小のいずれかを行う機能（拡大縮小変化機能）を前記第１モデルに付与した第２モデル（第２Ｄモデル）を機械学習で生成するために用いられる。このため、前記第２Ｄモデル用学習データセットの第２学習データ（第２Ｄ学習データ）は、例えば、一方拡大縮小画像と他方拡大縮小画像とを備え、前記一方拡大縮小画像および前記他方拡大縮小画像それぞれは、例えば図２Ｇおよび図２Ｈに示すように、前記一方拡大縮小画像の猫画像のサイズ（大きさ）と前記他方拡大縮小画像の猫画像のサイズとが互いに異なる画像である。このような第２Ｄ学習データは、前記背景画像に、前記猫画像を重ねることによって生成され、前記重ねる際に、前記一方拡大縮小画像の猫画像のサイズ（大きさ）と前記他方拡大縮小画像の猫画像のサイズとが互いに異なるように各サイズを無作為に生成することによって生成できる。なお、リサイズする場合、例えば画素の補完によって元画像が拡大され、例えば画素の間引きによって元画像が縮小される。前記一方拡大縮小画像の猫画像および前記他方拡大縮小画像の猫画像のうちの両方がリサイズされてよく、これらのうちの一方がリサイズされてもよい。前記第２Ｄ学習データにおける一方拡大縮小画像および他方拡大縮小画像における各猫画像は、サイズの点で異なるが、被写体およびアングルが同一である。図２Ｇに示す一方拡大縮小画像は、猫画像のサイズが図２Ｈに示す他方拡大縮小画像の猫画像のサイズより小さい画像である。言い換えれば、図２Ｈに示す他方拡大縮小画像は、猫画像のサイズが図２Ｇに示す一方拡大縮小画像の猫画像のサイズより大きい画像である。このような第２Ｄ学習データが互いに異なるように複数生成され、前記第２Ｄモデル用学習データセットが生成される。

【0041】

生成学習データ記憶部５３は、当該学習データ生成装置Ｓで生成した学習データ（生成学習データ、第３学習データ）を、複数、備える学習データセット（生成学習データセット、第３モデル用学習データセット）を記憶するものである。前記生成学習データは、後述のように生成される、前記第１疑似画像と、前記第１疑似画像に対応付けられた前記第１疑似画像のラベルと備える。

【0042】

制御処理部１は、学習データ生成装置Ｓの各部２～５を当該各部の機能に応じてそれぞれ制御し、前記生成学習データセットを生成するための回路である。制御処理部１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。制御処理部１には、前記制御処理プログラムが実行されることによって、制御部１１、第１モデル生成部１２、第２モデル生成部１３、第１疑似画像生成部１４、第２疑似画像生成部１５、ラベル生成部１６、学習データ生成部１７および学習データセット生成部１８が機能的に構成される。

【0043】

制御部１１は、学習データ生成装置Ｓの各部２～５を当該各部の機能に応じてそれぞれ制御し、学習データ生成装置Ｓの全体の制御を司るものである。

【0044】

第１モデル生成部１２は、所定の対象物を含む第1画像に基づいて第1疑似画像を生成する第１モデルを、複数の第１学習データを備える第１モデル用学習データセットを用いることによって、機械学習するものである。前記第１モデルは、そのアーキテクチャに潜在空間を備え、前記潜在空間を操作することで、検出対象の画像における位置やサイズを変化できるモデルであり、前記第１モデルには、例えば、公知のＳｔｙｌｅＧＡＮやその改良であるＳｔｙｌｅＧＡＮ２が用いられる。ＳｔｙｌｅＧＡＮおよびＳｔｙｌｅＧＡＮ２は、機械学習により前記潜在空間の潜在変数が獲得される。本実施形態では、第１モデル生成部１２は、記憶部５の第１学習データ記憶部５１に記憶されている第１モデル用学習データセットを用いて未機械学習のＳｔｙｌｅＧＡＮ２を機械学習することによって、機械学習済みのＳｔｙｌｅＧＡＮ２を前記第１モデルとして生成し、この生成した第１モデル（この例では機械学習済みのＳｔｙｌｅＧＡＮ２）を記憶部５に記憶する。図３には、このように生成した第１モデルによって生成した第１疑似画像の一例が、４例、示されている。

【0045】

第２モデル生成部１３は、前記第１モデルに、前記対象物を幾何学的に変化させる機能を付与した第２モデルを、前記変化の仕方を異ならせて複数生成するものである。前記幾何学的な変化の仕方は、上述したように、４つの第１ないし第４の変化の仕方のうちの少なくとも２つを含み、本実施形態では、これら４つが含まれる。より具体的には、第２モデル生成部１３は、まず、第１モデル生成部１３で機械学習した第１モデル（この例では機械学習済みのＳｔｙｌｅＧＡＮ２）を４個に複製して記憶部５に記憶する。続いて、第２モデル生成部１３は、記憶部５の第２学習データ記憶部５２に記憶されている第２Ａモデル用学習データセットを用いて、前記４個のうちの１個の第１モデルを機械学習することによって、前記左右位置変化機能を前記第１モデルに付与した第２Ａモデルを生成し、この生成した第２Ａモデル（この例では、前記左右位置変化機能を付与した機械学習済みのＳｔｙｌｅＧＡＮ２）を記憶部５に記憶する。続いて、第２モデル生成部１３は。記憶部５の第２学習データ記憶部５２に記憶されている第２Ｂモデル用学習データセットを用いて、残余の３個のうちの１個の第１モデルを機械学習することによって、前記上下位置変化機能を前記第１モデルに付与した第２Ｂモデルを生成し、この生成した第２Ｂモデル（この例では、前記上下位置変化機能を付与した機械学習済みのＳｔｙｌｅＧＡＮ２）を記憶部５に記憶する。続いて、第２モデル生成部１３は。記憶部５の第２学習データ記憶部５２に記憶されている第２Ｃモデル用学習データセットを用いて、残余の２個のうちの１個の第１モデルを機械学習することによって、前記斜め位置変化機能を前記第１モデルに付与した第２Ｃモデルを生成し、この生成した第２Ｃモデル（この例では、前記斜め位置変化機能を付与した機械学習済みのＳｔｙｌｅＧＡＮ２）を記憶部５に記憶する。そして、第２モデル生成部１３は。記憶部５の第２学習データ記憶部５２に記憶されている第２Ｄモデル用学習データセットを用いて、残余の１個の第１モデルを機械学習することによって、前記拡大縮小変化機能を前記第１モデルに付与した第２Ｄモデルを生成し、この生成した第２Ｄモデル（この例では、前記拡大縮小変化機能を付与した機械学習済みのＳｔｙｌｅＧＡＮ２）を記憶部５に記憶する。このような第２Ａモデルは、機械学習に用いた第２Ａモデル用学習データセットそれぞれにおける検出対象の位置や大きさの範囲内で前記検出対象を変化できる。第２Ｂないし第２Ｄモデルも同様である。

【0046】

第１疑似画像生成部１４は、第１画像から前記第１モデルによって第１疑似画像を生成する第１疑似画像生成処理を実行するものである。本実施形態では、第１疑似画像生成部１４は、第１画像を、機械学習済みのＳｔｙｌｅＧＡＮ２に入力することによって、その出力として第１疑似画像を生成し、この生成した第１疑似画像を記憶部５に記憶する。

【0047】

第２疑似画像生成部１５は、前記第１疑似画像から前記複数の第２モデルそれぞれによって複数の第２疑似画像を生成する第２疑似画像生成処理を実行するものである。本実施形態では、第２疑似画像生成部１５は、まず、第１疑似画像生成部１４で生成した第１疑似画像を、前記第２Ａモデル（この例では、前記左右位置変化機能を付与した機械学習済みのＳｔｙｌｅＧＡＮ２）に入力することによって、その出力として第２疑似画像（第２Ａ疑似画像）を生成し、この生成した第２Ａ疑似画像を前記第１疑似画像と対応付けて記憶部５に記憶する。続いて、第２疑似画像生成部１５は、前記第１疑似画像を、前記第２Ｂモデル（この例では、前記上下位置変化機能を付与した機械学習済みのＳｔｙｌｅＧＡＮ２）に入力することによって、その出力として第２疑似画像（第２Ｂ疑似画像）を生成し、この生成した第２Ｂ疑似画像を前記第１疑似画像と対応付けて記憶部５に記憶する。続いて、第２疑似画像生成部１５は、前記第１疑似画像を、前記第２Ｃモデル（この例では、前記斜め位置変化機能を付与した機械学習済みのＳｔｙｌｅＧＡＮ２）に入力することによって、その出力として第２疑似画像（第２Ｃ疑似画像）を生成し、この生成した第２Ｃ疑似画像を前記第１疑似画像と対応付けて記憶部５に記憶する。そして、第２疑似画像生成部１５は、前記第１疑似画像を、前記第２Ｄモデル（この例では、前記拡大縮小変化機能を付与した機械学習済みのＳｔｙｌｅＧＡＮ２）に入力することによって、その出力として第２疑似画像（第２Ｄ疑似画像）を生成し、この生成した第２Ｄ疑似画像を前記第１疑似画像と対応付けて記憶部５に記憶する。したがって、第１疑似画像生成部１４で生成した１個の第１疑似画像には、４個の第２Ａないし第２Ｄ疑似画像が対応付けられる。

【0048】

なお、第１疑似画像に対して変化量の多い第２疑似画像（変化の大きい第２疑似画像）は、廃棄（削除）されてもよい（第１疑似画像に対して所定の変化量範囲内で第２疑似画像が生成されてもよい）。例えば、前記変化の仕方に応じて閾値が設定され、潜在空間の潜在変数における前記変化の仕方に関わる潜在変数を前記閾値の範囲内で変化させて第２疑似画像が生成される。これにより第１疑似画像に対して所定の変化量範囲内で第２疑似画像が生成される。

【0049】

ラベル生成部１６は、前記複数の第２疑似画像それぞれについて、当該第２疑似画像と前記第１疑似画像との変化量を求め、前記複数の第２疑似画像それぞれについて求めた各変化量に基づいて、前記第１疑似画像のラベルを生成するラベル生成処理を実行するものである。第２モデルは、対象物（一例では検出対象）を幾何学的に変化させるので、第１疑似画像に対する第２疑似画像の変化量を求めることによって第１疑似画像における前記対象物の位置が推定できるから、ラベルが生成できる。より具体的には、本実施形態では、ラベル生成部１６は、前記ラベル生成処理として、まず、前記複数の第２疑似画像それぞれについて、当該第２疑似画像と前記第１疑似画像との変化量を求めて変化量データを生成し、続いて、前記複数の第２疑似画像それぞれについて求めた各変化量データそれぞれについて、当該変化量データの欠損を補完して補完変化量データを生成し、そして、前記各変化量データそれぞれについて生成した各補完変化量データに基づいて前記ラベルを生成する。前記第１疑似画像と前記第２疑似画像との変化量は、オプティカルフローによって表される。

【0050】

より詳しくは、ラベル生成部１６は、まず、第１疑似画像に対する第２Ａ疑似画像のオプティカルフローを前記変化量データとして求める。すなわち、ラベル生成部１６は、第１疑似画像を、所定のサイズの領域にメッシュ状（格子状）に区分けし、各領域それぞれについて、第１疑似画像における当該領域に対応する、第２疑似画像の領域を例えばＬｕｃａｓＫａｎａｄｅ法やＨｏｒｎ－Ｓｃｈｕｎｋ法等により推定（探索）し、第１疑似画像における当該領域から前記推定した第２疑似画像の領域への変位ベクトルを、当該領域のオプティカルフローとして求める。その一例が図４に示されている。図４では、第１疑似画像に重ねて各領域の各オプティカルフローが矢印で表されている。前記矢印における矢の方向がオプティカルフローの移動方向を表し、前記矢印における長さがオプティカルフローの大きさを表す。

【0051】

続いて、ラベル生成部１６は、各領域それぞれについて、当該領域のオプティカルフローの大きさが予め設定した所定の閾値（第１判定閾値）以上であるか否かを判定し、これによって前記第１判定閾値以上の大きさのオプティカルフローを持つ領域を抽出する。これによって前記第１判定閾値に対応した変化量を持つ領域が抽出される。前記第１判定閾値に対応した変化量を持つ領域を白抜きの丸印（○）で表した変化量マップの一例が図５Ａ、図５Ｃおよび図５Ｅに示されている。ここで、大きな変化量の領域を抽出する場合、検出対象のエッジは、大きく変化するが、検出対象の内部は、変化量が小さく抽出されない場合が起こり得る。このため、変化の仕方に応じて、欠損した領域が補完される。左右位置変化の場合における変化量マップでは、左右方向で、前記第１判定閾値に対応した変化量を持つ２個の領域の間に、前記第１判定閾値に対応した変化量を持つ領域として抽出されていない領域が存在する場合、これを前記欠損した領域として、補完が行われ、この欠損した領域が、前記第１判定閾値に対応した変化量を持つ領域に変更される。これにより、例えば、図５Ａに示す左右位置変化の場合における変化量マップは、補間後、図５Ｂに示す補完変化量マップとなる。上下位置変化の場合における変化量マップでは、上下方向で、前記第１判定閾値に対応した変化量を持つ２個の領域の間に、前記第１判定閾値に対応した変化量を持つ領域として抽出されていない領域が存在する場合、これを前記欠損した領域として、補完が行われ、この欠損した領域が、前記第１判定閾値に対応した変化量を持つ領域に変更される。これにより、例えば、図５Ｃに示す上下位置変化の場合における変化量マップは、補間後、図５Ｄに示す補完変化量マップとなる。斜め位置変化の場合における変化量マップでは、斜め方向で、前記判定閾値に対応した変化量を持つ２個の領域の間に、前記第１判定閾値に対応した変化量を持つ領域として抽出されていない領域が存在する場合、これを前記欠損した領域として、補完が行われ、この欠損した領域が、前記第１判定閾値に対応した変化量を持つ領域に変更される。これにより、例えば、図５Ｅに示す左右位置変化の場合における変化量マップは、補間後、図５Ｆに示す補完変化量マップとなる。

【0052】

拡大縮小変化の場合、オプティカルフローの変位ベクトルの重なりが多い領域が前記検出対象の中心の領域として抽出される。すなわち、ラベル生成部１６は、各領域それぞれについて、当該領域に重なる変位ベクトルの個数が予め設定した所定の閾値（第２判定閾値）以上であるか否かを判定し、これによって前記第２判定閾値以上の個数のオプティカルフローを持つ領域を抽出する。図５Ｇおよび図５Ｈには、変位ベクトルの重なり具合が白線として表されて変化量マップが構成されている。拡大縮小変化の場合では、補完は、行われてない。

【0053】

そして、ラベル生成部１６は、各領域それぞれにおいて、前記複数の第２疑似画像それぞれについて求めた各補完変化量データそれぞれについて、前記第１判定閾値に対応した変化量を持つ領域として抽出した回数を計数し、この計数した回数でヒートマップを前記第１疑似画像のラベルとして生成する。前記第１判定閾値に対応した変化量を持つ領域として抽出された回数が多いほど、その領域に対象物（一例では検出対象）が位置している確率が高く、前記第１判定閾値に対応した変化量を持つ領域として抽出した回数のヒートマップをラベルとすることで、第１疑似画像における前記対象物の位置を確率的に示すことができる。そのヒートマップの一例が図６Ｂ、図６Ｄ、図６Ｆおよび図６Ｈに示されている。図６Ｂは、図６Ａに示す第１疑似画像のヒートマップであり、図６Ｄは、図６Ｃに示す第１疑似画像のヒートマップであり、図６Ｆは、図６Ｅに示す第１疑似画像のヒートマップであり、図６Ｈは、図６Ｇに示す第１疑似画像のヒートマップであり、これら各ヒートマップそれぞれは、各第１疑似画像それぞれに重ねて表示されている。これら各ヒートマップでは、前記第１判定閾値に対応した変化量を持つ領域として３回、抽出された領域が白抜きの丸印（○）で表され、前記第１判定閾値に対応した変化量を持つ領域として２回、抽出された領域が白抜きの菱形（◇）で表され、前記第１判定閾値に対応した変化量を持つ領域として１回、抽出された領域が白抜きの三角形（△）で表され、前記第１判定閾値に対応した変化量を持つ領域として０回、抽出された領域（前記第１判定閾値に対応した変化量を持つ領域として抽出されなかった領域）が白抜きの四角形（□）で表されている。そして、これら各ヒートマップでは、前記第２判定閾値以上の個数のオプティカルフローを持つ領域が前記検出対象の中心の領域として白抜きの五角形で表されている。

【0054】

なお、上述のように、このヒートマップが第１疑似画像のラベルとされてよいが、例えば、３回の領域が猫の領域を表すラベルとされてよく、あるいは例えば、２回以上の領域の画素が猫の画素を表すラベルとされてよい。

【0055】

学習データ生成部１７は、前記第１疑似画像と前記ラベルとを対応付けて学習データを生成する学習データ生成処理を実行するものである。より具体的には、学習データ生成部１７は、第１疑似画像生成部１４で生成した第１疑似画像と、この第１疑似画像およびこの第１疑似画像から第２疑似画像生成部１５で生成した複数の第２疑似画像に基づきラベル生成部１６で生成した前記第１疑似画像のラベルとを対応付けて生成学習データセットの生成学習データの１つとして記憶部５の生成学習データ記憶部５３に記憶する。

【0056】

学習データセット生成部１８は、前記第１疑似画像生成処理、前記第２疑似画像生成処理、前記ラベル生成処理および前記学習データ生成処理を複数回繰り返すことによって複数の学習データを学習データセットとして生成するものである。

【0057】

これら制御処理部１、入力部２、出力部３、ＩＦ部４および記憶部５は、例えば、デスクトップ型やノート型等のコンピュータによって構成可能である。

【0058】

次に、本実施形態の動作について説明する。図７は、前記学習データ生成装置の動作を示すフローチャートである。

【0059】

このような構成の学習データ生成装置Ｓは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。制御処理部１には、その制御処理プログラムの実行によって、制御部１１、第１モデル生成部１２、第２モデル生成部１３、第１疑似画像生成部１４、第２疑似画像生成部１５、ラベル生成部１６、学習データ生成部１７および学習データセット生成部１８が機能的に構成される。

【0060】

生成学習データセットの生成前に、記憶部５における第１および第２学習データ記憶部５１、５２それぞれには、第１および第２学習データセットそれぞれが記憶される。例えば、第１および第２学習データセットが入力部２から入力され、記憶部５に記憶される。あるいは例えば、第１および第２学習データセットは、これらを記憶した記憶媒体（例えばＵＳＢメモリやＳＤカード（登録商標）等）からＩＦ部４を介して入力されて記憶部５に記憶されてよく、これらを記録した記録媒体（例えばＣＤ－ＲやＤＶＤ－Ｒ等）から、そのドライブ装置およびＩＦ部４を介して入力されて記憶部５に記憶されてよく、これらを管理する管理サーバ装置から通信ネットワークおよびＩＦ部４を介して入力されて記憶部５に記憶されてよい。あるいは、例えば、第１学習データセットが入力されて記憶され、第２学習データセットは、この第１学習データセットの学習データから生成され、記憶されてもよい。

【0061】

生成学習データセットの生成では、図７において、まず、学習データ生成装置Ｓは、制御処理部１の第１モデル生成部１２によって、第１モデルを生成し、この生成した第１モデルを記憶部５に記憶する（Ｓ１、第７工程）。

【0062】

続いて、学習データ生成装置Ｓは、制御処理部１の第２モデル生成部１３によって、複数の第２モデルを生成し、これら生成した複数の第２モデルを記憶部５に記憶する（Ｓ２、第１工程）。本実施形態では、４個の第２Ａないし第２Ｄモデルが生成され、記憶される。

【0063】

続いて、学習データ生成装置Ｓは、制御処理部１の第１疑似画像生成部１４によって、第１画像から前記第１モデルによって第１疑似画像を生成し、この生成した第１疑似画像を記憶部５に記憶する（Ｓ３、第１疑似画像生成処理、第２工程）。

【0064】

続いて、学習データ生成装置Ｓは、制御処理部１の第２疑似画像生成部１５によって、前記処理Ｓ３で第１疑似画像生成部１４によって生成した第１疑似画像から、前記処理Ｓ２で第２モデル生成部１３によって生成した前記複数の第２モデルそれぞれによって複数の第２疑似画像を生成し、これら生成した複数の第２疑似画像を前記第１疑似画像に対応付けて記憶部５に記憶する（Ｓ４、第２疑似画像生成処理、第３工程）。本実施形態では、４個の第２Ａないし第２Ｄモデルそれぞれによって４個の第２Ａないし第２Ｄ疑似画像が生成され、記憶される。

【0065】

続いて、学習データ生成装置Ｓは、制御処理部１のラベル生成部１６によって、前記複数の第２疑似画像それぞれについて、当該第２疑似画像と前記第１疑似画像との変化量を求めて変化量データを生成し、この生成した変化量データを記憶部５に記憶する（Ｓ５、ラベル生成処理の変化量演算処理、第４工程の第４１工程）。本実施形態では、変化量データとして、第１疑似画像を区分けした各領域のオプティカルフローが求められる。

【0066】

続いて、学習データ生成装置Ｓは、制御処理部１のラベル生成部１６によって、前記複数の第２疑似画像それぞれについて前記Ｓ５で求めた各変化量データそれぞれについて、当該変化量データの欠損を補完して補完変化量データを生成し、この生成した補完変化量データを記憶部５に記憶する（Ｓ６、ラベル生成処理の補完処理、第４工程の第４２工程）。本実施形態では、第１疑似画像を区分けした各領域のオプティカルフローに基づき変化量マップが生成され、この生成した変化量マップを前記変化の仕方に応じて補間することによって補完変化量マップが生成される。

【0067】

続いて、学習データ生成装置Ｓは、制御処理部１のラベル生成部１６によって、前記各変化量データそれぞれについて前記処理Ｓ６で生成した各補完変化量データに基づいて前記ラベルを生成する（Ｓ７、ラベル生成処理のラベル処理、第４工程の第４３工程）。

【0068】

続いて、学習データ生成装置Ｓは、制御処理部１の学習データ生成部１７によって、前記処理Ｓ３で第１疑似画像生成部１４によって生成した第１疑似画像と、前記処理Ｓ７でラベル生成部１６によって生成したラベルとを対応付けて学習データ（生成学習データ）を生成し、この生成した生成学習データを記憶部５の生成学習データ記憶部５３に記憶する（Ｓ８、学習データ生成処理、第５工程）。

【0069】

続いて、学習データ生成装置Ｓは、制御処理部１の学習データセット生成部１８によって、処理の終了か否かを判定する（Ｓ９、第６工程）。この判定の結果、処理の終了である場合（Ｙｅｓ）には、学習データ生成装置Ｓは、次に処理Ｓ１０を実行する。一方、前記判定の結果、処理の終了ではない場合（Ｎｏ）には、学習データ生成装置Ｓは、処理を処理Ｓ３に戻す。これによって前記第１疑似画像生成処理、前記第２疑似画像生成処理、前記ラベル生成処理および前記学習データ生成処理（前記第２ないし第５工程）が繰り返される。前記判定では、例えば、処理の終了を指示するコマンドを入力部２で受け付けた場合や、予め設定された所定の繰り返し回数、前記第１疑似画像生成処理、前記第２疑似画像生成処理、前記ラベル生成処理および前記学習データ生成処理（前記第２ないし第５工程）を繰り返した場合等に、前記処理の終了と判定される。

【0070】

前記処理Ｓ１０では、学習データ生成装置Ｓは、制御処理部１の制御部１１によって、記憶部５の生成学習データ記憶部５３に記憶された生成学習データセットを出力部３に出力し、本処理を終了する。なお、必要に応じて、前記生成学習データセットは、ＩＦ部６を介して外部の機器へ出力されてもよい。

【0071】

処理Ｓ１および処理Ｓ３の各処理は、生成学習データの画像を生成するための処理であり、処理Ｓ２および処理Ｓ４ないし処理Ｓ７の各処理は、前記生成学習データのラベル（前記画像のラベル）を生成するための処理である。

【0072】

以上説明したように、実施形態における学習データ生成装置Ｓならびにこれに実装された学習データ生成方法および学習データ生成プログラムは、第１モデルに基づき生成した第２モデルを用いることによって、第１モデルによって生成した第１疑似画像のラベルを生成することができるから、アノテーションが不要となり、人手によるアノテーションの工数をより低減できる。

【0073】

上記学習データ生成装置Ｓ、学習データ生成方法および学習データ生成プログラムは、変化量データの欠損を補完するので、より精度良くラベルを生成できる。特に、前記変化の仕方に応じて補完するので、上記学習データ生成装置Ｓ、学習データ生成方法および学習データ生成プログラムは、より適切に補完でき、より精度良くラベルを生成できる。

【0074】

上記学習データ生成装置Ｓ、学習データ生成方法および学習データ生成プログラムは、第１モデルを機械学習によって生成できる。したがって、上記学習データ生成装置Ｓ、学習データ生成方法および学習データ生成プログラムは、人では気付けなかった特徴量を勘案して第１モデルを生成できる。

【0075】

本実施形態によれば、第１ないし第４の変化の仕方のうちの少なくとも２つを含む学習データ生成装置Ｓ、学習データ生成方法および学習データ生成プログラムが提供できる。

【0076】

本実施形態によれば、前記第１疑似画像と前記第２疑似画像との変化量をオプティカルフローによって表した学習データ生成装置Ｓ、学習データ生成方法および学習データ生成プログラムが提供できる。

【0077】

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

【符号の説明】

【0078】

Ｓ 学習データ生成装置
１ 制御処理部
５ 記憶部
１１ 制御部
１２ 第１モデル生成部
１３ 第２モデル生成部
１４ 第１疑似画像生成部
１５ 第２疑似画像生成部
１６ ラベル生成部
１７ 学習データ生成部
１８ 学習データセット生成部
５１ 第１学習データ記憶部
５２ 第２学習データ記憶部
５３ 生成学習データ記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】