ホーム > 特許ランキング > 国立大学法人 鹿児島大学
▶ 国立大学法人 鹿児島大学の特許一覧 ▶ 株式会社トヨタ車体研究所の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024078272
(43)【公開日】2024-06-10
(54)【発明の名称】訓練データ生成システム
(51)【国際特許分類】
G06N 3/0475 20230101AFI20240603BHJP
G06T 7/00 20170101ALI20240603BHJP
G06N 20/00 20190101ALI20240603BHJP
G06N 3/09 20230101ALI20240603BHJP
G06N 3/047 20230101ALI20240603BHJP
G06N 3/126 20230101ALI20240603BHJP
【ＦＩ】
G06N3/0475
G06T7/00 610B
G06T7/00 350C
G06N20/00 130
G06N3/09
G06N3/047
G06N3/126
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022190710
(22)【出願日】2022-11-29
(71)【出願人】
【識別番号】504258527
【氏名又は名称】国立大学法人 鹿児島大学
(71)【出願人】
【識別番号】301069030
【氏名又は名称】株式会社トヨタ車体研究所
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100162259
【弁理士】
【氏名又は名称】末富 孝典
(74)【代理人】
【識別番号】100168114
【弁理士】
【氏名又は名称】山中 生太
(74)【代理人】
【識別番号】100146916
【弁理士】
【氏名又は名称】廣石 雅紀
(72)【発明者】
【氏名】小野 智司
(72)【発明者】
【氏名】東園 雄太
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096BA03
5L096EA06
5L096EA39
5L096FA32
5L096FA33
5L096FA52
5L096FA69
5L096GA30
5L096GA55
5L096HA11
5L096JA11
5L096KA04
(57)【要約】 （修正有）
【課題】利用者がコンピュータを扱う技術を必要とせず、短時間、かつ、軽負担で膨大な数の教師信号付き訓練データを生成する技術を提供する。
【解決手段】特徴の有無により分類対象を分類する深層学習器の学習に用いられる訓練データ生成システム１であって、訓練データ生成モデル、判定部及び最適化部を備える。訓練データ生成モデルは、特徴を規定するパラメータを座標軸とするパラメータ空間に規定される確率分布に従って個体群を生成し、それらの各個体に対応するパラメータの設定値によって規定される画像データを生成する。判定部は、画像データ夫々について特徴をどの程度適切に表しているかを利用者に判定させる。最適化部は、これら画像データの生成と、判定とを繰り返させつつ、特徴を適切に表していると判定される画像データの数が多くなるか又は訓練データにおける特徴を適切に表す度合が増すように確率分布を推定する対話型の最適化処理を行う。
【選択図】図２
【解決手段】特徴の有無により分類対象を分類する深層学習器の学習に用いられる訓練データ生成システム１であって、訓練データ生成モデル、判定部及び最適化部を備える。訓練データ生成モデルは、特徴を規定するパラメータを座標軸とするパラメータ空間に規定される確率分布に従って個体群を生成し、それらの各個体に対応するパラメータの設定値によって規定される画像データを生成する。判定部は、画像データ夫々について特徴をどの程度適切に表しているかを利用者に判定させる。最適化部は、これら画像データの生成と、判定とを繰り返させつつ、特徴を適切に表していると判定される画像データの数が多くなるか又は訓練データにおける特徴を適切に表す度合が増すように確率分布を推定する対話型の最適化処理を行う。
【選択図】図２
【特許請求の範囲】
【請求項1】
特徴の有無により分類対象を分類する深層学習器の学習に用いられる教師信号付き訓練データを生成する訓練データ生成システムであって、
前記特徴を規定するパラメータを座標軸とするパラメータ空間におけるベクトルを１個体とし、前記パラメータ空間に規定される確率分布に従って個体群を生成し、前記個体群の各個体に対応するパラメータの設定値によって規定される訓練データを生成する訓練データ生成モデルと、
前記訓練データ生成モデルで生成された訓練データそれぞれについて特徴をどの程度適切に表しているかを利用者に判定させる判定部と、
前記訓練データ生成モデルによる訓練データの生成と、前記判定部における判定とを繰り返させつつ、特徴を適切に表していると判定される前記訓練データが多くなるか、前記訓練データにおける特徴を適切に表す度合が増すように前記確率分布を推定する対話型の最適化処理を行う最適化部と、
を備える訓練データ生成システム。
前記特徴を規定するパラメータを座標軸とするパラメータ空間におけるベクトルを１個体とし、前記パラメータ空間に規定される確率分布に従って個体群を生成し、前記個体群の各個体に対応するパラメータの設定値によって規定される訓練データを生成する訓練データ生成モデルと、
前記訓練データ生成モデルで生成された訓練データそれぞれについて特徴をどの程度適切に表しているかを利用者に判定させる判定部と、
前記訓練データ生成モデルによる訓練データの生成と、前記判定部における判定とを繰り返させつつ、特徴を適切に表していると判定される前記訓練データが多くなるか、前記訓練データにおける特徴を適切に表す度合が増すように前記確率分布を推定する対話型の最適化処理を行う最適化部と、
を備える訓練データ生成システム。
【請求項2】
前記最適化部は、
前記最適化処理として、共分散行列適応進化戦略を用いた対話型進化計算を行う、
請求項１に記載の訓練データ生成システム。
前記最適化処理として、共分散行列適応進化戦略を用いた対話型進化計算を行う、
請求項１に記載の訓練データ生成システム。
【請求項3】
前記訓練データ生成モデルは、
前記各個体に対応するパラメータの設定値によって規定される特徴を示す特徴画像データを生成し、
前記特徴を有しない分類対象の基準画像データに、前記特徴画像データを重ね合わせることにより、前記訓練データを生成する、
請求項１又は２に記載の訓練データ生成システム。
前記各個体に対応するパラメータの設定値によって規定される特徴を示す特徴画像データを生成し、
前記特徴を有しない分類対象の基準画像データに、前記特徴画像データを重ね合わせることにより、前記訓練データを生成する、
請求項１又は２に記載の訓練データ生成システム。
【請求項4】
前記分類対象は、検査対象の外面であり、
前記特徴は、外面に表れる傷又は亀裂であり、
前記基準画像データは、前記特徴を有しない検査対象の外面の画像データであり、
前記特徴画像データは、前記個体に対応するパラメータの設定値によって規定される前記特徴の画像データである、
請求項３に記載の訓練データ生成システム。
前記特徴は、外面に表れる傷又は亀裂であり、
前記基準画像データは、前記特徴を有しない検査対象の外面の画像データであり、
前記特徴画像データは、前記個体に対応するパラメータの設定値によって規定される前記特徴の画像データである、
請求項３に記載の訓練データ生成システム。
【請求項5】
前記訓練データ生成モデルは、
前記各個体に対応するパラメータの設定値によって規定される特徴を表す分類対象の画像データを生成する、
請求項１又は２に記載の訓練データ生成システム。
前記各個体に対応するパラメータの設定値によって規定される特徴を表す分類対象の画像データを生成する、
請求項１又は２に記載の訓練データ生成システム。
【請求項6】
前記特徴は、前記分類対象の形状、構造、部品の組合せ、模様、色彩又はこれらの結合に関する特徴である、
請求項５に記載の訓練データ生成システム。
請求項５に記載の訓練データ生成システム。
【請求項7】
前記訓練データは、分類対象となる系列データであり、
前記訓練データ生成モデルは、
前記各個体に対応するパラメータの設定値によって規定される特徴を表す前記系列データを生成する、
請求項１又は２に記載の訓練データ生成システム。
前記訓練データ生成モデルは、
前記各個体に対応するパラメータの設定値によって規定される特徴を表す前記系列データを生成する、
請求項１又は２に記載の訓練データ生成システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、訓練データ生成システムに関する。
【背景技術】
【0002】
深層学習器である深層ニューラルネットワーク（ＤＮＮ）を訓練する教師信号付き訓練データを生成する教師データ生成装置が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０２０／２１７４２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
深層学習器を学習するためには、膨大な数の教師信号付き訓練データが必要になる。膨大な数の教師信号付き訓練データを生成するためには、分類対象に精通する専門家が、コンピュータ技術を駆使して訓練データを生成し、長い時間をかけて訓練データに教師信号を付与する作業を行う必要がある。その作業は非常に負担が大きいものとなる。このため、上述の専門家である利用者が、短時間かつ軽負担で膨大な数の教師信号付き訓練データを生成することができるシステムの登場が望まれている。
【0005】
本発明は、上記実情の下になされたものであり、利用者がコンピュータを扱う技術を持つことなく、短時間かつ軽負担で膨大な数の教師信号付き訓練データを生成することができる訓練データ生成システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明に係る訓練データ生成システムは、
特徴の有無により分類対象を分類する深層学習器の学習に用いられる教師信号付き訓練データを生成する訓練データ生成システムであって、
前記特徴を規定するパラメータを座標軸とするパラメータ空間におけるベクトルを１個体とし、前記パラメータ空間に規定される確率分布に従って個体群を生成し、前記個体群の各個体に対応するパラメータの設定値によって規定される訓練データを生成する訓練データ生成モデルと、
前記訓練データ生成モデルで生成された訓練データそれぞれについて特徴をどの程度適切に表しているかを利用者に判定させる判定部と、
前記訓練データ生成モデルによる訓練データの生成と、前記判定部における判定とを繰り返させつつ、特徴を適切に表していると判定される前記訓練データが多くなるか、前記訓練データにおける特徴を適切に表す度合が増すように前記確率分布を推定する対話型の最適化処理を行う最適化部と、
を備える。
特徴の有無により分類対象を分類する深層学習器の学習に用いられる教師信号付き訓練データを生成する訓練データ生成システムであって、
前記特徴を規定するパラメータを座標軸とするパラメータ空間におけるベクトルを１個体とし、前記パラメータ空間に規定される確率分布に従って個体群を生成し、前記個体群の各個体に対応するパラメータの設定値によって規定される訓練データを生成する訓練データ生成モデルと、
前記訓練データ生成モデルで生成された訓練データそれぞれについて特徴をどの程度適切に表しているかを利用者に判定させる判定部と、
前記訓練データ生成モデルによる訓練データの生成と、前記判定部における判定とを繰り返させつつ、特徴を適切に表していると判定される前記訓練データが多くなるか、前記訓練データにおける特徴を適切に表す度合が増すように前記確率分布を推定する対話型の最適化処理を行う最適化部と、
を備える。
【0007】
この場合、前記最適化部は、
前記最適化処理として、共分散行列適応進化戦略を用いた対話型進化計算を行う、
こととしてもよい。
前記最適化処理として、共分散行列適応進化戦略を用いた対話型進化計算を行う、
こととしてもよい。
【0008】
前記訓練データ生成モデルは、
前記各個体に対応するパラメータの設定値によって規定される特徴を示す特徴画像データを生成し、
前記特徴を有しない分類対象の基準画像データに、前記特徴画像データを重ね合わせることにより、前記訓練データを生成する、
こととしてもよい。
前記各個体に対応するパラメータの設定値によって規定される特徴を示す特徴画像データを生成し、
前記特徴を有しない分類対象の基準画像データに、前記特徴画像データを重ね合わせることにより、前記訓練データを生成する、
こととしてもよい。
【0009】
前記分類対象は、検査対象の外面であり、
前記特徴は、外面に表れる傷又は亀裂であり、
前記基準画像データは、前記特徴を有しない検査対象の外面の画像データであり、
前記特徴画像データは、前記個体に対応するパラメータの設定値によって規定される前記特徴の画像データである、
こととしてもよい。
前記特徴は、外面に表れる傷又は亀裂であり、
前記基準画像データは、前記特徴を有しない検査対象の外面の画像データであり、
前記特徴画像データは、前記個体に対応するパラメータの設定値によって規定される前記特徴の画像データである、
こととしてもよい。
【0010】
前記訓練データ生成モデルは、
前記各個体に対応するパラメータの設定値によって規定される特徴を表す分類対象の画像データを生成する、
こととしてもよい。
前記各個体に対応するパラメータの設定値によって規定される特徴を表す分類対象の画像データを生成する、
こととしてもよい。
【0011】
前記特徴は、前記分類対象の形状、構造、部品の組合せ、模様、色彩又はこれらの結合に関する特徴である、
こととしてもよい。
こととしてもよい。
【0012】
前記訓練データは、分類対象となる系列データであり、
前記訓練データ生成モデルは、
前記各個体に対応するパラメータの設定値によって規定される特徴を表す前記系列データを生成する、
こととしてもよい。
前記訓練データ生成モデルは、
前記各個体に対応するパラメータの設定値によって規定される特徴を表す前記系列データを生成する、
こととしてもよい。
【発明の効果】
【0013】
本発明によれば、訓練データの生成と、利用者による訓練データの特徴を表すデータらしさの判定とを繰り返させつつ、特徴を表すデータらしいと判定される訓練データの数が多くなるか、訓練データにおける特徴を表すデータらしさが増すように特徴を規定するパラメータの確率分布を推定する対話型の最適化処理を行って、教師信号付き訓練データを生成することができるので、利用者がコンピュータを扱う技術を持つことなく、短時間かつ軽負担で膨大な数の教師信号付き訓練データを生成することができる。
【図面の簡単な説明】
【0014】
【図1】（Ａ）は、車体の塗装面の画像データを示す図である。（Ｂ）は、同じ塗装面を光の当たり方を変えて撮像して得られる複数の画像データである。
【図2】本発明の実施の形態１に係る訓練データ生成システムの機能構成を示すブロック図である。
【図3】画像データの合成を示す模式図である。
【図4】傷を近似する２次曲線の模式図である。
【図5】（Ａ）～（Ｄ）は、傷の明度に関する態様を示す図であり、（Ｅ）は、明線と暗線との間隔を示す模式図である。
【図6】（Ａ）は、混合ガウス分布による傷の輝度変化の一例を示す模式図である。（Ｂ）は、傷の画像データにおける輝度の変化の一例を示す図である。
【図7】画像データと利用者の判定結果とを結びつける様子を示す模式図である。
【図8】分散行列適応進化戦略において世代毎に確率分布が変化する様子を示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図面を参照して詳細に説明する。各図面においては、同一又は同等の部分に同一の符号を付す。
【0016】
本実施の形態に係る訓練データ生成システムは、特徴の有無により分類対象を分類する深層学習器の学習に用いられる教師信号付き訓練データを生成する。本実施の形態では、分類対象は検査対象の外面であり、特徴は検査対象の外面に表れる傷である。また、訓練データは、検査対象の外面の画像データであり、教師信号は特徴の有無、すなわち傷の有無を示す情報である。すなわち、本実施の形態に係る訓練データ生成システムは、検査対象の外面の画像データに表れる傷の有無によりその外面を分類する深層学習器の学習に用いられる傷の有無の情報付き画像データを生成する。
【0017】
特に、本実施の形態に係る訓練データ生成システムは、検査対象の外面を自動車生産工場において塗装された自動車の車体の塗装面とし、分類の基準となる特徴を塗装傷（以下、単に「傷」とする）とする。図１（Ａ）に示すように、例えば２ｃｍ四方の塗装面の画像データが撮像され、この画像データを深層学習器に入力し、深層学習器が傷の有る塗装面であるか否かを分類することにより、塗装面の検査が行われる。なお、数千枚の傷有りの塗装面の画像に対して専門家が人手で教師信号を付与した教師信号付き画像データで学習した深層学習器で学習した場合、その深層学習器で９５％以上の傷を検知できることが確認されている。
【0018】
傷のない塗装面の画像データを用意するのに比べ、傷を含む塗装面の画像データを多数用意するのは極めて困難である。また、車体の塗装面は、図１（Ｂ）に示すように、同じ塗装面であっても光の当たり方によって全く印象が異なる画像となるうえ、場合によっては実際には存在する傷が写らない場合も多い。このことが、深層学習器による傷の検査を難しくしている。本実施の形態に係る訓練データ生成システムは、塗装面の傷を自動的に検査する深層学習器の学習に必要な膨大な数の教師信号付き画像データを、短時間かつ軽負担で生成する。
【0019】
［機能構成］
図２に示すように、訓練データ生成システム１は、その機能構成として、訓練データ生成モデル１０と、判定部１１と、最適化部１２と、を備える。
図２に示すように、訓練データ生成システム１は、その機能構成として、訓練データ生成モデル１０と、判定部１１と、最適化部１２と、を備える。
【0020】
［訓練データ生成モデル］
訓練データ生成モデル１０が、上述の教師信号付き画像データを生成する。訓練データ生成モデル１０は、図３に示すように、塗装面の基準画像データに、傷の画像データを重ね合わせることにより、合成画像データを生成する。すなわち、本実施の形態では、塗装面の基準画像データが傷を有しない塗装面の画像データに対応し、傷の画像データが特徴画像データに対応する。
訓練データ生成モデル１０が、上述の教師信号付き画像データを生成する。訓練データ生成モデル１０は、図３に示すように、塗装面の基準画像データに、傷の画像データを重ね合わせることにより、合成画像データを生成する。すなわち、本実施の形態では、塗装面の基準画像データが傷を有しない塗装面の画像データに対応し、傷の画像データが特徴画像データに対応する。
【0021】
傷の画像データは、コンピュータグラフィックで生成される画像である。訓練データ生成モデル１０は、予め設定されたパラメータの設定値に基づいて、傷の画像データを生成する。このようなパラメータには、例えば以下の様なものがある。
（１）近似曲線のパラメータ
（２）線の明度、組み合わせ、位置関係のパラメータ
（３）画像の平滑化フィルタに関するパラメータ
（４）画像合成に関するパラメータ
（５）混合ガウス分布による傷の輝度変化関連のパラメータ
（１）近似曲線のパラメータ
（２）線の明度、組み合わせ、位置関係のパラメータ
（３）画像の平滑化フィルタに関するパラメータ
（４）画像合成に関するパラメータ
（５）混合ガウス分布による傷の輝度変化関連のパラメータ
【0022】
（１）近似曲線のパラメータ
傷は、そのほとんどが線状であり、２次曲線で近似できるものである。そのため２次曲線を規定するパラメータの設定値に基づいて、傷の画像データを生成することができる。本実施の形態では、この２次曲線のパラメータ:σｃ，ａを傷の画像データを生成するためのパラメータとする。
傷は、そのほとんどが線状であり、２次曲線で近似できるものである。そのため２次曲線を規定するパラメータの設定値に基づいて、傷の画像データを生成することができる。本実施の形態では、この２次曲線のパラメータ:σｃ，ａを傷の画像データを生成するためのパラメータとする。
【0023】
図４に示すように、２次曲線の軌跡を示すベクトルをｒとする。そして、２次曲線の端点ベクトルをｒ１、ｒ３とし、接点が端点を結ぶ線分と平行になる点（中間点）のベクトルをｒ２とする。この場合、ベクトルｒは、係数ｋ０，ｋ１，ｋ２，ｋ３を用いたベクトルｒ１，ｒ２，ｒ３の線形結合で表される。
ｒ＝（１／ｋ０）×（ｋ１ｒ１＋ｋ２ｒ２＋ｋ３ｒ３）・・・（１）
この２次曲線の中間点ｒ２は、以下のように表される。
ｒ２＝（ｒ１＋ｒ３）／２＋σｃμ｜ｒ１－ｒ３｜
ここで、σｃは、二次曲線の中間点のベクトルｒ２の分散であり、μは、［０，１］の一様乱数から成るベクトルである。
ｒ＝（１／ｋ０）×（ｋ１ｒ１＋ｋ２ｒ２＋ｋ３ｒ３）・・・（１）
この２次曲線の中間点ｒ２は、以下のように表される。
ｒ２＝（ｒ１＋ｒ３）／２＋σｃμ｜ｒ１－ｒ３｜
ここで、σｃは、二次曲線の中間点のベクトルｒ２の分散であり、μは、［０，１］の一様乱数から成るベクトルである。
【0024】
各係数ｋ０，ｋ１，ｋ２，ｋ３は、以下の計算式で表わされる。
ｋ１＝（１－ｔ）（１－２ｔ）
ｋ２＝（４＋ａ）ｔ（１－ｔ）
ｋ３＝ｔ（２ｔ－１）
ｋ０＝ｋ１＋ｋ２＋ｋ３＝１＋ａｔ（１－ｔ）
ここで、ｔ＝０～１である。ｔ＝０のときｒ＝ｒ１となり、ｔ＝０．５のときｒ＝ｒ２となり、ｔ＝１のときｒ＝ｒ３となる。
ｋ１＝（１－ｔ）（１－２ｔ）
ｋ２＝（４＋ａ）ｔ（１－ｔ）
ｋ３＝ｔ（２ｔ－１）
ｋ０＝ｋ１＋ｋ２＋ｋ３＝１＋ａｔ（１－ｔ）
ここで、ｔ＝０～１である。ｔ＝０のときｒ＝ｒ１となり、ｔ＝０．５のときｒ＝ｒ２となり、ｔ＝１のときｒ＝ｒ３となる。
【0025】
パラメータａの変化により、２次曲線は、以下のように規定される。
ａ＞０：双曲線
ａ＝０：放物線
ａ＜０：楕円
このように、傷を近似する２次曲線は、中間点ｒ２の分散σｃ及び曲線のパラメータａで決まる。本実施の形態では、σｃ，ａが、最適化の対象となるパラメータとして含められる。
ａ＞０：双曲線
ａ＝０：放物線
ａ＜０：楕円
このように、傷を近似する２次曲線は、中間点ｒ２の分散σｃ及び曲線のパラメータａで決まる。本実施の形態では、σｃ，ａが、最適化の対象となるパラメータとして含められる。
【0026】
（２）線の明度、組み合わせ、位置関係のパラメータ
図５（Ａ）～図５（Ｄ）に示すように、光の当たり方によって傷の明度は様々に変化する。例えば、図５（Ａ）に示す画像では、傷は白い明線で構成されており、図５（Ｂ）に示す画像では、傷は黒い暗線で構成されている。また、図５（Ｃ）に示す画像では、傷は、下のエッジが明るい明線となり、他の部分は暗線で構成されている。図５（Ｄ）では、上のエッジが明線となり、他の部分が暗線で構成されている。
図５（Ａ）～図５（Ｄ）に示すように、光の当たり方によって傷の明度は様々に変化する。例えば、図５（Ａ）に示す画像では、傷は白い明線で構成されており、図５（Ｂ）に示す画像では、傷は黒い暗線で構成されている。また、図５（Ｃ）に示す画像では、傷は、下のエッジが明るい明線となり、他の部分は暗線で構成されている。図５（Ｄ）では、上のエッジが明線となり、他の部分が暗線で構成されている。
【0027】
本実施の形態では、傷を構成する線が、明線のみであるか、明線と暗線とを組み合わせたものであるか、暗線のみであるかを設定可能な傷の線種Ｔｌｉｎｅが、最適化の対象となるパラメータとして含められる。また、図５（Ｅ）に示すように、明線と、暗線との画像上の間隔Ｏｘ、Ｏｙも最適化の対象となるパラメータとして含めることができる。１本の傷における明線、暗線の本数もパラメータとして含めることができる。
【0028】
（３）画像の平滑化フィルタに関するパラメータ
焦点の調整具合，光の当たり方等により傷の鋭さが変化するため，画像を平滑化するフィルタのパラメータを最適化の対象となるパラメータとして含めることができる。例えば、平滑化の強度Ｔｂｕｌｒがパラメータとなる。このようなフィルタには、例えばガウシアンフィルタがあるが、これに限定されない。
焦点の調整具合，光の当たり方等により傷の鋭さが変化するため，画像を平滑化するフィルタのパラメータを最適化の対象となるパラメータとして含めることができる。例えば、平滑化の強度Ｔｂｕｌｒがパラメータとなる。このようなフィルタには、例えばガウシアンフィルタがあるが、これに限定されない。
【0029】
（４）画像合成に関するパラメータ
図３に示すように、合成画像データは、傷なしの基準画像データと傷の画像データとを重ね合わせて、すなわち基準画像データに傷の画像データを埋め込んで形成される。この場合、合成画像データは、各画素は、基準画像データの画素と傷の画像データの画素との重み付け線形和となる。このそれぞれの重みを、最適化の対象となるパラメータとして含めることができる。
図３に示すように、合成画像データは、傷なしの基準画像データと傷の画像データとを重ね合わせて、すなわち基準画像データに傷の画像データを埋め込んで形成される。この場合、合成画像データは、各画素は、基準画像データの画素と傷の画像データの画素との重み付け線形和となる。このそれぞれの重みを、最適化の対象となるパラメータとして含めることができる。
【0030】
（５）混合ガウス分布による輝度変化関連のパラメータ
図５（Ｄ）に示すように、実際の傷の画像では、傷の深さの不均一性や、光の当たり方などにより、傷の明度が変化する。傷の明度の変化は、図６に示すように、混合ガウス分布を用いて表現することができる。したがって、本実施の形態では、図３に示す傷の画像データにおける傷の輝度値を、混合ガウス分布を用いて補正する。混合ガウス分布は、以下の式で表される。
混合ガウス分布は、各分布の平均μｋ、標準偏差の最大値、最小値σｍａｘ、σｍｉｎ、安定度ｓ、各分布の重みπｋによって決まる。したがって、これらが最適化の対象となるパラメータとして含められる。なお、重みπｋについては、以下の制約がある。
ΣｋΠｋ＝１
図５（Ｄ）に示すように、実際の傷の画像では、傷の深さの不均一性や、光の当たり方などにより、傷の明度が変化する。傷の明度の変化は、図６に示すように、混合ガウス分布を用いて表現することができる。したがって、本実施の形態では、図３に示す傷の画像データにおける傷の輝度値を、混合ガウス分布を用いて補正する。混合ガウス分布は、以下の式で表される。
【数1】
ΣｋΠｋ＝１
【0031】
図３に示す傷の画像データは、上述のパラメータに基づいて生成される。これらパラメータをｘｋ（ｋ＝１～Ｋの自然数）としてまとめる。パラメータｘｋは、図１に示すパラメータ空間ＰＳの座標軸となる。すなわちパラメータ空間ＰＳは、Ｋ次元の空間となる。このパラメータ空間ＰＳの１点１点を示すベクトルＶｎ（ｎ＝１～Ｎの自然数）は、パラメータｘｋの設定値の組み合わせを示している。本実施の形態では、このベクトルＶｎを１個体とする。以下、ベクトルＶｎを個体Ｖｎとも呼ぶ。
【0032】
パラメータ空間ＰＳでは、パラメータｘｋの組み合わせであるベクトルＶｎの確率分布ＰＤが規定されている。確率分布ＰＤは、多変量正規分布である。確率分布ＰＤが決まっている場合、訓練データ生成モデル１０は、この確率分布ＰＤに従って、ベクトルＶｎの個体群Ｖ１～ＶＮを生成する。個体群Ｖ１～ＶＮの抽出は、確率分布ＰＤに従ってランダムに行われる。この場合、抽出される個体Ｖｎは、楕円の中心に向かって密となる。
【0033】
すなわち、訓練データ生成モデル１０は、特徴を規定するパラメータｘｋを座標軸とするパラメータ空間ＰＳにおけるベクトルＶｎ（ｎ＝１～Ｎ）を１個体とし、パラメータ空間ＰＳに規定される確率分布ＰＤに従って個体群Ｖ１～ＶＮを生成する。さらに、訓練データ生成モデル１０は、個体群Ｖ１～ＶＮの各個体Ｖｎに対応するパラメータｘｋの設定値によって規定される画像データＴＤｎを生成する。
【0034】
上述したように、本実施の形態では、訓練データ生成モデル１０は、各個体Ｖｎに対応するパラメータｘｋの設定値によって規定される傷を示す傷の画像データＴＤｎを生成し、図３に示すように、傷を有しない分類対象の基準画像データに、特徴画像データ（傷の画像データ）を重ね合わせることにより、訓練データとしての画像データＴＤｎを生成する。
【0035】
［判定部］
判定部１１は、訓練データ生成モデル１０で生成された画像データＴＤｎを入力する。判定部１１は、画像データＴＤｎそれぞれについて特徴（傷）を表すデータらしさ、すなわち特徴（傷）をどの程度適切に表しているかを利用者Ｓに判定させる。特徴を表すデータらしさとは、特徴を有しない分類対象の画像データに特徴（傷）を表す画像データを合成した合成画像データであっても、分類対象が実際に特徴を有しているように利用者Ｓに見える度合いを示す。
判定部１１は、訓練データ生成モデル１０で生成された画像データＴＤｎを入力する。判定部１１は、画像データＴＤｎそれぞれについて特徴（傷）を表すデータらしさ、すなわち特徴（傷）をどの程度適切に表しているかを利用者Ｓに判定させる。特徴を表すデータらしさとは、特徴を有しない分類対象の画像データに特徴（傷）を表す画像データを合成した合成画像データであっても、分類対象が実際に特徴を有しているように利用者Ｓに見える度合いを示す。
【0036】
本実施の形態では、判定部１１は、特徴（傷）の有無を利用者Ｓに判定させる。具体的には、訓練データ生成システム１は、後述するように、マンマシンインターフェイスとして操作部３４及び表示部３５を有している。判定部１１は、表示部３５に、訓練データ生成モデル１０によって生成された画像データ（図３の合成画像データ）ＴＤｎに基づく画像を表示させる。利用者Ｓは、表示部３５に表示された画像データＴＤｎに基づく画像を見てその画像に特徴（傷）が有るかないかを判定し、その判定結果を操作部３４に入力させる。判定部１１は、図７に示すように、画像データと、利用者Ｓの判定結果を教師信号として結びつけて、最適化部１２に送る。
【0037】
［最適化部］
最適化部１２は、訓練データ生成モデル１０による画像データＴＤｎの生成と、判定部１１による画像データＴＤｎの判定とを繰り返させつつ、特徴（傷）を適切に表していると判定される画像データＴＤｎが多くなるか、画像データＴＤｎにおける特徴（傷）を適切に表す度合が増すように、確率分布ＰＤを推定する対話型の最適化処理を行う。対話型の最適化処理とは、利用者との対話を重ね、多点探索型で、メタヒューリスティックに最適値を探索する最適化手法を用いた処理である。
最適化部１２は、訓練データ生成モデル１０による画像データＴＤｎの生成と、判定部１１による画像データＴＤｎの判定とを繰り返させつつ、特徴（傷）を適切に表していると判定される画像データＴＤｎが多くなるか、画像データＴＤｎにおける特徴（傷）を適切に表す度合が増すように、確率分布ＰＤを推定する対話型の最適化処理を行う。対話型の最適化処理とは、利用者との対話を重ね、多点探索型で、メタヒューリスティックに最適値を探索する最適化手法を用いた処理である。
【0038】
本実施の形態では、最適化部１２は、最適化処理として、共分散行列適応進化戦略（ＣＭＡ－ＥＳ）を用いた対話型進化計算を行う。ＣＭＡ－ＥＳは、一般の進化戦略とは異なり、解候補となる個体群Ｖ１～ＶＮを直接保持せず、多変量正規分布ＰＤ（ｍ、σ２、Ｃ）により解候補の集団を生成し，目的関数を用いた評価で高評価を得た候補に基づいて、平均ｍ、標準偏差σ及び共分散行列Ｃを更新することで解の探索を行う最適化処理である。
【0039】
ＣＭＡ－ＥＳにおいて、例えば、図８に示すように世代ｇから世代ｇ＋１に確率分布ＰＤを更新する場合について説明する。世代を進めるにあたって、その確率分布ＰＤにおいて、生成された個体群Ｖ１～ＶＮのうち、傷有りと判定された個体Ｖｎ（これらを「エリート」とする）の平均ｍを次世代の平均ｍに更新する。また、共分散行列Ｃは、現世代の共分散行列に、今回のエリートと現世代のｍとの差分に基づく共分散行列を加算して得られるＲａｎｋ－μ－ｕｐｄａｔｅと、これまでの共分散行列Ｃの軌跡に基づいて求められるＲａｎｋ－Ｏｎｅ－Ｕｐｄａｔｅとを組み合わせた共分散行列Ｃに更新される。さらに、標準偏差σは、確率分布ＰＤの世代間の移動の長さが短くなれば小さくし、移動の長さが長くなれば大きくすることにより、更新される。
【0040】
最適化部１２は、このようにして、多変量正規分布ＰＤ（ｍ、σ２、Ｃ）の平均ｍ、共分散行列Ｃ、標準偏差σ、を更新しながら、傷が写っている画像データらしいと判定される画像データＴＤｎが多くなるか、画像データＴＤｎにおける傷を表すデータらしさが増すように多変量正規分布ＰＤ（ｍ、σ２、Ｃ）を探索する。基本的には、初期においては、広い領域で探索を行うため、大きな標準偏差σで探索が行われる。多変量正規分布ＰＤ（ｍ、σ２、Ｃ）が、最適解の存在する領域に近づいていくと、標準偏差σが小さくなっていき、平均ｍの移動も小さくなる。これにより、最適な多変量正規分布ＰＤ（ｍ、σ２、Ｃ）が得られるようになる。解候補の世代が更新され、例えば、所定回数世代を更新したところで、最適化部１２は、最適化処理を終了する。
【0041】
最適化部１２において、最終的に規定された最終世代の多変量正規分布ＰＤ（ｍ、σ２、Ｃ）が、最適化された確率分布ＰＤとなる。訓練データ生成モデル１０は、最適化された確率分布ＰＤに従って、個体群の各個体に対応するパラメータｘｋの設定値によって規定される教師信号付き画像データを生成する。深層学習器は、このようにして生成された教師信号付き画像データを用いて学習を行う。なお、個体群の個体の数は探索時のＮと同じとする必要はなく、より多数の個体の画像データを生成することができる。
【0042】
［ハードウエア構成］
図１に示す訓練データ生成システム１は、例えば、図９に示すハードウエア構成を有するコンピュータがソフトウエアプログラムを実現することにより実現される。具体的には、訓練データ生成システム１は、装置全体の制御を司るＣＰＵ（Central Processing Unit）２１と、ＣＰＵ２１の作業領域等として動作する主記憶部２２と、ＣＰＵ２１の動作プログラム等を記憶する外部記憶部２３と、操作部２４と、表示部２５と、入出力部２６と、これらを接続する内部バス２８から構成される。
図１に示す訓練データ生成システム１は、例えば、図９に示すハードウエア構成を有するコンピュータがソフトウエアプログラムを実現することにより実現される。具体的には、訓練データ生成システム１は、装置全体の制御を司るＣＰＵ（Central Processing Unit）２１と、ＣＰＵ２１の作業領域等として動作する主記憶部２２と、ＣＰＵ２１の動作プログラム等を記憶する外部記憶部２３と、操作部２４と、表示部２５と、入出力部２６と、これらを接続する内部バス２８から構成される。
【0043】
主記憶部２２は、ＲＡＭ（Random Access Memory）等から構成されている。主記憶部２２には、ＣＰＵ２１によって実行されるプログラム２９が外部記憶部２３からロードされる。また、主記憶部２２は、ＣＰＵ２１の作業領域（データの一時記憶領域）としても用いられる。
【0044】
外部記憶部２３は、フラッシュメモリ、ハードディスク等の不揮発性メモリから構成される。外部記憶部２３には、ＣＰＵ２１に実行させるためのプログラム２９が予め記憶されている。
【0045】
操作部２４は、キーボード及びマウス等のデバイスと、これらのデバイスを内部バス２８に接続するインターフェイス装置から構成されている。
【0046】
表示部２５は、ＣＲＴ（Cathode Ray Tube）、液晶モニタ等の表示用デバイスから構成される。
【0047】
入出力部２６は、外部機器とのデータ送受信を行うインターフェイスである。この入出力部２６を介して、訓練データの生成に用いられる画像データ３０（例えば図３に示す基準画像データ、合成画像データ）が入出力される。
【0048】
訓練データ生成システム１の機能は、１以上のプロセッサ及び一時的でない記憶媒体を含む１以上の記憶装置を含む１以上のコンピュータからなる計算機システムに実装することができる。複数のコンピュータは、相互に接続された通信ネットワークを介して通信を行いつつ、訓練データ生成システム１の機能を実現する。例えば、訓練データ生成システム１の複数の機能の一部が１つのコンピュータに実装され、他の一部が他のコンピュータに実装されてもよい。
【0049】
［動作］
次に、本実施の形態に係る訓練データ生成システム１の動作について説明する。図１０に示すように、まず、訓練データ生成モデル１０は、傷を規定するパラメータを座標軸とするパラメータ空間に規定される確率分布に従って個体群Ｖ１～ＶＮを生成する（ステップＳ１）。続いて、訓練データ生成モデル１０は、個体群Ｖ１～ＶＮの各個体Ｖｎに対応するパラメータｘｋの設定値によって規定される訓練データを生成する（ステップＳ２）。
次に、本実施の形態に係る訓練データ生成システム１の動作について説明する。図１０に示すように、まず、訓練データ生成モデル１０は、傷を規定するパラメータを座標軸とするパラメータ空間に規定される確率分布に従って個体群Ｖ１～ＶＮを生成する（ステップＳ１）。続いて、訓練データ生成モデル１０は、個体群Ｖ１～ＶＮの各個体Ｖｎに対応するパラメータｘｋの設定値によって規定される訓練データを生成する（ステップＳ２）。
【0050】
続いて、判定部１１は、訓練データ生成モデルで生成された訓練データそれぞれについて傷の有無を利用者に判定させる（ステップＳ３）。
【0051】
続いて、最適化部１２は、確率分布ＰＤを更新する（ステップＳ４）。その後、最適化部１２は、終了条件を満たすか否かを判定する（ステップＳ５）。終了条件を満たさない場合（ステップＳ５；Ｎｏ）、処理は、ステップＳ１に戻る。その後、終了条件を満たさない間（ステップＳ５；Ｎｏ）、ステップＳ１～Ｓ５が繰り返される。
【0052】
終了条件を満たすと（ステップＳ５；Ｎｏ）、最適化部１２は、最終的な確率分布ＰＤを記憶し（ステップＳ６）、処理を終了する。
【0053】
本実施の形態に係る訓練データ生成システム１は、車体の塗装面の傷を検査する深層学習器の学習に用いられる教師信号付き画像データを生成するものである。しかしながら、これには限られない。画像により他の検査対象を検査する深層学習器に適用することも可能である。例えば、コンクリート等の亀裂、フィルム、ゴムシートの表面の傷の検査にも適用することができる。また、交通インフラ、建造物保守点検への応用が可能となる。
【0054】
［物品の形状検査］
また、本実施の形態に係る訓練データ生成システム１は、特徴の有無により分類対象を分類する深層学習器に適用することができる。例えば、立体物の形状検査等にも適用することができる。立体物に特に制限はなく、商品、文房具あらゆる立体物の検査に用いることが可能である。この場合、訓練データ生成モデル１０は、各個体Ｖｎに対応するパラメータｘｋの設定値によって規定される特徴を表す分類対象の画像データを生成する。
また、本実施の形態に係る訓練データ生成システム１は、特徴の有無により分類対象を分類する深層学習器に適用することができる。例えば、立体物の形状検査等にも適用することができる。立体物に特に制限はなく、商品、文房具あらゆる立体物の検査に用いることが可能である。この場合、訓練データ生成モデル１０は、各個体Ｖｎに対応するパラメータｘｋの設定値によって規定される特徴を表す分類対象の画像データを生成する。
【0055】
この場合に生成される画像データは、分類対象の形状がわかる画像データとなる。このような画像データは、撮像データを加工したものであってもよいし、全体がコンピュータグラフィックで作成された画像であってもよい。なお、特徴は、分類対象の形状となる。形状の他、構造、部品の組合せ、模様、色彩又はこれらの結合も分類の基準となる特徴とすることができる。
【0056】
また、本実施の形態に係る訓練データ生成システム１は、気象観測データ、海洋観測データ又は医療データなどの系列データ、例えば時系列データにも適用することができる。この場合、訓練データ生成モデル１０は、前記各個体Ｖｎに対応するパラメータの設定値によって規定される特徴を表す系列データを生成するものであってもよい。
【0057】
なお、本実施の形態では、判定部１１では、利用者Ｓに特徴（傷）の有無を判定させたが、これには限らない。例えば、利用者Ｓに特徴（傷）が写っている画像らしいものを選択させたり、特徴（傷）が写っている画像らしさのスコア付け又はランク付けを利用者に行わせ、特徴（傷）をどの程度適切に表しているかを示す度合いを利用者Ｓに決定させたりするようにしてもよい。また、利用者Ｓに２枚の画像データを提示して、どちらが本物の特徴（傷）が写っている画像らしいかを選択させるようにしてもよい。特徴（傷）が写っている画像らしさのスコア付け又はランク付けを利用者Ｓに行わせたりする場合、最適化部１２は、特徴（傷）が写っている画像らしさのスコア又はランクが高くなるように、最適化を行う。
【0058】
以上詳細に説明したように、上記実施の形態に係る訓練データ生成システム１によれば、訓練データの生成と、利用者Ｓによる画像データＴＤｎの特徴を表すデータらしさの判定とを繰り返させつつ、特徴を表すデータらしいと判定される画像データＴＤｎの数が多くなるように特徴を規定するパラメータの確率分布を推定する対話型の最適化処理を行って、教師信号付き訓練データを生成する生成モデルを設計することができる。このため、利用者がコンピュータを扱う技術を持つことなく、短時間かつ軽負担で膨大な数の教師信号付き訓練データを生成することができる。
【0059】
なお、上記実施の形態に係る訓練データ生成システム１では、共分散行列適応進化戦略を用いて対話型進化計算により、パラメータの最適な設定値の確率分布を探索している。しかしながら、これには限られない。最適化アルゴリズムとして、分布推定アルゴリズム（EDA：Estimation of Distribution Algorithm）、ベイズ最適化アルゴリズム、ＰＢＩＬ（Population-Based Incremental Learning）、ＣＧＡ（Compact Genetic Algorithm）などを最適化アルゴリズムとして用いることができる。
【0060】
訓練データ生成システム１のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
【0061】
ＣＰＵ２１、主記憶部２２、外部記憶部２３、操作部２４、表示部２５、入出力部２６及び内部バス２８などから構成される訓練データ生成システム１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する訓練データ生成システム１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで訓練データ生成システム１を構成してもよい。
【0062】
訓練データ生成システム１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【0063】
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【0064】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【0065】
本発明は、深層学習器の学習に用いられる訓練データの生成に適用することができる。
【符号の説明】
【0066】
１ 訓練データ生成システム、１０ 訓練データ生成モデル、１１ 判定部、１２ 最適化部、２１ ＣＰＵ、２２ 主記憶部、２３ 外部記憶部、２４ 操作部、２５ 表示部、２８ 内部バス、２９ プログラム、３０ 画像データ、Ｓ 利用者、ｘｋ パラメータ、Ｖｎ 個体、ＰＤ 確率分布、ＰＳ パラメータ空間
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】