特許 7458042 データ作成システム、学習システム、推定システム、処理装置、データ作成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-21

(45)【発行日】2024-03-29

(54)【発明の名称】データ作成システム、学習システム、推定システム、処理装置、データ作成方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240322BHJP

   G06V 10/72 20220101ALI20240322BHJP

【ＦＩ】

G06T7/00 350C

G06V10/72

【請求項の数】 25

(21)【出願番号】P 2022561868

(86)(22)【出願日】2021-11-05

(86)【国際出願番号】 JP2021040715

(87)【国際公開番号】W WO2022102524

(87)【国際公開日】2022-05-19

【審査請求日】2023-04-26

(31)【優先権主張番号】P 2020187510

(32)【優先日】2020-11-10

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002527

【氏名又は名称】弁理士法人北斗特許事務所

(72)【発明者】

【氏名】佐藤 太一

(72)【発明者】

【氏名】後藤 良介

(72)【発明者】

【氏名】北川 勇斗

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０２０－１０６４６１（ＪＰ，Ａ）

【文献】野村 茂生 Shigeo NOMURA，デジタルトランスフォーメーションを加速する東芝ＩｏＴアーキテクチャーＳＰＩＮＥＸ，東芝レビュー ＶＯＬ．７２ ＮＯ．４ ［ｏｎｌｉｎｅ］ TOSHIBA REVIEW，日本，2017年09月30日，第72巻

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／７２

(57)【特許請求の範囲】

【請求項1】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成システムであって、
前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトの形状を変形した前記第２画像データを生成する変形部を備え、
前記変形部は、前記オブジェクトの形状の変形前後で前記第１画像データにおける所定の特徴が維持されるように、前記第２画像データを生成し、
前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含み、
前記変形部は、前記オブジェクトの形状を、前記線状の特徴に沿った１つ以上の仮想線に沿って変形した前記第２画像データを生成する、
データ作成システム。

【請求項2】

前記変形部は、前記オブジェクトの形状を、前記線状の特徴に沿った２つ以上の仮想線が並ぶ並び方向に沿って変形した前記第２画像データを生成する、
請求項１に記載のデータ作成システム。

【請求項3】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成システムであって、
前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトの形状を変形した前記第２画像データを生成する変形部を備え、
前記変形部は、前記オブジェクトの形状の変形前後で前記第１画像データにおける所定の特徴が維持されるように、前記第２画像データを生成し、
前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含み、
前記変形部は、前記オブジェクトの形状を、前記線状の特徴に沿った２つ以上の仮想線が並ぶ並び方向に沿って変形した前記第２画像データを生成する、
データ作成システム。

【請求項4】

前記線状の特徴は、直線状の特徴を含む、
請求項１～３のいずれか１項に記載のデータ作成システム。

【請求項5】

前記直線状の特徴とは、前記オブジェクトを撮像したラインセンサカメラに依存して前記第１画像データ上における複数のスキャンライン間の境界に関する、
請求項４に記載のデータ作成システム。

【請求項6】

前記線状の特徴は、曲線状の特徴を含む、
請求項１～５のいずれか１項に記載のデータ作成システム。

【請求項7】

前記曲線状の特徴は、円、又は楕円状の特徴を含む、
請求項６に記載のデータ作成システム。

【請求項8】

前記変形部は、前記仮想線上に複数の基準点を設定し、前記複数の基準点の少なくとも１つの基準点を移動させることにより、前記オブジェクトの形状の変形を行う、
請求項１～７のいずれか１項に記載のデータ作成システム。

【請求項9】

前記変形部は、前記仮想線上に設定された前記複数の基準点の並び順を維持しながら、前記少なくとも１つの基準点を移動させる、
請求項８に記載のデータ作成システム。

【請求項10】

前記所定の特徴に関する情報を取得する取得部を、更に備え、
前記変形部は、前記取得部で取得した前記情報に基づいて前記第２画像データを生成する、
請求項１～９のいずれか１項に記載のデータ作成システム。

【請求項11】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成システムであって、
前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトの形状を変形した前記第２画像データを生成する変形部と、
所定の特徴に関する情報を取得する取得部と、を備え、
前記変形部は、前記取得部で取得した前記情報に基づいて、前記オブジェクトの形状の変形前後で前記第１画像データにおける前記所定の特徴が維持されるように、前記第２画像データを生成し、
前記取得部は、表示部により画面表示される前記第１画像データに対して、ユーザが操作部を用いて特定した情報を、前記所定の特徴に関する前記情報として取得する、
データ作成システム。

【請求項12】

変形後の前記オブジェクトの輪郭形状を指定する情報を取得する取得部を更に備え、
前記変形部は、前記輪郭形状に前記オブジェクトの形状を変形した前記第２画像データを生成する、
請求項１～１１のいずれか１項に記載のデータ作成システム。

【請求項13】

請求項１～１２のいずれか１項に記載のデータ作成システムで作成された前記第２画像データとしての前記学習用データを含む学習用データセットを用いて、前記学習済みモデルを生成する、
学習システム。

【請求項14】

請求項１３に記載の学習システムで生成された前記学習済みモデルを用いて、認識対象となる前記オブジェクトにおける特定状態に関する推定を行う、
推定システム。

【請求項15】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成方法であって、
前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトの形状を変形した前記第２画像データを生成する変形ステップを含み、
前記変形ステップでは、前記オブジェクトの形状の変形前後で前記第１画像データにおける所定の特徴が維持されるように、前記第２画像データを生成し、
前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含み、
前記変形ステップでは、前記オブジェクトの形状を、前記線状の特徴に沿った１つ以上の仮想線に沿って変形した前記第２画像データを生成する、
データ作成方法。

【請求項16】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成方法であって、
前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトの形状を変形した前記第２画像データを生成する変形ステップを含み、
前記変形ステップでは、前記オブジェクトの形状の変形前後で前記第１画像データにおける所定の特徴が維持されるように、前記第２画像データを生成し、
前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含み、
前記変形ステップでは、前記オブジェクトの形状を、前記線状の特徴に沿った２つ以上の仮想線が並ぶ並び方向に沿って変形した前記第２画像データを生成する、
データ作成方法。

【請求項17】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成方法であって、
前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトの形状を変形した前記第２画像データを生成する変形ステップと、
所定の特徴に関する情報を取得する取得ステップと、を含み、
前記変形ステップでは、前記取得ステップで取得した前記情報に基づいて、前記オブジェクトの形状の変形前後で前記第１画像データにおける前記所定の特徴が維持されるように、前記第２画像データを生成し、
前記取得ステップでは、表示部により画面表示される前記第１画像データに対して、ユーザが操作部を用いて特定した情報を、前記所定の特徴に関する前記情報として取得する、
データ作成方法。

【請求項18】

１以上のプロセッサに、請求項１５～１７のいずれか１項に記載のデータ作成方法を実行させるためのプログラム。

【請求項19】

第１処理装置と、第２処理装置と、を備え、
前記第１処理装置は、前記取得部を有し、
前記第２処理装置は、前記変形部を有し、
前記第１処理装置は、前記所定の特徴に関する情報を、前記第２処理装置に送信する、
請求項１０又は１１に記載のデータ作成システム。

【請求項20】

請求項１９に記載のデータ作成システムにおける前記第１処理装置としての、
処理装置。

【請求項21】

請求項１９に記載のデータ作成システムにおける前記第２処理装置としての、
処理装置。

【請求項22】

第１画像データを学習用データとして含む学習用データセットを用いて、オブジェクトに関する学習済みモデルを生成する学習システムであって、前記第１画像データは、前記オブジェクトを示す画素領域を含み、
前記学習システムは、前記第１画像データから前記第１画像データにおける所定の特徴が維持されるように前記オブジェクトの形状を変形した第２画像データに対して、前記オブジェクトの特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力し、
前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含み、
前記第２画像データは、前記第１画像データから、前記オブジェクトの形状を、前記線状の特徴に沿った１つ以上の仮想線に沿って変形して生成される、
学習システム。

【請求項23】

第１画像データを学習用データとして含む学習用データセットを用いて、オブジェクトに関する学習済みモデルを生成する学習システムであって、前記第１画像データは、前記オブジェクトを示す画素領域を含み、
前記学習システムは、前記第１画像データから前記第１画像データにおける所定の特徴が維持されるように前記オブジェクトの形状を変形した第２画像データに対して、前記オブジェクトの特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力し、
前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含み、
前記第２画像データは、前記第１画像データから、前記オブジェクトの形状を、前記線状の特徴に沿った２つ以上の仮想線が並ぶ並び方向に沿って変形して生成される、
学習システム。

【請求項24】

認識対象となるオブジェクトにおける特定状態に関する推定を行う推定システムであって、
前記推定システムは、前記オブジェクトを示す画素領域を含む第１画像データから、前記第１画像データにおける所定の特徴が維持されるように前記オブジェクトの形状を変形した第２画像データに対して、前記オブジェクトの前記特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力し、
前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含み、
前記第２画像データは、前記第１画像データから、前記オブジェクトの形状を、前記線状の特徴に沿った１つ以上の仮想線に沿って変形して生成される、
推定システム。

【請求項25】

認識対象となるオブジェクトにおける特定状態に関する推定を行う推定システムであって、
前記推定システムは、前記オブジェクトを示す画素領域を含む第１画像データから、前記第１画像データにおける所定の特徴が維持されるように前記オブジェクトの形状を変形した第２画像データに対して、前記オブジェクトの前記特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力し、
前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含み、
前記第２画像データは、前記第１画像データから、前記オブジェクトの形状を、前記線状の特徴に沿った２つ以上の仮想線が並ぶ並び方向に沿って変形して生成される、
推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、データ作成システム、学習システム、推定システム、処理装置、データ作成方法、及びプログラムに関する。より詳細には本開示は、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる画像データを作成するデータ作成システム、当該学習済みモデルを生成する学習システム、当該学習済みモデルを用いる推定システムに関する。また本開示は、当該データ作成システムに用いられる処理装置に関する。また本開示は、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる画像データを作成するデータ作成方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、Ｘ線画像物体認識システムが開示されている。このＸ線画像物体認識システムでは、学習ネットワークが物体のＸ線画像と正解ラベルとを含む学習セットを用いて機械学習を行う。また特許文献１には、学習データが少ない場合、学習データを増やす処理として、元画像に対して移動、回転、拡大・縮小、反転等を加えることによって画像数を擬似的に増やすデータ拡張（Data augmentation）を行うことが開示されている。

【0003】

さらに特許文献１には、元画像に対して移動、回転、拡大・縮小、反転等のデータ拡張を行うと、実際にはあり得ないシーンの画像が作成され、意図しない学習が行われて、推論時には、物体の認識性能が低下することについて開示されている。そこで、このＸ線画像物体認識システムでは、データ拡張を行う際のパラメータ（Ｘ線画像の縮小・拡大率、シフト量、回転角のうちの少なくとも１つ）を適切に設定することにより、意図しないデータ拡張が行われるのを回避する。

【0004】

特許文献１のＸ線画像物体認識システムでは、単にＸ線画像の縮小・拡大率、シフト量、及び回転角のパラメータを設定するだけである。そのため、物体（オブジェクト）によっては依然として実際にはあり得ない画像が作成される可能性があり、結果的に、推論フェーズにおいてオブジェクトに関する認識性能が低下し得る。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２０－１４７９９号公報

【発明の概要】

【0006】

本開示は上記事由に鑑みてなされ、オブジェクトに関する認識性能の低下の抑制を図ることができる、データ作成システム、学習システム、推定システム、処理装置、データ作成方法、及びプログラムを提供することを目的とする。

【0007】

本開示の一態様のデータ作成システムは、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成する。前記データ作成システムは、前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトの形状を変形した前記第２画像データを生成する変形部を備える。前記変形部は、前記オブジェクトの形状の変形前後で前記第１画像データにおける所定の特徴が維持されるように、前記第２画像データを生成する。前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含む。前記変形部は、前記オブジェクトの形状を、前記線状の特徴に沿った１つ以上の仮想線に沿って変形した前記第２画像データを生成する。
本開示の一態様のデータ作成システムは、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成する。前記データ作成システムは、前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトの形状を変形した前記第２画像データを生成する変形部を備える。前記変形部は、前記オブジェクトの形状の変形前後で前記第１画像データにおける所定の特徴が維持されるように、前記第２画像データを生成する。前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含む。前記変形部は、前記オブジェクトの形状を、前記線状の特徴に沿った２つ以上の仮想線が並ぶ並び方向に沿って変形した前記第２画像データを生成する。
本開示の一態様のデータ作成システムは、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成する。前記データ作成システムは、前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトの形状を変形した前記第２画像データを生成する変形部と、所定の特徴に関する情報を取得する取得部と、を備える。前記変形部は、前記取得部で取得した前記情報に基づいて、前記オブジェクトの形状の変形前後で前記第１画像データにおける前記所定の特徴が維持されるように、前記第２画像データを生成する。前記取得部は、表示部により画面表示される前記第１画像データに対して、ユーザが操作部を用いて特定した情報を、前記所定の特徴に関する前記情報として取得する。

【0008】

本開示の一態様の学習システムは、上記のデータ作成システムで作成された前記第２画像データとしての前記学習用データを含む学習用データセットを用いて、前記学習済みモデルを生成する。

【0009】

本開示の一態様の推定システムは、上記の学習システムで生成された前記学習済みモデルを用いて、認識対象となる前記オブジェクトにおける特定状態に関する推定を行う。

【0010】

本開示の一態様の処理装置は、前記データ作成システムにおいて前記所定の特徴に関する情報を取得する取得部を有する第１処理装置と前記変形部を有する第２処理装置とのうちの、前記第１処理装置である。

【0011】

本開示の一態様の処理装置は、前記データ作成システムにおいて前記所定の特徴に関する情報を取得する取得部を有する第１処理装置と前記変形部を有する第２処理装置とのうちの、前記第２処理装置である。

【0012】

本開示の一態様の学習システムは、第１画像データを学習用データとして含む学習用データセットを用いて、オブジェクトに関する学習済みモデルを生成する学習システムである。前記第１画像データは、前記オブジェクトを示す画素領域を含む。前記学習システムは、第２画像データに対して、前記オブジェクトの特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力する。前記第２画像データは、前記第１画像データから前記第１画像データにおける所定の特徴が維持されるように前記オブジェクトの形状を変形した画像データである。前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含む。前記第２画像データは、前記第１画像データから、前記オブジェクトの形状を、前記線状の特徴に沿った１つ以上の仮想線に沿って変形して生成される。
本開示の一態様の学習システムは、第１画像データを学習用データとして含む学習用データセットを用いて、オブジェクトに関する学習済みモデルを生成する学習システムである。前記第１画像データは、前記オブジェクトを示す画素領域を含む。前記学習システムは、第２画像データに対して、前記オブジェクトの特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力する。前記第２画像データは、前記第１画像データから前記第１画像データにおける所定の特徴が維持されるように前記オブジェクトの形状を変形した画像データである。前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含む。前記第２画像データは、前記第１画像データから、前記オブジェクトの形状を、前記線状の特徴に沿った２つ以上の仮想線が並ぶ並び方向に沿って変形して生成される。

【0013】

本開示の一態様の推定システムは、認識対象となるオブジェクトにおける特定状態に関する推定を行う推定システムである。前記推定システムは、第２画像データに対して、前記オブジェクトの特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力する。前記第２画像データは、前記オブジェクトを示す画素領域を含む第１画像データから、前記第１画像データにおける所定の特徴が維持されるように前記オブジェクトの形状を変形した画像データである。前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含む。前記第２画像データは、前記第１画像データから、前記オブジェクトの形状を、前記線状の特徴に沿った１つ以上の仮想線に沿って変形して生成される。
本開示の一態様の推定システムは、認識対象となるオブジェクトにおける特定状態に関する推定を行う推定システムである。前記推定システムは、第２画像データに対して、前記オブジェクトの特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力する。前記第２画像データは、前記オブジェクトを示す画素領域を含む第１画像データから、前記第１画像データにおける所定の特徴が維持されるように前記オブジェクトの形状を変形した画像データである。前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含む。前記第２画像データは、前記第１画像データから、前記オブジェクトの形状を、前記線状の特徴に沿った２つ以上の仮想線が並ぶ並び方向に沿って変形して生成される。

【0014】

本開示の一態様のデータ作成方法は、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成方法である。前記データ作成方法は、前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトの形状を変形した前記第２画像データを生成する変形ステップを含む。前記変形ステップでは、前記オブジェクトの形状の変形前後で前記第１画像データにおける所定の特徴が維持されるように、前記第２画像データを生成する。前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含む。前記変形ステップでは、前記オブジェクトの形状を、前記線状の特徴に沿った１つ以上の仮想線に沿って変形した前記第２画像データを生成する。
本開示の一態様のデータ作成方法は、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成方法である。前記データ作成方法は、前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトの形状を変形した前記第２画像データを生成する変形ステップを含む。前記変形ステップでは、前記オブジェクトの形状の変形前後で前記第１画像データにおける所定の特徴が維持されるように、前記第２画像データを生成する。前記所定の特徴は、前記第１画像データに含まれる少なくとも１つの線状の特徴を含む。前記変形ステップでは、前記オブジェクトの形状を、前記線状の特徴に沿った２つ以上の仮想線が並ぶ並び方向に沿って変形した前記第２画像データを生成する。
本開示の一態様のデータ作成方法は、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成方法である。前記データ作成方法は、前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトの形状を変形した前記第２画像データを生成する変形ステップと、所定の特徴に関する情報を取得する取得ステップと、を含む。前記変形ステップでは、前記取得ステップで取得した前記情報に基づいて、前記オブジェクトの形状の変形前後で前記第１画像データにおける前記所定の特徴が維持されるように、前記第２画像データを生成する。前記取得ステップでは、表示部により画面表示される前記第１画像データに対して、ユーザが操作部を用いて特定した情報を、前記所定の特徴に関する前記情報として取得する。

【0015】

本開示の一態様のプログラムは、１以上のプロセッサに、上記のデータ作成方法を実行させるためのプログラムである。

【図面の簡単な説明】

【0016】

【図1】図１は、一実施形態に係るデータ作成システムを備える評価システム全体の概略ブロック構成図である。

【図2】図２Ａ及び図２Ｂは、同上のデータ作成システムに入力される第１画像データの平面図である。

【図3】図３Ａ及び図３Ｂは、同上のデータ作成システムにおける変形部による変形処理を説明するための概念図である。

【図4】図４は、同上のデータ作成システムにおける変形部により生成された第２画像データの平面図である。

【図5】図５は、同上のデータ作成システムの動作を説明するためのフローチャート図である。

【図6】図６は、同上のデータ作成システムにおける変形例１に入力される第１画像データの平面図である。

【図7】図７Ａ～図７Ｃは、同上の変形例１における変形部による変形処理を説明するための概念図である。

【図8】図８Ａは、同上のデータ作成システムにおける変形例２に入力される第１画像データの平面図である。図８Ｂは、外部から指定される入力データの模式図である。図８Ｃは、同上の変形例２における変形部により生成された第２画像データの平面図である。

【図9】図９は、同上のデータ作成システムにおける変形例３の概略ブロック構成図である。

【発明を実施するための形態】

【0017】

（１）概要
以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。

【0018】

本実施形態に係るデータ作成システム１は、図１に示すように、第１画像データＤ１１から、オブジェクト４（図２Ａ及び図２Ｂ参照）に関する学習済みモデルＭ１を生成するための学習用データとして用いられる第２画像データＤ１２を作成する。つまり、第２画像データＤ１２は、モデルを機械学習するために用いられる学習用データである。本開示でいう「モデル」は、認識対象（オブジェクト４）に関するデータが入力されると、認識対象がどのような状態にあるかを推定し、推定結果（認識結果）を出力するプログラムである。「学習済みモデル」は、学習用データを用いた機械学習が完了したモデルをいう。また「学習用データ（セット）」は、モデルに入力される入力情報（画像データＤ１）と、入力情報に付与されたラベルと、を組み合わせたデータセットであり、いわゆる教師データである。つまり、本実施形態では、学習済みモデルＭ１は、教師あり学習による機械学習が完了したモデルである。

【0019】

本実施形態では一例として、認識対象であるオブジェクト４は、図２Ａ及び図２Ｂに示すように、ビードＢ１０である。ビードＢ１０は、金属の溶接材Ｂ１３を用いて２以上の母材（ここでは第１金属板Ｂ１１及び第２金属板Ｂ１２）を溶接した際に、第１金属板Ｂ１１及び第２金属板Ｂ１２の境目Ｂ１４（溶接箇所）に形成される。ビードＢ１０の大きさ及び形状は、主に溶接材Ｂ１３に依存する。したがって、学習済みモデルＭ１は、ビードＢ１０を含む認識対象画像データＤ３が入力されると、ビードＢ１０の状態（特定状態）を推定し、推定結果を出力する。具体的には、学習済みモデルＭ１は、推定結果として、ビードＢ１０が良品であるか不良品であるか、不良品である場合は不良の種類を出力する。つまり、学習済みモデルＭ１は、ビードＢ１０が良品であるか否か、言い換えれば、溶接が正しく行われたか否かを検査する溶接外観検査のために用いられる。

【0020】

ビードＢ１０が良品であるか否かは、一例として、ビードＢ１０の長さ、ビードＢ１０の高さ、ビードＢ１０の立ち上がりの角度、ビードＢ１０ののど厚、ビードＢ１０の余盛、及びビードＢ１０の溶接箇所の位置ずれ（ビードＢ１０の始端のずれを含む）が許容範囲に収まっているか否かにより判定される。例えば、上記に列挙した条件のうち１つでも許容範囲に収まっていなければ、ビードＢ１０が不良品であると判定される。また、ビードＢ１０が良品であるか否かは、一例として、ビードＢ１０のアンダーカットの有無、ビードＢ１０のピットの有無、ビードＢ１０のスパッタの有無、及びビードＢ１０の突起の有無等に基づいて判定される。例えば、上記に列挙した不良部分のうち１つでも発生した場合、ビードＢ１０が不良品であると判定される。

【0021】

ところで、モデルの機械学習を行うためには、認識対象の不良品を含む多数の画像データを学習用データとして用意する必要がある。しかしながら、認識対象の不良品が発生する頻度が少ない場合、認識率の高い学習済みモデルＭ１を生成するために必要な学習用データが不足しがちである。そこで、実際にビードＢ１０を撮像装置（ラインセンサカメラ６）により撮像することで得られる学習用データ（以下、「第１画像データＤ１１」又は「オリジナル学習用データ」と呼ぶ）についてデータ拡張（Data Augmentation）処理を実行することにより、学習用データの数を増やしてモデルの機械学習を行うことが考えられる。データ拡張処理は、学習用データに対して平行移動、拡大・縮小、回転、反転、又はノイズの付与等の処理（変換処理）を加えることで、学習用データを水増しする処理をいう。

【0022】

第１画像データＤ１１は、例えば、距離画像データである。ここで、オリジナルの第１画像データＤ１１には、距離画像センサを含む撮像装置（ラインセンサカメラ６）のスキャニング動作時における性能に応じて、多数の薄い直線状のスジ７（図２Ａ及び図２Ｂ等）が入り得る。図２Ａ及び図２Ｂ等の図面では、説明の便宜上、スジ７の方向性が分かりやすいように、多数存在するスジ７のうち、いくつかのスジ７だけ実線で模式的に示しているが、厳密にスジ７の位置や本数を規定する趣旨ではない。

【0023】

このような「スジ」は、例えば、ラインセンサカメラ６を保持する多軸ロボットの手先のブレにより生じ得る。ラインセンサカメラ６が、撮像対象物に対してある一ラインのスキャニングを実行し、次のラインのスキャニングに移った際に、上記ブレにより、撮像対象物までの距離に若干の差が生じる。その結果、これらのスキャニングのライン（スキャンライン）間の境界において、「スジ」が、画像データ内で（距離画像センサからオブジェクト４までの距離に応じた）画素値の差として浮かび出る。各スキャンラインの幅は、ロボットの送り方向の分解能等に依存するが、例えばコンマ数ｍｍである。

【0024】

そして、データ拡張処理で、多数の薄い直線状のスジ７が存在する第１画像データＤ１１について、オブジェクト４の形状の変形を行うと、直線状のスジ７も意図しない歪な形に変わり得る。結果的に、歪な形のスジ７を反映した学習済みモデルが作成される可能性がある。しかし、実際に入力され得る認識対象画像データＤ３には、歪な形のスジ７は存在せず、推論時に、オブジェクト４に関する認識性能が低下してしまう可能性がある。

【0025】

本実施形態のデータ作成システム１は、図１に示すように、オブジェクト４を示す画素領域Ｒ１（図２Ａ参照）を含む第１画像データＤ１１から、オブジェクト４の形状を変形した第２画像データＤ１２を生成する変形部１２を備える。変形部１２は、オブジェクト４の形状の変形前後で第１画像データＤ１１における所定の特徴が維持されるように、第２画像データＤ１２を生成する。

【0026】

ここでは一例として、所定の特徴は、第１画像データＤ１１に含まれる少なくとも１つの線状の特徴５を含む。特にここでは、線状の特徴５は、直線状の特徴５１を含み、隣り合う２つのスキャンライン間の境界に関する直線状のスジ７が、上記の直線状の特徴５１に相当する。

【0027】

要するに、第１画像データＤ１１は、例えばオブジェクト４の輪郭等の変形後でも実際に存在し得る領域と、変形してしまうと実際には存在し得ない領域とを含んでおり、上記の直線状のスジ７は、後者に該当する一例である。

【0028】

本実施形態では、オブジェクト４の形状の変形前後で所定の特徴が維持されるので、実際に存在し得る画像データにより近い形で、疑似的にデータ作成（例えばデータ拡張）を行うことができる。結果的に、オブジェクト４に関する認識性能の低下の抑制を図ることができる。

【0029】

また本実施形態に係る学習システム２（図１参照）は、データ作成システム１で作成された第２画像データＤ１２としての学習用データを含む学習用データセットを用いて、学習済みモデルＭ１を生成する。したがって、オブジェクト４に関する認識性能の低下の抑制を図ることが可能な学習システム２を提供できる。学習済みモデルＭ１を生成するための学習用データは、第２画像データＤ１２（拡張データ）だけでなく、オリジナルの第１画像データＤ１１も含み得る。言い換えると、本実施形態における画像データＤ１は、少なくとも第２画像データＤ１２を含み、第１画像データＤ１１及び第２画像データＤ１２の両方を含み得る。

【0030】

また本実施形態に係る推定システム３（図１参照）は、学習システム２で生成された学習済みモデルＭ１を用いて、認識対象となるオブジェクト４（ここでは一例としてビードＢ１０）における特定状態に関する推定を行う。したがって、オブジェクト４に関する認識性能の低下の抑制を図ることが可能な推定システム３を提供できる。

【0031】

また本実施形態に係るデータ作成方法は、第１画像データＤ１１から、オブジェクト４に関する学習済みモデルＭ１を生成するための学習用データとして用いられる第２画像データＤ１２を作成するデータ作成方法である。データ作成方法は、オブジェクト４を示す画素領域Ｒ１を含む第１画像データＤ１１から、オブジェクト４の形状を変形した第２画像データＤ１２を生成する変形ステップを含む。変形ステップでは、オブジェクト４の形状の変形前後で第１画像データＤ１１における所定の特徴が維持されるように、第２画像データＤ１２を生成する。この構成によれば、オブジェクト４に関する認識性能の低下の抑制を図ることが可能なデータ作成方法を提供できる。データ作成方法は、コンピュータシステム（データ作成システム１）上で用いられる。つまり、データ作成方法は、プログラムでも具現化可能である。本実施形態に係るプログラムは、本実施形態に係るデータ作成方法を、１以上のプロセッサに実行させるためのプログラムである。

【0032】

（２）詳細
以下、本実施形態に係るデータ作成システム１を備える全体のシステム（以下、「評価システム１００」と呼ぶ）について、図１～図５を参照しながら詳しく説明する。

【0033】

（２．１）全体構成
評価システム１００は、図１に示すように、データ作成システム１と、学習システム２と、推定システム３と、１又は複数台のラインセンサカメラ６（図１では１台のみ図示）とを備える。

【0034】

データ作成システム１、学習システム２、及び推定システム３は、サーバ等から構築されることを想定する。ここでいう「サーバ」は、１台のサーバ装置から構成されることを想定する。つまり、データ作成システム１、学習システム２、及び推定システム３の主な機能が、１台のサーバ装置に設けられていることを想定する。

【0035】

ただし、「サーバ」は、複数台のサーバ装置から構成されてもよい。具体的には、データ作成システム１、学習システム２、及び推定システム３の機能が、それぞれ個別のサーバ装置に設けられてもよいし、これらのうちの２つのシステムが１台のサーバ装置に設けられてもよい。またそのようなサーバ装置が、例えばクラウド（クラウドコンピューティング）を構築してもよい。

【0036】

またサーバ装置は、溶接現場となる工場内に設置されてもよいし、工場の外部（例えば事業本部）に設置されてもよい。データ作成システム１、学習システム２、及び推定システム３の機能がそれぞれ個別のサーバ装置に設けられている場合、各サーバ装置は、他のサーバ装置と通信可能に接続されていることが望ましい。

【0037】

データ作成システム１は、オブジェクト４に関する学習済みモデルＭ１を生成するための学習用データとして用いられる画像データＤ１を作成するように構成される。本開示でいう「学習用データの作成」は、オリジナル学習用データとは別に新しい学習用データを生成することの他に、オリジナル学習用データを更新することにより新しい学習用データを生成することを含み得る。

【0038】

ここでいう学習済みモデルＭ１は、例えばニューラルネットワークを用いたモデル、又は多層ニューラルネットワークを用いた深層学習（ディープラーニング）により生成されるモデルを含み得る。ニューラルネットワークは、例えばＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）、又はＢＮＮ（Bayesian Neural Network：ベイズニューラルネットワーク）等を含み得る。学習済みモデルＭ１は、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-Programmable Gate Array）等の集積回路に、学習済みのニューラルネットワークを実装することで実現されている。学習済みモデルＭ１は、ディープラーニングにより生成されるモデルに限定されない。学習済みモデルＭ１は、サポートベクターマシン、又は決定木等により生成されるモデルでもよい。

【0039】

ここでは、データ作成システム１は、上述の通り、オリジナル学習用データ（第１画像データＤ１１）に対してデータ拡張処理を実行して、学習用データを水増しする機能を有している。以下では、データ作成システム１を備える評価システム１００を利用する者を、単に「ユーザ」と呼ぶことがある。ユーザは、例えば、工場内で溶接工程等の製造工程を監視するオペレータ、又は管理責任者等に相当し得る。

【0040】

データ作成システム１は、図１に示すように、処理部１０と、通信部１３と、表示部１４と、操作部１５とを備える。

【0041】

図１の例では、学習用データ（画像データＤ１）を格納（記憶）するための格納部がデータ作成システム１の外部に設けられている。ただし、データ作成システム１が格納部を更に備えてもよく、その場合、格納部は処理部１０が内蔵するメモリでもよい。画像データＤ１を格納する格納部は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能な不揮発性メモリを含む。

【0042】

データ作成システム１の一部の機能は、サーバと通信可能な情報端末に分散的に設けられてもよい。本開示でいう「情報端末」は、パーソナルコンピュータ（ノートパソコン又は据置型のパソコン）、スマートフォンやタブレット端末等の携帯型の端末等を含み得る。ここでは、表示部１４及び操作部１５の機能が、ユーザが使用する情報端末に設けられている。情報端末には、サーバと通信するための専用のアプリケーションソフトが予めインストールされる。

【0043】

処理部１０は、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（アプリケーション）を実行することで、処理部１０として機能する。プログラムは、ここでは処理部１０のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

【0044】

処理部１０は、通信部１３、表示部１４、及び操作部１５に関する制御処理を実行する。処理部１０の機能は、サーバにあることを想定する。また処理部１０は、画像処理を実行する機能を有しており、図１に示すように、取得部１１と、変形部１２とを有している。取得部１１及び変形部１２の詳細については、次の欄で説明する。

【0045】

表示部１４は、液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイを構成する。表示部１４は、上述の通り、情報端末に設けられている。表示部１４は、タッチパネル式のディスプレイでもよい。表示部１４は、第１画像データＤ１１及び第２画像データＤ１２に関する情報を表示（出力）する。表示部１４は、第１画像データＤ１１及び第２画像データＤ１２以外にも、学習用データの生成に関連する種々の情報を表示する。

【0046】

通信部１３は、１又は複数台のラインセンサカメラ６と直接的に、或いは生産管理システムの機能を有した別サーバ等を介して間接的に通信するための通信インタフェースである。通信部１３の機能は、処理部１０と同じサーバにあることを想定するが、例えば情報端末に設けられてもよい。通信部１３は、ラインセンサカメラ６から、オリジナル学習用データである第１画像データＤ１１を受信する。

【0047】

第１画像データＤ１１は、上述の通り、一例として距離画像データであり、オブジェクト４を示す画素領域Ｒ１を含む。ただし、第１画像データＤ１１は、輝度画像データでもよい。上述の通り、オブジェクト４は、溶接材Ｂ１３を用いて第１金属板Ｂ１１及び第２金属板Ｂ１２を溶接した際に、第１金属板Ｂ１１及び第２金属板Ｂ１２の境目Ｂ１４に形成されるビードＢ１０である。すなわち、第１画像データＤ１１は、ラインセンサカメラ６の距離画像センサで撮像された、ビードＢ１０を示す画素領域Ｒ１を含むデータである。

【0048】

ラインセンサカメラ６で撮像されたオブジェクト４に関する大量の画像データの中からの、データ拡張処理を適用する対象となる第１画像データＤ１１の選別は、例えば、ユーザからの指示に応じて行われる。評価システム１００は、選別に関する指示を受け付けるユーザインタフェース（操作部１５でもよい）を備えることが好ましい。

【0049】

操作部１５は、マウス、キーボード、及びポインティングデバイス等を含む。操作部１５は、上述の通り、例えばユーザが使用する情報端末に設けられている。表示部１４が、情報端末のタッチパネル式のディスプレイである場合、操作部１５の機能を兼ねてもよい。

【0050】

学習システム２は、データ作成システム１で作成された複数の画像データＤ１（第２画像データＤ１２を複数含む）を含む学習用データセットを用いて、学習済みモデルＭ１を生成する。学習用データセットは、複数の画像データＤ１に対して「良品」又は「不良品」、さらに不良品の場合には不良の種類及び不良の位置を示すラベルを付与することで生成される。不良の種類は、アンダーカット、ピット、又はスパッタ等である。ラベルの付与に関する作業は、ユーザによって操作部１５等のユーザインタフェースを介して評価システム１００に対して行われる。一変形例において、ラベルの付与に関する作業は、画像データＤ１に対してラベルを付与するための機能を有する学習済みモデルによって、行われてもよい。学習システム２は、学習用データセットを用いて、オブジェクト４（ビードＢ１０）の状態（良状態、不良状態、不良の種類、及び不良の位置等）を機械学習することにより、学習済みモデルＭ１を生成する。

【0051】

学習システム２は、新たに取得した学習用データを含む学習用データセットを用いて再学習を行うことで、学習済みモデルＭ１の性能の向上を図ってよい。例えばオブジェクト４（ビードＢ１０）に新しい種類の不良が見つかれば、学習システム２に、新しい不良に関する再学習を行わせることも可能である。

【0052】

推定システム３は、学習システム２で生成された学習済みモデルＭ１を用いて、認識対象となるオブジェクト４における特定状態（良状態、不良状態、不良の種類、不良の位置）に関する推定を行う。推定システム３は、１又は複数台のラインセンサカメラ６と直接的に、或いは生産管理システムの機能を有した別サーバ等を介して間接的に通信可能に構成される。推定システム３は、実際に溶接工程を終えて形成されたビードＢ１０がラインセンサカメラ６で撮像された認識対象画像データＤ３を受信する。

【0053】

推定システム３は、学習済みモデルＭ１を用いて、認識対象画像データＤ３に写るオブジェクト４が「良品」又は「不良品」のどちらであるか、さらに不良品の場合、どの種類の不良であるか、不良がどの位置にあるかを推定する。推定システム３は、認識対象画像データＤ３に対する認識結果（推定結果）を、ユーザが利用する情報端末、又は生産管理システム等に出力する。ユーザは、情報端末を通じて、推定結果を確認できる。また生産管理システムが、推定結果を取得して「不良品」と推定された溶接部品については、次の工程に搬送される前に、破棄するように生産設備を制御してもよい。

【0054】

（２．２）データ拡張処理
処理部１０は、データ拡張処理として「変形処理」を実行する機能を有している。具体的には、処理部１０は、図１に示すように、取得部１１と、変形部１２とを有している。

【0055】

取得部１１は、所定の特徴に関する情報（以下では、「維持情報」と呼ぶ）を取得するように構成される。ここでは一例として、所定の特徴は、第１画像データＤ１１（図２Ａ参照）に含まれる少なくとも１つの線状の特徴５を含み、さらに線状の特徴５は、直線状の特徴５１を含む。上述の通り、隣り合う２つのスキャンライン間の境界に関する直線状のスジ７が、直線状の特徴５１に相当する。つまり、直線状の特徴５１とは、オブジェクト４を撮像したラインセンサカメラ６に依存して第１画像データＤ１１上における複数のスキャンライン間の境界に関する特徴である。

【0056】

図２Ａでは、第１金属板Ｂ１１及び第２金属板Ｂ１２は、Ｘ軸（横方向）に沿って並んでいて、ビードＢ１０は、Ｙ軸（縦方向）に沿って長尺に形成されている。図２Ａでは、多数の直線状のスジ７が、Ｘ軸に沿って延びている。つまり、本実施形態では一例として、所定の特徴は、複数の線状の特徴５を含み、特に複数の直線状の特徴５１を含む。複数の線状の特徴５は、互いに線形性について相関がある。ここでは、複数の直線状の特徴５１は、互いに略平行な線形性を有する。

【0057】

取得部１１は、ユーザにより操作部１５を介して実行された操作入力に応じて、維持情報を取得する。ユーザは、例えば、表示部１４により画面表示される第１画像データＤ１１を目視で確認し、スキャンラインに起因して発生している多数の直線状のスジ７の方向及び位置等を特定する。ユーザは、操作部１５を用いて、スジ７の方向（例えばＸ軸に対する傾き等）を指定するための操作入力を実行する。すなわち、維持情報は、スジ７の方向（この場合、Ｘ軸に沿った方向）を指定する情報を含む。維持情報は、スジ７の線形を表す関数データを含んでもよい。或いは維持情報は、維持すべき１又は複数のスジ７の画素領域の位置座標を直接指定する情報を含んでもよい。スジ７の直接指定を行う場合の一具体例では、まず、スジ７に含まれる２点を、ユーザがマウスポインタで特定してマウスをクリックすることで、指定する。取得部１１は、指定された２点を通る直線を算出し、算出した直線を第１画像データＤ１１に重畳させる。表示部１４は、直線が重畳された第１画像データＤ１１と、終了ボタンとを、表示する。ユーザは、表示された直線を確認し、問題がなければ、マウスポインタで終了ボタンを選択してマウスをクリックする。取得部１１は、算出した直線を、維持情報として取得する。これにより、ユーザは、維持すべきスジ７を直接指定することができる。

【0058】

処理部１０は、第１画像データＤ１１から、スジ７の画素領域（スジ７に関する特徴量）を自動的に抽出する抽出部の機能を有してもよい。抽出部は、例えば、スジ７を特定するための情報を処理部１０のメモリ等に記憶し、その情報を用いて、第１画像データＤ１１から維持情報を自動的に抽出する。その場合、取得部１１は、抽出部から維持情報を取得する。この構成の場合、ユーザがスジ７の方向等を指定する手間が省ける。

【0059】

変形部１２は、第１画像データＤ１１から、オブジェクト４（ビードＢ１０）の形状を変形した第２画像データＤ１２を生成するように構成される。つまり、第１画像データＤ１１のビードＢ１０の形状を画像加工（射影変換又はアフィン変換等の画像処理）により変形して、第２画像データＤ１２が生成される。変形部１２は、オブジェクト４の形状の変形前後で第１画像データＤ１１における所定の特徴が維持されるように、第２画像データＤ１２を生成する。変形部１２は、取得部１１で取得した維持情報に基づいて第２画像データＤ１２を生成する。

【0060】

ここでは変形部１２は、取得部１１で取得した維持情報に基づき、直線状の特徴５１が維持されるように、ビードＢ１０の形状を変形する（変形処理）。

【0061】

次に変形処理についてより具体的に説明する。変形部１２は、図２Ｂに示すように、第１画像データＤ１１上に複数の仮想線Ｌ１（直線）と複数の基準点Ｐ１とを設定し、その設定後に、以下の２種類の変形（第１変形及び第２変形）を実行するように構成される。つまり、変形部１２は、仮想線（後述する第２線Ｌ１２）上に複数の基準点Ｐ１を設定し、複数の基準点Ｐ１の少なくとも１つの基準点Ｐ１を移動させることにより、オブジェクト４の形状の変形を行う。

【0062】

複数の仮想線Ｌ１は、各々がＹ軸に平行な一対の第１線Ｌ１１と、各々がＸ軸に平行な８本の第２線Ｌ１２と、を含む。変形部１２は、８本の第２線Ｌ１２を、Ｙ軸に沿って等間隔に並ぶように設定する。ただし、仮想線Ｌ１の本数は、特に限定されない。Ｙ軸の方向に隣り合う２本の第２線Ｌ１２の間隔は、記憶部（例えば処理部１０のメモリ）に予め設定されてもよいし、ユーザからの操作部１５による指定に応じて設定変更されてもよい。間隔の設定変更に応じて、第２線Ｌ１２の本数も変更されてよい。以下では、説明の便宜上、８本の第２線Ｌ１２を、それぞれ、図２Ｂの上から順に第２線Ｌ１２１～１２８と呼ぶことがある。

【0063】

本実施形態の変形部１２は、維持情報（直線状の特徴５１）に基づき、スジ７の方向（この場合、Ｘ軸に沿った方向）に沿うように８本の第２線Ｌ１２の向きを設定する。

【0064】

ここでは、一対の第１線Ｌ１１と、８本の第２線Ｌ１２のうちＹ軸の方向の両端にある２本の第２線Ｌ１２１、Ｌ１２８とで、ビードＢ１０の周囲を囲むように設定する。以下、一対の第１線Ｌ１１と上記２本の第２線Ｌ１２１、Ｌ１２８とからなる矩形枠をバウンディングボックスＢＸ１（図２Ｂ参照）と呼ぶことがある。変形部１２は、画素値の差に基づき、ビードＢ１０の輪郭形状を特定する。変形部１２は、例えばエッジ検出処理等の画像処理によってビードＢ１０の輪郭形状を特定する。そして、変形部１２は、第２線Ｌ１２がスジ７の方向に沿うように、かつビードＢ１０の全体を囲むようにバウンディングボックスＢＸ１を規定する（図２Ｂ参照）。

【0065】

複数の基準点Ｐ１は、一対の第１線Ｌ１１と、８本の第２線Ｌ１２とがそれぞれ交わる交点に設定される合計１６つの第１点Ｐ１１と、８本の第２線Ｌ１２と、ビードＢ１０の輪郭とが交わる交点に設定される合計１６つの第２点Ｐ１２とを含む。ただし、第２線Ｌ１２１は、ビードＢ１０の輪郭との交点が存在しないため、第２線Ｌ１２１の第２点Ｐ１２は、第２線Ｌ１２２の第２点Ｐ１２と、Ｘ軸の方向において同じ位置に設定される。同様に、第２線Ｌ１２８は、ビードＢ１０の輪郭との交点が存在しないため、第２線Ｌ１２８の第２点Ｐ１２は、第２線Ｌ１２７の第２点Ｐ１２と、Ｘ軸の方向において同じ位置に設定される。

【0066】

本実施形態では一例として、変形部１２は、規定したバウンディングボックスＢＸ１からビードＢ１０の輪郭がはみ出ないように変形処理を実行する。

【0067】

第１変形は、図３Ａに示すように、隣り合う２つの第２線Ｌ１２間の距離が長く、或いは短くなるような、拡大／縮小変形である。図３Ａの例では、変形部１２は、第２線Ｌ１２１、Ｌ１２２間の距離を、図２Ｂよりも長くする、つまり第２線Ｌ１２１、Ｌ１２２間の範囲内のオブジェクト４の領域がＹ軸に沿って拡大するように変形する。変形部１２は、オブジェクト４の領域の拡大（引き延ばし）の際に線形補間等で適宜に画素の補間を行う。この場合、第２線Ｌ１２２は、当該線上の４つの基準点Ｐ１と共にＹ軸の正の側（下方）へ移動する。また図３Ａの例では、変形部１２は、第２線Ｌ１２２、Ｌ１２３間の距離を、図２Ｂよりも短くする、つまり第２線Ｌ１２２、Ｌ１２３間の範囲内のオブジェクト４の領域がＹ軸に沿って縮小するように変形する。この場合、第２線Ｌ１２３は、当該線上の４つの基準点Ｐ１と共にＹ軸の負の側（上方）へ移動する。

【0068】

他の第２線Ｌ１２について、図３Ａの例では、第２線Ｌ１２４は、当該線上の４つの基準点Ｐ１と共にＹ軸の負の側（上方）へ移動する。第２線Ｌ１２５、Ｌ１２６、及びＬ１２７は、各線上の４つの基準点Ｐ１と共にＹ軸の正の側（下方）へ移動する。

【0069】

言い換えると、変形部１２は、オブジェクト４の形状を、線状の特徴５に沿った２つ以上の仮想線（第２線Ｌ１２）が並ぶ並び方向Ａ１（Ｙ軸）に沿って変形した第２画像データＤ１２を生成する。そのため、線状の特徴５の線形性が維持される。

【0070】

どの程度の拡大／縮小を実行するかを指定するパラメータについては、記憶部（例えば処理部１０のメモリ）に予め設定されてもよいし、処理部１０が自動的にランダムで設定してもよいし、ユーザからの操作部１５による指定に応じて設定されてもよい。

【0071】

第２変形は、図３Ｂに示すように、各第２線Ｌ１２上にある４つの基準点Ｐ１のうち、少なくとも１つの基準点Ｐ１（ここでは一例としてビードＢ１０の輪郭との交点に設定される２つの第２点Ｐ１２）を当該第２線Ｌ１２上で移動させるような変形である。つまり、変形部１２は、オブジェクト４の形状を、線状の特徴５（ここでは直線状の特徴５１）に沿った１つ以上の仮想線（第２線Ｌ１２）に沿って変形した第２画像データＤ１２を生成する。したがって、第２変形は、線状の特徴５に沿った線形性が維持される変形である。第２変形は、例えば、一対の第１線Ｌ１１と８つの第２線Ｌ１２とで構成される７つの矩形領域に対して二次元射影変換を行って台形状に変形することで、線状の特徴５の線形性が維持される。

【0072】

図３Ｂの例では、変形部１２は、第２線Ｌ１２１、Ｌ１２２の各々の２つの第２点Ｐ１２が互いに近づく方向に移動する、つまり当該２つの第２点Ｐ１２間の範囲内のオブジェクト４の領域がＸ軸に沿って縮小するように変形する。

【0073】

また図３Ｂの例では、変形部１２は、第２線Ｌ１２３の２つの第２点Ｐ１２がいずれもＸ軸の負の側に移動する、つまり当該２つの第２点Ｐ１２間の範囲内のオブジェクト４の領域がＸ軸の負の側に移動するように変形する。

【0074】

また図３Ｂの例では、変形部１２は、第２線Ｌ１２４、Ｌ１２５の各々の２つの第２点Ｐ１２が互いに離れる方向に移動する、つまり当該２つの第２点Ｐ１２間の範囲内のオブジェクト４の領域がＸ軸に沿って拡大するように変形する。

【0075】

さらに図３Ｂの例では、変形部１２は、第２線Ｌ１２６～Ｌ１２８の各々の２つの第２点Ｐ１２がいずれもＸ軸の正の側に移動する、つまり当該２つの第２点Ｐ１２間の範囲内のオブジェクト４の領域がＸ軸の正の側に移動するように変形する。

【0076】

各基準点Ｐ１（第２点Ｐ１２）の、第２線Ｌ１２上における移動量は、記憶部（例えば処理部１０のメモリ）に予め設定されてもよいし、処理部１０が自動的にランダムで設定してもよいし、ユーザからの操作部１５による指定に応じて設定されてもよい。移動量には、上限値（例えば第２線Ｌ１２の長さの５０％等）が設定されていることが望ましい。

【0077】

図４は、第１変形、及び第２変形を経て作成された第２画像データＤ１２の平面図の一例を示す。

【0078】

本実施形態では、変形部１２は、仮想線（第２線Ｌ１２）上に設定された複数の基準点Ｐ１の並び順を維持しながら、少なくとも１つの基準点Ｐ１を移動させる。つまり、変形部１２は、例えば、ある第２線Ｌ１２上の２つの第２点Ｐ１２の一方が、他方を超えて反対側に移動したり、或いは第１点Ｐ１１を超えて反対側に移動したりすることがないように基準点Ｐ１を移動させる。複数の基準点Ｐ１の並び順を維持して変形を行うことで、第２画像データＤ１２が、実際に存在し得る画像データからかけ離れてしまうことを抑制できる。

【0079】

ここでは変形部１２は、第１変形及び第２変形の両方を行って第２画像データＤ１２を作成することを想定する。ただし、変形部１２は、第１変形及び第２変形の何れか一方のみを行ってもよい。また、変形部１２は、第１変形及び第２変形をこの順番に行うことを想定するが、処理の順番は特に限定されず、先に第２変形を行ってから第１変形を行ってもよい。データ作成システム１は、操作部１５等を通じて、第１変形及び第２変形のいずれを実行させるか、及び、第１変形及び第２変形の両方を実行させる場合、その処理の順番を設定できることが好ましい。

【0080】

変形部１２は、第１変形及び第２変形の少なくとも一方に加えて、回転又は反転等を行って第２画像データＤ１２を作成してもよい。

【0081】

第２画像データＤ１２に付与されるラベル（認識対象となるオブジェクト４における特定状態）としては、予め第１画像データＤ１１に付与されているラベル（オブジェクト４における特定状態）と同じものが用いられ得る。例えば、第１画像データＤ１１のラベル（オブジェクト４における特定状態）が「良品」である場合には、第２画像データＤ１２のラベル（オブジェクト４における特定状態）も良品となり得る。また、第１画像データＤ１１の特定の領域（オブジェクト４を示す画素領域）に対して特定状態が割り当てられている場合には、第２画像データＤ１２における変形後の特定の領域に対しても同じ特定状態が割り当てられ得る。例えば、第１画像データ１１の特定の領域の特定状態（不良の種類）がスパッタである場合には、第２画像データ１２における変形後の特定の領域の特定状態もスパッタとして扱い得る。

【0082】

（２．３）動作
以下、データ作成システム１の動作の一例について図５を参照しながら説明する。ただし、以下の動作の順序は単なる一例であり、特に限定されない。

【0083】

データ作成システム１の処理部１０は、データ拡張処理を実行するためにオリジナル学習用データである第１画像データＤ１１を取得する（Ｓ１）。第１画像データＤ１１は、例えば、「不良（状態）」に該当するビードＢ１０が撮像されたデータである。

【0084】

処理部１０は、第１画像データＤ１１内においてビードＢ１０を示す画素領域Ｒ１を特定して、バウンディングボックスＢＸ１を規定する（ビード領域の特定：Ｓ２）。そして、処理部１０は、バウンディングボックスＢＸ１に基づき複数の仮想線Ｌ１（第１線Ｌ１１、第２線Ｌ１２）を設定し、さらに各第２線Ｌ１２上に複数の基準点Ｐ１を設定する（Ｓ３）。

【0085】

処理部１０は、ビードＢ１０を示す画素領域Ｒ１に対して、複数の第２線Ｌ１２の並び方向Ａ１に沿って拡大／縮小変形する第１変形（処理）を実行する（Ｓ４）。

【0086】

さらに処理部１０は、第１変形を経た画素領域Ｒ１に対して、複数の第２線Ｌ１２上に設定された複数の基準点Ｐ１（第２点Ｐ１２）を第２線Ｌ１２に沿って移動させて変形する第２変形（処理）を実行する（Ｓ５）。

【0087】

第１変形及び第２変形を経て、第２画像データＤ１２（図４参照）が生成される。処理部１０は、生成した第２画像データＤ１２を出力する（Ｓ６）。第２画像データＤ１２は、学習用データ（画像データＤ１）として、オリジナルの第１画像データＤ１１と同じ「不良」のラベルが付与されて格納部に格納される。

【0088】

［利点］
上述した通り、本実施形態に係るデータ作成システム１では、オブジェクト４の形状の変形前後で、所定の特徴である直線状の特徴５１（スキャンラインによるスジ７）が維持される。そのため、変形後の第２画像データＤ１２は、あたかも実際にラインセンサカメラ６で撮像したような、直線状の特徴５１（スジ７）が維持された上で、オブジェクト４（ビードＢ１０）に関するデータ作成（例えばデータ拡張）が行える。

【0089】

もし仮に直線状の特徴５１（スジ７）を維持せずにオブジェクト４の形状の変形を行えば、直線状の特徴５１の線形性が崩れた状態となって画像データ内に残り、そのような画像は、実際にラインセンサカメラ６で撮像した認識対象画像データＤ３には存在し得ない。

【0090】

これに対して、本実施形態に係るデータ作成システム１では、実際に存在し得る画像データにより近い形で疑似的にデータ作成を行うことができる。このような第２画像データＤ１２を学習用データに用いて生成された学習済みモデルＭ１で、認識対象画像データＤ３におけるオブジェクト４の状態を推定すれば、直線状の特徴５１の線形性の崩れに起因したオブジェクト４の状態の誤認識が発生しにくくなる。結果的に、オブジェクト４に関する認識性能の低下の抑制を図ることができる。

【0091】

また直線状の特徴５１の線形性を維持しながらも、多様な学習用データを用意できる。具体的には、直線状の特徴５１の線形性を維持しながらも、良品の形状を変えたり、不良品の形状を変えたりした学習用データを用意できる。

【0092】

またデータ作成システム１は、所定の特徴に関する情報を取得する取得部１１を備えるので、例えば外部から指定された所定の特徴に基づき、第２画像データＤ１２の生成が行える。そのため、ユーザの利便性が向上される。特に、所定の特徴が、直線状の特徴５１（スジ７）である場合、スジ７が、各溶接現場に設置されるラインセンサカメラ６及びこれを支持する多軸ロボットの送り方向の分解能によって異なり得る。そのため、実際にデータ作成システム１を利用するユーザが、操作部１５等を通じて所定の特徴を指定できるように構成されることが好ましい。

【0093】

また本実施形態では、変形部１２は、オブジェクト４の形状を、線状の特徴５に沿った１つ以上の第２線Ｌ１２に沿って変形する。そのため、実際に存在し得る画像データに更に近い形で、多様なデータ作成を行うことができる。

【0094】

また本実施形態では、変形部１２は、オブジェクト４の形状を、線状の特徴５に沿った２つ以上の第２線Ｌ１２が並ぶ並び方向Ａ１に沿って変形する。そのため、実際に存在し得る画像データに更に近い形で、多様なデータ作成を行うことができる。

【0095】

特に本実施形態では、直線状の特徴５１とは、ラインセンサカメラ６に依存して第１画像データＤ１１上における複数のスキャンライン間の境界に関する特徴（薄いスジ７）である。そのため、複数のスキャンライン間の境界の変形が原因で実際に存在し得る画像データからかけ離れてしまうことを抑制できる。

【0096】

（３）変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係るデータ作成システム１と同様の機能は、データ作成方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。

【0097】

以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。以下では、上記実施形態を「基本例」と呼ぶこともある。

【0098】

本開示におけるデータ作成システム１は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示におけるデータ作成システム１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。

【0099】

また、データ作成システム１における複数の機能が、１つのハウジング内に集約されていることは必須の構成ではない。例えば、データ作成システム１の構成要素は、複数のハウジングに分散して設けられていてもよい。

【0100】

反対に、データ作成システム１における複数の機能が、１つのハウジング内に集約されてもよい。さらに、データ作成システム１の少なくとも一部の機能、例えば、データ作成システム１の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。

【0101】

（３．１）変形例１
以下、本開示における変形例１について、図６及び図７Ａ～７Ｃを参照しながら説明する。以下では基本例のデータ作成システム１と実質的に同じ構成要素については、同じ符号を付与して適宜にその説明を省略する場合がある。

【0102】

基本例では、認識対象となるオブジェクト４が溶接のビードＢ１０であった。しかし、オブジェクト４は、ビードＢ１０に限定されない。学習済みモデルＭ１は、溶接が正しく行われたか否かを検査する溶接外観検査のために用いられることに限定されない。

【0103】

本変形例では、認識対象となるオブジェクト４が、図６に示すように、繊維製品Ｃ１の一部分（特定部位Ｃ１１）である。本変形例では、学習用データ（画像データＤ１）を用いて生成された学習済みモデルＭ１は、例えば、縫製工場等における裁縫ロボットによる裁縫が正しく行われたか否かを検査する外観検査のために用いられる。図６は、繊維製品Ｃ１の一部分を示す画素領域Ｒ１を含む第１画像データＤ１１を示す。第１画像データＤ１１は、織り目による複数の曲線状の模様Ｃ１０を含む。

【0104】

本変形例では、所定の特徴は、基本例と同様に線状の特徴５を含み、ただし、線状の特徴５は、基本例とは異なり、曲線状の特徴５２（模様Ｃ１０）を含むことを想定する。

【0105】

本変形例の取得部１１は、ユーザにより操作部１５を介して実行された操作入力に応じて、維持情報を取得する。ユーザは、例えば、表示部１４により画面表示される第１画像データＤ１１を目視で確認し、織り目による複数の曲線状の模様Ｃ１０の方向及び位置等を特定する。ユーザは、曲線状の模様Ｃ１０の方向を特定し、操作部１５を用いて、当該方向を指定するための操作入力を実行する。すなわち、維持情報は、曲線状の模様Ｃ１０の方向を指定する情報を含む。維持情報は、曲線状の模様Ｃ１０を表す関数データでもよい。或いは維持情報は、曲線状の模様Ｃ１０の画素領域の位置座標を直接指定する情報を含んでもよい。曲線状の模様Ｃ１０の直接指定を行う場合の一具体例では、まず、ユーザが模様Ｃ１０に含まれる２点を、マウスポインタで特定してマウスをクリックすることで、指定する。取得部１１は、指定された２点を通る直線を算出し、算出した直線を第１画像データＤ１１に重畳させる。表示部１４は、直線が重畳された第１画像データＤ１１と、終了ボタンとを、表示する。ユーザは、表示された直線を確認し、問題がなければ、マウスポインタで終了ボタンを選択してマウスをクリックする。取得部１１は、算出した直線を、維持情報として取得する。一方、表示された直線と、模様Ｃ１０との間に差異がある場合、ユーザは、模様Ｃ１０に含まれる３点目を更に指定する。取得部１１は、指定された３点を通る曲線を算出し、算出した曲線を第１画像データＤ１１に重畳させる。表示部１４は、曲線が重畳された第１画像データＤ１１と、終了ボタンとを、表示する。ユーザは、表示された曲線を確認し、問題がなければ終了ボタンを選択してマウスをクリックする。取得部１１は、算出した曲線を、維持情報として取得する。算出した曲線と模様Ｃ１０との間に差異がある場合には、以下、同様にして、ユーザは模様Ｃ１０に含まれる４点目、５点目・・・Ｎ点目の指定を行い、取得部１１は曲線をそれぞれ算出する。なお、指定したＮ点を通る曲線の算出には、Ｎ次方程式、ベジエ曲線、又はスプライン曲線等を用いてもよい。また、ユーザが模様Ｃ１０に含まれる１点のみを指定した段階で、表示部１４がその１点を通る直線あるいは曲線を表示する構成としてもよい。

【0106】

処理部１０は、第１画像データＤ１１から、曲線状の模様Ｃ１０の画素領域（模様Ｃ１０に関する特徴量）を自動的に抽出する抽出部の機能を有してもよい。その場合、取得部１１は、抽出部から維持情報を取得する。この構成の場合、ユーザが曲線状の模様Ｃ１０の方向を指定する手間が省ける。

【0107】

変形部１２は、第１画像データＤ１１から、オブジェクト４（特定部位Ｃ１１）の形状を変形した第２画像データＤ１２を生成するように構成される。変形部１２は、取得部１１で取得した維持情報に基づき、曲線状の特徴５２が維持されるように、特定部位Ｃ１１の形状を変形する（変形処理）。

【0108】

次に本変形例における変形処理についてより具体的に説明する。変形部１２は、第１画像データＤ１１上に複数の仮想線Ｌ１（曲線）と複数の基準点Ｐ１とを設定し、その設定後に、第３変形、第４変形、及び第５変形のうちの少なくとも１つを実行するように構成される。

【0109】

複数の仮想線Ｌ１は、複数の曲線状の模様Ｃ１０に沿う複数（ここでは４本）の曲線Ｌ１３を含む。ここでは、４本の曲線Ｌ１３は、曲線状の模様Ｃ１０と同じ位置に設定されているが、模様Ｃ１０と平行曲線であれば模様Ｃ１０からずれた位置に設定されてもよい。例えば、４本の曲線Ｌ１３は、等間隔で設定され、その間隔は、記憶部（例えば処理部１０のメモリ）に予め設定されてもよいし、ユーザからの操作部１５による指定に応じて設定変更されてもよい。間隔の設定変更に応じて、曲線Ｌ１３の本数も変更されてよい。以下では、説明の便宜上、４本の曲線Ｌ１３を上から順に曲線Ｌ１３１，Ｌ１３２，Ｌ１３３，Ｌ１３４とそれぞれ呼ぶことがある。

【0110】

変形部１２は、維持情報に基づき、模様Ｃ１０に沿うように４本の曲線Ｌ１３の向きを設定する。また変形部１２は、例えばユーザから指定された特定部位Ｃ１１を囲むようにバウンディングボックスＢＸ１を規定する。変形部１２は、各曲線Ｌ１３上に等間隔で複数（ここでは３つ）の基準点Ｐ１を設定する。

【0111】

第３変形は、図７Ａに示すように、一例として一番下の曲線Ｌ１３４を、Ｙ軸（４本の曲線Ｌ１３が並ぶ並び方向Ａ１）に沿って曲線Ｌ１３３から離れるように平行移動させた拡大変形である。つまり曲線Ｌ１３３，Ｌ１３４で挟まれたオブジェクト４の領域が拡大変形する。言い換えると、変形部１２は、オブジェクト４の形状を、曲線状の特徴５２に沿った２つ以上の曲線Ｌ１３が並ぶ並び方向Ａ１（Ｙ軸に沿った方向）に沿って変形する。そのため、曲線状の特徴５２の線形性が維持される。第３変形は、オブジェクト４の形状の多様性を増やす場合に用いられる。

【0112】

第４変形は、図７Ｂに示すように、一例として一番下の曲線Ｌ１３４のうち２つの基準点Ｐ１間の線分Ｌ１３４０を、Ｙ軸に沿って曲線Ｌ１３３に近づくように平行移動させた縮小変形である。つまり曲線Ｌ１３３と線分Ｌ１３４０で挟まれたオブジェクト４の領域が縮小変形する。そのため、曲線状の特徴５２の線形性が維持される。第４変形は、欠陥（不良）を生成する場合に用いられる。

【0113】

第５変形は、図７Ｃに示すように、一例として各曲線Ｌ１３の３つの基準点Ｐ１がいずれも曲線Ｌ１３に沿ってＸ軸の負の側に移動する、つまり複数の曲線Ｌ１３で挟まれたオブジェクト４の領域が曲線Ｌ１３に沿ってＸ軸の負の側に移動するように変形する。そのため、曲線状の特徴５２の線形性が維持される。第５変形は、オブジェクト４の形状の多様性を増やす場合に用いられる。

【0114】

変形部１２は、第３変形～第５変形の少なくとも一つを行って第２画像データＤ１２を作成する。第３変形～第５変形のうちどの変形を実行させるかについて、ユーザからの操作部１５による指定に応じて変更可能であることが好ましい。第３変形～第５変形の何れか二つ以上を行う場合、処理の順番は特に限定されない。

【0115】

変形部１２は、第３変形～第５変形の少なくとも一つに加えて、回転又は反転等を行って第２画像データＤ１２を作成してもよい。

【0116】

本変形例のように、オブジェクト４自身に含まれる曲線状の模様Ｃ１０についてもその特徴を維持することで、実際に存在し得る画像データにより近い形で疑似的にデータ作成を行うことができる。結果的に、オブジェクト４に関する認識性能の低下の抑制を図ることができる。

【0117】

（３．２）変形例２
以下、本開示における変形例２について、図８Ａ～８Ｃを参照しながら説明する。以下では基本例のデータ作成システム１と実質的に同じ構成要素については、同じ符号を付与して適宜にその説明を省略する場合がある。

【0118】

本変形例のデータ作成システム１は、外部から入力される付加データＤ４に基づき、オブジェクト４の形状を変形できる機能を有する点で基本例と相違する。具体的には、本変形例の取得部１１は、変形後のオブジェクト４の輪郭形状を指定する情報を取得する。変形部１２は、その輪郭形状へとオブジェクト４の形状を変形した第２画像データＤ１２を生成する。

【0119】

図８Ａでは、基本例と同様に、第１画像データＤ１１は、オブジェクト４としてビードＢ１０を示す画素領域Ｒ１を含む。

【0120】

図８Ｂは、ユーザが任意に作成した付加データＤ４（例えばＣＧ画像等の画像データ）を示す。ここでは一例として、付加データＤ４が、輪郭形状を指定する情報に相当する。処理部１０の取得部１１は、外部から操作部１５等を介して、付加データＤ４を取得する。付加データＤ４は、実際にラインセンサカメラ６等で撮像された画像データに基づき作成されたデータでもよい。図８Ｂの例では、付加データＤ４は、略Ｃ字形状に描画された画像データである。付加データＤ４は、画像データに限定されず、例えばある線形を表す関数データでもよい。

【0121】

本変形例の変形部１２は、取得部１１で取得した付加データＤ４に基づき、オブジェクト４（ビードＢ１０）の輪郭を変形する。ここでは、変形部１２は、ビードＢ１０の輪郭が、付加データＤ４に示す略Ｃ字形と相似形となるように変形する（図８Ｃ参照）。ただし、変形部１２は、基本例の第１変形及び第２変形と同様に、所定の特徴（スキャンラインによるスジ７）を維持しつつ、付加データＤ４に基づきオブジェクト４（ビードＢ１０）の輪郭を変形する。

【0122】

本変形例のように、オブジェクト４を付加データＤ４に基づき変形することで、更に多様な学習用データを作成することができる。

【0123】

（３．３）変形例３
データ作成システム１において、取得部１１を備える処理装置と、変形部１２を備える処理装置とは、異なる装置であってもよい。例えば、データ作成システム１において、取得部１１を備える処理装置（以下、「第１処理装置」）１１０と、それ以外の処理を行う処理装置（以下、「第２処理装置」）１２０とが、異なる装置であってもよい。

【0124】

例えば、図９に示すように、第１処理装置１１０は、処理部（以下、「第１処理部」）１０１と、通信部（以下、「第１通信部」）１３１と、表示部１４と、操作部１５と、を備える。第１処理装置１１０の第１処理部１０１は、取得部１１を備えている。

【0125】

第１通信部１３１は、ラインセンサカメラ６から、オリジナル学習用データである第１画像データＤ１１を受信する。

【0126】

取得部１１は、第１画像データＤ１１から、所定の特徴に関する情報（維持情報）を取得する。

【0127】

第１通信部１３１（送信部）は、取得部１１で抽出された所定の特徴に関する情報Ｄ２０を、第２処理装置１２０へ出力（送信）する。

【0128】

第２処理装置１２０は、処理部（以下、「第２処理部」）１０２と、通信部（以下、「第２通信部」）１３２と、を備える。第２処理装置１２０の第２処理部１０２は、変形部１２を備えている。

【0129】

第２通信部１３２は、ラインセンサカメラ６から、第１画像データＤ１１を受信する。

【0130】

第２通信部１３２（受信部）は、所定の特徴に関する情報Ｄ２０を、受信する。

【0131】

変形部１２は、第１画像データＤ１１から、オブジェクト４の形状を変形した第２画像データＤ１２を生成する。変形部１２は、オブジェクト４の形状の変形前後で第１画像データＤ１１における所定の特徴が維持されるように、第２画像データＤ１２を生成する。

【0132】

第２処理装置１２０は、例えば第２通信部１３２によって、生成した第２画像データＤ１２を第１処理装置１１０へ送信してもよい。その場合、ユーザは、受け取った第２画像データＤ１２を用いて、学習システム２により学習済みモデルＭ１を生成してもよい。この学習済みモデルＭ１は、第１画像データＤ１１から第１画像データＤ１１における所定の特徴が維持されるようにオブジェクト４の形状を変形した第２画像データＤ１２に対して、オブジェクト４の特定状態に関する推定について第１画像データＤ１１と同等の推定結果を出力することとなる。

【0133】

第２処理装置１２０は、生成した画像データを、学習システムを備える外部のサーバへ送信してもよい。外部のサーバの学習システムは、第２画像データＤ１２としての学習用データを含む学習用データセットを用いて、学習済みモデルＭ１を生成する。この学習済みモデルＭ１は、第１画像データＤ１１から第１画像データＤ１１における所定の特徴が維持されるようにオブジェクト４の形状を変形した第２画像データＤ１２に対して、オブジェクト４の特定状態に関する推定について第１画像データＤ１１と同等の推定結果を出力することとなる。ユーザは、外部のサーバから、生成された学習済みモデルＭ１を受け取ってもよい。

【0134】

第２画像データＤ１２には、第１画像データＤ１１と同じラベルが付与される。そのため、十分に学習を行うことで、学習済みモデルＭ１は、第２画像データＤ１２に第２特徴を付与した画像データに対して、オブジェクト４の特定状態に関する推定について第１画像データＤ１１と同等の推定結果を出力するモデルとすることができる。

【0135】

（３．４）その他の変形例
以下、その他の変形例について列記する。

【0136】

本開示でいう「画像データ」は、イメージセンサで取得する画像データに限らず、例えばＣＧ画像等の二次元データであってもよいし、或いは基本例で説明したように距離画像センサで取得した一次元データを並べて構築した二次元データであってもよい。また「画像データ」は、三次元以上のデータであってもよい。また本開示における「画素」は、実際にイメージセンサで取得した画像の画素に限らず、二次元データの各要素であってもよい。

【0137】

基本例では、第１画像データＤ１１は、オブジェクト４（ビードＢ１０）を、多軸ロボットの送り制御によってラインセンサカメラ６にスキャニングを行わせて撮像された画像データである。しかし、第１画像データＤ１１は、例えば、オブジェクト４をステージ（検査台）上に載せ、ステージ側を移動させて撮像装置でスキャニングを行わせて撮像された画像データでもよい。

【0138】

基本例では、第１画像データＤ１１は、実際に撮像装置（ラインセンサカメラ６）により撮像された画像データである。しかし、第１画像データＤ１１は、スキャンラインによるスジ７を模式的に描画したＣＧ画像データでもよい。

【0139】

基本例では、直線状の特徴５１は、スキャンライン間の境界に関する特徴（スジ７）であった。直線状の特徴５１は、例えば、金属板の表面についている線状の傷であってもよい。

【0140】

基本例では、複数の第２点Ｐ１２は、各第２線Ｌ１２とビードＢ１０の輪郭との交点に設定されている。しかし、複数の第２点Ｐ１２は、各第２線Ｌ１２上において所定の間隔で設定されてもよい。所定の間隔は、ユーザ側で指定できてもよい。

【0141】

基本例では、直線状の特徴５１は、１本１本の直線（スジ７）であった。しかし、線状の特徴５は、複数の直線から構成された多角形（三角形、四角形等）、又は多数の多角形からなる模様でもよい。

【0142】

変形例１では、曲線状の特徴５２は、１本の曲線（模様Ｃ１０）であった。しかし、曲線状の特徴５２は、円、又は楕円状の特徴を含んでもよい。例えば、曲線状の特徴５２は、円形、楕円形、又は多数の円形や楕円形からなる模様でもよい。その場合には、取得部１１は、同心円の中心位置等の情報を取得する。同心円の中心位置等は、操作部１５等によるユーザからの入力によって設定されてもよいし、或いは処理部１０が、撮影した画像データに対してハフ変換によって円を自動的に抽出してもよい。

【0143】

また線状の特徴５は、直線状の特徴と曲線状の特徴とが混在した模様でもよい。また線状の特徴５は、所定の幅以上のある帯状の特徴であってもよい。

【0144】

評価システム１００は、データ作成システム１の一部の構成のみを備えていてもよい。評価システム１００は、例えば、データ作成システム１が備える第１処理装置１１０及び第２処理装置１２０（図９参照）のうちの第１処理装置１１０と、推定システム３（図１参照）と、のみを備えていてもよい。第１処理装置１１０の機能と、推定システム３の機能とは、１つの装置に備えられていてもよい。評価システム１００は、学習済みモデルＭ１を生成する学習システム２（図１参照）を更に備えていてもよい。第１処理装置１１０の機能と学習システム２の機能と推定システム３の機能とは、１つの装置に備えられていてもよい。

【0145】

（４）まとめ
以上説明したように、第１の態様に係るデータ作成システム（１）は、第１画像データ（Ｄ１１）から、オブジェクト（４）に関する学習済みモデル（Ｍ１）を生成するための学習用データとして用いられる第２画像データ（Ｄ１２）を作成する。データ作成システム（１）は、オブジェクト（４）を示す画素領域（Ｒ１）を含む第１画像データ（Ｄ１１）から、オブジェクト（４）の形状を変形した第２画像データ（Ｄ１２）を生成する変形部（１２）を備える。変形部（１２）は、オブジェクト（４）の形状の変形前後で第１画像データ（Ｄ１１）における所定の特徴が維持されるように、第２画像データ（Ｄ１２）を生成する。

【0146】

この態様によれば、オブジェクト（４）の形状の変形前後で所定の特徴が維持されるので、実際に存在し得る画像データにより近い形で、疑似的にデータ作成（例えばデータ拡張）を行うことができる。結果的に、オブジェクト（４）に関する認識性能の低下の抑制を図ることができる。

【0147】

第２の態様に係るデータ作成システム（１）は、第１の態様において、所定の特徴に関する情報を取得する取得部（１１）を、更に備える。変形部（１２）は、取得部（１１）で取得した上記情報に基づいて第２画像データ（Ｄ１２）を生成する。

【0148】

この態様によれば、例えば外部から指定された所定の特徴に基づき、第２画像データ（Ｄ１２）が生成されるため、利便性が向上される。

【0149】

第３の態様に係るデータ作成システム（１）に関して、第１又は第２の態様において、所定の特徴は、第１画像データ（Ｄ１１）に含まれる少なくとも１つの線状の特徴（５）を含む。変形部（１２）は、オブジェクト（４）の形状を、線状の特徴（５）に沿った１つ以上の仮想線（第２線Ｌ１２）に沿って変形した第２画像データ（Ｄ１２）を生成する。

【0150】

この態様によれば、実際に存在し得る画像データに更に近い形で、多様なデータ作成（例えばデータ拡張）を行うことができる。

【0151】

第４の態様に係るデータ作成システム（１）に関して、第１～第３の態様のいずれか１つにおいて、所定の特徴は、第１画像データ（Ｄ１１）に含まれる少なくとも１つの線状の特徴（５）を含む。変形部（１２）は、オブジェクト（４）の形状を、線状の特徴（５）に沿った２つ以上の仮想線（第２線Ｌ１２）が並ぶ並び方向（Ａ１）に沿って変形した第２画像データ（Ｄ１２）を生成する。

【0152】

この態様によれば、実際に存在し得る画像データに更に近い形で、多様なデータ作成（例えばデータ拡張）を行うことができる。

【0153】

第５の態様に係るデータ作成システム（１）に関して、第３又は第４の態様において、線状の特徴（５）は、直線状の特徴（５１）を含む。

【0154】

この態様によれば、直線状の特徴（５１）の変形が原因で実際に存在し得る画像データからかけ離れてしまうことを抑制できる。

【0155】

第６の態様に係るデータ作成システム（１）に関して、第５の態様において、直線状の特徴（５１）とは、オブジェクト（４）を撮像したラインセンサカメラ（６）に依存して第１画像データ（Ｄ１１）上における複数のスキャンライン間の境界に関する。

【0156】

この態様によれば、複数のスキャンライン間の境界の変形が原因で実際に存在し得る画像データからかけ離れてしまうことを抑制できる。

【0157】

第７の態様に係るデータ作成システム（１）に関して、第３～第６の態様のいずれか１つにおいて、線状の特徴（５）は、曲線状の特徴（５２）を含む。

【0158】

この態様によれば、曲線状の特徴（５２）の変形が原因で実際に存在し得る画像データからかけ離れてしまうことを抑制できる。

【0159】

第８の態様に係るデータ作成システム（１）に関して、第７の態様において、曲線状の特徴（５２）は、円、又は楕円状の特徴を含む。

【0160】

この態様によれば、円又は楕円状の変形が原因で実際に存在し得る画像データからかけ離れてしまうことを抑制できる。

【0161】

第９の態様に係るデータ作成システム（１）に関して、第３～第８の態様のいずれか１つにおいて、変形部（１２）は、仮想線（第２線Ｌ１２）上に複数の基準点（Ｐ１）を設定し、複数の基準点（Ｐ１）の少なくとも１つの基準点（Ｐ１）を移動させることにより、オブジェクト（４）の形状の変形を行う。

【0162】

この態様によれば、実際に存在し得る画像データに更に近い形で、多様なデータ作成（例えばデータ拡張）を行うことができる。

【0163】

第１０の態様に係るデータ作成システム（１）に関して、第９の態様において、変形部（１２）は、仮想線（第２線Ｌ１２）上に設定された複数の基準点（Ｐ１）の並び順を維持しながら、少なくとも１つの基準点（Ｐ１）を移動させる。

【0164】

この態様によれば、実際に存在し得る画像データからかけ離れてしまうことを抑制できる。

【0165】

第１１の態様に係るデータ作成システム（１）に関して、第１～第１０の態様のいずれか１つにおいて、変形後のオブジェクト（４）の輪郭形状を指定する情報を取得する取得部（１１）を、更に備える。変形部（１２）は、輪郭形状にオブジェクト（４）の形状を変形した第２画像データ（Ｄ１２）を生成する。

【0166】

この態様によれば、オブジェクト（４）が指定された輪郭形状に変形された第２画像データ（Ｄ１２）を容易に生成できるため、画像データの多様性が向上する。

【0167】

第１２の態様に係る学習システム（２）は、第１～第１１の態様のいずれか１つにおけるデータ作成システム（１）で作成された第２画像データ（Ｄ１２）としての学習用データを含む学習用データセットを用いて、学習済みモデル（Ｍ１）を生成する。

【0168】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることが可能な学習システム（２）を提供できる。

【0169】

第１３の態様に係る推定システム（３）は、第１２の態様における学習システム（２）で生成された学習済みモデル（Ｍ１）を用いて、認識対象となるオブジェクト（４）における特定状態に関する推定を行う。

【0170】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることが可能な推定システム（３）を提供できる。

【0171】

第１４の態様に係るデータ作成方法は、第１画像データ（Ｄ１１）から、オブジェクト（４）に関する学習済みモデル（Ｍ１）を生成するための学習用データとして用いられる第２画像データ（Ｄ１２）を作成するデータ作成方法である。データ作成方法は、オブジェクト（４）を示す画素領域（Ｒ１）を含む第１画像データ（Ｄ１１）から、オブジェクト（４）の形状を変形した第２画像データ（Ｄ１２）を生成する変形ステップを含む。変形ステップでは、オブジェクト（４）の形状の変形前後で第１画像データ（Ｄ１１）における所定の特徴が維持されるように、第２画像データ（Ｄ１２）を生成する。

【0172】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることが可能なデータ作成方法を提供できる。

【0173】

第１５の態様に係るプログラムは、１以上のプロセッサに、第１４の態様におけるデータ作成方法を実行させるためのプログラムである。

【0174】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることが可能な機能を提供できる。

【0175】

第１６の態様のデータ作成システム（１）は、第２の態様において、第１処理装置（１１０）と、第２処理装置（１２０）と、を備える。第１処理装置（１１０）は、取得部（１１）を有する。第２処理装置（１２０）は、変形部（１２）を有する。第１処理装置（１１０）は、所定の特徴に関する情報（Ｄ２０）を、第２処理装置（１２０）に送信する。

【0176】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることができる。

【0177】

第１７の態様の処理装置は、第１６の態様のデータ作成システム（１）における、第１処理装置（１１０）である。

【0178】

第１８の態様の処理装置は、第１６の態様のデータ作成システム（１）における、第２処理装置（１２０）である。

【0179】

第１９の態様の学習システム（２）は、第１画像データ（Ｄ１１）を学習用データとして含む学習用データセットを用いて、オブジェクト（４）に関する学習済みモデル（Ｍ１）を生成する学習システムである。第１画像データ（Ｄ１１）は、オブジェクト（４）を示す画素領域（Ｒ１）を含む。学習システム（２）は、第２画像データ（Ｄ１２）に対して、オブジェクト（４）の特定状態に関する推定について第１画像データ（Ｄ１１）と同等の推定結果を出力する。第２画像データ（Ｄ１２）は、第１画像データ（Ｄ１１）から、第１画像データ（Ｄ１１）における所定の特徴が維持されるようにオブジェクト（４）の形状を変形した画像データである。

【0180】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることができる。

【0181】

第２０の態様の推定システム（３）は、認識対象となるオブジェクト（４）における特定状態に関する推定を行う推定システムである。推定システム（３）は、第２画像データ（Ｄ１２）に対して、オブジェクト（４）の特定状態に関する推定について第１画像データ（Ｄ１１）と同等の推定結果を出力する。第２画像データ（Ｄ１２）は、オブジェクト（４）を示す画素領域（Ｒ１）を含む第１画像データ（Ｄ１１）から、第１画像データ（Ｄ１１）における所定の特徴が維持されるようにオブジェクト（４）の形状を変形した画像データである。

【0182】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることができる。

【0183】

第２～１１，１６の態様に係る構成については、データ作成システム（１）に必須の構成ではなく、適宜省略可能である。

【符号の説明】

【0184】

１ データ作成システム
１１ 取得部
１２ 変形部
２ 学習システム
３ 推定システム
４ オブジェクト
５ 線状の特徴
５１ 直線状の特徴
５２ 曲線状の特徴
６ ラインセンサカメラ
１１０ 第１処理装置
１２０ 第２処理装置
Ａ１ 並び方向
Ｄ１１ 第１画像データ
Ｄ１２ 第２画像データ
Ｌ１２ 第２線（仮想線）
Ｍ１ 学習済みモデル
Ｐ１ 基準点
Ｒ１ 画素領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】