特許 7499476 データ作成システム、学習システム、推定システム、処理装置、評価システム、データ作成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-06

(45)【発行日】2024-06-14

(54)【発明の名称】データ作成システム、学習システム、推定システム、処理装置、評価システム、データ作成方法、及びプログラム

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240607BHJP

   G06T 7/00 20170101ALI20240607BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

【請求項の数】 30

(21)【出願番号】P 2022561869

(86)(22)【出願日】2021-11-05

(86)【国際出願番号】 JP2021040716

(87)【国際公開番号】W WO2022102525

(87)【国際公開日】2022-05-19

【審査請求日】2023-04-26

(31)【優先権主張番号】P 2020187511

(32)【優先日】2020-11-10

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002527

【氏名又は名称】弁理士法人北斗特許事務所

(72)【発明者】

【氏名】佐藤 太一

(72)【発明者】

【氏名】後藤 良介

(72)【発明者】

【氏名】北川 勇斗

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０２０－１０６４６１（ＪＰ，Ａ）

【文献】野村 茂生 Shigeo NOMURA，デジタルトランスフォーメーションを加速する東芝ＩｏＴアーキテクチャーＳＰＩＮＥＸ，東芝レビュー ＶＯＬ．７２ ＮＯ．４ ［ｏｎｌｉｎｅ］ TOSHIBA REVIEW，日本，2017年09月30日，第72巻

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ １０／８２

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成システムであって、
前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトに関する変形を施した前記第２画像データを生成する変形部と、
前記第１画像データに存在する線状の第１特徴を除去する除去部と、
第２特徴を取得する特徴取得部と、
前記第２特徴を前記第２画像データに付与する特徴付与部と、
を備え、
前記第２特徴は、前記第１画像データに存在する線状の前記第１特徴を含み、
前記特徴取得部は、前記第２特徴として、前記第１画像データから前記第１特徴を取得する、
データ作成システム。

【請求項2】

前記除去部は、前記第１画像データから前記第１特徴を除去し、
前記変形部は、前記第１特徴が除去された前記第１画像データから、前記第２画像データを生成し、
前記特徴付与部は、前記特徴取得部が前記第１画像データから取得した前記第１特徴を前記第２画像データに付与する、
請求項１に記載のデータ作成システム。

【請求項3】

前記除去部は、前記第２画像データから変形後の前記第１特徴を除去し、
前記特徴付与部は、前記第１特徴が除去された前記第２画像データに、前記特徴取得部が前記第１画像データから取得した前記第１特徴を付与する、
請求項１に記載のデータ作成システム。

【請求項4】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成システムであって、
前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトに関する変形を施した前記第２画像データを生成する変形部と、
前記第１画像データに存在する線状の第１特徴を除去する除去部と、
第２特徴を取得する特徴取得部と、
前記第２特徴を前記第２画像データに付与する特徴付与部と、
を備え、
前記オブジェクトに関する変形は、前記オブジェクトの回転、反転、平行移動、拡大、及び縮小からなる群から選択される少なくとも１つを含む、
データ作成システム。

【請求項5】

線状の前記第１特徴は、直線状の特徴を含む、
請求項１～４のいずれか１項に記載のデータ作成システム。

【請求項6】

前記直線状の特徴は、前記オブジェクトを撮像したラインセンサカメラに依存して前記第１画像データ上における複数のスキャンライン間の境界に関する、
請求項５に記載のデータ作成システム。

【請求項7】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成システムであって、
前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトに関する変形を施した前記第２画像データを生成する変形部と、
前記第１画像データに存在する線状の第１特徴を除去する除去部と、
第２特徴を取得する特徴取得部と、
前記第２特徴を前記第２画像データに付与する特徴付与部と、
を備え、
線状の前記第１特徴は、直線状の特徴を含み、
前記直線状の特徴は、前記オブジェクトを撮像したラインセンサカメラに依存して前記第１画像データ上における複数のスキャンライン間の境界に関する、
データ作成システム。

【請求項8】

前記直線状の特徴は、前記ラインセンサカメラから前記オブジェクトまでの距離の差に応じて発生し得る前記複数のスキャンライン間の高さの差に対応する画素値の差に基づく特徴である、
請求項６又は７に記載のデータ作成システム。

【請求項9】

前記オブジェクトに関する変形は、前記オブジェクトの回転を含む、
請求項１～８のいずれか１項に記載のデータ作成システム。

【請求項10】

前記オブジェクトに関する変形は、前記オブジェクトの形状の変形を含む、
請求項１～９のいずれか１項に記載のデータ作成システム。

【請求項11】

前記第２特徴は、前記第１画像データとは別の画像データに存在する線状の第３特徴を含み、
前記特徴取得部は、前記第２特徴として、前記別の画像データから前記第３特徴を取得する、
請求項１～１０のいずれか１項に記載のデータ作成システム。

【請求項12】

オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる画像データを作成するデータ作成システムであって、
線状の特徴を取得する特徴取得部と、
前記オブジェクトを示す画素領域を含む前記画像データに、前記線状の特徴を付与する特徴付与部と、
を備え、
前記線状の特徴は、前記オブジェクトを撮像するラインセンサカメラに依存する複数のスキャンライン間の境界に関する、
データ作成システム。

【請求項13】

請求項１～１２のいずれか１項に記載のデータ作成システムで作成された画像データとしての前記学習用データを含む学習用データセットを用いて、前記学習済みモデルを生成する、
学習システム。

【請求項14】

請求項１３に記載の学習システムで生成された前記学習済みモデルを用いて、認識対象となる前記オブジェクトにおける特定状態に関する推定を行う、
推定システム。

【請求項15】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成方法であって、
前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトに関する変形を施した前記第２画像データを生成する変形ステップと、
前記第１画像データに存在する線状の第１特徴を除去する除去ステップと、
第２特徴を取得する特徴取得ステップと、
前記第２特徴を前記第２画像データに付与する特徴付与ステップと、
を含み、
前記第２特徴は、前記第１画像データに存在する線状の前記第１特徴を含み、
前記特徴取得ステップでは、前記第２特徴として、前記第１画像データから前記第１特徴を取得する、
データ作成方法。

【請求項16】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成方法であって、
前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトに関する変形を施した前記第２画像データを生成する変形ステップと、
前記第１画像データに存在する線状の第１特徴を除去する除去ステップと、
第２特徴を取得する特徴取得ステップと、
前記第２特徴を前記第２画像データに付与する特徴付与ステップと、
を含み、
前記オブジェクトに関する変形は、前記オブジェクトの回転、反転、平行移動、拡大、及び縮小からなる群から選択される少なくとも１つを含む、
データ作成方法。

【請求項17】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成方法であって、
前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトに関する変形を施した前記第２画像データを生成する変形ステップと、
前記第１画像データに存在する線状の第１特徴を除去する除去ステップと、
第２特徴を取得する特徴取得ステップと、
前記第２特徴を前記第２画像データに付与する特徴付与ステップと、
を含み、
線状の前記第１特徴は、直線状の特徴を含み、
前記直線状の特徴は、前記オブジェクトを撮像したラインセンサカメラに依存して前記第１画像データ上における複数のスキャンライン間の境界に関する、
データ作成方法。

【請求項18】

オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる画像データを作成するデータ作成方法であって、
線状の特徴を取得する特徴取得ステップと、
前記オブジェクトを示す画素領域を含む前記画像データに、前記線状の特徴を付与する特徴付与ステップと、
を含み、
前記線状の特徴は、前記オブジェクトを撮像するラインセンサカメラに依存する複数のスキャンライン間の境界に関する、
データ作成方法。

【請求項19】

１以上のプロセッサに、請求項１５～１８のいずれか１項に記載のデータ作成方法を実行させるためのプログラム。

【請求項20】

前記データ作成システムは、前記第１画像データから前記第１特徴を抽出する特徴抽出部を更に備え、
前記特徴抽出部は、第１処理装置が有しており、
前記特徴付与部は、前記第１処理装置とは異なる第２処理装置が有しており、
前記第１処理装置は、前記第１特徴を示す情報を前記第２処理装置に送信する、
請求項１～１２のいずれか１項に記載のデータ作成システム。

【請求項21】

請求項２０に記載のデータ作成システムにおける前記第１処理装置としての、
処理装置。

【請求項22】

請求項２０に記載のデータ作成システムにおける前記第２処理装置としての、
処理装置。

【請求項23】

オブジェクトにおける特定状態に関する推定を行う評価システムであって、処理装置と、推定システムと、を備え、
前記処理装置は、
オブジェクトを示す画素領域を含む第１画像データに存在する線状の第１特徴を抽出し、
抽出した前記第１特徴を示す情報を出力し、
前記推定システムは、前記第１画像データから前記第１特徴を除去し前記オブジェクトに関する変形を施した第２画像データに第２特徴を付与した画像データに対して、前記オブジェクトの特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力し、
前記第２特徴は、前記第１画像データに存在する線状の前記第１特徴を含み、
前記処理装置は、前記第２特徴として、前記第１画像データから前記第１特徴を取得する、
評価システム。

【請求項24】

オブジェクトにおける特定状態に関する推定を行う評価システムであって、処理装置と、推定システムと、を備え、
前記処理装置は、
オブジェクトを示す画素領域を含む第１画像データに存在する線状の第１特徴を抽出し、
抽出した前記第１特徴を示す情報を出力し、
前記推定システムは、前記第１画像データから前記第１特徴を除去し前記オブジェクトに関する変形を施した第２画像データに第２特徴を付与した画像データに対して、前記オブジェクトの特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力し、
線状の前記第１特徴は、直線状の特徴を含み、
前記直線状の特徴は、前記オブジェクトを撮像したラインセンサカメラに依存して前記第１画像データ上における複数のスキャンライン間の境界に関する、
評価システム。

【請求項25】

前記オブジェクトに関する変形は、前記オブジェクトの回転、反転、平行移動、拡大、及び縮小からなる群から選択される少なくとも１つを含む、
請求項２３又は２４に記載の評価システム。

【請求項26】

オブジェクトにおける特定状態に関する推定を行う評価システムであって、処理装置と、推定システムと、を備え、
前記処理装置は、
オブジェクトを示す画素領域を含む第１画像データに存在する線状の第１特徴を抽出し、
抽出した前記第１特徴を示す情報を出力し、
前記推定システムは、前記第１画像データから前記第１特徴を除去し前記オブジェクトに関する変形を施した第２画像データに第２特徴を付与した画像データに対して、前記オブジェクトの特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力し、
前記オブジェクトに関する変形は、前記オブジェクトの回転、反転、平行移動、拡大、及び縮小からなる群から選択される少なくとも１つを含む、
評価システム。

【請求項27】

前記推定システムは、学習済みモデルを用いて、前記オブジェクトにおける前記特定状態に関する推定を行い、
前記評価システムは、前記学習済みモデルを生成する学習システムを更に備え、
前記学習済みモデルは、前記第１画像データから前記第１特徴を除去し前記オブジェクトに関する変形を施した第２画像データに第２特徴を付与した画像データに対して、前記オブジェクトの前記特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力する、
請求項２３～２６のいずれか１項に記載の評価システム。

【請求項28】

請求項２７に記載の評価システムにおける、学習システム。

【請求項29】

請求項２３～２７のいずれか１項に記載の評価システムにおける、処理装置。

【請求項30】

請求項２３～２７のいずれか１項に記載の評価システムにおける、推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、データ作成システム、学習システム、推定システム、処理装置、評価システム、データ作成方法、及びプログラムに関する。より詳細には本開示は、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる画像データを作成するデータ作成システム、当該学習済みモデルを生成する学習システム、当該学習済みモデルを用いる推定システムに関する。また本開示は、当該データ作成システムに用いられる処理装置、当該処理装置を備える評価システムに関する。また本開示は、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる画像データを作成するデータ作成方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、Ｘ線画像物体認識システムが開示されている。このＸ線画像物体認識システムでは、学習ネットワークが、物体のＸ線画像と正解ラベルとを含む学習セットを用いて機械学習を行う。また特許文献１には、学習データが少ない場合、学習データを増やす処理として、元画像に対して移動、回転、拡大・縮小、反転等の人為的な操作を加えることによって、画像数を擬似的に増やすデータ拡張（Data augmentation）を行うことが開示されている。

【0003】

さらに特許文献１には、元画像に対して移動、回転、拡大・縮小、反転等のデータ拡張を行うと、実際にはあり得ないシーンの画像が作成され、意図しない学習が行われて、推論時には、物体の認識性能が低下することについて開示されている。そこで、このＸ線画像物体認識システムでは、データ拡張を行う際のパラメータ（Ｘ線画像の縮小・拡大率、シフト量、回転角のうちの少なくとも１つ）を適切に設定することにより、意図しないデータ拡張が行われるのを回避する。

【0004】

特許文献１のＸ線画像物体認識システムでは、単にＸ線画像の縮小・拡大率、シフト量、及び回転角のパラメータを設定するだけである。そのため、物体（オブジェクト）によっては依然として実際にはあり得ない画像が作成される可能性があり、結果的に、推論フェーズにおいてオブジェクトに関する認識性能が低下し得る。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２０－１４７９９号公報

【発明の概要】

【0006】

本開示は上記事由に鑑みてなされ、オブジェクトに関する認識性能の低下の抑制を図ることができる、データ作成システム、学習システム、推定システム、処理装置、評価システム、データ作成方法、及びプログラムを提供することを目的とする。

【0007】

本開示の一態様のデータ作成システムは、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成する。前記データ作成システムは、変形部と、除去部と、特徴取得部と、特徴付与部と、を備える。前記変形部は、前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトに関する変形を施した前記第２画像データを生成する。前記除去部は、前記第１画像データに存在する線状の第１特徴を除去する。前記特徴取得部は、第２特徴を取得する。前記特徴付与部は、前記第２特徴を前記第２画像データに付与する。前記第２特徴は、前記第１画像データに存在する線状の前記第１特徴を含む。前記特徴取得部は、前記第２特徴として、前記第１画像データから前記第１特徴を取得する。
本開示の一態様のデータ作成システムは、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成する。前記データ作成システムは、変形部と、除去部と、特徴取得部と、特徴付与部と、を備える。前記変形部は、前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトに関する変形を施した前記第２画像データを生成する。前記除去部は、前記第１画像データに存在する線状の第１特徴を除去する。前記特徴取得部は、第２特徴を取得する。前記特徴付与部は、前記第２特徴を前記第２画像データに付与する。前記オブジェクトに関する変形は、前記オブジェクトの回転、反転、平行移動、拡大、及び縮小からなる群から選択される少なくとも１つを含む。
本開示の一態様のデータ作成システムは、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成する。前記データ作成システムは、変形部と、除去部と、特徴取得部と、特徴付与部と、を備える。前記変形部は、前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトに関する変形を施した前記第２画像データを生成する。前記除去部は、前記第１画像データに存在する線状の第１特徴を除去する。前記特徴取得部は、第２特徴を取得する。前記特徴付与部は、前記第２特徴を前記第２画像データに付与する。線状の前記第１特徴は、直線状の特徴を含む。前記直線状の特徴は、前記オブジェクトを撮像したラインセンサカメラに依存して前記第１画像データ上における複数のスキャンライン間の境界に関する。

【0008】

本開示の一態様の処理装置は、前記データ作成システムにおいて前記第１画像データから前記第１特徴を抽出する特徴抽出部を有する第１処理装置と前記特徴付与部を有する第２処理装置とのうちの、前記第１処理装置である。

【0009】

本開示の別の一態様の処理装置は、前記データ作成システムにおいて前記第１画像データから前記第１特徴を抽出する特徴抽出部を有する第１処理装置と前記特徴付与部を有する第２処理装置とのうちの、前記第２処理装置である。

【0010】

本開示の別の一態様のデータ作成システムは、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる画像データを作成する。前記データ作成システムは、特徴取得部と、特徴付与部と、を備える。前記特徴取得部は、線状の特徴を取得する。前記特徴付与部は、前記オブジェクトを示す画素領域を含む前記画像データに、前記線状の特徴を付与する。前記線状の特徴は、前記オブジェクトを撮像するラインセンサカメラに依存する複数のスキャンライン間の境界に関する。

【0011】

本開示の一態様の学習システムは、上記のいずれか一方のデータ作成システムで作成された画像データとしての前記学習用データを含む学習用データセットを用いて、前記学習済みモデルを生成する。

【0012】

本開示の一態様の推定システムは、上記の学習システムで生成された前記学習済みモデルを用いて、認識対象となる前記オブジェクトにおける特定状態に関する推定を行う。

【0013】

本開示の一態様の評価システムは、オブジェクトにおける特定状態に関する推定を行う評価システムである。前記評価システムは、処理装置と、推定システムと、を備える。前記処理装置は、オブジェクトを示す画素領域を含む第１画像データに存在する線状の第１特徴を抽出する。前記処理装置は、抽出した前記第１特徴を示す情報を出力する。前記推定システムは、前記第１画像データから前記第１特徴を除去し前記オブジェクトに関する変形を施した第２画像データに第２特徴を付与した画像データに対して、前記オブジェクトの特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力する。前記第２特徴は、前記第１画像データに存在する線状の前記第１特徴を含む。前記処理装置は、前記第２特徴として、前記第１画像データから前記第１特徴を取得する。
本開示の一態様の評価システムは、オブジェクトにおける特定状態に関する推定を行う評価システムである。前記評価システムは、処理装置と、推定システムと、を備える。前記処理装置は、オブジェクトを示す画素領域を含む第１画像データに存在する線状の第１特徴を抽出する。前記処理装置は、抽出した前記第１特徴を示す情報を出力する。前記推定システムは、前記第１画像データから前記第１特徴を除去し前記オブジェクトに関する変形を施した第２画像データに第２特徴を付与した画像データに対して、前記オブジェクトの特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力する。線状の前記第１特徴は、直線状の特徴を含む。前記直線状の特徴は、前記オブジェクトを撮像したラインセンサカメラに依存して前記第１画像データ上における複数のスキャンライン間の境界に関する。
本開示の一態様の評価システムは、オブジェクトにおける特定状態に関する推定を行う評価システムである。前記評価システムは、処理装置と、推定システムと、を備える。前記処理装置は、オブジェクトを示す画素領域を含む第１画像データに存在する線状の第１特徴を抽出する。前記処理装置は、抽出した前記第１特徴を示す情報を出力する。前記推定システムは、前記第１画像データから前記第１特徴を除去し前記オブジェクトに関する変形を施した第２画像データに第２特徴を付与した画像データに対して、前記オブジェクトの特定状態に関する推定について前記第１画像データに対する推定結果と同じ推定結果を出力する。前記オブジェクトに関する変形は、前記オブジェクトの回転、反転、平行移動、拡大、及び縮小からなる群から選択される少なくとも１つを含む。

【0014】

本開示の別の一態様の学習システムは、前記評価システムにおいて前記推定システムが前記推定を行うのに用いる学習済みモデルを生成する学習システムである。

【0015】

本開示の一態様の処理装置は、前記評価システムにおける前記処理装置である。

【0016】

本開示の別の一態様の推定システムは、前記評価システムにおける前記推定システムである。

【0017】

本開示の一態様のデータ作成方法は、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成方法である。前記データ作成方法は、変形ステップと、除去ステップと、特徴取得ステップと、特徴付与ステップと、を含む。前記変形ステップでは、前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトに関する変形を施した前記第２画像データを生成する。前記除去ステップでは、前記第１画像データに存在する線状の第１特徴を除去する。前記特徴取得ステップでは、第２特徴を取得する。前記特徴付与ステップでは、前記第２特徴を前記第２画像データに付与する。前記第２特徴は、前記第１画像データに存在する線状の前記第１特徴を含む。前記特徴取得ステップでは、前記第２特徴として、前記第１画像データから前記第１特徴を取得する。
本開示の一態様のデータ作成方法は、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成方法である。前記データ作成方法は、変形ステップと、除去ステップと、特徴取得ステップと、特徴付与ステップと、を含む。前記変形ステップでは、前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトに関する変形を施した前記第２画像データを生成する。前記除去ステップでは、前記第１画像データに存在する線状の第１特徴を除去する。前記特徴取得ステップでは、第２特徴を取得する。前記特徴付与ステップでは、前記第２特徴を前記第２画像データに付与する。前記オブジェクトに関する変形は、前記オブジェクトの回転、反転、平行移動、拡大、及び縮小からなる群から選択される少なくとも１つを含む。
本開示の一態様のデータ作成方法は、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる第２画像データを作成するデータ作成方法である。前記データ作成方法は、変形ステップと、除去ステップと、特徴取得ステップと、特徴付与ステップと、を含む。前記変形ステップでは、前記オブジェクトを示す画素領域を含む前記第１画像データから、前記オブジェクトに関する変形を施した前記第２画像データを生成する。前記除去ステップでは、前記第１画像データに存在する線状の第１特徴を除去する。前記特徴取得ステップでは、第２特徴を取得する。前記特徴付与ステップでは、前記第２特徴を前記第２画像データに付与する。線状の前記第１特徴は、直線状の特徴を含む。前記直線状の特徴は、前記オブジェクトを撮像したラインセンサカメラに依存して前記第１画像データ上における複数のスキャンライン間の境界に関する。

【0018】

本開示の別の一態様のデータ作成方法は、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる画像データを作成するデータ作成方法である。前記データ作成方法は、特徴取得ステップと、特徴付与ステップと、を含む。前記特徴取得ステップでは、線状の特徴を取得する。前記特徴付与ステップでは、前記オブジェクトを示す画素領域を含む前記画像データに、前記線状の特徴を付与する。前記線状の特徴は、前記オブジェクトを撮像するラインセンサカメラに依存する複数のスキャンライン間の境界に関する。

【0019】

本開示の一態様のプログラムは、１以上のプロセッサに、上記のいずれかのデータ作成方法を実行させるためのプログラムである。

【図面の簡単な説明】

【0020】

【図1】図１は、一実施形態に係るデータ作成システムを備える評価システム全体の概略ブロック構成図である。

【図2】図２は、同上のデータ作成システムに入力される第１画像データの平面図である。

【図3】図３Ａは、同上の第１画像データの模式的な図である。図３Ｂは、同上のデータ作成システムにおけるオブジェクト抽出処理を説明するための図である。図３Ｃは、同上のデータ作成システムにおける除去処理を説明するための図である。

【図4】図４Ａは、同上のデータ作成システムにおける変形処理を説明するための図である。図４Ｂは、同上のデータ作成システムにおける特徴付与処理を説明するための図である。

【図5】図５は、同上のデータ作成システムの動作を説明するためのフローチャート図である。

【図6】図６は、同上のデータ作成システムにおける変形例１の概略ブロック構成図である。

【図7】図７は、同上の変形例１を説明するための概念図である。

【図8】図８は、同上のデータ作成システムにおける変形例２の変形処理を説明するための図である。

【図9】図９Ａは、同上の変形例２の変形処理における第１変形を説明するための図である。図９Ｂは、同上の変形例２の変形処理における第２変形を説明するための図である。

【図10】図１０は、同上のデータ作成システムにおける変形例３の概略ブロック構成図である。

【発明を実施するための形態】

【0021】

（１）概要
以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。

【0022】

本実施形態に係るデータ作成システム１は、図１に示すように、第１画像データＤ１１から、オブジェクト４（図２及び図３Ａ参照）に関する学習済みモデルＭ１を生成するための学習用データとして用いられる第２画像データＤ１２を作成する。つまり、第２画像データＤ１２は、モデルを機械学習するために用いられる学習用データである。本開示でいう「モデル」は、認識対象（オブジェクト４）に関するデータが入力されると、認識対象がどのような状態にあるかを推定し、推定結果（認識結果）を出力するプログラムである。「学習済みモデル」は、学習用データを用いた機械学習が完了したモデルをいう。また「学習用データ（セット）」は、モデルに入力される入力情報（画像データＤ１）と、入力情報に付与されたラベルと、を組み合わせたデータセットであり、いわゆる教師データである。つまり、本実施形態では、学習済みモデルＭ１は、教師あり学習による機械学習が完了したモデルである。

【0023】

本実施形態では一例として、認識対象であるオブジェクト４は、図２及び図３Ａに示すように、ビードＢ１０である。ビードＢ１０は、金属の溶接材Ｂ１３を用いて２以上の母材（ここでは第１金属板Ｂ１１及び第２金属板Ｂ１２）を溶接した際に、第１金属板Ｂ１１及び第２金属板Ｂ１２の境目Ｂ１４（溶接箇所）に形成される。ビードＢ１０の大きさ及び形状は、主に溶接材Ｂ１３に依存する。したがって、学習済みモデルＭ１は、ビードＢ１０を含む認識対象画像データＤ３が入力されると、ビードＢ１０の状態（特定状態）を推定し、推定結果を出力する。具体的には、学習済みモデルＭ１は、推定結果として、ビードＢ１０が良品であるか不良品であるか、不良品である場合は不良の種類を出力する。つまり、学習済みモデルＭ１は、ビードＢ１０が良品であるか否か、言い換えれば、溶接が正しく行われたか否かを検査する溶接外観検査のために用いられる。

【0024】

ビードＢ１０が良品であるか否かは、一例として、ビードＢ１０の長さ、ビードＢ１０の高さ、ビードＢ１０の立ち上がりの角度、ビードＢ１０ののど厚、ビードＢ１０の余盛、及びビードＢ１０の溶接箇所の位置ずれ（ビードＢ１０の始端のずれを含む）が許容範囲に収まっているか否かにより判定される。例えば、上記に列挙した条件のうち１つでも許容範囲に収まっていなければ、ビードＢ１０が不良品であると判定される。また、ビードＢ１０が良品であるか否かは、一例として、ビードＢ１０のアンダーカットの有無、ビードＢ１０のピットの有無、ビードＢ１０のスパッタの有無、及びビードＢ１０の突起の有無等に基づいて判定される。例えば、上記に列挙した不良部分のうち１つでも発生した場合、ビードＢ１０が不良品であると判定される。

【0025】

ところで、モデルの機械学習を行うためには、認識対象の不良品を含む多数の画像データを学習用データとして用意する必要がある。しかしながら、認識対象の不良品が発生する頻度が少ない場合、認識率の高い学習済みモデルＭ１を生成するために必要な学習用データが不足しがちである。そこで、実際にビードＢ１０を撮像装置（ラインセンサカメラ６）により撮像することで得られる学習用データ（以下、「第１画像データＤ１１」又は「オリジナル学習用データ」と呼ぶ）についてデータ拡張（Data Augmentation）処理を実行することにより、学習用データの数を増やしてモデルの機械学習を行うことが考えられる。データ拡張処理は、学習用データに対して平行移動、拡大・縮小、回転、反転、又はノイズの付与等の処理（変換処理）を加えることで、学習用データを水増しする処理をいう。

【0026】

第１画像データＤ１１は、例えば、距離画像データである。ここで、オリジナルの第１画像データＤ１１には、距離画像センサを含む撮像装置（ラインセンサカメラ６）のスキャニング動作時における性能に応じて、多数の薄い直線状のスジ７（図３Ａ等）が入り得る。図３Ａ等の図面では、説明の便宜上、スジ７の方向性が分かりやすいように、多数存在するスジ７のうち、いくつかのスジ７だけ実線で模式的に示しているが、厳密にスジ７の位置や本数を規定する趣旨ではない。また説明の便宜上、図３Ａは、図２の平面図を模式化した図である。

【0027】

このような「スジ」は、例えば、ラインセンサカメラ６を保持する多軸ロボットの手先のブレにより生じ得る。ラインセンサカメラ６が、撮像対象物に対してある一ラインのスキャニングを実行し、次のラインのスキャニングに移った際に、上記ブレにより、撮像対象物までの距離に若干の差が生じる。その結果、これらのスキャニングのライン（スキャンライン）間の境界において、「スジ」が、画像データ内で（距離画像センサからオブジェクト４までの距離に応じた）画素値の差として浮かび出る。各スキャンラインの幅は、ロボットの送り方向の分解能等に依存するが、例えばコンマ数ｍｍである。

【0028】

そして、データ拡張処理で、多数の薄い直線状のスジ７が存在する第１画像データＤ１１について、オブジェクト４に関する変形（例えば第１画像データＤ１１の中心Ｅ１を軸に回転）を施すと、直線状のスジ７も意図しない状態に変わり得る。結果的に、意図しない状態のスジ（例えばスキャンラインの方向とは違う方向に沿ったスジ）を反映した学習済みモデルが作成される可能性がある。しかし、実際に入力され得る認識対象画像データＤ３には、そのようなスジは存在せず、推論時に、オブジェクト４に関する認識性能が低下してしまう可能性がある。

【0029】

本実施形態の一態様に係るデータ作成システム１は、図１に示すように、変形部１１と、除去部１２と、特徴取得部１３と、特徴付与部１４と、を備える。変形部１１は、オブジェクト４を示す画素領域Ｒ１（図２参照）を含む第１画像データＤ１１から、オブジェクト４に関する変形を施した第２画像データＤ１２を生成する。除去部１２は、第１画像データＤ１１に存在する線状の第１特徴Ｘ１を除去する。特徴取得部１３は、第２特徴Ｘ２を取得する。特徴付与部１４は、第２特徴Ｘ２を第２画像データＤ１２に付与する。

【0030】

ここでは一例として、線状の第１特徴Ｘ１は、直線状の特徴Ｘ１１を含み、隣り合う２つのスキャンライン間の境界に関する直線状のスジ７が、直線状の特徴Ｘ１１に相当する。またここでは一例として、第２特徴Ｘ２は、第１画像データＤ１１に存在する線状の第１特徴Ｘ１（スジ７）を含む。特徴取得部１３は、第２特徴Ｘ２として、第１画像データＤ１１から第１特徴Ｘ１を取得する。

【0031】

要するに、第１画像データＤ１１は、例えば回転後でも実際に存在し得る領域と、回転してしまうと実際には存在し得ない領域とを含んでおり、上記の直線状のスジ７は、後者に該当する一例である。

【0032】

本実施形態では、第１画像データＤ１１に存在する線状の第１特徴Ｘ１を除去し、第２特徴Ｘ２を第２画像データＤ１２に付与する。そのため、変形が施された線状の第１特徴Ｘ１が第２画像データＤ１２に残ることで実際に存在しない画像データが作成されてしまう可能性が低減される。言い換えると、実際に存在し得る画像データにより近い形で、疑似的にデータ作成（例えばデータ拡張）を行うことができる。結果的に、オブジェクト４に関する認識性能の低下の抑制を図ることができる。

【0033】

また本実施形態に係る学習システム２（図１参照）は、データ作成システム１で作成された画像データとしての学習用データを含む学習用データセットを用いて、学習済みモデルＭ１を生成する。したがって、オブジェクト４に関する認識性能の低下の抑制を図ることが可能な学習システム２を提供できる。学習済みモデルＭ１を生成するための学習用データは、第２画像データＤ１２（拡張データ）だけでなく、オリジナルの第１画像データＤ１１も含み得る。言い換えると、本実施形態における画像データＤ１は、少なくとも第２画像データＤ１２を含み、第１画像データＤ１１及び第２画像データＤ１２の両方を含み得る。

【0034】

また本実施形態に係る推定システム３（図１参照）は、学習システム２で生成された学習済みモデルＭ１を用いて、認識対象となるオブジェクト４（ここでは一例としてビードＢ１０）における特定状態に関する推定を行う。したがって、オブジェクト４に関する認識性能の低下の抑制を図ることが可能な推定システム３を提供できる。

【0035】

また本実施形態に係るデータ作成方法は、第１画像データＤ１１から、オブジェクト４に関する学習済みモデルＭ１を生成するための学習用データとして用いられる第２画像データＤ１２を作成するデータ作成方法である。データ作成方法は、変形ステップと、除去ステップと、特徴取得ステップと、特徴付与ステップと、を含む。変形ステップでは、オブジェクト４を示す画素領域Ｒ１を含む第１画像データＤ１１から、オブジェクト４に関する変形を施した第２画像データＤ１２を生成する。除去ステップでは、第１画像データＤ１１に存在する線状の第１特徴Ｘ１を除去する。特徴取得ステップでは、第２特徴Ｘ２を取得する。特徴付与ステップでは、第２特徴Ｘ２を第２画像データＤ１２に付与する。この構成によれば、オブジェクト４に関する認識性能の低下の抑制を図ることが可能なデータ作成方法を提供できる。データ作成方法は、コンピュータシステム（データ作成システム１）上で用いられる。つまり、データ作成方法は、プログラムでも具現化可能である。本実施形態に係るプログラムは、本実施形態に係るデータ作成方法を、１以上のプロセッサに実行させるためのプログラムである。

【0036】

（２）詳細
以下、本実施形態に係るデータ作成システム１を備える全体のシステム（以下、「評価システム１００」と呼ぶ）について、図１～図５を参照しながら詳しく説明する。

【0037】

（２．１）全体構成
評価システム１００は、図１に示すように、データ作成システム１と、学習システム２と、推定システム３と、１又は複数台のラインセンサカメラ６（図１では１台のみ図示）とを備える。

【0038】

データ作成システム１、学習システム２、及び推定システム３は、サーバ等から構築されることを想定する。ここでいう「サーバ」は、１台のサーバ装置から構成されることを想定する。つまり、データ作成システム１、学習システム２、及び推定システム３の主な機能が、１台のサーバ装置に設けられていることを想定する。

【0039】

ただし、「サーバ」は、複数台のサーバ装置から構成されてもよい。具体的には、データ作成システム１、学習システム２、及び推定システム３の機能が、それぞれ個別のサーバ装置に設けられてもよいし、これらのうちの２つのシステムが１台のサーバ装置に設けられてもよい。またそのようなサーバ装置が、例えばクラウド（クラウドコンピューティング）を構築してもよい。

【0040】

またサーバ装置は、溶接現場となる工場内に設置されてもよいし、工場の外部（例えば事業本部）に設置されてもよい。データ作成システム１、学習システム２、及び推定システム３の機能がそれぞれ個別のサーバ装置に設けられている場合、各サーバ装置は、他のサーバ装置と通信可能に接続されていることが望ましい。

【0041】

データ作成システム１は、オブジェクト４に関する学習済みモデルＭ１を生成するための学習用データとして用いられる画像データＤ１を作成するように構成される。本開示でいう「学習用データの作成」は、オリジナル学習用データとは別に新しい学習用データを生成することの他に、オリジナル学習用データを更新することにより新しい学習用データを生成することを含み得る。

【0042】

ここでいう学習済みモデルＭ１は、例えばニューラルネットワークを用いたモデル、又は多層ニューラルネットワークを用いた深層学習（ディープラーニング）により生成されるモデルを含み得る。ニューラルネットワークは、例えばＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）、又はＢＮＮ（Bayesian Neural Network：ベイズニューラルネットワーク）等を含み得る。学習済みモデルＭ１は、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-Programmable Gate Array）等の集積回路に、学習済みのニューラルネットワークを実装することで実現されている。学習済みモデルＭ１は、ディープラーニングにより生成されるモデルに限定されない。学習済みモデルＭ１は、サポートベクターマシン、又は決定木等により生成されるモデルでもよい。

【0043】

ここでは、データ作成システム１は、上述の通り、オリジナル学習用データ（第１画像データＤ１１）に対してデータ拡張処理を実行して、学習用データを水増しする機能を有している。以下では、データ作成システム１を備える評価システム１００を利用する者を、単に「ユーザ」と呼ぶことがある。ユーザは、例えば、工場内で溶接工程等の製造工程を監視するオペレータ、又は管理責任者等に相当し得る。

【0044】

データ作成システム１は、図１に示すように、処理部１０と、通信部１６と、表示部１７と、操作部１８とを備える。

【0045】

図１の例では、学習用データ（画像データＤ１）を格納（記憶）するための格納部がデータ作成システム１の外部に設けられている。ただし、データ作成システム１が格納部を更に備えてもよく、その場合、格納部は処理部１０が内蔵するメモリでもよい。画像データＤ１を格納する格納部は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能な不揮発性メモリを含む。

【0046】

データ作成システム１の一部の機能は、サーバと通信可能な情報端末に分散的に設けられてもよい。本開示でいう「情報端末」は、パーソナルコンピュータ（ノートパソコン又は据置型のパソコン）、スマートフォンやタブレット端末等の携帯型の端末等を含み得る。ここでは、表示部１７及び操作部１８の機能が、ユーザが使用する情報端末に設けられている。情報端末には、サーバと通信するための専用のアプリケーションソフトが予めインストールされる。

【0047】

処理部１０は、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（アプリケーション）を実行することで、処理部１０として機能する。プログラムは、ここでは処理部１０のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

【0048】

処理部１０は、通信部１６、表示部１７、及び操作部１８に関する制御処理を実行する。処理部１０の機能は、サーバにあることを想定する。また処理部１０は、画像処理を実行する機能を有しており、図１に示すように、変形部１１と、除去部１２と、特徴取得部１３と、特徴付与部１４とを有している。処理部１０の各部の詳細については、次の欄で説明する。

【0049】

表示部１７は、液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイを構成する。表示部１７は、上述の通り、情報端末に設けられている。表示部１７は、タッチパネル式のディスプレイでもよい。表示部１７は、第１画像データＤ１１及び第２画像データＤ１２に関する情報を表示（出力）する。表示部１７は、第１画像データＤ１１及び第２画像データＤ１２以外にも、学習用データの生成に関連する種々の情報を表示する。

【0050】

通信部１６は、１又は複数台のラインセンサカメラ６と直接的に、或いは生産管理システムの機能を有した別サーバ等を介して間接的に通信するための通信インタフェースである。通信部１６の機能は、処理部１０と同じサーバにあることを想定するが、例えば情報端末に設けられてもよい。通信部１６は、ラインセンサカメラ６から、オリジナル学習用データである第１画像データＤ１１を受信する。

【0051】

第１画像データＤ１１は、上述の通り、一例として距離画像データであり、オブジェクト４を示す画素領域Ｒ１を含む。ただし、第１画像データＤ１１は、輝度画像データでもよい。上述の通り、オブジェクト４は、溶接材Ｂ１３を用いて第１金属板Ｂ１１及び第２金属板Ｂ１２を溶接した際に、第１金属板Ｂ１１及び第２金属板Ｂ１２の境目Ｂ１４に形成されるビードＢ１０である。すなわち、第１画像データＤ１１は、ラインセンサカメラ６の距離画像センサで撮像された、ビードＢ１０を示す画素領域Ｒ１を含むデータである。

【0052】

ラインセンサカメラ６で撮像されたオブジェクト４に関する大量の画像データの中からの、データ拡張処理を適用する対象となる第１画像データＤ１１の選別は、例えば、ユーザからの指示に応じて行われる。評価システム１００は、選別に関する指示を受け付けるユーザインタフェース（操作部１８でもよい）を備えることが好ましい。

【0053】

操作部１８は、マウス、キーボード、及びポインティングデバイス等を含む。操作部１８は、上述の通り、例えばユーザが使用する情報端末に設けられている。表示部１７が、情報端末のタッチパネル式のディスプレイである場合、操作部１８の機能を兼ねてもよい。

【0054】

学習システム２は、データ作成システム１で作成された複数の画像データＤ１（第２画像データＤ１２を複数含む）を含む学習用データセットを用いて、学習済みモデルＭ１を生成する。学習用データセットは、複数の画像データＤ１に対して「良品」又は「不良品」、さらに不良品の場合には不良の種類及び不良の位置を示すラベルを付与することで生成される。不良の種類は、アンダーカット、ピット、又はスパッタ等である。ラベルの付与に関する作業は、ユーザによって操作部１８等のユーザインタフェースを介して評価システム１００に対して行われる。一変形例において、ラベルの付与に関する作業は、画像データＤ１に対してラベルを付与するための機能を有する学習済みモデルによって、行われてもよい。学習システム２は、学習用データセットを用いて、オブジェクト４（ビードＢ１０）の状態（良状態、不良状態、不良の種類、及び不良の位置等）を機械学習することにより、学習済みモデルＭ１を生成する。

【0055】

学習システム２は、新たに取得した学習用データを含む学習用データセットを用いて再学習を行うことで、学習済みモデルＭ１の性能の向上を図ってよい。例えばオブジェクト４（ビードＢ１０）に新しい種類の不良が見つかれば、学習システム２に、新しい不良に関する再学習を行わせることも可能である。

【0056】

推定システム３は、学習システム２で生成された学習済みモデルＭ１を用いて、認識対象となるオブジェクト４における特定状態（良状態、不良状態、不良の種類、不良の位置）に関する推定を行う。推定システム３は、１又は複数台のラインセンサカメラ６と直接的に、或いは生産管理システムの機能を有した別サーバ等を介して間接的に通信可能に構成される。推定システム３は、実際に溶接工程を終えて形成されたビードＢ１０がラインセンサカメラ６で撮像された認識対象画像データＤ３を受信する。

【0057】

推定システム３は、学習済みモデルＭ１を用いて、認識対象画像データＤ３に写るオブジェクト４が「良品」又は「不良品」のどちらであるか、さらに不良品の場合、どの種類の不良であるか、不良がどの位置にあるかを推定する。推定システム３は、認識対象画像データＤ３に対する認識結果（推定結果）を、ユーザが利用する情報端末、又は生産管理システム等に出力する。ユーザは、情報端末を通じて、推定結果を確認できる。また生産管理システムが、推定結果を取得して「不良品」と推定された溶接部品については、次の工程に搬送される前に、破棄するように生産設備を制御してもよい。

【0058】

（２．２）データ拡張処理
処理部１０は、データ拡張処理として「特徴抽出処理」、「オブジェクト抽出処理」、「除去処理」、「変形処理」、及び「特徴付与処理」を実行する機能を有している。具体的には、処理部１０は、図１に示すように、変形部１１と、除去部１２と、特徴取得部１３と、特徴付与部１４と、特徴抽出部１５とを有している。

【0059】

特徴取得部１３は、第２特徴Ｘ２を取得するように構成される。ここでは一例として、第２特徴Ｘ２は、第１画像データＤ１１に存在する線状の第１特徴Ｘ１を含む。特徴取得部１３は、第２特徴Ｘ２として、第１画像データＤ１１から第１特徴Ｘ１を取得する。第１特徴Ｘ１は、特徴抽出部１５により抽出される（「特徴抽出処理」の実行）。つまり、特徴取得部１３は、特徴抽出部１５により第１画像データＤ１１から抽出された第１特徴Ｘ１を、第２特徴Ｘ２として取得する。

【0060】

本実施形態では、線状の第１特徴Ｘ１は、直線状の特徴Ｘ１１を含む。上述の通り、隣り合う２つのスキャンライン間の境界に関する特徴である直線状のスジ７が、直線状の特徴Ｘ１１に相当する。つまり、直線状の特徴Ｘ１１は、オブジェクト４を撮像したラインセンサカメラ６に依存して第１画像データＤ１１上における複数のスキャンライン間の境界（スジ７）に関する特徴である。図２及び図３Ａでは、第１金属板Ｂ１１及び第２金属板Ｂ１２は、Ｘ軸（横方向）に沿って並んでいて、ビードＢ１０は、Ｙ軸（縦方向）に沿って長尺に形成されている。図３Ａは、図２のビードＢ１０と複数の直線状のスジ７を模式的に図示したものであり、複数の直線状のスジ７が、Ｘ軸に沿って延びている。つまり、本実施形態では一例として、第１画像データＤ１１は、複数の線状の第１特徴Ｘ１を含み、特に複数の直線状の特徴Ｘ１１を含む。複数の線状の第１特徴Ｘ１は、互いに線形性について相関がある。ここでは、複数の複数の線状の第１特徴Ｘ１は、互いに略平行な線形性を有する。

【0061】

以下、特徴抽出部１５による特徴抽出処理の一例について、具体的に説明する。

【0062】

特徴抽出部１５は、例えば、線状の第１特徴Ｘ１を特定するために、ユーザから直線状の特徴Ｘ１１に関する特徴情報を取得する。ユーザは、操作部１８等を介して特徴情報をデータ作成システム１に入力する。

【0063】

具体的には、ユーザは、例えば、表示部１７により画面表示される第１画像データＤ１１を目視で確認し、スキャンラインに起因して発生している多数の直線状のスジ７の方向及び位置等を特定する。ユーザは、操作部１８を用いて、スジ７の方向（例えばＸ軸に対する傾き等）を指定するための操作入力を実行する。すなわち、特徴情報は、スジ７の方向（この場合、Ｘ軸に沿った方向）を指定する情報を含む。特徴情報は、スジ７の線形を表す関数データを含んでもよい。或いは特徴情報は、１又は複数のスジ７の画素領域の位置座標を直接指定する情報を含んでもよい。スジ７の直接指定を行う場合の一具体例では、まず、スジ７に含まれる２点を、ユーザが、マウスポインタで特定してマウスをクリックすることで指定する。特徴抽出部１５は、指定された２点を通る直線を算出し、算出した直線を第１画像データＤ１１に重畳させる。表示部１７は、直線が重畳された第１画像データＤ１１と、終了ボタンとを、表示する。ユーザは、表示された直線を確認し、問題がなければ、マウスポインタで終了ボタン選択してマウスをクリックする。特徴抽出部１５は、算出した直線を示す情報を、特徴情報として取得する。特徴抽出部１５は、特徴情報を処理部１０のメモリ等に記憶する。特徴抽出部１５は、例えば、スジ７を特定するための情報を処理部１０のメモリ等に記憶し、その情報を用いて、第１画像データＤ１１から特徴情報を自動的に抽出する機能を有してもよい。

【0064】

特徴抽出部１５は、特徴情報に基づき、第１画像データＤ１１におけるスキャンラインごとの撮像対象の高さ（画素値）の差、言い換えると撮像対象から距離画像センサまでの距離の差に関する情報を取得（抽出）する。撮像対象は、オブジェクト４、又はオブジェクト４の周辺の第１及び第２金属板Ｂ１１、Ｂ１２に相当する。ここでいう「高さ」とは、Ｘ－Ｙ平面に直交する方向の成分であり、オブジェクト４の高さは、例えば、オブジェクト４が設置される設置面（仮想面でもよい）からの高さである。

【0065】

つまり、あるスキャンラインと次のスキャンラインとで、実際には例えば略同じ高さであっても、多軸ロボットのブレ等に起因して僅かな高さ（画素値）の差が生じて、結果、スジ７（第１特徴Ｘ１）が現れている。言い換えると、直線状の特徴Ｘ１１は、ラインセンサカメラ６からオブジェクト４までの距離の差に応じて発生し得る複数のスキャンライン間の高さの差に対応する画素値の差に基づく特徴である。特徴抽出部１５は、各スキャンラインの高さに関する情報（高さの平均値や分散値でもよい）を取得し、処理部１０のメモリ等に記憶する。以下、スキャンラインの高さに関する情報を、単に「スキャンライン情報」と呼ぶことがある。スキャンライン情報は、着目するスキャンラインの各点（画素）に対して、スキャンラインとは異なる方向に隣接する画素の値との差の集合の情報でもよい。またはスキャンライン情報は、上記の差の平均値と分散値でもよい。

【0066】

変形部１１は、オブジェクト４（ビードＢ１０）を示す画素領域Ｒ１を含む第１画像データＤ１１から、オブジェクト４に関する変形を施した第２画像データＤ１２を生成するように構成される。つまり、変形部１１は、第１画像データＤ１１のビードＢ１０をアフィン変換又は射影変換等の画像処理により変形して（「変形処理」の実行）、第２画像データＤ１２を生成する。オブジェクト４に関する変形は、オブジェクト４の回転、反転、平行移動、拡大、及び縮小からなる群から選択される少なくとも１つを含み得る。ここでは一例として、「オブジェクト４に関する変形」は、オブジェクト４の回転を含む。

【0067】

変形部１１は、変形処理を実行する前に、まず、第１画像データＤ１１において、画素値の差に基づき、オブジェクト４の画素領域に関する情報を抽出する（「オブジェクト抽出処理」の実行）。変形部１１は、例えばエッジ検出処理等の画像処理によってビードＢ１０の画素領域を抽出する。図３Ｂでは、説明の便宜上、変形部１１が抽出したビードＢ１０の画素領域をドットハッチングで示す。オブジェクト４の画素領域は、ユーザからの操作部１８による指定に応じて設定されてもよい。

【0068】

変形部１１は、オブジェクト４の画素領域を抽出すると、例えば、Ｘ－Ｙ平面上におけるオブジェクト４の中心Ｅ１（図３Ｃ及び図４Ａ参照：重心でもよい）を通り、かつＸ－Ｙ平面と直交する回転軸を中心に時計回りに９０度回転させる（図４Ａ参照）。ただし、回転軸の位置、回転方向及び回転角度は、ユーザからの操作部１８による指定に応じて設定変更可能とする。すなわち、回転方向は、時計回りに限定されず、反時計回りでもよいし、回転角度も９０度に限定されず、３０度、６０度、又は１８０度等でもよい。

【0069】

変形部１１は、変形処理として、オブジェクト４の回転に加えて、別の変形（拡大、縮小、又は反転等）を更に行って第２画像データＤ１２を作成してもよい。

【0070】

除去部１２は、第１画像データＤ１１に存在する線状の第１特徴Ｘ１を除去する（「除去処理」の実行）。ここでは一例として、除去部１２は、第１画像データＤ１１から第１特徴Ｘ１を除去する。除去部１２は、第１画像データＤ１１から、特徴抽出部１５によって抽出された第１特徴Ｘ１を除去する。つまり、除去処理の実行後に、上述した変形処理が実行される。変形部１１は、第１特徴Ｘ１が除去された第１画像データＤ１１から、第２画像データＤ１２を生成する。そのため、例えば変形後に第１特徴Ｘ１を除去する場合に比べて、第１特徴Ｘ１の特定が容易となる。

【0071】

除去処理の一例について具体的に説明する。除去部１２は、特徴抽出部１５（特徴抽出処理）で抽出したスキャンライン情報に基づき、第１画像データＤ１１において各スキャンラインの高さが小さくなる方向（奥行き方向）に各スキャンラインを平行移動させる。つまり、除去部１２は、スキャンライン間の高さ（画素値）を揃えて高さの差をなくす画像処理を行う。その結果、スキャンライン間の境界に関する特徴（第１特徴Ｘ１、つまりスジ７）が消えることになる（図３Ｃ参照）。

【0072】

特徴付与部１４は、第２特徴Ｘ２を第２画像データＤ１２に付与する（「特徴付与処理」の実行）。上述の通り、第２特徴Ｘ２は、第１画像データＤ１１に存在する線状の第１特徴Ｘ１を含む。特徴付与部１４は、特徴抽出部１５が第１画像データＤ１１から抽出し特徴取得部１３が取得した第１特徴Ｘ１を、第２画像データＤ１２に付与する。つまり、除去処理及び変形処理の実行後に、特徴付与処理が実行される。

【0073】

特徴付与処理の一例について具体的に説明する。特徴付与部１４は、特徴抽出部１５（特徴抽出処理）で抽出したスキャンラインの高さ（画素値）に関する情報に基づき、回転後のオブジェクト４を含む第２画像データＤ１２に、Ｘ軸に沿った複数のスジ７（第１特徴Ｘ１）を付与する（図４Ｂ参照）。ここで本実施形態では、回転前と回転後とでオブジェクト４を含む画素領域Ｒ１のＹ軸の方向における寸法が変化している。すなわち、図３Ａ～図４Ｂに示すように、回転後の画素領域Ｒ１のＹ軸の方向における寸法が、回転前の画素領域Ｒ１のＹ軸の方向における寸法よりも小さい。このような場合、特徴付与部１４は、例えば、回転前の画素領域Ｒ１のＹ軸の方向における中央領域（図３Ｂの一点鎖線Ｆ１参照）のスキャンライン情報を用いる。図３Ｂの一点鎖線Ｆ１で囲まれた領域は、回転後の画素領域Ｒ１と略等しいサイズである。特徴付与部１４は、上記中央領域内の複数のスキャンラインの高さ（画素値）を、回転後の画素領域Ｒ１におけるＸ軸の両端間にわたって再現することで、Ｘ軸に沿った方向のスジ７（第１特徴Ｘ１）が再現され得る。

【0074】

結果的に、特徴付与処理が実行された図４Ｂに示す第２画像データＤ１２は、あたかもＸ軸の方向に長尺のオブジェクト４を実際にＸ軸に沿ってスキャニングして撮像された画像データのように作成される。

【0075】

第２画像データＤ１２に付与されるラベル（認識対象となるオブジェクト４における特定状態）としては、予め第１画像データＤ１１に付与されているラベル（オブジェクト４における特定状態）と同じものが用いられ得る。例えば、第１画像データＤ１１のラベル（オブジェクト４における特定状態）が「良品」である場合には、第２画像データＤ１２のラベル（オブジェクト４における特定状態）も良品となり得る。また、第１画像データＤ１１の特定の領域（オブジェクト４を示す画素領域）に対して特定状態が割り当てられている場合には、第２画像データＤ１２における変形後の特定の領域に対しても同じ特定状態が割り当てられ得る。例えば、第１画像データ１１の特定の領域の特定状態（不良の種類）がスパッタである場合には、第２画像データ１２における変形後の特定の領域の特定状態もスパッタとして扱い得る。

【0076】

ところで、回転後の画素領域Ｒ１のＹ軸の方向における寸法が、回転前の画素領域Ｒ１のＹ軸の方向における寸法よりも大きい場合には、第１画像データＤ１１から抽出したスキャンライン情報では不足する領域が発生し得る。その場合、特徴付与部１４は、抽出したスキャンライン情報に基づき、例えば特定のスキャンラインの高さ（画素値）を繰り返し用いることで不足する領域の画素を補間してもよい。

【0077】

（２．３）動作
以下、データ作成システム１の動作の一例について図５を参照しながら説明する。ただし、以下の動作の順序は単なる一例であり、特に限定されない。

【0078】

データ作成システム１の処理部１０は、データ拡張処理を実行するためにオリジナル学習用データである第１画像データＤ１１を取得する（Ｓ１）。第１画像データＤ１１は、例えば、「不良（状態）」に該当するビードＢ１０が撮像されたデータである。

【0079】

処理部１０は、特徴抽出処理を実行して、第２特徴Ｘ２として、第１画像データＤ１１から、第２特徴Ｘ２としての第１特徴Ｘ１（スジ７）に関するスキャンライン情報を取得（抽出）する（Ｓ２）。

【0080】

また処理部１０は、オブジェクト抽出処理を実行して、第１画像データＤ１１からオブジェクト４の画素領域に関する情報を取得（抽出）する（Ｓ３）。

【0081】

次に処理部１０は、除去処理を実行して、第１画像データＤ１１から第１特徴Ｘ１を除去する（Ｓ４）。

【0082】

さらに処理部１０は、変形処理を実行して、オブジェクト４の画素領域（ここではオブジェクト４と、第１及び第２金属板Ｂ１１，Ｂ１２とを含む画素領域Ｒ１）を時計周りに９０度回転させた第２画像データを生成する（Ｓ５）。

【0083】

そして処理部１０は、特徴付与処理を実行して、スキャンライン情報に基づき、変形後の第２画像データＤ１２の画素領域Ｒ１に、第２特徴Ｘ２としての第１特徴Ｘ１（スジ７）を付与する（Ｓ６）。

【0084】

処理部１０は、第２特徴Ｘ２が付与された第２画像データＤ１２を出力する（Ｓ７）。第２画像データＤ１２は、学習用データ（画像データＤ１）として、オリジナルの第１画像データＤ１１と同じ「不良」のラベルが付与されて格納部に格納される。

【0085】

［利点］
上述した通り、本実施形態に係るデータ作成システム１では、線状の第１特徴Ｘ１が画像データ（上記例では第１画像データＤ１１）から除去される。そのため、オブジェクト４と共に変形が施されて線状の第１特徴Ｘ１の線形性が崩れる、つまり例えばＸ軸とは異なる方向（Ｙ軸の方向）に沿ったスジ７に置き換わる可能性が低減される。その結果、本来、Ｘ軸に沿ってスキャニングされた画像データにも関わらず、Ｘ軸とは異なる方向に沿ったスジ７が存在するという、実際には起こり得ない画像データが作成されてしまう可能性が低減される。

【0086】

特に本実施形態に係るデータ作成システム１では、第１画像データＤ１１とは別の方向からオブジェクト４を実際に撮像した画像データにより近い形で疑似的にデータ作成（例えばデータ拡張）を行うことができる。このような第２画像データＤ１２を学習用データに用いて生成された学習済みモデルＭ１で、認識対象画像データＤ３におけるオブジェクト４の状態を推定すれば、線状の第１特徴Ｘ１の線形性の崩れに起因したオブジェクト４の状態の誤認識が発生しにくくなる。結果的に、オブジェクト４に関する認識性能の低下の抑制を図ることができる。

【0087】

また線状の第１特徴Ｘ１の除去により、その線形性の崩れを抑制しつつも、第２特徴Ｘ２を付与することで、多様な学習用データを用意できる。

【0088】

また本実施形態に係るデータ作成システム１では、第２特徴Ｘ２は、第１画像データＤ１１に存在する線状の第１特徴Ｘ１を含む。そのため、例えば第２特徴Ｘ２を別の画像データから取得する場合に比べて、実際に存在し得る画像データにより近い形で、疑似的にデータ作成（例えばデータ拡張）を行うことができる。

【0089】

また本実施形態では、第１特徴Ｘ１は直線状の特徴Ｘ１１を含み、直線状の特徴Ｘ１１は、オブジェクト４を撮像したラインセンサカメラ６に依存して第１画像データＤ１１上における複数のスキャンライン間の境界に関する特徴（スジ７）である。そのため、複数のスキャンライン間の境界に関する特徴の変形が原因で実際に存在し得る画像データからかけ離れてしまうことを抑制できる。

【0090】

（３）変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係るデータ作成システム１と同様の機能は、データ作成方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。

【0091】

以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。以下では、上記実施形態を「基本例」と呼ぶこともある。

【0092】

本開示におけるデータ作成システム１は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示におけるデータ作成システム１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。

【0093】

また、データ作成システム１における複数の機能が、１つのハウジング内に集約されていることは必須の構成ではない。例えば、データ作成システム１の構成要素は、複数のハウジングに分散して設けられていてもよい。

【0094】

反対に、データ作成システム１における複数の機能が、１つのハウジング内に集約されてもよい。さらに、データ作成システム１の少なくとも一部の機能、例えば、データ作成システム１の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。

【0095】

（３．１）変形例１
以下、本開示における変形例１について、図６及び図７を参照しながら説明する。以下では基本例のデータ作成システム１と実質的に同じ構成要素については、同じ符号を付与して適宜にその説明を省略する場合がある。

【0096】

基本例では、線状の第１特徴Ｘ１に相当するスキャンライン間の境界に関する特徴（スジ７）がオリジナルの画像データ（第１画像データＤ１１）に存在していた。本変形例では、オリジナルの画像データ（第４画像データＤ１４：図７参照）に、スキャンラインによるスジ７が存在しない点で、基本例と相違する。

【0097】

具体的には、本変形例のデータ作成システム１Ａは、図６に示すように、特徴取得部１３Ａと特徴付与部１４Ａと特徴抽出部１５Ａとを備える。特徴取得部１３Ａ、特徴付与部１４Ａ及び特徴抽出部１５Ａの機能は、処理部１０に設けられている。また本変形例の処理部１０では、基本例の処理部１０と違って、変形部１１及び除去部１２の機能が省略されている。データ作成システム１Ａでは、基本例と異なり、２つの画像データ（第３画像データＤ１３及び第４画像データＤ１４）を入力画像データとして取得する。

【0098】

特徴取得部１３Ａは、線状の特徴を取得する。ここでは一例として、線状の特徴は、オブジェクト４を撮像するラインセンサカメラ６に依存する複数のスキャンライン間の境界に関する特徴（第３特徴Ｘ３、スジ７）である。ここでは第３特徴Ｘ３は、第３画像データＤ１３に存在する。第３特徴Ｘ３は、特徴抽出部１５Ａにより抽出される。特徴抽出部１５Ａは、入力された第３画像データＤ１３から、第３特徴Ｘ３として、スキャンラインの高さ（画素値）に関する情報（スキャンライン情報）を抽出する。特徴取得部１３Ａは、特徴抽出部１５Ａにより抽出された第３特徴Ｘ３を、線状の特徴として取得する。

【0099】

第３画像データＤ１３は、例えば、ラインセンサカメラ６で実際に撮像された画像データであり、オブジェクト４（基本例と同様にビードＢ１０）を示す画素領域Ｒ１を含む。また第３画像データＤ１３は、基本例のスジ７に関する第１特徴Ｘ１（直線状の特徴Ｘ１１）に相当する複数の線状の特徴（第３特徴Ｘ３）を含む。

【0100】

第３画像データＤ１３では、基本例の第１画像データＤ１１と同様に、オブジェクト４の長手方向はＹ軸に沿っており、スキャンラインは、Ｘ軸に沿っている。したがって、スジ７（第３特徴Ｘ３）は、Ｘ軸に沿っている。

【0101】

一方、第４画像データＤ１４は、例えば、オブジェクト４（基本例と同様にビードＢ１０）及び母材（第１及び第２金属板Ｂ１１，Ｂ１２）が描画されたＣＧ画像である。第４画像データＤ１４は、実際に撮像された画像を部分的に嵌め込んで作成されてもよい。ただし、第４画像データＤ１４は、上述の通り、スキャンラインによるスジ７が存在しないデータである。

【0102】

ここで第４画像データＤ１４では、基本例の第２画像データＤ１２と同様に、オブジェクト４の長手方向はＸ軸に沿っている。つまり、第４画像データＤ１４は、スジ７（第３特徴Ｘ３）が無い点を除けば、第３画像データＤ１３を時計回りに９０度回転させたような画像データである。

【0103】

特徴付与部１４Ａは、オブジェクト４を示す画素領域Ｒ１を含む画像データ（第４画像データＤ１４）に、線状の特徴（第３特徴Ｘ３）を付与する。特徴付与部１４Ａは、特徴取得部１３Ａで抽出したスキャンライン情報に基づき、第４画像データＤ１４に、Ｘ軸に沿った複数のスジ７（第３特徴Ｘ３）を付与する。ここで第４画像データＤ１４の画素領域Ｒ１のＹ軸の方向における寸法が、第３画像データＤ１３の画素領域Ｒ１のＹ軸の方向における寸法よりも小さい。そこで、基本例と同様に、特徴付与部１４Ａは、例えば、第３画像データＤ１３の画素領域Ｒ１のＹ軸の方向における中央領域のスキャンライン情報を用いる。特徴付与部１４Ａは、上記中央領域内の複数のスキャンラインの高さ（画素値）を、第４画像データＤ１４の画素領域Ｒ１におけるＸ軸の両端間にわたって再現することで、Ｘ軸に沿った方向のスジ７（第３特徴Ｘ３）が再現され得る。

【0104】

本変形例によれば、複数のスキャンライン間の境界に関する線状の特徴（第３特徴Ｘ３）を画像データ（第４画像データＤ１４）に付与する。そのため、基本例と同様に、実際に存在し得る画像データにより近い形で、疑似的にデータ作成（例えばデータ拡張）を行うことができる。結果的に、オブジェクト４に関する認識性能の低下の抑制を図ることができる。

【0105】

なお、特徴取得部１３Ａが取得し、特徴付与部１４Ａが追加する「スキャンライン情報」は、特徴抽出部１５Ａが抽出した第３特徴Ｘ３そのものに限られない。「スキャンライン情報」は、例えば、スキャンラインの高さの平均値と分散値でもよいし、着目するスキャンラインの各点（画素）に対して、スキャンラインとは異なる方向に隣接する画素の値との差の集合の情報でもよい。または「スキャンライン情報」は、上記の差の平均値と分散値でもよい。「スキャンライン情報」としてスキャンラインの高さの平均値の差を再現した場合には、スキャンラインを追加した部分の窪み、出っ張りが平坦になるのに対し、スキャンライン部分の窪み、または、出っ張りの中にも微妙な凹凸が再現される。画像データが輝度画像データの場合には、スキャンライン内での色の微妙な変化を再現することが出来る。

【0106】

本変形例のデータ作成システム１Ａと同様の機能は、データ作成方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。すなわち、本変形例のデータ作成方法は、オブジェクト４に関する学習済みモデルＭ１を生成するための学習用データとして用いられる画像データ（第４画像データＤ１４）を作成するデータ作成方法である。データ作成方法は、特徴取得ステップと、特徴付与ステップと、を含む。特徴取得ステップでは、線状の特徴（例えば第３特徴Ｘ３）を取得する。特徴付与ステップでは、オブジェクト４を示す画素領域Ｒ１を含む画像データ（第４画像データＤ１４）に、線状の特徴（第３特徴Ｘ３）を付与する。

【0107】

（３．２）変形例２
以下、本開示における変形例２について、図８～図９Ｂを参照しながら説明する。以下では基本例のデータ作成システム１と実質的に同じ構成要素については、同じ符号を付与して適宜にその説明を省略する場合がある。

【0108】

基本例では、変形部１１によって施されるオブジェクト４に関する変形が、回転であった。しかし、オブジェクト４に関する変形は、回転に限定されない。オブジェクト４に関する変形は、オブジェクト４の形状（輪郭等）の変形を含んでもよい。具体的には、オブジェクト４に関する変形が、回転の代わりに又は回転に加えて、例えばオブジェクト４の輪郭等の形状の変形（平行移動、拡大、及び縮小等の少なくとも１つ）を含んでもよい。

【0109】

本変形例では、オブジェクト４に関する変形が、以下に説明する通り、オブジェクト４の形状の変形である。以下では、変形部１１の変形処理にのみ着目して説明する。

【0110】

例えば、変形部１１は、図８に示すように、第１画像データＤ１１上に複数の仮想線Ｌ１（直線）と複数の基準点Ｐ１とを設定し、その設定後に、以下の２種類の変形（第１変形及び第２変形）を実行するように構成される。つまり、変形部１１は、仮想線（後述する第２線Ｌ１２）上に複数の基準点Ｐ１を設定し、複数の基準点Ｐ１の少なくとも１つの基準点Ｐ１を移動させることにより、オブジェクト４の形状の変形を行う。

【0111】

複数の仮想線Ｌ１は、各々がＹ軸に平行な一対の第１線Ｌ１１と、各々がＸ軸に平行な８本の第２線Ｌ１２と、を含む。変形部１１は、８本の第２線Ｌ１２を、Ｙ軸に沿って等間隔に並ぶように設定する。ただし、仮想線Ｌ１の本数は、特に限定されない。Ｙ軸の方向に隣り合う２本の第２線Ｌ１２の間隔は、記憶部（例えば処理部１０のメモリ）に予め設定されてもよいし、ユーザからの操作部１８による指定に応じて設定変更されてもよい。間隔の設定変更に応じて、第２線Ｌ１２の本数も変更されてよい。以下では、説明の便宜上、８本の第２線Ｌ１２を、それぞれ、図８の上から順に第２線Ｌ１２１～１２８と呼ぶことがある。

【0112】

本変形例の変形部１１は、直線状の特徴Ｘ１１に基づき、スジ７の方向（この場合、Ｘ軸に沿った方向）に沿うように８本の第２線Ｌ１２の向きを設定する。

【0113】

ここでは、一対の第１線Ｌ１１と、８本の第２線Ｌ１２のうちＹ軸の方向の両端にある２本の第２線Ｌ１２１、Ｌ１２８とで、ビードＢ１０の周囲を囲むように設定する。以下、一対の第１線Ｌ１１と上記２本の第２線Ｌ１２１、Ｌ１２８とからなる矩形枠をバウンディングボックスＢＸ１（図８参照）と呼ぶことがある。変形部１１は、画素値の差に基づき、ビードＢ１０の輪郭形状（画素領域）を特定する。変形部１１は、例えばエッジ検出処理等の画像処理によってビードＢ１０の画素領域を特定する。そして、変形部１１は、第２線Ｌ１２がスジ７の方向に沿うように、かつビードＢ１０の全体を囲むようにバウンディングボックスＢＸ１を規定する（図８参照）。

【0114】

複数の基準点Ｐ１は、一対の第１線Ｌ１１と、８本の第２線Ｌ１２とがそれぞれ交わる交点に設定される合計１６つの第１点Ｐ１１と、８本の第２線Ｌ１２と、ビードＢ１０の輪郭とが交わる交点に設定される合計１６つの第２点Ｐ１２とを含む。ただし、第２線Ｌ１２１は、ビードＢ１０の輪郭との交点が存在しないため、第２線Ｌ１２１の第２点Ｐ１２は、第２線Ｌ１２２の第２点Ｐ１２と、Ｘ軸の方向において同じ位置に設定される。同様に、第２線Ｌ１２８は、ビードＢ１０の輪郭との交点が存在しないため、第２線Ｌ１２８の第２点Ｐ１２は、第２線Ｌ１２７の第２点Ｐ１２と、Ｘ軸の方向において同じ位置に設定される。

【0115】

本変形例では一例として、変形部１１は、規定したバウンディングボックスＢＸ１からビードＢ１０の輪郭がはみ出ないように変形処理を実行する。

【0116】

第１変形は、図９Ａに示すように、隣り合う２つの第２線Ｌ１２間の距離が長く、或いは短くなるような、拡大／縮小変形である。図９Ａの例では、変形部１１は、第２線Ｌ１２１、Ｌ１２２間の距離を、図８よりも長くする、つまり第２線Ｌ１２１、Ｌ１２２間の範囲内のオブジェクト４の領域がＹ軸に沿って拡大するように変形する。変形部１１は、オブジェクト４の領域の拡大（引き延ばし）の際に線形補間等で適宜に画素の補間を行う。この場合、第２線Ｌ１２２は、当該線上の４つの基準点Ｐ１と共にＹ軸の正の側（下方）へ移動する。また図９Ａの例では、変形部１１は、第２線Ｌ１２２、Ｌ１２３間の距離を、図８よりも短くする、つまり第２線Ｌ１２２、Ｌ１２３間の範囲内のオブジェクト４の領域がＹ軸に沿って縮小するように変形する。この場合、第２線Ｌ１２３は、当該線上の４つの基準点Ｐ１と共にＹ軸の負の側（上方）へ移動する。

【0117】

他の第２線Ｌ１２について、図９Ａの例では、第２線Ｌ１２４は、当該線上の４つの基準点Ｐ１と共にＹ軸の負の側（上方）へ移動する。第２線Ｌ１２５、Ｌ１２６、及びＬ１２７は、各線上の４つの基準点Ｐ１と共にＹ軸の正の側（下方）へ移動する。

【0118】

どの程度の拡大／縮小を実行するかを指定するパラメータについては、記憶部（例えば処理部１０のメモリ）に予め設定されてもよいし、処理部１０が自動的にランダムで設定してもよいし、ユーザからの操作部１８による指定に応じて設定されてもよい。

【0119】

第２変形は、図９Ｂに示すように、各第２線Ｌ１２上にある４つの基準点Ｐ１のうち、少なくとも１つの基準点Ｐ１（ここでは一例としてビードＢ１０の輪郭との交点に設定される２つの第２点Ｐ１２）を当該第２線Ｌ１２上で移動させるような変形である。つまり、変形部１１は、オブジェクト４の形状を、線状の第１特徴Ｘ１（ここでは直線状の特徴Ｘ１１）に沿った１つ以上の仮想線（第２線Ｌ１２）に沿って変形した第２画像データＤ１２を生成する。第２変形は、例えば、一対の第１線Ｌ１１と８つの第２線Ｌ１２とで構成される７つの矩形領域に対して二次元射影変換を行って台形状に変形する。

【0120】

図９Ｂの例では、変形部１１は、第２線Ｌ１２１、Ｌ１２２の各々の２つの第２点Ｐ１２が互いに近づく方向に移動する、つまり当該２つの第２点Ｐ１２間の範囲内のオブジェクト４の領域がＸ軸に沿って縮小するように変形する。

【0121】

また図９Ｂの例では、変形部１１は、第２線Ｌ１２３の２つの第２点Ｐ１２がいずれもＸ軸の負の側に移動する、つまり当該２つの第２点Ｐ１２間の範囲内のオブジェクト４の領域がＸ軸の負の側に移動するように変形する。

【0122】

また図９Ｂの例では、変形部１１は、第２線Ｌ１２４、Ｌ１２５の各々の２つの第２点Ｐ１２が互いに離れる方向に移動する、つまり当該２つの第２点Ｐ１２間の範囲内のオブジェクト４の領域がＸ軸に沿って拡大するように変形する。

【0123】

さらに図９Ｂの例では、変形部１１は、第２線Ｌ１２６～Ｌ１２８の各々の２つの第２点Ｐ１２がいずれもＸ軸の正の側に移動する、つまり当該２つの第２点Ｐ１２間の範囲内のオブジェクト４の領域がＸ軸の正の側に移動するように変形する。

【0124】

各基準点Ｐ１（第２点Ｐ１２）の、第２線Ｌ１２上における移動量は、記憶部（例えば処理部１０のメモリ）に予め設定されてもよいし、処理部１０が自動的にランダムで設定してもよいし、ユーザからの操作部１８による指定に応じて設定されてもよい。移動量には、上限値（例えば第２線Ｌ１２の長さの５０％等）が設定されていることが望ましい。

【0125】

本変形例では、変形部１１は、仮想線（第２線Ｌ１２）上に設定された複数の基準点Ｐ１の並び順を維持しながら、少なくとも１つの基準点Ｐ１を移動させる。つまり、変形部１１は、例えば、ある第２線Ｌ１２上の２つの第２点Ｐ１２の一方が、他方を超えて反対側に移動したり、或いは第１点Ｐ１１を超えて反対側に移動したりすることがないように基準点Ｐ１を移動させる。複数の基準点Ｐ１の並び順を維持して変形を行うことで、第２画像データＤ１２が、実際に存在し得る画像データからかけ離れてしまうことを抑制できる。

【0126】

ここでは変形部１１は、第１変形及び第２変形の両方を行うことを想定する。ただし、変形部１１は、第１変形及び第２変形の何れか一方のみを行ってもよい。また、変形部１１は、第１変形及び第２変形をこの順番に行うことを想定するが、処理の順番は特に限定されず、先に第２変形を行ってから第１変形を行ってもよい。データ作成システム１は、操作部１８等を通じて、第１変形及び第２変形のいずれを実行させるか、及び、第１変形及び第２変形の両方を実行させる場合、その処理の順番を設定できることが好ましい。

【0127】

変形部１１は、第１変形及び第２変形の少なくとも一方に加えて、基本例のような回転、又は反転等を行って第２画像データＤ１２を作成してもよい。

【0128】

なお、上記の例では、複数の第２点Ｐ１２は、各第２線Ｌ１２とビードＢ１０の輪郭との交点に設定されている。しかし、複数の第２点Ｐ１２は、各第２線Ｌ１２上において所定の間隔で設定されてもよい。所定の間隔は、ユーザ側で指定できてもよい。

【0129】

（３．３）変形例３
データ作成システム１において、特徴抽出部１５を備える処理装置と、特徴付与部１４を備える処理装置とは、異なる装置であってもよい。例えば、データ作成システム１において、特徴抽出部１５を備える処理装置（以下、「第１処理装置」）１１０と、それ以外の処理を行う処理装置（以下、「第２処理装置」）１２０とが、異なる装置であってもよい。

【0130】

例えば、図１０に示すように、第１処理装置１１０は、処理部（以下、「第１処理部」）１０１と、通信部（以下、「第１通信部」）１６１と、表示部１７と、操作部１８と、を備える。第１処理装置１１０の第１処理部１０１は、特徴抽出部１５を備えている。

【0131】

第１通信部１６１は、ラインセンサカメラ６から、オリジナル学習用データである第１画像データＤ１１を受信する。

【0132】

特徴抽出部１５は、第１画像データＤ１１から、線状の第１特徴Ｘ１を抽出する。

【0133】

第１通信部１６１（送信部）は、特徴抽出部１５で抽出された第１特徴Ｘ１を示す情報Ｄ２０を、第２処理装置１２０へ出力（送信）する。

【0134】

第２処理装置１２０は、処理部（以下、「第２処理部」）１０２と、通信部（以下、「第２通信部」）１６２と、を備える。第２処理装置１２０の第２処理部１０２は、変形部１１と、除去部１２と、特徴取得部１３と、特徴付与部１４と、を備えている。

【0135】

第２通信部１６２は、ラインセンサカメラ６から、第１画像データＤ１１を受信する。

【0136】

第２通信部１６２（受信部）は、第１特徴Ｘ１を示す情報Ｄ２０を、受信する。

【0137】

特徴取得部１３は、情報Ｄ２０に含まれる第１特徴Ｘ１を、第２特徴Ｘ２として取得する。つまり、特徴取得部１３は、第２特徴Ｘ２として、第１処理装置１１０の特徴抽出部１５で抽出され第１処理装置１１０から送信される第１特徴Ｘ１を、取得する。

【0138】

除去部１２は、第１画像データＤ１１に存在する線状の第１特徴Ｘ１を除去する。変形部１１は第１画像データＤ１１から、オブジェクト４に関する変形を施した第２画像データＤ１２を生成する。特徴付与部１４は、特徴取得部１３で取得された第２特徴Ｘ２を、第２画像データＤ１２に付与する。

【0139】

第２処理装置１２０は、例えば第２通信部１６２によって、生成した画像データ（第２特徴Ｘ２が付与された第２画像データＤ１２）を第１処理装置１１０へ送信してもよい。その場合、ユーザは、受け取った画像データを用いて、学習システム２により学習済みモデルＭ１を生成してもよい。この学習済みモデルＭ１は、第１画像データＤ１１から第１特徴Ｘ１を除去しオブジェクト４に関する変形を施した第２画像データＤ１２に第２特徴Ｘ２を付与した画像データに対して、オブジェクト４の特定状態に関する推定について第１画像データＤ１１と同等の推定結果を出力することとなる。

【0140】

第２処理装置１２０は、生成した画像データを、学習システムを備える外部のサーバへ送信してもよい。外部のサーバの学習システムは、画像データ（第２特徴Ｘ２が付与された第２画像データＤ１２）としての学習用データを含む学習用データセットを用いて、学習済みモデルＭ１を生成する。この学習済みモデルＭ１は、第１画像データＤ１１から第１特徴Ｘ１を除去しオブジェクト４に関する変形を施した第２画像データＤ１２に第２特徴Ｘ２を付与した画像データに対して、オブジェクト４の特定状態に関する推定について第１画像データＤ１１と同等の推定結果を出力することとなる。ユーザは、外部のサーバから、生成された学習済みモデルＭ１を受け取ってもよい。

【0141】

第２画像データＤ１２には、第１画像データＤ１１と同じラベルが付与される。そのため、十分に学習を行うことで、学習済みモデルＭ１は、第２画像データＤ１２に第２特徴を付与した画像データに対して、オブジェクト４の特定状態に関する推定について第１画像データＤ１１と同等の推定結果を出力するモデルとすることができる。

【0142】

（３．４）その他の変形例
以下、その他の変形例について列記する。

【0143】

本開示でいう「画像データ」は、イメージセンサで取得する画像データに限らず、例えばＣＧ画像等の二次元データであってもよいし、或いは基本例で説明したように距離画像センサで取得した一次元データを並べて構築した二次元データであってもよい。また「画像データ」は、三次元以上のデータであってもよい。また本開示における「画素」は、実際にイメージセンサで取得した画像の画素に限らず、二次元データの各要素であってもよい。

【0144】

基本例では、第１画像データＤ１１は、オブジェクト４（ビードＢ１０）を、多軸ロボットの送り制御によってラインセンサカメラ６にスキャニングを行わせて撮像された画像データである。しかし、第１画像データＤ１１は、例えば、オブジェクト４をステージ（検査台）上に載せ、ステージ側を移動させて撮像装置でスキャニングを行わせて撮像された画像データでもよい。

【0145】

基本例では、第１画像データＤ１１は、実際に撮像装置（ラインセンサカメラ６）により撮像された画像データである。しかし、第１画像データＤ１１は、スキャンラインによるスジ７を模式的に描画したＣＧ画像データでもよい。

【0146】

基本例では、直線状の特徴Ｘ１１は、スキャンライン間の境界に関する特徴（スジ７）であった。直線状の特徴Ｘ１１は、例えば、金属板の表面についている線状の傷であってもよい。

【0147】

基本例では、直線状の特徴Ｘ１１は、１本１本の直線（スジ７）であった。しかし、直線状の特徴Ｘ１１は、複数の直線から構成された多角形（三角形、四角形等）、又は多数の多角形からなる模様でもよい。

【0148】

基本例では、線状の第１特徴Ｘ１は、直線状の特徴Ｘ１１であった。しかし、線状の第１特徴Ｘ１は、曲線状の特徴でもよく、１本１本の曲線でもよいし、さらに円形、楕円形、又は多数の円形や楕円形からなる模様でもよい。その場合には、特徴取得部１３は、同心円の中心位置等の情報を取得する。同心円の中心位置等は、操作部１８等によるユーザからの入力によって設定されてもよいし、或いは処理部１０が、撮影した画像データに対してハフ変換によって円を自動的に抽出してもよい。また線状の第１特徴Ｘ１は、所定の幅以上のある帯状の特徴であってもよい。

【0149】

また線状の第１特徴Ｘ１は、直線状の特徴と曲線状の特徴とが混在した模様でもよい。

【0150】

直線状あるいは曲線状の特徴としての模様の直接指定を行う場合の一具体例について説明すると、まずユーザは、模様に含まれる２点を、マウスポインタで特定してマウスをクリックすることで、指定する。特徴取得部１３は、指定された２点を通る直線あるいは曲線を算出し、算出した直線又は曲線を第１画像データＤ１１に重畳させる。表示部１７は、直線あるいは曲線が重畳された第１画像データＤ１１と、終了ボタンとを、表示する。ユーザは、表示された直線あるいは曲線を確認し、問題がなければ、マウスポインタで終了ボタンを選択してマウスをクリックする。特徴取得部１３は、算出した直線あるいは曲線を示す情報を、特徴情報として取得する。一方、表示された直線あるいは曲線と、模様との間に差異がある場合、ユーザは、模様に含まれる３点目を更に指定する。特徴取得部１３は、指定された３点を通る直線あるいは曲線を算出し、算出した直線あるいは曲線を第１画像データＤ１１に重畳させる。表示部１７は、直線あるいは曲線が重畳された第１画像データＤ１１と、終了ボタンとを、表示する。ユーザは、表示された直線あるいは曲線を確認し、問題がなければ終了ボタンを選択してマウスをクリックする。特徴取得部１３は、算出した直線あるいは直線を示す情報を、特徴情報として取得する。算出した直線あるいは曲線と模様との間に差異がある場合には、以下、同様にして、ユーザは模様に含まれる４点目、５点目・・・Ｎ点目の指定を行い、特徴取得部１３は直線あるいは曲線をそれぞれ算出する。なお、指定したＮ点を通る直線あるいは曲線の算出には、Ｎ次方程式、ベジエ曲線、又はスプライン曲線等を用いてもよい。また、ユーザが模様に含まれる１点のみを指定した段階で、表示部１７がその１点を通る直線あるいは曲線を表示する構成としてもよい。特徴取得部１３は、特徴情報を処理部１０のメモリ等に記憶する。特徴取得部１３は、例えば、模様を特定するための情報を処理部１０のメモリ等に記憶し、その情報を用いて、第１画像データＤ１１から特徴情報を自動的に抽出する機能を有してもよい。

【0151】

基本例では、認識対象となるオブジェクト４が溶接のビードＢ１０であった。しかし、オブジェクト４は、ビードＢ１０に限定されない。学習済みモデルＭ１は、溶接が正しく行われたか否かを検査する溶接外観検査のために用いられることに限定されない。

【0152】

基本例では、第２特徴Ｘ２が、第１画像データＤ１１に存在する線状の第１特徴Ｘ１であった。しかし、第２特徴Ｘ２は、第１画像データＤ１１とは別の画像データ（例えば、変形例１の第３画像データＤ１３）に存在する線状の第３特徴Ｘ３を含んでもよい。この場合、特徴取得部１３は、第２特徴Ｘ２として、当該別の画像データから第３特徴Ｘ３を取得する。例えば、特徴付与部１４は、第２特徴Ｘ２として、第１画像データＤ１１に存在する第１特徴Ｘ１と、別の画像データから第３特徴Ｘ３との両方を、第２画像データＤ１２に付与してもよい。この場合、実際に存在し得る画像データに更に近い形で、多様なデータ作成（例えばデータ拡張）を行うことができる。

【0153】

第２特徴Ｘ２は、線状以外の特徴を含んでもよく、例えば、アンダーカット、ピット、又はスパッタ等不良領域を示す特徴を含んでもよい。

【0154】

基本例では、第１画像データＤ１１が、距離画像センサで撮像されたものであり、スキャンラインの（Ｘ－Ｙ平面と直交する方向の）高さに対応した画素値の情報を含んでいた。したがって、基本例では、特徴取得部１３は、スキャンラインの高さに関する情報（スキャンライン情報）を、第１画像データＤ１１から「画素値」として取得していた。しかし、特徴取得部１３は、スキャンライン情報を第１画像データＤ１１から取得すること（すなわち特徴抽出部１５から取得すること）に限定されない。特徴取得部１３は、スキャンライン情報の少なくとも一部の情報として、オブジェクト４を搬送する搬送装置に設置された位置センサ、ラインセンサカメラ６、多軸ロボット、又は多軸ロボット等を制御する制御装置から各種データを取得してもよい。特徴取得部１３は、各種データを用いてスキャンラインの高さを演算してもよい。

【0155】

ところで、スキャンラインによるスジ７は、ラインセンサカメラ６又は多軸ロボット等の種類によって発生の態様が変化し得る。そのため、スキャンライン情報の一部の情報が、ラインセンサカメラ６及び多軸ロボット等を所有するユーザにとって既知の情報である場合もある。この場合、ユーザは、上記既知の情報を、操作部１８等を介してデータ作成システム１に予め設定できてもよい。データ作成システム１は、上記既知の情報を処理部１０のメモリ等に記憶する。特徴取得部１３は、上記既知の情報をスキャンライン情報の少なくとも一部の情報として取得してもよい。

【0156】

またデータ作成システム１は、一度第２画像データＤ１２を作成した際に取得したスキャンライン情報を記憶し、次回以降に第２画像データＤ１２を作成する際に、その情報を上記既知の情報として利用してもよい。例えば、ある種類の不良状態を示す第１画像データＤ１１から第２画像データＤ１２の作成時に取得したスキャンライン情報が、別の種類の不良状態を示す第１画像データＤ１１から第２画像データＤ１２を作成する場合に再利用されてもよい。

【0157】

基本例では、除去処理、変形処理、及び特徴付与処理が、この順で実行されていた。しかし、除去処理と変形処理との順番を逆にして、変形処理、除去処理、及び特徴付与処理の順で実行されてもよい。つまり、除去部１２は、第２画像データＤ１２から変形後の第１特徴Ｘ１を除去してもよい。この場合、特徴付与部１４は、第１特徴Ｘ１が除去された第２画像データＤ１２に、特徴取得部１３が第１画像データＤ１１から取得した第１特徴Ｘ１を付与する。基本例で言えば、図３Ｂに示す第１画像データＤ１１を９０度回転した場合、多数の直線状のスジ７の方向は、Ｘ軸に沿った方向から、Ｙ軸に沿った方向へ切り替わった状態で、第２画像データＤ１２が作成される。例えば、ユーザは、表示部１７により画面表示される第２画像データＤ１２を目視で確認し、変形後（回転後）の多数の直線状のスジ７の方向及び位置等を特定する。ユーザは、操作部１８を用いて、スジ７の方向を指定するための操作入力を実行する。その結果、変形後（回転後）の第１特徴Ｘ１に関する特徴情報がデータ作成システム１に入力されて、除去部１２は、スキャンライン情報に基づき、第２画像データＤ１２から変形後の第１特徴Ｘ１を除去する。

【0158】

このように変形処理の後に除去処理が実行されることで、変形処理前に第１特徴Ｘ１を除去する場合に比べて、変形後の第１特徴Ｘ１を含んだ第２画像データＤ１２を利用しやすくなる。例えば、ユーザは、変形処理により第１特徴Ｘ１がどのような態様に変化したのかを確認しやすくなる。

【0159】

基本例では、除去部１２は、第１画像データＤ１１においてスキャンライン間の高さ（画素値）を揃えて高さの差をなくす画像処理を行うことで、スキャンライン間の境界に関する特徴（第１特徴Ｘ１、つまりスジ７）を消去していた。しかし、例えば、除去部１２は、スキャンライン間の境界の画素値を周辺の画素値の平均値に置き換えることで、スジ７を消去してもよい。

【0160】

評価システム１００は、データ作成システム１の一部の構成のみを備えていてもよい。評価システム１００は、例えば、データ作成システム１が備える第１処理装置１１０及び第２処理装置１２０（図１０参照）のうちの第１処理装置１１０と、推定システム３（図１参照）と、のみを備えていてもよい。第１処理装置１１０の機能と、推定システム３の機能とは、１つの装置に備えられていてもよい。評価システム１００は、学習済みモデルＭ１を生成する学習システム２（図１参照）を更に備えていてもよい。第１処理装置１１０の機能と学習システム２の機能と推定システム３の機能とは、１つの装置に備えられていてもよい。

【0161】

（４）まとめ
以上説明したように、第１の態様に係るデータ作成システム（１）は、第１画像データ（Ｄ１１）から、オブジェクト（４）に関する学習済みモデル（Ｍ１）を生成するための学習用データとして用いられる第２画像データ（Ｄ１２）を作成する。データ作成システム（１）は、変形部（１１）と、除去部（１２）と、特徴取得部（１３）と、特徴付与部（１４）と、を備える。変形部（１１）は、オブジェクト（４）を示す画素領域（Ｒ１）を含む第１画像データ（Ｄ１１）から、オブジェクト（４）に関する変形を施した第２画像データ（Ｄ１２）を生成する。除去部（１２）は、第１画像データ（Ｄ１１）に存在する線状の第１特徴（Ｘ１）を除去する。特徴取得部（１３）は、第２特徴（Ｘ２）を取得する。特徴付与部（１４）は、第２特徴（Ｘ２）を第２画像データ（Ｄ１２）に付与する。

【0162】

この態様によれば、変形が施された線状の第１特徴（Ｘ１）が第２画像データ（Ｄ１２）に残ることで実際に存在しない画像データが作成されてしまう可能性が低減される。結果的に、オブジェクト（４）に関する認識性能の低下の抑制を図ることができる。

【0163】

第２の態様に係るデータ作成システム（１）に関して、第１の態様において、第２特徴（Ｘ２）は、第１画像データ（Ｄ１１）に存在する線状の第１特徴（Ｘ１）を含む。特徴取得部（１３）は、第２特徴（Ｘ２）として、第１画像データ（Ｄ１１）から第１特徴（Ｘ１）を取得する。

【0164】

この態様によれば、例えば第２特徴（Ｘ２）を別の画像データから取得する場合に比べて、実際に存在し得る画像データにより近い形で、疑似的にデータ作成（例えばデータ拡張）を行うことができる。

【0165】

第３の態様に係るデータ作成システム（１）に関して、第２の態様において、除去部（１２）は、第１画像データ（Ｄ１１）から第１特徴（Ｘ１）を除去する。変形部（１１）は、第１特徴（Ｘ１）が除去された第１画像データ（Ｄ１１）から、第２画像データ（Ｄ１２）を生成する。特徴付与部（１４）は、特徴取得部（１３）が第１画像データ（Ｄ１１）から取得した第１特徴（Ｘ１）を第２画像データ（Ｄ１２）に付与する。

【0166】

この態様によれば、例えば変形後に第１特徴（Ｘ１）を除去する場合に比べて、第１特徴（Ｘ１）の特定が容易となる。

【0167】

第４の態様に係るデータ作成システム（１）に関して、第２の態様において、除去部（１２）は、第２画像データ（Ｄ１２）から変形後の第１特徴（Ｘ１）を除去する。特徴付与部（１４）は、第１特徴（Ｘ１）が除去された第２画像データ（Ｄ１２）に、特徴取得部（１３）が第１画像データ（Ｄ１１）から取得した第１特徴（Ｘ１）を付与する。

【0168】

この態様によれば、例えば変形前に第１特徴（Ｘ１）を除去する場合に比べて、変形後の第１特徴（Ｘ１）を含んだ第２画像データ（Ｄ１２）を利用しやすくなる。

【0169】

第５の態様に係るデータ作成システム（１）に関して、第１～第４の態様のいずれか１つにおいて、第２特徴（Ｘ２）は、第１画像データ（Ｄ１１）とは別の画像データ（例えば、第３画像データＤ１３）に存在する線状の第３特徴（Ｘ３）を含む。特徴取得部（１３）は、第２特徴（Ｘ２）として、当該別の画像データから第３特徴（Ｘ３）を取得する。

【0170】

この態様によれば、実際に存在し得る画像データに更に近い形で、多様なデータ作成（例えばデータ拡張）を行うことができる。

【0171】

第６の態様に係るデータ作成システム（１）に関して、第１～第５の態様のいずれか１つにおいて、線状の第１特徴（Ｘ１）は、直線状の特徴（Ｘ１１）を含む。

【0172】

この態様によれば、線状の第１特徴（Ｘ１）の変形が原因で実際に存在し得る画像データからかけ離れてしまうことを抑制できる。

【0173】

第７の態様に係るデータ作成システム（１）に関して、第６の態様において、直線状の特徴（Ｘ１１）は、オブジェクト（４）を撮像したラインセンサカメラ（６）に依存して第１画像データ（Ｄ１１）上における複数のスキャンライン間の境界に関する。

【0174】

この態様によれば、複数のスキャンライン間の境界に関する特徴の変形が原因で実際に存在し得る画像データからかけ離れてしまうことを抑制できる。

【0175】

第８の態様に係るデータ作成システム（１）に関して、第７の態様において、直線状の特徴（Ｘ１１）は、ラインセンサカメラ（６）からオブジェクト（４）までの距離の差に応じて発生し得る複数のスキャンライン間の高さの差に対応する画素値の差に基づく特徴である。

【0176】

この態様によれば、直線状の特徴（Ｘ１１）の取得（抽出）が容易となる。

【0177】

第９の態様に係るデータ作成システム（１）に関して、第１～第８の態様のいずれか１つにおいて、オブジェクト（４）に関する変形は、オブジェクト（４）の回転を含む。

【0178】

この態様によれば、オブジェクト（４）の回転により発生する線状の第１特徴（Ｘ１）の変形が原因で実際に存在し得る画像データからかけ離れてしまうことを抑制できる。

【0179】

第１０の態様に係るデータ作成システム（１）に関して、第１～第９の態様のいずれか１つにおいて、オブジェクト（４）に関する変形は、オブジェクト（４）の形状の変形を含む。

【0180】

この態様によれば、オブジェクト（４）の形状の変形により発生する線状の第１特徴（Ｘ１）の変形が原因で実際に存在し得る画像データからかけ離れてしまうことを抑制できる。

【0181】

第１１の態様に係るデータ作成システム（１Ａ）は、オブジェクト（４）に関する学習済みモデル（Ｍ１）を生成するための学習用データとして用いられる画像データ（第４画像データＤ１４）を作成する。データ作成システム（１Ａ）は、特徴取得部（１３Ａ）と、特徴付与部（１４Ａ）と、を備える。特徴取得部（１３Ａ）は、線状の特徴（例えば第３特徴Ｘ３）を取得する。特徴付与部（１４Ａ）は、オブジェクト（４）を示す画素領域（Ｒ１）を含む画像データ（第４画像データＤ１４）に、線状の特徴（第３特徴Ｘ３）を付与する。

【0182】

この態様によれば、線状の特徴（例えば第３特徴Ｘ３）を画像データ（第４画像データＤ１４）に付与するため、実際に存在し得る画像データにより近い形で、疑似的にデータ作成（例えばデータ拡張）を行うことができる。結果的に、オブジェクト（４）に関する認識性能の低下の抑制を図ることができる。

【0183】

第１２の態様に係るデータ作成システム（１Ａ）に関して、第１１の態様において、線状の特徴は、オブジェクト（４）を撮像するラインセンサカメラ（６）に依存する複数のスキャンライン間の境界に関する。

【0184】

この態様によれば、複数のスキャンライン間の境界に関する線状の特徴（第３特徴Ｘ３）を画像データ（第４画像データＤ１４）に付与するため、実際に存在し得る画像データにより近い形で、疑似的にデータ作成（例えばデータ拡張）を行うことができる。結果的に、オブジェクト（４）に関する認識性能の低下の抑制を図ることができる。

【0185】

第１３の態様に係る学習システム（２）は、第１～第１２の態様のいずれか１つにおけるデータ作成システム（１，１Ａ）で作成された画像データとしての学習用データを含む学習用データセットを用いて、学習済みモデル（Ｍ１）を生成する。

【0186】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることが可能な学習システム（２）を提供できる。

【0187】

第１４の態様に係る推定システム（３）は、第１３の態様における学習システム（２）で生成された学習済みモデル（Ｍ１）を用いて、認識対象となるオブジェクト（４）における特定状態に関する推定を行う。

【0188】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることが可能な推定システム（３）を提供できる。

【0189】

第１５の態様に係るデータ作成方法は、第１画像データ（Ｄ１１）から、オブジェクト（４）に関する学習済みモデル（Ｍ１）を生成するための学習用データとして用いられる第２画像データ（Ｄ１２）を作成するデータ作成方法である。データ作成方法は、変形ステップと、除去ステップと、特徴取得ステップと、特徴付与ステップと、を含む。変形ステップでは、オブジェクト（４）を示す画素領域（Ｒ１）を含む第１画像データ（Ｄ１１）から、オブジェクト（４）に関する変形を施した第２画像データ（Ｄ１２）を生成する。除去ステップでは、第１画像データ（Ｄ１１）に存在する線状の第１特徴（Ｘ１）を除去する。特徴取得ステップでは、第２特徴（Ｘ２）を取得する。特徴付与ステップでは、第２特徴（Ｘ２）を第２画像データ（Ｄ１２）に付与する。

【0190】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることが可能なデータ作成方法を提供できる。

【0191】

第１６の態様に係るデータ作成方法は、オブジェクト（４）に関する学習済みモデル（Ｍ１）を生成するための学習用データとして用いられる画像データ（第４画像データＤ１４）を作成するデータ作成方法である。データ作成方法は、特徴取得ステップと、特徴付与ステップと、を含む。特徴取得ステップでは、線状の特徴（例えば第３特徴Ｘ３）を取得する。特徴付与ステップでは、オブジェクト（４）を示す画素領域（Ｒ１）を含む画像データ（第４画像データＤ１４）に、線状の特徴（第３特徴Ｘ３）を付与する。

【0192】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることが可能なデータ作成方法を提供できる。

【0193】

第１７の態様に係るプログラムは、１以上のプロセッサに、第１５又は第１６の態様におけるデータ作成方法を実行させるためのプログラムである。

【0194】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることが可能な機能を提供できる。

【0195】

第１８の態様のデータ作成システム（１）は、第１～第１０の態様のいずれか１つにおいて、第１画像データ（Ｄ１１）から第１特徴（Ｘ１）を抽出する特徴抽出部（１５）を更に備える。特徴抽出部（１５）は、第１処理装置（１１０）が有している。特徴付与部（１４）は、第１処理装置（１１０）とは異なる第２処理装置（１２０）が有している。第１処理装置（１１０）は、第１特徴（Ｘ１）を示す情報（Ｄ２０）を、第２処理装置（１２０）に送信する。

【0196】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることができる。

【0197】

第１９の態様の処理装置は、第１８の態様のデータ作成システム（１）における、第１処理装置（１１０）である。

【0198】

第２０の態様の処理装置は、第１８の態様のデータ作成システム（１）における、第２処理装置（１２０）である。

【0199】

第２１の態様の評価システム（１００）は、オブジェクト（４）における特定状態に関する推定を行う評価システムである。評価システム（１００）は、処理装置（１１０）と、推定システム（３）と、を備える。処理装置（１１０）は、オブジェクト（４）を示す画素領域（Ｒ１）を含む第１画像データ（Ｄ１１）に存在する線状の第１特徴（Ｘ１）を抽出する。処理装置（１１０）は、抽出した第１特徴（Ｘ１）を示す情報（Ｄ２０）を出力する。推定システム（３）は、第１画像データ（Ｄ１１）から第１特徴（Ｘ１）を除去しオブジェクト（４）に関する変形を施した第２画像データ（Ｄ１２）に第２特徴を付与した画像データに対して、オブジェクト（４）の特定状態に関する推定について第１画像データ（Ｄ１１）と同等の推定結果を出力する。

【0200】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることができる。

【0201】

第２２の態様の評価システム（１００）に関して、第２１の態様において、オブジェクト（４）に関する変形は、オブジェクト（４）の回転、反転、平行移動、拡大、及び縮小からなる群から選択される少なくとも１つを含む。

【0202】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることができる。

【0203】

第２３の態様の評価システム（１００）に関して、第２１又は第２２の態様において、推定システム（３）は、学習済みモデル（Ｍ１）を用いて、オブジェクト（４）における特定状態に関する推定を行う。評価システム（１００）は、学習済みモデル（Ｍ１）を生成する学習システム（２）を更に備える。学習済みモデル（Ｍ１）は、第１画像データ（Ｄ１１）から第１特徴（Ｘ１）を除去しオブジェクト（４）に関する変形を施した第２画像データ（Ｄ１２）に第２特徴（Ｘ２）を付与した画像データに対して、オブジェクト（４）の特定状態に関する推定について第１画像データ（Ｄ１１）と同等の推定結果を出力する。

【0204】

この態様によれば、オブジェクト（４）に関する認識性能の低下の抑制を図ることができる。

【0205】

第２４の態様の学習システム（２）は、第２３の態様の評価システム（１００）における、学習システム（２）である。

【0206】

第２５の態様の処理装置（１１０）は、第２１～２３の態様のいずれか１つの態様の評価システム（１００）における、処理装置（１１０）である。

【0207】

第２６の態様の推定システムは、第２１～２３の態様のいずれか１つの評価システム（１００）における、推定システム（３）である。

【0208】

第２～１０，１８の態様に係る構成については、データ作成システム（１）に必須の構成ではなく、適宜省略可能である。第２２，２３の態様に係る構成については、評価システム（１００）に必須の構成ではなく、適宜省略可能である。

【符号の説明】

【0209】

１，１Ａ データ作成システム
１１ 変形部
１２ 除去部
１３，１３Ａ 特徴取得部
１４，１４Ａ 特徴付与部
１５ 特徴抽出部
２ 学習システム
３ 推定システム
４ オブジェクト
６ ラインセンサカメラ
１００ 評価システム
１１０ 第１処理装置（処理装置）
１２０ 第２処理装置
Ｄ１１ 第１画像データ
Ｄ１２ 第２画像データ
Ｄ２０ 情報（第１特徴を示す情報）
Ｍ１ 学習済みモデル
Ｒ１ 画素領域
Ｘ１ 第１特徴
Ｘ１１ 直線状の特徴
Ｘ２ 第２特徴
Ｘ３ 第３特徴

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】