特許 7511191 データ作成システム、学習システム、推定システム、処理装置、データ作成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-27

(45)【発行日】2024-07-05

(54)【発明の名称】データ作成システム、学習システム、推定システム、処理装置、データ作成方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240628BHJP

   G06V 10/774 20220101ALI20240628BHJP

【ＦＩ】

G06T7/00 350C

G06V10/774

【請求項の数】 27

(21)【出願番号】P 2022561866

(86)(22)【出願日】2021-11-05

(86)【国際出願番号】 JP2021040713

(87)【国際公開番号】W WO2022102522

(87)【国際公開日】2022-05-19

【審査請求日】2023-04-26

(31)【優先権主張番号】P 2020187508

(32)【優先日】2020-11-10

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002527

【氏名又は名称】弁理士法人北斗特許事務所

(72)【発明者】

【氏名】北川 勇斗

(72)【発明者】

【氏名】佐藤 太一

(72)【発明者】

【氏名】後藤 良介

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１８－０４５６０８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／７７４

(57)【特許請求の範囲】

【請求項1】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データにおける画像データとして用いられる第２画像データを作成するデータ作成システムであって、
前記オブジェクトを示す画素領域である第１領域、及び前記第１領域と隣り合う第２領域を含む前記第１画像データから、基準面に対する前記第１領域の高さに関する変化量が、前記第１領域内における基準点に近い位置ほど大きく、かつ前記第１領域及び前記第２領域の境界に近い位置ほど小さくなるように、前記第１領域の高さに関する変形を施した前記第２画像データを生成する処理部を備える、
データ作成システム。

【請求項2】

前記第１領域の高さに関する変形は、前記基準点における前記基準面に対する傾斜角度が０度を含む所定の角度範囲内に収まるように施される、
請求項１に記載のデータ作成システム。

【請求項3】

前記基準点は、前記第１領域及び前記第２領域の並び方向と交差する方向に沿って複数並ぶ、
請求項１又は請求項２に記載のデータ作成システム。

【請求項4】

前記第１領域の高さに関する変形は、前記基準面に対する前記基準点における高さが、前記基準面に対する変形前の前記第１領域内で高さが最大である最大点よりも高くなるように施される、
請求項１～３のいずれか１項に記載のデータ作成システム。

【請求項5】

前記第１領域の高さに関する変形は、前記基準面に対する前記基準点における高さが、前記基準面に対する変形前の前記第１領域内で高さが最大である最大点よりも低くなるように施される、
請求項１～３のいずれか１項に記載のデータ作成システム。

【請求項6】

前記基準点は、前記第１領域及び前記第２領域の並び方向における、前記第１領域の中央に配置される、
請求項１～５のいずれか１項に記載のデータ作成システム。

【請求項7】

前記第１領域の高さに関する変形は、前記境界における前記変化量がゼロを含む規定の範囲内に収まるように施される、
請求項１～６のいずれか１項に記載のデータ作成システム。

【請求項8】

前記第１領域の高さに関する変形は、前記境界における前記基準面に対する傾斜角度が０度を含む特定の角度範囲内に収まるように施される、
請求項１～７のいずれか１項に記載のデータ作成システム。

【請求項9】

前記第１領域の高さに関する変形は、前記境界よりも前記第１領域の側に特定形態を示す特定領域が存在する場合、前記特定領域を除く前記第１領域について施される、
請求項１～８のいずれか１項に記載のデータ作成システム。

【請求項10】

前記第１領域は、溶接対象となる２つの母材間を溶接することで形成される溶接領域に関する画素領域であり、
前記第２領域は、前記２つの母材のいずれか一方に関する画素領域である、
請求項１～９のいずれか１項に記載のデータ作成システム。

【請求項11】

前記処理部は、前記第１領域における前記基準点の位置を指定するための指定情報を取得する取得部を有する、
請求項１～１０のいずれか１項に記載のデータ作成システム。

【請求項12】

第１画像データと基準画像データとから、オブジェクトに関する学習済みモデルを生成するための学習用データにおける画像データとして用いられる第２画像データを作成するデータ作成システムであって、
前記オブジェクトを示す画素領域である第１領域、及び前記第１領域と隣り合う第２領域を含む前記第１画像データから、第１基準面に対する前記第２領域の高さに関する変形を、前記オブジェクトを示す画素領域である第３領域、及び前記第３領域と隣り合う第４領域を含む前記基準画像データの、第２基準面に対する前記第４領域の高さに基づいて施した、前記第２画像データを生成する処理部を備え、
前記第２領域の外縁から、前記第２領域内における第１基準点までの距離を第１距離とし、
前記第１領域と前記第２領域との境界から前記第１基準点までの距離を第２距離とし、
前記基準画像データの前記第４領域において、前記第２基準面上の、前記第１距離と前記第２距離との比と等しい位置を第２基準点とし、
前記第１基準点における変化量は、前記第２基準面に対する前記第２基準点における高さに基づく量である、
データ作成システム。

【請求項13】

請求項１～１２のいずれか１項に記載のデータ作成システムで作成された前記第２画像データを画像データとして含む前記学習用データを含む学習用データセットを用いて、前記学習済みモデルを生成する、
学習システム。

【請求項14】

請求項１３に記載の学習システムで生成された前記学習済みモデルを用いて、認識対象となる前記オブジェクトにおける特定状態に関する推定を行う、
推定システム。

【請求項15】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データにおける画像データとして用いられる第２画像データを作成するデータ作成方法であって、
前記オブジェクトを示す画素領域である第１領域、及び前記第１領域と隣り合う第２領域を含む前記第１画像データから、基準面に対する前記第１領域の高さに関する変化量が、前記第１領域内における基準点に近い位置ほど大きく、かつ前記第１領域及び前記第２領域の境界に近い位置ほど小さくなるように、前記第１領域の高さに関する変形を施した前記第２画像データを生成する処理ステップを含む、
データ作成方法。

【請求項16】

第１画像データと基準画像データとから、オブジェクトに関する学習済みモデルを生成するための学習用データにおける画像データとして用いられる第２画像データを作成するデータ作成方法であって、
前記オブジェクトを示す画素領域である第１領域、及び前記第１領域と隣り合う第２領域を含む前記第１画像データから、第１基準面に対する前記第２領域の高さに関する変形を、前記オブジェクトを示す画素領域である第３領域、及び前記第３領域と隣り合う第４領域を含む前記基準画像データの、第２基準面に対する前記第４領域の高さに基づいて施した、前記第２画像データを生成する処理ステップを含み、
前記第２領域の外縁から、前記第２領域内における第１基準点までの距離を第１距離とし、
前記第１領域と前記第２領域との境界から前記第１基準点までの距離を第２距離とし、
前記基準画像データの前記第４領域において、前記第２基準面上の、前記第１距離と前記第２距離との比と等しい位置を第２基準点とし、
前記第１基準点における変化量は、前記第２基準面に対する前記第２基準点における高さに基づく量である、
データ作成方法。

【請求項17】

１以上のプロセッサに、請求項１５又は請求項１６に記載のデータ作成方法を実行させるためのプログラム。

【請求項18】

第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データにおける画像データとして用いられる第２画像データを作成するデータ作成システムであって、
前記オブジェクトを示す画素領域である第１領域、及び前記第１領域と隣り合う第２領域を含む前記第１画像データについて、基準面に対する前記第１領域の高さに関する変化量である高さ変化量を、前記第１領域内における基準点に近い位置ほど大きく、かつ前記第１領域及び前記第２領域の境界に近い位置ほど小さくなるように決定する決定部と、
前記決定部で決定された前記高さ変化量に基づいて、前記第１画像データから、前記第１領域の高さに関する変形を施した前記第２画像データを生成する変形部と、
を備える、
データ作成システム。

【請求項19】

第１処理装置と、第２処理装置と、を備え、
前記第１処理装置は、前記決定部を有し、
前記第２処理装置は、前記変形部を有し、
前記第１処理装置は、前記高さ変化量を示す情報を、前記第２処理装置に送信する、
請求項１８に記載のデータ作成システム。

【請求項20】

前記第１処理装置は、ユーザからの操作入力に基づいて、前記第１画像データ内の前記基準点を指定する指定部を、更に備える、
請求項１９に記載のデータ作成システム。

【請求項21】

請求項１９又は２０に記載のデータ作成システムにおける前記第１処理装置としての、
処理装置。

【請求項22】

請求項１９又は２０に記載のデータ作成システムにおける前記第２処理装置としての、
処理装置。

【請求項23】

第１画像データと基準画像データとから、オブジェクトに関する学習済みモデルを生成するための学習用データにおける画像データとして用いられる第２画像データを作成するデータ作成システムであって、
前記第１画像データは、前記オブジェクトを示す画素領域である第１領域、前記第１領域と隣り合う第２領域、及び第１基準面を含み、
前記基準画像データは、前記オブジェクトを示す画素領域である第３領域、前記第３領域と隣り合う第４領域、及び第２基準面を含み、
前記データ作成システムは、
前記基準画像データの、前記第２基準面に対する前記第４領域の高さに基づいて、高さに関する変化量である高さ変化量を決定する決定部と、
前記決定部で決定された前記高さ変化量に基づいて、前記第１画像データから、前記第１基準面に対する前記第２領域の高さに関する変形を施した前記第２画像データを生成する変形部と、
を備え、
前記決定部は、
前記第２領域の外縁から、前記第２領域内における第１基準点までの距離を第１距離とし、前記第１領域と前記第２領域との境界から前記第１基準点までの距離を第２距離とし、前記基準画像データの前記第４領域において、前記第２基準面上の、前記第１距離と前記第２距離との比と等しい位置を第２基準点とした場合に、前記第１基準点における変化量が、前記第２基準面に対する前記第２基準点における高さに基づく量となるように、前記高さ変化量を決定する、
データ作成システム。

【請求項24】

第１処理装置と、第２処理装置と、を備え、
前記第１処理装置は、前記決定部を有し、
前記第２処理装置は、前記変形部を有し、
前記第１処理装置は、前記高さ変化量を示す情報を、前記第２処理装置に送信する、
請求項２３に記載のデータ作成システム。

【請求項25】

前記第１処理装置は、ユーザからの操作入力に基づいて、前記第１画像データ内の前記第１基準点を指定する指定部を、更に備える、
請求項２４に記載のデータ作成システム。

【請求項26】

請求項２４又は２５に記載のデータ作成システムにおける前記第１処理装置としての、
処理装置。

【請求項27】

請求項２４又は２５に記載のデータ作成システムにおける前記第２処理装置としての、
処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、データ作成システム、学習システム、推定システム、処理装置、データ作成方法、及びプログラムに関する。より詳細には本開示は、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる画像データを作成するデータ作成システム、当該学習済みモデルを生成する学習システム、当該学習済みモデルを用いる推定システムに関する。また本開示は、当該データ作成システムに用いられる処理装置に関する。また本開示は、オブジェクトに関する学習済みモデルを生成するための学習用データとして用いられる画像データを作成するデータ作成方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、教師データ拡張装置について開示されている。特許文献１には、機械学習のために実環境で収集する必要があるデータ量を低減させて、データ収集に要する時間を低減させる点について記載がある。

【0003】

また特許文献１には、教師データ拡張装置が、リンゴの実教師データと、ナシの実教師データとから、店舗Ａ、Ｂ、Ｃでの撮影時の輝度の範囲内で色味の特徴量と組み合わせて新たな教師データを生成する点が記載されている。

【0004】

特許文献１の教師データ拡張装置のようにオブジェクト（リンゴ又はナシ）の全体的な輝度値と色味との組み合わせを変えるだけでは、オブジェクトの局所的な認識を行う場合の多様な学習用データの作成として十分ではない可能性がある。結果的に、オブジェクトに関する認識性能が低下する可能性がある。

【先行技術文献】

【特許文献】

【0005】

【文献】国際公開第２０２０／０７０８７６号

【発明の概要】

【0006】

本開示は上記事由に鑑みてなされ、オブジェクトに関する認識性能の改善を図ることができる、データ作成システム、学習システム、推定システム、処理装置、データ作成方法、及びプログラムを提供することを目的とする。

【0007】

本開示の一態様のデータ作成システムは、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データにおける画像データとして用いられる第２画像データを作成する。前記データ作成システムは、処理部を備える。前記処理部は、前記オブジェクトを示す画素領域である第１領域、及び前記第１領域と隣り合う第２領域を含む前記第１画像データから、基準面に対する前記第１領域の高さに関する変化量が、前記第１領域内における基準点に近い位置ほど大きく、かつ前記第１領域及び前記第２領域の境界に近い位置ほど小さくなるように、前記第１領域の高さに関する変形を施した前記第２画像データを生成する。

【0008】

本開示の別の一態様のデータ作成システムは、第１画像データと基準画像データとから、オブジェクトに関する学習済みモデルを生成するための学習用データにおける画像データとして用いられる第２画像データを作成する。前記データ作成システムは、処理部を備える。前記処理部は、前記オブジェクトを示す画素領域である第１領域、及び前記第１領域と隣り合う第２領域を含む前記第１画像データから、第１基準面に対する前記第２領域の高さに関する変形を、前記オブジェクトを示す画素領域である第３領域、及び前記第３領域と隣り合う第４領域を含む前記基準画像データの、第２基準面に対する前記第４領域の高さに基づいて施した、前記第２画像データを生成する。前記第２領域の外縁から、前記第２領域内における第１基準点までの距離を第１距離とし、前記第１領域と前記第２領域との境界から前記第１基準点までの距離を第２距離とする。前記基準画像データの前記第４領域において、前記第２基準面上の、前記第１距離と前記第２距離との比と等しい位置を第２基準点とする。前記第１基準点における変化量は、前記第２基準面に対する前記第２基準点における高さに基づく量である。

【0009】

本開示の一態様の学習システムは、上記のいずれか一方のデータ作成システムで作成された前記第２画像データを画像データとして含む前記学習用データを含む学習用データセットを用いて、前記学習済みモデルを生成する。

【0010】

本開示の一態様の推定システムは、上記の学習システムで生成された前記学習済みモデルを用いて、認識対象となる前記オブジェクトにおける特定状態に関する推定を行う。

【0011】

本開示の別の一態様のデータ作成システムは、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データにおける画像データとして用いられる第２画像データを作成する。前記データ作成システムは、決定部と、変形部と、を備える。前記決定部は、前記オブジェクトを示す画素領域である第１領域、及び前記第１領域と隣り合う第２領域を含む前記第１画像データについて、基準面に対する前記第１領域の高さに関する変化量である高さ変化量を、前記第１領域内における基準点に近い位置ほど大きく、かつ前記第１領域及び前記第２領域の境界に近い位置ほど小さくなるように決定する。前記変形部は、前記決定部で決定された前記高さ変化量に基づいて、前記第１画像データから、前記第１領域の高さに関する変形を施した前記第２画像データを生成する。

【0012】

本開示の一態様の処理装置は、前記データ作成システムにおいて前記決定部を有する第１処理装置と前記変形部を有する第２処理装置とのうちの、前記第１処理装置である。

【0013】

本開示の別の一態様の処理装置は、前記データ作成システムにおいて前記決定部を有する第１処理装置と前記変形部を有する第２処理装置とのうちの、前記第２処理装置である。

【0016】

本開示の別の一態様のデータ作成システムは、第１画像データと基準画像データとから、オブジェクトに関する学習済みモデルを生成するための学習用データにおける画像データとして用いられる第２画像データを作成する。前記第１画像データは、前記オブジェクトを示す画素領域である第１領域、前記第１領域と隣り合う第２領域、及び第１基準面を含む。前記基準画像データは、前記オブジェクトを示す画素領域である第３領域、前記第３領域と隣り合う第４領域、及び第２基準面を含む。前記データ作成システムは、決定部と、変形部と、を備える。前記決定部は、前記基準画像データの、前記第２基準面に対する前記第４領域の高さに基づいて、高さに関する変化量である高さ変化量を決定する。前記変形部は、前記決定部で決定された前記高さ変化量に基づいて、前記第１画像データから、前記第１基準面に対する前記第２領域の高さに関する変形を施した前記第２画像データを生成する。前記決定部は、前記第２領域の外縁から、前記第２領域内における第１基準点までの距離を第１距離とし、前記第１領域と前記第２領域との境界から前記第１基準点までの距離を第２距離とし、前記基準画像データの前記第４領域において、前記第２基準面上の、前記第１距離と前記第２距離との比と等しい位置を第２基準点とした場合に、前記第１基準点における変化量が、前記第２基準面に対する前記第２基準点における高さに基づく量となるように、前記高さ変化量を決定する。

【0017】

本開示の別の一態様の処理装置は、前記データ作成システムにおいて前記決定部を有する第１処理装置と前記変形部を有する第２処理装置とのうちの、前記第１処理装置である。

【0018】

本開示の別の一態様の処理装置は、前記データ作成システムにおいて前記決定部を有する第１処理装置と前記変形部を有する第２処理装置とのうちの、前記第２処理装置である。

【0021】

本開示の一態様のデータ作成方法は、第１画像データから、オブジェクトに関する学習済みモデルを生成するための学習用データにおける画像データとして用いられる第２画像データを作成するデータ作成方法である。前記データ作成方法は、処理ステップを含む。前記処理ステップでは、前記オブジェクトを示す画素領域である第１領域、及び前記第１領域と隣り合う第２領域を含む前記第１画像データから、基準面に対する前記第１領域の高さに関する変化量が、前記第１領域内における基準点に近い位置ほど大きく、かつ前記第１領域及び前記第２領域の境界に近い位置ほど小さくなるように、前記第１領域の高さに関する変形を施した前記第２画像データを生成する。

【0022】

本開示の別の一態様のデータ作成方法は、第１画像データと基準画像データとから、オブジェクトに関する学習済みモデルを生成するための学習用データにおける画像データとして用いられる第２画像データを作成するデータ作成方法である。前記データ作成方法は、処理ステップを含む。前記処理ステップでは、前記オブジェクトを示す画素領域である第１領域、及び前記第１領域と隣り合う第２領域を含む前記第１画像データから、第１基準面に対する前記第２領域の高さに関する変形を、前記オブジェクトを示す画素領域である第３領域、及び前記第３領域と隣り合う第４領域を含む前記基準画像データの、第２基準面に対する前記第４領域の高さに基づいて施した、前記第２画像データを生成する。前記第２領域の外縁から、前記第２領域内における第１基準点までの距離を第１距離とし、前記第１領域と前記第２領域との境界から前記第１基準点までの距離を第２距離とする。前記基準画像データの前記第４領域において、前記第２基準面上の、前記第１距離と前記第２距離との比と等しい位置を第２基準点とする。前記第１基準点における変化量は、前記第２基準面に対する前記第２基準点における高さに基づく量である。

【0023】

本開示の一態様のプログラムは、１以上のプロセッサに、上記のいずれかのデータ作成方法を実行させるためのプログラムである。

【図面の簡単な説明】

【0024】

【図1】図１は、一実施形態に係るデータ作成システムを備える評価システム全体の概略ブロック構成図である。

【図2】図２Ａは、同上のデータ作成システムに入力される第１画像データの一例を示す図である。図２Ｂは、図２Ａの第１画像データから、同上のデータ作成システムで作成された第２画像データを示す図である。

【図3】図３Ａは、同上のデータ作成システムに入力される第１画像データの別例を示す図である。図３Ｂは、同３Ａの第１画像データから、同上のデータ作成システムで作成された第２画像データを示す図である。

【図4】図４は、同上のデータ作成システムにおける変形処理を説明するための図である。

【図5】図５は、同上のデータ作成システムにおける変形処理にて基準点における傾斜角度が０度でない場合を説明するための図である。

【図6】図６は、同上のデータ作成システムにおける変形処理にて境界における変化量が０でない場合を説明するための図である。

【図7】図７は、同上のデータ作成システムにおける変形処理にて境界における傾斜角度が０度でない場合を説明するための図である。

【図8】図８Ａ及び図８Ｂは、同上のデータ作成システムにおける境界の再設定を説明するための図である。

【図9】図９は、同上のデータ作成システムの動作を説明するためのフローチャート図である。

【図10】図１０は、同上のデータ作成システムにおける変形例１を備える評価システム全体の概略ブロック構成図である。

【図11】図１１Ａ～１１Ｃは、同上の変形例１の変形処理を説明するための図である。

【図12】図１２Ａ～１２Ｃは、同上のデータ作成システムにおける変形例２の変形処理を説明するための図である。

【図13】図１３は、同上のデータ作成システムにおける変形例３の概略ブロック構成図である。

【図14】図１４は、同上のデータ作成システムにおける変形例４の概略ブロック構成図である。

【発明を実施するための形態】

【0025】

（１）概要
以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。

【0026】

本実施形態に係るデータ作成システム１は、図１に示すように、第１画像データＤ１１から、オブジェクト４（図２Ａ、図２Ｂ、図３Ａ及び図３Ｂ参照）に関する学習済みモデルＭ１を生成するための学習用データとして用いられる第２画像データＤ１２を作成する。つまり、第２画像データＤ１２は、モデルを機械学習するために用いられる学習用データである。本開示でいう「モデル」は、認識対象（オブジェクト４）に関するデータが入力されると、認識対象がどのような状態にあるかを推定し、推定結果（認識結果）を出力するプログラムである。「学習済みモデル」は、学習用データを用いた機械学習が完了したモデルをいう。また「学習用データ（セット）」は、モデルに入力される入力情報（画像データＤ１）と、入力情報に付与されたラベルと、を組み合わせたデータセットであり、いわゆる教師データである。つまり、本実施形態では、学習済みモデルＭ１は、教師あり学習による機械学習が完了したモデルである。

【0027】

本実施形態では一例として、認識対象であるオブジェクト４は、図２Ａ、図２Ｂ、図３Ａ及び図３Ｂに示すように、ビードＢ１０である。ビードＢ１０は、金属の溶接材Ｂ１３を用いて２以上の母材、ここでは第１母材Ｂ１１及び第２母材Ｂ１２を溶接した際に、第１母材Ｂ１１及び第２母材Ｂ１２の境目Ｂ１４（溶接箇所）に形成される。図２Ａ、図２Ｂ、図３Ａ及び図３Ｂは一例として、第１母材Ｂ１１及び第２母材Ｂ１２はいずれも矩形状の金属板である。ビードＢ１０の大きさ及び形状は、主に溶接材Ｂ１３に依存する。したがって、学習済みモデルＭ１は、ビードＢ１０を含む認識対象画像データＤ３が入力されると、ビードＢ１０の状態（特定状態）を推定し、推定結果を出力する。具体的には、学習済みモデルＭ１は、推定結果として、ビードＢ１０が良品であるか不良品であるか、不良品である場合は不良の種類を出力する。つまり、学習済みモデルＭ１は、ビードＢ１０が良品であるか否か、言い換えれば、溶接が正しく行われたか否かを検査する溶接外観検査のために用いられる。

【0028】

ビードＢ１０が良品であるか否かは、一例として、ビードＢ１０の長さ、ビードＢ１０の高さ、ビードＢ１０の立ち上がりの角度、ビードＢ１０ののど厚、ビードＢ１０の余盛、及びビードＢ１０の溶接箇所の位置ずれ（ビードＢ１０の始端のずれを含む）が許容範囲に収まっているか否かにより判定される。例えば、上記に列挙した条件のうち１つでも許容範囲に収まっていなければ、ビードＢ１０が不良品であると判定される。また、ビードＢ１０が良品であるか否かは、一例として、ビードＢ１０のアンダーカットの有無、ビードＢ１０のピットの有無、ビードＢ１０のスパッタの有無、及びビードＢ１０の突起の有無等に基づいて判定される。例えば、上記に列挙した不良部分のうち１つでも発生した場合、ビードＢ１０が不良品であると判定される。

【0029】

ところで、モデルの機械学習を行うためには、認識対象の不良品を含む多数の画像データを学習用データとして用意する必要がある。しかしながら、認識対象の不良品が発生する頻度が少ない場合、認識率の高い学習済みモデルＭ１を生成するために必要な学習用データが不足しがちである。そこで、実際にビードＢ１０を撮像装置６により撮像することで得られる学習用データ（以下、「第１画像データＤ１１」又は「オリジナル学習用データ」と呼ぶ）についてデータ拡張（Data Augmentation）処理を実行することにより、学習用データの数を増やしてモデルの機械学習を行うことが考えられる。データ拡張処理は、学習用データに対して平行移動、拡大・縮小、回転、反転、又はノイズの付与等の処理（変換処理）を加えることで、学習用データを水増しする処理をいう。

【0030】

第１画像データＤ１１は、例えば距離画像データであり、高さ成分に相当する画素値を含む。撮像装置６は、距離画像センサを含む。「高さ」は、例えば、基準面Ｈ１（仮想的な平面でもよいし、母材の表面でもよい）に対する高さである。言い換えると、「高さ」に相当する画素値は、撮像対象から距離画像センサまでの距離に対応する画素値として第１画像データＤ１１に含まれる。

【0031】

本実施形態の一態様に係るデータ作成システム１は、図１に示すように、処理部１０を備える。処理部１０は、オブジェクト４を示す画素領域である第１領域５１、及び第１領域５１と隣り合う第２領域５２を含む第１画像データＤ１１から、基準面Ｈ１に対する第１領域５１の高さに関する変形を施した第２画像データＤ１２を生成する。処理部１０は、第１領域５１の高さに関する変化量が、第１領域５１内における基準点Ｐ１に近い位置ほど大きく、かつ第１領域５１及び第２領域５２の境界Ｃ１に近い位置ほど小さくなるように、第１領域５１の高さに関する変形を施した第２画像データＤ１２を生成する。

【0032】

本実施形態では一例として、第１領域５１は、溶接対象となる２つの母材（第１母材Ｂ１１、第２母材Ｂ１２）間を溶接することで形成される溶接領域（ビードＢ１０）に関する画素領域である。第２領域５２は、２つの母材（第１母材Ｂ１１、第２母材Ｂ１２）のいずれか一方に関する画素領域である。

【0033】

ここでは、第１及び第２母材Ｂ１１，Ｂ１２間を溶接することで形成される溶接領域（ビードＢ１０）をオブジェクト４としているため、第２領域５２は、第１画像データＤ１１内に２つ存在する。以下では、第１母材Ｂ１１に関する画素領域を第１母材領域５２１と呼び、第２母材Ｂ１２に関する画素領域を第２母材領域５２２と呼ぶことがある（図４参照）。

【0034】

基準点Ｐ１は、第１領域５１内で、所定の位置に予め設定された点でもよいし、ユーザからの操作入力により任意に設定される点でもよい。

【0035】

図４は、仮にビードＢ１０、第１母材Ｂ１１及び第２母材Ｂ１２を、変形を施した第２画像データＤ１２を示す図３ＢのＡ－Ａ線で切った場合の断面において、ビードＢ１０の外郭の（基準面Ｈ１に対する）高さを、第２曲線Ｇ２として模式的に示した図である。図４では、比較しやすいように、図３Ａに示す変形前のビードＢ１０の外郭の高さも、第１曲線Ｇ１として図示される。

【0036】

本実施形態では、第１領域５１の高さに関する変化量は、第１領域５１内における基準点Ｐ１に近い位置ほど大きく、かつ第１領域５１及び第２領域５２の境界Ｃ１に近い位置ほど小さい。そのため、第１画像データＤ１１の第１領域５１における高さを山形に盛り上げた（又は谷形に掘り下げた）ような態様の第２画像データＤ１２を作成しやすくなる。結果的に、学習用データの多様性を向上でき、オブジェクト４に関する認識性能の改善を図ることができる。

【0037】

また本実施形態に係る学習システム２（図１参照）は、データ作成システム１で作成された第２画像データＤ１２としての学習用データを含む学習用データセットを用いて、学習済みモデルＭ１を生成する。したがって、オブジェクト４に関する認識性能の改善を図ることが可能な学習システム２を提供できる。学習済みモデルＭ１を生成するための学習用データは、第２画像データＤ１２（拡張データ）だけでなく、オリジナルの第１画像データＤ１１も含み得る。言い換えると、本実施形態における画像データＤ１は、少なくとも第２画像データＤ１２を含み、第１画像データＤ１１及び第２画像データＤ１２の両方を含み得る。

【0038】

また本実施形態に係る推定システム３（図１参照）は、学習システム２で生成された学習済みモデルＭ１を用いて、認識対象となるオブジェクト４（ここでは一例としてビードＢ１０）における特定状態に関する推定を行う。したがって、オブジェクト４に関する認識性能の改善を図ることが可能な推定システム３を提供できる。

【0039】

また本実施形態に係るデータ作成方法は、第１画像データＤ１１から、オブジェクト４に関する学習済みモデルＭ１を生成するための学習用データとして用いられる第２画像データＤ１２を作成するデータ作成方法である。データ作成方法は、処理ステップを含む。処理ステップでは、オブジェクト４を示す画素領域である第１領域５１、及び第１領域５１と隣り合う第２領域５２を含む第１画像データＤ１１から、基準面Ｈ１に対する第１領域５１の高さに関する変形を施した第２画像データＤ１２を生成する。処理ステップでは、第１領域５１の高さに関する変化量が、第１領域５１内における基準点Ｐ１に近い位置ほど大きく、かつ第１領域５１及び第２領域５２の境界Ｃ１に近い位置ほど小さくなるように、第１領域５１の高さに関する変形を施した第２画像データＤ１２を生成する。

【0040】

この構成によれば、オブジェクト４に関する認識性能の改善を図ることが可能なデータ作成方法を提供できる。データ作成方法は、コンピュータシステム（データ作成システム１）上で用いられる。つまり、データ作成方法は、プログラムでも具現化可能である。本実施形態に係るプログラムは、本実施形態に係るデータ作成方法を、１以上のプロセッサに実行させるためのプログラムである。

【0041】

（２）詳細
以下、本実施形態に係るデータ作成システム１を備える全体のシステム（以下、「評価システム１００」と呼ぶ）について、図１～図９を参照しながら詳しく説明する。

【0042】

（２．１）全体構成
評価システム１００は、図１に示すように、データ作成システム１と、学習システム２と、推定システム３と、１又は複数台の撮像装置６（図１では１台のみ図示）とを備える。

【0043】

データ作成システム１、学習システム２、及び推定システム３は、サーバ等から構築されることを想定する。ここでいう「サーバ」は、１台のサーバ装置から構成されることを想定する。つまり、データ作成システム１、学習システム２、及び推定システム３の主な機能が、１台のサーバ装置に設けられていることを想定する。

【0044】

ただし、「サーバ」は、複数台のサーバ装置から構成されてもよい。具体的には、データ作成システム１、学習システム２、及び推定システム３の機能が、それぞれ個別のサーバ装置に設けられてもよいし、これらのうちの２つのシステムが１台のサーバ装置に設けられてもよい。またそのようなサーバ装置が、例えばクラウド（クラウドコンピューティング）を構築してもよい。

【0045】

またサーバ装置は、溶接現場となる工場内に設置されてもよいし、工場の外部（例えば事業本部）に設置されてもよい。データ作成システム１、学習システム２、及び推定システム３の機能がそれぞれ個別のサーバ装置に設けられている場合、各サーバ装置は、他のサーバ装置と通信可能に接続されていることが望ましい。

【0046】

データ作成システム１は、オブジェクト４に関する学習済みモデルＭ１を生成するための学習用データとして用いられる画像データＤ１を作成するように構成される。本開示でいう「学習用データの作成」は、オリジナル学習用データとは別に新しい学習用データを生成することの他に、オリジナル学習用データを更新することにより新しい学習用データを生成することを含み得る。

【0047】

ここでいう学習済みモデルＭ１は、例えばニューラルネットワークを用いたモデル、又は多層ニューラルネットワークを用いた深層学習（ディープラーニング）により生成されるモデルを含み得る。ニューラルネットワークは、例えばＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）、又はＢＮＮ（Bayesian Neural Network：ベイズニューラルネットワーク）等を含み得る。学習済みモデルＭ１は、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-Programmable Gate Array）等の集積回路に、学習済みのニューラルネットワークを実装することで実現されている。学習済みモデルＭ１は、ディープラーニングにより生成されるモデルに限定されない。学習済みモデルＭ１は、サポートベクターマシン、又は決定木等により生成されるモデルでもよい。

【0048】

ここでは、データ作成システム１は、上述の通り、オリジナル学習用データ（第１画像データＤ１１）に対してデータ拡張処理を実行して、学習用データを水増しする機能を有している。以下では、データ作成システム１を備える評価システム１００を利用する者を、単に「ユーザ」と呼ぶことがある。ユーザは、例えば、工場内で溶接工程等の製造工程を監視するオペレータ、又は管理責任者等に相当し得る。

【0049】

データ作成システム１は、図１に示すように、処理部１０と、通信部１５と、表示部１６と、操作部１７とを備える。

【0050】

図１の例では、学習用データ（画像データＤ１）を格納（記憶）するための格納部がデータ作成システム１の外部に設けられている。ただし、データ作成システム１が格納部を更に備えてもよく、その場合、格納部は処理部１０が内蔵するメモリでもよい。画像データＤ１を格納する格納部は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能な不揮発性メモリを含む。

【0051】

データ作成システム１の一部の機能は、サーバと通信可能な情報端末に分散的に設けられてもよい。本開示でいう「情報端末」は、パーソナルコンピュータ（ノートパソコン又は据置型のパソコン）、スマートフォンやタブレット端末等の携帯型の端末等を含み得る。ここでは、表示部１６及び操作部１７の機能が、ユーザが使用する情報端末に設けられている。情報端末には、サーバと通信するための専用のアプリケーションソフトが予めインストールされる。

【0052】

処理部１０は、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（アプリケーション）を実行することで、処理部１０として機能する。プログラムは、ここでは処理部１０のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

【0053】

処理部１０は、通信部１５、表示部１６、及び操作部１７に関する制御処理を実行する。処理部１０の機能は、サーバにあることを想定する。また処理部１０は、画像処理を実行する機能を有しており、図１に示すように、取得部１１と、変形部１２と、決定部１３とを有している。処理部１０の各部の詳細については、次の欄で説明する。

【0054】

表示部１６は、液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイを構成する。表示部１６は、上述の通り、情報端末に設けられている。表示部１６は、タッチパネル式のディスプレイでもよい。表示部１６は、第１画像データＤ１１及び第２画像データＤ１２に関する情報を表示（出力）する。表示部１６は、第１画像データＤ１１及び第２画像データＤ１２以外にも、学習用データの生成に関連する種々の情報を表示する。

【0055】

通信部１５は、１又は複数台の撮像装置６と直接的に、或いは生産管理システムの機能を有した別サーバ等を介して間接的に通信するための通信インタフェースである。通信部１５の機能は、処理部１０と同じサーバにあることを想定するが、例えば情報端末に設けられてもよい。通信部１５は、撮像装置６から、オリジナル学習用データである第１画像データＤ１１を受信する。

【0056】

第１画像データＤ１１は、上述の通り、一例として距離画像データであり、オブジェクト４を示す画素領域を含む。ただし、第１画像データＤ１１は、輝度画像データでもよい。上述の通り、オブジェクト４は、溶接材Ｂ１３を用いて第１母材Ｂ１１及び第２母材Ｂ１２を溶接した際に、第１母材Ｂ１１及び第２母材Ｂ１２の境目Ｂ１４に形成されるビードＢ１０である。すなわち、第１画像データＤ１１は、撮像装置６の距離画像センサで撮像された、ビードＢ１０を示す画素領域を含むデータである。

【0057】

撮像装置６で撮像されたオブジェクト４に関する大量の画像データの中からの、データ拡張処理を適用する対象となる第１画像データＤ１１の選別は、例えば、ユーザからの指示に応じて行われる。評価システム１００は、選別に関する指示を受け付けるユーザインタフェース（操作部１７でもよい）を備えることが好ましい。

【0058】

操作部１７は、マウス、キーボード、及びポインティングデバイス等を含む。操作部１７は、上述の通り、例えばユーザが使用する情報端末に設けられている。表示部１６が、情報端末のタッチパネル式のディスプレイである場合、操作部１７の機能を兼ねてもよい。

【0059】

学習システム２は、データ作成システム１で作成された複数の画像データＤ１（第２画像データＤ１２を複数含む）を含む学習用データセットを用いて、学習済みモデルＭ１を生成する。学習用データセットは、複数の画像データＤ１に対して「良品」又は「不良品」、さらに不良品の場合には不良の種類及び不良の位置を示すラベルを付与することで生成される。不良の種類は、アンダーカット、ピット、又はスパッタ等である。ラベルの付与に関する作業は、ユーザによって操作部１７等のユーザインタフェースを介して評価システム１００に対して行われる。一変形例において、ラベルの付与に関する作業は、画像データＤ１に対してラベルを付与するための機能を有する学習済みモデルによって、行われてもよい。学習システム２は、学習用データセットを用いて、オブジェクト４（ビードＢ１０）の状態（良状態、不良状態、不良の種類、及び不良の位置等）を機械学習することにより、学習済みモデルＭ１を生成する。

【0060】

学習システム２は、新たに取得した学習用データを含む学習用データセットを用いて再学習を行うことで、学習済みモデルＭ１の性能の向上を図ってよい。例えばオブジェクト４（ビードＢ１０）に新しい種類の不良が見つかれば、学習システム２に、新しい不良に関する再学習を行わせることも可能である。

【0061】

推定システム３は、学習システム２で生成された学習済みモデルＭ１を用いて、認識対象となるオブジェクト４における特定状態（良状態、不良状態、不良の種類、不良の位置）に関する推定を行う。推定システム３は、１又は複数台の撮像装置６と直接的に、或いは生産管理システムの機能を有した別サーバ等を介して間接的に通信可能に構成される。推定システム３は、実際に溶接工程を終えて形成されたビードＢ１０が撮像装置６で撮像された認識対象画像データＤ３を受信する。

【0062】

推定システム３は、学習済みモデルＭ１を用いて、認識対象画像データＤ３に写るオブジェクト４が「良品」又は「不良品」のどちらであるか、さらに不良品の場合、どの種類の不良であるか、不良がどの位置にあるかを推定する。推定システム３は、認識対象画像データＤ３に対する認識結果（推定結果）を、ユーザが利用する情報端末、又は生産管理システム等に出力する。ユーザは、情報端末を通じて、推定結果を確認できる。また生産管理システムが、推定結果を取得して「不良品」と推定された溶接部品については、次の工程に搬送される前に、破棄するように生産設備を制御してもよい。

【0063】

（２．２）データ拡張処理
処理部１０は、データ拡張処理として、少なくとも高さに関する「変形処理」を実行する機能を有している。具体的には、処理部１０は、図１に示すように、取得部１１と、変形部１２と、決定部１３とを有している。

【0064】

取得部１１は、入力される変形対象となる第１画像データＤ１１を取得するように構成される。ユーザは、操作部１７等を介して変形対象となる第１画像データＤ１１をデータ作成システム１に入力する。

【0065】

変形部１２は、第１領域５１（溶接領域）、及び第２領域５２（第１及び第２母材領域５２１，５２２）を含む第１画像データＤ１１から、基準面Ｈ１に対する第１領域５１の高さに関する変形を施した第２画像データＤ１２を生成する（変形ステップ）。変形部１２は、決定部１３による決定結果に基づいて、高さに関する変形を施す。

【0066】

決定部１３は、第１領域５１（溶接領域）の高さに関する変化量が、第１領域５１内における基準点Ｐ１に近い位置ほど大きく、かつ第１領域５１及び第２領域５２の境界Ｃ１に近い位置ほど小さくなるように変化量（高さ変化量）を決定する（決定ステップ）。

【0067】

ここで以下に、図２Ａ～図４について具体的に説明する。

【0068】

図２Ａは、オブジェクト４を斜め上から撮像した第１画像データＤ１１の一例を示す。図２Ｂは、図２Ａに示す第１画像データＤ１１に対して高さに関する変形が施された第２画像データＤ１２の一例を示す。第１母材Ｂ１１及び第２母材Ｂ１２は、概ね一方向（横方向）に沿って並んでいる。図２Ａ及び図２Ｂでは、一例として、第１母材Ｂ１１及び第２母材Ｂ１２は、互いの表面同士が成す角度（溶接角度）が１８０度未満の鈍角で溶接されているが、溶接角度は、特に限定されない。

【0069】

図３Ａは、図２Ａの第１画像データＤ１１とは別の溶接データ（第１画像データＤ１１）の一例を示す。図３Ａは、オブジェクト４を真上から撮像した第１画像データＤ１１を示す。また図３Ｂは、図３Ａに示す第１画像データＤ１１に対して高さに関する変形が施された第２画像データＤ１２の一例を示す。

【0070】

以下では、主に図３Ａ及び図３Ｂを用いて変形処理を説明する。図３Ａ及び図３Ｂでは、第１母材Ｂ１１及び第２母材Ｂ１２は、Ｘ軸（横方向）に沿って並んでいて、ビードＢ１０は、Ｙ軸（縦方向）に沿って長尺に形成されている。

【0071】

第１領域５１は、ビードＢ１０であるオブジェクト４を示す画素領域である。つまり、第１領域５１は、溶接対象となる第１母材Ｂ１１及び第２母材Ｂ１２間を溶接することで形成される溶接領域に関する画素領域である。

【0072】

第２領域５２は、母材を示す画素領域である。ここでは、第２領域５２は、ビードＢ１０であるオブジェクト４が存在しない画素領域である。第２領域５２である第１母材領域５２１及び第２母材領域５２２の各々は、第１領域５１と隣り合う。図４の例では、第１母材領域５２１、第１領域５１及び第２母材領域５２２が、Ｘ軸の正の方向に向かってこの順に並ぶ。

【0073】

図４は、「第１領域５１の高さに関する変形」を概念的に分かりやすくするために用意した図である。図４は、上述の通り、仮に図３ＢのＡ－Ａ線に沿って切った場合のビードＢ１０の断面におけるビードＢ１０の外郭のみを実線で示した図である。図４では、変形後のビードＢ１０の外郭を太線（第２曲線Ｇ２）で示し、比較用に、変形前のビードＢ１０の外郭を細線（第１曲線Ｇ１）で示す。

【0074】

図４では、基準面Ｈ１に沿った方向（ビードＢ１０の幅方向）を横軸に設定し、基準面Ｈ１に対するビードＢ１０の高さ方向を縦軸に設定している。言い換えると、図４の横軸は、図３Ａ及び図３ＢのＸ軸に相当し、図４の縦軸は、図３Ａ及び図３ＢのＺ軸に相当する。基準面Ｈ１は、図３Ａ及び図３Ｂで言えばＸ－Ｙ平面と平行な仮想面である。つまり、第１領域５１の高さ（オブジェクト４の高さ）とは、Ｘ－Ｙ平面に直交する方向の成分であり、基準面Ｈ１からの高さである。基準面Ｈ１は、仮想面に限定されず、例えば、撮像時にオブジェクト４が設置される設置面（検査台等の表面）でもよいし、第１母材Ｂ１１又は第２母材Ｂ１２の表面でもよい。基準面Ｈ１は、撮像装置６から所定の距離だけ離れた位置に設定される仮想面でもよい。基準面Ｈ１は、処理部１０のメモリ等に予め設定された固定的な面でもよいし、ユーザからの操作部１７による指定に応じて変更可能な面でもよい。

【0075】

第１画像データＤ１１及び第２画像データＤ１２は、一例として距離画像データである。そのため、第１領域５１の高さに相当する画素値は、撮像対象から距離画像センサまでの距離に対応する画素値ともいえる。変形処理では、図４に示す「高さ」に相当する画素値の変換が、図３ＡにおけるＸ－Ｙ平面上で行われる。以下、さらに具体的に「変形処理」について説明する。

【0076】

まず決定部１３は、図３Ａに示す第１画像データＤ１１から、第１領域５１（溶接領域）、第１母材領域５２１、及び第２母材領域５２２に関する情報（以下、「領域情報」と呼ぶ）を抽出する。ユーザは、例えば、表示部１６により画面表示される第１画像データＤ１１を目視で確認し、ビードＢ１０、第１母材Ｂ１１及び第２母材Ｂ１２の位置等を特定する。ユーザは、操作部１７を用いて、ビードＢ１０、第１母材Ｂ１１及び第２母材Ｂ１２の位置等を指定するための情報を入力する。

【0077】

決定部１３は、ユーザから入力された情報に基づき、第１画像データＤ１１から領域情報を抽出し、処理部１０のメモリ等に記憶する。決定部１３は、例えば、ビードを特定するための情報を処理部１０のメモリ等に記憶し、その情報を用いて、第１画像データＤ１１から、エッジ検出処理等の画像処理によって領域情報を自動的に抽出する機能を有してもよい。

【0078】

次に決定部１３は、領域情報に基づき、基準点Ｐ１を設定する。基準点Ｐ１は、第１領域５１及び第２領域５２の並び方向（第１方向Ａ１：図３Ｂ参照）と交差する方向（ここでは第２方向Ａ２と平行な方向：図３Ｂ参照）に沿って複数並ぶ。ここでは決定部１３は、基準点Ｐ１を、第２方向Ａ２に沿って並ぶように複数設定する。図３Ａ及び図３Ｂでは、第１方向Ａ１は、Ｘ軸に沿った方向であり、第２方向Ａ２は、Ｙ軸に沿った方向である。第２方向Ａ２は、ビードＢ１０の溶接方向である。一例として、決定部１３は、第２方向Ａ２（溶接方向）と平行な基準線Ｖ１（図３Ａ参照）上に並ぶように複数の基準点Ｐ１（図３Ｂでは１つのみ図示）を設定し、各基準点Ｐ１の単位で変化量を決定する。決定部１３は、基準線Ｖ１上に並ぶ画素の単位で基準点Ｐ１を設定してもよい。図３Ｂでは、基準線Ｖ１は、第２方向Ａ２（Ｙ軸）と平行で、ビードＢ１０の長手方向の両端間にわたって引かれた１本の直線（仮想線）であるが、厳密な直線でなくてもよい。

【0079】

本実施形態では、基準点Ｐ１は、図３Ａ～図４に示すように、第１領域５１及び第２領域５２の並び方向（第１方向Ａ１）における、第１領域５１の中央に配置される。決定部１３は、基準点Ｐ１を、第１領域５１及び第２領域５２の並び方向（第１方向Ａ１）における、第１領域５１の中央に設定する。言い換えると、複数の基準点Ｐ１が並ぶ基準線Ｖ１は、ビードＢ１０の幅方向における中央の位置に設定される。ただし、各基準点Ｐ１の位置は、第１領域５１内であれば、上記中央に限定されない。各基準点Ｐ１の位置は、第１領域５１内であれば、ユーザからの操作部１７等による指定に応じて任意に設定変更されてよい。

【0080】

決定部１３は、複数の基準点Ｐ１の各々について変化量を決定するが、以下では説明の便宜上、基準線Ｖ１上に設定される複数の基準点Ｐ１のうち、ある１つの基準点Ｐ１に着目して説明する。図３Ａ～図４では、その着目した１つの基準点Ｐ１のみを図示する。

【0081】

また決定部１３は、領域情報に基づき、境界Ｃ１を設定する。ここでは決定部１３は、境界Ｃ１を、ビードＢ１０（オブジェクト）と第１母材Ｂ１１との境目、及び、ビードＢ１０と第２母材Ｂ１２との境目に設定する。言い換えると、決定部１３は、境界Ｃ１をビードＢ１０の輪郭と各母材との境目に設定する。

【0082】

具体的には、境界Ｃ１は、第１境界（線）Ｃ１１、及び第２境界（線）Ｃ１２を含む。第１境界Ｃ１１は、ビードＢ１０と第１母材Ｂ１１との境目に設定される。第２境界Ｃ１２は、ビードＢ１０と第２母材Ｂ１２との境目に設定される。

【0083】

第１境界Ｃ１１は、第１境界点Ｃ１１０を含む。第２境界Ｃ１２は、第２境界点Ｃ１２０を含む。第１境界点Ｃ１１０は、第１境界Ｃ１１と、着目する基準点Ｐ１を通る（Ｘ軸に平行な）Ａ－Ａ線との交点に位置する。また第２境界点Ｃ１２０は、第２境界Ｃ１２と、Ａ－Ａ線との交点に位置する。ここでは基準面Ｈ１は、Ｘ－Ｙ平面に平行で、かつ第１境界点Ｃ１１０及び第２境界点Ｃ１２０を通る面として設定される（図４参照）。

【0084】

決定部１３は、設定した基準点Ｐ１、第１境界点Ｃ１１０、及び第２境界点Ｃ１２０を用いて、変化量を決定する。ここでいう「変化量」は、第１画像データＤ１１における（変形前の）第１領域５１（溶接領域）に関する高さ（図４の第１曲線Ｇ１参照）に対する変化量（高さ変化量）である。

【0085】

一例として決定部１３は、基準面Ｈ１に対する基準点Ｐ１における高さが、基準面Ｈ１に対する変形前の第１領域５１内で高さが最大である最大点Ｐ２よりも高くなるように変化量を決定する。言い換えると、第１領域５１の高さに関する変形は、基準面Ｈ１に対する基準点Ｐ１における高さが、基準面Ｈ１に対する変形前の第１領域５１内で高さが最大である最大点Ｐ２よりも高くなるように施される。図４の例では、オブジェクト４がビードＢ１０であることに起因して、その断面は、基準面Ｈ１から凸となるように膨らんだ、最大点Ｐ２（頂点）を有する山形の形状である。図４の例では、最大点Ｐ２は、第１方向Ａ１における、ビードＢ１０の中央の位置と、第２境界点Ｃ１２０との中間点に位置する。つまり、変形前のビードＢ１０（第１曲線Ｇ１）は、頂点が基準点Ｐ１よりもＸ軸の正の側にずれたような山形の形状である。

【0086】

ここでは一例として、変化量は、変形前のビードＢ１０（第１曲線Ｇ１）の高さを増やす方向に変化させる量である。決定部１３は、第１領域５１の、基準点Ｐ１よりもＸ軸の負の側の領域に関して、基準点Ｐ１に近い位置ほど大きく、第１境界点Ｃ１１０に近い位置ほど小さくなるように、第１曲線Ｇ１に対する増加量（変化量）を決定する。同様に、決定部１３は、第１領域５１の、基準点Ｐ１よりもＸ軸の正の側の領域に関して、基準点Ｐ１に近い位置ほど大きく、第２境界点Ｃ１２０に近い位置ほど小さくなるように、第１曲線Ｇ１に対する増加量（変化量）を決定する。決定部１３は、第１領域５１全体として見ると、基準点Ｐ１が新たな頂点となるような山形の形状となる第２曲線Ｇ２を描くように、第１曲線Ｇ１に対する増加量（変化量）を決定する。図４から分かるように、第１曲線Ｇ１に対する増加量は、基準点Ｐ１よりもＸ軸の負の側の領域と、Ｘ軸の正の側の領域とで異なる。この増加量の相違は、例えば、変形前のビードＢ１０の断面における外郭（図４の第１曲線Ｇ１参照）の形状に依存して設定される。決定部１３は、高さ変化量の算出（第１曲線Ｇ１に対する増加量の決定）に、ベータ分布などを用いてもよい。

【0087】

このように決定部１３は、第１境界点Ｃ１１０、基準点Ｐ１及び第２境界点Ｃ１２０を通るＸ軸に沿った一ライン分の高さの、変形前のビードＢ１０（第１曲線Ｇ１）の高さに対する増加量を、複数の基準点Ｐ１の数の分だけ決定する。

【0088】

なお、基準点Ｐ１は、ユーザにより適宜に指定（直接指定）された位置でもよい。この場合、処理部１０の取得部１１は、第１領域５１における基準点Ｐ１の位置を指定するための指定情報を取得するように構成されることが好ましい。指定情報は、例えば、操作部１７等を介してユーザによって入力され得る。取得部１１は、例えば、第１領域５１の幅方向における両端間に対してどの比率の位置に基準点Ｐ１を設けるかに関する指定情報を取得する。具体的な例を挙げると、上記比率が「０：１」なら基準点Ｐ１は第１領域５１におけるＸ軸の負の側の一端（図３Ｂでは左端）に配置される。上記比率が「０．５：０．５」なら基準点Ｐ１は第１領域５１の中央に配置される。上記比率が「１：０」なら基準点Ｐ１は第１領域５１におけるＸ軸の正の側の一端（図３Ｂでは右端）に配置される。そして、処理部１０は、指定情報に基づき、基準点Ｐ１を設定する。

【0089】

指定情報は、基準点Ｐ１の画素位置（Ｘ－Ｙ座標）に関する情報を含んでもよい。指定情報は、例えば、操作部１７としてのマウスを用いて、ユーザにより入力されてもよい。例えば、ユーザは、表示部１６により画面表示されている第１画像データＤ１１を目視で確認しながら、操作部１７としてのマウスを用いて、基準点Ｐ１の画素位置（Ｘ－Ｙ座標）を指定してもよい。更に、オプションとして、着目する基準点Ｐ１と同じＹ座標における、第１境界点Ｃ１１０及び第２境界点Ｃ１２０も、操作部１７としてのマウスを用いてユーザにより指定されてもよい。決定部１３は、入力された基準点Ｐ１、第１境界点Ｃ１１０及び第２境界点Ｃ１２０に基づいて、基準点Ｐ１に近い位置ほど大きく、第１境界点Ｃ１１０及び第２境界点Ｃ１２０に近い位置ほど小さくなるように高さ変化量を算出する。そして、決定部１３は、算出した高さ変化量を第１画像データＤ１１に加えた画像を、表示部１６により画面表示する。ユーザは、表示部１６により表示された画像を目視で確認し、問題がなければ、例えば表示部１６に画面表示された確定ボタンをマウスを用いて選択することで、この基準点Ｐ１についての高さ変化量を確定する。他の基準点Ｐ１（Ｙ座標の値が異なる基準点Ｐ１）についても、同様にして、高さ変化量が決定されてもよい。このように、データ作成システム１は、ユーザからの操作入力に基づいて、第１画像データＤ１１内の基準点Ｐ１を指定する指定部１８（操作部１７、取得部１１）を、備えてもよい。なお、決定部１３が複数の高さ変化量（第１曲線Ｇ１に対する増加量）を算出し、ユーザは、算出された複数の高さ変化量をそれぞれ第１画像データＤ１１に加えて得られた複数の画像を確認しながら、どの画像（どの高さ変化量）を採用するかを選択できてもよい。

【0090】

変形部１２は、決定部１３での決定結果（増加量）に基づき、第１画像データＤ１１から、基準面Ｈ１に対する第１領域５１の高さに関する変形を施した第２画像データＤ１２を生成する。つまり、変形部１２は、複数の基準点Ｐ１の各々を通る一ラインの複数の画素について、変形前の画素値を、決定部１３で決定された増加量（高さ変化量）を加味した高さに対応する画素値に変換する。このようにして、変形部１２は、第１画像データＤ１１から、基準面Ｈ１に対する第１領域５１の高さに関する変形を施した第２画像データＤ１２を生成する。変形後のビードＢ１０の断面における外郭（図４の第２曲線Ｇ２参照）の形状は、変形前のビードＢ１０の断面における外郭（図４の第１曲線Ｇ１参照）の形状に対して、頂点の位置及び高さが変化する一方で、ある程度に相関を維持した形状となる。

【0091】

変形部１２は、変形処理として、オブジェクト４の高さに関する変形に加えて、別の変形（アフィン変換や射影変換等による拡大、縮小、回転又は反転等）を更に行って第２画像データＤ１２を作成してもよい。

【0092】

変形後のビードＢ１０は、図５に示すように、頂点（基準点Ｐ１）が尖った形状となる可能性がある。しかし、溶接工程において、ビードＢ１０が、尖った頂点を有した山形にはなりにくい。つまり、オブジェクト４の種類によっては、頂点が尖った形状の第１領域５１を含む第２画像データＤ１２は、実際には存在しないデータとなり得る。そこで本実施形態では、決定部１３は、基準点Ｐ１における基準面Ｈ１に対する（変形後のビードＢ１０の外郭の）傾斜角度が０度を含む所定の角度範囲内に収まるように変化量を決定する。言い換えると、第１領域５１の高さに関する変形は、基準点Ｐ１における基準面Ｈ１に対する傾斜角度が０度を含む所定の角度範囲内に収まるように施される。所定の角度範囲は、一例として、－１０度から＋１０度の範囲を想定するが、特に限定されず、適宜に変更されてもよい。例えば、決定部１３は、基準点Ｐ１における（第１領域５１の高さの）微分値が０となるように滑らかな曲線を描く変化量を決定する。ここでいう微分値は、基準点Ｐ１での、基準面Ｈ１に沿ったＸ軸の正側への変位量に対する高さ方向（Ｚ軸の正側の方向）の変位量の割合（傾き）である。このように傾斜角度が０度を含む所定の角度範囲内に収まるように変化量が決定されることで、基準点Ｐ１が尖った形状になりにくくなり、実際には存在し得ない画像データになることを抑制できる。

【0093】

また変形後のビードＢ１０の断面における外郭（第２曲線Ｇ２）が、図６に示すように、境界Ｃ１（第１境界点Ｃ１１０及び第２境界点Ｃ１２０）付近において基準面Ｈ１から浮くように全体的に増す可能性がある。つまり、第１領域５１（溶接領域）と第２領域５２（母材領域）とが境界Ｃ１で高さがずれてしまい不連続な第２画像データＤ１２が生成される可能性がある。そのような不連続な領域を含む第２画像データＤ１２は、実際には存在しないデータとなり得る。そこで本実施形態では、決定部１３は、境界Ｃ１における変化量がゼロを含む規定の範囲内に収まるように変化量を決定する。言い換えると、第１領域５１の高さに関する変形は、境界Ｃ１における変化量がゼロを含む規定の範囲内に収まるように施される。規定の範囲は、一例として、基準面Ｈ１から基準点Ｐ１までの高さの－３％から＋３％の範囲を想定するが、特に限定されず、適宜に変更されてもよい。このように境界Ｃ１における変化量がゼロを含む規定の範囲内に収まるように変化量が決定されることで、境界Ｃ１で高さの差が発生しにくくなり、実際には存在し得ない画像データになることを抑制できる。

【0094】

また変形後のビードＢ１０の断面における外郭（第２曲線Ｇ２）が、図７に示すように、境界Ｃ１（第１境界点Ｃ１１０及び第２境界点Ｃ１２０）付近において基準面Ｈ１から急激に高さが増加するように変形される可能性がある。つまり、第１領域５１（溶接領域）と第２領域５２（母材領域）との境界Ｃ１で窪んだようなエッジが発生した第２画像データＤ１２が生成される可能性がある。そのような窪んだ領域を含む第２画像データＤ１２は、実際には存在しないデータとなり得る。そこで本実施形態では、決定部１３は、境界Ｃ１における基準面Ｈ１に対する（変形後のビードＢ１０の外郭の）傾斜角度が０度を含む特定の角度範囲内に収まるように変化量を決定する。言い換えると、第１領域５１の高さに関する変形は、境界Ｃ１における基準面Ｈ１に対する傾斜角度が０度を含む特定の角度範囲内に収まるように施される。特定の角度範囲は、一例として、－１０度から＋１０度の範囲を想定するが、特に限定されず、適宜に変更されてもよい。このように境界Ｃ１における傾斜角度が０度を含む特定の角度範囲内に収まるように変化量が決定されることで、境界Ｃ１における高さのエッジが発生しにくくなり、実際には存在し得ない画像データになることを抑制できる。

【0095】

ところで、第１画像データＤ１１における境界Ｃ１付近に、不良の一種であるアンダーカット（溶接領域と母材領域との間に生じ得る、母材表面よりも凹む不良）が存在する場合がある。図８Ａは、オブジェクト４（ビードＢ１０）を斜め上から撮像した第１画像データＤ１１の要部を拡大した図である。図８Ａでは、アンダーカット（特定形態）を示す特定領域Ｔ１を一点鎖線の枠で示す。ここで図８Ａに示すように、境界Ｃ１よりも第１領域５１の側にアンダーカットが存在する場合、第１領域５１の高さに関する変形が施されると、アンダーカットまで高さが増してしまい、アンダーカットの凹みが緩やかな凹みとなる可能性がある。そのようなアンダーカットの高さが増した特定領域Ｔ１を含む第２画像データＤ１２（図８Ｂ参照）は、実際には存在しないデータとなり得る。そこで本実施形態では、変形部１２は、境界Ｃ１よりも第１領域５１の側に特定形態を示す特定領域Ｔ１が存在する場合、特定領域Ｔ１を除く第１領域５１について変形を施して第２画像データＤ１２を生成する。言い換えると、第１領域５１の高さに関する変形は、境界Ｃ１よりも第１領域５１の側に特定形態を示す特定領域Ｔ１が存在する場合、特定領域Ｔ１を除く第１領域５１について施される。例えば、変形部１２は、境界Ｃ１とは別に補助境界Ｃ２（図８Ａの一点鎖線参照）を設定し、特定領域Ｔ１が第２領域５２に含まれるように、つまり特定領域Ｔ１が変形処理の対象外となるようにする。その結果、特定領域Ｔ１の高さが変形されることが抑制される。すなわち、アンダーカットの部位を第１画像データＤ１１の状態に維持しつつ、ビードＢ１０に関する高さの変形が施された第２画像データＤ１２を生成できる。

【0096】

特定領域Ｔ１の設定は、例えば、ユーザからの操作部１７等による操作入力を受け付けることによって行われる。

【0097】

上記の例では、特定領域Ｔ１における特定形態は、アンダーカットという不良の一種であるが、ピット等の別の種類の不良でもよい。逆にたとえ境界Ｃ１よりも第１領域５１の側に不良部位が存在しても、不良に関する画像データの多様性を考慮して、補助境界Ｃ２の設定を行わずに、不良部位を変形処理の対象に含めてもよい。

【0098】

（２．３）動作
以下、データ作成システム１の動作の一例について図９を参照しながら説明する。ただし、以下の動作の順序は単なる一例であり、特に限定されない。

【0099】

データ作成システム１の処理部１０は、データ拡張処理を実行するためにオリジナル学習用データである第１画像データＤ１１を取得する（Ｓ１）。第１画像データＤ１１は、例えば、アンダーカットが存在する「不良（状態）」に該当するビードＢ１０が撮像されたデータである。

【0100】

処理部１０は、第１画像データＤ１１から、第１領域５１（溶接領域）、第１母材領域５２１、及び第２母材領域５２２に関する領域情報を抽出する（Ｓ２）。また処理部１０は、アンダーカットを示す特定領域Ｔ１に関するアンダーカット情報を抽出する（Ｓ３）。

【0101】

次に処理部１０は、領域情報及びアンダーカット情報に基づき、複数の基準点Ｐ１、及び境界Ｃ１（補助境界Ｃ２）を設定する（Ｓ４）。そして、処理部１０は、特定領域Ｔ１を除く第１領域５１（溶接領域）の高さに関する変化量を決定する（Ｓ５）。

【0102】

そして、処理部１０は、決定した変化量に基づき、高さの変形（画素値の変換）を施した第２画像データＤ１２を生成する（Ｓ６）。

【0103】

処理部１０は、生成した第２画像データＤ１２を出力する（Ｓ７）。第２画像データＤ１２は、学習用データ（画像データＤ１）として、オリジナルの第１画像データＤ１１と同じ「不良（アンダーカット）」のラベルが付与されて格納部に格納される。

【0104】

［利点］
上述した通り、本実施形態に係るデータ作成システム１では、第１画像データＤ１１の第１領域５１における高さを山形に盛り上げた又は谷形に掘り下げたような態様の第２画像データＤ１２を作成しやすくなる。結果的に、学習用データの多様性を向上でき、オブジェクト４に関する認識性能の改善を図ることができる。

【0105】

また本実施形態では、複数の基準点Ｐ１が、第１領域５１及び第２領域５２の並び方向（第１方向Ａ１）と交差する方向（第２方向Ａ２）に沿って並ぶように設定される。そのため、複数の基準点Ｐ１からなる尾根や谷間を形成するような第１領域５１が作成され得る。結果的に、第１画像データＤ１１の第１領域５１における高さを山形に盛り上げた又は谷形に掘り下げたような態様の第２画像データＤ１２をより作成しやすくなる。

【0106】

また本実施形態では、決定部１３は基準点Ｐ１（頂点）を第１領域５１の中央に設定するため、例えばオリジナルの第１画像データＤ１１における第１領域５１の頂点が中央からずれた位置にある場合に、頂点位置が変位した画像データを作成できる。結果的に、学習用データの多様性を更に向上できる。なお、上述の通り、本実施形態では一例として、基準点Ｐ１は、ビードＢ１０の幅方向（Ｘ軸の方向）における第１領域５１の中央に設定される。ただし、これに限らず、複数の基準点Ｐ１のうち、ある一の基準点Ｐ１を上記幅方向における第１領域５１の中央に設定し、他の基準点Ｐ１は、当該一の基準点Ｐ１を通る（Ｙ軸に沿った）直線上に設定してもよいし、基準点Ｐ１ごとに上記幅方向における第１領域５１の中央に設定してもよい。

【0107】

（３）変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係るデータ作成システム１と同様の機能は、データ作成方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。

【0108】

以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。以下では、上記実施形態を「基本例」と呼ぶこともある。

【0109】

本開示におけるデータ作成システム１は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示におけるデータ作成システム１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。

【0110】

また、データ作成システム１における複数の機能が、１つのハウジング内に集約されていることは必須の構成ではない。例えば、データ作成システム１の構成要素は、複数のハウジングに分散して設けられていてもよい。

【0111】

反対に、データ作成システム１における複数の機能が、１つのハウジング内に集約されてもよい。さらに、データ作成システム１の少なくとも一部の機能、例えば、データ作成システム１の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。

【0112】

（３．１）変形例１
以下、本開示における変形例１について、図１０及び図１１Ａ～図１１Ｃを参照しながら説明する。以下では基本例のデータ作成システム１と実質的に同じ構成要素については、同じ符号を付与して適宜にその説明を省略する場合がある。

【0113】

基本例では、オブジェクト４を示す画素領域である第１領域５１が、高さに関する変形の対象領域であった。本変形例では、高さに関する変形の対象領域が、第２領域５２である点で、基本例と相違する。さらに本変形例では、第１画像データＤ１１に加えて、基準画像データＤ４（サンプルデータ：図１０及び図１１Ｂ参照）を入力画像データとして用いる点で基本例と相違する。

【0114】

具体的には、本変形例のデータ作成システム１Ａは、第１画像データＤ１１と基準画像データＤ４とから、オブジェクト４に関する学習済みモデルＭ１を生成するための学習用データとして用いられる第２画像データＤ１２を作成する。データ作成システム１Ａは、図１０に示すように、処理部１０を備える。処理部１０は、変形部１２Ａ及び決定部１３Ａを有する。

【0115】

第１画像データＤ１１は、基本例と同様に、オブジェクト４（ビードＢ１０）を示す画素領域である第１領域５１（溶接領域）と、第１領域５１と隣り合う第２領域５２（第１母材領域５２１及び第２母材領域５２２）とを含む。ここでは、第２領域５２は、ビードＢ１０であるオブジェクト４が存在しない画素領域である。第１画像データＤ１１は、例えば撮像装置６で実際に撮像された画像データである。

【0116】

第１画像データＤ１１に写る２つの母材（第１母材Ｂ１１及び第２母材Ｂ１２）は、基本例と同様に、いずれも平坦な板状の金属板である。基本例では、第１画像データＤ１１は、第１母材Ｂ１１及び第２母材Ｂ１２が互いに１８０度未満の鈍角を成すように溶接されたデータであったが、ここでは説明の便宜上、第１母材Ｂ１１及び第２母材Ｂ１２が互いに略面一を成すように溶接されたものとする。なお、図１１Ａは、第１画像データＤ１１の第１領域５１内におけるある基準点Ｐ１でＸ軸に沿って切った断面における第１領域（溶接領域）及び２つの第２領域５２（母材領域）に関する高さを模式的に示している。

【0117】

基準画像データＤ４は、オブジェクト４を示す画素領域である第３領域５３、及び第３領域５３と隣り合う第４領域５４（第３母材領域５４Ａ及び第４母材領域５４Ｂ）を含む（図１１Ｂ参照）。ここでは、基準画像データＤ４のオブジェクト４もビードＢ１０Ａであり、第３領域５３は、ビードＢ１０Ａを示す画素領域である。第１領域５１と第３領域５３は、いずれも溶接領域であり、溶接方向もＹ軸に沿った方向である点で共通する。第４領域５４は、２つ存在し（第３母材領域５４Ａ及び第４母材領域５４Ｂ）、それぞれ溶接の対象である母材を示す画素領域である。ここでは、第４領域５４は、ビードＢ１０Ａであるオブジェクト４が存在しない画素領域である。第２領域５２と第４領域５４は、いずれも母材領域である点で共通する。ただし、基準画像データＤ４に写る２つの母材は、いずれも平坦な板状の金属板ではなく、金属パイプである点で第１画像データＤ１１と異なる。すなわち、基準画像データＤ４は、パイプ溶接の画像データである。２つの第４領域５４のうち第３母材領域５４Ａはパイプ状の第３母材Ｂ３の領域に相当し、第４母材領域５４Ｂはパイプ状の第４母材Ｂ４の領域に相当する（図１１Ｂ参照）。なお、図１１Ｂも、基準画像データＤ４の第３領域５３内におけるある基準点でＸ軸に沿って切った断面における第３領域５３（溶接領域）及び２つの第４領域５４（母材領域）に関する高さを模式的に示している。基準画像データＤ４は、例えば撮像装置６で実際に撮像された画像データである。基準画像データＤ４は、オブジェクト及び母材が描画されたＣＧ画像でもよい。基準画像データＤ４は、実際に撮像された画像を部分的に嵌め込んで作成されてもよい。

【0118】

第１画像データＤ１１では、図１１Ａに示すように、基準面（第１基準面Ｊ１）は、Ｘ－Ｙ平面に平行で、かつ２つの境界Ｃ１（境界点）を通る面として設定される。ここでは第１基準面Ｊ１は、互いに略面一である第１及び第２母材Ｂ１１，Ｂ１２の表面と概ね一致する。第１画像データＤ１１では、母材が平坦な金属板であることから、第１基準面Ｊ１に対する第１及び第２母材Ｂ１１，Ｂ１２の各々の高さは、ゼロである。

【0119】

基準画像データＤ４では、図１１Ｂに示すように、基準面（第２基準面Ｊ２）は、Ｘ－Ｙ平面に平行で、かつ２つの境界Ｃ１Ａ（境界点）を通る面として設定される。基準画像データＤ４では、第３及び第４母材Ｂ３，Ｂ４が金属パイプであることから、第２基準面Ｊ２に対する第３及び第４母材Ｂ３，Ｂ４の各々の高さがゼロより大きい。図１１Ｂでは、金属パイプである第３及び第４母材Ｂ３，Ｂ４の各々の一部（略円弧状の部位）の高さが模式的に示されている。

【0120】

本変形例の処理部１０は、第１基準面Ｊ１に対する第２領域５２の高さに関する変形を、基準画像データＤ４の、第２基準面Ｊ２に対する第４領域５４の高さに基づいて施した、第２画像データＤ１２を生成する。決定部１３Ａは、基準画像データＤ４の、第２基準面Ｊ２に対する第４領域５４の高さに基づき、第２領域５２の高さに関する変化量を決定する。ここでは一例として、決定部１３Ａは、第１母材Ｂ１１を示す第１母材領域５２１に関する高さ（頂点位置も含む）が、パイプ溶接の第３母材Ｂ３を示す第３母材領域５４Ａと一致するように、第１母材領域５２１に関する高さの変化量を決定する。また決定部１３Ａは、第２母材Ｂ１２を示す第２母材領域５２２に関する高さ（頂点位置も含む）が、パイプ溶接の第４母材Ｂ４を示す第４母材領域５４Ｂと一致するように、第２母材領域５２２に関する高さの変化量を決定する。

【0121】

本変形例の変形部１２Ａは、第１画像データＤ１１から、第１基準面Ｊ１に対する第２領域５２の高さに関する変形を施した第２画像データＤ１２を生成する。変形部１２Ａは、第１母材領域５２１及び第２母材領域５２２の画素値を、決定部１３Ａで決定された変化量（増加量）を加味した高さに対応する画素値に変換して、第２画像データＤ１２を生成する。その結果、第２画像データＤ１２では、ビードＢ１０の高さ及び形状が第１画像データＤ１１の状態で維持される一方で、あたかもパイプ溶接の画像データのように第１及び第２母材Ｂ１１，Ｂ１２が金属パイプに置き換えられた画像データとなる（図１１Ｃ参照）。

【0122】

このように第１画像データＤ１１とは別の画像データ（基準画像データＤ４）に基づき、母材の高さに関する変形を施すことで、学習用データの多様性を更に向上でき、オブジェクト４に関する認識性能の改善を図ることができる。

【0123】

（３．２）変形例２
以下、本開示における変形例２について、図１２Ａ～図１２Ｃを参照しながら説明する。本変形例は、上述した変形例１の更に別の例である。以下では変形例１のデータ作成システム１Ａと実質的に同じ構成要素については、同じ符号を付与して適宜にその説明を省略する場合がある。

【0124】

変形例１では、単に第２領域５２の高さ（頂点位置も含む）が、基準画像データＤ４の第４領域５４の高さと一致するような変形が施された第２画像データＤ１２が生成された。

【0125】

本変形例のデータ作成システム１Ａは、基準画像データＤ４の第４領域５４をベースとしつつ、その高さと頂点位置を変更した態様となるように、第２領域５２の高さ変形が施された第２画像データＤ１２を生成する点で、変形例１と相違する。

【0126】

具体的には、まず決定部１３Ａは、第２領域５２内において第１基準点Ｑ１（図１２Ａ参照）を設定する。以下では、説明の便宜上、２つの第２領域５２のうち第２母材領域５２２に関する高さの変形についてのみに着目して説明するが、第１母材領域５２１に関する高さの変形も同様に実行されることを想定する。

【0127】

第１基準点Ｑ１は、基本例の基準点Ｐ１と同様に溶接方向（Ｙ軸）に沿って複数設定されるが、ここでは図１２Ａに示すように、ある１つの第１基準点Ｑ１に着目して説明する。各第１基準点Ｑ１のＸ軸の方向に関する位置は、第２母材領域５２２（第２領域５２）内であれば、特に限定されず、ユーザからの操作部１７等による指定に応じて任意に設定されてよい。

【0128】

決定部１３Ａは、図１２Ａに示すように、第２領域５２の外縁Ｘ１から第１基準点Ｑ１までの距離を第１距離Ｌ１とし、第１領域５１と第２領域５２との境界Ｃ１から第１基準点Ｑ１までの距離を第２距離Ｌ２とする。第２領域５２の外縁Ｘ１は、例えば、第１画像データＤ１１内における第２母材領域５２２（第２領域５２）の外縁である。

【0129】

決定部１３Ａは、図１２Ｂに示すように、基準画像データＤ４の第４領域５４において、第２基準面Ｊ２上の、第１距離Ｌ１と第２距離Ｌ２との比と等しい位置を第２基準点Ｑ２に設定する。ここでは、Ｘ軸の方向における、第４母材領域５４Ｂ（第４領域５４）の外縁Ｘ２から第２基準点Ｑ２までの距離を第３距離Ｌ３とする。またＸ軸の方向における、第３領域５３（溶接領域）と第４母材領域５４Ｂ（第４領域５４）との境界Ｃ１Ａからから第２基準点Ｑ２までの距離を第４距離Ｌ４とする。この場合、第１距離Ｌ１と第２距離Ｌ２との比が、第３距離Ｌ３と第４距離Ｌ４との比と一致するように、Ｘ軸の方向における第２基準点Ｑ２の位置が決定されることになる。すなわち、第２基準点Ｑ２は、第４領域５４における高さの頂点とは限らない。

【0130】

決定部１３Ａは、第２基準面Ｊ２に対する第２基準点Ｑ２における高さに基づき、第１基準点Ｑ１における変化量を決定する。言い換えると、第１基準点Ｑ１における変化量は、第２基準面Ｊ２に対する第２基準点Ｑ２における高さに基づく量である。ここでは決定部１３Ａは、Ｘ軸の方向における第１基準点Ｑ１の位置が第２母材領域５２２の頂点位置となるように、かつ第２母材領域５２２の第１基準点Ｑ１の高さが第２基準点Ｑ２の高さと一致するように第２母材領域５２２に関する高さの変化量を決定する。なお、決定部１３Ａは、第１母材領域５２１についても同様に第１基準点Ｑ１及び第２基準点Ｑ２を設定して、第１母材領域５２１に関する高さの変化量を決定する。

【0131】

変形部１２Ａは、第１及び第２母材領域５２１，５２２の画素値を、決定部１３Ａで決定された変化量（増加量；高さ変化量）を加味した高さに対応する画素値に変換して、第２画像データＤ１２を生成する。その結果、第２画像データＤ１２では、ビードＢ１０の高さ及び形状が第１画像データＤ１１の状態で維持されるが、あたかもパイプ溶接の画像データのように第１及び第２母材Ｂ１１，Ｂ１２が金属パイプに置き換えられた画像データとなる（図１２Ｃ参照）。変形後の第２領域５２の断面における外郭（図１２Ｃの曲線参照）の形状は、基準画像データＤ４の第４領域５４の断面における外郭（図１２Ｂの曲線参照）の形状に対して、頂点の位置及び高さが変化する一方で、ある程度に相関を維持した形状となる。

【0132】

本変形例によれば、第１画像データＤ１１の第２領域５２における高さを、基準画像データＤ４の第４領域５４の高さに基づき変形させた第２画像データＤ１２を作成しやすくなる。結果的に、学習用データの多様性を更に向上でき、オブジェクト４に関する認識性能の改善を図ることができる。

【0133】

なお、本変形例についても、基本例の場合と同様に、第１基準点Ｑ１は、ユーザにより適宜に指定された位置でもよい。この場合、取得部１１（指定部１８）は、第１基準点Ｑ１の位置を指定するための指定情報を取得してもよい。

【0134】

指定情報は、例えば、操作部１７（指定部１８）としてのマウスを用いて、ユーザにより入力されてもよい。例えば、ユーザは、表示部１６により画面表示されている第１画像データＤ１１を目視で確認しながら、操作部１７としてのマウスを用いて、第１基準点Ｑ１の画素位置（Ｘ－Ｙ座標）を指定してもよい。更に、オプションとして、第１画像データＤ１１において、着目する第１基準点Ｑ１と同じＹ座標における、第１領域５１と第２領域５２との境界Ｃ１（境界点）、及び第２領域５２の外縁Ｘ１（外縁の点）も、操作部１７としてのマウスを用いてユーザにより指定されてもよい。更に、オプションとして、基準画像データＤ４において、第３領域５３と第４領域５４との境界Ｃ１Ａ（境界点）、及び第４領域５４の外縁Ｘ２（外縁の点）も、操作部１７としてのマウスを用いてユーザにより指定されてもよい。決定部１３Ａは、第１距離Ｌ１と第２距離Ｌ２との比、境界Ｃ１Ａ（境界点）、及び第４領域５４の外縁Ｘ２（外縁の点）に基づいて、基準画像データＤ４内に第２基準点Ｑ２を決定し、第２基準面Ｊ２に対する第２基準点Ｑ２における高さに基づいて第１基準点Ｑ１における高さ変化量を算出する。そして決定部１３Ａは、算出した高さ変化量を第１画像データＤ１１に加えた画像を、表示部１６により画面表示する。一例において、決定部１３Ａは、第１基準面Ｊ１に対する第１基準点Ｑ１の高さが、第２基準面Ｊ２に対する第２基準点Ｑ２における高さと等しくなるように、高さ変化量を算出する。ユーザは、表示部１６により表示された画像を目視で確認し、問題がなければ、例えば表示部１６に画面表示された確定ボタンをマウスを用いて選択することで、この基準点Ｑ１についての高さ変化量を確定する。他の第１基準点Ｑ１（Ｙ座標の値が異なる第１基準点Ｑ１）についても、同様にして、高さ変化量が決定されてもよい。このように、データ作成システム１Ａは、ユーザからの操作入力に基づいて、第１画像データＤ１１内の第１基準点Ｑ１を指定する指定部１８（操作部１７、取得部１１）を、備えてもよい。

【0135】

本変形例のデータ作成システム１Ａと同様の機能は、データ作成方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。すなわち、本変形例のデータ作成方法は、第１画像データＤ１１と基準画像データＤ４とから、オブジェクト４に関する学習済みモデルＭ１を生成するための学習用データとして用いられる第２画像データＤ１２を作成するデータ作成方法である。データ作成方法は、処理ステップを含む。処理ステップでは、オブジェクト４を示す画素領域Ｒ１である第１領域５１、及び第１領域５１と隣り合う第２領域５２を含む第１画像データＤ１１から、第１基準面Ｊ１に対する第２領域５２の高さに関する変形を施した第２画像データＤ１２を生成する。処理ステップでは、第１基準面Ｊ１に対する第２領域５２の高さに関する変形を、オブジェクト４を示す画素領域である第３領域５３、及び第３領域５３と隣り合う第４領域５４を含む基準画像データＤ４の、第２基準面Ｊ２に対する第４領域５４の高さに基づいて施した、第２画像データＤ１２を生成する。第２領域５２の外縁Ｘ１から、第２領域５２内における第１基準点Ｑ１までの距離を第１距離Ｌ１とし、第１領域５１と第２領域５２との境界Ｃ１から第１基準点Ｑ１までの距離を第２距離Ｌ２とする。基準画像データＤ４の第４領域５４において、第２基準面Ｊ２上の、第１距離Ｌ１と第２距離Ｌ２との比と等しい位置を第２基準点Ｑ２とする。第１基準点Ｑ１における変化量は、第２基準面Ｊ２に対する第２基準点Ｑ２における高さに基づく量である。

【0136】

（３．３）変形例３
データ作成システム１において、決定部１３を備える処理装置（以下、「第１処理装置」）１１０と、変形部１２を備える処理装置（以下、「第２処理装置」）１２０とは、異なる装置であってもよい。

【0137】

例えば、図１３に示すように、第１処理装置１１０は、処理部（以下、「第１処理部」）１０１と、通信部（以下、「第１通信部」）１５１と、表示部１６と、操作部１７と、を備える。第１処理装置１１０の第１処理部１０１は、取得部（以下、「第１取得部」）１１１と、決定部１３と、を備える。第１処理装置１１０は、指定部１８（操作部１７、第１取得部１１１）を備えている。

【0138】

第１取得部１１１は、第１画像データＤ１１を取得する。また、第１取得部１１１（指定部１８）は、指定情報（第１領域５１における基準点Ｐ１の位置を指定するための情報）を取得してもよい。

【0139】

決定部１３は、第１画像データＤ１１について、第１領域５１の高さに関する変化量（高さ変化量）を決定する。決定部１３は、第１領域内５１における基準点Ｐ１に近い位置ほど大きく、かつ第１領域５１及び第２領域５２の境界に近い位置ほど小さくなるように、高さ変化量を決定する。

【0140】

第１通信部１５１（送信部）は、決定部１３で決定された高さ変化量を示す情報Ｄ２０を、第２処理装置１２０へ出力（送信）する。

【0141】

第２処理装置１２０は、処理部（以下、「第２処理部」）１０２と、通信部（以下、「第２通信部」）１５２と、を備える。第２処理装置１２０の第２処理部１０２は、取得部（以下、「第２取得部」）１１２と、変形部１２と、を備えている。

【0142】

第２取得部１１２は、第１画像データＤ１１を取得する。

【0143】

第２通信部１５２（受信部）は、高さ変化量を示す情報Ｄ２０を受信する。第２取得部１１２は、高さ変化量を示す情報Ｄ２０を取得する。

【0144】

変形部１２は、高さ変化量に基づいて、第１画像データＤ１１から、第１領域５１の高さに関する変形を施した第２画像データＤ１２を生成する。

【0145】

第２処理装置１２０は、例えば第２通信部１５２によって、生成した第２画像データＤ１２を第１処理装置１１０へ送信してもよい。その場合、ユーザは、受け取った第２画像データＤ１２を用いて、学習システム２により学習済みモデルＭ１を生成してもよい。

【0146】

第２処理装置１２０は、生成した第２画像データＤ１２を、学習システムを備える外部のサーバへ送信してもよい。外部のサーバの学習システムは、第２画像データＤ１２としての学習用データを含む学習用データセットを用いて、学習済みモデルＭ１を生成する。この学習済みモデルＭ１は、第２画像データＤ１２（第１画像データＤ１１から高さ変化量に基づいて第１領域５１に関する変形を施して生成された第２画像データＤ１２）、或いは第２画像データＤ１２における第１領域５１に対して、オブジェクト４の特定状態に関する推定について第１画像データＤ１１と同等の推定結果を出力することとなる。ユーザは、外部のサーバから、生成された学習済みモデルＭ１を受け取ってもよい。

【0147】

（３．４）変形例４
データ作成システム１Ａにおいて、決定部１３Ａを備える処理装置（以下、「第１処理装置」）１１０Ａと、変形部１２Ａを備える処理装置（以下、「第２処理装置」）１２０Ａとは、異なる装置であってもよい。

【0148】

例えば、図１４に示すように、第１処理装置１１０Ａは、処理部（以下、「第１処理部」）１０１と、通信部（以下、「第１通信部」）１５１と、表示部１６と、操作部１７と、を備える。第１処理装置１１０の第１処理部１０１は、取得部（以下、「第１取得部」）１１１と、決定部１３Ａと、を備える。第１処理装置１１０Ａは、指定部１８（操作部１７、第１取得部１１１）を備えている。

【0149】

第１取得部１１１は、第１画像データＤ１１及び基準画像データＤ４を取得する。また、第１取得部１１１（指定部１８）は、指定情報（第２領域５２における第１基準点Ｑ１の位置を指定するための情報）を取得してもよい。

【0150】

決定部１３Ａは、基準画像データＤ４の、第２基準面Ｊ２に対する第４領域５４の高さに基づいて、高さに関する変化量である高さ変化量を決定する。より詳細には、決定部１３Ａは、第１基準点Ｑ１における変化量が、第２基準面Ｊ２に対する第２基準点Ｑ２における高さに基づく量となるように、高さ変化量を決定する。ここで、第２基準点Ｑ２は、基準画像データＤ４の第４領域５４において、第２基準面Ｊ２上の、第１距離Ｌ１と第２距離Ｌ２との比と等しい位置である。第１距離Ｌ１は、第２領域５２の外縁Ｘ１から、第２領域５２内における第１基準点Ｑ２までの距離である。第２距離Ｌ２は、第１領域５１と第２領域５２との境界Ｃ１から第１基準点Ｑ１までの距離である。

【0151】

第１通信部１５１（送信部）は、決定部１３Ａで決定された高さ変化量を示す情報Ｄ２０Ａを、第２処理装置１２０へ出力（送信）する。

【0152】

第２処理装置１２０Ａは、処理部（以下、「第２処理部」）１０２と、通信部（以下、「第２通信部」）１５２と、を備える。第２処理装置１２０の第２処理部１０２は、取得部（以下、「第２取得部」）１１２と、変形部１２Ａと、を備えている。

【0153】

第２取得部１１２は、第１画像データＤ１１を取得する。

【0154】

第２通信部１５２（受信部）は、高さ変化量を示す情報Ｄ２０Ａを受信する。第２取得部１１２は、高さ変化量を示す情報Ｄ２０Ａを取得する。

【0155】

変形部１２Ａは、高さ変化量に基づいて、第１画像データＤ１１から、第１基準面Ｊ１に対する第２領域５２の高さに関する変形を施した第２画像データＤ１２を生成する。

【0156】

第２処理装置１２０は、例えば第２通信部１５２によって、生成した第２画像データＤ１２を第１処理装置１１０へ送信してもよい。その場合、ユーザは、受け取った第２画像データＤ１２を用いて、学習システム２により学習済みモデルＭ１を生成してもよい。

【0157】

第２処理装置１２０Ａは、生成した第２画像データＤ１２を、学習システムを備える外部のサーバへ送信してもよい。外部のサーバの学習システムは、第２画像データＤ１２としての学習用データを含む学習用データセットを用いて、学習済みモデルＭ１を生成する。この学習済みモデルＭ１は、第２画像データＤ１２（第１画像データＤ１１から高さ変化量に基づいて第２領域５２に関する変形を施して生成された第２画像データＤ１２）或いは第２画像データＤ１２における第１領域５１に対して、オブジェクト４の特定状態に関する推定について第１画像データＤ１１と同等の推定結果を出力することとなる。ユーザは、外部のサーバから、生成された学習済みモデルＭ１を受け取ってもよい。

【0158】

（３．５）その他の変形例
以下、その他の変形例について列記する。

【0159】

本開示でいう「画像データ」は、イメージセンサで取得する画像データに限らず、例えばＣＧ画像等の二次元データであってもよいし、或いは基本例で説明したように距離画像センサで取得した一次元データを並べて構築した二次元データであってもよい。また「画像データ」は、三次元以上のデータであってもよい。また本開示における「画素」は、実際にイメージセンサで取得した画像の画素に限らず、二次元データの各要素であってもよい。

【0160】

基本例では、第１画像データＤ１１は、実際に撮像装置６により撮像された画像データである。しかし、第１画像データＤ１１は、ビードＢ１０、第１母材Ｂ１１及び第２母材Ｂ１２の少なくとも一部を模式的に描画したＣＧ画像を含んでもよい。

【0161】

基本例では、変化量は、山形の第１領域５１に対して高さが増す方向に変形させる増加量であった。しかし、変化量は、減少量でもよい。例えば、変化量は、オブジェクト４が凸部（ビードＢ１０）ではなくて、凹部（例えば金属板に付いた傷等）であれば、谷形の第１領域５１に対して高さを減らす方向（逆に言えば深さが増す方向）に変形させる量でもよい。

【0162】

基本例では、決定部１３は、基準面Ｈ１に対する基準点Ｐ１における高さが、基準面Ｈ１に対する変形前の第１領域５１内で高さが最大である最大点Ｐ２よりも高くなるように変化量を決定する。しかし、決定部１３は、基準面Ｈ１に対する基準点Ｐ１における高さが、基準面Ｈ１に対する変形前の第１領域５１内で高さが最大である最大点Ｐ２よりも低くなるように変化量を決定してもよい。言い換えると、第１領域５１の高さに関する変形は、基準面Ｈ１に対する基準点Ｐ１における高さが、基準面Ｈ１に対する変形前の第１領域５１内で高さが最大である最大点Ｐ２よりも低くなるように施されてもよい。この場合、より多様な第２画像データＤ１２を作成しやすくなる。

【0163】

基本例では、認識対象となるオブジェクト４が溶接のビードＢ１０であった。しかし、オブジェクト４は、ビードＢ１０に限定されない。学習済みモデルＭ１は、溶接が正しく行われたか否かを検査する溶接外観検査のために用いられることに限定されない。例えば第１画像データＤ１１は、航空機、又はドローン装置等によって上空から撮像された画像データであって、オブジェクト４は山岳、又は建造物（例えばビルディング）等でもよい。この場合、例えば、第１領域５１は、山岳を示す画素領域となり、第２領域５２は平地や道路を示す画素領域となり得る。第２画像データＤ１２を用いて作成される学習済みモデルＭ１は、地理空間に関する識別作業のために用いられてもよい。

【0164】

基本例におけるデータ作成システム１は、第１領域５１（溶接領域）の高さに関する変形を行う機能に加えて、変形例１及び変形例２における第２領域５２（母材領域）の高さに関する変形を行う機能を更に有してもよい。変形例１及び変形例２における母材の高さ変形は、２つの母材のうち一方のみに適用されてもよく、この場合、例えば異なる２つの母材（金属板及び金属パイプ）の溶接に関する画像データを作成できる。

【0165】

基本例では、第１領域５１における基準点Ｐ１は、ビードＢ１０の幅方向（Ｘ軸の方向）における第１領域５１の中央に配置されていた。ただし、基準点Ｐ１は、中央以外の位置に配置されてもよい。

【0166】

評価システム１００は、データ作成システム１の一部の構成のみを備えていてもよい。評価システム１００は、例えば、データ作成システム１が備える第１処理装置１１０及び第２処理装置１２０（図１３参照）のうちの第１処理装置１１０と、学習システム２と、のみを備えていてもよい。第１処理装置１１０の機能と、学習システム２の機能とは、１つの装置に備えられていてもよい。評価システム１００は、例えば、データ作成システム１が備える第１処理装置１１０及び第２処理装置１２０のうちの第１処理装置１１０と、推定システム３と、のみを備えていてもよい。第１処理装置１１０の機能と、推定システム３の機能とは、１つの装置に備えられていてもよい。

【0167】

評価システム１００は、データ作成システム１Ａの一部の構成のみを備えていてもよい。評価システム１００は、例えば、データ作成システム１Ａが備える第１処理装置１１０Ａ及び第２処理装置１２０Ａ（図１４参照）のうちの第１処理装置１１０Ａと、学習システム２と、のみを備えていてもよい。評価システム１００は、例えば、データ作成システム１Ａが備える第１処理装置１１０Ａ及び第２処理装置１２０Ａのうちの第１処理装置１１０Ａと、推定システム３と、のみを備えていてもよい。

【0168】

（４）まとめ
以上説明したように、第１の態様に係るデータ作成システム（１）は、第１画像データ（Ｄ１１）から、オブジェクト（４）に関する学習済みモデル（Ｍ１）を生成するための学習用データとして用いられる第２画像データ（Ｄ１２）を作成する。データ作成システム（１）は、処理部（１０）を備える。処理部（１０）は、オブジェクト（４）を示す画素領域である第１領域（５１）、及び第２領域（５２）を含む第１画像データ（Ｄ１１）から、基準面（Ｈ１）に対する第１領域（５１）の高さに関する変形を施した第２画像データ（Ｄ１２）を生成する。第２領域（５２）は、第１領域（５１）と隣り合う。処理部（１０）は、基準面（Ｈ１）に対する第１領域（５１）の高さに関する変化量が、第１領域（５１）内における基準点（Ｐ１）に近い位置ほど大きく、かつ第１領域（５１）及び第２領域（５２）の境界（Ｃ１）に近い位置ほど小さくなるように、第２画像データ（Ｄ１２）を生成する。

【0169】

この態様によれば、第１画像データ（Ｄ１１）の第１領域（５１）における高さを山形に盛り上げた又は谷形に掘り下げたような態様の第２画像データ（Ｄ１２）を作成しやすくなる。結果的に、学習用データの多様性を向上でき、オブジェクト（４）に関する認識性能の改善を図ることができる。

【0170】

第２の態様に係るデータ作成システム（１）に関して、第１の態様において、第１領域（５１）の高さに関する変形は、基準点（Ｐ１）における基準面（Ｈ１）に対する傾斜角度が０度を含む所定の角度範囲内に収まるように施される。

【0171】

この態様によれば、基準点（Ｐ１）が尖った形状になるにくくなり、実際には存在し得ない画像データになることを抑制できる。

【0172】

第３の態様に係るデータ作成システム（１）に関して、第１又は第２の態様において、基準点（Ｐ１）は、第１領域（５１）及び第２領域（５２）の並び方向（第１方向Ａ１）と交差する方向（第２方向Ａ２）に沿って複数並ぶ。

【0173】

この態様によれば、第１画像データ（Ｄ１１）の第１領域（５１）における高さを山形に盛り上げた又は谷形に掘り下げたような態様の第２画像データ（Ｄ１２）をより作成しやすくなる。

【0174】

第４の態様に係るデータ作成システム（１）に関して、第１～第３の態様のいずれか１つにおいて、第１領域（５１）の高さに関する変形は、次のように施される。すなわち、第１領域（５１）の高さに関する変形は、基準面（Ｈ１）に対する基準点（Ｐ１）における高さが、基準面（Ｈ１）に対する変形前の第１領域（５１）内で高さが最大である最大点（Ｐ２）よりも高くなるように施される。

【0175】

この態様によれば、より多様な第２画像データ（Ｄ１２）を作成しやすくなる。

【0176】

第５の態様に係るデータ作成システム（１）に関して、第１～第３の態様のいずれか１つにおいて、第１領域（５１）の高さに関する変形は、次のように施される。すなわち、第１領域（５１）の高さに関する変形は、基準面（Ｈ１）に対する基準点（Ｐ１）における高さが、基準面（Ｈ１）に対する変形前の第１領域（５１）内で高さが最大である最大点（Ｐ２）よりも低くなるように施される。

【0177】

この態様によれば、より多様な第２画像データ（Ｄ１２）を作成しやすくなる。

【0178】

第６の態様に係るデータ作成システム（１）に関して、第１～第５の態様のいずれか１つにおいて、基準点（Ｐ１）は、第１領域（５１）及び第２領域（５２）の並び方向（第１方向Ａ１）における、第１領域（５１）の中央に配置される。

【0179】

この態様によれば、学習用データの多様性を更に向上できる。

【0180】

第７の態様に係るデータ作成システム（１）に関して、第１～第６の態様のいずれか１つにおいて、第１領域（５１）の高さに関する変形は、境界（Ｃ１）における変化量がゼロを含む規定の範囲内に収まるように施される。

【0181】

この態様によれば、境界（Ｃ１）で高さの差が発生しにくくなり、実際には存在し得ない画像データになることを抑制できる。

【0182】

第８の態様に係るデータ作成システム（１）に関して、第１～第７の態様のいずれか１つにおいて、第１領域（５１）の高さに関する変形は、境界（Ｃ１）における基準面（Ｈ１）に対する傾斜角度が０度を含む特定の角度範囲内に収まるように施される。

【0183】

この態様によれば、境界（Ｃ１）における高さのエッジが発生しにくくなり、実際には存在し得ない画像データになることを抑制できる。

【0184】

第９の態様に係るデータ作成システム（１）に関して、第１～第８の態様のいずれか１つにおいて、第１領域（５１）の高さに関する変形は、次のように施される。すなわち、第１領域（５１）の高さに関する変形は、境界（Ｃ１）よりも第１領域（５１）の側に特定形態を示す特定領域（Ｔ１）が存在する場合、特定領域（Ｔ１）を除く第１領域（５１）について施される。

【0185】

この態様によれば、特定領域（Ｔ１）の高さが変形されることが抑制される。

【0186】

第１０の態様に係るデータ作成システム（１）に関して、第１～第９の態様のいずれか１つにおいて、第１領域（５１）は、溶接対象となる２つの母材（第１母材Ｂ１１、第２母材Ｂ１２）間を溶接することで形成される溶接領域に関する画素領域である。第２領域（５２）は、２つの母材のいずれか一方に関する画素領域である。

【0187】

この態様によれば、溶接領域に関する学習用データの多様性を向上でき、結果的に、溶接領域に関する認識性能の改善を図ることができる。

【0188】

第１１の態様に係るデータ作成システム（１）に関して、第１～第１０の態様のいずれか１つにおいて、処理部（１０）は、第１領域（５１）における基準点（Ｐ１）の位置を指定するための指定情報を取得する取得部（１１）を有する。

【0189】

この態様によれば、学習用データの多様性を更に向上できる。

【0190】

第１２の態様に係るデータ作成システム（１Ａ）は、第１画像データ（Ｄ１１）と基準画像データ（Ｄ４）とから、オブジェクト（４）に関する学習済みモデル（Ｍ１）を生成するための学習用データとして用いられる第２画像データ（Ｄ１２）を作成する。データ作成システム（１Ａ）は、処理部（１０）を備える。処理部（１０）は、オブジェクト（４）を示す画素領域である第１領域（５１）、及び第２領域（５２）を含む第１画像データ（Ｄ１１）から、第１基準面（Ｊ１）に対する第２領域（５２）の高さに関する変形を施した第２画像データ（Ｄ１２）を生成する。第２領域（５２）は、第１領域（５１）と隣り合う。処理部（１０）は、第１基準面（Ｊ１）に対する第２領域（５２）の高さに関する変形を、オブジェクト（４）を示す画素領域である第３領域（５３）、及び第４領域（５４）を含む基準画像データ（Ｄ４）の、第２基準面（Ｊ２）に対する第４領域（５４）の高さに基づいて施した、第２画像データ（Ｄ１２）を作成する。第４領域（５４）は、第３領域（５３）と隣り合う。第２領域（５２）の外縁（Ｘ１）から、第２領域（５２）内における第１基準点（Ｑ１）までの距離を第１距離（Ｌ１）とし、第１領域（５１）と第２領域（５２）との境界（Ｃ１）から第１基準点（Ｑ１）までの距離を第２距離（Ｌ２）とする。基準画像データ（Ｄ４）の第４領域（５４）において、第２基準面（Ｊ２）上の、第１距離（Ｌ１）と第２距離（Ｌ２）との比と等しい位置を第２基準点（Ｑ２）とする。第１基準点（Ｑ１）における変化量は、第２基準面（Ｊ２）に対する第２基準点（Ｑ２）における高さに基づく量である。

【0191】

この態様によれば、第１画像データ（Ｄ１１）の第２領域（５２）における高さを、基準画像データ（Ｄ４）の第４領域（５４）の高さに基づき変形させた第２画像データ（Ｄ１２）を作成しやすくなる。結果的に、学習用データの多様性を向上でき、オブジェクト（４）に関する認識性能の改善を図ることができる。

【0192】

第１３の態様に係る学習システム（２）は、第１～第１２の態様のいずれか１つにおけるデータ作成システム（１，１Ａ）で作成された第２画像データ（Ｄ１２）としての学習用データを含む学習用データセットを用いて、学習済みモデル（Ｍ１）を生成する。

【0193】

この態様によれば、オブジェクト（４）に関する認識性能の改善を図ることが可能な学習システム（２）を提供できる。

【0194】

第１４の態様に係る推定システム（３）は、第１３の態様における学習システム（２）で生成された学習済みモデル（Ｍ１）を用いて、認識対象となるオブジェクト（４）における特定状態に関する推定を行う。

【0195】

この態様によれば、オブジェクト（４）に関する認識性能の改善を図ることが可能な推定システム（３）を提供できる。

【0196】

第１５の態様に係るデータ作成方法は、第１画像データ（Ｄ１１）から、オブジェクト（４）に関する学習済みモデル（Ｍ１）を生成するための学習用データとして用いられる第２画像データ（Ｄ１２）を作成するデータ作成方法である。データ作成方法は、処理ステップを含む。処理ステップでは、オブジェクト（４）を示す画素領域である第１領域（５１）、及び第２領域（５２）を含む第１画像データ（Ｄ１１）から、基準面（Ｈ１）に対する第１領域（５１）の高さに関する変形を施した第２画像データ（Ｄ１２）を生成する。第２領域（５２）は、第１領域（５１）と隣り合う。処理ステップでは、基準面（Ｈ１）に対する第１領域（５１）の高さに関する変化量が、第１領域（５１）内における基準点（Ｐ１）に近い位置ほど大きく、かつ第１領域（５１）及び第２領域（５２）の境界（Ｃ１）に近い位置ほど小さくなるように、第２画像データ（Ｄ１２）を生成する。

【0197】

この態様によれば、オブジェクト（４）に関する認識性能の改善を図ることが可能なデータ作成方法を提供できる。

【0198】

第１６の態様に係るデータ作成方法は、第１画像データ（Ｄ１１）と基準画像データ（Ｄ４）とから、オブジェクト（４）に関する学習済みモデル（Ｍ１）を生成するための学習用データとして用いられる第２画像データ（Ｄ１２）を作成するデータ作成方法である。データ作成方法は、処理ステップを含む。処理ステップでは、オブジェクト（４）を示す画素領域である第１領域（５１）、及び第２領域（５２）を含む第１画像データ（Ｄ１１）から、第１基準面（Ｊ１）に対する第２領域（５２）の高さに関する変形を施した第２画像データ（Ｄ１２）を生成する。第２領域（５２）は、第１領域（５１）と隣り合う。処理ステップでは、第１基準面（Ｊ１）に対する第２領域（５２）の高さに関する変形を、オブジェクト（４）を示す画素領域である第３領域（５３）、及び第４領域（５４）を含む基準画像データ（Ｄ４）の、第２基準面（Ｊ２）に対する第４領域（５４）の高さに基づいて施した、第２画像データ（Ｄ１２）を作成する。第４領域（５４）は、第３領域（５３）と隣り合う。第２領域（５２）の外縁（Ｘ１）から、第２領域（５２）内における第１基準点（Ｑ１）までの距離を第１距離（Ｌ１）とし、第１領域（５１）と第２領域（５２）との境界（Ｃ１）から第１基準点（Ｑ１）までの距離を第２距離（Ｌ２）とする。基準画像データ（Ｄ４）の第４領域（５４）において、第２基準面（Ｊ２）上の、第１距離（Ｌ１）と第２距離（Ｌ２）との比と等しい位置を第２基準点（Ｑ２）とする。第１基準点（Ｑ１）における変化量は、第２基準面（Ｊ２）に対する第２基準点（Ｑ２）における高さに基づく量である。

【0199】

この態様によれば、オブジェクト（４）に関する認識性能の改善を図ることが可能なデータ作成方法を提供できる。

【0200】

第１７の態様に係るプログラムは、１以上のプロセッサに、第１５又は第１６の態様におけるデータ作成方法を実行させるためのプログラムである。

【0201】

この態様によれば、オブジェクト（４）に関する認識性能の改善を図ることが可能な機能を提供できる。

【0202】

第１８の態様に係るデータ作成システム（１）は、第１画像データ（Ｄ１１）から、オブジェクト（４）に関する学習済みモデル（Ｍ１）を生成するための学習用データとして用いられる第２画像データ（Ｄ１２）を作成する。データ作成システム（１）は、決定部（１３）と、変形部（１２）と、を備える。決定部（１３）は、オブジェクト（４）を示す画素領域である第１領域（５１）、及び第１領域（５１）と隣り合う第２領域（５２）を含む第１画像データ（Ｄ１１）について、基準面（Ｈ１）に対する第１領域（５１）の高さに関する変化量である高さ変化量を決定する。決定部（１３）は、第１領域（５１）内における基準点（Ｐ１）に近い位置ほど大きく、かつ第１領域（５１）及び第２領域（５２）の境界（Ｃ１）に近い位置ほど小さくなるように、高さ変化量を決定する。変形部（１２）は、決定部（１３）で決定された高さ変化量に基づいて、第１画像データ（Ｄ１１）から、第１領域（５１）の高さに関する変形を施した第２画像データ（Ｄ１２）を生成する。

【0203】

この態様によれば、第１画像データ（Ｄ１１）の第１領域（５１）における高さを山形に盛り上げた又は谷形に掘り下げたような態様の第２画像データ（Ｄ１２）を作成しやすくなる。結果的に、学習用データの多様性を向上でき、オブジェクト（４）に関する認識性能の改善を図ることができる。

【0204】

第１９の態様に係るデータ作成システム（１）は、第１８の態様において、第１処理装置（１１０）と、第２処理装置（１２０）と、を備える。第１処理装置（１１０）は、決定部（１３）を有する。第２処理装置（１２０）は、変形部（１２）を有する。第１処理装置（１１０）は、高さ変化量を示す情報（Ｄ２０）を、第２処理装置（１２０）に送信する。

【0205】

第２０の態様に係るデータ作成システム（１）は、第１９の態様において、第１処理装置（１１０）は、ユーザからの操作入力に基づいて、第１画像データ（Ｄ１１）内の基準点（Ｐ１）を指定する指定部（１８）を、更に備える。

【0206】

第２１の態様に係る処理装置は、第１９の態様又は第２０の態様におけるデータ作成システム（１）における、第１処理装置（１１０）である。

【0207】

第２２の態様に係る処理装置は、第１９の態様又は第２０の態様におけるデータ作成システム（１）における、第２処理装置（１２０）である。

【0208】

第２３の態様に係る評価システム（１００）は、処理装置（１１０）と、学習システム（２）と、を備える。処理装置（１１０）は、オブジェクト（４）を示す画素領域である第１領域（５１）、及び第１領域（５１）と隣り合う第２領域（５２）を含む第１画像データ（Ｄ１１）から、基準面（Ｈ１）に対する第１領域（５１）の高さに関する変化量が、第１領域（５１）内における基準点（Ｐ１）に近い位置ほど大きく、かつ第１領域（５１）及び第２領域（５２）の境界（Ｃ１）に近い位置ほど小さくなるように、高さに関する変化量である高さ変化量を決定する。処理装置（１１０）は、決定した高さ変化量を示す情報（Ｄ２０）を出力する。学習システム（２）は、学習済みモデル（Ｍ１）を生成する。学習済みモデル（Ｍ１）は、第１画像データ（Ｄ１１）から高さ変化量に基づいて第１領域（５１）に関する変形を施して生成された第２画像データ（Ｄ１２）又は第２画像データ（Ｄ１２）における第１領域（５１）に対して、オブジェクト（４）の特定状態に関する推定について第１画像データ（Ｄ１１）と同等の推定結果を出力する。

【0209】

第２４の態様に係る評価システム（１００）は、処理装置（１１０）と、推定システム（３）と、を備える。処理装置（１１０）は、オブジェクト（４）を示す画素領域である第１領域（５１）、及び第１領域（５１）と隣り合う第２領域（５２）を含む第１画像データ（Ｄ１１）から、基準面（Ｈ１）に対する第１領域（５１）の高さに関する変化量が、第１領域（５１）内における基準点（Ｐ１）に近い位置ほど大きく、かつ第１領域（５１）及び第２領域（５２）の境界（Ｃ１）に近い位置ほど小さくなるように、高さに関する変化量である高さ変化量を決定する。処理装置（１１０）は、決定した高さ変化量を示す情報（Ｄ２０）を出力する。推定システム（３）は、学習済みモデル（Ｍ１）を用いて、認識対象となるオブジェクト（４）における特定状態に関する推定を行う。学習済みモデル（Ｍ１）は、第１画像データ（Ｄ１１）から高さ変化量に基づいて第１領域（５１）に関する変形を施して生成された第２画像データ（Ｄ１２）又は第２画像データ（Ｄ１２）における第１領域（５１）に対して、オブジェクト（４）の特定状態に関する推定について第１画像データ（Ｄ１１）と同等の推定結果を出力する。

【0210】

第２５の態様に係るデータ作成システム（１Ａ）は、第１画像データ（Ｄ１１）と基準画像データ（Ｄ４）とから、オブジェクト（４）に関する学習済みモデル（Ｍ１）を生成するための学習用データとして用いられる第２画像データ（Ｄ１２）を作成する。第１画像データ（Ｄ１１）は、オブジェクト（４）を示す画素領域である第１領域（５１）、第１領域（５１）と隣り合う第２領域（５２）、及び第１基準面（Ｊ１）を含む。基準画像データ（Ｄ４）は、オブジェクト（４）を示す画素領域である第３領域（５３）、第３領域（５３）と隣り合う第４領域（５４）、及び第２基準面（Ｊ２）を含む。データ作成システム（１Ａ）は、決定部（１３Ａ）と変形部（１２Ａ）と、を備える。決定部（１３Ａ）は、基準画像データ（Ｄ４）の、第２基準面（Ｊ２）に対する第４領域（５４）の高さに基づいて、高さに関する変化量である高さ変化量を決定する。変形部（１２Ａ）は、決定部（１３Ａ）で決定された高さ変化量に基づいて、第１画像データ（Ｄ１１）から、第１基準面（Ｊ１）に対する第２領域（５２）の高さに関する変形を施した第２画像データ（Ｄ１２）を生成する。決定部（１３Ａ）は、第１基準点（Ｑ１）における変化量が、第２基準面（Ｊ２）に対する第２基準点（Ｑ２）における高さに基づく量となるように、高さ変化量を決定する。第２基準点（Ｑ２）は、基準画像データ（Ｄ４）の第４領域（５４）において、第２基準面（Ｊ２）上の、第１距離（Ｌ１）と第２距離（Ｌ２）との比と等しい位置である。第１距離（Ｌ１）は、第２領域（５２）の外縁（Ｘ１）から、第２領域（５２）内における第１基準点（Ｑ１）までの距離である。第２距離（Ｌ２）は、第１領域（５１）と第２領域（５２）との境界から第１基準点（Ｑ１）までの距離である。

【0211】

この態様によれば、第１画像データ（Ｄ１１）の第２領域（５２）における高さを、基準画像データ（Ｄ４）の第４領域（５４）の高さに基づき変形させた第２画像データ（Ｄ１２）を作成しやすくなる。結果的に、学習用データの多様性を向上でき、オブジェクト（４）に関する認識性能の改善を図ることができる。

【0212】

第２６の態様に係るデータ作成システム（１Ａ）は、第２５の態様において、第１処理装置（１１０Ａ）と、第２処理装置（１２０Ａ）と、を備える。第１処理装置（１１０Ａ）は、決定部（１３Ａ）を有する。第２処理装置（１２０Ａ）は、変形部（１２Ａ）を有する。第１処理装置（１１０Ａ）は、高さ変化量を示す情報（Ｄ２０Ａ）を、第２処理装置（１２０Ａ）に送信する。

【0213】

第２７の態様に係るデータ作成システム（１Ａ）は、第２６の態様において、第１処理装置（１１０Ａ）は、ユーザからの操作入力に基づいて、第１画像データ（Ｄ１１）内の第１基準点（Ｑ１）を指定する指定部（１８）を、更に備える。

【0214】

第２８の態様に係る処理装置は、第２６の態様又は第２７の態様におけるデータ作成システム（１Ａ）における、第１処理装置（１１０Ａ）である。

【0215】

第２９の態様に係る処理装置は、第２６の態様又は第２７の態様におけるデータ作成システム（１Ａ）における、第２処理装置（１２０Ａ）である。

【0216】

第３０の態様に係る評価システム（１００）は、処理装置（１１０Ａ）と、学習システム（２）と、を備える。処理装置（１１０Ａ）は、オブジェクト（４）を示す画素領域である第１領域（５１）、第１領域（５１）と隣り合う第２領域（５２）、及び第１基準面（Ｊ１）を含む第１画像データ（Ｄ１１）、並びにオブジェクト（４）を示す画素領域である第３領域（５３）、第３領域（５３）と隣り合う第４領域（５４）、及び第２基準面（Ｊ２）を含む基準画像データ（Ｄ４）について、第２基準面（Ｊ２）に対する第４領域（５４）の高さに基づいて、高さに関する変化量である高さ変化量を決定する。処理装置（１１０）は、第１基準点（Ｑ１）における変化量が、第２基準面（Ｊ２）に対する第２基準点（Ｑ２）における高さに基づく量となるように、高さ変化量を決定する。第２基準点（Ｑ２）は、基準画像データ（Ｄ４）の第４領域（５４）において、第２基準面（Ｊ２）上の、第１距離（Ｌ１）と第２距離（Ｌ２）との比と等しい位置である。第１距離（Ｌ１）は、第２領域（５２）の外縁（Ｘ１）から、第２領域（５２）内における第１基準点（Ｑ１）までの距離である。第２距離（Ｌ２）は、第１領域（５１）と第２領域（５２）との境界（Ｃ１）から第１基準点（Ｑ１）までの距離である。処理装置（１１０Ａ）は、決定した高さ変化量を示す情報（Ｄ２０Ａ）を出力する。学習システム（２）は、学習済みモデル（Ｍ１）を生成する。学習済みモデル（Ｍ１）は、第１画像データ（Ｄ１１）から高さ変化量に基づいて第２領域（５２）に関する変形を施して生成された第２画像データ（Ｄ１２）又は第２画像データ（Ｄ１２）における第１領域（５１）に対して、オブジェクト（４）の特定状態に関する推定について第１画像データ（Ｄ１１）と同等の推定結果を出力する。

【0217】

第３１の態様に係る評価システム（１００）は、処理装置（１１０Ａ）と、推定システム（３）と、を備える。処理装置（１１０Ａ）は、オブジェクト（４）を示す画素領域である第１領域（５１）、第１領域（５１）と隣り合う第２領域（５２）、及び第１基準面（Ｊ１）を含む第１画像データ（Ｄ１１）、並びにオブジェクト（４）を示す画素領域である第３領域（５３）、第３領域（５３）と隣り合う第４領域（５４）、及び第２基準面（Ｊ２）を含む基準画像データ（Ｄ４）について、第２基準面（Ｊ２）に対する第４領域（５４）の高さに基づいて、高さに関する変化量である高さ変化量を決定する。処理装置（１１０）は、第１基準点（Ｑ１）における変化量が、第２基準面（Ｊ２）に対する第２基準点（Ｑ２）における高さに基づく量となるように、高さ変化量を決定する。第２基準点（Ｑ２）は、基準画像データ（Ｄ４）の第４領域（５４）において、第２基準面（Ｊ２）上の、第１距離（Ｌ１）と第２距離（Ｌ２）との比と等しい位置である。第１距離（Ｌ１）は、第２領域（５２）の外縁（Ｘ１）から、第２領域（５２）内における第１基準点（Ｑ１）までの距離である。第２距離（Ｌ２）は、第１領域（５１）と第２領域（５２）との境界（Ｃ１）から第１基準点（Ｑ１）までの距離である。処理装置（１１０Ａ）は、決定した高さ変化量を示す情報（Ｄ２０Ａ）を出力する。推定システム（３）は、学習済みモデル（Ｍ１）を用いて、認識対象となるオブジェクト（４）における特定状態に関する推定を行う。学習済みモデル（Ｍ１）は、第１画像データ（Ｄ１１）から高さ変化量に基づいて第２領域（５２）に関する変形を施して生成された第２画像データ（Ｄ１２）又は第２画像データ（Ｄ１２）における第１領域（５１）に対して、オブジェクト（４）の特定状態に関する推定について第１画像データ（Ｄ１１）と同等の推定結果を出力する。

【0218】

第２～１１，１９，２０，２６，２７の態様に係る構成については、データ作成システム（１）に必須の構成ではなく、適宜省略可能である。

【符号の説明】

【0219】

１，１Ａ データ作成システム
１０ 処理部
１２，１２Ａ 変形部
１３，１３Ａ 決定部
２ 学習システム
３ 推定システム
４ オブジェクト
５１ 第１領域
５２ 第２領域
５３ 第３領域
５４ 第４領域
１００ 評価システム
１１０，１１０Ａ 第１処理装置
１２０，１２０Ａ 第２処理装置
Ｂ１１ 第１母材（母材）
Ｂ１２ 第２母材（母材）
Ｃ１ 境界
Ｄ１１ 第１画像データ
Ｄ１２ 第２画像データ
Ｄ４ 基準画像データ
Ｄ２０，Ｄ２０Ａ 高さ変化量を示す情報
Ｈ１ 基準面
Ｊ１ 第１基準面
Ｊ２ 第２基準面
Ｌ１ 第１距離
Ｌ２ 第２距離
Ｍ１ 学習済みモデル
Ｐ１ 基準点
Ｐ２ 最大点
Ｑ１ 第１基準点
Ｑ２ 第２基準点
Ｔ１ 特定領域
Ｘ１ 外縁

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】