特開 2022-136583 画像データ生成方法、学習方法、画像データ生成システム、学習システムおよびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022136583

(43)【公開日】2022-09-21

(54)【発明の名称】画像データ生成方法、学習方法、画像データ生成システム、学習システムおよびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220913BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021036263

(22)【出願日】2021-03-08

(11)【特許番号】

(45)【特許公報発行日】2021-10-27

(71)【出願人】

【識別番号】520058088

【氏名又は名称】株式会社データグリッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】庵原 明洋

(72)【発明者】

【氏名】藤元 陸

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA25

5L096DA01

5L096FA02

5L096FA06

5L096FA69

5L096GA34

5L096JA22

5L096KA04

5L096KA15

(57)【要約】

【課題】生成した画像データの特徴部分の境界が不自然となる場合がある。
【解決手段】拡張対象物に拡張データを適用した画像データを生成する画像データ生成方法であって、拡張対象物の位置形態情報を特定した第１ラベル情報を取得する段階と、拡張対象物において拡張データが適用されるデータ適用領域を特定したセグメント情報を取得する段階と、第１ラベル情報とセグメント情報に基づいて第２ラベル情報を生成する段階と、第２ラベル情報に基づいて、拡張対象物に拡張データを適用した画像データを生成する段階とを備える画像データ生成方法を提供する。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

拡張対象物に拡張データを適用した画像データを生成する画像データ生成方法であって、
前記拡張対象物の位置形態情報を特定した第１ラベル情報を取得する段階と、
前記拡張対象物において拡張データが適用されるデータ適用領域を特定したセグメント情報を取得する段階と、
前記第１ラベル情報と前記セグメント情報に基づいて第２ラベル情報を生成する段階と、
前記第２ラベル情報に基づいて、前記拡張対象物に拡張データを適用した画像データを生成する段階と
を備える画像データ生成方法。

【請求項2】

前記セグメント情報は、前記拡張データのセグメント対象に関する情報を含む
請求項１に記載の画像データ生成方法。

【請求項3】

前記セグメント情報は、前記データ適用領域の位置情報およびクラス情報を含む
請求項１または２に記載の画像データ生成方法。

【請求項4】

前記データ適用領域の形状、サイズまたは位置の少なくとも１つを変形する段階と、
変形された前記データ適用領域に、前記拡張データを適用する段階とを備える
請求項１から３のいずれか一項に記載の画像データ生成方法。

【請求項5】

前記画像データを生成する段階は、予め定められた学習対象物の学習対象データに基づいて、前記画像データを生成する段階を有する
請求項１から４のいずれか一項に記載の画像データ生成方法。

【請求項6】

前記セグメント情報を取得する段階は、予め定められたクラス情報を指定する段階を有し、
画像データを生成する段階は、指定された前記クラス情報に基づいて、前記画像データを生成する段階を有する
請求項１から４のいずれか一項に記載の画像データ生成方法。

【請求項7】

前記セグメント情報を取得する段階は、予め定められたクラス情報およびセグメント対象を指定する段階を有し、
画像データを生成する段階は、指定された前記クラス情報および前記セグメント情報に基づいて、前記画像データを生成する段階を有する
請求項１から４のいずれか一項に記載の画像データ生成方法。

【請求項8】

学習対象データを取得するための学習対象物の位置形態情報を特定した第１学習用ラベル情報を取得する段階と、
前記学習対象物において前記学習対象データが取得される学習データ取得領域を特定したセグメント情報を取得する段階と、
前記第１学習用ラベル情報と前記セグメント情報に基づいて生成された第２学習用ラベル情報を取得する段階と、
前記第２学習用ラベル情報に基づいて、前記学習対象データを取得するモデルの学習処理を実行する段階と
を備える
画像データ生成の学習方法。

【請求項9】

前記セグメント情報は、学習対象とするセグメント対象に関する情報と、前記学習データ取得領域の位置情報とを含む
請求項８に記載の画像データ生成の学習方法。

【請求項10】

前記セグメント情報は、学習対象のクラス情報に関する情報を含む
請求項８または９に記載の画像データ生成の学習方法。

【請求項11】

予め定められた第１学習対象物からセグメント対象に関する第１学習対象データを取得する段階と、
前記第１学習対象物と異なる第２学習対象物から、前記セグメント対象と同一のセグメント対象に関する第２学習対象データを取得する段階と
を備え、
前記第１学習対象データおよび前記第２学習対象データは、異なるセグメント情報に対応づけられる
請求項８または９に記載の画像データ生成の学習方法。

【請求項12】

コンピュータに請求項１から７のいずれか一項に記載の画像データ生成方法を実行させるためのプログラム。

【請求項13】

コンピュータに請求項８から１１のいずれか一項に記載の画像データ生成の学習方法を実行させるためのプログラム。

【請求項14】

拡張対象物に拡張データを適用した画像データを生成する画像データ生成システムであって、
前記拡張対象物の位置形態情報を特定した第１ラベル情報を取得する第１ラベル情報取得部と、
前記拡張対象物において拡張データが適用されるデータ適用領域を特定したセグメント情報を取得するセグメント情報取得部と、
前記第１ラベル情報と前記セグメント情報に基づいて第２ラベル情報を取得する第２ラベル情報取得部と、
前記第２ラベル情報に基づいて、前記拡張対象物に拡張データを適用した画像データを生成する画像データ生成部と
を備える画像データ生成システム。

【請求項15】

学習対象データを取得するための学習対象物の位置形態情報を特定した第１学習用ラベル情報を取得する第１学習用ラベル情報取得部と、
前記学習対象物において前記学習対象データが取得される学習データ取得領域を特定したセグメント情報を取得する学習セグメント情報取得部と、
前記第１学習用ラベル情報と前記セグメント情報に基づいて生成された第２学習用ラベル情報を取得する第２学習用ラベル情報取得部と、
前記第２学習用ラベル情報に基づいて、前記学習対象データを取得する学習データ取得部と
を備える画像データ生成の学習システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データ生成方法、学習方法、画像データ生成システム、学習システムおよびプログラムに関する。

【背景技術】

【0002】

従来、画像の特徴部分を拡張した拡張データを他の画像に適用して画像データを生成することが知られている（例えば、特許文献１参照）。
特許文献１ 特開２０２０－１９７８３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

従来の方法では、生成した画像データの特徴部分の境界が不自然となる場合がある。

【課題を解決するための手段】

【0004】

本発明の第１の態様においては、拡張対象物に拡張データを適用した画像データを生成する画像データ生成方法であって、拡張対象物の位置形態情報を特定した第１ラベル情報を取得する段階と、拡張対象物において拡張データが適用されるデータ適用領域を特定したセグメント情報を取得する段階と、第１ラベル情報とセグメント情報に基づいて第２ラベル情報を生成する段階と、第２ラベル情報に基づいて、拡張対象物に拡張データを適用した画像データを生成する段階とを備える画像データ生成方法を提供する。

【0005】

本発明の第２の態様においては、学習対象データを取得するための学習対象物の位置形態情報を特定した第１学習用ラベル情報を取得する段階と、学習対象物において学習対象データが取得される学習データ取得領域を特定したセグメント情報を取得する段階と、第１学習用ラベル情報とセグメント情報に基づいて生成された第２学習用ラベル情報を取得する段階と、第２学習用ラベル情報に基づいて、学習対象データを取得するモデルの学習処理を実行する段階とを備える画像データ生成の学習方法を提供する。

【0006】

本発明の第３の態様においては、コンピュータに本発明の第１の態様に記載の画像データ生成方法を実行させるためのプログラムを提供する。

【0007】

本発明の第４の態様においては、コンピュータに本発明の第２の態様に記載の画像データ生成の学習方法を実行させるためのプログラムを提供する。

【0008】

本発明の第５の態様においては、拡張対象物に拡張データを適用した画像データを生成する画像データ生成システムであって、拡張対象物の位置形態情報を特定した第１ラベル情報を取得する第１ラベル情報取得部と、拡張対象物において拡張データが適用されるデータ適用領域を特定したセグメント情報を取得するセグメント情報取得部と、第１ラベル情報とセグメント情報に基づいて第２ラベル情報を取得する第２ラベル情報取得部と、第２ラベル情報に基づいて、拡張対象物に拡張データを適用した画像データを生成する画像データ生成部とを備える画像データ生成システムを提供する。

【0009】

本発明の第６の態様においては、学習対象データを取得するための学習対象物の位置形態情報を特定した第１学習用ラベル情報を取得する第１学習用ラベル情報取得部と、学習対象物において学習対象データが取得される学習データ取得領域を特定したセグメント情報を取得する学習セグメント情報取得部と、第１学習用ラベル情報とセグメント情報に基づいて生成された第２学習用ラベル情報を取得する第２学習用ラベル情報取得部と、第２学習用ラベル情報に基づいて、学習対象データを取得する学習データ取得部とを備える画像データ生成の学習システムを提供する。

【0010】

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0011】

【図1A】画像データ生成システム１００の構成の概要を示す。

【図1B】画像データ生成システム１００を用いた画像データの生成方法の一例を示す。

【図2A】学習システム２００の構成の概要を示す。

【図2B】学習システム２００を用いた画像データの学習方法の一例を示す。

【図3A】画像データ生成システム１００を用いた画像データの生成方法の一例を示す。

【図3B】画像データ生成システム１００を用いた画像データの生成方法の一例を示す。

【図3C】画像データ生成システム１００を用いた画像データの生成方法の一例を示す。

【図3D】画像データ生成システム１００を用いた画像データの生成方法の一例を示す。

【図4A】第２ラベル情報Ｌ２の一例を示す。

【図4B】第２ラベル情報Ｌ２の一例を示す。

【図4C】第２ラベル情報Ｌ２の一例を示す。

【図4D】第２ラベル情報Ｌ２の一例を示す。

【図5】本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ２２００の例を示す。

【発明を実施するための形態】

【0012】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0013】

図１Ａは、画像データ生成システム１００の構成の概要を示す。本例の画像データ生成システム１００は、第１ラベル情報取得部１１と、第２ラベル情報取得部１２と、セグメント情報取得部２０と、画像データ生成部３０とを備える。画像データ生成システム１００は、拡張対象物１５０に拡張データを適用した画像データを生成する。

【0014】

第１ラベル情報取得部１１は、拡張対象物１５０の位置形態情報を特定した第１ラベル情報Ｌ１を取得する。位置形態情報とは、拡張対象物１５０の位置、形状またはテクスチャの少なくとも１つに関する情報を含む情報である。第１ラベル情報Ｌ１は、拡張対象物１５０の位置形態情報を特定できる情報であれば、画像データ、座標等の数値データまたはこれらの組み合わせであってよい。第１ラベル情報取得部１１は、エッジ検出またはセグメンテーション等の手法によって、拡張対象画像から拡張対象物１５０の位置形態情報を取得してよい。

【0015】

第２ラベル情報取得部１２は、第１ラベル情報Ｌ１とセグメント情報に基づいて第２ラベル情報Ｌ２を取得する。セグメント情報は、拡張するためのセグメント対象に関する情報を含む。例えば、セグメント情報は、データ適用領域Ｒ１の位置情報およびクラス情報を含む。データ適用領域Ｒ１は、拡張対象物１５０において拡張データが適用される領域である。クラス情報は、セグメント対象の種類およびデータ属性を含んでよい。例えば、データ適用領域Ｒ１の位置情報がセグメントの位置で表現されて、セグメント対象の種類がセグメントの色で表現される。セグメント対象は、拡張対象物１５０がネジの場合には例えばネジの傷である。

【0016】

セグメント情報取得部２０は、データ適用領域Ｒ１を特定したセグメント情報を取得する。セグメント情報は、自動で生成された情報であってもよいし、ユーザによって手動で入力された情報であってもよい。一例において、セグメント情報取得部２０は、ユーザによって入力された情報に基づくセグメント情報を取得する。また、セグメント情報取得部２０は、データ適用領域Ｒ１となり得る範囲を予め指定してランダムにデータ適用領域Ｒ１を生成して自動でセグメント情報を取得してもよい。

【0017】

画像データ生成部３０は、第２ラベル情報Ｌ２に基づいて、拡張対象物１５０に拡張データを適用した画像データを生成する。画像データ生成部３０は、入力された第２ラベル情報Ｌ２に応じて、予め定められた画像データを生成するように学習された学習済みモデルを備えてよい。学習済みモデルは、後述する画像データ生成の学習方法によって学習されてよい。

【0018】

本例の画像データ生成システム１００は、セグメント情報を用いて拡張対象画像に拡張データを適用して、任意のセグメント対象を拡張した画像データを生成する。このように、画像データ生成システム１００は、セグメント情報を用いて適用する拡張データを任意に選択することにより、元画像のアイデンティティを残しつつ、拡張したデータを適用できる。これにより、画像データ生成システム１００は、より自然な拡張画像を生成することができる。

【0019】

図１Ｂは、画像データ生成システム１００を用いた画像データの生成方法の一例を示す。本例では、画像データ生成システム１００を用いて、拡張対象物１５０であるネジに予め定められた傷Ｓが適用された画像データを生成する方法を説明する。

【0020】

拡張対象画像は、拡張対象物１５０の実画像である。拡張対象画像の拡張対象物１５０には、セグメント対象である傷Ｓが含まれていなくてよい。

【0021】

第１ラベル情報Ｌ１は、拡張対象物１５０の位置形態情報を含む。本例の第１ラベル情報Ｌ１は、拡張対象物１５０のエッジ検出により取得されたエッジ画像である。第１ラベル情報Ｌ１は、拡張対象物１５０のテクスチャに関する情報を含んでよい。

【0022】

第２ラベル情報Ｌ２は、第１ラベル情報Ｌ１およびセグメント情報に基づいて生成された情報である。本例の第２ラベル情報Ｌ２は、拡張対象物１５０の任意の位置がセグメンテーションされた情報を含む。本例の第２ラベル情報Ｌ２は、拡張対象物１５０の任意の位置にデータ適用領域Ｒ１が適用されている。

【0023】

データ適用領域Ｒ１は、自動または手動により、形状、サイズまたは位置が設定されてよい。設定されたデータ適用領域Ｒ１に拡張データを適用することにより、任意の形状、サイズまたは位置が反映された画像データを生成することができる。データ適用領域Ｒ１の位置は、ユーザによって指定されてもよい。画像データは、データ適用領域Ｒ１に予め学習された傷Ｓの拡張データを適用して生成される。適用される傷Ｓの種類は、ユーザによって選択されてもよいし、傷Ｓの発生する可能性がある範囲を指定してランダムに生成されてもよいし、ネジ以外の傷に基づいて生成されてもよい。なお、拡張対象物１５０には、複数のデータ適用領域Ｒ１が適用されてもよい。

【0024】

非対象領域Ｒｒ１は、データ適用領域Ｒ１以外の領域である。非対象領域Ｒｒ１は、セグメンテーションされた領域であってもよいし、実画像またはエッジなどのセグメント以外の領域であってもよい。

【0025】

本例の画像データ生成システム１００は、セグメント情報を指定することにより、任意のデータ適用領域Ｒ１に拡張データとして傷Ｓを適用している。したがって、画像データ生成システム１００は、ネジの傷Ｓの画像データが十分に蓄積されていない場合であっても、様々な種類の傷Ｓが反映されたネジの画像データを生成することができる。また、画像データ生成システム１００は、学習したネジとは異なる製品のネジに傷Ｓを拡張して適用することもできる。

【0026】

このように、画像データ生成システム１００は、様々な形態の不良品の画像データを生成して、生成した画像を不良品の検知に用いてよい。これにより、不良品のサンプルが少ない場合であっても、データを拡張して新たな製品の不良品を検知することができる。なお、後述する通り、画像データ生成システム１００の用途は不良品の検知に限定されない。

【0027】

図２Ａは、学習システム２００の構成の概要を示す。学習システム２００は、第１学習用ラベル情報取得部２１１と、第２学習用ラベル情報取得部２１２と、学習セグメント情報取得部２２０と、学習対象データ取得部２３０とを備える。学習システム２００は、学習対象物２５０を含む学習対象画像から学習対象データを取得する。学習システム２００によってモデルの学習処理を実行することで、画像データ生成システム１００において画像データを生成させるための学習済みモデルを生成できる。

【0028】

第１学習用ラベル情報取得部２１１は、学習対象物２５０の位置形態情報を特定した第１学習用ラベル情報ＬＬ１を取得する。第１学習用ラベル情報ＬＬ１は、学習対象物２５０の位置形態情報を特定できる情報であれば、画像データ、座標等の数値データまたはこれらの組み合わせであってよい。第１学習用ラベル情報取得部２１１は、エッジ検出またはセグメンテーション等の手法によって、学習対象物２５０の位置形態情報を取得してよい。

【0029】

第２学習用ラベル情報取得部２１２は、第１学習用ラベル情報ＬＬ１とセグメント情報に基づいて生成された第２学習用ラベル情報ＬＬ２を取得する。本例のセグメント情報は、学習対象とするセグメント対象に関する情報と、学習データ取得領域Ｒ２の位置情報とを含む。学習データ取得領域Ｒ２は、学習対象物２５０において、セグメント対象が設けられた領域である。また、本例のセグメント情報は、学習対象のクラス情報に関する情報を含んでよい。

【0030】

学習セグメント情報取得部２２０は、学習対象物２５０において学習対象データが取得される学習データ取得領域Ｒ２を特定したセグメント情報を取得する。本例のセグメント情報は、自動で生成された情報であってもよいし、ユーザによって手動で入力された情報であってもよい。一例において、学習セグメント情報取得部２２０は、ユーザによって入力された情報に基づくセグメント情報を取得する。また、学習セグメント情報取得部２２０は、学習データ取得領域Ｒ２を自動で検出してセグメント情報を取得してもよい。

【0031】

学習対象データ取得部２３０は、第２学習用ラベル情報ＬＬ２に基づいて、学習対象データを取得する。学習対象データ取得部２３０は、入力された第２学習用ラベル情報ＬＬ２に応じて、予め定められた画像データを生成するようなモデルの学習を実現する。

【0032】

学習システム２００は、学習段階において、セグメント情報に応じた学習対象データを生成している。そのため、画像データ生成システム１００は、推論段階においてもセグメント情報に応じた画像データの生成を実現することができる。

【0033】

図２Ｂは、学習システム２００を用いた画像データの学習方法の一例を示す。本例では、学習システム２００を用いて、学習対象物２５０であるネジから、傷Ｓを学習対象として学習対象データを取得する方法を説明する。

【0034】

学習対象画像は、学習対象物２５０の実画像である。学習対象画像の学習対象物２５０には、学習対象である傷Ｓが含まれている。

【0035】

第１学習用ラベル情報ＬＬ１は、学習対象物２５０の位置形態情報を含む。本例の第１学習用ラベル情報ＬＬ１は、学習対象物２５０のエッジ検出により取得されたエッジ画像である。第１学習用ラベル情報ＬＬ１は、学習対象物２５０のテクスチャに関する情報を含んでよい。

【0036】

第２学習用ラベル情報ＬＬ２は、第１学習用ラベル情報ＬＬ１およびセグメント情報に基づいて生成された情報である。本例の第２学習用ラベル情報ＬＬ２は、学習対象物２５０の傷Ｓに対応する位置がセグメンテーションされた情報を含む。学習段階において、第２学習用ラベル情報ＬＬ２を取得しておくことにより、画像データの生成時において拡張データを容易に適用することができる。

【0037】

学習対象データは、第２学習用ラベル情報ＬＬ２に基づいて生成される。本例の学習対象データは、学習データ取得領域Ｒ２のセグメント情報を含む。学習対象データは、セグメント対象と、学習データ取得領域Ｒ２の位置情報およびクラス情報とを含んでよい。また、学習対象データは、非対象領域Ｒｒ２の位置形態情報を含んでよい。

【0038】

非対象領域Ｒｒ２は、学習データ取得領域Ｒ２以外の領域である。非対象領域Ｒｒ２は、セグメンテーションされた領域であってもよいし、実画像またはエッジなどのセグメント以外の領域であってもよい。

【0039】

図３Ａは、画像データ生成システム１００を用いた画像データの生成方法の一例を示す。本例の画像データ生成システム１００は、学習対象データから特定の学習対象データを指定して、拡張対象物１５０に反映させる。本例の画像データ生成システム１００は、学習対象データではネジ部の先端側にあった傷Ｓを、ネジ部の根元側に適用している。

【0040】

学習対象データは、ネジ部の先端側に傷Ｓが存在している画像である。セグメント情報は、学習対象データの非対象領域Ｒｒ０をエッジ検出して、拡張対象領域Ｒ０をセグメンテーションして生成される。拡張対象領域Ｒ０は、学習対象データの傷Ｓのある領域であり、非対象領域Ｒｒ０は、拡張対象領域Ｒ０以外の領域である。

【0041】

第２ラベル情報Ｌ２は、第１ラベル情報Ｌ１およびセグメント情報に基づいて生成される。第２ラベル情報Ｌ２のデータ適用領域Ｒ１は、拡張対象物１５０のネジ部の根元側に設定される。これにより、画像データ生成システム１００は、学習対象データの傷Ｓをネジ部の根元側に適用された画像データを生成することができる。

【0042】

本例の画像データ生成システム１００は、特定の学習対象データを指定して、指定されたセグメント対象を拡張対象物１５０に適用した拡張データを取得することができる。本例では、ネジに傷Ｓを適用する実施形態について説明したが、用途はこれに限定されない。

【0043】

図３Ｂは、画像データ生成システム１００を用いた画像データの生成方法の一例を示す。本例の画像データ生成システム１００は、拡張対象物１５０にヒトを用いている点で図３Ａの場合と相違する。本例の画像データ生成システム１００は、指定された任意の人物Ａの鼻を拡張対象物１５０の鼻に適用する。セグメント対象Ｓ１はヒトの鼻を示しており、クラス数Ｃ１は、例えば、高い鼻などの鼻の特徴を示す。クラス情報は、性別または国籍などのデータ属性を含んでよい。

【0044】

このように、本例の画像データ生成システム１００は、イメージ共有のために画像データの生成を実現できる。例えば、画像データ生成システム１００は、学習対象データとしてタトゥの画像を使用することにより、ヒトにタトゥを彫った場合の仕上がりのイメージ画像を生成できる。画像データ生成システム１００を用いることにより、画像を拡張する領域を自由に変更できる。また、画像データ生成システム１００は、ヒトの手術後または整形後の仕上がりのイメージ画像の生成に用いられてもよい。

【0045】

図３Ｃは、画像データ生成システム１００を用いた画像データの生成方法の一例を示す。本例の画像データ生成システム１００は、複数のクラス数の中から予め定められたクラス数を指定して、拡張対象物１５０に反映させる。本例の学習対象データにおいては、セグメント対象がネジの傷であり、複数のクラス数が含まれている。即ち、学習システム２００は、予め複数のクラス情報に応じた傷Ｓを学習している。例えば、クラス数Ｃ１は、ネジ部の先端側の傷Ｓを示し、クラス数Ｃ２は、ネジの頭部の傷Ｓを示す。

【0046】

本例のセグメント情報は、クラス数Ｃ１の学習対象データの非対象領域Ｒｒ０をエッジ検出し、拡張対象領域Ｒ０をセグメンテーションすることで生成される。第２ラベル情報Ｌ２は、第１ラベル情報Ｌ１およびセグメント情報に基づいて生成され、ネジ部の根元側のデータ適用領域Ｒ１を含む。

【0047】

画像データは、指定されたクラス情報に基づいて生成される。本例の画像データは、クラス数Ｃ１の傷Ｓを拡張対象画像に適用されて生成される。なお、本例の画像データ生成システム１００は、クラス数Ｃ１の傷Ｓを指定したが、任意のクラス数を指定してよい。例えば、画像データ生成システム１００は、クラス数Ｃ２の傷Ｓを拡張対象物１５０に適用することにより、ネジの頭部に傷Ｓがある画像データを生成してもよい。

【0048】

本例の画像データ生成システム１００は、複数のクラス数から任意のクラス数を指定できるので、適用したい傷Ｓの種類を選択して、画像データを生成できる。傷Ｓの種類は、ネジの欠け、凹み、ネジ山のつぶれ、線傷または腐食などを含んでよく、それぞれにクラス数が付与されていてもよい。

【0049】

図３Ｄは、画像データ生成システム１００を用いた画像データの生成方法の一例を示す。本例の画像データ生成システム１００は、予め定められたクラス情報およびセグメント対象を指定して、セグメント情報を取得する。

【0050】

学習対象データは、セグメント対象Ｓ１、Ｓ２およびクラス数Ｃ１、Ｃ２を含む人物Ａの情報を含む。本例のセグメント対象Ｓ１は鼻であり、セグメント対象Ｓ２は口である。クラス数Ｃ１は高い鼻を示し、クラス数Ｃ２は小さい口を示す。また、学習対象データは、セグメント対象Ｓ１、Ｓ２およびクラス数Ｃ３、Ｃ４を含む人物Ｂの情報を含む。本例のクラス数Ｃ３は低い鼻を示し、クラス数Ｃ４は大きい口を示す。

【0051】

第２ラベル情報Ｌ２は、複数のデータ適用領域Ｒ１を含む。本例の第２ラベル情報Ｌ２は、セグメント対象Ｓ１に応じたデータ適用領域Ｒ１ａと、セグメント対象Ｓ２に応じたデータ適用領域Ｒ１ｂの両方を含む。本例では、複数のデータ適用領域Ｒ１に異なるセグメント対象が対応づけられているが、用途によっては同一のセグメント対象が対応づけられてもよい。

【0052】

画像データは、指定されたクラス情報およびセグメント情報に基づいて生成される。本例の画像データは、セグメント対象Ｓ１、Ｓ２について、それぞれクラス数Ｃ１およびＣ４のセグメント情報に基づいて生成されている。

【0053】

本例では、人物Ａおよび人物Ｂの両方から、同一のセグメント対象である鼻のセグメント情報を取得して、学習対象データが用意されている。これにより、各人物のアイデンティティを残すことができる。本例の画像データ生成システム１００は、各セグメント対象を組み合わせて新たな画像データを生成できるので、バーチャルヒューマンの生成に用いることもできる。

【0054】

図４Ａは、第２ラベル情報Ｌ２の一例を示す。第２ラベル情報Ｌ２は、エッジ、セグメントまたは実画像の少なくとも１つの組み合わせを含んでよい。本例の第２ラベル情報Ｌ２は、エッジとセグメントの組み合わせによって表現されている。本例では、非対象領域Ｒｒ１をエッジで示しており、データ適用領域Ｒ１をセグメントで示している。

【0055】

図４Ｂは、第２ラベル情報Ｌ２の一例を示す。本例の第２ラベル情報Ｌ２は、エッジ、セグメントおよび実画像の組み合わせによって表現されている。本例では、非対象領域Ｒｒ１を実画像で示しており、データ適用領域Ｒ１をエッジとセグメントの組み合わせで示している。

【0056】

図４Ｃは、第２ラベル情報Ｌ２の一例を示す。本例の第２ラベル情報Ｌ２は、セグメントと実画像の組み合わせによって表現されている。本例では、非対象領域Ｒｒ１を実画像で示しており、データ適用領域Ｒ１をセグメントで示している。

【0057】

図４Ｄは、第２ラベル情報Ｌ２の一例を示す。本例の第２ラベル情報Ｌ２は、セグメントのみによって表現されている。即ち、本例では、非対象領域Ｒｒ１およびデータ適用領域Ｒ１の両方をセグメントで示している。

【0058】

以上の通り、第２ラベル情報Ｌ２は、データ適用領域Ｒ１をセグメンテーションしているので、任意の元データから拡張した画像データを生成することができる。これにより、元画像のアイデンティティを残しつつ、より自然な拡張画像を生成することができる。

【0059】

図５は、本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作又は当該装置の１又は複数のセクションとして機能させることができ、又は当該操作又は当該１又は複数のセクションを実行させることができ、及び／又はコンピュータ２２００に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。

【0060】

本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、及びディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、及びＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０及びキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。

【0061】

ＣＰＵ２２１２は、ＲＯＭ２２３０及びＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等又はそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。

【0062】

通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラム及びデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラム又はデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラム又はデータを提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0063】

ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、及び／又はコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。

【0064】

プログラムが、ＤＶＤ－ＲＯＭ２２０１又はＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、又はＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ２２００の使用に従い情報の操作又は処理を実現することによって構成されてよい。

【0065】

例えば、通信がコンピュータ２２００及び外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、又はＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

【0066】

また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。

【0067】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0068】

上で説明したプログラム又はソフトウェアモジュールは、コンピュータ２２００上又はコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバーシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。

【0069】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0070】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0071】

１１・・・第１ラベル情報取得部、１２・・・第２ラベル情報取得部、２０・・・セグメント情報取得部、３０・・・画像データ生成部、１００・・・画像データ生成システム、１５０・・・拡張対象物、２００・・・学習システム、２１１・・・第１学習用ラベル情報取得部、２１２・・・第２学習用ラベル情報取得部、２２０・・・学習セグメント情報取得部、２３０・・・学習対象データ取得部、２５０・・・学習対象物、２２００・・・コンピュータ、２２０１・・・ＤＶＤ－ＲＯＭ、２２１０・・・ホストコントローラ、２２１２・・・ＣＰＵ、２２１４・・・ＲＡＭ、２２１６・・・グラフィックコントローラ、２２１８・・・ディスプレイデバイス、２２２０・・・入／出力コントローラ、２２２２・・・通信インタフェース、２２２４・・・ハードディスクドライブ、２２２６・・・ＤＶＤ－ＲＯＭドライブ、２２３０・・・ＲＯＭ、２２４０・・・入／出力チップ、２２４２・・・キーボード

【図1A】

【図1B】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【手続補正書】

【提出日】2021-07-27

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

拡張対象物に拡張データを適用した画像データを生成する画像データ生成方法であって、
前記拡張対象物の位置形態情報を特定した第１ラベル情報を取得する段階と、
前記拡張対象物において拡張データが適用されるデータ適用領域を特定したセグメント情報を取得する段階と、
前記第１ラベル情報と前記セグメント情報に基づいて第２ラベル情報を生成する段階と、
前記第２ラベル情報に基づいて、前記拡張対象物に拡張データを適用した画像データを生成する段階と
を備え、コンピュータにより実行される画像データ生成方法。

【請求項2】

前記セグメント情報は、前記拡張データのセグメント対象に関する情報を含む
請求項１に記載の画像データ生成方法。

【請求項3】

前記セグメント情報は、前記データ適用領域の位置情報およびクラス情報を含む
請求項１または２に記載の画像データ生成方法。

【請求項4】

前記データ適用領域の形状、サイズまたは位置の少なくとも１つを変形する段階と、
変形された前記データ適用領域に、前記拡張データを適用する段階とを備える
請求項１から３のいずれか一項に記載の画像データ生成方法。

【請求項5】

前記画像データを生成する段階は、予め定められた学習対象物の学習対象データに基づいて、前記画像データを生成する段階を有する
請求項１から４のいずれか一項に記載の画像データ生成方法。

【請求項6】

前記セグメント情報を取得する段階は、予め定められたクラス情報を取得する段階を有し、
画像データを生成する段階は、取得された前記クラス情報に基づいて、前記画像データを生成する段階を有する
請求項１から４のいずれか一項に記載の画像データ生成方法。

【請求項7】

前記セグメント情報を取得する段階は、予め定められたクラス情報およびセグメント対象を取得する段階を有し、
画像データを生成する段階は、取得された前記クラス情報および前記セグメント情報に基づいて、前記画像データを生成する段階を有する
請求項１から４のいずれか一項に記載の画像データ生成方法。

【請求項8】

学習対象データを取得するための学習対象物の位置形態情報を特定した第１学習用ラベル情報を取得する段階と、
前記学習対象物において前記学習対象データが取得される学習データ取得領域を特定したセグメント情報を取得する段階と、
前記第１学習用ラベル情報と前記セグメント情報に基づいて生成された第２学習用ラベル情報を取得する段階と、
前記第２学習用ラベル情報に基づいて、前記学習対象データを取得するモデルの学習処理を実行する段階と
を備える
コンピュータにより実行される画像データ生成の学習方法。

【請求項9】

前記セグメント情報は、学習対象とするセグメント対象に関する情報と、前記学習データ取得領域の位置情報とを含む
請求項８に記載の画像データ生成の学習方法。

【請求項10】

前記セグメント情報は、学習対象のクラス情報に関する情報を含む
請求項８または９に記載の画像データ生成の学習方法。

【請求項11】

予め定められた第１学習対象物からセグメント対象に関する第１学習対象データを取得する段階と、
前記第１学習対象物と異なる第２学習対象物から、前記セグメント対象と同一のセグメント対象に関する第２学習対象データを取得する段階と
を備え、
前記第１学習対象データおよび前記第２学習対象データは、異なるセグメント情報に対応づけられる
請求項８または９に記載の画像データ生成の学習方法。

【請求項12】

コンピュータに請求項１から７のいずれか一項に記載の画像データ生成方法を実行させるためのプログラム。

【請求項13】

コンピュータに請求項８から１１のいずれか一項に記載の画像データ生成の学習方法を実行させるためのプログラム。

【請求項14】

拡張対象物に拡張データを適用した画像データを生成する画像データ生成システムであって、
前記拡張対象物の位置形態情報を特定した第１ラベル情報を取得する第１ラベル情報取得部と、
前記拡張対象物において拡張データが適用されるデータ適用領域を特定したセグメント情報を取得するセグメント情報取得部と、
前記第１ラベル情報と前記セグメント情報に基づいて第２ラベル情報を取得する第２ラベル情報取得部と、
前記第２ラベル情報に基づいて、前記拡張対象物に拡張データを適用した画像データを生成する画像データ生成部と
を備える画像データ生成システム。

【請求項15】

学習対象データを取得するための学習対象物の位置形態情報を特定した第１学習用ラベル情報を取得する第１学習用ラベル情報取得部と、
前記学習対象物において前記学習対象データが取得される学習データ取得領域を特定したセグメント情報を取得する学習セグメント情報取得部と、
前記第１学習用ラベル情報と前記セグメント情報に基づいて生成された第２学習用ラベル情報を取得する第２学習用ラベル情報取得部と、
前記第２学習用ラベル情報に基づいて、前記学習対象データを取得する学習データ取得部と
を備える画像データ生成の学習システム。