特開 2024-39578 敵対的生成ネットワークにおける生成画像の再利用を行うためのデータ保存手法と再利用技術

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024039578

(43)【公開日】2024-03-22

(54)【発明の名称】敵対的生成ネットワークにおける生成画像の再利用を行うためのデータ保存手法と再利用技術

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240314BHJP

   G06T 7/00 20170101ALI20240314BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

【審査請求】未請求

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2022144232

(22)【出願日】2022-09-11

(71)【出願人】

【識別番号】305041669

【氏名又は名称】株式会社ピノー

(72)【発明者】

【氏名】上野由紀

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA27

5L096DA05

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】敵対的生成ネットワークによる画像生成における画像生成は整数値、あるいは実数のベクトルから生成される。生成された画像の変形や特徴の追加を行うと一義的に関連する整数値や実数ベクトルは存在せず、生成画像の高精度なAIによる再利用手段がない。
【解決手段】当発明では、AIによる画像の任意の変更や特徴の指定を画像生成時のみならず、任意の時間が経過した後に再度利用するための仕組みとして潜在空間変数データ及び生成時に用いた生成モデルを記録する仕組み、並びに記録された潜在空間変数データと生成モデルを読み出す仕組みで画像の再利用を高精度に行う手法を開発した。
【選択図】なし

【特許請求の範囲】

【請求項1】

AIの画像生成において、生成データの明示的な保存に画像データ及び画像データと一体として扱う潜在空間変数データ及び生成モデル情報を適切な記憶媒体へ記録すること。

【請求項2】

記録した生成画像のデータから潜在空間変数データと生成モデル情報を取り出し、生成AIへ情報を渡し、生成AIが受け取った情報に基づいて生成データを選択し画像の生成や変形、特徴の追加を行うことができる仕組み。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、敵対的生成ネットワーク（以下、GANと略す）を用いた深層学習において生成した画像を、長期あるいは短期に保存し将来において生成AIモデルで再利用するための保存と再利用を行うためのソフトウエア技術である。

【背景技術】

【0002】

GANを用いた画像生成では学習したモデルから高品質な画像が生成され、生成された画像は同一モデルから他に生成された画像の特徴を用いて様々に特徴を変化させることができる。生成画像は一般的に周知された画像フォーマットであるが、AIが認識している画像は画像モデルから得られた画像生成用の潜在空間変数データである。周知のプログラムでは画像及び潜在空間変数データを生成し、記録する。

【0003】

一方で、アプリケーションやWEBサービスで利用する場合、ユーザーにとって最も重要な成果物は生成画像であるが、生成画像を任意に変形し、特徴を指定して変形させる場合、画像ではなく、AIが認識できる潜在空間変数データを用いなければならない。

【0004】

生成された画像の再利用は、生成画像を生成者の固有のキャラクタとして保有維持する場合に、画像の変形や特徴追加が必要になる。潜在空間変数データが無い場合、再度の深層学習が必要になるが、正確な画像の再現は難しい。

【0005】

この問題の改善策はいくつかの手法が提案されているがいずれも発表論文が用いるモデルに対してはある程度の再現性が得られるが、アニメやイラスト画像については再現性が低い。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】１，A Style-Based Generator Architecture for Generative Adversarial Networks（Karras et al., 2019）２，Training Generative Adversarial Networks with Limited DataTero Karras, Miika Aittala, Janne Hellsten, Samuli Laine, Jaakko Lehtinen, Timo Aila３，Designing an Encoder for StyleGAN Image ManipulationEncoder4editing:https://github.com/omertov/encoder4editing

【発明の概要】

【発明が解決しようとする課題】

【0007】

当発明では、AIによる画像の任意の変更や特徴の指定を画像生成時のみならず、任意の時間が経過した後に再度利用するための仕組みと、この仕組みを利用するための潜在空間変数データの保存と再利用の手法を開発した。

【課題を解決するための手段】

【0008】

画像生成アルゴリズムはランダムな整数又は実数を元に生成されるが、その中間物として潜在空間変数データが存在する。過去に生成した画像を再現する方法はいくつか考えられる。１）生成に用いた整数を記録しておく。２）生成に用いた実数を記録しておく。３）生成画像を生成モデルを用いて再度深層学習を行う。１）と２）は確実な手法であるが、生成画像を他の生成画像の特徴で変化させた画像は、変化後の画像に対する整数や実数を有しない。３）は生成画像の再現性が低く同等の画像は得られない。そこで、変形画像の生成時や画像生成過程で生成される巨大な潜在空間変数データを、外部から持ち込む手法及びこの手法を利用するために必要な、画像と潜在空間変数データの保存方法について考案した。

【発明の効果】

【0009】

この発明を用いることで、いつでもどこでも生成データの正確なAIへの持ち込みと、変換や特徴の追加が可能になり、アプリケーション内への保存の負担が軽減され、長期にわたり生成画像を再利用することができるようになった。

【図面の簡単な説明】

【0010】

【図1】画像生成時に利用されるデータとそのフロー及び当発明の改良点及び本発明を利用するための具体的なデータの処理フローの説明図である。（実施例１）

【図2】画像と潜在空間変数データ及び生成モデル情報をサーバに記録する場合のフローと再利用のための仕組みの説明図である。（実施例２）

【図3】画像と潜在空間変数データ及び生成モデル情報を端末にダウンロードして保存する場合のフローと、再利のための仕組みの説明図である。（実施例３）

【発明を実施するための形態】

【0011】

当該発明はプログラムコードにより、保存潜在空間変数データの再利用のための仕組みの実装と、潜在空間変数データの保存先であるPCや各種情報端末、あるいはインターネット上の記憶媒体、サーバ内のストレージなどの記憶楳が必要である。潜在空間変数データの再利用には生成画像で用いられた生成モデルの情報も必要であり、生成AIが指定されたモデルを利用できる仕組みも、当発明の主要な要素である。

【実施例0012】

図２は、本発明を利用するための具体的なデータの処理フローである。生成画像とその潜在空間変数データには生成したモデルが存在する。画像の再利用は画像の潜在空間変数データと共に生成モデルの記録も必要であり、これらの情報を一体化あるいは同一画像の関連データであることがわかる形式での記録を行う。再利用時は記録されたデータを復元し、潜在空間変数データが生成されたモデルの情報を抽出し、画像生成AIに対して使用するモデルの指示と潜在空間変数データを与える。生成AIはこれらの情報に基づき、生成モデルを選択し、潜在空間変数データをAI内データに変換して画像の生成や変形、特徴の追加などに利用する。画像生成AIは常に当該AIが生成した画像に対するモデルを保持、あるいは保持していない場合は要求することが必要であり、要求に応じてモデルの切り替えを行う機能を保持しなければならない。生成AＩがモデルを保持する手段は多岐にわたる。ＡＩが稼働しているコンピュータ内のメモリ、ＧＰＵ内メモリ、記録装置、ネットワーク上の記録装置、インターネット上の記録サービス等であり、要求されたモデルを識別する機能も必要である。このような改良技術を用いることで、画像生成並びに変形や特徴追加を行って生成された画像の保存と再利用が可能になった。図２はWEＢサービスとして当技術を実施する場合のフローでもある。生成画像の潜在空間変数データに生成モデルを統合したデータと画像データをサーバ内に保持する場合でも、利用する生成モデルはコンピュータ内のメモリ、ＧＰＵ内メモリ、記録装置、ネットワーク上の記録装置、インターネット上の記録サービス等を利用し、必要な時に要求されたモデルを画像生成AIが呼び出す。(図２)

【0013】

図３は潜在空間変数データと生成モデルの記録をクライアント側のPCや情報端末側にダウンロードし、必要な時に再度AIへ戻す場合のフローである。（図３）

【産業上の利用可能性】

【0014】

多数のキャラクタのアニメーションの作成のための下絵や、人の顔を記憶して髪型や化粧を提案するシステム等、理髪店、美容院、葬儀社、結婚式上の画像、風景、動物、などＧＡＮが学習できるあらゆる分野に応用ができる。

【符号の説明】

【0015】

1 潜在空間変数データ
２ ランダムな整数
３ ランダムな整数又は実数
４ 生成モデル
５ 外部から持ち込む手法及びこの手法
６ 生成モデルの記録
７ 一体化あるいは同一画像の関連データ
８ 画像生成AIに対して使用するモデルの指示と潜在空間変数データを与える
９ 生成モデルを選択
10 画像生成AIは常に当該AIが生成した画像に対するモデルを保持
11 要求に応じてモデルの切り替えを行う機能
12 生成AＩがモデルを保持する手段は多岐にわたる
13 生成画像の潜在空間変数データに生成モデルを統合したデータ
14 クライアント側のPCや情報端末

【図1】

【図2】

【図3】