特許 7095935 プログラム、画像データ生成装置及び画像データ生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-27

(45)【発行日】2022-07-05

(54)【発明の名称】プログラム、画像データ生成装置及び画像データ生成方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220628BHJP

   G06T 1/40 20060101ALI20220628BHJP

【ＦＩ】

G06T7/00 350C

G06T1/40

【請求項の数】 15

(21)【出願番号】P 2022501636

(86)(22)【出願日】2020-12-01

(86)【国際出願番号】 JP2020044674

(87)【国際公開番号】W WO2021166363

(87)【国際公開日】2021-08-26

【審査請求日】2022-04-27

(31)【優先権主張番号】P 2020025092

(32)【優先日】2020-02-18

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】520058088

【氏名又は名称】株式会社データグリッド

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】岡田 侑貴

(72)【発明者】

【氏名】庵原 明洋

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０１５－１１４９４６（ＪＰ，Ａ）

【文献】特開２０１８－０５５３８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－ １／４０

Ｇ０６Ｔ ３／００－ ７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

コンピュータを、
前記コンピュータが出力する出力画像データと比較する対象となる画像データである対象画像データを取得する対象画像データ取得部、
入力データが入力されると生成画像データを出力する学習モデルにおいて前記対象画像データを逆伝播処理することにより前記対象画像データに対応する源データである対象画像源データを特定する源データ特定部、
複数の前記源データのうち前記対象画像源データと異なる一以上の前記源データを選択し、前記学習モデルに、選択した前記一以上の源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得する生成画像データ取得部、及び
前記学習モデルから出力された前記一以上の生成画像データのうち、前記対象画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した前記生成画像データを前記出力画像データとして出力する画像データ出力部、
として機能させるためのプログラム。

【請求項2】

前記生成画像データ取得部は、前記複数の源データのうち前記対象画像源データとの類似度である源データ類似度が源データ最大閾値未満である前記一以上の源データを選択する、
請求項１に記載のプログラム。

【請求項3】

コンピュータを、
前記コンピュータが出力する出力画像データと比較する対象となる画像データである対象画像データを取得する対象画像データ取得部、
入力データが入力されると生成画像データを出力する学習モデルに、複数の源データから選択した一以上の前記源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得する生成画像データ取得部、及び
前記学習モデルから出力された前記一以上の生成画像データのうち、前記対象画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した前記生成画像データを前記出力画像データとして出力する画像データ出力部、
として機能させ、
前記画像データ出力部は、
前記対象画像データが、前記学習モデルにより生成された画像データでない場合に、前記一以上の生成画像のそれぞれと前記対象画像データとの前記画像データ類似度が出力最大閾値未満である画像データ、又は前記画像データ類似度が前記対象画像データと同じ属性である場合の出力最小閾値以上である画像データを前記出力画像データとして出力し、
前記対象画像データが、前記学習モデルを逆伝播させることにより前記源データを特定可能な画像データである場合に、前記一以上の生成画像データのそれぞれと前記対象画像データとの前記画像データ類似度を特定することなく前記一以上の生成画像データのうち少なくとも一つを前記出力画像データとして出力する、
プログラム。

【請求項4】

前記画像データ出力部は、特定した前記画像データ類似度を前記出力画像データに関連付けて出力する、
請求項３に記載のプログラム。

【請求項5】

コンピュータを、
前記コンピュータが出力する出力画像データと比較する対象となる画像データである対象画像データを取得する対象画像データ取得部、
入力データが入力されると生成画像データを出力する学習モデルにおいて前記対象画像データを逆伝播処理することにより、前記対象画像データに対応する源データである対象画像源データを特定する源データ特定部、
複数の前記源データのうち前記対象画像源データとの類似度である源データ類似度が源データ最小閾値以上である一以上の前記源データを選択し、前記学習モデルに、選択した前記一以上の源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得する生成画像データ取得部、及び
前記学習モデルから出力された前記一以上の生成画像データのうち、選択された前記一以上の源データが入力されたことによって前記学習モデルが出力した前記生成画像データを前記出力画像データとして出力する画像データ出力部、
として機能させるためのプログラム。

【請求項6】

コンピュータを、
前記コンピュータが出力する出力画像データと比較する対象となる画像データである対象画像データを取得する対象画像データ取得部、
入力データが入力されると生成画像データを出力する学習モデルに、複数の源データから選択した一以上の前記源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得する生成画像データ取得部、及び
前記学習モデルから出力された前記一以上の生成画像データのうち、前記対象画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した前記生成画像データを前記出力画像データとして出力する画像データ出力部、
として機能させ、
前記対象画像データ取得部は、前記学習モデルが学習に用いた学習用画像データを前記対象画像データとして取得する、
プログラム。

【請求項7】

前記コンピュータを、前記画像データ出力部が出力する前記出力画像データの属性の指定を受け付ける指定受付部としてさらに機能させ、
前記対象画像データ取得部は、前記指定受付部が受け付けた前記属性に対応する前記対象画像データを取得する、
請求項１から６のいずれか一項に記載のプログラム。

【請求項8】

画像データを生成する画像データ生成装置であって、
前記画像データ生成装置が出力する出力画像データと比較する対象となる画像データである対象画像データを取得する対象画像データ取得部と、
入力データが入力されると生成画像データを出力する学習モデルにおいて前記対象画像データを逆伝播処理することにより前記対象画像データに対応する源データである対象画像源データを特定する源データ特定部、
複数の前記源データのうち前記対象画像源データと異なる一以上の前記源データを選択し、前記学習モデルに、選択した前記一以上の源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得する生成画像データ取得部と、
前記学習モデルから出力された前記一以上の生成画像データのうち、前記対象画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した生成画像データを前記出力画像データとして出力する画像データ出力部と、
を有する、
画像データ生成装置。

【請求項9】

画像データを生成する画像データ生成装置であって、
前記画像データ生成装置が出力する出力画像データと比較する対象となる画像データである対象画像データを取得する対象画像データ取得部と、
入力データが入力されると生成画像データを出力する学習モデルに、複数の源データから選択した一以上の前記源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得する生成画像データ取得部と、
前記学習モデルから出力された前記一以上の生成画像データのうち、前記対象画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した生成画像データを前記出力画像データとして出力する画像データ出力部と、
を有し、
前記画像データ出力部は、
前記対象画像データが、前記学習モデルにより生成された画像データでない場合に、前記一以上の生成画像のそれぞれと前記対象画像データとの前記画像データ類似度が出力最大閾値未満である画像データ、又は前記画像データ類似度が前記対象画像データと同じ属性である場合の出力最小閾値以上である画像データを前記出力画像データとして出力し、
前記対象画像データが、前記学習モデルを逆伝播させることにより前記源データを特定可能な画像データである場合に、前記一以上の生成画像データのそれぞれと前記対象画像データとの前記画像データ類似度を特定することなく前記一以上の生成画像データのうち少なくとも一つを前記出力画像データとして出力する
画像データ生成装置。

【請求項10】

画像データを生成する画像データ生成装置であって、
前記画像データ生成装置が出力する出力画像データと比較する対象となる画像データである対象画像データを取得する対象画像データ取得部と、
入力データが入力されると生成画像データを出力する学習モデルにおいて前記対象画像データを逆伝播処理することにより、前記対象画像データに対応する源データである対象画像源データを特定する源データ特定部と、
複数の前記源データのうち前記対象画像源データとの類似度である源データ類似度が源データ最小閾値以上である一以上の前記源データを選択し、前記学習モデルに、選択した前記一以上の源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得する生成画像データ取得部と、
前記学習モデルから出力された前記一以上の生成画像データのうち、選択された前記一以上の源データが入力されたことによって前記学習モデルが出力した生成画像データを前記出力画像データとして出力する画像データ出力部と、
を有する、
画像データ生成装置。

【請求項11】

画像データを生成する画像データ生成装置であって、
前記画像データ生成装置が出力する出力画像データと比較する対象となる画像データである対象画像データを取得する対象画像データ取得部と、
入力データが入力されると生成画像データを出力する学習モデルに、複数の源データから選択した一以上の前記源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得する生成画像データ取得部と、
前記学習モデルから出力された前記一以上の生成画像データのうち、前記対象画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した前記生成画像データを前記出力画像データとして出力する画像データ出力部と、
を有し、
前記対象画像データ取得部は、前記学習モデルが学習に用いた学習用画像データを前記対象画像データとして取得する、
画像データ生成装置。

【請求項12】

コンピュータが実行する、
前記コンピュータが出力する出力画像データと比較する対象となる画像データである対象画像データを取得するステップと、
入力データが入力されると生成画像データを出力する学習モデルにおいて前記対象画像データを逆伝播処理することにより前記対象画像データに対応する源データである対象画像源データを特定するステップと、
複数の前記源データのうち前記対象画像源データと異なる一以上の前記源データを選択し、前記学習モデルに、選択した前記一以上の源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得するステップと、
前記学習モデルから出力された前記一以上の生成画像データのうち、前記対象画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した前記生成画像データを前記出力画像データとして出力するステップと、
を有する画像データ生成方法。

【請求項13】

コンピュータが実行する、
前記コンピュータが出力する出力画像データと比較する対象となる画像データである対象画像データを取得するステップと、
入力データが入力されると生成画像データを出力する学習モデルに、複数の源データから選択した一以上の源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得するステップと、
前記学習モデルから出力された前記一以上の生成画像データのうち、前記対象画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した前記生成画像データを前記出力画像データとして出力するステップと、
を有し、
前記出力するステップにおいて、
前記対象画像データが、前記学習モデルにより生成された画像データでない場合に、前記一以上の生成画像のそれぞれと前記対象画像データとの前記画像データ類似度が出力最大閾値未満である画像データ、又は前記画像データ類似度が前記対象画像データと同じ属性である場合の出力最小閾値以上である画像データを前記出力画像データとして出力し、
前記対象画像データが、前記学習モデルを逆伝播させることにより前記源データを特定可能な画像データである場合に、前記一以上の生成画像データのそれぞれと前記対象画像データとの前記画像データ類似度を特定することなく前記一以上の生成画像データのうち少なくとも一つを前記出力画像データとして出力する、
画像データ生成方法。

【請求項14】

コンピュータが実行する、
前記コンピュータが出力する出力画像データと比較する対象となる画像データである対象画像データを取得するステップと、
入力データが入力されると生成画像データを出力する学習モデルにおいて前記対象画像データを逆伝播処理することにより、前記対象画像データに対応する源データである対象画像源データを特定するステップと、
複数の前記源データのうち前記対象画像源データとの類似度である源データ類似度が源データ最小閾値以上である一以上の前記源データを選択し、前記学習モデルに、選択した前記一以上の源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得するステップと、
前記学習モデルから出力された前記一以上の生成画像データのうち、選択された前記一以上の源データが入力されたことによって前記学習モデルが出力した前記生成画像データを前記出力画像データとして出力するステップと、
を有する、
画像データ生成方法。

【請求項15】

コンピュータが実行する、
前記コンピュータが出力する出力画像データと比較する対象となる画像データである対象画像データを取得するステップと、
入力データが入力されると生成画像データを出力する学習モデルに、複数の源データから選択した一以上の前記源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得するステップと、
前記学習モデルから出力された前記一以上の生成画像データのうち、前記対象画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した前記生成画像データを前記出力画像データとして出力するステップと、
を有し、
前記取得するステップにおいて、前記学習モデルが学習に用いた学習用画像データを前記対象画像データとして取得する、
画像データ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データを生成するためのプログラム、画像データ生成装置及び画像データ生成方法に関する。

【背景技術】

【0002】

従来、敵対的ネットワークであるＧＡＮ（Generative Adversarial Network）のような機械学習を用いて画像を生成する技術が知られている。特許文献１には、ＧＡＮを用いて生成される画像を真の画像に近づけるための技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－７９４３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＧＡＮ等の手法を用いて生成される画像データが、画像データを必要とするユーザの所望の画像データと異なり過ぎている場合がある。例えば、顔画像又はロゴ画像を作成するための画像データを生成する場合に、生成された画像データが、画像データの生成のために用いた他の画像データ（例えば著名人の顔画像を示す画像データ又は他社のロゴを示す画像データ）に類似し過ぎていると、著作権又は肖像権等の問題が生じる場合がある。

【0005】

一方、ユーザが、特定の属性の顔画像又はロゴ画像に対応する画像データを生成したいという場合もある。このような画像データを生成する際に、生成された画像データが、所望の画像データと異なり過ぎるという場合もある。このように、従来のＧＡＮ等の手法を用いて画像データを生成する場合、ユーザの所望の画像データを生成できない場合があるという問題があった。

【0006】

そこで、本発明はこれらの点に鑑みてなされたものであり、画像データを必要とするユーザの所望の画像データに近い画像データを生成することを可能にするプログラム及び画像データ生成装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様のプログラムは、コンピュータを、前記コンピュータが出力する出力画像データと比較する対象となる画像データである対象画像データを取得する対象画像データ取得部、入力データが入力されると生成画像データを出力する学習モデルに、複数の源データから選択した一以上の源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得する生成画像データ取得部、及び前記学習モデルから出力された前記一以上の生成画像データのうち、前記対象画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した前記生成画像データを前記出力画像データとして出力する画像データ出力部、として機能させる。

【0008】

前記対象画像データを逆伝播処理することにより前記対象画像データに対応する前記源データである対象画像源データを特定する源データ特定部をさらに有し、前記生成画像データ取得部は、前記複数の源データのうち前記対象画像源データと異なる前記一以上の源データを選択してもよい。

【0009】

前記生成画像データ取得部は、前記複数の源データのうち前記対象画像源データとの類似度である源データ類似度が源データ最大閾値未満である前記一以上の源データを選択してもよい。

【0010】

前記画像データ出力部は、前記一以上の生成画像データのそれぞれと前記対象画像データとの前記画像データ類似度を特定する類似度特定部と、前記一以上の生成画像データのうち、前記類似度特定部が特定した前記画像データ類似度が出力最大閾値未満である画像データを前記出力画像データとして選択する選択部と、を有してもよい。

【0011】

前記画像データ出力部は、前記一以上の生成画像データのそれぞれと前記対象画像データとの前記画像データ類似度を特定する類似度特定部と、前記一以上の生成画像データのうち、前記類似度特定部が特定した前記画像データ類似度が、前記対象画像データと同じ属性である場合の出力最小閾値以上である画像データを前記出力画像データとして選択する選択部と、を有してもよい。

【0012】

前記画像データ出力部は、前記対象画像データが、前記学習モデルにより生成された画像データでない場合に、前記類似度特定部において前記一以上の生成画像のそれぞれと前記対象画像データとの前記画像データ類似度を特定し、前記対象画像データが、前記学習モデルを逆伝播させることにより前記源データを特定可能な画像データである場合に、前記類似度特定部において前記一以上の生成画像データのそれぞれと前記対象画像データとの前記画像データ類似度を特定することなく前記一以上の生成画像データのうち少なくとも一つを前記出力画像データとして出力してもよい。

【0013】

前記画像データ出力部は、前記類似度特定部が特定した前記画像データ類似度を前記出力画像データに関連付けて出力してもよい。

【0014】

前記対象画像データを逆伝播処理することにより、前記対象画像データに対応する前記源データである対象画像源データを特定する源データ特定部をさらに有し、前記生成画像データ取得部は、前記複数の源データのうち前記対象画像源データとの類似度である源データ類似度が源データ最小閾値以上である前記一以上の源データを選択してもよい。

【0015】

前記プログラムは、前記コンピュータを、前記画像データ出力部が出力する前記出力画像データの属性の指定を受け付ける指定受付部としてさらに機能させ、前記対象画像データ取得部は、前記指定受付部が受け付けた前記属性に対応する前記対象画像データを取得してもよい。

【0016】

前記対象画像データ取得部は、前記学習モデルが学習に用いた学習用画像データを前記対象画像データとして取得してもよい。

【0017】

本発明の第２の態様のプログラムは、コンピュータを、前記コンピュータが出力する出力画像データと比較する対象となる画像である対象画像データの属性の指定を受け付ける指定受付部、入力データが入力されると生成画像データを出力する学習モデルに、複数の源データから選択した一以上の源データを前記入力データとして入力する生成画像データ取得部、前記学習モデルから出力された一以上の前記生成画像データを取得する生成画像データ取得部、及び前記学習モデルから出力された前記一以上の生成画像データのうち、前記属性に対応する画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した生成画像データを出力画像データとして出力する画像データ出力部、として機能させる。

【0018】

本発明の第３の態様の画像データ生成装置は、画像データを生成する画像データ生成装置であって、前記画像データ生成装置が出力する出力画像データと比較する対象となる画像データである対象画像データを取得する対象画像データ取得部と、入力データが入力されると生成画像データを出力する学習モデルに、複数の源データから選択した一以上の源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得する生成画像データ取得部と、前記学習モデルから出力された前記一以上の生成画像データのうち、前記対象画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した生成画像データを前記出力画像データとして出力する画像データ出力部と、を有する。

【0019】

本発明の第４の態様の画像データ生成装置は、画像データを生成する画像データ生成装置であって、前記画像データ生成装置が出力する出力画像データと比較する対象となる画像データである対象画像データの属性の指定を受け付ける指定受付部と、入力データが入力されると生成画像データを出力する学習モデルに、複数の源データから選択した一以上の源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得する生成画像データ取得部と、前記学習モデルから出力された前記一以上の生成画像データのうち、前記属性に対応する画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した生成画像データを出力画像データとして出力する画像データ出力部と、を有する。

【0020】

本発明の第５の態様の画像データ生成方法は、コンピュータが実行する、前記コンピュータが出力する出力画像データと比較する対象となる画像データである対象画像データを取得するステップと、入力データが入力されると生成画像データを出力する学習モデルに、複数の源データから選択した一以上の源データを前記入力データとして入力し、前記学習モデルから出力された一以上の前記生成画像データを取得するステップと、前記学習モデルから出力された前記一以上の生成画像データのうち、前記対象画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した前記生成画像データを前記出力画像データとして出力するステップと、を有する。

【0021】

本発明の第６の態様の画像データ生成方法は、コンピュータが実行する、前記コンピュータが出力する出力画像データと比較する対象となる画像である対象画像データの属性の指定を受け付けるステップと、入力データが入力されると生成画像データを出力する学習モデルに、複数の源データから選択した一以上の源データを前記入力データとして入力するステップと、前記学習モデルから出力された一以上の前記生成画像データを取得するステップと、前記学習モデルから出力された前記一以上の生成画像データのうち、前記属性に対応する画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する前記一以上の源データが入力されたことによって前記学習モデルが出力した生成画像データを出力画像データとして出力するステップと、を有する。

【発明の効果】

【0022】

本発明によれば、画像データを必要とするユーザの所望の画像データに近い画像データを生成することができるという効果を奏する。

【図面の簡単な説明】

【0023】

【図1】本実施の形態に係る画像データ生成装置の概要を説明するための図である。

【図2】本実施の形態に係る画像データ生成装置の構成を示す図である。

【図3】画像データ生成装置の動作の流れを示すフローチャートである。

【図4】画像データ出力部の動作の流れを示すフローチャートである。

【発明を実施するための形態】

【0024】

［画像データ生成装置の概要］
図１は、本実施の形態に係る画像データ生成装置の概要を説明するための図である。画像データ生成装置は、ＧＡＮ（Generative Adversarial Networks）を用いて画像を生成することができる機械学習モデルである画像生成モデルＭを用いて画像データを生成する装置である。画像生成モデルＭは、例えば乱数により構成される源データが入力されたことに応じて、所定の条件を満たす画像データ（例えば顔画像又はロゴ画像のデータ）を出力する。以下の説明においては、画像データが顔画像のデータである場合を例示するが、画像データは顔画像以外のデータであってもよい。

【0025】

画像データ生成装置は、例えば乱数により構成される源データを画像生成モデルＭに入力し、源データに基づいて画像生成モデルＭが生成した画像データを外部に出力する。画像データ生成装置はプロセッサを有しており、所定のプログラムを実行することにより、源データに基づく画像データを生成する。源データは、乱数に限られず、何らかの規則に基づいて生成された数値、又は画像変換に用いられるテンソルであってもよい。源データは複数の種類の数値又はテンソルを含んでもよい。

【0026】

源データは、例えば所定の次元数の乱数である。１０次元の乱数により構成される源データの一例は、［－１．６４８０８４０４，－０．６０６４０９９１，－０．８７３２９６２３，１．５０３１１８９，－０．５３５４４６６２，０．９６１４３３２１，０．９３２９４６４１，－０．３９３２１４７，１．８６４３８９４９，０．０６７３８１０１]である。源データの次元数は任意であるが、例えば５１２次元である。画像データ生成装置は、生成すべき画像データの属性の指定を受けると、属性に対応する源データを画像生成モデルＭに入力することにより、指定された属性の画像データを生成する。

【0027】

ここで、画像データ生成装置が生成する画像データ（図１における生成画像データ）が、画像生成モデルＭの学習に用いられた画像データのうち、実在の人の顔画像を示す画像データに類似している場合、著作権又は肖像権の問題が生じかねない。一方、画像データ生成装置が生成する画像データが、画像データを使用するユーザが所望する画像データと異なり過ぎていると、ユーザが満足しないという問題が生じる。そこで、本実施の形態に係る画像データ生成装置は、これらの問題が生じないように、生成画像データと比較の対象となる対象画像データとの類似度が適切な範囲となる画像データを生成する。以下、画像データ生成装置の構成及び動作を詳細に説明する。

【0028】

［画像データ生成装置１の構成］
図２は、本実施の形態に係る画像データ生成装置１の構成を示す図である。画像データ生成装置１は、例えばコンピュータであり、所定のプログラムを実行することにより生成画像データを生成する。

【0029】

画像データ生成装置１は、一例として、通信部１１と、記憶部１２と、制御部１３と、を有する。制御部１３は、指定受付部１３１と、対象画像データ取得部１３２と、源データ特定部１３３と、生成画像データ取得部１３４と、画像データ出力部１３５と、を有する。画像データ出力部１３５は、類似度特定部１３６及び選択部１３７を有する。画像データ生成装置１は、これらの各部のうちの一部を有していなくてもよく、他の処理部を有していてもよい。

【0030】

通信部１１は、他の装置とデータを送受信するための通信インターフェースであり、例えばネットワークに接続するための通信コントローラを有する。通信部１１は、例えば情報端末２との間でデータを送受信する。情報端末２は、画像の生成を希望するユーザが使用する端末であり、例えばパーソナルコンピュータ又はスマートフォンである。

【0031】

記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体であり、制御部１３が実行するプログラムを記憶している。記憶部１２は、制御部１３が生成する画像データも一時的に記憶する。

【0032】

制御部１３は、例えばＣＰＵ（Central Processing Unit）である。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、指定受付部１３１、対象画像データ取得部１３２、源データ特定部１３３、生成画像データ取得部１３４、画像データ出力部１３５、類似度特定部１３６及び選択部１３７として機能する。制御部１３は、予め作成された画像生成モデルＭを用いて、出力する画像データを生成する。

【0033】

指定受付部１３１は、画像データ出力部１３５が出力する出力画像データの属性の指定を受け付ける。指定受付部１３１は、画像データを必要とするユーザが使用する情報端末２においてユーザが入力した、必要な画像データの属性を示す属性情報を取得することにより、出力画像データの属性の指定を受け付ける。指定受付部１３１は、受け付けた属性を対象画像データ取得部１３２に通知する。

【0034】

出力画像データの属性は、例えば画像が示す物又は人の種類である。出力画像データが人の画像である場合、属性は、顔画像又は身体全体の画像のように身体の部位であってもよい。出力画像データが顔画像である場合、属性は、例えば性別、年齢、肌の色、及び髪の毛の色等である。属性情報は、このような属性を示すテキスト情報であってもよく、属性の特徴が表れている画像データであってもよい。

【0035】

対象画像データ取得部１３２は、画像データ生成装置１が出力する出力画像データと比較する対象となる画像データである一以上の対象画像データを取得する。対象画像データ取得部１３２は、記憶部１２に記憶された対象画像データを取得してもよく、外部装置から対象画像データを取得してもよい。対象画像データは、何の画像を示すデータであるかを示す情報、又は画像の属性を示す情報の少なくともいずれかを含んでおり、対象画像データ取得部１３２は、複数の対象画像データのうち、指定受付部１３１から通知された属性に対応する一以上の対象画像データを選択する。

【0036】

画像生成モデルＭが、著名人の顔の画像データのように、類似すべきでない画像データを学習用データとして使用した場合、対象画像データ取得部１３２は、画像生成モデルＭが学習に用いた学習用画像データを対象画像データとして取得する。また、指定受付部１３１が、出力画像データの属性の指定を受け付けた場合、対象画像データ取得部１３２は、指定受付部１３１が受け付けた属性に対応する対象画像データを取得する。指定受付部１３１が受け付けた属性が「２０歳代の女性の顔画像」である場合、対象画像データ取得部１３２は、２０歳代の女性の顔画像のデータを対象画像データとして取得する。対象画像データ取得部１３２は、取得した対象画像データを源データ特定部１３３に入力する。

【0037】

源データ特定部１３３は、対象画像データを逆伝播処理することにより、対象画像データに対応する源データである対象画像源データを特定する。源データ特定部１３３は、例えば、対象画像データを源データの空間に写像することにより、対象画像データに対応する複数の源データを含む集合を特定する。

【0038】

逆伝播処理とは、対象画像データを入力データとして、画像生成モデルＭが出力可能な生成画像データの中で最も入力データに似ている画像を生成できる源データを特定することである。逆伝播の方法として、例えば以下の方法が考えられる。
１．対象画像データを生成モデルの出力側に入力して源データを逆算する方法
２．対象画像データを入力とし、当該画像データに最も類似する源データを直接出力するように学習された別の学習済みモデルを利用する方法
３．源データに対応する画像データ（例えば、源データを画像生成モデルＭに入力すると画像生成モデルＭから出力される画像データ）が対象画像データに近づくように（すなわち源データに対応する画像データと対象画像データとの類似度を最大化するように）、反復的に源データを更新する方法

【0039】

源データ特定部１３３は、画像生成モデルＭの種別に応じて、これらの方法のうち一以上の方法を使用することができる。源データ特定部１３３は、この逆伝播の処理により、対象画像データが画像生成モデルＭを用いて作成されたと仮定した場合に用いられた源データに近い源データ（又は最も近い源データ）を特定することができる。

【0040】

生成画像データ取得部１３４は、入力データが入力されると生成画像データを出力する画像生成モデルＭに、複数の源データから選択した一以上の源データを入力データとして入力する。生成画像データ取得部１３４は、予め取得された複数の源データを参照することにより、又は所定のルールに基づいて複数の源データを作成することにより、複数の源データを取得する。

【0041】

生成画像データ取得部１３４は、例えば、複数の源データのうち対象画像源データと異なる一以上の源データを選択する。生成画像データ取得部１３４は、源データ特定部１３３が対象画像データに対応する複数の源データを含む集合を特定した場合、源データ特定部１３３が特定した集合に含まれない一以上の源データを選択してもよい。

【0042】

画像データ生成装置１が対象画像データに類似しない画像データを出力する必要がある場合、生成画像データ取得部１３４は、対象画像源データと異なっているだけでなく、例えば、複数の源データのうち対象画像源データとの類似度である源データ類似度が源データ最大閾値未満である一以上の源データを選択することが望ましい。

【0043】

源データ類似度は、複数の源データ間の相関値のレベルにより表される。相関値が所定の最大値に近いほど源データ類似度が大きく複数の源データが類似しており、相関値が所定の最小値に近いほど源データ類似度が小さく複数の源データが類似していない。源データが例えば５１２次元のデータである場合、相関値は、５１２次元の空間における２つの源データ間の距離の逆数に対応する。この場合、相関値は、例えば２つの源データの各次元の値の差を２乗してから５１２個の２乗値を加算し、加算後の値の平方根の逆数を算出することにより得られる。

【0044】

このように生成画像データ取得部１３４が対象画像源データと異なる源データを選択し、選択した源データ画像生成モデルＭに入力することにより、入力した源データに基づいて対象画像データと同一の画像データが画像生成モデルＭから出力されてしまうことを防止できる。

【0045】

ところで、対象画像源データと異なる源データであるとしても、対象画像源データに類似する源データを画像生成モデルＭに入力した場合、対象画像データに類似する画像データが画像生成モデルＭから出力される蓋然性が高い。そこで、生成画像データ取得部１３４は、対象画像源データとの類似度が所定の範囲内の源データを選択せず、類似度が所定の範囲外の源データ（すなわち、対象源データと類似しない源データ）を選択してもよい。生成画像データ取得部１３４が対象画像源データに類似しない源データを選択することにより、選択した源データに基づいて対象画像データに類似する画像データが生成されてしまう蓋然性を小さくすることができる。

【0046】

一方、画像生成モデルＭに入力する源データと対象画像源データとの源データ類似度が小さ過ぎると、出力画像データを使用するユーザが所望する属性の生成画像データが画像生成モデルＭから出力されない。そこで、生成画像データ取得部１３４は、複数の源データのうち対象画像源データとの類似度である源データ類似度が源データ最小閾値以上である一以上の源データを選択してもよい。この場合の対象画像源データは、ユーザが所望する属性に対応する対象画像データの生成に用いられた源データである。生成画像データ取得部１３４は、情報端末２から取得した対象画像データを画像生成モデルＭに逆伝播させることによって対象画像源データを得ることができる。

【0047】

源データ最小閾値は、出力画像データがユーザの所望する属性を有すると判断され得る画像データのうち、対象画像データと最も類似しない画像データに対応する源データと対象画像源データとの類似度に相当する値である。生成画像データ取得部１３４が、源データ類似度が源データ最小閾値以上である一以上の源データを選択することで、画像生成モデルＭが、ユーザが所望する属性の生成画像データを出力することができる。

【0048】

生成画像データ取得部１３４は、画像生成モデルＭから出力された一以上の生成画像データを取得する。具体的には、生成画像データ取得部１３４は、生成画像データ取得部１３４が源データを画像生成モデルＭに入力したことに応じて画像生成モデルＭから出力された生成画像データを取得し、取得した生成画像データを画像データ出力部１３５に入力する。

【0049】

画像データ出力部１３５は、画像生成モデルＭから出力された一以上の生成画像データのうち、対象画像データとの類似度である画像データ類似度が所定の範囲内の画像データに対応する一以上の源データが入力されたことによって画像生成モデルＭが出力した生成画像データを出力画像データとして出力する。所定の範囲内は、例えば、著作権又は肖像権の点で対象画像データと類似しないと判断され得る範囲内であり、所定の範囲の閾値は画像データ生成装置１の設計者又はユーザにより予め設定される。

【0050】

画像データ類似度は、例えば、画像データを入力として特徴ベクトルを出力する学習済みモデルに、類似度を算出する２つの画像データを入力し、学習済みモデルから出力される複数の特徴ベクトル間の距離の逆数である。画像データ類似度は、複数の画像データに共通に含まれている特徴点の数によって表され、共通の特徴点の数が多ければ多いほど画像データ類似度が大きくてもよい。画像データ類似度は、複数の画像データの各画素の画素値を画素単位で比較した結果に基づいて表されてもよい。この場合、画像データに含まれる複数の画素の画素値の差の合計値が小さいほど画像データ類似度が大きい。

【0051】

画像生成モデルＭに入力される一以上の源データは、例えば、対象画像データが顔画像データである場合に、著作権又は肖像権の点で問題にならない程度に対象画像データに類似していない画像データを画像生成モデルＭが生成するために用いることができる一以上の源データである。このような一以上の源データが入力された画像生成モデルＭが出力する生成画像データは、対象画像データに類似していないと考えられる。したがって、画像データ出力部１３５がこのように動作することで、画像データ生成装置１が、対象画像データに類似しない画像データを出力することが可能になる。

【0052】

画像データ出力部１３５は、ユーザが所望する属性の出力画像データを出力するために、画像生成モデルＭから出力された一以上の生成画像データのうち、指定受付部１３１が受け付けた属性に対応する画像データとの画像データ類似度が所定の範囲内の画像データに対応する一以上の源データが入力されたことによって画像生成モデルＭが出力した生成画像データを出力画像データとして出力してもよい。この場合の所定の範囲内は、同じ属性の画像データであると判断され得る範囲内であり、所定の範囲の閾値は画像データ生成装置１の設計者又はユーザにより予め設定される。所定の範囲内は、出力画像データが著作権又は肖像権の点で対象画像データと類似しないと判断され、かつ同じ属性の画像データであると判断され得る範囲であってもよい。画像データ出力部１３５がこのように動作することで、画像生成モデルＭから出力された生成画像データの中に、ユーザが所望する属性を有しない画像データが含まれている場合であっても、ユーザが所望する属性を有しない画像データが画像データ生成装置１から出力されることを防げる。

【0053】

画像データ出力部１３５は、このように対象画像データとの画像データ類似度が所定の範囲内の生成画像データを出力するために、類似度特定部１３６及び選択部１３７を有する。類似度特定部１３６は、一以上の生成画像データのそれぞれと対象画像データとの画像データ類似度を特定する。類似度特定部１３６は、特定した画像データ類似度を選択部１３７に通知する。

【0054】

選択部１３７は、一以上の生成画像データのうち、類似度特定部１３６が特定した画像データ類似度が出力最大閾値未満である画像データ（すなわち、対象画像データに類似し過ぎていない生成画像データ）を出力画像データとして選択する。出力最大閾値は、例えば、対象画像データに類似していると判断される複数の生成画像データのうち、最も対象画像データに類似していない生成画像データと対象画像データとの画像データ類似度である。選択部１３７は、画像データ類似度が出力最大閾値未満である生成画像データを出力画像データとして出力する。一方、選択部１３７は、画像データ類似度が出力最大閾値以上である生成画像データ（すなわち、対象画像データに類似し過ぎている生成画像データ）を出力画像データとして出力しない。

【0055】

類似度特定部１３６及び選択部１３７がこのように動作することで、画像生成モデルＭが生成した画像データが対象画像データに類似し過ぎている場合に、当該生成画像データが画像データ生成装置１から出力されない。したがって、画像データ生成装置１が出力した画像データによって著作権又は肖像権の問題が生じることを未然に防ぐことができる。

【0056】

選択部１３７は、一以上の生成画像データのうち、類似度特定部１３６が特定した画像データ類似度が、対象画像データと同じ属性である場合の出力最小閾値以上である生成画像データ（すなわち、指定された属性を有すると判断される生成画像データ）を出力画像データとして選択してもよい。出力最小閾値は、出力最大閾値よりも小さく、選択部１３７は、画像データ類似度が出力最小閾値以上であり、かつ出力最大閾値未満であることを条件として、生成画像データを出力画像データとして出力してもよい。選択部１３７は、このように動作することで、指定受付部１３１が指定を受け付けた属性を有しており、かつ類似すべきでない画像データに類似しない生成画像データを出力することができる。

【0057】

ところで、画像データ出力部１３５は、対象画像データが、学習モデルを逆伝播させることにより源データを特定可能な画像データであるか否かに応じて、類似度特定部１３６において一以上の生成画像データのそれぞれと対象画像データとの画像データ類似度を特定した結果に基づいて生成画像データを出力するか否かを決定してもよい。

【0058】

対象画像データが、学習モデルを逆伝播させることにより源データを特定可能な画像データである場合は、例えば、対象画像データが画像生成モデルＭにより生成された画像データである場合である。この場合、源データ特定部１３３が逆伝播によって特定した対象画像源データとの源データ類似度が所定の範囲内の源データを用いれば、生成画像データ取得部１３４が当該源データを用いて生成した生成画像データと対象画像データとの画像データ類似度は所望の範囲内に収まっていると考えられる。したがって、この場合、画像データ出力部１３５は、類似度特定部１３６において生成画像データと対象画像データとの画像データ類似度を特定することなく、生成画像データを出力画像データとして出力してもよい。

【0059】

一方、対象画像データが、学習モデルを逆伝播させることにより源データを特定可能な画像データでない場合は、例えば、対象画像データが画像生成モデルＭにより生成された画像データでない場合である。対象画像データが、学習モデルを逆伝播させることにより源データを特定可能な画像データでない場合、生成画像データ取得部１３４が画像生成モデルＭに入力した源データに基づいて生成された生成画像データと対象画像データとの画像データ類似度が所望の範囲内に収まっているとは限らない。そこで、この場合、画像データ出力部１３５は、類似度特定部１３６において一以上の生成画像のそれぞれと対象画像データとの画像データ類似度を特定する。そして、選択部１３７が、画像データ類似度に基づいて、出力画像データとして出力する生成画像データを選択する。

【0060】

画像データ出力部１３５がこのように動作することにより、生成画像データ取得部１３４が画像生成モデルＭから取得した生成画像データが対象画像データに類似していない蓋然性が高い場合に類似度特定部１３６による処理を省略することができる。したがって、画像データ生成装置１は、対象画像データに類似し過ぎる画像データが出力されることを防ぎつつ、画像データを出力するために要する時間を短縮することができる。

【0061】

なお、画像データ出力部１３５は、類似度特定部１３６が特定した画像データ類似度を出力画像データに関連付けて出力してもよい。画像データ出力部１３５が画像データ類似度を出力することで、出力画像データを利用するユーザが、出力画像データを使用しても問題ないかどうかを把握しやすくなる。画像データ出力部１３５は、出力画像データに関連付けて、画像データ類似度とともに、最も類似している対象画像データを出力してもよい。画像データ出力部１３５が対象画像データも出力することで、ユーザが出力画像データと対象画像データがどの程度類似しているのかをユーザ自身が把握しやすくなる。

【0062】

［画像データ生成装置１の動作フローチャート］
図３は、画像データ生成装置１の動作の流れを示すフローチャートである。図３に示すフローチャートは、画像データを必要とするユーザが、情報端末２を用いて画像データ生成装置１にアクセスした後の画像データ生成装置１の動作の流れを示している。

【0063】

まず、指定受付部１３１は、情報端末２のユーザが生成画像データに求める属性の指定を情報端末２から受け付ける（Ｓ１１）。指定受付部１３１は、受け付けた属性を対象画像データ取得部１３２に通知する。

【0064】

対象画像データ取得部１３２は、属性の通知を受けると、複数の対象画像データのうち、通知された属性に対応する対象画像データを取得する（Ｓ１２）。対象画像データ取得部１３２は、例えば「若い女性の顔画像」という属性が指定受付部１３１から通知された場合、画像生成モデルＭの学習に用いられた複数の対象画像データのうち、「若い女性の顔画像」を示す対象画像データを取得する。

【0065】

続いて、源データ特定部１３３は、対象画像データ取得部１３２が取得した対象画像データに対応する源データを特定する（Ｓ１３）。具体的には、源データ特定部１３３は、対象画像データを画像生成モデルＭにおいて逆伝播させた場合に画像生成モデルＭから出力される源データを取得する。

【0066】

続いて、生成画像データ取得部１３４は、源データ特定部１３３が取得した源データに基づいて、画像データの生成に用いる源データを選択する（Ｓ１４）。生成画像データ取得部１３４は、例えば源データ特定部１３３が取得した源データとの類似度が源データ最小閾値以上、かつ源データ最大閾値未満の源データを選択する。

【0067】

生成画像データ取得部１３４は、選択した源データを画像生成モデルＭに入力し（Ｓ１５）、画像生成モデルＭから出力される生成画像データを取得する（Ｓ１６）。生成画像データ取得部１３４は、取得した生成画像データを画像データ出力部１３５に入力する。画像データ出力部１３５は、生成画像データ取得部１３４から入力された生成画像データを出力画像データとして出力する（Ｓ１７）。

【0068】

図４は、画像データ出力部１３５の動作の流れを示すフローチャートである。画像データ出力部１３５は、生成画像データが生成画像データ取得部１３４から入力されると、対象画像データが、画像生成モデルＭを用いて生成された画像データであるか否かを判定する（Ｓ１７１）。

【0069】

画像データ出力部１３５は、例えば、対象画像データ取得部１３２が取得した対象画像データが画像生成モデルＭにより生成された画像データであるか否かを示す対象画像データ種別情報の通知を対象画像データ取得部１３２から受けることにより、対象画像データ取得部１３２が取得した対象画像データが画像生成モデルＭにより生成された画像データであるか否かを判定する。

【0070】

対象画像データ取得部１３２が取得した対象画像データが画像生成モデルＭにより生成された画像データである場合、生成画像データの生成に用いられた源データを生成画像データ取得部１３４が選択するために用いられた源データは、対象画像データに一対一で対応する源データであると考えらえる。したがって、当該源データに基づいて生成画像データ取得部１３４が選択した源データを用いて生成された生成画像データは、対象画像データとの画像データ類似度が適正な範囲内にあると考えられる。

【0071】

そこで、画像データ出力部１３５は、例えば上記の対象画像データ種別情報に基づいて、対象画像データが、画像生成モデルＭを用いて生成された画像データであると判定した場合（Ｓ１７１においてＹＥＳ）、生成画像データ取得部１３４から入力された生成画像データをそのまま出力画像データとして出力する（Ｓ１７２）。画像データ出力部１３５がこのように動作することで、処理を高速化することができる。

【0072】

一方、画像データ出力部１３５は、対象画像データが、画像生成モデルＭを用いて生成された画像データではないと判定した場合（Ｓ１７１においてＮＯ）、類似度特定部１３６において、生成画像データと対象画像データとの画像データ類似度が所定の適正な範囲内であるか否かを判定する（Ｓ１７３）。対象画像データが、画像生成モデルＭを用いて生成された画像データでない場合は、例えば、対象画像データが画像生成モデルＭ以外の画像生成モデルを用いて生成された場合、又は画像生成モデルを用いることなく生成された場合である。

【0073】

画像データ出力部１３５は、画像データ類似度が所定の範囲内であると判定した場合（Ｓ１７３においてＹＥＳ）、生成画像データ取得部１３４から入力された生成画像データを出力画像データとして出力する（Ｓ１７２）。一方、画像データ出力部１３５は、画像データ類似度が所定の範囲内でないと判定した場合（Ｓ１７３においてＮＯ）、生成画像データ取得部１３４から入力された生成画像データを出力画像データとして選択せず削除する（Ｓ１７４）。

【0074】

［変形例］
以上の説明においては、画像データ生成装置１が、出力すべき画像データの属性の指定を受けるという場合を例示したが、画像データ生成装置１は、出力すべき画像データの属性の指定を受けなくてもよい。例えば画像データ生成装置１が出力する画像データの属性が予め決められている場合、画像データ生成装置１は、属性の指定を受けることなく画像データを出力することができる。

【0075】

また、以上の説明においては、類似すべきでない対象画像データを画像データ生成装置１が取得する場合を例示したが、画像データ生成装置１は、対象画像データを取得することなく、指定された属性に対応する画像データを出力してもよい。

【0076】

［画像データ生成装置１による効果］
以上説明したように、画像データ生成装置１は、例えば画像生成モデルＭの学習に用いられた著名人等の顔画像に対応する対象画像データと類似しない画像データを出力する。したがって、画像データ生成装置１が出力する画像により、著作権又は肖像権等の問題が生じることを未然に防ぐことができる。

【0077】

また、画像データ生成装置１は、ユーザにより指定された属性を有する画像データを出力する。したがって、画像データ生成装置１は、ユーザが所望する属性の画像データであり、かつ著作権又は肖像権等の問題が生じるおそれがある画像データに類似しない画像データを出力することができる。

【0078】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、本発明に係る処理が、複数のプログラムにより実現されてもよく、複数のコンピュータにより実現されてもよい。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0079】

１ 画像データ生成装置
２ 情報端末
１１ 通信部
１２ 記憶部
１３ 制御部
１３１ 指定受付部
１３２ 対象画像データ取得部
１３３ 源データ特定部
１３４ 生成画像データ取得部
１３５ 画像データ出力部
１３６ 類似度特定部
１３７ 選択部

【図1】

【図2】

【図3】

【図4】