ホーム > 特許ランキング > 楽天グループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-05
(45)【発行日】2024-09-13
(54)【発明の名称】画像処理システム、画像処理方法、学習システム及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240906BHJP
G06T 7/90 20170101ALI20240906BHJP
G06V 10/82 20220101ALI20240906BHJP
G06V 10/56 20220101ALI20240906BHJP
【ＦＩ】
G06T7/00 350C
G06T7/90 A
G06V10/82
G06V10/56
【請求項の数】
14
(21)【出願番号】P 2023135922
(22)【出願日】2023-08-23
(65)【公開番号】P2024089614
(43)【公開日】2024-07-03
【審査請求日】2023-08-23
(31)【優先権主張番号】63/434,091
(32)【優先日】2022-12-21
(33)【優先権主張国・地域又は機関】US
【新規性喪失の例外の表示】特許法第３０条第２項適用 令和５年６月１３日 ウェブサイトのアドレスｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｒａｋｕｔｅｎｔｅｃｈ／ＰＣＴ－Ｎｅｔ－Ｉｍａｇｅ－Ｈａｒｍｏｎｉｚａｔｉｏｎにて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 令和５年６月１３日 ウェブサイトのアドレスｈｔｔｐｓ：／／ｏｐｅｎａｃｃｅｓｓ．ｔｈｅｃｖｆ．ｃｏｍ／ｃｏｎｔｅｎｔ／ＣＶＰＲ２０２３／ｐａｐｅｒｓ／Ｇｕｅｒｒｅｉｒｏ＿ＰＣＴ－Ｎｅｔ＿Ｆｕｌｌ＿Ｒｅｓｏｌｕｔｉｏｎ＿Ｉｍａｇｅ＿Ｈａｒｍｏｎｉｚａｔｉｏｎ＿Ｕｓｉｎｇ＿Ｐｉｘｅｌ－Ｗｉｓｅ＿Ｃｏｌｏｒ＿Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ＿ＣＶＰＲ＿２０２３＿ｐａｐｅｒ．ｐｄｆにて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 令和５年６月１３日 ウェブサイトのアドレスｈｔｔｐｓ：／／ｏｐｅｎａｃｃｅｓｓ．ｔｈｅｃｖｆ．ｃｏｍ／ｃｏｎｔｅｎｔ／ＣＶＰＲ２０２３／ｓｕｐｐｌｅｍｅｎｔａｌ／Ｇｕｅｒｒｅｉｒｏ＿ＰＣＴ－Ｎｅｔ＿Ｆｕｌｌ＿Ｒｅｓｏｌｕｔｉｏｎ＿ＣＶＰＲ＿２０２３＿ｓｕｐｐｌｅｍｅｎｔａｌ．ｐｄｆにて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 令和５年６月２１日 学会「Ｔｈｅ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２０２３（ＣＶＰＲ２０２３） Ｖａｎｃｏｕｖｅｒ Ｃｏｎｖｅｎｔｉｏｎ Ｃｅｎｔｅｒ（カナダ バンクーバー）」（ｈｔｔｐｓ：／／ｃｖｐｒ２０２３．ｔｈｅｃｖｆ．ｃｏｍ／ｖｉｒｔｕａｌ／２０２３／ｐｏｓｔｅｒ／２１１４２）にて発表
【新規性喪失の例外の表示】特許法第３０条第２項適用 令和５年７月３日 中部大学工学部情報工学科の講義「画像情報処理」（ｈｔｔｐｓ：／／ｄｒｉｖｅ．ｇｏｏｇｌｅ．ｃｏｍ／ｆｉｌｅ／ｄ／１ｐＪｕＯｋｔｕＦ－ＯｋｑａＩｆｔＬＲｔｔｖ６ｑ２ｅＱ７ｂｒｃｉＵ／ｖｉｅｗ 学校法人中部大学（愛知県県春日井市松本町１２００番））にて発表
(73)【特許権者】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】110000154
【氏名又は名称】弁理士法人はるか国際特許事務所
(72)【発明者】
【氏名】ジュリアン ジョージ アンドレード ゲレイロ
(72)【発明者】
【氏名】中澤 満
(72)【発明者】
【氏名】シュテンガー ビヨン
【審査官】伊知地 和之
(56)【参考文献】
【文献】中国特許出願公開第１１４１７３０２１（ＣＮ，Ａ）
【文献】米国特許出願公開第２０２２／０２９２６５４（ＵＳ，Ａ１）
【文献】Ben Xue et al.，DCCF: Deep Comprehensible Color Filter Learning Framework for High-Resolution Image Harmonization，arXiv.org[online]，arXiv(Cornell University Library)，2022年07月11日，[検索日 2024.5.21], インターネット:<URL:https://arxiv.org/pdf/2109.06671>
【文献】Cong Wenyan et al.，“High-Resolution Image Harmonization via Collaborative Dual Transformations”，2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)[online]，IEEE，2022年，p.18449-18458，[検索日 2024.5.21], インターネット:<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9880229>，DOI: 10.1109/CVPR52688.2022.01792
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００ － １／４０
Ｇ０６Ｔ ３／００ － ５／９４
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
第１解像度を有する第１画像を取得する第１画像取得手段と、前記第１解像度を有し、前記第１画像における色調整の対象となる一以上の対象画素を指定する第１マスク画像を取得する第１マスク画像取得手段と、
前記第１画像に基づいて、前記第１解像度より低い第２解像度を有する第２画像を取得する第２画像取得手段と、
前記第１マスク画像に基づいて、前記第２解像度を有する第２マスク画像を取得する第２マスク画像取得手段と、
前記第２画像及び前記第２マスク画像をパラメータマップ推定モデルに入力することにより、前記第２解像度を有する第２パラメータマップを取得する第２パラメータマップ取得手段と、
前記第１画像の画素のうち少なくとも前記一以上の対象画素である一以上の調整画素それぞれの色を示す画素値ベクトルと、変換行列と、の積の項を含む式で定義される変換関数の出力である色調整画素値ベクトルを算出し、該色調整画素値ベクトルが示す色を有する色調整画素を含む色調整画像を取得する色調整画像取得手段であって、
前記変換行列は、高解像度化された前記第２パラメータマップであって前記第１解像度を有する第１パラメータマップにおける、該調整画素に設定された複数の変換パラメータを要素とする、色調整画像取得手段と、
を有し、
前記パラメータマップ推定モデルは、
いずれも前記第１解像度を有する、第１学習画像と、前記第１学習画像における色調整の対象となる一以上の学習対象画素を指定する第１学習マスク画像と、第１正解色調整画像と、を含む訓練データを用いて、前記第１正解色調整画像に対する第１学習色調整画像の誤差が小さくなるように学習され、
前記第１学習色調整画像は、
前記第１学習画像の画素のうち少なくとも前記一以上の学習対象画素である学習調整画素それぞれの色を示す学習画素値ベクトルと、学習変換行列と、の積の項を含むとともに前記変換関数と同じ形式の式で定義される学習変換関数の出力である、学習色調整画素値ベクトルが示す色を有する学習色調整画素を含み、
前記学習変換行列は、前記第１解像度を有する第１学習パラメータマップにおける、該学習調整画素に設定された複数の学習変換パラメータを要素とし、
前記第１学習パラメータマップは、
低解像度化された前記第１学習画像であって前記第２解像度を有する第２学習画像と、低解像度化された前記第１学習マスク画像であって前記第２解像度を有する第２学習マスク画像と、を前記パラメータマップ推定モデルに入力した際の出力である第２学習パラメータマップが高解像度化されたものである、
画像処理システム。
【請求項2】
前記第１画像取得手段は、前景画像と背景画像とが合成された画像を前記第１画像として取得し、前記第１マスク画像取得手段は、前記合成画像における前記前景画像に由来する一以上の画素を前記一以上の対象画素として指定する画像を、前記第１マスク画像として取得する、
請求項１に記載の画像処理システム。
【請求項3】
前記第２パラメータマップに基づいて、前記第１パラメータマップを取得する第１パラメータマップ取得手段を更に有する、請求項１又は２に記載の画像処理システム。
【請求項4】
前記変換行列は対称行列であり、前記変換関数は、前記画素値ベクトルと、前記変換行列と、の積を含むアフィン変換である、
請求項１又は２に記載の画像処理システム。
【請求項5】
前記画素値ベクトルは、該画素値ベクトルに係る画素値の３成分のうち、少なくともいずれか２成分同士の積を要素として含む、請求項１又は２に記載の画像処理システム。
【請求項6】
前記画素値ベクトルは、該画素値ベクトルに係る画素値の少なくとも１成分の自乗を要素として含む、請求項１又は２に記載の画像処理システム。
【請求項7】
前記パラメータマップ推定モデルは、トランスフォーマーモデルを含む、請求項１又は２に記載の画像処理システム。
【請求項8】
前記誤差は、前記第１学習マスク画像に基づいて正規化されたものである、請求項１又は２に記載の画像処理システム。
【請求項9】
前記パラメータマップ推定モデルは更に、前記第１学習色調整画像と、前記第１正解色調整画像と、の類似度が大きくなるとともに、前記第１学習色調整画像と、前記第１正解色調整画像とは異なる第１不正解色調整画像と、の類似度が小さくなるように学習された機械学習モデルである、請求項８に記載の画像処理システム。
【請求項10】
前記第１不正解色調整画像は、前記第１正解色調整画像における前記学習対象画素の画素値を変換することにより得られた画像である、請求項９に記載の画像処理システム。
【請求項11】
前記パラメータマップ推定モデルは更に、前記第２学習パラメータマップにおいて、ある画素に設定された少なくとも一の第２学習変換パラメータと、該画素に隣り合う画素に設定された少なくとも一の第２学習変換パラメータと、の類似度が大きくなるように学習された機械学習モデルである、請求項９に記載の画像処理システム。
【請求項12】
いずれも第１解像度を有する、第１学習画像と、前記第１学習画像における色調整の対象となる一以上の学習対象画素を指定する第１学習マスク画像と、第１正解色調整画像と、を含む訓練データを取得する訓練データ取得手段と、前記第１学習画像に基づいて、前記第１解像度より低い第２解像度を有する第２学習画像を取得する第２学習画像取得手段と、
前記第１学習マスク画像に基づいて、前記第２解像度を有する第２学習マスク画像を取得する第２学習マスク画像取得手段と、
前記第２学習画像及び前記第２学習マスク画像をパラメータマップ推定モデルに入力することにより、前記第２解像度を有する第２学習パラメータマップを取得する第２学習パラメータマップ取得手段と、
前記第１学習画像の画素のうち少なくとも前記一以上の学習対象画素である学習調整画素それぞれの色を示す学習画素値ベクトルと、学習変換行列と、の積の項を含むとともに変換関数と同じ形式の式で定義される学習変換関数の出力である学習色調整画素値ベクトルを算出し、該学習色調整画素値ベクトルが示す色を有する学習色調整画素を含む学習色調整画像を取得する学習色調整画像取得手段であって、
前記学習変換行列は、高解像度化された前記第２学習パラメータマップであって前記第１解像度を有する第１学習パラメータマップにおける、該学習調整画素に設定された複数の学習変換パラメータを要素とする、学習色調整画像取得手段と、
前記学習色調整画像と、前記正解色調整画像と、に基づいて前記パラメータマップ推定モデルの学習を行う学習手段と、
を有する、学習システム。
【請求項13】
第１解像度を有する第１画像を取得する第１画像取得ステップと、前記第１解像度を有し、前記第１画像における色調整の対象となる一以上の対象画素を指定する第１マスク画像を取得する第１マスク画像取得ステップと、
前記第１画像に基づいて、前記第１解像度より低い第２解像度を有する第２画像を取得する第２画像取得ステップと、
前記第１マスク画像に基づいて、前記第２解像度を有する第２マスク画像を取得する第２マスク画像取得ステップと、
前記第２画像及び前記第２マスク画像をパラメータマップ推定モデルに入力することにより、前記第２解像度を有する第２パラメータマップを取得する２パラメータマップ取得ステップと、
前記第１画像の画素のうち少なくとも前記一以上の対象画素である一以上の調整画素それぞれの色を示す画素値ベクトルと、変換行列と、の積の項を含む式で定義される変換関数の出力である色調整画素値ベクトルを算出し、該色調整画素値ベクトルが示す色を有する色調整画素を含む色調整画像を取得する色調整画像取得ステップであって、
前記変換行列は、高解像度化された前記第２パラメータマップであって前記第１解像度を有する第１パラメータマップにおける、該調整画素に設定された複数の変換パラメータを要素とする、色調整画像取得ステップと、
を有し、
前記パラメータマップ推定モデルは、
いずれも前記第１解像度を有する、第１学習画像と、前記第１学習画像における色調整の対象となる一以上の学習対象画素を指定する第１学習マスク画像と、第１正解色調整画像と、を含む訓練データを用いて、前記第１正解色調整画像に対する第１学習色調整画像の誤差が小さくなるように学習され、
前記第１学習色調整画像は、
前記第１学習画像の画素のうち少なくとも前記一以上の学習対象画素である学習調整画素それぞれの色を示す学習画素値ベクトルと、学習変換行列と、の積の項を含むとともに前記変換関数と同じ形式の式で定義される学習変換関数の出力である、学習色調整画素値ベクトルが示す色を有する学習色調整画素を含み、
前記学習変換行列は、前記第１解像度を有する第１学習パラメータマップにおける、該学習調整画素に設定された複数の学習変換パラメータを要素とし、
前記第１学習パラメータマップは、
低解像度化された前記第１学習画像であって前記第２解像度を有する第２学習画像と、低解像度化された前記第１学習マスク画像であって前記第２解像度を有する第２学習マスク画像と、を前記パラメータマップ推定モデルに入力した際の出力である第２学習パラメータマップが高解像度化されたものである、
画像処理方法。
【請求項14】
第１解像度を有する第１画像を取得する第１画像取得手段、前記第１解像度を有し、前記第１画像における色調整の対象となる一以上の対象画素を指定する第１マスク画像を取得する第１マスク画像取得手段、
前記第１画像に基づいて、前記第１解像度より低い第２解像度を有する第２画像を取得する第２画像取得手段、
前記第１マスク画像に基づいて、前記第２解像度を有する第２マスク画像を取得する第２マスク画像取得手段、
前記第２画像及び前記第２マスク画像をパラメータマップ推定モデルに入力することにより、前記第２解像度を有する第２パラメータマップを取得する第２パラメータマップ取得手段、
前記第１画像の画素のうち少なくとも前記一以上の対象画素である一以上の調整画素それぞれの色を示す画素値ベクトルと、変換行列と、の積の項を含む式で定義される変換関数の出力である色調整画素値ベクトルを算出し、該色調整画素値ベクトルが示す色を有する色調整画素を含む色調整画像を取得する色調整画像取得手段であって、
前記変換行列は、高解像度化された前記第２パラメータマップであって前記第１解像度を有する第１パラメータマップにおける、該調整画素に設定された複数の変換パラメータを要素とする、色調整画像取得手段、
としてコンピュータを機能させるためのプログラムであって、
前記パラメータマップ推定モデルは、
いずれも前記第１解像度を有する、第１学習画像と、前記第１学習画像における色調整の対象となる一以上の学習対象画素を指定する第１学習マスク画像と、第１正解色調整画像と、を含む訓練データを用いて、前記第１正解色調整画像に対する第１学習色調整画像の誤差が小さくなるように学習され、
前記第１学習色調整画像は、
前記第１学習画像の画素のうち少なくとも前記一以上の学習対象画素である学習調整画素それぞれの色を示す学習画素値ベクトルと、学習変換行列と、の積の項を含むとともに前記変換関数と同じ形式の式で定義される学習変換関数の出力である、学習色調整画素値ベクトルが示す色を有する学習色調整画素を含み、
前記学習変換行列は、前記第１解像度を有する第１学習パラメータマップにおける、該学習調整画素に設定された複数の学習変換パラメータを要素とし、
前記第１学習パラメータマップは、
低解像度化された前記第１学習画像であって前記第２解像度を有する第２学習画像と、低解像度化された前記第１学習マスク画像であって前記第２解像度を有する第２学習マスク画像と、を前記パラメータマップ推定モデルに入力した際の出力である第２学習パラメータマップが高解像度化されたものである、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理システム、画像処理方法、学習システム及びプログラムに関する。
【背景技術】
【0002】
異なる２つの画像（前景画像及び背景画像）を合成した際に生じる視覚的な違和感を低減する技術として、画像調和（Ｉｍａｇｅ Ｈａｒｍｏｎｉｚａｔｉｏｎ）が知られている。前景画像の一部を背景画像に合成すると、それぞれの画像を撮影した環境の違い等に起因して視覚的な違和感が生じる。画像調和は、合成画像における前景画像に由来する領域の色を適切に調整することにより、上記違和感を低減する技術である。
【0003】
従来、例えば非特許文献１に開示されるように、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）等の機械学習モデルを用いた画像調和に係る技術が提案されている。上記従来技術では、機械学習モデルは、合成画像に基づいて、該合成画像における前景画像に由来する領域の色と背景画像に由来する領域の色とが調和した調和画像を推定する。
【先行技術文献】
【非特許文献】
【0004】
【文献】Konstantin Sofiiuk, Polina Popenova, and Anton Konushin. Foreground-aware semantic representations for image harmonization. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 1620-1629, January 2021.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来技術を高解像度の画像に適用することは難しい。上記従来技術では、機械学習モデルは、目的とする調和画像を直接推定する。このような機械学習モデルによる推定にかかる計算コストは、該機械学習モデルに入力される画像の解像度が高くなるほど高くなる。そのため、上記従来技術の応用は、実際上、低解像度（例えば２５６×２５６ピクセル）の画像に限定されていた。
【0006】
なお、上記課題は、機械学習モデルを用いた画像調和、つまり合成画像における前景画像に由来する領域の色のみを調整する技術についてのみならず、機械学習モデルを用いた画像の色調整に係る技術一般に当てはまる。
【0007】
本発明は上記課題に鑑みてなされたものであって、その目的は、機械学習モデルを用いた高解像度の画像の色調整を、低い計算コストで行うことを可能とする画像処理システム、画像処理方法、学習システム及びプログラムを提供することにある。
【課題を解決するための手段】
【0008】
本発明に係る画像処理システムは、第１解像度を有する第１画像を取得する第１画像取得手段と、前記第１解像度を有し、前記第１画像における色調整の対象となる一以上の対象画素を指定する第１マスク画像を取得する第１マスク画像取得手段と、前記第１画像に基づいて、前記第１解像度より低い第２解像度を有する第２画像を取得する第２画像取得手段と、前記第１マスク画像に基づいて、前記第２解像度を有する第２マスク画像を取得する第２マスク画像取得手段と、前記第２画像及び前記第２マスク画像をパラメータマップ推定モデルに入力することにより、前記第２解像度を有する第２パラメータマップを取得する第２パラメータマップ取得手段と、前記第１画像の画素のうち少なくとも前記一以上の対象画素である一以上の調整画素それぞれの色を示す画素値ベクトルと、変換行列と、の積の項を含む式で定義される変換関数の出力である色調整画素値ベクトルを算出し、該色調整画素値ベクトルが示す色を有する色調整画素を含む色調整画像を取得する色調整画像取得手段であって、前記変換行列は、高解像度化された前記第２パラメータマップであって前記第１解像度を有する第１パラメータマップにおける、該調整画素に設定された複数の変換パラメータを要素とする、色調整画像取得手段と、を有し、前記パラメータマップ推定モデルは、いずれも前記第１解像度を有する、第１学習画像と、前記第１学習画像における色調整の対象となる一以上の学習対象画素を指定する第１学習マスク画像と、第１正解色調整画像と、を含む訓練データを用いて、前記第１正解色調整画像に対する第１学習色調整画像の誤差が小さくなるように学習され、前記第１学習色調整画像は、前記第１学習画像の画素のうち少なくとも前記一以上の学習対象画素である学習調整画素それぞれの色を示す学習画素値ベクトルと、学習変換行列と、の積の項を含むとともに前記変換関数と同じ形式の式で定義される学習変換関数の出力である、学習色調整画素値ベクトルが示す色を有する学習色調整画素を含み、前記学習変換行列は、前記第１解像度を有する第１学習パラメータマップにおける、該学習調整画素に設定された複数の学習変換パラメータを要素とし、前記第１学習パラメータマップは、低解像度化された前記第１学習画像であって前記第２解像度を有する第２学習画像と、低解像度化された前記第１学習マスク画像であって前記第２解像度を有する第２学習マスク画像と、を前記パラメータマップ推定モデルに入力した際の出力である第２学習パラメータマップが高解像度化されたものである。
【図面の簡単な説明】
【0009】
【図1】本発明の実施形態に係る画像処理システムのハードウェア構成の一例を示す図である。
【図2A】画像処理システムの概要を示す図である。
【図2B】画像処理システムの概要を示す図である。
【図3A】画像処理システムで実現される機能の一例を示す機能ブロック図である。
【図3B】画像処理システムで実現される機能の一例を示す機能ブロック図である。
【図4】パラメータマップ推定モデルの一例を示す図である。
【図5A】画像処理システムで実行される処理の一例を示すフロー図である。
【図5B】画像処理システムで実行される処理の一例を示すフロー図である。
【図6】変換行列が非対称行列である場合と対称行列である場合とを比較した結果を示す図である。
【図7】パラメータマップ推定モデルの変形例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【0011】
［１．画像処理システムのハードウェア構成］
図１は、本発明の実施形態に係る画像処理システム１のハードウェア構成の一例を示す図である。本実施形態に係る画像処理システム１は、パーソナルコンピュータ等のコンピュータである。図１に示すように画像処理システム１は、例えば、制御部１０、記憶部１２、通信部１４、操作部１６及び出力部１８を含んでいる。
図１は、本発明の実施形態に係る画像処理システム１のハードウェア構成の一例を示す図である。本実施形態に係る画像処理システム１は、パーソナルコンピュータ等のコンピュータである。図１に示すように画像処理システム１は、例えば、制御部１０、記憶部１２、通信部１４、操作部１６及び出力部１８を含んでいる。
【0012】
制御部１０は、例えば、画像処理システム１にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。制御部１０は、少なくとも１つのプロセッサを含む。
【0013】
記憶部１２は、例えばＲＯＭやＲＡＭ等の記憶素子や、ハードディスクドライブ（ＨＤＤ）、フラッシュメモリを含むソリッドステートドライブ（ＳＳＤ）などである。記憶部１２には、制御部１０によって実行されるプログラム等が記憶される。
【0014】
通信部１４は、例えばネットワークインタフェースカードのような、有線通信又は無線通信用の通信インタフェースであり、インターネット等のコンピュータネットワークを介して、他のコンピュータや端末との間でデータを授受する。
【0015】
操作部１６は、入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイスやキーボード等を含む。操作部１６は、操作内容を制御部１０に伝達する。出力部１８は、例えば、液晶出力部又は有機ＥＬ出力部等のディスプレイや、スピーカ等の音声出力デバイスといった出力デバイスである。
【0016】
なお、記憶部１２に記憶されるプログラム及びデータは、ネットワークを介して他のコンピュータから供給されてもよい。また、画像処理システム１のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、画像処理システム１に、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）や外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）が含まれていてもよい。例えば、情報記憶媒体に記憶されたプログラムやデータが読取部や入出力部を介して画像処理システム１に供給されるようにしてもよい。また、画像処理システム１は、複数のコンピュータにより構成されてもよい。
【0017】
［２．画像処理システムの概要］
以下では、図２Ａ及び図２Ｂを用いて、画像処理システム１の概要を説明する。図２Ａ及び図２Ｂは、画像処理システム１の概要を示す図である。本実施形態では、画像処理システム１が合成画像２００の画像調和に用いられる場合を例に挙げて説明する。図２Ａ及び図２Ｂでは一例として、犬を被写体とする前景画像と、公園の地面を被写体とする背景画像と、が合成された画像を合成画像２００として示す。なお、本明細書では、画像調和とは、合成画像における前景画像に由来する領域（図２Ａ及び図２Ｂの場合、合成画像２００において犬の姿が表示されている領域）の色を調整することを指すものとする。
以下では、図２Ａ及び図２Ｂを用いて、画像処理システム１の概要を説明する。図２Ａ及び図２Ｂは、画像処理システム１の概要を示す図である。本実施形態では、画像処理システム１が合成画像２００の画像調和に用いられる場合を例に挙げて説明する。図２Ａ及び図２Ｂでは一例として、犬を被写体とする前景画像と、公園の地面を被写体とする背景画像と、が合成された画像を合成画像２００として示す。なお、本明細書では、画像調和とは、合成画像における前景画像に由来する領域（図２Ａ及び図２Ｂの場合、合成画像２００において犬の姿が表示されている領域）の色を調整することを指すものとする。
【0018】
画像処理システム１で行われる主な処理は次の通りである：（１）合成画像及びマスク画像の取得；（２）低解像度合成画像及び低解像度マスク画像の取得；（３）低解像度パラメータマップの取得；（４）元解像度パラメータマップの取得；（５）調和画像の取得。以下、各処理の概要を説明する。
【0019】
［２－１．合成画像及びマスク画像の取得］
まず画像処理システム１は、合成画像２００及びマスク画像２０２を取得する（図２Ａ）。合成画像２００は、所定の解像度（以下、「第１解像度」という。）を有する。ここで解像度とは、画像の画素数のことである。合成画像２００は、幅Ｗ×高さＨ×チャンネル数３の３次元配列である。ここで幅Ｗ及び高さＨは、それぞれ合成画像２００の幅方向の画素数及び高さ方向の画素数である。合成画像２００の各チャンネルはＲＧＢそれぞれに対応する。
まず画像処理システム１は、合成画像２００及びマスク画像２０２を取得する（図２Ａ）。合成画像２００は、所定の解像度（以下、「第１解像度」という。）を有する。ここで解像度とは、画像の画素数のことである。合成画像２００は、幅Ｗ×高さＨ×チャンネル数３の３次元配列である。ここで幅Ｗ及び高さＨは、それぞれ合成画像２００の幅方向の画素数及び高さ方向の画素数である。合成画像２００の各チャンネルはＲＧＢそれぞれに対応する。
【0020】
マスク画像２０２は、合成画像２００における色調整の対象となる複数の対象画素を指定する画像である。本実施形態では、対象画素は、合成画像２００における前景画像に由来する領域の画素である。マスク画像２０２は、具体的には、対象画素の画素値が１であり、対象画素以外の画素の画素値が０である二値画像である。マスク画像２０２も第１解像度を有する。第１解像度を有するマスク画像２０２は、幅Ｗ×高さＨ×チャンネル数１の３次元配列である。
【0021】
［２－２．低解像度合成画像及び低解像度マスク画像の取得］
画像処理システム１は、合成画像２００に基づいて、低解像度合成画像２００ｄを取得する（図２Ａ）。低解像度合成画像２００ｄは、第１解像度より低い解像度（以下、「第２解像度」という。）を有する。画像処理システム１は、合成画像２００を低解像度化（ダウンサンプリング）することにより、低解像度合成画像２００ｄを取得する（図２Ａ）。低解像度合成画像２００ｄは、幅Ｗｄ×高さＨｄ×チャンネル数３の３次元配列である。ここで、ここで幅Ｗｄ及び高さＨｄは、それぞれ低解像度合成画像２００ｄの幅方向の画素数及び高さ方向の画素数であり、Ｗ＞Ｗｄ，Ｈ＞Ｈｄである。低解像度合成画像２００ｄの各チャンネルはＲＧＢそれぞれに対応する。
画像処理システム１は、合成画像２００に基づいて、低解像度合成画像２００ｄを取得する（図２Ａ）。低解像度合成画像２００ｄは、第１解像度より低い解像度（以下、「第２解像度」という。）を有する。画像処理システム１は、合成画像２００を低解像度化（ダウンサンプリング）することにより、低解像度合成画像２００ｄを取得する（図２Ａ）。低解像度合成画像２００ｄは、幅Ｗｄ×高さＨｄ×チャンネル数３の３次元配列である。ここで、ここで幅Ｗｄ及び高さＨｄは、それぞれ低解像度合成画像２００ｄの幅方向の画素数及び高さ方向の画素数であり、Ｗ＞Ｗｄ，Ｈ＞Ｈｄである。低解像度合成画像２００ｄの各チャンネルはＲＧＢそれぞれに対応する。
【0022】
また、画像処理システム１は、マスク画像２０２に基づいて、低解像度マスク画像２０２ｄを取得する。低解像度マスク画像２０２ｄも第２解像度を有する。低解像度マスク画像２０２ｄは、幅Ｗｄ×高さＨｄ×チャンネル数１の３次元配列である。
【0023】
［２－３．低解像度パラメータマップの取得］
画像処理システム１は、低解像度合成画像２００ｄ及び低解像度マスク画像２０２ｄをパラメータマップ推定モデルＭに入力することにより、低解像度パラメータマップ２０４ｄを取得する（図２Ａ）。
画像処理システム１は、低解像度合成画像２００ｄ及び低解像度マスク画像２０２ｄをパラメータマップ推定モデルＭに入力することにより、低解像度パラメータマップ２０４ｄを取得する（図２Ａ）。
【0024】
低解像度パラメータマップ２０４ｄの各画素には１２個の低解像度変換パラメータが設定されている。低解像度パラメータマップ２０４ｄは、幅Ｗｄ×高さＨｄ×チャンネル数１２の３次元配列である。元解像度パラメータマップ２０４の各チャンネルは、１２個の低解像度変換パラメータのそれぞれに対応する。
【0025】
パラメータマップ推定モデルＭは、低解像度合成画像２００ｄ及び低解像度マスク画像２０２ｄが入力され、低解像度パラメータマップ２０４ｄを出力するように学習された学習済みの機械学習モデルである。なお、本実施形態では、低解像度合成画像２００ｄと低解像度マスク画像２０２ｄとを結合（Ｃｏｎｃａｔｅｎａｔｅ）したものがパラメータマップ推定モデルＭに入力される場合を例示するが（図２Ａ）、これらは別々にパラメータマップ推定モデルＭに入力されるようにしてもよい。
【0026】
［２－４．元解像度パラメータマップの取得］
画像処理システム１は、低解像度パラメータマップ２０４ｄに基づいて、元解像度パラメータマップ２０４を取得する（図２Ａ）。元解像度パラメータマップ２０４は、第１解像度、すなわち合成画像２００及びマスク画像２０２と同じ解像度を有する。画像処理システム１は、低解像度パラメータマップ２０４ｄを高解像度化（アップサンプリング）することにより、元解像度パラメータマップ２０４を取得する。
画像処理システム１は、低解像度パラメータマップ２０４ｄに基づいて、元解像度パラメータマップ２０４を取得する（図２Ａ）。元解像度パラメータマップ２０４は、第１解像度、すなわち合成画像２００及びマスク画像２０２と同じ解像度を有する。画像処理システム１は、低解像度パラメータマップ２０４ｄを高解像度化（アップサンプリング）することにより、元解像度パラメータマップ２０４を取得する。
【0027】
元解像度パラメータマップ２０４の各画素には１２個の変換パラメータが設定されている。元解像度パラメータマップ２０４の各画素に設定された１２個の変換パラメータは、後述するように、合成画像２００における該画素の画素値を変換するために用いられる。元解像度パラメータマップ２０４は幅Ｗ×高さＨ×チャンネル数１２の３次元配列である。元解像度パラメータマップ２０４の各チャンネルは、１２個の変換パラメータのそれぞれに対応する。
【0028】
［２－５．調和画像の取得］
画像処理システム１は、合成画像２００の複数の対象画素それぞれの色を示す画素値ベクトルと、変換行列と、の積の項を含む式で定義される変換関数の出力である調和画素値ベクトルを算出し、該調和画素値ベクトルが示す色を有する調和画素を含む調和画像２０６を取得する（図２Ｂ）。ここで、変換行列は、元解像度パラメータマップ２０４における、該対象画素に設定された１２個の変換パラメータを要素とする。変換関数の詳細については後述する（数１についての説明参照）。
画像処理システム１は、合成画像２００の複数の対象画素それぞれの色を示す画素値ベクトルと、変換行列と、の積の項を含む式で定義される変換関数の出力である調和画素値ベクトルを算出し、該調和画素値ベクトルが示す色を有する調和画素を含む調和画像２０６を取得する（図２Ｂ）。ここで、変換行列は、元解像度パラメータマップ２０４における、該対象画素に設定された１２個の変換パラメータを要素とする。変換関数の詳細については後述する（数１についての説明参照）。
【0029】
［小括］
以上説明したように、本実施形態に係る画像処理システム１によれば、（１）合成画像２００及びマスク画像２０２を取得し、（２）低解像度合成画像２００ｄ及び低解像度マスク画像２０２ｄを取得し、（３）低解像度合成画像２００ｄ及び低解像度マスク画像２０２ｄをパラメータマップ推定モデルＭに入力することにより低解像度パラメータマップ２０４ｄを取得し、（４）低解像度パラメータマップ２０４ｄに基づいて元解像度パラメータマップ２０４を取得し、（５）画素値ベクトルと、変換行列と、の積の項を含む式で定義される変換関数の出力である調和画素値ベクトルを算出し、該調和画素値ベクトルが示す色を有する調和画素を含む調和画像２０６を取得する（図２Ａ及び図２Ｂ）。
以上説明したように、本実施形態に係る画像処理システム１によれば、（１）合成画像２００及びマスク画像２０２を取得し、（２）低解像度合成画像２００ｄ及び低解像度マスク画像２０２ｄを取得し、（３）低解像度合成画像２００ｄ及び低解像度マスク画像２０２ｄをパラメータマップ推定モデルＭに入力することにより低解像度パラメータマップ２０４ｄを取得し、（４）低解像度パラメータマップ２０４ｄに基づいて元解像度パラメータマップ２０４を取得し、（５）画素値ベクトルと、変換行列と、の積の項を含む式で定義される変換関数の出力である調和画素値ベクトルを算出し、該調和画素値ベクトルが示す色を有する調和画素を含む調和画像２０６を取得する（図２Ａ及び図２Ｂ）。
【0030】
従来の機械学習モデルを用いた画像調和では、合成画像及びマスク画像が入力され、目的とする調和画像を出力する機械学習モデルが用いられていた。このような機械学習モデルによる推定にかかる計算コストは、該機械学習モデルに入力される画像の解像度が高くなるほど高くなる。そのため、上記従来の機械学習モデルを用いた画像調和の応用は、実際上、低解像度（例えば２５６×２５６ピクセル）の画像に限定されていた。
【0031】
これに対し、本実施形態に係る画像処理システム１によれば、上記のような構成を採用したことにより、従来の画像調和に用いられていた、合成画像及びマスク画像が入力され、目的とする調和画像を出力する機械学習モデルの使用を回避することができる。その結果、画像調和にかかる計算コストを削減できるので、高解像度の合成画像の画像調和を低い計算コストで行うことができる。以降、この画像処理システム１の詳細について説明する。
【0032】
［３．画像処理システムで実現される機能］
図３Ａ及び図３Ｂは、画像処理システム１で実現される機能の一例を示す機能ブロック図である。図３Ａの機能ブロック図は画像処理システム１で実現される機能のうち、パラメータマップ推定モデルＭの学習を実行する学習システムとしての機能（学習に係る機能）を示す。また、図３Ｂの機能ブロック図は画像処理システム１で実現される機能のうち、調和画像２０６を取得する画像調和システムとしての機能（画像調和に係る機能）を示す。以下では、図３Ａ及び図３Ｂをそれぞれ用いて、画像処理システム１で実現される機能を、学習システムとしての機能と画像調和システムとしての機能とに分けて説明する。
図３Ａ及び図３Ｂは、画像処理システム１で実現される機能の一例を示す機能ブロック図である。図３Ａの機能ブロック図は画像処理システム１で実現される機能のうち、パラメータマップ推定モデルＭの学習を実行する学習システムとしての機能（学習に係る機能）を示す。また、図３Ｂの機能ブロック図は画像処理システム１で実現される機能のうち、調和画像２０６を取得する画像調和システムとしての機能（画像調和に係る機能）を示す。以下では、図３Ａ及び図３Ｂをそれぞれ用いて、画像処理システム１で実現される機能を、学習システムとしての機能と画像調和システムとしての機能とに分けて説明する。
【0033】
［３－１．学習システムとしての機能］
図３Ａに示すように、画像処理システム１では、訓練データ記憶部３００、訓練データ取得部３０２、学習低解像度合成画像取得部３０４、学習低解像度マスク画像取得部３０６、モデル記憶部３０８、学習低解像度パラメータマップ取得部３１０、学習元解像度パラメータマップ取得部３１２、学習調和画像取得部３１４及び学習部３１６が実現される。訓練データ記憶部３００及びモデル記憶部３０８は、記憶部１２を主として実現される。訓練データ取得部３０２、学習低解像度合成画像取得部３０４、学習低解像度マスク画像取得部３０６、学習低解像度パラメータマップ取得部３１０、学習元解像度パラメータマップ取得部３１２、学習調和画像取得部３１４及び学習部３１６は、制御部１０を主として実現される。
図３Ａに示すように、画像処理システム１では、訓練データ記憶部３００、訓練データ取得部３０２、学習低解像度合成画像取得部３０４、学習低解像度マスク画像取得部３０６、モデル記憶部３０８、学習低解像度パラメータマップ取得部３１０、学習元解像度パラメータマップ取得部３１２、学習調和画像取得部３１４及び学習部３１６が実現される。訓練データ記憶部３００及びモデル記憶部３０８は、記憶部１２を主として実現される。訓練データ取得部３０２、学習低解像度合成画像取得部３０４、学習低解像度マスク画像取得部３０６、学習低解像度パラメータマップ取得部３１０、学習元解像度パラメータマップ取得部３１２、学習調和画像取得部３１４及び学習部３１６は、制御部１０を主として実現される。
【0034】
以下では説明の便宜のため、図２Ａ及び図２Ｂを参照することがある。以下の説明において、学習合成画像、学習マスク画像、学習低解像度合成画像、学習低解像度マスク画像、学習低解像パラメータマップ、学習元解像度パラメータマップ及び学習調和画像は、図２Ａ及び図２Ｂにおける合成画像２００、マスク画像２０２、低解像度合成画像２００ｄ、低解像度マスク画像２０２ｄ、低解像度パラメータマップ２０４ｄ、元解像度パラメータマップ２０４及び調和画像２０６にそれぞれ対応する。
【0035】
なお、学習合成画像、学習マスク画像、学習低解像度合成画像、学習低解像度マスク画像、学習低解像パラメータマップ、学習元解像度パラメータマップ及び学習調和画像は、合成画像２００、マスク画像２０２、低解像度合成画像２００ｄ、低解像度マスク画像２０２ｄ、低解像度パラメータマップ２０４ｄ、元解像度パラメータマップ２０４及び調和画像２０６とはそれぞれ異なることに留意されたい。
【0036】
［訓練データ記憶部］
訓練データ記憶部３００は、複数の訓練データを記憶する。各訓練データは、学習合成画像（第１学習画像）と、学習合成画像における色調整の対象となる一以上の学習対象画素を指定する学習マスク画像（第１学習マスク画像）と、正解調和画像（第１正解色調整画像）と、を含む。学習合成画像、学習マスク画像及び正解調和画像は、いずれも第１解像度を有する。本実施形態では一例として、第１解像度が１９２０×１０８０ピクセルである場合を説明するが、第１解像度は任意の解像度であってよい。なお、本実施形態では、訓練データは、後述する不正解調和画像を更に含む。
訓練データ記憶部３００は、複数の訓練データを記憶する。各訓練データは、学習合成画像（第１学習画像）と、学習合成画像における色調整の対象となる一以上の学習対象画素を指定する学習マスク画像（第１学習マスク画像）と、正解調和画像（第１正解色調整画像）と、を含む。学習合成画像、学習マスク画像及び正解調和画像は、いずれも第１解像度を有する。本実施形態では一例として、第１解像度が１９２０×１０８０ピクセルである場合を説明するが、第１解像度は任意の解像度であってよい。なお、本実施形態では、訓練データは、後述する不正解調和画像を更に含む。
【0037】
学習合成画像は、学習前景画像と学習背景画像とが合成された画像である。学習マスク画像は、学習合成画像における学習前景画像に由来する一以上の画素を一以上の対象画素として指定する。正解調和画像は、学習合成画像と学習マスク画像との組に対して付与される正解データ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）である。正解調和画像は、例えば、対応する学習合成画像における学習前景画像に由来する一以上の画素の色を人為的に調整することによって得られる。
【0038】
［訓練データ取得部］
訓練データ取得部３０２は、訓練データを取得する。本実施形態では、訓練データ取得部３０２が、訓練データ記憶部３００に記憶された訓練データを取得するが、訓練データは他の装置又は情報記憶媒体に記録されていてもよく、訓練データ取得部３０２は、該装置又は情報記憶媒体から訓練データを取得してもよい。
訓練データ取得部３０２は、訓練データを取得する。本実施形態では、訓練データ取得部３０２が、訓練データ記憶部３００に記憶された訓練データを取得するが、訓練データは他の装置又は情報記憶媒体に記録されていてもよく、訓練データ取得部３０２は、該装置又は情報記憶媒体から訓練データを取得してもよい。
【0039】
［学習低解像度合成画像取得部］
学習低解像度合成画像取得部３０４（第２学習画像取得手段）は、学習合成画像に基づいて、第２解像度を有する学習低解像度合成画像（第２学習画像）を取得する（図２Ａ参照）。具体的には、学習低解像度合成画像取得部３０４は、学習合成画像を低解像度化（ダウンサンプリング）することにより、学習低解像度合成画像を取得する。低解像度化に伴う補間の方法としては、双一次（Ｂｉｌｉｎｅａｒ）補間、双三次（Ｂｉｃｕｂｉｃ）補間やＬａｎｃｚｏｓ補間等の公知の手法を用いてよい。本実施形態では一例として、第２解像度が２５６×２５６ピクセルである場合を説明するが、第２解像度は、第１解像度より低解像度である限りにおいて任意の解像度であってよい。
学習低解像度合成画像取得部３０４（第２学習画像取得手段）は、学習合成画像に基づいて、第２解像度を有する学習低解像度合成画像（第２学習画像）を取得する（図２Ａ参照）。具体的には、学習低解像度合成画像取得部３０４は、学習合成画像を低解像度化（ダウンサンプリング）することにより、学習低解像度合成画像を取得する。低解像度化に伴う補間の方法としては、双一次（Ｂｉｌｉｎｅａｒ）補間、双三次（Ｂｉｃｕｂｉｃ）補間やＬａｎｃｚｏｓ補間等の公知の手法を用いてよい。本実施形態では一例として、第２解像度が２５６×２５６ピクセルである場合を説明するが、第２解像度は、第１解像度より低解像度である限りにおいて任意の解像度であってよい。
【0040】
［学習低解像度マスク画像取得部］
学習低解像度マスク画像取得部３０６（第２学習マスク画像取得手段）は、学習マスク画像に基づいて、第２解像度を有する低解像度学習マスク画像（第２学習マスク画像）を取得する（図２Ａ参照）。具体的には、学習低解像度マスク画像取得部３０６は、学習マスク画像を低解像度化（ダウンサンプリング）することにより、低解像度学習マスク画像を取得する。低解像度化に伴う補間の方法としては、学習低解像度合成画像取得部３０４の場合と同様、任意の公知の手法を用いてよい。
学習低解像度マスク画像取得部３０６（第２学習マスク画像取得手段）は、学習マスク画像に基づいて、第２解像度を有する低解像度学習マスク画像（第２学習マスク画像）を取得する（図２Ａ参照）。具体的には、学習低解像度マスク画像取得部３０６は、学習マスク画像を低解像度化（ダウンサンプリング）することにより、低解像度学習マスク画像を取得する。低解像度化に伴う補間の方法としては、学習低解像度合成画像取得部３０４の場合と同様、任意の公知の手法を用いてよい。
【0041】
［モデル記憶部］
モデル記憶部３０８は、パラメータマップ推定モデルＭを記憶する。具体的には、モデル記憶部３０８は、パラメータマップ推定モデルＭの構造及びパラメータを記憶する。
モデル記憶部３０８は、パラメータマップ推定モデルＭを記憶する。具体的には、モデル記憶部３０８は、パラメータマップ推定モデルＭの構造及びパラメータを記憶する。
【0042】
［パラメータマップ推定モデル］
パラメータマップ推定モデルＭは、学習低解像度合成画像及び学習低解像度マスク画像が入力され、学習低解像度パラメータマップを出力する機械学習モデルである（図２Ａ参照）。なお、画像調和段階においては、パラメータマップ推定モデルＭは、低解像度合成画像２００ｄ及び低解像度マスク画像２０２ｄが入力され、低解像度パラメータマップ２０４ｄを出力する。
パラメータマップ推定モデルＭは、学習低解像度合成画像及び学習低解像度マスク画像が入力され、学習低解像度パラメータマップを出力する機械学習モデルである（図２Ａ参照）。なお、画像調和段階においては、パラメータマップ推定モデルＭは、低解像度合成画像２００ｄ及び低解像度マスク画像２０２ｄが入力され、低解像度パラメータマップ２０４ｄを出力する。
【0043】
図４は、パラメータマップ推定モデルＭの一例を示す図である。本実施形態では一例として、パラメータマップ推定モデルＭとして、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）を用いる場合を説明する。なお、パラメータマップ推定モデルＭの構造は、図４に示す例に限定されず、適宜変更可能である。
【0044】
パラメータマップ推定モデルＭは、エンコーダ部４００と、デコーダ部４０２と、次元調節部４０４と、を含む（図４参照）。エンコーダ部４００は、学習低解像度合成画像及び学習低解像度マスク画像が入力され、学習特徴マップを出力する。デコーダ部４０２は、エンコーダ部４００から出力された学習特徴マップが入力され、調整前低解像度パラメータマップを出力する。
【0045】
学習調整前低解像度パラメータマップは、第２解像度を有し、各画素にはＣ個（Ｃ≠１２）の低解像度変換パラメータが設定されている。すなわち、学習調整前低解像度パラメータマップは、幅Ｗｄ×高さＨｄ×チャンネル数Ｃの３次元配列である。
【0046】
次元調節部４０４は、学習調整前低解像度パラメータマップが入力され、学習低解像度パラメータマップを出力する。次元調節部４０４は、例えばカーネルサイズが１×１の畳み込み層である。
【0047】
［学習低解像度パラメータマップ取得部］
学習低解像度パラメータマップ取得部３１０（第２学習パラメータマップ取得手段）は、学習低解像度合成画像及び学習低解像度マスク画像をパラメータマップ推定モデルＭに入力することにより、第２解像度を有する学習低解像度パラメータマップ（第２学習パラメータマップ）を取得する（図２Ａ参照）。本実施形態では、学習低解像度パラメータマップ取得部３１０は、モデル記憶部３０８に記憶されたパラメータマップ推定モデルＭを用いるが、パラメータマップ推定モデルＭは他の装置又は情報記憶媒体に記録されていてもよく、学習低解像度パラメータマップ取得部３１０は、該装置又は情報記憶媒体からパラメータマップ推定モデルＭを取得してもよい。
学習低解像度パラメータマップ取得部３１０（第２学習パラメータマップ取得手段）は、学習低解像度合成画像及び学習低解像度マスク画像をパラメータマップ推定モデルＭに入力することにより、第２解像度を有する学習低解像度パラメータマップ（第２学習パラメータマップ）を取得する（図２Ａ参照）。本実施形態では、学習低解像度パラメータマップ取得部３１０は、モデル記憶部３０８に記憶されたパラメータマップ推定モデルＭを用いるが、パラメータマップ推定モデルＭは他の装置又は情報記憶媒体に記録されていてもよく、学習低解像度パラメータマップ取得部３１０は、該装置又は情報記憶媒体からパラメータマップ推定モデルＭを取得してもよい。
【0048】
本実施形態では、学習低解像度パラメータマップ取得部３１０は、学習低解像度合成画像と学習低解像度マスク画像とを結合（Ｃｏｎｃａｔｅｎａｔｅ）したものをパラメータマップ推定モデルＭに入力することにより、学習低解像度パラメータマップを取得する（図２Ａ）。なお、学習低解像度パラメータマップ取得部３１０は、学習低解像度合成画像と学習低解像度マスク画像とを別々にパラメータマップ推定モデルＭに入力してもよい。
【0049】
学習低解像度パラメータマップの各画素には１２個の学習低解像度変換パラメータが設定されている。学習低解像度パラメータマップは、幅Ｗｄ×高さＨｄ×チャンネル数１２の３次元配列である。学習低解像度パラメータマップの各チャンネルは、１２個の学習低解像度変換パラメータのそれぞれに対応する。
【0050】
［学習元解像度パラメータマップ取得部］
学習元解像度パラメータマップ取得部３１２は、学習低解像度パラメータマップに基づいて、学習元解像度パラメータマップ（第１学習パラメータマップ）を取得する（図２Ａ参照）。具体的には、学習元解像度パラメータマップ取得部３１２は、学習低解像度パラメータマップを高解像度化（アップサンプリング）することにより、学習元解像度パラメータマップを取得する。高解像度化に伴う補間の方法としては、双一次（Ｂｉｌｉｎｅａｒ）補間、双三次（Ｂｉｃｕｂｉｃ）補間やＬａｎｃｚｏｓ補間等の公知の手法を用いてよい。
学習元解像度パラメータマップ取得部３１２は、学習低解像度パラメータマップに基づいて、学習元解像度パラメータマップ（第１学習パラメータマップ）を取得する（図２Ａ参照）。具体的には、学習元解像度パラメータマップ取得部３１２は、学習低解像度パラメータマップを高解像度化（アップサンプリング）することにより、学習元解像度パラメータマップを取得する。高解像度化に伴う補間の方法としては、双一次（Ｂｉｌｉｎｅａｒ）補間、双三次（Ｂｉｃｕｂｉｃ）補間やＬａｎｃｚｏｓ補間等の公知の手法を用いてよい。
【0051】
学習元解像度パラメータマップの各画素には１２個の学習変換パラメータが設定されている。すなわち、学習元解像度パラメータマップは幅Ｗ×高さＨ×チャンネル数１２の３次元配列である。学習元解像度パラメータマップの各チャンネルは、１２個の学習変換パラメータのそれぞれに対応する。学習元解像度パラメータマップの各画素に設定された１２個の学習変換パラメータは、後述するように、学習調和画像取得部３１４において、学習合成画像における該画素の画素値を変換するために用いられる。
【0052】
［学習調和画像取得部］
学習調和画像取得部３１４（学習色調整画像取得手段）は、学習変換関数の出力である学習調和画素値ベクトル（学習色調整画素値ベクトル）を算出し、該学習調和画素値ベクトルが示す色を有する学習調和画素（学習色調整画素）を含む学習調和画像（学習色調整画像）を取得する（図２Ｂ参照）。
学習調和画像取得部３１４（学習色調整画像取得手段）は、学習変換関数の出力である学習調和画素値ベクトル（学習色調整画素値ベクトル）を算出し、該学習調和画素値ベクトルが示す色を有する学習調和画素（学習色調整画素）を含む学習調和画像（学習色調整画像）を取得する（図２Ｂ参照）。
【0053】
学習変換関数は、学習画素値ベクトルと、学習変換行列と、の積の項を含む式で定義される。学習画素値ベクトルは、学習合成画像の複数の学習対象画素それぞれの色を示す。本実施形態では、学習画素値ベクトルは、該学習対象画素のＲＧＢ値のそれぞれを要素とする３次元のベクトルである。学習変換行列は、学習元解像度パラメータマップにおける、該学習対象画素に設定された複数の（本実施形態では１２個の）学習変換パラメータを要素とする。
【0054】
本実施形態では、学習変換関数は、学習画素値ベクトルと、学習変換行列と、の積を含むアフィン変換である。具体的には、下記数１に示すように、学習変換関数を定義する式は、学習画素値ベクトルｐと、学習元解像度パラメータマップにおける該学習画素値ベクトルｐに係る画素に設定された一部の学習変換パラメータを要素とする学習変換行列Ｗθと、の積の項と、学習元解像度パラメータマップにおける該学習画素値ベクトルｐに係る画素に設定された他の一部の学習変換パラメータを要素とする学習変換ベクトルｂθの項と、の和で表される。より具体的には、学習変換行列Ｗθは９個の学習変換パラメータを要素とし、学習変換ベクトルｂθは３個の学習変換パラメータを要素とする。なお、本実施形態では、学習変換行列は対称行列である。学習調和画像取得部３１４は、学習変換関数により、同一の色空間内において学習画素値ベクトルを学習調和画素値ベクトルへと写像しているということもできる。
【0055】
【数1】
【0056】
上記数１において、I＾ｉ、ｊは学習調和画像におけるｉ行ｊ列目の学習調和画素の色を示す学習調和画素値ベクトル、θｎは学習元解像度パラメータマップにおけるｉ行ｊ列目の画素に設定された学習変換パラメータ（ｎ＝１，２，・・・１２）、ｐＲ，ｐＧ，ｐＢはそれぞれ学習合成画像におけるｉ行ｊ列目の学習対象画素のＲＧＢそれぞれの値である。
【0057】
［学習部］
学習部３１６は、学習調和画像と、正解調和画像と、に基づいてパラメータマップ推定モデルＭの学習を行う。具体的には、学習部３１６は、正解調和画像に対する学習調和画像の誤差が小さくなるようにパラメータマップ推定モデルＭの学習を行う。
学習部３１６は、学習調和画像と、正解調和画像と、に基づいてパラメータマップ推定モデルＭの学習を行う。具体的には、学習部３１６は、正解調和画像に対する学習調和画像の誤差が小さくなるようにパラメータマップ推定モデルＭの学習を行う。
【0058】
本実施形態では、下記数２に示すように、正解調和画像に対する学習調和画像の誤差である損失関数Ｌは、学習マスク画像に基づいて正規化されている。
【0059】
【数2】
【0060】
上記数２において、I＾ｉ、ｊは学習調和画像におけるｉ行ｊ列目の画素の画素値、Iｉ、ｊは正解調和画像におけるｉ行ｊ列目の画素の画素値、Ａｍｉｎは所定の閾値、Ｍｉ，ｊは学習マスク画像におけるｉ行ｊ列目の画素の画素値である。数２の分母は、Ａｍｉｎ及びΣｉ，ｊＭｉ，ｊのうち最も大きい値を示す。
【0061】
学習部３１６は更に、学習調和画像と、正解調和画像と、の類似度が大きくなるとともに、学習調和画像と、正解調和画像とは異なる不正解調和画像（第１不正解色調整画像）と、の類似度が小さくなるようにパラメータマップ推定モデルＭの学習を行う。不正解調和画像は、正解調和画像における学習対象画素の画素値を変換することにより得られた画像である。
【0062】
また、学習部３１６は、学習調和画像における学習前景画像に由来する領域と学習背景画像に由来する領域との一致度と、正解調和画像における前記一致度と、の差が小さくなるとともに、学習調和画像における前記一致度と、不正解調和画像における前記一致度と、の差が大きくなるようにパラメータマップ推定モデルＭの学習を行う。
【0063】
具体的には、学習部３１６は、下記数３に示す対照損失関数ＬＣＲが小さくなるようにパラメータマップ推定モデルＭの学習を行う。
【0064】
【数3】
【0065】
上記数３において、Ｄ（・）はＬ１ノルムを示す。ｆ，ｆ＋，ｆ－はそれぞれ、学習調和画像、正解調和画像、不正解調和画像それぞれにおける学習前景画像に由来する領域の特徴ベクトルである。ｆ，ｆ＋，ｆ－はそれぞれ、学習済みの特徴抽出器を用いて、学習調和画像、正解調和画像及び不正解調和画像のそれぞれに基づいて取得されてよい。ｃ，ｃ＋，ｃ－はそれぞれ、学習調和画像、正解調和画像、不正解調和画像それぞれにおける学習前景画像に由来する領域と学習背景画像に由来する領域との一致度である。一致度ｃ，ｃ＋，ｃ－はそれぞれ、下記数４の式で算出される。
【0066】
【数4】
【0067】
上記数４において、ｇｒａｍ（・）はグラム行列を示す。ｂ＋は正解調和画像における学習背景画像に由来する領域の特徴ベクトルである。ｂ＋は、学習済みの特徴抽出器を用いて、正解調和画像に基づいて取得されてよい。
【0068】
学習部３１６は更に、学習低解像度パラメータマップにおいて、ある画素に設定された少なくとも一の学習低解像度パラメータと、該画素に隣り合う画素に設定された少なくとも一の学習低解像度パラメータと、の類似度が大きくなるようにパラメータマップ推定モデルＭの学習を行う。
【0069】
具体的には、学習部３１６は、下記数５に示すスムーシング損失関数Ｌｓｍｏｏｔｈが小さくなるようにパラメータマップ推定モデルＭの学習を行う。
【0070】
【数5】
【0071】
上記数５において、||∇Θｋ||２は、学習低解像度パラメータマップにおけるｋ番目の画素に設定された学習低解像度パラメータの勾配の大きさを示す。
【0072】
［３－２．画像調和システムとしての機能］
図３Ｂに示すように、画像処理システム１では更に、画像データ記憶部３１８、合成画像取得部３２０、マスク画像取得部３２２、低解像度合成画像取得部３２４、低解像度マスク画像取得部３２６、モデル記憶部３０８、低解像度パラメータマップ取得部３２８、元解像度パラメータマップ取得部３３０及び調和画像取得部３３２が実現される。画像データ記憶部３１８及びモデル記憶部３０８は、記憶部１２を主として実現される。合成画像取得部３２０、マスク画像取得部３２２、低解像度合成画像取得部３２４、低解像度マスク画像取得部３２６、低解像度パラメータマップ取得部３２８、元解像度パラメータマップ取得部３３０及び調和画像取得部３３２は、制御部１０を主として実現される。
図３Ｂに示すように、画像処理システム１では更に、画像データ記憶部３１８、合成画像取得部３２０、マスク画像取得部３２２、低解像度合成画像取得部３２４、低解像度マスク画像取得部３２６、モデル記憶部３０８、低解像度パラメータマップ取得部３２８、元解像度パラメータマップ取得部３３０及び調和画像取得部３３２が実現される。画像データ記憶部３１８及びモデル記憶部３０８は、記憶部１２を主として実現される。合成画像取得部３２０、マスク画像取得部３２２、低解像度合成画像取得部３２４、低解像度マスク画像取得部３２６、低解像度パラメータマップ取得部３２８、元解像度パラメータマップ取得部３３０及び調和画像取得部３３２は、制御部１０を主として実現される。
【0073】
［画像データ記憶部］
画像データ記憶部３１８は、合成画像２００及びマスク画像２０２を記憶する。合成画像２００及びマスク画像２０２の詳細については［２－１．合成画像及びマスク画像の取得］において述べた通りであるので、説明を省略する。
画像データ記憶部３１８は、合成画像２００及びマスク画像２０２を記憶する。合成画像２００及びマスク画像２０２の詳細については［２－１．合成画像及びマスク画像の取得］において述べた通りであるので、説明を省略する。
【0074】
［合成画像取得部］
合成画像取得部３２０（第１画像取得手段）は、合成画像２００（第１画像）を取得する（図２Ａ）。本実施形態では、合成画像取得部３２０は、画像データ記憶部３１８に記憶された合成画像２００を取得するが、合成画像２００は他の装置又は情報記憶媒体に記録されていてもよく、合成画像取得部３２０は、該装置又は情報記憶媒体から合成画像２００を取得してもよい。
合成画像取得部３２０（第１画像取得手段）は、合成画像２００（第１画像）を取得する（図２Ａ）。本実施形態では、合成画像取得部３２０は、画像データ記憶部３１８に記憶された合成画像２００を取得するが、合成画像２００は他の装置又は情報記憶媒体に記録されていてもよく、合成画像取得部３２０は、該装置又は情報記憶媒体から合成画像２００を取得してもよい。
【0075】
［マスク画像取得部］
マスク画像取得部３２２（第１マスク画像取得手段）は、マスク画像２０２を（第１マスク画像）取得する（図２Ａ）。本実施形態では、マスク画像取得部３２２は、画像データ記憶部３１８に記憶された合成画像２００を取得するが、マスク画像２０２は他の装置又は情報記憶媒体に記録されていてもよく、マスク画像取得部３２２は、該装置又は情報記憶媒体からマスク画像２０２を取得してもよい。
マスク画像取得部３２２（第１マスク画像取得手段）は、マスク画像２０２を（第１マスク画像）取得する（図２Ａ）。本実施形態では、マスク画像取得部３２２は、画像データ記憶部３１８に記憶された合成画像２００を取得するが、マスク画像２０２は他の装置又は情報記憶媒体に記録されていてもよく、マスク画像取得部３２２は、該装置又は情報記憶媒体からマスク画像２０２を取得してもよい。
【0076】
［低解像度合成画像取得部］
低解像度合成画像取得部３２４（第２画像取得手段）は、合成画像２００に基づいて、第２解像度を有する低解像度合成画像２００ｄ（第２画像）を取得する（図２Ａ）。具体的には、低解像度合成画像取得部３２４は、合成画像２００を低解像度化（ダウンサンプリング）することにより、低解像度合成画像２００ｄを取得する。低解像度化に伴う補間の方法については学習低解像度合成画像の場合と同様のため、説明を省略する。
低解像度合成画像取得部３２４（第２画像取得手段）は、合成画像２００に基づいて、第２解像度を有する低解像度合成画像２００ｄ（第２画像）を取得する（図２Ａ）。具体的には、低解像度合成画像取得部３２４は、合成画像２００を低解像度化（ダウンサンプリング）することにより、低解像度合成画像２００ｄを取得する。低解像度化に伴う補間の方法については学習低解像度合成画像の場合と同様のため、説明を省略する。
【0077】
［低解像度マスク画像取得部］
低解像度マスク画像取得部３２６（第２マスク画像取得手段）は、マスク画像２０２に基づいて、第２解像度を有する低解像度マスク画像２０２ｄ（第２マスク画像）を取得する（図２Ａ）。具体的には、低解像度マスク画像取得部３２６は、マスク画像２０２を低解像度化（ダウンサンプリング）することにより、低解像度マスク画像２０２ｄを取得する。低解像度化に伴う補間の方法については学習低解像度マスク画像の場合と同様のため、説明を省略する。
低解像度マスク画像取得部３２６（第２マスク画像取得手段）は、マスク画像２０２に基づいて、第２解像度を有する低解像度マスク画像２０２ｄ（第２マスク画像）を取得する（図２Ａ）。具体的には、低解像度マスク画像取得部３２６は、マスク画像２０２を低解像度化（ダウンサンプリング）することにより、低解像度マスク画像２０２ｄを取得する。低解像度化に伴う補間の方法については学習低解像度マスク画像の場合と同様のため、説明を省略する。
【0078】
［低解像度パラメータマップ取得部］
低解像度パラメータマップ取得部３２８（第２パラメータマップ取得手段）は、合成画像２００及びマスク画像２０２をパラメータマップ推定モデルＭに入力することにより、第２解像度を有する低解像度パラメータマップ２０４ｄ（第２パラメータマップ）を取得する（図２Ａ参照）。ここで低解像度パラメータマップ取得部３２８が用いるパラメータマップ推定モデルＭのパラメータは、学習部３１６の学習により調整済みである。低解像度パラメータマップ２０４ｄの詳細については、［２－３．低解像度パラメータマップの取得］において述べた通りであるので、説明を省略する。
低解像度パラメータマップ取得部３２８（第２パラメータマップ取得手段）は、合成画像２００及びマスク画像２０２をパラメータマップ推定モデルＭに入力することにより、第２解像度を有する低解像度パラメータマップ２０４ｄ（第２パラメータマップ）を取得する（図２Ａ参照）。ここで低解像度パラメータマップ取得部３２８が用いるパラメータマップ推定モデルＭのパラメータは、学習部３１６の学習により調整済みである。低解像度パラメータマップ２０４ｄの詳細については、［２－３．低解像度パラメータマップの取得］において述べた通りであるので、説明を省略する。
【0079】
［元解像度パラメータマップ取得部］
元解像度パラメータマップ取得部３３０（第１パラメータマップ取得手段）は、低解像度パラメータマップ２０４ｄに基づいて、元解像度パラメータマップ２０４（第１パラメータマップ）を取得する（図２Ａ参照）。具体的には、元解像度パラメータマップ取得部３３０は、低解像度パラメータマップ２０４ｄを高解像度化（アップサンプリング）することにより、元解像度パラメータマップ２０４を取得する。低解像度化に伴う補間の方法については学習元解像度パラメータマップの場合と同様のため、説明を省略する。
元解像度パラメータマップ取得部３３０（第１パラメータマップ取得手段）は、低解像度パラメータマップ２０４ｄに基づいて、元解像度パラメータマップ２０４（第１パラメータマップ）を取得する（図２Ａ参照）。具体的には、元解像度パラメータマップ取得部３３０は、低解像度パラメータマップ２０４ｄを高解像度化（アップサンプリング）することにより、元解像度パラメータマップ２０４を取得する。低解像度化に伴う補間の方法については学習元解像度パラメータマップの場合と同様のため、説明を省略する。
【0080】
［調和画像取得部］
調和画像取得部３３２（色調整画像取得手段）は、変換関数の出力である調和画素値ベクトル（色調整画素値ベクトル）を算出し、該調和画素値ベクトルが示す色を有する調和画素（色調整画素）を含む調和画像２０６（色調整画像）を取得する（図２Ｂ参照）。
調和画像取得部３３２（色調整画像取得手段）は、変換関数の出力である調和画素値ベクトル（色調整画素値ベクトル）を算出し、該調和画素値ベクトルが示す色を有する調和画素（色調整画素）を含む調和画像２０６（色調整画像）を取得する（図２Ｂ参照）。
【0081】
変換関数は、画素値ベクトルと、変換行列と、の積の項を含む式で定義される。画素値ベクトルは、合成画像２００の複数の対象画素それぞれの色を示す。本実施形態では、画素値ベクトルは、該対象画素のＲＧＢ値のそれぞれを要素とする３次元のベクトルである。変換行列は、元解像度パラメータマップ２０４おいて該画素に設定された複数の変換パラメータを要素とする。
【0082】
変換関数は、画素値ベクトルと、変換行列と、の積を含むアフィン変換である。具体的には、変換関数を定義する式は、画素値ベクトルと、元解像度パラメータマップ２０４における該画素値ベクトルに係る画素に設定された一部の変換パラメータを要素とする変換行列と、の積の項と、元解像度パラメータマップ２０４における該画素値ベクトルに係る画素に設定された他の一部の変換パラメータを要素とする変換ベクトルの項と、の和で表される。具体的な式については、学習変換関数の場合と同様であるので、説明を省略する（数１参照）。すなわち、変換関数を定義する式は、学習変換関数を定義する式と同じ形式であり、パラメータのみが異なる。調和画像取得部３３２は、変換関数により、同一の色空間内において画素値ベクトルを調和画素値ベクトルへと写像しているということもできる。
【0083】
［４．画像処理システムで実行される処理］
図５Ａ及び図５Ｂは、画像処理システム１で実行される処理の一例を示すフロー図である。図５Ａのフロー図は画像処理システム１で実行される処理のうち、学習に係る処理を示す。また、図５Ｂのフロー図は画像処理システム１で実現される機能のうち、画像調和に係る処理を示す。図５Ａ及び図５Ｂに示す処理は、制御部１０が、記憶部１２に記憶されたプログラムに従って動作することによって実行される。
図５Ａ及び図５Ｂは、画像処理システム１で実行される処理の一例を示すフロー図である。図５Ａのフロー図は画像処理システム１で実行される処理のうち、学習に係る処理を示す。また、図５Ｂのフロー図は画像処理システム１で実現される機能のうち、画像調和に係る処理を示す。図５Ａ及び図５Ｂに示す処理は、制御部１０が、記憶部１２に記憶されたプログラムに従って動作することによって実行される。
【0084】
［４－１．学習に係る処理］
図５Ａに示すように、制御部１０は、学習合成画像と学習マスク画像と正解調和画像とを含む訓練データを取得する（Ｓ５００ａ）。制御部１０は、学習合成画像に基づいて学習低解像度合成画像を取得するとともに（Ｓ５０２ａ）、学習マスク画像に基づいて学習低解像度マスク画像を取得する（Ｓ５０４ａ）。
図５Ａに示すように、制御部１０は、学習合成画像と学習マスク画像と正解調和画像とを含む訓練データを取得する（Ｓ５００ａ）。制御部１０は、学習合成画像に基づいて学習低解像度合成画像を取得するとともに（Ｓ５０２ａ）、学習マスク画像に基づいて学習低解像度マスク画像を取得する（Ｓ５０４ａ）。
【0085】
制御部１０は、学習低解像度合成画像及び学習低解像度マスク画像をパラメータマップ推定モデルＭに入力することにより、学習低解像度パラメータマップを取得する（Ｓ５０６ａ）。次いで制御部１０は、学習低解像度パラメータマップに基づいて、学習元解像度パラメータマップを取得する（Ｓ５０８ａ）。
【0086】
制御部１０は、学習変換関数の出力である学習調和画素値ベクトルを算出し、該学習調和画素値ベクトルが示す色を有する学習調和画素を含む学習調和画像を取得する（Ｓ５１０ａ）。
【0087】
制御部１０は、学習調和画像と、正解調和画像と、に基づいてパラメータマップ推定モデルＭの学習を行う（Ｓ５１２ａ）。具体的には、制御部１０は、前述の損失関数Ｌ、対照損失関数ＬＣＲ及びスムーシング損失関数Ｌｓｍｏｏｔｈの値がそれぞれ小さくなるようにパラメータマップ推定モデルＭの学習を行う。制御部１０は、学習途中で上記各損失関数の値が十分小さくなった場合には、その時点で学習を終了する。制御部１０は、当該値が十分小さくならなくても、所定回数の学習を繰り返した場合には、学習を終了してもよい。学習の方法としては、公知の手法が利用可能であり、例えば、誤差逆伝播、ＡｄａｍやＲＭＳＰｒｏｐ等が利用されてよい。
【0088】
制御部１０は、学習を終了しないと判断した場合（Ｓ５１４ａ；Ｎ）、Ｓ５００～Ｓ５１２の処理を繰り返す。制御部１０は、学習を終了すると判断した場合（Ｓ５１４ａ；Ｙ）、本処理を終了する。
【0089】
［４－２．画像調和に係る処理］
図５Ｂに示すように、制御部１０は、合成画像２００を取得するとともに（Ｓ５００ｂ）、マスク画像２０２を取得する（Ｓ５０２ｂ）。制御部１０は、合成画像２００に基づいて低解像度合成画像２００ｄを取得するとともに（Ｓ５０４ｂ）、学習マスク画像に基づいて低解像度マスク画像２０２ｄを取得する（Ｓ５０６ｂ）。
図５Ｂに示すように、制御部１０は、合成画像２００を取得するとともに（Ｓ５００ｂ）、マスク画像２０２を取得する（Ｓ５０２ｂ）。制御部１０は、合成画像２００に基づいて低解像度合成画像２００ｄを取得するとともに（Ｓ５０４ｂ）、学習マスク画像に基づいて低解像度マスク画像２０２ｄを取得する（Ｓ５０６ｂ）。
【0090】
制御部１０は、低解像度合成画像２００ｄ及び低解像度マスク画像２０２ｄをパラメータマップ推定モデルＭに入力することにより、低解像度パラメータマップ２０４ｄを取得する（Ｓ５０８ｂ）。制御部１０は、低解像度パラメータマップ２０４ｄに基づいて、元解像度パラメータマップ２０４を取得する（Ｓ５１０ｂ）。制御部１０は、変換関数の出力である調和画素値ベクトルを算出し、該調和画素値ベクトルが示す色を有する調和画素を含む調和画像２０６を取得し（Ｓ５１２ｂ）、本処理を終了する。
【0091】
［５．まとめ］
以上に説明した本実施形態に係る画像処理システム１によれば、従来の画像調和に用いられていた、合成画像及びマスク画像が入力され、目的とする調和画像を出力する機械学習モデルの使用を回避することができる。その結果、画像調和にかかる計算コストを削減できるので、高解像度の合成画像の画像調和を低い計算コストで行うことができる。
以上に説明した本実施形態に係る画像処理システム１によれば、従来の画像調和に用いられていた、合成画像及びマスク画像が入力され、目的とする調和画像を出力する機械学習モデルの使用を回避することができる。その結果、画像調和にかかる計算コストを削減できるので、高解像度の合成画像の画像調和を低い計算コストで行うことができる。
【0092】
また、本実施形態に係る画像処理システム１では、合成画像２００の複数の対象画素それぞれの色を示す画素値ベクトルと、元解像度パラメータマップ２０４おける該対象画素に設定された複数の変換パラメータを要素とする変換行列と、の積の項を含む式で定義される変換関数の出力である調和画素値ベクトルを算出し、該調和画素値ベクトルが示す色を有する調和画素を含む調和画像２０６を取得するようにした。すなわち、画像処理システム１では、一種類のパラメータセットに基づいて、合成画像２００の該対象画素の画素値を、調和画像２０６における該対象画素に対応する画素（調和画素）の画素値へと直接変換するので、学習及び画像調和の過程が簡素化され、その結果、高い効率で学習及び画像調和を行うことができる。
【0093】
また、本実施形態に係る画像処理システム１では、変換関数は、画素値ベクトルと、変換行列と、の積を含むアフィン変換であり、該変換行列は対称行列である。このように、変換関数を、対称行列である変換行列を含むアフィン変換とすることで、図６に示すように、より学習及び画像調和の精度が向上する。
【0094】
また、本実施形態に係る画像処理システム１では、正解調和画像に対する学習調和画像の誤差は、学習マスク画像に基づいて正規化されている（数２参照）。これにより、誤差の値が、前景画像に由来する領域（対象画素が占める領域）の大きさに依存しなくなるので、安定した学習が可能となる。
【0095】
また、本実施形態に係る画像処理システム１では、学習調和画像と、正解調和画像と、の類似度が大きくなるとともに、学習調和画像と、正解調和画像とは異なる不正解調和画像と、の類似度が小さくなるようにパラメータマップ推定モデルＭの学習を行うので、より学習の精度が向上する。
【0096】
また、本実施形態に係る画像処理システム１では、学習低解像度パラメータマップにおいて、ある画素に設定された少なくとも一の学習低解像度パラメータと、該画素に隣り合う画素に設定された少なくとも一の学習低解像度パラメータと、の類似度が大きくなるようにパラメータマップ推定モデルＭの学習を行うので、更に学習の精度が向上する。
【0097】
［６．変形例］
なお、本発明は上述の実施形態に限定されるものではない。また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
なお、本発明は上述の実施形態に限定されるものではない。また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【0098】
［６－１．変形例１］
本実施形態では、学習画素値ベクトルが、該学習画素値ベクトルに係る学習対象画素のＲＧＢ値のそれぞれを要素とする３次元のベクトルである場合を説明したが、学習画素値ベクトルは、該学習画素値ベクトルに係る対象画素のＲＧＢ値に基づく４次元以上のベクトルであってもよい。例えば、学習画素値ベクトルは、該学習画素値ベクトルに係る画素値の３成分のうち、少なくともいずれか２成分同士の積を要素として含んでもよい。また、学習画素値ベクトルは、該学習画素値ベクトルに係る画素値の少なくとも１成分の自乗を要素として含んでもよい。下記数６に、変形例１に係る学習画素値ベクトルｐを示す。
本実施形態では、学習画素値ベクトルが、該学習画素値ベクトルに係る学習対象画素のＲＧＢ値のそれぞれを要素とする３次元のベクトルである場合を説明したが、学習画素値ベクトルは、該学習画素値ベクトルに係る対象画素のＲＧＢ値に基づく４次元以上のベクトルであってもよい。例えば、学習画素値ベクトルは、該学習画素値ベクトルに係る画素値の３成分のうち、少なくともいずれか２成分同士の積を要素として含んでもよい。また、学習画素値ベクトルは、該学習画素値ベクトルに係る画素値の少なくとも１成分の自乗を要素として含んでもよい。下記数６に、変形例１に係る学習画素値ベクトルｐを示す。
【0099】
【数6】
【0100】
本変形例に係る学習変換関数を定義する式は、下記数７に示すように、上記学習画素値ベクトルと、学習変換行列と、の積で表される。本変形例に係る学習変換関数は線形変換である。数７に示すように、本変形例に係る学習変換行列Ｗθは２７個の学習変換パラメータを要素とする。よって、本変形例では、学習低解像度パラメータマップの各画素には２７個の低解像度変換パラメータが、学習元解像度パラメータマップの各画素には２７個の変換パラメータがそれぞれ設定されている。なお、本変形例における合成画像２００に係る画素値ベクトル、変換関数、低解像度パラメータマップ２０４ｄ及び元解像度パラメータマップ２０４の詳細は、上記の学習画素値ベクトル、学習変換関数、学習低解像度パラメータマップ及び学習元解像度パラメータマップと同様である。本変形例によれば、変換パラメータの数が増えるので、より高い精度での学習及び画像調和が可能となる。
【0101】
【数7】
【0102】
［６－２．変形例２］
本実施形態では、パラメータマップ推定モデルＭとして、ＣＮＮを用いる場合を説明したが、パラメータマップ推定モデルＭは、ＣＮＮ以外の機械学習モデルであってもよい。例えば、パラメータマップ推定モデルＭは、トランスフォーマーモデルであってもよい。トランスフォーマーモデルは、いわゆるＶｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒと呼ばれる、画像処理専用のトランスフォーマーモデルであってよい。
本実施形態では、パラメータマップ推定モデルＭとして、ＣＮＮを用いる場合を説明したが、パラメータマップ推定モデルＭは、ＣＮＮ以外の機械学習モデルであってもよい。例えば、パラメータマップ推定モデルＭは、トランスフォーマーモデルであってもよい。トランスフォーマーモデルは、いわゆるＶｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒと呼ばれる、画像処理専用のトランスフォーマーモデルであってよい。
【0103】
具体的には、図７に示すように、本変形例に係るパラメータマップ推定モデルＭは、パッチ埋め込み部７００、トランスフォーマーエンコーダ部７０２、転置畳み込み部７０４、活性化部７０６及び次元調節部７０８を含む。パッチ埋め込み部７００、トランスフォーマーエンコーダ部７０２、転置畳み込み部７０４及び活性化部７０６の具体的な構成としては、例えば参考文献１（Alexey Dosovitskiy, et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020）に記載されたものが利用可能である。次元調節部７０８の詳細は、次元調節部４０４と同様であるため説明を省略する。
【0104】
［６－３．その他の変形例］
本実施形態では、画像処理システム１がパラメータマップ推定モデルＭの学習を行う場合を説明したが、パラメータマップ推定モデルＭの学習は他のシステムで行われてもよい。
本実施形態では、画像処理システム１がパラメータマップ推定モデルＭの学習を行う場合を説明したが、パラメータマップ推定モデルＭの学習は他のシステムで行われてもよい。
【0105】
また、本実施形態では、画像処理システム１の元解像度パラメータマップ取得部３３０が、低解像度パラメータマップ２０４ｄに基づいて、元解像度パラメータマップ２０４を取得する場合を説明したが、画像処理システム１は必ずしも元解像度パラメータマップ取得部３３０を備えなくてもよい。すなわち、変換関数に補間に係る演算が含まれている場合には、低解像度パラメータマップ２０４ｄの各画素に設定された低解像度パラメータが、変換関数におけるパラメータとして用いられてよい。この場合、調和画像取得部３３２の処理において、元解像度パラメータマップ２０４が取得されているということができる。これは、学習元解像度パラメータマップ取得部３１２についても同様である。
【0106】
また、本実施形態では、合成画像２００の画素のうち、対象画素の画素値のみが調和画像取得部３３２の処理に供されていたが、合成画像２００の画素のうち、対象画素以外の画素の画素値も調和画像取得部３３２の処理に供されてもよい。例えば、合成画像２００における、前景画像に由来する領域の周囲の画素の画素値も、調和画像取得部３３２の処理に供されてよい。これにより、色変換後において、前景画像に由来する領域の色と、該領域の周囲の色と、の親和性がより向上する場合がある。
【0107】
要は、調和画像取得部３３２は、合成画像２００の画素のうち少なくとも一以上の対象画素である一以上の調整画素それぞれの色を示す画素値ベクトルと、変換行列と、の積の項を含む式で定義される変換関数の出力である調和画素値ベクトルを算出し、該調和画素値ベクトルが示す色を有する調和画素を含む調和画像２０６を取得するものであればよい。これは、学習調和画像取得部３１４についても同様である。
【0108】
また、本実施形態では、対象画素が複数である場合を説明したが、対象画素は一以上であればよい。
【0109】
また、本実施形態では、マスク画像２０２が二値画像である場合を説明したが、この例に限られない。例えば、合成画像２００が、複数の前景画像と一の背景画像とを合成した画像である場合、各前景画像に由来する領域ごとに異なる値が設定されてよい。要は、マスク画像２０２は、合成画像２００における色調整の対象となる一以上の対象画素を指定するものであればよい。これは学習マスク画像についても同様である。
【0110】
また、本実施形態では、画像処理システム１が画像調和に用いられる場合を説明したが、本発明は、機械学習モデルを用いた画像の色調整に係る技術一般に応用可能である。
【0111】
［７．付記］
（１）
第１解像度を有する第１画像を取得する第１画像取得手段と、
前記第１解像度を有し、前記第１画像における色調整の対象となる一以上の対象画素を指定する第１マスク画像を取得する第１マスク画像取得手段と、
前記第１画像に基づいて、前記第１解像度より低い第２解像度を有する第２画像を取得する第２画像取得手段と、
前記第１マスク画像に基づいて、前記第２解像度を有する第２マスク画像を取得する第２マスク画像取得手段と、
前記第２画像及び前記第２マスク画像をパラメータマップ推定モデルに入力することにより、前記第２解像度を有する第２パラメータマップを取得する第２パラメータマップ取得手段と、
前記第１画像の画素のうち少なくとも前記一以上の対象画素である一以上の調整画素それぞれの色を示す画素値ベクトルと、変換行列と、の積の項を含む式で定義される変換関数の出力である色調整画素値ベクトルを算出し、該色調整画素値ベクトルが示す色を有する色調整画素を含む色調整画像を取得する色調整画像取得手段であって、
前記変換行列は、高解像度化された前記第２パラメータマップであって前記第１解像度を有する第１パラメータマップにおける、該調整画素に設定された複数の変換パラメータを要素とする、色調整画像取得手段と、
を有し、
前記パラメータマップ推定モデルは、
いずれも前記第１解像度を有する、第１学習画像と、前記第１学習画像における色調整の対象となる一以上の学習対象画素を指定する第１学習マスク画像と、第１正解色調整画像と、を含む訓練データを用いて、前記第１正解色調整画像に対する第１学習色調整画像の誤差が小さくなるように学習され、
前記第１学習色調整画像は、
前記第１学習画像の画素のうち少なくとも前記一以上の学習対象画素である学習調整画素それぞれの色を示す学習画素値ベクトルと、学習変換行列と、の積の項を含むとともに前記変換関数と同じ形式の式で定義される学習変換関数の出力である、学習色調整画素値ベクトルが示す色を有する学習色調整画素を含み、
前記学習変換行列は、前記第１解像度を有する第１学習パラメータマップにおける、該学習調整画素に設定された複数の学習変換パラメータを要素とし、
前記第１学習パラメータマップは、
低解像度化された前記第１学習画像であって前記第２解像度を有する第２学習画像と、低解像度化された前記第１学習マスク画像であって前記第２解像度を有する第２学習マスク画像と、を前記パラメータマップ推定モデルに入力した際の出力である第２学習パラメータマップが高解像度化されたものである、
画像処理システム。
（２）
前記第１画像取得手段は、前景画像と背景画像とが合成された画像を前記第１画像として取得し、
前記第１マスク画像取得手段は、前記合成画像における前記前景画像に由来する一以上の画素を前記一以上の対象画素として指定する画像を、前記第１マスク画像として取得する、
（１）に記載の画像処理システム。
（３）
前記第２パラメータマップに基づいて、前記第１パラメータマップを取得する第１パラメータマップ取得手段を更に有する、
（１）又は（２）に記載の画像処理システム。
（４）
前記変換行列は対称行列であり、
前記変換関数は、前記画素値ベクトルと、前記変換行列と、の積を含むアフィン変換である、
（１）から（３）のいずれかに記載の画像処理システム
（５）
前記画素値ベクトルは、該画素値ベクトルに係る画素値の３成分のうち、少なくともいずれか２成分同士の積を要素として含む、
（１）から（４）のいずれかに記載の画像処理システム。
（６）
前記画素値ベクトルは、該画素値ベクトルに係る画素値の少なくとも１成分の自乗を要素として含む、
（１）から（５）のいずれかに記載の画像処理システム。
（７）
前記パラメータマップ推定モデルは、トランスフォーマーモデルを含む、
（１）から（６）のいずれかに記載の画像処理システム。
（８）
前記誤差は、前記第１学習マスク画像に基づいて正規化されたものである、
（１）から（７）のいずれかに記載の画像処理システム。
（９）
前記パラメータマップ推定モデルは更に、前記第１学習色調整画像と、前記第１正解色調整画像と、の類似度が大きくなるとともに、前記第１学習色調整画像と、前記第１正解色調整画像とは異なる第１不正解色調整画像と、の類似度が小さくなるように学習された機械学習モデルである、
（８）に記載の画像処理システム。
（１０）
前記第１不正解色調整画像は、前記第１正解色調整画像における前記学習対象画素の画素値を変換することにより得られた画像である、
（９）に記載の画像処理システム。
（１１）
前記パラメータマップ推定モデルは更に、前記第２学習パラメータマップにおいて、ある画素に設定された少なくとも一の第２学習変換パラメータと、該画素に隣り合う画素に設定された少なくとも一の第２学習変換パラメータと、の類似度が大きくなるように学習された機械学習モデルである、
（９）に記載の画像処理システム。
（１）
第１解像度を有する第１画像を取得する第１画像取得手段と、
前記第１解像度を有し、前記第１画像における色調整の対象となる一以上の対象画素を指定する第１マスク画像を取得する第１マスク画像取得手段と、
前記第１画像に基づいて、前記第１解像度より低い第２解像度を有する第２画像を取得する第２画像取得手段と、
前記第１マスク画像に基づいて、前記第２解像度を有する第２マスク画像を取得する第２マスク画像取得手段と、
前記第２画像及び前記第２マスク画像をパラメータマップ推定モデルに入力することにより、前記第２解像度を有する第２パラメータマップを取得する第２パラメータマップ取得手段と、
前記第１画像の画素のうち少なくとも前記一以上の対象画素である一以上の調整画素それぞれの色を示す画素値ベクトルと、変換行列と、の積の項を含む式で定義される変換関数の出力である色調整画素値ベクトルを算出し、該色調整画素値ベクトルが示す色を有する色調整画素を含む色調整画像を取得する色調整画像取得手段であって、
前記変換行列は、高解像度化された前記第２パラメータマップであって前記第１解像度を有する第１パラメータマップにおける、該調整画素に設定された複数の変換パラメータを要素とする、色調整画像取得手段と、
を有し、
前記パラメータマップ推定モデルは、
いずれも前記第１解像度を有する、第１学習画像と、前記第１学習画像における色調整の対象となる一以上の学習対象画素を指定する第１学習マスク画像と、第１正解色調整画像と、を含む訓練データを用いて、前記第１正解色調整画像に対する第１学習色調整画像の誤差が小さくなるように学習され、
前記第１学習色調整画像は、
前記第１学習画像の画素のうち少なくとも前記一以上の学習対象画素である学習調整画素それぞれの色を示す学習画素値ベクトルと、学習変換行列と、の積の項を含むとともに前記変換関数と同じ形式の式で定義される学習変換関数の出力である、学習色調整画素値ベクトルが示す色を有する学習色調整画素を含み、
前記学習変換行列は、前記第１解像度を有する第１学習パラメータマップにおける、該学習調整画素に設定された複数の学習変換パラメータを要素とし、
前記第１学習パラメータマップは、
低解像度化された前記第１学習画像であって前記第２解像度を有する第２学習画像と、低解像度化された前記第１学習マスク画像であって前記第２解像度を有する第２学習マスク画像と、を前記パラメータマップ推定モデルに入力した際の出力である第２学習パラメータマップが高解像度化されたものである、
画像処理システム。
（２）
前記第１画像取得手段は、前景画像と背景画像とが合成された画像を前記第１画像として取得し、
前記第１マスク画像取得手段は、前記合成画像における前記前景画像に由来する一以上の画素を前記一以上の対象画素として指定する画像を、前記第１マスク画像として取得する、
（１）に記載の画像処理システム。
（３）
前記第２パラメータマップに基づいて、前記第１パラメータマップを取得する第１パラメータマップ取得手段を更に有する、
（１）又は（２）に記載の画像処理システム。
（４）
前記変換行列は対称行列であり、
前記変換関数は、前記画素値ベクトルと、前記変換行列と、の積を含むアフィン変換である、
（１）から（３）のいずれかに記載の画像処理システム
（５）
前記画素値ベクトルは、該画素値ベクトルに係る画素値の３成分のうち、少なくともいずれか２成分同士の積を要素として含む、
（１）から（４）のいずれかに記載の画像処理システム。
（６）
前記画素値ベクトルは、該画素値ベクトルに係る画素値の少なくとも１成分の自乗を要素として含む、
（１）から（５）のいずれかに記載の画像処理システム。
（７）
前記パラメータマップ推定モデルは、トランスフォーマーモデルを含む、
（１）から（６）のいずれかに記載の画像処理システム。
（８）
前記誤差は、前記第１学習マスク画像に基づいて正規化されたものである、
（１）から（７）のいずれかに記載の画像処理システム。
（９）
前記パラメータマップ推定モデルは更に、前記第１学習色調整画像と、前記第１正解色調整画像と、の類似度が大きくなるとともに、前記第１学習色調整画像と、前記第１正解色調整画像とは異なる第１不正解色調整画像と、の類似度が小さくなるように学習された機械学習モデルである、
（８）に記載の画像処理システム。
（１０）
前記第１不正解色調整画像は、前記第１正解色調整画像における前記学習対象画素の画素値を変換することにより得られた画像である、
（９）に記載の画像処理システム。
（１１）
前記パラメータマップ推定モデルは更に、前記第２学習パラメータマップにおいて、ある画素に設定された少なくとも一の第２学習変換パラメータと、該画素に隣り合う画素に設定された少なくとも一の第２学習変換パラメータと、の類似度が大きくなるように学習された機械学習モデルである、
（９）に記載の画像処理システム。
【符号の説明】
【0112】
１ 画像処理システム、１０ 制御部、１２ 記憶部、１４ 通信部、１６ 操作部、１８ 出力部、２００ 合成画像、２００ｄ低解像度合成画像、２０２ マスク画像、２０２ｄ低解像度マスク画像、２０４ 元解像度パラメータマップ、２０４ｄ低解像度パラメータマップ、２０６ 調和画像、３００ 訓練データ記憶部、３０２ 訓練データ取得部、３０４ 学習低解像度合成画像取得部、３０６ 学習低解像度マスク画像取得部、３０８ モデル記憶部、３１０ 学習低解像度パラメータマップ取得部、３１２ 学習元解像度パラメータマップ取得部、３１４ 学習調和画像取得部、３１６ 学習部、３１８ 画像データ記憶部、３２０ 合成画像取得部、３２２ マスク画像取得部、３２４ 低解像度合成画像取得部、３２６ 低解像度マスク画像取得部、３２８ 低解像度パラメータマップ取得部、３３０ 元解像度パラメータマップ取得部、３３２ 調和画像取得部、Ｍ パラメータマップ推定モデル、４００ エンコーダ部、４０２ デコーダ部、４０４ 次元調節部、７００ パッチ埋め込み部、７０２ トランスフォーマーエンコーダ部、７０４ 転置畳み込み部、７０６ 活性化部、７０８ 次元調節部。
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6】
【図7】