特許 7545782 撮影写真補正プログラム及び撮影写真補正装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-28

(45)【発行日】2024-09-05

(54)【発明の名称】撮影写真補正プログラム及び撮影写真補正装置

(51)【国際特許分類】

   G06T 5/77 20240101AFI20240829BHJP

   G06T 5/60 20240101ALI20240829BHJP

   H04N 23/60 20230101ALI20240829BHJP

【ＦＩ】

G06T5/77

G06T5/60

H04N23/60 500

【請求項の数】 3

(21)【出願番号】P 2020138156

(22)【出願日】2020-08-18

(65)【公開番号】P2022034390

(43)【公開日】2022-03-03

【審査請求日】2023-06-08

(73)【特許権者】

【識別番号】506031694

【氏名又は名称】株式会社ＪＶＩＳ

(74)【代理人】

【識別番号】100188662

【弁理士】

【氏名又は名称】浅見 浩二

(74)【代理人】

【識別番号】100177895

【弁理士】

【氏名又は名称】山田 一範

(73)【特許権者】

【識別番号】521106544

【氏名又は名称】株式会社モノリシックデザイン

(74)【代理人】

【識別番号】100188662

【弁理士】

【氏名又は名称】浅見 浩二

(72)【発明者】

【氏名】御手洗 秀一

(72)【発明者】

【氏名】鶴田 和弥

【審査官】鈴木 肇

(56)【参考文献】

【文献】中国特許出願公開第１１１３２５６９８（ＣＮ，Ａ）

【文献】韓国公開特許第１０－２００６－００５９５６６（ＫＲ，Ａ）

【文献】特開２０１１－１６５０３１（ＪＰ，Ａ）

【文献】国際公開第９９／０３８１２１（ＷＯ，Ａ１）

【文献】神保 悟，外２名，“量子化幅適応型ディープラーニングを用いたH.265/HEVC符号化雑音除去”，FIT2017 第１６回情報科学技術フォーラム 講演論文集 第３分冊 選奨論文・一般論文 画像認識・メディア理解 グラフィクス・画像 ヒューマンコミュニケーション＆インタラクション 教育工学・福祉工学・マルチメディア応用 Forum on Information Technology 2017，2017年，p.313-314

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ５／００ － ５／９４

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

写真撮影によって取得した画像データに対する補正処理をコンピュータに実現させるための撮影写真補正プログラムであって、
前記コンピュータに、
対象となる前記画像データを取得する取得機能と、
前記画像データに補正対象箇所が存在する場合に、当該補正対象箇所を所定サイズの補正対象画像データとして抽出する抽出機能と、
補正対象に対する補正処理について予め学習させた学習済モデルを用いて、入力した前記補正対象画像データに対応する補正処理後の補正済対象画像データを取得する補正機能と、
前記補正済対象画像データを元の画像データに重畳合成する重畳合成機能とを実現させるものとし、
前記学習済モデルは、補正が必要な画像データとその画像データに対して補正処理を行った正解画像データとを一組のセットとした学習用データセットを用いて、正解画像データと元の画像データとの差分のみを出力することについて学習するようにしたものであり、
前記補正機能では、前記補正対象画像データを前記学習済モデルに入力することで前記補正対象画像データに適した差分データを出力させ、前記補正対象画像データに前記差分データを加算することで前記補正済対象画像データを生成する
撮影写真補正プログラム。

【請求項2】

前記学習済モデルを学習する際に用いる損失関数は、差分が発生している面積が小さいほどロス値が小さくなるバイアス項を導入した
請求項１記載の撮影写真補正プログラム。

【請求項3】

写真撮影によって取得した画像データに対する補正処理を行うための撮影写真補正装置であって、
対象となる前記画像データを取得する取得部と、
前記画像データに補正対象箇所が存在する場合に、当該補正対象箇所を所定サイズの補正対象画像データとして抽出する抽出部と、
補正対象に対する補正処理について予め学習させた学習済モデルを用いて、入力した前記補正対象画像データに対応する補正処理後の補正済対象画像データを取得する補正部と、
前記補正済対象画像データを元の画像データに重畳合成する重畳合成部とを備え、
前記学習済モデルは、補正が必要な画像データとその画像データに対して補正処理を行った正解画像データとを一組のセットとした学習用データセットを用いて、正解画像データと元の画像データとの差分のみを出力することについて学習するようにしたものであり、
前記補正部では、前記補正対象画像データを前記学習済モデルに入力することで前記補正対象画像データに適した差分データを出力させ、前記補正対象画像データに前記差分データを加算することで前記補正済対象画像データを生成する
撮影写真補正装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、眼鏡着用者を撮影した写真に生じる反射箇所に対する補正など撮影写真に対して必要とされる補正の技術に関するものである。

【背景技術】

【0002】

従来、眼鏡を着用した人物の写真撮像において、眼鏡部分における光の反射などの影響で撮影画像のクオリティが低下してしまうという問題があった。このような眼鏡に起因する撮影画像に生じる問題を解決するための手法が様々提案されている。

【0003】

例えば、特許文献１には、眼鏡を着用した人物の画像上での見映えをより向上させるために、眼鏡により生じる被写体の影領域、集光領域、歪み領域などを補正する構成が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－２５０４０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の特許文献１における補正は、集光領域などの問題箇所を眼鏡近傍の肌の色を表す画素情報で置き換えるものであるため、補正後の画像に違和感が生じる恐れがあり、また、光の反射が眼球箇所に重なっている画像などの補正には対処できないという問題があった。

【0006】

このような撮影写真における眼鏡箇所に生じた反射の補正は、例えば、写真館などにおいて撮影写真に対して補正を行う場合に行われる。この他にも、撮影写真について必要な補正としては、写真撮影の際に人物の背景に用いるバック紙の傷や汚れの補正、人物の顔のシミやシワの補正、などが考えられる。このような撮影写真に対して処理が必要な補正を違和感なく自動で実行可能な補正技術が求められていた。

【0007】

本発明は、上記問題点に鑑みなされたものであり、眼鏡に起因する撮影画像に生じる反射の問題など、撮影写真に対して処理が必要な補正を違和感なく自動で実行可能な撮影写真補正プログラム及び撮影写真補正装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る撮影写真補正プログラムは、写真撮影によって取得した画像データに対する補正処理をコンピュータに実現させるための撮影写真補正プログラムであって、前記コンピュータに、対象となる前記画像データを取得する取得機能と、前記画像データに補正対象箇所が存在する場合に、当該補正対象箇所を所定サイズの補正対象画像データとして抽出する抽出機能と、補正対象に対する補正処理について予め学習させた学習済モデルを用いて、入力した前記補正対象画像データに対応する補正処理後の補正済対象画像データを取得する補正機能と、前記補正済対象画像データを元の画像データに重畳合成する重畳合成機能とを実現させることを特徴とする。

【0009】

また、本発明に係る撮影写真補正プログラムは、前記学習済モデルは、補正が必要な画像データとその画像データに対して補正処理を行った正解画像データとを一組のセットとした学習用データセットを用いて、正解画像データと元の画像データとの差分のみを学習するようにしたことを特徴とする。

【0010】

また、本発明に係る撮影写真補正プログラムは、前記学習済モデルを学習する際に用いる損失関数は、差分が発生している面積が小さいほどロス値が小さくなるバイアス項を導入したことを特徴とする。

【0011】

本発明に係る反射除去補正装置は、写真撮影によって取得した画像データに対する補正処理を行うための撮影写真補正装置であって、対象となる前記画像データを取得する取得部と、前記画像データに補正対象箇所が存在する場合に、当該補正対象箇所を所定サイズの補正対象画像データとして抽出する抽出部と、補正対象に対する補正処理について予め学習させた学習済モデルを用いて、入力した前記補正対象画像データに対応する補正処理後の補正済対象画像データを取得する補正部と、前記補正済対象画像データを元の画像データに重畳合成する重畳合成部とを備えることを特徴とする。

【発明の効果】

【0012】

本発明によれば、対象となる画像データを取得し、画像データに眼鏡をかけた人物が存在する場合に、当該人物の眼鏡箇所を所定サイズの眼鏡画像データとして抽出し、眼鏡の反射除去補正処理について予め学習させた学習済モデルを用いて、入力した眼鏡画像データに対応する反射除去補正処理後の補正済眼鏡画像データを取得し、補正済眼鏡画像データを元の画像データに重畳合成するようにしたので、眼鏡に起因する撮影画像に生じる反射の問題を違和感なく補正することが可能となる。また、画像全体を補正対象とせずに、所定サイズで抽出した眼鏡画像データのみを補正対象とすることで、補正される可能性のある領域を眼鏡周辺のみに制限することができ、これによってオリジナルの画像の内容を可能な限り残すことが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明に係る撮影写真補正装置の一例である反射除去補正装置１０の構成を表したブロック図である。

【図2】本発明に係る反射除去補正装置１０をサーバ装置で実現する場合のシステム全体の構成を表したブロック図である。

【図3】本発明に係る反射除去補正装置１０における反射除去の流れを表したフローチャート図である。

【図4】対象となる画像データの一例を表した画像図である。

【図5】対象画像データから眼鏡箇所を眼鏡画像データとして抽出する様子を表した説明図である。

【図6】反射除去補正処理を実行するためのニューラルネットワークの学習手順を表した説明図である。

【図7】抽出した眼鏡画像データに対して学習済モデルを用いて反射除去補正を実行する様子を説明するための説明図である。

【図8】補正済眼鏡画像データを元の画像データに重畳合成した様子を表した画像図である。

【発明を実施するための形態】

【0014】

［第１の実施の形態］
以下、図面を参照しながら、本発明の第１の実施の形態に係る撮影写真補正装置の例について説明する。図１は、本発明に係る撮影写真補正装置の一例である反射除去補正装置１０の構成を表したブロック図である。図１に示すように、反射除去補正装置１０は、取得部１１と、抽出部１２と、反射除去補正部１３と、重畳合成部１４と、記憶部１５とを少なくとも備えている。

【0015】

なお、反射除去補正装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、反射除去補正装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとする（図示省略）。また、必要に応じてＧＰＵ（Graphics Processing Unit：画像処理装置）を備えるようにしてもよい。また、これらの一般的なコンピュータを本例の反射除去補正装置１０として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。

【0016】

また、反射除去補正装置１０は、通信ネットワークから独立してスタンドアローンで機能するものであってもよいが、反射除去補正装置１０の機能をサーバ装置に備えさせ、端末装置から通信ネットワークを介して接続して反射除去補正装置１０を利用するようにしてもよい。

【0017】

図２は、本発明に係る反射除去補正装置１０をサーバ装置で実現する場合のシステム全体の構成を表したブロック図である。図２に示すように、システム全体の構成は、反射除去補正装置として機能するサーバ装置１０と、端末装置２０１～２０ｎ（ｎは任意の整数。以下、これらを代表して単に端末装置２０と表現する場合がある。）とを含む。なお、システムの構成はこれに限定されず、単一の端末装置を複数のユーザが使用する構成としてもよいし、複数のサーバ装置を備える構成としてもよい。

【0018】

サーバ装置１０と複数の端末装置２０１～２０ｎは、それぞれインターネットなどの通信ネットワーク３０に接続されている。なお、図示しないが、複数の端末装置２０１～２０ｎは、例えば、通信業者によって管理される基地局と無線通信回線によるデータ通信を行うことによって、通信ネットワーク３０と接続する。

【0019】

取得部１１は、対象となる画像データを取得する機能を有する。画像データはどのようなものであってもよい。なお、本発明は眼鏡をかけた人物を撮影した際の眼鏡箇所に生じた反射箇所を補正することを目的としたものであるので、眼鏡をかけた人物を撮影した画像データが主な対象となる。

【0020】

抽出部１２は、画像データに眼鏡をかけた人物が存在する場合に、当該人物の眼鏡箇所を所定サイズの眼鏡画像データとして抽出する機能を有する。画像データから眼鏡箇所を抽出する手法はどのようなものであってもよい。例えば、画像データ中の眼鏡箇所を抽出することについて予め機械学習を行った学習済モデルを用いて眼鏡箇所を抽出するようにしてもよい。また、直接眼鏡箇所を抽出する場合のほか、一段階目において人物又は人物の頭部の抽出を行い、二段階目において眼鏡箇所を抽出する手法であってもよい。抽出した眼鏡箇所は所定サイズの眼鏡画像データとして記憶させる。

【0021】

反射除去補正部１３は、眼鏡の反射除去補正処理について予め学習させた学習済モデルを用いて、入力した前記眼鏡画像データに対応する反射除去補正処理後の補正済眼鏡画像データを取得する機能を有する。この反射除去補正部１３では、反射除去補正処理に学習済モデルを用いる。この反射除去補正部１３において用いる学習済モデルは、抽出部１２で抽出した眼鏡画像データが示す画像の中に反射箇所が含まれる場合に、その反射箇所に対する反射除去補正処理後の補正済眼鏡画像データを出力することについて予め学習を行った学習済モデルである。学習済モデルの学習には、眼鏡画像データと、その眼鏡画像データに対して適切に反射除去補正処理がなされた正解画像データとが１組の学習用データセットとして用いられる。そして、複数組の学習用データセットによって繰り返しニューラルネットワークの学習を行うことで、反射除去補正の精度を向上させる。この反射除去補正部１３から出力される補正済眼鏡画像データは、抽出部１２において抽出した眼鏡画像データと縦横の画素数が同一サイズで出力される。

【0022】

なお、学習用データセットに採用する正解画像データは、反射箇所を含む眼鏡画像データに対して人手によって補正したものを採用することが好ましい。反射箇所を周囲の肌の色の画素値で塗り潰す処理を採用した場合、反射箇所の後ろに本来見える目が潰れてしまい不自然な画像となってしまう。これに対して、人手による補正では、反対の目の情報を利用するなどして、反射の奥に隠れている目を再現する補正を行うようにする。このようにして得られた正解画像データに基づいて学習を行うことで、人手による補正作業の傾向が学習され、同様の補正処理を学習済モデルに実行させることが可能となる。

【0023】

また、反射除去補正部１３で用いる学習済モデルは、補正済眼鏡画像データを直接出力する構成であってもよいが、眼鏡画像データと正解の補正済眼鏡画像データとの差分を出力する構成であってもよい。この場合、学習用データセットを用いて学習済モデルに差分を出力することについて学習を行うようにし、反射除去補正部１３では、学習済モデルに対して眼鏡画像データを入力して差分を出力させ、入力眼鏡画像データに対して当該差分データを加算することで補正済眼鏡画像データを得るようにする。このように差分のみを出力する構成とすることで、元の画像データが必要以上に補正されてしまうことを避けることが可能となる。

【0024】

重畳合成部１４は、補正済眼鏡画像データを元の画像データに重畳合成する機能を有する。抽出部１２において抽出した眼鏡画像データと反射除去補正部１３で生成した補正済眼鏡画像データとは同一サイズであるため、元の画像データにおける眼鏡画像データを抽出した領域に対して補正済眼鏡画像データを重畳合成するようにする。

【0025】

記憶部１５は、取得部１１、抽出部１２、反射除去補正部１３、重畳合成部１４などを含む反射除去補正装置１０において行われる様々な処理で必要なデータ及び処理の結果として得られたデータを記憶させる機能を有する。

【0026】

次に、反射除去補正装置１０における反射除去の流れについて説明する。図３は、本発明に係る反射除去補正装置１０における反射除去の流れを表したフローチャート図である。この図３に示すように、反射除去は、反射除去補正装置１０において画像データを取得することによって開始される（ステップＳ１０１）。次に、反射除去補正装置１０は、取得した画像データ中に眼鏡をかけた人物が存在するか否かを判定し、眼鏡をかけた人物が存在する場合には、当該人物の眼鏡箇所を所定サイズの眼鏡画像データとして抽出する（ステップＳ１０２）。次に、反射除去補正装置１０は、抽出した眼鏡画像データに対して反射除去補正を実行して、補正済眼鏡画像データを取得する（ステップＳ１０３）。そして、反射除去補正装置１０は、補正済眼鏡画像データを元の画像データに重畳合成して（ステップＳ１０４）、反射除去の処理を終了する。

【0027】

次に、反射除去補正装置１０における反射除去について、具体例に基づいて説明を行う。図４は、対象となる画像データの一例を表した画像図である。この図４に示す画像データには眼鏡を掛けた人物が写っており、眼鏡の左目部分に反射箇所が存在する。このような画像データを反射除去補正装置１０の取得部１１で取得した場合における流れを説明する。

【0028】

図５は、対象画像データから眼鏡箇所を眼鏡画像データとして抽出する様子を表した説明図である。この図５に示す画像は、図４に示す対象画像データと同じものであるが、反射除去補正装置１０における抽出部１２において、図５に示すように、画像データから所定サイズの眼鏡画像データを抽出する。

【0029】

図６は、反射除去補正処理を実行するためのニューラルネットワークの学習手順を表した説明図である。図６に示すように、ニューラルネットワークの学習にためには、先ず、眼鏡画像データと、その眼鏡画像データに対して適切に反射除去補正処理がなされた正解画像データとが１組となった学習用データセットを用意する。次に、学習用データセットのうちの眼鏡画像データをニューラルネットワークの入力ノードに対して入力する。ニューラルネットワークは、反射除去のための差分を出力する。次に、入力した眼鏡画像データに対して得られた差分を加算する。そして、差分を加算した眼鏡画像データと、学習用データセットのうちの正解眼鏡画像データとを用いて評価を行う。そして、その評価に基づいてニューラルネットワークのパラメータを更新する。評価の一例としては、差分を加算した眼鏡画像データと、学習用データセットのうちの正解眼鏡画像データとを用いて、損失関数によって損失を計算し、損失が小さくなるようにニューラルネットワークのパラメータを更新することが考えられる。このような学習用データセットを用いた学習処理を、複数組の学習用データセットを用いて実行することで、反射除去補正の精度を向上させるようにする。

【0030】

また、学習過程で用いる損失関数に対して、正解と大きな差分が発生している面積が小さいほどロス値が小さくなるバイアス項を導入するようにししてもよい。このような評価基準を採用することにより、補正が広範囲に及ばない（余計なことをさせない＝局所エリアで高精度化）ことを実現することが可能となる。

【0031】

図７は、抽出した眼鏡画像データに対して学習済モデルを用いて反射除去補正を実行する様子を説明するための説明図である。図５において抽出した眼鏡画像データを図６の方法で学習した学習済モデルに対して入力すると、学習済モデルは差分を出力する。この得られた差分を入力した眼鏡画像データに対して加算することで、補正済眼鏡画像データが得られる。

【0032】

図８は、補正済眼鏡画像データを元の画像データに重畳合成した様子を表した画像図である。図７の方法で取得した補正済眼鏡画像データを元の眼鏡画像データを抽出した領域に対して重畳合成することで、反射箇所を含んだ元の眼鏡画像データが、反射除去補正が済んだ補正済眼鏡画像データに置き換わることになる。このように、反射除去補正装置１０において各種処理を実行するにより、図８に示すような反射除去補正の済んだ画像データを取得することができる。

【0033】

以上のように、本発明に係る反射除去補正装置１０によれば、対象となる画像データを取得し、画像データに眼鏡をかけた人物が存在する場合に、当該人物の眼鏡箇所を所定サイズの眼鏡画像データとして抽出し、眼鏡の反射除去補正処理について予め学習させた学習済モデルを用いて、入力した眼鏡画像データに対応する反射除去補正処理後の補正済眼鏡画像データを取得し、補正済眼鏡画像データを元の画像データに重畳合成するようにしたので、眼鏡に起因する撮影画像に生じる反射の問題を違和感なく補正することが可能となる。また、画像全体を補正対象とせずに、所定サイズで抽出した眼鏡画像データのみを補正対象とすることで、補正される可能性のある領域を眼鏡周辺のみに制限することができ、これによってオリジナルの画像の内容を可能な限り残すことが可能となる。

【0034】

［第２の実施の形態］
第１の実施の形態においては、眼鏡画像データをニューラルネットワークに入力し、眼鏡画像データとその眼鏡画像データに対応する正解画像データとの差分を出力するようにニューラルネットワークを学習させて学習済モデルを得るものとして説明を行ったが、さらに、反射箇所を判別するセグメンテーションの機能を備え、当該箇所のみ補正させるようにしてもよい。

【0035】

例えば、学習時にニューラルネットワークに入力する眼鏡画像データに対して画素単位で反射箇所を示すアノテーションを付すようにし、アノテーションが付された画素について反射除去補正後の画素値に修正するための差分（正解画像データとの差分）を出力させるようにニューラルネットワークを学習させる。このような学習を行うことで、学習済モデルは、反射箇所か否かの判定を画素単位で実行可能なセグメンテーション機能と、反射箇所と判定されるべき画素について反射除去補正に必要な差分データを出力する補正機能との両方を備えたものとなる。これにより、眼鏡画像データのうちの反射箇所のみを補正対象とすることが可能となるので、より一層オリジナルの内容を残すことが可能となる。

【0036】

なお、セグメンテーション機能と補正機能とを同時に実現するニューラルネットワークの他、これらを別々のニューラルネットワークとして構成してもよい。一段目のニューラルネットワークにおいてセグメンテーション機能を実現させて画素単位での反射箇所の判定結果を出力させ、二段目のニューラルネットワークに対して判定結果と眼鏡画像データとを入力して補正処理を実行させて反射箇所補正に必要な差分データを出力させる構成としてもよい。

【0037】

［第３の実施の形態］
第１及び第２の実施の形態においては、眼鏡画像データを抽出して眼鏡画像データに対してのみ補正を行う構成としていたが、これに限定されるものではなく、画像データ全体に対して反射除去補正処理を実行する構成であってもよい。この場合、ニューラルネットワークに対して画像データ全体を入力することになるが、ニューラルネットワークに差分を出力させることを学習させ、また、損失関数に対して正解と大きな差分が発生している面積が小さいほどロス値が小さくなるバイアス項を導入することによって、画像データ全体に対して反射除去補正処理を実行する構成であっても、補正される箇所を最小限に止めることが可能となる。

【0038】

［第４の実施の形態］
第１乃至第３の実施の形態においては、撮影写真補正装置の一例として反射除去補正装置１０について説明を行ったが、本発明の撮影写真補正装置はこれに限定されるものではない。例えば、写真館などにおいて写真撮影を行う場合、バック紙と呼ばれる紙や布を背景に用いることがあるが、その紙や布に汚れがあることがあり、その汚れを撮影後に補正することがある。また、顧客が希望する場合には、撮影後の写真に写る顔からシワやシミを取り除く補正や、肌の色調を整える美肌補正などを行うことがある。これらの補正についても、抽出部において補正対象を含む補正対象画像データを抽出し、その補正対象を補正することについて学習を行った学習済モデルに対して抽出した補正対象画像データを入力して補正済対象画像データを取得し、補正済対象画像データを元の画像データに重畳合成することで、補正処理を行った画像データを得ることができる。

【0039】

すなわち、本発明に係る撮影写真補正装置は、対象となる画像データを取得する取得部と、画像データに補正対象箇所が存在する場合に、当該補正対象箇所を所定サイズの補正対象画像データとして抽出する抽出部と、補正対象に関する補正処理について予め学習させた学習済モデルを用いて、入力した補正対象画像データに対応する補正処理後の補正済対象画像データを取得する補正対象補正部と、補正済対象画像データを元の画像データに重畳合成する重畳合成部とを備えるものであるといえる。

【0040】

［第５の実施の形態］
第１乃至第４の実施の形態においては、抽出部１２において対象画像データを矩形にて抽出する例を用いて説明を行ったが、これに限定されるものではなく、抽出対象である領域を抽出可能であればどのような形状で抽出するものであってもよい。例えば、抽出対象の領域を判別することについて予め学習を行った学習済モデル（セグメンテーションＡＩ）等を利用して抽出対象の領域を判別し、抽出対象領域の輪郭（例えば、抽出対象が眼鏡である場合には、眼鏡の輪郭）で切り取ったような対象画像データであってもよい。

【0041】

上記のように、抽出部１２において、抽出対象を輪郭等の任意形状で抽出することは可能であるが、補正処理を担うニューラルネットワークに対しては予め設定した所定サイズの矩形のフォーマットであることが好ましい。そこで、任意形状で抽出した抽出対象領域を含む矩形のフォーマットサイズの対象画像データを生成し、抽出した抽出対象領域以外の画素を黒や灰色で塗り潰した対象画像データとする。このようなフォーマットサイズの中に抽出した抽出対象領域の画素とそれ以外の塗り潰した画素を含む対象画像データを用いて補正用のニューラルネットワークを学習して学習済モデルを得るようにすれば、抽出対象領域の輪郭で切り取ったような対象画像データに対する補正済対象画像データを得ることが可能となる。

【0042】

また、必ずしも輪郭で抽出する必要はなく、抽出部１２において抽出対象領域と判別された画素をそのまま抽出して、抽出対象領域の画素以外の画素を黒や灰色で塗り潰したフォーマットサイズの対象画像データであってもよい。このような抽出方法であっても、この抽出方法によって得た対象画像データに基づいて補正用のニューラルネットワークを学習して学習済モデルを得るようにすれば、適切に補正処理を行うことが可能となる。

【0043】

また、抽出部（抽出部１２）において抽出する抽出対象と、補正部（反射除去補正部１３）において補正する対象は、第１の実施の形態においては、眼鏡箇所を抽出して反射箇所を補正する構成であり両者を異なるものとしているが、抽出対象と補正対象が一致する構成であってもよい。すなわち、抽出部において直接補正対象を抽出して、補正部においてその補正対象領域を補正するという構成とすることも可能である。

【符号の説明】

【0044】

１０ 反射除去補正装置（サーバ装置）
１１ 取得部
１２ 抽出部
１３ 反射除去補正部
１４ 重畳合成部
１５ 記憶部
２０、２０１～２０ｎ 端末装置
３０ 通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】