知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-21
(45)【発行日】2024-07-01
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
H04N 5/208 20060101AFI20240624BHJP
G06T 1/40 20060101ALI20240624BHJP
【ＦＩ】
H04N5/208
G06T1/40
【請求項の数】
13
(21)【出願番号】P 2022169200
(22)【出願日】2022-10-21
(65)【公開番号】P2024061326
(43)【公開日】2024-05-07
【審査請求日】2023-06-06
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】高田 洋佑
【審査官】佐田 宏史
(56)【参考文献】
【文献】特表２０２１－５３１５８８（ＪＰ，Ａ）
【文献】国際公開第２０２２／０１１５７１（ＷＯ，Ａ１）
【文献】中国特許出願公開第１１０７０６１５５（ＣＮ，Ａ）
【文献】特許第７００７０００（ＪＰ，Ｂ１）
【文献】特開２０２１－０７２６１５（ＪＰ，Ａ）
【文献】特開２０２２－１１４４４０（ＪＰ，Ａ）
【文献】特開２０２２－１２１３８２（ＪＰ，Ａ）
【文献】国際公開第２０２１／１６３８４４（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０２１／０１１２２６１（ＵＳ，Ａ１）
【文献】渡邊 駿、外４名，“ＭＣＮＮとＳＯＭを用いた動画像の記銘と動的想起”，電気学会論文誌Ｃ，日本，一般社団法人電気学会，2015年04月01日，Vol.135, No.4，pp.414-422
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １／３８７，５／２０－５／２１３，７／０１
Ｇ０６Ｔ １／００，１／４０、３／４０，５／００
(57)【特許請求の範囲】
【請求項1】
相関の高い複数の入力画像データを取得する第１の取得手段と、前記複数の入力画像データのうちのＮ枚（Ｎは２以上の整数）の入力画像データに基づいて、ニューラルネットワークを用いて劣化復元した、該Ｎ枚の入力画像データに対応するＮ枚の第１の復元画像データを出力する復元手段と、
前記復元手段により出力された同じ時刻における複数の前記第１の復元画像データに基づいて、該時刻における１枚の第２の復元画像データを出力する抑制手段とを有することを特徴とする情報処理装置。
【請求項2】
前記復元手段は、前記Ｎ枚の入力画像データを組として連結し、前記組毎に前記Ｎ枚の第１の復元画像データを出力することを特徴とする請求項１に記載の情報処理装置。
【請求項3】
複数の前記Ｎ枚の入力画像データの組を、前記複数の入力画像データを１枚からＮ枚の範囲で時間方向にずらして選択し作成することを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記復元手段は、同じ座標にある各画素を重ね合わせて前記Ｎ枚の入力画像データを連結することを特徴とする請求項２に記載の情報処理装置。
【請求項5】
前記相関の高い複数の入力画像データは、時系列的に連続する複数の入力画像データであることを特徴とする請求項１～４の何れか１項に記載の情報処理装置。
【請求項6】
前記ニューラルネットワークの学習済モデルを取得する第２の取得手段を有することを特徴とする請求項１～４の何れか１項に記載の情報処理装置。
【請求項7】
前記抑制手段は、同じ時刻における複数の前記第１の復元画像データを合成して１枚の前記第２の復元画像データを出力することを特徴とする請求項１～４の何れか１項に記載の情報処理装置。
【請求項8】
前記抑制手段は、同じ時刻における複数の前記第１の復元画像データをニューラルネットワークを用いて合成して１枚の前記第２の復元画像データを出力することを特徴とする請求項１～４の何れか１項に記載の情報処理装置。
【請求項9】
前記Ｎ枚の入力画像データに対して、前記復元手段による処理及び前記抑制手段による処理を反復して実行することを特徴とする請求項１～４の何れか１項に記載の情報処理装置。
【請求項10】
相関の高い複数の入力画像データを取得する第１の取得手段と、
前記複数の入力画像データのうちのＮ枚（Ｎは２以上の整数）の入力画像データの劣化量を推定する推定手段と、
前記Ｎ枚の入力画像データ及び前記推定手段により推定された劣化量に基づいて、ニューラルネットワークを用いて劣化復元した、該Ｎ枚の入力画像データに対応するＮ枚の第１の復元画像データを出力する復元手段とを有することを特徴とする情報処理装置。
【請求項11】
前記劣化復元される劣化は、ノイズ、圧縮、低解像、ぼけ、収差、欠損、撮影時の天候の影響によるコントラスト低下のうちの少なくとも１つを含むことを特徴とする請求項１～４の何れか１項に記載の情報処理装置。
【請求項12】
情報処理装置が実行する情報処理方法であって、
相関の高い複数の入力画像データを取得する取得工程と、
前記複数の入力画像データのうちのＮ枚（Ｎは２以上の整数）の入力画像データに基づいて、ニューラルネットワークを用いて劣化復元した、該Ｎ枚の入力画像データに対応するＮ枚の第１の復元画像データを出力する復元工程と、
前記復元工程で出力された同じ時刻における複数の前記第１の復元画像データに基づいて、該時刻における１枚の第２の復元画像データを出力する抑制工程とを有することを特徴とする情報処理方法。
【請求項13】
情報処理装置のコンピュータに、相関の高い複数の入力画像データを取得する取得ステップと、
前記複数の入力画像データのうちのＮ枚（Ｎは２以上の整数）の入力画像データに基づいて、ニューラルネットワークを用いて劣化復元した、該Ｎ枚の入力画像データに対応するＮ枚の第１の復元画像データを出力する復元ステップと、
前記復元ステップで出力された同じ時刻における複数の前記第１の復元画像データに基づいて、該時刻における１枚の第２の復元画像データを出力する抑制ステップとを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、劣化した動画を復元する情報処理技術に関する。
【背景技術】
【0002】
近年、ディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）が、画像や動画の劣化を復元するアプリケーションに応用されてきている。ＤＮＮとは、２層以上の隠れ層を有するニューラルネットワークを指し、隠れ層の数を多くすることで性能が向上してきている。動画の劣化を復元する場合、時間的一貫性が知覚的な品質において重要な要素となる。そのため、時系列的に隣接する画像の情報を利用する必要がある。
【0003】
一般に、ＤＮＮを用いて動画の劣化を復元する際、時系列的に連続する複数枚の画像を入力し、１枚の劣化復元画像を出力する。非特許文献１には、時系列的に連続するＮ（Ｎは自然数）枚の画像に対し、それぞれ空間方向のノイズ低減を行い、それらの結果を位置合わせした後に時間方向のノイズ低減処理を行い、Ｎ枚のうち中央１枚のノイズ低減結果を出力する方法が開示されている。また、非特許文献２には、位置合わせを行うための動き補償の仕組みをＤＮＮに組み込むことで、非特許文献１の空間方向のノイズ低減後に行う位置合わせを省く方法が開示されている。
【先行技術文献】
【非特許文献】
【0004】
【文献】Ｍａｔｉｓ Ｔａｓｓａｎｏ，Ｊｕｌｉｅ Ｄｅｌｏｎ， Ｔｈｏｍａｓ Ｖｅｉｔ，“ＤＶＤｎｅｔ：Ａ Ｆａｓｔ Ｎｅｔｗｏｒｋ ｆｏｒ Ｄｅｅｐ Ｖｉｄｅｏ Ｄｅｎｏｉｓｉｎｇ”，２０１９ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）
【文献】Ｍａｔｉｓ Ｔａｓｓａｎｏ，Ｊｕｌｉｅ Ｄｅｌｏｎ， Ｔｈｏｍａｓ Ｖｅｉｔ，“ＦａｓｔＤＶＤｎｅｔ：Ｔｏｗａｒｄｓ Ｒｅａｌ－Ｔｉｍｅ Ｄｅｅｐ Ｖｉｄｅｏ Ｄｅｎｏｉｓｉｎｇ Ｗｉｔｈｏｕｔ Ｆｌｏｗ Ｅｓｔｉｍａｔｉｏｎ”，２０２０ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、非特許文献１、２に開示された動画の劣化復元方法では、計算コストがかかるという課題がある。これは、時系列的に連続するＮ枚の画像を入力し、Ｎ枚のうち中央１枚のノイズ低減結果を出力する処理を、時間方向に１枚ずつシフトして行うためである。本発明は、動画の劣化復元処理を高速に行うことができる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る情報処理装置は、相関の高い複数の入力画像データを取得する第１の取得手段と、前記複数の入力画像データのうちのＮ枚（Ｎは２以上の整数）の入力画像データに基づいて、ニューラルネットワークを用いて劣化復元した、該Ｎ枚の入力画像データに対応するＮ枚の第１の復元画像データを出力する復元手段と、前記復元手段により出力された同じ時刻における複数の前記第１の復元画像データに基づいて、該時刻における１枚の第２の復元画像データを出力する抑制手段とを有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、動画の劣化復元処理を高速に行うことが可能になる。
【図面の簡単な説明】
【0008】
【図1】情報処理システムの構成例を示す図である。
【図2】実施形態１に係る情報処理システムの機能構成例を示す図である。
【図3】実施形態１に係る劣化復元推論処理を説明する図である。
【図4】ＣＮＮの構造と、推論及び学習の流れを説明する図である。
【図5】画像データに対する劣化付与の処理を説明する図である。
【図6】劣化復元学習の処理を説明する図である。
【図7】実施形態１に係る情報処理システムにおける処理例を示すフローチャートである。
【図8】ＣＮＮの構造を説明する図である。
【図9】実施形態２に係る情報処理システムの機能構成例を示す図である。
【図10】実施形態２に係る劣化復元推論処理を説明する図である。
【図11】実施形態２に係る情報処理システムにおける処理例を示すフローチャートである。
【図12】実施形態３に係る情報処理システムの機能構成例を示す図である。
【図13】実施形態３に係る劣化復元推論処理を説明する図である。
【図14】実施形態３に係る情報処理システムにおける処理例を示すフローチャートである。
【図15】実施形態４に係る情報処理システムの機能構成例を示す図である。
【図16】実施形態４に係る情報処理システムにおける処理例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせのすべてが本発明の解決手段に必須のものとは限らない。実施形態の構成は、適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一の構成については、同じ符号を付している。
【0010】
＜ＣＮＮについて＞
まず、以下の実施形態において用いる、深層学習を応用した情報処理技術全般で用いられている畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）について説明する。ＣＮＮは、学習（ｔｒａｉｎｉｎｇ又はｌｅａｒｎｉｎｇ）により生成したフィルタを画像データに対して畳み込んだ（ｃｏｎｖｏｌｕｔｉｏｎ）後、非線形演算することを繰り返す技術である。フィルタは、局所受容野（Ｌｏｃａｌ Ｒｅｃｅｐｔｉｖｅ Ｆｉｅｌｄ）とも呼ばれる。画像データに対してフィルタを畳み込んだ後、非線形演算して得られる画像データは、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）と呼ばれる。また、学習は入力画像データと出力画像データのペアからなる学習データ（ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ又はｄａｔａ ｓｅｔｓ）を用いて行われる。簡単には、入力画像データから対応する出力画像データへ高精度に変換可能なフィルタの値を、学習データから生成することが学習である。この詳細については後述する。
まず、以下の実施形態において用いる、深層学習を応用した情報処理技術全般で用いられている畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）について説明する。ＣＮＮは、学習（ｔｒａｉｎｉｎｇ又はｌｅａｒｎｉｎｇ）により生成したフィルタを画像データに対して畳み込んだ（ｃｏｎｖｏｌｕｔｉｏｎ）後、非線形演算することを繰り返す技術である。フィルタは、局所受容野（Ｌｏｃａｌ Ｒｅｃｅｐｔｉｖｅ Ｆｉｅｌｄ）とも呼ばれる。画像データに対してフィルタを畳み込んだ後、非線形演算して得られる画像データは、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）と呼ばれる。また、学習は入力画像データと出力画像データのペアからなる学習データ（ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ又はｄａｔａ ｓｅｔｓ）を用いて行われる。簡単には、入力画像データから対応する出力画像データへ高精度に変換可能なフィルタの値を、学習データから生成することが学習である。この詳細については後述する。
【0011】
画像データがＲＧＢカラーチャネルを有する場合や、特徴マップが複数枚の画像データから構成されている場合、畳み込みに用いるフィルタも、それに応じて複数のチャネルを有する。すなわち、畳み込みフィルタは、縦横サイズと枚数の他に、チャネル数を加えた、４次元配列で表現される。画像データ（又は特徴マップ）にフィルタを畳み込んだ後、非線形演算する処理は、層（ｌａｙｅｒ）という単位で表され、例えば、ｎ層目の特徴マップやｎ層目のフィルタなどと表現される。また、例えば、フィルタの畳み込みと非線形演算を３回繰り返すようなＣＮＮは、３層のネットワーク構造を有する。このような非線形演算処理は、以下の式（１）のように定式化することができる。
【0012】
【数1】
【0013】
式（１）において、Ｗnはｎ層目のフィルタ、ｂnはｎ層目のバイアス、ｆは非線形演算子、Ｘnはｎ層目の特徴マップ、＊は畳み込み演算子である。なお、右肩の（ｌ）はｌ番目のフィルタ又は特徴マップであることを表している。フィルタ及びバイアスは、後述する学習により生成され、まとめて「ネットワークパラメータ」とも呼ばれる。非線形演算としては、例えばシグモイド関数（ｓｉｇｍｏｉｄ ｆｕｎｃｔｉｏｎ）やＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）が用いられる。ＲｅＬＵの場合は、以下の式（２）で与えられる。
【0014】
【数2】
【0015】
式（２）が示すように、入力したベクトルＸの要素のうち負のものはゼロ、正のものはそのままとなる。
【0016】
ＣＮＮを用いたネットワークとしては、画像認識分野のＲｅｓＮｅｔや超解像分野におけるその応用ＳＲＣＮＮが有名である。いずれもＣＮＮを多層にして、フィルタの畳み込みを何度も行うことで、処理の高精度化を図っている。例えば、ＲｅｓＮｅｔは、畳み込み層をショートカットする経路を設けたネットワーク構造を特徴とし、これにより１５２層もの多層ネットワークを実現し、人間の認識率に迫る高精度な認識を実現している。なお、多層ＣＮＮにより処理が高精度化する理由は、簡単には非線形演算を何度も繰り返すことで、入出力間の非線形な関係を表現できるためである。
【0017】
＜ＣＮＮの学習＞
次に、ＣＮＮの学習について説明する。ＣＮＮの学習は、入力学習画像（生徒画像）データと対応する出力学習画像（教師画像）データの組からなる学習データに対して、一般に以下の式（３）で表される目的関数を最小化することで行われる。
次に、ＣＮＮの学習について説明する。ＣＮＮの学習は、入力学習画像（生徒画像）データと対応する出力学習画像（教師画像）データの組からなる学習データに対して、一般に以下の式（３）で表される目的関数を最小化することで行われる。
【0018】
【数3】
【0019】
式（３）において、Ｌは正解とその推定との誤差を測る損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）である。また、Ｙiはｉ番目の出力学習画像データ、Ｘiはｉ番目の入力学習画像データである。また、ＦはＣＮＮの各層で行う演算（式（１））を、まとめて表した関数である。また、θはネットワークパラメータ（フィルタ及びバイアス）である。また、||Ｚ||2はＬ２ノルムであり、簡単にはベクトルＺの要素の２乗和の平方根である。また、ｎは学習に用いる学習データの全枚数である。一般に学習データの全枚数は多いため、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ：ＳＧＤ）では、学習画像データの一部をランダムに選び学習に用いている。これにより、多くの学習データを用いた学習における計算負荷が低減できる。また、目的関数の最小化（＝最適化）法として、モーメンタム（ｍｏｍｅｎｔｕｍ）法やＡｄａＧｒａｄ法、ＡｄａＤｅｌｔａ法、Ａｄａｍ法など、様々な方法が知られている。Ａｄａｍ法は、以下の式（４）で与えられる。
【0020】
【数4】
【0021】
式（４）において、θi
tは反復ｔ回目におけるｉ番目のネットワークパラメータ、ｇはθi
tに関する損失関数Ｌの勾配である。また、ｍ、ｖはモーメントベクトル、αは基本学習率（ｂａｓｅ ｌｅａｒｎｉｎｇ ｒａｔｅ）、β1、β2はハイパーパラメータ、εは小さい定数である。なお、学習における最適化法の選択指針は存在しないため、基本的に何を用いてもよいが、方法毎の収束性には違いがあるため、学習時間の違いが生じることが知られている。
【0022】
以下に説明する各実施形態では、前述したＣＮＮを用いて動画の劣化を画像単位で低減する情報処理（画像処理）を行うものとする。画像の劣化要素としては、例えばノイズ、ボケ、収差、圧縮、低解像、欠損等の劣化、撮影時の霧・霞・雪・雨等の天候の影響によるコントラスト低下のような劣化などが挙げられる。画像における劣化を低減する画像処理としては、ノイズ低減、ボケ除去、収差補正、欠損補完、圧縮による劣化の補正、低解像画像に対する超解像処理、撮影時の天候等に起因するコントラスト低下を補正する処理などが挙げられる。以下に説明する各実施形態における画像劣化の低減処理は、劣化のある画像から、劣化のない（或いは非常に少ない）画像を生成もしくは復元する処理であり、以下の説明では劣化復元処理とも呼ぶ。すなわち、劣化復元とは、例えば、画像自体には劣化が無い（少ない）画像であったものが、その後の増幅や圧縮伸長、他の画像処理等で劣化したものを復元する場合だけでなく、元々の画像そのものに含まれる劣化をも低減可能にすることを含む。
【0023】
〔実施形態１〕
実施形態１では、相関の高いＮ枚（Ｎは２以上の整数）の劣化画像データを入力しＮ枚の劣化復元画像データを出力するニューラルネットワークを用いて、動画の劣化を高速に復元する方法について説明する。本実施形態では、画像の劣化要素としてノイズを例に挙げ、劣化復元処理としてノイズ低減処理を行う例を用いて説明する。
実施形態１では、相関の高いＮ枚（Ｎは２以上の整数）の劣化画像データを入力しＮ枚の劣化復元画像データを出力するニューラルネットワークを用いて、動画の劣化を高速に復元する方法について説明する。本実施形態では、画像の劣化要素としてノイズを例に挙げ、劣化復元処理としてノイズ低減処理を行う例を用いて説明する。
【0024】
＜システム構成＞
図１は、本実施形態に係る情報処理システムの構成例を示すブロック図である。図１に示す情報処理システムでは、学習データの生成及び劣化の復元を行う学習（以後、劣化復元学習とも称す）を担うクラウドサーバ２００と、劣化復元（以後、劣化復元推論とも称す）を担うエッジデバイス１００とがネットワークを介して接続されている。
図１は、本実施形態に係る情報処理システムの構成例を示すブロック図である。図１に示す情報処理システムでは、学習データの生成及び劣化の復元を行う学習（以後、劣化復元学習とも称す）を担うクラウドサーバ２００と、劣化復元（以後、劣化復元推論とも称す）を担うエッジデバイス１００とがネットワークを介して接続されている。
【0025】
＜エッジデバイスのハードウェア構成＞
本実施形態のエッジデバイス１００は、撮像装置１０から入力されるＲＡＷ画像データ（Ｂａｙｅｒ配列）を劣化復元処理の対象となる入力画像として取得する。そして、エッジデバイス１００は、劣化復元処理対象の入力画像に対し、クラウドサーバ２００から提供される学習済ネットワークパラメータを適用して劣化復元推論を行う。すなわち、エッジデバイス１００は、クラウドサーバ２００から提供されたニューラルネットワークを用い、予めインストールされた情報処理アプリケーションプログラムを実行することによって、ＲＡＷ画像データのノイズを低減する情報処理装置である。エッジデバイス１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、大容量記憶装置１０４、汎用インタフェース（Ｉ／Ｆ）１０５、ネットワークＩ／Ｆ１０６を有し、各構成要素がシステムバス１０７によって相互に接続されている。また、エッジデバイス１００は、汎用Ｉ／Ｆ１０５を介して、撮像装置１０、入力装置２０、外部記憶装置３０及び表示装置４０にも接続されている。
本実施形態のエッジデバイス１００は、撮像装置１０から入力されるＲＡＷ画像データ（Ｂａｙｅｒ配列）を劣化復元処理の対象となる入力画像として取得する。そして、エッジデバイス１００は、劣化復元処理対象の入力画像に対し、クラウドサーバ２００から提供される学習済ネットワークパラメータを適用して劣化復元推論を行う。すなわち、エッジデバイス１００は、クラウドサーバ２００から提供されたニューラルネットワークを用い、予めインストールされた情報処理アプリケーションプログラムを実行することによって、ＲＡＷ画像データのノイズを低減する情報処理装置である。エッジデバイス１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、大容量記憶装置１０４、汎用インタフェース（Ｉ／Ｆ）１０５、ネットワークＩ／Ｆ１０６を有し、各構成要素がシステムバス１０７によって相互に接続されている。また、エッジデバイス１００は、汎用Ｉ／Ｆ１０５を介して、撮像装置１０、入力装置２０、外部記憶装置３０及び表示装置４０にも接続されている。
【0026】
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介してエッジデバイス１００の各構成要素を統括的に制御する。また、大容量記憶装置１０４は、例えばＨＤＤやＳＳＤであり、エッジデバイス１００で取り扱われる種々のデータを記憶する。ＣＰＵ１０１は、システムバス１０７を介して、大容量記憶装置１０４へのデータの書き込み及び大容量記憶装置１０４に記憶されたデータの読み出しを行う。汎用Ｉ／Ｆ１０５は、例えば、ＵＳＢ、ＩＥＥＥ１３９４、ＨＤＭＩ（登録商標）等のシリアルバスインタフェースである。エッジデバイス１００は、汎用Ｉ／Ｆ１０５を介して、外部記憶装置３０（例えば、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ等の各種記憶媒体）からデータを取得する。また、エッジデバイス１００は、汎用Ｉ／Ｆ１０５を介して、マウスやキーボード等の入力装置２０からのユーザ指示を受け付ける。また、エッジデバイス１００は、汎用Ｉ／Ｆ１０５を介して、表示装置４０（例えば、液晶ディスプレイ等の各種画像表示デバイス）に、ＣＰＵ１０１によって処理された画像データ等を出力する。また、エッジデバイス１００は、汎用Ｉ／Ｆ１０５を介して、撮像装置１０から劣化復元処理（本例ではノイズ低減処理）の対象となる撮像画像（ＲＡＷ画像）のデータを取得する。ネットワークＩ／Ｆ１０６は、インターネット等のネットワークに接続するためのインタフェースである。エッジデバイス１００は、インストールされたウェブブラウザによってクラウドサーバ２００にアクセスして、劣化復元推論のためのネットワークパラメータを取得する。
【0027】
＜クラウドサーバのハードウェア構成＞
本実施形態のクラウドサーバ２００は、インターネット等のネットワーク上でクラウドサービスを提供する情報処理装置である。クラウドサーバ２００は、学習データの生成及び劣化復元学習を行い、その学習結果のネットワークパラメータとネットワーク構造を格納した学習済モデルを生成する。そして、クラウドサーバ２００は、学習済モデルをエッジデバイス１００からのリクエストに応じて提供する。クラウドサーバ２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、大容量記憶装置２０４及びネットワークＩ／Ｆ２０５を有し、各構成要素がシステムバス２０６によって相互に接続されている。
本実施形態のクラウドサーバ２００は、インターネット等のネットワーク上でクラウドサービスを提供する情報処理装置である。クラウドサーバ２００は、学習データの生成及び劣化復元学習を行い、その学習結果のネットワークパラメータとネットワーク構造を格納した学習済モデルを生成する。そして、クラウドサーバ２００は、学習済モデルをエッジデバイス１００からのリクエストに応じて提供する。クラウドサーバ２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、大容量記憶装置２０４及びネットワークＩ／Ｆ２０５を有し、各構成要素がシステムバス２０６によって相互に接続されている。
【0028】
ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行することで、全体の動作を制御する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。大容量記憶装置２０４は、画像データや各種プログラムを記憶するＨＤＤやＳＳＤ等の大容量の二次記憶装置である。ネットワークＩ／Ｆ２０５は、インターネット等のネットワークに接続するためのインタフェースであり、エッジデバイス１００のウェブブラウザからのリクエストに応じて前述のネットワークパラメータを提供する。
【0029】
なお、エッジデバイス１００及びクラウドサーバ２００の構成要素は、前述した構成以外にも存在するが、ここではそれらの説明を省略する。本実施形態では、クラウドサーバ２００が学習データの生成及び劣化復元学習を行った結果である学習済モデルをエッジデバイス１００にダウンロードし、エッジデバイス１００が処理対象の入力画像データに劣化復元推論を行うことを想定している。なお、前述したシステム構成は一例であって、これに限定されない。例えば、クラウドサーバ２００が担う機能を細分化し、学習データの生成と劣化復元学習とを別々の装置で実行するような構成でもよい。あるいは、エッジデバイス１００の機能とクラウドサーバ２００の機能とを兼ね備えた撮像装置１０において、学習データの生成・劣化復元学習・劣化復元推論のすべてを行うような構成であってもよい。
【0030】
＜システムの機能構成＞
次に、図２を参照して、実施形態１に係る情報処理システムの機能構成について説明する。図２は、実施形態１に係る情報処理システムの機能構成例を示すブロック図である。図２に示すように、エッジデバイス１００は、取得部１１１及び第１の復元部１１２を有する。また、クラウドサーバ２００は、付与部２１１及び学習部２１２を有する。学習部２１２は、第２の復元部２１３、誤差算出部２１４、及びモデル更新部２１５を有する。図２に示す各機能部は、例えば、各機能を実現するためのコンピュータプログラムをＣＰＵ１０１又はＣＰＵ２０１が実行することで実現される。なお、図２に示した機能部の全部あるいは一部をハードウェアで実装されてもよい。
次に、図２を参照して、実施形態１に係る情報処理システムの機能構成について説明する。図２は、実施形態１に係る情報処理システムの機能構成例を示すブロック図である。図２に示すように、エッジデバイス１００は、取得部１１１及び第１の復元部１１２を有する。また、クラウドサーバ２００は、付与部２１１及び学習部２１２を有する。学習部２１２は、第２の復元部２１３、誤差算出部２１４、及びモデル更新部２１５を有する。図２に示す各機能部は、例えば、各機能を実現するためのコンピュータプログラムをＣＰＵ１０１又はＣＰＵ２０１が実行することで実現される。なお、図２に示した機能部の全部あるいは一部をハードウェアで実装されてもよい。
【0031】
なお、図２に示した構成は、適宜変形又は変更することが可能である。例えば、１つの機能部を複数の機能部に分割してもよいし、２つ以上の機能部を１つの機能部に統合してもよい。また、図２に示した構成は、２以上の装置によって実現されてもよい。この場合、各装置は、回路又は有線若しくは無線のネットワークを介して接続され、互いにデータ通信を行って協調動作を行うことで、本実施形態に係る各処理を実現する。
【0032】
エッジデバイス１００の各機能部について説明する。
取得部１１１は、処理対象となる入力動画データを取得し、相関の高いＮ枚（Ｎは２以上の整数）の入力画像データを選択する。取得部１１１は、第１の取得手段及び第２の取得手段の一例である。ここで相関の高いとは、時系列的に連続するものとして説明を行う。Ｎの値は予め設定された値でもよいし、ユーザが任意に設定した値を用いてもよい。本実施形態では、Ｎ＝３とし、入力画像データとしては各画素がＲＧＢのいずれかの色に対応する画素値を有するＲＡＷ画像データを用いるとする。ＲＡＷ画像データは、各画素が一色分の情報を有するＢａｙｅｒ配列（ベイヤ配列）のカラーフィルタを用いて撮像された画像データであるとする。
取得部１１１は、処理対象となる入力動画データを取得し、相関の高いＮ枚（Ｎは２以上の整数）の入力画像データを選択する。取得部１１１は、第１の取得手段及び第２の取得手段の一例である。ここで相関の高いとは、時系列的に連続するものとして説明を行う。Ｎの値は予め設定された値でもよいし、ユーザが任意に設定した値を用いてもよい。本実施形態では、Ｎ＝３とし、入力画像データとしては各画素がＲＧＢのいずれかの色に対応する画素値を有するＲＡＷ画像データを用いるとする。ＲＡＷ画像データは、各画素が一色分の情報を有するＢａｙｅｒ配列（ベイヤ配列）のカラーフィルタを用いて撮像された画像データであるとする。
【0033】
第１の復元部１１２は、推論用劣化復元部であり、クラウドサーバ２００から取得した学習済モデルを用いて、Ｎ枚の入力画像データ毎に劣化復元推論を行い、出力動画データを出力する。図３は、本実施形態に係る第１の復元部１１２が行う劣化復元処理の概要を説明する図である。
【0034】
第１の復元部１１２は、時刻ｔ＝０、１、２における入力画像データ３０１をチャネル方向に連結して、入力連結画像データ３０２を生成する。ここで、チャネル方向とは、複数の入力画像データの同じ座標にある画素を重ね合わせる（スタックする）方向を指し、この方向は入力画像データの高さ、幅にそれぞれ直交する。ＲＡＷ画像データのチャネル数は１であるため、入力画像データの高さをＨ、幅をＷとすると、３枚の入力画像データ３０１を連結して得られた入力連結画像データ３０２は、Ｈ×Ｗ×３のデータ構造となる。
【0035】
続いて、第１の復元部１１２は、入力連結画像データ３０２をＣＮＮ３０３に入力し、式（１）及び式（２）により示されるフィルタの畳み込み演算と非線形演算とを繰り返し、劣化が復元された出力連結画像データ３０４を出力する。出力連結画像データ３０４は、入力連結画像データ３０２と同形状であり、両データにおいて対応するチャネルは同じ時刻である。チャネルの順番は順不同であり、入力連結画像データ３０２と出力連結画像データ３０４とで、時刻の対応関係が取れていれば問題ない。
【0036】
ＣＮＮ３０３は、図３に示すように、入力層３１１、複数の層からなる隠れ層３１２、及び出力層３１３を有する。前述したとおり、入力層３１１と出力層３１３は同形状になる。本実施形態において、隠れ層３１２は入出力層（入力層３１１及び出力層３１３）よりもサイズ（高さと幅）を小さくし、チャネル数を多くしている。これは、一般に画像内の情報を広範囲に取得することと、表現力を高めるための技法である。
【0037】
図４は、ＣＮＮの構造と、推論及び学習の流れを説明する図である。以下、図４を参照して、ＣＮＮについて説明する。ＣＮＮは、前述の式（１）に示した演算を行う複数のフィルタ４０１で構成されている。まず、第１の復元部１１２は、このＣＮＮに対して、入力連結画像データ３０２を入力する。次に、第１の復元部１１２は、入力連結画像データ３０２に対してフィルタ４０１を順次適用して、特徴マップ（図示は省略する）を算出する。そして、第１の復元部１１２は、最後のフィルタ４０１を適用して得られた復元結果を、出力連結画像データ３０４とする。
【0038】
第１の復元部１１２は、出力連結画像データ３０４に対して、入力画像データ３０１の連結とは逆の操作を行うことで、時刻ｔ＝０、１、２における劣化復元後の画像データを得る。最終的には、第１の復元部１１２は、これらの画像データを連番とする出力動画データ３０５を出力する。
【0039】
次に、クラウドサーバ２００の各機能部について説明する。
付与部２１１は、劣化のない教師画像群から取り出した教師画像データに対し、少なくとも１種類以上の劣化要素を付与して生徒画像データを生成する。本例では劣化要素としてノイズを例に挙げているため、付与部２１１は、劣化要素としてのノイズを教師画像データに対して付与して生徒画像データを生成する。本実施形態では、付与部２１１は、撮像装置の物理特性を解析し、解析結果に基づいて撮像装置で発生し得る劣化量よりも広い範囲の劣化量に相当するノイズを、劣化要素として教師画像データに対して付与することで生徒画像データを生成する。解析結果よりも広い範囲の劣化量を付与する理由は、撮像装置の個体差により劣化量の範囲が異なるため、マージンを持たせてロバスト性を高めるためである。
付与部２１１は、劣化のない教師画像群から取り出した教師画像データに対し、少なくとも１種類以上の劣化要素を付与して生徒画像データを生成する。本例では劣化要素としてノイズを例に挙げているため、付与部２１１は、劣化要素としてのノイズを教師画像データに対して付与して生徒画像データを生成する。本実施形態では、付与部２１１は、撮像装置の物理特性を解析し、解析結果に基づいて撮像装置で発生し得る劣化量よりも広い範囲の劣化量に相当するノイズを、劣化要素として教師画像データに対して付与することで生徒画像データを生成する。解析結果よりも広い範囲の劣化量を付与する理由は、撮像装置の個体差により劣化量の範囲が異なるため、マージンを持たせてロバスト性を高めるためである。
【0040】
すなわち、付与部２１１は、図５に示すように、教師画像群５０１から取り出した教師画像データ５０２に対し、撮像装置の物理特性解析結果に基づくノイズを劣化要素５０３として付与５０４することで生徒画像データ５０５を生成する。そして、付与部２１１は、教師画像データ５０２と生徒画像データ５０５のペアを学習データとする。付与部２１１では、教師画像群５０１の教師画像データ毎に劣化要素を付与することで複数の生徒画像データからなる生徒画像群が生成され、これによって学習データ５０６が生成される。なお、本例では劣化要素としてノイズを例に挙げたが、付与部２１１は、前述したボケ、収差、圧縮、低解像、欠損、撮影時の天候等に起因するコントラスト低下などの複数種類の劣化要素の何れか又はそれらを複数組み合わせて教師画像データに付与してもよい。
【0041】
教師画像群には、例えば、風景又は動物を含む自然写真、ポートレート又はスポーツ写真のような人物写真、建築や商品といった人工物写真など、様々な種類の画像データが格納されている。本実施形態では、教師画像データは、入力画像データと同じく、各画素がＲＧＢのいずれかの色に対応する画素値を有するＲＡＷ画像データであるとする。また、撮像装置の物理特性解析結果は、例えば、カメラ（撮像装置）に内蔵されている撮像センサで発生する感度毎のノイズ量や、レンズにより発生する収差量等が含まれる。これらを用いることで、撮影条件毎にどの程度の画質劣化が発生するかを見積もることができる。つまり、ある撮影条件において見積もった劣化を教師画像データに対して付与することで、撮影時に得られる画像と同等の画像を生成することができる。
【0042】
学習部２１２は、劣化復元学習のＣＮＮに適用するネットワークパラメータを取得し、取得したネットワークパラメータを用いてＣＮＮの重みを初期化した後、付与部２１１により生成された学習データを用いて劣化復元学習を行う。ネットワークパラメータは、ニューラルネットワークのパラメータの初期値、ニューラルネットワークの構造及び最適化方法を示すハイパーパラメータを含む。学習部２１２における劣化復元学習は、第２の復元部２１３、誤差算出部２１４、及びモデル更新部２１５で行われる。
【0043】
図６は、学習部２１２における劣化復元学習の処理を説明する図である。
第２の復元部２１３は、学習用劣化復元部であり、付与部２１１から学習データ５０６を受け取り、生徒画像データ５０５の劣化を復元する。具体的には、第２の復元部２１３は、生徒画像データ５０５をＣＮＮ６０１に入力し、式（１）及び式（２）により示されるフィルタの畳み込み演算と非線形演算とを複数繰り返し、劣化復元画像データ６０２を出力する。
第２の復元部２１３は、学習用劣化復元部であり、付与部２１１から学習データ５０６を受け取り、生徒画像データ５０５の劣化を復元する。具体的には、第２の復元部２１３は、生徒画像データ５０５をＣＮＮ６０１に入力し、式（１）及び式（２）により示されるフィルタの畳み込み演算と非線形演算とを複数繰り返し、劣化復元画像データ６０２を出力する。
【0044】
誤差算出部２１４は、教師画像データ５０２と劣化復元画像データ６０２をＬｏｓｓ６０３に入力し、それらの誤差を算出する。ここで、教師画像データ５０２と劣化復元画像データ６０２は同じ画素数を持つ。モデル更新部２１５は、誤差算出部２１４が算出した誤差を更新処理６０４に入力し、誤差が小さくなるようにＣＮＮ６０１に関するネットワークパラメータを更新する。なお、学習部２１２で用いるＣＮＮは、第１の復元部１１２で用いるＣＮＮと同じニューラルネットワークである。
【0045】
＜システム全体の処理の流れ＞
次に、実施形態１に係る情報処理システムで行われる各種処理について説明する。図７（Ａ）及び図７（Ｂ）は、実施形態１に係る情報処理システムにおける処理例を示すフローチャートである。以下、図７（Ａ）及び図７（Ｂ）のフローチャートに沿って説明する。
次に、実施形態１に係る情報処理システムで行われる各種処理について説明する。図７（Ａ）及び図７（Ｂ）は、実施形態１に係る情報処理システムにおける処理例を示すフローチャートである。以下、図７（Ａ）及び図７（Ｂ）のフローチャートに沿って説明する。
【0046】
図７（Ａ）のフローチャートを参照して、クラウドサーバ２００で行われる劣化復元学習の一例の流れについて説明する。
ステップＳ７０１では、クラウドサーバ２００が、予め用意された教師画像群と、撮像センサの特性や撮影時の感度、被写体距離、レンズの焦点距離やｆ値、露出値などの撮像装置における物理特性解析結果とを取得する。教師画像群の教師画像データは、ベイヤ（Ｂａｙｅｒ）配列のＲＡＷ画像データであり、例えば、撮像装置１０で撮像することにより得られる。これに限らず、クラウドサーバ２００には、撮像装置１０で撮像して得られたものをそのまま教師画像データとしてアップロードしてもよいし、撮り溜めたものをＨＤＤ等に記憶しておきそれを教師画像データとしてアップロードしてもよい。クラウドサーバ２００が取得した教師画像群のデータと、撮像装置の物理特性解析結果とは、付与部２１１に送られる。
ステップＳ７０１では、クラウドサーバ２００が、予め用意された教師画像群と、撮像センサの特性や撮影時の感度、被写体距離、レンズの焦点距離やｆ値、露出値などの撮像装置における物理特性解析結果とを取得する。教師画像群の教師画像データは、ベイヤ（Ｂａｙｅｒ）配列のＲＡＷ画像データであり、例えば、撮像装置１０で撮像することにより得られる。これに限らず、クラウドサーバ２００には、撮像装置１０で撮像して得られたものをそのまま教師画像データとしてアップロードしてもよいし、撮り溜めたものをＨＤＤ等に記憶しておきそれを教師画像データとしてアップロードしてもよい。クラウドサーバ２００が取得した教師画像群のデータと、撮像装置の物理特性解析結果とは、付与部２１１に送られる。
【0047】
ステップＳ７０２では、付与部２１１が、学習データ生成処理を行い、ステップＳ７０１で取得された教師画像群の教師画像データに対し、撮像装置の物理特性解析結果に基づいてノイズを付与して生徒画像データを生成する。付与部２１１は、教師画像群の教師画像データ毎に劣化要素を付与することで複数の生徒画像データを生成し、教師画像データと生徒画像データとをペアにして学習データを生成する。なお、付与部２１１は、撮像装置の物理特性解析結果を基に予め測定した量のノイズを、予め設定した順或いはランダムな順に付与する。
【0048】
ステップＳ７０３では、クラウドサーバ２００が、劣化復元学習のＣＮＮに適用するネットワークパラメータを取得する。ここでのネットワークパラメータは、前述したようにニューラルネットワークのパラメータの初期値、ニューラルネットワークの構造及び最適化方法を示すハイパーパラメータを含む。クラウドサーバ２００が取得したネットワークパラメータは、学習部２１２に送られる。
【0049】
ステップＳ７０４では、学習部２１２の第２の復元部２１３が、ステップＳ７０３で取得されたネットワークパラメータを用いてＣＮＮの重みを初期化した後、ステップＳ７０２で生成された生徒画像データの劣化復元を行う。第２の復元部２１３は、前述したように、生徒画像データをＣＮＮに入力し、式（１）及び式（２）により示されるフィルタの畳み込み演算と非線形演算とを複数繰り返すことで生徒画像データの劣化復元を行い、劣化復元画像データを出力する。
【0050】
ステップＳ７０５では、学習部２１２の誤差算出部２１４が、教師画像データと、ステップＳ７０４で劣化復元して得られた劣化復元画像データとの誤差を、式（３）に示した損失関数に従って算出する。
【0051】
ステップＳ７０６では、学習部２１２のモデル更新部２１５が、前述のように、ステップＳ７０５で得られた誤差が小さくなる（最小になる）ように、ＣＮＮに関するネットワークパラメータを更新する。
【0052】
ステップＳ７０７では、学習部２１２が、学習を終了するか否かを判定する。学習部２１２は、例えば、ネットワークパラメータの更新回数が所定の回数に達した場合に、学習を終了すると判定する。学習を終了すると学習部２１２が判定した場合（ステップＳ７０７でＹＥＳ）、図７（Ａ）に示す劣化復元学習を終了する。学習を終了しないと学習部２１２が判定した場合（ステップＳ７０７でＮＯ）、クラウドサーバ２００の処理はステップＳ７０４へ戻り、ステップＳ７０４以降の処理によって別の生徒画像データ及び教師画像データを用いた学習が行われる。
【0053】
次に、図７（Ｂ）のフローチャートを参照して、エッジデバイス１００で行われる劣化復元推論の一例の流れについて説明する。
ステップＳ７１１では、エッジデバイス１００が、クラウドサーバ２００での劣化復元学習の学習結果である学習済モデルと、劣化復元処理の対象となる入力動画データとを取得する。入力動画データは、例えば、撮像装置１０で撮像したものを直接入力してもよいし、事前に撮像して大容量記憶装置１０４に記憶しておいたものを読み出してもよい。エッジデバイス１００が取得した入力動画データと学習済モデルとは、取得部１１１に送られる。
ステップＳ７１１では、エッジデバイス１００が、クラウドサーバ２００での劣化復元学習の学習結果である学習済モデルと、劣化復元処理の対象となる入力動画データとを取得する。入力動画データは、例えば、撮像装置１０で撮像したものを直接入力してもよいし、事前に撮像して大容量記憶装置１０４に記憶しておいたものを読み出してもよい。エッジデバイス１００が取得した入力動画データと学習済モデルとは、取得部１１１に送られる。
【0054】
ステップＳ７１２では、取得部１１１が、ステップＳ７１１で取得された入力動画データからＮ枚の入力画像データを選択し、チャネル方向に連結した入力連結画像データを生成する。本実施形態では、取得部１１１は、入力動画データから時系列的に連続するＮ枚の入力画像データを選択し取得する。
【0055】
ステップＳ７１３では、第１の復元部１１２が、学習部２１２の学習で用いたのと同じＣＮＮを構築して、入力連結画像データの劣化復元を行う。この際、既存のネットワークパラメータが、ステップＳ７１１でクラウドサーバ２００から取得した更新後のネットワークパラメータによって初期化される。このように第１の復元部１１２では、更新後のネットワークパラメータを適用したＣＮＮに対して入力連結画像データを入力し、学習部２１２で行ったのと同じ方法で劣化復元を行い、出力連結画像データを得る。
【0056】
ステップＳ７１４では、第２の復元部１１２が、ステップＳ７１３で得られた出力連結画像データをＮ枚に分割し、入力画像データの時刻に対応する劣化復元画像データを得て、出力動画として出力する。
以上が、実施形態１に係る情報処理システムで行われる処理の全体の流れである。
以上が、実施形態１に係る情報処理システムで行われる処理の全体の流れである。
【0057】
従来の動画における劣化復元処理では、時系列的に連続するＮ枚の劣化画像を入力して１枚の劣化復元画像を出力する処理を、時間方向に１枚ずつシフトしながら適用していた。このとき、入力動画データを構成する入力画像データの総数をＫ（ただし、ＫはＮ≦Ｋを満たす整数）、シフトする量をＭ（ただし、Ｍは１≦Ｍ≦Ｎを満たす整数）とすると、劣化復元処理の回数Ｆは、Ｆ＝Ｋ－２×（Ｎ／２）（※除算は切り捨て）となる。すなわち、Ｋ＝９０、Ｎ＝３、Ｍ＝１の場合、Ｆ＝８８となる。
【0058】
一方、本実施形態のように、Ｎ枚の劣化画像を入力してＮ枚の劣化復元画像を出力する処理を時間方向にＮ枚ずつシフトしながら行うことで、劣化復元処理の回数をＦ＝Ｋ／Ｎに削減することができる。すなわち、本実施形態では、Ｋ＝９０、Ｎ＝３の場合、Ｆ＝３０となる。つまり、劣化復元処理にかかるトータルの時間が凡そ１／（Ｎ－１）～１／Ｎになり、１枚の劣化復元画像あたりの劣化復元の処理時間を短縮し、動画の劣化復元処理の高速化が実現できる。
【0059】
なお、図７（Ａ）のステップＳ７０２で学習データを生成したが、学習データは後で生成してもよい。例えば、後続の劣化復元学習の中で教師画像データに対応する生徒画像データを生成するように構成してもよい。また、本実施形態では、予め用意された教師画像群のデータを用いて一から学習を行ったが、学習済のネットワークパラメータをベースにして、本実施形態における劣化復元学習の処理を行ってもよい。
【0060】
本実施形態では、ベイヤ（Ｂａｙｅｒ）配列のカラーフィルタで撮像されたＲＡＷ画像データを例に説明したが、その他のカラーフィルタ配列で撮像されたＲＡＷ画像データであってもよい。また、ＲＡＷ画像データは１チャネルを持つが、カラーフィルタ配列のＲ、Ｇ１、Ｇ２、Ｂの順に画素を並び替えてもよい。このとき、データ構造はＨ×Ｗ×４となり、Ｎ＝３の場合にはＲＡＷ画像データを連結することでＨ×Ｗ×１２のデータ構造となる。また、画像のデータ形式はＲＡＷ画像に限定されず、例えば、デモザイクされたＲＧＢ画像や、ＹＵＶ変換後の画像であってもよい。
【0061】
なお、本実施形態では、図３に示したような入出力層に比べて隠れ層の高さと幅が小さくなるようなＣＮＮについて説明したが、ＣＮＮの構造はこれに限定されない。例えば、図８（Ａ）に示すように、入力層８０１及び出力層８０３と、隠れ層８０２との高さ及び幅が等しくてもよい。
【0062】
なお、本実施形態では、劣化要素としてノイズを例に説明したが、劣化要素は、これに限定されない。劣化要素には、前述したような、ボケ、収差、圧縮、低解像、欠損、撮影時の霧・霞・雪・雨の影響によるコントラスト低下などの何れか若しくはそれらの組み合わせによる劣化が含まれていてもよい。その場合、劣化要素に応じてＣＮＮの入出力層のサイズとチャネル数が異なる。例えば、超解像の場合、入力画像データと出力画像データのチャネル数は等しいが、高さと幅は入力画像データよりも出力画像データの方が大きくなる。この場合のＣＮＮの一例を図８（Ｂ）に示す。図８（Ｂ）に示すように、入力層８１１及び出力層８１３との間に複数の隠れ層８１２を有し、出力層８１３の高さ及び幅は入力層８１１の高さ及び幅より大きい。また、カラー情報が消失した画像からカラー画像を生成する場合、入力画像データと出力画像データのサイズは等しいが、チャネル数は入力画像データよりも出力画像データの方が大きくなる。
【0063】
〔実施形態２〕
実施形態１では、Ｎ枚の劣化画像データを入力しＮ枚の劣化復元画像データを出力するニューラルネットワークを用いることで、動画の劣化復元処理を高速に行う例を説明した。実施形態１では、動画の劣化復元処理の高速化を実現できるものの、劣化復元された動画データは、時間方向の揺らぎ（或いはちらつき）が残存する。これはＮ枚の画像を組とし、組単位での処理を時間方向にＮ枚ずつシフトしながら実施することにより、組の切り替わりにおいて時間方向の連続性が低下あるいは消失するためである。この揺らぎは、劣化の程度が大きい場合に顕著となる。
実施形態１では、Ｎ枚の劣化画像データを入力しＮ枚の劣化復元画像データを出力するニューラルネットワークを用いることで、動画の劣化復元処理を高速に行う例を説明した。実施形態１では、動画の劣化復元処理の高速化を実現できるものの、劣化復元された動画データは、時間方向の揺らぎ（或いはちらつき）が残存する。これはＮ枚の画像を組とし、組単位での処理を時間方向にＮ枚ずつシフトしながら実施することにより、組の切り替わりにおいて時間方向の連続性が低下あるいは消失するためである。この揺らぎは、劣化の程度が大きい場合に顕著となる。
【0064】
実施形態２では、Ｎ枚の各組が重複するようにシフトしてＮ枚の劣化画像データを入力しＮ枚の劣化復元画像データを出力する劣化復元処理を実施し、複数得られた同時刻の復元結果を合成することで時間方向の不連続性を解消する方法について説明する。なお、情報処理システムの基本構成などで実施形態１と共通する内容については説明を省略し、以下では差異点を中心に説明するものとする。
【0065】
図９は、実施形態２に係る情報処理システムの機能構成例を示すブロック図である。図９において、図２に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。図９に示すように、実施形態２に係るエッジデバイス９１０は、取得部９１１、第１の復元部９１２、及び第１の抑制部９１３を有する。なお、実施形態２に係るクラウドサーバ２００は、実施形態１に係るクラウドサーバ２００と同様である。図９に示す各機能部は、例えば、各機能を実現するためのコンピュータプログラムをＣＰＵ１０１又はＣＰＵ２０１が実行することで実現される。なお、図９に示した機能部の全部あるいは一部をハードウェアで実装されてもよい。
【0066】
エッジデバイス９１０について説明する。
取得部９１１は、処理対象となる入力動画データから時系列的に連続するＮ枚の入力画像データを取得する。本実施形態では、実施形態１と同様に、Ｎ枚の入力画像データを組として組毎に劣化復元処理を行うが、各組間で一部重複を持たせるようにしてＮ枚の入力画像データを選択する点が異なる。時間方向にシフトする量をＭとすると、実施形態１では重複させないためにＭ＝Ｎとなるが、本実施形態では１枚からＮ枚の範囲で時間方向にずらして選択するようにするため１≦Ｍ＜Ｎとなる。
取得部９１１は、処理対象となる入力動画データから時系列的に連続するＮ枚の入力画像データを取得する。本実施形態では、実施形態１と同様に、Ｎ枚の入力画像データを組として組毎に劣化復元処理を行うが、各組間で一部重複を持たせるようにしてＮ枚の入力画像データを選択する点が異なる。時間方向にシフトする量をＭとすると、実施形態１では重複させないためにＭ＝Ｎとなるが、本実施形態では１枚からＮ枚の範囲で時間方向にずらして選択するようにするため１≦Ｍ＜Ｎとなる。
【0067】
第１の復元部９１２は、推論用劣化復元部であり、取得部９１１で選択したＮ枚の入力画像データに対して、実施形態１と同様の劣化復元処理を行う。すなわち、第１の復元部１１２は、クラウドサーバ２００から取得した学習済モデルを用いて、Ｎ枚の入力画像データに対して劣化復元推論を行う。各組はＮ枚の入力画像データを一部重複を持たせて選択しているため、第１の復元部９１２からは同時刻の劣化復元画像データが複数出力されることとなる。
【0068】
図１０は、実施形態２に係る劣化復元処理の概要を説明する図である。図１０には、Ｎ＝３、Ｍ＝１の場合、すなわち３枚の劣化画像データを入力し３枚の劣化復元画像データを出力する劣化復元処理を、時間方向に１枚ずつシフトさせて行う場合の例を示している。
【0069】
入力動画データ１００１から時系列順に選択した時刻ｔ＝０、１、２における入力画像データを組Ａとし、時刻ｔ＝１、２、３における入力画像データを組Ｂとし、時刻ｔ＝２、３、４における入力画像データを組Ｃとする。次に、第１の復元部９１２は、組毎に入力画像データをチャネル方向に連結し、得られた入力画像連結データＡ、Ｂ、ＣをＣＮＮ１００２に入力して劣化復元処理を行う。その結果、劣化が復元された出力画像連結データが得られる。そして、第１の復元部９１２は、出力画像連結データを時刻毎に分割して組Ａ、組Ｂ、組Ｃの劣化復元画像データ１００３を出力する。Ｎ＝３である場合、時刻ｔ＝０における劣化復元画像データ１００３は１枚、時刻ｔ＝１における劣化復元画像データ１００３は２枚、時刻ｔ＝２以降は毎時刻３枚の劣化復元画像データ１００３が得られる。
【0070】
第１の抑制部９１３は、同時刻における複数の劣化復元画像データ１００４を合成し、時刻毎に単一の劣化復元画像データを出力する（以後、弊害抑制処理とも称す）。例えば、Ｎ＝３である場合、第１の抑制部９１３は、図１０に示すように同時刻の劣化復元画像データ１００４毎に弊害抑制処理１００５を行い、弊害（時間方向の不連続性）が抑制された結果が出力動画データ１００６として出力される。なお、同時刻における劣化復元画像は最大でＮ枚になり、第１の抑制部９１３は、弊害抑制処理１００５においてＮ枚を合成することになる。合成の方法としては、Ｎ枚の劣化復元画像における画素毎の平均あるいは加重平均などがある。
【0071】
＜システム全体の処理の流れ＞
次に、実施形態２に係る情報処理システムで行われる各種処理について説明する。図１１は、実施形態２に係る情報処理システムにおける処理例を示すフローチャートである。実施形態２において、クラウドサーバ２００で行われる劣化復元学習は、実施形態１と同様である。
次に、実施形態２に係る情報処理システムで行われる各種処理について説明する。図１１は、実施形態２に係る情報処理システムにおける処理例を示すフローチャートである。実施形態２において、クラウドサーバ２００で行われる劣化復元学習は、実施形態１と同様である。
【0072】
図１１のフローチャートを参照して、エッジデバイス９１０で行われる劣化復元推論の一例の流れについて説明する。
ステップＳ１１０１では、エッジデバイス９１０が、クラウドサーバ２００での劣化復元学習の学習結果である学習済モデルと、劣化復元処理の対象となる入力動画データとを取得する。エッジデバイス９１０が取得した入力動画データと学習済モデルとは、取得部９１１に送られる。
ステップＳ１１０１では、エッジデバイス９１０が、クラウドサーバ２００での劣化復元学習の学習結果である学習済モデルと、劣化復元処理の対象となる入力動画データとを取得する。エッジデバイス９１０が取得した入力動画データと学習済モデルとは、取得部９１１に送られる。
【0073】
ステップＳ１１０２では、取得部９１１が、ステップＳ１１０１で取得された入力動画データからＮ枚の入力画像データを選択し、チャネル方向に連結した入力連結画像データを生成する。本実施形態では、取得部９１１は、入力動画データから時系列的に連続するＮ枚の入力画像データを、各組間で一部重複を持たせるようにして選択する。
【0074】
ステップＳ１１０３では、第１の復元部９１２が、学習部２１２の学習で用いたのと同じＣＮＮを構築して、入力連結画像データの劣化復元処理を行う。この際、既存のネットワークパラメータが、ステップＳ１１０１でクラウドサーバ２００から取得した更新後のネットワークパラメータによって初期化される。このように第１の復元部９１２では、更新後のネットワークパラメータを適用したＣＮＮに対して入力連結画像データを入力し、学習部２１２で行ったのと同じ方法で劣化復元処理を行い、出力連結画像データを得る。そして、第１の復元部９１２は、得られた出力連結画像データを時刻毎の劣化復元画像データに分割する。
【0075】
ステップＳ１１０４では、第１の抑制部９１３が、ステップＳ１１０３で第１の復元部９１２により得られた同じ時刻における劣化復元画像データを合成し、弊害が抑制された単一の劣化復元画像データを得て、出力動画データを出力する。
以上が、実施形態２に係る情報処理システムで行われる処理の流れである。
以上が、実施形態２に係る情報処理システムで行われる処理の流れである。
【0076】
実施形態２では、Ｎ枚の各組が重複するようにシフトしてＮ枚の劣化画像データを入力しＮ枚の劣化復元画像データを出力する劣化復元処理を実施し、複数得られた同時刻の劣化復元結果を合成することで時間方向の不連続性を解消する。これにより、劣化復元された動画データにおける時間方向の揺らぎを軽減することができる。本実施形態は、Ｎ枚の各組の内、少なくとも１枚以上の画像を重複させる場合に揺らぎを軽減できる効果を得ることができ、重複する画像数が多いほど揺らぎの軽減効果が大きくなる。ただし、揺らぎの軽減効果と処理速度はトレードオフの関係にあり、揺らぎの軽減効果が大きいほど処理速度は低下する。このトレードオフはシフト量Ｍによって調整することが可能であり、従来のＮ枚入力１枚出力よりも高速に処理しつつ揺らぎを低減するには、シフト量Ｍを１＜Ｍに設定する必要がある。
【0077】
なお、本実施形態では、第１の抑制部９１３で行う画像データの合成方法として平均値を代表値として用いたが、これに限定されない。例えば、Ｎ枚の画素ごとに中央値や最頻値を代表値としてもよい。あるいは、ルールベースの合成方法ではなく、ニューラルネットワークを用いた合成方法でもよい。
【0078】
〔実施形態３〕
実施形態２では、Ｎ枚の各組が重複するようにシフトしながらＮ枚の劣化画像データを入力しＮ枚の劣化復元画像データを出力する劣化復元処理を実施し、複数得られた同時刻の復元画像を合成することで時間方向の不連続性を解消する例を説明した。実施形態２では、入力動画の劣化の程度が大きい（例えば、ノイズが極端に多い）場合、劣化復元画像に対して弊害抑制処理を実施したとしても、揺らぎが残存することがある。この揺らぎの残存は、Ｎが小さい場合、すなわち合成する劣化復元画像の枚数が少ないほど顕著となる。
実施形態２では、Ｎ枚の各組が重複するようにシフトしながらＮ枚の劣化画像データを入力しＮ枚の劣化復元画像データを出力する劣化復元処理を実施し、複数得られた同時刻の復元画像を合成することで時間方向の不連続性を解消する例を説明した。実施形態２では、入力動画の劣化の程度が大きい（例えば、ノイズが極端に多い）場合、劣化復元画像に対して弊害抑制処理を実施したとしても、揺らぎが残存することがある。この揺らぎの残存は、Ｎが小さい場合、すなわち合成する劣化復元画像の枚数が少ないほど顕著となる。
【0079】
実施形態３では、劣化復元処理と弊害抑制処理を１セットとし、このセットを多段階で実施することで、さらに揺らぎの残存を低減する方法について説明する。なお、情報処理システムの基本構成など実施形態１、実施形態２と共通する内容については説明を省略し、以下では差異点を中心に説明するものとする。
【0080】
図１２は、実施形態３に係る情報処理システムの機能構成例を示すブロック図である。図１２において、図２、図９に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。図１２に示すように、実施形態３に係るエッジデバイス１２１０は、構成決定部１２１１、取得部９１１、第１の復元部１２１２、及び第１の抑制部１２１３を有する。また、実施形態３に係るクラウドサーバ１２２０は、付与部２１１及び学習部１２２１を有する。学習部１２２１は、第２の復元部２１３、第２の抑制部１２２２、誤差算出部２１４、及びモデル更新部２１５を有する。図１２に示す各機能部は、例えば、各機能を実現するためのコンピュータプログラムをＣＰＵ１０１又はＣＰＵ２０１が実行することで実現される。なお、図１２に示した機能部の全部あるいは一部をハードウェアで実装されてもよい。
【0081】
エッジデバイス１００の各機能部について説明する。
構成決定部１２１１は、劣化復元処理と弊害抑制処理を１セットとした時に、このセットの反復回数Ｉ（ただし、Ｉは１≦Ｉを満たす整数）を決定する。本実施形態では、一例としてＩ＝２とする。なお、Ｉ＝１の場合には、実施形態２と同様の処理を行うこととなる。
構成決定部１２１１は、劣化復元処理と弊害抑制処理を１セットとした時に、このセットの反復回数Ｉ（ただし、Ｉは１≦Ｉを満たす整数）を決定する。本実施形態では、一例としてＩ＝２とする。なお、Ｉ＝１の場合には、実施形態２と同様の処理を行うこととなる。
【0082】
第１の復元部１２１２は、推論用劣化復元部であり、実施形態２における第１の復元部９１２で行う劣化復元処理と同様の処理をＩ回数分実施する。第１の抑制部１２１３は、推論用弊害抑制部であり、第１の復元部１２１２から出力される同時刻の劣化復元画像データのすべてを入力とし、単一の弊害抑制結果を出力する処理をＩ回数分実施する。
【0083】
図１３は、実施形態３に係る劣化復元処理の概要を説明する図である。図１３には、Ｎ＝３、Ｍ＝１、Ｉ＝２の場合、すなわち３枚の劣化画像データを入力し３枚の劣化復元画像データを出力する劣化復元処理を時間方向に１枚ずつシフトさせて行い、かつ劣化復元処理と弊害抑制処理とのセットを２回実施する場合の例を示している。
【0084】
１セット目は、入力動画データ１３０１から時系列順に選択したＮ枚の入力画像データに対してＣＮＮ＜１＞１３０２を用いて劣化復元処理を行い、劣化復元処理の結果１３０３に対して、ＣＮＮ＜２＞１３０４を用いて弊害抑制処理を行う。２セット目は、１セット目の出力結果１３０５を基に、再びＮ枚ずつ組Ａ、Ｂ、Ｃをつくり、１セット目で用いたＣＮＮ＜１＞１３０２とＣＮＮ＜２＞１３０４を用いて劣化復元処理と弊害抑制処理を行い、結果を出力動画データ１３０９として出力する。すなわち、出力結果１３０５から選択したＮ枚の入力画像データに対してＣＮＮ＜１＞１３０２を用いて劣化復元処理を行い、劣化復元処理の結果１３０７に対して、ＣＮＮ＜２＞１３０４を用いて弊害抑制処理を行う。
【0085】
次に、クラウドサーバ１２２０の各機能部について説明する。
第２の抑制部１２２２は、学習用弊害抑制部であり、ＣＮＮを用いて同時刻における劣化復元画像データを合成して単一の劣化復元画像データを出力する。第２の抑制部１２２２におけるＣＮＮの構造は、Ｎ枚の劣化復元画像データを入力して１枚の劣化復元画像データを出力するものとする。
第２の抑制部１２２２は、学習用弊害抑制部であり、ＣＮＮを用いて同時刻における劣化復元画像データを合成して単一の劣化復元画像データを出力する。第２の抑制部１２２２におけるＣＮＮの構造は、Ｎ枚の劣化復元画像データを入力して１枚の劣化復元画像データを出力するものとする。
【0086】
＜システム全体の処理の流れ＞
次に、実施形態３に係る情報処理システムで行われる各種処理について説明する。図１４（Ａ）及び図１４（Ｂ）は、実施形態３に係る情報処理システムにおける処理例を示すフローチャートである。以下、図１４（Ａ）及び図１４（Ｂ）のフローチャートに沿って説明する。
次に、実施形態３に係る情報処理システムで行われる各種処理について説明する。図１４（Ａ）及び図１４（Ｂ）は、実施形態３に係る情報処理システムにおける処理例を示すフローチャートである。以下、図１４（Ａ）及び図１４（Ｂ）のフローチャートに沿って説明する。
【0087】
図１４（Ａ）のフローチャートを参照して、クラウドサーバ１２２０で行われる劣化復元学習の一例の流れについて説明する。
ステップＳ１４０１では、クラウドサーバ１２２０が、実施形態１におけるステップＳ７０１と同様にして、予め用意された教師画像群と、撮像装置の物理特性解析結果とを取得する。クラウドサーバ１２２０が取得した教師画像群のデータと、撮像装置の物理特性解析結果とは、付与部２１１に送られる。
ステップＳ１４０１では、クラウドサーバ１２２０が、実施形態１におけるステップＳ７０１と同様にして、予め用意された教師画像群と、撮像装置の物理特性解析結果とを取得する。クラウドサーバ１２２０が取得した教師画像群のデータと、撮像装置の物理特性解析結果とは、付与部２１１に送られる。
【0088】
ステップＳ１４０２では、付与部２１１が、実施形態１におけるステップＳ７０２と同様にして、学習データ生成処理を行う。
ステップＳ１４０３では、クラウドサーバ１２２０が、劣化復元学習及び弊害抑制学習のＣＮＮに適用するネットワークパラメータを取得する。クラウドサーバ１２２０が取得したネットワークパラメータは、学習部１２２１に送られる。
ステップＳ１４０３では、クラウドサーバ１２２０が、劣化復元学習及び弊害抑制学習のＣＮＮに適用するネットワークパラメータを取得する。クラウドサーバ１２２０が取得したネットワークパラメータは、学習部１２２１に送られる。
【0089】
ステップＳ１４０４では、学習部１２２１の第２の復元部２１３が、実施形態１におけるステップＳ７０４と同様にして、生徒画像データの劣化復元を行い、劣化復元画像データを出力する。第２の復元部２１３は、ステップＳ１４０３で取得されたネットワークパラメータを用いてＣＮＮの重みを初期化した後、ステップＳ１４０２で生成された生徒画像データの劣化復元を行い、劣化復元画像データを出力する。
【0090】
ステップＳ１４０５では、学習部１２２１の第２の抑制部１２２２が、ステップＳ１４０３で取得されたネットワークパラメータを用いてＣＮＮの重みを初期化した後、ステップＳ１４０４で劣化復元された劣化復元画像データの弊害抑制を行う。
【0091】
ステップＳ１４０６では、学習部１２２１の誤差算出部２１４が、実施形態１におけるステップＳ７０５と同様にして、教師画像データと、ステップＳ１４０５で弊害抑制された劣化復元画像データとの誤差を損失関数に従って算出する。
ステップＳ１４０７では、学習部１２２１のモデル更新部２１５が、実施形態１におけるステップＳ７０６と同様にして、ステップＳ１４０６で得られた誤差が小さくなる（最小になる）ように、ＣＮＮに関するネットワークパラメータを更新する。
ステップＳ１４０７では、学習部１２２１のモデル更新部２１５が、実施形態１におけるステップＳ７０６と同様にして、ステップＳ１４０６で得られた誤差が小さくなる（最小になる）ように、ＣＮＮに関するネットワークパラメータを更新する。
【0092】
ステップＳ１４０８では、学習部１２２１が、学習を終了するか否かを判定する。学習部１２２１は、例えば、ネットワークパラメータの更新回数が所定の回数に達した場合に、学習を終了すると判定する。学習を終了すると学習部１２２１が判定した場合（ステップＳ１４０８でＹＥＳ）、図１４（Ａ）に示す劣化復元学習を終了する。学習を終了しないと学習部１２２１が判定した場合（ステップＳ１４０８でＮＯ）、クラウドサーバ１２２０の処理はステップＳ１４０４へ戻り、ステップＳ１４０４以降の処理によって別の生徒画像データ及び教師画像データを用いた学習が行われる。
【0093】
次に、図１４（Ｂ）のフローチャートを参照して、エッジデバイス１２１０で行われる劣化復元処理の流れについて説明する。
ステップＳ１４１１では、構成決定部１２１１が、劣化復元処理と弊害抑制処理とのセットの反復回数Ｉを決定する。反復回数Ｉは予め設定された値を使用してもよいし、ユーザが任意に設定してもよい。
ステップＳ１４１１では、構成決定部１２１１が、劣化復元処理と弊害抑制処理とのセットの反復回数Ｉを決定する。反復回数Ｉは予め設定された値を使用してもよいし、ユーザが任意に設定してもよい。
【0094】
ステップＳ１４１２では、エッジデバイス１２１０が、実施形態２におけるステップＳ１１０１と同様にして、クラウドサーバ１２２０での劣化復元学習の学習結果である学習済モデルと、劣化復元処理の対象となる入力動画データとを取得する。エッジデバイス１２１０が取得した入力動画データと学習済モデルとは、取得部９１１に送られる。
【0095】
ステップＳ１４１３では、取得部９１１が、実施形態２におけるステップＳ１１０２と同様にして、ステップＳ１４１２で取得された入力動画データからＮ枚の入力画像データを選択し、チャネル方向に連結した入力連結画像データを生成する。本実施形態では、取得部９１１は、入力動画データから時系列的に連続するＮ枚の入力画像データを、各組間で一部重複を持たせるようにして選択する。
【0096】
ステップＳ１４１４では、第１の復元部１２１２が、実施形態２におけるステップＳ１１０３と同様にして、学習部１２２１の学習で用いたのと同じＣＮＮを構築して、入力連結画像データの劣化復元処理を行い、出力連結画像データを得る。そして、第１の復元部１２１２は、得られた出力連結画像データを時刻毎の劣化復元画像データに分割する。
【0097】
ステップＳ１４１５では、第１の抑制部１２１３が、学習部１２２１の学習で用いたのと同じＣＮＮを構築して、同時刻における劣化復元画像データを入力し弊害抑制を行う。これにより、弊害が抑制された単一の劣化復元画像データが得られる。
【0098】
ステップＳ１４１６では、エッジデバイス１２００が、劣化復元処理と弊害抑制処理との反復回数がＩ回に到達したか否かを判定する。反復回数がＩ回に到達したエッジデバイス１２００が判定した場合（ステップＳ１４１６でＹＥＳ）、図１４（Ｂ）に示す劣化復元処理を終了する。反復回数がＩ回に到達していないとエッジデバイス１２００が判定した場合（ステップＳ１４１６でＮＯ）、エッジデバイス１２００の処理はステップＳ１４１５へ戻り、ステップＳ１４１５以降の処理を行う。
以上が、実施形態３に係る情報処理システムで行われる処理の全体の流れである。
以上が、実施形態３に係る情報処理システムで行われる処理の全体の流れである。
【0099】
実施形態３では、劣化復元処理と弊害抑制処理を１セットとし、このセットを多段階で実施することで、さらに揺らぎの残存を低減する。これにより、入力動画データの劣化の程度が大きい場合、劣化復元結果の時間方向の揺らぎの残存を低減することができる。劣化の程度が大きくなるのは主に悪条件下で撮影された場合であり、例えば星明かりよりも暗い低照度環境下において高感度設定で撮影した映像のノイズや、望遠レンズを用いて数ｋｍ先にある被写体を撮影した映像の解像度低下などがある。本実施形態では、特に劣化復元処理と弊害抑制処理とのセットの反復回数Ｉが多いほど揺らぎの残存を低減する効果が大きくなる。揺らぎの残存の軽減効果と処理速度はトレードオフの関係にあり、揺らぎの軽減効果が大きいほど処理速度は低下する。このトレードオフは、入力画像データの総数Ｋ、処理単位の枚数Ｎ、シフト量Ｍ、反復回数Ｉによって調整することが可能である。従来のＮ枚入力１枚出力よりも高速に処理する効果を保持しつつ揺らぎの残存を低減するには、Ｋ－２・（Ｎ／２）＞Ｉ（Ｋ／Ｍ）（※除算は切り捨て）を満たすようにＮ、Ｍ、Ｉ（ただし、Ｎ≦Ｋ、１≦Ｍ≦Ｎ、１≦Ｉを満たす整数）を設定する必要がある。例えば、Ｋ＝９０、Ｎ＝３、Ｍ＝３、Ｉ＝２の場合、左辺は８８、右辺は６０となり、Ｎ枚入力１枚出力より約１．５倍高速に処理できる。
【0100】
なお、本実施形態では、弊害抑制処理としてＣＮＮを用いたが、同時刻における劣化復元画像データの平均を取り単一の劣化復元画像データを出力するようなルールベースの処理を行ってもよい。
【0101】
〔実施形態４〕
実施形態２では、Ｎ枚の各組が重複するようにシフトしながらＮ枚の劣化画像データを入力しＮ枚の劣化復元画像データを出力する劣化復元処理を行い、複数得られた同時刻の復元画像を合成することにより、揺らぎを低減する例を説明した。また、実施形態３では、実施形態２で実施した劣化復元処理と弊害抑制処理を１セットとし、これを多段階で行うことにより、揺らぎの残存を低減する例を説明した。実施形態３では、入力動画の劣化の程度によっては、多段階による弊害抑制処理は過剰補正になる場合や、逆に補正不足になる場合がある。
実施形態２では、Ｎ枚の各組が重複するようにシフトしながらＮ枚の劣化画像データを入力しＮ枚の劣化復元画像データを出力する劣化復元処理を行い、複数得られた同時刻の復元画像を合成することにより、揺らぎを低減する例を説明した。また、実施形態３では、実施形態２で実施した劣化復元処理と弊害抑制処理を１セットとし、これを多段階で行うことにより、揺らぎの残存を低減する例を説明した。実施形態３では、入力動画の劣化の程度によっては、多段階による弊害抑制処理は過剰補正になる場合や、逆に補正不足になる場合がある。
【0102】
実施形態４では、入力動画データの劣化量を推定する機能部を追加することで、適切に劣化を復元する例について説明する。なお、情報処理システムの基本構成など前述した実施形態と共通する内容については説明を省略し、以下では差異点を中心に説明するものとする。
【0103】
図１５は、実施形態４に係る情報処理システムの機能構成例を示すブロック図である。図１５において、図２、図９に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。図１５に示すように、実施形態４に係るエッジデバイス１５１０は、取得部９１１、第１の推定部１５１１、第１の復元部１５１２、及び第１の抑制部９１３を有する。また、実施形態４に係るクラウドサーバ１５２０は、付与部２１１及び学習部１５２１を有する。学習部１５２１は、第２の推定部１５２２、第２の復元部１５２３、誤差算出部１５２４、及びモデル更新部１５２５を有する。図１５に示す各機能部は、例えば、各機能を実現するためのコンピュータプログラムをＣＰＵ１０１又はＣＰＵ２０１が実行することで実現される。なお、図１５に示した機能部の全部あるいは一部をハードウェアで実装されてもよい。
【0104】
エッジデバイス１５１０の各機能部について説明する。
第１の推定部１５１１は、推論用劣化推定部であり、クラウドサーバ１５２０から取得した学習済モデルを用いて、Ｎ枚の入力画像データの劣化の程度を表す劣化量を推定する。劣化量の推定には、ニューラルネットワークが用いられる。第１の推定部１５１１は、入力画像データをＣＮＮに入力し、式（１）と式（２）により示されるフィルタによる畳み込み演算と非線形演算を複数回繰り返して、劣化推定結果を出力する。ここで用いるＣＮＮは、Ｎ枚の画像データを入力してＮ枚の画像データを出力する構造を持つ。
第１の推定部１５１１は、推論用劣化推定部であり、クラウドサーバ１５２０から取得した学習済モデルを用いて、Ｎ枚の入力画像データの劣化の程度を表す劣化量を推定する。劣化量の推定には、ニューラルネットワークが用いられる。第１の推定部１５１１は、入力画像データをＣＮＮに入力し、式（１）と式（２）により示されるフィルタによる畳み込み演算と非線形演算を複数回繰り返して、劣化推定結果を出力する。ここで用いるＣＮＮは、Ｎ枚の画像データを入力してＮ枚の画像データを出力する構造を持つ。
【0105】
第１の復元部１５１２は、推論用劣化復元部であり、クラウドサーバ１５２０から取得した学習済モデルとＮ枚の劣化推定結果とを用いて、Ｎ枚の入力画像データ毎に劣化復元推論を行い、Ｎ枚の劣化復元画像データを得る。劣化量すなわちノイズ量が多い場合には、ノイズを低減した後の揺らぎが残存しやすいため、シフト量Ｍを小さく設定する。例えば、予めノイズ量毎にシフト量Ｍの値を対応付けたルックアップテーブル（ＬＵＴ）を保持しておき、ノイズ量に応じてＬＵＴを参照することで適切なシフト量Ｍの値を設定することができる。
【0106】
劣化復元には、ニューラルネットワークが用いられる。第１の復元部１５１２は、Ｎ枚の入力画像データとＮ枚の劣化推定結果をチャネル方向に連結する。そして、第１の復元部１５１２は、第１の推定部１５１１で用いたＣＮＮとは別のＣＮＮに入力し、式（１）と式（２）により示されるフィルタによる畳み込み演算と非線形演算を繰り返して、劣化復元結果を出力する。
【0107】
次に、クラウドサーバ１５２０の各機能部について説明する。
第２の推定部１５２２は、学習用劣化推定部であり、付与部２１１から学習データを受け取り、生徒画像データに付与された劣化量を推定する。第２の推定部１５２２は、まず生徒画像データを第１のＣＮＮに入力し、式（１）と式（２）により示されるフィルタによる畳み込み演算と非線形演算を複数回繰り返し、劣化推定結果を出力する。
第２の推定部１５２２は、学習用劣化推定部であり、付与部２１１から学習データを受け取り、生徒画像データに付与された劣化量を推定する。第２の推定部１５２２は、まず生徒画像データを第１のＣＮＮに入力し、式（１）と式（２）により示されるフィルタによる畳み込み演算と非線形演算を複数回繰り返し、劣化推定結果を出力する。
【0108】
第２の復元部１５２３は、学習用劣化復元部であり、生徒画像データと、第２の推定部１５２２で推定された劣化推定結果とを受け取り、生徒画像データに対して復元処理を行う。第２の復元部１５２３は、まず生徒画像データと劣化推定結果を第２のＣＮＮに入力し、式（１）と式（２）により示されるフィルタによる畳み込み演算と非線形演算を複数回繰り返し、劣化復元画像データを出力する。
【0109】
誤差算出部１５２４は、生徒画像データに付与された劣化量と第２の推定部１５２２により得られた劣化推定結果の誤差を算出する。ここで、付与された劣化量、生徒画像データ及び劣化推定結果は、どれも同じ画素数を持つ。また、誤差算出部１５２４は、教師画像データと第２の復元部１５２３により得られた復元結果の誤差を算出する。ここで、教師画像データと復元結果は同じ画素数を持つ。
【0110】
モデル更新部１５２５は、誤差算出部１５２４が算出した、付与された劣化量と劣化推定結果の誤差が小さくなる（最小になる）ように第１のＣＮＮに関するネットワークパラメータを更新する。また、モデル更新部１５２５は、誤差算出部１５２４が算出した、教師画像データと復元結果の誤差が小さくなる（最小になる）ように第２のＣＮＮに関するネットワークパラメータを更新する。なお、第２の推定部１５２２と第２の復元部１５２３とで、誤差が算出されるタイミングは異なるが、ネットワークパラメータが更新されるタイミングは同じである。
【0111】
＜システム全体の処理の流れ＞
次に、実施形態４に係る情報処理システムで行われる各種処理について説明する。図１６（Ａ）及び図１６（Ｂ）は、実施形態４に係る情報処理システムにおける処理例を示すフローチャートである。以下、図１６（Ａ）及び図１６（Ｂ）のフローチャートに沿って説明する。
次に、実施形態４に係る情報処理システムで行われる各種処理について説明する。図１６（Ａ）及び図１６（Ｂ）は、実施形態４に係る情報処理システムにおける処理例を示すフローチャートである。以下、図１６（Ａ）及び図１６（Ｂ）のフローチャートに沿って説明する。
【0112】
図１６（Ａ）のフローチャートを参照して、クラウドサーバ１５２０で行われる劣化復元学習の一例の流れについて説明する。
ステップＳ１６０１では、クラウドサーバ１５２０が、実施形態１におけるステップＳ７０１と同様にして、予め用意された教師画像群と、撮像装置の物理特性解析結果とを取得する。クラウドサーバ１５２０が取得した教師画像群のデータと、撮像装置の物理特性解析結果とは、付与部２１１に送られる。
ステップＳ１６０１では、クラウドサーバ１５２０が、実施形態１におけるステップＳ７０１と同様にして、予め用意された教師画像群と、撮像装置の物理特性解析結果とを取得する。クラウドサーバ１５２０が取得した教師画像群のデータと、撮像装置の物理特性解析結果とは、付与部２１１に送られる。
【0113】
ステップＳ１６０２では、付与部２１１が、実施形態１におけるステップＳ７０２と同様にして、学習データ生成処理を行う。
ステップＳ１６０３では、クラウドサーバ１５２０が、劣化推定学習及び劣化復元学習のＣＮＮに適用するネットワークパラメータを取得する。クラウドサーバ１５２０が取得したネットワークパラメータは、学習部１５２１に送られる。
ステップＳ１６０３では、クラウドサーバ１５２０が、劣化推定学習及び劣化復元学習のＣＮＮに適用するネットワークパラメータを取得する。クラウドサーバ１５２０が取得したネットワークパラメータは、学習部１５２１に送られる。
【0114】
ステップＳ１６０４では、第１の推定部１５２２が、ステップＳ１６０３で取得されたネットワークパラメータを用いてＣＮＮの重みを初期化した後、ステップＳ１６０２で生成された生徒画像データの劣化を推定する。そして、第２の復元部１５２３が、その推定結果を基に生徒画像データの復元を行う。
【0115】
ステップＳ１６０５では、誤差算出部１５２４が、付与された劣化量と劣化推定結果の誤差、及び復元結果と教師画像データとの誤差を、それぞれ損失関数に従って算出する。
ステップＳ１６０６では、モデル更新部１５２５が、ステップＳ１６０５で得られた誤差が小さくなる（最小になる）ように、劣化推定学習及び劣化復元学習のそれぞれのＣＮＮのネットワークパラメータを更新する。
ステップＳ１６０６では、モデル更新部１５２５が、ステップＳ１６０５で得られた誤差が小さくなる（最小になる）ように、劣化推定学習及び劣化復元学習のそれぞれのＣＮＮのネットワークパラメータを更新する。
【0116】
ステップＳ１６０７では、学習部１５２１が、学習を終了するか否かを判定する。学習部１５２１は、例えば、ネットワークパラメータの更新回数が所定の回数に達した場合に、学習を終了すると判定する。学習を終了すると学習部１５２１が判定した場合（ステップＳ１６０７でＹＥＳ）、図１６（Ａ）に示す劣化復元学習を終了する。学習を終了しないと学習部１５２１が判定した場合（ステップＳ１６０７でＮＯ）、クラウドサーバ１５２０の処理はステップＳ１６０４へ戻り、ステップＳ１６０４以降の処理によって別の生徒画像データ及び教師画像データを用いた学習が行われる。
【0117】
次に、図１６（Ｂ）のフローチャートを参照して、エッジデバイス１５１０で行われる劣化復元推論の一例の流れについて説明する。
ステップＳ１６１１では、エッジデバイス１５１０が、実施形態１におけるステップＳ７１１と同様にして、クラウドサーバ１５２０での劣化復元学習の学習結果である学習済モデルと、劣化復元処理の対象となる入力動画データとを取得する。エッジデバイス１５１０が取得した入力動画データと学習済モデルとは、取得部９１１に送られる。
ステップＳ１６１１では、エッジデバイス１５１０が、実施形態１におけるステップＳ７１１と同様にして、クラウドサーバ１５２０での劣化復元学習の学習結果である学習済モデルと、劣化復元処理の対象となる入力動画データとを取得する。エッジデバイス１５１０が取得した入力動画データと学習済モデルとは、取得部９１１に送られる。
【0118】
ステップＳ１６１２では、取得部９１１が、実施形態１におけるステップＳ７１２と同様にして、ステップＳ１６１１で取得された入力動画データからＮ枚の入力画像データを選択し、チャネル方向に連結した入力連結画像データを生成する。
ステップＳ１６１３では、第１の推定部１５１１が、学習部１５２１の劣化推定学習で用いたのと同じＣＮＮを構築して、入力画像データの劣化推定を行う。第１の推定部１５１１では、更新後のネットワークパラメータを適用したＣＮＮに対して入力画像データを入力し、学習部１５２１で行ったのと同じ方法で劣化推定を行って劣化推定結果を得る。
ステップＳ１６１３では、第１の推定部１５１１が、学習部１５２１の劣化推定学習で用いたのと同じＣＮＮを構築して、入力画像データの劣化推定を行う。第１の推定部１５１１では、更新後のネットワークパラメータを適用したＣＮＮに対して入力画像データを入力し、学習部１５２１で行ったのと同じ方法で劣化推定を行って劣化推定結果を得る。
【0119】
ステップＳ１６１４では、第１の復元部１５１１が、学習部１５２１の劣化復元学習で用いたのと同じＣＮＮを構築して、劣化推定結果からＬＵＴを参照してシフト量Ｍを設定し、入力画像データの劣化復元を行う。
ステップＳ１６１５では、第１の抑制部９１３が、ステップＳ１６１４で得られた同時刻における劣化復元画像データを合成し、弊害が抑制された単一の劣化復元画像データを得る。そして、劣化復元がなされた後の画像データが、出力動画データとして出力される。
以上が、実施形態４に係る情報処理システムで行われる処理の全体の流れである。
ステップＳ１６１５では、第１の抑制部９１３が、ステップＳ１６１４で得られた同時刻における劣化復元画像データを合成し、弊害が抑制された単一の劣化復元画像データを得る。そして、劣化復元がなされた後の画像データが、出力動画データとして出力される。
以上が、実施形態４に係る情報処理システムで行われる処理の全体の流れである。
【0120】
実施形態４では、入力動画データの劣化量を推定する機能部を追加することで、劣化推定結果に基づいて劣化を復元する。これにより、カメラの感度や露出値の変更や、シーンの切り替わり、あるいは被写体がフレームインした場合でも、適応的に入力動画データの劣化量を推定し、その結果に応じて適切な劣化復元処理及び弊害抑制処理を行うことができる。本実施形態では、劣化量（ノイズ量）を基にＬＵＴを参照してシフト量Ｍを設定する例について説明したが、処理の高速化を優先、あるいは揺らぎの低減を優先するようにシフト量Ｍを設定するＬＵＴを持たせてもよい。このとき、従来のＮ枚入力１枚出力よりも高速に処理する効果を保持しつつ揺らぎを低減するには、シフト量Ｍが１＜ＭとなるようにＬＵＴを作成する必要がある。
【0121】
なお、本実施形態では、第１の復元部１５１２で、劣化量に基づいてシフト量Ｍを設定したが、劣化画像の枚数Ｎや反復回数ＩについてもＬＵＴに載せておき、劣化量に応じて枚数Ｎの変更及び反復回数Ｉの設定を行うようにしても構わない。例えば、劣化量が多いほどＮを大きく設定、あるいは反復回数Ｉを大きく設定してもよい。
【0122】
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0123】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0124】
本実施形態の開示は、以下の構成及び方法等を含む。
（構成１）
相関の高い複数の入力画像データを取得する第１の取得手段と、
前記複数の入力画像データのうちのＮ枚（Ｎは２以上の整数）の入力画像データに基づいて、ニューラルネットワークを用いて劣化復元した、該Ｎ枚の入力画像データに対応するＮ枚の第１の復元画像データを出力する復元手段とを有することを特徴とする情報処理装置。
（構成２）
前記復元手段は、前記Ｎ枚の入力画像データを組として連結し、前記組毎に前記Ｎ枚の第１の復元画像データを出力することを特徴とする構成１に記載の情報処理装置。
（構成３）
複数の前記Ｎ枚の入力画像データの組を、前記複数の入力画像データを１枚からＮ枚の範囲で時間方向にずらして選択し作成することを特徴とする構成２に記載の情報処理装置。
（構成４）
前記復元手段は、同じ座標にある各画素を重ね合わせて前記Ｎ枚の入力画像データを連結することを特徴とする構成２又は３記載の情報処理装置。
（構成５）
前記相関の高い複数の入力画像データは、時系列的に連続する複数の入力画像データであることを特徴とする構成１～４の何れか１項に記載の情報処理装置。
（構成６）
前記ニューラルネットワークの学習済モデルを取得する第２の取得手段を有することを特徴とする構成１～５の何れか１項に記載の情報処理装置。
（構成７）
前記復元手段により出力された同じ時刻における複数の前記第１の復元画像データに基づいて、該時刻における１枚の第２の復元画像データを出力する抑制手段を有することを特徴とする構成１～６の何れか１項に記載の情報処理装置。
（構成８）
前記抑制手段は、同じ時刻における複数の前記第１の復元画像データを合成して１枚の前記第２の復元画像データを出力することを特徴とする構成７に記載の情報処理装置。
（構成９）
前記抑制手段は、同じ時刻における複数の前記第１の復元画像データをニューラルネットワークを用いて合成して１枚の前記第２の復元画像データを出力することを特徴とする構成７に記載の情報処理装置。
（構成１０）
前記Ｎ枚の入力画像データに対して、前記復元手段による処理及び前記抑制手段による処理を反復して実行することを特徴とする構成７～９の何れか１項に記載の情報処理装置。
（構成１１）
前記Ｎ枚の入力画像データの劣化量を推定する推定手段を有し、
前記復元手段は、前記Ｎ枚の入力画像データ及び前記推定手段により推定された劣化量に基づいて、Ｎ枚の前記第１の復元画像データを出力することを特徴とする構成１～１０の何れか１項に記載の情報処理装置。
（構成１２）
前記劣化復元される劣化は、ノイズ、圧縮、低解像、ぼけ、収差、欠損、撮影時の天候の影響によるコントラスト低下のうちの少なくとも１つを含むことを特徴とする構成１～１１の何れか１項に記載の情報処理装置。
（構成１３）
教師画像データに画質の劣化要素を付与して生徒画像データを生成する付与手段と、
複数の前記教師画像データからなる教師画像群と複数の前記生徒画像データからなる生徒画像群とで構成された学習データを用いて、Ｎ枚（Ｎは２以上の整数）の入力画像データに基づいて、劣化復元したＮ枚の復元画像データを出力するニューラルネットワークの学習を行う学習手段と、
前記学習手段により得られた前記ニューラルネットワークの学習済モデルを提供する提供手段とを有することを特徴とする情報処理装置。
（方法１）
相関の高い複数の入力画像データを取得する取得工程と、
前記複数の入力画像データのうちのＮ枚（Ｎは２以上の整数）の入力画像データに基づいて、ニューラルネットワークを用いて劣化復元した、該Ｎ枚の入力画像データに対応するＮ枚の復元画像データを出力する復元工程とを有することを特徴とする情報処理方法。
（方法２）
教師画像データに画質の劣化要素を付与して生徒画像データを生成する付与工程と、
複数の前記教師画像データからなる教師画像群と複数の前記生徒画像データからなる生徒画像群とで構成された学習データを用いて、Ｎ枚（Ｎは２以上の整数）の入力画像データに基づいて、劣化復元したＮ枚の復元画像データを出力するニューラルネットワークの学習を行う学習工程と、
前記学習工程で得られた前記ニューラルネットワークの学習済モデルを提供する提供工程とを有することを特徴とする情報処理方法。
（プログラム１）
情報処理装置のコンピュータに、
相関の高い複数の入力画像データを取得する取得ステップと、
前記複数の入力画像データのうちのＮ枚（Ｎは２以上の整数）の入力画像データに基づいて、ニューラルネットワークを用いて劣化復元した、該Ｎ枚の入力画像データに対応するＮ枚の復元画像データを出力する復元ステップとを実行させるためのプログラム。
（プログラム２）
情報処理装置のコンピュータに、
教師画像データに画質の劣化要素を付与して生徒画像データを生成する付与ステップと、
複数の前記教師画像データからなる教師画像群と複数の前記生徒画像データからなる生徒画像群とで構成された学習データを用いて、Ｎ枚（Ｎは２以上の整数）の入力画像データに基づいて、劣化復元したＮ枚の復元画像データを出力するニューラルネットワークの学習を行う学習ステップと、
前記学習ステップで得られた前記ニューラルネットワークの学習済モデルを提供する提供ステップとを実行させるためのプログラム。
（構成１）
相関の高い複数の入力画像データを取得する第１の取得手段と、
前記複数の入力画像データのうちのＮ枚（Ｎは２以上の整数）の入力画像データに基づいて、ニューラルネットワークを用いて劣化復元した、該Ｎ枚の入力画像データに対応するＮ枚の第１の復元画像データを出力する復元手段とを有することを特徴とする情報処理装置。
（構成２）
前記復元手段は、前記Ｎ枚の入力画像データを組として連結し、前記組毎に前記Ｎ枚の第１の復元画像データを出力することを特徴とする構成１に記載の情報処理装置。
（構成３）
複数の前記Ｎ枚の入力画像データの組を、前記複数の入力画像データを１枚からＮ枚の範囲で時間方向にずらして選択し作成することを特徴とする構成２に記載の情報処理装置。
（構成４）
前記復元手段は、同じ座標にある各画素を重ね合わせて前記Ｎ枚の入力画像データを連結することを特徴とする構成２又は３記載の情報処理装置。
（構成５）
前記相関の高い複数の入力画像データは、時系列的に連続する複数の入力画像データであることを特徴とする構成１～４の何れか１項に記載の情報処理装置。
（構成６）
前記ニューラルネットワークの学習済モデルを取得する第２の取得手段を有することを特徴とする構成１～５の何れか１項に記載の情報処理装置。
（構成７）
前記復元手段により出力された同じ時刻における複数の前記第１の復元画像データに基づいて、該時刻における１枚の第２の復元画像データを出力する抑制手段を有することを特徴とする構成１～６の何れか１項に記載の情報処理装置。
（構成８）
前記抑制手段は、同じ時刻における複数の前記第１の復元画像データを合成して１枚の前記第２の復元画像データを出力することを特徴とする構成７に記載の情報処理装置。
（構成９）
前記抑制手段は、同じ時刻における複数の前記第１の復元画像データをニューラルネットワークを用いて合成して１枚の前記第２の復元画像データを出力することを特徴とする構成７に記載の情報処理装置。
（構成１０）
前記Ｎ枚の入力画像データに対して、前記復元手段による処理及び前記抑制手段による処理を反復して実行することを特徴とする構成７～９の何れか１項に記載の情報処理装置。
（構成１１）
前記Ｎ枚の入力画像データの劣化量を推定する推定手段を有し、
前記復元手段は、前記Ｎ枚の入力画像データ及び前記推定手段により推定された劣化量に基づいて、Ｎ枚の前記第１の復元画像データを出力することを特徴とする構成１～１０の何れか１項に記載の情報処理装置。
（構成１２）
前記劣化復元される劣化は、ノイズ、圧縮、低解像、ぼけ、収差、欠損、撮影時の天候の影響によるコントラスト低下のうちの少なくとも１つを含むことを特徴とする構成１～１１の何れか１項に記載の情報処理装置。
（構成１３）
教師画像データに画質の劣化要素を付与して生徒画像データを生成する付与手段と、
複数の前記教師画像データからなる教師画像群と複数の前記生徒画像データからなる生徒画像群とで構成された学習データを用いて、Ｎ枚（Ｎは２以上の整数）の入力画像データに基づいて、劣化復元したＮ枚の復元画像データを出力するニューラルネットワークの学習を行う学習手段と、
前記学習手段により得られた前記ニューラルネットワークの学習済モデルを提供する提供手段とを有することを特徴とする情報処理装置。
（方法１）
相関の高い複数の入力画像データを取得する取得工程と、
前記複数の入力画像データのうちのＮ枚（Ｎは２以上の整数）の入力画像データに基づいて、ニューラルネットワークを用いて劣化復元した、該Ｎ枚の入力画像データに対応するＮ枚の復元画像データを出力する復元工程とを有することを特徴とする情報処理方法。
（方法２）
教師画像データに画質の劣化要素を付与して生徒画像データを生成する付与工程と、
複数の前記教師画像データからなる教師画像群と複数の前記生徒画像データからなる生徒画像群とで構成された学習データを用いて、Ｎ枚（Ｎは２以上の整数）の入力画像データに基づいて、劣化復元したＮ枚の復元画像データを出力するニューラルネットワークの学習を行う学習工程と、
前記学習工程で得られた前記ニューラルネットワークの学習済モデルを提供する提供工程とを有することを特徴とする情報処理方法。
（プログラム１）
情報処理装置のコンピュータに、
相関の高い複数の入力画像データを取得する取得ステップと、
前記複数の入力画像データのうちのＮ枚（Ｎは２以上の整数）の入力画像データに基づいて、ニューラルネットワークを用いて劣化復元した、該Ｎ枚の入力画像データに対応するＮ枚の復元画像データを出力する復元ステップとを実行させるためのプログラム。
（プログラム２）
情報処理装置のコンピュータに、
教師画像データに画質の劣化要素を付与して生徒画像データを生成する付与ステップと、
複数の前記教師画像データからなる教師画像群と複数の前記生徒画像データからなる生徒画像群とで構成された学習データを用いて、Ｎ枚（Ｎは２以上の整数）の入力画像データに基づいて、劣化復元したＮ枚の復元画像データを出力するニューラルネットワークの学習を行う学習ステップと、
前記学習ステップで得られた前記ニューラルネットワークの学習済モデルを提供する提供ステップとを実行させるためのプログラム。
【符号の説明】
【0125】
１１１、９１１：取得部 １１２、９１２、１２１２、１５１２：第１の復元部 ２１１：付与部 ２１２、１２２１、１５２１：学習部 ２１３、１５２３：第２の復元部 ２１４、１５２４：誤差算出部 ２１５、１５２５：モデル更新部 ９１３、１２１３：第１の抑制部 １２１１：構成決定部 １２２２：第２の抑制部 １５１１：第１の推定部 １５２２：第２の推定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】