特表2023-528697コンピュータ実現方法、装置及びコンピュータプログラム製品
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-07-06
(54)【発明の名称】コンピュータ実現方法、装置及びコンピュータプログラム製品
(51)【国際特許分類】
G06T 3/40 20060101AFI20230629BHJP
G06T 7/00 20170101ALI20230629BHJP
G06V 10/82 20220101ALI20230629BHJP
【ＦＩ】
G06T3/40 730
G06T3/40 725
G06T7/00 350C
G06V10/82
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021569943
(86)(22)【出願日】2020-04-01
(85)【翻訳文提出日】2021-11-24
(86)【国際出願番号】 CN2020082722
(87)【国際公開番号】W WO2021196070
(87)【国際公開日】2021-10-07
(81)【指定国・地域】
(71)【出願人】
【識別番号】510280589
【氏名又は名称】京東方科技集團股▲ふん▼有限公司
【氏名又は名称原語表記】ＢＯＥ ＴＥＣＨＮＯＬＯＧＹ ＧＲＯＵＰ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｎｏ．１０ Ｊｉｕｘｉａｎｑｉａｏ Ｒｄ．，Ｃｈａｏｙａｎｇ Ｄｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ １０００１５，ＣＨＩＮＡ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(72)【発明者】
【氏名】グアンナン・チェン
(72)【発明者】
【氏名】ジンル・ワン
(72)【発明者】
【氏名】リジェ・ジャン
(72)【発明者】
【氏名】フェンシュオ・フ
【テーマコード（参考）】
5B057
5L096
【Ｆターム（参考）】
5B057CA12
5B057CA16
5B057CB12
5B057CB16
5B057CD06
5B057CG01
5B057DA20
5B057DB02
5B057DC40
5L096EA33
5L096EA39
5L096GA30
5L096HA11
5L096KA04
(57)【要約】
本発明はコンピュータ実現方法を提供する。該コンピュータ実現方法は、低解像度画像を生成器に入力することと、生成器を使用して低解像度画像に基づいて高解像度画像を生成することと、を含む。高解像度画像を生成することは、生成器において直列接続して配置される複数の超解像度生成ユニットにより低解像度画像を処理することを含む。前記複数の超解像度生成ユニットのうちの対応の１つの対応入力に比べ、複数の超解像度生成ユニットのうちの前記対応の１つからの対応出力は、対応して増加する画像解像度を有する。
【特許請求の範囲】
【請求項1】
コンピュータ実現方法であって、低解像度画像を生成器に入力することと、
前記生成器を使用して前記低解像度画像に基づいて高解像度画像を生成することと、を含み、
前記高解像度画像を生成することは、前記生成器において直列接続して配置される複数の超解像度生成ユニットにより前記低解像度画像を処理することを含み、前記複数の超解像度生成ユニットのうちの対応の１つへの対応入力に比べ、前記複数の超解像度生成ユニットのうちの前記対応の１つからの対応出力は、対応して増加する画像解像度を有する、コンピュータ実現方法。
【請求項2】
前記複数の超解像度生成ユニットのうちの前記対応の１つは、超解像度生成ブロック及びバイリニア補間ブロックを備え、前記生成器を使用して前記高解像度画像を生成することは、
対応入力をそれぞれ前記超解像度生成ブロック及び前記バイリニア補間ブロックに入力することと、
前記超解像度生成ブロックを使用して前記対応入力を処理して、前記超解像度生成ブロックから第１中間出力を生成することと、
前記第１中間出力を前記超解像度生成ブロックから前記バイリニア補間ブロックに入力することと、
前記バイリニア補間ブロックを使用して前記対応入力及び前記第１中間出力に基づいて第２中間出力を生成することと、を更に含む請求項１に記載のコンピュータ実現方法。
【請求項3】
前記複数の超解像度生成ユニットのうちの前記対応の１つは連結ブロックを更に備え、前記生成器を使用して高解像度画像を生成することは、
前記第２中間出力を前記連結ブロックに入力することと、
前記第２中間出力に基づいて前記連結ブロックから前記対応出力を生成することと、を更に含む請求項２に記載のコンピュータ実現方法。
【請求項4】
前記超解像度生成ブロックは、Ｕ－Ｎｅｔアーキテクチャで配置される複数の符号化モジュール及び複数の復号化モジュールを備え、前記複数の符号化モジュールのうちの対応の１つは、ダウンサンプリング畳み込み層、及び直列接続して配置される複数の第１残差ブロックを備え、
前記複数の復号化モジュールのうちの対応の１つは、直列接続して配置される複数の第２残差ブロック及びアップサンプリング畳み込み層を備える請求項２又は３に記載のコンピュータ実現方法。
【請求項5】
前記生成器を使用して高解像度画像を生成することは、直列接続して配置される複数の超解像度生成ユニットのうちの最後の１つからの出力を追加超解像度生成ブロックに入力することと、
前記追加超解像度生成ブロックを使用して前記複数の超解像度生成ユニットのうちの前記最後の１つからの出力を処理して、前記高解像度画像を生成することと、を更に含む請求項１～４のいずれか１項に記載のコンピュータ実現方法。
【請求項6】
前記コンピュータ実現方法は、フィードバックループを使用して生成器損失関数に基づいて前記生成器を訓練することを更に含む請求項１～５のいずれか１項に記載のコンピュータ実現方法。
【請求項7】
前記生成器損失関数は、【数1】
ここで、ｉが複数のスケールの対応番号を示し、Ｌｍが平均二乗誤差関数であり、Ｌψが知覚損失関数であり、αがＬｍの重み係数を示し、βがＬψの重み係数を示す請求項６に記載のコンピュータ実現方法。
【請求項8】
ニューラルネットワークモデルは、参照画像及び前記高解像度画像を処理することに用いられ、【数2】
【数3】
ここで、Ｉが参照画像を示し、
【数4】
【請求項9】
前記ニューラルネットワークモデルはＶＧＧ－１９モデルである請求項８に記載のコンピュータ実現方法。
【請求項10】
複数の訓練低解像度画像を畳み込みニューラルネットワークに入力すること、複数の訓練参照画像を前記畳み込みニューラルネットワークに入力すること、
前記生成器を使用してそれぞれ前記複数の訓練低解像度画像に基づいて複数の訓練高解像度画像を生成すること、
前記生成器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の損失を計算すること、
前記損失に基づいて前記畳み込みニューラルネットワークを調節すること、の操作によって前記畳み込みニューラルネットワークを事前訓練することを更に含む請求項６～９のいずれか１項に記載のコンピュータ実現方法。
【請求項11】
参照画像及び前記高解像度画像を弁別器に入力することと、前記弁別器を使用して前記参照画像に基づいて前記高解像度画像を検証することと、を更に含み、
前記生成器及び前記弁別器は、敵対的生成ネットワークのコンポーネントである請求項１～１０のいずれか１項に記載のコンピュータ実現方法。
【請求項12】
前記高解像度画像を検証することは、直列接続して配置される複数の畳み込み層及び完全接続層により前記高解像度画像を処理することを含む請求項１１に記載のコンピュータ実現方法。
【請求項13】
フィードバックループを使用して生成器損失関数及び弁別器損失関数に基づいて前記敵対的生成ネットワークの生成器及び弁別器を互いに訓練することを更に含む請求項１１又は１２に記載のコンピュータ実現方法。
【請求項14】
前記生成器損失関数は、【数5】
前記弁別器損失関数は、
【数6】
ここで、Ｄが弁別器を示し、Ｇが生成器を示し、ｉが複数のスケールの対応番号を示し、αｉとβｉが複数のスケールの対応番号に対応する重み係数を示し、Ｅが確率密度分布を示し、
【数7】
【請求項15】
ニューラルネットワークモデルは、参照画像及び前記高解像度画像を処理することに用いられ、前記知覚損失関数の計算は、
【数8】
ここで、Ｉが参照画像を示し、
【数9】
【請求項16】
前記ニューラルネットワークモデルはＶＧＧ－１９モデルである請求項１５に記載のコンピュータ実現方法。
【請求項17】
前記ニューラルネットワークモデルはＳｐｈｅｒｅＮｅｔモデルである請求項１５に記載のコンピュータ実現方法。
【請求項18】
複数の訓練低解像度画像を畳み込みニューラルネットワークに入力すること、複数の訓練参照画像を前記畳み込みニューラルネットワークに入力すること、
前記生成器を使用してそれぞれ前記複数の訓練低解像度画像に基づいて複数の訓練高解像度画像を生成すること、
前記生成器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の生成器損失を計算すること、
前記弁別器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の弁別器損失を計算すること、
前記生成器損失及び前記弁別器損失に基づいて前記畳み込みニューラルネットワークを調節すること、の操作によって前記畳み込みニューラルネットワークを事前訓練することを更に含む請求項１３～１７のいずれか１項に記載のコンピュータ実現方法。
【請求項19】
装置であって、メモリと、
１つ又は複数のプロセッサと、を備え、
前記メモリと前記１つ又は複数のプロセッサは互いに接続され、
前記メモリには、
低解像度画像を生成器に入力すること、
前記生成器において直列接続して配置される複数の超解像度生成ユニットを利用して前記低解像度画像を処理することにより、前記生成器を使用して前記低解像度画像に基づいて高解像度画像を生成すること、の操作を実行するように１つ又は複数のプロセッサを制御するためのコンピュータ実行可能な命令が記憶され、
前記複数の超解像度生成ユニットのうちの対応の１つの対応入力に比べ、前記複数の超解像度生成ユニットのうちの前記対応の１つの対応出力は、対応して増加する画像解像度を有する、装置。
【請求項20】
コンピュータ可読命令を有する非一時的有形コンピュータ可読媒体を含むコンピュータプログラム製品であって、前記コンピュータ可読命令がプロセッサにより実行されることで、前記プロセッサは、
低解像度画像を生成器に入力すること、
前記生成器を使用して前記低解像度画像に基づいて高解像度画像を生成すること、を実行するようにし、
前記高解像度画像を生成することは、前記生成器において直列接続して配置される複数の超解像度生成ユニットにより前記低解像度画像を処理することを含み、前記複数の超解像度生成ユニットのうちの対応の１つの対応入力に比べ、前記複数の超解像度生成ユニットのうちの前記対応の１つからの対応出力は、対応して増加する画像解像度を有する、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は表示技術に関し、より具体的に、コンピュータ実現方法、装置及びコンピュータプログラム製品に関する。
【背景技術】
【0002】
機械学習及びニューラルネットワークは既に画像を分析して様々な目的に使用することに用いられている。ニューラルネットワークは複数の隠し層を備えるネットワークである。複数の隠し層のうちの対応の１つは複数のニューロン（例えば、ノード）を備える。複数の隠し層のうちの対応の１つ内の複数のニューロンは複数の隠し層のうちの隣接する１つ内の複数のニューロンに接続される。ニューロン間の接続は、異なる重みを有する。ニューラルネットワークの構造は生体ニューラルネットワークの構造を模倣する。ニューラルネットワークは非決定的な方式を使用して問題を解決することができる。
【発明の概要】
【課題を解決するための手段】
【0003】
一態様では、本開示に係るコンピュータ実現方法は、低解像度画像を生成器に入力することと、前記生成器を使用して前記低解像度画像に基づいて高解像度画像を生成することと、を含み、前記高解像度画像を生成することは、前記生成器において直列接続して配置される複数の超解像度生成ユニットにより前記低解像度画像を処理することを含み、前記複数の超解像度生成ユニットのうちの対応の１つへの対応入力に比べ、前記複数の超解像度生成ユニットのうちの前記対応の１つからの対応出力は、対応して増加する画像解像度を有する。
【0004】
選択的に、前記複数の超解像度生成ユニットのうちの前記対応の１つは、超解像度生成ブロック及びバイリニア補間ブロックを備え、前記生成器を使用して前記高解像度画像を生成することは、対応入力をそれぞれ前記超解像度生成ブロック及び前記バイリニア補間ブロックに入力することと、前記超解像度生成ブロックを使用して前記対応入力を処理して、前記超解像度生成ブロックから第１中間出力を生成することと、前記第１中間出力を前記超解像度生成ブロックから前記バイリニア補間ブロックに入力することと、前記バイリニア補間ブロックを使用して前記対応入力及び前記第１中間出力に基づいて第２中間出力を生成することと、を更に含む。
【0005】
選択的に、前記複数の超解像度生成ユニットのうちの前記対応の１つは連結ブロックを更に備え、前記生成器を使用して高解像度画像を生成することは、前記第２中間出力を前記連結ブロックに入力することと、前記第２中間出力に基づいて前記連結ブロックから前記対応出力を生成することと、を更に含む。
【0006】
選択的に、前記超解像度生成ブロックは、Ｕ－Ｎｅｔアーキテクチャで配置される複数の符号化モジュール及び複数の復号化モジュールを備え、前記複数の符号化モジュールのうちの対応の１つは、ダウンサンプリング畳み込み層、及び直列接続して配置される複数の第１残差ブロックを備え、前記複数の復号化モジュールのうちの対応の１つは、直列接続して配置される複数の第２残差ブロック及びアップサンプリング畳み込み層を備える。
【0007】
選択的に、前記生成器を使用して高解像度画像を生成することは、直列接続して配置される複数の超解像度生成ユニットのうちの最後の１つからの出力を追加超解像度生成ブロックに入力することと、前記追加超解像度生成ブロックを使用して前記複数の超解像度生成ユニットのうちの前記最後の１つからの出力を処理して、前記高解像度画像を生成することと、を更に含む。
【0008】
選択的に、前記コンピュータ実現方法は、フィードバックループを使用して生成器損失関数に基づいて前記生成器を訓練することを更に含む。
【0009】
選択的に、前記生成器損失関数は、
として定義され、ここで、ｉが複数のスケールの対応番号を示し、Ｌｍが平均二乗誤差関数であり、Ｌψが知覚損失関数であり、αがＬｍの重み係数を示し、βがＬψの重み係数を示す。
【数1】
【0010】
選択的に、ニューラルネットワークモデルは、参照画像及び前記高解像度画像を処理することに用いられ、
であり、且つ
であり、ここで、Ｉが参照画像を示し、
が高解像度画像を示し、ψがニューラルネットワークモデルを示し、ｊがニューラルネットワークモデルの複数の出力層のうちの対応の１つを示し、Ｃが複数の出力層のうちの対応の１つから出力された特徴マップの複数のチャネルを示し、Ｈが複数の出力層のうちの対応の１つから出力された特徴マップの高さを示し、Ｗが複数の出力層のうちの対応の１つから出力された特徴マップの幅を示す。
【数2】
【数3】
【数4】
【0011】
選択的に、前記ニューラルネットワークモデルはＶＧＧ－１９モデルである。
【0012】
選択的に、前記コンピュータ実現方法は、複数の訓練低解像度画像を前記畳み込みニューラルネットワークに入力すること、複数の訓練参照画像を前記畳み込みニューラルネットワークに入力すること、前記生成器を使用してそれぞれ前記複数の訓練低解像度画像に基づいて複数の訓練高解像度画像を生成すること、前記生成器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の損失を計算すること、前記損失に基づいて前記畳み込みニューラルネットワークを調節すること、の操作によって畳み込みニューラルネットワークを事前訓練することを更に含む。
【0013】
選択的に、前記コンピュータ実現方法は、参照画像及び前記高解像度画像を弁別器に入力することと、前記弁別器を使用して前記参照画像に基づいて前記高解像度画像を検証することと、を更に含み、前記生成器及び前記弁別器は、敵対的生成ネットワーク（ＧＡＮ）のコンポーネントである。
【0014】
選択的に、前記高解像度画像を検証することは、直列接続して配置される複数の畳み込み層及び完全接続層により前記高解像度画像を処理することを含む。
【0015】
選択的に、前記コンピュータ実現方法は、フィードバックループを使用して生成器損失関数及び弁別器損失関数に基づいてＧＡＮの生成器及び弁別器を互いに訓練することを更に含む。
【0016】
選択的に、前記生成器損失関数は、
として定義され、且つ前記弁別器損失関数は、
として定義され、ここで、Ｄが弁別器を示し、Ｇが生成器を示し、ｉが複数のスケールの対応番号を示し、αｉとβｉが複数のスケールの対応番号に対応する重み係数を示し、Ｅが確率密度分布を示し、
が知覚損失関数を示し、Ｐｄａｔａ（ｘ）が参照画像の確率分布を示し、ｘがＰｄａｔａ（ｘ）からのサンプルを示し、Ｐｚ（ｚ）が高解像度画像の確率分布を示し、ｚがＰｚ（ｚ）からのサンプルを示す。
【数5】
【数6】
【数7】
【0017】
選択的に、ニューラルネットワークモデルは、参照画像及び前記高解像度画像を処理することに用いられ、知覚損失関数の計算は、
であり、ここで、Ｉが参照画像を示し、
が前記高解像度画像を示し、ψがニューラルネットワークモデルを示し、ｊがニューラルネットワークモデルの複数の出力層のうちの対応の１つを示し、Ｃが複数の出力層のうちの対応の１つから出力された特徴マップの複数のチャネルを示し、Ｈが複数の出力層のうちの対応の１つから出力された特徴マップの高さを示し、Ｗが複数の出力層のうちの対応の１つから出力された特徴マップの幅を示す。
【数8】
【数9】
【0018】
選択的に、前記ニューラルネットワークモデルはＶＧＧ－１９モデルである。
【0019】
選択的に、前記ニューラルネットワークモデルはＳｐｈｅｒｅＮｅｔモデルである。
【0020】
選択的に、前記コンピュータ実現方法は、複数の訓練低解像度画像を前記畳み込みニューラルネットワークに入力すること、複数の訓練参照画像を前記畳み込みニューラルネットワークに入力すること、前記生成器を使用してそれぞれ前記複数の訓練低解像度画像に基づいて複数の訓練高解像度画像を生成すること、前記生成器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の生成器損失を計算すること、前記弁別器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の弁別器損失を計算すること、前記生成器損失及び前記弁別器損失に基づいて前記畳み込みニューラルネットワークを調節すること、の操作によって畳み込みニューラルネットワークを事前訓練することを更に含む。
【0021】
他の態様では、本開示に係る装置は、メモリと、１つ又は複数のプロセッサとを備え、前記メモリと前記１つ又は複数のプロセッサは互いに接続され、前記メモリには、低解像度画像を生成器に入力すること、前記生成器において直列接続して配置される複数の超解像度生成ユニットを利用して前記低解像度画像を処理することにより、前記生成器を使用して前記低解像度画像に基づいて高解像度画像を生成すること、の操作を実行するように１つ又は複数のプロセッサを制御するためのコンピュータ実行可能な命令が記憶され、前記複数の超解像度生成ユニットのうちの対応の１つの対応入力に比べ、前記複数の超解像度生成ユニットのうちの前記対応の１つの対応出力は、対応して増加する画像解像度を有する。
【0022】
他の態様では、本開示に係るコンピュータ可読命令を有する非一時的有形コンピュータ可読媒体を含むコンピュータプログラム製品において、前記コンピュータ可読命令がプロセッサにより実行されることで、前記プロセッサは、低解像度画像を生成器に入力すること、前記生成器を使用して前記低解像度画像に基づいて高解像度画像を生成すること、を実行するようにし、前記高解像度画像を生成することは、前記生成器において直列接続して配置される複数の超解像度生成ユニットにより前記低解像度画像を処理することを含み、前記複数の超解像度生成ユニットのうちの対応の１つの対応入力に比べ、前記複数の超解像度生成ユニットのうちの前記対応の１つからの対応出力は、対応して増加する画像解像度を有する。
【図面の簡単な説明】
【0023】
様々な開示の実施例に基づいて、下記図面は説明のための例に過ぎず、本開示の範囲を制限するように意図されるものではない。
【発明を実施するための形態】
【0024】
以下、下記実施例によって本開示をより具体的に説明する。なお、本明細書のいくつかの実施例の説明は説明及び記述のためのものに過ぎない。それは、網羅するもの又は開示される精確な形式に限定されるものではない。
【0025】
近年、様々な画像解像度の強化方法は開発されている。これらの方法は例えばニューラルネットワークを利用する方法を含む。本開示では、これらの関連方法は一般的に下流の画像強化過程を実行するための先験的な知識を必要とすることが発見された。一例では、関連方法は先験的な語義特徴を抽出して、画像解析マップ（ｉｍａｇｅ ｐａｒｓｉｎｇ ｍａｐ）及び画像ランドマークヒートマップ（ｉｍａｇｅ ｌａｎｄｍａｒｋ ｈｅａｔｍａｐ）を取得する必要がある。他の例では、関連方法は画像におけるオブジェクトの先験的な知識、例えばオブジェクトの性別、年齢及び顔面表情を必要とする。これらの関連方法は時間のかかる計算過程に関わり、且つ結果が常に人を満足させることができない。
【0026】
従って、本開示は特にコンピュータ実現方法、装置及びコンピュータプログラム製品を提供し、基本的に関連技術の制限及び欠点による１つ又は複数の問題を解消する。一態様では、本開示はコンピュータ実現方法を提供する。いくつかの実施例では、コンピュータ実現方法は、低解像度画像を生成器に入力することと、生成器を使用して低解像度画像に基づいて高解像度画像を生成することと、を含む。選択的に、高解像度画像を生成するステップは、生成器において直列接続して配置される複数の超解像度生成ユニットにより低解像度画像を処理することを含む。選択的に、複数の超解像度生成ユニットのうちの対応の１つの対応入力に比べて、複数の超解像度生成ユニットのうちの対応の１つからの対応出力は、対応して増加する画像解像度を有する。本方法は、先験的な知識、例えば先験的な語義特徴の抽出又は先験的な知識の入力を必要としない。その結果、本方法は、時間のかかる計算過程を必要とせずに高解像度画像を生成することができる。本方法は、超高解像度及び優れた詳細回復を有する強化画像を取得することができる。
【0027】
図１は、本開示のいくつかの実施例に係るコンピュータ実現方法のフローチャートである。図１を参照して、いくつかの実施例では、コンピュータ実現方法は、低解像度画像を生成器に入力することと、生成器を使用して低解像度画像に基づいて高解像度画像を生成することと、を含む。図２は、本開示のいくつかの実施例に係るコンピュータ実現方法を実現するための装置の構造模式図である。図２を参照して、いくつかの実施例では、コンピュータ実現方法を実現するための装置は生成器１０、損失関数計算器２０及びフィードバックループ３０を備える。生成器１０は、低解像度画像を入力として受信し、且つ高解像度画像を損失関数計算器２０に出力するように構成される。いくつかの実施例では、損失関数計算器２０は、高解像度画像に基づいて生成器損失関数を計算する。フィードバックループ３０は、生成器損失関数に基づいて生成器１０を訓練するように構成される。
【0028】
図３は本開示のいくつかの実施例に係る生成器の構造模式図である。図３を参照して、いくつかの実施例では、生成器１０は、直列接続して配置される複数の超解像度生成ユニット１００を備える。選択的に、生成器１０は、Ｎ個の超解像度生成ユニットを備え、Ｎ≧２である。図３には複数の超解像度生成ユニット１００の総数が３の生成器１０の例を示す。選択的に、生成器１０は更に追加超解像度生成ブロック２００を備える。選択的に、追加超解像度生成ブロック２００は、直列接続して配置される複数の超解像度生成ユニット１００のうちの最後の１つから入力を受信するように構成される。
【0029】
従って、いくつかの実施例では、高解像度画像を生成するステップは、生成器１０において直列接続して配置される複数の超解像度生成ユニット１００により低解像度画像を処理することを含む。選択的に、複数の超解像度生成ユニット１００のうちの対応の１つの対応入力に比べて、複数の超解像度生成ユニット１００のうちの対応の１つからの対応出力は、対応して増加する画像解像度を有する。例えば、画像が複数の超解像度生成ユニット１００のうちの１つにより処理されるたびに、画像解像度がｎ倍増加し、ｎ＞１である。選択的に、ｎ＝２である。
【0030】
図４は本開示のいくつかの実施例に係る複数の超解像度生成ユニットのうちの対応の１つの構造模式図である。図４を参照して、いくつかの実施例では、複数の超解像度生成ユニット１００のうちの対応の１つは、超解像度生成ブロック（ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｇｅｎｅｒａｔｉｎｇ ｂｌｏｃｋ）１１０、バイリニア補間ブロック（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｂｌｏｃｋ）１２０及び連結ブロック（ｃｏｎｃａｔｅｎａｔｉｏｎ ｂｌｏｃｋ）１３０を備える。従って、いくつかの実施例では、生成器を使用して高解像度画像を生成するステップは、それぞれ超解像度生成ブロック１１０及びバイリニア補間ブロック１２０に対応入力を入力することと、超解像度生成ブロック１１０を使用して対応入力を処理して、超解像度生成ブロック１１０から第１中間出力を生成することと、超解像度生成ブロック１１０の第１中間出力をバイリニア補間ブロック１２０に入力することと、バイリニア補間ブロック１２０を使用して前記対応入力及び第１中間出力に基づいて第２中間出力を生成することと、第２中間出力を連結ブロック１３０に入力することと、第２中間出力に基づいて連結ブロック１３０から対応出力を生成することと、を更に含む。
【0031】
いくつかの実施例では、バイリニア補間ブロック１２０はバイリニア補間処理を実行する。本明細書に使用されるバイリニア補間とは、リニア補間が２次元に拡大され、且つ１つの画素の周りの４つの画素のそれぞれと補間目標画素との距離に基づいて加重平均した補間が補間目標画素の画素値として取られるという補間方法を指す。一例では、バイリニア補間ブロック１２０は２ｘバイリニア補間ブロックであり、リニア補間が２倍拡大される。
【0032】
図５は本開示のいくつかの実施例に係る超解像度生成ブロックの構造模式図である。図５を参照して、いくつかの実施例では、超解像度生成ブロック１１０は、Ｕ－Ｎｅｔアーキテクチャで配置される複数の符号化モジュール１１１０及び複数の復号化モジュール１１２０を備える。Ｕ－Ｎｅｔは完全畳み込みネットワーク（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）であり、修正及び拡張されてより少ない訓練画像と一緒に動作し且つより精確な分割を生成する。Ｕ－Ｎｅｔアーキテクチャは収縮経路及び拡張経路を備え、それらは一緒にネットワークにＵ字型アーキテクチャを与える（例えば、Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ ｅｔ ａｌ．，“Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ，”Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）９３５１、ページ２３４－２４１（２０１５）参照、そのすべての内容が参照として援用される）。
【0033】
図６は本開示のいくつかの実施例に係る複数の符号化モジュールのうちの対応の１つの構造模式図である。図６を参照して、いくつかの実施例では、複数の符号化モジュール１１１０のうちの対応の１つは、ダウンサンプリング畳み込み層１１１１及び直列接続して配置される複数の第１残差ブロック１１１２を備える。一例では、ダウンサンプリング畳み込み層１１１１は２ｘダウンサンプリング畳み込み層である。選択的に、ダウンサンプリング畳み込み層１１１１は畳み込み層（例えば、５＊５畳み込み層、ストライド（ｓｔｒｉｄｅ）が２である）を備え、次に漏洩修正リニアユニット（ｌｅａｋｙ ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）である（ＬｅａｋｙＲｅＬＵ、例えばＭａａｓ等参照、“Ｒｅｃｔｉｆｉｅｒ ｎｏｎｌｉｎｅａｒｉｔｉｅｓ ｉｍｐｒｏｖｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｃｏｕｓｔｉｃ ｍｏｄｅｌｓ”，Ｉｎ Ｐｒｏｃ．ＩＣＭＬ，ｖｏｌｕｍｅ ３０，２０１３；ａｎｄ Ｘｕ，ｅｔ ａｌ．，“Ｅｍｐｉｒｉｃａｌ ｅｖａｌｕａｔｉｏｎ ｏｆ ｒｅｃｔｉｆｉｅｄ ａｃｔｉｖａｔｉｏｎｓ ｉｎ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ”，ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１５０５．００８５３，（２０１５）、そのすべての内容が援用によりここに取り込まれる）。選択的に、複数の第１残差ブロック１１１２のうちの対応の１つは畳み込み層（例えば、５＊５畳み込み層、ストライドが２である）を備え、次に漏洩修正リニアユニットであり、次に別の畳み込み層（例えば、５＊５畳み込み層、ストライドが２である）であり、次に別の漏洩修正リニアユニットである。
【0034】
本明細書に使用される「畳み込み」という用語とは画像の処理過程を指す。畳み込みカーネル（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｋｅｒｎｅｌ）は畳み込みに使用される。例えば、入力画像の各画素は値を有し、畳み込みカーネルは入力画像の１つの画素で始まり、且つ順に入力画像の各画素上で移動する。畳み込みカーネルの各位置で、畳み込みカーネルのサイズに基づいて畳み込みカーネルは画像上のいくつかの画素と重なる。畳み込みカーネルの位置で、いくつかの重なる画素のうちの１つの値を畳み込みカーネルの対応の１つの値に乗じて、いくつかの重なる画素のうちの１つの乗算値を取得する。その後、重なる画素のすべての乗算値を加えて、畳み込みカーネルの入力画像における位置に対応する和を取得する。入力画像の各画素上で畳み込みカーネルを移動することにより、該畳み込みカーネルのすべての位置に対応する全部の和を収集し且つ出力して、出力画像を形成する。一例では、畳み込みは、異なる畳み込みカーネルを使用して、入力画像の、異なる特徴を抽出することができる。他の例では、畳み込み処理は、異なる畳み込みカーネルを使用してより多くの特徴を入力画像に追加することができる。
【0035】
本明細書に使用される「畳み込み層」という用語とは、畳み込みニューラルネットワークにおける層を指す。畳み込み層は、入力画像に対して畳み込みを実行して出力画像を取得することに用いられる。選択的に、異なる畳み込みカーネルを使用して、同一の入力画像に対して、異なる畳み込みを実行する。選択的に、異なる畳み込みカーネルを使用して、同一の入力画像の、異なる部分に対して、畳み込みを実行する。選択的に、異なる畳み込みカーネルを使用して、異なる入力画像に対して畳み込みを実行し、例えば、畳み込み層に複数の画像を入力し、対応の畳み込みカーネルを使用して前記複数の画像のうちの１つの画像に対して畳み込みを実行する。選択的に、入力画像の、異なる状況に応じて、異なる畳み込みカーネルを使用する。
【0036】
図７は本開示のいくつかの実施例に係る複数の復号化モジュールのうちの対応の１つの構造模式図である。図７を参照して、いくつかの実施例では、複数の復号化モジュール１１２０のうちの対応の１つは、直列接続して配置される複数の第２残差ブロック１１２１及びアップサンプリング畳み込み層１１２２を備える。他の例では、アップサンプリング畳み込み層１１２２の数又は使用頻度は、ダウンサンプリング畳み込み層の２倍である。選択的に、アップサンプリング畳み込み層１１２２は、逆畳み込み層（ｄｅ－ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）（例えば、５＊５逆畳み込み層、ストライドが２である）を備え、次に漏洩修正リニアユニットである。選択的に、複数の第２残差ブロック１１２１のうちの対応の１つは畳み込み層（例えば、５＊５畳み込み層、ストライドが２である）を備え、次に漏洩修正リニアユニットであり、次に別の畳み込み層（例えば、５＊５畳み込み層、ストライドが２である）であり、次に別の漏洩修正リニアユニットである。
【0037】
本明細書に使用される「ダウンサンプリング」という用語とは、入力画像の特徴を抽出してより小さいスケールで出力画像を出力する過程を指す。本明細書に使用される「アップサンプリング」という用語とは、より多くの情報を入力画像に追加してより大きなスケールで前記出力画像を出力する処理を指す。本明細書に使用される「スケール（ｓｃａｌｅ）」という用語とは、画像の三次元のうちの１つ又は複数の組み合わせを指し、画像の幅、画像の高さ及び画像の深さのうちの１つ又はいずれかの組み合わせを含む。一例では、画像（例えば、特徴マップ、データ、信号）のスケールとは、画像の「体積」を指し、画像の幅、画像の高さ及び画像の深さを含む。他の例では、画像（例えば、特徴マップ、データ、信号）の空間スケールとは、画像の幅及び長さ、例えば幅×長さを指す。本明細書に使用される「特徴」という用語とは、一般的に、画像又は画像の一部の情報を指し、画像におけるいかなる局所光学特性、例えばスポット、ライン又はパターンを含む。１つの例示的な例では、特徴は、ベクトル及び／又は整数で定義される空間情報の形式を用いる。
【0038】
図３を参照して、いくつかの実施例では、生成器１０は、追加超解像度生成ブロック２００を更に備える。選択的に、追加超解像度生成ブロック２００は、直列接続して配置される複数の超解像度生成ユニット１００のうちの最後の１つから入力を受信するように構成される。従って、いくつかの実施例では、高解像度画像を生成するステップは、直列接続して配置される複数の超解像度生成ユニット１００のうちの最後の１つからの出力を追加超解像度生成ブロック２００に入力することと、追加超解像度生成ブロック２００を使用して複数の超解像度生成ユニット１００のうちの最後の１つからの出力を処理して、高解像度画像を生成することと、を更に含む。
【0039】
【0040】
いくつかの実施例では、コンピュータ実現方法は、フィードバック回路を使用して生成器損失関数に基づいて生成器を訓練することを更に含む。本明細書に使用される「損失関数」という用語とは、損失誤差を示す関数を指す。一例では、生成器損失関数は
として定義され、ここで、ｉが複数のスケールの対応番号を示し、Ｌｍが平均二乗誤差関数であり、Ｌψが知覚損失関数（ｐｅｒｃｅｐｔｕａｌ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）であり、αがＬｍの重み係数を示し、βがＬψの重み係数を示す。選択的に、ニューラルネットワークモデル（例えば、畳み込みニューラルネットワーク）を使用して参照画像及び高解像度画像を処理する。選択的に、
であり、
であり、ここで、Ｉが参照画像を示し、
が高解像度画像を示し、ψがニューラルネットワークモデルを示し、ｊがニューラルネットワークモデルの複数の出力層のうちの対応の１つを示し、Ｃが複数の出力層のうちの対応の１つから出力された特徴マップの複数のチャネルを示し、Ｈが複数の出力層のうちの対応の１つから出力された特徴マップの高さを示し、Ｗが複数の出力層のうちの対応の１つから出力された特徴マップの幅を示す。選択的に、ニューラルネットワークモデルはＶＧＧ－１９モデル（例えば、最初にオックスフォード大学の視覚幾何グループにより開発されたＶＧＧ－１９モデル）である。
【数10】
【数11】
【数12】
【数13】
【0041】
本明細書に使用される「特徴マップ」という用語とは、画像の特定特徴又はパラメータ又は特性を表すマップ又はデータを指す。特徴マップは、図形又は数学方式で示されてもよい。特徴マップは、画像の簡略化表現又は置換表現の形式であってもよい。例えば、特徴マップは、関数を、トポロジー的に配置されるデジタルベクトルに応用してトポロジーを保留する、出力数字に対応するベクトルの結果を取得するものである。例えば、「特徴マップ」は、畳み込みニューラルネットワークの層を使用して画像又は他の特徴マップを処理する結果であり、例えば、スケール（２８、２８、１）の画像は畳み込み層に入力され、且つ２３個のカーネル（カーネルのサイズが１＊１である）を有する畳み込み層は、入力画像において３２個のカーネルを計算することによりスケール（２６、２６、３２）の特徴マップを生成する。特徴マップは幅Ｗ、高さＨ及び深さＤを有し、例えば、スケール（２６、２６、３２）の特徴マップは幅２６、高さ２６及び深さ３２を有する。特徴マップは３２個の特徴サブマップを有し、特徴サブマップの総数は特徴マップの深さに等しい。深さＤも特徴マップのチャネルで示され、従って、スケール（２６、２６、３２）の特徴マップは３２個のチャネルを含み、且つ各チャネルは２６×２６グリッドの値を有する。
【0042】
本明細書に使用される「ニューラルネットワーク」という用語とは、人工知能（ＡＩ）問題を解決するためのネットワークを指す。ニューラルネットワークは複数の隠し層を備える。複数の隠し層のうちの対応の１つは複数のニューロン（例えば、ノード）を備える。複数の隠し層のうちの対応の１つ内の複数のニューロンは、複数の隠し層のうちの隣接する１つ内の複数のニューロンに接続される。ニューロン間の接続は、異なる重みを有する。ニューラルネットワークの構造は、生体ニューラルネットワークの構造を模倣する。ニューラルネットワークは、非決定的な方式を使用して問題を解決することができる。ニューラルネットワークのパラメータは、事前訓練により調整されてもよく、例えば、多数の問題はニューラルネットワークに入力され、且つニューラルネットワークから結果を取得する。これらの結果のフィードバックをニューラルネットワークに送ることにより、ニューラルネットワークがニューラルネットワークのパラメータを調整することが許容される。事前訓練によりニューラルネットワークがより高い問題解決能力を有することが許容される。
【0043】
本明細書に使用される「畳み込みニューラルネットワーク」という用語とは、ディープフィードフォワード人工ニューラルネットワークを指す。選択的に、畳み込みニューラルネットワークは、複数の畳み込み層、複数のアップサンプリング層及び複数のダウンサンプリング層を備える。例えば、複数の畳み込み層のうちの対応の１つは、画像を処理することができる。アップサンプリング層及びダウンサンプリング層は、入力画像のスケールを、特定の畳み込み層に対応するスケールに変更することができる。アップサンプリング層又はダウンサンプリング層からの出力は、続いて対応スケールの畳み込み層により処理されてもよい。これにより、畳み込み層は、スケールが入力画像のスケールと異なる特徴を追加又は抽出することができる。事前訓練により畳み込みニューラルネットワークのパラメータを調整することができ、該パラメータは、畳み込み層の畳み込みカーネル、偏差及び重みを含むが、それらに限らない。従って、畳み込みニューラルネットワークは、様々な応用、例えば画像識別、画像特徴の抽出及び画像特徴の追加に使用されてもよい。
【0044】
一例では、コンピュータ実現方法は、低解像度画像に対してデブラー（ｄｅ－ｂｌｕｒ）を行うことに用いられる。図８Ａは本開示のいくつかの実施例に係る低解像度画像である。図８Ｂは本開示のいくつかの実施例に係るコンピュータ実現方法により生成された高解像度画像である。図８Ｂに示すように、本方法は、より高い程度の詳細回復を利用して低解像度画像を高解像度画像にデブラーすることができる。
【0045】
いくつかの実施例では、コンピュータ実現方法は、複数の訓練低解像度画像を畳み込みニューラルネットワークに入力すること、複数の訓練参照画像を畳み込みニューラルネットワークに入力すること、前記生成器を使用してそれぞれ前記複数の訓練低解像度画像に基づいて複数の訓練高解像度画像を生成すること、生成器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の損失を計算すること、前記損失に基づいて畳み込みニューラルネットワークを調整すること、の操作によって畳み込みニューラルネットワークを事前訓練することを更に含む。一例では、この訓練方法は、大量の高解像度画像（例えば、４０００フレームの自然シーン画像）を有するデータベースを使用する。訓練学習率は、１ｅ－４として設定されてもよく、反復回数は、４０００として設定される。他の例では、畳み込みニューラルネットワークは、約８０回反復した後に収束する。
【0046】
図９は本開示のいくつかの実施例に係るコンピュータ実現方法のフローチャートである。図９を参照して、いくつかの実施例では、コンピュータ実現方法は、低解像度画像を生成器に入力することと、生成器を使用して低解像度画像に基づいて高解像度画像を生成することと、参照画像及び高解像度画像を弁別器に入力することと、弁別器を使用して参照画像に基づいて高解像度画像を検証することと、を含む。選択的に、生成器及び弁別器は、敵対的生成ネットワーク（ＧＡＮ）のコンポーネントである。本明細書に使用される「敵対的生成ネットワーク」という用語とは、生成器及び弁別器を備えるニューラルネットワークを指す。一例では、弁別器を初期訓練して実際データと他のランダム分布から抽出できる偽データとを区別することができる。選択的に、弁別器の初期訓練は、強制的なものではなく、且つ弁別器は、生成器と同期して訓練することができる。一般的に訓練の効率及び安定性の理由で、最初に訓練後の弁別器を使用し、且つ生成器を利用して訓練し続ける。データサンプルのランダム分布（例えば、正規分布）により生成器を初期化することができる。生成器の訓練期間に、生成器の分布から偽サンプル（又は、１ロットの偽サンプル）をランダムに抽出して弁別器に伝達する。実際データサンプル（又は、１ロットの実際データサンプル）も弁別器に伝達される。更に、弁別器は、これらのサンプルを真又は偽に弁別してみる。「真サンプル」は、実際データから抽出されたサンプルであり、「偽サンプル」は、生成器により生成されたサンプルである。弁別器の出力に基づいて、生成器において損失関数を最小化する。これにより、生成器のパラメータ（例えば、モデル重み）を調節し、これは、生成器が真偽サンプルをより良く区別することが許容される。
【0047】
いくつかの実施例では、高解像度画像を生成するステップは、生成器において直列接続して配置される複数の超解像度生成ユニットにより低解像度画像を処理することを含み、複数の超解像度生成ユニットのうちの対応の１つの対応入力に比べ、複数の超解像度生成ユニットのうちの対応の１つからの対応出力は、対応して増加する画像解像度を有し、且つ、高解像度画像を検証するステップは、直列接続して配置される複数の畳み込み層及び完全接続層により高解像度画像を処理することを含む。
【0048】
図１０は本開示のいくつかの実施例に係るコンピュータ実現方法を実現するための装置の構造模式図である。図１０を参照して、いくつかの実施例では、コンピュータ実現方法を実現するための装置は、生成器１０、損失関数計算器２０、弁別器４０及びフィードバック回路３０を備える。生成器１０は、低解像度画像を入力として受信し、且つ高解像度画像を損失関数計算器２０に出力するように構成される。いくつかの実施例では、生成器１０は更に高解像度画像を弁別器４０に出力する。弁別器４０は、参照画像（例えば、高解像度実際画像、例えば「真サンプル」）を受信し、且つ高解像度画像が真であるかそれとも偽であるかを確定するように構成される。いくつかの実施例では、損失関数計算器２０は、高解像度画像及び参照画像に基づいて生成器損失関数及び弁別器損失関数を計算する。フィードバック回路３０は、生成器損失関数及び弁別器損失関数に基づいてＧＡＮの生成器１０及び弁別器４０を互いに訓練するように構成される。一例では、生成器１０の構造は、上記の、例えば図３～図７及び関連説明を参照して説明した構造である。
【0049】
図１１は本開示のいくつかの実施例に係る弁別器の構造模式図である。図１１を参照して、いくつかの実施例では、弁別器４０は、直列接続して配置される複数の畳み込み層３００及び完全接続層４００を備える。選択的に、完全接続層４００は、直列接続して配置される複数の畳み込み層３００のうちの最後の１つから入力を受信するように構成される。一例では、複数の畳み込み層３００の総数は、５である。他の例では、複数の畳み込み層３００のそれぞれはいずれも５＊５畳み込み層であり、ストライドが２であり、その後は修正リニアユニット（ＲｅＬＵ、例えばＮａｉｒ，Ｈｉｎｔｏｎ，“Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ Ｉｍｐｒｏｖｅ Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，Ｈａｉｆａ，Ｉｓｒａｅｌ，（２０１０）参照、そのすべての内容が援用によりここに取り込まれる）である。他の例では、複数の畳み込み層３００のカーネルのサイズはそれぞれ３２、６４、１２８、９６及び９６である。他の例では、完全接続層４００は９６＊１６＊１６畳み込み層である。
【0050】
いくつかの実施例では、生成器損失関数は、
として定義され、弁別器損失関数は、
として定義され、ここで、Ｄが弁別器を示し、Ｇが生成器を示し、ｉが複数のスケールの対応番号を示し、αｉとβｉが、複数のスケールの対応番号に対応する重み係数を示し、Ｅが確率密度分布（ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｄｉｓｔｒｉｂｕｔｉｏｎ）を示し、
が知覚損失関数を示し、Ｐｄａｔａ（ｘ）が参照画像の確率分布を示し、ｘがＰｄａｔａ（ｘ）からのサンプルを示し、Ｐｚ（ｚ）が高解像度画像の確率分布を示し、ｚがＰｚ（ｚ）からのサンプルを示す。
【数14】
【数15】
【数16】
【0051】
いくつかの実施例では、ニューラルネットワークモデルを使用して参照画像及び高解像度画像を処理する。選択的に、知覚損失関数の計算は、
であり、ここで、Ｉが参照画像を示し、
が高解像度画像を示し、ψがニューラルネットワークモデルを示し、ｊがニューラルネットワークモデルの複数の出力層のうちの対応の１つを示し、Ｃが複数の出力層のうちの対応の１つから出力された特徴マップの複数のチャネルを示し、Ｈが複数の出力層のうちの対応の１つから出力された特徴マップの高さを示し、Ｗが複数の出力層のうちの対応の１つから出力された特徴マップの幅を示す。選択的に、ニューラルネットワークモデルはＶＧＧ－１９モデルである。選択的に、ニューラルネットワークモデルは、ｓｐｈｅｒｅＮｅｔモデルである（例えば、Ｃｏｏｒｓ等の人、“ＳｐｈｅｒｅＮｅｔ：Ｌｅａｒｎｉｎｇ Ｓｐｈｅｒｉｃａｌ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｏｒ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｉｎ Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｉｍａｇｅｓ，”Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ２０１８：Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ－ＥＣＣＶ ２０１８ｐｐ ５２５－５４１参照、そのすべての内容が援用によりここに取り込まれる）。
【数17】
【数18】
【0052】
一例では、コンピュータ実現方法は、オブジェクトの顔面画像の顔面幻覚（ｆａｃｅ ｈａｌｌｕｃｉｎａｔｉｏｎ）に使用される。図１２Ａは本開示のいくつかの実施例に係る低解像度画像である。図１２Ｂは本開示のいくつかの実施例に係るコンピュータ実現方法により生成された高解像度画像である。図１２Ｃは本開示のいくつかの実施例に係る参照画像である。図１２Ｂに示すように、本方法は、回復された顔面詳細（例えば、髪、眉、メガネ、しわ等）を利用して顔面画像を高解像度に強化することができる。
【0053】
一例では、コンピュータ実現方法は、低解像度画像に対してデブラーを行うことに用いられる。図１３Ａは、本開示のいくつかの実施例に係る低解像度画像である。図１３Ｂは、本開示のいくつかの実施例に係るコンピュータ実現方法により生成された高解像度画像である。図１３Ｃは、本開示のいくつかの実施例に係る参照画像である。図１３Ｂに示すように、本方法は、より高い程度の詳細回復を利用して低解像度画像を高解像度画像にデブラーすることができる。
【0054】
いくつかの実施例では、コンピュータ実現方法は、複数の訓練低解像度画像を畳み込みニューラルネットワークに入力すること、複数の訓練参照画像を前記畳み込みニューラルネットワークに入力すること、前記生成器を使用してそれぞれ前記複数の訓練低解像度画像に基づいて複数の訓練高解像度画像を生成すること、前記生成器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の生成器損失を計算すること、前記弁別器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の弁別器損失を計算すること、前記生成器損失及び前記弁別器損失に基づいて前記畳み込みニューラルネットワークを調節すること、の操作によって畳み込みニューラルネットワークを事前訓練することを更に含む。一例では、この訓練方法は、大量の高解像度画像（例えば、４０００フレームの自然シーン画像、又は、２００Ｋフレームの顔面画像を有するＣｅｌｅｂＡ－ＨＱ顔面画像データベース）を有するデータベースを使用する。訓練学習率は、１ｅ－４として設定されてもよく、反復回数は、１００として設定される。
【0055】
一方、本開示は装置を提供する。図１４は本開示のいくつかの実施例に係る装置の構造模式図である。図１４を参照して、いくつかの実施例では、該装置は、ＲＯＭ又はＲＡＭに記憶されるコンピュータ実行可能な命令に基づいて動作を実行するように構成される中央処理ユニット（ＣＰＵ）を備える。選択的に、コンピュータシステムに必要なデータ及びプログラムは、ＲＡＭに記憶される。選択的に、ＣＰＵ、ＲＯＭ及びＲＡＭは、バスを介して互いに電気的に接続される。選択的に、入力／出力インターフェースは、バスに電気的に接続される。
【0056】
いくつかの実施例では、該装置は、メモリと、１つ又は複数のプロセッサとを備え、メモリと１つ又は複数のプロセッサは互いに接続される。いくつかの実施例では、メモリはコンピュータ実行可能な命令を記憶し、該コンピュータ実行可能な命令は、低解像度画像を生成器に入力すること、前記生成器を使用して、前記生成器において直列接続して配置される複数の超解像度生成ユニットを利用して前記低解像度画像を処理することにより、前記低解像度画像に基づいて高解像度画像を生成すること、の操作を実行するように１つ又は複数のプロセッサを制御することに用いられる。選択的に、複数の超解像度生成ユニットのうちの対応の１つへの対応入力に比べ、複数の超解像度生成ユニットのうちの対応の１つからの対応出力は、対応して増加する画像解像度を有する。
【0057】
いくつかの実施例では、前記複数の超解像度生成ユニットのうちの対応の１つは、超解像度生成ブロック、バイリニア補間ブロック及び連結ブロックを備える。選択的に、前記メモリは更にコンピュータ実行可能な命令を記憶し、該コンピュータ実行可能な命令は、それぞれ前記超解像度生成ブロック及び前記バイリニア補間ブロックへ対応入力を入力すること、超解像度生成ブロックを使用して対応入力を処理して、超解像度生成ブロックから第１中間出力を生成すること、超解像度生成ブロックからの第１中間出力をバイリニア補間ブロックに入力すること、前記バイリニア補間ブロックを使用して前記対応入力及び第１中間出力に基づいて第２中間出力を生成すること、前記第２中間出力を前記連結ブロックに入力すること、第２中間出力に基づいて連結ブロックから対応出力を生成すること、の操作を実行するように前記１つ又は複数のプロセッサを制御することに用いられる。
【0058】
いくつかの実施例では、超解像度生成ブロックは、Ｕ－Ｎｅｔアーキテクチャで配置される複数の符号化モジュール及び複数の復号化モジュールを備える。選択的に、前記複数の符号化モジュールのうちの対応の１つは、ダウンサンプリング畳み込み層及び直列接続して配置される複数の第１残差ブロックを備える。選択的に、前記複数の復号化モジュールのうちの対応の１つは、直列接続して配置される複数の第２残差ブロック及びアップサンプリング畳み込み層を備える。
【0059】
いくつかの実施例では、前記メモリは更にコンピュータ実行可能な命令を記憶し、該コンピュータ実行可能な命令は、直列接続して配置される前記複数の超解像度生成ユニットのうちの最後の１つからの出力を追加超解像度生成ブロックに入力すること、追加超解像度生成ブロックを使用して複数の超解像度生成ユニットのうちの最後の１つからの出力を処理して、高解像度画像を生成すること、の操作を実行するように前記１つ又は複数のプロセッサを制御することに用いられる。
【0060】
いくつかの実施例では、メモリは更にコンピュータ実行可能な命令を記憶し、該コンピュータ実行可能な命令は、フィードバックループを使用して生成器損失関数に基づいて生成器を訓練するように１つ又は複数のプロセッサを制御することに用いられる。選択的に、生成器損失関数は、
として定義され、ここで、ｉが複数のスケールの対応番号を示し、Ｌｍが平均二乗誤差関数であり、Ｌψが知覚損失関数であり、αがＬｍの重み係数を示し、βがＬψの重み係数を示す。
【数19】
【0061】
いくつかの実施例では、ニューラルネットワークモデルを使用して参照画像及び高解像度画像を処理する。選択的に、
であり、
であり、ここで、Ｉが参照画像を示し、
が高解像度画像を示し、ψがニューラルネットワークモデルを示し、ｊがニューラルネットワークモデルの複数の出力層のうちの対応の１つを示し、Ｃが複数の出力層のうちの対応の１つから出力された特徴マップの複数のチャネルを示し、Ｈが複数の出力層のうちの対応の１つから出力された特徴マップの高さを示し、Ｗが複数の出力層のうちの対応の１つから出力された特徴マップの幅を示す。選択的に、ニューラルネットワークモデルはＶＧＧ－１９モデルである。
【数20】
【数21】
【数22】
【0062】
いくつかの実施例では、メモリは更にコンピュータ実行可能な命令を記憶し、該コンピュータ実行可能な命令は、複数の訓練低解像度画像を畳み込みニューラルネットワークに入力すること、複数の訓練参照画像を前記畳み込みニューラルネットワークに入力すること、前記生成器を使用してそれぞれ前記複数の訓練低解像度画像に基づいて複数の訓練高解像度画像を生成すること、前記生成器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の損失を計算すること、該損失に基づいて畳み込みニューラルネットワークを調節すること、の操作を実行して畳み込みニューラルネットワークを事前訓練するように１つ又は複数のプロセッサを制御することに用いられる。
【0063】
いくつかの実施例では、前記メモリは更にコンピュータ実行可能な命令を記憶し、該コンピュータ実行可能な命令は、参照画像及び前記高解像度画像を弁別器に入力すること、弁別器を使用して参照画像に基づいて高解像度画像を検証すること、の操作を実行するように前記１つ又は複数のプロセッサを制御することに用いられる。選択的に、生成器及び弁別器は、敵対的生成ネットワーク（ＧＡＮ）のコンポーネントである。
【0064】
いくつかの実施例では、前記メモリは更にコンピュータ実行可能な命令を記憶し、該コンピュータ実行可能な命令は、直列接続して配置される複数の畳み込み層及び完全接続層により高解像度画像を処理するという操作を実行するように前記１つ又は複数のプロセッサを制御することに用いられる。
【0065】
いくつかの実施例では、メモリは更にコンピュータ実行可能な命令を記憶し、該コンピュータ実行可能な命令は、フィードバックループを使用して生成器損失関数及び弁別器損失関数に基づいて生成器及び弁別器を互いに訓練するように１つ又は複数のプロセッサを制御することに用いられる。選択的に、生成器損失関数は、
として定義され、弁別器損失関数は、
として定義され、ここで、Ｄが弁別器を示し、Ｇが生成器を示し、ｉが複数のスケールの対応番号を示し、αｉとβｉが、複数のスケールの対応番号に対応する重み係数を示し、Ｅが確率密度分布を示し、
が知覚損失関数を示し、Ｐｄａｔａ（ｘ）が参照画像の確率分布を示し、ｘがＰｄａｔａ（ｘ）からのサンプルを示し、Ｐｚ（ｚ）が高解像度画像の確率分布を示し、ｚがＰｚ（ｚ）からのサンプルを示す。
【数23】
【数24】
【数25】
【0066】
いくつかの実施例では、ニューラルネットワークモデルを使用して参照画像及び高解像度画像を処理する。選択的に、知覚損失関数の計算は、
であり、ここで、Ｉが参照画像を示し、
が高解像度画像を示し、ψがニューラルネットワークモデルを示し、ｊがニューラルネットワークモデルの複数の出力層のうちの対応の１つを示し、Ｃが複数の出力層のうちの対応の１つから出力された特徴マップの複数のチャネルを示し、Ｈが複数の出力層のうちの対応の１つから出力された特徴マップの高さを示し、Ｗが複数の出力層のうちの対応の１つから出力された特徴マップの幅を示す。選択的に、ニューラルネットワークモデルはＶＧＧ－１９モデルである。選択的に、ニューラルネットワークモデルはｓｐｈｅｒｅＮｅｔモデルである。
【数26】
【数27】
【0067】
いくつかの実施例では、メモリは更にコンピュータ実行可能な命令を記憶し、該コンピュータ実行可能な命令は、複数の訓練低解像度画像を畳み込みニューラルネットワークに入力すること、複数の訓練参照画像を前記畳み込みニューラルネットワークに入力すること、前記生成器を使用してそれぞれ前記複数の訓練低解像度画像に基づいて複数の訓練高解像度画像を生成すること、前記生成器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の生成器損失を計算すること、前記弁別器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の弁別器損失を計算すること、前記生成器損失及び前記弁別器損失に基づいて前記畳み込みニューラルネットワークを調節すること、の操作を実行して畳み込みニューラルネットワークを事前訓練するように１つ又は複数のプロセッサを制御することに用いられる。
【0068】
一方、本開示は、コンピュータ可読命令を有する非一時的有形コンピュータ可読媒体を含むコンピュータプログラム製品を提供する。いくつかの実施例では、前記コンピュータ可読命令がプロセッサにより実行されることで、前記プロセッサは、低解像度画像を生成器に入力すること、生成器を使用して低解像度画像に基づいて高解像度画像を生成すること、の操作を実行するようにする。選択的に、高解像度画像を生成することは、生成器において直列接続して配置される複数の超解像度生成ユニットにより低解像度画像を処理することを含み、複数の超解像度生成ユニットのうちの対応の１つへの対応入力に比べ、複数の超解像度生成ユニットのうちの対応の１つからの対応出力は、対応して増加する画像解像度を有する。
【0069】
いくつかの実施例では、前記複数の超解像度生成ユニットのうちの対応の１つは、超解像度生成ブロック、バイリニア補間ブロック及び連結ブロックを備える。選択的に、前記生成器を使用して前記高解像度画像を生成することは、それぞれ前記超解像度生成ブロック及び前記バイリニア補間ブロックへ対応入力を入力することと、超解像度生成ブロックを使用して前記対応入力を処理して、超解像度生成ブロックから第１中間出力を生成することと、超解像度生成ブロックの第１中間出力をバイリニア補間ブロックに入力することと、前記バイリニア補間ブロックを使用して前記対応入力及び第１中間出力に基づいて第２中間出力を生成することと、第２中間出力を連結ブロックに入力することと、第２中間出力に基づいて連結ブロックから対応出力を生成することと、を更に含む。
【0070】
いくつかの実施例では、超解像度生成ブロックは、Ｕ－Ｎｅｔアーキテクチャで配置される複数の符号化モジュール及び複数の復号化モジュールを備える。選択的に、前記複数の符号化モジュールのうちの対応の１つは、ダウンサンプリング畳み込み層及び直列接続して配置される複数の第１残差ブロックを備え、且つ前記複数の復号化モジュールのうちの対応の１つは、直列接続して配置される複数の第２残差ブロック及びアップサンプリング畳み込み層を備える。
【0071】
いくつかの実施例では、前記生成器を使用して高解像度画像を生成することは、直列接続して配置される複数の超解像度生成ユニットのうちの最後の１つからの出力を追加超解像度生成ブロックに入力することと、追加超解像度生成ブロックを使用して複数の超解像度生成ユニットのうちの最後の１つからの出力を処理して、高解像度画像を生成することと、を更に含む。
【0072】
いくつかの実施例では、プロセッサにより実行されるコンピュータ可読命令によって、プロセッサは、フィードバック回路を使用して生成器損失関数に基づいて生成器を訓練するという操作、を更に実行する。選択的に、生成器損失関数は
として定義され、ここで、ｉが複数のスケールの対応番号を示し、Ｌｍが平均二乗誤差関数であり、Ｌψが知覚損失関数であり、αがＬｍの重み係数を示し、βがＬψの重み係数を示す。
【数28】
【0073】
いくつかの実施例では、ニューラルネットワークモデルを使用して参照画像及び高解像度画像を処理する。選択的に、
であり、
であり、ここで、Ｉが参照画像を示し、
が高解像度画像を示し、ψがニューラルネットワークモデルを示し、ｊがニューラルネットワークモデルの複数の出力層のうちの対応の１つを示し、Ｃが複数の出力層のうちの対応の１つから出力された特徴マップの複数のチャネルを示し、Ｈが複数の出力層のうちの対応の１つから出力された特徴マップの高さを示し、Ｗが複数の出力層のうちの対応の１つから出力された特徴マップの幅を示す。選択的に、ニューラルネットワークモデルはＶＧＧ－１９モデルである。
【数29】
【数30】
【数31】
【0074】
いくつかの実施例では、コンピュータ可読命令がプロセッサにより実行されることで、プロセッサは更に、複数の訓練低解像度画像を畳み込みニューラルネットワークに入力すること、複数の訓練参照画像を前記畳み込みニューラルネットワークに入力すること、前記生成器を使用してそれぞれ前記複数の訓練低解像度画像に基づいて複数の訓練高解像度画像を生成すること、前記生成器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の損失を計算すること、前記損失に基づいて畳み込みニューラルネットワークを調節すること、の操作を実行して畳み込みニューラルネットワークを事前訓練するようにする。
【0075】
いくつかの実施例では、前記コンピュータ可読命令がプロセッサにより実行されることで、前記プロセッサは更に、参照画像及び前記高解像度画像を弁別器に入力すること、弁別器を使用して参照画像に基づいて高解像度画像を検証すること、の操作を実行するようにする。選択的に、生成器及び弁別器は、敵対的生成ネットワーク（ＧＡＮ）のコンポーネントである。
【0076】
いくつかの実施例では、高解像度画像を検証することは、直列接続して配置される複数の畳み込み層及び完全接続層により高解像度画像を処理することを含む。
【0077】
いくつかの実施例では、前記コンピュータ可読命令はプロセッサにより実行されることで、前記プロセッサは更に、フィードバックループを使用して生成器損失関数及び弁別器損失関数に基づいてＧＡＮの生成器及び弁別器を互いに訓練することの操作を実行するようにする。選択的に、生成器損失関数は、
として定義され、弁別器損失関数は、
として定義され、ここで、Ｄが弁別器を示し、Ｇが生成器を示し、ｉが複数のスケールの対応番号を示し、αｉとβｉが、複数のスケールの対応番号に対応する重み係数を示し、Ｅが確率密度分布を示し、
が知覚損失関数を示し、Ｐｄａｔａ（ｘ）が参照画像の確率分布を示し、ｘがＰｄａｔａ（ｘ）からのサンプルを示し、Ｐｚ（ｚ）が高解像度画像の確率分布を示し、ｚがＰｚ（ｚ）からのサンプルを示す。
【数32】
【数33】
【数34】
【0078】
いくつかの実施例では、ニューラルネットワークモデルを使用して参照画像及び高解像度画像を処理する。選択的に、知覚損失関数の計算は、
であり、ここで、Ｉが参照画像を示し、
が高解像度画像を示し、ψがニューラルネットワークモデルを示し、ｊがニューラルネットワークモデルの複数の出力層のうちの対応の１つを示し、Ｃが複数の出力層のうちの対応の１つから出力された特徴マップの複数のチャネルを示し、Ｈが複数の出力層のうちの対応の１つから出力された特徴マップの高さを示し、Ｗが複数の出力層のうちの対応の１つから出力された特徴マップの幅を示す。選択的に、ニューラルネットワークモデルはＶＧＧ－１９モデルである。選択的に、ニューラルネットワークモデルはｓｐｈｅｒｅＮｅｔモデルである。
【数35】
【数36】
【0079】
いくつかの実施例では、コンピュータ可読命令がプロセッサにより実行されることで、プロセッサは更に、複数の訓練低解像度画像を畳み込みニューラルネットワークに入力すること、複数の訓練参照画像を前記畳み込みニューラルネットワークに入力すること、前記生成器を使用してそれぞれ前記複数の訓練低解像度画像に基づいて複数の訓練高解像度画像を生成すること、前記生成器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の生成器損失を計算すること、前記弁別器損失関数に基づいてそれぞれ前記複数の訓練高解像度画像の弁別器損失を計算すること、前記生成器損失及び前記弁別器損失に基づいて前記畳み込みニューラルネットワークを調節すること、の操作を実行して畳み込みニューラルネットワークを事前訓練するようにする。
【0080】
本明細書に開示される配置を参照して説明した様々な説明的なニューラルネットワーク、ユニット、モジュール及び他の操作は電子ハードウェア、コンピュータソフトウェア又はそれらの組み合わせとして実現されることができる。このように、ニューラルネットワーク、ユニット、モジュール及び他の操作は、本明細書に開示される配置を生成するように設計される汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、ＡＳＩＣ又はＡＳＳＰ、ＦＰＧＡ又は他のプログラマブルロジックデバイス、個別ゲート又はトランジスタロジック、個別ハードウェアコンポーネント又はそれらの任意の組み合わせにより実現又は実行されることができる。例えば、このような配置は、少なくともハード配線回路、特定用途向け集積回路に製造される回路配置、又は不揮発性メモリにアップロードされるファームウェアプログラム、又は機械可読コードとしてデータ記憶媒体からアップロードされるもの又はデータ記憶媒体にアップロードされるソフトウェアプログラムとして部分的に実現されることができ、このようなコードは、汎用プロセッサ又は他のデジタル信号処理ユニット等の論理素子のアレイにより実行できる命令である。汎用プロセッサは、マイクロプロセッサであってもよいが、代替案において、プロセッサは、いかなる通常のプロセッサ、コントローラ、マイクロコントローラ又はステートマシンであってもよい。プロセッサは、計算装置の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、１つ又は複数のマイクロプロセッサとＤＳＰカーネルの組み合わせ、又はいかなる他のこのような配置として実現されてもよい。ソフトウェアモジュールは、非一時的記憶媒体、例えばＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読み出し専用メモリ）、不揮発性ＲＡＭ（ＮＶＲＡＭ）、例えばフラッシュＲＡＭ、消去可能プログラム可能ＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラム可能ＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク又はＣＤ－ＲＯＭに駐在してもよく、又は本分野の既知のいかなる他の形式の記憶媒体により実現される。説明的な記憶媒体はプロセッサに結合され、それによりプロセッサは記憶媒体から情報を読み取り且つ情報を記憶媒体に書き込むことができる。代替案において、記憶媒体とプロセッサは一体であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに駐在してもよい。ＡＳＩＣはユーザー端末に駐在してもよい。代替案において、プロセッサ及び記憶媒体は個別コンポーネントとしてユーザー端末に駐在してもよい。
【0081】
説明及び記述のために、本発明の実施例の上記説明が与えられている。それは、網羅するものではなく、本発明を、開示される精確な形式又は例示的な実施例に制限するものでもない。従って、上記説明は、説明的なものであって制限的なものではない。無論、多くの修正や変化は、当業者にとって明らかなものである。実施例の選択及び説明は、本発明の原理及びその最適なモードの実際応用を解釈するように意図され、それにより当業者は本発明の様々な実施例及び考慮する特定の使用又は実施形態に適合する様々な修正を理解することができる。本発明の範囲は添付の特許請求の範囲及びその等価物により限定されるように意図され、特に説明しない限り、すべての用語は、その最も広い合理的な意味を意味する。従って、用語「発明」、「本発明」等は、必ず特許請求の範囲を特定の実施例に制限すると限らず、且つ本発明の例示的な実施例の援用は本発明を制限することを意味せず、且つこのような制限を推定すべきではない。本発明は、添付の請求項の趣旨及び範囲のみにより限定される。また、これらの請求項は「第１」、「第２」等の使用に関わる可能性があり、これらの単語の後は名詞又は要素である。これらの用語は命名法として理解されるべきであり、且つ、特に特定の数を与えない限り、これらの命名法により修正された素子の数を制限すると解釈されるべきではない。説明されるいかなる利点及びメリットは本発明のすべての実施例に適用されない可能性がある。理解されるように、添付の特許請求の範囲により限定される本発明の範囲を逸脱せずに、当業者は、説明される実施例を変更することができる。また、本開示の素子又はコンポーネントが添付の特許請求の範囲に明確に説明されるかどうかにかかわらず、該素子及びコンポーネントはいずれも公衆に貢献するものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図13A】
【図13B】
【図13C】
【図14】
【国際調査報告】