▶ ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-28
(54)【発明の名称】画像処理方法及び装置、電子機器並びに記憶媒体
(51)【国際特許分類】
G06T 7/246 20170101AFI20221118BHJP
G06T 7/00 20170101ALI20221118BHJP
H04N 5/232 20060101ALI20221118BHJP
【ＦＩ】
G06T7/246
G06T7/00 350C
H04N5/232 290
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022519417
(86)(22)【出願日】2019-12-24
(85)【翻訳文提出日】2022-03-25
(86)【国際出願番号】 CN2019127981
(87)【国際公開番号】W WO2021082241
(87)【国際公開日】2021-05-06
(31)【優先権主張番号】201911041851.X
(32)【優先日】2019-10-30
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ブルートゥース
２．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】516158057
【氏名又は名称】ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド
(74)【代理人】
【識別番号】100067736
【弁理士】
【氏名又は名称】小池 晃
(74)【代理人】
【識別番号】100192212
【弁理士】
【氏名又は名称】河野 貴明
(74)【代理人】
【識別番号】100200001
【弁理士】
【氏名又は名称】北原 明彦
(72)【発明者】
【氏名】リ，シャオ
(72)【発明者】
【氏名】シュ，シャンギュ
(72)【発明者】
【氏名】スン，ウェンシュ
【テーマコード（参考）】
5C122
5L096
【Ｆターム（参考）】
5C122DA03
5C122EA12
5C122FH12
5C122FH18
5C122HA13
5C122HA35
5C122HA88
5C122HA89
5C122HB01
5C122HB05
5C122HB10
5L096CA18
5L096DA01
5L096EA33
5L096GA06
5L096GA55
5L096HA04
5L096HA11
5L096KA04
(57)【要約】
本開示は、画像処理方法及び装置、電子機器並びに記憶媒体に関する。前記方法は、第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、第ｔ＋１フレームの画像から第ｔフレームの画像への第３のオプティカルフローマップ及び第ｔ＋１フレームの画像から第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得すること（Ｓ１１）と、第１のオプティカルフローマップ、第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、第３のオプティカルフローマップ、第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定すること（Ｓ１２）と、第１のフレーム補間オプティカルフローマップ及び第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、第２のフレーム補間オプティカルフローマップ及び第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定すること（Ｓ１３）と、第１のフレーム補間画像と第２のフレーム補間画像を融合処理して、第ｔフレームの画像と第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ること（Ｓ１４）と、を含む。本開示の実施例によれば、得られるフレーム補間画像の精度を向上させることができる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
第ｔ（ｔは整数）フレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得することと、前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することと、
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、
前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、
を含む画像処理方法。
【請求項2】
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することは、前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップ、及び予め設定されたフレーム補間時間に基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することであって、前記予め設定されたフレーム補間時間は、前記第ｔフレームの画像の収集時間と前記第ｔ＋１フレームの画像の収集時間との時間間隔内の任意時間であることを含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することは、前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることと、
反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、
を含むことを特徴とする請求項１又は２に記載の方法。
【請求項4】
前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることは、前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第３のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第４のフレーム補間画像を決定することと、
前記第３のフレーム補間画像において任意の位置の第１の近傍領域を決定し、前記第１の近傍領域内の少なくとも１つの位置の、前記第１のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第３のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第４のフレーム補間画像において任意の位置の第２の近傍領域を決定し、前記第２の近傍領域内の少なくとも１つの位置の、前記第２のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第４のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第３のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第１のフレーム補間オプティカルフローマップを構成し、前記第４のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第２のフレーム補間オプティカルフローマップを構成することと、
を含むことを特徴とする請求項３に記載の方法。
【請求項5】
前記反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することは、前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、
フィルタされた第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、フィルタされた第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、
を含むことを特徴とする請求項３又は４に記載の方法。
【請求項6】
前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることは、反転された前記第１のフレーム補間オプティカルフローマップに基づいて第１のサンプリングオフセット及び第１の残差を決定し、反転された前記第２のフレーム補間オプティカルフローマップに基づいて第２のサンプリングオフセット及び第２の残差を決定することと、
前記第１のサンプリングオフセット及び前記第１の残差に基づいて前記反転された前記第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、前記第２のサンプリングオフセット及び前記第２の残差に基づいて前記反転された前記第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、
を含むことを特徴とする請求項５に記載の方法。
【請求項7】
前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることは、前記第１のフレーム補間画像及び前記第２のフレーム補間画像に基づいて前記フレーム補間画像内の少なくとも一部の位置の重畳重みを決定することと、
前記第１のフレーム補間画像、前記第２のフレーム補間画像、及び前記少なくとも一部の位置の重畳重みに基づいて、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、
を含むことを特徴とする請求項１～６のいずれか１項に記載の方法。
【請求項8】
第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得することは、前記第ｔフレームの画像及び第ｔ－１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップを得ることと、
前記第ｔフレームの画像及び第ｔ＋１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔフレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔ＋２フレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを得ることと、
を含むことを特徴とする請求項１～７のいずれか１項に記載の方法。
【請求項9】
前記方法はニューラルネットワークによって実現可能であり、前記方法はさらに、予め設定されたトレーニングセットによって前記ニューラルネットワークをトレーニングすることを含み、
前記トレーニングセットは複数のサンプル画像群を含み、
各サンプル画像群は、フレーム補間対象の第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像と、第ｉ－１フレームのサンプル画像と、第ｉ＋２フレームのサンプル画像と、前記第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像との間に挿入されるサンプルフレーム補間画像と、前記サンプルフレーム補間画像のフレーム補間時間と、を少なくとも含むことを特徴とする請求項１～８のいずれか１項に記載の方法。
【請求項10】
当該ニューラルネットワークは、第１のオプティカルフロー予測ネットワークと、第２のオプティカルフロー予測ネットワークと、画像合成ネットワークとを含み、予め設定されたトレーニングセットによって前記ニューラルネットワークをトレーニングすることは、
前記第１のオプティカルフロー予測ネットワークによって第ｉ－１フレームのサンプル画像、第ｉフレームのサンプル画像、第ｉ＋１フレームのサンプル画像及び第ｉ＋２フレームのサンプル画像に対してオプティカルフロー予測をそれぞれ行って、前記第ｉフレームのサンプル画像から前記第ｉ－１フレームのサンプル画像への第１のサンプルオプティカルフローマップ、前記第ｉフレームのサンプル画像から前記第ｉ＋１フレームのサンプル画像への第２のサンプルオプティカルフローマップ、前記第ｉ＋１フレームのサンプル画像から前記第ｉフレームのサンプル画像への第３のサンプルオプティカルフローマップ及び前記第ｉ＋１フレームのサンプル画像から前記第ｉ＋２フレームのサンプル画像への第４のサンプルオプティカルフローマップを取得し、１＜ｉ＜Ｉ－１であり、Ｉは画像の総フレーム数であり、ｉ、Ｉは整数であることと、
前記第２のオプティカルフロー予測ネットワークは前記第１のサンプルオプティカルフローマップ、前記第２のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第１のサンプルフレーム補間オプティカルフローマップを得ることと、
前記第２のオプティカルフロー予測ネットワークは前記第３のサンプルオプティカルフローマップ、前記第４のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
前記フレーム補間画像及び前記サンプルフレーム補間画像によってニューラルネットワークの画像損失を決定することと、
前記画像損失に基づいて、前記ニューラルネットワークをトレーニングすることと、
を含むことを特徴とする請求項９に記載の方法。
【請求項11】
前記ニューラルネットワークはさらに、オプティカルフロー反転ネットワークを含み、前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることは、
前記オプティカルフロー反転ネットワークによって第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップに対してオプティカルフロー反転を行って、反転された第１のサンプルフレーム補間オプティカルフローマップ、及び反転された第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
を含むことを特徴とする請求項１０に記載の方法。
【請求項12】
前記ニューラルネットワークはさらに、フィルタネットワークを含み、前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることは、
前記フィルタネットワークによって前記第１のサンプルフレーム補間オプティカルフローマップ及び第２のサンプルフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のサンプルフレーム補間オプティカルフローマップ、及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記フィルタされた第１のサンプルフレーム補間オプティカルフローマップ及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
を含むことを特徴とする請求項１１に記載の方法。
【請求項13】
第ｔ（ｔは整数）フレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得するための取得モジュールと、前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定するための第１の決定モジュールと、
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定するための第２の決定モジュールと、
前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得るための融合モジュールと、
を含む画像処理装置。
【請求項14】
前記第１の決定モジュールはさらに、前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップ、及び予め設定されたフレーム補間時間に基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することであって、前記予め設定されたフレーム補間時間は、前記第ｔフレームの画像の収集時間と前記第ｔ＋１フレームの画像の収集時間との時間間隔内の任意時間であることに用いられることを特徴とする請求項１３に記載の装置。
【請求項15】
前記第２の決定モジュールはさらに、前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることと、
反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、
に用いられることを特徴とする請求項１３又は１４に記載の装置。
【請求項16】
前記第２の決定モジュールはさらに、前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第３のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第４のフレーム補間画像を決定することと、
前記第３のフレーム補間画像において任意の位置の第１の近傍領域を決定し、前記第１の近傍領域内の少なくとも１つの位置の、前記第１のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第３のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第４のフレーム補間画像において任意の位置の第２の近傍領域を決定し、前記第２の近傍領域内の少なくとも１つの位置の、前記第２のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第４のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第３のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第１のフレーム補間オプティカルフローマップを構成し、前記第４のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第２のフレーム補間オプティカルフローマップを構成することと、
に用いられることを特徴とする請求項１５に記載の装置。
【請求項17】
前記第２の決定モジュールはさらに、前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、
フィルタされた第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、フィルタされた第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、
に用いられることを特徴とする請求項１５又は１６に記載の装置。
【請求項18】
前記第２の決定モジュールはさらに、反転された前記第１のフレーム補間オプティカルフローマップに基づいて第１のサンプリングオフセット及び第１の残差を決定し、反転された前記第２のフレーム補間オプティカルフローマップに基づいて第２のサンプリングオフセット及び第２の残差を決定することと、
前記第１のサンプリングオフセット及び前記第１の残差に基づいて前記反転された前記第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、前記第２のサンプリングオフセット及び前記第２の残差に基づいて前記反転された前記第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、
に用いられることを特徴とする請求項１７に記載の装置。
【請求項19】
前記融合モジュールはさらに、前記第１のフレーム補間画像及び前記第２のフレーム補間画像に基づいて前記フレーム補間画像内の少なくとも一部の位置の重畳重みを決定することと、
前記第１のフレーム補間画像、前記第２のフレーム補間画像、及び前記少なくとも一部の位置の重畳重みに基づいて、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、
に用いられることを特徴とする請求項１３～１８のいずれか１項に記載の装置。
【請求項20】
前記取得モジュールはさらに、前記第ｔフレームの画像及び第ｔ－１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップを得ることと、
前記第ｔフレームの画像及び第ｔ＋１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔフレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔ＋２フレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを得ることと、
に用いられることを特徴とする請求項１３～１９のいずれか１項に記載の装置。
【請求項21】
前記装置はニューラルネットワークによって実現可能であり、前記装置はさらに、予め設定されたトレーニングセットによって前記ニューラルネットワークをトレーニングするためのトレーニングモジュールを含み、
前記トレーニングセットは複数のサンプル画像群を含み、
各サンプル画像群は、フレーム補間対象の第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像と、第ｉ－１フレームのサンプル画像と、第ｉ＋２フレームのサンプル画像と、前記第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像との間に挿入されるサンプルフレーム補間画像と、前記サンプルフレーム補間画像のフレーム補間時間と、を少なくとも含むことを特徴とする請求項１３～２０のいずれか１項に記載の装置。
【請求項22】
前記ニューラルネットワークは、第１のオプティカルフロー予測ネットワークと、第２のオプティカルフロー予測ネットワークと、画像合成ネットワークとを含み、前記トレーニングモジュールはさらに、
前記第１のオプティカルフロー予測ネットワークによって第ｉ－１フレームのサンプル画像、第ｉフレームのサンプル画像、第ｉ＋１フレームのサンプル画像及び第ｉ＋２フレームのサンプル画像に対してオプティカルフロー予測をそれぞれ行って、前記第ｉフレームのサンプル画像から前記第ｉ－１フレームのサンプル画像への第１のサンプルオプティカルフローマップ、前記第ｉフレームのサンプル画像から前記第ｉ＋１フレームのサンプル画像への第２のサンプルオプティカルフローマップ、前記第ｉ＋１フレームのサンプル画像から前記第ｉフレームのサンプル画像への第３のサンプルオプティカルフローマップ及び前記第ｉ＋１フレームのサンプル画像から前記第ｉ＋２フレームのサンプル画像への第４のサンプルオプティカルフローマップを取得し、１＜ｉ＜Ｉ－１であり、Ｉは画像の総フレーム数であり、ｉ、Ｉは整数であることと、
前記第２のオプティカルフロー予測ネットワークは前記第１のサンプルオプティカルフローマップ、前記第２のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第１のサンプルフレーム補間オプティカルフローマップを得ることと、
前記第２のオプティカルフロー予測ネットワークは前記第３のサンプルオプティカルフローマップ、前記第４のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
前記フレーム補間画像及び前記サンプルフレーム補間画像によってニューラルネットワークの画像損失を決定することと、
前記画像損失に基づいて、前記ニューラルネットワークをトレーニングすることと、
に用いられることを特徴とする請求項２１に記載の装置。
【請求項23】
前記ニューラルネットワークはさらに、オプティカルフロー反転ネットワークを含み、前記トレーニングモジュールはさらに、
前記オプティカルフロー反転ネットワークによって第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップに対してオプティカルフロー反転を行って、反転された第１のサンプルフレーム補間オプティカルフローマップ、及び反転された第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
に用いられることを特徴とする請求項２２に記載の装置。
【請求項24】
前記ニューラルネットワークはさらに、フィルタネットワークを含み、前記トレーニングモジュールはさらに、
前記フィルタネットワークによって前記第１のサンプルフレーム補間オプティカルフローマップ及び第２のサンプルフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のサンプルフレーム補間オプティカルフローマップ、及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記フィルタされた第１のサンプルフレーム補間オプティカルフローマップ及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
に用いられることを特徴とする請求項２３に記載の装置。
【請求項25】
プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、
を含む電子機器であって、
前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、請求項１～１２のいずれか１項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項26】
コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１～１２のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項27】
コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器において稼働すると、前記電子機器のプロセッサは、請求項１～１２のいずれか１項に記載の方法を実現するための命令を実行することを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
「関連出願の相互参照」
本願は、２０１９年１０月３０日に中国国家知識産権局に提出された、出願番号が２０１９１１０４１８５１．Ｘで、発明の名称が「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は援用することによって本願に組み込まれる。
本願は、２０１９年１０月３０日に中国国家知識産権局に提出された、出願番号が２０１９１１０４１８５１．Ｘで、発明の名称が「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は援用することによって本願に組み込まれる。
【0002】
本開示は、コンピュータ技術の分野に関し、特に画像処理方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【0003】
ビデオの動きをより滑らかでスムーズに見せるために、このビデオの２フレームごとの画像の間に中間フレーム画像を生成し、この中間フレーム画像をこの２フレームの画像の間に挿入することが多い。
【0004】
関連技術では、直接的又は間接的に２フレームの画像間の動きが等速な動きであることを前提として、フレーム補間対象の２フレームの画像を用いて中間フレーム画像を生成する。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、画像処理の発明を提供する。
【課題を解決するための手段】
【0006】
本開示の一側面によれば、
第ｔ（ｔは整数）フレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得することと、
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することと、
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、
前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、を含む画像処理方法が提供される。
第ｔ（ｔは整数）フレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得することと、
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することと、
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、
前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、を含む画像処理方法が提供される。
【0007】
可能な一実施形態では、前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することは、
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップ、及び予め設定されたフレーム補間時間に基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することであって、前記予め設定されたフレーム補間時間は、前記第ｔフレームの画像の収集時間と前記第ｔ＋１フレームの画像の収集時間との時間間隔内の任意時間であることを含む。
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップ、及び予め設定されたフレーム補間時間に基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することであって、前記予め設定されたフレーム補間時間は、前記第ｔフレームの画像の収集時間と前記第ｔ＋１フレームの画像の収集時間との時間間隔内の任意時間であることを含む。
【0008】
可能な一実施形態では、前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することは、
前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることと、
反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、を含む。
前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることと、
反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、を含む。
【0009】
可能な一実施形態では、前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることは、
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第３のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第４のフレーム補間画像を決定することと、
前記第３のフレーム補間画像において任意の位置の第１の近傍領域を決定し、前記第１の近傍領域内の少なくとも１つの位置の、前記第１のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第３のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第４のフレーム補間画像において任意の位置の第２の近傍領域を決定し、前記第２の近傍領域内の少なくとも１つの位置の、前記第２のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第４のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第３のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第１のフレーム補間オプティカルフローマップを構成し、前記第４のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第２のフレーム補間オプティカルフローマップを構成することと、を含む。
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第３のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第４のフレーム補間画像を決定することと、
前記第３のフレーム補間画像において任意の位置の第１の近傍領域を決定し、前記第１の近傍領域内の少なくとも１つの位置の、前記第１のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第３のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第４のフレーム補間画像において任意の位置の第２の近傍領域を決定し、前記第２の近傍領域内の少なくとも１つの位置の、前記第２のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第４のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第３のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第１のフレーム補間オプティカルフローマップを構成し、前記第４のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第２のフレーム補間オプティカルフローマップを構成することと、を含む。
【0010】
可能な一実施形態では、前記反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することは、
前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、
フィルタされた第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、フィルタされた第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、を含む。
前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、
フィルタされた第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、フィルタされた第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、を含む。
【0011】
可能な一実施形態では、前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることは、
反転された前記第１のフレーム補間オプティカルフローマップに基づいて第１のサンプリングオフセット及び第１の残差を決定し、反転された前記第２のフレーム補間オプティカルフローマップに基づいて第２のサンプリングオフセット及び第２の残差を決定することと、
前記第１のサンプリングオフセット及び前記第１の残差に基づいて前記反転された前記第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、前記第２のサンプリングオフセット及び前記第２の残差に基づいて前記反転された前記第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、を含む。
反転された前記第１のフレーム補間オプティカルフローマップに基づいて第１のサンプリングオフセット及び第１の残差を決定し、反転された前記第２のフレーム補間オプティカルフローマップに基づいて第２のサンプリングオフセット及び第２の残差を決定することと、
前記第１のサンプリングオフセット及び前記第１の残差に基づいて前記反転された前記第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、前記第２のサンプリングオフセット及び前記第２の残差に基づいて前記反転された前記第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、を含む。
【0012】
可能な一実施形態では、前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることは、
前記第１のフレーム補間画像及び前記第２のフレーム補間画像に基づいて前記フレーム補間画像内の少なくとも一部の位置の重畳重みを決定することと、
前記第１のフレーム補間画像、前記第２のフレーム補間画像、及び前記少なくとも一部の位置の重畳重みに基づいて、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、を含む。
前記第１のフレーム補間画像及び前記第２のフレーム補間画像に基づいて前記フレーム補間画像内の少なくとも一部の位置の重畳重みを決定することと、
前記第１のフレーム補間画像、前記第２のフレーム補間画像、及び前記少なくとも一部の位置の重畳重みに基づいて、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、を含む。
【0013】
可能な一実施形態では、第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得することは、
前記第ｔフレームの画像及び第ｔ－１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップを得ることと、
前記第ｔフレームの画像及び第ｔ＋１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔフレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔ＋２フレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを得ることと、を含む。
前記第ｔフレームの画像及び第ｔ－１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップを得ることと、
前記第ｔフレームの画像及び第ｔ＋１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔフレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔ＋２フレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを得ることと、を含む。
【0014】
可能な一実施形態では、前記方法はニューラルネットワークによって実現可能であり、前記方法はさらに、予め設定されたトレーニングセットによって前記ニューラルネットワークをトレーニングすることを含み、
前記トレーニングセットは複数のサンプル画像群を含み、
各サンプル画像群は、フレーム補間対象の第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像と、第ｉ－１フレームのサンプル画像と、第ｉ＋２フレームのサンプル画像と、前記第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像との間に挿入されるサンプルフレーム補間画像と、前記サンプルフレーム補間画像のフレーム補間時間と、を少なくとも含む。
前記トレーニングセットは複数のサンプル画像群を含み、
各サンプル画像群は、フレーム補間対象の第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像と、第ｉ－１フレームのサンプル画像と、第ｉ＋２フレームのサンプル画像と、前記第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像との間に挿入されるサンプルフレーム補間画像と、前記サンプルフレーム補間画像のフレーム補間時間と、を少なくとも含む。
【0015】
可能な一実施形態では、当該ニューラルネットワークは、第１のオプティカルフロー予測ネットワークと、第２のオプティカルフロー予測ネットワークと、画像合成ネットワークとを含み、予め設定されたトレーニングセットによって前記ニューラルネットワークをトレーニングすることは、
前記第１のオプティカルフロー予測ネットワークによって第ｉ－１フレームのサンプル画像、第ｉフレームのサンプル画像、第ｉ＋１フレームのサンプル画像及び第ｉ＋２フレームのサンプル画像に対してオプティカルフロー予測をそれぞれ行って、前記第ｉフレームのサンプル画像から前記第ｉ－１フレームのサンプル画像への第１のサンプルオプティカルフローマップ、前記第ｉフレームのサンプル画像から前記第ｉ＋１フレームのサンプル画像への第２のサンプルオプティカルフローマップ、前記第ｉ＋１フレームのサンプル画像から前記第ｉフレームのサンプル画像への第３のサンプルオプティカルフローマップ及び前記第ｉ＋１フレームのサンプル画像から前記第ｉ＋２フレームのサンプル画像への第４のサンプルオプティカルフローマップを取得し、１＜ｉ＜Ｉ－１であり、Ｉは画像の総フレーム数であり、ｉ、Ｉは整数であることと、
前記第２のオプティカルフロー予測ネットワークは前記第１のサンプルオプティカルフローマップ、前記第２のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第１のサンプルフレーム補間オプティカルフローマップを得ることと、
前記第２のオプティカルフロー予測ネットワークは前記第３のサンプルオプティカルフローマップ、前記第４のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
前記フレーム補間画像及び前記サンプルフレーム補間画像によってニューラルネットワークの画像損失を決定することと、
前記画像損失に基づいて、前記ニューラルネットワークをトレーニングすることと、を含む。
前記第１のオプティカルフロー予測ネットワークによって第ｉ－１フレームのサンプル画像、第ｉフレームのサンプル画像、第ｉ＋１フレームのサンプル画像及び第ｉ＋２フレームのサンプル画像に対してオプティカルフロー予測をそれぞれ行って、前記第ｉフレームのサンプル画像から前記第ｉ－１フレームのサンプル画像への第１のサンプルオプティカルフローマップ、前記第ｉフレームのサンプル画像から前記第ｉ＋１フレームのサンプル画像への第２のサンプルオプティカルフローマップ、前記第ｉ＋１フレームのサンプル画像から前記第ｉフレームのサンプル画像への第３のサンプルオプティカルフローマップ及び前記第ｉ＋１フレームのサンプル画像から前記第ｉ＋２フレームのサンプル画像への第４のサンプルオプティカルフローマップを取得し、１＜ｉ＜Ｉ－１であり、Ｉは画像の総フレーム数であり、ｉ、Ｉは整数であることと、
前記第２のオプティカルフロー予測ネットワークは前記第１のサンプルオプティカルフローマップ、前記第２のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第１のサンプルフレーム補間オプティカルフローマップを得ることと、
前記第２のオプティカルフロー予測ネットワークは前記第３のサンプルオプティカルフローマップ、前記第４のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
前記フレーム補間画像及び前記サンプルフレーム補間画像によってニューラルネットワークの画像損失を決定することと、
前記画像損失に基づいて、前記ニューラルネットワークをトレーニングすることと、を含む。
【0016】
可能な一実施形態では、前記ニューラルネットワークはさらに、オプティカルフロー反転ネットワークを含み、前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることは、
前記オプティカルフロー反転ネットワークによって第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップに対してオプティカルフロー反転を行って、反転された第１のサンプルフレーム補間オプティカルフローマップ、及び反転された第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、を含む。
前記オプティカルフロー反転ネットワークによって第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップに対してオプティカルフロー反転を行って、反転された第１のサンプルフレーム補間オプティカルフローマップ、及び反転された第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、を含む。
【0017】
可能な一実施形態では、前記ニューラルネットワークはさらに、フィルタネットワークを含み、前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることは、
前記フィルタネットワークによって前記第１のサンプルフレーム補間オプティカルフローマップ及び第２のサンプルフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のサンプルフレーム補間オプティカルフローマップ、及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記フィルタされた第１のサンプルフレーム補間オプティカルフローマップ及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、を含む。
前記フィルタネットワークによって前記第１のサンプルフレーム補間オプティカルフローマップ及び第２のサンプルフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のサンプルフレーム補間オプティカルフローマップ、及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記フィルタされた第１のサンプルフレーム補間オプティカルフローマップ及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、を含む。
【0018】
本開示の一側面によれば、
第ｔ（ｔは整数）フレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得するための取得モジュールと、
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定するための第１の決定モジュールと、
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定するための第２の決定モジュールと、
前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得るための融合モジュールと、を含む画像処理装置が提供される。
第ｔ（ｔは整数）フレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得するための取得モジュールと、
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定するための第１の決定モジュールと、
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定するための第２の決定モジュールと、
前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得るための融合モジュールと、を含む画像処理装置が提供される。
【0019】
可能な一実施形態では、前記第１の決定モジュールはさらに、
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップ、及び予め設定されたフレーム補間時間に基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することであって、前記予め設定されたフレーム補間時間は、前記第ｔフレームの画像の収集時間と前記第ｔ＋１フレームの画像の収集時間との時間間隔内の任意時間であることに用いられる。
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップ、及び予め設定されたフレーム補間時間に基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することであって、前記予め設定されたフレーム補間時間は、前記第ｔフレームの画像の収集時間と前記第ｔ＋１フレームの画像の収集時間との時間間隔内の任意時間であることに用いられる。
【0020】
可能な一実施形態では、前記第２の決定モジュールはさらに、
前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることと、
反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、に用いられる。
前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることと、
反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、に用いられる。
【0021】
可能な一実施形態では、前記第２の決定モジュールはさらに、
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第３のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第４のフレーム補間画像を決定することと、
前記第３のフレーム補間画像において任意の位置の第１の近傍領域を決定し、前記第１のフレーム補間オプティカルフローマップにおける前記第１の近傍領域内の各位置のオプティカルフローを反転させた後、反転された各位置のオプティカルフローの平均値を前記第３のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第４のフレーム補間画像において任意の位置の第２の近傍領域を決定し、前記第２の近傍領域内の少なくとも１つの位置の、前記第２のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第４のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第３のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第１のフレーム補間オプティカルフローマップを構成し、前記第４のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第２のフレーム補間オプティカルフローマップを構成することと、に用いられる。
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第３のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第４のフレーム補間画像を決定することと、
前記第３のフレーム補間画像において任意の位置の第１の近傍領域を決定し、前記第１のフレーム補間オプティカルフローマップにおける前記第１の近傍領域内の各位置のオプティカルフローを反転させた後、反転された各位置のオプティカルフローの平均値を前記第３のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第４のフレーム補間画像において任意の位置の第２の近傍領域を決定し、前記第２の近傍領域内の少なくとも１つの位置の、前記第２のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第４のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第３のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第１のフレーム補間オプティカルフローマップを構成し、前記第４のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第２のフレーム補間オプティカルフローマップを構成することと、に用いられる。
【0022】
可能な一実施形態では、前記第２の決定モジュールはさらに、
前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、
フィルタされた第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、フィルタされた第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、に用いられる。
前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、
フィルタされた第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、フィルタされた第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、に用いられる。
【0023】
可能な一実施形態では、前記第２の決定モジュールはさらに、
反転された前記第１のフレーム補間オプティカルフローマップに基づいて第１のサンプリングオフセット及び第１の残差を決定し、反転された前記第２のフレーム補間オプティカルフローマップに基づいて第２のサンプリングオフセット及び第２の残差を決定することと、
前記第１のサンプリングオフセット及び前記第１の残差に基づいて前記反転された前記第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、前記第２のサンプリングオフセット及び前記第２の残差に基づいて前記反転された前記第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、に用いられる。
反転された前記第１のフレーム補間オプティカルフローマップに基づいて第１のサンプリングオフセット及び第１の残差を決定し、反転された前記第２のフレーム補間オプティカルフローマップに基づいて第２のサンプリングオフセット及び第２の残差を決定することと、
前記第１のサンプリングオフセット及び前記第１の残差に基づいて前記反転された前記第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、前記第２のサンプリングオフセット及び前記第２の残差に基づいて前記反転された前記第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、に用いられる。
【0024】
可能な一実施形態では、前記融合モジュールはさらに、
前記第１のフレーム補間画像及び前記第２のフレーム補間画像に基づいて前記フレーム補間画像内の少なくとも一部の位置の重畳重みを決定することと、
前記第１のフレーム補間画像、前記第２のフレーム補間画像、及び前記少なくとも一部の位置の重畳重みに基づいて、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、に用いられる。
前記第１のフレーム補間画像及び前記第２のフレーム補間画像に基づいて前記フレーム補間画像内の少なくとも一部の位置の重畳重みを決定することと、
前記第１のフレーム補間画像、前記第２のフレーム補間画像、及び前記少なくとも一部の位置の重畳重みに基づいて、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、に用いられる。
【0025】
可能な一実施形態では、前記取得モジュールはさらに、
前記第ｔフレームの画像及び第ｔ－１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップを得ることと、
前記第ｔフレームの画像及び第ｔ＋１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔフレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔ＋２フレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを得ることと、に用いられる。
前記第ｔフレームの画像及び第ｔ－１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップを得ることと、
前記第ｔフレームの画像及び第ｔ＋１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔフレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔ＋２フレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを得ることと、に用いられる。
【0026】
可能な一実施形態では、前記装置はニューラルネットワークによって実現可能であり、前記装置はさらに、
予め設定されたトレーニングセットによって前記ニューラルネットワークをトレーニングするためのトレーニングモジュールを含み、
前記トレーニングセットは複数のサンプル画像群を含み、
各サンプル画像群は、フレーム補間対象の第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像と、第ｉ－１フレームのサンプル画像と、第ｉ＋２フレームのサンプル画像と、前記第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像との間に挿入されるサンプルフレーム補間画像と、前記サンプルフレーム補間画像のフレーム補間時間と、を少なくとも含む。
予め設定されたトレーニングセットによって前記ニューラルネットワークをトレーニングするためのトレーニングモジュールを含み、
前記トレーニングセットは複数のサンプル画像群を含み、
各サンプル画像群は、フレーム補間対象の第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像と、第ｉ－１フレームのサンプル画像と、第ｉ＋２フレームのサンプル画像と、前記第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像との間に挿入されるサンプルフレーム補間画像と、前記サンプルフレーム補間画像のフレーム補間時間と、を少なくとも含む。
【0027】
可能な一実施形態では、前記ニューラルネットワークは、第１のオプティカルフロー予測ネットワークと、第２のオプティカルフロー予測ネットワークと、画像合成ネットワークとを含み、前記トレーニングモジュールはさらに、
前記第１のオプティカルフロー予測ネットワークによって第ｉ－１フレームのサンプル画像、第ｉフレームのサンプル画像、第ｉ＋１フレームのサンプル画像及び第ｉ＋２フレームのサンプル画像に対してオプティカルフロー予測をそれぞれ行って、前記第ｉフレームのサンプル画像から前記第ｉ－１フレームのサンプル画像への第１のサンプルオプティカルフローマップ、前記第ｉフレームのサンプル画像から前記第ｉ＋１フレームのサンプル画像への第２のサンプルオプティカルフローマップ、前記第ｉ＋１フレームのサンプル画像から前記第ｉフレームのサンプル画像への第３のサンプルオプティカルフローマップ及び前記第ｉ＋１フレームのサンプル画像から前記第ｉ＋２フレームのサンプル画像への第４のサンプルオプティカルフローマップを取得し、１＜ｉ＜Ｉ－１であり、Ｉは画像の総フレーム数であり、ｉ、Ｉは整数であることと、
前記第２のオプティカルフロー予測ネットワークは前記第１のサンプルオプティカルフローマップ、前記第２のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第１のサンプルフレーム補間オプティカルフローマップを得ることと、
前記第２のオプティカルフロー予測ネットワークは前記第３のサンプルオプティカルフローマップ、前記第４のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
前記フレーム補間画像及び前記サンプルフレーム補間画像によってニューラルネットワークの画像損失を決定することと、
前記画像損失に基づいて、前記ニューラルネットワークをトレーニングすることと、に用いられる。
前記第１のオプティカルフロー予測ネットワークによって第ｉ－１フレームのサンプル画像、第ｉフレームのサンプル画像、第ｉ＋１フレームのサンプル画像及び第ｉ＋２フレームのサンプル画像に対してオプティカルフロー予測をそれぞれ行って、前記第ｉフレームのサンプル画像から前記第ｉ－１フレームのサンプル画像への第１のサンプルオプティカルフローマップ、前記第ｉフレームのサンプル画像から前記第ｉ＋１フレームのサンプル画像への第２のサンプルオプティカルフローマップ、前記第ｉ＋１フレームのサンプル画像から前記第ｉフレームのサンプル画像への第３のサンプルオプティカルフローマップ及び前記第ｉ＋１フレームのサンプル画像から前記第ｉ＋２フレームのサンプル画像への第４のサンプルオプティカルフローマップを取得し、１＜ｉ＜Ｉ－１であり、Ｉは画像の総フレーム数であり、ｉ、Ｉは整数であることと、
前記第２のオプティカルフロー予測ネットワークは前記第１のサンプルオプティカルフローマップ、前記第２のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第１のサンプルフレーム補間オプティカルフローマップを得ることと、
前記第２のオプティカルフロー予測ネットワークは前記第３のサンプルオプティカルフローマップ、前記第４のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
前記フレーム補間画像及び前記サンプルフレーム補間画像によってニューラルネットワークの画像損失を決定することと、
前記画像損失に基づいて、前記ニューラルネットワークをトレーニングすることと、に用いられる。
【0028】
可能な一実施形態では、前記ニューラルネットワークはさらに、オプティカルフロー反転ネットワークを含み、前記トレーニングモジュールはさらに、
前記オプティカルフロー反転ネットワークによって第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップに対してオプティカルフロー反転を行って、反転された第１のサンプルフレーム補間オプティカルフローマップ、及び反転された第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、に用いられる。
前記オプティカルフロー反転ネットワークによって第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップに対してオプティカルフロー反転を行って、反転された第１のサンプルフレーム補間オプティカルフローマップ、及び反転された第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、に用いられる。
【0029】
可能な一実施形態では、前記ニューラルネットワークはさらに、フィルタネットワークを含み、前記トレーニングモジュールはさらに、
前記フィルタネットワークによって前記第１のサンプルフレーム補間オプティカルフローマップ及び第２のサンプルフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のサンプルフレーム補間オプティカルフローマップ、及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記フィルタされた第１のサンプルフレーム補間オプティカルフローマップ及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、に用いられる。
前記フィルタネットワークによって前記第１のサンプルフレーム補間オプティカルフローマップ及び第２のサンプルフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のサンプルフレーム補間オプティカルフローマップ、及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記フィルタされた第１のサンプルフレーム補間オプティカルフローマップ及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、に用いられる。
【0030】
本開示の一側面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、上記方法を実行するように構成される電子機器が提供される。
【0031】
本開示の一側面によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体が提供される。
【0032】
本開示の一側面によれば、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器において稼働すると、前記電子機器のプロセッサは、上記方法を実現するための命令を実行するコンピュータプログラムが提供される。
【0033】
なお、上述した概略的な説明及び次の詳細な説明は、例示的及び解釈的なものに過ぎず、本開示を限定するものではない。以下、図面を参照しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴及び側面は明瞭になる。
【0034】
ここの図面は、本明細書の一部として組み込まれ、本開示に適する実施例を示し、明細書と共に本開示の技術的解決手段の説明に用いられる。
【図面の簡単な説明】
【0035】
【図1】本開示の実施例に係る画像処理方法のフローチャートを示す。
【図1】本開示の実施例に係る画像処理方法の模式図を示す。
【図1】本開示の実施例に係る画像処理装置のブロック図を示す。
【図1】本開示の実施例に係る電子機器８００のブロック図を示す。
【図1】本開示の実施例に係る電子機器１９００のブロック図を示す。
【発明を実施するための形態】
【0036】
以下、図面を参照しながら本開示の様々な例示的な実施例、特徴および側面を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を示す。図面において実施例の様々な側面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
【0037】
ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は他の実施例より好ましいまたは優れるものであると理解すべきではない。
【0038】
本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書における用語「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。
【0039】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的な詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路について詳細な説明を行わない。
【0040】
ビデオは、連続するビデオフレームからなる。ビデオフレーム補間技術では、ビデオの２フレームごとに中間フレーム画像を生成することにより、ビデオのフレームレートを向上させ、ビデオの動きをより滑らかでスムーズに見せることができる。生成された高フレームレートビデオを本来と同じフレームレートで再生すると、スローモーションの効果がある。しかし、フレーム補間時、実際の情景の動きは複雑で、等速なものではない可能性があるため、生成された中間フレーム画像の精度が低い。これに鑑みて、上記課題を解決するために、本開示は、生成された中間フレーム画像の精度を向上させることができる画像処理方法を提供している。
【0041】
図１は、本開示の実施例に係る画像処理方法のフローチャートを示す。この画像処理方法は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算装置、車載装置、ウエアラブル装置などの端末装置又は他の処理装置により実行されてもよい。他の処理装置は、サーバやクラウドサーバなどであってもよい。いくつかの可能な実施形態では、この画像処理方法は、プロセッサによりメモリに記憶されているコンピュータ読み取り可能な命令を呼び出すことで実現されてもよい。
【0042】
図１に示すように、前記方法は、以下のステップを含んでもよい。
【0043】
ステップＳ１１において、前記第ｔ（ｔは整数）フレームの画像から前記第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から前記第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得する。
【0044】
例えば、第ｔフレームの画像と第ｔ＋１フレームの画像は、ビデオにおけるフレーム補間対象の２フレームの画像であって、第ｔ－１フレームの画像、第ｔフレームの画像、第ｔ＋１フレームの画像及び第ｔ＋２フレームの画像は、連続する４枚の画像であることとしてもよい。例えば、第ｔフレームの画像の前に第ｔフレームの画像に隣接する画像を第ｔ－１フレームの画像として取得し、第ｔ＋１フレームの画像の後に第ｔ＋１フレームの画像に隣接する画像を第ｔ＋２フレームの画像として取得するようにしてもよい。
【0045】
可能な一実施形態では、前記第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得することは、
前記第ｔフレームの画像及び第ｔ－１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップを得ることと、前記第ｔフレームの画像及び第ｔ＋１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップを得ることと、前記第ｔ＋１フレームの画像及び前記第ｔフレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップを得ることと、前記第ｔ＋１フレームの画像及び前記第ｔ＋２フレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを得ることと、を含んでもよい。
前記第ｔフレームの画像及び第ｔ－１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップを得ることと、前記第ｔフレームの画像及び第ｔ＋１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップを得ることと、前記第ｔ＋１フレームの画像及び前記第ｔフレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップを得ることと、前記第ｔ＋１フレームの画像及び前記第ｔ＋２フレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを得ることと、を含んでもよい。
【0046】
例えば、オプティカルフローマップは、各位置における対象オブジェクトのオプティカルフローからなり、画像内の対象オブジェクトの変化を説明するための画像情報である。第ｔ－１フレームの画像、第ｔフレームの画像によってオプティカルフロー予測を行って、第ｔフレームの画像から前記第ｔ－１フレームの画像への第１のオプティカルフローマップを決定し、第ｔフレームの画像、第ｔ＋１フレームの画像によってオプティカルフロー予測を行って、第ｔフレームの画像から前記第ｔ＋１フレームの画像への第２のオプティカルフローマップを決定し、第ｔ＋１フレームの画像、第ｔフレームの画像によってオプティカルフロー予測を行って、第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップを決定し、第ｔ＋１フレームの画像、第ｔ＋２フレームの画像によってオプティカルフロー予測を行って、第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを決定するようにしてもよい。オプティカルフロー予測は、事前にトレーニングされた、オプティカルフロー予測を行うためのニューラルネットワークによって実現されてもよいし、他の方法によって実現されてもよい。本開示では、これについて詳細な説明を省略する。
【0047】
ステップＳ１２において、前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定する。
【0048】
例えば、第ｔフレームの画像を時刻０時に対応する画像フレームとし、第ｔ＋１フレームの画像を時刻１時に対応する画像フレームとしてもよく、その場合、第ｔ－１フレームの画像は、時刻－１時に対応する画像フレームであり、第ｔ＋２フレームの画像は、時刻２時に対応する画像フレームである。
【0049】
ビデオ中の要素が一定の加速度で移動している場合、第１のオプティカルフローマップ、前記第２のオプティカルフローマップのいずれかの位置のオプティカルフロー値の変化によって第１のフレーム補間オプティカルフローマップにおける当該位置のオプティカルフロー値を決定し、第３のオプティカルフローマップ、前記第４のオプティカルフローマップのいずれかの位置のオプティカルフロー値の変化によって第２のフレーム補間オプティカルフローマップにおける当該位置のオプティカルフロー値を決定するようにしてもよい。
【0050】
可能な一実施形態では、前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することは、
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップ、及び予め設定されたフレーム補間時間に基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することであって、前記予め設定されたフレーム補間時間は、前記第ｔフレームの画像の収集時間と前記第ｔ＋１フレームの画像の収集時間との時間間隔内の任意時間であることを含んでもよい。
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップ、及び予め設定されたフレーム補間時間に基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することであって、前記予め設定されたフレーム補間時間は、前記第ｔフレームの画像の収集時間と前記第ｔ＋１フレームの画像の収集時間との時間間隔内の任意時間であることを含んでもよい。
【0051】
予め設定されたフレーム補間時間は、第ｔフレームの画像の収集時間と第ｔ＋１フレームの画像の収集時間の時間間隔内の任意時間であってもよい。例えば、第ｔフレームの画像と第ｔ＋１フレームの画像との時間間隔が１ｓである場合、予め設定されたフレーム補間時間は、０～１ｓの間の任意時間に設定されてもよい。ビデオ中の要素が一定の加速度で移動している場合、第ｔフレームの画像内の位置ｘ０から第ｔ－１フレームの画像内の位置ｘ－１への要素のオプティカルフローは式１で表すことができ、第ｔフレームの画像内の位置ｘ０から第ｔ＋１フレームの画像内の位置ｘ１への要素のオプティカルフローは式２で表すことができ、第ｔフレームの画像内の位置ｘ０からｓ時刻に対応するフレーム補間画像内の位置ｘｓへの要素のオプティカルフローは式３で表すことができる。
【0052】
【数1】
【0053】
【数2】
【0054】
【数3】
【0055】
ここで、ｆ０―＞－１は、０時刻に対応する画像から－１時刻に対応する画像への要素の第１のオプティカルフローを表し、ｆ０―＞１は、０時刻に対応する画像から１時刻に対応する画像への要素の第２のオプティカルフローを表し、ｆ０―＞ｓは、０時刻に対応する画像からｓ時刻に対応する第１のフレーム補間画像への要素の第１のフレーム補間オプティカルフローを表し、Ｘ－1は、－１時刻に対応する画像内の要素の位置を表し、Ｘ０は、０時刻に対応する画像内の要素の位置を表し、Ｘ1は、１時刻に対応する画像内の要素の位置を表し、Ｘｓは、ｓ時刻に対応する画像内の要素の位置を表し、Ｖ０は、０時刻に対応する画像内の要素の移動速度を表し、
は、画像内の要素の移動加速度を表す。
【0056】
さらに、上記式１、式２、式３によって、０時刻に対応する第ｔフレームの画像からｓ時刻に対応する第１のフレーム補間画像への要素の第１のフレーム補間オプティカルフローが式４で表すことができる。
【0057】
【数4】
【0058】
同様に、１時刻に対応する第ｔ＋１フレームの画像からｓ時刻に対応する第２のフレーム補間画像への要素の第２のフレーム補間オプティカルフローが式５で表すことができる。
【0059】
【数5】
【0060】
ここで、ｆ１―＞ｓは、１時刻に対応する画像からｓ時刻に対応する第２のフレーム補間画像への要素の第２のフレーム補間オプティカルフローを表し、ｆ１―＞０は、１時刻に対応する画像から０時刻に対応する画像への要素の第３のオプティカルフローを表し、ｆ１―＞２は、１時刻に対応する画像から２時刻に対応する画像への要素の第４のオプティカルフローを表す。
【0061】
上記式４により、第１のオプティカルフロー、第２のオプティカルフロー及び予め設定されたフレーム補間時間に基づいて第１のフレーム補間オプティカルフローを決定することができ、各要素の第１のフレーム補間オプティカルフローは、第１のフレーム補間オプティカルフローマップを構成することができる。上記式５により、第３のオプティカルフロー、第４のオプティカルフロー及び予め設定されたフレーム補間時間に基づいて第２のフレーム補間オプティカルフローを決定することができ、各要素の第２のフレーム補間オプティカルフローは、第２のフレーム補間オプティカルフローマップを構成することができる。
【0062】
なお、フレーム補間時間は、第ｔフレームの画像から第ｔ＋１フレームの画像までのいずれの時間であってもよく、１つの時間値に対応してもよいし、複数の異なる時間値に対応してもよい。フレーム補間時間が複数の異なる時間値に対応する場合、上記式４及び式５によって、異なるフレーム補間時間に対応する第１のフレーム補間オプティカルフローマップ及び第２のフレーム補間オプティカルフローマップをそれぞれ決定するようにしてもよい。
【0063】
ステップＳ１３において、前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定する。
【0064】
例えば、第１のフレーム補間オプティカルフローマップは、第ｔフレームの画像から第１のフレーム補間画像へのオプティカルフローマップであるため、第１のフレーム補間オプティカルフローマップで第ｔフレームの画像の動きをガイドすることにより、第１のフレーム補間画像を得ることができる。同様に、第２のフレーム補間オプティカルフローマップは、第ｔ＋１フレームの画像から第２のフレーム補間画像へのオプティカルフローマップであるため、第２のフレーム補間オプティカルフローマップで第ｔ＋１フレームの画像の動きをガイドすることにより、第２のフレーム補間画像を得ることができる。
【0065】
ステップＳ１４において、前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得る。
【0066】
例えば、第１のフレーム補間画像と第２のフレーム補間画像を融合処理する（例えば、第１のフレーム補間画像と第２のフレーム補間画像を重畳する）ようにしてもよい。融合処理して得られるのは、第ｔフレームの画像と第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像である。
【0067】
このようにして、フレーム補間対象の第ｔフレームの画像と第ｔ＋１フレームの画像について、第ｔ－１フレームの画像、第ｔフレームの画像、第ｔ＋１フレームの画像及び第ｔ＋２フレームの画像に対してオプティカルフロー予測をそれぞれ行って、前記第ｔフレームの画像から前記第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から前記第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを得ることができる。さらに、第１のオプティカルフローマップ、第２のオプティカルフローマップ及び予め設定されたフレーム補間時間に基づいて第１のフレーム補間オプティカルフローマップを決定し、第３のオプティカルフローマップ、第４のオプティカルフローマップ及びフレーム補間時間に基づいて第２のフレーム補間オプティカルフローマップを決定することができる。第１のフレーム補間オプティカルフローマップ及び第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、第２のフレーム補間オプティカルフローマップ及び第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することができる。前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることができる。本開示の実施例に係る画像処理方法によれば、複数のフレームの画像によってフレーム補間画像を決定することができ、ビデオ中の物体の動きの加速度を感知することができ、得られるフレーム補間画像の精度を向上させることができるため、フレーム補間された高フレームレートビデオがよりスムーズで自然になり、より良い視覚効果が得られる。
【0068】
可能な一実施形態では、前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することは、
前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることと、
反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、を含んでもよい。
前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることと、
反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、を含んでもよい。
【0069】
得られるフレーム補間画像の精度をさらに向上させるために、第１のフレーム補間オプティカルフローマップ及び第２のフレーム補間オプティカルフローマップを反転処理し、第１のフレーム補間オプティカルフローマップ及び第２のフレーム補間オプティカルフローマップの各位置を反対方向に反転させ、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップに基づいて第１のフレーム補間画像及び第２のフレーム補間画像を決定するようにしてもよい。
【0070】
例えば、０時刻に対応する位置ｘ０からｓ時刻に対応するｘｓ位置に移動する要素に対応するオプティカルフローｆ０－＞ｓを反転させることは、そのオプティカルフローｆ０－＞ｓをｓ時刻に対応するｘｓ位置から０時刻に対応する位置に移動する要素に対応するオプティカルフローｆｓ－＞０に変換すると理解することができる。
【0071】
可能な一実施形態では、前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることは、
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第３のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第４のフレーム補間画像を決定することと、
前記第３のフレーム補間画像において任意の位置の第１の近傍領域を決定し、前記第１の近傍領域内の少なくとも１つの位置の、前記第１のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第３のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第４のフレーム補間画像において任意の位置の第２の近傍領域を決定し、前記第２の近傍領域内の少なくとも１つの位置の、前記第２のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第４のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第３のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第１のフレーム補間オプティカルフローマップを構成し、前記第４のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第２のフレーム補間オプティカルフローマップを構成することと、を含んでもよい。
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第３のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第４のフレーム補間画像を決定することと、
前記第３のフレーム補間画像において任意の位置の第１の近傍領域を決定し、前記第１の近傍領域内の少なくとも１つの位置の、前記第１のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第３のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第４のフレーム補間画像において任意の位置の第２の近傍領域を決定し、前記第２の近傍領域内の少なくとも１つの位置の、前記第２のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第４のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第３のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第１のフレーム補間オプティカルフローマップを構成し、前記第４のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第２のフレーム補間オプティカルフローマップを構成することと、を含んでもよい。
【0072】
例えば、まず、上記第１のフレーム補間オプティカルフローマップを第ｔフレームの画像に投影して、第３のフレーム補間画像を得るようにしてもよい。第ｔフレームの画像内の位置ｘ１は、第３のフレーム補間画像においてｘ１＋ｆ０－＞ｓ（ｘ１）に対応する。ここで、ｆ０－＞ｓ（ｘ１）は、第１のフレーム補間オプティカルフローマップにおける位置ｘ１に対応するオプティカルフローである。同様に、上記第２のフレーム補間オプティカルフローマップを第ｔ＋１フレームの画像に投影して、第４のフレーム補間画像を得るようにしてもよい。第ｔ＋１フレームの画像内の位置ｘ２は、第４のフレーム補間画像においてｘ２＋ｆ１－＞ｓ（ｘ２）に対応する。ここで、ｆ１－＞ｓ（ｘ２）は、第２のフレーム補間オプティカルフローマップにおける位置ｘ２に対応するオプティカルフローである。
【0073】
上記第３のフレーム補間画像について、当該第３のフレーム補間画像において任意の位置の第１の近傍領域を決定し、第１のフレーム補間オプティカルフローマップにおける当該第１の近傍領域内の各位置のオプティカルフローを反転させた後、反転された各位置のオプティカルフローの平均値を第３のフレーム補間画像における当該位置の反転オプティカルフローとして決定するようにしてもよい。
【0074】
例えば、下記式６によって、第１のフレーム補間オプティカルフローマップの反転処理を実現することができる。
【0075】
【数6】
【0076】
ここで、ｆｓ－＞０（ｕ）は、反転された第１のフレーム補間オプティカルフローマップにおける位置ｕのオプティカルフローを表し、ｘは、位置ｘがｆ０－＞ｓ（Ｘ）だけ移動した後に第１の近傍領域に位置することを表し、Ｎ（ｕ）は、第１の近傍領域を表し、ｆ０－＞ｓ（ｘ）は、第１のフレーム補間オプティカルフローマップにおける位置ｘのオプティカルフローを表し、
は、－ｆ０－＞ｓ（ｘ）のガウス重みを表し、
である。
【数7】
【数8】
【0077】
同様に、第２のフレーム補間オプティカルフローマップの反転プロセスは、第１のフレーム補間オプティカルフローマップの反転プロセスを参照することができるため、本開示では、ここで詳細な説明を省略する。
【0078】
可能な一実施形態では、反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することは、
前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、
フィルタされた第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、フィルタされた第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、を含む。
前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、
フィルタされた第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、フィルタされた第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、を含む。
【0079】
例えば、反転された第１のフレーム補間オプティカルフローマップと第２のフレーム補間オプティカルフローマップをそれぞれサンプリングし、例えば、近傍領域内の１つの位置のみをサンプリングして、反転された第１のフレーム補間オプティカルフローマップ及び第２のフレーム補間オプティカルフローマップの適応的なフィルタ処理を実現するようにしてもよい。加重平均の問題が回避され、反転された第１のフレーム補間オプティカルフローマップ及び第２のフレーム補間オプティカルフローマップのアーチファクトが低減され、異常値が除去され、生成されるフレーム補間画像の精度がさらに向上される。
【0080】
可能な一実施形態では、前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることは、
反転された前記第１のフレーム補間オプティカルフローマップに基づいて第１のサンプリングオフセット及び第１の残差を決定し、反転された前記第２のフレーム補間オプティカルフローマップに基づいて第２のサンプリングオフセット及び第２の残差を決定することと、
前記第１のサンプリングオフセット及び前記第１の残差に基づいて前記反転された前記第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、前記第２のサンプリングオフセット及び前記第２の残差に基づいて前記反転された前記第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、を含んでもよい。
反転された前記第１のフレーム補間オプティカルフローマップに基づいて第１のサンプリングオフセット及び第１の残差を決定し、反転された前記第２のフレーム補間オプティカルフローマップに基づいて第２のサンプリングオフセット及び第２の残差を決定することと、
前記第１のサンプリングオフセット及び前記第１の残差に基づいて前記反転された前記第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、前記第２のサンプリングオフセット及び前記第２の残差に基づいて前記反転された前記第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、を含んでもよい。
【0081】
例えば、第１のフレーム補間オプティカルフローマップによって、第１のフレーム補間オプティカルフローマップのサンプリングのマッピングである第１のサンプリングオフセット、及び第１の残差を決定するようにしてもよい。第２のフレーム補間オプティカルフローマップによって、第２のフレーム補間オプティカルフローマップのサンプリングのマッピングである第２のサンプリングオフセット、及び第２の残差を決定するようにしてもよい。
【0082】
例えば、下記式７によって、第１のフレーム補間オプティカルフローマップのフィルタ処理を実現することができる。
【0083】
【数9】
【0084】
ここで、
は、フィルタされた第１のフレーム補間オプティカルフローマップにおける位置ｕのオプティカルフローを表し、σ（ｕ）は、第１のサンプリングオフセットを表し、ｒ（ｕ）は、第１の残差を表し、ｆ０－ｓ（ｕ＋σ（ｕ））は、反転された第１のフレーム補間オプティカルフローマップにおけるサンプリングされた位置ｕのオプティカルフローを表す。
【数10】
【0085】
同様に、第２のフレーム補間オプティカルフローマップのフィルタ処理は、第１のフレーム補間オプティカルフローマップのフィルタ処理のプロセスを参照することができるため、本開示では、ここで詳細な説明を省略する。
【0086】
このように、１つの近傍領域において異常値周囲のオプティカルフロー値に従ってサンプリングし、近傍領域で適切なサンプリング位置を見つけ、さらに残差を組み合わせることにより、得られるフレーム補間画像の精度を向上させることができる。
【0087】
可能な一実施形態では、前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることは、
前記第１のフレーム補間画像及び前記第２のフレーム補間画像に基づいて前記フレーム補間画像内の少なくとも一部の位置の重畳重みを決定することと、
第ｔフレームの画像、前記第ｔ＋１フレームの画像、及び前記少なくとも一部の位置の重畳重みに基づいて、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、を含んでもよい。
前記第１のフレーム補間画像及び前記第２のフレーム補間画像に基づいて前記フレーム補間画像内の少なくとも一部の位置の重畳重みを決定することと、
第ｔフレームの画像、前記第ｔ＋１フレームの画像、及び前記少なくとも一部の位置の重畳重みに基づいて、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、を含んでもよい。
【0088】
例えば、第１のフレーム補間画像と第２のフレーム補間画像を重畳して、第ｔフレームの画像と第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得るようにしてもよい。例えば、重畳時に、第２のフレーム補間画像によって第１のフレーム補間画像において遮蔽された位置に対して要素を補足することにより、高精度のフレーム補間画像を得ることができる。
【0089】
第１のフレーム補間画像及び第２のフレーム補間画像によって、フレーム補間画像内の各位置の重畳重みを決定するようにしてもよい。位置の重畳重みが０の場合、当該位置の要素は第１のフレーム補間画像において遮蔽されており、第２のフレーム補間画像において遮蔽されておらず、第２のフレーム補間画像によって第１のフレーム補間画像内の当該位置の要素を補足する必要があると決定するようにしてもよい。位置の重畳重みが１の場合、当該位置の要素は第１のフレーム補間画像において遮蔽されておらず、補足操作を行う必要がないと決定するようにしてもよい。
【0090】
例えば、下記式８により、上記融合操作を実現することができる。
【0091】
【数11】
【0092】
ここで、上記Ｉｓ（ｕ）は、フレーム補間画像を表し、ｍ（ｕ）は、位置ｕの重畳重みを表し、Ｉ０は、第ｔフレームの画像を表し、Ｉ１は、第ｔ＋１フレームの画像を表し、ｆｓ－＞０（ｕ）は、フレーム補間画像の位置ｕから第ｔフレームの画像への要素のオプティカルフローを表し、ｆｓ－＞１（ｕ）は、フレーム補間画像の位置ｕから第ｔ＋１フレームの画像への要素のオプティカルフローを表し、Ｉ０（ｕ＋ｆｓ－＞０（ｕ））は、第１のフレーム補間画像を表し、Ｉ１（ｕ＋ｆｓ－＞１（ｕ））は、第２のフレーム補間画像を表すこととしてもよい。
【0093】
本開示の実施例を当業者によりよく理解してもらうために、以下、図２に示す具体的な例を参照しながら本開示の実施例を説明する。
【0094】
図２を参照すると、フレーム補間対象の画像は時刻０に対応する画像フレームＩ０及び時刻１に対応する画像フレームＩ１であり、画像フレームＩ－１及び画像フレームＩ２を取得し、上記画像フレームＩ－１、画像フレームＩ０、画像フレームＩ１及び画像フレームＩ２を第１のオプティカルフロー予測ネットワークに入力してオプティカルフロー予測を行って、画像フレームＩ０から画像フレームＩ－１への第１のオプティカルフローマップ、画像フレームＩ０から画像フレームＩ１への第２のオプティカルフローマップ、画像フレームＩ１から画像フレームＩ０への第３のオプティカルフローマップ及び画像フレームＩ１から画像フレームＩ２への第４のオプティカルフローマップを得る。
【0095】
第１のオプティカルフローマップ、第２のオプティカルフローマップ及びフレーム補間時間を第２のオプティカルフロー予測ネットワークに入力してオプティカルフロー予測を行って、第１のフレーム補間オプティカルフローマップを得る。第３のオプティカルフローマップ、第４のオプティカルフローマップ及びフレーム補間時間を第２のオプティカルフロー予測ネットワークに入力してオプティカルフロー予測を行って、第２のフレーム補間オプティカルフローマップを得る。
【0096】
オプティカルフロー反転ネットワークによって第１のフレーム補間オプティカルフローマップに対してオプティカルフロー反転を行った後、反転された第１のフレーム補間オプティカルフローマップを得る。オプティカルフロー反転ネットワークによって第２のフレーム補間オプティカルフローマップに対してオプティカルフロー反転を行った後、反転された第２のフレーム補間オプティカルフローマップを得る。
【0097】
最後に、反転された第１のフレーム補間オプティカルフローマップ及び第２のフレーム補間オプティカルフローマップ、画像フレームＩ０及び画像フレームＩ１を画像合成ネットワークに入力し、画像合成ネットワークによってフレーム補間画像を合成することは、フィルタネットワークによって第１のフレーム補間オプティカルフローマップ及び第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップ及び第２のフレーム補間オプティカルフローマップ、画像フレームＩ０及び画像フレームＩ１を画像合成ネットワークに入力してフレーム補間画像を合成することを含む。
【0098】
可能な一実施形態では、上記方法はニューラルネットワークによって実現可能であり、前記方法はさらに、予め設定されたトレーニングセットによって前記ニューラルネットワークをトレーニングすることを含み、前記トレーニングセットは複数のサンプル画像群を含み、各サンプル画像群は、フレーム補間対象の第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像と、第ｉ－１フレームのサンプル画像と、第ｉ＋２フレームのサンプル画像と、前記第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像との間に挿入されるサンプルフレーム補間画像と、前記サンプルフレーム補間画像のフレーム補間時間と、を少なくとも含む。
【0099】
例えば、上記サンプル画像群は、ビデオから選択してもよい。例えば、ビデオから等間隔で少なくとも連続する５枚の画像をサンプル画像として取得するようにしてもよい。最初の２枚の画像及び最後の２枚の画像を順次第ｉ－１フレームのサンプル画像、第ｉフレームのサンプル画像、第ｉ＋１フレームのサンプル画像、第ｉ＋２フレームのサンプル画像とし、残りの画像を、第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像との間に挿入されるサンプルフレーム補間画像として、第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像に対応する時間情報をフレーム補間時間とするようにしてもよい。
【0100】
上記サンプル画像群によって上記ニューラルネットワークをトレーニングするようにしてもよい。
【0101】
可能な一実施形態では、当該ニューラルネットワークは、第１のオプティカルフロー予測ネットワークと、第２のオプティカルフロー予測ネットワークと、画像合成ネットワークとを含んでもよく、前記予め設定されたトレーニングセットによって前記ニューラルネットワークをトレーニングすることは、
前記第１のオプティカルフロー予測ネットワークによって第ｉ－１フレームのサンプル画像、第ｉフレームのサンプル画像、第ｉ＋１フレームのサンプル画像及び第ｉ＋２フレームのサンプル画像に対してオプティカルフロー予測をそれぞれ行って、前記第ｉフレームのサンプル画像から前記第ｉ－１フレームのサンプル画像への第１のサンプルオプティカルフローマップ、前記第ｉフレームのサンプル画像から前記第ｉ＋１フレームのサンプル画像への第２のサンプルオプティカルフローマップ、前記第ｉ＋１フレームのサンプル画像から前記第ｉフレームのサンプル画像への第３のサンプルオプティカルフローマップ及び前記第ｉ＋１フレームのサンプル画像から前記第ｉ＋２フレームのサンプル画像への第４のサンプルオプティカルフローマップを取得し、１＜ｉ＜Ｉ－１であり、Ｉは画像の総フレーム数であり、ｉ、Ｉは整数であることと、
前記第２のオプティカルフロー予測ネットワークは前記第１のサンプルオプティカルフローマップ、前記第２のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第１のサンプルフレーム補間オプティカルフローマップを得ることと、
前記第２のオプティカルフロー予測ネットワークは前記第３のサンプルオプティカルフローマップ、前記第４のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
前記フレーム補間画像及び前記サンプルフレーム補間画像によってニューラルネットワークの画像損失を決定することと、
前記画像損失に基づいて、前記ニューラルネットワークをトレーニングすることと、を含んでもよい。
前記第１のオプティカルフロー予測ネットワークによって第ｉ－１フレームのサンプル画像、第ｉフレームのサンプル画像、第ｉ＋１フレームのサンプル画像及び第ｉ＋２フレームのサンプル画像に対してオプティカルフロー予測をそれぞれ行って、前記第ｉフレームのサンプル画像から前記第ｉ－１フレームのサンプル画像への第１のサンプルオプティカルフローマップ、前記第ｉフレームのサンプル画像から前記第ｉ＋１フレームのサンプル画像への第２のサンプルオプティカルフローマップ、前記第ｉ＋１フレームのサンプル画像から前記第ｉフレームのサンプル画像への第３のサンプルオプティカルフローマップ及び前記第ｉ＋１フレームのサンプル画像から前記第ｉ＋２フレームのサンプル画像への第４のサンプルオプティカルフローマップを取得し、１＜ｉ＜Ｉ－１であり、Ｉは画像の総フレーム数であり、ｉ、Ｉは整数であることと、
前記第２のオプティカルフロー予測ネットワークは前記第１のサンプルオプティカルフローマップ、前記第２のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第１のサンプルフレーム補間オプティカルフローマップを得ることと、
前記第２のオプティカルフロー予測ネットワークは前記第３のサンプルオプティカルフローマップ、前記第４のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
前記フレーム補間画像及び前記サンプルフレーム補間画像によってニューラルネットワークの画像損失を決定することと、
前記画像損失に基づいて、前記ニューラルネットワークをトレーニングすることと、を含んでもよい。
【0102】
例えば、第１のオプティカルフロー予測ネットワークは、第ｉフレームのサンプル画像、第ｉ－１フレームのサンプル画像に基づいてオプティカルフロー予測を行って、第ｉフレームのサンプル画像から第ｉ－１フレームのサンプル画像への第１のサンプルオプティカルフローマップを得て、第１のオプティカルフロー予測ネットワークは、第ｉフレームのサンプル画像、第ｉ＋１フレームのサンプル画像に基づいてオプティカルフロー予測を行って、第ｉフレームのサンプル画像から第ｉ＋１フレームのサンプル画像への第２のサンプルオプティカルフローマップを得て、第１のオプティカルフロー予測ネットワークは、第ｉ＋１フレームのサンプル画像、第ｉフレームのサンプル画像に基づいてオプティカルフロー予測を行って、第ｉ＋１フレームのサンプル画像から第ｉフレームのサンプル画像への第３のサンプルオプティカルフローマップを得て、第１のオプティカルフロー予測ネットワークは、第ｉ＋１フレームのサンプル画像、第ｉ＋２フレームのサンプル画像に基づいてオプティカルフロー予測を行って、第ｉ＋１フレームのサンプル画像から第ｉ＋２フレームのサンプル画像への第４のサンプルオプティカルフローマップを得るようにしてもよい。
【0103】
上記第１のオプティカルフロー予測ネットワークは、事前にトレーニングされた、オプティカルフロー予測を行うためのニューラルネットワークであってもよく、トレーニングプロセスについては、関連技術を参照することができるため、本開示の実施例では、ここで詳細な説明を省略する。
【0104】
第２のオプティカルフロー予測ネットワークは、第１のサンプルオプティカルフローマップ、第２のサンプルオプティカルフローマップ及びサンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第１のサンプルフレーム補間オプティカルフローマップを得て、第２のオプティカルフロー予測ネットワークは、第３のサンプルオプティカルフローマップ、第４のサンプルオプティカルフローマップ及びサンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第２のサンプルフレーム補間オプティカルフローマップを得るようにしてもよい。この第２のオプティカルフロー予測ネットワークのオプティカルフロー予測プロセスについては、上記実施例を参照することができるため、本開示では、ここで詳細な説明を省略する。
【0105】
画像合成ネットワークは、第１のサンプルフレーム補間オプティカルフローマップ及び第ｉフレームのサンプル画像に基づいて第１のサンプルフレーム補間画像を得て、第２のサンプルフレーム補間オプティカルフローマップ及び第ｉ＋１フレームのサンプル画像に基づいて第２のサンプルフレーム補間画像を得た後、第１のサンプルフレーム補間画像と第２のサンプルフレーム補間画像を融合（例えば、重畳）して、第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像との間に挿入されるフレーム補間画像を得るようにしてもよい。
【0106】
このフレーム補間画像及びサンプルフレーム補間画像に基づいてニューラルネットワークの画像損失を決定し、さらに、ニューラルネットワークの画像損失がトレーニング要件（例えば、損失閾値よりも小さいこと）を満たすまで、この画像損失に基づいてニューラルネットワークのネットワークパラメータを調整するようにしてもよい。
【0107】
可能な一実施形態では、前記ニューラルネットワークはさらに、オプティカルフロー反転ネットワークを含み、前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることは、
前記オプティカルフロー反転ネットワークによって前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップに対してオプティカルフロー反転を行って、反転された第１のサンプルフレーム補間オプティカルフローマップ、及び反転された第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、を含んでもよい。
前記オプティカルフロー反転ネットワークによって前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップに対してオプティカルフロー反転を行って、反転された第１のサンプルフレーム補間オプティカルフローマップ、及び反転された第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、を含んでもよい。
【0108】
例えば、オプティカルフロー反転ネットワークは、第１のサンプルフレーム補間オプティカルフローマップ及び第２のサンプルフレーム補間オプティカルフローマップに対してオプティカルフロー反転を行うようにしてもよい。具体的なプロセスについては、上記実施例を参照することができるため、本開示では、ここで詳細な説明を省略する。画像合成ネットワークは、オプティカルフロー反転を行った後、反転された第１のサンプルフレーム補間オプティカルフローマップ及び第ｉフレームのサンプル画像に基づいて第１のサンプルフレーム補間画像を得て、反転された第２のサンプルフレーム補間オプティカルフローマップ及び第ｉ＋１フレームのサンプル画像に基づいて第２のサンプルフレーム補間画像を得て、さらに第１のサンプルフレーム補間画像と第２のサンプルフレーム補間画像を融合して、第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像との間に挿入されるフレーム補間画像を得るようにしてもよい。
【0109】
可能な一実施形態では、上記ニューラルネットワークはさらに、フィルタネットワークを含んでもよく、前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることは、
前記フィルタネットワークによって前記第１のサンプルフレーム補間オプティカルフローマップ及び第２のサンプルフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のサンプルフレーム補間オプティカルフローマップ、及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記フィルタされた第１のサンプルフレーム補間オプティカルフローマップ及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、を含む。
前記フィルタネットワークによって前記第１のサンプルフレーム補間オプティカルフローマップ及び第２のサンプルフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のサンプルフレーム補間オプティカルフローマップ、及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記フィルタされた第１のサンプルフレーム補間オプティカルフローマップ及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、を含む。
【0110】
フィルタネットワークは、第１のサンプルフレーム補間オプティカルフローマップ及び第２のサンプルフレーム補間オプティカルフローマップをそれぞれフィルタ処理し、フィルタされた第１のサンプルフレーム補間オプティカルフローマップ及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを得るようにしてもよい。具体的なプロセスについては、上記実施例を参照することができるため、本開示では、ここで詳細な説明を省略する。
【0111】
画像合成ネットワークは、フィルタされた第１のサンプルフレーム補間オプティカルフローマップ及び第ｉフレームのサンプル画像に基づいて第１のサンプルフレーム補間画像を得て、フィルタされた第２のサンプルフレーム補間オプティカルフローマップ及び第ｉ＋１フレームのサンプル画像に基づいて第２のサンプルフレーム補間画像を得て、さらに第１のサンプルフレーム補間画像と第２のサンプルフレーム補間画像を融合して、第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像との間に挿入されるフレーム補間画像を得るようにしてもよい。
【0112】
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。当業者であれば、具体的な実施形態に係る上記の方法では、各ステップの実行順序がその機能と内部の論理によって具体的に決定されることが理解すべきである。
【0113】
さらに、本開示では、画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムが提供される。これらはいずれも本開示に係る画像処理方法のいずれか１つを実現するために利用できる。対応する技術的解決手段と説明は、方法の対応する記載を参照すればよく、詳細な説明を省略する。
【0114】
図３は、本開示の実施例に係る画像処理装置のブロック図を示す。図３に示すように、前記装置は、
第ｔ（ｔは整数）フレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得するための取得モジュール３０１と、
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定するための第１の決定モジュール３０２と、
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定するための第２の決定モジュール３０３と、
前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得るための融合モジュール３０４と、を含む。
第ｔ（ｔは整数）フレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得するための取得モジュール３０１と、
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定するための第１の決定モジュール３０２と、
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定するための第２の決定モジュール３０３と、
前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得るための融合モジュール３０４と、を含む。
【0115】
このようにして、フレーム補間対象の第ｔフレームの画像と第ｔ＋１フレームの画像について、第ｔ－１フレームの画像、第ｔフレームの画像、第ｔ＋１フレームの画像及び第ｔ＋２フレームの画像に対してオプティカルフロー予測をそれぞれ行って、前記第ｔフレームの画像から前記第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から前記第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを得ることができる。さらに第１のオプティカルフローマップ、第２のオプティカルフローマップ及び予め設定されたフレーム補間時間に基づいて第１のフレーム補間オプティカルフローマップを決定し、第３のオプティカルフローマップ、第４のオプティカルフローマップ及びフレーム補間時間に基づいて第２のフレーム補間オプティカルフローマップを決定することができる。第１のフレーム補間オプティカルフローマップ及び第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、第２のフレーム補間オプティカルフローマップ及び第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することができる。前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることができる。本開示の実施例に係る画像処理装置によれば、複数のフレームの画像によってフレーム補間画像を決定することができ、ビデオ中の物体の動きの加速度を感知することができ、得られるフレーム補間画像の精度を向上させることができるため、フレーム補間された高フレームレートビデオがよりスムーズで自然になり、より良い視覚効果が得られる。
【0116】
可能な一実施形態では、前記第１の決定モジュールはさらに、
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップ、及び予め設定されたフレーム補間時間に基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することであって、前記予め設定されたフレーム補間時間は、前記第ｔフレームの画像の収集時間と前記第ｔ＋１フレームの画像の収集時間との時間間隔内の任意時間であることに用いられてもよい。
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップ、及び予め設定されたフレーム補間時間に基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することであって、前記予め設定されたフレーム補間時間は、前記第ｔフレームの画像の収集時間と前記第ｔ＋１フレームの画像の収集時間との時間間隔内の任意時間であることに用いられてもよい。
【0117】
可能な一実施形態では、前記第２の決定モジュールはさらに、
前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることと、
反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、に用いられてもよい。
前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることと、
反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、に用いられてもよい。
【0118】
可能な一実施形態では、前記第２の決定モジュールはさらに、
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第３のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第４のフレーム補間画像を決定することと、
前記第３のフレーム補間画像において任意の位置の第１の近傍領域を決定し、前記第１の近傍領域内の少なくとも１つの位置の、前記第１のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第３のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第４のフレーム補間画像において任意の位置の第２の近傍領域を決定し、前記第２の近傍領域内の少なくとも１つの位置の、前記第２のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第４のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第３のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第１のフレーム補間オプティカルフローマップを構成し、前記第４のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第２のフレーム補間オプティカルフローマップを構成することと、に用いられてもよい。
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第３のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第４のフレーム補間画像を決定することと、
前記第３のフレーム補間画像において任意の位置の第１の近傍領域を決定し、前記第１の近傍領域内の少なくとも１つの位置の、前記第１のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第３のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第４のフレーム補間画像において任意の位置の第２の近傍領域を決定し、前記第２の近傍領域内の少なくとも１つの位置の、前記第２のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第４のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第３のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第１のフレーム補間オプティカルフローマップを構成し、前記第４のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第２のフレーム補間オプティカルフローマップを構成することと、に用いられてもよい。
【0119】
可能な一実施形態では、前記第２の決定モジュールはさらに、
前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、
フィルタされた第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、フィルタされた第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、に用いられてもよい。
前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、
フィルタされた第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、フィルタされた第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、に用いられてもよい。
【0120】
可能な一実施形態では、前記第２の決定モジュールはさらに、
反転された前記第１のフレーム補間オプティカルフローマップに基づいて第１のサンプリングオフセット及び第１の残差を決定し、反転された前記第２のフレーム補間オプティカルフローマップに基づいて第２のサンプリングオフセット及び第２の残差を決定することと、
前記第１のサンプリングオフセット及び前記第１の残差に基づいて前記反転された前記第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、前記第２のサンプリングオフセット及び前記第２の残差に基づいて前記反転された前記第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、に用いられてもよい。
反転された前記第１のフレーム補間オプティカルフローマップに基づいて第１のサンプリングオフセット及び第１の残差を決定し、反転された前記第２のフレーム補間オプティカルフローマップに基づいて第２のサンプリングオフセット及び第２の残差を決定することと、
前記第１のサンプリングオフセット及び前記第１の残差に基づいて前記反転された前記第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、前記第２のサンプリングオフセット及び前記第２の残差に基づいて前記反転された前記第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、に用いられてもよい。
【0121】
可能な一実施形態では、前記融合モジュールはさらに、
前記第１のフレーム補間画像及び前記第２のフレーム補間画像に基づいて前記フレーム補間画像内の少なくとも一部の位置の重畳重みを決定することと、
前記第１のフレーム補間画像、前記第２のフレーム補間画像、及び前記少なくとも一部の位置の重畳重みに基づいて、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、に用いられてもよい。
前記第１のフレーム補間画像及び前記第２のフレーム補間画像に基づいて前記フレーム補間画像内の少なくとも一部の位置の重畳重みを決定することと、
前記第１のフレーム補間画像、前記第２のフレーム補間画像、及び前記少なくとも一部の位置の重畳重みに基づいて、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、に用いられてもよい。
【0122】
可能な一実施形態では、前記取得モジュールはさらに、
前記第ｔフレームの画像及び第ｔ－１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップを得ることと、
前記第ｔフレームの画像及び第ｔ＋１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔフレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔ＋２フレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを得ることと、に用いられてもよい。
前記第ｔフレームの画像及び第ｔ－１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップを得ることと、
前記第ｔフレームの画像及び第ｔ＋１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔフレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔ＋２フレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを得ることと、に用いられてもよい。
【0123】
可能な一実施形態では、前記装置はニューラルネットワークによって実現可能であり、前記装置はさらに、
予め設定されたトレーニングセットによって前記ニューラルネットワークをトレーニングするためのトレーニングモジュールを含みもよく、前記トレーニングセットは複数のサンプル画像群を含み、各サンプル画像群は、フレーム補間対象の第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像と、第ｉ－１フレームのサンプル画像と、第ｉ＋２フレームのサンプル画像と、前記第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像との間に挿入されるサンプルフレーム補間画像と、前記サンプルフレーム補間画像のフレーム補間時間を少なくとも含む。
予め設定されたトレーニングセットによって前記ニューラルネットワークをトレーニングするためのトレーニングモジュールを含みもよく、前記トレーニングセットは複数のサンプル画像群を含み、各サンプル画像群は、フレーム補間対象の第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像と、第ｉ－１フレームのサンプル画像と、第ｉ＋２フレームのサンプル画像と、前記第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像との間に挿入されるサンプルフレーム補間画像と、前記サンプルフレーム補間画像のフレーム補間時間を少なくとも含む。
【0124】
可能な一実施形態では、前記ニューラルネットワークは、第１のオプティカルフロー予測ネットワークと、第２のオプティカルフロー予測ネットワークと、画像合成ネットワークとを含んでもよく、前記トレーニングモジュールはさらに、
前記第１のオプティカルフロー予測ネットワークによって第ｉ－１フレームのサンプル画像、第ｉフレームのサンプル画像、第ｉ＋１フレームのサンプル画像及び第ｉ＋２フレームのサンプル画像に対してオプティカルフロー予測をそれぞれ行って、前記第ｉフレームのサンプル画像から前記第ｉ－１フレームのサンプル画像への第１のサンプルオプティカルフローマップ、前記第ｉフレームのサンプル画像から前記第ｉ＋１フレームのサンプル画像への第２のサンプルオプティカルフローマップ、前記第ｉ＋１フレームのサンプル画像から前記第ｉフレームのサンプル画像への第３のサンプルオプティカルフローマップ及び前記第ｉ＋１フレームのサンプル画像から前記第ｉ＋２フレームのサンプル画像への第４のサンプルオプティカルフローマップを取得し、１＜ｉ＜Ｉ－１であり、Ｉは画像の総フレーム数であり、ｉ、Ｉは整数であることと、
前記第２のオプティカルフロー予測ネットワークは前記第１のサンプルオプティカルフローマップ、前記第２のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第１のサンプルフレーム補間オプティカルフローマップを得ることと、
前記第２のオプティカルフロー予測ネットワークは前記第３のサンプルオプティカルフローマップ、前記第４のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
前記フレーム補間画像及び前記サンプルフレーム補間画像によってニューラルネットワークの画像損失を決定することと、
前記画像損失に基づいて、前記ニューラルネットワークをトレーニングすることと、に用いられてもよい。
前記第１のオプティカルフロー予測ネットワークによって第ｉ－１フレームのサンプル画像、第ｉフレームのサンプル画像、第ｉ＋１フレームのサンプル画像及び第ｉ＋２フレームのサンプル画像に対してオプティカルフロー予測をそれぞれ行って、前記第ｉフレームのサンプル画像から前記第ｉ－１フレームのサンプル画像への第１のサンプルオプティカルフローマップ、前記第ｉフレームのサンプル画像から前記第ｉ＋１フレームのサンプル画像への第２のサンプルオプティカルフローマップ、前記第ｉ＋１フレームのサンプル画像から前記第ｉフレームのサンプル画像への第３のサンプルオプティカルフローマップ及び前記第ｉ＋１フレームのサンプル画像から前記第ｉ＋２フレームのサンプル画像への第４のサンプルオプティカルフローマップを取得し、１＜ｉ＜Ｉ－１であり、Ｉは画像の総フレーム数であり、ｉ、Ｉは整数であることと、
前記第２のオプティカルフロー予測ネットワークは前記第１のサンプルオプティカルフローマップ、前記第２のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第１のサンプルフレーム補間オプティカルフローマップを得ることと、
前記第２のオプティカルフロー予測ネットワークは前記第３のサンプルオプティカルフローマップ、前記第４のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
前記フレーム補間画像及び前記サンプルフレーム補間画像によってニューラルネットワークの画像損失を決定することと、
前記画像損失に基づいて、前記ニューラルネットワークをトレーニングすることと、に用いられてもよい。
【0125】
可能な一実施形態では、前記ニューラルネットワークはさらに、オプティカルフロー反転ネットワークを含んでもよく、前記トレーニングモジュールはさらに、
前記オプティカルフロー反転ネットワークによって第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップに対してオプティカルフロー反転を行って、反転された第１のサンプルフレーム補間オプティカルフローマップ、及び反転された第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、に用いられてもよい。
前記オプティカルフロー反転ネットワークによって第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップに対してオプティカルフロー反転を行って、反転された第１のサンプルフレーム補間オプティカルフローマップ、及び反転された第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、に用いられてもよい。
【0126】
可能な一実施形態では、前記ニューラルネットワークはさらに、フィルタネットワークを含んでもよく、前記トレーニングモジュールはさらに、
前記フィルタネットワークによって前記第１のサンプルフレーム補間オプティカルフローマップ及び第２のサンプルフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のサンプルフレーム補間オプティカルフローマップ、及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記フィルタされた第１のサンプルフレーム補間オプティカルフローマップ及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、に用いられてもよい。
前記フィルタネットワークによって前記第１のサンプルフレーム補間オプティカルフローマップ及び第２のサンプルフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のサンプルフレーム補間オプティカルフローマップ、及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記フィルタされた第１のサンプルフレーム補間オプティカルフローマップ及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、に用いられてもよい。
【0127】
いくつかの実施例では、本開示の実施例に係る装置が備える機能又はモジュールは、上述した方法の実施例に説明される方法を実行するために利用でき、その具体的な実現について、上述した方法の実施例の説明を参照すればよく、簡潔化のために、ここで詳細な説明を省略する。
【0128】
本開示の実施例では、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体がさらに提供される。コンピュータ読み取り可能な記憶媒体は、不揮発性コンピュータ読み取り可能な記憶媒体であってもよい。
【0129】
本開示の実施例では、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、上記方法を実行するように構成される電子機器がさらに提供される。
【0130】
本開示の実施例では、コンピュータ読み取り可能なコードを含み、コンピュータ読み取り可能なコードが電子機器において稼働すると、電子機器のプロセッサは、上記いずれか１つの実施例に係る画像検索方法を実現するための命令を実行するコンピュータプログラム製品がさらに提供される。
【0131】
本開示の実施例では、コンピュータ読み取り可能な命令が記憶されている別のコンピュータプログラム製品であって、命令が実行されると、コンピュータに上記いずれかの実施例に係る画像検索方法を実行させる別のコンピュータプログラム製品がさらに提供される。
【0132】
本開示の実施例では、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器において稼働すると、前記電子機器のプロセッサは、上記方法を実現するための命令を実行するコンピュータプログラムがさらに提供される。
【0133】
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
【0134】
図４は、本開示の実施例に係る電子機器８００のブロック図を示す。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。
【0135】
図４を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
【0136】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
【0137】
メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。
【0138】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
【0139】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
【0140】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【0141】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
【0142】
センサコンポーネント８１４は電子機器８００の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
【0143】
通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
【0144】
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタルシグナルプロセッサ（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
【0145】
例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
【0146】
図５は、本開示の実施例に係る電子機器１９００のブロック図を示す。例えば、電子機器１９００はサーバとして提供されてもよい。図５を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。
【0147】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されているオペレーティングシステム、例えばＷｉｎｄｏｗｓ Ｓｅｒｖｅｒ（登録商標）、Ｍａｃ ＯＳ Ｘ（登録商標）、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤ（登録商標）または類似するものに基づいて動作できる。
【0148】
例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行させることができる。
【0149】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各側面を実現させるためのコンピュータ読み取り可能なプログラム命令を有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。
【0150】
コンピュータ読み取り可能な記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【0151】
ここで記述したコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能なプログラム命令を受信し、該コンピュータ読み取り可能なプログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
【0152】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能なプログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより、本開示の各側面を実現するようにしてもよい。
【0153】
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実現できることを理解すべきである。
【0154】
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように、装置を製造してもよい。これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ読み取り可能な記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。
【0155】
コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施されるプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【0156】
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
【0157】
このコンピュータプログラム製品は、具体的に、ハードウェアやソフトウェア、またはそれらの組み合わせによって実現することができる。選択可能な実施例では、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具現化される。別の選択可能な実施例では、コンピュータプログラム製品は、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などのソフトウェア製品として具現化される。
【0158】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2022-03-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第ｔ（ｔは整数）フレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得することと、前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することと、
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、
前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、
を含む画像処理方法。
【請求項2】
前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定することは、前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップ、及び予め設定されたフレーム補間時間に基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップ及び前記予め設定されたフレーム補間時間に基づいて第２のフレーム補間オプティカルフローマップを決定することであって、前記予め設定されたフレーム補間時間は、前記第ｔフレームの画像の収集時間と前記第ｔ＋１フレームの画像の収集時間との時間間隔内の任意時間であることを含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することは、前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることと、
反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、
を含むことを特徴とする請求項１又は２に記載の方法。
【請求項4】
前記第１のフレーム補間オプティカルフローマップ及び前記第２のフレーム補間オプティカルフローマップを反転処理し、反転された第１のフレーム補間オプティカルフローマップ及び反転された第２のフレーム補間オプティカルフローマップを得ることは、前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第３のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第４のフレーム補間画像を決定することと、
前記第３のフレーム補間画像において任意の位置の第１の近傍領域を決定し、前記第１の近傍領域内の少なくとも１つの位置の、前記第１のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第３のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第４のフレーム補間画像において任意の位置の第２の近傍領域を決定し、前記第２の近傍領域内の少なくとも１つの位置の、前記第２のフレーム補間オプティカルフローマップにおけるオプティカルフローを反転させた後、反転された少なくとも１つの位置のオプティカルフローの平均値を前記第４のフレーム補間画像における当該位置の反転オプティカルフローとして決定することと、
前記第３のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第１のフレーム補間オプティカルフローマップを構成し、前記第４のフレーム補間画像内の少なくとも１つの位置の反転オプティカルフローは前記反転された第２のフレーム補間オプティカルフローマップを構成することと、
を含むことを特徴とする請求項３に記載の方法。
【請求項5】
前記反転された第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、反転された前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することは、前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、
フィルタされた第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、フィルタされた第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定することと、
を含むことを特徴とする請求項３又は４に記載の方法。
【請求項6】
前記反転された第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、反転された第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることは、反転された前記第１のフレーム補間オプティカルフローマップに基づいて第１のサンプリングオフセット及び第１の残差を決定し、反転された前記第２のフレーム補間オプティカルフローマップに基づいて第２のサンプリングオフセット及び第２の残差を決定することと、
前記第１のサンプリングオフセット及び前記第１の残差に基づいて前記反転された前記第１のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のフレーム補間オプティカルフローマップを得て、前記第２のサンプリングオフセット及び前記第２の残差に基づいて前記反転された前記第２のフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第２のフレーム補間オプティカルフローマップを得ることと、
を含むことを特徴とする請求項５に記載の方法。
【請求項7】
前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることは、前記第１のフレーム補間画像及び前記第２のフレーム補間画像に基づいて前記フレーム補間画像内の少なくとも一部の位置の重畳重みを決定することと、
前記第１のフレーム補間画像、前記第２のフレーム補間画像、及び前記少なくとも一部の位置の重畳重みに基づいて、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得ることと、
を含むことを特徴とする請求項１～６のいずれか１項に記載の方法。
【請求項8】
第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得することは、前記第ｔフレームの画像及び第ｔ－１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップを得ることと、
前記第ｔフレームの画像及び第ｔ＋１フレームの画像に対してオプティカルフロー予測を行って、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔフレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップを得ることと、
前記第ｔ＋１フレームの画像及び前記第ｔ＋２フレームの画像に対してオプティカルフロー予測を行って、前記第ｔ＋１フレームの画像から前記第ｔ＋２フレームの画像への第４のオプティカルフローマップを得ることと、
を含むことを特徴とする請求項１～７のいずれか１項に記載の方法。
【請求項9】
前記方法はニューラルネットワークによって実現可能であり、前記方法はさらに、予め設定されたトレーニングセットによって前記ニューラルネットワークをトレーニングすることを含み、
前記トレーニングセットは複数のサンプル画像群を含み、
各サンプル画像群は、フレーム補間対象の第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像と、第ｉ－１フレームのサンプル画像と、第ｉ＋２フレームのサンプル画像と、前記第ｉフレームのサンプル画像と第ｉ＋１フレームのサンプル画像との間に挿入されるサンプルフレーム補間画像と、前記サンプルフレーム補間画像のフレーム補間時間と、を少なくとも含むことを特徴とする請求項１～８のいずれか１項に記載の方法。
【請求項10】
当該ニューラルネットワークは、第１のオプティカルフロー予測ネットワークと、第２のオプティカルフロー予測ネットワークと、画像合成ネットワークとを含み、予め設定されたトレーニングセットによって前記ニューラルネットワークをトレーニングすることは、
前記第１のオプティカルフロー予測ネットワークによって第ｉ－１フレームのサンプル画像、第ｉフレームのサンプル画像、第ｉ＋１フレームのサンプル画像及び第ｉ＋２フレームのサンプル画像に対してオプティカルフロー予測をそれぞれ行って、前記第ｉフレームのサンプル画像から前記第ｉ－１フレームのサンプル画像への第１のサンプルオプティカルフローマップ、前記第ｉフレームのサンプル画像から前記第ｉ＋１フレームのサンプル画像への第２のサンプルオプティカルフローマップ、前記第ｉ＋１フレームのサンプル画像から前記第ｉフレームのサンプル画像への第３のサンプルオプティカルフローマップ及び前記第ｉ＋１フレームのサンプル画像から前記第ｉ＋２フレームのサンプル画像への第４のサンプルオプティカルフローマップを取得し、１＜ｉ＜Ｉ－１であり、Ｉは画像の総フレーム数であり、ｉ、Ｉは整数であることと、
前記第２のオプティカルフロー予測ネットワークは前記第１のサンプルオプティカルフローマップ、前記第２のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第１のサンプルフレーム補間オプティカルフローマップを得ることと、
前記第２のオプティカルフロー予測ネットワークは前記第３のサンプルオプティカルフローマップ、前記第４のサンプルオプティカルフローマップ及び前記サンプルフレーム補間画像のフレーム補間時間に基づいてオプティカルフロー予測を行って、第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
前記フレーム補間画像及び前記サンプルフレーム補間画像によってニューラルネットワークの画像損失を決定することと、
前記画像損失に基づいて、前記ニューラルネットワークをトレーニングすることと、
を含むことを特徴とする請求項９に記載の方法。
【請求項11】
前記ニューラルネットワークはさらに、オプティカルフロー反転ネットワークを含み、前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることは、
前記オプティカルフロー反転ネットワークによって第１のサンプルフレーム補間オプティカルフローマップ及び前記第２のサンプルフレーム補間オプティカルフローマップに対してオプティカルフロー反転を行って、反転された第１のサンプルフレーム補間オプティカルフローマップ、及び反転された第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
を含むことを特徴とする請求項１０に記載の方法。
【請求項12】
前記ニューラルネットワークはさらに、フィルタネットワークを含み、前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることは、
前記フィルタネットワークによって前記反転された第１のサンプルフレーム補間オプティカルフローマップ及び前記反転された第２のサンプルフレーム補間オプティカルフローマップをフィルタ処理し、フィルタされた第１のサンプルフレーム補間オプティカルフローマップ、及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを得ることと、
前記画像合成ネットワークによって第ｉフレームのサンプル画像及び第ｉ＋１フレームのサンプル画像、前記フィルタされた第１のサンプルフレーム補間オプティカルフローマップ及びフィルタされた第２のサンプルフレーム補間オプティカルフローマップを融合処理し、フレーム補間画像を得ることと、
を含むことを特徴とする請求項１１に記載の方法。
【請求項13】
第ｔ（ｔは整数）フレームの画像から第ｔ－１フレームの画像への第１のオプティカルフローマップ、前記第ｔフレームの画像から第ｔ＋１フレームの画像への第２のオプティカルフローマップ、前記第ｔ＋１フレームの画像から前記第ｔフレームの画像への第３のオプティカルフローマップ及び前記第ｔ＋１フレームの画像から第ｔ＋２フレームの画像への第４のオプティカルフローマップを取得するための取得モジュールと、前記第１のオプティカルフローマップ、前記第２のオプティカルフローマップに基づいて第１のフレーム補間オプティカルフローマップを決定し、前記第３のオプティカルフローマップ、前記第４のオプティカルフローマップに基づいて第２のフレーム補間オプティカルフローマップを決定するための第１の決定モジュールと、
前記第１のフレーム補間オプティカルフローマップ及び前記第ｔフレームの画像に基づいて第１のフレーム補間画像を決定し、前記第２のフレーム補間オプティカルフローマップ及び前記第ｔ＋１フレームの画像に基づいて第２のフレーム補間画像を決定するための第２の決定モジュールと、
前記第１のフレーム補間画像と前記第２のフレーム補間画像を融合処理して、前記第ｔフレームの画像と前記第ｔ＋１フレームの画像との間に挿入されるフレーム補間画像を得るための融合モジュールと、
を含む画像処理装置。
【請求項14】
プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、
を含む電子機器であって、
前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、請求項１～１２のいずれか１項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項15】
コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１～１２のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項16】
コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器において稼働すると、前記電子機器のプロセッサは、請求項１～１２のいずれか１項に記載の方法を実現するための命令を実行することを特徴とするコンピュータプログラム。
【国際調査報告】