知財求人 - 知財ポータルサイト「IP Force」
特開2023-104295人工知能モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023104295
(43)【公開日】2023-07-28
(54)【発明の名称】人工知能モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法
(51)【国際特許分類】
G06T 9/00 20060101AFI20230721BHJP
H04N 19/59 20140101ALI20230721BHJP
H04N 19/85 20140101ALI20230721BHJP
H04N 21/2343 20110101ALI20230721BHJP
H04N 21/4402 20110101ALI20230721BHJP
【ＦＩ】
G06T9/00 200
H04N19/59
H04N19/85
H04N21/2343
H04N21/4402
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022005194
(22)【出願日】2022-01-17
(71)【出願人】
【識別番号】519237926
【氏名又は名称】株式会社ユビタス
(74)【代理人】
【識別番号】110002907
【氏名又は名称】弁理士法人イトーシン国際特許事務所
(72)【発明者】
【氏名】郭榮昌
(72)【発明者】
【氏名】曹文凱
(72)【発明者】
【氏名】呉英豪
【テーマコード（参考）】
5B057
5C159
5C164
【Ｆターム（参考）】
5B057CA01
5B057CA08
5B057CA12
5B057CA13
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB13
5B057CB16
5B057CE03
5B057CE08
5B057CE11
5B057CE17
5B057CE18
5B057CG01
5B057DA16
5B057DB02
5B057DB03
5B057DB06
5B057DB09
5B057DC40
5C159LA00
5C159LB05
5C159LB15
5C164FA06
5C164GA03
5C164PA33
5C164SA32S
5C164SB02P
5C164SB21S
5C164UB02P
5C164UB23S
(57)【要約】
【課題】人工知能モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法を提供する。
【解決手段】
人工知能モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法は、サーバ端末で先ず送信したい画像の解像度を低減した後にネットワークを介して低解像度画像をクライアント端末に送信することによって、画像ストリーミングの送信に必要なネットワーク帯域幅を低減する。その後、クライアント端末で事前に訓練した人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｔ；ＡＩ）処理モジュールによって、受信した低解像度画像を高解像度画像に復元し、高品質の画像ストリーミングと低ネットワーク帯域幅消費という２つの利点を同時に享受することができる。
【選択図】図１１Ａ
【解決手段】
人工知能モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法は、サーバ端末で先ず送信したい画像の解像度を低減した後にネットワークを介して低解像度画像をクライアント端末に送信することによって、画像ストリーミングの送信に必要なネットワーク帯域幅を低減する。その後、クライアント端末で事前に訓練した人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｔ；ＡＩ）処理モジュールによって、受信した低解像度画像を高解像度画像に復元し、高品質の画像ストリーミングと低ネットワーク帯域幅消費という２つの利点を同時に享受することができる。
【選択図】図１１Ａ
【特許請求の範囲】
【請求項1】
サーバで第１アプリケーションを実行して複数の原画像に対応する複数のソース画像を生成し、複数の前記ソース画像は、第１解像度を有し、複数の前記ソース画像は、前記サーバのエンコーダによって符合化及び圧縮され、対応する複数の符号化後画像を生成することと、
前記サーバから離れたクライアント端末装置で第２アプリケーションを実行し、前記第２アプリケーションは、前記第１アプリケーションに関連付けられ且つ連携することと、
前記クライアント端末装置は、ネットワークを介して前記サーバに接続され、前記サーバによって生成された前記複数の符号化後画像を、ネットワークを介して画像ストリーミング方式で受信することと、
前記クライアント端末装置は、前記複数の符号化後画像を対応する複数の復号後画像に復号し、人工知能（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｔ；ＡＩ）処理モジュールを用いて前記複数の復号後画像の解像度を高め、対応する複数の高解像度画像を生成し、複数の前記高解像度画像は、第２解像度を有し、前記第２解像度は、前記第１解像度よりも高く、且つ、複数の前記原画像の解像度は、前記第２解像度と等しいことと、
前記クライアント端末装置は、複数の前記高解像度画像を順にスクリーンに出力して再生される複数の出力画像とすることと、
を含み、
前記ＡＩ処理モジュールは、前記復号後画像と対応する前記複数の原画像画像との間の差異によって予め得られる少なくとも１つの数学演算式及び複数の重み付けパラメータを分析することによって前記複数の復号後画像を処理し、これにより、得られた前記複数の高解像度画像の解像度は、対応する前記複数の原画像に等しく、且つ複数の前記ソース画像の解像度よりも高く、前記ＡＩ処理モジュールの前記少なくとも１つの数学演算式及び複数の前記重み付けパラメータは、事前に訓練サーバ内の人工ニューラルネットワークモジュールによって実行される訓練プロセスによって定義されるものである、人工知能モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法。
前記サーバから離れたクライアント端末装置で第２アプリケーションを実行し、前記第２アプリケーションは、前記第１アプリケーションに関連付けられ且つ連携することと、
前記クライアント端末装置は、ネットワークを介して前記サーバに接続され、前記サーバによって生成された前記複数の符号化後画像を、ネットワークを介して画像ストリーミング方式で受信することと、
前記クライアント端末装置は、前記複数の符号化後画像を対応する複数の復号後画像に復号し、人工知能（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｔ；ＡＩ）処理モジュールを用いて前記複数の復号後画像の解像度を高め、対応する複数の高解像度画像を生成し、複数の前記高解像度画像は、第２解像度を有し、前記第２解像度は、前記第１解像度よりも高く、且つ、複数の前記原画像の解像度は、前記第２解像度と等しいことと、
前記クライアント端末装置は、複数の前記高解像度画像を順にスクリーンに出力して再生される複数の出力画像とすることと、
を含み、
前記ＡＩ処理モジュールは、前記復号後画像と対応する前記複数の原画像画像との間の差異によって予め得られる少なくとも１つの数学演算式及び複数の重み付けパラメータを分析することによって前記複数の復号後画像を処理し、これにより、得られた前記複数の高解像度画像の解像度は、対応する前記複数の原画像に等しく、且つ複数の前記ソース画像の解像度よりも高く、前記ＡＩ処理モジュールの前記少なくとも１つの数学演算式及び複数の前記重み付けパラメータは、事前に訓練サーバ内の人工ニューラルネットワークモジュールによって実行される訓練プロセスによって定義されるものである、人工知能モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法。
【請求項2】
前記複数の前記符号化画像は、
前記サーバで前記第１アプリケーションを実行して複数の前記原画像を生成し、複数の前記原画像は、前記第２解像度を有するステップと、
解像度低減プロセスを使用し、複数の前記原画像の解像度を前記第１解像度に低減し、対応する複数の前記ソース画像を取得するステップと、
前記エンコーダを使用し、複数の前記ソース画像を符号化し、対応する複数の前記符号化後画像を取得するステップと、
によって生成される、請求項１に記載の方法。
前記サーバで前記第１アプリケーションを実行して複数の前記原画像を生成し、複数の前記原画像は、前記第２解像度を有するステップと、
解像度低減プロセスを使用し、複数の前記原画像の解像度を前記第１解像度に低減し、対応する複数の前記ソース画像を取得するステップと、
前記エンコーダを使用し、複数の前記ソース画像を符号化し、対応する複数の前記符号化後画像を取得するステップと、
によって生成される、請求項１に記載の方法。
【請求項3】
前記サーバは、ＡＩ符号化モジュールを含み、前記複数の前記符号化画像は、
前記サーバで前記第１アプリケーションを実行して複数の前記原画像を生成し、複数の前記原画像は、前記第２解像度を有するステップと、
前記ＡＩ符号化モジュールを使用し、複数の前記原画像に対して解像度を低減して対応する複数の前記ソース画像を取得し、複数の前記ソース画像を符号化して対応する複数の前記符号化後画像を取得するステップと、
によって生成され、
前記ＡＩ符号化モジュールは、予め設けられる少なくとも１つのＡＩ符号化演算式を含み、前記少なくとも１つのＡＩ符号化演算式は、予め設けられる複数の符号化重み付けパラメータを含む、請求項１に記載の方法。
前記サーバで前記第１アプリケーションを実行して複数の前記原画像を生成し、複数の前記原画像は、前記第２解像度を有するステップと、
前記ＡＩ符号化モジュールを使用し、複数の前記原画像に対して解像度を低減して対応する複数の前記ソース画像を取得し、複数の前記ソース画像を符号化して対応する複数の前記符号化後画像を取得するステップと、
によって生成され、
前記ＡＩ符号化モジュールは、予め設けられる少なくとも１つのＡＩ符号化演算式を含み、前記少なくとも１つのＡＩ符号化演算式は、予め設けられる複数の符号化重み付けパラメータを含む、請求項１に記載の方法。
【請求項4】
前記ＡＩ処理モジュールの前記少なくとも１つの数学演算式は、第１プリセットＡＩ演算式及び第２プリセットＡＩ演算式を含み、前記第１プリセットＡＩ演算式は、複数の第１重み付けパラメータを含み、前記第２プリセットＡＩ演算式は、複数の第２重み付けパラメータを含み、
前記第１プリセットＡＩ演算式は、画像の解像度を向上させることに用いることができる複数の前記第１重み付けパラメータを組み合わせることにより、前記第１プリセットＡＩ演算式に複数の前記第１重み付けパラメータを組み合わせて処理した解像度は、前記第１解像度から前記第２解像度に向上することができ、
前記第２プリセットＡＩ演算式は、画像の品質を向上させることに用いることができる複数の前記第２重み付けパラメータを組み合わせることにより、前記第２プリセットＡＩ演算式に複数の前記第２重み付けパラメータを組み合わせて処理した画像の品質は、前記復号後画像の品質よりも高く、且つ前記原画像の品質により近づく、請求項１に記載の方法。
前記第１プリセットＡＩ演算式は、画像の解像度を向上させることに用いることができる複数の前記第１重み付けパラメータを組み合わせることにより、前記第１プリセットＡＩ演算式に複数の前記第１重み付けパラメータを組み合わせて処理した解像度は、前記第１解像度から前記第２解像度に向上することができ、
前記第２プリセットＡＩ演算式は、画像の品質を向上させることに用いることができる複数の前記第２重み付けパラメータを組み合わせることにより、前記第２プリセットＡＩ演算式に複数の前記第２重み付けパラメータを組み合わせて処理した画像の品質は、前記復号後画像の品質よりも高く、且つ前記原画像の品質により近づく、請求項１に記載の方法。
【請求項5】
前記クライアント端末装置は、受信した複数の前記符号化後画像を対応する複数の復号後画像に復号した後、
前記クライアント端末装置は、先ず前記第１プリセットＡＩ演算式と複数の前記第１重み付けパラメータを使用して複数の前記復号後画像を処理し、対応する第２解像度を有する複数の解像度向上画像を生成し、次に、前記クライアント端末装置は、前記第２プリセットのＡＩ演算式と複数の前記第２重み付けパラメータを使用し、複数の前記解像度向上画像を処理し、高画質を有し且つ前記第２解像度を有する複数の前記高解像度画像を生成する方式一と、
前記クライアント端末装置は、先ず前記第２プリセットＡＩ演算式と複数の前記第２重み付けパラメータを使用して複数の前記復号後画像を処理し、対応する高画質の複数の品質向上画像を生成し、次に、前記クライアント端末装置は、前記第１プリセットＡＩ演算式と複数の前記第１重み付けパラメータを使用して複数の前記品質向上画像を処理し、前記第２解像度を有し且つ高画質を有する複数の高解像度画像を生成する方式二と、
のいずれか１つを使用して、複数の前記復号後画像を処理する、請求項４に記載の方法。
前記クライアント端末装置は、先ず前記第１プリセットＡＩ演算式と複数の前記第１重み付けパラメータを使用して複数の前記復号後画像を処理し、対応する第２解像度を有する複数の解像度向上画像を生成し、次に、前記クライアント端末装置は、前記第２プリセットのＡＩ演算式と複数の前記第２重み付けパラメータを使用し、複数の前記解像度向上画像を処理し、高画質を有し且つ前記第２解像度を有する複数の前記高解像度画像を生成する方式一と、
前記クライアント端末装置は、先ず前記第２プリセットＡＩ演算式と複数の前記第２重み付けパラメータを使用して複数の前記復号後画像を処理し、対応する高画質の複数の品質向上画像を生成し、次に、前記クライアント端末装置は、前記第１プリセットＡＩ演算式と複数の前記第１重み付けパラメータを使用して複数の前記品質向上画像を処理し、前記第２解像度を有し且つ高画質を有する複数の高解像度画像を生成する方式二と、
のいずれか１つを使用して、複数の前記復号後画像を処理する、請求項４に記載の方法。
【請求項6】
前記第１プリセットＡＩ演算式、前記第２プリセットＡＩ演算式、複数の前記第１重み付けパラメータ、及び複数の前記第２重み付けパラメータは、全て、前記クライアント端末装置の同じ前記ＡＩ処理モジュール内に含まれ、複数の前記復号後画像を、高画質で前記第２解像度を有する複数の前記高解像度画像に処理する、請求項４に記載の方法。
【請求項7】
前記ＡＩ処理モジュールは、受信した複数の前記符号化後画像を複数の前記復号後画像に復号するためのＡＩ復号演算式をさらに含み、前記ＡＩ復号演算式、前記第１プリセットＡＩ演算式、前記第２プリセットＡＩ演算式、複数の前記第１重み付けパラメータ、及び複数の前記第２重み付けパラメータは、全て前記クライアント端末装置の同じ前記ＡＩ処理モジュール内に含まれ、受信した複数の前記符号化後画像を、一度に高画質で前記第２解像度を有する複数の前記高解像度画像に処理する、請求項４に記載の方法。
【請求項8】
前記訓練サーバ内で実行される前記人工ニューラルネットワークモジュールの前記訓練プロセスは、
前記訓練サーバで訓練モードをアクティブ化して複数の訓練原画像を生成し、複数の訓練原画像は、第２解像度を有するステップと、
解像度低減プロセスを実行し、複数の訓練原画像の解像度を前記第２解像度から前記第１解像度に低減し、第１解像度を有する複数の訓練低解像度画像を生成するステップと、
前記人工ニューラルネットワークモジュールは、第１訓練演算式を受信して使用し、複数の前記訓練低解像度画像を１つずつ処理して、対応する前記第２解像度を有する複数の訓練出力画像を生成し、前記第１訓練演算式は、複数の第１訓練重み付けパラメータを有するステップと、
比較モジュールを使用し、複数の前記訓練出力画像と対応する複数の前記訓練原画像の違いを１つずつ比較し、それに応じて前記第１訓練演算式の前記複数の第１訓練重み付けパラメータを調整し、前記複数の第１訓練重み付けパラメータは、前記訓練出力画像と対応する訓練原画像との違いを最小化でき、前記複数の第１訓練重み付けパラメータが調整されるたびに、調整後の前記複数の第１訓練重み付けパラメータは、前記第１訓練演算式にフィードバックされ、次の前記訓練低解像度画像を処理させるステップと、
を含み、
所定数の前記訓練出力画像と対応する前記訓練原画像との比較、及び所定回数の複数の前記第１訓練重み付けパラメータの調整プロセスを行った後、最終的に得られた前記複数の第１訓練重み付けパラメータが前記クライアント端末装置の前記ＡＩ処理モジュール内に適用され、少なくとも１つの前記数学演算式の複数の前記重み付けパラメータとされる、請求項４に記載の方法。
前記訓練サーバで訓練モードをアクティブ化して複数の訓練原画像を生成し、複数の訓練原画像は、第２解像度を有するステップと、
解像度低減プロセスを実行し、複数の訓練原画像の解像度を前記第２解像度から前記第１解像度に低減し、第１解像度を有する複数の訓練低解像度画像を生成するステップと、
前記人工ニューラルネットワークモジュールは、第１訓練演算式を受信して使用し、複数の前記訓練低解像度画像を１つずつ処理して、対応する前記第２解像度を有する複数の訓練出力画像を生成し、前記第１訓練演算式は、複数の第１訓練重み付けパラメータを有するステップと、
比較モジュールを使用し、複数の前記訓練出力画像と対応する複数の前記訓練原画像の違いを１つずつ比較し、それに応じて前記第１訓練演算式の前記複数の第１訓練重み付けパラメータを調整し、前記複数の第１訓練重み付けパラメータは、前記訓練出力画像と対応する訓練原画像との違いを最小化でき、前記複数の第１訓練重み付けパラメータが調整されるたびに、調整後の前記複数の第１訓練重み付けパラメータは、前記第１訓練演算式にフィードバックされ、次の前記訓練低解像度画像を処理させるステップと、
を含み、
所定数の前記訓練出力画像と対応する前記訓練原画像との比較、及び所定回数の複数の前記第１訓練重み付けパラメータの調整プロセスを行った後、最終的に得られた前記複数の第１訓練重み付けパラメータが前記クライアント端末装置の前記ＡＩ処理モジュール内に適用され、少なくとも１つの前記数学演算式の複数の前記重み付けパラメータとされる、請求項４に記載の方法。
【請求項9】
前記訓練サーバ内で実行される前記人工ニューラルネットワークモジュールの前記訓練プロセスは、
前記訓練サーバで訓練モードをアクティブ化して複数の訓練原画像を生成し、複数の訓練原画像は、第２解像度を有するステップと、
解像度低減プロセスを実行し、複数の訓練原画像の解像度を前記第２解像度から前記第１解像度に低減し、前記第１解像度を有する複数の訓練低解像度画像を生成するステップと、
符号化プロセスを実行し、訓練サーバのエンコーダによって複数の前記訓練低解像度画像を対応する複数の訓練符号化後画像に符合化するステップと、
復号プロセスを実行し、訓練サーバのデコーダによって複数の前記訓練符号化画像を対応する複数の訓練復号後画像に復号し、複数の前記訓練復号後画像は、前記第１解像度を有するステップと、
前記人工ニューラルネットワークモジュールは、第１訓練演算式及び第２訓練演算式を受信して使用し、複数の前記訓練復号後画像を１つずつ処理して、対応する前記第２解像度を有する複数の訓練出力画像を生成し、前記第１訓練演算式は、複数の第１訓練重み付けパラメータを有し、前記第２訓練演算式は、複数の第２訓練重み付けパラメータを有するステップと、
比較モジュールを使用し、複数の前記訓練出力画像と対応する複数の前記訓練原画像の違いを１つずつ比較し、それに応じて前記第１訓練演算式の前記複数の第１訓練重み付けパラメータ及び前記第２訓練演算式の前記複数の第２訓練重み付けパラメータを調整し、前記複数の第１訓練重み付けパラメータ及び前記第２訓練重み付けパラメータは、前記訓練出力画像と対応する訓練原画像との違いを最小化でき、前記複数の第１訓練重み付けパラメータ及び前記複数の第２訓練重み付けパラメータが調整されるたびに、調整後の前記複数の第１訓練重み付けパラメータ及び前記複数の第２訓練重み付けパラメータは、前記第１訓練演算式及び前記第２訓練演算式にフィードバックされ、次の前記訓練低解像度画像を処理させるステップと、
を含み、
所定数の前記訓練出力画像と対応する前記訓練原画像との比較、及び所定回数の前記複数の第１訓練重み付けパラメータ及び前記複数の第２訓練重み付けパラメータの調整プロセスを行った後、最終的に得られた前記複数の第１訓練重み付けパラメータ及び前記複数の第２訓練重み付けパラメータが前記クライアント端末装置の前記ＡＩ処理モジュール内に適用され、少なくとも１つの前記数学演算式に含まれる前記第１訓練演算式及び前記第２訓練演算式の重み付けパラメータとされる、請求項４に記載の方法。
前記訓練サーバで訓練モードをアクティブ化して複数の訓練原画像を生成し、複数の訓練原画像は、第２解像度を有するステップと、
解像度低減プロセスを実行し、複数の訓練原画像の解像度を前記第２解像度から前記第１解像度に低減し、前記第１解像度を有する複数の訓練低解像度画像を生成するステップと、
符号化プロセスを実行し、訓練サーバのエンコーダによって複数の前記訓練低解像度画像を対応する複数の訓練符号化後画像に符合化するステップと、
復号プロセスを実行し、訓練サーバのデコーダによって複数の前記訓練符号化画像を対応する複数の訓練復号後画像に復号し、複数の前記訓練復号後画像は、前記第１解像度を有するステップと、
前記人工ニューラルネットワークモジュールは、第１訓練演算式及び第２訓練演算式を受信して使用し、複数の前記訓練復号後画像を１つずつ処理して、対応する前記第２解像度を有する複数の訓練出力画像を生成し、前記第１訓練演算式は、複数の第１訓練重み付けパラメータを有し、前記第２訓練演算式は、複数の第２訓練重み付けパラメータを有するステップと、
比較モジュールを使用し、複数の前記訓練出力画像と対応する複数の前記訓練原画像の違いを１つずつ比較し、それに応じて前記第１訓練演算式の前記複数の第１訓練重み付けパラメータ及び前記第２訓練演算式の前記複数の第２訓練重み付けパラメータを調整し、前記複数の第１訓練重み付けパラメータ及び前記第２訓練重み付けパラメータは、前記訓練出力画像と対応する訓練原画像との違いを最小化でき、前記複数の第１訓練重み付けパラメータ及び前記複数の第２訓練重み付けパラメータが調整されるたびに、調整後の前記複数の第１訓練重み付けパラメータ及び前記複数の第２訓練重み付けパラメータは、前記第１訓練演算式及び前記第２訓練演算式にフィードバックされ、次の前記訓練低解像度画像を処理させるステップと、
を含み、
所定数の前記訓練出力画像と対応する前記訓練原画像との比較、及び所定回数の前記複数の第１訓練重み付けパラメータ及び前記複数の第２訓練重み付けパラメータの調整プロセスを行った後、最終的に得られた前記複数の第１訓練重み付けパラメータ及び前記複数の第２訓練重み付けパラメータが前記クライアント端末装置の前記ＡＩ処理モジュール内に適用され、少なくとも１つの前記数学演算式に含まれる前記第１訓練演算式及び前記第２訓練演算式の重み付けパラメータとされる、請求項４に記載の方法。
【請求項10】
前記訓練サーバ内で実行される前記人工ニューラルネットワークモジュールの前記訓練プロセスは、
前記訓練サーバで訓練モードをアクティブ化して複数の訓練原画像を生成し、複数の訓練原画像は、第２解像度を有するステップと、
解像度低減プロセスを実行し、複数の訓練原画像の解像度を前記第２解像度から前記第１解像度に低減し、前記第１解像度を有する複数の訓練低解像度画像を生成するステップと、
第１人工ニューラルネットワークモジュールを用いて、訓練符号化演算式を受信して使用し、複数の前記訓練低解像度画像を１つずつ処理して、対応する前記第１解像度を有する複数の訓練符号化画像を生成し、前記訓練符号化演算式は、複数の訓練符号化重み付けパラメータを有するステップと、
第２人工ニューラルネットワークモジュールを用いて、訓練復号演算式を受信して使用し、複数の前記訓練符号化画像を１つずつ処理して、対応する前記第２解像度を有する複数の訓練出力画像を生成し、前記訓練復号演算式は、複数の訓練復号重み付けパラメータを有するステップと、
比較モジュールを使用し、複数の前記訓練出力画像と対応する複数の前記訓練原画像の違いを１つずつ比較し、それに応じて前記訓練符号化演算式の前記複数の訓練符号化重み付けパラメータ及び前記訓練復号演算式の前記複数の訓練復号重み付けパラメータを調整し、前記複数の訓練符号化重み付けパラメータ及び前記複数の訓練復号重み付けパラメータは、前記訓練出力画像と対応する訓練原画像との違いを最小化でき、前記複数の訓練符号化重み付けパラメータ及び前記複数の訓練復号重み付けパラメータが調整されるたびに、調整後の前記複数の訓練符号化重み付けパラメータ及び前記複数の訓練復号重み付けパラメータは、前記訓練演算式及び前記訓練復号演算式にフィードバックされ、次の前記訓練低解像度画像を処理させるステップと、
を含み、
所定数の前記訓練出力画像と対応する前記訓練原画像との比較、及び所定回数の前記複数の訓練符号化重み付けパラメータ及び前記複数の訓練復号重み付けパラメータの調整プロセスを行った後、最終的に得られた前記複数の訓練符号化重み付けパラメータが前記サーバの前記ＡＩ符号化モジュールのＡＩ符号化演算式に適用され、且つ、得られた前記複数の訓練復号重み付けパラメータが前記クライアント端末装置の前記ＡＩ処理モジュールの少なくとも１つの前記数学演算式に適用されることにより、前記クライアント端末装置の前記ＡＩ処理モジュールは、受信した前記符号化後画像に対して復号、解像度向上及び画像品質強化のプロセスを一度に実行することができる、請求項３に記載の方法。
前記訓練サーバで訓練モードをアクティブ化して複数の訓練原画像を生成し、複数の訓練原画像は、第２解像度を有するステップと、
解像度低減プロセスを実行し、複数の訓練原画像の解像度を前記第２解像度から前記第１解像度に低減し、前記第１解像度を有する複数の訓練低解像度画像を生成するステップと、
第１人工ニューラルネットワークモジュールを用いて、訓練符号化演算式を受信して使用し、複数の前記訓練低解像度画像を１つずつ処理して、対応する前記第１解像度を有する複数の訓練符号化画像を生成し、前記訓練符号化演算式は、複数の訓練符号化重み付けパラメータを有するステップと、
第２人工ニューラルネットワークモジュールを用いて、訓練復号演算式を受信して使用し、複数の前記訓練符号化画像を１つずつ処理して、対応する前記第２解像度を有する複数の訓練出力画像を生成し、前記訓練復号演算式は、複数の訓練復号重み付けパラメータを有するステップと、
比較モジュールを使用し、複数の前記訓練出力画像と対応する複数の前記訓練原画像の違いを１つずつ比較し、それに応じて前記訓練符号化演算式の前記複数の訓練符号化重み付けパラメータ及び前記訓練復号演算式の前記複数の訓練復号重み付けパラメータを調整し、前記複数の訓練符号化重み付けパラメータ及び前記複数の訓練復号重み付けパラメータは、前記訓練出力画像と対応する訓練原画像との違いを最小化でき、前記複数の訓練符号化重み付けパラメータ及び前記複数の訓練復号重み付けパラメータが調整されるたびに、調整後の前記複数の訓練符号化重み付けパラメータ及び前記複数の訓練復号重み付けパラメータは、前記訓練演算式及び前記訓練復号演算式にフィードバックされ、次の前記訓練低解像度画像を処理させるステップと、
を含み、
所定数の前記訓練出力画像と対応する前記訓練原画像との比較、及び所定回数の前記複数の訓練符号化重み付けパラメータ及び前記複数の訓練復号重み付けパラメータの調整プロセスを行った後、最終的に得られた前記複数の訓練符号化重み付けパラメータが前記サーバの前記ＡＩ符号化モジュールのＡＩ符号化演算式に適用され、且つ、得られた前記複数の訓練復号重み付けパラメータが前記クライアント端末装置の前記ＡＩ処理モジュールの少なくとも１つの前記数学演算式に適用されることにより、前記クライアント端末装置の前記ＡＩ処理モジュールは、受信した前記符号化後画像に対して復号、解像度向上及び画像品質強化のプロセスを一度に実行することができる、請求項３に記載の方法。
【請求項11】
前記複数の原画像は、３次元画像であり、各前記３次元画像は、それぞれ、１つの画像フレームに並べて組み合わされた左目ビュー及び右目ビューを含む、請求項２に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人工知能モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法に関し、特に、サーバ端末で送信したい画像の解像度を先に低減してネットワークを介してクライアントに送信し、次にクライアント端末で事前訓練を経た人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｔ；ＡＩ）処理モジュールによって、受信した画像を高解像度に復元することでビデオストリーミングに必要なネットワーク帯域幅を低減する方法に関する。
【背景技術】
【0002】
近年、ネットワークオンラインゲームは、世界中で人気が高まっている。クラウドベース（Ｃｌｏｕｄ－Ｂａｓｅｄ）のコンピューティング関連システム及び技術の発展において、サーバによってゲームコンテンツをビデオストリーミングでネットワークを介してプレイヤーへ伝送し、オンラインゲームサービスを提供するクラウド技術も開発されている。
【0003】
このようなクラウドオンラインゲーム（Ｏｎ－Ｌｉｎｅ Ｇａｍｅ）サービスを提供する従来の方法は、サーバに略全ての演算を実行させることである。言い換えれば、オンラインゲームサービスを提供する時、特定のアプリケーションがサーバ内で実行され、多くの３Ｄ（Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ）オブジェクトを含む仮想３Ｄ環境を生成し、それは、プレイヤーによって制御されるか、動かされることができる３Ｄオブジェクトを含む。そして、プレイヤーの制御結果に応じて、サーバは、３Ｄオブジェクト及び仮想３Ｄ環境をプレイヤーの装置に表示するための２Ｄ（Ｔｗｏ Ｄｉｍｅｎｓｉｏｎａｌ）ゲーム画面にレンダリング（Ｒｅｎｄｅｒ）する。次に、サーバはレンダリングされたイメージコード（Ｅｎｃｏｄｅ）を２Ｄビデオストリームに圧縮し、それをネットワークを介してプレイヤーの装置に送信する。プレイヤー装置は、受信した２Ｄビデオストリームを復号し、次いでそれを「再生」するだけでよく、３Ｄレンダリングを実行する必要がない。しかしながら、そのようなクラウドベースのオンラインゲームサービスには、解決すべきいくつかの課題がまだあり、例えば、多数のプレイヤーに３Ｄレンダリングプロセスを提供する時のサーバの高負荷、符号化圧縮及びストリーミングプロセスによる画質の低下、及びネットワーク経由で２Ｄビデオストリームを送信することによって消費される大量の通信帯域幅である。
【0004】
画質を低下させる問題を解決するための従来の方法は、サーバ側のゲームアプリケーションプログラムによって生成された原画像の解像度を改善し、画像を送信する時のビットレート（Ｂｉｔｒａｔｅ）を改善する、即ちサーバの原画像を２Ｄビデオストリームに符号化する時の圧縮率（ＣｏｍｐｒｅｓｓｉｏｎＲａｔｉｏ）を低減することである。しかしながら、当然、そうすることは、サーバの負荷及び帯域幅の消費量が何れも画像の高解像度及び高伝送ビットレートのために、顕著に増加する。例えば、フレームレート及び符号化圧縮率がともに固定値である場合、サーバ側のゲームアプリケーションプログラムによって生成された原画像の解像度が７２０ｐから１０８０ｐに増加すると、サーバの演算負荷及び必要なネットワーク伝送ビットレートが何れも２．２５倍に増加する。相対して、サーバの負荷やネットワークの帯域幅消費を減らそうとすると、ゲーム画像の画質が犠牲になる。従って、完璧な画質と経済的な帯域幅消費の両方を達成することは困難である。
【0005】
この問題を解決するもう１つの方法は、サーバ側のゲームアプリケーションによって生成された原画像の解像度を下げること、又は原画像をより高い圧縮率で２Ｄビデオストリームに符号化すること、あるいはその両方である。これにより、ゲーム画像の画質は犠牲になるが、ネットワークで伝送される２Ｄビデオストリームの帯域消費量が削減される。同時に、クライアント端末装置で画像強化技術が使用される。一旦、２Ｄビデオストリームが受信されると、クライアント端末装置は、ビデオストリームを符号化し、画像強化技術により画像の視覚効果を改善する。ヒストグラム等化（Ｈｉｓｔｏｇｒａｍ ｅｑｕａｌｉｚａｔｉｏｎ；ＨＥ）は、簡単さと効率性を有するので、画像コントラストを改善するための最もよく用いられる方法の１つである。しかしながら、ＨＥは、過度のコントラスト強化及び特徴喪失問題を引き起こし、不自然な外観及び処理された画像詳細の損失を招く。さらに、ＨＥだけでなく、当技術分野で知られている他の全ての画像強化技術も同じジレンマに遭遇し、即ち、それらは全て同じセットのアルゴリズムを使用して完全に異なる画像内容を有する様々な画像を処理しようと試みるが、このような考え方は、実現不可能である。クラウドオンラインゲームサービスを例にとると、サーバによって生成された原画像の画面コンテンツは、ゲームシーンの変化によって大きく変化する。例えば、都市のゲームシーンの原画像は、多くの簡単且つ明瞭な輪郭と、異なるが概ね同系色の色とを含ませることができる。１つの暗い洞窟のゲームシーンでは、ゲームの原画像を単調でトーンが低く色度値が低い色で満たし、不規則だが目立たない景観の輪郭にする。緑豊かな庭園のシーンは、ゲームの原画像に多くの鮮やかでカラフルなオブジェクトを含ませ、詳細で複雑な輪郭をもたせる。疑いの余地なく、完全に異なる画像コンテンツを有する様々な異なるシーンに対して良好な画像強化を提供することができる従来の強化技術は存在しない。
【0006】
また、これらの従来の画像強化技術のもう１つの欠点は、これらの従来の画像強化技術の数学演算式は、コントラスト、シャープネス、飽和度などの画像の画面効果を改善することができるが、これらの演算式及びそのパラメータは、何れも完全にサーバが生成する原画像と関連しない。従って、これらの従来の画像強化技術の強化過程は、強化された後の画像を対応する原画像に視覚的に近づけることは決してなく、従ってクライアント端末のゲームプレイヤーはサーバ側のゲームアプリケーションプログラムによって生成された原画像の画面効果を完全に享受することはできない。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２０２０－１０３３１
【発明の概要】
【発明が解決しようとする課題】
【0008】
このため、本発明の目的は、人工知能モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法を提供することである。サーバ端末で先ず送信したい画像の解像度を低減した後、ネットワークを介して低解像度の画像をクライアント端末に送信することにより、画像ストリームの送信に必要なネットワーク帯域幅を低減する。その後、クライアント端末で事前に訓練された人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｔ；ＡＩ）処理モジュールにより、受信した低解像度画像を高解像度画像に復元し、高画質及び低ネットワーク帯域幅消費という２つの利点を同時に享受する。
【課題を解決するための手段】
【0009】
上記の目的を達成するため、本発明の人工知能モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の一実施形態は、サーバで第１アプリケーションを実行して複数の原画像に対応する複数のソース画像を生成し、複数の前記ソース画像は、第１解像度を有し、複数の前記ソース画像は、前記サーバのエンコーダによって符合化及び圧縮され、対応する複数の符号化後画像を生成するステップ（Ａ）と、前記サーバから離れたクライアント端末装置で第２アプリケーションを実行し、前記第２アプリケーションは、前記第１アプリケーションに関連付けられ且つ連携するステップ（Ｂ）と、前記クライアント端末装置は、ネットワークを介して前記サーバに接続され、前記サーバによって生成された前記複数の符号化後画像を、ネットワークを介して画像ストリーミング方式で受信するステップ（Ｃ）と、前記クライアント端末装置は、前記複数の符号化後画像を対応する複数の復号後画像に復号し、人工知能（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｔ；ＡＩ）処理モジュールを用いて前記複数の復号後画像の解像度を高め、対応する複数の高解像度画像を生成し、複数の前記高解像度画像は、第２解像度を有し、前記第２解像度は、前記第１解像度よりも高く、且つ、複数の前記原画像の解像度は、前記第２解像度と等しいステップ（Ｄ）と、前記クライアント端末装置は、複数の前記高解像度画像を順にスクリーンに出力して再生される複数の出力画像とするステップ（Ｅ）と、を含み、前記ＡＩ処理モジュールは、前記復号後画像と対応する前記複数の原画像画像との間の差異によって予め得られる少なくとも１つの数学演算式及び複数の重み付けパラメータを分析することによって前記複数の復号後画像を処理し、これにより、得られた前記複数の高解像度画像の解像度は、対応する前記複数の原画像に等しく、且つ複数の前記ソース画像の解像度よりも高く、前記ＡＩ処理モジュールの前記少なくとも１つの数学演算式及び複数の前記重み付けパラメータは、事前に訓練サーバ内の人工ニューラルネットワークモジュールによって実行される訓練プロセスによって定義されるものである。
【0010】
好ましくは、ステップ（Ａ）において、前記複数の前記符号化画像は、前記サーバで前記第１アプリケーションを実行して複数の前記原画像を生成し、複数の前記原画像は、前記第２解像度を有するステップと、解像度低減プロセスを使用し、複数の前記原画像の解像度を前記第１解像度に低減し、対応する複数の前記ソース画像を取得するステップと、前記エンコーダを使用し、複数の前記ソース画像を符号化し、対応する複数の前記符号化後画像を取得するステップと、によって生成される。
【0011】
好ましくは、前記サーバは、ＡＩ符号化モジュールを含み、ステップ（Ａ）において、前記複数の前記符号化画像は、前記サーバで前記第１アプリケーションを実行して複数の前記原画像を生成し、複数の前記原画像は、前記第２解像度を有するステップと、
前記ＡＩ符号化モジュールを使用し、複数の前記原画像に対して解像度を低減して対応する複数の前記ソース画像を取得し、複数の前記ソース画像を符号化して対応する複数の前記符号化後画像を取得するステップと、によって生成され、前記ＡＩ符号化モジュールは、予め設けられる少なくとも１つのＡＩ符号化演算式を含み、前記少なくとも１つのＡＩ符号化演算式は、予め設けられる複数の符号化重み付けパラメータを含む。
前記ＡＩ符号化モジュールを使用し、複数の前記原画像に対して解像度を低減して対応する複数の前記ソース画像を取得し、複数の前記ソース画像を符号化して対応する複数の前記符号化後画像を取得するステップと、によって生成され、前記ＡＩ符号化モジュールは、予め設けられる少なくとも１つのＡＩ符号化演算式を含み、前記少なくとも１つのＡＩ符号化演算式は、予め設けられる複数の符号化重み付けパラメータを含む。
【0012】
好ましくは、前記ＡＩ処理モジュールの前記少なくとも１つの数学演算式は、第１プリセットＡＩ演算式及び第２プリセットＡＩ演算式を含み、前記第１プリセットＡＩ演算式は、複数の第１重み付けパラメータを含み、前記第２プリセットＡＩ演算式は、複数の第２重み付けパラメータを含み、前記第１プリセットＡＩ演算式は、画像の解像度を向上させることに用いることができる複数の前記第１重み付けパラメータを組み合わせることにより、前記第１プリセットＡＩ演算式に複数の前記第１重み付けパラメータを組み合わせて処理した解像度は、前記第１解像度から前記第２解像度に向上することができ、前記第２プリセットＡＩ演算式は、画像の品質を向上させることに用いることができる複数の前記第２重み付けパラメータを組み合わせることにより、前記第２プリセットＡＩ演算式に複数の前記第２重み付けパラメータを組み合わせて処理した画像の品質は、前記復号後画像の品質よりも高く、且つ前記原画像の品質により近づく。
【0013】
好ましくは、前記クライアント端末装置は、受信した複数の前記符号化後画像を対応する複数の復号後画像に復号した後、前記クライアント端末装置は、先ず前記第１プリセットＡＩ演算式と複数の前記第１重み付けパラメータを使用して複数の前記復号後画像を処理し、対応する第２解像度を有する複数の解像度向上画像を生成し、次に、前記クライアント端末装置は、前記第２プリセットのＡＩ演算式と複数の前記第２重み付けパラメータを使用し、複数の前記解像度向上画像を処理し、高画質を有し且つ前記第２解像度を有する複数の前記高解像度画像を生成する方式一と、前記クライアント端末装置は、先ず前記第２プリセットＡＩ演算式と複数の前記第２重み付けパラメータを使用して複数の前記復号後画像を処理し、対応する高画質の複数の品質向上画像を生成し、次に、前記クライアント端末装置は、前記第１プリセットＡＩ演算式と複数の前記第１重み付けパラメータを使用して複数の前記品質向上画像を処理し、前記第２解像度を有し且つ高画質を有する複数の高解像度画像を生成する方式二と、のいずれか１つを使用して、複数の前記復号後画像を処理する。
【発明の効果】
【0014】
本発明の人工知能モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法は、サーバ端末で先ず送信したい画像の解像度を低減した後、ネットワークを介して低解像度の画像をクライアント端末に送信することにより、画像ストリームの送信に必要なネットワーク帯域幅を低減する。その後、クライアント端末で事前に訓練された人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｔ；ＡＩ）処理モジュールにより、受信した低解像度画像を高解像度画像に復元し、高画質及び低ネットワーク帯域幅消費という２つの利点を同時に享受する。
【図面の簡単な説明】
【0015】
【図1】本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減するシステムの説明図である。
【図2】本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減するシステムの構造の一実施形態の説明図である。
【図3】本発明の人工処理モジュールを用いてビデオストリーミングを処理する方法の第１実施形態の説明図である。
【図4】本発明による人工ニューラルネットワークモジュール１０５の訓練プロセスの第１実施例の説明図である。
【図5】本発明による人工ニューラルネットワークモジュール１０５の訓練プロセスの第２実施例の説明図である。
【図6】本発明による人工ニューラルネットワークモジュール１０５の訓練プロセスの第３実施例の説明図である。
【図8】本発明のニューラルネットワークの訓練過程の実施例を開示し、ここで、原画像はＹＵＶ４２０であり、出力画像はＲＧＢ又はＹＵＶ４２０である。
【図9】本発明のＹＵＶ４２０フォーマットを有する復号画像を処理するプロセスの実施例の説明図である。
【図10】本発明のＹＵＶ４２０フォーマットを有する復号画像を処理するプロセスのもう１つの実施例の説明図である。
【図11A】本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の第２実施形態の説明図である。
【図11B】本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の第３実施形態の説明図である。
【図12A】本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の第４実施形態の説明図である。
【図12B】本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の第５実施形態の説明図である。
【図13】本発明のＡＩ処理モジュールの第１の所定のＡＩ演算式及び第１重み付けパラメータの訓練方法の一実施形態の説明図である。
【図14A】本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の第６実施形態の説明図である。
【図14B】本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の第７実施形態の説明図である。
【図15】本発明のＡＩ処理モジュールの第１の所定のＡＩ演算式、第２の所定のＡＩ演算式、第１重み付けパラメータ及び第２重み付けパラメータの訓練方法の一実施形態の説明図である。
【図16】本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の第８実施形態の説明図である。
【図17】本発明の人工ニューラルネットワークのＡＩ符合化演算式、ＡＩ復号化演算式、第１の所定のＡＩ演算式、第２の所定のＡＩ演算式、第１重み付けパラメータ及び第２重み付けパラメータの訓練方法の一実施形態の説明図である。
【発明を実施するための形態】
【0016】
本発明の用途の１つは、プレイヤーがクライアント端末装置を使用してネットワークを介してサーバに接続し、サーバによって提供されるゲームをプレイするクラウドベースのオンラインゲーム（ｃｌｏｕｄ－ｂａｓｅｄ ｏｎｌｉｎｅ ｇａｍｅｓ）である。サーバは、プレイヤーによって入力されたコマンドに応答して対応するビデオ画像を生成することができる。従って、例えば、プレイヤーは、クライアント端末装置で移動のコマンドを実行することができる。移動コマンドは、ネットワークを通してサーバに送信され、次にサーバは移動コマンドに従って画像を計算し、該画像をクライアント端末装置に返送し、再生する。多くのゲームでは、サーバは、可視範囲内の位置する幾つかの３Ｄレンダリングオブジェクトを含む２Ｄ画像を生成する。
【0017】
図１を参照し、それは、本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法を説明している。サーバ１は、該サーバ１上で実行されるアプリケーションによってサービスを提供することに適用され、該サービスは、クラウドオンラインゲームサービスであり得るが、これに限定されない。複数のクライアント端末装置２１、２２、２３は、ネットワーク４を介してサーバ１に接続（ログイン）し、該サーバ１上で実行されている該アプリケーションが提供するサービスを使用することができる。本実施例において、該ネットワーク４はインターネット（Ｉｎｔｅｒｎｅｔ）であり、且つ該クライアント端末装置２１、２２、２３は、スマートフォン２１、デジタルタブレット、ノートブックコンピュータ２２、デスクトップコンピュータ２３、電子ゲーム機、あるいはスマートテレビ（ただし、これらに限定されない）などの任意の種類のネットワーク接続可能な電子装置であることができる。一部のクライアント端末装置２１、２２は、無線通信基地局３又は無線ルータ３０を介してネットワーク４に無線接続され、その他は、ネットワークルータ又はネットワーク共有装置を介してネットワーク４に有線接続される。サーバ１上で実行されているアプリケーションは、複数の３Ｄオブジェクトを含む仮想３Ｄ環境を生成し、３Ｄオブジェクトの幾つかはユーザの操作に応じて移動又は破壊されることができるが、他の幾つかは、そうすることができない。好適実施例において、アプリケーションは、クライアント端末装置ごとに独立した動作インスタンスを持つ。即ち、各アプリケーションは、クライアント端末装置にサービスを提供するだけであるが、該サーバ１内で複数のアプリケーションを同時に実行し、複数のクライアント端末装置にサービスを提供することができる。該クライアント端末装置２１、２２、２３は、ネットワーク４を介して該サーバ１に接続され、該アプリケーションによって生成された３Ｄオブジェクトの少なくとも一部を含む画面を受信する。本発明のシステムアーキテクチャ及び機能は、図２及びそれに関連する説明を通して詳細に説明する。
【0018】
図２は、本発明のシステムアーキテクチャの実施例の説明図である。アプリケーション（Ａｐｐ）１００は、メモリ１０１に格納され、サーバ１（通常は３Ｄゲームプログラム）上で実行され、一連の原画像からなる３Ｄ画面のレンダリング結果を生成することができる。コード１０２及びストリーム１０３は、それぞれアプリケーション１００によって生成された原画像を受信し、それを２Ｄビデオストリームに符号化及びストリーミングすることができる符号化モジュール及びストリーミングモジュールである。該２Ｄビデオストリームは、サーバのネットワーク装置１０４を経由してネットワーク４を介して遠隔に配置されたクライアント端末装置２に送信される。各クライアント端末装置２は、それぞれ予めアプリケーション２００をインストールしており、該アプリケーション２００は、クライアント端末装置２のメモリ２０１に記憶され、サーバ１上のアプリケーション１００と関連付けられ、連携できる。クライアント端末装置２のアプリケーション２００は、サーバ１のアプリケーション１００と接続を確立し、ネットワークモジュール２０２によって、該サーバ１から該符号化された２Ｄビデオストリームを受信することができる。該符号化された２Ｄビデオストリームは、次に該復号モジュール２０３によって復号されて復号画像が生成される。これらの符号化、ストリーミング及び復号のプロセスにより、復号画像の品質は明らかに原画像よりはるかに悪い。クライアント端末装置２に組み込まれたＡＩ処理モジュール２０４は、それらの復号画像の品質を向上させ、対応する強化画像を生成することができる。該ＡＩ処理モジュール２０４は、該復号画像と対応する該原画像との間を比較した差を分析することによって得られる少なくとも１つの数学演算式によって該復号画像を処理する。これにより、得られた強化画像は、復号画像よりも視覚的に原画像に近くなる。その後、該強化画像は、出力モジュール２０５を介して、クライアント端末装置２のスクリーン（表示パネル）に出力（再生）される。本発明において、該クライアント端末装置２のＡＩ処理モジュール２０４によって使用される数学演算式は、サーバ１上に配置された人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モジュール１０５によって実行される訓練プロセスにより定義される。人工ニューラルネットワークモジュール１０５は、該サーバ１内に設けられ、人工ニューラルネットワーク１０６、復号モジュール１０７、及び比較訓練モジュール１０８を含む。本発明の人工ニューラルネットワークモジュール１０５の該訓練プロセスの実施例については後で詳細に説明する。
【0019】
図３は、本発明のネットワークを介して送信されるビデオストリームの品質を向上させる方法の実施例の説明図である。図２及び図３に示すように本発明のシステム及びアーキテクチャを利用することにより、該方法は、大まかに以下のステップを含む。
【0020】
ステップ３０１：サーバで第１アプリケーションを実行する。該第１アプリケーションは、少なくとも１つの指示に従って複数の原画像を生成する（ステップ３０２）。その後、該原画像がサーバ内のエンコーダによって符号化及び圧縮され（ステップ３０３）、複数の復号画像が生成される。該符号化された画像は、２Ｄビデオストリームのタイプでネットワークを介してクライアント端末装置に送信される（ステップ３０４）。
【0021】
サーバから離れたクライアント端末装置内で第２アプリケーションを実行する（ステップ３０５）。該第２アプリケーションは、該第１アプリケーションと関連付けられ、連携し、これによって該クライアント端末装置は、ユーザに操作させ、コマンドを生成してサーバに発生させ、サーバの第１アプリケーションによって提供されるサービスを享受させることができる。該クライアント端末装置は、ネットワークを介して該コマンドをサーバに送信し、ネットワークを介して該サーバが生成し且つ該コマンドに対応する符号化画像を受信する。次に、クライアント端末装置は、該符号化画像を複数の復号画像に復号し（ステップ３０６）、ＡＩ処理モジュールを使用して復号画像の品質を向上させ（ステップ３０７）、複数の強化画像を生成する。該ＡＩ処理モジュールは、該復号画像と対応する該原画像との間の差を分析することによって得られる少なくとも１つの数学演算式によって復号画像を処理する。これにより、得られた強化画像は、復号画像よりも視覚的に原画像に近くなる。その後、該クライアント端末装置は、再生されるべき出力画像として該強化画像をスクリーン（表示パネル）に出力する（ステップ３０８）。
【0022】
本発明において、クライアント端末装置内のＡＩ処理モジュールによって使用される少なくとも１つの数学演算式は、複数の重み付きパラメータ（Ｗｅｉｇｈｔｅｄ Ｐａｒａｍｅｔｅｒｓ）を含む。該重み付けパラメータは、該復号画像と対応する該原画像との間の差に関連付けられ、サーバ内の人工ニューラルネットワークモジュールによって実行される訓練プロセスによって定義される。本発明の実施例において、該重み付けパラメータは、予めクライアント端末装置に格納されている。もう１つの実施例において、該重み付けパラメータは、クライアント端末装置が該第２アプリケーションを実行する時、該サーバから該クライアント端末にダウンロードされる。
【0023】
本発明の実施例において、サーバによって生成された原画像に含まれる画面コンテンツは、ゲームシーンの違いに応じて劇的に変化する。例えば、都市のゲームシーンは、多くの簡単且つ明確な外観輪郭と、異なるが概ね同系色の色を含むゲームの原画像を有することができる。もう１つの暗い洞窟のゲームシーンでは、ゲームの原画像は単調でトーンが低く色度が低い色で満たされるが、不規則だが目立たない景観の輪郭になる。また、別の緑豊かな庭園のシーンは、ゲームの原画像に多くの鮮やかでカラフルなオブジェクトを含み、詳細で複雑な輪郭を持たせる。本発明の方法は、これらの異なるゲームシナリオに適応するために異なる重み付けパラメータを用い、これによって、同じＡＩ強化モジュールによって向上された出力画像の品質が高品質かつ安定したレベルを維持することができ、原画像の画像コンテンツでさえも劇的に変化させる。
【0024】
好適には、該第１アプリケーションによって生成された該原画像は、複数組のシーン（ｓｃｅｎｅ－ｍｏｄｅｓ）に区分されることができ、各シーンは、それぞれ複数の該原画像を含む。該重み付けパラメータも複数組に区分され、各組は、それぞれ複数の重み付けパラメータを含み、そのうち１つの該シーンに対応する。異なるシーンの原画像に対応する該復号画像は、同じＡＩ処理モジュールによって該異なる組の重み付けパラメータ内の該シーンに対応する重みの該組の重み付けパラメータを用いて、画像強化処理が施される。本発明の実施例において、該異なる組の重み付けパラメータは全てクライアント端末装置に予め記憶されており、シーンが変化するたびに、変化した新しいシーンに対応する該組の重みのパラメータが該ＡＩ処理モジュールに適用され、該強化画像を生成する。もう１つの実施例において、該異なる組の重み付けパラメータは、全て該サーバ側に格納され、該シーンが変化するたびに、変化した新しいシーンに対応する該組の重み付けパラメータがサーバからクライアント側に送信され、その後、該ＡＩ処理モジュールに運用され、該強化画像を生成させる。
【0025】
図４は、本発明に記載の人工ニューラルネットワークモジュール１０５の訓練プロセスの第１実施例の説明図である。本発明において、該クライアント端末装置２のＡＩ処理モジュール２０４によって使用される数学演算式は、サーバ１内の該人工ニューラルネットワークモジュール１０５によって実行される訓練プロセスによって訓練され定義される。該訓練プロセスは、以下のステップを含む。
【0026】
ステップ４００：訓練モードで該第１アプリケーションを実行し、複数の訓練原画像を生成し（ステップ４０１）、且つ前記複数の原画像に解像度低減処理を行う（ステップ４０１１）。
【0027】
ステップ４０２：解像度を低減した後の該訓練原画像が該エンコーダによって複数の訓練符号化画像に符号化される。
【0028】
ステップ４０３：サーバ内の訓練デコーダを使用することによって該訓練符号化画像を複数の訓練復号画像に復号する。
【0029】
ステップ４０４：該人工ニューラルネットワークモジュールは、該訓練復号画像を受け取り、少なくとも１つの訓練数学演算を使用して該訓練復号画像を１つずつ処理して複数の訓練出力画像を生成する（ステップ４０５）。該少なくとも１つの訓練数学演算式は、複数の訓練重み付けパラメータを含む。
【0030】
ステップ４０６：該訓練出力画像と対応する該訓練原画像との間の差を該比較訓練モジュールによって１つずつ比較し、それに応じて該少なくとも１つの訓練数学演算式の該訓練重み付けパラメータを調整する。該訓練重み付けパラメータは、該訓練出力画像と対応する該訓練原画像との間の差を最小にするように調整される。該訓練重み付けパラメータが調整されるたびに、該調整された訓練重み付けパラメータは、該少なくとも１つの訓練数学演算式にフィードバックされ、ステップ４０４において、次の訓練復号画像を処理させる。所定数の訓練出力画像と対応する訓練原画像との比較、所定数の訓練重み付けパラメータの調整プロセスを実行した後、最後に訓練を完了した後に得られる該訓練重み付けパラメータ（ステップ４０７）は、取り出され、該クライアント端末装置のＡＩ処理モジュールに適用され、その数学演算式の重み付けパラメータとされる。
【0031】
本発明の第１実施例において、該訓練復号画像は該人工ニューラルネットワークモジュールに入力されて対応する該訓練出力画像を生成する。そして、該訓練出力画像と対応する該訓練原画像とを比較して差値を算出する。そして、例えばＡｄａｍアルゴリズム、確率勾配降下法（Ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ；ＳＧＤ）、又は前方二乗平均平方根勾配降下法（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｐｒｏｐａｇａｔｉｏｎ；ＲＭＳＰｒｏｐ）等の数学最適化法により前記人工ニューラルネットワークの重み付きパラメータ（一般に重み付きｗｅｉｇｈｔ ｗ、バイアスｂｉａｓ ｂと称される）を学習し、それによって差値が可能な限り小さくなるし、これによって、該訓練出力画像は、対応する訓練原画像に更に近くなることができる。異なる要求に応じて異なる方法が該差値（又は近似値）を計算することに用いられることができ、例えば、平均二乗誤差（ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ；ＭＳＥ）、Ｌ１正規化（Ｌ１ ｒｅｇｕｌａｒｉｚａｔｉｏｎ）（絶対値の誤差を利用ａｂｓｏｌｕｔｅ ｖａｌｕｅ ｅｒｒｏｒ）、ピーク値信号対ノイズ比（ｐｅａｋ ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ ｒａｔｉｏ；ＰＳＮＲ）であり、構造類似性（ｓｔｒｕｃｔｕｒｅ ｓｉｍｉｌａｒｉｔｙ；ＳＳＩＭ）、生成対抗ネットワーク損失（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ ｌｏｓｓ；ＧＡＮ ｌｏｓｓ）及び／又はその他の方法などである。第１実施例において、以下の方法を使用して差値を計算する。（１）ＭＳＥ、Ｌ１、及びＧＡＮ ｌｏｓｓの重み付け平均；（２）ＭＳＥ；（３）ＧＡＮ ｌｏｓｓ並びに同時に弁別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）を訓練する；（４） ＭＳＥの重み付け平均及びＭＳＥの辺縁（Ｅｄｇｅ ｏｆ ＭＳＥ）。該訓練プロセスの詳細については後述する。
【0032】
図５は、本発明による人工ニューラルネットワークモジュール１０５の訓練プロセスの第２実施例の説明図である。本発明において、該第２実施例の訓練プロセスは以下のステップを含む。
【0033】
ステップ４１０：訓練モードで該第１アプリケーションを実行して複数の訓練原画像を生成する（ステップ４１１）。ここで、該訓練原画像のカラーフォーマットはカラー三原色（ＲＧＢ）である。また、これら訓練原画像に対して解像度低減処理を行う（ステップ４１１１）
【0034】
ステップ４１２：解像度を低減した後の該訓練原画像を該エンコーダによって複数の訓練コード画像に符号化する。
【0035】
ステップ４１３：サーバ内の訓練デコーダを使用することによって該訓練符号化画像を複数の訓練復号画像に復号する。
【0036】
ステップ４１４：該第２実施例において、該訓練復号画像と該訓練出力画像のカラーフォーマットが同じである（本第２実施例において両方ともＲＧＢである）場合、残差ネットワークモジュール（ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋ ｍｏｄｕｌｅ）は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）とも称され、該人工ニューラルネットワークモジュールにおいて使用され得る。対応する訓練復号画像を処理するための該残差ネットワークモジュールの出力は、該対応する訓練復号画像と合計される（ｓｕｍｍｅｄ ｕｐ）（ステップ４１５）。次に、該残差ネットワークモジュールの出力と該対応する訓練復号画像との合計の結果が訓練出力画像として出力される（ステップ４１６）。
【0037】
ステップ４１７：該比較訓練モジュールを使用することによって、該訓練出力画像と対応する該訓練原画像との間の差を逐一比較し（差値を計算する）、それに従って該少なくとも１つの訓練数学演算式の該訓練重み付けパラメータを調整する。該訓練重み付けパラメータは、該訓練出力画像と対応する該訓練原画像との間の差を最小にするように調整される。該訓練重み付けパラメータが調整されるたびに、該調整された訓練重み付けパラメータが該人工ニューラルネットワークにフィードバックされて、ステップ４１４において、次の訓練復号画像が処理される。所定数の訓練出力画像と対応する訓練原画像との比較、所定数の訓練重み付けパラメータの調整プロセスを行った後、最後に訓練を完了した後に得られる該訓練重み付けパラメータ（ステップ４１８）が取り出され、その数学演算式のパラメータの重み付けとして該クライアント端末装置のＡＩ処理モジュールに適用される。
【0038】
図６は、本発明の人工ニューラルネットワークモジュール１０５の訓練プロセスの第３実施例の説明図である。第３実施例において、該比較訓練モジュールは、弁別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）を使用して、該訓練出力画像と対応する該訓練原画像との間の差を比較し、それに応じて該訓練重み付けパラメータを調整する。該第３実施例の訓練プロセスは、以下のステップを含む。
【0039】
ステップ４２０：訓練モードで該第１アプリケーションを実行して複数の訓練原画像を生成する（ステップ４２１）。ここで、該訓練原画像はｎ個のチャネルを含み、ｎは２より大きい正の整数である。また、これら訓練原画像に対して解像度低減処理を行う（ステップ４２１１）
【0040】
ステップ４２２：解像度を低減した後の該訓練原画像を該エンコーダによって複数の訓練符号化画像に符号化する。
【0041】
ステップ４２３：サーバ内の訓練デコーダを使用することによって該訓練符号化画像を複数の訓練復号画像に復号し、訓練復号画像は、ｍ個のチャネルを含み、ｍは２より大きい正の整数である。
【0042】
ステップ４２４：該人工ニューラルネットワークモジュールは、該訓練復号画像（ｍチャネル）を受け取り、少なくとも１つの訓練数学演算式を使用することによって該訓練復号画像を１つずつ処理し、複数の訓練出力画像（ｎチャネル）を生成する（ステップ４２５）；該少なくとも１つの訓練数学演算式は、複数の訓練重み付けパラメータを含む。該訓練出力画像（ｎチャネル）と対応する訓練復号画像（ｍチャネル）とを組み合わせて（ステップ４２６）、複数の訓練合成画像（ｍ＋ｎチャネルを有する）を生成する。次に、訓練合成画像は、訓練出力画像の品質を分析するために弁別器にフィードバックされ（ステップ４２７）、これによって該人工ニューラルネットワークを訓練する。
【0043】
【0044】
ステップ４３０：訓練モードで該第１アプリケーションを実行して複数の訓練原画像を生成する（ステップ４３１）。ここで、該訓練原画像は、ｎ個のチャネルを含み、ｎは２より大きい正の整数である。
【0045】
ステップ４３２：該訓練原画像をエンコーダによって複数の訓練符号化画像に符号化する。
【0046】
ステップ４３３：サーバ内の訓練デコーダによって該訓練符号化画像を複数の訓練復号画像に復号する。ここで、該訓練復号画像は、ｍ個のチャネルを含み、ｍは２より大きい正の整数である。
【0047】
ステップ４３４：該人工ニューラルネットワークモジュールは、該訓練復号画像を受け取り、少なくとも１つの訓練数学演算を使用し、訓練復号画像（ｍチャネル）を１つずつ処理し、複数の訓練出力画像を生成する（ステップ４３５）。該少なくとも１つの訓練数学演算式は、複数の訓練重み付けパラメータを含む。該訓練出力画像はｎ個のチャネルを含む。
【0048】
ステップ４３６：該ｎチャネルの訓練出力画像と対応する該ｍチャネルの訓練復号画像との両者を組み合わせて、ｍ＋ｎチャネルを有する複数の偽サンプル（ｆａｌｓｅ ｓａｍｐｌｅｓ）を生成する。そして、該ｎチャネルの訓練原画像と対応する該ｍチャネルの訓練復号画像との両者を組み合わせて、ｍ＋ｎ個のチャネルを有する複数の真のサンプル（ｔｒｕｅ ｓａｍｐｌｅｓ）を生成する（ステップ４３７）。
【0049】
ステップ４３８：該ｍ＋ｎチャネルの模擬偽サンプル及び該ｍ＋ｎチャネルの模擬真サンプルを、比較訓練モジュールの弁別器にフィードバックして、弁別器の模擬偽サンプル及び模擬真サンプルを検出及び識別する能力を訓練させる。
【0050】
該人工神経系ネットワーク１０５（図２に示す）がサーバ１側で適切に訓練された後、得られた重み付けパラメータ（重みｗｅｉｇｈｔ ｗ、バイアスｂｉａｓ ｂ）がクライアント端末装置内のＡＩ処理モジュール３０４に適用される。該ＡＩ処理モジュール２０４及びそれに関連する重み付けパラメータ（重みｗｅｉｇｈｔ ｗ、バイアスｂｉａｓ ｂ）は、該クライアント端末装置２に格納される。その後、該クライアント端末装置が、サーバから２Ｄビデオストリームに含まれる符号化画像を受信して復号するたびに、該符号化画像の各々は、該ＡＩ処理モジュールによって処理されて強化画像を生成する。その後、該クライアント端末装置は、該強化画像を出力画像としてそのスクリーン上に再生する。該ニューラルネットワークは、画像の色、明るさ、及び詳細を学習し、向上させることができる。原画像の一部の細節は、符号化及びストリーミングの過程で損傷又は消失するので、適切に訓練されたニューラルネットワークはこれらの損傷又は消失した詳細を修復することができる。本発明の実施例において、ＡＩ増強モジュールのニューラルネットワークは、動作するために以下の情報を必要とする。
【0051】
関連機能とパラメータ：
Ｘ：入力画像。
Ｃｏｎｖ２ｄ（Ｘ、ａ、ｂ、ｃ、ｄ、ｗ、ｂ）：Ｘで実行される。出力チャネル数はａである（ａｍｏｕｎｔ ｏｆ ｏｕｔｐｕｔ ｃｈａｎｎｅｌ＝ａ）。コアサイズはｂである（ｋｅｒｎｅｌ＿ｓｉｚｅ＝ｂ）。ストライド値はｃである（ｓｔｒｉｄｅ＝ｃ）。パディングサイズは２ｄ畳み込みであり、そのバイアスはｄである（ｐａｄｄｉｎｇ ｓｉｚｅ＝２ｄ ｃｏｎｖｏｌｕｔｉｏｎ ｗｉｔｈ ｂｉａｓ ｏｆ ｄ）。該訓練の重み付けパラメータは、コアｗ（ｋｅｒｎｅｌ ｗ）とバイアスｂ（ｂｉａｓ ｂ）である。
Ｃｏｎｖ２ｄＴｒａｎｓｐｏｓｅ（Ｘ、ａ、ｂ、ｃ、ｗ、ｂ））：Ｘで実行される。出力チャネル数はａである（ａｍｏｕｎｔ ｏｆ ｏｕｔｐｕｔ ｃｈａｎｎｅｌ＝ａ）。コアサイズはｂである（ｋｅｒｎｅｌ_ｓｉｚｅ＝ｂ）。ストライド値はｃである（ｓｔｒｉｄｅ＝ｃ）。クロップサイズは２ｄ転置畳み込みで、そのバイアスはｄである（ｃｒｏｐｐｉｎｇ ｓｉｚｅ＝ ２ｄ ｔｒａｎｓｐｏｓｅ ｃｏｎｖｏｌｕｔｉｏｎ ｗｉｔｈ ｂｉａｓ ｏｆ ｄ）。訓練の重み付けパラメータは、コアｗ（ｋｅｒｎｅｌ ｗ）とバイアスｂ（ｂｉａｓ ｂ）である。
σ（Ｘ）：Ｘに作用する非線形活性化関数。
ｕｉｎｔ８（ｘ）：浮動小数点ｘの値を０から２５５（２５５を含む）の間で制御及び制限することに用いられ、ｕは無条件丸めメソッドを使用し、ｕｎｓｉｇｎｅｄ ｉｎｔ８に変換する。
Ｒ（Ｘ、ｗ）：多くのｃｏｎｖ２ｄ及びｂａｔｃｈｎｏｒｍを含むＸで動作する残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）であり、それぞれが訓練のための独自の重み付けパラメータを含む（詳細については、次のＷｅｂサイトを参考とすることができる。ｈｔｔｐｓ：／／ｓｔａｔｓ．ｓｔａｃｋｅｘｃｈａｎｇｅ．ｃｏｍ／ｑｕｅｓｔｉｏｎｓ／ ２４６９２８／ｗｈａｔ－ｅｘａｃｔｌｙ－ｉｓ－ａ－ｒｅｓｉｄｕａｌ－ｌｅａｒｎｉｎｇ－ｂｌｏｃｋ－ｉｎ－ｔｈｅ－ｃｏｎｔｅｘｔ－ｏｆ－ｄｅｅｐ－ｒｅｓｉｄｕａｌ－ｎｅｔｗｏｒ）
Ｘ：入力画像。
Ｃｏｎｖ２ｄ（Ｘ、ａ、ｂ、ｃ、ｄ、ｗ、ｂ）：Ｘで実行される。出力チャネル数はａである（ａｍｏｕｎｔ ｏｆ ｏｕｔｐｕｔ ｃｈａｎｎｅｌ＝ａ）。コアサイズはｂである（ｋｅｒｎｅｌ＿ｓｉｚｅ＝ｂ）。ストライド値はｃである（ｓｔｒｉｄｅ＝ｃ）。パディングサイズは２ｄ畳み込みであり、そのバイアスはｄである（ｐａｄｄｉｎｇ ｓｉｚｅ＝２ｄ ｃｏｎｖｏｌｕｔｉｏｎ ｗｉｔｈ ｂｉａｓ ｏｆ ｄ）。該訓練の重み付けパラメータは、コアｗ（ｋｅｒｎｅｌ ｗ）とバイアスｂ（ｂｉａｓ ｂ）である。
Ｃｏｎｖ２ｄＴｒａｎｓｐｏｓｅ（Ｘ、ａ、ｂ、ｃ、ｗ、ｂ））：Ｘで実行される。出力チャネル数はａである（ａｍｏｕｎｔ ｏｆ ｏｕｔｐｕｔ ｃｈａｎｎｅｌ＝ａ）。コアサイズはｂである（ｋｅｒｎｅｌ_ｓｉｚｅ＝ｂ）。ストライド値はｃである（ｓｔｒｉｄｅ＝ｃ）。クロップサイズは２ｄ転置畳み込みで、そのバイアスはｄである（ｃｒｏｐｐｉｎｇ ｓｉｚｅ＝ ２ｄ ｔｒａｎｓｐｏｓｅ ｃｏｎｖｏｌｕｔｉｏｎ ｗｉｔｈ ｂｉａｓ ｏｆ ｄ）。訓練の重み付けパラメータは、コアｗ（ｋｅｒｎｅｌ ｗ）とバイアスｂ（ｂｉａｓ ｂ）である。
σ（Ｘ）：Ｘに作用する非線形活性化関数。
ｕｉｎｔ８（ｘ）：浮動小数点ｘの値を０から２５５（２５５を含む）の間で制御及び制限することに用いられ、ｕは無条件丸めメソッドを使用し、ｕｎｓｉｇｎｅｄ ｉｎｔ８に変換する。
Ｒ（Ｘ、ｗ）：多くのｃｏｎｖ２ｄ及びｂａｔｃｈｎｏｒｍを含むＸで動作する残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）であり、それぞれが訓練のための独自の重み付けパラメータを含む（詳細については、次のＷｅｂサイトを参考とすることができる。ｈｔｔｐｓ：／／ｓｔａｔｓ．ｓｔａｃｋｅｘｃｈａｎｇｅ．ｃｏｍ／ｑｕｅｓｔｉｏｎｓ／ ２４６９２８／ｗｈａｔ－ｅｘａｃｔｌｙ－ｉｓ－ａ－ｒｅｓｉｄｕａｌ－ｌｅａｒｎｉｎｇ－ｂｌｏｃｋ－ｉｎ－ｔｈｅ－ｃｏｎｔｅｘｔ－ｏｆ－ｄｅｅｐ－ｒｅｓｉｄｕａｌ－ｎｅｔｗｏｒ）
【0052】
入力画像及び出力画像は、ＲＧＢ、ＹＵＶ４２０、ＹＵＶ４４４などのような異なる色フォーマットを有することができるので、以下に異なる色フォーマットを有する入力画像及び出力画像について検討する。
【0053】
第１の状況：原画像はＲＧＢ、出力画像もＲＧＢである。
【0054】
入力画像と出力画像の両方がＲＧＢ画像であるため、この状況は最も単純である。処理速度を向上させるために、比較的大きなコアサイズ（例えば、８×８、ストライド値ｓｔｒｉｄｅ＝４で構造中に畳み込み及び転置畳み込みされる）を使用してできるだけ早く計算を加速し、フルＨＤ画像の高解像度に対応する。この場合、残差ネットワーク（Ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋ）を用いて収束をより容易により安定させる。
【0055】
関連機能とパラメータ：
Ｘ：ＲＧＢフォーマットの入力画像。各色はｕｎｓｉｇｎｅｄ ｉｎｔ８フォーマットである。
Ｘ：ＲＧＢフォーマットの入力画像。各色はｕｎｓｉｇｎｅｄ ｉｎｔ８フォーマットである。
【0056】
【0057】
Ｙ＝ｕｉｎｔ８（（Ｃｏｎｖ２ｄＴｒａｎｓｐｏｓｅ（σ（Ｃｏｎｖ２ｄ（Ｘ２、ａ、ｂ、ｃ、ｄ、ｗ＿１、ｂ＿１））、ｗ＿２、ｂ＿２）＋Ｘ２）×１２８＋１２８）。
【0058】
Ｗ_１は、サイズがｂ*ｂ*３*ａの行列であり、ｂ_１は、サイズがａのベクトルである。
Ｗ_２は、サイズがｂ*ｂ*３*ａの行列であり、ｂ_２は、サイズが３のベクトルである。
Ｗ_２は、サイズがｂ*ｂ*３*ａの行列であり、ｂ_２は、サイズが３のベクトルである。
【0059】
使用されるパラメータは、以下を含む：
Ｘの解像度は１２８０×７２０である。
ａ＝１２８，ｂ＝１０，ｃ＝５，ｄ＝０，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２。
ａ＝１２８，ｂ＝９，ｃ＝５，ｄ＝４，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２。
ａ＝１２８，ｂ＝８，ｃ＝４，ｄ＝０，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２。
Ｘの解像度は１２８０×７２０である。
ａ＝１２８，ｂ＝１０，ｃ＝５，ｄ＝０，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２。
ａ＝１２８，ｂ＝９，ｃ＝５，ｄ＝４，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２。
ａ＝１２８，ｂ＝８，ｃ＝４，ｄ＝０，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２。
【0060】
前記クライアント端末装置の処理速度が速い場合は、次の数学演算式を使用できる。
【0061】
Ｙ＝ｕｉｎｔ８（（Ｃｏｎｖ２ｄＴｒａｎｓｐｏｓｅ（Ｒ（σ（Ｃｏｎｖ２ｄ（Ｘ２， ａ，ｂ，ｃ，ｄ，ｗ＿１，ｂ＿１）），ｗ＿Ｒ），ｗ＿２，ｂ＿２）＋Ｘ２）＊１２８＋１２８）
【0062】
Ｗ_１はサイズがｂ*ｂ*３*ａの行列で、ｂ_１はサイズがａのベクトルである。
Ｗ_２はサイズがｂ*ｂ*３*ａの行列で、ｂ_２はサイズが３のベクトルである。
ここで、Ｒはｎ層を有する残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋｓ）である。
そのうちに、多くのニューラルネットワーク層を含み、各層が訓練された重み付けパラメータを有し、これをまとめてｗ_Ｒと称する。
Ｗ_２はサイズがｂ*ｂ*３*ａの行列で、ｂ_２はサイズが３のベクトルである。
ここで、Ｒはｎ層を有する残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋｓ）である。
そのうちに、多くのニューラルネットワーク層を含み、各層が訓練された重み付けパラメータを有し、これをまとめてｗ_Ｒと称する。
【0063】
使用されるパラメータは、以下を含む。
ａ＝１２８，ｂ＝８，ｃ＝４，ｄ＝０，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２；ｎ＝２。
ａ＝１２８，ｂ＝８，ｃ＝４，ｄ＝０，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２；ｎ＝６。
ａ＝１２８，ｂ＝８，ｃ＝４，ｄ＝０，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２；ｎ＝２。
ａ＝１２８，ｂ＝８，ｃ＝４，ｄ＝０，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２；ｎ＝６。
【0064】
第２の状況：原画像は、ＹＵＶ４２０、出力画像は、ＲＧＢ又はＹＵＶ４４４である。
【0065】
原画像入力がＹＵＶ４２０で、出力画像がＲＧＢ又はＹＵＶ４４４の場合、入力画像と出力画像の解像度とフォーマットが異なるため、残差ネットワーク（Ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋ）をこの状況に直接適用することはできない。本発明の方法は、最初にＹＵＶ４２０の入力画像を復号し、次に別のニューラルネットワーク（Ａネットワークと称され、Ｎ＝３である）を使用し、復号画像を処理し、ＲＧＢ又はＹＵＶ４４４フォーマットの画像（Ｘ２と称される）を取得する。次に、Ｘ２画像は、第１の状況に記載されたニューラルネットワーク（残差ネットワーク）に送られ、訓練される。また、同じ訓練方法をＡネットワークにも適用して、Ｘ２と原画像との間の差を比較し、それによってＡネットワークを訓練する。
【0066】
Ｘ_ｙは、ＹＵＶ４２０フォーマットの入力画像のＹであり、そのフォーマットはｕｎｓｉｇｎｅｄ ｉｎｔ８である。
Ｘ_ｕｖはＹＵＶ４２０フォーマットの入力画像を持つＵＶで、そのフォーマットはｕｎｓｉｇｎｅｄ ｉｎｔ８である。
Ｘ_ｕｖはＹＵＶ４２０フォーマットの入力画像を持つＵＶで、そのフォーマットはｕｎｓｉｇｎｅｄ ｉｎｔ８である。
【0067】
【0068】
Ｘ２＝Ｃｏｎｖ２ｄ（Ｘ２＿ｙ，３，ｅ，１，ｗ＿ｙ，ｂ＿ｙ）＋Ｃｏｎｖ２ｄＴｒａｎｓｐｏｓｅ（Ｘ２＿ｕｖ，３，ｆ，２，ｗ＿ｕｖ，ｂ＿ｕｖ）
【0069】
Ｗ_ｙは、サイズがｅ*ｅ*１*３の行列で、ｂ_ｙは、サイズが３のベクトルである。
Ｗ_ｕｖは、サイズがｆ*ｆ*３*２の行列で、ｂ_ｕｖは、サイズが３のベクトルである。
Ｗ_ｕｖは、サイズがｆ*ｆ*３*２の行列で、ｂ_ｕｖは、サイズが３のベクトルである。
【0070】
上記はＡネットワーク（ニューラルネットワーク数Ａ）の第１実施例である。
最後に、該出力画像の出力に用いられる数学式と前述の第１の状況の入力画像と出力画像が何れもＲＧＢフォーマットである場合に用いられる数学式は同じである。
最後に、該出力画像の出力に用いられる数学式と前述の第１の状況の入力画像と出力画像が何れもＲＧＢフォーマットである場合に用いられる数学式は同じである。
【0071】
Ｙ＝ｕｉｎｔ８（（Ｃｏｎｖ２ｄＴｒａｎｓｐｏｓｅ（σ（Ｃｏｎｖ２ｄ（Ｘ２，ａ，ｂ，ｃ，ｄ，ｗ＿１，ｂ＿１）），ｗ＿２，ｂ＿２）×１２８＋１２８）
【0072】
Ｗ_１は、サイズがｂ*ｂ*３*ａの行列で、ｂ_１は、サイズがａのベクトルである。
Ｗ_２は、サイズがｂ*ｂ*３*ａの行列で、ｂ_２は、サイズが３のベクトルである。
Ｗ_２は、サイズがｂ*ｂ*３*ａの行列で、ｂ_２は、サイズが３のベクトルである。
【0073】
使用されるパラメータは、前述と同様に、入力画像と出力画像が両方ともＲＧＢフォーマットの場合に使用されるパラメータと同じである。
Ｘの解像度は１２８０×７２０である。
ａ＝１２８，ｂ＝８，ｃ＝４，ｄ＝０，ｅ＝１，ｆ＝２，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２；
ａ＝１２８，ｂ＝８，ｃ＝４，ｄ＝０，ｅ＝１，ｆ＝２，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２。
Ｘの解像度は１２８０×７２０である。
ａ＝１２８，ｂ＝８，ｃ＝４，ｄ＝０，ｅ＝１，ｆ＝２，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２；
ａ＝１２８，ｂ＝８，ｃ＝４，ｄ＝０，ｅ＝１，ｆ＝２，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２。
【0074】
図８を参照し、それは、本発明のニューラルネットワークの訓練過程の実施例が開示しており、ここで原画像は、ＹＵＶ４２０であり、出力画像は、ＲＧＢ又はＹＵＶ４２０である。該ニューラルネットワークの訓練過程は、以下のステップを含む。
【0075】
ステップ４４０：訓練モードで第１アプリケーションを実行して複数の訓練原画像を生成する。ここで、該訓練原画像はＲＧＢ又はＹＵＶ４４４フォーマットである。また、これら訓練原画像に対して解像度低減処理を行う（ステップ４４０１）。
【0076】
ステップ４４１：解像度を低減した後の該訓練原画像を該エンコーダによって複数の訓練符号化画像に符号化する。
【0077】
ステップ４４２：サーバ内の訓練デコーダを使用することによって該訓練符号化画像を複数の訓練復号画像に復号する；ここで、訓練復号画像はＹＵＶ４２０フォーマットである。
【0078】
ステップ４４３：該人工ニューラルネットワークモジュールは、第１ニューラルネットワーク及び第２ニューラルネットワークを含む。該第１ニューラルネットワーク（Ａネットワークとも称される）は、該訓練復号画像を受け取り、少なくとも１つの訓練数学演算式を使用して該訓練復号画像（ＹＵＶ４２０）を１つずつ処理し、複数の第１出力画像Ｘ２（Ｘ２とも称される。ステップ４４４）において、それは該訓練原画像と同じ符号フォーマットを有する。該少なくとも１つの訓練数学演算式は、複数の訓練重み付けパラメータを含む。
【0079】
ステップ４４５：第２ニューラルネットワークは、畳み込みニューラルネットワークネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）である。第２ニューラルネットワーク（ＣＮＮ）は、第１出力画像Ｘ２を受け取り、該少なくとも１つの訓練用数学演算式を使用して該第１出力画像Ｘ２を１つずつ処理し、複数の第２出力画像を生成する。該少なくとも１つの訓練数学演算式は、複数の訓練重み付けパラメータを含む。次に、該第１出力画像Ｘ２と該第２出力画像の両者が加算され（ステップ４４６）、訓練出力画像が生成される（ステップ４４７）。
【0080】
該比較訓練モジュールは、第１比較器と第２比較器を備える。ステップ４４８において、該第１比較器は、第１出力画像Ｘ２とその対応する訓練原画像との間の差を比較し、該第１ニューラルネットワークを訓練する。ステップ４４９において、第２比較器は、訓練出力画像とその対応する訓練原画像との間の差を比較し、第２ニューラルネットワークを訓練する。
【0081】
図９は、本発明によるＹＵＶ４２０フォーマットを有する復号画像を処理するためのプロセスの実施例の説明図である。本発明のＹＵＶ４２０フォーマットで復号画像を処理するためのプロセスは以下を含む。
【0082】
ステップ４５１：該第１ニューラルネットワークがＹＵＶ４２０カラーフォーマットの訓練復号画像を受信し処理するステップは、以下のステップを含む。
【0083】
ステップ４５２：該訓練復号画像のＹ部分データを抽出し、該訓練復号画像のＹ部分データを標準サイズ（元のサイズ）のニューラルネットワークで処理し、ＮチャネルのＹ部分出力データを生成する（例えば、ストライド値Ｓｔｒｉｄｅ＝１の畳み込み；ステップ４５４）。
【0084】
ステップ４５３：訓練復号画像中のＵＶ部分データを抽出し、そして該訓練復号画像のＵＶ部分データを二倍拡大ニューラルネットワークによって処理して、Ｎチャネルを有するＵＶ部分出力データを生成する（例えば、ストライド値Ｓｔｒｉｄｅ＝２の転置畳み込み；ステップ４５５）。
【0085】
ステップ４５６：該Ｙ部分出力データを該ＵＶ部分出力データに加算して該訓練出力画像を生成する（ステップ４５７）。
【0086】
第３の状況：原画像は、ＹＵＶ４２０であり、出力画像は、ＹＵＶ４４４であり、別のより速い方法で処理される。
【0087】
入力画像がＹＵＶ４２０であり、出力画像がＹＵＶ４４４である場合、前述の方法に加えて該第１ニューラルネットワーク（Ａネットワーク）を実施する別の方法があり、これはより速い速度を伴う特例である。ＹＵＶ４２０フォーマットの復号画像は、まず第１ニューラルネットワーク（Ａネットワーク）によってＹＵＶ４４４フォーマット画像（Ｘ２とも称される）に変換される。その後、Ｘ２が前述のニューラルネットワーク（残差ネットワーク）に送られ、訓練される。さらに、同じ訓練方法がＡネットワークにおいても実施され、Ｘ２と原画像との間の差を比較し、Ａネットワークを訓練する。
【0088】
Ｘ_ｙは、ＹＵＶ４２０フォーマットの入力画像のＹであり、そのフォーマットは、ｕｎｓｉｇｎｅｄ ｉｎｔ８である。
Ｘ_ｕｖは、ＹＵＶ４２０フォーマットの入力画像のＵＶであり、そのフォーマットは、ｕｎｓｉｇｎｅｄ ｉｎｔ８である。
Ｘ_ｕｖは、ＹＵＶ４２０フォーマットの入力画像のＵＶであり、そのフォーマットは、ｕｎｓｉｇｎｅｄ ｉｎｔ８である。
【0089】
【0090】
Ｘ３＿ｕｖ＝Ｃｏｎｖ２ｄＴｒａｎｓｐｏｓｅ（Ｘ２＿ｕｖ，２，２，２，ｗ＿ｕｖ，ｂ＿ｕｖ）
【0091】
Ｗ_ｕｖは、サイズが２*２*２*２の行列で、ｂ_ｕｖは、サイズが２のベクトルである。
Ｘ２＝ｃａｎｃａｔ（Ｘ２＿ｙ、Ｘ３＿ｕｖ）
Ｘ２＝ｃａｎｃａｔ（Ｘ２＿ｙ、Ｘ３＿ｕｖ）
【0092】
上記は、Ａネットワーク（ニューラルネットワークＡ）のもう１つの実施例であり、ここでは、"ｃｏｎｃａｔ"関数は、チャネルの方向に従って該入力を接続する。
【0093】
最後に、該出力画像の出力に使用される数学式と前述の第１の場合の入力画像と出力画像が何れもＲＧＢフォーマットの場合に使用される数学式と同じである。
【0094】
Ｙ＝ｕｉｎｔ８（（Ｃｏｎｖ２ｄＴｒａｎｓｐｏｓｅ（σ（Ｃｏｎｖ２ｄ（Ｘ２、ａ、ｂ、ｃ、ｄ、ｗ＿１、ｂ＿１））、ｗ＿２、ｂ＿２）×１２８）１２８）。
【0095】
Ｗ_１は、サイズがｂ*ｂ*３*ａの行列で、ｂ_１は、サイズがａのベクトルである。
Ｗ_２は、サイズがｂ*ｂ*３*ａの行列で、ｂ_２は、サイズが３のベクトルである。
Ｗ_２は、サイズがｂ*ｂ*３*ａの行列で、ｂ_２は、サイズが３のベクトルである。
【0096】
使用されるパラメータは、入力画像と出力画像が両方ともＲＧＢフォーマットの場合に使用されるパラメータと同じである。
Ｘの解像度は１２８０×７２０である。
ａ＝１２８，ｂ＝１０，ｃ＝５，ｄ＝０，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２；
ａ＝１２８，ｂ＝９，ｃ＝５，ｄ＝４，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２；
ａ＝１２８，ｂ＝８，ｃ＝４，ｄ＝０，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２。
Ｘの解像度は１２８０×７２０である。
ａ＝１２８，ｂ＝１０，ｃ＝５，ｄ＝０，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２；
ａ＝１２８，ｂ＝９，ｃ＝５，ｄ＝４，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２；
ａ＝１２８，ｂ＝８，ｃ＝４，ｄ＝０，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２。
【0097】
図１０は、本発明のＹＵＶ４２０フォーマットの復号画像を処理するプロセスのもう１つの実施例の説明図である。図１０に示すように、本発明のＹＵＶ４２０フォーマットの復号画像を処理するためのプロセスは以下を含む。
【0098】
ステップ４６１：該第１ニューラルネットワークは、以下のステップにより、ＹＵＶ４２０カラーフォーマットの訓練復号画像を受け取り、処理する。ここで、該訓練復号画像は、Ｎチャネルを含み、Ｎは、２より大きい正の整数である。
【0099】
ステップ４６２：該訓練復号画像内のＹ部分データを抽出してＹ部分出力データを生成する。
【0100】
ステップ４６３：該訓練復号画像内のＵＶ部分データを抽出し、訓練復号画像のＵＶ部分データを処理してＮ－１チャネルのＵＶ部分出力データを生成する（例えば、ストライド値Ｓｔｒｉｄｅ＝２の転置畳み込み；ステップ４６４）。
【0101】
ステップ４６５：マージ関数Ｃｏｎｃａｔ（ｃｏｎｃａｔｅｎａｔｅｓ）によって該Ｙ部分データ及び該ＵＶ部分データを処理し、該訓練出力画像が生成する（ステップ４６６）。
【0102】
第４の状況：原画像は、ＹＵＶ４２０、出力画像は、ＹＵＶ４２０である。
【0103】
入力画像がＹＵＶ４２０であり、出力画像もＹＵＶ４２０である場合、処理は上述のＲＧＢからＲＧＢへの方法と同様になる。ただし、入力フォーマットと出力フォーマットが異なるため、チャネルごとに異なる畳み込み方法が適用される。例えば、ニューラルネットワークのコアサイズが８×８でストライド値ｓｔｒｉｄｅが４であり、画像のＹ部分を処理する場合、該ニューラルネットワークをコアサイズ４ｘ４及びストライド値ｓｔｒｉｄｅを２に変更して画像のＵＶ部分を処理することができる。
【0104】
Ｘ_ｙは、ＹＵＶ４２０フォーマットの入力画像のＹであり、そのフォーマットはｕｎｓｉｇｎｅｄｉｎｔ８である。
Ｘ_ｕｖは、ＹＵＶ４２０フォーマットの入力画像のＵＶであり、そのフォーマットはｕｎｓｉｇｎｅｄ ｉｎｔ８である。
Ｘ_ｕｖは、ＹＵＶ４２０フォーマットの入力画像のＵＶであり、そのフォーマットはｕｎｓｉｇｎｅｄ ｉｎｔ８である。
【0105】
【0106】
Ｘ３＝σ（Ｃｏｎｖ２ｄ（Ｘ２＿ｙ，ａ，ｂ，ｃ，ｗ＿ｙ，ｂ＿ｙ）Ｃｏｎｖ２ｄ（Ｘ２＿ｕｖ，ａ，ｂ／２，ｃ／２，ｗ＿ｕｖ，ｂ＿ｕｖ））
【0107】
Ｗ_ｙは、サイズがｂ*ｂ*１*ａの行列で、ｂ_ｙはサイズがａのベクトルである。
Ｗ_ｕｖは、サイズが（ｂ／２）*（ｂ／２）*２*ａの行列で、ｂ_ｕｖはサイズがａのベクトルである。
Ｗ_ｕｖは、サイズが（ｂ／２）*（ｂ／２）*２*ａの行列で、ｂ_ｕｖはサイズがａのベクトルである。
【0108】
Ｘ４＿ｙ＝Ｃｏｎｖ２ｄＴｒａｎｓｐｏｓｅ（Ｘ３，１，ｂ，ｃ，ｗ＿１，ｂ＿１）Ｘ２＿ｙ；
Ｘ４＿ｕｖ＝Ｃｏｎｖ２ｄＴｒａｎｓｐｏｓｅ（Ｘ３，２，ｂ／２，ｃ／２，ｗ＿２，ｂ＿２）Ｘ２＿ｕｖ
Ｘ４＿ｕｖ＝Ｃｏｎｖ２ｄＴｒａｎｓｐｏｓｅ（Ｘ３，２，ｂ／２，ｃ／２，ｗ＿２，ｂ＿２）Ｘ２＿ｕｖ
【0109】
Ｗ_１はサイズがｂ*ｂ*１*ａの行列で、ｂ_１はサイズが１のベクトルである。
Ｗ_２はサイズが（ｂ／２）*（ｂ／２）*２*ａの行列で、ｂ_２はサイズが２のベクトルである。
上記は、Ａネットワーク（ニューラルネットワークＡ）のもう１つの実施例であり、ここでは、"ｃｏｎｃａｔ"関数はチャネルの方向に従って入力を接続する。
Ｗ_２はサイズが（ｂ／２）*（ｂ／２）*２*ａの行列で、ｂ_２はサイズが２のベクトルである。
上記は、Ａネットワーク（ニューラルネットワークＡ）のもう１つの実施例であり、ここでは、"ｃｏｎｃａｔ"関数はチャネルの方向に従って入力を接続する。
【0110】
最後の出力：
Ｙ＿ｙ＝ｕｉｎｔ８（Ｘ４＿ｙ＊１２８１２８）。
Ｙ＿ｕｖ＝ｕｉｎｔ８（Ｘ４＿ｕｖ＊１２８１２８）。
Ｙ＿ｙ＝ｕｉｎｔ８（Ｘ４＿ｙ＊１２８１２８）。
Ｙ＿ｕｖ＝ｕｉｎｔ８（Ｘ４＿ｕｖ＊１２８１２８）。
【0111】
使用するパラメータ：
ａ＝１２８，ｂ＝８，ｃ＝４，ｄ＝０，ｅ＝２，ｆ＝２，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２。
ａ＝１２８，ｂ＝８，ｃ＝４，ｄ＝０，ｅ＝２，ｆ＝２，σ＝ｌｅａｋｙ ｒｅｌｕ ｗｉｔｈ ａｌｐｈａ＝０．２。
【0112】
本発明で使用されるパラメータの詳細な説明は以下の通りである。
訓練パラメータ：
重み付けパラメータの初期値は、ガウス分布（Ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）に基づき、ｍｅａｎ＝０、ｓｔｄｄｅｖ＝０．０２である。
Ａｄａｍアルゴリズムが訓練プロセスで使用され、学習率は、学習率ｌｅａｒｎｉｎｇ ｒａｔｅ＝１ｅ－４，ｂｅｔａ１＝０．９である。
マイクロバッチサイズｍｉｎｉ ｂａｔｃｈ ｓｉｚｅ＝１である。
プライマリエラー関数（primary error function）は、次のとおりである。
１００×（Ｌ２×Ｌ２ｅ）λ×Ｌ１γ×Ｄα×Ｌｇ。
使用されるパラメータの標準値は次のとおりである。
λ＝０、γ＝０、α＝０。
λ＝０、γ＝０、α＝１００。
λ＝０、γ＝１、α＝０。
λ＝１０、γ＝０、α＝０。
λ＝１０、γ＝０、α＝１００。
λ＝１０、γ＝１、α＝０。
そのうち、
ここで、ｍｅａｎは、平均値であり、Ｔは訓練目標である。
ここで、ｍｅａｎは、平均値であり、Ｔは訓練目標である。
Ｄは、生成対抗ネットワーク損失（ＧＡＮ ｌｏｓｓ）であり、一般的なＧＡＮ訓練方法を使用して、弁別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）を訓練し、（Ｘ、Ｙ）及び（Ｘ、Ｔ）を識別する。
Ｌｇの数学式は、
ＷｘＨの画像の場合、
Ｙ＿ｄｘ（ｉ、ｊ）＝Ｙ（ｉ１、ｊ）－Ｙ（ｉ、ｊ）０≦ｉ＜Ｗ－１，０＜＝ｊ＜Ｈ
Ｔ＿ｄｘ（ｉ、ｊ）＝Ｔ（ｉ１、ｊ）－Ｔ（ｉ、ｊ）０≦ｉ＜Ｗ－１，０＜＝ｊ＜Ｈ
Ｙ＿ｄｙ（ｉ、ｊ）＝Ｙ（ｉ、ｊ１）－Ｙ（ｉ、ｊ）０≦ｉ＜Ｗ，０＜＝ｊ＜Ｈ－１
Ｔ＿ｄｙ（ｉ、ｊ）＝Ｔ（ｉ、ｊ１）－Ｔ（ｉ、ｊ）０≦ｉ＜Ｗ，０＜＝ｊ＜Ｈ－１
訓練パラメータ：
重み付けパラメータの初期値は、ガウス分布（Ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）に基づき、ｍｅａｎ＝０、ｓｔｄｄｅｖ＝０．０２である。
Ａｄａｍアルゴリズムが訓練プロセスで使用され、学習率は、学習率ｌｅａｒｎｉｎｇ ｒａｔｅ＝１ｅ－４，ｂｅｔａ１＝０．９である。
マイクロバッチサイズｍｉｎｉ ｂａｔｃｈ ｓｉｚｅ＝１である。
プライマリエラー関数（primary error function）は、次のとおりである。
１００×（Ｌ２×Ｌ２ｅ）λ×Ｌ１γ×Ｄα×Ｌｇ。
使用されるパラメータの標準値は次のとおりである。
λ＝０、γ＝０、α＝０。
λ＝０、γ＝０、α＝１００。
λ＝０、γ＝１、α＝０。
λ＝１０、γ＝０、α＝０。
λ＝１０、γ＝０、α＝１００。
λ＝１０、γ＝１、α＝０。
そのうち、
Ｄは、生成対抗ネットワーク損失（ＧＡＮ ｌｏｓｓ）であり、一般的なＧＡＮ訓練方法を使用して、弁別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）を訓練し、（Ｘ、Ｙ）及び（Ｘ、Ｔ）を識別する。
Ｌｇの数学式は、
ＷｘＨの画像の場合、
Ｙ＿ｄｘ（ｉ、ｊ）＝Ｙ（ｉ１、ｊ）－Ｙ（ｉ、ｊ）０≦ｉ＜Ｗ－１，０＜＝ｊ＜Ｈ
Ｔ＿ｄｘ（ｉ、ｊ）＝Ｔ（ｉ１、ｊ）－Ｔ（ｉ、ｊ）０≦ｉ＜Ｗ－１，０＜＝ｊ＜Ｈ
Ｙ＿ｄｙ（ｉ、ｊ）＝Ｙ（ｉ、ｊ１）－Ｙ（ｉ、ｊ）０≦ｉ＜Ｗ，０＜＝ｊ＜Ｈ－１
Ｔ＿ｄｙ（ｉ、ｊ）＝Ｔ（ｉ、ｊ１）－Ｔ（ｉ、ｊ）０≦ｉ＜Ｗ，０＜＝ｊ＜Ｈ－１
【0113】
【0114】
ＲＧＢモードでは、前記訓練ターゲットＴは、ＲＧＢゲーム画像のオリジナルの原画像である。
ＹＵＶ４４４モードでは、訓練ターゲットＴは。ＲＧＢゲーム画像のオリジナルの原画像である。
ＲＧＢ→ＲＧＢ、ＹＵＶ４２０→ＹＵＶ４２０モードでは、Ｌ２ｅ＝０である。
ＹＵＶ４２０→ＲＧＢ及びＹＵＶ４２０→ＹＵＶ４４４モードでは、以下である。
ＹＵＶ４４４モードでは、訓練ターゲットＴは。ＲＧＢゲーム画像のオリジナルの原画像である。
ＲＧＢ→ＲＧＢ、ＹＵＶ４２０→ＹＵＶ４２０モードでは、Ｌ２ｅ＝０である。
ＹＵＶ４２０→ＲＧＢ及びＹＵＶ４２０→ＹＵＶ４４４モードでは、以下である。
【0115】
【0116】
本発明は、従来の画像強化技術が、出力画像のコントラスト、平滑化、及びカラーフィルタリングを増加させるだけであり、本発明のように出力画像を原画像に視覚的に近似させることができないものとは異なる。本発明は、ニューラルネットワークアルゴリズムの単純化されたモデルを使用し、大きなコア及び大きなストライド値を使用することによって、ニューラルネットワークの分解能は急速に低下し、モデルの処理速度は大幅に向上することができる。計算能力が限られているクライアント端末装置でも、６０ｆｐｓとＨＤ解像度の出力画像の目標を達成することができる。本発明は、カラーフォーマット（ＹＵＶ４２０及びＲＧＢ）変換作業をニューラルネットワークに取り入れ、Ｙチャネルよりも低いＵＶチャネルの解像度を利用することで、ＵＶチャネルのストライド値をＹチャネルの半分に設定すると、ニューラルネットワークの計算速度を高めることができる。
【0117】
図１１Ａは、本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の第２実施形態の説明図であり、以下のステップを含む。
【0118】
ステップ７１１：サーバ７０１で第１アプリケーションを実行する。前記第１アプリケーションは、少なくとも１つのコマンドに従って、高解像度を有する複数の原画像を生成する。これらの原画像の解像度は、４Ｋ以上の解像度（以下、第２解像度とも称する）にすることができる。前記少なくとも１つのコマンドは、クライアント端末装置７０２によって生成され、ネットワークを介してサーバ７０１に送信される。
【0119】
ステップ７１２：サーバ７０１の従来のサンプリング方法を使用し、原画像の解像度を低減し、低解像度（例えば、１０８０ｉ、７２０ｐ以下、以下第１解像度とも称する）を有するソース画像を取得し、第１解像度は、第２解像度よりも低い。
【0120】
ステップ７１３：サーバ７０１のエンコーダを使用して、ソース画像を符号化及び圧縮し、対応する複数の符号化後画像を生成する。
【0121】
ステップ７１４：クライアント端末装置７０２からのコマンドに従って、サーバ７０１は、これら符号化後画像を、ネットワークを介して２Ｄ画像ストリーム（ステップ３０４）でクライアント端末装置７０２に送信する。クライアント端末装置に送信される前に画像の解像度が低減されているため、画像ストリームの送信に必要なネットワーク帯域幅も低減する。
【0122】
ステップ７１５：クライアント端末装置７０２は、これらの符号化後画像を受信し、それらを対応する複数の復号後画像に復号する。
【0123】
本発明では、クライアント端末装置７０２は、少なくとも１つの所定の数学演算式を含むＡＩ処理モジュールを含む。前記少なくとも１つの数学演算は、複数の重み付けされたパラメータを含む。前記複数の重み付けされたパラメータは、訓練サーバの人工ニューラルネットワークモジュールの訓練モードによって事前定義される。第２アプリケーションは、クライアント端末装置７０２上で実行され、これは、ユーザがクライアント端末装置７０２を操作してコマンドを生成するために第１アプリケーションに関連付けられ、それと協調する。クライアント端末装置７０２は、ネットワークを介してコマンドをサーバ７０１に送信し、サーバからのコマンドに従って生成された符号化画像を受信する。
【0124】
本実施形態では、前記少なくとも１つの数学演算式は、第１プリセットＡＩ演算式と第２プリセットＡＩ演算式を含む。前記第１プリセットＡＩ演算式は、複数の第１重み付けパラメータを含む。前記第２プリセットＡＩ演算式は、複数の第２重み付けパラメータを含む。前記第１プリセットＡＩ演算式は、複数の前記第１重み付けパラメータを組み合わせてイメージの解像度を向上させることに用いることができ、これにより、前記第１プリセットＡＩ演算式に複数の前記第１重み付けパラメータを組み合わせて処理した画像の解像度は、前記第１解像度から前記第２解像度へ向上することができる。前記第２プリセットＡＩ演算式は、複数の前記第２重み付けパラメータと組み合わせて画像の品質を向上させることができ、これにより、前記第２プリセットＡＩ演算式に複数の前記第２重み付けパラメータを組み合わせて処理した画像の品質は、前記復号後画像の品質よりも高く、且つ原画像の品質により近くなる。
【0125】
ステップ７１６：前記クライアント端末装置７０２が受信した複数の前記符号化後画像を対応する複数の復号後画像に復号した後、前記クライアント端末装置は先に前記第１プリセットＡＩ演算式及び複数の第１重み付けパラメータを使用し、複数の前記復号後画像を処理し、対応する第２解像度を有する複数の解像度向上画像を生成する。次に、ステップ７１７において、前記クライアント端末装置７０２は、前記第２プリセットＡＩ演算式及び複数の前記第２重み付けパラメータを使用し、複数の前記解像度向上画像を処理し、高画質を有し、前記第２解像度を有する複数の高解像度画像を生成する。その後、ステップ７１８のように、クライアント端末装置７０２は、これらの高解像度画像を出力画像とし、スクリーン（ディスプレイ）に出力する。
【0126】
前記第１プリセットＡＩ演算式の第１重み付けパラメータは、低解像度を有するソース画像と対応する原画像の違いを分析することによって事前に定義され、前記解像度向上画像を視覚的に原画像により近づけていてソース画像ではない。また、前記第２プリセットＡＩ演算式の第２重み付けパラメータは、前記復号後画像と対応する原画像の違いを分析することによって事前定義され、前記高解像度画像を視覚上原画像により近づけていて復号後画像ではない。
【0127】
図１１Ｂは、本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の第３実施形態の説明図である。図１１Ｂに示される大部分のステップは、図１１Ａに示されるものと同じであるため、同じまたは類似のステップには同じ番号を付け、詳細を繰り返し説明しない。図１１Ｂに示す実施形態では、サーバ７０１で実行される第１アプリケーションが第１解像度を有する複数のソース画像を生成し（ステップ７１９）、即ち、サーバ７０１は、低解像度のソース画像を直接生成するため、別途、解像度を低減するプロセスを実行する必要がない。その後、これらのソース画像は、図１１Ａで説明されているステップ７１３～７１８に従って処理される。サーバ７０１は、低解像度のソース画像を直接生成するため、消費を要する演算リソースは、高解像度の原画像を生成するよりも少なくなる。従って、図１１Ａに示されるような実施形態のネットワーク帯域幅節約の利点に加えて、図１１Ｂに示される実施形態は、更に、サーバの演算リソースを節約するという利点を有する。
【0128】
図１２Ａは、本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の第４実施形態の説明図である。図１２Ａに示される大部分のステップは、図１１Ａ及び図１１Ｂに示されるものと同じであるため、同じまたは類似のステップには同じ番号を付け、詳細を繰り返し説明しない。図１２Ａに示す実施形態では、サーバ７０１で実行されている第１アプリケーションが、第２解像度の複数の原画像を生成する（ステップ７１１）。これらの原画像は、解像度低減処理され、相対して第１解像度を有する複数のソース画像（ステップ７１２）になる。その後、これらのソース画像は、符号化後画像に符号化され（ステップ７１３）、クライアント端末装置７０２に送信される（ステップ７１４）。クライアント端末装置７０２は、受信された符号化画像を復号化画像（ステップ７１５）に復号化する。次に、図１２Ａに示される実施形態ステップ７１７において、前記クライアント端末装置７０２は、先ず、第２プリセットＡＩ演算式及び複数の前記第２重み付けパラメータを使用し、複数の前記復号後画像を処理して、高画質であるが解像度は依然として第１解像度である複数の品質向上画像を生成する。次に、前記クライアント端末装置７０２は、前記第１プリセットＡＩ演算式及び複数の前記第１重み付けパラメータを使用し、複数の前記品質向上画像を処理して、前記第２解像度を有し、高画質画像を有する複数の高解像度画像を生成する。その後、ステップ７１８などのように、クライアント端末装置７０２は、これらの高解像度画像を出力画像とし、スクリーンに出力する。
【0129】
図１２Ｂは、本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の第５実施形態の説明図である。図１２Ｂに示される大部分のステップは、図１２Ａ及び図１１Ｂに示されるものと同じであるため、同じまたは類似のステップには同じ番号を付け、詳細を繰り返し説明しない。図１２Ｂに示す実施形態では、サーバ７０１で実行されている第１アプリケーションが第１解像度の複数のソース画像（ステップ７１９）を生成する。即ち、サーバ７０１は低解像度のソース画像を直接生成するため、解像度低減プロセスを別途実行する必要がない。その後、これらのソース画像は、図１２Ａで説明されているステップ７１３～７１８に従って処理される。
【0130】
図１３は、本発明のＡＩ処理モジュールの第１の所定のＡＩ演算式及び第１重み付けパラメータの訓練方法の一実施形態の説明図である。本発明では、クライアント端末装置７０２のＡＩ処理モジュールの第１プリセットＡＩ演算式と複数の第１重み付けパラメータが、前記訓練サーバで人工ニューラルネットワーク訓練プロセスを実行することにより事前定義される。訓練が完了した後、第１プリセットＡＩ演算式と複数の第１重み付けパラメータがクライアント端末装置７０２のＡＩ処理モジュールに適用され、図１１Ａ、図１１Ｂ、図１２Ａ、及び図１２Ｂに示すステップ７１６に記載されるＡＩ解像度向上ステップを行う。訓練サーバでは、第１プリセットＡＩ演算式と複数の第１重み付けパラメータを訓練するステップは、以下を含む。
【0131】
ステップ７１６１：前記訓練サーバでは、訓練モードをアクティブ化し、複数の訓練原画像を生成する（ステップ７１６２）。複数の訓練原画像は、前記第２解像度を有する（高解像度）。
【0132】
ステップ７１６３：解像度低減プロセスを実行し、複数の前記訓練原画像の解像度を前記第２解像度から前記第１解像度に低減させ、第１解像度を有する複数の訓練低解像度画像を生成する（ステップ７１６４）。
【0133】
ステップ７１６５：前記人工ニューラルネットワークモジュールは、第１訓練演算式を受信して使用し、複数の前記訓練低解像度画像を１つずつ処理し、対応する前記第２解像度を有する複数の前記訓練出力画像を生成する（ステップ７１６６）。前記第１訓練演算式は、複数の第１訓練重み付けパラメータを有する。
【0134】
ステップ７１６７：比較モジュールを使用し、複数の前記訓練出力画像と対応する複数の前記訓練原画像の違いを１つずつ比較し、それに応じて前記第１訓練演算式の前記複数の第１訓練重み付けパラメータを調整する。前記第１訓練重み付けパラメータは、前記訓練出力画像と対応する前記訓練原画像の違いを最小化するように調整される。前記第１訓練重み付けパラメータが調整されるたびに、調整後の前記複数の第１訓練重み付けパラメータは、次の前記訓練低解像度画像を処理するために前記第１訓練演算式にフィードバックされる。所定数の前記訓練出力画像を対応する訓練原画像と比較し、所定回数の複数の前記第１訓練重み付けパラメータの調整プロセスを実行した後、最終的に得られた前記複数の第１訓練重み付けパラメータがクライアント端末装置７０２のＡＩ処理モジュールに適用され、少なくとも１つの前記数学演算式の複数の前記重み付けパラメータとされ、図１１Ａ、図１１Ｂ、図１２Ａ、及び図１２Ｂに示されるステップ７１６に記載されるＡＩ解像度向上ステップを実行する。
【0135】
本実施形態では、クライアント端末装置７０２のＡＩ処理モジュールの第２プリセットＡＩ演算式と第２重み付けパラメータ訓練方法は、図４、図５、または図６に示す前述の人工ニューラルネットワークモジュール１０５の訓練方法と同じである。訓練が完了した後、取得した前記複数の第２訓練重み付けパラメータは、クライアント端末装置７０２のＡＩ処理モジュールに適用され、少なくとも１つの前記数学演算式の複数の前記重み付けパラメータとして、図１１Ａ、図１１Ｂ、図１２Ａ及び図１２Ｂに示されるステップ７１７に記載される画像品質をＡＩ強化するステップを実行する。
【0136】
図１４Ａは、本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の第６実施形態の説明図である。図１４Ａに示される大部分のステップは、図１１Ａに示されるものと同じであるため、同じまたは類似のステップには同じ番号を付け、詳細は繰り返し説明しない。図１４Ａに示す実施形態では、サーバ７０１で実行されている第１アプリケーションが、第２解像度を有する複数の原画像を生成する（ステップ７１１）。これらの原画像は、解像度を低減することによって処理され、対応する第１解像度を有する複数のソース画像になる（ステップ７１２）。その後、これらのソース画像は、符号化後画像に符号化され（ステップ７１３）、クライアント端末装置７０２に送信される（ステップ７１４）。クライアント端末装置７０２は、受信した符号化画像を復号化画像に復号化する（ステップ７１５）。本実施形態では、前記第１プリセットＡＩ演算式、前記第２プリセットＡＩ演算式、複数の前記第１重み付けパラメータ、及び複数の前記第２重み付けパラメータがすべて、前記クライアント端末装置７０２の同じ前記ＡＩ処理モジュールに含められ、複数の前記復号後画像を直接処理し、高画質を有し且つ前記第２解像度を有する複数の前記高解像度画像になる。従って、ステップ７２０では、クライアント端末装置７０２のＡＩ処理モジュールは、前記第１プリセットＡＩ演算式、第２プリセットＡＩ演算式、複数の第１重み付けパラメータ、及び複数の第２重み付けパラメータを受信して使用することで、復号後画像を処理し、対応する第２解像度を有する複数の前記高解像度画像を生成する。その後、ステップ７１８のように、クライアント端末装置７０２は、これらの高解像度画像を出力画像とし、スクリーンに出力する。
【0137】
図１４Ｂは、本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の第７実施形態の説明図である。図１４Ｂに示される大部分のステップは、図１４Ａ及び図１１Ｂに示されるものと同じであるため、同じまたは類似のステップには同じ番号を付け、詳細を繰り返し説明しない。図１４Ｂに示す実施形態では、サーバ７０１で実行されている第１アプリケーションが第１解像度の複数のソース画像を生成し（ステップ７１９）、即ち、サーバ７０１は、低解像度のソース画像を直接生成するため、解像度低減プロセスを別途実行する必要はない。その後、これらのソース画像は、図１４Ａで説明されているステップ７１３、７１４、７１５、７２０、及び７１８に従って処理される。
【0138】
図１５は、本発明のＡＩ処理モジュールの第１の所定のＡＩ演算式、第２の所定のＡＩ演算式、第１重み付けパラメータ及び第２重み付けパラメータの訓練方法の一実施形態の説明図である。本発明では、クライアント端末装置７０２のＡＩ処理モジュール中の第１プリセットＡＩ演算式、第２プリセットＡＩ演算式、第１重み付けパラメータ及び第２重み付けパラメータが、前記訓練サーバでニューラルネットワークの訓練プロセスを実行することによって事前定義されている。訓練が完了した後、第１プリセットＡＩ演算式、第２プリセットＡＩ演算式、第１重み付けパラメータ及び第２重み付けパラメータがクライアント端末装置７０２のＡＩ処理モジュールに適用され、図１４Ａ及び図１４Ｂに示されているステップ７２０に記載のＡＩ解像度向上＋強化のステップを実行する。訓練サーバでは、訓練第１プリセットＡＩ演算式、第２プリセットＡＩ演算式、第１重み付けパラメータ及び第２重み付けパラメータのステップは、以下を含む。
【0139】
ステップ７２０１：前記訓練サーバで訓練モードをアクティブ化し、複数の訓練原画像を生成する（ステップ７２０２）。複数の訓練原画像は第２解像度（高解像度）を有する。
【0140】
ステップ７２０３：解像度低減プロセスを実行し、複数の訓練原画像の解像度を第２解像度から第１解像度に低減させ、前記第１解像度の複数の訓練低解像度画像を生成する（ステップ７２０４）。
【0141】
ステップ７２０５：符号化プロセスを実行し、訓練サーバ内のエンコーダによって、複数の前記訓練低解像度画像を対応する複数の訓練符号化後画像に符号化する。
【0142】
ステップ７２０６：符号プロセスを実行し、訓練サーバ内のデコーダによって、複数の前記訓練符号化後画像を対応する複数の訓練復号画像に復号する。複数の前記訓練復号画像は、前記第１解像度を有する。
【0143】
ステップ７２０７：前記人工ニューラルネットワークモジュールは、第１訓練演算式と第２訓練演算式を受信して使用し、複数の前記訓練復号画像を１つずつ処理して、対応する第２解像度を有する複数の訓練出力画像を生成する（ステップ７２０８）。第１訓練演算式は、複数の第１訓練重み付けパラメータを有する。前記第２訓練演算式は、複数の第２訓練重み付けパラメータを有する。
【0144】
ステップ７２０９：比較モジュールを使用し、複数の訓練出力画像と対応する複数の元の訓練画像の違いを１つずつ比較し、それに応じて前記第１訓練演算式の前記複数の第１訓練重み付けパラメータと前記第２訓練演算式の前記複数の第２訓練重み付けパラメータを調整する。前記複数の第１訓練重み付けパラメータと前記複数の第２訓練重み付けパラメータは、前記訓練出力画像と対応する原訓練画像との差を最小化するように調整されることができる。各前記複数の第１訓練重み付けパラメータと前記複数の第２訓練重み付けパラメータが調整されるたびに、調整された前記複数の第１訓練重み付けパラメータと前記複数の第２訓練重み付けパラメータが第１訓練演算式と第２訓練演算式にフィードバックされ、次の前記訓練低解像度画像を処理させる。所定数の前記訓練出力画像と対応する前記訓練原画像との比較を行い、所定回数の第１訓練重み付けパラメータ及び第２訓練重み付けパラメータの調整プロセスを実行した後、最終的に得られた前記複数の第１訓練重み付けパラメータ及び前記複数の第２訓練重み付けパラメータは、前記クライアント端末装置の前記ＡＩ処理モジュールに適用され、少なくとも１つの前記数学演算式に含まれる前記第１訓練演算式及び前記第２訓練演算式の重み付けパラメータとして、図１４Ａ及び図１４Ｂのステップ７２０に記載されるＡＩ解像度向上＋画質強化のステップを実行させる。
【0145】
本発明の好適実施形態では、クライアント端末装置７０２のＡＩ処理モジュールは、単一組のＡＩ演算式と複数の重み付けされたパラメータのみを含み、図１５に示すように、ステップ７２０１から７２０９によって訓練されるため、図１４Ａ及び図１４Ｂのステップ７２０に記載の「ＡＩ解像度向上＋画質強化」というマージ機能を提供することもできる。
【0146】
図１６は、本発明の人工知能処理モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減する方法の第８実施形態の説明図である。図１６に示される大部分のステップは、図１４Ａ及び図１４Ｂに示されるものと同じであるため、同じまたは類似のステップには同じ番号を付け、詳細を繰り返し説明しない。図１６に示す実施形態では、サーバ７０１は、ＡＩ符号化モジュールを更に含む。サーバ７０１で実行されている第１アプリケーションは、コマンドに従って第２解像度の複数の原画像を生成する（ステップ７２１）。次に、ステップ７２２では、サーバ７０１は前記ＡＩ符号化モジュールを使用し、複数の原画像の解像度を低減し、対応する複数の前記ソース画像を取得し、複数の前記ソース画像を符号化して対応する複数の前記符号化後画像を取得する。前記ＡＩ符号化モジュールは、予め設けられる少なくとも１つのＡＩ符号化演算式を含む。前記少なくとも１つのＡＩ符号化演算式は、予め設けられる複数の符号化重み付けパラメータを含む。その後、符号化後画像は、画像ストリーミングの形でクライアント端末装置７５０に送信される（ステップ７１４）。本実施形態では、クライアント端末装置７０２のＡＩ処理モジュールは、ＡＩ復号化演算式を更に含み、受信した符号化後画像を対応する復号化画像に復号する。言い換えれば、ＡＩ復号演算式、第１プリセットＡＩ演算式、第２プリセットＡＩ演算式、複数の第１重み付けパラメータ、及び複数の第２重み付けパラメータがすべてクライアント端末装置７０２の同じ前記ＡＩ処理モジュールに含まれ、受信した複数の符号化後画像が、復号後に高画質を有し且つ、前記第２解像度を有する複数の前記高解像度画像に直接処理される。従って、ステップ７２３では、クライアント端末装置７０２のＡＩ処理モジュールは、前記ＡＩ復号演算式、第１プリセットＡＩ演算式、第２プリセットＡＩ演算式、複数の第１重み付けパラメータ、及び複数の第２重み付けパラメータを受信して使用し、前記複数の符号化後画像を処理し、対応する第２解像度を有する複数の前記高解像度画像を直接生成する。その後、ステップ７１８のように、クライアント端末装置７０２は、これらの高解像度画像を出力画像とし、スクリーンに出力する。
【0147】
図１７は、本発明の人工ニューラルネットワークのＡＩ符合化演算式、ＡＩ復号化演算式、第１の所定のＡＩ演算式、第２の所定のＡＩ演算式、第１重み付けパラメータ及び第２重み付けパラメータの訓練方法の一実施形態の説明図である。本発明では、サーバ７０１のＡＩ符号化演算式とその重み付けパラメータ、及びクライアント端末装置７０２のＡＩ処理モジュールのＡＩ復号演算式とその重み付けパラメータ、第１プリセットＡＩ演算式、第２プリセットＡＩ演算式、第１重み付けパラメータ及び第２重み付けパラメータは、全て、前記訓練サーバで実行される人工ニューラルネットワークの訓練プロセスによって事前定義されている。訓練が完了した後、ＡＩ符号化演算式とその重み付けパラメータがサーバ７０１のＡＩ符号化モジュールに適用され、図１６に示すステップ７２２（ＡＩ符号化ステップ）が実行される。同時に、ＡＩ復号演算式とその重み付けパラメータ、第１プリセットＡＩ演算式、第２プリセットＡＩ演算式、第１重み付けパラメータ、第２重み付けパラメータがクライアント端末装置７０２のＡＩ処理モジュールに適用され、図１６に示すステップ７２３を実行する（ＡＩ復号＋解像度向上＋画質強化のステップ）。訓練サーバにおいて、ＡＩ復号演算式とその重み付けパラメータを訓練サーバで訓練し、ＡＩ復号式とその重み付けパラメータ、第１プリセットＡＩ演算式、第２プリセットＡＩ演算式、第１重み付けパラメータ及び第２重み付けパラメータを訓練するステップは、以下を含む。
【0148】
ステップ７２２１：前記訓練サーバで訓練モードをアクティブにし、訓練モードで第１アプリケーションを実行して、複数の訓練原画像を生成する（ステップ７２２２）。複数の前記訓練原画像は、前記第２解像度（高解像度）を有する。
【0149】
ステップ７２２３：解像度低減プロセスを実行し、複数の前記訓練原画像の解像度を前記第２解像度から前記第１解像度に低減させ、前記第１解像度の複数の訓練低解像度画像を生成する（ステップ７２２４）。
【0150】
ステップ７２２５：第１人工ニューラルネットワークモジュールを使用し、訓練符号化演算式を受信及び使用し、複数の前記訓練低解像度画像を１つずつ処理し、対応する前記第１解像度を有する複数の訓練符号化画像を生成する（ステップ７２２６）。前記訓練符号化演算式は、複数の訓練符号化重み付けパラメータを有する。
【0151】
ステップ７２２７：第２人工ニューラルネットワークモジュールを使用し、訓練復号演算式を受信及び使用して、複数の前記訓練符号化画像を１つずつ処理し、対応する前記第２解像度を有する複数の訓練出力画像を生成する（ステップ７２２８）。訓練復号演算式は、複数の訓練復号重み付けパラメータを有する。
【0152】
ステップ７２２９：比較モジュールを使用し、複数の前記訓練出力画像と対応する複数の前記訓練原画像の違いを１つずつ比較し、それに応じて前記訓練符号化演算式の前記複数の訓練重み付けパラメータと前記訓練復号演算式の前記複数の訓練復号重み付けパラメータを調整する。前記複数の訓練符号化重み付けパラメータ及び前記複数の訓練復号重み付けパラメータは、前記複数の訓練出力画像と対応する前記訓練原画像との差を最小化するように調整される。前記複数の訓練符号化重み付けパラメータと訓練復号重み付けパラメータが調整されるたびに、調整後の前記複数の訓練符号化重み付けパラメータと前記複数の訓練復号重み付けパラメータは、それぞれ前記訓練符号化演算式と前記訓練復号演算式にフィードバックされ、次の前記訓練低解像度画像を処理する。ステップ７２２０において、所定数の前記訓練出力画像と対応する前記訓練原画像との比較、及び所定回数の前記訓練符号化重み付けパラメータ及び前記訓練復号化重量パラメータの調整プロセスを実行した後、最終的に得られた前記複数の訓練符号化重み付けパラメータは、サーバの前記ＡＩ符号化モジュールのＡＩ符号化演算式に適用される。また、取得した前記訓練復号重み付けパラメータは、前記クライアント端末装置の前記ＡＩ処理モジュールの少なくとも１つの前記数学演算式に適用される。これにより、前記サーバのＡＩ符号化モジュールは、図１６のステップ７２２に示すように、原画像の解像度を低減すること及び符号化するプロセスを併合して処理する。また、前記クライアント端末装置の前記ＡＩ処理モジュールは、図１６のステップ７２３に示すように、受信した符号化後画像に対して、復号、解像度向上及び画質の向上のプロセスを併合して実行することができる。
【0153】
好適実施形態では、クライアント端末装置７０２のＡＩ処理モジュールは、単一組のＡＩ演算式と複数の重み付けパラメータのみを含み、図１７に記載されているようにステップ７２２１～７２２９によって訓練されるため、図１６のステップ７２３に記載の「ＡＩ復号＋ＡＩ解像度向上＋ＡＩ画質強化」のマージ機能も提供することができる。
【0154】
本発明の一実施形態では、以下の従来の任意の人工ニューラルネットワーク技術を第１人工ニューラルネットワークモジュールとして使用して、サーバでＡＩ符号化ステップを実行することができる。オートエンコーダ（Autoencoder；AE)、ノイズ除去オートエンコーダ(Denoising Autoencoder；DAE)、変分オートエンコーダ(Variational autoencoder；VAE)及びベクトル量子化変分オートエンコーダ(Vector-Quantized Variational Autoencoder ；VQ-VAE)。クライアント端末装置でＡＩ復号、ＡＩ解像度向上及びＡＩ画質強化を実行するために使用される第２人工ニューラルネットワークモジュールは、以下の従来の人工ニューラルネットワーク技術から選択することができる。ＳＲＣＮＮ、ＥＤＳＲ、ＲＣＡＮ、ＥｎｈａｎｃｅＮｅｔ、ＳＲＧＡＮ及びＥＳＲＧＡＮ。
【0155】
好適実施形態では、本発明の人工知能モジュールを用いてビデオストリーミングに必要なネットワーク帯域幅を低減するシステムは、ロボットの遠隔制御システムにも適用することができる。本発明のサーバは、モーションモジュール、カメラモジュール、通信モジュール及び制御モジュールを含むロボットであることができる。本発明のクライアント端末装置は、制御器モジュール及びディスプレイを含むロボット制御デバイスであることができる。ロボットは、インターネット又はその他の無線通信技術を介して制御装置にリモート接続される。制御器モジュールは、ロボットに制御コマンドを送信するためにユーザが操作することができ、ロボットの連動及び動作を遠隔制御及び操作することができる。ロボットのカメラモジュールは、３Ｄ画像を取得するための双眼画像キャプチャモジュールを含む（左目ビューと右目ビューが１つの画像フレームに並べて組み合わせられる）。制御装置から受け取った制御コマンドに従って、ロボットは移動及び他の動作を行うことができ、ロボットの周囲環境の３Ｄ画像を取得することもでき、これらの３Ｄ画像を制御装置に送り返してディスプレイ上に表示することもできる。本発明の方法を使用することにより、クライアント端末装置（制御装置）に事前に訓練されたＡＩ処理モジュールを配備することができる。これにより、ロボットの両眼画像キャプチャモジュールは、少量データの低解像度画像を撮像し、比較的少ないネットワーク帯域幅を消費するだけでクライアント端末装置に迅速に送信することができ、クライアント端末装置は、ＡＩ処理モジュールを使用し、３Ｄ画像の高解像度と高画質を回復する。また、ロボットは、低解像度画像を撮影して処理するため、必要な演算リソースが比較的少なくて済み、より省電力であり、ロボットのリモート作業時間を延ばすことができる。
【0156】
なお、本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない均等の範囲内で各種の変動や潤色を加えることができることは勿論である。
【符号の説明】
【0157】
１、５０１、７０１ サーバ
２、２１、２２、２３、５０２、７０２ クライアント端末装置
３ 基地局
３０ ルータ
４ ネットワーク
１００、２００ アプリケーション（ＡＰＰ）
１０１、２０１ メモリ
１０２ コード
１０３ ストリーム
１０４ ネットワークデバイス
１０５ 人工ニューラルネットワーク
１０６ ニューラルネットワーク
１０７ 復号モジュール
１０８ 比較訓練モジュール
２０２ ネットワークモジュール
２０３ 復号モジュール
２０４ ＡＩ処理モジュール
２０５ 出力モジュール
３０１～３０８、４００～４６６、７１１～７２３、７１６１～７２２９ ステップ
２、２１、２２、２３、５０２、７０２ クライアント端末装置
３ 基地局
３０ ルータ
４ ネットワーク
１００、２００ アプリケーション（ＡＰＰ）
１０１、２０１ メモリ
１０２ コード
１０３ ストリーム
１０４ ネットワークデバイス
１０５ 人工ニューラルネットワーク
１０６ ニューラルネットワーク
１０７ 復号モジュール
１０８ 比較訓練モジュール
２０２ ネットワークモジュール
２０３ 復号モジュール
２０４ ＡＩ処理モジュール
２０５ 出力モジュール
３０１～３０８、４００～４６６、７１１～７２３、７１６１～７２２９ ステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12A】
【図12B】
【図13】
【図14A】
【図14B】
【図15】
【図16】
【図17】
