特開 2022-179992 情報処理システム、情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022179992

(43)【公開日】2022-12-06

(54)【発明の名称】情報処理システム、情報処理装置及び情報処理方法

(51)【国際特許分類】

   H04N 19/33 20140101AFI20221129BHJP

   H04N 19/503 20140101ALI20221129BHJP

   H04N 21/24 20110101ALI20221129BHJP

   H04N 21/234 20110101ALI20221129BHJP

【ＦＩ】

H04N19/33

H04N19/503

H04N21/24

H04N21/234

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021086854

(22)【出願日】2021-05-24

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】井原 利昇

【テーマコード（参考）】

5C159

5C164

【Ｆターム（参考）】

5C159MA05

5C159MA32

5C159PP04

5C159SS08

5C159UA02

5C159UA05

5C164SB01P

5C164SB21S

5C164SB41P

5C164TA14S

5C164UB23S

5C164YA24

(57)【要約】

【課題】１対多通信におけるリアルタイム性を向上させること。
【解決手段】情報処理システム１は、情報処理装置１００と、複数のクライアント装置と、を備える。情報処理装置１００は、伝送対象データを異なる複数の伝送量の符号化データに符号化するエンコーダ１２０と、複数のクライアント装置の中から符号化データの伝送量に基づいて決定したクライアント装置に、符号化した符号化データを伝送する制御を行う制御部１４０と、を備える。クライアント装置は、復号化対象の伝送量に対応し、符号化データを復号化するデコーダと、復号化したデータに基づく処理を実行する第２制御部と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

情報処理装置と、
複数のクライアント装置と、
を備え、
前記情報処理装置は、
伝送対象データを異なる複数の伝送量の符号化データに符号化するエンコーダと、
複数の前記クライアント装置の中から前記符号化データの前記伝送量に基づいて決定した前記クライアント装置に、符号化した前記符号化データを伝送する制御を行う制御部と、
を備え、
前記クライアント装置は、
復号化対象の前記伝送量に対応し、前記符号化データを復号化するデコーダと、
復号化したデータに基づく処理を実行する第２制御部と、
を備える情報処理システム。

【請求項2】

前記情報処理装置は、
前記エンコーダが、異なる前記伝送量となるように符号化する複数の階層を備え、
前記制御部が、複数の前記階層のそれぞれが符号化した前記符号化データを、複数のクライアント装置の中から前記符号化データの前記伝送量に基づいて決定した前記クライアント装置に伝送し、
前記クライアント装置は、
前記デコーダが前記エンコーダにおける複数の前記階層の異なる前記伝送量に対応している
請求項１に記載の情報処理システム。

【請求項3】

前記情報処理装置は、
複数の前記階層が、前段の前記階層が符号化した前記符号化データをさらに符号化して前記伝送量を減少させ、
前記制御部が、複数の前記階層が符号化するごとに、複数のクライアント装置の中から前記符号化データの前記伝送量に基づいて決定した前記クライアント装置に、符号化した前記符号化データを伝送する
請求項２に記載の情報処理システム。

【請求項4】

前記情報処理装置は、
前記制御部が、前記クライアント装置からの制御情報が示す前記伝送量に基づいて、前記符号化データを伝送する前記クライアント装置を決定し、
前記クライアント装置は、
前記第２制御部が、前記制御情報を前記情報処理装置に伝送する制御を行う
請求項３に記載の情報処理システム。

【請求項5】

前記情報処理装置は、
前記制御部が、前記符号化データと符号化した前記階層を識別可能な階層情報とを有する伝送データを前記クライアント装置に伝送し、
前記クライアント装置は、
前記第２制御部が、前記階層情報に基づいて復号化を制御する
請求項４に記載の情報処理システム。

【請求項6】

前記クライアント装置は、
前記デコーダが、１または複数の第２階層を備え、前記エンコーダの前記階層に対応した前記第２階層で復号化する
請求項５に記載の情報処理システム。

【請求項7】

前記情報処理装置は、
前記制御部が、前記階層が符号化した前記符号化データを圧縮して前記クライアント装置に伝送し、
前記クライアント装置は、
前記デコーダが、前記情報処理装置からの前記符号化データを解凍したデータを復号化する
請求項６に記載の情報処理システム。

【請求項8】

前記伝送対象データは、残差画像を示すデータを含む
請求項１に記載の情報処理システム。

【請求項9】

前記エンコーダ及び前記デコーダは、高ビットレートまたは低ビットレートを優先して学習されている
請求項１に記載の情報処理システム。

【請求項10】

複数のクライアント装置と通信可能な情報処理装置であって、
伝送対象データを伝送量が異なる複数の符号化データに符号化するエンコーダと、
複数のクライアント装置の中から前記符号化データの前記伝送量に基づいて決定した前記クライアント装置に、符号化した前記符号化データを伝送する制御を行う制御部と、
を備える情報処理装置。

【請求項11】

複数のクライアント装置と通信可能な情報処理装置が、
伝送対象データを伝送量が異なる複数の符号化データにエンコーダで符号化すること、
複数のクライアント装置の中から前記符号化データの前記伝送量に基づいて決定した前記クライアント装置に、符号化した前記符号化データを伝送する制御を行うこと、
を含む情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

ニューラルネットワークを用いた情報圧縮を実現する技術が知られている。特許文献１には、ニューラルネットワークを用いて階層符号化を実現する際に、符号化効率の高い階層符号化を実現し、階層に応じた画質の画像を得る技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－２２１４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、１つのサーバ装置が複数の装置に対してデータをリアルタイムに伝送する場合、複数の装置で必要な映像品質や通信状況が異なっていると、リアルタイム性を維持することが困難であった。

【0005】

そこで、本開示では、１対多通信におけるリアルタイム性を向上させることが可能な情報処理システム、情報処理装置及び情報処理方法を提供する。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本開示に係る一形態の情報処理システムは、情報処理装置と、複数のクライアント装置と、を備え、前記情報処理装置は、伝送対象データを異なる複数の伝送量の符号化データに符号化するエンコーダと、複数の前記クライアント装置の中から前記符号化データの前記伝送量に基づいて決定した前記クライアント装置に、符号化した前記符号化データを伝送する制御を行う制御部と、を備え、前記クライアント装置は、復号化対象の前記伝送量に対応し、前記符号化データを復号化するデコーダと、復号化したデータに基づく処理を実行する第２制御部と、を備える。

【0007】

上記の課題を解決するために、本開示に係る一形態の情報処理装置は、複数のクライアント装置と通信可能な情報処理装置であって、伝送対象データを伝送量が異なる複数の符号化データに符号化するエンコーダと、複数のクライアント装置の中から前記符号化データの前記伝送量に基づいて決定した前記クライアント装置に、符号化した前記符号化データを伝送する制御を行う制御部と、を備える。

【0008】

上記の課題を解決するために、本開示に係る一形態の情報処理方法は、複数のクライアント装置と通信可能な情報処理装置が、伝送対象データを伝送量が異なる複数の符号化データにエンコーダで符号化すること、複数のクライアント装置の中から前記符号化データの前記伝送量に基づいて決定した前記クライアント装置に、符号化した前記符号化データを伝送する制御を行うこと、を含む。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る情報処理システムの一例を説明するための図である。

【図2】実施形態に係る情報処理システムのエンコーダ及びデコーダの構成例を説明するための図である。

【図3】実施形態に係るエンコーダ及びデコーダにおける１つの階層の構成の一例を示す図である。

【図4】実施形態に係る情報処理装置の構成の一例を示す構成図である。

【図5】実施形態に係るクライアント装置の構成の一例を示す構成図である。

【図6】情報処理装置の符号化制御に係る処理手順の一例を示すフローチャートである。

【図7】伝送データのデータ構造の一例を示す図である。

【図8】クライアント装置の復号化制御に係る処理手順の一例を示すフローチャートである。

【図9】実施形態の変形例に係る情報処理システムの構成例の概要を示す図である。

【図10】実施形態の変形例に係る情報処理装置の符号化制御に係る処理手順の一例を示すフローチャートである。

【図11】実施形態の変形例に係るクライアント装置の復号化制御に係る処理手順の一例を示すフローチャートである。

【図12】情報処理システムの時間方向予測の利用例を説明するための図である。

【図13】情報処理システムのオートエンコーダの学習方法の一例を説明するための図である。

【図14】高ビットレート優先のオートエンコーダの学習方法の一例を説明するための図である。

【図15】低ビットレート優先のオートエンコーダの学習方法の一例を説明するための図である。

【図16】情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0010】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、実質的に同一の部位には同一の符号を付することにより重複する説明を省略する。

【0011】

（実施形態）
［実施形態に係る遠隔操作システムの概要］
図１は、実施形態に係る情報処理システムの一例を説明するための図である。図２は、実施形態に係る情報処理システムのエンコーダ及びデコーダの構成例を説明するための図である。

【0012】

図１に示す情報処理システム１は、複数種類のビットレートでコンテンツを、リアルタイムで複数のクライアントに配信可能な１対多通信のシステムである。情報処理システム１は、例えば、複数のオペレータによるリモートオペレーション、エンターテインメントのリモート制作等に適用することができる。リモートオペレーションは、例えば、工事現場の工作機器を遠隔地から複数の作業員が操作するシステムを含む。リモート制作は、例えば、中継現場で撮影しているカメラのスイッチング・ミキシングや編集を行うエンターテインメントのシステムを含む。

【0013】

情報処理システム１は、送信側を１つの情報処理装置１００とし、受信側の複数のクライアント装置２００のそれぞれに対してデータをリアルタイムに送信する。この場合、複数のクライアント装置２００は、必要な画像品質が異なったり、通信状況が異なったりすることがある。このため、情報処理システム１は、１対多通信におけるリアルタイム性を向上させることが可能な技術を提供する。

【0014】

情報処理システム１は、情報処理装置１００と、複数のクライアント装置２００と、を備える。情報処理システム１は、図示しないネットワークを介して、情報処理装置１００と複数のクライアント装置２００とが通信可能に接続されている。ネットワークは、ネットワークに接続されている装置から送信される情報の有線、または無線の伝送路である。ネットワークは、例えば、インターネット、電話回線網、公衆回線網、専用回線網等を含む。情報処理システム１は、１台の情報処理装置１００と複数のクライアント２０との１対多通信を行うシステムである。

【0015】

本実施形態では、情報処理システム１は、クライアント装置２００が３台のクライアント装置２００Ａ、クライアント装置２００Ｂ及びクライアント装置２００Ｃである場合について説明するが、クライアント装置２００の数はこれに限定されない。なお、クライアント装置２００Ａ、クライアント装置２００Ｂ及びクライアント装置２００Ｃを区別しない場合、クライアント装置２００Ａ、クライアント装置２００Ｂ及びクライアント装置２００Ｃを「クライアント装置２００」と記載する。

【0016】

情報処理装置１００は、例えば、コンテンツデータＤ１００をクライアント装置２００に配信するサーバ装置である。コンテンツデータＤ１００は、例えば、音楽データ、映像データ、ゲーム、ソフトウェア等の各種データを含む。音楽データは、例えば、音楽、ラジオ、講演等の音に関するデータを含む。映像データは、例えば、映画、動画、テレビジョン番組、写真、文書等のデータを含む。コンテンツデータＤ１００は、伝送対象データの一例である。

【0017】

情報処理装置１００は、コンテンツデータＤ１００を符号化した異なる伝送量の伝送データＤ２００－１、伝送データＤ２００－２及び伝送データＤ２００－３を、クライアント装置２００に配信する機能を有する。伝送データＤ２００－１は、伝送データＤ２００－２よりも伝送量が多く、高画質に適した伝送量となっている。伝送データＤ２００－２は、伝送データＤ２００－３よりも伝送量が多く、通常の画質に適した伝送量となっている。伝送データＤ２００－１、伝送データＤ２００－２及び伝送データＤ２００－３は、コンテンツデータＤ１００を符号化したデータを含む。

【0018】

クライアント装置２００は、情報処理装置１００が配信したコンテンツを出力（再生）する機能を有する。クライアント装置２００は、例えば、携帯端末、コンピュータ、映像処理装置、ゲーム機器、家電機器等を用いることができる。クライアント装置２００は、情報処理装置１００に制御情報Ｄ１０を送信し、クライアントが必要な品質のコンテンツを情報処理装置１００から得る。制御情報Ｄ１０は、例えば、クライアントで必要とするコンテンツの品質等を識別可能な情報を含む。

【0019】

図２に示すように、情報処理システム１は、情報処理装置１００が同一のコンテンツを異なる画質でクライアント装置２００に配信する機能を有する。情報処理装置１００は、エンコーダ１２０を用いて、同一のコンテンツデータを異なるビットレートで複合化したコンテンツを生成し、当該コンテンツをクライアント装置２００に配信（伝送）する。エンコーダ１２０は、階層１２１、階層１２２、階層１２３及び階層１２４を有し、その順序で接続されている。

【0020】

階層１２１は、入力されたデジタルデータを第１の規則に従って符号化し、符号化した符号化データを出力する。第１の規則は、例えば、第１ビットレートに変換するための規則を含む。階層１２２は、階層１２１から入力された符号化データを第２の規則に従って符号化し、符号化した符号化データを出力する。第２の規則は、例えば、第１ビットレートよりも低い第２ビットレートに変換するための規則を含む。第２ビットレートは、例えば、高い画質に適したハイビットレートを含む。階層１２３は、階層１２２から入力された符号化データを第３の規則に従って符号化し、符号化した符号化データを出力する。第３の規則は、例えば、第２ビットレートよりも低い第３ビットレートに変換するための規則を含む。第３ビットレートは、例えば、中位の画質に適した標準のビットレートを含む。階層１２４は、階層１２３から入力された符号化データを第４の規則に従って符号化し、符号化した符号化データを出力する。第４の規則は、例えば、第３ビットレートよりも低い第４ビットレートに変換するための規則を含む。第４ビットレートは、例えば、低い画質に適したロービットレートを含む。

【0021】

情報処理装置１００は、エンコーダ１２０の階層１２２、階層１２３及び階層１２４が出力した符号化データのうち、受信側の状況に適したビットレートの符号化データを含む伝送データＤ２００－１、伝送データＤ２００－２及び伝送データＤ２００－３を、クライアント装置２００に伝送する。受信側の状況は、例えば、通信帯域、クライアント装置２００が必要とする画質等を含む。伝送データＤ２００－１は、階層１２２が復号化した復号化データを含み、データ量が最も大きくなっている。伝送データＤ２００－２は、階層１２３が復号化した復号化データを含み、データ量が伝送データＤ２００－１よりも小さくなっている。伝送データＤ２００－３は、階層１２４が復号化した復号化データを含み、データ量が伝送データＤ２００－２よりも小さくなっている。

【0022】

クライアント装置２００は、エンコーダ１２０に対応するデコーダ２２０を用いて、情報処理装置１００からの伝送データＤ２００を復号化し、復号化したデータに基づく処理を実行する。処理は、例えば、データの出力、データの編集、データの管理等の処理を含む。図２に示す一例では、クライアント装置２００は、復号化データの種類に対応したデコーダ２２０－１、デコーダ２２０－２及びデコーダ２２０－３を有する。なお、以下、デコーダ２２０－１、デコーダ２２０－２及びデコーダ２２０－３を区別しない場合、デコーダ２２０－１、デコーダ２２０－２及びデコーダ２２０－３を「デコーダ２２０」と記載する。なお、クライアント装置２００は、デコーダ２２０－１、デコーダ２２０－２及びデコーダ２２０－３のうちの少なくとも１つを有する構成としてもよい。

【0023】

デコーダ２２０－１は、階層２２２及び階層２２１を有し、その順序で接続されている。階層２２２は、情報処理装置１００が伝送した伝送データＤ２００－１が入力され、エンコーダ１２０の階層１２２の第２の規則に従って復号化し、復号化した復号化データを出力する。階層２２１は、階層２２２から入力された復号化データを階層１２１の第１の規則に従って復号化し、復号化したデータを出力する。これにより、クライアント装置２００は、デコーダ２２０－１が出力した復号化データを、高画質の伝送データＤ２００－１として得る。

【0024】

デコーダ２２０－２は、階層２２３、階層２２２及び階層２２１を有し、その順序で接続されている。階層２２３は、情報処理装置１００が伝送した伝送データＤ２００－２が入力され、エンコーダ１２０の階層１２３の第３の規則に従って復号化し、復号化した復号化データを出力する。階層２２２は、階層２２３から入力された復号化データを階層１２２の第２の規則に従って復号化し、復号化したデータを出力する。階層２２１は、階層２２２から入力された復号化データを階層１２１の第１の規則に従って復号化し、復号化したデータを出力する。これにより、クライアント装置２００は、デコーダ２２０－２が出力した復号化データを、中画質の伝送データＤ２００－２として得る。

【0025】

デコーダ２２０－３は、階層２２４、階層２２３、階層２２２及び階層２２１を有し、その順序で接続されている。階層２２４は、情報処理装置１００が伝送した伝送データＤ２００－３が入力され、エンコーダ１２０の階層１２４の第４の規則に従って復号化し、復号化した復号化データを出力する。階層２２３は、階層２２４から入力された復号化データを階層１２３の第３の規則に従って復号化し、復号化したデータを出力する。階層２２２は、階層２２３から入力された復号化データを階層１２２の第２の規則に従って復号化し、復号化したデータを出力する。階層２２１は、階層２２２から入力された復号化データを階層１２１の第１の規則に従って復号化し、復号化したデータを出力する。これにより、クライアント装置２００は、デコーダ２２０－３が出力した復号化データを、低画質の伝送データＤ２００－３として得る。

【0026】

図２に示す一例では、情報処理システム１は、エンコーダ１２０及びデコーダ２２０を有する。情報処理システム１は、エンコーダ１２０及びデコーダ２２０－１、エンコーダ１２０及びデコーダ２２０－２、エンコーダ１２０及びデコーダ２２０－３により、それぞれオートエンコーダが構成されている。オートエンコーダは、ニューラルネットワークの１つである。オートエンコーダは、入力されたデータを一度圧縮し、重要な特徴量だけを残した後、再度元の次元に復元するアルゴリズムを意味する。情報処理装置１００は、１つのエンコーダ１２０と複数のデコーダ２２０－１、２２０－２、２２０－３とを組み合わせることで、複数のクライアント装置２００に対し、クライアント装置２００に適した伝送量のデータを伝送する。

【0027】

図３は、実施形態に係るエンコーダ１２０及びデコーダ２２０における１つの階層の構成の一例を示す図である。図３に示す一例では、説明を簡単化するために、図２に示したエンコーダ１２０の階層１２３及びデコーダ２２０の階層２２３の構成例のみを示している。

【0028】

エンコーダ１２０の階層１２３は、Ｘ ｐｉｘｅｌ×Ｙ ｌｉｎｅ×Ｎ ｃｈのデータが入力される。階層１２３は、Ｃｏｎｖで解像度を下げる処理を行い、ＧＤＮでＣｏｎｖの処理結果を正規化する処理を行う、階層１２３は、これらの処理を３回繰り返すことで、Ｘ／８ ｐｉｘｅｌ×Ｙ／８ ｌｉｎｅ×Ｎ ｃｈの符号化データを出力する。これにより、階層１２３の入力データと出力する復号化データの情報量は、６４：１になっている。

【0029】

デコーダ２２０の階層２２３は、Ｘ／８ ｐｉｘｅｌ×Ｙ／８ ｌｉｎｅ×Ｎ ｃｈのデータが入力される。階層２２３は、エンコーダ１２０に対応したＩＧＤＮ及びＣｏｎｖの処理を３回繰り返すことで、復号化したＸ ｐｉｘｅｌ×Ｙ ｌｉｎｅ×Ｎ ｃｈのデータを出力する。これにより、階層２２３の入力データと出力する伝送データの情報量は、６４：１になっている。

【0030】

情報処理装置１００は、図３に示す階層１２３と階層１２１、階層１２２及び階層１２４とを同様の構成にすることで、エンコーダ１２０が出力する伝送データＤ２００－１、Ｄ２００－２、Ｄ２００－３の順にデータ量を１／６４に減少させている。

【0031】

［実施形態に係る情報処理装置の構成例］
図４は、実施形態に係る情報処理装置１００の構成の一例を示す構成図である。図４に示すように、情報処理装置１００は、通信部１１０と、上述したエンコーダ１２０と、記憶部１３０と、制御部１４０と、を備える。制御部１４０は、通信部１１０、エンコーダ１２０及び記憶部１３０と電気的に接続されている。

【0032】

通信部１１０は、例えば、複数のクライアント装置２００、他の外部装置等と通信を行う。通信部１１０は、例えば、ネットワーク等を介して各種情報を送受信する。通信部１１０は、例えば、クライアント装置２００から受信した各種情報を制御部１４０に供給する。通信部１１０は、例えば、制御部１４０が指示した情報を指示された送信先に送信する。通信部１１０がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１１０が、複数の種類の通信プロトコルをサポートすることも可能である。

【0033】

エンコーダ１２０は、制御部１４０の制御によってコンテンツデータＤ１００を符号化する。エンコーダ１２０は、情報処理装置１００が伝送するコンテンツデータＤ１００を、伝送量が異なる複数の符号化データに復号化する機能を有する。エンコーダ１２０は、階層ごとに符号化した符号化データを通信部１１０及び制御部１４０に供給できる。

【0034】

記憶部１３０は、各種データ及びプログラムを記憶する。記憶部１３０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。記憶部１３０は、通信部１１０を介して受信した情報を記憶する。記憶部１３０は、例えば、上述した制御情報Ｄ１０等の各種情報を記憶する。制御情報Ｄ１０は、例えば、クライアント装置２００が必要とする伝送データＤ２００の品質、デコード可能な伝送量等を識別可能な情報を有する。記憶部１３０は、情報処理装置１００がアクセス可能な外部の記憶装置であってもよい。

【0035】

制御部１４０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Central Processing Unit）、ＳｏＣ（System-on-a-Chip）、ＭＣＵ（Micro Control Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、及びコプロセッサを含むが、これらに限定されない。制御部１４０は、情報処理装置１００を制御する統合制御ユニットである。

【0036】

具体的には、制御部１４０は、記憶部１３０に記憶されている情報を必要に応じて参照しつつ、記憶部１３０に記憶されているプログラムに含まれる命令を実行する。そして、制御部１４０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、通信部１１０、エンコーダ１２０等を含むが、これらに限定されない。制御部１４０は、プログラムを実行することにより、複数のクライアント装置２００に対する伝送データＤ２００の伝送を制御する機能を有する。

【0037】

制御部１４０は、複数のクライアント装置２００の中から符号化データの伝送量に基づいて決定したクライアント装置２００に、符号化した符号化データを伝送する制御を行う。制御部１４０は、エンコーダ１２０の複数の階層のそれぞれが符号化した符号化データを、複数のクライアント装置２００の中から符号化データの伝送量に基づいて決定したクライアント装置２００に伝送する制御を行う。制御部１４０は、エンコーダ１２０の複数の階層が符号化するごとに、複数のクライアント装置２００の中から符号化データの伝送量に基づいて決定したクライアント装置２００に、符号化した符号化データを伝送する制御を行う。

【0038】

制御部１４０は、クライアント装置２００からの制御情報Ｄ１０が示す伝送量に基づいて、符号化データを伝送するクライアント装置２００を決定する機能を有する。制御部１４０は、クライアント装置２００が必要とするデータの品質、通信状況等を特定し、特定した結果に適した伝送量を求める。制御部１４０は、符号化データと符号化したエンコーダ１２０の階層を識別可能な階層情報とを有する伝送データＤ２００をクライアント装置２００に伝送する。

【0039】

以上、実施形態に係る情報処理装置１００の機能構成例について説明した。なお、図４を用いて説明した上記の構成はあくまで一例であり、実施形態に係る情報処理装置１００の機能構成は係る例に限定されない。実施形態に係る情報処理装置１００の機能構成は、仕様や運用に応じて柔軟に変形可能である。

【0040】

［実施形態に係るクライアント装置の構成例］
図５は、実施形態に係るクライアント装置２００の構成の一例を示す構成図である。図５に示すように、クライアント装置２００は、通信部２１０と、上述したデコーダ２２０と、出力部２３０と、記憶部２４０と、制御部２５０と、を備える。制御部２５０は、通信部２１０、デコーダ２２０、出力部２３０及び記憶部２４０と電気的に接続されている。

【0041】

通信部２１０は、例えば、情報処理装置１００、他の外部装置等と通信を行う。通信部２１０は、例えば、ネットワーク等を介して各種情報を送受信する。通信部２１０は、例えば、情報処理装置１００から受信した各種情報を制御部２５０に供給する。通信部２１０は、例えば、制御部２５０が指示した情報を指示された送信先に送信する。通信部２１０がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部２１０が、複数の種類の通信プロトコルをサポートすることも可能である。

【0042】

デコーダ２２０は、制御部２５０の制御によって伝送データＤ２００を復号化する。デコーダ２２０は、伝送データＤ２００が有する階層情報に基づいて、エンコーダ１２０が符号化した階層に対応した階層を用いて、伝送データＤ２００を復号化する。デコーダ２２０は、復号化したデータを制御部２５０に供給できる。デコーダ２２０は、上述したデコーダ２２０－１、デコーダ２２０－２及びデコーダ２２０－３を有する構成としてもよいし、デコーダ２２０－１、デコーダ２２０－２及びデコーダ２２０－３の中の必要なデータ量に対応した少なくとも１つを有する構成としてもよい。

【0043】

出力部２３０は、制御部２５０の制御によってデコーダ２２０が復号化したデータを出力する。出力部２３０は、例えば、ディスプレイ、スピーカー等を有する。出力部２３０は、制御部２５０が制御可能なクライアント装置２００の外部の装置で実現してもよい。

【0044】

記憶部２４０は、各種データ及びプログラムを記憶する。記憶部２４０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。記憶部２４０は、通信部２１０を介して受信した情報を記憶する。記憶部２４０は、例えば、上述した制御情報Ｄ１０等の各種情報を記憶する。記憶部２４０は、クライアント装置２００がアクセス可能な外部の記憶装置であってもよい。

【0045】

制御部２５０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ、ＳｏＣ、ＭＣＵ、ＦＰＧＡ、及びコプロセッサを含むが、これらに限定されない。制御部２５０は、クライアント装置２００を制御する統合制御ユニットである。

【0046】

具体的には、制御部２５０は、記憶部２４０に記憶されている情報を必要に応じて参照しつつ、記憶部１３０に記憶されているプログラムに含まれる命令を実行する。そして、制御部２５０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、通信部２１０、デコーダ２２０、出力部２３０等を含むが、これらに限定されない。制御部２５０は、プログラムを実行することにより、情報処理装置１００からの伝送データＤ２００に基づく処理を実行する機能を有する。

【0047】

制御部２５０は、クライアント装置２００で必要な映像品質、通信状況等に基づいた伝送量を識別可能な制御情報Ｄ１０を生成する機能を有する。制御部２５０は、生成した制御情報Ｄ１０を、通信部２１０を介して情報処理装置１００に送信する。制御部２５０は、情報処理装置１００が伝送した伝送データＤ２００から復号化した階層を特定し、当該階層に適したデコーダ２２０の階層で復号化させる。

【0048】

以上、実施形態に係るクライアント装置２００の機能構成例について説明した。なお、図５を用いて説明した上記の構成はあくまで一例であり、実施形態に係るクライアント装置２００の機能構成は係る例に限定されない。実施形態に係るクライアント装置２００の機能構成は、仕様や運用に応じて柔軟に変形可能である。

【0049】

［情報処理装置の符号化制御例］
図６は、情報処理装置１００の符号化制御に係る処理手順の一例を示すフローチャートである。図７は、伝送データＤ２００のデータ構造の一例を示す図である。図６に示す処理手順は、情報処理装置１００の制御部１４０がプログラムを実行することによって実現される。図６に示す処理手順は、情報処理装置１００がコンテンツデータＤ１００をクライアント装置２００に伝送（配信）する場合に実行される。

【0050】

図６に示すように、情報処理装置１００の制御部１４０は、符号化する階層の数及び階層の初期値を設定する（ステップＳ１０１）。例えば、制御部１４０は、符号化に用いるエンコーダ１２０の階層の数と、階層の初期値を設定する。階層の初期値は、例えば、浅い階層（上位の階層）を示す値である。本実施形態では、制御部１４０は、図２に示した階層１２１、階層１２２、階層１２３及び階層１２４をそれぞれ識別可能な値として「０」、「１」、「２」及び「３」の整数を割り当てている。この場合、制御部１４０は、浅い階層１２１の「０」を階層の初期値として設定し、階層の数を４と設定する。制御部１４０は、ステップＳ１０１の処理が終了すると、処理をステップＳ１０２に進める。

【0051】

制御部１４０は、設定した階層の復号化処理を実行する（ステップＳ１０２）。復号化処理は、例えば、伝送対象のデータをエンコーダ１２０に入力し、当該データを設定した階層に符号化させる処理を含む。例えば、設定階層が階層１２１である場合、制御部１４０は、伝送対象のデータを階層１２１に符号化させる。例えば、設定階層が階層１２４である場合、制御部１４０は、伝送対象のデータを階層１２１、階層１２２、階層１２３及び階層１２４の順序で符号化させる。制御部１４０は、エンコーダ１２０が符号化した符号化データを記憶部１３０に記憶すると、処理をステップＳ１０３に進める。

【0052】

制御部１４０は、伝送データをクライアント装置２００に伝送するか否かを判定する（ステップＳ１０３）。例えば、制御部１４０は、設定階層と制御情報Ｄ１０の階層とが一致している場合に、伝送データをクライアント装置２００に伝送すると判定する。制御部１４０は、伝送データをクライアント装置２００に伝送しないと判定した場合（ステップＳ１０３でＮｏ）、処理を後述するステップＳ１０５に進める。また、制御部１４０は、伝送データをクライアント装置２００に伝送すると判定した場合（ステップＳ１０３でＹｅｓ）、処理をステップＳ１０４に進める。

【0053】

制御部１４０は、符号化した伝送データＤ２００をクライアント装置２００に伝送する（ステップＳ１０４）。例えば、図７に示すように、制御部１４０は、符号化したエンコーダ１２０の階層を示す階層情報をヘッダ部Ｄ２１０に設定し、ステップＳ１０２でエンコーダ１２０が符号化した符号化データをデータ部Ｄ２２０に設定した伝送データＤ２００を作成する。本実施形態では、伝送データＤ２００は、ヘッダ部Ｄ２１０とデータ部Ｄ２２０とを有する構成ついて説明するが、これに限定されない。図６に戻り、制御部１４０は、作成した伝送データＤ２００を、通信部１１０を介してクライアント装置２００に伝送する制御を行う。制御部１４０は、ステップＳ１０４の処理が終了すると、処理をステップＳ１０５に進める。

【0054】

制御部１４０は、全ての階層を終了したか否かを判定する（ステップＳ１０５）。例えば、制御部１４０は、設定された階層が階層の数以上である場合に、全ての階層を終了したと判定する。制御部１４０は、全ての階層を終了していないと判定した場合（ステップＳ１０５でＮｏ）、処理をステップＳ１０６に進める。制御部１４０は、符号化する次の階層を設定する（ステップＳ１０６）。例えば、制御部１４０は、階層の設定値を次の階層を示す値に変更する。制御部１４０は、ステップＳ１０６の処理が終了すると、処理を既に説明したステップＳ１０２に戻し、処理を継続する。

【0055】

また、制御部１４０は、全ての階層を終了したと判定した場合（ステップＳ１０５でＹｅｓ）、図６に示す処理手順を終了させる。

【0056】

以上により、情報処理装置１００は、複数の伝送量に復号化した符号化データを、複数のクライアント装置２００の中から符号化データの伝送量に基づいて決定したクライアント装置２００に伝送することができる。その結果、情報処理装置１００は、符号化データの伝送量に基づく伝送を制御できるので、１対多通信におけるリアルタイム性を向上させることができる。

【0057】

［クライアント装置の復号化制御例］
図８は、クライアント装置２００の復号化制御に係る処理手順の一例を示すフローチャートである。図８に示す処理手順は、情報処理装置１００の制御部２５０がプログラムを実行することによって実現される。図８に示す処理手順は、クライアント装置２００からの伝送データＤ２００を復号化する場合に実行される。

【0058】

図８に示すように、クライアント装置２００の制御部２５０は、伝送データＤ２００のヘッダからデコーダ２２０の階層を選択する（ステップＳ２０１）。例えば、制御部２５０は、通信部２１０で受信した伝送データＤ２００のヘッダ部Ｄ２１０の階層情報に基づいてエンコーダ１２０の階層を認識し、エンコーダ１２０の階層に対応するデコーダ２２０ンの階層を選択する。制御部２５０は、ステップＳ２０１の処理が終了すると、処理をステップＳ２０２に進める。

【0059】

制御部２５０は、復号化する階層の数及び階層の初期値を設定する（ステップＳ２０２）。例えば、制御部１４０は、復号化に用いるデコーダ２２０の階層の数と、階層の初期値を設定する。階層の初期値は、例えば、エンコーダ１２０の階層と同一の階層を示す値を設定する。本実施形態では、制御部２５０は、図２に示した階層２２１、階層２２２、階層２２３及び階層２２４をそれぞれ識別可能な値として「０」、「１」、「２」及び「３」の整数を割り当てている。例えば、伝送データＤ２００がエンコーダ１２０の階層１２２で符号化したデータである場合、制御部２５０は、階層２２２の値を階層の初期値として設定し、階層の数を２と設定する。制御部２５０は、ステップＳ２０２の処理が終了すると、処理をステップＳ２０３に進める。

【0060】

制御部２５０は、設定した階層の復号化処理を実行する（ステップＳ２０３）。復号化処理は、例えば、伝送データＤ２００の復号対象データをデコーダ２２０に入力し、復号対象データを設定した階層で復号化させる処理を含む。例えば、設定階層が階層２２２でありかつデコーダ２２０の階層の数が２階層である場合、すなわち、デコーダ２２０－１の場合、制御部２５０は、階層２２２で復号対象データを復号化し、復号化したデータを記憶部２４０に記憶する。例えば、設定階層が階層２２２でありかつデコーダ２２０の階層の数が３階層である場合、すなわち、デコーダ２２０－２の場合、制御部２５０は、記憶部２４０に記憶している符号化したデータを階層２２２で復号対象データを復号化し、復号化したデータを記憶部２４０に記憶する。制御部２５０は、ステップＳ２０３の処理が終了すると、処理をステップＳ２０４に進める。

【0061】

制御部２５０は、全ての階層を終了したか否かを判定する（ステップＳ２０４）。例えば、制御部２５０は、設定された階層の値が０よりも小さい場合に、全ての階層を終了したと判定する。制御部２５０は、全ての階層を終了していないと判定した場合（ステップＳ２０４でＮｏ）、処理をステップＳ２０５に進める。制御部２５０は、符号化する次の階層を設定する（ステップＳ２０５）。例えば、制御部２５０は、階層の設定値を次の階層を示す値に変更する。制御部２５０は、ステップＳ２０５の処理が終了すると、処理を既に説明したステップＳ２０３に戻し、処理を継続する。

【0062】

また、制御部２５０は、全ての階層を終了したと判定した場合（ステップＳ２０４でＹｅｓ）、図８に示す処理手順を終了させる。

【0063】

以上により、情報処理システム１は、情報処理装置１００が複数の伝送量に復号化した符号化データを、複数のクライアント装置２００の中から符号化データの伝送量に基づいて決定したクライアント装置２００に伝送することができる。情報処理システム１は、複数のクライアント装置２００のそれぞれが、復号対象の伝送量の符号化データを復号することができる。その結果、情報処理システム１は、情報処理装置１００が符号化データの伝送量に基づく伝送を制御できるので、１対多通信におけるリアルタイム性を向上させることができる。

【0064】

（実施形態の変形例）
［情報処理システムの変形例］
上述した情報処理システム１は、エンコーダ１２０の各階層が符号化した伝送データＤ２００をそのまま伝送する場合について説明したが、これに限定されない。例えば、情報処理システム１は、エンコーダ１２０の各階層が符号化した伝送データＤ２００を、圧縮して伝送する構成とすることができる。

【0065】

図９は、実施形態の変形例に係る情報処理システム１の構成例の概要を示す図である。図９に示すように、上述した情報処理システム１は、情報処理装置１００のエンコーダ１２０が符号化した伝送データＤ２００を圧縮する圧縮部１５０と、情報処理装置１００が伝送した伝送データＤ２００を解凍する解凍部２６０とを、情報処理装置１００及びクライアント装置２００の構成に追加することができる。

【0066】

情報処理装置１００は、１または複数の圧縮部１５０を備えてもよい。圧縮部１５０は、少なくともエンコーダ１２０及び制御部１４０と電気的に接続される。図９に示す一例では、情報処理装置１００は、エンコーダ１２０の階層１２２、階層１２３及び階層１２４が出力する伝送データＤ２００－１、伝送データＤ２００－２及び伝送データＤ２００－３のそれぞれを圧縮する３つの圧縮部１５０を備えている。圧縮部１５０は、公知の圧縮技術を用いてデータを圧縮する。制御部１４０は、圧縮部１５０が圧縮した伝送データＤ２００をクライアント装置２００に伝送する。制御部１４０は、例えば、圧縮しているか否か、圧縮技術の種類等を示す圧縮情報を、伝送データＤ２００のヘッダ部Ｄ２１０に設定する。

【0067】

クライアント装置２００は、１または複数の解凍部２６０を備えてもよい。解凍部２６０は、少なくともデコーダ２２０及び制御部２５０と電気的に接続される。図９に示す一例では、クライアント装置２００は、デコーダ２２０－１、デコーダ２２０－２及びデコーダ２２０－３に対応する３つの解凍部２６０を備えている。解凍部２６０は、圧縮部１５０に対応する解凍技術を用いて、伝送データＤ２００を解凍する。解凍部２６０は、伝送データＤ２００のヘッダ部Ｄ２１０の圧縮情報が圧縮していることを示している場合に、データを解凍する。制御部２５０は、解凍部２６０が解凍した伝送データＤ２００を、デコーダ２２０に復号化させる。デコーダ２２０－１、デコーダ２２０－２及びデコーダ２２０－３は、解凍部２６０が解凍した伝送データＤ２００が入力される。

【0068】

図９に示す一例では、情報処理システム１は、情報処理装置１００が３つの圧縮部１５０を備え、クライアント装置２００が３つの解凍部２６０を備える場合について説明するが、これに限定されない。例えば、情報処理システム１は、３つの伝送データＤ２００－１、伝送データＤ２００－２及び伝送データＤ２００－３を情報処理装置１００の１つの圧縮部１５０で圧縮し、クライアント装置２００の１つの解凍部２６０で解凍する構成としてもよい。例えば、情報処理システム１は、伝送量が多い伝送データＤ２００－１のみを圧縮、解凍する構成としてもよい。

【0069】

［実施形態の変形例に係る情報処理装置の符号化制御例］
図１０は、実施形態の変形例に係る情報処理装置１００の符号化制御に係る処理手順の一例を示すフローチャートである。図１０は、伝送データＤ２００のデータ構造の一例を示す図である。図１０に示す処理手順は、情報処理装置１００の制御部１４０がプログラムを実行することによって実現される。図１０に示す処理手順は、情報処理装置１００がコンテンツデータＤ１００をクライアント装置２００に伝送（配信）する場合に実行される。図１０に示す処理手順は、図６に示した処理手順と同一の処理については同一の符号を付して、説明を省略する。

【0070】

図１０に示すように、情報処理装置１００の制御部１４０は、符号化する階層の数及び階層の初期値を設定する（ステップＳ１０１）。制御部１４０は、設定した階層の復号化処理を実行する（ステップＳ１０２）。制御部１４０は、伝送データをクライアント装置２００に伝送するか否かを判定する（ステップＳ１０３）。制御部１４０は、伝送データをクライアント装置２００に伝送しないと判定した場合（ステップＳ１０３でＮｏ）、処理を後述するステップＳ１０５に進める。また、制御部１４０は、伝送データをクライアント装置２００に伝送すると判定した場合（ステップＳ１０３でＹｅｓ）、処理をステップＳ１１１に進める。

【0071】

制御部１４０は、圧縮するか否かを判定する（ステップＳ１１１）。例えば、制御部１４０は、圧縮部１５０が存在する場合、圧縮の設定が有効である場合等に、圧縮すると判定する。制御部１４０は、圧縮しないと判定した場合（ステップＳ１１１でＮｏ）、処理をステップＳ１０４に進める。

【0072】

また、制御部１４０は、圧縮すると判定した場合（ステップＳ１１１でＹｅｓ）、処理をステップＳ１１２に進める。制御部１４０は、符号化した符号化データを圧縮する（ステップＳ１１２）。例えば、制御部１４０は、ステップＳ１０２でエンコーダ１２０のデータ部D２２０に設定する符号化データを圧縮部１５０で圧縮する。制御部１４０は、ステップＳ１１２の処理が終了すると、処理をステップＳ１０４に進める。

【0073】

制御部１４０は、符号化した伝送データＤ２００をクライアント装置２００に伝送する（ステップＳ１０４）。例えば、ステップＳ１１２で圧縮している場合、制御部１４０は、階層情報及び圧縮情報をヘッダ部Ｄ２１０に設定し、ステップＳ１０２でエンコーダ１２０が符号化した符号化データをデータ部Ｄ２２０に設定した伝送データＤ２００を作成する。制御部１４０は、作成した伝送データＤ２００を、通信部１１０を介してクライアント装置２００に伝送する制御を行う。制御部１４０は、ステップＳ１０４の処理が終了すると、処理をステップＳ１０５に進める。

【0074】

制御部１４０は、全ての階層を終了したか否かを判定する（ステップＳ１０５）。制御部１４０は、全ての階層を終了していないと判定した場合（ステップＳ１０５でＮｏ）、処理をステップＳ１０６に進める。制御部１４０は、符号化する次の階層を設定する（ステップＳ１０６）。制御部１４０は、ステップＳ１０６の処理が終了すると、処理をステップＳ１０２に戻し、処理を継続する。

【0075】

また、制御部１４０は、全ての階層を終了したと判定した場合（ステップＳ１０５でＹｅｓ）、図１０に示す処理手順を終了させる。

【0076】

［実施形態の変形例に係るクライアント装置の復号化制御例］
図１１は、実施形態の変形例に係るクライアント装置２００の復号化制御に係る処理手順の一例を示すフローチャートである。図１１に示す処理手順は、情報処理装置１００の制御部２５０がプログラムを実行することによって実現される。図１１に示す処理手順は、クライアント装置２００からの伝送データＤ２００を復号化する場合に実行される。図１１に示す処理手順は、図８に示した処理手順と同一の処理については同一の符号を付して、説明を省略する。

【0077】

図１１に示すように、クライアント装置２００の制御部２５０は、伝送データＤ２００のヘッダからデコーダ２２０の階層を選択する（ステップＳ２０１）。制御部２５０は、ステップＳ２０１の処理が終了すると、処理をステップＳ２１１に進める。

【0078】

制御部２５０は、圧縮されているか否かを判定する（ステップＳ２１１）。例えば、制御部２５０は、伝送データＤ２００のヘッダ部Ｄ２１０の圧縮情報が圧縮していることを示す場合に、圧縮されていると判定する。制御部２５０は、圧縮されていないと判定した場合（ステップＳ２１１でＮｏ）、処理をステップＳ２０２に進める。

【0079】

また、制御部２５０は、圧縮されていると判定した場合（ステップＳ２１１でＹｅｓ）、処理をステップＳ２１２に進める。制御部１４０は、伝送データＤ２００を解凍する（ステップＳ２１２）。例えば、制御部２５０は、伝送データＤ２００を解凍部２６０に解凍させる。制御部２５０は、ステップＳ２１２の処理が終了すると、処理をステップＳ２０２に進める。

【0080】

制御部２５０は、復号化する階層の数及び階層の初期値を設定する（ステップＳ２０２）。制御部２５０は、設定した階層の復号化処理を実行する（ステップＳ２０３）。制御部２５０は、全ての階層を終了したか否かを判定する（ステップＳ２０４）。制御部２５０は、全ての階層を終了していないと判定した場合（ステップＳ２０４でＮｏ）、処理をステップＳ２０５に進める。制御部２５０は、符号化する次の階層を設定する（ステップＳ２０５）。制御部２５０は、ステップＳ２０５の処理が終了すると、処理を既に説明したステップＳ２０３に戻し、処理を継続する。

【0081】

また、制御部２５０は、全ての階層を終了したと判定した場合（ステップＳ２０４でＹｅｓ）、図１１に示す処理手順を終了させる。

【0082】

以上により、情報処理システム１は、情報処理装置１００とクライアント装置２００との間の伝送量をより減少させることができる。その結果、情報処理システム１は、１対多通信における伝送量が減少するので、リアルタイム性をより一層向上させることができる。

【0083】

［情報処理システム１の時間方向予測の利用例］
図１２は、情報処理システム１の時間方向予測の利用例を説明するための図である。図１２に示すように、情報処理システム１は、過去の入力画像のみを用いた単方向予測を用いることで、符号化効率を高めることができる。図１２に示す一例では、入力画像ｔ、入力画像ｔ－１は、異なる時刻の画像を示している。

【0084】

情報処理装置１００は、入力画像ｔ－１に基づいて予測画像ｔａを作成する。情報処理装置１００は、前のフレームと現在のフレームはよく似ているという動画像の性質に基づいて、前のフレームの入力画像ｔ－１から現在のフレームを予測した予測画像ｔａを作成する。情報処理装置１００は、フレーム間予測では、圧縮効率を高めるために動き補償の技術を用いることができる。動き補償は、現在のフレームを予測する場合に、動きの分だけずらした位置の画像を用いて動きを補うものである。情報処理装置１００は、入力画像ｔと予測画像ｔａの残差画像ｔｂをエンコーダ１２０に入力し、エンコーダ１２０が復号化した伝送データＤ２００をクライアント装置２００に伝送する。

【0085】

クライアント装置２００は、情報処理装置１００からの伝送データＤ２００をデコーダ２２０でデコードする。クライアント装置２００は、復号画像ｔｄ－１に基づいて予測画像ｔｐを作成する。クライアント装置２００は、デコーダ２２０がデコードした復号残差画像ｔｃを取得すると、復号残差画像ｔｃと予測画像ｔｐとに基づく復号画像ｔｄを得る。クライアント装置２００は、復号画像ｔｄに関する制御を行う。

【0086】

情報処理システム１は、過去フレームを用いた単方向予測を用いることで、エンコーダ１２０で残差画像ｔｂを符号化すればよくなり、符号化効率を向上させることができる。この場合、誤差がフレーム方向に蓄積されるため、情報処理システム１は、定期的に時間方向予測を用いないイントラフレームを挿入することで、誤差の蓄積を解消することができる。

【0087】

［情報処理システム１のオートエンコーダの学習方法例］
図１３は、情報処理システム１のオートエンコーダの学習方法の一例を説明するための図である。図１４は、高ビットレート優先のオートエンコーダの学習方法の一例を説明するための図である。図１５は、低ビットレート優先のオートエンコーダの学習方法の一例を説明するための図である。

【0088】

図１３に示すように、情報処理システム１は、エンコーダ１２０の入力とデコーダ２２０の出力との間のＬｏｓｓが小さくなるように学習したオートエンコーダを用いている。情報処理システム１は、例えば、Ｌ１ ｌｏｓｓ等のｌｏｓｓ関数を適宜用いることができる。エンコーダ１２０の浅い層は共通なので、全ての伝送データＤ２００に対して最適化することはできないが、学習ステップを変更することで、優先する画像品質を変更することができる。

【0089】

図１４に示すように、情報処理システム１は、高ビットレートの高画質を優先する場合、ステップＳ１において、エンコーダ１２０の階層１２１とデコーダ２２０の階層２２１との学習を行う。情報処理システム１は、学習用信号を階層１２１に入力し、学習用信号に基づいて、エンコーダ１２０の階層１２１及びデコーダ２２０の階層２２１に用いるパラメータを、ｌｏｓｓが小さくなるように生成する。

【0090】

情報処理システム１は、ステップＳ２において、エンコーダ１２０の階層１２２とデコーダ２２０の階層２２２との学習を行う。エンコーダの階層１２１は共通であるので、情報処理システム１は、学習用信号を階層１２１に入力し、学習用信号に基づいて、エンコーダ１２０の階層１２２及びデコーダ２２０の階層２２２に用いるパラメータを、ｌｏｓｓが小さくなるように生成する。

【0091】

情報処理システム１は、ステップＳ３において、エンコーダ１２０の階層１２３とデコーダ２２０の階層２２３との学習を行う。エンコーダの階層１２１及び階層１２２は共通であるので、情報処理システム１は、学習用信号を階層１２１に入力し、学習用信号に基づいて、エンコーダ１２０の階層１２３及びデコーダ２２０の階層２２３に用いるパラメータを、ｌｏｓｓが小さくなるように生成する。

【0092】

情報処理システム１は、ステップＳ４において、エンコーダ１２０の階層１２４とデコーダ２２０の階層２２４との学習を行う。エンコーダの階層１２１、階層１２２及び階層１２３は共通であるので、情報処理システム１は、学習用信号を階層１２１に入力し、学習用信号に基づいて、エンコーダ１２０の階層１２４及びデコーダ２２０の階層２２４に用いるパラメータを、ｌｏｓｓが小さくなるように生成する。

【0093】

情報処理システム１は、図１４に示す学習により生成したパラメータをエンコーダ１２０及びデコーダ２２０の各階層に設定することで、高ビットレートの高画質を優先したエンコーダ１２０及びデコーダ２２０を用いることができる。

【0094】

図１５に示すように、情報処理システム１は、低ビットレートの低画質を優先する場合、ステップＳ１において、エンコーダ１２０の階層１２１、階層１２２、階層１２３及び階層１２４と、デコーダ２２０の階層２２１、階層２２２、階層２２３及び階層２２４との学習を行う。情報処理システム１は、学習用信号を階層１２１に入力し、学習用信号に基づいて、エンコーダ１２０の階層１２１、階層１２２、階層１２３及び階層１２４とデコーダ２２０の階層２２１、階層２２２、階層２２３及び階層２２４とに用いるパラメータを、ｌｏｓｓが小さくなるように生成する。

【0095】

情報処理システム１は、ステップＳ２において、エンコーダ１２０の階層１２１、階層１２２及び階層１２３と、デコーダ２２０の階層２２１、階層２２２及び階層２２３との学習を行う。エンコーダ１２０の各階層はステップＳ１１と共通であるので、情報処理システム１は、ステップＳ１１の学習結果に基づいて、エンコーダ１２０及びデコーダ２２０の各階層に用いるパラメータを、ｌｏｓｓが小さくなるように生成する。

【0096】

情報処理システム１は、ステップＳ３において、エンコーダ１２０の階層１２１及び階層１２２と、デコーダ２２０の階層２２１及び階層２２２との学習を行う。エンコーダ１２０の各階層はステップＳ１１と共通であるので、情報処理システム１は、ステップＳ１１の学習結果に基づいて、エンコーダ１２０及びデコーダ２２０の各階層に用いるパラメータを、ｌｏｓｓが小さくなるように生成する。

【0097】

情報処理システム１は、ステップＳ４において、エンコーダ１２０の階層１２１とデコーダ２２０の階層２２１との学習を行う。エンコーダ１２０の階層１２１はステップＳ１１と共通であるので、情報処理システム１は、ステップＳ１１の学習結果に基づいて、エンコーダ１２０の階層１２１及びデコーダ２２０の階層２２１に用いるパラメータを、ｌｏｓｓが小さくなるように生成する。

【0098】

情報処理システム１は、図１５に示す学習により生成したパラメータをエンコーダ１２０及びデコーダ２２０の各階層に設定することで、低ビットレートの低画質を優先したエンコーダ１２０及びデコーダ２２０を用いることができる。

【0099】

［情報処理システムの他の変形例］
上述の実施形態では、情報処理システム１は、情報処理装置１００と、複数のクライアント装置２００とを有する構成について説明したが、これに限定されない。例えば、情報処理システム１は、情報処理装置１００と、複数のデコーダ２２０－１、デコーダ２２０－２及びデコーダ２２０－３を備える１つのクライアント装置２００と、を備える構成としてもよい。すなわち、情報処理システム１は、情報処理装置１００とクライアント装置２００との一対一の構成において、１対多通信を実現してもよい。

【0100】

［ハードウェア構成］
上述してきた実施形態に係る情報処理システム１の情報処理装置１００及びクライアント装置２００は、例えば図１６に示すような構成のコンピュータ１０００によって実現してもよい。以下、実施形態に係る情報処理装置１００を例に挙げて説明する。図１６は、情報処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

【0101】

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

【0102】

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0103】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。

【0104】

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

【0105】

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0106】

例えば、コンピュータ１０００が実施形態に係る情報処理システム１の情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１４０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムや、記憶部１３０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

【0107】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0108】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0109】

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、情報処理装置３０が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

【0110】

また、本明細書の情報処理装置３０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置３０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。

【0111】

（効果）
情報処理システム１は、情報処理装置１００と、複数のクライアント装置２００と、を備える。情報処理装置１００は、伝送対象データを異なる複数の伝送量の符号化データに符号化するエンコーダ１２０と、複数のクライアント装置２００の中から符号化データの伝送量に基づいて決定したクライアント装置２００に、符号化した符号化データを伝送する制御を行う制御部１４０と、を備える。クライアント装置２００は、復号化対象の伝送量に対応し、符号化データを復号化するデコーダ２２０と、復号化したデータに基づく処理を実行する制御部２５０（第２制御部）と、を備える。

【0112】

これにより、情報処理システム１は、情報処理装置１００が複数の伝送量に復号化した符号化データを、複数のクライアント装置２００の中から符号化データの伝送量に基づいて決定したクライアント装置２００に伝送することができる。情報処理システム１は、複数のクライアント装置２００のそれぞれが、復号対象の伝送量の符号化データを復号することができる。その結果、情報処理システム１は、情報処理装置１００が符号化データの伝送量に基づく伝送を制御できるので、１対多通信におけるリアルタイム性を向上させることができる。

【0113】

情報処理システム１では、情報処理装置１００は、エンコーダ１２０が異なる伝送量となるように符号化する複数の階層を備え、制御部１４０が、複数の階層のそれぞれが符号化した符号化データを、複数のクライアント装置２００の中から符号化データの伝送量に基づいて決定したクライアント装置２００に伝送する。クライアント装置２００は、デコーダ２２０がエンコーダ１２０における複数の階層の異なる伝送量に対応している。

【0114】

これにより、情報処理システム１は、情報処理装置１００のエンコーダ１２０が複数の階層を備え、クライアント装置２００が複数の階層の異なる伝送量に適したデコーダを備えることができる。その結果、情報処理システム１は、複数のクライアント装置２００が伝送量に適したデコーダ２２０を備えればよいので、１対多通信におけるリアルタイム性を向上させ、かつクライアント装置２００の構成の簡単化を図ることができる。

【0115】

情報処理システム１では、情報処理装置１００は、複数の階層が前段の階層が符号化した符号化データをさらに符号化して伝送量を減少させ、制御部１４０が複数の階層が符号化するごとに、複数のクライアント装置２００の中から符号化データの伝送量に基づいて決定したクライアント装置２００に、符号化した符号化データを伝送する。

【0116】

これにより、情報処理システム１は、情報処理装置１００がエンコーダ１２０の複数の階層が復号化するごとに、符号化した伝送量が多い符号化データから順に、伝送量に適したクライアント装置２００に伝送することができる。その結果、情報処理システム１は、伝送対象データを段階的に符号化した符号化データを順次伝送することで、１対多通信におけるリアルタイム性をより一層向上させることができる。

【0117】

情報処理システム１では、情報処理装置１００は、制御部１４０がクライアント装置２００からの制御情報Ｄ１０が示す伝送量に基づいて、符号化データを伝送するクライアント装置２００を決定する。クライアント装置２００は、制御部２５０が制御情報Ｄ１０を情報処理装置１００に伝送する制御を行う。

【0118】

これにより、情報処理システム１は、クライアント装置２００が自装置に適した伝送量を示す制御情報Ｄ１０を情報処理装置１０に送信することで、情報処理装置１００が複数のクライアント装置２００のそれぞれに適した伝送量の符号化データを伝送することができる。その結果、情報処理システム１は、情報処理装置１００が符号化データの伝送量に基づく伝送を効率よく制御できるので、１対多通信におけるリアルタイム性をより一層向上させることができる。

【0119】

情報処理システム１では、情報処理装置１００は、制御部１４０が符号化データと符号化した階層を識別可能な階層情報とを有する伝送データＤ２００をクライアント装置２００に伝送する。クライアント装置２００は、制御部２５０が、前記階層情報に基づいて復号化を制御する。

【0120】

これにより、情報処理システム１は、情報処理装置１００が階層情報を有する伝送データＤ２００をクライアント装置２００に伝送することで、クライアント装置２００が階層情報に基づいて伝送データＤ２００の復号化を制御することができる。その結果、情報処理システム１は、クライアント装置２００が伝送データＤ２００に応じてデコーダ２２０の階層を切り替えて復号化できるので、クライアント装置２００の汎用性を向上させることができる。

【0121】

情報処理システム１では、クライアント装置２００は、デコーダ２２０が１または複数の階層を備え、エンコーダ１２０に対応した階層で復号化する。

【0122】

これにより、情報処理システム１は、クライアント装置２００が、デコーダ２２０の階層で復号対象の伝送量の伝送データを復号することができる。その結果、情報処理システム１は、クライアント装置２００が異なる伝送量の符号化データを復号できるので、１対多通信におけるシステム構成の多様化を図ることができる。

【0123】

情報処理システム１では、情報処理装置１００は、制御部１４０がエンコーダ１２０の階層が符号化した符号化データを圧縮してクライアント装置２００に伝送する。クライアント装置２００は、デコーダ２２０が情報処理装置１００からの符号化データを解凍したデータを復号化する。

【0124】

これにより、情報処理システム１は、情報処理装置１００とクライアント装置２００との間の伝送量をより減少させることができる。その結果、情報処理システム１は、１対多通信における伝送量が減少するので、リアルタイム性をより一層向上させることができる。

【0125】

情報処理システム１では、伝送対象データは、残差画像を示すデータを含む。

【0126】

これにより、情報処理システム１は、過去フレームを用いた単方向予測を用いることで、エンコーダ１２０が残差画像を符号化することができる。その結果、情報処理システム１は、エンコーダ１２０が残差画像ｔｂを符号化することで、符号化効率を向上させることができる。

【0127】

情報処理システム１では、エンコーダ１２０及びデコーダ２２０は、高ビットレートまたは低ビットレートを優先して学習されている。

【0128】

これにより、情報処理システム１は、高ビットレートまたは低ビットレートを優先して学習したエンコーダ１２０及びデコーダ２２０を用いることができる。その結果、情報処理システム１は、優先する伝送データＤ２００の品質を変更することができるので、システムの最適化を図ることができる。

【0129】

情報処理装置１００は、複数のクライアント装置２００と通信可能な情報処理装置１００であって、伝送対象データを伝送量が異なる複数の符号化データに符号化するエンコーダ１２０と、複数のクライアント装置２００の中から符号化データの伝送量に基づいて決定したクライアント装置２００に、符号化した符号化データを伝送する制御を行う制御部１４０と、を備える。

【0130】

これにより、情報処理装置１００は、複数の伝送量に復号化した符号化データを、複数のクライアント装置２００の中から符号化データの伝送量に基づいて決定したクライアント装置２００に伝送することができる。その結果、情報処理装置１００は、符号化データの伝送量に基づく伝送を制御できるので、１対多通信におけるリアルタイム性を向上させることができる。

【0131】

情報処理方法は、複数のクライアント装置２００と通信可能な情報処理装置１００が、伝送対象データを伝送量が異なる複数の符号化データにエンコーダ１２０で符号化すること、複数のクライアント装置２００の中から符号化データの伝送量に基づいて決定したクライアント装置２００に、符号化した符号化データを伝送する制御を行うこと、を含む。

【0132】

これにより、情報処理方法は、情報処理装置１００が、複数の伝送量に復号化した符号化データを、複数のクライアント装置２００の中から符号化データの伝送量に基づいて決定したクライアント装置２００に伝送することができる。その結果、情報処理方法は、符号化データの伝送量に基づく伝送を制御できるので、１対多通信におけるリアルタイム性を向上させることができる。

【0133】

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
情報処理装置と、
複数のクライアント装置と、
を備え、
前記情報処理装置は、
伝送対象データを異なる複数の伝送量の符号化データに符号化するエンコーダと、
複数の前記クライアント装置の中から前記符号化データの前記伝送量に基づいて決定した前記クライアント装置に、符号化した前記符号化データを伝送する制御を行う制御部と、
を備え、
前記クライアント装置は、
復号化対象の前記伝送量に対応し、前記符号化データを復号化するデコーダと、
復号化したデータに基づく処理を実行する第２制御部と、
を備える情報処理システム。
（２）
前記情報処理装置は、
前記エンコーダが、異なる前記伝送量となるように符号化する複数の階層を備え、
前記制御部が、複数の前記階層のそれぞれが符号化した前記符号化データを、複数のクライアント装置の中から前記符号化データの前記伝送量に基づいて決定した前記クライアント装置に伝送し、
前記クライアント装置は、
前記デコーダが前記エンコーダにおける複数の前記階層の異なる前記伝送量に対応している
前記（１）に記載の情報処理システム。
（３）
前記情報処理装置は、
複数の前記階層が、前段の前記階層が符号化した前記符号化データをさらに符号化して前記伝送量を減少させ、
前記制御部が、複数の前記階層が符号化するごとに、複数のクライアント装置の中から前記符号化データの前記伝送量に基づいて決定した前記クライアント装置に、符号化した前記符号化データを伝送する
前記（２）に記載の情報処理システム。
（４）
前記情報処理装置は、
前記制御部が、前記クライアント装置からの制御情報が示す前記伝送量に基づいて、前記符号化データを伝送する前記クライアント装置を決定し、
前記クライアント装置は、
前記第２制御部が、前記制御情報を前記情報処理装置に伝送する制御を行う
前記（１）から（３）のいずれかに記載の情報処理システム。
（５）
前記情報処理装置は、
前記制御部が、前記符号化データと符号化した前記階層を識別可能な階層情報とを有する伝送データを前記クライアント装置に伝送し、
前記クライアント装置は、
前記第２制御部が、前記階層情報に基づいて復号化を制御する
前記（１）から（４）のいずれかに記載の情報処理システム。
（６）
前記クライアント装置は、
前記デコーダが、１または複数の第２階層を備え、前記エンコーダの前記階層に対応した前記第２階層で復号化する
（５）に記載の情報処理システム。
（７）
前記情報処理装置は、
前記制御部が、前記階層が符号化した前記符号化データを圧縮して前記クライアント装置に伝送し、
前記クライアント装置は、
前記デコーダが、前記情報処理装置からの前記符号化データを解凍したデータを復号化する
前記（１）から（６）のいずれかに記載の情報処理システム。
（８）
前記伝送対象データは、残差画像を示すデータを含む
前記（１）から（７）のいずれかに記載の情報処理システム。
（９）
前記エンコーダ及び前記デコーダは、高ビットレートまたは低ビットレートを優先して学習されている
前記（１）から（８）のいずれかに記載の情報処理システム。
（１０）
複数のクライアント装置と通信可能な情報処理装置であって、
伝送対象データを伝送量が異なる複数の符号化データに符号化するエンコーダと、
複数のクライアント装置の中から前記符号化データの前記伝送量に基づいて決定した前記クライアント装置に、符号化した前記符号化データを伝送する制御を行う制御部と、
を備える情報処理装置。
（１１）
複数のクライアント装置と通信可能な情報処理装置が、
伝送対象データを伝送量が異なる複数の符号化データにエンコーダで符号化すること、
複数のクライアント装置の中から前記符号化データの前記伝送量に基づいて決定した前記クライアント装置に、符号化した前記符号化データを伝送する制御を行うこと、
を含む情報処理方法。
（１２）
複数のクライアント装置と通信可能な情報処理装置に、
伝送対象データを伝送量が異なる複数の符号化データにエンコーダで符号化すること、
複数のクライアント装置の中から前記符号化データの前記伝送量に基づいて決定した前記クライアント装置に、符号化した前記符号化データを伝送する制御を行うこと、
を実行させる情報処理プログラム。

【符号の説明】

【0134】

１ 情報処理システム
１００ 情報処理装置
１１０ 通信部
１２０ エンコーダ
１２１、１２２、１２３、１２４ 階層
１３０ 記憶部
１４０ 制御部
１５０ 圧縮部
２００、２００Ａ、２００Ｂ、２００Ｃ クライアント装置
２１０ 通信部
２２０、２２０－１、２２０－２、２２０－３ デコーダ
２２１、２２２、２２３、２２４ 階層
２３０ 出力部
２４０ 記憶部
２５０ 制御部
２６０ 解凍部
Ｄ１０ 制御情報
Ｄ１００ コンテンツデータ
Ｄ２００、Ｄ２００－１、Ｄ２００－２、Ｄ２００－３ 伝送データ
Ｄ２１０ ヘッダ部
Ｄ２２０ データ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】