特許 6239472 エンコード装置、デコード装置、ストリーミングシステム、および、ストリーミング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6239472

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】エンコード装置、デコード装置、ストリーミングシステム、および、ストリーミング方法

(51)【国際特許分類】

   H04N 19/30 20140101AFI20171120BHJP

   H04N 19/503 20140101ALI20171120BHJP

   H04N 19/46 20140101ALI20171120BHJP

   H04N 19/114 20140101ALI20171120BHJP

   H04N 19/154 20140101ALI20171120BHJP

【ＦＩ】

   H04N19/30

   H04N19/503

   H04N19/46

   H04N19/114

   H04N19/154

【請求項の数】9

【全頁数】17

(21)【出願番号】特願2014-191604(P2014-191604)

(22)【出願日】2014年9月19日

(65)【公開番号】特開2016-63481(P2016-63481A)

(43)【公開日】2016年4月25日

【審査請求日】2016年9月9日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】権藤 俊一

(72)【発明者】

【氏名】児玉 知也

(72)【発明者】

【氏名】中條 健

(72)【発明者】

【氏名】谷沢 昭行

(72)【発明者】

【氏名】伊東 孝幸

【審査官】 赤穂 州一郎

(56)【参考文献】

【文献】 特開２０１２−０７０４２７（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０５０６７７（ＷＯ，Ａ１）

【文献】 特開２００６−２７９９７１（ＪＰ，Ａ）

【文献】 特開２００２−０６４８１７（ＪＰ，Ａ）

【文献】 特表２００１−５２２２０７（ＪＰ，Ａ）

【文献】 特開平１１−３４１４８８（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１１８２１６（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／０９８８９０（ＷＯ，Ａ１）

【文献】 特開２０１４−０１１７３１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０２１９３４６（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１０／００４６６２２（ＵＳ，Ａ１）

【文献】 大久保榮 et al.，”改訂三版Ｈ．２６４／ＡＶＣ教科書 H.264/AVC TEXTBOOK”，株式会社インプレスＲ＆Ｄ，２００９年 １月 １日，１，２８５−３０４頁、奥付

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

画像内符号化画像を含むように第１のビットレートでエンコードした複数の画像からなる第１の画像群と、画像間差分符号化画像をデコードするための基準画像として前記画像内符号化画像を関連付けると共に、前記第１のビットレートとは異なる第２のビットレートでエンコードした、前記第１の画像群に再生タイミングが同期した複数の画像からなる第２の画像群とを少なくとも含む映像ストリームを生成するエンコード部を有し、
前記第１の画像群と再生タイミングが同期した前記第２の画像群は、低画質の画像群であり、一部または複数の部分が高画質化された画像を含む画像群であること
を特徴とするエンコード装置。

【請求項2】

前記エンコード部は、前記映像ストリームのファイル内に、前記関連付けられている前記基準画像を示す参照情報を挿入し、または、前記関連付けられている前記基準画像を示す再生制御ファイルを、前記映像ストリームに付加して出力すること
を特徴とする請求項１に記載のエンコード装置。

【請求項3】

前記基準画像を含む前記第１のビットレートの前記第１の画像群は、前記基準画像となる前記画像内符号化画像、および、前記画像間差分符号化画像を含み、
前記第２のビットレートの前記第２の画像群は、前記基準画像を用いてデコードされる、前記画像間差分符号化画像のみを含むこと
を特徴とする請求項１または請求項２に記載のエンコード装置。

【請求項4】

画像内符号化画像を含むように第１のビットレートでエンコードした複数の画像からなる第１の画像群と、画像間差分符号化画像をデコードするための基準画像として前記画像内符号化画像を関連付けると共に、前記第１のビットレートとは異なる第２のビットレートでエンコードした、前記第１の画像群に同期した複数の画像からなる第２の画像群とを少なくとも含む映像ストリームを受信する受信部と、
受信された前記基準画像を参照して前記画像間差分符号化画像をデコードするデコード部とを有し、
前記第１の画像群に同期した前記第２の画像群は、低画質の画像群であり、一部または複数の部分が高画質化された画像を含む画像群であること
を特徴とするデコード装置。

【請求項5】

前記映像ストリームのファイル内に、前記関連付けられている前記基準画像を示す基準画像情報が挿入され、または、前記関連付けられている前記基準画像を示す再生制御ファイルが、前記映像ストリームに付加されており、
前記デコード部は、前記基準画像情報で示される前記基準画像、または、前記再生制御ファイルで示される前記基準画像を用いて、前記画像間差分符号化画像をデコードすること
を特徴とする請求項４に記載のデコード装置。

【請求項6】

前記基準画像を含む前記第１のビットレートの前記第１の画像群は、前記基準画像となる前記画像内符号化画像、および、前記画像間差分符号化画像を含み、
前記第２のビットレートの前記第２の画像群は、前記基準画像を用いてデコードされる、前記画像間差分符号化画像のみを含むこと
を特徴とする請求項４または請求項５に記載のデコード装置。

【請求項7】

前記デコード部は、同じ前記映像ストリーム内の全ての前記画像間差分符号化画像を、前記基準画像として関連付けられている前記画像内符号化画像を用いてデコードし、または、同じ前記映像ストリーム内の複数の画像間差分符号化画像のうち、一つの画像間差分符号化画像を、前記基準画像として関連付けられている前記画像内符号化画像を用いてデコードし、他の画像間差分符号化画像を、前記画像内符号化画像を用いてデコードされた前記画像間差分符号化画像を用いてデコードすること
を特徴とする請求項４から請求項６のうち、いずれか一項に記載のデコード装置。

【請求項8】

画像内符号化画像を含むように第１のビットレートでエンコードした複数の画像からなる第１の画像群と、画像間差分符号化画像をデコードするための基準画像として前記画像内符号化画像を関連付けると共に、前記第１のビットレートとは異なる第２のビットレートでエンコードした、前記第１の画像群に再生タイミングが同期した複数の低画質の画像群であり、一部または複数の部分が高画質化された画像を含む第２の画像群とを少なくとも含む映像ストリームを生成するエンコード部と、
前記エンコード部で生成された映像ストリームをストリーミング送信する送信部と
を備えた送信装置と、
前記エンコードされた前記映像ストリームを受信する受信部と、
受信された前記基準画像を参照して前記画像間差分符号化画像をデコードするデコード部と
を備えた受信装置と
を有するストリーミングシステム。

【請求項9】

送信装置のエンコード部が、画像内符号化画像を含むように第１のビットレートでエンコードした複数の画像からなる第１の画像群と、画像間差分符号化画像をデコードするための基準画像として前記画像内符号化画像を関連付けると共に、前記第１のビットレートとは異なる第２のビットレートでエンコードした、前記第１の画像群に再生タイミングが同期した複数の低画質の画像群であり、一部または複数の部分が高画質化された画像を含む第２の画像群とを少なくとも含む映像ストリームを生成するエンコードステップと、
送信装置の送信部が、前記エンコード部で生成された映像ストリームをストリーミング送信する送信ステップと、
受信装置の受信部が、前記エンコードされた前記映像ストリームを受信する受信ステップと、
受信装置のデコード部が、受信された前記基準画像を参照して前記画像間差分符号化画像をデコードするデコードステップと
を有するストリーミング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施の形態は、エンコード装置、デコード装置、ストリーミングシステム、および、ストリーミング方法に関する。

【背景技術】

【0002】

今日において、ネットワークを介して映像ストリームを伝送する技術として、アダプティブストリーミングが知られている。アダプティブストリーミングは、ネットワークの通信帯域の変動に応じて、伝送する映像ストリームのビットレート等を変化させ、映像の再生が途切れないように伝送する技術である。

【0003】

このようなアダプティブストリーミングにおいて、伝送する映像ストリームのビットレート等を変化させる方式として、「ダイナミックエンコード方式」と「マルチエンコード方式」とが知られている。ダイナミックエンコード方式は、伝送処理における帯域予測等を用いて、エンコーダによる映像ストリームの生成ビットレートを動的に調整する方式である。また、マルチエンコード方式は、エンコーダで複数のビットレートの映像ストリームをそれぞれ生成し、生成されたビットレートの映像ストリームの中から、送受信処理側が、帯域予測等に対応するビットレートの映像ストリームを動的に選択する方式である。

【0004】

マルチエンコード方式のアダプティブストリーミングにおいては、エンコーダにより映像ソースを異なる複数のビットレートの映像ストリームに変換する際に、全ての映像ストリームで再生時刻が同期するように生成される。このため、例えば最初の数秒を高ビットレートの映像ストリームから再生し、続く数秒を低ビットレートの映像ストリームから再生し、さらに続く数秒を中間ビットレートの映像ストリームから再生することが実現できる。そして、再生中において、異なるビットレートの映像ストリームに切り替えたとしても、映像が途切れることなく再生可能である。

【0005】

しかし、マルチエンコード方式のアダプティブストリーミングにおいては、エンコーダにより映像ソースを異なる複数のビットレートの映像ストリームに変換する際に生成される映像ストリームは、全て独立した映像ストリームとなっていた。

【0006】

このため、映像ストリームの切り替えが可能となるのは、各映像ストリーム同士でランダムアクセスが可能な時点（通常、ＧＯＰ等の先頭のＩピクチャ等）に限られる問題があった。ＧＯＰは、「Group Of Pictures」の略記である。Ｉピクチャは、画像内符号化画像である。

【0007】

さらに、取得を開始した映像ストリームの再生時間内に映像ストリームの取得を完了できない場合、映像再生が途切れてしまう問題があった。このため、特に状況の悪いネットワークで映像伝送する場合、安易に高ビットレートの映像ストリームを取得することができない問題があった。また、映像ストリームの再生時間内に映像ストリームの取得完了を見越して、長めのバッファリング時間を取ることが必要となる問題があった。このため、再生される映像品質の低下、および、遅延の増大等の不都合を生ずる問題があった。

【0008】

このようにマルチエンコード方式のアダプティブストリーミングにおいては、再生効率および再生品質に問題があった。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００５−１１０２４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明が解決しようとする課題は、再生効率、および、再生品質を向上できるエンコード装置、デコード装置、ストリーミングシステム、および、ストリーミング方法を提供することである。

【課題を解決するための手段】

【0011】

実施形態によれば、エンコード部が、画像内符号化画像を含むように第１のビットレートでエンコードした複数の画像からなる第１の画像群と、画像間差分符号化画像をデコードするための基準画像として画像内符号化画像を関連付けると共に、第１のビットレートとは異なる第２のビットレートでエンコードした、第１の画像群に再生タイミングが同期した複数の低画質の画像群であり、一部または複数の部分が高画質化された画像を含む第２の画像群とを少なくとも含む映像ストリームを生成する。

【図面の簡単な説明】

【0012】

【図1】図１は、第１の実施の形態のストリーミングシステムのシステム構成図である。

【図2】図２は、第１の実施の形態のストリーミングシステムに設けられているサーバ装置のブロック図である。

【図3】図３は、第１の実施の形態のストリーミングシステムに設けられているクライアント装置のブロック図である。

【図4】図４は、第１の実施の形態のストリーミングシステムのサーバ装置におけるエンコード動作を説明するためのフローチャートである。

【図5】図５は、第１の実施の形態のストリーミングシステムのサーバ装置におけるエンコード動作を説明するための模式図である。

【図6】図６は、第１の実施の形態のストリーミングシステムのサーバ装置におけるエンコード動作を説明するための他の模式図である。

【図7】図７は、第１の実施の形態のストリーミングシステムのクライアント装置におけるデコード動作を説明するためのフローチャートである。

【図8】図８は、第２の実施の形態のストリーミングシステムに設けられているサーバ装置のエンコード動作を説明するための模式図である。

【図9】図９は、第３の実施の形態のストリーミングシステムに設けられているサーバ装置のエンコード動作を説明するための模式図である。

【図10】図１０は、第４の実施の形態のストリーミングシステムの動作を説明するための模式図である。

【図11】図１１は、第５の実施の形態のストリーミングシステムの動作を説明するための模式図である。

【図12】図１２は、第５の実施の形態のストリーミングシステムの動作を説明するための模式図である。

【発明を実施するための形態】

【0013】

以下、一例として、エンコード装置、デコード装置、ストリーミングシステム、および、ストリーミング方法を適用した実施の形態のストリーミングシステムを説明する。まず、第１の実施の形態のストリーミングシステムは、一例としてマルチエンコード方式のアダプティブストリーミングシステムとなっている。そして、第１の実施の形態のストリーミングシステムは、後述するように、エンコーダが映像ソース（マスタデータ）を異なるビットレートのストリームに変換する際に、相関性のある映像ストリームとして生成し（場合によりメタファイルを生成し）、映像ストリームの切り替えの際に相関性を考慮して異なる映像ストリームを取得する。

【0014】

［第１の実施の形態］
図１に、第１の実施の形態のストリーミングシステムのシステム構成図を示す。この図１に示すように、第１の実施の形態のストリーミングシステムは、サーバ装置１およびクライアント装置２を有している。サーバ装置１およびクライアント装置２は、インターネット等のネットワーク３を介して相互に接続されている。サーバ装置１は、所定の映像ストリームを、後述するようにエンコードし、ネットワーク３を介して配信する。クライアント装置２は、サーバ装置１から映像ストリームを受信し、デコードして、モニタ装置に表示し、または、レコーダ装置等に記録する。

【0015】

図２にサーバ装置１のブロック図を示す。図２に示すように、サーバ装置１は、通常のパーソナルコンピュータ装置と同様のハードウェア構成を有している。すなわち、サーバ装置１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＨＤＤ（ハードディスクドライブ）１４、および、通信部１５を備える。ＣＰＵ１１〜通信部１５は、バスライン１６を介して相互に接続されている。ＣＰＵは、「Central Processing Unit」の略記である。ＲＯＭは、「Read Only Memory」の略記である。ＲＡＭは、「Random Access Memory」の略記である。

【0016】

ＨＤＤ１４には、映像ストリームをエンコードするためのエンコードプログラムが記憶されている。ＣＰＵ１１は、エンコードプログラムに従って動作することで、エンコード部の一例であるエンコーダ１７として機能し、映像ストリームをエンコード処理して配信する。なお、エンコードプログラムは、ＲＯＭ１２またはＲＡＭ１３に記憶されていてもよい。

【0017】

図３にクライアント装置２のブロック図を示す。図３に示すように、クライアント装置２は、通常のパーソナルコンピュータ装置と同様のハードウェア構成を有している。すなわち、クライアント装置２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ＨＤＤ（ハードディスクドライブ）２４、および、通信部２５を備える。ＣＰＵ２１〜通信部２５は、バスライン２６を介して相互に接続されている。通信部２５は、受信部の一例である。

【0018】

ＨＤＤ２４には、サーバ装置１から受信した映像ストリームをデコードするためのデコードプログラムが記憶されている。ＣＰＵ２１は、デコードプログラムに従って動作することで、デコード部の一例であるデコーダ２７として機能し、サーバ装置１から受信した映像ストリームをデコード処理する。なお、デコードプログラムは、ＲＯＭ２２またはＲＡＭ２３に記憶されていてもよい。

【0019】

この例では、エンコーダ１７およびデコーダ２７はソフトウェア的に実現されるものとして説明を進める。しかし、エンコーダ１７およびデコーダ２７のうち、全部またはいずれか一つをハードウェアで実現してもよい。

【0020】

また、エンコードプログラムおよびデコードプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、エンコードプログラムおよびデコードプログラムは、ＣＤ−Ｒ、ＤＶＤ、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。ＤＶＤは、「Digital Versatile Disk」の略記である。また、エンコードプログラムおよびデコードプログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、エンコードプログラムおよびデコードプログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。

【0021】

次に、第１の実施の形態のストリーミングシステムにおける映像ストリームの送受信動作を説明する。まず、サーバ装置１のエンコーダ１７は、所定の時点で区切った映像ソースを、それぞれ異なるビットレートとなるようにエンコード処理することで、各ビットレートのＧＯＰを生成する。一例ではあるが、エンコーダ１７は、高ビットレート、低ビットレート、および、高ビットレートと低ビットレートの中間のビットレート（中間ビットレート）のＧＯＰをそれぞれ生成する。そして、エンコーダ１７は、同一の時点の区切られた各ビットレートのＧＯＰをまとめて、一つの映像ストリームを生成し、ＨＤＤ１４に記憶する。高ビットレートのＧＯＰは、第１のビットレートの第１の画像群の一例である。また、中間のビットレートおよび低ビットレートのＧＯＰは、第２のビットレートの第２の画像群の一例である。各映像ストリームの各ＧＯＰは、それぞれ独立再生可能となっている。

【0022】

なお、この例では、生成された各映像ストリームは、ＨＤＤ１４に記憶されることとしたが、例えばライブ映像のようにリアルタイムで配信する場合は、リアルタイムでエンコードされ、クライアント装置２側に配信される。

【0023】

また、この例では、エンコーダ１７は、同一の時点の区切られた各ビットレートのＧＯＰをまとめて、一つの映像ストリームを生成することとした。しかし、エンコーダ１７が、一つの映像ストリームに一つのビットレートのＧＯＰのみを含むように、映像ソースをエンコードしてもよい。この場合、エンコーダ１７は、同一の時点で区切った映像ソースから、高ビットレートのＧＯＰ、中間ビットレートのＧＯＰ、および、低ビットレートのＧＯＰをエンコードする。そして、エンコーダ１７は、高ビットレートのＧＯＰのみを含む第１の映像ストリーム、中間ビットレートのＧＯＰのみを含む第２の映像ストリーム、および、低ビットレートのＧＯＰのみを含む第３の映像ストリームを生成する。

【0024】

また、エンコーダ１７は、各映像ストリームのファイル内に、Ｐピクチャのデコード時に参照する基準画像が含まれている映像ストリームを示す参照情報を挿入する。または、エンコーダ１７は、Ｐピクチャのデコード時に参照する基準画像が含まれている映像ストリームを示す再生制御ファイルを、各映像ストリームに付加する。デコーダ２７は、参照情報または再生制御ファイルで指定される映像ストリームを参照し、上述の各実施の形態で説明したように、Ｐピクチャをデコードする。これにより、上述の各実施の形態と同様の効果を得ることができる。

【0025】

次に、クライアント装置２のデコーダ２７は、映像ストリームの通信帯域を計測している。デコーダ２７は、計測した通信帯域に応じて、受信するＧＯＰのビットレートを選択する。そして、デコーダ２７は、サーバ装置１に対して、選択したビットレートのＧＯＰの映像ストリームの配信要求を行う。

【0026】

具体的には、デコーダ２７は、通信帯域に余裕があるときには、高ビットレートのＧＯＰの映像ストリームの配信要求を行う。これに対して、通信帯域に余裕が無いときには、デコーダ２７は、低ビットレートのＧＯＰの映像ストリームの配信要求を行う。また、デコーダ２７は、通信帯域に多少の余裕があるときには、中間ビットレートのＧＯＰの映像ストリームの配信要求を行う。

【0027】

デコーダ２７は、選択したビットレートのＧＯＰの映像ストリームを、サーバ装置１から受信する。そして、デコーダ２７は、受信した映像ストリームをデコード処理し、モニタ装置等に表示する。または、デコーダ２７は、受信した映像ストリームを記録装置に出力して記録媒体に記録する。

【0028】

なお、この例は、クライアント装置２側でネットワークの通信帯域を計測し、計測した通信帯域に対応するビットレートのＧＯＰの配信要求を、サーバ装置１に行うこととした。しかし、サーバ装置１が、ネットワークの帯域を計測して、送信するＧＯＰのビットレートを切り替えて配信してもよい。このための具体的な手法としては、アダプティブストリーミングのストリーミング切り替え手法では、ストリーム指定方法を拡張し、各画像への参照を定義することで実現が可能である。

【0029】

また、クライアント装置２またはサーバ装置１以外の何らかの装置、ルータ装置、または専用測定装置等でネットワークの通信帯域を計測し、クライアント装置２またはサーバ装置１が計測結果を受信して、ＧＯＰのビットレートを切り替えるための情報として用いてもよい。また，クライアント装置２で計測したネットワークの通信帯域の計測結果をサーバ装置１が受信し、サーバ装置１が、ＧＯＰのビットレートを切り替えてもよい。または、サーバ装置１が計測した通信帯域の計測結果をクライアント装置２が受信し、クライアント装置２が、ＧＯＰのビットレートを切り替えてもよい。

【0030】

次に、第１の実施の形態のストリーミングシステムにおける映像ストリームのエンコード動作およびデコード動作の詳細を説明する。まず、図４のフローチャートに、サーバ装置１のエンコード動作の流れを示す。サーバ装置１のＣＰＵ１１は、映像ストリームのエンコード時になると、エンコーダ１７として機能する。エンコーダ１７は、ステップＳ１において、所定のビットレートの映像ストリームの画像内符号化画像（Ｉピクチャ）を、他の画像間差分符号化画像（Ｐピクチャ）で参照するように、各映像ストリームにＩピクチャの参照情報を挿入して、所定のエンコード処理を行う。

【0031】

なお、Ｉピクチャは、他の画像を参照しないでデコードできるように画像内で符号化された画像である。また、Ｐピクチャは、直前のフレームから変化した差分のデータのみを符号化した画像である。このＰピクチャと共に、または、Ｐピクチャの代わりにＢピクチャを用いてもよい。Ｂピクチャは、前後の画像に対する変化差分のデータのみを符号化した画像である。

【0032】

図５および図６に、エンコーダ１７のエンコード動作の模式図を示す。エンコーダ１７は、ＭＰＥＧ方式に従って、映像ソースのエンコード処理を行う。具体的には、エンコーダ１７は、最初の数秒の映像ソースをエンコード処理することで、第１の映像ストリームを生成し、最初の数秒の映像ソースに続く数秒の映像ソースをエンコード処理することで、第２の映像ストリームを生成する等のように、所定時間毎に映像ソースをエンコード処理して、連続する映像ストリームを生成する。

【0033】

エンコーダ１７は、図５および図６に示すように高ビットレートのＧＯＰ、中間ビットレートのＧＯＰ、および、低ビットレートのＧＯＰを含むように各映像ストリームを生成する。ＧＯＰは、「Group Of Pictures」の略記である。図５に示す「Ｈ１」の符号は、第１の映像ストリームに含まれる高ビットレートのＧＯＰを示している。同様に、「Ｈ２」の符号は、第２の映像ストリームに含まれる高ビットレートのＧＯＰを示している。また、「Ｍ１」の符号は、第１の映像ストリームに含まれる中間ビットレートのＧＯＰを示している。同様に、「Ｍ２」の符号は、第２の映像ストリームに含まれる中間ビットレートのＧＯＰを示している。また、「Ｌ１」の符号は、第１の映像ストリームに含まれる低ビットレートのＧＯＰを示している。同様に、「Ｌ２」の符号は、第２の映像ストリームに含まれる低ビットレートのＧＯＰを示している。

【0034】

図５および図６に示す例の場合、エンコーダ１７は、各ビットレートのＧＯＰのＰピクチャ（Ｐ−pic）をデコードする際に参照する画像として、高ビットレートのＧＯＰのＩピクチャ（Ｉ−pic）を指定してエンコード処理を行う。具体的には、エンコーダ１７は、各ＧＯＰのヘッダ等に、Ｐピクチャをデコードする際に参照するＩピクチャを指定する参照情報を挿入する。なお、エンコーダ１７は、参照するＩピクチャを示す再生制御ファイルを生成して、各ＧＯＰまたは対応する映像ストリームに付加してもよい。

【0035】

エンコーダ１７により生成された各映像ストリームは、図４のフローチャートのステップＳ２において、ＣＰＵ１１が通信部１５を通信制御して、各クライアント装置２に配信される。これにより、図４のフローチャートの処理が終了する。

【0036】

次に、図７のフローチャートに、クライアント装置２における、受信した映像ストリームのデコード処理の流れを示す。クライアント装置２のＣＰＵ２１は、ＨＤＤ２４に記憶されているデコードプログラムに従ってデコーダ２７として機能し、サーバ装置１から受信した映像ストリームをデコード処理する。

【0037】

具体的には、サーバ装置１から映像ストリームを受信すると、デコーダ２７は、図７のフローチャートのステップＳ１１において、上述の参照情報または再生制御ファイルで指定されるＩピクチャをデコードする。また、デコーダ２７は、ユーザに選択されたビットレートのＧＯＰのＰピクチャを、デコードしたＩピクチャを用いてデコードする。

【0038】

図５および図６は、デコードされたＩピクチャを用いて、各ビットレートのＧＯＰのＰピクチャがデコードされる様子を示している。なお、図５および図６の例は、高ビットレートのＧＯＰのＩピクチャが参照情報で指定されている例である。この場合は、高ビットレートのＧＯＰのＩピクチャで他のＰピクチャがデコードされる。しかし、例えば中間ビットレートのＧＯＰのＩピクチャを参照情報で指定してもよい。この場合は、中間ビットレートのＧＯＰのＩピクチャで他のＰピクチャがデコードされる。さらに、低ビットレートのＧＯＰのＩピクチャを参照情報で指定してもよい。この場合は、低ビットレートのＧＯＰのＩピクチャで他のＰピクチャがデコードされる。

【0039】

このようにデコードされた映像ストリームは、ステップＳ１２において、モニタ装置に出力されることで表示される。これにより、図７のフローチャートのデコード処理が終了する。なお、映像ストリームを、記録装置に出力し、記録媒体に記録してもよい。この場合、映像ストリームは、デコードせずに記録してもよい。また、通信レートに合わせた各ビットレートで受信したデータを、そのまま記録してもよいし、各映像ストリームを統合結合することで再構成した後に記録してもよい。

【0040】

以上の説明から明らかなように、第１の実施の形態のストリーミングシステムは、各映像ストリーム毎に、いずれかのビットレートのＩピクチャを、Ｐピクチャをデコードする際に用いる画像として指定してエンコード処理する。そして、デコードする際に、指定されているＩピクチャをデコードすると共に、デコードしたＩピクチャを用いて、ユーザに指定されたＧＯＰのＰピクチャをデコードする。

【0041】

通常、マルチエンコード方式のアダプティブストリーミングシステムにおいては、エンコーダにより映像ソースを異なる複数のビットレートの映像ストリームに変換する際に生成される映像ストリームは、全て独立した映像ストリームとなっている。このため、映像ストリームの切り替えが可能となるタイミングは、映像ストリーム同士でランダムアクセスが可能となるタイミング（ＧＯＰの先頭のＩピクチャのタイミング）に限られていた。

【0042】

しかし、第１の実施の形態のストリーミングシステムの場合、各ＧＯＰのＰピクチャは、予め指定されているＩピクチャを用いてデコードされる。このため、図５のＫＴ１〜ＫＴ４に示すように、Ｉピクチャのタイミング、および、各ＧＯＰの全てのＰピクチャのタイミングで、映像ストリームの切り替えを可能とすることができる。このため、マルチエンコード方式のアダプティブストリーミングシステムにおいて、映像ストリームの切り替えが可能なタイミングを増やすことができる。

【0043】

また、第１の実施の形態のストリーミングシステムは、状況の悪いネットワークで映像伝送する際も、安易に低ビットレートの映像ストリームを取得して映像品質の低下を防止できる。また、映像ストリームの再生時間内で全体の取得完了を見越した長めのバッファリング時間を取ることによる遅延を防止することができる。

【0044】

［第２の実施の形態］
次に、第２の実施の形態のストリーミングシステムの説明をする。上述の第１の実施の形態のストリーミングシステムは、いずれかのＧＯＰのＩピクチャを、他のＰピクチャのデコードの際に参照するものであった。これに対して、第２の実施の形態のストリーミングシステムは、先頭のＰピクチャをデコードする際に、いずれかのＧＯＰのＩピクチャを参照してデコードし、以後、後続するＰピクチャを、デコード済みの直前のＰピクチャを参照してデコードするようにしたものである。

【0045】

図８は、このような第２の実施の形態のストリーミングシステムのエンコード動作を示す模式図である。この例の場合、エンコーダ１７は、上述の参照情報または再生制御ファイルにより、各ビットレートのＧＯＰの先頭のＰピクチャをデコードする際に参照する画像として、高ビットレートのＧＯＰのＩピクチャを指定して映像ソースをエンコードする。また、エンコーダ１７は、上述の参照情報または再生制御ファイルにより、各ビットレートのＧＯＰの第２番目以降のＰピクチャをデコードする際に参照する画像として、直前のＰピクチャを指定して映像ソースをエンコードする。

【0046】

図８に示す例の場合、Ｉピクチャは、高ビットレートのＧＯＰに生成されている。このため、デコーダ２７は、高ビットレートのＧＯＰのＩピクチャを参照して、各ビットレートのＧＯＰの先頭のＰピクチャをデコードする。また、デコーダ２７は、Ｉピクチャを用いてデコードされた先頭のＰピクチャを参照して、第２番目のＰピクチャをデコードする。さらに、デコーダ２７は、先頭のＰピクチャを参照してデコードされた第２番目のＰピクチャを参照して、第３番目のＰピクチャをデコードする。すなわち、デコーダ２７は、デコードしようとしているＰピクチャの直前に位置するデコード済みのＰピクチャを用いて、第２番目以降のＰピクチャをデコードする。

【0047】

これにより、第２の実施の形態のストリーミングシステムは、図８に示すようにＩピクチャのタイミング、および、各ＧＯＰのデコード済みのＰピクチャのタイミングで、映像ストリームの切り替えを可能とすることができる。このため、第２の実施の形態のストリーミングシステムは、映像ストリームの切り替えが可能なタイミングを増やすことができる他、上述の第１の実施の形態と同様の効果を得ることができる。

【0048】

［第３の実施の形態］
次に、第３の実施の形態のストリーミングシステムの説明をする。上述の第２の実施の形態のストリーミングシステムは、先頭のＰピクチャをデコードする際に、いずれかのＧＯＰのＩピクチャを参照してデコードし、以後、後続するＰピクチャを、デコードされた直前のＰピクチャを参照してデコードするようにしたものであった。これに対して、第３の実施の形態のストリーミングシステムは、デコードされた直前のＰピクチャを参照して後続するＰピクチャをデコードする際に、Ｉピクチャを含むＧＯＰのＰピクチャを参照してデコードするＰピクチャを含めたものである。

【0049】

図９は、このような第３の実施の形態のストリーミングシステムのエンコード動作を示す模式図である。この例の場合、エンコーダ１７は、上述の参照情報または再生制御ファイルにより、各ビットレートのＧＯＰの先頭のＰピクチャをデコードする際に参照する画像として、高ビットレートのＧＯＰのＩピクチャを指定して映像ソースをエンコードする。また、エンコーダ１７は、上述の参照情報または再生制御ファイルにより、Ｉピクチャを含むＧＯＰの第２番目以降のＰピクチャをデコードする際に参照する画像として、直前のＰピクチャを指定して映像ソースをエンコードする。

【0050】

また、エンコーダ１７は、上述の参照情報または再生制御ファイルにより、Ｉピクチャを含まないビットレートのＧＯＰの第２番目のＰピクチャをデコードする際に参照する画像として、直前のＰピクチャを指定して映像ソースをエンコードする。また、エンコーダ１７は、上述の参照情報または再生制御ファイルにより、Ｉピクチャを含まないビットレートのＧＯＰの第３番目のＰピクチャをデコードする際に参照する画像として、高ビットレートのＧＯＰの第２番目のＰピクチャを指定して映像ソースをエンコードする。また、エンコーダ１７は、上述の参照情報または再生制御ファイルにより、Ｉピクチャを含まないビットレートのＧＯＰの第４番目のＰピクチャをデコードする際に参照する画像として、直前の第３番目のＰピクチャを指定して映像ソースをエンコードする。

【0051】

図９に示す例の場合、Ｉピクチャは、高ビットレートのＧＯＰに生成されている。このため、デコーダ２７は、高ビットレートのＧＯＰのＩピクチャを参照して、各ビットレートのＧＯＰの先頭のＰピクチャをデコードする。また、デコーダ２７は、Ｉピクチャを含むＧＯＰの各Ｐピクチャを、直前のＰピクチャを用いてデコードする。

【0052】

また、デコーダ２７は、Ｉピクチャを含まないＧＯＰの第２番目のＰピクチャを、Ｉピクチャを用いてデコードされた先頭のＰピクチャを参照してデコードする。また、デコーダ２７は、Ｉピクチャを含まないＧＯＰの第３番目のＰピクチャを、Ｉピクチャを含む高ビットレートのＧＯＰの第２番目のＰピクチャを参照してデコードする。さらに、デコーダ２７は、Ｉピクチャを含まないＧＯＰの第４番目のＰピクチャを、直前の第３番目のＰピクチャを参照してデコードする。すなわち、デコーダ２７は、所定数のＰピクチャのデコード処理を行う毎に、Ｉピクチャを含むＧＯＰのＩピクチャまたはＰピクチャを参照してデコード処理を行う。

【0053】

これにより、第３の実施の形態のストリーミングシステムは、図９に示すＩピクチャのタイミング、および、各ＧＯＰの先頭のＰピクチャのタイミングで、映像ストリームの切り替えを可能とすることができる等、上述の第２の実施の形態と同様の効果を得ることができる。第３の実施の形態のストリーミングシステムの場合、切り替えは、参照元のＩピクチャ、または、Ｐピクチャを含む映像ストリームから参照先の映像ストリームの一方向のみ可能となる。しかし、第３の実施の形態のストリーミングシステムは、参照先が直前のフレームとなるため、参照先のフレームのデータ量を削減することができる。

【0054】

［第４の実施の形態］
次に、第４の実施の形態のストリーミングシステムの説明をする。第４の実施の形態のストリーミングシステムは、上述の複数の異なるビットレートのＧＯＰと共に、画像の一部を高画質化した画像を含むＧＯＰで各映像ストリームを構成したものである。

【0055】

第４の実施の形態のストリーミングシステムの場合、サーバ装置１のエンコーダ１７は、図１０に示すように、複数の異なるビットレートのＧＯＰと共に、部分的に高画質化したビットレートのＧＯＰで各映像ストリームを構成するように、映像ソースをエンコードする。すなわち、図１０に示す「Ｈ」、「Ｍ」、「Ｌ」、「Ｐ」は、それぞれ高ビットレートのＧＯＰ、中間ビットレートのＧＯＰ、低ビットレートのＧＯＰ、部分的に高画質化された低ビットレートのＧＯＰを示している。すなわち、部分的に高画質化された低ビットレートのＧＯＰは、低画質の画像のＧＯＰである。そして、低画質の画像のうち、一部または複数の部分が高画質の画像となっている。また、「Ｈ１」、「Ｍ１」、「Ｌ１」、「Ｐ１」は、第１の映像ストリームに含まれるＧＯＰを示している。同様に、「Ｈ２」、「Ｍ２」、「Ｌ２」、「Ｐ２」は、第２の映像ストリームに含まれるＧＯＰを、「Ｈ３」、「Ｍ３」、「Ｌ３」、「Ｐ３」は、第３の映像ストリームに含まれるＧＯＰを示している。

【0056】

また、各映像ストリームの各ＧＯＰは、第１の実施の形態〜第３の実施の形態で説明した構成となっている。すなわち、各映像ストリームの各ＧＯＰは、Ｐピクチャのデコードは、いずれかのビットレートのＩピクチャを参照してデコードする構成となっている。または、各映像ストリームの各ＧＯＰは、いずれかのビットレートのＩピクチャを参照してデコード済みのＰピクチャを参照してデコードする構成となっている。

【0057】

なお、この例では、低ビットレートのＧＯＰに、高画質化された部分的な画像を含ませることとしたが、中間ビットレートのＧＯＰまたは高ビットレートのＧＯＰに、高画質化された部分的な画像を含ませてもよい。

【0058】

クライアント装置２においては、デコーダ２７が、映像ストリームの受信中に通信帯域を計測する。そして、デコーダ２７は、計測した通信帯域に応じて、次に受信するビットレートを選択して映像ストリームを受信する。

【0059】

具体的には、デコーダ２７は、通信帯域に余裕があるときには、高ビットレートのＧＯＰを選択して受信しデコードする。これに対して、通信帯域に余裕が無いときには、デコーダ２７は、低ビットレートのＧＯＰを選択してデコードする。さらに、通信帯域に余裕が無いときにおいて、高画質な画像を得たい場合には、部分的に高画質化された低ビットレートのＧＯＰを選択して受信しデコードする。部分的に高画質化された低ビットレートのＧＯＰを選択することで、低ビットレートのＧＯＰをスムーズに受信しながら、部分的ではあるが、所望の部分が高画質化された画像を得ることができる。

【0060】

このような第４の実施の形態のストリーミングシステムは、部分的に高画質化したＧＯＰを取り扱うストリーミングシステムを、アダプティブストリーミングによる映像ストリームの切り替えで実現する際に、生成する映像データの組み合わせを減らし応答遅延を減らすことができる他、上述の各実施の形態と同様の効果を得ることができる。

【0061】

［第５の実施の形態］
次に、第５の実施の形態のストリーミングシステムの説明をする。高ビットレートの画像であっても、部分的にズームアップさせると、ぼやけた画像となる。このため、第５の実施の形態のストリーミングシステムでは、全体画像から選択された部分的な高画質画像を配信することで、ユーザが全体画像中の所望の部分を高画質で見ることができるようにしたものである。

【0062】

図１１は、第５の実施の形態のストリーミングシステムで用いられる画像の生成の仕方を説明するための図である。第５の実施の形態のストリーミングシステムの場合、サーバ装置１のエンコーダ１７は、図１１に示すように、例えば横×縦が３８４０画素×２１６０画素の広角かつ高解像度の映像ソースを用いる。そして、エンコーダ１７は、広角かつ高解像度の映像ソースを、横×縦を１２８０画素×７２０画素に縮小した縮小画像のＧＯＰを生成する。また、エンコーダ１７は、広角かつ高解像度の映像ソースを、所定の画素数のトリミング領域に分割する。そして、エンコーダ１７は、各トリミング領域のＧＯＰを生成する。図１１に示す第１のトリミング領域〜第ｎのトリミング領域は、それぞれ広角かつ高解像度の映像ソースから分割された所定の画素数のトリミング領域を示している。第ｎのトリミング領域の「ｎ」は、自然数である。

【0063】

また、第５の実施の形態のストリーミングシステムの場合、各トリミング領域のＧＯＰにおいてＰピクチャをデコードする際、第１の実施の形態で説明したように、例えば縮小画像のＧＯＰのＩピクチャを参照する構成となっている（図５および図６参照）。または、第５の実施の形態のストリーミングシステムの場合、第２の実施の形態で説明したように、各トリミング領域のＧＯＰの先頭のＰピクチャをデコードする際、縮小画像のＧＯＰのＩピクチャを参照してデコードし、以後、後続するＰピクチャを、デコードされた直前のＰピクチャを参照してデコードする構成となっている（図８参照）。または、第５の実施の形態のストリーミングシステムの場合、第３の実施の形態で説明したように、各トリミング領域のＧＯＰにおいてＰピクチャをデコードする際、縮小画像のＧＯＰのＩピクチャまたは縮小画像のＧＯＰのデコード済みのＰピクチャを用いて、各トリミング領域のＧＯＰのＰピクチャをデコードする構成となっている（図９参照）。

【0064】

次に、図１２は、第５の実施の形態のストリーミングシステムにおける映像ストリームの配信形態を説明するための図である。第５の実施の形態のストリーミングシステムの場合、ユーザは、クライアント装置２において、縮小化された全体画像を受信する。クライアント装置２のデコーダ２７は、受信した全体画像をデコードしてモニタ装置に表示する。次に、クライアント装置２は、ユーザにより、全体画像中の所望の領域が指定されると、デコーダ２７が、サーバ装置１に対して、ユーザに指定された指定領域の画像の送信要求を行う。サーバ装置１は、送信要求に対応する指定領域の高解像度のズーム画像をエンコードしてクライアント装置２に送信する。図１１に示す第１のトリミング領域〜第ｎのトリミング領域が、ユーザにより指定された各指定領域の高解像度のズーム画像（トリミング領域のＧＯＰ）を示している。デコーダ２７は、送信された高解像度のズーム画像を受信してデコードし、モニタ装置に表示する。これにより、全体画像中の所望の部分に対応する、ボケが発生していない高画質な部分的な画像を見ることができる。

【0065】

なお、他の部分の高画質なズーム画像を見る場合、ユーザは、縮小化された全体画像から所望の部分を再度指定する。これにより、上述と同様に、ユーザに指定された部分的な高画質なズーム画像がサーバ装置１から配信される。そして、サーバ装置１から配信されたズーム画像をデコードすることで、モニタ装置を介して見ることができる。

【0066】

このような第５の実施の形態のストリーミングシステムも、上述の第４の実施の形態と同様に、部分的に高画質化したズーム画像を取り扱うストリーミングシステムを、アダプティブストリーミングによる映像ストリームの切り替えで実現する際に、生成する映像データの組み合わせを減らし応答遅延を減らすことができる他、上述の各実施の形態と同様の効果を得ることができる。

【0067】

なお、第５の実施の形態の場合、例えば横×縦が３８４０画素×２１６０画素の広角かつ高解像度の映像ソースを、横×縦を１２８０画素×７２０画素に縮小した全体画像表示用のＧＯＰを生成した。そして、第５の実施の形態の場合、横×縦を１２８０画素×７２０画素に縮小した全体画像表示用のＧＯＰのＩピクチャ（Ｐピクチャの場合もある）を基準画像として、各トリミング領域のＰピクチャをデコードした。

【0068】

しかし、デコード時に基準画像として参照されるＩピクチャを含むＧＯＰのみ、元の解像度のままとし、Ｉピクチャを含むＧＯＰに続く各ＧＯＰは、縮小画像を用いて生成したＧＯＰとしてもよい。この場合、Ｉピクチャを含むＧＯＰを、横×縦が３８４０画素×２１６０画素の広角かつ高解像度の映像ソースで生成する。また、横×縦が３８４０画素×２１６０画素の映像ソースを、横×縦が１２８０画素×７２０画素に縮小した映像ソースで、Ｉピクチャを含むＧＯＰに続く各トリミング領域のＧＯＰを生成する。

【0069】

これにより、各トリミング領域のＧＯＰの各Ｐピクチャは、横×縦が３８４０画素×２１６０画素の広角かつ高解像度の映像ソースで生成されたＩピクチャ（Ｐピクチャの場合もある）を参照してデコードされる。このため、トリミング領域等の高画質画像（ボケの生じていない画像）を得ることができる。なお、ネットワークの通信帯域に余裕が無いことが明白な場合、Ｉピクチャを含む最初のＧＯＰは、トリミング領域と同一の一部分のみに対応するＧＯＰを転送するように、クライアント装置２が送信要求、または、サーバ装置１が配信してもよい。

【0070】

最後に、以上説明した各実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な各実施の形態は、その他の様々な形態で実施可能である。また、これら新規な各実施の形態は、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更が可能である。そして、各実施の形態およびその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明に対して均等の範囲に含まれるものである。

【符号の説明】

【0071】

１ サーバ装置
２ クライアント装置
３ ネットワーク
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ ＨＤＤ
１５ 通信部
１６ バスライン
１７ エンコーダ
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ＨＤＤ
２５ 通信部
２６ バスライン
２７ デコーダ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】