(58)【調査した分野】(Int.Cl.,DB名)
前記トランスコード部は、前記第1画像情報と、前記再エンコード情報のうち前記第1画像情報に関するデータとに基づいてトランスコードした第1配信データを生成するとともに、前記再エンコード情報のうち前記第2画像情報に関するデータに基づいてトランスコードした第2配信データを生成し、前記第1配信データと前記第2配信データとを含む配信ビットストリームを生成する
ことを特徴とする請求項2に記載の画像処理システム。
【発明を実施するための形態】
【0019】
以下、本発明の一実施形態による動画配信システム、及び動画配信装置について、図面を参照して説明する。
[第1の実施形態]
図1は、第1の実施形態による動画配信システム1の一例を示すブロック図である。
図1に示すように、動画配信システム1は、動画投稿装置(2−1、2−2、・・・)と、端末装置(3−1、3−2、・・・)と、動画配信装置4とを備えている。なお、本実施形態では、画像処理システムの一例として、動画配信システム1について説明する。
【0020】
ここで、動画投稿装置2−1、動画投稿装置2−2、・・・は、動画配信システム1が備える任意の動画投稿装置を示す場合、又は特に区別しない場合には、動画投稿装置2として説明する。また、端末装置3−1、端末装置3−2、・・・は、動画配信システム1が備える任意の端末装置を示す場合、又は特に区別しない場合には、端末装置3として説明する。
複数の動画投稿装置2と、複数の端末装置3と、動画配信装置4とは、ネットワークNW1を介して、接続可能に構成されている。
【0021】
動画投稿装置2は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォン、通信機能を有する他の機器(例えば、ゲーム機等)などにより実現される。動画投稿装置2は、動画データを動画配信装置4に送信(投稿)する。
端末装置3は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォン、通信機能を有する他の機器(例えば、ゲーム機等)などにより実現される。端末装置3は、動画の配信を要求する動画配信要求(配信要求の一例)を動画配信装置4に送信し、動画配信装置4から送信されたビットストリーム(後述)を受信して再生する。なお、動画投稿装置2と端末装置3とは、同一の装置であってもよい。すなわち、ある装置が、動画投稿装置2、且つ、端末装置3であってもよい。
【0022】
動画配信装置4(画像処理装置の一例)は、例えば、サーバ装置などのコンピュータ装置である。動画配信装置4は、動画投稿装置2から送信された動画データを受信し、受信した動画データを記憶する。また、動画配信装置4は、端末装置3から動画配信要求を受信した場合に、要求元の端末装置3に要求された動画のビットストリームを送信(配信)する。なお、動画配信要求には、要求元の端末装置3を識別する情報(要求元識別情報ともいう)と、要求された動画を識別する情報(動画識別情報ともいう)とが含まれるものとする。
また、動画配信装置4は、動画データ受信部41と、第1トランスコード部42と、デコード部43と、再エンコード部44と、配信要求受信部45と、第2トランスコード部46と、配信データ送信部47と、動画データ記憶部51と、再エンコード情報記憶部52とを備えている。
【0023】
動画データ記憶部51は、動画投稿装置2から動画データ受信部41を介して受信した動画データを記憶する。動画データ記憶部51は、例えば、動画データを識別する動画識別情報と、動画データとを対応付けて記憶する。
再エンコード情報記憶部52は、後述する再エンコード部44によって生成された再エンコード情報を記憶する。なお、再エンコード情報の詳細については、後述する。再エンコード情報記憶部52は、例えば、動画識別情報と、再エンコード情報とを対応付けて記憶する。
【0024】
動画データ受信部41は、動画投稿装置2から送信された動画データを、例えば、ネットワークNW1を介して受信する。動画データ受信部41は、動画投稿装置2から受信した動画データを動画データ記憶部51に記憶させる。なお、動画データ受信部41は、記憶した個々の動画データを識別するために、例えば、動画識別情報と、受信した動画データとを対応付けて記憶させる。
【0025】
第1トランスコード部42は、動画データ記憶部51が記憶する動画データを、動画配信用のデータであるビットストリームにトランスコード(変換)する。なお、第1トランスコード部42は、1つの動画データに対して、ビットレートや画像サイズを変更した複数のビットストリームにトランスコードする。第1トランスコード部42は、トランスコードしたビットストリームをデコード部43に出力する。ここで、
図2を参照して、ビットストリームについて説明する。
【0026】
図2は、動画配信装置4によって送信されるビットストリームの構成例である。なお、
図2では、本実施形態と関係する部分のみを示している。動画配信装置4によって送信されるビットストリームは、例えばピクチャ毎に、
図2に示すように複数のマクロブロック(Mb)を有する。各マクロブロック(Mb)は、MODE(モード情報)、QP(Quantization Parameter、量子化値)、MV(ベクトル情報)、及びCOEF(係数情報)を含んでいる。MODE(モード情報)は、エンコードモードに関する情報であり、QP(量子化値)は、量子化に関するパラメータ情報である。また、MV(ベクトル情報)は、動き補償ベクタに関する情報であり、ベクタ情報とも称する。COEF(係数情報)は、例えば、残差成分などの係数に関する情報である。
【0027】
例えば、H.264規格に準拠したビットストリームである場合には、『Rec.ITU−T H264(04/2013)』に規定された「Macroblock layer syntax」の階層構造において、「residual」(残差情報)以下の階層が、COEFに相当する。ここで、「residual」以下の階層とは、例えば、「residual_luma」、「residual_block_cavlc」、「residual_block_cabac」などである。
【0028】
なお、本実施形態では、ビットストリームをデコードした情報であって、MODE、QP、MV、及びCOEFなどを含む情報をデコード情報と称する。また、MODE、QP及びMVの情報量は、ビットストリーム全体の10%〜30%であり、COEFの情報量は、ビットストリーム全体の30%〜80%である。COEFは、MODE、QP及びMVの情報量に比べて情報量が多い。また、COEFは、動画データと、MODE、QP及びMV等の画質に関するパラメータとがあれば、COEFは、動き補償の処理量と同等程度(全体の処理量の10%程度)の処理量で再現できる。
【0029】
図1の説明に戻り、デコード部43は、動画データから生成されたビットストリームをデコードする。すなわち、デコード部43は、第1トランスコード部42によって、トランスコードされたビットストリームをデコードして、上述したデコード情報を生成する。
【0030】
再エンコード部44は、デコード部43によってデコードされたデコード情報のうちの一部をエンコード後の情報量が低減されるように変更して、デコード情報を再びエンコードする。例えば、再エンコード部44は、デコード部43によってデコードされたデコード情報のうちのCOEF(係数情報)をエンコード後の情報量が低減されるように変更して、デコード情報を再びエンコードする。一例として、再エンコード部44は、例えば、デコード情報のうちのCOEFをエンコード後の情報量が最小になるように(例えば、全ての値を“0”にする)変更する。これにより、結果的に、デコード画像がグレー(灰色)一色(Y(輝度)=Cb(青系統色差)=Cr(赤系統色差)=128)となる。再エンコード部44は、このようにCOEFを無効化(最小化)したデコード情報を再びエンコードし、コーデック(CODEC)規格に準拠した形式にマージした再エンコード情報を生成する。ここで、無効化とは、例えば、再エンコードした際に、データサイズ(情報量)が最小になるように、無意味なデータに置き換える処理のことである。
再エンコード部44は、生成した再エンコード情報を、再エンコード情報記憶部52に記憶させる。なお、再エンコード情報を、動画データをトランスコードする際に利用するために、再エンコード部44は、例えば、生成した再エンコード情報と、動画識別情報とを対応付けて、再エンコード情報記憶部52に記憶させる。
【0031】
配信要求受信部45は、端末装置3から送信された動画配信要求を受信する。配信要求受信部45は、端末装置3から動画配信要求を受信した場合に、動画配信要求を第2トランスコード部46に通知する。
【0032】
第2トランスコード部46(トランスコード部の一例)は、動画データと、再エンコード情報とに基づいてトランスコードする。第2トランスコード部46は、例えば、動画配信要求があった場合に、動画配信要求に含まれる動画識別情報に対応する動画データを動画データ記憶部51から取得するとともに、当該動画識別情報に対応する再エンコード情報を、再エンコード情報記憶部52から取得する。第2トランスコード部46は、取得した動画データ及び再エンコード情報に基づいてトランスコードして、ビットストリームを生成する。具体的に、第2トランスコード部46は、再エンコード情報に基づいて生成した、COEFを除いたデコード情報(例えば、MODE、QP及びMVなど)を利用して、動画データをトランスコードして、ビットストリームを生成する。すなわち、第2トランスコード部46は、再エンコード情報をデコードして得られるデコード情報と、動画データをデコードした情報とに基づいてトランスコードする。なお、デコード情報は、再エンコード情報をデコードすることによって得られる。
また、第2トランスコード部46は、いずれの端末装置3にビットストリームを送信するかが分かるように、例えば、要求元識別情報とともに生成したビットストリームを配信データ送信部47に供給する。
【0033】
配信データ送信部47(送信部の一例)は、第2トランスコード部46によってトランスコードされたビットストリーム(配信ビットストリーム)を、動画データの配信を要求した端末装置3に送信する。配信データ送信部47は、例えば、第2トランスコード部46から供給された要求元識別情報に基づいて、第2トランスコード部46から供給されたビットストリームを、ネットワークNW1を介して、要求元の端末装置3に送信する。
【0034】
次に、図面を参照して、本実施形態による動画配信システム1の動作について説明する。
図3は、本実施形態における再エンコード情報の生成処理の一例を示すフローチャートである。例えば、動画配信装置4が動画投稿装置2から動画が投稿され、動画データが動画データ記憶部51に記憶された場合に、動画配信装置4は、再エンコード情報を生成する。
【0035】
図3に示すように、まず、動画配信装置4の第1トランスコード部42は、動画データをトランスコードし、ビットストリームを生成する(ステップS101)。第1トランスコード部42は、例えば、動画データと動画識別情報とを動画データ記憶部51から取得し、取得した動画データをトランスコードして、動画データに対応するビットストリームを生成する。
【0036】
次に、デコード部43は、第1トランスコード部42によって生成されたビットストリームをデコードする(ステップS102)。例えば、デコード部43は、第1トランスコード部42からビットストリームと、動画識別情報とを取得し、取得したビットストリームをデコードする。
【0037】
次に、再エンコード部44は、デコードされたビットストリームを、COEFを無効化して再エンコードする(ステップS103)。例えば、再エンコード部44は、デコード部43からデコードされたビットストリームと、動画識別情報とを取得し、取得したデコードされたビットストリーム(デコード情報)中の各情報(例えば、MODE、QP、MV、COEFなど)を探索する。再エンコード部44は、探索した各情報のうちのCOEFを、エンコード後の情報量が最小になるように変更して、デコードされたビットストリームを再びエンコードする。
【0038】
次に、再エンコード部44は、再エンコードされたビットストリームを再エンコード情報記憶部52に記憶させる(ステップS104)。すなわち、再エンコード部44は、再エンコードされたビットストリーム(再エンコード情報)と、動画識別情報とを対応付けて、再エンコード情報記憶部52に記憶させ、処理を終了する。
【0039】
次に、
図4を参照して、上述した
図3のステップS103の再エンコード部44の処理の詳細について説明する。
図4は、本実施形態における再エンコード部44の処理の一例を示すフローチャートである。
図4に示すように、まず、再エンコード部44は、デコードされたビットストリーム中の各情報を探索する(ステップS201)。再エンコード部44は、デコードされたビットストリーム(デコード情報)中の各情報(例えば、MODE、QP、MV、及びCOEFなど)を探索(抽出)する。
【0040】
次に、再エンコード部44は、COEFを除いた各情報に基づいて、再エンコードしたエンコード済データを生成する(ステップS202)。すなわち、再エンコード部44は、例えば、MODE、QP、MVなどの情報に基づいて、エンコード済データを生成する。ここで、再エンコード部44は、例えば、モード決定、ME(Motion Estimation)処理などの処理を実行しない。
【0041】
次に、再エンコード部44は、COEFを無効化して再エンコードしたエンコード済データを生成する(ステップS203)。すなわち、再エンコード部44は、例えば、COEFを“0”にして、発生ビット量(情報量)が最小になるように再エンコードしたエンコード済データを生成する。
【0042】
次に、再エンコード部44は、生成したエンコード済データをCODEC規格に準拠した形式にマージした再エンコード情報を生成する(ステップS204)。すなわち、再エンコード部44は、生成した2つのエンコード済データを統合して、容易にMODE、QP、MVなどの情報を復元し、且つ、再利用可能な再エンコード情報を生成する。
なお、ステップS204の処理後に、再エンコード部44は、生成した再エンコード情報を再エンコード情報記憶部52に記憶させる。
【0043】
図3及び
図4を参照して説明したように、本実施形態の動画配信装置4は、動画データ記憶部51が記憶している動画データから再エンコード情報を生成し、生成した再エンコード情報を予め再エンコード情報記憶部52に記憶させる。
【0044】
次に、
図5を参照して、本実施形態における動画配信装置4の動画配信の動作について説明する。
図5は、本実施形態における動画配信装置4の動作の一例を示すフローチャートである。
図5に示すように、動画配信装置4は、まず、動画配信要求を受信したか否かを判定する(ステップS301)。動画配信装置4の配信要求受信部45は、端末装置3から動画配信要求を受信したか否かを判定する。配信要求受信部45は、端末装置3から動画配信要求を受信した場合(ステップS301:YES)に、処理をステップS302に進める。また、配信要求受信部45は、端末装置3から動画配信要求を受信していない場合(ステップS301:NO)に、処理をステップS301に戻す。なお、配信要求受信部45が受信した動画配信要求には、動画識別情報と、要求元識別情報とが含まれている。
【0045】
ステップS302において、動画配信装置4の第2トランスコード部46は、対応する動画データ、及び再エンコード情報を取得する。第2トランスコード部46は、配信要求受信部45が受信した動画配信要求に基づいて、動画データ記憶部51から対応する動画データを取得するとともに、再エンコード情報記憶部52から対応する再エンコード情報を取得する。すなわち、第2トランスコード部46は、動画配信要求に含まれる動画識別情報に対応する動画データを動画データ記憶部51から取得するとともに、当該動画識別情報に対応する再エンコード情報を再エンコード情報記憶部52から取得する。
【0046】
次に、第2トランスコード部46は、動画データ、及び再エンコード情報に基づいてトランスコードして、ビットストリームを生成する(ステップS303)。第2トランスコード部46は、取得した動画データをデコードした情報と、取得した再エンコード情報をデコードして得られるデコード情報であって、COEFを除いたデコード情報とに基づいてトランスコードして、ビットストリームを生成する。
【0047】
次に、動画配信装置4の配信データ送信部47は、生成したビットストリームを配信する(ステップS304)。すなわち、第2トランスコード部46は、生成したビットストリームと、要求元識別情報とを配信データ送信部47に供給し、配信データ送信部47は、供給されたビットストリームを配信ビットストリームとして、ネットワークNW1を介して、要求元の端末装置3に送信する。ステップS304の処理後に、動画配信装置4は、処理をステップS301に戻す。
【0048】
以上説明したように、本実施形態による動画配信システム1(画像処理システム)は、デコード部43と、再エンコード部44と、再エンコード情報記憶部52と、第2トランスコード部46(トランスコード部)とを備えている。デコード部43は、動画データから生成されたビットストリームをデコードする。再エンコード部44は、デコード部43によってデコードされたデコード情報のうちの一部(例えば、COEF(係数情報))をエンコード後の情報量が低減されるように変更して、デコード情報を再びエンコードする。再エンコード情報記憶部52は、再エンコード部44によってエンコードされた再エンコード情報を記憶する。そして、第2トランスコード部46は、再エンコード情報記憶部52が記憶する再エンコード情報に基づいてトランスコードする。すなわち、第2トランスコード部46は、動画データと、再エンコード情報とに基づいてトランスコードする。
【0049】
これにより、本実施形態による動画配信システム1は、デコード情報のうちの一部をエンコード後の情報量が低減されるように変更して再エンコードした再エンコード情報に基づいて、トランスコードするため、動画データからトランスコードする場合に比べて、少ない処理量(計算量)により、動画(ビットストリーム)を配信することができる。また、ビットストリームよりも情報量の少ない再エンコード情報を再エンコード情報記憶部52に記憶させるため、本実施形態による動画配信システム1は、記憶量を低減することができる。よって、本実施形態による動画配信システム1は、動画の配信において、処理量を低減させつつ、記憶量を低減させることができる。
【0050】
なお、再エンコード情報は、CODECの形式を維持しているため、本実施形態による動画配信システム1は、再エンコード情報を管理し易くなるとともに、再利用が可能になる。また、本実施形態による動画配信システム1は、様々な圧縮フォーマット、及び圧縮方式に対応することができる。例えば、本実施形態による動画配信システム1は、CAVLC(Context-based Adaptive Variable Length Coding)と、CABAC(Context-based Adaptive Binary Arithmetic Coding)との両方の方式に対応可能である。
また、再エンコード情報は、分割されていない1つのビットストリームと同等の情報であり、CODECのデコーダを利用してデコードすることができるため、本実施形態による動画配信システム1は、分割データを管理する必要がなく、当該再エンコード情報の利用に際して、従来の物理的リソース(ハードウェア又はソフトウェア)を流用することができる。
【0051】
また、本実施形態では、デコード部43によってデコードされたデコード情報のうちの少なくともCOEF(係数情報)を、エンコード後の情報量が低減されるように変更して、デコード情報を再びエンコードする。
これにより、本実施形態による動画配信システム1は、COEF(係数情報)をエンコード後の情報量が低減されるように変更して再エンコードした再エンコード情報に基づいてトランスコードするため、簡易な手法により、処理量を低減させつつ、記憶量を低減させることができる。
【0052】
また、本実施形態では、再エンコード部44は、デコード情報のうちのCOEFをエンコード後の情報量が最小になるように変更して、デコード情報を再びエンコードする。
例えば、MODE、QP及びMVの情報量は、ビットストリーム全体の10%〜30%であるのに対して、COEFの情報量は、ビットストリーム全体の30%〜80%であり、COEFは、MODE、QP及びMVの情報量に比べて情報量が多い。このCOEFのエンコード後の情報量が最小(例えば、ほぼ“0”)になるように再エンコードした再エンコード情報を記憶するため、本実施形態による動画配信システム1は、動画データをトランスコードしたビットストリームを記憶しておく場合に比べて、記憶量(記憶容量)を大幅に低減することができる。
【0053】
また、本実施形態では、第2トランスコード部46は、再エンコード情報をデコードして得られるデコード情報であって、COEFを除いたデコード情報と、動画データをデコードした情報(動画データをデコードして得られる情報)とに基づいてトランスコードする。なお、トランスコードに用いるCOEFは、動画データから生成する。
これにより、本実施形態による動画配信システム1は、動画データから毎回生成する場合に比べて、配信するビットストリームを生成する処理量(計算量)を低減することができる。
【0054】
また、本実施形態による動画配信システム1は、第2トランスコード部46によってトランスコードされた配信ビットストリームを、動画データの配信を要求した端末装置3に送信する配信データ送信部47(送信部)を備えている。
これにより、本実施形態による動画配信システム1は、動画の配信ビットストリームの生成を全て配信側(例えば、動画配信装置4側)で実行し、端末装置3に処理負荷をかけることがない。
【0055】
また、本実施形態による動画配信装置4(画像処理装置)は、上述したデコード部43と、再エンコード部44と、再エンコード情報記憶部52と、第2トランスコード部46とを備えている。
これにより、本実施形態による動画配信装置4は、上述した動画配信システム1と同様に、動画の配信において、処理量を低減させつつ、記憶量を低減させることができる。
【0056】
また、本実施形態によるトランスコード方法は、デコードステップと、再エンコードステップと、トランスコードステップとを含んでいる。デコードステップにおいて、デコード部43が、動画データから生成されたビットストリームをデコードする。再エンコードステップにおいて、再エンコード部44が、デコードステップによってデコードされたデコード情報のうちの係数情報をエンコード後の情報量が低減されるように変更して、デコード情報を再びエンコードし、エンコードした再エンコード情報を再エンコード情報記憶部52に記憶させる。そして、トランスコードステップにおいて、第2トランスコード部46が、動画データと、再エンコード情報とに基づいてトランスコードする。
これにより、本実施形態によるトランスコード方法は、動画配信装置4及び動画配信システム1と同様に、動画の配信において、処理量を低減させつつ、記憶量を低減させることができる。
【0057】
[第2の実施形態]
次に、図面を参照して、第2の実施形態による動画配信システム1a及び動画配信装置4aについて説明する。
図6は、本実施形態による動画配信システム1aの一例を示すブロック図である。
図6に示すように、動画配信システム1aは、複数の動画投稿装置2(2−1、2−2、・・・)と、複数の端末装置3(3−1、3−2、・・・)と、動画配信装置4aとを備えている。また、動画配信装置4aは、(画像処理装置の一例)は、トランスコード部40と、動画データ受信部41と、デコード部43と、配信要求受信部45と、配信データ送信部47と、削除部48と、トランスコード制御部49と、動画データ記憶部51と、再エンコード情報記憶部52と、一時記憶部53と、ヒット実績情報記憶部54とを備えている。また、トランスコード部40は、再エンコード部44を備えている。
なお、この図において、
図1に示す構成と同一の構成については同一の符号を付し、その説明を省略する。
【0058】
本実施形態では、動画配信装置4aが、再エンコード部44を含むトランスコード部40を備え、トランスコード及び再エンコードの処理の両方の処理をトランスコード部40によって切り替えて実行する点が第1の実施形態と異なる。また、動画配信装置4aが、ビットストリームを一時記憶する一時記憶部53を備え、一時記憶部53からビットストリームを削除する際に、再エンコード情報を生成する点が第1の実施形態と異なる。
以下、これらの第1の実施形態と異なる点について説明する。
【0059】
一時記憶部53(キャッシュ)は、トランスコード部40によって動画データから生成されたビットストリームを記憶する。一時記憶部53は、例えば、動画識別情報と、ビットストリームとを対応付けて記憶する。
ヒット実績情報記憶部54は、ビットストリームが一時記憶部53においてヒット(存在)した旨の実績を示すヒット実績情報を記憶する。ヒット実績情報記憶部54は、例えば、動画識別情報と、ヒット実績情報とを対応付けて記憶する。
削除条件情報記憶部55は、一時記憶部53に記憶されているビットストリームを削除する条件を示した削除条件情報を記憶するための記憶領域である。削除条件情報の一例は、所定期間(例えば、240時間)内に所定回数(例えば1回)以上のヒット実績がなければ削除する等の条件を示した情報である。
【0060】
トランスコード部40は、上述した第1の実施形態における第1トランスコード部42、再エンコード部44、及び第2トランスコード部46の機能を備え、第1トランスコード部42、再エンコード部44、及び第2トランスコード部46の各機能を切り替えて実行可能である。ここで、再エンコード情報の生成処理と、ビットストリームの生成処理のうちの一部処理とは、共通の処理部である再エンコード部44により実行可能である。すなわち、再エンコード部44は、例えば、再エンコード情報を生成する再エンコードモードと、トランスコードする際に利用するトランスコードモードとを切り替え可能である。
【0061】
また、トランスコード部40は、トランスコードモードにおいて、一時記憶部53に対応する動画のビットストリームが記憶されていない場合、且つ、再エンコード情報が再エンコード情報記憶部52に記憶されていない場合に、動画データ記憶部51に記憶されている動画データに基づいて、ビットストリームを生成する。また、トランスコード部40は、トランスコードモードにおいて、一時記憶部53に対応する動画のビットストリームが記憶されていない場合、且つ、再エンコード情報が再エンコード情報記憶部52に記憶されている場合に、当該再エンコード情報と、動画データ記憶部51に記憶されている動画データとに基づいて、ビットストリームを生成する。トランスコード部40は、生成したビットストリームを配信データ送信部47に供給する。また、トランスコード部40は、生成したビットストリームと、動画識別情報とを対応付けて一時記憶部53に記憶させる。なお、トランスコード部40は、トランスコードモードにおいて、ビットストリームの生成処理のうちの一部処理を再エンコード部44に実行させる。
【0062】
また、トランスコード部40は、トランスコードモードにおいて、一時記憶部53に対応する動画のビットストリームが記憶されている場合に、当該ビットストリームを配信データ送信部47に供給する。また、この場合、トランスコード部40は、当該ビットストリームが一時記憶部53においてヒットした旨の実績を示すヒット実績情報と、動画識別情報とを対応付けてヒット実績情報記憶部54に記憶させる。
また、トランスコード部40は、再エンコードモードにおいて、再エンコード部44に再エンコード情報を生成させて、生成した再エンコード情報と、動画識別情報とを対応付けて、再エンコード情報記憶部52に記憶させる。このように、再エンコード部44は、ビットストリームを一時記憶部53から削除する前に、デコード情報を再びエンコードし、エンコードした当該再エンコード情報を再エンコード情報記憶部52に記憶させる。また、トランスコード部40は、再エンコード情報を再エンコード情報記憶部52に記憶させた後に、再エンコード情報の生成処理が完了した旨を示す情報を削除部48に通知する。
【0063】
削除部48は、ヒット実績情報記憶部54に記憶されているヒット実績情報と、削除条件情報記憶部55に記憶されている削除条件情報とに基づいて、一時記憶部53に記憶されているビットストリームを削除するか否かを判定する。削除部48は、例えば、ビットストリームを削除すると判定した場合に、当該ビットストリームについての再エンコード情報の生成要求をデコード部43及びトランスコード制御部49に通知する。なお、再エンコード情報の生成要求には、動画識別情報が含まれるものとする。
また、削除部48は、再エンコード情報の生成処理が完了した場合に、当該ビットストリームを一時記憶部53から削除する。
【0064】
トランスコード制御部49は、トランスコード部40の制御を行う。トランスコード制御部49は、例えば、配信要求受信部45が動画配信要求を受信した場合に、トランスコード部40をトランスコードモードで動作させる。なお、トランスコード制御部49は、トランスコード部40をトランスコードモードで動作させる場合に、動画配信要求に含まれる動画識別情報及び要求元識別情報をトランスコード部40に通知する。
また、トランスコード制御部49は、例えば、削除部48から再エンコード情報の生成要求が通知された場合に、トランスコード部40を再エンコードモードで動作させる。
【0065】
次に、図面を参照して、本実施形態による動画配信システム1aの動作について説明する。
図7は、本実施形態における再エンコード情報の生成処理の一例を示すフローチャートである。なお、本実施形態では、動画配信装置4aは、一時記憶部53に記憶されているビットストリームを削除する場合に、再エンコード情報の生成処理を実行する。
【0066】
図7に示すように、まず、動画配信装置4aの削除部48が、一時記憶部53から削除が必要であるか否かを判定する(ステップS401)。削除部48は、ヒット実績情報記憶部54に記憶されているヒット実績情報と、削除条件情報記憶部55に記憶されている削除条件情報とに基づいて、一時記憶部53に記憶されているビットストリームを削除するか否かを判定する。削除部48は、一時記憶部53から削除が必要である場合(ステップS401:YES)に、再エンコード情報の生成要求をデコード部43及びトランスコード制御部49に通知し、処理をステップS402に進める。また、削除部48は、一時記憶部53から削除が必要でない場合(ステップS401:NO)に、処理をステップS401に戻す。
【0067】
ステップS402からステップS404の処理は、上述した
図3に示すステップS102からステップS104の処理と同様である。なお、ステップS403及びステップS404の処理において、トランスコード制御部49は、再エンコードモードにより、トランスコード部40の再エンコード部44を動作させる。
また、ステップS405において、削除部48は、ビットストリームを一時記憶部53から削除する。例えば、削除部48は、トランスコード部40から再エンコード情報の生成処理が完了した旨を示す情報が通知されたら、対応するビットストリームを一時記憶部53に削除させ、処理を終了する。
【0068】
次に、
図8を参照して、本実施形態におけるトランスコード部40の再エンコード情報の生成処理、及びビットストリームの生成処理について説明する。
図8は、本実施形態におけるトランスコード部40の動作の一例を示すフローチャートである。
図8に示すように、まず、トランスコード部40は、再エンコード情報を生成するのか否かを判定する(ステップS501)。トランスコード部40は、例えば、トランスコード制御部49からの再エンコードモードの指示に基づいて、再エンコード情報を生成するのか否かを判定する。トランスコード部40は、再エンコード情報を生成する場合(ステップS501:YES)に、処理をステップS502に進める。また、トランスコード部40は、再エンコード情報を生成しない場合(ステップS501:NO)に、処理をステップS506に進める。
【0069】
ステップS502からステップS505までの処理(再エンコードモードの処理)は、
図4に示すステップS201からステップS204までの処理と同様であるので、ここではその説明を省略する。なお、ステップS502からステップS505までの処理は、上述した
図7のステップS403の処理に対応する。
また、ステップS506において、トランスコード部40は、再エンコード情報に基づく生成であるか否かを判定する。トランスコード部40は、再エンコード情報に基づく生成である場合(ステップS506:YES)に、処理をステップS507に進める。また、トランスコード部40は、再エンコード情報に基づく生成でない場合(ステップS506:NO)に、処理をステップS508に進める。
【0070】
ステップS507において、トランスコード部40は、動画データ、及び再エンコード情報に基づいてトランスコードして、ビットストリームを生成する。なお、ステップS507の処理は、第1の実施形態における第2トランスコード部46によるビットストリームの生成処理と同様である。
また、ステップS508において、トランスコード部40は、動画データに基づいてトランスコードして、ビットストリームを生成する。なお、ステップS508の処理は、第1の実施形態における第1トランスコード部42によるビットストリームの生成処理と同様である。
なお、ステップS506からステップS508の処理は、トランスコードモードの処理に対応する。
【0071】
次に、
図9を参照して、本実施形態における動画配信装置4aの動画配信の動作について説明する。
図9は、本実施形態における動画配信装置4aの動作の一例を示すフローチャートである。
図9に示すように、動画配信装置4aは、まず、動画配信要求を受信したか否かを判定する(ステップS601)。動画配信装置4aの配信要求受信部45は、端末装置3から動画配信要求を受信したか否かを判定する。配信要求受信部45は、端末装置3から動画配信要求を受信した場合(ステップS601:YES)に、トランスコード制御部49が、トランスコード部40をトランスコードモードで動作させ、処理をステップS602に進める。また、配信要求受信部45は、端末装置3から動画配信要求を受信していない場合(ステップS601:NO)に、処理をステップS601に戻す。
【0072】
ステップS602において、トランスコード部40は、対応するビットストリームが一時記憶部53に記憶されているか否かを判定する。すなわち、トランスコード部40は、動画配信要求に含まれる動画識別情報に対応するビットストリームが一時記憶部53に記憶されているか否かを判定する。トランスコード部40は、対応するビットストリームが一時記憶部53に記憶されている場合(ステップS602:YES)に、処理をステップS603に進める。また、トランスコード部40は、対応するビットストリームが一時記憶部53に記憶されていない場合(ステップS602:NO)に、処理をステップS606に進める。
【0073】
ステップS603において、トランスコード部40は、対応するビットストリームを取得する。すなわち、トランスコード部40は、動画識別情報に対応するビットストリームを一時記憶部53から取得する。
次に、トランスコード部40は、ヒット実績情報をヒット実績情報記憶部54に記憶させる(ステップS604)。すなわち、トランスコード部40は、動画識別情報と、ヒット実績情報とを対応付けて、ヒット実績情報記憶部54に記憶させる。
【0074】
次に、トランスコード部40は、ビットストリームを配信する(ステップS605)。すなわち、トランスコード部40は、ビットストリームと、要求元識別情報とを配信データ送信部47に供給し、配信データ送信部47が、ビットストリームを要求元の端末装置3に送信する。ステップS605の処理後に、トランスコード部40は、処理をステップS601に戻す。
【0075】
また、ステップS606において、トランスコード部40は、対応する再エンコード情報が再エンコード情報記憶部52に記憶されているか否かを判定する。すなわち、トランスコード部40は、動画配信要求に含まれる動画識別情報に対応する再エンコード情報が再エンコード情報記憶部52に記憶されているか否かを判定する。トランスコード部40は、対応する再エンコード情報が再エンコード情報記憶部52に記憶されている場合(ステップS606:YES)に、処理をステップS607に進める。また、トランスコード部40は、対応する再エンコード情報が再エンコード情報記憶部52に記憶されていない場合(ステップS606:NO)に、処理をステップS610に進める。
【0076】
ステップS607において、トランスコード部40は、対応する動画データ、及び再エンコード情報を取得する。すなわち、トランスコード部40は、動画識別情報に対応する動画データを動画データ記憶部51から取得するとともに、動画識別情報に対応する再エンコード情報が再エンコード情報記憶部52から取得する。
【0077】
次に、トランスコード部40は、取得した動画データ、及び再エンコード情報に基づいてトランスコードして、ビットストリームを生成する(ステップS608)。
次に、トランスコード部40は、生成したビットストリームを一時記憶部53に記憶させる(ステップS609)。すなわち、トランスコード部40は、当該ビットストリームと、動画識別情報とを対応付けて、を一時記憶部53に記憶させる。ステップS609の処理後に、トランスコード部40は、処理を上述したステップS605に進めて、ビットストリームを配信する。
【0078】
また、ステップS610において、トランスコード部40は、対応する動画データを取得する。すなわち、トランスコード部40は、動画識別情報に対応する動画データを動画データ記憶部51から取得する。
次に、トランスコード部40は、取得した動画データに基づいてトランスコードして、ビットストリームを生成する(ステップS611)。ステップS611の処理後に、トランスコード部40は、処理を上述したステップS609に進めて、生成したビットストリームを一時記憶部53に記憶させた後、ビットストリームを配信する。
【0079】
以上説明したように、本実施形態による動画配信システム1aは、トランスコード部40を備え、トランスコード部40が、再エンコード部44を備えている。再エンコード部44は、再エンコード情報を生成する再エンコードモードと、トランスコードする際に利用するトランスコードモードとを切り替え可能である。
これにより、本実施形態による動画配信システム1aは、トランスコード部40が、再エンコード情報の生成処理と、ビットストリームの生成処理との両方を実行可能であるため、構成を簡略化することができる。
【0080】
また、本実施形態による動画配信システム1aは、ビットストリームを一時記憶する一時記憶部53と、ビットストリームを一時記憶部53から削除する削除部48とを備えている。再エンコード部44は、ビットストリームを一時記憶部53から削除する前に、デコード情報を再びエンコードし、エンコードした当該再エンコード情報を再エンコード情報記憶部52に記憶させる。すなわち、削除部48は、再エンコード部44がビットストリームをデコードして得られるデコード情報のCOEFを無効化して、再びエンコードし、エンコードした当該再エンコード情報を再エンコード情報記憶部52に記憶させた後に、当該ビットストリームを一時記憶部53から削除する。
【0081】
これにより、本実施形態による動画配信システム1aは、ビットストリームが一時記憶部53に記憶されている場合に、一時記憶部53に記憶されているビットストリームを配信することができるため、動画の配信において、さらに処理量を低減させることができる。また、本実施形態による動画配信システム1aは、ビットストリームを一時記憶部53から削除する前に、再エンコード情報を再エンコード情報記憶部52に記憶させるため、ビットストリームを記憶させる場合に比べて、記憶量を低減することができる。よって、本実施形態による動画配信システム1aは、動画の配信において、さらに処理量を低減させつつ、記憶量を低減させることができる。
【0082】
[第3の実施形態]
次に、図面を参照して、第3の実施形態による動画配信システム1b及び動画配信装置4bについて説明する。
図10は、本実施形態による動画配信システム1bの一例を示すブロック図である。
図10に示すように、動画配信システム1bは、複数の動画投稿装置2(2−1、2−2、・・・)と、複数の端末装置3(3−1、3−2、・・・)と、動画配信装置4bとを備えている。また、動画配信装置4bは、(画像処理装置の一例)は、動画データ受信部41と、デコード部43aと、再エンコード部44aと、配信要求受信部45と、第2トランスコード部46aと、配信データ送信部47と、プリトランスコード部61と、動画データ記憶部51と、再エンコード情報記憶部52と、Iピクチャ情報記憶部56とを備えている。
なお、この図において、
図1に示す構成と同一の構成については同一の符号を付し、その説明を省略する。
【0083】
本実施形態では、動画配信装置4bが、プリトランスコード部61及びIピクチャ情報記憶部56を備え、再エンコード情報の生成処理と、ビットストリームの生成処理とが、第1の実施形態と異なる。
【0084】
プリトランスコード部61は、Iピクチャ(Intra Picture)情報(第1画像情報)と、PBピクチャ情報(第2画像情報)とを生成する。ここで、Iピクチャ情報は、動画データからフレーム間予測を用いずに符号化された情報である。また、PBピクチャ情報とは、前記動画データからフレーム間予測を用いて符号化された情報であり、Pピクチャ(Predictive Picture)情報、及びBピクチャ(Bidirectionally Predictive Picture)情報を含んでいる。また、Pピクチャ情報は、前方方向のフレーム間予測を用いて符号化された画像情報であり、Bピクチャ情報は、前方方向及び後方向のフレーム間予測を用いて符号化された画像情報である。プリトランスコード部61は、例えば、動画データ記憶部51から動画データを取得し、取得した動画データから、例えば、記憶容量を低減するために、解像度やビットレートを適宜変更したIピクチャ情報及びPBピクチャ情報を生成する。
【0085】
また、プリトランスコード部61は、生成したIピクチャ情報と、動画識別情報とを対応付けてIピクチャ情報記憶部56に記憶させる。また、プリトランスコード部61は、生成したIピクチャ情報及びPBピクチャ情報と、動画識別情報とをデコード部43aに供給する。
Iピクチャ情報記憶部56(第1画像情報記憶部の一例)は、プリトランスコード部61によって生成されたIピクチャ情報を記憶する。
【0086】
再エンコード部44aは、デコード部43aによってデコードされたIピクチャ情報及びPBピクチャ情報(ビットストリームに対応)から、Iピクチャ情報に関する情報(データ)及びPBピクチャ情報に関する情報(データ)を含むデコード情報を生成する。再エンコード部44aは、当該デコード情報のうち、Iピクチャ情報に関するCOEF(係数情報)を、エンコード後の情報量が最小になるように変更して、デコード情報を再びエンコードする。すなわち、再エンコード部44aは、Iピクチャ情報に関するCOEFを無効化したIピクチャ情報に関する情報と、PBピクチャ情報に関する全ての情報とを含む変更されたデコード情報を再エンコードして、再エンコード情報を生成する。再エンコード部44aは、Iピクチャ情報のCOEFを無効化(最小化)したデコード情報を再びエンコードし、CODEC規格に準拠した形式にマージした再エンコード情報を生成する。
【0087】
再エンコード部44aは、生成した再エンコード情報を、再エンコード情報記憶部52に記憶させる。なお、再エンコード情報を、動画データをトランスコードする際に利用するために、再エンコード部44aは、例えば、生成した再エンコード情報と、動画識別情報とを対応付けて、再エンコード情報記憶部52に記憶させる。
【0088】
第2トランスコード部46a(トランスコード部の一例)は、Iピクチャ情報記憶部56が記憶するIピクチャ情報と、再エンコード情報記憶部52が記憶する再エンコード情報とに基づいてトランスコードする。例えば、第2トランスコード部46aは、動画配信要求に含まれる動画識別情報に対応するIピクチャ情報を、Iピクチャ情報記憶部56から取得する。また、第2トランスコード部46aは、当該動画識別情報に対応する再エンコード情報を取得する。第2トランスコード部46aは、取得したIピクチャ情報と、取得した再エンコード情報のうちIピクチャ情報に関するデータとに基づいてトランスコードした第1配信データを生成する。また、第2トランスコード部46aは、取得した再エンコード情報のうちPBピクチャ情報に関するデータに基づいてトランスコードした第2配信データを生成する。そして、第2トランスコード部46aは、第1配信データと第2配信データを含む配信データ(配信ビットストリーム)を生成する。
また、第2トランスコード部46aは、いずれの端末装置3にビットストリームを送信するかが分かるように、例えば、要求元識別情報とともに生成したビットストリーム(配信ビットストリーム)を配信データ送信部47に供給する。
【0089】
次に、図面を参照して、本実施形態による動画配信システム1bの動作について説明する。
図11は、本実施形態における再エンコード情報の生成処理の一例を示すフローチャートである。例えば、動画配信装置4bが動画投稿装置2から動画が投稿され、動画データが動画データ記憶部51に記憶された場合に、動画配信装置4bは、再エンコード情報を生成する。
【0090】
図11に示すように、まず、動画配信装置4bのプリトランスコード部61は、動画データからIピクチャ情報及びPBピクチャ情報を生成し、生成したIピクチャ情報をIピクチャ情報記憶部56に記憶させる(ステップS701)。なお、プリトランスコード部61は、生成したIピクチャ情報及びPBピクチャ情報をデコード部43aに供給する。
【0091】
次に、デコード部43aは、プリトランスコード部61によって生成されたIピクチャ情報及びPBピクチャ情報をデコードする(ステップS702)。すなわち、デコード部43aは、Iピクチャ情報及びPBピクチャ情報に基づいて、デコード情報を生成する。
次に、再エンコード部44aは、デコードされたデコード情報のうちのIピクチャ情報のCOEFを無効化して再エンコードし、再エンコード情報を生成する(ステップS703)。
【0092】
次に、再エンコード部44aは、生成した再エンコード情報(再エンコードされたビットストリーム)を再エンコード情報記憶部52に記憶させる(ステップS704)。すなわち、再エンコード部44aは、再エンコード情報と、動画識別情報とを対応付けて、再エンコード情報記憶部52に記憶させ、処理を終了する。
【0093】
次に、
図12を参照して、本実施形態における動画配信装置4bの動画配信の動作について説明する。
図12は、本実施形態における動画配信装置4bの動作の一例を示すフローチャートである。
図12に示すように、動画配信装置4bの配信要求受信部45は、まず、動画配信要求を受信したか否かを判定する(ステップS801)。配信要求受信部45は、端末装置3から動画配信要求を受信した場合(ステップS801:YES)に、処理をステップS802に進める。また、配信要求受信部45は、端末装置3から動画配信要求を受信していない場合(ステップS801:NO)に、処理をステップS801に戻す。
【0094】
ステップS802において、動画配信装置4bの第2トランスコード部46aは、対応するIピクチャ情報、及び再エンコード情報を取得する。第2トランスコード部46aは、配信要求受信部45が受信した動画配信要求に基づいて、Iピクチャ情報記憶部56から対応するIピクチャ情報を取得するとともに、再エンコード情報記憶部52から対応する再エンコード情報を取得する。
【0095】
次に、第2トランスコード部46aは、Iピクチャ情報、及び再エンコード情報に基づいてトランスコードして、ビットストリームを生成する(ステップS803)。第2トランスコード部46aは、取得したIピクチャ情報と、取得した再エンコード情報のうちIピクチャ情報に関するデータとに基づいてトランスコードした第1配信データを生成する。また、第2トランスコード部46aは、取得した再エンコード情報のうちPBピクチャ情報に関するデータに基づいてトランスコードした第2配信データを生成する。そして、第2トランスコード部46aは、第1配信データと第2配信データを合成したビットストリームを生成する。
【0096】
次に、動画配信装置4bの配信データ送信部47は、生成したビットストリームを配信する(ステップS804)。ステップS804の処理後に、動画配信装置4bは、処理をステップS801に戻す。
【0097】
以上説明したように、本実施形態による動画配信システム1bは、Iピクチャ情報記憶部56(第1画像情報記憶部)と、デコード部43aと、再エンコード部44aと、第2トランスコード部46aとを備えている。Iピクチャ情報記憶部56は、動画データからフレーム間予測を用いずに符号化されたIピクチャ情報(第1画像情報)を記憶する。デコード部43aは、Iピクチャ情報と、動画データからフレーム間予測を用いて符号化されたPBピクチャ情報(第2画像情報)とを、ビットストリームとしてデコードして、デコード情報を生成する。再エンコード部44aは、デコード部43aがデコードしたデコード情報のうち、Iピクチャ情報に関するCOEF(係数情報)をエンコード後の情報量が最小になるように変更して、デコード情報を再びエンコードする。第2トランスコード部46aは、Iピクチャ情報記憶部56が記憶するIピクチャ情報と、再エンコード情報記憶部52が記憶する再エンコード情報とに基づいてトランスコードする。
これにより、本実施形態による動画配信システム1bは、第1の実施形態と同様に、動画の配信において、処理量を低減させつつ、記憶量を低減させることができる。
【0098】
また、本実施形態では、第2トランスコード部46aは、Iピクチャ情報と、再エンコード情報のうちIピクチャ情報に関するデータとに基づいてトランスコードした第1配信データを生成する。また、第2トランスコード部46aは、当該再エンコード情報のうちPBピクチャ情報に関するデータに基づいてトランスコードした第2配信データを生成する。そして、第2トランスコード部46aは、第1配信データと第2配信データとを含む配信ビットストリーム(配信データ)を生成する。
これにより、本実施形態による動画配信システム1bは、第1の実施形態と異なる手法により、第1の実施形態と同等の配信ビットストリーム(配信データ)を生成することができる。
【0099】
[第4の実施形態]
次に、図面を参照して、第4の実施形態による動画配信システム1c及び動画配信装置4cについて説明する。
図13は、本実施形態による動画配信システム1cの一例を示すブロック図である。
図13に示すように、動画配信システム1cは、複数の端末装置3a(3a−1、3a−2、・・・)と、動画配信装置4cとを備えている。なお、動画配信システム1cは、第2の実施形態と同様に、複数の動画投稿装置2(2−1、2−2、・・・)を備えているが、
図13においては記載を省略している。
【0100】
本実施形態では、動画配信装置4cが、第3の実施形態の第2トランスコード部46aと同等の処理により生成した配信ビットストリームの配信を、2回目以降変更する変形例について説明する。
なお、この図において、
図10に示す構成と同一の構成については同一の符号を付し、その説明を省略する。
【0101】
動画配信装置4cは、(画像処理装置の一例)は、動画データ受信部41と、デコード部43aと、再エンコード部44aと、配信要求受信部45と、第2トランスコード部46bと、配信データ送信部47と、プリトランスコード部61と、送信制御部62と、動画データ記憶部51と、再エンコード情報記憶部52と、Iピクチャ情報記憶部56と、配信履歴情報記憶部57とを備えている。
【0102】
第2トランスコード部46bは、基本的に、第3の実施形態の第2トランスコード部46aと同様の機能を備えている。第2トランスコード部46bは、送信制御部62による制御に基づいて、配信データ(配信ビットストリーム)として、配信データ送信部47に送信させるデータが異なる。第2トランスコード部46bは、送信制御部62による制御に基づいて、上述した第1配信データ(Iピクチャ情報に関係する配信データ)と、第2配信データ(PBピクチャ情報に関係する配信データ)とを含む配信データを送信する場合と、第2配信データのみを含む配信データを送信する場合とを切り替える。
【0103】
配信履歴情報記憶部57は、動画配信装置4cが受信した動画配信要求に含まれる動画識別情報と要求元識別情報とを対応付けて記憶する。
送信制御部62は、1回目の動画配信要求に対して、第1配信データ及び第2配信データを含む配信データを配信データ送信部47に送信させ、2回目以降の配信要求に対して、第2配信データを含み、第1配信データを含まない配信データを配信データ送信部47に送信させる。また、送信制御部62は、配信データを配信データ送信部47に送信させる場合に、動画配信要求に含まれる動画識別情報と要求元識別情報とを対応付けて配信履歴情報記憶部57に記憶させる。
【0104】
配信データ送信部47は、動画配信要求に対する配信データを端末装置3aに送信する。すなわち、配信データ送信部47は、動画配信要求に対する配信データを、ネットワークNW1を介して、要求元である端末装置3aに送信する。
【0105】
端末装置3aは、動画データの配信を要求する動画配信要求(配信要求)を、動画配信装置4cに送信する。端末装置3aは、配信データ合成部31と、配信データ記憶部32とを備えている。
配信データ記憶部32は、動画配信装置4cから配信された第1配信データを記憶する。配信データ記憶部32は、動画識別情報と、第1配信データとを対応付けて記憶する。
【0106】
配信データ合成部31は、動画配信装置4cから送信された配信データに基づいて、ビットストリームを合成(復元)する。配信データ合成部31は、例えば、同一の動画における1回目の動画配信要求に対して、配信データ送信部47によって送信された配信データに基づいてビットストリームを生成する。なお、動画配信装置4cが、配信データとして、第1配信データと第2データとを含む配信ビットストリームを送信する場合には、配信データをそのままビットストリームとする。また、配信データ合成部31は、例えば、同一の動画における1回目の動画配信要求に対して、配信データ送信部47によって送信された配信データに含まれる、第1配信データを配信データ記憶部32に記憶させる。配信データ合成部31は、動画識別情報と、第1配信データとを対応付けて配信データ記憶部32に記憶させる。
【0107】
また、配信データ合成部31は、同一の動画における2回目以降の動画配信要求に対して、配信データ送信部47によって送信された第2配信データと、配信データ記憶部32が記憶する第1配信データとを合成し、1回目の配信データを端末内で復元する。
【0108】
次に、図面を参照して、本実施形態による動画配信システム1cの動作について説明する。
図14は、本実施形態における動画配信装置4cの動作の一例を示すフローチャートである。
図14に示すように、動画配信装置4cの配信要求受信部45は、まず、動画配信要求を受信したか否かを判定する(ステップS901)。配信要求受信部45は、端末装置3aから動画配信要求を受信した場合(ステップS901:YES)に、処理をステップS902に進める。また、配信要求受信部45は、端末装置3aから動画配信要求を受信していない場合(ステップS901:NO)に、処理をステップS901に戻す。
【0109】
ステップS902において、動画配信装置4cの第2トランスコード部46bは、対応するIピクチャ情報、及び再エンコード情報を取得する。第2トランスコード部46bは、Iピクチャ情報記憶部56から対応するIピクチャ情報を取得するとともに、再エンコード情報記憶部52から対応する再エンコード情報を取得する。
次に、第2トランスコード部46bは、取得したIピクチャ情報と、取得した再エンコード情報のIピクチャに関するデータとに基づいてトランスコードした第1配信データを生成する(ステップS903)。
次に、第2トランスコード部46bは、取得した再エンコード情報のPBピクチャに関するデータに基づいてトランスコードした第2配信データを生成する(ステップS904)。
【0110】
次に、動画配信装置4cの送信制御部62は、対応する動画データが要求元に対して1回目の配信であるか否かを判定する(ステップS905)。送信制御部62は、例えば、受信した動画配信要求に含まれる動画識別情報と要求元識別情報との組が配信履歴情報記憶部57に記憶されているか否かを判定する。送信制御部62は、動画データが要求元に対して1回目の配信である(動画識別情報と要求元識別情報との組が配信履歴情報記憶部57に記憶されていない)場合(ステップS905:YES)に、処理をステップS906に進める。また、送信制御部62は、動画データが要求元に対して2回目以降の配信である(動画識別情報と要求元識別情報との組が配信履歴情報記憶部57に記憶されている)場合(ステップS905:NO)に、処理をステップS908に進める。
【0111】
ステップS906において、動画配信装置4cは、第1配信データと第2配信データとを含む配信データを配信する。すなわち、送信制御部62の制御に基づいて、第2トランスコード部46bは、第1配信データと第2配信データとを含む配信データを配信データ送信部47に出力し、配信データ送信部47が、要求元の端末装置3aに送信する。
【0112】
次に、送信制御部62は、受信した動画配信要求に含まれる動画識別情報と要求元識別情報とを配信履歴情報記憶部57に記憶させる(ステップS907)。ステップS907の処理後に、送信制御部62は、処理をステップS901に戻す。
【0113】
ステップS908において、動画配信装置4cは、第2配信データのみを含む配信データを配信する。すなわち、送信制御部62の制御に基づいて、第2トランスコード部46bは、第2配信データを含み、第1配信データを含まない配信データを配信データ送信部47に出力し、配信データ送信部47が、要求元の端末装置3aに送信する。ステップS908の処理後に、送信制御部62は、処理をステップS901に戻す。
【0114】
次に、
図15を参照して、本実施形態における端末装置3aの動作について説明する。
図15は、本実施形態における端末装置3aの動作の一例を示すフローチャートである。
図15に示すように、端末装置3aの配信データ合成部31は、まず、1回目の配信データであるか否かを判定する(ステップS1001)。配信データ合成部31は、例えば、受信した配信データに第1配信データが含まれているか否かにより、1回目の配信データであるか否かを判定してもよい。配信データ合成部31は、1回目の配信データである場合(ステップS1001:YES)に、処理をステップS1002に進める。また、配信データ合成部31は、1回目の配信データでない(2回目以降の配信データである)場合(ステップS1001:NO)に、処理をステップS1003に進める。
【0115】
ステップS1002において、配信データ合成部31は、受信した配信データに含まれる第1配信データを配信データ記憶部32に記憶させる。配信データ合成部31は、例えば、第1配信データと、動画識別情報とを対応付けて配信データ記憶部32に記憶させる。ステップS1002の処理後に、配信データ合成部31は、処理を終了する。
【0116】
また、ステップS1003において、配信データ合成部31は、受信した配信データに含まれる第2配信データと、配信データ記憶部32が記憶する第1配信データとを合成してビットストリームを生成する。すなわち、配信データ合成部31は、受信した配信データに含まれる第2配信データと、配信データ記憶部32が記憶する第1配信データとに基づいて、1回目に受信した配信データと同一のビットストリームを復元する。ステップS1003の処理後に、配信データ合成部31は、処理を終了する。
端末装置3aは、上述した処理により、生成したビットストリームを、例えば、表示部(不図示)に表示して、使用者に所望の動画を視聴させる。
【0117】
以上説明したように、本実施形態による動画配信システム1cは、端末装置3aと、第2トランスコード部46bと、配信データ送信部47と、送信制御部62とを備えている。端末装置3aは、配信データ合成部31と、第1配信データを記憶する配信データ記憶部32とを備え、動画データの配信を要求する動画配信要求(配信要求)を送信する。配信データ送信部47は、動画配信要求に対する配信データを端末装置3aに送信する。送信制御部62は、1回目の動画配信要求に対して、第1配信データ及び第2配信データを含む配信データを配信データ送信部47に送信させ、2回目以降の動画配信要求に対して、第2配信データを含み、第1配信データを含まない配信データを配信データ送信部47に送信させる。また、配信データ合成部31は、1回目の動画配信要求に対して、配信データ送信部47によって送信された配信データに含まれる、第1配信データを配信データ記憶部32に記憶させる。そして、配信データ合成部31は、2回目以降の動画配信要求に対して、配信データ送信部47によって送信された第2配信データと、配信データ記憶部32が記憶する第1配信データとを合成し、1回目の配信データを端末内で復元する。
【0118】
これにより、本実施形態による動画配信システム1cは、2回目以降に、第1配信データを端末装置3aに送信する必要がないため、ネットワークNW1の通信負荷を低減することができる。また、本実施形態による動画配信システム1cでは、端末装置3aは、毎回、第2配信データを動画配信装置4cから取得する必要があるため、例えば、会員のみに動画を視聴させる、或いは、視聴するごとに視聴料金を課金する等を容易に実現することができる。
【0119】
[第5の実施形態]
次に、図面を参照して、第5の実施形態による動画配信システム1d及び動画配信装置4dについて説明する。
図16は、本実施形態による動画配信システム1dの一例を示すブロック図である。
図16に示すように、動画配信システム1dは、複数の端末装置3b(3b−1、3b−2、・・・)と、動画配信装置4dとを備えている。なお、動画配信システム1dは、第2の実施形態と同様に、複数の動画投稿装置2(2−1、2−2、・・・)を備えているが、
図16においては記載を省略している。
【0120】
本実施形態では、動画配信装置4dが、第3の実施形態の第2トランスコード部46aと同等の処理により生成した配信ビットストリームの配信を、2回目以降変更する別の変形例について説明する。
なお、この図において、
図10及び
図13に示す構成と同一の構成については同一の符号を付し、その説明を省略する。
【0121】
動画配信装置4dは、(画像処理装置の一例)は、動画データ受信部41と、デコード部43aと、再エンコード部44aと、配信要求受信部45と、第2トランスコード部46cと、配信データ送信部47と、プリトランスコード部61と、送信制御部62aと、動画データ記憶部51と、再エンコード情報記憶部52と、Iピクチャ情報記憶部56と、配信履歴情報記憶部57とを備えている。
【0122】
第2トランスコード部46cは、基本的に、第3の実施形態の第2トランスコード部46aと同様の機能を備えている。第2トランスコード部46cは、送信制御部62aによる制御に基づいて、配信データ(配信ビットストリーム)として、配信データ送信部47に送信させるデータが異なる。第2トランスコード部46cは、送信制御部62aによる制御に基づいて、上述した第1配信データ(Iピクチャ情報に関係する配信データ)と、第2配信データ(PBピクチャ情報に関係する配信データ)とを含む配信データを送信する場合と、第1配信データのみを含む配信データを送信する場合とを切り替える。
【0123】
送信制御部62aは、1回目の動画配信要求に対して、第1配信データ及び第2配信データを含む配信データを配信データ送信部47に送信させ、2回目以降の配信要求に対して、第1配信データを含み、第2配信データを含まない配信データを配信データ送信部47に送信させる。また、送信制御部62aは、配信データを配信データ送信部47に送信させる場合に、動画配信要求に含まれる動画識別情報と要求元識別情報とを対応付けて配信履歴情報記憶部57に記憶させる。
【0124】
端末装置3bは、動画データの配信を要求する動画配信要求(配信要求)を、動画配信装置4dに送信する。端末装置3bは、配信データ合成部31aと、配信データ記憶部32aとを備えている。
配信データ記憶部32aは、動画配信装置4dから配信された第2配信データを記憶する。配信データ記憶部32aは、動画識別情報と、第2配信データとを対応付けて記憶する。
【0125】
配信データ合成部31aは、動画配信装置4dから送信された配信データに基づいて、ビットストリームを合成(復元)する。配信データ合成部31aは、例えば、同一の動画における1回目の動画配信要求に対して、配信データ送信部47によって送信された配信データに基づいてビットストリームを生成する。なお、動画配信装置4dが、配信データとして、第1配信データと第2データとを含む配信ビットストリームを送信する場合には、配信データをそのままビットストリームとする。また、配信データ合成部31aは、例えば、同一の動画における1回目の動画配信要求に対して、配信データ送信部47によって送信された配信データに含まれる、第2配信データを配信データ記憶部32aに記憶させる。配信データ合成部31aは、動画識別情報と、第2配信データとを対応付けて配信データ記憶部32aに記憶させる。
【0126】
また、配信データ合成部31aは、同一の動画における2回目以降の動画配信要求に対して、配信データ送信部47によって送信された第1配信データと、配信データ記憶部32aが記憶する第2配信データとを合成し、1回目の配信データを端末内で復元する。
【0127】
次に、図面を参照して、本実施形態による動画配信システム1dの動作について説明する。
図17は、本実施形態における動画配信装置4dの動作の一例を示すフローチャートである。
図17において、ステップS1101からステップS1107までの処理は、上述した
図14に示すステップS901からステップS907までの処理と同様であるので、ここではその説明を省略する。
また、ステップS1108の処理は、
図14に示すステップS908の処理において、第2配信データを第1の配信データに置き換えた送信制御部62aによる処理である。
【0128】
次に、
図18を参照して、本実施形態における端末装置3bの動作について説明する。
図18は、本実施形態における端末装置3bの動作の一例を示すフローチャートである。
図18において、ステップS1201の処理は、上述した
図15に示すステップS1001の処理と同様であるので、ここではその説明を省略する。なお、ステップS1201においては、配信データ合成部31aは、例えば、受信した配信データに第2配信データが含まれているか否かにより、1回目の配信データであるか否かを判定してもよい。
【0129】
また、ステップS1202の処理は、上述した
図15に示すステップS1002の処理において、第1配信データを第2配信データに置き換えた配信データ合成部31aによる処理である。ステップS1202の処理後に、配信データ合成部31aは、処理を終了する。
【0130】
また、ステップS1203において、配信データ合成部31aは、受信した配信データに含まれる第1配信データと、配信データ記憶部32aが記憶する第2配信データとを合成してビットストリームを生成する。すなわち、配信データ合成部31aは、受信した配信データに含まれる第1配信データと、配信データ記憶部32aが記憶する第2配信データとに基づいて、1回目に受信した配信データと同一のビットストリームを復元する。ステップS1203の処理後に、配信データ合成部31aは、処理を終了する。
端末装置3bは、上述した処理により、生成したビットストリームを、例えば、表示部(不図示)に表示して、使用者に所望の動画を視聴させる。
【0131】
以上説明したように、本実施形態による動画配信システム1dは、端末装置3bと、第2トランスコード部46cと、配信データ送信部47と、送信制御部62aとを備えている。端末装置3bは、配信データ合成部31aと、第2配信データを記憶する配信データ記憶部32aとを備え、動画データの配信を要求する動画配信要求(配信要求)を送信する。配信データ送信部47は、動画配信要求に対する配信データを端末装置3bに送信する。送信制御部62aは、1回目の動画配信要求に対して、第1配信データ及び第2配信データを含む配信データを配信データ送信部47に送信させ、2回目以降の動画配信要求に対して、第1配信データを含み、第2配信データを含まない配信データを配信データ送信部47に送信させる。また、配信データ合成部31aは、1回目の動画配信要求に対して、配信データ送信部47によって送信された配信データに含まれる、第2配信データを配信データ記憶部32aに記憶させる。そして、配信データ合成部31aは、2回目以降の動画配信要求に対して、配信データ送信部47によって送信された第1配信データと、配信データ記憶部32aが記憶する第2配信データとを合成し、1回目の配信データを端末内で復元する。
これにより、本実施形態による動画配信システム1dは、上述した第4の実施形態と同様の効果を奏する。
【0132】
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態は、単独で実施される例を説明したが、各実施形態の一部又は全部を組み合わせて実施されてもよい。例えば、第1の実施形態の動画配信装置4が、第2の実施形態の一時記憶部53を備え、一時記憶部53からビットストリームを削除する際に、再エンコード情報を生成するようにしてもよい。また、例えば、第1の実施形態の動画配信装置4において、第2の実施形態のトランスコード部40を適用するようにしてもよい。
【0133】
また、上記の各実施形態において、動画配信装置4(4a〜4d)は、1つの装置として実現される例を説明したが、例えば、複数のサーバ装置によって実現されてもよい。
また、上記の各実施形態において、デコード部43(43a)が、再エンコード部44(44a)に含まれて実現されてもよい。
また、上記の各実施形態において、動画データと、再エンコード情報、ビットストリーム、ヒット実績情報、Iピクチャ情報、PBピクチャ情報、第1配信データ、及び第2配信データのいずれかと、を対応付けるために、動画識別情報を利用する例を説明したが、これに限定されるものではない。例えば、各情報のファイル名に、動画データと関連する名前(文字列)を付与して対応付けてもよいし、別途、対応する情報のファイル名の組を記憶する対応テーブルを記憶部に記憶させるようにしてもよい。
【0134】
また、上述した各実施形態において、情報量を低減するために変更するデコード情報の一部として、COEF(係数情報)を変更する例を説明したが、これに限定されるものではなく、例えば、COEFに加えてイントラ予測モード、等を低減させるように変更してもよい。
また、上記の第4及び第5の実施形態において、デコード部43aが、プリトランスコード部によって生成されたIピクチャ情報及びPBピクチャ情報からデコード処理を実行する例を説明したが、これに限定されるものではない。例えば、デコード部43aは、第1の実施形態のように第1トランスコード部42によって生成されたビットストリームからデコード処理を実行するようにしてもよい。
【0135】
また、上記の第4及び第5の実施形態において、動画配信装置4c(4d)は、プリトランスコード部61を備えない形態であってもよいし、プリトランスコード部61の代わりに、第1トランスコード部42のようなビットストリームを生成する構成を備えるようにしてもよい。
また、上記の第4及び第5の実施形態において、動画配信装置4c(4d)が、配信履歴情報記憶部57を備える例を説明したが、端末装置3a(3b)が、配信履歴情報記憶部57を備えるようにしてもよい。この場合、端末装置3a(3b)は、動画識別情報と配信元識別情報とを対応付けて配信履歴情報記憶部57に記憶させるようにしてもよい。
【0136】
また、上記の第4の実施形態において、第2トランスコード部46bは、2回目以降の配信に対しても、第1配信データと第2配信データの両方を生成する例を説明したが、2回目以降に、第2配信データのみを生成するようにしてもよい。
また、上記の第5の実施形態において、第2トランスコード部46cは、2回目以降の配信に対しても、第1配信データと第2配信データの両方を生成する例を説明したが、2回目以降に、第1配信データのみを生成するようにしてもよい。
【0137】
なお、上述した動画配信システム1(1a〜1d)が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した動画配信システム1(1a〜1d)が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した動画配信システム1(1a〜1d)が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。
【0138】
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に動画配信システム1(1a〜1d)が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0139】
また、上述した機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。