IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ NTTエレクトロニクス株式会社の特許一覧

特開2023-136226映像受信装置、映像受信方法及び映像伝送システム
<>
  • 特開-映像受信装置、映像受信方法及び映像伝送システム 図1
  • 特開-映像受信装置、映像受信方法及び映像伝送システム 図2
  • 特開-映像受信装置、映像受信方法及び映像伝送システム 図3
  • 特開-映像受信装置、映像受信方法及び映像伝送システム 図4
  • 特開-映像受信装置、映像受信方法及び映像伝送システム 図5
  • 特開-映像受信装置、映像受信方法及び映像伝送システム 図6
  • 特開-映像受信装置、映像受信方法及び映像伝送システム 図7
  • 特開-映像受信装置、映像受信方法及び映像伝送システム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023136226
(43)【公開日】2023-09-29
(54)【発明の名称】映像受信装置、映像受信方法及び映像伝送システム
(51)【国際特許分類】
   H04N 21/433 20110101AFI20230922BHJP
   H04N 21/438 20110101ALI20230922BHJP
   H04N 21/4425 20110101ALI20230922BHJP
   H04L 1/00 20060101ALI20230922BHJP
【FI】
H04N21/433
H04N21/438
H04N21/4425
H04L1/00 G
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2022041733
(22)【出願日】2022-03-16
(71)【出願人】
【識別番号】591230295
【氏名又は名称】NTTイノベーティブデバイス株式会社
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】蘓原 雄太
(72)【発明者】
【氏名】稲森 稔
【テーマコード(参考)】
5C164
5K014
【Fターム(参考)】
5C164FA02
5C164UA03S
5C164UB23P
5C164UB38P
5C164UB42P
5C164UD41S
5C164YA21
5K014BA05
(57)【要約】
【課題】受信側の簡易な構成で、再視聴時の画像品質を向上する。
【解決手段】映像受信装置30は、コンテンツデータと当該コンテンツデータに対する複数種類のFECデータ1~nを受信する受信回路31と、FECデータ1~nのそれぞれを用いて誤り訂正処理を行い、訂正コンテンツデータ1~nを出力する誤り訂正処理回路32と、訂正コンテンツデータ1~nを蓄積する蓄積回路33と、コンテンツデータまたは訂正コンテンツデータ1~nのうちの1つを選択する選択回路34と、選択されたコンテンツデータまたは訂正コンテンツデータ1~nを復号する復号回路35と、視聴場面の指定を受け付ける視聴制御回路36を備える。映像受信装置30は、視聴場面の指示を受けた時に、当該視聴場面を含み、現在選択中のコンテンツデータよりも画質が良い訂正コンテンツデータを選択する。
【選択図】図1
【特許請求の範囲】
【請求項1】
映像符号化されたコンテンツデータを復号する映像受信装置であって、
前記コンテンツデータと当該コンテンツデータに対するn(nは1以上の整数)種類の誤り訂正データを受信する受信回路と、
前記n種類の誤り訂正データのそれぞれを用いて誤り訂正処理を行い、n個の訂正コンテンツデータを出力する誤り訂正処理回路と、
前記n個の訂正コンテンツデータを蓄積する蓄積回路と、
前記コンテンツデータまたは前記蓄積回路に蓄積された前記n個の訂正コンテンツデータのうちの1つを選択する選択回路と、
選択された前記コンテンツデータまたは前記訂正コンテンツデータを復号する復号回路と、
視聴場面の指定を受け付ける視聴制御回路を備え、
視聴場面の指示を受けた時に、当該視聴場面を含み、現在選択中のコンテンツデータよりも画質が良い訂正コンテンツデータを選択する
ことを特徴とする映像受信装置。
【請求項2】
視聴場面の指示を受けた時に、当該視聴場面を含む最も画質が良い前記訂正コンテンツデータを選択する
ことを特徴とする請求項1に記載の映像受信装置。
【請求項3】
視聴場面の指示を受けた時に、当該視聴場面を含む前記訂正コンテンツデータのうち最もデータ量の多い前記訂正データを用いて誤り訂正処理が行われた訂正コンテンツデータを選択する
ことを特徴とする請求項1または2に記載の映像受信装置。
【請求項4】
前記蓄積回路は、前記コンテンツデータを蓄積リアルタイムコンテンツデータとして蓄積し、
視聴場面の指示を受けた時に、当該視聴場面を含む前記訂正コンテンツデータが前記蓄積回路に蓄積されていない場合、前記蓄積リアルタイムコンテンツデータを選択する
ことを特徴とする請求項1ないし3のいずれかに記載の映像受信装置。
【請求項5】
映像符号化されたコンテンツデータを復号する映像受信装置による映像受信方法であって、
前記コンテンツデータと当該コンテンツデータに対するn(nは1以上の整数)種類の誤り訂正データを受信するステップと、
前記n種類の誤り訂正データのそれぞれを用いて誤り訂正処理を行い、n個の訂正コンテンツデータを出力するステップと、
前記n個の訂正コンテンツデータを蓄積するステップと、
前記コンテンツデータまたは蓄積された前記n個の訂正コンテンツデータのうちの1つを選択するステップと、
選択された前記コンテンツデータまたは前記訂正コンテンツデータを復号するステップと、
視聴場面の指定を受け付けるステップを有し、
視聴場面の指示を受けた時に、当該視聴場面を含み、現在選択中のコンテンツデータよりも画質が良い訂正コンテンツデータを選択する
ことを特徴とする映像受信方法。
【請求項6】
映像を符号化したコンテンツデータを送信する映像送信装置と前記コンテンツデータを復号する映像受信装置を備える映像伝送システムであって、
前記映像送信装置は、
映像をコンテンツデータに符号化する圧縮符号化回路と、
前記コンテンツデータに対するn(nは1以上の整数)種類の誤り訂正データを生成する送信処理回路と、
前記コンテンツデータと前記n種類の誤り訂正データを送信する送信回路を備え、
前記映像受信装置は、
前記コンテンツデータと当該コンテンツデータに対するn種類の誤り訂正データを受信する受信回路と、
前記n種類の誤り訂正データのそれぞれを用いて誤り訂正処理を行い、n個の訂正コンテンツデータを出力する誤り訂正処理回路と、
前記n個の訂正コンテンツデータを蓄積する蓄積回路と、
前記コンテンツデータまたは前記蓄積回路に蓄積された前記n個の訂正コンテンツデータのうちの1つを選択する選択回路と、
選択された前記コンテンツデータまたは前記訂正コンテンツデータを復号する復号回路と、
視聴場面の指定を受け付ける視聴制御回路を備え、
前記映像受信装置は、視聴場面の指示を受けた時に、当該視聴場面を含み、現在選択中のコンテンツデータよりも画質が良い訂正コンテンツデータを選択する
ことを特徴とする映像伝送システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像を所望の品質で伝送する映像受信装置、映像受信方法及び映像伝送システムに関する。
【背景技術】
【0002】
インターネットプロトコル(IP)網を使用する映像伝送において、番組をリアルタイム視聴している時に、再視聴(巻き戻し再生)したい場合がある。再視聴したい場面は、一般的に視聴者は詳細な画像を望んでいるため、リアルタイム映像よりも高品質であることが望ましい。再視聴する映像を高品質にするための技術としてはいくつか提案されている。
【0003】
特許文献1は、監視カメラの映像情報をネットワーク経由で受け取り、受信機の表示画面に表示するシステムが示されている。このシステムでは、視聴者から巻き戻し再生の要求があった場合に、要求があった時点よりも所定時間前の映像から通常の映像ストリームよりも高画質の映像ストリームを配信する。これにより、再送する時だけビット量が多くなるだけで、定常的に得るビット量を増やすことなく、鮮明な映像を必要な部分から得ることができる。
【0004】
特許文献2は、映像ストリームを送信装置から受信装置に伝送するシステムにおいて、映像ストリームを低品質の基本階層データと、基本階層データに付加することで高品質化できる拡張階層データに分割し、通常は基本階層データを伝送し、巻き戻しの指示があった場合に、拡張階層データを伝送し過去に蓄積した基本階層データに合成して高品質の映像を出力することが開示されている。これにより、巻き戻し中でない映像ストリームを最低品質にすることで、巻き戻し中の映像ストリームのリアルタイム映像の品質を維持したまま、定常的なビット量(帯域)を増やすことなく巻き戻し中の映像ストリームを高品質で確認することができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008-199677号公報
【特許文献2】特開2012-095052号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1では、巻き戻し再生の要求があった場合に、送信側に対して高画質の映像ストリームを再送するように通信を行わなければならず、処理が複雑になる。また、特許文献2では、映像ストリームを複数の階層に分割したり、巻き戻しの指示があった場合に、どの拡張階層データを送信するかを送信側に伝えたり、更には受信側で送られてきた拡張階層データと過去に蓄積した基本階層データとを合成するのに、処理が複雑になる。更には、上記両者共に、送信側とのネゴシエーションが必要であり、受信側のみの制御で所望の処理が行えない問題もあった。
【0007】
本発明は、上記に鑑みてなされたものであり、受信側の簡易な構成で、再視聴時の画像品質を向上することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様の映像伝送システムは、映像を符号化したコンテンツデータを送信する映像送信装置と前記コンテンツデータを復号する映像受信装置を備える映像伝送システムであって、前記映像送信装置は、映像をコンテンツデータに符号化する圧縮符号化回路と、前記コンテンツデータに対するn(nは1以上の整数)種類の誤り訂正データを生成する送信処理回路と、前記コンテンツデータと前記n種類の誤り訂正データを送信する送信回路を備え、前記映像受信装置は、前記コンテンツデータと当該コンテンツデータに対するn種類の誤り訂正データを受信する受信回路と、前記n種類の誤り訂正データのそれぞれを用いて誤り訂正処理を行い、n個の訂正コンテンツデータを出力する誤り訂正処理回路と、前記n個の訂正コンテンツデータを蓄積する蓄積回路と、前記コンテンツデータまたは前記蓄積回路に蓄積された前記n個の訂正コンテンツデータのうちの1つを選択する選択回路と、選択された前記コンテンツデータまたは前記訂正コンテンツデータを復号する復号回路と、視聴場面の指定を受け付ける視聴制御回路を備え、前記映像受信装置は、視聴場面の指示を受けた時に、当該視聴場面を含み、現在選択中のコンテンツデータよりも画質が良い訂正コンテンツデータを選択することを特徴とする。
【発明の効果】
【0009】
本発明によれば、受信側の簡易な構成で、再視聴時の画像品質を向上できる。
【図面の簡単な説明】
【0010】
図1図1は、本実施形態の映像伝送システムの構成の一例を示す図である。
図2図2は、誤り訂正データの生成処理の一例について説明するための図である。
図3図3は、誤り訂正処理の一例について説明するための図である。
図4図4は、視聴時の動作の流れの一例を示すフローチャートである。
図5図5は、訂正コンテンツデータが生成されるタイミングの一例を示す図である。
図6図6は、再視聴に用いるコンテンツデータを選択する一例を示す図である。
図7図7は、再視聴に用いるコンテンツデータを選択する一例を示す図である。
図8図8は、再視聴に用いるコンテンツデータを選択する一例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について図面を用いて説明する。図1は、本実施形態の映像伝送システムの構成の一例を示す図である。同図に示す映像伝送システムは、映像送信装置10と映像受信装置30とを含む。本システムでは、映像送信装置10が映像を符号化して映像コンテンツデータを送信し、映像受信装置30が映像コンテンツデータを受信して復号し、表示装置50が映像を表示する。
【0012】
映像送信装置10は、圧縮符号化回路11、送信処理回路12、及び送信回路13を含む。
【0013】
圧縮符号化回路11は、例えば、HDカメラや4Kカメラで撮影した非圧縮画像を、MPEG2またはHEVCで圧縮し、符号化データを出力する。勿論、HDよりも解像度の低い画像でも構わない。圧縮符号化回路11から出力される符号化データを「コンテンツデータ」と称する。
【0014】
送信処理回路12は、コンテンツデータをデータ伝送回線を使って伝送する場合の事前の処理を行う。具体的には、送信処理回路12は、コンテンツデータのパケット化処理とFEC(前方誤り訂正)符号化処理を行う。
【0015】
データ伝送回線としては、代表的にはインターネットが使用できるが、それに限定されず、専用のデータ伝送回線を使用することができる。一般的には、IP伝送が使用される場合が多い。IP伝送では、コンテンツデータが複数のデータパケットに分解され、各データパケットに、IPアドレスが付与され、それによって目的地である映像受信装置30に運ばれる。
【0016】
複数のパケットから成るコンテンツデータを伝送する際に、パケットの消失があると受信側で画像が乱れ品質が劣化する。従って、一般的には、パケットの消失に対する対策が施される。対策の一つとしては、FEC符号化処理がある。FEC符号化処理の詳細は後述するが、FEC符号化処理では、コンテンツデータを基にFECデータが形成される。受信側では、FECデータを基に、消失したパケットを補い正しいコンテンツデータが再生される。送信処理回路12は、FECデータとして複数のパターンを形成し、コンテンツデータと複数種類のFECデータ1~nを出力する。
【0017】
送信回路13は、送信処理回路12から出力されたコンテンツデータと複数のFECデータ1~nを映像コンテンツデータとして映像受信装置30へ送信する。
【0018】
映像受信装置30は、受信回路(IP終端)31、誤り訂正処理回路32、蓄積回路33、選択回路34、復号回路35、及び視聴制御回路36を含む。
【0019】
受信回路31は、データ伝送回線を介して映像コンテンツデータを受信し、コンテンツデータと複数種類のFECデータ1~nとを分ける。コンテンツデータは、リアルタイムコンテンツデータとして、選択回路34へ供給される。また、このリアルタイムコンテンツデータは、蓄積回路33へも供給されて、蓄積リアルタイムコンテンツデータとして蓄積される。更に、受信回路31は、コンテンツデータとFECデータ1~nとを誤り訂正処理回路32へ供給する。映像コンテンツデータがインターネットプロトコルに基づいてデータ伝送回線を介して伝送されてきた場合、受信回路31はIP終端回路として機能する。
【0020】
なお、受信回路31は、独自の基準タイムスタンプを有し、選択回路34へ供給するリアルタイムコンテンツデータ、蓄積回路33へ供給する蓄積リアルタイムコンテンツデータ、及び誤り訂正処理回路32へ供給するコンテンツデータに対して、映像の各所にタイムスタンプを付ける。これにより、視聴者は、視聴中の画像の再生位置をシークバー等で確認できる。シークバーを移動することで移動先の場面を視聴できる。コンテンツデータの開始時刻、視聴している場面の時刻、再視聴を行う契機となる時刻、並びに再視聴する場面の時刻は、このタイムスタンプで管理される。
【0021】
誤り訂正処理回路32は、FECデータ1~nのそれぞれを用いてコンテンツデータに対して誤り訂正処理を行い、FECデータ1~n毎に、訂正コンテンツデータ1~nを出力する。FECデータ1~nに基づく誤り訂正処理は、それぞれ到着時間や処理時間が異なることから、誤り訂正処理回路32は、処理が終了するごとに訂正コンテンツデータ1~nを出力する。訂正コンテンツデータ1~nは、処理された順に、蓄積回路33に蓄積される。具体的な誤り訂正処理は後述するが、ここではパケットの修復、再生を行う。
【0022】
蓄積回路33は、蓄積リアルタイムコンテンツデータと、誤り訂正処理された訂正コンテンツデータ1~nを蓄積する。蓄積回路33は、視聴制御回路36からの指示によって、蓄積したコンテンツデータのいずれかを蓄積データとして選択回路34へ供給する。
【0023】
選択回路34は、視聴制御回路36からの指示によって、受信回路31から供給されるリアルタイムコンテンツデータまたは蓄積回路33から供給される蓄積データのいずれかを復号回路35へ転送する。
【0024】
復号回路35は、選択回路34から転送されたコンテンツデータを復号し、外部の表示装置50(例えばモニタ)に映像を映し出す。復号回路35が復号するコンテンツデータは、リアルタイムコンテンツデータ、蓄積リアルタイムコンテンツデータ、または訂正コンテンツデータ1~nのいずれかである。
【0025】
視聴制御回路36は、再視聴場面の指定または画質の指定を受け付ける。再視聴場面の指定または画質の指定を受けた場合、視聴制御回路36は、蓄積回路33から再生に用いるコンテンツデータを選択し、蓄積回路33に蓄積データとして選択回路34に供給するコンテンツデータを指示するとともに、選択回路34に蓄積データを転送するように指示する。再生に用いるコンテンツデータの選択の詳細は後述する。
【0026】
映像送信装置10と映像受信装置30が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは映像送信装置10と映像受信装置30が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリなどの記録媒体に記録することも、ネットワークを通して提供することも可能である。
【0027】
次に、送信処理回路12における複数のFECデータ1~nの生成処理の一例について説明する。FECデータの生成方法としては、いろいろな方法を利用できるが、例えば、以下のような方法がある。
【0028】
第1に、Pro-MPEGのように、コンテンツデータを分解したパケットで配列を構成し、各行各列のパケットの排他的論理和(EXOR)を取りFECデータを生成する方法がある。
【0029】
送信処理回路12は、圧縮符号化回路11から供給された符号化データを複数のパケットに分解し、図2に示すように、縦横に並べた配列として構成する。
【0030】
送信処理回路12は、コンテンツデータの行方向のパケットに対してそれぞれFECパケットを生成し、さらに列方向のパケットに対してそれぞれFECパケットを生成する。図示していないが、送信処理回路12は、列方向のFECパケットに対してもFECパケットを生成してもよい。FECパケットは、行方向あるいは列方向のコンテンツデータのパケットに基づいて誤り訂正用冗長データであり、受信側で、FECパケットに基づき、コンテンツデータのパケットを修復できる。
【0031】
パケットの配列の構成を変化させ、FECパケット数を変えることで、複数種類のFECデータ1~nを生成できる。例えば、コンテンツデータが100パケットで構成される場合、パケットの配列を10×10とすると、行方向と列方向のFECパケットは合計20となる。パケットの配列を20×5とすると、行方向と列方向のFECパケットは合計25となる。パケットの配列を25×4とすると、行方向と列方向のFECパケットは合計29となる。また、FECパケットの生成を、行方向のみ、あるいは列方向のみで生成した場合、FECデータのパターン数を増やすことができる。なお、FECパケットの数が多いほど冗長度が大きい。
【0032】
第2に、BCH符号、リード・ソロモン符号、LDPC(低密度パリティ検査)符号等のFEC符号化を行って冗長データを生成する方法がある。冗長データの量を変化させて、複数種類のFECデータ1~nを生成できる。
【0033】
第3に、BCH符号、リード・ソロモン符号、LDPC(低密度パリティ検査)符号等のFEC符号化方式を変えて、複数種類のFECデータ1~nを生成できる。
【0034】
上記第1、第2、第3の方法を組み合わせて複数種類のFECデータ1~nを生成してもよいし、受信側で誤りが検出された場合に当該パケットを再送する方法も適用可能である。
【0035】
このように、送信処理回路12は、コンテンツデータに対して複数種類のFECデータを生成することができる。一般的に、FECデータのFECパケット数またはFECデータ全体のデータ量が多い場合は、冗長度が大きくなり、訂正能力が上がる。しかし、冗長度の大きさに応じて処理時間が増えるので、訂正データ作成までの遅延時間が増加する。FECデータのFECパケット数またはFECデータ全体のデータ量が少ない場合は、冗長度が小さくなり、訂正能力が下がる。この場合は、訂正データ作成までの遅延時間は減少する。つまり、FECデータ1~nは冗長度に応じて送信されるタイミングが異なる。
【0036】
なお、送信処理回路12から送信回路13を介してデータを送信する場合、コンテンツデータは、パケットを順次的に並べ替えコンテンツデータストリームとして送信され、FECデータ1~nも、それぞれ並べ替えて異なるFECデータストリーム1~nとして送信される。コンテンツデータストリーム、FECデータストリーム1~nは並行して送信される。
【0037】
次に、誤り訂正処理回路32における誤り訂正処理の一例について説明する。
【0038】
図3にFECデータ数n=3の場合の誤り訂正処理を例示する。受信回路31において受信された映像コンテンツデータは、コンテンツデータ、複数のFECデータ1~3として誤り訂正処理回路32へ供給される。図3の例では、FECデータ1は冗長度が小、FECデータ2は冗長度が中、FECデータ3は冗長度が大の場合を示している。例えば、上述したPro-MPEGでコンテンツデータが100パケットで構成される場合、FECデータ1は配列を10×10とした場合の行方向のみの10個のFECパケットで構成され、FECデータ2は配列を10×10として場合の行方向及び列方向の20個のFECパケットで構成され、FECデータ3は配列を25×4とした場合の行方向及び列方向の29個のFECパケットで構成される。
【0039】
誤り訂正処理回路32は、コンテンツデータに対して、FECデータ1~3のそれぞれを用いて誤り訂正処理を行って訂正コンテンツデータ1~3を生成し、生成順に訂正コンテンツデータ1~3のそれぞれを蓄積回路33に蓄積する。なお、生成された訂正コンテンツデータ1~3は所定の数のパケット群である。誤り訂正処理では、損失パケットの復元及びビットデータの誤り訂正が実施される。一般的には、冗長度が大きい程、誤り訂正処理の完了までに時間を要する。図3の例の場合、FECデータ3が最も冗長度が大きいので、FECデータ3によって処理された訂正コンテンツデータ3が最も遅延して、蓄積回路33に蓄積される。一方、誤り訂正処理されていないコンテンツデータは、誤り訂正による遅延なしに、蓄積リアルタイムコンテンツデータとして蓄積回路33に蓄積される。
【0040】
次に、図4のフローチャートを参照し、視聴時の動作フローについて説明する。視聴動作モードには、通常視聴モードと再視聴モードがある。通常視聴モードは、映像送信装置10が送信する映像コンテンツデータをリアルタイムで視聴するモードである。再視聴モードは、通常視聴モード時に視聴者から再視聴場面の指定を受けて、過去の場面を再視聴するモードである。
【0041】
ステップS11にて、映像受信装置30は、コンテンツデータを復号して表示装置50に供給し、表示装置50が映像を表示する。
【0042】
通常視聴モードでは、受信回路31は、映像コンテンツデータに含まれるコンテンツデータをリアルタイムコンテンツデータとして選択回路34に供給する。選択回路34は、受信回路31から供給されるリアルタイムコンテンツデータを復号回路35へ転送する。復号回路35は、リアルタイムコンテンツデータを復号し、表示装置50に供給する。通常視聴モードでは、受信回路31で受信したコンテンツデータを誤り訂正処理することなく直接復号するため、短い遅延時間での視聴が可能である。ただし、データ伝送回線においてパケットの消失等が発生しても補償されないため、データ伝送回線の状態が悪い場合は画質が劣化する。
【0043】
再視聴モードでは、蓄積回路33は、視聴制御回路36によって指定された蓄積リアルタイムコンテンツデータまたは訂正コンテンツデータ1~nのいずれかを蓄積データとして選択回路34に供給する。選択回路34は、蓄積回路33から供給される蓄積データを復号回路35へ転送する。復号回路35は、蓄積データを復号し、表示装置50に供給する。訂正コンテンツデータ1~nは誤り訂正処理されているため、リアルタイムコンテンツデータよりも画質がよい。
【0044】
ステップS12にて、映像受信装置30は、視聴者によって再視聴場面が指定されたか否か判定する。例えば、視聴者が現在のタイムスタンプよりも前の過去の場面の再視聴を望む場合、再視聴したい場面をシークバーで選択する。シークバーは、表示装置50に表示されたユーザインタフェースである。視聴者は、再視聴したい場面のタイムスタンプを直接指定してもよいし、他の方法で再視聴場面を指定してもよい。
【0045】
再視聴場面が指定された場合、ステップS13にて、映像受信装置30は、再視聴場面の再生に用いる訂正コンテンツデータを選択し、再視聴モードで動作する。具体的には、視聴制御回路36は、蓄積回路33に蓄積された訂正コンテンツデータ1~nのうち再視聴場面を含み、最も画質が良い訂正コンテンツデータ1~nを選択し、選択した訂正コンテンツデータ1~nを蓄積データとして選択回路34に供給することを蓄積回路33に指示するとともに、蓄積回路33から供給される蓄積データの転送を選択回路34に指示する。訂正コンテンツデータの画質は、一般的に誤り訂正処理に用いた冗長度としてのFECデータの量に関連する。FECデータが大きい程、訂正コンテンツデータの画質は高くなる。したがって、FECデータ1~nの量の順に、訂正コンテンツデータ1~nに順位を付けて置けば、誤り訂正処理が済んだ訂正コンテンツデータのうち最も画質が良いとされる訂正コンテンツデータは容易に把握できる。その他、画質の良さの順序は、誤り訂正処理における誤り訂正の数の少ない順、誤り訂正処理後の誤り検出の数の少ない順からも把握することができる。なお、最も画質が良い訂正コンテンツデータ1~nの選択に限らず、映像受信装置30は、現在選択中のコンテンツデータよりも画質が良い訂正コンテンツデータ1~nを選択してもよい。
【0046】
再視聴場面を含む訂正コンテンツデータ1~nが蓄積されていない場合、映像受信装置30は、再視聴場面の再生に用いるコンテンツデータとして誤り訂正処理されていない蓄積リアルタイムコンテンツデータを選択する。例えば、リアルタイムコンテンツデータを視聴中に、直前の場面が再視聴場面として指定された場合、再視聴場面を含む訂正コンテンツデータが生成されていないことがある。その場合、視聴制御回路36は蓄積リアルタイムコンテンツデータを選択する。
【0047】
再視聴モードでは、映像受信装置30は、再視聴場面以降の映像を、ステップS13で選択したコンテンツデータを復号して表示装置50に供給する。
【0048】
なお、再視聴モード時に、視聴者がリアルタイムコンテンツデータの視聴を望むと通常視聴モードに移行してもよい。例えば、視聴者がシークバーでリアルタイムコンテンツデータの現在のタイムスタンプの位置を選択すると、映像受信装置30は、通常視聴モードに移行する。具体的には、通常視聴モードへの移行指示を受けると、視聴制御回路36は、受信回路31から供給されるリアルタイムコンテンツデータの転送を選択回路34に指示する。これ移行、映像受信装置30は、通常視聴モードで動作する。
【0049】
ステップS14にて、映像受信装置30は、視聴者によって画質が指定されたか否か判定する。例えば、視聴者がリアルタイムコンテンツデータを視聴中により高画質での視聴を望む場合、視聴者は映像受信装置30をマニュアル操作して画質を指定できる。例えば、視聴者は、表示装置50に表示されたメニューを操作して画質を指定してもよい。ただし、高画質な訂正コンテンツデータ程、生成に時間を要し、相応の遅延時間を許容する必要がある。
【0050】
画質が指定された場合、ステップS15にて、映像受信装置30は、指定された画質のコンテンツデータを選択する。具体的には、視聴制御回路36は、指定された画質の訂正コンテンツデータ1~nを選択し、選択した訂正コンテンツデータ1~nを蓄積データとして選択回路34に供給することを蓄積回路33に指示するとともに、蓄積回路33から供給される蓄積データの転送を選択回路34に指示する。なお、指定された画質のコンテンツデータが生成されていない場合、映像受信装置30は、指定された画質のコンテンツデータが生成されるまで復号処理を停止してもよい。映像受信装置30は、コンテンツデータがまだ生成されていない画質の指定を受け付けなくてもよい。
【0051】
次に、再視聴時における最も画質が良いコンテンツデータの選択について説明する。
【0052】
まず、図5を参照し、訂正コンテンツデータが蓄積されるタイミングについて説明する。図5は、横軸に時間をとり、リアルタイムコンテンツデータの受信タイミングと、訂正コンテンツデータ1,3および蓄積リアルタイムコンテンツデータの生成タイミングを示す図である。映像受信装置30は時刻T0からリアルタイムコンテンツデータを受信したとする。
【0053】
訂正コンテンツデータ1は、FECデータ1による誤り訂正処理後の時刻T1から生成される。T1-T0が訂正コンテンツデータ1のレイテンシ(遅延)となる。
【0054】
訂正コンテンツデータ3は、FECデータ3による誤り訂正処理後の時刻T3から生成される。T3-T0が訂正コンテンツデータ3のレイテンシとなる。ここではFECデータ3のデータ量はFECデータ1のデータ量よりも多く、訂正コンテンツデータ3は訂正コンテンツデータ1よりも誤り訂正処理に時間がかかるものとする。また、訂正コンテンツデータ3は訂正コンテンツデータ1よりも画質が良いものとする。
【0055】
蓄積リアルタイムコンテンツデータは、リアルタイムコンテンツデータをそのまま蓄積したものであり、誤り訂正処理は行われないので、時刻T0から生成される。
【0056】
続いて、図6,7,8を参照し、再視聴契機と再視聴位置に応じたコンテンツデータの選択について説明する。視聴者は、時刻T0から視聴開始し、時刻Ta,Tb,Tcのそれぞれのタイミングにおいて時刻T0+ΔTの視聴場面を再視聴する指示を出したものとする。
【0057】
図6を参照し、視聴者がリアルタイムコンテンツデータを視聴中に、時刻Ta(再視聴契機)のタイミングで時刻T0+ΔT(再視聴位置)の再視聴を指定した場合のコンテンツデータの選択について説明する。図6に示すように、訂正コンテンツデータ1における再視聴位置T1+ΔTは、再視聴契機Taよりも時間的に前である。つまり、訂正コンテンツデータ1は、時刻Taの時点で再視聴位置の映像は誤り訂正処理済であり利用可能である。一方、訂正コンテンツデータ3における再視聴位置T3+ΔTは、再視聴契機Taよりも時間的に後である。つまり、訂正コンテンツデータ3は、時刻Taの時点で再視聴位置の映像は生成されていない。したがって、訂正コンテンツデータ1が利用できるので、映像受信装置30は、再視聴位置からの再視聴のために訂正コンテンツデータ1を選択する。
【0058】
図7を参照し、視聴者がリアルタイムコンテンツデータを視聴中に、時刻Tb(再視聴契機)のタイミングで時刻T0+ΔT(再視聴位置)の再視聴を指定した場合のコンテンツデータの選択について説明する。図7に示すように、訂正コンテンツデータ1における再視聴位置T1+ΔTは、再視聴契機Tbよりも時間的に前である。訂正コンテンツデータ3における再視聴位置T3+ΔTも、再視聴契機Tbよりも時間的に前である。つまり、訂正コンテンツデータ1,3のいずれも、時刻Tbの時点で再視聴位置の映像は誤り訂正処理済であり利用可能である。したがって、映像受信装置30は、最も画質が良い訂正コンテンツデータ3を選択する。
【0059】
図8を参照し、視聴者がリアルタイムコンテンツデータを視聴中に、時刻Tc(再視聴契機)のタイミングで時刻T0+ΔT(再視聴位置)の再視聴を指定した場合のコンテンツデータの選択について説明する。図8に示すように、訂正コンテンツデータ1における再視聴位置T1+ΔTは、再視聴契機Tcよりも時間的に後である。訂正コンテンツデータ3における再視聴位置T3+ΔTも、再視聴契機Tcよりも時間的に後である。つまり、訂正コンテンツデータ1,3のいずれも、時刻Tcの時点で再視聴位置の映像は生成されていない。したがって、映像受信装置30は、再視聴位置からの再視聴のために蓄積リアルタイムコンテンツデータを選択する。
【0060】
なお、上述したように、直前の映像を再視聴する場合は、蓄積リアルタイムコンテンツデータが必要になるが、訂正コンテンツデータの最小遅延を前提できるならば、蓄積リアルタイムコンテンツデータは蓄積せず、訂正コンテンツデータのみを蓄積してもよい。
【0061】
また、番組が、一つの場面を複数のカメラで撮影した映像(正面、側面から、顔のアップ、観客の様子等)を同時伝送するような場合、再視聴時に、例えば、それぞれのシークバーを選択することで、それぞれの再視聴位置から別の視点の映像を視聴できる。
【0062】
上述したように、本実施形態の映像受信装置30は、コンテンツデータと当該コンテンツデータに対する複数種類のFECデータ1~nを受信する受信回路31と、FECデータ1~nのそれぞれを用いて誤り訂正処理を行い、訂正コンテンツデータ1~nを出力する誤り訂正処理回路32と、訂正コンテンツデータ1~nを蓄積する蓄積回路33と、コンテンツデータまたは訂正コンテンツデータ1~nのうちの1つを選択する選択回路34と、選択されたコンテンツデータまたは訂正コンテンツデータ1~nを復号する復号回路35と、視聴場面の指定を受け付ける視聴制御回路36を備える。映像受信装置30は、視聴場面の指示を受けた時に、当該視聴場面を含み、現在選択中のコンテンツデータよりも画質が良い訂正コンテンツデータを選択する。これにより、視聴場面を指定した時刻において、再視聴を望む視聴場面のより高画質な画像を自動的に選択、再生することが可能となる。また、選択回路34は、指定された視聴場面を含む最も画質が良い訂正コンテンツデータ1~nを選択することで、再視聴を望む視聴場面の最も高画質な画像を自動的に選択、再生することが可能となる。
【符号の説明】
【0063】
1…映像伝送システム
10…映像送信装置
11…圧縮符号化回路
12…送信処理回路
13…送信回路
30…映像受信装置
31…受信回路
32…誤り訂正処理回路
33…蓄積回路
34…選択回路
35…復号回路
36…視聴制御回路
図1
図2
図3
図4
図5
図6
図7
図8