(58)【調査した分野】(Int.Cl.,DB名)
基準再生時刻通知ステップにおいて、再生誤差検出ステップに基づいた基準再生時刻を、抽出された複数の映像情報再生装置から通知される再生時刻を集計し、最も進んだ再生時刻を前記基準再生時刻として、前記抽出された複数の映像情報再生装置に通知することを特徴とした請求項1から請求項3のいずれか1項に記載の映像情報再生方法。
基準再生時刻通知手段において、再生誤差検出手段に基づいた基準再生時刻を、抽出された複数の映像情報再生装置から通知される再生時刻を集計し、最も進んだ再生時刻を前記基準再生時刻として、前記抽出された複数の映像情報再生装置に通知することを特徴とした請求項9に記載の映像情報再生システム。
【発明を実施するための形態】
【0010】
実施の形態1.
図1は、本発明の実施の形態1に係る映像情報再生装置とコンテンツサーバーを含む映像情報再生システム全体を概略的に示すブロック図である。コンテンツサーバー41から、例えば、イーサネット(登録商標)で構成されるネットワーク43を経由して各映像情報再生装置42に、データが配信される。以下では、ネットワーク43上にUDP(User Datagram Protocol)を使ったマルチキャスト配信によりデータを配信することを前提として説明を行うが、再生装置42毎に異なったコンテンツを配信する場合にはユニキャスト配信を、映像情報再生装置42すべてに同じコンテンツを配信する場合にはブロードキャスト配信するなどしてもよく、このような場合にあっても同様に適用が可能である。
【0011】
図2は、本発明の実施の形態1に係る映像情報再生方法の実施に用いられる映像情報再生装置42の構成例を概略的に示すブロック図である。
図1に示した映像情報再生装置42は、コンテンツサーバー41からネットワークを経由して配信されるコンテンツを再生する装置である。
【0012】
図2に示される映像情報再生装置42は、コンテンツサーバー41から配信されたデータの再生手段としての再生部10と、装置全体の制御を実行する再生制御手段としてのCPU21と、装置全体の基準時刻を生成しているクロック回路22を有する。再生部10は、コンテンツサーバー41から配信されたデータを受信するデータ受信部11と、データ受信部11で受信されたデータを一時的に蓄積しておくバッファメモリ12と、バッファメモリ12から読み出されたデータを、映像情報、音声情報の各情報に分離するデマルチプレクサ13と、映像情報をデコードするビデオデコーダ14と、音声情報をデコードするオーディオデコーダ15とを有する。ビデオデコーダ14から出力される映像信号は、外部表示装置31に送られ、外部表示装置31によって映像が表示される。オーディオデコーダ15から出力される音声信号は、音声出力装置32に送られ、音声が出力される。
【0013】
なお、本発明の実施の形態1に係る映像情報再生装置42は
図15に示すように受信部11とバッファメモリ12との間に大容量メモリ16を備えたものでもよい。大容量メモリ16には、コンテンツの一部、またはコンテンツ、または複数のコンテンツに関するデータを蓄積することができる。以下では、
図2に示す映像情報再生装置42により説明を行う。
【0014】
本実施の形態1において、データ受信部11に配信されるデータは、TS(Transport Stream)を想定している。この場合、映像情報、音声情報は、PES(Packetized Elementary Stream)パケットに分割された上で、さらにTSパケットに分割され、映像情報、音声情報が重畳された状態で配信される。
【0015】
PESパケットは、MPEG2や、H.264等で符号化されたES(Elementary Stream)にPESヘッダ情報が付加されたものである。PESパケットは、再生の時間管理を行う単位でパケット化したものであり、映像情報は、例えば、1枚の画像フレーム(ピクチャー)が1つのPESパケットとされる。PESパケットのヘッダ情報には、タイムスタンプ、例えば、再生を行う時刻情報であるPTS(Presentation Time Stamp)が含まれる。
【0016】
TSパケットは固定長(188バイト)のものであり、それぞれのTSパケットのヘッダ部分には、それぞれのデータ種別に固有のPID(Packet ID)が付与されている。このPIDにより、映像情報であるか、音声情報であるか、システム情報(再生制御情報など)であるかの識別が可能である。デマルチプレクサ13では、PIDを読み取り、映像情報であるか、音声情報であるかを識別し、それぞれのデコーダにデータを振り分ける。
【0017】
なお、本実施の形態1においては、188バイトのTSパケットに分割されているものとして説明をしているが、映像情報であるか、音声情報であるかを識別することが可能な、データフォーマットであれば、TS以外のフォーマットでもよい。例えば、PS(Program Stream)でもよい。また、音声情報が無く、映像情報のみのデータが配信されるような場合、TSパケットに分解せずPES(Packetized Elementary Stream)のままでもよい。この場合、再生部10のデマルチプレクサ13、オーディオデコーダ15および音声出力装置32は不要である。
【0018】
本実施の形態の映像情報再生装置においては、CPU21は、矢印51で示すようにバッファメモリ12の容量を常時監視し、バッファメモリ12がアンダーフローやオーバーフローを起こさないように制御を行う受信データの制御手段として動作する。
【0019】
図3は、バッファメモリ12の容量の推移を示す図である。CPU21は
図2の矢印51で示すようにバッファメモリ12の容量を常にモニターしており、
図2の矢印53で示すようにバッファメモリ12の残量を逐次、コンテンツサーバー41に通知している。コンテンツサーバー41がデータの配信を行っていない状態で、映像情報再生装置42が再生を行い、その結果バッファメモリ12のデータ残量が、
図3に示すように、下限値(第1の所定の閾値)SR1まで減少すると、コンテンツサーバー41は再生装置42に対してデータの送信を開始(再開)し、バッファメモリ12の残量が上限値(第2の所定の閾値)SR2に達すると、コンテンツサーバー41は映像情報再生装置42に対するデータの配信を停止する。次にバッファメモリ12の残量が下限値SR1まで減少すると、コンテンツサーバー41はデータの配信を再開する。以上の動作を繰り返すことで、バッファメモリ12のデータ残量が上限値SR2と下限値SR1との間に収まるように配信データの制御を行う。
【0020】
また、CPU21は、
図2の矢印52で示すように、同じ映像情報再生装置42内のビデオデコーダ14の再生時刻を監視し、矢印53で示すように、コンテンツサーバー41にその時刻を通知するとともに、矢印54で示すように、コンテンツサーバー41から通知される基準となる再生時刻に対して、同じ映像情報再生装置42内のビデオデコーダ14の再生時刻とのずれに従い、ビデオデコーダ14を制御する手段としても動作する。詳細は後述する。
【0021】
図4は、コンテンツサーバー41から配信されるTSデータの、データ構成を示したものである。TSデータでは、映像情報と音声情報は、188バイト単位のパケット(TSパケット)に分割され、映像データが格納されたビデオパケットV1、V2、V3、・・・、Vn、音声データが格納されたオーディオパケットA1、A2、A3、・・・、An、PAT・PMT等のシステム情報が格納されたPSI/SIパケットS1、・・・、Snが、映像、音声の再生が途切れることがないように重畳されている。
【0022】
コンテンツサーバー41には、
図4のように構成されたTSデータが複数存在し、各映像情報再生装置42に対して、連続して配信される。ユーザーからコンテンツサーバー41に対して、再生の指示が出されると、あらかじめ指示された順番で、コンテンツサーバー41のTSデータの配信が開始される。
【0023】
次に、コンテンツサーバー41から配信されたコンテンツが再生されるまでのシーケンスについて
図2を用いて説明する。ユーザーから、コンテンツサーバー41に対して再生開始の要求(再生のためのデータ配信の要求)が出されると、コンテンツサーバー41は、各映像情報再生装置42に対する、TSデータのマルチキャストでの送信を開始する。(この再生開始の要求は、映像情報再生装置42のいずれかから信号を送ることにより行なわれる場合もあり、また図示しない別個の制御機器により与えられることもある。)
【0024】
各映像情報再生装置42は、配信されたTSデータをデータ受信部11で受信し、バッファメモリ12へ蓄積を開始する。なお、
図15に示すように、大容量メモリ16を有する場合には大容量メモリ16にTSデータの蓄積を開始する。この時、コンテンツサーバー41は、
図1に示す全映像情報再生装置42の中から、同期させたいグループの代表となる映像情報再生装置42を任意に決め、代表とした映像情報再生装置42のバッファメモリ12のデータ残量を逐次モニターをする。コンテンツサーバー41は、バッファメモリ12の残量が、
図3に示した下限値SR1より大きく、上限値SR2より小さい第3の所定の閾値(初期再生開始値)SR3を超えたことを検知すると、同期させたいグループの全映像情報再生装置42に対して再生の開始(再生装置における表示、出力の開始)を指示する。
【0025】
図2において、コンテンツサーバー41から再生指示が出されると、各映像情報再生装置42において、バッファメモリ12のTSデータのそれぞれのパケットはデマルチプレクサ13に送出され、該パケットのPIDに従って映像情報、音声情報、PSI/SI情報とに分離される。分離された映像情報はビデオデコーダ14へ送出され、デコードされた映像信号は、外部表示装置31に出力される。また分離された音声情報は、オーディオデコーダ15へ送出され、デコードされた音声信号は音声出力装置32に送られ、音声が出力される映像と音声の再生が開始された後も、コンテンツサーバー41からデータの配信が続けられる限り、バッファメモリ12内の残量は時間とともに増加していく。但し、増加の速度は、映像情報再生装置42で再生を行なっていないときに比べると遅くなり、そのため、再生の開始時刻より後の残量曲線の傾きは小さくなる。
【0026】
先にも述べたように、CPU21はバッファメモリ12の残量を逐次コンテンツサーバー41に通知しており、バッファメモリ12の残量が上限値SR2に達したことを、コンテンツサーバー41が検知すると、コンテンツサーバー41は、データの配信を停止する。データの配信が停止されると、各映像情報再生装置42のバッファメモリ12の残量は、デコーダでデータが消費されるに従って次第に減少する。代表となっている映像情報再生装置42のバッファメモリ12の残量が下限値SR1に達したことをコンテンツサーバー41が検知すると、コンテンツサーバー41はデータの配信を再開する。
【0027】
以上の動作を繰り返すことで、バッファメモリ12がアンダーフローやオーバ-フローを引き起こすことなく、音声や映像の途切れのない再生が継続される。但し、各コンテンツの最後の部分では、バッファメモリ12の残量が下限値SR1に達したことが検知されても、それ以上配信すべきデータが存在しないので、
図3に点線EOCで示すように、残量はさらに少なくなり、最後はゼロに達する。
【0028】
闇値SR1、SR2、SR3の値については、バッファメモリ12の容量、再生するビットレート等により最適な値に設定されるべきであるが、本出願には直接関わる値でないため、特に閾値の値については言及しない。
【0029】
以上の手順で、同期させたいグループの全映像情報再生装置42で一斉に再生が開始されるが、ビデオデコーダ14の基準時刻を生成しているクロック回路22内の水晶発振器の発振周波数は全く同一ではなく、映像情報再生装置42間で発振周波数に差異がある。デコードした映像の出力時刻は、この基準時刻を元に映像情報中の(PESパケットのヘッダ情報に含まれる)PTSに従って制御されている。即ち、各PESは、該PESのヘッダ情報に含まれるPTSで指定された時刻(コンテンツの先頭を再生する時刻に対する相対時刻)になったことを、映像情報再生装置42内の水晶発振器から発生されるクロックパルスのカウント結果との比較により、検知しながら、デコードを行なったり、デコード後の時間調整(遅延)を行なったりしながら、各PESの画像を、当該PESのヘッダ情報に含まれるPTSで指定された時刻(コンテンツの再生開始からの相対時刻)に再生出力を行なうようにしている。上記の再生時刻のずれとは、あるPTSを含むPESパケットの一つの映像情報再生装置42における再生を、当該一つの映像情報再生装置42内のクロック回路22で計時した時刻と、同じPTSを含むPESパケットの、別の再生装置における再生を、当該別の映像情報再生装置42内のクロック回路22で計時した時刻との差を意味する。
【0030】
上記のような構成であるため、水晶発振器の周波数の誤差が原因となり、時間とともに各映像情報再生装置42の再生時刻にずれが生じてくる。例えば、水晶発振器の精度が+20ppmとし、最も表示の進んだ映像情報再生装置42と、最も表示の遅れた映像情報再生装置42との間には、40ppmの誤差が生じ、24時間の連続再生を仮定すると、約3秒弱の時間のずれが生じる可能性がある。
【0031】
また、コンテンツサーバー41は、同期させたいグループの全映像情報再生装置42の中の、一つを代表の映像情報再生装置42として、そのバッファメモリ12内のデータ残量をモニターしながら、データ配信の制御を行っているため、最も誤差の大きい映像情報再生装置42を代表とした場合、他の再生装置42のバッファメモリ12でバッファのアンダーフローやオーバーフローが発生する可能性が高くなる。
【0032】
図5は、当該最も時刻の進みが早い映像情報再生装置42が代表で選択されている場合の、最も時刻の進みの早い再生装置(F)と、最も遅い映像情報再生装置(S)のバッファの残量の違移を示す一例である。最も早い再生装置(F)の残量が下限値SR1になった時刻T1より、コンテンツサーバー41からのデータ配信が再開されるが、この時、最も遅い映像情報再生装置(S)の残量は、データがより多く残っている。
【0033】
例えば、映像の符号化ビットレートが10Mbps、バッファメモリ12の容量が10Mbit、下限値SR1が3Mbit、上限値SR2が6Mbitの時、再生開始からおよそ2時間30分後となる時刻T2で、再生装置(F)の残量は6Mbit、再生装置(S)の残量は、9.6Mbitとなり、バッファメモリの容量の限界に近づいた状態になる。このことから、再生開始から2時間30分後は、再生装置(S)には再生装置(F)よりも、3.6Mbitも多くデータが残っていることになる。このままコンテンツサーバー41からのデータの配信をさらに継続すると、再生装置(S)のバッファメモリ12の容量10Mbitを超えたときに、再生すべきデータが捨てられ、一部フレームの抜けた映像が表示されることになる。
【0034】
上記に説明したように、水晶発振器の周波数のばらつきが原因で、長時間再生を継続した場合、各映像情報再生装置42間の表示の同期がとれなくなり、最悪の場合バッファメモリ12のオーバーフローや、アンダーフローが発生し、再生の途切れや中断が発生するという問題があった。
【0035】
図6(a)は、映像情報再生装置42間の再生を同期させるための映像情報再生装置42内処理のシーケンス図である。また、
図6(b)は、映像情報再生装置42間の再生を同期させるためのコンテンツサーバー41内処理のシーケンス図である。映像情報再生装置42間の再生同期は、映像情報再生装置42内の処理とコンテンツサーバー41内の処理をあわせて実現される。
【0036】
映像情報再生装置42では、コンテンツ再生開始(ST1)の後、前のコンテンツ再生終了、あるいはコンテンツ切替後所定の時間経過後(ST12)に、コンテンツサーバー41からは、コンテンツの切替毎、あるいは、コンテンツの切替の複数回に1回、各映像情報再生装置42に対して、現在の再生時刻要求を通知(ST13)、各映像情報再生装置42では、その再生時刻要求を受信する(ST2)。
【0037】
コンテンツサーバー41からの再生時刻要求に対して、各映像情報再生装置42からは、現在の再生時刻をコンテンツサーバー41に通知する(ST3)。コンテンツサーバー41では、同期をとる複数の映像情報再生装置42からの現在の再生時刻通知を受信して(ST14)、そのうちから、基準となる基準再生時刻を決定(ST15)、基準再生時刻を各映像情報再生装置42に通知する(ST16)。
【0038】
映像情報再生装置42では、コンテンツサーバー41から基準再生時刻を受信し(ST4)、先ほど自身で通知した再生時刻と、コンテンツサーバー41から通知された基準再生時刻との差から、基準の映像情報再生装置42から、遅れて再生しているのか、進んで再生しているのかを認識し、再生時刻誤差検出(ST5)後、再生フレームを調整する(ST6)。再生フレームの調整については、後述する。
【0039】
その後、現コンテンツと次コンテンツのコンテンツ切替を検出(ST7)、コンテンツサーバー41にコンテンツ切替を通知する(ST8)。
【0040】
コンテンツサーバー41では、映像情報再生装置42からのコンテンツ切替通知をうけ、
図6(b)のフローを開始し、全映像情報再生装置42から同期させたい(同期調整したい)映像情報再生装置42を抽出し(ST11)、映像情報再生装置42に対して、所定の時間が経過したかどうかを判定(ST12)し、所定の時間経過していれば、現在の再生時刻要求を通知する(ST13)。以降、繰り返す。
【0041】
再生フレームの調整について記述する。
図7〜
図12に一例を示す。
【0042】
図7は、ビデオデコーダ14にフレームスキップ機能、フレームリピート機能がともに備わっている場合の再生フレームの調整を示したものであるである。再生フレーム調整(ST6)では、コンテンツサーバー41から通知された基準再生時刻に対して、映像情報再生装置42が再生時刻要求を受けた時点(ST2)の再生時刻を比較し、その差が所定値以上、例えば1フレーム以上かどうかの判断を行なう。1フレーム以上遅れている場合には、フレームスキップを実施する(ST23)。1フレーム以上遅れていない場合には、さらに、1フレーム以上進んでいないか判断し(ST22)、1フレーム以上進んでいる場合には、フレームリピートを実施する(ST24)。1フレーム以上進んでいなければ、フレーム調整処理をしない。なお、再生フレームの調整を行うかどうかを判断するための、基準再生時刻とST2時点の再生時刻との差は1フレームに限るものではない。
【0043】
図8は、ビデオデコーダ14にフレームスキップ機能、フレームリピート機能がともに備わっている場合のコンテンツ切替前後の、各映像情報再生装置42の再生フレームの遷移を表した図である。
図8の番号は再生フレーム番号である。基準となる映像情報再生装置を42Sとする。上記のシーケンスに従って再生を行うと、基準再生時刻に対して遅れている映像情報再生装置42Bは次のフレームをスキップし、進んでいる映像情報再生装置42Fは次のフレームをリピートすることで、次のコンテンツのTSデータの再生の開始タイミングを1フレーム以内の時間差以下にあわせることが可能となる。
【0044】
図9は、ビデオデコーダ14にフレームスキップ機能がなく、フレームリピート機能のみが備わっている場合の再生フレームの調整を示したものであるである。再生フレーム調整(ST6)では、コンテンツサーバー41から通知された基準再生時刻に対して、映像情報再生装置42の再生時刻要求を受けた時点(ST2)の再生時刻を比較し、その差が所定値以上、例えば1フレーム以上かどうかの判断を行なう。1フレーム以上遅れている場合には、フレーム調整処理をしない、1フレーム以上遅れていない場合には、さらに、1フレーム以上進んでいないか判断し(ST22)、1フレーム以上進んでいる場合には、フレームリピートを2回行い(ST25)、1フレーム以上進んでいなければ、フレームリピートを1回行う(ST26)。なお、再生フレームの調整を行うかどうかを判断するための、基準再生時刻とST2時点の再生時刻との差は1フレームに限るものではない。
【0045】
図10は、ビデオデコーダ14にフレームスキップ機能がなく、フレームリピート機能のみが備わっている場合のコンテンツ切替前後の、各映像情報再生装置42の再生フレームの選移を表した図である。
図10の番号は再生フレーム番号である。基準となる映像情報再生装置を42Sとする。上記のシーケンスに従って再生を行うと、基準再生時刻に対して、遅れている映像情報再生装置42Bはそのまま再生し、進んでいる映像情報再生装置42Fは、次のフレームと次々フレームをリピートし、それ以外の映像情報再生装置は次フレームをリピートすることで、次のコンテンツのTSデータの再生の開始タイミングを1フレーム以内の時間差以下にあわせることが可能となる。
【0046】
図11は、ビデオデコーダ14にフレームリピート機能がなく、フレームスキップ機能のみが備わっている場合の再生フレームの調整を示したものである。再生フレーム調整(ST6)では、コンテンツサーバー41から通知された基準再生時刻に対して、映像情報再生装置42の再生時刻要求を受けた時点(ST2)の再生時刻を比較し、その差が所定値以上、例えば1フレーム以上かどうかの判断を行なう。1フレーム以上遅れている場合には、フレームスキップを2回行い(ST27)、1フレーム以上遅れていない場合には、さらに、1フレーム以上進んでいないか判断し(ST22)、1フレーム以上進んでいる場合には、フレーム調整処理を行わず、1フレーム以上進んでいなければ、フレームスキップを1回行う(ST28)。なお、再生時間の調整を行うかどうかを判断するための、基準再生時刻とステップST2時点の再生時刻との差は1フレームに限るものではない。
【0047】
図12は、ビデオデコーダ14にフレームリピート機能がなく、フレームスキップ機能のみが備わっている場合のコンテンツ切替前後の、各映像情報再生装置42の再生フレームの選移を表した図であり、図中の番号は再生フレーム番号である。上記のシーケンスに従って再生を行うと、基準となる映像情報再生装置42Sの基準再生時刻に対して、遅れている映像情報再生装置42Bは、次のフレームと次々のフレームを2フレームスキップし、進んでいる映像情報再生装置42Fは、そのまま再生し、それ以外の映像情報再生装置は次のフレームをリピートすることで、次のコンテンツのTSデータの再生の開始タイミングを1フレーム以内の時間差以下にあわせることが可能となる。
【0048】
図6では、再生フレーム調整(ST6)を、基準再生時刻受信(ST4)後、調整が必要な時間差があれば、コンテンツ再生の途中で行うものとして記載しているが、コンテンツ再生の経過をフレーム単位で把握でき、再生を制御可能な場合には、コンテンツの最後、つまり、コンテンツ切替検出(ST7)のタイミングで行ってもよく、フレームのリピート/スキップをより目立たなくする点でより好ましい。一方、現状では、リピート/スキップ挿入タイミングをフレーム単位で制御する必要がない点が好ましい。
【0049】
次に、各映像情報再生装置42から通知された基準再生時刻の決定方法について記載する。基準再生時刻は、平均の時刻であっても、最も遅れた時刻であっても、最も進んだ時刻であってもよい。ビデオデコーダ14がフレームリピート機能、フレームスキップ機能をともに備える場合には、調整の余地を広げるという観点から平均の時刻を基準再生時刻として採用することが望ましいが、フレームスキップ機能しか備えていない場合には、最も早い時刻を基準再生時刻に採用して、フレームスキップ機能による再生時刻を進める調整の余地を広げることが望ましく、フレームリピート機能しか備えていない場合には、最も遅い時刻を基準再生時刻に採用して、フレームリピート機能による再生時刻を遅らせる調整の余地を広げることが望ましい。
【0050】
図13は、各映像情報再生装置42で異なるコンテンツを再生させた場合の処理を説明するための図である。
図13(a)は、各映像情報再生装置42の再生コンテンツの一例を示したものである。広告コンテンツは、5秒、10秒、15秒といったように、ある最小時間(例えば5秒)のN倍の長さで作られ、再生される。必ずしも、5秒である必要はなく、3秒でも構わない。映像情報再生装置42Aは、コンテンツa(再生時刻Ta1〜Ta3:15秒)、コンテンツb(再生時刻Ta3〜Ta5:15秒)、コンテンツc(再生時刻Ta5〜Ta7:15秒)を再生する。映像情報再生装置42Bは、コンテンツd(再生時刻Ta1〜Ta2:10秒)、コンテンツe(再生時刻Ta2〜Ta4:15秒)、コンテンツf(再生時刻Ta4〜Ta6:10秒)、コンテンツg(再生時刻Ta6〜Ta7:10秒)を再生、映像情報再生装置42Cは、コンテンツm(再生時刻Ta1〜Ta3:15秒)、コンテンツh(再生時刻Ta3〜Ta4:10秒)、コンテンツf(再生時刻Ta4〜Ta6:10秒)、コンテンツg(再生時刻Ta6〜Ta7:10秒)を再生する。ここで、再生時刻Ta1〜Ta3(15秒)に、映像情報再生装置42Aと映像情報再生装置42Cで異なるコンテンツaとコンテンツmを再生し、再生時刻Ta4〜Ta6(10秒)に、映像情報再生装置42Bと映像情報再生装置42Cが同じコンテンツfを再生している、同様に、再生時刻Ta6〜Ta7(10秒)に、映像情報再生装置42Bと映像情報再生装置42Cが同じコンテンツgを再生している。
【0051】
図13(b)は、映像情報再生装置42からのコンテンツ切替通知(ST8)が行われるコンテンツ切替通知時刻Ta、再生時刻通知ST3が行われる再生時刻通知時刻Tc、再生フレーム調整(ST6)が行われるフレーム調整時刻Te、コンテンツサーバー41からの再生時刻要求通知(ST13)が行われる再生時刻要求通知時刻Tb、基準再生時刻通知(ST16)が行われる基準再生時刻通知時刻Tdの一例を示したものである。ここでは、映像情報再生装置42A、映像情報再生装置42B、映像情報再生装置42Cは、同期の対象となるグループを構成しているものとする。一部同じ時刻に同じコンテンツを再生しているが、基本的には別々のコンテンツを再生することを前提としているため、ユニキャスト配信されているものとする。映像情報再生装置毎の各時刻は、伝送遅延や、システムクロックの違いによって、必ずしも同時刻ではないが、記載の簡便さのため、同じ添え字とする。コンテンツサーバー41は、各映像情報再生装置42の正確な再生フレームは把握できないが、現在、どの映像情報再生装置42で何を再生しているか、何秒のコンテンツであるかなど大まかな再生スケジュールを管理、把握をしている。
【0052】
時刻Ta1において、映像情報再生装置42A、映像情報再生装置42B、映像情報再生装置42Cから、コンテンツ切替通知がコンテンツサーバー41に通知されると、コンテンツサーバー41では、同期処理の対象となるグループの全映像情報再生装置42からコンテンツ切替通知(ST8)を受けた後、所定の時間Tb1経過後、全映像情報再生装置42に対して各映像情報再生装置42の現在の再生時刻を要求する再生時刻要求通知(ST13)を行う。各映像情報再生装置42では時刻Tc1において、再生時刻要求通知(ST13)を受け、コンテンツサーバー41に対し現在の再生時刻を通知する再生時刻通知(ST3)を行う。コンテンツサーバー41は、時刻Td1において、各映像情報再生装置42から受信した各映像情報再生装置42の再生時刻から基準となる再生時刻を抽出し、各映像情報再生装置42に基準再生時刻通知(ST16)を行う。基準となる映像情報再生装置42はその都度、現在の再生時刻をもとに更新してもよいし、初期段階で決定した映像情報再生装置42のままとしてもよい。コンテンツサーバー41から基準再生時刻を受信した各映像情報再生装置42は、Tc1の時点で、コンテンツサーバー41に通知した再生時刻と比較のうえ、時刻Te1において再生フレーム調整ST6を行う。
【0053】
時刻Ta2において、映像情報再生装置42Bから、コンテンツサーバー41に対し、コンテンツ切替通知(ST8)が通知される。このとき、コンテンツサーバー41では、再生スケジュールから判断して、映像情報再生装置42A、映像情報再生装置42Cからのコンテンツ切替通知(ST8)を待つことなく、また、基準となる映像情報再生装置42Cがコンテンツの切り目でないため、映像情報再生装置42Bに対し再生時刻要求通知(ST8)以降の処理を行わない。なお、基準となる映像情報再生装置42がないが、その他にコンテンツ切替があった映像情報再生装置42が複数あった場合には、それら映像情報再生装置42間で、同期のための以降の処理を行ってもよい。ここでは基準となる映像情報再生装置42からのコンテンツ切替通知がない場合には、以降の処理を行わないものとして記載する。
【0054】
時刻Ta3において、映像情報再生装置42A、映像情報再生装置42Cから、コンテンツ切替通知ST8がコンテンツサーバー41に通知される。コンテンツサーバー41では、再生スケジュールから判断して、映像情報再生装置42Bからのコンテンツ切替通知(ST8)を待つことなく、時刻Tb3に、コンテンツ切替通知のあった映像情報再生装置42A、映像情報再生装置42Cに対して現在の再生時刻を要求する再生時刻要求通知(ST13)を行う。各映像情報再生装置42では、再生時刻要求通知(ST13)を受け、時刻Tc3において、コンテンツサーバー41に対して、現在の再生時刻を通知する再生時刻通知(ST3)を行う。コンテンツサーバー41は、各映像情報再生装置42から受信した各映像情報再生装置42の再生時刻から基準となる再生時刻を抽出し、時刻Td3において、各映像情報再生装置42に基準再生時刻通知ST16を行う。コンテンツサーバー41から基準再生時刻通知ST16を受信した各映像情報再生装置42は、時刻Tc3においてコンテンツサーバー41に通知した再生時刻と比較のうえ、時刻Te3において、再生フレーム調整(ST6)を行う。
【0055】
時刻Ta4において、映像情報再生装置42B、映像情報再生装置42Cから、コンテンツ切替通知(ST8)がコンテンツサーバー41に通知される。コンテンツサーバー41では、再生スケジュールから判断して、映像情報再生装置42Aからのコンテンツ切替通知を待つことなく、時刻Tb4に、コンテンツ切替通知のあった映像情報再生装置42B、映像情報再生装置42Cに対して現在の再生時刻を要求する再生時刻要求通知(ST13)を行う。各映像情報再生装置42では、再生時刻要求通知S(T13)を受け、時刻Tc4において、コンテンツサーバー41に対して、現在の再生時刻を通知する再生時刻通知(ST3)を行う。コンテンツサーバー41は、各映像情報再生装置42から受信した各映像情報再生装置42の再生時刻から基準となる再生時刻を抽出し、時刻Td4において各映像情報再生装置42に基準再生時刻通知(ST16)を行う。コンテンツサーバー41から基準再生時刻を受信した各映像情報再生装置42は、時刻Tc4においてコンテンツサーバー41に通知した再生時刻と比較のうえ、時刻Te4において、再生フレーム調整(ST6)を行う。
【0056】
時刻Ta5において、映像情報再生装置42Aから、コンテンツ切替通知(ST8)がコンテンツサーバー41に通知される。このとき、コンテンツサーバー41では、再生スケジュールから判断して、映像情報再生装置42B、映像情報再生装置42Cからのコンテンツ切替通知(ST8)を待つことなく、また、基準となる映像情報再生装置42Cがコンテンツの切り目でないため、再生時刻要求通知(ST13)知以降の処理を行わない。
【0057】
時刻Ta6において、映像情報再生装置42B、映像情報再生装置42Cから、コンテンツ切替通知(ST8)がコンテンツサーバー41に通知される。コンテンツサーバー41では、再生スケジュールから判断して、映像情報再生装置42Aからのコンテンツ切替通知(ST8)を待つことなく、時刻Tb6に、コンテンツ切替通知のあった映像情報再生装置42B、映像情報再生装置42Cに対して現在の再生時刻を要求する再生時刻要求通知(ST13)を行う。各映像情報再生装置42では、再生時刻要求通知(ST13)を受け、時刻Tc6において、コンテンツサーバー41に対して、現在の再生時刻を通知する再生時刻通知(ST3)を行う。コンテンツサーバー41は、各映像情報再生装置42から受信した各映像情報再生装置42の再生時刻から基準となる再生時刻を抽出し、時刻Td6において、各映像情報再生装置42に基準再生時刻通知(ST16)を行う。コンテンツサーバー41から基準再生時刻を受信した各映像情報再生装置42は、時刻Tc6においてコンテンツサーバー41に通知した再生時刻と比較のうえ、時刻Te6において前述のように再生フレーム調整(ST6)を行う。
【0058】
図13(c)は、各映像情報再生装置42毎の各再生コンテンツ内の再生フレームを示す。破線の再生時刻Te1、Te3、Te4、Te6で再生フレーム数を増減させることによって、各コンテンツの再生フレームが調整され、結果、次のコンテンツの再生開始時刻が調整され、次に現在の再生時刻要求に対する応答である再生時刻通知(ST3)に反映されることにより、複数の映像情報再生装置42の同期が実現できる。また、このとき、同時に再生し、同期させるコンテンツが同じコンテンツである必要はない。例えば、映像情報再生装置42Aで再生するコンテンツaと映像情報再生装置42Cで再生するコンテンツmは異なっていても同じく、コンテンツ間の切替タイミングを同期させることが可能である。
【0059】
以上、説明したように、同期させたい複数の映像情報再生装置42について、複数の映像情報再生装置42からコンテンツサーバー41に通知されるコンテンツ切替通知(ST8)を基に、コンテンツサーバー41において次に同期のための再生フレーム調整(ST6)の対象となる映像情報再生装置42を抽出する。抽出した映像情報再生装置42にのみ現在の再生時刻要求(ST13)を行い、映像情報再生装置42からの再生時刻通知(ST3)を受けて、基準再生時刻を決定する。次に、各映像情報再生装置42に基準再生時刻を通知して、映像情報再生装置42で、現在の再生時刻要求時に算出した再生時刻と比較することにより、ビデオデコーダ14での再生フレームをスキップ/リピートして再生フレーム調整(ST6)を行うことにより、再生時刻を1フレーム以内で同期させることが可能となる。
【0060】
再生フレームのスキップ/リピートにより、再生時刻の同期を行うため、VCXO等の特別なクロックとその制御を必要としない。
【0061】
また、現在の再生時刻要求時に算出した再生時刻と基準再生時刻との差に応じて、フレームスキップ機能がない場合には、フレームリピート数を調整することにより、フレームリピート機能がない場合には、フレームスキップ数を調整することにより、フレームスキップ機能、フレームリピート機能がある場合と同様に再生時刻を1フレーム以内で同期させることができる。
【0062】
ビデオデコーダ14がフレームリピート機能、フレームスキップ機能をともに備える場合には、基準再生時刻を平均値に最も近い再生時刻に採用することにより、最も調整の余地を広げることができる。一方、ビデオデコーダ14がフレームスキップ機能しか備えていない場合に、最も進んでいる再生時刻を基準再生時刻に採用することにより、フレームスキップ機能による再生時刻を進める調整の余地を広げることができる。さらに、ビデオデコーダ14がフレームリピート機能しか備えていない場合に、最も遅れている再生時刻を基準再生時刻に採用することにより、フレームリピート機能による再生時刻を遅らせる調整の余地を広げることができる。
【0063】
再生フレーム調整はMPEG2やH.264で符号化されたコンテンツを復号するビデオデコーダ14の機能として実現されるものであり、同期のためにコンテンツを特別に加工する必要がない。
【0064】
コンテンツ切替のタイミングを同じくするコンテンツであれば、異なるコンテンツ同士であっても、再生時刻を調整することが可能である。
【0065】
コンテンツサーバー41と映像情報再生装置42との間で再生時刻を送受するものとして説明したが、再生時刻の代わりに再生フレーム番号を送受しても同様に効果がある。また、再生装置42間で異なるコンテンツを再生した場合にも、コンテンツサーバー41で映像情報再生装置42間の再生フレームの対応関係がわかっていれば同様の動作を行うことができ、同様の効果が得られる。
【0066】
上述した映像情報再生方法を行うために、本発明に係る映像情報再生システムにおいては、
映像情報再生装置において、コンテンツ切替を検出し、そのタイミングを通知するコンテンツ切替通知手段と、
コンテンツサーバーにおいて、コンテンツ切替通知手段からのコンテンツ切替通知を受け、コンテンツ切替について同期すべき複数の映像情報再生装置を抽出する再生装置抽出手段と、
再生装置抽出手段により抽出された複数の映像情報再生装置に対して、再生中の再生時刻を要求する再生時刻要求通知手段と、
映像情報再生装置において、再生時刻要求通知手段からの要求を受け、再生中の再生時刻を通知する再生時刻通知手段と、
コンテンツサーバーにおいて、再生時刻通知手段で得られた抽出された複数の映像情報再生装置の現在の再生時刻から、再生時刻の基準とする再生時刻を基準再生時刻として決定し、抽出された複数の映像情報再生装置に通知する基準再生時刻通知手段と
映像情報再生装置において、基準再生時刻通知手段で得られた基準再生時刻と、再生時刻要求通知手段において、再生時刻要求を受けた時点の再生時刻とを比較し、同期すべき複数の映像情報再生装置の再生時刻要求を受けた時点の再生時刻が、基準再生時刻に対し、遅れているか、進んでいるかに応じて、同期すべき複数の映像情報再生装置の再生中の再生フレームをスキップ再生、ないし、リピート再生することにより、同期すべき複数の映像情報再生装置の再生中の再生フレームを調整する再生フレーム調整手段とを有している。
映像情報再生装置は、コンテンツ切替通知手段と再生時刻通知手段と再生フレーム調整手段とを有し、
コンテンツサーバーは、再生装置抽出手段と再生時刻要求通知手段と基準再生時刻通知手段とを有している。
【0067】
本発明は、例えば自動車、列車、建物などにおいて複数の画面に表示を行なう映像情報再生装置に適用することができ、複数の映像情報再生装置間の再生時刻を1フレーム内で同期させることができるという効果が得られる。
【0068】
実施の形態2
実施の形態1では、各映像情報再生装置42間の再生時刻のばらつきが数フレーム数以内に収まっている場合の調整方法について説明をおこなった。しかし、映像情報再生装置42内でCPU21に急な負荷がかったり、また電気的なノイズの影響で映像情報再生装置42にリセットがかかってしまったりして、再生準備可能となる前に、コンテンツサーバー41からのデータ配信が開始されてしまった場合、大幅に再生同期がずれてしまう場合がある。この場合、ずれ時間が、数秒間にもなるため、実施の形態1の調整方法で、同期がとれるまでに、数十分から数時間を要する場合がある。
【0069】
図14は、このように大幅に再生時刻がずれてしまった時に、短時間に調整を行うために改良されたシーケンス図である。
図14において、ステップ(ST36)及び(ST37)は、コンテンツサーバー41で行なわれる処理であり、その他のステップは、各映像情報再生装置42で行なわれる処理である。まず、基準となっている映像情報再生装置42の再生時刻に対して、実施の形態1で説明した調整方法で、同期化が可能な範囲内のずれ量かどうか(実施の形態1で説明した方法で、調整が可能な範囲内かどうか)を判断する(ST31)
【0070】
同期が可能な範囲内であると判断された場合は、ステップ(ST32)へ進み、
図7、
図9、
図11で示すような通常の調整を行う。ステップ(ST32)での調整の詳細については、実施の形態1で詳細に説明を行ったので、省略する。再生時刻のずれ量が、同期化が可能な範囲外であると判断されると、現在再生中のコンテンツの再生を中断し、バッファメモリ12に蓄積されているすべてのデータをクリアする(ST33)。
【0071】
再生を中断した映像情報再生装置42は、現在再生中のコンテンツのTSデータの配信が完了し、次のコンテンツの先頭のTSパケットの先頭パケットが配信されるのを待つ(ST34)。次のコンテンツの先頭のTSパケットを検出すると、CPU21は、データのバッファメモリ12への蓄積を開始する(ST35)。
【0072】
次に、コンテンツサーバー41は、基準となっている映像情報再生装置42に対して、次のコンテンツの先頭のフレームの再生が開始されたら、コンテンツサーバー41に通知するよう指示し、基準となっている映像情報再生装置42から、次のコンテンツの再生が開始されたことが、コンテンツサーバー41に通知される(ST36)と、コンテンツサーバー41は、再生を中断した映像情報再生装置42に対して、再生開始指示を出し(ST37)、再生を中断した映像情報再生装置42におけるコンテンツの再生が再開される。
【0073】
基準となっている映像情報再生装置42から、コンテンツサーバー41に再生開始が通知され、コンテンツサーバー41から、再生を中断した映像情報再生装置42に再生開始指示が伝わるまで、ネットワークによる遅延、ソフトウェアの処理時間による遅延、ビデオデコーダ14に再生指示を出してから最初のフレームが表示されるまでの遅延があるため、この時点では、再生を中断した映像情報再生装置42の再生時刻は、他の映像情報再生装置42に対し数フレーム遅れた状態にある。しかし、この遅れは通常の同期を調整するシーケンスで調整可能な範囲内であるため、次回の調整シーケンスで同期を一致させることが可能である。
【0074】
以上説明したように、再生時刻が大幅にずれた映像情報再生装置42に対しては、一旦再生を中断し、基準となっている映像情報再生装置42が、次のコンテンツの先頭フレームを再生開始するタイミングで、再生を再開することで、次のコンテンツの調整で速やかに再生時刻の同期を図ることが可能となる。
【0075】
本映像情報再生方法を行うためのシステムにおいては、
再生時刻誤差検出手段で検出された再生時刻の誤差が、再生フレーム調整手段による調整により同期化が可能な範囲内かどうか判断する判断手段と、
上記判断手段で化が可能な範囲内ではないと判断された場合、現在再生中のコンテンツの再生を中断し、バッファメモリに蓄積されているコンテンツのデータを破棄する破棄手段と、
再生を中断した映像情報再生装置において、次のコンテンツを受信した時点より、コンテンツのデータをバッファメモリに蓄積する蓄積手段と、
コンテンツサーバーから、基準となる映像情報再生装置が次のコンテンツの再生を開始したタイミングの通知を受け、再生を中断した映像情報再生装置が次のコンテンツの再生を開始する開始制御手段とをさらに有している。
【0076】
本発明は、例えば自動車、列車、建物などにおいて複数の画面に表示する表示装置に適用することができ、複数の映像情報再生装置間の再生時刻の同期を短時間に合わせることができるという効果が得られる。
【0077】
なお、列車の複数の画面に表示を適用する場合、同期させるべき映像情報再生装置は同じ車両に搭載されている映像情報再生装置単位とすることで、同一車両内の映像を同期させることができる。
【0078】
DVDプレーヤーやBlu−rayプレーヤーなどの、ITU−T(International Telecommunication Union−Telecommunication sector)勧告H.26xやISO/IEC(International Organization for Standardization/International Electrotechnical Commission)標準MPEG(Moving Picture Experts Group)などの蓄積メディアから読み出された符号化データを再生するときは、これらの蓄積メディアをコンテンツサーバー41を介して映像情報再生装置42に配信手段をとっても構わない。