特許第6051847号(P6051847)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機株式会社の特許一覧
<>
  • 特許6051847-映像情報再生方法及びシステム 図000002
  • 特許6051847-映像情報再生方法及びシステム 図000003
  • 特許6051847-映像情報再生方法及びシステム 図000004
  • 特許6051847-映像情報再生方法及びシステム 図000005
  • 特許6051847-映像情報再生方法及びシステム 図000006
  • 特許6051847-映像情報再生方法及びシステム 図000007
  • 特許6051847-映像情報再生方法及びシステム 図000008
  • 特許6051847-映像情報再生方法及びシステム 図000009
  • 特許6051847-映像情報再生方法及びシステム 図000010
  • 特許6051847-映像情報再生方法及びシステム 図000011
  • 特許6051847-映像情報再生方法及びシステム 図000012
  • 特許6051847-映像情報再生方法及びシステム 図000013
  • 特許6051847-映像情報再生方法及びシステム 図000014
  • 特許6051847-映像情報再生方法及びシステム 図000015
  • 特許6051847-映像情報再生方法及びシステム 図000016
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6051847
(24)【登録日】2016年12月9日
(45)【発行日】2016年12月27日
(54)【発明の名称】映像情報再生方法及びシステム
(51)【国際特許分類】
   H04N 21/44 20110101AFI20161219BHJP
   H04N 21/235 20110101ALI20161219BHJP
【FI】
   H04N21/44
   H04N21/235
【請求項の数】14
【全頁数】24
(21)【出願番号】特願2012-281338(P2012-281338)
(22)【出願日】2012年12月25日
(65)【公開番号】特開2014-127762(P2014-127762A)
(43)【公開日】2014年7月7日
【審査請求日】2015年9月9日
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100112210
【弁理士】
【氏名又は名称】稲葉 忠彦
(74)【代理人】
【識別番号】100108431
【弁理士】
【氏名又は名称】村上 加奈子
(74)【代理人】
【識別番号】100153176
【弁理士】
【氏名又は名称】松井 重明
(74)【代理人】
【識別番号】100109612
【弁理士】
【氏名又は名称】倉谷 泰孝
(72)【発明者】
【氏名】助野 順司
(72)【発明者】
【氏名】山田 和彦
(72)【発明者】
【氏名】龍 智明
(72)【発明者】
【氏名】南 賢司
【審査官】 福西 章人
(56)【参考文献】
【文献】 特開2011−114681(JP,A)
【文献】 特開2005−244605(JP,A)
【文献】 特開2011−223060(JP,A)
【文献】 特開2002−204404(JP,A)
【文献】 特開2008−096756(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00−21/858
H04N 5/38−5/46
H04N 5/76−5/956
H04N 13/00
(57)【特許請求の範囲】
【請求項1】
ネットワークで接続されたコンテンツサーバーから、コンテンツを複数の映像情報再生装置で受信し、復号し再生する映像情報再生方法であって、
前記映像情報再生装置において、コンテンツ切替を検出し、そのタイミングを通知するコンテンツ切替通知ステップと、
前記コンテンツサーバーにおいて、前記コンテンツ切替通知ステップからのコンテンツ切替通知を受け、前記コンテンツ切替について同期すべき前記複数の前記映像情報再生装置を抽出する再生装置抽出ステップと、
前記コンテンツサーバーにおいて、前記再生装置抽出ステップにより前記抽出された前記複数の前記映像情報再生装置に対して、再生中の再生時刻を要求する再生時刻要求通知ステップと、
前記映像情報再生装置において、前記再生時刻要求通知ステップからの要求を受け、前記再生中の前記再生時刻を通知する再生時刻通知ステップと、
前記コンテンツサーバーにおいて、前記再生時刻通知ステップで得られた前記抽出された前記複数の前記映像情報再生装置の現在の前記再生時刻から、基準とする再生時刻を基準再生時刻として決定し、前記抽出された前記複数の前記映像情報再生装置に通知する基準再生時刻通知ステップと、
前記映像情報再生装置において、前記基準再生時刻通知ステップで得られた前記基準再生時刻と、前記再生時刻要求通知ステップにおいて、前記再生時刻要求を受けた時点の前記再生時刻とを比較し、前記映像情報再生装置の前記再生時刻要求を受けた時点の前記再生時刻が、前記基準再生時刻に対し、遅れている場合に、前記映像情報再生装置の再生中の再生フレームをスキップ再生する、または、前記映像情報再生装置の前記再生時刻要求を受けた時点の前記再生時刻が、前記基準再生時刻に対し、進んでいる場合に、前記映像情報再生装置の再生中の再生フレームをリピート再生することにより、前記映像情報再生装置の前記再生中の前記再生フレームを調整する再生フレーム調整ステップと、を有し、
前記再生フレーム調整ステップにおいて、フレームのリピート再生機能でフレーム調整をする場合、
前記映像情報再生装置の再生時刻が前記基準再生時刻に対して前記映像情報再生装置により決定された時間内に収まる場合のフレーム再生のフレームリピート数は、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が進んでいる場合のフレーム再生のフレームリピート数より少なく、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が遅れている場合のフレーム再生のフレームリピート数より多い又は同じであり
前記再生フレーム調整ステップにおいて、フレームのスキップ再生機能でフレーム調整をする場合、
前記映像情報再生装置の再生時刻が前記基準再生時刻に対して前記映像情報再生装置により決定された時間内に収まる場合のフレーム再生のフレームスキップ数は、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が進んでいる場合のフレーム再生のフレームスキップ数より多い又は同じであり、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が遅れている場合のフレーム再生のフレームスキップ数より少ないことを特徴とした映像情報再生方法。
【請求項2】
ネットワークで接続されたコンテンツサーバーから、コンテンツを複数の映像情報再生装置で受信し、復号し再生する映像情報再生方法であって、
前記映像情報再生装置において、コンテンツ切替を検出し、そのタイミングを通知するコンテンツ切替通知ステップと、
前記コンテンツサーバーにおいて、前記コンテンツ切替通知ステップからのコンテンツ切替通知を受け、前記コンテンツ切替について同期すべき前記複数の前記映像情報再生装置を抽出する再生装置抽出ステップと、
前記コンテンツサーバーにおいて、前記再生装置抽出ステップにより前記抽出された前記複数の前記映像情報再生装置に対して、再生中の再生時刻を要求する再生時刻要求通知ステップと、
前記映像情報再生装置において、前記再生時刻要求通知ステップからの要求を受け、前記再生中の前記再生時刻を通知する再生時刻通知ステップと、
前記コンテンツサーバーにおいて、前記再生時刻通知ステップで得られた前記抽出された前記複数の前記映像情報再生装置の現在の前記再生時刻から、基準とする再生時刻を基準再生時刻として決定し、前記抽出された前記複数の前記映像情報再生装置に通知する基準再生時刻通知ステップと、
前記映像情報再生装置において、前記基準再生時刻通知ステップで得られた前記基準再生時刻と、前記再生時刻要求通知ステップにおいて、前記再生時刻要求を受けた時点の前記再生時刻とを比較し、前記同期すべき前記複数の前記映像情報再生装置の前記再生時刻要求を受けた時点の前記再生時刻が、前記基準再生時刻に対し、遅れているか、進んでいるかに応じて、前記同期すべき前記複数の前記映像情報再生装置の再生中の再生フレームをスキップ再生、または、リピート再生することにより、前記同期すべき前記複数の前記映像情報再生装置の前記再生中の前記再生フレームを調整する再生フレーム調整ステップと、を有し、
前記再生フレーム調整ステップにおいて、フレームのリピート再生機能でフレーム調整をする場合、
前記映像情報再生装置の再生時刻が前記基準再生時刻に対して前記映像情報再生装置により決定された時間内に収まる場合のリピート再生のフレームリピート数は、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が進んでいる場合のリピート再生のフレームリピート数より少なく、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が遅れている場合のリピート再生のフレームリピート数より多いことを特徴とした映像情報再生方法。
【請求項3】
ネットワークで接続されたコンテンツサーバーから、コンテンツを複数の映像情報再生装置で受信し、復号し再生する映像情報再生方法であって、
前記映像情報再生装置において、コンテンツ切替を検出し、そのタイミングを通知するコンテンツ切替通知ステップと、
前記コンテンツサーバーにおいて、前記コンテンツ切替通知ステップからのコンテンツ切替通知を受け、前記コンテンツ切替について同期すべき前記複数の前記映像情報再生装置を抽出する再生装置抽出ステップと、
前記コンテンツサーバーにおいて、前記再生装置抽出ステップにより前記抽出された前記複数の前記映像情報再生装置に対して、再生中の再生時刻を要求する再生時刻要求通知ステップと、
前記映像情報再生装置において、前記再生時刻要求通知ステップからの要求を受け、前記再生中の前記再生時刻を通知する再生時刻通知ステップと、
前記コンテンツサーバーにおいて、前記再生時刻通知ステップで得られた前記抽出された前記複数の前記映像情報再生装置の現在の前記再生時刻から、基準とする再生時刻を基準再生時刻として決定し、前記抽出された前記複数の前記映像情報再生装置に通知する基準再生時刻通知ステップと、
前記映像情報再生装置において、前記基準再生時刻通知ステップで得られた前記基準再生時刻と、前記再生時刻要求通知ステップにおいて、前記再生時刻要求を受けた時点の前記再生時刻とを比較し、前記同期すべき前記複数の前記映像情報再生装置の前記再生時刻要求を受けた時点の前記再生時刻が、前記基準再生時刻に対し、遅れているか、進んでいるかに応じて、前記同期すべき前記複数の前記映像情報再生装置の再生中の再生フレームをスキップ再生、または、リピート再生することにより、前記同期すべき前記複数の前記映像情報再生装置の前記再生中の前記再生フレームを調整する再生フレーム調整ステップと、を有し、
前記再生フレーム調整ステップにおいて、フレームのスキップ再生機能でフレーム調整をする場合、
前記映像情報再生装置の再生時刻が前記基準再生時刻に対して前記映像情報再生装置により決定された時間内に収まる場合のスキップ再生のフレームスキップ数は、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が進んでいる場合のスキップ再生のフレームスキップ数より多く、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が遅れている場合のスキップ再生のフレームスキップ数より少ないことを特徴とした映像情報再生方法。
【請求項4】
基準再生時刻通知ステップにおいて、抽出された複数の映像情報再生装置から通知される再生時刻を集計し、平均値に最も近い再生時刻を基準再生時刻として、前記抽出された複数の映像情報再生装置に通知する
ことを特徴とした請求項1から請求項3のいずれか1項に記載の映像情報再生方法。
【請求項5】
基準再生時刻通知ステップにおいて、抽出された複数の映像情報再生装置から通知される再生時刻を集計し、最も遅れた再生時刻を基準再生時刻として、前記抽出された複数の映像情報再生装置に通知することを特徴とした請求項1から請求項3のいずれか1項に記載の映像情報再生方法。
【請求項6】
基準再生時刻通知ステップにおいて、再生誤差検出ステップに基づいた基準再生時刻を、抽出された複数の映像情報再生装置から通知される再生時刻を集計し、最も進んだ再生時刻を前記基準再生時刻として、前記抽出された複数の映像情報再生装置に通知することを特徴とした請求項1から請求項3のいずれか1項に記載の映像情報再生方法。
【請求項7】
再生時刻誤差検出ステップで検出された再生時刻の誤差が、再生フレーム調整ステップによる調整により同期化が可能な範囲内かどうか判断する判断ステップと、
前記判断ステップで同期化が可能な範囲内ではないと判断された場合、現在再生中のコンテンツの再生を中断し、バッファメモリに蓄積されているコンテンツのデータを破棄する破棄ステップと、
再生を中断した映像情報再生装置において、次のコンテンツを受信した時点より、コンテンツのデータをバッファメモリに蓄積する蓄積ステップと、
コンテンツサーバーから、基準となる映像情報再生装置が次のコンテンツの再生を開始したタイミングの通知を受け、前記再生を中断した映像情報再生装置が次のコンテンツの再生を開始する開始制御ステップと、
をさらに有することを特徴とする請求項1から請求項のいずれか1項に記載の映像情報再生方法。
【請求項8】
ンテンツがMPEG2またはH.264で符号化されたものであることを特徴とする請求項1から請求項のいずれか1項に記載の映像情報再生方法。
【請求項9】
ネットワークで接続されたコンテンツサーバーから、コンテンツを複数の映像情報再生装置で受信し、復号し再生する映像情報再生システムであって、
前記映像情報再生装置において、コンテンツ切替を検出し、そのタイミングを通知するコンテンツ切替通知手段と、
前記コンテンツサーバーにおいて、前記コンテンツ切替通知手段からのコンテンツ切替通知を受け、前記コンテンツ切替について同期すべき前記複数の前記映像情報再生装置を抽出する再生装置抽出手段と、
前記コンテンツサーバーにおいて、前記再生装置抽出手段により前記抽出された前記複数の前記映像情報再生装置に対して、再生中の再生時刻を要求する再生時刻要求通知手段と、前記映像情報再生装置において、前記再生時刻要求通知手段からの要求を受け、前記再生中の前記再生時刻を通知する再生時刻通知手段と、
前記コンテンツサーバーにおいて、前記再生時刻通知手段で得られた前記抽出された前記複数の前記映像情報再生装置の現在の前記再生時刻から、基準とする再生時刻を基準再生時刻として決定し、抽出された前記複数の前記映像情報再生装置に通知する基準再生時刻通知手段と
前記映像情報再生装置において、前記基準再生時刻通知手段で得られた前記基準再生時刻と、前記再生時刻要求通知手段において、前記再生時刻要求を受けた時点の前記再生時刻とを比較し、前記映像情報再生装置の前記再生時刻要求を受けた時点の前記再生時刻が、前記基準再生時刻に対し、遅れている場合に、前記映像情報再生装置の再生中の再生フレームをスキップ再生する、または、前記映像情報再生装置の前記再生時刻要求を受けた時点の前記再生時刻が、前記基準再生時刻に対し、進んでいる場合に、前記映像情報再生装置の再生中の再生フレームをリピート再生することにより、前記映像情報再生装置の前記再生中の前記再生フレームを調整する再生フレーム調整手段と、を有し、
再生フレーム調整手段において、フレームのリピート再生機能でフレーム調整をする場合、前記映像情報再生装置の再生時刻が基準再生時刻に対して前記映像情報再生装置により決定された時間内に収まる場合のフレーム再生のフレームリピート数は、前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が進んでいる場合のフレーム再生のフレームリピート数より少なく、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が遅れている場合のフレーム再生のフレームリピート数より多い又は同じであり、
前記再生フレーム調整手段において、フレームのスキップ再生機能でフレーム調整をする場合、前記映像情報再生装置の再生時刻が前記基準再生時刻に対して前記映像情報再生装置により決定された時間内に収まる場合のフレーム再生のフレームスキップ数は、前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が進んでいる場合のフレーム再生のフレームスキップ数より多い又は同じであり、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が遅れている場合のフレーム再生のフレームスキップ数より少ないことを特徴とした映像情報再生システム。
【請求項10】
基準再生時刻通知手段において、抽出された複数の映像情報再生装置から通知される再生時刻を集計し、平均値に最も近い再生時刻を基準再生時刻として、前記抽出された複数の映像情報再生装置に通知することを特徴とした請求項9に記載の映像情報再生システム。
【請求項11】
基準再生時刻通知手段において、抽出された複数の映像情報再生装置から通知される再生時刻を集計し、最も遅れた再生時刻を基準再生時刻として、前記抽出された複数の映像情報再生装置に通知することを特徴とした請求項9に記載の映像情報再生システム。
【請求項12】
基準再生時刻通知手段において、再生誤差検出手段に基づいた基準再生時刻を、抽出された複数の映像情報再生装置から通知される再生時刻を集計し、最も進んだ再生時刻を前記基準再生時刻として、前記抽出された複数の映像情報再生装置に通知することを特徴とした請求項9に記載の映像情報再生システム。
【請求項13】
再生時刻誤差検出手段で検出された再生時刻の誤差が、再生フレーム調整手段による調整により同期化が可能な範囲内かどうか判断する判断手段と、
前記判断手段で同期化が可能な範囲内ではないと判断された場合、現在再生中のコンテンツの再生を中断し、バッファメモリに蓄積されているコンテンツのデータを破棄する破棄手段と、
再生を中断した映像情報再生装置において、次のコンテンツを受信した時点より、コンテンツのデータをバッファメモリに蓄積する蓄積手段と、
コンテンツサーバーから、基準となる映像情報再生装置が次のコンテンツの再生を開始したタイミングの通知を受け、前記再生を中断した映像情報再生装置が次のコンテンツの再生を開始する開始制御手段と、
をさらに有することを特徴とする請求項から請求項12のいずれか1項に記載の映像情報再生システム。
【請求項14】
ンテンツがMPEG2またはH.264で符号化されたものであることを特徴とする請求項から請求項13のいずれか1項に記載の映像情報再生システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ネットワーク経由で配信された符号化データや、蓄積メディアから読み出された符号化データの再生を行う映像情報再生方法及び映像情報再生システムに関するものである。
【背景技術】
【0002】
複数の映像情報再生装置に対して配信されたコンテンツを、バッファメモリがアンダーフローや、オーバーフローさせることなく再生同期をとる方法としては、複数の映像情報再生装置から代表となる映像情報再生装置を選び、他の映像情報再生装置のタイムスタンプ情報を代表となる映像情報再生装置のタイムスタンプ情報と合わせることにより、複数の映像情報再生装置の同期を行う方法が提案されている。(例えば、特許文献1参照。)
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−96756号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら従来の方法では、複数の映像情報再生装置のうち、代表となる映像情報再生装置とその他の映像情報再生装置の同期を行う頻度は1秒間に60回程度と回数が非常に多く、仕組みが煩雑になるといった問題があった。
【0005】
また、代表となる映像情報再生装置は情報の送信を行い、その他の映像情報再生装置は情報の受信を行うというように異なった働きを分担している。このため、代表となる映像情報再生装置を任意に選ぶ場合、同期させるべき映像情報再生装置すべてにこれらの異なった機能、手段を同時に具備していなくてはならず、それらの映像情報再生装置は、代表となるかならないかにより、それぞれの映像情報再生装置において利用されない手段が存在することで無駄な構成を有することになる。
【0006】
本発明は、上記の課題を解決するためになされたものであり、蓄積メディアからデータを読み出して複数の映像情報再生装置で再生したり、ネットワーク配信されたデータを複数の映像情報再生装置で受信して再生したりする場合において、高頻度で同期を行うことなく、映像情報再生装置間で再生の同期を取ることができる。
【課題を解決するための手段】
【0007】
本発明に係る映像情報再生方法は、
ネットワークで接続されたコンテンツサーバーから、コンテンツを複数の映像情報再生装置で受信し、復号し再生する映像情報再生方法であって、
映像情報再生装置において、コンテンツ切替を検出し、そのタイミングを通知するコンテンツ切替通知ステップと、
コンテンツサーバーにおいて、コンテンツ切替通知ステップからのコンテンツ切替通知を受け、コンテンツ切替について同期すべき複数の映像情報再生装置を抽出する再生装置抽出ステップと、
コンテンツサーバーにおいて、再生装置抽出ステップにより抽出された複数の映像情報再生装置に対して、再生中の再生時刻を要求する再生時刻要求通知ステップと、
映像情報再生装置において、再生時刻要求通知ステップからの要求を受け、再生中の再生時刻を通知する再生時刻通知ステップと、
コンテンツサーバーにおいて、再生時刻通知ステップで得られた抽出された複数の映像情報再生装置の現在の再生時刻から、再生時刻の基準とする再生時刻を基準再生時刻として決定し、抽出された複数の映像情報再生装置に通知する基準再生時刻通知ステップと、
映像情報再生装置において、基準再生時刻通知ステップで得られた基準再生時刻と、再生時刻要求通知ステップにおいて、再生時刻要求を受けた時点の再生時刻とを比較し、映像情報再生装置の再生時刻要求を受けた時点の再生時刻が、基準再生時刻に対し、遅れている場合に映像情報再生装置の再生中の再生フレームをスキップ再生する、または、映像情報再生装置の再生時刻要求を受けた時点の再生時刻が、基準再生時刻に対し、進んでいる場合に、映像情報再生装置の再生中の再生フレームをリピート再生することにより、映像情報再生装置の再生中の再生フレームを調整する再生フレーム調整ステップと、を有し、
再生フレーム調整ステップにおいて、フレームのリピート再生機能でフレーム調整をする場合、
映像情報再生装置の再生時刻が基準再生時刻に対して映像情報再生装置により決定された時間内に収まる場合のフレーム再生のフレームリピート数は、
基準再生時刻に対して映像情報再生装置により決定された時間以上映像情報再生装置の前記再生時刻が進んでいる場合のフレーム再生のフレームリピート数より少なく、
基準再生時刻に対して映像情報再生装置により決定された時間以上映像情報再生装置の再生時刻が遅れている場合のフレーム再生のフレームリピート数より多い又は同じであり、
再生フレーム調整ステップにおいて、フレームのスキップ再生機能でフレーム調整をする場合、
映像情報再生装置の再生時刻が基準再生時刻に対して映像情報再生装置により決定された時間内に収まる場合のフレーム再生のフレームスキップ数は、
基準再生時刻に対して映像情報再生装置により決定された時間以上映像情報再生装置の再生時刻が進んでいる場合のフレーム再生のフレームスキップ数より多い又は同じであり
基準再生時刻に対して映像情報再生装置により決定された時間以上映像情報再生装置の再生時刻が遅れている場合のフレーム再生のフレームスキップ数より少ないものである。

【発明の効果】
【0008】
コンテンツの切替のタイミングで、フレーム調節を行うことにより、同期すべき複数の映像情報再生装置の再生フレームを同期させることが可能となる。また、同期は複数の映像情報再生装置に対しコンテンツサーバーの指示により行われるため、すべての映像情報再生装置は同じ働きをすればよく無駄となりうる構成は存在しない。
【図面の簡単な説明】
【0009】
図1】本発明に係る映像情報再生装置と該映像情報再生装置にネットワークを介して接続されるコンテンツサーバーを含む映像情報再生システム全体の構成を概念的に示す図である。
図2】本発明に係る映像情報再生方法の実施に用いられる映像情報再生装置の構成例を概略的に示すブロック図である。
図3】本発明に係る映像情報再生装置のバッファメモリの残量の推移の一例を示す図である。
図4】一般的なTSストリームのパケットの構成の一例を示す図である。
図5】本発明に係る映像情報再生システム内の再生時間が最も進んだ映像情報再生装置と、最も遅れた映像情報再生装置のバッファメモリの残量の推移の一例を示す図である。
図6】本発明の実施の形態1に係る映像情報再生方法を示すフローチャートである。
図7】本発明の実施の形態1に係るフレームスキップ機能、フレームリピート機能があるときの、ステップの一例の詳細を示すフローチャートである。
図8】本発明の実施の形態1に係る映像情報再生装置のフレーム調整の概念を示す図である。
図9】本発明の実施の形態1に係るフレームスキップ機能がないときの、ステップの一例の詳細を示すフローチャートである。
図10】本発明の実施の形態1に係る映像情報再生装置のフレーム調整の概念を示す図である。
図11】本発明の実施の形態1に係るフレームリピート機能がないときの、ステップの一例の詳細を示すフローチャートである。
図12】本発明の実施の形態1に係る映像情報再生装置のフレーム調整の概念を示す図である。
図13】本発明の実施の形態1に係る各映像情報再生装置で異なるコンテンツを再生させた場合の処理を説明するための図である。
図14】本発明の実施の形態2に係る映像情報再生方法を示すフローチャートである。
図15】本発明の実施の形態1に係る映像情報再生方法の実施に用いられる映像情報再生装置の変形構成例を概略的に示すブロック図である。
【発明を実施するための形態】
【0010】
実施の形態1.
図1は、本発明の実施の形態1に係る映像情報再生装置とコンテンツサーバーを含む映像情報再生システム全体を概略的に示すブロック図である。コンテンツサーバー41から、例えば、イーサネット(登録商標)で構成されるネットワーク43を経由して各映像情報再生装置42に、データが配信される。以下では、ネットワーク43上にUDP(User Datagram Protocol)を使ったマルチキャスト配信によりデータを配信することを前提として説明を行うが、再生装置42毎に異なったコンテンツを配信する場合にはユニキャスト配信を、映像情報再生装置42すべてに同じコンテンツを配信する場合にはブロードキャスト配信するなどしてもよく、このような場合にあっても同様に適用が可能である。
【0011】
図2は、本発明の実施の形態1に係る映像情報再生方法の実施に用いられる映像情報再生装置42の構成例を概略的に示すブロック図である。図1に示した映像情報再生装置42は、コンテンツサーバー41からネットワークを経由して配信されるコンテンツを再生する装置である。
【0012】
図2に示される映像情報再生装置42は、コンテンツサーバー41から配信されたデータの再生手段としての再生部10と、装置全体の制御を実行する再生制御手段としてのCPU21と、装置全体の基準時刻を生成しているクロック回路22を有する。再生部10は、コンテンツサーバー41から配信されたデータを受信するデータ受信部11と、データ受信部11で受信されたデータを一時的に蓄積しておくバッファメモリ12と、バッファメモリ12から読み出されたデータを、映像情報、音声情報の各情報に分離するデマルチプレクサ13と、映像情報をデコードするビデオデコーダ14と、音声情報をデコードするオーディオデコーダ15とを有する。ビデオデコーダ14から出力される映像信号は、外部表示装置31に送られ、外部表示装置31によって映像が表示される。オーディオデコーダ15から出力される音声信号は、音声出力装置32に送られ、音声が出力される。
【0013】
なお、本発明の実施の形態1に係る映像情報再生装置42は図15に示すように受信部11とバッファメモリ12との間に大容量メモリ16を備えたものでもよい。大容量メモリ16には、コンテンツの一部、またはコンテンツ、または複数のコンテンツに関するデータを蓄積することができる。以下では、図2に示す映像情報再生装置42により説明を行う。
【0014】
本実施の形態1において、データ受信部11に配信されるデータは、TS(Transport Stream)を想定している。この場合、映像情報、音声情報は、PES(Packetized Elementary Stream)パケットに分割された上で、さらにTSパケットに分割され、映像情報、音声情報が重畳された状態で配信される。
【0015】
PESパケットは、MPEG2や、H.264等で符号化されたES(Elementary Stream)にPESヘッダ情報が付加されたものである。PESパケットは、再生の時間管理を行う単位でパケット化したものであり、映像情報は、例えば、1枚の画像フレーム(ピクチャー)が1つのPESパケットとされる。PESパケットのヘッダ情報には、タイムスタンプ、例えば、再生を行う時刻情報であるPTS(Presentation Time Stamp)が含まれる。
【0016】
TSパケットは固定長(188バイト)のものであり、それぞれのTSパケットのヘッダ部分には、それぞれのデータ種別に固有のPID(Packet ID)が付与されている。このPIDにより、映像情報であるか、音声情報であるか、システム情報(再生制御情報など)であるかの識別が可能である。デマルチプレクサ13では、PIDを読み取り、映像情報であるか、音声情報であるかを識別し、それぞれのデコーダにデータを振り分ける。
【0017】
なお、本実施の形態1においては、188バイトのTSパケットに分割されているものとして説明をしているが、映像情報であるか、音声情報であるかを識別することが可能な、データフォーマットであれば、TS以外のフォーマットでもよい。例えば、PS(Program Stream)でもよい。また、音声情報が無く、映像情報のみのデータが配信されるような場合、TSパケットに分解せずPES(Packetized Elementary Stream)のままでもよい。この場合、再生部10のデマルチプレクサ13、オーディオデコーダ15および音声出力装置32は不要である。
【0018】
本実施の形態の映像情報再生装置においては、CPU21は、矢印51で示すようにバッファメモリ12の容量を常時監視し、バッファメモリ12がアンダーフローやオーバーフローを起こさないように制御を行う受信データの制御手段として動作する。
【0019】
図3は、バッファメモリ12の容量の推移を示す図である。CPU21は図2の矢印51で示すようにバッファメモリ12の容量を常にモニターしており、図2の矢印53で示すようにバッファメモリ12の残量を逐次、コンテンツサーバー41に通知している。コンテンツサーバー41がデータの配信を行っていない状態で、映像情報再生装置42が再生を行い、その結果バッファメモリ12のデータ残量が、図3に示すように、下限値(第1の所定の閾値)SR1まで減少すると、コンテンツサーバー41は再生装置42に対してデータの送信を開始(再開)し、バッファメモリ12の残量が上限値(第2の所定の閾値)SR2に達すると、コンテンツサーバー41は映像情報再生装置42に対するデータの配信を停止する。次にバッファメモリ12の残量が下限値SR1まで減少すると、コンテンツサーバー41はデータの配信を再開する。以上の動作を繰り返すことで、バッファメモリ12のデータ残量が上限値SR2と下限値SR1との間に収まるように配信データの制御を行う。
【0020】
また、CPU21は、図2の矢印52で示すように、同じ映像情報再生装置42内のビデオデコーダ14の再生時刻を監視し、矢印53で示すように、コンテンツサーバー41にその時刻を通知するとともに、矢印54で示すように、コンテンツサーバー41から通知される基準となる再生時刻に対して、同じ映像情報再生装置42内のビデオデコーダ14の再生時刻とのずれに従い、ビデオデコーダ14を制御する手段としても動作する。詳細は後述する。
【0021】
図4は、コンテンツサーバー41から配信されるTSデータの、データ構成を示したものである。TSデータでは、映像情報と音声情報は、188バイト単位のパケット(TSパケット)に分割され、映像データが格納されたビデオパケットV1、V2、V3、・・・、Vn、音声データが格納されたオーディオパケットA1、A2、A3、・・・、An、PAT・PMT等のシステム情報が格納されたPSI/SIパケットS1、・・・、Snが、映像、音声の再生が途切れることがないように重畳されている。
【0022】
コンテンツサーバー41には、図4のように構成されたTSデータが複数存在し、各映像情報再生装置42に対して、連続して配信される。ユーザーからコンテンツサーバー41に対して、再生の指示が出されると、あらかじめ指示された順番で、コンテンツサーバー41のTSデータの配信が開始される。
【0023】
次に、コンテンツサーバー41から配信されたコンテンツが再生されるまでのシーケンスについて図2を用いて説明する。ユーザーから、コンテンツサーバー41に対して再生開始の要求(再生のためのデータ配信の要求)が出されると、コンテンツサーバー41は、各映像情報再生装置42に対する、TSデータのマルチキャストでの送信を開始する。(この再生開始の要求は、映像情報再生装置42のいずれかから信号を送ることにより行なわれる場合もあり、また図示しない別個の制御機器により与えられることもある。)
【0024】
各映像情報再生装置42は、配信されたTSデータをデータ受信部11で受信し、バッファメモリ12へ蓄積を開始する。なお、図15に示すように、大容量メモリ16を有する場合には大容量メモリ16にTSデータの蓄積を開始する。この時、コンテンツサーバー41は、図1に示す全映像情報再生装置42の中から、同期させたいグループの代表となる映像情報再生装置42を任意に決め、代表とした映像情報再生装置42のバッファメモリ12のデータ残量を逐次モニターをする。コンテンツサーバー41は、バッファメモリ12の残量が、図3に示した下限値SR1より大きく、上限値SR2より小さい第3の所定の閾値(初期再生開始値)SR3を超えたことを検知すると、同期させたいグループの全映像情報再生装置42に対して再生の開始(再生装置における表示、出力の開始)を指示する。
【0025】
図2において、コンテンツサーバー41から再生指示が出されると、各映像情報再生装置42において、バッファメモリ12のTSデータのそれぞれのパケットはデマルチプレクサ13に送出され、該パケットのPIDに従って映像情報、音声情報、PSI/SI情報とに分離される。分離された映像情報はビデオデコーダ14へ送出され、デコードされた映像信号は、外部表示装置31に出力される。また分離された音声情報は、オーディオデコーダ15へ送出され、デコードされた音声信号は音声出力装置32に送られ、音声が出力される映像と音声の再生が開始された後も、コンテンツサーバー41からデータの配信が続けられる限り、バッファメモリ12内の残量は時間とともに増加していく。但し、増加の速度は、映像情報再生装置42で再生を行なっていないときに比べると遅くなり、そのため、再生の開始時刻より後の残量曲線の傾きは小さくなる。
【0026】
先にも述べたように、CPU21はバッファメモリ12の残量を逐次コンテンツサーバー41に通知しており、バッファメモリ12の残量が上限値SR2に達したことを、コンテンツサーバー41が検知すると、コンテンツサーバー41は、データの配信を停止する。データの配信が停止されると、各映像情報再生装置42のバッファメモリ12の残量は、デコーダでデータが消費されるに従って次第に減少する。代表となっている映像情報再生装置42のバッファメモリ12の残量が下限値SR1に達したことをコンテンツサーバー41が検知すると、コンテンツサーバー41はデータの配信を再開する。
【0027】
以上の動作を繰り返すことで、バッファメモリ12がアンダーフローやオーバ-フローを引き起こすことなく、音声や映像の途切れのない再生が継続される。但し、各コンテンツの最後の部分では、バッファメモリ12の残量が下限値SR1に達したことが検知されても、それ以上配信すべきデータが存在しないので、図3に点線EOCで示すように、残量はさらに少なくなり、最後はゼロに達する。
【0028】
闇値SR1、SR2、SR3の値については、バッファメモリ12の容量、再生するビットレート等により最適な値に設定されるべきであるが、本出願には直接関わる値でないため、特に閾値の値については言及しない。
【0029】
以上の手順で、同期させたいグループの全映像情報再生装置42で一斉に再生が開始されるが、ビデオデコーダ14の基準時刻を生成しているクロック回路22内の水晶発振器の発振周波数は全く同一ではなく、映像情報再生装置42間で発振周波数に差異がある。デコードした映像の出力時刻は、この基準時刻を元に映像情報中の(PESパケットのヘッダ情報に含まれる)PTSに従って制御されている。即ち、各PESは、該PESのヘッダ情報に含まれるPTSで指定された時刻(コンテンツの先頭を再生する時刻に対する相対時刻)になったことを、映像情報再生装置42内の水晶発振器から発生されるクロックパルスのカウント結果との比較により、検知しながら、デコードを行なったり、デコード後の時間調整(遅延)を行なったりしながら、各PESの画像を、当該PESのヘッダ情報に含まれるPTSで指定された時刻(コンテンツの再生開始からの相対時刻)に再生出力を行なうようにしている。上記の再生時刻のずれとは、あるPTSを含むPESパケットの一つの映像情報再生装置42における再生を、当該一つの映像情報再生装置42内のクロック回路22で計時した時刻と、同じPTSを含むPESパケットの、別の再生装置における再生を、当該別の映像情報再生装置42内のクロック回路22で計時した時刻との差を意味する。
【0030】
上記のような構成であるため、水晶発振器の周波数の誤差が原因となり、時間とともに各映像情報再生装置42の再生時刻にずれが生じてくる。例えば、水晶発振器の精度が+20ppmとし、最も表示の進んだ映像情報再生装置42と、最も表示の遅れた映像情報再生装置42との間には、40ppmの誤差が生じ、24時間の連続再生を仮定すると、約3秒弱の時間のずれが生じる可能性がある。
【0031】
また、コンテンツサーバー41は、同期させたいグループの全映像情報再生装置42の中の、一つを代表の映像情報再生装置42として、そのバッファメモリ12内のデータ残量をモニターしながら、データ配信の制御を行っているため、最も誤差の大きい映像情報再生装置42を代表とした場合、他の再生装置42のバッファメモリ12でバッファのアンダーフローやオーバーフローが発生する可能性が高くなる。
【0032】
図5は、当該最も時刻の進みが早い映像情報再生装置42が代表で選択されている場合の、最も時刻の進みの早い再生装置(F)と、最も遅い映像情報再生装置(S)のバッファの残量の違移を示す一例である。最も早い再生装置(F)の残量が下限値SR1になった時刻T1より、コンテンツサーバー41からのデータ配信が再開されるが、この時、最も遅い映像情報再生装置(S)の残量は、データがより多く残っている。
【0033】
例えば、映像の符号化ビットレートが10Mbps、バッファメモリ12の容量が10Mbit、下限値SR1が3Mbit、上限値SR2が6Mbitの時、再生開始からおよそ2時間30分後となる時刻T2で、再生装置(F)の残量は6Mbit、再生装置(S)の残量は、9.6Mbitとなり、バッファメモリの容量の限界に近づいた状態になる。このことから、再生開始から2時間30分後は、再生装置(S)には再生装置(F)よりも、3.6Mbitも多くデータが残っていることになる。このままコンテンツサーバー41からのデータの配信をさらに継続すると、再生装置(S)のバッファメモリ12の容量10Mbitを超えたときに、再生すべきデータが捨てられ、一部フレームの抜けた映像が表示されることになる。
【0034】
上記に説明したように、水晶発振器の周波数のばらつきが原因で、長時間再生を継続した場合、各映像情報再生装置42間の表示の同期がとれなくなり、最悪の場合バッファメモリ12のオーバーフローや、アンダーフローが発生し、再生の途切れや中断が発生するという問題があった。
【0035】
図6(a)は、映像情報再生装置42間の再生を同期させるための映像情報再生装置42内処理のシーケンス図である。また、図6(b)は、映像情報再生装置42間の再生を同期させるためのコンテンツサーバー41内処理のシーケンス図である。映像情報再生装置42間の再生同期は、映像情報再生装置42内の処理とコンテンツサーバー41内の処理をあわせて実現される。
【0036】
映像情報再生装置42では、コンテンツ再生開始(ST1)の後、前のコンテンツ再生終了、あるいはコンテンツ切替後所定の時間経過後(ST12)に、コンテンツサーバー41からは、コンテンツの切替毎、あるいは、コンテンツの切替の複数回に1回、各映像情報再生装置42に対して、現在の再生時刻要求を通知(ST13)、各映像情報再生装置42では、その再生時刻要求を受信する(ST2)。
【0037】
コンテンツサーバー41からの再生時刻要求に対して、各映像情報再生装置42からは、現在の再生時刻をコンテンツサーバー41に通知する(ST3)。コンテンツサーバー41では、同期をとる複数の映像情報再生装置42からの現在の再生時刻通知を受信して(ST14)、そのうちから、基準となる基準再生時刻を決定(ST15)、基準再生時刻を各映像情報再生装置42に通知する(ST16)。
【0038】
映像情報再生装置42では、コンテンツサーバー41から基準再生時刻を受信し(ST4)、先ほど自身で通知した再生時刻と、コンテンツサーバー41から通知された基準再生時刻との差から、基準の映像情報再生装置42から、遅れて再生しているのか、進んで再生しているのかを認識し、再生時刻誤差検出(ST5)後、再生フレームを調整する(ST6)。再生フレームの調整については、後述する。
【0039】
その後、現コンテンツと次コンテンツのコンテンツ切替を検出(ST7)、コンテンツサーバー41にコンテンツ切替を通知する(ST8)。
【0040】
コンテンツサーバー41では、映像情報再生装置42からのコンテンツ切替通知をうけ、図6(b)のフローを開始し、全映像情報再生装置42から同期させたい(同期調整したい)映像情報再生装置42を抽出し(ST11)、映像情報再生装置42に対して、所定の時間が経過したかどうかを判定(ST12)し、所定の時間経過していれば、現在の再生時刻要求を通知する(ST13)。以降、繰り返す。
【0041】
再生フレームの調整について記述する。図7図12に一例を示す。
【0042】
図7は、ビデオデコーダ14にフレームスキップ機能、フレームリピート機能がともに備わっている場合の再生フレームの調整を示したものであるである。再生フレーム調整(ST6)では、コンテンツサーバー41から通知された基準再生時刻に対して、映像情報再生装置42が再生時刻要求を受けた時点(ST2)の再生時刻を比較し、その差が所定値以上、例えば1フレーム以上かどうかの判断を行なう。1フレーム以上遅れている場合には、フレームスキップを実施する(ST23)。1フレーム以上遅れていない場合には、さらに、1フレーム以上進んでいないか判断し(ST22)、1フレーム以上進んでいる場合には、フレームリピートを実施する(ST24)。1フレーム以上進んでいなければ、フレーム調整処理をしない。なお、再生フレームの調整を行うかどうかを判断するための、基準再生時刻とST2時点の再生時刻との差は1フレームに限るものではない。
【0043】
図8は、ビデオデコーダ14にフレームスキップ機能、フレームリピート機能がともに備わっている場合のコンテンツ切替前後の、各映像情報再生装置42の再生フレームの遷移を表した図である。図8の番号は再生フレーム番号である。基準となる映像情報再生装置を42Sとする。上記のシーケンスに従って再生を行うと、基準再生時刻に対して遅れている映像情報再生装置42Bは次のフレームをスキップし、進んでいる映像情報再生装置42Fは次のフレームをリピートすることで、次のコンテンツのTSデータの再生の開始タイミングを1フレーム以内の時間差以下にあわせることが可能となる。
【0044】
図9は、ビデオデコーダ14にフレームスキップ機能がなく、フレームリピート機能のみが備わっている場合の再生フレームの調整を示したものであるである。再生フレーム調整(ST6)では、コンテンツサーバー41から通知された基準再生時刻に対して、映像情報再生装置42の再生時刻要求を受けた時点(ST2)の再生時刻を比較し、その差が所定値以上、例えば1フレーム以上かどうかの判断を行なう。1フレーム以上遅れている場合には、フレーム調整処理をしない、1フレーム以上遅れていない場合には、さらに、1フレーム以上進んでいないか判断し(ST22)、1フレーム以上進んでいる場合には、フレームリピートを2回行い(ST25)、1フレーム以上進んでいなければ、フレームリピートを1回行う(ST26)。なお、再生フレームの調整を行うかどうかを判断するための、基準再生時刻とST2時点の再生時刻との差は1フレームに限るものではない。
【0045】
図10は、ビデオデコーダ14にフレームスキップ機能がなく、フレームリピート機能のみが備わっている場合のコンテンツ切替前後の、各映像情報再生装置42の再生フレームの選移を表した図である。図10の番号は再生フレーム番号である。基準となる映像情報再生装置を42Sとする。上記のシーケンスに従って再生を行うと、基準再生時刻に対して、遅れている映像情報再生装置42Bはそのまま再生し、進んでいる映像情報再生装置42Fは、次のフレームと次々フレームをリピートし、それ以外の映像情報再生装置は次フレームをリピートすることで、次のコンテンツのTSデータの再生の開始タイミングを1フレーム以内の時間差以下にあわせることが可能となる。
【0046】
図11は、ビデオデコーダ14にフレームリピート機能がなく、フレームスキップ機能のみが備わっている場合の再生フレームの調整を示したものである。再生フレーム調整(ST6)では、コンテンツサーバー41から通知された基準再生時刻に対して、映像情報再生装置42の再生時刻要求を受けた時点(ST2)の再生時刻を比較し、その差が所定値以上、例えば1フレーム以上かどうかの判断を行なう。1フレーム以上遅れている場合には、フレームスキップを2回行い(ST27)、1フレーム以上遅れていない場合には、さらに、1フレーム以上進んでいないか判断し(ST22)、1フレーム以上進んでいる場合には、フレーム調整処理を行わず、1フレーム以上進んでいなければ、フレームスキップを1回行う(ST28)。なお、再生時間の調整を行うかどうかを判断するための、基準再生時刻とステップST2時点の再生時刻との差は1フレームに限るものではない。
【0047】
図12は、ビデオデコーダ14にフレームリピート機能がなく、フレームスキップ機能のみが備わっている場合のコンテンツ切替前後の、各映像情報再生装置42の再生フレームの選移を表した図であり、図中の番号は再生フレーム番号である。上記のシーケンスに従って再生を行うと、基準となる映像情報再生装置42Sの基準再生時刻に対して、遅れている映像情報再生装置42Bは、次のフレームと次々のフレームを2フレームスキップし、進んでいる映像情報再生装置42Fは、そのまま再生し、それ以外の映像情報再生装置は次のフレームをリピートすることで、次のコンテンツのTSデータの再生の開始タイミングを1フレーム以内の時間差以下にあわせることが可能となる。
【0048】
図6では、再生フレーム調整(ST6)を、基準再生時刻受信(ST4)後、調整が必要な時間差があれば、コンテンツ再生の途中で行うものとして記載しているが、コンテンツ再生の経過をフレーム単位で把握でき、再生を制御可能な場合には、コンテンツの最後、つまり、コンテンツ切替検出(ST7)のタイミングで行ってもよく、フレームのリピート/スキップをより目立たなくする点でより好ましい。一方、現状では、リピート/スキップ挿入タイミングをフレーム単位で制御する必要がない点が好ましい。
【0049】
次に、各映像情報再生装置42から通知された基準再生時刻の決定方法について記載する。基準再生時刻は、平均の時刻であっても、最も遅れた時刻であっても、最も進んだ時刻であってもよい。ビデオデコーダ14がフレームリピート機能、フレームスキップ機能をともに備える場合には、調整の余地を広げるという観点から平均の時刻を基準再生時刻として採用することが望ましいが、フレームスキップ機能しか備えていない場合には、最も早い時刻を基準再生時刻に採用して、フレームスキップ機能による再生時刻を進める調整の余地を広げることが望ましく、フレームリピート機能しか備えていない場合には、最も遅い時刻を基準再生時刻に採用して、フレームリピート機能による再生時刻を遅らせる調整の余地を広げることが望ましい。
【0050】
図13は、各映像情報再生装置42で異なるコンテンツを再生させた場合の処理を説明するための図である。図13(a)は、各映像情報再生装置42の再生コンテンツの一例を示したものである。広告コンテンツは、5秒、10秒、15秒といったように、ある最小時間(例えば5秒)のN倍の長さで作られ、再生される。必ずしも、5秒である必要はなく、3秒でも構わない。映像情報再生装置42Aは、コンテンツa(再生時刻Ta1〜Ta3:15秒)、コンテンツb(再生時刻Ta3〜Ta5:15秒)、コンテンツc(再生時刻Ta5〜Ta7:15秒)を再生する。映像情報再生装置42Bは、コンテンツd(再生時刻Ta1〜Ta2:10秒)、コンテンツe(再生時刻Ta2〜Ta4:15秒)、コンテンツf(再生時刻Ta4〜Ta6:10秒)、コンテンツg(再生時刻Ta6〜Ta7:10秒)を再生、映像情報再生装置42Cは、コンテンツm(再生時刻Ta1〜Ta3:15秒)、コンテンツh(再生時刻Ta3〜Ta4:10秒)、コンテンツf(再生時刻Ta4〜Ta6:10秒)、コンテンツg(再生時刻Ta6〜Ta7:10秒)を再生する。ここで、再生時刻Ta1〜Ta3(15秒)に、映像情報再生装置42Aと映像情報再生装置42Cで異なるコンテンツaとコンテンツmを再生し、再生時刻Ta4〜Ta6(10秒)に、映像情報再生装置42Bと映像情報再生装置42Cが同じコンテンツfを再生している、同様に、再生時刻Ta6〜Ta7(10秒)に、映像情報再生装置42Bと映像情報再生装置42Cが同じコンテンツgを再生している。
【0051】
図13(b)は、映像情報再生装置42からのコンテンツ切替通知(ST8)が行われるコンテンツ切替通知時刻Ta、再生時刻通知ST3が行われる再生時刻通知時刻Tc、再生フレーム調整(ST6)が行われるフレーム調整時刻Te、コンテンツサーバー41からの再生時刻要求通知(ST13)が行われる再生時刻要求通知時刻Tb、基準再生時刻通知(ST16)が行われる基準再生時刻通知時刻Tdの一例を示したものである。ここでは、映像情報再生装置42A、映像情報再生装置42B、映像情報再生装置42Cは、同期の対象となるグループを構成しているものとする。一部同じ時刻に同じコンテンツを再生しているが、基本的には別々のコンテンツを再生することを前提としているため、ユニキャスト配信されているものとする。映像情報再生装置毎の各時刻は、伝送遅延や、システムクロックの違いによって、必ずしも同時刻ではないが、記載の簡便さのため、同じ添え字とする。コンテンツサーバー41は、各映像情報再生装置42の正確な再生フレームは把握できないが、現在、どの映像情報再生装置42で何を再生しているか、何秒のコンテンツであるかなど大まかな再生スケジュールを管理、把握をしている。
【0052】
時刻Ta1において、映像情報再生装置42A、映像情報再生装置42B、映像情報再生装置42Cから、コンテンツ切替通知がコンテンツサーバー41に通知されると、コンテンツサーバー41では、同期処理の対象となるグループの全映像情報再生装置42からコンテンツ切替通知(ST8)を受けた後、所定の時間Tb1経過後、全映像情報再生装置42に対して各映像情報再生装置42の現在の再生時刻を要求する再生時刻要求通知(ST13)を行う。各映像情報再生装置42では時刻Tc1において、再生時刻要求通知(ST13)を受け、コンテンツサーバー41に対し現在の再生時刻を通知する再生時刻通知(ST3)を行う。コンテンツサーバー41は、時刻Td1において、各映像情報再生装置42から受信した各映像情報再生装置42の再生時刻から基準となる再生時刻を抽出し、各映像情報再生装置42に基準再生時刻通知(ST16)を行う。基準となる映像情報再生装置42はその都度、現在の再生時刻をもとに更新してもよいし、初期段階で決定した映像情報再生装置42のままとしてもよい。コンテンツサーバー41から基準再生時刻を受信した各映像情報再生装置42は、Tc1の時点で、コンテンツサーバー41に通知した再生時刻と比較のうえ、時刻Te1において再生フレーム調整ST6を行う。
【0053】
時刻Ta2において、映像情報再生装置42Bから、コンテンツサーバー41に対し、コンテンツ切替通知(ST8)が通知される。このとき、コンテンツサーバー41では、再生スケジュールから判断して、映像情報再生装置42A、映像情報再生装置42Cからのコンテンツ切替通知(ST8)を待つことなく、また、基準となる映像情報再生装置42Cがコンテンツの切り目でないため、映像情報再生装置42Bに対し再生時刻要求通知(ST8)以降の処理を行わない。なお、基準となる映像情報再生装置42がないが、その他にコンテンツ切替があった映像情報再生装置42が複数あった場合には、それら映像情報再生装置42間で、同期のための以降の処理を行ってもよい。ここでは基準となる映像情報再生装置42からのコンテンツ切替通知がない場合には、以降の処理を行わないものとして記載する。
【0054】
時刻Ta3において、映像情報再生装置42A、映像情報再生装置42Cから、コンテンツ切替通知ST8がコンテンツサーバー41に通知される。コンテンツサーバー41では、再生スケジュールから判断して、映像情報再生装置42Bからのコンテンツ切替通知(ST8)を待つことなく、時刻Tb3に、コンテンツ切替通知のあった映像情報再生装置42A、映像情報再生装置42Cに対して現在の再生時刻を要求する再生時刻要求通知(ST13)を行う。各映像情報再生装置42では、再生時刻要求通知(ST13)を受け、時刻Tc3において、コンテンツサーバー41に対して、現在の再生時刻を通知する再生時刻通知(ST3)を行う。コンテンツサーバー41は、各映像情報再生装置42から受信した各映像情報再生装置42の再生時刻から基準となる再生時刻を抽出し、時刻Td3において、各映像情報再生装置42に基準再生時刻通知ST16を行う。コンテンツサーバー41から基準再生時刻通知ST16を受信した各映像情報再生装置42は、時刻Tc3においてコンテンツサーバー41に通知した再生時刻と比較のうえ、時刻Te3において、再生フレーム調整(ST6)を行う。
【0055】
時刻Ta4において、映像情報再生装置42B、映像情報再生装置42Cから、コンテンツ切替通知(ST8)がコンテンツサーバー41に通知される。コンテンツサーバー41では、再生スケジュールから判断して、映像情報再生装置42Aからのコンテンツ切替通知を待つことなく、時刻Tb4に、コンテンツ切替通知のあった映像情報再生装置42B、映像情報再生装置42Cに対して現在の再生時刻を要求する再生時刻要求通知(ST13)を行う。各映像情報再生装置42では、再生時刻要求通知S(T13)を受け、時刻Tc4において、コンテンツサーバー41に対して、現在の再生時刻を通知する再生時刻通知(ST3)を行う。コンテンツサーバー41は、各映像情報再生装置42から受信した各映像情報再生装置42の再生時刻から基準となる再生時刻を抽出し、時刻Td4において各映像情報再生装置42に基準再生時刻通知(ST16)を行う。コンテンツサーバー41から基準再生時刻を受信した各映像情報再生装置42は、時刻Tc4においてコンテンツサーバー41に通知した再生時刻と比較のうえ、時刻Te4において、再生フレーム調整(ST6)を行う。
【0056】
時刻Ta5において、映像情報再生装置42Aから、コンテンツ切替通知(ST8)がコンテンツサーバー41に通知される。このとき、コンテンツサーバー41では、再生スケジュールから判断して、映像情報再生装置42B、映像情報再生装置42Cからのコンテンツ切替通知(ST8)を待つことなく、また、基準となる映像情報再生装置42Cがコンテンツの切り目でないため、再生時刻要求通知(ST13)知以降の処理を行わない。
【0057】
時刻Ta6において、映像情報再生装置42B、映像情報再生装置42Cから、コンテンツ切替通知(ST8)がコンテンツサーバー41に通知される。コンテンツサーバー41では、再生スケジュールから判断して、映像情報再生装置42Aからのコンテンツ切替通知(ST8)を待つことなく、時刻Tb6に、コンテンツ切替通知のあった映像情報再生装置42B、映像情報再生装置42Cに対して現在の再生時刻を要求する再生時刻要求通知(ST13)を行う。各映像情報再生装置42では、再生時刻要求通知(ST13)を受け、時刻Tc6において、コンテンツサーバー41に対して、現在の再生時刻を通知する再生時刻通知(ST3)を行う。コンテンツサーバー41は、各映像情報再生装置42から受信した各映像情報再生装置42の再生時刻から基準となる再生時刻を抽出し、時刻Td6において、各映像情報再生装置42に基準再生時刻通知(ST16)を行う。コンテンツサーバー41から基準再生時刻を受信した各映像情報再生装置42は、時刻Tc6においてコンテンツサーバー41に通知した再生時刻と比較のうえ、時刻Te6において前述のように再生フレーム調整(ST6)を行う。
【0058】
図13(c)は、各映像情報再生装置42毎の各再生コンテンツ内の再生フレームを示す。破線の再生時刻Te1、Te3、Te4、Te6で再生フレーム数を増減させることによって、各コンテンツの再生フレームが調整され、結果、次のコンテンツの再生開始時刻が調整され、次に現在の再生時刻要求に対する応答である再生時刻通知(ST3)に反映されることにより、複数の映像情報再生装置42の同期が実現できる。また、このとき、同時に再生し、同期させるコンテンツが同じコンテンツである必要はない。例えば、映像情報再生装置42Aで再生するコンテンツaと映像情報再生装置42Cで再生するコンテンツmは異なっていても同じく、コンテンツ間の切替タイミングを同期させることが可能である。
【0059】
以上、説明したように、同期させたい複数の映像情報再生装置42について、複数の映像情報再生装置42からコンテンツサーバー41に通知されるコンテンツ切替通知(ST8)を基に、コンテンツサーバー41において次に同期のための再生フレーム調整(ST6)の対象となる映像情報再生装置42を抽出する。抽出した映像情報再生装置42にのみ現在の再生時刻要求(ST13)を行い、映像情報再生装置42からの再生時刻通知(ST3)を受けて、基準再生時刻を決定する。次に、各映像情報再生装置42に基準再生時刻を通知して、映像情報再生装置42で、現在の再生時刻要求時に算出した再生時刻と比較することにより、ビデオデコーダ14での再生フレームをスキップ/リピートして再生フレーム調整(ST6)を行うことにより、再生時刻を1フレーム以内で同期させることが可能となる。
【0060】
再生フレームのスキップ/リピートにより、再生時刻の同期を行うため、VCXO等の特別なクロックとその制御を必要としない。
【0061】
また、現在の再生時刻要求時に算出した再生時刻と基準再生時刻との差に応じて、フレームスキップ機能がない場合には、フレームリピート数を調整することにより、フレームリピート機能がない場合には、フレームスキップ数を調整することにより、フレームスキップ機能、フレームリピート機能がある場合と同様に再生時刻を1フレーム以内で同期させることができる。
【0062】
ビデオデコーダ14がフレームリピート機能、フレームスキップ機能をともに備える場合には、基準再生時刻を平均値に最も近い再生時刻に採用することにより、最も調整の余地を広げることができる。一方、ビデオデコーダ14がフレームスキップ機能しか備えていない場合に、最も進んでいる再生時刻を基準再生時刻に採用することにより、フレームスキップ機能による再生時刻を進める調整の余地を広げることができる。さらに、ビデオデコーダ14がフレームリピート機能しか備えていない場合に、最も遅れている再生時刻を基準再生時刻に採用することにより、フレームリピート機能による再生時刻を遅らせる調整の余地を広げることができる。
【0063】
再生フレーム調整はMPEG2やH.264で符号化されたコンテンツを復号するビデオデコーダ14の機能として実現されるものであり、同期のためにコンテンツを特別に加工する必要がない。
【0064】
コンテンツ切替のタイミングを同じくするコンテンツであれば、異なるコンテンツ同士であっても、再生時刻を調整することが可能である。
【0065】
コンテンツサーバー41と映像情報再生装置42との間で再生時刻を送受するものとして説明したが、再生時刻の代わりに再生フレーム番号を送受しても同様に効果がある。また、再生装置42間で異なるコンテンツを再生した場合にも、コンテンツサーバー41で映像情報再生装置42間の再生フレームの対応関係がわかっていれば同様の動作を行うことができ、同様の効果が得られる。
【0066】
上述した映像情報再生方法を行うために、本発明に係る映像情報再生システムにおいては、
映像情報再生装置において、コンテンツ切替を検出し、そのタイミングを通知するコンテンツ切替通知手段と、
コンテンツサーバーにおいて、コンテンツ切替通知手段からのコンテンツ切替通知を受け、コンテンツ切替について同期すべき複数の映像情報再生装置を抽出する再生装置抽出手段と、
再生装置抽出手段により抽出された複数の映像情報再生装置に対して、再生中の再生時刻を要求する再生時刻要求通知手段と、
映像情報再生装置において、再生時刻要求通知手段からの要求を受け、再生中の再生時刻を通知する再生時刻通知手段と、
コンテンツサーバーにおいて、再生時刻通知手段で得られた抽出された複数の映像情報再生装置の現在の再生時刻から、再生時刻の基準とする再生時刻を基準再生時刻として決定し、抽出された複数の映像情報再生装置に通知する基準再生時刻通知手段と
映像情報再生装置において、基準再生時刻通知手段で得られた基準再生時刻と、再生時刻要求通知手段において、再生時刻要求を受けた時点の再生時刻とを比較し、同期すべき複数の映像情報再生装置の再生時刻要求を受けた時点の再生時刻が、基準再生時刻に対し、遅れているか、進んでいるかに応じて、同期すべき複数の映像情報再生装置の再生中の再生フレームをスキップ再生、ないし、リピート再生することにより、同期すべき複数の映像情報再生装置の再生中の再生フレームを調整する再生フレーム調整手段とを有している。
映像情報再生装置は、コンテンツ切替通知手段と再生時刻通知手段と再生フレーム調整手段とを有し、
コンテンツサーバーは、再生装置抽出手段と再生時刻要求通知手段と基準再生時刻通知手段とを有している。
【0067】
本発明は、例えば自動車、列車、建物などにおいて複数の画面に表示を行なう映像情報再生装置に適用することができ、複数の映像情報再生装置間の再生時刻を1フレーム内で同期させることができるという効果が得られる。
【0068】
実施の形態2
実施の形態1では、各映像情報再生装置42間の再生時刻のばらつきが数フレーム数以内に収まっている場合の調整方法について説明をおこなった。しかし、映像情報再生装置42内でCPU21に急な負荷がかったり、また電気的なノイズの影響で映像情報再生装置42にリセットがかかってしまったりして、再生準備可能となる前に、コンテンツサーバー41からのデータ配信が開始されてしまった場合、大幅に再生同期がずれてしまう場合がある。この場合、ずれ時間が、数秒間にもなるため、実施の形態1の調整方法で、同期がとれるまでに、数十分から数時間を要する場合がある。
【0069】
図14は、このように大幅に再生時刻がずれてしまった時に、短時間に調整を行うために改良されたシーケンス図である。図14において、ステップ(ST36)及び(ST37)は、コンテンツサーバー41で行なわれる処理であり、その他のステップは、各映像情報再生装置42で行なわれる処理である。まず、基準となっている映像情報再生装置42の再生時刻に対して、実施の形態1で説明した調整方法で、同期化が可能な範囲内のずれ量かどうか(実施の形態1で説明した方法で、調整が可能な範囲内かどうか)を判断する(ST31)
【0070】
同期が可能な範囲内であると判断された場合は、ステップ(ST32)へ進み、図7図9図11で示すような通常の調整を行う。ステップ(ST32)での調整の詳細については、実施の形態1で詳細に説明を行ったので、省略する。再生時刻のずれ量が、同期化が可能な範囲外であると判断されると、現在再生中のコンテンツの再生を中断し、バッファメモリ12に蓄積されているすべてのデータをクリアする(ST33)。
【0071】
再生を中断した映像情報再生装置42は、現在再生中のコンテンツのTSデータの配信が完了し、次のコンテンツの先頭のTSパケットの先頭パケットが配信されるのを待つ(ST34)。次のコンテンツの先頭のTSパケットを検出すると、CPU21は、データのバッファメモリ12への蓄積を開始する(ST35)。
【0072】
次に、コンテンツサーバー41は、基準となっている映像情報再生装置42に対して、次のコンテンツの先頭のフレームの再生が開始されたら、コンテンツサーバー41に通知するよう指示し、基準となっている映像情報再生装置42から、次のコンテンツの再生が開始されたことが、コンテンツサーバー41に通知される(ST36)と、コンテンツサーバー41は、再生を中断した映像情報再生装置42に対して、再生開始指示を出し(ST37)、再生を中断した映像情報再生装置42におけるコンテンツの再生が再開される。
【0073】
基準となっている映像情報再生装置42から、コンテンツサーバー41に再生開始が通知され、コンテンツサーバー41から、再生を中断した映像情報再生装置42に再生開始指示が伝わるまで、ネットワークによる遅延、ソフトウェアの処理時間による遅延、ビデオデコーダ14に再生指示を出してから最初のフレームが表示されるまでの遅延があるため、この時点では、再生を中断した映像情報再生装置42の再生時刻は、他の映像情報再生装置42に対し数フレーム遅れた状態にある。しかし、この遅れは通常の同期を調整するシーケンスで調整可能な範囲内であるため、次回の調整シーケンスで同期を一致させることが可能である。
【0074】
以上説明したように、再生時刻が大幅にずれた映像情報再生装置42に対しては、一旦再生を中断し、基準となっている映像情報再生装置42が、次のコンテンツの先頭フレームを再生開始するタイミングで、再生を再開することで、次のコンテンツの調整で速やかに再生時刻の同期を図ることが可能となる。
【0075】
本映像情報再生方法を行うためのシステムにおいては、
再生時刻誤差検出手段で検出された再生時刻の誤差が、再生フレーム調整手段による調整により同期化が可能な範囲内かどうか判断する判断手段と、
上記判断手段で化が可能な範囲内ではないと判断された場合、現在再生中のコンテンツの再生を中断し、バッファメモリに蓄積されているコンテンツのデータを破棄する破棄手段と、
再生を中断した映像情報再生装置において、次のコンテンツを受信した時点より、コンテンツのデータをバッファメモリに蓄積する蓄積手段と、
コンテンツサーバーから、基準となる映像情報再生装置が次のコンテンツの再生を開始したタイミングの通知を受け、再生を中断した映像情報再生装置が次のコンテンツの再生を開始する開始制御手段とをさらに有している。
【0076】
本発明は、例えば自動車、列車、建物などにおいて複数の画面に表示する表示装置に適用することができ、複数の映像情報再生装置間の再生時刻の同期を短時間に合わせることができるという効果が得られる。
【0077】
なお、列車の複数の画面に表示を適用する場合、同期させるべき映像情報再生装置は同じ車両に搭載されている映像情報再生装置単位とすることで、同一車両内の映像を同期させることができる。
【0078】
DVDプレーヤーやBlu−rayプレーヤーなどの、ITU−T(International Telecommunication Union−Telecommunication sector)勧告H.26xやISO/IEC(International Organization for Standardization/International Electrotechnical Commission)標準MPEG(Moving Picture Experts Group)などの蓄積メディアから読み出された符号化データを再生するときは、これらの蓄積メディアをコンテンツサーバー41を介して映像情報再生装置42に配信手段をとっても構わない。
【符号の説明】
【0079】
10 再生部、11 データ受信部、12 バッファメモリ、13 デマルチプレクサ、14 ビデオデコーダ、15 オーディオデコーダ、21 CPU(判別手段、再生制御手段)、22 クロック回路、31 外部表示装置、41 コンテンツサーバー、42 映像情報再生装置、43 ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15