ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特表2024-509577ネットワーク上で映像データを配信するための機器、方法およびコンピュータプログラム製品
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-04
(54)【発明の名称】ネットワーク上で映像データを配信するための機器、方法およびコンピュータプログラム製品
(51)【国際特許分類】
H04N 21/44 20110101AFI20240226BHJP
【ＦＩ】
H04N21/44
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023555176
(86)(22)【出願日】2022-02-14
(85)【翻訳文提出日】2023-11-01
(86)【国際出願番号】 EP2022053488
(87)【国際公開番号】W WO2022194462
(87)【国際公開日】2022-09-22
(31)【優先権主張番号】21162766.6
(32)【優先日】2021-03-16
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】コニンクス トーマス
(72)【発明者】
【氏名】カンプ エリック
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164MA03S
5C164UB04P
(57)【要約】
ネットワーク上に映像データを配信するためのシステムの受信装置用の機器であって、この機器は、上記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得し、上記ビデオソースからの上記信号が取得されたときに、フリーランニングタイミング信号を生成し、生成された上記フリーランニングタイミング信号を用いて第2のフレームレートで表示される第1の映像信号を生成し、上記第1のインターフェースを介して上記ビデオソースからネイティブ映像データを取得し、生成された上記フリーランニングタイミング信号を用いて、第2のフレームレートで表示すべき第2の映像信号を生成し、第1のビデオソースからの上記信号が取得された後に、第2のタイミング信号を生成し、上記第1のフレームレートで表示される第3の映像信号を、上記第2のタイミング信号を用いて生成するように構成された回路を具備する。上記映像データは、上記第1のフレームレートを有するネイティブ映像データを含み、上記信号は、上記ビデオソースがスイッチオンされたことを示し、表示すべき上記第1の映像信号は、ネイティブ映像データが上記ビデオソースから取得される前に、表示するための初期画像データを含み、表示すべき上記第2の映像信号は、上記ビデオソースから取得した上記ネイティブ映像データを含み、上記第2のタイミング信号は、上記受信装置のフレームレートが上記第1のビデオソースの上記第1のフレームレートと同期するように、上記ビデオソースのタイミング信号とロックするように調整されており、表示すべき上記第3の映像信号は、上記ビデオソースから取得された上記ネイティブ映像データを含む。
【選択図】図３
【選択図】図３
【特許請求の範囲】
【請求項1】
ネットワーク上に映像データを配信するためのシステムの受信装置用の機器であって、前記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得し、
前記ビデオソースからの前記信号が取得されたときに、フリーランニングタイミング信号を生成し、
生成された前記フリーランニングタイミング信号を用いて第2のフレームレートで表示される第1の映像信号を生成し、
前記第1のインターフェースを介して前記ビデオソースからネイティブ映像データを取得し、
生成された前記フリーランニングタイミング信号を用いて、第2のフレームレートで表示すべき第2の映像信号を生成し、
第1のビデオソースからの前記信号が取得された後に、第2のタイミング信号を生成し、
前記第1のフレームレートで表示される第3の映像信号を、前記第2のタイミング信号を用いて生成する
ように構成された回路を具備し、
前記映像データは、前記第1のフレームレートを有するネイティブ映像データを含み、前記信号は、前記ビデオソースがスイッチオンされたことを示し、
表示すべき前記第1の映像信号は、ネイティブ映像データが前記ビデオソースから取得される前に、表示するための初期画像データを含み、
表示すべき前記第2の映像信号は、前記ビデオソースから取得した前記ネイティブ映像データを含み、
前記第2のタイミング信号は、前記受信装置のフレームレートが前記第1のビデオソースの前記第1のフレームレートと同期するように、前記ビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第3の映像信号は、前記ビデオソースから取得された前記ネイティブ映像データを含む
機器。
【請求項2】
前記回路は、前記第1のビデオ信号用の前記初期画像データとしてアニメーションの画像データを取得するようにさらに構成されている請求項１に記載の機器。
【請求項3】
前記回路は、前記第1の映像信号用の前記初期画像データとしてプロキシ画像データを取得するようにさらに構成され、前記プロキシ画像データは、前記ネイティブ映像データと同一の画像対象を有し、1つ以上の異なる画像プロパティを有する
請求項１に記載の機器。
【請求項4】
前記プロキシ画像データは、前記ネイティブ映像データの低解像度バージョンである請求項３に記載の機器。
【請求項5】
前記プロキシ画像データは、前記ビデオソースから前記ネットワークの前記第1のインターフェースを介して取得されている請求項３または４に記載の機器。
【請求項6】
前記フリーランニングタイミング信号は、前記機器によって生成されたフリーランニングクロックであり、かつ/または、前記第2のタイミング信号は、前記ビデオソースによって生成されたビデオクロックである請求項１に記載の機器。
【請求項7】
前記回路は、前記ネイティブ映像データが取得されたときに、前記第3の映像信号を表示する表示信号を生成するように構成されている請求項１に記載の機器。
【請求項8】
前記回路は、前記ネイティブ映像データが取得された後に、所定の時間、前記第3の映像信号を表示するための表示信号を生成するように構成されている請求項１に記載の機器。
【請求項9】
前記所定の時間は、前記第2のタイミング信号が前記ビデオソースの前記タイミング信号の周波数にロックされるときの時間であるか、または、前記所定の時間は、前記第2のタイミング信号が前記ビデオソースの前記タイミング信号の周波数および位相にロックされる時間である
請求項８に記載の機器。
【請求項10】
ネットワーク上に映像データを配信するためのシステムの受信装置用の機器であって、前記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得し、
前記ビデオソースから第1のフリーランニングタイミング信号を取得し、
前記ビデオソースから受信された第1のフリーランニング信号を用いて、第2のフレームレートで表示すべき第1の映像信号を生成し、
前記第1のインターフェースを介して前記ビデオソースから第1のネイティブ映像データを取得し、
前記ビデオソースから受信した前記フリーランニングタイミング信号を用いて、前記第2のフレームレートで表示すべき第2の映像信号を生成し、
前記第1のインターフェースを介して前記ビデオソースから、第2のネイティブ映像データを取得し、
前記ビデオソースからの前記信号を受信したときに、第2のフリーランニングタイミング信号を生成し、
生成された前記第2のフリーランニングタイミング信号を使用して第3のフレームレートで表示すべき第3のビデオ信号を生成し、
前記ビデオソースからの前記信号が受信された後に、第2のタイミング信号を生成し、
前記第1のフレームレートで表示される第4の映像信号を、前記第2のタイミング信号を用いて生成する
ように構成された回路を具備し、
前記映像データは、前記第1のフレームレートを有するネイティブ映像データを含み、前記信号は、前記ビデオソースがスイッチオンされたことを示し、
表示すべき前記第1の映像信号は、ネイティブ映像データが前記ビデオソースから取得される前に、表示するための初期画像データを含み、
前記ビデオソースからの前記第1のネイティブ映像データは、前記ビデオソースによって前記フレームバッファの対象となっており、
表示すべき前記第2の映像信号は、前記ビデオソースから取得した前記第1のネイティブ映像データを含み、
前記ビデオソースからの前記第2のネイティブ映像データは、前記ビデオソースによるフレームバッファの対象となっておらず、
表示すべき前記第3のビデオ信号は、前記ビデオソースから取得された前記第2のネイティブ映像データを含み、
前記第2のタイミング信号は、前記受信装置のフレームレートが前記ビデオソースの前記第1のフレームレートと同期するように、前記ビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第4の映像信号は、前記ビデオソースから取得された前記第2のネイティブ映像データを含む
機器。
【請求項11】
ネットワークを介してデータを配信するシステムのビデオソース用機器であって、前記ビデオソースがスイッチオンされたことを示す受信装置へ信号を送信し、
第1のフリーランニングタイミング信号を生成し、
前記第1のフリーランニングタイミング信号を前記受信装置に送信し、
フレームバッファの対象であり、かつ、前記第1のフリーランニングタイミング信号によって確立された第1のフレームレートを有する前記ビデオソースのネイティブ映像データを、前記受信装置に送信し、
前記ビデオソースの入力タイミング信号を切り替え、
フレームバッファの対象でなく、かつ、前記ビデオソースの前記入力タイミング信号によって確立された第2のフレームレートを有する前記ネイティブ映像データを、前記受信装置に送信する
ように構成された回路を具備する
機器。
【請求項12】
ネットワーク上に映像データを配信するためのシステムの受信装置側の方法であって、前記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得するステップと、
前記ビデオソースからの前記信号が取得されたときに、フリーランニングタイミング信号を生成するステップと、
生成された前記フリーランニングタイミング信号を用いて第2のフレームレートで表示される第1の映像信号を生成するステップと、
前記第1のインターフェースを介して前記ビデオソースからネイティブ映像データを取得するステップと、
生成された前記フリーランニングタイミング信号を用いて、第2のフレームレートで表示すべき第2の映像信号を生成するステップと、
第1のビデオソースからの前記信号が取得された後に、第2のタイミング信号を生成するステップと、
前記第1のフレームレートで表示される第3の映像信号を、前記第2のタイミング信号を用いて生成するステップと
を含み、
前記映像データは、前記第1のフレームレートを有するネイティブ映像データを含み、前記信号は、前記ビデオソースがスイッチオンされたことを示し、
表示すべき前記第1の映像信号は、ネイティブ映像データが前記ビデオソースから取得される前に、表示するための初期画像データを含み、
表示すべき前記第2の映像信号は、前記ビデオソースから取得した前記ネイティブ映像データを含み、
前記第2のタイミング信号は、前記受信装置のフレームレートが前記第1のビデオソースの前記第1のフレームレートと同期するように、前記ビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第3の映像信号は、前記ビデオソースから取得された前記ネイティブ映像データを含む
方法。
【請求項13】
ネットワーク上に映像データを配信するためのシステムの受信装置側の方法であって、前記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得するステップと、
前記ビデオソースから第1のフリーランニングタイミング信号を取得するステップと、
前記ビデオソースから受信された第1のフリーランニング信号を用いて、第2のフレームレートで表示すべき第1の映像信号を生成するステップと、
前記第1のインターフェースを介して前記ビデオソースから第1のネイティブ映像データを取得するステップと、
前記ビデオソースから受信した前記フリーランニングタイミング信号を用いて、前記第2のフレームレートで表示すべき第2の映像信号を生成するステップと、
前記第1のインターフェースを介して前記ビデオソースから、第2のネイティブ映像データを取得するステップと、
前記ビデオソースからの前記信号を受信したときに、第2のフリーランニングタイミング信号を生成するステップと、
生成された前記第2のフリーランニングタイミング信号を使用して第3のフレームレートで表示すべき第3のビデオ信号を生成するステップと、
前記ビデオソースからの前記信号が受信された後に、第2のタイミング信号を生成するステップと、
前記第1のフレームレートで表示される第4の映像信号を、前記第2のタイミング信号を用いて生成するステップと
を含み、
前記映像データは、前記第1のフレームレートを有するネイティブ映像データを含み、前記信号は、前記ビデオソースがスイッチオンされたことを示し、
表示すべき前記第1の映像信号は、ネイティブ映像データが前記ビデオソースから取得される前に、表示するための初期画像データを含み、
前記ビデオソースからの前記第1のネイティブ映像データは、前記ビデオソースによって前記フレームバッファの対象となっており、
表示すべき前記第2の映像信号は、前記ビデオソースから取得した前記第1のネイティブ映像データを含み、
前記ビデオソースからの前記第2のネイティブ映像データは、前記ビデオソースによるフレームバッファの対象となっておらず、
表示すべき前記第3のビデオ信号は、前記ビデオソースから取得された前記第2のネイティブ映像データを含み、
前記第2のタイミング信号は、前記受信装置のフレームレートが前記ビデオソースの前記第1のフレームレートと同期するように、前記ビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第4の映像信号は、前記ビデオソースから取得された前記第2のネイティブ映像データを含む
方法。
【請求項14】
ネットワークを介してデータを配信するシステムのビデオソース側の方法であって、前記ビデオソースがスイッチオンされたことを示す受信装置へ信号を送信するステップと、
第1のフリーランニングタイミング信号を生成するステップと、
前記第1のフリーランニングタイミング信号を前記受信装置に送信するステップと、
フレームバッファの対象であり、かつ、前記第1のフリーランニングタイミング信号によって確立された第1のフレームレートを有する前記ビデオソースのネイティブ映像データを、前記受信装置に送信するステップと、
前記ビデオソースの入力タイミング信号を切り替えるステップと、
フレームバッファの対象でなく、かつ、前記ビデオソースの前記入力タイミング信号によって確立された第2のフレームレートを有する前記ネイティブ映像データを、前記受信装置に送信するステップと
を含む
方法。
【請求項15】
ネットワーク上に映像データを配信するためのシステムの受信装置用の機器であって、第1のタイミング信号を用いて第1のフレームレートで表示すべき第1の映像信号を生成し、
前記ネットワーク上に初期画像データおよび第2のネイティブ映像データを出力するように構成された第2のビデオソースから信号を取得し、
前記第2のフレームレートで表示すべき第2の映像信号を生成し、
前記第2のビデオソースからの前記信号が取得された後に、フリーランニングタイミング信号を生成し、かつ、
前記フリーランニングタイミング信号を用いて前記第2のビデオソースの前記フレームレートで表示すべき第3のビデオ信号を生成する
ように構成された回路を具備し、
表示すべき前記第1の映像信号は、第1の映像ソースから取得したネイティブ映像データを含み、
前記第2のネイティブ映像データは第2のフレームレートを有し、前記信号は、前記第2のビデオソースから前記ネイティブ映像データを用いて表示すべき映像信号を生成するためのスイッチを示し、前記初期画像データは、前記第2のビデオソースから前記ネイティブ映像データを表示する前に表示すべき画像データを含み、
表示すべき前記第2の映像信号は、前記第2のビデオソースから取得した初期映像データを含み、
前記受信装置のフレームレートが前記第2のビデオソースの前記フレームレートと同期するように、前記フリーランニングタイミング信号は、前記第2のビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第3のビデオ信号は、前記第2のビデオソースから取得されたネイティブ映像データを含む
機器。
【請求項16】
前記回路は、前記第2のビデオソースから前記初期画像データとしてアニメーションの画像データを取得するようにさらに構成されている請求項１５に記載の機器。
【請求項17】
前記回路は、前記第2のビデオソースから前記初期画像データとしてプロキシ画像データを取得するようにさらに構成され、前記プロキシ画像データは、前記第2のネイティブ映像データおよび1つ以上の異なる画像プロパティと同一の画像対象を有する
請求項１５に記載の機器。
【請求項18】
前記プロキシ画像データは、前記ネイティブ映像データの低解像度バージョンである請求項１７に記載の機器。
【請求項19】
前記フリーランニングタイミング信号は、前記機器によって生成されたフリーランニングクロックであり、かつ/または、前記第2のビデオソースの前記タイミング信号は、前記第2のビデオソースによって生成されたビデオクロックである請求項１５に記載の機器。
【請求項20】
前記第3のビデオ信号は、前記フリーランニングビデオクロックが、前記第2ビデオソースの前記タイミング信号とロックするように調整されたときに生成されている請求項１５に記載の機器。
【請求項21】
前記回路は、前記ネイティブ映像データが取得された後の所定の時間に前記第3のビデオ信号を表示するための表示信号を生成するようにさらに構成されている請求項１５に記載の機器。
【請求項22】
前記所定の時間は、前記フリーランニングタイミング信号が前記ビデオソースの前記タイミング信号の周波数にロックされるときの時間であるか、または、前記所定の時間は、前記フリーランニングタイミング信号が前記ビデオソースの前記タイミング信号の周波数および位相にロックされるときの時間である
請求項１６に記載の機器。
【請求項23】
ネットワーク上に映像データを配信するためのシステムの受信機側の方法であって、第1のタイミング信号を用いて第1のフレームレートで表示すべき第1の映像信号を生成するステップと、
前記ネットワーク上に初期画像データおよび第2のネイティブ映像データを出力するように構成された第2のビデオソースから信号を取得するステップと、
前記第2のフレームレートで表示すべき第2の映像信号を生成するステップと、
前記第2のビデオソースからの前記信号が取得された後に、フリーランニングタイミング信号を生成するステップと、
前記フリーランニングタイミング信号を用いて前記第2のビデオソースの前記フレームレートで表示すべき第3のビデオ信号を生成するステップと
を含み、
表示すべき前記第1の映像信号は、第1の映像ソースから取得したネイティブ映像データを含み、
前記第2のネイティブ映像データは第2のフレームレートを有し、前記信号は、前記第2のビデオソースから前記ネイティブ映像データを用いて表示すべき映像信号を生成するためのスイッチを示し、前記初期画像データは、前記第2のビデオソースから前記ネイティブ映像データを表示する前に表示すべき画像データを含み、
表示すべき前記第2の映像信号は、前記第2のビデオソースから取得した初期映像データを含み、
前記受信装置のフレームレートが前記第2のビデオソースの前記フレームレートと同期するように、前記フリーランニングタイミング信号は、前記第2のビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第3のビデオ信号は、前記第2のビデオソースから取得されたネイティブ映像データを含む
方法。
【請求項24】
プログラムがコンピュータによって実施されるときに、前記コンピュータに請求項１２、１３、１４または２３のいずれか1つに記載の方法を実行させる命令を具備するコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ネットワーク上で映像データを配信するための機器、方法およびコンピュータプログラム製品に関する。
【背景技術】
【0002】
本明細書で提供される「背景技術」の説明は、本開示の背景を大まかに提示するためのものである。現に指名された発明者の著作物は、本背景技術の項に記載されている範囲において、また、出願時に先行技術とされていなかった明細書の態様において、本発明に対して先行技術として明示的にも黙示的にも認められない。
【0003】
近年、撮像装置の性能は著しく発達した。例えば、撮像装置は、以前よりも高い解像度および/またはより高いフレームレートを有するシーンの画像をキャプチャすることができるようになった。さらに、撮像装置は、医療設定や環境を含む広範囲の異なる状況での応用を見出している。
【0004】
(医療環境における医用画像の間のような)ある状況では、撮像装置は、撮像装置(即ち、ビデオストリーム)によってキャプチャされた画像の実質的なリアルタイムのストリームをユーザに提供するために使用されなければならない。これは、内視鏡操作のような状況で必要とされ、それにより、医師または外科医は、撮像装置(すなわち、内視鏡撮像装置)から画像を見ることによってのみ、外科シーンを見ることができる。
これらの状況では、撮像装置からの非常に高品質な画像が望ましいが、撮像装置の性能の急激な増加(例えば、撮像装置の解像度および/またはフレームレートの増加)は、撮像装置からの画像データのライブ(すなわち、実質的なリアルタイムの)ストリームを行うことをより困難にした。
これらの状況では、撮像装置からの非常に高品質な画像が望ましいが、撮像装置の性能の急激な増加(例えば、撮像装置の解像度および/またはフレームレートの増加)は、撮像装置からの画像データのライブ(すなわち、実質的なリアルタイムの)ストリームを行うことをより困難にした。
【0005】
特に、動作の実質的なリアルタイムフィードバックを提供するために使用される画像データの任意のストリーム(すなわち、ビデオストリーム)(例えば、術者が手を動かしたときのディスプレイ上の内視鏡器具の画像の表示)は、ビデオ視覚化において超低遅延を必要とする。ビデオ視覚化におけるレイテンシは、シーンの実際の状態と比較して、ディスプレイ装置(例えば、モニタ)上で人が見るものに遅れをもたらす。これは、撮像装置からのビデオのストリーミングに依存する場合に、人が複雑なタスクを実行する際に困難をもたらす可能性がある。
なぜなら、人のいわゆる「手の目の協調」は、実質的にリアルタイムで撮像装置からの画像を見ることに依存するからである。しかも、状況によっては、第1の撮像装置で撮像された画像から第2の撮像装置で撮像された画像に表示切替必要がある場合もある。タスクの性能の中断を避けるために、ディスプレイデバイスの映像は、ビデオソースを切り替えた直後、または新しい撮像装置の初回起動時に安定している必要がある。新しい撮像装置(映像源)からのビデオの表示が中断されると、タスクのパフォーマンスが妨げられる。
なぜなら、人のいわゆる「手の目の協調」は、実質的にリアルタイムで撮像装置からの画像を見ることに依存するからである。しかも、状況によっては、第1の撮像装置で撮像された画像から第2の撮像装置で撮像された画像に表示切替必要がある場合もある。タスクの性能の中断を避けるために、ディスプレイデバイスの映像は、ビデオソースを切り替えた直後、または新しい撮像装置の初回起動時に安定している必要がある。新しい撮像装置(映像源)からのビデオの表示が中断されると、タスクのパフォーマンスが妨げられる。
【0006】
インターネットプロトコル(IP)ネットワークを介した超低遅延ビデオ転送を使用して、撮像装置から実質的にリアルタイム(低遅延)ビデオストリームを提供できる。しかしながら、インターネットプロトコルIPネットワーク上の超低遅延ビデオ転送は、ビデオソースからディスプレイへの搬送路全体におけるバッファリングの回避を必要とする。これは、ディスプレイに画像を表示するためのリフレッシュレートがビデオソースのフレームレートと正確に一致する場合にのみ可能である。言い換えると、受信側でビデオソースのビデオクロックを極端な精度で再構築する必要がある。
送信機デバイスのビデオ入力は、受信機デバイスのビデオ出力と同じタイミングと周波数で動作する必要がある。送信機デバイスと受信機デバイスがこのように動作しなかった場合、受信機はビデオリンクに出力するデータがすぐに多くなりすぎたり、少なすぎたりする。これにより、ビデオリンクがすぐに不安定になる。
送信機デバイスのビデオ入力は、受信機デバイスのビデオ出力と同じタイミングと周波数で動作する必要がある。送信機デバイスと受信機デバイスがこのように動作しなかった場合、受信機はビデオリンクに出力するデータがすぐに多くなりすぎたり、少なすぎたりする。これにより、ビデオリンクがすぐに不安定になる。
【0007】
ビデオソースを切り替えた後、またはビデオソースを起動した後に、受信機のビデオクロックが送信機のビデオクロックと同期されるまでにかなりの時間がかかることがあるため、新しいビデオを表示または中断することなく表示できるようになるまでにかなりの時間がかかることもある。実際、ネットワーク上のパケットジッタによっては、ビデオクロックが実際に再構成されるまでにかなりの時間がかかることがある。受信側にビデオクロックがない限り、ビデオも表示されない。
【0008】
従って、新しい入力ソースが可視化される度に新しいビデオクロックが再構成されなければならないので、超低遅延映像表示を保証するシステムにおいて、ディスプレイ上にビデオを表示することができない長い期間が存在し得る。この長い間画像が見えない期間は、入力元の切り替え要求がシステムに認識されなかったこと、またはシステムが無反応になったようなユーザに誤った印象を与えるかもしれないが、これは超低遅延ビデオ転送の要求の直接的な結果である。さらに、医用画像作成中など、画像が表示されない時間帯は、撮像装置からの画像に依存する場合に、術者がタスクを安全に実行する能力を低下させる可能性がある。
【0009】
これらの問題に対処することが、現在の開示の目的である。
【発明の概要】
【0010】
本開示の第1の態様によれば、ネットワーク上に映像データを配信するためのシステムの受信装置用の機器が提供され、この機器は、
上記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得し、上記ビデオソースからの上記信号が取得されたときに、フリーランニングタイミング信号を生成し、生成された上記フリーランニングタイミング信号を用いて第2のフレームレートで表示される第1の映像信号を生成し、上記第1のインターフェースを介して上記ビデオソースからネイティブ映像データを取得し、生成された上記フリーランニングタイミング信号を用いて、第2のフレームレートで表示すべき第2の映像信号を生成し、第1のビデオソースからの上記信号が取得された後に、第2のタイミング信号を生成し、上記第1のフレームレートで表示される第3の映像信号を、上記第2のタイミング信号を用いて生成するように構成された回路を具備し、
上記映像データは、上記第1のフレームレートを有するネイティブ映像データを含み、上記信号は、上記ビデオソースがスイッチオンされたことを示し、表示すべき上記第1の映像信号は、ネイティブ映像データが上記ビデオソースから取得される前に、表示するための初期画像データを含み、表示すべき上記第2の映像信号は、上記ビデオソースから取得した上記ネイティブ映像データを含み、上記第2のタイミング信号は、上記受信装置のフレームレートが上記第1のビデオソースの上記第1のフレームレートと同期するように、上記ビデオソースのタイミング信号とロックするように調整されており、表示すべき上記第3の映像信号は、上記ビデオソースから取得された上記ネイティブ映像データを含む。
上記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得し、上記ビデオソースからの上記信号が取得されたときに、フリーランニングタイミング信号を生成し、生成された上記フリーランニングタイミング信号を用いて第2のフレームレートで表示される第1の映像信号を生成し、上記第1のインターフェースを介して上記ビデオソースからネイティブ映像データを取得し、生成された上記フリーランニングタイミング信号を用いて、第2のフレームレートで表示すべき第2の映像信号を生成し、第1のビデオソースからの上記信号が取得された後に、第2のタイミング信号を生成し、上記第1のフレームレートで表示される第3の映像信号を、上記第2のタイミング信号を用いて生成するように構成された回路を具備し、
上記映像データは、上記第1のフレームレートを有するネイティブ映像データを含み、上記信号は、上記ビデオソースがスイッチオンされたことを示し、表示すべき上記第1の映像信号は、ネイティブ映像データが上記ビデオソースから取得される前に、表示するための初期画像データを含み、表示すべき上記第2の映像信号は、上記ビデオソースから取得した上記ネイティブ映像データを含み、上記第2のタイミング信号は、上記受信装置のフレームレートが上記第1のビデオソースの上記第1のフレームレートと同期するように、上記ビデオソースのタイミング信号とロックするように調整されており、表示すべき上記第3の映像信号は、上記ビデオソースから取得された上記ネイティブ映像データを含む。
【0011】
本開示の第2の態様によれば、ネットワーク上に映像データを配信するためのシステムの受信装置用の機器が提供され、この機器は、
上記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得し、上記ビデオソースから第1のフリーランニングタイミング信号を取得し、上記ビデオソースから受信された第1のフリーランニング信号を用いて、第2のフレームレートで表示すべき第1の映像信号を生成し、上記第1のインターフェースを介して上記ビデオソースから第1のネイティブ映像データを取得し、上記ビデオソースから受信した上記フリーランニングタイミング信号を用いて、上記第2のフレームレートで表示すべき第2の映像信号を生成し、上記第1のインターフェースを介して上記ビデオソースから、第2のネイティブ映像データを取得し、上記ビデオソースからの上記信号を受信したときに、第2のフリーランニングタイミング信号を生成し、生成された上記第2のフリーランニングタイミング信号を使用して第3のフレームレートで表示すべき第3のビデオ信号を生成し、上記ビデオソースからの上記信号が受信された後に、第2のタイミング信号を生成し、上記第1のフレームレートで表示される第4の映像信号を、上記第2のタイミング信号を用いて生成するように構成された回路を具備し、
上記映像データは、上記第1のフレームレートを有するネイティブ映像データを含み、上記信号は、上記ビデオソースがスイッチオンされたことを示し、表示すべき上記第1の映像信号は、ネイティブ映像データが上記ビデオソースから取得される前に、表示するための初期画像データを含み、上記ビデオソースからの上記第1のネイティブ映像データは、上記ビデオソースによって上記フレームバッファの対象となっており、表示すべき上記第2の映像信号は、上記ビデオソースから取得した上記第1のネイティブ映像データを含み、上記ビデオソースからの上記第2のネイティブ映像データは、上記ビデオソースによるフレームバッファの対象となっておらず、表示すべき上記第3のビデオ信号は、上記ビデオソースから取得された上記第2のネイティブ映像データを含み、上記第2のタイミング信号は、上記受信装置のフレームレートが上記ビデオソースの上記第1のフレームレートと同期するように、上記ビデオソースのタイミング信号とロックするように調整されており、表示すべき上記第4の映像信号は、上記ビデオソースから取得された上記第2のネイティブ映像データを含む。
上記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得し、上記ビデオソースから第1のフリーランニングタイミング信号を取得し、上記ビデオソースから受信された第1のフリーランニング信号を用いて、第2のフレームレートで表示すべき第1の映像信号を生成し、上記第1のインターフェースを介して上記ビデオソースから第1のネイティブ映像データを取得し、上記ビデオソースから受信した上記フリーランニングタイミング信号を用いて、上記第2のフレームレートで表示すべき第2の映像信号を生成し、上記第1のインターフェースを介して上記ビデオソースから、第2のネイティブ映像データを取得し、上記ビデオソースからの上記信号を受信したときに、第2のフリーランニングタイミング信号を生成し、生成された上記第2のフリーランニングタイミング信号を使用して第3のフレームレートで表示すべき第3のビデオ信号を生成し、上記ビデオソースからの上記信号が受信された後に、第2のタイミング信号を生成し、上記第1のフレームレートで表示される第4の映像信号を、上記第2のタイミング信号を用いて生成するように構成された回路を具備し、
上記映像データは、上記第1のフレームレートを有するネイティブ映像データを含み、上記信号は、上記ビデオソースがスイッチオンされたことを示し、表示すべき上記第1の映像信号は、ネイティブ映像データが上記ビデオソースから取得される前に、表示するための初期画像データを含み、上記ビデオソースからの上記第1のネイティブ映像データは、上記ビデオソースによって上記フレームバッファの対象となっており、表示すべき上記第2の映像信号は、上記ビデオソースから取得した上記第1のネイティブ映像データを含み、上記ビデオソースからの上記第2のネイティブ映像データは、上記ビデオソースによるフレームバッファの対象となっておらず、表示すべき上記第3のビデオ信号は、上記ビデオソースから取得された上記第2のネイティブ映像データを含み、上記第2のタイミング信号は、上記受信装置のフレームレートが上記ビデオソースの上記第1のフレームレートと同期するように、上記ビデオソースのタイミング信号とロックするように調整されており、表示すべき上記第4の映像信号は、上記ビデオソースから取得された上記第2のネイティブ映像データを含む。
【0012】
本開示の第3の態様によれば、ネットワークを介してデータを配信するシステムのビデオソース用機器が提供され、この機器は、
上記ビデオソースがスイッチオンされたことを示す受信装置へ信号を送信し、第1のフリーランニングタイミング信号を生成し、上記第1のフリーランニングタイミング信号を上記受信装置に送信し、フレームバッファの対象であり、かつ、上記第1のフリーランニングタイミング信号によって確立された第1のフレームレートを有する上記ビデオソースのネイティブ映像データを、上記受信装置に送信し、上記ビデオソースの入力タイミング信号を切り替え、フレームバッファの対象でなく、かつ、上記ビデオソースの上記入力タイミング信号によって確立された第2のフレームレートを有する上記ネイティブ映像データを、上記受信装置に送信するように構成された回路を具備する。
上記ビデオソースがスイッチオンされたことを示す受信装置へ信号を送信し、第1のフリーランニングタイミング信号を生成し、上記第1のフリーランニングタイミング信号を上記受信装置に送信し、フレームバッファの対象であり、かつ、上記第1のフリーランニングタイミング信号によって確立された第1のフレームレートを有する上記ビデオソースのネイティブ映像データを、上記受信装置に送信し、上記ビデオソースの入力タイミング信号を切り替え、フレームバッファの対象でなく、かつ、上記ビデオソースの上記入力タイミング信号によって確立された第2のフレームレートを有する上記ネイティブ映像データを、上記受信装置に送信するように構成された回路を具備する。
【0013】
本開示の第4の態様によれば、ネットワーク上に映像データを配信するためのシステムの受信装置側の方法が提供され、この方法は、
上記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得するステップと、上記ビデオソースからの上記信号が取得されたときに、フリーランニングタイミング信号を生成するステップと、生成された上記フリーランニングタイミング信号を用いて第2のフレームレートで表示される第1の映像信号を生成するステップと、上記第1のインターフェースを介して上記ビデオソースからネイティブ映像データを取得するステップと、生成された上記フリーランニングタイミング信号を用いて、第2のフレームレートで表示すべき第2の映像信号を生成するステップと、第1のビデオソースからの上記信号が取得された後に、第2のタイミング信号を生成するステップと、上記第1のフレームレートで表示される第3の映像信号を、上記第2のタイミング信号を用いて生成するステップとを含み、
上記映像データは、上記第1のフレームレートを有するネイティブ映像データを含み、上記信号は、上記ビデオソースがスイッチオンされたことを示し、表示すべき上記第1の映像信号は、ネイティブ映像データが上記ビデオソースから取得される前に、表示するための初期画像データを含み、表示すべき上記第2の映像信号は、上記ビデオソースから取得した上記ネイティブ映像データを含み、上記第2のタイミング信号は、上記受信装置のフレームレートが上記第1のビデオソースの上記第1のフレームレートと同期するように、上記ビデオソースのタイミング信号とロックするように調整されており、表示すべき上記第3の映像信号は、上記ビデオソースから取得された上記ネイティブ映像データを含む。
上記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得するステップと、上記ビデオソースからの上記信号が取得されたときに、フリーランニングタイミング信号を生成するステップと、生成された上記フリーランニングタイミング信号を用いて第2のフレームレートで表示される第1の映像信号を生成するステップと、上記第1のインターフェースを介して上記ビデオソースからネイティブ映像データを取得するステップと、生成された上記フリーランニングタイミング信号を用いて、第2のフレームレートで表示すべき第2の映像信号を生成するステップと、第1のビデオソースからの上記信号が取得された後に、第2のタイミング信号を生成するステップと、上記第1のフレームレートで表示される第3の映像信号を、上記第2のタイミング信号を用いて生成するステップとを含み、
上記映像データは、上記第1のフレームレートを有するネイティブ映像データを含み、上記信号は、上記ビデオソースがスイッチオンされたことを示し、表示すべき上記第1の映像信号は、ネイティブ映像データが上記ビデオソースから取得される前に、表示するための初期画像データを含み、表示すべき上記第2の映像信号は、上記ビデオソースから取得した上記ネイティブ映像データを含み、上記第2のタイミング信号は、上記受信装置のフレームレートが上記第1のビデオソースの上記第1のフレームレートと同期するように、上記ビデオソースのタイミング信号とロックするように調整されており、表示すべき上記第3の映像信号は、上記ビデオソースから取得された上記ネイティブ映像データを含む。
【0014】
本開示の第5の態様によれば、ネットワーク上に映像データを配信するためのシステムの受信装置側の方法が提供され、この方法は、
上記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得するステップと、上記ビデオソースから第1のフリーランニングタイミング信号を取得するステップと、上記ビデオソースから受信された第1のフリーランニング信号を用いて、第2のフレームレートで表示すべき第1の映像信号を生成するステップと、上記第1のインターフェースを介して上記ビデオソースから第1のネイティブ映像データを取得するステップと、上記ビデオソースから受信した上記フリーランニングタイミング信号を用いて、上記第2のフレームレートで表示すべき第2の映像信号を生成するステップと、上記第1のインターフェースを介して上記ビデオソースから、第2のネイティブ映像データを取得するステップと、上記ビデオソースからの上記信号を受信したときに、第2のフリーランニングタイミング信号を生成するステップと、生成された上記第2のフリーランニングタイミング信号を使用して第3のフレームレートで表示すべき第3のビデオ信号を生成するステップと、上記ビデオソースからの上記信号が受信された後に、第2のタイミング信号を生成するステップと、上記第1のフレームレートで表示される第4の映像信号を、上記第2のタイミング信号を用いて生成するステップとを含み、
上記映像データは、上記第1のフレームレートを有するネイティブ映像データを含み、上記信号は、上記ビデオソースがスイッチオンされたことを示し、表示すべき上記第1の映像信号は、ネイティブ映像データが上記ビデオソースから取得される前に、表示するための初期画像データを含み、上記ビデオソースからの上記第1のネイティブ映像データは、上記ビデオソースによって上記フレームバッファの対象となっており、表示すべき上記第2の映像信号は、上記ビデオソースから取得した上記第1のネイティブ映像データを含み、上記ビデオソースからの上記第2のネイティブ映像データは、上記ビデオソースによるフレームバッファの対象となっておらず、表示すべき上記第3のビデオ信号は、上記ビデオソースから取得された上記第2のネイティブ映像データを含み、上記第2のタイミング信号は、上記受信装置のフレームレートが上記ビデオソースの上記第1のフレームレートと同期するように、上記ビデオソースのタイミング信号とロックするように調整されており、表示すべき上記第4の映像信号は、上記ビデオソースから取得された上記第2のネイティブ映像データを含む。
上記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得するステップと、上記ビデオソースから第1のフリーランニングタイミング信号を取得するステップと、上記ビデオソースから受信された第1のフリーランニング信号を用いて、第2のフレームレートで表示すべき第1の映像信号を生成するステップと、上記第1のインターフェースを介して上記ビデオソースから第1のネイティブ映像データを取得するステップと、上記ビデオソースから受信した上記フリーランニングタイミング信号を用いて、上記第2のフレームレートで表示すべき第2の映像信号を生成するステップと、上記第1のインターフェースを介して上記ビデオソースから、第2のネイティブ映像データを取得するステップと、上記ビデオソースからの上記信号を受信したときに、第2のフリーランニングタイミング信号を生成するステップと、生成された上記第2のフリーランニングタイミング信号を使用して第3のフレームレートで表示すべき第3のビデオ信号を生成するステップと、上記ビデオソースからの上記信号が受信された後に、第2のタイミング信号を生成するステップと、上記第1のフレームレートで表示される第4の映像信号を、上記第2のタイミング信号を用いて生成するステップとを含み、
上記映像データは、上記第1のフレームレートを有するネイティブ映像データを含み、上記信号は、上記ビデオソースがスイッチオンされたことを示し、表示すべき上記第1の映像信号は、ネイティブ映像データが上記ビデオソースから取得される前に、表示するための初期画像データを含み、上記ビデオソースからの上記第1のネイティブ映像データは、上記ビデオソースによって上記フレームバッファの対象となっており、表示すべき上記第2の映像信号は、上記ビデオソースから取得した上記第1のネイティブ映像データを含み、上記ビデオソースからの上記第2のネイティブ映像データは、上記ビデオソースによるフレームバッファの対象となっておらず、表示すべき上記第3のビデオ信号は、上記ビデオソースから取得された上記第2のネイティブ映像データを含み、上記第2のタイミング信号は、上記受信装置のフレームレートが上記ビデオソースの上記第1のフレームレートと同期するように、上記ビデオソースのタイミング信号とロックするように調整されており、表示すべき上記第4の映像信号は、上記ビデオソースから取得された上記第2のネイティブ映像データを含む。
【0015】
本開示の第6の態様によれば、ネットワークを介してデータを配信するシステムのビデオソース側の方法が提供され、この方法は、
上記ビデオソースがスイッチオンされたことを示す受信装置へ信号を送信するステップと、第1のフリーランニングタイミング信号を生成するステップと、上記第1のフリーランニングタイミング信号を上記受信装置に送信するステップと、フレームバッファの対象であり、かつ、上記第1のフリーランニングタイミング信号によって確立された第1のフレームレートを有する上記ビデオソースのネイティブ映像データを、上記受信装置に送信するステップと、上記ビデオソースの入力タイミング信号を切り替えるステップと、フレームバッファの対象でなく、かつ、上記ビデオソースの上記入力タイミング信号によって確立された第2のフレームレートを有する上記ネイティブ映像データを、上記受信装置に送信するステップと、を含む。
上記ビデオソースがスイッチオンされたことを示す受信装置へ信号を送信するステップと、第1のフリーランニングタイミング信号を生成するステップと、上記第1のフリーランニングタイミング信号を上記受信装置に送信するステップと、フレームバッファの対象であり、かつ、上記第1のフリーランニングタイミング信号によって確立された第1のフレームレートを有する上記ビデオソースのネイティブ映像データを、上記受信装置に送信するステップと、上記ビデオソースの入力タイミング信号を切り替えるステップと、フレームバッファの対象でなく、かつ、上記ビデオソースの上記入力タイミング信号によって確立された第2のフレームレートを有する上記ネイティブ映像データを、上記受信装置に送信するステップと、を含む。
【0016】
本開示の第7の態様によれば、ネットワーク上に映像データを配信するためのシステムの受信装置用の機器が提供され、この機器は、
第1のタイミング信号を用いて第1のフレームレートで表示すべき第1の映像信号を生成し、上記ネットワーク上に初期画像データおよび第2のネイティブ映像データを出力するように構成された第2のビデオソースから信号を取得し、上記第2のフレームレートで表示すべき第2の映像信号を生成し、上記第2のビデオソースからの上記信号が取得された後に、フリーランニングタイミング信号を生成し、かつ、上記フリーランニングタイミング信号を用いて上記第2のビデオソースの上記フレームレートで表示すべき第3のビデオ信号を生成するように構成された回路を具備し、
表示すべき上記第1の映像信号は、第1の映像ソースから取得したネイティブ映像データを含み、上記第2のネイティブ映像データは第2のフレームレートを有し、上記信号は、上記第2のビデオソースから上記ネイティブ映像データを用いて表示すべき映像信号を生成するためのスイッチを示し、上記初期画像データは、上記第2のビデオソースから上記ネイティブ映像データを表示する前に表示すべき画像データを含み、表示すべき上記第2の映像信号は、上記第2のビデオソースから取得した初期映像データを含み、上記受信装置のフレームレートが上記第2のビデオソースの上記フレームレートと同期するように、上記フリーランニングタイミング信号は、上記第2のビデオソースのタイミング信号とロックするように調整されており、表示すべき上記第3のビデオ信号は、上記第2のビデオソースから取得されたネイティブ映像データを含む。
第1のタイミング信号を用いて第1のフレームレートで表示すべき第1の映像信号を生成し、上記ネットワーク上に初期画像データおよび第2のネイティブ映像データを出力するように構成された第2のビデオソースから信号を取得し、上記第2のフレームレートで表示すべき第2の映像信号を生成し、上記第2のビデオソースからの上記信号が取得された後に、フリーランニングタイミング信号を生成し、かつ、上記フリーランニングタイミング信号を用いて上記第2のビデオソースの上記フレームレートで表示すべき第3のビデオ信号を生成するように構成された回路を具備し、
表示すべき上記第1の映像信号は、第1の映像ソースから取得したネイティブ映像データを含み、上記第2のネイティブ映像データは第2のフレームレートを有し、上記信号は、上記第2のビデオソースから上記ネイティブ映像データを用いて表示すべき映像信号を生成するためのスイッチを示し、上記初期画像データは、上記第2のビデオソースから上記ネイティブ映像データを表示する前に表示すべき画像データを含み、表示すべき上記第2の映像信号は、上記第2のビデオソースから取得した初期映像データを含み、上記受信装置のフレームレートが上記第2のビデオソースの上記フレームレートと同期するように、上記フリーランニングタイミング信号は、上記第2のビデオソースのタイミング信号とロックするように調整されており、表示すべき上記第3のビデオ信号は、上記第2のビデオソースから取得されたネイティブ映像データを含む。
【0017】
本開示の第8の態様によれば、ネットワーク上に映像データを配信するためのシステムの受信機側の方法が提供され、この方法は、
第1のタイミング信号を用いて第1のフレームレートで表示すべき第1の映像信号を生成するステップと、上記ネットワーク上に初期画像データおよび第2のネイティブ映像データを出力するように構成された第2のビデオソースから信号を取得するステップと、上記第2のフレームレートで表示すべき第2の映像信号を生成するステップと、上記第2のビデオソースからの上記信号が取得された後に、フリーランニングタイミング信号を生成するステップと、上記フリーランニングタイミング信号を用いて上記第2のビデオソースの上記フレームレートで表示すべき第3のビデオ信号を生成するステップと、を含み、
表示すべき上記第1の映像信号は、第1の映像ソースから取得したネイティブ映像データを含み、上記第2のネイティブ映像データは第2のフレームレートを有し、上記信号は、上記第2のビデオソースから上記ネイティブ映像データを用いて表示すべき映像信号を生成するためのスイッチを示し、上記初期画像データは、上記第2のビデオソースから上記ネイティブ映像データを表示する前に表示すべき画像データを含み、表示すべき上記第2の映像信号は、上記第2のビデオソースから取得した初期映像データを含み、上記受信装置のフレームレートが上記第2のビデオソースの上記フレームレートと同期するように、上記フリーランニングタイミング信号は、上記第2のビデオソースのタイミング信号とロックするように調整されており、表示すべき上記第3のビデオ信号は、上記第2のビデオソースから取得されたネイティブ映像データを含む。
第1のタイミング信号を用いて第1のフレームレートで表示すべき第1の映像信号を生成するステップと、上記ネットワーク上に初期画像データおよび第2のネイティブ映像データを出力するように構成された第2のビデオソースから信号を取得するステップと、上記第2のフレームレートで表示すべき第2の映像信号を生成するステップと、上記第2のビデオソースからの上記信号が取得された後に、フリーランニングタイミング信号を生成するステップと、上記フリーランニングタイミング信号を用いて上記第2のビデオソースの上記フレームレートで表示すべき第3のビデオ信号を生成するステップと、を含み、
表示すべき上記第1の映像信号は、第1の映像ソースから取得したネイティブ映像データを含み、上記第2のネイティブ映像データは第2のフレームレートを有し、上記信号は、上記第2のビデオソースから上記ネイティブ映像データを用いて表示すべき映像信号を生成するためのスイッチを示し、上記初期画像データは、上記第2のビデオソースから上記ネイティブ映像データを表示する前に表示すべき画像データを含み、表示すべき上記第2の映像信号は、上記第2のビデオソースから取得した初期映像データを含み、上記受信装置のフレームレートが上記第2のビデオソースの上記フレームレートと同期するように、上記フリーランニングタイミング信号は、上記第2のビデオソースのタイミング信号とロックするように調整されており、表示すべき上記第3のビデオ信号は、上記第2のビデオソースから取得されたネイティブ映像データを含む。
【0018】
本開示の第9の態様によれば、
プログラムがコンピュータによって実施されるときに、コンピュータに本開示の方法を実行させる命令を含むコンピュータプログラム製品が提供される。
プログラムがコンピュータによって実施されるときに、コンピュータに本開示の方法を実行させる命令を含むコンピュータプログラム製品が提供される。
【発明の効果】
【0019】
本開示の実施形態によれば、映像は、送信装置の映像クロックが受信機側で再構成される前でも、ネットワーク上で映像を配信するためのシステムにおいて、受信機側で表示することができる。これにより、ビデオソースを切り替えたり、新しいビデオソースを起動したりするときに、ビデオコンテンツの提供が容易になる。このように、本開示の実施形態は、(ビデオソースのビデオクロックが、表示および/またはブートアップされる新しいビデオソース毎に受信側で再構成されるので、可能である)ビデオ転送におけるサブフレーム待ち時間を許容しつつ、同時に、新しいビデオクロックが再構成される期間中の監視(または他の形態の表示デバイス)上のブラックアウト期間を防止する。
これにより、ネットワーク経由でビデオをプロビジョニングするためのレスポンシブルな低レイテンシシステムが提供され、ビデオソースをオンにしたり切り替えたりする際のユーザ体験が大幅に向上する。
これにより、ネットワーク経由でビデオをプロビジョニングするためのレスポンシブルな低レイテンシシステムが提供され、ビデオソースをオンにしたり切り替えたりする際のユーザ体験が大幅に向上する。
【0020】
もちろん、本開示は、特に、これらの有利な技術的効果に限定されないことが理解されるであろう。他の有利な技術的効果は、本開示を読む際に当業者に明らかになるであろう。
【0021】
前述の段落は一般的な導入により提供されており、以下の特許請求の範囲を限定することを意図するものではない。説明される本実施形態は、さらなる利点とともに、添付の図面と併せて以下の詳細な説明を参照することによって最もよく理解される。
【図面の簡単な説明】
【0022】
本開示およびその付随する利点の多くのより完全な理解は、添付の図面に関連して考慮される場合、以下の詳細な説明を参照することによってより良く理解されるようになるので、容易に得られる。
【図1】本開示の実施形態を適用することができる一例の状況を示す。
【図2】ネットワーク上で映像データを配信するためのシステムの一例を示している。
【図3】ビデオソースを切り替える場合のタイミングチャートの一例を示す。
【図4】ネットワーク上で映像データを配信するためのシステムの一例を示している。
【図5】ビデオソースを切り替える場合のタイミングチャートの一例を示す。
【図6】ネットワーク上で映像データを配信するためのシステムの一例を示している。
【図7】ビデオソースを起動する場合のタイミングチャートの一例を示す。
【図8】ネットワーク上で映像データを配信するためのシステムの一例を示している。
【図9】ビデオソースを起動する場合のタイミングチャートの一例を示す。
【図10】本開示の実施形態に従って、ネットワーク上に映像データを配信するための例示的システムを示す。
【図11】本開示の実施形態に従って、ビデオソースを切り替える場合のタイミングチャートの一例を示す。
【図12】本開示の実施形態に従って、ネットワーク上に映像データを配信するための例示的システムを示す。
【図13】本開示の実施形態に従って、ビデオソースを切り替える場合のタイミングチャートの一例を示す。
【図14】本開示の実施形態による、受信側デバイスの機器の一例の構成を示す。
【図15】本開示の実施形態に従って、ネットワーク上に映像データを配信するための例示的システムを示す。
【図16】本開示の実施形態に従ってビデオソースを起動する場合のタイミングチャートの例を示す。
【図17】本開示の実施形態に従って、ネットワーク上に映像データを配信するための例示的システムを示す。
【図18】本開示の実施形態に従って、ビデオソースを起動する際の例示的なタイミングチャートを示す。
【図19】本開示の実施形態に従って、ビデオソースを起動する場合のタイミングチャートの一例を示す。
【図20】本開示の実施形態に従ってビデオソースを起動するときのタイミングチャートの一例を示す。
【図21】本開示の実施形態に従った受信側デバイスの一例の方法を示す。
【図22】本開示の実施形態による、受信側デバイスの機器の一例の構成を示す。
【図23】本開示の実施形態に従った送信側デバイスの一例の構成を示している。
【図24】本開示の実施形態に従って、ネットワーク上に映像データを配信するための例示的システムを示す。
【図25】本開示の実施形態に従ってビデオソースを起動するときのタイミングチャートの一例を示す。
【図26】本開示の実施形態に従った受信側デバイスの一例の方法を示す。
【図27】本開示の実施形態に従った送信側デバイスの一例の方法を示す。
【図28】本開示の実施形態による、機器または装置の一例の構成を示す。
【発明を実施するための形態】
【0023】
ここで図面を参照すると、いくつかの図を通して、同様の参照番号は、同一または対応する部分を示す。
【0024】
【0025】
実際、インターネットプロトコル変換部(IPC)、スイッチャ、エンコーダ、トランスコーダなどを介して機器間でインターネットプロトコル(IP)に準拠するように作成された画像信号を送信するシステムの例を図1に示す。「10G IPスイッチャ」、「DVIスイッチャ」、および「1G IPスイッチャ」は、多数の各機器の入出力を切り替えるために使用できるスイッチャに相当する。さらに、図1では、例えば、「エンコーダ」はエンコーダに相当し、例えば、「トランスコーダ」はトランスコーダに相当する。なお、医療制御システムでは、IPに準拠した画像信号を送信しない構成も可能である。
【0026】
さらに、図1は、医療制御システム1000が、手術室内のネットワークN1と、手術室外のネットワークN2とを含んでいる例を示している。なお、医療制御システム1000は、例えば、手術室内のネットワークN1のみを含んでもよい。
【0027】
医療制御システム1000は、例えば、医療制御装置100、入力元装置200A、200B、…、出力先装置300A、300B、…、入力元および出力先の一方または両方の機能をそれぞれ有する装置400A、400B、…、各種制御画面が表示される表示対象装置500、および、医療制御装置100によってそれぞれ制御される他の装置600A、600Bを含む。それぞれの装置は、例えば、任意の通信方式の有線通信を介して、または、IPCやスイッチャなどの装置を介した任意の通信方式の無線通信を介して接続される。
【0028】
入力元装置200A、200B…、の例には、例えば図1に示すように、内視鏡などの撮像機能を有する医療機器(例えば、入力元装置200A)や、手術室などに備えられる撮像装置(例えば、入力元装置200B)を含めることができる。なお、以下の説明では、入力元装置200A、200B…、を「入力元装置200」または「入力元装置200A、200B…、のいずれか」と総称する場合を「入力元装置200」と呼ぶことにする。
【0029】
従って、入力元装置200A、200Bは、それぞれ、手術室(OR)内の患者に実施される医療手順の医療ビデオの医療映像源情報を出力するように構成される。
【0030】
出力先装置300A、300B…、の例は、例えば、画像を表示可能な表示装置を含むことができる。表示装置の例としては、例えば、図1に示すように、手術室に設けられたモニタ(例えば、出力先装置300A～300F)、プロジェクタ等の画像投射装置(例えば、出力先装置300G)、PCに設けられたモニタ(例えば、出力先装置300H～300K)などが挙げられる。なお、以下の説明では、出力先装置300A、300B、…、を「出力先装置300」または「出力先装置300A、300B、…、のいずれか」と総称する場合を「出力先装置300」と呼ぶことにする。
【0031】
また、機器400A、400Bの例では、入力元と出力先のどちらか一方または両方の機能を有する装置と、記録媒体に記録された画像を記録する機能と記録媒体に記録された画像データを再生する機能との一方または両方の機能を有する装置とを備えることができる。具体的には、機器400A、400B、…、の各々が入力元と出力先の両方の機能を有する例としては、例えば、図1に示すように、レコーダ(例えば、機器400Aおよび400B)およびサーバ(例えば、機器400C)を含むことができる。
以下の説明では、入力元と出力先の一方または両方の機能をそれぞれ有する機器400A、400B、…、が、「機器400」または入力元と出力先の一方または両方の機能をそれぞれ有する機器400A、400B、…、のいずれかと総称する場合、「機器400」と呼ぶことにする。
以下の説明では、入力元と出力先の一方または両方の機能をそれぞれ有する機器400A、400B、…、が、「機器400」または入力元と出力先の一方または両方の機能をそれぞれ有する機器400A、400B、…、のいずれかと総称する場合、「機器400」と呼ぶことにする。
【0032】
ソース側IP変換部は、医療用映像源情報(入力元装置から)をパケット化されたビデオデータに変換する。これは、ネットワーク設定を制御し、ソース側IP変換部と出力側IP変換部(この例では10G IPスイッチャと1G IPスイッチャ)間の接続を確立するように設定されたコントローラによってIPネットワーク全体に分散される。ソース側IP変換部は、医療用ビデオのパケット化されたデータを2つのビデオフォーマットで提供するように構成され、2つのビデオフォーマットには、医療用ビデオの第1のビデオフォーマットが第1の解像度に、医療用ビデオの第2のビデオフォーマットが第2の解像度に含まれ、第1の解像度が第2の解像度と異なる。
次いで、映像データを表示対象装置500上に表示することができる。
次いで、映像データを表示対象装置500上に表示することができる。
【0033】
表示対象装置500の一例には、例えば、タブレット型装置、PC等のコンピュータ、スマートフォン等の通信デバイス等の任意の装置を含めることができる。図1では、表示対象装置500として、タッチパネルを含むタブレット型装置が示されている。なお、医療制御システム1000は、複数の表示対象装置を含んでもよい。また、医療制御システム1000において、例えば、医療制御装置100、入力元装置200、出力先装置300および装置400のうちのの1台が、表示対象装置の役割を果たしてもよい。
【0034】
他の操作600A、600B、…、の例としては、例えば図1に示すように、手術台(他の操作600A)、手術台(他の操作600B)などにおける照明操作が挙げられるが、医療制御操作100は、他の操作600A、600Bを制御する機能を有していなくてもよいことに留意されたい。
【0035】
このように、本開示の図1の例では、入力元装置200Bなどの撮像装置は、IPネットワークを介して出力先装置300Aなどの受信側の表示デバイスに提供される画像データ(ビデオストリームなど)を取得するように構成されている。さらに、それぞれが異なる解像度でシーンの画像データを取得するように構成された、いくつかの異なる撮像装置が提供されてもよいことが理解される。
【0036】
本開示の背景に記載されているように、医療用ディスプレイ装置上の医療用ビデオは、医療用ビデオソースを切り替えた直後に(すなわち、遅延や中断なしに)安定していることが望ましい。しかしながら、新しい入力ソースが可視化されるたびに新しいビデオクロックを再構成しなければならないので、超低遅延映像表示を保証するシステムにおいて、ディスプレイ上にビデオを表示することができない長い期間が存在し得る。画像が表示されないこの長期間は、ユーザに入力元の切り替え要求が優先されないという誤った印象を与えるか、システムが無反応になったかもしれないが、これは超低遅延ビデオ転送の要求の直接的な結果である。
この問題については、本開示の図2および図3を参照して、より詳細に説明する。
この問題については、本開示の図2および図3を参照して、より詳細に説明する。
【0037】
本開示の図2は、ネットワーク上で映像データを配信するための例示的なシステムを示す。特に、図2は、本開示の図1に同図よりも詳細に、ネットワーク上でデータ（映像すなわちビデオデータなど)を配信するためのシステムの一部である受信装置および多数の送信装置を示している。
【0038】
ここで、図2において、2つの送信装置2000および2010は、スイッチャを介して1つの受信装置2020に接続される。これにより、受信装置2020は、第1の送信装置2000または第2の送信装置2010から受信される映像を切り替えることができる。しかし、この点に関しては、送信装置および受信装置の数は特に制限されない。本開示の実施形態が適用される状況に応じて、システム内の装置が少なくなったり、システム内の装置がかなり多くなったりする場合がある。
【0039】
医療用ビデオソースを送信装置2000から送信装置2002(またはその逆)に切り替える場合、受信装置2020に接続された表示装置上に画像乱れがある。すなわち、この例では、送信装置2000および送信装置2002のビデオソース(すなわち、ビデオタイミングまたはビデオクロック)は同期されていない(解像度が異なり、フレームレートが異なるビデオソースである)ため、切り替え時に(それぞれの送信装置間で同期が取れていないため)乱れが発生する。各送信装置は、1つ以上の異なるビデオ特性を有する異なる撮像装置からビデオを受信するように構成してもよい。
従って、送信装置間の同期の欠如は、一般に避けることができない。表示する映像への乱れ(図2の例では「ディスプレイビデオ」)は、送信側の機器を切り替えた後、受信側のクロックが安定するまで(つまり、受信側の機器によって新たな送信側のビデオクロックが受信側で再構成されるまで)続く。つまり、受信デバイスのビデオクロックが不安定な間は(つまり、送信機側のクロックと同期していない間は)、ディスプレイ上のビデオが乱れる。
従って、送信装置間の同期の欠如は、一般に避けることができない。表示する映像への乱れ(図2の例では「ディスプレイビデオ」)は、送信側の機器を切り替えた後、受信側のクロックが安定するまで(つまり、受信側の機器によって新たな送信側のビデオクロックが受信側で再構成されるまで)続く。つまり、受信デバイスのビデオクロックが不安定な間は(つまり、送信機側のクロックと同期していない間は)、ディスプレイ上のビデオが乱れる。
【0040】
スイッチが発生すると、受信機側クロックと送信機側クロックとの同期がどのように達成されるかは、本開示の実施形態に従って特に限定されないことが理解される。すなわち、受信側クロックと送信機側クロックとの同期は、例えば、送信機側デバイスから受信される個々のパケット内のタイミングスタンプの解析から達成され得る。同期が達成される速度は、ネットワーク上のパケットジッタのレベルを含むいくつかの要因に依存する。より一般的には、受信機は、送信装置から取得されたタイミング信号(例えば、送信装置からネットワークを介して受信されたパケット内に提供されたタイミング信号)に基づいて、送信装置のビデオクロックとロック(または同期)するように調整された新しいビデオクロックを生成することができる。
【0041】
そのように、受信機クロックがトランスミッタクロックと同期する前(すなわち、トランスミッタ側クロックが受信機側で再構成される前)に、切り替え後にかなりの時間遅延があることが理解される。この時間遅延は、いったんスイッチが発生すると、受信機クロックとトランスミッタクロックの同期を取るために使用される方法に関係なく、ある程度発生する。
【0042】
次に、図3にビデオソースを切り替える場合のタイミングチャートの例を示す。このタイミングチャートは、例えば、本開示の図2を参照して説明したようなシステム内の映像ソース間を切り替えるときの、特定イベントのタイミングを示す。
【0043】
本開示の図3に示されたこの例では、タイムチャート上に、IPストリーミング部分3200、表示映像部分3202、およびビデオクロック部分3204の3つの明確な部分が示されている。タイミングチャートのこれらの個別の部分ごとに、時間はx軸に沿って左から右に増加する。このように、タイムチャートのこれら3つの部分は同じ時間軸を共有する。IPストリーミング部分3200は、所定の時間、IPネットワークを介して転送されているコンテンツ(本開示の図2のスイッチャと受信装置2020との間の「IPストリーミング」に対応する)を示す。
表示映像部分3202は、所定の時間、受信機によって表示されるために生成されているコンテンツ(本開示の図2の受信機2020によって出力される「表示ビデオ」に対応する)を示す。最後に、ビデオクロック部分3204は、所定の時間、受信機のビデオクロックの状態を同図(すなわち、ビデオクロック部分3204は、受信機のビデオクロックが、例えば、本開示の図2の送信装置2000のビデオクロックと同期しているかどうかを示す)。
表示映像部分3202は、所定の時間、受信機によって表示されるために生成されているコンテンツ(本開示の図2の受信機2020によって出力される「表示ビデオ」に対応する)を示す。最後に、ビデオクロック部分3204は、所定の時間、受信機のビデオクロックの状態を同図(すなわち、ビデオクロック部分3204は、受信機のビデオクロックが、例えば、本開示の図2の送信装置2000のビデオクロックと同期しているかどうかを示す)。
【0044】
上述したように、本開示の図3のタイミングチャートは、本開示の図2の受信装置2020が、第1の送信装置2000からのビデオの表示(第1のビデオソース(図示せず)から第1のフレームレートでのIPネットワークにわたるビデオの送信)から、第2の送信装置2010からのビデオの表示(第2のフレームレートでの第2のビデオソース(図示せず)からのビデオの送信)に切り替わるときのタイミングチャートの例である。
【0045】
本開示の図3に示されているタイムチャートには、多くの具体的な時間の事例(すなわち、時間T2、T3、T4およびT5の事例)が示されている。
【0046】
この例では、T2は、第1のビデオソースがIPストリーミング部分3200およびディスプレイビデオ部分3202で終端される時間である。すなわち、第1の送信装置2000から送信される映像は、「ネイティブ1」映像である。時間T2の前に、この「ネイティブ1」映像は、受信装置2020によってIPネットワーク上で受信され、低遅延でディスプレイ映像3202として出力される。受信装置2020のビデオクロックが送信装置2000のビデオクロックと同期しているため、ビデオの低遅延表示は、時間T2より前に可能である。
具体的には、図3のビデオクロック部分3204に示されるように、時刻T2に先立って受信装置2020が使用するビデオクロックは、第1の送信装置2000のPTP (ネイティブ1)ビデオクロックであるが、T2において、第1の送信装置2000から第2の送信装置2010へのスイッチが開始する(ユーザからのビデオソースの切り替え要求に応答する)際に、第1の送信装置2000は、IPネットワークを介してネイティブ1ビデオの送信を停止する。同時に、受信装置2020は、第1の送信装置2000からのネイティブ1映像の表示を停止する(ネイティブ1映像は、もはやIPネットワーク上で取得(またはストリーミング)されていないため)。
具体的には、図3のビデオクロック部分3204に示されるように、時刻T2に先立って受信装置2020が使用するビデオクロックは、第1の送信装置2000のPTP (ネイティブ1)ビデオクロックであるが、T2において、第1の送信装置2000から第2の送信装置2010へのスイッチが開始する(ユーザからのビデオソースの切り替え要求に応答する)際に、第1の送信装置2000は、IPネットワークを介してネイティブ1ビデオの送信を停止する。同時に、受信装置2020は、第1の送信装置2000からのネイティブ1映像の表示を停止する(ネイティブ1映像は、もはやIPネットワーク上で取得(またはストリーミング)されていないため)。
【0047】
(第2の送信装置2010からの)新しいビデオソースは、第2の送信装置2010がIPネットワークを介してビデオを送信し始めた時点で、IPストリーミング部分3200に現れる(これは、図3の「ネイティブ2参加応答」によって示される)。次に、受信装置2020は、T3のタイミングで、第2の送信装置2010から取得された映像(すなわち、ネイティブ2映像)の表示を開始する。これは、ネイティブ2ビデオストリームが受信デバイス2020によって実際に取得されるときである。このように、T2とT3の間の期間には、受信装置2020による表示のためのビデオは生成されない。
したがって、受信装置2020による表示のために生成された映像を示す表示デバイスの画面は、この期間中はブランクである。
したがって、受信装置2020による表示のために生成された映像を示す表示デバイスの画面は、この期間中はブランクである。
【0048】
さらに、時間T2から時間T3までの期間中は、受信装置2020のビデオクロックが不安定である(受信装置2020と第2の送信装置2010との間でまだ同期が取られていないため)。実際、期間T3後でも、受信装置2020のビデオクロックは不安定なままであり、第2の送信装置2010に同期されない。このため、時刻T3後も受信装置2020によって表示される映像は不安定なままであり、視覚的な乱れが生じやすい。このように、T3とT4との間の期間には、受信装置2020によって表示される映像は不安定なままであり、妨害される。
したがって、受信装置2020によって表示のために生成された映像を示す表示デバイスの表示は、映像・クロックが不安定なままである間、この期間中に多数の視覚的ブランク、グリッチ、および他の乱れを起こしやすい。
したがって、受信装置2020によって表示のために生成された映像を示す表示デバイスの表示は、映像・クロックが不安定なままである間、この期間中に多数の視覚的ブランク、グリッチ、および他の乱れを起こしやすい。
【0049】
次に、時刻T4において、受信装置2020が送信装置のビデオクロックにロックし始めるにつれて、ビデオクロックの周波数が安定する。これは、本開示の図3において、受信装置が第2送信装置2010のビデオクロックを再構成する際に、受信装置2020が時刻T4におけるビデオクロックPTP(ネイティブ2)となるビデオクロックによって示されている。さらに、受信装置2020のビデオクロックの位相と周波数の両方がT5で安定するようになる。この段階で、スイッチが完了し、第2の送信装置2010の(第2のビデオソースからの)ネイティブ2ビデオが安定し、受信装置2020によって表示される(受信装置2020のビデオクロックが第2の送信装置2010のビデオクロックと完全に同期される)。
【0050】
しかしながら、受信装置が、時間T4において第2の送信装置2010のビデオクロックに切り替わっても(ビデオクロックの周波数が安定したとき)、時間T4およびT5において受信装置2020によって表示のために生成されたビデオに、追加の視覚障害が見られることが理解される(時間T4およびT5において、表示映像部分3204の黒くなった部分によって示される)。すなわち、送信装置2010のビデオクロックの周波数と送信装置2010のビデオクロックの位相とにロックされると、受信装置2020のビデオクロックにおける補正は、表示のためのビデオ出力においてさらに視覚障害を引き起こす。
【0051】
したがって、要約すると、T2とT4との間の受信装置2020による表示のために生成された映像は不安定である(受信装置2020の映像クロックが新たな送信装置2010の映像クロックと同期していないため)。これにより、ビデオ配信システムで映像ソース間を切り替えるとき(つまり、送信デバイス)、システムのユーザビリティが低下するという混乱が発生する。
【0052】
第1の送信装置(すなわち、第1のビデオソース)と第2の送信装置(すなわち、第2のビデオソース)からビデオソースを切り替えた後の乱れを低減するために、送信機側でフリーランクロックを使用する方法が提案されている。これには、映像の元のクロックから送信機側のフリーランクロックにクロックを置き換える必要があり、フレームバッファと結合されて、少なくとも追加のレイテンシフレームが不必要に発生する。追加の不要なレイテンシは、低遅延が必要な状況(例えば、術者が複雑なタスク(例えば外科手術)を実行するために外科シーンの低遅延映像に依存する医療用画像処理などの状況)には適していない。
【0053】
本開示の図4および図5の例を考えてみよう。ここで、第1の送信装置2000および第2の送信装置2010は、それぞれフリーランクロックTX1フリーランおよびTX2フリーランを使用する。さらに、第1の送信装置2000および第2の送信装置2010は、フレームバッファを使用して、少なくとも1つの追加フレームのレイテンシを追加する。
【0054】
本開示の図3を参照して説明したタイミングチャートと同様に、本開示の図5では、第1の送信装置2000は、時刻T2において第1のビデオネイティブ1の送信を停止する。次に、第2の送信装置は、IPネットワークを介して第2のビデオネイティブ2を送信し始める(本開示の図5の例の「Native2 Join Response」で示される)。時刻T3において、受信装置2020は、表示のための第2のビデオネイティブ2の生成を開始する。このように、時間T2およびT3の間は、受信装置2020によって表示のためのビデオが生成されない。
【0055】
しかし、時間T2およびT4の間(すなわち、受信装置2020が第2の送信装置2010のビデオクロックTX2にロックする前)、受信装置2020は、第1の送信装置2000のフリーランタイミングクロックTX1を使用して第2のビデオネイティブ2を表示する。これは、本開示の図3を参照して説明したように、時間T2とT4との間の不安定な表示期間を回避する。第1の送信装置2000および第2の送信装置2010によって生成されたフリーランクロックが(例えば、ジェネレータロックを用いて)同期化されると、切り替え後の乱れは減少する。
【0056】
しかし、第1の送信装置および第2の送信装置のクロックジェネレータが完全に同期していない場合には、ある乱れが残る(すなわち、第1の送信装置2000のフリーランクロックTX1を使用して第2の送信装置2010からの映像を表示する場合には、時間T3と時間T4の間)。また、受信装置2020が表示する映像が生成されていない場合には、T2～T3の期間が存在する。さらに、フレームバッファは、送信機側でフリーランニングクロックを使用するために、(必要に応じてフレームをドロップまたは繰り返すために)永続的に必要であるが、フレームバッファを使用すると、少なくとも追加のレイテンシ・レームが追加される。
低レイテンシのビデオ配信とディスプレイを必要とする環境でビデオソースを切り替える場合、レイテンシの増加は望ましくない。
低レイテンシのビデオ配信とディスプレイを必要とする環境でビデオソースを切り替える場合、レイテンシの増加は望ましくない。
【0057】
そのため、送信側のフリーランクロックおよびフレームバッファが完全に同期している間(例えば、ジェネレータロックを使用して)、映像ソース間の切り替え時の視覚的な乱れを低減することができるが、本開示の背景で概説した問題には対処しない。さらに、第1の送信装置のフリーランニングクロックが第2の送信装置TX2のフリーランニングクロックと完全に同期していない場合、第1の送信装置から第2の送信装置(またはその逆)に切り替えるときの視覚障害の減少は、完全にまたは有効にはならない。
【0058】
さらに、中断することなく、低レイテンシのビデオ配信システムにおいてレスポンシブビデオの提供を禁止する問題は、ビデオソース間の切り替えの状況に限定されないことが理解される。同様の問題は、新しいビデオソースがオフにされた後(すなわち、電源がオン、オン、またはブートされた後)に、新しいビデオソースがオンにされたとき(すなわち、電源がオフ、またはオフにされた後)に遭遇する。
【0059】
実際、本開示の図1を参照して説明したように、内視鏡(例えば、医療用内視鏡)、カメラ、PC出力、重要な機器などを含む多様なビデオソースは、個別に送信装置(例えば、本開示の図2を参照して説明したような送信装置2000)に接続または接続可能であってもよい。これらの各ビデオソース(撮像装置)には、フレーム周波数、画像解像度、クロックジッタ、起動時間などの個別の特性がある。特に、医療用ビデオソース(例えば、医療用内視鏡)は、起動時に比較的長いパワーオン時間と、比較的大量のクロックジッタがある。そのため、ユーザがビデオソースの電源を入れると、送信側装置は安定したクロックをすぐに認識できず、そのためIPストリーミングデータをネットワーク経由で送信できない。
また、ユーザが新しいビデオソースからビデオを表示できない期間に直面する場合があるため、新しいビデオソースをオンにすると中断が発生する。ここで、本開示の図6および図7の例を考えてみよう。ここでは、新しいビデオソースをスイッチオンする際の問題について、より詳細に説明する。
また、ユーザが新しいビデオソースからビデオを表示できない期間に直面する場合があるため、新しいビデオソースをオンにすると中断が発生する。ここで、本開示の図6および図7の例を考えてみよう。ここでは、新しいビデオソースをスイッチオンする際の問題について、より詳細に説明する。
【0060】
具体的には、本開示の図6は、ネットワーク上で映像データを配信するための例示的なシステムを示す。ここで、単一の送信装置2000は、ネットワーク(例えばIPネットワーク)を介して受信装置2020に接続されている。この送信装置2020には、数多くの異なるビデオソース(図示せず)が接続されてもよい。これらの各ビデオソースには、ビデオソースの安定したビデオクロックが確立される前に、クロックジッタが発生するなどの特定の起動時間がある。このように、送信装置2000は、ビデオソースがオンになっていると直ちにビデオソースの安定したクロックを認識することができず、受信装置2020にIPストリーミングデータ(ビデオデータなど)を送信することができない。
このように、受信装置2020が表示するためのビデオデータを生成することができない間に、ビデオソースがオンになる不安定な期間が存在する。電源のオン/オフを頻繁に操作する装置(医用映像源)では、乱れの量が非常に大きくなる可能性がある。
このように、受信装置2020が表示するためのビデオデータを生成することができない間に、ビデオソースがオンになる不安定な期間が存在する。電源のオン/オフを頻繁に操作する装置(医用映像源)では、乱れの量が非常に大きくなる可能性がある。
【0061】
図7に、ビデオソースを起動する場合のタイミングチャート例を示す。これは、本開示の図6を参照して説明されたシステムにおいてビデオソースを起動するときの特定イベントのタイミングの例である。実際に、新しいビデオソースをスイッチオンするときに受信装置2020によって表示のために生成されるビデオデータの乱れは、この例のタイミングチャートからより詳細に理解することができる。
【0062】
本開示の図3および図5のタイミングチャートと同様に、(IPストリーミング部分3200、ディスプレイビデオ部分3202、およびビデオクロック部分3204である)3つの区別される部分が示されている。ビデオソース(撮像装置(例えば、医療用内視鏡))は、この例では最初はオフになっている。次に、TX ONで、ビデオソースがユーザによってオンになる。
【0063】
TX ONからT3までの間、送信装置2000のビデオクロックは不安定である(ビデオソースの安定クロックを即座に認識できないため)。この間、ビデオデータはIPネットワーク経由で送信されず、受信側デバイスによってビデオは表示されない。次に、送信装置2000がビデオソースの安定クロックを確立すると、送信装置2000は、ビデオデータ-ビデオソースのネイティブ1を、IPネットワークを介してストリーミングすることができる。このビデオデータは、次に、時刻T3において、受信装置2020によって表示のために生成される。
ただし、図7のT3からT4までの時間では、受信側装置のビデオクロックは不安定なままである(受信側装置が送信側装置のビデオクロックとまだ同期していないため)。そのため、ビデオデータが表示用に生成されても、ビデオデータは不安定なままであり、視覚障害の影響を受ける。このため、作成されたビデオに基づいて複雑なタスクを実行する場合(例えば、内視鏡操作時)、ユーザは表示用に作成されたビデオに依存することが困難になる。
ただし、図7のT3からT4までの時間では、受信側装置のビデオクロックは不安定なままである(受信側装置が送信側装置のビデオクロックとまだ同期していないため)。そのため、ビデオデータが表示用に生成されても、ビデオデータは不安定なままであり、視覚障害の影響を受ける。このため、作成されたビデオに基づいて複雑なタスクを実行する場合(例えば、内視鏡操作時)、ユーザは表示用に作成されたビデオに依存することが困難になる。
【0064】
時刻T4において、受信装置2020は、送信装置2000のビデオクロックで周波数ロックを達成する。受信装置2020が表示するために生成されたビデオ(本開示の図6の「ディスプレイ映像」に相当)は、時間T4後に、より安定する。
【0065】
それにもかかわらず、受信装置2020のビデオクロックが送信装置2000のビデオクロックに補正すると、時間T4およびT5の直後に、さらなる視覚障害(本開示の図7におけるディスプレイビデオの黒飛び部分)が発生する。したがって、T5後にのみ、受信装置2020によって生成され、表示用のディスプレイビデオが、グリッチ(すなわち、視覚障害)なく安定状態になる。
【0066】
【0067】
ビデオソースをスイッチオンした後の乱れを低減するために、送信機側でフリーランクロックを用いる方法が提案されている。これには、映像の元のクロックから、フレームバッファと結合された送信機側のフリーランクロックへのクロック交換が必要である。これにより、少なくとも追加の遅延フレームが不必要に発生する。追加のレイテンシは、一般に、低遅延が要求される場合には適していない(例えば、医用画像のように、術者が(例えば、外科手術の間の)複雑な作業を行うために、外科シーンの低遅延映像に依存するような状況の場合)。
【0068】
【0069】
具体的には、本開示の図8は、ネットワーク上でビデオデータを配信するための例示的なシステムを示す。
【0070】
本開示の図6と比較すると、本開示の図8の送信装置2000は、ビデオソースからのビデオがフレームバッファにさらされ、クロックジェネレータがフリーランクロックを生成するという事実により異なる。したがって、IPネットワークを介して送信されるビデオデータ(図8のIPストリーミング)は、フレームバッファ付きのフリーランクロックを使用したビデオソースからのビデオである。
【0071】
本開示の図9(本開示の図8に示されているようなシステムでビデオソースを起動する際の例を示す)に目を向けると、送信機側のフリーランクロックを使用することにより、送信機側のビデオソースからビデオデータを、IPネットワークを介して送信機することができるようになる前に、送信機側のフリーランクロックを使用することにより、送信機側のビデオソース1からビデオデータを送信機できるようになるまでのTX ON後の時間(ユーザが新しいビデオソースをオンにする時間)が短縮されることがわかる。これは、送信装置2000は、ビデオソースの安定したクロックが認識されるまで、ビデオが送信される前に待つ必要がないためである。
これは、ビデオソースがスイッチオンされた後に、受信装置2020によるディスプレイビデオの提供を加速する。しかしながら、受信装置2020によって表示のために生成される映像は、送信装置のフリーランクロックとのロックがT4およびT5で達成されるまで不安定である。したがって、視覚障害の量を減らすために、フレームバッファが使用される。それにもかかわらず、フレームバッファの使用は、必ず少なくとも1つの追加フレームのレイテンシをもたらす。したがって、ディスプレイ用に作製された映像の安定性は、早い時点で達成可能であっても、本開示の図8および図9の方法は、システムのレイテンシを増加させる。
言い換えれば、フレームバッファは、送信装置がフリーランニングビデオクロックを使用する時間の間(すなわち、ビデオの表示の間)に使用されなければならないので、システムの待ち時間に対する累積コストは非常に高い。さらに、受信装置2020が表示するためのビデオデータが生成されない場合には、送信オン(ビデオソースまたは送信装置がオンの場合)とT3の間に時間が残る。
これは、ビデオソースがスイッチオンされた後に、受信装置2020によるディスプレイビデオの提供を加速する。しかしながら、受信装置2020によって表示のために生成される映像は、送信装置のフリーランクロックとのロックがT4およびT5で達成されるまで不安定である。したがって、視覚障害の量を減らすために、フレームバッファが使用される。それにもかかわらず、フレームバッファの使用は、必ず少なくとも1つの追加フレームのレイテンシをもたらす。したがって、ディスプレイ用に作製された映像の安定性は、早い時点で達成可能であっても、本開示の図8および図9の方法は、システムのレイテンシを増加させる。
言い換えれば、フレームバッファは、送信装置がフリーランニングビデオクロックを使用する時間の間(すなわち、ビデオの表示の間)に使用されなければならないので、システムの待ち時間に対する累積コストは非常に高い。さらに、受信装置2020が表示するためのビデオデータが生成されない場合には、送信オン(ビデオソースまたは送信装置がオンの場合)とT3の間に時間が残る。
【0072】
したがって、送信機側のフリーランクロックおよびフレームバッファは、ビデオソースのスイッチング時の視覚的な乱れを低減することができるが、本開示の背景で概説した課題を単独では扱わない。
【0073】
このように、ネットワーク上でビデオを配信するためにシステム内のビデオソースをスイッチオン(またはスイッチング)する際に、ユーザ体験が大幅に向上し、応答性の低い低レイテンシビデオを提供する機器、方法、およびコンピュータプログラム製品に対する要望が残っている。
【0074】
これらの問題に対処するために、本開示の実施形態に従って、ネットワーク上に映像データを配信するための受信装置およびシステムの送信装置が提供される。
【0075】
以下では、本開示の第1実施形態について、図10～図21を参照して説明する。次に、本開示の第2の実施形態について、図22～図27を参照して説明する。次に、本開示の実施形態に係る機器または装置のハードウェア構成例を、本開示の図28を参照して説明する。
【0076】
（第1の実施形態(フリーランニングRX)）
先に説明したように(例えば、本開示の図3および図7を参照して)、送信装置のビデオクロックが受信装置によって再構成されているときに、ビデオソースを切り替え、かつ/または、ビデオソースをスイッチングした後の時間が存在する。この期間中、受信デバイスは安定した表示用ビデオを生成しない(また、表示用ビデオをまったく生成しない場合もある)。
先に説明したように(例えば、本開示の図3および図7を参照して)、送信装置のビデオクロックが受信装置によって再構成されているときに、ビデオソースを切り替え、かつ/または、ビデオソースをスイッチングした後の時間が存在する。この期間中、受信デバイスは安定した表示用ビデオを生成しない(また、表示用ビデオをまったく生成しない場合もある)。
【0077】
しかしながら、本発明者らは、送信装置(またはビテオソース)のビデオクロックが受信装置によって再構成されている期間中に、受信側(例えば、受信装置内)において局所的に生成されるフリーランニングビデオクロックの使用が、画像および/またはビデオを表示のために生成することを可能にすることを認識した。このようにして、新しいビデオクロックが生成され、新しい送信装置(またはビテオソース)のビデオクロックに同期されている移行期間中であっても、受信装置によって安定したビデオを表示のために生成することができる。
【0078】
【0079】
このシステムでは、ネットワークの送信側に第1の送信装置2000と第2の送信装置2010とが設けられる。第1の送信装置および第2の送信装置のそれぞれは、IPネットワークを介して、スイッチャを介して、受信装置2020に提供され得るビデオソース(図示せず)から、ビデオを受信する。第1の送信装置がビデオを受信するビデオソースは、必ずしも第2の送信装置がビデオを受信するビデオソースと同じビデオソースではない。したがって、受信装置2020は、第1の送信装置2000および第2の送信装置2020からの映像を、いずれの送信装置がユーザによって選択されたかに応じて表示することができる。
【0080】
受信装置2020は、受信側でフリーランビデオクロックを生成するクロックジェネレータを備えるほうが好ましい。この受信側のフリーランクロックは、表示のための安定した応答性のある映像を提供するために、第1の送信装置2000から第2の送信装置2010までの映像を切り替えるときに、本開示の実施形態に従って使用することができる。
【0081】
ここで、本開示の図11の例を考えてみよう。図11は、本開示の実施形態に従ってビデオソースを切り替える場合のタイミングチャートの例を示す。これは、例えば、本開示の図10に示されている第1の送信装置2000と第2の送信装置2010とで送信される映像を切り替える場合に見られるようなタイミングチャートの例である。
【0082】
時刻T2の前に、受信装置2020は、第1の送信装置2000から受信されたビデオネイティブ1を受信して表示している。すなわち、ネイティブ1ビデオ(第1の送信装置2000から)は、タイムT2前のタイミングチャートのIPストリーミング部3200および表示映像部分3202を占有する。また、このとき(T2以前)、受信側装置のビデオクロックは、送信側装置2000からのネイティブ1ビデオの表示に、受信側装置2020がPTP(ネイティブ1)のビデオクロックを使用するように、送信側装置2000のビデオクロックと同期される。PTP(ネイティブ1)ビデオクロックは、時刻T2の前の最初の送信装置2000のビデオクロックと完全に同期される。
【0083】
そして、時刻T2において、第1の送信装置2000によって送信された映像から第2の送信装置2010によって送信された映像への切り替えが行われる。これは、例えば、第2の送信装置を供給する第2のビデオソースからビデオを切り替えるようにユーザからの(ユーザ入力装置等を介した)要求に応答してもよい。
【0084】
すなわち、時刻T2において、第1の送信装置2000は、スイッチが要求されたこと、および、IPネットワーク上のビテオネイティブ1の送信を停止していることを示す。これは、図11の例における「ネイティブ1脱退応答」に相当し、実際には、同時に、第1の送信装置2000は、IPネットワーク上でビデオネイティブ1の送信を停止する。これにより、受信側装置2020は、表示用のビデオネイティブ1の生成を停止する。
【0085】
しかしながら、本開示の実施形態によれば、この段階で、受信装置2020は、次に、第1の送信装置のビデオクロック(すなわち、PTP(ネイティブ1))から、受信側でローカルに生成されたフリーランニングビデオクロックRX(例えば、本開示の図10に示されるように、受信装置2020のクロック生成器によって)に切り替わる。したがって、受信機2020のビデオクロックは、受信機2020のフリーランニングビデオクロックに置き換えられるため、T2とT4との間の期間において不安定にはならない(本開示の図3に示すように)。換言すれば、フリーランニングビデオクロックRXは、受信装置2020によって使用され、一方、新たな送信装置のビデオクロック(すなわち、本開示の図10に示されるような第2の送信装置2010)は、受信側で再構成されている。
【0086】
さらに、T2後の短時間(第2の送信装置2010がIPネットワークを介して映像を送信し始める前であっても)に、受信装置2020は、スイッチが発生したことを示すアニメーション(短い画像および/または映像)を生成し(または、より一般的には、他の何らかの初期画像および/または情報をユーザに表示する)。このアニメーションは、生成されたフリーランニングクロックRXを使用して、受信装置2020によって表示することができる。このアニメーション(または他の初期画像または情報)の表示は、入力元の切り替え要求が受信され認識されたこと、および、システムが要求された新しい映像(すなわち、第2の送信装置2020からの映像)を表示する準備をしていることをユーザに明らかにさせる。
【0087】
次に、第2の送信装置2010からの新しい映像-ネイティブ2-は、時間T3においてIPストリーミング(すなわち、IPネットワーク上で送信される)に現れる。これは、第2の送信装置2010が第2の映像、ネイティブ2の送信を開始する時間に対応する。
【0088】
この段階で、受信装置2020は、第2の送信装置2010から受信したように、アニメーションの表示から映像の表示-ネイティブ2-に切り替わる。したがって、新しいビデオソースからのビデオは、受信装置2010によってユーザに表示するために生成される。
【0089】
しかしながら、本開示の図3に示されている例とは対照的に、第2の送信装置2010からの映像-ネイティブ2は、不安定な映像クロックを使用して送信されない(送信側装置2010から再構成されているクロックである)。むしろ、本実施形態の受信装置2020は、タイムT3後に第2の送信装置からの映像を表示するために、受信側でローカルに生成されたフリーランニングビデオクロックRXを使用する。実際、フリーランニングビデオクロックは安定しているため、T3後(送信デバイスのビデオクロックが再構成される前)のこの期間の視覚障害の量は減少する。
【0090】
時刻T4において、受信装置2020は、第2の送信装置2010のビデオクロックの再構築を達成する。すなわち、時刻T4において、受信装置2020のビデオクロックは、第2の送信装置2010のビデオクロックの周波数にロックする。この段階で、受信装置2020のビデオクロックは、フリーランニングビデオクロックRXから、第2の送信装置2010の新たに再構成されたビデオクロックに切り替わる。したがって、時刻T4において、受信装置は、第2の送信装置2010の再構成されたビデオクロックを使用して、表示用の第2の送信装置ネイティブ2からビデオを生成する。
【0091】
次に、時刻T5において、第2の送信装置2010のビデオクロックによる完全なロックが達成される(すなわち、ビデオクロックの周波数と位相の両方のロック)。
【0092】
小さな視覚的なグリッチは、時刻T4およびT5において、受信装置2020によって使用されるクロックとして観察され、第2の送信装置2010のビデオクロックに訂正される。それにもかかわらず、受信側で生成されたフリーランビデオクロックRXが、T2およびT4の期間の間に使用されるので、第1の送信装置2000と第2の送信装置2010の間の遷移の間(すなわち、受信装置のビデオクロックが送信装置のビデオクロックと同期している間)に、妨害なしに、受信装置2020によってビデオを表示することができる。さらに、受信機側でフリーランビデオクロックを使用すると、ネイティブ2ビデオが第2の送信デバイスから受信される前でも、第1のビデオデータ(アニメーションなど)を表示できる。表示用のディスプレイビデオが生成されない時間(つまり、ユーザにブランク画面が表示される時間)は、大幅に短縮される。
【0093】
さらに、本開示の図4および図5の方法(送信機側の自走クロックである)と比較して、フレームバッファの使用は必要とされない(映像が受信機側のフリーランクロックを用いて受信されるときに、映像が受信されるときに表示される)。したがって、第1の送信装置2000と第2の送信装置2010との間で切り替えるときの視覚障害の減少は、システムのレイテンシを増加させることなく達成することができる。
【0094】
したがって、本開示の図10および図11の例を参照して説明した本開示の実施形態は、(ビデオソースのビデオクロックが、示された新しいビデオソースごとに受信機側で再構成されるため、可能である)ビデオ転送におけるサブフレーム待ち時間を許容し、同時に、新しいビデオクロック(すなわち、第2の送信装置2010のビデオクロック)が受信機側で再構成される期間中に、ビデオ表示を示すモニタ上のブラックアウト期間を防止する。これにより、応答性の低いレイテンシシステムが実現し、映像（ビデオ）ソース間の切り替え時のユーザ体験が大幅に向上する。
【0095】
さらに、受信側のフリーランニングビデオクロックは、送信装置(すなわち送信側)によってネットワーク上で2つの品質で同時に映像がストリーミングされる場合にも使用できる。例えば、Tx IPCを含むシステムのような、ネットワークを介してビデオを分布するための例示的なシステムでは、ネイティブ（本来）のビデオフィードが超低レイテンシディスプレイに使用され、一方、プロキシフィードは、同じ映像の帯域幅最適化バージョンである(すなわち、同じビデオコンテンツが、異なるビデオ特性を有するネイティブとプロキシの両方のビデオフィードに示される)。
ネイティブビデオフィードでは、ディスプレイの超低遅延を実現するために、受信機側と送信機側の間にロックされたビデオクロックが必要である。プロキシビデオフィード(ロックされたビデオクロックを必要としない)では、ネイティブビデオフィードと比較してレイテンシが若干増加する。それにもかかわらず、プロキシビデオフィードにはロックされたビデオクロックが必要ないため、受信デバイスのビデオクロックが送信デバイスのビデオクロックにロックされる前(ネイティブビデオフィードを表示する前)に表示できる。この状況でビデオソースを切り替えるときに、(本開示の実施形態による)受信側でフリーランニングクロックを使用することは、特に有利である。
ネイティブビデオフィードでは、ディスプレイの超低遅延を実現するために、受信機側と送信機側の間にロックされたビデオクロックが必要である。プロキシビデオフィード(ロックされたビデオクロックを必要としない)では、ネイティブビデオフィードと比較してレイテンシが若干増加する。それにもかかわらず、プロキシビデオフィードにはロックされたビデオクロックが必要ないため、受信デバイスのビデオクロックが送信デバイスのビデオクロックにロックされる前(ネイティブビデオフィードを表示する前)に表示できる。この状況でビデオソースを切り替えるときに、(本開示の実施形態による)受信側でフリーランニングクロックを使用することは、特に有利である。
【0096】
【0097】
(本開示の図12に例示されているように)この例では、第1および第2の送信デバイス2000および2010が送信器側に示されている(各送信デバイスは、それぞれのビデオソースからのビデオを受信する)。そして、受信側には、スイッチャを介して送信装置の1つからIPネットワークを介して映像を受信する受信装置2020が示されている。送信装置2000および2010の各々は、同時にネットワーク上で2つの品質の映像を送信することが可能である;第1のネイティブ映像フィード(超低遅延用)および第2のプロキシ映像フィード、これは同じ映像の低解像度帯域幅最適化バージョンである。
【0098】
受信装置2020は、送信装置のビデオクロックが再構成されている期間中に、受信機側でローカルにフリーランニングビデオクロックを生成するためのクロックジェネレータを有する。オプションとして、受信装置は、アニメーションジェネレータも含む(本開示の図11と同様)。
【0099】
図13を参照すると、本開示の実施形態に従ってビデオソースを切り替える場合のタイミングチャートの例が示されている。
【0100】
この例では(本開示の図13に示すように)、受信装置2020は、まず、第1の送信装置2000からビデオネイティブ1を受信する。したがって、時間T1の前に、ネイティブ1ビデオは、IPネットワークを介してIPストリーミングから受信され、送信装置2010のビデオクロックから構築されたビデオクロックPTP(ネイティブl)を使用して受信装置2000によって表示されるように生成される。このとき、受信装置2020のビデオクロックは送信装置2000のビデオクロックにロックされているため、ネイティブ1の表示は安定している。
【0101】
次に、時刻T1において、第2の送信装置2010は、帯域幅最適化ビデオフィード(すなわち、プロキシビデオフィード)プロキシ2を、IPネットワークを介して送信し始める。すなわち、第1の送信装置2000が本来の1ビデオデータの送信を停止する前であっても、第2の送信装置2010は、最適化されたビデオフィードプロキシ2の送信を開始し、これは、送信装置2000から送信装置2010へのビデオの切り替え要求が受信された場合(例えば、ユーザ指示に従う)に生じてもよい。
【0102】
第2の送信装置2010が最適化された映像フィードプロキシ2を送信し始めるとすぐに、受信装置2020は、プロキシ2に基づく表示のための映像を生成するように切り替わる。このように、時刻T1において、図13に示すタイムチャートの表示映像部分3202は、プロキシ2にスワップし、第2の送信装置2010から受信したプロキシ2ビデオフィードが、受信装置2020によって、表示用ビデオを生成するために使用されることを示す。したがって、表示用の受信装置2020によって生成された映像を表示する表示画面(すなわち、本開示の図12の表示映像)を見る人は、時間T1において、ネイティブ1からプロキシ2への表示スイッチを直接見ることになるであろう。
実際、ネイティブ1とプロキシ2の両方がIPネットワークを介して同時にストリーミングされるので、スイッチング時に、第1の送信装置2000からのネイティブ1映像フィードの表示と、第2の送信装置2010から受信したプロキシ2映像フィードとの間に不連続性はない。さらに、映像フィードプロキシ2は、ロックされた映像クロックを必要としない帯域幅最適化映像フィードであるため、プロキシ2映像フィードは、途切れることなく、PTP(ネイティブ1)映像クロック(受信側の映像クロックであり、第1の送信装置2000の映像クロックにロックされている)を使用して表示することができる。
実際、ネイティブ1とプロキシ2の両方がIPネットワークを介して同時にストリーミングされるので、スイッチング時に、第1の送信装置2000からのネイティブ1映像フィードの表示と、第2の送信装置2010から受信したプロキシ2映像フィードとの間に不連続性はない。さらに、映像フィードプロキシ2は、ロックされた映像クロックを必要としない帯域幅最適化映像フィードであるため、プロキシ2映像フィードは、途切れることなく、PTP(ネイティブ1)映像クロック(受信側の映像クロックであり、第1の送信装置2000の映像クロックにロックされている)を使用して表示することができる。
【0103】
次に、時刻T2において、第1の送信装置2000は、IPネットワークを介したネイティブ1ビデオフィードの送信を停止する(これは、図13のIPストリーミング部分3200から分かる)。しかしながら、第1の送信装置2000からのネイティブ1ビデオフィードが受信装置2020によって表示用ビデオを生成するために使用されなくなるので、第1の送信装置2000がネイティブ1ビデオフィードの送信を停止しても、受信装置2020によって生成された表示ビデオは中断されない。さらに、同時に、受信装置2020は、ビデオ・ディスプレイ・クロックPTP(ネイティブ1)が、第1の送信装置2000に同期されたビデオクロックから、受信側でローカルに生成されたフリーランニングビデオクロックRXに切り替わる(例えば、本開示の図12に示すように、受信装置2020によって)。
さらに、プロキシ2映像データは、表示のためにロックされたビデオクロックを必要としないので、受信側でフリーランニングビデオクロックRXを使用すると、中断することなく(第2の送信装置2010からの)プロキシ2ビデオフィードを表示し続けることができる。
さらに、プロキシ2映像データは、表示のためにロックされたビデオクロックを必要としないので、受信側でフリーランニングビデオクロックRXを使用すると、中断することなく(第2の送信装置2010からの)プロキシ2ビデオフィードを表示し続けることができる。
【0104】
T2とT3の間の時間(本開示の図13の「Native2 Join Response」で示される)に、第2の送信装置2010は、IPネットワーク上で第2の映像フィードネイティブ2を送信し始める。この第2の映像フィードネイティブ2は、第1の映像フィードプロキシ2と同時に第2の送信デバイス2010によって送信される。さらに、第2の送信デバイスによって送信されるネイティブ2映像フィードには、プロキシ2映像フィードと同じ視覚的なコンテンツが含まれる。言い換えれば、第2の送信装置2010のネイティブ2映像フィードは、超低レイテンシディスプレイに使用され、ロックされたビデオクロックを必要とする一方、プロキシ2映像フィードは、同じ映像の帯域幅最適化バージョンである(これは、表示のためにロックされたビデオクロックを必要としない)。
【0105】
受信装置2020によってネイティブ2映像が受信されると、受信装置2020は、プロキシ2映像フィードの表示から、第2の送信装置2010から取得したネイティブ2映像フィードに切り替わる。ただし、プロキシ2映像フィードはネイティブ2映像フィードと同時にストリーミングされるため、受信側デバイス2020は、ディスプレイビデオを中断することなくプロキシ2フィードからネイティブ2ビデオフィードに切り替える(ただし、変更によって視覚的に小さな不具合が生じることがある)。受信装置2020がネイティブ2映像フィードに切り替わると、送信装置2010は、IPネットワークを介したプロキシ2映像オフィードの送信を停止することができる。かくして、時刻T3において、第2の送信装置2010からのネイティブ2ビデオストリームは、受信装置2020によって、フリーランニングビデオクロックRXと共に使用され、表示のためのビデオを生成する。
【0106】
換言すれば、本開示の実施形態によれば、受信装置2020は、受信側にローカルにフリーランビデオクロックRXを生成する。このフリーランビデオクロックRXは、受信装置のビデオクロックが第2の送信装置2010のビデオクロックにロックする前でも、第2の送信装置2010から受信したネイティブ2ビデオフィードを表示するために使用される。このため、フリーランビデオクロックRXは安定したビデオクロックであるため、T3～T4の間の時間でネイティブ2ビデオフィードを中断することなく表示できる。
【0107】
そして、本開示の図13に示される時刻T4において、受信装置2020のビデオクロックは、第2の送信装置2010のビデオクロックにロックする。すなわち、受信側のビデオクロックと送信側のビデオクロックとの間の周波数ロックが達成される。このように、このとき受信装置2020は、送信側のビデオクロックから再構成されたビデオクロックPTP(ネイティブ2)(例えば、送信側のパケットで受信されたタイミング信号に応じて)を用いて、第2の送信機から受信したネイティブ2映像フィードを表示するように切り替わる。したがって、時刻T4において、受信装置2020は、第2の送信装置2010の再構成されたビデオクロックPTP(ネイティブ2)を使用して、第2の送信装置2010のPTPネイティブ2から表示用のビデオを生成する。
【0108】
最後に、時刻T5において、第2の送信装置2010のビデオクロックによる完全なロックが受信装置2020によって達成される(すなわち、ビデオクロックの周波数と位相ロックの両方)。
【0109】
受信装置2020のビデオクロックが(例えば、受信側で生成されたフリーランニングビデオクロックから)第2の送信装置2010のビデオクロックに補正するにつれて、少数の視覚的なグリッチ(乱れ)が時間T4およびT5で観測される。それにもかかわらず、本開示の実施形態によれば、ユーザは、第1の送信装置2000から第2の送信装置2010への切り替え要求が受信されるとすぐに、第2の送信装置から映像コンテンツ(プロキシ2)を見ることができる。ネイティブ1映像の表示(第1の送信装置2000から)とプロキシ2映像(第2の送信装置2010から)の間に不連続性はない。
ビデオフィードプロキシ2は、超低転送レイテンシのビデオフィードネイティブ2が受信されるまでの短い時間のみ使用される。実際、受信機側でローカルに生成されたフリーランニングクロックRXを使用するため、第2の送信デバイス2010のビデオクロックが受信機側で再構築される前でもネイティブ2ビデオフィードを表示することができる。この例におけるプロキシ2ビデオフィードの使用は、アニメーションとは対照的に、第1の送信装置2000から第2の送信装置2010への切り替え要求が受信された時点で、第2の送信装置2010からのビデオを表示することを可能にする。
ビデオフィードプロキシ2は、超低転送レイテンシのビデオフィードネイティブ2が受信されるまでの短い時間のみ使用される。実際、受信機側でローカルに生成されたフリーランニングクロックRXを使用するため、第2の送信デバイス2010のビデオクロックが受信機側で再構築される前でもネイティブ2ビデオフィードを表示することができる。この例におけるプロキシ2ビデオフィードの使用は、アニメーションとは対照的に、第1の送信装置2000から第2の送信装置2010への切り替え要求が受信された時点で、第2の送信装置2010からのビデオを表示することを可能にする。
【0110】
したがって、本開示の図12および図13の例を参照して説明した本開示の実施形態は、(ビデオソースのビデオクロックが、示された新しいビデオソースごとに受信側で再構成されるため、可能である)ビデオ転送におけるサブフレーム待ち時間を可能にし、同時に、受信側で新しいビデオクロックが再構成される期間中、モニタでのブラックアウト期間を防止する。これにより、応答性の低いレイテンシシステムが実現し、映像ソース間の切り替え時のユーザ体験が大幅に向上する。
【0111】
本開示の図10から図13は、第1の送信装置と第2の送信装置の間の切り替えの例の状況を参照して説明したが、本開示は、この点で特に限定されないことが理解される。実際、本開示の実施形態によれば、受信側のフリーランニングクロック(例えば、受信装置によってローカルに生成される)を使用して、映像ソースまたは送信装置をブートアップ(またはスイッチング/パワーオン)するときに、大幅に改善されたユーザ体験を有する応答性の低いレイテンシシステムを提供することができる。
【0112】
したがって、より一般的には、本開示の実施形態に従って、ネットワーク上に映像データを配信するシステムの受信デバイス2020のための機器が提供される。
【0113】
本開示の図14は、本開示の実施形態に従って、ネットワーク上に映像データを配信するシステムの受信装置2020のための機器3000を示す。機器3000は、取得部3002と、生成部3004と、生成部3006とを備える。
【0114】
具体的には、取得部3002は、ネットワークの第1インターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得するように構成され、第1フレームレートを有するネイティブ映像データを含む映像データと、ビデオソースがオンになったことを示す信号とを含んでいる。そのため、第1のフレームレートは入力ソース(例えば、ビデオソース)のフレームレートになる。
【0115】
そして、生成部3004は、映像ソースからの信号が取得されるとフリーランニングタイミング信号(第1のタイミング信号)を生成するように構成され、生成部3006は、生成されたフリーランニングタイミング信号を用いて第2のフレームレートで表示する第1の映像信号を生成するように構成され、表示する第1の映像信号は、映像ソースからネイティブ映像データが取得される前の表示用の初期画像データを含む。
【0116】
取得部3002は、第1のインターフェースを介してビデオソースからネイティブ映像データを取得するようにさらに構成される。
【0117】
したがって、生成部3006は、生成されたフリーランニングタイミング信号を用いて、第2のフレームレートで表示する第2の映像信号を生成するように構成され、表示する第2の映像信号は、映像ソースから取得されたネイティブ映像データを含む。
【0118】
さらに、生成部3004は、第1のビデオソースからの信号が取得された後に第2のタイミング信号を生成するように構成され、第2のタイミング信号は、受信装置のフレームレートが第1のビデオソースの第1のフレームレートと同期するように、ビデオソースのタイミング信号とロックするように調整される。次に、生成ユニット3006は、第2のタイミング信号を使用して、第1のフレーム速度で表示されるべき第3の映像信号を生成するように構成され、表示されるべき第3の映像信号は、ビデオソースから取得されたネイティブ映像データを含む。
【0119】
このように、装置3000は、受信装置が、ネットワーク上にビデオデータを配信するためのシステムにおいて、ビデオソースのスタートアップまたは送信装置に続いて、ビデオの応答性の低遅延表示を提供することを可能にする。
【0120】
【0121】
【0122】
この例では、送信側に単一のデバイス2000が提供されている。さらに、受信側には単一の装置2020が設けられる。受信装置2020は、本開示の図14を参照して説明した装置3000を含んでもよく、またはその一例であってもよい。
【0123】
受信装置2020は、送信装置2000からIPネットワークを介して映像データ(IPストリーミング)を受信する(例えば、装置3000の取得部3002による)。このビデオデータは、ビデオソース(図示せず)から受信されたフィードビデオから送信装置2000によって生成される。受信装置は、送信装置2000から受信したビデオデータに基づいて、ディスプレイ装置(図示せず)上に表示可能なディスプレイビデオ(表示映像)を生成し、ディスプレイビデオを生成する(例えば、装置3000の生成部3006により)。本開示の実施形態によれば、受信装置2020は、受信側でローカルにフリーランニングビデオクロックを生成するために使用されるクロックジェネレータ(例えば、生成部3004)を備える。
このフリーランニングビデオクロックは、ビデオソースがオンになっているときに、送信側装置からのビデオデータをレスポンシブに表示できるようにするために使用される。例えば、医療用内視鏡のような映像ソースが、まず、外科的状況の間にオンにされる(すなわち、起動されるか、オンにされる)場合であってもよい。
このフリーランニングビデオクロックは、ビデオソースがオンになっているときに、送信側装置からのビデオデータをレスポンシブに表示できるようにするために使用される。例えば、医療用内視鏡のような映像ソースが、まず、外科的状況の間にオンにされる(すなわち、起動されるか、オンにされる)場合であってもよい。
【0124】
本開示の図16は、本開示の実施形態に従って映像ソースを立ち上げる場合(例えば、術中に医療用内視鏡映像ソースを立ち上げる場合)の例示的なタイミングチャートを示す。
【0125】
タイミングチャートの3つの異なる部分、すなわち、IPストリーミング部分3200、表示映像部分3202、およびビデオクロック部分3204が示されている。これら3つの部分はそれぞれ、同じ時間軸を共有する(本開示の図16に示されているタイミングチャートにおいて、時間は左から右に水平に増加する)。
【0126】
タイミングチャートは、ビデオソース(例えば、医療用内視鏡デバイスなど)の電源を入れると、TX ONで開始する。この段階では、IPネットワーク上でIPストリーミング3200を介してデータは提供されない。また、受信装置2020は、ディスプレイ装置による表示のための表示映像データを生成しない。
【0127】
しかし、本開示の実施形態によれば、受信装置が、ビデオソースがオンに切り換えられた(すなわちTXオン)ことを示す信号を受信すると、受信装置は、受信側で、ローカルに、フリーランニングビデオクロック(例えば、フリーランニングタイミング信号)を生成する。ビデオソースがスイッチオンされたことを示す信号は、取得部3002によって受信され得る。また、フリーランニングビデオクロックは、生成部3004によって生成してもよい。このように、時刻T1において、受信側装置は、IPネットワークを介して送信装置2000によってデータが送信される前であっても、初期画像データ(例えば、アニメーションなど)を表示することができ、初期画像データは、受信側で生成されたフリーランニングビデオクロックを用いて表示される。
実際、初期画像データは、いくつかの例では、受信装置内のローカルに生成部3004によって生成されてもよい。しかし、他の例では、取得部3002によって初期画像データを受信したり、その他の方法で取得したりしてもよい。このように、受信側のフリーランニングクロックであるRXは、送信側のビデオクロックが受信側で再構成されるまで、(送信側のフレームレートとは異なる)第2のフレームレートで初期画像データを表示するために使用される。
実際、初期画像データは、いくつかの例では、受信装置内のローカルに生成部3004によって生成されてもよい。しかし、他の例では、取得部3002によって初期画像データを受信したり、その他の方法で取得したりしてもよい。このように、受信側のフリーランニングクロックであるRXは、送信側のビデオクロックが受信側で再構成されるまで、(送信側のフレームレートとは異なる)第2のフレームレートで初期画像データを表示するために使用される。
【0128】
従って、ビデオソース(例えば、医療用内視鏡装置)がスイッチオンされると直ちに、受信装置2000は、ディスプレイ装置上に表示されるべき表示ビデオを生成する。したがって、ユーザは、映像ソースをオンにする指示が正常に実装され、映像ソースからのビデオデータが受信後に表示されることを理解することができる。表示のためのビデオは、装置3000の生成ユニット3006によって生成されてもよい。
【0129】
初期の画像データはアニメーションであると説明されているが、本開示はこの点について限定されない。すなわち、初期画像データは、映像データがビデオソースから受信される前にディスプレイ上に表示されるべき任意の画像データであってもよい。いくつかの例では、この初期画像データは、活性化された映像ソースの特性の詳細を提供する特定の情報を含むことができる。他の例では、映像ソースからのビデオデータが一旦受信されると表示されることをユーザに知らせる単純なテキストメッセージが表示されてもよい。表示される初期画像データのタイプは、本開示の実施形態が適用される状況に応じて変化する。
時刻T1で最初に表示されるアニメーションは、時刻T3まで表示するために受信装置2020によって生成される。時間T3は、送信装置2000がビデオソースからIPネットワークを介して映像データを送信し始めた直後の時間である。すなわち、ビデオソースからのビデオデータがIPネットワークを介して受信装置2020によって受信されると、このビデオデータ-ネイティブ1-は、受信装置2020によって使用され、ディスプレイ装置(図示せず)上に表示するためのディスプレイビデオを生成する。有利には、本開示の実施形態によれば、映像ソース-ネイティブ1-から受信された映像を使用して、受信側で生成されたフリーランニングクロックRXを使用してディスプレイ映像を生成する。
このように、ネイティブ1ビデオは、送信装置2000のビデオクロックが受信側で再構成される前でも表示することができる。本開示の図7と比較すると、例えば、本開示によれば、送信デバイスのビデオクロックが受信側で再構成される前に不安定な期間がないように、フリーランニングクロックRXを使用して、ネイティブ1ビデオが表示される。すなわち、受信機側で生成されたビデオクロックは安定したクロックであるため、送信装置2000のビデオクロックが受信機側で再構成される前のネイティブ1ビデオの表示に不安定性はない。また、本開示の図9に示す例と比較すると、フレームバッファを使用する必要はない。そのため、ビデオソースの起動に続くビデオソースのネイティブ1ビデオを提供するときの中断レベルの減少は、システムの待ち時間の増加なしに達成することができる。
時刻T1で最初に表示されるアニメーションは、時刻T3まで表示するために受信装置2020によって生成される。時間T3は、送信装置2000がビデオソースからIPネットワークを介して映像データを送信し始めた直後の時間である。すなわち、ビデオソースからのビデオデータがIPネットワークを介して受信装置2020によって受信されると、このビデオデータ-ネイティブ1-は、受信装置2020によって使用され、ディスプレイ装置(図示せず)上に表示するためのディスプレイビデオを生成する。有利には、本開示の実施形態によれば、映像ソース-ネイティブ1-から受信された映像を使用して、受信側で生成されたフリーランニングクロックRXを使用してディスプレイ映像を生成する。
このように、ネイティブ1ビデオは、送信装置2000のビデオクロックが受信側で再構成される前でも表示することができる。本開示の図7と比較すると、例えば、本開示によれば、送信デバイスのビデオクロックが受信側で再構成される前に不安定な期間がないように、フリーランニングクロックRXを使用して、ネイティブ1ビデオが表示される。すなわち、受信機側で生成されたビデオクロックは安定したクロックであるため、送信装置2000のビデオクロックが受信機側で再構成される前のネイティブ1ビデオの表示に不安定性はない。また、本開示の図9に示す例と比較すると、フレームバッファを使用する必要はない。そのため、ビデオソースの起動に続くビデオソースのネイティブ1ビデオを提供するときの中断レベルの減少は、システムの待ち時間の増加なしに達成することができる。
【0130】
生成部3004が受信側でフリーランニングビデオクロックを生成する方法は、本開示の実施形態によれば特に制限されないことが理解される。この技術分野で使用される任意の適切な方法を使用して、フリーランニングビデオクロック(映像データを表示するためのタイミング信号の一例である)を生成することができる。本開示は、この点において特に限定されない。
【0131】
したがって、受信機側のフリーランニングクロックRXを使用するネイティブ1ビデオデータは、T3からT4のディスプレイビデオを生成するために使用される。
【0132】
時刻T4において、受信機は、受信機側のビデオクロックの半分のロックを、送信機のビデオクロックで達成する(送信機のビデオクロックの周波数でロックする)。これにより、送信側装置2000のビデオクロックを受信側で使用して、表示用のディスプレイビデオを生成することができる。したがって、時刻T4において、受信装置2020は、送信装置2000の再構成されたビデオクロック(第2のタイミング信号)であるPTP(ネイティブ1)を使用して、表示用のディスプレイビデオを生成する(IPネットワーク上で受信されるネイティブ1ビデオデータを使用する)。
【0133】
次に、時刻T5において、送信装置2000のビデオクロックとの完全なロックが達成される(送信装置のビデオクロックの周波数と位相の両方に対するロックである)。したがって、受信装置2020のビデオクロックは、送信装置2000のビデオクロック(例えば、第3のタイミング信号)と完全に同期される。このように、映像は、再構成されたビデオクロックを使用して、送信装置のフレームレート(例えば、第1のフレームレート)で表示することができる。
【0134】
小さな視覚的なグリッチ(乱れ)は、ディスプレイビデオにおける時間T4およびT5の直後に見られ、(受信装置2020によって)ディスプレイビデオを生成するために使用されるディスプレイクロックが、送信装置2000のディスプレイクロックに訂正される。それにもかかわらず、本開示の実施形態に従って受信側でフリーランニングクロックRXを使用すると、最初の画像データを使用して、送信デバイス2000から任意の画像データが受信される前でも、受信デバイス2020によってディスプレイビデオ(表示用の映像データ)を生成することができる。さらに、IPネットワークを介して送信装置から受信された映像データは、T3とT4との間の安定性を高めて(すなわち、映像データが受信された直後から、送信装置2000のビデオクロックタイミング信号によるロックが達成される前までの間でさえ)表示することができる。
このように、本開示の実施形態は、ビデオ転送におけるサブフレーム待ち時間を可能にし(これは、ビデオソースのビデオクロックが、示される新しいビデオソースごとに受信側で再構成されるためである)、同時に、受信デバイス2020によって新しいビデオクロックが再構成される期間中のモニタ上のブラックアウト期間を防止する。これにより、レスポンシブな低遅延システムが実現し、新しいビデオソースをオンに切り替えたときのユーザ体験が大幅に向上する。
このように、本開示の実施形態は、ビデオ転送におけるサブフレーム待ち時間を可能にし(これは、ビデオソースのビデオクロックが、示される新しいビデオソースごとに受信側で再構成されるためである)、同時に、受信デバイス2020によって新しいビデオクロックが再構成される期間中のモニタ上のブラックアウト期間を防止する。これにより、レスポンシブな低遅延システムが実現し、新しいビデオソースをオンに切り替えたときのユーザ体験が大幅に向上する。
【0135】
同様に、受信側でローカルに生成されたフリーランニングクロックを使用して、中断を低減し、ビデオ映像が送信装置によってネットワーク上で2つの品質で同時にストリーミングされるシステム(すなわち、同時にIPネットワークを介して受信装置2002によって複数のビデオストリームを受信することができるシステム)において、ビデオソースのスタートアップ時に応答性の低遅延のビデオを提供することができる。
【0136】
ここで、本開示の図17および図18に示されている例を考えてみよう。図17に示されているシステム(本開示の図15を参照して説明したシステム構成に類似する)は、送信側に単一の送信機2000が提供され、ネットワークの受信側に単一の受信装置2020が提供される。しかしながら、この例では、受信装置2020は、同時に、IPネットワーク上で少なくとも2つのビデオフィードを受信することが可能である。具体的には、この例では、ネイティブビデオフィードは4Kビデオフィードに対応し、プロキシビデオフィードはHDビデオフィードに対応する(例えば、2つのビデオフィードは受信機のデマルチプレクサとデコーダによって分離される)。
より一般的には、ネイティブビデオフィードは、超低レイテンシディスプレイを意図し、ロックされたビデオクロック(受信装置2020と送信装置2000の間)を必要とする一方、プロキシビデオフィードは、ネイティブビデオフィードによって表示されるのと同じフッテージの帯域幅最適化バージョンである。最適化された帯域幅は、ネイティブのビデオフィードよりもわずかに高い待ち時間を犠牲にするが、送信装置2000と受信装置2020の間に表示のためのロックされたクロックを必要としない。
より一般的には、ネイティブビデオフィードは、超低レイテンシディスプレイを意図し、ロックされたビデオクロック(受信装置2020と送信装置2000の間)を必要とする一方、プロキシビデオフィードは、ネイティブビデオフィードによって表示されるのと同じフッテージの帯域幅最適化バージョンである。最適化された帯域幅は、ネイティブのビデオフィードよりもわずかに高い待ち時間を犠牲にするが、送信装置2000と受信装置2020の間に表示のためのロックされたクロックを必要としない。
【0137】
IPネットワークを介して受信されたプロキシビデオフィードは、特定の実施例において、送信装置からネイティブビデオフィードが受信される前であっても、受信装置によって表示される初期画像データとして使用することができる。このように、この例では、装置3000の取得部3002は、初期画像データ(プロキシ動画フィード)を取得する。
【0138】
次に、本開示の図18に、本開示の実施形態に従ってビデオソースを起動する場合のタイミングチャートの例を示す。このタイミングチャートは、本開示の図17に示されるシステムにおいてビデオソースがオンにされたときに見られるようなタイミングチャートに対応してもよい。
【0139】
タイミングチャートは、時間送信ON (映像ソースおよび/または送信装置2000からの信号が、映像ソースがユーザによってスイッチオンされたことを示す場合)で開始する。この時点より前には、IPネットワークを介してデータは受信されず、ディスプレイ画面に表示するためのデータは生成されない。これは、図18のIPストリーミング部分3200およびディスプレイビデオ部分３２０２で見ることができる。
【0140】
TX ON時に、本開示の実施形態の受信装置2020は、受信側にフリーランニングビデオクロックRXを生成する。
【0141】
次に、時刻T1において、本開示の図17の送信装置2000は、IPネットワーク上でプロキシビデオフィード-プロキシ1を送信し始める。本開示の図17を参照して説明したように、プロキシビデオフィードは、表示のためにロックされたクロックを必要としない帯域幅最適化ビデオフィードである。このように、送信装置2000は、ビデオソースの起動に続いて、短時間でプロキシビデオフィード-プロキシ1を、IPネットワークを介して送信することができる。ネイティブビデオフィード-ネイティブ1とは対照的に、送信装置2000自体は、プロキシビデオデータ-プロキシ1を送信するために安定したビデオクロックを必要としない。
このように、送信装置2000は、ビデオソースのブートアップの直後にビデオソースの安定クロックを認識することができず、従って、IPネットワークを介してネイティブビデオストリームを送ることができないとしても、送信装置は、ビデオソースのブートアップの後のはるかに早い段階で、プロキシビデオフィード-プロキシ1を、IPネットワークを介して送ることができる。
このように、送信装置2000は、ビデオソースのブートアップの直後にビデオソースの安定クロックを認識することができず、従って、IPネットワークを介してネイティブビデオストリームを送ることができないとしても、送信装置は、ビデオソースのブートアップの後のはるかに早い段階で、プロキシビデオフィード-プロキシ1を、IPネットワークを介して送ることができる。
【0142】
さらに、時刻T1 (受信装置2020がプロキシビデオフィードを受信した場合)において、受信側で生成されたフリーランニングクロックRXを用いて、受信装置2020が表示用ビデオ(図示せず、表示用ビデオデータ)を生成することができる。このように、受信装置2020は、ビデオソースの起動直後の時間T1において、ユーザに表示可能なビデオソースからのビデオを示すディスプレイビデオデータを生成することができる。そのため、ユーザは、ビデオソース(例えば、医療用内視鏡)からのビデオを、そのビデオソースの起動後に非常に速く見ることができる。
【0143】
T1の後、プロキシビデオフィードが表示されている間に、受信装置2020は、送信装置2000からネイティブビデオフィード-ネイティブ1を受信する。前述したように、ネイティブビデオフィード-ネイティブ1は、プロキシビデオフィードと同じ映像コンテンツ(例えば、ビデオソースからのシーンの同じビュー)を示すが、ビデオ特性(例えば、レイテンシが低い)は異なる。そのため、ネイティブビデオフィードが利用可能になると、ネイティブビデオフィード-ネイティブ1がユーザに表示されることが望まれる。しかし、先に説明したように、ネイティブビデオフィードには表示用のロックされたクロックが必要である。
【0144】
したがって、典型的には、ネイティブビデオフィードは、受信装置2020によって送信装置2000のビデオクロックとのロックが達成されるまで、ユーザへの混乱なしには表示できないことが理解される。
【0145】
有利には、本開示の実施形態によれば、受信装置2020は、送信装置から取得されたネイティブビデオフィードを直ちに表示するために(すなわち、送信装置2000のビデオクロックによるロックが達成される前でさえ)、受信装置側でローカルに生成されたフリーランニングビデオクロックRXを(例えば、本開示の図17(または生成部3004)を参照して図示されたように、受信装置2020によって)使用することができる。したがって、時刻T3において、受信装置2020は、受信されたネイティブ1ビデオを、受信装置側で生成されたフリーランニングビデオクロックと共に使用して、表示デバイス(図示せず)上に表示するためのディスプレイビデオを生成する。
【0146】
ネイティブビデオフィードが受信装置2002によって表示されると、送信装置2000は、プロキシビデオフィードの送信を停止する。ただし、IPネットワークを介したネイティブビデオフィードのストリーミングの開始とIPネットワークを介したプロキシビデオフィードのストリーミングの終了の間にオーバーラップが存在するため、ビデオソース(ネイティブ1)からのネイティブビデオフィードの表示では中断は発生しない。したがって、ユーザは、ディスプレイ上のブラックアウトまたは中断のかなりの期間を経験しない。
【0147】
この例では、受信装置2020は、時刻T4まで、受信装置2020によって生成されたフリーランニングビデオクロックRXを使用して、送信装置2000から受信されたネイティブビデオフィードと共に、ディスプレイビデオを生成し続ける。T4によって示される時間は、受信装置2020が、送信装置2000のビデオクロックとの周波数ロックを実際に達成した時間である。したがって、この段階で、受信装置2020は、(送信装置2000のビデオクロックから再構築される)この新しいビデオクロックを使用するように切り替えて、ディスプレイビデオを生成することができる(例えば、機器3000の生成部3006を使用する)。したがって、時刻T4では、受信装置が使用するビデオクロックがPTP(ネイティブ1)に切り替わる。
【0148】
次に、時刻T5において、送信装置2000のビデオクロックとの完全なロックが達成される。受信装置2000が使用するビデオクロックが、送信装置2000のビデオクロック(T5後のディスプレイビデオの黒くなった部分で示される)でロックされたビデオクロックに補正するため、小さな視覚障害(グリッチ)が存在する。しかしながら、この小さな補正が一旦行われると、受信装置2020のビデオクロックは、送信装置2000のビデオクロックと完全に同期される。
【0149】
したがって、本開示の実施形態は、本開示の図17および図18の例を参照して説明した方法では、ビデオソースからのビデオをユーザに表示することができる前のビデオソースの起動後の時間を大幅に短縮することができる。これにより、映像ソース起動時のシステムの応答性と操作性が向上する。さらに、受信機によって生成されたフリーランニングビデオクロックRXを使用することにより(すなわち、受信機側でローカルに)、低遅延ビデオを、妨害レベルを低減した状態で、ユーザに初期段階で表示することができる。実際には、受信装置2020のビデオクロックが送信装置2000と同期する前でも、安定した低レイテンシビデオをユーザに表示することができる。
従って、応答性の低いレイテンシシステムを達成することができ、これは、新しいビデオソースをスイッチオンする際のユーザ体験を大幅に向上させる。
従って、応答性の低いレイテンシシステムを達成することができ、これは、新しいビデオソースをスイッチオンする際のユーザ体験を大幅に向上させる。
【0150】
さて、本開示の図18を参照して説明したように、初期画像データ(すなわち、装置3200によって取得されたアニメーションまたはプロキシ映像データネイティブ映像データへの切り替え時に、多数の視覚的なグリッチ(例えば、黒い画面)が経験され得る。さらに、受信装置2020によって使用されるビデオクロックの変更または修正が行われるたびに、多数の視覚的なグリッチ(例えば、黒い画面)がディスプレイビデオ(すなわち、表示デバイス上に表示されるビデオ)に経験され得る。すなわち、ビデオクロックの変化は、この新しいクロックに再同期するためにモニタ(または他の表示デバイス)も必要とするので、ビデオクロックの変化は、常に、画面上に(短い)視覚的なグリッチを生じさせる。
【0151】
従って、本開示の実施形態によれば、装置3200(または受信装置2020)は、さらに、ネイティブビデオ信号が取得された後に所定の時間(所定時間と共に、いくつかの例では、イベントの発生の所定の時間(例えば、ビデオクロックの周波数ロック)に対応する)の第3の映像信号を表示する表示信号を生成するように構成される。つまり、ネイティブビデオフィードは、受信と同時に表示されるため(送信デバイスのビデオクロックが受信側で再構成される前であっても)、ネイティブビデオフィードを表示するために使用される受信デバイスのビデオクロックは、いくつかの小さな修正を受ける(これらの修正のたびに、表示ビデオに短いグリッチが生じる)。
ただし、ネイティブビデオが表示されるまでの時間を遅らせることで、ネイティブビデオフィードが表示されている間に発生する受信装置の映像クロックの補正数を減らすことができる(これによりグリッチの数を減らすことができる)。また、映像クロックに依存せずにプロキシのビデオフィードを表示できるため、ビデオソースからの映像を表示するためにプロキシのビデオフィードを利用することができる(受信側の映像クロックが送信側の映像クロックと同期している間)。
ただし、ネイティブビデオが表示されるまでの時間を遅らせることで、ネイティブビデオフィードが表示されている間に発生する受信装置の映像クロックの補正数を減らすことができる(これによりグリッチの数を減らすことができる)。また、映像クロックに依存せずにプロキシのビデオフィードを表示できるため、ビデオソースからの映像を表示するためにプロキシのビデオフィードを利用することができる(受信側の映像クロックが送信側の映像クロックと同期している間)。
【0152】
帯域幅が最適化されているプロキシビデオフィードは、超低レイテンシビデオフィード(例えば、ネイティブビデオフィード)ではない。従って、超低遅延ビデオが必要とされる状況では、ネイティブ映像フィードが受信されると直ちに表示されることが有利であり得る(本開示の図18に記載されているように)。一方、ある状況では、ビデオソースからのビデオの一定のビュー(視覚的な不具合なし)は、これらの状況では、ビデオクロックが同期されるまで、ネイティブビデオフィードの表示を所定の時間(例えば、構成フェーズでユーザが選択した時間)遅延させることができる方がより有利である場合がある。
【0153】
この特徴は、本開示の図19および図20を参照して、より詳細に説明される。本開示の図19は、本開示の実施形態に従ってビデオソースを起動するときのタイミングチャートの一例を示す。このタイミングチャートは、本開示の図17のシステムにおいてビデオソースをオンにするときに経験されることがあるタイミングチャートの例である。しかし、本開示の図19とは対照的に、ネイティブビデオフィードの表示は、受信装置2020によって取得された後、所定の時間(例えば、装置3000の生成部3006によって)遅延される。
【0154】
タイムチャートは、ビデオソースがオンになっている時間であるタイムTX ONで始まる。この段階で、受信装置は受信側でフリーランニングビデオクロックRXを生成する。時刻T1において、受信装置は、送信装置2000からプロキシ1ビデオフィードを受信し、プロキシ1ビデオフィードを使用して、ディスプレイビデオを生成する。したがって、ビデオソースからのプロキシ1ビデオフィードは、ディスプレイ装置(図示せず)上でユーザに表示される。
【0155】
時刻T3の少し前に、ネイティブ1ビデオフィードが受信装置2020によって取得される。したがって、プロキシ1ビデオフィードとネイティブ1ビデオフィードの両方が、送信装置2000と受信装置2020によって同時にストリーミングされている。次に、時刻T3において、受信装置2020は、送信装置2000から受信されているネイティブ1ビデオフィードのパケットを使用して、送信装置2000のビデオクロックの再構築を開始することができる。しかしながら、本開示の図18とは対照的に、受信装置は、ディスプレイビデオを生成するためにプロキシ1ビデオフィードを引き続き使用する。したがって、ネイティブ1ビデオフィードが取得された後でも、プロキシ1ビデオフィードがユーザに表示される。
【0156】
そして、時刻T4において、受信装置2020は、送信装置2000の映像クロックとの周波数ロックを実現する。この例では、受信装置は、送信装置2000とのハーフロックタイミング(周波数ロック)が達成された場合にのみ、ネイティブ1ビデオフィードに切り替える。したがって、時間T4を過ぎると、ユーザは、レイテンシが非常に小さいネイティブ1ビデオフィードをディスプレイに表示する。
【0157】
時刻T5で、受信装置のビデオクロックが送信装置のビデオクロックと完全に同期する。小さな視覚障害は、ディスプレイビデオを生成するために使用される受信装置のビデオクロックとして見なされ、送信装置のビデオクロックのタイミングに補正される。
【0158】
しかし、ネイティブ1のビデオフィードの表示は、受信装置2020のビデオクロックが送信装置2000のビデオクロックとの半分のロック(周波数ロック)を達成するまで遅延されるので、受信装置2020によって生成されたディスプレイビデオで見るグリッチの数は減少する。すなわち、本開示の図19に示されるように、ディスプレイビデオには、2つの視覚的なグリッチのみが存在する。これは、本開示の図18に示されるように、受信装置2020によって生成されるディスプレイビデオに示される3つの視覚的なグリッチとは対照的である。
【0159】
したがって、本開示の図19の例は、送信装置2000のビデオクロックによるハーフロック/周波数ロックが受信装置2020によって達成されるまでの、ネイティブビデオフィードの表示の遅延の例である。
【0160】
本開示の実施形態に従ってビデオソースを起動するときのタイミングチャートのさらなる一例が、本開示の図20に示されている。このタイミングチャートは、本開示の図17のシステムにおいてビデオソースをオンにするときに経験されることがあるタイミングチャートの例である。しかしながら、本開示の図19の例とは対照的に、受信装置2020は、受信装置2020のビデオクロックが送信装置2000のビデオクロックと完全に同期化されるまで(すなわち、周波数および位相の両方)、ネイティブ1ビデオフィードの使用を遅らせてディスプレイビデオを生成するように構成される。これは、本開示の図20の時刻T5において達成される。
この時まで、受信装置2000は、（ディスプレイビデオ(図示せず)をユーザに表示するための映像である)ディスプレイビデオを生成するために、プロキシディスプレイフィードを使用し続ける。このように、プロキシビデオフィードは、T1からT4までの期間(受信機側で生成されたフリーランニングビデオクロックを使用)およびT4からT5までの期間(PTP(ネイティブ1)ビデオクロックを使用)に、受信機側で送信デバイス2000のビデオクロックとの完全なロックが達成されるまで表示される。この段階でのみ、ネイティブ1ビデオフィードがユーザに表示される。従って、視覚障害(グリッチ)の数は、受信装置2020が時間T5においてプロキシビデオフィードからネイティブ1ビデオフィードに切り替わるときに生じる単一の妨害のみにさらに減少する。
この時まで、受信装置2000は、（ディスプレイビデオ(図示せず)をユーザに表示するための映像である)ディスプレイビデオを生成するために、プロキシディスプレイフィードを使用し続ける。このように、プロキシビデオフィードは、T1からT4までの期間(受信機側で生成されたフリーランニングビデオクロックを使用)およびT4からT5までの期間(PTP(ネイティブ1)ビデオクロックを使用)に、受信機側で送信デバイス2000のビデオクロックとの完全なロックが達成されるまで表示される。この段階でのみ、ネイティブ1ビデオフィードがユーザに表示される。従って、視覚障害(グリッチ)の数は、受信装置2020が時間T5においてプロキシビデオフィードからネイティブ1ビデオフィードに切り替わるときに生じる単一の妨害のみにさらに減少する。
【0161】
従って、初期画像データからネイティブ映像データへの切り替え時に経験される視覚的不具合の数は減少する。これにより、新しい映像ソースを起動したときに発生する中断がさらに軽減されると同時に、新しい映像ソースの起動後に応答性の低いレイテンシのビデオが確実に表示されるようになる。したがって、本開示の図20の例は、受信装置2020のビデオクロックが送信装置2000のビデオクロックと完全に同期するまでの所定の時間のネイティブビデオの遅延の一例である。
【0162】
所定の遅延はこれらの例に限定されないことが理解される。また、所定の時間遅延は、絶対時間または絶対フレーム数によって設定することもできる。さらに、実施例では、所定の時間は、ユーザから受け取った入力または指示に従って適応可能であってもよい。これにより、ユーザは、ネイティブビデオフィードの迅速な表示と視覚的な不具合の量との間の最適なバランスが達成されるように、システムを構成することができる。他の例では、所定の時間遅延は、映像ソースおよびディスプレイデバイスの1つ以上の特性(例えば、これらのデバイスの起動時間などに関連するプロパティ)に従って、機器3000によって適合可能であってもよい。
【0163】
したがって、より一般的には、本開示の実施形態に従って、ネットワーク上に映像データを配信する方法が提供される。本開示の図21に、ネットワーク上で映像データを配信する方法の一例を示す。いくつかの例では、本開示の図15および図17に示されるように、本方法は、受信側の装置2020のような装置によって実行されてもよい。この方法は、機器3000によって、または本開示の図28を参照して説明したような装置によって、例えば実行することができる。
【0164】
この方法はステップS2100を開始し、ステップS2110に移行する。
【0165】
ステップS2110では、ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得するステップを含み、映像データは、第1フレームレートを有するネイティブ映像データを含み、信号は、ビデオソースがスイッチオンされたことを示す。
【0166】
この方法はステップS2120に進む。
【0167】
ステップS2120において、当該方法は、ビデオソースからの信号が取得されたときに、フリーランニングタイミング信号を生成するステップを含む。
【0168】
この方法はステップS2130に進む。
【0169】
ステップS2130において、この方法は、生成されたフリーランニングタイミング信号を用いて第2のフレームレートで表示される第1の映像信号を生成するステップを含み、表示される第1の映像信号は、ネイティブ映像データがビデオソースから取得される前に、表示のための初期画像データを含む。
【0170】
この方法は次いでステップS2140に進む。
【0171】
次に、ステップS2140において、本方法は、第1のインターフェースを介してビデオソースからネイティブ映像データを取得することを含む。
この方法は次いでステップS2150に進む。
この方法は次いでステップS2150に進む。
【0172】
ステップS2150において、本方法は、生成されたフリーランニングタイミング信号を用いて、第2のフレームレートで表示される第2の映像信号を生成するステップを含み、表示される第2の映像信号は、ビデオソースから取得されたネイティブ映像データを含む。
【0173】
この方法は次いでステップS2160に進む。
【0174】
ステップS2160において、本方法は、第1のビデオソースからの信号が取得された後に第2のタイミング信号を生成するステップを含み、第2タイミング信号は、受信装置のフレームレートが第1のビデオソースの第1フレームレートと同期するようにビデオソースのタイミング信号とロックするように調整されている。
【0175】
この方法は次いでステップS2170に進む。
【0176】
ステップS2170において、本方法は、第2のタイミング信号を用いて第1のフレームレートで表示されるべき第3の映像信号を生成するステップを含み、表示される第3の映像信号は、ビデオソースから取得されたネイティブ映像データを含む。
【0177】
次いで、ステップS2180に進み、終了する。
【0178】
もちろん、本開示によって提供されるようにネットワーク上に映像データを配信する方法は、本開示の図21に示される特定の例に特に限定されないことが理解される。
【0179】
すなわち、本開示の図21に示されているいくつかのステップは、(本開示の図21に示されているようである)特定のシーケンスで実行されてもよく、あるいは、代わりに、互いに並列して実行されてもよい。第2のタイミングを生成するステップS2160は、ネイティブ映像データが取得されると直ちに、例えば第2の映像信号が生成されて表示される前(または同時)であってもよい。
【0180】
本開示の実施形態に従って、ネットワーク上に映像データを配信する方法を通じて、ネットワーク上に映像データを配信するためのシステムにおいて、ビデオソースの起動または送信装置に続いて、ビデオの応答性の高い低遅延表示を提供することが可能である。
【0181】
（第2実施形態(フリーランニングRX + TX)）
本開示の第2の実施形態において、本発明者らは、送信機側のフリーランニングクロックと結合された受信装置上のフリーランニングクロックの使用は、ビデオソース(例えば、医用画像装置)のスタートアップ(すなわち起動)後に表示されるビデオにおける乱れをさらに低減し、低遅延を確実に維持することができるという、有利な技術的効果をもたらすことを認識した。従って、本開示の第2の実施形態は、ネットワーク上でビデオデータを配信するためのシステムにおいて、ビデオソースの開始または送信装置に続く、ビデオの応答性のある低遅延表示を提供する。
本開示の第2の実施形態において、本発明者らは、送信機側のフリーランニングクロックと結合された受信装置上のフリーランニングクロックの使用は、ビデオソース(例えば、医用画像装置)のスタートアップ(すなわち起動)後に表示されるビデオにおける乱れをさらに低減し、低遅延を確実に維持することができるという、有利な技術的効果をもたらすことを認識した。従って、本開示の第2の実施形態は、ネットワーク上でビデオデータを配信するためのシステムにおいて、ビデオソースの開始または送信装置に続く、ビデオの応答性のある低遅延表示を提供する。
【0182】
具体的には、本開示の第2の実施形態では、送信側でローカルに生成されるフリーランニングビデオクロックが、ビデオソースのスタートアップ(起動)後の短時間の間、送信装置によって使用される。このステップの目的は、ビデオソースを起動した直後に表示するために、ビデオデータをネットワーク経由で(例えば、IPストリーミング)配信することである。送信側でフリーランニングクロックを使用している間、さらに1フレームのレイテンシが発生する。ただし、これはビデオソースの初回起動後、短時間の間にのみ発生する。
【0183】
その後、短時間で、受信側でフリーランニングビデオクロックが確立され、送信側装置で同じフリーランニングビデオクロックの代わりにビデオソースの入力ビデオクロックが使用される。つまり、ビデオソースのビデオクロックが送信側で再構成されるとすぐに、送信側装置のビデオクロックがフリーランニングビデオクロックからビデオソースの入力ビデオクロックに変更される。したがって、受信機側のフリーランニングクロックの使用によって生じる追加のレイテンシは、ビデオソースの最初の起動後に、送信デバイスが撮像装置の安定したビデオクロックを決定できる前の期間にのみ制限される。
【0184】
換言すれば、本開示の第1の実施形態(本開示の図18を参照して説明した例)とは対照的に、送信装置は、ビデオソースの初期起動後(送信装置がビデオソースの安定クロックを認識する前であっても)、前の時点で、受信装置にネイティブビデオフィードを送信することができる。実際、本開示の図18の例では、送信装置2000は、ビデオソースの安定したクロックが再構成されている間に、ネットワークを介してプロキシビデオフィードを最初に送信した。次に、送信装置2000によってビデオソースの安定クロックが再構成されると、ネイティブビデオフィードは、再構成されたビデオクロックを使用してネットワーク上に送信された。
しかし、本開示の第2の実施形態では、ネイティブビデオフィードは、送信側で安定したクロックが再構成される前であっても(送信側でローカルに生成されたフリーランニングクロックを使用して)、送信側のデバイスによってネットワークを介して送信される。次に、ビデオソースのビデオクロックが再構成されると、送信デバイスは、ビデオソースの安定したビデオクロックを使用してネイティブビデオフィードを送信するように進む。
しかし、本開示の第2の実施形態では、ネイティブビデオフィードは、送信側で安定したクロックが再構成される前であっても(送信側でローカルに生成されたフリーランニングクロックを使用して)、送信側のデバイスによってネットワークを介して送信される。次に、ビデオソースのビデオクロックが再構成されると、送信デバイスは、ビデオソースの安定したビデオクロックを使用してネイティブビデオフィードを送信するように進む。
【0185】
従って、本開示の第2の実施形態は、ビデオソースの最初の起動に続いて、受信装置へのネイティブビデオフィードの提供を可能な限り早い時期に優先する。ネイティブビデオフィードは、超低レイテンシを意図した高品質のフィードである。このように、低遅延環境が得られ、ビデオ配信システム内で可能な限り速やかに維持されることを保証しながら、妨害なしで、高品質ビデオをディスプレイ用に提供することができる。
【0186】
したがって、本開示の第2の実施形態によれば、ネットワーク上に映像データを配信するシステムの受信装置2020用の機器3100が提供される。機器3100の構成例が、本開示の図22に示されている。機器3100は、取得部3102と、生成部3104と、生成部3106とを備える。
【0187】
取得部3102は、まず、ネットワークの第1インターフェース上に映像データを出力するように構成されたビデオソースから信号を取得するように構成され、映像データは、第1フレームレートのネイティブ映像データを含み、この信号は、ビデオソースがオンになったことを示す。
【0188】
そして、取得部3102は、映像ソースから第1フリーランニングタイミング信号を取得するようにさらに構成される。
【0189】
従って、機器3100の生成部3104は、ビデオソースから受信した第1のフリーランニングタイミング信号を用いて、第2のフレームレートで表示する第1の映像信号を生成するように構成され、ネイティブ映像データがビデオソースから取得される前に、表示される第1の映像信号は、表示用の初期画像データを含む。
【0190】
また、取得部3102は、第1のインターフェースを介してビデオソースから第1のネイティブ映像データを取得するように構成され、ビデオソースからの第1ネイティブ映像データは、ビデオソースによってフレームバッファの対象となっている。
【0191】
次に、生成部3104は、ビデオソースから受信されたフリーランニングタイミング信号を使用して、第2のフレームレートで表示される第2の映像信号を生成するように構成され、表示される第2の映像信号は、ビデオソースから取得された第1のネイティブ映像データを含む。
【0192】
そして、取得部3102は、第1のインターフェースを介してビデオソースから第2のネイティブ映像データを取得し、ビデオソースからの第2のネイティブ映像データは、ビデオソースによるフレームバッファの対象外とする。
【0193】
この段階で、機器3100の生成部3106は、ビデオソースからの信号が受信されるとき、第2の自走タイミング信号を生成するように構成される。
【0194】
したがって、生成部3104は、生成された第2のフリーランニングタイミング信号を使用して第3のフレームレートで表示される第3の映像信号を生成し、表示される第3の映像信号は、ビデオソースから取得された第2のネイティブ映像データを含む。
【0195】
機器3100の生成部3106は、ビデオソースからの信号が受信された後で第2のタイミング信号を生成するように構成され、第2のタイミング信号は、受信機のフレームレートがビデオソースの第1のフレームレートと同期するように、ビデオソースのタイミング信号とロックするように調整される。最後に、生成部3104は、第2のタイミング信号を用いて、第1のフレームレートで表示する第4の映像信号を生成し、表示される第4の映像信号は、ビデオソースから受信した第2のネイティブ映像データを含む。
【0196】
したがって、このように、ネットワーク上に映像データを配信するシステムの受信装置用の機器3100は、ネットワーク上に映像データを配信するためのシステムにおけるビデオソースの起動に続いて、ビデオの応答性の低遅延表示を提供する。
【0197】
次に、本開示の図23に、ネットワーク上にデータを配信するためのシステムのビデオソース(送信機側デバイス)のための機器4000の一例を示す。機器4000は、送信部4002と、生成部4004と、切替部4006とを備える。
【0198】
本開示の実施形態によれば、送信部4002は、ビデオソースがオンに切り換えられたことを示す信号を受信装置に送信するように構成される。そして、生成部4004は、第1のフリーランニングタイミング信号を生成するように構成されている。
【0199】
さらに、送信部4002は、第1のフリーランニングタイミング信号(生成部4004により生成されたもの)を受信装置(例えば、図22を参照して説明したような機器3100のような機器を含む受信装置)に送信するように構成される。
【0200】
そして、送信部4002は、ビデオソースのネイティブ映像データを受信装置に送信するように構成され、ネイティブ映像データは、フレームバッファの対象となり、第1のフリーランニングタイミング信号によって確立される第1のフレームレートを有する。
【0201】
切替部4006は、ビデオソースの入力タイミング信号に切り換えるように構成される。
【0202】
最後に、機器4000の送信部4004は、ネイティブ映像データを受信装置に送信するように構成され、ネイティブ映像データはフレームバッファの対象ではなく、ビデオソースの入力タイミング信号によって確立された第2のフレームレートを有する。
【0203】
したがって、このように、ネットワーク上にビデオデータを配信するシステムの送信装置用の機器4000は、ネットワーク上にビデオデータを配信するためのシステムにおけるビデオソースの起動に続いて、ビデオの応答性の低遅延表示を提供する。
【0204】
本開示の図24および図25は、ネットワークを介したビデオデータの配信に対する機器3100(受信機側用)および機器4000(送信機側用)の応用例を例示する。したがって、機器3100および機器4000に関するさらなる詳細は、本開示の図24および図25の例を参照して理解される。
【0205】
ここで、本開示の図24を考える。ここで、本開示の実施形態に従って、ネットワーク上に映像データを配信するための例示的なシステムが示されている。
【0206】
この例示システムでは、送信装置2000と受信装置2020とが提供される。送信装置2000は、ビデオソース(図示せず)からビデオを受信するように構成される。そして、送信装置2000は、ビデオソースからの映像を、スイッチャを介してIPネットワーク(IPストリーミング)を介して受信装置2020に送信する。受信装置は、送信装置が送信したデータをIPネットワーク経由で取得し、表示用の映像(ディスプレイビデオ)を生成する。映像は、ディスプレイ画面(図示せず)上にユーザに表示されてもよい。
【0207】
前述したように、異なるビデオソース(撮像装置)は、例えば、ビデオソースのビデオクロックにある量のジッタがある初期ブートアップ後の異なる時間期間を含む、異なるビデオ特性を有することが理解される。実際、この期間(ビデオソースの起動に続いて)は、送信装置2000は、ビデオソースの安定クロックを認識することができず、受信装置2020にIPストリーミングデータ(例えば、ビデオデータ)を送信することができない。つまり、一般に、受信装置2020が表示するためのビデオデータを生成することができない間、ビデオソースがオンになる不安定な期間が存在する。電源のオン/オフが頻繁に操作される装置(例えば、手術間の医用ビデオソース)では、乱れの量が非常に大きくなる可能性がある。
【0208】
しかしながら、本開示の本実施形態によれば、送信装置2000(または機器4000)は、ビデオソースの安定したビデオクロックが確立され再構築される前であっても、受信装置2020に映像データを送信するために使用できるフリーランニングビデオクロックを生成する。さらに、受信装置2020(または機器3100)は、送信側のビデオクロックが送信側で再構成される前でも、受信側でローカルにフリーランニングクロックを生成し、送信装置から(ネットワークを介して)受信されたデータを使用して、ディスプレイビデオを生成するために使用することができる。
【0209】
図25は、本開示の実施形態に従ってビデオソースを起動するときのタイミングチャートの例を示す。図25に示されているタイミングチャートは、本開示の図24のシステムにおけるビデオソースの最初の起動に続くタイミングチャートの例である。
【0210】
本開示の図25の例示的なタイミングチャートは、ここでも、IPストリーミング部分3200、表示映像部分3202、およびビデオクロック部分3204の3つの区別される部分に分離される。タイミングチャートのこれら3つの部分は同じ時間軸を共有する。時間は、図25の例における水平軸上の左から右へ増加する。タイミングチャートのIPストリーミング部分3200は、ビデオソースの最初のブートアップ(TX ON（TXオン）時に発生する)に続いて、任意の時点において、本開示の図24のIPネットワーク上でストリーミングされているデータを示す。表示映像部分3202は、ビデオソースの最初の起動に続いて、任意の時点で受信装置2020によって表示のために生成されている映像データを示す。
最後に、ビデオクロック部分3204は、ビデオソースの最初の起動に続いて、いつでもIPネットワーク上でビデオデータをストリーミングするための受信装置2020によって使用されているビデオクロックを示す。
最後に、ビデオクロック部分3204は、ビデオソースの最初の起動に続いて、いつでもIPネットワーク上でビデオデータをストリーミングするための受信装置2020によって使用されているビデオクロックを示す。
【0211】
このタイミングチャートの時間は、TX ONで始まる。これは、ビデオソースがユーザによって使用されるために最初に起動されたときである。
【0212】
この段階で、送信装置2000は、ビデオソースが開始されたという信号を受信する。ただし、ビデオソースのビデオクロックは不安定であり、送信装置で再構築することはできない。したがって、送信装置2000は、送信側にローカルにフリーランニングクロックTX1を生成する。この送信クロックTX1は、受信装置に供給される(すなわち、送信装置がフリーランニングタイミングクロックTX1のタイミングを受信装置に信号送信する)。フリーランニングクロック(例えばタイミング信号)は、機器4000の生成部4004によって生成され、機器4000の送信部4002によって受信装置に送信されてもよい。
【0213】
次に、T3の少し前に、送信装置2000は、ビデオソースからネイティブビデオフィード-ネイティブ1を受信する。時刻T3は、ビデオソースの安定したビデオクロックが送信装置2000によって再構成される前でさえある時間である。しかしながら、送信装置2000は、ネイティブビデオストリーム-ネイティブ1を、ネットワークを介して受信装置に送信するために、ローカルに生成されたフリーランニングビデオクロックTX1を使用する。したがって、T3で、受信装置2020は、送信装置2000から取得したネイティブビデオストリームを使用して、ユーザへの表示に使用すべきビデオを生成する(すなわち、ディスプレイビデオ)。
これは、例えば機器3100の生成部3104によって実行されてもよい。したがって、時刻T3(送信装置2000によってビデオソースのビデオクロックが再構成される前の時刻)においても、ビデオソースのネイティブビデオフィードをユーザに表示することができる。受信装置2020は、(送信装置2000によって)送信側でローカルに生成されたフリーランニングクロックTX1を使用して、表示用の映像を生成する。したがって、映像は、送信側でローカルに生成されたフリーランニングクロックTX1のフレームレート(第2のフレームレート)で表示される。これは、ビデオソースの安定したビデオクロックが送信デバイスによってまだ再構成されていないため、ビデオソースのネイティブフレームレート(第1のフレームレート)とは異なるフレームレートである。
これは、例えば機器3100の生成部3104によって実行されてもよい。したがって、時刻T3(送信装置2000によってビデオソースのビデオクロックが再構成される前の時刻)においても、ビデオソースのネイティブビデオフィードをユーザに表示することができる。受信装置2020は、(送信装置2000によって)送信側でローカルに生成されたフリーランニングクロックTX1を使用して、表示用の映像を生成する。したがって、映像は、送信側でローカルに生成されたフリーランニングクロックTX1のフレームレート(第2のフレームレート)で表示される。これは、ビデオソースの安定したビデオクロックが送信デバイスによってまだ再構成されていないため、ビデオソースのネイティブフレームレート(第1のフレームレート)とは異なるフレームレートである。
【0214】
いくつかの例では、(TX ON時のビデオソースの初期ブートに続く)T3の前の間、および、ネイティブビデオフィードが送信装置2000から受信される前に、受信装置2020は、送信装置2000から一度受信された映像データが表示されることをユーザに示すために、送信装置TX1のフリーランニングビデオクロックを使用して、初期画像データ(例えば、アニメーション)を表示することができる。このようにして、ユーザは、ビデオソースをブートアップし、ビデオソースからビデオを表示する要求が、システムによって実行されていることを理解することができる。初期画像データは、例えば、機器3100の生成部3106によって生成されてもよい。
【0215】
さらに、送信装置2000が、送信側でローカルに生成されたフリーランニングビデオクロックTX1を使用して、ネットワークを介してビデオソースのネイティブビデオフィードを送信する間、送信装置2000によって送信されるビデオは、ネットワークを介したビデオデータの送信にレイテンシのフレームを追加するフレームバッファを受けることが理解される。フレームバッファは、ビデオソースの最初の起動に続いて、ビデオソースのビデオクロックにおける不安定性(ジッタ)を考慮するために、送信装置2000によってフリーランニングビデオクロックTX1が使用されるときに必要とされる。
すなわち、フレームバッファは、送信装置が、ネットワークを介して受信装置2002に安定したビデオフィード(すなわち、ビデオソースのジッタによって生成される乱れのないビデオフィード)を提供するために、必要に応じてビデオソースから受信したネイティブビデオフィードのフレームをドロップまたは繰り返すことを可能にする。
すなわち、フレームバッファは、送信装置が、ネットワークを介して受信装置2002に安定したビデオフィード(すなわち、ビデオソースのジッタによって生成される乱れのないビデオフィード)を提供するために、必要に応じてビデオソースから受信したネイティブビデオフィードのフレームをドロップまたは繰り返すことを可能にする。
【0216】
しかしながら、送信装置2000によって使用されるフレームバッファは、(追加のレイテンシフレームの形式の)ビデオフィードに追加のレイテンシを導入する。このように、送信装置2000によるフリーランニングクロックTX1の使用は、ビデオソースの初期ブートアップに続いて早期に、ビデオソースのネイティブビデオフィードをユーザに表示することを可能にする一方で、フレームバッファによって導入される追加レイテンシまでの超低レイテンシで表示されない。この間、オプションで、映像がまだ超低遅延ではないことを示すメッセージがユーザに表示されてもよい。
【0217】
そして、送信装置2000は、T3～T4の間で、ビデオソースのビデオクロックとのロックを実現する。つまり、T3～T4の間(TX ONでのビデオソースの最初の起動後)に、送信デバイスはビデオソースの安定したビデオクロックを再構築できる。このとき、送信装置は、入力ビデオクロック(送信装置2000によって再構成されたビデオソースのビデオクロック)の使用に切り替わる。なお、フリーランニングビデオクロックTX1(例えば、生成部4004により生成されたもの)からビデオソース(図示せず)の入力ビデオクロック(またはタイミング信号)への切り替えは、例えば、本開示の機器4000の切替部4006により行ってもよい。
さらに、送信装置2000のビデオクロックがビデオソースのビデオクロックと同期しているので、ネットワークを介して受信装置2020に供給されているビデオを安定させるために、送信装置はフレームバッファを使用する必要がなくなる。このように、この時点(送信装置2000がビデオソースのビデオクロックを再構築する時点)で、送信装置2000はフレームバッファをオフに切り替える。従って、フレームバッファの使用によるユーザに表示されるビデオの待ち時間の増加は、送信装置2000がビデオソースのビデオクロックを再構成する前の短い時間に制限される。したがって、システムのレイテンシの増加に対する影響は非常に小さい。
さらに、送信装置2000のビデオクロックがビデオソースのビデオクロックと同期しているので、ネットワークを介して受信装置2020に供給されているビデオを安定させるために、送信装置はフレームバッファを使用する必要がなくなる。このように、この時点(送信装置2000がビデオソースのビデオクロックを再構築する時点)で、送信装置2000はフレームバッファをオフに切り替える。従って、フレームバッファの使用によるユーザに表示されるビデオの待ち時間の増加は、送信装置2000がビデオソースのビデオクロックを再構成する前の短い時間に制限される。したがって、システムのレイテンシの増加に対する影響は非常に小さい。
【0218】
さらに、送信装置2000がビデオソースのビデオクロック(タイミング信号)の使用に切り替わると、受信装置2020は、受信装置側(例えば受信装置2020内-または機器3000の生成部3106)で局所的に生成されたフリーランニングクロックRX(第2のフリーランニングタイミング信号)に切り替わる。このように、送信装置2000が、送信装置TX1のフリーランニングクロックから、ビデオソースと同期しているビデオクロック(ビデオソースの入力ビデオクロック)に変化しても、受信装置2020は、送信装置2000の新しいビデオクロックが受信装置2020によって再構成される前であっても、ネイティブビデオフィード-ネイティブ1を使用して、表示用ビデオ(すなわち、ディスプレイビデオ)を生成し続けることができる。
従って、ビデオソースからのネイティブビデオフィードは、乱れや混乱を生じさせることなく、ビデオソースの最初の起動に続く初期の時間に、超低遅延でユーザに表示することができる。次に、受信側でローカルに生成されたこのフリーランニングクロックRXを使用して、第3のフレームレートで映像が表示される。第3のフレームレートは、受信機側で生成されたフリーランニングクロックRXで表示された場合のビデオ信号のフレームレートである。これは、ビデオソースのフレームレートとは異なる(ビデオソースのビデオクロックが受信機側で再構成されていないため)。さらに、第2のフレームレートとは異なる場合がある(送信機側のTXで生成されるフリーランニングビデオクロックは、フリーランニングビデオクロックRXと同じでない場合があるため)。
従って、ビデオソースからのネイティブビデオフィードは、乱れや混乱を生じさせることなく、ビデオソースの最初の起動に続く初期の時間に、超低遅延でユーザに表示することができる。次に、受信側でローカルに生成されたこのフリーランニングクロックRXを使用して、第3のフレームレートで映像が表示される。第3のフレームレートは、受信機側で生成されたフリーランニングクロックRXで表示された場合のビデオ信号のフレームレートである。これは、ビデオソースのフレームレートとは異なる(ビデオソースのビデオクロックが受信機側で再構成されていないため)。さらに、第2のフレームレートとは異なる場合がある(送信機側のTXで生成されるフリーランニングビデオクロックは、フリーランニングビデオクロックRXと同じでない場合があるため)。
【0219】
実際、受信装置2020は、時間期間T4まで表示するための映像を生成するために、受信側でローカルに生成されたフリーランニングクロックRXを引き続き使用する。
【0220】
時刻T4において、受信装置2020は、送信装置2000のビデオクロックとのロックを達成する。すなわち、送信装置2000から(例えば)IPネットワークを介して受信されたデータパケットを使用して、受信装置2020は、受信側で送信装置2000のビデオクロックを再構築することができる。具体的には、時間T4は、受信機のビデオクロックの周波数が、送信装置2000によって使用されるビデオクロックと同期される時間である。したがって、時刻T4時点で、受信装置2020は、送信装置からの送信から取得したビデオクロックを使用して、ユーザに表示するビデオを生成するように切り替わる。
すなわち、時間T4の後、ビデオクロックPTP(ネイティブ1)は、送信装置2000によって使用されるビデオクロックであって、ビデオソース（すなわち、ビデオソースの入力ビデオクロック）から再構成され、ネットワークを介してデータを送信し、受信装置2020によってネイティブビデオフィードを使用して、ユーザに表示するためのビデオを生成する。これは、例えば機器3100の生成部3104によって実行されてもよい。
すなわち、時間T4の後、ビデオクロックPTP(ネイティブ1)は、送信装置2000によって使用されるビデオクロックであって、ビデオソース（すなわち、ビデオソースの入力ビデオクロック）から再構成され、ネットワークを介してデータを送信し、受信装置2020によってネイティブビデオフィードを使用して、ユーザに表示するためのビデオを生成する。これは、例えば機器3100の生成部3104によって実行されてもよい。
【0221】
そして、時刻T5において、受信装置2020は、送信装置2000のビデオクロックとの完全なロックを実現する(例えば、送信装置2000のビデオクロックの周波数と位相の再構成である)。このように、時刻T5において、受信装置2020のビデオクロックは、送信装置のビデオクロックとの完全同期を達成する。受信デバイスのビデオクロックが送信デバイスのビデオクロックに修正されると、小さな視覚障害(グリッチ)がビデオディスプレイで観測されることがある。それにもかかわらず、本開示の本実施形態によれば、ビデオソースのネイティブビデオフィードネイティブ1は、ビデオソースの最初の起動に続いて、早い時期にユーザに安定して表示されることが可能である。
さらに、超低遅延環境は、ビデオソースの最初の起動後(受信デバイスによって送信デバイスの最終ビデオクロックが受信側で再構成される前であっても)、非常に早い時点で確立される。
さらに、超低遅延環境は、ビデオソースの最初の起動後(受信デバイスによって送信デバイスの最終ビデオクロックが受信側で再構成される前であっても)、非常に早い時点で確立される。
【0222】
このようにして、本開示の第2実施形態の装置は、ネットワーク上に映像データを配信するためのシステムにおけるビデオソースの起動に続いて、ビデオの応答性の高い低遅延表示を提供する。
【0223】
したがって、より一般的には、本開示の実施形態に従って、ネットワーク上に映像データを配信するシステムの受信装置の方法が提供される。本開示の図26に、一例の方法が示されている。
【0224】
この方法はステップS2600で開始され、ステップS2610に移行する。
【0225】
ステップS2610では、ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得するステップを含み、この映像データは、第1のフレームレートを有するネイティブ映像データを含み、この信号は、ビデオソースがスイッチオンされたことを示す。
【0226】
次いで、ステップS2620において、本方法は、ビデオソースから第1のフリーランニングタイミング信号を取得するステップを含む。
【0227】
この方法は、ステップS2630において、ビデオソースから受信した第1のフリーランニングタイミング信号を用いて第2のフレームレートで表示される第1の映像信号を生成するステップを含み、表示すべき第1の映像信号は、ネイティブ映像データがビデオソースから取得される前に、表示するための初期画像データを含む。そして、方法はステップS2640に移行する。
【0228】
ステップS2640において、この方法は、第1のインターフェースを介してビデオソースから第1のネイティブ映像データを取得するステップを含み、ビデオソースからの第1のネイティブ映像データは、ビデオソースによってフレームバッファの対象となっている。
【0229】
ステップS2650において、本方法は、ビデオソースから受信したフリーランニングタイミング信号を用いて、第2のフレームレートで表示すべき第2の映像信号を生成するステップを含み、表示すべき第2の映像信号は、ビデオソースから取得した第1のネイティブ映像データを含む。
【0230】
次に、ステップS2660において、本方法は、第1のインターフェースを介してビデオソースから第2のネイティブ映像データを取得するステップを含み、ビデオソースからの第2のネイティブ映像データは、ビデオソースによってフレームバッファの対象となっていない。
【0231】
ステップS2670において、この方法は、ビデオソースからの信号が受信されたときに、第2のフリーランニングタイミング信号を生成するステップを含む。この方法は、次いでステップS2680に進む。
【0232】
ステップS2680において、本方法は、第3のフレームレートで表示される第3の映像信号を、生成された第2のフリーランニングタイミング信号を用いて生成するステップを含み、表示すべき第3の映像信号は、ビデオソースから取得された第2のネイティブ映像データを含む。
【0233】
ステップS2690は、ビデオソースからの信号が受信された後に第2のタイミング信号を生成するステップを含み、この第2のタイミング信号は、受信機のフレームレートがビデオソースの第1のフレームレートと同期するように、ビデオソースのタイミング信号とロックするように調整されている。
【0234】
最後に、ステップS2612は、第2のタイミング信号を用いて第1のフレームレートで表示すべき第4の映像信号を生成するステップを含み、表示すべき第4の映像信号は、ビデオソースから受信した第2のネイティブ映像データを含む。
【0235】
次いで、ステップS2615に進み、終了する。
【0236】
さらに、より一般的には、本開示の実施形態に従って、ネットワーク上にデータを配信するシステムの送信装置の一方法が提供される。この方法の一例は、本開示の図27に示されている。
【0237】
この方法はステップS2700で開始し、ステップS2710に進む。
【0238】
ステップS2710において、本方法は、ビデオソースがスイッチオンされたことを示す信号を受信装置に送信するステップを含む。この方法は次いでステップS2720に進む。
【0239】
ステップS2720において、この方法は、第1のフリーランニングタイミング信号を生成するステップを含む。
【0240】
次いで、ステップS2730において、本方法は、第1のフリーランニングタイミング信号を受信装置に送信するステップを含む。
【0241】
第1のフリーランニングタイミング信号が送信されると、本方法はステップS2740に進む。
【0242】
ステップS2740は、ビデオソースのネイティブ映像データを受信装置に送信するステップを含み、ネイティブ映像データは、フレームバッファの対象となり、第1のフリーランニングタイミング信号によって確立された第1のフレームレートを有する。
【0243】
次いで、ステップS2750において、本方法は、ビデオソースの入力タイミング信号に切り換えるステップを含む。
【0244】
最後に、ステップS2760で、本方法は、受信装置にネイティブ映像データを送信するステップを含み、ネイティブ映像データは、フレームバッファの対象ではなく、ビデオソースの入力タイミング信号によって確立された第2のフレームレートを有する。
【0245】
次いで、ステップS2770に進み、終了する。
【0246】
本開示の図26および図27に示される方法は、それぞれの図に示されるステップの順序およびシーケンスに特に制限されないことが理解される。すなわち、本方法は、いくつかの例では、例示された順序で順番に実行されてもよいが、代わりに、例示された順序とは異なる順序で実行されてもよい。特に、本方法の多数の各ステップを並列に実行することができる。それにもかかわらず、図26および27の例示的な方法は、ネットワーク上にビデオデータを配信するためのシステムにおけるビデオソースの起動に続いて、ビデオの応答性の低遅延表示を提供する。
【0247】
（ハードウェア構成の例）
図28は、本実施形態に係る機器(または装置)のハードウェア構成の一例を示す説明図である。この機器100は、例えば、MPU 150、ROM 152、RAM 154、記録媒体156、入出力インターフェース158、操作入力装置160、表示デバイス162および通信インターフェース164を含む。また、機器100は、例えば、それぞれの要素をデータ伝送路であるバス166で接続する。
図28は、本実施形態に係る機器(または装置)のハードウェア構成の一例を示す説明図である。この機器100は、例えば、MPU 150、ROM 152、RAM 154、記録媒体156、入出力インターフェース158、操作入力装置160、表示デバイス162および通信インターフェース164を含む。また、機器100は、例えば、それぞれの要素をデータ伝送路であるバス166で接続する。
【0248】
MPU 150は、例えば、MPUの演算回路、各種処理回路等で構成された1つ以上のプロセッサで構成されており、機器100全体を制御する制御部(図示せず)として機能する。また、MPU 150は、機器100において、例えば処理部110の役割を果たす。なお、処理部110は、処理部110で処理を実現することができる専用(または汎用)回路(例えば、MPU 150とは別のプロセッサ)で構成してもよい。
【0249】
ROM 152は、MPU 150が使用するプログラムや動作パラメータなどの制御データを記憶する。RAM 154は、MPU 150が実行するプログラム等を一時記憶する。
【0250】
記憶部(図示せず)として機能する記録媒体156は、例えば、本開示の実施形態に係る方法に関連するデータや、各種のアプリケーション等の各種データを記憶する。ここで、記録媒体156の例は、例えば、ハードディスクの磁気記録媒体と、フラッシュメモリの不揮発性メモリとを含んでもよい。また、記録媒体156は、機器100から取り外し可能であってもよい。入出力インターフェース158は、例えば、操作入力装置160と表示デバイス162とを接続する。操作入力装置160は、操作部(図示せず)として機能し、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インターフェース158の例は、例えば、ユニバーサルシリアルバス(USB)端子、デジタルビジュアルインターフェース(DVI)端子、高精細マルチメディアインターフェース(HDMI)(登録商標)端子、各種処理回路等を含むことができる。
【0251】
また、操作入力装置160は、例えば、機器100に設けられ、機器100内部の入出力インターフェース158に接続される。操作入力装置160の例は、例えば、ボタン、方向キー、ジョグダイヤルなどのロータリーセレクタ、それらの組み合わせなどを含むことができる。
【0252】
また、表示デバイス162は、例えば、機器100に設けられ、機器100内部の入出力インターフェース158に接続される。表示デバイス162の例としては、例えば、液晶ディスプレイ、有機エレクトロルミネセンスディスプレイ、有機発光ダイオードディスプレイ等が挙げられる。なお、入出力インターフェース158は、機器100の外部操作入力装置(例えば、キーボード、マウスなど)や外部表示装置などの外部機器に接続することができる。さらに、表示デバイス162は、例えば、タッチパネルのような装置であってもよく、これは、表示を行うことができ、ユーザの操作を可能にする。
【0253】
通信インターフェース164は、機器100に設けられた通信手段である。通信インターフェース164は、例えば、本開示の図1を参照して説明したように、入力ソース機器200、出力ソース機器300、機器400、表示対象機器500およびその他の機器600Aおよび600Bなどの1つ以上の外部機器と無線または有線で通信を行うための通信ユニット(図示せず)として機能する。また、通信インターフェース164は、例えば、サーバのような外部機器との無線通信や有線通信を行う役割を果たしてもよい。
【0254】
ここで、通信インターフェース164の例は、例えば、通信アンテナと無線周波数(RF)回路(無線通信)、IEEE802.15.1ポートと送受信回路(無線通信)、IEEE802.11ポートと送受信回路(無線通信)、ローカルエリアネットワーク(LAN)端末と送受信回路(有線通信)等を含むことができる。
【0255】
機器100は、本開示に係る方法に関連する処理を、例えば、本開示の図28に示されている構成とともに実行する。なお、本実施の形態における医療制御装置のハードウェア構成は、本開示の図28に示す構成に限られるものではない。
【0256】
例えば、機器100が外部機器との通信を行う場合には、接続された外部通信装置を介して、通信インターフェース164を設ける必要はない。さらに、通信インターフェース164は、複数の通信方式を使用して、1つ以上の外部機器との通信を可能にするように構成してもよい。
【0257】
また、機器100は、例えば、記録媒体156、操作入力装置160および表示デバイス162のうちの1つ以上を含まない構成を採用してもよい。
【0258】
さらに、例えば、本開示の図28に示される構成の一部または全体(または修正例による構成)を、1つ以上の集積回路(IC)で実現することができる。
【0259】
また、上述した制御処理部は、説明の便宜と効率化のために、本実施形態に係る方法に関連する処理から分割された処理である。よって、本実施形態における制御方法に係る処理を実現するための構成は、本開示の図28に示す構成に限るものではなく、本実施の形態に係る方法に係る処理を分割する方法による構成とすることができる。
【0260】
なお、本実施の形態として上記した機器について説明したが、本実施形態は、このような実施形態に限定されない。本実施形態は、例えば、PC、サーバ、ORコントローラなどのコンピュータ、タブレット型装置、スマートフォンなどの通信機器に適用することができ、本実施形態に係る方法に係る処理を実行することができる。また、本実施形態は、例えば、上述したような機器に組み込むことができる処理ICに適用することができる。
【0261】
さらに、本実施形態に係る機器としてのコンピュータを機能させるプログラム(例えば、上述の制御処理のような本実施形態に係る方法に係る処理を実行することができるプログラム)を、プロセッサ等により実行させることにより、コンピュータにおいて、ネットワークを介して映像データを配信するシステムにおいて、ビデオソースの起動や送信装置のスイッチングに続いて、映像の応答性の低遅延表示を提供することができる。
【0262】
また、本実施形態のコンピュータを、プロセッサ等で実行される本実施形態の機器として機能させるプログラムにより、コンピュータにおいて、上述の処理を介して提供される効果を提供することができる。
【0263】
さらに、本開示の実施形態は、以下の番号付きの条項に従って構成することができる。
1. ネットワーク上に映像データを配信するためのシステムの受信装置用の機器であって、
前記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得し、
前記ビデオソースからの前記信号が取得されたときに、フリーランニングタイミング信号を生成し、
生成された前記フリーランニングタイミング信号を用いて第2のフレームレートで表示される第1の映像信号を生成し、
前記第1のインターフェースを介して前記ビデオソースからネイティブ映像データを取得し、
生成された前記フリーランニングタイミング信号を用いて、第2のフレームレートで表示すべき第2の映像信号を生成し、
第1のビデオソースからの前記信号が取得された後に、第2のタイミング信号を生成し、
前記第1のフレームレートで表示される第3の映像信号を、前記第2のタイミング信号を用いて生成する
ように構成された回路を具備し、
前記映像データは、前記第1のフレームレートを有するネイティブ映像データを含み、前記信号は、前記ビデオソースがスイッチオンされたことを示し、
表示すべき前記第1の映像信号は、ネイティブ映像データが前記ビデオソースから取得される前に、表示するための初期画像データを含み、
表示すべき前記第2の映像信号は、前記ビデオソースから取得した前記ネイティブ映像データを含み、
前記第2のタイミング信号は、前記受信装置のフレームレートが前記第1のビデオソースの前記第1のフレームレートと同期するように、前記ビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第3の映像信号は、前記ビデオソースから取得された前記ネイティブ映像データを含む
機器。
2. 前記回路は、前記第1のビデオ信号用の前記初期画像データとしてアニメーションの画像データを取得するようにさらに構成されている
1に記載の機器。
3. 前記回路は、前記第1の映像信号用の前記初期画像データとしてプロキシ画像データを取得するようにさらに構成され、
前記プロキシ画像データは、前記ネイティブ映像データと同一の画像対象を有し、1つ以上の異なる画像プロパティを有する
1または2に記載の機器。
4. 前記プロキシ画像データは、前記ネイティブ映像データの低解像度バージョンである
3に記載の機器。
5. 前記プロキシ画像データは、前記ビデオソースから前記ネットワークの前記第1のインターフェースを介して取得されている
3または4に記載の機器。
6. 前記フリーランニングタイミング信号は、前記機器によって生成されたフリーランニングクロックであり、かつ/または、前記第2のタイミング信号は、前記ビデオソースによって生成されたビデオクロックである
1～5のいずれか1つに記載の機器。
7. 前記回路は、前記ネイティブ映像データが取得されたときに、前記第3の映像信号を表示する表示信号を生成するように構成されている
1～6のいずれか1つに記載の機器。
8. 前記回路は、前記ネイティブ映像データが取得された後に、所定の時間、前記第3の映像信号を表示するための表示信号を生成するように構成されている
1～7のいずれか1つに記載の機器。
9. 前記所定の時間は、前記第2のタイミング信号が前記ビデオソースの前記タイミング信号の周波数にロックされるときの時間であるか、または、
前記所定の時間は、前記第2のタイミング信号が前記ビデオソースの前記タイミング信号の周波数および位相にロックされる時間である
1～8のいずれか1つに記載の機器。
10. ネットワーク上に映像データを配信するためのシステムの受信装置用の機器であって、
前記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得し、
前記ビデオソースから第1のフリーランニングタイミング信号を取得し、
前記ビデオソースから受信された第1のフリーランニング信号を用いて、第2のフレームレートで表示すべき第1の映像信号を生成し、
前記第1のインターフェースを介して前記ビデオソースから第1のネイティブ映像データを取得し、
前記ビデオソースから受信した前記フリーランニングタイミング信号を用いて、前記第2のフレームレートで表示すべき第2の映像信号を生成し、
前記第1のインターフェースを介して前記ビデオソースから、第2のネイティブ映像データを取得し、
前記ビデオソースからの前記信号を受信したときに、第2のフリーランニングタイミング信号を生成し、
生成された前記第2のフリーランニングタイミング信号を使用して第3のフレームレートで表示すべき第3のビデオ信号を生成し、
前記ビデオソースからの前記信号が受信された後に、第2のタイミング信号を生成し、
前記第1のフレームレートで表示される第4の映像信号を、前記第2のタイミング信号を用いて生成する
ように構成された回路を具備し、
前記映像データは、前記第1のフレームレートを有するネイティブ映像データを含み、前記信号は、前記ビデオソースがスイッチオンされたことを示し、
表示すべき前記第1の映像信号は、ネイティブ映像データが前記ビデオソースから取得される前に、表示するための初期画像データを含み、
前記ビデオソースからの前記第1のネイティブ映像データは、前記ビデオソースによって前記フレームバッファの対象となっており、
表示すべき前記第2の映像信号は、前記ビデオソースから取得した前記第1のネイティブ映像データを含み、
前記ビデオソースからの前記第2のネイティブ映像データは、前記ビデオソースによるフレームバッファの対象となっておらず、
表示すべき前記第3のビデオ信号は、前記ビデオソースから取得された前記第2のネイティブ映像データを含み、
前記第2のタイミング信号は、前記受信装置のフレームレートが前記ビデオソースの前記第1のフレームレートと同期するように、前記ビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第4の映像信号は、前記ビデオソースから取得された前記第2のネイティブ映像データを含む
機器。
11. ネットワークを介してデータを配信するシステムのビデオソース用機器であって、
前記ビデオソースがスイッチオンされたことを示す受信装置へ信号を送信し、
第1のフリーランニングタイミング信号を生成し、
前記第1のフリーランニングタイミング信号を前記受信装置に送信し、
フレームバッファの対象であり、かつ、前記第1のフリーランニングタイミング信号によって確立された第1のフレームレートを有する前記ビデオソースのネイティブ映像データを、前記受信装置に送信し、
前記ビデオソースの入力タイミング信号を切り替え、
フレームバッファの対象でなく、かつ、前記ビデオソースの前記入力タイミング信号によって確立された第2のフレームレートを有する前記ネイティブ映像データを、前記受信装置に送信する
ように構成された回路を具備する
機器。
12. ネットワーク上に映像データを配信するためのシステムの受信装置側の方法であって、
前記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得するステップと、
前記ビデオソースからの前記信号が取得されたときに、フリーランニングタイミング信号を生成するステップと、
生成された前記フリーランニングタイミング信号を用いて第2のフレームレートで表示される第1の映像信号を生成するステップと、
前記第1のインターフェースを介して前記ビデオソースからネイティブ映像データを取得するステップと、
生成された前記フリーランニングタイミング信号を用いて、第2のフレームレートで表示すべき第2の映像信号を生成するステップと、
第1のビデオソースからの前記信号が取得された後に、第2のタイミング信号を生成するステップと、
前記第1のフレームレートで表示される第3の映像信号を、前記第2のタイミング信号を用いて生成するステップと
を含み、
前記映像データは、前記第1のフレームレートを有するネイティブ映像データを含み、前記信号は、前記ビデオソースがスイッチオンされたことを示し、
表示すべき前記第1の映像信号は、ネイティブ映像データが前記ビデオソースから取得される前に、表示するための初期画像データを含み、
表示すべき前記第2の映像信号は、前記ビデオソースから取得した前記ネイティブ映像データを含み、
前記第2のタイミング信号は、前記受信装置のフレームレートが前記第1のビデオソースの前記第1のフレームレートと同期するように、前記ビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第3の映像信号は、前記ビデオソースから取得された前記ネイティブ映像データを含む
方法。
13. ネットワーク上に映像データを配信するためのシステムの受信装置側の方法であって、
前記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得するステップと、
前記ビデオソースから第1のフリーランニングタイミング信号を取得するステップと、
前記ビデオソースから受信された第1のフリーランニング信号を用いて、第2のフレームレートで表示すべき第1の映像信号を生成するステップと、
前記第1のインターフェースを介して前記ビデオソースから第1のネイティブ映像データを取得するステップと、
前記ビデオソースから受信した前記フリーランニングタイミング信号を用いて、前記第2のフレームレートで表示すべき第2の映像信号を生成するステップと、
前記第1のインターフェースを介して前記ビデオソースから、第2のネイティブ映像データを取得するステップと、
前記ビデオソースからの前記信号を受信したときに、第2のフリーランニングタイミング信号を生成するステップと、
生成された前記第2のフリーランニングタイミング信号を使用して第3のフレームレートで表示すべき第3のビデオ信号を生成するステップと、
前記ビデオソースからの前記信号が受信された後に、第2のタイミング信号を生成するステップと、
前記第1のフレームレートで表示される第4の映像信号を、前記第2のタイミング信号を用いて生成するステップと
を含み、
前記映像データは、前記第1のフレームレートを有するネイティブ映像データを含み、前記信号は、前記ビデオソースがスイッチオンされたことを示し、
表示すべき前記第1の映像信号は、ネイティブ映像データが前記ビデオソースから取得される前に、表示するための初期画像データを含み、
前記ビデオソースからの前記第1のネイティブ映像データは、前記ビデオソースによって前記フレームバッファの対象となっており、
表示すべき前記第2の映像信号は、前記ビデオソースから取得した前記第1のネイティブ映像データを含み、
前記ビデオソースからの前記第2のネイティブ映像データは、前記ビデオソースによるフレームバッファの対象となっておらず、
表示すべき前記第3のビデオ信号は、前記ビデオソースから取得された前記第2のネイティブ映像データを含み、
前記第2のタイミング信号は、前記受信装置のフレームレートが前記ビデオソースの前記第1のフレームレートと同期するように、前記ビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第4の映像信号は、前記ビデオソースから取得された前記第2のネイティブ映像データを含む
方法。
14. ネットワークを介してデータを配信するシステムのビデオソース側の方法であって、
前記ビデオソースがスイッチオンされたことを示す受信装置へ信号を送信するステップと、
第1のフリーランニングタイミング信号を生成するステップと、
前記第1のフリーランニングタイミング信号を前記受信装置に送信するステップと、
フレームバッファの対象であり、かつ、前記第1のフリーランニングタイミング信号によって確立された第1のフレームレートを有する前記ビデオソースのネイティブ映像データを、前記受信装置に送信するステップと、
前記ビデオソースの入力タイミング信号を切り替えるステップと、
フレームバッファの対象でなく、かつ、前記ビデオソースの前記入力タイミング信号によって確立された第2のフレームレートを有する前記ネイティブ映像データを、前記受信装置に送信するステップと
を含む
方法。
15. ネットワーク上に映像データを配信するためのシステムの受信装置用の機器であって、
第1のタイミング信号を用いて第1のフレームレートで表示すべき第1の映像信号を生成し、
前記ネットワーク上に初期画像データおよび第2のネイティブ映像データを出力するように構成された第2のビデオソースから信号を取得し、
前記第2のフレームレートで表示すべき第2の映像信号を生成し、
前記第2のビデオソースからの前記信号が取得された後に、フリーランニングタイミング信号を生成し、かつ、
前記フリーランニングタイミング信号を用いて前記第2のビデオソースの前記フレームレートで表示すべき第3のビデオ信号を生成する
ように構成された回路を具備し、
表示すべき前記第1の映像信号は、第1の映像ソースから取得したネイティブ映像データを含み、
前記第2のネイティブ映像データは第2のフレームレートを有し、前記信号は、前記第2のビデオソースから前記ネイティブ映像データを用いて表示すべき映像信号を生成するためのスイッチを示し、前記初期画像データは、前記第2のビデオソースから前記ネイティブ映像データを表示する前に表示すべき画像データを含み、
表示すべき前記第2の映像信号は、前記第2のビデオソースから取得した初期映像データを含み、
前記受信装置のフレームレートが前記第2のビデオソースの前記フレームレートと同期するように、前記フリーランニングタイミング信号は、前記第2のビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第3のビデオ信号は、前記第2のビデオソースから取得されたネイティブ映像データを含む
機器。
16. 前記回路は、前記第2のビデオソースから前記初期画像データとしてアニメーションの画像データを取得するようにさらに構成されている
15に記載の機器。
17. 前記回路は、前記第2のビデオソースから前記初期画像データとしてプロキシ画像データを取得するようにさらに構成され、
前記プロキシ画像データは、前記第2のネイティブ映像データおよび1つ以上の異なる画像プロパティと同一の画像対象を有する
15に記載の機器。
18. 前記プロキシ画像データは、前記ネイティブ映像データの低解像度バージョンである
17に記載の機器。
19. 前記フリーランニングタイミング信号は、前記機器によって生成されたフリーランニングクロックであり、かつ/または、前記第2のビデオソースの前記タイミング信号は、前記第2のビデオソースによって生成されたビデオクロックである
15～18のいずれか1つに記載の機器。
20. 前記第3のビデオ信号は、前記フリーランニングビデオクロックが、前記第2ビデオソースの前記タイミング信号とロックするように調整されたときに生成されている
15～19のいずれか1つに記載の機器。
21. 前記回路は、前記ネイティブ映像データが取得された後の所定の時間に前記第3のビデオ信号を表示するための表示信号を生成するようにさらに構成されている
15～20のいずれか1つに記載の機器。
22. 前記所定の時間は、前記フリーランニングタイミング信号が前記ビデオソースの前記タイミング信号の周波数にロックされるときの時間であるか、または、
前記所定の時間は、前記フリーランニングタイミング信号が前記ビデオソースの前記タイミング信号の周波数および位相にロックされるときの時間である
21に記載の機器。
23. ネットワーク上に映像データを配信するためのシステムの受信機側の方法であって、
第1のタイミング信号を用いて第1のフレームレートで表示すべき第1の映像信号を生成するステップと、
前記ネットワーク上に初期画像データおよび第2のネイティブ映像データを出力するように構成された第2のビデオソースから信号を取得するステップと、
前記第2のフレームレートで表示すべき第2の映像信号を生成するステップと、
前記第2のビデオソースからの前記信号が取得された後に、フリーランニングタイミング信号を生成するステップと、
前記フリーランニングタイミング信号を用いて前記第2のビデオソースの前記フレームレートで表示すべき第3のビデオ信号を生成するステップと
を含み、
表示すべき前記第1の映像信号は、第1の映像ソースから取得したネイティブ映像データを含み、
前記第2のネイティブ映像データは第2のフレームレートを有し、前記信号は、前記第2のビデオソースから前記ネイティブ映像データを用いて表示すべき映像信号を生成するためのスイッチを示し、前記初期画像データは、前記第2のビデオソースから前記ネイティブ映像データを表示する前に表示すべき画像データを含み、
表示すべき前記第2の映像信号は、前記第2のビデオソースから取得した初期映像データを含み、
前記受信装置のフレームレートが前記第2のビデオソースの前記フレームレートと同期するように、前記フリーランニングタイミング信号は、前記第2のビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第3のビデオ信号は、前記第2のビデオソースから取得されたネイティブ映像データを含む
方法。
24. プログラムがコンピュータによって実施されるときに、前記コンピュータに12、13、14または23のいずれか1つに記載の方法を実行させる命令を具備するコンピュータプログラム製品。
1. ネットワーク上に映像データを配信するためのシステムの受信装置用の機器であって、
前記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得し、
前記ビデオソースからの前記信号が取得されたときに、フリーランニングタイミング信号を生成し、
生成された前記フリーランニングタイミング信号を用いて第2のフレームレートで表示される第1の映像信号を生成し、
前記第1のインターフェースを介して前記ビデオソースからネイティブ映像データを取得し、
生成された前記フリーランニングタイミング信号を用いて、第2のフレームレートで表示すべき第2の映像信号を生成し、
第1のビデオソースからの前記信号が取得された後に、第2のタイミング信号を生成し、
前記第1のフレームレートで表示される第3の映像信号を、前記第2のタイミング信号を用いて生成する
ように構成された回路を具備し、
前記映像データは、前記第1のフレームレートを有するネイティブ映像データを含み、前記信号は、前記ビデオソースがスイッチオンされたことを示し、
表示すべき前記第1の映像信号は、ネイティブ映像データが前記ビデオソースから取得される前に、表示するための初期画像データを含み、
表示すべき前記第2の映像信号は、前記ビデオソースから取得した前記ネイティブ映像データを含み、
前記第2のタイミング信号は、前記受信装置のフレームレートが前記第1のビデオソースの前記第1のフレームレートと同期するように、前記ビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第3の映像信号は、前記ビデオソースから取得された前記ネイティブ映像データを含む
機器。
2. 前記回路は、前記第1のビデオ信号用の前記初期画像データとしてアニメーションの画像データを取得するようにさらに構成されている
1に記載の機器。
3. 前記回路は、前記第1の映像信号用の前記初期画像データとしてプロキシ画像データを取得するようにさらに構成され、
前記プロキシ画像データは、前記ネイティブ映像データと同一の画像対象を有し、1つ以上の異なる画像プロパティを有する
1または2に記載の機器。
4. 前記プロキシ画像データは、前記ネイティブ映像データの低解像度バージョンである
3に記載の機器。
5. 前記プロキシ画像データは、前記ビデオソースから前記ネットワークの前記第1のインターフェースを介して取得されている
3または4に記載の機器。
6. 前記フリーランニングタイミング信号は、前記機器によって生成されたフリーランニングクロックであり、かつ/または、前記第2のタイミング信号は、前記ビデオソースによって生成されたビデオクロックである
1～5のいずれか1つに記載の機器。
7. 前記回路は、前記ネイティブ映像データが取得されたときに、前記第3の映像信号を表示する表示信号を生成するように構成されている
1～6のいずれか1つに記載の機器。
8. 前記回路は、前記ネイティブ映像データが取得された後に、所定の時間、前記第3の映像信号を表示するための表示信号を生成するように構成されている
1～7のいずれか1つに記載の機器。
9. 前記所定の時間は、前記第2のタイミング信号が前記ビデオソースの前記タイミング信号の周波数にロックされるときの時間であるか、または、
前記所定の時間は、前記第2のタイミング信号が前記ビデオソースの前記タイミング信号の周波数および位相にロックされる時間である
1～8のいずれか1つに記載の機器。
10. ネットワーク上に映像データを配信するためのシステムの受信装置用の機器であって、
前記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得し、
前記ビデオソースから第1のフリーランニングタイミング信号を取得し、
前記ビデオソースから受信された第1のフリーランニング信号を用いて、第2のフレームレートで表示すべき第1の映像信号を生成し、
前記第1のインターフェースを介して前記ビデオソースから第1のネイティブ映像データを取得し、
前記ビデオソースから受信した前記フリーランニングタイミング信号を用いて、前記第2のフレームレートで表示すべき第2の映像信号を生成し、
前記第1のインターフェースを介して前記ビデオソースから、第2のネイティブ映像データを取得し、
前記ビデオソースからの前記信号を受信したときに、第2のフリーランニングタイミング信号を生成し、
生成された前記第2のフリーランニングタイミング信号を使用して第3のフレームレートで表示すべき第3のビデオ信号を生成し、
前記ビデオソースからの前記信号が受信された後に、第2のタイミング信号を生成し、
前記第1のフレームレートで表示される第4の映像信号を、前記第2のタイミング信号を用いて生成する
ように構成された回路を具備し、
前記映像データは、前記第1のフレームレートを有するネイティブ映像データを含み、前記信号は、前記ビデオソースがスイッチオンされたことを示し、
表示すべき前記第1の映像信号は、ネイティブ映像データが前記ビデオソースから取得される前に、表示するための初期画像データを含み、
前記ビデオソースからの前記第1のネイティブ映像データは、前記ビデオソースによって前記フレームバッファの対象となっており、
表示すべき前記第2の映像信号は、前記ビデオソースから取得した前記第1のネイティブ映像データを含み、
前記ビデオソースからの前記第2のネイティブ映像データは、前記ビデオソースによるフレームバッファの対象となっておらず、
表示すべき前記第3のビデオ信号は、前記ビデオソースから取得された前記第2のネイティブ映像データを含み、
前記第2のタイミング信号は、前記受信装置のフレームレートが前記ビデオソースの前記第1のフレームレートと同期するように、前記ビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第4の映像信号は、前記ビデオソースから取得された前記第2のネイティブ映像データを含む
機器。
11. ネットワークを介してデータを配信するシステムのビデオソース用機器であって、
前記ビデオソースがスイッチオンされたことを示す受信装置へ信号を送信し、
第1のフリーランニングタイミング信号を生成し、
前記第1のフリーランニングタイミング信号を前記受信装置に送信し、
フレームバッファの対象であり、かつ、前記第1のフリーランニングタイミング信号によって確立された第1のフレームレートを有する前記ビデオソースのネイティブ映像データを、前記受信装置に送信し、
前記ビデオソースの入力タイミング信号を切り替え、
フレームバッファの対象でなく、かつ、前記ビデオソースの前記入力タイミング信号によって確立された第2のフレームレートを有する前記ネイティブ映像データを、前記受信装置に送信する
ように構成された回路を具備する
機器。
12. ネットワーク上に映像データを配信するためのシステムの受信装置側の方法であって、
前記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得するステップと、
前記ビデオソースからの前記信号が取得されたときに、フリーランニングタイミング信号を生成するステップと、
生成された前記フリーランニングタイミング信号を用いて第2のフレームレートで表示される第1の映像信号を生成するステップと、
前記第1のインターフェースを介して前記ビデオソースからネイティブ映像データを取得するステップと、
生成された前記フリーランニングタイミング信号を用いて、第2のフレームレートで表示すべき第2の映像信号を生成するステップと、
第1のビデオソースからの前記信号が取得された後に、第2のタイミング信号を生成するステップと、
前記第1のフレームレートで表示される第3の映像信号を、前記第2のタイミング信号を用いて生成するステップと
を含み、
前記映像データは、前記第1のフレームレートを有するネイティブ映像データを含み、前記信号は、前記ビデオソースがスイッチオンされたことを示し、
表示すべき前記第1の映像信号は、ネイティブ映像データが前記ビデオソースから取得される前に、表示するための初期画像データを含み、
表示すべき前記第2の映像信号は、前記ビデオソースから取得した前記ネイティブ映像データを含み、
前記第2のタイミング信号は、前記受信装置のフレームレートが前記第1のビデオソースの前記第1のフレームレートと同期するように、前記ビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第3の映像信号は、前記ビデオソースから取得された前記ネイティブ映像データを含む
方法。
13. ネットワーク上に映像データを配信するためのシステムの受信装置側の方法であって、
前記ネットワークの第1のインターフェースを介して映像データを出力するように構成されたビデオソースから信号を取得するステップと、
前記ビデオソースから第1のフリーランニングタイミング信号を取得するステップと、
前記ビデオソースから受信された第1のフリーランニング信号を用いて、第2のフレームレートで表示すべき第1の映像信号を生成するステップと、
前記第1のインターフェースを介して前記ビデオソースから第1のネイティブ映像データを取得するステップと、
前記ビデオソースから受信した前記フリーランニングタイミング信号を用いて、前記第2のフレームレートで表示すべき第2の映像信号を生成するステップと、
前記第1のインターフェースを介して前記ビデオソースから、第2のネイティブ映像データを取得するステップと、
前記ビデオソースからの前記信号を受信したときに、第2のフリーランニングタイミング信号を生成するステップと、
生成された前記第2のフリーランニングタイミング信号を使用して第3のフレームレートで表示すべき第3のビデオ信号を生成するステップと、
前記ビデオソースからの前記信号が受信された後に、第2のタイミング信号を生成するステップと、
前記第1のフレームレートで表示される第4の映像信号を、前記第2のタイミング信号を用いて生成するステップと
を含み、
前記映像データは、前記第1のフレームレートを有するネイティブ映像データを含み、前記信号は、前記ビデオソースがスイッチオンされたことを示し、
表示すべき前記第1の映像信号は、ネイティブ映像データが前記ビデオソースから取得される前に、表示するための初期画像データを含み、
前記ビデオソースからの前記第1のネイティブ映像データは、前記ビデオソースによって前記フレームバッファの対象となっており、
表示すべき前記第2の映像信号は、前記ビデオソースから取得した前記第1のネイティブ映像データを含み、
前記ビデオソースからの前記第2のネイティブ映像データは、前記ビデオソースによるフレームバッファの対象となっておらず、
表示すべき前記第3のビデオ信号は、前記ビデオソースから取得された前記第2のネイティブ映像データを含み、
前記第2のタイミング信号は、前記受信装置のフレームレートが前記ビデオソースの前記第1のフレームレートと同期するように、前記ビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第4の映像信号は、前記ビデオソースから取得された前記第2のネイティブ映像データを含む
方法。
14. ネットワークを介してデータを配信するシステムのビデオソース側の方法であって、
前記ビデオソースがスイッチオンされたことを示す受信装置へ信号を送信するステップと、
第1のフリーランニングタイミング信号を生成するステップと、
前記第1のフリーランニングタイミング信号を前記受信装置に送信するステップと、
フレームバッファの対象であり、かつ、前記第1のフリーランニングタイミング信号によって確立された第1のフレームレートを有する前記ビデオソースのネイティブ映像データを、前記受信装置に送信するステップと、
前記ビデオソースの入力タイミング信号を切り替えるステップと、
フレームバッファの対象でなく、かつ、前記ビデオソースの前記入力タイミング信号によって確立された第2のフレームレートを有する前記ネイティブ映像データを、前記受信装置に送信するステップと
を含む
方法。
15. ネットワーク上に映像データを配信するためのシステムの受信装置用の機器であって、
第1のタイミング信号を用いて第1のフレームレートで表示すべき第1の映像信号を生成し、
前記ネットワーク上に初期画像データおよび第2のネイティブ映像データを出力するように構成された第2のビデオソースから信号を取得し、
前記第2のフレームレートで表示すべき第2の映像信号を生成し、
前記第2のビデオソースからの前記信号が取得された後に、フリーランニングタイミング信号を生成し、かつ、
前記フリーランニングタイミング信号を用いて前記第2のビデオソースの前記フレームレートで表示すべき第3のビデオ信号を生成する
ように構成された回路を具備し、
表示すべき前記第1の映像信号は、第1の映像ソースから取得したネイティブ映像データを含み、
前記第2のネイティブ映像データは第2のフレームレートを有し、前記信号は、前記第2のビデオソースから前記ネイティブ映像データを用いて表示すべき映像信号を生成するためのスイッチを示し、前記初期画像データは、前記第2のビデオソースから前記ネイティブ映像データを表示する前に表示すべき画像データを含み、
表示すべき前記第2の映像信号は、前記第2のビデオソースから取得した初期映像データを含み、
前記受信装置のフレームレートが前記第2のビデオソースの前記フレームレートと同期するように、前記フリーランニングタイミング信号は、前記第2のビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第3のビデオ信号は、前記第2のビデオソースから取得されたネイティブ映像データを含む
機器。
16. 前記回路は、前記第2のビデオソースから前記初期画像データとしてアニメーションの画像データを取得するようにさらに構成されている
15に記載の機器。
17. 前記回路は、前記第2のビデオソースから前記初期画像データとしてプロキシ画像データを取得するようにさらに構成され、
前記プロキシ画像データは、前記第2のネイティブ映像データおよび1つ以上の異なる画像プロパティと同一の画像対象を有する
15に記載の機器。
18. 前記プロキシ画像データは、前記ネイティブ映像データの低解像度バージョンである
17に記載の機器。
19. 前記フリーランニングタイミング信号は、前記機器によって生成されたフリーランニングクロックであり、かつ/または、前記第2のビデオソースの前記タイミング信号は、前記第2のビデオソースによって生成されたビデオクロックである
15～18のいずれか1つに記載の機器。
20. 前記第3のビデオ信号は、前記フリーランニングビデオクロックが、前記第2ビデオソースの前記タイミング信号とロックするように調整されたときに生成されている
15～19のいずれか1つに記載の機器。
21. 前記回路は、前記ネイティブ映像データが取得された後の所定の時間に前記第3のビデオ信号を表示するための表示信号を生成するようにさらに構成されている
15～20のいずれか1つに記載の機器。
22. 前記所定の時間は、前記フリーランニングタイミング信号が前記ビデオソースの前記タイミング信号の周波数にロックされるときの時間であるか、または、
前記所定の時間は、前記フリーランニングタイミング信号が前記ビデオソースの前記タイミング信号の周波数および位相にロックされるときの時間である
21に記載の機器。
23. ネットワーク上に映像データを配信するためのシステムの受信機側の方法であって、
第1のタイミング信号を用いて第1のフレームレートで表示すべき第1の映像信号を生成するステップと、
前記ネットワーク上に初期画像データおよび第2のネイティブ映像データを出力するように構成された第2のビデオソースから信号を取得するステップと、
前記第2のフレームレートで表示すべき第2の映像信号を生成するステップと、
前記第2のビデオソースからの前記信号が取得された後に、フリーランニングタイミング信号を生成するステップと、
前記フリーランニングタイミング信号を用いて前記第2のビデオソースの前記フレームレートで表示すべき第3のビデオ信号を生成するステップと
を含み、
表示すべき前記第1の映像信号は、第1の映像ソースから取得したネイティブ映像データを含み、
前記第2のネイティブ映像データは第2のフレームレートを有し、前記信号は、前記第2のビデオソースから前記ネイティブ映像データを用いて表示すべき映像信号を生成するためのスイッチを示し、前記初期画像データは、前記第2のビデオソースから前記ネイティブ映像データを表示する前に表示すべき画像データを含み、
表示すべき前記第2の映像信号は、前記第2のビデオソースから取得した初期映像データを含み、
前記受信装置のフレームレートが前記第2のビデオソースの前記フレームレートと同期するように、前記フリーランニングタイミング信号は、前記第2のビデオソースのタイミング信号とロックするように調整されており、
表示すべき前記第3のビデオ信号は、前記第2のビデオソースから取得されたネイティブ映像データを含む
方法。
24. プログラムがコンピュータによって実施されるときに、前記コンピュータに12、13、14または23のいずれか1つに記載の方法を実行させる命令を具備するコンピュータプログラム製品。
【0264】
本開示のいくつかの例は、医療用画像装置(例えば、医療用内視鏡)の使用を参照して説明されているが、本開示は、この点では特に限定されない。すなわち、本開示に記載されるようなビデオソースの起動または切り替え時の低遅延ビデオの表示に関連する問題は、他の例示的な状況(カメラ、スキャナ、産業用内視鏡など)における他のビデオソースの使用にも適用される。
【0265】
さらに、特定の例のタイミングチャートを使用して、本開示の特定の例を説明したが、本開示は、これらの例に記載されている特定の順序およびタイミングに特に関係しないことが理解される。すなわち、これらの例に示されているタイミングは単なる例示であり、本開示を限定するものではない。
【0266】
実際、本開示の特定の実施例は、IPネットワークおよびIPストリーミングを参照して議論されたが、これは、ネットワーク上で映像データを配信するシステムの唯一の例であることが理解される。より一般的には、本開示の実施形態は、ネットワーク上で映像データを配信するための任意のそのようなシステムに適用可能であり、IPネットワークおよびIPストリーミングに限定されるものではない。
【0267】
上記の教示に照らして、本開示の多数の修正および変動が可能であることは明らかであろう。したがって、付された請求項の範囲内で、技術は、本明細書に具体的に記載されているものとは別に実施可能であることが理解されるべきである。
【0268】
本開示の実施形態が、少なくとも部分的に、ソフトウェア制御型のデータ処理機器によって実装されるものとして説明されている限り、光ディスク、磁気ディスク、半導体メモリなど、そのようなソフトウェアを搬送する非一時的な機械可読媒体も、本開示の一実施形態を表すと考えられることが理解される。
【0269】
発明を明確にするために、上記の説明は、異なる機能ユニット、回路、および/またはプロセッサを参照して実施形態を説明したことが理解される。しかしながら、本発明の実施形態から逸脱することなく、異なる機能ユニット、回路、および/またはプロセッサ間の機能における任意の適切な分散が使用されることは明らかである。
【0270】
本明細書で説明された実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせを含む任意の適切な形態で実装される。本明細書で記載された実施形態は、任意選択で、1つ以上のデータプロセッサおよび/またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実装され得る。任意の実施形態における部品および構成要件が、任意の適切な方法で物理的に、機能的に、および、論理的に実装される。実際、機能は、単一のユニットで、複数のユニットで、または他の機能ユニットの一部として実装され得る。したがって、本開示の実施形態は、単一のユニットで実装されてもよく、または異なるユニット、回路、および/またはプロセッサの間で物理的および機能的に分散されてもよい。
【0271】
本開示は、いくつかの実施形態に関連して説明されたが、本明細書に記載された特定の形態に限定されることは意図されていない。さらに、本開示の特徴は、特定の実施形態に関連して説明されているように見えるが、当業者は、説明された実施形態の種々の特徴が、本技法を実施するのに適した任意の方法で組み合わされ得ることを認識する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【国際調査報告】