▶ モビイ システムズ （プロプライエタリー） リミテッドの特許一覧
特表2024-508911時間同期されたマルチストリームデータ伝送を提供する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-28
(54)【発明の名称】時間同期されたマルチストリームデータ伝送を提供する方法
(51)【国際特許分類】
H04N 5/91 20060101AFI20240220BHJP
H04N 5/92 20060101ALI20240220BHJP
G11B 20/10 20060101ALI20240220BHJP
G11B 27/00 20060101ALI20240220BHJP
G11B 27/10 20060101ALI20240220BHJP
【ＦＩ】
H04N5/91
H04N5/92 010
G11B20/10 301A
G11B27/00 A
G11B27/10 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023553526
(86)(22)【出願日】2022-03-02
(85)【翻訳文提出日】2023-10-20
(86)【国際出願番号】 ZA2022050010
(87)【国際公開番号】W WO2022187876
(87)【国際公開日】2022-09-09
(31)【優先権主張番号】2021/01483
(32)【優先日】2021-03-04
(33)【優先権主張国・地域又は機関】ZA
(81)【指定国・地域】
(71)【出願人】
【識別番号】523334486
【氏名又は名称】モビイ システムズ （プロプライエタリー） リミテッド
【氏名又は名称原語表記】Ｍｏｂｉｉ Ｓｙｓｔｅｍｓ （Ｐｔｙ） Ｌｔｄ
【住所又は居所原語表記】３ｒｄ Ｆｌｏｏｒ， ５ Ｈｉｇｈ Ｓｔｒｅｅｔ， Ｒｏｓｅｎｐａｒｋ， Ｂｅｌｌｖｉｌｌｅ， ７５３５， Ｃａｐｅ Ｔｏｗｎ， Ｓｏｕｔｈ Ａｆｒｉｃａ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】マイケル ドン サッカー
(72)【発明者】
【氏名】ブレンダン バレット
【テーマコード（参考）】
5D044
5D110
【Ｆターム（参考）】
5D044AB05
5D044AB07
5D044DE22
5D044DE27
5D044DE37
5D044DE49
5D044DE54
5D044EF02
5D044EF05
5D044GK11
5D110DA01
5D110DA04
5D110DA11
(57)【要約】
時間同期されたマルチストリームデータ伝送を提供する方法は、（ｉ）第１のデータストリームのフレームを提供するための第１の記録または生成装置を提供するステップと、（ｉｉ）第１のデータストリームをパケットに符号化するステップであって、各第１のデータストリームのパケットは、提示時間と、所定数の第１のデータストリームのフレームとを含んでいる、ステップと、（ｉｉｉ）第２のデータストリームのフレームを提供するための第２の記録または生成装置を提供するステップと、（ｉｖ）第２のデータストリームをパケットに符号化するステップであって、各第２のデータストリームのパケットは、提示時間と、所定数の第２のデータストリームのフレームとを含んでいる、ステップと、（ｖ）第１のデータストリームおよび第２のデータストリームを処理装置に伝送するステップと、（ｖｉ）開始基準時間を、伝送された第１のデータストリームおよび第２のデータストリームの第１のパケットに関連付けるステップと、（ｖｉｉ）第１のストリームの開始時間を、伝送された第１のデータストリームの第１のパケットに割り当て、第２のストリームの開始時間を、伝送された第２のデータストリームの第１のパケットに割り当てるステップと、（ｖｉｉｉ）開始基準時間からの第１の時間オフセットおよび第１のデータストリームの開始時間を（直接的または間接的に）第１のデータストリームの各後続パケットに関連付け、開始基準時間からの第２の時間オフセットおよび第２のデータストリームの開始時間を（直接的または間接的に）第２のデータストリームの各後続パケットに関連付けるステップと、（ｉｘ）第１のデータストリームに関連付けられた第１の時間オフセットを使用し、かつ第２のデータストリームに関連付けられた第２の時間オフセットを使用して、第１のデータストリームのパケットを第２のデータストリームのパケットと時間的に整合させるステップと、（ｘ）整合された第１のデータストリームのパケットおよび第２のデータストリームのパケットに、第１のデータストリームおよび第２のデータストリームの元来の提示時間とは関係なく、共通の提示時間を適用するステップとを含んでいる。
【特許請求の範囲】
【請求項1】
時間同期されたマルチストリームデータ伝送を提供する方法であって、第１のデータストリームのフレームを提供するための第１の記録または生成装置を提供するステップと、
前記第１のデータストリームをパケットに符号化するステップであって、各第１のデータストリームのパケットは、提示時間と、所定数の第１のデータストリームのフレームとを含んでいる、ステップと、
第２のデータストリームのフレームを提供するための第２の記録または生成装置を提供するステップと、
前記第２のデータストリームをパケットに符号化するステップであって、各第２のデータストリームのパケットは、提示時間と、所定数の第２のデータストリームのフレームとを含んでいる、ステップと、
前記第１のデータストリームおよび前記第２のデータストリームを処理装置に伝送するステップと、
開始基準時間を、伝送された前記第１のデータストリームおよび前記第２のデータストリームの第１のパケットに関連付けるステップと、
第１のストリームの開始時間を、伝送された前記第１のデータストリームの前記第１のパケットに割り当て、第２のストリームの開始時間を、伝送された前記第２のデータストリームの前記第１のパケットに割り当てるステップと、
前記開始基準時間からの第１の時間オフセットおよび第１のデータストリームの開始時間を（直接的または間接的に）前記第１のデータストリームの各後続パケットに関連付け、前記開始基準時間からの第２の時間オフセットおよび第２のデータストリームの開始時間を（直接的または間接的に）前記第２のデータストリームの各後続パケットに関連付けるステップと、
前記第１のデータストリームに関連付けられた前記第１の時間オフセットを使用し、かつ前記第２のデータストリームに関連付けられた前記第２の時間オフセットを使用して、前記第１のデータストリームのパケットを前記第２のデータストリームのパケットと時間的に整合させるステップと、
整合された前記第１のデータストリームのパケットおよび前記第２のデータストリームのパケットに、前記第１のデータストリームおよび前記第２のデータストリームの元来の前記提示時間とは関係なく、共通の提示時間を適用するステップと
を含んでいる、
方法。
【請求項2】
前記第１のデータストリームおよび前記第２のデータストリームは、ビデオ、オーディオまたはデータのストリームを備えている、請求項１記載の方法。
【請求項3】
前記伝送は、放送を含んでいる、請求項２記載の方法。
【請求項4】
前記開始基準時間は、デイスタンプの時間、その導関数、または選択された任意の時間である、請求項３記載の方法。
【請求項5】
前記時間オフセットは、増分に関して、またはデイスタンプの時間を比較することによって決定される、請求項４記載の方法。
【請求項6】
前記処理装置はサーバである、請求項４記載の方法。
【請求項7】
前記記録または生成装置は、ビデオレコーダ、マイクロフォン、またはデータを生成する装置である、請求項６記載の方法。
【請求項8】
前記第１の記録または生成装置および前記第２の記録または生成装置は、記録またはデータ生成の間に、デイスタンプの時間または時間オフセットを各パケットに適用する、請求項７記載の方法。
【請求項9】
前記第１の記録または生成装置および前記第２の記録または生成装置は、前記第１のデータストリームおよび前記第２のデータストリームを処理装置に伝送し、前記処理装置は、前記第１のデータストリームおよび前記第２のデータストリームの受け取りに応じて、受け取った前記第１のデータストリームのパケットおよび前記第２のデータストリームのパケットにデイスタンプの時間または時間オフセットを適用する、請求項７記載の方法。
【請求項10】
デイスタンプの時間は、ＧＰＳタイムスタンプ、ＮＴＰサーバタイムスタンプ、手動で作成されたタイムスタンプなどを含んでいる、請求項９記載の方法。
【請求項11】
前記処理装置は、前記第１のデータストリームのパケットと前記第２のデータストリームのパケットとを時間的に整合させ、共通の提示時間を前記パケットに適用する、請求項１０記載の方法。
【請求項12】
前記処理装置は、（共通の提示時間を有する）前記第１のデータストリームのパケットと前記第２のデータストリームのパケットとを、表示のためにリモート装置に伝送し、前記リモート装置は、時刻または時間オフセットスタンプの時間ではなく、提示時間を処理することができる、請求項１１記載の方法。
【請求項13】
前記リモート装置は、コンピュータ、ＴＶまたはスマートフォンである、請求項１２記載の方法。
【請求項14】
前記開始基準時間は、伝送された前記第１のデータストリームおよび前記第２のデータストリームの前記第１のパケットのデイスタンプの時間に関連付けられている、請求項１３記載の方法。
【請求項15】
前記処理装置は、１つの処理装置である、請求項１４記載の方法。
【請求項16】
前記処理装置は、前記開始基準時間によって同期される第１の処理装置および第２の処理装置を備えている、請求項１４記載の方法。
【請求項17】
前記開始基準時間は、第３のデータストリームを受け取る第２の処理装置によって同期され、その結果、前記第２の処理装置は、前記第３のデータストリームを前記第１のデータストリームおよび前記第２のデータストリームと時間的に整合させることができる、請求項１６記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
背景
本発明は、時間同期されたマルチストリームデータ伝送を提供する方法に関する。より詳細には、本発明は、マルチストリームデータ伝送を提供する方法に関し、ここでは、各データストリームがパケットに符号化され；各データストリームに共通の開始基準時間が割り当てられ；開始基準時間に関する時間オフセットが各データストリームの各パケットに、表示のためのリモート装置への伝送の前に割り当てられる。
本発明は、時間同期されたマルチストリームデータ伝送を提供する方法に関する。より詳細には、本発明は、マルチストリームデータ伝送を提供する方法に関し、ここでは、各データストリームがパケットに符号化され；各データストリームに共通の開始基準時間が割り当てられ；開始基準時間に関する時間オフセットが各データストリームの各パケットに、表示のためのリモート装置への伝送の前に割り当てられる。
【0002】
マルチストリームデータを伝送するための種々の方法が知られている。しかし、標準的なビデオプレーヤは、ビデオデータストリームのパケットにおける提示時間に基づいて、ビデオデータストリームを再生する。典型的に、ライブストリーム放送では、ビデオプレーヤがライブビデオデータストリームを再生するために、ビデオプレーヤは現在の時刻および提示時間に関するオフセットを調整する。これは、複数の同時のビデオデータストリームを視聴しようとする場合に、個々のビデオデータストリームをそれぞれ現在の時間に、それらの個々の提示時間に関して整合させるための付加的なコントロールおよび複雑性をビデオプレーヤが要するため、困難になる。これは、付加的なデータストリームをこれらのライブビデオデータストリーム（たとえば、ライブスポーツ分析データ、または別個のオーディオストリーム）に同期させる必要がある場合に、さらに困難になる。各付加的なデータストリームがビューに組み合わされると、これらすべてのデータストリームの同期を維持するために、付加的なエンドユーザ側／クライアント側の同期計算が必要になる。
【0003】
本発明の課題は、データフィードの開始時期に関係なく、様々なデータフィードを同期させ、同期されたデータフィードを表示のためにリモート装置（たとえば、ビデオプレーヤ）に伝送することができるマルチストリームデータフィードを提供することである。より具体的には、本発明の課題は、第１のデータストリームから開始基準時間を決定し、次いで、時間同期されたデータストリームを表示のためにリモート装置に伝送する前に、各データストリームの提示時間を共通の提示時間に整合するように変更することによって、リモート装置でのデータストリームの時間同期化に対するソリューションを提供することである。このようにすることによって、時間同期されたデータストリームが標準の、未変更のビデオプレーヤによって表示されてよい。
【0004】
発明の概要
本発明によれば、時間同期されたマルチストリームデータ伝送を提供する方法が提供され、この方法は、
第１のデータストリームのフレームを提供するための第１の記録または生成装置を提供するステップと、
第１のデータストリームをパケットに符号化するステップであって、各第１のデータストリームのパケットは、提示時間と、所定数の第１のデータストリームのフレームとを含んでいる、ステップと、
第２のデータストリームのフレームを提供するための第２の記録または生成装置を提供するステップと、
第２のデータストリームをパケットに符号化するステップであって、各第２のデータストリームのパケットは、提示時間と、所定数の第２のデータストリームのフレームとを含んでいる、ステップと、
第１のデータストリームおよび第２のデータストリームを処理装置に伝送するステップと、
共通の開始基準時間を、伝送された第１のデータストリームおよび第２のデータストリームの第１のパケットに関連付けるステップと、
第１のストリームの開始時間を、伝送された第１のデータストリームの第１のパケットに割り当て、第２のストリームの開始時間を、伝送された第２のデータストリームの第１のパケットに割り当てるステップと、
開始基準時間からの第１の時間オフセットおよび第１のデータストリームの開始時間を（直接的または間接的に）第１のデータストリームの各後続パケットに関連付け、開始基準時間からの第２の時間オフセットおよび第２のデータストリームの開始時間を（直接的または間接的に）第２のデータストリームの各後続パケットに関連付けるステップと、
第１のデータストリームに関連付けられた第１の時間オフセットを使用し、かつ第２のデータストリームに関連付けられた第２の時間オフセットを使用して、第１のデータストリームのパケットを第２のデータストリームのパケットと時間的に整合させるステップと、
整合された第１のデータストリームのパケットおよび第２のデータストリームのパケットに、第１のデータストリームおよび第２のデータストリームの元来の提示時間とは関係なく、共通の提示時間を適用するステップと
を含んでいる。
本発明によれば、時間同期されたマルチストリームデータ伝送を提供する方法が提供され、この方法は、
第１のデータストリームのフレームを提供するための第１の記録または生成装置を提供するステップと、
第１のデータストリームをパケットに符号化するステップであって、各第１のデータストリームのパケットは、提示時間と、所定数の第１のデータストリームのフレームとを含んでいる、ステップと、
第２のデータストリームのフレームを提供するための第２の記録または生成装置を提供するステップと、
第２のデータストリームをパケットに符号化するステップであって、各第２のデータストリームのパケットは、提示時間と、所定数の第２のデータストリームのフレームとを含んでいる、ステップと、
第１のデータストリームおよび第２のデータストリームを処理装置に伝送するステップと、
共通の開始基準時間を、伝送された第１のデータストリームおよび第２のデータストリームの第１のパケットに関連付けるステップと、
第１のストリームの開始時間を、伝送された第１のデータストリームの第１のパケットに割り当て、第２のストリームの開始時間を、伝送された第２のデータストリームの第１のパケットに割り当てるステップと、
開始基準時間からの第１の時間オフセットおよび第１のデータストリームの開始時間を（直接的または間接的に）第１のデータストリームの各後続パケットに関連付け、開始基準時間からの第２の時間オフセットおよび第２のデータストリームの開始時間を（直接的または間接的に）第２のデータストリームの各後続パケットに関連付けるステップと、
第１のデータストリームに関連付けられた第１の時間オフセットを使用し、かつ第２のデータストリームに関連付けられた第２の時間オフセットを使用して、第１のデータストリームのパケットを第２のデータストリームのパケットと時間的に整合させるステップと、
整合された第１のデータストリームのパケットおよび第２のデータストリームのパケットに、第１のデータストリームおよび第２のデータストリームの元来の提示時間とは関係なく、共通の提示時間を適用するステップと
を含んでいる。
【0005】
典型的に、データストリームは、ビデオ、オーディオまたはデータ（たとえば、字幕または分析データ）のストリームを備えている。
【0006】
一般的に、伝送は、放送、たとえばビデオ放送、オーディオ放送またはマルチメディア（データを含む）伝送を含む。
【0007】
開始基準時間は、デイスタンプの時間（たとえば、２０２１年３月１日９時３１分１０秒５ミリ秒）、その導関数（たとえば、デイスタンプの時間からの増分）または選択された任意の時間であってよい。
【0008】
好ましくは、時間オフセットは、増分に関して、またはデイスタンプの時間を比較することによって決定される。
【0009】
典型的に、処理装置はサーバである。
【0010】
一般的に、記録または生成装置は、ビデオレコーダ、マイクロフォンまたはデータを生成する装置である。
【0011】
任意選択的に、第１の記録または生成装置および第２の記録または生成装置は、記録またはデータ生成の間に、デイスタンプの時間または時間オフセットを各パケットに適用する。代替的に、第１の記録または生成装置および第２の記録または生成装置は、第１のデータストリームおよび第２のデータストリームを処理装置に伝送し、処理装置は、第１のデータストリームおよび第２のデータストリームの受け取りに応じて、受け取った第１のデータストリームのパケットおよび第２のデータストリームのパケットにデイスタンプの時間または時間オフセットを適用する。
【0012】
好ましくは、デイスタンプの時間は、（限定ではなく）ＧＰＳタイムスタンプ、ＮＴＰサーバタイムスタンプ、手動で作成されたタイムスタンプなどを含む。
【0013】
典型的に、処理装置は、第１のデータストリームのパケットと第２のデータストリームのパケットとを時間的に整合させ、共通の提示時間をこれらのパケットに適用する。
【0014】
一般的に、処理装置は、（共通の提示時間を有する）第１のデータストリームのパケットと第２のデータストリームのパケットとを、表示のためにリモート装置（たとえば、コンピュータ、ＴＶ、スマートフォン）に伝送し、これらのリモート装置は、時刻または時間オフセットスタンプの時間ではなく、提示時間を処理することができる。
【0015】
好ましくは、開始基準時間は、伝送された第１のデータストリームおよび第２のデータストリームの第１のパケットのデイスタンプの時間に関連付けられている。
【0016】
処理装置は、１つの処理装置であってよい。代替的に、処理装置は、開始基準時間によって同期される第１の処理装置および第２の処理装置であってよい。
【0017】
任意選択的に、開始基準時間は、第３のデータストリームを受け取る第２の処理装置によって同期され、その結果、第２の処理装置は、第３のデータストリームを第１のデータストリームおよび第２のデータストリームと時間的に整合させることができる。
【0018】
次に、添付の図面を参照して、単なる例として、本発明をより詳細に説明する。
【図面の簡単な説明】
【0019】
【図1】時間同期されたデータフィードを概略的に示す図である。
【0020】
発明の説明
図面の図３および図５に関連して、放送（たとえば、ビデオ放送、オーディオ放送または（データを含む）マルチメディア伝送）を伝送するための、時間同期されたマルチストリームデータ伝送を提供する方法は、
・第１の記録または生成装置２２（たとえば、ビデオレコーダ、マイクロフォンまたはデータを生成する装置）；
・第２の記録または生成装置２４（たとえば、ビデオレコーダ、マイクロフォンまたはデータを生成する装置）；および
・処理装置２６（たとえば、サーバ）
を含むシステムを利用する。
図面の図３および図５に関連して、放送（たとえば、ビデオ放送、オーディオ放送または（データを含む）マルチメディア伝送）を伝送するための、時間同期されたマルチストリームデータ伝送を提供する方法は、
・第１の記録または生成装置２２（たとえば、ビデオレコーダ、マイクロフォンまたはデータを生成する装置）；
・第２の記録または生成装置２４（たとえば、ビデオレコーダ、マイクロフォンまたはデータを生成する装置）；および
・処理装置２６（たとえば、サーバ）
を含むシステムを利用する。
【0021】
第１の記録または生成装置または第２の記録または生成装置２２は、データストリーム１２，１４，１６または１８を生成する装置である。そのような装置の例は、カメラビュー角度からフレームを捕捉して、このコンテンツを伝送するためのデータストリームを作成するビデオエンコーダである。
【0022】
本発明による、時間同期されたマルチストリームデータ伝送を提供する方法は、次のステップを含んでいる：
【0023】
１．第１のデータストリーム１６のフレームを提供するための第１の記録または生成装置２２を提供するステップ；
第１のデータストリーム１６は、ビデオ、オーディオまたはデータ（たとえば、字幕または分析データ）であってよい。
第１のデータストリーム１６は、ビデオ、オーディオまたはデータ（たとえば、字幕または分析データ）であってよい。
【0024】
２．第１のデータストリーム１６をパケットに符号化するステップであって、各第１のデータストリームのパケットは、提示時間と、所定数の第１のデータストリームのフレームとを含んでいる、ステップ；
「フレーム」は、ビデオストリーム内の１つのピクチャのデータのサンプルであるか、または所定の様式でサンプリングもしくは捕捉されたオーディオまたは他のデータのサンプルである。サンプリングレートは、通常、ビデオの場合には「１秒あたりのフレーム」によって表され、オーディオおよび他のデータの場合には「１秒あたりのサンプル」によって表される。たとえば、ビデオカメラは、１秒当たり所定数のフレームでフレームを生成する。
「符号化」は、フレームを取得し、提示時間を含む付加的な情報でフレームに記述し、伝送のためにパケットにフレームをパック／符号化する方法である。共通の符号化フォーマット（ＭＰ４、ＲＴＭＰなど）を使用した符号化によって、共通の再生装置が、エンドユーザへの再生のために、フレームにパケットをアンパック／復号化することが可能になる。
「パケット」は、符号化によって生成される。パケットは、サンプルデータの１つのフレームまたは複数のフレームと、サンプルデータを記述するための付加的な情報、たとえば提示時間とを包含する。
「提示時間」は、パケットに含まれるビデオ、オーディオまたはデータをエンドユーザに提示する時間を記述するために、各パケット内に包含されているタイムスタンプである。提示時間は、典型的に、データストリームの開始から経過した絶対時間であり、これは、ストリームの開始時間での提示時間が典型的にはゼロであり、ストリーム中の各パケットのストップウォッチのように増分することを意味する。提示時間は、記録または生成装置によってフレームがサンプリングされた時間の提示である。
「フレーム」は、ビデオストリーム内の１つのピクチャのデータのサンプルであるか、または所定の様式でサンプリングもしくは捕捉されたオーディオまたは他のデータのサンプルである。サンプリングレートは、通常、ビデオの場合には「１秒あたりのフレーム」によって表され、オーディオおよび他のデータの場合には「１秒あたりのサンプル」によって表される。たとえば、ビデオカメラは、１秒当たり所定数のフレームでフレームを生成する。
「符号化」は、フレームを取得し、提示時間を含む付加的な情報でフレームに記述し、伝送のためにパケットにフレームをパック／符号化する方法である。共通の符号化フォーマット（ＭＰ４、ＲＴＭＰなど）を使用した符号化によって、共通の再生装置が、エンドユーザへの再生のために、フレームにパケットをアンパック／復号化することが可能になる。
「パケット」は、符号化によって生成される。パケットは、サンプルデータの１つのフレームまたは複数のフレームと、サンプルデータを記述するための付加的な情報、たとえば提示時間とを包含する。
「提示時間」は、パケットに含まれるビデオ、オーディオまたはデータをエンドユーザに提示する時間を記述するために、各パケット内に包含されているタイムスタンプである。提示時間は、典型的に、データストリームの開始から経過した絶対時間であり、これは、ストリームの開始時間での提示時間が典型的にはゼロであり、ストリーム中の各パケットのストップウォッチのように増分することを意味する。提示時間は、記録または生成装置によってフレームがサンプリングされた時間の提示である。
【0025】
３．第２のデータストリーム１８のフレームを提供するための第２の記録または生成装置２２を提供するステップ；
同様に、第２のデータストリーム１８は、ビデオ、オーディオまたはデータ（たとえば、字幕または分析データ）であってよい。
同様に、第２のデータストリーム１８は、ビデオ、オーディオまたはデータ（たとえば、字幕または分析データ）であってよい。
【0026】
４．第２のデータストリーム１８をパケットに符号化するステップであって、各第２のデータストリームのパケットは、提示時間と、所定数の第２のデータストリームのフレームとを含んでいる、ステップ；
【0027】
５．第１のデータストリーム１６および第２のデータストリーム１８を処理装置２４に伝送するステップ；
「処理装置」２４は、中央サーバ、分散サーバまたはコンピューティング装置（カメラ電話など）を含むことができるが、これらに限定されない。処理装置２４は、記録または生成装置と同じ装置であってもよい。
「処理装置」２４は、中央サーバ、分散サーバまたはコンピューティング装置（カメラ電話など）を含むことができるが、これらに限定されない。処理装置２４は、記録または生成装置と同じ装置であってもよい。
【0028】
６．共通の開始基準時間（すなわち、同じ開始基準時間）を、伝送された第１のデータストリーム１６および第２のデータストリーム１８の第１のパケットに関連付けるステップ；
たとえば、第１のデータストリーム１６または第２のデータストリーム１８が開始される場合、開始基準時間は、伝送されたそのような第１のデータストリーム１６または第２のデータストリーム１８の第１のパケットのデイスタンプの時間（たとえば、２０２１年３月１日９時３１分１０秒５ミリ秒）に設定され得る。代替的に、開始基準をデイスタンプの時間に設定する代わりに、開始基準時間を、開始基準時間の導関数（たとえば、デイスタンプの時間からの増分）または選択された任意の時間に設定してよい。
デイスタンプの時間は、（限定ではなく）ＧＰＳタイムスタンプ、ＮＴＰサーバタイムスタンプ、手動で作成されたタイムスタンプなどを含むこともできる。
たとえば、第１のデータストリーム１６または第２のデータストリーム１８が開始される場合、開始基準時間は、伝送されたそのような第１のデータストリーム１６または第２のデータストリーム１８の第１のパケットのデイスタンプの時間（たとえば、２０２１年３月１日９時３１分１０秒５ミリ秒）に設定され得る。代替的に、開始基準をデイスタンプの時間に設定する代わりに、開始基準時間を、開始基準時間の導関数（たとえば、デイスタンプの時間からの増分）または選択された任意の時間に設定してよい。
デイスタンプの時間は、（限定ではなく）ＧＰＳタイムスタンプ、ＮＴＰサーバタイムスタンプ、手動で作成されたタイムスタンプなどを含むこともできる。
【0029】
７．第１のストリームの開始時間を、伝送された第１のデータストリーム１６の第１のパケットに割り当て、第２のストリームの開始時間を、伝送された第２のデータストリーム１８の第１のパケットに割り当てるステップ；
「ストリームの開始時間」は、ストリームが開始された時間であり、これは時刻によって決定され得るか、または開始基準時間から経過した相対的な時間として測定され得る。ストリームの開始時間は、記録または生成装置によって決定され得る。代替的に、ストリームの第１のパケットを受け取ったときに、処理装置によってストリームの開始時間が決定され得る。さらに代替的に、ストリームの開始時間は、記録または生成装置と処理装置との間の相互作用によって決定され得る。
「ストリームの開始時間」は、ストリームが開始された時間であり、これは時刻によって決定され得るか、または開始基準時間から経過した相対的な時間として測定され得る。ストリームの開始時間は、記録または生成装置によって決定され得る。代替的に、ストリームの第１のパケットを受け取ったときに、処理装置によってストリームの開始時間が決定され得る。さらに代替的に、ストリームの開始時間は、記録または生成装置と処理装置との間の相互作用によって決定され得る。
【0030】
８．開始基準時間からの第１の時間オフセットおよび第１のデータストリーム１６の開始時間を（直接的または間接的に）第１のデータストリーム１６の各後続パケットに関連付け、開始基準時間からの第２の時間オフセットおよび第２のデータストリーム１８の開始時間を（直接的または間接的に）第２のデータストリーム１８の各後続パケットに関連付けるステップ；
「時間オフセット」は、データストリームのストリームの開始時間と開始基準時間との間に決定される時間差である。これは、増分に関して、またはデイスタンプの時間を比較することによって決定されてよい。
任意選択的に、第１の記録または生成装置および第２の記録または生成装置２２は、記録またはデータ生成の間に、デイスタンプの時間または時間オフセットを各パケットに適用する。代替的に、第１の記録または生成装置および第２の記録または生成装置２２は、第１のデータストリームおよび第２のデータストリームを処理装置２４に伝送し、処理装置２４は、第１のデータストリーム１６および第２のデータストリームおよび１８の受け取りに応じて、受け取った第１のデータストリームのパケットおよび第２のデータストリームのパケットにデイスタンプの時間または時間オフセットを適用する。
好ましくは、開始基準時間および関連するストリームの開始時間に関する時間オフセットは、処理装置２４によって決定される。
「時間オフセット」は、データストリームのストリームの開始時間と開始基準時間との間に決定される時間差である。これは、増分に関して、またはデイスタンプの時間を比較することによって決定されてよい。
任意選択的に、第１の記録または生成装置および第２の記録または生成装置２２は、記録またはデータ生成の間に、デイスタンプの時間または時間オフセットを各パケットに適用する。代替的に、第１の記録または生成装置および第２の記録または生成装置２２は、第１のデータストリームおよび第２のデータストリームを処理装置２４に伝送し、処理装置２４は、第１のデータストリーム１６および第２のデータストリームおよび１８の受け取りに応じて、受け取った第１のデータストリームのパケットおよび第２のデータストリームのパケットにデイスタンプの時間または時間オフセットを適用する。
好ましくは、開始基準時間および関連するストリームの開始時間に関する時間オフセットは、処理装置２４によって決定される。
【0031】
９．第１のデータストリーム１６に関連付けられた第１の時間オフセットを使用し、かつ第２のデータストリーム１８に関連付けられた第２の時間オフセットを使用して、第１のデータストリーム１６のパケットを第２のデータストリーム１８のパケットと時間的に整合させるステップ；
第１のデータストリーム１６および第２のデータストリーム１８の各パケットは、「元来の提示時間」（すなわち、時間的な整合の前の固有の提示時間）を有する。これは、記録または生成装置２２によって元来、決定された提示時間である。
「時間的な整合」は、このような第２のデータストリームのパケットと同時の第１のデータストリームのパケットとの時間的な整合のために、計算された時間オフセットを元来の提示時間に加算することによって、第２のデータストリームパケットの元来の提示時間を調整する方法である。
処理装置２４は、第２のデータストリーム１８パケットの元来の提示時間の時間的な整合を行う。
第１のデータストリーム１６および第２のデータストリーム１８の各パケットは、「元来の提示時間」（すなわち、時間的な整合の前の固有の提示時間）を有する。これは、記録または生成装置２２によって元来、決定された提示時間である。
「時間的な整合」は、このような第２のデータストリームのパケットと同時の第１のデータストリームのパケットとの時間的な整合のために、計算された時間オフセットを元来の提示時間に加算することによって、第２のデータストリームパケットの元来の提示時間を調整する方法である。
処理装置２４は、第２のデータストリーム１８パケットの元来の提示時間の時間的な整合を行う。
【0032】
１０．整合された第１のデータストリームのパケットおよび第２のデータストリームのパケットに、第１のデータストリーム１６および第２のデータストリーム１８の元来の提示時間とは関係なく、共通の提示時間を適用するステップ；
「共通の提示時間」は、単純に、データストリームのパケットの元来の提示時間を時間オフセットに加算した結果であり得る。
「共通の提示時間」は、時間的に整合された第１のデータストリームのパケットおよび第２のデータストリームのパケットの元来の提示時間に置き換わる。これによって、時間的に整合された第１のデータストリーム１６のパケットおよび第２のデータストリーム１８のパケットが、他のデータストリーム１２および１４のパケットと時間同期されることが可能になる。
元来の提示時間を共通の提示時間に置き換えることは、処理装置２４によって行われる。
「共通の提示時間」は、単純に、データストリームのパケットの元来の提示時間を時間オフセットに加算した結果であり得る。
「共通の提示時間」は、時間的に整合された第１のデータストリームのパケットおよび第２のデータストリームのパケットの元来の提示時間に置き換わる。これによって、時間的に整合された第１のデータストリーム１６のパケットおよび第２のデータストリーム１８のパケットが、他のデータストリーム１２および１４のパケットと時間同期されることが可能になる。
元来の提示時間を共通の提示時間に置き換えることは、処理装置２４によって行われる。
【0033】
時間同期されたマルチストリームデータ伝送を提供する方法は、典型的に、（処理装置によって）第１のデータストリームのパケットおよび第２のデータストリームのパケット（共通の提示時間を有する）を、表示のためにリモート装置２０（たとえば、コンピュータ、ＴＶ、スマートフォン）に伝送するさらなるステップを含み、これらのリモート装置２０は、時刻または時間オフセットスタンプの時間ではなく、提示時間を処理することができる。
【0034】
「伝送」とは、データストリームの分配を意味することを意図する。たとえば、ビデオデータストリーム伝送は、自身のビデオプレーヤでビデオを視聴するエンドユーザへのビデオコンテンツの分配放送を備え得る。伝送は、サーバ上で生成され、エンドユーザに分配されるデータストリームも含み得る。
【0035】
処理装置２４が１つの処理装置であり得ることが理解されよう。代替的に、処理装置は、開始基準時間によって同期される第１の処理装置および第２の処理装置であってよい。
【0036】
さらに、開始基準時間は、第３のデータストリームを受け取る第２の処理装置２４によって同期されてよく、それによって、第２の処理装置は、第３のデータストリームを第１のデータストリーム１６および第２のデータストリーム１８と時間的に整合させることができる。
【0037】
時間同期されたマルチストリームデータ伝送を提供する方法については、以降で例を用いてさらに説明する。
【0038】
スポーツイベントにおけるビデオ放送装置は、典型的に、複数のカメラ２２を使用して対戦を記録し、各カメラは、異なる視野角からゲームプレイを捕捉する。これらの視野角は、１つの放送ビデオフィードに編集され、この１つの放送ビデオフィードは、エンドユーザに伝送され、エンドユーザは、自身のラップトップまたはモバイル装置２０上で家庭においてこのライブビデオストリームを視聴することができる。
【0039】
ビデオ放送装置が、３つの異なる視野角をマルチビュー放送ストリームとして放送することを望む場合があり、これによって、視聴者が家庭において自身の視野角を自身で変更し、利用可能なビデオストリームから、この対戦の視聴方法を選択することができる。
【0040】
このシナリオでは、エンドユーザによる良好な視聴体験を保証するために、これらのビデオストリームが時間同期されていることを保証することが重要であり、かつ望ましい。
【0041】
図１は、（本発明による方法を使用しない）時間同期されたデータフィードを示している。この例では、第１のビデオデータストリーム１１２は１３：００にストリーミングを開始し、第２のビデオデータストリーム１１４は１３：０２にストリーミングを開始し、第３のビデオデータストリーム１１６は１３：０５にストリーミングを開始する。データストリームの提示時間を、データストリームが開始する時間に開始されるストップウォッチの開始時間にたとえることができ、この開始時間はゼロの絶対時間から開始される。
【0042】
各別個のビデオフィードがストリーミングを開始すると、それらの提示時間はすべてゼロで開始し、ただしそれらの実際の開始時刻は異なっており、ビデオストリームに関連付けられたメタデータに記録され得る。
【0043】
時間的な整合が行われない場合、ビデオデータストリーム１１２，１１４および１１６は、それらの元来の提示時間に従ってリモート装置１２０上で再生されることになり、その結果、図２に示されているように、リモート装置１２０上でこれらのビデオデータストリームが不所望に非同期で再生されることになる。
【0044】
ビデオデータストリームを、そのビデオデータストリームのパケット内の提示時間に基づいて再生する現在のビデオプレーヤ２０の欠点に対処するために、本発明による方法は、データストリームを次のように、図３に示すように処理する：
・第１のデータストリーム１２が１３：００に開始されるとき、開始基準時間が作成され、処理装置２４によって保存される。
・第１のビデオデータストリーム１６および別個のオーディオデータストリーム１４が１３：０２に開始されるとき、これらの後者のビデオデータストリーム１６およびオーディオデータストリーム１４が開始基準時間を００：０２遅らせるので、それらのパケット提示時間が００：０２の時間オフセットで変更される。
・第２のビデオデータストリーム１８が１３：０５に開始されるとき、そのパケット提示時間が００：０５の時間オフセットだけ変更される。
・第１のデータストリーム１２が１３：００に開始されるとき、開始基準時間が作成され、処理装置２４によって保存される。
・第１のビデオデータストリーム１６および別個のオーディオデータストリーム１４が１３：０２に開始されるとき、これらの後者のビデオデータストリーム１６およびオーディオデータストリーム１４が開始基準時間を００：０２遅らせるので、それらのパケット提示時間が００：０２の時間オフセットで変更される。
・第２のビデオデータストリーム１８が１３：０５に開始されるとき、そのパケット提示時間が００：０５の時間オフセットだけ変更される。
【0045】
その結果、すべてのデータストリーム１２，１４，１６および１８（データ、ビデオおよびオーディオ）が視聴者のリモート装置２０（たとえば、ビデオプレーヤおよび関連する再生装置）に分配される前に、互いに整合される。図４を参照すると、視聴者のリモート装置２０が、複数のデータストリーム１２，１４，１６および１８を同時に再生するために付加的なクライアント側の同期を必要としないことが理解されよう。なぜなら、データストリーム１２，１４，１６および１８は、分配前に処理装置上で同期されているからである。
【0046】
開始基準時間およびデータストリームの開始時間に戻る：
開始基準時間およびデータストリームの開始時間は、いくつかの手法で決定され得る。典型的に、これらは、捕捉された時刻のタイムスタンプを備える。代替的に、これらを、多くのディジタル／コンピューティング装置内に存在するフリーランニングクロック／タイマからのタイムスタンプとして捕捉することができる。フリーランニングタイマは、時刻とは無関係であるが、開始基準時間とデータストリームの開始時間との間の時間オフセットを決定するための基準点として用いることができる。いくつかのシナリオを以降で説明する。
開始基準時間およびデータストリームの開始時間は、いくつかの手法で決定され得る。典型的に、これらは、捕捉された時刻のタイムスタンプを備える。代替的に、これらを、多くのディジタル／コンピューティング装置内に存在するフリーランニングクロック／タイマからのタイムスタンプとして捕捉することができる。フリーランニングタイマは、時刻とは無関係であるが、開始基準時間とデータストリームの開始時間との間の時間オフセットを決定するための基準点として用いることができる。いくつかのシナリオを以降で説明する。
【0047】
シナリオ１－第１のデータストリームの第１のパケットからの時間を使用する：
処理装置２４が、第１のデータストリームの第１のパケットを受け取ると、タイムスタンプが、第１のデータストリームの開始時間と同じ開始基準時間として捕捉される。時刻を使用して捕捉される場合、１３：００の例が開始基準時間として使用される。フリーランニングタイマを使用して捕捉される場合、００：００の値でタイマが開始される。
開始基準時間（時刻として）＝１３：００
開始基準時間（タイマとして）＝００：００
第１のデータストリームの開始時間（時刻として）＝１３：００
第１のデータストリームの開始時間（タイマとして）＝００：００
処理装置２４が、第１のデータストリームの第１のパケットを受け取ると、タイムスタンプが、第１のデータストリームの開始時間と同じ開始基準時間として捕捉される。時刻を使用して捕捉される場合、１３：００の例が開始基準時間として使用される。フリーランニングタイマを使用して捕捉される場合、００：００の値でタイマが開始される。
開始基準時間（時刻として）＝１３：００
開始基準時間（タイマとして）＝００：００
第１のデータストリームの開始時間（時刻として）＝１３：００
第１のデータストリームの開始時間（タイマとして）＝００：００
【0048】
第１のデータストリームに対する時間オフセットは、第１のデータストリームが開始基準時間と見なされたため、００：００である。
【0049】
処理装置２４が、第２のストリームの第１のパケットを受け取ると、タイムスタンプが、第２のデータストリームの開始時間として捕捉される。時刻を使用して捕捉される場合、１３：０２の例が第２のデータストリームの開始時間として使用される。フリーランニングタイマを使用して捕捉される場合、第１のデータストリームの第１のパケットの受け取り時に開始されたタイマが時を刻み続け、現在では値００：０２である。
第２のデータストリームの開始時間（時刻として）＝１３：０２
第２のデータストリームの開始時間（タイマとして）＝００：０２
第２のデータストリームの開始時間（時刻として）＝１３：０２
第２のデータストリームの開始時間（タイマとして）＝００：０２
【0050】
したがって、第２のデータストリームに対する時間オフセットは００：０２である。これは、時刻の差を減算するか、またはフリーランニングタイマの値を読み取るかのいずれかによって計算される。
【0051】
シナリオ２－第２のデータストリームの第１のパケットからの時間を使用する：
シナリオ１に詳述されている例は、第２のデータストリームが処理装置に最初に到達し、開始基準時間として使用される場合には、逆に適用可能である。以降の時間を想定する：
開始基準時間（時刻として）＝１４：０５
開始基準時間（タイマとして）＝００：００
第２のデータストリームの開始時間（時刻として）＝１４：０５
第２のデータストリームの開始時間（タイマとして）＝００：００
シナリオ１に詳述されている例は、第２のデータストリームが処理装置に最初に到達し、開始基準時間として使用される場合には、逆に適用可能である。以降の時間を想定する：
開始基準時間（時刻として）＝１４：０５
開始基準時間（タイマとして）＝００：００
第２のデータストリームの開始時間（時刻として）＝１４：０５
第２のデータストリームの開始時間（タイマとして）＝００：００
【0052】
第２のデータストリームに対する時間オフセットは、第２のデータストリームが開始基準時間と見なされたため、００：００である。
【0053】
第１のデータストリームは、その後、処理装置２４に到達する。
第１のデータストリームの開始時間（時刻として）＝１４：１０
第１のデータストリームの開始時間（タイマとして）＝００：０５
第１のデータストリームの開始時間（時刻として）＝１４：１０
第１のデータストリームの開始時間（タイマとして）＝００：０５
【0054】
したがって、第１のデータストリームに対する時間オフセットは００：０５である。これは、時刻の差を減算するか、またはフリーランニングタイマの値を読み取るかのいずれかによって計算される。
【0055】
シナリオ３－任意の開始基準時間からの時間を使用する：
このシナリオでは、任意の時間、たとえば、伝送または放送の開始のために設定されている所定の時間に開始基準時間が設定される。次いで、開始基準時間が命令によって設定され、この命令は、人間の相互作用によって、または「開始基準時間を今に設定する」様式で、コンピューティング装置間で命令を計算することによって行われ得る。
このシナリオでは、任意の時間、たとえば、伝送または放送の開始のために設定されている所定の時間に開始基準時間が設定される。次いで、開始基準時間が命令によって設定され、この命令は、人間の相互作用によって、または「開始基準時間を今に設定する」様式で、コンピューティング装置間で命令を計算することによって行われ得る。
【0056】
開始基準時間は、１５：００の時刻であることが多い「今」に指示される。または、フリーランニングタイマが００：００で開始される。
【0057】
第１のデータストリームの第１のパケットは１５：０２に捕捉され、またはタイマ値は００：０２に捕捉される。第２のデータストリームの第１のパケットは１５：０８に捕捉され、またはタイマ値は００：０８に捕捉される。
開始基準時間（時刻として）＝１５：００
開始基準時間（タイマとして）＝００：００
第１のデータストリームの開始時間（時刻として）＝１５：０２
第１のデータストリームの開始時間（タイマとして）＝００：０２
第２のデータストリームの開始時間（時刻として）＝１５：０８
第２のデータストリームの開始時間（タイマとして）＝００：０８
開始基準時間（時刻として）＝１５：００
開始基準時間（タイマとして）＝００：００
第１のデータストリームの開始時間（時刻として）＝１５：０２
第１のデータストリームの開始時間（タイマとして）＝００：０２
第２のデータストリームの開始時間（時刻として）＝１５：０８
第２のデータストリームの開始時間（タイマとして）＝００：０８
【0058】
したがって、第１のデータストリームに対する時間オフセットは００：０２である。これは、時刻の差を減算するか、またはフリーランニングタイマの値を読み取るかのいずれかによって計算される。
【0059】
したがって、第２のデータストリームに対する時間オフセットは００：０８である。これは、時刻の差を減算するか、またはフリーランニングタイマの値を読み取るかのいずれかによって計算される。
【0060】
自明のとおり、開始基準時間を作成し、開始基準時間に対する時間オフセットを用いて、すべての付加的なデータストリームのパケットの提示時間を共通の提示時間に変更することによって、すべてのデータストリームが処理装置２４において時間同期されて維持される。これは、マルチビュー放送などのアプリケーションにおいて複数の利点を有しており、ここではエンドユーザ側／クライアント側で別個の時間オフセットクロックを管理する複雑さを伴わずに、ビデオデータストリームを互いに同期させ、かつ付加的なデータストリーム（たとえば、スポーツ分析データストリームおよびオーディオストリーム）に同期させ続けることができる。
【0061】
複数のデータストリームが時間的に整合され、同期された再生のためにエンドユーザアプリケーションに分配される典型的なサーバ環境に処理装置を含めることが可能であることも理解されるであろう。
【0062】
さらに、分散型コンピューティングによって、各々が各自の別個のデータストリームを用いて、異なる地理的位置における複数の処理装置にわたって開始基準時間を同期させることができることが理解されるであろう。このことは、地理的に分散した複数の異なる領域からのオーディオ、ビデオおよびデータストリームを時間同期様式で結合する必要がある状況において有利になり得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【国際調査報告】