(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-10
(54)【発明の名称】VR放送ストリームを通じたテレプレゼンス
(51)【国際特許分類】
H04N 21/431 20110101AFI20240903BHJP
【FI】
H04N21/431
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024506971
(86)(22)【出願日】2022-08-05
(85)【翻訳文提出日】2024-02-05
(86)【国際出願番号】 IB2022057318
(87)【国際公開番号】W WO2023012745
(87)【国際公開日】2023-02-09
(32)【優先日】2021-08-06
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2022-01-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100092093
【氏名又は名称】辻居 幸一
(74)【代理人】
【識別番号】100109070
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100141553
【氏名又は名称】鈴木 信彦
(72)【発明者】
【氏名】キャンデロア ブラント
(72)【発明者】
【氏名】ゴールドバーグ アダム
(72)【発明者】
【氏名】アンスフィールド フレッド
(72)【発明者】
【氏名】クリフト グラハム
(72)【発明者】
【氏名】ピネダ ローレン
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA04
5C164FA05
5C164GA07
5C164UB01S
5C164UB41S
5C164UB81P
5C164YA11
(57)【要約】
次世代放送テレビサービスを確実に提供する上で高度テレビシステム委員会(ATSC)3.0テレビプロトコルを拡張及び/又は改善する技術について説明する。オーバージエア(OTA)仮想現実(VR)放送ストリームを通じてテレプレゼンスを提供する。
【選択図】
図6
【特許請求の範囲】
【請求項1】
少なくとも1つの受信機が放送信号を受信できるデジタルテレビにおいて、
少なくとも第1の放送ビデオ信号を受信することと、
前記第1の放送ビデオ信号内のコンテンツを少なくとも1つのフラットディスプレイ上に表示することと、
前記コンテンツの180°/360°ビデオを少なくとも1つのディスプレイ上に提示することと、
少なくとも1つのコマンドに応答して、前記少なくとも1つのディスプレイ上で前記180°/360°ビデオをパンすることと、
を含むことを特徴とする方法。
【請求項2】
前記少なくとも1つのディスプレイは、仮想現実(VR)ヘッドセットを含む、
請求項1に記載の方法。
【請求項3】
前記少なくとも1つのディスプレイは、前記フラットディスプレイを含む、
請求項1に記載の方法。
【請求項4】
前記180°/360°ビデオは第1の放送ビデオストリームで受信され、前記第1の放送ストリームは前記コンテンツの他のビデオを含まず、前記パンすることは、前記フラットディスプレイ上でビデオをパンすることを含む、
請求項1に記載の方法。
【請求項5】
前記180°/360°ビデオは第1の放送ビデオストリームで受信され、前記第1の放送ストリームは前記コンテンツの他のビデオを含まず、前記180°/360°ビデオは、前記フラットディスプレイ上に下位互換コンテンツビューとしてのフラットビデオとして提示される、
請求項1に記載の方法。
【請求項6】
前記180°/360°ビデオは第1の放送ビデオストリームで受信され、前記第1の放送ビデオストリーム内のコンテンツが前記フラットディスプレイ上に提示され、前記方法は、前記コンテンツを前記フラットディスプレイから前記VRヘッドセットに送信することを含む、
請求項2に記載の方法。
【請求項7】
前記180°/360°ビデオは第1の放送ビデオストリームで受信され、前記第1の放送ビデオストリーム内のコンテンツが前記フラットディスプレイ上に提示され、前記方法は、前記コンテンツを前記フラットディスプレイを経由せずに前記VRヘッドセットに送信することを含む、
請求項2に記載の方法。
【請求項8】
前記180°/360°ビデオは、該180°/360°ビデオ内のコンテンツのフラットフィードと共に第1の放送ビデオストリームで受信される、
請求項1に記載の方法。
【請求項9】
前記180°/360°ビデオは、オーバーザトップ(OTT)ソースから受信される、
請求項1に記載の方法。
【請求項10】
前記デジタルテレビ受信機は、高度テレビシステム委員会(ATSC)3.0受信機を含む、
請求項1に記載の方法。
【請求項11】
少なくとも第1の放送ビデオ信号を受信し、
前記第1の放送ビデオ信号内のコンテンツを少なくとも1つのフラットディスプレイ上に提示し、
前記コンテンツの180°/360°ビデオを少なくとも1つのディスプレイ上に提示し、
少なくとも1つのコマンドに応答して、前記少なくとも1つのディスプレイ上で前記180°/360°ビデオをパンする、
ように構成された少なくとも1つの受信機アセンブリを備える、
ことを特徴とする装置。
【請求項12】
前記少なくとも1つのディスプレイは、仮想現実(VR)ヘッドセットを含む、
請求項11に記載の装置。
【請求項13】
前記少なくとも1つのディスプレイは、前記フラットディスプレイを含む、
請求項11に記載の装置。
【請求項14】
前記180°/360°ビデオは第1の放送ビデオストリームで受信され、前記第1の放送ストリームは前記コンテンツの他のビデオを含まず、前記パンは、前記フラットディスプレイ上でビデオをパンすることを含む、
請求項11に記載の装置。
【請求項15】
前記180°/360°ビデオは第1の放送ビデオストリームで受信され、前記第1の放送ストリームは前記コンテンツの他のビデオを含まず、前記180°/360°ビデオは、前記フラットディスプレイ上に下位互換コンテンツビューとしてのフラットビデオとして提示される、
請求項11に記載の装置。
【請求項16】
前記180°/360°ビデオは第1の放送ビデオストリームで受信され、前記第1の放送ビデオストリーム内のコンテンツが前記フラットディスプレイ上に提示され、前記命令は、前記コンテンツを前記フラットディスプレイから前記VRヘッドセットに送信するように実行可能である、
請求項12に記載の装置。
【請求項17】
前記180°/360°ビデオは第1の放送ビデオストリームで受信され、前記第1の放送ビデオストリーム内のコンテンツが前記フラットディスプレイ上に提示され、前記命令は、前記コンテンツを前記フラットディスプレイを経由せずに前記VRヘッドセットに送信するように実行可能である、
請求項12に記載の装置。
【請求項18】
前記180°/360°ビデオは、該180°/360°ビデオ内のコンテンツのフラットフィードと共に第1の放送ビデオストリームで受信される、
請求項11に記載の装置。
【請求項19】
前記180°/360°ビデオは、オーバーザトップ(OTT)ソースから受信される、
請求項11に記載の装置。
【請求項20】
デジタルテレビ装置であって、
命令をプログラムされた少なくとも1つのプロセッサを含む少なくとも1つの受信機を備え、前記命令は、
イベントのフラットビデオをメインディスプレイ上に表示し、
前記イベントの180度又は360度(180°又は360°)ビデオを仮想現実(VR)ヘッドセット上に表示する、
ように前記プロセッサを構成する、
ことを特徴とするデジタルテレビ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、デジタルテレビを対象とする、必然的にコンピュータ技術に根ざした技術的進歩に関し、具体的には高度テレビシステム委員会(ATSC)3.0に関する。
【背景技術】
【0002】
高度テレビシステム委員会(ATSC)3.0規格群は、A/300に示されている、次世代放送テレビを配信するための数多くの業界技術標準の組である。ATSC3.0は、超高精細テレビから無線電話機までの数多くの受信装置に対するテレビ放送ビデオ(televised video)、双方向サービス、非リアルタイムデータ配信、及び的を絞った広告(tailored advertising)などの幅広いテレビサービスの提供をサポートする。ATSC3.0は、(「オーバージエア(Over the Air)」又はOTAと呼ばれる)放送コンテンツと(「オーバーザトップ(Over the Top)」又はOTTと呼ばれる)関連するブロードバンド配信コンテンツ及びサービスとの間の協調も取りまとめる。ATSC3.0は、技術の進化と共にいずれかの関連する技術標準を全面的に見直す必要なく容易に進歩を組み込むことができるような柔軟性を有するように設計されている。
【発明の概要】
【課題を解決するための手段】
【0003】
PC、タブレット又はスマートフォン上では、マウス又はタッチ画面を使用して、180度/360度(180°/360°)視野、4K又は8K又はそれよりも高い解像度のビデオをパンすることができる。ゴーグルを使用すれば、ハンドコントローラ又は頭部の動きによってビデオをパンすることができる。VRゴーグルは、ゴーグル内に表示された画像をパンするために頭部の自然な回転又は傾きを検知して、まるで「テレポート」しているかのようにその場に存在する感覚をもたらすことができる。
【0004】
本明細書では、180/360ビデオはモノスコピック又はステレオスコピックであることができると想定する。本明細書で使用するフラットディスプレイは、モノスコピックビデオ又はステレオスコピックビデオを提示することができ、ステレオスコピックビデオは3Dビデオをレンダリングするために使用され、モノスコピックビデオは典型的には2Dビデオであると考えられる。本明細書で使用する「フラットディスプレイ」又は「フラットビデオ」は、受信解像度が何であろうと、処理される画像全体が典型的には16×9のアスペクト比の表示に限定され、パニング能力がないビデオを意味する。従って、「フラット」ビデオは、180/360ビデオの「メインビュー」ビデオであると考えることができる。「メインビュー」ビデオは、監督又はコンテンツ制作者がユーザの注意を集中させたい場所と考えることができる。「サラウンドビデオ」は表示されない。180/360ビデオの全体は、「フラットビデオ」+「サラウンドビデオ」で構成される。
【0005】
一例として、通常のフラットフィードに加えたライブニュースイベントの180°/360°サラウンドフィードの提供を挙げることができる。事故、竜巻、デモ、政治集会などの場所などのライブニュースイベントを、180°/360°球面表現のための360°フィードとしてゴーグル上に表示することができる。また、ライブニュースイベントだけでなく、人々及び組織を紹介するライブの「ヒューマンインタレスト」なストーリーを表示することもできる。360°フィードは、フラットフィードでは表示できないものを「見回して」確認することができるので、フィードに関するより良いアイデアを視聴者に提供することができる。ゴーグルを装着していない人々がTVで通常のフラットビデオを見ている時に、ゴーグルを装着した人々は、180°/360°サラウンドフィードをパンすることによってシーン全体をパンすることができる。180°/360°ビデオの表示をサポートしているテレビでは、リモコン装置を使用してリモコン装置上の上下左右ボタンを押すことによってパニングを遂行することができる。ビデオは、モノスコピック又はステレオスコピックであることができる。ステレオスコピックビデオはそれぞれの目に別の画像を伝えることができ、従って「3D」ビデオと呼ばれる。3Dビデオは、180°/360°ビデオでサポートすることができるが、全ての180°/360°ビデオが3Dというわけではない。本原理は、旅行者向けコンテンツ、及びコンサート、バイクレース、スノーボード又はハイキングなどの180°/360°VRで撮影されたいずれかのショー又はコンテンツにも適用される。多くのVRビデオはモノスコピックに撮影され、例えばそれぞれの目に同じコンテンツを伝え、多くの場合は焦点が無限大に設定されることにより、ユーザが3Dで体験する映像酔い(nausea)を最小限に抑える。モノスコピックビデオは、「そこにいる」ような非常に満足できる体験及びテレプレゼンスを提供することができる。
【0006】
従って、デジタルテレビ装置が、命令をプログラムされた少なくとも1つのプロセッサを含む少なくとも1つの受信機を含み、この命令は、イベントのフラットビデオをメインディスプレイ上に表示し、イベントの180度又は360度(180°又は360°)ビデオを仮想現実(VR)ヘッドセット上に表示する、ようにプロセッサを構成する。
【0007】
別の態様では、少なくとも1つの受信機が放送信号を受信できるデジタルテレビにおいて、方法が、少なくとも第1の放送ビデオ信号を受信することを含む。方法は、第1の放送ビデオ信号内のコンテンツを少なくとも1つの通常のフラットディスプレイ上に表示することと、コンテンツの180°/360°ビデオを少なくとも1つのディスプレイ上に提示することと、を含む。方法は、少なくとも1つのコマンドに応答して、少なくとも1つのディスプレイ上で180°/360°ビデオをパンすることを含む。
【0008】
いくつかの実施形態では、少なくとも1つのディスプレイが仮想現実(VR)ヘッドセットを含む。
【0009】
いくつかの実施形態では、少なくとも1つのディスプレイがフラットディスプレイを含む。
【0010】
いくつかの実装では、180°/360°ビデオが第1の放送ビデオストリームで受信され、第1の放送ストリームがコンテンツの他のビデオを含まず、パンすることは、フラットディスプレイ上でビデオをパンすることを含む。
【0011】
他の実施形態では、180°/360°ビデオが第1の放送ビデオストリームで受信され、第1の放送ストリームがコンテンツの他のビデオを含まず、180°/360°ビデオは、フラットディスプレイ上に下位互換コンテンツビューとしてのフラットビデオとして提示される。
【0012】
いくつかの実装では、180°/360°ビデオが第1の放送ビデオストリームで受信され、第1の放送ビデオストリーム内のコンテンツがフラットディスプレイ上に提示され、方法は、コンテンツをフラットディスプレイからVRヘッドセットに送信することを含む。他の実装では、180°/360°ビデオが第1の放送ビデオストリームで受信され、第1の放送ビデオストリーム内のコンテンツがフラットディスプレイ上に提示され、方法は、コンテンツをフラットディスプレイを経由せずにVRヘッドセットに送信することを含む。
【0013】
180°/360°ビデオは、180°/360°ビデオ内のコンテンツのフラットフィードと共に第1の放送ビデオストリームで受信することができる。或いは、180°/360°ビデオは、オーバーザトップ(OTT)ソースから受信することもできる。
【0014】
別の態様では、装置が、少なくとも第1の放送ビデオ信号を受信し、第1の放送ビデオ信号内のコンテンツを少なくとも1つのフラットディスプレイ上に提示する、ように構成された少なくとも1つの受信機アセンブリを含む。受信機アセンブリは、コンテンツの180°/360°ビデオを少なくとも1つのディスプレイに提示するようにも構成される。アセンブリは、少なくとも1つのコマンドに応答して、少なくとも1つのディスプレイ上で180°/360°ビデオをパンするように構成される。
【0015】
本出願の詳細は、その構造及び動作の両方に関し、同様の要素を同様の参照符号で示す添付図面を参照することで最も良く理解することができる。
【図面の簡単な説明】
【0016】
【
図1】高度テレビシステム委員会(ATSC)3.0システムを示す図である。
【
図2】
図1に示す装置のコンポーネントを示す図である。
【
図3】テレプレゼンスビデオを提供する第1の技術を示す図である。
【
図4】テレプレゼンスビデオを提供する第2の技術を示す図である。
【
図5】本原理による具体的なシステム例を示す図である。
【
図6】本原理によるロジック例をフローチャート例形式で示す図である。
【
図7】イベントのフラットビューを提示するためのもの、及びイベントの360度VRテレプレゼンスビューを提供するためのものという2つのディスプレイを備えた受信機システムを示す図である。
【
図8】360°テレプレゼンスビデオをパニング可能なフラットビデオとしてTV上に提供する第1の技術を示す図である。
【
図9】360°テレプレゼンスビデオをフラットな下位互換ビデオとしてTV上に提供する第2の技術を示す図である。
【
図10】360°テレプレゼンスビデオをTV及びVRゴーグル上に提供する第3の技術を示す図である。
【
図11】360°テレプレゼンスビデオを直接VRゴーグル上に提供する第4の技術を示す図である。
【発明を実施するための形態】
【0017】
本開示は、高度テレビシステム委員会(ATSC)3.0テレビなどのデジタルテレビの技術的進歩に関する。本明細書におけるシステム例は、互いにデータを交換できるように放送及び/又はネットワークを介して接続されたATSC3.0ソースコンポーネント及びクライアントコンポーネントを含むことができる。クライアントコンポーネントは、ポータブルテレビ(例えば、スマートTV、インターネット対応TV)、ラップトップ及びタブレットコンピュータなどのポータブルコンピュータ、並びにスマートフォン及び後述するさらなる例を含むその他のモバイル装置などの1又は2以上のコンピュータ装置を含むことができる。これらのクライアント装置は、様々な動作環境で動作することができる。例えば、クライアントコンピュータの一部は、一例としてMicrosoft社のオペレーティングシステム、又はUnixオペレーティングシステム、或いはApple Computer社又はGoogle社によって製造されたAndroid(登録商標)などのオペレーティングシステムを採用することができる。これらの動作環境は、Microsoft社、Google社又はMozillaによって作成されたブラウザ、或いは後述するインターネットサーバによってホストされたウェブサイトにアクセスできるその他のブラウジングプログラムなどの1又は2以上のブラウジングプログラムを実行するために使用することができる。
【0018】
ATSC3.0ソースコンポーネントは、放送送信コンポーネントと、インターネットなどのネットワークを介したデータ放送及び/又はデータ送信を行うようにソースコンポーネントを構成する命令を実行する1又は2以上のプロセッサを含むことができるサーバ及び/又はゲートウェイとを含むことができる。クライアントコンポーネント及び/又はローカルATSC3.0ソースコンポーネントとしては、Sony PlayStation(登録商標)などのゲーム機、パーソナルコンピュータなどを具体例として挙げることができる。
【0019】
クライアントとサーバとの間では、ネットワークを介して情報を交換することができる。この目的及びセキュリティのために、サーバ及び/又はクライアントは、ファイヤウォール、ロードバランサ、一時ストレージ、及びプロキシ、並びに真正性及びセキュリティを高めるその他のネットワークインフラを含むことができる。
【0020】
本明細書で使用する命令とは、システム内で情報を処理するためのコンピュータ実装ステップのことを意味する。命令は、ソフトウェア、ファームウェア又はハードウェアで実装することができ、システムのコンポーネントが行うあらゆるタイプのプログラムステップを含むことができる。
【0021】
プロセッサは、アドレス回線、データ回線及び制御回線などの様々な回線、並びにレジスタ及びシフトレジスタによってロジックを実行できるシングルチップ又はマルチチッププロセッサであることができる。
【0022】
フローチャートによって説明するソフトウェアモジュール、及び本明細書におけるユーザインターフェイスは、様々なサブルーチン、手続きなどを含むことができる。本開示を限定することなく、特定のモジュールによって実行されるものとして開示するロジックは、他のソフトウェアモジュールに再分配し、及び/又は単一のモジュールに組み合わせ、及び/又は共有可能なライブラリ内で利用することもできる。フローチャート形式を使用することもできるが、ソフトウェアは、状態機械又はその他の論理的方法として実装することもできると理解されたい。
【0023】
本明細書で説明する本原理は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせとして実装することができ、従って例示的なコンポーネント、ブロック、モジュール、回路及びステップについてはこれらの機能面から説明する。
【0024】
上記で示唆したものに加え、論理ブロック、モジュール及び回路は、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、又は特定用途向け集積回路(ASIC)などの他のプログラマブルロジックデバイス、離散ゲート又はトランジスタロジック、離散ハードウェアコンポーネント、又は本明細書で説明する機能を実行するように設計されたこれらのいずれかの組み合わせを使用して実装又は実行することができる。プロセッサは、コントローラ、状態機械、又はコンピュータ装置の組み合わせによって実装することができる。
【0025】
以下で説明する機能及び方法は、ソフトウェアで実装した場合、以下に限定するわけではないが、ハイパーテキストマークアップ言語(HTML)-5、Java(登録商標)/Javascript、C#、C++などの適当な言語で書くことができ、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、電気的に消去可能でプログラム可能なリードオンリメモリ(EEPROM)、コンパクトディスクリードオンリメモリ(CD-ROM)、又はデジタル多用途ディスク(DVD)などの他の光ディスクストレージ、磁気ディスクストレージ、又は取り外し可能なユニバーサルシリアルバス(USB)サムドライブなどを含む他の磁気ストレージ装置などのコンピュータ可読記憶媒体に記憶し、又はこれらを通じて伝送することができる。ある接続は、コンピュータ可読媒体を構築することができる。このような接続は、一例として、光ファイバ、同軸線、デジタル加入者回線(DSL)及びツイストペア線を含む有線ケーブルを含むことができる。
【0026】
1つの実施形態に含まれるコンポーネントは、他の実施形態においていずれかの適切な組み合わせで使用することができる。例えば、本明細書において説明する及び/又は図に示す様々なコンポーネントのいずれかは、組み合わせ、置き換え、又は他の実施形態から除外することができる。
【0027】
「A、B及びCのうちの少なくとも1つを有する(同様に、「A、B又はCのうちの少なくとも1つを有する」、及び「A、B、Cのうちの少なくとも1つを有する」)」との記載は、Aのみ、Bのみ、Cのみ、AとBの両方、AとCの両方、BとCの両方、及び/又はAとBとC全てなどを含む。
【0028】
本原理は、ディープラーニングモデルを含む様々な機械学習モデルを採用することができる。本原理による機械学習モデルは、教師あり学習、教師なし学習、半教師あり学習、強化学習、特徴学習、自己学習及びその他の学習形態を含む方法で訓練された様々なアルゴリズムを使用することができる。コンピュータ回路によって実装できるこのようなアルゴリズムの例としては、畳み込みニューラルネットワーク(CNN)、再帰型ニューラルネットワーク(RNN)、長短期記憶(LSTM)ネットワークとして知られているタイプのRNNなどの1又は2以上のニューラルネットワークが挙げられる。サポートベクターマシン(SVM)及びベイジアンネットワークも機械学習モデルの一例であると考えることができる。
【0029】
従って、本明細書で理解されるように、機械学習を実行することは、モデルがさらなるデータを処理して推論を行えるように、訓練データにアクセスした後に訓練データに基づいてモデルを訓練することを伴うことができる。従って、機械学習を通じて訓練された人工ニューラルネットワーク/人工知能モデルは、入力層と、出力層と、適切な出力に関する推論を行うように構成され重み付けされた、これらの間の複数の隠れ層とを含むことができる。
【0030】
図1を参照すると、「放送局設備」10として表記するATSC3.0ソースコンポーネントの例は、典型的には1対多の関係で直交周波数分割多重(OFDM)を介してATSC3.0テレビなどの複数の受信機14にテレビデータを無線で放送するオーバージエア(OTA)設備12を含むことができる。1又は2以上の受信機14は、Bluetooth(登録商標)、低エネルギーBluetooth、ワイヤレスHDMI、AmimonワイヤレスHDビデオリンク、その他の近距離無線通信(NFC)プロトコル、赤外線(IR)などによって実装できる、典型的には無線である短距離リンク18を介して、リモコン装置、タブレットコンピュータ、携帯電話機、Sony PlayStation(登録商標)ヘッドセットなどのコンピュータゲームヘッドセットなどのコンピュータシミュレーション180°/360°ヘッドセットなどの1又は2以上のコンパニオンデバイス16と通信することができる。
【0031】
また、受信機14のうちの1つ又は2つ以上は、インターネットなどの有線及び/又は無線ネットワークリンク20を介して放送局設備10のオーバーザトップ(OTT)設備22と、典型的には1対1の関係で通信することもできる。OTA設備12は、OTT設備22と同じ位置に存在することができ、或いは放送局設備10の両設備12、22は、互いに離れて適切な手段を通じて互いに通信することもできる。いずれにせよ、受信機14は、同調したATSC3.0テレビチャンネルを介してATSC3.0テレビ信号をOTAで受信することも、或いはテレビを含む関連コンテンツをOTT(ブロードバンド)で受信することもできる。なお、本明細書の全ての図において説明するコンピュータ装置は、
図1及び
図2の様々な装置について示すコンポーネントの一部又は全部を含むことができる。
【0032】
次に
図2を参照すると、
図1に示すコンポーネント例の詳細を見ることができる。
図2には、ハードウェアとソフトウェアとの組み合わせによって実装できるプロトコルスタック例を示す。放送局は、
図2に示す放送局側のために適宜に修正されたATSC3.0プロトコルスタックを使用して、(本明細書では「ブロードバンド」及び「オーバーザトップ」(OTT)と呼ぶ)コンピュータネットワークと、(本明細書では「放送」及び「オーバージエア」(OTA)と呼ぶ)無線放送とを介して1又は2以上の番組要素を配信するハイブリッドサービス配信を送信することができる。
図2には、受信機によって具現化できるハードウェアを含む例示的なスタックも示す。
【0033】
図2を放送局設備10の観点から開示すると、本明細書で説明するいずれかのメモリ又はストレージなどの1又は2以上のコンピュータ記憶媒体202にアクセスする1又は2以上のプロセッサ200は、最上位のアプリケーション層204において1又は2以上のソフトウェアアプリケーションを提供するように実装することができる。アプリケーション層204は、ランタイム環境で動作する、例えばHTML5/Javascriptで書かれた1又は2以上のソフトウェアアプリケーションを含むことができる。限定するわけではないが、アプリケーションスタック204のアプリケーションは、リニアTVアプリケーション、インタラクティブサービスアプリケーション、コンパニオンスクリーンアプリケーション、個人化アプリケーション、緊急アラートアプリケーション、及び使用報告アプリケーションを含むことができる。通常、アプリケーションは、ビデオコーディング、オーディオコーディング及びランタイム環境を含む、視聴者が体験する要素を表すソフトウェアで具現化される。一例として、ユーザによるダイアログの制御、代替オーディオトラックの使用、並びに正規化及びダイナミックレンジなどのオーディオパラメータの制御などを可能にするアプリケーションを提供することができる。
【0034】
アプリケーション層204の下位にはプレゼンテーション層206が存在する。プレゼンテーション層206は、受信機に実装された時に無線で放送されたオーディオビデオコンテンツを復号して1又は2以上のディスプレイ及びスピーカ上で再生するメディア処理ユニット(MPU)208と呼ばれる放送オーディオビデオ再生装置を放送(OTA)側に含む。MPU208は、国際標準化機構(ISO)ベースメディアファイルフォーマット(BMFF)データ表現210、及び高効率ビデオコーディング(HEVC)のビデオを、例えばドルビーオーディオ圧縮(AC)-4フォーマットのオーディオで提示するように構成される。ISO BMFFは、「セグメント」とプレゼンテーションメタデータとに分割される時間ベースのメディアファイルのための一般的ファイル構造である。基本的に、各ファイルは、それぞれがタイプ及び長さを有する一群のネスト化オブジェクト(nested objects)である。MPU208は、暗号解読を容易にするために、放送側暗号化メディア拡張(encrypted media extension:EME)/共通暗号化(common encryption:CENC)モジュール212にアクセスすることができる。
【0035】
図2には、放送側において、プレゼンテーション層206が、アプリケーション層204にアクセス可能な非リアルタイム(NRT)コンテンツ218を配信するために、動画専門家集団(MPEG)メディア転送プロトコル(MMTP)シグナリングモジュール214、又は単方向トランスポートを介したリアルタイムオブジェクト配信(real-time object delivery over unidirectional transport:ROUTE)シグナリングモジュール216のいずれかを含むシグナリングモジュールを含むことができることをさらに示す。NRTコンテンツは、限定するわけではないが、記憶された代替広告を含むことができる。
【0036】
ブロードバンド(OTT又はコンピュータネットワーク)側では、受信機によって実装された場合、プレゼンテーション層206が、インターネットからのオーディオビデオコンテンツを復号して再生するために、ハイパーテキスト転送プロトコル(HTTP)を介した1又は2以上の動的適応型ストリーミング(DASH)プレーヤ/デコーダ220を含むことができる。この目的のために、DASHプレーヤ220は、ブロードバンド側のEME/CENCモジュール222にアクセスすることができる。DASHコンテンツは、ISO/BMFFフォーマットのDASHセグメント224として提供することができる。本発明の様々な実施形態をサポートするために、DASHセグメントは、オーディオ、ビデオ又はテキストなどの様々なメディアコンテンツコンポーネントタイプを符号化する。レガシーメインビューを含む1つのビデオタイプ及びサラウンドビデオを含む新たなビデオタイプといった複数のビデオタイプが存在することができると予測される。レガシープレーヤ/デコーダは、レガシメインビューベースのレガシービデオタイプを復号し、強化されたプレーヤは、サラウンドビデオを含むさらなるビデオタイプをパンして復号する。
【0037】
プレゼンテーション層206のブロードバンド側は、放送側と同様に、ファイル226内にNRTコンテンツを含むとともに、再生シグナリングを提供するシグナリングオブジェクト228を含むことができる。
【0038】
プロトコルスタック内のプレゼンテーション層206の下位にはセッション層230が存在する。セッション層230は、放送側にMMTPプロトコル232又はROUTEプロトコル234のいずれかを含む。なお、ATSC標準は、伝送にMPEG MMTを使用するオプションを提供するが、ここには示していない。
【0039】
セッション層230は、ブロードバンド側にHTTP-secure(HTTP(S))として実装できるHTTPプロトコル236を含む。セッション層230のブロードバンド側は、HTTPプロキシモジュール238及びサービスリストテーブル(SLT)240を採用することもできる。SLT240は、基本サービスリストを構築して放送コンテンツのブートストラップ発見を提供するために使用されるシグナリング情報のテーブルを含む。「ROUTEシグナリング」テーブルには、ROUTEトランスポートプロトコルによってユーザデータグラムプロトコル(UDP)を介して配信されるメディアプレゼンテーション記述(MPD)が含まれる。
【0040】
プロトコルスタック内のセッション層230の下位には、低遅延かつ損失耐性のある(loss-tolerating)接続を確立するためのトランスポート層242が存在する。トランスポート層242は、放送側ではUDP244を使用し、ブロードバンド側では伝送制御プロトコル(TCP)246を使用する。
【0041】
図2に示す非限定的なプロトコルスタック例は、トランスポート層242の下位にネットワーク層248も含む。ネットワーク層248は、IPパケット通信のために両方の側においてインターネットプロトコル(IP)を使用し、放送側ではマルチキャスト配信が典型的であり、ブロードバンド側ではユニキャストが典型的である。
【0042】
ネットワーク層248の下位には、両方の側に関連するそれぞれの物理媒体上で通信を行うための放送送信/受信設備252及び(単複の)コンピュータネットワークインターフェイス254を含む物理層250が存在する。物理層250は、インターネットプロトコル(IP)パケットを関連する媒体上での伝送に適するように変換して、受信機における誤り訂正を可能にする順方向誤り訂正機能を追加するとともに、変調及び復調機能を組み込むために変調及び復調モジュールを含むことができる。物理層250は、長距離送信及び帯域幅効率向上のためにビットをシンボルに変換する。物理層250は、通常、OTA側には直交周波数分割多重(OFDM)を使用して無線でデータを放送する無線放送送信機を含み、OTT側にはインターネットを介してデータを送信するコンピュータ送信コンポーネントを含む。
【0043】
ブロードバンド側では、プロトコルスタック内の様々なプロトコル(HTTP/TCP/IP)を通じて送信されるDASH業界フォーラム(DASH Industry Forum:DASH-IF)プロファイルを使用することができる。ISO BMFFに基づくDASH-IFプロファイル内のメディアファイルは、放送配信及びブロードバンド配信の両方のための配信、メディアカプセル化及び同期フォーマットとして使用することができる。
【0044】
通常、各受信機14は、放送局設備のプロトコルスタックと相補的なプロトコルスタックを含む。
【0045】
図1の受信機14は、
図2に示すように、(TVを制御するセットトップボックスと同等の)ATSC3.0TVチューナ256を有するインターネット対応TVを含むことができる。受信機14は、Android(登録商標)ベースのシステムであることができる。或いは、受信機14は、コンピュータ化されたインターネット対応(「スマート」)電話機、タブレットコンピュータ、ノートブックコンピュータ、及びウェアラブルコンピュータ装置などによって実装することもできる。それにもかかわらず、本明細書で説明する受信機14及び/又は他のコンピュータは、本原理を実施する(例えば、他の装置と通信して本原理を実施し、本明細書で説明するロジックを実行し、本明細書で説明する他のいずれかの機能及び/又は動作を実行する)ように構成されると理解されたい。
【0046】
従って、受信機14は、このような原理を実施するために、
図1に示すコンポーネントの一部又は全部によって確立することができる。例えば、受信機14は、高精細又は超高精細「4K」又はそれ以上のフラットスクリーンによって実装されて、ディスプレイ上のタッチを介してユーザ入力信号を受け取るタッチ対応型であることも又はそうでないこともできる1又は2以上のディスプレイ258を含むことができる。受信機14は、本原理に従ってオーディオを出力するための1又は2以上のスピーカ260と、例えば受信機14を制御する可聴コマンドを受信機14に入力するための、例えばオーディオ受信機/マイクなどの少なくとも1つのさらなる入力装置262とを含むこともできる。受信機14の例としては、1又は2以上のプロセッサ266の制御下でインターネット、WAN、LAN、PANなどの少なくとも1つのネットワークを介して通信するための1又は2以上のネットワークインターフェイス264をさらに挙げることができる。従って、インターフェイス264は、限定するわけではないがメッシュネットワークトランシーバなどの無線コンピュータネットワークインターフェイスの一例であるWi-Fiトランシーバであることができる。インターフェイス264は、以下に限定するわけではないが、Bluetooth(登録商標)トランシーバ、Zigbee(登録商標)トランシーバ、赤外線通信協会(IrDA)トランシーバ、無線USBトランシーバ、有線USB、有線LAN、電力線又はMultimedia over Coax Alliance(MoCA)であることができる。プロセッサ266は、例えば画像の提示及び入力の受信を行うようにディスプレイ258を制御することなどの、本明細書で説明した受信機14の他の要素を含めて本原理を実施するように受信機14を制御すると理解されたい。さらに、ネットワークインターフェイス264は、例えば有線又は無線モデム又はルータ、或いは無線電話トランシーバ又は上述したWi-Fiトランシーバなどの他の適切なインターフェイスであることができる。
【0047】
上記に加えて、受信機14は、別のCE装置に(有線接続を使用して)物理的に接続するための、高精細マルチメディアインターフェイス(HDMI)ポート又はUSBポートなどの1又は2以上の入力ポート268、及び/又は受信機14にヘッドフォンを接続して受信機14からヘッドフォンを通じてユーザにオーディオを提示するためのヘッドフォンポートを含むこともできる。例えば、入力ポート268は、有線又は無線を介してオーディオビデオコンテンツのケーブル又は衛星ソースに接続することができる。従って、ソースは、独立した又は統合されたセットトップボックス又は衛星受信機であることができる。或いは、ソースは、ゲーム機又はディスクプレーヤであることもできる。
【0048】
受信機14は、いくつかの事例では受信機のシャーシ内にスタンドアロン装置として、受信機のシャーシの内部又は外部の、オーディオビデオ(AV)プログラムを再生するためのパーソナルビデオ録画装置(PVR)又はビデオディスクプレーヤとして、或いは取り外し可能記憶媒体として具現化される、一時的信号ではないディスクベースストレージ又はソリッドステートストレージなどの1又は2以上のコンピュータメモリ270をさらに含むことができる。また、いくつかの実施形態では、受信機14が、例えば少なくとも1つの衛星又は携帯電話タワーから地理的位置情報を受け取ってこの情報をプロセッサ266に提供し、及び/又は受信機14がプロセッサ266と共に配置される高度を決定するように構成された、限定するわけではないが、携帯電話受信機、全地球測位衛星(GPS)受信機、及び/又は高度計などの位置又は場所受信機272を含むことができる。しかしながら、例えば3次元全てにおいて受信機14の位置を決定するために、本原理に従って携帯電話受信機、GPS受信機及び/又は高度計以外の別の好適な位置受信機を使用することもできると理解されたい。
【0049】
受信機14の説明を続けると、いくつかの実施形態では、受信機14が、本原理に従って写真/画像及び/又はビデオを収集するために、熱探知カメラ、ウェブカメラなどのデジタルカメラ、及び/又は受信機14に統合されてプロセッサ266によって制御可能なカメラのうちの1つ又は2つ以上を含むことができる1又は2以上のカメラ274を含むことができる。また、受信機14には、Bluetooth(登録商標)及び/又はNFC技術を使用して他の装置と通信するためのBluetooth(登録商標)トランシーバ276又は他の近距離通信(NFC)要素をそれぞれ含めることもできる。NFC要素例は、無線周波数識別(RFID)要素であることができる。
【0050】
さらに、受信機14は、プロセッサ266に入力を提供する(加速度計、ジャイロスコープ、サイクロメータ、或いは磁気センサ又は慣性測定ユニット(IMU)及びこれらの組み合わせなどのモーションセンサなどの)1又は2以上の補助センサ278、リモコン装置からIRコマンドを受け取るための赤外線(IR)センサ、光学センサ、速度及び/又はケイデンスセンサ、(ジェスチャコマンドを検知するための)ジェスチャセンサなどを含むこともできる。無線リモコンからコマンドを受け取るためにIRセンサ280を設けることもできる。受信機14に電力を供給するためにバッテリ(図示せず)を設けることもできる。
【0051】
コンパニオンデバイス16は、上述した受信機14に関連して示した要素の一部又は全部を含むことができる。
【0052】
本明細書で説明する方法は、プロセッサ、好適に構成された特定用途向け集積回路(ASIC)又はフィールドプログラマブルゲートアレイ(FPGA)モジュール、又は当業者が理解するであろう他のいずれかの便利な方法によって実行されるソフトウェア命令として実装することができる。ソフトウェア命令は、採用する場合にはCD ROM又はフラッシュドライブなどの非一時装置に具現化することができる。或いは、ソフトウェアコード命令は、無線信号又は光信号などの一時的構成で、又はインターネットを介したダウンロードを通じて具現化することもできる。
【0053】
次に、
図3を参照する。OTA放送送信機304を介して1又は2以上の受信機306に実際の通常のフラット画像を送信するイベントカメラ302が、放送用にライブイベント300を撮影することができる。同時に、移動可能な180度/360度(180°/360°)4K又は8K又はそれを上回るカメラ308があらゆる方向でイベント300を撮影し、インターネットサーバなどのOTTソース310を介してその出力を受信機306に送信する。(180°/360°)4K又は8K又はそれを上回るカメラ308は、イベントのサラウンドビューを提供するとともに、フラットカメラ302によって提供されるよりも大きなイベントの仰角ビュー(elevation view)を提供することもできる。一例として、(180°/360°)4K又は8K又はそれを上回るカメラ308は、イベント300を撮影するためにドローンに搭載することができる。(180°/360°)4K又は8K又はそれを上回るカメラ308は、必要に応じて180°/360°ビデオを出力することができる。例えば、(180°/360°)4K又は8K又はそれを上回るビデオは、AC-4オーディオを伴うことができる。(180°/360°)4K又は8K又はそれを上回るカメラ308は、イベント300を大角度フォーマット(large angle format)で取り込むことができる。
【0054】
一方で、
図4には、フラットカメラ302の出力及び(180°/360°)4K又は8K又はそれを上回るカメラ308の出力がいずれもOTA放送304を介して受信機306に送信される実施形態を示す。カメラ302、308によって生成される2つのビデオストリームは、単一の物理層パイプ(PLP)又は関連するPLPで送信することができ、両ビデオストリームが利用可能である旨のシグナリングを伴って、それぞれが何のためのものであるか、例えばフラットのためのものであるか、それとも(180°/360°)4K又は8Kのためのものであるかを識別することができる。
【0055】
別の実施形態では、
図4からフラットカメラ302を省略し、後述するような処理のために(180°/360°)4K又は8K又はそれを上回るカメラ308からのビデオストリームのみを受信機にOTAで送信することができる。この実施形態では、ストリームが、メインビデオコンテンツタイプを使用するメインビューを有することができる。
【0056】
図5に、受信機アセンブリが、OTA受信機500、OTT受信機502、及びTVなどのフラットディスプレイ504を含むことができることを示す。受信機アセンブリは、ゴーグルなどの仮想現実(VR)ヘッドセット506と、VRヘッドセット506上に提示される180°/360°ビデオなどのビデオをパンするための1又は2以上の装置とをさらに含むことができる。これらの装置は、TVのリモコン装置(RC)508上のジョイスティック又はボタン、スマートフォン510上のタッチ画面、又はヘッドセット506上のタッチ画面又はタッチパッド512などのポイントアンドクリック機構を含むことができる。パン装置は、ヘッドセット506又はRC508内の1又は2以上のモーションセンサ514を含むこともできる。ヘッドセットは、パニングを遂行するために、タッチ画面又はタッチパッド512の代わりにRC508を有することもできる。パニングには、上記の組み合わせを使用することもできる。
図5に示す各コンポーネントは、プロセッサ、記憶装置及びネットワークインターフェイスを含む、
図2の適切なコンポーネントを含むことができる。
【0057】
図6に、
図5の受信機アセンブリ内の1又は2以上のプロセッサによって実行できるロジック例を示す。ブロック600から開始し、フラットイベントカメラ302が備わっていない場合、フラットビデオストリームがOTAなどで受信され、或いは単一の(180°/360°)4K又は8K又はそれを上回るビデオストリームから導出される。(180°/360°)4K又は8K又はそれを上回るビデオストリームは、実質的にフラットビューストリームであるメインビューを有することができる。ブロック602において、このフラットストリームを
図5のTV504上などに提示することができる。
【0058】
ブロック604に進み、上述したように(180°/360°)4K又は8K又はそれを上回るビデオストリームをOTA又はOTTで受信し、ブロック606においていずれかのパン信号を受信する。ブロック308において、(180°/360°)4K又は8K又はそれを上回る180°/360°ビデオを
図5に示すVRヘッドセット506上に提示することができる。
【0059】
図7に、
図3のイベント300のフラットストリームをTV504上に提示すると同時に、同じイベント300の(180°/360°)4K又は8K又はそれを上回る180°/360°バージョンをヘッドセット506上に提示して、ヘッドセット506の着用者が仮想的にイベント300に存在し、頭部を動かし又はRC508などの別のパニング装置を操作してまるで実際にそこにいるかのようにイベントを「見回す」ことを矢印700によって示すパニング機能が可能にできることを示す。なお、パニングは、方位角パニング及び仰角パニングの両方を含む。
【0060】
図8に、TV504が(180°/360°)4K又は8K又はそれを上回るビデオ800をOTAで受信してTV上にフラットビデオとして提示する第1の技術を示す。視聴者は、RC508上のジョイスティック又はボタン、スマートフォン510上のタッチ画面などの上述した入力装置のいずれかを使用してTV504上のビデオをパンすることができる。
【0061】
図9には、TV504が(180°/360°)4K又は8K又はそれを上回るビデオ800をOTAで受信して、パニングを伴わない下位互換ビューを確立するようにTV上にフラットとしてレンダリングすることを示す。
【0062】
図10には、TV504が(180°/360°)4K又は8K又はそれを上回るビデオ800をOTAで受信して、TV上に提示されるようにフラットにレンダリングし、(180°/360°)4K又は8K又はそれを上回るビデオ800をBluetooth又はWi-Fiなどを介してTVからヘッドセット506に中継し、説明したようなビューをパンできるヘッドセット上に180°/360°提示できることを示す。
【0063】
図11には、ヘッドセット506が(180°/360°)4K又は8K又はそれを上回るビデオ800を直接OTA又はOTTで受信して、180°/360°ビデオを中継するためにTV504が介在する必要なく、説明したようなビューをパンできるヘッドセット上に180°/360°提示できることを示す。
【0064】
いくつかの実施形態例を参照しながら本原理について説明したが、これらの実施形態は限定的であるように意図するものではなく、本明細書において特許請求する主題は様々な別の構成を用いて実装することもできると理解されるであろう。
【符号の説明】
【0065】
600 2Dストリームを受信
602 TV上に提示
604 360°ストリームを受信
606 パン信号を受信
608 パンによって3D VRディスプレイ上に提示
【国際調査報告】