特許 7221406 イン・マニフェスト更新イベント

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-03

(45)【発行日】2023-02-13

(54)【発明の名称】イン・マニフェスト更新イベント

(51)【国際特許分類】

   H04N 21/262 20110101AFI20230206BHJP

   H04N 21/6543 20110101ALI20230206BHJP

   H04N 21/235 20110101ALI20230206BHJP

【ＦＩ】

H04N21/262

H04N21/6543

H04N21/235

【請求項の数】 10

(21)【出願番号】P 2021547381

(86)(22)【出願日】2020-09-04

(65)【公表番号】

(43)【公表日】2022-03-30

(86)【国際出願番号】 US2020049410

(87)【国際公開番号】W WO2021046353

(87)【国際公開日】2021-03-11

【審査請求日】2021-08-13

(31)【優先権主張番号】62/897,228

(32)【優先日】2019-09-06

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/008,898

(32)【優先日】2020-09-01

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ソダガァ，イラジ

【審査官】大西 宏

(56)【参考文献】

【文献】特開２０１６－０１２９３０（ＪＰ，Ａ）

【文献】特表２０１６－５２２６２１（ＪＰ，Ａ）

【文献】特表２０１７－５０４９９６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００１９６２９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００４５２３５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０２３８９５２（ＵＳ，Ａ１）

【文献】Stefan Pham; Christopher Krauss; Daniel Silhavy; Stefan Arbanowski，Personalized dynamic ad insertion with MPEG DASH，2016 Asia Pacific Conference on Multimedia and Broadcasting (APMediaCast)，米国，IEEE，2016年11月17日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7878162

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１０

Ｈ０４Ｎ ７／１４ － ７／１７３

Ｈ０４Ｎ ７／２０ － ７／５６

Ｈ０４Ｎ ２１／００ －２１／８５８

(57)【特許請求の範囲】

【請求項1】

少なくとも1つのプロセッサが実行するビデオ通知のための方法であって、
メインライブプログラムデータを含むメディアプレゼンテーション記述(MPD)データを公開するステップと、
広告データ及びイン・マニフェストデータについてクライアントデバイスに通知し、前記クライアントデバイスに対して、前記メインライブプログラムデータのストリーミングのセグメントの間のミッドロール広告として広告をストリーミングするように命令するステップと
を含み、
前記広告データは、前記クライアントデバイスにおける表示を前記広告から前記メインライブプログラムデータに切り替えることによって前記広告の表示を終了させる初期終了時刻を含み、
前記イン・マニフェストデータは、前記クライアントデバイスにおける前記ストリーミングを前記広告から前記メインライブプログラムデータに切り替えることによって前記広告の前記ストリーミングを終了させる、前記初期終了時刻の前の更新終了時刻を前記クライアントデバイスに対して特定させるための指示を含み、
前記指示は、前記クライアントデバイスに対して、前記ミッドロール広告のストリーミング中に、リモートエレメントにアクセスさせ、前記リモートエレメントが前記更新終了時刻を示すか否かを判定させることによって、前記更新終了時刻を特定させるためのものである、方法。

【請求項2】

前記広告データ及び前記イン・マニフェストデータについて前記クライアントデバイスに通知するステップは、
前記クライアントデバイスに対して、前記メインライブプログラムデータを提供するオリジンサーバから、前記オリジンサーバとは別の広告サーバに切り替え、前記広告サーバから前記ミッドロール広告を取得するように命令するステップを更に含む、請求項１に記載の方法。

【請求項3】

前記イン・マニフェストデータは、前記クライアントデバイスに対して、前記初期終了時刻の前に所定の頻度で前記リモートエレメントにアクセスさせるための指示を更に含む、請求項１又は２に記載の方法。

【請求項4】

前記イン・マニフェストデータは、前記クライアントデバイスに対して、xlinkデータを介して前記リモートエレメントにアクセスさせるための指示を含む、請求項１乃至３のうちいずれか１項に記載の方法。

【請求項5】

前記広告データ及び前記イン・マニフェストデータについて前記クライアントデバイスに通知するステップは、
前記クライアントデバイスに対して、前記メインライブプログラムデータのストリーミングの前に、プレロール広告として前記広告をストリーミングするように命令するステップを含む、請求項１に記載の方法。

【請求項6】

前記指示は、前記クライアントデバイスに対して、前記プレロール広告のストリーミング中に、前記リモートエレメントにアクセスさせ、前記リモートエレメントが前記更新終了時刻を示すか否かを判定させることによって、前記更新終了時刻を特定させるためのものである、請求項５に記載の方法。

【請求項7】

前記イン・マニフェストデータは、前記クライアントデバイスに対して、前記初期終了時刻の前に所定の頻度で前記リモートエレメントにアクセスさせるための指示を更に含む、請求項６に記載の方法。

【請求項8】

前記イン・マニフェストデータは、前記クライアントデバイスに対して、xlinkデータを介して前記リモートエレメントにアクセスさせるための指示を含む、請求項７に記載の方法。

【請求項9】

ビデオ通知のための装置であって、
コンピュータプログラムを記憶するように構成された少なくとも1つのメモリと、
前記コンピュータプログラムにアクセスして実行することによって、請求項１乃至８のうちいずれか１項に記載の方法を実現するように構成された少なくとも1つのプロセッサと
を含む装置。

【請求項10】

プロセッサに、請求項１乃至８のうちいずれか１項に記載の方法を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願への相互参照］
本出願は、2019年9月6日に出願された仮出願US 62/897,228、及び2020年9月1日に出願された米国出願No.17/008,898に対する優先権を主張し、その全内容を援用する。

【0002】

［技術分野］
本開示は、マニフェスト更新が必要であることをストリーミングクライアントに通知するイン・マニフェスト(in-manifest)更新イベントを対象とする。

【背景技術】

【0003】

MPEG-DASHのようなHTTP上の動的適応ストリーミング(DASH, Dynamic Adaptive Streaming over HTTP)では、インバンドのメディアプレゼンテーション記述(MPD, media presentation description)有効期限イベントが、マニフェストを更新する必要性をクライアントに通知するために使用され得る。しかし、そのようなイベントがコンテンツを提供するサーバからのみ受信できるように、インバンドがメディアセグメントに結び付いているので、技術的欠点がある。したがって、クライアントが別のサーバ(例えば、広告(ad)サーバ)からコンテンツをストリーミングしている場合、メインサーバは、別のサーバから発信するメディアセグメントにインバンドのイベントを追加できない。

【0004】

コンテンツのライブストリーミング中に、広告が挿入できる特定の時点(例えば、広告ブレイク)が存在する。広告の名目上の持続時間はコンテンツサーバによって決定され、マニフェストに挿入される。その期間中に、クライアントは広告サーバに進み、広告をストリーミング及び/又は再生する。上記のような技術的欠点は、例えば、ライブコンテンツのイベント中に、広告サーバが元のマニフェストに示されている正確な持続時間の広告コンテンツを提供しなければならないが、実際には、イベントがブレイクから戻り、クライアントが広告のストリーミングを停止してライブコンテンツに戻る必要があるので、ライブサーバが広告を早期に終了することを望む可能性がある場合に、複雑になる。しかし、インバンドのMPD有効期限イベントはメディアセグメントに含まれているので、また、クライアントは少なくとも広告期間中はライブサーバからコンテンツをストリーミングしていないので、仮にライブサーバがMPD有効期限イベントを挿入したとしても、クライアントは少なくとも上記の理由でその更新を受信しない。

【0005】

したがって、このような問題に対する技術的な解決策が望まれる。

【発明の概要】

【0006】

本明細書で提案される方法及び装置は、別々に使用されてもよく、或いは、いずれかの順序で組み合わされてもよい。さらに、特徴、エンコーダ及びデコーダのそれぞれは、処理回路(例えば、1つ以上のプロセッサ又は1つ以上の集積回路)によって実装されてもよい。一例では、1つ以上のプロセッサは、非一時的なコンピュータ読み取り可能媒体に記憶されたプログラムを実行する。

【0007】

本開示は、とりわけ、インバンドのMPD有効期限イベントと等価な、MPDに挿入されるイン・マニフェストイベントを導入する。このイン・マニフェストイベントは、インバンドのMPD有効期限イベントと同じ特性を有してもよく、したがって、或る意味では、DASHクライアントは、イン・マニフェストイベントを処理できる。また、イン・マニフェストイベントがプレロール広告及びミッドロール広告のいずれかの早期終了のためにどのように使用できるかも、本明細書に開示される。

【0008】

コンピュータプログラムコードを記憶するように構成されたメモリと、コンピュータプログラムコードにアクセスしてコンピュータプログラムコードによって命令されるように動作するように構成された1つ又は複数のプロセッサとを含む方法及び装置が含まれる。コンピュータプログラムコードは、少なくとも1つのプロセッサに、メインライブプログラムデータを含むメディアプレゼンテーション記述(MPD, media presentation description)データを公開させる公開コードと、少なくとも1つのプロセッサに、広告データ及びイン・マニフェストデータについてクライアントデバイスに通知させるように構成された通知コードとを含み、広告データは、クライアントデバイスにおける表示を広告からメインライブプログラムデータに切り替えることによって広告の表示を終了させる初期終了時刻をクライアントデバイスに命令し、イン・マニフェストデータは、広告をクライアントデバイスにストリーミングする間に、終了時刻の前に、クライアントデバイスにおけるストリーミングを広告からメインライブプログラムデータに切り替えることによって広告のストリーミングを終了させる更新終了時刻を決定するようにクライアントデバイスに命令する。

【0009】

例示的な実施形態によれば、広告データ及びイン・マニフェストデータについてクライアントデバイスに通知することは、クライアントデバイスに対して、メインライブプログラムデータのストリーミングのセグメントの間のミッドロール広告として広告をストリーミングするように命令することを含む。

【0010】

例示的な実施形態によれば、広告データ及びイン・マニフェストデータについてクライアントデバイスに通知することは、クライアントデバイスに対して、メインライブプログラムデータを提供するオリジンサーバから、オリジンサーバとは別の広告サーバに切り替え、広告サーバからミッドロール広告を取得するように命令することを更に含む。

【0011】

例示的な実施形態によれば、イン・マニフェストデータは、クライアントデバイスによるミッドロール広告のストリーミング中に、クライアントデバイスがリモートエレメントにアクセスし、リモートエレメントが更新終了時刻を示すか否かを決定することによって、更新終了時刻を決定するという命令を含む。

【0012】

例示的な実施形態によれば、イン・マニフェストデータは、クライアントデバイスが終了時刻の前に所定の頻度でリモートエレメントにアクセスするという命令を更に含む。

【0013】

例示的な実施形態によれば、イン・マニフェストデータの命令は、クライアントデバイスに対して、xlinkデータを介してリモートエレメントにアクセスするように命令する。

【0014】

例示的な実施形態によれば、広告データ及びイン・マニフェストデータについてクライアントデバイスに通知することは、クライアントデバイスに対して、メインライブプログラムデータのストリーミングの前に、プレロール広告として広告をストリーミングするように命令することを含む。

【0015】

例示的な実施形態によれば、イン・マニフェストデータは、クライアントデバイスによるプレロール広告のストリーミング中に、クライアントデバイスがリモートエレメントにアクセスし、リモートエレメントが更新終了時刻を示すか否かを決定することによって、更新終了時刻を決定するという命令を含む。

【0016】

例示的な実施形態によれば、イン・マニフェストデータは、クライアントデバイスが終了時刻の前に所定の頻度でリモートエレメントにアクセスするという命令を更に含む。

【図面の簡単な説明】

【0017】

開示の対象物の更なる特徴、性質及び様々な利点は、以下の詳細な説明及び添付の図面からより明確になる。

【図1】実施形態による図の概略図である。

【図2】実施形態による図の概略図である。

【図3】実施形態による図の概略図である。

【図4】実施形態による図の概略図である。

【図5】実施形態による図の概略図である。

【図6】実施形態による簡略化されたフローチャートである。

【図7】実施形態による簡略化されたフローチャートである。

【図8】実施形態による図の概略図である。

【発明を実施するための形態】

【0018】

以下で議論される提案の特徴は、別々に使用されてもよく、或いは、いずれかの順序で組み合わされてもよい。さらに、実施形態は、処理回路(例えば、1つ以上のプロセッサ又は1つ以上の集積回路)によって実装されてもよい。一例では、1つ以上のプロセッサは、非一時的なコンピュータ読み取り可能媒体に記憶されたプログラムを実行する。

【0019】

図１は、本開示の一実施形態による通信システム100の簡略化したブロック図を示す。当該通信システム100は、ネットワーク105を介して相互接続された少なくとも2つの端末102及び103を含んでもよい。データの一方向伝送のために、第1の端末103は、ネットワーク105を介して他方の端末102に送信するために、ローカル位置においてビデオデータを符号化してもよい。第2の端末102は、ネットワーク105から他方の端末の符号化されたビデオデータを受信し、符号化ビデオデータを復号し、復元したビデオデータを表示してもよい。一方向データ伝送は、メディア提供アプリケーション等において一般的でもよい。

【0020】

図１は、例えば、テレビ会議中に発生し得る符号化ビデオの双方向伝送をサポートするために提供される第2の対の端末101及び104を示している。データの双方向伝送のために、各端末101及び104は、ネットワーク105を介して他の端末に送信するために、ローカル位置においてキャプチャされたビデオデータを符号化してもよい。また、各端末101及び104は、他方の端末によって送信された符号化ビデオデータを受信してもよく、符号化データを復号してもよく、ローカルの表示デバイスに復元されたビデオデータを表示してもよい。

【0021】

図１において、端末101、102、103及び104は、サーバ、パーソナルコンピュータ及びスマートフォンとして示されることがあるが、本開示の原理はこれらに限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤ及び/又は専用のテレビ会議機器に適用がある。ネットワーク105は、例えば、有線及び/又は無線通信ネットワークを含む、端末101、102、103及び104の間で符号化ビデオデータを伝達するいずれかの数のネットワークを表す。通信ネットワーク105は、回線交換チャネル及び/又はパケット交換チャネルにおいてデータを交換してもよい。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク及び/又はインターネットを含む。本説明の目的では、ネットワーク105のアーキテクチャ及びトポロジは、本明細書において以下に説明しない限り、本開示の動作には重要ではない。

【0022】

図２は、開示の対象物のアプリケーションの例として、ストリーミング環境におけるビデオエンコーダ及びデコーダの配置を示す。開示の対象物は、例えば、テレビ会議、デジタルTV、デジタルメディア(CD、DVD、メモリスティック等を含む)上の圧縮ビデオの記憶等を含む、他のビデオ可能なアプリケーションにも同様に適用可能である。

【0023】

ストリーミングシステムはキャプチャサブシステム203を含んでもよく、当該キャプチャサブシステム203は、例えば、非圧縮のビデオサンプルストリーム213を生成するビデオソース201(例えば、デジタルカメラ)を含んでもよい。そのサンプルストリーム213は、符号化ビデオビットストリームと比較して高いデータ量として強調されてもよく、カメラ201に結合されたエンコーダ202によって処理されてもよい。エンコーダ202は、以下により詳細に説明するように、開示の対象物の態様を可能にするため或いは実装するために、ハードウェア、ソフトウェア又はこれらの組み合わせを含んでもよい。サンプルストリームと比較したてより低いデータ量として強調されてもよい符号化ビデオビットストリーム204は、将来の使用のためにストリーミングサーバ205に記憶されてもよい。1つ以上のストリーミングクライアント212及び207は、ストリーミングサーバ205にアクセスして符号化ビデオビットストリーム204のコピー208及び206を取得してもよい。クライアント212は、符号化ビデオビットストリームの入力コピー208を復号し、ディスプレイ209又は他のレンダリングデバイス(図示せず)上にレンダリングできる出力ビデオサンプルストリーム210を生成するビデオデコーダ211を含んでもよい。いくつかのストリーミングシステムでは、ビデオビットストリーム204、206及び208は、特定のビデオ符号化/圧縮標準に従って符号化されてもよい。これらの標準の例は、上記に記載されており、本明細書において更に説明する。

【0024】

図３は、本発明の一実施形態によるビデオデコーダ300の機能ブロック図を示す。

【0025】

受信機302は、デコーダ300によって復号されるべき1つ以上の符号化ビデオシーケンスを受信してもよく、同一又は他の実施形態では、一度に1つの符号化ビデオシーケンスを受信してもよく、各符号化ビデオシーケンスの復号は、他の符号化ビデオシーケンスとは独立している。符号化ビデオシーケンスは、チャネル301から受信されてもよく、当該チャネルは、符号化ビデオデータを記憶する記憶デバイスへのハードウェア/ソフトウェアリンクでもよい。受信機302は、符号化ビデオデータを、他のデータ(例えば、符号化オーディオデータ及び/又は補助データストリーム)と共に受信してもよく、これらは、それぞれの使用エンティティ(図示せず)に転送されてもよい。受信機302は、符号化ビデオシーケンスを他のデータから分離してもよい。ネットワークジッタを防止するために、バッファメモリ303は、受信機302とエントロピーデコーダ/パーサ304(以下、「パーサ」という)との間に結合されてもよい。受信機302が、十分な帯域幅及び制御可能性を有する記憶/転送デバイスから、或いは、アイソクロナスネットワークからデータを受信している場合、バッファ303は必要なくてもよく或いは小さくすることができる。インターネットのようなベストエフォート型パケットネットワークでの使用については、バッファ303が必要とされてもよく、比較的大きくすることができ、有利には適応的なサイズとすることができる。

【0026】

ビデオデコーダ300は、エントロピー符号化されたビデオシーケンスからシンボル313を復元するためのパーサ304を含んでもよい。これらのシンボルのカテゴリは、デコーダ300の動作を管理するために使用される情報を含み、ディスプレイ312のようなレンダリングデバイスを制御するための情報を潜在的に含む。当該レンダリングデバイスは、デコーダの一体的な部分ではないが、デコーダに結合されてもよい。レンダリングデバイスの制御情報は、補足エンハンスメント情報(SEI, Supplementary Enhancement Information)(SEIメッセージ)又はビデオユーザビリティ情報パラメータセットフラグメント(図示せず)の形式でもよい。パーサ304は、受信した符号化ビデオシーケンスを解析/エントロピー復号してもよい。符号化ビデオシーケンスの符号化は、ビデオ符号化技術又は標準に従ってもよく、可変長符号化、ハフマン符号化、コンテキスト感度を伴う或いは伴わない算術符号化等を含む、当業者に周知の原理に従ってもよい。パーサ304は、グループに対応する少なくとも1つのパラメータに基づいて、符号化ビデオシーケンスから、ビデオデコーダ内の画素のサブグループのうち少なくとも1つについてのサブグループパラメータのセットを抽出してもよい。サブグループは、グループオブピクチャ(GOP, Group of Picture)、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット(CU, Coding Unit)、ブロック、変換ユニット(TU, Transformation Unit)、予測ユニット(PU, Prediction Unit)等を含んでもよい。また、エントロピーデコーダ/パーサは、符号化ビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトル等のような情報を抽出してもよい。

【0027】

パーサ304は、シンボル313を生成するために、バッファ303から受信したビデオシーケンスに対してエントロピー復号/解析動作を実行してもよい。パーサ304は、符号化データを受信し、特定のシンボル313を選択的に復号してもよい。さらに、パーサ304は、特定のシンボル313が動き補償予測ユニット306、スケーラ/逆変換ユニット305、イントラ予測ユニット307又はループフィルタ311に提供されるべきであるか否かを決定してもよい。

【0028】

シンボル313の復元には、符号化ビデオピクチャ又はその部分のタイプ(例えば、インターピクチャ及びイントラピクチャ、インターブロック及びイントラブロック)及び他の要因に依存して、複数の異なるユニットが関与してもよい。どのユニットがどのように関与するかは、パーサ304によって符号化ビデオシーケンスから解析されたサブグループ制御情報によって制御されてもよい。パーサ304と以下の複数ユニットとの間のこのようなサブグループ制御情報の流れは、明確にするために図示されていない。

【0029】

上記の機能ブロックの他に、デコーダ300は、概念的に、以下に説明するような複数の機能ユニットに細分されてもよい。商用的な制約の下で動作する実用的な実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合されてもよい。しかし、開示の対象物を説明する目的で、以下の機能ユニットに概念的に細分することが適切である。

【0030】

第1のユニットは、スケーラ/逆変換ユニット305である。スケーラ/逆変換ユニット305は、パーサ304からシンボル313として、制御情報(どの変換を使用するべきか、ブロックサイズ、量子化係数、量子化スケーリング行列等を含む)と共に、量子化された変換係数を受信する。スケーラ/逆変換ユニットは、アグリゲータ310に入力できるサンプル値を含むブロックを出力してもよい。

【0031】

場合によっては、スケーラ/逆変換305の出力サンプルは、イントラ符号化ブロックに関連してもよく、すなわち、前に復元されたピクチャからの予測情報を使用していないが、カレントピクチャの前に復元された部分からの予測情報を使用できるブロックに関連してもよい。このような予測情報は、イントラピクチャ予測ユニット307によって提供されてもよい。場合によっては、イントラピクチャ予測ユニット307は、(部分的に復元された)カレントピクチャ309から取り出された周囲の既に復元された情報を使用して、復元中のブロックの同じサイズ及び形状のブロックを生成する。場合によっては、アグリゲータ310は、サンプル毎に、イントラ予測ユニット307が生成した予測情報を、スケーラ/逆変換ユニット305によって提供された出力サンプル情報に追加する。

【0032】

他の場合には、スケーラ/逆変換ユニット305の出力サンプルは、インター符号化されて潜在的に動き補償されたブロックに関連してもよい。このような場合、動き補償予測ユニット306は、参照ピクチャメモリ308にアクセスして、予測に使用されるサンプルを取り出してもよい。ブロックに関連するシンボル313に従って、取り出されたサンプルを動き補償した後に、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ310によってスケーラ/逆変換ユニットの出力(この場合には、残差サンプル又は残差信号と呼ばれる)に追加されてもよい。動き補償ユニットに利用可能な、動き補償ユニットが予測サンプルを取り出す参照ピクチャメモリ内のアドレスは、例えば、X、Y及び参照ピクチャ成分を有することができるシンボル313の形式で、動きベクトルによって制御されてもよい。また、動き補償は、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリから取り出されるサンプル値の補間、動きベクトル予測メカニズム等を含んでもよい。

【0033】

アグリゲータ310の出力サンプルは、ループフィルタユニット311内の様々なループフィルタリング技術を受けてもよい。ビデオ圧縮技術はループ内フィルタ技術を含んでもよく、当該ループ内フィルタ技術は、符号化ビデオビットストリームに含まれるパラメータによって制御され、パーサ304からシンボル313としてループフィルタユニット311に利用可能にされるが、符号化ピクチャ又は符号化ビデオシーケンスの(復号順に)前の部分の復号の間に取得されたメタ情報に応答すると共に、前に復元されてループフィルタリングされたサンプル値にも応答してもよい。

【0034】

ループフィルタユニット311の出力はサンプルストリームでもよく、当該サンプルストリームは、レンダリングデバイス312に出力されると共に、将来のインターピクチャ予測に使用するために参照ピクチャメモリ557に記憶されてもよい。

【0035】

特定の符号化ピクチャは、完全に復元されると、将来の予測のための参照ピクチャとして使用されてもよい。符号化ピクチャが完全に復元され、符号化ピクチャが(例えば、パーサ304によって)参照ピクチャとして識別されると、カレント参照ピクチャ309は参照ピクチャバッファ308の一部となってもよく、新たなカレントピクチャメモリが、後続の符号化ピクチャの復元を開始する前に再割り当てされてもよい。

【0036】

ビデオデコーダ300は、ITU-T Rec. H.265のような標準に文書化され得る所定のビデオ圧縮技術に従って復号動作を実行してもよい。符号化ビデオシーケンスがビデオ圧縮技術文書又は標準において指定されており、特にこれらのプロファイル文書に指定されているビデオ圧縮技術又は標準のシンタックスに従うという意味で、符号化ビデオシーケンスは、使用されているビデオ圧縮技術又は標準によって指定されたシンタックスに適合してもよい。また、コンプライアンスのために必要なことは、符号化ビデオシーケンスの複雑さが、ビデオ圧縮技術又は標準のレベルによって定義される範囲内にあることである。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大復元サンプルレート(例えば、毎秒当たりのメガサンプル単位で測定される)、最大参照ピクチャサイズ等を制限する。場合によっては、レベルによって設定される制限は、仮想参照デコーダ(HRD, Hypothetical Reference Decoder)仕様及び符号化ビデオシーケンスで伝達されるHRDバッファ管理についてのメタデータを通じて更に制限されてもよい。

【0037】

一実施形態では、受信機302は、符号化ビデオと共に更なる(冗長な)データを受信してもよい。更なるデータは、符号化ビデオシーケンスの一部として含まれてもよい。更なるデータは、データを適切に復号するために、及び/又は元のビデオデータをより正確に復元するために、ビデオデコーダ300によって使用されてもよい。更なるデータは、例えば、時間、空間又信号対雑音比(SNR, signal-to-noise ratio)エンハンスメント層、冗長スライス、冗長ピクチャ、前方誤り訂正コード等の形式でもよい。

【0038】

図４は、本開示の一実施形態によるビデオエンコーダ400の機能ブロック図でもよい。

【0039】

エンコーダ400は、ビデオソース401(エンコーダの一部ではない)からビデオサンプルを受信してもよく、当該ビデオソース401は、エンコーダ400によって符号化されるべきビデオ画像をキャプチャしてもよい。

【0040】

ビデオソース401は、デジタルビデオサンプルストリームの形式でエンコーダ303によって符号化されるべきソースビデオシーケンスを提供してもよく、当該デジタルビデオサンプルストリームは、いずれかの適切なビット深度(例えば、8ビット、10ビット、12ビット等)、いずれかの色空間(例えば、BT.601 Y CrCB、RGB等)及びいずれかの適切なサンプリング構造(例えば、Y CrCb 4:2:0、Y CrCb 4:4:4)でもよい。メディア提供システムにおいて、ビデオソース401は、事前に準備されたビデオを記憶する記憶デバイスでもよい。テレビ会議システムでは、ビデオソース401は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラでもよい。ビデオデータは、順に見たときに動きを伝える複数の個々のピクチャとして提供されてもよい。ピクチャ自体は、画素の空間配列として構成されてもよく、各画素は、使用中のサンプリング構造、色空間等に依存して、1つ以上のサンプルを含んでもよい。当業者は、画素とサンプルとの関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てる。

【0041】

一実施形態によれば、エンコーダ400は、リアルタイムで或いはアプリケーションによって要求されるいずれかの他の時間制約下で、ソースビデオシーケンスのピクチャを、符号化ビデオシーケンス410に符号化及び圧縮してもよい。適切な符号化速度を実現することは、コントローラ402の1つの機能である。コントローラは、以下に説明するように、他の機能ユニットを制御し、これらのユニットに機能的に結合される。結合は、明確にするために図示されていない。コントローラによって設定されるパラメータは、レート制御関連パラメータ(ピクチャスキップ、量子化、レート歪み最適化技術のラムダ値等)、ピクチャサイズ、グループオブピクチャ(GOP)のレイアウト、最大動きベクトル探索範囲等を含んでもよい。当業者は、特定のシステム設計のために最適化されたビデオエンコーダ400に関連し得るコントローラ402の他の機能を容易に認識できる。

【0042】

いくつかのビデオエンコーダは、当業者が「符号化ループ(coding loop)」として容易に認識するもので動作する。非常に簡略化した説明として、符号化ループは、エンコーダ402の符号化部分(以下、「ソースコーダ」という)(符号化されるべき入力ピクチャ及び参照ピクチャに基づいて、シンボルを生成することを担う)と、エンコーダ400に埋め込まれた(ローカル)デコーダ406とで構成されてもよい。デコーダ406は、(リモート)デコーダが生成するのと同様に(シンボルと符号化ビデオビットストリームとの間のいずれかの圧縮が、開示の対象物において検討されるビデオ圧縮技術において可逆であるように)、サンプルデータを生成するようにシンボルを復元する。その復元されたサンプルストリームは、参照ピクチャメモリ405に入力される。シンボルストリームの復号は、デコーダの位置(ローカル又はリモート)と独立したビット単位の正確な結果をもたらすので、参照ピクチャバッファの内容も、ローカルエンコーダとリモートエンコーダとの間でビット単位で正確である。言い換えると、エンコーダの予測部分は、デコーダが復号中に予測を使用するときに「見る」のと全く同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期(例えば、チャネルエラーの理由で同期が維持できない場合の結果として生じるドリフトを含む)のこの基本原理は、当業者に周知である。

【0043】

「ローカル」デコーダ406の動作は、「リモート」デコーダ300と同じでもよく、これは、図３に関連して上記において既に詳細に説明した。しかし、図４を簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ408及びパーサ304による符号化ビデオシーケンスへのシンボルの符号化/復号が可逆になり得るので、チャネル301、受信機302、バッファ303及びパーサ304を含むデコーダ300のエントロピー復号部分は、ローカルデコーダ406に完全には実装されなくてもよい。

【0044】

この時点で行うことができる考察は、デコーダ内に存在する解析/エントロピー復号を除く如何なるデコーダ技術も、必然的に対応するエンコーダ内に実質的に同一の機能形式で存在する必要があることである。エンコーダ技術の説明は、包括的に記載されるデコーダ技術の逆であるので、省略できる。特定の領域においてのみ、より詳細な説明が必要であり、以下に提供される。

【0045】

その動作の一部として、ソースコーダ403は、動き補償予測符号化を実行してもよく、当該動き補償予測符号化は、「参照フレーム」として指定されたビデオシーケンスからの1つ以上の前に符号化されたフレームを参照して入力フレームを予測的に符号化する。このように、符号化エンジン407は、入力フレームの画素ブロックと、入力フレームに対する予測参照として選択され得る参照フレームの画素ブロックとの間の差を符号化する。

【0046】

ローカルビデオデコーダ406は、ソースコーダ403によって生成されたシンボルに基づいて、参照フレームとして指定され得るフレームの符号化ビデオデータを復号してもよい。符号化エンジン407の動作は、有利には、不可逆処理でもよい。符号化ビデオデータがビデオデコーダ(図４に図示せず)で復号され得る場合、復元されたビデオシーケンスは、典型的には、いくつかのエラーを伴うソースビデオシーケンスのレプリカになり得る。ローカルビデオデコーダ406は、参照フレームに対してビデオデコーダによって実行され得る復号処理を複製し、復元された参照フレームを参照ピクチャキャッシュ405に記憶させてもよい。このように、エンコーダ400は、遠端のビデオデコーダによって取得される(送信エラーのない)復元された参照フレームとして、共通の内容を有する復元された参照フレームのコピーをローカルに記憶してもよい。

【0047】

予測器404は、符号化エンジン407のための予測探索を実行してもよい。すなわち、符号化されるべき新たなフレームについて、予測器404は、(候補参照画素ブロックとしての)サンプルデータ又は特定のメタデータ(参照ピクチャ動きベクトル、ブロック形状等)を求めて参照ピクチャメモリ405を検索してもよい。これらは、新たなピクチャについての適切な予測参照として機能してもよい。予測器404は、適切な予測参照を検出するために、サンプルブロック毎画素ブロック毎(sample block-by-pixel block)に動作してもよい。場合によっては、予測器404によって取得された検索結果によって決定された入力ピクチャは、参照ピクチャメモリ405に記憶された複数の参照ピクチャから引き出された予測参照を有してもよい。

【0048】

コントローラ402は、例えば、ビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含む、ビデオコーダ403の符号化動作を管理してもよい。

【0049】

全ての上記の機能ユニットの出力は、エントロピーコーダ408におけるエントロピー符号化を受けてもよい。エントロピーコーダは、例えば、ハフマン符号化、可変長符号化、算術符号化等のような当業者に既知の技術に従って、シンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルを符号化ビデオシーケンスに変換する。

【0050】

送信機409は、エントロピーコーダ408によって生成された符号化ビデオシーケンスをバッファして、通信チャネル411を介した送信の準備をしてもよく、当該通信チャネル411は、符号化ビデオデータを記憶する記憶デバイスへのハードウェア/ソフトウェアリンクでもよい。送信機409は、ビデオコーダ403からの符号化ビデオデータを、送信されるべき他のデータ(例えば、符号化オーディオデータ及び/又は補助データストリーム(図示せず))とマージしてもよい。

【0051】

コントローラ402は、エンコーダ400の動作を管理してもよい。符号化中に、コントローラ405は、各符号化ピクチャに、特定の符号化ピクチャタイプを割り当ててもよい。当該符号化ピクチャタイプは、各ピクチャに適用され得る符号化技術に影響を与えてもよい。例えば、ピクチャは、しばしば、以下のフレームタイプのうち1つとして割り当てられてもよい。

【0052】

イントラピクチャ(Iピクチャ)は、予測のソースとしてシーケンス内の他のピクチャを使用せずに、符号化及び復号され得るものでもよい。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ(IDR, Independent Decoder Refresh)ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Iピクチャのこれらの変形例と、それぞれの用途及び特徴を認識する。

【0053】

予測ピクチャ(Pピクチャ)は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトル及び参照インデックスを使用して、イントラ予測又はインター予測を使用して符号化及び復号され得るものでもよい。

【0054】

双方向予測ピクチャ(Bピクチャ)は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトル及び参照インデックスを使用して、イントラ予測又はインター予測を使用して符号化及び復号され得るものでもよい。同様に、複数の予測ピクチャは、単一のブロックの復元のために、2つより多くの参照ピクチャ及び関連するメタデータを使用してもよい。

【0055】

一般的に、ソースピクチャは、空間的に複数のサンプルブロック(例えば、それぞれ4×4、8×8、4×8又は16×16のサンプルのブロック)に細分され、ブロック毎に符号化されてもよい。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てによって決定される通り、他の(既に符号化された)ブロックを参照して予測的に符号化されてもよい。例えば、Iピクチャのブロックは、非予測的に符号化されてもよく、或いは、同じピクチャの既に符号化されたブロックを参照して予測的に符号化されてもよい(空間予測又はイントラ予測)。Pピクチャの画素ブロックは、1つ前に符号化された参照ピクチャを参照して、空間予測又は時間予測を介して非予測的に符号化されてもよい。Bピクチャのブロックは、1つ又は2つ前に符号化された参照ピクチャを参照して、空間予測又は時間予測を介して予測的に符号化されてもよい。

【0056】

ビデオコーダ400は、ITU-T Rec. H.265のような所定のビデオ符号化技術又は標準に従って符号化動作を実行してもよい。その動作において、ビデオコーダ400は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測符号化動作を含む様々な圧縮動作を実行してもよい。したがって、符号化ビデオデータは、使用されているビデオ符号化技術又は標準によって指定されたシンタックスに適合してもよい。

【0057】

一実施形態では、送信機409は、符号化ビデオと共に更なるデータを送信してもよい。ソースコーダ403は、符号化ビデオシーケンスの一部としてこのようなデータを含んでもよい。更なるデータは、時間/空間/SNRエンハンスメント層、冗長ピクチャ及びスライス、補足エンハンスメント情報(SEI, Supplementary Enhancement Information)メッセージ、ビジュアルユーザビリティ情報(VUI, Visual Usability Information)パラメータセットフラグメント等のような他の形式の冗長データを含んでもよい。

【0058】

図５は、それぞれ、オリジンサーバ501とクライアント502と広告サーバ503との間のインターフェースIF1及びIF2を含む、一般的なワークフロー500の概略図である。このような一般的で簡略化されたアーキテクチャ例は、上記の技術的欠点を克服するイン・マニフェスト更新イベントを含む通知構成を含む、本明細書に記載の実施形態に対応し、当然のことながら、インターフェースIF1及びIF2は直接接続である必要はなく、単に、図示の要素表現の間の1つ以上のネットワーク接続の簡略化でもよい。

【0059】

図６は、本明細書に開示されたイン・マニフェスト特徴に関する特徴を少なくとも介して技術的に有利な早期終了を有する1つ以上のミッドロール広告を含む様々な実施形態に関する簡略化フローチャート600である。

【0060】

S60において、S61に進むことが決定され、図５におけるオリジンサーバ501のようなオリジンサーバは、例えばリアルタイムで或いはほぼリアルタイムで発生し得るメインライブプログラムのようなプログラムを含むMPDを公開する。S62において、広告ブレイクが発生するか否かが検討され、例えばMPEG-DASHのようなミッドロール通知を介して、広告ブレイクが発生したと決定された場合、S63において、オリジンサーバは、MPD更新の必要性を通知するために少なくともイン・マニフェスト/インバンドMPD有効期限イベント(単に「イベント」とも呼ばれる)を挿入し、S64において、クライアントがこのようなイベントを受信した場合、クライアントはイベントを解析し、最初の広告ブレイク持続時間を表す1つ以上のタイマ及び以下に更に説明する更新をチェックする時刻又は頻度のような、そのイベントのタイミング情報に基づいて、MPDデータを更新するため或いはMPDデータに対する更新をチェックするためのタイムライン上の有効期限を計算する。

【0061】

したがって、さらにS64において、時刻又は頻度又は別の信号がイベントに従って発生した場合、クライアントに最初に報告された全体の広告ブレイクについてのMPD有効期限前に、クライアントは、オリジンサーバからの、或いは、その他に以下に説明する、イベントによって示されるリソースからの、MPD更新を要求し、それに応じて、クライアントは、存在する場合には、このような更新を受信し、S65に示すように、クライアントが期待するMPD情報を更新する。このようなS63～S65の特徴は、図５に簡単に示すように、オリジンサーバから広告サーバ503のような広告サーバへのクライアントの切り替え等を介して、広告を少なくとも部分的に再生する前又は後に発生してもよい。

【0062】

S65において、クライアントは広告ブレイクに切り替え、広告サーバからストリーミングを開始する。本明細書中の新たなMPDは、xlinkを使用するリモートエレメントを有するイン・マニフェストMPD有効期限イベントストリームを含み、また、新たなMPDは、そのイベントストリームのための1つ以上のminimumUpdatePeriod値、又は本明細書において以下に更に説明するMPD@minimumUpdatePeriod値から継承された1つ以上のminimumUpdatePeriod値を有する。S67において、広告サーバからコンテンツをストリーミングする間に、クライアントは、例えばxlinkで定義されているように、少なくとも上記のリソースから、minimumUpdatePeriod以上の頻度でMPD有効期限EventStreamを要求する。クライアントがそのEventStreamから新たなMPD有効期限イベントを受信すると常に、S68のように、クライアントはその新たなイベントを解析し、MPD有効期限のタイミングモデルに従ってそのイベントを処理し、クライアントは、以前に示された広告ブレイク(終了)の終了のような、MPD有効期限によって設定された有効時刻の前にMPDを更新する。更新は、S69のように、広告サーバからオリジンサーバに切り戻すクライアントを介したストリーム(例えば、ライブストリーム)への切り戻し及び広告ブレイクの終了を通知してもよく、或いは、イベントの1つ以上の新たなパラメータを通知してもよい。すなわち、S69において、新たなMPD更新は、更新された広告持続時間を含むと決定されてもよく、これは、クライアントに対して、タイムラインにおける新たな早期終了時点に、或いは、単一のミッドロール広告又は一連のミッドロール広告の1つ以上のミッドロールに関する早期終了時点の直後に、ライブサーバに切り戻すように命令する。

【0063】

図７は、本明細書に開示されたイン・マニフェスト特徴に関する特徴を少なくとも介して技術的に有利な早期終了を有する1つ以上のプレロール広告を含む様々な実施形態に関する簡略化フローチャート700である。

【0064】

S71において、図５におけるオリジンサーバ501のようなオリジンサーバは、例えばリアルタイムで或いはほぼリアルタイムで発生し得るメインライブプログラムのようなプログラム及びプレロール広告を含むMPDを公開する。S72において、クライアントは、広告サーバからプレロール広告のストリーミングを開始する。例示的な実施形態によれば、MPDは、図６に関して上記に説明したような、xlinkを使用するリモートエレメントを有するイン・マニフェストMPD有効期限イベントストリームを含み、また、新たなMPDは、そのイベントストリームのための1つ以上のminimumUpdatePeriod値、又は本明細書において以下に更に説明するMPD@minimumUpdatePeriod値から継承された1つ以上のminimumUpdatePeriod値を有する。S77において、広告サーバからコンテンツをストリーミングする間に、クライアントは、例えばxlinkで定義されているように、少なくとも上記のリソースから、minimumUpdatePeriod以上の頻度でMPD有効期限EventStreamを要求する。クライアントがそのEventStreamから新たなMPD有効期限イベントを受信すると常に、S78のように、クライアントはその新たなイベントを解析し、MPD有効期限のタイミングモデルに従ってそのイベントを処理し、クライアントは、以前に示された広告ブレイク(終了)の終了のような、MPD有効期限によって設定された有効時刻の前にMPDを更新する。更新は、S79のように、広告サーバからオリジンサーバに切り戻すクライアントを介したストリーム(例えば、ライブストリーム)への切り替え及び広告ブレイクの終了を通知してもよく、或いは、イベントの1つ以上の新たなパラメータを通知してもよい。すなわち、S79において、新たなMPD更新は、更新された広告持続時間を含むと決定されてもよく、これは、クライアントに対して、タイムラインにおける新たな早期終了時点に、或いは、単一のプレロール広告又は一連のプレロール広告の1つ以上のプレロールに関する早期終了時点の直後に、ライブサーバに切り替えるように命令する。S79の終了に関する図７の説明は、図６のS60にもリンクすると理解され、この図において、1つ以上のミッドロール広告にも関する更なる可能なコンテンツ配信は、図６と同様に上記のように進んでもよい。すなわち、図７の特徴は、図６の特徴の直前に来てもよい。

【0065】

例示的な実施形態によれば、このような通知は、例えば、以下のようにイン・マニフェストMPD有効期限によって定義されてもよい。本明細書では、「urn:mpeg::dash:manifest-event:2020」のようなイン・マニフェストMPD有効期限について定義され得る特定のschemeIDUriを含む方式が定義され、このようなイベントを搬送するEventStreamエレメントは@schemeIDUriにおいてこのようなURIを使用してもよい。

【0066】

さらに、このような通知に関して、インバンドのMPD有効期限イベントと同様に、以下のようなMPD更新イベントのタイプを通知するために同じ値が使用されてもよい。

【0067】

【表1】

さらに、同じid値を有するイベントは同等と考えられてもよく、したがって、複数のこのようなイベントの受信は、値が同じであるか否かをチェックし、次いで、例えば、チェック毎に、或いはイベント及び/又はクライアントに関して予め決定された或る期間毎に、1つのみを適切なものとして処理することを生じてもよい。

【0068】

さらに、MPDレベルのEventStreamsによるイン・マニフェストMPD終了イベントの使用が存在してもよく、或る期間からイン・マニフェストMPD終了イベントを完全に解放するために、これらのイベントは、例示的な実施形態に従ってMPDレベルで定義され且つ1つ以上の期間と独立したEventStreamsに使用されてもよい。

【0069】

したがって、本明細書に記載の例示的な実施形態によって、上記の技術的課題は、これらの技術的解決策のうち1つ以上によって有利に改善され得る。本開示は、とりわけ、インバンドのMPD有効期限イベントと等価な、MPDに挿入されるイン・マニフェストイベントを導入する。このイン・マニフェストイベントは、インバンドのMPD有効期限イベントと同じ特性を有してもよく、したがって、或る意味では、DASHクライアントは、イン・マニフェストイベントを処理できる。また、イン・マニフェストイベントがプレロール広告及びミッドロール広告のいずれかの早期終了のためにどのように使用できるかも、本明細書に開示されており、これは、このような広告の望ましい早期終了の技術的欠点に関する上記の技術的課題に対する解決策において有利な技術的効果を有する。

【0070】

上記の技術は、コンピュータ読み取り可能命令を使用してコンピュータソフトウェアとして実装され、1つ以上のコンピュータ読み取り可能媒体に物理的に記憶されてもよく、或いは、特別に構成された1つ以上のハードウェアプロセッサにより実装されてもよい。例えば、図８は、開示の対象物の特定の実施形態を実装するのに適したコンピュータシステム800を示す。

【0071】

コンピュータソフトウェアは、いずれかの適切な機械コード又はコンピュータ言語を使用して符号化されてもよく、当該機械コード又はコンピュータ言語は、命令を含むコードを生成するために、アセンブリ、コンパイル、リンク又は類似のメカニズムを受けてもよく、当該命令は、コンピュータ中央処理装置(CPU, central processing unit)、グラフィックス処理ユニット(GPU, Graphics Processing Unit)等によって、直接的に或いはインタープリタ、マイクロコード実行等を通じて実行されてもよい。

【0072】

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットのデバイス等を含む様々なタイプのコンピュータ又はその構成要素上で実行されてもよい。

【0073】

コンピュータシステム800について図８に示される構成要素は、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲又は機能に関する如何なる限定も示唆することを意図するものではない。また、構成要素の構成も、コンピュータシステム800の例示的な実施形態に示される構成要素のいずれか1つ又は組み合わせに関する如何なる依存性又は要件も有するものとして解釈されるべきではない。

【0074】

コンピュータシステム800は、特定のヒューマンインタフェース入力デバイスを含んでもよい。このようなヒューマンインタフェース入力デバイスは、例えば、触覚入力(キーストローク、スワイプ、データグローブの動き等)、オーディオ入力(音声、拍手等)、視覚入力(ジェスチャ等)、嗅覚入力(図示せず)を通じて、1人以上の人間のユーザによる入力に応答してもよい。また、ヒューマンインタフェースデバイスは、オーディオ(例えば、会話、音楽、周辺音)、画像(スキャンされた画像、静止画カメラから取得された写真画像等)、ビデオ(2次元ビデオ、立体ピクチャを含む3次元ビデオ等)のような、人間による意識的入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されてもよい。

【0075】

入力ヒューマンインタフェースデバイスは、キーボード801、マウス802、トラックパッド803、タッチ画面810、ジョイスティック805、マイクロフォン806、スキャナ808、カメラ807のうち1つ以上を含んでもよい。

【0076】

また、コンピュータシステム800は、特定のヒューマンインタフェース出力デバイスを含んでもよい。このようなヒューマンインタフェース出力デバイスは、例えば、触覚出力、音、光及び嗅覚/味覚を通じて、1人以上の人間のユーザの感覚を刺激してもよい。このようなヒューマンインタフェース出力デバイスは、触覚出力デバイス(例えば、タッチ画面810又はジョイスティック805による触覚フィードバック、ただし、入力デバイスとして機能しない触覚フィードバックデバイスが存在してもよい)と、オーディオ出力デバイス(スピーカ809、ヘッドフォン(図示せず)等)と、視覚出力デバイス(それぞれがタッチ画面入力機能を有しても有さなくてもよく、それぞれが触覚フィードバック機能を有しても有さなくてもよく、いくつかが2次元視覚出力又は立体出力のような手段を通じた3次元以上の出力を出力可能でもよいCRT画面、LCD画面、プラズマ画面、OLED画面を含む画面810、仮想現実メガネ(図示せず)、ホログラフィックディスプレイ及びスモークタンク(図示せず))と、プリンタ(図示せず)とを含んでもよい。

【0077】

また、コンピュータシステム800は、CD/DVD811又は同様の媒体を有するCD/DVD ROM/RW820を含む光媒体のような人間がアクセス可能な記憶デバイス及び関連する媒体、サムドライブ822、取り外し可能ハードドライブ又はソリッドステートドライブ823、テープ及びフロッピーディスク(図示せず)のようなレガシー磁気媒体、セキュリティドングル(図示せず)のような特殊なROM/ASIC/PLDに基づくデバイス等を含んでもよい。

【0078】

また、当業者は、ここに開示の対象物に関連して使用される用語「コンピュータ読み取り可能媒体」が伝送媒体、搬送波又は他の非一時的な信号を含まないことを理解すべきである。

【0079】

また、コンピュータシステム800は、1つ以上の通信ネットワーク898へのインタフェース899を含んでもよい。ネットワーク898は、例えば、無線、有線、光でもよい。ネットワーク898は、ローカル、広域、メトロポリタン、車両及び産業、リアルタイム、遅延耐性等でもよい。ネットワーク898の例は、イーサネット、無線LAN、セルラネットワーク(GSM、3G、4G、5G、LTE等を含む)、TV有線又は無線広域デジタルネットワーク(ケーブルTV、衛星TV、及び地上放送TVを含む)、車両及び産業(CANBusを含む)等を含む。特定のネットワーク898は、一般的に、特定の汎用データポート又は周辺バス(850及び851)に取り付けられる外部ネットワークインタフェースアダプタ(例えば、コンピュータシステム800のUSBポート等)を必要とし、他のネットワークインタフェースアダプタは、一般的に、以下に説明するシステムバス(例えば、PCコンピュータシステムへのイーサネットインタフェース又はスマートフォンコンピュータシステムへのセルラネットワーク)に取り付けられることによって、コンピュータシステム800のコアに統合される。これらのネットワーク898のいずれかを使用して、コンピュータシステム800は、他のエンティティと通信することができる。このような通信は、一方向の受信のみ(例えば、放送TV)、一方向の送信のみ(例えば、特定のCANbusデバイスへのCANbus)でもよく、或いは、例えば、ローカル又は広域デジタルネットワークを使用する他のコンピュータシステムへの双方向でもよい。特定のプロトコル及びプロトコルスタックは、上記のようなネットワーク及びネットワークインタフェースのそれぞれにおいて使用されてもよい。

【0080】

上記のヒューマンインタフェースデバイス、人間がアクセス可能な記憶デバイス及びネットワークインタフェースは、コンピュータシステム800のコア840に取り付けられてもよい。

【0081】

コア840は、1つ以上の中央処理装置(CPU)841、グラフィックス処理ユニット(GPU)842、グラフィックスアダプタ817、フィールドプログラマブルゲートアレイ(FPGA, Field Programmable Gate Area)843の形式の特殊なプログラム可能処理ユニット、特定のタスク用のハードウェアアクセラレータ844等を含んでもよい。これらのデバイスは、読み取り専用メモリ(ROM)845、ランダムアクセスメモリ846、内部大容量記憶装置(内部のユーザアクセス不可能なハードドライブ、SSD等)847と共に、システムバス848を通じて接続されてもよい。いくつかのコンピュータシステムでは、システムバス848は、更なるCPU、GPU等による拡張を可能にするために、1つ以上の物理プラグの形式でアクセス可能でもよい。周辺デバイスは、コアのシステムバス848に直接取り付けられてもよく、或いは、周辺バス851を通じて取り付けられてもよい。周辺バスのアーキテクチャは、PCI、USB等を含む。

【0082】

CPU841、GPU842、FPGA843及びアクセラレータ844は特定の命令を実行してもよく、当該特定の命令は、組み合わせによって上記のコンピュータコードを構成してもよい。当該コンピュータコードは、ROM845又はRAM846に記憶されてもよい。また、一時的なデータは、RAM846に記憶されてもよいが、永続的なデータは、例えば、内部大容量記憶装置847に記憶されてもよい。1つ以上のCPU841、GPU842、大容量記憶装置847、ROM845、RAM846等と密接に関連してもよいキャッシュメモリを使用することによって、メモリデバイスのいずれかへの高速記憶及び検索が可能になってもよい。

【0083】

コンピュータ読み取り可能媒体は、様々なコンピュータに実装された動作を実行するためのコンピュータコードを有してもよい。媒体及びコンピュータコードは、本開示の目的のために特に設計及び構築されたものでよく、或いは、コンピュータソフトウェア分野における当業者に周知で入手可能なようなものでもよい。

【0084】

限定ではなく一例として、アーキテクチャ1200、具体的には、コア840を有するコンピュータシステムは、1つ以上の有形のコンピュータ読み取り可能媒体に具現されたソフトウェアを実行するプロセッサ(CPU、GPU、FPGA、アクセラレータ等を含む)の結果として機能を提供できる。このようなコンピュータ読み取り可能媒体は、コア内部の大容量記憶装置847又はROM845のような非一時的な性質のコア840の特定の記憶装置と同様に、上記のようなユーザがアクセス可能な大容量記憶装置に関連する媒体でもよい。本開示の様々な実施形態を実装するソフトウェアは、このようなデバイスに記憶されてコア840によって実行されてもよい。コンピュータ読み取り可能媒体は、特定のニーズに従って、1つ以上のメモリデバイス又はチップを含んでもよい。ソフトウェアは、コア840、具体的には、その中のプロセッサ(CPU、GPU、FPGA等を含む)に、RAM846に記憶されたデータ構造を定義し、ソフトウェアによって定義された処理に従ってこのようなデータ構造を修正することを含む、本明細書に記載の特定の処理又は特定の処理の特定の部分を実行させてもよい。さらに或いは代替として、コンピュータシステムは、回路(例えば、アクセラレータ844)内に配線されたロジック又は他の方法で具現されたロジックの結果として、機能を提供してもよく、当該回路は、本明細書に記載の特定の処理又は特定の処理の特定の部分を実行するために、ソフトウェアの代わりに或いはソフトウェアと共に動作してもよい。ソフトウェアへの言及は、ロジックを含み、必要に応じて、その逆も可能である。コンピュータ読み取り可能媒体への言及は、必要に応じて、実行するためのソフトウェアを記憶する回路(集積回路(IC)等)、実行するためのロジックを具現する回路又はこれらの双方を含んでもよい。本開示は、ハードウェア及びソフトウェアのいずれかの適切な組み合わせを含む。

【0085】

本開示は、いくつかの例示的な実施形態を記載しているが、本開示の範囲内に入る変更、置換及び様々な代替の等価物が存在する。したがって、当業者は、本明細書に明示的に図示又は記載されていないが、本開示の原理を具現し、したがって、本開示の真意及び範囲内にある多数のシステム及び方法を考案することができることが認識される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】