特表 2022-507245 ナビゲート可能仮想空間内でレンダリングされた３次元表示オブジェクトを介した２次元コンテンツの提示を介してユーザインターフェースを提供するように適合された技術

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-18

(54)【発明の名称】ナビゲート可能仮想空間内でレンダリングされた３次元表示オブジェクトを介した２次元コンテンツの提示を介してユーザインターフェースを提供するように適合された技術

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220111BHJP

   H04N 21/44 20110101ALI20220111BHJP

   H04N 21/438 20110101ALI20220111BHJP

   G06F 3/04815 20220101ALI20220111BHJP

【ＦＩ】

G06T19/00 A

H04N21/44

H04N21/438

G06F3/0481 150

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021525718

(86)(22)【出願日】2019-11-13

(85)【翻訳文提出日】2021-07-09

(86)【国際出願番号】 AU2019051248

(87)【国際公開番号】W WO2020097681

(87)【国際公開日】2020-05-22

(31)【優先権主張番号】2018904297

(32)【優先日】2018-11-13

(33)【優先権主張国・地域又は機関】AU

(31)【優先権主張番号】2019902055

(32)【優先日】2019-06-12

(33)【優先権主張国・地域又は機関】AU

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＡＮＤＲＯＩＤ

２．ＪＡＶＡ

３．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】521202329

【氏名又は名称】アンバインド グループ ピーティーワイ リミテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】アリーナ，アントニー

(72)【発明者】

【氏名】ヘンダーソン，ダンカン

【テーマコード（参考）】

5B050

5C164

5E555

【Ｆターム（参考）】

5B050AA08

5B050BA09

5B050CA07

5B050DA01

5B050EA07

5B050EA19

5B050EA27

5B050FA02

5C164FA06

5C164GA07

5C164UA04S

5C164UB01P

5C164UB23P

5C164UB41S

5C164YA11

5E555AA27

5E555BA01

5E555BA04

5E555BB01

5E555BB04

5E555BE16

5E555BE17

5E555CA10

5E555CB21

5E555CC22

5E555DA01

5E555DB57

5E555DC05

5E555DC28

5E555DC43

5E555FA00

(57)【要約】

本明細書において説明される本発明の実施形態は、映像付属デジタルコンテンツを、関連映像ストリームを遮らない仕方でモバイルデバイス上で提示するための技法に関する。実施形態はまた、任意の所望の量又は種類の映像付属デジタルコンテンツが、輻輳を生じさせることなく配信されることを可能にし、これにより、ストリーミングサービスを提供することに関連付けられたユーザエクスペリエンス及び／又は収益を最大化する。後述される実施形態では、これは、仮想現実（ＶＲ）又は拡張現実（ＡＲ）インターフェースを介した３次元仮想コンテンツの提示のために適合された技術を活用し、その技術を伝統的な表示スクリーン環境内における（すなわち、ＶＲ／ＡＲの状況外の）２次元コンテンツ（例えば、２次元映像オブジェクト）の提示のために適合させることによって達成される。その点について、いくつかの実施形態は、ナビゲート可能仮想空間内でレンダリングされた３次元表示オブジェクトを介した２次元コンテンツの提示を介してユーザインターフェースを提供するように適合された技術に関する。

【特許請求の範囲】

【請求項1】

ナビゲート可能映像中心型ユーザインターフェースを、表示スクリーンを有するモバイルデバイス上で提供するためのコンピュータ実施方法であって、前記方法が、
前記表示スクリーン上における映像コンテンツ表示オブジェクトのレンダリングであって、前記映像コンテンツ表示オブジェクトが、映像データソースから取得された２次元映像データを提示するように構成されており、前記レンダリングが、前記映像コンテンツ表示オブジェクトを３次元仮想空間内で３次元オブジェクトとしてレンダリングすることを含み、これにより、前記映像コンテンツ表示オブジェクトが、前記２次元映像データが提示される２次元表示ペインを含む、レンダリングと、
前記３次元仮想空間内において１つ以上のさらなるコンテンツ表示オブジェクトをレンダリングすることであって、前記１つ以上のさらなるコンテンツ表示オブジェクトが、それぞれの２次元コンテンツデータソースから取得された２次元コンテンツを提示するように構成されている、レンダリングすることと、
前記モバイルデバイスに配信されたユーザ入力を介した前記３次元仮想空間の視野ナビゲーションを可能にし、これにより、前記モバイルデバイスのユーザが、前記映像コンテンツ表示オブジェクト及び１つ以上のさらなるコンテンツ表示オブジェクトの所望の部分を選択的に観視することを可能にすることと、
を含む、コンピュータ実施方法。

【請求項2】

既定の入力に応じて、これにより、
（ｉ） 前記映像コンテンツ表示オブジェクトを、前記３次元仮想空間の残りの部分が現在の視野の外側に出るよう、前記表示スクリーンの実質的に全てを占有するようにレンダリングし、同時に、前記映像コンテンツ表示オブジェクトが、固定された２次元映像表示オブジェクトとして現れるよう、前記３次元仮想空間の視野ナビゲーションを防止することと、
（ｉｉ） 前記映像コンテンツ表示オブジェクトを、前記表示スクリーンの約７５％未満を占有するようにレンダリングし、これにより、前記さらなるコンテンツ表示オブジェクトのうちの少なくとも１つの少なくとも部分を含む前記３次元仮想空間の視野を提供し、同時に、前記３次元仮想空間の視野ナビゲーションを可能にすることと、
の間で遷移することを含む、請求項１に記載の方法。

【請求項3】

前記１つ以上のさらなるコンテンツ表示オブジェクトのうちの少なくとも１つが、前記２次元コンテンツが提示される２次元表示ペインを含む、請求項１に記載の方法。

【請求項4】

前記１つ以上のさらなるコンテンツ表示オブジェクトのうちの少なくとも１つのために、前記２次元コンテンツがウェブページコンテンツを含む、請求項１に記載の方法。

【請求項5】

前記１つ以上のさらなるコンテンツ表示オブジェクトのうちの少なくとも１つのために、前記２次元コンテンツが対話型コンテンツを含み、タッチ対話対応付けモジュールが、前記３次元仮想空間が表示されたときの前記表示スクリーンに対して定義されたユーザ対話場所を、前記２次元コンテンツに対して定義された２次元座標に対応付け、これにより、前記３次元環境を介した前記２次元コンテンツとの対話を可能にするように構成されている、請求項１に記載の方法。

【請求項6】

前記１つ以上のさらなるコンテンツ表示オブジェクトのうちの少なくとも１つのために、前記２次元コンテンツが対話型コンテンツを含み、前記対話型コンテンツとの既定の形態のユーザ対話に応じて、ユーザインターフェース制御モジュールが、１つ以上の追加のさらなるコンテンツ表示オブジェクトを起動してレンダリングするように構成されており、前記１つ以上の追加のさらなるコンテンツ表示オブジェクトが、それぞれの２次元コンテンツデータソースから取得された２次元コンテンツを提示するように構成されている、請求項１に記載の方法。

【請求項7】

前記１つ以上の追加のさらなるコンテンツ表示オブジェクトが、前記３次元仮想環境内において、ディスプレイ上の前記コンテンツ表示オブジェクトから前記１つ以上のさらなるコンテンツ表示オブジェクトよりも大きい距離を置いて提示される、請求項６に記載の方法。

【請求項8】

前記映像コンテンツ表示オブジェクト及び前記１つ以上のさらなるコンテンツ表示オブジェクトが、各々が、２次元コンテンツをそれぞれ表示し、実質的に前記３次元仮想空間内の共通点の方を向いたそれぞれの２次元表示面を有するよう、前記３次元仮想環境内に位置付けられる、請求項１に記載の方法。

【請求項9】

映像付属デジタルコンテンツをモバイルデバイスのディスプレイ上で提供するためのコンピュータ実施方法であって、前記方法が、
映像ストリームを前記モバイルデバイスディスプレイ上に２次元表示形式で表示することと、
前記映像付属デジタルコンテンツのための命令を決定したことに応じて、前記モバイルデバイスの前記ディスプレイを前記２次元表示形式から３次元表示形式へ遷移させることと、を含み、前記遷移ステップが、
映像付属デジタルコンテンツ表示オブジェクトが映像ストリームオブジェクトに対して異なる空間場所に表示され、これにより、前記対応するオブジェクトによって表示された前記映像ストリームが前記映像付属デジタルコンテンツによって遮られないことを確実にするよう、前記映像ストリーム及び映像付属デジタルコンテンツを３次元仮想空間内で別個のオブジェクトとしてレンダリングすることを含む、コンピュータ実施方法。

【請求項10】

前記３次元表示形式になっているときには、前記３次元仮想空間が、前記モバイルデバイスのユーザによって、前記レンダリングされたオブジェクトのうちの所望の１つ以上を観視するためにナビゲートされ得、前記ナビゲーションが実空間内の前記モバイルデバイスの運動によって影響を受ける、請求項９に記載のコンピュータ実施方法。

【請求項11】

前記レンダリングされたオブジェクトが前記３次元仮想空間内で空間的に固定される、請求項９に記載のコンピュータ実施方法。

【請求項12】

前記２次元表示形式になっているときには、前記映像ストリームが、前記モバイルデバイスの前記ディスプレイのアスペクト比及び局所配向にサイズ設定され、整合させられた３次元画像面内に対応付けられ、表示される、請求項１１に記載のコンピュータ実施方法。

【請求項13】

遷移の前記ステップが、前記３次元画像面を変換することを含む、請求項１８に記載のコンピュータ実施方法。

【請求項14】

前記画像面が前記モバイルデバイスのローカルカメラに取り付けられており、遷移の前記ステップが、前記ローカルカメラに対する前記画像面の前記変換を保持しつつ、座標空間をローカルカメラ座標系から仮想空間座標系に変更することをさらに含む、請求項１３に記載のコンピュータ実施方法。

【請求項15】

前記３次元形式になっているときには、前記画像面が、元の変換から、固定された仮想空間変換までを経時的に補間する、請求項１４に記載のコンピュータ実施方法。

【請求項16】

前記２次元形式に復帰するための命令を決定したことに応じて、前記方法が、前記３次元仮想空間を隠し、前記画像面をフルスクリーン観視のために前記モバイルデバイスの前記ディスプレイに再スナップすることをさらに含む、請求項１２に記載のコンピュータ実施方法。

【請求項17】

表示スクリーンを有するモバイルデバイスにおいてコンテンツを表示するための方法であって、前記方法が、
前記モバイルデバイスを、３次元仮想空間をレンダリングするように構成することと、
入力に応じて、
コンテンツ表示オブジェクトを、前記表示スクリーンの実質的に全てを占有するようにレンダリングすることを含む第１のモードであって、前記コンテンツ表示オブジェクトが、２次元コンテンツを表示するように構成されている、第１のモードと、
３次元コンテンツ表示オブジェクトを前記３次元仮想空間内でレンダリングすることを含む第２のモードであって、前記３次元表示オブジェクトが同じ２次元コンテンツを表示する、第２のモードと、
の間で視覚的に途切れのない仕方で遷移することと、
を含み、
これにより、前記第１のモードから前記第２のモードへの遷移によって、ユーザが、前記２次元コンテンツを途切れなく観視し続け、前記３次元仮想空間をナビゲートし、これにより、遠隔コンテンツソースから取得された動的コンテンツを表示するようにそれぞれ構成された１つ以上のさらなるコンテンツ表示オブジェクトを並列に観視することができる、方法。

【請求項18】

前記第２のモードでは、それぞれのコンテンツソースからの２次元コンテンツを表示するように各々構成されており、前記３次元空間内で定義された共通点の方に面したそれぞれの２次元表示ペインを各々有する、複数の３次元表示オブジェクトがレンダリングされて存在する、請求項１７に記載の方法。

【請求項19】

複数の３次元ディスプレイが、ストリーミング映像データを表示する少なくとも１つのオブジェクト、及びウェブページコンテンツを表示する１つのオブジェクトを含む、請求項１７に記載の方法。

【請求項20】

前記３次元空間が前記モバイルデバイスの動きを介してユーザナビゲート可能である、請求項１７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

発明の分野
本発明は、概して、例えば、モバイルデバイスのための、デジタルユーザインターフェースに関する。いくつかの実施形態は、ナビゲート可能仮想空間内でレンダリングされた３次元表示オブジェクトを介した２次元コンテンツの提示を介してユーザインターフェースを提供するように適合された技術に関する。

【背景技術】

【0002】

発明の背景
本明細書全体を通じた背景技術の説明はいずれも、このような技術が広く知られており、又は当技術分野における共通の一般知識の一部をなすことの承認とは決して見なされてはならない。

【0003】

高速データネットワークの遍在性は、この数年の間に、生成及び消費されるデジタル映像コンテンツの量の劇的な増大をもたらした。特に、モバイルデバイス（例えば、タブレット及び電話）を通じた、映像コンテンツの需要は、高品質デジタル映像コンテンツを視聴者に配信するための新たな効率的な技法をもたらした。例えば、専用コンテンツストリーミングサービスが、モバイルデバイスによって、ライブスポーツ放送、映画、テレビ番組、及びウェブ放送を含む、あらゆる態様のコンテンツタイプのためにアクセス可能である。

【0004】

多くの場合、モバイルデバイスユーザへストリーミングされているコンテンツに関連した映像付属デジタルコンテンツを提示することが所望される。例えば、ライブスポーツストリームの最中に、文脈上適切な時に選手の統計情報を示すことが所望され得る。このような情報は、ある期間にわたって提示される有料広告も含み得る。

【0005】

しかし、このような映像付属デジタルコンテンツを表示するための現在の技法は、通例、情報を、ストリーミングされているコンテンツに重ね合わせて提示することを含み、これは必然的にコンテンツのいくらかの部分を遮る。

【0006】

スクリーン専有面積が元々貴重であるモバイルの状況では、元々ぎっしり詰め込まれた映像画像を遮ることは殊更に問題となり得、全体的なユーザエクスペリエンスに悪影響を与えることが知られている。実際に、ユーザは、映像付属デジタルコンテンツをたっぷり使うストリーミングサービスを、このようなコンテンツが究極的にはユーザにとって有益になり得るにもかかわらず、利用しないことを選ぶことがある。

【0007】

関連映像ストリームを遮らない映像付属デジタルコンテンツをモバイルデバイス上で提示するための技法が提供されれば、有利となるであろう。また、このような技法が、ストリーミングサービスプロバイダが、ストリーミングサービスを提供することに関連付けられたユーザエクスペリエンス及び／又は収益を最大化するために、任意の所望の量又は種類の映像付属デジタルコンテンツを配信することを可能にすれば、同様に有利となるであろう。

【発明の概要】

【課題を解決するための手段】

【0008】

発明の概要
本発明の第１の態様によれば、映像付属デジタルコンテンツをモバイルデバイスのディスプレイ上で提供するためのコンピュータ実施方法であって、本方法が、映像ストリームをモバイルデバイスディスプレイ上に２次元表示形式で表示することと、映像付属デジタルコンテンツのための命令（任意選択的に、ユーザ命令）を決定したことに応じて、モバイルデバイスのディスプレイを２次元表示形式から３次元表示形式へ遷移させることと、を含み、遷移ステップが、映像付属デジタルコンテンツオブジェクトの各々が映像ストリームオブジェクトに対して異なる空間場所に表示され、これにより、対応するオブジェクトによって表示された映像ストリームが映像付属デジタルコンテンツによって遮られないことを確実にするよう、映像ストリーム及び映像付属デジタルコンテンツを３次元仮想空間内で別個のオブジェクトとしてレンダリングすることを含む、コンピュータ実施方法が提供される。

【0009】

一実施形態では、３次元表示形式になっているときには、３次元仮想空間は、モバイルデバイスのユーザによって、レンダリングされたオブジェクトのうちの所望の１つ以上を観視するためにナビゲートされ得、ナビゲーションは実空間内のモバイルデバイスの運動によって影響を受ける。

【0010】

一実施形態では、モバイルデバイスの運動は、モバイルデバイス内に組み込まれたジャイロスコープの出力に基づいて決定される。

【0011】

一実施形態では、３次元表示形式になっているときには、ユーザは、仮想空間の中心に配置された仮想カメラを通して３次元仮想空間を観視し、これにより、モバイルデバイスの運動は、仮想空間を見回すことを模擬する。

【0012】

一実施形態では、仮想カメラの配向はジャイロスコープの出力に基づいて調整される。

【0013】

一実施形態では、ジャイロスコープの出力はモバイルデバイスのピッチ、ヨー、及びロールを表す。

【0014】

一実施形態では、レンダリングされたオブジェクトは３次元仮想空間内で空間的に固定される。

【0015】

一実施形態では、２次元表示形式になっているときには、映像ストリームは、モバイルデバイスのディスプレイのアスペクト比及び局所配向にサイズ設定され、整合させられた３次元画像面内に対応付けられ、表示される。

【0016】

一実施形態では、遷移のステップは、３次元画像面を変換することを含む。

【0017】

一実施形態では、画像面はモバイルデバイスのローカルカメラに取り付けられており、遷移のステップは、ローカルカメラに対する画像面の変換を保持しつつ、座標空間をローカルカメラ座標系から仮想空間座標系に変更することをさらに含む。

【0018】

一実施形態では、３次元形式になっているときには、画像面は、元の変換から、固定された仮想空間変換までを経時的に補間する。

【0019】

一実施形態では、２次元形式に復帰するための命令を決定したことに応じて、本方法は、３次元仮想空間を隠し、画像面をフルスクリーン観視のためにモバイルデバイスのディスプレイに再スナップすることをさらに含む。

【0020】

一実施形態では、２次元形式に復帰するステップは、ローカルカメラに対する画像面の変換を保持しつつ、座標空間を仮想空間座標系からローカルカメラ座標系に変更することをさらに含む。

【0021】

一実施形態では、２次元形式になっているときには、画像面は、元の変換から、新たなローカルカメラに整合させた変換までを経時的に補間する。

【0022】

一実施形態では、命令は既定のタッチスクリーンジェスチャである。

【0023】

一実施形態では、映像ストリームはライブ映像ストリームである。

【0024】

一実施形態では、映像付属デジタルコンテンツは、ライブ映像ストリームに関連付けられた動的コンテンツである。

【0025】

一実施形態では、動的コンテンツはロードされ、映像ストリームコンテンツと同期させられ、２次元表示形式になっている間に背景プロセス内に維持される。

【0026】

一実施形態では、映像付属デジタルコンテンツは、映像ストリームに文脈的に関連するユーザ対話型コンテンツであり、本方法は、ユーザが既定のユーザジェスチャを通じて対話型コンテンツと対話することを可能にすることをさらに含む。

【0027】

一実施形態では、映像付属デジタルコンテンツは、人工知能を用いて決定された関心の瞬間（moments of interest）において関連オブジェクト内に提示されるフィードバックを含む。

【0028】

一実施形態では、本方法は、ユーザが、ライブフィード内で他のユーザに表示される既定の文句及び／又はエモティコンを入力することを可能にするように動作可能であるユーザインターフェースオブジェクトを仮想空間内でレンダリングすることをさらに含む。

【0029】

一実施形態では、映像付属デジタルコンテンツオブジェクトのうちの少なくとも１つは、映像ストリームオブジェクトに隣接した仮想空間内に配置される。

【0030】

第２の態様によれば、映像付属デジタルコンテンツをモバイルデバイス上で提供するためのコンピュータシステムであって、システムが、モバイル通信ネットワークを通じて映像をモバイルデバイスへストリーミングするように構成された映像サーバと、モバイル通信ネットワークを通じて映像付属デジタルコンテンツをモバイルデバイスへ通信するように構成されたコンテンツサーバと、を備え、モバイルデバイスが、映像ストリームを２次元表示形式で表示し、映像付属デジタルコンテンツのための命令を決定したことに応じて、モバイルデバイスのディスプレイを２次元表示形式から３次元表示形式へ遷移させるように動作可能であり、遷移ステップが、映像付属デジタルコンテンツオブジェクトの各々が映像ストリームオブジェクトに対して異なる空間場所に表示され、これにより、対応するオブジェクトによって表示された映像ストリームが映像付属デジタルコンテンツによって遮られないことを確実にするよう、映像ストリーム及び映像付属デジタルコンテンツを３次元仮想空間内で別個のオブジェクトとしてレンダリングすることを含む、コンピュータシステムが提供される。

【0031】

一実施形態は、ナビゲート可能映像中心型ユーザインターフェースを、表示スクリーンを有するモバイルデバイス上で提供するためのコンピュータ実施方法であって、本方法が、
表示スクリーン上における映像コンテンツ表示オブジェクトのレンダリングであって、映像コンテンツ表示オブジェクトが、映像データソースから取得された２次元映像データを提示するように構成されており、レンダリングが、映像コンテンツ表示オブジェクトを３次元仮想空間内で３次元オブジェクトとしてレンダリングすることを含み、これにより、映像コンテンツ表示オブジェクトが、２次元映像データが提示される２次元表示ペインを含む、レンダリングと、
３次元仮想空間内において１つ以上のさらなるコンテンツ表示オブジェクトをレンダリングすることであって、１つ以上のさらなるコンテンツ表示オブジェクトが、それぞれの２次元コンテンツデータソースから取得された２次元コンテンツを提示するように構成されている、レンダリングすることと、
モバイルデバイスに配信されたユーザ入力を介した３次元仮想空間の視野ナビゲーションを可能にし、これにより、モバイルデバイスのユーザが、映像コンテンツ表示オブジェクト及び１つ以上のさらなるコンテンツ表示オブジェクトの所望の部分を選択的に観視することを可能にすることと、
を含む、コンピュータ実施方法を提供する。

【0032】

一実施形態は、表示スクリーンを有するモバイルデバイス上のナビゲート可能映像中心型ユーザインターフェースにデータを提供するためのコンピュータ実施方法であって、モバイルデバイスが、
３次元仮想空間をレンダリングすることと、
３次元仮想空間内において複数のコンテンツ表示オブジェクトをレンダリングすることであって、各コンテンツ表示オブジェクトが、２次元コンテンツを提示するように構成された２次元表示ペインを含む、レンダリングすることと、
コンテンツ表示オブジェクトの各々を２次元レンダリングコンテンツのソースとデータ対応付けすることであって、このようなモバイルデバイスが、それぞれの指定された場所から２次元コンテンツをコンテンツ表示オブジェクトによる表示のために取得するように動作可能であり、これにより、２次元コンテンツが３次元仮想空間内で変換され、提示される、データ対応付けすることと、
モバイルデバイスに配信されたユーザ入力を介した３次元仮想空間の視野ナビゲーションを可能にし、これにより、モバイルデバイスのユーザが、映像コンテンツ表示オブジェクト及び１つ以上のさらなるコンテンツ表示オブジェクトの所望の部分を選択的に観視することを可能にすることと、
を含む、方法を遂行するように構成された、コンピュータ実施方法を提供する。

【0033】

一実施形態は、表示スクリーンを有するモバイルデバイスにおいてコンテンツを表示するための方法であって、本方法が、
モバイルデバイスを、３次元仮想空間をレンダリングするように構成することと、
入力に応じて、
コンテンツ表示オブジェクトを、表示スクリーンの実質的に全てを占有するようにレンダリングすることを含む第１のモードであって、コンテンツ表示オブジェクトが、２次元コンテンツを表示するように構成されている、第１のモードと、
３次元コンテンツ表示オブジェクトを３次元仮想空間内でレンダリングすることを含む第２のモードであって、３次元表示オブジェクトが同じ２次元コンテンツを表示する、第２のモードと、
の間で視覚的に途切れのない仕方で遷移することと、
を含み、
これにより、第１のモードから第２のモードへの遷移によって、ユーザが、２次元コンテンツを途切れなく観視し続け、３次元仮想空間をナビゲートし、これにより、遠隔コンテンツソースから取得された動的コンテンツを表示するようにそれぞれ構成された１つ以上のさらなるコンテンツ表示オブジェクトを並列に観視することができる、方法を提供する。

【0034】

本明細書全体を通じた「一実施形態（one embodiment）」、「いくつかの実施形態（some embodiments）」、又は「一実施形態（an embodiment）」への言及は、実施形態に関して説明された特定の特徴、構造、又は特性が本発明の少なくとも１つの実施形態に含まれることを意味する。それゆえ、本明細書全体を通じた様々な箇所における、表現「一実施形態では（in one embodiment）」、「実施形態によっては（in some embodiments）」、又は「一実施形態では（in an embodiment）」の出現は、必ずしも全てが同じ実施形態に言及しているわけではなく、その場合もある。さらに、特定の特徴、構造、又は特性は、１つ以上の実施形態において、本開示から当業者に明らかであろうように、任意の好適な仕方で組み合わせられ得る。

【0035】

本明細書で使用するとき、別途断りのない限り、共通対象物を説明するための、順序を示す形容詞「第１」、「第２」、「第３」等の使用は、単に、同様の対象物の異なる事例が言及されていることを指示するにすぎず、そのように説明された対象物が、時間的に、空間的に、格付けにおいて、又は任意の他の様態において所与の順番になっていなければならないことを暗示することを意図されない。

【0036】

添付の請求項、及び本明細書における説明において、用語、～を備える（comprising）、～で構成される（comprised of）、又は～を備える～（which comprises）のうちの任意のものは、少なくとも、後に続く要素／特徴を含むが、他のものを除外しないことを意味するオープンな用語である。それゆえ、用語、～を備える（comprising）は、請求項において使用されるとき、その後に列挙された手段又は要素又はステップに限定的なものであると解釈されてはならない。例えば、表現、Ａ及びＢを備えるデバイスの範囲は、要素Ａ及びＢのみから成るデバイスに限定されてはならない。用語、～を含む（including）、又は～を含む～（which includes）、又は～を含む～（that includes）のうちの任意のものもまた、本明細書で使用するとき、少なくとも、用語の後に続く要素／特徴を含むが、他のものを除外しないことも意味するオープンな用語である。それゆえ、～を含む（including）は、～を備える（comprising）と同義であり、それを意味する。

【0037】

本明細書で使用するとき、用語「exemplary（例示的な）」は、品質を指示するのとは対照的に、例を提供するという意味で使用される。すなわち、「exemplary embodiment（例示的な実施形態）」とは、必然的に模範的な品質（exemplary quality）の実施形態であるのとは対照的に、一例として提供される実施形態である。

【0038】

以下の説明は「システム」及び「モジュール」に言及する。用語「モジュール」は、論理的に分離可能であるソフトウェアコンポーネント（コンピュータプログラム）、又はハードウェアコンポーネントを指す。実施形態のモジュールは、コンピュータプログラム内のモジュールだけでなく、ハードウェア構成内のモジュールも指す。実施形態の説明はまた、モジュールに機能させるためのコンピュータプログラム（コンピュータに各ステップを実行させるプログラム、コンピュータに手段として機能させるプログラム、及びコンピュータに各機能を実施させるプログラムを含む）の説明としての役割、並びにシステム及び方法の説明としての役割も果たす。説明の便宜上、表現「情報を記憶する」、「情報を記憶させる」、及びそれらと同等の他の表現が使用される。実施形態がコンピュータプログラムである場合には、これらの表現は、「メモリデバイスに情報を記憶させる」又は「メモリデバイスを、メモリデバイスに情報を記憶させるように制御する」を表すことを意図される。モジュールは１対１の対応で機能に対応し得る。ソフトウェアの実装形態では、１つのモジュールが１つのプログラムを形成してもよく、又は複数のモジュールが１つのプログラムを形成してもよい。１つのモジュールが複数のプログラムを形成してもよい。複数のモジュールは単一のコンピュータによって実行されてもよい。単一のモジュールが分散環境又は並列環境内の複数のコンピュータによって実行されてもよい。１つのモジュールが別のモジュールを含んでもよい。以下の説明において、用語「接続」は、物理的接続でなく、（データ、命令、及びデータ参照関係の交換などの）論理的接続も指す。用語「所定の（predetermined）」は、何らかのものが、関心のあるプロセスに先立って決定されることを意味する。それゆえ、用語「所定の」は、実施形態において、関心のあるプロセスに先立って決定された何らかのものを指すことを意図される。たとえ、実施形態におけるプロセスが開始した後でも、用語「所定の」は、関心のあるプロセスに先立って、現時点における実施形態の条件若しくは状態に応じて、又は現時点まで続くこれまでの条件若しくは状態に応じて決定された何らかのものを指す。「所定の値」が複数ある場合には、所定の値は互いに異なってもよく、又は所定の値のうちの２つ以上（全ての値を含む）は互いに等しくてもよい。「Ａである場合には、Ｂが遂行されることになる」との陳述は、「何らかのものがＡであるかどうかが決定され、何らかのものがＡと決定された場合には、アクションＢが実施されることになる」ことを意味することを意図される。何らかのものがＡであるかどうかに関する決定が遂行されない場合には、陳述は無意味になる。

【0039】

用語「システム」は、複数のコンピュータ、ハードウェア構成、及びデバイスが通信ネットワーク（１対１通信接続を含む）を介して相互接続された機構を指す。用語「システム」、及び用語「デバイス」はまた、単一のコンピュータ、ハードウェア構成、及びデバイスを含む機構も指す。システムは、人間によって構築された社会的「機構」である社会システムを含まない。

【0040】

モジュールによって遂行される各処理において、又はモジュールによって遂行される処理のうちの１つにおいて、処理対象としての情報がメモリデバイスから読み込まれ、次に、情報が処理され、処理の結果がメモリデバイス上に書き込まれる。処理前のメモリデバイスからの情報の読み込み、及び処理後のメモリデバイスへの処理された情報の書き込みに関する説明は必要に応じて省略される場合がある。メモリデバイスは、ハードディスク、ランダムアクセスメモリ（ＲＡＭ（random-access memory））、外部記憶媒体、通信ネットワークを介して接続されたメモリデバイス、及びＣＰＵ（Central Processing Unit（中央処理装置））内の台帳（ledger）を含み得る。

【0041】

図面の簡単な説明
本発明の特徴及び利点は、添付の図面を参照した、ほんの一例としての、その実施形態の以下の説明から明らかになるであろう。

【図面の簡単な説明】

【0042】

【図1】図１は、本発明の一実施形態のための基本プロセスフローである。

【図2】図２は、本発明の一実施形態を実施するためのシステムの概略図である。

【図3】図３は、本発明の一実施形態に係る、モバイルデバイスの概略図である。

【図4】図４は、本発明の一実施形態に係る、図３のモバイルデバイスによって実施されるモバイルアプリケーションの概略図である。

【図5】図５は、本発明の一実施形態に係る、ストリームを２次元表示形式で表示するためのプロセスフローである。

【図6】図６は、本発明の一実施形態に係る、２次元表示形式から３次元表示形式への遷移のためのプロセスフローである。

【図7】図７は、図６において概説された遷移プロセスを示す概略図である。

【図8】図８は、本発明の一実施形態に係る、３次元ワールド空間内の運動を示す概略図である。

【発明を実施するための形態】

【0043】

好ましい実施形態の詳細な説明
本明細書において説明される本発明の実施形態は、映像付属デジタルコンテンツを、関連映像ストリームを遮らない仕方でモバイルデバイス上で提示するための技法に関する。実施形態はまた、任意の所望の量又は種類の映像付属デジタルコンテンツが、輻輳を生じさせることなく配信されることを可能にし、これにより、ストリーミングサービスを提供することに関連付けられたユーザエクスペリエンス及び／又は収益を最大化する。後述される実施形態では、これは、仮想現実（ＶＲ（virtual reality））又は拡張現実（ＡＲ（augmented reality））インターフェースを介した３次元仮想コンテンツの提示のために適合された技術を活用し、その技術を伝統的な表示スクリーン環境内における（すなわち、ＶＲ／ＡＲの状況外の）２次元コンテンツ（例えば、２次元映像オブジェクト）の提示のために適合させることによって達成される。その点について、いくつかの実施形態は、ナビゲート可能仮想空間内でレンダリングされた３次元表示オブジェクトを介した２次元コンテンツの提示を介してユーザインターフェースを提供するように適合された技術に関する。

【0044】

例示的なプロセスフロー
図１を参照すると、映像付属デジタルコンテンツをモバイルデバイスのユーザに配信するための例示的なプロセスフロー１０が示されている。モバイルデバイスは、電話、タブレット、又はユーザが映像を小画面の形態で観視することができる他の同様のハンドヘルドデバイスを含み得る。後述される例では、モバイルデバイスは、追加的に、好ましくは、ＩＭＵ（inertial measurement unit（慣性計測装置））、又はデバイス運動の測定を可能にする他のハードウェアを含む。

【0045】

本方法は、映像ストリームをモバイルデバイスの表示スクリーン上に表示する初期ステップＳ１を含む。映像ストリームは２次元表示形式（以下、「２Ｄ形式」）で表示され、好ましくは、表示スクリーン全体を占有する。ステップＳ２において、映像付属デジタルコンテンツのための命令（例えば、ユーザ命令又はシステム生成命令）を受信したことに応じて、本方法は、ディスプレイに２Ｄ形式から３次元表示形式（「３Ｄ形式」）へ遷移させることを含む。

【0046】

より具体的には、遷移のステップは、映像付属デジタルコンテンツオブジェクトの各々が映像ストリームオブジェクトに対して異なる空間場所に表示されるよう、映像ストリーム及び映像付属デジタルコンテンツを３次元仮想空間内で別個のオブジェクトとしてレンダリングすることを含む。３次元空間内におけるこのようなレンダリングは、有利に、対応するオブジェクトによって表示された映像ストリームが映像付属デジタルコンテンツによって遮られないことを確実にする。後続の段落において明白になるように、３次元空間への遷移はまた、任意の所望の量の映像付属デジタルコンテンツが、輻輳を生じることなく提示されることも可能にする。

【0047】

映像ストリームは、さらなる既定の形態の命令（例えば、ダブルタップジェンチャ（genture）などの、ユーザ命令）が受信されるまで３Ｄ形式で表示され続け（ステップＳ３）、受信に応じて、本方法は、ディスプレイが２Ｄ形式に復帰するステップＳ１に戻る。

【0048】

２Ｄ形式から３Ｄ形式への遷移は、（ｉ）最初に、映像を、３次元仮想環境内で、ただし、映像に一致するアスペクト比を有するスクリーンの固定区域を占有するように変換された状態でレンダリングされるように構成された表示オブジェクトを介して提示し（このような状態では、映像オブジェクトは、３Ｄ変換を必要としない、「基本」状態にある）、次に、その表示オブジェクトがスクリーンの固定区域に対して固定されなくなることを可能にし、これにより、それが、好ましくは、最初は、遷移後により小さいスクリーンの区域を占有するよう、２Ｄ形式のときに対して後方に設定される、ナビゲート可能３次元仮想空間内で定義された特定の場所に束縛され、その後、オブジェクトが、その３次元仮想空間内におけるオブジェクトのユーザの観視に基づいて変換されるようにすること、或いは（ｉｉ）映像を最初に従来の映像表示オブジェクトとして提示し、トリガイベントに応じて、３次元仮想環境内でレンダリングされるように本質的に構成された、映像表示オブジェクトに遷移し、（遷移にわたって実質的に途切れのないフレーム間の連続を有する）その環境のナビゲーションを可能にすること、のどちらかを含み得る。

【0049】

一般的システムアーキテクチャ
図２を参照すると、本発明の一実施形態に係るコンピュータシステム１００の概略図が示されている。

【0050】

コンピュータシステム１００は、必須チャンネル、プログラム、及び映像をモバイルデバイスへストリーミングするためのストリーミングエンドポイントを有するモバイルストリーミングサービス１０２を備える。システム１００は、追加的に、イベント分析サービス１０９を実施するデジタルアセットプロバイダ１０６を備える。クイックチャットサービス１１１及びサードパーティデジタルアセットプロバイダ１１２ａ～１１２ｎもコンピュータシステム１００の部分を形成する。

【0051】

より詳細には、映像ストリーミングサービス１０２は、当技術分野においてよく理解された技法を用いて、ライブ、リニア、又はオンデマンドコンテンツのいずれかをモバイルデバイス１２０へストリーミングするように構成されたストリーミングサーバ１０４を含む。本明細書において説明される実施形態によれば、ＭＰＥＧ－Ｄａｓｈアダプティブビットレートストリーミング技術が、ストリーミング映像を圧縮及び符号化するために用いられる。ただし、任意の好適なストリーミング技術を利用することができるであろう。

【0052】

デジタルアセットプロバイダ１０６は、ストリーミングサーバ１０４によってモバイルデバイス１２０へストリーミングされている映像に付属するための映像付属デジタルコンテンツ（以下、「デジタルアセットデータ」）を配信するように構成されたデジタルアセットサーバ１０８を実装する。デジタルアセットデータは時間符号化されてもよい。

【0053】

デジタルアセットサーバ１０８はまた、後続の段落においてより詳細に説明されることになるように、モバイルデバイスへストリーミングされたライブコンテンツを分析し、デジタルアセットデータの機会を識別するように構成されたイベント分析モジュール１０９を実装する。デジタルアセットサーバ１０８によって受信されたデジタルアセットデータはキャッシュデータベース１１３内に一時的に記憶される。

【0054】

特定の実施形態によれば、ライブ映像ストリーミングコンテンツのために、デジタルアセットプロバイダ１０６はサードパーティデジタルアセットプロバイダ（１１２ａ～１１２ｎ）とのウェブソケット接続を開くことになる。ライブ映像ストリームが進行するのに従って、サードパーティは、ソケットを介してライブストリームに関連するデジタルアセットデータをプッシュすることになる。モバイルデバイス１２０は、コンテンツをストリーミングする間にデジタルアセットプロバイダ１０６への別のウェブソケットを開くことになる。デジタルアセットプロバイダ１０６はデジタルアセットデータを、イベント分析モジュール１０９及びクイックチャットサービス１１１によって出力されたデータと組み合わせ得る。次に、この組み合わせられたデータはウェブソケット接続を介してモバイルデバイスへプッシュされる。全てのデータはまた、後日の再生のためにデータベース内にキャッシュされる。

【0055】

事前に記録されたコンテンツのために、事前に記録されたコンテンツが利用可能にされる前に、デジタルアセットプロバイダ１０６は、必要とされるデジタルアセットデータをサードパーティプロバイダ（１１２ａ～１１２ｎ）から取り出し、それをイベント分析システム１０９に通し、組み合わせられたデータをキャッシュデータベース１１３内に保存することになる。ユーザが、事前に記録されたコンテンツを視聴し始めた時に、モバイルデバイスは、データをキャッシュデータベース１３から取得することになるデジタルアセットプロバイダ１０６へのＨＴＴＰ ＲＥＳＴｆｕｌ ＡＰＩを介して、必要とされるデジタルアセットデータを取り出すことになる。

【0056】

上述されたものに対する代替的実施形態では、デジタルアセットプロバイダ１０６によって提供されるサービスは、ストリーミングサービス１０２によって（すなわち、統合サービスとして）実施され得ることが理解されるであろう。

【0057】

モバイルデバイス１２０は、ブロードバンド通信ネットワーク１２２などの、好適な通信ネットワークを通じてストリーミングサーバ１０４及びデジタルアセットサーバ１０８の両方と通信する。

【0058】

図３をさらに参照すると、モバイルデバイス１２０は、処理ユニット１２０ａ、タッチスクリーンディスプレイ１２０ｂ、及びメモリ１２０ｃを含む、標準ハードウェアを備える。モバイルデバイス１２０はまた、モバイルデバイス１２０のピッチ、ロール、及びヨーを感知し、それらを表すデータを出力するように構成されたジャイロスコープ１２０ｄを備える。加えて、モバイルデバイス１０２はカメラ１２０ｅを実装する。

【0059】

処理ユニット１２０ａは好適なオペレーティングシステム（例えば、iOS、Android、又は同様のもの）を実施するように構成されており、オペレーティングシステムが、今度は、本発明の実施形態を実施するモバイルストリーミングクライアントアプリケーション１２１（以下、「モバイルアプリケーション」）を実行するように構成されている。

【0060】

より詳細には、及び図４をさらに参照すると、モバイルアプリケーション１２１は、メモリ１２０ｃ内に記憶されたプログラムコードに基づいて多数のモジュールを実施する。より具体的には、モジュールは、リアルタイムレンダリングエンジン１２１ｅ、デジタルコンテンツレンダリングエンジン１２１ｆ、フレーム構築モジュール１２１ｇ、レンダーテクスチャコンポーネント、１２１ｈ、マテリアルコンポーネント１２１ｉ、３次元メッシュコンポーネント１２１ｊ、シェーダコンポーネント１２１ｋ、レンダラ１２１ｌ、及びイベントハンドラ１２１ｍを含む。

【0061】

後続の段落においてより詳細に説明されることになるように、レンダリングエンジン１２１ｅは、特に、映像ストリームを３次元画像面にレンダリングするように構成されており、ユーザ命令（又は、実施形態によっては、既定の条件について監視するプロセスによってトリガされるシステム生成命令）に基づいて２Ｄ形式と３Ｄ形式との間で遷移する能力を有する。

【0062】

本特許明細書を準備している時点において、一実施形態のための好ましいアプローチは、本明細書において開示される本発明の内容の態様を具現化する技術をサポートすることができる映像再生及びＶＲ機能性の統合を可能にするいくらかのベースライン技術を提供する、NexPlayer（商標）Unityプラグインと組み合わせられた、NexPlayer（商標）を、メディアプレーヤ機能性を提供するためのプラットフォームとして利用することである。NexPlayer（商標）又はUnityのどちらとの承認又は提携も示唆されておらず、これらの商用プラットフォームは例としてのみ示されている。さらなる実施形態では、様々な他の形態のメディアプレーヤ及びＶＲプラットフォーム（例えば、iOS及びAndroidのためのネイティブのＶＲ ＳＤＫ）が用いられ得る。

【0063】

２Ｄ及び３Ｄ形式の間の遷移
例として、以下のことは、ユーザがライブのバスケットボールの試合を自分のモバイルデバイス１２０上で観戦したいと欲するシナリオを説明する。デジタルアセットデータは、選手の統計情報、及び商品を購入するために選択することができるｅストアアセットの形態を取り得る。次に説明される遷移プロセスの特定の利点は、それがリアルタイムで実施され得、２つの形式の間の途切れのない遷移をもたらすことである。

【0064】

図５をさらに参照して、まず、２Ｄ形式を初期化するためのプロセスが説明される。第１のステップＳ１は、ユーザがモバイルアプリケーション１２１を用いてコンテンツチャンネルを選択することを含む。後述されることになるように、チャンネルが選択されると、モバイルアプリケーション１２１は、リアルタイムレンダリングエンジン１２１ｅを用いて３次元対話型シーンを（エーテル（ether）２Ｄの特定のオブジェクト、又は２Ｄの固定された形態で提示された３Ｄオブジェクトのどちらかを介して）２Ｄ形式でロードするように構成されている。より具体的には、チャンネルのためのライブ映像ストリームは、モバイルデバイスディスプレイ１２０ｂのアスペクト比及び局所配向にサイズ設定され、整合させられた３次元画像面にレンダリングされ、これにより、伝統的なフルスクリーン再生を模擬する。３次元画像面はモバイルデバイス１２０のローカルカメラ１２０ｅに取り付けられている。

【0065】

例示された例によれば、ユーザがまずモバイルアプリケーション１２１を開いた際に、彼らは、彼らが、ライブのバスケットボールの試合のストリームを彼らのモバイルデバイス１１０上で観戦するために関連チャンネルを選択することを可能にするインターフェースを提示される。

【0066】

ステップＳ２において、モバイルアプリケーション１２１は、その後、ストリーミングサービスエンドポイントのうちの１つを介してＭＰＥＧ－Ｄａｓｈ映像（又は代替の形式）として配信される、選択された映像ストリームを要求するウェブ要求メッセージをストリーミングサーバ１０４へ送信する。映像ストリームの再生は、（上述のとおり）ユーザ入力によって、又はスクリプト化されたイベントとして、レンダリングエンジン１２１ｅによって活動化されることが理解されるであろう。

【0067】

上述されたように、リアルタイムレンダリングエンジン１２１ｅ及びデジタルコンテンツレンダリングエンジン１２１ｆは、３Ｄ形式の最中には、映像付属デジタルコンテンツオブジェクトの各々が映像ストリームオブジェクトに対して異なる空間場所に表示されるよう、映像ストリーム及び同期させられたデジタルアセットデータを３次元仮想空間内で別個のオブジェクトとしてレンダリングするように構成されている。

【0068】

より詳細には、ステップＳ３において、リアルタイムレンダリングエンジン１２１ｅは、映像ストリームから各フレームを抽出するように構成されたフレーム構築コンポーネント１２１ｇを初期化する。

【0069】

各々の抽出されたフレームは、ステップＳ４において、フレームをレンダーテクスチャに入れるモバイルアプリケーション１２１のレンダーテクスチャコンポーネント１２１ｇに渡される。

【0070】

ステップＳ５において、レンダーテクスチャはマテリアルコンポーネント１２１ｈによってマテリアル内に挿入される。当業者が理解するであろうように、マテリアルは、それが用いるテクスチャ、タイリング情報色合い、及び同様のものへの参照を含むことによって、表面がどのようにレンダリングされるべきであるかを定義する。マテリアルのための利用可能なオプションはシェーダコンポーネント１２１ｉによって支配される。

【0071】

ステップＳ６において、マテリアルはレンダラ１２１ｊによって既定の３次元メッシュに適用される。例示された実施形態によれば、既定のメッシュは、１：１に対応付けられ、映像ストリームのアスペクト比、例えば、１０８０ｐにおける１６：９にスケーリングされたＵＶ座標を有する三角形メッシュを含む。

【0072】

ステップＳ７において、３次元メッシュは、マテリアルコンポーネント１２１ｈからのマテリアル特性、及びシェーダコンポーネント１２１ｉから受信されたシェーダ命令を用いて３次元仮想空間内でリアルタイムでレンダリングされる。

【0073】

この時点において、映像は３次元画像面上で２Ｄ形式で対応付けられ、表示され、伝統的なフルスクリーン再生を模擬する。

【0074】

最後に、ステップＳ８において、モバイルアプリケーション１１１はデジタルアセットサーバ１０８からのデジタルイベントデータ（すなわち、デジタルアセットデータを表す）を要求する。受信されたデジタルイベントデータはイベントハンドラ１２１によって受信される。次に、イベントデータはロードされ、（後続の段落において説明されるように）３Ｄ形式の初期化に備えて背景プロセスにおいて同期させられた状態に維持される。一実施形態では、ストリームに関連付けられたメタデータが抽出され、どのデジタルイベントデータを要求するべきかを決定する際の使用のために評価される。このような実施形態によれば、デジタルイベントデータは、１つ以上の既定のメタデータ分類子に関連付けて記憶され得る。その場合には、要求内で識別された同じメタデータを用いて分類されたデジタルイベントデータのみがモバイルアプリケーション１１１へプッシュされることになる。

【0075】

図６は３Ｄ形式への遷移のためのプロセスフローを示す。図示のように、ステップＳ１において、既定のユーザ遷移命令がモバイルアプリケーション１２１によって決定される。命令は、例えば、タッチスクリーンディスプレイ若しくはキーパッドを介して受け付けられた特定のジェスチャ、又はデバイスの既定の運動を含む、任意の既定のユーザ入力であり得る。例示された実施形態によれば、既定の入力は、タッチスクリーンディスプレイ１２０ｂを介して行われるダブルタップジェスチャを含む。

【0076】

ステップＳ２において、命令を決定したことに応じて、モバイルアプリケーション１２１は、画像面をディスプレイから「スナップ解除し」、それを３次元空間内で変換するように構成されている。

【0077】

より具体的には、これは、ステップＳ３において、ローカルカメラに対するその変換（すなわち、３次元空間内のオブジェクトの組み合わせられた位置、回転、及びスケール）を保持しつつ、画像面座標空間をローカルカメラ空間から仮想空間座標系（「ワールド空間」又は「３次元仮想空間」）へ変更することを含む。経時的に、画像面は元の変換から、固定されたワールド空間変換までを補間する。３次元画像面は、映像ストリームを表示するための任意の好適な大スクリーン「メディアスクリーン」を模擬し得ることが理解されるであろう。例えば、３次元画像面は、ワールド空間の中心的存在である映画スクリーンのように見えるようレンダリングされてもよい。

【0078】

図７を参照すると、２Ｄから３Ｄ形式への画像面の遷移を示す概略図が示されている。図７において、２Ｄ形式による画像面は参照符号２０２によって示され、その一方で、変換された画像面（すなわち、ワールド空間におけるもの）は参照符号２０４によって示されている。

【0079】

ステップＳ４において、関連デジタルアセットデータ及び他のシーン関連ビジュアル（例えば、背景、パーティクルエフェクト等）を表示するために用いられるシーン要素が活動化／再活動化される。ワールド空間内において、デジタルアセットは３次元オブジェクトとしてレンダリングされる。３次元オブジェクトは、それらが、映像ストリームを表示する３次元画像面と重なり合わないとの条件で、ワールド空間内の任意の所望の空間場所において固定され得る。いくつかのシーン要素はデジタルアセットデータを表示しなくてもよく、代わりに、背景及びパーティクルエフェクト並びに同様のものを含み得ることが理解されるであろう。

【0080】

ステップＳ５において、モバイルデバイスジャイロスコープ１２０ｄが活動化される。例示された実施形態によれば、モバイルデバイス１２０の運動が、ユーザがワールド空間をナビゲートすることを可能にする。より具体的には、デバイス１２０の運動は、ジャイロスコープ１２０ｄにモバイルデバイス１２０のピッチ、ヨー、及びロールを表すデータを出力させ、これらの出力がモバイルアプリケーション１２１によって、ワールド空間に取り付けられた仮想カメラをどのように運動させるべきかを決定するために評価される。代替的実施形態では、同じ実際的結果をもたらすためにジャイロスコープ以外の技術が用いられ得ることが理解されるであろう。

【0081】

より詳細には、ワールド空間において、仮想カメラはワールド空間の中心に固定される。モバイルデバイス１１０がユーザの正面で保持され、運動させられた際に、モバイルアプリケーション１２１は、仮想カメラの配向を対応して調整し、これにより、ワールド空間を見回すことを模擬するように構成されている。図８は、例示的なワールド空間内における仮想カメラの運動を概略的に示す。例示された例については、選手の顔の形態のデジタルアセットデータが、ライブ映像ストリームを表示する画像面２０４の両側の柱２０６ａ、２０６ｂ内にレンダリングされる。

【0082】

ステップＳ６において、モバイルアプリケーションは、デバイス運動（すなわち、仮想カメラを制御するためのもの）、及び２Ｄ形式に復帰するためのユーザ選択若しくは要求のどちらかを表すユーザ入力について監視する。

【0083】

シーン要素のうちの１つ以上は、例えば、モバイルデバイスタッチスクリーンディスプレイ１１０ｂをタップすることによって対話され得るユーザインターフェース要素の形態を取り得る。

【0084】

図８の例を参照すると、シーン要素は、鉛直柱２０６ａ、２０６ｂ画像面の１つの両側内の固定された個々の枠内にレンダリングされた選手の顔の形態を取る。一方のチームのための選手の顔は左の柱２０６ａ内にレンダリングされてもよく、その一方で、他方のチームの選手の顔は右の柱２０６ｂ内にレンダリングされてもよい。枠のうちの１つを（例えば、タッチスクリーンディスプレイ１２０ｂ上の対応する場所をタッチすることによって）選択することは、モバイルアプリケーション１２１に、（上述されたように、背景プロセスにおいて同期させられた状態に維持された）選択された選手のための関連統計情報をロードさせ、それらの統計情報を、ユーザによる観視のためにワールド空間内に固定されたさらなる３次元オブジェクト内に視覚的に美的な形態でレンダリングさせる。

【0085】

上述されたように、選手を選択することは、追加的に、選手の番号を有する帽子又はジャージを追加の３次元オブジェクトとしてワールド空間内に、それに関連して表示された文字「ストア」と共にレンダリングさせてもよい。選手の帽子又はジャージを（この場合も先と同様に、タッチスクリーンディスプレイ１２０ｂを用いて）選択することは、モバイルアプリケーションに、ユーザによって購入され得る選手の商品の様々な品物を列挙するｅストアオブジェクトを表示させる。一実施形態では、ｅストアオブジェクト内の品物を選択することは、モバイルアプリケーション１２１に、適切な品物を、後の購入のために（モバイルアプリケーション１２１を介してアクセスされ得る）ウェブストア上のカートに追加させる。

【0086】

チャットアイコンも、ワールドビュー内に固定された３次元オブジェクトとしてレンダリングされ得る。アイコンを選択することは、アプリケーション１２１に、チャットサービス１１１と通信し、ワールドビュー内のオブジェクトとしてレンダリングされたチャットボックス内に後に表示されるライブフィードを受信させる。チャットボックス内のダイアログ入力フィールドは、ユーザが、ライブフィード内に組み込むためにチャットサービス１１１へ通信される既定の文句及びエモティコンを入力することを可能にする。

【0087】

上述されたように、デジタルオブジェクトはライブ映像ストリームと同期させられ、ライブ映像ストリーム内のイベントを反映するためにリアルタイムで更新され得る。１つの形態では、これは、イベント分析サービス１０９の助けを借りて促進され得る。イベント分析サービス１０９は、モバイルデバイス１２０に配信されているライブ映像ストリームに関連付けられたコンテキストデータを分析し、分析に基づいて、デジタルアセットデータを提示するための機会を識別するように構成されている。

【0088】

例として、イベント分析サービス１０９は、試合内のイベントを表すライブ時間符号化データを受信するように構成されたサーバを含み得る。時間符号化データは、例えば、統計情報ストリーミングサービスから受信され得る。

【0089】

既定のイベント（例えば、選手Ｘが得点した）を決定したことに応じて、イベント分析サービス１０９のサーバは、デジタルアセットプロバイダサーバ１０８を、その選手のためのｅストアアセットデータをモバイルアプリケーション１２１のイベントハンドラ１２１ｍへ通信するようトリガする通信をデジタルアセットプロバイダサーバ１０８へ送信する。モバイルディスプレイが３Ｄ形式になっている場合には、イベントハンドラ１２１ｍは、次に、その選手のための商品オプションを（上述されたように）ｅストア３次元オブジェクト内に提示させることになる。

【0090】

イベント分析サービス１０９は、ライブストリーム及び／又はチャットサービス内の「関心の瞬間」に関連したデジタルアセットデータの自動識別及び動的配信をトリガするように構成された人工知能（ＡＩ（artificial intelligence））モジュールを実装し得る。

【0091】

例として、ＡＩモジュールは、統計情報ストリームから、選手「Ｘ」が２ポイントシュートを決めたと決定し得る。選手Ｘはシュートの最中にファウルされ、フリースローを得る。

【0092】

さらに、ＡＩモジュールは、統計情報ストリームから、選手Ｘがこの試合ですでに多数のシュートを決めたと決定し得る。

【0093】

なおさらに、チャットサービス１１１からのライブフィードデータの評価が、現在、大量の肯定的入力が存在することを指示し得る。

【0094】

照合されたデータに基づいて、ＡＩシステムは、これは選手Ｘにとって高レベルの関心の瞬間であると結論し得る。それに応じて、分析サービス１０９は、関連するｅストアの宣伝及びフィードバックを、ワールド空間内で既定のシーン要素として提示するために活動化するデータをアプリケーション１２１のイベントハンドラ１２１ｍへ送信する。

【0095】

２Ｄ形式への復帰は、ユーザが既定の命令を入力することによって任意の時点で開始され得る。この場合も先と同様に、例として、これは、タッチスクリーンディスプレイデバイス１２０ｂを介して行われるダブルタップジェスチャを含み得る。既定の命令を決定したことに応じて、アプリケーション１２１は３次元ワールドビューを隠し、３次元画像面をデバイススクリーンに再スナップし、これにより、２Ｄ形式に復帰する。より具体的には、これは、カメラに対するその変換を保持しつつ、画像面座標空間をワールド空間からローカルカメラ空間へ変更する。画像面は、元の変換から、新たなカメラに整合させられた変換までを（ローカル空間内で）経時的に補間する。今や隠された全ての他のシーン要素は非活動化される。

【0096】

３Ｄ形式が初期化された際には、３Ｄワールドビューはモバイルデバイス１２０の正面方向と整合させられることが理解されるであろう。整合は、２Ｄ形式の活動化によって、モバイルデバイス１２０を所望の正面方向ベクトルの方向に向け、３Ｄ形式を再び活動化することによって、再設定され得る。

【0097】

実施形態のさらなる説明
上述の開示は、コンピュータコードがモバイルデバイス及びサーバデバイスのどちらか又は両方において実行され、これにより、モバイルデバイスの表示スクリーン上におけるユーザインターフェースのレンダリング及び動作を生じさせ、これにより、限られたスクリーン空間を有する環境内で、増大した量のコンテンツ（例えば、映像及びウェブページデータなどの２次元コンテンツ）を提供したいとの要求に関連付けられる問題への技術的解決策を提供する技術を提供することは理解されるであろう。

【0098】

後述されるさらなる実施形態のために、上述されたとおりの図２の一般的アーキテクチャが用いられ得る。しかし、レンダリングエンジン１２１ｅの機能性は、任意選択的に、追加的／代替的な機能性を提供するために変更される。

【0099】

一実施形態は、表示スクリーンを有するモバイルデバイスにおいてコンテンツを表示するための方法を提供する。本方法は以下のことを含む：
（ｉ） モバイルデバイスを、３次元仮想空間をレンダリングするように構成すること。３次元空間はこの時点において実際にレンダリングされる必要はなく、本方法は、最初に、空間背景（例えば、シーン若しくは舞台）、及び３次元仮想空間内の既定の場所においてレンダリングされることになる１つ以上のコンテンツ表示オブジェクトを表すデータにアクセスすることを含み得る。オブジェクトの少なくとも部分セットが２次元コンテンツ（例えば、映像データ、ウェブページコンテンツ、アニメーションコンテンツ等）のソースにデータ対応付けされ、場合によっては、バッファリングプロセスが遂行され、これにより、データ対応付けされたソースの各々からのコンテンツの部分をバッファし、これにより、３次元仮想空間及び表示オブジェクトがレンダリングされる際のコンテンツの高速ローディングを促進する。
（ｉｉ） 入力（例えば、ユーザ入力又はソフトウェアによって観察されたイベントによって定義された入力）に応じて、後述されるように、フルスクリーンコンテンツ観視を可能にする、第１のモードと、３次元仮想空間を介したコンテンツナビゲーションを可能にする、第２のモードとの間を視覚的に途切れのない様態で遷移する。表現「視覚的に途切れのない」は、体験されているコンテンツが、遷移を通じて連続的な様態で体験されることを意味する（例えば、たとえ、映像が表示されたオブジェクトの特性が、例えば、オブジェクトタイプを遷移させること、及びオブジェクト位置の滑らかな変化によって、変化しても、映像は再生し続ける）。

【0100】

第１のモードでは、コンテンツ表示オブジェクト（２次元コンテンツを表示するように構成されたオブジェクト、例えば、映像ソースからストリーミングされた映像を表示するように構成された映像表示オブジェクト、或いはウェブページコンテンツ及び／又はアニメーションを表示するように構成されたオブジェクト）が、表示スクリーンの実質的に全てを占有するようにレンダリングされる（例えば、ＵＩ境界区域を含み得る、フルスクリーンビュー）。これは、従来の２次元表示オブジェクト（例えば、従来のＨＴＭＬ映像オブジェクト）として、又は２次元コンテンツが表示される（例えば、変換される／投影される）２次元表示ペインを有する３次元オブジェクトとして提示され得る。前者は、処理の複雑さを低減するという観点から好ましい。後者の場合には、２次元表示ペインは、好ましくは、表示スクリーンと整合させられ、これにより、映像は従来の２次元映像として現れる。

【0101】

第２のモードでは、同じ２次元コンテンツが、表示スクリーン区域の約７５％未満を占有する（及びそれゆえ、ユーザが、仮想環境が表示される視野を介して、３次元仮想空間内の追加のコンテンツも見ることを可能にする）、３次元仮想空間内の３次元コンテンツ表示オブジェクトを介して提示される。

【0102】

第１のモードから第２のモードへの遷移は、ユーザが２次元コンテンツを途切れなく観視し、３次元仮想空間をナビゲートし、これにより、遠隔コンテンツソースから取得された動的コンテンツを表示するようにそれぞれ構成された１つ以上のさらなるコンテンツ表示オブジェクトを並列に観視することができるという意味で、視覚的に途切れのない体験をもたらす。途切れのない観視は以下の場合のいずれかによって影響を受ける：
・ 第１のモードが従来の２次元表示オブジェクトを利用し、第２のモードが３次元コンテンツ表示オブジェクトを利用し、次元表示オブジェクトを介して表示される映像の（例えば）最終フレームが、３次元表示オブジェクトによって提示される映像の最初のフレームに映像の文脈において連続している、又はほぼ連続しているよう、オブジェクトの間で実質的にコンテンツ再生を同期させる場合。
・ 第１のモードが３次元表示オブジェクトを利用し（これにより、それが、実質的にフルスクリーンの２次元オブジェクトとして現れるよう提示されるように位置付けられるようにする）、３次元空間内の視点を移動させること（３次元オブジェクトから移動させ、これにより、その周囲を見せる）を介して途切れのない遷移が達成される場合。

【0103】

遷移はどちらの方向にも生じ得、これにより、ユーザが３次元仮想環境においてフルスクリーン観視と部分スクリーン観視とを切り替えることを可能にすることは理解されるであろう。３次元仮想環境は、ユーザ入力（例えば、ＩＭＵ及び／又はカメラモジュールによって処理される動き入力、或いはタッチスクリーン入力を含む）によって、遠隔コンテンツソースから取得された動的コンテンツを表示するようにそれぞれ構成された複数のさらなるコンテンツ表示オブジェクトの同時観視を可能にするようナビゲートされ得る。実施形態によっては、これらのコンテンツ表示オブジェクトのうちの任意のものがフルスクリーンモードに起動され得る。モード間の遷移をトリガする入力は、タッチスクリーン入力（例えば、コンテンツ表示オブジェクト上のダブルタップ、又は他のタッチスクリーン対話）、代替的なユーザコマンド（例えば、聴覚、触覚、ボタン、又は同様のもの）、或いは（例えば、ソフトウェアモジュール内で実行される規則 － 例えば、データ駆動トリガ、タイマ、又は同様のものに応じてフルスクリーンモードを自律的に抜け、第２のモードに入るための規則に基づいて）自律的にトリガされるプロセスを含み得る。

【0104】

第２のモードになっているときには、タッチ対応付けモジュールが、３次元空間とのタッチスクリーン対話を認識し、それらを、コンテンツ表示オブジェクト内に提示された２次元コンテンツとの対話に翻訳するように構成されている。このように、ユーザは、例えば、ウェブページ内に提示されたボタンを、たとえ、そのウェブページが、３次元環境内の３次元オブジェクトの表示ペイン上のレンダリングを介して投影された／翻訳された形態で提示されているときでも、クリックすることができる。すなわち、３次元環境内で提示されるコンテンツ表示オブジェクトのうちの少なくとも１つのために、２次元コンテンツは対話型コンテンツ（例えば、ＧＵＩボタン及び同様のもの）を含み、タッチ対話対応付けモジュールは，３次元仮想空間が表示されたときの表示スクリーンに対して定義されたユーザ対話場所を、２次元コンテンツに対して定義された２次元座標に対応付け、これにより、３次元環境を介した２次元コンテンツとの対話を可能にするように構成されている。

【0105】

上述された技術はまた、データを、表示スクリーンを有するモバイルデバイス上のナビゲート可能映像中心型ユーザインターフェースに提供するための方法であって、モバイルデバイスが、３次元仮想空間をレンダリングすることと、３次元仮想空間内において複数のコンテンツ表示オブジェクトをレンダリングすることであって、各コンテンツ表示オブジェクトが、２次元コンテンツを提示するように構成された２次元表示ペインを含む、レンダリングすることと、コンテンツ表示オブジェクトの各々を２次元レンダリングコンテンツのソースにデータ対応付けすることであって、このようなモバイルデバイスが、それぞれの指定された場所から２次元コンテンツをコンテンツ表示オブジェクトによる表示のために取得するように動作可能であり、これにより、２次元コンテンツが３次元仮想空間内で変換され、提示される、データ対応付けすることと、モバイルデバイスに配信されたユーザ入力を介した３次元仮想空間の視野ナビゲーションを可能にし、これにより、モバイルデバイスのユーザが、映像コンテンツ表示オブジェクト及び１つ以上のさらなるコンテンツ表示オブジェクトの所望の部分を選択的に観視することを可能にすることと、を含む、方法を遂行するように構成されている、方法ももたらす。

【0106】

一実施形態は、ナビゲート可能映像中心型ユーザインターフェースを、表示スクリーンを有するモバイルデバイス上に提供するための方法を提供する。本方法は以下のことを含む：
・ ディスプレイ上における映像コンテンツ表示オブジェクトのレンダリングであって、映像コンテンツ表示オブジェクトが、映像データソース（例えば、ローカルソース、又はストリーミングソース）から取得された２次元映像データを提示するように構成されている、レンダリング。レンダリングは、映像コンテンツ表示オブジェクトを３次元仮想空間内で３次元オブジェクトとしてレンダリングすることを含み、これにより、映像コンテンツ表示オブジェクトは、２次元映像データが提示される２次元表示ペインを含む。
・ ３次元仮想空間内において１つ以上のさらなるコンテンツ表示オブジェクトをレンダリングすることであって、１つ以上のさらなるコンテンツ表示オブジェクトが、それぞれの２次元コンテンツデータソースから取得された２次元コンテンツを提示するように構成されている、レンダリングすること。
・ モバイルデバイスに配信されたユーザ入力を介した３次元仮想空間の視野ナビゲーションを可能にし、これにより、モバイルデバイスのユーザが、映像コンテンツ表示オブジェクト及び１つ以上のさらなるコンテンツ表示オブジェクトの所望の部分を選択的に観視することを可能にすること。

【0107】

上述の方法は、上述されたとおりのフルスクリーン／３次元ビューモードの間の遷移のための機能性を用いて、又は用いずに遂行され得る。遷移を用いない場合、それにもかかわらず、これは、３次元環境のナビゲーションのために意図された技術を用いて、２次元コンテンツの要素の間の便利なナビゲーションを可能にする有用なモバイルデバイスインターフェースを提供する。その点について、コンテンツ表示オブジェクトは、２次元コンテンツをそれぞれ表示するそれぞれの２次元表示面を各々有し、これらは実質的に３次元仮想空間内の共通点の方に向いている（その点は、ユーザビューポートが定義される仮想点である － ユーザは、好ましくは、回転、及び任意選択的に、ズームによってナビゲートするが、水平又は鉛直の位置の平行移動によってナビゲートしない）。これにより職員（functionary）が検認される（probated）実施形態によっては、対話型コンテンツとの既定の形態のユーザ対話（例えば、ハイパーリンク又は他の制御機構などの、追加コンテンツに関連付けられたボタンをクリックすること）に応じて、ユーザインターフェース制御モジュールは、１つ以上の追加コンテンツ表示オブジェクトを起動し、レンダリングするように構成されており、これらもまた、それぞれの２次元コンテンツデータソースから取得された２次元コンテンツを提示するように構成されている。これらは、好ましくは、３次元仮想環境内において、中心オブジェクトから、１つ以上の現在表示中のオブジェクトよりも大きい距離を置いて提示される。すなわち、インターフェースは、中心コンテンツ表示オブジェクト、その中心コンテンツを囲む（例えば、所与の３次元環境の状況において「囲む」）第１のゾーン内のコンテンツ表示オブジェクトの第１の列、及び追加コンテンツ表示オブジェクトが呼び出された際に外方へ延びる１つ以上のさらなる列を有する。

【0108】

システム構成のさらなる詳細
例示された実施形態によれば、モバイルデバイスは、インターネットに接続可能なスマートフォンである。スマートフォンは、関連サービスと通信するために必要なハードウェア及びソフトウェアを備えている。スマートフォン及び関連サービスは、この場合には、モバイルブロードバンドネットワークである、ネットワークを通じて通信する。図２には示されていないが、ネットワークは、基地局コントローラ、ホームロケーションレジスタ、移動交換局、メッセージセンター、機器識別レジスタ、及びメッセージゲートウェイを含む標準的ネットワーク要素を含む（ただし、私設／公衆無線ネットワーク等を含む任意の好適なネットワーク接続が利用され得ることは理解されるであろう）。

【0109】

このようなデバイスの詳細（例えば、プロセッサ、メモリ、ディスプレイ、データ記憶デバイス）は、理解しやすいように省略されている。

【0110】

当業者によって理解されるであろうように、本発明の態様は、システム、方法、又はコンピュータプログラム製品として具現化され得る。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、或いはソフトウェア及びハードウェアの態様を組み合わせた実施形態の形態を取り得、これらは全て、本明細書において「回路」、「モジュール」、又は「システム」と一般的に称され得る。さらに、本発明の態様は、コンピュータ可読プログラムコードが組み込まれた１つ以上のコンピュータ可読媒体（単数又は複数）内に組み込まれたコンピュータプログラム製品の形態を取り得る。

【0111】

１つ以上のコンピュータ可読媒体の任意の組み合わせが利用され得る。コンピュータ可読媒体はコンピュータ可読信号媒体又はコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、限定するものではないが、電子式、磁気式、光学式、電磁式、赤外線式、又は半導体式のシステム、装置、又はデバイス、或いは上述のものの任意の好適な組み合わせであり得る。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）としては、以下のにもの：ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ（read-only memory））、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ（erasable programmable read-only memory）若しくはフラッシュメモリ）、ポータブルコンパクトディスクリードオンリーメモリ（CD-ROM（compact disc read-only memory））、光記憶デバイス、磁気記憶デバイス、又は上述のものの任意の好適な組み合わせが挙げられるであろう。本明細書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって、又はこれと関連して用いるためのプログラムを包含又は記憶することができる任意の有形媒体であり得る。

【0112】

コンピュータ可読信号媒体は、例えば、ベースバンド内に、又は搬送波の部分として、コンピュータ可読プログラムコードが内部に組み込まれた伝搬データ信号を含み得る。このような伝搬信号は、限定するものではないが、電磁式、光学式、又はそれらの任意の好適な組み合わせを含む種々の形態のうちの任意のものを取り得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体でない、プログラムを、命令実行システム、装置、又はデバイスによる、又はそれと関連した使用のために通信、伝搬、又は輸送することができる任意のコンピュータ可読媒体であり得る。

【0113】

コンピュータ可読媒体上に組み込まれるプログラムコードは、限定するものではないが、無線、有線、光ファイバケーブル、ＲＦ等、又は上述のものの任意の好適な組み合わせを含む、任意の適切な媒体を用いて伝送され得る。

【0114】

本発明の態様のための動作を実施するためのコンピュータプログラムコードは、Java、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、若しくは同様のものなどのオブジェクト指向プログラミング言語、並びに「Ｃ」プログラミング言語若しくは同様のプログラミング言語などの、従来の手続き型プログラミング言語、Ｐｅｒｌ、ＶＢＳ、若しくは同様の言語などのスクリプト言語、及び／又はＬｉｓｐ及びＭＬなどの関数型言語、及びＰｒｏｌｏｇなどの論理指向言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれ得る。プログラムコードは完全にユーザのコンピュータ上で実行するか、一部ユーザのコンピュータ上で実行するか、独立型ソフトウェアパッケージとして実行するか、一部ユーザのコンピュータ上で、且つ一部リモートコンピュータ上で実行するか、又は完全にリモートコンピュータ若しくはサーバ上で実行し得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ（local area network））又はワイドエリアネットワーク（ＷＡＮ（wide area network））を含む、任意の種類のネットワークを通じてユーザのコンピュータに接続され得るか、或いは外部コンピュータへの接続が（例えば、インターネットサービスプロバイダを利用してインターネットを通じて）行われ得る。

【0115】

本発明の態様は、本発明の実施形態に係る方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して説明されている。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図内のブロックの組み合わせは、コンピュータプログラム命令によって実施され得ることが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能データ処理装置のプロセッサを介して実行する命令が、フローチャート及び／又はブロック図のブロック又はブロック群において指定された機能／行為を実施するための手段を生み出すように、汎用コンピュータ、専用コンピュータ、又は機械を作り出すための他のプログラム可能データ処理装置のプロセッサに提供され得る。

【0116】

これらのコンピュータプログラム命令はまた、コンピュータ可読媒体内に記憶された命令が、フローチャート及び／又はブロック図のブロック又はブロック群内で指定された機能／行為を実施する命令を含む製造品を作り出すように、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスを特定の仕方で機能するように仕向けることができるコンピュータ可読媒体内に記憶され得る。

【0117】

コンピュータプログラム命令はまた、コンピュータ又は他のプログラム可能装置上で実行する命令が、フローチャート及び／又はブロック図のブロック又はブロック群において指定された機能／行為を実施するためのプロセスを提供するように、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上にロードされ、一連の動作ステップを、コンピュータ、他のプログラム可能装置、又は他のデバイス上で遂行させ、コンピュータ実施プロセスを作り出し得る。

【0118】

図面におけるフローチャート及びブロック図は、本発明の様々な実施形態に係るシステム、方法、及びコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、及び動作を示す。この点に関して、フローチャート又はブロック図における各ブロックは、指定された論理機能を実施するための１つ又は複数の実行可能命令を含む、コードのモジュール、セグメント、又は部分を表し得る。いくつかの代替的実装形態では、ブロック内に記された機能は、図面に記された順序に従わずに生じてもよいことにも留意されたい。例えば、連続して示された２つのブロックは、実際には、実質的に同時に実行されてもよく、又はブロックは、時として、含まれる機能性に依存して、逆の順序で実行されてもよい。また、ブロック図及び／又はフローチャート図の各ブロック、並びにブロック図及び／又はフローチャート図におけるブロックの組み合わせは、指定された機能又は行為、或いは専用ハードウェア及びコンピュータ命令の組み合わせを遂行する専用ハードウェアベースのシステムによって実施され得ることにも留意されたい。

【0119】

コンピュータプログラム製品は、本明細書において説明される方法論の実施を可能にし、 － コンピュータシステム内にロードされたときに － 本方法を実施することができるそれぞれの特徴を全て含み得る。コンピュータプログラム、ソフトウェアプログラム、プログラム、又はソフトウェアは、本文脈において、情報処理能力を有するシステムに、直接、或いは以下のこと：（ａ）別の言語、コード、若しくは表記法への変換、及び／又は（ｂ）異なる材料形態での再現のうちのどちらか若しくは両方の後に、特定の機能を遂行させることを意図された命令のセットの、任意の言語、コード、又は表記法による、任意の表現を意味する。

【0120】

本明細書において用いられる用語法は、特定の実施形態を説明することのみを目的とするものであり、本発明の限定を意図されてはいない。本明細書で使用するとき、単数形「a」、「an」及び「the」は、文脈が別途明確に示さない限り、複数形も含むことが意図される。さらに、用語「備える（comprises）」及び／又は「備える（comprising）」は、本明細書で使用される場合、記述される特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらの群の存在若しくは追加を排除するものではないことを理解されたい。

【0121】

添付の請求項における全てのミーンズ又はステップ・プラス・ファンクション要素の対応する構造、物、行為、及び同等物は、存在する場合には、具体的にクレームされているとおりに、他のクレームされている要素と組み合わせて機能を遂行するための任意の構造、物、又は行為を含むことが意図される。本発明の説明は例示及び説明を目的として提示されたが、網羅的であること、又は開示されている形態の発明に限定されることを意図されてはいない。当業者には、本発明の範囲及び思想から逸脱することなく、多くの変更及び変形が明らかであろう。実施形態は、本発明の原理、及び実際の適用を最もうまく説明し、他の当業者が、本発明を、企図される特定の使用に適した様々な変更と共に様々な実施形態のために理解することを可能にするために選定され、説明された。

【0122】

本開示の様々な態様は、コンピュータ、プロセッサ、及び／又は機械上で実行されたときにコンピュータ又は機械に本方法のステップを遂行させる、コンピュータ又は機械使用可能又は可読媒体内に組み込まれたプログラム、ソフトウェア、又はコンピュータ命令として組み込まれ得る。また、機械によって、本開示において説明される様々な機能性及び方法を遂行するために実行可能な命令のプログラムを有形に組み込んだ、機械によって可読のプログラム記憶デバイスが提供される。

【0123】

本開示のシステム及び方法は汎用コンピュータ又は専用コンピュータシステム上で実施及び実行され得る。本出願において使用され得る用語「コンピュータシステム」及び「コンピュータネットワーク」は、固定型及び／又はポータブルコンピュータハードウェア、ソフトウェア、周辺装置、及び記憶デバイスの種々の組み合わせを含み得る。コンピュータシステムは、協働的に機能するためにネットワーク化されているか、又は他の仕方でリンクされた複数の個々のコンポーネントを含み得るか、或いは１つ以上の独立型コンポーネントを含み得る。本出願のコンピュータシステムのハードウェア及びソフトウェアコンポーネントは、デスクトップ、ラップトップ、及び／又はサーバなどの固定型及びポータブルデバイスを含み得、それらの内部に含まれ得る。モジュールは、ソフトウェア、ハードウェア、ファームウェア、電子回路機構、又はその他として組み込まれ得る、何らかの「機能性」を実施するデバイス、ソフトウェア、プログラム、又はシステムのコンポーネントであり得る。

【0124】

本発明の特定の実施形態が説明されたが、説明された実施形態と同等である他の実施形態が存在することが当業者によって理解されるであろう。したがって、本発明は特定の例示された実施形態によって限定されず、添付の請求項の範囲によってのみ限定されることを理解されたい。

【0125】

本発明の例示的な実施形態の上述の説明では、本発明の様々な特徴が、本開示を合理化し、様々な発明の態様のうちの１つ以上の理解を助ける目的のために、時として、その単一の実施形態、図、又は説明において互いにグループ化されていることを理解されたい。しかし、この開示方法は、クレームされる本発明が、各請求項において明示的に述べられているよりも多くの特徴を必要とするとの意図を反映するものと解釈されるべきではない。むしろ、添付の請求項が反映するとおり、発明の態様は、単一の以上に開示された実施形態の全ての特徴よりも少数の特徴に存する。それゆえ、発明を実施するための形態に続く請求項は本明細書においてこの発明を実施するための形態に明示的に組み込まれ、各請求項は本発明の別個の実施形態として自立する。

【0126】

さらに、本明細書において説明されるいくつかの実施形態は、他の実施形態に含まれる一部の特徴を含み、他の特徴を含まないが、当業者によって理解されるであろうように、異なる実施形態の特徴の組み合わせが本発明の範囲内に含まれ、異なる実施形態を形成することが意図されている。例えば、添付の請求項では、クレームされている実施形態のうちの任意のものを任意の組み合わせで用いることができる。

【0127】

さらに、実施形態のうちのいくつかは、本明細書において、コンピュータシステムのプロセッサによって、又は機能を実施する他の手段によって実施され得る方法、又は方法の要素の組み合わせとして説明されている。それゆえ、このような方法又は方法の要素を実施するために必要な命令を有するプロセッサは、方法又は方法の要素を実施するための手段を形成する。さらに、装置の実施形態の本明細書において説明される要素は、本発明を実施する目的のために要素によって遂行される機能を実施するための手段の一例である。

【0128】

本明細書において与えられる説明では、数多くの具体的詳細が説明される。しかし、本発明の実施形態はこれらの具体的詳細を有せずに実施され得ることが理解される。他の例では、よく知られた方法、構造、及び技法は、本記載の理解を不明瞭にしないよう、詳細に示されなかった。

【0129】

同様に、用語、結合される（coupled）は、請求項において使用されるとき、直接接続のみに限定されると解釈されるべきでないことに留意されたい。用語「結合される」及び「接続される（connected）」がそれらの派生形と共に使用され得る。これらの用語は、互いにとっての同義語として意図されていないことを理解されたい。それゆえ、表現、デバイスＢに結合されたデバイスＡの範囲は、デバイスＡの出力がデバイスＢの入力に直接接続されているデバイス又はシステムに限定されるべきでない。それは、他のデバイス又は手段を含む経路であり得るＡの出力とＢの入力との間の経路が存在することを意味する。「結合される」は、２つ以上の要素が物理的若しくは電気的に直接接触していること、又は２つ以上の要素が互いに直接接触していないが、それにもかかわらず依然として互いに協働若しくは相互作用することを意味し得る。

【0130】

それゆえ、本発明の好ましい実施形態であると考えられるものが説明されたが、当業者は、他の、及びさらなる修正が、本発明の思想から逸脱することなくそれらになされてもよく、本発明の範囲に含まれる全てのこのような変更及び修正をクレームすることが意図されることを認識するであろう。例えば、以上において与えられたいかなる定式も、用いられ得る手順を表すにすぎない。機能性がブロック図に追加又は削除されてもよく、動作が機能ブロックの間で交換されてもよい。ステップが、本発明の範囲内で、上述された方法に追加又は削除されてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】