特許 6703627 装置および関連する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6703627

(24)【登録日】2020年5月12日

(45)【発行日】2020年6月3日

(54)【発明の名称】装置および関連する方法

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20200525BHJP

   H04N 21/442 20110101ALI20200525BHJP

【ＦＩ】

   G06F3/0481 150

   H04N21/442

【請求項の数】15

【全頁数】23

(21)【出願番号】特願2018-567718(P2018-567718)

(86)(22)【出願日】2017年6月12日

(65)【公表番号】特表2019-521440(P2019-521440A)

(43)【公表日】2019年7月25日

(86)【国際出願番号】FI2017050432

(87)【国際公開番号】WO2018002418

(87)【国際公開日】20180104

【審査請求日】2019年1月28日

(31)【優先権主張番号】16176504.5

(32)【優先日】2016年6月27日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】315002955

【氏名又は名称】ノキア テクノロジーズ オーユー

(74)【代理人】

【識別番号】100127188

【弁理士】

【氏名又は名称】川守田 光紀

(72)【発明者】

【氏名】エロネン アンッティ

(72)【発明者】

【氏名】レフティニエミ アルト

(72)【発明者】

【氏名】レッパネン ユッシ

(72)【発明者】

【氏名】コルモネン ヴェリ−マッティ

【審査官】 木村 慎太郎

(56)【参考文献】

【文献】 特開２０１３−２５０８３８（ＪＰ，Ａ）

【文献】 特開２００８−２１９２８６（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１９３８０６（ＷＯ，Ａ１）

【文献】 米国特許第９４６２２３０（ＵＳ，Ｂ１）

【文献】 特開２０１４−１１６７２２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８１

Ｈ０４Ｎ ２１／４４２

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備える装置であって、前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサに実行されると、前記装置に少なくとも以下のこと：
仮想現実の中での視認用の仮想現実空間を提供するよう構成されたビデオ画像を備える仮想現実コンテンツであって、ユーザに提示される仮想現実ビューが前記仮想現実コンテンツの視認を提供し、前記仮想現実ビューは、前記仮想現実空間を構成する前記ビデオ画像の空間的な一部を備え、前記仮想現実空間の前記ビデオ画像の空間範囲よりも空間範囲が小さく、前記仮想現実コンテンツは、空間オーディオを含み、前記ビデオ画像の中の視覚的イベントに関係するオーディオイベントへの感知される方向が、前記仮想現実空間の中で提示される前記視覚的イベントの視覚的位置に対応する、前記仮想現実コンテンツに関して、
前記仮想現実ビューの前記視認方向の、第１の視認方向から第２の視認方向への前記ユーザによる変更であって、前記第２の視認方向は、前記視認方向の前記変更より前に開始が発生した特定のオーディオイベントの方向に方向閾値以内で一致する、前記変更に基づいて、
見逃されたイベントコンテンツの表示を提供することであって、前記見逃されたイベントコンテンツは、前記仮想現実コンテンツの前記ビデオ画像から抽出された視覚的画像を少なくとも有し、前記視覚的画像は、前記特定のオーディオイベントに対応する前記視覚的イベントを示し、前記見逃されたイベントコンテンツの時間的な開始点は、前記視認方向の前記変更が発生した前記仮想現実コンテンツの中の時間的な点よりも前であり、前記特定のオーディオイベントに基づく、前記提供すること
を実行させるよう構成される、装置。

【請求項2】

前記特定のオーディオイベントに関係する前記視覚的イベントは、前記第１の視認方向に向けられている場合の前記仮想現実ビューの中で視認可能でなかったか、または、前記第１の視認方向に向けられている場合の前記仮想現実ビューの中で、前記対応する特定のオーディオイベントが発生したとき前記ユーザの注目が前記視覚的イベントに置かれていなかった、請求項１に記載の装置。

【請求項3】

前記見逃されたイベントコンテンツの前記時間的な開始点は、他の任意の提示されるオーディオに対する前記特定のオーディオイベントの分析と、前記仮想現実コンテンツの中のオーディオイベントのタイミングを少なくとも定義する所定のオーディオイベントデータとのうちの１つ以上に基づいて、前記特定のオーディオイベントが始まったとみなされる時間に基づく、請求項１または請求項２に記載の装置。

【請求項4】

前記見逃されたイベントコンテンツの前記提供は、前記第１の視認方向と前記第２の視認方向との間の視認方向の変更の度合いが方向変更閾値を超えることにさらに基づく、請求項１から３のいずれかに記載の装置。

【請求項5】

前記見逃されたイベントコンテンツの前記提供は、オーディオ閾値に対する前記特定のオーディオイベントの音量または周波数成分のうちの１つ以上にさらに基づく、請求項１から４のいずれかに記載の装置。

【請求項6】

前記特定のオーディオイベントの判断は、
ａ）前記仮想現実コンテンツの中で発生する１つ以上のオーディオイベントへの前記方向を備える所定のオーディオイベントデータ、および前記方向閾値以内の前記第２の視認方向と、前記１つ以上のオーディオイベントのうちの１つの前記方向との相互関係、
ｂ）視認方向の前記変更に応答しての、前記ユーザが反応した前記特定のオーディオイベントを識別するための前記空間オーディオのオーディオ分析
のうちの１つ以上に基づく、請求項１から５のいずれかに記載の装置。

【請求項7】

前記見逃されたイベントコンテンツの表示の前記提供は、前記仮想現実コンテンツの一時的な停止と、前記見逃されたイベントコンテンツの前記仮想現実ビューにおける表示とを提供することを含む、請求項１から６のいずれかに記載の装置。

【請求項8】

前記特定のオーディオイベントの前記方向へ向かう視認方向の前記変更に応答して、前記見逃されたイベントコンテンツが始まる時点まで前記仮想現実コンテンツが巻き戻されるように前記ユーザに見えるよう時間の点で逆に前記仮想現実コンテンツの表示を提供する、請求項１から７のいずれかに記載の装置。

【請求項9】

前記見逃されたイベントコンテンツは、
ｉ）前記仮想現実コンテンツの前記ビデオ画像から抽出された見逃されたイベントビデオ画像、
ｉｉ）前記仮想現実コンテンツの前記ビデオ画像から抽出された見逃されたイベント静止画像、
ｉｉｉ）前記仮想現実コンテンツの前記ビデオ画像から抽出された見逃されたイベントの仮想現実コンテンツであって、前記見逃されたイベントの仮想現実コンテンツの少なくとも初期の視認方向は、前記特定のオーディオイベントの前記方向に合致する、前記見逃されたイベントの仮想現実コンテンツ、
ｉｖ）前記仮想現実コンテンツの前記ビデオ画像から抽出された見逃されたイベントの仮想現実コンテンツであって、前記見逃されたイベントの仮想現実コンテンツは、前記仮想現実コンテンツの前記空間範囲未満の空間範囲を有し、前記特定のオーディオイベントの前記方向が焦点とされる、前記見逃されたイベントの仮想現実コンテンツ、
のうちの１つ以上を備える、請求項１から８のいずれかに記載の装置。

【請求項10】

前記見逃されたイベントコンテンツは、前記仮想現実コンテンツとともに前記仮想現実ビューの中でピクチャインピクチャとして表示するために提供される、請求項１から９のいずれかに記載の装置。

【請求項11】

前記見逃されたイベントコンテンツの前記表示が完了すると、前記仮想現実コンテンツの前記表示は、前記第１の視認方向から前記第２の視認方向への視認方向の前記変更の時間に一致する時点から再開される、請求項１から９のいずれか１項に記載の装置。

【請求項12】

前記見逃されたイベントコンテンツの前記表示が完了すると、前記仮想現実コンテンツが、少なくとも一時的に実時間よりも高い再生速度での表示のために提供される、請求項１から１１のいずれかに記載の装置。

【請求項13】

前記方向閾値は、９０°未満、７０°未満、４５°未満、または３０°未満であってもよい、請求項１から１２のいずれかに記載の装置。

【請求項14】

仮想現実の中での視認用の仮想現実空間を提供するよう構成されたビデオ画像を備える仮想現実コンテンツであって、ユーザに提示される仮想現実ビューが前記仮想現実コンテンツの視認を提供し、前記仮想現実ビューは、前記仮想現実空間を構成する前記ビデオ画像の空間的な一部を備え、前記仮想現実空間の前記ビデオ画像の空間範囲よりも空間範囲が小さく、前記仮想現実コンテンツは、空間オーディオを含み、前記ビデオ画像の中の視覚的イベントに関係するオーディオイベントへの感知される方向が、前記仮想現実空間の中で提示される前記視覚的イベントの視覚的位置に対応する、前記仮想現実コンテンツに関して、
前記仮想現実ビューの前記視認方向の、第１の視認方向から第２の視認方向への前記ユーザによる変更であって、前記第２の視認方向は、前記視認方向の前記変更より前に開始が発生した特定のオーディオイベントの方向に方向閾値以内で一致する、前記変更に基づいて、
見逃されたイベントコンテンツの表示を提供することであって、前記見逃されたイベントコンテンツは、前記仮想現実コンテンツの前記ビデオ画像から抽出された視覚的画像を少なくとも有し、前記視覚的画像は、前記特定のオーディオイベントに対応する前記視覚的イベントを示し、前記見逃されたイベントコンテンツの時間的な開始点は、前記視認方向の前記変更が発生した前記仮想現実コンテンツの中の時間的な点よりも前であり、前記特定のオーディオイベントに基づく、前記提供すること
を含む方法。

【請求項15】

装置の少なくとも１つのプロセッサ上で実行されると、前記装置に、
仮想現実の中での視認用の仮想現実空間を提供するよう構成されたビデオ画像を備える仮想現実コンテンツであって、ユーザに提示される仮想現実ビューが前記仮想現実コンテンツの視認を提供し、前記仮想現実ビューは、前記仮想現実空間を構成する前記ビデオ画像の空間的な一部を備え、前記仮想現実空間の前記ビデオ画像の空間範囲よりも空間範囲が小さく、前記仮想現実コンテンツは、空間オーディオを含み、前記ビデオ画像の中の視覚的イベントに関係するオーディオイベントへの感知される方向が、前記仮想現実空間の中で提示される前記視覚的イベントの視覚的位置に対応する、前記仮想現実コンテンツに関して、
前記仮想現実ビューの前記視認方向の、第１の視認方向から第２の視認方向への前記ユーザによる変更であって、前記第２の視認方向は、前記視認方向の前記変更より前に開始が発生した特定のオーディオイベントの方向に方向閾値以内で一致する、前記変更に基づいて、
見逃されたイベントコンテンツの表示の提供であって、前記見逃されたイベントコンテンツは、前記仮想現実コンテンツの前記ビデオ画像から抽出された視覚的画像を少なくとも有し、前記視覚的画像は、前記特定のオーディオイベントに対応する前記視覚的イベントを示し、前記見逃されたイベントコンテンツの時間的な開始点は、前記視認方向の前記変更が発生した前記仮想現実コンテンツの中の時間的な点よりも前であり、前記特定のオーディオイベントに基づく、前記提供をさせる、
ように構成されるプログラム命令を備える、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、仮想現実の分野に関し、特に、仮想現実コンテンツからの見逃されたイベントコンテンツの表示に関する。特に本発明は、時間的な開始点がオーディオイベントに基づく、仮想現実コンテンツからの見逃されたイベントコンテンツの表示に関する。関連する方法、コンピュータプログラム、および装置も開示される。開示される特定の側面／例は、携帯可能な電子デバイスに関する。

【背景】

【0002】

仮想現実は、グラスもしくはゴーグルなどのヘッドセットまたはユーザを囲む１つ以上のディスプレイを使用してユーザに没入型仮想体験を提供し得る。仮想現実装置は、仮想現実空間を表すマルチメディア仮想現実コンテンツをユーザに提示して、ユーザが仮想現実空間の中に存在するのをシミュレートすることもある。仮想現実空間は、広視野または３６０°の視野（水平方向の視野の上方および／または下方を含む場合もある）を有するビデオなどのパノラマ式ビデオにより提供されることもある。さらに、特定の位置で生じているように感じられる音を備える空間オーディオが仮想現実の消費の一環として提供されることもある。仮想現実空間を構成するビデオ画像がユーザが一度に視認できるよりも大きいことにより、ユーザにイベントが聞こえるのに見えないという結果が生じる。

【0003】

本明細書における以前に公開された文書または任意の背景の列挙または説明は、必ずしも、その文書または背景が最新技術の一部であることまたは一般知識であることの自認であると理解されてはならない。本開示の１つ以上の側面／例は、背景の課題の１つ以上に対処することもあり、しないこともある。

【摘要】

【0004】

第１の例示の側面では、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備える次のような装置が提供される。この装置は、前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサに実行されると、前記装置に少なくとも、仮想現実の中での視認用の仮想現実空間を提供するよう構成されたビデオ画像を備える仮想現実コンテンツに関して、仮想現実ビューの視認方向の、第１の視認方向から第２の視認方向へのユーザによる変更に基づいて、見逃されたイベントコンテンツの表示を提供することを実行させるよう構成される。
ここで前記仮想現実コンテンツは、ユーザに提示される仮想現実ビューが仮想現実コンテンツの視認を提供し、仮想現実ビューは、仮想現実空間を構成するビデオ画像の空間的な一部を備え、仮想現実空間のビデオ画像の空間範囲よりも空間範囲が小さく、仮想現実コンテンツは空間オーディオを含み、ビデオ画像の中の視覚的イベントに関係するオーディオイベントへの感知される方向が、仮想現実空間の中で提示される前記視覚的イベントの視覚的位置に対応する。
また、前記第２の視認方向は、視認方向の変更より前に開始が発生している特定のオーディオイベントの方向に方向閾値以内で一致する。
また、前記見逃されたイベントコンテンツは、仮想現実コンテンツのビデオ画像から抽出された視覚的画像を少なくとも有する。前記視覚的画像は、特定のオーディオイベントに対応する視覚的イベントを示し、見逃されたイベントコンテンツの時間的な開始点は、視認方向の変更が発生した仮想現実コンテンツの中の時間的な点よりも前であり、特定のオーディオイベントに基づく。

【0005】

その結果、ユーザが関連するオーディオイベントを聞き、それに対して視認方向を変更することにより反応したかもしれない見逃された視覚的イベントを、ユーザが見ることを可能にしてもよい。空間オーディオは、ほかに３次元オーディオとしても知られるが、これは、全体のオーディオ環境を構成するオーディオイベントを特定の方向から来るものとユーザが感知するように、オーディオを仮想現実のユーザ（消費者）に提示するものであり、その結果、対応する視覚的イベントがユーザの現在の仮想現実ビューの外にあるオーディオイベントを、ユーザが聞くこともある。ユーザが、聞こえたばかりのオーディオイベントに関連する視覚的イベントを視認するために、例えば頭を動かし反応し、その結果、仮想現実ビューを移動させる場合、オーディオイベントの感知された方向を見る時までには、オーディオイベントに関連した該当するビデオ画像（視覚的イベント）の一部または全部をユーザは見逃しているかもしれない。よって、装置は、見逃されたイベントコンテンツをユーザが視認でき、その結果、聞こえたオーディオイベントに関連する視覚的イベントコンテンツを視認できるように、仮想現実コンテンツを「巻き戻し」てもよい。例えば、ユーザが前方（すなわち第１の視認方向）を見てフットボール選手の特定のグループを注視していて、次にその背後（つまりユーザの現在の視界の外、第２の視認方向である）から生じるものとして感知される音（オーディオイベント）、例えば選手が「パスをくれ」と大声で呼びかけるのが聞こえた場合、ユーザはなぜ選手が大声を出しているのか確認したいかもしれない。したがって、ユーザは、第１の視認方向から第２の視認方向へと視認方向を変更するために頭を振り向ける。当然のことながら、ユーザが第２の視認方向を見ることを決定してから時間が進んでいるので、ユーザは「パスをくれ」と大声で呼びかけている選手に関連した視覚的コンテンツを見損なった。しかし、見逃されたイベントコンテンツが、ユーザが確かに聞いたオーディオイベントに関連した見ていない視覚的イベントを、ユーザが見ることができるようにしてもよい。したがって、装置は、見逃した視覚的イベントをユーザが見ることができるように、仮想現実コンテンツの中のオーディオイベントに基づいた時点から、少なくとも視覚的画像の表示を、さらに任意選択で付随するオーディオを提供する。

【0006】

１つ以上の実施形態において、特定のオーディオイベントに関係する視覚的イベントは、第１の視認方向に向けられている場合の仮想現実ビューの中で視認可能でなかった。１つ以上の実施形態において、第１の視認方向に向けられている場合の仮想現実ビューの中で、対応する特定のオーディオイベントが発生した時にユーザの注目が前記視覚的イベントに置かれていなかった。

【0007】

１つ以上の実施形態において、見逃されたイベントコンテンツの時間的な開始点は、特定のオーディオイベントが始まったと以下のうちの１つ以上に基づいてみなされる時間に基づく：
提示される他の任意のオーディオに対する特定のオーディオイベントの分析、
特定のオーディオイベントの分析、および
仮想現実コンテンツの中のオーディオイベントのタイミングを少なくとも定義する所定のオーディオイベントデータ。

【0008】

他の１つ以上の例において、特定のオーディオイベントが始まったとみなされる時間は、任意の適切な方法により判断され得る。

【0009】

１つ以上の実施形態において、見逃されたイベントコンテンツの提供は、第１の視認方向と第２の視認方向との間の視認方向の変更の度合いが方向変更閾値を超えることにさらに基づく。これは、仮想現実空間を何気なく見回してその中に提示されるビデオ画像を見ているユーザと、聞こえた音、つまりオーディオイベントに反応したユーザとを区別するために方向変更閾値が使用され得るので、有利かもしれない。方向変更閾値は、０．０５度／ミリ秒超、０．０６度／ミリ秒超、０．０７度／ミリ秒超、０．０８度／ミリ秒超、０．０９度／ミリ秒超、またはそれ以上であってもよい。

【0010】

１つ以上の実施形態において、見逃されたイベントコンテンツの提供は、オーディオ閾値（絶対オーディオ閾値であっても、ユーザに提示される他の任意のオーディオに対する相対閾値であってもよい）に対する特定のオーディオイベントの音量または周波数成分のうちの１つ以上にさらに基づく。これは、ユーザが反応したかもしれないオーディオイベントを識別するため、さらにそれに応じて適切な見逃されたイベントコンテンツを提供するために音量または周波数成分を使用できるので、有利かもしれない。ＶＲ（ｖｉｒｔｕａｒｌ ｒｅａｌｉｔｙ：仮想現実）ビューの方向の変更は、オーディオイベント閾値を使用した１つ以上のオーディオイベント候補の識別を提供してもよく、その中から、第２の視認方向が特定のオーディオイベントの方向に方向閾値以内で一致することに基づいて、特定のオーディオイベントが識別される。

【0011】

１つ以上の実施形態において、特定のオーディオイベントの判断は、以下のうちの１つ以上に基づく：
ａ）仮想現実コンテンツの中で発生する１つ以上のオーディオイベントへの方向を備える所定のオーディオイベントデータ、および方向閾値以内の第２の視認方向と、１つ以上のオーディオイベントのうちの１つの方向との相互関係、
ｂ）視認方向の変更に応答しての、ユーザが第２の視認方向で見る方向の特定のオーディオイベントを識別するための空間オーディオのオーディオ分析。

【0012】

１つ以上の例において、オーディオ分析は、オーディオ閾値に対する空間オーディオの音量および周波数成分のうちの１つ以上に基づく。

【0013】

１つ以上の実施形態において、所定のオーディオイベントデータは、以下のうちの１つ以上に基づく：
音量に基づく、周波数に基づく、および／または音声認識に基づく分析を含んでもよいオーディオ分析、
手動で提供されたオーディオイベントデータ、
ＶＲコンテンツの中に捕捉される物体に関連するセンサから取得されるセンサデータ、
閾値を上回り急激に変化する局所的なビデオ画像を探す読唇分析および／またはアクション識別アルゴリズムを含んでもよい、ビデオ分析。

【0014】

したがって、１つ以上の例において、装置はオーディオイベントの所定の知識を有してもよく、見逃されたイベントコンテンツを提供するために、ＶＲビューの第２の視認方向と、既知のオーディオイベントの１つとを照合するよう構成されてもよい。１つ以上の例において、装置は、オーディオイベントの知識を有しなくてもよく、視認方向を変更するようユーザを促した可能性のある、音の大きい部分（より一般的に音量特性）または特定の周波数を含む部分（より一般的に周波数特性）を求めて空間オーディオを分析してもよい。空間オーディオの分析は、方向閾値以内の第２の視認方向の方向に制約されてもよい。分析によりオーディオイベントが識別されるのに応答して、識別されたオーディオイベントに関連付けられた視覚的イベントを示すために、見逃されたイベントコンテンツが提供されてもよい。見逃されたイベントコンテンツの時間的な開始点は、オーディオ分析またはオーディオイベントデータに基づいてもよい。例えば開始点は、空間オーディオの音の大きい部分が発生したとき、または特定のオーディオ周波数を含む部分に基づいてもよい。当然のことながら、時間的な開始点は、オーディオイベントの開始より所定の期間前に開始してもよく、これは、ユーザがオーディオイベントの原因を理解する支援となり得る。

【0015】

したがって、１つ以上の例において、１つ以上のオーディオイベントが、オンザフライで判断されてもよく、または所定で（オーディオイベントデータが仮想現実コンテンツとともに提供されて）もよく、装置は、第２のＶＲ視認方向がオーディオイベント候補の１つに一致することに基づいて特定のオーディオイベントへのユーザの関心を判断するよう構成されてもよい。あるいは、またはさらに、装置は、ユーザによる視認方向の変更が、ユーザが反応した可能性のある特定のオーディオイベントを識別する識別プロセスを提供するように構成されてもよい。要するに、視認方向の変更に応答して、装置は、オーディオイベントをユーザが反応した可能性のある特定のオーディオイベントとして識別するために、第２の方向の方向閾値以内の空間オーディオの分析を提供してもよい。その結果、適切な見逃されたイベントコンテンツが提供され得る。

【0016】

１つ以上の実施形態において、見逃されたイベントコンテンツの表示は、仮想現実コンテンツの一時的な停止と、見逃されたイベントコンテンツの仮想現実ビューにおける表示とを提供することを含む。

【0017】

１つ以上の実施形態において、特定のオーディオイベントの方向へ向かう視認方向の変更に応答して、見逃されたイベントコンテンツが始まる時点まで仮想現実コンテンツが巻き戻されるようにユーザに見えるよう時間の点で逆に仮想現実コンテンツの表示を提供する。

【0018】

１つ以上の実施形態において、時間の点で逆に仮想現実コンテンツを表示することは、ユーザが第２の視認方向で止まると始まってもよい。１つ以上の実施形態において、時間の点で逆に仮想現実コンテンツを表示することは、ユーザが止まる可能性のある第２の視認方向の予測に基づいて、視認方向の変更をユーザが開始するのに伴い始まってもよい。例えば、オーディオイベントデータが、ユーザがＶＲビューを変更する大体の方向のオーディオイベントを示し、その結果、ユーザが前記オーディオイベントに向かって振り向くとの予測が可能であってもよい。

【0019】

１つ以上の実施形態において、見逃されたイベントコンテンツは、以下のうちの１つ以上を備える：
ｉ）仮想現実コンテンツのビデオ画像から抽出された見逃されたイベントビデオ画像、
ｉｉ）仮想現実コンテンツのビデオ画像から抽出された見逃されたイベント静止画像、
ｉｉｉ）仮想現実コンテンツのビデオ画像から抽出された見逃されたイベントの仮想現実コンテンツであって、見逃されたイベントの仮想現実コンテンツの少なくとも初期の視認方向は、特定のオーディオイベントの方向に合致する、見逃されたイベントの仮想現実コンテンツ、
ｉｖ）仮想現実コンテンツのビデオ画像から抽出された見逃されたイベントの仮想現実コンテンツであって、見逃されたイベントの仮想現実コンテンツは、仮想現実コンテンツの空間範囲未満の空間範囲を有し、特定のオーディオイベントの方向が焦点とされる、見逃されたイベントの仮想現実コンテンツ。

【0020】

１つ以上の実施形態において、見逃されたイベントコンテンツは、仮想現実コンテンツとともに仮想現実ビューの中でピクチャインピクチャとして表示するために提供される。本例では、仮想現実コンテンツは時間的に中断されず、その結果、仮想現実コンテンツの表示を継続する一方で、同時に、時間的に前の見逃された視覚的イベントを示してもよい。

【0021】

１つ以上の実施形態において、見逃されたイベントコンテンツの表示が完了すると、仮想現実コンテンツの表示は、第１の視認方向から第２の視認方向への視認方向の変更の時間に一致する時点から再開される。仮想現実コンテンツの表示の再開は、仮想現実ビューの現在の視認方向を用いてもよく、これは、ほぼ第２の視認方向であってもよい。

【0022】

１つ以上の実施形態において、見逃されたイベントコンテンツの表示が完了すると、仮想現実コンテンツが、少なくとも一時的に実時間よりも高い再生速度での表示のために提供される。これは、見逃されたイベントコンテンツが表示のために提供されなければ再生されていたであろうところまで追いつくように仮想現実コンテンツの再生を提供してもよい。これは、仮想現実コンテンツが事前に記録された仮想現実コンテンツではなく生の仮想現実コンテンツを備える場合に特に有用かもしれない。

【0023】

１つ以上の実施形態において、方向閾値は、９０°未満、７０°未満、４５°未満、または３０°未満であってもよい。１つ以上の実施形態において、ユーザは、短い間のみ聞こえた音の発生源の方を正確に見ることができないかもしれず、そこで方向閾値が、特定のオーディオイベントを識別するための許容誤差を提供するので、方向閾値は有利かもしれない。

【0024】

第２の側面において、方法が提供される。本方法は、
仮想現実の中での視認用の仮想現実空間を提供するよう構成されたビデオ画像を備える仮想現実コンテンツであって、ユーザに提示される仮想現実ビューが仮想現実コンテンツの視認を提供し、仮想現実ビューは、仮想現実空間を構成するビデオ画像の空間的な一部を備え、仮想現実空間のビデオ画像の空間範囲よりも空間範囲が小さく、仮想現実コンテンツは、空間オーディオを含み、ビデオ画像の中の視覚的イベントに関係するオーディオイベントへの感知される方向が、仮想現実空間の中で提示される前記視覚的イベントの視覚的位置に対応する、仮想現実コンテンツに関して、
仮想現実ビューの視認方向の、第１の視認方向から第２の視認方向へのユーザによる変更であって、前記第２の視認方向は、視認方向の変更より前に開始が発生した特定のオーディオイベントの方向に方向閾値以内で一致する、変更に基づいて、
見逃されたイベントコンテンツの表示を提供することであって、見逃されたイベントコンテンツは、仮想現実コンテンツのビデオ画像から抽出された視覚的画像を少なくとも有し、視覚的画像は、特定のオーディオイベントに対応する視覚的イベントを示し、見逃されたイベントコンテンツの時間的な開始点は、視認方向の変更が発生した仮想現実コンテンツの中の時間的な点よりも前であり、特定のオーディオイベントに基づく、提供すること、
を含む。

【0025】

第３の側面において、コンピュータ可読媒体上に記憶されたコンピュータプログラムコードを備える、コンピュータ可読媒体が提供され、コンピュータ可読媒体およびコンピュータプログラムコードは、少なくとも１つのプロセッサ上で実行されると、
仮想現実の中での視認用の仮想現実空間を提供するよう構成されたビデオ画像を備える仮想現実コンテンツであって、ユーザに提示される仮想現実ビューが仮想現実コンテンツの視認を提供し、仮想現実ビューは、仮想現実空間を構成するビデオ画像の空間的な一部を備え、仮想現実空間のビデオ画像の空間範囲よりも空間範囲が小さく、仮想現実コンテンツは、空間オーディオを含み、ビデオ画像の中の視覚的イベントに関係するオーディオイベントへの感知される方向が、仮想現実空間の中で提示される前記視覚的イベントの視覚的位置に対応する、仮想現実コンテンツに関して、
仮想現実ビューの視認方向の、第１の視認方向から第２の視認方向へのユーザによる変更であって、前記第２の視認方向は、視認方向の変更より前に開始が発生した特定のオーディオイベントの方向に方向閾値以内で一致する、変更に基づいて、
見逃されたイベントコンテンツの表示の提供であって、見逃されたイベントコンテンツは、仮想現実コンテンツのビデオ画像から抽出された視覚的画像を少なくとも有し、視覚的画像は、特定のオーディオイベントに対応する視覚的イベントを示し、見逃されたイベントコンテンツの時間的な開始点は、視認方向の変更が発生した仮想現実コンテンツの中の時間的な点よりも前であり、特定のオーディオイベントに基づく、提供をする、
方法を実行するよう構成されている。

【0026】

さらなる側面において、装置が提供され、装置は、仮想現実の中での視認用の仮想現実空間を提供するよう構成されたビデオ画像を備える仮想現実コンテンツであって、ユーザに提示される仮想現実ビューが仮想現実コンテンツの視認を提供し、仮想現実ビューは、仮想現実空間を構成するビデオ画像の空間的な一部を備え、仮想現実空間のビデオ画像の空間範囲よりも空間範囲が小さく、仮想現実コンテンツは、空間オーディオを含み、ビデオ画像の中の視覚的イベントに関係するオーディオイベントへの感知される方向が、仮想現実空間の中で提示される前記視覚的イベントの視覚的位置に対応する、仮想現実コンテンツに関して、
仮想現実ビューの視認方向の、第１の視認方向から第２の視認方向へのユーザによる変更であって、前記第２の視認方向は、視認方向の変更より前に開始が発生した特定のオーディオイベントの方向に方向閾値以内で一致する、変更に基づいて、
見逃されたイベントコンテンツの表示の提供であって、見逃されたイベントコンテンツは、仮想現実コンテンツのビデオ画像から抽出された視覚的画像を少なくとも有し、視覚的画像は、特定のオーディオイベントに対応する視覚的イベントを示し、見逃されたイベントコンテンツの時間的な開始点は、視認方向の変更が発生した仮想現実コンテンツの中の時間的な点よりも前であり、特定のオーディオイベントに基づく、提供をする、
よう構成された手段を備える。

【0027】

本開示は、１つ以上の対応する側面、例、または特徴を、単独または様々な組み合わせで含み、これは、その組み合わせまたは単独で特に記載（特許請求を含む）されたか否かにかかわらない。記載される機能のうちの１つ以上を実行する関連する手段および関連する機能ユニット（例えば機能イネーブラ、ビデオ画像抽出器、ビデオ画像コンパイラ、視認方向測定器、視認方向変更器、ビデオプレーヤ、方向センサ）も本開示の範囲内である。

【0028】

開示された方法の１つ以上を実装する対応するコンピュータプログラムも本開示の範囲内にあり、記載された例の１つ以上に含まれる。

【0029】

上記の概要は、単なる例示であり非限定的なものとして意図されている。

【0030】

以下、単なる例として、添付の図面を参照しながら説明を行う。

【図面の簡単な説明】

【0031】

【図1】装置の例示の実施形態を、仮想現実装置とともに示す。

【図2】仮想現実空間の中で第１の視認方向を見ているユーザと、オーディオイベントの発生の位置とを示す例示の平面図を示す。

【図3】オーディオイベントに反応したが関連する視覚的イベントを見逃した、仮想現実空間の中で第２の視認方向を見ているユーザを示す例示の平面図を示す。

【図4】例示の見逃されたイベントコンテンツを示す。

【図5】見逃されたイベントコンテンツの表示後の仮想現実コンテンツの続行を示す。

【図6】例示のオーディオイベントデータを示す。

【図7】オーディオ分析の例を示す。

【図8】例示の方法を示すフローチャートを示す。

【図9】コンピュータ可読媒体を示す。

【例示の側面の説明】

【0032】

仮想現実（ＶＲ）は、グラスもしくはゴーグルなどのヘッドセットまたはユーザを囲む１つ以上のディスプレイを使用してユーザに没入型仮想体験を提供し得る。仮想現実装置は、仮想現実空間を表すマルチメディア仮想現実コンテンツをユーザに提示して、ユーザが仮想現実空間の中に存在するのをシミュレートすることもある。仮想現実空間は、実世界環境を再現してユーザが物理的に実世界の位置に存在するのをシミュレートすることもある。または、仮想現実空間は、コンピュータ生成されることも、もしくはコンピュータ生成されたコンテンツと実世界マルチメディアコンテンツとの組み合わせであることもある。仮想現実空間は、広視野または３６０°の視野（水平方向の視野の上方および／または下方を含む場合もある）を有するビデオなどのパノラマ式ビデオにより提供されることもある。要するに、仮想現実空間は、ＶＲコンテンツのビデオ画像が表示のために提供される、仮想３次元環境を提供する。ユーザはそのＶＲビュー、すなわちＶＲ空間のビデオ画像を視認するためののぞき窓として、仮想現実空間の空間サブセットを提供される。仮想現実装置は、表示される仮想現実空間とのユーザのやり取りを提供することもある。ユーザに提供される仮想現実コンテンツは、例えばパノラマ式ビデオ捕捉デバイスまたは仮想現実コンテンツ捕捉デバイスなど、仮想現実コンテンツ捕捉デバイスにより捕捉された、実世界の生のイメージまたは記録されたイメージを備えることもある。仮想現実コンテンツ捕捉デバイスの一例は、Ｎｏｋｉａ ＯＺＯカメラである。仮想現実空間は、３６０°以上の視野を提供することもあるし、ＶＲユーザの頭または眼の動きに基づく前記視野のパン／回転を提供することもある。仮想現実空間の仮想現実ビューは、ヘッドセットのディスプレイを介して仮想現実装置により前記ユーザに提供されることもある。仮想現実空間は、仮想現実コンテンツのイメージから作成された３次元空間としてＶＲ装置のユーザには見えるかもしれない。要するに、ＶＲコンテンツは、（途切れがなく連続的な）ラップアラウンド型の視野を形成するようにともに表示および配列可能な、複数の視認方向から得られたイメージを備えることもある。

【0033】

仮想現実コンテンツは、その本質から、没入型である場合もあり、その結果、大量のデータを備えることもある。仮想現実コンテンツは、ユーザを取り囲むなどするような大きな空間範囲を有するビデオ画像（すなわち動画）を備えることもある。ユーザに提供される仮想現実ビューは、総面積よりも狭いビデオ画像の面積しか対象としないかもしれず、ユーザは、ビデオ画像が対象とする仮想現実空間の空間範囲全体を鑑賞するために、仮想現実ビューをあちこち動かす必要があるかもしれない。当然のことながら、時間とともに進行するＶＲビデオ画像に関しては、ユーザがあらゆる時点においてビデオ画像の空間部分すべてを見ることは不可能であり、その結果、イベントが本質的に見逃される。

【0034】

ＶＲコンテンツは、空間オーディオとともに提示されることもある。空間オーディオは、ほかに三次元オーディオまたは指向性オーディオとしても知られ、仮想現実のユーザ（消費者）がオーディオの各要素を特定の方向から生じているものと感知するようにユーザにオーディオを提示する。したがって、ＶＲコンテンツを消費しているユーザに提示されるオーディオは、特定の方向から来ていないものとして感知される背景音楽などの周辺または無指向性オーディオと、特定の方向から生じているとユーザにより感知される指向性オーディオとを備えることもある。当然のことながら、仮想現実コンテンツ内のイベントは、登場人物が発話する、車がエンジン回転速度を上げる、ホッケーパックが打撃されるなどの付随するオーディオを生成する。したがって、ユーザの仮想現実ビューの左側に視覚的に現れる、発話中の登場人物の声は、左手側から生じる指向性オーディオとして提示され得る。ここで、オーディオイベントは、仮想現実コンテンツの中で発生している視覚的イベントに関連付けられた指向性オーディオの、少なくとも時間を基準にした、一部を備えてもよい。したがって、発話されるモノローグのオーディオイベントは、ＶＲコンテンツの視覚的画像の中のモノローグを発話している登場人物の視覚的イベントに関連付けられてもよい。「バシッ」と打つ音のオーディオイベントは、ホッケーパックの打撃がその音を生成したのであるから、ホッケーパックがホッケー選手により打撃される視覚的イベントに関連付けられてもよい。当然のことながら、ユーザに提示される空間オーディオは、様々な方向から生じるものとして感知される、多数の指向性音、すなわちオーディオイベントを含むこともある。

【0035】

上述のとおり、仮想現実ビューは、ＶＲコンテンツのビデオ画像の総空間範囲の一部のみを備えるが、ユーザに提示されるオーディオは、現実と同様に、仮想現実ビューの空間範囲外の方向で生じているものと感知される指向性オーディオを含むこともある。したがって、ユーザは、指向性オーディオを聞いても、そのオーディオイベントが発生した時、違う方向を見ていたことが理由で、関連付けられた視覚的イベントを目撃しないかもしれない。

【0036】

ユーザは、オーディオイベントが聞こえるとすぐに反応して、オーディオイベントの感知された方向を見るためにＶＲビューの方向を変更するかもしれないが、ビデオ画像内の関連付けられた視覚的イベントは見逃したかもしれない。これは、ユーザの混乱を招く可能性があり、ユーザがＶＲコンテンツを理解するのを難しくする可能性も、または発生したイベントを完全に理解するために異なる視認方向でコンテンツを数回見ることを要する可能性もある。

【0037】

図１は、ユーザが聞いた特定のオーディオイベントに対応する視覚的イベントを示し仮想現実コンテンツのビデオ画像から抽出された視覚的画像を少なくとも備える、見逃されたイベントコンテンツの表示を提供するよう構成された装置１００を示す。したがって、ユーザは、関連するオーディオイベントを聞いた視覚的イベントを見ることができるかもしれない。

【0038】

装置１００は、仮想現実コンテンツをユーザに提示するよう構成された仮想現実デバイス１０１の一部であってもよい。仮想現実デバイス１０１は、ヘッドセットを備えてもよいＶＲディスプレイ１０２を介してユーザにＶＲ空間のＶＲビューを提示してもよい。ＶＲディスプレイ１０２上でユーザに提供されるＶＲビューは、ユーザが頭を動かすことでＶＲ空間を見回すことができるように、ＶＲディスプレイの向きに基づいてもよい。当然のことながら、他のタイプのディスプレイおよび仮想現実空間を「見回す」ための他の手段が提供されてもよい。一部の例では装置１００は、メモリ１０１ａおよび少なくとも１つのプロセッサ１０１ｂをそれぞれが備え得るコンピュータ、仮想現実デバイス１０１、またはコンピュータサーバにより機能的に提供されるが、他の例では装置は、コンピュータ、携帯電話、またはＶＲデバイス１０１と通信する下記に列挙される他の装置などの電子デバイスであってもよい。この例において仮想現実デバイス１０１は、仮想現実コンテンツが記憶される（過渡的または一時的に記憶されることを含み得る）仮想現実コンテンツストア１０３から、仮想現実コンテンツを受信するよう構成される。したがって、仮想現実コンテンツは、生のコンテンツであってもよく、ストア１０３は、表示またはその先の伝送経路の、メモリまたはバッファであってもよい。装置１００は、仮想現実空間の中のどこをユーザが見ているかの指示、ならびにユーザに提示されるオーディオについてのオーディオイベントの位置と、オーディオ自体と、オーディオ分析情報とのうちの１つ以上の指示を受信してもよい。オーディオイベントデータは、所定であってもよく、または装置１００もしくは別の装置１０５により生成されてもよい。

【0039】

ＶＲコンテンツは、仮想現実コンテンツ捕捉デバイス１０４により提供されてもよい。別の装置１０５は、オーディオイベントデータを作成するよう構成されてもよく、オーディオイベントデータは、ＶＲコンテンツとともにＶＲコンテンツストア１０３に記憶されてもよい。他の１つ以上の例では、別の装置１０５は提供されず、オーディオイベントの発生および方向は、装置１００またはそれに関連する装置により決定されてもよい。

【0040】

１つ以上の例において、オーディオイベントデータは、捕捉中または制作後に仮想現実コンテンツの人間による分析に基づいて手動で提供されてもよく、したがって、別の装置１０５がオーディオイベントデータのデータエントリを表現してもよい。１つ以上の例において、オーディオイベントデータは、空間オーディオのコンピュータに基づくオーディオ分析に基づいて自動的に生成されてもよく、これは、ＶＲコンテンツの制作中に提供されてもよいし、制作後に提供されてもよい。１つ以上の例において、オーディオイベントデータは、装置１００および／またはＶＲデバイス１０１などによって、ユーザに対する表示のために仮想現実コンテンツを準備する一環として、またはユーザに仮想現実コンテンツを表示する間に、オンザフライで生成される。当然のことながら、コンテンツ捕捉デバイス１０４および別の装置１０５は、ＶＲコンテンツストアに接続されて示されているが、これはシステム全体を理解するためのものにすぎず、装置１００は別の装置１０５の有無にかかわらず記録済みＶＲコンテンツを用いて動作してもよい。

【0041】

この実施形態において、上述した装置１００（または他の電子デバイス）は、１つのプロセッサ１０１ｂおよび１つのメモリ１０１ａしか有しなくてもよいが、当然のことながら他の実施形態は、２つ以上のプロセッサおよび／または２つ以上のメモリ（例えば同じまたは異なるプロセッサ／メモリタイプ）を利用してもよい。さらに装置１００は、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であってもよい。

【0042】

プロセッサは、メモリ内のコンピュータプログラムコードの形態で記憶された命令に従って、コンテンツストア１０３およびＶＲデバイス１０１などの他のコンポーネントから受信される情報の実行／処理のみを行う汎用プロセッサであってもよい。プロセッサのかかる動作により生成された出力シグナリングは、見逃されたイベントコンテンツの表示のためＶＲ装置１０１などその先のさらなるコンポーネントに提供される。

【0043】

メモリ（必ずしも単一のメモリユニットとは限らない）は、コンピュータプログラムコードを記憶するコンピュータ可読媒体（本例ではソリッドステートメモリであるが、ハードドライブ、ＲＯＭ、ＲＡＭ、フラッシュ、または同様のものなどの他のタイプのメモリであってもよい）である。このコンピュータプログラムコードは、プログラムコードがプロセッサ上で実行されるとプロセッサにより実行可能な命令を格納する。メモリとプロセッサとの内部接続は、１つ以上の例示の実施形態において、プロセッサとメモリとのアクティブな結合を提供して、プロセッサがメモリに記憶されたコンピュータプログラムコードにアクセスできるようにするものと理解することができる。

【0044】

本例では、プロセッサおよびメモリはすべて、内部で相互に電気的に接続され、個々のコンポーネント間の電気通信が可能である。本例では、ＡＳＩＣとしてともに構成されるように、言い換えれば電子デバイスに設置可能な単一のチップ／回路としてともに統合されるように、コンポーネントはすべて相互に近接して位置する。一部の例では、コンポーネントの１つ以上または全部が相互に別々に位置してもよい。

【0045】

図２は、本例ではヘッドセットを備える、ＶＲディスプレイ１０２を着用したユーザ２００を示す例示の平面図を示す。ユーザ２００は、ＶＲコンテンツ２０２を見ている。ＶＲコンテンツ２０２は、ＶＲコンテンツのビデオ画像が仮想現実空間においてユーザを包み込むよう複数の視認方向に表示される様子に類似した、ユーザを取り囲むリングとして図形で示されている。図２において、ユーザ２００は、仮想現実空間内の第１の視認方向２０３の、視野線２０４、２０５により画定される、ＶＲコンテンツのビデオ画像の一部を見ている。

【0046】

図２はさらに、オーディオイベント２０６の発生を示す。オーディオイベント２０６は、空間オーディオを備えるので、特定の方向から生じるものとしてユーザ２００により感知される。オーディオイベント２０６は、視覚的イベント２０７に関連する。ユーザ２００は、第１の方向を見ていて、視覚的イベント２０７は、第２の方向において発生するので、ユーザ２００は視覚的イベント２０７を見ないということが分かり、理解のために図２に示されている。オーディオイベントは、ホッケー用スティック２０８がパック２１０を打つ音を備える。したがって、オーディオイベント２０６に関連する視覚的イベント２０７は、オーディオイベント２０６を備える音の発生源の視覚的画像を備える。本例では、オーディオイベント２０６の音の発生源は、選手２１１がそのホッケー用スティック２０８を用いてパック２１０を打つことである。

【0047】

図３は、ユーザ２００が、おそらくオーディオイベント２０６に反応して、オーディオイベント２０６の感知された方向、すなわち第２の方向３００を見るために頭を向けたところを示す。したがって、仮想現実ビューの視認方向が、第１の方向２０３から第２の方向３００に変更されている。本例では、このＶＲビューの視認方向の変更は、ユーザ２００の頭を向けることにより実施されているが、他の例では、別の方法でＶＲビューの制御が達成されてもよい。

【0048】

図３に示されるとおり、ユーザ２００がオーディオイベント２０６に反応してＶＲビューを変更した時までには、オーディオイベント２０６に関係する視覚的イベント２０７の少なくとも一部を見逃している。本例において、オーディオイベント２０６は比較的短かったので、ユーザ２００に提示されるＶＲビュー３０１は、今や、視覚的イベント２０７よりも時間的に遅く、たまたま選手２１１がパック２１０を打撃した後に喜んでいるように見えるところである。したがって、ユーザ２００は、聞こえたオーディオイベント２０６に関係した視覚的イベント２０７を見逃した。

【0049】

図４に関して記載されるように、本例において装置１００は、第１の視認方向２０３から、第２の視認方向３００であって、ユーザが聞いた特定のオーディオイベント２０６の方向３００に方向閾値以内で一致する、前記第２の視認方向３００へのユーザ２００による仮想現実ビューの視認方向の変更に基づいて、見逃されたイベントコンテンツの表示を提供するよう構成される。したがって、オーディオイベント２０６の時間的な長さ、およびそれにユーザ２００がどの程度迅速に反応するかによって、第２の方向３００は、進行中のオーディオイベント２０６の方向であることも、または最近もしくは直前に発生したオーディオイベント２０６の方向であることもある。ユーザ２００が反応したオーディオイベント２０６を判断する際、現在時間から過去へと、近時間閾値の分だけ延びる時間ウィンドウが使用されてもよい。近時間閾値は、ユーザ２００が振り向いた特定のオーディオイベントを判断するときに、最後の１秒、２秒、３秒、４秒、５秒、６秒、７秒、８秒、９秒、１０秒またはそれ以上までで発生した任意のオーディオイベントを含めるために設定されてもよい。さらに、当然のことながらユーザは、ユーザが聞いたオーディオイベント２０６の方向を厳密に見なくてもよい。よって、第２の方向３００は、オーディオイベント２０６の方向に厳密に合致しなくてもよい。第２の方向３００とオーディオイベント２０６の方向との許容誤差を提供するために、方向閾値が使用されてもよい。方向閾値は、５°未満、１０°未満、１５°未満、２０°未満、３０°未満、４０°未満またはそれ以上に設定されてもよい。方向閾値は、例えば人間の聴き取り方向の認識精度に似るように、水平面および垂直面で異なる値を有してもよい。

【0050】

視認方向を第１の視認方向２０３から第２の視認方向３００に変更するユーザのアクションは、装置１００が、見逃されたイベントコンテンツの表示を提供するよう促してもよい。第２の視認方向が最近のオーディオイベントと合致することは、この最近のオーディオイベントをユーザが振り向いた特定のオーディオイベントとして識別して見逃されたイベントコンテンツ４００の表示を提供するよう装置１００を促してもよい。視認方向の変更は、ユーザが反応した特定のオーディオイベントを識別し、その後、見逃されたイベントコンテンツの表示を提供するよう装置を促してもよい。装置は、見逃されたイベントコンテンツが利用可能であるとのユーザへのプロンプトを装置が提供した後に前記見逃されたイベントコンテンツを見たいとユーザが確認するのに応答して、見逃されたイベントコンテンツの表示を提供してもよい。よって、装置１００は、ユーザが反応した特定のオーディオイベントを、視認方向の変化により識別するよう構成されてもよく、次に、見逃されたイベントコンテンツ４００を見るためのプロンプトまたはオプションのユーザに対する提示を提供してもよい。第２の視認方向と、最近のオーディオイベントの方向との合致は、頻繁に発生する場合もあるので、見逃されたイベントコンテンツの表示または表示に関するプロンプトが煩わしいこともあり得る。したがって、装置１００は、見逃されたイベントコンテンツの表示または表示に関するプロンプトを提供するかどうかを決定するとき、その決定を、第１の視認方向２０３と第２の視認方向３００との間の視認方向の変更の度合いが方向変更閾値を超えることに基づいて下すよう構成されてもよい。これは装置が、仮想現実空間内に提示されるビデオ画像を何気なく仮想現実空間を見回して見ているユーザ２００と、特定のオーディオイベント２０６に反応したユーザ２００とを区別できるようにしてもよい。方向変更閾値（方向変更は例えばオーディオイベント２０６の方向へ向かうものである）は、０．０５度／ミリ秒超、０．０６度／ミリ秒超、０．０７度／ミリ秒超、０．０８度／ミリ秒超、０．０９度／ミリ秒超、またはそれ以上であってもよい。変更の度合いについての情報は、ＶＲ装置１０１および／またはＶＲディスプレイ１０２により提供されてもよい。変更の度合いが相対的に速ければ、ユーザ２００はオーディオイベントに反応したと推定されてもよく、その結果、見逃されたイベントコンテンツ４００の表示または表示に関するプロンプトを提供する。変更の度合いが相対的に遅ければ、ユーザはオーディオイベントに反応したのではないと推定されてもよく、見逃されたイベントコンテンツは表示のために提供されない。あるいは、またはさらに、見逃されたイベントコンテンツを見たいかどうかをユーザに尋ねるプロンプトは表示のために提供されなくてもよい。

【0051】

図４は、例示の見逃されたイベントコンテンツ４００の３つのスクリーンショットを示す。当然のことながら、図４に示される３つの例示的なフレーム４０１、４０２、４０３は、見逃されたイベントコンテンツを備える連続的なビデオを表す。本例では、見逃されたイベントコンテンツ４００は、ユーザ２００が聞いたオーディオイベントに関連する視覚的イベント２０７の視覚的画像を備えたビデオを備える。他の例では、見逃されたイベントコンテンツは、一連の静止画、平らなビデオ（つまり、仮想現実空間を見回してビデオの異なる部分を見ることができない）、または仮想現実コンテンツであってもよい。本例では、見逃されたイベントコンテンツは、特定のオーディオイベント２０６に対応する視覚的イベント２０７を示し仮想現実コンテンツのビデオ画像から抽出された視覚的画像を少なくとも備える。見逃されたイベントコンテンツ４００の表示の前に、または見逃されたイベントコンテンツ４００の一部として、装置１００は仮想現実コンテンツの巻き戻しを提供してもよい。要するに、装置は、逆再生される仮想現実コンテンツの表示をユーザに提供して、ユーザがまもなく見るコンテンツが過去に発生したものであることを明示してもよい。したがって、ユーザには、仮想現実コンテンツが、見逃されたイベントコンテンツが開始する時点まで「巻き戻し」されるように見えてもよい。

【0052】

このように、見逃されたイベントコンテンツ４００の時間的な開始点は、視認方向２０３、３００の変更が発生した仮想現実コンテンツの中の時間的な点よりも前である。さらに、見逃されたイベントコンテンツが開始する時間的な点は、特定のオーディオイベント２０６に基づく。１つ以上の例において、見逃されたイベントコンテンツの時間的な開始点は、オーディオイベント２０６の開始が発生した時点であってもよい。したがって、時間的な開始点は、オーディオイベント２０６の音がするすぐ前であってもよい。１つ以上の例において、仮想現実コンテンツに関する見逃されたイベントコンテンツの時間的な開始点は、オーディオイベント２０６の開始より所定の期間前であり、これは、ユーザがオーディオイベントの原因を理解する支援となり得る。したがって、見逃されたイベントコンテンツは、オーディオイベント２０６が発生する時に開始するのではなく、オーディオイベント２０６の数秒前に開始してもよい。所定の期間は、最大１秒、２秒、３秒、４秒、５秒、６秒、７秒、８秒、９秒、１０秒、１５秒、２０秒、３０秒、６０秒であってもよく、その結果、見逃されたイベントコンテンツの時間的な開始点は、オーディオイベント２０６の開始よりもこの所定の期間前に始まる。

【0053】

図４の例では、見逃されたイベントコンテンツビデオ（すなわち視覚的画像および付随するオーディオ）の第１のフレーム４０１が、オーディオイベント２０６の発生より数秒前に始まる。第１のフレーム４０１は、パック２１０を打撃する準備ができている選手２１１を示す。第２のフレーム４０２は、パック２１０を打撃する選手２１１、および右へ向かって進むパックを示す。第３のフレーム４０３は、見逃されたイベントコンテンツ４００の最後を示し、図３では３０１と参照符号を付された第２の方向３００をユーザが見たおおよその時点の視覚的画像を備える。

【0054】

よって、見逃されたイベントコンテンツは、視覚的イベント２０７を含む視覚的画像を少なくとも備える。見逃されたイベントコンテンツ４００はさらに、オーディオイベント２０６の発生より所定時間前の視覚的画像を少なくとも含んでもよい。見逃されたイベントコンテンツ４００は、オーディオイベント２０６の後、少なくともユーザが第２の方向３００を見た時点までの、視覚的画像を少なくとも含んでもよい。

【0055】

よって、第２の方向３００からのオーディオイベント２０６の指向性オーディオを聞いたユーザには、オーディオイベントに関連するＶＲコンテンツの視覚的画像を少なくとも含む見逃されたイベントコンテンツが自動的に提供されてもよい（これは、ユーザがどの程度正確にオーディオイベントの方向を特定できるかに応じて、第２の方向で発生する視覚的画像であってもよい）。その結果、見逃されたイベントコンテンツは、ユーザが関連するオーディオイベント２０６を聞きそれに対して視認方向２０３、３００を変更することにより反応した見逃された視覚的イベント２０７を、ユーザが見ることを可能にする。

【0056】

見逃されたイベントコンテンツの表示は、以下のうちの１つ以上に応答して提供されてもよい：
ｉ）視認方向の変更を自動的に追跡すること、およびオーディオイベントの識別、
ｉｉ）見逃されたイベントコンテンツを見たいというユーザリクエスト、
ｉｉｉ）見逃されたイベントコンテンツが利用可能であるという、ユーザによる視認方向の変更に基づいてユーザに提供されるプロンプトに応答しての、見逃されたイベントコンテンツを見たいとのユーザの確認。

【0057】

プロンプトは、ＶＲディスプレイ１０２により提供されるＶＲビューにおける表示のために提供される視覚的なグラフィックであってもよい。プロンプトは、可聴プロンプトまたは触覚プロンプトであってもよい。ユーザリクエストまたはユーザの確認は、視覚コマンド、音声コマンド、および携帯電話または装置と通信しているその他電子デバイスなどのユーザインターフェースを介したコマンドのうち１つ以上であってもよい。

【0058】

図５は、見逃されたイベントコンテンツ４００が表示のために提供されると仮想現実コンテンツが続行することを示す、２つの例示的なフレームを示す。事前に記録されたコンテンツまたは生のコンテンツの場合などの一部の例において、見逃されたイベントコンテンツが表示のために提供されてもよく、次に仮想現実コンテンツは、見逃されたイベントコンテンツの表示のために中断された時点から続行してもよい。しかしながら、特に生のコンテンツの場合、これはユーザがもはや生のコンテンツを見ておらず、見逃されたイベントコンテンツの長さの分だけ遅延したコンテンツ（装置１００またはＶＲ装置１０１によりバッファリングされることもある）を見ていることを意味するかもしれない。よって、図５は、装置１００が、ａ）見逃されたイベントコンテンツを表示するために仮想現実コンテンツが中断された時点から、ｂ）ＶＲコンテンツが生でユーザに表示される時点まで、ＶＲコンテンツの通常再生速度に対して増大された再生速度での仮想現実コンテンツの表示を提供し得る様子を示す。

【0059】

よって、図５は、見逃されたイベントコンテンツ４００の最後のフレーム４０３と、仮想現実の中で、ただし増大された再生速度で表示されるＶＲコンテンツの続行とを示す。フレーム５００は、滑って離れていく選手２１１を増大された再生速度で示す。続いて仮想現実コンテンツは、ユーザに対して表示されるＶＲコンテンツがＶＲ装置１０１により受信される生のＶＲコンテンツに「追いつく」と、その通常の、例えばリアルタイムの再生速度でのユーザに対する表示のために提供される。

【0060】

見逃されたイベントコンテンツの一部として、適切な視覚的コンテンツを表示するために、装置は、ユーザ２００が反応した特定のオーディオイベント２０６を識別してもよい。これは、多数の方法で実現され得る。

【0061】

例えば装置１００は、ＶＲコンテンツの中で発生するオーディオイベントの方向およびタイミングを識別する所定のオーディオイベントデータにアクセスできてもよい。よって、視認方向の変更に応答して、装置１００は、オーディオイベントデータ、第２の視認方向、およびＶＲコンテンツを基準とした時間に基づいて、ユーザが反応した特定のオーディオイベントを識別してもよい。見逃されたイベントコンテンツを作成するために適切な視覚的画像をＶＲコンテンツから抽出するべく、オーディオイベントの開始時間および終了時間ならびにその方向を含んでもよいオーディオイベントデータが使用されてもよい。

【0062】

オーディオイベントデータは、ＶＲコンテンツの制作後などに手動で作成されてもよい。オーディオイベントデータは、ＶＲコンテンツの空間オーディオのオーディオ分析または視覚的画像の視覚的分析から自動的に作成されてもよい。

【0063】

１つ以上の例において、オーディオイベントデータはセンサデータから作成されてもよく、前記センサデータは、ＶＲコンテンツの中に捕捉される物体に関連するセンサ（図示せず）から取得される。したがって、例えば、アイスホッケーゲームのＶＲコンテンツ捕捉中、加速度センサまたは音センサなどのセンサがパックに配置されてもよい。よって、パックの加速度がセンサにより検出されてもよく、すると、ユーザが反応するかもしれないオーディオイベントが発生したであろう時を推定できる。オーディオイベントデータは、そのようなＶＲ内コンテンツ捕捉シーンセンサを使用して作成されてもよい。加速度の持続期間（または他の検知される量）が、オーディオイベントの開始点および終了点を判断するために使用されてもよい。コンテンツ捕捉デバイス１０４に対するセンサの方向が、オーディオイベントの方向を指定するために使用されてもよい。

【0064】

１つ以上の例において、装置は、ＶＲコンテンツの空間オーディオを分析してオーディオイベントを識別してもよい。そのような分析は、オーディオイベントデータを作成するために実行されてもよい。本願明細書に記載される分析は、オンザフライで実行されてもよい。よって、視認方向の変更に応答して、装置は、第２の方向の閾値方向以内の方向であり、かつ少なくとも現在時間の、さらに任意選択で現在時間の近時間閾値以内の、空間オーディオのオーディオ分析を提供して、オーディオイベントを識別してもよい。オーディオイベントは、絶対音量または閾値に対する相対音量のオーディオ分析により識別されてもよい。よって、指向性オーディオの特定部分の音がより大きいということが、それを特定のオーディオイベントとして識別するのに役立つかもしれず、オーディオイベントの音がより大きくなる時間が、見逃されたイベントコンテンツの開始点を少なくとも部分的に定義し得る。オーディオイベントは、閾値に対する周波数のオーディオ分析により識別されてもよい。したがって、特定の周波数帯の音（例えば登場人物の低く太い声）の指向性オーディオの発生が、それを特定のオーディオイベントとして識別するのに役立つかもしれない。その周波数帯のオーディオが存在する時間が、見逃されたイベントコンテンツの開始点を少なくとも部分的に定義し得る。オーディオイベントは、ＶＲコンテンツに登場する特定の登場人物（すなわち男優／女優）の音声を識別する音声認識を使用したオーディオ分析により識別されてもよい。よって、特定の音声がほぼ第２の方向の指向性オーディオの一部であるということが、それを特定のオーディオイベントとして識別するのに役立つかもしれず、その音声が聞こえる時間が、見逃されたイベントコンテンツの開始点を少なくとも部分的に定義し得る。

【0065】

１つ以上の例において、装置は、潜在的なオーディオイベントが発生するかもしれないビデオ内のアクションを識別するために、ＶＲコンテンツのビデオ画像のビデオ分析を提供してもよい。

【0066】

図６は、例示的なオーディオイベントデータ６００を示す。当然のことながら、オーディオイベントデータ６００の表形式は例示のためでしかなく、任意の数の方法で記憶され得る。例として、オーディオイベントデータ６００は、２つのオーディオイベント６０１および６０２を備える。これらのオーディオイベント６０１、６０２は、ＶＲ内コンテンツ捕捉シーンセンサなどのセンサデータにより、またはオーディオ分析により、または本願明細書に記載された方法のいずれかにより決定されたものであってもよい。

【0067】

各オーディオイベント６０１、６０２について、オーディオイベントデータ６００は、ユーザ２００に対して提示されることになるオーディオイベントの感知される方向６０３、オーディオイベントの開始時間６０４、および終了時間６０５を含んでもよい。したがって、「オーディオイベント１」６０１は、１３５°の方向で発生し、ＶＲコンテンツを基準として３０秒の時間に開始して３５秒までであることが分かる。

【0068】

したがって、ユーザ２００が、ＶＲコンテンツの再生がおおよそ３２秒まで進んだところでＶＲビューの視認方向を１４０°に変更した場合、装置は、オーディオイベントデータ６００を使用して、「オーディオイベント１」６０１が特定のオーディオイベントであるとの識別を提供してもよい。このように、１４０°が方向閾値以内であり、よって１３５°に十分に近いと見なされてもよい。さらに、３２秒は、「オーディオイベント１」６０１の発生中と判断されてもよい。よって装置は、オーディオイベントデータ６００を使用して、見逃されたイベントコンテンツが、約１３５°の視認方向からのＶＲコンテンツの視覚的画像を使用すべきであり、見逃されたイベントコンテンツの時間的な開始点が、「オーディオイベント１」６０１の開始時間６０４に基づくとよいと判断してもよい。このように、見逃されたイベントコンテンツをオーディオイベント６０１の時間的にどのくらい前に開始させるかを決定するために使用される所定の期間が５秒であれば、見逃されたイベントコンテンツの開始点は、ＶＲコンテンツの２５秒の実行時間まで進んだところであってもよい。

【0069】

図７は、視認方向３００などの特定の視認方向、または視認方向の範囲における、オーディオの音量のプロット７００の、例示のグラフを示す。図７のグラフは、空間オーディオのオーディオ分析の図を提供する。当然のことながら、オーディオ分析のグラフ形式は例示のためでしかなく、任意の数の方法で実行され得る。本例では、ユーザによる視認方向の第２の方向３００への変更は、時間ｔ_反応に発生する。装置１００は、本願明細書に記載されたオーディオ分析を提供する際、閾値７０１を使用して、閾値を上回る音が時間ｔ_１と時間ｔ_２との間に発生したと識別してもよい。結果的に、前記音は、特定のオーディオイベント２０６として識別されてもよい。よって、時点ｔ_１が、見逃されたイベントコンテンツの開始時間を判断するために使用されてもよい。１つ以上の例において、時間ｔ_反応は、時間ｔ_２の後に発生するかもしれない。装置は、時間ｔ_１からｔ_２の間のオーディオイベントを、ユーザが反応したオーディオイベントとするのに十分近い過去に発生しているオーディオイベントであると識別するよう構成されてもよい。

【0070】

他の例では、プロット７００は、特定の周波数を表現してもよく、音量の観点から区別されずに、オーディオの特定部分の周波数範囲が、特定のオーディオイベントとしてのその識別を提供してもよい。

【0071】

上述した実施形態は、見逃されたイベントコンテンツの開始時間を判断するために有利にオーディオイベントを使用し得る。上述のとおり、オーディオイベントの識別およびタイミングは、以下のうちの１つ以上によって決定されてもよい：
オーディオ分析、ビデオ分析、センサデータにさらに基づいてもよい、所定のオーディオイベントデータ、
音量に基づく、周波数に基づく、および／または音声認識に基づく分析を含んでもよいオーディオ分析、または
閾値を上回り急激に変化する局所的なビデオ画像を探す読唇分析および／またはアクション識別アルゴリズムを含んでもよい、ビデオ分析。

【0072】

図８は、８００、仮想現実ビューの視認方向の、第１の視認方向から第２の視認方向へのユーザによる変更であって、前記第２の視認方向は、特定のオーディオイベントの方向に方向閾値以内で一致する、変更に基づいて、８０１、見逃されたイベントコンテンツの表示を提供するステップであって、見逃されたイベントコンテンツは、仮想現実コンテンツのビデオ画像から抽出された視覚的画像を少なくとも有し、視覚的画像は、特定のオーディオイベントに対応する視覚的イベントを示し、見逃されたイベントコンテンツの時間的な開始点は、視認方向の変更が発生した仮想現実コンテンツの中の時間的な点よりも前であり、特定のオーディオイベントに基づくものであり、それによって、ユーザが関連するオーディオイベントを聞きそれに対して視認方向を変更することにより反応した見逃された視覚的イベントを、ユーザが見ることを可能にする、ステップを示すフロー図を示す。

【0073】

図９は、一例によるプログラムを提供するコンピュータ／プロセッサ可読媒体９００を概略的に示す。本例では、コンピュータ／プロセッサ可読媒体は、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）またはコンパクトディスク（ＣＤ：ｃｏｍｐａｃｔ ｄｉｓｃ）などのディスクである。一部の例では、コンピュータ可読媒体は、発明の機能を実行するような形でプログラムされた任意の媒体であってもよい。コンピュータプログラムコードは、同じタイプの複数のメモリ間、またはＲＯＭ、ＲＡＭ、フラッシュ、ハードディスク、ソリッドステートなど異なるタイプの複数のメモリ間に分散されてもよい。

【0074】

ユーザ入力は、タップ、スワイプ、スライド、押下、保持、回転ジェスチャ、デバイスのユーザインターフェース近くでの静止ホバージェスチャ、デバイス近くでの移動ホバージェスチャ、デバイスの少なくとも一部を曲げること、デバイスの少なくとも一部を握りしめること、多指ジェスチャ、デバイスを傾けること、または制御デバイスを裏返すことのうちの１つ以上を備えるジェスチャであってもよい。さらにジェスチャは、ユーザの腕などのユーザの身体、またはスタイラスもしくは自由空間ユーザジェスチャを実行するのに適した他の要素を使用した任意の自由空間ユーザジェスチャであってもよい。

【0075】

上記の例で示された装置は、携帯可能な電子デバイス、ラップトップコンピュータ、移動電話、スマートフォン、タブレットコンピュータ、携帯情報端末、デジタルカメラ、スマートウォッチ、スマートアイウェア、ペンベースのコンピュータ、携帯可能でない電子デバイス、デスクトップコンピュータ、モニタ、家庭用電化製品、スマートＴＶ、サーバ、ウェアラブル装置、仮想現実装置、またはそれらのうちの１つ以上のモジュール／回路構成としてもよい。

【0076】

言及された任意の装置、および／または言及された特定の装置の他の特徴は、有効化、例えばスイッチをオンにされたときなどにのみ所望の動作を実行するよう構成されたものとなるように準備された装置により提供されてもよい。そのような事例では、非有効化時（例えばスイッチオフ状態）には必ずしもアクティブメモリに適切なソフトウェアをロードしていなくてもよく、有効化時（例えばオン状態）にのみ適切なソフトウェアをロードしてもよい。装置は、ハードウェア回路構成および／またはファームウェアを備えてもよい。装置は、メモリ上にロードされたソフトウェアを備えてもよい。そのようなソフトウェア／コンピュータプログラムは、同じメモリ／プロセッサ／機能ユニット上および／または１つ以上のメモリ／プロセッサ／機能ユニット上に記録されてもよい。

【0077】

一部の例において、言及された特定の装置は、所望の動作を実行するよう適切なソフトウェアを用いて事前にプログラムされてもよく、この適切なソフトウェアは、例えばそのソフトウェアおよびそれに関連する機能性をロック解除／有効化するため、「キー」をダウンロードするユーザが使用できるようにされてもよい。そのような例に関連する利点としては、デバイスにさらなる機能性が必要なときにデータをダウンロードする必要性が軽減されることを挙げることができ、これは、ユーザが有効化しないかもしれない機能性のためにそのような事前プログラムされたソフトウェアを記憶するのに十分な容量をデバイスが有することが分かっている例において有用な可能性がある。

【0078】

言及された任意の装置／回路構成／要素／プロセッサは、言及された機能に加えて他の機能も有してもよく、これらの機能は、同じ装置／回路構成／要素／プロセッサにより実行されてもよい。開示された１つ以上の側面は、関連するコンピュータプログラムおよび適切な保持体（例えばメモリ、信号）に記録されたコンピュータプログラム（ソース／トランスポートエンコードされてもよい）の電子的な配布を含んでもよい。

【0079】

本願明細書に記載された任意の「コンピュータ」は、同じ回路基板に、または回路基板の同じ領域／ポジションに、または同じデバイスにも位置してもしなくてもよい、１つ以上の個々のプロセッサ／処理要素の集合を備えることができる。一部の例では、言及された任意のプロセッサの１つ以上が複数のデバイスにわたって分散されてもよい。同じまたは異なるプロセッサ／処理要素が、本願明細書に記載された１つ以上の機能を実行してもよい。

【0080】

「シグナリング」という用語は、送信および／または受信される一連の電気／光信号として送信される１つ以上の信号を指してもよい。一連の信号は、前記シグナリングを構成する、１、２、３、４または５以上もの個別の信号成分または別個の信号を備えてもよい。これらの個別の信号の一部または全部は、無線または有線通信により同時に、順次に、および／または互いに時間的に重なるように送信／受信されてもよい。

【0081】

言及された任意のコンピュータならびに／またはプロセッサおよびメモリ（例えばＲＯＭ、ＣＤ−ＲＯＭなどを含む）の任意の説明に関して、これらは、コンピュータプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、および／または本発明の機能を実行するような形にプログラムされた他のハードウェアコンポーネントを備えてもよい。

【0082】

出願人は、ここに、本願明細書に記載された個々の特徴それぞれを単独で開示し、さらにかかる特徴２つ以上の任意の組み合わせを開示する。この開示は、当業者の一般知識を踏まえて、かかる特徴または組み合わせが本明細書に基づき全体として実行可能となる程度まで行われており、これは、かかる特徴または特徴の組み合わせが本願明細書に開示された任意の問題を解決するかどうかにはかかわらず、クレームの範囲を限定することもない。出願人は、開示された側面／例がそのような任意の個々の特徴からなっても、または特徴の組み合わせからなってもよいことを指摘する。当業者には当然のことながら、上記の説明に鑑みて、本開示の範囲内で様々な変更が加えられ得る。

【0083】

基本となる新規な特徴が、その例に適用されて示され、記載され、指摘されたが、当然のことながら、記載されたデバイスおよび方法の形態および細部における様々な省略および置換および変更が、本開示の範囲から逸脱することなく、当業者によって行われることが可能である。例えば、同じ結果を達成するために実質的に同じ機能を実質的に同じ形で実行する当該要素および／または方法ステップのすべての組み合わせが、本開示の範囲内であることが明示的に意図される。さらに、当然のことながら、開示された任意の形態または例に関連して示されかつ／または記載された構造および／または要素および／または方法ステップは、一般的な設計上の選択事項として、他の任意の開示または記載または示唆された形態または例に組み込まれてもよい。さらに、特許請求の範囲では、ミーンズ・プラス・ファンクション節は、列挙された機能を実行するものとして本願明細書に記載された構造、さらに構造上の等価物のみならず、等価な構造も対象とすることを意図される。要するに、釘とねじとは、木製部品を留めるという状況において、釘が円柱状の表面を用いて木製部品同士を固定するのに対し、ねじはらせん状の表面を用いるという点で構造上の等価物ではないかもしれないが、釘とねじとは等価な構造体ではあり得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】