IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社コロプラの特許一覧

特開2023-87307プログラム、情報処理方法、及び携帯型端末
<>
  • 特開-プログラム、情報処理方法、及び携帯型端末 図1
  • 特開-プログラム、情報処理方法、及び携帯型端末 図2
  • 特開-プログラム、情報処理方法、及び携帯型端末 図3
  • 特開-プログラム、情報処理方法、及び携帯型端末 図4
  • 特開-プログラム、情報処理方法、及び携帯型端末 図5
  • 特開-プログラム、情報処理方法、及び携帯型端末 図6
  • 特開-プログラム、情報処理方法、及び携帯型端末 図7
  • 特開-プログラム、情報処理方法、及び携帯型端末 図8
  • 特開-プログラム、情報処理方法、及び携帯型端末 図9
  • 特開-プログラム、情報処理方法、及び携帯型端末 図10
  • 特開-プログラム、情報処理方法、及び携帯型端末 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023087307
(43)【公開日】2023-06-23
(54)【発明の名称】プログラム、情報処理方法、及び携帯型端末
(51)【国際特許分類】
   G06F 3/01 20060101AFI20230616BHJP
   G06F 3/04817 20220101ALI20230616BHJP
【FI】
G06F3/01 570
G06F3/0481 170
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021201618
(22)【出願日】2021-12-13
(71)【出願人】
【識別番号】509070463
【氏名又は名称】株式会社コロプラ
(74)【代理人】
【識別番号】110001416
【氏名又は名称】弁理士法人信栄事務所
(72)【発明者】
【氏名】澤木 一晃
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA64
5E555BA04
5E555BC07
5E555CA12
5E555CA42
5E555CB21
5E555CB33
5E555CB34
5E555CB47
5E555CB53
5E555CB76
5E555CC01
5E555DA08
5E555DB03
5E555DB20
5E555DB22
5E555DB56
5E555DB57
5E555DC05
5E555DC09
5E555DD07
5E555DD11
5E555EA07
5E555EA22
5E555FA00
(57)【要約】
【課題】所定のデバイスと携帯型端末を組み合わせてVR等の体験をユーザに提供する場合において、ユーザビリティを向上させることを目的とする。
【解決手段】ユーザの頭部に装着する第一デバイス10に組み込んで使用可能な携帯型端末100において実行されるプログラムである。携帯型端末100を組み込んだ第一デバイス10をユーザが装着した状態において、プログラムは、携帯型端末100のプロセッサに、選択可能な少なくとも一つのコンテンツを含む選択画面を表示するステップと、ユーザ又は携帯型端末100の動き又は姿勢に関する情報を取得するステップと、動き又は姿勢に関する情報に基づいて、選択画面の表示制御をする又は選択画面に含まれる1のコンテンツの選択を受け付けて1のコンテンツの処理を制御をするステップと、を実行させる。
【選択図】図1
【特許請求の範囲】
【請求項1】
ユーザの頭部に装着する第一デバイスに組み込んで使用可能な携帯型端末において実行されるプログラムであって、
前記携帯型端末を組み込んだ前記第一デバイスを前記ユーザが装着した状態において、前記プログラムは、前記携帯型端末のプロセッサに、
選択可能な少なくとも一つのコンテンツを含む選択画面を表示するステップと、
前記ユーザ、前記第一デバイス又は前記携帯型端末の動き又は姿勢に関する情報を取得するステップと、
前記動き又は姿勢に関する情報に基づいて、前記選択画面の表示制御をする又は前記選択画面に含まれる1のコンテンツの選択を受け付けて前記1のコンテンツの処理を制御するステップと、
を実行させる、プログラム。
【請求項2】
ユーザの頭部の所定の部位に装着する第二デバイスと通信接続が可能な携帯型端末において実行されるプログラムであって、
前記携帯型端末と前記第二デバイスが通信接続した状態において、前記プログラムは、前記携帯型端末のプロセッサに、
選択可能な少なくとも一つのコンテンツを含む選択画面を前記第二デバイスを介して表示させるステップと、
前記ユーザ又は前記第二デバイスの動き又は姿勢に関する情報を取得するステップと、
前記動き又は姿勢に関する情報に基づいて、前記第二デバイスにおける前記選択画面の表示制御をする又は前記第二デバイスにおいて前記選択画面に含まれる1のコンテンツの選択を受け付けて前記1のコンテンツの処理を制御するステップと、
を実行させる、プログラム。
【請求項3】
前記選択画面には、前記少なくとも一つのコンテンツに対応する画像領域またはテキスト領域と、選択領域と、が含まれ、
前記動き又は姿勢に関する情報に基づいて動くポインタが前記選択領域上にある時間が所定値以上である場合に、前記選択領域に対応する1のコンテンツの選択が受け付けられる、
請求項1又は請求項2に記載のプログラム。
【請求項4】
前記表示制御には、前記選択画面のスクロール、前記選択画面からのページ遷移、前記選択画面に含まれる画像の拡大又は縮小、並びに、検索及び検索結果の表示のうちの1以上が含まれ、
前記処理の制御には、前記1のコンテンツの再生、巻き戻し、早送り、及び停止のうちの1以上が含まれる、
請求項1から請求項3のいずれか一項に記載のプログラム。
【請求項5】
前記処理を制御するステップは、前記コンテンツの再生制御をすることを含み、
前記再生制御は、前記動き又は姿勢に関する情報に基づいて、前記選択画面に含まれる1のコンテンツの選択を受け付けた場合に、前記選択画面とは異なる再生画面において前記1のコンテンツの再生をすることを含む、
請求項1から請求項4のいずれか一項に記載のプログラム。
【請求項6】
前記処理を制御するステップは、前記コンテンツの再生制御をすることを含み、
前記携帯型端末を組み込んだ前記第一デバイスを前記ユーザが装着した状態又は前記携帯型端末と前記第二デバイスが通信接続した状態において、前記プログラムは、前記携帯型端末のプロセッサに、さらに、
前記選択画面とは異なる再生画面において前記1のコンテンツの再生をしている場合に、前記動き又は姿勢に関する情報に基づいて、前記再生画面から前記選択画面へ遷移するステップを実行させる 、
請求項1から請求項5のいずれか一項に記載のプログラム。
【請求項7】
ユーザの頭部に装着する第一デバイスに組み込んで使用可能な携帯型端末において実行される情報処理方法であって、
前記携帯型端末を組み込んだ前記第一デバイスを前記ユーザが装着した状態において、前記情報処理方法は、前記携帯型端末のプロセッサに、
選択可能な少なくとも一つのコンテンツを含む選択画面を表示するステップと、
前記ユーザ、前記第一デバイス又は前記携帯型端末の動き又は姿勢に関する情報を取得するステップと、
前記動き又は姿勢に関する情報に基づいて、前記選択画面の表示制御をする又は前記選択画面に含まれる1のコンテンツの選択を受け付けて前記1のコンテンツの処理を制御するステップと、
を実行させることを含む、情報処理方法。
【請求項8】
ユーザの頭部の所定の部位に装着する第二デバイスと通信接続が可能な携帯型端末において実行される情報処理方法であって、
前記携帯型端末と前記第二デバイスが通信接続した状態において、前記情報処理方法は、前記携帯型端末のプロセッサに、
選択可能な少なくとも一つのコンテンツを含む選択画面を前記第二デバイスを介して表示させるステップと、
前記ユーザ又は前記第二デバイスの動き又は姿勢に関する情報を取得するステップと、
前記動き又は姿勢に関する情報に基づいて、前記第二デバイスにおける前記選択画面の表示制御をする又は前記第二デバイスにおいて前記選択画面に含まれる1のコンテンツの選択を受け付けて前記1のコンテンツの処理を制御するステップと、
を実行させることを含む、情報処理方法。
【請求項9】
ユーザの頭部に装着する第一デバイスに組み込んで使用可能な携帯型端末であって、
前記携帯型端末を組み込んだ前記第一デバイスを前記ユーザが装着した状態において、前記携帯型端末のプロセッサは、
選択可能な少なくとも一つのコンテンツを含む選択画面を表示し、
前記ユーザ、前記第一デバイス又は前記携帯型端末の動き又は姿勢に関する情報を取得し、
前記動き又は姿勢に関する情報に基づいて、前記選択画面の表示制御をする又は前記選択画面に含まれる1のコンテンツの選択を受け付けて前記1のコンテンツの処理を制御する、
携帯型端末。
【請求項10】
ユーザの頭部の所定の部位に装着する第二デバイスと通信接続が可能な携帯型端末であって、
前記携帯型端末と前記第二デバイスが通信接続した状態において、前記携帯型端末のプロセッサは、
選択可能な少なくとも一つのコンテンツを含む選択画面を前記第二デバイスを介して表示し、
前記ユーザ又は前記第二デバイスの動き又は姿勢に関する情報を取得し、
前記動き又は姿勢に関する情報に基づいて、前記第二デバイスにおける前記選択画面の表示制御をする又は前記第二デバイスにおいて前記選択画面に含まれる1のコンテンツの選択を受け付けて前記1のコンテンツの処理を制御する、
携帯型端末。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、情報処理方法、及び携帯型端末に関する。
【背景技術】
【0002】
従来、ヘッドマウントディスプレイ等の機器を用いて、ユーザに仮想空間を提供する技術が知られている。例えば、特許文献1には、ヘッドマウンドディスプレイによってユーザの姿勢が上下左右のいずれに傾いているのかを検知し、その姿勢やユーザの操作に基づいて、ヘッドマウントディスプレイの表示部への表示内容を制御することが記載されている。
【0003】
また、近年では、ユーザの頭部に装着するデバイスとスマートフォン等の携帯型端末とを組み合わせて、ユーザに仮想空間を提供することも行われている。例えば、非特許文献1には、動画再生アプリをインストールしたスマートフォンを筐体としての役割を担うVR(Virtual Reality)メガネに組み込んだ状態にて、スマートフォン上でVR動画を再生することによって、VRメガネを装着したユーザにVR動画を提供することが記載されている。また、非特許文献1には、動画の視聴時には視線によって動画再生に関する操作が可能なことが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2016-208370号公報
【非特許文献】
【0005】
【非特許文献1】“DMM VR動画プレイヤーアプリとは?”,[online],[令和3年9月24日検索],インターネット< https://www.dmm.com/digital/vr/howto.html>
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1のように、上下左右への姿勢の傾きを表示制御のための入力として割り当てた場合、4種類よりも多くの種類の操作を要求される場合に対応することが難しく、例えば、動画再生に係る操作をする場合等に細かな多種の操作を実現することは困難であった。
【0007】
非特許文献1の技術は、動画の視聴時にはユーザにVR空間を提供し、視線によって操作を可能にしているが、ログイン画面や動画の選択画面は2Dの画面であり、これらの画面において可能な操作は、タップ操作等のスマートフォンへの接触操作である。よって、非特許文献1の技術によってVR動画を見る場合、まずはスマートフォンに対して接触操作をし、VR動画を視聴するタイミングでスマートフォンをVRメガネに装着することになる。また、VR動画の視聴中に異なるVR動画を視聴したくなった場合、動画視聴を終了させ、次いでスマートフォンをVRメガネから取り外し、スマートフォンへの接触操作によって視聴するVR動画を選択し、そして再びスマートフォンをVRメガネに装着するというユーザにとって煩わしい操作が必要であった。
【0008】
本開示の一態様は、所定のデバイスと携帯型端末を組み合わせてAR(Augmented Reality)、MR(Mixed Reality)、SR(Substitutional Reality)、VR等の体験をユーザに提供する場合において、ユーザビリティを向上させることを目的とする。
【課題を解決するための手段】
【0009】
本開示に示す一実施形態によれば、
ユーザの頭部に装着する第一デバイスに組み込んで使用可能な携帯型端末において実行されるプログラムであって、
前記携帯型端末を組み込んだ前記第一デバイスを前記ユーザが装着した状態において、前記プログラムは、前記携帯型端末のプロセッサに、
選択可能な少なくとも一つのコンテンツを含む選択画面を表示するステップと、
前記ユーザ、前記第一デバイス又は前記携帯型端末の動き又は姿勢に関する情報を取得するステップと、
前記動き又は姿勢に関する情報に基づいて、前記選択画面の表示制御をする又は前記選択画面に含まれる1のコンテンツの選択を受け付けて前記1のコンテンツの処理を制御するステップと、
を実行させる、プログラムが提供される。
【0010】
また、本開示に示す他の実施形態によれば、
ユーザの頭部の所定の部位に装着する第二デバイスと通信接続が可能な携帯型端末において実行されるプログラムであって、
前記携帯型端末と前記第二デバイスが通信接続した状態において、前記プログラムは、前記携帯型端末のプロセッサに、
選択可能な少なくとも一つのコンテンツを含む選択画面を前記第二デバイスを介して表示させるステップと、
前記ユーザ又は前記第二デバイスの動き又は姿勢に関する情報を取得するステップと、
前記動き又は姿勢に関する情報に基づいて、前記第二デバイスにおける前記選択画面の表示制御をする又は前記第二デバイスにおいて前記選択画面に含まれる1のコンテンツの選択を受け付けて前記1のコンテンツの処理を制御するステップと、
を実行させる、プログラムが提供される。
【発明の効果】
【0011】
本開示に示す一実施形態よれば、所定のデバイスと携帯型端末を組み合わせてAR、MR、SR、VR等の体験をユーザに提供する場合において、ユーザビリティを向上させることができる。
【図面の簡単な説明】
【0012】
図1】第一の実施形態に係る第一デバイスと携帯型端末との組み合わせ態様の一例を示す模式図である。
図2】第一の実施形態に係る携帯型端末の機能的な構成の一例を表すブロック図である。
図3】第一の実施形態に係る処理の一例を示すフローチャートである。
図4】コンテンツ選択時の仮想空間における視界領域をY方向から見たXZ断面を表す図である。
図5】コンテンツ選択時のユーザの視界画像の一例を示す模式図である。
図6】動画視聴時の仮想空間における視界領域をY方向から見たXZ断面を表す図である。
図7】動画視聴時のユーザの視界画像の一例を示す模式図である。
図8】第二の実施形態に係る第二デバイスと携帯型端末との組み合わせ態様の一例を示す模式図である。
図9】第二の実施形態に係る第二デバイスと携帯型端末の機能的な構成の一例を表すブロック図である。
図10】第二の実施形態に係る処理の一例を示すフローチャートである。
図11】検索時のユーザの視界画像の一例を示す模式図である。
【発明を実施するための形態】
【0013】
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される1以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。
【0014】
以下では、所定のデバイスと携帯型端末を組み合わせてVR体験をユーザに提供する場合について主に説明をするが、本開示は、ARやMR、SR等のいわゆるXR技術全般に適用することが可能である。なお、以下では、VR体験、AR体験、MR体験、SR体験等のXR体験をまとめて「VR体験等」とも称する。
【0015】
また、本明細書において、「コンテンツ」とは、表示画面上で選択可能なものをいう。具体的には、「コンテンツ」としては、動画、静止画、音楽、電子書籍、ゲーム、テキスト、リンク、アプリケーションプログラム、オンライン上で販売される商品等が挙げられる。
【0016】
[第一の実施形態:構成例]
まず、図1を参照して、第一の実施形態に係る第一デバイス10と携帯型端末100との組み合わせ態様の一例について説明をする。第一の実施形態は、第一デバイス10に携帯型端末100を組み込んで使用する場合の例である。
【0017】
本例では、第一デバイス10は、開閉部11と、本体部12と、ヒンジ部13と、装着部14と、を備えている。開閉部11と本体部12は、ヒンジ部13を軸にして回動可能に連結している。開閉部11は、本体部12側に端末ホルダ(不図示)を有している。端末ホルダには、携帯型端末100を着脱可能である。なお、端末ホルダは、本体部12の開閉部11側に設けられていてもよい。本体部12は、レンズを嵌められた2つの開口(不図示)を有している。装着部14は、第一デバイス10をユーザの頭部に装着するための部材である。本例において、装着部14は、装着時にユーザの側頭部及び後頭部を通るバンドと、ユーザの頭頂部を含むバンドと、を含んでいる。
【0018】
携帯型端末100を収納する場合、まず開閉部11を回動させて開閉部11を開き、次に端末ホルダに携帯型端末100を固定する。そして、開閉部11を開くときとは逆方向に回動させて開閉部11を閉じる。図1の下図は、このようにして携帯型端末100を第一デバイス10に組み込んだ状態である。この状態において、ユーザは、装着部14を用いて第一デバイス10を頭部に装着する。そして、ユーザは、レンズが嵌められた開口から携帯型端末100に表示される画像を視認することによって、VR体験をすることが可能になる。
【0019】
第一デバイス10は、ユーザの頭部に装着可能であり、携帯型端末100を組み込むことが可能なものであれば、特に制限はされない。第一デバイス10は、上述の各部に加えて又は代えて、従来公知の構造を備えていてもよいし、上述の各部の1以上を備えていなくてもよい。例えば、第一デバイス10は、装着部14が眼鏡のツルのような構造をしたものであってもよいし、装着部14を設けずに手で支える構造のものとしてもよい。また、第一デバイス10は、開閉部11を備えずに、携帯型端末100を挿入する挿入孔を備えるように構成してもよい。
【0020】
携帯型端末100は、例えば、スマートフォンやタブレット等である。図2は、携帯型端末100の機能的な構成の一例を表すブロック図である。図2に示すように、携帯型端末100は、アンテナ110と、無線通信IF120と、タッチスクリーン130と、入出力IF140と、記憶部150と、音声処理部160と、マイク162と、スピーカ161と、センサ部170と、制御部190と、を含む。
【0021】
アンテナ110は、携帯型端末100が発する信号を電波として空間へ放射する。また、アンテナ110は、空間から電波を受信して受信信号を無線通信IF120へ与える。
【0022】
無線通信IF120は、携帯型端末100が他の通信機器と通信するため、アンテナ110等を介して信号を送受信するための変復調処理などを行う。無線通信IF120は、チューナー、高周波回路などを含む無線通信用の通信モジュールであり、携帯型端末100が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部190へ与える。
【0023】
タッチスクリーン130は、ユーザからの入力を受け付けて、ユーザに対し情報をディスプレイ132に出力する。タッチスクリーン130は、ユーザの入力操作を受け付けるためのタッチパネル131と、メニュー画面や仮想空間画像等を画面に表示するためのディスプレイ132と、を含む。タッチパネル131は、例えば、静電容量方式のものを用いることによって、ユーザの指などが接近したことを検出しうる。ディスプレイ132は、例えば、LCD(Liquid Crystal Display)、有機EL(Electroluminescence)その他の表示装置によって実現される。
【0024】
入出力IF140は、携帯型端末100への情報の入力を受け付けるとともに、携帯型端末100の外部へ情報を出力するためのインタフェースとして機能する。
【0025】
記憶部150は、フラッシュメモリ、RAM(Random Access Memory)等により構成される。記憶部150は、携帯型端末100が受信する各種データを記憶しうる。記憶部150は、VR体験をユーザに提供しうるプログラム151を記憶する。
【0026】
音声処理部160は、音声信号の変復調を行う。音声処理部160は、マイク162から与えられる信号を変調して、変調後の信号を制御部190へ与える。また、音声処理部160は、音声信号をスピーカ161へ与える。音声処理部160は、例えば、音声処理用のプロセッサによって実現される。マイク162は、音声信号の入力を受け付けて制御部190へ出力するための音声入力部として機能する。スピーカ161は、音声信号を、携帯型端末100の外部へ出力するための音声出力部として機能する。
【0027】
センサ部170は、ユーザ又は携帯型端末100の動き又は姿勢に関する情報(以下、「姿勢等情報」とも称する)を取得する。センサ部170は、例えば、ジャイロセンサや加速度センサ等のモーションセンサやカメラを含んでいる。本実施形態において、ユーザは、携帯型端末100を組み込んだ第一デバイス10を頭部に装着する。この状態において、モーションセンサで携帯型端末100の動き又は姿勢に関する情報を取得すれば、ユーザの頭部の動き又は姿勢に関する情報を取得したことにもなる。また、センサ部170は、携帯型端末100を組み込んだ第一デバイス10をユーザの頭部に装着した状態において、カメラによってユーザの視線等のユーザの動きに関する情報を取得してもよい。すなわち、ユーザの動きに関する情報には、ユーザの目や視線の動きに関する情報が含まれうる。なお、センサ部170は、第一デバイス10が備えていてもよい。このように構成する場合、第一デバイス10の姿勢等情報は、例えば、有線又は無線(例えば、Bluetooth(登録商標)、WiFiなど)によって接続された携帯型端末10へと送信される。
【0028】
制御部190は、記憶部150に記憶されるプログラムを読み込んで実行することにより、携帯型端末100の動作を制御する。制御部190は、例えば、アプリケーションプロセッサによって実現される。
【0029】
制御部190は、プログラム151を読み込んで実行することにより、送受信部191、操作受付部192と、表示制御部193と、処理制御部194と、の各機能を発揮する。
【0030】
送受信部191は、例えば、無線ネットワークを介して、外部機器から各種情報を受信し、また、外部機器に対し各種情報を送信する。送受信部191は、例えば、所定のURLに対応するサーバから情報リソースを受信する。具体的には、送受信部191は、ウェブ画面を表示するための情報リソースや、VR動画等のVRコンテンツを表示するための情報リソースをサーバから受信する。
【0031】
操作受付部192は、タッチスクリーン130に対するユーザの操作を判別する。具体的には、操作受付部192は、いわゆる「接近操作」、「リリース操作」、「タップ操作」、「ダブルタップ操作」、「長押し操作(ロングタッチ操作)」、「ドラッグ操作(スワイプ操作)」、「ムーブ操作」、及び「フリック操作」などのユーザの操作を判別する。
【0032】
また、操作受付部192は、センサ部170によって取得した姿勢等情報を操作入力として受け付ける。操作受付部192は、例えば、姿勢等情報をポインタの移動操作として受け付ける。また、操作受付部192は、例えば、ポインタが所定の選択領域上にある時間が所定値以上である場合に、その選択領域に対応する1のコンテンツの選択を受け付ける。上記所定値は、ユーザによって変更可能にしてもよい。また、操作受付部192は、例えば、ポインタが所定の選択領域上にあるときに携帯型端末100に対する所定の操作がされた場合に、その選択領域に対応する1のコンテンツの選択を受け付けてもよい。なお、携帯型端末100に対する所定の操作は、ユーザによる携帯型端末100に対する直接的な操作でもよいし、第一デバイス10等を介して携帯型端末100を操作する間接的な操作でもよい。また、選択領域を選択するための操作は、第一デバイス10を頭部に装着したままで可能な操作であれば、他の操作であってもよく、例えば、携帯型端末100に設けられた物理ボタンの押下であってもよい。操作受付部192は、例えば、VRモードの開始等をトリガとして、姿勢等情報を操作入力として受け付けるように構成してもよい。
【0033】
表示制御部193は、ディスプレイ132への表示内容を制御する。表示制御部193は、例えば、2DモードとVRモードの2通りのモードで表示を行うことができる。2Dモードについては、従来と同様であるため説明を省略する。
【0034】
VRモードは、所定のURLに対応するウェブページや動画等のコンテンツをVR空間上で表示し、ユーザにVR体験を提供するモードである。VR空間は、例えば、姿勢等情報を入力操作として受け付けることで、ユーザが仮想空間内で自由に視点を変更したり移動したりすることが可能な空間である。VR空間では、ウェブページや動画等をVR空間上で所定の角度(例えば、360度や180度)にわたって展開するように表示してもよいし、VR空間上に設けられた平面的な表示領域上に展開して表示してもよい。
【0035】
表示制御部193は、VRモードにて、選択可能な少なくとも一つのコンテンツを含む選択画面を表示し、姿勢等情報に基づいて選択画面の表示内容を制御する。選択画面には、少なくとも一つのコンテンツに対応する画像領域又はテキスト領域と、選択領域と、が含まれうる。画像領域は、例えば、コンテンツのサムネイル画像やアイコン画像、その他のコンテンツに関する画像を表示する領域である。テキスト領域は、例えば、コンテンツに関するテキスト情報を表示する領域である。選択画面には、画像領域とテキスト領域の両方が含まれていてもよい。選択領域は、コンテンツを選択するための領域であり、上記の画像領域やテキスト領域とは異なる位置に設けられてもよいし、上記の画像領域やテキスト領域と重複する位置に設けれてもよい。誤った選択操作を生じにくくするという観点から、選択領域は、画像領域又はテキスト領域よりも小さい領域であることが好ましい。また、表示制御部193は、姿勢等情報に基づいて、例えば、選択画面のスクロール、ウェブページの遷移等の画面遷移、選択画面に含まれる画像の拡大又は縮小、検索及び検索結果の表示等をおこなう。また、表示制御部193は、処理制御部194がコンテンツに関する処理をすることによって生成される画像を表示する。
【0036】
また、表示制御部193は、仮想キーボードや動画再生に関する再生UI(User Interface)等の仮想操作子を表示しうる。仮想キーボードを構成する各キーや、再生UIを構成する各ボタン等は、姿勢等情報によって動くポインタによって選択可能な選択領域である。
【0037】
仮想キーボードや再生UI等の入力受付用UIは、例えば、入力受付用UIを表示するための操作入力(例えば、頭を振る等)がされた場合等に表示されるようにしてもよい。入力受付用UI以外のその他の選択領域についても、それを表示するための操作入力がされた場合等に表示されるようにしてもよい。ポインタは、例えば、入力受付用UI若しくはその他の選択領域が表示されている場合、又はポインタを表示するための操作入力がされた場合等に表示されるようにしてもよい。また、入力受付用UI、その他の選択領域、及びポインタのうちの1以上は、それらを非表示にするための操作入力がされた場合や、表示開始から所定の時間が経過する又は所定の時間にわたって入力受付若しくは操作入力がされなかった場合に、非表示になるようにしてもよい。
【0038】
処理制御部194は、操作受付部192が選択画面において1の動画コンテンツの選択を受け付けた場合に、その選択された1の動画コンテンツに係る処理の制御を開始する。コンテンツに係る処理としては、特に制限はされないが、例えば、お気に入り登録、詳細情報(例えば、コメント、レビュー、星評価等)の表示、購入ページへ移動などが挙げられる。また、処理制御部194は、コンテンツに係る処理のうちコンテンツの再生に関する処理を制御する再生制御部195を含む。選択画面において動画コンテンツが選択された場合、例えば、選択画面から動画コンテンツを再生するための再生画面へと遷移し、再生画面にて動画コンテンツの再生が行われる。具体的には、VR空間の所定の角度にわたる領域上で動画コンテンツが再生される。なお、操作受付部192が動画コンテンツの再生を終了するための操作入力を受け付けた場合、例えば、再生画面から選択画面への遷移がなされる。
【0039】
なお、再生制御部195は、動画コンテンツを2Dモードで再生してもよい。再生制御部195は、例えば、VR空間上に設けられた平面的な表示領域上で動画コンテンツを2Dで再生してもよい。
【0040】
また、再生制御部195は、コンテンツを視聴する際の各種動作を制御する。再生制御部195は、具体的には、コンテンツの再生、巻き戻し、早送り、及び停止のうちの1以上の動作を制御する。
【0041】
[第一の実施形態:動作処理]
次に、図3から図7を参照して、第一の実施形態に係る携帯型端末100による動作処理の具体例として、動画コンテンツを再生する場合について説明する。図3は、第一の実施形態に係る処理の一例を示すフローチャートである。なお、本明細書において説明するフローチャートを構成する各処理の順序は、処理内容に矛盾や不整合が生じない範囲で順不同であり、並列的に実行されてもよい。
【0042】
図3のフローチャートに示す各処理は、VRモードが選択された状態で、携帯型端末100を組み込んだ第一デバイス10をユーザが頭部に装着した状態において実行されるものである。すなわち、ステップS1からステップS9の各処理は、ユーザが第一デバイス10を装着したままで第一デバイス10を取り外すことなく実行可能なものである。
【0043】
まず、ステップS1において、制御部190は、ディスプレイ132上に複数の動画コンテンツを含む選択画面を表示する。なお、選択画面上には、動画コンテンツに対応するサムネイルと選択領域が含まれる。また、選択画面上には、姿勢等情報に基づいて移動するポインタも表示される。
【0044】
次に、ステップS2において、制御部190は、センサ部170から姿勢等情報を取得する。次に、ステップS3において、制御部190は、姿勢等情報に基づいてポインタを移動させる。ポインタが選択領域上へと移動すると時間のカウントが開始され、ポインタが選択領域上にある時間が所定値(例えば、0.3~3秒程度)以上になった場合(ステップS4においてYes)、ステップS5において、制御部190は、その選択領域に対応する動画コンテンツの選択を受け付ける。一方で、ポインタが選択領域上にある時間が所定値未満の状態でポインタがその選択領域外に移動した場合(ステップS4においてNo)、カウントされていた時間はリセットされ、ステップS2に戻る。なお、上記の「所定値」は、初期値として設定された値でもよいし、ユーザが任意に設定した値であってもよい。また、「所定値」は、選択領域の場所や選択領域の種類に応じて、別々の値を設定することもできる。具体的には、ログアウトするための選択領域や商品購入の最終決定をするための選択領域等、誤って選択された場合の弊害が大きい選択領域について、その他の選択領域よりも「所定値」を長めに設定することができる。
【0045】
ここで、図4及び図5を用いて、ステップS1からステップS5について詳述する。図4は、コンテンツ選択時の仮想空間401における視界領域をY方向から見たXZ断面を表す図である。図5は、コンテンツ選択時のユーザの視界画像501の一例を示す模式図である。ステップS1からステップS5では、例えば、図4に示すような仮想空間401が生成され、図5に示すような視界画像501がユーザに提供される。
【0046】
図4の例において、仮想空間401には、仮想カメラ402と、表示領域403が配置されている。仮想空間401は、360度にわたって展開されたVR空間である。仮想カメラ402から延びる点線は、ユーザの視界領域を示している。仮想カメラ402は、姿勢等情報に基づいて移動したり、向きを変えたりすることが可能である。表示領域403は、複数のコンテンツを含む選択画面が表示される領域である。本例では、表示領域403の形状は、図5に示すようなテレビ型であるが、これに限定されず、他の形状であってもよい。表示領域403の形状は、例えば、球体のような立体形状を有するものとしてもよい。
【0047】
図5に示す視界画像501は、例えば、図4に示す仮想空間401を仮想カメラ402で撮像した画像であって、点線で示した視界領域内の画像である。図5の例において、視界画像501には、表示領域403が表示されている。また、表示領域403内には、スクロールボタン502及び503と、コンテンツA~Fにそれぞれ対応するサムネイル504a~504f及び選択領域505a~505fと、終了ボタン507と、が表示されている。
【0048】
なお、表示領域403の上部には「ウォッチリスト」と表示されている。すなわち、図5の例は、選択画面としてウォッチリストを表示しており、コンテンツA~Fは、ユーザがウォッチリストに登録した動画コンテンツである。
【0049】
視界画像501のほぼ中央には、星型のポインタ506が表示されている。ポインタ506は、ユーザの頭部の姿勢や視線、又は携帯型端末100の姿勢等に基づいて移動する。例えば、ユーザが上方向を向くように頭部を傾ける又は視線を上に移動させるとポインタ506も上方向に移動し、ユーザが右方向を向くように頭部を傾ける又は視線を右に移動させるとポインタ506も右方向に移動する。なお、携帯型端末100の姿勢等に基づいて仮想カメラ402も移動したり向きを変えたりするため、それに併せて視界画像501も変更されうる。
【0050】
例えば、ポインタ506が選択領域505a上に移動し、選択領域505a上にある時間が所定値以上になると、コンテンツAの選択が受け付けられ、後述のステップS6における再生制御が開始される。他のコンテンツを選択したい場合も同様に、そのコンテンツに対応する選択領域上にポインタ506を移動させ、ポインタ506がその選択領域上にある時間が所定値以上になることを待てばよい。
【0051】
また、スクロールボタン502及び503は、表示領域403に表示されている選択画面をスクロールさせるための選択領域である。ポインタ506がスクロールボタン502上にある時間が所定値以上になると、表示領域403に表示されている選択画面が上方向にスクロールし、ウォッチリストに登録されている他のコンテンツが表示される。スクロールボタン503の場合は、選択画面が下方向へスクロールする。終了ボタン507は、VRモードを終了するための選択領域である。
【0052】
図4及び図5の例では、VR空間である仮想空間401に配置された表示領域403に、選択画面を2D表示させていたが、選択画面は、仮想空間401上で所定の角度にわたって展開するように表示してもよい。すなわち、選択画面自体をVRコンテンツとして提供するように構成してもよい。
【0053】
図3のフローチャートの説明に戻る。ステップ6において、制御部190は、再生画面に遷移し、ステップS5で選択された動画コンテンツの再生制御を開始する。姿勢等情報に基づく選択画面への遷移要求がない場合(ステップS7においてNo)、例えば、遷移要求がされるまで動画コンテンツの再生制御が継続される。一方で、姿勢等情報に基づく選択画面への遷移要求がある場合(ステップS7においてYes)、ステップS8において、制御部190は、再生画面から選択画面へ遷移するための処理を実行し、終了する。なお、遷移要求は、例えば、ユーザの操作入力によって、選択画面へ遷移するための選択領域(例えば、図7の遷移ボタン707)が選択されたことによってなされる。また、遷移要求は、ステップS1で表示したような複数の動画コンテンツを含む選択画面への遷移ではなく、例えば、再生中の動画コンテンツの詳細情報を表示する画面等への遷移を要求するものであってもよい。
【0054】
ここで、図6及び図7を用いて、ステップS6からステップS8について詳述する。図6は、動画視聴時の仮想空間601における視界領域をY方向から見たXZ断面を表す図である。図7は、動画視聴時のユーザの視界画像701の一例を示す模式図である。ステップS6では、例えば、図4に示した仮想空間401から図6に示した仮想空間601へ遷移する処理が実行される。また、ステップS6では、図7に示すような視界画像701がユーザに提供される。
【0055】
図6の例において、仮想空間601には、仮想カメラ402が配置されている。仮想カメラ402については、上述したとおりである。また、仮想空間601の外縁に沿うように、選択された動画コンテンツの画像がパノラマ画像602として展開されている。すなわち、選択された動画コンテンツは360度動画として再生されている。
【0056】
図7に示す視界画像701は、例えば、図5に示す仮想空間601を仮想カメラ402で撮像した画像であって、点線で示した視界領域内の画像である。図7の例において、視界画像701には、選択された動画コンテンツを再生した画像が表示されている。視界画像701に表示されている画像は、パノラマ画像602のうちの一部である。
【0057】
また、視界画像701には、ポインタ506と、動画再生に関する再生UI702と、が表示されている。再生UI702は、例えば、ユーザが所定の速度以上で頭部を動かしたり、所定の角度以上に頭部を傾けたりした場合等の所定の操作入力を受け付けた場合に表示される。また、再生UI702を表示させるための選択領域を視界画像701内に表示させておき、ポインタ506がその選択領域にある時間が所定値以上になった場合に再生UI702を表示させるようにしてもよい。
【0058】
再生UI702は、各種の操作に対応する選択領域として、再生/停止ボタン703、巻き戻しボタン704、早送りボタン705、次の動画コンテンツの再生を開始するためのスキップボタン706、選択画面への遷移ボタン707、及びシークバー708を含んでいる。ポインタ506が各選択領域上にある時間が所定値以上になった場合、その選択領域に対応する各種の操作が実行される。
【0059】
例えば、スキップボタン706が選択された場合、仮想空間の遷移は伴わずに、現在再生されている動画コンテンツの再生を終了し、ウォッチリストに登録されている次の動画コンテンツの再生が開始される。一方で、遷移ボタン707が選択された場合、例えば、仮想空間601から仮想空間401へと遷移する処理が実行され、図5に示したような視界画像501内において選択画面が表示される。
【0060】
[第二の実施形態:構成例]
次に、図8を参照して、第二の実施形態に係る第二デバイス20と携帯型端末100との組み合わせ態様の一例について説明をする。第二の実施形態は、第二デバイス20と携帯型端末100とを通信接続させて使用する場合の例である。通信接続の態様は、特に限定されず、例えば、有線接続であってもよいし、無線(例えば、Bluetooth(登録商標)、WiFiなど)接続であってもよい。第二の実施形態では、携帯型端末10からの出力が第二デバイス20を介して、第二デバイス20上又は他の媒体上に出力され、選択画面が表示される。なお、第二の実施形態において、第一の実施形態で説明した内容は、矛盾の生じない範囲で援用できる。同様に、第二の実施形態について以下で説明する内容は、矛盾の生じない範囲で第一の実施形態においても援用できる。具体的には、第一の実施形態における第一デバイス10及び携帯型端末100に関する記載は、それぞれ、矛盾の生じない範囲で、第二の実施形態における第二デバイス20及び携帯型端末100に援用できる。同様に、第二の実施形態における第二デバイス20及び携帯型端末100に関する記載は、それぞれ、矛盾の生じない範囲で、第一の実施形態における第一デバイス10及び携帯型端末100に援用できる。
【0061】
第二デバイス20は、ユーザの頭部の所定の部位に装着可能であり、携帯型端末100と通信接続が可能であって、表示部を備えるものであれば、特に制限はされない。ここで、「頭部の所定の部位」とは、例えば、顔や後頭部に含まれる一以上の部位であり、目や鼻や耳等であってもよい。第二デバイス20としては、例えば、上記の機能を備えるVRグラス、スマートグラス、ARグラス、MRグラス、コンタクトレンズディスプレイ等を用いることができる。
【0062】
図9は、第二の実施形態に係る第二デバイス20と携帯型端末100の機能的な構成の一例を表すブロック図である。携帯型端末100については説明を省略する。第二デバイス20は、無線通信IF220と、表示部230と、入出力IF240と、記憶部250と、音声処理部260と、マイク262と、スピーカ261と、センサ部270と、制御部290と、を含む。
【0063】
無線通信IF220は、第二デバイス20が携帯型端末100等の他の通信機器と通信するため、アンテナ(不図示)等を介して信号を送受信するための変復調処理などを行う。無線通信IF220は、チューナー、高周波回路などを含む無線通信用の通信モジュールであり、第二デバイス20が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部290へ与える。
【0064】
表示部230は、ユーザからの入力を受け付けて、ユーザに対し情報をディスプレイ232に出力する。ディスプレイ232には、例えば、メニュー画面や仮想空間画像等が表示されうる。ディスプレイ232は、例えば、LCD、有機ELその他の表示装置によって実現される。
【0065】
入出力IF240は、第二デバイス20への情報の入力を受け付けるとともに、第二デバイス20の外部へ情報を出力するためのインタフェースとして機能する。
【0066】
記憶部250は、フラッシュメモリ、RAM等により構成される。記憶部250は、第二デバイス20が受信する各種データを記憶しうる。記憶部250は、VR体験をユーザに提供しうるプログラム251を記憶する。
【0067】
音声処理部260は、音声信号の変復調を行う。音声処理部260は、マイク262から与えられる信号を変調して、変調後の信号を制御部290へ与える。また、音声処理部260は、音声信号をスピーカ261へ与える。音声処理部260は、例えば、音声処理用のプロセッサによって実現される。マイク262は、音声信号の入力を受け付けて制御部290へ出力するための音声入力部として機能する。スピーカ261は、音声信号を、第二デバイス20の外部へ出力するための音声出力部として機能する。
【0068】
センサ部270は、ユーザ又は第二デバイス20の動き又は姿勢に関する情報(以下、「姿勢等情報」とも称する)を取得する。センサ部270は、例えば、ジャイロセンサや加速度センサ等のモーションセンサやカメラを含んでいる。本実施形態において、ユーザは、携帯型端末100と通信接続した第二デバイス20を頭部に装着する。この状態において、モーションセンサで第二デバイス20の動き又は姿勢に関する情報を取得すれば、ユーザの頭部の動き又は姿勢に関する情報を取得したことにもなる。また、センサ部270は、携帯型端末100を組み込んだ第二デバイス20をユーザの頭部に装着した状態において、カメラによってユーザの視線等のユーザの動きに関する情報を取得してもよい。
【0069】
制御部290は、記憶部250に記憶されるプログラムを読み込んで実行することにより、第二デバイス20の動作を制御する。制御部290は、例えば、アプリケーションプロセッサによって実現される。
【0070】
制御部290は、プログラム251を読み込んで実行することにより、送受信部291、操作受付部292と、表示制御部293と、の各機能を発揮する。
【0071】
送受信部291は、例えば、無線ネットワークを介して、携帯型端末100から各種情報を受信し、また、携帯型端末100に対し各種情報を送信する。送受信部291は、例えば、ディスプレイ232において表示を行うための情報リソースを携帯型端末100から受信する。また、送受信部291は、センサ部270によって取得した姿勢等情報を携帯型端末100に送信する。
【0072】
操作受付部292は、センサ部270によって取得した姿勢等情報を操作入力として受け付ける。姿勢等情報は、携帯型端末100にも送信され、携帯型端末100に対する操作入力としても受け付けられうる。
【0073】
操作受付部292は、例えば、姿勢等情報をポインタの移動操作として受け付ける。また、操作受付部292は、例えば、ポインタが所定の選択領域上にある時間が所定値以上である場合に、その選択領域に対応する1のコンテンツの選択を受け付ける。操作受付部292は、例えば、VRモードの開始等をトリガとして、姿勢等情報を操作入力として受け付けるように構成してもよい。
【0074】
また、操作受付部292は、タッチパネルを含んでいてもよく、タッチパネルへの各種のタッチ操作を操作入力として受け付けるように構成されていてもよい。タッチパネルは、例えば、第二デバイス20の側部に配置される。また、操作受付部292は、センサ部270によってユーザの手の動き等を検出し、その手の動き等を操作入力として受け付けるように構成してもよい。
【0075】
表示制御部293は、ディスプレイ232への表示内容を制御する。表示制御部293は、例えば、携帯型端末100から送信される情報に基づいてディスプレイ232への表示内容を制御し、VRモードで表示をすることが可能である。VRモードについては第一の実施形態で述べたとおりである。
【0076】
表示制御部293がディスプレイ232上に動画コンテンツを再生した画像を表示する場合、動画コンテンツの再生制御は、例えば、携帯型端末100側で実行される。表示制御部293は、携帯型端末100において生成された画像情報に基づいてディスプレイ232に表示する画像を複製する、いわゆるミラーリング機能を有することが好ましい。また、表示制御部293は、表示制御部193と同様の機能を有することが好ましい。
【0077】
[第二の実施形態:動作処理]
次に、図10及び図11を参照して、第二の実施形態に係る動作処理の具体例として、EC(Electronic Commerce)サイトにてショッピングをする場合について説明する。図10は、第二の実施形態に係る処理の一例を示すフローチャートである。
【0078】
図10のフローチャートに示す各処理は、VRモードが選択された状態で、携帯型端末100と通信接続した第二デバイス20をユーザが頭部に装着した状態において実行されるものである。すなわち、ステップS11からステップS19の各処理は、ユーザが第二デバイス20を装着したままで第二デバイス20を取り外すことなく実行可能なものである。
【0079】
まず、ステップS11において、制御部290は、ディスプレイ232上に複数の商品(コンテンツ)と検索窓を含む選択画面を表示する。選択画面上には、各商品に対応するサムネイルと選択領域が含まれる。選択画面上には、姿勢等情報に基づいて移動するポインタも表示される。
【0080】
なお、ステップS11における選択画面の表示は、携帯型端末100から送信される情報リソースに基づいて実行される。また、以降の各処理において、特に言及はせずとも、ディスプレイ232への表示は、携帯型端末100から送信される情報リソースに基づいて実行されるものである。
【0081】
ステップS12において、制御部290は、所定の操作入力を受け付けたことに応じて、キーボード画像を表示する。ステップS12における所定の操作入力は、特に制限はされないが、例えば、第二デバイス20に設けられたタッチパネル又は携帯型端末100のタッチパネル131へのタッチ操作でもよいし、ポインタが検索窓上にある時間が所定値以上になることでもよい。また、ステップS12における所定の操作入力は、センサ部270(例えば、カメラ)によって検知されるユーザの手の動きに基づくものであってもよい。
【0082】
なお、制御部290が操作入力を受け付けた場合、その情報は携帯型端末100へと送信され、携帯型端末100において各種の処理が実行される。そして、携帯型端末100における処理の結果に基づいて、ディスプレイ232において表示をおこなうための情報リソースが生成され、その情報リソースが制御部290へ送信されることによって、制御部290による各種の表示制御がなされることになる。以降の各処理においても同様である。
【0083】
ステップS13において、制御部290は、センサ部270から姿勢等情報を取得して操作入力として受け付ける。次に、ステップS14において、制御部290は、姿勢等情報に基づいてポインタを移動させる。ポインタがキーボード上の選択領域(各キー)上へと移動すると時間のカウントが開始され、ポインタが選択領域上にある時間が所定値以上になった場合(ステップS15においてYes)、ステップS16において、制御部190は、その選択領域に対応する文字を検索ワードとして受け付ける。一方で、ポインタが選択領域上にある時間が所定値未満の状態でポインタがその選択領域外に移動した場合(ステップS15においてNo)、カウントされていた時間はリセットされ、ステップS13に戻る。
【0084】
ここで、図11を用いて、ステップS11からステップS16について詳述する。図11は、検索時のユーザの視界画像1101の一例を示す模式図である。なお、図11の視界画像1101は、図6に示した仮想空間601のような空間における仮想カメラの視界領域を撮像した画像であり、選択画面がパノラマ画像として表示された画像である。
【0085】
図11の例において、視界画像1101には、ポインタ506と、コンテンツA1~F1にそれぞれ対応するサムネイル1102a~1102f及び選択領域1103a~1103fと、検索窓1104と、キーボード画像1105と、が表示されている。
【0086】
コンテンツA1~F1は、ECサイト上で販売されている商品である。サムネイル1102a~1102fは各商品のサムネイルであり、選択領域1103a~1103fは、各商品を購入するための選択領域である。なお、選択領域1103a~1103fは、商品の詳細ページへ遷移するための選択領域としてもよい。
【0087】
検索窓1104は、検索ワードを入力して、サイト内又は他のウェブ上で検索するための領域である。キーボード画像は、例えば、ポインタ506が検索窓1104上にある時間が所定値以上になった場合に表示される。キーボード画像1105は、検索窓1104に文字を入力するための選択領域である。ポインタ506がキーボード画像1105に含まれる各キー上にある時間が所定値以上になった場合、そのキーに対応する文字が検索ワードとして入力されうる。なお、ユーザの過去の検索履歴及びその段階で入力されている文字のうちの1以上から予測される1以上の検索ワード候補を自動的に表示するように構成してもよい。この場合、検索ワード候補の中から選択されたものが検索ワードとして入力される。
【0088】
図10のフローチャートの説明に戻る。ステップS17において、制御部290は、検索を実行するための操作入力がなされたことに応じて、検索結果を表示する。ステップS17は、例えば、検索ワードの入力を繰り返して検索する文字列の入力が完了した後に、選択領域として準備された検索実行ボタン等が選択されること等に応じて実行されうる。なお、ステップS17における検索結果の表示は、表示画面の遷移を伴うものでありうる。
【0089】
姿勢等情報に基づいて表示画面を遷移するための遷移要求がなさない場合(ステップS18においNo)、そのときに表示されている表示画面(例えば、検索結果を表示する画面)が表示され続ける。一方で、姿勢等情報に基づいて表示画面を遷移するための遷移要求がなされた場合(ステップS18においてYes)、ステップS19において、その遷移要求に応じて表示画面を遷移させ、表示内容を変更する。例えば、検索結果画面において表示されたコンテンツを選択する操作入力がなされた場合、そのコンテンツの購入画面への遷移や、そのコンテンツの詳細情報を表示する画面への遷移がなされる。
【0090】
上記の実施形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
【0091】
例えば、上記の各実施形態では、姿勢等情報によってポインタを移動させ、ポインタによってコンテンツの選択を受け付けていたが、ユーザの手の動き等を検出して、その手の動き等によってコンテンツの選択を受け付けてもよい。また、第一デバイス10、第二デバイス20、及び携帯型端末100にそれぞれ設けられたタッチパネルや物理ボタンへの操作に基づいて、コンテンツの選択を受け付けてもよい。また、既に述べた選択方法を適宜組み合わせた方法によって、コンテンツの選択を受け付けてもよい。
【0092】
また、上記の各実施形態では、動画コンテンツを再生する場合及びECサイトでショッピングをする場合を例に挙げたが、本開示は、その他の場合にも適用できる。例えば、ウェブ閲覧、ウェブ上でのクレジットカード登録や会員登録、ウェブ上での各種の申込、ゲームプレイ、電子書籍の閲覧等をVR体験等としてユーザに提供する場合にも適用することが可能である。
【0093】
[付記事項]
本開示の内容を列記すると以下の通りである。
【0094】
(項目1)
ユーザの頭部に装着する第一デバイスに組み込んで使用可能な携帯型端末において実行されるプログラムであって、
前記携帯型端末を組み込んだ前記第一デバイスを前記ユーザが装着した状態において、前記プログラムは、前記携帯型端末のプロセッサに、
選択可能な少なくとも一つのコンテンツを含む選択画面を表示するステップと、
前記ユーザ、前記第一デバイス又は前記携帯型端末の動き又は姿勢に関する情報を取得するステップと、
前記動き又は姿勢に関する情報に基づいて、前記選択画面の表示制御をする又は前記選択画面に含まれる1のコンテンツの選択を受け付けて前記1のコンテンツの処理を制御するステップと、
を実行させる、プログラム。
これにより、所定のデバイスと携帯型端末を組み合わせてVR体験等をユーザに提供する場合において、ユーザビリティを向上させることができる。
具体的には、ユーザは、デバイスを装着したままで姿勢等を変えるだけで、コンテンツの選択とコンテンツの処理(例えば、再生等)、又は選択画面の表示内容の変更が可能になる。よって、従来のように、それらの操作の途中でデバイスを頭部に装着したり取り外したり、更にデバイスから携帯型端末を取り外したり再度取り付けたりというような煩わしさがなくなり、ユーザにとって快適なVR体験等を提供できるようになる。
【0095】
(項目2)
ユーザの頭部の所定の部位に装着する第二デバイスと通信接続が可能な携帯型端末において実行されるプログラムであって、
前記携帯型端末と前記第二デバイスが通信接続した状態において、前記プログラムは、前記携帯型端末のプロセッサに、
選択可能な少なくとも一つのコンテンツを含む選択画面を前記第二デバイスを介して表示させるステップと、
前記ユーザ又は前記第二デバイスの動き又は姿勢に関する情報を取得するステップと、
前記動き又は姿勢に関する情報に基づいて、前記第二デバイスにおける前記選択画面の表示制御をする又は前記第二デバイスにおいて前記選択画面に含まれる1のコンテンツの選択を受け付けて前記1のコンテンツの処理を制御するステップと、
を実行させる、プログラム。
これにより、所定のデバイスと携帯型端末を組み合わせてVR体験等をユーザに提供する場合において、ユーザビリティを向上させることができる。
具体的には、ユーザは、デバイスを装着したままで姿勢等を変えるだけで、コンテンツの選択とコンテンツの処理(例えば、再生)、又は選択画面の表示内容の変更が可能になる。よって、従来のように、それらの操作の途中でデバイスを頭部に装着したり取り外したり、更にデバイスから携帯型端末を取り外したり再度取り付けたりというような煩わしさがなくなり、ユーザにとって快適なR体験等を提供できるようになる。
【0096】
(項目3)
前記選択画面には、前記少なくとも一つのコンテンツに対応する画像領域又はテキスト領域と、選択領域と、が含まれ、
前記動き又は姿勢に関する情報に基づいて動くポインタが前記選択領域上にある時間が所定値以上である場合に、前記選択領域に対応する1のコンテンツの選択が受け付けられる、
項目1又は項目2に記載のプログラム。
これにより、ポインタを表示することで、デバイスを装着したままでも選択操作が容易になる。また、ユーザが視界領域を変更したくて姿勢等を動かした場合に、ポインタが意図せずに選択領域上に移動した場合でも、選択領域上にある時間が所定値以上でないと選択が受け付けられないので、ユーザの意図していない選択が受け付けられる事態を抑制することができる。
【0097】
(項目4)
前記表示制御には、前記選択画面のスクロール、前記選択画面からのページ遷移、前記選択画面に含まれる画像の拡大又は縮小、並びに、検索及び検索結果の表示のうちの1以上が含まれ、
前記処理の制御には、前記1のコンテンツの再生、巻き戻し、早送り、及び停止のうちの1以上が含まれる、
項目1から項目3のいずれか一項に記載のプログラム。
本開示は、上記のような表示制御や再生制御を行う場合であっても、デバイスを頭部から取り外したり再度取り付けたりする必要がなく、ユーザに快適なVR体験等を提供することが可能である。
【0098】
(項目5)
前記処理を制御するステップは、前記コンテンツの再生制御をすることを含み、
前記再生制御は、前記動き又は姿勢に関する情報に基づいて、前記選択画面に含まれる1のコンテンツの選択を受け付けた場合に、前記選択画面とは異なる再生画面において前記1のコンテンツの再生をすることを含む、
項目1から項目4のいずれか一項に記載のプログラム。
これにより、選択画面におけるコンテンツの選択、再生画面におけるコンテンツの再生といった一連の操作を、デバイスを装着したままで実行することが可能になるので、ユーザビリティをさらに向上させることができる。特に、従来は、選択画面でコンテンツを選択してから携帯型端末をデバイスに装着し、次いでデバイスを頭部に装着したうえで動画を視聴しなければならなかったので、本開示の上記構成によれば、従来と比べて、比較にならないほど快適なVR体験等をユーザに提供することができる。
【0099】
(項目6)
前記処理を制御するステップは、前記コンテンツの再生制御をすることを含み、
前記携帯型端末を組み込んだ前記第一デバイスを前記ユーザが装着した状態又は前記携帯型端末と前記第二デバイスが通信接続した状態において、前記プログラムは、前記携帯型端末のプロセッサに、さらに、
前記選択画面とは異なる再生画面において前記1のコンテンツの再生をしている場合に、前記動き又は姿勢に関する情報に基づいて、前記再生画面から前記選択画面へ遷移するステップを実行させる、
項目1から項目5のいずれか一項に記載のプログラム。
これにより、再生画面におけるコンテンツの再生から選択画面へ戻る操作を、デバイスを装着したままで実行することが可能になるので、ユーザビリティをさらに向上させることができる。特に、従来は、デバイスを頭部に装着して動画を視聴している状態から選択画面へ遷移するためには、デバイスを取り外して、携帯型端末にタップ操作等しなければならなかったので、本開示の上記構成によれば、従来と比べて、比較にならないほど快適なVR体験等をユーザに提供することができる。
【0100】
(項目7)
ユーザの頭部に装着する第一デバイスに組み込んで使用可能な携帯型端末において実行される情報処理方法であって、
前記携帯型端末を組み込んだ前記第一デバイスを前記ユーザが装着した状態において、前記情報処理方法は、前記携帯型端末のプロセッサに、
選択可能な少なくとも一つのコンテンツを含む選択画面を表示するステップと、
前記ユーザ、前記第一デバイス又は前記携帯型端末の動き又は姿勢動に関する情報を取得するステップと、
前記動き又は姿勢に関する情報に基づいて、前記選択画面の表示制御をする又は前記選択画面に含まれる1のコンテンツの選択を受け付けて前記1のコンテンツの処理を制御するステップと、
を実行させることを含む、情報処理方法。
これにより、所定のデバイスと携帯型端末を組み合わせてVR体験等をユーザに提供する場合において、ユーザビリティを向上させることができる。
【0101】
(項目8)
ユーザの頭部の所定の部位に装着する第二デバイスと通信接続が可能な携帯型端末において実行される情報処理方法であって、
前記携帯型端末と前記第二デバイスが通信接続した状態において、前記情報処理方法は、前記携帯型端末のプロセッサに、
選択可能な少なくとも一つのコンテンツを含む選択画面を前記第二デバイスを介して表示させるステップと、
前記ユーザ又は前記第二デバイスの動き又は姿勢に関する情報を取得するステップと、
前記動き又は姿勢に関する情報に基づいて、前記第二デバイスにおける前記選択画面の表示制御をする又は前記第二デバイスにおいて前記選択画面に含まれる1のコンテンツの選択を受け付けて前記1のコンテンツの処理を制御するステップと、
を実行させることを含む、情報処理方法。
これにより、所定のデバイスと携帯型端末を組み合わせてVR体験等をユーザに提供する場合において、ユーザビリティを向上させることができる。
【0102】
(項目9)
ユーザの頭部に装着する第一デバイスに組み込んで使用可能な携帯型端末であって、
前記携帯型端末を組み込んだ前記第一デバイスを前記ユーザが装着した状態において、前記携帯型端末のプロセッサは、
選択可能な少なくとも一つのコンテンツを含む選択画面を表示し、
前記ユーザ、前記第一デバイス又は前記携帯型端末の動き又は姿勢に関する情報を取得し、
前記動き又は姿勢に関する情報に基づいて、前記選択画面の表示制御をする又は前記選択画面に含まれる1のコンテンツの選択を受け付けて前記1のコンテンツの処理を制御する、
携帯型端末。
これにより、所定のデバイスと携帯型端末を組み合わせてVR体験等をユーザに提供する場合において、ユーザビリティを向上させることができる。
【0103】
(項目10)
ユーザの頭部の所定の部位に装着する第二デバイスと通信接続が可能な携帯型端末であって、
前記携帯型端末と前記第二デバイスが通信接続した状態において、前記携帯型端末のプロセッサは、
選択可能な複数のコンテンツを含む選択画面を前記第二デバイスを介して表示し、
前記ユーザ又は前記第二デバイスの動き又は姿勢に関する情報を取得し、
前記動き又は姿勢に関する情報に基づいて、前記第二デバイスにおける前記選択画面の表示制御をする又は前記第二デバイスにおいて前記選択画面に含まれる1のコンテンツの選択を受け付けて前記1のコンテンツの処理を制御する、
携帯型端末。
これにより、所定のデバイスと携帯型端末を組み合わせてVR体験等をユーザに提供する場合において、ユーザビリティを向上させることができる。
【符号の説明】
【0104】
10:第一デバイス
20:第二デバイス
100:携帯型端末
150:(携帯型端末の)記憶部
190:(携帯型端末の)制御部
250:(第二デバイスの)記憶部
290:(第二デバイスの)制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11