(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20241112BHJP
【FI】
G06F3/01 560
(21)【出願番号】P 2021571279
(86)(22)【出願日】2021-01-15
(86)【国際出願番号】 JP2021001373
(87)【国際公開番号】W WO2021145455
(87)【国際公開日】2021-07-22
【審査請求日】2023-12-04
(32)【優先日】2020-01-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】PCT/JP2020/035881
(32)【優先日】2020-09-23
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】横山 諒
(72)【発明者】
【氏名】荻田 猛史
(72)【発明者】
【氏名】伊藤 鎮
(72)【発明者】
【氏名】福馬 洋平
(72)【発明者】
【氏名】中川 亜由美
(72)【発明者】
【氏名】仲村 健太郎
(72)【発明者】
【氏名】堂前 拓馬
【審査官】木村 慎太郎
(56)【参考文献】
【文献】特開2019-144629(JP,A)
【文献】国際公開第2017/043610(WO,A1)
【文献】国際公開第2018/042799(WO,A1)
【文献】国際公開第2017/175689(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
第1のユーザから入力された、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報に対応する制御コマンドを取得する第1の取得部と、
前記制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための触覚制御信号を生成する生成部と、
前記触覚制御信号を第2のユーザの身体に装着された前記触覚提示デバイスに配信する第1の配信部と、
を備え、
前記触覚制御信号は、前記触覚刺激の提示タイミング、周波数、間隔、波形、提示時間及び強さのうちの少なくとも1つに対応
し、
前記生成部は、前記触覚制御信号とともに、所定の画像又は所定の音声を前記第1のユーザ又は前記第2のユーザに提示するための提示制御信号を生成する、
前記所定の画像は、実空間の画像に重畳表示される、又は、実空間に投影される仮想オブジェクトを含み、
前記仮想オブジェクトは、所定のアイコンが前記第1のユーザから前記第2のユーザまで移動する軌跡である、
情報処理装置。
【請求項2】
前記触覚刺激は、前記第2のユーザの前記触覚提示デバイスの装着状況に応じて、調整される、請求項
1に記載の情報処理装置。
【請求項3】
前記触覚刺激は、前記触覚提示デバイスと前記第2のユーザの身体との接触率に応じて調整される、請求項
2に記載の情報処理装置。
【請求項4】
前記第1の配信部は、前記触覚提示デバイスが前記第2のユーザに装着されていない場合には、前記触覚制御信号を前記第2のユーザの前記触覚提示デバイスに配信しない、請求項
2に記載の情報処理装置。
【請求項5】
前記触覚提示デバイスが前記第2のユーザに装着されていない場合には、
前記生成部は、前記制御コマンドに応じて、他の装置に所定の動作を行わせるための非装着時制御信号を生成し、
前記第1の配信部は、前記非装着時制御信号を前記他の装置に配信する、
請求項
4に記載の情報処理装置。
【請求項6】
前記生成部は、前記第2のユーザの属性情報に応じて、前記触覚制御信号を調整する、請求項1~
5のいずれか1項に記載の情報処理装置。
【請求項7】
前記第1のユーザの属性情報又は前記第2のユーザの属性情報に基づき、前記触覚制御信号を配信するかどうかを判定する判定部をさらに備える、請求項1~
6のいずれか1項に記載の情報処理装置。
【請求項8】
前記第1の取得部は、前記第2のユーザから入力された前記制御コマンドを取得し、
前記生成部は、前記第2のユーザから入力された前記制御コマンドに応じて、前記触覚制御信号を生成し、
前記第1の配信部は、生成した前記触覚制御信号を前記第1のユーザの身体に装着された前記触覚提示デバイスに配信する、
請求項1~
7のいずれか1項に記載の情報処理装置。
【請求項9】
前記第1の取得部は、前記第2のユーザから入力された前記制御コマンドを取得し、
前記生成部は、前記第2のユーザから入力された前記制御コマンドと、前記第1のユーザが所有するユーザ端末の属性情報とに応じて、ユーザ端末用制御信号を生成し、
前記第1の配信部は、生成した前記ユーザ端末用制御信号を前記ユーザ端末に配信する、
請求項1~
7のいずれか1項に記載の情報処理装置。
【請求項10】
前記触覚提示デバイスは触覚刺激部を含み、
前記提示部情報は、前記触覚刺激部のID情報を含む、請求項1に記載の情報処理装置。
【請求項11】
前記触覚制御信号は、前記制御コマンドに対応する触覚制御IDであり、
前記触覚提示デバイスは、前記触覚制御IDに対応する前記提示部情報と前記形態情報とに基づいて触覚提示を行う、
請求項1に記載の情報処理装置。
【請求項12】
前記所定の画像及び前記実空間の画像は、前記第1のユーザに向けて画像を表示する表示デバイスと通信可能な他の情報処理装置から前記表示デバイスに配信される、
請求項
1に記載の情報処理装置。
【請求項13】
前記他の情報処理装置は、前記第1のユーザの入力に応じたコマンド情報を取得する、
請求項
12に記載の情報処理装置。
【請求項14】
前記第1のユーザからの入力に応じて、前記触覚刺激の提示と同期して前記実空間の画像に重畳表示される前記所定の画像を取得する第2の取得部と、
前記実空間の画像を取得する第3の取得部と、
前記所定の画像及び前記実空間の画像を前記第1のユーザに向けて画像を表示する表示デバイスに配信する第2の配信部と、
をさらに備える、
請求項
1に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理端末及びプログラムに関する。
【背景技術】
【0002】
近年、消費者の消費活動は、商品の単なる購入である「モノ消費」から、付加価値の高い体験に対して対価を支払う「コト消費」へと移り変わっている。例えば、音楽やアニメーション等といったエンタテイメント分野においても、消費者は、アーティスト等の生のパフォーマンスを視聴するといった一方向の体験だけでなく、さらにアーティストやファン同士の交流等といった、リアルタイムで、且つ、インタラクティブな、より付加価値の高い体験を強く求めるようになってきている。
【0003】
例えば、このような体験の一例としては、インターネット上でコンテンツを配信しているアーティスト等に対して、当該コンテンツの視聴者が、イラスト、テキスト等のデータを送信したり、これらとともに送金したりするといった「投げ銭」を挙げることができる。このような「投げ銭」を介して、アーティストと視聴者との間でコミュニケーションを行うことにより、視聴者はより付加価値の高い体験を得ることができる。その結果、視聴者の、コンテンツに対する満足感がより高まったり、このような「コト」に対する購買意欲が増したりすることとなる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、従来から、振動などの触覚刺激をユーザに提示するための装置が提案されている。例えば、その一例として、上記特許文献1に記載のジャケット型の触覚提示デバイスを挙げることができる。このような触覚提示デバイスは、映画館やテーマパークのアトラクション等において、ユーザに装着され、ユーザが視聴する再生コンテンツと同期するように制御されることにより、提供される再生コンテンツの臨場感をより増幅させることができる。
【0006】
そこで、本開示では、このような触覚提示デバイスを利用して、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を視聴者に提供することができる、情報処理装置、情報処理端末及びプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、第1のユーザから入力された、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報に対応する制御コマンドを取得する第1の取得部と、前記制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための触覚制御信号を生成する生成部と、前記触覚制御信号を第2のユーザの身体に装着された前記触覚提示デバイスに配信する第1の配信部と、を備え、前記触覚制御信号は、前記触覚刺激の提示タイミング、周波数、間隔、波形、提示時間及び強さのうちの少なくとも1つに対応する、情報処理装置が提供される。
【0008】
また、本開示によれば、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報に対応する制御コマンドが入力される入力部と、入力された前記制御コマンドを、当該制御コマンドに応じた触覚制御信号を生成して、前記触覚提示デバイスに配信する情報処理装置に送信する送信部と、を備え、前記触覚制御信号は、前記触覚刺激の提示タイミング、周波数、間隔、波形、提示時間及び強さのうちの少なくとも1つを指示する信号を含む、情報処理端末が提供される。
【0009】
また、本開示によれば、情報処理装置を、第1のユーザから入力された制御コマンドを取得し、第2のユーザのライブ配信の画像を受信し、前記受信したライブ配信の画像を表示部に表示させ、前記取得した制御コマンドをサーバへ通信部を介して送信する、制御部として機能させるプログラムであって、前記制御コマンドに応じて触覚制御信号が生成され、前記触覚制御信号が、前記第2のユーザの身体に装着された触覚提示デバイスに配信され、前記制御コマンドに対応する前記触覚提示デバイスの触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とに基づいて、前記触覚提示デバイスを介して触覚提示を行う、プログラムが提供される。
【0010】
さらに、本開示によれば、第1のユーザから入力された制御コマンドを受信し、第2のユーザのライブ配信の画像を受信する制御部を備え、前記制御コマンドに応じて触覚制御信号を生成し、前記触覚制御信号が前記第2のユーザの身体に装着された触覚提示デバイスへ配信し、前記制御コマンドに対応する前記触覚提示デバイスの触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とに基づいて、前記触覚提示デバイスを介して触覚提示を行う、情報処理装置が提供される。
【図面の簡単な説明】
【0011】
【
図1】本開示の実施形態の概要を説明するための説明図(その1)である。
【
図2】本開示の実施形態の概要を説明するための説明図(その2)である。
【
図3】本開示の第1の実施形態に係る情報処理システム10の概略的構成例を示したシステム図である。
【
図4】本開示の第1の実施形態に係る触覚提示デバイス100の外観構成例を示す図である。
【
図5】本開示の第1の実施形態に係る触覚提示デバイス100の機能構成例を示す図である。
【
図6】本開示の第1の実施形態に係るサーバ200の機能構成例を示す図である。
【
図7】本開示の第1の実施形態に係るユーザ端末300の機能構成例を示す図である。
【
図8】本開示の第1の実施形態に係る情報処理方法の一例のフローチャート図である。
【
図9】本開示の第1の実施形態に係る表示例を説明するための説明図(その1)である。
【
図10】本開示の第1の実施形態に係る表示例を説明するための説明図(その2)である。
【
図11】本開示の第1の実施形態に係る表示例を説明するための説明図(その3)である。
【
図12】本開示の第1の実施形態に係る表示例を説明するための説明図(その4)である。
【
図13】本開示の第2の実施形態に係る表示例を説明するための説明図(その1)である。
【
図14】本開示の第2の実施形態に係る表示例を説明するための説明図(その2)である。
【
図15】本開示の第3の実施形態を説明するための説明図(その1)である。
【
図16】本開示の第3の実施形態に係る表示例を説明するための説明図である。
【
図17】本開示の第3の実施形態を説明するための説明図(その2)である。
【
図18】本開示の第3の実施形態を説明するための説明図(その3)である。
【
図19】本開示の第3の実施形態を説明するための説明図(その4)である。
【
図20】本開示の第3の実施形態を説明するための説明図(その5)である。
【
図21】本開示の第4の実施形態に係るサーバ200aの機能構成例を示す図である。
【
図22】本開示の第4の実施形態に係る情報処理方法の一例のフローチャート図である。
【
図23】本開示の第4の実施形態の実施例に係る表示例を説明するための説明図(その1)である。
【
図24】本開示の第4の実施形態の実施例に係る表示例を説明するための説明図(その2)である。
【
図25】本開示の第4の実施形態の実施例に係る表示例を説明するための説明図(その3)である。
【
図26】本開示の第6の実施形態に係るサーバ200bの機能構成例を示す図である。
【
図27】本開示の第6の実施形態に係る表示例を説明するための説明図(その1)である。
【
図28】本開示の第6の実施形態に係る表示例を説明するための説明図(その2)である。
【
図29】本開示の第6の実施形態の変形例に係るサーバ200cの機能構成例を示す図である。
【
図30】本開示の第6の実施形態の変形例に係る情報処理方法の一例フローチャート図である。
【
図31】本開示の第6の実施形態の変形例に係る表示例を説明するための説明図(その1)である。
【
図32】本開示の第6の実施形態の変形例に係る表示例を説明するための説明図(その2)である。
【
図33】本開示の実施形態の変形例に係る情報処理システム10の概略的構成例を示したシステム図(その1)である。
【
図34】本開示の実施形態の変形例に係る情報処理システム10の概略的構成例を示したシステム図(その2)である。
【
図35】本開示の実施形態の変形例に係る情報処理システム10の概略的構成例を示したシステム図(その3)である。
【
図36】本開示の実施形態の変形例に係る情報処理システム10の概略的構成例を示したシステム図(その4)である。
【
図37】本開示の実施形態の変形例に係る情報処理システム10の概略的構成例を示したシステム図(その5)である。
【
図38】本開示の実施形態の変形例に係る情報処理システム10の概略的構成例を示したシステム図(その6)である。
【
図39】サーバ200の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0013】
なお、説明は以下の順序で行うものとする。
1. 本開示の実施形態の概要
2. 第1の実施形態
2.1 情報処理システム10の概要
2.2 触覚提示デバイス100の詳細構成
2.3 サーバ200の詳細構成
2.4 ユーザ端末300の詳細構成
2.5 情報処理方法
2.6 変形例
3. 第2の実施形態
4. 第3の実施形態
5. 第4の実施形態
5.1 サーバ200aの詳細構成
5.2 情報処理方法
5.3 実施例
6. 第5の実施形態
7. 第6の実施形態
7.1 サーバ200bの詳細構成
7.2 実施形態
7.3 変形例1
7.4 変形例2
7.5 変形例3
8. 本開示の情報処理システム10の変形例
9. まとめ
10. ハードウェア構成について
11. 補足
【0014】
<<1. 本開示の実施形態の概要>>
まずは、本開示の実施形態の詳細を説明する前に、
図1及び
図2を参照して、本発明者らが創作した本開示の実施形態の概要について説明する。
図1及び
図2は、本開示の実施形態の概要を説明するための説明図である。
【0015】
先に説明したように、近年、消費者の消費活動は、「モノ消費」から「コト消費」へと移り変わっている。特に、エンタテイメント分野においては、消費者は、アーティスト等の生のパフォーマンスを視聴するといった一方向の体験だけでなく、さらにアーティストとの交流等といった、リアルタイムで、且つ、インタラクティブな、より付加価値の高い体験を強く求めるようになってきている。
【0016】
そこで、このような状況を鑑みて、本発明者らは、より付加価値の高い体験を視聴者に提供することができないものかと鋭意検討を進め、振動等の触覚刺激を被装着者に提示する触覚提示デバイス(ハプティクス・デバイス)を利用することを着想した。本発明者らは、このような触覚提示デバイスを利用することにより、視聴者はより付加価値の高い体験を得ることができると考えたのである。
【0017】
このような着想に基づいて創作された本開示の実施形態においては、
図1に示すように、パフォーマンスやコンテンツを視聴させる又は配信するアーティスト602に、例えばベスト型の触覚提示デバイス100を装着してもらう。当該触覚提示デバイス100は、内部に複数の触覚刺激部(例えば、アクチュエータ等)を有する。また、当該触覚刺激部は、所定の信号を受信すると触覚刺激を被装着者に提示することができる。そして、
図2に示すように、視聴者600は、ユーザ端末300の表示部302に表示された複数の触覚刺激効果付きスタンプ700から1つの触覚刺激効果付きスタンプ700を選択し、選択した触覚刺激効果付きスタンプ700の送信を行うと、上記触覚刺激部に、当該スタンプ700に付与された触覚刺激に対応する所定の触覚制御信号が送信される(いわゆる、触覚刺激効果付き「投げ銭」を行うこととなる)。さらに、当該触覚刺激部は、受信した所定の触覚制御信号に基づき、選択された触覚刺激効果付きスタンプ700に対応する触覚刺激を被装着者に提示することとなる。そこで、アーティスト602は、提示された触覚刺激を知覚し、アクションを起こすこととなれば、視聴者600は、自身が送信したスタンプ700によって提示された触覚刺激により誘起されたアクションをリアルタイムで確認することができる。そして、自身が送信したスタンプ700に係る触覚刺激により誘起されたアクションをリアルタイムで確認することができれば、視聴者600は、アーティスト602と直接的にやり取りを行っているように感じることができ、すなわち、より付加価値の高い体験を得ることができる。
【0018】
このように、本発明者らが創作した本開示の実施形態においては、視聴者600から、イラスト、アニメーション、テキスト等視覚情報や、音楽等の聴覚情報だけでなく、触覚情報を、アーティスト602に送ることができる。従って、本開示の実施形態によれば、視聴者600に対して、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を提供することができ、視聴者600の、パフォーマンスやコンテンツに対する満足感がより高まったり、このような「コト」に対する購買意欲が増したりすることとなる。以下に、本発明者らが創作した本開示の実施形態の詳細を順次説明する。
【0019】
<<2. 第1の実施形態>>
<2.1 情報処理システム10の概要>
まずは、
図3を参照して、本開示の第1の実施形態に係る情報処理システム10の概要を説明する。
図3は、本開示の第1の実施形態に係る情報処理システム10の概略的構成例を示したシステム図である。以下の説明においては、アーティスト(第2のユーザ)602と視聴者(第1のユーザ)600とは異なる空間又は同一空間に存在するものとする。すなわち、当該情報処理システム10においては、視聴者600は、例えば、直接的にアーティスト602の姿を視聴してもよく、配信されたアーティスト602の映像を視聴してもよい。
【0020】
詳細には、
図3に示すように、本実施形態に係る情報処理システム10は、例えば、触覚提示デバイス100と、モニタ110と、カメラ120と、サーバ(情報処理装置)200と、ユーザ端末(情報処理端末)300の一例としてのスマートフォン300a及びタブレット300bとを含むことができる。サーバ200と他の装置とは、例えば有線/無線LAN(Local Area Network)、又はWi-Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、5G(第5世代の移動体通信方式))等のような各種の通信ネットワークを介して互いに送受信することができる。なお、情報処理システム10に含まれる各装置の数は、
図3に図示された数に限定されるものではなく、さらに多くてもよい。また、情報処理システム10は、
図3において図示されない装置を含んでいてもよい。例えば、情報処理システム10は、汎用PC(Personal Computer)、ゲーム機、携帯電話、携帯型メディアプレーヤ、スピーカ、プロジェクタ、ディスプレイ(デジタルサイネージ等)、ヘッドフォン、スマートグラス、スマートウォッチ等のウェアラブルデバイス等を含むことができる。以下に、本実施形態に係る情報処理システム10に含まれる各装置の概略について説明する。
【0021】
(触覚提示デバイス100)
触覚提示デバイス100は、例えば身体に装着可能な装置により構成される。本実施形態では、例えば、アーティスト602に着用されるベスト型(袖なしの上着形状)を想定する。ベスト型の触覚提示デバイス100は、先に説明したように、内部に複数の触覚刺激部を有する。触覚刺激部は、例えば、触覚提示デバイス100の内部において、アーティスト602の正面側および背面側にそれぞれ所定の個数(例えば6個)ずつ配置され得る。一例として、正面側に配置されている個々の触覚刺激部と、背面側に配置されている個々の触覚刺激部は、向かい合う位置関係で配置される。
【0022】
なお、本実施形態においては、触覚提示デバイス100の形状は、ベスト型に限定されず、袖を有した上着形状であってもよい。この場合、アーティスト602の胸部及び腹部だけでなく、アーティスト602の両腕に対応する位置にも、触覚刺激部が1個以上配置されるようにしてもよい。また、本実施形態においては、触覚提示デバイス100は、上着形状に限定されず、ズボン、靴、ベルト、帽子、手袋、又はマスク等であってもよい。
【0023】
また、触覚提示デバイス100の肩部分には、左右にそれぞれ1つずつマイクロフォン(以下、マイクと称する)(図示省略)を配置してもよく、もしくは、左右の一方に1個のマイクを配置してもよく、もしくは、3個以上配置してもよい。さらに、マイクは、触覚提示デバイス100とは独立した他の装置として、アーティスト602の周囲に配置されていてもよい。さらに、触覚提示デバイス100には、触覚提示デバイス100の装着状態を検知するための装着状態検知センサ(例えば、ファスナ型のセンサ、圧力センサ等)(図示省略)、アーティスト602の動作や姿勢を検知するための慣性センサ(Inertial Measurement Unit:IMU)(図示省略)、アーティスト602の生体情報を検知するための生体情報センサ(例えば、心拍、脈拍、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、眼球運動、又は、瞳孔径等をセンシングするセンサ)(図示省略)等が内蔵されていてもよい。なお、触覚提示デバイス100の詳細構成については後述する。
【0024】
(モニタ110)
モニタ110は、例えば、後述するカメラ120で撮像されたアーティスト602の画像等をアーティスト602に向けて表示することができ、さらに、モニタ110は、アーティスト602の画像に、テキスト、アイコン又はアニメーション等を重畳表示することができる。例えば、モニタ110は、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置により実現される。また、本実施形態においては、モニタ110の表示部(図示省略)は、入力部(図示省略)と一体のユニットとして設けられていてもよく、この場合、当該入力部は、例えば上記表示部に重畳されたタッチパネルにより実現される。さらに、本実施形態においては、モニタ110に、アーティスト602に対して音声を出力するスピーカ(図示省略)が設けられていてもよい。
【0025】
(カメラ120)
カメラ120は、アーティスト602を1視点又は多視点から撮像する1つ又は複数の可視光カメラであり、撮像画像は、サーバ200を介して、視聴者600の有するユーザ端末300やモニタ110へ送信される。なお、当該カメラ120は、アーティスト602の周囲又は周囲に存在する実物体等を撮像してもよい。詳細には、カメラ120は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、当該レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系を有する。さらに、カメラ120は、上記レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等をそれぞれ有する。なお、当該固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。
【0026】
(サーバ200)
サーバ200は、視聴者600から入力された触覚刺激効果付きスタンプ(制御コマンド)700を受け付け、当該スタンプ700に従って触覚制御信号を生成し、生成した触覚制御信号を触覚提示デバイス100に送信することができる。各触覚刺激効果付きスタンプ700は、各所定の制御コマンドと紐づけられており、各制御コマンドには、振動刺激を提示する知覚位置を指定する情報(位置情報)、振動刺激の波形種類や強度等を指定する情報(形態情報)が含まれる。また、上記制御コマンドには、触覚提示デバイス100に設けられた触覚刺激部や上記形態情報を指定する識別情報(ID)を含むことができる。詳細には、サーバ200は、当該制御コマンドで、指定された知覚位置において、指定された強度で、指定された波形による振動刺激を提示するよう、触覚提示デバイス100に設けられた個々の触覚刺激部へ入力する触覚制御信号(波形データ)を生成し、触覚提示デバイス100へ送信する。なお、本明細書においては、「知覚位置」には、知覚位置の移動経路や、所定の広さを持った知覚範囲も含むものとする。
【0027】
さらに、本実施形態においては、サーバ200は、
図3に示すように、単一の装置によって実現されてもよく、複数の装置によって実現されてもよく、特に限定されるものではない。例えば、サーバ200は、触覚提示デバイス100のための専用サーバ(図示省略)と、コンテンツを配信する配信サーバ(図示省略)とで実現されてもよい。この場合、触覚提示デバイス100のための専用サーバは、Web API(Application Programming Interface)を介して認証を行い、視聴者600から送信された触覚刺激効果付きスタンプ700等を監視し、触覚提示デバイス100を制御する。一方、配信サーバは、アーティスト602等の画像等や触覚刺激効果付きスタンプ700を選択するための画像等をユーザ端末300へ配信する。さらに、サーバ200は、例えば、本情報処理システム10の利用に関して決済を行う決済サーバ(図示省略)が含まれていてもよい。なお、サーバ200の詳細構成については後述する。
【0028】
(ユーザ端末300)
ユーザ端末300は、視聴者600によって使用され、もしくは、視聴者600の近傍に設置され、視聴者600が上記触覚刺激効果付きスタンプ700等を入力するための端末である。そして、ユーザ端末300は、視聴者600から入力された触覚刺激効果付きスタンプ(制御コマンド)700を受け付け、受け付けた当該スタンプ700をサーバ200へ送信する。例えば、ユーザ端末300は、スマートフォン300a、タブレット型PC(Personal Computer)300b、携帯電話、ラップトップ型PC、HMD(Head Mounted Display)等のウェアラブルデバイスであることができる。なお、ユーザ端末300の詳細構成については後述する。
【0029】
<2.2 触覚提示デバイス100の詳細構成>
次に、
図4及び
図5を参照して、触覚提示デバイス100の詳細構成を説明する。
図4は、本実施形態に係る触覚提示デバイス100の外観構成例を示す図であり、
図5は、本実施形態に係る触覚提示デバイス100の機能構成例を示す図である。先に説明したように、触覚提示デバイス100は、アーティスト602の身体の一部に装着され、制御コマンドに従って振動等することにより、アーティスト602に触覚刺激を与える装置である。
【0030】
図4に示すように、例えばベスト型の触覚提示デバイス100は、先に説明したように、内部に複数の触覚刺激部106を有する。当該触覚刺激部106は、例えばアクチュエータから構成され、サーバ200によって生成される触覚制御信号により駆動して振動を発生させ、かかる振動を触覚刺激として提示する。アクチュエータとしては、例えば、偏心モータや、リニア・バイブレータ、圧電素子等を用いることができる。
【0031】
さらに、触覚提示デバイス100は、
図5に示すように、通信部102と、制御部104と、上述した触覚刺激部106とを有する。通信部102は、サーバ200と有線又は無線で接続され、サーバ200との間で情報の送受信を行う。制御部104は、コントローラであり、上述した通信部102を介して入力された触覚制御信号に基づいて触覚刺激部106を駆動させる。制御部104は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、触覚提示デバイス100の内部のROM(Read Only Memory)等に記憶されている各種プログラムがRAM(Random Access Memory)を作業領域として実行されることにより実現される。また、制御部104は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することもできる。
【0032】
以上、本実施形態に係る触覚提示デバイス100の詳細構成について具体的に説明したが、本実施形態に係る触覚提示デバイス100の詳細構成は
図4及び
図5に示す例に限定されるものではない。
【0033】
また、触覚提示デバイス100は、上述したようなウェアラブル型に限らず、アーティスト602が手に持つ機器、例えば、スマートフォン、ゲームコントローラ、携帯型音楽プレーヤ等に搭載されるオンハンド型として構成されてもよい。また、触覚提示デバイス100は、ウェアラブル型やオンハンド型に限らず、ベッドや椅子といった家具又は各種設備に搭載されるスレート/フロア型として構成されてもよい。
【0034】
<2.3 サーバ200の詳細構成>
次に、
図6を参照して、本開示の実施形態に係るサーバ200の詳細構成について説明する。
図6は、本実施形態に係るサーバ200の機能構成例を示す図である。
図6に示すように、サーバ200は、通信部202と、制御部210と、記憶部240とを主に有する。以下に、サーバ200の各機能ブロックについて順次説明する。
【0035】
(通信部202)
通信部202は、触覚提示デバイス100、モニタ110、カメラ120、及び、ユーザ端末(情報処理端末)300との間で情報の送受信を行うことができる。通信部202は、データの送受信を行う機能を有する通信インターフェースであって、通信アンテナ、送受信回路やポート等の通信デバイス(図示省略)により実現される。
【0036】
(制御部210)
制御部210は、コントローラであり、例えば、CPUやMPU等によって、サーバ200の内部のROM等に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。詳細には、
図6に示すように、制御部210は、GUI制御部212、視聴者側入力部(第1の取得部)214、配信者側入力部216、生成部218、判定部220、及び出力制御部(第1の配信部)222等を含むことができる。
【0037】
GUI(Graphical User Interface)制御部212は、視聴者600の有するユーザ端末300を制御して、触覚刺激効果付きスタンプ(制御コマンド)700を入力するための画面を表示する。詳細には、GUI制御部212は、触覚刺激効果付きスタンプ700選択するための画面として
図2に示すような画面を、ユーザ端末300の表示部302に表示させる。当該選択画面(スタンプ選択画面)には、多数の触覚刺激効果付きスタンプ700が表示されている。各触覚刺激効果付きスタンプ700は、触覚提示デバイス100に対する制御コマンドと紐づけられており、視聴者600は、当該選択画面に表示されたスタンプ700を選択することにより、制御コマンドを入力することができる。なお、本実施形態においては、触覚刺激効果付きスタンプ700のイメージは、視聴者600がアーティスト602に送信したい触覚刺激や想い(メッセージ)等を直感的に想起させるものであることが好ましい。
【0038】
視聴者側入力部214は、視聴者600から入力された触覚刺激効果付きスタンプ700に紐づけられた、触覚提示デバイス100によって触覚刺激を提示する提示位置を指定する位置情報と当該触覚刺激の形態を指定する形態情報とを含む制御コマンドを取得し、後述する生成部218に出力する。
【0039】
配信者側入力部216は、例えば、触覚提示デバイス100の装着状態を検知するための装着状態検知センサ(図示省略)で取得したセンシングデータ等を取得し、後述する生成部218に出力する。
【0040】
生成部218は、視聴者600から入力された触覚刺激効果付きスタンプ700に紐づけられた制御コマンドに基づいて、触覚提示デバイス100を制御するための触覚制御信号を生成し、後述する判定部220へ出力する。具体的には、生成部218は、振動刺激の知覚位置(位置情報)、振動刺激の波形種類、及び、振動刺激の強度情報(形態情報)等が含まれる制御コマンドに基づいて、制御コマンドで、指定された知覚位置において、指定された強度で、指定された波形による振動刺激を提示するよう、触覚提示デバイス100に設けられた個々の触覚刺激部へ入力するための波形データを生成する。なお、触覚制御信号には、上記制御コマンドに基づく、触覚刺激の提示タイミング、周波数、間隔、及び、提示時間で振動刺激を提示するよう指示する情報が含まれていてもよい。さらに、生成部218は、制御コマンドで指定されている振動刺激の周波数や強度が広い帯域(例えば50~500Hz)を持つものであれば、触覚提示デバイス100の機能に応じて狭帯域(例えば100Hz)に圧縮して、波形データを生成してもよい。
【0041】
さらに、生成部218は、アーティスト602の触覚提示デバイス100の装着状況に応じて、触覚制御信号を調整してもよい。例えば、生成部218は、触覚提示デバイス100とアーティスト602の身体との接触率に応じて、触覚制御信号を調整する。より具体的には、生成部218は、接触率が低い位置にある触覚刺激部106については触覚振動を提示しないように調整する。また、生成部218は、アーティスト602の属性情報(例えば、年齢、性別、身長、体重、体格等)や生体情報に応じて、触覚制御信号を調整してもよい。例えば、生成部218は、アーティスト602の年齢に応じて、知覚位置や強度等を調整してもよい。より具体的には、アーティスト602が6歳である場合には、生成部218は、提示する触覚刺激の強度をアーティスト602が成人である場合の強度の半分になるように調整してもよい。
【0042】
さらに、生成部218は、触覚制御信号とともに、所定の画像又は所定の音声を視聴者600又はアーティスト602に提示するための提示制御信号(一例としては、非装着時制御信号等)を生成してもよい。例えば、所定の画像とは、アーティスト602の画像やアーティスト602の周囲の実空間の画像に重畳表示されたり、アーティスト602に投影されたりする、アイコン、アニメーション、テキスト等の仮想オブジェクトであることができ、より具体的には、視聴者600からアーティスト602まで投げ銭が移動する軌跡であったり、触覚刺激が提示されると同時に表示される爆弾が破裂したようなアニメーション、視聴者600から入力された触覚刺激効果付きスタンプ700に対応するアイコン等であったりする。また、所定の画像又は所定の音声は、例えば、触覚提示デバイス100がアーティスト602の身体に装着されていないことから、当該アーティスト602に触覚刺激を提示できない場合に、触覚刺激の代わりに視聴者600に出力される画像や音声であることができる。
【0043】
判定部220は、制御コマンドや触覚制御信号の内容、視聴者600又はアーティスト602の属性情報等に基づいて、触覚制御信号を触覚提示デバイス100へ送信するかどうかの可否を判定する。例えば、判定部220は、視聴者600から入力された制御コマンドによって、アーティスト602が予め制限している提示位置や強度が指定されていた場合には、当該制御コマンドに基づいて生成した触覚制御信号を触覚提示デバイス100へ送信しないと判定する。また、判定部220は、異なる視聴者600から連続して同一の提示位置が指定された場合や、同一の視聴者600から連続的な制御コマンドの入力等があった場合には、生成した触覚制御信号を触覚提示デバイス100へ送信しないと判定してもよい。さらに、このような場合、生成部218は、触覚刺激の提示位置の変更を行ってもよい。
【0044】
出力制御部222は、生成した触覚制御信号を、通信部202を介して、アーティスト602の身体に装着された触覚提示デバイス100へ送信する。
【0045】
(記憶部240)
記憶部240は、制御部210の処理に用いられるプログラムや演算パラメータ等を記憶するROM、適宜変化するパラメータ等を一時記憶するRAM、及び、各種データベース(DB)を格納するHDD(Hard Disk Drive)等の記憶装置から実現される。例えば、記憶部240は、
図6に示すように、視聴者プロファイル242、配信者プロファイル244及び配信データDB246を含むことができる。視聴者プロファイル242及び配信者プロファイル244は、それぞれ視聴者600及びアーティスト602の属性情報を格納する。さらに、視聴者プロファイル242は、視聴者600が過去に取得した制御コマンドや使用した制御コマンドの情報を、当該視聴者600の識別情報に紐づけて格納してもよく、配信者プロファイル244は、アーティスト602が過去に送信された制御コマンドの情報を、当該アーティスト602の識別情報に紐づけて格納してもよい。また、配信データDB246は、各スタンプ700の識別情報に紐づけられて、予め生成された触覚データライブラリ(振動波形パターン等)が格納されており、これを利用して、上述した生成部218は触覚制御信号を生成する。さらに、配信データDB246は、例えば、触覚提示デバイス100の触覚刺激部106の個数、その位置、周波数特性、最大入力電圧等といった情報が、触覚提示デバイス100のプロファイル情報として格納されてもよい。生成部218は、このようなプロファイル情報を参照して、触覚制御信号を調整することができる。
【0046】
以上、本実施形態に係るサーバ200の詳細構成について具体的に説明したが、本実施形態に係るサーバ200の詳細構成は
図6に示す例に限定されるものではない。例えば、サーバ200は、視聴者プロファイル242や配信者プロファイル244を参照して、視聴者600又はアーティスト602によって高い頻度で利用されている制御コマンドや、逆に低い頻度で利用されている制御コマンドを選択し、視聴者600に向けて、選択した制御コマンドに紐づけられた触覚刺激効果付きスタンプ700を推奨する推奨部(図示省略)をさらに有していてもよい。また、当該推奨部は、アーティスト602が推奨する触覚刺激効果付きスタンプ700を、視聴者600に対して推奨してもよい。
【0047】
<2.4 ユーザ端末300の詳細構成>
次に、
図7を参照して、本開示の実施形態に係るユーザ端末300の詳細構成について説明する。
図7は、本実施形態に係るユーザ端末300の機能構成例を示す図である。
図7に示すように、ユーザ端末300は、表示部302と、操作入力部304と、スピーカ306と、通信部(送信部)(価格取得部)308と、制御部310と、記憶部312と、センサ部320とを主に有する。以下に、ユーザ端末300の各機能ブロックについて順次説明する。
【0048】
(表示部302)
表示部302は、例えば、触覚刺激効果付きスタンプ(制御コマンド)700を選択するための選択画面や、アーティスト602の画像等を視聴者600に向けて表示することができる。さらに、表示部302は、アーティスト602の画像に、テキスト、アイコン又はアニメーション等を重畳表示することができる。表示部302は、液晶ディスプレイ装置、OLED装置等により実現される。
【0049】
(操作入力部304)
操作入力部304は、視聴者600によって、触覚刺激を提示する提示位置を指定する位置情報と前記触覚刺激の形態を指定する形態情報とを含む制御コマンドに紐づけられた、触覚刺激効果付きスタンプ700の選択結果が入力される。もしくは、操作入力部304は、直接制御コマンドが入力されてもよい。例えば、操作入力部304は、スイッチ、ボタン、タッチパネル、又は、レバー等により実現される。また、操作入力部304により入力された操作の内容は、上述した表示部302によって表示されてもよい。また、当該操作入力部304は、上述した表示部302に重畳するように設けられ、表示部304によって表示された提示位置を指定するための位置選択画面に対する、視聴者600からの入力操作の情報(例えば、位置情報)を受け付けることができる。
【0050】
(スピーカ306)
スピーカ306は、後述する制御部310の制御に従って、音声信号等を再生する。なお、スピーカ306は、ユーザ端末300に設けられていてもよく、もしくは、1対のイヤホンスピーカ(図示省略)等といった、ユーザ端末300と別体の装置であってもよい。
【0051】
(通信部308)
通信部308は、サーバ200との間で情報の送受信を行うことができ、詳細には、視聴者600に入力された触覚刺激効果付きスタンプ(制御コマンド)700の情報を、サーバ200へ送信することができる。また、通信部308は、サーバ200から送信された情報(例えば、触覚刺激効果付きスタンプ(制御コマンド)700の価格等の情報)を受信することができる。例えば、通信部308は、データの送受信を行う機能を有する通信インターフェースであって、通信アンテナ、送受信回路やポート等の通信デバイス(図示省略)により実現される。
【0052】
(制御部310)
制御部310は、ユーザ端末300のコントローラであり、例えば、CPUやMPU等によって、ユーザ端末300の内部のROM等に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。
【0053】
(記憶部312)
記憶部312は、上述した制御部310の処理に用いられるプログラムや演算パラメータ等を記憶するROM、及び、適宜変化するパラメータ等を一時記憶するRAM等の記憶装置から実現される。
【0054】
(センサ部320)
センサ部320は、視聴者600からの操作(ユーザ端末に与えられる振動等)に関するセンシングデータを取得することができる。例えば、センサ部320は、
図7に示されるように、カメラ322、マイク324、ジャイロセンサ326、及び加速度センサ328を主に含む。なお、上述したセンサは一例であり、本実施形態はこれに限定されるものではない。
【0055】
カメラ322は、例えば、視聴者600の動作等を撮像し、撮像画像を上述した制御部310に出力する。そして、当該制御部310は、カメラ322によって撮像された画像から視聴者600による所定の動作を抽出し、抽出した動作に係る制御コマンドを取得することができる。詳細には、カメラ322は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、当該レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系を有する。さらに、カメラ322は、上記レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等をそれぞれ有する。なお、当該固体撮像素子アレイは、例えばCCDセンサアレイや、CMOSセンサアレイにより実現されてもよい。また、カメラ322は、ToF(Time of Flight)センサ(図示省略)を含んでもよい。ToFセンサは、例えば、被写体に所定の周期を持つ照射光を照射し、当該被写体で反射された反射光を検出し、照射光と反射光との位相差や時間差を検出することで、被写体の深度(depth)情報を取得することができる。ここで被写体の深度情報とは、上記ToFセンサから被写体表面上の各点までの距離の情報の1つである深度の情報である。そして、被写体表面の複数の点の深度情報を集約することにより、被写体表面の凹凸形状に関する形状情報、すなわち、被写体の外形情報を得ることができる。
【0056】
マイク324は、視聴者600の音声を集音し、集音した音声情報を上述した制御部310に出力する。そして、当該制御部310は、マイク324によって集音した音声から視聴者600による所定の音声パターンを抽出し、抽出した音声パターンに係る制御コマンドを取得することができる。
【0057】
ジャイロセンサ326は、例えば、3軸ジャイロセンサにより実現され、視聴者600によるユーザ端末300の動きの角速度(回転速度)を検知する。また、加速度センサ328は、例えば、3軸加速度センサ(Gセンサとも呼ばれる)により実現され、視聴者600によるユーザ端末300の動きの加速度を検知する。本実施形態においては、これらのセンサによるセンシングデータにより、視聴者600がユーザ端末300に対して行った動作を認識することができ、さらに認識した動作に係る制御コマンドを取得することができる。
【0058】
以上、本実施形態に係るユーザ端末300の詳細構成について具体的に説明したが、本実施形態に係るユーザ端末300の詳細構成は、
図7に示す例に限定されるものではなく、例えば、振動することにより、視聴者600に通知を行う振動デバイス(図示省略)をさらに有していてもよい。
【0059】
<2.5 情報処理方法>
以上、本実施形態に係る情報処理システム10の各装置について詳細に説明した。次に、本実施形態に係る情報処理方法に一例について、
図8から
図12を参照して説明する。
図8は、本実施形態に係る情報処理方法の一例のフローチャート図である。また、
図9から
図12は、本実施形態に係る表示例を説明するための説明図である。
図8に示すように、本実施形態に係る情報処理方法の一例には、ステップS101からステップS106までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。
【0060】
まずは、視聴者600は、ユーザ端末300の表示部302に表示された触覚刺激効果付きスタンプ700から1つの触覚刺激効果付きスタンプ700を選択し、選択したスタンプ700をサーバ200へ送信する。なお、本実施形態においては、送信する前に、例えば視聴者600が表示されたスタンプ700をタップすることにより、スタンプ700に紐づけられた制御コマンドに対応する触覚刺激を再現するようにしてもよく、この場合、例えば、ユーザ端末300は、当該触覚刺激に対応するように振動する。
【0061】
そして、サーバ200は、ユーザ端末300から送信された、視聴者600が選択した、制御コマンドと紐づけられた触覚刺激効果付きスタンプ700の情報を取得する(ステップS101)。
【0062】
次に、サーバ200は、配信データDB246等を参照して、取得したスタンプ700に紐づけられた制御コマンドに含まれる、触覚刺激を提示する提示位置を指定する位置情報を取得する(ステップS102)。
【0063】
さらに、サーバ200は、配信データDB246等を参照して、取得したスタンプ700に紐づけられた制御コマンドに含まれる、触覚刺激の形態を指定する形態情報を取得する(ステップS103)。
【0064】
そして、サーバ200は、上述のステップS102及びステップS103で取得した位置情報及び形態情報に基づき、触覚提示デバイス100を制御するための触覚制御信号として波形データを生成する(ステップS104)。
【0065】
次に、サーバ200は、例えば、アーティスト602の属性情報等に基づいて、生成した触覚制御信号を触覚提示デバイス100へ送信するかどうかの可否を判定する(NG判定)(ステップS105)。
【0066】
そして、サーバ200は、上述したステップS105で触覚制御信号を触覚提示デバイス100へ送信すると判定した場合には、生成した触覚制御信号をアーティスト602の身体に装着された触覚提示デバイス100へ送信し(ステップS106)、処理を終了する。一方、サーバ200は、上述したステップS105で触覚制御信号を触覚提示デバイス100へ送信しないと判定した場合には、送信しない旨を、ユーザ端末300を介して視聴者600に通知してもよい。
【0067】
そして、アーティスト602は、触覚提示デバイス100を介して提示された触覚刺激を知覚し、アクションを起こすこととなる。視聴者600は、自身が送信したスタンプ700によって提示された触覚刺激により誘起された、アーティスト602のアクションをリアルタイムで確認することができる。そして、自身が送信したスタンプ700に係る触覚刺激により誘起されたアクションをリアルタイムで確認することができれば、視聴者600は、アーティスト602と直接的に触れ合っているように感じることができ、アーティスト602との一体感を得ることができる。
【0068】
なお、本実施形態においては、アーティスト602の身体に装着された触覚提示デバイス100によって触覚刺激が提示されるだけでなく、例えば、
図9に示すように、ユーザ端末300の表示部302において、アーティスト602の画像等に表示800等を重畳表示してもよい。この際、表示800は、触覚刺激が提示される位置に、重畳表示されることが好ましい。また、本実施形態においては、視聴者600によって選択された触覚刺激効果付きスタンプ700のデザインに応じたデザインを持つ表示800であってもよい。例えば、スタンプ700がハートを打ち抜くようなデザインであれば、表示800もハートを打ち抜くようなデザインであることができる。さらに、本実施形態においては、触覚刺激が提示される際に、ユーザ端末300の表示部302において、表示された画像が当該触覚刺激に合わせて上下左右に揺れたりしてもよい。さらに、本実施形態においては、アーティスト602の身体に装着された触覚提示デバイス100によって触覚刺激が提示される際に、該当する触覚刺激を送信した視聴者600のユーザ端末300を振動させてもよく、もしくは、アーティスト602や上記視聴者600の周囲に存在する他の視聴者600のユーザ端末300も併せて振動させてもよい。
【0069】
さらに、本実施形態においては、生成した触覚制御信号を触覚提示デバイス100へ送信する際、
図10に示すように、コイン等のアイコン(所定のアイコン)806と、当該アイコン806が視聴者600側からアーティスト602まで移動する軌跡808とを、ユーザ端末300の表示部302や、モニタ110の表示部(図示省略)等に表示してもよい。このような軌跡808を表示することにより、視聴者600は、自身が送信したスタンプ700がアーティスト602へ送信されていることを実感することができる。
【0070】
また、本実施形態においては、
図11に示すように、上記触覚刺激を知覚したアーティスト602によって、例えば、配信者端末(図示省略)を介して入力されたコメント810を、ユーザ端末300の表示部302等に表示してもよい。
【0071】
さらに、本実施形態においては、アーティスト602が触覚提示デバイス100を装着していない場合には、サーバ200は、触覚制御信号の送信を中止してもよく、さらに、この場合、アーティスト602の触覚提示デバイス100の装着を新たに検出した場合に、触覚制御信号の送信を行ってもよい。また、触覚制御信号の送信を中止した場合には、
図12に示すように、中止した旨の通知804を、例えばユーザ端末300の表示部302等に表示してもよく、もしくは、ユーザ端末300を振動させて通知してもよい。
【0072】
また、本実施形態においては、アーティスト602が触覚提示デバイス100を装着していない場合には、
図12に示すように、上述した被装着時制御信号によって、アーティスト602の代わりとなるアバター802に対して触覚刺激が提示されたことをイメージするようなアニメーションを、ユーザ端末300の表示部302等に表示してもよい。この際、触覚刺激が提示される位置に対応するアバター802上の位置に、表示800が重畳表示されることが好ましい。
【0073】
以上のように、本実施形態によれば、視聴者600が選択した触覚刺激効果付きスタンプ700に対応する触覚刺激をアーティスト602に提示することができる。そこで、本実施形態においては、アーティスト602は、提示された触覚刺激を知覚し、アクションを起こすこととなれば、視聴者600は、自身が送信したスタンプ700によって提示された触覚刺激により誘起されたアクションをリアルタイムで確認することができる。そして、本実施形態によれば、視聴者600は、自身が送信したスタンプ700に係る触覚刺激により誘起されたアクションをリアルタイムで確認することができれば、アーティスト602と直接的にやり取りを行っているように感じることができ、すなわち、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。
【0074】
<2.6 変形例>
また、本実施形態においては、視聴者600の身体に触覚提示デバイス100が装着されていた場合には、アーティスト602による「投げ返し」、すなわち、アーティスト602が選択した触覚刺激効果付きスタンプ700に対応する触覚刺激を視聴者600に提示してもよい。本変形例によれば、視聴者600が送信したスタンプ700によって提示された触覚刺激が起点となって、アーティスト602から触覚刺激が当該視聴者600に返された際には、視聴者600は、アーティスト602と直接的にコミュニケーションを行っているように感じることができる。
【0075】
本変形例においては、例えば、上述の第1の実施形態と同様に、アーティスト602が触覚刺激効果付きスタンプ700を選択し、送信を行うと、視聴者600の触覚提示デバイス100によって、触覚刺激が視聴者600にも提示される。詳細には、本変形例においては、サーバ200は、アーティスト602から入力された触覚刺激効果付きスタンプ700を取得し、取得したスタンプ700に紐づけられた制御コマンドに応じて、触覚制御信号を生成し、生成した触覚制御信号を視聴者600の身体に装着された触覚提示デバイス100に送信する。
【0076】
また、本変形例においては、アーティスト602による「投げ返し」の際、視聴者600の身体に触覚提示デバイス100が装着されていない場合には、触覚提示デバイス100の代わりにユーザ端末300を用いてもよい。
【0077】
本変形例においては、例えば、サーバ200は、アーティスト602から入力された触覚刺激効果付きスタンプ700に紐づけられた制御コマンドに応じて、ユーザ端末300に対して、音声出力、振動、又は点滅等と行わせるように制御する。詳細には、本変形例においては、この場合、サーバ200は、アーティスト602から入力された触覚刺激効果付きスタンプ700を取得し、取得したスタンプ700に紐づけられた制御コマンドと、ユーザ端末300の機能情報(属性情報)とに基づいて、ユーザ端末用制御信号を生成し、生成したユーザ端末用制御信号をユーザ端末300に送信する。
【0078】
<<3. 第2の実施形態>>
上述した第1の実施形態においては、視聴者600は、予め決められた制御コマンドと紐づけられたスタンプ700を選択することにより、制御コマンドの入力を行っていたが、本開示の実施形態はこのような形態に限定されるものではなく、例えば、視聴者600は、触覚刺激(制御コマンド)自体を自由に編集することもできる。このように、視聴者600により触覚刺激を自由に編集することができれば、例えば、視聴者600は、自身が編集した触覚刺激により誘起された、アーティスト602のアクションをリアルタイムで確認することができることから、アーティスト602と直接的に触れ合っているように感じることができる。そこで、
図13及び
図14を参照して、このような編集方法に係る実施形態を第2の実施形態として、以下に説明する。
図13及び
図14は、本開示の第2の実施形態に係る表示例を説明するための説明図である。
【0079】
まずは、視聴者600は、
図13に示すような、ユーザ端末300の表示部302に表示された位置選択画面に対して操作を行うことにより、触覚刺激を提示する知覚位置を指定する位置情報を入力することができる。詳細には、
図13に示すように、位置選択画面には、人体モデル表示812が示されており、さらに、当該人体モデル表示812上の触覚提示デバイス100の触覚刺激部106に該当する位置には複数の領域814が示されている。そこで、視聴者600は、選択したい知覚位置の領域814にマーカ816を合わせることにより、知覚位置を設定入力することができる。なお、本実施形態においては、ピンポイントで知覚位置を設定入力することに限定されるものではなく、例えば、人体モデル表示812をなぞって知覚位置の移動経路を設定入力してもよく、もしくは、所定の広さを持った知覚範囲を設定入力してもよい。そして、サーバ200の視聴者側入力部214は、位置選択画面に対して入力された位置情報を取得することとなる。
【0080】
なお、本実施形態においては、触覚刺激部106の設置個所や設置数が限定されていても、以下のような原理で、視聴者600が所望する知覚位置に触覚刺激を提示することができる。詳細には、ファントムセンセーションという錯覚現象が医学的に知られている。ファントムセンセーションは、皮膚上の異なる位置に対して同時に刺激が提示されると、人間は、提示された刺激位置の間において刺激を1つだけ知覚するような錯覚現象のことである。そこで、本実施形態においては、このようなファントムセンセーションを利用することにより、例えば、2個の触覚刺激部106に同時に触覚刺激を提示させると、知覚される触覚刺激の位置は、2個の触覚刺激部106の間の位置とすることができる。また、本実施形態においては、複数の触覚刺激部106の出力強度を変化させることにより、個々の触覚刺激部106の配置間隔を変えることなく、複数の触覚刺激部106により提示可能な触覚刺激の範囲を拡大することができる。
【0081】
また、本実施形態においては、
図13に示すような位置選択画面による設定入力に限定されるものではない。例えば、視聴者600の身体に触覚提示デバイス100と同様のベスト型のセンサ(第1のセンサ)が装着されており、当該センサにより視聴者600によるタッチ操作を検知することができる場合には、視聴者600は当該センサに対して操作を行うことにより、知覚位置の設定入力を行ってもよい。そして、サーバ200の視聴者側入力部214は、上記センサに対して入力された位置情報を取得することとなる。また、上記センサは、視聴者600の身体の装着されていることに限定されるものではなく、例えば、人形(図示省略)に装着されていてもよい。
【0082】
さらに、本実施形態においては、振動刺激の波形種類や、強度、提示タイミング、周波数、間隔、及び、提示時間等についても編集、設定できる。例えば、
図14に示すような、ユーザ端末300の表示部302に表示された編集画面(形態選択画面)に対して操作を行うことにより、触覚刺激の波形種類や、強度、提示タイミング、周波数、間隔、及び、提示時間等を編集することができる。詳細には、
図14に示すように、編集画面には、時間軸上に波形826が表示されており、当該波形826に対して操作を行うことにより、視聴者600は波形826を編集することができる。さらに、当該編集画面には、カーソル等が表示されており、視聴者600は、カーソル824を移動させることにより、触覚刺激の強度、周波数等を設定することができる(
図14は、例えば、触覚刺激効果付きスタンプ700を投げる速度(スピード)と、触覚刺激の周波数とを設定することができる編集画面を示している)。そして、サーバ200の視聴者側入力部214は、形態選択画面に対して入力された形態情報を取得することとなる。
【0083】
なお、本実施形態においては、視聴者600により編集できる数値範囲等は、アーティスト602の属性情報に基づいて予め設定されていてもよい。例えば、男性のアーティスト602に対しては、強度については広い数値範囲で設定可能とし、女性のアーティスト602に対しては、強度については狭い数値範囲で設定可能とする。
【0084】
さらに、身体上の位置によって知覚感度が異なり、加えて個人毎にも知覚感度が異なる。そこで、本実施形態においては、アーティスト602の身体上の位置ごとの知覚感度を示すデータ(例えば、感度係数)等を配信者プロファイル244として格納しておき、生成部218は、配信者プロファイル244の情報を参照し、視聴者600から設定された強度等を、アーティスト602に応じて適切に調整する。このようにすることで、視聴者600が編集した触覚刺激によりアーティスト602に対して不快感を生じさせることを、避けることができる。
【0085】
また、本実施形態においては、視聴者600は、所定の条件を満たした場合に触覚刺激を提示するように、制御コマンドを設定することもできる。例えば、制御コマンドに指定された、所定の時刻に到達した場合、所定のキーワードをアーティスト602が発話した場合(例えば、アーティスト602の発話は、触覚提示デバイス100に設けられたマイクで検知する。)、所定の動作をアーティスト602がした場合(例えば、アーティスト602の動作は、カメラ120で検知する。)等、所定の条件を満たした場合に、サーバ200は、当該制御コマンドに係る触覚制御信号を触覚提示デバイス100に配信するようにしてもよい。そして、上記所定の条件は、例えば、視聴者600によって設定することができる。さらに、本実施形態においては、視聴者600は、触覚刺激を提示する際に表示される仮想オブジェクトの形態、大きさ、表示速度、アニメーションの表示速度等も設定することができる。
【0086】
また、本実施形態においては、上述したような位置選択画面や編集画面等に対する操作によって、触覚刺激を編集、設定するだけでなく、例えば、ユーザ端末300に内蔵されている各種のセンサ(第2のセンサ)や他の装置を利用してもよい。
【0087】
本実施形態においては、例えば、視聴者600は、ユーザ端末300に対して、振動を与える等のタッチ操作、保持角度を変化させる等のモーション操作を行うことにより、触覚刺激の波形や強度変化等を編集してもよい。詳細には、本実施形態においては、ユーザ端末300に内蔵されたジャイロセンサ326や加速度センサ328によって当該モーション操作を検知し、検知したセンシングデータをサーバ200の視聴者側入力部214が取得する。さらに、サーバ200の生成部218は、取得したセンシングデータに基づいて、波形等を生成する。
【0088】
より具体的には、例えば、視聴者600は、所定のリズムを持ったモーションをユーザ端末300に内蔵されたジャイロセンサ326や加速度センサ328に検知させる。そして、サーバ200は、ジャイロセンサ326や加速度センサ328が検知したセンシングデータから抽出されたリズムに基づき、触覚刺激の周波数を設定する。また、例えば、視聴者600は、ユーザ端末300に対して所定のリズムを持った音声を発話し、当該発話をユーザ端末300に内蔵されたマイク(サウンドセンサ)324で検知させる。そして、サーバ200は、マイク324で検知したセンシングデータを利用して、触覚刺激の周波数を設定する。また、例えば、視聴者600は、自身のモーションをユーザ端末300に内蔵されたカメラ(撮像デバイス)322に撮像させる。そして、サーバ200は、カメラ322によって得られた撮像画像を解析して、所定の動きを抽出し、抽出した動きを利用することにより、触覚刺激の波形データを生成してもよい。
【0089】
また、本実施形態においては、ユーザ端末300に内蔵されたカメラ322によって、身体の一部を撮像し、サーバ200は、撮像画像に含まれる位置に応じて、知覚位置を設定してもよく、この場合、カメラ322に含まれるToFセンサ(図示省略)による外形情報に基づいて、身体上のどこであるかを特定してもよい。さらに、この際、当該撮像画像の画角に応じて、触覚刺激の強度を設定してもよい。例えば、画角が狭いと強度を高く設定し、画角が広いと強度を弱く設定する。さらに、上記カメラ322によって、例えば、視聴者600の身体の一部(例えば、腕)上を移動する視聴者600の手が撮影された場合には、知覚位置を腕に設定してもよい。
【0090】
また、本実施形態においては、設定用の端末は、ユーザ端末300に限定されるものではなく、MIDI(Musical Instrument Digital Interface)を有する電子楽器、ターンテーブル、ゲーム用インタフェース(スティック型等)等を用いることもできる。
【0091】
なお、サーバ200は、複数の視聴者600が、同時に編集、入力を行おうとしている場合には、順次、編集、入力を行わせるように制限をかけてもよく、もしくは、視聴者600が編集を着手した順や支払った金額の順に従って、順次編集入力を行わせるように制限をかけてもよい。また、サーバ200は、編集、入力する順番を待っている視聴者600に向けては、自身の順番になるまでの時間を通知するようにしてもよい(
図16 参照)。
【0092】
さらに、サーバ200は、配信者プロファイル244の情報を参照し、視聴者600が編集した触覚刺激が、アーティスト602が受取を拒否する触覚刺激であったり、それに近いものであったりすると判定(NG判定)した場合には、触覚制御信号の送信を中止してもよい。この場合、サーバ200は、該当する視聴者600や本情報処理システム10の運営者等に、視聴者600が編集した触覚刺激が、アーティスト602が受取を拒否する触覚刺激に該当する旨を通知したり、該当する視聴者600に返金したりすることができる。もしくは、このような場合、サーバ200は、視聴者600が編集した触覚刺激が、アーティスト602が受取を拒否する触覚刺激に該当しなくなるように、知覚位置や強度等を調整してもよい。
【0093】
また、本実施形態においては、自身で編集した触覚刺激を確認したい場合には、アーティスト602に装着された触覚提示デバイス100へ送信する前に、視聴者600自身で確認してもよい。
【0094】
例えば、視聴者600の身体に触覚提示デバイス100が装着されている場合には、サーバ200が、当該触覚提示デバイス100に対して、編集した触覚刺激に係る触覚制御信号と同一の触覚制御信号を送信することにより、自身に装着された触覚提示デバイス100を介して視聴者600は確認することが可能となる。また、視聴者600の身体に触覚提示デバイス100が装着されていない場合には、ユーザ端末300を用いて確認してもよい。この場合、サーバ200は、ユーザ端末300の機能情報(属性情報)に基づいて、編集した触覚刺激に係る触覚制御信号に対応する制御信号(ユーザ端末制御信号)を生成し、ユーザ端末300に送信する。そして、ユーザ端末300は、送信された制御信号に応じて、スピーカ(音声出力デバイス)306から音声を出力したり、表示部(点滅デバイス)302で光が点滅したり、振動デバイス(図示省略)が振動したりさせることができ、これによって、視聴者600は確認することが可能となる。
【0095】
さらに、本実施形態においては、視聴者600が編集した触覚刺激は、触覚刺激効果付きスタンプ700として、複数の視聴者600間で交換されてもよい。
【0096】
<<4. 第3の実施形態>>
ところで、本開示の第3の実施形態を説明するための説明図である
図15に示すように、複数の視聴者600から、一人のアーティスト602へ、同時に触覚刺激効果付きスタンプ700が送信される場合がある。このような場合、同時に投げられたスタンプ700に応じて複数の触覚刺激がアーティスト602に同時に提示されてしまった場合、当該アーティスト602は、複数の触覚刺激により不快感を生じることとなる。さらに、同時に触覚刺激が与えられた場合には、アーティスト602は個別に知覚することができず、それぞれの触覚刺激に対してアクションを行うことができない。その結果、視聴者600は、自身が送信したスタンプ700による触覚刺激を介して、アーティスト602と直接的にやり取りを行っているように感じることが難しくなる。
【0097】
そこで、本開示の第3の実施形態においては、上述したような不快感や、個別の触覚刺激を知覚できないような状況を避けるべく、複数の視聴者600から複数の触覚刺激効果付きスタンプ700が同時に送信された場合には、以下に説明するような処理を行う。
図16から
図20を参照して、本実施形態に係る処理について説明する。
図16は、本開示の第3の実施形態に係る表示例を説明するための説明図であり、
図17から
図20は、本開示の第3の実施形態を説明するための説明図である。
【0098】
例えば、本実施形態においては、
図17に示すように、サーバ200は、複数の視聴者600から複数の制御コマンド702(もしくは、スタンプ700)が送信された場合には、これら制御コマンド702を一時的にためておき、制御コマンド702の入力順(所定のルール)に順次処理を行って、触覚制御信号を生成し、触覚提示デバイス100に送信する。なお、本実施形態においては、サーバ200は、複数の視聴者600から複数の制御コマンド702が送信された場合には、複数の制御コマンド702の取得を一時的に中止し、制御コマンド702の入力順に順次取得してもよい。このような場合、
図16に示すように、サーバ200は、順番を待っている視聴者600に向けて、ユーザ端末300の表示部302を介して、自身の順番になるまでの時間を通知する表示818を表示してもよい。
【0099】
このように、本実施形態おいては、順次、アーティスト602に触覚刺激が提示されるようになることから、当該アーティスト602が不快感を得ることを避けることができ、また、個別に触覚刺激を知覚することができることから、それぞれの触覚刺激に対してアクションを行うことができる。
【0100】
また、本実施形態においては、
図18に示すように、サーバ200は、所定の時間内に複数の制御コマンド702(もしくは、スタンプ700)を取得した場合には、取得した制御コマンド702の数に応じて例えば触覚刺激の強度等を調整して、1つの触覚刺激としての触覚制御信号を生成し、触覚提示デバイス100に送信してもよい。例えば、サーバ200は、取得した同一の制御コマンド702(例えば、知覚位置及び波形種類等が同一)の数が多くなるほど、触覚刺激の強度を強くしていく。また、単に取得した制御コマンド702の数に応じて強度を強くするだけでなく、アーティスト602の負担等を考慮して、強度の上限を設けたり、強度を減算処理したりしてもよい。
【0101】
また、本実施形態においては、サーバ200は、取得した制御コマンド702の数に応じて、触覚刺激の波形を変化させてもよく、提示する時間を調整してもよく、知覚位置を調整してもよく、特に限定されるものではない。さらに、本実施形態においては、例えば、連続して取得した制御コマンド702で指定された知覚位置に基づいて、1つの知覚位置に調整して、1つの触覚刺激としての触覚制御信号を生成してもよい。より具体的には、サーバ200は、連続して取得した制御コマンド702において、知覚位置として、右肩及び左肩が指定されていた場合、生成した触覚制御信号においては、右肩と左肩の間にある首元を知覚位置として設定する。
【0102】
また、本実施形態においては、
図19に示すように、サーバ200は、制御コマンド702(もしくは、スタンプ700)の入力の際に視聴者600から支払われた金額に応じた順(所定のルール)で、処理を行ってもよい。例えば、サーバ200は、制御コマンド702の入力の際に支払われた金額が高い制御コマンド702を優先的に処理する。すなわち、視聴者600にとっては、アーティスト602との交流の優先順位を買うようなこととなることから、早くアーティスト602と交流したい視聴者600は、より多くの金額を支払うこととなる。言い換えると、このような処理の順番にすることにより、視聴者600に対して、より高い金額を支払う動機づけを行うことができる。
【0103】
また、本実施形態においては、
図20に示すように、サーバ200は、所定の時間内に複数の同一の制御コマンド702(もしくは、スタンプ700)を取得した場合には、取得した制御コマンド702の順番に応じて、例えば、触覚刺激の提示の強度を順次強くしてもよい。このようにすることで、複数の視聴者600間での連携、すなわち、交流を促し、より付加価値の高い体験を得ることができる。
【0104】
また、本実施形態においては、サーバ200は、複数の視聴者600の複数の制御コマンド702(もしくは、スタンプ700)の送信の同期性に応じて、触覚刺激を調整してもよい。より具体的には、サーバ200は、異なる複数の視聴者600から、同一内容の制御コマンド702が同期して送信された場合(いわゆる、複数の視聴者600による「ミッション」の実行)、同期性の程度に応じて、触覚刺激の強度を調整してもよい。さらに、本実施形態においては、サーバ200は、異なる複数の視聴者600から取得した同一内容の制御コマンド702の数が所定の数を超えた場合(所定の条件)にのみ、触覚制御信号を生成、送信を行ってもよい。もしくは、サーバ200は、異なる複数の視聴者600から取得した複数の制御コマンド702の種類が所定の種類である場合にのみ、触覚制御信号を生成、送信を行ってもよい。
【0105】
さらに、本実施形態においては、所定の時間内に複数の同一の知覚位置を指定する制御コマンド702(もしくは、スタンプ700)を連続的に取得した場合には、そのままアーティスト602に複数の触覚刺激として提示されてしまった場合、当該アーティスト602は複数の触覚刺激により、不快感を生じることとなる。そこで、本実施形態においては、サーバ200(詳細には、視聴者側入力部214)は、直前に提示された知覚位置に対して所定の距離だけ離れた知覚位置を指定する制御コマンド702のみを受け付け、処理するようにしてもよい。
【0106】
また、本実施形態においては、サーバ200は、例えば、複数の視聴者600から複数の制御コマンド702(もしくは、スタンプ700)が送信された場合には、基本的には、制御コマンド702の入力順に順次取得するが、次に取得する制御コマンド702の金額(制御コマンド702の入力の際に支払われた金額)が所定の金額以上あった場合には、前に取得した制御コマンド702の処理を途中で中止し、所定の金額以上であった次の制御コマンド702を優先的に処理してもよい。もしくは、本実施形態においては、サーバ200は、複数の視聴者600から複数の制御コマンド702(もしくは、スタンプ700)が送信された場合には、基本的には、制御コマンド702の入力順に順次取得するが、前の制御コマンド702の金額と次の制御コマンド702の金額を比較し、次の制御コマンド702の金額が前の制御コマンド702と同額又は低い場合には、前の制御コマンド702の処理を進めてもよい。
【0107】
さらに、本実施形態においては、サーバ200は、次の制御コマンド702の金額が前の制御コマンド702よりも高い場合には、前に取得した制御コマンド702の処理を途中で中止し、次の制御コマンド702を優先的に処理してもよい。加えて、本実施形態においては、サーバ200は、次の制御コマンド702の処理中に、次の制御コマンド702よりも高額な制御コマンド702(次々の制御コマンド702)が送信された場合には、次の制御コマンド702の処理を途中で中止し、次々の制御コマンド702を優先的に処理してもよい。
【0108】
<<5. 第4の実施形態>>
さらに、本開示の第4の実施形態においては、触覚提示デバイス100とアーティスト602の身体との接触率や、知覚位置、視聴者600又はアーティスト602の属性情報等に応じて、触覚刺激効果付きスタンプ700の価格を動的に決定してもよい。本実施形態においては、このような条件に応じてスタンプ700の価格を決定することにより、視聴者600が感じる体験の価値に応じてスタンプ700の価格が決定されることから、視聴者600に対して、スタンプ700の購入に係る納得感や満足感を生じさせることができる。
【0109】
<5.1 サーバ200aの詳細構成>
まずは、
図21を参照して、本実施形態に係るサーバ200aの詳細構成例について説明する。
図21は、本実施形態に係るサーバ200aの機能構成例を示す図である。
図21に示すように、サーバ200aは、上述した第1の実施形態と同様に、通信部202と、制御部210aと、記憶部240aとを主に有する。以下に、サーバ200aの各機能ブロックについて順次説明するが、通信部202は第1の実施形態と共通するため、ここではその説明を省略する。
【0110】
(制御部210a)
制御部210aは、コントローラであり、
図21に示すように、第1の実施形態と同様に、GUI制御部212、視聴者側入力部214、配信者側入力部216(
図21では図示省略)、生成部218、出力制御部(第1の配信部)222を含み、さらに、価格決定部224及び決済部226を含む。なお、GUI制御部212、視聴者側入力部214、配信者側入力部216、生成部218、及び出力制御部222は、第1の実施形態と共通するため、ここではこれらの説明を省略し、価格決定部224及び決済部226のみを説明する。
【0111】
~価格決定部224~
価格決定部224は、取得したスタンプ700に紐づけられた制御コマンド702に含まれる位置情報や形態情報、配信者側入力部216(
図21では図示省略)から取得した触覚提示デバイス100とアーティスト602の身体との接触率、もしくは、記憶部240aから取得した視聴者600又はアーティスト602の属性情報に基づいて、スタンプ700(もしくは、制御コマンド702の入力に対する)の価格を決定する。この際、価格決定部224は、後述する記憶部240aに格納された価格データDB248の情報を参照して、価格を決定してもよい。
【0112】
~決済部226~
決済部226は、例えば、通信部202を介してユーザ端末300から決済指示を受け取った場合には、価格決定部224によって決定した価格に基づき、スタンプ700(もしくは、制御コマンド702の入力に対する)の購入に関する決済を行う。
【0113】
(記憶部240a)
記憶部240aは、
図21に示すように、第1の実施形態と同様に、視聴者プロファイル242、配信者プロファイル244、及び、配信データDB246を含み、さらに、スタンプ700(もしくは、制御コマンド702の入力に対する)の価格を決定するために用いる情報を格納する価格DB248を含む。
【0114】
以上、本実施形態に係るサーバ200aの詳細構成例について具体的に説明したが、本実施形態に係るサーバ200aの詳細構成は
図21に示す例に限定されるものではなく、例えば、サーバ200aは、第1の実施形態と同様に、判定部220をさらに含んでいてもよい。
【0115】
<5.2 情報処理方法>
以上、本実施形態に係るサーバ200aについて説明した。次に、本実施形態に係る情報処理方法の一例について、
図22を参照して説明する。
図22は、本実施形態に係る情報処理方法の一例のフローチャート図である。
図22に示すように、本実施形態に係る情報処理方法には、ステップS201からステップS208までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
【0116】
まずは、視聴者600は、ユーザ端末300の表示部302に表示された触覚刺激効果付きスタンプ700から1つの触覚刺激効果付きスタンプ700を選択し、選択したスタンプ700をサーバ200aへ送信する。そして、サーバ200aは、第1の実施形態のステップS101と同様に、ユーザ端末300から送信された、視聴者600が選択した、制御コマンド702と紐づけられた触覚刺激効果付きスタンプ700の情報を取得する(ステップS201)。
【0117】
次に、サーバ200aは、価格データDB248の情報を参照して、取得した制御コマンド702に含まれる位置情報や形態情報、触覚提示デバイス100とアーティスト602の身体との接触率、もしくは、視聴者600又はアーティスト602の属性情報に応じて、スタンプ700の価格を決定する(ステップS202)。なお、価格の決定の詳細については、実施例として後述する。
【0118】
そして、サーバ200aは、ユーザ端末300から決済指示を受け取った場合には、上述のステップS202で決定した価格に基づき、スタンプ700の購入に関する決済を行う(ステップS203)。この際、サーバ200aは、決済処理の可否についての通知を視聴者600に行うことが好ましい。
【0119】
次に、サーバ200aは、ステップS204からステップS208の処理を行うこととなるが、
図8に示す、第1の実施形態におけるステップS102からステップS106と同様であるため、ここでは説明を省略する。なお、本実施形態においては、
図22のステップS207(NG判定)を行い、生成した触覚制御信号を触覚提示デバイス100へ送信すると判定された場合にのみ、ステップS203の決済処理を行うようにしてもよく、すなわち、
図22に示す順序で各ステップが行われていなくてもよい。
【0120】
<5.3 実施例>
以上、本実施形態について説明した。次に、
図23から
図25を参照して、具体的な実施例を示しながら、本実施形態の例をより具体的に説明する。
図23から
図25は、本実施形態の実施例に係る表示例を説明するための説明図である。なお、以下に示す実施例は、本実施形態のあくまでも一例であって、本実施形態が下記の実施例に限定されるものではない。
【0121】
(実施例1)
ところで、アーティスト602の体型によっては、触覚提示デバイス100の触覚刺激部106とアーティスト602の身体との接触が悪く、触覚刺激が視聴者600の意図したように提示されない場合がある。そして、意図したように提示される触覚刺激と、意図したように提示されない触覚刺激とを一律の価格に設定した場合、視聴者600に不公平感を与えることが考えられる。そこで、本実施例においては、このような不公平感を与えることを避けるべく、意図したように提示される触覚刺激と、意図したように提示されない触覚刺激とを、異なる価格に設定する。詳細には、本実施例においては、サーバ200aは、触覚提示デバイス100に設けられた装着状態を検知するための装着状態検知センサ(例えば、ファスナ型のセンサ、圧力センサ等)(図示省略)のセンシングデータに基づき、スタンプ700(もしくは、制御コマンド702の入力に対する)の価格を決定する。例えば、サーバ200aは、選択されたスタンプ700に紐づけられた制御コマンド702に、アーティスト602の身体との接触率の高い触覚刺激部106を用いる指示が含まれている場合には、当該スタンプ700の価格を高く設定する。一方、サーバ200aは、上記制御コマンド702に、アーティスト602の身体との接触率の低い触覚刺激部106を用いる指示が含まれている場合には、当該スタンプ700の価格を低く設定する。なお、本実施例においては、装着状態検知センサのセンシングデータは、例えば、アーティスト602が触覚提示デバイス100を装着したことを検知したことをトリガーにして、サーバ200aに取り込まれることができるものとする。
【0122】
(実施例2)
本実施例では、サーバ200aは、アーティスト602ごとに、触覚刺激の知覚感度が高い知覚位置と、触覚刺激の知覚感度が低い知覚位置とがあることから、サーバ200aは、知覚位置ごとの知覚感度の違いにより、各知覚位置に提示される触覚刺激に係るスタンプ700の価格を決定する。例えば、サーバ200aは、選択されたスタンプ700に紐づけられた制御コマンド702に、知覚感度の高い知覚位置にある触覚刺激部106を用いる指示が含まれている場合には、当該スタンプ700の価格を高く設定する。一方、サーバ200aは、上記制御コマンド702に、知覚感度の低い知覚位置にある触覚刺激部106を用いる指示が含まれている場合には、当該スタンプ700の価格を低く設定する。そこで、本実施例においては、サーバ200aは、アーティスト602の知覚位置ごとの知覚感度を示す指数等を配信者プロファイル244として格納しておき、格納された指数に基づいて、スタンプ700(もしくは、制御コマンド702の入力に対する)の価格を決定する。また、本実施例においては、知覚感度に応じて価格を決定することに限定されるものではなく、例えば、スタンプ700や触覚刺激(波形、知覚位置等)に対する視聴者600やアーティスト602からの人気(選択される頻度等から推定できる)に応じて、価格を決定してもよく、特に限定されるものではない。
【0123】
(実施例3)
本実施例では、サーバ200aは、視聴者600の属性情報(例えば、購入実績、会員ランク、会員コース等)に応じて、スタンプ700(もしくは、制御コマンド702の入力に対する)の価格を決定する。例えば、本実施例においては、サーバ200aは、これまで視聴者600がスタンプ700の購入の際に支払った金額を、当該視聴者600の識別情報に紐づけて、視聴者プロファイル242として格納し、格納された金額の総計に基づいて、当該視聴者600が新たに購入するスタンプ700(もしくは、制御コマンド702の入力に対する)の価格を決定する。本実施例においては、サーバ200aは、例えば、当該視聴者600がこれまで支払った金額が多いほど、スタンプ700の購入価格を低く設定してもよく、逆に、スタンプ700の購入価格を高く設定してもよい。また、本実施例においては、これまでの購入金額に応じて価格を決定することに限定されるものではなく、例えば、これまでの購入金額に応じて設定される会員ランクや、スタンプの購入前に視聴者600が加入する会員コース(例えば、おためしコース、新規入会コース、上級コース等)に応じて、価格を決定してもよく、特に限定されるものではない。この際、サーバ200aは、ユーザ端末300の表示部302に、スタンプ700の選択画面として、
図23に示されるような画面を表示させてもよい。当該画面には、例えば、スタンプ700の価格をともに、視聴者600の会員ランクや、購入実績に応じて視聴者600に与えられる購入ポイントが表示されている。
【0124】
また、本実施例においては、価格だけでなく、視聴者600の属性情報(例えば、購入実績、会員ランク、会員コース等)に応じて、視聴者600が選択できる触覚刺激の波形種類、強度、知覚位置等の範囲が決定されてもよい。例えば、サーバ200aは、当該視聴者600がこれまで支払った金額が多いほど、選択可能な触覚刺激の上限が大きくなるように設定する。さらに、本実施例においては、サーバ200aは、選択可能な範囲だけでなく、視聴者600の属性情報に応じて、スタンプ700を送信できる順番が優先されるように設定してもよい。例えば、サーバ200aは、当該視聴者600がこれまで支払った金額が多いほど、スタンプ700を送信できる順番が優先される。この際、サーバ200aは、ユーザ端末300の表示部302に、スタンプ700の選択画面として、
図24に示されるような画面を表示させてもよい。当該画面には、例えば、位置や順番をアップグレードするボタンが表示され、例えば、視聴者600が、位置をアップグレードするボタンに対して操作を行った場合には、
図25に示されるような位置選択画面に遷移する。そして、当該位置選択画面においては、人体モデル表示812が示されており、当該人体モデル表示812上には、当該視聴者600が選択可能な触覚刺激部106に該当する領域814が示され、併せてその価格が表示されている。そこで、視聴者600は、価格を確認しながら、領域814に対して操作を行うことにより、所望の触覚位置を選択することができる。以上にように、上述した本実施例においては、例えば、多くスタンプ700を購入した、又は、多額に支払った視聴者600を優遇するような仕組みを提供することができることから、スタンプ700の購入意欲をより増進することができる。
【0125】
<<6. 第5の実施形態>>
また、本実施形態においては、触覚刺激効果付きスタンプ700を複数の視聴者600間で交換したり、収集したりできるようにすることにより、スタンプ700の購入意欲をより増進することができる。
【0126】
詳細には、本実施形態においては、例えば、アーティスト602のパフォーマンス映像の配信中に、自動的に、触覚刺激効果付きスタンプ700の選択画面やスタンプ700自体を視聴者600の有するユーザ端末300に自動的に配信する。そして、視聴者600に対して、配信中に、当該スタンプ700を当該アーティスト602に送信することを促すようにする。また、場所や日時を限定して(例えば、ライブ会場で、当該アーティストがパフォーマンス中の日時に限定する等)、通常では配信等しないような希少価値のある触覚刺激効果付きスタンプ700(いわゆる、「レアスタンプ」)を視聴者600に配信してもよい。このようにすることで、視聴者600は、希少価値の高いスタンプ700が欲しいために、例えば、ライブ会場に足を運ぶようになることから、ライブ会場の集客力を向上させることができる。なお、上記レアスタンプは、配信中であれば、視聴者600は、通信接続することにより自動的に取得できてもよく、もしくは、購入手続き等の処理を行うことで取得できてもよく、特に限定されるものではない。
【0127】
さらに、このようなスタンプ選択画面を介して取得した触覚刺激効果付きスタンプ700を複数の視聴者600間でSNS(Social Networking Service)を通じて交換したり、集めたスタンプ700の数や種類をランキングとして公開したりしてもよい。例えば、本実施形態においては、サーバ200は、これまで視聴者600が取得したスタンプ700の情報を、当該視聴者600の識別情報に紐づけて、視聴者プロファイル242として格納する。また、本実施形態においては、サーバ200は、所定の種類の触覚刺激効果付きスタンプ700を収集できた場合(所定の条件を満たした場合)には、新たな触覚刺激効果付きスタンプ700(例えば、「レアスタンプ」)を当該視聴者600に付与してもよい。このようにすることで、視聴者600は、希少価値の高いスタンプ700が欲しいために、所定の種類のスタンプを収集、購入するようになることから、スタンプ700の購入意欲をより増進することができる。
【0128】
<<7. 第6の実施形態>>
また、本実施形態においては、ゲーム性を持たせることにより、触覚刺激効果付き
スタンプ700の購入意欲をより増進することができる。
【0129】
<7.1 サーバ200bの詳細構成>
まずは、
図26を参照して、本実施形態に係るサーバ200bの詳細構成について説明する。
図26は、本実施形態に係るサーバ200bの機能構成例を示す図である。
図26に示すように、サーバ200bは、上述した第1及び第4の実施形態と同様に、通信部202と、制御部210bと、記憶部240aとを主に有する。以下に、サーバ200bの各機能ブロックについて順次説明するが、通信部202及び記憶部240aは第1及び第4の実施形態と共通するため、ここでは説明を省略する。
【0130】
(制御部210b)
制御部210bは、コントローラであり、
図26に示すように、第1の実施形態と同様に、GUI制御部212、視聴者側入力部214、配信者側入力部216、生成部218、及び出力制御部(第1の配信部)222を含み、さらに、ポイント付与部228を含む。なお、GUI制御部212、視聴者側入力部214、配信者側入力部216、生成部218、及び出力制御部222は、第1の実施形態と共通するため説明を省略し、以下では、ポイント付与部228のみを説明する。
【0131】
~ポイント付与部228~
ポイント付与部228は、触覚刺激を知覚したアーティスト602から入力された、当該触覚刺激に対する評価を、配信者側入力部216を介して取得し、取得した評価に応じて、当該視聴者600にポイントを付与する。なお、付与したポイントは、当該視聴者600の識別情報に紐づけて、記憶部240aの視聴者プロファイル242に格納される。
【0132】
<7.2 実施形態>
以上、本実施形態に係るサーバ200bについて説明した。次に、本実施形態について、
図27及び
図28を参照して説明する。
図27及び
図28は、本実施形態に係る表示例を説明するための説明図である。
【0133】
ここでは、例えば、一人のアーティスト602に対して、二人の視聴者600が触覚刺激効果付きスタンプ700を投げあい(送信しあい)、その評価を競い合うゲームを想定する。まずは、アーティスト602は、投げられたスタンプ700による触覚刺激に対して評価を行い、サーバ200bは、当該評価に応じて、各視聴者600に対してポイントを付与する。さらに、サーバ200bは、付与したポイントの数に応じて、二人の視聴者600の勝敗を決定し、ユーザ端末300の表示部302に、勝敗結果を示す画面として、
図27に示されるような画面を表示させてもよい。また、サーバ200bは、
図28に示すように、このような対戦を重ねて、各視聴者600に付与されたポイント数の総計に基づく、ランキングを示してもよい。
【0134】
さらに、本実施形態においては、アーティスト602による評価は、アーティスト602によって手入力される場合に限定されるだけでなく、例えば、アーティスト602の身体に装着された生体情報センサ(図示省略)のセンシングデータに基づく評価であってもよい。例えば、触覚刺激によって生じたアーティスト602の心拍数の増加量が多いほど、高い評価を与えるようにする。なお、本実施形態においては、アーティスト602の生体情報センサによるセンシングデータは、例えば、ユーザ端末300に表示されてもよい。
【0135】
このように、本実施形態においては、ゲーム性を持たせることにより、触覚刺激効果付きスタンプ700の購入意欲をより増進することができる。
【0136】
<7.3 変形例1>
また、本実施形態においては、視聴者600から触覚刺激効果付きスタンプ700が投げられるだけでなく、例えば、アーティスト602が投げられたスタンプ700に対して所定の動作を行った場合には、当該スタンプ700に係る触覚刺激が提示されないといった、アーティスト602を交えたゲームとすることもできる。以下に、このようなゲームに係る変形例を説明する。
【0137】
(サーバ200cの詳細構成)
まずは、
図29を参照して、本変形例に係るサーバ200cの詳細構成について説明する。
図29は、本変形例に係るサーバ200cの機能構成例を示す図である。
図29に示すように、サーバ200cは、上述した第1の実施形態と同様に、通信部202と、制御部210cと、記憶部240とを主に有する。以下に、サーバ200cの各機能ブロックについて順次説明するが、通信部202及び記憶部240は第1の実施形態と共通するため、ここでは説明を省略し、制御部210cのみを説明する。
【0138】
制御部210cは、コントローラであり、
図29に示すように、第1の実施形態と同様に、GUI制御部212、視聴者側入力部214、配信者側入力部216、生成部218、判定部220、及び、出力制御部(第1の配信部)222を含む。さらに、本変形例においては、配信者側入力部216は、例えば、触覚提示デバイス100に設けられた各種センサのセンシングデータ等を取得し、判定部220に出力する。
【0139】
(情報処理方法)
以上、本変形例に係るサーバ200cについて説明した。次に、本変形例に係る情報処理方法について、
図30及び
図31を参照して説明する。
図30は、本実施形態の変形例に係る情報処理方法の一例のフローチャート図であり、
図31は、本実施形態の変形例に係る表示例を説明するための説明図である。
図30に示すように、本変形例に係る情報処理方法には、ステップS301からステップS308までの複数のステップが含まれている。以下に、本変形例に係る情報処理方法に含まれる各ステップの詳細を説明する。
【0140】
まずは、サーバ200cは、ステップS301からステップS304の処理を行うこととなるが、
図8に示す、第1の実施形態におけるステップS101からステップS104ちと同様であるため、ここではこれらステップの処理の説明を省略する。
【0141】
次に、サーバ200cは、
図31に示すような、コイン等のアイコンと、当該アイコンが視聴者600側からアーティスト602まで移動する軌跡808とを、ユーザ端末300の表示部302、及び、モニタ110の表示部(図示省略)等に、例えば、AR(Augmented Reality)表示する(ステップS305)。なお、本変形例においては、軌跡808や軌跡808が表示される速度は、視聴者600が、触覚刺激効果付きスタンプ700を投げる前に設定することができ、もしくは、表示された後に、修正することもできる。さらに、本変形例においては、AR表示の際に、所定の音声を、ユーザ端末300やモニタ110のスピーカ(図示省略)等から出力してもよい。
【0142】
そして、アーティスト602は、モニタ110の表示部(図示省略)等に表示された軌跡808を視認し、それに反応するように動作する(例えば、軌跡808から推定される上記アイコンの落下位置から逃げる動作、所定の端末(例えば、モニタ110)に対してタッチ操作を行う動作、キーワードを発話する動作等)。次に、サーバ200cは、アーティスト602の動作に関するセンシングデータを取得する(ステップS306)。例えば、上記アーティスト602の逃げる動作は、カメラ120によって検知することができ、タッチ操作は、モニタ110に設けられたタッチパネル(図示省略)によって検知することができ、アーティスト602の発話は、触覚提示デバイス100に設けられたマイク(図示省略)によって検知することができる。
【0143】
次に、サーバ200cは、上述したステップS306において取得したセンシングデータに基づいて、触覚提示デバイス100において触覚刺激を提示するか否かを判定する(ステップS307)。例えば、サーバ200cは、アーティスト602の逃げる動作が所定のタイミングで行われた場合や、アーティスト602のタッチ操作のタイミングが所定のタイミングであった場合や、アーティスト602の発話が所定のキーワード(例えば、
図31に示すように、消えろ)であった場合には、触覚刺激の提示を行わないと判定する。また、本変形例においては、所定の数以上の複数のスタンプ700(もしくは、制御コマンド702)が同時に送付された場合には、アーティスト602の所定の動作が検知された場合であっても、触覚刺激の提示を行うようにしてもよい。また、本変形例においては、視聴者600が、触覚刺激効果付きスタンプ700を投げる際に、所望するキーワードを入力又は選択することができ、さらに当該キーワードがモニタ110に表示されてもよい。この場合、アーティスト602が、モニタ110に表示されたキーワードを正しく発話できたことが検知された場合に、サーバ200cは、触覚刺激の提示を行わない又は行うと判定するようにしてもよい。このようにすることで、本変形例によれば、視聴者600は、アーティスト602のパフォーマンスを視聴するといった一方向の体験だけでなく、さらにアーティスト602との交流等といった、リアルタイムで、且つ、インタラクティブな、より付加価値の高い体験を得ることができる。
【0144】
そして、サーバ200cは、ステップS308の処理を行うこととなるが、
図8に示す、第1の実施形態におけるステップS106と同様であるため、ここでは説明を省略する。
【0145】
本変形例においては、視聴者600だけでなく、アーティスト602を交えて、スタンプ700を投げ合って、投げられたスタンプ700を避けるといった、一種の仮想的などドッチボールのようなゲームを行うことができる。その結果、視聴者600は、アーティスト602と直接的にスリリングなやり取りを行っているように感じることができ、より付加価値の高い体験を得ることができる。
【0146】
なお、本変形例においては、アーティスト602の所定の動作を検知した場合に、触覚刺激の提示を行わないことに限定されるものではなく、アーティスト602の所定の動作を検知した場合に、触覚刺激の強度等を変更してもよい。また、触覚刺激の提示を行わない場合には、ユーザ端末300を介して、所定の音声(例えば、消滅音等)を出力してもよく、もしくは、ユーザ端末300を振動させてもよい。さらに、本変形例においては、サーバ200cは、スタンプ700の種類、アーティスト602の属性情報、視聴者600の属性情報等の、組み合わせに応じて、触覚刺激を提示するか否かの判定を行ってもよい。
【0147】
<7.4 変形例2>
また、視聴者600が触覚刺激効果付きスタンプ700を投げる際に、偶然性及び技能性を加味して投げるスタンプ700の内容が決定されるようにすることにより、よりゲーム性を高めてもよい。このような変形例を、
図32を参照して説明する。
図32は、本実施形態の変形例に係る表示例を説明するための説明図である。
【0148】
本変形例においては、例えば、触覚刺激効果付きスタンプ700を投げる際のレベルメータの値によって、触覚刺激の強度が決定されるものとする。詳細には、
図32に示すように、ユーザ端末300の表示部302に、触覚刺激の強度を指定するカーソル820のアニメーションを表示する。当該アニメーションにおいては、カーソル820は、左右に常に移動しているものとする。さらに、表示部302には、例えば、弓矢のようなアイコン822が表示されている。視聴者600は、当該アイコン822に対してスワイプし、指先を画面から離すような操作を行うことにより、スタンプ700を投げることができる。そして、サーバ200cの視聴者側入力部214は、離す動作を行った際の、カーソル820の位置に該当する強度を、投げたスタンプ700に係る触覚刺激の強度として取得する。
【0149】
本変形例においては、カーソル820が常に左右に動いていることから、設定される強度は、偶然に決まるものである。加えて、所望する強度に設定しようとするためには、視聴者600は、カーソル820の動きを踏まえて、アイコン822に対する操作を注意深く行う必要があり、技能を必要とする。そこで、例えば、視聴者600は、所望の強度に設定できなかった場合には、設定できるまで何度も繰り返しスタンプ700を投げることとなる。すなわち、本変形例は、技能性と偶然性との両面を持つゲームを提供するものであることから、より娯楽性の高い体験を視聴者600に提供することができる。
【0150】
なお、本変形例は、アイコン822に対する操作に限定されるものではなく、例えば、視聴者600の、ユーザ端末300の保持角度を変化させる等のモーション操作の速度に応じて、触覚刺激の強度等を設定してもよく、特に限定されるものではない。また、本変形例においては、カーソル820はアニメーションであることに限定されるものではなく、視聴者600の操作により移動することができるカーソル820であってもよい。この場合、サーバ200cの視聴者側入力部214は、視聴者600の操作により当該カーソル820を移動させた位置に該当する強度を、投げたスタンプ700に係る触覚刺激の強度として取得する。
【0151】
<7.5 変形例3>
本開示の実施形態及び変形例においては、触覚提示デバイス100に設けられた触覚刺激部106の振動によるノイズが、触覚提示デバイス100の肩部分に設けられたマイク(図示省略)に入ってしまうことがある。そこで、以下においては、マイクにおける触覚刺激部106の振動によるノイズをキャンセルするための変形例を説明する。
【0152】
詳細には、サーバ200は、触覚刺激部106に与えられた波形に応じて、ノイズを予測する。例えば、サーバ200は、あらかじめ触覚刺激部106に様々な波形を与え、発生したノイズを機械学習して得られたデータベース(DB)(図示省略)を参照することにより、ノイズを予測することができる。そして、サーバ200は、触覚提示デバイス100の肩部分に設けられたマイク(図示省略)で集音した音声から、予測したノイズをキャンセルすることにより、ノイズにより音声の劣化を避けることができる。
【0153】
なお、本変形例においては、サーバ200は、触覚提示デバイス100の肩部分に設けられたマイク(図示省略)と触覚刺激部106との距離に応じて、キャンセルする波形を調整してもよい。また、例えば、アーティスト602がスタジオ内でパフォーマンスを行っている場合には、スタジオの壁に反射して生じるノイズを当該マイクが集音してしまうこともある。そのような場合には、サーバ200は、触覚提示デバイス100の肩部分に設けられたマイクと壁との距離に応じて、キャンセルする波形を調整してもよい。
【0154】
また、本変形例においては、触覚刺激部106の振動によるノイズをキャンセルする手段としては、上記マイク(図示省略)に指向性を持たせて、マイクがアーティスト602の音声を集中的に集音するようにしてもよく、もしくは、マイクが集音できる周波数領域を限定して、触覚刺激部106の振動によるノイズの集音を避けるようにしてもよい。
【0155】
<<8. 本開示の情報処理システム10の変形例>>
さらに、
図33から
図38を参照して、本開示の実施形態に係る情報処理システム10の変形例を説明する。
図33から
図38は、本開示の実施形態の変形例に係る情報処理システム10の概略的構成例を示したシステム図である。
【0156】
まず、
図33に示す情報処理システム10においては、
図3に示すサーバ200は、ハプティクス用サーバ250a、配信データ編集サーバ250b、ライブ配信サーバ250c、及びハプティクスサーバ250dにより実現する。
【0157】
詳細には、
図33に示すように、本実施形態に係る情報処理システム10においては、例えば、アーティスト602側には、触覚提示デバイス(ハプティクスベスト)100と、駆動アンプ/インターフェース140と、スピーカ116と、モニタ110と、マイク124と、カメラ120とが配置される。また、当該情報処理システム10においては、アーティスト602側と視聴者600側との間には、例えば、ハプティクス用サーバ(情報処理装置)250a、配信データ編集サーバ250b、ライブ配信サーバ(他の情報処理装置)250c、及び、ハプティクスサーバ250dが配置される。さらに、当該情報処理システム10においては、視聴者600側には、ユーザ端末300の一例としてのスマートフォンやタブレットが配置される。当該情報処理システム10に含まれる各装置は、例えば有線/無線LAN(Local Area Network)、又はWi-Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、5G(第5世代の移動体通信方式))等のような各種の通信ネットワークを介して互いに送受信することができる。なお、情報処理システム10に含まれる各装置の数は、
図33に図示された数に限定されるものではなく、さらに多くてもよい。また、情報処理システム10は、
図33において図示されない装置を含んでいてもよい。例えば、情報処理システム10は、汎用PC(Personal Computer)、ゲーム機、携帯電話、携帯型メディアプレーヤ、スピーカ、プロジェクタ、ディスプレイ(デジタルサイネージ等)、ヘッドフォン、スマートグラス、スマートウォッチ等のウェアラブルデバイス等を含むことができる。
【0158】
なお、
図33に示す情報処理システム10においては、例えば、触覚刺激の提示を管理するハプティクス用サーバ250aと、視聴者600へ配信される映像や音声を編集等行うアプリケーションが内蔵された配信データ編集サーバ250b及び視聴者600への配信を管理するライブ配信サーバ250cとは異なる事業者によって運営されていてもよい。以下に、本実施形態に係る情報処理システム10に含まれる駆動アンプ/インターフェース140、モニタ110、カメラ120、ハプティクス用サーバ250a、配信データ編集サーバ250b、ライブ配信サーバ250c、及びハプティクスサーバ250dの概略について説明する。
【0159】
(駆動アンプ/インターフェース140)
駆動アンプ/インターフェース140は、触覚提示デバイス100とハプティクス用サーバ250aとの間で、触覚制御信号の送受信を行うインターフェースである。例えば、駆動アンプ/インターフェース140は、触覚提示デバイス100から触覚提示デバイス100のプロファイル情報(機能情報等)を取得したり、ハプティクス用サーバ250aにより生成された触覚制御信号を信号変換、増幅して、触覚提示デバイス100に送信したりする。
【0160】
(モニタ110)
モニタ110は、例えば、後述するカメラ120で撮像されたアーティスト602の映像等をアーティスト602に向けて表示することができ、さらに、モニタ110は、アーティスト602の画像に、テキスト、アイコン又はアニメーション等を重畳表示することができる。例えば、モニタ110は、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置により実現される。また、本実施形態においては、モニタ110の表示部(図示省略)は、入力部(図示省略)と一体のユニットとして設けられていてもよく、この場合、当該入力部は、例えば上記表示部に重畳されたタッチパネルにより実現される。さらに、本実施形態においては、モニタ110に、アーティスト602に対して音声を出力するスピーカ116が設けられていてもよい。
【0161】
(カメラ120)
カメラ120は、アーティスト602を1視点又は多視点から撮像する1つ又は複数の可視光カメラであり、カメラ120によって撮影された映像は、ハプティクス用サーバ250a、配信データ編集サーバ250b及びライブ配信サーバ250cを介して、視聴者600の有するユーザ端末300へ送信される。なお、当該カメラ120は、アーティスト602の周囲又は周囲に存在する実物体等を撮像してもよい。詳細には、カメラ120は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、当該レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系を有する。さらに、カメラ120は、上記レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等をそれぞれ有する。なお、当該固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。
【0162】
(ハプティクス用サーバ250a)
ハプティクス用サーバ250aは、視聴者600から入力された触覚刺激効果付きスタンプ(制御コマンド)700を、ライブ配信サーバ250cを介して受け付け、当該スタンプ700に従って触覚制御信号を生成し、生成した触覚制御信号を触覚提示デバイス100に送信することができる。各触覚刺激効果付きスタンプ700は、各所定の制御コマンド702と紐づけられており、各制御コマンド702には、振動刺激を提示する知覚位置を指定する情報(位置情報)、振動刺激の波形種類や強度等を指定する情報(形態情報)等が含まれる。また、上記制御コマンド702には、触覚提示デバイス100に設けられた触覚刺激部(図示省略)や上記形態情報を指定する識別情報(ID)を含むことができる。詳細には、ハプティクス用サーバ250aは、当該制御コマンド702で、指定された知覚位置において、指定された強度で、指定された波形による振動刺激を提示するよう、触覚提示デバイス100に設けられた個々の触覚刺激部106へ入力する触覚制御信号(波形データ)を生成し、触覚提示デバイス100へ送信する。
【0163】
(配信データ編集サーバ250b)
配信データ編集サーバ250bは、ハプティクス用サーバ250aを介して受信したカメラ120による映像を編集したり、ハプティクス用サーバ250aを介して受信したマイク124による音声を編集したりすることができる。さらに、配信データ編集サーバ250bは、編集した映像及び音声データを、ライブ配信サーバ250cを介してユーザ端末300へ送信したり、ハプティクス用サーバ250aを介して、スピーカ116及びモニタ110に出力したりすることができる。例えば、配信データ編集サーバ250aは、カメラ120で撮像されたアーティスト602の画像に、視聴者600から入力されたスタンプ700の画像やスタンプ700に紐づけられたが映像エフェクトを重畳させて、配信のための映像データを生成することができる。
【0164】
(ライブ配信サーバ250c)
ライブ配信サーバ250cは、アーティスト602等の画像等や触覚刺激効果付きスタンプ700を選択するための画像等をユーザ端末300へ配信することができる。例えば、ライブ配信サーバ250cは、Web API(Application Programming Interface)を介して認証を行い、視聴者600から送信された触覚刺激効果付きスタンプ700等を監視することができる。
【0165】
(ハプティクスサーバ250d)
ハプティクスサーバ250dは、各スタンプ700の識別情報(ID)に紐づけられて、予め生成された触覚データライブラリ(振動波形パターン等)が格納する。また、ハプティクスサーバ250dは、例えば、触覚提示デバイス100の触覚刺激部106の個数、その位置、周波数特性、最大入力電圧等といった情報を、触覚提示デバイス100のプロファイル情報として格納してもよい。
【0166】
さらに、本実施形態においては、ハプティクス用サーバ250a、配信データ編集サーバ250b、ライブ配信サーバ250c、及びハプティクスサーバ250dは、単一の装置によって実現されてもよく、複数の装置によって実現されてもよく、特に限定されるものではない。この詳細については、後述する。
【0167】
また、
図34に示す情報処理システム10においては、ハプティクス用サーバ250aは、上述した配信データ編集サーバ250bの機能をも担う。この場合、触覚刺激に提示を管理する事業者と、配信を管理する事業者とは異なる事業者であることができる。
【0168】
また、
図35に示す情報処理システム10においては、
図34の例と異なり、ハプティクスサーバ250dに格納された情報は、ライブ配信サーバ250cを介して、ハプティクス用サーバ250aに提供される。
【0169】
また、
図36に示す情報処理システム10においては、ハプティクスサーバ250dに格納された情報は、ライブ配信サーバ250c及び配信データ編集サーバ250bを介して、ハプティクス用サーバ250aに提供される。
【0170】
また、
図37に示す情報処理システム10においては、サーバ200としてのハプティクス用サーバ250aは、その外部に、記憶部240の機能の一部を担うものとして、ハプティクスサーバ250dを有する。
【0171】
また、
図38に示す情報処理システム10においては、ハプティクスサーバ250dが、ライブ配信サーバ250cと協働して、ユーザ端末300への配信を行ってもよい。
【0172】
<<9. まとめ>>
以上説明したように、本開示の実施形態においては、視聴者600が選択した触覚刺激効果付きスタンプ700に対応する触覚刺激をアーティスト602に提示することができる。そこで、本実施形態においては、アーティスト602は、提示された触覚刺激を知覚し、アクションを起こすこととなれば、視聴者600は、自身が送信したスタンプ700によって提示された触覚刺激により誘起されたアクションをリアルタイムで確認することができる。そして、本実施形態によれば、視聴者600は、自身が送信したスタンプ700に係る触覚刺激により誘起されたアクションをリアルタイムで確認することができれば、アーティスト602と直接的にやり取りを行っているように感じることができ、すなわち、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。
【0173】
なお、本開示の実施形態は、上述したようなライブ配信等に適用されるだけではなく、例えば、SNS上でやり取りされるスタンプ700等に適用することも可能である。その場合、例えば、触覚提示デバイス100の代わりに、ユーザ端末300が振動等することにより、スタンプ700を送付した相手に、触覚刺激を与えることができる。なお、本開示の実施形態においては、触覚制御信号は、サーバ200で生成することに限定されるものではなく、触覚提示デバイス100やユーザ端末(情報処理端末)300で生成されてもよい。
【0174】
<<10. ハードウェア構成について>>
上述してきた各実施形態に係るサーバ200等の情報処理装置は、例えば
図39に示すような構成のコンピュータ1000によって実現される。以下、本開示の各実施形態に係るサーバ200を例に挙げて説明する。
図39は、サーバ200の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェース1500、及び入出力インターフェース1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
【0175】
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
【0176】
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0177】
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
【0178】
通信インターフェース1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェースである。例えば、CPU1100は、通信インターフェース1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
【0179】
入出力インターフェース1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェースである。例えば、CPU1100は、入出力インターフェース1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェース1600を介して、ディスプレイやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェース1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0180】
例えば、コンピュータ1000が本開示の実施形態に係るサーバ200として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、触覚制御信号を生成する等の機能を実現する。また、HDD1400には、本開示の実施形態に係る情報処理プログラム等が格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
【0181】
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティング等のように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。
【0182】
<<11. 補足>>
また、以上に説明した実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含むことができる。また、上記プログラムをインターネット等の通信回線(無線通信も含む)を介して頒布してもよい。
【0183】
さらに、上述した各実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能ブロックによって他の方法で処理されていてもよい。
【0184】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0185】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0186】
なお、本技術は以下のような構成を取ることができる。
(1)
第1のユーザから入力された、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報に対応する制御コマンドを取得する第1の取得部と、
前記制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための触覚制御信号を生成する生成部と、
前記触覚制御信号を第2のユーザの身体に装着された前記触覚提示デバイスに配信する第1の配信部と、
を備え、
前記触覚制御信号は、前記触覚刺激の提示タイミング、周波数、間隔、波形、提示時間及び強さのうちの少なくとも1つに対応する、
情報処理装置。
(2)
前記生成部は、前記触覚制御信号とともに、所定の画像又は所定の音声を前記第1のユーザ又は前記第2のユーザに提示するための提示制御信号を生成する、上記(1)に記載の情報処理装置。
(3)
前記所定の画像は、実空間の画像に重畳表示される、又は、実空間に投影される仮想オブジェクトを含む、上記(2)に記載の情報処理装置。
(4)
前記仮想オブジェクトは、所定のアイコンが前記第1のユーザから前記第2のユーザまで移動する軌跡である、上記(3)に記載の情報処理装置。
(5)
前記触覚刺激は、前記第2のユーザの前記触覚提示デバイスの装着状況に応じて、調整される、上記(1)~(4)のいずれか1つに記載の情報処理装置。
(6)
前記触覚刺激は、前記触覚提示デバイスと前記第2のユーザの身体との接触率に応じて調整される、上記(5)に記載の情報処理装置。
(7)
前記第1の配信部は、前記触覚提示デバイスが前記第2のユーザに装着されていない場合には、前記触覚制御信号を前記第2のユーザの前記触覚提示デバイスに配信しない、上記(5)に記載の情報処理装置。
(8)
前記触覚提示デバイスが前記第2のユーザに装着されていない場合には、
前記生成部は、前記制御コマンドに応じて、他の装置に所定の動作を行わせるための非装着時制御信号を生成し、
前記第1の配信部は、前記非装着時制御信号を前記他の装置に配信する、
上記(7)に記載の情報処理装置。
(9)
前記生成部は、前記第2のユーザの属性情報に応じて、前記触覚制御信号を調整する、上記(1)~(8)のいずれか1つに記載の情報処理装置。
(10)
前記第1のユーザの属性情報又は前記第2のユーザの属性情報に基づき、前記触覚制御信号を配信するかどうかを判定する判定部をさらに備える、上記(1)~(9)のいずれか1つに記載の情報処理装置。
(11)
前記第1の取得部は、前記第2のユーザから入力された前記制御コマンドを取得し、
前記生成部は、前記第2のユーザから入力された前記制御コマンドに応じて、前記触覚制御信号を生成し、
前記第1の配信部は、生成した前記触覚制御信号を前記第1のユーザの身体に装着された前記触覚提示デバイスに配信する、
上記(1)~(10)のいずれか1つに記載の情報処理装置。
(12)
前記第1の取得部は、前記第2のユーザから入力された前記制御コマンドを取得し、
前記生成部は、前記第2のユーザから入力された前記制御コマンドと、前記第1のユーザが所有するユーザ端末の属性情報とに応じて、ユーザ端末用制御信号を生成し、
前記第1の配信部は、生成した前記ユーザ端末用制御信号を前記ユーザ端末に配信する、
上記(1)~(10)のいずれか1つに記載の情報処理装置。
(13)
触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報に対応する制御コマンドが入力される入力部と、
入力された前記制御コマンドを、当該制御コマンドに応じた触覚制御信号を生成して、前記触覚提示デバイスに配信する情報処理装置に送信する送信部と、
を備え、
前記触覚制御信号は、前記触覚刺激の提示タイミング、周波数、間隔、波形、提示時間及び強さのうちの少なくとも1つを指示する信号を含む、
情報処理端末。
(14)
前記触覚提示デバイスは触覚刺激部を含み、
前記提示部情報は、前記触覚刺激部のID情報を含む、上記(1)に記載の情報処理装置。
(15)
前記触覚制御信号は、前記制御コマンドに対応する触覚制御IDであり、
前記触覚提示デバイスは、前記触覚制御IDに対応する前記提示部情報と前記形態情報とに基づいて触覚提示を行う、
上記(1)に記載の情報処理装置。
(16)
前記所定の画像及び前記実空間の画像は、前記第1のユーザに向けて画像を表示する表示デバイスと通信可能な他の情報処理装置から前記表示デバイスに配信される、
上記(3)に記載の情報処理装置。
(17)
前記他の情報処理装置は、前記第1のユーザの入力に応じたコマンド情報を取得する、
上記(16)に記載の情報処理装置。
(18)
前記第1のユーザからの入力に応じて、前記触覚刺激の提示と同期して前記実空間の画像に重畳表示される前記所定の画像を取得する第2の取得部と、
前記実空間の画像を取得する第3の取得部と、
前記所定の画像及び前記実空間の画像を前記第1のユーザに向けて画像を表示する表示デバイスに配信する第2の配信部と、
をさらに備える、
上記(3)に記載の情報処理装置。
(19)
情報処理装置を、
第1のユーザから入力された制御コマンドを取得し、
第2のユーザのライブ配信の画像を受信し、
前記受信したライブ配信の画像を表示部に表示させ、
前記取得した制御コマンドをサーバへ通信部を介して送信する、
制御部として機能させるプログラムであって、
前記制御コマンドに応じて触覚制御信号が生成され、
前記触覚制御信号が、前記第2のユーザの身体に装着された触覚提示デバイスに配信され、
前記制御コマンドに対応する前記触覚提示デバイスの触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とに基づいて、前記触覚提示デバイスを介して触覚提示を行う、
プログラム。
(20)
第1のユーザから入力された制御コマンドを受信し、
第2のユーザのライブ配信の画像を受信する、
制御部を備え、
前記制御コマンドに応じて触覚制御信号を生成し、
前記触覚制御信号が前記第2のユーザの身体に装着された触覚提示デバイスへ配信し、
前記制御コマンドに対応する前記触覚提示デバイスの触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とに基づいて、前記触覚提示デバイスを介して触覚提示を行う、
情報処理装置。
【符号の説明】
【0187】
10 情報処理システム
100 触覚提示デバイス
102、202、308 通信部
104、210、210a、210b、210c、310 制御部
106 触覚刺激部
110 モニタ
116、306 スピーカ
120、322 カメラ
124、324 マイク
140 駆動アンプ/インターフェース
200、200a、200b、200c、250a、250b、250c、250d サーバ
212 GUI制御部
214 視聴者側入力部
216 配信者側入力部
218 生成部
220 判定部
222 出力制御部
224 価格決定部
226 決済部
228 ポイント付与部
240、240a、312 記憶部
242 視聴者プロファイル
244 配信者プロファイル
246 配信データDB
248 価格データDB
300 ユーザ端末
300a スマートフォン
300b タブレット
302 表示部
304 操作入力部
320 センサ部
326 ジャイロセンサ
328 加速度センサ
600 視聴者
602 アーティスト
700 スタンプ
702 制御コマンド
800 表示
802 アバター
804 通知
806、822 アイコン
808 軌跡
810 コメント
812 モデル表示
814 領域
816 マーカ
820、824 カーソル
826 波形