特開 2023-148850 感覚提示データ提供装置、感覚提示データ提供方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023148850

(43)【公開日】2023-10-13

(54)【発明の名称】感覚提示データ提供装置、感覚提示データ提供方法及びコンピュータプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231005BHJP

   G06T 13/80 20110101ALI20231005BHJP

   G06T 1/00 20060101ALI20231005BHJP

【ＦＩ】

G06F3/01 560

G06T13/80 A

G06T1/00 200E

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022057115

(22)【出願日】2022-03-30

(71)【出願人】

【識別番号】000142595

【氏名又は名称】株式会社栗本鐵工所

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】赤岩 修一

(72)【発明者】

【氏名】木野井 慶介

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA00

5B050BA08

5B050CA07

5B050EA24

5B050FA02

5B050GA08

5E555AA08

5E555AA64

5E555BA04

5E555BA38

5E555BB04

5E555BB38

5E555BC08

5E555BE17

5E555CA44

5E555CB19

5E555CB21

5E555CB66

5E555CC22

5E555DA08

5E555DA21

5E555DA24

5E555DB53

5E555DC21

5E555DD06

5E555EA11

5E555FA00

(57)【要約】

【課題】仮想オブジェクトを視聴覚的及び触覚的に提示する視覚データ、聴覚データ及び触覚データをユーザの身体部位の位置に応じてオンラインでリアルタイムに提供することができる感覚提示データ提供装置を提供する。
【解決手段】感覚提示データ提供装置は、ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを触覚的に提示するための触覚データとを対応付けて格納する第１データベースと、部位位置データと、仮想オブジェクトの視覚データとを対応付けて格納する第２データベースと、部位位置データと、仮想オブジェクトの聴覚データとを対応付けて格納する第３データベースと、ユーザの身体部位の位置を示す部位位置データを取得する取得部と、取得した部位位置データに対応する触覚データ、視覚データ又は聴覚データを第１～第３データベースから抽出する処理部と、抽出した触覚、視覚又は聴覚データを出力する出力部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを触覚的に提示するための触覚データとを対応付けて格納する第１データベースと、
ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを視覚的に提示するための視覚データとを対応付けて格納する第２データベースと、
ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを聴覚的に提示するための聴覚データとを対応付けて格納する第３データベースと、
ユーザの身体部位の位置を示す部位位置データを取得する取得部と、
取得した部位位置データに対応する触覚データ、視覚データ又は聴覚データを前記第１データベース、前記第２データベース又は前記第３データベースから抽出する処理部と、
抽出した触覚データ、視覚データ又は聴覚データを出力する出力部と
を備える感覚提示データ提供装置。

【請求項2】

前記第１データベースは、部位位置データ及び触覚データを対応付けた複数のテーブルを含み、
前記第２データベースは、部位位置データ及び視覚データを対応付けた複数のテーブルを含み、
前記第３データベースは、部位位置データ及び聴覚データを対応付けた複数のテーブルを含み、
ユーザの環境を示す環境データと、触覚データのテーブルと、視覚データのテーブルと、聴覚データのテーブルとの関係を示した定義データを格納する仮想オブジェクト定義データベースを備え、
前記取得部は、
ユーザの環境を示す環境データを取得し、
前記処理部は、
環境データを取得した場合、取得した環境データ及び前記定義データに基づいて、前記第１データベース、前記第２データベース及び前記第３データベースそれぞれから環境データに応じたテーブルを選択し、
部位位置データを取得した場合、取得した部位位置データに対応する触覚データ、視覚データ又は聴覚データを、環境データに基づいて選択されたテーブルから抽出する
請求項１に記載の感覚提示データ提供装置。

【請求項3】

前記処理部は、
環境データに基づいて選択されたテーブルの内容をユーザ個別の設定内容を示す設定データに基づいて調整する
請求項２に記載の感覚提示データ提供装置。

【請求項4】

ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを触覚的に提示するための触覚データとを対応付けて格納する第１データベースと、ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを視覚的に提示するための視覚データとを対応付けて格納する第２データベースと、ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを聴覚的に提示するための聴覚データとを対応付けて格納する第３データベースとを用意し、
ユーザの身体部位の位置を示す部位位置データを取得し、
取得した部位位置データに対応する触覚データ、視覚データ又は聴覚データを前記第１データベース、前記第２データベース又は前記第３データベースから抽出し、
抽出した触覚データ、視覚データ又は聴覚データを出力する
感覚提示データ提供方法。

【請求項5】

ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを触覚的に提示するための触覚データとを対応付けて格納する第１データベースと、ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを視覚的に提示するための視覚データとを対応付けて格納する第２データベースと、ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを聴覚的に提示するための聴覚データとを対応付けて格納する第３データベースとにアクセス可能なコンピュータに、
ユーザの身体部位の位置を示す部位位置データを取得し、
取得した部位位置データに対応する触覚データ、視覚データ又は聴覚データを、前記第１データベース、前記第２データベース又は前記第３データベースから抽出し、
抽出した触覚データ、視覚データ又は聴覚データを出力する
処理を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感覚提示データ提供装置、感覚提示データ提供方法及びコンピュータプログラムに関する。

【背景技術】

【0002】

人間の五感のうち、視覚及び聴覚に係る画像及び音声の伝達技術が高精度化しており、昨今では、触覚を提示するハプティクス技術が種々提案されている。

【0003】

特許文献１は仮想オブジェクト触覚提示装置を開示する。仮想オブジェクト触覚提示装置は、仮想オブジェクトを表示するＨＭＤ（Head Mounted Display）と、ＨＭＤに表示された仮想オブジェクトに応じた触覚をユーザに提示する触覚提示装置とを備える。ＨＭＤは仮想オブジェクト毎に触覚情報を格納した触覚情報ＤＢを備え、仮想オブジェクトの種類に対応付けられた触覚情報を触覚情報ＤＢから読み出して触覚提示装置に送信する。触覚提示装置は、磁気粘性流体に与える磁場を制御することによって仮想オブジェクトの感触を提示する。磁気粘性流体は磁性粒子を分散媒体に分散させた流体であり、磁場が加えられると粘度が変化する特性を有する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１７１５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示の目的は、仮想オブジェクトを視聴覚的及び触覚的に提示する視覚データ、聴覚データ及び触覚データをユーザの身体部位の位置に応じてオンラインでリアルタイムに提供することができる感覚提示データ提供装置、感覚提示データ提供方法及びコンピュータプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本開示の一側面に係る感覚提示データ提供装置は、ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを触覚的に提示するための触覚データとを対応付けて格納する第１データベースと、ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを視覚的に提示するための視覚データとを対応付けて格納する第２データベースと、ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを聴覚的に提示するための聴覚データとを対応付けて格納する第３データベースと、ユーザの身体部位の位置を示す部位位置データを取得する取得部と、取得した部位位置データに対応する触覚データ、視覚データ又は聴覚データを前記第１データベース、前記第２データベース又は前記第３データベースから抽出する処理部と、抽出した触覚データ、視覚データ又は聴覚データを出力する出力部とを備える。

【0007】

本開示の一側面に係る感覚提示データ提供方法は、ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを触覚的に提示するための触覚データとを対応付けて格納する第１データベースと、ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを視覚的に提示するための視覚データとを対応付けて格納する第２データベースと、ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを聴覚的に提示するための聴覚データとを対応付けて格納する第３データベースとを用意し、ユーザの身体部位の位置を示す部位位置データを取得し、取得した部位位置データに対応する触覚データ、視覚データ又は聴覚データを前記第１データベース、前記第２データベース又は前記第３データベースから抽出し、抽出した触覚データ、視覚データ又は聴覚データを出力する。

【0008】

本開示に一側面に係るコンピュータプログラムは、ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを触覚的に提示するための触覚データとを対応付けて格納する第１データベースと、ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを視覚的に提示するための視覚データとを対応付けて格納する第２データベースと、ユーザの身体部位の位置を示す部位位置データと、仮想オブジェクトを聴覚的に提示するための聴覚データとを対応付けて格納する第３データベースとにアクセス可能なコンピュータに、ユーザの身体部位の位置を示す部位位置データを取得し、取得した部位位置データに対応する触覚データ、視覚データ又は聴覚データを、前記第１データベース、前記第２データベース又は前記第３データベースから抽出し、抽出した触覚データ、視覚データ又は聴覚データを出力する処理を実行させる。

【発明の効果】

【0009】

本開示によれば、仮想オブジェクトを視聴覚的及び触覚的に提示する視覚データ、聴覚データ及び触覚データをユーザの身体部位の位置に応じてオンラインでリアルタイムに提供することができる感覚提示データ提供装置を提供することにある。

【図面の簡単な説明】

【0010】

【図1】実施形態１に係る仮想オブジェクト触覚提示システムの構成例を示す模式図である。

【図2】実施形態１に係る仮想オブジェクト触覚提示システムの構成例を示すブロック図である。

【図3】実施形態１に係るデータベースのレコードレイアウトを示す概念図である。

【図4】実施形態１に係る感覚提示データ提供方法を示す概念図である。

【図5】実施形態１に係る感覚提示データ提供方法に係る処理手順を示すフローチャートである。

【図6】実施形態１に係る感覚提示データ提供方法に係る処理手順を示すフローチャートである。

【0011】

本開示の実施形態に係る仮想オブジェクト触覚提示システムを、以下に図面を参照しつつ説明する。なお、本開示はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。

【0012】

（実施形態１）
＜仮想オブジェクト触覚提示システム１００の概要＞
図１は、実施形態１に係る仮想オブジェクト触覚提示システム１００の構成例を示す模式図である。仮想オブジェクト触覚提示システム１００は、通信端末装置１と、触覚提示装置２と、感覚提示データ提供装置３とを含む。通信端末装置１と、触覚提示装置２とは近距離無線通信又は有線で通信接続され、相互にデータを授受する。通信端末装置１と、感覚提示データ提供装置３とは、３Ｇ（Generation）回線、４Ｇ回線、ＬＴＥ（Long Term Evolution）回線、インターネット等の通信網Ｎを介して接続され、相互にデータを授受する。

【0013】

感覚提示データ提供装置３は、サーバコンピュータであり、ユーザの環境及び身体部位の位置に応じて変化する仮想オブジェクトを視覚的、聴覚的及び触覚的に提示するための画像データ（視覚データ）、音声データ（聴覚データ）及び触覚データを通信端末装置１及び触覚提示装置２に提供する装置である。ユーザの環境は、例えばバーチャル空間又はリアル空間におけるユーザの位置及び外界の状態を意味する。外界の状態には、ユーザの周囲の明るさ、気温等の天候、その他の自然環境等が含まれる。ユーザの身体部位は、触覚を有するユーザの体の部位であり、例えば指、手、腕、脚である。以下、本実施形態では身体部位を指であるものとして説明し、身体部位の位置を指位置と呼ぶ。
また、本実施形態に係る感覚提示データ提供装置３は、仮想オブジェクトを登場させる仮想空間を提示するためのデータを通信端末装置１に提供する処理を実行するものとする。通信端末装置１は感覚提示データ提供装置３から提供された当該データを受信し、仮想空間を提示して画像を表示する。なお、仮想空間は、仮想空間提供サーバとして機能する他のサーバコンピュータが提供するように構成してもよい。また、通信端末装置１にインストールされたアプリケーションプログラムを実行することによって仮想空間を生成し、仮想空間に係る画像を表示するように構成してもよい。

【0014】

通信端末装置１は、ユーザの環境及び指位置を示すデータを感覚提示データ提供装置３へ送信し、当該環境及び指位置に応じて感覚提示データ提供装置３から提供される画像データ及び音声データを受信し、仮想オブジェクトに対してユーザが感じる視覚的又は聴覚的刺激を提示する装置である。通信端末装置１は、例えば表示部１３及び音声出力部１４を有するスマートフォン、タブレット端末、ラップトップ型のＰＣ（Personal Computer）等である。これらの端末は一例であり、表示機能、音声出力機能及び通信機能を有する装置であれば、通信端末装置１の構成は特に限定されるものではない。表示機能も特に限定されるものではなく、スクリーンへの投影、ユーザへの網膜投影、虚像投影など、仮想オブジェクトを視覚的に提示できる機器であれば、特に限定されるものでは無い。例えば、ＨＭＤ（Head Mounted Display）、プロジェクタ、３Ｄホログラムディスプレイなどであってもよい。

【0015】

触覚提示装置２は、感覚提示データ提供装置３から提供される触覚データを、通信端末装置１を介して受信し、仮想オブジェクトに対してユーザが感じる触覚を提示する装置である。触覚提示装置２は、ユーザの操作によって変位する変位部２０２と、変位部２０２に変位抵抗を付与することによって仮想オブジェクトの触覚を提示するＭＲＦ（Magneto-Rheological Fluid）デバイス２４とを備える。磁気粘性流体（RMF: Magneto-Rheological Fluid）は磁性粒子を分散媒体に分散させた流体であり、磁場が加えられると粘度が変化する特性を有する。触覚提示装置２は、磁気粘性流体に与える磁場を制御することによって仮想オブジェクトの感触を提示する。磁気粘性流体を用いた触覚提示は一例であり、触覚提示機能を有する装置であれば、触覚提示装置２の構成は特に限定されるものではない。例えば、超音波、圧電素子等を用いて触覚提示を行う触覚提示装置であってもよい。

【0016】

図１に示す仮想オブジェクト触覚提示システム１００では、通信端末装置１と、触覚提示装置２と、感覚提示データ提供装置３とが連携して動作し、ユーザの環境及び指位置に応じた仮想オブジェクトを視聴覚的及び触覚的に提示する。感覚提示データ提供装置３は、ユーザの環境及び指位置に応じた仮想オブジェクトの触覚データ、画像データ及び音声データを通信端末装置１に提供する。通信端末装置１は、仮想オブジェクトを画像及び音声によって提示すると共に、触覚提示装置２にて仮想オブジェクトの触覚を提示する。

【0017】

＜仮想オブジェクト触覚提示システム１００の詳細＞
図２は、実施形態１に係る仮想オブジェクト触覚提示システム１００の構成例を示すブロック図である。通信端末装置１は、制御部１０、端末記憶部１１、通信部１２、表示部１３、音声出力部１４、操作部１５及び無線通信部１６を備える。

【0018】

制御部１０は、ＣＰＵ（Central Processing Unit）及び／又はＧＰＵ（Graphics Processing Unit）等の演算回路、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の内部記憶装置、Ｉ／Ｏ端子、計時部等を有するプロセッサである。制御部１０には、端末記憶部１１、通信部１２、表示部１３、音声出力部１４、操作部１５及び無線通信部１６が接続されている。制御部１０は、端末記憶部１１が記憶する触覚提示用の制御プログラムを実行することにより、感覚提示データ提供装置３にアクセスし、感覚提示データ提供装置３とが連携して仮想オブジェクトを視聴覚的又は触覚的に提示する処理を実行する。

【0019】

端末記憶部１１は、フラッシュメモリ、ＳＳＤ（Solid State Drive ）等の不揮発性メモリである。端末記憶部１１は、制御部１０が参照するデータを記憶する。制御プログラムは、例えば通信部１２を介して外部のプログラムサーバ装置からダウンロードして実行可能に記憶したものである。

【0020】

通信部１２は、３Ｇ（Generation）回線、４Ｇ回線、ＬＴＥ（Long Term Evolution）回線等を介して、通話音声及び各種データの送受信を行う通信モジュール（通信回路）、又はＩＥＥＥ８０２．１１規格、ＷｉＦｉ規格に準拠した無線通信を行う無線ＬＡＮ通信モジュール（無線通信回路）である。制御部１０は、通信部１２を介して感覚提示データ提供装置３との間でデータを送受信する。

【0021】

表示部１３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイである。表示部１３は例えば、タッチパネル内蔵型ディスプレイである。表示部１３は、制御部１０の処理に従って、仮想オブジェクトを視覚的に提示する画像、各種操作画面を表示する。なお、表示部１３は、スクリーンへの投影、ユーザへの網膜投影、虚像投影などを行う投影装置であってもよい。

【0022】

音声出力部１４は、スピーカ等である。音声出力部１４は、制御部１０の制御に従って、仮想オブジェクトを聴覚的に提示する音声を出力する。

【0023】

操作部１５は、ユーザインタフェースである。操作部１５は、例えば、表示部１３に内蔵されたタッチパネルである。操作部１５は、ハードウェアボタン、キーを有する入力装置であってもよい。制御部１０は、操作部１５を介してユーザの操作を受け付け、受け付けた操作内容を示すデータを制御部１０に与える。

【0024】

無線通信部１６は、近距離無線通信、例えばBluetooth（登録商標）の通信モジュール（近接通信回路）である。制御部１０は、無線通信部１６を介して触覚提示装置２との間でデータを送受信する。なお、無線通信部１６は有線で通信する回路であってもよい。

【0025】

触覚提示装置２は、図１に示すようにユーザによって把持及び操作される把持体２００と、図２に示す触覚制御部２０と、触覚データ記憶部２１と、無線通信部２２と、電源部２３と、ＭＲＦデバイス２４と、変位センサ２５とを備える。なお、図２に示す触覚制御部２０、電源部２３等の制御及び給電に係る回路は、把持体２００と一体的に構成してもよいし、別体で構成して有線又は無線で接続してもよい。

【0026】

把持体２００は、中空円板状のケーシング２０１と、変位部２０２と、結束具２０３と、リンク機構２０４とを含む。ケーシング２０１は磁気粘性流体と、回転軸を有するロータとを収納している。ロータは円板状の部材であり、磁気粘性流体で満たされたケーシング２０１の内部で回転する。ロータは、磁気粘性流体による回転抵抗力を受ける。また、把持体２００には、磁気粘性流体に磁場を印加するための電磁石（不図示）が設けられており、電磁石は、磁気粘性流体及びロータ等と共にＭＲＦデバイス２４を構成している。具体的には、電磁石は、隙間を空けて円板状のロータを挟むように配されたヨークと、ヨークに設けられたコイルとを有する。コイルに電流が流れると磁界が発生し、磁気粘性流体の粘度（ずり応力）が変化し、回転軸に加わる回転抵抗力が与えられる。

【0027】

変位部２０２は、ケーシング２０１の周面の一部に沿うように湾曲した帯状平板の部材である。変位部２０２の基端部は、変位部２０２の先端部がケーシング２０１から接離する方向に移動することができるように、支軸によってケーシング２０１に回動可能に支持されている。変位部２０２の先端部外側の面には、ユーザの指を結束するための結束具２０３が設けられている。結束具２０３はリングをなす帯状の部材である。変位部２０２の先端部と、ロータの回転軸とは、リンク機構２０４によって連結している。リンク機構２０４は、ケーシング２０１に対して接近又は離反する変位部２０２の運動を、回転軸の回転運動に変換して伝達する機構である。

【0028】

触覚制御部２０は、ＣＰＵ、ＭＰＵ（Micro-Processing Unit ）等のプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリを含む。触覚制御部２０は、例えばマイクロコントローラである。

【0029】

触覚データ記憶部２１は、触覚制御部２０に対する補助記憶メモリであり、触覚データを記憶する。また、触覚データ記憶部２１は、ＭＲＦデバイス２４の制御データを書き換え可能に記憶する。なお、触覚データ記憶部２１は不揮発性メモリであってもよいし、揮発性メモリであってもよい。

【0030】

無線通信部２２は、近距離無線通信、例えばBluetooth（登録商標）の通信モジュール（近接通信回路）である。触覚制御部２０は、無線通信部２２によって通信端末装置１との間でデータを送受信する。なお、無線通信部２２は有線で通信する回路であってもよい。

【0031】

電源部２３は、充電可能なバッテリを含む。電源部２３は、触覚制御部２０の制御に従って、ＭＲＦデバイス２４の電磁石へ電流を供給する。また、電源部２３は、各構成部に必要な電力を供給する。

【0032】

ＭＲＦデバイス２４の構成は上記の通りであり、電源部２３から供給される電流によって、ロータの回転軸に回転抵抗力が与えられる。電流の大きさが変化すると、回転抵抗力が変更される。

【0033】

変位センサ２５は、把持体２００における変位部２０２の変位量を測定して触覚制御部２０へ出力する。具体的には、変位センサ２５は、ケーシング２０１に対する変位部２０２の回動角度を測定し、測定された角度を示すデータを触覚制御部２０へ出力する。触覚制御部２０は、該データを指位置データとして取得する。指位置データは無線通信部２２によって通信端末装置１へ送信される。変位センサ２５は、ジャイロセンサ、加速度センサ等の複数のセンサから構成されてもよい。

【0034】

このように構成された把持体２００によれば、ユーザは把持体２００を把持し、指を開閉動作させることによって、触覚刺激を得ることができる。例えば、ユーザは、図１に示すように、ケーシング２０１を親指と中指とで掴み、人差し指を変位部２０２に沿わせて結束具２０３に挿入することによって、把持体２００を把持することができる。ユーザは指を閉じることによって、変位部２０２をケーシング２０１に近接する方向へ移動させることができる。ユーザは指を開けることによって、変位部２０２をケーシング２０１から離反する方向へ移動させることができる。

【0035】

触覚制御部２０は、変位センサ２５によって変位部２０２の変位量を測定し、変位量に応じた電流をＭＲＦデバイス２４へ供給することによって、ユーザの変位部２０２への操作に対する反力（抵抗力）を生じさせ、触覚を提示することができる。詳細は以下の通りである。
変位部２０２の変位運動はリンク機構２０４を介してＭＲＦデバイス２４のロータの回転軸へ回転運動として伝達される。回転軸及びロータは、ＭＲＦデバイス２４が動作していない場合、即ち制御電流がゼロである場合、磁気粘性流体の粘度は低く、変位部２０２は抵抗なく変動する。ＭＲＦデバイス２４が動作し、制御電流が供給されている場合、ＭＲＦデバイス２４へ流れる電流の大きさに応じてＭＲＦデバイス２４内部の磁気粘性流体の粘度が増加し、変位部２０２は抵抗力を受ける。触覚制御部２０は、ＭＲＦデバイス２４へ供給する電流の大きさを変更することによって、変位部２０２に対する抵抗力の大きさ及びその出現方法を変更することができる。

【0036】

触覚提示装置２は、変位部２０２の変位量、つまりユーザの指位置に応じて、抵抗力を変動させることによって、ヌルリとした触覚を提示したり、ギュッとした固さの触覚を提示したり、抵抗力の大小を繰り返してザクザクとした触覚を提示したりすることができる。

【0037】

感覚提示データ提供装置３は、処理部３０、記憶部３１、通信部３２を備えたコンピュータである。感覚提示データ提供装置３は、ウェブサーバ、データベースサーバ、仮想空間提供サーバとして機能する。なお、感覚提示データ提供装置３は、複数台のコンピュータで構成し分散処理する構成でもよいし、１台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよいし、クラウドサーバによって実現されていてもよいし、一部を量子コンピュータで構成してもよい。

【0038】

処理部３０は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）等の演算処理装置を有し、記憶部３１に記憶されたコンピュータプログラムＰを読み出して実行することにより、実施形態１に係る感覚提示データ提供方法に係る処理を実行する。

【0039】

記憶部３１は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ等の記憶装置である。記憶部３１は、感覚提示データ提供方法に係る処理を処理部３０に実行させるためのコンピュータプログラムＰを記憶している。コンピュータプログラムＰは、記録媒体４にコンピュータ読み取り可能に記録されている態様でも良い。記憶部３１は、図示しない読出装置によって記録媒体４から読み出されたコンピュータプログラムＰを記憶する。記録媒体４はフラッシュメモリ等の半導体メモリ、光ディスク、磁気ディスク、磁気光ディスク等である。また、通信網Ｎに接続されている図示しない外部サーバから実施形態１に係るコンピュータプログラムＰをダウンロードし、記憶部３１に記憶させる態様であってもよい。
また、記憶部３１は、触覚ＤＢ（Data Base）３１ａ、画像ＤＢ３１ｂ、音声ＤＢ３１ｃ、ユーザ管理ＤＢ３１ｄ、オブジェクト定義ＤＢ３１ｅを記憶する。各種データベースの詳細は後述する。

【0040】

通信部３２は、通信網Ｎを介して通信端末装置１と通信するための通信モジュール（通信回路）である。処理部３０は、通信部３２を介して通信端末装置１との間でデータを送受信する。通信部３２は、仮想オブジェクトを提示する触覚データ、画像データ及び音声データを出力する出力部の一例である。

【0041】

図３は、実施形態１に係るデータベースのレコードレイアウトを示す概念図である。図３Ａは触覚ＤＢ３１ａ、図３Ｂは画像ＤＢ３１ｂ、図３Ｃは音声ＤＢ３１ｃ、図３Ｄはユーザ管理ＤＢ３１ｄ、図３Ｅはオブジェクト定義ＤＢ３１ｅの構成を示している。

【0042】

触覚ＤＢ３１ａは、ユーザの指位置を示す指位置データと、仮想オブジェクトを触覚的に提示するために、当該指位置において出力すべき触覚データとを対応付けた複数の触覚データテーブルを、当該テーブルを識別するための触覚テーブルＩＤに対応付けて格納している。指位置データは、触覚提示装置２における変位部２０２の位置、すなわち角度を示すデータである。触覚データは、触覚提示装置２のＭＲＦデバイス２４に流す電流値を示すデータである。

【0043】

画像ＤＢ３１ｂは、ユーザの指位置を示す指位置データと、仮想オブジェクトを視覚的に提示するために、当該指位置において出力すべき画像データとを対応付けた複数の画像データテーブルを、当該テーブルを識別するための画像テーブルＩＤに対応付けて格納している。複数の画像データは、例えば触覚提示装置２における変位部２０２の位置毎に用意されたフレーム画像のデータである。フレーム画像は、指又は変位部２０２の位置変化に応じて連続的に表示されることによって、仮想オブジェクトのアニメーション画像として認識される、一枚の静止画像である。

【0044】

音声ＤＢ３１ｃは、ユーザの指位置を示す指位置データと、仮想オブジェクトを聴覚的に提示するために、当該指位置において出力すべき音声データとを対応付けた複数の画像データテーブルを、当該テーブルを識別するための音声テーブルＩＤに対応付けて格納している。聴覚データは、触覚提示装置２における変位部２０２の位置によって異なる音声波形データであってもよい。変位部２０２の位置に対応する音声データのタイムスタンプであってもよい。

【0045】

ユーザ管理ＤＢ３１ｄは、ユーザＩＤと、認証情報と、設定データとを対応付けて格納している。認証情報は、感覚提示データ提供装置３にアクセスするユーザを認証するための情報である。認証情報は例えばパスワードである。設定データは、触覚提示装置２のキャリブレーション情報、ユーザの身体的個人差に関する各種調整値を含む。例えば、設定データには、指位置と、触覚データ、画像データ及び音声データとの対応関係を調整するための調整値が含まれる。

【0046】

オブジェクト定義ＤＢ３１ｅは、仮想オブジェクトを定義するための定義データを格納している。具体的には、オブジェクト定義ＤＢ３１ｅは、オブジェクトＩＤに対応付けて仮想空間ＩＤ、環境データ、触覚テーブルＩＤ、画像テーブルＩＤ、音声テーブルＩＤ等を対応付けて格納している。仮想空間ＩＤは、仮想オブジェクトが存在する仮想空間を識別するＩＤである。環境データは、仮想空間におけるユーザの位置及び周囲の環境を示すデータである。仮想オブジェクトの状態は環境によって変化するものであり、環境データは当該環境における仮想オブジェクトを特定するための情報である。触覚テーブルＩＤ、画像テーブルＩＤ及び音声テーブルＩＤは、仮想空間ＩＤが示す仮想空間において、環境データが示す環境にある仮想オブジェクトを提示するために出力すべき、触覚データ、画像データ及び音声データを格納したテーブルをそれぞれ示すＩＤである。オブジェクト定義ＤＢ３１ｅは、環境データを定めるパラメータが複数ある場合、パラメータの組み合わせ毎に触覚テーブルＩＤ、画像テーブルＩＤ及び音声テーブルＩＤを対応付けて記憶している。
なお、仮想オブジェクトの定義方法は特に限定されるものでは無く、テーブル形式でなくても良い。環境データに応じた各テーブルの組み合わせをＸＭＬ（Extensible Markup Language）にて記述してもよい。また、環境データに対して各テーブルのＩＤを返す関数であってもよい。

【0047】

図４は、実施形態１に係る感覚提示データ提供方法を示す概念図、図５は、実施形態１に係る感覚提示データ提供方法に係る処理手順を示すフローチャートである。通信端末装置１の制御部１０は、感覚提示データ提供装置３によって認証され、感覚提示データ提供装置３との通信が確立しているものとする。また、ユーザは通信端末装置１を用いて仮想空間に入場しているものとする。感覚提示データ提供装置３は、通信確立時に発行したセッションＩＤにより通信を管理しており、セッションＩＤには、ユーザＩＤと、ユーザが入場している仮想空間を示す仮想空間ＩＤとが対応付けられた状態にある。なお、セッションＩＤを用いた通信管理は一例である。

【0048】

通信端末装置１の制御部１０は、ユーザの環境データを取得する（ステップＳ１１１）。例えば、制御部１０は、仮想空間提供サーバにアクセスし、ユーザのアバターが存在する位置、仮想空間におけるアバター周囲の外界の状態（仮想空間における明るさ、天候など）を示すデータを環境データとして取得する。
制御部１０は、リアル空間におけるユーザの位置及び外界の状態を示すデータを、環境データとして取得してもよい。例えば、ユーザが所持するＧＰＳ通信機、ＧＰＳ機能を有するスマートフォン等から、ユーザの位置を示すデータを環境情報として取得することができる。ユーザが所持する明るさセンサ、温度センサ、湿度センサ、高度センサ、電子コンパスを搭載する機器から、ユーザの周囲の温度、湿度、高度、方位等を示すデータを、環境データとして取得してもよい。

【0049】

そして、制御部１０は、セッションＩＤ及び環境データを通信部１２にて感覚提示データ提供装置３へ送信する（ステップＳ１１２）。通信端末装置１は、常時、定期的に環境データを感覚提示データ提供装置３へ送信するように構成してもよいし、ユーザの環境が変化した際に環境データを感覚提示データ提供装置３へ送信するように構成してもよい。

【0050】

感覚提示データ提供装置３の処理部３０は、通信端末装置１から送信されたセッションＩＤ及び環境データを通信部３２にて受信する（ステップＳ１５１）。処理部３０は、セッションＩＤに対応付けられたユーザＩＤ及び仮想空間ＩＤを特定し、ユーザＩＤを用いて設定データをユーザ管理ＤＢ３１ｄから読み出す（ステップＳ１５２）。
なお、感覚提示データ提供装置３は、ユーザに代わって仮想空間提供サーバにアクセスする権限が付与されている場合、セッションＩＤに対応付けられたユーザの情報に基づいて仮想空間提供サーバにアクセスし、ユーザの環境データを取得するように構成してもよい。

【0051】

次いで、処理部３０は、仮想空間ＩＤ及び環境データをキーにして、ユーザ環境に応じた触覚データテーブルを、触覚ＤＢ３１ａから抽出する（ステップＳ１５３）。また、処理部３０は、仮想空間ＩＤ及び環境データをキーにして、ユーザ環境に応じた画像データテーブルを、画像ＤＢ３１ｂから抽出する（ステップＳ１５４）。更に、処理部３０は、仮想空間ＩＤ及び環境データをキーにして、ユーザ環境に応じた音声データテーブルを、音声ＤＢ３１ｃから抽出する（ステップＳ１５５）。

【0052】

次いで、処理部３０は、抽出した各テーブルデータを、ユーザの設定データに基づいて調整する（ステップＳ１５６）。例えば、設定データは、変位量と、画像データ、音声データ、触覚データとの対応関係をシフトさせる補正データを含む。画像データテーブルの変位量θと、画像データ（θ）とが対応付けられている場合、補正データΔθにより、変位量（θ＋Δθ）と、画像データ（θ）とを対応付ける補正を行うことができる。音声データ及び触覚データについても同様である。なお、補正データの内容は一例であり、その他、通信端末装置１及び触覚提示装置２の機器特性に応じた補正を行うためのデータであってもよい。なお、処理部３０は、環境データに含まれるパラメータを用いて、各テーブルデータの値を調整してもよい。

【0053】

処理部３０は、抽出及び調整された各テーブルデータを、セッションＩＤに対応付けて記憶部３１に記憶させる。

【0054】

一方、通信端末装置１の制御部１０は、触覚提示装置２と無線通信を行い、変位センサ２５にてユーザの指位置を常時監視し、指位置データを取得する（ステップＳ１１３）。そして、制御部１０は、指位置が変化した場合、セッションＩＤ及び指位置データを含むリクエストデータを感覚提示データ提供装置３へ送信する（ステップＳ１１４）。リクエストデータは、指位置に応じた、触覚データ、画像データ及び音声データを要求するデータである。なお、通信端末装置１は、触覚データ、画像データ及び音声データのいずれか一つ又は２つを要求するリクエストデータを送信することもできる。
なお、指位置が変化していなくても、指位置の変化を想定し、変化後の指位置データに対応する触覚データ、画像データ及び音声データを要求し、バッファリングするように構成してもよい。本実施形態１では指位置の変位量（角度）は一方向に増減する構成であるため、現在の指位置から所定量ずつ増減させた指位置を、変化後の指位置として予測することができる。

【0055】

感覚提示データ提供装置３の処理部３０は、通信端末装置１から送信されるリクエストデータを受信した場合、当該リクエストデータに含まれるセッションＩＤに対応する触覚データテーブル、画像データテーブル及び音声データテーブルを特定し、特定された各テーブルから、リクエストデータに含まれる指位置データに対応する触覚データ、画像データ及び音声データを取得する（ステップＳ１５７）。リクエストデータが、触覚データ、画像データ又は音声データのいずれか一つ又は２つを要求するものである場合、要求されたデータを選択的に取得する。

【0056】

処理部３０は、取得した触覚データ、画像データ及び音声データを、通信部３２にて通信端末装置１へ送信する（ステップＳ１５８）。リクエストデータが、触覚データ、画像データ又は音声データのいずれか一つ又は２つを要求するものである場合、要求されたデータを選択的に送信する。
処理部３０は、触覚データ、画像データ及び音声データを送信する際、所定の優先順位又はユーザによって指定された優先順位に従って順に送信するように構成してもよい。例えば、処理部３０は、画像データ、音声データ及び触覚データの順で送信する。

【0057】

通信端末装置１の制御部１０は、感覚提示データ提供装置３から送信された触覚データ、画像データ及び音声データを受信し、受信した画像データ及び音声データに基づいて、指位置に応じた仮想オブジェクトの画像及び音声を再生する（ステップＳ１１５）。つまり、制御部１０は、仮想オブジェクトの画像を表示部１３に表示し、音声を音声出力部１４にて出力する。

【0058】

また、制御部１０は、触覚データを無線通信部１６にて触覚提示装置２へ送信することによって、仮想オブジェクトの触覚提示を行う（ステップＳ１１６）。触覚提示装置２は、通信端末装置１から無線送信された触覚データを受信し、受信した触覚データを触覚データ記憶部２１に記憶する。触覚制御部２０は、受信した触覚データに基づいて、電源部２３からＭＲＦデバイス２４へ供給する電流の大きさを制御することによって、触覚を提示する。

【0059】

通信端末装置１及び感覚提示データ提供装置３の制御部１０及び処理部３０は、上記処理を繰り返し実行することによって、仮想オブジェクトの画像及び音声を再生すると共に、仮想オブジェクトの触覚をユーザに提示することができる。

【0060】

以上のように構成された実施形態１に係る感覚提示データ提供装置３等によれば、仮想オブジェクトを視聴覚的及び触覚的に提示する画像データ、音声データ及び触覚データをユーザの指位置に応じてオンラインでリアルタイムに提供することができる。

【0061】

感覚提示データ提供装置３は、仮想オブジェクトを視聴覚及び触覚的に提示するためのデータを、触覚ＤＢ３１ａ、音声ＤＢ３１ｃ及び画像ＤＢ３１ｂの３つのデータベースで構成することによって、データベースをコンパクトに構成することができる。各データベースに格納されたデータテーブルを組み合わせることによって、種々の仮想オブジェクトを提示するためのテーブルを作成することができる。

【0062】

感覚提示データ提供装置３は、仮想空間及びユーザの環境に応じて変化する、触覚データテーブル、画像データテーブル及び音声データテーブルを構成して用意することができる。感覚提示データ提供装置３は、通信端末装置１からのリクエストに対して、仮想空間及びユーザの環境に応じたデータテーブルを用いて、指位置に対応した触覚データ、画像データ及び音声データを通信端末装置１に提供することができる。

【0063】

感覚提示データ提供装置３は、ユーザ設定に応じて調整された触覚データテーブル、画像データテーブル及び音声データテーブルを構成して用意することができる。感覚提示データ提供装置３は、通信端末装置１からのリクエストに対して、仮想空間及びユーザの環境並びにユーザ設定に応じたデータテーブルを用いて、指位置に対応した触覚データ、画像データ及び音声データを通信端末装置１に提供することができる。

【0064】

感覚提示データ提供装置３は、要求に応じて、触覚データ、画像データ及び音声データのいずれか一つ又は２つを選択的に提供することができる。

【0065】

なお、本実施形態１では、主に通信端末装置１から送信される環境データに基づいて、仮想オブジェクトのデータテーブルが変化する例を説明したが、感覚提示データ提供装置３が他の装置から取得する環境データ又は自装置が生成する環境データに基づいて、仮想オブジェクトを提示するデータテーブルの組み合わせを変化させるように構成してもよい。

【0066】

また、仮想オブジェクトを提示するデータテーブルの組み合わせを環境データに応じて変化させる処理は必須のものでは無く、環境に依存しない静的なものであってもよい。

【0067】

（実施形態２）
実施形態２に係る仮想オブジェクト触覚提示システム１００は、ユーザが関わる環境と、その他の外部環境に基づいて、触覚データテーブル、画像データテーブル、音声データテーブルを動的に変化させ、触覚データ、画像データ及び音声データを通信端末装置１へ提供する点が実施形態１と異なる。仮想オブジェクト触覚提示システム１００のその他の構成は、実施形態１と同様であるため、同様の箇所には同じ符号及びステップ番号を付し、詳細な説明を省略する。

【0068】

実施形態２に係るオブジェクト定義ＤＢ３１ｅは、オブジェクトＩＤに対応付けて仮想空間ＩＤ、環境データ、外部環境データ、触覚テーブルＩＤ、画像テーブルＩＤ、音声テーブルＩＤ等を対応付けて格納している。外部環境データは、例えばユーザと同じ仮想空間にいる他のユーザ（同じ仮想空間ＩＤを有するユーザ）の環境データ、仮想オブジェクトの作成者から提供されるデータ、仮想環境提供サーバからイベント的に提供されるデータ等が挙げられるが、特に限定されるものではない。

【0069】

図６は、実施形態２に係る感覚提示データ提供方法に係る処理手順を示すフローチャートである。実施形態２に係る感覚提示データ提供装置３の処理部３０は、ユーザから得られる環境データとは別に外部環境データを取得する（ステップＳ２５０）。処理部３０は、実施形態１と同様について、セッションＩＤ及び環境データを受信し（ステップＳ２５１）、ユーザの各種設定データを読み出す（ステップＳ２５２）。次いで、処理部３０は、仮想空間ＩＤ、環境データ及び外部環境データをキーにして、ユーザ環境及び外部環境に応じた触覚データテーブルを、触覚ＤＢ３１ａから抽出する（ステップＳ２５３）。また、処理部３０は、仮想空間ＩＤ、環境データ及び外部環境データをキーにして、ユーザ環境及び外部環境に応じた画像データテーブルを、画像ＤＢ３１ｂから抽出する（ステップＳ２５４）。更に、処理部３０は、仮想空間ＩＤ、環境データ及び外部環境データをキーにして、ユーザ環境及び外部環境に応じた音声データテーブルを、音声ＤＢ３１ｃから抽出する（ステップＳ２５５）。以下の処理（ステップＳ１５６～）は実施形態１と同様である。

【0070】

実施形態２に係る感覚提示データ提供装置３等によれば、ユーザの環境及び外部環境に応じて変化する仮想オブジェクトを視聴覚的及び触覚的に提示する画像データ、音声データ及び触覚データをユーザの身体部位の位置に応じてオンラインでリアルタイムに提供することができる。

【符号の説明】

【0071】

１ 通信端末装置
２ 触覚提示装置
３ 感覚提示データ提供装置
４ 記録媒体
３０ 処理部
３１ 記憶部
３１ａ 触覚ＤＢ
３１ｂ 画像ＤＢ
３１ｃ 音声ＤＢ
３１ｄ ユーザ管理ＤＢ
３１ｅ オブジェクト定義ＤＢ
３２ 通信部
１００ 仮想オブジェクト触覚提示システム
Ｐ コンピュータプログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】