IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特開2023-166549情報処理装置、情報処理方法、およびプログラム
<>
  • 特開-情報処理装置、情報処理方法、およびプログラム 図1
  • 特開-情報処理装置、情報処理方法、およびプログラム 図2
  • 特開-情報処理装置、情報処理方法、およびプログラム 図3
  • 特開-情報処理装置、情報処理方法、およびプログラム 図4
  • 特開-情報処理装置、情報処理方法、およびプログラム 図5A
  • 特開-情報処理装置、情報処理方法、およびプログラム 図5B
  • 特開-情報処理装置、情報処理方法、およびプログラム 図6
  • 特開-情報処理装置、情報処理方法、およびプログラム 図7
  • 特開-情報処理装置、情報処理方法、およびプログラム 図8
  • 特開-情報処理装置、情報処理方法、およびプログラム 図9
  • 特開-情報処理装置、情報処理方法、およびプログラム 図10
  • 特開-情報処理装置、情報処理方法、およびプログラム 図11
  • 特開-情報処理装置、情報処理方法、およびプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023166549
(43)【公開日】2023-11-21
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
   G06F 3/01 20060101AFI20231114BHJP
【FI】
G06F3/01 560
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023147919
(22)【出願日】2023-09-12
(62)【分割の表示】P 2020525590の分割
【原出願日】2019-06-11
(31)【優先権主張番号】P 2018116258
(32)【優先日】2018-06-19
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】横山 諒
(72)【発明者】
【氏名】荻田 猛史
(72)【発明者】
【氏名】福馬 洋平
(72)【発明者】
【氏名】山野 郁男
(57)【要約】      (修正有)
【課題】1つの触覚刺激部であっても触覚刺激の知覚位置の調整を行う情報処理装置、方法及びプログラムを提供する。
【解決手段】情報処理装置20は、身体に装着された触覚提示デバイス10の少なくとも1の触覚刺激部130からの触覚提示制御を行う触覚提示制御部204を備え、触覚提示制御部は、触覚刺激部の位置と、身体における目標知覚位置と、触覚刺激部の位置の身体箇所、目標知覚位置及びその周辺の身体箇所における伝達特性情報と、に応じて、触覚刺激部から出力する振動の周波数を変更させる。
【選択図】図2
【特許請求の範囲】
【請求項1】
身体に装着された少なくとも1の触覚刺激部に対して振動の出力制御を行う出力制御部を備え、
前記出力制御部は、前記触覚刺激部の位置と、前記身体における目標知覚位置と、前記触覚刺激部の位置の身体箇所及び前記目標知覚位置及びその周辺の身体箇所における伝達特性情報と、に応じて、前記触覚刺激部から出力する振動の周波数を変更する、
情報処理装置。
【請求項2】
前記触覚刺激部は手首に固定されており、
前記出力制御部は、前記目標知覚位置が指先付近の場合、前記周波数を所定の閾値よりも高く制御する、請求項1に記載の情報処理装置。
【請求項3】
前記出力制御部は、前記目標知覚位置が前記指先付近の場合、前記周波数を200Hz~300Hzに制御する、請求項2に記載の情報処理装置。
【請求項4】
前記触覚刺激部は手首に固定されており、
前記出力制御部は、前記目標知覚位置が前記手首付近の場合、前記周波数を所定の閾値よりも低く制御する、請求項1に記載の情報処理装置。
【請求項5】
前記出力制御部は、前記目標知覚位置が前記手首付近の場合、前記周波数を50Hz~150Hzに制御する、請求項4に記載の情報処理装置。
【請求項6】
前記出力制御部は、
前記触覚刺激部の前記身体への押圧具合に応じて、前記振動の出力強度を調整する、
請求項1~5のいずれか1項に記載の情報処理装置。
【請求項7】
前記出力制御部は、
前記身体の状態に応じて、前記触覚刺激部から出力する振動の周波数を変更する、
請求項1~6のいずれか1項に記載の情報処理装置。
【請求項8】
前記出力制御部は、
手が開いていると検出された場合と、手が閉じていると検出された場合とで、前記触覚刺激部から出力する振動の周波数を変更する、
請求項7に記載の情報処理装置。
【請求項9】
前記出力制御部は、
視覚情報または聴覚情報の出力制御と合わせて、前記触覚刺激部からの振動の出力制御を行う、
請求項1~8のいずれか1項に記載の情報処理装置。
【請求項10】
プロセッサが、
身体に装着された少なくとも1の触覚刺激部に対して振動の出力制御を行うことと、
前記触覚刺激部の位置と、前記身体における目標知覚位置と、前記触覚刺激部の位置の身体箇所及び前記目標知覚位置及びその周辺の身体箇所における伝達特性情報と、に応じて、前記触覚刺激部から出力する振動の周波数を変更することと、を含む、
情報処理方法。
【請求項11】
コンピュータを、
身体に装着された少なくとも1の触覚刺激部に対して振動の出力制御を行う出力制御部として機能させ、
前記出力制御部は、前記触覚刺激部の位置と、前記身体における目標知覚位置と、前記触覚刺激部の位置の身体箇所及び前記目標知覚位置及びその周辺の身体箇所における伝達特性情報と、に応じて、前記触覚刺激部から出力する振動の周波数を変更する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
従来、振動などの触覚刺激をユーザに提示するための技術が各種提案されている。
【0003】
例えば、下記特許文献1では、ユーザが装着する洋服に配置した複数の触覚刺激部から振動を発生させ、知覚位置を移動させる技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2018/008217号
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した先行技術では、複数の触覚刺激部の各出力強度を制御することで身体上の知覚位置の移動を実現しているが、1つの触覚刺激部のみを用いた場合はそのような知覚位置の移動の実現は困難であった。
【0006】
そこで、本開示では、1つの触覚刺激部であっても触覚刺激の知覚位置の調整を行うことが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、身体に装着された少なくとも1の触覚刺激部に対して振動の出力制御を行う出力制御部を備え、前記出力制御部は、前記触覚刺激部の位置と、前記身体における目標知覚位置と、前記触覚刺激部の位置の身体箇所及び前記目標知覚位置及びその周辺の身体箇所における伝達特性情報と、に応じて、前記触覚刺激部から出力する振動の周波数を変更する、情報処理装置を提案する。
【0008】
本開示によれば、プロセッサが、身体に装着された少なくとも1の触覚刺激部に対して振動の出力制御を行うことと、前記触覚刺激部の位置と、前記身体における目標知覚位置と、前記触覚刺激部の位置の身体箇所及び前記目標知覚位置及びその周辺の身体箇所における伝達特性情報と、に応じて、前記触覚刺激部から出力する振動の周波数を変更することと、を含む、情報処理方法を提案する。
【0009】
本開示によれば、コンピュータを、身体に装着された少なくとも1の触覚刺激部に対して振動の出力制御を行う出力制御部として機能させ、前記出力制御部は、前記触覚刺激部の位置と、前記身体における目標知覚位置と、前記触覚刺激部の位置の身体箇所及び前記目標知覚位置及びその周辺の身体箇所における伝達特性情報と、に応じて、前記触覚刺激部から出力する振動の周波数を変更する、プログラムを提案する。
【発明の効果】
【0010】
以上説明したように本開示によれば、1つの触覚刺激部であっても触覚刺激の知覚位置の調整を行うことが可能となる。
【0011】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0012】
図1】本開示の一実施形態による情報処理システムの概要について説明する図である。
図2】本実施形態による情報処理システムに含まれる情報処理装置および触覚提示デバイスの構成の一例を示すブロック図である。
図3】本実施形態による周波数に応じた伝達特性情報の一例を示す図である。
図4】本実施形態による振動方向に応じた振動伝達について説明するための図である。
図5A】本実施形態による触覚提示デバイスを手首に装着して振動を発生させた場合の触覚効果の知覚の一例について説明する図である。
図5B】本実施形態による手首付近と指先付近における振動刺激の知覚強度の特性の一例を示す図である。
図6】本実施形態による触覚刺激の出力制御の流れの一例を示すフローチャートである。
図7】本手首以外の身体部位に触覚提示デバイスを装着して触覚刺激を提示した場合の一例について説明する図である。
図8】本実施形態による本実施形態による触覚提示デバイスの身体への締め付け構造の一例を示す図である。
図9】本実施形態による複数の触覚刺激部で身体を挟み込んで触覚刺激を提示する場合について説明する図である。
図10】本実施形態による触覚提示デバイスが複数の触覚刺激部を有する場合における振動の位相合わせの一例について説明する図である。
図11】本実施形態による触覚提示デバイスが複数の触覚刺激部を有する場合における振動の位相合わせの一例について説明する図である。
図12】本実施形態による手の状態検出の一例について説明する図である。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0014】
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成例
2-1.情報処理装置20の構成
2-2.触覚提示デバイス10の構成
3.動作処理
4.応用例
4-1.他の身体部位への適用
4-2.触覚提示デバイス10の身体への締め付け構造
4-3.振動の位相合わせ
4-4.手の状態に応じた触覚刺激の提示制御
4-5.その他
5.まとめ
【0015】
<<1.本開示の一実施形態による情報処理システムの概要>>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理システムでは、例えば図1に示すようにユーザの手首に装着された触覚提示デバイス10から所定周波数の振動を出力することで、身体の特性により、ユーザの掌や指先に触覚刺激を知覚させる。触覚提示デバイス10には、少なくとも1つの触覚刺激部130が設けられている。実施形態による触覚提示デバイス10では、1つの触覚刺激部130からの振動出力であっても、触覚刺激部130の接触位置(例えば手首)から離れた位置(例えば指先や掌等)を知覚位置300とすることができる。
【0016】
このように、触覚提示デバイス10の接触位置から離れた位置で触覚刺激を知覚させることができるため、例えば手の現実的な触覚や機能を邪魔することなく、掌や指先に触覚刺激を提示することが可能となる。
【0017】
また、本実施形態による触覚提示デバイス10は、少なくとも1つの触覚刺激部130からの振動出力により、知覚位置を、手首から掌や指先等に移動させることができる。このように1つの触覚刺激部130を用いて知覚位置の移動を実現することで、装置の小型化や、低コスト化、軽量化等を実現できる。
【0018】
身体の特性に基づく知覚位置の調整制御の詳細については、図3図5を参照して後述する。
【0019】
また、本実施形態の触覚提示デバイス10による触覚刺激は、拡張現実による視覚刺激または/および聴覚刺激と共に提示するようにしてもよい。例えば図1に示すように、ユーザの頭部に装着されたメガネ型のHMD(Head Mounted Display)(情報処理装置20の一例)により、ユーザの眼前に位置するメガネのレンズ部分に設けられた表示部に、ユーザの手からビームや波動が放出されるAR画像40(3D画像等)を表示すると共に、触覚提示デバイス10により振動を出力する制御を行い、ビームや波動の表示(視覚刺激)と共に、ユーザの掌や指先に触覚を知覚させる。これにより、まるでビームや波動が実際に掌から放出されているような感覚をユーザに提示することが可能となり、よりリアリティのある拡張現実を実現することができる。なお情報処理装置20は、さらにビームや波動の効果音を出力する音声制御を行うことで、拡張現実の臨場感を高めることも可能である。音声出力は、情報処理装置20や周囲のスピーカ装置(不図示)、または、ユーザが装着するイヤホン等から再生される。
【0020】
なお、視覚刺激は、HMDによるAR画像の表示に限定されず、例えばプロジェクタによる画像投影であってもよい。
【0021】
以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成について図面を参照して説明する。
【0022】
<<2.構成例>>
図2は、本実施形態による情報処理装置20および触覚提示デバイス10の構成の一例を示すブロック図である。以下、各装置の構成について説明する。
【0023】
<2-1.情報処理装置20の構成>
図2に示すように、情報処理装置20は、制御部200、通信部210、情報入力部220、表示部230、および記憶部240を有する。
【0024】
(制御部200)
制御部200は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置20内の動作全般を制御する。制御部200は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部200は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
【0025】
また、本実施形態による制御部200は、図2に示すように、特性情報取得部201、表示制御部202、出力パラメータ算出部203、および触覚提示制御部204としても機能する。
【0026】
特性情報取得部201は、触覚提示デバイス10が装着されている身体箇所(接触位置)と目標知覚位置(身体上における所定の位置情報)の周辺やその間における身体の特性情報を記憶部240から取得する。接触位置は予め登録されていてもよいし、触覚提示デバイス10の種別に応じて判断してもよい。例えば手首装着用、脛装着用、または腹部装着用など、装着位置が予め設定されている触覚提示デバイス10の場合、例えば触覚提示デバイス10のIDを受信して接触位置(装着位置)を判断してもよい。目標知覚位置は、ユーザの動きや表示部230における表示内容(表示位置を含む)に応じて判断される。例えば、HMDの表示部230により空中に表示した操作画面(AR画像)に対してユーザが画面をタップする動作を行った場合、ユーザの指先を目標知覚位置とし、指先に振動を知覚させることで空中でのタップ感を提示する。ユーザの動きは、例えば情報処理装置20に設けられた外向きカメラや距離センサから取得した情報や、触覚提示デバイス10に設けられたモーションセンサ(不図示)から取得した情報を解析し、制御部200により認識され得る。
【0027】
取得する身体の特性情報には、例えば、伝達特性情報が含まれる。伝達特性情報とは、身体における振動の伝達に関する情報である。ここで、図3に、本実施形態による周波数に応じた振動伝達特性情報の一例を示す。図3に示す例は、例えば50Hz~300Hzの振動を手首に提示した場合の人体(手首、指根本、および指先)の振動伝達特性を、伝達率で表したものである。図3に示すように、例えば50Hz~150Hzの低域で振動を提示した場合、手首付近で最も強い振動が発生する。一方、200Hz~300Hzの高域で振動を提示すると、指先付近で最も強い振動が発生する。すなわち、低域の振動では指先まで伝わらないが、高域の振動は多少減衰はするが指先まで伝わることが分かる。このような現象は、50Hz~150Hzの低域の場合は、主に人体の肉を媒体として振動が伝搬し易く、200Hz~300Hzの高域の場合は、主に人体の骨を媒体として振動が伝搬し易いためと推定される。なお、50Hz~150Hz付近を「低域」、200Hz~300Hz付近を「高域」と称しているが、これらの数値、範囲は一例であって、本実施形態はこれに限定されない。また、ここでは一例として低域と高域の範囲の間を空けているが、これにより、低域での振動による触覚効果の知覚位置と、高域での振動による触覚効果の知覚位置との違いを認識し易くすることが可能となる。しかしながら、本実施形態は低域と高域の範囲を離隔させることに限定しない。例えば知覚位置を接触位置から遠くへ移動させる際に、50Hzから300Hz(数値は一例)に連続的に周波数を変化させるようにしてもよい。
【0028】
このような振動伝達特性情報に基づき、制御部200は、振動の周波数を制御することで、目標知覚位置を調整することが可能となる。また、制御部200は、提示する振動の周波数を経時的に変化させることで、触覚効果の知覚位置を移動させる(例えば手首付近から指先付近の間で移動させる)ことが可能となる。
【0029】
また、振動伝達特性情報の一例として、触覚刺激部130の振動方向に応じた振動伝達に関する情報も含まれる。図4は、本実施形態による振動方向に応じた振動伝達について説明するための図である。例えば振動周波数が高域(一例として200~300Hz付近)のとき、図4左に示すように、振動方向を身体表面に対して垂直方向とした場合、振動(触覚効果)は、指先付近でより強く知覚される(知覚位置310参照)。また、振動周波数が高域のときに、図4右に示すように、振動方向を水平方向とした場合、振動は、手首付近でより強く知覚される(知覚位置320参照)。このような現象は、振動が人体を伝播する際に、水平方向の振動よりも、垂直方向の振動の方が人体に吸収され難いためである。
【0030】
このような振動伝達特性情報に基づき、制御部200は、提示する振動の振動方向を制御することで、目標知覚位置を調整することが可能となる。また、制御部200は、提示する振動の振動方向を経時的に変化(例えば垂直方向から水平方向、または、水平方向から垂直方向に変化)させることで、振動周波数を変化させることなく、触覚効果の知覚位置を移動(例えば手首付近から指先付近の間を移動)させることができる。
【0031】
また、取得する身体の特性情報には、知覚特性情報が含まれていてもよい。知覚特性情報とは、身体における振動等の触覚刺激の知覚(皮膚感覚)に関する情報である。例えば図5Aに示すように、手首に装着した触覚刺激部130から200Hz付近の周波数で振動を出力した場合、振動は人体の骨を媒体として手全体の広域に伝搬し、特に指先で最も強く知覚される。本実施形態による知覚特性情報としては、このような人体のどの部位がどの周波数範囲の振動を知覚し易いかに関する情報が、一例として挙げられる。
【0032】
なお、人体部位によって皮膚感覚が異なるのは、皮膚を構成する組織上の様相が異なるためである。一般的に、皮膚に分配される感覚受容器のうち、特に触覚刺激に反応するのは4種類の触覚受容器であるが、各種触覚受容器は、主に反応する振動刺激の周波数範囲が異なる。これら各種触覚受容器が身体の皮膚表皮や深部に分布しているため、人体部位によって反応し易い振動刺激の周波数範囲が異なることとなる。このような知覚特性に基づき、例えば身体部位において異なる刺激を与えた際に人間が同じ刺激であると判断する刺激量、より具体的には、振動刺激において異なる周波数を与えた際に人間が同じ刺激(等しい振動の大きさ(dB))であると判断する曲線を示した等感度曲線(equal sensation)といったものが知られている。
【0033】
図5Bに、手首付近と指先付近における振動刺激の知覚強度の特性の一例を示す。かかる知覚強度の特性は、上述した等感度曲線に基づいて生成されてもよい。なお、図5Bに示す知覚強度の特性は一例であって、振動刺激周波数と知覚強度の関係はこれに限定されない。一例として、図5Bに示すような知覚特性情報が得られた場合、手首付近は、100Hz付近の振動刺激周波数がより強く知覚され、指先付近は、200Hz付近の振動刺激周波数がより強く知覚されることが分かる。
【0034】
これにより、制御部200は、出力周波数を制御して知覚位置を調整することが可能となる。また、制御部200は、出力周波数を変化させて触覚効果の知覚位置を移動させる(例えば手首付近から指先付近の間で移動させる)ことが可能となる。
【0035】
表示制御部202は、表示部230における画像の表示制御を行う。表示制御部202は、記憶部240または通信部210を介してネットワーク上から取得したコンテンツデータに基づいて表示画像を表示部230に描画し得る。例えば表示制御部202は、コンテンツデータに基づき、ユーザ動作、位置情報、または周辺環境等の状況に応じて、AR画像(3Dまたは2D画像、静止画、動画等)の表示を行うよう制御する。
【0036】
出力パラメータ算出部203は、触覚提示デバイス10における触覚刺激部130からの振動刺激出力に関するパラメータを算出する。具体的には、出力パラメータ算出部203は、ユーザの動きや表示部230における表示内容(表示位置)に基づく目標知覚位置と、(触覚刺激部130の)接触位置と、それらの間の振動伝達特性情報や知覚特性情報に基づいて、触覚刺激部130からの触覚刺激の出力パラメータ(出力強度、周波数、振動方向等)を算出する。
【0037】
触覚提示制御部204は、触覚提示デバイス10における触覚刺激部130からの触覚提示制御を行う。具体的には、触覚提示制御部204は、出力パラメータ算出部203により算出された出力パラメータ(出力強度、周波数、振動方向等)を、触覚刺激の制御信号として、通信部210から触覚提示デバイス10に送信するよう制御する。また、触覚提示制御部204は、上述したように拡張現実の視覚情報や聴覚情報の出力と合わせて触覚情報をユーザに提示することで、より効果的にリアリティを感じさせることが可能となる。例えば、触覚提示制御部204は、表示部230からの視覚情報の出力や、音声出力部(不図示)からの聴覚情報の出力の内容に合わせて、触覚提示デバイス10から所定の触覚刺激を提示するよう制御する。
【0038】
(通信部210)
通信部210は、有線または無線により外部装置と接続し、外部装置とデータの送受信を行う。例えば通信部210は、有線/無線LAN(Local Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、3G(第3世代の移動体通信方式))等の通信方式により接続するネットワークを介して、若しくはWi-FiやBluetooth等の無線または有線の通信方式により直接、触覚提示デバイス10と通信接続し、触覚提示デバイス10とデータの送受信を行ってもよい。
【0039】
(情報入力部220)
情報入力部220は、情報処理装置20への各種情報の入力を受け付ける。例えば情報入力部220は、ユーザによる操作入力を受け付ける操作入力部、音声入力を受け付ける音声入力部を含む。操作入力部は、例えばタッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。また、情報入力部220は、マイクロホン、カメラ、センサ等を含み、各種センシングデータを取得する。カメラは、例えばユーザの視界や周辺環境を取得するための外向きカメラと、ユーザの視線情報等を検出するためユーザの眼を撮像する内向きカメラとが含まれていてもよい。また、センサは、例えばモーションセンサ(加速度センサ、ジャイロセンサ、地磁気センサ)、超音波センサ、赤外線センサ、距離センサ、生体センサ(脈拍、心拍、血圧、発汗、体温、呼吸、瞬き、筋電値、脳波等)、位置センサ等が挙げられる。これらのセンサデータやカメラデータ、音声データは、ユーザの動作や周辺環境の認識等に用いられる。
【0040】
(表示部230)
表示部は、表示制御部202の制御に従って、AR画像等を表示する。情報処理装置20が拡張現実情報の提示を行う装置(例えばメガネ型のHMD)の場合、実世界に仮想の3D物体等を重畳表示する表示部230として、光学透過型ディスプレイまたはビデオ透過型ディスプレイが用いられる。
【0041】
また、出力パラメータ算出部203は、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(Electro Luminescence)ディスプレイなどの表示装置であってもよい。
【0042】
(記憶部240)
記憶部240は、制御部200の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
【0043】
以上、本実施形態による情報処理装置20の構成について具体的に説明した。情報処理装置20は、図1に示すようなHMDに限定されず、スマートフォン、携帯電話端末、タブレット端末、または専用端末等により実現されてもよい。
【0044】
また、情報処理装置20の構成は、図2に示す例に限定されない。例えば、情報処理装置20が複数の装置により構成されていてもよいし、情報処理装置20が図2に示す全ての構成を必ずしも有していなくともよい。また、情報処理装置20が、さらにスピーカ(音声出力部)を有していてもよいし、表示部230がプロジェクタにより実現されていてもよい。また、情報処理装置20が、外部のスピーカ(環境側スピーカ、ユーザに装着されているスピーカ等)に対して音響データを送信して音声出力制御を行ってもよい。
【0045】
また、図2に示す制御部200の各構成の少なくとも一部が外部装置(PC、スマートフォン、タブレット端末、サーバ等)により実現されてもよい。また、情報処理装置20が、コンテンツデータ(映像データ、音響データ、触覚データ)を主に処理する装置(HMD、PC、スマートフォン、タブレット端末、サーバ等)と、触覚提示デバイス10への(触覚刺激)制御信号を、目標知覚位置や伝達特性情報、知覚特性情報に応じて主に補正する処理を行う装置(HMD、PC、スマートフォン、タブレット端末、サーバ等)とにより実現されていてもよい。
【0046】
<2-2.触覚提示デバイス10の構成>
図2に示すように、本実施形態による触覚提示デバイス10は、通信部110、制御部120、および触覚刺激部130を有する。
【0047】
(制御部120)
制御部120は、演算処理装置および制御装置として機能し、各種プログラムに従って触覚提示デバイス10内の動作全般を制御する。制御部120は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部120は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
【0048】
例えば、制御部120は、通信部110により情報処理装置20から受信した制御信号に従って(所定の周波数、出力強度、振動方向で)触覚刺激部130を制御し、触覚刺激(具体的には、振動)を提示する。
【0049】
(通信部110)
通信部110は、有線または無線により外部装置と接続し、外部装置とデータの送受信を行う。通信部110は、例えば有線/無線LAN(Local Area Network)、またはWi-Fi(Wireless Fidelity、登録商標)、Bluetooth等により情報処理装置20と通信接続し、制御信号を受信する。
【0050】
(触覚刺激部130)
触覚刺激部130は、アクチュエータや電気刺激により触覚刺激(具体的には、振動)を提示する機能を有する。
【0051】
以上、本実施形態による触覚提示デバイス10の構成について具体的に説明した。なお図2に示す触覚提示デバイス10の構成は一例であって、本実施形態はこれに限定されない。図示していないが、触覚提示デバイス10は、記憶部を有していてもよい。記憶部は、制御部120の処理に用いられるプログラムや演算パラメータ等を記憶するROM、および適宜変化するパラメータ等を一時記憶するRAMにより実現される。
【0052】
また、触覚提示デバイス10は、モーションセンサ、生体センサ、カメラ、マイク等の各種センサを備えていてもよい。触覚提示デバイス10は、各種センサにより取得したセンシングデータを情報処理装置20に送信する。送信されたセンシングデータは、情報処理装置20において、例えばユーザ動作(手のジェスチャ等)の認識に用いられる。
【0053】
また、情報処理装置20の制御部200に含まれる出力パラメータ算出部203や触覚提示制御部204を、触覚提示デバイス10の制御部120により実現してもよい。その際、情報処理装置20が、伝達特性情報や知覚特性情報を有していてもよい。
【0054】
<<3.動作処理>>
続いて、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。図6は、本実施形態による触覚刺激の出力制御の流れの一例を示すフローチャートである。
【0055】
図6に示すように、まず、情報処理装置20の制御部200は、身体上の目標知覚位置と、(触覚刺激部130の)接触位置とを取得する(ステップS103)。
【0056】
次に、情報処理装置20の出力パラメータ算出部203は、接触位置との間の伝達特性情報と知覚特性情報に基づいて、触覚刺激提示の出力パラメータ(具体的には、振動の出力周波数、強度、振動方向等)を算出する(ステップS106)。
【0057】
次いで、情報処理装置20の触覚提示制御部204は、算出された出力パラメータを触覚提示デバイス10に送信し、触覚提示デバイス10の触覚刺激部130からの触覚刺激の出力制御を行う(ステップS109)。
【0058】
以上、本実施形態による動作処理の一例を説明した。なお図6に示す動作処理は一例であって、本開示は図6に示す例に限定されない。
【0059】
また、図6に示す動作処理は、触覚刺激の出力制御のみが記載されているが、情報処理装置20は、併せて表示制御や音声出力制御を行ってもよい。
【0060】
例えば情報処理装置20は、ユーザ動作(例えばゲームプレイ中における攻撃動作等)に応じて、表示制御部202により、表示部230にユーザ動作に応じたAR画像の表示制御を行うと共に、目標知覚位置を判断し、触覚提示制御部204により触覚刺激の提示制御を行う。例えばユーザの攻撃動作により手からビームや波動が放出されるようなAR画像を表示する際は、触覚提示制御部204は、ユーザの掌や指先で触覚効果が知覚されるよう、ユーザの手首に装着された触覚提示デバイス10による振動刺激の周波数や振動方向を制御する。また、情報処理装置20は、AR画像の表示に応じて、ユーザの掌から指先に触覚効果の知覚位置が移動するよう、周波数や振動方向を経時的に変化させる制御を行ってもよい。
【0061】
また、情報処理装置20は、表示部230により空中に表示した操作画面等のAR画像に対してユーザがタップ操作を行っている際、タップ操作のタイミングでユーザの指先に触覚効果を知覚させるよう制御することで、空中でのタップ感を提示することが可能である。
【0062】
これらにより、拡張現実のリアリティ感を、より効果的に提供することが可能となる。
【0063】
<<4.応用例>>
続いて、本実施形態の応用例について説明する。
【0064】
<4-1.他の身体部位への適用>
上述した実施形態では、手首に触覚提示デバイス10を装着した場合の例について説明したが、本実施形態はこれに限定されず、他の身体部位へ装着して、同様に、接触位置周辺または接触位置から離れた位置に触覚効果を知覚させることも可能である。
【0065】
図7は、手首以外の身体部位に触覚提示デバイス10を装着して触覚刺激を提示した場合の一例について説明する図である。図7左に示すように、例えば、触覚刺激を「すね」で提示した場合(すなわち触覚提示デバイス10を「すね」に装着した場合)、50~150Hz等の低域の振動では、すねやふくらはぎ周辺で触覚効果が知覚される。また、200~300Hz等の高域の振動では、振動が骨を伝播して臀部や大腿の広域に広がり、特に足の付け根(骨盤)当たりがより強く知覚され得る。
【0066】
また、図7右に示すように、例えば、触覚刺激を「アバラ骨下部」で提示した場合(すなわち触覚提示デバイス10を「アバラ骨下部」に装着した場合)、50~150Hz等の低域の振動では、アバラ骨下部や腹部周辺で触覚効果が知覚される。また、200~300Hz等の高域の振動では、振動が骨を伝播してアバラ骨全域に広がり、知覚され得る。
【0067】
<4-2.触覚提示デバイス10の身体への締め付け構造>
続いて、本実施形態による触覚提示デバイス10の身体への締め付け構造について説明する。触覚提示デバイス10は、身体により近い位置で、触覚刺激部130を身体へ押し付けることが可能な構造が好ましい。触覚刺激部130を身体へ押し付けることで、より効率的に触覚刺激の身体への提示(例えば、振動の身体への伝搬)を行うことが可能となる。
【0068】
ここで、図8に、本実施形態による触覚提示デバイス10の身体への締め付け構造の一例を示す。図8に示すように、例えば手首に装着する触覚提示デバイス10において、触覚刺激部130を含む筐体全体を身体へ押し付けるようベルト部150を取り付けることで、ベルト部150の締め付け圧力により触覚刺激部130を身体へ押し付けることが可能となる。なお、ベルト部150の筐体への取り付け構造は特に限定しないが、例えば図8下段に示すように、筐体の側面に設けた突起部160をベルト部150により上方から押圧する構造であってもよい。
【0069】
これにより、触覚刺激部130が身体から離れてしまうことを防止し、触覚刺激を身体に伝播し易くすることができる。
【0070】
なお、このようなベルト部150による締め付け具合に応じて、触覚刺激の身体への伝搬率も変動する。そこで、触覚提示デバイス10の制御部120は、例えばベルト部150の締め付け具合(すなわち、触覚刺激部130の身体への押し付け具合(押圧力、接触圧力))をセンサにより検知し、センシング結果に基づいて、触覚刺激の出力強度を調整してもよい。
【0071】
<4-3.振動の位相合わせ>
また、本実施形態による触覚提示デバイス10は、複数の触覚刺激部130を有していてもよい。例えば触覚提示デバイス10は、図9に示すように、複数の触覚刺激部130(130a、130b)で身体を挟み込んで触覚刺激(振動)を提示する構成であってもよい(なお図9に示す例ではベルト部等の構成の図示は省略する)。
【0072】
この場合、触覚提示デバイス10の制御部120は、振動の位相を合わせる制御を行うことで、知覚強度を最大化させることが可能である。振動の位相合わせについて、以下図10図11を参照して説明する。
【0073】
図10および図11は、本実施形態による触覚提示デバイス10が複数の触覚刺激部130を有する場合における振動の位相合わせの一例について説明する図である。図10に示すように、例えば第1の触覚刺激部130aの出力波形と、第2の触覚刺激部130bの出力波形が、逆になっている場合、身体に発生する振動は打ち消されてしまう。
【0074】
一方、図11左に示すように、例えば第1の触覚刺激部130aのみから振動を出力した場合(例えば1つしか触覚刺激部130が設けられていない場合)、手首自体の重さにより、身体に発生する振動は少し減衰することが想定される。
【0075】
そこで、本実施形態による制御部120は、図11右に示すように、第1の触覚刺激部130aの出力波形と、第2の触覚刺激部130bの出力波形とを合わせることで、身体に発生する振動の減衰を防止し、振動強度を最大化させることができる。
【0076】
<4-4.手の状態に応じた触覚刺激の提示制御>
また、本実施形態による触覚提示デバイス10は、手首に装着されている際に、手の状態を検出し、手の状態に応じて触覚刺激の提示制御を行うことで、より確実に、意図通りの触覚刺激を提示(振動を伝播)することを可能とする。
【0077】
例えば手首に装着された触覚提示デバイス10により、掌や指先に触覚刺激を知覚させる場合、上述したように、振動は主に骨を伝播して広がるが、手が握られている(閉じている)場合は、手が広げられた(開かれた)場合と比較し、密度が大きくなり震え難くなる。
【0078】
そこで、本実施形態による触覚提示デバイス10は、手の状態を検出し、手の状態に応じた適切な触覚刺激の提示制御、具体的には、出力強度の大きさや周波数の調整を行うことで、触覚刺激の提示を最適化することができる。
【0079】
手の状態の検出手法は特に限定しないが、例えば、手の状態に応じて変化する伝達特性を監視して判断することが可能である。例えば触覚提示デバイス10は、加速度センサによって共振周波数を測定し、その測定結果に基づいて手の状態を判断し得る。より具体的には、手が開いた場合は共振周波数が高くなり、手が閉じた場合は共振周波数が低くなるため、触覚提示デバイス10は、かかる共振周波数の変化に基づいて、手の状態(開いているか、閉じているか)を判断することが可能である。以下、図12を参照して説明する。
【0080】
図12は、本実施形態による手の状態検出の一例について説明する図である。図12に示すように、例えば触覚提示デバイス10は、触覚刺激部130と加速度センサ140を有し、触覚刺激部130で振動を発生させながら加速度センサ140により共振周波数を測定し、その変化を解析して手の状態を推定することが可能である。なお図12に示す例では、ベルト部等の構成の図示は省略している。また、共振周波数測定のための振動の発生は、触覚刺激部130と別体の触覚刺激部(例えば振動アクチュエータ)により行ってもよい。
【0081】
例えば目標知覚位置が指先の場合、触覚提示デバイス10は、手が開いている場合は振動を指先まで伝達させるために高周波(例えば200Hz以上)を主信号として触覚刺激部130から振動を出力する。一方、手が閉じている場合、指先までは振動が伝わり難いため、触覚提示デバイス10の接触位置周辺(手首等)に振動を提示すべく低周波(例えば200Hz未満)を主信号として触覚刺激部130から振動を出力するようにしてもよい。
【0082】
また、触覚提示デバイス10は、手が開いているときと比較し、手が閉じている場合は密度が大きくなり震え難くなるため、手が閉じている場合の振動出力強度を、所定値より大きくするようにしてもよい。
【0083】
以上説明したように、本実施形態では、手の状態に応じた振動知覚の変化に対し、提示する振動周波数特性を変化させることで、最適化することが可能となる。
【0084】
なお、手の大きさや、密度(筋肉量等に起因)、触覚刺激部130の身体への接触圧力(例えば図9に示すようなリストバンド型の場合における、バンドの締め付け圧力)によっても、振動の伝導率が異なるため、触覚提示デバイス10は、共振周波数を逐次測定して、様々な条件に対して最適化した提示制御を行うことが可能である。
【0085】
また、ここでは一例として手首に装着した触覚提示デバイス10により手の状態を検出して触覚刺激の提示制御を最適化する場合について説明したが、本実施形態はこれに限定されず、他の身体部位の状態を適宜検出して同様に触覚刺激の提示制御を最適化することも可能である。例えば、すねに装着した触覚提示デバイス10により、膝の曲がり具合や姿勢を検出して触覚刺激の提示制御を最適化してもよいし、上腕部に装着した触覚提示デバイス10により、腕の曲がり具合を検出して触覚刺激の提示制御を最適化してもよい。
【0086】
<4-5.その他>
また、本実施形態による触覚提示デバイス10は、手首の太さ等の身体的特徴に基づいて振動の伝達のし易さを予め推定し、推定結果に基づいて、振動強度や振動周波数を調整してもよい。手首の太さは、例えば図9に示すようなリストバンド型の場合におけるバンドを腕に巻き付けた際にセンサ等で検知し得る。
【0087】
また、触覚提示デバイス10は、バッテリ残量が少ないときには、伝達のし易さよりも、消費電力の小さい周波数帯域を優先的に選択したり、振動強度を弱めたりしてもよい。
【0088】
また、触覚提示デバイス10は、触覚制御信号に対して、触覚刺激部130(例えば振動アクチュエータ)の出力周波数特性を吸収するフィルター処理を行うことで、想定通りに伝達し易い振動周波数や強度を選択してもよい。
【0089】
また、触覚提示デバイス10は、触覚刺激部130(例えば振動アクチュエータ)やバッテリの発熱が大きくなった場合は、低温やけどを回避するために、触覚刺激(例えば振動)を抑制するようにしてもよい。
【0090】
また、触覚提示デバイス10は、触覚刺激部130の身体への接触圧力(例えば図9に示すようなリストバンド型の場合における、バンドの締め付け圧力に起因)によって、身体への振動の伝導率が異なるため、触覚提示デバイス10は、接触圧力やバンドの締め付け具合を逐次測定し、振動周波数や強度を調整し、適宜、最適化した提示制御を行うことが可能である。
【0091】
また、上述した実施形態では、高域の周波数が主に骨を伝播する旨を説明したが、高域周波数の伝播の媒体は骨に限定されず、例えば高域周波数を伝播し易い部材を用いてもよい。これにより、より広範囲に振動を伝達させることが可能となる。
【0092】
また、本実施形態による触覚提示デバイス10を、床や椅子等に設け、床や椅子を媒体としてユーザの身体に触覚刺激を提示することも可能である。この場合、触覚提示デバイス10は、媒体の伝達特性に応じて、周波数や振動方向を制御し、触覚提示デバイス10の接触位置や、接触位置から離れた位置等、所定の知覚位置に、触覚刺激を提示することが可能となる。
【0093】
<<5.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、1つの触覚刺激部であっても触覚刺激の知覚位置の調整を行うことが可能となる。
【0094】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0095】
例えば、上述した情報処理装置20、または触覚提示デバイス10に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理装置20、または触覚提示デバイス10の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【0096】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0097】
なお、本技術は以下のような構成も取ることができる。
(1)
少なくとも1の触覚刺激部に対して振動の出力制御を行う出力制御部を備え、
前記出力制御部は、前記触覚刺激部の位置と、所定の位置情報と、に応じて、前記触覚刺激部から出力する振動の周波数を変更する、
情報処理装置。
(2)
前記所定の位置情報は、身体における目標知覚位置であり、
前記情報処理装置は、
前記触覚刺激部の身体への接触位置と、前記目標知覚位置との間における身体特性に応じて、前記触覚刺激部から出力する振動の周波数を算出する算出部をさらに備える、
前記(1)に記載の情報処理装置。
(3)
前記身体特性は、身体の振動伝達特性情報または知覚特性情報を少なくとも含む、前記(2)に記載の情報処理装置。
(4)
前記知覚特性情報は、身体部位における知覚し易い周波数範囲を示す情報である、前記(3)に記載の情報処理装置。
(5)
前記出力制御部は、
前記目標知覚位置と前記接触位置との間における前記振動伝達特性情報または前記知覚特性情報の少なくともいずれかに応じて、前記触覚刺激部から出力する振動の周波数を、所定の低域の範囲または所定の高域の範囲に変更する、
前記(3)または(4)に記載の情報処理装置。
(6)
前記出力制御部は、
前記目標知覚位置と前記接触位置との間における前記振動伝達特性情報または前記知覚特性情報の少なくともいずれかに応じて、前記触覚刺激部から出力する振動の振動方向を、身体に対して垂直方向または水平方向に変更する、
前記(3)~(5)のいずれか1項に記載の情報処理装置。
(7)
前記出力制御部は、
前記触覚刺激部の身体への押圧具合に応じて、前記振動の出力強度を調整する、
前記(2)~(6)のいずれか1項に記載の情報処理装置。
(8)
前記出力制御部は、
身体の状態に応じて、前記触覚刺激部から出力する振動の周波数を変更する、
前記(2)~(7)のいずれか1項に記載の情報処理装置。
(9)
前記出力制御部は、
手が開いていると検出された場合、前記触覚刺激部から出力する振動の周波数を、所定の高域の範囲に変更する、
手が閉じていると検出された場合、前記触覚刺激部から出力する振動の周波数を、所定の低域の範囲に変更する、
前記(8)に記載の情報処理装置。
(10)
前記出力制御部は、
前記身体を挟んで設けられる複数の前記触覚刺激部から出力する振動の位相を合わせる制御を行う、
前記(2)~(9)のいずれか1項に記載の情報処理装置。
(11)
前記出力制御部は、
視覚情報または聴覚情報の出力制御と合わせて、前記触覚刺激部からの振動の出力制御を行う、
前記(2)~(10)のいずれか1項に記載の情報処理装置。
(12)
プロセッサが、
少なくとも1の触覚刺激部に対して振動の出力制御を行うことと、
前記触覚刺激部の位置と、所定の位置情報と、に応じて、前記触覚刺激部から出力する振動の周波数を変更することと、を含む、
情報処理方法。
(13)
コンピュータを、
少なくとも1の触覚刺激部に対して振動の出力制御を行う出力制御部として機能させ、
前記出力制御部は、前記触覚刺激部の位置と、所定の位置情報と、に応じて、前記触覚刺激部から出力する振動の周波数を変更する、
プログラム。
【符号の説明】
【0098】
10 触覚提示デバイス
110 通信部
120 制御部
130 触覚刺激部
140 加速度センサ
150 ベルト部
20 情報処理装置
200 制御部
201 特性情報取得部
202 表示制御部
203 出力パラメータ算出部
204 触覚提示制御部
210 通信部
220 情報入力部
230 表示部
240 記憶部
300 知覚位置
図1
図2
図3
図4
図5A
図5B
図6
図7
図8
図9
図10
図11
図12