IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 豊田合成株式会社の特許一覧

<>
  • 特開-触感提示システム、及びプログラム 図1
  • 特開-触感提示システム、及びプログラム 図2
  • 特開-触感提示システム、及びプログラム 図3
  • 特開-触感提示システム、及びプログラム 図4
  • 特開-触感提示システム、及びプログラム 図5
  • 特開-触感提示システム、及びプログラム 図6
  • 特開-触感提示システム、及びプログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024112146
(43)【公開日】2024-08-20
(54)【発明の名称】触感提示システム、及びプログラム
(51)【国際特許分類】
   G06F 3/01 20060101AFI20240813BHJP
   G06F 3/04815 20220101ALI20240813BHJP
   G06F 3/041 20060101ALI20240813BHJP
【FI】
G06F3/01 560
G06F3/04815
G06F3/01 510
G06F3/041 480
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023017030
(22)【出願日】2023-02-07
(71)【出願人】
【識別番号】000241463
【氏名又は名称】豊田合成株式会社
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】藤原 武史
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA27
5E555AA76
5E555BA04
5E555BA38
5E555BB38
5E555BE16
5E555BE17
5E555CA28
5E555CA29
5E555DA08
5E555DA11
5E555DA24
5E555FA00
(57)【要約】
【課題】仮想オブジェクト等に付与する所望の触感を探索する作業を容易に行うことができる触感提示システムを提供する。
【解決手段】触感提示システム10は、オブジェクトを表示する表示部11と、振動に基づく触感をユーザーに提示する触感提示部12と、記憶部13と、表示制御部41と、触感制御部42とを備える。表示制御部41は、表示情報及び触覚情報が記憶部13に記憶されている複数のオブジェクトから選択されたオブジェクトである特定オブジェクトを表示部11に表示させる。触感制御部42は、特定オブジェクトの触覚情報に基づく触感をユーザーに提示するように触感提示部12を動作させる。
【選択図】図1
【特許請求の範囲】
【請求項1】
オブジェクトを表示する表示部と、
振動に基づく触感をユーザーに提示する触感提示部と、
複数の前記オブジェクトに関して、前記オブジェクトを前記表示部に表示させるための表示情報、及び前記オブジェクトの触感を前記触感提示部により提示するための触覚情報を記憶する記憶部と、
前記記憶部に前記表示情報及び前記触覚情報が記憶されている複数の前記オブジェクトから選択された前記オブジェクトである特定オブジェクトを前記表示部に表示させる表示制御部と、
前記特定オブジェクトの前記触覚情報に基づく触感を前記ユーザーに提示するように前記触感提示部を動作させる触感制御部と、を備える触感提示システム。
【請求項2】
前記表示部は、表示面を有する非装着型の表示デバイスであり、
前記表示制御部は、前記表示面内を動くように前記特定オブジェクトを表示させ、
前記触感制御部は、前記触感提示部の装着部位が任意の点において前記特定オブジェクトに接触しているとみなして、前記特定オブジェクトの移動方向に応じた触感を前記ユーザーに提示するように前記触感提示部を動作させる請求項1に記載の触感提示システム。
【請求項3】
前記表示制御部は、前記任意の点である仮想接触点を前記表示面内に表示させる請求項2に記載の触感提示システム。
【請求項4】
前記表示制御部は、前記表示面内で回転するように前記特定オブジェクトを表示させ、
前記触感制御部は、前記表示面内で前記特定オブジェクトが回転している場合、前記特定オブジェクトの表面のざらつきを前記ユーザーに提示するように前記触感提示部を動作させる請求項2又は請求項3に記載の触感提示システム。
【請求項5】
前記表示制御部は、前記表示面内で前記任意の点に対して接近離間する方向に移動するように前記特定オブジェクトを表示させ、
前記触感制御部は、前記表示面内で前記特定オブジェクトが前記接近離間する方向に移動している場合、前記特定オブジェクトの表面の粘弾性を前記ユーザーに提示するように前記触感提示部を動作させる請求項2又は請求項3に記載の触感提示システム。
【請求項6】
前記ユーザーにおける前記触感提示部の装着部位の位置情報を取得する位置情報取得部をさらに備え、
前記表示部は、前記特定オブジェクトをバーチャルリアリティ又はオーグメンテッドリアリティにより表示する表示デバイスであり、
前記触感制御部は、前記表示部により表示されている前記特定オブジェクトに対して、前記ユーザーが前記装着部位にて触れる動作を行った場合、前記位置情報取得部により取得された前記位置情報に基づく前記装着部位の移動方向に応じた触感を前記ユーザーに提示するように前記触感提示部を動作させる請求項1に記載の触感提示システム。
【請求項7】
前記触感制御部は、前記装着部位の移動方向が前記特定オブジェクトの表面に沿った方向である場合、前記特定オブジェクトの表面のざらつきを前記ユーザーに提示するように前記触感提示部を動作させる請求項6に記載の触感提示システム。
【請求項8】
前記触感制御部は、前記装着部位の移動方向が前記特定オブジェクトの表面に対する法線方向である場合、前記特定オブジェクトの表面の粘弾性を前記ユーザーに提示するように前記触感提示部を動作させる請求項6に記載の触感提示システム。
【請求項9】
表示部にオブジェクトを表示させるとともに、ユーザーに装着された触感提示部を、前記オブジェクトの触感を前記ユーザーに付与するように動作させるための制御装置としてコンピュータを機能させるためのプログラムであって、
前記コンピュータは、複数の前記オブジェクトに関して、前記オブジェクトを前記表示部に表示させるための表示情報、及び前記オブジェクトの触感を表現するための触覚情報を記憶する記憶部に接続されており、
前記記憶部に前記表示情報及び前記触覚情報が記憶されている複数の前記オブジェクトから選択された前記オブジェクトである特定オブジェクトを前記表示部に表示させる処理と、
前記特定オブジェクトの前記触覚情報に基づく触感を前記ユーザーに付与するように前記触感提示部を動作させる処理と、を前記コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、触感提示システム、及びプログラムに関する。
【背景技術】
【0002】
相互作用コンピュータアプリケーション、遠隔ロボット工学、娯楽、医療等の技術分野において、ユーザーに対して触感をフィードバックする触感提示装置を適用する研究が進められている。触感提示装置は、ユーザーに対して振動などの刺激を付与することによって任意の触感を認識させる。例えば、特許文献1には、振動子の振動を触感として認識させるウェアラブルな触感提示装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2018/092595号
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、バーチャルリアリティ(VR)又はオーグメンテッドリアリティ(AR)により表示される仮想オブジェクトには、ユーザーに実物のように認識させるためのリアリティが求められる。仮想オブジェクトのリアリティを向上させる方法として、仮想オブジェクトに対して、その表面に設定される模様や画像などの視覚情報に加えて、触覚情報を組み合わせて付与することが考えられる。
【0005】
仮想オブジェクトに付与された触覚情報は、特定の触感を提示するように触感提示装置を動作させるための情報である。触感提示装置を装着したユーザーが仮想オブジェクトに触れたタイミングで、仮想オブジェクトに付与された触覚情報に基づいて触感提示装置を動作させることにより、仮想オブジェクトの触感をユーザーに認識させることができる。
【0006】
触覚情報が付与された仮想オブジェクトを作成する場合、クリエイターは、視覚情報が付与された仮想オブジェクトに触覚情報を付与する作業を行う。当該作業において、クリエイターが意図する特定の認識をユーザーに与えることのできる触覚情報を適切に選択することは難しい。
【課題を解決するための手段】
【0007】
上記課題を解決する態様を記載する。
[態様1]
オブジェクトを表示する表示部と、振動に基づく触感をユーザーに提示する触感提示部と、複数の前記オブジェクトに関して、前記オブジェクトを前記表示部に表示させるための表示情報、及び前記オブジェクトの触感を前記触感提示部により提示するための触覚情報を記憶する記憶部と、前記記憶部に前記表示情報及び前記触覚情報が記憶されている複数の前記オブジェクトから選択された前記オブジェクトである特定オブジェクトを前記表示部に表示させる表示制御部と、前記記憶部に記憶されている複数の前記オブジェクトから選択された前記オブジェクトである特定オブジェクトを前記表示部に表示させる表示制御部と、前記特定オブジェクトの前記触覚情報に基づく触感を前記ユーザーに提示するように前記触感提示部を動作させる触感制御部と、を備える触感提示システム。
【0008】
[態様2]
前記表示部は、表示面を有する非装着型の表示デバイスであり、
前記表示制御部は、前記表示面内を動くように前記特定オブジェクトを表示させ、
前記触感制御部は、前記触感提示部の装着部位が任意の点において前記特定オブジェクトに接触しているとみなして、前記特定オブジェクトの移動方向に応じた触感を前記ユーザーに提示するように前記触感提示部を動作させる態様1に記載の触感提示システム。
【0009】
[態様3]
前記表示制御部は、前記任意の点である仮想接触点を前記表示面内に表示させる態様2に記載の触感提示システム。
【0010】
[態様4]
前記表示制御部は、前記表示面内で回転するように前記特定オブジェクトを表示させ、
前記触感制御部は、前記表示面内で前記特定オブジェクトが回転している場合、前記特定オブジェクトの表面のざらつきを前記ユーザーに提示するように前記触感提示部を動作させる態様2又は態様3に記載の触感提示システム。
【0011】
[態様5]
前記表示制御部は、前記表示面内で前記任意の点に対して接近離間する方向に移動するように前記特定オブジェクトを表示させ、
前記触感制御部は、前記表示面内で前記特定オブジェクトが前記接近離間する方向に移動している場合、前記特定オブジェクトの表面の粘弾性を前記ユーザーに提示するように前記触感提示部を動作させる態様2~4のいずれか一つに記載の触感提示システム。
【0012】
[態様6]
前記ユーザーにおける前記触感提示部の装着部位の位置情報を取得する位置情報取得部をさらに備え、前記表示部は、前記特定オブジェクトをバーチャルリアリティ又はオーグメンテッドリアリティにより表示する表示デバイスであり、前記触感制御部は、前記表示部により表示されている前記特定オブジェクトに対して、前記ユーザーが前記装着部位にて触れる動作を行った場合、前記位置情報取得部により取得された前記位置情報に基づく前記装着部位の移動方向に応じた触感を前記ユーザーに提示するように前記触感提示部を動作させる態様1に記載の触感提示システム。
【0013】
[態様7]
前記触感制御部は、前記装着部位の移動方向が前記特定オブジェクトの表面に沿った方向である場合、前記特定オブジェクトの表面のざらつきを前記ユーザーに提示するように前記触感提示部を動作させる態様6に記載の触感提示システム。
【0014】
[態様8]
前記触感制御部は、前記装着部位の移動方向が前記特定オブジェクトの表面に対する法線方向である場合、前記特定オブジェクトの表面の粘弾性を前記ユーザーに提示するように前記触感提示部を動作させる態様6又は態様7に記載の触感提示システム。
【0015】
[態様9]
表示部にオブジェクトを表示させるとともに、ユーザーに装着された触感提示部を、前記オブジェクトの触感を前記ユーザーに付与するように動作させるための制御装置としてコンピュータを機能させるためのプログラムであって、前記コンピュータは、複数の前記オブジェクトに関して、前記オブジェクトを前記表示部に表示させるための表示情報、及び前記オブジェクトの触感を表現するための触覚情報を記憶する記憶部に接続されており、前記記憶部に前記表示情報及び前記触覚情報が記憶されている複数の前記オブジェクトから選択された前記オブジェクトである特定オブジェクトを前記表示部に表示させる処理と、前記特定オブジェクトの前記触覚情報に基づく触感を前記ユーザーに付与するように前記触感提示部を動作させる処理と、を前記コンピュータに実行させることを特徴とするプログラム。
【0016】
上記の各態様によれば、ユーザーは、記憶部に記憶されている複数のオブジェクトの触感を簡易に体感できる。そのため、所望の触感を探索する作業、例えば、仮想オブジェクトを作成する場合において、模様や画像などの視覚情報が付与された仮想オブジェクトに組み合わせる触感を探索する作業を容易に行うことができる。
【発明の効果】
【0017】
本発明によれば、仮想オブジェクト等に付与する所望の触感を探索する作業を容易に行うことができる。
【図面の簡単な説明】
【0018】
図1図1は、第1実施形態の触感提示システムのブロック図である。
図2図2は、第1実施形態の触感提示システムをユーザーが使用している状態の説明図である。
図3図3は、第1実施形態の触感提示システムの触感提示部の説明図である。
図4図4は、第1実施形態の表示部の表示面の説明図である。
図5図5は、第2実施形態の触感提示システムのブロック図である。
図6図6は、第2実施形態の触感提示システムをユーザーが使用している状態の説明図である。
図7図7は、第2実施形態の触感提示システムの表示部により得られる視界の説明図である。
【発明を実施するための形態】
【0019】
<第1実施形態>
以下、第1実施形態の触感提示システム10について説明する。
図1に示すように、触感提示システム10は、表示部11、触感提示部12、記憶部13、及び制御部14を備える。また、触感提示システム10は、制御装置15を備える。制御装置15は、記憶部13及び制御部14を備えるコンピュータとして構成される。
【0020】
(表示部)
図2に示すように、表示部11は、ユーザーが視認可能なオブジェクトを表示する表示デバイスである。表示部11に表示されるオブジェクトは、触感提示部12を通じて触感を表現したい物体である。表示部11により表示されるオブジェクトの画像は、二次元画像であってもよいし、三次元画像であってもよい。
【0021】
表示部11は、頭部非装着型の表示装置である。頭部非装着型の表示装置としては、例えば、タブレット端末及び携帯端末のディスプレイ、設置型のディスプレイが挙げられる。図2は、一例として、表示部11がタブレット端末のディスプレイである場合を図示している。
【0022】
以下、図4を参照して表示部11の一例を説明する。表示部11は、オブジェクトを表示する表示面20を有する。表示面20には、第1画面21及び第2画面22が表示される。
【0023】
第1画面21は、特定の1つオブジェクトを選択するための画面である。第1画面21は、第1主画面21aと、第1主画面21aの横に配置された複数のタブ状の選択ボタン21bとを有する。第1主画面21aは、選択ボタン21bにより選択されたカテゴリーに属する複数のオブジェクトを一括表示するための画面である。選択ボタン21bは、第1主画面21aに表示するオブジェクトのカテゴリーを選択するためのボタンである。上記カテゴリーとしては、例えば、果物・野菜等の食品カテゴリー、人やペット等の動物カテゴリー、家具や機械等の無生物カテゴリー、衣服などの布類カテゴリーが挙げられる。図3は、カテゴリーとして果物・野菜が選択されている場合を示している。
【0024】
第1主画面21aには、オブジェクトの触感に関連する単数又は複数のパラメータを軸とする座標系が表示される。図4に示す一例の座標系は、パラメータA及びパラメータBを軸とする二次元座標系である。オブジェクトの触感に関連するパラメータは、特に限定されるものでなく任意に設定できる。当該パラメータとしては、例えば、オブジェクトの硬さ、オブジェクトの表面粗さ、後述する触感提示部12により触感を表現するための電圧波形の振動数・振幅が挙げられる。
【0025】
第1主画面21a中の座標系には、選択ボタン21bにより選択されたカテゴリーに属する複数のオブジェクトのそれぞれに対応するアイコンA1~A7が重ねて表示される。表示対象となる複数のオブジェクトには、第1主画面21a中の座標系の軸に用いたパラメータが予め設定されている。そして、各オブジェクトに対応するアイコンA1~A7は、第1主画面21a中の座標系において、各オブジェクトに設定されたパラメータに対応する座標位置に表示される。ユーザーは、第1主画面21aに表示されているアイコンA1~A7を選択する操作を通じて触感提示の対象となるオブジェクトを選択できる。
【0026】
第2画面22は、触感提示の対象となっているオブジェクト(以下、特定オブジェクトXと記載する場合がある。)を表示するための画面である。第2画面22は、特定オブジェクトの詳細な画像を表示する第2主画面22aと、第2主画面22a中又は第2主画面22aの近傍に配置された第1触感提示ボタン22b及び第2触感提示ボタン22cとを有する。第2主画面22aには、第1画面21から選択されたアイコンが示すオブジェクトである特定オブジェクトXの詳細な画像が表示される。図4は、桃のオブジェクトが選択されている場合を図示している。第1触感提示ボタン22b及び第2触感提示ボタン22cは、第2主画面22aに表示されている特定オブジェクトXの触感を提示する際に使用されるボタンである。
【0027】
また、図1に示すように、触感提示システム10は、表示部11を操作するための入力部16を備える。入力部16は、ユーザーからの操作指示等を受け付ける。入力部16としては、例えば、キーボード、タッチパネル、マウスが挙げられる。
【0028】
(触感提示部)
触感提示部12は、ユーザーの身体の一部、例えば、指先、手のひら等に装着して用いられる装着デバイスである。本実施形態では、一例として、指先に装着して用いられるとともに、指の腹に触感を提示する触感提示部12について説明する。
【0029】
図3に示すように、触感提示部12は、ユーザーの指に巻き付けて装着可能なバンド状の基部31を備えている。基部31は、例えば、湾曲可能かつ面方向に伸縮可能な軟質材料により構成されている。基部31を構成する軟質材料としては、例えば、シリコーンやウレタン等のエラストマー、ストレッチ生地が挙げられる。
【0030】
基部31の内面には、振動アクチュエータ32が配置されている。振動アクチュエータ32は、例えば、シート状の誘電エラストマーアクチュエータ(DEA:Dielectric Elastomer Actuator)である。また、図示を省略しているが、基部31の内面又は外面には、基部31を指に巻き付けた状態で保持するための保持部が設けられている。保持部は、特に限定されるものではなく、面ファスナー等のバンド状の部材の保持に用いられる公知の構成を用いることができる。
【0031】
DEAは、誘電エラストマーからなるシート状の誘電層と、誘電層の厚さ方向の両側に配置された電極層としての正極電極及び負極電極とが複数積層された多層構造体である。DEAの最外層には絶縁層が積層されている。DEAでは、正極電極と負極電極との間に直流電圧が印加されると、印加電圧の大きさに応じて、誘電層が厚さ方向に圧縮されるとともに誘電層の面に沿った方向であるDEAの面方向に伸長するように変形する。DEAは、DEAの伸縮に基づく振動等を触感としてユーザーに認識させる。
【0032】
例えば、ユーザーの指先に触感提示部12を装着した状態において、DEAに印加する電圧を上昇させると、DEAは、指の腹の周方向に伸長する。その後、DEAに印加する電圧を降下させると、DEAは、元の状態に戻るように収縮する。DEAに対する印加電圧の上昇及び降下を繰り返すこと(例えば、パルス的に電圧を印加すること)により、DEAは伸縮を繰り返して指の腹の周方向に振動する。
【0033】
DEAの振動がユーザーの指に伝達されることにより、ユーザーは、その振動を触感として認識する。その結果、触感提示部12からユーザーに触感(疑似力覚)が提示される。DEAに対する印加電圧の大きさや印加電圧の切り替えのタイミングを変化させて、DEAの振動パターンを変化させることにより、ユーザーに様々な触感を認識させることができる。なお、触感提示部12は、バッテリ等の電源(図示略)から振動アクチュエータ32の正極電極及び負極電極により構成される一対の電極の間に電圧を印加する駆動部(図示略)を備えている。
【0034】
誘電層を構成する誘電エラストマーは特に限定されるものではなく、公知のDEAに用いられる誘電エラストマーを用いることができる。上記誘電エラストマーとしては、例えば、架橋されたポリロタキサン、シリコーンエラストマー、アクリルエラストマー、ウレタンエラストマーが挙げられる。これら誘電エラストマーのうちの一種を用いてもよいし、複数種を併用してもよい。誘電層の厚さは、例えば、20~200μmである。
【0035】
正極電極及び負極電極を構成する材料としては、例えば、導電エラストマー、カーボンナノチューブ、ケッチェンブラック(登録商標)、金属蒸着膜が挙げられる。上記導電エラストマーとしては、例えば、絶縁性高分子及び導電性フィラーを含有する導電エラストマーが挙げられる。
【0036】
上記絶縁性高分子としては、例えば、架橋されたポリロタキサン、シリコーンエラストマー、アクリルエラストマー、ウレタンエラストマーが挙げられる。これら絶縁性高分子のうちの一種を用いてもよいし、複数種を併用してもよい。上記導電性フィラーとしては、例えば、カーボンナノチューブ、ケッチェンブラック(登録商標)、カーボンブラック、銅や銀等の金属粒子が挙げられる。これら導電性フィラーのうちの一種を用いてもよいし、複数種を併用してもよい。正極電極及び負極電極の厚さは、例えば、1~100μmである。
【0037】
絶縁層を構成する絶縁エラストマーは特に限定されるものではなく、公知のDEAの絶縁部分に用いられる公知の絶縁エラストマーを用いることができる。上記絶縁エラストマーとしては、例えば、架橋されたポリロタキサン、シリコーンエラストマー、アクリルエラストマー、ウレタンエラストマーが挙げられる。これら絶縁エラストマーのうちの一種を用いてもよいし、複数種を併用してもよい。絶縁層の厚さは、例えば、10~100μmである。また、DEA全体の厚さは、柔軟性及び強度の確保の観点から、例えば、0.3~3mmであることが好ましい。
【0038】
(記憶部)
図1に示すように、記憶部13には、表示情報、触感情報、及び制御プログラム13aが記憶されている。記憶部13は、例えば、不揮発性メモリである。
【0039】
表示情報は、表示部11に表示されるオブジェクトの画像データである。なお、当該画像データは、静止画及び動画のいずれか一方であってもよいし、両方であってもよい。上記動画としては、例えば、オブジェクトが回転している動画、表示面20に対してオブジェクトが接近離間する方向に移動する動画が挙げられる。
【0040】
記憶部13には、異なる複数のオブジェクトの画像データが記憶されている。例えば、記憶部13には、オブジェクトのカテゴリー別に複数のオブジェクトの画像データが記憶されている。例えば、オブジェクトのカテゴリーが食品である場合の画像データとしては、例えば、桃、バナナ、キウイ、ブロッコリー等の種類の異なる食品の各画像データ、及び未熟状態、完熟状態等の同一食品に関して、成熟度合の異なる状態の各画像データが挙げられる。
【0041】
触感情報は、ユーザーにより選択された特定オブジェクトXの触感を表現するように、触感提示部12の振動アクチュエータ32を動作させるための電圧波形である。触感情報は、表示情報が記憶されている複数のオブジェクトについて、それぞれ独立して設定される。
【0042】
触感情報の各々は、接線方向触感情報と法線方向触感情報とを含む。接線方向触感情報は、例えば、オブジェクトの表面に触れているユーザーの身体の一部(例えば、指先)を、当該面に沿って特定速度で移動させた場合の触感を表現する波形データである。接線方向触感情報は、例えば、表面のざらつき(テクスチャ)を表現するように振動アクチュエータ32を駆動する電圧波形である。
【0043】
法線方向触感情報は、例えば、オブジェクトの表面に触れているユーザーの身体の一部(例えば、指先)を、オブジェクトの表面に特定速度で押し込む方向又は特定速度で表面から離間させる方向に移動させた場合の触感を表現する波形データである。法線方向触感情報は、例えば、表面の硬軟(粘弾性)を表現するように振動アクチュエータ32を駆動する電圧波形である。
【0044】
(制御部)
制御部14は、表示制御部41及び触感制御部42を備える。制御部14は、(1)コンピュータプログラム(ソフトウェア)に従って動作する1つ以上のプロセッサ、(2)各種処理のうち少なくとも一部の処理を実行する特定用途向け集積回路(ASIC)等の1つ以上の専用のハードウェア回路、或いは(3)それらの組み合わせ、を含む回路(circuitry)として構成し得る。プロセッサは、例えば、CPUを含む。
【0045】
[表示制御部]
表示制御部41は、入力部16に対するユーザーの操作に基づいて、選択されたカテゴリーに含まれる各オブジェクトのアイコンA1~A7を、第1画面21の第1主画面21a内に表示する処理を実行する。表示制御部41は、入力部16に対するユーザーの操作に基づいて、第1主画面21aに表示されている複数のアイコンA1~A7から選択された任意のアイコンが示すオブジェクトを、第2画面22の第2主画面22aに表示する処理を実行する。表示制御部41は、第2主画面22aに表示されている特定オブジェクトXの表面上に仮想接触点Pを表示する処理を実行する。
【0046】
また、表示制御部41は、入力部16に対するユーザーの操作であって、第1触感提示ボタン22b又は第2触感提示ボタン22cに対する操作に基づいて、第2主画面22aに表示されている特定オブジェクトXを仮想接触点Pに対して動かす表示処理を実行する。
【0047】
第1触感提示ボタン22bがクリックされた場合、表示制御部41は、仮想接触点Pの位置を固定した状態として、特定オブジェクトXを回転させる。例えば、図4の矢印B1方向に特定オブジェクトXを回転させる。これにより、特定オブジェクトXの表面に沿った接線方向に仮想接触点Pが相対的に移動している映像が第2主画面22aに表示される。
【0048】
第2触感提示ボタン22cがクリックされた場合、表示制御部41は、仮想接触点Pの位置を固定した状態として、仮想接触点Pに対して特定オブジェクトXを接近離間させる方向に移動させる。例えば、図4の矢印B2方向(画面の手前側から奥側へ向かう方向及び奥側から手前側へ向かう方向)に特定オブジェクトXを移動させる。これにより、特定オブジェクトXの表面に対する法線方向に仮想接触点Pが相対的に移動している映像が第2主画面22aに表示される。つまり、特定オブジェクトXの表面に仮想接触点Pが押し込まれている映像、及び押し込まれた状態から仮想接触点Pが引き下がっている映像が第2主画面22aに表示される。
【0049】
なお、第2主画面22aに表示される特定オブジェクトXの移動速度は、上記触感情報の特定速度に一致していることが好ましい。表示制御部41による各処理は、記憶部13に記憶されている制御プログラム13aを用いて実行される。制御プログラム13aは、表示部11にオブジェクトを表示させるとともに、ユーザーに装着された触感提示部12を、オブジェクトの触感をユーザーに付与するように動作させるための制御装置としてコンピュータを機能させるためのプログラムである。
【0050】
[触感制御部]
触感制御部42は、入力部16に対するユーザーの操作に基づいて、第2画面22の第2主画面22aに表示されている特定オブジェクトXの触感として設定された触感情報を記憶部13から取得する。次いで、触感制御部42は、取得した触感情報に基づく波形の電圧が振動アクチュエータ32に印加されるように振動アクチュエータ32の駆動を制御する処理を実行する。触感制御部42は、触感提示部12の装着部位であるユーザーの指が仮想接触点Pにおいて特定オブジェクトXに接触しているとみなして、特定オブジェクトの移動方向に応じた触感を付与するように振動アクチュエータ32の駆動を制御する。
【0051】
例えば、第2主画面22aにおいて、特定オブジェクトXが回転している場合、触感制御部42は、接線方向触感情報に基づいて振動アクチュエータ32の駆動を制御する。つまり、触感制御部42は、特定オブジェクトXの表面に沿って指先を移動させた場合の触感を表現するように振動アクチュエータ32の駆動を制御する。また、第2主画面22aにおいて、特定オブジェクトXが仮想接触点Pに対して接近離間する方向に移動している場合、触感制御部42は、法線方向触感情報に基づいて振動アクチュエータ32の駆動を制御する。触感制御部42による各処理は、記憶部13に記憶されている制御プログラム13aを用いて実行される。
【0052】
次に、本実施形態の触感提示システム10を用いて、ユーザーに特定の触感を提示する方法について説明する。
まず、ユーザーは、入力部16を操作して、表示部11の表示面20に触感提示の対象となる特定オブジェクトXを表示させる。例えば、第1画面21の選択ボタン21bを選択する操作により、選択されたカテゴリーに属する複数のオブジェクトのアイコンA1~A7を第1主画面21aに表示させる。次いで、第1主画面21aに表示されているアイコンA1~A7を選択する操作により、選択されたアイコンA1が示すオブジェクト(特定オブジェクトX)の画像を、第2画面22の第2主画面22aに表示させる。また、表示面20に触感提示の対象となる特定オブジェクトXを表示させた後、又はその前に、ユーザーは、触感提示部12を指先に装着する。
【0053】
次に、ユーザーは、入力部16を操作して、第1触感提示ボタン22b又は第2触感提示ボタン22cをクリックする。
第1触感提示ボタン22bがクリックされた場合、第2主画面22aに、特定オブジェクトXが回転している映像が表示される。また、第1触感提示ボタン22bがクリックされた場合、第2主画面22aに表示されている特定オブジェクトXに関する接線方向触感情報に基づく電圧が触感提示部12の振動アクチュエータ32に印加される。これにより、振動アクチュエータ32が振動し、ユーザーの指に対して振動アクチュエータ32の振動に基づく触感が提示される。具体的には、仮想接触点Pの位置にて、特定オブジェクトXの表面を指でなぞった場合の触感がユーザーの指に提示される。
【0054】
また、第2触感提示ボタン22cがクリックされた場合、第2主画面22aに、特定オブジェクトXの表面に対する法線方向に特定オブジェクトXが移動している映像が表示される。また、第2触感提示ボタン22cがクリックされた場合、第2主画面22aに表示されている特定オブジェクトXに関する法線方向触感情報に基づく電圧が触感提示部12の振動アクチュエータ32に印加される。これにより、振動アクチュエータ32が振動し、ユーザーの指に対して振動アクチュエータ32の振動に基づく触感が提示される。具体的には、仮想接触点Pの位置にて、特定オブジェクトXの表面を押し込んだ場合の触感、及び押し込んだ状態から指を引く場合の触感がユーザーの指に提示される。
【0055】
触感提示システム10は、例えば、仮想オブジェクトのクリエイターが、作成した仮想オブジェクトに付与する触感(テクスチャや粘弾性)を選択する際に用いる見本として適用できる。仮想オブジェクトとしては、例えば、VR技術及びAR技術により作成された仮想オブジェクトが挙げられる。また、触感提示システム10は、化粧品の使用前後の触感の変化を伝える際に用いる触感サンプルに付与する触感を選択する際に用いる見本として適用できる。
【0056】
次に、本実施形態の触感提示システム10の作用及び効果について説明する。
(1-1)触感提示システム10は、オブジェクトを表示する表示部11と、振動に基づく触感をユーザーに提示する触感提示部12と、記憶部13と、表示制御部41と、触感制御部42とを備える。表示制御部41は、表示情報及び触覚情報が記憶部13に記憶されている複数のオブジェクトから選択されたオブジェクトである特定オブジェクトXを表示部11に表示させる。触感制御部42は、特定オブジェクトXの触覚情報に基づく触感をユーザーに提示するように触感提示部12を動作させる。
【0057】
上記構成によれば、ユーザーは、記憶部13に記憶されている複数のオブジェクトの触感を簡易に体感できる。そのため、所望の触感を探索する作業、例えば、仮想オブジェクトを作成する場合において、模様や画像などの視覚情報が付与された仮想オブジェクトに組み合わせる触感(触覚情報)を探索する作業を容易に行うことができる。
【0058】
(1-2)表示部11は、表示面20を有する非装着型の表示デバイスである。表示制御部41は、表示面20内を動くように特定オブジェクトXを表示させる。触感制御部42は、触感提示部12の装着部位が任意の点において特定オブジェクトXに接触しているとみなして、特定オブジェクトXの移動方向に応じた触感をユーザーに付与するように触感提示部12を動作させる。
【0059】
上記構成によれば、表示部11の表示面20内に表示されている特定オブジェクトXに対して、表面をなぞったり、押したりするといった実際に触る動作をしているような認識をユーザーが持ちやすくなる。これにより、触感提示部12より提示される触感が、表示部11に表示されている特定オブジェクトXの触感であることの理解を本能的及び直感的に行うことができる。
【0060】
(1-3)表示制御部41は、上記任意の点としての仮想接触点Pを表示面20内に表示させる。
上記構成によれば、特定オブジェクトXの表面上に仮想接触点Pが表示されることにより、ユーザーが接触しているとみなしている部分を視覚的に明確に認識できる。これにより、触感提示部12より提示される触感が、表示部11に表示されている特定オブジェクトXの触感であることの理解を、より本能的及び直感的に行うことができる。
【0061】
<第2実施形態>
以下、第2実施形態の触感提示システム100について説明する。以下では、第1実施形態と同様な構成要素については説明を省略し、第1実施形態と異なる構成要素について説明する。
【0062】
図5に示すように、触感提示システム100は、表示部110、触感提示部12、記憶部13、位置情報取得部17、及び制御部140を備える。また、触感提示システム100は、制御装置150を備える。制御装置150は、記憶部13及び制御部140を備えるコンピュータとして構成される。
【0063】
(表示部)
図6及び図7に示すように、表示部110は、ユーザーが視認可能な仮想オブジェクトを表示する表示デバイスである。表示部110により表示される仮想オブジェクトの画像は、二次元画像であってもよいし、三次元画像であってもよいが、三次元画像であることが好ましい。
【0064】
表示部110は、仮想オブジェクトをVR又はARにより表示する表示デバイスである。当該表示デバイスとしては、例えば、ヘッドマウントディスプレイ、ARグラス等の頭部装着型の表示デバイスが挙げられる。
【0065】
図7に示すように、AR映像を表示する表示部110の場合、表示部110は、表示部110を装着したユーザーの手Hが届く範囲、例えば、目の前の数十cmのあたりに特定オブジェクトXのAR映像を表示する。したがって、表示部110を通したユーザーの視界には、触感提示部12を装着した手の近傍に、特定オブジェクトXのAR映像が重ねて表示される。また、VR映像を表示する表示部110の場合、表示部110は、手のVR映像及び特定オブジェクトXのVR映像を表示する。また、表示部110は、図示は省略しているが、第1実施形態の表示部11の第1画面21のAR映像又はVR映像を表示可能に構成されている。
【0066】
(位置情報取得部)
位置情報取得部17は、ユーザーにおける触感提示部12の装着部位(本実施形態では、指先)の位置情報を取得する。上記位置情報は、例えば、三次元空間上における装着部位の座標である。図5に示すように、位置情報取得部17の一例は、ビデオカメラ等の撮影装置17aと、情報処理部17bとを備える。撮影装置17aは、ユーザーにおける触感提示部12の装着部位を撮影するための構成である。撮影装置17aとしては、例えば、頭部装着型の表示デバイスに備えられるカメラが挙げられる。情報処理部17bは、撮影装置17aより撮影された、装着部位が映る映像に基づいて上記装着部位の位置情報を取得する。情報処理部17bとしては、例えば、オブジェクトの位置をトラッキングするオブジェクトトラッキング技術を利用したものが挙げられる。
【0067】
なお、位置情報取得部17は、上記装着部位の位置情報と取得できるものであれば特に限定されない。例えば、位置情報取得部17は、触感提示部12に設けられたモーションセンサに基づいて、上記装着部位の位置情報を取得するものであってもよい。
【0068】
(制御部)
図5に示すように、制御部140は、表示制御部410及び触感制御部420を備える。制御部140は、(1)コンピュータプログラム(ソフトウェア)に従って動作する1つ以上のプロセッサ、(2)各種処理のうち少なくとも一部の処理を実行する特定用途向け集積回路(ASIC)等の1つ以上の専用のハードウェア回路、或いは(3)それらの組み合わせ、を含む回路(circuitry)として構成し得る。プロセッサは、例えば、CPUを含む。
【0069】
[表示制御部]
表示制御部410は、ユーザーの操作に基づいて、選択されたカテゴリーに含まれる各オブジェクトのアイコンA1~A7を、第1画面21の第1主画面21a内に表示する処理を実行する(図4参照。)。表示制御部410は、ユーザーの操作に基づいて、第1主画面21aに表示されている複数のアイコンA1~A7から選択された任意のアイコンが示すオブジェクトのAR映像又はVR映像を表示する処理を実行する。
【0070】
第2実施形態では、AR表示又はVR表示されたオブジェクトの立体映像(仮想オブジェクト)が特定オブジェクトXになる。また、VR映像を表示する表示部110である場合、表示制御部410は、位置情報取得部17により取得された位置情報に基づいて、ユーザーの手の動きに合わせて動く手のVR映像を表示する処理を実行する。なお、第1画面21に対するユーザーの操作としては、例えば、AR表示又はVR表示された第1画面21の特定部位を、ユーザーの手で直接、又はVR表示された手を通じて間接的にタッチするなどの操作が挙げられる。この場合、表示制御部410は、例えば、位置情報取得部17により取得された位置情報に基づいて、上記タッチがなされたか否かの判定を行うとともに、その判定結果が肯定である場合に、所定の入力がなされたとみなす。なお、表示制御部410による各処理は、記憶部13に記憶されている制御プログラム13aを用いて実行される。
【0071】
[触感制御部]
触感制御部420は、AR表示又はVR表示されている特定オブジェクトXの触感として設定された触感情報を記憶部13から取得する。次いで、触感制御部420は、取得した触感情報に基づく波形の電圧が振動アクチュエータ32に印加されるように振動アクチュエータ32の駆動を制御する処理を実行する。触感制御部420は、ユーザーが装着部位にて特定オブジェクトXを触れる動作を行った場合、位置情報取得部17により取得された位置情報に基づく装着部位の移動方向に応じた触感を付与するように振動アクチュエータ32の駆動を制御する。
【0072】
例えば、装着部位の移動方向が、特定オブジェクトXの表面に沿った方向である場合、つまり、特定オブジェクトXの表面に沿って指先を移動させた場合、触感制御部420は、接線方向触感情報に基づいて振動アクチュエータ32の駆動を制御する。また、装着部位の移動方向が、特定オブジェクトXの表面に対する法線方向である場合、つまり、特定オブジェクトXの表面を押し込むよう指先を移動させた場合、押し込んだ状態から引くように指基を移動させた場合、触感制御部420は、法線方向触感情報に基づいて振動アクチュエータ32の駆動を制御する。
【0073】
ここで、特定オブジェクトXに指先が接触したか否かの接触判定は、公知のAR技術及びVR技術に利用されている判定方法を適用できる。例えば、特定オブジェクトXの外形に対応する部分に設定したコライダーを用いた接触判定を利用できる。なお、触感制御部420による各処理は、記憶部13に記憶されている制御プログラム13aを用いて実行される。
【0074】
次に、本実施形態の触感提示システム100を用いて、ユーザーに特定の触感を提示する方法について説明する。
まず、ユーザーは、触感提示部12を装着した状態として、表示部11に触感提示の対象となる特定オブジェクトXを表示させる。例えば、第1画面21の選択ボタン21bを選択する操作により、選択されたカテゴリーに属する複数のオブジェクトのアイコンA1~A7を第1主画面21aに表示させる。次いで、第1主画面21aに表示されているアイコンA1~A7を選択する操作により、選択されたアイコンA1が示すオブジェクト(特定オブジェクトX)のAR映像又はVR映像を表示させる。
【0075】
次に、ユーザーは、触感提示部12の装着部位である指先にて、特定オブジェクトXを触れるとともに、特定オブジェクトXに触れた状態で指先を移動させる動作を行う。例えば、特定オブジェクトXの表面に沿って指先を移動させる動作を行った場合、特定オブジェクトXに関する接線方向触感情報に基づく電圧が触感提示部12の振動アクチュエータ32に印加される。これにより、振動アクチュエータ32が振動し、ユーザーの指に対して振動アクチュエータ32の振動に基づく触感が提示される。具体的には、特定オブジェクトXの表面を指でなぞった場合の触感がユーザーの指に提示される。
【0076】
また、特定オブジェクトXの表面に対する法線方向に指先を移動させる動作を行った場合、特定オブジェクトXに関する法線方向触感情報に基づく電圧が触感提示部12の振動アクチュエータ32に印加される。これにより、振動アクチュエータ32が振動し、ユーザーの指に対して振動アクチュエータ32の振動に基づく触感が提示される。具体的には、特定オブジェクトXの表面を押し込んだ場合の触感、及び押し込んだ状態から指を引く場合の触感がユーザーの指に提示される。
【0077】
本実施形態の触感提示システム100によれば、第1実施形態の触感提示システム10と同様の効果が得られる。特に、本実施形態の触感提示システム100の場合、ユーザーは、特定オブジェクトXのAR映像又はVR映像に対して、疑似的に触る動作を行うことができる。そのため、触感提示部12より提示される触感が、表示部110に表示されている特定オブジェクトXの触感であることの理解を、より本能的及び直感的に行うことができる。
【0078】
なお、本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・触感提示部12による触感提示の対象部位は、指の腹に限定されるものではなく、例えば、掌などの他の部位としてもよい。
【0079】
・触感提示部12の基部31の構成は特に限定されるものではなく、振動アクチュエータ32を触感提示の対象部位に接触させた状態を保持できる構成であればよい。
・第1実施形態に関して、振動アクチュエータ32は、ユーザーに装着される構成に限定されない。例えば、表示部11におけるオブジェクトを表示する表示面20の背面側に配置される構成であってもよい。振動アクチュエータ32を備える表示部11としては、例えば、スマートフォンやタブレット端末などのタッチインターフェースを備える公知の表示装置が挙げられる。この場合、上記表示装置を触感提示部12として適用される。この場合、振動アクチュエータ32の振動が、表示部11の表示面20を介して、表示面20に触れたユーザーに伝わることにより、当該振動に基づく触感がユーザーに提示される。
【0080】
・振動アクチュエータ32はDEAに限定されるものではなく、触感提示装置に用いられる公知の振動アクチュエータであってもよい。公知の振動アクチュエータとしては、例えば、イオン交換ポリマーメタル複合体(IPMC:Ionic Polymer Metal Composite)等の他の電場応答性高分子アクチュエータ(EPA:Electroactive Polymer Actuator)、偏心モータ、リニア共振アクチュエータ、ボイスコイルアクチュエータ、ピエゾアクチュエータが挙げられる。なお、DEAにより構成される振動アクチュエータ32は、オブジェクトの表面の硬軟(粘弾性)を表現することに特に適している。
【0081】
・記憶部13は、データの送受信可能に接続されたサーバに設けられた記憶部であってもよいし、データの送受信可能に接続されたクラウド上の記憶部であってもよい。
・第1実施形態に関して、仮想接触点Pを表示しない構成としてもよい。
【0082】
・第1画面21に関して、複数のオブジェクトの表示方法は上記実施形態の方法に限定されない。例えば、複数のオブジェクトの名称が記載された一覧表を表示してもよい。
【符号の説明】
【0083】
P…仮想接触点
X…特定オブジェクト
10,100…触感提示システム
11,110…表示部
12…触感提示部
13…記憶部
14…制御部
16…位置情報取得部
20…表示面
41,410…表示制御部
42,420…触感制御部
図1
図2
図3
図4
図5
図6
図7