(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-16
(45)【発行日】2024-12-24
(54)【発明の名称】擬似触覚提示装置、擬似触覚提示方法、およびプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20241217BHJP
G06F 3/0481 20220101ALI20241217BHJP
【FI】
G06F3/01 560
G06F3/01 570
G06F3/0481
(21)【出願番号】P 2023557495
(86)(22)【出願日】2021-11-04
(86)【国際出願番号】 JP2021040589
(87)【国際公開番号】W WO2023079627
(87)【国際公開日】2023-05-11
【審査請求日】2024-03-19
【新規性喪失の例外の表示】特許法第30条第2項適用 (1)ウェブサイトの掲載日 2021年6月25日 ウェブサイトのアドレス https://worldhaptics.econference.io/public/UKpFAvn/signin https://www.youtube.com/watch?v=swmAfjGYGsI
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100121706
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】河邉 隆寛
(72)【発明者】
【氏名】横坂 拓巳
(72)【発明者】
【氏名】宇治土公 雄介
【審査官】星野 裕
(56)【参考文献】
【文献】国際公開第2008/111245(WO,A1)
【文献】特開2013-254398(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/048
(57)【特許請求の範囲】
【請求項1】
身体部位の動作に基づく操作を表す操作情報と、前記操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報とに基づいて、前記操作に応じた前記変化量で前記視覚対象を視覚的に変化させる視覚対象更新部と、
前記視覚的に変化させた前記視覚対象を提示するための情報を出力する出力部と、を有し、
前記関係は、少なくとも、提示する擬似触覚の程度に応じて定まり、
前記視覚対象の視覚的な変化量は、前記視覚対象の大きさ、形状、輝度、色彩、または模様の少なくとも何れかの変化量に対応し、
前記視覚対象更新部は、前記視覚対象の大きさ、形状、輝度、色彩、または模様の少なくとも何れかを変化させる、擬似触覚提示装置。
【請求項2】
身体部位の動作に基づく操作を表す操作情報と、前記操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報とに基づいて、前記操作に応じた前記変化量で前記視覚対象を視覚的に変化させる視覚対象更新部と、
前記視覚的に変化させた前記視覚対象を提示するための情報を出力する出力部と、を有し、
前記関係は、少なくとも、提示する擬似触覚の程度に応じて定まり、
前記関係は、前記操作量の変化に対する前記変化量の変化の比率であり、
前記擬似触覚の程度を表す指標が第1指標値である場合の前記比率は第1値であり、
前記指標が前記第1指標値と異なる第2指標値である場合の前記比率は、前記第1値と異なる第2値である、擬似触覚提示装置。
【請求項3】
請求項
2の擬似触覚提示装置であって、
前記第1指標値が表す前記擬似触覚の程度は、前記第2指標値が表す前記擬似触覚の程度よりも大きく、
前記第1値は前記第2値よりも小さい、擬似触覚提示装置。
【請求項4】
請求項
2または
3の擬似触覚提示装置であって、
前記操作に応じ、前記操作量が第1操作量から第2操作量まで変化し、および/または、前記操作量が前記第2操作量から前記第1操作量まで変化し、
前記第1操作量は前記第2操作量と異なり、
前記操作量が前記第1操作量であるときの前記比率は第3値であり、
前記操作量が前記第2操作量であるときの前記比率は前記第3値と異なる第4値である、擬似触覚提示装置。
【請求項5】
請求項
4の擬似触覚提示装置であって、
前記第1操作量は前記第2操作量よりも大きく、
前記第3値は前記第4値よりも小さい、または、前記第3値は前記第4値よりも大きい、擬似触覚提示装置。
【請求項6】
身体部位の動作に基づく操作を表す操作情報と、前記操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報とに基づいて、前記操作に応じた前記変化量で前記視覚対象を視覚的に変化させる視覚対象更新ステップと、
前記視覚的に変化させた前記視覚対象を提示するための情報を出力する出力ステップと、を有し、
前記関係は、少なくとも、提示する擬似触覚の程度に応じて定ま
り、
前記視覚対象の視覚的な変化量は、前記視覚対象の大きさ、形状、輝度、色彩、または模様の少なくとも何れかの変化量に対応し、
前記視覚対象更新ステップは、前記視覚対象の大きさ、形状、輝度、色彩、または模様の少なくとも何れかを変化させる、擬似触覚提示方法。
【請求項7】
身体部位の動作に基づく操作を表す操作情報と、前記操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報とに基づいて、前記操作に応じた前記変化量で前記視覚対象を視覚的に変化させる視覚対象更新ステップと、
前記視覚的に変化させた前記視覚対象を提示するための情報を出力する出力ステップと、を有し、
前記関係は、少なくとも、提示する擬似触覚の程度に応じて定まり、
前記関係は、前記操作量の変化に対する前記変化量の変化の比率であり、
前記擬似触覚の程度を表す指標が第1指標値である場合の前記比率は第1値であり、
前記指標が前記第1指標値と異なる第2指標値である場合の前記比率は、前記第1値と異なる第2値である、擬似触覚提示方法。
【請求項8】
請求項1から
5の何れかの擬似触覚提示装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、擬似的な触覚を提示する技術に関する。
【背景技術】
【0002】
マウス、キーボード、タッチペン、反力提示装置などの触覚入力装置から得られる情報に基づいて視覚情報を操作することで、触覚入力に対する視覚的フィードバックを利用者に与えることができる。この時、視覚的フィードバックに遅延や変動を与えることで、利用者に実際とは異なる触覚印象を錯覚的に与えることができる。この技術をここでは疑似触覚技術と呼ぶ。
【0003】
触覚入力装置ではなく、タッチレスで利用者の身体運動や手指運動をトラッキングしつつ、そのトラッキング情報に基づいて視覚情報を操作することで、利用者に触覚印象を与える技術も存在する。例えば、非特許文献1には、利用者のスワイプジェスチャに基づいて映像を左右にスライドさせるカルーセル・インターフェースにおけるタッチレス疑似触覚技術が開示されている。この技術では、物理演算に基づいて摩擦係数や磁力をカルーセルの移動に適用することで、カルーセルの自然な移動や停止を再現しつつ、利用者に疑似触覚を与えている。非特許文献2には、バーチャルリアリティ環境において、実空間で把持した実対象と視覚的フィードバックとの速度差を操作することで、実対象の重さが変わって感じられることが開示されている。
【先行技術文献】
【非特許文献】
【0004】
【文献】Gaucher, P., Argelaguet, F., Royan, J. & Lecuyer, A., "A novel 3D Carousel based on Pseudo-Haptic Feedback and Gestural Interaction for Virtual Showcasing", [online], 2013年, 2013 IEEE Symposium on 3D User Interfaces (3DUI), 55-58, [2021年10月21日検索], インターネット<https://doi.org/10.1109/3dui.2013.6550197>
【文献】Samad, M., Gatti, E., Hermes, A., Benko, H. & Parise, C., "Pseudo-Haptic Weight: Changing the Perceived Weight of Virtual Objects By Manipulating Control-Display Ratio", 2019年, Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, 1-13, インターネット<https://doi.org/10.1145/3290605.3300550>
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、実環境を模すための煩雑な物理演算を行ったり、人体の動作に対する物理的な反作用に基づく触覚を利用したりすることなく、利用者に擬似触覚を知覚させる技術は知られていない。例えば、非特許文献2では、バーチャル環境における対象の重さを疑似触覚によって変調しているものの、把持した実物体から受ける物理的な反作用による触覚と視覚的フィードバックとの速度差を利用しており、人体の動作に対する物理的な反作用による触覚を利用することなく、利用者に擬似触覚を知覚させるものではない。
【0006】
本発明はこのような点に鑑みてなされたものであり、実環境を模すための煩雑な物理演算を行ったり、人体の動作に対する物理的な反作用に基づく触覚を利用したりすることなく、利用者に擬似触覚を知覚させることを目的とする。
【課題を解決するための手段】
【0007】
身体部位の動作に基づく操作を表す操作情報と、操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報とに基づいて、操作に応じた変化量で視覚対象を視覚的に変化させ、視覚的に変化させた視覚対象を提示するための情報を出力する。ただし、この関係は、少なくとも、提示する擬似触覚の程度に応じて定まる。
【発明の効果】
【0008】
これにより、実環境を模すための煩雑な物理演算を行ったり、人体の動作に対する物理的な反作用に基づく触覚を利用したりすることなく、利用者に擬似触覚を知覚させることができる。
【図面の簡単な説明】
【0009】
【
図1】
図1は実施形態の擬似触覚提示システムを例示するためのブロック図である。
【
図2】
図2は実施形態の擬似触覚提示システムを例示するための概念図である。
【
図3】
図3は、第1実施形態における、操作量に対する視覚対象の視覚的な変化量の関係を例示するためのグラフである。
【
図4】
図4Aから
図4Cは、第1実施形態における、操作量に対する視覚対象の視覚的な変化量の関係を例示するための図である。
【
図5】
図5Aから
図5Cは、第1実施形態における、操作量に対する視覚対象の視覚的な変化量の関係を例示するための図である。
【
図6】
図6Aは、第1実施形態の効果を示す実験内容を説明するための図である。
図6Bは、手指の垂直方向の高さ(操作に基づく操作量)に対する視覚対象の直径または位相の変化量(視覚対象の視覚的な変化量)の関係を例示するためのグラフである。
【
図7】
図7は、第1実施形態の効果を示す実験結果を例示するグラフである。
図7は、参照用の視覚対象の直径の変化量(視覚対象の視覚的な変化量)に対する視覚刺激用の視覚対象の直径の変化量(視覚対象の視覚的な変化量)の比率(Speed ratio)と、被検者が知覚した重さ感(擬似触覚)の程度(評価スコア)と、の関係を例示している。
【
図8】
図8は、第2実施形態の実施形態の視覚対象を例示するための図である。
【
図9】
図9Aから
図9Cは、第2実施形態における、操作量に対する視覚対象の視覚的な変化量の関係を例示するための図である。
【
図10】
図10Aから
図10Cは、第2実施形態における、操作量に対する視覚対象の視覚的な変化量の関係を例示するための図である。
【
図11】
図11Aから
図11Cは、第2実施形態の変形例における、操作量に対する視覚対象の視覚的な変化量の関係を例示するための図である。
【
図12】
図12Aは、第2実施形態の効果を示す実験内容を説明するための図である。
図12Bは、第2実施形態の効果を示す実験結果を例示するグラフである。
図12Bは、参照用の視覚対象の位相の変化量(視覚対象の視覚的な変化量)に対する視覚刺激用の視覚対象の位相の変化量(視覚対象の視覚的な変化量)の比率(Speed ratio)と、被検者が知覚した重さ感(擬似触覚)の程度(評価スコア)と、の関係を例示している。
【
図13】
図13は、第2実施形態の変形例の効果を示す実験結果を例示するグラフである。
図13は、参照用の視覚対象の位相の変化量(視覚対象の視覚的な変化量)に対する視覚刺激用の視覚対象の位相の変化量(視覚対象の視覚的な変化量)の比率(Speed ratio)と、被検者が知覚した重さ感(擬似触覚)の程度(評価スコア)と、の関係を例示している。
【
図14】
図14は、第3実施形態の実施形態の視覚対象を例示するための図である。
【
図15】
図15Aは、第3実施形態の効果を示す実験内容を説明するための図である。
図15Bは、第3実施形態の効果を示す実験結果を例示するグラフである。
図15Bは、参照用の視覚対象の位相の変化量(視覚対象の視覚的な変化量)に対する視覚刺激用の視覚対象の位相の変化量(視覚対象の視覚的な変化量)の比率(Speed ratio)と、被検者が知覚した重さ感(擬似触覚)の程度(評価スコア)と、の関係を例示している。
【
図16】
図16は、擬似触覚提示装置のハードウェア構成を例示するためのブロック図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施形態を説明する。
[原理]
まず、各実施形態の原理を説明する。
各実施形態では、身体部位の動作に基づく操作を表す操作情報と、操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報とに基づいて、操作に応じた変化量で視覚対象を視覚的に変化させ、視覚的に変化させた視覚対象を利用者に提示する。ただし、操作に基づく操作量に対する視覚対象の視覚的な変化量の関係は、少なくとも、提示する擬似触覚の程度に応じて定まる。これにより、実環境を模すための煩雑な物理演算を行ったり、人体の動作に対する物理的な反作用に基づく触覚を利用したりすることなく、利用者に擬似触覚を知覚させることができる。提示可能な擬似触覚は、例えば、重さ感である。重さ感は、重量感、抵抗感などと言い換えることもできる。
【0011】
身体部位の具体例は、手指、掌、腕、頭部、顔の部位、腰、体幹、足であるが、これは本発明を限定するものではなく、どの身体部位の動作に基づく操作であってもあってもよい。身体部位の動作は、例えば、タッチレス環境での身体部位の動作である。タッチレス環境とは、人体の動作に対する物理的な反作用(すなわち、当該反作用による反力)を擬似触覚の提示に使用しない環境を意味する。人体が物理的な入力装置を把持や装着していない環境であれば、タッチレス環境である。また、人体が物理的な入力装置(例えば、VRコントローラー)を把持や装着していたとしても、人体の動作に対する入力装置からの物理的な反作用を擬似触覚の提示に使用しないのであれば、タッチレス環境である。身体部位の動作は、身体部位の位置を移動させる動作であってもよいし、身体部位を回転させる動作であってもよいし、身体部位を変形させる動作であってもよいし、これらの組み合わせであってもよい。身体部位の位置とは、絶対的な位置であってもよいし、相対的な位置であってもよい。前者の例は、外部の基準位置(例えば、地面や床)に固定された座標系の位置であり、後者の例は、視覚対象や視覚対象を提示する装置に対する相対的な位置などである。また、身体部位の位置は三次元座標系で表される位置であってもよいし、二次元座標系で表される位置であってもよいし、一次元座標系で表される位置であってもよい。身体部位を回転させる動作は、身体部位を絶対的に回転させる動作であってもよいし、相対的に回転させる動作であってもよい。前者の例は、外部の基準位置に固定された座標系に対して身体部位を回転させる動作であり、後者の例は、視覚対象や視覚対象を提示する装置に対して身体部位を回転させる動作である。身体部位を変形させる動作は、筋肉や関節の動きに伴って身体部位を変形させる動作である。身体部位を変形させる動作の例は、指でのつまみ動作や拳を握る動作などである。身体部位の動作は、例えば、身体部位の位置、向き、移動量、回転量、移動速度、回転速度、加速度、角加速度、またはこれらの少なくも一部の組み合わせによって表すことができる。
【0012】
身体部位の動作に基づく操作は、身体部位の動作に基づいて行われる操作であれば、どのようなものであってもよい。例えば、身体部位の動作に基づく操作は、身体部位の位置、向き、移動量、回転量、移動速度、回転速度、加速度、角加速度、またはこれらの少なくも一部の組み合わせに基づいて操作内容や操作に基づく操作量が決定されるものであれば、どのようなものであってもよい。例えば、タッチレス環境で行われた身体部位による操作がハンドトラッカなどの検出装置で検出され、検出された身体部位の位置、向き、移動量、回転量、移動速度、回転速度、加速度、角加速度、またはこれらの少なくも一部の組み合わせに基づいて操作内容や操作に基づく操作量が決定されてもよい。また、身体部位の動作に基づく操作を表す操作情報は、身体部位の動作に基づく操作を表す情報であればどのようなものであってもよく、例えば、操作内容を表す情報であってもよいし、操作に基づく操作量を表す情報であってもよいし、操作内容および操作に基づく操作量の両方を表す情報であってもよい。操作内容は操作の種別を表す。操作内容の具体例は、操作の選択、開始、継続、終了などである。操作に基づく操作量は、何れかの種別の操作の量を表す。例えば、身体部位の動作が大きいほど、操作に基づく操作量が大きい。より具体的には、例えば、身体部位の移動量が大きいほど、操作に基づく操作量が大きい。以降、操作に基づく操作量を操作量mと表記する。操作量mは、例えば、身体部位の移動量に対して正比例する量である。身体部位の移動量をそのまま操作量mとしてもよいし、身体部位の移動量の関数値(例えば、非減少関数値または単調増加関数値)を操作量mとしてもよい。この場合の身体部位の移動量は、身体部位の動作開始位置から現在位置までの距離であってもよいし、身体部位の動作開始位置から現在位置までの距離の特定方向成分(例えば、鉛直方向成分、鉛直上方成分、鉛直下方成分、水平方向成分、水平特定方向成分など)であってもよいし、身体部位の動作開始位置から現在位置までの道のりであってもよい。また、身体部位の動作開始位置は、例えば、所定の開始条件を満たしていない状態から満たした状態に移行した時点での身体部位の位置であってもよいし、予め定められた位置であってもよい。開始条件の例は、身体部位が動作や移動を開始したこと(条件1)、身体部位が特定のトリガー動作(例えば、指でのつまみ動作や拳を握る動作など)を行ったこと(条件2)、視覚対象やその他の位置に対する身体部位の位置関係が所定条件を満たしたこと(条件3)、装置状態が所定条件を満たしたこと(条件4)、装置の操作状態が所定条件を満たしたこと(条件5)、その他の処理部からの出力があったこと(条件6)などである。条件1から6の何れかの組み合わせを開始条件としてもよい。なお、操作量mは0以上の値であってもよいし、正値であってもよいし、0以下の値であってもよいし、負値であってもよいし、正にも負にも0にもなり得る値であってもよい。
【0013】
視覚対象は、視覚によって知覚され、操作に応じた変化量で視覚的に変化する対象であればどのようなものであってもよい。例えば、視覚対象は、二次元画像であってもよいし、三次元画像であってもよいし、仮想空間での画像であってもよいし、立体ホログラムであってもよいし、実空間での実体物(例えば、機械的に動くアトラクション装置や広告用看板など)であってもよい。視覚対象の視覚的な変化には限定はなく、例えば、視覚対象の大きさが変化してもよいし、視覚対象の形状が変化してもよいし、輝度が変化してもよいし、色彩が変化してもよいし、模様が変化してもよいし、これらのうちいずれかの組み合わせが変化してもよい。また、視覚対象の大きさや形状が変化することなく、視覚対象の輝度、色彩、または模様の少なくとも何れかが変化してもよい。視覚対象の輝度、色彩、または模様の少なくとも何れかは、空間領域で一様であってもよいし、一様でなくてもよい。視覚対象の輝度、色彩、または模様の少なくとも何れかは、空間領域で周期的であってもよいし、非周期的であってもよい。
【0014】
視覚対象の視覚的な変化量は、視覚対象の視覚的な要素の初期状態から現在の状態までの変化量を意味する。視覚対象の視覚的な要素の初期状態は、予め定められていてもよいし、入力情報に基づいて定められてもよいし、その他の情報(例えば、提示される視覚対象の位置)に基づいて定められてもよい。視覚対象の視覚的な要素の初期状態は、提示する擬似触覚の程度にかかわらず同一であってもよいし、提示する擬似触覚の程度に応じて異なっていてもよい。しかし、提示する擬似触覚の程度の違いを明確化するためには、提示する擬似触覚の程度にかかわらず、視覚対象の視覚的な要素の初期状態を同一にする方が望ましい。以降、視覚対象の視覚的な変化量を変化量cと表記する。変化量cは、視覚対象の大きさ、形状、輝度、色彩、または模様の少なくとも何れかの変化量に対応し、視覚対象の大きさ、形状、輝度、色彩、または模様の少なくとも何れかが、身体部位の動作に基づく操作に応じた変化量で変化する。なお、視覚対象の大きさの変化量の例は、視覚対象の直径の変化量、半径の変化量、面積の変化量、体積の変化量などである。視覚対象の形状の変化量の例は、視覚対象の縦横比の変化量、縦横奥行比の変化量、扁平率の変化量などである。輝度の変化量の例は、輝度の変化量、明度の変化量、空間領域での位相の変化量などである。色彩の変化量の例は、画素値の変化量、色空間での変化量、空間領域での位相の変化量などである。模様の変化量は、空間領域での位相の変化量、画素値の変化量、画素値の変化量、画素値の変化量の合計などである。変化量cは0以上の値であってもよいし、正値であってもよいし、0以下の値であってもよいし、負値であってもよいし、正にも負にも0にもなり得る値であってもよい。
【0015】
操作に基づく操作量mに対する視覚対象の視覚的な変化量cの関係は、提示する擬似触覚の程度に応じて定まる。この関係は、提示する擬似触覚の程度に応じて定められる。以降、この関係を関係rと表記する。単一の擬似触覚の程度に対する単一の関係rのみが定められてもよいし、複数の擬似触覚の程度に対する複数の関係rがそれぞれ定められてもよい。なお、提示する擬似触覚の程度は予め定められていてもよいし、入力情報に基づいて定められてもよいし、他の処理に基づいて定められてもよい。以降、提示する擬似触覚の程度を表す指標を指標iと表記する。指標iの例は、擬似触覚の大きさ(強さ)を表す値(例えば、インデックス、数値、ベクトル、記号)であり、例えば、重さ感の大きさ、重量感の大きさ、抵抗感の大きさを表す値である。複数の擬似触覚の程度に対する複数の関係rがそれぞれ定められる場合、提示する擬似触覚が異なれば関係rも異なる。すなわち、指標iがi1(第1指標値)である場合の当該関係を関係r(i1)と表記し、提示する擬似触覚の程度を表す指標iがi1と異なるi2(第2指標値)である場合の関係を関係r(i2)と表記すると、関係r(i1)と関係r(i2)とは異なる。操作量mに対する変化量cの関係rは、線形な関係であってもよいし、非線形な関係であってもよい。関係rの一例は、操作量mの変化Δmに対する視覚対象の視覚的な変化量cの変化Δcの比率Δc/Δmである。例えば、Δmは操作量mでの単位操作量を意味する。例えば、cがmの関数値f(m)である場合、比率r=Δc/Δmの一例は、c=f(m)のmについての一次微分値(傾き)dc/dmである。ただし、f(・)は・を定義域とする関数を意味する。
【0016】
指標iがi1(第1指標値)である場合の比率r=Δc/Δmを比率r(i1)(第1値)と表記し、指標iがi1と異なるi2(第2指標値)である場合の比率rを比率r(i2)(第2値)と表記すると、比率r(i1)(第1値)と比率r(i2)(第2値)とは互いに異なる。例えば、指標i1(第1指標値)が表す擬似触覚の程度(例えば、擬似触覚の大きさ。例えば、重さ感の大きさ、重量感の大きさ、抵抗感の大きさなど)が、指標i2(第2指標値)が表す擬似触覚の程度よりも大きい場合、比率r(i1)(第1値)は比率r(i2)(第2値)よりも小さい。例えば、提示する擬似触覚の程度が大きいほど比率rが小さい。言い換えると、比率rが小さいほど、提示する擬似触覚の程度が大きい。
【0017】
同じ指標iに対し、mの大きさにかかわらず(少なくとも、所定のmの範囲において)比率r=Δc/Δmが一定であってもよいし、mの大きさに応じて比率r=Δc/Δmが異なってもよい。すなわち、操作に応じ、操作量mがm1(第1操作量)からm2(第2操作量)まで変化し、および/または、操作量mがm2(第2操作量)からm1(第1操作量)まで変化する場合(m1はm2と異なる)、操作量m1(第1操作量)であるときの比率r(第3値)と、操作量m2(第2操作量)であるときの比率r(第4値)とが、互いに等しくてもよいし、互いに異なっていてもよい。例えば、指標i1に対し、操作量mがm1であるときの比率rがr(i1,m1)(第3値)であり、操作量mが操作量m2であるときの比率rがr(i1,m2)(第4値)である場合、r(i1,m1)=r(i1,m2)であってもよいし、r(i1,m1)≠r(i1,m2)(すなわち、r(i1,m2)(第4値)がr(i1,m1)(第3値)と異なる)であってもよい。例えば、操作量m1(第1操作量)が操作量m2(第2操作量)よりも大きく、r(i1,m1)(第3値)がr(i1,m2)(第4値)よりも小さくてもよい。この場合、操作量mが大きい方が擬似触覚の程度が大きくなり、例えば、操作量mが大きいほど擬似触覚の程度が大きくなる。逆に、例えば、操作量m1(第1操作量)が操作量m2(第2操作量)よりも大きく、r(i1,m1)(第3値)がr(i1,m2)(第4値)よりも大きくてもよい。この場合、操作量mが大きい方が擬似触覚の程度が小さくなり、例えば、操作量mが大きいほど擬似触覚の程度が小さくなる。或いは、例えば、m1<m2<m3を満たす操作量m1,m2,m3に対し、操作量m1に対する比率rがr(i1,m1)であり、操作量m2に対する比率rがr(i1,m2)であり、操作量m3に対する比率rがr(i1,m3)である場合、r(i1,m2)<r(i1,m1)かつr(i1,m2)<r(i1,m3)であってもよい。この場合、操作量m2のときに提示される擬似触覚の程度が、その前後の操作量m1,m3のときに提示される擬似触覚の程度よりも大きくなる。逆に、r(i1,m2)>r(i1,m1)かつr(i1,m2)>r(i1,m3)であってもよい。この場合、操作量m2のときに提示される擬似触覚の程度が、その前後の操作量m1,m3のときに提示される擬似触覚の程度よりも小さくなる。
【0018】
その他、操作量mに応じ、擬似触覚の程度を表す指標iが切り替えられてもよい。例えば、操作に応じ、操作量mがm1(第1操作量)からm2(第2操作量)まで変化し、および/または、操作量mがm2(第2操作量)からm1(第1操作量)まで変化する場合(m1はm2と異なる)、操作量m1(第1操作量)であるときの指標iと、操作量m2(第2操作量)であるときの指標iとが、互いに等しくてもよいし、互いに異なっていてもよい。このように、操作量mに応じて指標iを切り替えることで、擬似触覚の程度を変化させてもよい。この場合、各指標iに対応する比率r(i)=Δc/Δmは、それぞれ、mの大きさにかかわらず一定であってもよいし、比率r(i)=Δc/Δmがmの大きさに応じて異なってもよい(例えば、上述したように)。例えば、各指標iに対応する比率r(i)がmの大きさにかかわらず一定であったとしても、操作量mに応じて指標iを切り替えることで、操作量mに応じて提示する擬似触覚の程度を変化させることができる。例えば、操作量m1が操作量m2よりも大きく、指標i1が表す擬似触覚の程度が、指標i2が表す擬似触覚の程度よりも大きい場合に、操作量m1のときに指標i1に切り替えられ、操作量m2のときに指標i2に切り替えられてもよい。逆に、操作量m1のときに指標i2に切り替えられ、操作量m2のときに指標i1に切り替えられてもよい。あるいは、例えば、m1<m2<m3を満たす操作量m1,m2,m3に対し、指標i1が表す擬似触覚の程度が、指標i2が表す擬似触覚の程度よりも大きく、指標i2が表す擬似触覚の程度が、指標i3が表す擬似触覚の程度よりも大きい場合に、操作量m2のときに指標i1に切り替えられ、操作量m1のときに指標i2に切り替えられ、操作量m3のときに指標i3に切り替えられてもよい。或いは、この場合に、操作量m2のときに指標i3に切り替えられ、操作量m1のときに指標i2に切り替えられ、操作量m3のときに指標i3に切り替えられてもよい。
【0019】
[第1実施形態]
第1実施形態では、身体部位が利用者の手指であり、視覚対象が円盤状の二次元図形であり、身体部位の動作が視覚対象を上下に移動させるようなジェスチャであり、この動作に基づく操作に応じた変化量で視覚対象の直径を変化させ、利用者に擬似触覚である重さ感を知覚させる場合を例示する。しかし、これは本発明を限定するものではない。
【0020】
<構成>
図1および
図2に例示するように、本実施形態の擬似触覚提示システム1は、擬似触覚提示装置11と、検出装置12と、視覚対象提示装置13とを有する。
【0021】
擬似触覚提示装置11は、入力部111と、記憶部112と、動作情報検出部113と、操作判定部115と、視覚対象更新部116と、出力部117とを有する。なお、以降では説明を省略するが、各処理で得られたデータは記憶部112に格納され、必要に応じて読み出されて使用される。
【0022】
検出装置12は、タッチレス環境における利用者100の身体部位101(例えば、手指)の位置を検出し、検出結果を出力する装置である。検出装置12の一例は、Leap motion(登録商標)などのハンドトラッカ、モーションキャプチャ、タッチレスディスプレイ、加速度センサ、ジャイロセンサなどであるが、これらは本発明を限定しない。
【0023】
視覚対象提示装置13は、視覚対象130を利用者100に視覚的に提示する装置である。視覚対象提示装置13の例は、液晶ディスプレイ、バーチャルリアリティヘッドセット、ビデオプロジェクタ、立体ホログラムディスプレイなどであるが、これは本発明を限定しない。
【0024】
<前処理>
前処理として、少なくとも、操作(身体部位101の動作に基づく操作)に基づく操作量mに対する視覚対象130の視覚的な変化量cの関係rを表す情報pが、入力部111に入力され、記憶部112に格納される。操作量m、視覚対象130、変化量c、および関係rの具体例は前述した通りである。説明の簡略化のため、本実施形態では、視覚対象130が円盤状の二次元図形であり、視覚対象130の視覚的な変化量cが視覚対象130の直径の変化量(正値)であり、操作量mが、視覚対象130を上下に移動させるような身体部位101の動作に基づく、身体部位101(手指)の鉛直方向成分の移動量であり、関係rが、操作量mに対する視覚対象130の直径の変化量cの関係である場合を例示する。しかし、これは本発明を限定するものではない。
図3に、操作量mに対する変化量cの関係rを例示する。
図3の横軸は、身体部位101の動作に基づく操作量m[cm]を例示する。本実施形態の例では、身体部位101(手指)の鉛直方向成分の移動量が操作量m[cm]である。
図3の縦軸は、視覚対象130の視覚的な変化量c[pixels]を例示する。本実施形態の例では、円盤状の二次元図形である視覚対象130の直径の変化量が視覚的な変化量c[pixels]である。前述のように、単一の擬似触覚の程度に対する単一の関係rのみが定められてもよいし、複数の擬似触覚の程度に対する複数の関係rがそれぞれ定められてもよい。
図3の例では、複数の擬似触覚の程度に対する複数の関係rがそれぞれ定められている。すなわち、互いに異なる擬似触覚の程度を表す指標(Index 1,..., Index 5)に応じ、互いに異なる関係rがそれぞれ定められている。
図3に例示する関係rは、操作量mの変化Δmに対する視覚対象130の視覚的な変化量cの変化Δcの比率Δc/Δmを表している。
図3の例では、mの大きさにかかわらず、比率Δc/Δm(傾き)は一定である。すなわち、
図3に例示する操作量mに対する変化量cの関係rは線形な関係である。情報pは、関係rを表す関数を含んでいてもよいし、関係rを表すテーブルを含んでいてもよいし、関係rを表すパラメータを含んでいてもよい。また、情報pが初期(初期状態)の視覚対象130を表す情報(例えば、初期の視覚対象130の直径の情報、初期の視覚対象130の輝度や色彩や模様の情報など)を含んでいてもよい。ただし、視覚対象130の初期状態(例えば、初期の視覚対象130の直径、輝度、色彩、模様など)が固定(例えば、直径の初期値が0)であれば、情報pが初期の視覚対象130の情報(例えば、初期の視覚対象130の直径の情報、初期の視覚対象130の輝度や色彩や模様の情報など)を含んでいなくてもよい。また、情報pが正の変化量cに対して、視覚対象130の直径をいずれの方向に変化させるか(直径を増加させるか、または、減少させるか)を表す情報bを含んでもいてもよい。例えば、正の変化量cに対して直径を増加させる場合にはb=b
+とし、正の変化量cに対して直径を減少させる場合にはb=b
-とする。ここで、b
+は正の実数であり、b
-は負の実数である。b
+の絶対値とb
-の絶対値は互いに等しいことが望ましいが、これらが互いに異なっていてもよい。b
+の一例は+1であり、b
+の一例は-1である。或いは、b
+がmの正の関数値(例えば、単調増加関数値や単調減少関数値)であってもよいし、b
-がmの負の関数値(例えば、単調増加関数値や単調減少関数値)であってもよい。ただし、これらは本発明を限定するものではない。なお、正の変化量cに対して、視覚対象130の直径をいずれの方向に変化させるかが固定されているのであれば、情報pが情報bを含まなくてもよい。
【0025】
<動作>
次に、本実施形態の擬似触覚提示システム1の動作を例示する。
視覚対象更新部116(
図1)は、初期の視覚対象130を生成し、初期の視覚対象130を表す情報vを出力する。本実施形態で例示する初期の視覚対象130は、直径が初期値c
1である円盤状の二次元図形である。この直径の初期値c
1は、記憶部112から読み出された情報pに含まれた値であってもよいし、予め定められた値であってもよい。また、初期の視覚対象130の輝度や色彩や模様は、記憶部112から読み出された情報pに含まれた値であってもよいし、予め定められた値であってもよい。初期の視覚対象130を表す情報vは出力部117に送られ、出力部117から視覚対象提示装置13に出力される。視覚対象提示装置13は、送られた情報vに基づいて視覚対象130を提示(表示)する(
図2)。
【0026】
利用者100は、視覚対象提示装置13で提示された視覚対象130を見ながら、タッチレス環境で身体部位101(例えば、手指)を動かす。身体部位101の位置は検出装置12で検出される。検出装置12で検出された身体部位101の位置を表す情報dは、動作情報検出部113に出力される。検出装置12での身体部位101の位置検出および情報dの出力は、例えば、所定の時間間隔で継続的に行われてもよいし、身体部位101の動きが検出されるたびに行われてもよい。動作情報検出部113は、情報dが入力されるたびに、当該情報dから身体部位101の動作を検出し、身体部位101の動作を表す情報amを出力する。身体部位101の動作検出および情報amの出力も継続的に行われる。動作を表す情報amは、例えば、身体部位101の位置、動き、移動量mの少なくとも何れかを表す情報である。本実施形態では、動作を表す情報amが身体部位101の移動量mを特定する情報である例を示す。身体部位101の移動量mの具体例は前述の通りである。本実施形態では、身体部位101の動作開始位置から現在位置までの距離の鉛直方向成分を移動量とする例を示す。この身体部位101の動作開始位置の具体例は前述の通りである。本実施形態の例では、前述の条件2および条件3の組み合わせである開始条件を満たしていない状態から満たした状態に移行した時点での身体部位101の位置を動作開始位置とする。すなわち、本実施形態の例では、身体部位101が特定のトリガー動作を行い(条件2)、かつ、提示される視覚対象130やその他の位置に対する身体部位101の位置関係が所定条件を満たした(条件3)状態に移行した時点での身体部位101の位置を動作開始位置とする。トリガー動作はどのようなものであってもよいが、本実施形態では、指でのつまみ動作をトリガー動作とする例を示す。また、位置関係が満たす所定条件(条件3)はどのようなものであってもよいが、本実施形態の例では、身体部位101(例えば、手指)が視覚対象130の提示位置(例えば、視覚対象提示装置13の表示画面)から一定距離よりも離れることを当該所定条件とする。この場合、動作情報検出部113は、情報dに基づいて、利用者100の身体部位101である親指と人差し指と間の距離d1を計測し、さらに身体部位101(例えば、手指)と視覚対象130の提示位置(例えば、視覚対象提示装置13の表示画面)との間の距離d2を計測し、距離d1および距離d2を、身体部位101の動作を表す情報am=(d1,d2)として出力する。
【0027】
情報am=(d1,d2)は操作判定部115に入力される。操作判定部115は、情報amに基づき、身体部位101の動作に基づく操作を表す操作情報を得て出力する。操作情報の例は前述の通りであるが、本実施形態では、操作量mを表す情報を操作情報として出力する例を説明する。例えばまず、操作判定部115は、距離d1が予め定められた閾値dth1未満となったか否か(または、距離d1が閾値dth1以下となったか否か)を判定する。ただし、閾値dth1は距離を表す正の実数である。ここで距離d1が閾値dth1を超える場合(または、距離d1が閾値dth1以上である場合)、操作判定部115は、身体部位101(この例では手指)でのつまみ動作、すなわちトリガー動作が行われていないと判断する。一方、距離d1が閾値dth1以下である場合(または、距離d1が閾値dth1未満である場合)、操作判定部115は、トリガー動作が行われていると判定する(すなわち、条件2を満たしていると判定する)。また、操作判定部115は、距離d2が予め定められた閾値dth2を超えているか否か(または、距離d2が閾値dth2以上となったか否か)を判定する。ただし、閾値dth2は距離を表す正の実数である。ここで、距離d2が閾値dth2以下である場合(または、距離d2が閾値dth2未満である場合)、身体部位101の位置関係が所定条件を満たしていないと判定する。一方、距離d2が閾値dth2を超えている場合(または、距離d2が閾値dth2以上である場合)、身体部位101の位置関係が所定条件を満たしていると判定する(すなわち、条件3を満たしていると判定する)。操作判定部115は、トリガー動作が行われており、かつ、身体部位101の位置関係が所定条件を満たしたと判定した場合(すなわち、条件2および条件3の両方を満たしていると判定した場合)、距離d2に基づいて、動作開始位置から身体部位101の現在位置までの距離の鉛直方向成分を移動量として得、当該移動量を操作量mとする。なお、動作開始位置は前述した通りである。本実施形態で例示する動作開始位置は、条件2または条件3の少なくとも一方を満たしていない状態から、条件2および条件3の両方を満たす状態に移行した時点での身体部位101の位置である。操作判定部115は、操作量mを表す情報(身体部位の動作に基づく操作を表す操作情報)を視覚対象更新部116に出力する。
【0028】
操作量mを表す情報は、視覚対象更新部116に入力される。視覚対象更新部116は、記憶部112に格納された情報pを参照し、少なくとも、操作量mを表す情報(身体部位の動作に基づく操作を表す操作情報)と情報p(操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報)とに基づいて、操作に応じた変化量で視覚対象130を視覚的に変化させる。例えば、情報pが単一の擬似触覚の程度に対する単一の関係rのみを表しているのであれば、視覚対象更新部116は、この関係rを参照し、入力された操作量mに対応する変化量cを得、視覚対象130を初期状態から変化量cだけ視覚的に変化させる。本実施形態の例では、視覚対象130の直径を初期値c
1からc
1+b・cに変化させる。すなわち、この例の視覚対象更新部116は、直径c
2=c
1+b・cの円盤状の視覚対象130を生成し、当該視覚対象130を表す情報vを出力する。b={b
+,b
-}は情報pに含まれている情報であってもよいし、予め定められていてもよい。一方、例えば、情報pが複数の擬似触覚の程度に対する複数の関係rを表しているのであれば、視覚対象更新部116は、提示しようとする擬似触覚の程度に対応する関係rを参照し、入力された操作量mに対応する変化量cを得、視覚対象130を初期状態から変化量cだけ視覚的に変化させる。
図3の例の場合、視覚対象更新部116は、提示しようとする擬似触覚の程度を表す指標(
図3の例では、Index 1,..., Index 5の何れか)に対応する関係rを参照する。前述のように、提示しようとする擬似触覚の程度は予め定められていてもよいし、入力部111に入力される入力情報Iに基づいて定められてもよいし、他の処理に基づいて定められてもよい。この場合も視覚対象更新部116は、直径c
2=c
1+b・cの円盤状の視覚対象130を生成し、当該視覚対象130を表す情報vを出力する。
【0029】
図4Aから
図5Cを用い、提示しようとする擬似触覚の程度が異なる場合の視覚対象130の変化の違いを例示する。例えば、提示しようとする擬似触覚(例えば、重さ感、重量感、抵抗感)の程度を表す指標がIndex 1(
図3)である場合、視覚対象更新部116は、身体部位101の動作開始位置vh
1から現在位置vh
1までの距離の鉛直方向成分である操作量mに対し、視覚対象130の直径を、初期のc
1=c
1-1からc
2=c
1-2=c
1-1+b・cまで変化させる。例えば、視覚対象更新部116は、b=b
+であれば、視覚対象130の直径をc
1=c
1-1からc
2=c
1-2に拡大し(
図4Aから
図4C)、b=b
-であれば、視覚対象130の直径をc
1=c
1-1からc
2=c
1-2に縮小する。一方、提示しようとする擬似触覚の程度を表す指標がIndex 2である場合、視覚対象更新部116は、同じ操作量mに対し、視覚対象130の直径を、初期のc
1=c
2-1からc
2=c
2-2=c
2-1+b・cまで変化させる。例えば、視覚対象更新部116は、b=b
+であれば、視覚対象130の直径をc
1=c
2-1からc
2=c
2-2に拡大し(
図5Aから
図5C)、b=b
-であれば、視覚対象130の直径をc
1=c
2-1からc
2=c
2-2に縮小する。ここで、指標Index 1が表す擬似触覚(例えば、重さ感、重量感、抵抗感)の程度は、指標Index 2が表す擬似触覚の程度よりも大きい。この場合、操作量mは同一であるにもかかわらず、指標Index 1に対する視覚対象130の直径の変化量|c
1-2-c
1-1|は、指標Index 2に対する視覚対象130の直径の変化量|c
2-2-c
2-1|よりも小さい。なお、本実施形態の例では、条件2または条件3の少なくとも一方を満たしていない状態から、条件2および条件3の両方を満たす状態に移行した時点での身体部位101の位置を動作開始位置とする。そのため、トリガー動作(つまみ動作)が検出され、かつ、身体部位101(例えば、手指)が視覚対象130の提示位置から一定距離以上離れたことが検出されたときにのみ、視覚対象130の直径が更新される。
【0030】
視覚対象更新部116から出力された視覚対象130を表す情報vは出力部117に送られ、出力部117から視覚対象提示装置13に出力される。視覚対象提示装置13は、送られた情報vに基づいて視覚対象130を提示(表示)する(
図2)。これにより、利用者100に提示されている視覚対象130が、身体部位101の動作に基づく操作に応じた変化量cで変化し、利用者100に擬似触覚(例えば、重さ感、重量感、抵抗感)を提示することができる。また、複数の擬似触覚の程度に対する複数の関係rが設定されているのであれば、選択された程度の擬似触覚(例えば、選択された大きさの重さ感、重量感、抵抗感)を提示することができる。
【0031】
<実験結果>
次に、第1実施形態の効果を示すための実験1の実験結果を例示する。
図6Aに例示するように、実験1では、視覚対象提示装置13から、評価対象の視覚対象130(評価刺激)を提示するとともに、基準となる視覚対象140(標準刺激)も提示した。なお、視覚対象130および視覚対象140はともに円盤状の二次元画像であり、実験参加者の手指(身体部位)の動作に基づく変化量でそれらの直径が変化する。ただし、視覚対象130と視覚対象140とは、操作量に対する直径の変化量が異なる。すなわち、視覚対象140の直径は、当該手指の高度(移動量の鉛直方向成分)が1[cm]変化するごとに20[pixels]変化する。これに対し、視覚対象130については、当該手指の高度が1[cm]変化するごとに、直径が5[pixels]変化するケース1、10[pixels]変化するケース2、20[pixels]変化するケース3、40[pixels]変化するケース4、および80[pixels]変化するケース5が試された。すなわち、ケース1,2,3,4,5の視覚対象140の直径の変化に対する視覚対象130の変化の比率(速度比率:Speed ratio)は、それぞれ、0.25,0.5,1.0,2.0,4.0である。
図6Bに、各速度比率における、実験参加者の手指の高さ[cm]に対する視覚対象130の直径の変化量[pixels]を示す。実験1では、
図6Bの横軸が実験参加者の手指の高さ[cm]を表し、縦軸が視覚対象130の直径の変化量[pixels]を表す。実験参加者は、ケース1,2,3,4,5について、視覚対象130と視覚対象140とを対比し、これらのどちらが重く感じられたかを評定法により報告した。具体的には、実験参加者は、1:左の円盤(視覚対象140)の方がかなり重い、2:左の円盤(視覚対象140)の方がやや重い、3:重さは左右で変わらない、4:右の円盤(視覚対象130)の方がやや重い、5:右の円盤(視覚対象130)の方がかなり重い、の5種類の評価スコアによる5件法で報告した。
図7に、この実験結果を示す。
図7の横軸は速度比率を表し、縦軸は実験参加者ごとの重さ感の評価スコア(1から5)の平均値を表す。
図7に例示するように、速度比率が小さいほど、視覚対象130が重く感じられることが分かった。すなわち、操作に基づく操作量に対する視覚対象の直径の変化量が小さいほど、知覚される重さ感が大きくなる。
【0032】
[第2実施形態]
第1実施形態では、視覚対象130が円盤状の二次元図形であり、身体部位101の動作が視覚対象130を上下に移動させるようなジェスチャであり、この動作に基づく操作に応じた変化量で視覚対象130の直径を変化させ、利用者に擬似触覚である重さ感を知覚させる場合を例示した。すなわち、第1実施形態では、動作に基づく操作に応じた変化量で視覚対象130の大きさを変化させることで、重さ感を知覚させる例を示した。第2実施形態では、視覚対象の大きさや形状を変化させなくても、動作に基づく操作に応じた変化量で、視覚対象の輝度、色彩、または模様の少なくとも何れかを変化させることで重さ感を知覚させることができることを示す。このことを示すため、本実施形態では、直径が固定された同心円縞を持つ二次元図形を視覚対象とする。第2実施形態では、動作に基づく操作に応じた変化量で、視覚対象が持つ同心円縞の空間領域での位相(以降、単に「位相」という)を変化させることで重さ感を知覚させる。以下では第1実施形態との相違点を中心に説明し、すでに説明した事項については同じ参照番号を用いて説明を簡略化する。
【0033】
<構成>
図1および
図2に例示するように、本実施形態の擬似触覚提示システム2は、擬似触覚提示装置21と、検出装置12と、視覚対象提示装置13とを有する。擬似触覚提示装置21は、入力部111と、記憶部112と、動作情報検出部113と、操作判定部115と、視覚対象更新部216と、出力部117とを有する。
【0034】
<前処理>
本実施形態の前処理は、視覚対象130が、直径が固定された同心円縞を持つ円盤状の二次元図形である視覚対象230に置換され(例えば、
図8)、視覚対象130の直径の変化量cが、視覚対象230が持つ同心円縞の位相の変化量cに置換される以外、第1実施形態の前処理と同じである。なお、
図3の例では、視覚対象230が持つ同心円縞の空間領域での1周期を100[pixels]としている。すなわち、視覚対象230が持つ同心円縞の位相の変化量c[pixels]は、2π(c/100)[rad]の位相の変化を表す。なお、
図8では、空間領域での同心円縞の中心Oからの距離の変化に対する輝度値の変化が正弦波で表される場合(すなわち、正弦波輝度変調する同心円縞)を例示する。しかし、これは本発明を限定するものではなく、中心Oからの距離の変化に対する輝度値の変化が周期的な縞構造を持つ同心円縞であればよい。例えば、中心Oからの距離の変化に対する輝度値の変化が矩形波や三角波などで表されてもよい。また、第1実施形態と同様、情報pが初期の視覚対象230の情報を含んでいてもよいし、含んでいなくてもよい。初期の視覚対象230の情報の例は、初期の視覚対象230が持つ同心円縞の位相の情報(位相の初期値)、および初期の視覚対象230の大きさや形状や輝度や色彩や模様の情報などである。また、情報pが正の変化量cに対して、位相をいずれの方向に変化させるかを表す情報b={b
+,b
-}を含んでもいてもよい。
【0035】
<動作>
次に、本実施形態の擬似触覚提示システム2の動作を例示する。
視覚対象更新部216(
図1)は、初期の視覚対象230を生成し、初期の視覚対象230を表す情報vを出力する。本実施形態で例示する初期の視覚対象230は、初期状態の位相の同心円縞を持つ。同心円縞の位相はどのように表現されてもよい。説明の都合上、本実施形態では、
図8に例示するように、同心円縞の中心Oから、輝度が特定の値(例えば、黒色に対応する0)となる位置P
xまでの空間領域での距離xによって位相を表現する。しかし、これは本発明を限定するものではない。この表現に従うと、本実施形態の初期の視覚対象230は、距離xが初期値x
1となる位相の同心円縞を持つ円盤状の二次元図形である。距離xの初期値x
1(位相の初期値)は、記憶部112から読み出された情報pに含まれた値であってもよいし、予め定められた値であってもよい。また、初期の視覚対象230の大きさや形状や輝度や色彩や模様は、記憶部112から読み出された情報pに含まれた値であってもよいし、予め定められた値であってもよい。初期の視覚対象230を表す情報vは出力部117に送られ、出力部117から視覚対象提示装置13に出力される。視覚対象提示装置13は、送られた情報vに基づいて視覚対象230を提示(表示)する(
図2および
図8)。
【0036】
利用者100は、視覚対象提示装置13で提示された視覚対象230を見ながら、タッチレス環境で身体部位101(例えば、手指)を動かす。身体部位101の位置は検出装置12で検出される。検出装置12で検出された身体部位101の位置を表す情報dは、動作情報検出部113に出力される。動作情報検出部113は、情報dが入力されるたびに、当該情報dから身体部位101の動作を検出し、身体部位101の動作を表す情報am=(d1,d2)を出力する。その他、検出装置12および動作情報検出部113の動作は第1実施形態と同じである。
【0037】
情報am=(d1,d2)は操作判定部115に入力され、操作判定部115は、情報amに基づき、身体部位101の動作に基づく操作を表す操作情報を得て出力する。第1実施形態と同じく、本実施形態でも、操作量mを表す情報を操作情報として出力する例を説明する。操作判定部115の動作は第1実施形態と同じである。
【0038】
操作量mを表す情報は、視覚対象更新部216に入力される。視覚対象更新部216は、記憶部112に格納された情報pを参照し、少なくとも、操作量mを表す情報(身体部位の動作に基づく操作を表す操作情報)と情報p(操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報)とに基づいて、操作に応じた変化量で視覚対象230を視覚的に変化させる。この動作は、視覚対象130の直径を初期値c1からc2=c1+b・cに変化させることに代え、視覚対象230が持つ同心円縞の位相を距離xがx1からx2=x1+b・cになるように変化させること以外、第1実施形態の視覚対象更新部116の動作と同じである。変化量cが正であり、b=b+である場合、視覚対象230が持つ同心円縞の位相を距離xがx1からx2=x1+b・cになるように変化させることは、同心円縞の縞を中心Oから外側に向かう方向に移動させることである。すなわち、b=b+である場合、身体部位101(例えば、手指)の垂直位置が高くなるほど縞を外側へ移動させ、身体部位101(例えば、手指)の垂直位置が低くなるほど縞を内側へ移動させる。また、変化量cが正であり、b=b-である場合、視覚対象230が持つ同心円縞の位相を距離xがx1からx2=x1+b・cになるように変化させることは、同心円縞の縞を外側から中心Oに向かう方向に移動させることである。すなわち、b=b-である場合、身体部位101(例えば、手指)の高度(移動量の鉛直方向成分)が高くなるほど縞を内側へ移動させ、身体部位101(例えば、手指)の高度が低くなるほど縞を外側へ移動させる。なお、視覚対象230の直径(大きさ)や形状は変化させない。
【0039】
図9Aから
図11Cを用い、提示しようとする擬似触覚の程度が異なる場合の視覚対象230の変化の違いを例示する。
図9B,
図9C,
図10B,
図10C,
図11B,
図11Cにおける横軸は前述の距離xを表し、縦軸は画素値を表す。例えば、提示しようとする擬似触覚(例えば、重さ感、重量感、抵抗感)の程度を表す指標がIndex 1(
図3)である場合、視覚対象更新部216は、身体部位101の動作開始位置vh
1から現在位置vh
1までの距離の鉛直方向成分である操作量mに対し、視覚対象230が持つ同心円縞の位相を距離xが初期のx
1=x
1-1からx
2=x
1-2=x
1-1+b・cになるように変化させる。例えば、視覚対象更新部216は、b=b
+であれば、視覚対象230が持つ同心円縞の縞を外側に移動させ(
図9Aから
図9C)、b=b
-であれば、視覚対象230が持つ同心円縞の縞を内側に移動させる(
図11Aから
図11C)。一方、提示しようとする擬似触覚の程度を表す指標がIndex 2である場合、視覚対象更新部216は、同じ操作量mに対し、視覚対象230が持つ同心円縞の位相を距離xが初期のx
1=x
2-1からx
2=x
2-2=x
2-1+b・cになるように変化させる。例えば、視覚対象更新部216は、b=b
+であれば、視覚対象230が持つ同心円縞の縞を外側に移動させ(
図10Aから
図10C)、b=b
-であれば、視覚対象230が持つ同心円縞の縞を内側に移動させる(
図11Aから
図11C)。ここで、指標Index 1が表す擬似触覚(例えば、重さ感、重量感、抵抗感)の程度は、指標Index 2が表す擬似触覚の程度よりも大きい。この場合、操作量mは同一であるにもかかわらず、指標Index 1に対する視覚対象230の位相の変化量|x
1-2-x
1-1|は、指標Index 2に対する視覚対象230の位相の変化量|x
2-2-x
2-1|よりも小さい。
【0040】
視覚対象更新部216から出力された視覚対象130を表す情報vは出力部117に送られ、出力部117から視覚対象提示装置13に出力される。視覚対象提示装置13は、送られた情報vに基づいて視覚対象230を提示(表示)する(
図2および
図8)。これにより、利用者100に提示されている視覚対象230が、身体部位101の動作に基づく操作に応じた変化量cで変化し、利用者100に擬似触覚(例えば、重さ感、重量感、抵抗感)を提示することができる。また、情報pが複数の擬似触覚の程度に対する複数の関係rを表しているのであれば、選択された程度の擬似触覚(例えば、選択された大きさの重さ感、重量感、抵抗感)を提示することができる。
【0041】
<実験結果>
次に、第2実施形態の効果を示すための実験2,3の実験結果を例示する。
実験2は、b=b
+の場合、すなわち、身体部位101(例えば、手指)の垂直位置が高くなるほど縞を外側へ移動させ、身体部位101(例えば、手指)の垂直位置が低くなるほど縞を内側へ移動させる場合の実験である。
図12Aに例示するように、実験2でも、視覚対象提示装置13から、評価対象の視覚対象230(評価刺激)を提示するとともに、基準となる視覚対象240(標準刺激)も提示した。なお、視覚対象230および視覚対象240はともに同心円縞を持つ円盤状の二次元画像であり、実験参加者の手指の動作に基づく変化量でそれらの位相が変化する。ただし、視覚対象230と視覚対象240とは、操作量に対する位相の変化量が異なる。すなわち、視覚対象240は、当該手指の高度(移動量の鉛直方向成分)が1[cm]変化するごとに同心円縞の縞の位置が20pixels変化する。つまり、同心円縞の空間領域での1周期を100[pixels]とした場合、当該手指の高度が1[cm]変化するごとに同心円縞の位相が0.4π[rad]変化する。これに対し、視覚対象230については、当該手指の高さが1[cm]変化するごとに、同心円縞の縞の位置が5[pixels]変化するケース1、10[pixels]変化するケース2、20[pixels]変化するケース3、40[pixels]変化するケース4、および80[pixels]変化するケース5が試された。つまり、同心円縞の空間領域での1周期を100[pixels]とした場合、ケース1,2,3,4,5では、当該手指の高度が1[cm]変化するごとに、位相が0.1π,0.2π,0.4π,0.8π,1.6π[rad]変化する。すなわち、ケース1,2,3,4,5の視覚対象240の位相の変化に対する視覚対象230の位相の比率(速度比率:Speed ratio)は、それぞれ、0.25,0.5,1.0,2.0,4.0である。
図6Bに、各速度比率における、実験参加者の手指の高さ[cm]に対する視覚対象130の同心円縞の位相の変化量[pixels]を示す。実験2では、
図6Bの横軸が実験参加者の手指の高さ[cm]を表し、縦軸が視覚対象230の同心円縞の位相の変化量[pixels]を表す。実験参加者は、ケース1,2,3,4,5について、視覚対象230と視覚対象240とを対比し、これらのどちらが重く感じられたかを、評定法により報告した。評価は、実験1と同じく、1から5の評価スコアによる5件法で行われた。
図12Bに、実験2の実験結果を示す。
図12Bの横軸は速度比率を表し、縦軸は実験参加者ごとの重さ感の評価スコア(1から5)の平均値を表す。
図12Bに例示するように、速度比率が小さいほど、視覚対象230が重く感じられることが分かった。すなわち、b=b
+の場合、操作に基づく操作量に対して視覚対象230が持つ同心円縞の位相の変化量が小さいほど、知覚される重さ感が大きくなる。また、この結果から、視覚対象の大きさや形状に変化がなくても、操作に基づく操作量に応じて視覚対象230が持つ同心円縞の位相を変化させることで、重さ感を知覚させることができることが分かる。
【0042】
実験3は、b=b
-の場合、すなわち、身体部位101(例えば、手指)の垂直位置が高くなるほど縞を内側へ移動させ、身体部位101(例えば、手指)の垂直位置が低くなるほど縞を外側へ移動させる場合の実験である。b=b
-である以外、実験方法は実験2と同じである。
図13に、実験3の実験結果を示す。
図13の横軸は速度比率を表し、縦軸は実験参加者ごとの重さ感の評価スコア(1から5)の平均値を表す。
図13に例示するように、速度比率が小さいほど、視覚対象230が重く感じられることが分かった。すなわち、b=b
-の場合も、操作に基づく操作量に対して視覚対象230が持つ同心円縞の位相の変化量が小さいほど、知覚される重さ感が大きくなる。また、この結果から、同心円縞の位相の変化方向(縞の移動方向)にかかわらず、操作に基づく操作量に応じて視覚対象230が持つ同心円縞の位相を変化させることで、重さ感を知覚させることができることが分かる。
【0043】
[第3実施形態]
第2実施形態では、動作に基づく操作に応じた変化量で、視覚対象が持つ同心円縞の位相を変化させることで重さ感を知覚させた。しかし、この効果は同心円縞の位相を変化させる場合だけでなく、その他の図形の位相を変化させる場合にも得られる。このことを示すため、本実施形態では、1次元縞を持つ二次元図形を視覚対象とする。本実施形態の視覚対象も大きさや形状は変化しない。以下では第1,2実施形態との相違点を中心に説明し、すでに説明した事項については同じ参照番号を用いて説明を簡略化する。
【0044】
図1および
図2に例示するように、本実施形態の擬似触覚提示システム3は、擬似触覚提示装置31と、検出装置12と、視覚対象提示装置13とを有する。擬似触覚提示装置31は、入力部111と、記憶部112と、動作情報検出部113と、操作判定部115と、視覚対象更新部316と、出力部117とを有する。
【0045】
<前処理>
本実施形態の前処理は、視覚対象130が、大きさが固定された1次元縞を持つ矩形の二次元図形である視覚対象330に置換され(例えば、
図14)、視覚対象130の直径の変化量cが、視覚対象330が持つ1次元縞の位相の変化量cに置換される以外、第1実施形態の前処理と同じである。なお、
図14では、空間領域での視覚対象330の縁部Eからの距離の変化に対する輝度値の変化が正弦波で表される場合(すなわち、正弦波輝度変調する1次元縞)を例示する。しかし、これは本発明を限定するものではなく、縁部Eからの距離の変化に対する輝度値の変化が周期的な縞構造を持つ1次元縞であればよい。例えば、縁部Eからの距離の変化に対する輝度値の変化が矩形波や三角波などで表されてもよい。また、第1実施形態と同様、情報pが初期の視覚対象330の情報を含んでいてもよいし、含んでいなくてもよい。初期の視覚対象330の情報の例は、初期の視覚対象330が持つ1次元縞の位相の情報(位相の初期値)、および初期の視覚対象330の大きさや形状や輝度や色彩や模様の情報などである。また、情報pが正の変化量cに対して、位相をいずれの方向に変化させるかを表す情報b={b
+,b
-}を含んでもいてもよい。
【0046】
<動作>
次に、本実施形態の擬似触覚提示システム3の動作を例示する。
視覚対象更新部316(
図1)は、初期の視覚対象330を生成し、初期の視覚対象330を表す情報vを出力する。本実施形態で例示する初期の視覚対象330は、初期状態の位相の1次元縞を持つ。1次元縞の位相はどのように表現されてもよい。説明の都合上、本実施形態では、
図14に例示するように、1次元縞の縁部Eから、輝度が特定の値(例えば、黒色に対応する0)となる位置P
xまでの空間領域での距離xによって位相を表現する。しかし、これは本発明を限定するものではない。この表現に従うと、本実施形態の初期の視覚対象330は、距離xが初期値x
1となる位相の1次元縞を持つ矩形の二次元図形である。距離xの初期値x
1(位相の初期値)は、記憶部112から読み出された情報pに含まれた値であってもよいし、予め定められた値であってもよい。また、初期の視覚対象330の大きさや形状や輝度や色彩や模様は、記憶部112から読み出された情報pに含まれた値であってもよいし、予め定められた値であってもよい。初期の視覚対象330を表す情報vは出力部117に送られ、出力部117から視覚対象提示装置13に出力される。視覚対象提示装置13は、送られた情報vに基づいて視覚対象330を提示(表示)する(
図2および
図14)。
【0047】
利用者100は、視覚対象提示装置13で提示された視覚対象330を見ながら、タッチレス環境で身体部位101(例えば、手指)を動かす。身体部位101の位置は検出装置12で検出される。検出装置12で検出された身体部位101の位置を表す情報dは、動作情報検出部113に出力される。動作情報検出部113は、情報dが入力されるたびに、当該情報dから身体部位101の動作を検出し、身体部位101の動作を表す情報am=(d1,d2)を出力する。その他、検出装置12および動作情報検出部113の動作は第1実施形態と同じである。
【0048】
情報am=(d1,d2)は操作判定部115に入力され、操作判定部115は、情報amに基づき、身体部位101の動作に基づく操作を表す操作情報を得て出力する。第1実施形態と同じく、本実施形態でも、操作量mを表す情報を操作情報として出力する例を説明する。操作判定部115の動作は第1実施形態と同じである。
【0049】
操作量mを表す情報は、視覚対象更新部316に入力される。視覚対象更新部316は、記憶部112に格納された情報pを参照し、少なくとも、操作量mを表す情報(身体部位の動作に基づく操作を表す操作情報)と情報p(操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報)とに基づいて、操作に応じた変化量で視覚対象330を視覚的に変化させる。この動作は、視覚対象130の直径を初期値c1からc2=c1+b・cに変化させることに代え、視覚対象330が持つ1次元縞の位相を距離xがx1からx2=x1+b・cになるように変化させること以外、第1実施形態の視覚対象更新部116の動作と同じである。変化量cが正であり、b=b+である場合、視覚対象330が持つ1次元縞の位相を距離xがx1からx2=x1+b・cになるように変化させることは、1次元縞の縞を縁部Eから右方向に移動させることである。すなわち、b=b+である場合、身体部位101(例えば、手指)の垂直位置が高くなるほど縞を右側へ移動させ、身体部位101(例えば、手指)の垂直位置が低くなるほど縞を左側へ移動させる。また、変化量cが正であり、b=b-である場合、視覚対象330が持つ1次元縞の位相を距離xがx1からx2=x1+b・cになるように変化させることは、1次元縞の縞を右側から縁部Eに向かう方向(左方向)に移動させることである。すなわち、b=b-である場合、身体部位101(例えば、手指)の高度(移動量の鉛直方向成分)が高くなるほど縞を左側へ移動させ、身体部位101(例えば、手指)の高度が低くなるほど縞を右側へ移動させる。なお、視覚対象330の大きさや形状は変化させない。
【0050】
視覚対象更新部316から出力された視覚対象130を表す情報vは出力部117に送られ、出力部117から視覚対象提示装置13に出力される。視覚対象提示装置13は、送られた情報vに基づいて視覚対象330を提示(表示)する(
図2および14)。これにより、利用者100に提示されている視覚対象330が、身体部位101の動作に基づく操作に応じた変化量cで変化し、利用者100に擬似触覚(例えば、重さ感、重量感、抵抗感)を提示することができる。また、情報pが複数の擬似触覚の程度に対する複数の関係rを表しているのであれば、選択された程度の擬似触覚(例えば、選択された大きさの重さ感、重量感、抵抗感)を提示することができる。
【0051】
<実験結果>
次に、第3実施形態の効果を示すための実験4の実験結果を例示する。
図15Aに例示するように、実験4でも、視覚対象提示装置13から、評価対象の視覚対象330(評価刺激)を提示するとともに、基準となる視覚対象340(標準刺激)も提示した。なお、視覚対象330および視覚対象340はともに1次元縞を持つ矩形の二次元画像であり、実験参加者の手指の動作に基づく変化量でそれらの位相が変化する。ただし、視覚対象330と視覚対象340とは、操作量に対する位相の変化量が異なる。すなわち、視覚対象340は、当該手指の高度(移動量の鉛直方向成分)が1[cm]変化するごとに1次元縞の位置が20pixels変化する。つまり、1次元縞の空間領域での1周期を100[pixels]とした場合、当該手指の高度が1[cm]変化するごとに1次元縞の位相が0.4π[rad]変化する。これに対し、視覚対象330については、当該手指の高さが1[cm]変化するごとに、1次元縞の縞の位置が5[pixels]変化するケース1、10[pixels]変化するケース2、20[pixels]変化するケース3、40[pixels]変化するケース4、および80[pixels]変化するケース5が試された。すなわち、実験4の場合も、ケース1,2,3,4,5の視覚対象340の位相の変化に対する視覚対象330の位相の比率(速度比率:Speed ratio)は、それぞれ、0.25,0.5,1.0,2.0,4.0である(
図6B)。実験2,3と同じく、実験4でも、
図6Bの横軸が実験参加者の手指の高さ[cm]を表し、縦軸が視覚対象330の1次元縞の位相の変化量[pixels]を表す。実験参加者は、ケース1,2,3,4,5について、視覚対象330と視覚対象340とを対比し、これらのどちらが重く感じられたかを、評定法により報告した。評価は、実験1と同じく、1から5の評価スコアによる5件法で行われた。
図15Bに、実験4の実験結果を示す。
図15Bの横軸は速度比率を表し、縦軸は実験参加者ごとの重さ感の評価スコア(1から5)の平均値を表す。
図15Bに例示するように、この場合も、速度比率が小さいほど、視覚対象330が重く感じられることが分かった。すなわち、操作に基づく操作量に対して視覚対象330が持つ1次元縞の位相の変化量が小さいほど、知覚される重さ感が大きくなる。また、この結果から、縞の種別や空間構造にかかわらず、操作に基づく操作量に応じて視覚対象330が持つ縞の位相を変化させることで、重さ感を知覚させることができることが分かる。
【0052】
[その他の変形例]
第1から第3実施形態では、身体部位の動作に基づく操作を表す操作情報と、操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報とに基づいて、操作に応じた変化量で視覚対象の大きさや位相を変化させることで、利用者に重さ感を知覚させる例を示した。しかしながら、本発明がこれに限定されないのは前述した通りである。例えば、視覚対象の形状は、円盤状であってもよいし、楕円状であってもよいし、矩形であってもよいし、その他の多角形であってもよいし、その他の形状であってもよい。視覚対象の視覚的な変化にも限定はない。例えば、視覚対象の大きさの変化の仕方も第1実施形態のものには限定されず、操作に応じた変化量で、視覚対象が変形しながら大きさが変化してもよいし、視覚対象の輝度、色彩、または模様の少なくとも何れかが変化しながら、視覚対象の大きさや形状が変化してもよい。操作に応じた変化量で、視覚対象の大きさや形状が変化しながら、視覚対象が持つ周期的な縞の位相が変化してもよい。視覚対象が非周期的な模様を持つ二次元画像(例えば、ホワイトノイズ画像など)であり、操作に応じた変化量で、その視覚対象の大きさ、形状、模様、輝度、色彩の少なくとも何れかが変化してもよい。また、前述したように、同じ指標iに対し、関係r(例えば、r=Δc/Δm)が一定であってもよいし、関係r(例えば、r=Δc/Δm)がmの大きさに応じて異なってもよい。また、視覚対象更新部116,216,316が、前述したように、操作量mに応じ、擬似触覚の程度を表す指標iを切り替え、切り替えた指標iに対応する関係rを参照し、入力された操作量mに対応する変化量cを得、得られた変化量で視覚対象130を視覚的に変化させてもよい。
【0053】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【0054】
[ハードウェア構成]
各実施形態における擬似触覚提示装置11,21,31は、例えば、CPU(central processing unit)等のプロセッサ(ハードウェア・プロセッサ)やRAM(random-access memory)・ROM(read-only memory)等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。すなわち、各実施形態における擬似触覚提示装置11,21,31は、例えば、それぞれが有する各部を実装するように構成された処理回路(processing circuitry)を有する。このコンピュータは1個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めROM等に記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、1個の装置を構成する電子回路が複数のCPUを含んでいてもよい。
【0055】
図16は、各実施形態における擬似触覚提示装置11,21,31のハードウェア構成を例示したブロック図である。
図16に例示するように、この例の擬似触覚提示装置11,21,31は、CPU(Central Processing Unit)10a、入力部10b、出力部10c、RAM(Random Access Memory)10d、ROM(Read Only Memory)10e、補助記憶装置10f及びバス10gを有している。この例のCPU10aは、制御部10aa、演算部10ab及びレジスタ10acを有し、レジスタ10acに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部10bは、データが入力される入力端子、キーボード、マウス、タッチパネル等である。また、出力部10cは、データが出力される出力端子、ディスプレイ、所定のプログラムを読み込んだCPU10aによって制御されるLANカード等である。また、RAM10dは、SRAM (Static Random Access Memory)、DRAM (Dynamic Random Access Memory)等であり、所定のプログラムが格納されるプログラム領域10da及び各種データが格納されるデータ領域10dbを有している。また、補助記憶装置10fは、例えば、ハードディスク、MO(Magneto-Optical disc)、半導体メモリ等であり、所定のプログラムが格納されるプログラム領域10fa及び各種データが格納されるデータ領域10fbを有している。また、バス10gは、CPU10a、入力部10b、出力部10c、RAM10d、ROM10e及び補助記憶装置10fを、情報のやり取りが可能なように接続する。CPU10aは、読み込まれたOS(Operating System)プログラムに従い、補助記憶装置10fのプログラム領域10faに格納されているプログラムをRAM10dのプログラム領域10daに書き込む。同様にCPU10aは、補助記憶装置10fのデータ領域10fbに格納されている各種データを、RAM10dのデータ領域10dbに書き込む。そして、このプログラムやデータが書き込まれたRAM10d上のアドレスがCPU10aのレジスタ10acに格納される。CPU10aの制御部10aaは、レジスタ10acに格納されたこれらのアドレスを順次読み出し、読み出したアドレスが示すRAM10d上の領域からプログラムやデータを読み出し、そのプログラムが示す演算を演算部10abに順次実行させ、その演算結果をレジスタ10acに格納していく。このような構成により、擬似触覚提示装置11,21,31の機能構成が実現される。
【0056】
上述のプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【0057】
このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。上述のように、このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
【0058】
各実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【0059】
11,21,31 擬似触覚提示装置
116,216,316 視覚対象更新部