【国等の委託研究の成果に係る記載事項】(出願人による申告)平成26年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業(ACCEL)における研究課題「触原色に立脚した身体性メディア技術の基盤構築と応用展開」に関する研究題目「身体性メディアプラットフォームの構築と応用展開」に係る委託研究、産業技術力強化法第19条の適用を受ける特許出願
【文献】
田中由浩 他2名,PVDFフィルムを用いたウェアラブル皮膚振動センサのモデル化,ロボティクス・メカトロニクス講演会講演概要集,日本,一般社団法人 日本機械学会,2015年 5月17日,2A2-X06
【文献】
牧野泰才 他2名,タッチログ:爪装着型触音計測に基づく触対象推定システム,情報処理学会論文誌,日本,一般社団法人 情報処理学会,2011年 4月,Vol.52, No.4,pp.1644-1656
【文献】
吉田智哉 他2名,皮膚振動方向がウェアラブル皮膚振動センサの出力に及ぼす影響,日本機械学会第7回マイクロ・ナノ工学シンポジウム講演論文集,日本,一般社団法人 日本機械学会,2015年10月28日,28pm1-E-4
(58)【調査した分野】(Int.Cl.,DB名)
利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達するため、皮膚センサと変換器と振動子を少なくとも備えた触覚呈示システムにおいて実行される触覚呈示方法であって、
前記利用者の前記指の第1関節から第3関節の間または爪に設けられた皮膚振動センサにおいて、振動信号を取得する読取ステップと、
前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、
前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、
を含み、
前記変換ステップにおいて、前記振動信号から指の振動伝播特性を差し引くことを特徴とする、触覚呈示方法。
利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達するため、皮膚センサと変換器と振動子を少なくとも備えた触覚呈示システムに実行させるための触覚呈示プログラムであって、
前記利用者の前記指の第1関節から第3関節の間または爪に設けられた皮膚振動センサにおいて、振動信号を取得する読取ステップと、
前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、
前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、
を実行させ、
前記変換ステップにおいて、前記振動信号から指の振動伝播特性を差し引くことを特徴とする、触覚呈示プログラム。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来の触覚呈示デバイスは、シートや鉗子を介して物体に接触する必要があり、直接、指で対象に触れることができず、自然な指による把持や操作が阻害される、という問題点を有していた。
【0007】
本発明は上記の問題点に鑑みてなされたものであり、利用者が直接、対象物に触れながら、その触感を拡張ないし伝達することができる、触覚呈示システム、触覚呈示方法、および、触覚呈示プログラムを提供するものである。
【課題を解決するための手段】
【0008】
このような目的を達成するため、本発明の触覚呈示システムは、利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達する触覚呈示システムであって、前記利用者の前記指の第1関節から第3関節の間または爪に設けられた皮膚振動センサと、前記皮膚振動センサにより読み取られ
た振動信号を、前記拡張または前記伝達のために変換する変換器と、前記利用者の前記指以外の手腕または前記第三者に設けられ、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する振動子と、を少なくとも備え
、前記変換器は、前記振動信号から指の振動伝播特性を差し引くことを特徴とする。
【0009】
また、本発明の触覚呈示システムは、利用者が指で物に触れたときの触感を拡張する触覚呈示システムであって、前記利用者の前記指の第1関節から第3関節の間または爪に設けられた皮膚振動センサと、前記皮膚振動センサにより読み取られ
た振動信号を、前記拡張または前記伝達のために変換する変換器と、前記利用者の前記指に設けられ、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する振動子と、を少なくとも備え
、前記変換器は、前記振動信号から指の振動伝播特性を差し引くことを特徴とする。
【0010】
また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記皮膚振動センサは、ポリフッ化ビニリデンフィルムを前記第1関節から第3関節の間の指腹部に巻き付けることで圧電効果により前記振動信号を得るセンサであることを特徴とする。
【0011】
また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記振動子は、前記利用者の前記指が属する手の手首関節より指先側において前記触刺激を呈示することを特徴とする。
【0012】
また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記変換器は、
典型的又は平均的な人の指の皮膚振動伝搬関数の逆関数を前記振動信号に掛け合わせることにより前記振動伝播特性を差し引くことを特徴とする。
また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記振動伝播特性は、前記利用者の前記指の振動伝播特性であることを特徴とする。
また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記振動伝播特性は、前記利用者の前記指の指先に既知の振動を与え、前記皮膚振動センサの測定データと比較することにより得られたものであることを特徴とする。
【0013】
また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記皮膚振動センサは、前記利用者の前記爪に設けられたコンタクトマイクであることを特徴とする。
【0014】
また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記振動子は、ボイスコイル型振動子、ピエゾ素子、または、バイブレーションモータであることを特徴とする。
【0015】
また、本発明の触覚呈示方法は、利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達するため、皮膚センサと変換器と振動子を少なくとも備えた触覚呈示システムにおいて実行される触覚呈示方法であって、前記利用者の前記指の第1関節から第3関節の間または爪に設けられ
た皮膚振動センサにおいて、振動信号を取得する読取ステップと、前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、を含
み、前記変換ステップにおいて、前記振動信号から指の振動伝播特性を差し引くことを特徴とする。
【0016】
また、本発明の触覚呈示プログラムは、利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達するため、皮膚センサと変換器と振動子を少なくとも備えた触覚呈示システムに実行させるための触覚呈示プログラムであって、前記利用者の前記指の第1関節から第3関節の間または爪に設けられ
た皮膚振動センサにおいて、振動信号を取得する読取ステップと、前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、を実行させ
、前記変換ステップにおいて、前記振動信号から指の振動伝播特性を差し引くことを特徴とする。
【発明の効果】
【0017】
本発明によれば、利用者が直接、対象物に触れながら、その触感を拡張ないし第三者に伝達することができる、という効果を奏する。より具体的には、第一関節までの指腹部にデバイスを装着せず、第1関節から第3関節の間または爪に皮膚振動センサを設けたので、利用者が直接、物体を把持したり操作したりすることを妨げることがない。したがって、利用者は、自身の指を使って物体を操作等しながら、その感覚を拡張したり第三者に伝達したりすることができる。
【0018】
例えば、指先に何も装着せず触覚を拡張する本発明によれば、眼鏡で視力を拡張するように、拡張現実として、人の触覚能力を拡張することができる。また、生の指で対象に触れた触覚を第三者に伝達する本発明によれば、一方の人の触覚を他方の人に伝えることができ、テレコミュニケーション等に有用である。また、スマートフォン等のタッチパネル上で指先をセンシングして同じ指先に触覚フィードバックを提示するものとは異なり、本発明は、直接、物体を把持したり操作したりする指先を、センシングや提示等のために妨げることがない、という効果を奏する。
【発明を実施するための形態】
【0020】
以下に、本発明の本実施の形態にかかる触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム、並びに、記録媒体の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。例えば、同一人物への触覚拡張として説明した内容を、他人への触覚伝達に用いてもよく、反対に、他人への触覚伝達として説明した内容を、同一人物への触覚拡張に用いてもよいものである。
【0021】
以下、まず、本発明にかかる本実施の形態の構成について説明し、その後、本実施の形態の処理等について詳細に説明する。ここで、
図1は、本発明の実施形態にかかる触覚呈示システムの構成の一例を示すブロック図であり、該構成のうち本発明に関係する部分のみを概念的に示している。
【0022】
[触覚呈示システムの構成]
図1に示すように、本実施の形態にかかる触覚呈示システムは、皮膚振動センサ112と、変換器102と、振動アクチュエータ114を、有線または無線にて接続して構成される。なお、リアルタイムに触覚の入出力を行わない場合、各部は、一時的に任意の通信路を介して通信可能に接続される構成となっていてもよい。例えば、USBメモリ等の記録媒体で、一時的に各部が触覚信号データを授受できるように構成されてもよい。ここで、
図2は、同一人物において、触覚を拡張させる場合の各部の配置の一例を示す図である。
【0023】
図2に示すように、皮膚振動センサ112は、指の第1関節から第3関節までの間に設置されており、物体と直接接触する指先を避けて配置される。この例では、変換器102および振動アクチュエータ114は、腕時計型ウェアラブル端末の同一筐体に収められており、皮膚振動センサ112で発生した振動信号(電位の変化等)を有線にて取得できるよう構成されている。なお、この装着例では、振動アクチュエータ114は、物体と直接接触する指が属する手の手首関節より指先側に配置することで、指先の感覚が増強したように感じさせる。これは、手首関節は、振動の伝達を吸収しやすいため、手首関節より中枢側ではなく抹消側の方が、振動アクチュエータ114の振動が指先側に伝わるためと考えられる。あるいは、指と掌の触覚感覚は、腕に比べて、脳内マップで、近い領域に割り当てられているためとも考えられる。なお、図示の例では、振動アクチュエータ114は、手の甲側に配置しているが、これに限られず、手の内側(手相側)に配置してもよい。
【0024】
これら触覚呈示システムの構成のうち、皮膚振動センサ112は、指の皮膚を介して伝達された振動の信号を取得する振動センサである。例えば、皮膚振動センサ112は、物体に接触する指の爪に付けたコンタクトマイクであってもよい。エレクトレットコンデンサー等のコンタクトマイクを爪に固着させることにより、空気振動(音)の信号が混雑することを防ぎながら、物体接触時の振動を検出することができる。
【0025】
また、別の実施の形態において、皮膚振動センサ112は、ポリフッ化ビニリデン(PVDF:PolyVinylidene DiFluoride)フィルムを、第1関節から第3関節の間の指腹部に巻き付けることで、圧電効果により振動信号を得るセンサであってもよい。PVDFフィルムを巻き付けた皮膚振動センサ112は、指先や対象物体と直接干渉することなく、指先から伝播する皮膚振動を中節部において検出することができる。ここで、
図3は、PVDFフィルムを用いた皮膚振動センサ112の例を示す図(上図:手の平側写真、下図:手の甲側写真)である。
【0026】
図3に示すように、この例では、センサはベルト状をしており、PVDFフィルムを第1関節と第2関節に巻き付けられるようになっている。PVDFフィルムは、高分子圧電体の一種であり、PVDFフィルムが曲げ変形することにより出力電圧が得られる。そのため、皮膚に付けることで皮膚の振動を捉え、指全体の運動には反応せず、なぞり運動などの早い触動作中でも皮膚を伝搬した振動の計測が可能となる。
【0027】
ここで、触覚刺激を再現するため、皮膚振動センサ112のモデルについて説明する。皮膚振動センサ112のモデルとして、指先に入力された振動からセンサ出力までの伝達関数F(s)が分かれば、センサにて取得した振動信号を、振動子を含む振動アクチュエータ114にて再現することができ、後述する変換器102にて、触覚の拡張と伝達のために用いることができる。ここで、
図4は、指先からセンサ装着部への皮膚振動伝搬モデルを模式的に示した図である。
【0028】
図4に示すように、指先からセンサ装着部への皮膚振動伝搬には、マス(m)・バネ(k)・ダンパ(c)からなるモデルを考えることができる。指先からセンサ装着部への皮膚振動伝搬を表す伝達関数G(s)は、以下の式で表すことができる。ここで、sはラプラス演算子であり、aは1より小さい係数である。
【数1】
【0029】
PVDFフィルムは非常に薄く、曲げにより大きな電荷を発生する。ここで、
図5は、PVDFが加えられた力Fによって電荷を生じるモデルを示す図である。
図5に示すように、PVDFフィルムは指に巻き付けられているが、その厚みは指に対して十分薄く、両端支持の条件として、皮膚とPVDFフィルムの関係を単純なはりの曲げ問題と仮定して皮膚振動伝播関数を構築してもよい。上述した指先からセンサ装着部への皮膚振動伝搬を表す伝達関数G(s)、上述の仮定により求められる、皮膚振動からPVDFフィルムに生じる電荷までの伝達関数P(s)、発生した電荷から計測される電圧までの伝達関数H(s)の3つを掛け合わせることで、最終的な指先からセンサ出力までの伝達関数F(s)を求めることができる(詳細は、「田中由浩ほか『PVDFフィルムを用いたウェアラブル皮膚振動センサのモデル化』No.15−2 Proceedings of the 2015 JSME Conference on Robotics and Mechatronics, Kyoto, Japan, May 17−19, 2015 2A2−X06」参照)。ここで、d
31は圧電定数であり、t,b,lはフィルムの厚み,幅,長さである。RはPVDFフィルム計測器の抵抗であり、Cは静電容量である。
【数2】
【0030】
一例として、上記の皮膚振動伝播関数を後述の変換器102に適用することで、指先に入力された振動からセンサ出力までをセンサ計測値から再現することができる(モデル適用例については後述する)。なお、PVDFフィルムの実装にあたり、以下の非特許文献を参考にしてもよい。「Y.Tanaka et al.“Wearable Skin Vibration Sensor Using a PVDF Film,”In World Haptics Conference, pp. 146−151, 2015.」
【0031】
再び
図1に戻り、触覚呈示システムの構成のうち、変換器102は、皮膚振動センサ112により読み取られた振動信号を、拡張または伝達のために変換する手段である。一例として、変換器102は、皮膚振動センサ112により読み取られた振動信号を、増幅、変調、および/または、指の振動伝播特性を差し引いてもよい。典型的あるいは平均的な人の指の皮膚振動伝播関数の逆関数を掛け合わせて、指の振動伝播特性を差し引くことで、皮膚で生じる振動が実際にものを触った時の振動に近いものなり、臨場感が向上する効果が得られる。ここで、本実施の形態において、「拡張」とは、利用者Aの指の皮膚振動センサ112で読み取った情報を、同一人物Aの手および/または腕にフィードバックすることをいう。なお、本実施の形態において、「拡張」には、利用者Aの指の皮膚振動センサ112で読み取った情報を、同一人物の同じ指にフィードバックすることも含む。また、本実施の形態において、「伝達」とは、利用者Aの指の皮膚振動センサ112で読み取った情報を、別人物Bの手および/または腕に出力することで、利用者Aから別人Bへ触覚情報を伝えることをいう。なお、増強または加工に関し、以下の非特許文献に記載の触感伝送方法を用いてもよい(K.Minamizawa et al.“TECHTILE toolkit: a prototyping tool for designing haptic media,” ACM SIGGRAPH 2012 Emerging Technologies, 2012.)。
【0032】
ここで、変換器102は、皮膚振動センサ112を付けた利用者Aの指の振動伝播特性を差し引く無人称化を行ってもよい。本実施の形態において、「無人称化」とは、皮膚振動センサ112を付けた利用者Aの指の振動伝播特性を差し引くことで、任意の人に伝達可能な無人称的な触覚情報を取り出すことをいう。すなわち、利用者Aの指から検出した振動は、その指の長さや柔らかさ等その人の指の特性(すなわち「振動伝播特性」)を有しており、利用者Aの一人称的な触覚情報となっている。そのため、利用者Aの指先に既知の振動を与え、Aの指中節の皮膚振動センサ112の測定データと比較することで、利用者Aの指先から指中節までの振動伝搬特性を計測し、任意のセンサ情報から伝搬特性を逆算することで、あらゆる人に伝達可能な一般化した触覚情報を取り出すことができる(詳細な実例については後述する)。
【0033】
ここで、変換器102は、
図1に示すように、更に、プリアンプ102a、イコライザ102b、および/または、振動子用アンプ102cを備えてもよい。
【0034】
このうち、プリアンプ102aは、皮膚振動センサ112からの振動信号である電気信号を増幅させる前置増幅器である。例えば、皮膚振動センサ112が前述のPVDFフィルムで構成される場合、圧電効果により電圧が発生するため電源が不要であるものの、出力させる電圧信号が弱い場合がある。このように、プリアンプ102aは、皮膚振動センサ112からの振動信号が弱い場合に、その振動信号を変換入力として扱えるレベルまで増幅してもよい。
【0035】
また、イコライザ102bは、皮膚振動センサ112からの振動信号の周波数特性を、拡張や伝達の目的に応じて適切化する補正回路である。一例として、イコライザ102bは、特定の周波数帯の振動信号を通過させるバンドパスフィルタであってもよく、振動信号を増強または変調する周波数フィルタであってもよい。例えば、イコライザ102bは、ヒトの触覚で知覚できる周波数帯域のみを通過させるフィルタであってもよい。また、イコライザ102bないしは変換器102は、振動信号を修飾するエフェクター機能を有してもよく、振動信号を遅らせるディレイ機能を有してもよく、振動信号のピッチを変更するピッチシフト機能を有してもよく、振動信号にホワイトノイズを付加することで触覚感覚的な増幅を引き起こしてもよい。
【0036】
ここで、イコライザ102bは、振動信号に対して皮膚伝達関数の逆関数を掛けることにより、利用者の振動伝搬特性を差し引く無人称化を行ってもよい。入力された振動に対して各人の皮膚で発生する振動には個人差があり、また、同一の人であっても、指の押しつけ力など指の状態を変えることで振動に差が生じる。上述した皮膚振動伝播関数を用いて定数を求め、その逆関数を掛ければ、個人差や指の状態に依存しない無人称化された振動信号を得ることができる。ここで、
図6は、イコライザ102bにおいて無人称化を行う触覚呈示システムにおけるデータフローを一例として示した図である。
【0037】
図6に示すように、振動を伝える送信側の伝達関数をg、振動を受け取る受信側の伝達関数をfとし、入力刺激をxとする。このとき、それぞれが得ている触覚は、g(x)およびf(x)に基づくとする。皮膚振動センサ112を用いることで、g(x)が取得できる。ここでは、皮膚振動センサ112を用いることで既に受信側の受取手の皮膚の伝達関数fが求められているとする。このとき、受取手の皮膚伝搬振動をg(x)にする、すなわち、送信側の利用者の皮膚伝播振動を、受信側の受取手の機械刺激と同一とし、触覚の共有を図る方法を以下に説明する。
【0038】
まず、イコライザ102bは、皮膚振動センサ112により読み取られた振動信号g(x)に対し、振動を受け取る人の伝達関数fの逆関数f
−1をかけた振動信号f
−1(g(x))を、受取手に送信する。そして、受信側の振動アクチュエータ114は、受信した振動信号f
−1(g(x))を出力する。受取手に発生する皮膚伝搬振動には、入力された刺激に対して、受取手の固有の伝達関数fがかかる。これによって、受取手の伝達関数fとf
−1が相殺され、受取手の皮膚にg(x)が生じることになる。このようにして、各人の皮膚の伝達関数を用いることで、皮膚上で発生する振動を同一にでき、触覚の共有化を図ることができる。なお、この例では、送信側の変換器102において、受取手の伝達関数fの逆関数f
−1を掛け合わせて送信したが、これに限られず、送信側の変換器102が、振動信号g(x)を送信して、受信側の変換器102において、自己(受取手)の伝達関数fの逆関数f
−1を、受信した振動信号g(x)に対して、触刺激出力前に掛け合わせもよいものである。
【0039】
再び
図1に戻り、振動子用アンプ102bは、出力する振動アクチュエータ114の振動子に応じた振動信号(入力信号)の増幅を行う増幅器である。例えば、振動アクチュエータ114の振動子が、ボイスコイル型振動子か、ピエゾ素子か、バイブレーションモータかの種別の違いによって、電気信号に対する機械刺激の出力が異なるので、振動子の種類に応じて増幅や変調を行ってもよい。
【0040】
以上が変換器102の特徴である。なお、変換器102は、図示しない信号データの送受信のための通信手段や、信号データの入出力手段、信号データを記憶する記憶部や、信号データの変換以外の処理を行う制御部に接続されてもよい。例えば、通信手段として、通信制御インターフェイス部は、皮膚振動センサ112を少なくとも備えた送信側端末と、振動アクチュエータ114を少なくとも備えた受信側端末とを、有線または無線にて通信する制御を行う。通信は、インターネット等のネットワークを介した通信であってもよい。すなわち、通信制御インターフェイス部は、他の端末と、通信回線(有線、無線を問わない)を介して信号データを通信する機能を有する。また、入出力制御インターフェイス部は、USBメモリ等の記録媒体と接続して信号データを授受する制御を行う。記憶部は、固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。また、制御部は、OS(Operating System)等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行ってもよい。
【0041】
図1において、触覚呈示システムの構成のうち、振動アクチュエータ114は、触刺激を呈示する振動子を含むアクチュエータである。ここで、振動アクチュエータ114は、皮膚振動センサ112が設けられた同じ指、あるいは、当該指以外の手および/もしくは腕、または第三者の手および/または腕に設けられ、変換器102により変換された振動信号に基づいて触刺激を呈示する。なお、振動アクチュエータ114と皮膚振動センサ112を同じ指に設ける場合、前者は第3関節に設置し後者は第2関節に設置するなど、同じ指において、指先以外の別の場所で、センシングと提示を行ってもよい。ここで、振動アクチュエータ114の振動子は、ボイスコイル型振動子、ピエゾ素子、または、バイブレーションモータであってもよい。ここで、振動アクチュエータ114や変換器102は、ウェアラブルなシステムとして構成するため、上述した
図2のように、振動子を内蔵し、加工された触覚信号を手に提示する触覚拡張バンドとして構成されてもよい。
【0042】
一例として、触感を再生するアクチュエータとして、ALPS社製Force Reactor AF,L−type等のボイスコイル型振動子を用いて、触感を呈示する部位に貼付してもよい。なお、振動アクチュエータ114として、テクタイルツールキットを用いてもよい。テクタイルツールキットの周波数応答特性等の詳細について、以下の非特許文献を参照してもよい(仲谷正史ほか『触感表現の一般普及に向けた方法論とテクタイルワークショップを通したその実践』日本バーチャルリアリティ学会論文誌19(4),pp.593−603,2014−12−31)。
【0043】
以上で、本実施の形態の触覚呈示システムの各構成の説明を終える。
【0044】
[触覚呈示システムの処理]
次に、このように構成された本実施の形態における触覚呈示システムの処理の一例について、以下に
図7および
図8を参照して詳細に説明する。
【0045】
(触覚拡張処理)
図7は、本実施の形態の触覚呈示システムにおける触覚拡張処理の一例を示すフローチャートである。
【0046】
図7に示すように、まず、本触覚呈示システムの皮膚振動センサ112は、利用者の指の皮膚を介して伝達された振動を検出し、振動信号を取得する(ステップSA−1)。
【0047】
そして、本触覚呈示システムは、振動信号を有線または無線の通信路を介して、皮膚振動センサ112で発生した振動信号を変換器102まで伝送する(ステップSA−2)。
【0048】
そして、本触覚呈示システムの変換器102は、振動信号を拡張用に変換する(ステップSA−3)。例えば、変換器102は、プリアンプ102aにより振動信号を変換入力レベルまで増幅し、イコライザ102bにより所定の周波数帯の振動信号のみを通過させ、振動子用アンプ102bにて、信号増幅を行ってもよい。
【0049】
そして、本触覚呈示システムは、変換器102により変換された振動信号に基づいて、同一利用者の皮膚振動センサ112が設けられた同じ指もしくは当該指以外の手指や腕に装着された振動アクチュエータ114から触刺激を呈示することにより、利用者の触覚の拡張を行う(ステップSA−4)。ここで、振動アクチュエータ114は、物体と直接接触する指が属する手の手首関節より指先側に配置することで、直接物体を扱いながら、指先の感覚を増強させることができる。
【0050】
以上が、本触覚呈示システムの触覚拡張処理の一例である。つづいて、本触覚呈示システムの触覚伝送処理の一例について以下に説明する。
【0051】
(触覚伝送処理)
図8は、本実施の形態の触覚呈示システムにおける触覚伝送処理の一例を示すフローチャートである。
【0052】
図8に示すように、まず、本触覚呈示システムの皮膚振動センサ112は、利用者の指の皮膚を介して伝達された振動を検出し、振動信号g(x)を取得する(ステップSB−1)。なお、本触覚呈示システムは、上述したステップSA−2と同様に、振動信号を有線または無線の通信路を介して、皮膚振動センサ112で発生した振動信号を変換器102まで伝送する。
【0053】
そして、本触覚呈示システムの変換器102は、イコライザ102bにより、振動信号g(x)に対して、受取手の皮膚伝達関数の逆関数f
−1を掛けることにより、振動伝搬特性を差し引く無人称化処理を行う(ステップSB−2)。逆関数を掛けることにより、個人差や指の状態に依存しない無人称化された振動信号f
−1(g(x))を得ることができる。
【0054】
そして、本触覚呈示システムの送信側端末は、有線または無線の伝送路を介して、変換器102により無人称化された振動信号f
−1(g(x))を送信する(ステップSB−3)
【0055】
そして、本触覚呈示システムの受信側端末は、有線または無線の伝送路を介して、送信された振動信号f
−1(g(x))を受信する(ステップSB−4)。
【0056】
そして、本触覚呈示システムの振動アクチュエータ114は、受信した振動信号f
−1(g(x))に基づいて、受取手に対し触刺激を呈示する(ステップSB−5)。受取手では、入力された刺激に対して、受取手の伝達関数fがかかるので、受取手の伝達関数fとf
−1が相殺され、受取手の皮膚に触刺激g(x)が生じることになる。したがって、別の人同士で、皮膚上に発生する振動を同一にすることができ、触覚の共有化を図ることができる。
【0057】
以上が、本実施の形態の触覚呈示システムの処理の説明である。
【0058】
[実施例1]
ここで、本実施の形態の触覚呈示システムの無人称化に関する実施例1について以下に説明する。
【0059】
本実施例では、
図1の変換器102の各部で示したように、センサ信号を増幅するアンプ102a、イコライザ102b、振動子用アンプ102c、ならびに、振動子114を用いた。センサ用アンプ102aの入力には、センサを直接接続するか、あるいは、記録したセンサ信号を入力した。イコライザ102bは、計測した伝達関数の逆関数をかけるために使用した。単純に振動子を用いており、高精度に皮膚伝搬振動や触感を再現するものではないが、相対評価が可能な触覚呈示システムといえる。なお、実験では比較のために同時に2種類の触覚呈示を行うことから、イコライザ102b、振動子用アンプ102c、振動子114をもう1セット用意し、2つの振動を同時に比較できるようにした。
【0060】
(実験方法)
本実施例では、他の人が予め皮膚振動センサ112を指に装着して粗さ試片をなぞった際に得られたセンサ出力信号を記録し、呈示に用いた。また、他者と同じ触覚を得たかの比較は困難であるため、同一の被験者で指先の接触荷重が異なる条件で触覚を比較し、上記の手法を用いることで、異なる接触荷重でも似た触覚が得られるかを評価した。
【0061】
まず、皮膚伝搬振動の伝達関数を求めるため、指先にスイープ振動(5−500Hz,正弦波,10s)を与え、入力振動の加速度とセンサ出力を計測した。なお、指先の荷重条件は、0.25Nと1Nとした。被験者1人あたりそれぞれ3回ずつ計測し、平均した伝達関数を用いた。ここで、入力振動の加速度とセンサ出力からは、皮膚伝搬振動に加え、センサ112の物理・電気特性も含んだ伝達関数を計測できるが、イコライザ102bには、この伝達関数の逆関数を設定した。これは、呈示用のセンサ出力信号にも同様に、センサ112による伝達関数が含まれているためである。ただし、本実施の形態において上述したモデルによれば、定性的には影響しないが、定量的にはセンサの伝達関数にも個人差が含まれると考えられる。しかしながら、量的に正確な皮膚伝搬振動の再現ではなく、振動子を用いた相対的な比較を可能にする伝達を試みているため、本実施例では、これを無視して計測した伝達関数をそのまま利用した。
【0062】
伝達関数は、荷重が0.25Nのときをp、1Nのときをqとし、逆関数は計測結果よりゲイン:−75dBを基準として、イコライザ102bを相対的に設定した。被験者は両手を用いて、左右で異なる荷重条件を与え、異なる伝達関数(pかq)の状態にし、これにイコライザ102bを用いて逆伝達関数をかけた他の人のセンサ出力信号を触覚呈示した。
【0063】
組み合せは、荷重をかけている皮膚の逆伝達関数を使用する場合(p・p
−1とq・q
−1)、および、その逆の場合(p・q
−1とq・p
−1)の2条件について行った。本実施例では、被験者はどちらの手の振動が大きいかを回答する。各条件について10回ずつ回答してもらった。なお、実験の前に左右の違いがないように同じ荷重条件で同じ振動を与えた際に違いがないように、予め振動子用アンプ102cのゲインを調整した。また、計測した伝達関数は、人差し指のみのため、振動子114を人差し指のみで同じ姿勢、荷重(0.25Nまたは、1N)で触ってもらい、振動を比較してもらうようにした。
【0064】
(実験結果および考察)
図9は、6名の被験者に対する実験結果を示すグラフ図である。
図9では、各被験者について、それぞれの条件において振動が大きいと答えた回数を示している。
図9(a)では、大きいと答えた振動が一方に偏らず、ばらついている。一方、
図9(b)においてはほとんどの被験者がq・p
−1の方が大きいと答えた。実験結果の
図9(a)から回答数に個人差はあるが、回答にばらつきがあり、左右の振動の強弱を比べることが困難であることが分かった。したがって、逆関数を掛け合わせることにより、左右の指には同程度の振動が伝わっていると確かめられた。
【0065】
なお、本手法は、なぞりの再現や刺激の空間分布を再現しておらず厳密に相手が触った触覚を再現するものではないが、振動子を用いて、一旦自分の触覚を同様に振動子で体感し、相手と比較するなど、相対的評価を可能にするものであり、触覚の伝達として効果があると考えられる。
【0066】
ここで、
図9(b)では、回答がq・p
−1の方が大きいと偏っており、伝達関数の強度から妥当な結果といえる。この原因として、今回の実験に用いた伝達関数は、計測結果から周波数によっても大きさは異なるが、全体として強度は│p│<│q│となっており、このことから│p│
−1>│q│
−1といえる。したがって、q・p
−1の組み合せの振動は、p・q
−1より大きくなると考えられる。以上より、本手法で自分の伝達関数を変化させて同程度の触覚を感じ取れていると確かめられたことから、相手の皮膚伝搬振動に変換できるとわかった。
【0067】
(まとめ)
本実施例では、自身の皮膚の逆関数をかけることにより、自分の皮膚伝搬振動を相手の皮膚伝搬振動に変換できることが分かった。他者と同じ触覚を得たかの比較は困難であるため、同一の被験者で押しつけ力による自分の伝達関数の変化を利用して振動子を用いた触覚伝達の実験を行った。したがって、この結果は、相手の皮膚伝搬振動への変換にも応用できると考えられる。
【0068】
[実施例2]
ここで、本実施の形態の触覚呈示システムによる触覚の拡張に関する実施例2について以下に説明する。
【0069】
本実施例では、
図2に示した触覚拡張を図る構成において、被験者の主観評価を行い、実際に感覚として触覚拡張が引き起こされたか否かを実験した。
【0070】
以下に示す手順にて実験を実施した。まず、実験は、恒常法を用いて行い、被験者には
図2のシステムを身につけさせた。次に、ホワイトノイズを流しているノイズキャンセリングヘッドフォンと目隠しを身につけ、視覚と聴覚を遮断した。
【0071】
そして、紙やすり120,150,180,240,320,400,600番手を比較刺激とし、240番手を標準刺激として使用した。被験者には、標準刺激に対して、比較刺激が滑らかか否かを二件法により回答させた。検査回数は、標準刺激から比較刺激を5回、比較刺激から標準刺激を5回試行し、各比較刺激(120〜600番手)に対して行い、計70回の試行を1セクションとして実施した。そして、触覚拡張システムの有無で2セクション、計140回の試行を実施した。
【0072】
図10は、触覚拡張のシステムの有無による主観評価の実験結果を示すグラフ図である。横軸は、サンドペーパーの粗さ(番手)を示しており、縦軸は、比較刺激の方が滑らかだと回答した確率を示している。
【0073】
すなわち、標準刺激(240番手)に対して比較刺激が滑らかと回答すればするほど縦軸が1に近づく。したがって、240番手未満は0であるほど正しく、240番手より大きい場合は1であるほど正しいということを示している。
【0074】
さらに、
図10において、実験結果の縦線は、弁別閾を示しており、左側の線は25%の確率では知覚でき、右側の線は75%の確率で知覚できることを示している。すなわち、ここから得られた弁別の差の半分(弁別閾)が小さいほど細かく粗さ滑らかさを知覚できることを示している。
【0075】
図10に示すように、本実験で得られた弁別閾は、触覚拡張のシステムが無い場合は、118であり、触感拡張のシステムがある場合は、84であった。したがって、触感拡張のシステムがあった方が弁別閾が低く、細かく粗さと滑らかさを知覚できていることから、触感の拡張が実施できることが確かめられた。
【0077】
[他の実施の形態]
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。
【0078】
例えば、触覚呈示システムは、スタンドアローンの形態で処理を行うよう一体として構成されてもよく、あるいは、要求に応じて処理を行い、その処理結果を当該端末に返却する構成としてもよい。
【0079】
また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
【0080】
このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。
【0081】
また、触覚呈示システムに関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
【0082】
例えば、触覚呈示システムの各装置が備える処理機能、特に変換器102にて行われる各処理機能については、その全部または任意の一部を、CPU(Central Processing Unit)および当該CPUにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて触覚呈示システムに機械的に読み取られる。すなわち、ROMまたはHDD(Hard Disk Drive)などの記憶部などには、OS(Operating System)と協働してCPUに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、RAMにロードされることによって実行され、CPUと協働して制御部を構成する。
【0083】
また、このコンピュータプログラムは、触覚呈示システムに対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
【0084】
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、USBメモリ、SDカード、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD−ROM、MO、DVD、および、Blu−ray(登録商標)Disc等の任意の「可搬用の物理媒体」を含むものとする。
【0085】
また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、OS(Operating System)に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。プログラムが、一時的でないコンピュータ読み取り可能な記録媒体に記録されたプログラム製品として本発明を構成してもよい。
【0086】
触覚呈示システムに格納される各種のデータベース等は、RAM、ROM等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。
【0087】
また、触覚呈示システムは、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、触覚呈示システムは、該情報処理装置に本発明の方法を実現させるソフトウェア(プログラム、データ等を含む)を実装することにより実現してもよい。
【0088】
更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。