IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ H2L株式会社の特許一覧 ▶ 株式会社NTTドコモの特許一覧

特開2024-118670触感伝達システム、触感伝達方法及び触感伝達プログラム
<>
  • 特開-触感伝達システム、触感伝達方法及び触感伝達プログラム 図1
  • 特開-触感伝達システム、触感伝達方法及び触感伝達プログラム 図2
  • 特開-触感伝達システム、触感伝達方法及び触感伝達プログラム 図3
  • 特開-触感伝達システム、触感伝達方法及び触感伝達プログラム 図4
  • 特開-触感伝達システム、触感伝達方法及び触感伝達プログラム 図5
  • 特開-触感伝達システム、触感伝達方法及び触感伝達プログラム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024118670
(43)【公開日】2024-09-02
(54)【発明の名称】触感伝達システム、触感伝達方法及び触感伝達プログラム
(51)【国際特許分類】
   G06F 3/01 20060101AFI20240826BHJP
【FI】
G06F3/01 510
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023025079
(22)【出願日】2023-02-21
(71)【出願人】
【識別番号】312015200
【氏名又は名称】H2L株式会社
(71)【出願人】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】110000925
【氏名又は名称】弁理士法人信友国際特許事務所
(72)【発明者】
【氏名】石川 博規
(72)【発明者】
【氏名】後藤 絵美
(72)【発明者】
【氏名】三宅 章太
(72)【発明者】
【氏名】佐藤 優
(72)【発明者】
【氏名】三宅 太文
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA80
5E555BA02
5E555BA04
5E555BB04
5E555BC09
5E555BD07
5E555CA41
5E555DA24
5E555FA00
(57)【要約】      (修正有)
【課題】触感を触感発信者から触覚受信者に伝える処理を行う場合に、適切に触感を再現する触感伝達システム、触感伝達方法及び触感伝達プログラムを提供する。
【解決手段】触感伝達システムを含む人間拡張システムにおいて、人間拡張サーバの変換部は、振動検知センサにより検知された振動データを周波数毎のスペクトル強度の時系列データに変換するFFT部112と、FFT部で変換された周波数毎のスペクトル強度の時系列データから、触感発信者によるこすり動作の有無を判別し、こすり動作が有るときに、所定の周波数以下の帯域での周波数毎のスペクトル強度の時系列データの分散値がこすり動作強調用に設定された第一の閾値以上の周波数である場合に、該当するスペクトル強度を強調するフィルタリング部114と、フィルタリング部で得られた周波数毎のスペクトル強度の時系列データを、振動データに変換するIFFT115と、を備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
触感発信者が装着した振動検知センサで得られた触感としての振動データを取得し、取得した振動データを、触感受信者が装着した触感再現デバイスに供給して、前記触感発信者が検知した触感を前記触感受信者に伝達する触感伝達システムであり、
前記振動検知センサにより検知された振動データを周波数ごとのスペクトル強度の時系列データに変換するフーリエ変換部と、
前記フーリエ変換部で変換された周波数ごとのスペクトル強度の時系列データから、前記触感発信者によるこすり動作の有無を判別し、こすり動作が有るときに、所定の周波数以下の帯域での周波数ごとのスペクトル強度の時系列データの分散値が、前記こすり動作強調用に設定された第一の閾値以上である場合に、該当する周波数のスペクトル強度を強くするフィルタリング部と、
前記フィルタリング部で得られた周波数ごとのスペクトル強度の時系列データを、振動データに変換する逆フーリエ変換部と、を備え、
前記逆フーリエ変換部で変換された振動データを、前記触感受信者が装着した前記触感再現デバイスに伝送する
触感伝達システム。
【請求項2】
さらに、前記フィルタリング部は、前記こすり動作が有るときに、前記所定の周波数以下の帯域での周波数ごとのスペクトル強度の時系列データの分散値が、前記こすり動作強調用の前記第一の閾値以上でない周波数のスペクトル強度を弱くする
請求項1に記載の触感伝達システム。
【請求項3】
さらに、前記フィルタリング部は、前記こすり動作が無いときに、全ての周波数のスペクトル強度を0にする
請求項2に記載の触感伝達システム。
【請求項4】
前記フィルタリング部でのこすり動作の有無の判別として、前記フーリエ変換部で変換された周波数ごとのスペクトル強度を示す値を絶対値化した後、その絶対値の合計値が、こすり動作判別用の第二の閾値以上であるとき、前記こすり動作が有ると判別する
請求項3に記載の触感伝達システム。
【請求項5】
前記フーリエ変換部と前記フィルタリング部と前記逆フーリエ変換部は、前記振動検知センサで得られた振動データを受信し、前記触感再現デバイスに送信するサーバが備える
請求項1に記載の触感伝達システム。
【請求項6】
触感発信者が装着した振動検知センサで得られた触感としての振動データを取得し、取得した振動データを、触感受信者が装着した触感再現デバイスに供給して、前記触感発信者が検知した触感を前記触感受信者に伝達する触感伝達方法であり、
前記振動検知センサにより検知された振動データを周波数ごとのスペクトル強度の時系列データに変換するフーリエ変換処理と、
前記フーリエ変換処理により変換された周波数ごとのスペクトル強度の時系列データから、前記触感発信者によるこすり動作の有無を判別し、こすり動作が有るときに、所定の周波数以下の帯域での周波数ごとのスペクトル強度の時系列データの分散値が、こすり動作強調用に設定された第一の閾値以上である場合に、該当する周波数のスペクトル強度を強くするフィルタリング処理と、
前記フィルタリング処理により得られた周波数ごとのスペクトル強度の時系列データを、元の振動データに変換する逆フーリエ変換処理と、を含み、
前記逆フーリエ変換処理により変換された振動データを、前記触感再現デバイスに伝送するようにした
触感伝達方法。
【請求項7】
触感発信者が装着した振動検知センサで得られた触感としての振動データを取得し、取得した振動データを、触感受信者が装着した触感再現デバイスに供給して、前記触感発信者が検知した触感を前記触感受信者に伝達するための手順をコンピュータに実行させる触感伝達プログラムであり、
前記振動検知センサにより検知された振動データを周波数ごとのスペクトル強度の時系列データに変換するフーリエ変換手順と、
前記フーリエ変換手順により変換された周波数ごとのスペクトル強度の時系列データから、前記触感発信者によるこすり動作の有無を判別し、こすり動作が有るときに、所定の周波数以下の帯域での周波数ごとのスペクトル強度の時系列データの分散値がこすり動作強調用に設定された第一の閾値以上である場合に、該当する周波数のスペクトル強度を強くするフィルタリング手順と、
前記フィルタリング手順により得られた周波数ごとのスペクトル強度の時系列データを、元の振動データに変換する逆フーリエ変換手順と、
前記逆フーリエ変換手順により変換された振動データを、前記触感再現デバイスに伝送する手順と、をコンピュータに実行させる触感伝達プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象者が感じた触感を別の者に伝える処理に適用して好適な、触感伝達システム、触感伝達方法及び触感伝達プログラムに関する。
【背景技術】
【0002】
近年のバーチャルリアリティ技術や通信技術の進展に伴って、離れた場所から、その場所とは異なる特定の場所にいるような様々な感覚を与えることが提案されている。例えば、テーマパークや観光スポットにいる者が感じた状況を、自宅などの離れた場所にいる者に体感させることが提案されている。
【0003】
このような提案に関連して、離れた場所にいる別の者に伝える感覚の一つとして、指などで物に触れた際に皮膚などが感じる触感がある。
触感を伝える構成の詳細は、後述する実施の形態例で説明するが、例えば、ザラザラした物体に触れたときの振動を、センサで検知し、得られた振動データを伝送する方法がある。この方法により、別の場所にいる者が体に装着したデバイスを使って、その振動を再現することで、触感を伝えることができる。
このように触感を離れた場所の者に伝えるための技術開発は、従来から行われており、触感を指などに伝える様々なデバイスが提案されている。例えば、振動する部材を使って指先に触感を伝える振動型のデバイスや、電気刺激によって指先に触感を与える電気刺激型のデバイスなどが提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2022-143829号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、従来の研究では、振動検知センサで検知した振動は、基本的にそのままの振動データとして伝送され、再現側では、振動型などのデバイスで同じ振動を再現するようにしていた。
特許文献1には、患者の指先に装着した振動検知センサで検知した振動を解析することで、患者の関節などの疾病を評価する装置が記載されている。特に、特許文献1には、振動検知センサで検知した振動を解析する際に、人間の体が共振する周波数を除いて解析する技術が記載されている。
【0006】
特許文献1に記載のものは、背景技術の欄で説明した触感を別の者に伝える技術と比較すると、振動検知センサで振動を検知する点は同じであるが、触感を別の者に適切に伝えるという点で、望まれる信号処理が異なっている。
例えば、触感を検出する振動検出センサは、触感を検知する者の指先に装着されており、装着者は、検知した全ての触感に相当する振動を検知する。しかし、相手に伝えたい主な触感は、こすり動作と称される何らかの物体の表面をこすっている摩擦動作による触感である。従来、この摩擦動作に関する触感を相手に適切に伝送するために、どのような信号処理が必要かは、解析されていなかった。
【0007】
本発明の目的は、触感を別の者に伝える処理を行う場合に、適切に触感を再現できる感伝達システム、触感伝達方法及び触感伝達プログラムを提供することにある。
【課題を解決するための手段】
【0008】
本発明の触感伝達システムは、触感発信者が装着した振動検知センサで得られた触感としての振動データを取得し、取得した振動データを、触感受信者が装着した触感再現デバイスに供給して、触感発信者が検知した触感を触感受信者に伝達するものである。
そして、本発明の触感伝達システムは、振動検知センサにより検知された振動データを周波数ごとのスペクトル強度の時系列データに変換するフーリエ変換部と、フーリエ変換部で変換された周波数ごとのスペクトル強度の時系列データから、触感発信者によるこすり動作の有無を判別し、こすり動作が有るときに、所定の周波数以下の帯域での周波数ごとのスペクトル強度の時系列データの分散値が、こすり動作強調用に設定された第一の閾値以上である場合に、該当する周波数のスペクトル強度を強調するフィルタリング部と、フィルタリング部で得られた周波数ごとのスペクトル強度の時系列データを、振動データに変換する逆フーリエ変換部と、を備え、逆フーリエ変換部で変換された振動データを、触感再現デバイスに伝送するようにした。
【0009】
また、本発明の触感伝達方法は、触感発信者が装着した振動検知センサで得られた触感としての振動データを取得し、取得した振動データを、触感受信者が装着した触感再現デバイスに供給して、触感発信者が検知した触感を触感受信者に伝達する触感伝達方法である。
そして、本発明の触感伝達方法は、振動検知センサにより検知された振動データを周波数ごとのスペクトル強度の時系列データに変換するフーリエ変換処理と、フーリエ変換処理により変換された周波数ごとのスペクトル強度の時系列データから、触感発信者によるこすり動作の有無を判別し、こすり動作が有るときに、所定の周波数以下の帯域での周波数ごとのスペクトル強度の時系列データの分散値が、こすり動作強調用に設定された第一の閾値以上である場合に、該当する周波数のスペクトル強度を強調するフィルタリング処理と、フィルタリング処理により得られた周波数ごとのスペクトル強度の時系列データを、元の振動データに変換する逆フーリエ変換処理と、を含み、逆フーリエ変換処理により変換された振動データを、触感再現デバイスに伝送するようにした。
【0010】
また、本発明の触感伝達プログラムは、触感発信者が装着した振動検知センサで得られた触感としての振動データを取得し、取得した振動データを、触感受信者が装着した触感再現デバイスに供給して、触感発信者が検知した触感を触感受信者に伝達するための手順をコンピュータに実行させる触感伝達プログラムであり、以下の(a)~(d)の手順を含む。
(a)振動検知センサにより検知された振動データを周波数ごとのスペクトル強度の時系列データに変換するフーリエ変換手順、
(b)フーリエ変換手順により変換された周波数ごとのスペクトル強度の時系列データから、触感発信者によるこすり動作の有無を判別し、こすり動作が有るときに、所定の周波数以下の帯域での周波数ごとのスペクトル強度の時系列データの分散値がこすり動作強調用に設定された第一の閾値以上である場合に、該当する周波数のスペクトル強度を強くするフィルタリング手順
(c)フィルタリング手順により得られた周波数ごとのスペクトル強度の時系列データを、元の振動データに変換する逆フーリエ変換手順、
(d)逆フーリエ変換手順により変換された振動データを、触感再現デバイスに伝送する手順。
【発明の効果】
【0011】
本発明によれば、こすり動作に相当する振動データの成分を適切に強調して触感再現デバイスに伝送することができるので、触感再現デバイスにより触感受信者が提示する触感が適切なものになるという効果を奏する。
【図面の簡単な説明】
【0012】
図1】本発明の一実施の形態例による触感伝達システムを含む人間拡張システムの全体構成の例を示す図である。
図2】本発明の一実施の形態例による振動検知センサに接続される回路の例を示す図である。
図3】本発明の一実施の形態例による人間拡張サーバの変換部の例を示す構成図である。
図4】本発明の一実施の形態例による触感再現デバイスの例を示す構成図である。
図5】本発明の一実施の形態例による人間拡張サーバでの表面性状判定処理の例を示すフローチャートである。
図6】本発明の一実施の形態例による出力決定関数の処理の例を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明の一実施の形態例(以下、「本例」と称する)の感伝達システム、触感伝達方法及び触感伝達プログラムを、添付図面を参照して説明する。
【0014】
本例の触感伝達システムでは、触感発信者が装着した振動検知センサで得られた触感としての振動データを取得し、取得した振動データを、触感発信者とは別の触感受信者が装着した触感再現デバイスに供給する。すると、触感発信者が検知した触感が、そのままの感覚で触感受信者に伝達される。
【0015】
[人間拡張システムとしての概略構成]
本例の触感伝達システムは、例えば図1に示す人間拡張システムに組み込まれる。
図1に示す人間拡張システムでは、感じた触感を発信する触感発信者Aと、触感を受信する触感受信者Bのそれぞれが、スマートフォンなどの端末11,21を所持している。そして、触感発信者Aの端末11には、触感発信者Aが装着したセンシング装置12が接続されている。また、触感受信者Bの端末21には、触感受信者Bが装着した再現デバイス22が接続されている。
【0016】
図1では、センシング装置12や再現デバイス22は、それぞれ1つ装着された例が示されているが、伝達する動作や触感などの情報の種類に応じて、複数装着されてもよい。
また、端末11,12には、人間拡張システムとしての処理を行うアプリケーションプログラムが実装され、そのアプリケーションプログラムの実行により、端末11,12が触感発信者用端末又は触感受信者用端末として機能する。
【0017】
触感発信者Aが装着したセンシング装置12としては、筋変位センサや振動検知センサなどがある。これらのセンシング装置12が備えるセンサで検知されたセンサデータは、端末11内のセンサデータ取得部13で取得され、通信部15からサーバ100に送信される。
また、端末11はボディデータ登録部14を備える。ボディデータ登録部14は、触感発信者Aの操作により、触感発信者A自身の詳細情報を登録する。例えば、ボディデータ登録部14は、触感発信者Aの性別、身長、体重などを登録する。ボディデータ登録部14で登録された情報も、通信部15がサーバ100に送信される。
【0018】
サーバ100は、通信部101、ボディデータベース102、操作データベース103、比較処理部104、及び変換部110を備える。なお、サーバ100は、例えば図1に示すように、CPU(Central Processing Unit)100aとメモリ100bと通信インターフェース100cなどで構成され、メモリ100bに実装されたプログラムをCPU100aが実行することで、以下に説明する各処理部やデータベースが構成される。
【0019】
通信部101は、インターネットなどの通信回線を介して端末11,12と接続し、データの送受信を行う。
ボディデータベース102には、各端末11,21で登録されたボディデータが保持される。
操作データベース103には、端末11から送信されたセンサデータや、触感発信者Aの操作状況などが保持される。ここで、操作データベース103に保持される操作状況には、後述する振動検知センサで得られた触感としての振動データも含まれる。
【0020】
比較処理部104は、ボディデータベース102に登録された触感発信者Aのボディデータと、触感受信者Bのボディデータとを比較し、ボディ比較データを生成する。
変換部110は、操作データベース103で得られた、触感発信者Aの操作状況のデータや触感としての振動データを、触感受信者Bに提供するデータとして適切なデータとする変換処理を行う。また、変換部110は、比較処理部104で生成された比較データを、操作状況のデータなどに付加する。なお、触感としての振動データを変換部110で変換する処理の詳細は後述する。
変換部110で変換された操作状況を示すデータや触感としての振動データは、通信部101から触感受信者Bが所持する端末21に送信する。
【0021】
端末21は、ボディデータ登録部24、通信部25、操作データ処理部26、ボディ比較データ処理部27、変換部28、操作伝達部29、及び触感伝達部30を備える。
ボディデータ登録部24は、触感受信者Bの操作により、触感受信者B自身の詳細情報を登録する。例えば、ボディデータ登録部24は、触感受信者Bの性別、身長、体重などを登録する。ボディデータ登録部24で登録された情報は、通信部25からサーバ100に送信される。
【0022】
操作データ処理部26は、通信部25が受信した操作データを取得し、再現デバイス22を作動させるデータとする処理を行う。
ボディ比較データ処理部27は、通信部25が端末11から受信した触感発信者Aのボディデータを取得し、これをボディデータ登録部24に登録された触感受信者Bのボディデータと比較する。そして、ボディ比較データ処理部27は、両者のボディデータの比較データに基づいて操作データを補正するための補正量を得る。
【0023】
変換部28は、操作データ処理部26で得られた操作データを、ボディ比較データ処理部27で得られた補正量のデータに基づいて補正する変換処理を行い、得られた操作データを、操作伝達部29を介して再現デバイス22に供給する。
また、変換部28は、通信部25で受信した触感としての振動データを、触感伝達部30を介して再現デバイス22に供給する。
【0024】
再現デバイス22は、供給された操作データに基づいて、筋などを刺激する電極に、対応した信号を供給し、触感受信者Bの手首や指を作動させる。また、再現デバイス22は、自ら備える振動部材によって、触感としての振動データによる振動を発生させて、触感受信者Bの指などに振動を伝える。
上述したように人間拡張システムを構成することにより、触感発信者Aによる操作や触感発信者Aで感じた触感などを、触感受信者Bに伝えることが可能になる。
【0025】
[触感伝達システムの構成]
次に、図1に示す人間拡張システムが備える触感伝達システムについて説明する。
図1に示す人間拡張システムを触感伝達システムとした場合、図1に示すシステム内のセンシング装置12は振動検知センサになり、再現デバイス22は触感再現デバイスになる。
以下の触感伝達システムの説明では、センシング装置12を振動検知センサ12と称し、再現デバイス22を触感再現デバイス22と称する。また、触感発信者Aは、触感発信者Aと称し、触感受信者Bを触感受信者Bと称する。
【0026】
図2は、触感発信者Aの指に装着される振動検知センサ12の構成を示す。
振動検知センサ12は、ピエゾセンサ12aを備える。ピエゾセンサ12aは、触感発信者Aの指先に装着される。ピエゾセンサ12aは、触感発信者Aが指で何らかの物体の表面に触れて、こすり動作を行ったとき、触れた際の触感に対応して振動し、その振動に対応した振動データを電圧などの変動で得るセンサである。
【0027】
ピエゾセンサ12aに接続される回路構成について説明すると、ピエゾセンサ12aの一方の出力端は、オペアンプ12bの+側入力端に接続され、他方の出力端は、接地電位部に接続されると共に、抵抗器R1を介してオペアンプ12bの+側入力端に接続される。
オペアンプ12bの-側入力端は、抵抗器R2を介して接地電位部に接続されると共に、抵抗器R3を介してオペアンプ12bの出力端に接続される。
オペアンプ12bの出力端は、端子部12cの一端に接続されると共に、抵抗器R4を介して接地電位部に接続される。端子部12cの他端は、接地電位部に接続される。
【0028】
この図2に示す端子部12cが、図1に示す端末11内のセンサデータ取得部13に有線又は無線で接続され、センサデータ取得部13で、ピエゾセンサ12aが検知した振動データが取得される。センサデータ取得部13で取得された振動データは、デジタルデータ化された後、端末11内の通信部15で1フレーム単位のデータに変換され、1フレーム単位の振動データがサーバ100に伝送される。サーバ100では、受信した振動データが変換部110に供給され、触感受信者Bに提示するために適切な振動データとする変換処理が行われる。
【0029】
図3は、振動データを変換する、サーバ100の変換部110の構成例を示す。
図3に示すように、サーバ100の変換部110は、フレームデータ取得部111、FFT部(Fast Fourier Transform:高速フーリエ変換部)112、正規化部113、フィルタリング部114、IFFT部(Inverse Fast Fourier Transform:逆高速フーリエ変換部)115、スケール変換部116、窓関数適応部117及びフレーム結合部118を備える。
【0030】
フレームデータ取得部111は、端末11から1フレーム毎の振動データを取得する。フレームデータ取得部111が取得した1フレームの振動データは、FFT部112に供給され、高速フーリエ変換処理により周波数ごとのスペクトル強度の時系列データに変換される。
そして、FFT部112で変換された周波数ごとのスペクトル強度の時系列データは、正規化部113に供給され、正規化処理が行われる。正規化部113では、後述する表面性状判定処理に必要な絶対値化したデータが取得される。
【0031】
正規化部113に供給された周波数ごとのスペクトル強度の時系列データは、フィルタリング部114に供給される。フィルタリング部114は、触感発信者Aによるこすり動作を検知して、そのこすり動作に伴ったスペクトル成分を強調するフィルタリング処理を行う。このこすり動作に伴ったスペクトル成分を強調する処理の詳細については後述する。
【0032】
フィルタリング部114でこすり動作に伴った成分を強調したデータは、IFFT部115に供給され、IFFT部115は、逆高速フーリエ変換処理により周波数ごとのスペクトル強度の時系列データを振動データに変換する。
IFFT部115が出力する振動データは、スケール変換部116に供給され、スケール変換部116は、触感受信者Bに適切なスケールの振動データに変換するスケール変換処理を行う。
【0033】
スケール変換部116でスケール変換された振動データは、窓関数適応部117に供給され、窓関数適応部117は、各フレームの振動データを結合する際に必要な窓関数の乗算処理を行う。窓関数適応部117で窓関数が乗算された振動データは、フレーム結合部118に供給され、フレーム結合部118は、連続した時系列データに変換する。フレーム結合部118で結合された振動データは、通信部101(図1)を介して、端末21に送信される。
【0034】
図4は、端末21で受信した振動データにより振動する触感再現デバイス22の構成を示す。触感再現デバイス22は、触感データ取得部31、アンプ32、及びボイスコイル33を備える。
触感データ取得部31は、サーバ100から端末21に伝送された振動データを取得し、取得した振動データをアナログ信号に変換し、アンプ32で増幅した後、ボイスコイル33に供給する。ボイスコイル33は、供給される信号に応じて、不図示の振動板を振動させる部材である。触感受信者Bは、この振動板を指先などの触感を感知したい箇所に装着し、ボイスコイル33による振動板の振動で触感を感知する。
【0035】
[フィルタリング部での処理]
図5及び図6のフローチャートは、サーバ100のフィルタリング部114で行われる処理の例を示す。
フィルタリング部114は、既に説明したように、こすり動作に伴ったスペクトル成分を強調する処理を行う。このこすり動作に伴ったスペクトル成分を強調する処理を行うために、変換部110は、表面性状判定処理を行う。
【0036】
図5は、表面性状判定処理の流れを示すフローチャートである。
まず、変換部110のフレームデータ取得部111は、触感発信者Aの端末11から1フレームの振動データを取得する(ステップS11)。そして、FFT部112は、この振動データをフーリエ変換し、周波数ごとのスペクトル強度の時系列データを得る。
次に、正規化部113は、1フレームの振動データの各要素を絶対値化する(ステップS12)。さらに、正規化部113は、各要素の絶対値の合計値を算出する(ステップS13)。
【0037】
ステップS13で得られた合計値は、フィルタリング部114に送られ、フィルタリング部は、この合成値が予め設定された閾値TH1以上か否かを判断する(ステップS14)。ステップS14で、合計値が閾値TH1以上であるとき(ステップS14のYes)、フィルタリング部114は、触感発信者Aによるこすり動作が有るときの振動データであると判定する(ステップS15)。
ここで、閾値TH1は、1フレームの振動データの各要素の絶対値の合計値に対する閾値であり、「こすり動作判別用の閾値」である。こすり動作判別用の閾値TH1は、特許請求の範囲では、「第二の閾値」とした。
【0038】
ステップS15でこすり動作有りの振動データであると判定したとき、フィルタリング部114は、フーリエ変換処理が行われた周波数ごとのスペクトル強度の時系列データを取得する(ステップS16)。そして、フィルタリング部114は、各周波数のスペクトル強度の時系列データに関して分散値を計算する(ステップS17)。
【0039】
次に、フィルタリング部114は、ステップS17で計算した分散値が、予め設定された閾値TH2以上になっている周波数の数をカウントする(ステップS18)。このステップS18でカウントした数値は、表面性状の凸凹具合を示す数値に相当する値であり、閾値TH2は表面性状の凸凹具合を示す数値を得るための閾値である。
【0040】
また、ステップS14で、合計値が閾値TH1未満であるとき(ステップS14のNo)、フィルタリング部114は、こすり動作が無い振動データであると判定する(ステップS19)。
【0041】
図6は、フィルタリング部114が行うこすり動作に伴ったスペクトル成分を強調する処理である出力関数決定処理を示すフローチャートである。
まず、フィルタリング部114は、こすり動作が有るか否かを判断する(ステップS21)。なお、ステップS21の判断では、図5のフローチャートのステップS15又はステップS19の判定結果が利用される。
【0042】
そして、ステップS21でこすり動作有りと判断したとき(ステップS21のYes)、フィルタリング部114は、フーリエ変換処理が行われた1kHz以下の各周波数のスペクトル強度の時系列データの分散値が、予め設定された閾値TH3以上か否かを判断する(ステップS22)。
ここで、閾値TH3は、各周波数のスペクトル強度の時系列データの分散値に対する閾値であり、こすり動作が行われている周波数を判別するために設定した「こすり動作強調用の閾値」である。こすり動作強調用の閾値TH3は、特許請求の範囲では、「第一の閾値」とした。なお、ここで1kHz以下の各周波数のスペクトル強度の時系列データの分散値について、閾値TH3以上か否かを判断するのは一例であり、その他の周波数成分のスペクトル強度の時系列データの分散値を、閾値と判断してもよい。
【0043】
ステップS22で分散値が閾値TH3以上の値であるとき(ステップS22のYes)、フィルタリング部114は、該当する周波数の強度値(スペクトル値)を5倍にする(ステップS23)。
また、ステップS22で分散値が閾値TH3以上の値でないとき(ステップS22のNo)、フィルタリング部114は、該当する周波数の強度値を0.1倍にする(ステップS24)。
さらに、ステップS21でこすり動作が無いと判断したとき(ステップS21のNo)、フィルタリング部114は、全ての周波数のスペクトル強度値を0にする(ステップS25)。
【0044】
このように、フィルタリング部114は、こすり動作に関する強調動作を行った振動データを、触感再現デバイス22のボイスコイル33に供給することで、触感再現デバイス22では、こすり動作を検知した場合にだけ、こすり動作の周波数成分が強調されてボイスコイル33が駆動される。
【0045】
また、こすり動作に関係しない周波数成分が減衰されるため、ノイズなどの不要な成分によりボイスコイル33が駆動されることがなく、触感受信者Bにこすり動作を適切に感じさせることが可能になる。
さらに、こすり動作無しの状況では、全ての周波数のスペクトル強度を0にするため、ボイスコイル33が駆動されることがない。したがって、その点からも不要なボイスコイル33の駆動がないので、触感受信者Bへの触感の提示を良好に行うことが可能になる。
【0046】
[変形例]
なお、ここまで説明した実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、上述した実施の形態例で説明した構成や処理は、各種変形や変更が可能である。
例えば、図6のフローチャートで説明した処理では、こすり動作が行われている周波数を判別する分散値についての閾値TH3以上の周波数のスペクトル値を5倍としたが、5倍とするのは一例であり、5倍以外の値で強調させてもよい。
また、こすり動作が行われている周波数以外を0.1倍とするのも一例であり、0.1倍以外の値で減衰させてもよい。あるいは、こすり動作が行われている周波数の強調のみを実行して、それ以外の周波数の減衰処理を省略してもよい。
【0047】
さらにまた、こすり動作を検出していないときに、全ての周波数のスペクトル強度を0にする処理についても一例であり、例えば全ての周波数のスペクトル強度を0.1倍などに減衰させて、こすり動作を検出していないときに、減衰された振動データを触感再現デバイス22に供給してもよい。あるいは、こすり動作を検出していないときに、全ての周波数のスペクトル強度を0にする処理を省略してもよい。
【0048】
上述した実施の形態例では、振動検知センサとしてピエゾセンサを使用し、触感再現デバイスとしてボイスコイルを使用したが、振動検知センサや触感再現デバイスとしてその他の部材を使用してよい。
ここで、振動検知センサとしてピエゾセンサの出力を処理した値を判別する閾値TH1を設定して、その閾値以上か否かで、こすり動作のあり・なしを判別するようにしたが、こすり動作のあり・なしは、別の処理で判別してもよい。例えば、振動を検出するピエゾセンサ12aとは別に、指などの動きや加速度などを検出するセンサを設けて、そのセンサの出力からこすり動作のあり・なしを判別してもよい。
この場合、こすり動作のあり・なしの判別データは、センサが検出した振動データに付加して、端末11からサーバ100や端末21に伝送してもよい。
【0049】
また、図1に示す例では、操作などを伝達する人間拡張システムに触感伝達システムを組み込んだ例としたが、触感伝達以外の処理を省略した触感伝達システム単独で構成してもよい。
さらに、図1に示すようにサーバを用意して、サーバ内の変換部で強調処理などを行う点も一例であり、例えば触感発信者Aが所持した端末11又は触感受信者Bが所持した端末21の内部で、図5図6のフローチャートに示す処理を実行してもよい。
すなわち、触感発信者Aが所持した端末11内で、図5図6のフローチャートに示す処理を実行して、こすり動作の有無に基づいて、振動検知センサの出力の強調などを行い、その強調された振動データを、感受信者Bが所持した端末21に伝送するようにしてもよい。
あるいは、触感発信者Aが所持した端末11からは、振動検知データをそのまま触感受信者Bが所持した端末21に伝送し、端末21内でこすり動作の有無に基づいて、振動検知センサの出力の強調などを行うようにしてもよい。こすり動作のあり・なしの検知と、振動検知センサの出力の強調などの処理を、別の箇所で行うようにしてもよい。
これらの処理を行う場合、端末11からサーバ100を経由せずに、直接端末21に振動データなどを伝送してもよい。また、こすり動作の有無の検知と、振動データの強調処理を、別の箇所(サーバ100,端末11,21)で行うようにしてもよい。
【0050】
あるいは、フーリエ変換部112とフィルタリング部114と逆フーリエ変換部115とを、全てサーバ100などの1つの装置内で行うのではなく、サーバ100と端末11,21の内の2つ又は3つで分散して処理するようにしてもよい。この場合には、周波数ごとのスペクトル強度の時系列データとなった振動データを、サーバ100又は端末11から伝送することになる。
【0051】
さらに、触感発信者Aが指などに装着するセンシング装置である振動検知センサ12や、や触感受信者Bが指などに装着する触感再現デバイス22に、端末11又は21としての機能を内蔵させて、スマートフォンなどで構成される端末11又は21を不要としてもよい。
【0052】
さらに、上述した実施の形態例では、サーバ100が、こすり動作の検知や振動データの強調などを行う変換部110を備えるようにしたが、サーバ100内での変換部110などでの処理は、該当する処理(図5及び図6に示す処理)手順を実行するプログラム(触感伝達プログラム)を実装することで実現される。したがって、サーバ100としては、データ中継などを行う既存のサーバに、本例の処理手順を実行する触感伝達プログラムを実装させて、サーバ100として機能させてもよい。端末11又は21が、こすり動作の検知や振動データの強調などを行う場合にも、触感伝達プログラムを端末11又は21に実装すればよい。
この場合の触感伝達プログラムは、メモリカードや光ディスクなどの各種記録媒体に記録させた上で、サーバに実装させることができる。ここでの記録媒体には、インターネット上に用意されたサーバ内のメモリも含まれ、インターネット上のサーバからの転送で、サーバや端末に触感伝達プログラムを実装してもよい。
【符号の説明】
【0053】
11…端末、12…振動検知センサ(センシング装置)、12a…ピエゾセンサ、12b…オペアンプ、12c…端子部、13…センサデータ取得部、14…ボディデータ登録部、15…通信部、21…端末、22…触感再現デバイス(再現デバイス)、24…ボディデータ登録部、25…通信部、26…操作データ処理部、27…ボディ比較データ処理部、28…変換部、29…操作伝達部、30…触感伝達部、31…触感データ取得部、32…アンプ、33…ボイスコイル、100…サーバ、100a…CPU、100b…メモリ、100c…通信インターフェース、101…通信部、102…ボディデータベース、103…操作データベース、104…比較処理部、110…変換部、111…フレームデータ取得部、112…FFT部、113…正規化部、114…フィルタリング部、115…IFFT部、116…スケール変換部、117…窓関数適応部、118…フレーム結合部、A…触感発信者、B…触感受信者
図1
図2
図3
図4
図5
図6