(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】感覚制御装置、感覚制御方法、感覚制御システム
(51)【国際特許分類】
G06F 3/01 20060101AFI20241112BHJP
【FI】
G06F3/01 560
(21)【出願番号】P 2022196779
(22)【出願日】2022-12-09
(62)【分割の表示】P 2022573686の分割
【原出願日】2022-05-19
【審査請求日】2022-12-09
(31)【優先権主張番号】P 2021084696
(32)【優先日】2021-05-19
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2022079095
(32)【優先日】2022-05-12
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2022079099
(32)【優先日】2022-05-12
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2022079128
(32)【優先日】2022-05-13
(33)【優先権主張国・地域又は機関】JP
【前置審査】
(73)【特許権者】
【識別番号】000010098
【氏名又は名称】アルプスアルパイン株式会社
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】山田 幸光
(72)【発明者】
【氏名】白坂 剛
(72)【発明者】
【氏名】阿部 宗光
(72)【発明者】
【氏名】下村 尚登
(72)【発明者】
【氏名】上ノ町 孝志
(72)【発明者】
【氏名】伊藤 哲尚
(72)【発明者】
【氏名】河野 俊雄
(72)【発明者】
【氏名】伊藤 直樹
(72)【発明者】
【氏名】鮫島 健一郎
(72)【発明者】
【氏名】川瀬 英夫
(72)【発明者】
【氏名】竹内 翔太
【審査官】九鬼 一慶
(56)【参考文献】
【文献】国際公開第2018/193917(WO,A1)
【文献】特開2015-132890(JP,A)
【文献】韓国公開特許第10-2013-0125543(KR,A)
【文献】国際公開第2020/153116(WO,A1)
【文献】国際公開第2019/064518(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
ロータリー式操作部と、
前記ロータリー式操作部の操作を検出して操作信号を生成する操作検出部と、
前記操作信号に基づいて感覚提示信号を生成する信号生成部と、
前記感覚提示信号に基づいて操作者に感覚提示を行う感覚提示部と、を有し、
前記ロータリー式操作部の質量と大きさを物理特性として、前記質量と大きさに基づいて、前記ロータリー式操作部を操作する際の前記操作信号、前記感覚提示信号、及び前記感覚提示の少なくともいずれか1つを、
径にかかわらず回転操作の反力が同程度になるように、前記ロータリー式操作部の径が大きいほど操作者が回転させるために必要なトルクを
大きくするように、また、
質量にかかわらず回転操作の反力が同程度になるように、前記ロータリー式操作部の質量が大きいほど操作者が回転させるために必要なトルクを
小さくするように調整する調整部、を備える感覚制御装置。
【請求項2】
前記ロータリー式操作部の質量と半径、直径、または最大部の長さを物理特性として、前記質量と半径、直径、または最大部の長さに基づいて、前記ロータリー式操作部を回転させる操作をする際の前記操作信号、前記感覚提示信号、及び前記感覚提示の少なくともいずれか1つを調整する、請求項1に記載の感覚制御装置。
【請求項3】
前記ロータリー式操作部の物理特性は、前記ロータリー式操作部の少なくとも一部の質量と、直径、半径、または全長のうち少なくとも一つの物理パラメータを含むことを特徴とする請求項1に記載の感覚制御装置。
【請求項4】
装着された操作部を検知する操作部センサを有し、
前記操作部センサは、前記ロータリー式操作部が有する識別情報を取得することで、前記ロータリー式操作部の物理特性を特定するか、または、
前記ロータリー式操作部が撮影された画像データから、前記ロータリー式操作部の物理特性を特定することを特徴とする請求項1に記載の感覚制御装置。
【請求項5】
前記感覚提示部は、前記ロータリー式操作部の物理特性が所定の条件を満たす場合、前記感覚提示信号の生成を停止することを特徴とする請求項1に記載の感覚制御装置。
【請求項6】
前記感覚提示信号は、感性パラメータと相関していることを特徴とする請求項1に記載の感覚制御装置。
【請求項7】
前記感覚提示部は、操作者に触覚提示を行う触覚提示部であることを特徴とする請求項1に記載の感覚制御装置。
【請求項8】
前記ロータリー式操作部の少なくとも一部は、着脱可能であることを特徴とする請求項1に記載の感覚制御装置。
【請求項9】
前記ロータリー式操作部をアクチュエータで駆動した場合に必要なトルクを検出するトルクセンサと、
予め用意されているトルクと質量の関係に基づいて、前記トルクセンサが検出した前記トルクから前記ロータリー式操作部の質量を推定するキャリブレーション部と、
を有することを特徴とする請求項1に記載の感覚制御装置。
【請求項10】
前記ロータリー式操作部は所定の設置場所に設置されており、
前記設置場所における前記ロータリー式操作部の傾きを検出する加速度センサと、
前記加速度センサが検出した前記傾きに応じた重力の作用に基づいて、前記ロータリー式操作部の操作反力を補正する質量補正部と、
を有することを特徴とする請求項1に記載の感覚制御装置。
【請求項11】
ロータリー式操作部を有する装置が行う感覚制御方法であって、
前記ロータリー式操作部の操作を検出して操作信号を生成するステップと、
前記操作信号に基づいて感覚提示信号を生成するステップと、
前記感覚提示信号に基づいて操作者に感覚提示を行うステップと、
前記ロータリー式操作部の質量と大きさを物理特性として、前記質量と大きさに基づいて、前記ロータリー式操作部を操作する際の前記操作信号、前記感覚提示信号、及び前記感覚提示の少なくともいずれか1つを、
径にかかわらず回転操作の反力が同程度になるように、前記ロータリー式操作部の径が大きいほど操作者が回転させるために必要なトルクを
大きくするように、また、
質量にかかわらず回転操作の反力が同程度になるように、前記ロータリー式操作部の質量が大きいほど操作者が回転させるために必要なトルクを
小さくするように調整するステップと、
を有することを特徴とする感覚制御方法。
【請求項12】
互いに通信可能な通信装置と端末装置とを備える感覚制御システムであって、
前記端末装置は、
ロータリー式操作部と、
前記ロータリー式操作部の操作を検出して操作信号を生成する操作検出部と、
前記通信装置から送信された感覚提示信号に基づいて操作者に感覚提示を行う感覚提示部と、を有し、
前記通信装置は、
前記操作信号に基づいて前記感覚提示信号を生成する信号生成部、を有し、
前記端末装置又は前記通信装置は、前記ロータリー式操作部の質量と大きさを物理特性として、前記質量と大きさに基づいて、前記ロータリー式操作部を操作する際の前記操作信号、前記感覚提示信号、及び前記感覚提示の少なくともいずれか1つを、
径にかかわらず回転操作の反力が同程度になるように、前記ロータリー式操作部の径が大きいほど操作者が回転させるために必要なトルクを
大きくするように、また、
質量にかかわらず回転操作の反力が同程度になるように、前記ロータリー式操作部の質量が大きいほど操作者が回転させるために必要なトルクを
小さくするように調整する調整部、を備える感覚制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、感覚制御装置、感覚制御方法、および、感覚制御システムに関する。
【背景技術】
【0002】
従来、人に何らかの刺激を与えることで、感覚提示を行う操作部が知られている。ここで、感覚提示は、触覚提示、音による聴覚提示、画像表示などによる視覚提示を含む。種々の操作部を駆動する信号を調整することで、感覚提示を調整することが行われている。
【0003】
振動デバイスを内蔵したボタン等を交換可能としたゲームコントローラが知られている(例えば特許文献3参照。)。特許文献3には、異なる振動強度を実現するために振動デバイス自体を交換する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2019-220168号公報
【文献】特許第5662425号公報
【文献】特表2020-523068号公報
【文献】特表2013-519961号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術は、操作部の物理特性に応じた感覚提示が十分にされていないという問題がある。例えば、ロータリー式の操作部の場合、操作部の大きさや質量等によって、アクチュエータを同じように駆動しても操作部を操作するユーザに伝わる感覚が異なってしまう。
【0006】
本態様は、上記課題に鑑み、操作部の物理特性に応じた感覚提示を行う技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題に鑑み、本発明は、ロータリー式操作部と、前記ロータリー式操作部の操作を検出して操作信号を生成する操作検出部と、前記操作信号に基づいて感覚提示信号を生成する信号生成部と、前記感覚提示信号に基づいて操作者に感覚提示を行う感覚提示部と、を有し、前記ロータリー式操作部の質量と大きさを物理特性として、前記質量と大きさに基づいて、前記ロータリー式操作部を操作する際の前記操作信号、前記感覚提示信号、及び前記感覚提示の少なくともいずれか1つを、径にかかわらず回転操作の反力が同程度になるように、前記ロータリー式操作部の径が大きいほど操作者が回転させるために必要なトルクを大きくするように、また、質量にかかわらず回転操作の反力が同程度になるように、前記ロータリー式操作部の質量が大きいほど操作者が回転させるために必要なトルクを小さくするように調整する調整部、を備える感覚制御装置を提供する。
【発明の効果】
【0008】
操作部の物理特性に応じた感覚提示を行う技術を提供できる。
【図面の簡単な説明】
【0009】
【
図1】本開示の実施形態に係る感覚制御システムの基本的な構成を示すブロック図である。
【
図2】本開示に係る感覚制御システムの第1の実施形態としての触覚制御システムを示すブロック図である。
【
図3】
図2の触覚制御システムに含まれる触覚提示部の構成の一例を、ラプラス変換の演算子を用いた等価回路で説明する説明図である。
【
図4】
図2の触覚制御システムに含まれる触覚提示部の一例の等価モデルを示す説明図である。
【
図5】
図4に示されるアクチュエータの一例の等価回路と内部構造とを説明する説明図である。
【
図6】本開示の変換モデル生成システムを使用した変換モデル生成方法を説明するフローチャートである。
【
図7】本開示の変換モデル生成方法および触覚提示方法の具体例を説明するフローチャートである。
【
図8】本開示の触覚制御システムを用いた触覚制御方法を説明するフローチャートである。
【
図10】押圧型操作具の物理パラメータの例を示す説明図である。
【
図12】押圧型操作具における感性パラメータと物理パラメータとの関連を示す説明図である。
【
図13】押圧型操作具における感性パラメータと物理パラメータとの関連を示す説明図である。
【
図14】押圧型操作具における感性パラメータと物理パラメータとの関連を示す説明図である。
【
図15】押圧型操作具における感性パラメータと物理パラメータとの関連を示す説明図である。
【
図17】回転型操作具における感性パラメータと物理パラメータとの関連を示す説明図である。
【
図19】回転操作型具の構成を示すブロック図である。
【
図20】本開示の一実施形態に係る感覚制御システムの第2の実施形態としての触覚制御システムを示すブロック図である。
【
図21】
図20に示す触覚制御システムの動作を示すシーケンス図である。
【
図22】本開示の変換モデル生成方法の一例に係る第1関係式を示す図である。
【
図23】本開示の変換モデル生成方法の一例に係る第2関係式を示す図である。
【
図24】触覚提示信号に基づいて錘に供給する駆動信号の強度の時間変化の例を示した図である。
【
図26】クライアントサーバ型の触覚制御システムの一例である。
【
図27】触覚制御装置を使用してユーザが操作感触を調整する作業の概略を示す図の一例である。
【
図28】触覚制御装置を使用してユーザが操作感触を調整する作業の概略を示す図の一例である。
【
図29】触覚制御装置の機能を説明する機能ブロック図の一例である。
【
図30】分類部の生成における学習の流れを示すフローチャート図の一例である。
【
図31】感性パラメータの表現度数と物理パラメータの対応の学習の流れを示すフローチャート図である。
【
図32】触覚制御装置が分類部と第一変換モデル~第三変換モデルを使用してユーザが嗜好する操作感触を提示する流れを示すフローチャート図の一例である。
【
図33】触覚制御装置を使用してユーザが操作感触を調整する作業の概略を示す図である。
【
図34】触覚制御装置の機能を説明する機能ブロック図の一例である。
【
図35】表現度数に対応する物理パラメータ(荷重変位曲線)の学習の流れを示すフローチャート図の一例である。
【
図36】基準操作具の荷重変位曲線をカーブフィッティングする流れを示すフローチャート図の一例である。
【
図37】触覚制御装置が物理パラメータ変換部と比較部を使用してユーザが嗜好する操作感触を提示する流れを示すフローチャート図の一例である。
【
図38】分類部がニューラルネットワークにより実現される場合のニューラルネットワークの一例を示す図である。
【
図39】分類部が決定木により実現される場合の決定木の一例を示す図である。
【
図40】表現度数の第一入力画面について説明する図である。
【
図41】第一形態の触覚制御装置をクライアントサーバシステムに適用した触覚制御システムの機能ブロック図の一例である。
【
図42】触覚制御システムの動作を説明するシーケンス図の一例である。
【
図43】第二形態の触覚制御装置をクライアントサーバシステムに適用した触覚制御システムの機能ブロック図の一例である。
【
図44】第二形態の触覚制御システムの動作を説明するシーケンス図の一例である。
【
図45】感覚制御システムの触覚制御システムの構成を示す図である(実施例2)。
【
図47】操作部の物理特性の違いを説明する図である。
【
図48】操作部センサによる操作部の大きさや質量を検知するいくつかの方法を説明する図である。
【
図49】キャリブレーションによる操作部の質量の推定方法を説明する図である。
【
図51】触覚制御システムが装着された操作部の物理パラメータに応じて触覚提示信号を調整する処理を示すフローチャート図である。
【
図52】触覚制御システムが装着された操作部の物理パラメータに応じて触覚提示信号を調整する処理を示すフローチャート図である(変形例)。
【
図53】
図45に示された感覚制御システムの第2の実施形態としての触覚制御システムの構成を、信号の流れとともに示す図である。
【
図54】通信装置と端末装置とが通信して、装着された操作部の感性パラメータを推定するシーケンス図である。
【
図55】剛体の押圧具により得られる静特性と、剛体と弾性体とが一体の指モデル押圧具により得られる動特性と、を説明する図である。
【
図56】指が変形する際の指と操作具の相対位置を説明する図である。
【
図58】クリック感のある感覚提示信号の生成を説明する図である。
【
図59】押圧型操作具の機能構成図とブロック図の一例である。
【
図60】指モデル押圧具により操作具を押圧した場合の動特性を説明する図である。
【
図61】指モデル押圧具と操作具の相対位置の時間的な遷移を説明する図である。
【
図62】期間A~Cと共に、動特性をより詳細に説明する図である。
【
図63】動特性が異なる複数の操作具について指モデル押圧具により押圧した場合の動特性を示す図の一例である。
【
図64】感性パラメータと相関する物理パラメータの決定の流れを説明するフローチャート図の一例である。
【
図65】ステップST153においてプロセッサが取得した、「復帰感がある(ない)」の感性パラメータにおける各操作具の動特性と表現度数の組の散布図である。
【
図66】ステップST153においてプロセッサが取得した、「吸い込まれる感がある(ない)」の感性パラメータにおける各操作具の動特性と表現度数の組の散布図である。
【
図67】ステップST153においてプロセッサが取得した、「復帰感がある(ない)」の感性パラメータにおける各操作具の動特性と表現度数の組の散布図である。
【
図68】各感性パラメータと各動特性との相関係数の一覧を示す図である。
【
図69】通信装置と端末装置とが通信して、装着された操作具の感性パラメータを推定するシーケンス図の一例である。
【発明を実施するための形態】
【0010】
以下、本開示の態様について、図面を参照して説明する。なお、本明細書および図面において、実質的に同一の機能を有する構成については、同一の符号を付すことにより重複説明を省略する。
[態様1]
【0011】
(感覚制御システム)
図1は、本開示の態様1に係る感覚制御システム100の基本的な構成を示す。
図1に示される感覚制御システム100は、感性データベース16と、記憶部11と、入力部4と、プロセッサ101と、感覚提示部102とを有している。記憶部11は、感性パラメータ-物理パラメータ変換モデル(以下、単に「変換モデル15」と称する。)を格納している。感覚提示部102は、人に感覚を提示する構成部であり、例えば、触覚を提示する触覚提示部(例えば、後述する触覚提示部30)、聴覚を提示するスピーカなどの聴覚提示部、視覚を提示する表示デバイスなどの視覚提示部、またはこれらの任意の組み合わせで構成することができる。
【0012】
変換モデル15は、感性パラメータを当該感性パラメータと相関する物理パラメータに変換可能な変換モデルである。ここで、感性パラメータは、感覚提示に対する感覚表現の度合いを示すパラメータである。具体的に、感性パラメータは、例えばSD法(Semantic Differential Method)による感性評価であれば、2つの感覚表現(形容詞、オノマトペ、音象徴語等)の組み合わせごとに、提示された感覚がそれぞれどちらに近いかを数段階の評価で示したものであってもよい。具体的には、2つの感覚表現の組み合わせは、「心地よい―心地よくない」、「軽い―重い」などである。SD法による数段階の評価は、例えば「最も心地よい」ものの感性パラメータの表現度数を「1」とし、「2」、「3」、「4」と表現度数が増加するにつれて「心地よくない」に向かい、「7」を「最も心地よくない」として表現できる。感性パラメータは、2つの感覚表現の組み合わせには限定されず、1つの感覚表現の強度であってもよい。また、感覚表現の軸を複数取り、これら複数の軸を組み合わせた多次元で表現されるパラメータであってもよい。物理パラメータは、感覚提示に関する物理特性に含まれ、複数種類存在する。感覚提示に関する物理特性は、人に感覚を提示するときの、感覚提示部102などの感覚提示手段と、人の身体部位とを含む感覚伝達系全体に影響を与え得る物理特性である。すなわち、感覚提示に関する物理特性は、感覚提示手段の物理特性には限定されず、感覚が提示される人の身体部位の物理特性も含み得る。
【0013】
ここでは、感性データベース16が記憶部11以外の図示しない記憶部に格納されているとして説明するが、感性データベース16は記憶部11に格納されていてもよい。プロセッサ101は、感覚制御システム100全体の動作を制御する。プロセッサ101は、1つ以上のプロセッサの総称であり、例えば、感覚制御システム100の各構成要素を複数のプロセッサで分担して制御してもよいし、1つのプロセッサで全ての構成要素を制御してもよい。また、感覚制御システム100の各構成要素は、後述する変換モデル生成方法および感覚制御方法を実行可能なように互いに情報伝達可能であればよく、その接続方式は特に限定されない。例えば、感覚制御システム100の各構成要素の接続方式は、有線接続であってもよいし、ネットワーク接続を含む無線接続であってもよい。感覚制御システム100は、複数の装置から構成されていてもよいし、1つの装置であってもよい。
【0014】
感覚制御システム100に含まれる変換モデル15は、以下の変換モデル生成方法によって得られたものである。変換モデル生成方法において、まず、感性データベース16は、所定の感覚提示に関する物理特性と、当該感覚提示に対する感覚表現の度合いを示す感性パラメータとが対応付けられた対応情報を、1種類以上の感覚提示についてそれぞれ記憶する(記憶ステップ)。プロセッサ101は、感性データベース16内の1種類以上の感覚提示それぞれについての対応情報に基づいて、感覚提示に関する物理特性に含まれる複数種類の物理パラメータのうち、感性パラメータと相関する物理パラメータを抽出する(抽出ステップ)。その後、プロセッサ101は、感性パラメータと抽出された物理パラメータとに基づいて、変換モデル15を生成する(生成ステップ)。こうして生成された変換モデル15は、新たに受け付けた感性パラメータを、当該感性パラメータと相関する物理パラメータに変換可能な変換モデルである。感覚制御システム100は、上述の変換モデル生成方法を実行する際、変換モデル生成システムとして機能する。なお、抽出ステップにおいては、感覚提示に関する物理特性に含まれる複数種類の物理パラメータを導出するために、感覚提示手段にかかわる物理特性から抽出することも、人の身体部位を含む系の物理特性から抽出することもあり得る。
【0015】
なお、変換モデル生成方法は、感覚制御システム100とは別の変換モデル生成システムが実行してもよい。この場合、変換モデル生成システムは、少なくとも感性データベース16と、プロセッサ101とを備える。感覚制御システム100は、別の変換モデル生成システムが変換モデル生成方法を実行することで得られる変換モデル15を取得し、記憶部11に記憶してもよい。この場合、感覚制御システム100は、感性データベース16を備えていなくてもよい。
【0016】
また、感性データベース16に記憶される上述の対応情報は更新可能であってもよく、更新された対応情報に基づいて、変換モデル15も更新可能であってもよい。詳細には、変換モデル生成方法の記憶ステップにおいて、感性データベース16は、上述の対応情報を、1種類以上の感覚提示について追加または更新する。次に、抽出ステップにおいて、プロセッサ101は、感性データベース16内の1種類以上の感覚提示それぞれについての対応情報に基づいて、感性パラメータと相関する物理パラメータを再度抽出する。その後、生成ステップにおいて、プロセッサ101は、感性パラメータと新たに抽出された物理パラメータとに基づいて、変換モデル15を更新する。
【0017】
感覚制御システム100は、以下の感覚制御方法を実行する。まず、感覚制御システム100は、入力部4を介して、ユーザ等からの感性パラメータの入力を受け付ける(受付ステップ)。その後、プロセッサ101は、受け付けた感性パラメータを、変換モデル15に基づいて、感覚提示に関する物理特性に含まれる複数種類の物理パラメータのうち感性パラメータと相関する物理パラメータに変換する(変換ステップ)。そして、プロセッサ101は、変換された物理パラメータに基づく感覚提示信号を生成し、感覚提示部102に出力する(出力ステップ)。感覚提示部102は、感覚提示信号に基づいて、ユーザ等に感覚を提示する(感覚提示ステップ)。
【0018】
このように、感覚制御システム100は、受け付けた感性パラメータと相関する物理パラメータに基づく感覚提示信号に基づいてユーザ等に感覚を提示することができるので、人の感性を反映した感覚をユーザ等に提示することができる。
【0019】
(触覚制御システム1)
図2は、
図1に示された感覚制御システム100の第1の実施形態としての触覚制御システム1の構成を、信号の流れとともに示している。
【0020】
図2に示される触覚制御システム1は主制御装置10を有している。主制御装置10は、パーソナルコンピュータやサーバなどであり、プロセッサ(CPU)14と、RAMやROMの記憶部11と、を有している。主制御装置10には、プロセッサ14で実行される演算機能部12、13が設けられている。
【0021】
図2に示される触覚制御システム1は、入出力装置3を有している。入出力装置3は、入力部4と、表示部5と、入力部4と表示部5とを動作させるプロセッサと、を含んでいる。入出力装置3と主制御装置10とは各種インターフェースを介して接続されている。
【0022】
触覚制御システム1は、触覚提示装置20を含んでいる。触覚提示装置20は、その動作を制御する端末用のプロセッサ18を含んでいる。主制御装置10の出力部として機能する演算機能部13と、触覚提示装置20とは、ケーブルおよびコネクタ、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface、登録商標)、イーサネット(登録商標)、Wi-Fiなどのインターフェースを介して接続されている。
【0023】
図2に示される主制御装置10の記憶部11には、変換モデル15が記憶されている。変換モデル15は、
図1の感覚制御システム100についての説明で記載した通り、受け付けた感性パラメータを当該感性パラメータと相関する物理パラメータに変換可能な変換モデルである。本例での感性パラメータは、触覚提示に対する感覚表現の度合いを示すパラメータである。例えば、本例の感性パラメータは、所定の操作具を操作したときの操作感触を、感性に基づく表現でユーザにより評価されたものであってもよい。換言すれば、本例の感性パラメータは、所定の操作具の操作を反映して入力される。本例での物理パラメータは、触覚提示に関する物理特性に含まれ、複数種類存在する。例えば、本例での物理パラメータは、所定の操作具が操作される際の触覚提示を実現する物理特性に含まれる物理パラメータであってもよい。本例での物理パラメータは、触覚提示装置20を動作させて所定の操作具の感覚表現を再現するために用いることができる。
【0024】
触覚提示装置20は、少なくとも触覚提示部30を備える。触覚提示装置20は、触覚提示信号に基づいて、触覚提示部30を制御してユーザに触覚を提示する。ここで、触覚提示部30は、
図1の感覚提示部102の一例である。
【0025】
触覚提示部30は、抗力や振動を発生することにより触覚を提示するものであってもよい。抗力や振動を発生する触覚提示部30としては、例えば、ボイスコイルモータ(VCM)、リニアアクチュエータ(共振タイプ・非共振タイプのいずれでもよい)、ピエゾ素子、偏心モータ、形状記憶合金、磁気粘性流体、電気活性高分子などが挙げられる。
【0026】
触覚提示部30は、温冷感を提示することにより、触覚を提示するものであってもよい。温冷感を提示する触覚提示部30としては、例えば、ペルチェ素子が挙げられる。ペルチェ素子は、対向する2枚の金属板に直流電流を与えたときのペルチェ効果の熱の移動を利用したものであり、電流方向に応じて金属板の表面の熱量が変化する。電流方向と電流量を制御することで、ペルチェ素子に触れたユーザの指などの身体部位に温かい温度や冷たい温度を感じさせることが可能である。
【0027】
触覚提示部30は、電気刺激を与えることで触覚を提示するものであってもよい。電気刺激を与える触覚提示部30としては、例えば、ユーザの指先などの身体部位と容量結合することによって、電気刺激を与える構成が挙げられる。触覚提示部30は、空中触覚を提示するものであってもよい。空中触覚を提示する触覚提示部30としては、例えば、超音波などにより空気振動を発生させることで、ユーザの指先などの身体部位を、その空気振動により共振させることで触覚を提示する構成が挙げられる。
【0028】
図2に示されるように触覚制御システム1は操作装置33を備えていてもよく、触覚提示部30は操作装置33を操作するユーザに対して触覚を提示するものであってもよい。触覚提示部30が操作装置33を操作するユーザに触覚を提示することで、所定の操作感触を提示してもよい。具体的には、触覚提示部30は、所定の操作具の操作感触を模した操作感触を提示してもよい。例えば、操作感触を模す対象の操作具としては、押圧操作を受け付けるプッシュスイッチ、回転操作を受け付けるロータリスイッチ、傾動操作を受け付けるジョイスティック、スライド操作部へのスライド操作を受け付けるスライドスイッチ、操作パネルへの接触操作、押込み操作、なぞり操作などを受け付けるタッチパネルなどが挙げられる。
【0029】
操作装置33としては、上述の所定の操作具と同様の操作が可能な任意の形態のものを用いることができる。具体的には、操作装置33は、所定の操作具を模した形態であってもよいし、所定の操作具とは無関係な形態、例えばユーザの手に装着して指の動きなどによる操作を受け付ける操作グローブなどの操作デバイスであってもよい。
【0030】
なお、触覚提示部30は、操作装置33の操作とは無関係にユーザに触覚を提示するものであってもよい。その場合、触覚制御システム1は操作装置33を備えていなくてもよい。
【0031】
図2に示されるように、触覚提示装置20は、位置センサ27、加速度センサ28などの各種センサを備えていてもよい。触覚提示装置20は、各種センサを備えることで、触覚提示装置20自体、操作装置、及びユーザの身体部位の少なくともいずれか1つの物理量を検知して、当該物理量に基づいて触覚提示部30の駆動を制御することができる。センサとしては、上記の他にも、例えばトルクセンサ、角速度センサ、温度センサ、圧力センサ(気圧センサを含む)、湿度センサ、磁気センサ、光センサ、超音波センサ、筋電センサ等を用いることができる。
【0032】
[触覚提示部30の一例]
図3~
図5を参照して、本態様に係る触覚制御システム1に含まれる触覚提示部30の一例について説明する。
図3~
図5に例示される触覚提示部30は、押圧型操作具を操作するときの触覚を再現するものであり、モデルとなる押圧型操作具は、皿状板ばねあるいはドーム状板ばねが操作反力を発生するタクトスイッチ(登録商標)などの押圧型操作具である。触覚提示部30は、主制御装置10から与えられる触覚提示信号に基づいて、希望する感性パラメータに対応した触覚を再現する。触覚提示部30を、各種装置の電子回路に組み込むことにより、この触覚提示部30を、希望する感性パラメータに対応する触覚(ここでは操作感触)を実現した押圧型操作具として、実際の押圧型操作具の代わりに使用することができる。また、触覚提示装置20で操作反力を再現して、操作感触を表現する感性パラメータと、触覚提示装置20を動作させる物理特性に含まれる物理パラメータとの関連を評価し、その評価を、押圧型操作具を設計する際の指針として使用することも可能である。
【0033】
図4には触覚提示部30の構成要素の一例を示す等価モデルが示されている。
図5には、触覚提示部30に含まれるアクチュエータ39の等価回路と内部構造が示されている。
図5に示される矢印表示Fは操作反力(ベクトル量)を示している。
図3では、触覚提示部30の動作原理がラプラス変換の演算子を用いた等価回路で説明されている。
【0034】
図4に示されるように、触覚提示部30は可動部21を有していてもよい。この場合、
図2に示される操作装置33は、
図4に示される可動部21と一体である。または操作装置33が触覚提示装置20の系外に設けられ、操作装置33を操作することにより可動部21が移動させられる構造であってもよい。触覚提示部30はアクチュエータ39を有している。
図5に示されるように、アクチュエータ39には、ボビン24とボビン24の外に巻かれたコイル25とが設けられている。ボビン24とコイル25も可動部21の一部である。
【0035】
図4に示すように、触覚提示部30は、ばね部材26を備えていてもよい。ばね部材26は所定のばね定数を有し、例えばコイルばねで構成される。ばね部材26は、例えば触覚提示部30内で圧縮された状態で保持されることで、通常の使用状態では可動部21に対して押圧操作される方向とは反対方向(
図4における上方向)の操作反力を与える。
図4には、ばね部材26のばね係数が「Ks」で示されている。
図4に示すように、可動部21には潤滑油や機構上での摺動摩擦などに起因する粘性係数「C」に基づく操作反力が作用する。また、
図4では、可動部21が押圧操作される方向(
図4における下方向)へのストローク量を「x」で示している。
【0036】
図5に示されるように、アクチュエータ39は、鉄系の磁性材料で形成された筒状のヨーク31を備える。ヨーク31は、外周ヨーク31aとセンターヨーク31bとを有している。外周ヨーク31aの内側には、円筒状の磁石32が固定されている。センターヨーク31bと磁石32との間に円筒領域の磁気ギャップが形成され、磁気ギャップ内に円筒状のボビン24とコイル25が挿入されている。
図5に示されるように、コイル25に流れる電流量を「I」、磁石32から発せられてコイル25を横断する磁場の磁束密度を「B」、コイル25のインダクタンスを「L」、コイル25を含む電気抵抗を「R」とする。コイル25のターン数を「N」とする。アクチュエータ39から可動部21に対して作用する操作反力「F」は、主制御装置10から触覚提示装置20に与えられる触覚提示信号によって制御される。
【0037】
本例では、
図2に示す触覚提示装置20が備える位置センサ27は、可動部21の押圧操作方向への移動量(以下、「ストローク量」と称する)「x」を検知する。本例では、
図2に示す触覚提示装置20が備える加速度センサ28は、可動部21の加速度を検出する。本例では、
図2に示す触覚提示装置20が備える操作範囲可変部29は、可動部21の押圧操作方向へのストローク量の全長を変化させることができる。
【0038】
図3~
図5を参照して触覚提示装置20の基本的動作を説明する。触覚提示装置20は触覚提示部30のコイル25に与える電流「I」を制御することで、操作装置33を介して可動部21に触覚を提示することができる。ここでの触覚提示は、可動部21を押圧操作方向に押しているユーザの指等の身体部位に対する操作反力「F」の変化である。この操作反力「F」は、皿状板ばねまたはドーム状板ばねで操作反力を発生する押圧型操作具の操作反力を再現した抵抗力である。
【0039】
図4に、触覚提示部30がモデル化して示されている。以下の数1は、触覚提示装置20の動作を「力」の等式で表している。
【0040】
【数1】
数1の左辺は、可動部21の質量「M」と加速度とを乗じた力を示している。右辺の第1項は、アクチュエータ39で生成される操作反力、第2項はばね部材26で生成される操作反力、第3項は粘性係数「C」に起因する操作反力である。ばね定数「Ks」と粘性係数「C」とは実質的に定数である。なお、触覚提示部30の動作に、ばね定数と粘性係数を可変とする要素を含ませれば、ばね定数Ksと粘性係数Cを、触覚提示信号によって可変させられる変数とすることも可能である。例えば、触覚提示部30の内部に磁気粘性流体等の機能性流体を充填し、磁場印加を制御すれば、機能性流体の粘度変化により粘性係数Cを可変とすることができる。また、触覚提示部30の内部に複数のばね部材を備え、触覚提示信号に応じて用いるばね部材を選択可能とすれば、ばね定数Ksを可変とすることができる。
【0041】
数1を式変形した数2を以下に示す。
【0042】
【数2】
「Kv」は、触覚提示を実現する物理特性から抽出した物理パラメータである。この物理パラメータは感性パラメータと相関している。感性パラメータは、所定の操作具を押圧操作したときの操作感触を表現する形容詞の表現度数に応じて変化する。
【0043】
図5に示される触覚提示部30の等価回路では、コイル25に作用する電圧が「V」、コイルに作用する逆起電力が「e」で示されている。以下の数3には、「V-e」の微分方程式と、この微分方程式をラプラス変換の変数「s」を用いて表現した方程式が示されている。
【0044】
【数3】
図5に示されるように、アクチュエータ39で表現される触覚提示すなわち操作反力「F」は(N×B×L)×Iである。Nはコイルのターン数、Bは磁束密度、Lはコイルのインダクタンス、Iはコイル電流である。数1と数2の「Kv」は、Kv=(N×B×L)である。アクチュエータ39のモデルから導かれる逆起電力「e」は、以下の数4の微分方程式で表される。Φは磁束である。
【0045】
【数4】
図3に示される触覚提示部30の等価回路の第1回路部(a)は、数3と数4に示されるアクチュエータ39に作用する電圧「V」と起電力「e」との関係を示している。第2回路部(b)は、アクチュエータ39に作用する力のモデルを示している。第2回路部(b)においては、「F」が操作反力、「α」が可動部21の加速度、「v」が可動部21の速度、「x」が可動部21のストローク量である。触覚提示の表現である形容詞の表現度数に応じて「Kv」のパラメータを変化させることで、操作装置33を押圧する指に対して、希望する形容詞で表現される操作感触を与えることができる。また「Kv」の変化とともに、「Ks」および「C」を変化させることによっても操作感触を変化させることがきる。また「Kv」などは、数式内のパラメータの変化に限られるものではなく、予めデータどうしを関連付けて記憶したデータマップから抽出した変数であってもよい。
【0046】
[変換モデル15生成処理]
図6は、
図2の触覚制御システム1が記憶する変換モデル15の生成処理(変換モデル生成方法)の一例を示す。変換モデル生成方法は、少なくとも入力部と記憶部とプロセッサとを備える変換モデル生成システムによって実行される。
図6における「ST」は処理ステップを示している。
【0047】
STaにおいて、変換モデル生成システムは、1種類以上の触覚提示のそれぞれに対して、複数のユーザによる感性パラメータの入力を受け付ける。ここでの「1種類以上の触覚提示」は、ユーザが操作具を操作した場合の触覚に限らず、ユーザが何も操作をしない場合にユーザに与えられる触覚も含まれる。例えば、スーツやグローブなどを介して、ゲームや映像などのコンテンツに応じた触覚提示として、1種類以上の触覚を提示し、それぞれに対するユーザの感じ方に基づく感性パラメータの入力を受け付けてもよい。本ステップは、
図1の感覚制御システム100について説明した変換モデル生成方法における記憶ステップの一例である。
【0048】
図6のSTbでは、変換モデル生成システムは、各種触覚提示に関する物理特性のうち、感性パラメータと相関する物理パラメータを抽出する。本ステップは、
図1の感覚制御システム100について説明した変換モデル生成方法における抽出ステップの一例である。STcでは、変換モデル生成システムは、変換モデル15を生成する。本ステップは、
図1の感覚制御システム100について説明した変換モデル生成方法における生成ステップの一例である。変換モデル15の生成は、手作業、重回帰分析、機械学習、その他種々の解析手法によって実行可能である。変換モデル15は、種類の感性パラメータから1種類の物理パラメータに変換可能なモデル、1種類の感性パラメータから複数種類の物理パラメータに変換可能なモデル、複数種類の感性パラメータから1種類の物理パラメータに変換可能なモデル、複数種類の感性パラメータから複数種類の物理パラメータに変換可能なモデル等の各バリエーションがある。1種類の感性パラメータと1種類の物理パラメータとの相関関係の情報から、機械学習などを用いて、複合的な相関関係の情報を導出することで、複数種類の感性パラメータから複数種類の物理パラメータに変換可能なモデルを生成してもよい。変換モデル15のデータ構造は、感性パラメータと触覚パラメータとの対応テーブルであってもよいし、関数で算出可能に記憶していてもよい。
【0049】
ここで、複数種類の感性パラメータから複数種類の物理パラメータに変換可能な変換モデル15を生成する方法の一例について説明する。本例では、まず、変換モデル生成システムは、抽出ステップにおいて複数種類の物理パラメータそれぞれの感性パラメータとの相関度に関する情報を、複数種類の感性パラメータについて抽出する。詳細には、変換モデル生成システムは、複数種類の感性パラメータそれぞれを目的変数、複数種類の物理パラメータを説明変数とする重回帰分析により、上述の複数の相関度に関する情報を抽出する。ここで、相関度に関する情報としては、例えば、重回帰分析における決定係数、定数項、またはこれらから導かれる値などが挙げられる。
【0050】
次に、変換モデル生成システムは、生成ステップにおいて、複数種類の物理パラメータと、複数の相関度に関する情報とを用いて、複数種類の感性パラメータそれぞれを説明する第1関係式を生成する(第1生成ステップ)。具体的には、複数種類の感性パラメータをA1、A2、・・・An(nは自然数)とし、複数種類の物理パラメータをP1、P2、・・・Pnとし、重回帰分析における定数項および決定係数のうち感性パラメータAm(mはn以下の自然数)に関するものをBm1、Bm2、・・・Bmnとすると、第1関係式は以下の数5で表すことができる。
【0051】
【数5】
数5を、複数種類の感性パラメータを示す列ベクトルを一辺(ここでは左辺)とし、複数の相関度に関する情報を示す係数行列と、複数種類の物理パラメータを示す列ベクトルとの積を他辺(ここでは右辺)とする行列の等式として表すと、第1関係式は
図22のように表される。ここで、係数行列は、n行n列の正方行列である。
【0052】
数5を、複数種類の感性パラメータを示す列ベクトルを一辺(ここでは左辺)とし、複数の相関度に関する情報を示す係数行列と、複数種類の物理パラメータを示す列ベクトルとの積を他辺(ここでは右辺)とする行列の等式として表すと、第1関係式は
図22のように表される。ここで、係数行列は、n行n列の正方行列である。
【0053】
変換モデル生成システムは、生成ステップに含まれる第1生成ステップの後、第1関係式に基づいて、複数種類の感性パラメータと、複数の相関度に関する情報とを用いて、複数種類の物理パラメータそれぞれを説明する第2関係式を生成する(第2生成ステップ)。具体的には、変換モデル生成システムは、
図22に示す第1関係式の両辺に、左方から係数行列の逆行列を乗じることで、第2関係式を生成する。第2関係式は、
図23に示すように、複数種類の物理パラメータを示す列ベクトルを一辺(ここでは左辺)、係数行列の逆行列と、複数種類の感性パラメータを示す列ベクトルとの積を他辺(ここでは右辺)として表すことができる。
【0054】
変換モデル生成システムは、生成ステップに含まれる第2生成ステップの後、第2関係式に基づいて、複数種類の感性パラメータを、当該複数種類の感性パラメータと相関する複数種類の物理パラメータに変換可能な変換モデル15を生成する(第3生成ステップ)。このようにして、変換モデル生成システムは、複数種類の感性パラメータから複数種類の物理パラメータに変換可能な変換モデル15を生成することができる。
【0055】
なお、上述の例では、係数行列が正方行列であるとして説明したが、係数行列は必ずしも正方行列でなくてもよい。例えば、逆行列として疑似逆行列を用いることで、係数行列が正方行列でない場合にも同様に、複数種類の感性パラメータから複数種類の物理パラメータに変換可能な変換モデル15を生成することができる。
【0056】
図1に示す感覚制御システム100による感覚制御方法は、本例で得られた変換モデル15を用いる場合、以下のように実行することができる。まず、感覚制御システム100は、受付ステップにおいて、入力部4を介して、ユーザ等から複数種類の感性パラメータの入力を受け付ける。その後、プロセッサ101は、変換ステップにおいて、取得した複数種類の感性パラメータを、変換モデル15に基づいて、当該複数種類の感性パラメータと相関する複数種類の物理パラメータに変換する。なお、出力ステップおよび感覚提示ステップは上述した内容と同様であるので説明を省略する。
【0057】
[触覚提示の具体例]
以下では、
図2に示す触覚提示装置20で所定の操作具の操作感触に模した触覚提示を行う例について説明する。この例における変換モデル15の感性パラメータは、所定の操作具としての押圧型操作具を操作する操作感触を表現した形容詞の表現度数である。この例における変換モデル15の物理パラメータは、所定の操作具としての押圧型操作具が操作される際の感覚提示を実現する物理特性に含まれる。触覚制御システム1は、入力部4を介して特定の感性パラメータの入力を受け付けると、変換モデル15を用いて、受け付けた特定の感性パラメータを物理パラメータに変換する。押圧型操作具を想定した感性パラメータは、人が押圧型操作具を押圧操作したときの操作感触を表現した形容詞やオノマトペ等による感覚表現の度合いである。物理パラメータで実現される物理特性は、例えば、操作に伴う変移(例えばストローク量)、操作反力(荷重)、可動部21の速度、加速度、加加速度、操作者の指等の身体部位の弾性特性、あるいはこれらの物理特性から導かれる量等である。本明細書での物理パラメータは、物理特性の1つ以上の変数を含むものとして定義される。
【0058】
図7は、変換モデル生成方法および触覚提示方法の具体例を説明するフローチャートである。
図7に示すフローチャートでは、処理ステップが「ST」で示されているが、ST1、ST2などには人為的な処理が含まれ、ST3、ST4などには、
図2に示す主制御装置10のプロセッサ14で実行される処理が含まれる。
【0059】
図7におけるST1では、同じ機能であり操作感触の異なる操作具を複数個用意する。ST2では、複数のユーザによる官能試験を行い、用意された複数個の操作具の操作感触を、感性パラメータとしての形容詞の表現度数で分類する。ST3では、触覚制御システム1のプロセッサ14が、感性パラメータとしての形容詞の表現度数と、操作具が操作される際の感覚提示を実現する物理特性に含まれる物理パラメータとを、相関係数等に基づいて関連付ける。感性パラメータと物理パラメータとにはそれぞれ少なくとも1つの変数が含まれる。関連付けられた感性パラメータと物理パラメータは、
図1に示される感性データベース16として記憶される。ST4では、プロセッサ14が、変換モデル15を用いて、新たに入力を受け付ける感性パラメータとしての形容詞の表現度数に相関した物理パラメータに変換させる。演算機能部12において物理パラメータに基づく触覚提示信号が生成され、演算機能部13から触覚提示信号が出力される。この触覚提示信号によって触覚提示装置20が動作させられ、触覚が提示される。物理パラメータに基づく触覚提示信号により、
図4に示される係数「Kv」、「Ks」、および「C」の少なくとも1つを制御することで、触覚提示装置20を介して感性パラメータに対応する触覚が提示される。
【0060】
図7のST1では、例えば操作具として、皿状板ばねまたはドーム状板ばねを有する実際の製品であるタクトスイッチ(登録商標)などの押圧型操作具を複数個用意する。
図11に、押圧型操作具を押圧操作したときの操作反力の変化が模式的に示されている。
図11は、操作に伴う変移を横軸、操作するユーザの指等の身体部位に作用する操作反力(荷重)を縦軸とする座標平面における、操作具としての押圧型操作具が操作される際の感覚提示を実現する物理特性を示している。本明細書において、「操作具の操作に伴う変移」は、操作具の操作量、操作具の操作時間、または、当該操作量と当該操作時間との組み合わせなどを含む。すなわち、操作具が操作される際の感覚提示を実現する物理特性は、操作具の操作量と操作反力の関係、操作具の操作時間と操作反力の関係、操作具の操作量と操作時間との組み合わせと操作反力の関係のいずれで表現することも可能である。また、「操作具の操作に伴う変移」は、操作具を操作する操作者の指等の身体部位の弾性特性などに起因する変移も含み得る。
図11では、「操作具の操作に伴う変移」は、操作具としての押圧型操作具の操作量であり、以下では適宜「ストローク量「x」」と記載する。また、操作具の操作量は、1次元空間、2次元空間、または3次元空間における量である。
図11では、操作具としての押圧型操作具の操作量は、押圧操作方向に沿う1次元空間における量である。なお、操作具は、操作具の操作に伴って移動する可動部を有してもよい。操作具としての押圧型操作具は、可動部としてユーザ等により押圧操作されるつまみ部を有する。従って、押圧型操作具の操作量は、押圧型操作具の可動部の移動量であってもよい。
【0061】
図11に示すような、操作具の操作量(可動部の移動量)を横軸とし、操作反力を縦軸とする座標平面における、操作具が操作される際の感覚提示を実現する物理特性を示す曲線は、F-Sカーブ(Force Stroke Curve)、フィーリングカーブ、作動力曲線、荷重変位曲線等と称される。以下では、適宜「荷重変位曲線」と記載する。
図11に示すように、ユーザが押圧型操作具を押圧操作し、押圧操作方向のストローク量「x」が増大するに従って、皿状板ばねまたはドーム状板ばねの圧縮変形に伴って操作反力が徐々に増加する。ストローク量「x」が極大位置Pmaxに至ると、操作反力が極大値Tmaxとなる。押圧型操作具がさらに押されると、皿状板ばねまたはドーム状板ばねが座屈変形して反転し操作反力が急激に低下する。ストローク量「x」が極小位置Pminに至ると、操作反力が極小値Tminとなる。その後、ユーザがさらに押圧型操作具を押すと、座屈変形後の皿状板ばねまたはドーム状板ばねが圧縮されて操作反力が増加し続け、皿状板ばねまたはドーム状板ばねが固定接点に接触する最終ストローク位置に至る。
図11では、極小位置Pminから最終位置まで押される途中で操作反力が極大値Tmaxと等しくなったときのストロークを荷重回復位置Pendとしている。
【0062】
ユーザが押圧型操作具を接点が接触する最終ストローク位置まで押し切った後に、押圧型操作具への押圧力を解除すると、皿状板ばねまたはドーム状板ばねの弾性復元力によって、押圧型操作具の可動部としてのつまみ部が初期の位置に復帰する。操作装置33が復帰するときの荷重変位曲線は、
図11に示される押圧操作に伴う変位を増大させる時の荷重変位曲線に対してヒステリシスを有する。以下では、説明の便宜上、押圧操作に伴う変位を増大させる時の荷重変位曲線のみを使用して動作を説明する。
【0063】
複数個(合計23個)の押圧型操作具を、最終ストロークまで押し切ったときの全ストローク量に応じて、(A)(B)(C)の各群に分類した。分類(A)は全ストローク量が0.25mm以上で0.35mm以下、分類(B)は全ストローク量が0.15mm以上で0.25mm未満、分類(C)は全ストローク量が0.15mm未満である。
【0064】
上述の複数個の押圧型操作具に対し、25人のユーザによる官能試験を行った。官能試験では、ユーザが感じた操作感触(触覚)をSD法による表現度数で分類した。ここでの官能試験では、感性パラメータとして、所定の感性パラメータAを用いて、「1」、「2」、「3」、「4」、「5」、「6」、「7」の7段階で評価している。この官能試験では、分類(A)の押圧型操作具は、感性パラメータAの表現度数が「1」付近から「6」付近までの幅広いばらつきとなった。分類(B)の押圧型操作具は、感性パラメータAの表現度数が「2.5」付近から「3.5」付近の中間の領域でのばらつきとなった。分類(C)の押圧型操作具は、感性パラメータの表現度数が「3.5」付近から「6」付近までのばらつきとなった。ここで、感性パラメータAは、例えば、「決定感」、「快適性」、「触感」などに関するパラメータであり、具体的には「決定感」に関するパラメータである場合、表現度数が小さいほど「決定感が高い」とし、表現度数が大きいほど「決定感が低い」とするパラメータであってもよい。
【0065】
上述のように、感性パラメータAと、物理パラメータとしての押圧型操作具の全ストローク量との間の相関関係は、必ずしも明確ではない。そこで、上述の23個の押圧型操作具について、分類した全ストローク量以外の物理特性に着目し、その物理特性から抽出した物理パラメータと、感性パラメータAとの相関関係の有無を検討した。
図9に、全ストローク量が相違する3つの押圧型操作具の荷重変位曲線(i)、(ii)、(iii)が示されている。
図10(A)では、荷重変位曲線(i)の窪み部の面積S4-1と荷重変位曲線(ii)の窪み部の面積S4-2とを、動作の物理量の変数として取り出し、
図10(B)において面積S4-1と面積S4-2とをそれぞれの極小値Tminが一致するように平行移動させて比較している。
【0066】
図11に示されるように、面積S4は、操作具の操作量を横軸とし、操作反力を縦軸とする座標平面において、操作反力が極大値Tmaxから極小値Tminを経て極大値Tmaxと同じ操作反力に復帰する位置までの窪み部の面積である。換言すれば、面積S4は、上記座標平面において、荷重変位曲線と、当該荷重変位曲線の極大値Tmaxを通り横軸と平行な直線と、で区画される領域の面積である。面積S4を表すディメンションは「(ストローク量の)距離×(操作反力の)荷重」で表され、このディメンションはエネルギー(仕事量)と等価である。すなわち、面積S4は、ユーザが押圧型操作具を操作する際に操作反力が減少することにより、ユーザが予見していた消費エネルギーよりも減少したエネルギー(失われたエネルギー)に相当する。面積S4の存在により、ユーザは押圧操作方向に引き込まれる感覚を感じることになる。
【0067】
なお、
図9において荷重変位曲線(iii)で示される操作反力は、ストロークがゼロのときにプリロードを有している。このプリロードにより、操作におけるいわゆる「遊び」が発生する。この「遊び」も物理パラメータのひとつとして採用し得る。
【0068】
図12では、SD法による表現度数である感性パラメータAと、操作具が操作される際の感覚提示を実現する物理特性から抽出された物理パラメータである面積S4との関連を示すグラフである。
図12の横軸は、感性パラメータAを示し、縦軸は物理パラメータである面積S4を示している。
図12に示されるように、全ストローク量が0.35-0.15mmの合計23個の押圧型操作具では、
図11に示される面積S4の大小と、感性パラメータAの表現度数とに相関関係があることわかる。すなわち、23個の押圧型操作具に関し、面積S4を大きくするほど、感性パラメータAの表現度数が小さくなる負の相関関係を有することがわかる。ここで、感性パラメータと物理パラメータとが相関関係を有する場合、感性パラメータと物理パラメータとの間の相関係数の絶対値は、0.5以上であることが好ましく、0.7以上であることがより好ましい。
【0069】
物理量である面積S4の規格化としては、押圧型操作具の全ストローク量を所定の範囲に限定しておくことが好ましい。例えば、押圧型操作具の全ストローク量は、0.05mm以上0.5mm未満であることが好ましく、0.05mm以上0.35mm未満であることがより好ましい。
【0070】
このように、上記の例では、操作具の操作に伴う変移に対する操作反力の変化が、少なくとも極大部と極小部とを有する。そして、物理パラメータは、操作に伴う変移と操作反力とをそれぞれ軸とする座標平面において、操作反力が極大部から極小部を経て極大部と同じ大きさに移行する座標までの窪み部の面積に基づく変数を含む。ここで、極大部は
図11に示す荷重変位曲線における極大値Tmaxを含む部分であり、極小部は
図11に示す荷重変位曲線における極小値Tminを含む部分である。
【0071】
図2に示される触覚制御システム1は、変換モデル15を用いて、入力を受け付けた感性パラメータAの表現度数を、この感性パラメータAと相関する物理パラメータである面積S4に変換し、演算機能部12においてその面積S4を含む荷重変位曲線を演算して、荷重変位曲線を含む1つの触覚提示信号を設定する。または、演算機能部12において、同じ面積S4を有するがストロークや荷重などが相違する複数の荷重変位曲線が演算され、これら荷重変位曲線含む複数の触覚提示信号が設定される。あるいは、変換モデル15において、予め面積S4の大小に関連付けられた複数種類の荷重変位曲線が、感性パラメータAの表現度数に関連して記憶されており、演算機能部12において、入力を受け付けた感性パラメータAの表現度数に対応する荷重変位曲線の情報を記憶部11から読み出して、触覚提示信号を生成してもよい。
【0072】
入出力装置3の入力部4では、「2」、「3」、・・などの整数の表現度数、または、「2」「2.5」、「3」、「3.5」、・・・など小数を含む表現度数のみならず、「2-2.5」、「2.5-3」、「3-3.5」「3.5-4」、・・・など、表現度数の数値範囲の入力を受け付けることもできる。触覚制御システム1は、変換モデル15を用いて、入力部4を介して入力を受け付けた感性パラメータの表現度数に対応する物理パラメータである面積S4を有する荷重変位曲線を1つあるいは複数変換する。変換された1つあるいは複数の荷重変位曲線の情報を入出力装置3に出力し、入出力装置3が1つあるいは複数の荷重変位曲線を表示部5に表示させる。ユーザは表示部5に表示された1つの荷重変位曲線を確認し、または複数表示された荷重変位曲線のいずれかを選択する。この確認指令または選択指令が入力部4からプロセッサ14に与えられると、演算機能部12において選択された荷重変位曲線に基づく触覚提示信号が設定され、演算機能部13から触覚提示装置20に触覚提示信号が出力される。その結果、触覚提示装置20の操作装置33を操作したときに、ユーザが希望する感性パラメータの表現度数に対応した操作感触を提示することができる。
【0073】
また、入力部4からの入力項目として、感性パラメータAの表現度数とともに、「ストローク量」や「操作反力の大きさ」などの物理パラメータを直接指定することができてもよい。例えば、触覚制御システム1は、入力部4を介して、感性パラメータAの表現度数とともに、物理パラメータとして「ストローク量0.25-0.35mm」の入力を受け付けると、分類(A)に含まれる複数の荷重変位曲線のうち、前記形容詞の表現度数に一致した面積S4を有する荷重変位曲線を選択し、この荷重変位曲線に基づいて触覚提示信号を生成する。または、触覚制御システム1は、入力部4を介して、感性パラメータAの表現度数とともに、物理パラメータとして「操作反力の大きさ」の数値項目の入力を受け付けると、感性パラメータAの表現度数と、物理パラメータとしての「操作反力の大きさ」との双方に基づく触覚提示信号を生成してもよい。
【0074】
これまでの説明では、全ストローク量を、例えば0.35-0.15mmの範囲で限定し、その範囲を基準として、面積S4の大小である物理パラメータと、形容詞の表現度数である感性パラメータとを関連付けている。ただし、前記全ストローク量の範囲以外の数値範囲を基準として、面積Sの大小と、感性パラメータの表現度数とを関連付けてもよい。例えば、
図11に示される極大値Tmax、極小値Tmin、極大値マイナス極小値(Tmax-Tmin)、クリックストローク(Pend-Pmax)、押し込みストローク(Pmax/(Pend-Pmax))、クリックストローク比(Pmax/Pend)、押し込みストローク比(Pmax/(Pend-Pmax))などで、所定の数値範囲を設定し、この数値範囲を基準としてもよい。あるいは、S4以外の面積S1、S2、S3またはそれらの比で所定の数値範囲を設定し、その数値範囲を基準としてもよい。これらの数値範囲を基準として、物理パラメータである面積S4の大小と、感性パラメータの表現度数とを関連付けることが可能である。
【0075】
上述した23個の押圧型操作具に関し、感性パラメータA以外の感性パラメータについても、25人のユーザで操作感触の官能試験を行った。その結果が、
図13~
図15に示されている。
図13~
図15は、感性パラメータA以外の感性パラメータの表現度数と、その表現度数に応じて変化する面積S4以外の物理パラメータとの関係が示されている。
【0076】
図13は、横軸が、感性パラメータBの表現度数を示している。縦軸は、物理パラメータとしての押圧型操作具のストローク量に関する変数を示し、例えば
図11に示される「クリックストローク(Pend-Pmax)」である。
図13では、物理パラメータとしての「クリックストローク(Pend-Pmax)」が大きくなるにしたがって、感性パラメータBの表現度数が小さくなる負の相関を示している。感性パラメータBは、例えば、「決定感」、「快適性」、「触感」などに関するパラメータであり、具体的には「快適性」に関するパラメータである場合、表現度数が小さいほど「快適である」とし、表現度数が大きいほど「不快である」とするパラメータであってもよい。
【0077】
このように、上記の例では、物理パラメータは、操作に伴う変移の量に関する変数を含む。より詳細には、操作反力が極大部から極小部を経て極大部と同じ大きさに移行する座標までの変移の量である「クリックストローク(Pend-Pmax)」を含む。
【0078】
図14は、横軸が、感性パラメータCの表現度数を示している。縦軸は、物理パラメータとしての押圧型操作具の荷重に関する変数を示し、例えば
図11に示されるPmaxである。
図14では、物理パラメータとしてのPmaxが小さくなるにしたがって、感性パラメータCの表現度数が小さくなる正の相関を示している。感性パラメータCは、例えば、「決定感」、「快適性」、「触感」などに関するパラメータであり、具体的には「触感」に関するパラメータである場合、表現度数が小さいほど操作感触が柔らかく感じられ、表現度数が大きいほど操作感触が硬く感じられることを示すものであってもよい。
【0079】
図15は、横軸が、感性パラメータDの表現度数を示している。縦軸は、物理パラメータとしての押圧型操作具のストローク量に関する変数であり、例えば
図11に示される「押し込みストローク比(Pmax)/(Pend-Pmax)」である。
図15では、物理パラメータとしての「押し込みストローク比(Pmax)/(Pend-Pmax)」が大きくなるにしたがって、感性パラメータDの表現度数が大きくなる正の相関を示している。感性パラメータDは、例えば、「決定感」、「快適性」、「触感」などに関するパラメータであり、具体的には「触感」に関するパラメータである場合、表現度数が大きいほど触感が鋭く感じられ、表現度数が小さいほど触感が鈍く感じられることを示すものであってもよい。
【0080】
このように、上記の例では、物理パラメータは、操作に伴う変移の量に関する変数を含む。より詳細には、操作反力が極大部から極小部を経て極大部と同じ大きさに移行する座標までの変移の量である「クリックストローク(Pend-Pmax)」と、操作の開始から前記極大部までの変移の量である「Pmax」との比である「押し込みストローク比(Pmax)/(Pend-Pmax)」に関する変数を含む。
【0081】
変換モデル15では、感性パラメータと物理パラメータとの相関として、(1)
図12に示す感性パラメータAの表現度数と物理パラメータである面積S4との関係、(2)
図13に示す感性パラメータBの表現度数と物理パラメータであるクリックストロークとの関係、(3)
図14に示す感性パラメータCの表現度数と物理パラメータである極大値マイナス極小値との関係、(4)
図15に示す感性パラメータDの表現度数と物理パラメータである押し込みストローク比との関係を含む、複数の関係が記憶されていてもよい。これら(1)-(4)のいずれか1つのまたは複数の関係が組み合わされて荷重変位曲線等の物理量に含まれる物理パラメータが演算され、触覚提示信号が生成される。
【0082】
ところで、上述した通り、
図4に示される触覚提示部30の可動部21の加速度は、加速度センサ28で検知可能である。実際の押圧型操作具では、皿状板ばねまたはドーム状板ばねが押されて座屈変形し反転するときに、振動が発生し、押圧操作している指などの身体部位に振動を伝達することで、操作感触を提示する。
【0083】
図16(A)、(B)、(C)は、3個の操作具としての押圧型操作具を押圧操作したときの、押圧型操作具の可動部の加速度を示すシミュレーションデータである。ユーザによる3個の押圧型操作具を用いた官能試験により、押圧操作の操作感触に関連する感性パラメータEの表現度数と、物理パラメータとしての操作具の可動部の加速度との関係を調べた。押圧型操作具の皿状板ばねまたはドーム状板ばねが座屈変形するときの加速度のピークツーピーク値は、
図16(A)の押圧型操作具が最も大きく、(B)、(C)の順に小さくなっている。また、ユーザによる官能試験では、
図16(A)の押圧型操作具の操作に対する感性パラメータEの表現度数が最も小さく、(B)、(C)の順に表現度数が増加する結果となった。感性パラメータEは、例えば、「決定感」、「快適性」、「触感」などに関するパラメータであり、具体的には「快適性」に関するパラメータである場合、表現度数が小さいほど「快適である」とし、表現度数が大きいほど「不快である」とするパラメータであってもよい。
【0084】
上述の官能試験に基づいて、変換モデル15に、感性パラメータEの表現度数と、物理パラメータである操作具の可動部の加速度と、の相関関係を記憶してもよい。触覚制御システム1は、変換モデル15を用いて、入力部4により入力される感性パラメータEの表現度数を、物理パラメータである操作具の可動部の加速度に変換し、この加速度に基づく触覚提示信号を生成し、当該触覚提示信号を出力することにより、触覚提示装置20によって希望の操作感触を再現することができる。例えば、操作具の可動部の物理パラメータ(移動量、速度、加速度、加加速度等)に基づいて、触覚提示装置20の可動部21の対応する物理パラメータを制御する触覚提示信号を生成してもよい。
【0085】
[触覚提示装置20の動作例]
図8は、触覚提示装置20の制御動作例のフローチャートを示す。フローチャートに示される処理は、触覚提示装置20に含まれるプロセッサ18の制御動作で実行される。
図8のST11において、演算機能部13から触覚提示装置20のプロセッサ18に触覚提示信号が与えられ、ST12において、物理パラメータに基づいて選択された荷重変位曲線に基づく制御が開始される。ST13において、操作装置33が操作されると位置センサ27と加速度センサ28から可動部21に関する検知信号が得られる。プロセッサ18では、感性パラメータである表現度数に対応して設定された荷重変位曲線の動作プロファイルと可動部21の検知位置との差分が計算される。ST14で、触覚提示部30のコイル25に与えられる電流Iが最適化され、ユーザが希望する感性パラメータの表現度数を再現できるように触覚が提示される。
【0086】
[触覚提示装置20の変形例]
図17~
図19を参照し、触覚制御システム1に含まれる触覚提示装置20の変形例について説明する。
図19に例示される触覚提示装置40は、回転型操作具の触覚を再現するものである。回転型操作具は、例えばロータリスイッチである。
【0087】
図19に示される触覚提示装置40は、プロセッサ41と、触覚提示部43と、センサ45とを有する。触覚提示装置40は、操作装置42を回転操作するユーザに対して触覚を提示する。操作装置42は、触覚提示装置40に機械的に組み込まれていてもよいし、触覚提示装置40の外部に設けられていてもよい。
【0088】
触覚提示部43は、抵抗トルク発生装置43aと、回転トルク発生装置43bとを含む。抵抗トルク発生装置43aは、操作装置42の回転操作部の回転操作に対して、回転方向とは逆方向に抵抗トルクを可変に与える。抵抗トルク発生装置43aは、例えば、磁性材料で形成されたヨークと、ヨークに磁界を与えるコイルとを有している。操作装置42の回転操作部の回転操作と連動して回転する回転板が、ヨークの磁気ギャップ内に位置しており、磁気ギャップ内では、ヨークと回転板との間に磁気粘性流体が充填されている。また、磁気粘性流体の代わりに磁性粉末を使用することも可能である。コイルに与えられる電流を制御することで磁気粘性流体の凝集状態が変化し、抵抗トルクが可変される。抵抗トルク発生装置43aは、上記構成の他、例えば回転モータを含み、回転モータによって抵抗トルクを可変とすることができる。回転トルク発生装置43bは、操作装置42の回転操作部の回転操作に対して、回転方向に回転トルクを可変に与える。回転トルク発生装置43bは、例えば回転モータを含む。センサ45は操作装置42の回転操作部の回転角度を検知する。
【0089】
図18には、回転型操作具であるロータリスイッチの操作反力に関する荷重変位曲線が示されている。ロータリスイッチは、360度(1回転)が複数の分割角度に区分されており、それぞれの分割角度内で操作反力が変化し、それぞれの分割角度内で同じ操作反力の変化が繰り返される。
図18に1つの分割角度内での操作反力の変化が示されている。
図18の横軸はロータリスイッチの操作量としての回転操作部の回転角度を示し、縦軸の正側は、ロータリスイッチの回転操作部に対して操作方向とは逆方向に作用する抵抗トルクの大きさを示し、縦軸の負側は、回転操作部に対して操作方向と同じ方向に作用する回転トルクの大きさを示している。ロータリスイッチには、それぞれの分割角度内にばね接点が設けられている。分割角度内で回転操作を開始すると、ばね接点が収縮して回転操作部に作用する抵抗トルクが増大していく。抵抗トルクが極大値Rmaxを超えると、その後はばね接点の復元力によって回転操作部が回転操作方向に押されるようになり、抵抗トルクが小さくなり、さらにばね接点から回転操作部に対し、操作方向に向けられた回転トルクが作用する。そのため、回転操作部を回転操作するときに、分割角度ごとに指に操作感触が得られる。
【0090】
変換モデル15には、回転操作に関する感性パラメータの表現度数と、物理パラメータとの相関関係が記憶されている。触覚制御システム1は、入力部4を介して、感性パラメータの表現度数の入力を受け付ける。その後、触覚制御システム1のプロセッサ14は、変換モデル15を用いて、受け付けた感性パラメータを物理パラメータに変換し、その物理パラメータに基づく触覚提示信号を生成する。そして、プロセッサ14は、生成した触覚提示信号を、
図19に示される触覚提示装置40に含まれるプロセッサ41に出力する。触覚提示装置40は、操作装置42の回転操作部がユーザの指等の身体部位で回転操作されると、回転操作部の回転角度をセンサ45で検知し、その検知出力をプロセッサ41にフィードバックする。プロセッサ41により触覚提示部43が制御されることで、操作装置42の回転操作部が回転操作されるときの抵抗トルクと回転トルクが制御され、感性パラメータの表現度数を再現したロータリスイッチを模した触覚を提示できる。
【0091】
図17は、感性パラメータの表現度数に関連する物理特性の一例として、抵抗トルクの変化を説明する説明図である。
図17(A)には、4個のロータリスイッチを回転操作したときの操作反力が荷重変位曲線で示されており、
図17(B)には、
図17(A)に示されたそれぞれの荷重変位曲線上での曲率の変化が示されている。複数のユーザによる官能試験では、指等の身体部位で回転操作部を回転させると、抵抗トルクが極大値Rmaxとなる頂部を通過するが、この頂部での動作線の変化の曲率が小さいほど、感性パラメータFの表現度数が高くなるとの結論が得られた。すなわち、感性パラメータFの表現度数は、回転負荷の増大から減少に移行する変曲部の曲率と相関することが確認された。そのため、変換モデル15は、感性パラメータFの表現度数と、抵抗トルクの変化の曲率を変数とする物理パラメータとの相関関係を記憶することにより、触覚提示装置40で、感性パラメータFの表現度数を実現する回転操作感触を触覚として提示することができる。感性パラメータFは、例えば、「決定感」、「快適性」、「触感」などに関するパラメータであり、具体的には「触感」に関するパラメータである場合、表現度数が大きいほど触感が鋭く感じられ、表現度数が小さいほど触感が鈍く感じられるとするパラメータであってもよい。
【0092】
このように、上記の例では、操作具の操作に伴う変移に対する操作反力の変化が、少なくとも極大部を有する。また、物理パラメータは、極大値Rmaxを含む極大部の曲率に関する変数を含む。ここで、極大部は
図18に示す荷重変位曲線における極大値Rmaxを含む部分である。
【0093】
また、
図18に示されるように、ロータリスイッチの操作量としての回転角度における分割角度の始点からの抵抗トルクの立ち上がりベクトルTbの角度や、抵抗トルクの立ち上がり部において荷重変位曲線で示される面積SaとSbとの比など、回転負荷の増大の立ち上がりに関する変数を含む物理パラメータと、感性パラメータとしての「操作が硬い、抵抗感」などの形容詞の表現度数とを関連付けることができる。このように、本例では、物理パラメータは、操作の開始から極大部にかけての操作反力の立ち上がりに関する変数を含む。
【0094】
ここで、
図18に示した面積Saは、荷重変位曲線と、横軸と、荷重変位曲線と極大値Rmaxとの交点を通り縦軸に平行な直線とで区画される面積である。換言すれば、面積Saは、荷重変位曲線を、操作量としての回転角度における分割角度の始点から操作反力の極大値Rmaxとなるまでの回転角度の範囲で、積分した値である。面積Sbは、荷重変位曲線と、縦軸と、極大値Rmaxを通り横軸に平行な直線とで区画される面積である。換言すれば、面積Sbは、荷重変位曲線と極大値Rmaxとの交点の回転角度の値を一辺、極大値Rmaxを他辺、とする長方形の面積から、面積Saを減じた面積である。すなわち、仮に、荷重変位曲線が
図18の破線で示すように、操作開始から操作反力が極大値Rmaxに至るまで座標平面上で直線的に変化する場合には、面積Sa:面積Sb=1:1であり、面積Saに対して面積Sbが小さいほど、荷重変位曲線が座標平面上で縦軸の正側に膨らんでいることを示す。つまり、面積Saと面積Sbとの比は、荷重変位曲線の膨らみ具合を示す。また、
図18に示した物理パラメータとしての抵抗トルクの立ち上がりベクトルTbは、操作反力の操作量に関する微分に関する変数を含む。同様に、物理パラメータは、操作反力の操作時間に関する微分に関する変数を含んでもよく、操作反力の変移に関する二階微分に関する変数を含んでもよい。
【0095】
また、
図18に示される操作方向と同じ方向に作用する回転トルク(引き込みトルク)の極大値Dmax、すなわち回転負荷の向きが逆転する引き込み量の大きさに関する変数と、「回転が速い」などの形容詞の表現度数とを関連付けることもできる。このように、本例では、物理パラメータは、極小部が負号となる引き込み量の大きさに関する変数を含む。ここで、極小部は
図18に示す荷重変位曲線における極大値Dmaxを含む部分である。
【0096】
上記の例では、
図18が回転型操作具であるロータリスイッチの操作反力に関する荷重変位曲線を示しているとして説明した。しかし、
図18は、スライド操作部へのスライド操作を受け付けるスライドスイッチの操作反力に関する荷重変位曲線を示す図としても用いることができる。すなわち、
図18の横軸はスライド操作部のスライド操作量を示し、縦軸の正側はスライド操作部のスライド操作に対する操作反力を示している。操作反力は、スライド操作部のスライド操作量の増加に伴って、徐々に増加したあと極大値Rmaxに達し、極大値Rmaxを超えると減少に転じ、操作方向と同じ方向に作用する引き込み力となって極小値(縦軸の負側の極大値)Dmaxに達する。このようにして、スライドスイッチの操作に伴って、操作感触を提示することができる。なお、ロータリスイッチについて記載した感性パラメータと物理パラメータとの相関関係は、スライドスイッチについても同様である。
【0097】
[感覚制御方法の第1の変形例]
本開示の感覚制御システム100が実行する感覚制御方法の第1の変形例は、感覚刺激信号を取得する取得ステップと、取得した感覚刺激信号に基づいて感性パラメータを指定する指定ステップと、をさらに含む。また、上述した感性パラメータの入力を受け付ける受付ステップは、ユーザ等からの入力には限定されず、指定ステップで指定された感性パラメータを受け付けるステップである。これにより、第1の変形例に係る感覚制御システム100は、取得した感覚刺激信号に基づいて感性パラメータを指定し、指定された感性パラメータと相関する物理パラメータに基づく感覚提示信号を出力することができる。
【0098】
ここで、感覚刺激信号は、音などの聴覚刺激要素に基づく聴覚刺激信号、画像や映像などの視覚刺激要素に基づく視覚刺激信号、操作反力や振動などの触覚刺激要素に基づく触覚刺激信号、またはこれらの任意の組み合わせに基づく信号である。また、第1の変形例に係る感覚制御システム100は、取得ステップにおいて、聴覚刺激要素、視覚刺激要素、触覚刺激要素、またはこれらの組み合わせをセンシングすることで、感覚刺激信号を生成および取得してもよい。
【0099】
また、第1の変形例に係る感覚制御システム100は、指定ステップにおいて、感覚刺激信号の基礎となる聴覚刺激要素、視覚刺激要素および触覚刺激要素の少なくとも1つ(以下、総称して感覚刺激要素とも記載する。)の物理特性に含まれる物理パラメータを、当該物理パラメータが相関する感性パラメータに変換および指定してもよい。物理パラメータを相関する感性パラメータに変換するに際しては、上述の変換モデル15を用いてもよいし、変換モデル15とは異なる変換モデルを用いてもよい。変換モデル15とは異なる変換モデルは、変換モデル15と同様に、感性データベース16に記憶された対応情報に基づいて、機械学習などを含むAI分析等により生成可能である。また、音、画像、映像などの感覚刺激要素の物理特性に含まれる物理パラメータは、機械学習などを含むAI分析等により抽出することができる。
【0100】
以上のように、第1の変形例に係る感覚制御システム100は、音、画像、映像などの感覚刺激要素に基づく感覚刺激信号を取得することで、感覚刺激要素の物理特性に含まれる物理パラメータをAI分析等により抽出し、相関する感性パラメータを指定して、指定された感性パラメータと相関する物理パラメータに基づく感覚提示信号を出力することができる。よって、例えば、音、画像、映像などに基づいて調整された感性パラメータによる触覚提示信号を出力することができる。
【0101】
[感覚制御方法の第2の変形例]
本開示の操作装置33は、スライド操作を受け付ける操作面を有してもよい。スライド操作は、ユーザの指等の身体部位を操作装置33の操作面に接触させたまま、接触位置を移動させる操作である。この場合、本開示の触覚提示部30は、操作装置33の操作面を振動させることで、操作反力を発生させる。操作装置33の操作面を振動させる方法としては、例えば、アクチュエータ等による錘の振動によるものが挙げられる。本開示の感覚制御方法の第2の変形例における感覚提示ステップは、このような操作装置33および触覚提示部30を用いて、操作装置33のスライド操作に応答して触覚提示部30から操作反力を発生させることで、触覚を提示する工程とすることができる。詳細には、感覚提示ステップは、操作装置33の操作面でスライド操作が行われると、そのスライド操作を操作装置33により検出し、検出したスライド操作に応答して、触覚提示部30から操作反力を発生させる。
【0102】
第2の変形例に係る感覚制御システム100の記憶部11が記憶する変換モデル15に基づいて変換可能な物理パラメータは、操作装置33のスライド操作に伴う変移に対する操作反力の変化に関するパラメータを含み、当該操作反力の変化が少なくとも極大部または極小部を含む。そして、感覚提示ステップにおいて、このような物理パラメータに基づく触覚提示信号により触覚提示部30を制御することで、操作装置33のスライド操作に伴う変移に対する操作反力の変化が前述の極大部または極小部を含むように疑似的に合成することができる。ここで、触覚提示部30は、受信する触覚提示信号に基づいて操作装置33の操作面の振動を生じさせる駆動信号を供給することで、駆動信号の立上りでは操作面を第1の方向に駆動させ、駆動信号の立下りでは操作面を第1の方向とは逆方向の第2の方向に駆動させる。従って、駆動信号の立上りと立下りの時間変化をそれぞれ異ならせて、所定時間平均での立上りに対応する第1の方向または立下りに対応する第2の方向への動力を、他方より大きくすることで、前述の極大部または極小部を疑似的に合成することができる。ここで、操作装置33の操作面の振動を生じさせる駆動信号は、例えばアクチュエータ等による錘を駆動させる信号であってもよく、錘の振動により間接的に操作面の振動を生じさせてもよい。
【0103】
図24は、触覚提示信号に基づいて錘に供給する駆動信号の強度の時間変化の例を示した図である。
図24に示す例では、駆動信号の強度の時間変化が正のとき、錘が第1の方向に駆動し、駆動信号の強度の時間変化が負のとき、錘が第2の方向に駆動する。
図24(a)に示すように、錘の駆動信号の立上りの時間変化の方が、錘の駆動信号の立下りの時間変化よりも所定時間平均で大きい場合、駆動信号の立上りに対応する第1の方向への動力が駆動信号の立下りに対応する第2の方向への動力よりも大きくなる。一方、
図24(b)に示すように、錘の駆動信号の立下りの時間変化の方が、錘の駆動信号の立下りの時間変化よりも所定時間平均で大きい場合、駆動信号の立上りに対応する第1の方向への動力が駆動信号の立下りに対応する第2の方向への動力よりも大きくなる。このように、
図24(a)に示すような第1の方向への動力を大きくする期間と、
図24(b)に示すような第2の方向への動力を大きくする期間とを切替制御することで、前述の極大部または極小部を疑似的に合成することができる。
【0104】
第1の方向および第2の方向は、操作装置33の操作面と交差する方向であってもよいし、操作面と沿う方向(平行方向)であってもよい。例えば、第1の方向および第2の方向を操作装置33の操作面と交差する方向とすれば、操作面上でスライド操作するユーザの指等の身体部位に対して、操作面への押圧方向の抗力が変化することとなり、スライド操作に伴う身体部位と操作面との間の摩擦力、すなわち操作反力を変化させることができる。また、例えば、第1の方向および第2の方向を操作装置33の操作面と沿う方向とすれば、操作面上でスライド操作するユーザの指等の身体部位に対して、操作面上でのスライド操作方向の抗力が変化することとなり、スライド操作に伴う身体部位と操作面との間の摩擦力、すなわち操作反力を変化させることができる。
【0105】
なお、第2の変形例に係る感覚制御システム100の記憶部11が記憶する変換モデル15は、以下の記憶ステップを含む変換モデル生成方法によって得られたものであってもよい。すなわち、第2の変形例に係る変換モデル生成方法の記憶ステップにおいて、感性データベース16は、所定の操作具が操作される際の感覚提示を実現する物理特性と、当該操作具の操作を反映して入力される感性パラメータとが対応付けられた対応情報を、1種類以上の操作具についてそれぞれ記憶する。ここで、操作具はスライド操作を受け付ける操作面を有する。また、操作具のスライド操作に伴う変移に対する操作反力の変化は、少なくとも極大部と極小部とを含む。ここで、操作反力は、操作具の操作面の振動により発生する。操作具の操作面の振動は、上述の操作装置33の操作面の振動と同様に、例えばアクチュエータ等による錘の振動によって生じる間接的な振動であってもよい。操作具のスライド操作に伴う変移に対する操作反力の変化に含まれる極大部または極小部は、操作具の操作面の振動を生じさせる駆動信号の立上りと立下りの時間変化をそれぞれ異ならせて、所定時間平均での立上りに対応する方向または立下りに対応する方向への動力を他方より大きくすることで、疑似的に合成される。このような操作具を用いることで、本例の変換モデル15をより容易に生成することができる。
【0106】
[感性データベース16の変形例]
本開示の感性データベース16は、上述の通り、所定の感覚提示に関する物理特性と、当該感覚提示に対する感覚表現の度合いを示す感性パラメータとが対応付けられた対応情報を、1種類以上の感覚提示についてそれぞれ記憶している。感覚提示として主に触覚提示について説明したが、本明細書で主に言及する「触覚」は広義の触覚であり、広義の触覚は、狭義の触覚、圧覚、力覚などを含む概念である。本明細書では、単に「触覚」と記載した場合には広義の触覚を意味する。ここで、狭義の触覚は、例えば身体部位が接触する物体表面の質感等に関する感覚であり、例えば凹凸や粗さなどの感覚表現にかかる感性パラメータと相関性が高い。圧覚は、例えば身体部位と物体との間の抗力等に関する感覚であり、例えば硬さなどの感覚表現にかかる感性パラメータと相関性が高い。力覚は、例えば身体部位にかかる外力に関する感覚であり、例えば引かれたり押されたりする感覚である。なお、狭義の触覚、圧覚および力覚それぞれに主にかかる受容器は異なっており、各受容器の応答特性にも違いがあることが知られている。
【0107】
また、触覚提示に関する物理特性は、静特性と動特性とを含む。静特性は、例えば、弾性が無視できる程度に剛性の高い器具等(以下、単に「剛体」と記載する。)で操作具を一定の操作速度で操作したときに得られる物理特性である。動特性は、例えば、人間の指等の身体部位を模した柔軟素材で操作具を、操作速度を変えながら操作したときに得られる物理特性であり、静特性とは異なり、身体部位の弾性特性、操作速度、操作加速度、操作加加速度、摩擦力等の物理パラメータも含む物理特性である。
【0108】
感性データベース16が記憶する対応情報は、広義の触覚に含まれる狭義の触覚、圧覚および力覚に関する情報と、物理特性に含まれる静特性および動特性に関する情報と、の少なくともいずれかと関連する情報であってもよい。例えば、感性データベース16が記憶する対応情報は、操作具の操作の段階に応じて、狭義の触覚、圧覚および力覚それぞれについての静特性および動特性の重みづけが変化する情報であってもよい。より具体的に、例えば、操作を開始した直後の操作段階では静特性の重みづけを動特性の重みづけよりも大きく設定し、操作に伴う変移に対する操作反力の変化が大きくなる操作段階(例えば、
図11および
図18に示す荷重変位曲線における極大部や、
図11に示す荷重変位曲線における極小部に相当する操作段階)では動特性の重みづけを静特性の重みづけよりも大きく設定してもよい。これは、操作を開始した直後の操作段階では操作速度等の影響が小さい場合があるため、その場合には静特性で近似しても物理特性を高い精度で再現できるが、操作に伴う変移に対する操作反力の変化が大きくなる操作段階では操作速度等の影響が大きい場合があるため、その場合には動特性で近似した方が精度よく物理特性を再現できるからである。また、感性データベース16が記憶する対応情報は、狭義の触覚、圧覚および力覚それぞれに主にかかる受容器の応答特性の違いを反映した物理特性を含む情報としてもよい。このような対応情報に基づいて変換モデル15を生成することで、人の感性をより反映した触覚提示が可能となる。
【0109】
(触覚制御システム2)
図20は、
図1に示された感覚制御システム100の第2の実施形態としての触覚制御システム2の構成を、信号の流れとともに示している。
【0110】
図20に示される触覚制御システム2は、端末装置80と、通信装置70とを備え、これらが互いにネットワーク9を介して通信可能に接続されている。端末装置80は、主制御装置6と、入出力装置3と、触覚提示装置20とを備える。主制御装置6は、プロセッサ7と記憶部8とを備え、入出力装置3および触覚提示装置20の動作を制御する。触覚提示装置20は、触覚提示部30と、操作範囲可変部29と、位置センサ27や加速度センサ28等のセンサとを備える。通信装置70は、例えばサーバ装置であり、プロセッサ14と、記憶部11と、演算機能部12と、演算機能部13とを備える。記憶部11には、変換モデル15が記憶されている。
【0111】
触覚制御システム2が備える構成のうち、入出力装置3と、触覚提示装置20と、プロセッサ14と、記憶部11と、演算機能部12と、演算機能部13とは、
図2に示した触覚制御システム1が備える同一の符号で示される各構成と同様であるので、説明を省略する。端末装置80が操作装置33を備えていてもよく、触覚提示部30が操作装置33を操作するユーザに対して触覚を提示するものであってもよい点も、触覚制御システム1と同様である。さらに、触覚制御システム2は、触覚提示部30に代えて
図19に示した触覚提示部43を備えてもよく、操作装置33に代えて
図19に示した操作装置42を備えてもよい。
【0112】
図21は、触覚制御システム2の動作を示すシーケンス図である。
図21では、触覚制御システム2が備える端末装置80と通信装置70とがそれぞれ実行する処理をステップ(ST)で説明している。まず、ST31において、端末装置80が感性パラメータの入力を受け付ける。具体的には、端末装置80は、入出力装置3の入力部4を介して、ユーザ等が入力する感性パラメータを受け付ける。次に、ST32において、端末装置80は、感性パラメータの情報を符号化し、符号化した感性パラメータの情報を、ネットワーク9を介して通信装置70に送信する。端末装置80は、感性パラメータの情報を符号化するためのエンコーダを備えていてもよい。また、端末装置80は、感性パラメータの情報の全体を符号化してもよいし、一部のみを符号化してもよい。
【0113】
ST32の後、ST21において、通信装置70は、端末装置80から受信した情報を復号して感性パラメータの情報を取得する。通信装置70は、感性パラメータの情報を復号するためのデコーダを備えていてもよい。次に、ST22において、通信装置70は、変換モデル15を用いて、感性パラメータを当該感性パラメータに相関する物理パラメータに変換する。次に、ST23において、通信装置70は変換した物理パラメータを符号化し、符号化した物理パラメータの情報を、ネットワーク9を介して端末装置80に送信する。通信装置70は、物理パラメータの情報を符号化するためのエンコーダを備えていてもよい。また、通信装置70は、物理パラメータの情報の全体を符号化してもよいし、一部のみを符号化してもよい。
【0114】
ST23の後、ST33において、端末装置80は、受信情報を復号して物理パラメータの情報を取得する。端末装置80は、物理パラメータの情報を復号するためのデコーダを備えていてもよい。その後、ST34において、端末装置80は、物理パラメータに基づく触覚提示信号を生成し、触覚提示装置20を動作させる。なお、ST32、ST21、ST23、ST33における符号化および復号の各処理は、必須ではない。
【0115】
このように、本実施形態に係る触覚制御システム2は、感性パラメータが端末装置80に入力されると、当該感性パラメータと相関する物理パラメータの情報を、ネットワーク9を介して通信装置70から受信して、当該物理パラメータに基づく触覚提示信号による触覚を提示することができる。よって、触覚制御システム2によれば、ネットワーク9を介した触覚情報の通信により、人の感性を反映した触覚提示が可能となる。触覚制御システム2は、触覚インターネット(Tactile Internet)の分野で特に有用である。
【0116】
また、触覚提示に関する物理特性に含まれる全ての物理パラメータを通信する場合には、データ量の増大により通信遅延等の問題が生じやすいが、本実施形態に係る触覚制御システム2では、感性パラメータと相関する物理パラメータを抽出して通信するので、データ量を削減することができる。よって、通信の高速化、各プロセッサ等の負荷軽減に寄与し得る。この効果は、第1の実施形態に係る触覚制御システム1においても同様であるが、触覚インターネットを用いる本実施形態に係る触覚制御システム2において、特に有用である。
【0117】
なお、本実施形態に係る触覚制御システム2は、複数の端末装置80を備えていてもよい。すなわち、通信装置70は、複数の端末装置80それぞれとネットワーク9を介して接続されていてもよい。その場合、通信装置70は、複数の端末装置80それぞれを指定するアドレスやID等の識別情報と、識別情報ごとに対応付けた変換モデル15とを記憶していてもよい。これにより、各端末装置80を使用するユーザごとに変換モデル15を最適化して構成することができる。
【0118】
また、本実施形態に係る触覚制御システム2の通信装置70が記憶する変換モデル15は、例えば用途(ゲーム用、車載用等)に応じて複数存在し、端末装置80が要求する用途等に応じて異なる変換モデルを用いてもよい。これにより、例えば同じ感性パラメータから変換される物理パラメータであっても、用途等に応じて異なる物理パラメータを選択できるように、用途等に応じて変換モデル15を最適化して構成することができる。
【0119】
なお、
図20には、変換モデル15が、通信装置70の記憶部11に記憶されている例を示したが、変換モデル15は、端末装置80の主制御装置6の記憶部8に記憶されていてもよい。この場合、例えば通信装置70からは感性パラメータに関する情報(符号化された情報などを含む)が配信され、端末装置80の主制御装置6において、感性パラメータが物理パラメータに変換されることで、感性パラメータと相関する物理パラメータに基づく触覚提示信号が生成されてもよい。
【0120】
(触覚制御システム1、2の適用例)
第1の実施形態に係る触覚制御システム1は、例えば、ゲーム、映像、音楽などのエンタテインメント用途に用いることができる。触覚制御システム1をエンタテインメントの用途に用いる場合、例えば、ゲームコントローラなどの操作装置33に含まれるボタン、ジョイスティック、トリガースイッチなどの操作部を通じて、触覚提示装置20からの触覚をユーザに対して提示してもよい。また、操作装置33の操作部以外の箇所、例えば操作装置33を保持するユーザの手などの身体部位の全体または一部に対して、触覚提示装置20からの触覚提示を行ってもよい。ゲームコントローラとしては、例えば自動車のステアリングホイールを模したステアリングコントローラであってもよい。
【0121】
操作装置33を通じてユーザに対して触覚提示を行うタイミングとしては、操作装置33に含まれる操作部に対する操作を検出したタイミング、操作装置33の全体または一部に対する移動、回転、加減速などによる操作を検出したタイミング、コンテンツに応じて触覚提示を行うタイミングなどが挙げられる。コンテンツに応じて触覚を提示するタイミングは、ゲーム、映像、音楽などの各コンテンツ内で例えば臨場感を高めるために予め設定された触覚提示のタイミングであり、ユーザからの操作を検出していないタイミングであってもよい。
【0122】
触覚制御システム1をエンタテインメント用途に用いる場合、触覚提示装置20からの触覚提示は、上述の操作装置33を通じて行うことには限定されない。触覚提示装置20からの触覚提示を、例えば、ユーザが着座するシート、ユーザが専用に着用するスーツ、バーチャルリアリティ(VR)用途や拡張現実(AR)用途で用いるヘッドセット、ユーザが手などの身体部位に装着するグローブなどの装着具、その他のウェアラブルデバイスを通じて行ってもよい。例えば、VRまたはARの空間上のバーチャルなスイッチなどを操作する感触を、ウェアラブルデバイスを通じて提示してもよい。
【0123】
第1の実施形態に係る触覚制御システム1は、例えば、車載用途に用いることができる。車載用途に用いる場合、例えばステアリングホイール、ペダル、シフターなどの運転操作に用いる装置や、インフォテインメントシステム、空調ユニット、加飾パネルなどの操作装置33、または着座シートなどを通じて、触覚提示装置20からの触覚提示を乗員に対して行ってもよい。ここで、加飾パネルは、車内のドアトリム、ピラー、グローブボックス、センターコンソール、ダッシュボード、オーバーヘッドコンソールなど、任意の箇所に設けられ、車両のインテリアを構成するとともに、接触操作や近接操作によって、情報表示が可能な装置である。
【0124】
触覚制御システム1を車載用途に用いる場合、触覚提示を行う主な目的は、操作装置33などに対する入力操作が行われたことを通知するための他、乗員に対して車線逸脱や他車両との接近などに対する警告を行うためである。すなわち、臨場感の提示を主な目的とする上述のエンタテインメント用途とは目的が異なる場合がある。そのため、触覚制御システム1は、同じ感性パラメータから変換される物理パラメータであっても、用途に応じて異なる物理パラメータに変換可能な変換モデル15を記憶していてもよい。
【0125】
触覚制御システム1を車載用途に用いる場合に乗員に対して触覚提示を行うタイミングとしては、操作装置33などに対する入力操作を検出したタイミング、車線逸脱や他車両との接近などの危険を検出したタイミングが挙げられる。
【0126】
第2の実施形態に係る触覚制御システム2は、第1の実施形態に係る触覚制御システム1と同様の用途に用いることができる。すなわち、触覚制御システム2は、例えば、ゲーム、映像、音楽などのエンタテインメント用途と、車載用途とに用いることができる。
【0127】
第2の実施形態に係る触覚制御システム2をエンタテインメント用途に用いる場合、
図1の触覚制御システム1と同様の用い方の他、ネットワーク9を介したコンテンツのライブ配信(放送を含む)、コンテンツのデータ更新、ユーザ同士の交流や対戦などに伴って、触覚提示信号を送受信や配信等してもよい。例えば通信装置70が複数の端末装置80と通信を行う場合、各端末装置80で共通の感性パラメータを設定してもよいし、各端末装置80で個別の感性パラメータを設定してもよいし、各端末装置80で一部の感性パラメータについては共通設定としつつ他の一部の感性パラメータについては個別設定としてもよい。例えば、複数の端末装置80それぞれのユーザに共通のVRやARの環境で作業を行わせる場合、感触の大きさを示す感性パラメータは各端末装置80で共通としつつ、各端末装置80のユーザの好みに応じて感触の鋭さを示す感性パラメータを調整することで、個別に環境を調整することができる。
【0128】
触覚制御システム2を車載用途に用いる場合、触覚制御システム1と同様の用い方の他、ネットワーク9を介した車両間の通信、交通標識などの道路設置物との通信、サーバからの交通情報の配信などに基づいて、警告などのための触覚提示信号を受信してもよい。車両間の通信や道路設置物との通信などは、ネットワーク9を介さずに直接通信が可能であれば、第1の実施形態に係る触覚制御システム1でも実現可能である。
【0129】
第2の実施形態に係る触覚制御システム2は、例えば、医療用途や産業用途に用いることができる。医療用途としては、例えば遠隔医療に伴う触覚情報の伝送が挙げられる。産業用途としては、例えば産業用ロボットの遠隔操作に伴う触覚伝送が挙げられる。これらの用途で伝送される触覚を、感性値に基づいてカスタマイズすることができれば、よりリアルな触感をユーザに提示したり、快適に操作を行わせたりすることができる。
【0130】
第2の実施形態に係る触覚制御システム2は、例えば、インターネットショッピングの用途に用いることができる。例えば、製品の手触り感や装着感、筆記具などを通じた書き心地などの触感を触覚伝送によりユーザに提示することができる。また、製品の手触り感や装着感を感性値に基づいてカスタマイズして、よりユーザが求める手触り感や装着感に近い製品を、ユーザに提案することができる。
【0131】
第2の実施形態に係る触覚制御システム2は、遠隔地にいるユーザどうしの交流用途に用いることができる。遠隔地にいるユーザどうしが握手する感触、触れ合う感触などを提示することができる。また、ペットなどの動物と触れ合う感触を提示することもできる。これらの用途では、触覚提示部30として温感提示を使用または併用することで、温もりを伝えることができるため、特に有用である。
[態様2]
【0132】
[背景技術]
従来、人に何らかの刺激を与えることで、感覚提示を行う操作具が知られている。ここで、感覚提示は、触覚提示、音による聴覚提示、画像表示などによる視覚提示を含む。種々の操作具を駆動する信号を調整することで、感覚提示を調整することが行われている。
【0133】
ユーザの嗜好に応じて製品を生産する技術が知られている(例えば特許文献2参照。)。特許文献2には、基準となるモデルをユーザが選択し、その後の工程で、ユーザ選択に基づいて、色、サイズ、材料、位置等を追加又は変更する技術が開示されている。
【0134】
[発明の概要]
[発明が解決しようとする課題]
しかしながら、従来の技術では、感性的な入力により感覚提示を調整できないという問題がある。すなわち、ユーザが好む感覚はユーザによって異なるが、ユーザは自分の好みを感性的に表現する場合がある。しかし、従来は、この感性的な表現が感覚提示の変更として利用されていない。
【0135】
本発明は、上記課題に鑑み、感性的な入力により操作感触を調整できる触覚制御装置を提供することを目的とする。
【0136】
[態様2の説明]
態様1では、変換モデル15を用いて感性パラメータを物理パラメータに変換する感覚制御方法について説明した。しかしながら、メーカーが、感性パラメータから変換された物理パラメータが触覚提示に適用された操作具を試作しても、ユーザの好む操作感触を得るためには何回かの試行錯誤が必要な場合が多い。操作具の試作には多くの工程が必要なため、ユーザの好む操作感触を有する操作具の完成に時間がかかる場合がある。
【0137】
そこで、本態様では、ユーザが嗜好する操作感触をリアルタイムに再現できる触覚制御装置及び触覚制御装置が行う触覚制御方法について説明する。
【0138】
[触覚制御装置の例]
図25は、触覚制御装置50の斜視図である。
図25は単体型(スタンドアローン型)の触覚制御装置50である。
図25に示すように、触覚制御装置50は、3つの基準操作具51a~51c(複数の基準操作具)、再現操作具52、タッチパネル53、及び、ディスプレイ260を有している。なお、以下では基準操作具51a~51cのうち任意の基準操作具を「基準操作具51」という。基準操作具51は2つ以上であればよい。
【0139】
ディスプレイ260には、触覚制御装置50の使用方法、操作メニューなどが表示される。タッチパネル53には、表現度数が入力される感性パラメータ(例えば形容詞)が表示され、ユーザが各感性パラメータごとに表現度数を入力できるようになっている。触覚制御装置50はユーザが嗜好する操作感触を再現する際に、複数回、各感性パラメータに対する表現度数の入力を受け付けるので、その都度の表現度数の入力が可能な感性パラメータをタッチパネル53に表示する。
【0140】
3つの基準操作具51a~51cは基準として用意された操作感触が異なる操作具である。すなわち、3つの基準操作具51a~51cは、それぞれが異なる荷重変位曲線を有している。
【0141】
ユーザが嗜好する表現度数を入力することで、再現操作具52には、3つの基準操作具51a~51cのうち触覚制御装置50が選択した基準操作具51の操作感触が再現される。すなわち、触覚制御装置50は3つの基準操作具51a~51cのいずれかの物理パラメータを再現操作具52にコピーする。ユーザはこの再現操作具52を操作してみて、表現度数を入力することで、自分が嗜好する操作感触に調整できる。
【0142】
したがって、ユーザは再現操作具52を操作してその操作感触を確認しながら、表現度数を入力し、再現操作具52の操作感触を調整することを繰り返すという、リアルタイムな操作感触の調整が可能になる。また、ユーザは調整した再現操作具52の操作感触と基準操作具51a~51cの操作感触とを比較することもできるので、自分の嗜好する表現度数を調整しやすくなっている。
【0143】
なお、
図25の形状や外観は一例であり、例えば、PCやタブレット端末にUSBケーブル等を介して基準操作具51と再現操作具52が接続される汎用的なシステム構成でもよい。
【0144】
図26は、クライアントサーバ型の触覚制御システム2である。
図26の触覚制御システム2では、端末装置80とサーバ200がネットワークを介して通信可能である。端末装置80は例えばWebブラウザを実行してもよいし、専用のアプリケーションを実行してもよい。端末装置80は、各感性パラメータごとの表現度数の入力に必要な画面表示を行い、ユーザからの表現度数の入力を受け付ける。端末装置80は表現度数をサーバ200に送信し、サーバ200が基準操作具51a~51cの選択結果、基準操作具51a~51cに対応する物理パラメータ、及び、調整後の物理パラメータを端末装置80に送信する。
【0145】
このように、クライアントサーバ型であっても、触覚制御装置50と同様に、ユーザはリアルタイムな操作感触の調整が可能になる。
【0146】
<触覚制御装置の第一形態>
まず、
図27、
図28を参照して、触覚制御装置50の動作の概略を説明する。
図27、
図28は、触覚制御装置50を使用してユーザが操作感触を調整する作業の概略を示す。
【0147】
(1) ユーザはまず複数の感性パラメータ(例えば形容詞)について自分の嗜好を表す表現度数(第一の表現度数の一例)を入力する(
図27(a))。タッチパネル53には
図27(a)の第一入力画面281が表示され、第一入力画面281は感性パラメータ提示欄282と基準操作具欄112を有している。感性パラメータ提示欄282には感性パラメータ(第一の感性パラメータの一例)ごとに、ユーザが表現度数をスライドバー(入力手段の一例)で入力可能である。基準操作具欄112には入力された表現度数に対し選ばれる基準操作具51a~51cの確率が表示される。
【0148】
(2) 触覚制御装置50は、予め学習しておいた、各感性パラメータの表現度数と基準操作具51a~51cとの対応に基づいて、ユーザの嗜好(入力した各感性パラメータの表現度数)に最も近い基準操作具51a~51cを選択する(
図27(b))。この処理をSTEP1という。
【0149】
(3) 触覚制御装置50は基準操作具51a~51cの操作感触を再現操作具52にて再現する(
図27(c))。
図27では基準操作具51a~51cの数が3つだが、あくまで一例である。ユーザは再現操作具52を操作してみて、自分の嗜好する操作感触かどうかを確かめる。
【0150】
(4) 自分の嗜好する操作感触とは異なっている場合、ユーザは、再度、複数の感性パラメータについて自分の嗜好を表す表現度数(第二の表現度数の一例)を入力する(
図28(a))。タッチパネル53には
図28(a)の第二入力画面120が表示され、第二入力画面120は感性パラメータ提示欄121を有している。感性パラメータ提示欄121には感性パラメータ(第二の感性パラメータの一例)ごとに、ユーザが表現度数をスライドバーで入力可能である。感性パラメータ提示欄121の感性パラメータの数は、感性パラメータ提示欄282の感性パラメータの数よりも少なくてもよい。これは感性パラメータ提示欄282によりユーザが嗜好する基準操作具51がすでに選択されているためである。また、感性パラメータ提示欄121の感性パラメータの数が少ないことで、ユーザの作業負担が低減される。
【0151】
なお、感性パラメータ提示欄121の初期状態では、スライドバーの表現度数が中央値を示す。ユーザが感性パラメータ提示欄282で同じ感性パラメータの表現度数を最小又は最大値に設定したとしても、感性パラメータ提示欄121の初期状態では、スライドバーの表現度数は中央値である。こうすることで、感性パラメータ提示欄121においてユーザは、感性パラメータ提示欄282で入力した表現度数を含む前後の範囲に表現度数を調整しやすい。また、感性パラメータ提示欄121の初期状態の表現度数は、基準操作具51に設定されている物理パラメータに対応する表現度数である。この初期状態からユーザが調整することで、前後の表現度数に調整することが可能となる。
【0152】
(5) 触覚制御装置50は、予め学習しておいた、各感性パラメータの表現度数と物理パラメータとの対応(例えば回帰モデル)に基づいて、ユーザが入力した各感性パラメータの表現度数を物理パラメータに変換し、再現操作具52に反映させる(
図28(b))。この処理をSTEP2という。
(6) ユーザは再現操作具52を操作してみて、自分の嗜好する操作感触かどうかを確かめる(
図28(c))。
【0153】
以降は(4)~(6)をユーザが繰り返すことで、触覚制御装置50がユーザの嗜好する操作感触の物理パラメータを決定できる。
【0154】
[触覚制御装置の機能について]
図29は、触覚制御装置50の機能を説明する機能ブロック図である。
図29に示すように、触覚制御装置50は、表示制御部61、第一入力受付部62、第二入力受付部63、分類部64、第一変換モデル65a、第二変換モデル65b、第三変換モデル65c、及び、物理パラメータ設定部66を有している。触覚制御装置50が有するこれらの各機能は情報処理装置として有するCPUやプロセッサがRAMに展開されたプログラムを実行することで実現される。あるいは、各機能がハードウェア回路で実現されてもよい。
【0155】
表示制御部61は、予め設定されている感性パラメータと、感性パラメータについて設定される5又は7段階の表現度数を選択可能にタッチパネル53に表示する(第一入力画面281、第二入力画面120を表示する)。表現度数は、任意の段階調整も連続的な調整も可能である。ユーザによる表現度数の選択方法は、タッチパネル53を利用したタップやスライドバーのスライドなどでよい。ユーザによる表現度数の選択方法は、音声入力やボタンによる入力であってもよい。なお、表示制御部61は、上記のSTEP1とSTEP2でそれぞれ異なる感性パラメータを表示する。また、STEP1の感性パラメータの数は、STEP2の感性パラメータの数よりも多くてもよい。
【0156】
第一入力受付部62は、STEP1において、ユーザ操作に応じて各感性パラメータの表現度数の入力を受け付ける。第二入力受付部63は、STEP2において、ユーザ操作に応じて各感性パラメータの表現度数の入力を受け付ける。
【0157】
分類部64は、第一入力受付部62が受け付ける感性パラメータの表現度数と3つの変換モデルとの対応を学習した識別モデルである。分類の学習方法にはディープラーニング、決定木、サポートベクターマシンなど多くの種類があるが、本態様では、どのような学習方法で学習されていてもよい。分類部64は、第一入力受付部62が受け付ける感性パラメータの表現度数に対し、第一変換モデル65a~第三変換モデル65cの識別情報を出力する(複数ある変換モデル15からユーザの嗜好に近い変換モデル15を特定する)。
【0158】
第一変換モデル65a~第三変換モデル65cは、態様1で説明したように、感性パラメータを当該感性パラメータと相関する物理パラメータに変換可能な変換モデルである。第一変換モデル65a~第三変換モデル65cは、3つの基準操作具51a~51cに対応しており、それぞれの基準操作具51a~51cにおいて感性パラメータの表現度数を物理パラメータに変換できる。物理パラメータは、例えば操作具のストローク量、操作反力(荷重)、可動部の速度、加速度、加加速度、操作者の指等の身体部位の弾性特性などである。第一変換モデル65a~第三変換モデル65cは、異なる操作感触を再現するために、荷重変位曲線が異なる物理パラメータに対する官能試験の表現度数に基づいて重回帰等により生成されている。
【0159】
そして、第一変換モデル65a~第三変換モデル65cは、第二入力受付部63が受け付けた感性パラメータの表現度数をそれぞれ異なる物理パラメータに変換する。こうすることで、STEP1で選択された、基準となる変換モデルが、STEP2で入力されたユーザの嗜好に近い表現度数を物理パラメータに変換できる。
【0160】
物理パラメータ設定部66は、第一変換モデル65a~第三変換モデル65cのいずれかが出力した物理パラメータを再現操作具52に設定する。したがって、触覚制御装置50はリアルタイムに、ユーザが所望する操作感触をリアルタイムに再現できる。
【0161】
[分類部の生成、感性パラメータの表現度数と物理パラメータの対応の学習]
次に、
図30等を参照して、分類部64の生成について説明する。
図30は、分類部64の生成における学習の流れを示すフローチャート図である。なお、各種の学習は、触覚制御装置50が行うとするが、学習に関しては任意の情報処理装置が行うことができる。
【0162】
ST41では、触覚制御装置50が表現度数の入力を受け付ける。分類部64の生成に使用される感性パラメータについては
図27(a)に示した。感性パラメータは例えば以下の24個である。24個は一例であって、より少なくても多くてもよい。
「作動力が軽い(重い)」
「決定感のない(ある)」
「不正確な(正確な)」
「明確な(曖昧な)」
「柔らかい(硬い)」
「ぼやけた(はっきりした)」
「引っかかる(スムーズな)」
「疲れる(疲れない)」
「厳しい(優しい)」
「粗い(細かい)」
「吸い込まれる感触がない(ある)」
「斬新な(伝統的な)」
「安っぽい(高級な)」
「耐久性のある(ない)」
「また操作したくない(したい)」
「楽しい(つまらない)」
「心地よくない(よい)」
「嫌い(好き)」
「はねるような感触がない(ある)」
「マイルド(シャープ)」
「乾いた(湿った)」
「明るい(暗い)」
「冷たい(暖かい)」
「遊びのある(ない)」
なお、これらの感性パラメータは、Web解析、Tweet解析、SNS解析、論文、市場毎のクラスタリング分析、特徴や形容詞抽出により自動的に作成されてよい。すなわち、感性パラメータは固定でなく、動的に変更可能でもよい。
【0163】
ST42では、触覚制御装置50が機械学習により感性パラメータの表現度数と基準操作具51a~51cとの対応を学習する。分類部64はこの対応を有する。
【0164】
機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新しいデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。また、機械学習の手法には、パーセプトロン、ディープラーニング、サポートベクターマシン、ロジスティック回帰、ナイーブベイズ、決定木、ランダムフォレストなどがあり、学習手法は限られない。なお、学習方法の一例としてディープラーニングと決定木を後に説明する。
【0165】
ST43では、機械学習により生成された分類部64が触覚制御装置50に組み込まれる。
【0166】
図31は、感性パラメータの表現度数と物理パラメータの対応の学習の流れを示すフローチャート図である。
【0167】
ST51では、触覚制御装置50が表現度数の入力を受け付ける。感性パラメータの表現度数と物理パラメータの対応の学習に使用される感性パラメータについては
図28(a)に示した。感性パラメータは例えば以下の5個である。5個は一例であって、より少なくても多くてもよい。
「マイルド(シャープ)」
「粗い(細かい)」
「明るい(暗い)」
「柔らかい(硬い)」
「軽い(重い)」
ST52では、触覚制御装置50が、感性パラメータの表現度数と物理パラメータの対応を重回帰分析により決定する。本態様では、3つの基準操作具51a~51cが用意されるので、3つの基準操作具51a~51cのそれぞれについて荷重変位曲線が得られている。この荷重変位曲線を実現する物理パラメータも既知である。ユーザは基準操作具51a~51cを操作して、この基準操作具51a~51cについてどういう操作感触であるかを表現度数として入力する。十分な人数の表現度数が入力されると、触覚制御装置50は、数5を用いて重回帰分析を行う。重回帰分析については態様1の数5、
図22,
図23にて説明した。したがって、3つの基準操作具51a~51cそれぞれの決定係数B
11~B
mnを決定でき、
図23のような変換モデル15が基準操作具51a~51cごとに得られる。この3つの基準操作具51a~51cごとの変換モデルが第一変換モデル65a~第三変換モデル65cである。
【0168】
ST53では、重回帰分析により生成された第一変換モデル65a~第三変換モデル65cが触覚制御装置50に組み込まれる。
【0169】
[触覚提示の流れ]
図32は、触覚制御装置50が分類部64と第一変換モデル65a~第三変換モデル65cを使用してユーザが嗜好する操作感触を提示する流れを示すフローチャート図である。
【0170】
ST61では、第一入力受付部62が基準操作具51a~51cを選択するため、第一入力画面281で感性パラメータの表現度数の入力を受け付ける(STEP1)。
【0171】
ST62では、分類部64が、第一入力画面281で入力された各感性パラメータの表現度数に基づいて基準操作具51a~51cを特定する。基準操作具51a~51cが決まると、第一変換モデル65a~第三変換モデル65cのいずれかの変換モデルも決まる。
【0172】
ST63では、物理パラメータ設定部66が、選択された基準操作具51a~51cの物理パラメータを再現操作具52に設定する。ユーザは再現操作具52を操作して嗜好する操作感触かどうかを確認できる。
【0173】
S64では、自分が嗜好する操作感触かどうかにより、ユーザが、基準操作具51a~51cとは異なる操作感触に調整するかどうかを判断する。触覚制御装置50はユーザから再調整開始の指示を受け付ける。
【0174】
S65では、ユーザが、基準操作具51a~51cとは異なる操作感触に調整する場合に、第二入力受付部63が第二入力画面120で感性パラメータの表現度数の入力を受け付ける(STEP2)。ユーザが入力した表現度数(
図23のA
1~A
nに相当)は、ST63で選択された第一変換モデル65a~第三変換モデル65cのいずれかが物理パラメータP
1~P
nに変換する。物理パラメータ設定部66は、この物理パラメータP
1~P
nを再現操作具52に設定する。ユーザは再度、再現操作具52を操作して嗜好する操作感触かどうかを確認できる。
【0175】
以降は、自分が嗜好する操作感触が得られるまで、ユーザは、第二入力画面120を使用して、嗜好する操作感触の調整を繰り返すことができる。
【0176】
このように、本態様の触覚制御装置50は、ユーザが嗜好する操作感触をリアルタイムに再現できる。
【0177】
<触覚制御装置の第二形態>
続いて、触覚制御装置50の第二形態について説明する。
【0178】
まず、
図33を参照して、第二形態の触覚制御装置50の動作の概略を説明する。
図33は、触覚制御装置50を使用してユーザが操作感触を調整する作業の概略を示す。
【0179】
(1) ユーザは、まず、第一入力画面281において複数の感性パラメータについて自分の嗜好を表す表現度数を入力する(
図33(a))。第一入力画面281については
図27(a)と同様でよい。
【0180】
(2) 触覚制御装置50は、予め回帰により学習しておいた、各感性パラメータの表現度数と物理パラメータ(荷重変位曲線)との対応に基づいて、表現度数に対応する物理パラメータ(第二の物理パラメータの一例)を決定する(
図33(b))。
【0181】
(3) 触覚制御装置50は、予め用意してある基準操作具51a~51cの荷重変位曲線について、適切なフィッティングモデルを使ってカーブフィッティングを行っておく(
図33(c))。このフィッティングモデルは例えば物理パラメータを係数とする多項式である。したがって、基準操作具51a~51cごとに荷重変位曲線を表す物理パラメータ(第一の物理パラメータの一例)が得られている。触覚制御装置50は、(2)の物理パラメータと(3)の物理パラメータを比較する。
【0182】
(4) 触覚制御装置50は、(2)の物理パラメータと(3)の物理パラメータが類似している場合は、類似している基準操作具51を提示し、類似していない場合は、再現操作具52を使用した新感触の調整を提案する(
図33(d))。
【0183】
[触覚制御装置の機能について]
図34は、触覚制御装置50の機能を説明する機能ブロック図である。なお、
図34の説明では主に
図29との相違を説明する場合がある。触覚制御装置50は、表示制御部61、第一入力受付部62、第二入力受付部63、物理パラメータ変換部67、カーブフィッティング部68、比較部69、第一変換モデル65a、第二変換モデル65b、第三変換モデル65c、及び、物理パラメータ設定部66を有している。触覚制御装置50が有するこれらの各機能は情報処理装置として有するCPUがRAMに展開されたプログラムを実行することで実現される。あるいは、各機能がハードウェア回路で実現されてもよい。
【0184】
物理パラメータ変換部67は、重回帰分析により得られている表現度数と物理パラメータの対応を用いて、第一入力受付部62が受け付けた表現度数に対する物理パラメータを決定する。なお、物理パラメータを決定すると荷重変位曲線も定まるため、物理パラメータ変換部67は荷重変位曲線を決定していると称してよい。
【0185】
カーブフィッティング部68は、適切なフィッティングモデル(例えば多項式)で基準操作具51a~51c(第一変換モデル65a~第三変換モデル65c)の荷重変位曲線をフィッティングする。なお、カーブフィッティングは重回帰分析の一形態である。多項式の係数に物理パラメータを設定することで、カーブフィッティング部68は基準操作具51a~51cごとに物理パラメータを推定できる。したがって、フィッティングモデルは、物理パラメータで荷重変位曲線をフィッティングできるように選定されるとよい。
【0186】
比較部69は、物理パラメータ変換部67が決定した物理パラメータとカーブフィッティング部68が決定した物理パラメータを比較し、類似しているか否かを判断する。例えば、比較部69は、物理パラメータP1~Pnごとに差の二乗和を算出し、閾値未満かどうかを判断する。比較部69は、類似している物理パラメータがあればその基準操作具51a~51cに対応する物理パラメータを、物理パラメータ設定部66に指示する。
【0187】
物理パラメータ設定部66は指示された基準操作具51の物理パラメータを再現操作具52に設定する。
【0188】
[表現度数に対応する物理パラメータ(荷重変位曲線)の学習、基準操作具の荷重変位曲線のカーブフィッティング]
次に、
図35等を参照して、表現度数に対応する物理パラメータ(荷重変位曲線)の学習について説明する。
図35は、表現度数に対応する物理パラメータ(荷重変位曲線)の学習の流れを示すフローチャート図である。
【0189】
ST71では、触覚制御装置50が表現度数の入力を受け付ける。分類部64の生成に使用される感性パラメータについては
図27(a)に示した。
【0190】
ST72では、触覚制御装置50が、感性パラメータの表現度数と物理パラメータの対応を重回帰分析により決定する。物理パラメータが既知の操作具について、ユーザはどういう操作感触であるかを表現度数として入力する。物理パラメータが既知の操作具は基準操作具51でもよいし任意の操作具でもよい。十分な人数の表現度数が入力されると、触覚制御装置50は、数5を用いて重回帰分析を行う。重回帰分析については態様1の数5、
図22,
図23にて説明した。したがって、触覚制御装置50は、数5の決定係数B
11~B
mnを決定でき、
図23のような変換モデル15が得られる。
【0191】
ST73では、重回帰分析により生成された物理パラメータ変換部67が触覚制御装置50に組み込まれる。
【0192】
図36は、基準操作具51a~51cの荷重変位曲線をカーブフィッティングする流れを示すフローチャート図である。
【0193】
ST81では、カーブフィッティング部68が基準操作具51a~51cの荷重変位曲線にカーブフィッティングを行う。
図9に示したように、基準操作具51a~51cごとにストローク量xと操作反力の対応が得られている。カーブフィッティング部68は、x=0からストローク量の最大まで、好ましくは一定間隔ごとにストローク量と操作反力を組にして抽出する。カーブフィッティング部68は、ストローク量xと操作反力yの組を、フィッティングモデルに適用してカーブフィッティングする。フィッティングモデルは、物理パラメータを係数にしてストローク量xから操作応力を求める式である。下記のフィッティングモデルは一例であって、物理パラメータを係数にしてストローク量xから操作反力yを求める適切なモデル(式)が採用されてよい。
フィッティングモデル:y=P
1×x
0+P
2×x
1+P
3×x
2+……P
n×x
n
カーブフィッティング部68は、重回帰分析によりP1~Pnを求めることができる。得られたP
1~P
nは物理パラメータに相当する。
【0194】
ST82では、カーブフィッティングにより生成された各基準操作具51a~51cの物理パラメータが比較部69に設定される。
【0195】
[触覚提示の流れ]
図37は、触覚制御装置50が物理パラメータ変換部67と比較部69を使用してユーザが嗜好する操作感触を提示する流れを示すフローチャート図である。
【0196】
ST91では、第一入力受付部62が基準操作具51a~51cを選択するための感性パラメータの表現度数の入力を受け付ける。
【0197】
ST92では、物理パラメータ変換部67が、各感性パラメータの表現度数に基づいて物理パラメータ(荷重変位曲線)に変換する。
【0198】
ST93では、比較部69が、物理パラメータ変換部67が決定した物理パラメータと、カーブフィッティング部68が決定した基準操作具51a~51cごとの物理パラメータとを比較する。
【0199】
S94では、比較部69が、物理パラメータ変換部67が変換した物理パラメータと類似する物理パラメータを有する基準操作具51a~51cがあるか否か判断する。ここでの判断は上記のように、物理パラメータ変換部67が決定した物理パラメータP1~Pnと、基準操作具51a~51cのカーブフィッティングにより得られた物理パラメータP1~Pnの差の二乗和が、閾値未満かどうかを判断する方法がある。
【0200】
S94の判断がYesの場合、S95では、物理パラメータ設定部66が、物理パラメータ変換部67が決定した物理パラメータと類似する基準操作具51a~51cの物理パラメータを再現操作具52に設定する。
【0201】
S94の判断がNoの場合、S96では、物理パラメータ設定部66が、最も類似度が高い基準操作具51a~51cの物理パラメータを再現操作具52に設定する。あるいは、第一形態の分類部64を設け、分類部64が基準操作具51a~51c(第一変換モデル65a~第三変換モデル65c)を決定してもよい。
【0202】
以降は、自分が嗜好する操作感触が得られるまで、ユーザは、第二入力画面120を使用して、嗜好する操作感触の調整を繰り返すことができる。
【0203】
このように、本態様の触覚制御装置50は、ユーザが嗜好する操作感触をリアルタイムに再現できる。
【0204】
[分類の学習例]
図38等を参照して、分類の学習方法について説明する。
図38は、分類部64がニューラルネットワークにより実現される場合のニューラルネットワークの一例を示す。
図38のニューラルネットワークは入力層131に入力されたデータに対し、出力層133の3つのノードがそれぞれ出力値yiを出力する。この出力値yiは、確率であり、y1+y2+y3は1.0となる。本態様では、出力層133の3つのノードが3つの基準操作具51a~51cに対応しており、表現度数に応じて3つの基準操作具51a~51cのうちどの基準操作具51a~51cが確からしいかの確率を出力する。
【0205】
図38は入力層131から出力層133までL層(例えば3層とする)が全結合されたニューラルネットワークである。階層が深いニューラルネットワークをDNN(Deep Neural Network)という。入力層131と出力層133の間の層を中間層132という。中間層の層数やノード数は任意に設定できるので、階層数や各層のノード130の数等はあくまで一例である。本態様では、入力層のノード130の数は、感性パラメータの数(
図27(a)では24個)である。なお、表現度数は、各感性パラメータに対して、5段階、3段階等、任意の段階調整で設定されてもよいし、連続的に調整可能であってもよい。
【0206】
ニューラルネットワークでは、入力層を除く第l層(l(エル):2、3)の1つのノード130に第l-1層の全てのノード130が接続され、第l-1層のノード130の出力zと結合の重みwの積が第l層のノードに入力される。式(1)はノード130の出力信号の算出方法を示す。
【0207】
【数6】
式(1)において、w
ji
(l,l-1)は第l層j番目のノードと第l-1層i番目のノード間の重みであり、b
jは、ネットワーク内のバイアス成分である。u
j
(l)は第l層j番目のノードの出力であり、z
i
(l-1)は第l-1層i番目のノードの出力である。Iは第l-1層のノードの数である。
【0208】
【数7】
また、式(2)に示すようにノードへの入力u
j
(l)は活性化関数fにより活性化される。fはノードの活性化関数を意味する。活性化関数としては、ReLU、tanh、シグモイドなどが知られている。なお、入力層131のノードは入力データを第2層に伝えるだけでよく活性化されない。第l層のノード130は活性化関数で入力を非線形化して第l+1層のノード130に出力する。ニューラルネットワークではこの処理が入力層131から出力層133まで繰り返される。
【0209】
出力層133の各ノードには中間層132の各ノードが出力するziが入力され、出力層133の各ノードはziを合計する。その上で出力層133のノードには出力層用の活性化関数が用いられる。多値分類(基準操作具51a~51cの選択)の場合、出力層133の活性化関数はソフトマックス関数が一般的である。出力層133の各ノードはソフトマックス関数の出力値yiを出力する。学習時には、出力層133の各ノードを基準操作具に対応させた上で教師信号(1又は0)が設定される。学習が適切に行われれば、出力層133の各ノードは、24個の感性パラメータが対応する基準操作具51a~51cの確率を出力できる。図では上から基準操作具51a~51cに対応するとした。ただし、出力値が閾値未満の場合、未分類と判断してよい。
【0210】
ニューラルネットワークの学習について説明する。3つの基準操作具51a~51cを複数のユーザが操作し、基準操作具51a~51cごとに表現度数を入力する。こうすることで、24個の感性パラメータと1つの教師信号(どの基準操作具か)を組とするトレイニングデータが、ユーザの数×基準操作具の数だけ得られる。教師信号は(1,0,0)(0,1,0)(0,0,1)のどれかである。
【0211】
入力層131に入力された表現度数をニューラルネットワークが処理をして出力層133から出力値yiを出力する。出力層133のノードには、入力された表現度数と組のトレイニングデータが有する教師信号が入力される。学習時には、出力層133のノードの出力値yiと教師信号の誤差が損失関数により算出される。出力層133の活性化関数がソフトマックス関数の場合、損失関数は交差エントロピーである。損失関数が算出した教師信号と出力値の誤差は、誤差逆伝播法と呼ばれる計算方法で、入力層131のノードまで伝播される。伝播の過程でノード間の重みwが学習される。誤差逆伝播法の詳細は省略する。
【0212】
学習の結果、ニューラルネットワークは、例えば基準操作具51aについて入力された表現度数について、出力層133の基準操作具51aに対応するノード130が1.0に近い値を出力し、基準操作具51b、51cに対応するノード130は0.0に近い値を出力することが期待される。
【0213】
なお、
図38では、ノード間が全結合されているが、たたみ込み層やプーリング層等が含まれてよい。
【0214】
図39は、分類部64が決定木により実現される場合の決定木の一例を示す。決定木とは、特定の特徴がよく現れるようなデータのかたまりを見つけ、その分類ルールを生成する機械学習の手法である。本態様では、3つの基準操作具51a~51cのそれぞれでよく現れる感性パラメータとその表現度数を決定することが学習に相当する。決定木の構造の学習方法の1つとしてエントロピーを使用する方法が知られている。
【0215】
なお、分類に好適な機械学習としては、ニューラルネットワークや決定木の他、サポートベクターマシン、ランダムフォレスト、ロジスティック回帰等、が使用されてよい。
【0216】
[第一入力画面の補足]
図40は、STEP1の表現度数の第一入力画面281について説明する図である。ユーザは各感性パラメータごとにスライドバーを操作して表現度数を入力する。第一形態で説明した分類部64は、学習結果を利用して、現在の表現度数の場合に各基準操作具51a~51cが選ばれる確率を算出する。表示制御部61は、各基準操作具51a~51cの確率を基準操作具欄112に表示する。したがって、ユーザは現在の表現度数がどの基準操作具51a~51cに近いかを、基準操作具51a~51cを操作してみることで把握できる。なお、確率の表示は、リアルタイムに又はユーザが決定操作を入力した場合のどちらに応じて表示されてもよい。
【0217】
また、ユーザが基準操作具欄112にある基準操作具51a~51cのアイコンを押下すると、表示制御部61は、基準操作具51a~51cに設定されている表現度数に、感性パラメータ提示欄282のスライドバーを初期化する。したがって、ユーザは各基準操作具51a~51cの表現度数を容易に確認できる。なお、初期化時の表現度数は、例えば官能試験において、当該基準操作具51に対し入力された表現度数の中央値や平均値でよい。
【0218】
[クライアントサーバシステムの動作]
続いて、
図41等を参照して、クライアントサーバシステムの動作について説明する。
図41は第一形態の触覚制御装置50をクライアントサーバシステムに適用した触覚制御システム2の機能ブロック図である。
図41の説明では、
図29との相違を主に説明する。
図41に示すように、端末装置80とサーバ200がそれぞれ第一通信部71と第二通信部72を有する以外は、端末装置80とサーバ200が
図29の触覚制御装置50と同じ機能を有している。
【0219】
図42は、触覚制御システム2の動作を説明するシーケンス図である。
図42の説明では、
図32との相違を主に説明する。
【0220】
ST101では、第一入力受付部62が第一入力画面281に入力された基準操作具51a~51cを選択するための感性パラメータの表現度数の入力を受け付ける(STEP1)。
【0221】
ST102では、端末装置80の第一通信部71が各感性パラメータの表現度数をサーバ200に送信する。
【0222】
ST103では、サーバ200の分類部64が、各感性パラメータの表現度数に基づいて基準操作具51a~51cを選択する。
【0223】
ST104では、サーバ200の第二通信部72が、基準操作具51a~51cの物理パラメータを端末装置80に送信する。端末装置80の第一通信部71は基準操作具51a~51cの物理パラメータを受信し、物理パラメータ設定部66が再現操作具52に設定する。
【0224】
ST105では、自分が嗜好する操作感触かどうかに応じて、ユーザが、基準操作具51a~51cとは異なる操作感触に調整するかどうか判断する。ユーザが、基準操作具51a~51cとは異なる操作感触に調整する場合、第二入力受付部63は第二入力画面120で入力される感性パラメータの表現度数の入力を受け付ける(STEP2)。
【0225】
ST106では、端末装置80の第一通信部71が感性パラメータの表現度数をサーバ200に送信する。
【0226】
ST107では、サーバ200の第一変換モデル65a~第三変換モデル65cのいずれか(ST103で選択済み)が表現度数を物理パラメータP1~Pnに変換する。
【0227】
ST108では、サーバ200の物理パラメータ設定部66が第二通信部72を介して、変換した物理パラメータを端末装置80に送信する。端末装置80の第一通信部71が受信した基準操作具51a~51cの物理パラメータを再現操作具52に設定する。
【0228】
このように、本態様の触覚制御システム2は、クライアントサーバシステムにおいても、ユーザが嗜好する操作感触をリアルタイムに再現できる。
【0229】
図43は第二形態の触覚制御装置50をクライアントサーバシステムに適用した触覚制御システム2の機能ブロック図である。
図43の説明では、
図34との相違を主に説明する。
図43に示すように、端末装置80とサーバ200がそれぞれ第一通信部71と第二通信部72を有する以外は、端末装置80とサーバ200が
図34の触覚制御装置50と同じ機能を有している。
【0230】
図44は、第二形態の触覚制御システム2の動作を説明するシーケンス図である。
図44の説明では、
図37との相違を主に説明する。
【0231】
ST111では、第一入力受付部62が第一入力画面281において感性パラメータの表現度数の入力を受け付ける。
【0232】
ST112では、端末装置80の第一通信部71が各感性パラメータの表現度数をサーバ200に送信する。
【0233】
ST113では、サーバ200の物理パラメータ変換部67が、各感性パラメータの表現度数に基づいて物理パラメータ(荷重変位曲線)に変換する。
【0234】
ST114では、サーバ200の比較部69が、物理パラメータ変換部67が変換した物理パラメータと、カーブフィッティング部68が予め決定してある基準操作具51a~51cごとの物理パラメータとを比較する。
【0235】
ST115では、物理パラメータ変換部67が決定した物理パラメータと、類似する物理パラメータの基準操作具51a~51cがある場合、第二通信部72が、類似する基準操作具51a~51cのいずれかの物理パラメータを端末装置80に送信する。端末装置80の第一通信部71が基準操作具51a~51cの物理パラメータを受信し、物理パラメータ設定部66が再現操作具52に設定する。
【0236】
ST116では、物理パラメータ変換部67が決定した物理パラメータと、類似する物理パラメータの基準操作具51a~51cがない場合、第二通信部72が、最も類似度が高い基準操作具51a~51cのいずれかの物理パラメータを端末装置80に送信する。端末装置80の第一通信部71が基準操作具51a~51cの物理パラメータを受信し、物理パラメータ設定部66が再現操作具52に設定する。あるいは、第一形態の分類部64を設け、分類部64が基準操作具51a~51c(第一変換モデル65a~第三変換モデル65c)を決定してもよい。
【0237】
このように、本態様の触覚制御システム2は、クライアントサーバシステムにおいても、ユーザが嗜好する操作感触をリアルタイムに再現できる。
【0238】
[態様2の付記]
[請求項1]
操作具の操作感触を制御する触覚制御装置であって、
第一の感性パラメータに対応付けられた第一の表現度数の入力手段を表示する表示制御部と、
ユーザ操作に応じて前記第一の表現度数の入力を受け付ける第一入力受付部と、
前記第一の表現度数に基づいて、予め用意された物理パラメータを再現操作具に設定する物理パラメータ設定部と、を有し、
前記表示制御部は、第二の感性パラメータに対応付けられた第二の表現度数の入力手段を表示し、
ユーザ操作に応じて前記第二の表現度数の入力を受け付ける第二入力受付部と、
前記第二の表現度数を回帰モデルにより物理パラメータに変換する変換部と、を有し、
前記物理パラメータ設定部は、前記変換部が変換した物理パラメータを前記再現操作具に設定することを特徴とする触覚制御装置。
[請求項2]
前記第一の表現度数を複数の基準操作具のうちの1つに分類する分類部を有し、
前記物理パラメータ設定部は、前記分類部が分類した前記基準操作具に設定されている前記物理パラメータを前記再現操作具に設定することを特徴とする請求項1に記載の触覚制御装置。
[請求項3]
複数の基準操作具が有する第一の物理パラメータが実現する荷重変位曲線に対しカーブフィッティングを行い、複数の基準操作具ごとに前記第一の物理パラメータを推定するカーブフィッティング部と、
前記第一の表現度数を回帰モデルにより第二の物理パラメータに変換する物理パラメータ変換部と、を有し、
前記物理パラメータ設定部は、前記第二の物理パラメータに最も類似する前記第一の物理パラメータを有する前記基準操作具の前記第一の物理パラメータを前記再現操作具に設定することを特徴とする請求項1に記載の触覚制御装置。
[請求項4]
前記第二の表現度数の入力手段は、前記分類部が分類した基準操作具に設定されている物理パラメータに対応する表現度数とその前後の値を取り得ることを特徴とする請求項2に記載の触覚制御装置。
[請求項5]
前記第一の感性パラメータ及び前記第二の感性パラメータは、それぞれ複数であり、前記第一の感性パラメータの数は、前記第二の感性パラメータの数よりも多いことを特徴とする請求項1に記載の触覚制御装置。
[請求項6]
前記分類部は、前記複数の基準操作具が有する操作感触と、前記複数の基準操作具をユーザがそれぞれ操作して前記第一の感性パラメータごとに入力した表現度数との対応を学習することで生成されていることを特徴とする請求項2に記載の触覚制御装置。
[請求項7]
前記回帰モデルは、前記複数の基準操作具が有する前記物理パラメータと、前記複数の基準操作具をユーザが操作して前記第二の感性パラメータごとに入力した表現度数との対応を回帰分析することで生成されていることを特徴とする請求項2に記載の触覚制御装置。
[請求項8]
前記回帰モデルは、任意の基準操作具が有する物理パラメータと、前記任意の基準操作具をユーザが操作して前記第一の感性パラメータごとに入力した表現度数との対応を回帰分析することで生成されていることを特徴とする請求項3に記載の触覚制御装置。
[請求項9]
前記カーブフィッティング部は、前記第一の物理パラメータを係数にしてストローク量から操作応力を求めるフィッティングモデルを用いて、前記荷重変位曲線に対しカーブフィッティングを行い、前記第一の物理パラメータを推定することを特徴とする請求項3に記載の触覚制御装置。
[請求項10]
前記第一の感性パラメータ及び前記第二の感性パラメータは形容詞であり、
前記第一の表現度数及び前記第二の表現度数は、前記形容詞の度合いを示す値であることを特徴とする請求項1に記載の触覚制御装置。
[請求項11]
前記第一の表現度数及び前記第二の表現度数は、ユーザが操作具をそれぞれ操作した際に得られる触覚の情報であることを特徴とする請求項1~10のいずれか1項に記載の触覚制御装置。
[請求項12]
前記回帰モデルにおいて、前記第一の表現度数及び前記第二の表現度数は、前記操作具をそれぞれ操作した際に得られる触覚としての作動力と相関する請求項11に記載の触覚制御装置。
[請求項13]
操作具の操作感触を制御する触覚制御装置を、
第一の感性パラメータに対応付けられた第一の表現度数の入力手段を表示する表示制御部と、
ユーザ操作に応じて前記第一の表現度数の入力を受け付ける第一入力受付部と、
前記第一の表現度数に基づいて、予め用意された物理パラメータを再現操作具に設定する物理パラメータ設定部、として機能させ、
前記表示制御部は、第二の感性パラメータに対応付けられた第二の表現度数の入力手段を表示し、
更に、ユーザ操作に応じて前記第二の表現度数の入力を受け付ける第二入力受付部と、
前記第二の表現度数を回帰モデルにより物理パラメータに変換する変換部、として機能させ、
前記物理パラメータ設定部は、前記変換部が変換した物理パラメータを前記再現操作具に設定することを特徴とするプログラム。
[請求項14]
操作具の操作感触を制御する触覚制御装置が触覚を制御する触覚制御方法であって、
第一の感性パラメータに対応付けられた第一の表現度数の入力手段を表示するステップと、
ユーザ操作に応じて前記第一の表現度数の入力を受け付けるステップと、
前記第一の表現度数に基づいて、予め用意された物理パラメータを再現操作具に設定するステップと、
第二の感性パラメータに対応付けられた第二の表現度数の入力手段を表示するステップと、
ユーザ操作に応じて前記第二の表現度数の入力を受け付けるステップと、
前記第二の表現度数を回帰モデルにより物理パラメータに変換するステップと、
変換された物理パラメータを前記再現操作具に設定するステップと、
を有することを特徴とする触覚制御方法。
[請求項15]
端末装置とサーバがネットワークを介して通信する触覚制御システムであって、
前記端末装置は、
第一の感性パラメータに対応付けられた第一の表現度数の入力手段を表示する表示制御部と、
ユーザ操作に応じて前記第一の表現度数の入力を受け付ける第一入力受付部と、
前記第一の表現度数を前記サーバに送信する第一通信部と、
前記サーバから送信された物理パラメータを再現操作具に設定する物理パラメータ設定部と、を有し、
前記表示制御部は、第二の感性パラメータに対応付けられた第二の表現度数の入力手段を表示し、
ユーザ操作に応じて前記第二の表現度数の入力を受け付ける第二入力受付部と、を有し、
前記第一通信部が前記第二の表現度数を前記サーバに送信し、
前記サーバは、
前記端末装置から受信した前記第一の表現度数に基づいて、予め用意された前記物理パラメータを決定し、決定した前記物理パラメータを前記端末装置に送信する第二通信部と、
前記端末装置から受信した前記第二の表現度数を回帰モデルにより物理パラメータに変換する変換部と、を有し、
前記第二通信部は、前記変換部が変換した物理パラメータを前記端末装置に送信することを特徴とする触覚制御システム。
[請求項16]
第一の感性パラメータに対応付けられた第一の表現度数の入力手段を表示する表示制御部と、
ユーザ操作に応じて前記第一の表現度数の入力を受け付ける第一入力受付部と、
前記第一の表現度数をサーバに送信する第一通信部と、前記サーバから送信された物理パラメータを再現操作具に設定する物理パラメータ設定部と、を有し
前記表示制御部は、第二の感性パラメータに対応付けられた第二の表現度数の入力手段を表示し、
ユーザ操作に応じて前記第二の表現度数の入力を受け付ける第二入力受付部と、を有し、前記第一通信部が前記第二の表現度数を前記サーバに送信する端末装置とネットワークを介して通信するサーバであって、
前記端末装置から受信した前記第一の表現度数に基づいて、予め用意された物理パラメータを決定し、決定した前記物理パラメータを前記端末装置に送信する第二通信部と、
前記端末装置から受信した前記第二の表現度数を回帰モデルにより前記物理パラメータに変換する変換部と、を有し、
前記第二通信部は、前記変換部が変換した物理パラメータを前記端末装置に送信することを特徴とするサーバ。
[態様3]
【0239】
[背景技術]
従来、人に何らかの刺激を与えることで、感覚提示を行う操作部が知られている。ここで、感覚提示は、触覚提示、音による聴覚提示、画像表示などによる視覚提示を含む。種々の操作部を駆動する信号を調整することで、感覚提示を調整することが行われている。
【0240】
振動デバイスを内蔵したボタン等を交換可能としたゲームコントローラが知られている(例えば特許文献3参照。)。特許文献3には、異なる振動強度を実現するために振動デバイス自体を交換する技術が開示されている。
【0241】
[発明の概要]
[発明が解決しようとする課題]
しかしながら、従来の技術は、操作部の物理特性に応じた感覚提示が十分にされていないという問題がある。例えば、ロータリー式の操作部の場合、操作部の大きさや質量等によって、アクチュエータを同じように駆動しても操作部を操作するユーザに伝わる感覚が異なってしまう。
【0242】
本態様は、上記課題に鑑み、操作部の物理特性に応じた感覚提示を行う技術を提供することを目的とする。
【0243】
[発明の効果]
操作部の物理特性に応じた感覚提示を行う技術を提供できる。
【0244】
[態様3の説明]
本態様では、操作部(例えば、後述する
図45の操作装置33)の物理特性に基づく調整を行う感覚制御方法について説明する。触覚提示装置20がアクチュエータ駆動による操作部を通じた触覚生成を行うのに際し、操作部の物理特性(大きさや質量等)によっては、アクチュエータを同じように駆動しても操作部を操作するユーザ(操作者の一例)に伝わる感触(ユーザが知覚する操作感覚)が異なってしまう。
【0245】
つまり、感性パラメータと相関する物理パラメータは、操作部の物理パラメータとアクチュエータの物理パラメータとの複合した物理パラメータから構成される。そこで、本態様の触覚提示装置20は、操作部の大きさや質量等の物理パラメータに適した触覚提示信号となるように調整する。なお、触覚制御システム110は、操作部の物理特性に基づいて、操作信号、感覚提示信号、又は感覚提示の少なくともいずれか1つを調整する調整部を備える。
【0246】
例えば、操作部の物理特性の違いは以下のようにして検出される。
・操作部の物理特性の違いを情報としてユーザが入出力装置3に入力する。操作部の大きさや質量が特定される。
・触覚提示装置20が操作部の物理特性の違いを表すID、大きさ、質量などをセンサにより検知する。
・操作部の物理特性の違いを検知するセンサは、カメラであり、カメラが一次元コード、二次元コードを読み取る。また、カメラは操作部の画像を認識することで操作部を特定する。あるいは、センサはICタグリーダであり、ICタグリーダがIDを読み取る。
【0247】
[触覚制御システム110]
図45は、本態様において、感覚制御システム100の触覚制御システム110の構成を示す図である。本態様において、
図2において同一の符号を付した構成要素は同様の機能を果たすので、主に本態様の主要な構成要素についてのみ説明する場合がある。
【0248】
図45の触覚提示装置20は操作部センサ254、トルクセンサ251、および、通信部256、を新たに有している。操作部センサ254は、脱着可能な操作部が触覚提示装置20に装着された場合に、装着されたことと、操作部を識別可能な情報とを検知する。操作部を識別可能な情報としては、操作部に内蔵されたICタグ、操作部に貼付された一次元コード、二次元コード、操作部の外観などである。操作部を識別可能な情報がICタグの場合、操作部センサ254はICタグリーダであり、操作部のID(識別情報)をICタグから取得する。操作部を識別可能な情報が一次元コードまたは二次元コードの場合、操作部センサ254はカメラであり、操作部のIDを一次元コードまたは二次元コードから取得する。操作部を識別可能な情報が操作部の外観の場合、操作部センサ254はカメラと識別器であり、操作部の外観の画像データとIDの対応を学習した識別器で操作部を識別する(操作部のIDが分かる)。
【0249】
なお、操作部は、操作装置33がその一例であり、操作部は操作装置33の少なくとも一部(全体でもよいし、一部でもよい)から着脱可能な装着部であってよい。また、主制御装置10及び触覚提示装置20は感覚制御装置の一例である。
【0250】
トルクセンサは、操作部の質量を推定するためのキャリブレーション時に、アクチュエータを駆動する電流をトルクに変換する。詳細は後述する。
【0251】
通信部256は、携帯端末60と通信することで、操作部の大きさを携帯端末60から受信する。詳細は後述する。
【0252】
また、
図45の主制御装置10は、操作部パラメータ54、キャリブレーション部55、および、質量補正部261、を新たに有している。操作部パラメータ54については
図46にて説明する。キャリブレーション部55は、キャリブレーションにより操作部の質量を推定する。質量補正部261は操作部の質量を補正する。キャリブレーション部55と質量補正部261については後述する。
【0253】
図46は、操作部パラメータ54の一例を示す。操作部パラメータ54には、操作部のIDに、質量、大きさ、その他物理パラメータが対応付けられている。質量と大きさは操作部201の物理特性であり、質量と大きさは本態様では物理パラメータに含まれる。
【0254】
大きさは、回転操作を受け付けるロータリー式操作部の場合、半径、直径、または全長(最大部の長さ)でよい。また、操作部が押圧型操作部の場合、大きさは押し込み方向の長さでよい。操作部がスライド操作を受け付けるスライド操作部の場合、大きさはスライド量、高さ、幅、厚みのいずれかの長さでよい。操作部が傾動操作を受け付けるピボット操作部の場合、大きさは操作部の長さでよい。
【0255】
その他物理パラメータは態様1にて説明したものである。
図46に示すように、操作部センサ254により操作部のIDが検知されると、物理パラメータが分かる。
[操作部センサによる操作部の検知]
図47、
図48を参照して、操作部センサ254による操作部の検知方法を説明する。まず、
図47は、ロータリー式操作部の物理特性の違いを説明する図である。
図47(a)は小さい操作部201aを、
図47(b)は大きい操作部201bをそれぞれ示す。なお、以下では、操作部201a、201bのうち任意の操作部を「操作部201」という。
【0256】
図47の操作部201a、201bは、ロータリー式であるが、操作部201a、201bの大きさ(径)や質量等によって、プロセッサ14がアクチュエータを同じように駆動しても操作部を操作するユーザに伝わる触覚が異なってしまう。例えば、操作部201を回転させるために必要なトルクは、径が大きいほど小さくてよい。このため、操作部201a、201bの回転操作に対する反力を同じにすると、操作部201aの操作時には回しにくいと感じたり、操作部201bの操作時には操作感がないと感じたりする。
【0257】
なお、操作部201の大きさが異なっても、通常、各操作部は相似形なので、大きさと質量には一定の関係がある。例えば、質量が大きさ(例えば半径)の三乗に比例するという関係があり、およその比例定数も算出可能である。このため、後述するように、変換式により、操作部201の大きさから質量を求めたり、質量から大きさを求めたりすることが可能である。
【0258】
図48は、操作部センサ254による操作部201の大きさや質量を検知するいくつかの方法を説明する図である。
図48(a)では、操作部201がICタグ202を内蔵しているかまたは貼付されている。この場合、操作部センサ254はICタグリーダ204であり、電磁波でICタグ202を起電して、ICタグ202と通信し、ICタグ202から操作部のIDを受信する。ICタグリーダ204は触覚提示装置20に設置されていることが好ましいが、携帯端末60のような外部装置であってもよい。
【0259】
図48(b)では、操作部201にバーコード203が貼付されている。この場合、操作部センサ254はカメラ205でバーコード203を撮影し、バーコード203を復号することで、操作部のIDを取得する。カメラ205は触覚提示装置20に設置されていることが好ましいが、携帯端末60のような外部装置であってもよい。
【0260】
図48(c)では、操作部センサ254が操作部201そのものをカメラで撮影する。操作部センサ254は、予め設定されているカメラ205と操作部201までの距離、カメラ205の焦点距離に基づいて、画像データから操作部センサ254の大きさを推定する。距離、焦点距離および操作部の外観の画像データとIDの対応を学習した識別器であれば、画像データから操作部のIDを出力できる。質量に関しては、大きさから質量を求める変換式を使用する。
【0261】
なお、
図48の操作部センサ254は、触覚提示装置20に内蔵されていてもよいし、触覚提示装置20とは別体に存在してもよい。例えば、操作部センサ254は、携帯端末60のようにユーザが携帯する情報処理装置でよい。
【0262】
[操作部センサが検知した操作部が操作部パラメータにない場合]
操作部センサ254が検知した操作部が操作部パラメータにない場合が起こりうる。例えば、
・ゲームコントローラなどのユーザが使用するコントローラにおいて、ユーザが、ノブなどの操作部を変更することが可能なコントローラであり、その装着部に適した操作感触を得たい場合がある。
・車両などの操作ハンドルにおいて、ユーザが交換可能であって、装着されたハンドルに適した操作感触を得たい場合がある。
【0263】
操作部センサ254が検知した操作部が操作部パラメータにない場合、携帯端末60が物理パラメータを推定する。ユーザは携帯端末60で所定のアプリケーションを起動する。ユーザはアプリケーションが制御するカメラで、触覚提示装置20に装着された操作部201を撮影する。これにより、アプリケーションは操作部201の画像データから操作部201の大きさを検出する。したがって、携帯端末60が有するカメラは、ステレオカメラやLiDAR(ライダー)スキャナであることが好ましい。アプリケーションは操作部201の大きさを触覚提示装置20に送信する。通信部256は操作部201の大きさを受信する。
【0264】
なお、通信部256が大きさを受信しても質量までは不明なので、操作部201の質量に関しては、大きさから質量を求める変換式を使用する。あるいは、アプリケーションが変換式で大きさから質量を求めて、触覚提示装置20に送信する。
【0265】
[キャリブレーションによる操作部の質量の推定]
次に、キャリブレーション部55が、キャリブレーションにより質量を推定する方法について説明する。キャリブレーション部55は、操作部201を装着したときに電流パターンで操作部を動作させ(ロータリー式の場合は回転させる)、その電流と位置の対応から操作部の質量を推定する。
【0266】
図49は、キャリブレーションによる操作部の質量の推定方法を説明する図である。まず、
図49(a)は、ロータリー式の操作部201の位置を説明する図である。ロータリー式の操作部201の場合、位置とは、回転中心の回転角度でよい。回転中心は、操作部201の上面が円形の場合、円の中心である。キャリブレーション部55がロータリー式の操作部201を回転させる場合、質量が重いほど大きな電流が必要になる。
【0267】
図49(b)は、操作部201の位置の変化に要した電流と位置の関係を説明する図である。
図49(b)に示す電流と位置の関係は、説明のための一例である。一般に位置を変化させるほど大きな電流が必要になる。また、電流は、操作部を回転させるトルクと一定の関係があり、電流から操作部を回転させるために必要なトルクが求められる。そして、位置を変化させるための電流は、操作部の質量が大きいほど大きいことが知られている。トルクセンサ251はこの電流をトルクに変換する。
【0268】
操作部201をある位置まで回転させるために必要な電流Iと質量Mとの間の関係「I=αM」が分かっていれば、キャリブレーション部55がある位置まで操作部201を回転させる際に必要であった電流Iを測定することで、取り付けられた操作部201の質量Mを推定できる。なお、αについては、質量が分かっているいくつかの操作部201で、ある位置まで操作部201を回転させる際の電流を測定することで容易に求められる。
【0269】
このようにして、キャリブレーション部55が装着された操作部201の質量Mを推定する。大きさに関しては、大きさから質量を求める変換式を使用する。
【0270】
したがって、操作部センサ254が検知した操作部が操作部パラメータにない場合、携帯端末60のアプリケーションを利用する他、キャリブレーションによっても装着された操作部の大きさや質量を推定できる。
【0271】
[操作部の設置場所に応じた質量の補正]
操作部201の傾き度合いは設置場所ごとに異なる。例えば、操作部201がステアリングに取り付けられた場合、または、センターコンソールに取り付けられた場合等では、操作部201の傾きが異なる。傾きが異なると重力の作用により特に押圧型操作部の操作感触が異なる。そこで、触覚提示装置20が加速度センサ28により、操作部201の設置場所の傾きを測定し、操作部201の質量を補正する。
【0272】
図50は、操作部201の質量の補正を説明する図である。
図50(a)は傾きがゼロの設置場所に配置された操作部201が、押下された場合の操作反力F1を示す。操作反力F1は例えば
図11の極大値Tmaxである。
図50(b)は傾きがθの設置場所に配置された操作部201が、押下された場合の操作反力F2を示す。
図50(b)に示す操作反力F1,F2、傾きθの関係により、操作反力F2は以下のようになる。
F2=F1/cosθ
このように、傾きがある設置場所では大きな操作反力が必要になるが、操作反力と質量には相関がある。そこで、操作反力の違いを質量の違いとみなして、質量補正部261が操作部201の質量を補正する。質量補正部261は、例えば、「補正後の質量=元の質量/cosθ」などの関係を使用して、操作部201の質量を補正する。こうすることで、傾きがある場所に操作部201が設置されても、好ましい操作感触を制御できる。
【0273】
[動作および処理]
図51は、触覚制御システム110が装着された操作部の物理パラメータに応じて触覚提示信号を調整する処理を示すフローチャート図である。
【0274】
まず、触覚制御システム110は、SD法等により、操作部の質量、大きさを含む物理パラメータと感性パラメータとの対応を求めておく(ST121)。
【0275】
次に、ユーザが操作部を装着すると、ユーザが装着した操作部を操作部センサ254が検知する(ST122)。
【0276】
触覚提示装置20は操作部パラメータ54に検知した操作部があるか否か判断する(ST123)。操作部センサ254がIDを検知できない場合も操作部パラメータ54に検知した操作部がない場合に含まれる。
【0277】
ステップST123の判断がYesの場合、変換モデル15が操作部パラメータ54に登録済みの物理パラメータを感性パラメータに変換する(ST124)。なお、本態様の変換モデル15は、
図22に示すように物理パラメータから感性パラメータを算出する。
【0278】
ステップST123の判断がNoの場合、ユーザが携帯端末60のアプリケーションで操作部を撮影し、大きさと質量を触覚提示装置に送信する(ST125)。
【0279】
通信部256が携帯端末60のアプリケーションから大きさと質量を受信する(ST126)。なお、上術のように、キャリブレーション部55がキャリブレーションにより求めた大きさと質量が採用されてもよい。
【0280】
変換モデル15は、推定した物理パラメータ(大きさ、質量)を感性パラメータに変換する(ST127)。
【0281】
そして、演算機能部12は、大きさ質量等の物理パラメータ(操作部パラメータ54に登録済みか、または、推定された)を用いて、触覚提示信号を生成する(ST128)。
【0282】
演算機能部13は触覚提示信号を触覚提示装置20に送信する。ユーザが操作部201を回転操作等すると、プロセッサ18が操作信号を生成する。操作部がロータリー式操作部の場合、操作信号は例えば、回転角度である。その他の操作部の場合、操作信号は操作部の操作量である。触覚提示部30は、操作信号に対応した触覚提示信号によりアクチュエータを制御する(ST129)。
【0283】
なお、演算機能部12は、ステップST127で物理パラメータから変換された感性パラメータを用いて、再度、物理パラメータに変換して、触覚提示信号を生成してもよい。再度の変換には、専用の変換モデル15が用意されるとよい。
【0284】
このように、触覚制御システム110は、登録されていない操作部が装着された場合でも物理パラメータを推定できる。調整部としての演算機能部12は、物理パラメータに基づいて触覚提示信号を生成するので、装着された操作部に応じて触覚提示信号を調整できることになる。
【0285】
調整部は、「触覚提示信号」を調整することには限定されず、「操作信号」の調整、「感覚提示信号」の調整、「感覚提示」自体の調整、又はこれらの任意の組み合わせが可能であってもよい。具体的には、以下のケースがある。
・プロセッサ18(操作検出部の一例)が調整部として機能し、"操作信号"に調整を反映するケース。
・演算機能部12(信号生成部の一例)が調整部として機能し、"感覚提示信号"に調整を反映するケース。
・触覚提示部30が調整部として機能し、"感覚提示"に調整を反映するケース。
【0286】
また、本態様では、変換モデルが物理パラメータから感性パラメータを推定するので、操作部の物理パラメータも反映した感性パラメータと物理パラメータとの相関関係を構築できる。補足すると、本内容は、「感覚提示信号を調整する」に即した内容にも応用することができる。すなわち、操作部が交換される等して操作部の物理パラメータが変化した場合に、操作部201が交換される前と同様にアクチュエータを駆動してしまうと、再現される感覚、すなわち感性パラメータが異なってしまう。実現したい感性パラメータが一定の場合には、感覚提示信号を調整することでアクチュエータの物理パラメータを調整して、設定された感性パラメータに即した感覚提示を行うことができる。
【0287】
また、
図52は、
図51の変形例として、触覚制御システム110が装着された操作部の物理パラメータに応じて触覚提示信号を調整する処理を示すフローチャート図である。
図52の説明では、主に
図51との相違を説明する。
【0288】
図52では、ステップST123の判断(所定の条件の一例)がNoの場合、演算機能部12が感覚提示信号の生成を停止する(ST130)。
【0289】
こうすることで、物理パラメータが不明な操作部が装着され、適切な感覚提示信号の生成が困難な場合、感覚提示信号を停止できる。
【0290】
また、演算機能部12が感覚提示信号の生成を停止するのでなく、初期値などの予め決められた感覚提示信号を生成してもよい。
【0291】
[通信装置(サーバー)と端末装置とを有する触覚制御システム]
次に、
図53を参照して、通信装置70(サーバー)と端末装置80とを有する触覚制御システム111について説明する。
図53は、
図45に示された感覚制御システム100の第2の実施形態としての触覚制御システム111の構成を、信号の流れとともに示している。なお、
図53の説明では、主に
図45との相違を説明する。
【0292】
図53に示すように、端末装置80の触覚提示装置20が、トルクセンサ251、操作部センサ254、通信部256を有している。また、通信装置70が、操作部パラメータ54、キャリブレーション部55、および、質量補正部261を有している。トルクセンサ251、操作部センサ254、通信部256、操作部パラメータ54、キャリブレーション部55、および、質量補正部261については
図45にて説明したものと同じでよい。
【0293】
図54は、通信装置70(サーバー)と端末装置80とが通信して、装着された操作部の感性パラメータを推定するシーケンス図である。
【0294】
ステップST131では、触覚制御システム111は、SD法等により、操作部の質量、大きさを含む物理パラメータと感性パラメータとの対応を求めておく。
【0295】
ステップST132では、ユーザが操作部を装着すると、ユーザが装着した操作部を操作部センサ254が検知する。
【0296】
ステップST133では、端末装置80は、操作部センサ254が検知した操作部のIDを通信装置70に送信する。操作部センサ254がIDを検知できない場合、端末装置80がID不検知を通信装置70に送信する。
【0297】
ステップST134では、通信装置70が受信した操作部のIDに基づいて、操作部パラメータ54に装着された操作部があるか否か判断する。
【0298】
操作部パラメータ54に操作部が登録されている場合、ステップST135では、変換モデル15が操作部パラメータ54に登録済みの物理パラメータを感性パラメータに変換する。
【0299】
操作部パラメータ54に操作部が登録されていない場合、ステップST136では、通信装置70が登録されていない旨を端末装置80に送信する。
【0300】
ステップST137では、ユーザが携帯端末60のアプリケーションで操作部を撮影し、大きさ、質量を触覚提示装置20に送信する。
【0301】
ステップST138では、通信部256が携帯端末60のアプリケーションから大きさ、質量を受信する。
【0302】
ステップST139では、携帯端末60が大きさ、質量を通信装置70に送信する。
【0303】
ステップST140では、変換モデル15が、推定した物理パラメータ(大きさ、質量)を感性パラメータに変換する。
【0304】
ステップST141では、演算機能部12は、大きさ質量等の物理パラメータ(操作部パラメータ54に登録済みか、または、推定された)を用いて、触覚提示信号を生成する。
【0305】
ステップST142では、通信装置70は触覚提示信号を端末装置80に送信する。
【0306】
ステップST143では、ユーザの操作による操作信号に応じて、触覚提示部30が、操作信号に対応した触覚提示信号によりアクチュエータを制御する。操作信号、感覚提示信号、及び感覚提示の少なくともいずれかは、通信装置70又は端末装置80のどちらで調整してもよい。
【0307】
[主な効果]
本態様の触覚制御システム110,111によれば、操作部の物理パラメータを、操作部の大きさや質量等に応じて調整するので、操作部の大きさや質量が変わっても、操作するユーザに伝わる感触をユーザに取って好ましい感触に制御できる。
【0308】
[その他]
例えば、態様3の操作部は着脱可能であることに限られない。例えば、操作部を複数実装するシステムにおいて、ノブサイズ・デザインを異にする操作部が複数配置されている場合、その違いを認識し、適切な感触を生成することもできる。
【0309】
また、操作部センサ254は、携帯端末60のアプリケーションやキャリブレーションにより大きさ、質量を直接、求めるのでなく、基準となる操作部との比較により装着された操作部の大きさと質量を推定してもよい。例えば、操作部パラメータ54にIDが登録済みの操作部と、登録されていない操作部が近接して配置されている場合、画像データには2つの操作部が写る。プロセッサ18は、IDが登録済みの操作部の大きさと、登録されていない操作部の大きさの比率を求め、この比率をIDが登録されている操作部の大きさと質量に乗じて、IDが登録されていない操作部の大きさと質量を推定する。
【0310】
なお、プロセッサ18は操作検出部の一例であり、演算機能部12は信号生成部の一例であり、触覚提示部30は感覚提示部の一例である。
【0311】
[態様3の付記]
[請求項1]
操作部と、
前記操作部の操作を検出して操作信号を生成する操作検出部と、
前記操作信号に基づいて感覚提示信号を生成する信号生成部と、
前記感覚提示信号に基づいて操作者に感覚提示を行う感覚提示部と、
前記操作部の物理特性に基づいて、前記操作信号、前記感覚提示信号、及び前記感覚提示の少なくともいずれか1つを調整する調整部と、を備える感覚制御装置。
[請求項2]
前記操作部の物理特性は、前記操作部の少なくとも一部の質量、直径、半径、または全長の少なくとも一つの物理パラメータを含むことを特徴とする請求項1に記載の感覚制御装置。
[請求項3]
装着された操作部を検知する操作部センサを有し、
前記操作部センサは、前記操作部が有する識別情報を取得することで、前記操作部の物理特性を特定するか、または、
前記操作部が撮影された画像データから、前記操作部の物理特性を特定することを特徴とする請求項1に記載の感覚制御装置。
[請求項4]
前記感覚提示部は、前記操作部の物理特性が所定の条件を満たす場合、前記感覚提示信号の生成を停止することを特徴とする請求項1に記載の感覚制御装置。
[請求項5]
前記操作部は押圧操作を受け付ける押圧型操作部であることを特徴とする請求項1に記載の感覚制御装置。
[請求項6]
前記操作部は、スライド操作を受け付けるスライド操作部であることを特徴とする請求項1に記載の感覚制御装置。
[請求項7]
前記操作部は、傾動操作を受け付けるピボット操作部であることを特徴とする請求項1に記載の感覚制御装置。
[請求項8]
前記操作部は、回転操作を受け付けるロータリー式操作部であることを特徴とする請求項1に記載の感覚制御装置。
[請求項9]
前記感覚提示信号は、感性パラメータと相関していることを特徴とする請求項1に記載の感覚制御装置。
[請求項10]
前記感覚提示部は、操作者に触覚提示を行う触覚提示部であることを特徴とする請求項1に記載の感覚制御装置。
[請求項11]
前記操作部の少なくとも一部は、着脱可能であることを特徴とする請求項1に記載の感覚制御装置。
[請求項12]
前記操作部をアクチュエータで駆動した場合に必要なトルクを検出するトルクセンサと、
予め用意されているトルクと質量の関係に基づいて、前記トルクセンサが検出した前記トルクから前記操作部の質量を推定するキャリブレーション部と、
を有することを特徴とする請求項1に記載の感覚制御装置。
[請求項13]
前記操作部の傾きを検出する加速度センサと、
前記加速度センサが検出した前記傾きに応じて、前記操作部の質量を補正する質量補正部と、
を有することを特徴とする請求項1に記載の感覚制御装置。
[請求項14]
操作部を有する装置が行う感覚制御方法であって、
前記操作部の操作を検出して操作信号を生成するステップと、
前記操作信号に基づいて感覚提示信号を生成するステップと、
前記感覚提示信号に基づいて操作者に感覚提示を行うステップと、
前記操作部の物理特性に基づいて、前記操作信号、前記感覚提示信号、及び前記感覚提示の少なくともいずれか1つを調整するステップと、
を有することを特徴とする感覚制御方法。
[請求項15]
互いに通信可能な通信装置と端末装置とを備える感覚制御システムであって、
前記端末装置は、
操作部と、
前記操作部の操作を検出して操作信号を生成する操作検出部と、
前記通信装置から送信された感覚提示信号に基づいて操作者に感覚提示を行う感覚提示部と、を有し、
前記通信装置は、
前記操作信号に基づいて前記感覚提示信号を生成する信号生成部、を有し、
前記端末装置又は前記通信装置は、前記操作部の物理特性に基づいて、前記操作信号、前記感覚提示信号、及び前記感覚提示の少なくともいずれか1つを調整する調整部、を備える感覚制御システム。
[態様4]
【0312】
[背景技術]
従来、人に何らかの刺激を与えることで、感覚提示を行う操作具が知られている。ここで、感覚提示は、触覚提示、音による聴覚提示、画像表示などによる視覚提示を含む。種々の操作具を駆動する信号を調整することで、感覚提示を調整することが行われている。
【0313】
指先モデルを考慮したクリック感提示等の触覚システムが知られている(例えば特許文献4参照。)。特許文献4には、キー押しの間に指先によって生成される剪断振動に対する応答を、指先の質量―バネ―ダンパ系近似に適用してパラメータ評価する技術が開示されている。
【0314】
[発明の概要]
[発明が解決しようとする課題]
しかしながら、従来の技術では、押込み操作に対する座屈現象等、操作方向への指などの弾性体の変形を想定していないため、感覚提示の表現力の範囲が狭くなるという問題がある。すなわち、指には皮膚や肉という弾性体が含まれるが、弾性体による座屈現象等が感覚提示に反映されていない。
【0315】
本態様は、上記課題に鑑み、感覚提示の表現力の範囲をより拡大した技術を提供することを目的とする。
【0316】
[発明の効果]
感覚提示の表現力の範囲をより拡大した技術を提供することができる。
【0317】
[態様4の説明]
本態様では、動特性を含む物理パラメータに基づく感覚刺激信号を出力する触覚制御システム1とその感覚制御方法について説明する。動特性は、時間因子を含む物理特性であり、例えば時間に対し物理特性が変化する。
【0318】
本態様においては、上記の態様1にて説明した
図1のブロック図、
図2の触覚制御システム1のハードウェア構成図、及び、その他、必要な説明を援用できるものとして説明する。
【0319】
従来、スイッチなどの操作具をユーザが押圧した際の荷重変位曲線は、剛体で押圧した際のものであり、時間因子が含まれていない静特性に基づいている。そのため、ユーザが実際に指で押圧した場合に生じる座屈現象を再現した状態で、感性パラメータと物理パラメータとの対応情報が得られていない。
【0320】
本態様では、ユーザが指で操作具を押圧した場合の状況に近づけるために、剛体(指の骨に相当)と操作具との間に、剛体と一体化させた弾性体(指の肉や皮膚に相当)を設けた指モデル押圧具で操作具を押圧する。指モデル押圧具が操作具を押圧した際の、操作具の位置変化[mm]、弾性体と操作具との間の2つのフォースセンサ値[N]を解析することで、人体の指を考慮した構成でSD法による測定評価を行った。これにより得られた新たな物理パラメータには動特性が含まれるので、ユーザが実際に指で押圧した場合に生じる座屈現象を再現した状態で、感性パラメータと物理パラメータとの対応情報が生成される。
【0321】
具体的には、以下の相関関係が得られる。なお、座屈期間T1、指先衝突期間T3及び指先振動期間T4は、それぞれ後述する
図60(b)に示す各期間であり、詳細は後述する。
・物理パラメータ(指先衝突期間T3における操作具の移動距離、指先衝突期間T3におけるフォースセンサ値の変化量、指先衝突期間T3)と、感性パラメータ(復帰感)との相関関係
・物理パラメータ(座屈期間T1での位置変化)と、感性パラメータ(吸い込まれ感)との相関関係
・物理パラメータ(指先振動期間T4)と、感性パラメータ(疲労感)との相関関係
[指モデル押圧具と操作具の構成例]
図55は、剛体の押圧具により得られる静特性と、剛体と弾性体とが一体の指モデル押圧具252により得られる動特性と、を説明する図である。まず、剛体253の押圧具による操作具250の荷重変位曲線は、時間因子を含まない静特性しか表現できない。荷重変位曲線75は、指の肉部257に対応する弾性体の影響を含んでいないため、操作者が知覚する触覚に寄与する物理特性を十分に表現しきれていない。
【0322】
次に、指モデル押圧具252による操作具250の押圧を説明する。まず、指の肉部257は応力で変形する弾性体である。また、指の内部には剛体と見なせる骨255も存在する。後述するように、指モデル押圧具252は、肉部257と骨255との特性を有するように設計されている。剛体と弾性体とが一体の指モデル押圧具252が操作具250を押圧すると、操作反力や位置変化等が時間に対する動特性を含む。
図55では動特性270として、位置変化、2つのフォースセンサ値A,Bを示す。2つのフォースセンサ値A,Bはそれぞれ操作具250に対し指モデル押圧具252が生じさせる操作反力を検出する。2つのフォースセンサ値A,Bは、それぞれ異なるフォースセンサにより測定されており、指の肉部257が操作具250と接する場所と、指の内部の剛体部分(骨255に相当)にそれぞれ配置されている。詳細は
図59にて説明する。動特性270に示すように、指モデル押圧具252による操作具250の押圧は、時間を考慮した指の動き、すなわち、感覚の発生・変化を捉えることができるため、ユーザが指で押圧する実際の状況に近い相関関係を得られる。
【0323】
図56は、指が変形する際の指と操作具250の相対位置を説明する図である。
図56の上部は、荷重変位曲線75から読み取れる期間A~Cを示す。
図56の下部は、期間A~Cに対応した、指の肉の変形を模式的に示す。
【0324】
図56の下部に示すように、期間Aでは、指の押し込み力と反発力がつりあいながら、操作具250のボタン部分56の位置が徐々に下がっていく。
【0325】
期間Bでは、操作具250のメタルコンタクト57の変形(座屈)が発生し、その反発力がなくなる。ボタン部分56は下降力を保ったままで下に落下していく。その操作反力が期間Aにくらべて差分となる。したがって、指とボタンとの接触部の操作反力は低下している。
【0326】
期間Cでは、指とボタン部分56が、再度、メタルコンタクト57に衝突する。この時、再度、指先とボタン部分56との接触部に最大操作反力が発生する。衝突により、ボタン部分56の振動もあわせて発生する。
【0327】
図57は、指モデル押圧具252を説明する図である。
図56にて説明したように、指は肉部257が変形する弾性体である。また、指の内部には剛体と見なせる骨255も存在する。そこで、ボタン部分56と接触する弾性体59と、弾性体59を介してボタン部分56を押圧する剛体58とを有する指モデル押圧具252が、指が操作具250を押圧する際の適切なモデルとなる。
【0328】
[クリック感のある感覚提示信号の生成]
図58は、クリック感のある感覚提示信号の生成を説明する図である。クリック感とは、ボタンなどの入力装置における入力時の反応、スイッチを押したような手応えなどのことをいう。メカニカル式スイッチの場合、クリック感はメタルコンタクト57などの抵抗や変形により得られる。ただし、クリック感がどのように発生するかはボタン構造によって様々である。
【0329】
また、本態様のように感覚提示信号が電気的に生成される操作具250では、クリック感は、アクチュエータに供給される電流により制御される。
【0330】
図58(a)は時間に対するアクチュエータの電流値を示し、
図58(b)は、時間に対する操作反力を示す。枠283で電流値が急激に小さくなることで、操作反力も急激に小さくなる。
図58(b)の凸部284が、電流値が急激に小さくなった時刻に対応している。このため、ユーザが指で操作具250を押圧した場合に、メカニカル式スイッチを押したような手応え(クリック感)を得られる。
図58(a)に示した、電流値が急激に小さくなるタイミングや電流の減少量はあくまで一例であり、適宜、調整される。
【0331】
図59(a)は、押圧型操作具の機能構成図を示し、
図59(b)は押圧型操作具のブロック図を示す。
図59のボタン部分271は
図2の操作装置33の一例であり、VCM263は
図2の触覚提示部30の一例である。
図59(a)に示すように、指モデル押圧具252には2つのフォースセンサA,Bが配置されている。フォースセンサAは指モデル押圧具252の弾性体59とボタン部分271とが接触する位置に配置され、フォースセンサBは指モデル押圧具252の剛体58の内部に配置されている。こうすることで、フォースセンサAが検出するフォースセンサ値Aにより座屈現象を監視できる。
【0332】
図59(b)のブロック図は押圧型操作具の一例に過ぎないが、簡単に説明する。なお、MCU回路262は
図2のプロセッサ18の一例であり、位置センサ264は
図2の位置センサ27の一例である。
図59(b)に示すように、MCU回路262は、操作具250のボタン部分271が押し込まれた操作量(位置変化)に応じた電流をVCM(Voice Coil Motor)263に出力する。VCM263は電流に比例した人工反力をボタン部分271に付与する。VCM263とは反対側からボタン部分271を指モデル押圧具252が押圧するので、指モデル押圧具252に人工反力が伝わる。人工反力は、フォースセンサA、Bにより測定される。
【0333】
[指モデル押圧具により得られる動特性]
図60は、指モデル押圧具252により操作具250を押圧した場合の動特性を説明する図である。
図60(a)は参考に示した荷重変位曲線75であり、
図60(b)は指モデル押圧具252により操作具250を押圧した場合の動特性270の一例である。
図60(b)は、横軸を時間、縦軸を2つのフォースセンサ値A、B及び位置変化211とした。時間の単位は[msec]、フォースセンサ値A、Bの単位は[N]である。なお、動特性270は操作具250によって大きく異なるものであり、
図60(b)は一例に過ぎないことに注意されたい。
【0334】
時間に対する2つのフォースセンサ値A,B、時間に対する位置変化211から抽出される動特性(座屈期間T1、指先落下期間T2、指先衝突期間T3,指先振動期間T4)について
図60,
図61を参照しながら説明する。
図61は、指モデル押圧具252と操作具250の相対位置の時間的な遷移を説明する図である。
【0335】
・座屈期間T1は、フォースセンサ値Bのピークから位置変化211のピークまでの期間である。縮尺の関係で分かりにくいが、フォースセンサ値Bは一定でなく、座屈期間T1の始点にピークがある。このピークについては
図62にて説明する。また、フォースセンサ値Bのピークは、荷重変位曲線75における操作反力の最大値に対応する。したがって、座屈期間T1は、操作反力が最大値となってから、位置変化211が最大となるまでの期間である。
図61(a)は座屈期間T1の始点における、指モデル押圧具252とボタン部分56の相対位置を示す。座屈期間T1の始点では、荷重変位曲線75における操作反力の最大値が得られているので、指モデル押圧具252の弾性体59が大きく押し込まれている。なお、ボタン部分56の左の矢印は位置変化方向を示す。
【0336】
・指先落下期間T2は、フォースセンサ値Bのピークからフォースセンサ値Aの下向きのピークまでの期間である。荷重変位曲線75に示すように、操作反力の最大値が得られた後、クリック感を出すために、操作反力は急激に低下する。このため、指モデル押圧具252への操作反力が減少するので、指先落下期間T2の始点以降は指モデル押圧具252の弾性体59が復元し始める。これにより指先落下期間T2ではフォースセンサ値Aが減少する。したがって、指先落下期間T2は、操作反力の最大値が得られてから、指モデル押圧具252の弾性体が最大に復元するまでの期間である。
図61(b)は指先落下期間T2の終点における、指モデル押圧具252とボタン部分56の相対位置を示す。
図61(a)と比較すると、指モデル押圧具252の弾性体59が復元していることが分かる。
【0337】
・指先衝突期間T3は、フォースセンサ値Aの下向きのピークからフォースセンサ値Aの上向きのピークまでの期間である。指先衝突期間T3では、
図61(b)で指モデル押圧具252の弾性体59が最大に復元した後、さらに指モデル押圧具252を押圧し続けるため、フォースセンサ値Aが急激に増大する。従って、指先衝突期間T3は、指モデル押圧具252の弾性体59が最大に復元してから、弾性体59が最も押し込まれるまでの期間である。
図61(c)は指先衝突期間T3の終点における、指モデル押圧具252とボタン部分56の相対位置を示す。
図61(b)と比較すると、指モデル押圧具252の弾性体59が押し込まれていることが分かる。
【0338】
・指先振動期間T4は、フォースセンサ値Aの上向きのピークからフォースセンサ値Aの変動が一定値内に収まるまでの期間である。すでに、クリック感を出すために操作反力が小さくなっているため、押圧により位置変化211が増大し続けてもフォースセンサAは急激に小さくなる。その後、位置変化211が増大しなくなるので(指モデル押圧具252も移動しなくなる)、フォースセンサ値Bも変化しにくくなり、チャタリングのようにフォースセンサ値Aが振動する。従って、指先振動期間T4は、最も押し込まれた弾性体が復元し、安定するまでの期間である。
図61(d)は指先振動期間T4の終点における、指とボタン部分56の相対位置を示す。
図61(c)と比較すると、指モデル押圧具252の弾性体59が復元していることが分かる。
【0339】
以上の、座屈期間T1、指先落下期間T2、指先衝突期間T3、及び、指先振動期間T4が動特性の一例である。また、座屈期間T1、指先落下期間T2、指先衝突期間T3、及び、指先振動期間T4の各期間で、フォースセンサ値A,Bの変化、及び、位置変化211、を抽出可能である。本態様ではこれらも動特性として使用できる。
【0340】
このように、動特性は、所定の操作具250の操作に伴う操作反力及び操作量の少なくともいずれか一方の時間変化を含む物理特性であってもよい。この物理特性は、指モデル押圧具252のうち、弾性体59を操作具250に接触させて操作する際の感覚提示を実現する物理特性である。
【0341】
図62は、上記の期間A~Cと共に、動特性をより詳細に説明する図である。
図62の左上部分は動特性の開始から終了までを含む全体図であり、
図62の右下部分は、
図62の左上部分の枠212内を拡大した動特性である。
図62の右下部分には動特性と期間A~Cとの対応を示した。フォースセンサAが検出したフォースセンサ値Aは弾性体59の押し込みと復元により大きく変化する。フォースセンサBが検出したフォースセンサ値Bは弾性体59の変形による影響を受けにくいので、変化が小さい。
【0342】
図62の右下部分では、座屈期間T1、指先落下期間T2、指先衝突期間T3、指先振動期間T4も示されているが、これらは
図60にて説明したとおりである。
図60では明確でなかったフォースセンサBのピーク(座屈期間T1、指先落下期間T2の始点)が明確になっている。
【0343】
[感性パラメータと相関する動特性]
図60,
図62で説明した動特性のうち感性パラメータと相関するものがある。感性パラメータと相関する適切な動特性が本態様の物理パラメータである。
【0344】
触覚制御システム1は、感性パラメータと相関する適切な動特性を評価するためにSD法による評価を行う。このため、動特性が異なる複数の操作具250が用意された。
【0345】
図63は、動特性が異なる複数の操作具250について指モデル押圧具252により押圧した場合の動特性を示す。本態様では、説明のため25個の操作具250が用意されたものとし、25個の操作具250のそれぞれについて動特性を測定した。
図63では、そのうち4つの操作具250の動特性を示す。
図63(a)~(d)のそれぞれにおいて、上図は押圧時の全期間(約1秒)の動特性270を示し、下図は、座屈期間T1、指先落下期間T2、指先衝突期間T3、及び、指先振動期間T4の前後の動特性270を拡大した図である。
【0346】
<感性パラメータと相関する物理パラメータの決定>
図64は、感性パラメータと相関する物理パラメータの決定の流れを説明するフローチャート図である。
【0347】
ステップST151では、触覚制御システム1が、指モデル押圧具252により25個の操作具250をそれぞれ押圧した場合の動特性を測定する。
【0348】
次に、ステップST152では、入力部4が、25個の操作具250について、SD法で感性パラメータごとに表現度数を受け付ける。
【0349】
次に、ステップST153では、プロセッサ101が、感性パラメータごとに、各操作具250の動特性と表現度数の組を取得する。
【0350】
次に、ステップST154では、プロセッサ101が、感性パラメータごとに、動特性と表現度数の相関係数を求める。
【0351】
次に、ステップST155では、プロセッサ101が、相関係数の絶対値が大きい、動特性を決定する。関係数の絶対値が大きいとは、例えば0.5以上でよい。
【0352】
次に、ステップST156では、プロセッサ101が、数5で説明した重回帰分析を感性パラメータとの相関が高いの物理パラメータと感性パラメータとに適用して変換モデル15を作成する。
【0353】
図65は、ステップST153においてプロセッサ101が取得したある感性パラメータにおける、各操作具250の動特性と表現度数の組の散布図である。
図65では、横軸に、感性パラメータとして「復帰感がある(ない)」を示し、縦軸に、座屈期間T1を示した。座屈期間T1と、「復帰感がある(ない)」の表現度数には、おおむね、右上がりの傾向がある。また、相関係数は0.82である。
【0354】
図66は、ステップST153においてプロセッサ101が取得したある感性パラメータにおける、各操作具250の動特性と表現度数の組の散布図である。
図66では、横軸に、感性パラメータとして「吸い込まれる感がある(ない)」を示し、縦軸に、指先衝突期間T3における位置変化を示した。指先衝突期間T3における位置変化と、「吸い込まれる感がある(ない)」の表現度数には、おおむね、右下がりの傾向がある。相関係数は0.65である。
【0355】
図67は、ステップST153においてプロセッサ101が取得したある感性パラメータにおける、各操作具250の動特性と表現度数の組の散布図である。
図67では、横軸に、感性パラメータとして「復帰感がある(ない)」を示し、縦軸に、指先振動期間T4における操作反力変化(フォースセンサ値A)を示した。指先振動期間T4の操作反力変化と、「復帰感がある(ない)」の表現度数には、おおむね、右上がりの傾向がある。相関係数は0.78である。
【0356】
プロセッサ101は、
図65,
図66、
図67に示した感性パラメータと動特性とを最小二乗法(回帰分析の一例)などで関係付ける。最小二乗法により、感性パラメータと動特性との相関の強さが相関係数により推定される。
【0357】
図68は、各感性パラメータと各動特性との相関係数の一覧を示す。
図68では、行見出しが感性パラメータ、列見出しが操作具250の動特性である。
図68では、0.5以上の相関係数を斜線で強調した。従って、相関係数が大きい動特性が物理パラメータに適切であることが分かる。
【0358】
このようにして指モデル押圧具252で各操作具250が押圧された場合に、感性パラメータとの相関が高い物理パラメータが決定されると、プロセッサ101が、数5で説明した重回帰分析を感性パラメータとの相関が高いの物理パラメータと感性パラメータとに適用して変換モデル15を作成できる。数5で使用される物理パラメータP1~Pnに、ステップST154で決定された相関係数が大きい物理パラメータが採用される。重回帰分析については態様1の数5、
図22,
図23にて説明した。従って、各操作具250の決定係数B
11~B
mnを決定でき、
図23のような変換モデル15が操作具250ごとに得られる。
【0359】
[通信装置(サーバー)と端末装置とを有する触覚制御システム]
次に、
図69を参照して、通信装置70(サーバー)と端末装置80とを有する触覚制御システム2について説明する。なお、触覚制御システム2のブロック図については
図20と同様でよい。
【0360】
図69は、通信装置70(サーバー)と端末装置80とが通信して、装着された操作具250の感性パラメータを推定するシーケンス図である。
【0361】
ステップST161では、通信装置70と端末装置80とが通信し、指モデル押圧具252により25個の操作具250を押圧することで、各操作具250の動特性を測定する。
【0362】
次に、ステップST162では、入力部4が、25個の操作具250について、SD法で感性パラメータごとに表現度数を受け付ける。
【0363】
次に、ステップST163では、端末装置80が表現度数を通信装置70に送信する。
【0364】
次に、ステップST164では、プロセッサ14が、感性パラメータごとに、各操作具250の動特性と表現度数の組を取得する。
【0365】
次に、ステップST165では、プロセッサ14が、感性パラメータごとに、動特性と表現度数の相関係数を求める。
【0366】
次に、ステップST166では、プロセッサ14が、相関係数の絶対値が大きい、動特性を決定する。関係数の絶対値が大きいとは、例えば0.5以上でよい。
【0367】
次に、ステップST167では、プロセッサ14が、数5で説明した重回帰分析を感性パラメータとの相関が高いの物理パラメータと感性パラメータとに適用して変換モデル15を作成する。
【0368】
[主な効果]
以上説明したように、本態様の触覚制御システム1は、指モデル押圧具252により操作具250を押圧することで、感性パラメータと相関する動特性を抽出できる。従って、感性パラメータをこの動特性に変換する変換モデルを作成できるので、好ましい動特性となる感覚提示信号を生成できる。
【0369】
[その他]
例えば、態様4では、押圧型操作具について説明したが、回転操作を受け付けるロータリー式操作具においても同様に適用できる。ロータリー式操作具の場合、回転角度が位置変化であり、回転に対する抵抗力が操作反力である。
【0370】
また、指モデル押圧具252として、一種類の弾性体59のみを有するものを説明したが、指モデル押圧具252は、ボタン部分56と接触する側に、弾性力が異なる複数種類の弾性体を有していてよい。弾性力が異なる複数種類の弾性体は、例えば、皮膚に相当する弾性体、肉部に相当する弾性体等である。また、弾性力が異なる複数種類の弾性体は、剛体58に近いほど弾性力が大きくなるように層状に配置されていてもよい。こうすることで、より人間の触覚に近い動特性を示す指モデル押圧具252を構築できる。
【0371】
また、指モデル押圧具252の形状は、単なる立方体でもよいし、指の形状を模倣したものでもよい。指の形状としては、男性、女性、大人、子供、及び各人種の指を想定し、サイズや形状が異なっていてよい。
【0372】
[態様4の付記]
[請求項1]
操作具を操作した場合の感覚表現の度合いを示す感性パラメータの入力を受け付ける受付ステップと、
受け付けた感性パラメータを、感覚刺激に関する物理特性に含まれる複数種類の物理パラメータのうち前記感性パラメータと相関する物理パラメータに変換する変換ステップと、
変換された物理パラメータに基づく感覚刺激信号を出力する出力ステップと、を含み、
前記物理特性は動特性を含む感覚制御方法。
[請求項2]
前記動特性は、所定の操作具の操作に伴う操作反力及び操作量の少なくともいずれか一方の時間変化を含む物理特性である請求項1に記載の感覚制御方法。
[請求項3]
前記物理特性は、剛体と弾性体とを含む指モデル押圧具のうち、前記弾性体を前記所定の操作具に接触させて操作する際の感覚提示を実現する物理特性である請求項2に記載の感覚制御方法。
[請求項4]
前記物理パラメータは、座屈期間である請求項1に記載の感覚制御方法。
[請求項5]
前記物理パラメータは、指先落下期間である請求項1に記載の感覚制御方法。
[請求項6]
前記物理パラメータは、指先衝突期間である請求項1に記載の感覚制御方法。
[請求項7]
前記物理パラメータは、指先振動期間である請求項1に記載の感覚制御方法。
[請求項8]
前記物理パラメータは、前記感性パラメータとの相関関係を有する請求項1に記載の感覚制御方法。
[請求項9]
前記操作具は押圧操作を受け付ける押圧型操作具であることを特徴とする請求項1に記載の感覚制御方法。
[請求項10]
前記操作具は、回転操作を受け付けるロータリー式操作具であることを特徴とする請求項1に記載の感覚制御方法。
[請求項11]
操作具を操作した場合の感覚表現の度合いを示す感性パラメータの入力を受け付ける入力部と、
前記入力部が受け付けた感性パラメータを、感覚刺激に関する物理特性に含まれる複数種類の物理パラメータのうち前記感性パラメータと相関する物理パラメータに変換する変換モデルと、
前記変換モデルが変換した物理パラメータに基づく感覚刺激信号を出力する感覚提示部と、を含み、
前記物理特性は動特性を含む装置。
[請求項12]
互いに通信可能な通信装置と端末装置とを備える感覚制御システムであって、
前記端末装置は、操作具を操作した場合の感覚表現の度合いを示す感性パラメータの入力を受け付ける入力部を有し、
前記通信装置は、前記端末装置から送信された前記感性パラメータを、感覚刺激に関する物理特性に含まれる複数種類の物理パラメータのうち前記感性パラメータと相関する物理パラメータに変換する変換モデルを有し、
前記端末装置は、前記変換モデルが変換した物理パラメータに基づく感覚刺激信号を出力する感覚提示部を有し、
前記物理特性は動特性を含む感覚制御システム。
[請求項13]
装置を、
操作具を操作した場合の感覚表現の度合いを示す感性パラメータの入力を受け付ける入力部と、
前記入力部が受け付けた感性パラメータを、感覚刺激に関する物理特性に含まれる複数種類の物理パラメータのうち前記感性パラメータと相関する物理パラメータに変換する変換モデルと、
前記変換モデルが変換した物理パラメータに基づく感覚刺激信号を出力する感覚提示部、として機能させ、
前記物理特性は動特性を含むプログラム。
【0373】
[その他]
以上、本発明を実施するための最良の形態について各態様を用いて説明したが、本発明はこうした態様に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。
【0374】
本出願は、2021年5月19日に日本国特許庁に出願した特願2021-084696号、2022年5月12日に日本国特許庁に出願した特願2022-079095号、2022年5月12日に日本国特許庁に出願した特願2022-079099号、2022年5月13日に日本国特許庁に出願した特願2022-079128号に基づく優先権を主張するものであり、特願2021-084696号、特願2022-079095号、特願2022-079099号、特願2022-079128号の全内容を本出願に援用する。
【符号の説明】
【0375】
1、2 触覚制御システム
3 入出力装置
4 入力部
5 表示部
6、10 主制御装置
7、14、18、41、101 プロセッサ
8、11 記憶部
9 ネットワーク
12、13 演算機能部
15 感性パラメータ-物理パラメータ変換モデル
16 感性データベース
20、40 触覚提示装置
21 可動部
24 ボビン
25 コイル
26 ばね部材
27 位置センサ
28 加速度センサ
29 操作範囲可変部
30、43 触覚提示部
31 ヨーク
31a 外周ヨーク
31b センターヨーク
32 磁石
33、42 操作装置
39 アクチュエータ
43a 抵抗トルク発生装置
43b 回転トルク発生装置
45 センサ
70 通信装置
80 端末装置
100 感覚制御システム
102 感覚提示部