特許 7319813 力覚提示システム、力覚提示装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-25

(45)【発行日】2023-08-02

(54)【発明の名称】力覚提示システム、力覚提示装置、及びプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230726BHJP

   B25J 3/00 20060101ALI20230726BHJP

【ＦＩ】

G06F3/01 560

B25J3/00 A

【請求項の数】 3

(21)【出願番号】P 2019078499

(22)【出願日】2019-04-17

(65)【公開番号】P2020177398

(43)【公開日】2020-10-29

【審査請求日】2022-03-17

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】半田 拓也

(72)【発明者】

【氏名】東 真希子

(72)【発明者】

【氏名】近藤 悟

(72)【発明者】

【氏名】清水 俊宏

【審査官】木内 康裕

(56)【参考文献】

【文献】特開２００５－２６７１７４（ＪＰ，Ａ）

【文献】特開平１１－２３２０１２（ＪＰ，Ａ）

【文献】国際公開第９６／００２８８７（ＷＯ，Ａ１）

【文献】特開２０１０－１０２５６０（ＪＰ，Ａ）

【文献】特開２０１０－２８７２２１（ＪＰ，Ａ）

【文献】特開２０１８－２０２０１８（ＪＰ，Ａ）

【文献】特開２００９－２７６９９６（ＪＰ，Ａ）

【文献】特開２００２－３０４２４６（ＪＰ，Ａ）

【文献】国際公開第２０１７／０２２６３５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｂ２５Ｊ ３／００

(57)【特許請求の範囲】

【請求項1】

ユーザに力覚を提示する力覚提示装置と、前記力覚提示装置を制御する情報処理装置と、を有する力覚提示システムであって、
前記情報処理装置は、
仮想空間における第１物体の位置を制御し、前記仮想空間において前記力覚提示装置に対応付けられる第２物体の位置を制御する仮想空間制御部と、
前記仮想空間において前記第１物体と前記第２物体とが衝突した場合、当該衝突に応じた制御情報を前記力覚提示装置に送信する送信部と、を有し、
前記力覚提示装置は、
前記第１物体との衝突に応じた制御信号を前記情報処理装置から受信する受信部と、
前記受信部により受信された制御信号に基づいて、前記第１物体が前記第２物体と衝突した方向に、前記ユーザに把持される把持部をへこませる制御部と、
前記力覚提示装置を振動させる振動部と、を有し、
前記制御部は、第１時点で前記振動部の振動を開始させ、前記第１時点とは異なる第２時点で前記第１物体が前記第２物体と衝突した方向に前記把持部をへこませる制御を開始し、前記第１物体の材質及び前記第２物体の材質に応じて、前記第１時点と前記第２時点との時間差を異ならせる、力覚提示システム。

【請求項2】

前記振動部は、振動により音を出力し、
前記制御部は、前記第１時点で前記振動部により前記第１物体の材質及び前記第２物体の材質に応じた音の出力を開始させ、前記第２時点で前記第１物体が前記第２物体と衝突した方向に前記把持部をへこませる、
請求項１に記載の力覚提示システム。

【請求項3】

前記制御部は、前記振動部により前記第１物体の材質及び前記第２物体の材質に応じた音の出力を開始させた時点から、前記第１物体の材質に応じた時間が経過した場合、前記第１物体が前記第２物体と衝突した方向に前記把持部をへこませる、
請求項２に記載の力覚提示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、力覚提示システム、力覚提示装置、及びプログラムに関する。

【背景技術】

【0002】

従来、例えば、ヘッドマウントディスプレイ（ＨＭＤ；Head Mounted Display）等を用いて、仮想空間上の物体（仮想物体）を表示するバーチャルリアリティ（ＶＲ；virtual reality）技術が知られている。また、仮想空間上の物体に対する接触感を振動等により提示する技術も知られている。

【0003】

また、ユーザの指の位置に応じて、ユーザの指に接触している棒を伸縮させ、仮想空間上の物体を把持している感覚を提示する技術が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－２１５７９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術では、例えば、ユーザが把持する物体が仮想的な物体と衝突したこと等の力覚をユーザが認識しにくい場合がある。開示の技術は、より適切にユーザに対して力覚を提示できる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

ユーザに力覚を提示する力覚提示装置と、前記力覚提示装置を制御する情報処理装置と、を有する力覚提示システムを提供する。前記情報処理装置は、仮想空間における第１物体の位置を制御し、前記仮想空間において前記力覚提示装置に対応付けられる第２物体の位置を制御する仮想空間制御部と、前記仮想空間において前記第１物体と前記第２物体とが衝突した場合、当該衝突に応じた制御情報を前記力覚提示装置に送信する送信部と、を有し、前記力覚提示装置は、前記第１物体との衝突に応じた制御信号を前記情報処理装置から受信する受信部と、前記受信部により受信された制御信号に基づいて、前記第１物体が前記第２物体と衝突した方向に、前記ユーザに把持される把持部をへこませる制御部と、前記力覚提示装置を振動させる振動部と、を有し、前記制御部は、第１時点で前記振動部の振動を開始させ、前記第１時点とは異なる第２時点で前記第１物体が前記第２物体と衝突した方向に前記把持部をへこませる制御を開始し、前記第１物体の材質及び前記第２物体の材質に応じて、前記第１時点と前記第２時点との時間差を異ならせる。

【発明の効果】

【0007】

開示の技術によれば、より適切にユーザに対して力覚を提示できる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る力覚提示システムの構成例を示す図である。

【図2A】実施形態に係る力覚提示装置の構成の一例（その一）について説明する図である。

【図2B】実施形態に係る力覚提示装置の構成の一例（その一）について説明する図である。

【図2C】実施形態に係る力覚提示装置の構成の一例（その一）について説明する図である。

【図3A】実施形態に係る力覚提示システムの機能ブロック図の一例を示す図である。

【図3B】実施形態に係る力覚提示システムの処理の一例を示すフローチャートである。

【図4A】実施形態に係る力覚提示システムの処理の一例について説明する図である。

【図4B】実施形態に係る力覚提示システムの処理の一例について説明する図である。

【図4C】実施形態に係る力覚提示システムの処理の一例について説明する図である。

【図5A】実施形態に係る力覚提示装置１０におけるへこみ、振動、及び音が提示されるタイミングの一例について説明する図である。

【図5B】実施形態に係る力覚提示装置１０におけるへこみ、振動、及び音が提示されるタイミングの一例について説明する図である。

【図6A】実施形態に係る力覚提示装置の構成の一例（その二）について説明する図である。

【図6B】実施形態に係る力覚提示装置の構成の一例（その二）について説明する図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら本発明の実施形態について説明する。

【0010】

＜システム構成＞
図１は、実施形態に係る力覚提示システム１の構成例を示す図である。図１において、力覚提示システム１は、力覚提示装置１０、情報処理装置２０、及び表示装置４０を有する。

【0011】

図１の例では、力覚提示装置１０と情報処理装置２０は、例えば、ＵＳＢ（Universal Serial Bus）のケーブル３０等により通信できるように接続されている。なお、力覚提示装置１０と情報処理装置２０との間を、例えば、ＢＬＥ（Bluetooth（登録商標） Low Energy）、または無線ＬＡＮ等の無線より通信できるように接続してもよい。

【0012】

力覚提示装置１０は、力覚提示装置１０の現在の２次元または３次元の位置を情報処理装置２０に通知する。なお、情報処理装置２０は、レーザやステレオカメラ等により、力覚提示装置１０の３次元位置を検出してもよい。また、力覚提示装置１０は、情報処理装置２０から受信した制御コマンドに従い、仮想空間における物体と衝突（接触）したことの力覚をユーザの指等に対して提示する。

【0013】

力覚提示装置１０は、例えば、ボール式のマウスと同様に、力覚提示装置１０がマウスパッド等の上を移動された際のトラックボールの回転に基づいて、力覚提示装置１０の水平面上の位置（２次元位置）を取得してもよい。または光学式のマウスと同様に、赤外線、レーザ、ＬＥＤ等で力覚提示装置１０の底面を照らし、力覚提示装置１０がマウスパッド等の上を移動された際の赤外線、レーザ、ＬＥＤ等の反射をカメラセンサで検知することにより、力覚提示装置１０の水平面上の位置を取得してもよい。

【0014】

力覚提示装置１０は、例えば、力覚提示装置１０の下部に設けられたカメラ等により、力覚提示装置１０の下に敷かれたパッドに記載された記号等を読み取り、読み取った記号等に基づいて、力覚提示装置１０の水平面上の位置（２次元位置）を取得してもよい。または、力覚提示装置１０は、例えば、各アームの接点のモータにより各アームの角度を検出し、予め設定されている各アームの長さと、各アームの角度とに基づいて、アームの先端等の位置を検出する３次元位置検出装置を用いて、力覚提示装置１０の３次元位置を取得してもよい。この場合、力覚提示装置１０は、３次元位置検出装置のアームの先端等に取り付けられてもよい。そして、３次元位置検出装置には、予め原点として設定されている所定の３次元位置に対する力覚提示装置１０の現在の３次元位置を検出し、力覚提示装置１０に出力してもよい。

【0015】

または、力覚提示装置１０は、カメラと加速度センサを有し、カメラの画像と加速度センサで検出した加速度とに基づいて、力覚提示装置１０の３次元位置を検出してもよい。

【0016】

情報処理装置２０は、例えば、パーソナルコンピュータ、スマートフォン、及びセットトップボックス等の情報処理装置である。情報処理装置２０は、力覚提示装置１０の現実の位置に応じて、仮想空間における力覚提示装置１０の位置に存在する物体と衝突したことの力覚をユーザに提示するための制御コマンドを力覚提示装置１０に送信する。

【0017】

なお、情報処理装置２０を力覚提示装置１０の内部に収容することにより、情報処理装置２０と力覚提示装置１０とを一体の装置として構成してもよい。この場合、情報処理装置２０として、例えば、組み込み用の小型コンピュータを用いてもよい。または、力覚提示装置１０の制御装置１９が、情報処理装置２０の機能を有するようにしてもよい。

【0018】

図１の例では、情報処理装置２０は、表示装置４０により仮想空間における各物体の画像を表示させながら、力覚提示装置１０により力覚をユーザに提示する。

【0019】

＜力覚提示装置１０の構成＞
次に、図２Ａから図２Ｃを参照し、実施形態に係る力覚提示装置１０の構成の一例について説明する。図２Ａから図２Ｃは、実施形態に係る力覚提示装置１０の構成の一例（その一）について説明する図である。

【0020】

図２Ａでは力覚提示装置１０を横から見た場合の図が示されており、図２Ｂでは力覚提示装置１０を上から見た場合の図が示されている。また、図２Ｃでは力覚提示装置１０を分解した状態での斜視図が示されている。なお、図２Ａから図２Ｃでは、説明のために、把持部１２を半透明にして図示している。

【0021】

図２Ａから図２Ｃの例では、力覚提示装置１０は、基台部（筐体）１１、及びユーザが把持する把持部１２を有している。図２Ａから図２Ｃの例では、基台部１１は円筒形の筐体であり、把持部１２は、例えば、弾性を有する塗料の層を表面に有し、スポンジの層を内面に有する球状のカバーである。把持部１２は、例えば、スポンジ等の柔らかくて弾性のある球の一部を水平に切断し、内部をくり抜くことにより形成されてもよい。また、把持部１２の表面には、例えば、ポリウレタン、シリコン等のゴム弾性を有する塗料が塗られてもよい。これにより、把持部１２がへこまされた後の復元力が強まるとともに、把持部１２の表面に汚れが付きにくくなる。また、へこまされる際に力が加わる部分が裂けることを低減することができる。

【0022】

図２Ａから図２Ｃの例では、基台部１１、及び把持部１２により覆われる力覚提示装置１０の内部には、振動部１３、駆動部１４、内部筐体１５、位置センサ１１１、及び制御装置１９等が設けられている。

【0023】

制御装置１９は、例えば、組み込み用の小型コンピュータ等であり、情報処理装置２０からの制御コマンドを受信し、受信した制御コマンドに基づいて、振動部１３、及び駆動部１４等の制御を行う。

【0024】

振動部１３は、例えば、入力される電気信号を振動に変換する振動変換装置（トランスデューサー）である。図２Ａから図２Ｃの例では、振動部１３は、例えば、スピーカにおいて空気を振動させる部品であるスピーカユニットと同様の機構により、電気信号を振動に変換することにより、振動及び音をユーザに提示する振動変換装置である。

【0025】

駆動部１４は、入力される電気信号を、把持部１２をへこませる物理的運動に変換するアクチュエータである。図２Ａから図２Ｃの例では、駆動部１４は、４つのサーボモータを有し、各サーボモータは、サーボホーン１６Ａから１６Ｄをそれぞれ回転させる。

【0026】

また、図２Ａから図２Ｃの例では、引き寄せ部１７Ａが、サーボホーン１６Ａの一端部１６Ａ１と、把持部１２の内側の接合点１８Ａとに接続されている。また、引き寄せ部１７Ｂが、サーボホーン１６Ａの他端部１６Ａ２と、把持部１２の内側の接合点１８Ｂとに接続されている。また、引き寄せ部１７Ｃが、サーボホーン１６Ｂの一端部１６Ｂ１と、把持部１２の内側の接合点１８Ｃとに接続されている。また、引き寄せ部１７Ｄが、サーボホーン１６Ｂの一端部１６Ｂ２と、把持部１２の内側の接合点１８Ｄとに接続されている。また、引き寄せ部１７Ｅが、サーボホーン１６Ｃの一端部１６Ｃ１と、把持部１２の内側の接合点１８Ｅとに接続されている。また、引き寄せ部１７Ｆが、サーボホーン１６Ｃの一端部１６Ｃ２と、把持部１２の内側の接合点１８Ｆとに接続されている。また、引き寄せ部１７Ｇが、サーボホーン１６Ｄの一端部１６Ｄ１と、把持部１２の内側の接合点１８Ｇとに接続されている。また、引き寄せ部１７Ｈが、サーボホーン１６Ｄの一端部１６Ｄ２と、把持部１２の内側の接合点１８Ｈとに接続されている。引き寄せ部１７Ａから引き寄せ部１７Ｈは、一端が引っ張られた場合には他端にも引っ張られる力を伝達し、一端が押し込まれた場合にはたわむ等により他端に力を伝達しない部材でもよい。引き寄せ部１７Ａから引き寄せ部１７Ｈは、例えば、糸（紐）、及び鎖等の形状の部材でもよい。一例としては、ナイロン製等の糸等でもよい。

【0027】

サーボホーン１６Ａの中心部１０４から一端部１６Ａ１までの長さ（サーボホーンの長さ）１０２をＷとし、サーボホーン１６Ａの回転角度１０３をθとし、接合点１８Ａの移動距離１０１をＤとすると、Ｄは、Ｄ≒｜Ｗ×ｓｉｎθ｜で近似することができる。なお、サーボホーン１６Ａの長手方向が中心部１０４に最も近い把持部１２の内側の点１０５と中心部１０４とを通る線に垂直な場合のサーボホーン１６Ａの回転角度を０度とする。

【0028】

図２Ｂに示すように、制御装置１９は、サーボホーン１６Ａをθ回転させて引き寄せ部１７Ａを引っ張ることにより、接合点１８Ａに対面する把持部１２の表面上の位置１８１（「第１部位」の一例。）を、距離Ｄだけへこませることができる。この場合、引き寄せ部１７Ｂはたわむだけであるため、接合点１８Ｂに対面する把持部１２の表面上の位置１８２は変化しない。また、制御装置１９は、サーボホーン１６Ａを－θ回転させて引き寄せ部１７Ｂを引っ張ることにより、接合点１８Ｂに対面する把持部１２の表面上の位置１８２（「第２部位」の一例。）を、距離Ｄだけへこませることができる。サーボホーン１６Ｂから１６Ｄについても同様である。

【0029】

内部筐体１５は、振動部１３、駆動部１４、内部筐体１５、及び制御装置１９等を収容する筐体である。内部筐体１５により、把持部１２がユーザに強く握られた場合等でも、駆動部１４等を保護することができる。

【0030】

位置センサ１１１は、例えば、力覚提示装置１０の３次元位置（x、y、z）と姿勢角（ロール、ピッチ、ヨー）を検出するセンサである。位置センサ１１１は、例えば、x、y、z方向の各加速度を計測する３つの加速度センサ、x、y、z方向の各角速度を計測する３つの角速度センサ、床面からの高さを計測するレーザセンサ、床面を撮影するカメラ等を含むハイブリッドセンサーでもよい。

【0031】

なお、力覚提示装置１０は、例えば、内蔵されたバッテリーから給電されてもよいし、ＵＳＢケーブル等により情報処理装置２０等の外部装置または電源コンセントから給電されてもよい。なお、把持部１２の形状は、図２Ａ等に示すような球状に限らず、板状、円筒形状等でもよい。また、サーボホーンの数等は、図２Ａ等の例に限定されない。

【0032】

＜力覚提示システム１の機能構成＞
次に、図３Ａを参照し、実施形態に係る力覚提示システム１の機能構成について説明する。図３Ａは、実施形態に係る力覚提示システム１の機能ブロック図の一例を示す図である。

【0033】

≪力覚提示装置１０の機能構成≫
図３Ａの例では、実施形態に係る力覚提示装置１０の制御装置１９は、位置検出部１９１、送受信部１９２、及び制御部１９３を有する。位置検出部１９１、送受信部１９２、及び制御部１９３の機能は、例えば、制御装置１９にインストールされた１以上のプログラムが、力覚提示装置１０のＣＰＵに実行させる処理により実現されてもよい。

【0034】

位置検出部１９１は、例えば、位置センサ１１１により測定されたデータに基づいて、力覚提示装置１０の位置を検出する。

【0035】

送受信部１９２は、情報処理装置２０とデータを送受信する。送受信部１９２は、例えば、位置検出部１９１により検出された力覚提示装置１０の位置情報を情報処理装置２０に送信する。また、送受信部１９２は、例えば、仮想空間上の物体と力覚提示装置１０との衝突に応じた制御信号を情報処理装置２０から受信する。

【0036】

制御部１９３は、送受信部１９２により受信された制御信号に基づいて、振動部１３を制御することにより、仮想空間上の第１物体と、力覚提示装置１０に対応する仮想空間上の第２物体（アバター）との衝突に応じた振動、及び音を発生させる。

【0037】

また、制御部１９３は、送受信部１９２により受信された制御信号に基づいて、駆動部１４を制御することにより、仮想空間上の第１物体が第２物体と衝突した方向（衝突した際に第１物体から第２物体を見た方向）に、把持部１２をへこませる。

【0038】

≪情報処理装置２０の機能構成≫
図３Ａの例では、実施形態に係る情報処理装置２０は、送受信部２１、及び仮想空間制御部２２を有する。送受信部２１、及び仮想空間制御部２２の機能は、例えば、情報処理装置２０にインストールされた１以上のプログラムが、情報処理装置２０のＣＰＵに実行させる処理により実現されてもよい。

【0039】

送受信部２１は、力覚提示装置１０とデータを送受信する。送受信部２１は、例えば、力覚提示装置１０の位置を示す情報を力覚提示装置１０から受信する。

【0040】

仮想空間制御部２２は、仮想空間における各物体の位置、移動、及び衝突を制御する。仮想空間制御部２２は、仮想空間において力覚提示装置１０に対応付けられる所定の物体（「第２物体」の一例）の位置を制御する。また、仮想空間制御部２２は、仮想空間において一の物体と当該所定の物体とが衝突した場合、当該衝突に応じた制御情報を送受信部２１により力覚提示装置１０に送信させる。

【0041】

＜処理＞
次に、図３Ｂから図５Ｂを参照し、力覚提示システム１の処理について説明する。図３Ｂは、実施形態に係る力覚提示システム１の処理の一例を示すフローチャートである。図４Ａから図４Ｃは、実施形態に係る力覚提示システム１の処理の一例について説明する図である。図５Ａ及び図５Ｂは、実施形態に係る力覚提示装置１０におけるへこみ、振動、及び音が提示されるタイミングの一例について説明する図である。

【0042】

ステップＳ１において、力覚提示装置１０の位置検出部１９１は、力覚提示装置１０の位置を検出する。続いて、ステップＳ２において、力覚提示装置１０の送受信部１９２は、力覚提示装置１０の位置情報を情報処理装置２０に送信する。

【0043】

続いて、ステップＳ３において、情報処理装置２０の仮想空間制御部２２は、力覚提示装置１０の位置情報に基づいて、仮想空間上の第２物体の位置を制御し、仮想空間上の第１物体と第２物体との衝突を検知する。なお、情報処理装置２０の仮想空間制御部２２は、力覚提示装置１０の現実空間における位置と無関係に、仮想空間上の第２物体の位置を制御するようにしてもよい。この場合、力覚提示装置１０は、位置センサ１１１を有しなくともよい。続いて、ステップＳ４において、情報処理装置２０の送受信部２１は、当該衝突に応じた制御情報を力覚提示装置１０に送信する。

【0044】

続いて、ステップＳ５において、力覚提示装置１０の制御部１９３は、送受信部１９２により受信された制御信号に基づいて、仮想空間上の第１物体が第２物体と衝突した方向に、把持部１２をへこませる。

【0045】

なお、情報処理装置２０は、仮想空間上の第１物体と第２物体との画像を、表示装置４０に表示させてもよい。図４Ａの例では、表示装置４０に表示されている仮想空間の表示画面４０１において、物体４０４Ａ（「第１物体」の一例。）、物体４０４Ｂ、力覚提示装置１０の移動に応じて移動する物体４０２（「第２物体」の一例。）が示されている。

【0046】

図４Ｂのように、ユーザが、手４５１で力覚提示装置１０を把持し、ユーザの前方の方向４５２に力覚提示装置１０を移動させた場合、仮想空間制御部２２は、物体４０２の位置を表示画面４０１の上方向４０３に移動させる。そして、仮想空間制御部２２は、図４Ａに示すように、物体４０２と物体４０４Ａとが仮想空間上で衝突した場合、図３ＢのステップＳ４の処理で、図４Ａに示すベクトル４０５の方向である、物体４０４Ａが物体４０２と衝突した方向に、力覚提示装置１０を振動させるとともにへこませる制御信号を送信する。これにより、ユーザは、力覚提示装置１０がどの方向からどのくらいの力で衝突されたかを認識することができる。また、ユーザは、この衝突により、力覚提示装置１０がベクトル４０５の方向に移動していくことを認識することができる。これにより、例えば、バレーボールの試合の映像を表示しながら、バレーボールのボールがどの方向からどのくらいの力で競技者により叩かれたか等の力覚を、当該ボールをアバターとする力覚提示装置１０によりユーザに提示することができる。

【0047】

ここで、仮想空間制御部２２は、例えば、物体４０４Ａの位置、移動方向、移動速度、材質、及び質量と、物体４０２の位置、移動方向、移動速度、材質、及び質量とに基づいて、衝突により物体４０２が受ける力のベクトル４０５を算出してもよい。なお、物体４０４Ａの材質、及び質量と、物体４０２の材質、及び質量とは、予め設定されていてもよい。

【0048】

また、仮想空間制御部２２は、例えば、物体４０４Ａの位置、及び形状と、物体４０２の位置、及び形状とに基づいて、衝突により物体４０２が力を受ける部位（衝突部位、衝突箇所）を算出してもよい。なお、物体４０４Ａの形状と、物体４０２の形状とは、予め設定されていてもよい。

【0049】

そして、図３ＢのステップＳ５の処理で、力覚提示装置１０の制御部１９３は、図４Ｃに示すように、受信した制御信号に基づいて、仮想空間上の第１物体が第２物体と衝突した方向４６２に、第１物体が第２物体と衝突した部位に対応する把持部１２の部位４６１をへこませる。

【0050】

また、図３ＢのステップＳ５の処理で、制御部１９３は、受信した制御信号に基づいて、振動部１３を制御することにより、第１物体と第２物体との衝突に応じた振動、及び音を発生させる。制御部１９３は、振動部１３の振動を開始させる第１時点を、第１物体が第２物体と衝突した方向に把持部１２をへこませる制御を開始する第２時点とは異なる時点としてもよい。この場合、制御部１９３は、振動部１３の振動を開始させた後、第１物体が第２物体と衝突した方向に把持部１２をへこませる制御を開始してもよい。これにより、把持部１２の振動が開始されるタイミングと、把持部１２のへこみが開始されるタイミングがずれるため、振動の開始による力覚とへこみの開始による力覚とがユーザに混同されにくくなる等により、ユーザにへこむ感触を知覚させ易くすることができる。

【0051】

または、制御部１９３は、第１物体が第２物体と衝突した方向に把持部１２をへこませる制御を開始した後、振動部１３の振動を開始させてもよい。この場合、へこみが開始される第２時点は振動が開始される第１時点よりも早い時点となる。これにより、把持部１２の振動が開始されるタイミングと、把持部１２のへこみが開始されるタイミングがずれるため、振動の開始による力覚とへこみの開始による力覚とがユーザに混同されにくくなる等により、ユーザにへこむ感触を知覚させ易くすることができる。

【0052】

力覚提示装置１０の制御部１９３は、第１物体の材質と第２物体の材質とに応じた音を出力させる電気信号を、第１物体と第２物体との衝突の力の大きさに応じた振幅で、第１物体の材質と第２物体の材質と第１物体と第２物体との衝突の力の大きさとに応じた時間、振動部１３に出力する。制御部１９３は、例えば、第１物体の材質と第２物体の材質とが金属等の硬い材質であれば、高い周波数の音を振動部１３に出力させる。

【0053】

図５Ａ、及び図５Ｂでは、制御部１９３は、振動部１３の振動を開始させた後、第１物体が第２物体と衝突した方向に把持部１２をへこませる制御を開始する場合の例について説明する。制御部１９３は、図５Ｂの例では、第１物体が第２物体と衝突した時点ｔ_１から、当該時間（例えば、５００ｍｓ）が経過した時点ｔ_４まで、音を出力させる電気信号５１３を出力している。

【0054】

また、制御部１９３は、第１物体の材質と第２物体の材質とに応じた時間（遅延時間）が経過した後、第１物体と第２物体との衝突の力の大きさに応じた量だけ把持部１２をへこませる電気信号を駆動部１４のサーボモータに出力する。なお、制御部１９３は、情報処理装置２０から受信した制御信号に基づいて、駆動部１４の各サーボモータのうち、衝突した部位に対応するサーボモータを決定し、決定したサーボモータに当該電気信号を出力する。

【0055】

制御部１９３は、例えば、第１物体の材質と第２物体の材質とが金属等の硬い材質であれば、柔らかい材質の場合よりも当該遅延時間を短くする。これにより、材質に応じた衝突の力覚を提示できる。なお、制御部１９３は、第１物体が第２物体と衝突した方向に把持部１２をへこませた後で振動部１３の振動を開始させる場合も、同様に、材質に応じた遅延時間を算出し、へこませる制御を開始した後、当該遅延時間が経過した後、振動を開始させればよい。

【0056】

また、制御部１９３は、例えば、第１物体の材質と第２物体の材質とが金属等の硬い材質であれば、柔らかい材質の場合よりも短時間で把持部１２をへこませる電気信号を出力する。これにより、より適切にユーザに対して衝突の力覚を提示できる。

【0057】

制御部１９３は、図５Ａの例では、時点ｔ_１よりも当該遅延時間（例えば、１００ｍｓ）後の時点ｔ_２から第１物体と第２物体との衝突の力の大きさに応じた時間が経過する時点ｔ_３までの間、所定の電圧５０１のパルス幅変調（ＰＷＭ、Pulse Width Modulation）の電気信号５０２を出力している。

【0058】

第２物体が、例えば、ボール競技（例えば、バレーボール等）のボールのような復元力のある物体の場合、制御部１９３は、図５Ａの時点ｔ_３以降の時点において、電気信号５０２とは逆の波形の電気信号を駆動部１４のサーボモータに出力し、サーボホーンの位置を元に戻してもよい。これにより、把持部１２のスポンジ等の復元力により、へこんでいた箇所が元に戻される。

【0059】

制御部１９３は、接合点１８Ａから接合点１８Ｈのうち、ユーザの指で把持される位置に対応する接合点と、ユーザの手のひらで把持される位置に対応する接合点とで、へこませる速度及び量を変化させてもよい。

【0060】

例えば、把持部１２の表面に張られたシールの表記に基づき、ユーザは、接合点１８Ａから接合点１８Ｅにそれぞれ対面する把持部１２の表面上の５か所の各位置を各指で把持し、接合点１８Ｆから接合点１８Ｈにそれぞれ対面する把持部１２の表面上の３か所の各位置を手のひらで把持する。

【0061】

この場合、制御部１９３は、第２物体が第１物体と衝突した位置に対応する把持部１２における第１位置がユーザの指により接触される位置である場合は、接合点１８Ａから接合点１８Ｅのうち当該位置に対応する接合点を第１速度で第１量だけ第１物体が第２物体と衝突した方向にへこませる。

【0062】

また、制御部１９３は、当該衝突した位置に対応する把持部１２における位置がユーザの手のひらにより接触される第２位置である場合、接合点１８Ｆから接合点１８Ｈのうち当該位置に対応する接合点を第１速度よりも速い第２速度（例えば、第１速度の２倍の速度）で、第１量よりも多い第２量（例えば、第１量の２倍の量）だけ第１物体が前記第２物体と衝突した方向にへこませる。これにより、手のひらが当たっている部位をへこませる場合、指が当たっている部位をへこませる場合と比較して、より速く、より大きく把持部１２をへこませるため、指と比較して感覚が鈍い手のひらが当たっている部位でも適切に力覚を提示することができる。

【0063】

＜駆動部１４の変形例＞
駆動部１４は、図２Ａから図２Ｃに示した構成の代わりに、図６Ａ及び図６Ｂに示す構成としてもよい。図６Ａ及び図６Ｂは、実施形態に係る力覚提示装置１０の構成の一例（その二）について説明する図である。

【0064】

図６Ａ及び図６Ｂの例では、駆動部１４は、サーボモータ６０１、及びサーボモータ６０３を有する。サーボモータ６０１は、サーボモータ６０３が載置された台６０２を水平面上で回転させる。サーボモータ６０３は、鉛直方向から、水平面上の一方向にサーボホーン６０４を倒す。

【0065】

また、引き寄せ部６０５が、サーボホーン６０４の先端部と、把持部１２の内側の接合点６０６とに接続されている。引き寄せ部６０５は、例えば、一定の剛性を有する棒状の部材でもよい。

【0066】

引き寄せ部６０５は、接合点６０６において、把持部１２の内側に設置されたレール６０７上を移動する第１滑車にボールジョイントされている。

【0067】

図６Ａに示すように、制御装置１９は、サーボホーン６０４を当該一方向に倒させることにより、接合点６０６に対面する把持部１２の表面上の位置をへこませることができる。

【0068】

図６Ｂに示すように、サーボモータ６０１によりサーボモータ６０３が載置された台６０２が水平面上で回転されると、接合点６０６がレール６０７上で移動する。サーボモータ６０１により台６０２が水平面上で回転させ、台６０２に載置されたサーボモータ６０３を動作させることにより、制御装置１９は、レール６０７上の各位置に対面する把持部１２の表面上の位置をへこませることができる。

【0069】

＜変形例＞
力覚提示装置１０の制御装置１９、及び情報処理装置２０は、例えば複数のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、情報処理装置２０における処理の少なくとも一部を、力覚提示装置１０の制御装置１９にて実行させるようにしてもよい。

【0070】

＜実施形態のまとめ＞
従来、例えば、バーチャルリアリティ技術の進展により、視覚（映像）、及び聴覚（音声）に加え、触力覚にも情報を提示する技術が注目されている。従来、仮想的な物体と接触した感覚を提示できる様々な手法が提案され、提案された手法の引用文献粒例えば、ビデオゲーム機のコントローラ等のユーザインターフェースとして実用化されている。

【0071】

仮想的な物体と接触した感覚を提示できる手法として、例えば、ユーザの手や指に振動を提示することにより擬似的に力を感じさせる手法、及びモータ等のアクチュエータを用いて物理的に反力を提示する手法等がある。

【0072】

上述した実施形態によれば、仮想的な第１物体と、ユーザに把持される力覚提示装置１０に対応する第２物体とが仮想空間上で衝突した際、第１物体が第２物体と衝突した方向に、力覚提示装置１０の把持部１２をへこませる。これにより、例えば、衝突した位置及び方向をユーザに認識させることができる。

【0073】

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

【符号の説明】

【0074】

１ 力覚提示システム
１０ 力覚提示装置
１１ 基台部
１２ 把持部
１３ 振動部
１４ 駆動部
１５ 内部筐体
１６Ａ サーボホーン
１６Ｂ サーボホーン
１６Ｃ サーボホーン
１６Ｄ サーボホーン
１１１ 位置センサ
１９ 制御装置
１９１ 位置検出部
１９２ 送受信部
１９３ 制御部
２０ 情報処理装置
２１ 送受信部
２２ 仮想空間制御部

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図6A】

【図6B】