特開 2024-137188 仮想オブジェクト触覚提示システム、視覚提示装置、仮想オブジェクト触覚提示方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024137188

(43)【公開日】2024-10-07

(54)【発明の名称】仮想オブジェクト触覚提示システム、視覚提示装置、仮想オブジェクト触覚提示方法、及びコンピュータプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240927BHJP

   A63F 13/285 20140101ALI20240927BHJP

【ＦＩ】

G06F3/01 560

G06F3/01 510

A63F13/285

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023048608

(22)【出願日】2023-03-24

(71)【出願人】

【識別番号】000142595

【氏名又は名称】株式会社栗本鐵工所

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】赤岩 修一

(72)【発明者】

【氏名】木野井 慶介

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA08

5E555AA76

5E555BA04

5E555BA20

5E555BA38

5E555BB04

5E555BB20

5E555BB38

5E555BE17

5E555CC26

5E555DA24

5E555FA00

(57)【要約】

【課題】触覚提示を行う触覚提示装置の押し込み量を定量的に表示することができる仮想オブジェクト触覚提示システムを提供する。
【解決手段】仮想オブジェクト触覚提示システムは、仮想オブジェクトを視覚的及び触覚的に提示する視覚提示装置及び触覚提示装置を備える。触覚提示装置は、ユーザの操作によって変位可能に設けられ、仮想オブジェクトを触覚的に提示するための力覚を生じさせる変位部と、変位部の変位量を検出する変位センサと、検出された変位量を前記視覚提示装置へ送信する通信部とを備える。視覚提示装置は、触覚提示装置から送信された変位量を受信する通信部と、通信部にて受信した変位量を定量的に表示する処理を実行する処理部とを備える。
【選択図】図８

【特許請求の範囲】

【請求項1】

仮想オブジェクトを視覚的に提示する視覚提示装置と、前記仮想オブジェクトを触覚的に提示する触覚提示装置とを備える仮想オブジェクト触覚提示システムであって、
前記触覚提示装置は、
ユーザの操作によって変位可能に設けられ、仮想オブジェクトを触覚的に提示するための力覚を生じさせる変位部と、
該変位部の変位量を検出する変位センサと、
検出された前記変位部の変位量を前記視覚提示装置へ送信する通信部と
を備え、
前記視覚提示装置は、
前記触覚提示装置から送信された変位量を受信する通信部と、
該通信部にて受信した変位量を定量的に表示する処理を実行する処理部と
を備える仮想オブジェクト触覚提示システム。

【請求項2】

前記処理部は、
前記仮想オブジェクトの画像を表示し、前記通信部にて受信した変位量に応じて、前記仮想オブジェクトの画像を変更すると共に、前記変位量を定量的に表示する
請求項１に記載の仮想オブジェクト触覚提示システム。

【請求項3】

前記処理部は、
前記変位部の変位量を、数値又はゲージ画像にて表示する
請求項１又は請求項２に記載の仮想オブジェクト触覚提示システム。

【請求項4】

前記処理部は、
前記変位部の所定位置をゼロとして、前記変位部の変位量を定量的に表示する
請求項１又は請求項２に記載の仮想オブジェクト触覚提示システム。

【請求項5】

前記処理部は、
前記触覚提示装置が触覚提示を開始する位置をゼロとして、前記変位部の変位量を定量的に表示する
請求項１又は請求項２に記載の仮想オブジェクト触覚提示システム。

【請求項6】

前記処理部は、
前記仮想オブジェクトの画像と、前記変位部の位置に対応する指画像とを表示し、受信した変位量に応じて前記オブジェクトの画像に対する前記指画像の位置を変更するようにしてあり、
前記オブジェクトの画像に対して、前記指画像が接触した位置をゼロとして、前記変位部の変位量を定量的に表示する
請求項１又は請求項２に記載の仮想オブジェクト触覚提示システム。

【請求項7】

仮想オブジェクトを視覚的に提示する視覚提示装置であって、
ユーザの操作によって変位可能に設けられ、仮想オブジェクトを触覚的に提示するための力覚を生じさせる変位部と、該変位部の変位量を検出する変位センサとを備える触覚提示装置から送信された前記変位部の変位量を受信する通信部と、
該通信部にて受信した変位量を定量的に表示する処理を実行する処理部と
を備える視覚提示装置。

【請求項8】

ユーザの操作によって変位可能に設けられ、仮想オブジェクトを触覚的に提示するための力覚を生じさせる変位部とを備える触覚提示装置と、仮想オブジェクトを視覚的に提示する視覚提示装置とを用いて、前記仮想オブジェクトを視覚的及び触覚的に提示する仮想オブジェクト触覚提示方法であって、
前記触覚提示装置の前記変位部の変位量を検出し、
前記視覚提示装置は、
検出された前記変位部の変位量を定量的に表示する
仮想オブジェクト触覚提示方法。

【請求項9】

仮想オブジェクトを視覚的に提示する視覚提示装置の動作を制御するためのコンピュータプログラムであって、
ユーザの操作によって変位可能に設けられ、仮想オブジェクトを触覚的に提示するための力覚を生じさせる変位部と、該変位部の変位量を検出する変位センサとを備える触覚提示装置から送信された前記変位部の変位量を受信し、
受信した変位量を定量的に表示する
処理を前記視覚提示装置に実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想オブジェクト触覚提示システム、視覚提示装置、仮想オブジェクト触覚提示方法、及びコンピュータプログラムに関する。

【背景技術】

【0002】

触覚を提示する技術（ハプティクス）が種々提案されている。発明者らは、磁気粘性流体に対する知見に基づいて、ユーザが操作可能であって、対象物によって異なる感触を再現する触覚提示装置を提案した（特許文献１等）。特許文献２には、触覚提示装置による触覚提示と、視覚提示（画像出力）とを合わせて出力するシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６９０６２７５号

【特許文献2】特開２０２０－１３０６３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の目的は、触覚提示を行う触覚提示装置の押し込み量を定量的に表示することができる仮想オブジェクト触覚提示システム、視覚提示装置、仮想オブジェクト触覚提示方法、及びコンピュータプログラムを提供することにある。

【課題を解決するための手段】

【0005】

本開示の一側面に係る仮想オブジェクト触覚提示システムは、仮想オブジェクトを視覚的に提示する視覚提示装置と、前記仮想オブジェクトを触覚的に提示する触覚提示装置とを備える仮想オブジェクト触覚提示システムであって、前記触覚提示装置は、ユーザの操作によって変位可能に設けられ、仮想オブジェクトを触覚的に提示するための力覚を生じさせる変位部と、該変位部の変位量を検出する変位センサと、検出された前記変位部の変位量を前記視覚提示装置へ送信する通信部とを備え、前記視覚提示装置は、前記触覚提示装置から送信された変位量を受信する通信部と、該通信部にて受信した変位量を定量的に表示する処理を実行する処理部とを備える。

【0006】

本開示の一側面に係る視覚提示装置は、仮想オブジェクトを視覚的に提示する視覚提示装置であって、ユーザの操作によって変位可能に設けられ、仮想オブジェクトを触覚的に提示するための力覚を生じさせる変位部と、該変位部の変位量を検出する変位センサとを備える触覚提示装置から送信された前記変位部の変位量を受信する通信部と、該通信部にて受信した変位量を定量的に表示する処理を実行する処理部とを備える。

【0007】

本開示の一側面に係る仮想オブジェクト触覚提示方法は、ユーザの操作によって変位可能に設けられ、仮想オブジェクトを触覚的に提示するための力覚を生じさせる変位部とを備える触覚提示装置と、仮想オブジェクトを視覚的に提示する視覚提示装置とを用いて、前記仮想オブジェクトを視覚的及び触覚的に提示する仮想オブジェクト触覚提示方法であって、前記触覚提示装置の前記変位部の変位量を検出し、前記視覚提示装置は、検出された前記変位部の変位量を定量的に表示する。

【0008】

本開示の一側面に係るコンピュータプログラムは、仮想オブジェクトを視覚的に提示する視覚提示装置の動作を制御するためのコンピュータプログラムであって、ユーザの操作によって変位可能に設けられ、仮想オブジェクトを触覚的に提示するための力覚を生じさせる変位部と、該変位部の変位量を検出する変位センサとを備える触覚提示装置から送信された前記変位部の変位量を受信し、受信した変位量を定量的に表示する処理を前記視覚提示装置に実行させる。

【発明の効果】

【0009】

本開示によれば、触覚提示を行う触覚提示装置の押し込み量を定量的に表示することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態１におけるゲームシステムを示す模式図である。

【図2】視覚提示装置の内部構成を示すブロック図である。

【図3】感覚ＤＢの内容例を示す説明図である。

【図4】触覚提示装置の構成を示すブロック図である。

【図5】サーバ装置の内部構成を示すブロック図である。

【図6】実施形態１に係る触覚提示の処理手順を示すフローチャートである。

【図7】実施形態１に係る触覚提示の処理手順を示すフローチャートである。

【図8】ゲーム画面の第１の例を示す図である。

【図9】ゲーム画面の第２の例を示す図である。

【図10】ゲーム画面の第３の例を示す図である。

【図11】実施形態２に係る触覚提示の処理手順を示すフローチャートである。

【図12】実施形態３に係る触覚提示の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0011】

本開示の実施形態に係る仮想オブジェクト触覚提示システム、視覚提示装置、仮想オブジェクト触覚提示方法、及びコンピュータプログラムを、以下に図面を参照しつつ説明する。以下の実施形態では、本実施形態に係る仮想オブジェクト触覚提示システムを適用したゲームシステムについて説明する。なお、本開示はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。

【0012】

（実施形態１）
図１は、本実施形態１におけるゲームシステム１００を示す模式図である。ゲームシステム１００は、情報処理装置である視覚提示装置１と、触覚提示装置２と、サーバ装置３とを含む。視覚提示装置１と、触覚提示装置２とは近距離無線通信で通信接続され、相互にデータを授受する。視覚提示装置１と、サーバ装置３とは、ネットワークＮを介して相互にデータを送受信する。ネットワークＮは、インターネットＮ１、キャリアネットワークＮ２、基地局ＢＳ、及びアクセスポイントＡＰを含む。

【0013】

視覚提示装置１は、仮想オブジェクトであるキャラクタＣを視覚的に提示する装置である。また、視覚提示装置１は、キャラクタＣを聴覚的に提示する機能も有する。視覚提示装置１は、例えば表示部１４及び音声出力部１５を有するスマートフォンである。視覚提示装置１は、スマートフォンに限られず、タブレット端末、ラップトップ型のＰＣ（Personal Computer）、ゲーム専用機器などであってもよい。視覚提示装置１は、触覚提示装置２と一体化されたゲーム専用機器、すなわちコントローラ部分に触覚提示装置２を含むゲーム機であってもよい。なお、視覚提示装置１と、表示部１４及び音声出力部１５とは、別体の構成であってもよい。また、以下の説明において、視覚提示装置１は１台のコンピュータ又はスマートフォンとして説明するが、複数台のコンピュータをネットワークＮで通信接続して分散処理させる態様であってもよい。

【0014】

触覚提示装置２は、ユーザが指を変位部２０２に沿えて持ちながら指を動かして操作できる装置である。触覚提示装置２は、ユーザが指を動かすことで変位する変位部２０２の位置を読み取り、内蔵するＭＲＦ（Magneto-Rheological Fluid）デバイス（駆動デバイス）２４をその位置に応じて制御してユーザの変位部２０２への操作に対する反力（回転抵抗）により力覚を生じさせ、触覚を提示する装置である。触覚提示装置２の変位部２０２態様は、図１に示すようなものに限られず、ボタンであってもよいし、スティック状であってもよいし、カバーに覆われたクッション状のものであってもよい。触覚提示装置２は、ＭＲＦデバイス２４に代えて、モータ、ピエゾ素子、超音波発振器などを採用し、ユーザの操作に対し回転力や振動により力覚を生じさせるアクティブ型の触覚提示装置であってもよく、変位部２０２の他、振動や温感、冷感、電気刺激を提示するものと組み合わされてもよい。アクティブ型と、本願のようなパッシブ型の触覚提示装置を組み合わせてもよい。地面や壁、その他の任意の構造物に設置し、ユーザの手のひらや足等で操作される構造でもよい。

【0015】

ゲームシステム１００では、ゲームアプリケーションプログラム（以下、ゲームアプリＰ１という）をインストールした視覚提示装置１が、サーバ装置３と通信してゲームを実行可能とする。視覚提示装置１は、サーバ装置３のコンテンツデータベース（ＤＢ：Data Base ）３１１から、ゲームコンテンツをネットワークＮ経由で取得する。ゲームコンテンツは、ゲームのキャラクタＣである仮想オブジェクトを視覚的、聴覚的及び触覚的に提示するための視覚データ、聴覚データ、触覚データを含む。視覚提示装置１は、取得したゲームコンテンツに含まれる視覚データに基づき、内蔵する表示部１４にキャラクタＣの画像を表示する（視覚的に提示する）。また、視覚提示装置１は、取得したゲームコンテンツに含まれる聴覚データに基づき、音声出力部１５からキャラクタＣの音声及び効果音を出力する（聴覚的に提示する）。更に、視覚提示装置１は、取得したゲームコンテンツに含まれる触覚データを触覚提示装置２へ送信し、キャラクタＣを触覚的に提示する。
より具体的には図１に示すように、視覚提示装置１は表示部１４にキャラクタＣを表示させる。ユーザが触覚提示装置２の変位部２０２を指で押し込むと、キャラクタＣの種類に応じた触覚が生じる。表示中のキャラクタＣの画像は、変位部２０２の操作及び触覚提示とともに変化し、変化に応じた音声又は効果音が音声出力部１５から出力される。

【0016】

ゲームシステム１００では、操作するキャラクタＣが登場するゲームコンテンツを選択することができる。視覚提示装置１は、選択されたキャラクタＣに応じた触覚を触覚提示装置２によって提示する。また、視覚提示装置１は変位部２０２における変位に応じて画像及び音声を変更して出力する。視覚提示装置１は、ゲームシナリオに応じた触覚提示装置２の操作に従って、所定のゲームポイントを加算させたり、抽選（いわゆるガチャ）を実行したりしてゲームを進行させる。

【0017】

図２は、視覚提示装置１の内部構成を示すブロック図である。視覚提示装置１は、処理部１０、記憶部１１、第１通信部１２、第２通信部１３、表示部１４、音声出力部１５、及び操作部１６を備える。処理部１０は、ＣＰＵ（Central Processing Unit ）及び／又はＧＰＵ（Graphics Processing Unit）を用いたプロセッサである。処理部１０は、記憶部１１が記憶するゲームアプリＰ１に基づき、ゲームに係る処理を実行する。

【0018】

記憶部１１は、例えばフラッシュメモリ、ＳＳＤ等の不揮発性メモリである。記憶部１１は、ゲームアプリＰ１と、後述の感覚ＤＢ１１０と、その他、処理部１０が参照するデータとを記憶する。ゲームアプリＰ１は、記憶媒体８に記憶されているゲームアプリＰ８を処理部１０が読み出して記憶部１１に複製したものであってもよい。ゲームアプリＰ１は、第１通信部１２を介してサーバ装置３又は他のプログラムサーバ装置からダウンロードして実行可能に記憶したものである。

【0019】

記憶部１１は、ゲームアプリＰ１のユーザＩＤ（触覚提示装置２のユーザを識別するＩＤ）を記憶する。記憶部１１は、ユーザＩＤに対応付けて、ユーザがゲームアプリＰ１上で所有しているキャラクタＣ又はアイテム等を識別するコンテンツＩＤ及び個数を記憶する。記憶部１１に記憶されているユーザＩＤとコンテンツＩＤ及び個数との関係は、サーバ装置３においてユーザＩＤに対応付けて記憶されているコンテンツＩＤ及び個数と同一の内容である。

【0020】

記憶部１１は、キャラクタＣに応じた触覚データ、視覚（画像、動画、テキスト）データ、及び聴覚（音声、効果音）データを格納した感覚ＤＢ１１０を記憶するストレージである。感覚ＤＢ１１０は、これらのデータを、逐次、サーバ装置３のコンテンツＤＢ３１１からキャラクタＣ毎に取得するものであってもよいし、予め記憶されているものであってよい。

【0021】

第１通信部１２は、インターネットＮ１又はキャリアネットワークＮ２を含むネットワークＮを介したサーバ装置３との通信を実現する通信回路を含む。第１通信部１２は具体的には、キャリアネットワークＮ２と接続する無線通信デバイスであってもよいし、ＷｉＦｉ用の無線通信デバイスであってもよい。処理部１０は、第１通信部１２によってサーバ装置３との間でデータを送受信する。

【0022】

第２通信部１３は、近距離無線通信、例えばBluetooth（登録商標）の通信モジュールである。通信モジュールは通信回路を含む。処理部１０は、第２通信部１３によって触覚提示装置２との間でデータを送受信する。

【0023】

表示部１４は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイである。表示部１４は例えば、タッチパネル内蔵型ディスプレイである。処理部１０は表示部１４に、ゲームアプリＰ１に基づき、記憶部１１が記憶するゲームコンテンツ、又は、サーバ装置３から提供される画像、テキスト等のゲームコンテンツを表示する。なお、スマートフォンのディスプレイを例示したが、表示部１４は、スクリーンへの投影、ユーザへの網膜投影、虚像投影などを行う投影装置であってもよい。

【0024】

音声出力部１５は、スピーカ等を含む。処理部１０は、ゲームアプリＰ１に基づき、記憶部１１が記憶するゲームコンテンツ、又は、サーバ装置３から提供されるゲームコンテンツに含まれる聴覚データに応じた音声、音楽等を音声出力部１５から出力させる。

【0025】

操作部１６は、ユーザによる操作情報を処理部１０に与えるためのユーザインタフェースである。操作部１６は、例えば表示部１４に内蔵されたタッチパネルである。操作部１６は、物理ボタンであってもよい。操作部１６は、音声入力部と兼用であってもよい。

【0026】

図３は、感覚ＤＢ１１０の内容例を示す説明図である。感覚ＤＢ１１０は、触覚データテーブルと、視覚データ及び聴覚データを記憶する。

【0027】

感覚ＤＢ１１０は、コンテンツの種類によって異なる複数の触覚データテーブルをコンテンツＩＤに対応付けて記憶する。触覚データテーブルは、触覚データとして、変位部２０２の変位量（角度）と、触覚提示装置２のＭＲＦデバイス２４に供給する電流の値とを対応付けて格納している。

【0028】

感覚ＤＢ１１０は、コンテンツの種類によって異なるキャラクタＣの画像又は動画（フレーム画像）等の画像データを、視覚データとしてコンテンツＩＤに対応付けて格納している。感覚ＤＢ１１０は、一つのコンテンツＩＤに対応付けて、パターンα、パターンβ、…と異なる複数パターンの視覚データを格納してもよい。図３に示す例では、パターンαの視覚データは、変位部２０２の変位量によって画像が変化しない画像データである。パターンβの視覚データは、変位部２０２の変位量に応じて画像が変化する画像データである。パターンβの視覚データは、変位部２０２の複数の変位量（角度）にそれぞれ対応付けられた、複数の画像データを含む。パターンα、パターンβ、及びその他のパターンの視覚データは、ランダムに選択されてもよいし、ゲームのシナリオ及び状況に応じて選択されてもよい。

【0029】

感覚ＤＢ１１０は、コンテンツの種類によって異なるキャラクタＣの音声又は効果音の音声データを、聴覚データとしてコンテンツＩＤに対応付けて格納している。感覚ＤＢ１１０は、一つのコンテンツＩＤに対応付けて、パターンα、パターンβ、…と異なる複数パターンの聴覚データを格納してもよい。図３に示す例では、パターンαの聴覚データは、変位部２０２の変位量によって音声が変化しない音声データである。パターンβの聴覚データは、変位部２０２の変位量に応じて音声が変化する音声データである。パターンβの聴覚データは、変位部２０２の複数の変位量（角度）にそれぞれ対応付けられた、複数の音声データを含む。

【0030】

図４は、触覚提示装置２の構成を示すブロック図である。触覚提示装置２は、図１に示すようにユーザによって把持及び操作される把持体２０１と、変位部２０２と、結束具２０３と、リンク機構２０４と、図４に示す制御部２０と、触覚データ記憶部２１と、通信部２２と、電源部２３と、ＭＲＦデバイス２４と、変位センサ２５とを備える。なお、図２に示す制御部２０、電源部２３等の制御及び給電に係る回路は、把持体２０１と一体的に構成してもよいし、別体で構成して有線又は無線で接続してもよい。

【0031】

把持体２０１は、ユーザが人差し指及び親指で挟持可能な偏平形状をなす筐体を有する。筐体は、例えば中空円板状部分を有し、磁気粘性流体と、回転軸を有するロータとを収納している。ロータは円板状の部材であり、磁気粘性流体で満たされた筐体の内部で回転する。ロータは、磁気粘性流体による回転抵抗力を受ける。また、把持体２０１には、磁気粘性流体に磁場を印加するための電磁石（不図示）が設けられており、電磁石は、磁気粘性流体及びロータ等とともにＭＲＦデバイス２４を構成している。具体的には、電磁石は、すき間を空けて円板状のロータを挟むように配されたヨークと、ヨークに設けられたコイルとを有する。コイルに電流が流れると磁界が発生し、磁気粘性流体の粘度（ずり応力）が変化し、回転軸に加わる回転抵抗力が与えられる。

【0032】

変位部２０２は、筐体の周面に沿うように湾曲した帯状の部材である。変位部２０２はユーザに力覚を与えるための部材である。変位部２０２は、それ自体がたわむことが可能な素材であるが、剛性の高い素材で形成されている。変位部２０２の基端部は、変位部２０２の先端部が筐体から接離する方向に移動することができるように、支軸によって筐体の周面に回動可能に支持されている。変位部２０２の先端部外側の面には、ユーザの指を結束するための結束具２０３が設けられている。結束具２０３はリングをなす帯状の部材、例えば布テープである。変位部２０２には、その表面にシリコンラバーや毛並みを持つもの等、多様な感触を加えた素材等が取り付けられていてもよい。変位部２０２の先端部と、ロータの回転軸とは、リンク機構２０４によって連結している。リンク機構２０４は、筐体に対して接近又は離反する変位部２０２の運動を、回転軸の回転運動に変換して伝達する機構である。

【0033】

ユーザは図１に示したように、把持体２０１を例えば親指と中指とで把持しつつ、人差し指等の指を変位部２０２に沿わせて結束具２０３に人差し指を差し込んで使用する。ユーザは人差し指を押し込むように変位部２０２を動かすことができ、また、人差し指を伸ばして把持体２０１から変位部２０２を遠ざけるように動かすことができる。触覚提示装置２が大型の場合、把持体２０１を地面や壁、その他の任意の構造物に設置してもよい。ユーザは把持体２０１を把持せず、変位部２０２を足や手のひらで押し込む。また、触覚提示装置２の大きさにかかわらず、把持体２０１を地面や壁、その他の任意の構造物に設置してもよい。

【0034】

制御部２０は、ＣＰＵ、ＭＰＵ（Micro-Processing Unit ）等の制御プロセッサ２０ａ、ＲＯＭ（Read Only Memory）２０ｂ、ＲＡＭ（Random Access Memory）２０ｃ等のメモリ、及びＩ／Ｏ２０ｄを含む。制御部２０は、例えばマイクロコントローラである。制御部２０は、ＲＯＭ２０ｂに記憶されている制御プログラムＰ２に基づいて各構成部を制御し、触覚提示を実現する。
制御プログラムＰ２は、図示しない記憶媒体に記憶されている制御プログラムＰ２を制御部２０が読み出してフラッシュメモリなどのＲＯＭ２０ｂに複製したものであってもよい。制御プログラムＰ２は、サーバ装置３又は他のプログラムサーバ装置からダウンロードして実行可能に記憶したものであってもよい。

【0035】

触覚データ記憶部２１は、制御部２０に対する補助記憶メモリであり、ＭＲＦデバイス２４の制御データである触覚データを書き換え可能に記憶する。

【0036】

通信部２２は、近距離無線通信、例えばBluetooth（登録商標）の通信モジュールである。通信モジュールは通信回路を含む。制御部２０は、通信部２２によって視覚提示装置１との間でデータを送受信する。

【0037】

制御部２０は、電源部２３、ＭＲＦデバイス２４及び変位センサ２５とＩ／Ｏ２０ｄを介して接続されており、相互に信号を授受する。

【0038】

電源部２３は、充電可能なバッテリ２３ａを備える。電源部２３は、ＯＮ状態になると各構成部及びＭＲＦデバイス２４へ電力を供給する。

【0039】

変位センサ２５は、変位部２０２の位置（角度）を測定して制御部２０へ出力する。変位センサ２５は変位部２０２の変位を、角度として測定して出力する。以下、所定位置、例えば把持体２０１の筐体から最も離隔した位置（以下、初期位置）を基準にした変位部２０２の相対位置又は相対角度を変位量又は押し込み量という。変位センサ２５は、ジャイロセンサ、加速度センサ等の複数のセンサから構成されてもよい。

【0040】

図４に示すように構成される触覚提示装置２では、変位部２０２がユーザによって操作されると、変位部２０２の変位がリンク機構２０４を介してＭＲＦデバイス２４のロータの回転軸への回転方向に伝達される。回転軸は、ＭＲＦデバイス２４が動作していない場合、すなわち制御電流がゼロである間は、自由に回転するため、変位部２０２は抵抗なく変動する。一方で、ＭＲＦデバイス２４が動作し、制御電流が流れている場合には、ＭＲＦデバイス２４へ流れる電流の大きさに応じてＭＲＦデバイス２４内部の磁気粘性流体の粘度（ずり応力）が変化する。制御部２０が、ＭＲＦデバイス２４への電流の大きさを連続的に変更したり、電流値を所定の周波数で振動させたりすることで、変位部２０２に対する抵抗の力やその出現方法を変更できる。つまり、制御部２０はＭＲＦデバイス２４に流れる電流の波形及び電流値を制御することによって、あらゆる触覚を提示することができる。

【0041】

このようにして触覚提示装置２は、変位部２０２の押し込む量に応じて抵抗（電流値）を変動させてヌルリとした触覚を提示したり、押し込む量が大きくなるにつれて抵抗を大きくしてギュッとした固さの触覚を提示したり、抵抗の大小の繰り返しや矩形波によるＯＮ及びＯＦＦの繰り返しによってザクザクとした触覚を提示したりすることができる。

【0042】

図５は、サーバ装置３の内部構成を示すブロック図である。サーバ装置３は、視覚提示装置１との間でデータの送受信が可能なゲームサーバである。以下の説明において、サーバ装置３は１台のゲームサーバとして説明するが、複数台のサーバコンピュータをネットワークＮで通信接続して分散処理させる態様であってもよい。

【0043】

サーバ装置３は、サーバ処理部３０、記憶部３１、サーバ通信部３２を備える。サーバ処理部３０は、ＣＰＵ及び／又はＧＰＵを用いたプロセッサである。サーバ処理部３０は、記憶部３１に記憶されているサーバプログラムＰ３に基づき、ゲームサーバとしての処理を実行する。

【0044】

記憶部３１は、例えばハードディスク、フラッシュメモリ、ＳＳＤ（Solid State Drive ）等の不揮発性メモリである。記憶部３１は、サーバ処理部３０が参照するデータを記憶する。記憶部３１は、サーバプログラムＰ３を記憶する。サーバプログラムＰ３は、記憶媒体９に記憶されているサーバプログラムＰ９をサーバ処理部３０が読み出して記憶部３１に複製したものであってもよい。サーバプログラムＰ３は、サーバ通信部３２を介して他のプログラムサーバ装置からサーバ処理部３０がダウンロードして記憶したものであってもよい。

【0045】

記憶部３１は、コンテンツＤＢ３１１を構成しており、ゲームで使用されるゲームコンテンツを記憶する。記憶部３１が記憶するゲームコンテンツは、キャラクタデータ、アイテムデータ等を含む。記憶部３１のうち、これらのゲームコンテンツのデータを記憶する記憶領域は、ネットワークＮで通信接続された外部記憶媒体であってもよい。

【0046】

キャラクタデータは、ゲーム内に登場するキャラクタＣのデータである。キャラクタデータは、名称（識別データ）、感覚ＤＢ１１０に含まれるべき触覚データ、視覚データ（画像、動画、テキスト等）、及び聴覚データ（音声、効果音）を含む。

【0047】

アイテムデータは、キャラクタＣ毎にキャラクタＣに関連するアイテムのデータである。アイテムは特定のゲームによって得られる。アイテムデータは名称、画像データを含む。アイテムデータは、キャラクタデータ同様に触覚データを含んでもよい。アイテムデータは、レア度を含んでもよい。

【0048】

ゲームコンテンツにはその他、キャラクタＣ毎に、アイテム等との交換に用いられる交換用アイテム又は交換用ポイント等が含まれる。

【0049】

記憶部３１は、これらのゲームコンテンツの実体（画像データ等）を、コンテンツ識別データ（以下、コンテンツＩＤという）に対応付けて記憶する。記憶部３１は、各視覚提示装置１でユーザ毎に使用可能なゲームコンテンツのコンテンツＩＤを、ユーザを識別するユーザＩＤに対応付けて記憶する。例えば記憶部３１は、ユーザＩＤに対応付けて、ユーザがゲームアプリＰ１上で使用可能なキャラクタＣ、アイテム等を識別するコンテンツＩＤ及び個数を記憶する。サーバ処理部３０は、コンテンツＩＤを指定した取得要求に応じて、ゲームコンテンツのデータの複製をコンテンツテーブルから読み出して要求元に提供する。これらのユーザＩＤに対応付けられるデータを記憶する記憶領域は、ネットワークＮで通信接続された外部記憶媒体であってもよい。

【0050】

サーバ通信部３２は、ネットワークＮを介した視覚提示装置１との通信を実現する通信回路を含む。サーバ通信部３２は具体的には、ネットワークカードである。サーバ通信部３２は、キャリアネットワークＮ２と接続する無線通信モジュールであってもよいし、ＷｉＦｉ用の無線通信モジュールであってもよい。サーバ処理部３０は、サーバ通信部３２によって視覚提示装置１との間でデータを送受信する。

【0051】

図６及び図７は、実施形態１に係る触覚提示の処理手順を示すフローチャートである。ユーザによって、触覚提示を所望するキャラクタＣ及びゲームコンテンツが選択された場合、視覚提示装置１及び触覚提示装置２は以下の処理を実行する。視覚提示装置１は、選択されたゲームコンテンツの触覚提示を行うためのデータをサーバ装置３から取得しているものとして説明する。

【0052】

処理部１０は、選択されたゲームコンテンツの仮想オブジェクトであるキャラクタＣの画像及び指画像Ｆ（図８～図１０参照）を含むゲーム画面１４１を表示し（ステップＳ１０１）し、ゲームのキャラクタＣ用の触覚データテーブルを触覚提示装置２へ送信する（ステップＳ１０２）。指画像Ｆは、変位部２０２の変位量によってキャラクタＣの画像に対する位置が変化する指を模した画像である。変位部２０２が押し込まれると、指画像ＦはキャラクタＣに近づくように移動する。

【0053】

触覚提示装置２は、通信接続中の視覚提示装置１から触覚データテーブルを受信すると（ステップＳ２０１）、受信した触覚データテーブルを触覚データ記憶部２１に記憶する（ステップＳ２０２）。ステップＳ２０１で受信する触覚データは、上述した変位量毎の電流値の一覧テーブルである。

【0054】

触覚提示装置２の制御部２０は、変位センサ２５から出力される変位部２０２の変位量（角度）に対応する信号をサンプリングする（ステップＳ２０３）。制御部２０は、サンプリングにより得られる押し込み量（変位量）を、視覚提示装置１へ送信する（ステップＳ２０４）。押し込み量（角度）は、初期位置からの相対的な変位量でもよいし、変位センサ２５によって検出された絶対位置でもよい。

【0055】

制御部２０は、サンプリングにより得られる変位量に対応する電流値を、触覚データ記憶部２１に記憶した触覚データから参照する（ステップＳ２０５）。制御部２０は、参照して得た電流値に応じた電流をＭＲＦデバイス２４へ出力する（ステップＳ２０６）。

【0056】

制御部２０は、ステップＳ２０３～Ｓ２０６の処理を繰り返し実行することにより、キャラクタＣの触覚提示を行うことができる。

【0057】

一方、ステップＳ１０２の処理を終えた視覚提示装置１の処理部１０は、触覚提示装置２から送信される変位量を受信する（ステップＳ１０３）。処理部１０は、感覚ＤＢ１１０が記憶する視覚データ及び聴覚データを参照し、受信した変位量に対応する画像データと、音声データとを読み出す（ステップＳ１０４）。そして、処理部１０は、読み出した画像データ及び音声データをそれぞれ表示部１４及び音声出力部１５から出力させる（ステップＳ１０５）。ステップＳ１０５の処理によって、キャラクタＣの画像は、変位部２０２の変位量に応じた画像に変更される（図８～図１０参照）。また、処理部１０は、受信した変位量に応じてキャラクタＣの画像に対する指画像Ｆの位置を変更する。変位部２０２が押し込まれると、指画像ＦがキャラクタＣに近づくように、その位置が変更される。

【0058】

次いで、処理部１０は、変位部２０２の初期位置をゼロとして、変位部２０２の押し込み量を数値にて定量的に表示する（ステップＳ１０６）。初期位置は、把持体２０１の筐体から変位部２０２が最も離隔した位置、すなわち把持体２０１から持ち上げられた上端位置である。

【0059】

また、処理部１０は、変位部２０２の初期位置をゼロとして、変位部２０２の押し込み量をバーゲージ画像１４３、円形ゲージ画像１４４、メーターゲージ画像１４５等にて表示する（ステップＳ１０７）。なお、ステップＳ１０６とステップＳ１０７は、必ずしも両方実行する必要はなく、ユーザの設定等に応じて、いずれかを選択的に実行してもよい。

【0060】

ステップＳ１０３～ステップＳ１０７を繰り返すことによって、変位部２０２の押し込み量に応じたキャラクタＣの画像及び音声を出力することができ、変位部２０２の押し込み量を定量的に表示することができる。

【0061】

次いで、処理部１０は、ゲームシナリオに基づいて、ゲームアプリＰ１を終了するか否かを判定する（ステップＳ１０８）。処理部１０は、変位部２０２が最後まで押し込まれ、変位量が所定終了位置に到達した場合、ゲームアプリＰ１を終了とすると判定してもよい。ゲームアプリＰ１を終了しないと判定された場合（ステップＳ１０８：ＮＯ）、処理部１０は処理をステップＳ１０３へ戻し、キャラクタＣの画像及び音声を表示する処理を継続する。ゲームアプリＰ１を終了すると判定した場合（ステップＳ１０８：ＹＥＳ）、処理部１０はゲームアプリＰ１を終了する。

【0062】

図８は、ゲーム画面１４１の第１の例を示す図である。第１の例のゲーム画面１４１は、ゲームコンテンツに係るキャラクタＣの画像と、変位部２０２の位置に対応する指画像Ｆと、押し込み量表示部１４２と、バーゲージ画像１４３とを含む。押し込み量表示部１４２は、変位部２０２の押し込み量を数値にて表示する。処理部１０は、初期位置を０％、最後まで押し込まれた変位部２０２の位置を１００％として、変位部２０２の位置を数値で表示している。また、バーゲージ画像１４３は、変位部２０２の押し込み量を色付き又は図柄付きのバーの長さで表示する。バーゲージ画像１４３のバーは、押し込み量が大きい程、長くなるものとする。変位部２０２が初期位置にある場合、バーの長さは「０」、変位部２０２が最後まで押し込まれた場合、バーの長さは最長となる。

【0063】

図８Ａは、変位部２０２が初期位置にある状態を示している。押し込み量表示部１４２には「０％」と表示され、バーゲージ画像１４３のバーの長さは「０」である。図８Ｂに示すように変位部２０２が初期位置から４分の１程押し込まれると、押し込み量表示部１４２には「２５％」と表示され、バーゲージ画像１４３のバーの長さは最長の長さの２５％となる。変位部２０２が押し込まれて指画像Ｆが移動し、キャラクタＣの画像に接触している。

【0064】

図８Ｃは、更に変位部２０２が押し込まれ、初期位置から２分の１程押し込まれた状態を示している。押し込み量表示部１４２には「５０％」と表示され、バーゲージ画像１４３のバーの長さは最長の長さの５０％となる。変位部２０２が押し込まれ、キャラクタＣの画像が変化している。図８Ｃに示す例では、ボールがへこんだような画像が表示されている。

【0065】

図８Ｄは、更に変位部２０２が押し込まれ、初期位置から９０％程度押し込まれた状態を示している。押し込み量表示部１４２には「９０％」と表示され、バーゲージ画像１４３のバーの長さは最長の長さの９０％となる。変位部２０２が押し込まれ、キャラクタＣの画像が変化している。図８Ｄに示す例では、ボールが割れたような画像が表示されている。

【0066】

図９は、ゲーム画面１４１の第２の例を示す図である。図９Ａ～図９Ｄは、図８と同様の状態を示している。第２の例のゲーム画面１４１は、バーゲージ画像１４３に代えて、円形ゲージ画像１４４を含む。円形ゲージ画像１４４は、中心位置が共通の円画像と、扇形部分とで構成されている。円形ゲージ画像１４４は、変位部２０２の初期位置に対する押し込み量を、扇形部分の面積によってパーセンテージで表示する。円形ゲージ画像１４４は、押し込み量が大きい程、扇形部分の中心角が大きくなるものとする。変位部２０２が初期位置にある場合、扇形部分の中心角が「０°」、変位部２０２が最後まで押し込まれた場合、扇形部分の中心角が「３６０°」となる。

【0067】

図１０は、ゲーム画面１４１の第３の例を示す図である。図１０Ａ～図１０Ｄは、図８と同様の状態を示している。第３の例のゲーム画面１４１は、バーゲージ画像１４３に代えて、メーターゲージ画像１４５を含む。メーターゲージ画像１４５は、扇形の目盛盤と、針画像とで構成されている。メーターゲージ画像１４５は、変位部２０２の初期位置に対する押し込み量を、針画像の位置で表示する。メーターゲージ画像１４５は、押し込み量が大きい程、針画像が右側へ振れていくものとする。変位部２０２が初期位置にある場合、針画像が目盛り「０」（左端）、変位部２０２が最後まで押し込まれた場合、針画像が目盛り「１００」（右端）となる。

【0068】

以上の通り、本実施形態１に係るゲームシステム１００によれば、触覚提示装置２の変位部２０２の押し込み量に応じたキャラクタＣの画像変化と共に、変位部２０２の変位量を定量的に表示することができる。
ユーザはキャラクタＣの画像の変化又は音声の変化によって、触覚提示装置２の変位部２０２が押し込まれていることが分かるが、画像及び音声の変化の仕方によっては、変位部２０２がどの程度、押し込まれているのか認識しにくいことがある。本実施形態１によれば、変位部２０２の押し込み量が定量的に表示されるため、ユーザは、実際の変位部２０２の変位量と、触覚提示装置２の操作感の認識とを一致させることができ、ユーザが違和感を覚えることを防ぐことができる。

【0069】

より具体的には、視覚提示装置１は、変位部２０２の押し込み量を押し込み量表示部１４２にて数値で表示することができる。

【0070】

また、視覚提示装置１は、変位部２０２の押し込み量をバーゲージ画像１４３、円形ゲージ画像１４４、メーターゲージ画像１４５等を用いて表示することができる。

【0071】

更に、本実施形態１に係る視覚提示装置１は、初期位置（把持体２０１の筐体から変位部２０２が最も離隔した位置）をゼロとして、変位部２０２押し込み量を表示することができる。ユーザは、初期位置を基準とした変位部２０２の押し込み量を認識することができる。

【0072】

（実施形態２）
実施形態２におけるゲームシステム（仮想オブジェクト触覚提示システム）１００は、変位部２０２の押し込み量の計算方法が実施形態１と異なる。ゲームシステム１００のその他の構成は、実施形態１に係るゲームシステム１００と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

【0073】

図１１は、実施形態２に係る触覚提示の処理手順を示すフローチャートである。実施形態２に係る視覚提示装置１は、実施形態１と同様ステップＳ１０１～１０５の処理を実行し、触覚提示装置２は、実施形態１と同様ステップＳ２０１～ステップＳ２０６の処理を実行する。

【0074】

ステップＳ１０５の処理を実行した処理部１０は、次いで、触覚提示装置２が触覚提示を開始する位置をゼロとして、変位部２０２の押し込み量を数値にて定量的に表示する（ステップＳ１３６）。処理部１０は、触覚データテーブルを参照し、触覚提示装置２のＭＲＦデバイス２４に電流が流れ始める変位部２０２の変位量を、触覚提示を開始する位置として特定することができる。例えば、初期位置を基準にして変位量０°～９°に対応する電流値が０Ａで、変位量１０°に対応する電流値が非ゼロである場合、変位量１０°を基準して、変位部２０２の押し込み量を算出して表示部１４に表示する。

【0075】

処理部１０は、触覚提示装置２が触覚提示を開始する位置から、変位部２０２が最後まで押し込まれるまでの角度を１００として、変位部２０２の変位量を表示するように構成するとよい。変位部２０２が変位できる角度範囲をθ、初期位置を基準にして触覚提示装置２が触覚提示を開始する位置をφ、現在の変位部２０２の変位量（角度）をωとした場合、現在の変位部２０２の押し込み量を（ω－φ）／（θ－φ）として計算するとよい。変位部２０２が変位できる角度範囲がθ＝４０°、初期位置を基準にして触覚提示装置２が触覚提示を開始する位置をφ＝１０°、現在の変位部２０２の変位量（角度）をω＝２５°とした場合、現在の変位部２０２の押し込み量は５０％＝（２５°－１０°）／（４０°－１０°）となる。

【0076】

また、処理部１０は、触覚提示装置２が触覚提示を開始する位置をゼロとして、変位部２０２の押し込み量をバーゲージ画像１４３、円形ゲージ画像１４４、メーターゲージ画像１４５等にて表示する（ステップＳ１３７）。処理部１０は、ステップＳ１３６と同様にして変位部２０２の押し込み量を算出し、算出された押し込み量をバーゲージ画像１４３、円形ゲージ画像１４４、メーターゲージ画像１４５等に表示する。なお、ステップＳ１３６とステップＳ１３７は、必ずしも両方実行する必要はなく、ユーザの設定等に応じて、いずれかを選択的に実行してもよい。

【0077】

実施形態２に係るゲームシステム１００によれば、触覚提示装置２が触覚提示を開始する位置をゼロとして、変位部２０２の押し込み量を表示部１４に表示することができる。ユーザは、触覚を感じ初めてからの変位部２０２の押し込み量を定量的に認識することができる。

【0078】

（実施形態３）
実施形態３におけるゲームシステム（仮想オブジェクト触覚提示システム）１００は、変位部２０２の押し込み量の計算方法が実施形態１と異なる。ゲームシステム１００のその他の構成は、実施形態１に係るゲームシステム１００と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

【0079】

図１２は、実施形態３に係る触覚提示の処理手順を示すフローチャートである。実施形態３に係る視覚提示装置１は、実施形態１と同様ステップＳ１０１～１０５の処理を実行し、触覚提示装置２は、実施形態１と同様ステップＳ２０１～ステップＳ２０６の処理を実行する。

【0080】

ステップＳ１０５の処理を実行した処理部１０は、次いで、キャラクタＣの画像に対して、指画像Ｆが接触した位置をゼロとして、変位部２０２の押し込み量を数値にて定量的に表示する（ステップＳ１５６）。

【0081】

処理部１０は、キャラクタＣの画像に対して、指画像Ｆが接触した位置から、変位部２０２が最後まで押し込まれるまでの角度を１００として、変位部２０２の変位量を表示するように構成するとよい。変位部２０２が変位できる角度範囲をθ、初期位置を基準にしてキャラクタＣの画像に指画像Ｆが接触した位置をφ、現在の変位部２０２の変位量（角度）をωとした場合、現在の変位部２０２の押し込み量を（ω－φ）／（θ－φ）として計算するとよい。

【0082】

また、処理部１０は、キャラクタＣの画像に対して、指画像Ｆが接触した位置をゼロとして、変位部２０２の押し込み量をバーゲージ画像１４３、円形ゲージ画像１４４、メーターゲージ画像１４５等にて表示する（ステップＳ１５７）。処理部１０は、ステップＳ１５６と同様にして変位部２０２の押し込み量を算出し、算出された押し込み量をバーゲージ画像１４３、円形ゲージ画像１４４、メーターゲージ画像１４５等に表示する。なお、ステップＳ１５６とステップＳ１５７は、必ずしも両方実行する必要はなく、ユーザの設定等に応じて、いずれかを選択的に実行してもよい。

【0083】

実施形態３に係るゲームシステム１００によれば、キャラクタＣの画像に対して、指画像Ｆが接触した位置をゼロとして、変位部２０２の押し込み量を表示部１４に表示することができる。ユーザは、触覚を感じ初めてからの変位部２０２の押し込み量を定量的に認識することができる。

【0084】

本開示の課題を解決するための手段を付記する。
（付記１）
仮想オブジェクトを視覚的に提示する視覚提示装置と、前記仮想オブジェクトを触覚的に提示する触覚提示装置とを備える仮想オブジェクト触覚提示システムであって、
前記触覚提示装置は、
ユーザによって把持される把持体と、
ユーザの操作によって前記把持体から接離する方向へ変位可能な部材であり、力覚を生じさせる変位部と、
該変位部の変位量を検出する変位センサと、
検出された前記変位部の変位量を前記視覚提示装置へ送信する通信部と
を備え、
前記視覚提示装置は、
前記触覚提示装置から送信された変位量を受信する通信部と、
該通信部にて受信した変位量を定量的に表示する処理を実行する処理部と
を備える仮想オブジェクト触覚提示システム。
（付記２）
前記処理部は、
前記仮想オブジェクトの画像を表示し、前記通信部にて受信した変位量に応じて、前記仮想オブジェクトの画像を変更すると共に、前記変位量を定量的に表示する
付記１に記載の仮想オブジェクト触覚提示システム。
（付記３）
前記処理部は、
前記変位部の変位量を、数値又はゲージ画像にて表示する
付記１又は付記２に記載の仮想オブジェクト触覚提示システム。
（付記４）
前記処理部は、
前記把持体に対する前記変位部の所定位置をゼロとして、前記変位部の変位量を定量的に表示する
付記１から付記３のいずれか１つに記載の仮想オブジェクト触覚提示システム。
（付記５）
前記処理部は、
前記触覚提示装置が触覚提示を開始する位置をゼロとして、前記変位部の変位量を定量的に表示する
付記１から付記４のいずれか１つに記載の仮想オブジェクト触覚提示システム。
（付記６）
前記処理部は、
前記仮想オブジェクトの画像と、前記変位部の位置に対応する指画像とを表示し、受信した変位量に応じて前記オブジェクトの画像に対する前記指画像の位置を変更するようにしてあり、
前記オブジェクトの画像に対して、前記指画像が接触した位置をゼロとして、前記変位部の変位量を定量的に表示する
付記１から付記５のいずれか１つに記載の仮想オブジェクト触覚提示システム。

【符号の説明】

【0085】

１ ：視覚提示装置
２ ：触覚提示装置
３ ：サーバ装置
１０ ：処理部
１１ ：記憶部
１２ ：第１通信部
１３ ：第２通信部
１４ ：表示部
１５ ：音声出力部
１６ ：操作部
２０ ：制御部
２１ ：触覚データ記憶部
２２ ：通信部
２３ ：電源部
２４ ：ＭＲＦデバイス
２５ ：変位センサ
１００ ：ゲームシステム
１４１ ：ゲーム画面
１４２ ：押し込み量表示部
１４３ ：バーゲージ画像
１４４ ：円形ゲージ画像
１４５ ：メーターゲージ画像
２０１ ：把持体
２０２ ：変位部
Ｃ ：キャラクタ
Ｆ ：指画像
Ｐ１ ：ゲームアプリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】