【文献】
大海悠太ほか1名,ニューラルネットワークと触覚ディスプレイを用いたアクティブタッチの研究 「うねうね」と「ざらざら」の触感の構成”,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2009年 6月 8日,第109巻 第83号,pp.17〜21
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
以下では、第一実施形態の形状校正方法について説明する。
【0015】
形状校正方法は、触覚ディスプレイ1の提示形状W´を校正するものである(
図1および
図6参照)。
【0016】
まず、触覚ディスプレイ1の構成について説明する。
図1に示すように、触覚ディスプレイ1は、CAD(Computer Aided Design)データを読み込んで、CADデータ上の表面起伏Wを擬似的に知覚させるものである。触覚ディスプレイ1は、液晶画面10、触覚デバイス20、ダイヤルスイッチ30、フットペダル40、カメラ50、およびPC60等を具備する。
【0017】
液晶画面10は、PC60と接続され、PC60からの出力に基づいてCADデータを表示する。
【0018】
なお、触覚ディスプレイ1は、金型の面歪を修正するときに用いられるものとする。すなわち、CADデータは、金型のキャビティ面を設計するためのCADデータである。
ただし、触覚ディスプレイ1の用途は、本実施形態に限定されるものでない。
【0019】
触覚デバイス20は、指関節に局所的な刺激を与えるためのものである。触覚デバイス20は、液晶画面10に載置される。
図2に示すように、触覚デバイス20は、刺激子21〜29等を備える。
【0020】
刺激子21〜29は、触覚デバイス20の上面に設けられる。刺激子21〜29は、例えば、人差し指、中指、および薬指の第一関節から第三関節までに対向する位置に配置され、ピエゾ素子によって上下動可能に構成される。
図1および
図2に示すように、触覚デバイス20は、PC60と接続され、PC60からの出力に基づいて刺激子21〜29を上下動させる。
【0021】
ダイヤルスイッチ30は、表面起伏W(
図3参照)の修正量を設定するためのものである。
熟練作業者(人)は、ダイヤルスイッチ30を操作することで、液晶画面10に表示されるカーソルに対応する位置において、表面起伏Wの修正量を設定する。
ダイヤルスイッチ30は、PC60と接続され、人が操作した内容(表面起伏Wの修正量)をPC60に入力する。
【0022】
フットペダル40は、前記カーソルを移動させるためのものである。熟練作業者は、フットペダル40を操作することで、前記カーソルを表面起伏Wの頂点(表面起伏Wにおいて最も突出している部分)に移動させ、高さを修正する表面起伏Wを選択する。
フットペダル40は、PC60と接続され、人が操作した内容(前記カーソルを移動させる位置)をPC60に入力する。
【0023】
カメラ50は、触覚デバイス20の位置を検出するものである。カメラ50は、PC60と接続され、検出した触覚デバイス20の位置情報をPC60に入力する。このようなカメラ50には、触覚デバイス20の位置を測定可能な市販のカメラが用いられる。
【0024】
なお、触覚ディスプレイ1は、必ずしもカメラ50を具備する必要はない。すなわち、触覚デバイス20の移動量を検出するセンサ等により、触覚デバイス20の位置を特定しても構わない。
【0025】
PC60は、CADデータを読み込んでCADデータ上の表面形状を仮想空間内に配置する。PC60は、カメラ50から触覚デバイス20の位置情報を取得して触覚デバイス20の位置を特定する。そして、PC60は、仮想空間において、触覚デバイス20の位置に対応する位置に応じて刺激子21〜29を上下動させる。
また、PC60は、ダイヤルスイッチ30の操作に応じて、表面起伏Wの頂点の高さを修正する。このとき、PC60は、表面起伏Wの頂点周辺の高さも修正する。
【0026】
熟練作業者は、触覚デバイス20の上面に掌を載せた状態で、液晶画面10をなぞるように触覚デバイス20を動かす。
このとき、触覚ディスプレイ1は、刺激子21〜29を動作(上下動)させて熟練作業者の掌に刺激を与えることにより、CADデータ上の表面起伏Wの形状を提示する。これにより、触覚ディスプレイ1は、熟練作業者に表面起伏Wを知覚させる。
【0027】
ここで、
図3に示すように、熟練作業者が提示形状W´を知覚したときの形状(以下、「知覚形状W1」と表記する)と、提示形状W´(刺激子21〜29の位置に応じて刺激子21〜29を上下動させる距離)との間には、差異がある。
このため、例えば、高さH、幅Lのサインカーブの山である表面起伏Wと同じ形状を提示した場合(表面起伏Wと提示形状W´とが同じ形状である場合)、熟練作業者は、表面起伏Wが高さH1、幅L1のサインカーブの山であると知覚してしまう可能性がある。
【0028】
そこで、触覚ディスプレイ1は、形状校正方法を用いて提示形状W´を校正する(
図6参照)。
【0029】
なお、触覚ディスプレイ1の構成は、本実施形態に限定されるものでなく、CADデータを読み込んで、CADデータ上の表面起伏Wを熟練作業者に擬似的に知覚させることができる構成であればよい。
【0030】
次に、形状校正方法について説明する。
なお、以下において、触覚ディスプレイ1は、説明の便宜上、
図3に示すような高さH、幅Lのサインカーブの山である表面起伏Wを、熟練作業者に知覚させるものとする。
【0031】
形状校正方法では、
図4および
図6に示すように、ニューラルネットワーク60を用いて、提示形状W´を校正する。
【0032】
ニューラルネットワーク60は、人間の脳の神経回路の仕組みを模した情報処理モデルである。第一実施形態のニューラルネットワーク60は、入力層61、中間層62(隠れ層)、および出力層63を備える多層パーセプトロンとして構成される。各層61〜63は、複数のユニットを有する。
【0033】
入力層61のユニットには、CADデータ上の表面起伏Wに対応する形状データが入力される。第一実施形態のように、CADデータ上の表面起伏Wがサインカーブの山である場合には、CADデータ上の表面起伏Wの高さH、幅Lが、形状データH・Lとして入力層61に入力される。
入力層61のユニットは、中間層62のユニットと結合され、入力層61に入力される入力値を中間層62のユニットに伝播する。
【0034】
中間層62のユニットは、出力層63のユニットと結合され、入力層61のユニットから伝播される入力値に対して所定の演算処理を行い、その出力値を出力層63のユニットに伝播する。
【0035】
出力層63のユニットは、中間層62のユニットから伝播される演算結果に対して所定の演算処理を行い、その出力値を算出する。
ニューラルネットワーク60は、出力層63のユニットの出力値を、ニューラルネットワーク60の出力値H´・L´として出力する。
【0036】
このような中間層62および出力層63のi番目のユニットは、以下に示す数式1により、変数S
iを算出する。
【0038】
前記数式1において、b
iは中間層62および出力層63のi番目のユニットのバイアスである。
前記数式1において、w
i,jは入力値に対して設定される重みである。より詳細には、i番目のユニットが中間層62のユニットである場合、入力層61のj番目のユニットの出力値に対して設定される重みであり、i番目のユニットが出力層63のユニットである場合、中間層62のj番目のユニットの出力値に対して設定される重みである。
前記数式1において、u
jはj番目のユニットの出力値である。より詳細には、i番目のユニットが中間層62のユニットである場合、入力層61のj番目のユニットの出力値であり、i番目のユニットが出力層63のユニットである場合、中間層62のj番目のユニットの出力値である。
【0039】
中間層62および出力層63のユニットは、前記数式1の結果に基づいて、出力値を算出する(以下に示す数式2参照)。このとき、中間層62および出力層63のユニットは、例えば、シグモイド関数等を用いて出力値を算出する。
【0041】
第一実施形態の形状校正方法は、入力層61に入力する形状データH・Lに対して適切な値を出力させるために、以下のようにしてニューラルネットワーク60の学習を行う。
【0042】
まず、熟練作業者は、
図5に示すように、頭の中で面形状(例えば、高さH2、幅L2のサインカーブの山)をイメージする(
図5に示すイメージ形状W2参照)。熟練作業者は、触覚デバイス20を動かす(
図1参照)。
【0043】
このとき、形状校正方法は、触覚ディスプレイ1によって所定の提示形状W´を、熟練作業者に試験的に知覚させる。このとき、熟練作業者は、イメージ形状W2と知覚形状W1とが一致するか確認する。
熟練作業者は、イメージ形状W2と一致する触感を得るまで(イメージ形状W2と知覚形状W1とが一致するまで)、ダイヤルスイッチ30を操作して、提示形状W´を変更する。
【0044】
これにより、形状校正方法は、イメージ形状W2と知覚形状W1とが一致する触感を得たときの、提示形状W´に対応する形状データH2´・L2´、およびイメージ形状W2に対応する形状データH2・L2を取得する。
【0045】
形状校正方法は、取得した各形状データH2・L2・H2´・L2´を学習データとして、PC60(触覚ディスプレイ1)によりニューラルネットワーク60の学習を行う。
このとき、形状校正方法は、例えば、勾配法等を用いて、学習データに基づいた適切な値を出力可能となるように、ニューラルネットワーク60の学習を行う。
【0046】
なお、第一実施形態の形状校正方法は、実物形状を触ったときの触感と、知覚形状W1とが一致したときの、提示形状W´に対応する形状データを取得しても構わない。
【0047】
形状校正方法は、イメージ形状W2を変更しながら、このような学習を繰り返し行う。形状校正方法は、このような学習済みのニューラルネットワーク60をPC60に構築している。
【0048】
次に、第一実施形態の形状校正方法の手順について説明する。
【0049】
まず、
図4に示すように、触覚ディスプレイ1は、CADデータを読み込んだときに、CADデータ上の表面起伏Wに対応する形状データH・Lを学習済みのニューラルネットワーク60に入力する。
【0050】
図4および
図6に示すように、ニューラルネットワーク60は、CADデータ上の表面起伏Wと、知覚形状W1とが一致するように校正した触覚ディスプレイ1の提示形状W´に対応する形状データH´・L´を出力する。
【0051】
熟練作業者が触覚デバイス20を動かしたとき、形状校正方法は、校正した触覚ディスプレイ1の提示形状W´に対応する形状データH´・L´に応じて、刺激子21〜29を動作させる。
すなわち、触覚ディスプレイ1は、高さH´、幅L´のサインカーブの山に応じて刺激子21〜29を上下動させる(
図6に示す提示形状W´参照)。
【0052】
これによれば、形状校正方法は、表面起伏Wの形状に知覚形状W1を近づけることができる。
従って、形状校正方法は、CADデータ上の表面起伏Wを正確に熟練作業者に知覚させることができる。
【0053】
このため、第一実施形態のように、CADデータとして、金型のCADデータを用いた場合には、金型の面歪を修正するときに、表面起伏Wを正確に修正できる。
【0054】
このように、第一実施形態の形状校正方法は、CADデータ上の表面起伏Wに対応する形状データH・Lに基づいた静的な校正方法である。
【0055】
なお、ニューラルネットワーク60に入力する形状データは、第一実施形態に限定されるものでない。
すなわち、仮に、表面起伏Wがサインカーブの山でない場合には、例えば、頂点までの高さ、表面起伏Wの範囲、表面起伏Wの鋭さ、および表面起伏Wの方向(表面起伏Wのどの位置に頂点が位置しているか)等が形状データとなる。
【0056】
次に、第二実施形態の形状校正方法について説明する。
なお、以下において、触覚ディスプレイ1は、説明の便宜上、
図3に示すような高さH、幅Lのサインカーブの山である表面起伏Wを熟練作業者に知覚させるものとする。
【0057】
図7および
図8に示すように、第二実施形態の形状校正方法は、ニューラルネットワーク160を用いて、現在の刺激子21〜29の出力値H
1(k)〜H
9(k)を出力する点が、第一実施形態の形状校正方法と異なる点である。
【0058】
なお、刺激子21〜29の出力値H
n(k)は、nが刺激子21〜29の一桁目の数字に対応している。
また、刺激子21〜29の出力値H
1(k)〜H
9(k)は、例えば、刺激子21〜29の高さやピエゾ素子への印加電圧値等である。
【0059】
ニューラルネットワーク160は、入力層161、中間層162、および出力層163を備える多層パーセプトロンとして構成される。
【0060】
入力層161のユニットには、現在の刺激子21〜29の出力値H
1〜
9(k)、および現在よりも前の二つの時点での刺激子21〜29の出力値H
1〜
9(k−1)・H
1〜
9(k−2)が入力される。
【0061】
なお、出力値H
n(k−1)・H
n(k−2)は、nが刺激子21〜29の一桁目の数字に対応している。また、k−1が現在よりも所定の時間だけ前の時点における刺激子21〜29の出力値を、k−2がk−1よりも所定の時間だけ前の時点における刺激子21〜29の出力値を示している。
【0062】
ニューラルネットワーク160は、中間層162および出力層163のユニットにて第一実施形態にあるような演算処理を行い、現在の刺激子21〜29の出力値H
1〜
9(k)を出力する。
【0063】
第二実施形態の形状校正方法は、以下のようにしてニューラルネットワーク160の学習を行う。
【0064】
まず、熟練作業者は、第一実施形態の場合と同じ要領で、イメージ形状W2と一致する触感を得るまで、ダイヤルスイッチ30を操作して、提示形状W´を変更する(
図5参照)。
【0065】
これにより、形状校正方法は、イメージ形状W2と知覚形状W1とが一致する触感を得たときの刺激子21〜29の時間的変化を取得する。
【0066】
具体的には、形状校正方法は、ある時点における現在の刺激子21〜29の出力値H
1〜
9(k)、およびある時点よりも前の二つの時点での刺激子21〜29の出力値H
1〜
9(k−1)・H
1〜
9(k−2)を取得する(
図8参照)。
形状校正方法は、このような刺激子21〜29の出力値H
1〜
9(k)・H
1〜
9(k−1)・H
1〜
9(k−2)を、所定の時間間隔毎に取得する。
【0067】
第二実施形態では、このような時間間隔毎に取得した刺激子21〜29出力値H
1〜
9(k)・H
1〜
9(k−1)・H
1〜
9(k−2)が、刺激子21〜29の時間的変化である。
【0068】
なお、取得する刺激子21〜29の時間的変化の内容は、第二実施形態に限定されるものでない。
例えば、ある時点における現在の刺激子21〜29の出力値、およびある時点よりも前の一つの時点での刺激子21〜29の出力値を、所定の時間間隔毎に取得しても構わない。
また、ある時点における現在の刺激子21〜29の出力値、およびある時点よりも前の三つ以上の時点での刺激子21〜29の出力値を、所定の時間間隔毎に取得しても構わない。
【0069】
形状校正方法は、イメージ形状W2と知覚形状W1とが一致する触感を得たときの、刺激子21〜29の時間的変化を学習データとして、PC60(触覚ディスプレイ1)によりニューラルネットワーク160の学習を行う。
このとき、形状校正方法は、例えば、勾配法等を用いて、学習データに基づいた適切な値を出力可能となるように、ニューラルネットワーク160の学習を行う。
【0070】
なお、第二実施形態の形状校正方法は、実物形状を触ったときの触感と、知覚形状W1とが一致したときの、刺激子21〜29の時間的変化を取得しても構わない。
【0071】
次に、第二実施形態の形状校正方法の手順について説明する。
【0072】
図7および
図8に示すように、形状校正方法は、熟練作業者が触覚デバイス20を動かしたとき、現在の刺激子21〜29の出力値H
1〜
9(k)、および現在よりも前の時点での刺激子21〜29の出力値H
1〜
9(k−1)・H
1〜
9(k−2)を、学習済みのニューラルネットワーク160に入力する。
【0073】
ニューラルネットワーク160は、CADデータ上の表面起伏Wと、知覚形状W1とが一致するように校正した現在の刺激子21〜29の出力値H
1〜
9(k)を出力する。
【0074】
形状校正方法は、校正した現在の刺激子21〜29の出力値H
1〜
9´(k)に応じて、刺激子21〜29を動作させる。これにより、形状校正方法は、提示形状W´を校正する。
【0075】
これによれば、形状校正方法は、表面起伏Wの形状に知覚形状W1を近づけることができる。
従って、形状校正方法は、CADデータ上の表面起伏Wを熟練作業者に正確に知覚させることができる。
【0076】
このため、形状校正方法は、CADデータとして、金型のCADデータを用いた場合において、金型の面歪を修正するときに、表面起伏Wを正確に修正できる。
【0077】
ここで、所定の提示形状W´に応じて刺激子21〜29を上下動させた場合には、熟練作業者の触り方、つまり、触覚デバイス20を動かす速度や動かす方向等によって、知覚形状W1が変化する可能性がある。
【0078】
第二実施形態の形状校正方法では、触り方が変わった場合、ニューラルネットワーク160に入力される値(現在の刺激子21〜29の出力値H
1〜
9(k)、および現在よりも前の時点での刺激子21〜29の出力値H
1〜
9(k−1)・H
1〜
9(k−2))が変動する。
【0079】
前述のように、ニューラルネットワーク160は、CADデータの表面起伏Wと、知覚形状W1とが一致するように、現在の刺激子21〜29の出力値H
1〜
9(k)を校正し、当該校正結果H
1〜
9´(k)を出力する。
【0080】
つまり、第二実施形態の形状校正方法は、熟練作業者の触り方に応じて提示形状W´を校正することにより、表面起伏Wの形状に知覚形状W1を近づけているのである。
【0081】
このように、第二実施形態の形状校正方法は、刺激子21〜29の時間的変化に基づいた動的な校正方法である。
【0082】
なお、形状校正方法の用途は、本実施形態に限定されるものでない。すなわち、形状校正方法は、CADデータ上の表面起伏Wに対応する形状データおよび金型の面歪の修正内容等を学習データとしてニューラルネットワーク160に学習させることにより、金型の面歪の修正見積もりを求めることも可能である。
【0083】
形状校正方法は、必ずしも熟練作業者に表面起伏Wを知覚させるときに用いられる必要はない。すなわち、形状校正方法は、経験の浅い作業者に表面起伏Wを知覚させるときに用いられても構わない。この場合、ニューラルネットワーク160は、経験の浅い作業者の知覚形状W1と表面起伏Wの形状とが一致するように、提示形状W´を校正する。