ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6803971
(24)【登録日】2020年12月3日
(45)【発行日】2020年12月23日
(54)【発明の名称】視覚触覚統合呈示装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20201214BHJP
【ＦＩ】
G06F3/01 560
【請求項の数】12
【全頁数】15
(21)【出願番号】特願2019-508670(P2019-508670)
(86)(22)【出願日】2018年2月1日
(86)【国際出願番号】JP2018003486
(87)【国際公開番号】WO2018179826
(87)【国際公開日】20181004
【審査請求日】2019年4月8日
(31)【優先権主張番号】特願2017-60931(P2017-60931)
(32)【優先日】2017年3月27日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】特許業務法人太陽国際特許事務所
(72)【発明者】
【氏名】納谷 昌之
(72)【発明者】
【氏名】佐野 貴洋
【審査官】
滝谷 亮一
(56)【参考文献】
【文献】
特開２００８−０２７２２３（ＪＰ，Ａ）
【文献】
特開２０００−０２９５８９（ＪＰ，Ａ）
【文献】
特表２０１１−５１９０８２（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｆ ３／０１
(57)【特許請求の範囲】
【請求項1】
ハーフミラーと、
前記ハーフミラーのミラー面側に配置された、対象物の視覚情報を呈示する視覚呈示体と、
前記ハーフミラーの前記ミラー面を挟んで、前記視覚呈示体と対向して、前記ハーフミラーと該視覚呈示体との間の光学距離と等しい光学距離に配置される、触覚情報を呈示する触覚呈示体とを備えた視覚触覚統合呈示装置。
前記ハーフミラーのミラー面側に配置された、対象物の視覚情報を呈示する視覚呈示体と、
前記ハーフミラーの前記ミラー面を挟んで、前記視覚呈示体と対向して、前記ハーフミラーと該視覚呈示体との間の光学距離と等しい光学距離に配置される、触覚情報を呈示する触覚呈示体とを備えた視覚触覚統合呈示装置。
【請求項2】
前記触覚呈示体を触っているユーザの手指を照明する手指照明具を備えた請求項１に記載の視覚触覚統合呈示装置。
【請求項3】
前記手指照明具からの出射光が、前記触覚呈示体が載置される支持台に平行なシート状の光である請求項２に記載の視覚触覚統合呈示装置。
【請求項4】
前記手指照明具の照射光の波長が単色である請求項２または３に記載の視覚触覚統合呈示装置。
【請求項5】
前記波長の照射光が、６５０ｎｍ以上〜７００ｎｍ以下にピーク波長を有する、または、５００ｎｍ以上〜６５０ｎｍ以下にピーク波長を有する請求項４記載の視覚触覚統合呈示装置。
【請求項6】
前記視覚呈示体が、前記対象物の画像を表示する画像担持体である請求項１から５のいずれか１項に記載の視覚触覚統合呈示装置。
【請求項7】
前記視覚呈示体が、三次元物体である請求項１から５のいずれか１項に記載の視覚触覚統合呈示装置。
【請求項8】
前記触覚呈示体が、表面にテクスチャ構造を有する平面体もしくは三次元物体である請求項１から７のいずれか１項に記載の視覚触覚統合呈示装置。
【請求項9】
前記触覚呈示体が、人工皮膚感覚呈示デバイスを備えた請求項１から７のいずれか１項に記載の視覚触覚統合呈示装置。
【請求項10】
前記視覚呈示体としてディスプレイを備え、
該ディスプレイと前記人工皮膚感覚呈示デバイスとに接続され、前記ディスプレイに表示される画像の変化に連動して前記人工皮膚感覚呈示デバイスによる皮膚感覚呈示状態を変化させる情報処理部を備えた請求項９に記載の視覚触覚統合呈示装置。
該ディスプレイと前記人工皮膚感覚呈示デバイスとに接続され、前記ディスプレイに表示される画像の変化に連動して前記人工皮膚感覚呈示デバイスによる皮膚感覚呈示状態を変化させる情報処理部を備えた請求項９に記載の視覚触覚統合呈示装置。
【請求項11】
ユーザの手指の位置を検知するセンサを備え、
前記情報処理部が、前記センサにより取得された位置情報に基づいて、前記人工皮膚感覚呈示デバイスによる前記皮膚感覚呈示状態を制御する請求項１０記載の視覚触覚統合呈示装置。
前記情報処理部が、前記センサにより取得された位置情報に基づいて、前記人工皮膚感覚呈示デバイスによる前記皮膚感覚呈示状態を制御する請求項１０記載の視覚触覚統合呈示装置。
【請求項12】
前記視覚呈示体として情報端末を備えた請求項１から１１のいずれか１項記載の視覚触覚統合呈示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視覚で認識される情報と、皮膚感覚の１つである触覚で認識される情報とを統合して呈示する視覚触覚統合呈示装置に関する。【背景技術】
【0002】
視覚で認識される二次元もしくは三次元の画像を表示する表示装置は従来からよく知られている。他方、このような画像と連動させて凹凸情報などの触覚情報を出力する装置が近年提案されている（特開２０１６−１１０３８３号公報、特開２０１３−５０１９９２号公報および特開２００４−１４５４５６号公報など）。また、最近、人間の有する感覚のうちの１つの感覚による情報から他の感覚による情報を補完し、対象物を認知、解釈する感覚間相互作用（クロスモダリティ）についての研究が多くなされている。そして、人間の感覚が持つクロスモーダルな特性をインターフェース応用する技術が検討されている。
【0003】
特開２０１６−１１０３８３号公報には、視覚情報を表示する視覚情報表示部と触覚情報を呈示する触覚情報呈示部とを備えた触覚伝達装置が提案されている。視覚情報表示部において、対象物であるシャツを表示させ、その手触り感を触覚情報呈示部で呈示する。これにより、ユーザは対象物を視覚により認識すると共にその触感を体感することができる。【0004】
特開２０１３−５０１９９２号公報、特開２００４−１４５４５６号公報等には、対象物の画像情報を表示する画像情報出力手段と、対象物の表面状態に応じた情報に基づく変形により触覚情報を出力する触覚情報出力手段とを備えた情報出力装置が提案されている。特開２０１３−５０１９９２号公報、特開２００４−１４５４５６号公報等の情報出力装置は、物体表面の凹凸の形状を視覚と触覚を通じて正確に識別できるように構成されており、物体の材質感を情報として提供することができる。【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特開２０１６−１１０３８３号公報の触覚伝達装置では、視覚情報表示部と触覚情報呈示部とが個別に配置されており、実際に触っている部分と対象物の画像を表示する部分とは異なるため、クロスモーダル効果による視覚的な質感の向上は得られない。一方、特開２０１３−５０１９９２号公報および特開２００４−１４５４５６号公報では、画像情報出力手段と触覚情報出力手段とを積層して、画像表示と重ねて触覚情報を出力することができるため、物体の凹凸形状による材質感をよりリアルに感じる効果を得ることができる。しかしながら、画像情報出力手段と触覚情報出力手段とが積層されて構成されるものであるため、触覚情報出力手段を簡単に差し換えることはできない。すなわち、呈示できる触覚情報が制限され、多種多様な触感に対応させるのは困難である。また、画像情報出力手段に表示される画像がユーザ自身の手の影になってしまい。実際に触っている箇所の画像が見えづらくなるという不具合がある。さらに、対象物が三次元物体である場合への応用は難しい。
【0006】
本発明は、上記事情に鑑みてなされたものであり、二次元および三次元の対象物について、よりリアルな物質感、あるいは触感が体感可能な視覚触覚統合呈示装置を提供することを目的とする。【課題を解決するための手段】
【0007】
本発明の視覚触覚統合呈示装置は、ハーフミラーと、ハーフミラーのミラー面側に配置された、対象物の視覚情報を呈示する視覚呈示体と、
ハーフミラーのミラー面を挟んで、視覚呈示体と対向して、ハーフミラーと視覚呈示体との間の光学距離と等しい光学距離に配置される、触覚情報を呈示する触覚呈示体とを備えた視覚触覚統合呈示装置である。
【0008】
本発明の視覚触覚統合呈示装置は、触覚呈示体を触っているユーザの手指を照明する手指照明具を備えていることが好ましい。【0009】
上記手指照明具は、ミラー面と触覚呈示体との間に配置された、ミラー面および触覚呈示体の間にミラー面および触覚呈示体側への広がりが制限された照明光を照射することが好ましい。【0010】
また、上記手指照明具は、異なる２方向から照明光を照射することが好ましい。【0011】
手指照明具の照射光の波長は単色とすることが好ましい。【0012】
本発明の視覚触覚統合呈示装置において、視覚呈示体は、対象物の画像を表示する画像担持体であってもよいし、三次元物体からなる対象物そのものであってもよい。視覚呈示体が画像担持体である場合、「対象物の虚像」とは、対象物の画像の虚像を意味する。なお、画像担持体によって表示される画像は、静止画であっても動画であってもよい。また、ディスプレイ等に表示された画像であってもよいし、紙などに描かれた画像であってもよい。【0013】
なお、ミラー面と視覚呈示体との光学距離は、視覚呈示体が画像担持体である場合、その画像表示面からミラー面までの光学距離であり、視覚呈示体が三次元物体である場合、その視覚呈示体の最もミラー面側の点からミラー面までの光学距離である。【0014】
本発明の視覚触覚統合呈示装置において、触覚呈示体は、表面にテクスチャ構造を有する平面体もしくは三次元物体であってもよい。【0015】
なお、ミラー面と触覚呈示体との光学距離は、触覚呈示体が平面体である場合、ミラー面から触覚呈示体の面までの光学距離であり、触覚呈示体が三次元物体である場合、その触覚呈示体の最もミラー面側の点からミラー面までの光学距離である。【0016】
本発明の視覚触覚統合呈示装置は、触覚呈示体が、人工皮膚感覚呈示デバイスを備えていてもよい。皮膚感覚とは、皮膚にある受容器に基づく感覚の総称であり、触覚、圧覚、温覚、冷覚、痛覚を含む。人工皮膚感覚呈示デバイスとは、皮膚感覚を刺激する静電気、通電、振動、超音波、温度変化などを人工的に生じさせるデバイスである。
【0017】
本発明の視覚触覚統合呈示装置は、視覚呈示体としてディスプレイを備え、ディスプレイと人工皮膚感覚呈示デバイスとに接続され、ディスプレイに表示される画像の変化に連動して人工皮膚感覚呈示デバイスによる皮膚感覚呈示状態を変化させる情報処理部を備えていることが好ましい。【0018】
本発明の視覚触覚統合呈示装置は、ユーザの手指の位置を検知するセンサを備え、情報処理部が、センサにより取得された位置情報に基づいて、人工皮膚感覚呈示デバイスによる皮膚感覚呈示状態を制御するように構成されていることが好ましい。【0019】
本発明の上記視覚触覚統合呈示装置は、視覚呈示体として情報端末を備えてもよい。【発明の効果】
【0020】
本発明の視覚触覚統合呈示装置は、ハーフミラーと、ハーフミラーのミラー面側に配置された、対象物の視覚情報を呈示する視覚呈示体と、ハーフミラーのミラー面を挟んで、視覚呈示体と対向して、ハーフミラーと視覚呈示体との光学距離と等しい光学距離に配置される、触覚情報を呈示する触覚呈示体とを備えている。係る構成により、対象物の虚像を、触覚呈示体に一致させて表示することができるので、ユーザは対象物の虚像が表示された触覚呈示体を触りながら、虚像を視覚的に認識するため、視覚と触覚が同時に刺激されて、クロスモーダル効果を得て、対象物の質感をよりリアルに体感することができる。【図面の簡単な説明】
【0021】
【図1】本発明の第１の実施形態の視覚触覚統合呈示装置の概略構成を示す斜視図である。
【図3】本発明の第２の実施形態の視覚触覚統合呈示装置の概略構成を示す斜視図である。
【図5】本発明の第３の実施形態の視覚触覚統合呈示装置の概略構成を示す側面図である。
【図6】第３の実施形態の視覚触覚統合呈示装置の情報処理部による制御構成を示すブロック図である。
【図7】本発明の視覚触覚統合呈示装置における画像表示面、ミラー面および触覚呈示体の表面の配置の他の例を示す模式図である。
【図8】本発明の視覚触覚統合呈示装置を備えたインターネット通信可能なシステムを示す図である。
【発明を実施するための形態】
【0022】
以下、本発明の実施の形態について図面を参照して説明する。図１は、本発明の実施形態の視覚触覚統合呈示装置の概略構成を斜視図であり、図２は、本実施形態の視覚触覚統合呈示装置１の要部位置関係を示す側面図である。
【0023】
図１、図２に示すように、本実施形態の視覚触覚統合呈示装置１（以下において、単に「統合呈示装置１」とする。）は、ハーフミラー２０と、ハーフミラー２０のミラー面２２側に設けられた視覚呈示部４０と、ハーフミラー２０のミラー面２２を挟んで、光学的に対称に位置する触覚呈示部５０とを備えている。視覚呈示部４０には、対象物の視覚情報を呈示する視覚呈示体３０が配置されている。そして、触覚呈示部５０には、ミラー面を挟んで視覚呈示体３０と等しい光学距離に配置された触覚呈示体１０が備えられており、統合呈示装置１は対象物の虚像を、触覚呈示体１０に一致させて表示するように構成されている。ここで、ミラー面２２は、入射された光の一部を反射し、一部を透過する面である。【0024】
ここで、視覚呈示部４０は、統合呈示装置１における視覚呈示体３０を配置するための部位であり、同様に、触覚呈示部５０は、統合呈示装置１において触覚呈示体１０を配置するための部位である。【0025】
本実施形態において、視覚呈示部４０には、視覚呈示体３０が載置される支持板４１が備えられており、使用時にユーザが任意の視覚呈示体を支持板４１に載置することができる。【0026】
統合呈示装置１は、触覚呈示体１０が載置される支持台５とその支持台５上にハーフミラー２０および支持板４１を所定の位置に支持する支持軸６を備えている。ハーフミラー２０と支持板４１は支持軸６に沿って上下に移動可能に構成されていることが好ましい。【0027】
本発明において、視覚呈示体は、対象物の画像を表示することにより対象物の視覚情報を呈示する画像担持体であってもよいし、三次元物体である対象物そのものであってもよい。画像担持体は、その画像表示面に画像を表示するものであれば、特に制限はないが、例えば、一面に画像が描かれたシートなどの紙媒体であってもよいし、画像を表示するディスプレイであってもよい。ディスプレイとしてはフラットパネルディスプレイが適する。ディスプレイは、別体のコンピュータ本体に無線もしくは有線で接続され、コンピュータから受信した画像を表示するものであってもよいし、タブレット型コンピュータあるいはスマートフォンなどの携帯型情報端末のディスプレイであってもよい。【0028】
本発明において、触覚呈示体は平面体であってもよいし、三次元物体であってもよい。表面の材質には、特に制限はなく、呈示させたい触覚に応じて、金属、木、プラスチック、布あるいはゴムなどを用いることができる。また、表面にテクスチャ構造を有していてもよい。ここで、平面体とは、シート状あるいは薄い板状の部材をいうものとする。なお、互いに異なる触覚情報を呈示する複数の触覚呈示体を用意しておき、視覚呈示体によりその視覚情報が呈示される対象物に応じて、ユーザが触覚呈示部に適宜選択して配置するようにしてもよい。【0029】
本実施形態において、視覚呈示体３０は、対象物の二次元画像を表示する画像担持体であり、以下の本実施形態の説明においては、視覚呈示体３０を画像担持体３０と言い換える。画像担持体３０は、画像を表示する画像表示面３２を有し、その画像表示面３２が支持板４１側となるように配置されている。支持板４１は画像表示面３２に表示される画像をミラー面２２に映すことができる透明度を有するものであり、ガラスやアクリル等の可視光に透明な透明基板であることが好ましい。ガラスやアクリル板の表面の反射率は４％程度あり、画像表示面の明るさが板を介することにより低減されてしまうため、支持板４１の両面４２、４４（図２参照）は反射防止処理が施されていることが好ましい。支持板４１の両面４２、４４の可視光（３８０〜７８０ｎｍ）に対する反射率は、例えば１％未満であることが好ましい。【0030】
触覚呈示体１０は、例えば、ゴム素材からなるシートである。また、支持台５上に備えられている以外に、プラスチックシート１０Ａ、ステンレス板１０Ｂ、コルク板１０Ｃ…など触感の異なる複数のシートを備えている。【0031】
本実施形態においてハーフミラー２０のミラー面２２は、画像担持体３０側の面にあり、触覚呈示体１０の表面１２、ミラー面２２および画像表示面３２は、画像表示面３２とミラー面２２との光学距離ｈ１と、ミラー面２２と触覚呈示体１０の表面１２との光学距離ｈ２とが等しくなるように位置される。すなわち、ミラー面２２の任意の点Ｏから、この任意の点Ｏを通ってミラー面２２と垂直に交わる垂線の画像表示面３２との交点Ａまでの光学距離ｈ１と、同一垂線の触覚呈示体１０の表面１２との交点Ｂまでの光学距離ｈ２とが等しい。【0032】
本例において、画像表示面３２とミラー面２２との光学距離ｈ１は、支持板４１の厚みｄ１と屈折率ｎ１との積ｎ１・ｄ１と、支持板４１の下面４４とミラー面２２との距離Ｌ１との和すなわち、ｈ１＝ｎ１・ｄ１＋Ｌ１で表される。また、ミラー面２２と触覚呈示体１０の表面１２との光学距離ｈ２は、ハーフミラー２０の厚みｄ２と屈折率ｎ２との積ｎ２・ｄ２と、ハーフミラー２０の下面２４と表面１２との距離Ｌ２との和、すなわち、ｈ２＝ｎ２・ｄ２＋Ｌ２で表される。【0033】
上記の光学距離ｈ１とｈ２が等しくなるようにハーフミラー２０の位置および画像表示面３２の位置が調整されることにより、図２に示すように、ユーザがハーフミラー２０の上方（ミラー面２２側）からハーフミラー２０を通して触覚呈示体１０を見たときに、画像担持体３０の画像表示面３２に表示された画像の虚像が、触覚呈示体１０が配置されている位置に一致して表示される。ここで、一致して表示されるとは、虚像の像面が触覚呈示体１０の表面１２に位置していることをいう。なお、この触覚呈示体１０の表面１２は、ユーザが触り、触感を感じる面である。【0034】
このとき、触覚呈示体１０に画像が直接投影されているかのように見えるが、実際には、ユーザは、ミラー面２２で反射された画像の鏡像を見ており、画像担持体３０から触覚呈示体１０に像が直接投影されているわけではない。ユーザは画像表示面３２に表示されている画像の虚像を触覚呈示体１０上に視認していることになる。したがって、画像担持体３０は、対象物の鏡像画像を視覚情報として画像表示面３２に表示する必要がある。また、画像担持体３０の画像表示面３２の明るさは、ハーフミラー２０により反射された鏡像（虚像）の明るさによって、触覚呈示体１０自体の表面が視認されない程度の明るさとなるように調整することが好ましい。
なお、以下において、ユーザがハーフミラー２０のミラー面側から触覚呈示体１０を見る際の目の位置を観察部６０と称する。
【0035】
ユーザは、画像担持体３０が表示する画像（対象物の像）の虚像を触覚呈示体１０の表面１２に観察しつつ、その触覚呈示体１０の表面１２を手の指（手指）７５で触ることにより、対象物を実際に触っているような感覚を得ることができる。視覚と触覚による相互作用により、視覚情報が触覚情報により補完され、ユーザは視覚のみの場合と比較して虚像をよりリアルに対象物を認識することができ、また、触覚情報が視覚情報により補完され、ユーザは触覚のみの場合と比較してよりリアルな触感を体感することができる。【0036】
なお、対象物が金属製であれば、触覚呈示部５０にステンレス板１０Ｂを載置し、対象物がプラスチック製画像であれば、触覚呈示部５０にプラスチックシート１０Ａを載置する等、対象物の画像から視覚的に得られる質感と、触覚呈示体１０から触覚的に得られる質感を一致させることにより、ユーザはさらにリアルな物質感を体感することができる。【0037】
ハーフミラー２０は、ミラー面２２とミラー面２２に対向する面２４を備えており、ミラー面２２と対向する面２４が互いに平行に配置された部材である。ハーフミラー２０は、ミラー面２２に入射された光の少なくとも一部を反射し、一部を透過させるものであればよく統合呈示装置１における光学系の構成に応じて、ミラー面２２の反射率は１％以上９９％以下の範囲で適宜定めればよいが、４％以上８５％以下の範囲とすることがより好ましい。【0038】
ハーフミラー２０のミラー面２２と対向する面２４は、反射防止面とされていることが好ましい。反射防止面の反射率は、観察部から視認されるミラー面に対向する面２４での反射による像が、ミラー面２２での反射による像に二重映りしない程度の反射率であればよく、例えばミラー面２２の反射率の０．１倍未満とする。【0039】
反射防止面は、可視域の光に対する反射率が１％未満とすることが好ましく、０．５％以下とすることがより好ましい。このような反射率１％未満となる反射防止面は、誘電多層膜の形成、あるいは微細凹凸構造層の形成などの公知の反射防止処理により得ることができる。【0040】
なお、ミラー面２２における反射率、およびミラー面に対向する面２４における反射率は、必ずしも面全域に亘って均一でなくてもよい。【0041】
図１に示した実施形態において、ハーフミラー２０は、視覚呈示部４０側にミラー面２２を備えたものであるが、ミラー面２２を触覚呈示部５０側に備えていてもよい。この場合も、視覚呈示体３０により呈示された画像の虚像が触覚呈示体１０に一致するように両者の光学距離を調整すればよい。【0042】
なお、本発明において、「光学距離が等しい」とは厳密に同一であることを要するものではなく、ユーザが触覚呈示体に触れる際に、ユーザが触れている面（触覚呈示体の表面）と、ユーザにより視覚的に認識される虚像の位置にズレを感じない程度に一致していればよい。したがって、触覚呈示体１０に違和感なく鏡像が一致して表示されていれば、上述した画像表示面３２とミラー面２２との光学距離と、触覚呈示体１０の表面１２とミラー面２２との光学距離は等しいと看做してよい。【0043】
本発明の統合呈示装置によれば、触覚呈示体の自由度が高く、様々な対象物に対応させることが可能である。また、触覚呈示体に表示されているのは虚像であるため、ユーザの手指による影ができず、ユーザは高い臨場感を得ることができる。【0044】
さらに、本実施形態の統合呈示装置１は、触覚呈示体１０に接触するユーザの手指７５を照明する手指照明具７０を備えている。【0045】
既述の通り、触覚呈示体１０に表示される虚像にはユーザの手指による影は生じない。一方で、ユーザの手指に虚像が一部重なり、ユーザの手指に虚像の一部が表示される場合がある。手指照明具７０によって、ユーザの手指に表示される虚像の輝度と比較して十分高い輝度で手指を照明することにより、手指に表示された虚像をユーザに視認できないようにすることができる。手指が照明されて明るくなることにより、虚像の輝度が相対的に低下し、ヒトの目に認知されなくなるからである。このように手指照明具７０を備えて手指を照らし、手指に表示されている虚像が見えず、ユーザ自身の手指が視認され状態とすることにより、触覚呈示体１０を触る感覚がさらに増し、臨場感が向上する。
【0046】
手指照明具７０は、ミラー面２２および触覚呈示体１０を照明することなく、ユーザの手指７５を照明するように構成された照明具であることが好ましい。ここで、「ミラー面２２および触覚呈示体１０を照明することなく」とは、照明光の主光線がミラー面および触覚呈示体１０に入射されないことを意味し、上記効果に影響のない範囲で照明光の一部がミラー面２２あるいは触覚呈示体１０に入射される場合までを排除するものではない。【0047】
本実施形態における手指照明具７０は、統合呈示装置１の高さ方向においてミラー面２２と触覚呈示体１０との間に配置されて、ミラー面２２と触覚呈示体１０との間に、ミラー面２２側および触覚呈示体１０側への広がりが制限された光を照射する。ここでは、支持台５に略平行に進行する光７２を照射している。手指照明具７０は、ユーザの手指を照明することができればよく、手指をユーザの前方から照明する、もしくは手指を側方から照明するように設けられていることが好ましい。図１に示すように、異なる２方向（前方と側方）にそれぞれ設置されていてもよい。【0048】
手指照明具７０からの出射光７２は、支持台５に平行なシート状の光であることが好ましく、そのようなシート状の光はＬＥＤ光源と、シリンドリカルレンズとを組み合わせて実現することができる。ＬＥＤ光源から出射された光をシリンドリカルレンズの作用により支持台５に略平行なシート状に広がる光として照射させることができる。【0049】
手指照明具７０に備えられる光源は、白色光源を用いてもよいが、単色とすることが好ましい。単色の光源としては、赤色もしくは緑色の光源が好ましく、例えば、６５０ｎｍ超〜７００ｎｍにピーク波長を有する赤色ＬＥＤ、もしくは５００ｎｍ〜６５０ｎｍにピーク波長を有する緑色ＬＥＤを用いることができる。赤色もしくは緑色により照明された手指は、ユーザに不快な感覚を生じさせることなく、かつ手指をはっきりと見せることが可能となるからである。【0050】
図３は、第２の実施形態の統合呈示装置２の概略構成を示す斜視図であり、図４はその側面図である。第１の実施形態の統合呈示装置１と同一の構成要素には同一の符号を付し、詳細な説明は省略する。以下の図面において同様とする。【0051】
第２の実施形態の統合呈示装置２は、第１の実施形態の統合呈示装置１においてさらに、視覚呈示部４０に照明光を照射する照明部８０を備えている。視覚呈示体が、表面に対象物の像が描かれた紙等の画像担持体、あるいは対象物自体である場合などであっても、視覚呈示体に照明光を照射することにより、その像をミラー面２２に明るく映すことができる。本例では、視覚呈示部４０に対し、上方から照明光を照射するように構成されているが、視覚呈示部４０に対し、下方から照明光を照射するように構成されていてもよい。照明部８０は、蛍光灯あるいは白色ＬＥＤ等により構成することができる。【0052】
また、本実施形態の統合呈示装置２においては、視覚呈示部４０に配置されている視覚呈示体が対象物３５自体であり、触覚呈示部５０に配置されている触覚呈示体１５も同様に三次元物体である。図３に示すように、支持板４１上に配置された対象物３５は、断面Ｌ字形状を有する三次元物体である。対して、触覚呈示部５０に呈示された触覚呈示体１５は直方体形状の三次元物体である。【0053】
対象物（視覚呈示体）３５および触覚呈示体１５が共に三次元物体であるため、ここでは、その視覚呈示体３５の最もミラー面２２側の点からミラー面２２までの光学距離と、触覚呈示体１５の最もミラー面２２側の点からミラー面２２までの光学距離が等しくなるように、支持板４１およびハーフミラー２０の位置が調整されている。ここでは、対象物３５の最もミラー面２２側の点は支持板４１の上面４２にあり、触覚呈示体１５の最もミラー面２２側の点は触覚呈示体１５の表面１７にある。【0054】
このように視覚呈示体が三次元物体である対象物３５自体であるとき、観察部６０において支持板４１の下面４４から視認される対象物３５の虚像が、触覚呈示体１５が配置されている位置に一致して観察される。すなわち、本統合呈示装置２は、視覚呈示体３５の虚像を触覚呈示体１５に一致させて表示する。【0055】
本装置２によって、第１の実施形態の統合呈示装置１の場合と同様に、ユーザは、触覚呈示体１５の表面１７を手指（手の指）で触り、触覚呈示体１５の表面１７の触感を感じながら、触覚呈示体１５に一致して表示される対象物３５の虚像を見ることにより、対象物３５を実際に触っているような感覚を得ることができる。【0056】
図５は、本発明の第３の実施形態の視覚触覚統合呈示装置３の概略構成を示す側面図である。第１および第２の実施形態の視覚触覚統合呈示装置１、２においては、触覚呈示体１０を支持する支持台５を備えた構成について説明したが、本実施形態の視覚触覚統合呈示装置３は、支持台５を備えていない。支持台５を備える代わりに、既存の机に設置するための万力固定部８を支持軸６の底部に備えており、既存の机の天板７を万力で挟み固定することにより、統合呈示装置３を設置して使用することができる。
【0057】
また、本実施形態の統合呈示装置３においては、第１の実施形態の統合呈示装置１の視覚呈示部４０に備えられている支持板４１の代わりに、図５に示すように、画像担持体の一形態であるフラットパネルディスプレイ３１（以下においてディスプレイ３１という。）を、その画像表示面３２が直接ハーフミラー２０に対向するように保持する画像担持体ホルダー４５を備えている。画像担持体ホルダー４５は、図５に示すように、少なくとも一辺に開口を有し、ディスプレイ３１をその開口部からスライド挿入させて、その少なくとも対向する二端を下面から支えるものである。なお、画像担持体ホルダーとしては、画像担持体の少なくとも対向する二端を下面から支える枠部材などであってもよい。【0058】
本実施形態においても、画像表示面３２とミラー面２２との光学距離ｈ３１と、ミラー面２２と触覚呈示体１５の表面１７との光学距離ｈ３２とが等しくなるようにミラー面２２、画像表示面３２の位置が調整されている。【0059】
本例において、画像表示面３２とミラー面２２との光学距離ｈ３１は、画像表示面３２とミラー面２２との距離Ｌ１、すなわちｈ３１＝Ｌ１であり、ミラー面２２と触覚呈示体１５の表面１７との光学距離ｈ３２は、ハーフミラー２０の厚みｄ２と屈折率ｎ２との積ｎ２・ｄ２と、ミラー面２２と対向する面２４と触覚呈示体１５の表面１７との距離Ｌ２との和、すなわち、ｈ３２＝ｎ２・ｄ２＋Ｌ２で表される。【0060】
上記の光学距離ｈ３１とｈ３２が等しくなるようにハーフミラー２０の位置および画像表示面３２の位置が調整されることにより、観察部からは、画像担持体３０の画像表示面３２に表示された画像の鏡像（虚像）が触覚呈示体１０の表面に一致して観察される。【0061】
本実施形態の統合呈示装置３においては、さらに、ユーザの手指の位置を検知する位置検出センサ９０を備えている。また、触覚呈示体１０が、人工皮膚感覚呈示デバイス１８を備えている。さらに、ディスプレイ３１、位置検出センサ９０および触覚呈示体１０に接続された情報処理部１００を備えている。位置検出センサ９０としては、公知のモーションキャプチャデバイスを適宜用いることができる。
【0062】
人工皮膚感覚呈示デバイス１８とは、ヒトの皮膚にある受容器にもとづく感覚、具体的には、触覚、圧覚、温覚、冷覚および痛覚の少なくとも１つを刺激する信号を生じさせるデバイスである。触覚呈示体１０の表面１７のユーザが触れる部分に、静電気、通電、振動、超音波、温度変化などを生じさせることにより、皮膚感覚を刺激して、ユーザに、対象物をよりリアルに体感させることが可能となる。【0063】
具体的な人工皮膚感覚呈示デバイス１８としては、温度変化を生じさせるヒーターあるいはクーラー、振動を生じさせる圧電素子、静電素子、さらには超音波を発生する超音波発生素子などが挙げられ、これらを１つもしくは複数組み合わせて備える。【0064】
なお、上記の触覚呈示体１０の表面の状態を変化させる触覚呈示体１０に備えられる人工皮膚感覚呈示デバイスの他に、触覚呈示体１０の外部に配置される、さらなる人工皮膚感覚呈示デバイスを備えていてもよい。例えば、触覚呈示部５０に位置するユーザの手指に、温風、冷風などを吹き付けるブロア、ユーザの手指表面に直接振動触覚を与える超音波振動子アレイなどが挙げられる。【0065】
情報処理部１００は、ディスプレイ３１によって表示する画像表示と、人工皮膚感覚呈示デバイス１８により呈示する触覚情報を連動させ、画像に応じた最適な触感を生じさせるように制御する制御装置である（図６参照）。情報処理部１００は、中央処理装置（ＣＰＵ）、主記憶装置、補助記憶装置、入出力インターフェースおよび通信インターフェースなどの周知のハードウェア構成を備えたコンピュータに実装されている。コンピュータにはディスプレイ３１および人工皮膚感覚呈示デバイス１８を連動して制御するための所定のプログラムがインストールされており、このプログラムを実行することにより、画像表示と触覚情報を連動させる制御が実現される。情報処理部１００は、ディスプレイ３１を備えたタブレット型コンピュータなどの携帯型情報端末に実装されていてもよい。【0066】
対象物が振動体である場合、人工皮膚感覚呈示デバイス１８として振動板を備えていれば、情報処理部１００の制御により、ディスプレイ３１に振動体の画像（振動している振動体の動画）を表示すると共に、振動板を振動させて触覚呈示体１０の表面を振動させることができる。これにより、触覚呈示体１０を触るユーザに、あたかも振動体に触っているような錯覚を与えることができる。【0067】
人工皮膚感覚呈示デバイス１８として、特開２０１３−５０１９９２号公報に記載のトポロジ表示ユニット、あるいは特開２００４−１４５４５６号公報に記載の触覚情報出力手段などを適用してもよい。また、その他、水平振動アレイ、垂直振動アレイ、凹凸回転体、超音波振動子、ヒーター、ペルチエ素子（冷却素子）あるいは電極アレイなどを適用することもできる。これらを適用すれば、対象物に応じて触覚呈示体１０の表面形状を変化させることができる。【0068】
また、情報処理部１００は、位置検出センサ９０により検出されたユーザの手指の位置情報に応じてディスプレイ３１における画像表示および人工皮膚感覚呈示デバイス１８による皮膚感覚呈示状態の一方、もしくは両方を制御する。【0069】
本実施形態のように、視覚情報と触覚情報を連動させることにより、ユーザはさらにリアルな臨場感を体感することができる。【0070】
本発明の統合呈示装置においては、スピーカーを備えてもよく、画像表示に連動させて音を発生させるようにしてもよい。スピーカーとしては、視覚呈示体の一形態であるタブレット型コンピュータあるいはスマートフォンなどに内蔵のスピーカーを用いてもよい。視覚情報、触覚情報に加え、聴覚情報を連動させて呈示することで、視覚、触覚および聴覚が同時に刺激されて、クロスモーダル効果によりユーザに高い臨場感を与えることができる。
【0071】
上記各実施形態の視覚触覚統合呈示装置においては、対象物の像が表示される画像表示面、ミラー面および触覚呈示体の表面の位置関係は、互いに平行な構成であるが、これらは平行でなくても構わない。図７は、本発明の視覚触覚統合呈示装置における画像表示面、ミラー面および触覚呈示体の表面の配置の他の例を示す模式図である。【0072】
図７においては、画像表示面３２と触覚呈示体１０の表面１２とがミラー面２２に対して光学的に対称に配置されている。すなわち、画像表示面３２と触覚呈示体１０の表面１２との対応する位置同士のミラー面２２に対する光学距離が等しくなるように配置されている。画像表示面３２の所定位置と対応する触覚呈示体の表面１２の位置とは、ミラー面２２の任意の点Ｏ１に垂直な１本の垂線Ｋ１が画像表示面３２と交わる点Ａ１に対して、その垂線Ｋ１が触覚呈示体１０の表面１２と交わる位置Ｂ１である。ミラー面２２の他の任意の点Ｏ２に垂直な垂線Ｋ２が画像表示面３２と交わる点Ａ２に対応する触覚呈示体１０の表面１２の位置は、その垂線Ｋ２が触覚呈示体１０の表面１２と交わる点Ｂ２である。画像表示面３２と触覚呈示体１０の表面１２との対応する位置同士のミラー面２２に対する光学距離が等しい関係にあるとき、Ａ１Ｏ１の光学距離＝Ｂ１Ｏ１の光学距離、Ａ２Ｏ２の光学距離＝Ｂ２Ｏ２の光学距離、である。【0073】
画像表示面３２とミラー面２２との光学距離、および触覚呈示体１０の表面１２とミラー面２２との光学距離がその物理的距離と等しい場合には、図７に示すように、画像表示面３２、触覚呈示体１０の表面１２およびミラー面２２上の線を延長すると、３つ延長線は一点Ｐで交わる。そして、３つの延長線はこの点Ｐを頂点とした二等辺三角形の等しい二辺６１、６２とその二辺６１、６２によりなされる角を等分する中線６３を構成するものとなる。【0074】
上記の構成の場合にも観察部６０から視覚呈示体３０の画像表示面３２に表示された画像の虚像が、触覚呈示体１０の表面１２の位置に一致して見え、第１〜第３の実施形態の統合呈示装置と同様の効果を得ることができる。【0075】
本発明の視覚触覚統合呈示装置は、図８に示すようなインターネットに接続して遠隔地と通信可能なシステムに適用することができる。例えば、視覚触覚統合呈示装置１において、視覚呈示体として情報端末３８を備え、この情報端末３８によりインターネットによる通信が可能なシステム１０１を構成することもできる。情報端末３８は視覚呈示体として統合呈示装置１の視覚呈示部４０の支持板４１上に配置される。この情報端末３８の無線もしくは有線の通信機能によりインターネットに接続して、インターネット上の他の情報端末３９からの画像情報、音声情報等を受信することができる。他の情報端末３９で取得された対象物の画像を情報端末３８で再現し、その虚像を触覚呈示体１０に一致させて表示することにより、ユーザは、遠隔地に存在する対象物をあたかも実際に触っているように感じることができる。
【符号の説明】
【0076】
１、２、３ 視覚触覚統合呈示装置５ 支持台
６ 支持軸
７ 天板
８ 万力固定部
１０ 触覚呈示体
１０Ａ プラスチックシート
１０Ｂ ステンレス板
１０Ｃ コルク板
１２、１７ 触覚呈示体の表面
１８ 人工皮膚感覚呈示デバイス
２０ ハーフミラー
２２ ミラー面
２４ ハーフミラーのミラー面と対向する面
３０ 画像担持体（視覚呈示体）
３１ フラットパネルディスプレイ
３２ 画像表示面
３５ 視覚呈示体（対象物）
３８、３９ 情報端末
４０ 視覚呈示部
４１ 支持板
４２ 支持板の上面
４４ 支持板の下面
４５ 画像担持体ホルダー
５０ 触覚呈示部
６０ 観察部
６１、６２ 辺
６３ 中線
７０ 手指照明具
７２ 光
７５ 手指
８０ 照明部
９０ 位置検出センサ
１００ 情報処理部
１０１ システム