(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162610
(43)【公開日】2024-11-21
(54)【発明の名称】温覚提示装置、温覚提示制御装置および温覚提示制御プログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20241114BHJP
G02B 27/02 20060101ALI20241114BHJP
H04N 5/64 20060101ALI20241114BHJP
【FI】
G06F3/01 560
G02B27/02 Z
H04N5/64 511A
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023078300
(22)【出願日】2023-05-11
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】西澤 昌宏
(72)【発明者】
【氏名】小峯 一晃
(72)【発明者】
【氏名】界 瑛宏
【テーマコード(参考)】
2H199
5E555
【Fターム(参考)】
2H199CA04
2H199CA30
2H199CA66
2H199CA75
2H199CA77
2H199CA89
2H199CA91
5E555AA07
5E555AA08
5E555AA27
5E555BA01
5E555BA38
5E555BB38
5E555BC04
5E555BC08
5E555BE17
5E555CB74
5E555CC22
5E555DA08
5E555DA13
5E555DA24
5E555DA40
5E555DB53
5E555DB57
5E555DC13
5E555DD06
5E555FA00
(57)【要約】
【課題】HMDの姿勢が変化しても、仮想的な熱源の方向を非接触で提示することが可能な温覚提示装置を提供する。
【解決手段】温覚提示装置2は、LED光を伝達する複数の光ファイバ20と、ヘッドマウントディスプレイ(HMD)1の下部に備えられ、人物の頬の周囲に複数の光ファイバ20の出射端を人物側に向けて保持する光ファイバ保持部21と、HMD1の位置および姿勢に応じた光ファイバごとの輝度を制御する輝度制御情報に基づいて、光ファイバごとの入射端に輝度を変えてLED光を入射するLED発光装置22と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
LED光により温覚を提示する温覚提示装置であって、
前記LED光を伝達する複数の光ファイバと、
ヘッドマウントディスプレイの下部に備えられ、人物の頬の周囲に前記複数の光ファイバの出射端を前記人物側に向けて保持する光ファイバ保持部と、
前記ヘッドマウントディスプレイの位置および姿勢に応じた前記光ファイバごとの輝度を制御する輝度制御情報により、前記光ファイバごとの入射端に輝度を変えて前記LED光を入射するLED発光部と、
を備えることを特徴とする温覚提示装置。
【請求項2】
前記ヘッドマウントディスプレイの下部に備えられ、前記人物の首元の後ろ側周囲に前記複数の光ファイバの出射端を前記人物側に向けて保持する第2の光ファイバ保持部を、さらに備えることを特徴とする請求項1に記載の温覚提示装置。
【請求項3】
前記輝度制御情報は、前記光ファイバごとの前記LED光のデューティ比であって、
前記LED発光部は、
前記光ファイバの数に対応したLED光源部と、
前記輝度制御情報である前記LED光のデューティ比によりPWM信号を生成し、前記PWM信号により前記LED光源部の光ファイバごとのLED光の輝度を制御するLED輝度制御部と、
を備えることを特徴とする請求項1または請求項2に記載の温覚提示装置。
【請求項4】
少なくとも人物の頬の周囲に複数の光ファイバの出射端を前記人物側に向けて保持する光ファイバ保持部をヘッドマウントディスプレイの下部に備えるとともに、前記光ファイバごとの入射端にLED光を入射するLED発光部を備えた温覚提示装置を制御する温覚提示制御装置であって、
仮想熱源の強さと、前記出射端から出射されるLED光の照射点から前記仮想熱源への方向と前記照射点における法線方向とのなす角の大きさとによって、前記光ファイバごとに輝度を算出する光ファイバ別輝度算出部と、
前記光ファイバの最大輝度に対する前記光ファイバ別輝度算出部で算出された輝度の割合により、前記LED発光部においてLEDが発光する輝度を制御する輝度制御情報を生成する輝度制御情報生成部と、
を備えることを特徴とする温覚提示制御装置。
【請求項5】
前記仮想熱源は点熱源であって、前記光ファイバ別輝度算出部は、
前記照射点から前記点熱源への方向と、前記照射点における法線方向とのなす角をθとしたとき、前記照射点ごとにcosθの値を算出する熱源方向算出部と、
前記cosθの値と、前記点熱源の強さと、前記点熱源から前記照射点までの距離とにより、前記照射点における照度を算出する照射点照度算出部と、
前記照射点の照度から、前記照射点に対応する光ファイバの前記輝度を算出する輝度算出部と、
を備えることを特徴とする請求項4に記載の温覚提示制御装置。
【請求項6】
前記仮想熱源は平行熱源であって、前記光ファイバ別輝度算出部は、
前記照射点から前記平行熱源への方向と、前記照射点における法線方向とのなす角をθとしたとき、前記照射点ごとにcosθの値を算出する熱源方向算出部と、
前記cosθの値と、前記平行熱源の強さとにより、前記照射点における照度を算出する照射点照度算出部と、
前記照射点の照度から、前記照射点に対応する光ファイバの前記輝度を算出する輝度算出部と、
を備えることを特徴とする請求項4に記載の温覚提示制御装置。
【請求項7】
コンピュータを、請求項4から請求項6のいずれか一項に記載の温覚提示制御装置として機能させるための温覚提示制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、温覚提示装置、温覚提示制御装置および温覚提示制御プログラムに関する。
【背景技術】
【0002】
バーチャルリアリティ(VR)技術の発達によって、ヘッドマウントディスプレイ(HMD)を装着することで、没入感の高い全周映像コンテンツを体験できるようになってきている。
近年では、視聴覚のみならず触覚メディアをHMDに搭載するシステムが様々開示されており(例えば、非特許文献1)、これまで以上の没入感でVR空間あるいはメタバースを体験できるようになることが期待されている。
特に温覚については、ペルチェ素子を用いて接触面の皮膚表面温度を制御することで温冷感の提示を試みる技術が開示されている(非特許文献2)。この技術では、人物の首回りにペルチェ素子を肌に接触させて配置し、VR空間上の仮想的な熱源となるオブジェクトの方向に対応したペルチェ素子を加熱することで熱による方向提示を行う。
また、手にLED光を照射し、皮膚表面温度を上昇させて温覚を提示する手法も開示されている(非特許文献3)。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】亀岡嵩幸,“触覚とHMD:Haptopusの提案”,日本バーチャルリアリティ学会誌,26巻3号,pp.17-20,2021年9月30日発行
【非特許文献2】小野龍一,伊藤亘輝,“首への熱刺激によるVR体験者への方向提示の提案”,エンタテインメントコンピューティングシンポジウム2018論文集,Vol2018,pp.220-223,2018年9月6日発行
【非特許文献3】界瑛宏,山口勉,三武裕玄,長谷川晶一,“HMDVRのための可視光LEDによる手への非接触型温覚提示”,日本バーチャルリアリティ学会論文誌,24巻1号,pp.83-92,2019年3月31日公開
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献2に記載の技術のようにペルチェ素子を用いた場合、ペルチェ素子を肌に接触させ違和感が生じるため、非接触な温覚提示の手法が望まれていた。
また、非特許文献2に記載の技術のように、人物の首回りにペルチェ素子を配置する手法では、人物が頭部を動かしてHMDの姿勢が変わった場合、HMDの正面方向と首の正面方向とが一致しなくなるため、正しく熱源の方向を提示することができないという問題がある。
また、非特許文献3に記載の技術は、仮想的な熱源の温覚を非接触で提示することは可能であるが、熱源の方向を提示することができないという問題がある。
【0005】
そこで、本発明は、HMDの姿勢が変化しても、仮想的な熱源の方向を非接触で提示することが可能な温覚提示装置、温覚提示制御装置および温覚提示制御プログラムを提供することを課題とする。
【課題を解決するための手段】
【0006】
前記課題を解決するため、本発明に係る温覚提示装置は、LED光により温覚を提示する温覚提示装置であって、光ファイバと、光ファイバ保持部と、LED発光部と、を備える構成とした。
【0007】
かかる構成において、温覚提示装置は、ヘッドマウントディスプレイの下部に備えられた光ファイバ保持部によって、LED光を伝達する複数の光ファイバの出射端を、人物の頬の周囲に人物側に向けて保持する。
これによって、温覚提示装置は、光ファイバの出射端を、人物の頬の周囲に離間して、非接触の状態で固定することができる。
そして、温覚提示装置は、LED発光部によって、ヘッドマウントディスプレイの位置および姿勢に応じた光ファイバごとの輝度を制御する輝度制御情報により、光ファイバごとの入射端に輝度を変えてLED光を入射する。
これによって、温覚提示装置は、ヘッドマウントディスプレイの位置や姿勢が変化しても、輝度制御情報によって、それぞれの光ファイバの輝度を制御することができるため、仮想的な熱源の方向に対応した温覚を提示することができる。
【0008】
また、前記課題を解決するため、本発明に係る温覚提示制御装置は、少なくとも人物の頬の周囲に複数の光ファイバの出射端を前記人物側に向けて保持する光ファイバ保持部をヘッドマウントディスプレイの下部に備えるとともに、前記光ファイバごとの入射端にLED光を発光するLED発光部を備えた温覚提示装置を制御する温覚提示制御装置であって、光ファイバ別輝度算出部と、輝度制御情報生成部と、を備える。
【0009】
かかる構成において、温覚提示制御装置は、光ファイバ別輝度算出部によって、仮想熱源の強さと、出射端から出射されるLED光の照射点から仮想熱源への方向と照射点における法線方向とのなす角の大きさとによって、光ファイバごとの輝度を算出する。
そして、温覚提示制御装置は、輝度制御情報生成部によって、光ファイバの最大輝度に対する光ファイバ別輝度算出部で算出された輝度の割合により、LEDが発光する輝度を制御する輝度制御情報を生成し、温覚提示装置のLED発光部に出力する。
これによって、温覚提示制御装置は、照射点から仮想熱源への方向と照射点における法線方向とのなす角が小さいほど輝度を強くすることで、温覚提示装置を介して、仮想熱源の方向を非接触で温覚提示することができる。
なお、温覚提示制御装置は、コンピュータを、温覚提示制御装置として機能させるためのプログラムで動作させることができる。
【発明の効果】
【0010】
本発明によれば、HMDの姿勢が変化しても、仮想的な熱源の方向を非接触で提示することができる。
【図面の簡単な説明】
【0011】
【
図1】本発明の実施形態に係る温覚提示装置および温覚提示制御装置を備えた温覚提示システムの全体構成図である。
【
図2】HMDを透視して斜視する温覚提示装置の光ファイバ保持部の斜視図である。
【
図3】温覚提示装置の光ファイバ保持部の上面図である。
【
図4】温覚提示装置のLED発光部の構成を示す構成図である。
【
図5】本発明の第1実施形態に係る温覚提示制御装置の構成を示すブロック構成図である。
【
図6】第1実施形態における人物の頭部に対する光ファイバの配置と点熱源との関係を示す模式図である。
【
図7】頭部を楕円柱でモデル化した図であって、(a)は頭部座標系の原点に対する楕円の長軸半径および短軸半径を示す図、(b)は頭部座標系の原点に対する光ファイバの下方照射位置を示す図である。
【
図8】人物の頭部に対する1つの光ファイバと点熱源との関係を示す模式図である。
【
図9】本発明の第1実施形態に係る温覚提示制御装置の動作を示すフローチャートである。
【
図10】本発明の第2実施形態に係る温覚提示制御装置の構成を示すブロック構成図である。
【
図11】第2実施形態における人物の頭部に対する光ファイバの配置と平行熱源との関係を示す模式図である。
【
図12】本発明の第2実施形態に係る温覚提示制御装置の動作を示すフローチャートである。
【
図13】温覚提示装置の変形例を示す構成図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について図面を参照して説明する。
[温覚提示システムの全体構成]
まず、
図1を参照して、本発明の実施形態に係る温覚提示システムの全体構成について説明する。
【0013】
温覚提示システム100は、ヘッドマウントディスプレイ(以下、HMD)1を装着した人物Hに対して、仮想の熱源により温覚を提示するものである。ここで、温覚とは、仮想の熱源となるオブジェクトの温かさを感じる温度感覚である。
温覚提示システム100は、HMD1と、温覚提示装置2と、温覚提示制御装置3と、を備える。
【0014】
HMD1は、人物Hの頭部に装着され、人物Hの頭の位置や姿勢(方向)に応じて、仮想空間の映像(VR[Virtual Reality:仮想現実]映像)を表示するものである。ここでは、HMD1を、VR映像を表示するVR用HMDの例で説明するが、現実世界の映像に仮想物体を重畳させるMR(Mixed Reality:複合現実)映像を表示するMR用HMDであっても構わない。
【0015】
温覚提示装置2は、LED光により温覚を提示するものである。
ここでは、温覚提示装置2は、LED光を人物Hの肌に照射し、光エネルギーにより非接触で肌に熱を発生させることで、温覚を提示する。
温覚提示装置2は、光ファイバ保持部21によりHMD1の下部の顔(頬)周囲部分に固定した複数の光ファイバ20の出射端から、LED発光装置22が発光するLED光を照射する。
【0016】
温覚提示制御装置3は、温覚提示装置2が発光するLED光の輝度を制御するものである。
温覚提示制御装置3は、HMD1の位置および姿勢に応じて、仮想の熱源に対して、LED発光装置22が発光するLED光の輝度を光ファイバ20(201,202,…,20n;nは予め定めた光ファイバの本数)ごとに制御する。
【0017】
これによって、温覚提示システム100は、人物Hが装着したHMD1の位置および姿勢に応じて光ファイバ20から照射されるLED光を制御することで、仮想の熱源からの温覚を非接触で人物Hに提示することができる。
以下、温覚提示システムの各構成について説明する。なお、HMD1は、一般的な公知のものを使用することができるため、ここでは、詳細な説明を省略する。
【0018】
[温覚提示装置の構成]
まず、温覚提示装置2の構成について説明する。
図1に示すように、温覚提示装置2は、光ファイバ20(20
1,20
2,…,20
n)と、光ファイバ保持部21と、LED発光装置22と、を備える。
【0019】
(光ファイバ)
光ファイバ20(201,202,…,20n)は、LED発光装置22が発光するLED光を伝達するものである。
光ファイバ20は、LED光の入射端がLED発光装置22内部に組み込まれ、出射端が光ファイバ保持部21によってHMD1の下部で人物Hの顔周辺を照射する位置に保持される。
【0020】
ここでは、光ファイバ20を保護するため、光ファイバ201,202,…,20nを、HMD1の上部からLED発光装置22までを、網組チューブ20Tによって纏めている。また、ここでは、光ファイバ20がHMD1の前面を経由しているが、HMD1をMR用HMDとする場合、人物Hの視界に入らないように、光ファイバ20をHMD1の側面を経由させて上部で纏めてもよい。
【0021】
(光ファイバ保持部)
光ファイバ保持部21は、HMD1の下部に、複数の光ファイバ20の出射端を、人物Hの顔(頬)の周囲に肌から離間して保持するものである。
光ファイバ保持部21は、
図2,
図3に示すように、光ファイバ終端保持部210と、照射位置固定部211と、HMD接続部212と、を備える。
図2は、HMD1を透視して斜視する光ファイバ保持部21の斜視図である。
図3は、光ファイバ保持部21の上面図である。
【0022】
光ファイバ終端保持部210は、光ファイバ20の光が出射する終端である出射端を保持するものである。
光ファイバ終端保持部210は、光ファイバ20の出射端を保持し、光を通過させる開口部210Aを有する。なお、光ファイバ終端保持部210は、図示を省略するが、光ファイバ20の軸方向に二重化したり、軸方向の厚みを大きくしたり等、光ファイバ20の曲げへの負荷を防止する構造が好ましい。
【0023】
照射位置固定部211は、人物の顔の水平方向の頬近傍に沿って、光ファイバ20の出射端を固定して配置するものである。
照射位置固定部211は、例えば、平均的な青年男性の頭部の前後の長さである頭長を長径、顔の幅である頬弓幅を短径とする楕円形状に対して、数cm(2~3cm)程度、径の長さを大きくした楕円形状の一部(ここでは、半楕円形状)とする。この形状は、円形状の一部(例えば、半円形状)であっても構わない。
なお、頭部のモデル化については、
図7を参照して後記する。
【0024】
照射位置固定部211は、光ファイバ終端保持部210を予め定めた光ファイバ20の数n(例えば、n=7)に応じて、光ファイバ終端保持部210を光ファイバ20の出射端が内側(人物側)に向くように離間して配置する。ここで、各光ファイバ20の光の照射方向は、楕円形状で頭部を模式化した楕円の法線に沿って内側の向きとする。
【0025】
HMD接続部212は、光ファイバ保持部21本体をHMD1の下部に接続するものである。例えば、HMD接続部212は、ネジ穴212Aを介して、HMD1の下部にネジ止めする。もちろん、HMD接続部212は、ネジ以外でHMD1と着脱自在に構成してもよい。
これによって、光ファイバ保持部21は、HMD1の下部である人物の頬周囲部分に、一例として、光ファイバ20の出射端を楕円形状に沿って一列に非接触で配置することができる。
【0026】
(LED発光装置)
次に、
図4を参照して、LED発光装置22の構成について説明する。
LED発光装置(LED発光部)22は、温覚提示制御装置3から入力される輝度制御情報により、光ファイバ20ごとの入射端に輝度を変えてLED光を入射するものである。LED発光装置22は、LED光源アレイ220と、LED輝度制御部230と、を備える。
【0027】
LED光源アレイ220は、接続する光ファイバ20の数だけLED光源部221を配列したものである。
LED光源部221は、LED輝度制御部230から入力される輝度制御信号に基づいて、LEDの輝度を調整した光を発光するものである。
LED光源部221は、発光部222と、集光部223と、を備える。
【0028】
発光部222は、光を発光するものであって、複数のLEDで構成される。例えば、発光部222は、平面発光LED等のLEDモジュールである。
発光部222が発光する光の波長分布は可視光領域とするが、赤外領域を伝達可能な光ファイバ20を用いる場合、赤外領域を含んでもよい。
発光部222は、LED輝度制御部230から入力される輝度制御信号に応じて発光する輝度が調節される。
【0029】
ここでは、発光部222は、LED輝度制御部230から入力される輝度制御信号として、PWM(Pulse Width Modulation)信号を入力し、デューティ(Duty)比(オン時間とオフ時間との割合)に応じた光を発光する。
発光部222は、発光した光を集光部223に照射する。
【0030】
集光部223は、発光部222では発光された光を集光させるものである。
集光部223は、発光部222では発光された光を、光ファイバ20の入射端に集光させる。
この集光部223は、例えば、凸レンズとして機能するフレネルレンズで構成することができる。また、配置の例として、集光部223は、光ファイバ20の入射端から集光部223の焦点距離だけ離間して配置する。
なお、発光部222および集光部223は、光路上を、可視光を吸収しない白色のカバー等で覆い、光を効率的に光ファイバ20に集光させることが好ましい。
さらに、LED発光装置22は、紫外線を遮断するフィルタを光路上に配置して人体に悪影響がないように構成されることが好ましい。
【0031】
LED輝度制御部230は、温覚提示制御装置3から入力されるLED光源部221ごとの輝度制御情報に基づいて、それぞれのLED光源部221が発光するLED光の輝度を制御するものである。
ここでは、輝度制御情報は、PWM信号のデューティ比(0.0~1.0)とする。
LED輝度制御部230は、デューティ比に応じたPWM信号を生成し、それぞれのLED光源部221に出力する。
【0032】
以上説明した構成によって、温覚提示装置2は、温覚提示制御装置3から入力される輝度制御情報によって、光ファイバ20ごとに異なる輝度の光を人物Hの肌に照射して、人物Hに温覚を提示することができる。
【0033】
[温覚提示制御装置の構成]
次に、
図5を参照して、温覚提示制御装置3の構成について説明する。
温覚提示制御装置3は、外部から熱源情報と頭部情報とを入力し、光ファイバ20ごとのLED光の輝度を制御する輝度制御情報を出力する。
【0034】
図6に、人物の頭部HDに対する光ファイバ20の配置と仮想熱源である点熱源Poとの関係を模式的に示す。
図6に示すように、人物の頬周囲部分を楕円形状とする頭部HDに対して、各光ファイバ20の出射端の向きは、楕円形状の法線Nの向き(法線方向)と同じである。
そして、温覚提示制御装置3は、頭部HDにおける光ファイバ20のLED光の照射点EPの照度により、照射点EPにおける点熱源Poからの光線Rによる温覚を提示するように各光ファイバ20の輝度を制御する。例えば、温覚提示制御装置3は、光ファイバ20
1が照射するLED光によって、照射点EP
1における法線Nとのなす角θ
1の方向から照射する点熱源Poの光線Rによる温覚を提示するように、光ファイバ20
1の輝度を制御する。
【0035】
ここでは、
図5に示すように、温覚提示制御装置3は、記憶部30と、熱源情報取得部31と、頭部情報取得部32と、熱源位置算出部33と、光ファイバ別輝度算出部34と、輝度制御情報生成部35と、を備える。
【0036】
記憶部30は、頭部座標系における頭部の照射点位置と、照射点の法線方向と、光ファイバ20の出射端位置とを予め記憶するものである。
なお、頭部は楕円柱でモデル化しておく。具体的には、
図7(a)に示すように、原点HDorgを楕円注の中心とし、頭部HDの前後方向の長軸半径をa、短軸半径をbとする。また、
図7(b)に示すように原点HDorgから、下方に距離zだけ離間した位置に光ファイバ20の出射端が存在することとする。例えば、a=189.1/2[mm]、b=145.1/2[mm]、z=53.0[mm]とする。
ここでは、頭部座標系は、HDorgを原点とする座標系とする。
【0037】
そして、記憶部30には、
図8に示すように、頭部HDの照射点EP
i(iは光ファイバ20の識別番号)の位置である位置ベクトルq
iと、照射点EP
iの法線Nの方向である法線ベクトルn
i(単位ベクトル)と、光ファイバ20
iの出射端の位置である位置ベクトルp
iとを予め算出して記憶しておく。
なお、照射点EP
iの位置ベクトルq
iは、HDorgを原点とする頭部HDの正面方向から照射点EP
iの方向までの角度をφ
iとしたとき、以下の式(1)で算出することができる。
【0038】
【0039】
また、照射点EPiにおける法線ベクトルniは、以下の式(2)で算出することができる。
【0040】
【0041】
また、照射点EPiに対応する光ファイバ20iの出射端の位置ベクトルpiは、光ファイバ20iの出射端と照射点EPiとの距離をhiとしたとき、以下の式(3)で算出することができる。
【0042】
【0043】
熱源情報取得部31は、外部から熱源情報を取得するものである。
熱源情報は、仮想空間における仮想熱源である点熱源の強さ(光度[cd]で指定)およびワールド座標系の位置を示す情報である。ワールド座標系は、仮想空間の予め定めた位置を原点とする座標系である。
この熱源情報は、VRコンテンツ製作者によって、VRコンテンツに付加されている情報である。なお、仮想熱源の強さや位置が変化する場合は、変化するタイミングで熱源情報が入力される。この熱源情報は、HMD1にVR映像を表示する図示を省略したコンテンツ提示装置から有線または無線通信により入力される。
【0044】
熱源情報取得部31は、取得した熱源情報のうち、点熱源の強さを光ファイバ別輝度算出部34に出力する。
また、熱源情報取得部31は、取得した熱源情報のうち、ワールド座標系における点熱源の位置を熱源位置算出部33に出力する。
【0045】
頭部情報取得部32は、外部から頭部情報を取得するものである。
頭部情報は、HMD1の動きに伴って変化するワールド座標系におけるHMD1の位置(予め定めた頭部の原点位置)およびHMD1の姿勢(頭部姿勢)を示す情報である。この頭部情報は、HMD1のヘッドトラッキング機能により得られる情報であって、HMD1から無線通信または有線通信によって頭部情報取得部32が取得する。
頭部情報取得部32は、取得した頭部情報を熱源位置算出部33に出力する。
【0046】
熱源位置算出部33は、頭部座標系における点熱源の位置を算出するものである。
熱源位置算出部33は、熱源情報取得部31から入力されるワールド座標系における点熱源の位置と、頭部情報取得部32から入力されるワールド座標系における頭部の原点位置および姿勢とにより、頭部座標系における点熱源の位置を算出する。
【0047】
ここで、ワールド座標系における点熱源の位置を位置ベクトルpheat
W、ワールド座標系における頭部の原点位置を位置ベクトルphead
W、ワールド座標系から見た頭部の姿勢(3次元姿勢)を回転行列RH
Wとしたとき、熱源位置算出部33は、頭部座標系における点熱源の位置ベクトルpheat
Hを、以下の式(4)により算出する。
【0048】
【0049】
熱源位置算出部33は、算出した頭部座標系における点熱源の位置(位置ベクトルpheat
H)を光ファイバ別輝度算出部34に出力する。
【0050】
光ファイバ別輝度算出部34は、仮想熱源の強さと、光ファイバの出射端から出射されるLED光の照射点から仮想熱源への方向と照射点における法線方向とのなす角の大きさとによって、光ファイバの輝度を光ファイバごとに算出するものである。
ここでは、光ファイバ別輝度算出部34は、熱源方向算出部340と、照射点照度算出部341と、輝度算出部342と、を備える。
【0051】
熱源方向算出部340は、頭部の照射点ごとに、点熱源の方向を算出するものである。
図8に示すように、照射点EP
i(iは光ファイバ20の識別番号)から点熱源Poまでの光線ベクトルd
iは、以下の式(5)に示すように、点熱源Poの位置ベクトルp
heat
Hと頭部座標系における照射点EPの位置ベクトルq
iとの差により求めることができる。
【0052】
【0053】
そして、熱源方向算出部340は、照射点から点熱源への光線ベクトルと、照射点における法線とのなす角により熱源方向を算出する。
すなわち、熱源方向算出部340は、照射点EPiから点熱源Poへの光線ベクトルdiと照射点EPiにおける法線ベクトルniとのなす角をθiとしたとき、以下の式(6)により、点熱源Poの方向を示す値をcosθiとして算出する。
【0054】
【0055】
熱源方向算出部340は、算出した照射点EPiの点熱源Poの方向(cosθi)を、照射点照度算出部341に出力する。
【0056】
照射点照度算出部341は、点熱源の方向(cosθ)と、点熱源の強さと、点熱源から照射点までの距離とにより、照射点における照度を算出するものである。
ここで、点熱源の方向を示す値は、熱源方向算出部340から入力される。また、点熱源の強さは、熱源情報取得部31から入力される。また、点熱源から照射点までの距離は、前記式(5)により算出される光線ベクトルdiを熱源方向算出部340から入力、あるいは、照射点照度算出部341が前記式(5)により光線ベクトルdiを算出し、光線ベクトルの長さとして求めることができる。
【0057】
照射点照度算出部341は、光ファイバの識別番号iごとに、点熱源の方向を示す値cosθiと、点熱源の強さ(光度)I[cd]と、点熱源から照射点までの距離(光線ベクトルdiの長さ[m])とにより、以下の式(7)で照射点EPiにおける照度Ei[lx]を算出する。
【0058】
【0059】
この式(7)により、θi=0°の場合、照度Eiは最大値となり、±90°に近づくほど照度が弱くなる。
照射点照度算出部341は、算出した光ファイバの識別番号iに対応する照射点EPiにおける照度Eiを、輝度算出部342に出力する。
【0060】
輝度算出部342は、照射点照度算出部341で算出された照射点の照度に基づいて、照射点に対応する光ファイバの輝度を算出するものである。
具体的には、輝度算出部342は、
図8に示すように、光ファイバ20の識別番号iごとに、照射点EP
iから光ファイバ20
iの出射端までの距離をh
i[m]、光ファイバ20
iの半径をr[m]、照射点EP
iにおける照度をE
i[lx]としたとき、以下の式(8)により、光ファイバ20
iの輝度L
i[cd/m
2]を算出する。
【0061】
【0062】
なお、光ファイバ20iの半径rは、予め記憶部30に記憶しておく。
輝度算出部342は、算出した光ファイバごとの輝度を輝度制御情報生成部35に出力する。
【0063】
輝度制御情報生成部35は、光ファイバ別輝度算出部34で算出された光ファイバごとの輝度から、LED発光装置22(
図4)が発光するLEDの輝度を制御する輝度制御情報を生成するものである。
ここでは、輝度制御情報生成部35は、LED発光装置22(
図4)に備えられたLEDの最大輝度に対する光ファイバ別輝度算出部34で算出された輝度の割合により、輝度制御情報を生成する。
すなわち、輝度制御情報生成部35は、PWM信号のデューティ比を輝度制御情報とする。PWM信号のデューティ比と輝度とは線形関係がある。
そこで、輝度制御情報生成部35は、光ファイバごとの輝度制御情報kを、以下の式(9)により算出し生成する。
【0064】
【0065】
ここでは、L
iは輝度算出部342で算出された光ファイバごとの輝度である。また、L
maxは光ファイバの最大輝度である。なお、最大輝度は、予め測定により求めておけばよい。また、最大輝度が光ファイバごとに違いがある場合、L
maxとして、光ファイバごと最大輝度の値L
i,maxを用いればよい。
なお、前記式(9)において、L
i≦L
maxである。
そこで、仮想熱源の強さ(光度)I[cd]は、前記式(7)~式(9)からL
i≦L
maxを満たすIを予め計算し、VRコンテンツに設定することが好ましい。
輝度制御情報生成部35は、生成した輝度制御情報を、無線または有線により、温覚提示装置2のLED発光装置22(
図4)に出力する。
【0066】
以上説明した構成によって、温覚提示制御装置3は、HMD1を装着した人物Hの頭部の動きに応じて、光ファイバ20ごとに異なる輝度の光を人物Hの肌に照射するように、温覚提示装置2を制御することができる。
なお、温覚提示制御装置3は、図示を省略したコンピュータを各部として機能させるためのプログラム(温覚提示制御プログラム)で動作させることができる。
【0067】
[温覚提示制御装置の動作]
次に、
図9を参照(適宜
図5,
図8参照)して、温覚提示制御装置3の動作について説明する。なお、記憶部30には、予め頭部座標系における頭部の照射点位置と、照射点の法線方向と、光ファイバ20の出射端位置と、光ファイバの半径の値とが記憶されているものとする。
【0068】
ステップS1において、熱源情報取得部31は、熱源情報として、ワールド座標系における点熱源の位置および点熱源の強さを取得する。
ステップS2において、頭部情報取得部32は、頭部情報として、ワールド座標系におけるHMD1の位置(頭部位置:予め定めた頭部の原点位置)およびHMD1の姿勢(頭部姿勢)を取得する。
【0069】
ステップS3において、熱源位置算出部33は、ステップS1で取得したワールド座標系における点熱源の位置と、ステップS2で取得したワールド座標系における頭部位置および頭部姿勢とにより、頭部座標系における点熱源の位置を算出する。すなわち、熱源位置算出部33は、前記式(4)により、頭部座標系における点熱源の位置を算出する。
【0070】
ステップS4において、熱源方向算出部340は、頭部の照射点ごとに、点熱源の方向を算出する。すなわち、熱源方向算出部340は、点熱源Poから照射点EPiへの光線ベクトルdiと照射点EPiにおける法線ベクトルniとのなす角をθiとしたとき、前記式(5),式(6)により、点熱源の方向を示す値をcosθiとして算出する。
【0071】
ステップS5において、照射点照度算出部341は、点熱源の方向と、点熱源の強さと、点熱源から照射点までの距離とにより、照射点における照度を算出する。すなわち、照射点照度算出部341は、前記式(7)により、照射点EPiにおける照度Eiを算出する。
【0072】
ステップS6において、輝度算出部342は、照射点の照度に基づいて、照射点に対応する光ファイバの輝度を算出する。すなわち、輝度算出部342は、前記式(8)により、光ファイバ20iの輝度Liを算出する。
【0073】
ステップS7において、輝度制御情報生成部35は、光ファイバごとの輝度から、LED発光装置22(
図4)が発光するLEDの輝度を制御する輝度制御情報を生成する。ここでは、輝度制御情報生成部35は、前記式(9)により、PWM信号のデューティ比を輝度制御情報として生成する。
【0074】
ステップS8において、輝度制御情報生成部35は、生成した輝度制御情報を温覚提示装置2のLED発光装置22(
図4)に出力する。
これによって、温覚提示装置2において、光ファイバ20ごとに人物Hの肌に照射する光の輝度を制御することができる。
【0075】
ステップS9において、温覚提示制御装置3は、図示を省略したスイッチ等により動作終了を指示されたか否かを判定する。
ここで、動作の終了が指示されなかった場合(ステップS9でNo)、温覚提示制御装置3は、ステップS1に戻って動作を継続する。なお、VRコンテンツにおいて、点熱源の位置を固定とする場合、温覚提示制御装置3は、ステップS2に戻って動作を継続すればよい。
一方、動作の終了が指示された場合(ステップS9でYes)、温覚提示制御装置3は、動作を終了する。
【0076】
以上の動作によって、温覚提示制御装置3は、温覚提示装置2の光ファイバごとの輝度を、HMD1を装着した人物Hの頭部の動きに応じて制御することができる。
これによって、温覚提示制御装置3は、HMD1の姿勢が変化しても、仮想的な熱源の方向を提示するように温覚提示装置2を制御することができる。
【0077】
[温覚提示制御装置の構成(第2実施形態)]
図5で説明した温覚提示制御装置3は、仮想熱源を点熱源として温覚を提示するものであった。しかし、仮想熱源は、太陽光を模擬した平行熱源であってもよい。
以下、仮想熱源を平行熱源とした場合の温覚提示制御装置について説明する。
【0078】
図10を参照して、仮想熱源を平行熱源とした場合の温覚提示制御装置3Bの構成について説明する。
温覚提示制御装置3Bは、外部から熱源情報と頭部情報とを入力し、光ファイバ20ごとのLEDを制御する輝度制御情報を出力する。
【0079】
図11に、人物の頭部HDに対する光ファイバ20の配置と仮想熱源である平行熱源Paとの関係を模式的に示す。
図11に示すように、人物の頬周囲部分を楕円形状とする頭部HDに対して、各光ファイバ20の出射端の向きは、楕円形状の法線Nの向きと同じである。
そして、温覚提示制御装置3Bは、頭部HDにおける光ファイバ20のLED光の照射点EPの照度により、照射点EPにおける平行熱源Paからの光線Rによる温覚を提示するように各光ファイバ20の輝度を制御する。例えば、温覚提示制御装置3Bは、光ファイバ20
1が照射するLED光によって、照射点EP
1における法線Nとのなす角θ
1の方向から照射する平行熱源Paの光線Rによる温覚を提示するように、光ファイバ20
1の輝度を制御する。
【0080】
ここでは、
図10に示すように、温覚提示制御装置3Bは、記憶部30と、熱源情報取得部31Bと、頭部情報取得部32と、光ファイバ別輝度算出部34Bと、輝度制御情報生成部35と、を備える。
記憶部30、頭部情報取得部32および輝度制御情報生成部35は、
図5で説明した温覚提示制御装置3と同じ構成であるため、説明を省略する。
【0081】
熱源情報取得部31Bは、外部から熱源情報を取得するものである。
熱源情報は、仮想空間における仮想熱源である平行熱源の強さ(照度[lx]で指定)およびワールド座標系における平行熱源の方向(単位ベクトル)を示す情報である。
この熱源情報は、VRコンテンツ製作者によって、VRコンテンツに付加されている情報である。なお、平行熱源の強さや方向が変化する場合は、変化するタイミングで熱源情報が入力される。この熱源情報は、HMD1にVR映像を表示する図示を省略したコンテンツ提示装置から有線または無線通信により入力される。
熱源情報取得部31Bは、取得した熱源情報を光ファイバ別輝度算出部34Bに出力する。
【0082】
光ファイバ別輝度算出部34Bは、仮想熱源の強さと、光ファイバの出射端から出射されるLED光の照射点から仮想熱源への方向と照射点における法線方向とのなす角の大きさとによって、光ファイバの輝度を光ファイバごとに算出するものである。
ここでは、光ファイバ別輝度算出部34Bは、熱源方向算出部340Bと、照射点照度算出部341Bと、輝度算出部342と、を備える。
輝度算出部342は、
図5で説明した温覚提示制御装置3と同じ構成であるため、説明を省略する。
【0083】
熱源方向算出部340Bは、頭部の照射点ごとに、平行熱源の平行光線の方向を算出するものである。
熱源方向算出部340Bは、ワールド座標系における平行熱源の方向を、頭部座標系における方向に変換した後、それぞれの照射点ごとに、頭部座標系における平行熱源の方向と、照射点における法線とのなす角により熱源方向を算出する。
ここで、ワールド座標系における平行熱源の方向を単位ベクトルed
W、ワールド座標系における頭部の姿勢(3次元姿勢)を回転行列RH
Wとしたとき、熱源方向算出部340Bは、頭部座標系における原点位置から平行熱源への方向の単位ベクトルdHを、以下の式(10)により算出する。
【0084】
【0085】
そして、熱源方向算出部340Bは、照射点EPi(iは光ファイバ20の識別番号)から平行熱源Paへの光線ベクトル(単位ベクトル)と、照射点EPiにおける法線Nとのなす角により熱源方向を算出する。なお、平行熱源Paの光線は平行であるため、照射点EPiから平行熱源Paへの光線ベクトル(単位ベクトル)は、式(10)で算出された単位ベクトルdHである。
熱源方向算出部340Bは、照射点EPiから点熱源Poへの単位ベクトルdHと照射点EPiにおける法線ベクトルniとのなす角をθiとしたとき、以下の式(11)により、平行熱源Paの方向を示す値をcosθiとして算出する。
【0086】
【0087】
熱源方向算出部340Bは、算出した照射点EPiの平行熱源Paの方向(cosθi)を、照射点照度算出部341Bに出力する。
【0088】
照射点照度算出部341Bは、平行熱源の方向と、平行熱源の強さとにより、照射点における照度を算出するものである。
ここで、平行熱源の方向および強さは、熱源情報取得部31Bから入力される。
照射点照度算出部341Bは、光ファイバの識別番号iごとに、平行熱源の方向を示す値cosθiと、平行熱源の強さ(照度)Ep[lx]とにより、以下の式(12)で照射点EPiにおける照度Ei[lx]を算出する。
【0089】
【0090】
この式(12)により、θi=0°の場合、照度Eiは最大値となり、±90°に近づくほど照度が弱くなる。
照射点照度算出部341Bは、算出した光ファイバの識別番号iに対応する照射点EPiにおける照度Eiを、輝度算出部342に出力する。
【0091】
なお、輝度算出部342および輝度制御情報生成部35は、それぞれ、前記式(8),式(9)の計算を行うが、前記式(9)において、Li≦Lmaxである。
そこで、仮想熱源の強さ(照度)Ep[lx]は、前記式(8),式(9),式(12)からLi≦Lmaxを満たすEpを予め計算し、VRコンテンツに設定することが好ましい。
【0092】
また、仮想熱源を、太陽光を模擬した平行熱源とする場合、天候や遮蔽による減衰によって熱源の強さを調整することが好ましい。
その場合、輝度算出部342は、前記式(8)で算出した輝度Liに対して、天候や遮蔽の減衰効果を表す係数によって調整すればよい。
例えば、天候による太陽光の減衰効果を示す係数をKweather(0~1)、遮蔽など他のオブジェクト(例えば、すりガラス等)による太陽光の減衰効果を示す係数をKshadow(0~1)、太陽光の最大照度(約1.0×106[lx])をEsun、照射点の最大照度[lx]をEmaxとしたとき、輝度算出部342は、以下の式(13)により、調整後の輝度Li,conを算出すればよい。なお、係数Kweather、Kshadowは、HMD1にVR映像を表示する図示を省略したコンテンツ提示装置から、頭部位置に対応して入力される情報である。
【0093】
【0094】
以上説明した構成によって、温覚提示制御装置3Bは、HMD1を装着した人物Hの頭部の動きに応じて、光ファイバ20ごとに異なる輝度の光を人物Hの肌に照射するように、温覚提示装置2を制御することができる。
なお、温覚提示制御装置3Bは、図示を省略したコンピュータを各部として機能させるためのプログラム(温覚提示制御プログラム)で動作させることができる。
【0095】
[温覚提示制御装置の動作(第2実施形態)]
次に、
図12を参照(適宜
図10参照)して、温覚提示制御装置3Bの動作について説明する。なお、記憶部30には、予め頭部座標系における頭部の照射点位置と、照射点の法線方向と、光ファイバ20の出射端位置と、光ファイバの半径の値とが記憶されているものとする。
【0096】
ステップS10において、熱源情報取得部31Bは、熱源情報として、ワールド座標系における平行熱源の方向および平行熱源の強さを取得する。
ステップS11において、頭部情報取得部32は、頭部情報として、ワールド座標系におけるHMD1の位置(頭部位置:予め定めた頭部の原点位置)およびHMD1の姿勢(頭部姿勢)を取得する。
【0097】
ステップS12において、熱源方向算出部340Bは、頭部の照射点ごとに、平行熱源の平行光線の方向を算出する。すなわち、熱源方向算出部340Bは、頭部座標系における原点位置から平行熱源への方向の単位ベクトルdHを、前記式(10)により算出する。そして、熱源方向算出部340Bは、単位ベクトルdHと照射点EPiにおける法線ベクトルniとのなす角をθiとしたとき、前記式(11)により、平行熱源Paの方向を示す値をcosθiとして算出する。
【0098】
ステップS13において、照射点照度算出部341Bは、平行熱源の方向と、平行熱源の強さとにより、照射点における照度を算出する。すなわち、照射点照度算出部341Bは、前記式(12)で照射点EP
iにおける照度E
i[lx]を算出する。
ステップS14以降の動作については、
図9で説明した温覚提示制御装置3のステップS6以降の動作と同じであるため、説明を省略する。
【0099】
以上の動作によって、温覚提示制御装置3Bは、仮想熱源を平行熱源とした場合の温覚提示装置2の光ファイバごとの輝度を、HMD1を装着した人物Hの頭部の動きに応じて制御することができる。
これによって、温覚提示制御装置3Bは、HMD1の姿勢が変化しても、仮想的な熱源の方向を提示するように温覚提示装置2を制御することができる。
【0100】
以上、本発明の実施形態に係る温覚提示システム100について説明したが、本発明は、これらの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0101】
(変形例1)
例えば、ここでは、
図1から
図3に示したように、温覚提示装置2の光ファイバ保持部21において、照射位置固定部211と光ファイバ終端保持部210とを個別の部材とし、照射位置固定部211に光ファイバ終端保持部210を離間して配置した構成とした。
しかし、照射位置固定部211において顔の上下方向の厚みを増やし、照射位置固定部211に光ファイバ終端保持部210の開口部210Aのみを離間して配置し、照射位置固定部211が光ファイバ終端保持部210を兼ねる構成としてもよい。
【0102】
(変形例2)
また、ここでは、温覚提示装置2の光ファイバ保持部21が、楕円形状の一部として、少なくとも人物の頬の周囲である顔の前面部分に光ファイバ20の出射端を配置する構成とした。
しかし、
図13の温覚提示装置2Bに示すように、人物Hの首元の後ろ側周囲に光ファイバ20の出射端を楕円形状の一部として配列する第2の光ファイバ保持部21Bをさらに備えてもよい。
これによって、温覚提示装置2Bは、後方に位置する仮想熱源を温覚として提示することができる。
【0103】
(変形例3)
また、ここでは、温覚提示制御装置3,3Bの光ファイバ別輝度算出部34,34Bは、頭部座標系で各種の計算を行った。
しかし、光ファイバ別輝度算出部34,34Bは、ワールド座標系で計算を行ってもよい。その場合、熱源位置算出部33を構成から省略することができる。また、その場合、光ファイバ別輝度算出部34,34Bは、記憶部30に記憶されている頭部座標系における頭部の照射点位置および照射点の法線方向を、ワールド座標系に変換して使用すればよい。
【0104】
(変形例4)
また、ここでは、温覚提示制御装置3は、仮想熱源として1つの点熱源を対象として温覚を提示するものであった。
しかし、点熱源は複数、あるいは、ある大きさをもった点熱源の集合であっても構わない。その場合、温覚提示制御装置3は、光ファイバ別輝度算出部34において、点熱源ごとに光ファイバ別の輝度を算出し、同じ光ファイバで最大の輝度を当該光ファイバの輝度として算出すればよい。
【符号の説明】
【0105】
1 HMD
2 温覚提示装置
20 光ファイバ
21 光ファイバ保持部
210 光ファイバ終端保持部
211 照射位置固定部
212 HMD接続部
22 LED発光装置(LED発光部)
220 LED光源アレイ
221 LED光源部
222 発光部
223 集光部
230 LED輝度制御部
3 温覚提示制御装置
30 記憶部
31 熱源情報取得部
32 頭部情報取得部
33 熱源位置算出部
34 光ファイバ別輝度算出部
340 熱源方向算出部
341 照射点照度算出部
342 輝度算出部
35 輝度制御情報生成部
100 温覚提示システム