ホーム > 特許ランキング > ＫＯＲＥＡ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＴＥＣＨＮＯＬＯＧＹ ＡＮＤ ＥＤＵＣＡＴＩＯＮ ＩＮＤＵＳＴＲＹ－ＵＮＩＶＥＲＳＩＴＹ ＣＯＯＰＥＲＡＴＩＯＮ ＦＯＵＮＤＡＴＩＯＮ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-29
(45)【発行日】2024-02-06
(54)【発明の名称】拡張現実ベースの視触覚ＡＲ媒体
(51)【国際特許分類】
G06F 3/01 20060101AFI20240130BHJP
A63F 13/285 20140101ALI20240130BHJP
A63F 13/52 20140101ALI20240130BHJP
A63F 13/53 20140101ALI20240130BHJP
G06F 3/0481 20220101ALI20240130BHJP
A63F 13/812 20140101ALN20240130BHJP
【ＦＩ】
G06F3/01 560
A63F13/285
A63F13/52
A63F13/53
G06F3/0481
A63F13/812 C
【請求項の数】
14
(21)【出願番号】P 2021191246
(22)【出願日】2021-11-25
(65)【公開番号】P2022167765
(43)【公開日】2022-11-04
【審査請求日】2021-11-25
(31)【優先権主張番号】10-2021-0052274
(32)【優先日】2021-04-22
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】516317159
【氏名又は名称】韓國技術教育大學校産學協力團
【氏名又は名称原語表記】ＫＯＲＥＡ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＴＥＣＨＮＯＬＯＧＹ ＡＮＤ ＥＤＵＣＡＴＩＯＮ ＩＮＤＵＳＴＲＹ－ＵＮＩＶＥＲＳＩＴＹ ＣＯＯＰＥＲＡＴＩＯＮ ＦＯＵＮＤＡＴＩＯＮ
【住所又は居所原語表記】１６００，Ｃｈｕｎｇｊｅｏｌ－ｒｏ，Ｂｙｅｏｎｇｃｈｅｏｎｇ－ｍｙｅｏｎ，Ｄｏｎｇｎａｍ－ｇｕ，Ｃｈｅｏｎａｎ－ｓｉ，Ｃｈｕｎｇｃｈｅｏｎｇｎａｍ－ｄｏ ３１２５３，Ｋｏｒｅａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】キム サン－ヨン
(72)【発明者】
【氏名】ホ ヨンヘ
【審査官】塩屋 雅弘
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０２１２８２５（ＵＳ，Ａ１）
【文献】特開２０１２－２３８２７０（ＪＰ，Ａ）
【文献】独国特許発明第１０２０１９１０５８５４（ＤＥ，Ｂ３）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ａ６３Ｆ １３／２８５
Ａ６３Ｆ １３／５２
Ａ６３Ｆ １３／５３
Ｇ０６Ｆ ３／０４８１
Ａ６３Ｆ １３／８１２
(57)【特許請求の範囲】
【請求項1】
ユーザが身体の一部に連結できるＡＲ媒体（ｍｅｄｉｕｍ）を介して拡張現実を経験するとき、拡張現実に合った視触覚情報を伝達する視触覚ＡＲ媒体であって、ユーザの身体の一部に触覚的に拡張現実を体感させる触覚拡張部材と、
前記ＡＲ媒体にグラフィックをオーバーレイすることにより視覚的に変形させることができる視覚拡張部材と、
前記ＡＲ媒体との送受信を行う制御部材と、を含み、
前記制御部材は、前記ユーザ及び／又は前記ＡＲ媒体からの入力に対応して前記触覚拡張部材又は前記視覚拡張部材の出力を制御するように構成され、
前記触覚拡張部材は、
前記視触覚ＡＲ媒体の重心を変化させることができる重心移動部材と、
前記視触覚ＡＲ媒体の実際の長さを延長するように構成され、前記視触覚ＡＲ媒体の実際の長さを延長させることができる長さ延長部材とを含み、
前記長さ延長部材は、前記視触覚ＡＲ媒体の一端部に結合した固定モジュールと、前記固定モジュールの内部に一部又は全部が重畳するように備えられ、前記視触覚ＡＲ媒体の他端部に向かって突出移動する延長モジュールと、を含み、
前記重心移動部材は、前記視触覚ＡＲ媒体の外面をなし、内部に収容空間を設けるハウジングの中心軸と平行に前記ハウジングの内部に形成された移動レールと、前記移動レール及び前記延長モジュールの内部に沿って移動して前記視触覚ＡＲ媒体の重心を変化させる質量体と、前記質量体を一方向に移動させることができる質量体駆動モジュールとを含み、
前記質量体駆動モジュールは、前記移動レールに沿って配置される複数の電磁石を含み、
前記質量体は磁性材料を含み、前記制御部材は前記複数の電磁石に選択的に電流を供給して前記質量体の位置を移動させ、
前記質量体は、前記視触覚ＡＲ媒体の実際の長さが前記延長モジュールによって延長された後で、前記視触覚ＡＲ媒体の実際の長さが延長された方向に前記延長モジュールの内部に沿って移動するように構成されていることを特徴とする拡張現実ベースの視触覚ＡＲ媒体。
【請求項2】
前記触覚拡張部材は、前記視触覚ＡＲ媒体に振動を発生させる振動発生モジュールをさらに含み、前記振動発生モジュールは、振動子及び／又は振動モータを含むことを特徴とする、請求項１に記載の拡張現実ベースの視触覚ＡＲ媒体。
【請求項3】
前記触覚拡張部材は、前記振動子を駆動して前記触覚拡張部材をふるえさせることによりユーザに振動触感を生成することを特徴とする、請求項２に記載の拡張現実ベースの視触覚ＡＲ媒体。
【請求項4】
前記振動発生モジュールが前記振動モータを含む場合、前記振動モータは複数の振動モータを使用し、前記複数の振動モータを順次駆動して振動の流れを発生させることを特徴とする、請求項２に記載の拡張現実ベースの視触覚ＡＲ媒体。
【請求項5】
前記振動発生モジュールが複数の振動モータを含む場合、前記複数の振動モータの駆動順序と強さを制御して振動の流れを発生させることを特徴とする、請求項２に記載の拡張現実ベースの視触覚ＡＲ媒体。
【請求項6】
前記振動発生モジュールが複数の振動モータを含む場合、前記複数の振動モータの駆動順序と駆動周波数を制御して振動の流れを発生させることを特徴とする、請求項２に記載の拡張現実ベースの視触覚ＡＲ媒体。
【請求項7】
前記振動発生モジュールが前記振動子を含む場合、前記振動子は、ユーザが仮想の物体をＡＲ媒体を介して操作するときに駆動することにより、前記仮想の物体により発生する衝撃量を伝達することを特徴とする、請求項２に記載の拡張現実ベースの視触覚ＡＲ媒体。
【請求項8】
前記振動発生モジュールが前記振動子を含む場合、ユーザに警告又はアラームを伝達することができることを特徴とする、請求項２に記載の拡張現実ベースの視触覚ＡＲ媒体。
【請求項9】
前記触覚拡張部材は、前記視触覚ＡＲ媒体の実際の長さを変化させることを特徴とする、請求項１に記載の拡張現実ベースの視触覚ＡＲ媒体。
【請求項10】
前記重心移動部材は、前記質量体が延長モジュールの内部に沿って一方向に移動するとき、その移動の距離を制約するように拘束する係止部をさらに含むことを特徴とする、請求項１に記載の拡張現実ベースの視触覚ＡＲ媒体。
【請求項11】
前記触覚拡張部材は、前記視触覚ＡＲ媒体に触感を発生させるハプティック駆動部材をさらに含むことを特徴とする、請求項１に記載の拡張現実ベースの視触覚ＡＲ媒体。
【請求項12】
前記ハプティック駆動部材は、ハプティックホイールの形態で実現され、ユーザにホイールの動きに対するハプティックフィードバックを提供することを特徴とする、請求項１１に記載の拡張現実ベースの視触覚ＡＲ媒体。
【請求項13】
前記触覚拡張部材は、前記視触覚ＡＲ媒体に体積を変化させて空気抵抗を変化させる空気抵抗モジュールをさらに含むことを特徴とする、請求項１に記載の拡張現実ベースの視触覚ＡＲ媒体。
【請求項14】
前記制御部材は、前記視触覚ＡＲ媒体の動作を制御し、プロセッサとメモリを含むＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）、外部のＡＲ機器との通信を行う通信部、前記ＡＲ媒体に電源を供給する電源供給部、及びユーザからのセンシング情報を取得することができるセンサ部をさらに含むことを特徴とする、請求項１に記載の拡張現実ベースの視触覚ＡＲ媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡張現実ベースの視触覚ＡＲ媒体に関し、より詳細には、ユーザがＡＲ媒体（ｍｅｄｉｕｍ）を身体の一部に連結したまま拡張現実を楽しむとき、ユーザのＡＲ媒体に視覚的拡張環境を提供するとともに、視覚的拡張環境に合った触覚を生成してユーザに伝達する視触覚ＡＲ媒体を提供することにより、ユーザに多様な使用感を感じさせるものである。
【背景技術】
【0002】
仮想現実（ＶＲ）とは異なり、現実世界に仮想情報を加えて見せる拡張現実（ＡＲ；ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）はいずれも、実際に存在していない環境を実現することにより、ユーザがこれを認知することができる技術であるという点において共通点がある。ところが、ユーザの観点から、ＡＲは実際の現実に仮想の情報を加えた方式であり、ＶＲはユーザに全て虚構の状況が提示されるという点において差異がある。
【0003】
特に、このような差異は、ＶＲベースでのスティックなどのコントローラユーザ体験方式とＡＲベースでのコントローラユーザ体験方式との差異からなるが、ＡＲベースでは、実際ユーザが使用しているコントローラの実際の姿に一部の拡張現実ベースの仮想オブジェクト（ｏｂｊｅｃｔ）が加わる形態でユーザに見える。よって、ＡＲベースでは、ユーザにコントローラの実質的ないろいろの変化（長さ、触覚、重心など）を実感することができるようにする必要性が高まっている。
【先行技術文献】
【特許文献】
【0004】
【文献】韓国公開特許第１０－２０１９－０１３１４３６号公報（公開日：２０１９年１１月２６日）
【文献】韓国公開特許第１０－２０２０－０００３８４１号公報（公開日：２０２０年１月１０日）
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、ユーザがＡＲ媒体（ｍｅｄｉｕｍ）を身体の一部に連結したまま拡張現実を楽しむとき、ユーザのＡＲ媒体に視覚的拡張環境を提供するとともに、視覚的拡張環境に合った触覚を生成してユーザに伝達する視触覚ＡＲ媒体を提供することを目的とする。
【0006】
また、本発明の視触覚ＡＲ媒体は、拡張現実を楽しもうとするユーザがＡＲガラス又はＡＲカメラを介して、ユーザが着用したコントローラ（ＡＲ媒体）を眺めるとき、視覚的に前記コントローラが変化しながらそれに相応するハプティック感覚をユーザに提供することができる視触覚ＡＲ媒体を提供することを目的とする。
【0007】
また、本発明の視触覚ＡＲ媒体は、視覚的拡張環境を提供するとともに、体積、形状及び抵抗力を変化させることによりユーザに多様な使用感を提供することができる、拡張現実ベースの視触覚ＡＲ媒体を提供することを目的とする。
【0008】
本発明の目的は、上述した目的に限定されず、上述していない別の目的は、以降の記載から本発明の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【課題を解決するための手段】
【0009】
上記の目的を達成するために、本発明は、ユーザが身体の一部に連結できるＡＲ媒体（ｍｅｄｉｕｍ）を介して拡張現実を経験するとき、拡張現実に合った視触覚情報を伝達する視触覚ＡＲ媒体であって、ユーザの身体の一部に触覚的に拡張現実を体感させる触覚拡張部材と、前記ＡＲ媒体にグラフィックをオーバーレイすることにより視覚的に変形させることができる視覚拡張部材と、前記ＡＲ媒体との送受信を行う制御部材と、を含み、前記制御部材は、前記ユーザ及び／又は前記ＡＲ媒体からの入力に対応して前記触覚拡張部材又は前記視覚拡張部材の出力を制御することを特徴とする、拡張現実ベースの視触覚ＡＲ媒体を提供することができる。
【0010】
前記触覚拡張部材は、前記視触覚ＡＲ媒体に振動を発生させる振動発生モジュールをさらに含み、前記振動発生モジュールは、振動子及び／又は振動モータを含むことができる。
【0011】
前記触覚拡張部材は、前記振動子を駆動して前記触覚拡張部材をふるえさせることにより、ユーザに振動触感を生成することができる。
【0012】
前記振動発生モジュールが前記振動モータを含む場合、前記振動モータは複数個を使用するが、前記複数の振動モータを順次駆動して振動の流れを発生させることができる。
【0013】
前記振動発生モジュールが複数の振動モータを含む場合、前記複数の振動モータの駆動順序と強さを制御して振動の流れを発生させることができる。
【0014】
前記振動発生モジュールが複数の振動モータを含む場合、前記複数の振動モータの駆動順序と駆動周波数を制御して振動の流れを発生させることができる。
【0015】
前記振動発生モジュールが前記振動子を含む場合、前記振動子は、ユーザが仮想の物体をＡＲ媒体を介して操作するときに駆動することにより、前記仮想の物体により発生する衝撃量を伝達することができる。
【0016】
前記振動発生モジュールが前記振動子を含む場合、ユーザに警告又はアラームを伝達することができる。
【0017】
前記触覚拡張部材は、前記視触覚ＡＲ媒体の実際の長さを変化させることができる。
【0018】
前記視触覚ＡＲ媒体は、内部に質量体が動ける収容空間を含み、前記収容空間に沿って前記質量体が動いて重心が変化することができる。
【0019】
前記視触覚ＡＲ媒体は、前記視触覚ＡＲ媒体の実際の長さを変化させるが、内部に質量体が動ける収容空間を含み、前記収容空間に沿って前記質量体が動いて重心が変化することができる。
【0020】
前記触覚拡張部材は、前記視触覚ＡＲ媒体の実際の長さを延長させることができる長さ延長部材を含み、前記長さ延長部材は、前記視触覚ＡＲ媒体の一端部に結合した固定モジュールと、前記固定モジュールの内部に一部又は全部が重畳するように備えられ、前記視触覚ＡＲ媒体の他端部に向かって突出移動する延長モジュールと、を含むことができる。
【0021】
前記長さ延長部材は、前記延長モジュールの一端部に連結され、前記延長モジュールを一方向に移動させることができる駆動モジュールをさらに含むことができる。
【0022】
前記触覚拡張部材は、前記視触覚ＡＲ媒体の重心を変化させることができる重心移動部材を含み、前記重心移動部材は、前記視触覚ＡＲ媒体の外面をなし、内部に収容空間を設けるハウジングの中心軸と平行にハウジングの内部に形成された移動レールと、前記移動レールに沿って移動する質量体と、を含むことができる。
【0023】
前記重心移動部材は、前記質量体が延長モジュールの内部に沿って一方向に移動するとき、その移動の距離を制約するように拘束する係止部をさらに含むことができる。
【0024】
前記重心移動部材は、前記質量体を一方向に移動させることができる質量体駆動モジュールをさらに含むことができる。
【0025】
前記質量体駆動モジュールは、単数又は複数のリニアモータ又は複数の電磁石を用いることができる。
【0026】
前記触覚拡張部材は、前記視触覚ＡＲ媒体に触感を発生させるハプティック駆動部材をさらに含むことができる。
【0027】
前記ハプティック駆動部材は、ハプティックホイールの形態で実現され、ユーザにホイールの動きに対するハプティックフィードバックを提供することができる。
【0028】
前記触覚拡張部材は、前記視触覚ＡＲ媒体に体積を変化させて空気抵抗を変化させる空気抵抗モジュールをさらに含むことができる。
【0029】
前記制御部材は、前記視触覚ＡＲ媒体の動作を制御し、プロセッサとメモリを含むＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）、外部のＡＲ機器との通信を行う通信部、前記ＡＲ媒体に電源を供給する電源供給部、及びユーザからのセンシング情報を取得することができるセンサ部をさらに含むことができる。
【発明の効果】
【0030】
本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体は、視覚拡張部材を備えて視覚的拡張環境を提供するとともに、体積又は形状が可変である駆動部材を含む触覚拡張部材を介して体積、形状及び抵抗力を変化させることにより、ユーザに拡張現実に関連して実感のある使用感を提供することができるという利点がある。
【図面の簡単な説明】
【0031】
【図1】本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体を用いたことを示す図である。
【図2】本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体を示すブロック図である。
【図3】本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の視覚拡張を示す図である。
【図4】本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の長さ延長部材を示す図である。
【図5a】本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の重心移動部材を示す図である。
【図5b】本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の重心移動部材を示す図である。
【図6】本発明の他の実施形態による拡張現実ベースの視触覚ＡＲ媒体の重心移動部材を示す図である。
【図7】本発明の別の実施形態による拡張現実ベースの視触覚ＡＲ媒体の重心移動部材を示す図である。
【図8a】本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の長さ延長部材と重心移動部材を示す図である。
【図8b】本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の長さ延長部材と重心移動部材を示す図である。
【図9】本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体のハプティック駆動部材と振動発生モジュールを示す図である。
【図10】本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の視覚及び触覚変形の両方が起こったことを示す図である。
【図11】本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の空気抵抗モジュールを示す図である。
【図12】本発明の他の実施形態による拡張現実ベースの視触覚ＡＲ媒体の視覚及び触覚変形の両方が起こったことを示す図である。
【図13】本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の制御部材を示すブロック図である。
【発明を実施するための形態】
【0032】
以下、添付図面を参照して、本発明の好適な実施形態を詳細に説明する。以下に紹介される実施形態は、当業者に本発明の思想が十分に伝達できるようにするための例として提供される。よって、本発明は、以下に説明される実施形態に限定されず、他の形態で具体化されてもよい。図面において、層及び領域の長さ、厚さなどは便宜のために誇張されて表現されてもよい。明細書全体にわたって、同じ参照番号は同じ構成要素を示す。
【0033】
図１は本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体を用いたことを示す図、図２は本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体を示すブロック図、図３は本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の視覚拡張を示す図、図４は本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の長さ延長部材を示す図、図５ａ及び図５ｂは本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の重心移動部材を示す図、図６は本発明の他の実施形態による拡張現実ベースの視触覚ＡＲ媒体の重心移動部材を示す図、図７は本発明の別の実施形態による拡張現実ベースの視触覚ＡＲ媒体の重心移動部材を示す図、図８ａ及び図８ｂは本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の長さ延長部材と重心移動部材を示す図、図９は本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体のハプティック駆動部材と振動発生モジュールを示す図、図１０は本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の視覚及び触覚変形の両方が起こったことを示す図、図１１は本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の空気抵抗モジュールを示す図、図１２は本発明の他の実施形態による拡張現実ベースの視触覚ＡＲ媒体の視覚及び触覚変形の両方が起こったことを示す図、図１３は本発明の実施形態による拡張現実ベースの視触覚ＡＲ媒体の制御部材を示すブロック図である。
【0034】
本発明において、使用されるＡＲ機器（ｄｅｖｉｃｅ）とは、ユーザがＡＲコンテンツを楽しむようにする機器であって、例えば、図１に示すように、ユーザに装着されたＡＲガラス又は拡張現実カメラ機能を提供する様々なモバイル機器（ＡＲカメラを有する携帯電話やパッド）などの形態であり得る。ただし、これに限定されるものではない。
【0035】
また、本発明において、使用されるＡＲ媒体（ｍｅｄｉｕｍ）とは、ユーザが着用して拡張現実を楽しむことができる様々な装置であって、ユーザの身体の一部に連結され、ユーザにいろいろの感覚的なフィードバックを与えることができる装置を意味する。
【0036】
一実施形態として、前記ＡＲ媒体は、図１又は図３に示すように、ユーザが手に把持するタイプのスティック型コントローラであってもよい。また、他の実施形態として、ユーザが腕に掛けることができるタイプのコントローラであってもよく、ユーザが足に履くことができるブーツタイプのコントローラであってもよい。ただし、前記ＡＲ媒体が上述の形態のみに限定されるものではなく、ユーザに触覚的なフィードバックを直接与えることができ、ユーザに着用され、ユーザに接触する形態の様々な実施形態を含むことができる。
【0037】
また、上述した携帯電話やパッドのようにユーザがカメラを持っており、視覚装置及び振動モータを含んでいる、手で把持可能な装置は、前記ＡＲ媒体になると同時に前記ＡＲ機器になることができる。
【0038】
本発明の実施形態に係る拡張現実ベースの視触覚ＡＲ媒体１は、ユーザが身体の一部に連結できるＡＲ媒体を介して拡張現実を経験するときに、拡張現実に合った視触覚情報を伝達する視触覚ＡＲ媒体であって、ユーザの身体の一部に触覚的に拡張現実を体感するようにする触覚拡張部材２０と、前記ＡＲ媒体にグラフィックをオーバーレイすることにより視覚的に変形させることができる視覚拡張部材３０と、前記ＡＲ媒体との送受信を行う制御部材４０と、を含み、前記制御部材４０は、前記ユーザ及び／又は前記ＡＲ媒体からの入力に対応して前記触覚拡張部材２０又は前記視覚拡張部材３０の出力を制御することができる。
【0039】
前記グラフィックをオーバーレイするという意味は、前記ＡＲ媒体上に追加的な拡張現実コンテンツが視覚的に付け加えられ、ＡＲガラスなどのＡＲ機器を用いて前記ＡＲ媒体を介して眺めるとき、前記追加された拡張現実コンテンツが視覚的に見えること（３３、３５、３７）を意味する。
【0040】
例えば、図３は視触覚ＡＲ媒体１に前記視覚拡張部材３０が適用されたことを例示的に示すものであり、ユーザは、前記視覚拡張部材３０が適用されると、前記視触覚ＡＲ媒体１上に追加的な拡張現実コンテンツが視覚的に付け加えられ、ＡＲガラスなどのＡＲ機器を用いて前記視触覚ＡＲ媒体１を介して眺めるとき、前記追加された拡張現実コンテンツ３３が視覚的に見える。すなわち、前記視覚拡張部材３０は、前記視触覚ＡＲ媒体１をユーザが多様なＡＲ機器を介して（例えば、ＡＲガラス）眺めたとき、仮想の情報（拡張現実ベースの仮想オブジェクト）が前記視触覚ＡＲ媒体１に加えられて見えるようにする機能を行う。このような視覚拡張部材３０は、多様な方式で実施でき、後述する実施形態のみに限定されるものではない。
【0041】
一実施形態として、前記視覚拡張部材３０は、マーカーの形で実現できる。具体的には、ハウジン１００の一端部にマーカーが実現され、ユーザがＡＲ機器（ＡＲガラス或いは拡張現実カメラ機能を提供するモバイル機器）を用いて前記ハウジング１００のマーカーを見ると、前記マーカーを介してユーザはいろいろの多様な視覚的拡張オブジェクトを見ることができる。例えば、拡張現実ベースの視触覚ＡＲ媒体１が運動に関連するゲーム拡張現実を提供する場合、前記視覚拡張部材は、図１に示すようなゴルフクラブ形状、野球バット又は図１２のような卓球ラケット形状３７などの様々な形態でＡＲガラスなどのＡＲ機器を介してユーザに視覚的拡張現実を提供することができ、他の例として、激闘ゲームに適用される場合、前記視覚拡張部材３０は、図１０の剣形状３５などの視覚的形状を提供することができる。
【0042】
前記視触覚ＡＲ媒体１は、触覚拡張部材２０、視覚拡張部材３０及び制御部材４０を含み、前記視触覚ＡＲ媒体１の外面をなすハウジング１００を含むことができる。前記ハウジング１００は、前記視触覚ＡＲ媒体１の外面をなしながら、内部に収容空間を設けることができる。
【0043】
前記触覚拡張部材２０は、前記視触覚ＡＲ媒体の実際の長さを変えることができる。
【0044】
例えば、前記触覚拡張部材２０は、前記視触覚ＡＲ媒体１の実際の長さを延長させることができる長さ延長部材２００を含むが、前記長さ延長部材２００は、前記視触覚ＡＲ媒体の一端部に結合した固定モジュール２０５と、前記固定モジュール２０５の内部に一部又は全部が重畳するように備えられ、前記視触覚ＡＲ媒体の他端部に向かって突出移動する延長モジュール２０１と、を含むことができる。つまり、長さ延長部材２００は、前記視触覚ＡＲ媒体１を特定の方向（例えば、ユーザが着用したとき、ユーザの身体の外側方向である長さ方向）に延長させる機能を行うことができる。
【0045】
また、前記長さ延長部材２００は、前記延長モジュール２０１の一端部に連結され、前記延長モジュール２０１を一方向に移動させることができる駆動モジュール２０３をさらに含むことができる。前記駆動モジュール２０３に関連して、一実施形態として、前記駆動モジュール２０３は、リニアモータで構成され、前記延長モジュール２０１を長さ方向に移動させるか、移動した延長モジュール２０１を再び戻ってくるようにする機能を行うことができる。また、前記リニアモータは、単数又は複数で構成でき、前記ハウジング１００の一方向のみに設置されるか、或いは前記ハウジングの一方向に複数配置されるか、或いは前記ハウジングの両方向に複数配置されるように実現されることもできる。また、前記駆動モジュール２０３は、必ずしも必要なものではなく、ユーザが別途のエネルギー源なしに、手動で前記延長モジュール２０１を前記固定モジュール２０５から引くようにして、長さを延長させるか或いは延長した長さを再び減らすように動作することもできる。
【0046】
【0047】
また、前記触覚拡張部材２０は、前記視触覚ＡＲ媒体の重心を変化させることができる重心移動部材３００を含むが、前記重心移動部材３００は、前記視触覚ＡＲ媒体１の外面をなし、内部に収容空間を設けるハウジングの中心軸と平行に前記ハウジングの内部に形成された移動レール３０３と、前記移動レール３０３に沿って移動する質量体３０１と、を含むことができる。より具体的には、前記質量体３０１は、錘などで構成されてもよい。
【0048】
この場合、前記重心移動部材３００は、前記質量体３０１が前記延長モジュール２０１の内部に沿って一方向に移動するとき、その移動の距離を制約するように拘束する係止部３０５をさらに含むことができる。例えば、前記係止部３０５は、ユーザがハウジング１００の内部方向に沿って圧力を加えると、前記質量体３０１の拘束を解除して、前記質量体３０１が移動するようにすることができる。さらに、前記質量体３０１と前記移動レール３０３は、ユーザに複合的な重心移動を実感するようにするために、前記ハウジング１００の中心軸を基準にして互いに異なる位置に複数（例えば、中心軸と平行に上面と下面にそれぞれ形成される）が形成されるようにすることもできる。
【0049】
前記重心移動部材３００は、前記質量体を一方向に移動させることができる質量体駆動モジュール３０７をさらに含むことができる。すなわち、前記質量体３０１の移動は、ユーザが前記係止部３０５を介した手動的な移動だけでなく、図６又は図７に示すように、追加の質量体駆動モジュール３０７、３０７ａを含んで構成できる。
【0050】
例えば、前記質量体駆動モジュール３０７は、単数又は複数のリニアモータ３０７又は複数の電磁石３０７ａを用いることができる。
【0051】
図６に示すようにリニアモータを用いる場合、前記質量体３０１の移動は、後述する制御部材４０の制御を介して移動するようにして、拡張現実の体験中に質量体３０１がリアルタイムでダイナミックに移動するようにすることもできる。また、前記質量体駆動モジュール３０７は、別途の駆動モジュールで実現できるだけでなく、長さ延長部材２００の駆動モジュール２０３を活用して動作することもできる。
【0052】
図７に示すように、前記質量体３０１が磁性を呈する素材である場合、前記質量体駆動モジュール３０７ａは、リニアモータのように質量体３０１を物理的に押し出したり引っ張ったりする機械的な構成ではなく、前記質量体３０１が移動する前記移動レール３０３に形成された複数の電磁石で実現されることもできる。すなわち、後述する制御部材４０を介して、前記移動レール３０３に形成された複数の電磁石に選択的に電流を供給し、特定の電磁石で前記質量体３０１を磁性を介してくっ付くようにすることにより、前記質量体３０１の位置を移動させるか或いは固定するように実現されることができる。
【0053】
図８ａ及び図８ｂを参照すると、本発明の多様な触覚拡張方法のうち、長さ延長部材２００と重心移動部材３００を多様に適用した実施形態を示すものであって、前記視触覚ＡＲ媒体１の初期化モードで、前記延長モジュール２０１を前記視触覚ＡＲ媒体１の長さを延長させる方向に移動させ、前記延長モジュール２０１の移動による前記視触覚ＡＲ媒体１の実際の長さを延長させ、その後、前記質量体３０１を、前記視触覚ＡＲ媒体１の前記長さを延長させる方向に移動させ、結果として、ユーザは前記質量体３０１の移動と前記視触覚ＡＲ媒体１の長さの延長により、前記視触覚ＡＲ媒体１の長さの変化と同時に重心の移動を実感することができる。
【0054】
図１０は、本発明の様々な触覚拡張方法のうち、前記視触覚ＡＲ媒体１における視覚及び触覚変形の両方が起こった実施形態を示すものである。図１０に示すように、ユーザは、ＡＲガラスなどのＡＲ機器を介して前記視触覚ＡＲ媒体１を見る場合、上述した視覚拡張部材３０を用いて剣の形状を仮想的に前記視触覚ＡＲ媒体１に具現し、実際の視触覚ＡＲ媒体１の長さを、前記長さ延長部材２００の前記延長モジュール２０１を移動させることにより増加させ、前記重心移動部材３００の前記質量体３０１を前記延長モジュール２０１のユーザから離れる方向の一端に移動させ、結果として、ユーザは前記視触覚ＡＲ媒体１の長さが増加し、重心がユーザから離れる方向に移動し、視覚的には仮想の剣３５が見えるため、実際に長い剣を振り回すような実感を感じることができる。
【0055】
つまり、前記触覚拡張部材２０が長さ延長部材２００と重心移動部材３００の両方を活用する場合、質量体駆動モジュール３０７によって、質量体３０１の位置が移動し、前記延長モジュール２０１を介して実際の視触覚ＡＲ媒体１の長さが実際に延長されると、前記視触覚ＡＲ媒体１の重心と長さの両方が変化して回転の際に、以前とは異なる回転慣性を持つことになり、これを応用すると、例示的に、ユーザは拡張現実によって表現される剣３５の長さ感と重量感を同時に区別して感じることができる。
【0056】
前記触覚拡張部材２０は、図９に示すように、前記視触覚ＡＲ媒体に振動を発生させる振動発生モジュール５００をさらに含み、前記振動発生モジュール５００は、振動子及び／又は振動モータを含むことができる。例えば、前記固定モジュール２０５に単数又は複数の振動発生モジュール５００を装着することにより、楽しんでいる拡張現実に適した振動をユーザに提供することができる。
【0057】
前記触覚補強部材２０は、前記振動子を駆動して前記触覚拡張部材２０を振動させることにより、ユーザに振動触感を生成することができる。
【0058】
前記振動発生モジュール５００が前記振動子を含む場合、前記振動子は、ユーザが仮想の物体をＡＲ媒体１を介して操作するときに駆動して、前記仮想の物体により発生する衝撃量を伝達することができる。
【0059】
前記振動発生モジュールが前記振動子を含む場合、ユーザに警告又はアラームを伝達することができる。
【0060】
また、前記振動発生モジュール５００が前記振動モータを含む場合、前記振動モータは複数の振動モータを使用するが、前記複数の振動モータを順次駆動して振動の流れを発生させることができる。
【0061】
前記振動発生モジュール５００が複数の振動モータを含む場合、前記複数の振動モータの駆動順序と強さを制御して振動の流れを発生させることができる。
【0062】
前記振動発生モジュール５００が複数の振動モータを含む場合、前記複数の振動モータの駆動順序と駆動周波数を制御することにより振動の流れを発生させることができる。具体的に、前記固定モジュール２０５の内部に複数の振動発生モジュール５００を装着することにより、目標物が打たれたりぶつかったりする場合に振動が発生して触覚拡張現実をさらに多様に実現することができる。より具体的に、ユーザが拡張現実内で仮想のオブジェクトを打撃すると仮定すると、前記複数の振動発生モジュール５００のうち、前記仮想のオブジェクトから距離が近い振動発生モジュール５００で先に振動を発生することにより、ユーザが打撃感を実感するようにすることができる。また、前記複数の振動発生モジュール５００の間で時間差をおいて振動を発生するか或いはパルス駆動を適用してユーザに振動の移動方向も実感することができるように調節して移動振動を提供することができる。
【0063】
その結果、上述したような移動振動（振動の流れ）を用いて、ユーザが視触覚ＡＲ媒体１で表現された拡張現実上の剣を振り回して仮想のオブジェクトを打撃する場合、オブジェクトの打撃による振動が前記視触覚ＡＲ媒体１の延長モジュール２０１に近い振動発生モジュール５００から振動が始まり、次第に手に近い振動発生モジュール５００に振動が移されるように実現することができる。
【0064】
前記触覚拡張部材２０は、前記視触覚ＡＲ媒体１に触感を発生させるハプティック駆動部材６００をさらに含むことができる。前記ハプティック駆動部材は、ハプティックホイールの形態で実現され、ホイールの動きに対するハプティックフィードバックをユーザに提供することができる。また、本発明で使用するハプティック（ｈａｐｔｉｃ）とは、触覚という意味だけでなく、触覚、力、運動感、慣性などを感じるようにすることを意味する。
【0065】
一実施形態として、拡張現実ベースの視触覚ＡＲ媒体１は、ハウジング１００の一端部にマウスホイール形態などのハプティック駆動部材６００を備えることにより、拡張現実から制限された領域を感知する触覚を提供することができる。具体的に、前記ハプティック駆動部材６００は、ハプティックホイールの形態で実現され、ユーザは、前記視覚拡張部材３０においてオーバーレイされた拡張現実コンテンツに対して前記ハプティックホイールを介して様々な調整機能（例えば、ホイールを回す行為）などを行うが、前記調整機能の上位閾値又は下位閾値に達して、それ以上調整機能を行うことができない場合（例えば、ハプティックホイールを左方向又は右方向に完全に回す場合）、前記ハプティックホイールを介して、前記調整機能をもはや行うことが難しいという意味を含むハプティックフィードバックを受けることができる。
【0066】
前記触覚拡張部材２０は、前記視触覚ＡＲ媒体１に体積を変化させて空気抵抗を変化させる空気抵抗モジュール７００をさらに含むことができる。
【0067】
図１１は本発明の多様な触覚拡張方法のうち、長さ延長及び重心の移動に加えて、さらに空気抵抗モジュール７００を用いて前記視触覚ＡＲ媒体１の体積を変化させることにより、空気抵抗を変化させる実施形態を示すものである。図示の如く、前記ハウジング１００の前記延長モジュール２０１には、単数或いは複数の空気抵抗モジュール７００を装着して、ユーザに、楽しんでいる拡張現実に適した空気抵抗感を提供することができる。具体的には、前記空気抵抗モジュール７００は、前記延長モジュール２０１が突出移動した後、延長モジュール２０１の外周面を貫通して外部へ展開可能な形態で実現できる。より具体的に、前記空気抵抗モジュール７００は、ユーザが当該モジュールを引っ張ると展開される形態であってもよいが、これに限定されるものではない。
【0068】
その結果、前記空気抵抗モジュール７００の展開長さ又は展開幅などの展開程度によって、視触覚ＡＲ媒体１を振り回すときに受ける空気抵抗は互いに異なるように提供できる。例えば、剣を使用するとき、卓球ラケット又は野球バットを振り回すときの如く、拡張現実で提供された状況に応じて空気の抵抗は異なるように設計できるが、前記空気抵抗モジュール７００を調節することにより、ユーザが実感する空気抵抗が互いに異なるように様々に提供できる。
【0069】
図１２は、本発明の多様な触覚拡張方法のうち、前記視触覚ＡＲ媒体１において視覚及び触覚の変形（長さ、重心、空気抵抗等）の両方が起こった実施形態を示すものである。図１２に示すように、ユーザは、ＡＲガラスなどのＡＲ機器を介して前記視触覚ＡＲ媒体１で卓球を楽しむと仮定すると、上述した視覚拡張部材３０を介して卓球ラケットの形状３７を仮想的に前記視触覚ＡＲ媒体１に具現し、実際の視触覚ＡＲ媒体１の長さを、前記長さ延長部材２００の前記延長モジュール２０１を移動させることにより卓球ラケットの実際の長さだけ増加させ、前記重心移動部材３００の前記質量体３０１を卓球ラケットに相当する程度だけ、一端に移動させることができる。そして、前記空気抵抗モジュール７００を展開し、その結果、ユーザは、前記視触覚ＡＲ媒体１の長さが増加し、重心がユーザから離れる方向に移動し、空気抵抗モジュール７００の展開によって振り回されるとき、風を分ける抵抗感が増し、視覚的には仮想の卓球ラケットとして見えるため、実際の卓球ラケットを用いて卓球をしているという実感を感じることができる。また、図面には示されていないが、上述した振動発生モジュール５００を活用して、ユーザが卓球ラケットを用いて卓球ボールを打撃する場合の振動感を具現することもできる。
【0070】
上述した視触覚ＡＲ媒体１の触覚拡張部材（長さ延長部材２００、重心移動部材３００、空気抵抗モジュール７００、振動発生モジュール５００、ハプティック駆動部材６００など）、視覚拡張部材３０の様々な構成を全て一緒に使用するか、或いは必要に応じて組み合わせて構成してもよく、上述した実施形態のみに限定されるものではない。
【0071】
ユーザ及び／又は前記ＡＲ媒体からの入力に対応して前記触覚拡張部材２０又は前記視覚拡張部材３０の出力を制御する制御部材４０は、前記視触覚ＡＲ媒体の動作を制御し、プロセッサとメモリを含むＭＣＵ（マイクロコントローラユニット）４１、外部のＡＲ機器との通信を行う通信部４７、前記ＡＲ媒体に電源を供給する電源供給部４５、及びユーザからのセンシング情報（圧力、加速度、地磁界）を取得することができるセンサ部４３をさらに含むことができる。
【0072】
前記制御部材４０は、前記視触覚ＡＲ媒体１の様々な構成に対する動作を制御したり、外部との通信を介したデータの送受信などを制御したりする機能を提供する。より具体的には、前記ＡＲ機器などの外部装置との送受信を行う制御部材４０は、上述したように触覚拡張部材２０及び／又は視覚拡張部材３０の出力を制御することができる。
【0073】
より具体的には、前記センサ部を介して取得された様々なセンシング情報（例えば、ユーザが視触覚ＡＲ媒体１に実際の圧力を加える程度を圧力センサを介して取得することができる）と、これを制御部材を介して外部のＡＲ機器を含む様々な外部装置に伝送し、伝送されたセンシング情報によるフィードバックを再び前記視触覚ＡＲ媒体１に反映（例えば、ユーザが高い圧力を加える場合、これを反映して触覚拡張部材２０で体積の変化した視触覚ＡＲ媒体１を作ることができる）ことにより、ユーザと前記視触覚ＡＲ媒体１との間でより実感のある相互作用が可能である。
【0074】
また、拡張現実ベースの視触覚ＡＲ媒体１は、制御部材４０を介してゲームシステムと通信状態にあるＡＲ機器を含む外部装置に連結されることにより、ユーザに、仮想環境と環境内のオブジェクトと相互作用することが許容できる。すなわち、仮想拡張現実または混合現実システムにおいて、ユーザは制御部材４０を介してオブジェクトを操作することにより入力することができ、入力された信号に対応して制御部材が出力されて触覚拡張部材２０、視覚拡張部材３０が駆動され、ユーザに入力に対する視触覚を提供することができる。
【0075】
また、前記通信部４７は、前記視触覚ＡＲ媒体１とＡＲ機器を含む多様な外部の機器との有線及び／又は無線通信を支援する。無線通信方式は、特に限定されず、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）、ジグビー（Ｚｉｇｂｅｅ）、Ｗｉ－Ｆｉ、赤外線データ通信（ＩｒＤＡ）、ＵＷＢ（Ｕｌｔｒａ－Ｗｉｄｅ Ｂａｎｄ）などの様々な通信方式の中から選択されることができる。
【0076】
前記電源供給部４５は、前記ＭＣＵの制御に基づいて、触覚拡張部材２０、ハプティック駆動部材６００、通信部４７、センサ部４３など、上述した様々な構成に対する電源供給を提供し、オン／オフスイッチング回路とバッテリとで構成されてもよく、ＡＣ－ＤＣ変換回路を含む形態で実現されてもよい。
【0077】
その結果、本発明の実施形態に係る拡張現実ベースの視触覚ＡＲ媒体１は、視覚拡張部材を備えて視覚的拡張環境を提供するとともに、視覚的拡張環境に合った触覚を生成してユーザに伝達するものであり、仮想の情報が前記視触覚ＡＲ媒体１に加わって見えるようにする機能を行う視覚拡張部材３０と、長さが可変である、或いは重心、振動の流れ、空気の抵抗が可変である触覚拡張部材２０とを備えることにより、ユーザが拡張現実環境下でより実感のある様々な使用感を提供することができるという利点がある。
【0078】
以上、本発明の好適な実施形態を参照して説明したが、当該技術分野における熟練した当業者は、下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱することなく本発明を様々に修正及び変更させることができることを理解することができるであろう。
【符号の説明】
【0079】
１ 拡張現実ベースの視触覚ＡＲ媒体
２０ 触覚拡張部材
３０ 視覚拡張部材
４０ 制御部材
４１ ＭＣＵ
４３ センサ部
４５ 電源供給部
４７ 通信部
１００ ハウジング
２００ 長さ延長部材
２０１ 延長モジュール
２０３ 駆動モジュール
２０５ 固定モジュール
３００ 重心移動部材
３０１ 質量体
３０３ 移動レール
３０５ 係止部
３０７ 質量体駆動モジュール
５００ 振動発生モジュール
６００ ハプティック駆動部材
７００ 空気抵抗モジュール
２０ 触覚拡張部材
３０ 視覚拡張部材
４０ 制御部材
４１ ＭＣＵ
４３ センサ部
４５ 電源供給部
４７ 通信部
１００ ハウジング
２００ 長さ延長部材
２０１ 延長モジュール
２０３ 駆動モジュール
２０５ 固定モジュール
３００ 重心移動部材
３０１ 質量体
３０３ 移動レール
３０５ 係止部
３０７ 質量体駆動モジュール
５００ 振動発生モジュール
６００ ハプティック駆動部材
７００ 空気抵抗モジュール
【図1】
【図2】
【図3】
【図4】
【図5a】
【図5b】
【図6】
【図7】
【図8a】
【図8b】
【図9】
【図10】
【図11】
【図12】
【図13】
