特許 7168313 携帯用混合現実装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-31

(45)【発行日】2022-11-09

(54)【発明の名称】携帯用混合現実装置

(51)【国際特許分類】

   G02B 27/04 20060101AFI20221101BHJP

   G02B 27/01 20060101ALI20221101BHJP

   H04M 1/11 20060101ALI20221101BHJP

   G09F 9/00 20060101ALI20221101BHJP

【ＦＩ】

G02B27/04

G02B27/01

H04M1/11 Z

G09F9/00 359

【請求項の数】 2

(21)【出願番号】P 2017224361

(22)【出願日】2017-11-22

(65)【公開番号】P2018093484

(43)【公開日】2018-06-14

【審査請求日】2020-11-17

(31)【優先権主張番号】10-2016-0156278

(32)【優先日】2016-11-23

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】515036545

【氏名又は名称】ヘ－ヨン・チョイ

(74)【代理人】

【識別番号】100110423

【弁理士】

【氏名又は名称】曾我 道治

(74)【代理人】

【識別番号】100111648

【弁理士】

【氏名又は名称】梶並 順

(74)【代理人】

【識別番号】100166235

【弁理士】

【氏名又は名称】大井 一郎

(74)【代理人】

【識別番号】100179936

【弁理士】

【氏名又は名称】金山 明日香

(72)【発明者】

【氏名】ヘ－ヨン・チョイ

【審査官】吉田 千裕

(56)【参考文献】

【文献】特開２０１４－１０７７２５（ＪＰ，Ａ）

【文献】特開２０１６－１３３８０６（ＪＰ，Ａ）

【文献】国際公開第２０１８／０３３９０３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｇ０２Ｂ ２７／０１ー２７／０２

Ｈ０４Ｍ １／１１

Ｇ０９Ｆ ９／００

(57)【特許請求の範囲】

【請求項1】

携帯用混合映像装置において、
仮想現実映像と周辺の外部映像とを同時に観測するためにスマートフォンのような小型映像装置１０を垂直方向に立てて取り付ける構造の取付ホルダー２と、
上記取付ホルダー２の前面に上記小型映像装置１０の映像を上向きに反射するために上向き斜角で備えられる反射鏡３と、
上記反射鏡３の上端に上記小型映像装置１０の映像を使用者の方向に反射するために前向き斜角で構成し、上記小型映像装置１０の映像を反射するための反射率と外部映像が透過する透過率との割合が８：２から２：８の間で作用する半透明鏡４と、
上記取付ホルダー２と、上記反射鏡３と、上記半透明鏡４を一つのシステムとして備えるケース１と、
上記ケース１の一端に取っ手６を結合することまたは分離することが可能に構成される締結装置５ａ，５ｂと、
を含むことにより、
使用者は、上記取っ手６を持ち歩きながら上記取っ手６の離隔距離で、上記半透明鏡４で透過する外部映像と、上記半透明鏡４の下部で反射する上記小型映像装置１０で提供する映像とを一つの上記半透明鏡４で上下左右が一致するように観測できることを特徴とする、携帯用混合映像装置。

【請求項2】

上記ケース１の一端から前記取っ手６が分離されてナビゲーション用途で使用されることが特徴である、請求項１に記載の携帯用混合映像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、混合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）装置において、特に、小型映像装置のようなコンピューター機能を備えた小型モニターを利用することで、実際の外部全景と拡張現実が同時に見られ、携帯して使用し易い小型ディスプレイを利用した携帯用混合現実装置に関する。

【背景技術】

【0002】

エムアール（ＭＲ）とは、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）と拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を融合する混合現実（ＭＩＸＥＤ ＲＥＡＬＩＴＹ）である（以下、エムアール（ＭＲ）という）。

【0003】

例えば、エーアール（ＡＲ）とは、自動車のエンジンを修理する際に、自動車エンジンを開けてみなくてもエンジンの内部情報を映像などで提供することができ、消費者がショッピングセンターのウィンドウに陳列された商品をエーアール機器で観測する時、自動的に製品に関する映像を提供し、決栽することができる。

【0004】

ヴィーアール（ＶＲ）とは、仮想現実構造であって、立体映像または２Ｄ映像を左、右３６０゜、上、下１００゜以上の視野角映像を通して、まるで現場にいるような映像を提供することを言う。
エムアール（ＭＲ）とは、上記ヴィーアールとエーアールを混合して２つの機能を同時に得ることを言う。

【先行技術文献】

【特許文献】

【0005】

【文献】出願番号 ＫＲ１０-２００６-００４８９６６ 携帯用機器を利用した拡張現実映像システム

【文献】出願番号 ＫＲ１０-２０１３-０１０６３４７ 小型映像装置が取り付けられるヘッド部搭載型装置

【文献】出願番号 ＫＲ１０-２０１４-００３３６１６ 拡張現実ディスプレイシステム

【文献】出願番号 ＫＲ１０-２０１３-０１６８７３４ 小型映像装置を利用した３Ｄ ＨＭＤ システム

【文献】出願番号 ＫＲ１０-２０１０-００９９３７３ 小型映像装置を利用した拡張現実具現システム及び拡張現実

【文献】出願番号 ＫＲ１０-２０１３-０００６２４５ 位置基盤情報拡張現実システム及び提供方法

【文献】出願番号 ＫＲ１０-２０１１-００９７９８３ 拡張現実機能を備えためがね型モニター

【文献】出願番号 ＫＲ１０-２０１２-７０２８６６９ 拡張現実のための装置及び方法

【文献】出願番号 ＫＲ１０-２０１３-０１５２４５０ 拡張現実インタフェースを利用する着用型ディスプレイ

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、このような従来のヴィーアール装置は、主にＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）構造を使って頭に着用する構造である。
したがって、別途のコンピューター装置を携帯しなければならないし、小型映像装置と共に２重で携帯しなければならない上、別途に付加装置を購入しなければならないなど、様々な不便が引き起こされる。

【0007】

また、従来のエーアール装置は、小型映像装置の画面自体だけを利用する構造である。
このようなエーアール機能は、小型映像装置の画面に現実情景と仮想環境が同時に表れる構造である。すなわち、周りの現実情景もカメラを通して画面に現われるようになるので、使用者は小型映像装置の画面だけに集中するようになる。
したがって、外部の周りの視野が遮られるので、衝突の危険、交通事故など深刻な危険状態が発生する。

【0008】

本発明は、上記問題点に鑑みて小型映像装置を含む小型映像ディスプレイを使うが、ＧＰＳ、ジャイロスコープセンサーなど各種位置センサーなどをそのまま活用したり、または取り付けてスマートフォンのような小型映像で提供する拡張現実映像及び仮想現実映像と外部の実際の周りの現実的全景などの映像を一つの映像で同時に観測したりできる携帯用構造を提示することにある。

【課題を解決するための手段】

【0009】

このような本発明は、図示された図面のようにエムアールシステムを構成し、反射鏡と半透明鏡と小型映像装置のような小型映像機器を取り付けるための取付ホルダーと、これを全て構成するための一つのケースで構成し、ケースの後端部に小型映像装置を水平方向に取り付けられるように構成したり、スマートフォンを垂直形態で取付け、その前面に射角で反射鏡を装着した取付ホルダーを構成する。

【0010】

上記取付ホルダーの前面上向きに小型映像装置は反射して外部全景は透過するように反射率の割合が８：２から２：８の間で構成した半透明鏡を平面または曲面、球面形態のいずれか一つで構成し、小型画面の映像をコントロールできるコントローラが構成された取っ手を結合または分離する形態で構成する。

【0011】

もう一つの方法としては、システム構造の内部に半透明鏡を、水平方向に拡大鏡構造を備える。
もう一つの方法としては、上記のようなシステムが持つ取っ手構造の中段に、上下に回転する上下回転手段と、左右に回転する左右回転手段を結合して、映像の視野角を左右３６０゜上下１００゜回転するように構成する。

【発明の効果】

【0012】

このような本発明は、従来ＨＭＤ構造とは違い、持ち歩きながら観測する構造であって、小型映像装置を活用してエーアール映像を観測することができるし、小型映像装置にはジャイロスコープセンサー、ＧＰＳセンサー、速度センサー、加速度センサーを取り付けたり、上記センサー装置が内蔵されているスマートフォンのような小型映像装置をそのまま使えるよう、取り付けるように構成して提供される仮想現実映像と実際の外部映像と拡張現実を同時に観測したりできる効果がある。

【0013】

また、小型映像装置の仮想現実または拡張現実映像が光学的装置で反射屈折しても仮想現実映像と実際の現実映像の上下左右が同じ方向に一致して観測することができる。

【0014】

使用者は上記半透明鏡で、スマートフォン及び小型映像装置の映像と、後端の現実の全景と上記小型映像装置で提供する仮想現実の映像がいずれも上下左右が一致する映像として観測できる効果がある。

【0015】

また、仮想現実映像と周りの外部の実際映像を同時に見ながら周辺状況を同時に観測するようになるので、安全に移動しながら使うことができる。

【0016】

また、半透明鏡と反射鏡の間に備える拡大レンズは、小型映像装置の映像の明るさを２倍以上集光して明るさを増大する効果がある。

【0017】

また、上記仮想現実の映像、拡張現実の映像、外部全景の映像のような上記映像を全て合成して映像を観測するようになる。

【図面の簡単な説明】

【0018】

【図1】本発明が実施された構成図である。

【図2】図１の断面構造説明図である。

【図3】本発明の構造に拡大鏡が結合された構成図である。

【図4】本発明を使用する時の実例である。

【図5】外部の現実全景と拡張現実画面の上下左右が一致する説明図である。

【図6】使用実例の図面である。

【図7】応用実施の例である。

【発明を実施するための形態】

【0019】

以下、図面を参照して本発明の具体的な実施例を説明する。
図１、図２のように、本発明の構造は、拡張現実映像を具現するための光学的構造を構成するにあたり、ケース１とケース１の後面に左右方向の小型映像装置３を上下垂直方向に取り付けられる取付ホルダー２を構成し、取付ホルダー２の前面には小型映像装置１０の映像が露出される映像窓２ａを形成する。

【0020】

本発明で小型モニター装置１０は、スマートフォンを含め、対角線２～２０インチ未満の小さいモニターであって、ジャイロスコープセンサー、位置センサー、速度センサーなど、必要な位置センサーとコンピューターと通信機能を有する小型映像装置１０で構成する。

【0021】

映像窓２ａの前面には上向き射角で反射鏡３を構成し、反射鏡３の上端部には使用者方向に反射するように射角で半透明鏡４を構成するが、反射鏡３で反射する映像は反射し、直進方向の後端部の外部の全景は透過する、すなわち、一部は透過して一部は反射する半透明鏡４の構造で構成する。

【0022】

このような半透明鏡４形態は、平面型または凹球面鏡の形態の中で選択して使用する。
このような半透明鏡４は、ケース１後端の上面部に半透明鏡４が上下に回転するように蝶番２と連係することで、携帯時または必要時、半透明鏡４をケース１の上面部に展開または覆うことができる。

【0023】

ケース１の前面には取っ手６を構成し、取っ手６の後端部には無線または有線で小型映像装置１０の映像をコントロールできるコントローラ７を構成する。
この時取り付けられた小型映像装置１０の映像は、取っ手６の表面に構成したコントローラ７によって調整する。
このようなコントローラ７は、無線または有線方式でゲームまたは仮想現実の映像、エーアール映像を調整することができ、電子決裁もできる。
また、コントローラ７の位置に文字を打てるキーボードを兼ね備えて構成することができる。

【0024】

反射鏡３の構造は、反射機能だけある全反射構造である。
半透明鏡４の構造は、透明硝子の表面に薄膜で反射物質を構成するが、射角で直進透過する透過率は２０％～８０％の間とし、下端から入射する小型映像装置１０の映像は、半透明鏡４の表面で反射率８０％～２０％とする。
すなわち、反射率と透過率は、上記のように本発明を使用用途によって８：２から２：８で調整して構成する。
この理由は、小型映像装置１０の映像の明るさに対して、昼に使用する時は外部での現実の光が強く、室内や夜に使用する時は小型映像装置１０の明るさが明るいため、使用場所によって加減して構成するからである。

【0025】

図３のように、取っ手６はケース４と、公知された締結装置５ａ、５ｂによって、使用時は結合し、携帯時は分離する構造で構成したり、固定された構造で構成することができ、このような取っ手６はパイプ形態にすることで、いくつかの太さが異なるパイプを重ね合わせて構成することで、使用長さを調整することができる。

【0026】

また、図５のように、取っ手６は使用者２０が楽な姿勢で使えるように、曲面形態で構成してもよい。

【0027】

図４のように小型映像装置１０の画面の上に照射される外光を遮断し、小型映像装置１０の映像は、集光することで従来に比べて２倍以上の明るさが得られる。

【0028】

このような本発明は、図２のように、本発明の後端部の実際の映像は半透明鏡４を通して直進観測し、小型映像装置１０の映像は半透明鏡４と反射鏡３を通して同時に観測するようになる。
すなわち、ケース１後端の取付ホルダー２に垂直方向に取り付けた小型映像装置１０の映像は、前面の反射鏡３で上向きに屈折反射した後、半透明鏡４で反射して使用者２０の位置へ反射する。

【0029】

このような本発明は、図５のように、使用者２０が小型映像装置１０を仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像のような垂直方向に取付けながらも、使用者２０は周辺の現実映像と小型映像装置１０の仮想現実の映像が上下左右映像が同じ方向に提供されることが重要である。

【0030】

すなわち、図２のように半透明鏡４を直進透過した半透明鏡４の後端の現実全景はそのまま透過し、図５のように小型映像装置１０を左右にして垂直方向に取り付ける本発明の構造は、小型映像装置１０の上下映像方向Ｕと、左右方向映像ＲはＢの形態で提供され、４５゜の射角反射鏡３でＢ１の形態で９０゜に上向き反射し、さらに半透明鏡４の表面でＢ２の形態で視聴者の方向へ９０゜に反射する。
したがって、実際の現実映像であるＡと、仮想現実映像または拡張現実映像であるＢの上下左右方向は同じ方向で観測できるようになる。

【0031】

もし、本発明の上記構造と違い、小型映像装置１０を水平方向に取り付ける時はＶＲ及び拡張現実映像は底方向の映像だけ見ることになる。

【0032】

したがって、本発明は小型映像装置１０を垂直に装着することで周りの映像と仮想現実の映像が、小型映像装置１０が有するジャイロスコープセンサーと位置センサー、加速度センサーなどのセンサーが小型映像装置の使用時と同じ方向に作動するように構成し、二回の反射作用と結合して外部の全景と小型映像装置１０の仮想映像を同時に観測できるようにしたものである。

【0033】

また、図４のように、取っ手６が分離されたケース１の下端部位には、上下の角度を調節する角度調整装置８を追加し、机の上のエーアール装置または自動車のナビゲーション用途として使うことができる。

【0034】

このような本発明は、図６のように、使用者２０が本発明のエーアール装置１００構造を持ち歩きながらショッピングセンターまたは作業場、テーマパークなどで周りの環境の現実場面と小型映像装置１０で提供する拡張映像または仮想環境を半透明鏡４で同時に観測することができる。

【0035】

立体仮想映像を提供するために、小型映像装置１０を立体機器として代わることができる。

【0036】

したがって、このような本発明は、使用者２０が本発明を移動しながら周りの環境を同時に見られるので、安全に移動することができる。
したがって、マンガに出るキャラクターを現実で探し、ウィンドウに陳列された製品の使用映像、仮想訓練など、小型映像装置１０を利用して安全で、且つ多様にエーアール映像を観測することができる。

【0037】

このような本発明の構造は、図３のように、ケース４から取っ手６が分離された形態で構成し、ケース４の左右両端にベルトまたは補助台をさらに備えて首にかけたり、胸元に本発明を安置することで、現実場面と小型映像装置１０で提供する映像を同時に見られる。
この場合、映像コントローラ７は別途分離して使うことができる。

【0038】

また、小型映像装置１０の代わりに２～９インチの小型ディスプレイを取り付ける場合は、小型映像装置をケース４内部の下端底の表面に水平方向に構成することができる。この場合、小型映像装置１０の前面に拡大レンズ３ａをさらに構成することができ、反射鏡３の構造を削除することができる。この場合は、左右映像を右左方向に反転させると、外部映像の左右方向と一致するようになる。

【0039】

しかし、如何なる場合も、小型映像装置１０にはジャイロスコープセンサー、加速度センサー、位置センサーなど、映像の位置によって当該映像を提供する位置映像センサーの構成が必須である。

【0040】

このような本発明の構成は、半透明鏡４の構造を球面型の形態で構成することができる。
この場合は、半透明鏡４の角度と小型映像装置１０の画面角度と、支持棒５及び取っ手６の角度を適宜調節して、半透明鏡４を通して拡大された小型映像装置１０の映像が使用者２０の位置からよく見えるように調整する。

【0041】

このような本発明は、図７で図示したように、半透明鏡４と小型映像装置１０が備えられたケース１構造の水平方向に支持棒５を構成し、支持棒５の後端にコントローラ７を構成した後、上記支持棒５にケース１が上下に回転できる上下回転手段１１を備え、上記上下回転手段１１と上記ケース１を同時に左右方向に回転できる左右回転手段１３を結合し、上記本発明の前面には映像を表示するスクリーンなど、多様なスクリーン１５と結合して構成する。
この場合、小型ディスプレイ１０と半透明鏡４が備えられた構造は、上下回転手段１１、左右回転手段１３と結合して構成する。

【0042】

このようなスクリーン１５の構成は、ＬＣＤ、ＯＬＥＤ、マイクロＬＥＤなど、電子信号によって映像を表示する薄膜構造のすべての映像ディスプレイに適用される。
また、プロジェクタによって投射される投射映像を表示する映写スクリーンで構成することができる。
このようなスクリーンの形態は、図７（ａ）のように、円型スクリーン、コンカーブ型スクリーン、図７（ｂ）のようにドーム型グスクリーン１５ａ、図７（ｃ）のように三角構造スクリーン１５ｂのいずれにも適用される。

【0043】

このような本発明の実施構造は、半透明鏡４を通して小型映像装置１０の映像と同時に観測できるように構成する。
このような実施例は、使用者がケース１の半透明鏡４を透過するスクリーン１５の映像と、半透明鏡４で反射する小型映像装置１０の映像を見ながら、左右回転手段１１と上下回転手段１３を利用してケース１が移動するようになる。
例えば、スクリーン１５に都市の建物が並んだ都心映像を示し、ケース１を上下左右に回転しながらコントローラ７で特定建物をクリックすると、小型映像装置１０では該建物の内部の場面または情報を提供する。

【0044】

もう一つは、スクリーン１５に幾つかの種類の自動車映像を浮かべ、コントローラ７で特定の車両をクリックすると、該自動車の走行する様子、情報、価格等を提供する。

【0045】

したがって、このような本発明の構造は、外部現実の映像、提供される仮想現象、拡張映像情報などを一つの半透明鏡で移動しながら、または上下左右に回転しながら観測することができる。

【符号の説明】

【0046】

１００ エーアール装置
１ ケース
２ 取付ホルダー
２ａ 映像窓
３ 反射鏡
３ａ 拡大鏡
３ｂ 着脱装置
４ 半透明鏡
５ 支持棒
５ａ、５ｂ 締結装置
６ 取っ手
７ コントローラ
８ 角度調節装置
９ 吸着板
１０ 小型映像装置
２０ 使用者
Ａ 周りの実物
Ｂ 映像
Ｕ 映像方向
Ｒ 方向映像
１００ エムアール装置
１１ 上下回転手段
１２ 上下調整台
１３ 左右回転手段
１４ 支え台
１５ スクリーン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】