(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023159123
(43)【公開日】2023-10-31
(54)【発明の名称】非可視光線可視化自動整合型拡張現実グラス
(51)【国際特許分類】
G02B 27/02 20060101AFI20231024BHJP
H04N 5/64 20060101ALI20231024BHJP
A61B 34/20 20160101ALN20231024BHJP
【FI】
G02B27/02 Z
H04N5/64 511A
A61B34/20
【審査請求】未請求
【請求項の数】25
【出願形態】OL
(21)【出願番号】P 2023124650
(22)【出願日】2023-07-31
(62)【分割の表示】P 2021108638の分割
【原出願日】2021-06-30
(31)【優先権主張番号】10-2020-0080871
(32)【優先日】2020-07-01
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】521288297
【氏名又は名称】プキョン ナショナル ユニバーシティ インダストリー-ユニバーシティ コーポレーション ファウンデーション
【氏名又は名称原語表記】Pukyong National University Industry-University Cooperation Foundation
【住所又は居所原語表記】45, Yongso-ro, Nam-gu, Busan 48513, Republic of Korea
(74)【代理人】
【識別番号】100121382
【弁理士】
【氏名又は名称】山下 託嗣
(72)【発明者】
【氏名】アン,イェ-チャン
(57)【要約】 (修正有)
【課題】本発明は、非可視光線可視化自動整合型の拡張現実(AR)グラスに関し、現実空間は目で直接認識し、特定部位のみから出て来る近赤外線の診断および治療の情報のみ現実空間に精巧に整合する非可視光線可視化自動整合型拡張現実グラスに関する。
【解決手段】使用者の顔面に着用するメガネ本体と、前記メガネ本体の一側に設置されて対象物に向けて非可視光線を照射する非可視光線照射ユニットと、前記メガネ本体の一側に設置されて前記対象物から放出された非可視光線が可視光線と共に導波管に入力する入力ユニットと、前記メガネ本体の一側に設置されて前記入力ユニットから受信した非可視光線イメージ情報を人が認識できる可視光イメージ情報に変換する情報処理ユニットと、前記メガネ本体の一側に設置されて前記情報処理ユニットで処理された可視光イメージ情報を受信して前記導波管から肉眼に出力するイメージ出力ユニットとを含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
使用者の顔面に着用するメガネ本体;
前記メガネ本体の一側に設置されて対象物に向けて非可視光線を照射する非可視光線照射ユニット;
前記メガネ本体の前面に設置され、前記対象物から放出された非可視光線を可視光線と共に導波管に入力する入力ユニット;
前記メガネ本体の一側に設置され、前記入力ユニットから受信した非可視光線イメージ情報を人が認識できる可視光イメージ情報に変換する情報処理ユニット;および
前記メガネ本体の後面に設置され、前記情報処理ユニットで処理された可視光イメージ情報を受信して前記導波管から肉眼に出力するイメージ出力ユニットを含む
非可視光線可視化自動整合型拡張現実グラス。
【請求項2】
前記メガネ本体の一側に設置されて両肉眼の視線が集まる所と、前記イメージ出力ユニットから出力された現実および拡張現実イメージ情報の焦点とが正確に一致するように調節する焦点調節ユニット;および
前記メガネ本体の一側に設置され、映像認知距離を予測して前記焦点調節ユニットに距離情報を伝送する眼球追跡ユニットをさらに含む、請求項1に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項3】
前記入力ユニットは、
前記導波管の端部に形成され、非可視光線が入射する第1入力カプラ;
前記導波管の他端部に、前記第1入力カプラと所定距離だけ離隔して形成され、前記第1入力カプラから入射した非可視光線を前記カメラ部に出力する第1出力カプラ;および
前記第1出力カプラから出力された非可視光線を撮影するカメラ部を具備する、請求項1に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項4】
前記イメージ出力ユニットは、
前記情報処理ユニットで受信した情報を出力するディスプレイ部;
前記導波管の端部に形成され、前記ディスプレイ部から出力されたイメージ情報を受信する第2入力カプラ;
前記導波管に、前記第2入力カプラと所定間隔だけ離隔して形成され、前記第2入力カプラから受信した情報が、使用者の肉眼に出力され得るように形成される第2出力カプラを具備するとともに、
前記第2出力カプラは、映像出力位置が、前記対象物の実際の位置に対応するように形成された、請求項1に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項5】
前記ディスプレイ部は、
使用者が認識する現実イメージ情報と対比され得る疑似色相(Pseudo Color)を使って、非可視光線が有している情報を、可視光の形態で前記第2入力カプラに送信する、請求項4に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項6】
前記カメラ部は前記情報処理ユニットに映像情報を送出し、
前記情報処理ユニットは受信した映像情報を映像処理して前記ディスプレイ部に送出する、請求項3に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項7】
前記眼球追跡ユニットは、眼球が現実空間を眺める視線を追跡して映像認知距離を把握し、把握された情報を前記情報処理ユニットに入力するようにし、
前記情報処理ユニットは、入力された情報に基づいて眼球の映像認知距離をリアルタイムに計算する、請求項2に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項8】
前記焦点調節ユニットは、
1個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含んで光の屈折を惹き起こす透明な光学系で構成された第1焦点調節部;および、
1個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含んで光の屈折を惹き起こす透明な光学系で構成された第2焦点調節部を具備する、請求項2に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項9】
前記焦点調節ユニットは、
前記眼球追跡ユニットで測定し、前記情報処理ユニットで計算した映像認知距離情報をリアルタイムに受けて、非可視光線情報が入ったデジタル映像の焦点距離が、眼球の映像認知距離と比較して、その差が0.25ディオプター以内に維持されるようにする、請求項8に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項10】
前記第1焦点調節部は、使用者の両眼に対応するように両側に位置し、
前記第2焦点調節部は、使用者の両眼に対応するように両側に位置するものの、映像出力位置が前記対象物を向く視線に整合するように形成される、請求項8に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項11】
前記イメージ出力ユニットは、
前記情報処理ユニットで受信した情報を出力するディスプレイ部;
前記導波管の端部に形成され、前記ディスプレイ部で出力されたイメージ情報を受信する第2入力カプラ;
前記導波管に、前記第2入力カプラから所定間隔だけ離隔して形成され、前記第2入力カプラから受信した情報が、使用者の肉眼に出力され得るように設置される第2出力カプラを具備するとともに、
前記第2出力カプラは、映像出力位置が前記対象物の実際の位置に対応するように形成され、
前記第1入力カプラ、第1出力カプラ、前記第2入力カプラおよび第2出力カプラは、1個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含めて組み合わせることで80度以上の視野角を確保する、請求項3に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項12】
前記第1入力カプラは、使用者の両眼に対応するように両側に位置しており、前記第1出力カプラとカメラ部は、前記両側の第1入力カプラから離隔して前記メガネ本体内の両側に位置しており、
前記第2出力カプラは、使用者の両眼に対応するように両側に位置しており、前記ディスプレイ部と第2入力カプラは、前記両側の第2出力カプラから離隔して前記メガネ本体内の両側に位置するとともに、前記第2出力カプラは、映像出力位置が前記対象物を向く視線に整合するように形成される、請求項11に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項13】
前記第1入力カプラと第2出力カプラが、回折光学素子、ホログラフィック光学素子またはピンミラーのうちのいずれか一つであることを特徴とする、請求項11に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項14】
前記第1入力カプラまたは第1出力カプラは、非可視光線のみが前記カメラ部に伝達され得るように、前面にフィルタをさらに含むことを特徴とする、請求項3に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項15】
前記導波管は、
第1導波管と第2導波管でもって形成され;
前記第1導波管は、
前記第1導波管の端部に形成されて非可視光線が入射する第1入力カプラ;
前記第1導波管に、前記第1入力カプラと所定距離だけ離隔して形成され、前記第1入力カプラから入射した非可視光線を出力する第1出力カプラ、および、前記第1出力カプラから出力された非可視光線を撮影するカメラ部を具備し、
前記第2導波管は、
前記第2導波管の端部に形成されて、前記ディスプレイ部から出力されたイメージ情報を受信する第2入力カプラ;および、
前記第2導波管に、前記第2入力カプラと所定間隔だけ離隔して形成され、前記第2入力カプラから受信した情報が、使用者の肉眼に出力され得るように設置される第2出力カプラを具備する、請求項1に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項16】
前記第1入力カプラは、第1導波管の一側に備えられる第1回折光学素子、第1ホログラフィック光学素子または第1ピンミラーのうちのいずれか一つであり、
前記第2出力カプラは第2導波管の一側に備えられる第2回折光学素子、第2ホログラフィック光学素子、または第2ピンミラーのうちのいずれか一つであることを特徴とする、請求項15に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項17】
前記第1入力カプラまたは第1出力カプラは、
非可視光線のみが前記カメラ部に伝達され得るように、前面に第1フィルタをさらに含むことを特徴とする、請求項15に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項18】
前記非可視光線照射ユニットは、
前記対象物に向けて、特定の波長帯域の非可視光線のみを照射できるように第2フィルタを含むことを特徴とする、請求項1に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項19】
前記焦点調節ユニットは、
VAC問題を解決するための焦点調節機能を維持しながらも、同時に、入射瞳および出射瞳の拡張を通じての光量の確保、および、アイボックスの拡張の機能を達成するための平行光の構造からなることを特徴とする、請求項2に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項20】
前記導波管は、
可視光線が通過する透明な光学素材で形成されており、フリーフォーム光学素子(freeform optic)、平面光学素子、曲面光学素子のうちのいずれか一つが使われ得るのであり、一般のメガネのように、使用者の視力矯正の役割を添加することもできることを特徴とする、請求項1に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項21】
前記入力ユニットおよび前記イメージ出力ユニットのそれぞれは、一個以上の波長チャネルを有する構造からなり、各チャネルには固有波長のみが伝達されるようにすることで、色収差を解決できる構造からなることを特徴とする、請求項1に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項22】
前記第1焦点調節部は、
前記第1出力カプラ内に設置されたレンズと複合的に作用して、眼球レンズの焦点深さと同等の効果を示すように構成されることで、前記カメラ部に自動的に現実感のある光学ブラー(Optical blur)を付与できることを特徴とする、請求項8に記載の
非可視光線可視化自動整合型拡張現実グラス。
【請求項23】
前記眼球追跡ユニットは、
両眼に対応する別途のカメラと照明からなるか、両眼の眼電図信号を使った収束追跡機(Vergence tracker)の構造を有することを特徴とする、請求項2に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項24】
前記第1出力カプラおよび前記第2入力カプラの形態がbirdbath構造を有することを特徴とする、請求項11に記載の非可視光線可視化自動整合型拡張現実グラス。
【請求項25】
前記第2焦点調節部は、
視力矯正が必要な各使用者に応じて焦点距離にディオプターを追加できることを特徴とする、請求項8に記載の非可視光線可視化自動整合型拡張現実グラス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、非可視光線可視化自動整合型の拡張現実グラス(ARグラス; augmented reality glasses)に関し、さらに詳細には、現実空間は目で直接認識するとともに、特定部位
のみから出て来る非可視光線の診断および治療の情報のみが現実空間に精巧に自動整合する、非可視光線可視化自動整合型拡張現実グラスに関する。
【0002】
また、本発明は、十分なアイボックス拡張(目を動かしても良い範囲の拡張;Eye-
box expansion)、及び広い視野(FOV;Field of View)を与えながらも、VAC(Vergence-accommodation conflict; 輻輳調節矛盾))の問題を惹き起こさない非可視光線可視化自動整合型の拡張現実グラスに関する。
【背景技術】
【0003】
近赤外線は、人体内への浸透深さが深いため、蛍光、透過、散乱、吸収などの原理を利用した多様な医療機器が発売されている。また、最先端の光反応感作剤が開発されて、光診断および光治療に応用されている。このうちインドシアニングリーン(Indocyanine Green)は、アメリカFDAの許可を獲得した、広範囲に使われる光反応染料である。インドシアニングリーンの場合には、600-900nmの近赤外線光源の光をよく吸収して、750-950nmの近赤外線を蛍光放出する。インドシアニングリーンの蛍光を利用した蛍光イメージング(または蛍光検出)装備では、吸収波長帯と放出波長帯のオーバーラップを防ぐために、光源の前に励起フィルタを、カメラ(または光検出器)の前に放出フィルタを設置する。例えば、励起フィルタは780nmを中心に左右の20nmの帯域でのみ励起光が通過できるようにし、放出フィルタは、840nmを中心に左右の20nmの帯域でのみ蛍光放出が通過できるようにする。インドシアニングリーンは、静脈注射で人体内に注入されるが、正常組織よりは新生血管の多い腫瘍に多く沈着する。光源、カメラ、励起フィルタ、及び放出フィルタを備えた、蛍光イメージング装備を使用すると、腫瘍から蛍光放出される光をイメージングできるため、腫瘍の位置をリアルタイムに知ることができる。
【0004】
近赤外線は目に見えない波長の光であるため、医療現場では、近赤外線に感度があるカメラを使って近赤外線映像を獲得することで、診断したり治療過程をモニタリングしたりする。最近、CMOSカメラは、安価であり、たとえ最大の感度ではないにしても近赤外線で感度を有しているため、近赤外線モニタリング用として多く使われる。InGaAsカメラのように高価な近赤外線専用カメラもある。
【0005】
しかし、このようなカメラを使うと、人が近赤外線を認識するために、カメラがセンシングした近赤外線を、人が認識できる可視光に変換させてモニターにディスプレイしなければならない。このような過程は、手術中の施術者が、視線の方向を変えてモニターを持続的に観察しなければならないという短所を発生させざるを得ない。
【0006】
したがって、施術者の視線と同軸に近赤外線の映像が見えるようにして、実際の手術空間に、近赤外線が出て来る空間を、自動整合して拡張現実として見せる機器が必要であり、手術や施術中に便利に使われ得るものと予想される。しかし、現在の拡張現実グラスおよび仮想現実(VR)グラスは、現実空間に拡張現実および仮想現実の空間を精巧に整合してきないでいるのが実情である。また、仮想現実グラスを使う場合には、多数のカメラを使って現実空間を認識して、これを仮想現実グラスにディスプレイすることによって解決しようとするが、これは現実空間を目で直接認識することなく、すべてをカメラに依存しなければならないため、安全が担保されなければならない医療現場では拒否感が多い。
【0007】
一方、拡張および仮想現実グラスでは、両眼が同時に凝視する地点にデジタルイメージを位置させ、目のレンズ焦点をその地点に合わせないと、目まいが発生する。もしも、両眼の凝視点が目のレンズ焦点と合わないと、すなわち映像認知距離(Vergence distance)と映像焦点距離(Accommodation distance)とが一致しないと、収束-調節不一致(Vergence-accommodation
conflict、VAC)が発生して、長時間グラスを使うのに困難が発生する。特に施術者の手で近赤外線放出領域付近にて手術がなされる場合、映像認知距離が80cm以下に近づくことからVAC現象が急激に増加する。したがって、使用者の腕の長さの内側に位置する現実作業空間に、デジタル映像を重ねる拡張現実グラスの場合には、VAC問題を解決することが非常に重要である。
【0008】
また、拡張および仮想現実グラスにて、グラスに対する眼球の位置が適切に位置しないと、デジタル映像が見えない。ところが、グラスと眼球との間の整列が非常に精巧でなければならないと使用者が非常に不便にならざるを得ないため、眼球の位置において、ある程度の整列隙間を付与してこのような問題を解決しなければならない。すなわちグラスと眼球をおおまかに整列しても映像が見え得るようにするのである。このような隙間を付与することをアイボックス拡張(Eye-box expansion)という。
【0009】
拡張および仮想現実グラスにおいて、広い視野を確保することも非常に重要である。すなわち視野角(Field of View、FOV)が大きいほど、広い視野のデジタル映像を見ることができるためである。例えば、拡張現実(AR)グラスの助けを受けて近赤外線放出領域の付近にて手術を進行するとする時、近赤外線放出領域を表示するデジタル映像の視野が狭いと、手術時に非常に不便な点を発生させる。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】韓国登録特許第1678009号(2016.11.15)
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明は前記のような問題点を改善するために創案されたものであり、現実空間は目で直接認識するとともに、特定部位のみから出て来る非可視光線の診断および治療の情報のみが現実空間に精巧に整合する非可視光線可視化自動整合型の拡張現実グラスを提供することにその目的がある。
【0012】
また、本発明は、近赤外線だけでなく、紫外線などの目に見えない光線を可視化して現実空間に自動整合することを含む。また、医療分野は一つの例に過ぎず、非可視光線が情報を有しており、これを可視光線が作った現実空間に自動整合する必要がある多様な産業界への応用が可能である。
【課題を解決するための手段】
【0013】
前記目的を達成するための本発明に係る非可視光線可視化自動整合型拡張現実グラスは、使用者の顔面に着用するメガネ本体と、前記メガネ本体の一側に設置されて対象物に向けて非可視光線を照射する非可視光線照射ユニットと、前記メガネ本体の前面に設置され、前記対象物から放出された非可視光線を可視光線と共に導波管(light wave guide; 導
波体もしくは導波板)に入力する入力ユニットと、前記メガネ本体の一側に設置されて前
記入力ユニットから受信した非可視光線イメージ情報を人が認識できる可視光イメージ情報に変換する情報処理ユニットおよび前記メガネ本体の後面に設置され、前記情報処理ユニットで処理された可視光イメージ情報を受信して前記導波管から肉眼に出力するイメー
ジ出力ユニットを含む。
【0014】
前記メガネ本体の一側に設置されて左右の肉眼の視線が集まる箇所と、前記イメージ出力ユニットから出力された現実および拡張現実(AR/VR)イメージ情報の焦点とが、正確に
一致するように調節する焦点調節ユニット、および、前記メガネ本体の一側に設置され、映像認知距離を予測して前記焦点調節ユニットに距離情報を伝送する眼球追跡ユニットをさらに含むことが好ましい。
【0015】
前記入力ユニットは、(1)前記導波管の端部に形成され、非可視光線が入射する第1入
力カプラと、(2)前記導波管の他端部に、前記第1入力カプラから所定距離だけ離隔して
形成され、前記第1入力カプラから入射した非可視光線を前記カメラ部に出力する第1出力カプラと、(3)前記第1出力カプラから出力された非可視光線を撮影するカメラ部とを
具備することが好ましい。
【0016】
前記イメージ出力ユニットは、(1)前記情報処理ユニットから受信した情報を出力する
ディスプレイ部と、(2)前記導波管の端部に形成され、前記ディスプレイ部から出力され
たイメージ情報を受信する第2入力カプラと、(3)前記導波管に前記第2入力カプラから
所定間隔だけ離隔して形成され、前記第2入力カプラから受信した情報が、使用者の肉眼に出力され得るように形成される第2出力カプラとを具備するとともに、前記第2出力カプラは、映像出力位置が前記対象物の実際の位置に対応するように形成されたことを特徴とする。
【0017】
前記ディスプレイ部は、使用者が認識する現実イメージ情報と対比され得る疑似色相(Pseudo Color)を使って、非可視光線が有している情報を、可視光の形態で前記第2入力カプラに送信することを特徴とする。
【0018】
前記カメラ部は前記情報処理ユニットに映像情報を送出し、前記情報処理ユニットは、受信した映像情報を映像処理して前記ディスプレイ部に送出することが好ましい。
【0019】
前記眼球追跡ユニットは、眼球が現実空間を眺める視線を追跡して映像認知距離を把握し、把握された情報を前記情報処理ユニットへと入力させるのであり、前記情報処理ユニットは、入力された情報に基づいて、眼球の映像認知距離をリアルタイムに計算することを特徴とする。
【0020】
前記焦点調節ユニットは、1個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含んで光の屈折を惹き起こす、透明な光学系で構成された第1焦点調節部、及び、1個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含んで光の屈折を惹き起こす、透明な光学系で構成された第2焦点調節部を具備することが好ましい。
【0021】
前記焦点調節ユニットは、前記眼球追跡ユニットで測定し、前記情報処理ユニットで計算した映像認知距離情報を、リアルタイムに受けて、非可視光線情報が入ったデジタル映像の焦点距離が、眼球の映像認知距離と比較して、その差が0.25ディオプター以内に維持されるようにすることを特徴とする。
【0022】
前記第1焦点調節部は、使用者の両眼に対応するように両側に位置するのであって、前記第2焦点調節部は、使用者の両眼に対応するように両側に位置するとともに、映像出力位置が前記対象物を向く視線に整合するように形成されることが好ましい。
【0023】
前記イメージ出力ユニットは、(1)前記情報処理ユニットから受信した情報を出力する
ディスプレイ部と、(2)前記導波管の端部に形成され、前記ディスプレイ部から出力され
たイメージ情報を受信する第2入力カプラと、(3)前記導波管に、前記第2入力カプラと
所定間隔だけ離隔して形成され、前記第2入力カプラから受信した情報が、使用者の肉眼に出力され得るように設置される第2出力カプラとを具備するとともに、前記第2出力カプラは、映像出力位置が前記対象物の実際の位置に対応するように形成され、前記第1入力カプラ、第1出力カプラ、前記第2入力カプラおよび第2出力カプラは、1個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含んで組み合わせて80度以上の視野角を確保することが好ましい。
【0024】
前記第1入力カプラは、使用者の両眼に対応するように両側に位置しており、前記の第1出力カプラ及びカメラ部は、前記両側の第1入力カプラから離隔して前記メガネ本体内の両側に位置しており、前記第2出力カプラは使用者の両眼に対応するように両側に位置しており、前記ディスプレイ部と第2入力カプラは、前記両側の第2出力カプラから離隔して前記メガネ本体内の両側に位置するとともに、前記第2出力カプラは、映像出力位置が前記対象物を向く視線に整合するように形成されることを特徴とする。
【0025】
前記第1入力カプラと第2出力カプラが、回折光学素子、ホログラフィック光学素子またはピンミラー(Pin-Mirror)のうちのいずれか一つであることを特徴とする。
【0026】
前記第1入力カプラまたは第1出力カプラは、非可視光線のみが前記カメラ部に伝達され得るように、前面にフィルタをさらに含むことを特徴とする。
【0027】
前記導波管は、第1導波管と第2導波管で形成されており、前記第1導波管は、前記第1導波管の端部に形成されて非可視光線が入射する第1入力カプラと、前記第1導波管に前記第1入力カプラと所定距離離隔して形成され、前記第1入力カプラで入射した非可視光線を出力する第1出力カプラと、前記第1出力カプラで出力された非可視光線を撮影するカメラ部とを具備しており、前記第2導波管は、前記第2導波管の端部に形成されて前記ディスプレイ部で出力されたイメージ情報を受信する第2入力カプラと、前記第2導波管に前記第2入力カプラと所定間隔離隔して形成され、前記第2入力カプラから受信した情報が使用者の肉眼に出力され得るように設置される第2出力カプラとを具備することを特徴とする。
【0028】
前記第1入力カプラは、第1導波管の一側に備えられる第1回折光学素子、第1ホログラフィック光学素子、または第1ピンミラーのうちいずれか一つで、あり、前記第2出力カプラは、第2導波管の一側に備えられる第2回折光学素子、第2ホログラフィック光学素子または第2ピンミラーのうちの、いずれか一つであることを特徴とする。
【0029】
前記第1入力カプラまたは第1出力カプラは、非可視光線のみが前記カメラ部に伝達され得るように、前面に第1フィルタをさらに含むことを特徴とする。
【0030】
前記非可視光線照射ユニットは、前記対象物に向けて特定の波長帯域の非可視光線のみを照射できるように、第2フィルタを含むことを特徴とする。
【0031】
前記焦点調節ユニットは、VAC問題を解決するための焦点調節機能を維持しながらも、同時に、入射瞳(入射ひとみ;entrance pupil)および出射瞳(出射ひとみ;exit pupil)の拡張を通じての光量の確保およびアイボックスの拡張の機能を達成するための平行光の構造からなることを特徴とする。
【0032】
前記導波管は、可視光線が通過する透明な光学素材で形成されており、フリーフォーム光学素子(freeform optic;自由曲面オプティックス)、平面光学素子、
曲面光学素子のうちの、いずれか一つが使われ得るのであり、一般のメガネのように、使用者の視力矯正の役割を添加することもできることを特徴とする。
【0033】
前記入力ユニットおよび前記イメージ出力ユニットのそれぞれは、一個以上の波長チャネルを有する構造からなり、各チャネルには固有波長のみが伝達されるようにすることで、色収差を解決できる構造からなることを特徴とする。
【0034】
前記第1焦点調節部は、前記第1出力カプラ内に設置されたレンズと複合的に作用して、眼球レンズの焦点深さと同等の効果を示すように構成されて、前記カメラ部に、自動的に現実感のある光学ブラー(Optical blur)を付与できることを特徴とする。
【0035】
前記眼球追跡ユニットは、両眼に対応する別途のカメラと照明からなるか、両眼の眼電図信号を使った収束追跡機(Vergence tracker)の構造を有することを特徴とする。
【0036】
前記第1出力カプラおよび前記第2入力カプラの形態が、バードバス(birdbath)構造を有することを特徴とする。
【発明の効果】
【0037】
本発明に係る非可視光線可視化自動整合型拡張現実グラスは、現実空間は目で直接認識し、特定部位からのみ出る近赤外線診断および治療情報のみ現実空間に精巧に整合してきるため、手術や施術時、施術者の視線と同軸に近赤外線を整合して拡張現実で見せることができる技術的効果がある。
【図面の簡単な説明】
【0038】
【
図1】本発明に係る非可視光線可視化自動整合型拡張現実グラスの第1実施例の概念図(1)である。
【
図2】本発明に係る非可視光線可視化自動整合型拡張現実グラスの第1実施例の構成を概念的に図示したブロック図である。
【
図3】本発明に係る非可視光線可視化自動整合型拡張現実グラスの第1実施例の概念図(2)である。
【
図4】本発明に係る非可視光線可視化自動整合型拡張現実グラスの第2実施例の概念図である。
【
図5】本発明に係る非可視光線可視化自動整合型拡張現実グラスの第3実施例の概念図である。
【
図6】本発明に係る非可視光線可視化自動整合型拡張現実グラスの第4実施例の概念図である。
【
図7】
図5~
図6において3つの波長チャネルを有する第1導波管を図示した概念図である。
【
図8】
図5~
図6において3つの波長チャネルを有する第2導波管を図示した概念図である。
【
図9】
図1~
図8において第1出力カプラのbirdbath構造を図示した概念図である。
【
図10】
図1~
図8において第2入力カプラのbirdbath構造を図示した概念図である。
【発明を実施するための形態】
【0039】
以下、添付した図面を参照して本発明の実施例に係る非可視光線可視化自動整合型拡張現実グラスについて詳細に説明する。本発明は多様な変更を加えることができ、多様な形
態を有することができるところ、特定の実施例を図面に例示して本文に詳細に説明する。しかし、これは本発明を特定の開示形態に対して限定しようとするものではなく、本発明の思想または技術範囲に含まれるすべての変更、均等物乃至代替物を含むものと理解されるべきである。各図面の説明において、類似する参照符号を類似する構成要素に対して使った。添付された図面に対して、構造物の寸法は本発明の明確性を期するために実際より拡大して図示したものである。
【0040】
第1、第2等の用語は多様な構成要素の説明に使われ得るが、前記構成要素は前記用語によって限定されてはならない。前記用語は一つの構成要素を他の構成要素から区別する目的でのみ使われる。例えば、本発明の権利範囲を逸脱することなく第1構成要素は第2構成要素と命名され得、同様に第2構成要素も第1構成要素と命名され得る。
【0041】
本出願で使った用語は単に特定の実施例を説明するために使われたものであり、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なることを意味しない限り、複数の表現を含む。本出願で、「含む」または「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを指定しようとするものであり、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものなどの存在または付加の可能性をあらかじめ排除しないものと理解されるべきである。
【0042】
異なって定義されない限り、技術的または科学的な用語を含んでここで使われるすべての用語は、本発明が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同一の意味がある。一般的に使われる辞書に定義されているような用語は、関連技術の文脈上有する意味と一致する意味があるものと解釈されるべきであり、本出願で明白に定義しない限り、理想的または過度に形式的な意味で解釈されない。
【0043】
図1~
図3には、本発明に係る非可視光線可視化自動整合型拡張現実グラス1の第1実施例が図示されている。
【0044】
図面を参照すると、非可視光線可視化自動整合型拡張現実グラス1は、メガネ本体と、非可視光線照射ユニット100と、入力ユニット200と、情報処理ユニット400と、イメージ出力ユニット500と、焦点調節ユニット600と、眼球追跡ユニット700とを具備する。
【0045】
前記非可視光線照射ユニット100は、前記メガネ本体の一側に設置されて対象物10に向かって非可視光線20を照射するのであり、拡張現実グラスのいずれか一つの地点に装着されてもよく、別途の支持体を通じて使用者の頭や身体の一部に取り付ける形態で形成されてもよく、または、手術室の無影灯といった照明器具に一体に形成されたり、別途に取り付ける形態で形成されたりしてもよい。また、特定の波長帯域の非可視光線のみ照射できるように第2フィルタを含む。
【0046】
前記入力ユニット200は、前記メガネ本体の一方の側に設置されて、前記対象物10から放出された非可視光線20を、可視光線30と共に導波管300に入力するのであり、第1入力カプラ210と、第1出力カプラ220と、カメラ部230とを具備する。
【0047】
前記第1入力カプラ210は、前記導波管300の端部に形成され、非可視光線20が入射するのであり、前記第1出力カプラ220は、前記導波管300の他端部に、前記第1入力カプラ210と所定距離だけ離隔して形成され、前記第1入力カプラ210で入射した非可視光線20を、前記カメラ部230に出力する。
【0048】
前記第1入力カプラ210は、非可視光線20が前記導波管300に入射する部分であり、光が入射し得る入射材質からなり、前記導波管300の内部に挿入されて形成されてもよく、前記導波管300の一部分に光が入射し得るように、別途のパターンを形成してもよい。
【0049】
前記第1出力カプラ220は、前記第1入力カプラ210から入射した非可視光線20を出力するのであり、前記導波管300に、前記第1入力カプラ210から所定距離だけ離隔して形成される。また、光が出力され得る入射材質が、前記導波管300の内部に挿入されるか、または外部に独立して形成されてもよく、前記導波管300の一部分に光が出力され得るように、別途のパターンを形成してもよい。
【0050】
前記カメラ部230は、前記第1出力カプラ220から出力された非可視光線20を撮影する。
【0051】
前記イメージ出力ユニット500は、ディスプレイ部530と、第2入力カプラ510と、第2出力カプラ520とを具備する。
【0052】
前記ディスプレイ部530は、使用者が認識する可視光現実イメージ情報31との対比がなされ得る、疑似色相(Pseudo Color)を使って、非可視光線20が有している拡張現実情報を、可視光拡張現実イメージ情報40の形態で前記第2入力カプラ510に送信する。
【0053】
本実施例の場合、手術室と仮定したとき、臓器と血液の色相が赤色であるので、これに対比される補色としての青色や緑色を、前記ディスプレイ部530から出力することで、可視光現実イメージ情報31と、可視光拡張現実イメージ40とが区別されるようにする。
【0054】
前記ディスプレイ部530は、micro OLEDディスプレイ、micro LEDディスプレイ、LCoS(Liquid crystal on silicon)ディスプレイ、OLEDoS(OLED-on-Silicon)ディスプレイなどで構成され得るのであり、前記イメージ出力ユニット500が、ホログラフィックディスプレイおよびライトフィールド(light fiel
d)ディスプレイの形態で構成されて、VAC(Vergence-accommodation conflict;両肉眼50の視線が集まる所に、前記イメージ出力ユニット500から出力された可視光拡張現実イメージ情報40と、前記対象物から出力された可視光現実イメージ情報31の焦点とが正確に一致するように調節すべきこと)、および、収差の問題を解決することができる。しかし、前記ディスプレイの種類はこれに限定しない。
【0055】
前記第2入力カプラ510は、前記導波管300の端部に形成されており、前記ディスプレイ部530から出力された可視光拡張現実イメージ情報40を受信する。
【0056】
前記第2出力カプラ520は、前記第2入力カプラ510から受信した可視光拡張現実イメージ情報40が使用者の肉眼50に出力され得るように設置されるのであり、前記導波管300に、前記第2入力カプラ510から所定間隔だけ離隔して形成される。
【0057】
ここで、前記第2出力カプラ520は、映像出力位置が、前記対象物10の実際の位置に対応するように形成されることが好ましい。
【0058】
前記導波管300は、前記第1入力カプラ210と第1出力カプラ220との間の非可視光線20の導波と、前記第2入力カプラ510と第2出力カプラ520との間の可視光拡張現実イメージ情報40の導波とが可能であるように、透明な光学素材からなり、平行
板であるか、長方形および円形などの形状にかかわらず、非常に軽くて薄い厚さを有することが好ましい。
【0059】
前記導波管300は、可視光線30が通過する透明な光学素材で形成されており、フリーフォーム光学素子(freeform optic;自由曲面オプティックス)、平面光学素子、または曲面光学素子が使われ得るのであり、一般のメガネのように、使用者の視力矯正機能を添加してもよい。
【0060】
例えば、前記導波管300そのものが、平面ではない曲面や自由な形態のレンズとなって視力矯正が可能であり、使用者に応じてオーダーメード型で製作されることもありうる。
【0061】
前記入力ユニット200および前記イメージ出力ユニット500のそれぞれは、一個以上の波長チャネルを有する構造からなり、各チャネルには固有の波長のみが伝達されるようにして色収差を解決できるようにすることもできる。
【0062】
前記の第1入力カプラ210、第1出力カプラ220、第2入力カプラ510、及び、第2出力カプラ520は、1個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含めて組み合わせることで80度以上の大きい視野角を確保することを特徴とする。
【0063】
前記第1入力カプラ210は、入射瞳の拡張(Entrance pupil expansion)を通じて、最大限の非可視光線20の光量を確保できる構造を有することを特徴とする。
【0064】
前記第2出力カプラ520は、出射瞳の拡張(Exit pupil expansion)を通じての1次元および2次元アイボックスの拡張(Eye-box expansion)が可能であるため、肉眼50に対する前記第1入力カプラ210および前記第2出力カプラ520の相対的な位置に離隔が発生する時にも、安定した視覚映像を提供することを特徴とする。
【0065】
前記第1入力カプラ210に入力される光と、前記第2出力カプラ520から出力される光の焦点が、無限大の位置にあるようにする平行光構造を使って、入射瞳および出射瞳の拡張を具現することが好ましい。平行光構造であると、広い面積に平行に入射する光が前記カメラ部230の一点に集まるように、前記第1入力カプラ210を含んだ入力ユニット200を容易に設計することができる。したがって、平行光構造では、入射瞳の大きさを大きくするほどカメラが、より多くの光量を確保することができるようになる。また、平行光構造であると、前記ディスプレイ部530の一点から出た光を、平行光にする、前記第2出力カプラ520を含んだ前記イメージ出力ユニット500を容易に作ることもできる。したがって、平行光構造では、出射瞳の拡張を通じてのアイボックスの拡張が容易になされる。
【0066】
前記焦点調節ユニット600は、収束-調節不一致(VAC)を防止するために、前記第1
焦点調節部610と前記第2焦点調節部620を使って、デジタル拡張現実映像の虚像をリアルタイムに位置させながらも、前記第1入力カプラ210に入力される光と、前記第2出力カプラ520で出力される光の焦点が、無限大の位置にあるようにする平行光構造を維持させることができることが好ましい。
【0067】
前記焦点調節ユニット600の第1焦点調節部610は、前記第1入力カプラ210の対象物10側の方面に設置し、正の焦点距離を有するようにし、第2焦点調節部620は
、第1焦点調節部610と所定距離だけ離隔して、前記第2出力カプラ520の肉眼50側の方面に設置し、負の焦点距離を有するようにするとともに、両焦点距離の絶対値が同じであるようにして、平行光構造を維持しながらも眼球が認識する現実世界に歪みが無いようにすることを特徴とする。
【0068】
つまり、収束-調節不一致(VAC)の問題を解決するための焦点調節機能を維持しながら
も、「同時に」入射瞳および出射瞳の拡張を通じての光量の確保、アイボックスの拡張機能を達成するための方法が「平行光」構造を作るのである。
【0069】
また、視力矯正が必要な使用者のために、第2焦点調節部620の焦点距離に矯正が必要なディオプターだけ追加してもよい。
【0070】
前記焦点調節ユニット600は、両肉眼50の視線が集まる所と前記イメージ出力ユニット500で出力された可視光拡張現実イメージ情報40と前記対象物から出る可視光現実イメージ情報31の焦点が正確に一致するように調節し、第1焦点調節部610と、第2焦点調節部620を具備する。
【0071】
前記第1焦点調節部610は、1個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含み、使用者の両眼に対応するように両側に位置することが好ましい。
【0072】
前記第1焦点調節部610は、前記第1出力カプラ220内に設置されたレンズと複合的に作用して、眼球レンズの焦点深さ(Depth of focus)と同等の効果を示すように構成された時、前記第1焦点調節部610が、非可視光線20情報の入力を受けて前記カメラ部230に伝達するとともに、カメラに結ばれたデジタル映像、すなわち非可視光線20空間情報に、自動で現実感のある光学ブラー(Optical blur)を付与できることを特徴とする。
【0073】
前記光学ブラーは、肉眼50が物体を認識して視線を置く時、周囲の環境がぼけやぶれて遠近感を与える役割をするが、光学ブラーがないと遠近感がなくなり、多いと異質感を与え得る。
【0074】
したがって、本発明は肉眼50が認識する現実空間での光学ブラーとデジタル映像での光学ブラーが同一であるため、3次元的によく整合した映像を認識できるようにする。
【0075】
前記第2焦点調節部620は1個以上の反射、屈折、回折、ホログラフィック素子または偏光素子を含み、映像出力位置が前記対象物10を向く視線に整合するように形成されることが好ましい。
【0076】
前記第1焦点調節部610と前記第2焦点調節部620は、1個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含んで光の屈折を惹き起こす透明な光学系で構成するものの、軽量化のために複数のPBPレンズ(Pancharatnam-Berry Phase Lens)、パンケーキレンズ(Pancake lens)、液晶レンズまたは液体レンズといった可変焦点レンズを使用できるが、これに限定しない。
【0077】
前記眼球追跡ユニット700は、映像認知距離を予測して、前記焦点調節ユニット600に距離情報を伝送し、肉眼50が現実空間を眺める視線を追跡して、映像認知距離を把握する収束追跡機(Vergence tracker)の役割のために、両眼に対応する別途のカメラと照明が配置されるか、両眼の眼電図(Electrooculography)信号を使用してもよい。
【0078】
前記情報処理ユニット400は、前記カメラ部230、ディスプレイ部530、第1出力カプラ220および第2入力カプラ510に信号を送って、レンズの絞り値の調節、焦点調節、フレーム速度の調節、露出時間、及びISO調節を遂行できるようにすることが好ましい。
【0079】
本発明の第1実施例を両眼に適用した時、前記第1入力カプラ210は、使用者の両眼に対応するように両側に位置し、前記第1出力カプラ220と、カメラ部230は、前記両側の第1入力カプラ210から離隔して前記メガネ本体内の両側に位置し、第2出力カプラ520は使用者の両眼に対応するように両側に位置し、前記ディスプレイ部530と第2入力カプラ510は、前記両側の第2出力カプラ520から離隔して前記メガネ本体内の両側に位置するのであり、前記第2出力カプラ520は、映像出力位置が、前記対象物10を向く視線に整合するように形成されることが好ましい。
【0080】
前記第1入力カプラ210、第1出力カプラ220、カメラ部230第2入力カプラ510、及び第2出力カプラ520を除いた残りの構成要素は、すべて前記と同一であるため詳細な説明は省略する。
【0081】
図4には、本発明に係る非可視光線20可視化自動整合型拡張現実グラス1の第2実施例が図示されている。
【0082】
本実施例の場合に、前記第1入力カプラ210および第2出力カプラ520は、両面ピンミラー213で構成されている。
【0083】
図9~
図10のように、前記第1出力カプラ220と第2入力カプラ510は、前記カメラ部230とディスプレイ部530の前方に常にある必要はなく、時には導波管300の反対側の端部においてバードバス(birdbath)構造の凹面鏡の形態を有してもよい。
【0084】
前記第1入力カプラ210または前記第1出力カプラ220内には、非可視光線20のみが前記カメラ部230に伝達され得るようにする第1フィルタ231をさらに具備することが好ましい。
【0085】
本実施例において、前記導波管300内の第1入力カプラ210と第1出力カプラ220および第1フィルタ231を除いた残りの構成要素は、第1実施例と同じであるため、詳細な説明は省略する。
【0086】
図5には、本発明に係る非可視光線可視化自動整合型拡張現実グラス1の第3実施例が図示されている。
【0087】
前記導波管300は、第1導波管301と第2導波管302で形成されており、前記第1導波管301は、前記第1導波管301の端部に形成されて非可視光線20が入射する第1入力カプラ210と、前記第1導波管301に前記第1入力カプラ210から所定距離だけ離隔して形成され、前記第1入力カプラ210から入射した非可視光線20を出力する第1出力カプラ220とを具備する。
【0088】
前記第2導波管302は、前記第2導波管302の端部に形成されて、前記ディスプレイ部530から出力されたイメージ情報を受信する第2入力カプラ510と、前記第2導波管302に前記第2入力カプラ510から所定間隔離隔して形成され、前記第2入力カプラ510から受信した情報が、使用者の肉眼50に出力され得るように設置される第2
出力カプラ520を具備する。
【0089】
本実施例において、前記第1導波管301と第2導波管302を除いた残りの構成要素は第1実施例と同じであるため、詳細な説明は省略する。
【0090】
図6には、本発明に係る非可視光線20可視化自動整合型拡張現実グラス1の第4実施例が図示されている。
【0091】
前記第1入力カプラ210は、第1導波管301の一側に備えられる第1ピンミラー211であり、前記第2出力カプラ520は、第2導波管302の一側に備えられる第2ピンミラー212であることを特徴とする。
【0092】
本実施例で前記第1導波管301、第2導波管302、第1入力カプラ210および第2出力カプラ520を除いた残りの構成要素は、第2実施例と同じであるため、詳細な説明は省略する。
【0093】
図7には、前記第1導波管301が3つの波長チャネルを有する形態が図示されている。
【0094】
前記波長チャネルは、色収差を解決するための構造であり、特定の波長に合う導波路を作ることができるように複数の層が重ね合わされて形成されており、各波長帯の回折角または屈折角を常に同一に固定する。結果として、各波長は、常に同一の位置でカメラ部230に入力されることが好ましい。
【0095】
図8には、前記第2導波管302が3つの波長チャネルを有する形態が図示されている
【0096】
前記波長チャネルは、色収差を解決するための構造であり、特定の波長に合う導波路を作ることができるように複数層の積層で形成されており、各波長帯の回折角または屈折角を常に同一に固定する。結果として、各波長は、常に同一の位置で出力されることが好ましい。
【0097】
以上で説明した非可視光線可視化自動整合型拡張現実グラス1は、現実空間は目で直接認識し、特定部位からのみ出る近赤外線診断および治療情報のみ現実空間に精巧に整合できるため、手術や施術時、施術者の視線と同軸に近赤外線を整合して拡張現実で見せることができる技術的効果がある。
【0098】
提示された実施例に対する説明は、任意の本発明の技術分野で通常の知識を有する者が本発明を利用または実施できるように提供される。このような実施例に対する多様な変形は本発明の技術分野で通常の知識を有する者に自明であり、ここに定義された一般的な原理は本発明の範囲を逸脱することなく他の実施例に適用され得る。そして、本発明はここに提示された実施例に限定されるものではなく、ここに提示された原理または新規の特徴と一貫する最広義の範囲で解釈されるべきである。
【符号の説明】
【0099】
1:非可視光線可視化自動整合型拡張現実グラス
10:対象物
20:非可視光線
30:可視光線
31:可視光現実イメージ情報
40:可視光拡張現実イメージ情報
50:肉眼
100:非可視光線照射ユニット
200:入力ユニット
210:第1入力カプラ
211:第1ピンミラー
212:第2ピンミラー
213:両面ピンミラー
220:第1出力カプラ
230:カメラ部
231:第1フィルタ
300:導波管
301:第1導波管
302:第2導波管
400:情報処理ユニット
500:イメージ出力ユニット
510:第2入力カプラ
520:第2出力カプラ
530:ディスプレイ部
600:焦点調節ユニット
610:第1焦点調節部
620:第2焦点調節部
700:眼球追跡ユニット