特表 2022-551642 視線検出基盤のスマートグラス表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-12

(54)【発明の名称】視線検出基盤のスマートグラス表示装置

(51)【国際特許分類】

   A61B 3/113 20060101AFI20221205BHJP

   G02B 27/02 20060101ALI20221205BHJP

   G06F 3/01 20060101ALI20221205BHJP

   G06F 3/038 20130101ALI20221205BHJP

   A61B 34/00 20160101ALN20221205BHJP

【ＦＩ】

A61B3/113

G02B27/02 Z

G06F3/01 510

G06F3/038 310A

A61B34/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022521335

(86)(22)【出願日】2020-10-12

(85)【翻訳文提出日】2022-04-07

(86)【国際出願番号】 KR2020013860

(87)【国際公開番号】W WO2021071336

(87)【国際公開日】2021-04-15

(31)【優先権主張番号】10-2019-0125456

(32)【優先日】2019-10-10

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】521065399

【氏名又は名称】メディシンキュー カンパニー，リミティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(72)【発明者】

【氏名】イン ソンイル

(72)【発明者】

【氏名】イム スンチュン

【テーマコード（参考）】

2H199

4C316

5B087

5E555

【Ｆターム（参考）】

2H199CA12

2H199CA42

2H199CA92

2H199CA96

2H199CA97

4C316AA21

4C316FA04

4C316FC04

4C316FC28

5B087AA02

5B087AB00

5B087AB04

5B087BC05

5E555AA07

5E555AA64

5E555BA38

5E555BB38

5E555BE16

5E555CB65

5E555CC22

5E555DA08

5E555DA09

5E555DB03

5E555DC19

5E555EA22

5E555FA00

(57)【要約】

本発明は、眼底を含む眼球にレーザを照射して、眼底からの第１距離および眼球の表面からの第２距離を測定する複数の距離測定部、第１距離および第２距離に基づいて視線方向を検出する視線検出部、オーバーレイイメージを取得するイメージ取得部、視線方向から一定範囲内にある視線を合わる対象体を認識し、視線を合わる対象体に応じて指定された位置にオーバーレイイメージをディスプレイすることができるように位置を演算する画面合成部、および演算された位置にオーバーレイイメージをディスプレイして、スマートグラス形態のディスプレイ部を含む視線検出基盤のスマートグラス表示装置を提供する。したがって、本発明によれば、医師の視線を邪魔せず、関連情報を自然に表示することができるディスプレイ方法および装置が提供される。
【選択図】 図１

【特許請求の範囲】

【請求項1】

眼底を含む眼球にレーザを照射して、前記眼底からの第１距離および前記眼球の表面からの第２距離を測定する複数の距離測定部と、
前記第１距離および前記第２距離に基づいて視線方向を検出する視線検出部と、
オーバーレイイメージを取得するイメージ取得部と、
前記視線方向から一定範囲内にある視線を合わる対象体を認識し、
前記視線を合わる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算する画面合成部、および
前記演算された位置に前記オーバーレイイメージをディスプレイして、スマートグラス形態のディスプレイ部を含む視線検出基盤のスマートグラス表示装置。

【請求項2】

前記視線検出部は、前記複数の距離測定部のそれぞれで測定された距離が第１距離であるかまたは第２距離であるかの情報に基づいて瞳孔の位置をセンシングする請求項１に記載の視線検出基盤のスマートグラス表示装置。

【請求項3】

前記視線検出部は、前記複数の距離測定部のうちの一部の距離測定部で測定された第１距離によって前記眼球から瞳孔に向かう方向をセンシングして視線方向を検出する請求項１に記載の視線検出基盤のスマートグラス表示装置。

【請求項4】

前記複数の距離測定部の少なくとも一部は、前記ディスプレイ部を支持する支持台に沿って配置される請求項１に記載の視線検出基盤のスマートグラス表示装置。

【請求項5】

前記ディスプレイ部は、円形状のガイド領域を含む画面を提供し、前記画面合成部は、提供されたガイド領域に沿って視線が移動すると、使用者の視線方向を検出し、ガイド領域に応じて検出された視線方向に基づいて視線補正基準値を求める請求項１に記載の視線検出基盤のスマートグラス表示装置。

【請求項6】

前記視線補正基準値は、離心率、扁平度または楕円の焦点位置を含む請求項５に記載の視線検出基盤のスマートグラス表示装置。

【請求項7】

前記画面合成部は、前記視線を合わる対象体が照射する光をセンシングし、前記オーバーレイイメージを表示するための基準点を抽出する請求項１に記載の視線検出基盤のスマートグラス表示装置。

【請求項8】

前記画面合成部は、前記基準点から一定間隔離隔された地点を画面境界点として抽出する請求項７に記載の視線検出基盤のスマートグラス表示装置。

【請求項9】

前記ディスプレイ部は、前記オーバーレイイメージを３Ｄ立体形状で表示する請求項１に記載の視線検出基盤のスマートグラス表示装置。

【請求項10】

前記ディスプレイ部は、マイクロディスプレイ、レンズ、パネル、およびスプリッタを含む請求項１に記載の視線検出基盤のスマートグラス表示装置。

【請求項11】

複数の距離測定部によって眼底を含む眼球にレーザを照射して前記眼底からの第１距離および前記眼球の表面からの第２距離を測定する距離測定段階と、
前記第１距離および前記第２距離に基づいて視線方向を検出する視線検出段階と、
オーバーレイイメージを取得するイメージ取得段階と、
前記視線方向から一定範囲内にある視線を合わる対象体を認識し、前記視線を合わる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算する表示位置演算段階、および
スマートグラス形態のディスプレイ部を介して前記演算された位置に前記オーバーレイイメージをディスプレイする表示段階を含む視線検出基盤のスマートグラス表示方法。

【請求項12】

前記視線検出段階は、前記複数の距離測定部のそれぞれで測定された距離が第１距離であるかまたは第２距離であるかの情報に基づいて瞳孔の位置をセンシングする請求項１１に記載の視線検出基盤のスマートグラス表示方法。

【請求項13】

前記視線検出段階は、前記複数の距離測定部のうちの一部の距離測定部で測定された第１距離によって前記眼球から瞳孔に向かう方向をセンシングして視線方向を検出する請求項１１に記載の視線検出基盤のスマートグラス表示方法。

【請求項14】

前記ディスプレイ部が円形状のガイド領域を含む画面を提供する段階と、
提供されたガイド領域に沿って使用者の視線が移動すると、使用者の視線方向を検出し、ガイド領域に応じて検出された視線方向に基づいて視線補正基準値を求める段階をさらに含む請求項１１に記載の視線検出基盤のスマートグラス表示方法。

【請求項15】

前記視線補正基準値は、離心率、扁平度または楕円の焦点位置を含む請求項１４に記載の視線検出基盤のスマートグラス表示方法。

【請求項16】

前記表示位置演算段階は、前記視線を合わる対象体が照射する光をセンシングし、前記オーバーレイイメージを表示するための基準点を抽出する段階を含む請求項１１に記載の視線検出基盤のスマートグラス表示方法。

【請求項17】

前記表示位置演算段階は、前記基準点から一定間隔離隔された地点を画面境界点として抽出する段階をさらに含む請求項１６に記載の視線検出基盤のスマートグラス表示方法。

【請求項18】

前記表示段階は、前記オーバーレイイメージを３Ｄ立体形状で表示する段階を含む請求項１１に記載の視線検出基盤のスマートグラス表示方法。

【請求項19】

複数の距離測定部によって眼底を含む眼球にレーザを照射して、前記眼底からの第１距離および前記眼球の表面からの第２距離を測定し、
前記第１距離および前記第２距離に基づいて視線方向を検出し、
オーバーレイイメージを取得し、
前記視線方向から一定範囲内にある視線を合わる対象体を認識し、
前記視線を合わる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算し、
スマートグラス形態のディスプレイ部を介して前記演算された位置に前記オーバーレイイメージをディスプレイする命令語を保存するコンピュータ判読可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線検出基盤のスマートグラス表示装置に関する。より詳細には、使用者の視線を検出し、視線方向に応じた自然なオーバーレイイメージをスマートグラスを介して提供する視線検出基盤のスマートグラス表示装置に関する。

【背景技術】

【0002】

最近、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、「ＶＲ」）、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、「ＡＲ」）、または複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、「ＭＲ」）の応用分野として医療およびヘルスケアが脚光を浴びている。高齢化時代の到来と競争深化による心理疾患など医療サービスの需要増加に対応するための医療専門家の育成および心理治療の代案として、スマートグラスを活用したＶＲ、ＡＲおよびＭＲ技術が浮上している。特に、従来にはトラウマ治療に制限的に活用していたことから抜け出して、ＶＲ、ＡＲおよびＭＲは、手術、治療、リハビリなど医療の全領域に適用範囲が拡大している。ＶＲ、ＡＲおよびＭＲを利用すれば、仮想患者や臓器を具現して修練教育が可能であり、医療スタッフが手術前に適切な計画を立てて事前にテストすることができる。

【0003】

ＶＲ、ＡＲおよびＭＲを利用していなかった従来の医療装備、例えば、超音波スキャナーは、表示しようとする超音波映像を別途のモニター画面で確認しなければならないため、医師が治療のために患者とモニターを交互に確認しなければならないという面倒さがあった。または、遠隔手術装備やロボット手術装備も手術に必要な各種情報を医療スタッフに効率的に示すことができないことが多かった。したがって、必要な情報を見るために首を回したり、または手術時に必要な情報なしで医師の直感で治療しなければならない場合が発生することになる。

【0004】

このような面倒さおよび視線分散のため、診断時の医師の集中を妨げる要素として作用した。特に、診断または手術中に関連情報画面を見なければならない状況が発生したときに医療スタッフの集中力が分散する状況が発生すると、患者は危険にさらされたり、または集中して観察しなければならない部分を見逃すこともある。

【0005】

したがって、従来の医療装備にＶＲ、ＡＲおよびＭＲを導入し、診断時の医師の集中力を最大化することができ、医療スタッフの便宜性を最大限に図ることができるディスプレイ方法に対する需要が徐々に増加している。

【0006】

発明の背景となる技術は、本発明に対する理解をより容易にするために作成された。発明の背景となる技術に記載された事項が先行技術として存在すると認めるものと理解されてはならない。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、医療機器におけるＡＲ、ＭＲ、ＶＲなどの装備を介して医師の所望の時点および所望の地点に表示して、診断時の医師の視線分散を防ぐ画期的なディスプレイ方法を提供する。

【0008】

特に、本発明が解決しようとする課題は、使用者の視線を検出して関連情報を入れたイメージまたは映像を直観的に楽に感じる特定領域に表示し、使用者が仮想のオブジェクトを介して患者の患部または身体内部をより正確に把握できる視線検出基盤のスマートグラス表示装置を提供することである。

【0009】

本発明の課題は、以上で言及した課題に制限されず、言及されていない他の課題は、以下の記載から当業者に明確に理解されるであろう。

【課題を解決するための手段】

【0010】

前述した課題を解決するために、本発明の実施形態に係る視線検出基盤のスマートグラス表示装置は、眼底を含む眼球にレーザを照射して、前記眼底からの第１距離および前記眼球の表面からの第２距離を測定する複数の距離測定部、前記第１距離および前記第２距離に基づいて視線方向を検出する視線検出部、オーバーレイイメージを取得するイメージ取得部、前記視線方向から一定範囲内にある視線を合わる対象体を認識し、前記視線を合わる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算する画面合成部、および前記演算された位置に前記オーバーレイイメージをディスプレイして、スマートグラス形態のディスプレイ部を含むことができる。

【0011】

この場合、前記視線検出部は、前記複数の距離測定部のそれぞれで測定された距離が第１距離であるかまたは第２距離であるかの情報に基づいて瞳孔の位置をセンシングすることができる。

【0012】

このとき、前記視線検出部は、前記複数の距離測定部のうちの一部の距離測定部で測定された第１距離によって前記眼球から瞳孔に向かう方向をセンシングして視線方向を検出することができる。

【0013】

また、前記複数の距離測定部の少なくとも一部は、前記ディスプレイ部を支持する支持台に沿って配置されることができる。

【0014】

また、前記ディスプレイ部は、円形状のガイド領域を含む画面を提供し、前記画面合成部は、提供されたガイド領域に沿って視線が移動すると、使用者の視線方向を検出し、ガイド領域に応じて検出された視線方向に基づいて視線補正基準値を求めることができる。

【0015】

また、前記視線補正基準値は、離心率、扁平度または楕円の焦点位置を含むことができる。

【0016】

また、前記画面合成部は、前記視線を合わる対象体が照射する光をセンシングし、前記オーバーレイイメージを表示するための基準点を抽出することができる。

【0017】

また、前記画面合成部は、前記基準点から一定間隔離隔された地点を画面境界点として抽出することができる。

【0018】

また、前記ディスプレイ部は、前記オーバーレイイメージを３Ｄ立体形状で表示することができる。

【0019】

また、前記ディスプレイ部は、マイクロディスプレイ、レンズ、パネル、およびスプリッタを含むことができる。

【0020】

一方、本発明に係る視線検出基盤のスマートグラス表示方法は、複数の距離測定部によって眼底を含む眼球にレーザを照射して前記眼底からの第１距離および前記眼球の表面からの第２距離を測定する距離測定段階、前記第１距離および前記第２距離に基づいて視線方向を検出する視線検出段階、オーバーレイイメージを取得するイメージ取得段階、前記視線方向から一定範囲内にある視線を合わる対象体を認識し、前記視線を合わる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算する表示位置演算段階、およびスマートグラス形態のディスプレイ部を介して前記演算された位置に前記オーバーレイイメージをディスプレイする表示段階を含むことができる。

【0021】

この場合、前記視線検出段階は、前記複数の距離測定部のそれぞれで測定された距離が第１距離であるかまたは第２距離であるかの情報に基づいて瞳孔の位置をセンシングすることができる。

【0022】

前記視線検出段階は、前記複数の距離測定部のうちの一部の距離測定部で測定された第１距離によって前記眼球から瞳孔に向かう方向をセンシングして視線方向を検出することができる。

【0023】

また、視線検出基盤のスマートグラス表示方法は、前記ディスプレイ部が円形状のガイド領域を含む画面を提供する段階、提供されたガイド領域に沿って使用者の視線が移動すると、使用者の視線方向を検出し、ガイド領域に応じて検出された視線方向に基づいて視線補正基準値を求める段階をさらに含むことができる。

【0024】

また、前記視線補正基準値は、離心率、扁平度または楕円の焦点位置を含むことができる。

【0025】

また、前記表示位置演算段階は、前記視線を合わる対象体が照射する光をセンシングし、前記オーバーレイイメージを表示するための基準点を抽出する段階を含むことができる。

【0026】

また、前記表示位置演算段階は、前記基準点から一定間隔離隔された地点を画面境界点として抽出する段階をさらに含むことができる。

【0027】

また、前記表示段階は、前記オーバーレイイメージを３Ｄ立体形状で表示する段階を含むことができる。

【0028】

一方、本発明の実施形態に係るコンピュータ判読可能な記録媒体は、複数の距離測定部によって眼底を含む眼球にレーザを照射して、前記眼底からの第１距離および前記眼球の表面からの第２距離を測定し、前記第１距離および前記第２距離に基づいて視線方向を検出し、オーバーレイイメージを取得し、前記視線方向から一定範囲内にある視線を合わる対象体を認識し、前記視線を合わる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算し、スマートグラス形態のディスプレイ部を介して前記演算された位置に前記オーバーレイイメージをディスプレイする命令語を保存することができる。

【0029】

本発明に係る課題の解決手段は、以上に例示した内容によって制限されず、さらに様々な効果が本明細書内に含まれている。

【発明の効果】

【0030】

基本的に本発明は、ＶＲ、ＡＲおよびＭＲを活用して医師の所望の時点および所望の地点に医師の視線を分散させることなく必要な情報をディスプレイすることができる装置を提供することができる。

【0031】

本発明は、視線の動きに基づいて動く拡張現実イメージを使用者が直観的に楽に感じる特定領域に表示して、使用者が仮想のオブジェクトを介して患者の患部または身体内部を、視線を分散させることなく高い集中力で把握できる効果がある。

【0032】

本発明に係る効果は、以上に例示した内容によって制限されず、さらに様々な効果が本明細書内に含まれている。

【図面の簡単な説明】

【0033】

【図1】本発明の一実施形態に係るスマートグラスの表示過程を示す例示図である。

【図2a】本発明の一実施形態に係る視線検出基盤のスマートグラス表示システムの概略図である。

【図2b】本発明の一実施形態に係る視線検出基盤のスマートグラス表示装置の構成図である。

【図2c】本発明の一実施形態に係る視線検出基盤のスマートグラス表示装置のブロック図である。

【図3a】本発明の一実施形態に係る視線検出に係るキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）モードを説明するための図である。

【図3b】本発明の一実施形態に係る視線検出に係るキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）モードを説明するための図である。

【図4】本発明の一実施形態に係るディスプレイに画像が生成される過程を説明するための例示図である。

【図5】本発明の他の実施形態に係るスマートグラス表示方法を示す図である。

【図6】本発明の他の実施形態に係るスマートグラス表示方法を示す図である。

【図7】本発明の実施形態に係るスマートグラス表示方法を示す図である。

【発明を実施するための形態】

【0034】

本発明の利点、そしてそれを達成する方法は、添付した図面と共に詳細に後述されている実施形態を参照すれば明確になる。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる様々な形態で具現されることができ、単に本実施形態は、本発明の開示が完全になるようにして、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義されるだけである。

【0035】

本発明の実施形態を説明するための図面に開示された形状、大きさ、比率、角度、個数などは例示的なものであるため、本発明が図面に示した事項によって限定されるものではない。また、本発明を説明するにおいて、関連する公知技術に対する具体的な説明が本発明の要旨を不必要に曖昧にすると判断された場合、その詳細な説明は省略する。本明細書で言及した「含む」、「有する」、「からなる」などが使用されている場合、「～のみ」が使用されていない限り、他の部分が追加されることができる。構成要素を単数で表現した場合、別に明示的な記載事項がない限り、複数を含む場合を含む。

【0036】

なお、構成要素を解釈する際に、別に明示的な記載がなくても誤差範囲を含むものとして解釈する。

【0037】

本発明の様々な実施形態のそれぞれ特徴が部分的に又は全体的に互いに結合又は組み合わせが可能であり、当業者が十分に理解できるように、技術的に様々な連動および駆動が可能であり、各実施形態が互いに独立的に実施可能であり得、連関関係でともに実施可能でもあり得る。

【0038】

図１は、本発明の一実施形態に係るオーバーレイイメージ表示過程を示す例示図である。図２ａは、本発明の一実施形態に係る視線検出基盤の拡張現実表示システムの概略図である。図２ｂは、本発明の一実施形態に係る視線検出基盤のスマートグラス表示装置の構成図である。図２ｃは、本発明の一実施形態に係るスマートグラス表示装置のブロック図である。図３ａおよび図３ｂは、本発明の一実施形態に係る視線検出に係る視線方向補正を説明するための図である。図４は、ディスプレイにオーバーレイイメージが表示される過程を説明するための図である。

【0039】

図１を参照すると、視線検出基盤のスマートグラス表示システムは、イメージ取得部２０５から取得されたイメージまたは映像を視線を合わる対象体２００に応じたディスプレイ上の特定領域に拡張現実、複合現実または仮想現実のオーバーレイイメージまたは映像で表示する視線検出基盤のスマートグラス表示装置１００および視線検出サーバー９００を含む。ただし、図１の実施形態では、視線検出基盤のスマートグラス表示装置１００と視線検出サーバー９００が分離した形態で示したが、視線検出基盤のスマートグラス表示装置１００と視線検出サーバー９００は、１つのハウジング内に搭載されることができる。１つのハウジング内に搭載された場合には、視線検出基盤のスマートグラス表示装置１００と視線検出サーバー９００は有線で連結されることができる。

【0040】

また、本実施形態では、視線を合わる対象体２００とイメージ取得部２０５が超音波スキャナーとして１つの装置内に具現された場合を示したが、視線を合わる対象体２００とイメージ取得部２０５が別途の装置でもあり得る。例えば、遠隔手術ロボットにおける視線を合わる対象体２００はメスであり得、または手術患者の手術部位であり得る。例えば、イメージ取得部２０５は、手術患者の神経であってメスが入ってはならない領域を表示したイメージを視線検出サーバー９００内に保存されたイメージから取得するユニットでもあり得る。すなわち、視線検出サーバー９００には、手術患者が手術前に撮影した映像に基づいて患者の神経を表示したイメージが保存されることができる。

【0041】

視線検出基盤のスマートグラス表示装置１００は、内蔵された複数の距離測定部１１によって使用者の視線を検出し、イメージ取得部２０５から取得したイメージをディスプレイ部１０３の画面上に表示できる装置である。ここで、スマートグラス表示装置１００は、視線を合わる対象体２００を認識した後、認識した視線を合わる対象体２００と関連して予め設定した領域に前記イメージ取得部２０５から取得した映像を表示する。このとき、視線を合わる対象体２００は、手術、治療などに使用される電子機器または一般道具でもあり得る。例えば、視線を合わる対象体２００は、超音波スキャナー、シザー（ｓｃｉｓｓｏｒｓ）、クリップ（ｃｌｉｐ）、メス（ｍｅｓ）などであり得る。本実施形態では視線を合わる対象体２００が超音波スキャナーであることを基準として説明する。

【0042】

本発明において、視線検出基盤のスマートグラス表示装置１００は、ディスプレイ部１０３のマイクロディスプレイ１１０（図２ｂ参照）でプロジェクションされる画面１１４が両側レンズ１１１、パネル１１２およびスプリッタ１１３を介して反射されて目に見える方式であり得る。または、ＨＭＤディスプレイを活用しながらシースルー（Ｓｅｅ－ｔｈｒｏｕｇｈ）モードでスマートグラス表示装置１００の外部カメラ１２を介して、または分離した別途のカメラを介して撮影した外部画面をＶＲの画面を介してオーバーレイ画面と重畳して見せる形態であり得る。

【0043】

図２ａ、図２ｂおよび図２ｃを参照すると、視線検出基盤のスマートグラス表示装置１００は、瞳孔センシング部１０１、視線検出部１０２、ディスプレイ部１０３、画面合成部１０４および制御部１０５を含むことができる。このような瞳孔センシング部１０１、視線検出部１０２およびディスプレイ部１０３は画面合成部１０４、および制御部１０５はソフトウェア、ハードウェアまたはソフトウェアとハードウェアの組み合わせで構成されることができ、当業者は適切な手段を活用してこのような構成要素を具現することができる。

【0044】

瞳孔センシング部１０１は、使用者の瞳孔をセンシングする構成であって、複数の距離測定部１１を含む。このとき、複数の距離測定部１１は、視線検出基盤のスマートグラス表示装置１００の眼鏡フレームの縁部に沿って複数が配置されることができる。

【0045】

距離測定部１１は、使用者の視線の動きを把握するために瞳孔１５の位置をセンシングし、レーザ発光部と受光部を含むセンサーとして、好ましくは瞳孔の視力損傷のない波長帯の赤外線レーザを照射する。図２ａでは、説明の便宜のために、距離測定部１１から照射されるレーザ照射線（ＬＬ）を示した。

【0046】

図４を参照すると、複数の距離測定部１１は眼球１０に赤外線を照射した後、瞳孔１５を介して眼球の眼底から反射された距離（ｄ１＋ｄ２）または眼球の表面から直接反射された距離（ｄ２）を測定することができる。すなわち、反射距離は、眼底から眼球表面（または瞳孔）までの距離（ｄ１）および眼球表面からセンサーユニット１１４までの距離（ｄ２）に区分することができる。この場合、複数のセンサーを介して求めたそれぞれの距離（ｄ１およびｄ２）を測定して瞳孔の位置をセンシングする。

【0047】

具体的には、使用者の一部距離測定部１１から照射したレーザ光は、瞳孔１５を通過した後、使用者の眼球１０内側である眼底で反射されて、瞳孔１５を介して再び距離測定部１１でセンシングされることになる。

【0048】

このとき、複数の距離測定部１１から照射された複数のレーザ光のうちの一部のみが瞳孔を通過することができる。瞳孔を通過できなかったレーザ光は、眼球１０の内部ではなく表面で反射されて、距離測定部１１の受光部に入射することになる。

【0049】

複数の距離測定部１１で照射されるレーザを用いて眼底から眼球表面までの長さ（ｄ１）と眼球表面１０からディスプレイ部１０３までの長さ（ｄ２）を測定することができる。すなわち、瞳孔１５を通過した距離（ｄ１＋ｄ２）は、瞳孔１５を通過しなかった距離（ｄ１＋ｄ２）よりも長さが相対的に短いため、長さ比較によって使用者瞳孔１５の位置を把握することができる。また、複数の距離測定部１１の距離情報によって１つの距離測定ユニット１１から照射したレーザ光が瞳孔を通過するか否かおよび／または通過した光で測定された距離に基づいて、眼球から瞳孔に向かった方向を正確に決定することができる。

【0050】

したがって、本発明は図４に示すように、複数の距離測定部１１が位置した様々な位置から眼底までの距離を測定するため、非常に詳細な視線方向を導出することができる。

【0051】

この場合、複数の距離測定部１１は、スマートグラス表示装置１００の前記ディスプレイ部１０３を支持する支持台（眼鏡フレーム）の後面（顔と向かう面）の上側（Ｌ１）および下側（Ｌ２）に沿って配置される。ただし、距離測定部１１の位置はこれに制限されず、視線検出基盤のスマートグラス表示装置１００の眼鏡フレームの後面の側部に配置されるか、スマートグラス表示装置１００のディスプレイ部１０３のレンズ１１１またはパネル１１２に直接配置されることもできる。

【0052】

視線検出部１０２は、ディスプレイ部１０３上に表示するための拡張現実イメージに対する使用者の視線方向をセンシングする構成であって、瞳孔を介して眼球の眼底から反射された距離（ｄ１＋ｄ２）、眼球の表面から直接反射された距離（ｄ２）および瞳孔の位置に基づいて視線方向を検出することができる。瞳孔センシング部１０１および視線検出部１０２に関するより詳細な説明は、図３ａ～図３ｂを参照して後述することにする。

【0053】

ディスプレイ部１０３は、視線を合わる対象体２００から取得されたイメージをディスプレイ部１０３に拡張現実、仮想現実または複合現実イメージで表示する構成である。例えば、図２ｂを参照すると、ディスプレイ部１０３はマイクロディスプレイ１０、レンズ１１１、パネル１１２、およびスプリッタ１３を含むことができる。この場合、マイクロディスプレイ１０が正面に配置されたレンズ１１１を介して像を照射すると、照射された像はレンズ１１１を介してパネル１１２の一領域に到達した後、ディスプレイパネル１２の一面に取り付けられたスプリッタ１３（ｓｐｌｉｔｔｅｒ）によって像が全反射（ｔｏｔａｌ ｒｅｆｌｅｃｔｉｏｎ）され、再び目の前方のスプリッタ１３によって像１１４が使用者の目に見えることができる。

【0054】

また、ディスプレイ部１０３は、イメージ取得部２０５によって取得されたイメージまたは映像を拡張現実、仮想現実または複合現実イメージで表示するだけではなく、前記取得されたイメージ関連の様々な情報を表示することができる。例えば、医療スタッフが手術時に患者の血管を切った場合、安全に血管を連結するまでの残り時間が約６０.０秒残っていることを第２イメージ２２０で第１イメージ２１０とともに重畳して表示することができる。

【0055】

イメージ取得部２０５で取得した拡張現実、仮想現実または混合イメージ（以下、オーバーレイイメージ）、例えば、超音波スキャナーでスキャンしたイメージは、視線を合わる対象体２００により指定された特定位置にディスプレイ１０３を介してオーバーレイされる。例えば、イメージ取得部２０５で取得したイメージは、超音波検診を受ける産婦の超音波映像であり得る。この場合、スマートグラス表示装置１００は、視線を合わる対象体２００（図４の実施形態では超音波スキャナー）が視線方向から特定範囲２５０内にあるかを認識する。そして、視線を合わる対象体２００に係る特定位置（例えば、超音波スキャナーの場合、超音波スキャナーの超音波照射面）に取得部２０５で取得したオーバーレイイメージが重畳するようにする。

【0056】

イメージは、視線検出基盤のスマートグラス表示装置１００の左側レンズおよび右側レンズに表示される。このとき、左側レンズおよび／または右側レンズは、同一のイメージを表示することができる。イメージは、図１ｂに示すように、同一の物体に対する左眼イメージ（Ｔ１'）および右眼イメージ（Ｔ１'）が表示されて、使用者が立体形状（３Ｄ）で仮想オブジェクト（Ｔ１）を認識することもできる。

【0057】

また、イメージは、使用者の視線の動きに基づいてディスプレイ部１０３内で移動することができる。これに関する具体的な説明は後述する。

【0058】

画面合成部１０４は、イメージ取得部２０５で取得したイメージまたは映像を適切な位置に配置および合成することができる。画面合成部１０４は、外部カメラ１２で取得した映像によって視線を合わる対象体２００の位置を確認し、視線方向と連動してオーバーレイイメージがディスプレイされるべき位置を演算する。図４の超音波スキャナーの実施形態において、オーバーレイイメージがディスプレイされる位置は超音波スキャナーの超音波照射面である。画面合成部１０４は、超音波映像を前記演算された位置に表示するようにディスプレイ１０３を制御することができる。この場合、医師は、産婦のお腹を超音波でスキャニングするときに、超音波照射面を見ながらスキャンした画面がよく出ることを確認することができる。したがって、医師は、視線を分散させることなく、胎児の位置、所望の部分がうまくスキャンされるように調整しながら超音波検診が行うことができる。

【0059】

スマートグラス表示装置１００が仮想現実を示すＨＭＤである場合、画面合成部１０４は、外部カメラ１２の映像とイメージ取得部２０５の映像を重畳してディスプレイすることができる。ただし、この場合にも視線方向と連動してオーバーレイイメージがディスプレイされるべき位置を演算した後、外部カメラ１２の映像とイメージ取得部２０５の映像を重畳してディスプレイする。

【0060】

制御部１０５は、瞳孔センシング部１０１、視線検出部１０２、ディスプレイ部１０３および画面合成部１０４に対する全般的な動作を制御する機能を行うことができる。

【0061】

以下では、図３ａおよび図３ｂを参照して、画面合成部１０４が瞳孔の位置および測定された距離（ｄ１およびｄ２）から推定した距離を補正する方法について詳細に記述する。

【0062】

具体的に図３ａに示すように、画面合成部１０４は、キャリブレーションモードでディスプレイ１０３を介して使用者に円形状のガイド領域（ＴＲ）を表示した任意の画面３００を提供する。ここで、キャリブレーションモードは、使用者の視線方向を測定するモードであって、使用者は任意の画面３００に表示されたガイド領域（ＴＲ）に沿って最初の開始地点（ＳＰ）からガイド領域（ＴＲ）の縁部に沿って時計方向（使用者基準、一方、反時計方向であり得る）に視線を移動させるように案内される。

【0063】

このとき、使用者がガイド領域（ＴＲ）に沿って視線方向を移動させるときに、視線検出部１０２は使用者の視線方向を検出する。この場合、図３ｂに示すように、理想的な使用者の視線（ｉｄｅａｌ）は、理想的な円形軌道を有するが、実際の使用者の視線（ａｃｔｕａｌ）は、理想的な使用者の視線（ｉｄｅａｌ）よりも横幅が狭く、縦幅が広い楕円形の軌道を有するように形成される。すなわち、使用者が楽に凝視できる視線方向は、通常的に正確な円形形態ではなく楕円形態を有することになる。この場合、画面合成部１０４は、キャリブレーションモードで測定した実際の視線方向に基づいて視線補正基準値を求める。この場合、視線補正基準値は例えば、離心率、扁平度、楕円の焦点位置など楕円を代表することができる値を含むことができる。

【0064】

したがって、本発明によるスマートグラス表示装置１００は、視線検出部１０２で検出した視線方向を視線補正基準値に基づいて補正することができる。したがって、使用者が実際にみつめようと意図した視線方向を正確に推定することができ、画面処理においてオーバーレイイメージの表示位置の正確性が著しく増加することになる。

【0065】

本実施形態においては、外部カメラ１２を介して取得したイメージに基づいて視線を合わる対象体２００の位置を把握したが、本発明はこれに制限されない。例えば、画面合成部１０４は、視線を合わる対象体２００の少なくとも３つの位置に搭載したビーコン２６０（Ｂｅａｃｏｎ）を用いて視線を合わる対象体２００の位置を把握することもできる。すなわち、画面合成部１０４は、視線を合わる対象体２００に搭載されたビーコン２６０信号を周期的に検出し、視線を合わる対象体２００の位置を把握することができる。

【0066】

以下では、図５を参照して本発明によるまた他の実施形態について説明する。

【0067】

図５の実施形態においては、視線を合わる対象体２００は、超音波スキャナーの一面に装着された光照射部２６０で照射する光であり得る。例えば、医師が超音波スキャナーを介して検診中に全体的な超音波映像のうちの所望の部分がある場合、医師は超音波スキャナーに搭載された光照射部２６０を点けて所望の位置を表示することになる。

【0068】

この場合、外部カメラ１２を介して、光照射部２６０で照射する光がセンシングされる場合には、図５に示すように、光が照射された地点を中心に画面境界点（Ｐ１－Ｐ４、Ｐ２－Ｐ３）を演算する。ここで、赤外線レーザが照射された地点を基準点と仮定した場合、前記基準点を中心に対角線方向に一定間隔離隔された４地点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）を画面境界点として抽出することができる。これにより、画面合成部１０４は、視線を合わる対象体２００である光照射部２６０から照射する光を基準としてオーバーレイイメージ２１０の位置を演算することができる。

【0069】

一方、図２ａは、一実施形態として、当業者の必要に応じて一部構成要素を削除するか、または新しい構成要素を追加することができる。例えば、視線検出基盤のスマートグラス表示装置１００と有・無線で連結されるコントローラーをさらに含むこともできる。

【0070】

以下では、図６を参照して本発明によるまた他の実施形態について説明する。

【0071】

図６の実施形態においては、視線を合わる対象体２００は、メスおよび手術対象者の顔であり得る。また、この場合、オーバーレイイメージ２１０は予定された手術線であり得る。例えば、医師がメスを持って、患者の顔を切開する手術を進行する場合に、手術線イメージが患者の顔にオーバーレイされることができる。この場合、手術者の視線方向の一定範囲内に患者の顔とメスが、外部カメラ１２によって撮影された映像中に検出される場合に、患者の顔の上にオーバーレイイメージである手術線が重畳して表示されることになる。すなわち、視線を合わる対象体２００は複数であり得、様々な条件（メスと手術対象者の顔の少なくとも一部が検出される場合）を満たすときに、画面合成部１０４は視線を合わる対象体２００である手術対象者の顔を基準としてオーバーレイイメージ２１０の位置を演算することができる。またはこの場合、オーバーレイイメージ２１０は参考のための状況（執刀するメスが皮膚に入る深さが適切なのか否かに対する情報）に対する情報であり得る。または手術中に絶対に触れてはいけない神経／血管の位置などがオーバーレイイメージ２１０として表示されることもできる。このとき、オーバーレイ（あるいは重畳）されるオーバーレイイメージ２１０は、映像のブロック検索（ｂｌｏｃｋ ｓｅａｒｃｈ）やエッジ（ｅｄｇｅ）検出方式などを含む既知の映像処理方法によって表示されることができる。

【0072】

したがって、本発明は、視線方向に基づいて動くオーバーレイイメージをスマートグラスの特定領域に表示することによって、医療スタッフの視線を分散させることなく、手術や検診などの本来の作業にのみ集中することができるようにする。

【0073】

以下では、図７を参照して、本発明の一実施形態に係る視線検出基盤のスマートグラスの表示方法について詳細に説明する。

【0074】

まず、本発明の実施形態に係るスマートグラスの表示方法は、複数の距離測定部１１によって眼底を含む眼球にレーザを照射して前記眼底からの第１距離および前記眼球の表面からの第２距離を測定する距離測定段階Ｓ１１０を含む。

【0075】

この場合、視線検出部１０２は、各距離測定部１１で測定した距離が眼底から反射されたのかまたは眼球表面から反射されたのか、すなわち、前記第１距離および前記第２距離に基づいて視線方向を検出することができる（視線検出段階、Ｓ１２０）。

【0076】

一方、スマートグラスの表示方法は、オーバーレイイメージを取得する。オーバーレイイメージは、前述したように超音波スキャナー、外部カメラ、別途の連結されたカメラ、またはイメージ／映像を保存するサーバーから取得可能である（イメージ取得段階、Ｓ１３０）。この場合、視線検出部１０２は、前記複数の距離測定部のそれぞれで測定された距離が第１距離であるかまたは第２距離であるかの情報に基づいて瞳孔の位置をセンシングすることができる。または、視線検出部１０２は、前記複数の距離測定部のうちの一部の距離測定部で測定された第１距離によって前記眼球から瞳孔に向かう方向をセンシングする視線方向を検出することができる。

【0077】

画面合成部１０４は、前記視線方向から一定範囲内にある視線を合わる対象体を認識し、前記視線を合わる対象体に応じて指定された位置に前記オーバーレイイメージをディスプレイすることができるように位置を演算することができる（表示位置演算段階、Ｓ１４０）。このとき、画面合成部１０４は、前記ディスプレイ部１０３によって円形状のガイド領域を含む画面を提供した後、使用者が提供されたガイド領域に沿って視線を移動すると、使用者の視線方向を検出し、ガイド領域に応じて検出された視線方向に基づいて視線補正基準値を求めることができる。

【0078】

一方、前記表示位置演算段階Ｓ１４０は、前記視線を合わる対象体が照射する光をセンシングし、前記オーバーレイイメージを表示するための基準点を抽出する段階を含むことができる。この場合、前記表示位置演算段階は、前記基準点から一定間隔離隔された地点を画面境界点として抽出する段階をさらに含むことができる。

【0079】

最後に、スマートグラス形態のディスプレイ部１０３は、前記演算された位置に前記オーバーレイイメージをディスプレイする表示段階を含むことができる。

【0080】

したがって、本発明によれば、ＶＲ、ＡＲおよびＭＲを活用して医師の所望の時点および所望の地点に医師の視線を分散させることなく、必要な情報をディスプレイすることができる装置を提供することができる。

【0081】

また、本発明は、視線の動きに基づいて動く拡張現実イメージを使用者が直観的に楽に感じる特定領域に表示して、使用者が仮想のオブジェクトを介して患者の患部または身体内部を、視線を分散させることなく高い集中力で把握できる効果がある。

【0082】

以上、添付図面を参照して本明細書の実施形態をさらに詳細に説明したが、本発明は、必ずしもこれらの実施形態に限定されるものではなく、本発明の技術思想を逸脱しない範囲内で多様に変形実施できる。したがって、本発明に開示された実施形態は、本発明の技術思想を限定するためのものではなく、説明するためのものであり、このような実施形態によって本発明の技術思想の範囲を限定するものではない。よって、以上で記述した実施形態は、あらゆる面で例示的なもので、限定的なものではないと理解しなければならない。本発明の保護範囲は請求の範囲によって解釈されるべきであり、それと同等の範囲内にあるすべての技術思想は本明細書の権利範囲に含まれると解釈されるべきである。

【図1】

【図2a】

【図2b】

【図2c】

【図3a】

【図3b】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】