特許 7209128 スマートグラスの視線トラッキングシステムおよびその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-11

(45)【発行日】2023-01-19

(54)【発明の名称】スマートグラスの視線トラッキングシステムおよびその方法

(51)【国際特許分類】

   G06F 3/04842 20220101AFI20230112BHJP

   G06F 3/01 20060101ALI20230112BHJP

   G06F 3/0346 20130101ALI20230112BHJP

   G06F 3/038 20130101ALI20230112BHJP

【ＦＩ】

G06F3/04842

G06F3/01 510

G06F3/0346 423

G06F3/038 310A

【請求項の数】 12

(21)【出願番号】P 2022521366

(86)(22)【出願日】2020-10-12

(65)【公表番号】

(43)【公表日】2022-10-03

(86)【国際出願番号】 KR2020013858

(87)【国際公開番号】W WO2021071335

(87)【国際公開日】2021-04-15

【審査請求日】2022-06-09

(31)【優先権主張番号】10-2019-0125447

(32)【優先日】2019-10-10

(33)【優先権主張国・地域又は機関】KR

【早期審査対象出願】

(73)【特許権者】

【識別番号】521065399

【氏名又は名称】メディシンキュー カンパニー，リミティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(72)【発明者】

【氏名】イン ソンイル

(72)【発明者】

【氏名】イム スンチュン

【審査官】酒井 優一

(56)【参考文献】

【文献】米国特許出願公開第２０１８／００７４５８３（ＵＳ，Ａ１）

【文献】特開平１１－０７３２７４（ＪＰ，Ａ）

【文献】特表２０１７－５２６０７８（ＪＰ，Ａ）

【文献】特開２０１７－０５８９７１（ＪＰ，Ａ）

【文献】特開２０１９－０５７０５７（ＪＰ，Ａ）

【文献】特表２０１８－５３０７９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８４２

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０３８

(57)【特許請求の範囲】

【請求項1】

スマートグラスに内蔵された少なくとも１つのセンサーによって使用者の瞳孔をセンシングする瞳孔センシング部と、
スマートレンズを含むディスプレイ部であって、複数のターゲットオブジェクトが、前記スマートレンズの中心点を基準として互いに異なる方向に動かされ、前記方向は、対角線方向、時計方向、反時計方向および渦巻き方向のうちの少なくとも１つを含む、ディスプレイ部と、
少なくとも１つの感知センサーを介して視線をトラッキングし、前記複数のターゲットオブジェクトに対する前記使用者の視線状態情報を取得する視線トラッキング部、および
前記視線状態情報に基づいて前記複数のターゲットオブジェクトのうちから前記使用者の視線が一定時間以上留まる特定のオブジェクトを入力オブジェクトとして選択した後、入力を行う入力部を含み、
前記視線トラッキング部からトラッキングされた視線トラッキングデータに基づいて前記使用者の視線範囲を設定する視線範囲設定部であって、前記視線範囲は、前記中心点を基準に分けられた前記スマートレンズの４象限（ｆｏｕｒ－ｑｕａｄｒａｎｔ）のうちの前記使用者の視線に頻繁にさらされる少なくとも２つの領域を含む前記使用者の視線の中央部と決定される、視線範囲設定部をさらに含み、
前記入力オブジェクトは、前記使用者の視線状態情報に基づいて大きさ、色および移動方向のうちの少なくとも１つを変化させ、
前記ディスプレイ部は、前記視線範囲を除いた領域よりも前記視線範囲に前記ターゲットオブジェクトをより多く動かす視線トラッキングシステム。

【請求項2】

前記視線状態情報は、前記使用者の瞳孔の動きおよび前記使用者の目の開け閉じを含み、前記使用者の視線状態情報に基づいて前記入力オブジェクトが決定される請求項１に記載の視線トラッキングシステム。

【請求項3】

前記４象限の各領域には前記ターゲットオブジェクトが少なくとも１つずつ動かされる請求項１に記載の視線トラッキングシステム。

【請求項4】

前記４象限の各領域に動かされる前記ターゲットオブジェクトは、１サイクル（ｃｙｃｌｅ）に複数が一度に動かされるか、または複数のサイクルにわたって順次的に動かされる請求項３に記載の視線トラッキングシステム。

【請求項5】

前記ターゲットオブジェクトは、前記スマートレンズの一側から他側に並んで動かされる請求項１に記載の視線トラッキングシステム。

【請求項6】

前記ターゲットオブジェクトは、自動推薦単語を含み、前記自動推薦単語は、前記スマートレンズに１つずつ動かされるか、またはリスト形態でポップアップされて表示される請求項１に記載の視線トラッキングシステム。

【請求項7】

前記自動推薦単語は、前記使用者の関心度に基づいて差別的な速度で動かされ、
前記関心度は前記使用者によって予め設定された関心項目、前記使用者の業務分野および前記ターゲットオブジェクトに対する前記使用者の入力頻度のうちのいずれか１つによって決定される請求項６に記載の視線トラッキングシステム。

【請求項8】

前記ディスプレイ部は、前記視線範囲内で少なくとも２つの同じターゲットオブジェクトを前記スマートレンズの互いに異なる領域に同時に動かす請求項１に記載の視線トラッキングシステム。

【請求項9】

瞳孔センシング部によって使用者の瞳孔をセンシングする段階と、
視線トラッキング部によってディスプレイ部に動かされる複数のターゲットオブジェクトに対する使用者の視線をトラッキングする段階であって、前記ディスプレイ部は、スマートレンズを含み、前記複数のターゲットオブジェクトが、前記スマートレンズの中心点を基準として互いに異なる方向に動かされ、前記方向は、対角線方向、時計方向、反時計方向および渦巻き方向のうちの少なくとも１つを含む、段階と、
前記複数のターゲットオブジェクトに対する前記使用者の視線状態情報を取得する段階、
前記視線トラッキング部からトラッキングされた視線トラッキングデータに基づいて前記使用者の視線範囲を設定する段階であって、前記視線範囲は、前記中心点を基準に分けられた前記スマートレンズの４象限（ｆｏｕｒ－ｑｕａｄｒａｎｔ）のうちの前記使用者の視線に頻繁にさらされる少なくとも２つの領域を含む前記使用者の視線の中央部と決定される、段階、および
入力部によって前記複数のターゲットオブジェクトのうちの前記使用者の視線が一定時間以上留まる特定のオブジェクトが前記使用者によって入力オブジェクトに決定されたものと把握して入力として処理する段階を含み、
前記ディスプレイ部は、前記視線範囲を除いた領域よりも前記視線範囲に前記ターゲットオブジェクトをより多く動かし、
前記入力オブジェクトは、前記使用者の視線状態情報に基づいて大きさ、色および移動方向のうちの少なくとも１つが変化する視線トラッキング方法。

【請求項10】

前記ターゲットオブジェクトに対して前記使用者の視線が少なくとも２秒留まる場合に前記入力オブジェクトとして選択し、選択された入力オブジェクトに対して前記使用者の目が少なくとも２回瞬くか、特定の単一筋肉または筋肉群の特異的な動きがある場合に選択された入力オブジェクトに対応する情報が入力される請求項９に記載の視線トラッキング方法。

【請求項11】

前記ターゲットオブジェクトの周辺は前記ターゲットオブジェクトの流動偏差角が３°以下である請求項９に記載の視線トラッキング方法。

【請求項12】

瞳孔センシング部によって使用者の瞳孔をセンシングし、
視線トラッキング部によってディスプレイ部に動かされる複数のターゲットオブジェクトに対する使用者の視線をトラッキングし、前記ディスプレイ部は、スマートレンズを含み、前記複数のターゲットオブジェクトが、前記スマートレンズの中心点を基準として互いに異なる方向に動かされ、前記方向は、対角線方向、時計方向、反時計方向および渦巻き方向のうちの少なくとも１つを含み、
前記複数のターゲットオブジェクトに対する前記使用者の視線状態情報を取得し、
入力部によって前記複数のターゲットオブジェクトのうちの前記使用者の視線が一定時間以上留まる特定のオブジェクトが前記使用者によって入力オブジェクトに決定されたものと把握して入力として処理し、前記入力オブジェクトは、前記使用者の視線状態情報に基づいて大きさ、色および移動方向のうちの少なくとも１つを変化させ、
トラッキングされた視線トラッキングデータに基づいて前記使用者の視線範囲を設定し、前記視線範囲は、前記中心点を基準に分けられた前記スマートレンズの４象限（ｆｏｕｒ－ｑｕａｄｒａｎｔ）のうちの前記使用者の視線に頻繁にさらされる少なくとも２つの領域を含む前記使用者の視線の中央部と決定され、前記視線範囲を除いた領域よりも前記視線範囲に前記ターゲットオブジェクトをより多く動かす命令語を保存するコンピュータ判読可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線トラッキングシステムに関し、より詳細にはスマートグラスを用いて、改善されたターゲット検出精度と作業便宜性が増大した視線トラッキングシステムに関する。

【背景技術】

【0002】

最近、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、「ＶＲ」）、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、「ＡＲ」）、または複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、「ＭＲ」）の応用分野として医療およびヘルスケアが脚光を浴びている。高齢化時代の到来と競争深化による心理疾患など医療サービスの需要増加に対応するための医療専門家の育成および心理治療の代案として、スマートグラスを活用したＶＲ、ＡＲおよびＭＲ技術が浮上している。特に、従来にはトラウマ治療に制限的に活用していたことから抜け出して、ＶＲは手術、治療、リハビリなど医療の全領域に適用範囲が拡大している。ＶＲを利用すれば、仮想患者や臓器を具現して修練教育が可能であり、医療スタッフが手術前に適切な計画を立てて事前にテストすることができる。

【0003】

ただし、このようなＶＲ、ＡＲ、ＭＲ技術は、一般的に入力が非常に不便である。一部の音声認識を使用することもできるが、視覚的な情報を活用して入力する既存のコンピュータや携帯電話などの入力に比べて、ＶＲ、ＡＲ、ＭＲ技術の入力手段は非常に制限的である。医療スタッフがロボット手術、遠隔手術などの治療の際、患者の状態参照のためにカルテや患者のＸ線写真ファイルなどの必要な情報を検索したり、簡単な文字入力事項などを入力して処理したり、機器を制御しなければならない場合がしばしば発生するが、既存のＶＲ、ＡＲ、ＭＲで提供する使用者インターフェースだけではかなり不便な場合が多い。

【0004】

したがって、医療用機器でＶＲ、ＡＲ、ＭＲ機器を用いる際に医療スタッフが不便なく簡単な方法で文字入力または機器制御を行うことができる使用者インターフェースが切実に要求されていた。

【0005】

一方、発明の背景となる技術は、本発明に対する理解をより容易にするために作成された。発明の背景となる技術に記載された事項が先行技術として存在すると認めるものと理解されてはならない。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする課題は、使用者の視線に応じて入力されるオブジェクトの大きさ、形態および移動方向を変化させることによって、使用者の作業の便宜性を増大させることができるスマートグラスの視線トラッキングシステムを提供することである。

【0007】

また、本発明が解決しようとする課題は、スマートレンズ内に使用者の視線範囲を設定することによって、使用者の入力の精度および凝視の精度を向上させることができるスマートグラスの視線トラッキングシステムを提供することである。

【0008】

また、本発明が解決しようとする課題は、入力されたオブジェクトに基づいて自動推薦単語を提供することによって、使用者の作業速度を効果的に短縮させることができるスマートグラスの視線トラッキングシステムを提供することである。

【0009】

本発明の課題は、以上で言及した課題に制限されず、言及されていない他の課題は以下の記載から当業者に明確に理解されるであろう。

【課題を解決するための手段】

【0010】

前述したような課題を解決するために、本発明の実施形態に係るスマートグラスの視線トラッキングシステムは、スマートグラスに内蔵された少なくとも１つのセンサーによって使用者の瞳孔をセンシングする瞳孔センシング部、複数のターゲットオブジェクトがフローティングされるスマートレンズを含むディスプレイ部、少なくとも１つの感知センサーを介して視線をトラッキングし、複数のターゲットオブジェクトに対する使用者の視線状態情報を取得する視線トラッキング部、および視線状態情報に基づいて複数のターゲットオブジェクトのうちから使用者の視線が一定時間以上留まる特定のオブジェクトを入力オブジェクトとして選択した後、入力を行う入力部を含み、入力オブジェクトは、使用者の視線状態情報に基づいて大きさ、色および移動方向のうちの少なくとも１つが変化することができる。

【0011】

また、視線状態情報は、使用者の瞳孔の動きおよび使用者の目の開け閉じを含み、使用者の視線状態情報に基づいて入力オブジェクトが決定されることができる。

【0012】

また、ターゲットオブジェクトは、子音、母音、単語およびイメージのうちのいずれか１つを含むことができる。

【0013】

また、スマートレンズは、中心点を基準に４象限（ｆｏｕｒ－ｑｕａｄｒａｎｔ）に分けられ、４象限の各領域にはターゲットオブジェクトが少なくとも１つずつフローティングされ得る。

【0014】

また、４象限の各領域にフローティングされるターゲットオブジェクトは、１サイクル（ｃｙｃｌｅ）に複数が一度にフローティングされるか、または複数のサイクルにわたって順次的にフローティングされ得る。

【0015】

また、ターゲットオブジェクトは、スマートレンズの中心点を基準として互いに異なる方向にフローティングされ、方向は対角線方向、時計方向、反時計方向および渦巻き方向のうちの少なくとも１つを含むことができる。

【0016】

また、ターゲットオブジェクトは、スマートレンズの一側から他側に並んでフローティングされ得る。

【0017】

また、ターゲットオブジェクトは、自動推薦単語を含み、自動推薦単語は、スマートレンズに１つずつフローティングされるか、またはリスト形態でポップアップされて表示されることができる。

【0018】

また、自動推薦単語は、使用者の関心度に基づいて差別的な速度でフローティングされ、関心度は使用者によって予め設定された関心項目、使用者の業務分野およびターゲットオブジェクトに対する使用者の入力頻度のうちのいずれか１つによって決定されることができる。

【0019】

また、視線トラッキング部からトラッキングされた視線トラッキングデータに基づいて使用者の視線範囲を設定する視線範囲設定部をさらに含み、視線範囲設定部は、４象限のうちの使用者の視線に頻繁にさらされる少なくとも２つの領域を含むことができる。

【0020】

また、ディスプレイ部は、視線範囲領域を除いた領域よりも視線範囲領域にターゲットオブジェクトをより多くフローティングすることができる。

【0021】

一方、本発明の実施形態に係る視線トラッキング方法は、瞳孔センシング部によって使用者の瞳孔をセンシングする段階、視線トラッキング部によってディスプレイ部にフローティングされる複数のターゲットオブジェクトに対する使用者の視線をトラッキングする段階、複数のターゲットオブジェクトに対する使用者の視線状態情報を取得する段階、および入力部によって複数のターゲットオブジェクトのうちの使用者の視線が一定時間以上留まる特定のオブジェクトを入力オブジェクトとして選択した後入力を行う段階を含み、入力オブジェクトは使用者の視線状態情報に基づいて大きさ、色および移動方向のうちの少なくとも１つが変化することができる。

【0022】

また、入力オブジェクトは、ディスプレイ部の中心点を基準として対角線方向、時計方向、反時計方向および渦巻き方向のうちの少なくとも一方向にフローティングされ得る。

【0023】

また、ターゲットオブジェクトに対して使用者の視線が少なくとも２秒留まる場合入力オブジェクトとして選択し、選択された入力オブジェクトに対して使用者の目が少なくとも２回瞬くか、特定の単一筋肉または筋肉群の特異的な動きがある場合に選択された入力オブジェクトに対応する情報が入力されることができる。

【0024】

また、使用者の視線が少なくとも２秒留まる場合は、ターゲットオブジェクトの周辺に視線が留まってオブジェクトの動き経路に基づいて２秒以上追跡する場合、またはターゲットオブジェクトの周辺に視線が留まって追跡偏差角が３５を超える場合を含むことができる。

【0025】

また、ターゲットオブジェクトの周辺は流動偏差角（ＦＧＲ）が３以下であり得る。

【0026】

また、入力オブジェクトは、ターゲットオブジェクトの周辺に視線が留まり、ターゲットオブジェクトの動き経路に基づいて１秒以上追跡して、オブジェクトの動き予想経路上で偏差角４５°以上になる経路まで視線を予め動かす場合を含むことができる。

【0027】

一方、本発明の実施形態に係るコンピュータ判読可能な記録媒体は、瞳孔センシング部によって使用者の瞳孔をセンシングし、視線トラッキング部によってディスプレイ部にフローティングされる複数のターゲットオブジェクトに対する使用者の視線をトラッキングし、複数のターゲットオブジェクトに対する使用者の視線状態情報を取得し、入力部によって複数のターゲットオブジェクトのうちの使用者の視線が一定時間以上留まる特定のオブジェクトが使用者によって入力オブジェクトに決定されたものと把握して入力として処理し、入力オブジェクトは、使用者の視線状態情報に基づいて大きさ、色および移動方向のうちの少なくとも１つを変化させる命令語を保存することができる。

【0028】

一方、本発明に係る効果は、以上で例示した内容によって制限されず、さらに様々な効果が本明細書内に含まれている。

【発明の効果】

【0029】

本発明は、使用者の視線に応じて入力されるオブジェクトの大きさ、形態および移動方向を変化させることによって、ＶＲ、ＡＲおよびＭＲにおける使用者の入力作業の便宜性を顕著に増大させることができる。

【0030】

また、本発明は、スマートレンズ内に使用者の視線範囲を設定することによって、使用者の入力の精度および凝視の精度を向上させることができる。

【0031】

また、本発明は、入力されたオブジェクトに基づいて自動推薦単語を提供することによって、使用者の作業速度を効果的に短縮させることができる。

【0032】

本発明に係る効果は、以上で例示した内容によって制限されず、さらに様々な効果が本明細書内に含まれている。

【図面の簡単な説明】

【0033】

【図1a】本発明の一実施形態に係る視線トラッキングシステムの概略図である。

【図1b】本発明の一実施形態に係るスマートグラスのディスプレイ方式を説明するための図である。

【図2】本発明の一実施形態に係るスマートグラスの構成図である。

【図3】本発明の一実施形態に係る視線トラッキングによるターゲットオブジェクトの入力方法を説明するためのフローチャートである。

【図4】本発明の一実施形態に係る瞳孔センシング過程を説明するための例示図である。

【図5a】本発明の一実施形態に係る視線を用いたターゲットオブジェクトの入力過程を説明するための例示図である。

【図5b】本発明の一実施形態に係る視線を用いたターゲットオブジェクトの入力過程を説明するための例示図である。

【図6】本発明の一実施形態に係る視線を用いたターゲットオブジェクトの入力過程を説明するための例示図である。

【図7】本発明の他の実施形態に係る視線を用いた自動完成オブジェクトの入力過程を説明するための例示図である。

【図8】本発明の他の実施形態に係る自動完成リストを示す例示図である。

【図9】本発明の実施形態に係る視線センサーを説明するための例示図である。

【図10】本発明の実施形態に係る入力オブジェクトを判断し、入力として決定する過程を説明するための例示図である。

【発明を実施するための形態】

【0034】

本発明の利点、そしてそれを達成する方法は、添付した図面と共に詳細に後述されている実施形態を参照すれば明確になる。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる様々な形態で具現されることができ、単に本実施形態は、本発明の開示が完全になるようにして、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義されるだけである。

【0035】

本発明の実施形態を説明するための図面に開示された形状、大きさ、比率、角度、個数などは例示的なものであるため、本発明が図面に示した事項によって限定されるものではない。また、本発明を説明するにおいて、関連する公知技術に対する具体的な説明が本発明の要旨を不必要に曖昧にすると判断された場合、その詳細な説明は省略する。本明細書で言及した「含む」、「有する」、「からなる」などが使用されている場合、「～のみ」が使用されていない限り、他の部分が追加されることができる。構成要素を単数で表現した場合、別に明示的な記載事項がない限り、複数を含む場合を含む。

【0036】

なお、構成要素を解釈する際に、別に明示的な記載がなくても誤差範囲を含むものとして解釈する。

【0037】

本発明の様々な実施形態のそれぞれ特徴が部分的に又は全体的に互いに結合又は組み合わせが可能であり、当業者が十分に理解できるように、技術的に様々な連動および駆動が可能であり、各実施形態が互いに独立的に実施可能であり得、連関関係でともに実施可能でもあり得る。

【0038】

以下では、図１ａ～図２を参照して本発明の一実施形態に係るスマートグラスの構成を説明することにする。

【0039】

図１ａおよび図１ｂは、本発明の一実施形態に係る視線トラッキングシステムの概略図である。図２は、本発明の一実施形態に係るスマートグラスの構成図である。

【0040】

図１ａを参照すると、視線トラッキングシステムは、スマートグラス１００および視線トラッキングサーバー２００を含むことができる。スマートグラス１００および視線トラッキングサーバー２００は、無線通信、例えばブルートゥース（登録商標）、ＷｉＦｉなどの近距離無線通信で連結されることができる。ただし、図１ａの実施形態においては、スマートグラス１００と視線トラッキングサーバー２００が分離した形態で示しているが、スマートグラス１００と視線トラッキングサーバー２００は、１つのハウジング内に搭載されることもできる。１つのハウジング内に搭載された場合には、スマートグラス１００と視線トラッキングサーバー２００は、有線で連結されることができる。スマートグラス１００は、内蔵された少なくとも１つのセンサーを用いて視線をセンシングおよびトラッキングし、またディスプレイ部１０３の画面上にフローティング（Ｆｌｏａｔｉｎｇ）されるターゲットオブジェクト（ｔａｒｇｅｔ ｏｂｊｅｃｔ）を選択して該当ターゲットオブジェクトと関連した情報を入力できる装置である。

【0041】

図１ａに示すように、スマートグラス１００は、スマートレンズ１１１、１１２、グラス支持台１１３、瞳孔センシング部１０１および視線トラッキング部１０２で構成することができる。

【0042】

本発明におけるスマートグラス１００は、例えば、図１ｂに示すように、ディスプレイパネル（第１レンズおよび第２レンズ）のマイクロディスプレイ部１０でプロジェクションされる画面が前記第１および第２レンズを介して反射して目に見える方式で使用者が見ることができる。ただし、本明細書では前述した構造のディスプレイを中心に説明しているが、これに制限されるものではない。ＨＭＤディスプレイを活用しながら、シースルー（Ｓｅｅ－ｔｈｒｏｕｇｈ）モードによって外部画面をスマートグラス１００のカメラを用いて撮影した後、ＶＲの画面を介して情報画面と組み合わせて見せる形態も可能である。または、カメラが患者の患部または手術部位を撮影しながらスマートグラス１００と連動されて撮影された画面上にターゲットオブジェクトを表示することもできる。

【0043】

また、スマートグラス１００は、図１ｂに示すように、スマートグラス１００の一領域（例えば、中央部上端）に配置されたマイクロディスプレイ（１０、Ｍｉｃｒｏｄｉｓｐｌａｙ）およびプリズム（ｐｒｉｓｍ）を用いて像１４をディスプレイすることもできる。具体的には、マイクロディスプレイ１０が正面に配置されたレンズ１１を介して像を照射すると、照射された像はレンズ１１を介してスマートグラス１００のディスプレイパネル１２の一領域に到達した後、ディスプレイパネル１２の一面に付着したスプリッタ（１３、ｓｐｌｉｔｔｅｒ）によって像が全反射（ｔｏｔａｌ ｒｅｆｌｅｃｔｉｏｎ）されることができる。すなわち、両側レンズの中央に配置されたマイクロディスプレイ１０は、左側レンズと右側レンズに像を照射した後、スプリッタの全反射特性を用いて左眼および右眼の前面部に立体形状の仮想のイメージ（または像１４）をディスプレイすることができる。

【0044】

ディスプレイ部１０３は、複数のターゲットオブジェクトを表示する構成であって、スマートグラス１００の正面部で使用者の右眼および左眼に対応する位置に配置された第１レンズ１１１および第２レンズ１１２を含むことができる。本明細書において、第１レンズ１１１および第２レンズ１１２は、説明の便宜上「スマートレンズ」と通称する。なお、スマートレンズ１１１、１１２は、ＶＲの画面およびグーグルグラスでのマイクロディスプレイおよびプリズムを用いて目に光を照射するディスプレイをすべて包括する概念と解釈されなければならない。

【0045】

ここで、ターゲットオブジェクトは、使用者が視線を介して入力しようとする情報であって、文字またはイメージの形態を有する複数のオブジェクトを含むことができる。例えば、ターゲットオブジェクトはそれぞれの文字、単語形式、アイコン形式または、イメージ自体であり得る。

【0046】

このとき、ターゲットオブジェクトは、使用者の視線状態情報に応じて、大きさ、色、形態および移動方向のうちの少なくとも１つが変化してディスプレイ部１０３にフローティングされることを特徴とする。視線に伴うターゲットオブジェクトの様々な変化は後で説明することにする。

【0047】

また、ターゲットオブジェクトは、実施形態によって一レンズでは子音がフローティングされ、他レンズでは母音がフローティングされることができる。

【0048】

また、本発明における視線状態情報は、使用者の瞳孔２１１の動きおよび使用者の目の開け閉じを意味することができる。

【0049】

図１ａを参照すると、瞳孔センシング部１０１は、使用者の瞳孔２１１をセンシングする構成として、スマートグラス１００の正面部、すなわち第１レンズ１１１が固定される眼鏡フレームの縁部に沿って複数が配置されることができる。このとき、瞳孔センシング部１０１は、少なくとも１つ以上のセンサーユニット１１４で構成されることを特徴とする。センサーユニット１１４は、左眼センサーユニット１１４ａおよび右眼センサーユニット１１４ｂを含むことができる。図９を参照すると、センサーユニット１１４は、例えば瞳孔に視力損傷のない赤外線を照射した後、瞳孔を介して眼球の眼底から反射された距離（ｄ１＋ｄ２）を特定することができる。この場合、反射距離は、眼底から瞳孔までの距離（ｄ１）および眼球表面からセンサーユニット１１４までの距離（ｄ２）に細分することができる。この場合、複数のセンサーを介して求めたそれぞれの距離（ｄ１およびｄ２）を用いて瞳孔の位置および視線方向を特定することができる。図９に示すような細かい視線センシンによって、スマートグラスは、詳細な瞳孔の位置および視線を取得することができる。

【0050】

視線トラッキング部１０２は、スマートレンズの画面上にフローティングされる複数のターゲットオブジェクトに対する使用者の視線状態情報をセンシングする構成で、リアルタイムでスマートグラス１００を着用した使用者の視線をトラッキング（ｔｒａｃｋｉｎｇ）することができる。図１ａおよび図１ｂに示すように、視線トラッキング部１０２は、第２レンズ１１２が固定される眼鏡フレームの縁部に沿って並んで配置することができる。このとき、視線トラッキング部１０２は、少なくとも１つ以上のセンサーユニット１１４ｂを含むことを特徴とする。

【0051】

瞳孔センシング部１０１および視線トラッキング部１０２の位置はこれに制限されず、スマートグラス１００のグラス支持台１１３または眼鏡フレームの少なくとも一領域に内蔵されるように配置することができる。例えば、スマートグラス１００の側面部に配置されるか、スマートグラス１００のディスプレイ部１０３に直接配置されることができる。瞳孔センシング部１０１および視線トラッキング部１０２の具体的な動作については後述することにする。

【0052】

入力部１０４は、視線状態情報に基づいてターゲットオブジェクトに対する入力を行う構成である。具体的には、視線トラッキング部１０２を用いてリアルタイムで使用者の視線状態情報を取得することによって、入力部１０４は、複数のターゲットオブジェクトのうちの使用者の視線が一定時間以上留まる特定のオブジェクトを入力オブジェクトとして選択し、追加的な目または目の周りの単一筋肉または筋肉群のジェスチャーがある場合（例えば、目を一定時間以上閉じるか、基準時間の間一定回数以上瞬きをするとき）に該当オブジェクトに対して入力を行う。

【0053】

推薦単語提供部１０５は、少なくとも２つ以上のターゲットオブジェクトが入力されると、該当文字で始まる自動推薦単語をフローティング形態やポップアップリスト形態で提供する構成である。これと関連した詳細な内容については後述することにする。

【0054】

制御部１０６は、瞳孔センシング部１０１、ディスプレイ部１０３、視線トラッキング部１０２、入力部１０４および推薦単語提供部１０５に対する全般的な動作を制御する機能を行うことができる。

【0055】

以下では、図３～図６を参照して、本発明の一実施形態に係るターゲットオブジェクトに対する視線入力方法を詳細に説明することにする。

【0056】

図３は、本発明の一実施形態に係る視線トラッキングによるターゲットオブジェクトの入力方法を説明するためのフローチャートである。図４は、本発明の一実施形態に係る瞳孔センシング過程を説明するための例示図である。図５ａ～図５ｂは、本発明の一実施形態に係る視線を用いたターゲットオブジェクトの入力過程を説明するための例示図である。図６は、本発明の一実施形態に係る視線を用いたターゲットオブジェクトの入力過程を説明するための例示図である。

【0057】

まず、瞳孔センシング部１０１によって使用者の瞳孔をセンシングする（Ｓ１００）。

【0058】

図４を参照すると、使用者は、スマートグラス１００を着用した状態でスマートグラス１００の第１レンズ１１１と第２レンズ１１２を介して表示された目盛りの中心点を探索する動作を行う。視線トラッキング部１０２が視線をトラッキングするに先立ち、基本的な目の動きを測定することができるように瞳孔センサー部によって瞳孔のフォーカシングをセンシングする過程が必要である。

【0059】

具体的には、瞳孔センシング部１０１は、使用者のスマートレンズ１１１、１１２の中心点（Ｃ２）に対する使用者瞳孔のフォーカシング（ｆｏｃｕｓｉｎｇ）の有無をセンシングした後、使用者の瞳孔が中心点（Ｃ２）にフォーカシングされると、次の段階を進行する準備をする。しかし、使用者の瞳孔が中心点（Ｃ２）ではなく他の地点（Ｃ１）を見ている場合には、スマートグラス１００に内蔵されたスピーカーを用いた音声出力、またはスマートレンズ１１１、１１２を用いた文句出力によって使用者が中心点（Ｃ２）を探索することができるように案内メッセージをさらに提供することができる。

【0060】

次に、視線トラッキング部１０２によってリアルタイムで使用者の視線をトラッキングする（Ｓ２００）。続いて、視線トラッキング部１０２のリアルタイムトラッキングによってディスプレイ部１０３にフローティングされる複数のターゲットオブジェクトに対する使用者の視線状態情報を取得する（Ｓ３００）。続いて、取得した視線状態情報に基づいてターゲットオブジェクトに対する入力を行う（Ｓ４００）。

【0061】

まず、本発明における複数のターゲットオブジェクト５００は、限られた時間内に使用者に多くのオブジェクトを提供することができるように、第１レンズ１１１および第２レンズ１１２の両側にフローティングされることを基本とする。しかし、複数のターゲットオブジェクト５００がフローティングされる方式はこれに制限されるものではない。例えば、第１レンズ１１１または第２レンズ１１２の一側方向から他側方向に移動しながらフローティングされることもできる。

【0062】

また、複数のターゲットオブジェクト５００は、１サイクル（１ｃｙｃｌｅ）に複数の両側レンズ１１１、１１２を介してフローティング（Ｆｌｏａｔｉｎｇ）されることができる。これにより、使用者は使用者のニーズを入力するのにかかる時間を短縮することができる。または、複数のターゲットオブジェクト５００は、複数サイクル（ｎ ｃｙｃｌｅ）にわたって順次的にフローティングされることもできる。これにより、使用者はより正確に使用者のニーズを入力することができる。

【0063】

図５ａ（ａ）を参照すると、使用者の左眼および右眼にそれぞれ対応するように配置された第１レンズ１１１および第２レンズ１１２を介して見た映像は、特定位置を基準に４象限（ｆｏｕｒ－ｑｕａｄｒａｎｔ）に分けられることができる。例えば、第１レンズ１１１および第２レンズ１１２を介して見た画面は、左側上端に位置した第１領域Ａ１、右側上端に位置した第２領域Ａ２、左側下端に位置した第３領域Ａ３、右側下端に位置した第４領域Ａ４を含む。

【0064】

図５ａ（ａ）を参照すると、それぞれの領域Ａ１、Ａ２、Ａ３、Ａ４にフローティングされた複数のターゲットオブジェクト５００は、中心点から時計方向に遠ざかりながら渦巻き形状に回転することができる。しかし、ターゲットオブジェクト５００がフローティングされる方式はこれに制限されず、様々な方式で変形することができる。例えば、使用者の視線状態情報またはターゲットオブジェクト５００の重要度に応じて図５ｂ（ｃ）のように、反時計方向に回転することもでき、中心点から対角線方向に散るようにフローティングされることができる。または多角度に散りながらフローティングされることができる。

【0065】

図５ａ（ａ）を参照すると、使用者が第２領域Ａ２にフローティングされたアルファベット「Ｅ」を一定時間以上凝視した後、入力部１０４は該当アルファベット「Ｅ」を入力オブジェクト５０１として選択することができる。このとき、使用者が単に視線を動かしながら入力とは無関係のターゲットオブジェクトをみつめることとは区別するために、一定時間は少なくとも２秒であることを意味することが好ましい。すなわち、使用者の視線が少なくとも２秒留まるターゲットオブジェクト５００を入力オブジェクト５０１と判断する。これに関する具体的な説明は図１０を共に参照して以下に説明することにする。

【0066】

ただし、使用者の視線がターゲットオブジェクトに少なくとも２秒留まる場合（入力オブジェクト５０１として判断する段階）は、ターゲットオブジェクトの周辺に視線が留まり、ターゲットオブジェクトの動き経路に基づいて２秒以上追跡する場合をさらに含むことができる。ここで、ターゲットオブジェクトの周辺とは、流動偏差角（ＦＧＲ）が３°以下である地点を意味する。このとき、流動偏差角（ＦＧＲ）は、流動的なターゲットオブジェクトの中心を使用者が見たときと仮定して連結した仮想の線とターゲットオブジェクトの周辺を実際に使用者が見たときの仮想の線との間の角度と定義する。

【0067】

すなわち、ターゲットオブジェクトを基準に様々な角度方向に位置するが、流動偏差角（ＦＧＲ）が３°以下の地点に視線が留まっている状態でターゲットオブジェクトの動き経路に沿って視線が２秒以上動いた場合、視線が少なくとも２秒以上留まることを特徴とする。

【0068】

また、使用者の視線がターゲットオブジェクトに少なくとも２秒留まる場合は、ターゲットオブジェクトの周辺に視線が留まり、前記ターゲットオブジェクトに対する追跡偏差角（ＴＧＲ）が３５以上の場合を含むことができる。ここで、追跡偏差角（ＴＧＲ）とは、使用者の目を基準に視線が留まり始める追跡開始点から追跡が行われる現在位置（視線が留まる位置）までの角度と定義することができる。

【0069】

また、入力オブジェクト５０１に対し入力を決定する場合には、前記ターゲットオブジェクトの動き経路に基づいて１秒以上前記ターゲットオブジェクトを追跡し、前記ターゲットオブジェクトの動き予想経路上で偏差角４５°以上となる経路まで視線を予め動かす場合をさらに含むことができる。

【0070】

使用者がスマートレンズ１１１、１１２にフローティングされる複数のターゲットオブジェクト５００のうちの入力しようとするアルファベットを一定時間以上凝視する場合、図５ａ（ｂ）に示すように、入力オブジェクト５０１の大きさが他のターゲットオブジェクトに比べて顕著に大きなサイズを有するように増加することができる。このような動作によって、使用者はターゲットオブジェクト５００が入力オブジェクト５０１として選択されたことを知ることになる。すなわち、入力オブジェクト５０１は、使用者（または視線トラッキングシステムを用いるユーザ）によって決定されることを特徴とする。

【0071】

このとき、使用者が無意識の状態でターゲットオブジェクトを一定時間以上凝視する場合が含まれ得るので、サイズが増加した入力オブジェクト５０１に対する入力を行うためには、追加的なジェスチャーが要求され得る。

【0072】

例えば、前記入力オブジェクト５０１に対して、少なくとも２回の目の瞬きまたは目を一定時間以上閉じる動きが要求され得る。ただし、ここで少なくとも２回の目の瞬きは、基準時間内に２回以上目の瞬きを意味する。または、入力オブジェクト５０１に対して特定の単一筋肉または筋肉群（ｇｒｏｕｐ）の特異的な動きが要求され得る。ここで、特定の単一筋肉または筋肉群は、眼球の近くの筋肉を意味し、眼筋、眼外筋、外眼筋、上直筋、下直筋、内側直筋、外側直筋などであり得る。

【0073】

これによって、使用者がアルファベット「Ｅ」を入力した後には、図５ｂ（ｃ）に示すように、第１領域Ａ１の上端に配置された入力窓５０２にアルファベット「Ｅ」が入力されることができる。このとき、使用者が入力を誤った場合には、入力窓５０２内に配置された削除ボタン５０３を用いて文字を削除することもできる。

【0074】

次に、図５ｂ（ｃ）、（ｄ）を参照すると、使用者が一定時間以上見た入力オブジェクト５０１は、サイズが増加すると同時に色が変化することができる。このとき、入力オブジェクト５０１の色は、文字色のみが変わることもあり得、文字の陰影のように、文字周辺の色が変わることもあり得る。また、入力窓５０２には、入力オブジェクトのアルファベット「Ｘ」が入力されることができる。これによって、使用者は自分が凝視したターゲットオブジェクト５００をより容易に識別することができる効果がある。

【0075】

図６を参照すると、視線範囲設定部は、視線トラッキング部１０２からトラッキングした視線トラッキングデータに基づいて使用者の視線範囲（ＳＲ）を決定することができる。例えば、図５ａ～図５ｂに示すように、使用者は第１レンズ１１１の右側領域、すなわち、第２領域Ａ２、第４領域Ａ４と第２レンズ１１２の左側領域、すなわち、第１領域Ａ１、第３領域Ａ３を主に凝視することが分かる。これによって、使用者の視線範囲は、使用者の視線の中央部と決定されることができる。

【0076】

本発明は、使用者の視線範囲を設定することによって、使用者に慣れている視線範囲にターゲットオブジェクトを頻繁に露出させることによって、使用者がより容易に選択することができるように作業の便宜性を増大させることができる。

【0077】

また、視線範囲領域では、ターゲットオブジェクトが頻繁にフローティングされるか、重複してフローティングされることができる。ターゲットオブジェクトを重複してフローティングすることは、複数のターゲットオブジェクトをフローティングさせる１サイクル（ｃｙｃｌｅ）内で少なくとも２以上の同じ文字がフローティングされることを意味する。

【0078】

視線範囲領域でターゲットオブジェクトを重複的にフローティングすることによって、使用者の凝視精度を増加させることができる効果がある。すなわち、視線範囲領域内でも使用者が凝視しやすい特定の位置が存在する可能性があるので、重複する少なくとも２以上の文字を重複的にフローティングするときに入力の精度を増加させることができる。

【0079】

図７は、本発明のまた他の実施形態に係る視線を用いた自動完成オブジェクトの入力過程を説明するための例示図である。

【0080】

図７に示すように、第１レンズ１１１の入力窓に「ＥＸＰ」まで入力された場合、スマートレンズ１１１、１１２には推薦単語提供部１０５によって「ＥＸＰ」で始まる自動推薦単語がフローティングされ得る。ここで、自動推薦単語は、少なくとも２つ以上の文字が与えられた場合、提供される自動完成型単語と定義することができ、スマートグラス１００を着用した使用者が初期に設定した基本情報に基づいて提供される使用者カスタマイズ型の推薦単語と定義することもできる。

【0081】

具体的には、第１レンズ１１１にはＲ、Ｕ、Ｐ、Ｓ、Ｔなどのような複数のターゲットオブジェクトがフローティングされ、第２レンズ１１２には「ＥＸＰＬＯＲＥ」、「ＥＸＰＬＯＲＩＮＧ」、「ＥＸＰＬＡＩＮ」、「ＥＸＰＥＣＴ」のような自動推薦単語がフローティングされ得る。図７では、自動推薦単語が第２レンズ１１２にフローティングされるものとして示しているが、第１レンズ１１１またはスマートレンズ１１１、１１２の両方にフローティングされ得る。

【0082】

図７を参照すると、「ＥＸＰＬＯＲＥ」が入力オブジェクト７０１として入力されることが分かる。このとき、入力窓Ａ１１には、１つの単語のみが入力されるように示したが、複数の選択事項が入力されることができる。一方、自動推薦単語をフローティングする段階で入力オブジェクトが決定される場合、決定された入力オブジェクトは次の段階でフローティングされるターゲットオブジェクトから除外されることができる。

【0083】

また、フローティングされる自動推薦単語は、使用者の関心度に応じて互いに異なる速度でフローティングされ得る。例えば、使用者の関心度が高い単語はゆっくりフローティングされ、関心度が低い単語は早くフローティングされ得る。ここで、関心度は、使用者が初期に設定した基本情報（例えば、使用者の関心項目、使用者の業務分野など）に基づいて設定されることができ、使用者の入力頻度に基づいて設定されることもできる。

【0084】

したがって、本発明は、使用者に自動推薦単語を提供することによって、ターゲットオブジェクトを１つずつ入力する過程を省略することができるため、業務速度を効果的に短縮させることができる効果がある。

【0085】

図８は、本発明の他の実施形態に係る自動完成リストを示す例示図である。

【0086】

図８を参照すると、第１レンズ１１１の入力窓に「ＥＸＰ」まで入力された場合、スマートレンズ１１１、１１２には推薦単語提供部１０５によって「ＥＸＰ」で始まる自動推薦単語がリスト形態でポップアップ（ｐｏｐ－ｕｐ）されることができる。

【0087】

図８に示すように、入力部１０４は、使用者の視線に応じてポップアップされた自動完成リスト８００のうちで「ＥＸＰＬＯＲＥ」を入力オブジェクト８０１として入力することができる。

【0088】

このとき、自動完成リストがポップアップ（ｐｏｐ－ｕｐ）されるレンズは、使用者によって容易に変更可能である。また、自動完成リストに推薦される自動推薦単語が多い場合、スマートレンズ１１１、１１２の両方にポップアップされることもできる。

【0089】

したがって、本発明は使用者に自動推薦単語をリスト形態で提供することによって、使用者の不要な視線移動を防止することができる。これによって、使用者の効率的な業務遂行が可能であるという利点がある。

【0090】

以上、添付図面を参照して本明細書の実施形態をさらに詳細に説明したが、本発明は、必ずしもこれらの実施形態に限定されるものではなく、本発明の技術思想を逸脱することなく多様に変形実施できる。したがって、本発明に開示された実施形態は、本発明の技術思想を限定するためのものではなく、説明するためのものであり、このような実施形態によって本発明の技術思想の範囲を限定するものではない。よって、以上で記述した実施形態は、あらゆる面で例示的なもので、限定的なものではないと理解しなければならない。本発明の保護範囲は請求の範囲によって解釈されるべきであり、それと同等の範囲内にあるすべての技術思想は本明細書の権利範囲に含まれると解釈されるべきである。

【図1a】

【図1b】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図6】

【図7】

【図8】

【図9】

【図10】