特表2023-517380 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 北京七▲しん▼易維信息技術有限公司の特許一覧

特表2023-517380眼球追跡校正方法及び装置

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2a
2b
3
4
5
6
7
8
9

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-04-25

(54)【発明の名称】眼球追跡校正方法及び装置

(51)【国際特許分類】

G06F 3/01 20060101AFI20230418BHJP

【ＦＩ】

G06F3/01 510

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022555765

(86)(22)【出願日】2021-03-08

(85)【翻訳文提出日】2022-09-15

(86)【国際出願番号】 CN2021079596

(87)【国際公開番号】W WO2021185110

(87)【国際公開日】2021-09-23

(31)【優先権主張番号】202010191024.5

(32)【優先日】2020-03-18

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521063764

【氏名又は名称】北京七▲しん▼易維信息技術有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ７ＩＮＶＥＮＳＵＮＴＥＣＨＮＯＬＯＧＹＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ５０７，Ｕｎｉｔ１，Ｆｌｏｏｒ４，Ｂｕｉｌｄｉｎｇ２，Ｎｏ．７Ｙａｒｄ，ＬｉｑｉｎｇＲｏａｄ，ＣｈａｏｙａｎｇＤｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ１００１０７（ＣＮ）

(74)【代理人】

【識別番号】100142365

【弁理士】

【氏名又は名称】白井宏紀

(72)【発明者】

【氏名】張朕

(72)【発明者】

【氏名】路偉成

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA15

5E555AA41

5E555AA72

5E555BA08

5E555BB08

5E555BE17

5E555CA42

5E555CB65

5E555EA05

5E555FA00

(57)【要約】

眼球追跡校正方法及び装置であり、個別の校正部分を必要とせず、視線測位インタラクションを応用するシーンで校正を完成させる。当該方法は、眼球追跡機能を起動させるステップ（Ｓ０）と、使用者が選択したインタラクション方式は非視線測位インタラクション方式であると、バックグラウンド校正フローを起動させるステップ（Ｓ１）と、バックグラウンド校正フローにおいて、ユーザーの眼部特徴情報を取得するステップ（Ｓ２）と、校正点座標として、非視線測位インタラクション方式を採用して測位することで得られた位置座標を取得するステップ（Ｓ３）と、取得した眼部特徴情報及び校正点座標に基づいて計算して、前記使用者の現在の個人校正係数を取得するステップ（Ｓ４）と、を備える。このように、当該方法において、使用者は非視線測位インタラクション方式を選択して測位を行うと、その同時、バックグラウンド校正フローを起動させ、バックグラウンド校正フローにおいて非視線測位インタラクション方式を使用して測位を行うことで得られた位置座標を校正点座標として、計算して個人校正係数を取得する。当該方法のバックグラウンド校正フローは使用者にとって隠蔽され、現在シーンから退出する必要がない。
【選択図】図１

【特許請求の範囲】

【請求項1】

眼球追跡校正方法であって、
１回のインタラクション操作において、使用者が選択したインタラクション方式は非視線測位インタラクション方式であると、バックグラウンド校正フローを起動させるステップと、
前記バックグラウンド校正フローにおいて、前記使用者の眼部特徴情報を取得するステップと、
校正点座標として、前記非視線測位インタラクション方式を採用して測位を行うことで得られた位置座標を取得するステップと、
取得した眼部特徴情報及び校正点座標に基づいて計算して、前記使用者の現在の個人校正係数を取得するステップと、を備える方法。

【請求項2】

前記バックグラウンド校正フローを起動させる前、
使用者の眼部特徴情報を取得するステップと、
取得した前記眼部特徴情報及びターゲット校正係数に基づいて計算して、前記使用者の注視点座標を取得するステップであって、前記ターゲット校正係数は、システムデフォルト校正係数、又は前記使用者のユーザー識別子と関連付けられた個人校正係数を含むステップと、
前記注視点座標が所属する機能領域のインタラクション効果を展示するステップと、
非視線測位インタラクション装置が使用され、前記非視線測位インタラクション装置に基づいて、他の機能領域に測位されたと監視した場合、今回のインタラクション操作が採用するインタラクション方式は非視線測位方式であると決定するステップと、をさらに備える請求項１に記載の方法。

【請求項3】

前記使用者のユーザー識別子はターゲットユーザー識別子であり、前記ターゲット校正係数を使用して計算することで、使用者の注視点座標を取得する前、
前記ターゲットユーザー識別子は既に個人校正係数と関連付けられた場合、前記ターゲットユーザー識別子と関連付けられた個人校正係数を前記ターゲット校正係数に決定するステップと、
前記ターゲットユーザー識別子は個人校正係数と関連付けられていないと、前記システムデフォルト校正係数を前記ターゲット校正係数に決定するステップと、をさらに備える請求項２に記載の方法。

【請求項4】

計算して前記現在の個人校正係数を取得した後、
前記ターゲットユーザー識別子には既に個人校正係数が関連付けられた場合、前記ターゲットユーザー識別子と関連付けられた個人校正係数を前記現在の個人校正係数に更新するステップと、
前記ターゲットユーザー識別子には個人校正係数が関連付けられていないと、前記現在の個人校正係数を前記ターゲットユーザー識別子と関連付けるステップと、をさらに備える請求項３に記載の方法。

【請求項5】

ユーザー識別子は生物認識特徴とバインディングされ、前記ターゲット校正係数を使用して計算することで、使用者の注視点座標を取得する前、
前記使用者の生物認識特徴を取得するステップと、
取得した生物認識特徴を、確立したユーザー識別子の生物認識特徴にマッチングするステップと、
マッチングが成功すると、マッチングが成功したユーザー識別子を前記使用者のユーザー識別子に決定するステップと、
マッチングが失敗すると、前記使用者に対してユーザー識別子を確立して、確立したユーザー識別子を、取得した生物認識特徴にバインディングするステップと、をさらに備える請求項２～４の何れか１項に記載の方法。

【請求項6】

眼球追跡校正方法の校正装置であって、
１回のインタラクション操作において、使用者が選択したインタラクション方式は非視線測位インタラクション方式であると、バックグラウンド校正フローを起動させるように設置されるバックグラウンド校正起動ユニットと、
前記バックグラウンド校正フローにおいて、前記使用者の眼部特徴情報を取得するように設置される取り込みユニットと、
校正点座標として、前記非視線測位インタラクション方式を採用して測位を行うことで得られた位置座標を取得し、及び取得した眼部特徴情報及び校正点座標に基づいて計算して、前記使用者の現在の個人校正係数を取得するように設置される校正ユニットと、を備える装置。

【請求項7】

前記バックグラウンド校正フローを起動させる前、使用者の眼部特徴情報を取得し、及び取得した前記眼部特徴情報及びターゲット校正係数に基づいて計算して、前記使用者の注視点座標を取得するように設置される計算ユニットであって、前記ターゲット校正係数は、システムデフォルト校正係数、又は前記使用者のユーザー識別子と関連付けられた個人校正係数を含む計算ユニットと、
前記注視点座標が所属する機能領域のインタラクション効果を展示するように設置される展示ユニットと、
非視線測位インタラクション装置が使用され、前記非視線測位インタラクション装置に基づいて、他の機能領域に測位されたと監視した場合、今回のインタラクション操作が採用するインタラクション方式は非視線測位方式であると決定するように設置される監視ユニットと、をさらに備える請求項６に記載の装置。

【請求項8】

前記使用者のユーザー識別子はターゲットユーザー識別子であり、前記ターゲット校正係数を使用して計算することで、使用者の注視点座標を取得する前、前記計算ユニットはさらに、
前記ターゲットユーザー識別子には既に個人校正係数が関連付けられた場合、前記ターゲットユーザー識別子と関連付けられた個人校正係数を前記ターゲット校正係数に決定し、及び使用者のユーザー識別子は個人校正係数と関連付けられていないと、前記システムデフォルト校正係数を前記ターゲット校正係数に決定するように設置される請求項７に記載の装置。

【請求項9】

計算して前記現在の個人校正係数を取得した後、前記校正ユニットはさらに、
前記ターゲットユーザー識別子には既に個人校正係数が関連付けられた場合、前記ターゲットユーザー識別子と関連付けられた個人校正係数を前記現在の個人校正係数に更新し、及び前記ターゲットユーザー識別子には個人校正係数が関連付けられていないと、前記現在の個人校正係数を前記ターゲットユーザー識別子と関連付けるように設置される請求項８に記載の装置。

【請求項10】

ユーザー識別子は生物認識特徴とバインディングされ、前記装置は、
前記ターゲット校正係数を使用して計算することで、使用者の注視点座標を取得する前、前記使用者の生物認識特徴を取得し、
取得した生物認識特徴を、確立したユーザー識別子の生物認識特徴にマッチングし、
マッチングが成功すると、マッチングが成功したユーザー識別子を前記使用者のユーザー識別子に決定し、
及びマッチングが失敗すると、前記使用者に対してユーザー識別子を確立して、確立したユーザー識別子を、取得した生物認識特徴にバインディングするように設置される生物認識ユニットをさらに備える請求項７～９の何れか１項に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は眼球追跡の技術分野に関して、特に、眼球追跡校正方法及び装置に関している。

【背景技術】

【0002】

科学技術の発展に連れて、眼球追跡技術の応用はますます幅広くなって、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、アイコントロールタブレットなど、視線測位に関する端末装置（視線測位装置と略称される）で、視線によって測位・インタラクションを行うことができる。

【0003】

それぞれのユーザーの目の生理構成にはいくつかの差が存在するため、従来技術において、ユーザーは眼球追跡機能を有する視線測位装置を使用する前、一般的に、まず、校正部分に入って、ユーザーは注意力を集中して、１つ又は複数の校正点を見つめて、その同時、ユーザーの眼部特徴情報を取得し、さらに、校正点座標及び眼部特徴情報に基づいて、関連計算を行って、使用者の個人校正係数を取得する。校正が終了した後、１つの点セット画面を表示して、使用者は自分で校正効果を評価し、使用者は、当該校正効果が視線測位ニーズに達することができないと主観的に考えると、改めて校正する必要がある。

【0004】

校正が完成した後、視線測位の使用シーンに入って、使用過程で、使用者は視線測位が不正確であると発見し、又はヘッドマウントディスプレイ位置の調整などの原因のため、ヘッドマウントディスプレイと目の相対位置が変更されると、使用シーンから退出して、改めて校正部分に入って、ユーザーの使用には不便である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

個別の校正部分を必要とせず、視線測位インタラクションを応用するシーンで校正を完成させるために、本発明の少なくとも一部の実施例は眼球追跡校正方法及び装置を提供する。

【課題を解決するための手段】

【0006】

本発明の１つの実施例において、眼球追跡校正方法を提供し、
１回のインタラクション操作において、使用者が選択したインタラクション方式は非視線測位インタラクション方式であると、バックグラウンド校正フローを起動させるステップと、
前記バックグラウンド校正フローにおいて、前記使用者の眼部特徴情報を取得するステップと、
校正点座標として、前記非視線測位インタラクション方式を採用して測位を行うことで得られた位置座標を取得するステップと、
取得した眼部特徴情報及び校正点座標に基づいて計算して、前記使用者の現在の個人校正係数を取得するステップと、を備える。

【0007】

１つの好適な実施例において、前記バックグラウンド校正フローを起動させる前、使用者の眼部特徴情報を取得するステップと、取得した前記眼部特徴情報及びターゲット校正係数に基づいて計算して、前記使用者の注視点座標を取得するステップであって、前記ターゲット校正係数は、システムデフォルト校正係数、又は前記使用者のユーザー識別子と関連付けられた個人校正係数を含むステップと、前記注視点座標が所属する機能領域のインタラクション効果を展示するステップと、非視線測位インタラクション装置が使用され、前記非視線測位インタラクション装置に基づいて、他の機能領域に測位されたと監視した場合、今回のインタラクション操作が採用するインタラクション方式は非視線測位方式であると決定するステップと、をさらに備える。

【0008】

１つの好適な実施例において、前記使用者のユーザー識別子はターゲットユーザー識別子であり、前記ターゲット校正係数を使用して計算することで、使用者の注視点座標を取得する前、前記ターゲットユーザー識別子は既に個人校正係数と関連付けられた場合、前記ターゲットユーザー識別子と関連付けられた個人校正係数を前記ターゲット校正係数に決定するステップと、使用者のユーザー識別子は個人校正係数と関連付けられていないと、前記システムデフォルト校正係数を前記ターゲット校正係数に決定するステップと、をさらに備える。

【0009】

１つの好適な実施例において、計算して前記現在の個人校正係数を取得した後、前記ターゲットユーザー識別子には既に個人校正係数が関連付けられた場合、前記ターゲットユーザー識別子と関連付けられた個人校正係数を前記現在の個人校正係数に更新するステップと、前記ターゲットユーザー識別子には個人校正係数が関連付けられていないと、前記現在の個人校正係数を前記ターゲットユーザー識別子と関連付けるステップと、をさらに備える。

【0010】

１つの好適な実施例において、ユーザー識別子は生物認識特徴とバインディングされ、前記ターゲット校正係数を使用して計算することで、使用者の注視点座標を取得する前、前記使用者の生物認識特徴を取得するステップと、取得した生物認識特徴を、確立したユーザー識別子の生物認識特徴にマッチングするステップと、マッチングが成功すると、マッチングが成功したユーザー識別子を前記使用者のユーザー識別子に決定するステップと、マッチングが失敗すると、前記使用者に対してユーザー識別子を確立して、確立したユーザー識別子を、取得した生物認識特徴にバインディングするステップと、をさらに備える。

【0011】

本発明の１つの実施例において、眼球追跡校正方法の校正装置を提供し、
１回のインタラクション操作において、使用者が選択したインタラクション方式は非視線測位インタラクション方式であると、バックグラウンド校正フローを起動させるように設置されるバックグラウンド校正起動ユニットと、
前記バックグラウンド校正フローにおいて、前記使用者の眼部特徴情報を取得するように設置される取り込みユニットと、
校正点座標として、前記非視線測位インタラクション方式を採用して測位を行うことで得られた位置座標を取得し、及び取得した眼部特徴情報及び校正点座標に基づいて計算して、前記使用者の現在の個人校正係数を取得するように設置される校正ユニットと、を備える。

【0012】

１つの好適な実施例において、上記の装置は、前記バックグラウンド校正フローを起動させる前、使用者の眼部特徴情報を取得し、取得した前記眼部特徴情報及びターゲット校正係数に基づいて計算して、前記使用者の注視点座標を取得するように設置される計算ユニットであって、前記ターゲット校正係数は、システムデフォルト校正係数、又は前記使用者のユーザー識別子と関連付けられた個人校正係数を含む計算ユニットと、前記注視点座標が所属する機能領域のインタラクション効果を展示するように設置される展示ユニットと、非視線測位インタラクション装置が使用され、前記非視線測位インタラクション装置に基づいて、他の機能領域に測位されたと監視した場合、今回のインタラクション操作が採用するインタラクション方式は非視線測位方式であると決定するように設置される監視ユニットと、を備える。

【0013】

１つの好適な実施例において、前記使用者のユーザー識別子はターゲットユーザー識別子であり、前記ターゲット校正係数を使用して計算することで、使用者の注視点座標を取得する前、前記計算ユニットはさらに、前記ターゲットユーザー識別子には既に個人校正係数が関連付けられた場合、前記ターゲットユーザー識別子と関連付けられた個人校正係数を前記ターゲット校正係数に決定し、及び使用者のユーザー識別子は個人校正係数と関連付けられていないと、前記システムデフォルト校正係数を前記ターゲット校正係数に決定するように設置される。

【0014】

１つの好適な実施例において、計算して前記現在の個人校正係数を取得した後、前記校正ユニットはさらに、前記ターゲットユーザー識別子には既に個人校正係数が関連付けられた場合、前記現在の個人校正係数を使用して、前記ターゲットユーザー識別子と関連付けられた個人校正係数を更新し、及び前記ターゲットユーザー識別子には個人校正係数が関連付けられていないと、前記現在の個人校正係数を前記ターゲットユーザー識別子と関連付けるように設置される。

【0015】

１つの好適な実施例において、ユーザー識別子は生物認識特徴とバインディングされ、前記装置は、前記ターゲット校正係数を使用して計算することで、使用者の注視点座標を取得する前、前記使用者の生物認識特徴を取得し、取得した生物認識特徴を、確立したユーザー識別子の生物認識特徴にマッチングし、マッチングが成功すると、マッチングが成功したユーザー識別子を前記使用者のユーザー識別子に決定し、及びマッチングが失敗すると、前記使用者に対してユーザー識別子を確立して、確立したユーザー識別子を、取得した生物認識特徴にバインディングするように設置される生物認識ユニットをさらに備える。

【0016】

本発明の１つの実施例において、眼球追跡校正方法の装置をさらに提供し、プロセッサー、メモリ、及びメモリに記憶されるとともに、プロセッサーで運転可能なコンピュータプログラムを備え、前記プロセッサーは前記プログラムを実行すると、上記の何れか１項に記載の眼球追跡校正方法のステップを実現する。

【0017】

本発明の１つの実施例において、コンピュータ実行可能な指令が記憶された記憶媒体をさらに提供し、前記コンピュータ実行可能な指令はプロセッサーによりロードされ、実行されると、上記の何れか１項に記載の眼球追跡校正方法のステップを実現する。

【発明の効果】

【0018】

本発明の少なくとも一部の実施例において、眼球追跡を使用してインタラクションを行うシーンにおいて、使用者は非視線測位インタラクション方式を選択して測位を行うと、その同時、バックグラウンド校正フローを起動させ、バックグラウンド校正フローにおいて非視線測位インタラクション方式を使用して測位を行うことで得られた位置座標を校正点座標として、計算して個人校正係数を取得する。本発明の実施例のバックグラウンド校正フローは使用者にとって隠蔽され、使用者は感知し得なく、従来技術のように、現在シーンから退出して改めて校正する必要もなく、校正時間を節約し、ユーザーの使用エクスペリエンスを高める。

【図面の簡単な説明】

【0019】

本発明の実施例又は従来技術の技術案をより明らかに説明するために、以下は実施例又は従来技術の記載の必要な図面を簡単に紹介し、明らかに、以下の記載の図面はただ本発明の実施例であり、当業者にとって、進歩性に値する労働をしないことを前提として、提供した図面に基づいて、他の図面を取得できる。

【図1】本発明の１つの実施例による眼球追跡校正方法のフローチャートである。

【図2a】本発明の１つの実施例による、視線測位インタラクション方式を採用して、注視点座標を取得する概略図である。

【図2b】本発明の１つの実施例による、注視点座標が所属する機能領域を拡張する概略図である。

【図3】本発明の１つの実施例による別の眼球追跡校正方法のフローチャートである。

【図4】本発明の１つの実施例による別の眼球追跡校正方法のフローチャートである。

【図5】本発明の１つの実施例によるさらなる眼球追跡校正方法のフローチャートである。

【図6】本発明の１つの実施例によるさらなる眼球追跡校正方法のフローチャートである。

【図7】本発明の１つの実施例による眼球追跡校正装置の構成ブロック図である。

【図8】本発明の１つの実施例による別の眼球追跡校正装置の構成ブロック図である。

【図9】本発明の１つの実施例によるさらなる眼球追跡校正装置の構成ブロック図である。

【発明を実施するための形態】

【0020】

これから、本発明の実施例の図面を結合して、本発明の実施例の技術案を明らか且つ完全に記載し、明らかに、記載の実施例は全ての実施例ではなく、本発明の一部の実施例のみである。本発明の実施例に基づいて、当業者は進歩性に値する労働をしないことを前提として、取得した他の全ての実施例は何れも本発明の保護範囲に該当する。

【0021】

本発明の明細書、請求項及び上記の図面における「第１」及び「第２」などの用語は特定の順序を記載していなく、異なる対象を区別するためのものである。また、用語である「包含」、「具備」及びそれらの任意の変形は、非排他的な包含をカバーするように意図される。例えば、一連のステップ又はユニットを含む過程、方法、システム、製品又は装置は、挙げられたステップ又はユニットに設定されず、挙げられていないステップ又はユニットを含む。

【0022】

本発明の実施例が提供した眼球追跡校正方法及び眼球追跡校正装置は、眼球追跡の分野に適用され、眼球追跡は視線追跡とも呼ばれて、目の運動状況を測定することで、目の視線及び／又は注視点を推定する技術である。

【0023】

本発明の実施例に関する眼球追跡校正装置は、ＶＲシステム、ＡＲ装置、アイコントロールタブレットなどの視線測位の端末装置（視線測位装置と略称される）に設置されてもよい。

【0024】

ＶＲシステムは一般的に複数の装置、例えば、ＶＲオールインワン＋ハンドル／リモコン、ＰＣ端末＋ＶＲヘッドマウントディスプレイ（ヘッドマウントディスプレイと通信するように、ＰＣ端末にはＶＲソフトウェアがインストールされる）＋ハンドル／リモコン／マウス、スマートモバイル端末＋ヘッドマウントディスプレイ（ヘッドマウントディスプレイと通信するように、スマートモバイル端末にはＶＲソフトウェアがインストールされる）などを備える。

【0025】

上記の眼球追跡校正装置はアイコントロールタブレットなどに設置され、使用者のアイダイアグラムを取り込むために、アイコントロールタブレットには、赤外線光源、アイダイアグラムを撮影するように設置されるカメラ（例えば、環境カメラ、赤外線カメラ）がさらに設置される。ここで、アイダイアグラムは、目を含む画像、例えば正面、側面頭部画像、又は眼部のみを含む画像を指す。

【0026】

又は、眼球追跡校正装置は上記のＶＲ／ＡＲヘッドマウントディスプレイに設置されてもよい。ヘッドマウントディスプレイには視線追跡装置（又は眼球追跡装置）がさらに搭載され、以上紹介した、アイダイアグラムを撮影するカメラ＋赤外線光源の眼球追跡装置以外、他の眼球追跡装置、例えば、ＭＥＭＳ微小電気機械システムを使用してもよく、具体的に、ＭＥＭＳ赤外線走査反射鏡、赤外線光源、眼部画像を撮影することで眼球運動を検出する赤外線受信器を含んでもよく、また例えば、視線追跡装置は、眼球と容量性極板との間の容量値によって眼球運動を検出する容量センサーであってもよく、また例えば、視線追跡装置は筋肉電流検出器であってもよく、より具体的に、鼻梁、額、耳、耳たぶに電極を設置することで、筋肉電流信号を検出するモードで眼球運動を検出する。

【0027】

以下は、以上に記載の本発明の関する共通面に基づいて、本発明の実施例をさらに詳しく説明する。

【0028】

実施例１
従来の校正形態に存在する、視線測位インタラクションを応用するシーンで、使用者は視線測位が不正確であると発見し、又はヘッドマウントディスプレイ位置の調整などの原因のため、ヘッドマウントディスプレイと目の相対位置が変更された場合、シーンから退出して、改めて校正するという問題を解決する。

【0029】

個別の校正部分を必要とせず、視線測位インタラクションを応用するシーンで校正を完成させるために、本願の実施例は眼球追跡校正方法を提供する。

【0030】

図１を参照して、当該眼球追跡校正方法は以下のステップを備え、
Ｓ０：眼球追跡機能を起動させる。

【0031】

１つの例示において、視線測位装置の眼球追跡機能はオンされるようにデフォルトされる。

【0032】

無論、使用者の操作に基づいて眼球追跡機能を起動させてもよい。

【0033】

Ｓ１：１回のインタラクション操作において、使用者が選択したインタラクション方式は非視線測位インタラクション方式であると、バックグラウンド校正フローを起動させる。

【0034】

１回のインタラクション操作は、使用者が入力出力システムによって情報及び操作命令を入力して、システムが受信した後、処理して、入力出力システムによって処理結果を表示することを指す。

【0035】

以降、使用者は処理結果に基づいて、情報及び操作命令をさらに入力する。

【0036】

ＶＲシーンを例として、一般的に、視線測位インタラクション方式を採用して注視点座標を取得するようにデフォルトされる（図２ａを参照）。

【0037】

注視点座標が所属する機能領域に対して拡張（図２ｂを参照）、変色、輝度向上などのインタラクション効果展示を行う。ここで、機能領域は、アイコンコントロール、空間領域、仮想物体（例えば、ＶＲゲームにおいて、視線測位によって、指定の空間領域まで歩いて、又は把持したい仮想物体を選択する）などを含むが、これらに限定されていない。

【0038】

以上言及されたマウス、リモコン、ハンドル、さらにＰＣ端末のキーボードなどは、何れもマンマシンインタラクションに適用されてもよく、視線測位インタラクション方式に比べると、これらのインタラクション方式は、非視線測位インタラクション方式と総称され、マウス、リモコン、ハンドル、キーボードなどは非視線測位インタラクション装置と総称される。

【0039】

１回のインタラクション操作において、ユーザーは非視線測位インタラクション方式を使用すると、バックグラウンド校正フローに入って、当該フローは使用者にとって隠蔽され、使用者は感知し得ない。

【0040】

Ｓ２：バックグラウンド校正フローにおいて、使用者の眼部特徴情報を取得する。

【0041】

１つの例示において、眼部特徴情報は瞳位置座標、瞳形状、虹彩位置、虹彩形状、瞼位置、目尻位置、角膜反射スポットの位置座標などを含んでもよい。

【0042】

具体的に、眼球追跡校正装置はモバイル端末装置に設置されると、モバイル端末装置のカメラなどを利用して、アイダイアグラムを撮影し、アイダイアグラムを処理した後、眼部特徴情報を取得する。

【0043】

眼球追跡校正装置はＶＲ／ＡＲヘッドマウントディスプレイに設置されると、ＶＲ／ＡＲヘッドマウントディスプレイでの視線追跡装置を利用して、眼部画像を撮影し、眼部画像を処理した後、眼部特徴情報を取得する。

【0044】

Ｓ３：校正点座標として、上記の非視線測位インタラクション方式を採用して測位を行うことで得られた位置座標を取得する。

【0045】

ハンドルを例として、使用者はハンドルを採用して、カーソルをある位置に移動させ、確認をクリックした場合、得られた位置座標は校正点座標である。

【0046】

従来技術と異なって、本発明の実施例は固定校正点を展示していなく、使用者が注意力を集中して固定校正点を見つめる必要もない。使用者はハンドル、マウスなどの非視線測位インタラクション装置を使用する際、目が着いたら、手が着くため、上記の非視線測位インタラクション方式を採用して測位を行うことで得られた位置座標は、使用者が見つめている点である。

【0047】

Ｓ４：取得した眼部特徴情報及び校正点座標に基づいて計算して、前記使用者の現在の個人校正係数を取得する。

【0048】

個人校正係数は視線推定アルゴリズムにおいて、視線の最終結果を計算するパラメータであり、ユーザーの瞳半径、角膜曲率、視軸及び光軸の間の角度差などのデータと関連付けられる。

【0049】

個人校正係数の計算原理は以下の通り、
取得した眼部特徴情報及び校正点座標に基づいて、視線推定アルゴリズムを使用して、個人校正係数を逆解析できる。現在の個人校正係数を取得した後、前回の個人校正係数をオーバーライドし、又はデフォルト校正係数を差し替えることで、眼球追跡の精度がより正確になる。

【0050】

このように、本発明の実施例において、眼球追跡を使用してインタラクションを行うシーンにおいて、使用者は非視線測位インタラクション方式を選択して測位を行うと、その同時、バックグラウンド校正フローを起動させ、バックグラウンド校正フローにおいて非視線測位インタラクション方式を使用して測位を行うことで得られた位置座標を校正点座標として、計算して個人校正係数を取得する。本発明の実施例のバックグラウンド校正フローはユーザーの個人校正係数を継続的に更新でき、眼球の追跡がより正確になり、また、当該校正方法は使用者にとって隠蔽され、使用者は感知し得なく、従来技術のように、現在シーンから退出して改めて校正する必要もなく、校正時間を節約し、ユーザーの使用エクスペリエンスを高める。

【0051】

実施例２
一般的に、眼球追跡技術は何れもデフォルトの校正係数を有する。デフォルトの校正係数は、ほとんどの人が使用する際、精度が高い校正係数である。

【0052】

無論、使用者の眼球半径などの個人差のため、デフォルトの校正係数を使用すると、測位が不正確であるという可能性が存在し、そのため、校正して個人校正係数を取得する。

【0053】

ターゲット校正係数は、システムデフォルト校正係数、又は、使用者のユーザー識別子と関連付けられた個人校正係数を含むように定義される。

【0054】

最初、ターゲット校正係数はシステムデフォルト校正係数であり、少なくとも１回のバックグラウンド校正を行った後、ターゲット校正係数は最新の個人校正係数に更新される。

【0055】

本実施例は、視線測位インタラクション方式をデフォルトに採用するシーンで、ターゲット校正係数による眼球追跡校正の例示的なフローを紹介し、図３を参照し、以下のステップを備え、
Ｓ３１:使用者の眼部特徴情報を取得し、取得した眼部特徴情報及びターゲット校正係数に基づいて計算して、使用者の注視点座標を取得する。

【0056】

取得方式について、上記実施例１のステップＳ２を参照すればよい。

【0057】

注視点座標を計算する眼球運動追跡アルゴリズムは多種があり、例えば、瞳位置形態による眼球運動追跡アルゴリズムは、瞳の主軸方向、瞳位置によって、注視情報を計算する。

【0058】

また例えば、ある特徴ベクトルフィッティング方法であって、その動作原理は以下の通り、
瞳の中心位置、左目尻中心位置及び右目尻の中心位置を抽出し、
特徴ベクトルＡとして、瞳中心位置から左目尻中心位置を減算し、
特徴ベクトルＢとして、瞳中心位置から右目尻中心位置を減算する。

【0059】

ベクトルＡ、ベクトルＢと注視点との間のマッピング関数を構築する（いくつかの連立方程式）。

【0060】

所定の特徴ベクトルＡ、Ｂ、及び既知の注視情報に基づいて、多項式フィッティングを行って、マッピング関数における未知係数を取得する（校正過程で未知係数の解きを完成させてもよい）。

【0061】

未知係数を取得した後、現在抽出した特徴ベクトルをマッピング関数に入力すると、現在の注視点を取得できる（当該過程は追跡過程である）。

【0062】

具体的に、特徴データは、瞳位置、瞳形状、虹彩位置、虹彩形状、瞼位置、目尻位置、スポット位置などを含んでもよい。

【0063】

異なる眼球運動追跡アルゴリズムは特徴データのタイプに対して、異なる要求を有する可能性があり、例えば、上記言及された、瞳位置形態による眼球運動追跡アルゴリズムに対して、抽出必要がある特徴データは、瞳の主軸方向、瞳位置、瞳の長軸の長さ、瞳の短軸の長さなどを含む。

【0064】

また例えば、上記言及された特徴ベクトルフィッティング方法に対して、抽出必要がある特徴データは、瞳中心位置、左目尻中心位置及び右目尻中心位置を含む。

【0065】

眼球運動追跡アルゴリズムのタイプが多いため、ここで、一々贅言していない。

【0066】

ここで、使用者は新規使用者であり、又は使用者のユーザー識別子には個人校正係数が関連付けられていないと、ターゲット校正係数はデフォルト標準係数である。

【0067】

Ｓ３２：注視点座標が所属する機能領域のインタラクション効果を展示する。

【0068】

具体的に、注視点座標が所属する機能領域に対して拡張（図２ｂを参照）、変色、輝度向上などのインタラクション効果展示を行ってもよい。ここで、機能領域はアイコンコントロール、空間領域、仮想物体などであってもよい。

【0069】

Ｓ３１～Ｓ３２は１回のインタラクション操作である。

【0070】

使用者は、インタラクション効果を展示する機能領域が予期の機能領域であると考えると、以降、持続的に注視し、ボタンを押すように、当該機能領域に入ると確認する。

【0071】

使用者は、インタラクション効果を展示する機能領域が予期の機能領域ではないと考えると（この場合、注視点座標計算の精度は使用ニーズを満たすことができない）、以降、マウス、リモコン、ハンドル、さらにＰＣ端末のキーボードなどの非視線測位インタラクション装置を利用して、スクリーンの焦点を移動させ、改めて測位を行う。

【0072】

Ｓ３３：バックグラウンド校正起動条件を満たしているかどうかを判定し、ＹＥＳであれば、Ｓ３４に入って、ＮＯであれば、Ｓ３１に入る。

【0073】

バックグラウンド校正起動条件は、非視線測位インタラクション装置が使用され、非視線測位インタラクション装置に基づいて、他の機能領域に測位されたと監視したことを備える。

【0074】

バックグラウンド校正起動を満たしていると、今回のインタラクション操作が採用するインタラクション方式は非視線測位方式であると決定し、以降、バックグラウンド校正フローを実行し、得られた最新の個人校正係数をターゲット校正係数に割り振る。

【0075】

バックグラウンド校正起動を満たしていないと、現在の視線測位精度は使用者のニーズを満たし、ターゲット校正係数を変更する必要がなく、直接的にステップＳ３１に戻る。

【0076】

Ｓ３４：バックグラウンド校正フローを起動させ、取得した眼部特徴情報及び校正点座標に基づいて計算して、使用者の現在の個人校正係数を取得する。

【0077】

具体的な紹介について、上記のＳ２～Ｓ４を参照すればよく、ここで、贅言していない。

【0078】

Ｓ３５：計算して得られた個人校正係数を利用して、ターゲット校正係数を更新し、Ｓ３１に戻る。

【0079】

非視線測位インタラクション装置を使用して測位を行った後、視線測位インタラクション方式に再び戻る。

【0080】

本実施例において、視線測位によるインタラクション操作ごとに、デフォルトの校正係数、又は使用者と関連付けられた個人校正係数を利用して、注視点座標を計算し、注視点座標が所属する機能領域をハイライト表示する。

【0081】

ハイライト表示される機能領域は、使用者の予期の機能領域であれば、使用者は持続的に注視し、ボタンを押すように、当該機能領域に入ると確認する。

【0082】

ハイライト表示される機能領域は、使用者の予期の機能領域ではなければ、使用者はハンドルなどの非視線測位インタラクション装置を使用して、改めて測位を行うとともに、バックグラウンド校正を起動させる。従って、本実施例は、マンマシンインタラクションを実現できる上に、バックグラウンド校正を起動させるかどうかを決定できる。

【0083】

実施例２は、使用者のユーザー識別子に言及する。便宜上、現在の使用者のユーザー識別子をターゲットユーザー識別子と呼んでもよい。

【0084】

ターゲット校正係数を使用し計算して、使用者の注視点座標を取得する前、以下のステップをさらに備え、
ターゲットユーザー識別子は既に個人校正係数と関連付けられた場合、ターゲットユーザー識別子と関連付けられた個人校正係数をターゲット校正係数に決定し、
使用者のユーザー識別子は個人校正係数と関連付けられていないと、システムデフォルト校正係数をターゲット校正係数に決定する。

【0085】

また、計算して、現在の個人校正係数を取得した後、以下の操作を行ってもよく、
ターゲットユーザー識別子には個人校正係数が関連付けられた場合、ターゲットユーザー識別子と関連付けられた個人校正係数を現在の個人校正係数に更新し、
ターゲットユーザー識別子には個人校正係数が関連付けられていないと、現在の個人校正係数をターゲットユーザー識別子と関連付ける。

【0086】

実施例３は、最初、ターゲットユーザー識別子が個人校正係数と関連付けられていない場合、眼球追跡校正を如何に行うかということについて紹介し、図４を参照し、例示的に以下のステップを備え、
Ｓ４１：ターゲットユーザー識別子には個人校正係数が関連付けられず、システムデフォルト校正係数をターゲット校正係数に決定する。

【0087】

Ｓ４２～Ｓ４５は上記Ｓ３１～Ｓ３４に類似するため、ここで、贅言していない。

【0088】

Ｓ４６：計算して得られた現在の個人校正係数をターゲットユーザー識別子と関連付ける。

【0089】

４７：計算して得られた個人校正係数を利用して、ターゲット校正係数を更新し、Ｓ４１に戻る。

【0090】

非視線測位インタラクション装置を使用して測位を行った後、視線測位インタラクション方式に再び戻る。

【0091】

本実施例は以下を実現でき、即ち、使用者には個人校正係数が関連付けられていない場合、デフォルト校正係数をターゲット校正係数に決定し、注視点座標を計算し、注視点座標が所属する機能領域をハイライト表示する。ハイライト表示される機能領域は、使用者の予期の機能領域ではないと、使用者はハンドルなどの非視線測位インタラクション装置を使用して、改めて測位を行うとともに、バックグラウンド校正を起動させる。

【0092】

バックグラウンド校正による個人校正係数は、ターゲットユーザー識別子と関連付けられ、次回のインタラクション操作で個人校正係数を使用し、そうすれば、次回の視線測位方式による測位際、前回、計算して得られた個人校正係数を使用して、注視点座標を計算し、デフォルト校正係数の使用から、より正確な個人校正係数の使用に移行することを実現でき、さらに、より個人化及び正確な視線測位サービスを使用者に提供できる。

【0093】

実施例４
実施例４は具体的に、最初、ターゲットユーザー識別子が既に個人校正係数と関連付けられたように従って、眼球追跡校正方法を紹介し、図５を参照し、例示的に以下のステップを備える。

【0094】

Ｓ５１：ターゲットユーザー識別子には個人校正係数が関連付けられ、ターゲットユーザー識別子と関連付けられた個人校正係数をターゲット校正係数に決定する。

【0095】

Ｓ５２～Ｓ５５は上記Ｓ３１～Ｓ３４に類似するため、ここで、贅言していない。

【0096】

Ｓ５６：ターゲットユーザー識別子と関連付けられた個人校正係数を現在の個人校正係数に更新する。

【0097】

Ｓ５７：計算して得られた個人校正係数を利用して、ターゲット校正係数を更新し、Ｓ５１に戻る。

【0098】

非視線測位インタラクション装置を使用して測位を行った後、視線測位インタラクション方式に再び戻る。

【0099】

本実施例は以下を実現でき、使用者には個人校正係数が付けられた場合、使用者と関連付けられた個人校正係数をターゲット校正係数に決定し、より個人化及び正確な視線測位サービスを使用者に提供できる。

【0100】

また、バックグラウンド校正を起動させた後、計算して得られた個人校正係数はターゲットユーザー識別子と関連付けられ、次回のインタラクション操作で、個人校正係数を使用して、個人校正係数を自己適応に更新することを実現でき、さらに、より個人化及び正確な視線測位サービスを使用者に提供できる。

【0101】

実施例５
視線測位装置を使用する使用者は、同一人にデフォルトされてもよい。又は、複数の人が同一装置を使用する場合を考えると、生物認識などの技術によって、異なる使用者を区別してもよい。

【0102】

具体的に実現する場合、ユーザー識別子を生物認識特徴にバインディングし、異なる生物認識特徴は異なるユーザー識別子に対応し、異なるユーザー識別子は異なる使用者を表徴することで、異なる使用者を区別できる。

【0103】

図６を参照して、生物認識特徴による眼球追跡校正方法は例示的に、以下のフローを備え、
Ｓ６０：現在の使用者の生物認識特徴を取得する。

【0104】

ここで、生物認識特徴は例示的に、虹彩、指紋、声紋、さらに顔特徴のうちの少なくとも１つを含む。

【0105】

Ｓ６１：取得した生物認識特徴を、確立したユーザー識別子の生物認識特徴にマッチングする。

【0106】

Ｓ６２：マッチングが成功すると、マッチングが成功したユーザー識別子を現在の使用者のユーザー識別子（ターゲットユーザー識別子）に決定する；
例えば、マッチングが成功したユーザー識別子は００００１０であると、「００００１０」を現在の使用者のユーザー識別子に決定する。

【0107】

Ｓ６３：マッチングが失敗すると、使用者に対してユーザー識別子（ターゲットユーザー識別子）を確立し、確立したユーザー識別子を、取得した生物認識特徴にバインディングする。

【0108】

ステップＳ６２において、マッチングが成功したユーザー識別子、又はステップＳ６３で確立したユーザー識別子は、上記実施例のターゲットユーザー識別子である。

【0109】

Ｓ６４：ターゲットユーザー識別子は個人校正係数と関連付けられたかどうかを判定し、ＹＥＳであれば、Ｓ６５に入って、ＮＯであれば、Ｓ６６に入る。

【0110】

Ｓ６５：ターゲットユーザー識別子と関連付けられた個人校正係数をターゲット校正係数に決定する。

【0111】

Ｓ６６：システムデフォルト校正係数をターゲット校正係数に決定する。

【0112】

Ｓ６７：ターゲット校正係数を使用して計算し、使用者の注視点座標を取得する。

【0113】

具体的に、まず、使用者の眼部特徴情報を取得し、取得した眼部特徴情報及びターゲット校正係数に基づいて計算して、使用者の注視点座標を取得する。

【0114】

具体的な紹介について、本明細書の上記の記載を参照すればよく、ここで、贅言していない。

【0115】

Ｓ６８～Ｓ６１０は上記Ｓ３２～Ｓ３４に類似するため、ここで、贅言していない。

【0116】

Ｓ６１１：ターゲットユーザー識別子には個人校正係数が関連付けられた場合、ターゲットユーザー識別子と関連付けられた個人校正係数を現在の個人校正係数に更新する。

【0117】

Ｓ６１２：ターゲットユーザー識別子には個人校正係数が関連付けられていないと、現在の個人校正係数をターゲットユーザー識別子と関連付ける。

【0118】

Ｓ６１３：計算して得られた個人校正係数を利用して、ターゲット校正係数を更新し、Ｓ６７に戻る。

【0119】

本実施例において、使用者の生物認識特徴（例えば、虹彩）を抽出した後、確立したユーザー識別子の特徴認識特徴にマッチングすることで、新規ユーザーであるかどうかを認識し、確立したユーザー識別子にマッチングすると、マッチングが成功したユーザー識別子を現在の使用者のユーザー識別子に決定する。今回のインタラクション操作で、マッチングが成功したユーザー識別子の個人校正係数を使用して注視点座標を計算する。

【0120】

新規ユーザーであれば、それに対してユーザー識別子を確立し、最初のインタラクション操作で、システムデフォルト校正係数を使用して注視点座標を計算する。

【0121】

生物認識特徴を使用して使用者を区別することで、個人化且つより正確な視線測位サービスを異なる使用者に提供する。以下のシーンを想定すればよい。

【0122】

複数の家族成員は一台の移動装置を使用すると仮定する。最初、成員Ａはインタラクション操作を行って、個人校正係数を計算する。その後、成員Ｂも当該移動装置を使用し、区別しないと、計算された成員Ａの個人校正係数を直接的に使用して校正すると、測位は正確ではない恐れがある。バックグラウンド校正をトリガーすると、計算して得られた個人校正係数は実際、成員Ｂのものである。

【0123】

その後、成員Ａは再び使用すると、区別しない場合、成員Ｂの個人校正係数をもう一度使用して、注視点座標を計算し、相変わらず正確な測位を達成できない。

【0124】

異なるユーザーの個人校正係数が混合しなくなるために、生物認識によって異なるユーザーを区別すると、個人化の視線測位サービスを異なるユーザーに提供できる。

【0125】

実施例６
本実施例は眼球追跡校正装置を提供し、図７を参照し、当該装置は、
１回のインタラクション操作において、使用者が選択したインタラクション方式は非視線測位インタラクション方式であると、校正ユニット３のバックグラウンド校正フローを起動させるように設置されるバックグラウンド校正起動ユニット１と、
バックグラウンド校正フローにおいて、前記使用者の眼部特徴情報を取得するように設置される取り込みユニット２と、
バックグラウンド校正フローにおいて、校正点座標として、上記の非視線測位インタラクション方式を採用して測位を行うことで得られた位置座標を取得し、及び取得した眼部特徴情報及び校正点座標に基づいて計算して、使用者の現在の個人校正係数を取得するように設置される校正ユニット３とを備える。

【0126】

本発明の実施例に関する眼球追跡校正装置はＶＲシステム、ＡＲ装置、アイコントロールタブレットなどの、視線測位に関する端末装置（視線測位装置と略称される）に設置され、眼球追跡校正方法を実行する。

【0127】