知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-08
(54)【発明の名称】視線方向追跡方法及び装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240801BHJP
G06F 3/0346 20130101ALI20240801BHJP
G06F 3/038 20130101ALI20240801BHJP
【ＦＩ】
G06T7/00 660A
G06F3/0346 423
G06F3/038 310A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024531562
(86)(22)【出願日】2022-07-29
(85)【翻訳文提出日】2024-02-05
(86)【国際出願番号】 CN2022108896
(87)【国際公開番号】W WO2023011339
(87)【国際公開日】2023-02-09
(31)【優先権主張番号】202110897215.8
(32)【優先日】2021-08-05
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】524050235
【氏名又は名称】アークソフト コーポレーション リミテッド
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】リン、ルイ
(72)【発明者】
【氏名】チャン、プー
(72)【発明者】
【氏名】ワン、チン
【テーマコード（参考）】
5B087
5L096
【Ｆターム（参考）】
5B087AA02
5B087AC01
5B087BC12
5L096AA06
5L096BA08
5L096CA05
5L096DA02
5L096FA67
5L096FA69
5L096GA51
5L096HA08
5L096HA11
5L096JA11
5L096JA18
5L096KA04
(57)【要約】
本発明は、視線方向追跡方法及び装置を開示する。ここで、当該視線方向追跡方法は、複数の光源を用いてユーザの眼に角膜反射を提供し、複数のカメラを用いてユーザの顔を含む画像を撮像することと、顔を含む画像から取得された眼特徴セットによって、ハードウェアキャリブレーションパラメータを結合して、世界座標系における光源反射点座標及び瞳孔中心座標を決定することと、光源反射点座標及び瞳孔中心座標に基づいて視線光軸を決定し、視線光軸が補償角度によって視線視軸を再構成することと、視線視軸及び世界座標系におけるターゲットオブジェクトの位置に基づいて、ターゲットオブジェクトにおける視点を決定することとを含む。本発明は、視線追跡ハードウェアのコストが高く、アルゴリズムの最適化効率が低く、推定精度が低いという技術的問題を解決する。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
視線方向追跡方法であって、複数の光源を用いてユーザの眼に角膜反射を提供し、複数のカメラを用いて前記ユーザの顔を含む画像を撮像することと、
前記顔を含む画像から取得された眼特徴セットによって、ハードウェアキャリブレーションパラメータを結合して、世界座標系における光源反射点座標及び瞳孔中心座標を決定することと、
前記光源反射点座標及び前記瞳孔中心座標に基づいて視線光軸を決定し、前記視線光軸が補償角度によって視線視軸を再構成することと、
前記視線視軸及び前記世界座標系におけるターゲットオブジェクトの位置に基づいて、前記ターゲットオブジェクトにおける視点を決定することとを含むことを特徴とする視線方向追跡方法。
【請求項2】
前記眼特徴セットは、光源結像点と、瞳孔結像点とを含むことを特徴とする請求項１に記載の視線方向追跡方法。
【請求項3】
前記世界座標系は、光源座標系、カメラ座標系、ターゲットオブジェクト座標系のうちのいずれか１つを選択することができることを特徴とする請求項１に記載の視線方向追跡方法。
【請求項4】
さらに、予め設定された眼球パラメータ、前記補償角度、前記ハードウェアキャリブレーションパラメータ及び予め設定された視点によってシミュレーション検証、分析及び最適化を行うことを特徴とする請求項１に記載の視線方向追跡方法。
【請求項5】
前記複数のカメラ、前記複数の光源及び前記ターゲットオブジェクトは、ユーザに向けており、前記複数のカメラの視野に前記複数の光源及び前記ターゲットオブジェクトが含まれないことを特徴とする請求項１に記載の視線方向追跡方法。
【請求項6】
前記ハードウェアキャリブレーションパラメータは、前記複数のカメラ座標系の内部及び外部パラメータと、前記複数の光源座標系と前記複数のカメラ座標系との間の第１位置関係、前記複数の光源座標系と前記ターゲットオブジェクト座標系との間の第２位置関係、及び前記複数のカメラ座標系と前記ターゲットオブジェクト座標系との間の第３位置関係を含む幾何学的位置関係とを含むことを特徴とする請求項１に記載の視線方向追跡方法。
【請求項7】
前記幾何学的位置関係は、前記複数のカメラの内部及び外部パラメータを結合して、平面鏡及び補助カメラのうちの少なくとも１つを用いてキャリブレーション情報を伝達してキャリブレーションすることによって取得されることを特徴とする請求項６に記載の視線方向追跡方法。
【請求項8】
前記顔を含む画像から取得された顔特徴セットによって、ハードウェアキャリブレーションパラメータを結合して、世界座標系における光源反射点座標及び瞳孔中心座標を決定することは、前記世界座標系が前記光源座標系である場合、前記顔特徴セットは、前記複数のカメラの内部及び外部パラメータによって、前記第１位置関係を結合するか、又は、前記第２位置関係及び前記第３位置関係を結合して、前記光源座標系における前記光源反射点座標及び前記瞳孔中心座標を決定することと、
前記世界座標系が前記カメラ座標系である場合、前記顔特徴セットは、前記複数のカメラの内部及び外部パラメータによって、前記複数のカメラ座標系における前記光源反射点座標及び前記瞳孔中心座標を決定することと、
前記世界座標系が前記ターゲットオブジェクト座標系である場合、前記顔特徴セットは、前記複数のカメラの内部及び外部パラメータによって、前記第３位置関係を結合するか、又は、前記第１位置関係及び前記第２位置関係を結合して、前記ターゲットオブジェクト座標系における前記光源反射点座標及び前記瞳孔中心座標を決定することとを含むことを特徴とする請求項６に記載の視線方向追跡方法。
【請求項9】
前記光源反射点座標及び前記瞳孔中心座標に基づいて視線光軸を決定することは、前記光源反射点座標及び角膜曲率半径に基づいて、角膜曲率中心の座標を決定することと、
前記瞳孔中心座標及び前記角膜曲率中心の座標に基づいて、前記瞳孔中心と前記角膜曲率中心との連結線の前記視線光軸を決定することとを含むことを特徴とする請求項１に記載の視線方向追跡方法。
【請求項10】
前記幾何学的位置関係は、前記複数のカメラの内部及び外部パラメータを結合して、平面鏡及び補助カメラを用いてキャリブレーション情報を伝達してキャリブレーションすることによって取得されることは、第１補助カメラが、前記平面鏡が複数の異なる姿勢で反射した第１マークを含む前記ターゲットオブジェクトの複数枚の第１マーク画像を取得することと、
前記複数のカメラの内部及び外部パラメータを結合して、複数枚の前記第１マーク画像に基づいて、直交制約により前記第３位置関係を算出することと、
立体視システムである第２補助カメラが、前記複数の光源を含む第２マーク画像を取得し、前記複数のカメラの内部及び外部パラメータを結合して、前記第２マーク画像に基づいて前記第１位置関係を取得することと、
前記第１位置関係及び前記第３位置関係に基づいて前記第２位置関係を決定することと含むことを特徴とする請求項６に記載の視線方向追跡方法。
【請求項11】
前記幾何学的位置関係は、前記複数のカメラの内部及び外部パラメータを結合して、補助カメラを用いてキャリブレーション情報を伝達してキャリブレーションすることによって取得されることは、立体視システムである第３補助カメラが、前記複数の光源を含む第３マーク画像を取得し、前記複数のカメラの内部及び外部パラメータを結合して、前記第３マーク画像に基づいて前記第１位置関係を取得することと、
第４補助カメラを、その視野に前記複数のカメラ及び前記第３補助カメラが含まれるように設け、前記第３補助カメラの隣にキャリブレーションボードを設け、前記複数のカメラが、前記キャリブレーションボード領域を含む第４マーク画像を採集するとともに、前記第３補助カメラが、第５マークを含む前記ターゲットオブジェクトの第５マーク画像を取得することと、
前記第４補助カメラと前記複数のカメラとの位置関係を姿勢変換ブリッジとし、第３補助カメラ及び前記複数のカメラの内部及び外部パラメータを結合して、前記第４マーク画像及び前記第５マーク画像に基づいて前記第３位置関係を決定することと、
前記第１位置関係及び前記第３位置関係に基づいて前記第２位置関係を決定することとを含むことを特徴とする請求項６に記載の視線方向追跡方法。
【請求項12】
前記幾何学的位置関係は、前記複数のカメラの内部及び外部パラメータを結合して、平面鏡を用いてキャリブレーション情報を伝達してキャリブレーションすることによって取得されることは、４つ以上のマーク点が貼り付けられた前記平面鏡を補助として用い、前記複数のカメラが、前記複数の光源と前記ターゲットオブジェクトを有し且つ前記マーク点を含む反射画像を取得することと、
前記反射画像に基づき、前記複数のカメラ座標系における各前記マーク点、前記複数の光源及び前記ターゲットオブジェクトのマーク点座標、鏡面光源座標及び鏡面ターゲットオブジェクト座標をそれぞれ算出することと、
全ての前記マーク点座標に基づいて鏡面平面を再構成し、鏡面反射原理に基づき、前記鏡面光源座標及び前記鏡面ターゲットオブジェクト座標を結合して、前記第１位置関係及び前記第３位置関係を確認することと、
前記第１位置関係及び前記第３位置関係に基づいて前記第２位置関係を決定することとを含むことを特徴とする請求項６に記載の視線方向追跡方法。
【請求項13】
前記視線光軸が補償角度によって視線視軸を再構成する前に、前記方法は、さらに、前記ユーザが各予め設定された注視点それぞれを注視する時、１組のサンプル画像を取得することと、
各組の前記サンプル画像から抽出されたサンプル特徴に基づいて第１補償角度サンプルを決定することと、
全ての前記第１補償角度サンプルを遍歴し、スクリーニング及び純化により前記補償角度を取得することとを含むことを特徴とする請求項１に記載の視線方向追跡方法。
【請求項14】
各組の前記サンプル画像から抽出されたサンプル特徴に基づいて第１補償角度サンプルを決定することは、各組の前記サンプル画像に対してサンプル特徴を抽出し、前記サンプル特徴に基づいて第１視線光軸を再構成することと、
前記予め設定された注視点の実座標に基づいて第１視線視軸を逆推定することと、
前記第１視線光軸及び前記第１視線視軸に基づいて、前記第１補償角度サンプルを取得することとを含むことを特徴とする請求項１３に記載の視線方向追跡方法。
【請求項15】
全ての前記第１補償角度サンプルを遍歴し、スクリーニング及び純化により前記補償角度を取得することは、全ての前記第１補償角度サンプルの中心点を求め、第１閾値範囲内にないサンプルをスクリーニングして除去することと、
現在の中心点と前回の中心点との差が第２閾値より低くなるまで、スクリーニング及び純化して残った全てのサンプルを遍歴し続け、純化後の全てのサンプルから前記補償角度を取得することとを含むことを特徴とする請求項１３に記載の視線方向追跡方法。
【請求項16】
前記視線光軸が補償角度によって視線視軸を再構成する前に、前記方法は、さらに、採集されたデータに対して、動的補償モデルにより予測視線観測点と実際視線観測点とのバラツキを決定し、前記バラツキに基づいて前記補償角度を取得することを含むことを特徴とする請求項１に記載の視線方向追跡方法。
【請求項17】
前記動的補償モデルを用いる前に前記動的補償モデルを初期化することは、前記ユーザが各予め設定された初期点それぞれを注視する時、１組の初期サンプル画像を取得することと、
各組の前記初期サンプル画像に対して、初期サンプル特徴を抽出し、前記初期サンプル特徴に基づいてスモールサンプル学習により初期化して、現在の前記ユーザとマッチングする前記動的補償モデルを取得することとを含むことを特徴とする請求項１６に記載の視線方向追跡方法。
【請求項18】
前記動的補償モデルをトレーニングすることは、複数のユーザが予め設定された校正点をそれぞれ注視する時の複数組のサンプルデータを採集することと、
前記複数組のサンプルデータをクリーニングし、且つクリーニング後の前記複数組のサンプルに対してトレーニングサンプル特徴を抽出することと、
前記トレーニングサンプル特徴に基づいてスモールサンプル学習を用いて初期動的補償モデルをトレーニングし、トレーニング後の前記動的補償モデルを取得することとを含むことを特徴とする請求項１６に記載の視線方向追跡方法。
【請求項19】
予め設定された眼球パラメータ、前記補償角度、前記ハードウェアキャリブレーションパラメータ及び予め設定された視点によってシミュレーション検証、分析及び最適化を行うことは、前記予め設定された視点に対して、前記眼球パラメータ、前記補償角度及び前記ハードウェアキャリブレーションパラメータに基づいて、再構成光源結像点及び再構成瞳孔結像点をシミュレーション算出することと、
前記再構成光源結像点及び前記再構成瞳孔結像点に基づいて、前記視線方向追跡方法に基づき、予測視点を決定することと、
前記予め設定された視点と前記予測視点との比較値に基づいて統計分析を行い、分析結果に基づいて検証及び最適化を実施することとを含むことを特徴とする請求項４に記載の視線方向追跡方法。
【請求項20】
前記予め設定された視点に対して、前記予め設定された眼球パラメータ、前記補償角度及び前記ハードウェアキャリブレーションパラメータに基づいて、再構成光源結像点及び再構成瞳孔結像点をシミュレーション算出することは、前記予め設定された眼球パラメータにおける角膜中心及び前記ハードウェアキャリブレーションパラメータに基づいて光源角膜カメラ角度を決定し、前記光源角膜カメラ角度及び前記予め設定された眼球パラメータにおける角膜曲率半径に基づいて、球面反射原理を結合して、再構成光源反射点座標を決定し、前記再構成光源反射点座標に基づいて前記ハードウェアキャリブレーションパラメータを結合して、前記再構成光源結像点を算出することと、
前記予め設定された視点の座標及び前記予め設定された眼球パラメータにおける角膜中心に基づいて第１視軸を決定し、前記第１視軸及び前記補償角度に基づいて第１光軸を逆推定し、前記第１光軸に基づき、前記予め設定された眼球パラメータの瞳孔角膜中心距離を結合して、再構成瞳孔中心座標を決定し、前記瞳孔中心座標に基づいて前記ハードウェアキャリブレーションパラメータを結合して、前記再構成瞳孔結像点を算出することとを含むことを特徴とする請求項１９に記載の視線方向追跡方法。
【請求項21】
前記予め設定された視点は、複数種類の視線角度追跡をシミュレーションするように、複数の異なる位置に、事前に予め設定されるか、又は、ランダムに生成されることができることを特徴とする請求項１９に記載の視線方向追跡方法。
【請求項22】
前記予め設定された視点と前記予測視点に基づいて統計分析を行い、分析結果に基づいて検証及び最適化を実施することは、前記視線方向追跡方法の実現が正確であるか否かを検証し、外乱を加えることによる視点誤差への影響をテストし、前記複数の光源、前記複数のカメラ及びターゲットオブジェクトの配置方法を決定することを含むことを特徴とする請求項１９に記載の視線方向追跡方法。
【請求項23】
視線方向追跡装置であって、複数の光源を用いてユーザの眼に角膜反射を提供し、複数のカメラを用いて前記ユーザの顔を含む画像を撮像するための採集モジュールと、
前記顔を含む画像から取得された眼特徴セットによって、ハードウェアキャリブレーションパラメータを結合して、世界座標系における光源反射点座標及び瞳孔中心座標を決定するためのキーポイント決定モジュールと、
前記光源反射点座標及び前記瞳孔中心座標に基づいて視線光軸を決定し、前記視線光軸が補償角度によって視線視軸を再構成するための視線再構成モジュールと、
前記視線視軸及び前記世界座標系におけるターゲットオブジェクトの位置に基づいて、前記ターゲットオブジェクトにおける視点を決定するための視点決定モジュールと、
を含むことを特徴とする視線方向追跡装置。
【請求項24】
予め設定された眼球パラメータ、前記補償角度、前記ハードウェアキャリブレーションパラメータ及び予め設定された視点によってシミュレーション検証、分析及び最適化を行うためのシミュレーションモジュールをさらに含むことを特徴とする請求項２３に記載の装置。
【請求項25】
前記ハードウェアキャリブレーションパラメータは、前記複数のカメラ座標系の内部及び外部パラメータと、前記複数の光源座標系と前記複数のカメラ座標系との間の第１位置関係、前記複数の光源座標系と前記ターゲットオブジェクト座標系との間の第２位置関係、及び前記複数のカメラ座標系と前記ターゲットオブジェクト座標系との間の第３位置関係を含む幾何学的位置関係とを含むことを特徴とする請求項２３に記載の装置。
【請求項26】
前記キーポイント決定モジュールは、前記複数のカメラの内部及び外部パラメータを結合して、平面鏡及び補助カメラのうちの少なくとも１つを用いてキャリブレーション情報を伝達してキャリブレーションすることによって、前記幾何学的位置関係を取得するためのキャリブレーションユニットを含むことを特徴とする請求項２５に記載の装置。
【請求項27】
前記キーポイント決定モジュールは、前記世界座標系が前記光源座標系である場合、前記顔特徴セットは、前記複数のカメラの内部及び外部パラメータによって、前記第１位置関係を結合するか、又は、前記第２位置関係及び前記第３位置関係を結合して、前記光源座標系における前記光源反射点座標及び前記瞳孔中心座標を決定するための第１決定ユニットと、
前記世界座標系が前記カメラ座標系である場合、前記顔特徴セットは、前記複数のカメラの内部及び外部パラメータによって、前記複数のカメラ座標系における前記光源反射点座標及び前記瞳孔中心座標を決定するための第２決定ユニットと、
前記世界座標系が前記ターゲットオブジェクト座標系である場合、前記顔特徴セットは、前記複数のカメラの内部及び外部パラメータによって、前記第３位置関係を結合するか、又は、前記第１位置関係及び前記第２位置関係を結合して、前記ターゲットオブジェクト座標系における前記光源反射点座標及び前記瞳孔中心座標を決定するための第３決定ユニットとを含むことを特徴とする請求項２５に記載の装置。
【請求項28】
前記視線再構成モジュールは、前記光源反射点座標及び角膜曲率半径に基づいて、角膜曲率中心の座標を決定するための第１再構成ユニットと、
前記瞳孔中心座標及び前記角膜曲率中心の座標に基づいて、前記瞳孔中心と前記角膜曲率中心との連結線の前記視線光軸を決定するための第２再構成ユニットとを含むことを特徴とする請求項２３に記載の装置。
【請求項29】
前記キャリブレーションユニットは、前記複数のカメラの内部及び外部パラメータを結合して、平面鏡及び補助カメラを用いてキャリブレーション情報を伝達してキャリブレーションすることによって、前記幾何学的位置関係を取得するための第１キャリブレーションユニットを含み、ここで、前記第１キャリブレーションユニットは、
第１補助カメラが、前記平面鏡が複数の異なる姿勢で反射した第１マークを含む前記ターゲットオブジェクトの複数枚の第１マーク画像を取得するための第１キャリブレーションサブユニットと、
前記複数のカメラの内部及び外部パラメータを結合して、複数枚の前記第１マーク画像に基づいて、直交制約により前記第３位置関係を算出するための第２キャリブレーションサブユニットと、
立体視システムである第２補助カメラが、前記複数の光源を含む第２マーク画像を取得し、前記複数のカメラの内部及び外部パラメータを結合して、前記第２マーク画像に基づいて前記第１位置関係を取得するための第３キャリブレーションサブユニットと、
前記第１位置関係及び前記第３位置関係に基づいて前記第２位置関係を決定するための第４キャリブレーションサブユニットとを含むことを特徴とする請求項２６に記載の装置。
【請求項30】
前記キャリブレーションユニットは、前記複数のカメラの内部及び外部パラメータを結合して、補助カメラを用いてキャリブレーション情報を伝達してキャリブレーションすることによって、前記幾何学的位置関係を取得するための第２キャリブレーションユニットを含み、ここで、前記第２キャリブレーションユニットは、
立体視システムである第３補助カメラが、前記複数の光源を含む第３マーク画像を取得し、前記複数のカメラの内部及び外部パラメータを結合して、前記第３マーク画像に基づいて前記第１位置関係を取得するための第５キャリブレーションサブユニットと、
第４補助カメラを、その視野に前記複数のカメラ及び前記第３補助カメラが含まれるように設け、前記第３補助カメラの隣にキャリブレーションボードを設け、前記複数のカメラが、前記キャリブレーションボード領域を含む第４マーク画像を採集するとともに、前記第３補助カメラが、第５マークを含む前記ターゲットオブジェクトの第５マーク画像を取得するための第６キャリブレーションサブユニットと、
前記第４補助カメラと前記複数のカメラとの位置関係を姿勢変換ブリッジとし、第３補助カメラ及び前記複数のカメラの内部及び外部パラメータを結合して、前記第４マーク画像及び前記第５マーク画像に基づいて前記第３位置関係を決定するための第７キャリブレーションサブユニットと、
前記第１位置関係及び前記第３位置関係に基づいて前記第２位置関係を決定するための第８キャリブレーションサブユニットとを含むことを特徴とする請求項２６に記載の装置。
【請求項31】
前記キャリブレーションユニットは、前記複数のカメラの内部及び外部パラメータを結合して、平面鏡を用いてキャリブレーション情報を伝達してキャリブレーションすることによって、前記幾何学的位置関係を取得するための第３キャリブレーションユニットを含み、ここで、前記第３キャリブレーションユニットは、
４つ以上のマーク点が貼り付けられた前記平面鏡を補助として用い、前記複数のカメラが、前記複数の光源と前記ターゲットオブジェクトを有し且つ前記マーク点を含む反射画像を取得するための第９キャリブレーションサブユニットと、
前記反射画像に基づき、前記複数のカメラ座標系における各前記マーク点、前記複数の光源及び前記ターゲットオブジェクトのマーク点座標、鏡面光源座標及び鏡面ターゲットオブジェクト座標をそれぞれ算出するための第１０キャリブレーションサブユニットと、
全ての前記マーク点座標に基づいて鏡面平面を再構成し、鏡面反射原理に基づき、前記鏡面光源座標及び前記鏡面ターゲットオブジェクト座標を結合して、前記第１位置関係及び前記第３位置関係を確認するための第１１キャリブレーションサブユニットと、
前記第１位置関係及び前記第３位置関係に基づいて前記第２位置関係を決定するための第１２キャリブレーションサブユニットとを含むことを特徴とする請求項２６に記載の装置。
【請求項32】
前記視線再構成モジュールは、前記ユーザが各予め設定された注視点それぞれを注視する時、１組のサンプル画像を取得するための第３再構成ユニットと、
各組の前記サンプル画像から抽出されたサンプル特徴に基づいて第１補償角度サンプルを決定するための第４再構成ユニットと、
全ての前記第１補償角度サンプルを遍歴し、スクリーニング及び純化により前記補償角度を取得するための第５再構成ユニットとを含むことを特徴とする請求項２３に記載の装置。
【請求項33】
前記視線再構成モジュールは、さらに、採集されたデータに対して、動的補償モデルにより予測視線観測点と実際視線観測点とのバラツキを決定し、前記バラツキに基づいて前記補償角度を取得するための動的補償ユニットを含むことを特徴とする請求項２３に記載の装置。
【請求項34】
前記動的補償ユニットは、前記動的補償モデルを用いる前に前記動的補償モデルを初期化するための初期化サブユニットを含み、ここで、前記初期化サブユニットは、
前記ユーザが各予め設定された初期点それぞれを注視する時、１組の初期サンプル画像を取得するための第１初期化サブユニットと、
各組の前記初期サンプル画像に対して初期サンプル特徴を抽出し、前記初期サンプル特徴に基づいてスモールサンプル学習により初期化して、現在の前記ユーザとマッチングする前記動的補償モデルを取得するための第２初期化サブユニットとを含むことを特徴とする請求項３３に記載の装置。
【請求項35】
前記動的補償ユニットは、前記動的補償モデルをトレーニングするためのトレーニングサブユニットを含み、ここで、前記トレーニングサブユニットは、
複数のユーザが予め設定された校正点をそれぞれ注視する時の複数組のサンプルデータを採集するための第１トレーニングサブユニットと、
前記複数組のサンプルデータをクリーニングし、且つクリーニング後の前記複数組のサンプルに対してトレーニングサンプル特徴を抽出するための第２トレーニングサブユニットと、
前記トレーニングサンプル特徴に基づいてスモールサンプル学習を用いて初期動的補償モデルをトレーニングし、トレーニング後の前記動的補償モデルを取得するための第３トレーニングサブユニットとを含むことを特徴とする請求項３３に記載の装置。
【請求項36】
前記シミュレーションモジュールは、前記予め設定された視点に対して、前記眼球パラメータ、前記補償角度及び前記ハードウェアキャリブレーションパラメータに基づいて、再構成光源結像点及び再構成瞳孔結像点をシミュレーション算出するための第１シミュレーションユニットと、
前記再構成光源結像点及び前記再構成瞳孔結像点に基づいて、前記視線方向追跡方法に基づき、予測視点を決定するための第２シミュレーションユニットと、
前記予め設定された視点と前記予測視点との比較値に基づいて統計分析を行い、分析結果に基づいて検証及び最適化を実施するための第３シミュレーションユニットとを含むことを特徴とする請求項２４に記載の装置。
【請求項37】
前記第１シミュレーションユニットは、前記予め設定された眼球パラメータにおける角膜中心及び前記ハードウェアキャリブレーションパラメータに基づいて光源角膜カメラ角度を決定し、前記光源角膜カメラ角度及び前記予め設定された眼球パラメータにおける角膜曲率半径に基づいて、球面反射原理を結合して再構成光源反射点座標を決定し、前記再構成光源反射点座標に基づいて前記ハードウェアキャリブレーションパラメータを結合して前記再構成光源結像点を算出するための第１シミュレーションサブユニットと、
前記予め設定された視点の座標及び前記予め設定された眼球パラメータにおける角膜中心に基づいて第１視軸を決定し、前記第１視軸及び前記補償角度に基づいて第１光軸を逆推定し、前記第１光軸に基づき、前記予め設定された眼球パラメータの瞳孔角膜中心距離を結合して再構成瞳孔中心座標を決定し、前記瞳孔中心座標に基づいて前記ハードウェアキャリブレーションパラメータを結合して前記再構成瞳孔結像点を算出するための第２シミュレーションサブユニットとを含むことを特徴とする請求項３６に記載の装置。
【請求項38】
前記第３シミュレーションユニットは、前記視線方向追跡方法の実現が正確であるか否かを検証し、外乱を加えることによる視点誤差への影響をテストし、前記複数の光源、前記複数のカメラ及びターゲットオブジェクトの配置方法を決定するための第３シミュレーションサブユニットを含むことを特徴とする請求項３６に記載の装置。
【請求項39】
記憶されたプログラムを含む記憶媒体であって、前記プログラムが実行されると、請求項１から２２のいずれか一項に記載の視線方向追跡方法を実行するように、前記記憶媒体が位置する機器を制御することを特徴とする記憶媒体。
【請求項40】
電子機器であって、プロセッサと、
前記プロセッサの実行可能な指令を記憶するためのメモリとを含み、
前記プロセッサは、前記実行可能な指令を実行させることにより、請求項１から２２のいずれか一項に記載の視線方向追跡方法を実行させるように構成されることを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
（関係出願の相互参照）
本願は、２０２１年８月５日に出願された中国特許出願第２０２１１０８９７２１５．８号の優先権を主張し、上記中国特許出願に開示された内容を本願の一部として本明細書に援用する。
（技術分野）
本発明は、画像処理技術分野に関し、具体的に、視線方向追跡方法及び装置に関する。
本願は、２０２１年８月５日に出願された中国特許出願第２０２１１０８９７２１５．８号の優先権を主張し、上記中国特許出願に開示された内容を本願の一部として本明細書に援用する。
（技術分野）
本発明は、画像処理技術分野に関し、具体的に、視線方向追跡方法及び装置に関する。
【背景技術】
【0002】
関連技術において、運転者の視線方向及び視線の先の位置をリアルタイムに検出することにより、運転支援及び各種製品応用に重要な情報入力を提供することができる。例えば、視線の角度方向は、現在の運転者の観察領域の判断、運転者の注意散漫の危険運転行為の検出などに用いられることができ、視線の先の位置は、現在のユーザの注意ターゲットの判断に用いられることにより、ＡＲ－ＨＵＤシステムの表示位置などを調整することができる。
【0003】
従来の技術において、視線方向追跡方法は、取得された眼を含む画像によって、分析中の眼の特徴に基づいて視線方向及び視点を推定し、上記視線追跡方法は、通常、外観法に基づくものと角膜反射法に基づくものとに分けられる。外観法に基づくものは、一般的に、瞼位置、瞳孔位置、虹彩位置、内側／外側目尻、顔向きなどの特徴を含む眼画像又は顔画像に含まれる外観特徴に依存して視線方向及び視点を推定し、外観に基づく方法は、幾何学的マッピング関係を利用するものではなく、眼画像を高次元空間の点に対応させ、さらに所定の特徴空間の点からスクリーン座標までのマッピング関係を学習するものである。角膜反射法に基づくものは、外観法の一部の画像特徴に加えて、角膜での光源の反射により形成されたプルキンエ像（Purkinje image）に依存して、眼運動特徴によって幾何学的モデルの瞳孔中心から注視校正点までのマッピングを確立するものであり、一般的に、角膜反射法は外観法よりも高い精度を有するため、ほとんど全ての成熟した商業製品はいずれも角膜反射法に基づくが、角膜反射法は、複雑な機器及び正確な校正プロセスも必要とし、普遍的な適用性を有することではない。角膜反射法のハードウェアの製造コストが高く、アルゴリズムの最適化効率が低く、視線推定精度が低いという問題に対して、有効な解決策がまだ提案されていない。
【発明の概要】
【0004】
本発明の実施例は、少なくとも視線追跡ハードウェアのコストが高く、アルゴリズムの最適化効率が低く、推定精度が低いという技術的問題を解決するように、視線方向追跡方法及び装置を提供する。
【0005】
本発明の実施例における一態様によれば、複数の光源を用いてユーザの眼に角膜反射を提供し、複数のカメラを用いて上記ユーザの顔を含む画像を撮像することと、顔を含む上記画像から取得された眼特徴セットによって、ハードウェアキャリブレーションパラメータを結合して、世界座標系における光源反射点座標及び瞳孔中心座標を決定することと、上記光源反射点座標及び上記瞳孔中心座標に基づいて視線光軸を決定し、上記視線光軸が補償角度によって視線視軸を再構成することと、上記視線視軸及び上記世界座標系におけるターゲットオブジェクトの位置に基づいて、上記ターゲットオブジェクトにおける視点を決定することとを含む視線方向追跡方法を提供する。
【0006】
選択的に、上記眼特徴セットは、光源結像点と、瞳孔結像点とを含む。
【0007】
選択的に、上記世界座標系は、光源座標系、カメラ座標系、ターゲットオブジェクト座標系のうちのいずれか１つを選択することができる。
【0008】
選択的に、上記方法は、さらに、予め設定された眼球パラメータ、上記補償角度、上記ハードウェアキャリブレーションパラメータ及び予め設定された視点によってシミュレーション検証、分析及び最適化を行う。
【0009】
選択的に、上記複数のカメラ、上記複数の光源及び上記ターゲットオブジェクトは、ユーザを向き、上記複数のカメラの視野に上記複数の光源及び上記ターゲットオブジェクトが含まれない。
【0010】
選択的に、上記ハードウェアキャリブレーションパラメータは、上記複数のカメラ座標系の内部及び外部パラメータと、上記複数の光源座標系と上記複数のカメラ座標系との間の第１位置関係、上記複数の光源座標系と上記ターゲットオブジェクト座標系との間の第２位置関係、及び上記複数のカメラ座標系と上記ターゲットオブジェクト座標系との間の第３位置関係を含む幾何学的位置関係とを含む。
【0011】
選択的に、上記幾何学的位置関係は、上記複数のカメラの内部及び外部パラメータを結合して、平面鏡及び補助カメラのうちの少なくとも１つを用いてキャリブレーション情報を伝達してキャリブレーションすることによって取得される。
【0012】
選択的に、顔を含む上記画像から取得された顔特徴セットによって、ハードウェアキャリブレーションパラメータを結合して、世界座標系における光源反射点座標及び瞳孔中心座標を決定することは、上記世界座標系が上記光源座標系である場合、上記顔特徴セットは、上記複数のカメラの内部及び外部パラメータによって、上記第１位置関係に合わせるか、又は、上記第２位置関係及び上記第３位置関係を結合して、上記光源座標系における上記光源反射点座標及び上記瞳孔中心座標を決定することと、上記世界座標系が上記カメラ座標系である場合、上記顔特徴セットは、上記複数のカメラの内部及び外部パラメータによって、上記複数のカメラ座標系における上記光源反射点座標及び上記瞳孔中心座標を決定することと、上記世界座標系が上記ターゲットオブジェクト座標系である場合、上記顔特徴セットは、上記複数のカメラの内部及び外部パラメータによって、上記第３位置関係に合わせるか、又は、上記第１位置関係及び上記第２位置関係を結合して、上記ターゲットオブジェクト座標系における上記光源反射点座標及び上記瞳孔中心座標を決定することとを含む。
【0013】
選択的に、上記光源反射点座標及び上記瞳孔中心座標に基づいて視線光軸を決定することは、上記光源反射点座標及び角膜曲率半径に基づいて、角膜曲率中心の座標を決定することと、上記瞳孔中心座標及び上記角膜曲率中心の座標に基づいて、上記瞳孔中心と上記角膜曲率中心との連結線の上記視線光軸を決定することとを含む。
【0014】
選択的に、上記幾何学的位置関係は、上記複数のカメラの内部及び外部パラメータを結合して、平面鏡及び補助カメラを用いてキャリブレーション情報を伝達してキャリブレーションすることによって取得されることは、第１補助カメラが、上記平面鏡が複数の異なる姿勢で反射した第１マークを含む上記ターゲットオブジェクトの複数枚の第１マーク画像を取得することと、上記複数のカメラの内部及び外部パラメータを結合して、複数枚の上記第１マーク画像に基づいて、直交制約により上記第３位置関係を算出することと、立体視システムである第２補助カメラが、上記複数の光源を含む第２マーク画像を取得し、上記複数のカメラの内部及び外部パラメータを結合して、上記第２マーク画像に基づいて上記第１位置関係を取得することと、上記第１位置関係及び上記第３位置関係に基づいて上記第２位置関係を決定することと含む。
【0015】
選択的に、上記幾何学的位置関係は、上記複数のカメラの内部及び外部パラメータを結合して、補助カメラを用いてキャリブレーション情報を伝達してキャリブレーションすることによって取得されることは、立体視システムである第３補助カメラが、上記複数の光源を含む第３マーク画像を取得し、上記複数のカメラの内部及び外部パラメータを結合して、上記第３マーク画像に基づいて上記第１位置関係を取得することと、第４補助カメラを、その視野に上記複数のカメラ及び上記第３補助カメラが含まれるように設け、上記第３補助カメラの隣にキャリブレーションボードを設け、上記複数のカメラが、上記キャリブレーションボード領域を含む第４マーク画像を採集するとともに、上記第３補助カメラが、第５マークを含む上記ターゲットオブジェクトの第５マーク画像を取得することと、上記第４補助カメラと上記複数のカメラとの位置関係を姿勢変換ブリッジとし、第３補助カメラ及び上記複数のカメラの内部及び外部パラメータを結合して、上記第４マーク画像及び上記第５マーク画像に基づいて上記第３位置関係を決定することと、上記第１位置関係及び上記第３位置関係に基づいて上記第２位置関係を決定することとを含む。
【0016】
選択的に、上記幾何学的位置関係は、上記複数のカメラの内部及び外部パラメータを結合して、平面鏡を用いてキャリブレーション情報を伝達してキャリブレーションすることによって取得されることは、４つ以上のマーク点が貼り付けられた上記平面鏡を補助として用い、上記複数のカメラが、上記複数の光源と上記ターゲットオブジェクトを有し且つ上記マーク点を含む反射画像を取得することと、上記反射画像に基づき、上記複数のカメラ座標系における各上記マーク点、上記複数の光源及び上記ターゲットオブジェクトのマーク点座標、鏡面光源座標及び鏡面ターゲットオブジェクト座標をそれぞれ算出することと、全ての上記マーク点座標に基づいて鏡面平面を再構成し、鏡面反射原理に基づき、上記鏡面光源座標及び上記鏡面ターゲットオブジェクト座標を結合して、上記第１位置関係及び上記第３位置関係を確認することと、上記第１位置関係及び上記第３位置関係に基づいて上記第２位置関係を決定することとを含む。
【0017】
選択的に、上記視線光軸が補償角度によって視線視軸を再構成する前に、上記方法は、上記ユーザが各予め設定された注視点それぞれを注視する時、１組のサンプル画像を取得することと、各組の上記サンプル画像から抽出されたサンプル特徴に基づいて第１補償角度サンプルを決定することと、全ての上記第１補償角度サンプルを遍歴し、スクリーニング及び純化により上記補償角度を取得することとをさらに含む。
【0018】
選択的に、各組の上記サンプル画像から抽出されたサンプル特徴に基づいて第１補償角度サンプルを決定することは、各組の上記サンプル画像に対してサンプル特徴を抽出し、上記サンプル特徴に基づいて第１視線光軸を再構成することと、上記予め設定された注視点の実座標に基づいて第１視線視軸を逆推定することと、上記第１視線光軸及び上記第１視線視軸に基づいて、上記第１補償角度サンプルを取得することとを含む。
【0019】
選択的に、全ての上記第１補償角度サンプルを遍歴し、スクリーニング及び純化により上記補償角度を取得することは、全ての上記第１補償角度サンプルの中心点を求め、第１閾値範囲内にないサンプルをスクリーニングして除去することと、現在の中心点と前回の中心点との差が第２閾値より低くなるまで、スクリーニング及び純化して残った全てのサンプルを遍歴し続け、純化後の全てのサンプルから上記補償角度を取得することとを含む。
【0020】
選択的に、上記視線光軸が補償角度によって視線視軸を再構成する前に、上記方法は、採集されたデータに対して、動的補償モデルにより予測視線観測点と実際視線観測点とのバラツキを決定し、上記バラツキに基づいて上記補償角度を取得することをさらに含む。
【0021】
選択的に、上記動的補償モデルを用いる前に上記動的補償モデルを初期化することは、上記ユーザが各予め設定された初期点それぞれを注視する時、１組の初期サンプル画像を取得することと、各組の上記初期サンプル画像に対し初期サンプル特徴を抽出し、上記初期サンプル特徴に基づいてスモールサンプル学習により初期化して、現在の上記ユーザとマッチングする上記動的補償モデルを取得することとを含む。
【0022】
選択的に、上記動的補償モデルをトレーニングすることは、複数のユーザが予め設定された校正点をそれぞれ注視する時の複数組のサンプルデータを採集することと、上記複数組のサンプルデータをクリーニングし、且つクリーニング後の上記複数組のサンプルに対してトレーニングサンプル特徴を抽出することと、上記トレーニングサンプル特徴に基づいてスモールサンプル学習を用いて初期動的補償モデルをトレーニングし、トレーニング後の上記動的補償モデルを取得することとを含む。
【0023】
選択的に、上記の、予め設定された眼球パラメータ、上記補償角度、上記ハードウェアキャリブレーションパラメータ及び予め設定された視点によってシミュレーション検証、分析及び最適化を行うことは、上記予め設定された視点に対して、上記眼球パラメータ、上記補償角度及び上記ハードウェアキャリブレーションパラメータに基づいて、再構成光源結像点及び再構成瞳孔結像点をシミュレーション算出することと、上記再構成光源結像点及び上記再構成瞳孔結像点に基づいて、上記視線方向追跡方法に基づき、予測視点を決定することと、上記予め設定された視点と上記予測視点との比較値に基づいて統計分析を行い、分析結果に基づいて検証及び最適化を実施することとを含む。
【0024】
選択的に、上記予め設定された視点に対して、上記予め設定された眼球パラメータ、上記補償角度及び上記ハードウェアキャリブレーションパラメータに基づいて、再構成光源結像点及び再構成瞳孔結像点をシミュレーション算出することは、上記予め設定された眼球パラメータにおける角膜中心及び上記ハードウェアキャリブレーションパラメータに基づいて光源角膜カメラ角度を決定し、上記光源角膜カメラ角度及び上記予め設定された眼球パラメータにおける角膜曲率半径に基づいて、球面反射原理を結合して再構成光源反射点座標を決定し、上記再構成光源反射点座標に基づいて上記ハードウェアキャリブレーションパラメータを結合して上記再構成光源結像点を算出することと、上記予め設定された視点の座標及び上記予め設定された眼球パラメータにおける角膜中心に基づいて第１視軸を決定し、上記第１視軸及び上記補償角度に基づいて第１光軸を逆推定し、上記第１光軸に基づき、上記予め設定された眼球パラメータの瞳孔角膜中心距離を結合して再構成瞳孔中心座標を決定し、上記瞳孔中心座標に基づいて上記ハードウェアキャリブレーションパラメータを結合して上記再構成瞳孔結像点を算出することとを含む。
【0025】
選択的に、上記予め設定された視点は、複数種類の視線角度追跡をシミュレーションするように、複数の異なる位置に、事前に予め設定されるか、又は、ランダムに生成されることができる。
【0026】
選択的に、上記予め設定された視点と上記予測視点に基づいて統計分析を行い、分析結果に基づいて検証及び最適化を実施することは、上記視線方向追跡方法の実現が正確であるか否かを検証し、外乱を加えることによる視点誤差への影響をテストし、上記複数の光源、上記複数のカメラ及びターゲットオブジェクトの配置方法を決定することを含む。
【0027】
本発明の実施例の別の態様によれば、複数の光源を用いてユーザの眼に角膜反射を提供し、複数のカメラを用いて上記ユーザの顔を含む画像を撮像するための採集モジュールと、顔を含む上記画像から取得された眼特徴セットによって、ハードウェアキャリブレーションパラメータを結合して、世界座標系における光源反射点座標及び瞳孔中心座標を決定するためのキーポイント決定モジュールと、上記光源反射点座標及び上記瞳孔中心座標に基づいて視線光軸を決定し、上記視線光軸が補償角度によって視線視軸を再構成するための視線再構成モジュールと、上記視線視軸及び上記世界座標系におけるターゲットオブジェクトの位置に基づいて、上記ターゲットオブジェクトにおける視点を決定するための視点決定モジュールとを含む視線方向追跡装置をさらに提供する。
【0028】
選択的に、上記装置は、予め設定された眼球パラメータ、上記補償角度、上記ハードウェアキャリブレーションパラメータ及び予め設定された視点によってシミュレーション検証、分析及び最適化を行うためのシミュレーションモジュールをさらに含む。
【0029】
選択的に、上記ハードウェアキャリブレーションパラメータは、上記複数のカメラ座標系の内部及び外部パラメータと、上記複数の光源座標系と上記複数のカメラ座標系との間の第１位置関係、上記複数の光源座標系と上記ターゲットオブジェクト座標系との間の第２位置関係、及び上記複数のカメラ座標系と上記ターゲットオブジェクト座標系との間の第３位置関係を含む幾何学的位置関係とを含む。
【0030】
選択的に、上記キーポイント決定モジュールは、上記複数のカメラの内部及び外部パラメータを結合して、平面鏡及び補助カメラのうちの少なくとも１つを用いてキャリブレーション情報を伝達してキャリブレーションすることによって、上記幾何学的位置関係を取得するためのキャリブレーションユニットを含む。
【0031】
選択的に、上記キーポイント決定モジュールは、上記世界座標系が上記光源座標系である場合、上記顔特徴セットは、上記複数のカメラの内部及び外部パラメータによって、上記第１位置関係に合わせるか、又は、上記第２位置関係及び上記第３位置関係を結合して、上記光源座標系における上記光源反射点座標及び上記瞳孔中心座標を決定するための第１決定ユニットと、上記世界座標系が上記カメラ座標系である場合、上記顔特徴セットは、上記複数のカメラの内部及び外部パラメータによって、上記複数のカメラ座標系における上記光源反射点座標及び上記瞳孔中心座標を決定するための第２決定ユニットと、上記世界座標系が上記ターゲットオブジェクト座標系である場合、上記顔特徴セットは、上記複数のカメラの内部及び外部パラメータによって、上記第３位置関係に合わせるか、又は、上記第１位置関係及び上記第２位置関係を結合して、上記ターゲットオブジェクト座標系における上記光源反射点座標及び上記瞳孔中心座標を決定するための第３決定ユニットとを含む。
【0032】
選択的に、上記視線再構成モジュールは、上記光源反射点座標及び角膜曲率半径に基づいて、角膜曲率中心の座標を決定するための第１再構成ユニットと、上記瞳孔中心座標及び上記角膜曲率中心の座標に基づいて、上記瞳孔中心と上記角膜曲率中心との連結線の上記視線光軸を決定するための第２再構成ユニットとを含む。
【0033】
選択的に、上記キャリブレーションユニットは、上記複数のカメラの内部及び外部パラメータを結合して、平面鏡及び補助カメラを用いてキャリブレーション情報を伝達してキャリブレーションすることによって、上記幾何学的位置関係を取得するための第１キャリブレーションユニットを含み、ここで、上記第１キャリブレーションユニットは、第１補助カメラが、上記平面鏡が複数の異なる姿勢で反射した第１マークを含む上記ターゲットオブジェクトの複数枚の第１マーク画像を取得するための第１キャリブレーションサブユニットと、上記複数のカメラの内部及び外部パラメータを結合して、複数枚の上記第１マーク画像に基づいて、直交制約により上記第３位置関係を算出するための第２キャリブレーションサブユニットと、立体視システムである第２補助カメラが、上記複数の光源を含む第２マーク画像を取得し、上記複数のカメラの内部及び外部パラメータを結合して、上記第２マーク画像に基づいて上記第１位置関係を取得するための第３キャリブレーションサブユニットと、上記第１位置関係及び上記第３位置関係に基づいて上記第２位置関係を決定するための第４キャリブレーションサブユニットとを含む。
【0034】
選択的に、上記キャリブレーションユニットは、上記複数のカメラの内部及び外部パラメータを結合して、補助カメラを用いてキャリブレーション情報を伝達してキャリブレーションすることによって、上記幾何学的位置関係を取得するための第２キャリブレーションユニットを含み、ここで、上記第２キャリブレーションユニットは、立体視システムである第３補助カメラが、上記複数の光源を含む第３マーク画像を取得し、上記複数のカメラの内部及び外部パラメータを結合して、上記第３マーク画像に基づいて上記第１位置関係を取得するための第５キャリブレーションサブユニットと、第４補助カメラを、その視野に上記複数のカメラ及び上記第３補助カメラが含まれるように設け、上記第３補助カメラの隣にキャリブレーションボードを設け、上記複数のカメラが、上記キャリブレーションボード領域を含む第４マーク画像を採集するとともに、上記第３補助カメラが、第５マークを含む上記ターゲットオブジェクトの第５マーク画像を取得するための第６キャリブレーションサブユニットと、上記第４補助カメラと上記複数のカメラとの位置関係を姿勢変換ブリッジとし、第３補助カメラ及び上記複数のカメラの内部及び外部パラメータを結合して、上記第４マーク画像及び上記第５マーク画像に基づいて上記第３位置関係を決定するための第７キャリブレーションサブユニットと、上記第１位置関係及び上記第３位置関係に基づいて上記第２位置関係を決定するための第８キャリブレーションサブユニットとを含む。
【0035】
選択的に、上記キャリブレーションユニットは、上記複数のカメラの内部及び外部パラメータを結合して、平面鏡を用いてキャリブレーション情報を伝達してキャリブレーションすることによって、上記幾何学的位置関係を取得するための第３キャリブレーションユニットを含み、ここで、上記第３キャリブレーションユニットは、４つ以上のマーク点が貼り付けられた上記平面鏡を補助として用い、上記複数のカメラが、上記複数の光源と上記ターゲットオブジェクトを有し且つ上記マーク点を含む反射画像を取得するための第９キャリブレーションサブユニットと、上記反射画像に基づき、上記複数のカメラ座標系における各上記マーク点、上記複数の光源及び上記ターゲットオブジェクトのマーク点座標、鏡面光源座標及び鏡面ターゲットオブジェクト座標をそれぞれ算出するための第１０キャリブレーションサブユニットと、全ての上記マーク点座標に基づいて鏡面平面を再構成し、鏡面反射原理に基づき、上記鏡面光源座標及び上記鏡面ターゲットオブジェクト座標を結合して、上記第１位置関係及び上記第３位置関係を確認するための第１１キャリブレーションサブユニットと、上記第１位置関係及び上記第３位置関係に基づいて上記第２位置関係を決定するための第１２キャリブレーションサブユニットとを含む。
【0036】
選択的に、上記視線再構成モジュールは、上記ユーザが各予め設定された注視点それぞれを注視する時、１組のサンプル画像を取得するための第３再構成ユニットと、各組の上記サンプル画像から抽出されたサンプル特徴に基づいて第１補償角度サンプルを決定するための第４再構成ユニットと、全ての上記第１補償角度サンプルを遍歴し、スクリーニング及び純化により上記補償角度を取得するための第５再構成ユニットとを含む。
【0037】
選択的に、上記視線再構成モジュールは、採集されたデータに対して、動的補償モデルにより予測視線観測点と実際視線観測点とのバラツキを決定し、上記バラツキに基づいて上記補償角度を取得するための動的補償ユニットをさらに含む。
【0038】
選択的に、上記動的補償ユニットは、上記動的補償モデルを用いる前に上記動的補償モデルを初期化するための初期化サブユニットを含み、ここで、上記初期化サブユニットは、上記ユーザが各予め設定された初期点それぞれを注視する時、１組の初期サンプル画像を取得するための第１初期化サブユニットと、各組の上記初期サンプル画像に対し初期サンプル特徴を抽出し、上記初期サンプル特徴に基づいてスモールサンプル学習により初期化して、現在の上記ユーザとマッチングする上記動的補償モデルを取得するための第２初期化サブユニットとを含む。
【0039】
選択的に、上記動的補償ユニットは、上記動的補償モデルをトレーニングするためのトレーニングサブユニットを含み、ここで、上記トレーニングサブユニットは、複数のユーザが予め設定された校正点をそれぞれ注視する時の複数組のサンプルデータを採集するための第１トレーニングサブユニットと、上記複数組のサンプルデータをクリーニングし、且つクリーニング後の上記複数組のサンプルに対してトレーニングサンプル特徴を抽出するための第２トレーニングサブユニットと、上記トレーニングサンプル特徴に基づいてスモールサンプル学習を用いて初期動的補償モデルをトレーニングし、トレーニング後の上記動的補償モデルを取得するための第３トレーニングサブユニットとを含む。
【0040】
選択的に、上記シミュレーションモジュールは、上記予め設定された視点に対して、上記眼球パラメータ、上記補償角度及び上記ハードウェアキャリブレーションパラメータに基づいて、再構成光源結像点及び再構成瞳孔結像点をシミュレーション算出するための第１シミュレーションユニットと、上記再構成光源結像点及び上記再構成瞳孔結像点に基づいて、上記視線方向追跡方法に基づき、予測視点を決定するための第２シミュレーションユニットと、上記予め設定された視点と上記予測視点との比較値に基づいて統計分析を行い、分析結果に基づいて検証及び最適化を実施するための第３シミュレーションユニットとを含む。
【0041】
選択的に、上記第１シミュレーションユニットは、上記予め設定された眼球パラメータにおける角膜中心及び上記ハードウェアキャリブレーションパラメータに基づいて光源角膜カメラ角度を決定し、上記光源角膜カメラ角度及び上記予め設定された眼球パラメータにおける角膜曲率半径に基づいて、球面反射原理を結合して再構成光源反射点座標を決定し、上記再構成光源反射点座標に基づいて上記ハードウェアキャリブレーションパラメータを結合して上記再構成光源結像点を算出するための第１シミュレーションサブユニットと、上記予め設定された視点の座標及び上記予め設定された眼球パラメータにおける角膜中心に基づいて第１視軸を決定し、上記第１視軸及び上記補償角度に基づいて第１光軸を逆推定し、上記第１光軸に基づき、上記予め設定された眼球パラメータの瞳孔角膜中心距離を結合して再構成瞳孔中心座標を決定し、上記瞳孔中心座標に基づいて上記ハードウェアキャリブレーションパラメータを結合して上記再構成瞳孔結像点を算出するための第２シミュレーションサブユニットとを含む。
【0042】
選択的に、上記第３シミュレーションユニットは、上記視線方向追跡方法の実現が正確であるか否かを検証し、外乱を加えることによる視点誤差への影響をテストし、上記複数の光源、上記複数のカメラ及びターゲットオブジェクトの配置方法を決定するための第３シミュレーションサブユニットを含む。
【0043】
本発明の実施例の別の態様によれば、記憶されたプログラムを含む記憶媒体であって、上記プログラムが実行されると、請求項１から２２のいずれか一項に記載の視線方向追跡方法を実行するように、上記記憶媒体が位置する機器を制御する記憶媒体をさらに提供する。
【0044】
本発明の実施例の別の態様によれば、プロセッサと、上記プロセッサの実行可能な指令を記憶するためのメモリとを含む電子機器であって、上記プロセッサは、上記実行可能な指令を実行させることにより、請求項１から２２のいずれか一項に記載の視線方向追跡方法を実行させるように構成される電子機器をさらに提供する。
【0045】
本発明の実施例において、複数の光源を用いてユーザの眼に角膜反射を提供し、複数のカメラを用いて上記ユーザの顔を含む画像を撮像することと、顔を含む上記画像から取得された眼特徴セットによって、ハードウェアキャリブレーションパラメータを結合して、世界座標系における光源反射点座標及び瞳孔中心座標を決定することと、上記光源反射点座標及び上記瞳孔中心座標に基づいて視線光軸を決定し、上記視線光軸が補償角度によって視線視軸を再構成することと、上記視線視軸及び上記世界座標系におけるターゲットオブジェクトの位置に基づいて、上記ターゲットオブジェクトにおける視点を決定することとを実行することによって、本発明の実施例において、視線追跡ハードウェアのコストが高く、アルゴリズムの最適化効率が低く、推定精度が低いという技術的問題を解決する。
【図面の簡単な説明】
【0046】
ここで説明される図面は、本発明のさらなる理解を提供するためのものであり、本願の一部を構成し、本発明の模式的な実施例及びその説明は、本発明を解釈するためのものであり、本発明を不適切に限定するものではない。図面は以下のとおりである。
【図1】本発明の実施例による選択的な視線方向追跡方法のフローチャートである。
【図2】本発明の実施例による選択的な視線追跡方法の応用シーン図である。
【図3】本発明の実施例による選択的な視線追跡システムの設置模式図である。
【図4】本発明の実施例による選択的なキャリブレーションシーン図である。
【図5】本発明の実施例による選択的なキャリブレーション方法のフローチャートである。
【図6】本発明の実施例による別の選択的なキャリブレーションシーン図である。
【図7】本発明の実施例による別の選択的なキャリブレーション方法のフローチャートである。
【図8】本発明の実施例による別の選択的なキャリブレーションシーン図である。
【図9】本発明の実施例による別の選択的なキャリブレーション方法のフローチャートである。
【図10】本発明の実施例による選択的な再構成光源反射点方法の原理図である。
【図11】本発明の実施例による選択的な視線方向追跡装置の構造ブロック図である。
【図12】本発明の実施例による別の選択的な視線方向追跡装置の構造ブロック図である。
【発明を実施するための形態】
【0047】
以下、当業者が本発明の技術案をよりよく理解するために、本発明の実施例における図面を参照しながら本発明の実施例における技術案を明確且つ完全に説明し、説明される実施例は、本発明の一部の実施例に過ぎず、全ての実施例ではないことが明らかである。本発明における実施例に基づき、当業者が創造的な労力を払うことなく得られた全ての他の実施例は、いずれも本発明の保護範囲に属するべきである。
【0048】
なお、本発明の明細書、特許請求の範囲及び上記図面における「第１」、「第２」等の用語は、類似するオブジェクトを区別するためのものであり、必ずしも特定の順序又は優先順位を説明するためのものではない。ここで説明される本発明の実施例がここで図示又は説明されるもの以外の順序でも実施できるように、このように使用されるデータは、適切な状況で入れ替えられてもよいことが理解されたい。また、「含む」、「有する」という用語及びそれらの任意の変形は、非排他的な「含む」をカバーすることを意図するものであり、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、必ずしも明確に列挙されたそれらのステップ又はユニットに限定されず、明確に列挙されていないもの又はこれらのプロセス、方法、製品又は機器に固有の他のステップ又はユニットを含んでもよい。
【0049】
本発明の実施例によれば、視線方向追跡方法の実施例を提供し、なお、図面のフローチャートに示されるステップは、例えば１組のコンピュータ実行可能な指令を含むコンピュータシステムで実行されてもよく、且つ、フローチャートに論理的順序が示されているが、ある場合には、示される又は説明されるステップがここでのものと異なる順序で実行されてもよい。
【0050】
本発明の実施例は、透明Ａピラー、視線追跡による画面オン、ヘッドアップディスプレイシステムなどの応用製品を含む様々な応用シーンに適用できる視線方向追跡方法を提供し、本発明の実施例は、ハードウェアのコストが低く、処理精度が高く、処理速度が速く、リアルタイム可能であり、大多数の実際の使用シーンに適用できる視線方向追跡方法を提案した。
【0051】
以下、本発明を詳細な実施例により説明する。
【0052】
【0053】
Ｓ１００：複数の光源を用いてユーザの眼に角膜反射を提供し、複数のカメラを用いて上記ユーザの顔を含む画像を撮像する。
【0054】
Ｓ２００：顔を含む画像から取得された眼特徴セットによって、ハードウェアキャリブレーションパラメータを結合して、世界座標系における光源反射点座標及び瞳孔中心座標を決定する。
【0055】
Ｓ３００：光源反射点座標及び瞳孔中心座標に基づいて視線光軸を決定し、視線光軸が補償角度によって視線視軸を再構成する。
【0056】
Ｓ４００：上記視線視軸及び上記世界座標系におけるターゲットオブジェクトの位置に基づいて、上記ターゲットオブジェクトにおける視点を決定する。
【0057】
本発明の実施例において、複数の光源を用いてユーザの眼に角膜反射を提供し、複数のカメラを用いて上記ユーザの顔を含む画像を撮像し、顔を含む画像から取得された眼特徴セットによって、ハードウェアキャリブレーションパラメータを結合して、世界座標系における光源反射点座標及び瞳孔中心座標を決定し、光源反射点座標及び瞳孔中心座標に基づいて視線光軸を決定し、視線光軸が補償角度によって視線視軸を再構成し、上記眼特徴セット及び上記幾何学的位置関係に基づいて視線光軸を決定し、上記視線光軸は、補償角度によって視線視軸を再構成し、上記視線視軸及び上記世界座標系におけるターゲットオブジェクトの位置に基づいて、上記ターゲットオブジェクトにおける視点を決定する。上記ステップにより、視線追跡ハードウェアのコストが高く、アルゴリズムの最適化効率が低く、推定精度が低いという技術的問題を解決する。
【0058】
以下、上記各実施ステップを参照しながら詳細に説明する。
【0059】
Ｓ１００：複数の光源を用いてユーザの眼に角膜反射を提供し、複数のカメラを用いて上記ユーザの顔を含む画像を撮像する。
【0060】
具体的に、ユーザがターゲットオブジェクトを注視し、複数の光源を用いてユーザの眼に赤外線光源を発光させ、複数のカメラを用いて瞳孔結像点及び赤外線光源が角膜で反射されて得られた光源反射点の位置を含む画像をリアルタイムに撮像することができる。複数のカメラを用いることにより、ユーザがシーンを注視する時の顔の画像をリアルタイムに撮像することができ、上記ユーザの顔の画像は、ユーザの顔領域のみを含む画像を指すものではなく、撮像された画像にユーザの顔領域の画像が含まれていればよい。後続の特徴検出及び特徴抽出の精度を向上させるために、複数のカメラがユーザの顔の画像を撮像する時、鮮明な顔特徴を含む顔の画像を取得するように、ユーザの顔領域を重点的に採集してもよい。ユーザが注視するターゲットは、例えばスクリーン、ディスプレイ及びヘッドマウントディスプレイなどの画像コンテンツ、文字コンテンツを出力するためのスクリーンとしての表示機器であってもよく、例えばフロントガラスなどの非表示機器であってもよい。
【0061】
図２は、本発明の実施例による選択的な視線追跡方法の応用シーン図である。図２に示すように、当該視線追跡方法の応用シーンは、ネットワークを介して通信する視線追跡システム１０及び端末プロセッサ３０を含み、ここで、視線追跡システム１０は、カメラ１０ａ及び光源１０ｂを含む。ユーザがターゲットオブジェクト２０を注視する時、光源１０ｂはユーザの眼へ出射される赤外線光源を生成し、カメラ１０ａはユーザの眼を含む画像を撮像し、上記眼の画像は瞳孔結像点及び光源結像点を含む。ターゲットオブジェクト２０は、例えばスクリーン、ディスプレイ及びヘッドマウントディスプレイなどの画像コンテンツ、文字コンテンツを出力するためのスクリーンとしての表示機器であってもよく、例えばフロントガラスなどの非表示機器であってもよい。
【0062】
従来の技術から分かるように、眼球モデルのパラメータが未知である場合、デュアルカメラ－デュアル光源は、角膜中心を求める最小システムであり、視線追跡を実現する最小システムでもあり、眼球モデルのパラメータが既知である場合、シングルカメラ－デュアル光源は、角膜中心を求める最小システムであり、視線追跡を実現する最小システムでもある。本発明は、異なるユーザの使用に適用され、異なるユーザの眼球モデルのパラメータは未知であり、それぞれ異なるため、複数のカメラ１０ａは、少なくとも２つのカメラを含み、複数の光源１０ｂは、少なくとも２つの光源を含み、応用シーンにターゲットオブジェクトが含まれる。
【0063】
１つの選択的な実施例において、複数のカメラ、複数の光源及びターゲットオブジェクトはユーザを向き、且つ複数のカメラの視野に複数の光源及び上記ターゲットオブジェクトが含まれない。実際の視線追跡システムにおいて、上記複数の光源、上記複数のカメラ及び上記ターゲットオブジェクトを同じ側に配置し、ここで、本発明は、カメラ、光源及びターゲットオブジェクトの具体的な個数、並びに機器間の具体的な配列方式及び位置を限定しない。上記視線追跡システムにおける複数の光源、複数のカメラ及びターゲットオブジェクト同士の位置関係は、予め設定されてもよく、キャリブレーションにより取得されてもよい。
【0064】
端末プロセッサ３０は、顔を含む画像を取得し、顔を含む画像に対して検出及び特徴抽出を行い、ターゲットオブジェクト２０の３次元座標系における眼画像内の瞳孔結像点及び光源結像点の座標を決定することを含む眼特徴セットを取得する。端末プロセッサ３０は、入力された眼特徴セットに基づいて視線光軸を決定し、補償角度によって視線視軸を再構成し、最後に視線視軸及び幾何学的位置関係に基づいてユーザの視点を決定する。端末プロセッサ３０は、固定端末又は移動端末であってもよく、移動端末は、ノートパソコン、タブレットコンピュータ、携帯電話及び車載機器などのうちの少なくとも１つを含んでもよい。
【0065】
Ｓ２００：顔を含む上記画像から取得された眼特徴セットによって、ハードウェアキャリブレーションパラメータを結合して、世界座標系における光源反射点座標及び瞳孔中心座標を決定する。
【0066】
顔を含む上記画像に対して検出及び特徴抽出を行い、眼特徴セットを取得する。１つの選択的な実施例において、上記眼特徴セットは、光源結像点と、瞳孔結像点とを含む。本実施例は、従来の技術を利用して顔を含む画像に対する検出及び特徴抽出を実現し、本願は、眼特徴セットを取得する具体的な技術を限定せず、伝統的な画像処理方法及び深層学習に基づく画像処理方法等を利用してもよい。
【0067】
１つの選択的な実施例において、上記ハードウェアキャリブレーションパラメータは、複数のカメラ座標系の内部及び外部パラメータと、複数の光源座標系と複数のカメラ座標系との間の第１位置関係、複数の光源座標系とターゲットオブジェクト座標系との間の第２位置関係、及び複数のカメラ座標系とターゲットオブジェクト座標系との間の第３位置関係を含む幾何学的位置関係とを含む。また、幾何学的位置関係における任意の２種類の位置関係を取得した場合、空間変換関係及び既知の２種類の位置関係によって残りの１種類の位置関係を決定することができる。ハードウェアキャリブレーションパラメータにより、任意の画素座標と世界座標系とのマッピング関係、任意のハードウェアが位置する座標系と世界座標系とのマッピング関係を取得することができる。
【0068】
角膜瞳孔反射に基づく視線光軸決定方法において、眼特徴セットに基づいて世界座標系における光源反射点座標及び瞳孔中心座標を決定するには、同一世界座標系における複数のカメラ及び複数の光源の位置を結合する必要があり、ハードウェアキャリブレーションパラメータに含まれるマッピング関係に基づいて世界座標系における複数の光源及び複数のカメラの位置をそれぞれ決定することができる。
【0069】
また、光源反射点は、光源中心から発光された光線の角膜表面での反射点である。光源結像点は、採集されたユーザの顔を含む画像における光源反射点の結像である。瞳孔中心は、瞳孔領域の中心点である。瞳孔結像点は、瞳孔中心が角膜で屈折された瞳孔屈折点の、採集されたユーザの顔を含む画像における結像である。眼の角膜を球体としてモデリングし、角膜曲率中心は当該球体の球体中心であり、角膜の半径は角膜曲率中心から角膜球体の表面までの距離であり、光軸方向は瞳孔中心と角膜曲率中心との連結線の方向である。同様に、人間の眼球も眼球中心としてモデリングすることができ、眼球中心は当該眼球の球体中心であり、且つ眼球中心も光軸上に位置する。光学的原理に基づき、光源の位置及び光源結像点を結合して角膜曲率半径を取得することができる。
【0070】
光源結像点は、採集されたユーザの顔を含む画像における光源反射点の結像であり、カメラ結像原理に従って、画像を採集する複数のカメラの位置座標及び内部及び外部パラメータを結合して、世界座標系における光源反射点の座標を決定する。なお、光源は１つでも複数でもよい。複数の光源がいずれも動作する場合、各光源がいずれも対応する光源反射点を含むと、世界座標系における各光源の座標を決定する方法は上述したものと一致する。同様に、瞳孔結像点は、瞳孔中心が角膜で屈折された瞳孔屈折点の、採集されたユーザの顔を含む画像における結像であり、カメラ結像原理に従って、画像を採集するカメラの位置座標及び内部及び外部パラメータを結合して、世界座標系における瞳孔中心の座標を決定する。
【0071】
１つの選択的な実施例において、上記世界座標系は、光源座標系、カメラ座標系、ターゲットオブジェクト座標系のうちのいずれか１つを選択してもよい。即ち、当該世界座標系は、指定された任意の１つの光源、任意の１つのカメラ又はターゲットオブジェクトの立体座標系であってもよい。
【0072】
以上から分かるように、ハードウェアキャリブレーションパラメータにより、任意の画素座標と世界座標系とのマッピング関係、任意のハードウェアが位置する座標系と世界座標系とのマッピング関係を取得することができる。顔特徴セットは画素座標系における２次元情報であり、上記任意の画素座標と世界座標系とのマッピング関係により、世界座標系における光源反射点座標及び瞳孔中心座標を取得することができ、且つ指定された世界座標系が異なることに応じて、以下のいくつかの場合がある。
【0073】
１つの選択的な実施例において、顔を含む上記画像から取得された顔特徴セットによって、ハードウェアキャリブレーションパラメータを結合して、世界座標系における光源反射点座標及び瞳孔中心座標を決定することは、
【0074】
上記世界座標系が上記光源座標系である場合、上記顔特徴セットは、上記複数のカメラの内部及び外部パラメータによって、上記第１位置関係を結合するか、又は、上記第２位置関係及び上記第３位置関係を結合して、上記光源座標系における上記光源反射点座標及び上記瞳孔中心座標を決定することと、
【0075】
上記世界座標系が上記カメラ座標系である場合、上記顔特徴セットは、上記複数のカメラの内部及び外部パラメータによって、上記複数のカメラ座標系における上記光源反射点座標及び上記瞳孔中心座標を決定することと、
【0076】
上記世界座標系が上記ターゲットオブジェクト座標系である場合、上記顔特徴セットは、上記複数のカメラの内部及び外部パラメータによって、上記第３位置関係を結合してか、又は、上記第１位置関係及び上記第２位置関係を結合して、上記ターゲットオブジェクト座標系における上記光源反射点座標及び上記瞳孔中心座標を決定することとを含む。
【0077】
さらに、本願は、複数のカメラの内部及び外部パラメータの決定方法を限定せず、予め設定された工場出荷パラメータによって取得してもよく、キャリブレーションにより複数のカメラの内部及び外部パラメータを取得してもよく、本願は、同様に、複数のカメラの内部及び外部パラメータのキャリブレーション方法を限定せず、例えば、キャリブレーションボードを用いて複数のカメラの内部及び外部パラメータをキャリブレーションする。
【0078】
１つの選択的な実施例において、幾何学的位置関係は、複数のカメラの内部及び外部パラメータを結合して、平面鏡及び補助カメラのうちの少なくとも１つを用いてキャリブレーション情報を伝達してキャリブレーションすることによって取得される。
【0079】
複数のカメラの視野に複数の光源及び上記ターゲットオブジェクトが含まれないため、平面鏡及び補助カメラのうちの少なくとも１つを用いてキャリブレーション情報を伝達し、キャリブレーション情報に基づいて幾何学的位置関係を求める。
【0080】
具体的に、キャリブレーションプロセスは、複数のカメラ、複数の光源及びターゲットオブジェクトの幾何学的位置関係を取得することを目的とするが、本実施例において、反射光路に存在する制限により、視線追跡システムに含まれる複数の光源、複数のカメラ及びターゲットオブジェクトが同じ側に配置されるため、カメラはターゲットオブジェクトを直接観察することができなくなったり、ターゲットオブジェクトの一部しか観察できず、本願は、複数のカメラの内部及び外部パラメータを結合して、平面鏡及び補助カメラのうちの少なくとも１つを用いてキャリブレーション情報を伝達してキャリブレーションすることによって、幾何学的位置関係を取得する。
【0081】
図３は、本発明の実施例による選択的な視線追跡システムの設置模式図であり、視線追跡システムは、２つのカメラが外側にあり、２つの光源が内側にあるように設けられる。図３に示すように、視線追跡システム１００は、カメラ１１０及び１１６と、光源１１２及び１１４とを含み、光源は、ユーザ１０５の眼に光線を発光させて角膜反射を提供する。カメラは、ユーザ１０５の顔を含む画像を撮像する。視線追跡システム１００は、光源が内側にあり、カメラが外側にある配列方式を採用し、本発明は、カメラ及び光源の具体的な配列方式を限定せず、例えば、さらに、カメラが内側にあり、光源が外側にある配列、又はカメラと光源が間隔をあけて置く配列方式を採用してもよい。カメラ及び光源は、それぞれ雲台１０３、１０４、１０１及び１０２に固定され、雲台は各部材の水平及び垂直方向を調整することができる。固定された部材は、ベース１０７に取り付けられ、且つ部材間の距離は、その固定位置を調整することにより実現される。本実施例において、ターゲットオブジェクトを、キャリブレーションマークを表示するためのディスプレイ１０６として配置する。
【0082】
本願の例示的な実施例において、３種類の実行可能なキャリブレーション方法を提供し、図３に示す視線追跡システムを例としてキャリブレーション方法を説明する。
【0083】
キャリブレーション方法１
【0084】
図４は、本発明の実施例による選択的なキャリブレーションシーン図である。図４に示すように、ディスプレイ１０６の前側に平面鏡３２０が置かれ、ディスプレイ１０６の上方に第１補助カメラ３１８が固定され、視線追跡システムの前方に第２補助カメラが設けられ、第２補助カメラは、立体視システムであり、カメラ３２２及び３２４を含み、ディスプレイ１０６は第１マークを表示する。補助カメラ３１８は、平面鏡３２０におけるディスプレイ１０６が投影した全ての第１マーク画像を取得し、立体視システムの視野に、全てのカメラ及び光源が含まれる。
【0085】
図５は、本発明の実施例による選択的なキャリブレーション方法のフローチャートである。図５に示すように、１つの選択的な実施例において、複数のカメラの内部及び外部パラメータを結合して、平面鏡及び補助カメラを用いてキャリブレーション情報を伝達し、幾何学的位置関係を取得するステップは、以下のステップを含んでもよい。
【0086】
Ｓ３１０：第１補助カメラが、平面鏡が複数の異なる姿勢で第１マークを含む上記ターゲットオブジェクトを反射した複数枚の第１マーク画像を取得する。
【0087】
具体的に、平面鏡３２０は、鏡面における第１マークの虚像が補助カメラ３１８の視野にあるように、複数の異なる姿勢で反射し、ここで、平面鏡の複数の姿勢の個数は、少なくとも３つであり、且つ平面鏡が位置する平面は、異なる姿勢で互いに平行ではない。
【0088】
Ｓ３１１：複数のカメラの内部及び外部パラメータを結合して、複数枚の第１マーク画像に基づいて、直交制約により第３位置関係を算出する。
【0089】
具体的に、複数のカメラの内部及び外部パラメータは、カメラ、第１補助カメラ及び第２補助カメラの内部及び外部パラメータを含み、本実施例は、従来の技術を利用してマルチカメラに対するキャリブレーションを実現し、マルチカメラの内部及び外部パラメータをキャリブレーションする具体的な技術は限定しない。
【0090】
上記複数枚の第１マーク画像に基づいて、平面鏡の鏡面反射原理を結合して、補助カメラに対する全ての第１マーク点の相対位置を復帰させる。異なる位置姿勢の平面鏡がマーク点を反射した像を採用すれば、固定されたディスプレイに対して異なる第１補助カメラ座標系を提供する。全ての第１マーク画像に対して、Ｐ３Ｐで複数の候補ミラーを求めて、第１マーク点と組み合わせ、鏡面点に存在する直交制約に合わせて１つの最終的な組み合わせをスクリーニングし、上記直交制約は、補助カメラ座標系において、任意の２つの異なる鏡面の軸ベクトルと、同一マーク点の対応する鏡面での投影座標の差分ベクトルとは直交するものである。最終的な組み合わせに基づいて補助カメラに対する全ての第１マーク点の相対位置を復帰させ、さらに、上記キャリブレーションを結合して、複数のカメラの内部及び外部パラメータ結果を取得し、複数のカメラとディスプレイとの間の位置関係、即ち第３位置関係を算出する。
【0091】
Ｓ３１２：立体視システムである第２補助カメラが、複数の光源を含む第２マーク画像を取得し、複数のカメラの内部及び外部パラメータを結合して、第２マーク画像に基づいて第１位置関係を取得する。
【0092】
第２補助カメラは立体視システムであり、且つ立体視システムの視野に全てのカメラ及び光源が含まれ、立体視システムによって全ての光源を含む第２マーク画像を採集して処理し、立体視システムによって採集されたデータは３次元情報を含むため、第２マーク画像に基づいて立体視システムにおける各光源の位置姿勢を決定し、さらに、複数のカメラの内部及び外部パラメータを結合して、複数の光源と複数のカメラとの間の位置関係、即ち第１位置関係を決定する。
【0093】
Ｓ３１３：第１位置関係及び第３位置関係に基づいて第２位置関係を決定する。
【0094】
上記ステップにより、高正確度及び高ロバスト性を有するキャリブレーション結果を取得することができる。平面鏡によってターゲットオブジェクトを反射結像し、確立されたターゲットオブジェクトとそれの平面鏡における虚像との位置姿勢関係から、直交制約によりシステムの位置姿勢関係を求めて決定する。平面鏡の位置を複数回変更する必要があるため、カメラは、鏡面反射された画像を複数枚採集する必要があり、且つ平面鏡の移動は、予め設定された条件を満たすことを必要とし、操作が複雑で、効率が低く、また、上記鏡面キャリブレーション法において直交制約により線形的に求めたものは、通常ノイズに敏感であり、システムの位置関係のキャリブレーション結果の精度は、平面鏡からカメラまでの距離及び平面鏡の回転角度のいずれにも関係がある。
【0095】
キャリブレーション方法２は、複数の補助カメラを導入し、平面鏡の位置を複数回変更することを回避し、複数の補助カメラを変換ブリッジとし、姿勢変換により最終的な幾何学的位置関係を決定する。
【0096】
キャリブレーション方法２
【0097】
図６は、本発明の実施例による別の選択的なキャリブレーションシーン図である。図６に示すように、ディスプレイ１０６の前側に平面鏡３２０が置かれ、視線追跡システムの前方に第３補助カメラが設けられ、第３補助カメラは立体視システムであり、カメラ４２２及び４２４を含み、第３補助カメラの隣にキャリブレーションボード４２８が設けられ、カメラ１１０及び１１６の視野にキャリブレーションボード領域が含まれ、ディスプレイ１０６は第４マーク画像を表示し、第４補助カメラ４２６を、その視野にカメラ及び第３補助カメラが含まれるように設け、立体視システムの視野に、全てのカメラ、光源及び第５マークを含むディスプレイが含まれる。
【0098】
図７は、本発明の実施例による別の選択的なキャリブレーション方法のフローチャートである。１つの選択的な実施例において、上記複数のカメラの内部及び外部パラメータに合わせて、補助カメラを用いてキャリブレーション情報を伝達し、上記幾何学的位置関係を取得するステップは、以下のステップを含んでもよい。
【0099】
Ｓ３２０：立体視システムである第３補助カメラが、上記複数の光源を含む第３マーク画像を取得し、上記複数のカメラの内部及び外部パラメータを結合して、上記第３マーク画像に基づいて上記第１位置関係を取得する。
【0100】
ステップは、上記Ｓ３１２における第１位置関係の取得ステップと一致し、ここではこれ以上詳細に説明しない。
【0101】
Ｓ３２１：第４補助カメラを、その視野に複数のカメラ及び第３補助カメラが含まれるように設け、上記第３補助カメラの隣にキャリブレーションボードを設け、上記複数のカメラが、上記キャリブレーションボード領域を含む第４マーク画像を採集するとともに、上記第３補助カメラが、第５マークを含む上記ターゲットオブジェクトの第５マーク画像を取得する。
【0102】
図６に示すように、第３補助カメラが大多数のキャリブレーション画像領域を撮影できるように、ディスプレイ１０６に第４マークを含むキャリブレーションボード画像を表示する。カメラ１１０及び１１６が、大多数が２つのカメラに同時に現れるキャリブレーションボード領域を撮影できるように、第３補助カメラの隣に１つのキャリブレーションボードを置き、第４補助カメラを、その視野にカメラ及び第３補助カメラが含まれるように設ける。カメラが、キャリブレーションボード領域を含む第４マーク画像を採集するとともに、第３補助カメラが、第５マークを含むターゲットオブジェクトの第５マーク画像を取得する。
【0103】
Ｓ３２２：上記第４補助カメラと上記複数のカメラとの位置関係を姿勢変換ブリッジとし、第３補助カメラ及び上記複数のカメラの内部及び外部パラメータを結合して、上記第４マーク画像及び上記第５マーク画像に基づいて、上記第３位置関係を決定する。
【0104】
具体的に、複数のカメラの内部及び外部パラメータは、カメラ、第３補助カメラ及び第４補助カメラの内部及び外部パラメータを含み、本実施例は、従来の技術を利用してマルチカメラに対するキャリブレーションを実現し、マルチカメラの内部及び外部パラメータをキャリブレーションする具体的な技術は限定しない。
【0105】
取得された第４マーク画像に基づいてカメラとキャリブレーションボードとの間の位置関係を決定し、第５マーク画像に基づいて第３補助カメラとディスプレイとの間の位置関係を決定し、第４補助カメラがカメラと第３補助カメラを同時に撮影するため、第４補助カメラを姿勢変換ブリッジとして用い、ディスプレイとカメラとの位置姿勢関係のキャリブレーションを実現し、第３位置関係を決定する。
【0106】
Ｓ３２３：上記第１位置関係及び上記第３位置関係に基づいて上記第２位置関係を決定する。
【0107】
上記実施例において、キャリブレーションを実現するために、別途の補助カメラと１つのキャリブレーションボードを導入し、キャリブレーションボードを複数のカメラの動作範囲内に置き、補助カメラとキャリブレーションボードの座標系変換を介して、最終的に複数のカメラ、複数の光源及びターゲットオブジェクトの位置姿勢関係のキャリブレーションを実現し、このような方法は、原理が簡単であり、理論的な精度が高いが、実際の操作中に、複数のカメラとターゲットオブジェクトとの位置関係がすでに一定であり、且つ複数のカメラがターゲットオブジェクトを撮影できないため、上記要求に応じてキャリブレーションボードと補助カメラを配置する場合、補助カメラの光軸とキャリブレーションボードの法線ベクトル及びディスプレイの法線ベクトルとの間の夾角がいずれも大きすぎるため、採集されたキャリブレーションパターンが理想的ではなくなり、マーク点の抽出誤差が大きく、変換の精度を保証することが困難である。
【0108】
補助カメラの導入は、コストを増加させ、キャリブレーションプロセスが複雑になる。キャリブレーション方法３は、固定された平面鏡のみに依存して、複数回の移動による操作の複雑さを回避し、補助カメラに依存せず、補助カメラによって採集されたオブジェクト間の夾角範囲が大きすぎるなどの問題を回避し、キャリブレーションの流れを簡略化し、コストを低減させる。
【0109】
キャリブレーション方法３
【0110】
図８は、本発明の実施例による別の選択的なキャリブレーションシーン図である。図８に示すように、ディスプレイ１０６の前側に平面鏡３２０が置かれ、平面鏡３２０に複数のマークパターンが貼り付けられ、マークパターンは、ドット、チェッカーボード、同心円又はその他の区別しやすいパターンであってもよく、且つ個数は４つ以上であり、ディスプレイにおけるマークパターンの分布は具体的に限定しない。平面鏡は、ディスプレイ１０６、カメラ１１０及びカメラ１１６、光源１１２及び光源１１４を反射し、カメラの視野に、平面鏡に投影された全てのカメラ、光源及びマークを含むディスプレイの像が含まれる。
【0111】
図９は、本発明の実施例による別の選択的なキャリブレーション方法のフローチャートである。
【0112】
１つの選択的な実施例において、上記複数のカメラの内部及び外部パラメータを結合して、平面鏡を用いてキャリブレーション情報を伝達し、上記幾何学的位置関係を取得するステップは、以下のステップを含んでもよい。
【0113】
Ｓ３３０：４つ以上のマーク点が貼り付けられた上記平面鏡を補助として用い、上記複数のカメラが、上記複数の光源と上記ターゲットオブジェクトを有し、且つ上記マーク点を含む反射画像を取得する。
【0114】
Ｓ３３１：上記反射画像に基づき、上記複数のカメラ座標系における各上記マーク点、上記複数の光源及び上記ターゲットオブジェクトのマーク点座標、鏡面光源座標及び鏡面ターゲットオブジェクト座標をそれぞれ算出する。
【0115】
Ｓ３３２：全ての上記マーク点座標に基づいて鏡面平面を再構成し、鏡面反射原理に基づき、上記鏡面光源座標及び上記鏡面ターゲットオブジェクト座標を結合して、上記第１位置関係及び上記第３位置関係を確認する。
【0116】
Ｓ３３３：上記第１位置関係及び上記第３位置関係に基づいて上記第２位置関係を決定する。
【0117】
本願の実施例において、キャリブレーション方法３の基本的な構想は以下の通りであってもよい。平面鏡３２０に複数のマークパターンを貼り付け、マークパターンは、ドット、チェッカーボード、同心円又はその他の区別しやすいパターンであってもよく、且つ個数は４つ以上であり、ディスプレイにおけるマークパターンの分布は具体的に限定しない。複数のカメラは、ターゲットオブジェクト及び光源を直接取得することができず、鏡面反射原理に基づいて、例えば図８に示すように、平面鏡が、ディスプレイ１０６、カメラ１１０及びカメラ１１６、光源１１２及び光源１１４を反射する。カメラは、鏡面に向けて、平面鏡に投影された全てのカメラ、光源及びマークを含むディスプレイの像を含む反射画像を採集する。全てのマーク点を含む反射画像に基づき、上記複数のカメラ座標系における上記マーク点各々のマーク点座標を決定し、反射画像に含まれる鏡面投影された光源及びターゲットオブジェクトに基づき、複数のカメラ座標系における光源虚像の鏡面光源座標及び複数のカメラ座標系におけるターゲットオブジェクトの鏡面ターゲットオブジェクト座標を決定する。上記少なくとも４つのマーク点座標に基づいて複数のカメラ座標系における鏡面平面を再構成し、鏡面反射原理に基づき、鏡面光源と実際光源とが複数のカメラ座標系において対応する。鏡面光源座標に基づいて、鏡面平面を結合して、第１位置関係を決定し、同様に、鏡面ターゲットオブジェクト座標に基づいて第３位置関係を決定し、第１位置関係及び第３位置関係に基づいて第２位置関係を決定する。キャリブレーション方法３は、固定された平面鏡のみに依存して、複数回の移動による操作の複雑さを回避し、補助カメラに依存せず、補助カメラによって採集されたオブジェクト間の夾角範囲が大きすぎるなどの問題を回避し、キャリブレーションの流れ及びコストを効果的に低減させる。
【0118】
Ｓ３００：上記光源反射点座標及び上記瞳孔中心座標に基づいて視線光軸を決定し、上記視線光軸が補償角度によって視線視軸を再構成する。
【0119】
１つの選択的な実施例において、上記光源反射点座標及び上記瞳孔中心座標に基づいて視線光軸を決定するステップは、
光源反射点座標及び角膜曲率半径に基づいて、角膜曲率中心の座標を決定するステップと、
瞳孔中心座標及び角膜曲率中心の座標に基づいて、上記瞳孔中心と上記角膜曲率中心との連結線の上記視線光軸を決定するステップとを含む。
光源反射点座標及び角膜曲率半径に基づいて、角膜曲率中心の座標を決定するステップと、
瞳孔中心座標及び角膜曲率中心の座標に基づいて、上記瞳孔中心と上記角膜曲率中心との連結線の上記視線光軸を決定するステップとを含む。
【0120】
カメラ結像原理、光反射及び屈折原理に従って、画像を採集するカメラの位置座標及び内部及び外部パラメータ、並びに光源位置を結合して、世界座標系における角膜曲率中心を算出して決定することができる。光軸方向は、瞳孔中心と角膜曲率中心との連結線であり、瞳孔中心の座標と角膜曲率中心の座標を簡単に算出することで、光軸方向を決定することができ、例えば、瞳孔中心と角膜曲率中心の座標を減算して絶対値を取った後、光軸方向を決定することができる。
【0121】
具体的に、光学的原理に基づいて、各組の採集カメラに対し、角膜曲率中心、瞳孔中心は、当該カメラの結像平面における瞳孔結像点及び当該カメラの光学中心座標と面一である。２組の面一関係が存在する場合、２つの面一の面が交差する交線の単位ベクトルが視線光軸であり、且つ瞳孔中心と上記角膜曲率中心との連結線が視線光軸である。上述平面幾何学的関係及び光学的原理に基づいて、視線光軸を決定する。
【0122】
角膜瞳孔反射に基づく視線推定方法は、一般的に眼球光軸しか求められず、眼の実際の構造によれば、ユーザの視線は視軸によって決められ、且つ視軸と光軸との間に補償角度が存在し、本願は、眼に変形又は異常が発生した場合にユーザの補償角度に影響を与える可能性があることを考慮しない。しかし、実際の状況において、眼球と角膜は球体ではないため、異なる位置を注視する時、角膜瞳孔反射に基づく視線推定方法で眼球の光軸を再構成する際に、異なる再構成誤差が存在する。
【0123】
本願の例示的な実施例において、補償角度に基づいて視線光軸から視線視軸を再構成する２種類の実行可能な方法を提供する。
【0124】
再構成方法１
【0125】
眼の構造によって、視線光軸と視線視軸との間に１つの補償角度を有することが決められ、Ｋａｐｐａ角と呼ばれる。視線光軸と視線視軸との間の補償角度が個体によって変化しない定数であると仮定すると、Ｋａｐｐａ角を光軸から視軸までの固定補償として用い、この仮定で、補正によって個体のＫａｐｐａ補償を推算する必要がなく、本実施例は、補償角度を校正しないか、又は少ない点で補償角度を比較的簡単に校正することにより、視線追跡をより簡易に実現できる。
【0126】
１つの選択的な実施例において、視線光軸が補償角度によって視線視軸を再構成する前に、上記方法は、ユーザが各予め設定された注視点それぞれを注視する時、１組のサンプル画像を取得するステップと、各組の上記サンプル画像から抽出されたサンプル特徴に基づいて第１補償角度サンプルを決定するステップと、全ての第１補償角度サンプルを遍歴し、スクリーニング及び純化によって上記補償角度を取得するステップとをさらに含む。
【0127】
１つの選択的な実施例において、各組のサンプル画像に対してサンプル特徴を抽出し、各組のサンプル画像から抽出されたサンプル特徴に基づいて第１補償角度サンプルを決定するステップは、
各組のサンプル画像に対してサンプル特徴を抽出し、サンプル特徴に基づいて第１視線光軸を再構成するステップと、
予め設定された注視点の実座標に基づいて、第１視線視軸を逆推定するステップと、
第１視線光軸及び上記第１視線視軸に基づいて、第１補償角度サンプルを取得するステップとを含む。
各組のサンプル画像に対してサンプル特徴を抽出し、サンプル特徴に基づいて第１視線光軸を再構成するステップと、
予め設定された注視点の実座標に基づいて、第１視線視軸を逆推定するステップと、
第１視線光軸及び上記第１視線視軸に基づいて、第１補償角度サンプルを取得するステップとを含む。
【0128】
１つの選択的な実施例において、全ての上記第１補償角度サンプルを遍歴し、スクリーニング及び純化により補償角度を取得するステップは、
全ての上記第１補償角度サンプルの中心点を求め、第１閾値範囲内にないサンプルをスクリーニングして除去するステップと、
現在の中心点と前回の中心点との差が第２閾値より低くなるまで、スクリーニング及び純化して残った全てのサンプルを遍歴し続け、純化後の全てのサンプルから上記補償角度を取得するステップとを含む。
全ての上記第１補償角度サンプルの中心点を求め、第１閾値範囲内にないサンプルをスクリーニングして除去するステップと、
現在の中心点と前回の中心点との差が第２閾値より低くなるまで、スクリーニング及び純化して残った全てのサンプルを遍歴し続け、純化後の全てのサンプルから上記補償角度を取得するステップとを含む。
【0129】
具体的に、予め設定された位置が既知であり、且つ注視点が空間に均一に分布される。ユーザが既知の位置の注視点を注視し、採集されたサンプル画像に含まれるサンプル特徴に基づき、上記角膜瞳孔反射により視線光軸を再構成し、瞳孔中心座標及び予め設定された注視点を結合して視線視軸を復帰させ、当該注視点に対応する補償角度サンプルをさらに取得する。予め設定された注視点に基づいて補償角度サンプルを取得する際に、誤差、例えば検出誤差が存在する可能性があり、本発明は、補償角度サンプルを純化し、異常サンプルをリジェクトし、閾値範囲内の高品質で合理的に分布されるサンプルを保留し、補償角度の正確度をある程度保証するとともに、最終的な補償角度の適用性を保証する。本願は、校正しないか、又は少ない点で比較的簡単に校正することにより、視線追跡をより簡易に実現できる。
【0130】
実際のシーンでは、視線追跡システムを利用するユーザの眼球のパラメータがそれぞれ異なるため、固定の補償角度を用いると、視線追跡方法のより高精度の視線追跡シーンへの応用に影響を与える。再構成方法２では、動的補償モデルを導入し、上記動的補償モデルを用いる前に、異なるユーザに対して個人化された補償キャリブレーションをそれぞれ行うことにより、より高正確度の視線方向を追跡する。
【0131】
再構成方法２
【0132】
１つの選択的な実施例において、視線光軸が補償角度によって視線視軸を再構成する前に、上記方法は、採集されたデータに対して、動的補償モデルにより予測視線観測点と実際視線観測点とのバラツキを決定し、上記バラツキに基づいて上記補償角度を取得するステップをさらに含む。
【0133】
具体的に、実際の視線方向追跡方法の応用において、採集されたデータにおける各フレームのデータをトレーニング済み動的補償モデルに入力して、予測視線観測点と実際視線観測点との間のバラツキを予測し、且つ上記バラツキに基づいて補償角度を取得する。予測視線観測点は、上記した視線光軸の再構成方法で算出されてもよく、なお、本発明の実施例は、動的補償モデルのタイプを限定せず、ニューラルネットワーク、ランダムフォレストモデルなどであってもよい。
【0134】
さらに、異なるユーザに対する個人化された補償キャリブレーションを実現するために、上記トレーニング済み動的補償モデルを用いる前に初期化して、現在のユーザとマッチングする動的補償モデルを取得する必要がある。
【0135】
１つの選択的な実施例において、上記動的補償モデルを用いる前に、上記動的補償モデルを初期化するステップは、
上記ユーザが各予め設定された初期点それぞれを注視する時、１組の初期サンプル画像を取得するステップと、
各組の初期サンプル画像に対し、初期サンプル特徴を抽出し、上記初期サンプル特徴に基づいてスモールサンプル学習により初期化して、現在の上記ユーザとマッチングする上記動的補償モデルを取得するステップとを含む。
上記ユーザが各予め設定された初期点それぞれを注視する時、１組の初期サンプル画像を取得するステップと、
各組の初期サンプル画像に対し、初期サンプル特徴を抽出し、上記初期サンプル特徴に基づいてスモールサンプル学習により初期化して、現在の上記ユーザとマッチングする上記動的補償モデルを取得するステップとを含む。
【0136】
具体的に、現在の使用ユーザが予め設定された初期点を注視し、予め設定された初期点の位置が既知であり、且つ空間に均一に分布される。各予め設定された初期点それぞれに対し、１組のサンプル画像を取得し、採集された注視点の個数は少なくとも３つである。さらに、各組の初期サンプル画像に対し、初期サンプル特徴を抽出し、初期サンプル特徴に基づいて、スモールサンプル学習により初期化して、現在の上記ユーザとマッチングする上記動的補償モデルを取得する。サンプル画像に対して抽出された初期サンプル特徴は、角膜球体中心の３次元座標、眼球光軸のオイラー角、光軸によって計算した視線観測点、顔の偏向角などを含むが、これらに限定されない。スモールサンプル学習により、動的補償モデルは、比較的短時間で学習種別が変化する場合のモデルの汎化能力を備えることができ、現在の使用ユーザの先験的知識が初期化された動的補償モデルを用いて、後続の現在の使用ユーザにより採集されたデータに良好な検索方向を提供し、予測誤差を減少させるとともに、バラツキの予測効率を向上させ、本発明の実施例は、スモールサンプル学習の方法を限定せず、例えばＭＡＭＬ方法が挙げられる。
【0137】
１つの選択的な実施例において、上記した動的補償モデルをトレーニングするステップは、
複数のユーザが予め設定された校正点をそれぞれ注視する時の複数組のサンプルデータを採集するステップと、
上記複数組のサンプルデータをクリーニングし、クリーニング後の上記複数組のサンプルに対してトレーニングサンプル特徴を抽出するステップと、
上記トレーニングサンプル特徴に基づいて、スモールサンプル学習を用いて初期動的補償モデルをトレーニングし、トレーニング後の上記動的補償モデルを取得するステップとを含む。
複数のユーザが予め設定された校正点をそれぞれ注視する時の複数組のサンプルデータを採集するステップと、
上記複数組のサンプルデータをクリーニングし、クリーニング後の上記複数組のサンプルに対してトレーニングサンプル特徴を抽出するステップと、
上記トレーニングサンプル特徴に基づいて、スモールサンプル学習を用いて初期動的補償モデルをトレーニングし、トレーニング後の上記動的補償モデルを取得するステップとを含む。
【0138】
また、初期動的補償モデルは、上記ステップによってトレーニング済み動的補償モデルを取得し、複数組のサンプルデータを採集し、各テスターが、ターゲットオブジェクトに均一に分布された若干のポイントの予め設定された校正点をそれぞれ注視するように要求し、同じ個数のサンプルを対応的に採集する。初期サンプルデータを取得した後、サンプルデータをクリーニングし、光源の反射点が不完全であり、画像が深刻にぼやけるなどのような視線推定アルゴリズムの需要を満たさないサンプルを除去する。さらに、クリーニング、純化後の各組のサンプル画像に対してサンプル特徴を抽出し、トレーニングサンプル特徴に基づいてスモールサンプル学習を用いて初期動的補償モデルをトレーニングし、トレーニング後の動的補償モデルを取得する。複数組のサンプルデータに対して抽出されたトレーニングサンプル特徴は、角膜球体中心の３次元座標、眼球光軸のオイラー角、光軸によって計算した視線観測点、顔の偏向角などを含むが、これらに限定されない。トレーニング済み動的補償モデルは、採集されたデータが入力された後、予測視線観測点と実際視線観測点との間に存在する高正確度のバラツキを取得することにより、高精度の補償角度を取得することができる。
【0139】
上記した視線光軸が補償角度によって視線視軸を再構成する再構成方法は、実際の視線方向追跡シーンでは、まず初期化して現在のユーザとマッチングする動的補償モデルを生成し、その後、現在のユーザによって採集されたデータに対して、生成された動的補償モデルを用いてバラツキを予測し、より良好な補償角度をさらに取得し、最終的に高精度の視線視軸を再構成する。
【0140】
Ｓ４００：上記視線視軸及び上記世界座標系におけるターゲットオブジェクトの位置に基づいて、上記ターゲットオブジェクトにおける視点を決定する。
【0141】
上記視線視軸は世界座標系に位置し、上記ターゲットオブジェクトにおける視軸の視点を決定するには、世界座標系におけるターゲットオブジェクトの位置を決定する必要があり、上記幾何学的位置関係は、世界座標系におけるターゲットオブジェクトの位置を提供可能であり、世界座標系におけるターゲットオブジェクトの平面をさらに決定する。具体的に、ユーザの視点を決定する問題は、同一座標系における視線視軸ベクトルとターゲットオブジェクトが位置する平面との交点問題に転化され、本発明は交点問題を解決する方法を限定しない。
【0142】
ハードウェアの製造コスト及びアルゴリズムの最適化効率を低減させるために、本発明の実施例は、様々なハードウェア条件、眼球状態及びアルゴリズム設計などの要因で、視線追跡システムの追跡精度及び干渉防止能力をシミュレーションするように、シミュレーションシステムを確立するステップをさらに含む。
【0143】
１つの選択的な実施例において、上記方法は、さらに、予め設定された眼球パラメータ、上記補償角度、上記ハードウェアキャリブレーションパラメータ及び予め設定された視点によって、シミュレーション検証、分析及び最適化を行う。
【0144】
１つの選択的な実施例において、上記した予め設定された眼球パラメータ、上記補償角度、上記ハードウェアキャリブレーションパラメータ及び予め設定された視点によって、シミュレーション検証、分析及び最適化を行うステップは、
上記予め設定された視点に対して、上記予め設定された眼球パラメータ、上記補償角度及び上記ハードウェアキャリブレーションパラメータに基づいて、再構成光源結像点及び再構成瞳孔結像点をシミュレーション算出するステップと、
上記再構成光源結像点及び上記再構成瞳孔結像点に基づいて、上記視線方向追跡方法に基づき、予測視点を決定するステップと、
上記予め設定された視点と上記予測視点との比較値に基づいて統計分析を行い、分析結果に基づいて検証及び最適化を実施するステップとを含む。
上記予め設定された視点に対して、上記予め設定された眼球パラメータ、上記補償角度及び上記ハードウェアキャリブレーションパラメータに基づいて、再構成光源結像点及び再構成瞳孔結像点をシミュレーション算出するステップと、
上記再構成光源結像点及び上記再構成瞳孔結像点に基づいて、上記視線方向追跡方法に基づき、予測視点を決定するステップと、
上記予め設定された視点と上記予測視点との比較値に基づいて統計分析を行い、分析結果に基づいて検証及び最適化を実施するステップとを含む。
【0145】
具体的に、必要に応じて、視線追跡のシーンをシミュレーションし、眼球パラメータ及び幾何学的位置関係を予め設定する。眼球パラメータは、眼球中心の３次元座標、眼球の半径、角膜球体中心の３次元座標、角膜球体の半径、眼球中心から角膜球体中心までの距離、瞳孔中心の３次元座標、虹彩中心の３次元座標、虹彩の半径、角膜の屈折率、水晶体の屈折率、眼球光軸、眼球視軸及びＫａｐｐａ角などの眼球の３次元モデルをモデリングするためのパラメータを含むが、これらに限定されない。ハードウェアキャリブレーションパラメータは、カメラの内部パラメータ、カメラの外部パラメータ、カメラの歪みパラメータ、カメラの立体キャリブレーションパラメータ、カメラの３次元座標、光源の３次元座標及びターゲットオブジェクトの３次元座標等を含むが、これらに限定されない。上記予め設定されたパラメータによって、設定された視点に基づいて、角膜における再構成光源の反射点の３次元座標（再構成光源反射点）、カメラ画像平面における光源反射点の投影座標（再構成光源結像点）及びカメラ画像平面における瞳孔中心の投影座標（再構成瞳孔結像点）を含む、角膜瞳孔反射による視線方向の決定に必要な画像データをシミュレーションする。さらに、シミュレーションシステムは、入力された実際のパラメータに基づいて、上記視線方向追跡方法の実現が正確であるか否かを検証し、入力パラメータに外乱を加えることによる視点誤差への影響をテストし、最適な上記複数の光源、上記複数のカメラ及びターゲットオブジェクトの配置方法を探す。
【0146】
１つの選択的な実施例において、予め設定された視点に対して、予め設定された眼球パラメータ、補償角度及びハードウェアキャリブレーションパラメータに基づいて、再構成光源結像点及び再構成瞳孔結像点をシミュレーション算出するステップは、
予め設定された眼球パラメータにおける角膜中心及びハードウェアキャリブレーションパラメータに基づいて光源角膜カメラ角度を決定し、光源角膜カメラ角度及び予め設定された眼球パラメータにおける角膜曲率半径に基づいて、球面反射原理に合わせて再構成光源反射点座標を決定し、再構成光源反射点座標に基づいてハードウェアキャリブレーションパラメータに合わせて再構成光源結像点を算出するステップと、
上記予め設定された視点の座標及び上記予め設定された眼球パラメータにおける角膜中心に基づいて第１視軸を決定し、上記第１視軸及び上記補償角度に基づいて第１光軸を逆推定し、上記第１光軸に基づき、上記予め設定された眼球パラメータの瞳孔角膜中心距離に合わせて、再構成瞳孔中心座標を決定し、上記瞳孔中心座標に基づいて上記ハードウェアキャリブレーションパラメータを結合して上記再構成瞳孔結像点を算出するステップとを含む。
予め設定された眼球パラメータにおける角膜中心及びハードウェアキャリブレーションパラメータに基づいて光源角膜カメラ角度を決定し、光源角膜カメラ角度及び予め設定された眼球パラメータにおける角膜曲率半径に基づいて、球面反射原理に合わせて再構成光源反射点座標を決定し、再構成光源反射点座標に基づいてハードウェアキャリブレーションパラメータに合わせて再構成光源結像点を算出するステップと、
上記予め設定された視点の座標及び上記予め設定された眼球パラメータにおける角膜中心に基づいて第１視軸を決定し、上記第１視軸及び上記補償角度に基づいて第１光軸を逆推定し、上記第１光軸に基づき、上記予め設定された眼球パラメータの瞳孔角膜中心距離に合わせて、再構成瞳孔中心座標を決定し、上記瞳孔中心座標に基づいて上記ハードウェアキャリブレーションパラメータを結合して上記再構成瞳孔結像点を算出するステップとを含む。
【0147】
図１０は、本発明の実施例による選択的な再構成光源反射点方法の原理図である。図１０に示すように、予め設定されたパラメータに基づいて世界座標系における角膜中心Ｃ、カメラの光学中心Ｏ及び光源中心ｌを取得する。光源が照射された角膜領域に対応する角膜球体は、その中心が眼球光軸上にあり、且つ半径ＲＣが一定である。球面反射原理によれば、光源中心から発光された光線は、角膜表面の反射点ｑで全反射され、反射光線はカメラの光学中心Ｏを通って画像平面に投影される。
【0148】
【数1】
【0149】
シミュレーションシステムは、視線方向追跡方法の実現が正確であるか否かの検証を補助するように、複数の予め設定された注視点の位置決めをサポートする。具体的に、シミュレーションシステムに含まれるターゲットオブジェクトがスクリーンであることを例として、スクリーンに位置が既知である複数の注視点が現れ、シミュレーションシステムにおいて眼球がある注視点を注視することをシミュレーションする場合、注視点の位置及び予め設定された眼球パラメータに含まれる角膜球体中心の座標に基づいて、視線視軸を算出し、次に予め設定された補償角度に基づいて光軸を推論し、最後に予め設定された瞳孔中心から角膜球体中心までの距離に基づいて、瞳孔中心の座標を再構成することができる。
【0150】
１つの選択的な実施例において、予め設定された視点は、複数種類の視線角度追跡をシミュレーションするように、複数の異なる位置に、事前に予め設定されるか、又は、ランダムに生成されてもよい。具体的に、複数の異なる位置の予め設定された視点を生成することにより、眼球がターゲットオブジェクトの異なる位置を見る場合の視線追跡の誤差状況をシミュレーションする。
【0151】
１つの選択的な実施例において、予め設定された視点と予測視点に基づいて統計分析を行い、分析結果に基づいて検証及び最適化を実施するステップは、視線方向追跡方法の実現が正確であるか否かを検証し、入力パラメータに外乱を加えることによる視点誤差への影響をテストし、複数の光源、複数のカメラ及びターゲットオブジェクトの配置方法を決定するステップを含む。具体的に、シミュレーションにより算出する。
【0152】
シミュレーション中に、実際のハードウェアパラメータ及び実際の画像画素の処理に関わらない。予め設定された視点によって、シミュレーションシステムに含まれる眼球パラメータ及びハードウェアキャリブレーションパラメータを結合して、再構成光源反射点及び再構成瞳孔結像点を算出し、また、上記した角膜瞳孔反射に基づく視線方向追跡方法に基づいて予測視点を決定し、視線方向追跡方法の実現の正確性を正・逆検証し、このプロセスにおいて、シミュレーションシステムでは幾何学的位置関係、眼球パラメータ及び視点などを含む複数の変数に関わり、いかなる変数の異常は、いずれも正確性の検証の失敗を引き起こし、検証に失敗した結果が得られると、さらに変数を制御するなどの方法により異常変数をスクリーニングし、視線追跡方法の最適化効率を向上できる。
【0153】
また、上記シミュレーションシステムは、上記入力パラメータに外乱を加えた後、予測視点を算出し、上記予測視点と実視点とを比較することにより、視点誤差に対する上記外乱の影響を検証する。
【0154】
シミュレーションシステムは、設計された視線追跡システムの実際の使用における性能をシミュレーションするように、各パラメータに任意のタイプの外乱を加えることができる。ユークリッド距離、角度誤差、分散などを統計的に分析することを含めて、外乱後のパラメータを用いて算出された視点予測値を、視点の真値と比較することにより、後続の視線追跡システムの設計及びアルゴリズムの最適化を意図したように指導することができる。例えば、カメラのキャリブレーションパラメータに外乱を加えると、システムに対するキャリブレーションの誤差の影響度を検証でき、光源反射点や瞳孔中心などのキーポイントに画像画素で外乱を加えると、システムに対するキーポイント検出アルゴリズムの誤差の影響度を検証できる。また、シミュレーションシステムの大量の実験及びデータ分析により、高精度の視線追跡方法の実現の際に最適なハードウェア配置方法を探すために用いられ、ハードウェアのコストを大幅に減少させるとともに、視線追跡方法の最適化効率を向上させる。
【0155】
本実施例において、上記実施例及び好ましい実施形態を実現するための視線方向追跡装置の実施例をさらに提供し、既に説明したものは不要な説明を省略する。以下に使用されるように、用語「モジュール」は、所定の機能のソフトウェア及び／又はハードウェアの組み合わせを実現できる。以下の実施例で説明される装置は、ソフトウェアで実現されることが好ましいが、ハードウェア又はソフトウェアとハードウェアの組み合わせも実現可能であり着想されてもよい。
【0156】
図１１を参照すると、本発明の実施例による選択的な視線方向追跡装置の構造ブロック図である。図１１に示すように、視線方向追跡装置１１００は、採集モジュール１１０１、キーポイント決定モジュール１１０２、視線再構成モジュール１１０３及び視点決定モジュール１１０４を含む。
【0157】
以下、視線方向追跡装置１１００に含まれる各ユニットについて具体的に説明する。
【0158】
採集モジュール１１０１は、複数の光源を用いてユーザの眼に角膜反射を提供し、複数のカメラを用いて上記ユーザの顔を含む画像を撮像する。
【0159】
具体的に、ユーザがターゲットオブジェクトを注視し、複数の光源を用いてユーザの眼に赤外線光源を発光させ、複数のカメラを用いて瞳孔結像点及び赤外線光源が角膜で反射されて得られた光源反射点の位置を含む画像をリアルタイムに撮像することができる。複数のカメラを用いることにより、ユーザがシーンを注視する時の顔の画像をリアルタイムに撮像することができ、上記ユーザの顔の画像は、ユーザの顔領域のみを含む画像を指すものではなく、撮像された画像にユーザの顔領域の画像が含まれていればよい。後続の特徴検出及び特徴抽出の精度を向上させるために、複数のカメラがユーザの顔の画像を撮像する時、鮮明な顔特徴を含む顔の画像を取得するように、ユーザの顔領域を重点的に採集してもよい。ユーザが注視するターゲットは、例えばスクリーン、ディスプレイ及びヘッドマウントディスプレイなどの、画像コンテンツ、文字コンテンツを出力するためのスクリーンとしての表示機器であってもよく、例えばフロントガラスなどの非表示機器であってもよい。
【0160】
１つの選択的な実施例において、複数のカメラ、複数の光源及びターゲットオブジェクトはユーザに向けており、且つ複数のカメラの視野に複数の光源及び上記ターゲットオブジェクトが含まれない。実際の視線追跡システムにおいて、上記複数の光源、上記複数のカメラ及び上記ターゲットオブジェクトを同じ側に配置し、ここで、本発明は、カメラ、光源及びターゲットオブジェクトの具体的な個数、並びに機器間の具体的な配列方式及び位置を限定しない。上記視線追跡システムにおける複数の光源、複数のカメラ及びターゲットオブジェクト同士の位置関係は、予め設定されてもよく、キャリブレーションにより取得されてもよい。
【0161】
キーポイント決定モジュール１１０２は、顔を含む上記画像から取得された眼特徴セットによって、ハードウェアキャリブレーションパラメータを結合して、世界座標系における光源反射点座標及び瞳孔中心座標を決定する。
【0162】
顔を含む上記画像に対して検出及び特徴抽出を行って、眼特徴セットを取得する。１つの選択的な実施例において、上記眼特徴セットは、光源結像点と、瞳孔結像点とを含む。本実施例は、従来の技術を利用して顔を含む画像に対する検出及び特徴抽出を実現し、本願は、眼特徴セットを取得する具体的な技術を限定せず、伝統的な画像処理方法及び深層学習に基づく画像処理方法等を利用してもよい。
【0163】
１つの選択的な実施例において、上記ハードウェアキャリブレーションパラメータは、複数のカメラ座標系の内部及び外部パラメータと、複数の光源座標系と複数のカメラ座標系との間の第１位置関係、複数の光源座標系とターゲットオブジェクト座標系との間の第２位置関係、及び複数のカメラ座標系とターゲットオブジェクト座標系との間の第３位置関係を含む幾何学的位置関係とを含む。また、幾何学的位置関係における任意の２種類の位置関係を取得した場合、空間変換関係及び既知の２種類の位置関係によって残りの１種類の位置関係を決定することができる。ハードウェアキャリブレーションパラメータにより、任意の画素座標と世界座標系とのマッピング関係、任意のハードウェアが位置する座標系と世界座標系とのマッピング関係を取得することができる。
【0164】
角膜瞳孔反射に基づく視線光軸決定方法において、眼特徴セットに基づいて世界座標系における光源反射点座標及び瞳孔中心座標を決定するには、同一世界座標系における複数のカメラ及び複数の光源の位置を結合する必要があり、ハードウェアキャリブレーションパラメータに含まれるマッピング関係に基づいて世界座標系における複数の光源及び複数のカメラの位置をそれぞれ決定することができる。
【0165】
また、光源反射点は、光源中心から発光された光線の角膜表面での反射点である。光源結像点は、採集されたユーザの顔を含む画像における光源反射点の結像である。瞳孔中心は、瞳孔領域の中心点である。瞳孔結像点は、瞳孔中心が角膜で屈折された瞳孔屈折点の、採集されたユーザの顔を含む画像における結像である。眼の角膜を球体としてモデリングし、角膜曲率中心は当該球体の球体中心であり、角膜の半径は角膜曲率中心から角膜球体の表面までの距離であり、光軸方向は瞳孔中心と角膜曲率中心との連結線の方向である。同様に、人間の眼球も眼球中心としてモデリングすることができ、眼球中心は当該眼球の球体中心であり、且つ眼球中心も光軸上に位置する。光学的原理に基づき、光源の位置及び光源結像点を結合して、角膜曲率半径を取得することができる。
【0166】
光源結像点は、採集されたユーザの顔を含む画像における光源反射点の結像であり、カメラ結像原理に従って、画像を採集する複数のカメラの位置座標及び内部及び外部パラメータを結合して、世界座標系における光源反射点の座標を決定する。なお、光源は１つでも複数でもよい。複数の光源がいずれも動作する場合、各光源がいずれも対応する光源反射点を含むと、世界座標系における各光源の座標を決定する方法は上述したものと一致する。同様に、瞳孔結像点は、瞳孔中心が角膜で屈折された瞳孔屈折点の、採集されたユーザの顔を含む画像における結像であり、カメラ結像原理に従って、画像を採集するカメラの位置座標及び内部及び外部パラメータを結合して、世界座標系における瞳孔中心の座標を決定する。
【0167】
１つの選択的な実施例において、世界座標系は、光源座標系、カメラ座標系、ターゲットオブジェクト座標系のうちのいずれか１つを選択してもよい。即ち、当該世界座標系は、指定された任意の１つの光源、任意の１つのカメラ又はターゲットオブジェクトの立体座標系であってもよい。
【0168】
以上から分かるように、ハードウェアキャリブレーションパラメータにより、任意の画素座標と世界座標系とのマッピング関係、任意のハードウェアが位置する座標系と世界座標系とのマッピング関係を取得することができる。顔特徴セットは画素座標系における２次元情報であり、上記任意の画素座標と世界座標系とのマッピング関係により、世界座標系における光源反射点座標及び瞳孔中心座標を取得することができ、且つ指定された世界座標系が異なることに応じて、以下のいくつかの場合がある。
【0169】
１つの選択的な実施例において、上記キーポイント決定モジュール１１０２は、
【0170】
上記世界座標系が上記光源座標系である場合、上記顔特徴セットは、上記複数のカメラの内部及び外部パラメータによって、上記第１位置関係を結合するか、又は、上記第２位置関係及び上記第３位置関係を結合して、上記光源座標系における上記光源反射点座標及び上記瞳孔中心座標を決定するための第１決定ユニット１１０２１と、
【0171】
上記世界座標系が上記カメラ座標系である場合、上記顔特徴セットは、上記複数のカメラの内部及び外部パラメータによって、上記複数のカメラ座標系における上記光源反射点座標及び上記瞳孔中心座標を決定するための第２決定ユニット１１０２２と、
【0172】
上記世界座標系が上記ターゲットオブジェクト座標系である場合、上記顔特徴セットは、上記複数のカメラの内部及び外部パラメータによって、上記第３位置関係を結合するか、又は、上記第１位置関係及び上記第２位置関係を結合して、上記ターゲットオブジェクト座標系における上記光源反射点座標及び上記瞳孔中心座標を決定するための第３決定ユニット１１０２３とを含む。
【0173】
さらに、本願は、複数のカメラの内部及び外部パラメータの決定方法を限定せず、予め設定された工場出荷パラメータによって取得してもよく、キャリブレーションにより複数のカメラの内部及び外部パラメータを取得してもよく、本願は、同様に、複数のカメラの内部及び外部パラメータのキャリブレーション方法を限定せず、例えば、キャリブレーションボードを用いて複数のカメラの内部及び外部パラメータをキャリブレーションする。
【0174】
１つの選択的な実施例において、上記キーポイント決定モジュール１１０２は、上記複数のカメラの内部及び外部パラメータを結合して、平面鏡及び補助カメラのうちの少なくとも１つを用いてキャリブレーション情報を伝達してキャリブレーションすることによって、上記幾何学的位置関係を取得するためのキャリブレーションユニット１１０２４を含む。
【0175】
複数のカメラの視野に複数の光源及び上記ターゲットオブジェクトが含まれないため、平面鏡及び補助カメラのうちの少なくとも１つを用いてキャリブレーション情報を伝達し、キャリブレーション情報に基づいて幾何学的位置関係を求める。具体的に、キャリブレーションプロセスは、複数のカメラ、複数の光源及びターゲットオブジェクトの幾何学的位置関係を取得することを目的とするが、本実施例において、反射光路に存在する制限により、視線追跡システムに含まれる複数の光源、複数のカメラ及びターゲットオブジェクトが同じ側に配置されるため、カメラはターゲットオブジェクトを直接観察できなくなったり、ターゲットオブジェクトの一部しか観察できず、本願は、複数のカメラの内部及び外部パラメータを結合して、平面鏡及び補助カメラのうちの少なくとも１つを用いてキャリブレーション情報を伝達してキャリブレーションすることによって、幾何学的位置関係を取得する。
【0176】
１つの選択的な実施例において、上記キャリブレーションユニット１１０２４は、上記複数のカメラの内部及び外部パラメータを結合して、平面鏡及び補助カメラを用いてキャリブレーション情報を伝達してキャリブレーションすることによって、上記幾何学的位置関係を取得するための第１キャリブレーションユニット２４１００を含み、ここで、上記第１キャリブレーションユニット２４１００は、
【0177】
第１補助カメラが、上記平面鏡が複数の異なる姿勢で反射した第１マークを含む上記ターゲットオブジェクトの複数枚の第１マーク画像を取得するための第１キャリブレーションサブユニット２４１０１と、
【0178】
上記複数のカメラの内部及び外部パラメータを結合して、複数枚の上記第１マーク画像に基づいて、直交制約により上記第３位置関係を算出するための第２キャリブレーションサブユニット２４１０２と、
【0179】
立体視システムである第２補助カメラが、上記複数の光源を含む第２マーク画像を取得し、上記複数のカメラの内部及び外部パラメータを結合して、上記第２マーク画像に基づいて上記第１位置関係を取得するための第３キャリブレーションサブユニット２４１０３と、
【0180】
上記第１位置関係及び上記第３位置関係に基づいて上記第２位置関係を決定するための第４キャリブレーションサブユニット２４１０４とを含む。
【0181】
上記ユニットにより、高正確度及び高ロバスト性を有するキャリブレーション結果を取得することができる。平面鏡によってターゲットオブジェクトを反射結像し、確立されたターゲットオブジェクトとそれの平面鏡における虚像との位置姿勢関係から、直交制約によりシステムの位置姿勢関係を求めて決定する。平面鏡の位置を複数回変更する必要があるため、カメラは、鏡面反射された画像を複数枚採集する必要があり、且つ平面鏡の移動は、予め設定された条件を満たすことを必要とし、操作が複雑で、効率が低く、また、上記鏡面キャリブレーション法において直交制約により線形的に求めたものは、通常ノイズに敏感であり、システムの位置関係のキャリブレーション結果の精度は、平面鏡からカメラまでの距離及び平面鏡の回転角度のいずれにも関係がある。
【0182】
１つの選択的な実施例において、上記キャリブレーションユニット１１０２４は、上記複数のカメラの内部及び外部パラメータを結合して、補助カメラを用いてキャリブレーション情報を伝達してキャリブレーションすることによって、上記幾何学的位置関係を取得するための第２キャリブレーションユニット２４２００を含み、ここで、上記第２キャリブレーションユニットは、
【0183】
立体視システムである第３補助カメラが、上記複数の光源を含む第３マーク画像を取得し、上記複数のカメラの内部及び外部パラメータを結合して、上記第３マーク画像に基づいて上記第１位置関係を取得するための第５キャリブレーションサブユニット２４２０１と、
【0184】
第４補助カメラを、その視野に上記複数のカメラ及び上記第３補助カメラが含まれるように設け、上記第３補助カメラの隣にキャリブレーションボードを設け、上記複数のカメラが、上記キャリブレーションボード領域を含む第４マーク画像を採集するとともに、上記第３補助カメラが第５マークを含む上記ターゲットオブジェクトの第５マーク画像を取得するための第６キャリブレーションサブユニット２４２０２と、
【0185】
上記第４補助カメラと上記複数のカメラとの位置関係を姿勢変換ブリッジとし、第３補助カメラと上記複数のカメラの内部及び外部パラメータを結合して、上記第４マーク画像及び上記第５マーク画像に基づいて上記第３位置関係を決定するための第７キャリブレーションサブユニット２４２０３と、
【0186】
上記第１位置関係及び上記第３位置関係に基づいて上記第２位置関係を決定するための第８キャリブレーションサブユニット２４２０４とを含む。
【0187】
上記実施例において、キャリブレーションを実現するために、別途の補助カメラと１つのキャリブレーションボードを導入し、キャリブレーションボードを複数のカメラの動作範囲内に置き、補助カメラとキャリブレーションボードの座標系変換を介して、最終的に複数のカメラ、複数の光源及びターゲットオブジェクトの位置姿勢関係のキャリブレーションを実現し、このような方法は、原理が簡単であり、理論的な精度が高いが、実際の操作中に、複数のカメラとターゲットオブジェクトとの位置関係がすでに一定であり、且つ複数のカメラがターゲットオブジェクトを撮影できないため、上記要求に応じてキャリブレーションボードと補助カメラを配置する場合、補助カメラの光軸とキャリブレーションボードの法線ベクトル及びディスプレイの法線ベクトルとの間の夾角がいずれも大きすぎるため、採集されたキャリブレーションパターンが理想的ではなくなり、マーク点の抽出誤差が大きく、変換の精度を保証することが困難である。補助カメラの導入は、コストを増加させ、キャリブレーションプロセスが複雑になる。
【0188】
１つの選択的な実施例において、上記キャリブレーションユニット１１０２４は、上記複数のカメラの内部及び外部パラメータを結合して、平面鏡を用いてキャリブレーション情報を伝達してキャリブレーションすることによって、上記幾何学的位置関係を取得するための第３キャリブレーションユニット２４３００を含み、ここで、上記第３キャリブレーションユニット２４３００は、
【0189】
４つ以上のマーク点が貼り付けられた上記平面鏡を補助として用い、上記複数のカメラが、上記複数の光源と上記ターゲットオブジェクトを有し且つ上記マーク点を含む反射画像を取得するための第９キャリブレーションサブユニット２４３０１と、
【0190】
上記反射画像に基づき、上記複数のカメラ座標系における各上記マーク点、上記複数の光源及び上記ターゲットオブジェクトのマーク点座標、鏡面光源座標及び鏡面ターゲットオブジェクト座標をそれぞれ算出するための第１０キャリブレーションサブユニット２４３０２と、
【0191】
全ての上記マーク点座標に基づいて鏡面平面を再構成し、鏡面反射原理に基づき、上記鏡面光源座標及び上記鏡面ターゲットオブジェクト座標を結合して、上記第１位置関係及び上記第３位置関係を確認するための第１１キャリブレーションサブユニット２４３０３と、
【0192】
上記第１位置関係及び上記第３位置関係に基づいて上記第２位置関係を決定するための第１２キャリブレーションサブユニット２４３０４とを含む。
【0193】
上記第３キャリブレーションユニット２４３００は、カメラによって、鏡面に向けて、平面鏡に投影された全てのカメラ、光源及びマークを含むディスプレイの像を含む反射画像を採集する。全てのマーク点を含む反射画像に基づき、上記複数のカメラ座標系における上記マーク点各々のマーク点座標を決定し、反射画像に含まれる鏡面投影された光源及びターゲットオブジェクトに基づき、複数のカメラ座標系における光源虚像の鏡面光源座標及び複数のカメラ座標系におけるターゲットオブジェクトの鏡面ターゲットオブジェクト座標を決定する。上記少なくとも４つのマーク点座標に基づいて複数のカメラ座標系における鏡面平面を再構成し、鏡面反射原理に基づき、鏡面光源と実際光源とが複数のカメラ座標系において対応する。鏡面光源座標に基づいて、鏡面平面を結合して第１位置関係を決定し、同様に、鏡面ターゲットオブジェクト座標に基づいて第３位置関係を決定し、第１位置関係及び第３位置関係に基づいて第２位置関係を決定する。キャリブレーション方法３は、固定された平面鏡のみに依存して、複数回の移動による操作の複雑さを回避し、補助カメラに依存せず、補助カメラによって採集されたオブジェクト間の夾角範囲が大きすぎるなどの問題を回避し、キャリブレーションの流れ及びコストを効果的に低減させる。
【0194】
視線再構成モジュール１１０３は、上記光源反射点座標及び上記瞳孔中心座標に基づいて視線光軸を決定し、上記視線光軸が補償角度によって視線視軸を再構成する。
【0195】
１つの選択的な実施例において、上記視線再構成モジュール１１０３は、
【0196】
上記光源反射点座標及び角膜曲率半径に基づいて、角膜曲率中心の座標を決定するための第１再構成ユニット１１０３１と、
【0197】
上記瞳孔中心座標及び上記角膜曲率中心の座標に基づいて、上記瞳孔中心と上記角膜曲率中心との連結線の上記視線光軸を決定するための第２再構成ユニット１１０３２とを含む。
【0198】
カメラ結像原理、光反射及び屈折原理に従って、画像を採集するカメラの位置座標及び内部及び外部パラメータ、並びに光源位置を結合して、世界座標系における角膜曲率中心を算出して決定することができる。光軸方向は、瞳孔中心と角膜曲率中心との連結線であり、瞳孔中心の座標と角膜曲率中心の座標を簡単に算出することで、光軸方向を決定することができ、例えば、瞳孔中心と角膜曲率中心の座標を減算して絶対値を取った後、光軸方向を決定することができる。
【0199】
具体的に、光学的原理に基づいて、各組の採集カメラに対し、角膜曲率中心、瞳孔中心は、当該カメラの結像平面における瞳孔結像点及び当該カメラの光学中心座標と面一である。２組の面一関係が存在する場合、２つの面一の面が交差する交線の単位ベクトルが視線光軸であり、且つ瞳孔中心と上記角膜曲率中心との連結線が視線光軸である。上述平面幾何学的関係及び光学的原理に基づいて、視線光軸を決定する。
【0200】
角膜瞳孔反射に基づく視線方向追跡装置は、一般的に眼球光軸しか求められず、眼の実際の構造によれば、ユーザの視線は視軸によって決められ、且つ視軸と光軸との間に補償角度が存在し、本願は、眼に変形又は異常が発生した場合にユーザの補償角度に影響を与える可能性があることを考慮しない。しかし、実際の状況において、眼球と角膜は球体ではないため、異なる位置を注視する時、角膜瞳孔反射に基づく視線推定方法で眼球の光軸を再構成する際に、異なる再構成誤差が存在する。
【0201】
眼の構造によって、視線光軸と視線視軸との間に１つの補償角度を有することが決められ、Ｋａｐｐａ角と呼ばれる。視線光軸と視線視軸との間の補償角度が個体によって変化しない定数であると仮定すると、Ｋａｐｐａ角を光軸から視軸までの固定補償として用い、この仮定で、補正によって個体のＫａｐｐａ補償を推算する必要がなく、本実施例は、補償角度を校正しないか、又は少ない点で補償角度を比較的簡単に校正することにより、視線追跡をより簡易に実現できる。
【0202】
１つの選択的な実施例において、上記視線再構成モジュール１１０３は、
【0203】
上記ユーザが各予め設定された注視点それぞれを注視する時、１組のサンプル画像を取得するための第３再構成ユニット１１０３３と、
【0204】
各組の上記サンプル画像から抽出されたサンプル特徴に基づいて第１補償角度サンプルを決定するための第４再構成ユニット１１０３４と、
【0205】
全ての上記第１補償角度サンプルを遍歴し、スクリーニング及び純化により上記補償角度を取得するための第５再構成ユニット１１０３５とを含む。
【0206】
１つの選択的な実施例において、第４再構成ユニット１１０３４は、各組のサンプル画像に対してサンプル特徴を抽出し、サンプル特徴に基づいて第１視線光軸を再構成し、予め設定された注視点の実座標に基づいて第１視線視軸を逆推定し、第１視線光軸及び上記第１視線視軸に基づいて、第１補償角度サンプルを取得する。
【0207】
１つの選択的な実施例において、第５再構成ユニット１１０３５は、全ての上記第１補償角度サンプルの中心点を求め、第１閾値範囲内にないサンプルをスクリーニングして除去し、現在の中心点と前回の中心点との差が第２閾値より低くなるまで、スクリーニング及び純化して残った全てのサンプルを遍歴し続け、純化後の全てのサンプルから上記補償角度を取得する。
【0208】
具体的に、予め設定された位置が既知であり、且つ注視点が空間に均一に分布される。ユーザが既知の位置の注視点を注視し、採集されたサンプル画像に含まれるサンプル特徴に基づき、上記角膜瞳孔反射により視線光軸を再構成し、瞳孔中心座標及び予め設定された注視点を結合して、視線視軸を復帰させ、当該注視点に対応する補償角度サンプルをさらに取得する。予め設定された注視点に基づいて補償角度サンプルを取得する際に、誤差、例えば検出誤差が存在する可能性があり、本発明は、補償角度サンプルを純化し、異常サンプルを取り除く、閾値範囲内の高品質で合理的に分布されるサンプルを保留し、補償角度の正確度をある程度保証するとともに、最終的な補償角度の適用性を保証する。本願は、校正しないか、又は少ない点で比較的簡単に校正することにより、視線追跡をより簡易に実現できる。
【0209】
実際のシーンでは、視線追跡システムを利用するユーザの眼球のパラメータがそれぞれ異なるため、固定の補償角度を用いると、視線方向追跡装置のより高精度の視線追跡シーンへの応用に影響を与える。上記視線再構成モジュールは、動的補償モデルを導入し、上記動的補償モデルを用いる前に、異なるユーザに対して個人化された補償キャリブレーションをそれぞれ行うことにより、より高正確度の視線方向を追跡する。
【0210】
１つの選択的な実施例において、上記視線再構成モジュール１１０３は、採集されたデータに対して、動的補償モデルにより予測視線観測点と実際視線観測点とのバラツキを決定し、上記バラツキに基づいて上記補償角度を取得するための動的補償ユニット１１０３６をさらに含む。
【0211】
具体的に、実際の視線方向追跡装置の応用において、採集されたデータにおける各フレームのデータをトレーニング済み動的補償モデルに入力して、予測視線観測点と実際視線観測点との間のバラツキを予測し、且つ上記バラツキに基づいて補償角度を取得する。予測視線観測点は、上記した視線光軸の再構成装置によって算出されてもよく、なお、本発明の実施例は、動的補償モデルのタイプを限定せず、ニューラルネットワーク、ランダムフォレストモデルなどであってもよい。
【0212】
さらに、異なるユーザに対する個人化された補償キャリブレーションを実現するために、上記動的補償ユニット１１０３６は、現在のユーザとマッチングする動的補償モデルを取得するための初期化サブユニットを含む。
【0213】
１つの選択的な実施例において、上記動的補償ユニット１１０３６は、上記動的補償モデルを用いる前に、上記動的補償モデルを初期化するための初期化サブユニット３６１００を含み、ここで、上記初期化サブユニット３６１００は、上記ユーザが各予め設定された初期点それぞれを注視する時、１組の初期サンプル画像を取得するための第１初期化サブユニット３６１１０と、各組の上記初期サンプル画像に対し、初期サンプル特徴を抽出し、上記初期サンプル特徴に基づいて、スモールサンプル学習により初期化して、現在の上記ユーザとマッチングする上記動的補償モデルを取得するための第２初期化サブユニット３６１２０とを含む。
【0214】
具体的に、現在の使用ユーザが予め設定された初期点を注視し、予め設定された初期点の位置が既知であり、且つ空間に均一に分布される。各予め設定された初期点それぞれに対して、１組のサンプル画像を取得し、採集された注視点の個数は少なくとも３つである。さらに、各組の初期サンプル画像に対し、初期サンプル特徴を抽出し、初期サンプル特徴に基づいて、スモールサンプル学習により初期化して、現在の上記ユーザとマッチングする上記動的補償モデルを取得する。サンプル画像に対し抽出された初期サンプル特徴は、角膜球体中心の３次元座標、眼球光軸のオイラー角、光軸によって計算した視線観測点、顔の偏向角などを含むが、これらに限定されない。スモールサンプル学習により、動的補償モデルは、比較的短時間で学習種別が変化する場合のモデルの汎化能力を備えることができ、現在の使用ユーザの先験的知識が初期化された動的補償モデルを用いて、後続の現在の使用ユーザにより採集されたデータに良好な検索方向を提供し、予測誤差を減少させるとともに、バラツキの予測効率を向上させ、本発明の実施例は、スモールサンプル学習の方法を限定せず、例えばＭＡＭＬ方法が挙げられる。
【0215】
１つの選択的な実施例において、上記動的補償ユニット１１０３６は、上記動的補償モデルをトレーニングするためのトレーニングサブユニット３６２００を含み、ここで、上記トレーニングサブユニット３６２００は、複数のユーザが予め設定された校正点をそれぞれ注視する時の複数組のサンプルデータを採集するための第１トレーニングサブユニット３６２１０と、上記複数組のサンプルデータをクリーニングし、クリーニング後の上記複数組のサンプルに対してトレーニングサンプル特徴を抽出するための第２トレーニングサブユニット３６２２０と、上記トレーニングサンプル特徴に基づいて、スモールサンプル学習を用いて初期動的補償モデルをトレーニングし、トレーニング後の上記動的補償モデルを取得するための第３トレーニングサブユニットとを含む。
【0216】
また、初期動的補償モデルは、上記トレーニングサブユニット３６２００によってトレーニング済み動的補償モデルを取得し、複数組のサンプルデータを採集し、各テスターが、ターゲットオブジェクトに均一に分布された若干のポイントの予め設定された校正点をそれぞれ注視するように要求し、同じ個数のサンプルを対応的に採集する。初期サンプルデータを取得した後、サンプルデータをクリーニングし、光源の反射点が不完全であり、画像が深刻にぼやけるなどのような視線推定アルゴリズムの需要を満たさないサンプルを除去する。さらに、クリーニング、純化後の各組のサンプル画像に対してサンプル特徴を抽出し、トレーニングサンプル特徴に基づいてスモールサンプル学習を用いて初期動的補償モデルをトレーニングし、トレーニング後の動的補償モデルを取得する。複数組のサンプルデータに対して抽出されたトレーニングサンプル特徴は、角膜球体中心の３次元座標、眼球光軸のオイラー角、光軸によって計算した視線観測点、顔の偏向角などを含むが、これらに限定されない。トレーニング済み動的補償モデルは、採集されたデータが入力された後、予測視線観測点と実際視線観測点との間に存在する高正確度のバラツキを取得することにより、高精度の補償角度を取得することができる。
【0217】
上記視線再構成モジュールは、実際の視線方向追跡シーンでは、まず初期化して現在のユーザとマッチングする動的補償モデルを生成し、その後、現在のユーザによって採集されたデータに対して、生成された動的補償モデルを用いてバラツキを予測し、より良好な補償角度をさらに取得し、最終的に高精度の視線視軸を再構成する。
【0218】
視点決定モジュール１１０４は、上記視線視軸及び上記世界座標系におけるターゲットオブジェクトの位置に基づいて、上記ターゲットオブジェクトにおける視点を決定する。
【0219】
上記視線視軸は世界座標系に位置し、上記ターゲットオブジェクトにおける視軸の視点を決定するには、世界座標系におけるターゲットオブジェクトの位置を決定する必要があり、上記幾何学的位置関係は、世界座標系におけるターゲットオブジェクトの位置を提供可能であり、世界座標系におけるターゲットオブジェクトの平面をさらに決定する。具体的に、ユーザの視点を決定する問題は、同一座標系における視線視軸ベクトルとターゲットオブジェクトが位置する平面との交点問題に転化され、本発明は交点問題を解決する方法を限定しない。
【0220】
ハードウェアの製造コスト及びアルゴリズムの最適化効率を低減させるために、図１２を参照して、本発明の実施例による別の選択的な視線方向追跡装置の構造ブロック図を提供する。図１２に示すように、当該視線方向追跡装置は、様々なハードウェア条件、眼球状態及びアルゴリズム設計などの要素での視線追跡システムの追跡精度及び干渉防止能力をシミュレーションするためのシミュレーションモジュール１１０５をさらに含む。
【0221】
１つの選択的な実施例において、上記装置は、予め設定された眼球パラメータ、上記補償角度、上記ハードウェアキャリブレーションパラメータ及び予め設定された視点によって、シミュレーション検証、分析及び最適化を行うためのシミュレーションモジュール１１０５をさらに含む。
【0222】
１つの選択的な実施例において、上記シミュレーションモジュール１１０５は、上記予め設定された視点に対して、上記眼球パラメータ、上記補償角度及び上記ハードウェアキャリブレーションパラメータに基づいて、再構成光源結像点及び再構成瞳孔結像点をシミュレーション算出するための第１シミュレーションユニット１１０５１と、上記再構成光源結像点及び上記再構成瞳孔結像点に基づいて、上記視線方向追跡方法に基づき予測視点を決定するための第２シミュレーションユニット１１０５２と、上記予め設定された視点と上記予測視点との比較値に基づいて統計分析を行い、分析結果に基づいて検証及び最適化を実施するための第３シミュレーションユニット１１０５３とを含む。
【0223】
１つの選択的な実施例において、上記第１シミュレーションユニット１１０５１は、
【0224】
上記予め設定された眼球パラメータにおける角膜中心及び上記ハードウェアキャリブレーションパラメータに基づいて光源角膜カメラ角度を決定し、上記光源角膜カメラ角度及び上記予め設定された眼球パラメータにおける角膜曲率半径に基づいて、球面反射原理を結合して、再構成光源反射点座標を決定し、上記再構成光源反射点座標に基づいて、上記ハードウェアキャリブレーションパラメータを結合して、上記再構成光源結像点を算出するための第１シミュレーションサブユニット５１１００と、
【0225】
上記予め設定された視点の座標及び上記予め設定された眼球パラメータにおける角膜中心に基づいて第１視軸を決定し、上記第１視軸及び上記補償角度に基づいて第１光軸を逆推定し、上記第１光軸に基づき、上記予め設定された眼球パラメータの瞳孔角膜中心距離を結合して、再構成瞳孔中心座標を決定し、上記瞳孔中心座標に基づいて、上記ハードウェアキャリブレーションパラメータを結合して、上記再構成瞳孔結像点を算出するための第２シミュレーションサブユニット５１２００とを含む。
【0226】
具体的に、必要に応じて、視線追跡のシーンをシミュレーションし、眼球パラメータ及び幾何学的位置関係を予め設定する。眼球パラメータは、眼球中心の３次元座標、眼球の半径、角膜球体中心の３次元座標、角膜球体の半径、眼球中心から角膜球体中心までの距離、瞳孔中心の３次元座標、虹彩中心の３次元座標、虹彩の半径、角膜の屈折率、水晶体の屈折率、眼球光軸、眼球視軸及びＫａｐｐａ角などの眼球の３次元モデルをモデリングするためのパラメータを含むが、これらに限定されない。ハードウェアキャリブレーションパラメータは、カメラの内部パラメータ、カメラの外部パラメータ、カメラの歪みパラメータ、カメラの立体キャリブレーションパラメータ、カメラの３次元座標、光源の３次元座標及びターゲットオブジェクトの３次元座標等を含むが、これらに限定されない。上記予め設定されたパラメータによって、設定された視点に基づいて、角膜における再構成光源の反射点の３次元座標（再構成光源反射点）、カメラ画像平面における光源反射点の投影座標（再構成光源結像点）及びカメラ画像平面における瞳孔中心の投影座標（再構成瞳孔結像点）を含む、角膜瞳孔反射による視線方向の決定に必要な画像データをシミュレーションする。さらに、シミュレーションシステムは、入力された実際のパラメータに基づいて、視線方向追跡方法の実現が正確であるか否かを検証し、入力パラメータに外乱を加えることによる視点誤差への影響をテストし、最適な上記複数の光源、上記複数のカメラ及びターゲットオブジェクトの配置方法を探す。
【0227】
シミュレーションモジュール１１０５は、視線方向追跡方法の実現が正確であるか否かの検証を補助するように、複数の予め設定された注視点の位置決めをサポートする。具体的に、シミュレーションシステムに含まれるターゲットオブジェクトがスクリーンであることを例として、スクリーンに位置が既知である複数の注視点が現れ、シミュレーションモジュール１１０５において眼球がある注視点を注視することをシミュレーションする場合、注視点の位置及び予め設定された眼球パラメータに含まれる角膜球体中心の座標に基づいて、視線視軸を算出し、次に予め設定された補償角度に基づいて光軸を推論し、最後に予め設定された瞳孔中心から角膜球体中心までの距離に基づいて、瞳孔中心の座標を再構成することができる。
【0228】
１つの選択的な実施例において、予め設定された視点は、複数種類の視線角度追跡をシミュレーションするように、複数の異なる位置に、事前に予め設定されるか、又は、ランダムに生成されてもよい。具体的に、複数の異なる位置の予め設定された視点を生成することにより、眼球がターゲットオブジェクトの異なる位置を見る場合の視線追跡の誤差状況をシミュレーションする。
【0229】
１つの選択的な実施例において、上記第３シミュレーションユニット１１０５３は、上記視線方向追跡方法の実現が正確であるか否かを検証し、外乱を加えることによる視点誤差への影響をテストし、上記複数の光源、上記複数のカメラ及びターゲットオブジェクトの配置方法を決定するための第３シミュレーションサブユニットを含む。
【0230】
シミュレーション中に、実際のハードウェアパラメータ及び実際の画像画素の処理に関わらない。予め設定された視点によって、シミュレーションモジュール１１０５に含まれる眼球パラメータ及びハードウェアキャリブレーションパラメータを結合して、再構成光源反射点及び再構成瞳孔結像点を算出し、また、上記した角膜瞳孔反射に基づく視線方向追跡方法に基づいて予測視点を決定し、視線方向追跡方法の実現の正確性を正・逆検証し、このプロセスにおいて、シミュレーションモジュール１１０５では幾何学的位置関係、眼球パラメータ及び視点などを含む複数の変数に関わり、いかなる変数の異常は、いずれも正確性の検証の失敗を引き起こし、検証に失敗した結果が得られると、さらに変数を制御するなどの方法により異常変数をスクリーニングし、視線追跡方法の最適化効率を向上できる。
【0231】
また、上記シミュレーションモジュール１１０５は、上記入力パラメータに外乱を加えた後、予測視点を算出し、上記予測視点と実視点とを比較することにより、視点誤差に対する上記外乱の影響を検証する。シミュレーションモジュール１１０５は、設計された視線追跡システムの実際の使用における性能をシミュレーションするように、各パラメータに任意のタイプの外乱を加えることができる。ユークリッド距離、角度誤差、分散などを統計的に分析することを含めて、外乱後のパラメータを用いて算出された視点予測値を、視点の真値と比較することにより、後続の視線追跡システムの設計及びアルゴリズムの最適化を意図したように指導することができる。例えば、カメラのキャリブレーションパラメータに外乱を加えると、システムに対するキャリブレーションの誤差の影響度を検証でき、光源反射点や瞳孔中心などのキーポイントに画像画素で外乱を加えると、システムに対するキーポイント検出アルゴリズムの誤差の影響度を検証できる。また、シミュレーションモジュール１１０５の大量の実験及びデータ分析により、高精度の視線方向追跡装置の実現の際に最適なハードウェア配置方法を探すために用いられ、ハードウェアのコストを大幅に減少させるとともに、視線方向追跡装置の最適化効率を向上させる。
【0232】
本発明の実施例の別の態様によれば、プロセッサと、プロセッサの実行可能な指令を記憶するためのメモリとを含む電子機器であって、プロセッサは、実行可能な指令を実行させることにより、いずれかの視線方向追跡方法を実行させるように構成される電子機器をさらに提供する。
【0233】
本発明の実施例の別の態様によれば、記憶されたプログラムを含む記憶媒体であって、プログラムが実行されると、いずれかの視線方向追跡方法を実行するように、記憶媒体が位置する機器を制御する記憶媒体をさらに提供する。
【0234】
上記本発明の実施例の番号は、説明のためのものに過ぎず、実施例の優劣を表さない。
【0235】
本発明の上記実施例において、各実施例に対する説明は、いずれもそれぞれ異なる重点をおいて説明したが、ある実施例における詳述されていない部分は、他の実施例の関連説明を参照してもよい。
【0236】
本願によるいくつかの実施例において、理解すべきこととして、開示された技術的内容は、他の方式で実現されてもよい。ここで、以上に説明された装置の実施例は模式的なものに過ぎず、例えば、上記ユニットの区分は論理的機能の区分であってもよく、実際の実現の際に他の区分方式があってもよく、例えば、複数のユニット又はコンポーネントは、組み合わせられてもよく、又は、他のシステムに統合されてもよく、又は、いくつかの特徴は省略するか実行されなくてもよい。また、掲示又は検討された相互間の結合又は直接結合又は通信接続は、いくつかのインタフェース、ユニット又はモジュールを介した間接結合又は通信接続であってもよく、電気的又は他の形態であってもよい。
【0237】
分離部材として説明された上記ユニットは、物理的に分離されたものであっても、そうではなくてもよく、ユニットとして掲示された部材は、物理的ユニットであっても、そうではなくてもよく、即ち、一箇所に位置してもよく、又は、複数のユニットに分布されてもよい。実際の需要に応じてそのうちの一部又は全部のユニットを選択して、本発明の実施例の技術案の目的を実現してもよい。
【0238】
また、本発明の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、各ユニットが単独で物理的に存在してもよく、２つ以上のユニットが１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形態で実現されてもよく、ソフトウェア機能ユニットの形態で実現されてもよい。
【0239】
上記の統合されたユニットは、ソフトウェア機能ユニットの形態で実現され、且つ独立した製品として販売又は使用される場合、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解に基づき、本発明の技術案の本質的又は従来の技術に寄与する部分、又は当該技術案の全部又は一部は、ソフトウェア製品の形態で具現化されてもよく、当該コンピュータソフトウェア製品は、１台のコンピュータ機器（パーソナルコンピュータ、サーバ又はネットワーク機器などであってもよい）に本発明の各実施例に記載される方法の全部又は一部のステップを実行させるための若干の指令を含む１つの記憶媒体に記憶される。前述した記憶媒体は、ＵＳＢディスク、リードオンリーメモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リムーバブルハードディスク、磁気ディスク又は光ディスクなどのプログラムコードを記憶できる様々な媒体を含む。
【0240】
以上説明したものは、本発明の好ましい実施形態に過ぎず、指摘すべきこととして、当業者にとって、本発明の原理から逸脱することなく、若干の改善及び修飾を行うこともでき、これらの改善及び修飾も本発明の保護範囲と見なされるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2024-02-05
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【0043】
本発明の実施例の別の態様によれば、記憶されたプログラムを含む記憶媒体であって、上記プログラムが実行されると、上記の実施例のいずれか一項に記載の視線方向追跡方法を実行するように、上記記憶媒体が位置する機器を制御する記憶媒体をさらに提供する。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【0044】
本発明の実施例の別の態様によれば、プロセッサと、上記プロセッサの実行可能な指令を記憶するためのメモリとを含む電子機器であって、上記プロセッサは、上記実行可能な指令を実行させることにより、上記の実施例のいずれか一項に記載の視線方向追跡方法を実行させるように構成される電子機器をさらに提供する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【0097】
図６は、本発明の実施例による別の選択的なキャリブレーションシーン図である。図６に示すように、視線追跡システムの前方に第３補助カメラが設けられ、第３補助カメラは立体視システムであり、カメラ４２２及び４２４を含み、第３補助カメラの隣にキャリブレーションボード４２８が設けられ、カメラ１１０及び１１６の視野にキャリブレーションボード領域が含まれ、ディスプレイ１０６は第４マーク画像を表示し、第４補助カメラ４２６を、その視野にカメラ及び第３補助カメラが含まれるように設け、立体視システムの視野に、全てのカメラ、光源及び第５マークを含むディスプレイが含まれる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【0110】
図８は、本発明の実施例による別の選択的なキャリブレーションシーン図である。図８に示すように、ディスプレイ１０６の前側に平面鏡５００が置かれ、平面鏡５００に複数のマークパターンが貼り付けられ、マークパターンは、ドット、チェッカーボード、同心円又はその他の区別しやすいパターンであってもよく、且つ個数は４つ以上であり、平面鏡におけるマークパターンの分布は具体的に限定しない。平面鏡は、ディスプレイ１０６、カメラ１１０及びカメラ１１６、光源１１２及び光源１１４を反射し、カメラの視野に、平面鏡に投影された全てのカメラ、光源及びマークを含むディスプレイの像が含まれる。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】０１１７
【補正方法】変更
【補正の内容】
【0117】
本願の実施例において、キャリブレーション方法３の基本的な構想は以下の通りであってもよい。平面鏡５００に複数のマークパターンを貼り付け、マークパターンは、ドット、チェッカーボード、同心円又はその他の区別しやすいパターンであってもよく、且つ個数は４つ以上であり、平面鏡におけるマークパターンの分布は具体的に限定しない。複数のカメラは、ターゲットオブジェクト及び光源を直接取得することができず、鏡面反射原理に基づいて、例えば図８に示すように、平面鏡が、ディスプレイ１０６、カメラ１１０及びカメラ１１６、光源１１２及び光源１１４を反射する。カメラは、鏡面に向けて、平面鏡に投影された全てのカメラ、光源及びマークを含むディスプレイの像を含む反射画像を採集する。全てのマーク点を含む反射画像に基づき、上記複数のカメラ座標系における上記マーク点各々のマーク点座標を決定し、反射画像に含まれる鏡面投影された光源及びターゲットオブジェクトに基づき、複数のカメラ座標系における光源虚像の鏡面光源座標及び複数のカメラ座標系におけるターゲットオブジェクトの鏡面ターゲットオブジェクト座標を決定する。上記少なくとも４つのマーク点座標に基づいて複数のカメラ座標系における鏡面平面を再構成し、鏡面反射原理に基づき、鏡面光源と実際光源とが複数のカメラ座標系において対応する。鏡面光源座標に基づいて、鏡面平面を結合して、第１位置関係を決定し、同様に、鏡面ターゲットオブジェクト座標に基づいて第３位置関係を決定し、第１位置関係及び第３位置関係に基づいて第２位置関係を決定する。キャリブレーション方法３は、固定された平面鏡のみに依存して、複数回の移動による操作の複雑さを回避し、補助カメラに依存せず、補助カメラによって採集されたオブジェクト間の夾角範囲が大きすぎるなどの問題を回避し、キャリブレーションの流れ及びコストを効果的に低減させる。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】０１２０
【補正方法】変更
【補正の内容】
【0120】
カメラ結像原理、光反射及び屈折原理に従って、画像を採集するカメラの位置座標及び内部及び外部パラメータ、並びに光源位置を結合して、世界座標系における角膜曲率中心を算出して決定することができる。光軸方向は、瞳孔中心と角膜曲率中心との連結線であり、瞳孔中心の座標と角膜曲率中心の座標を簡単に算出することで、光軸方向を決定することができ、例えば、瞳孔中心と角膜曲率中心の座標を減算した後、光軸方向を決定することができる。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】０１２９
【補正方法】変更
【補正の内容】
【0129】
具体的に、予め設定された注視点の位置が既知であり、且つ注視点が空間に均一に分布される。ユーザが既知の位置の注視点を注視し、採集されたサンプル画像に含まれるサンプル特徴に基づき、上記角膜瞳孔反射により視線光軸を再構成し、瞳孔中心座標及び予め設定された注視点を結合して視線視軸を復帰させ、当該注視点に対応する補償角度サンプルをさらに取得する。予め設定された注視点に基づいて補償角度サンプルを取得する際に、誤差、例えば検出誤差が存在する可能性があり、本発明は、補償角度サンプルを純化し、異常サンプルをリジェクトし、閾値範囲内の高品質で合理的に分布されるサンプルを保留し、補償角度の正確度をある程度保証するとともに、最終的な補償角度の適用性を保証する。本願は、校正しないか、又は少ない点で比較的簡単に校正することにより、視線追跡をより簡易に実現できる。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】０１９８
【補正方法】変更
【補正の内容】
【0198】
カメラ結像原理、光反射及び屈折原理に従って、画像を採集するカメラの位置座標及び内部及び外部パラメータ、並びに光源位置を結合して、世界座標系における角膜曲率中心を算出して決定することができる。光軸方向は、瞳孔中心と角膜曲率中心との連結線であり、瞳孔中心の座標と角膜曲率中心の座標を簡単に算出することで、光軸方向を決定することができ、例えば、瞳孔中心と角膜曲率中心の座標を減算した後、光軸方向を決定することができる。
【国際調査報告】