特許7339386視線追跡方法、視線追跡装置、端末デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-28
(45)【発行日】2023-09-05
(54)【発明の名称】視線追跡方法、視線追跡装置、端末デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
(51)【国際特許分類】
G06V 40/16 20220101AFI20230829BHJP
G06T 7/00 20170101ALI20230829BHJP
G06V 10/70 20220101ALI20230829BHJP
G06T 1/00 20060101ALI20230829BHJP
G06T 11/60 20060101ALI20230829BHJP
G08G 1/16 20060101ALI20230829BHJP
【ＦＩ】
G06V40/16 Z
G06T7/00 660A
G06T7/00 350B
G06V10/70
G06T1/00 330Z
G06T11/60 100A
G08G1/16 F
【請求項の数】
13
【外国語出願】
(21)【出願番号】P 2022053479
(22)【出願日】2022-03-29
(65)【公開番号】P2022088529
(43)【公開日】2022-06-14
【審査請求日】2022-03-29
(31)【優先権主張番号】202110709957.3
(32)【優先日】2021-06-25
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】521208273
【氏名又は名称】阿波▲羅▼智▲聯▼（北京）科技有限公司
【氏名又は名称原語表記】ＡＰＯＬＬＯ ＩＮＴＥＬＬＩＧＥＮＴ ＣＯＮＮＥＣＴＩＶＩＴＹ（ＢＥＩＪＩＮＧ）ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】１０１， １ｓｔ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ １， Ｙａｒｄ ７， Ｒｕｉｈｅ Ｗｅｓｔ ２ｎｄ Ｒｏａｄ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100166006
【弁理士】
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【弁理士】
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【弁理士】
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】デン シュナン
【審査官】新井 則和
(56)【参考文献】
【文献】米国特許出願公開第２０２１／０１８２６０９（ＵＳ，Ａ１）
【文献】韓国公開特許第１０－２０１６－０１４８０９０（ＫＲ，Ａ）
【文献】米国特許出願公開第２０２１／０１８３０７２（ＵＳ，Ａ１）
【文献】欧州特許出願公開第０３８２２８５０（ＥＰ，Ａ２）
【文献】特開平０７－０５５９４１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ ４０／００－４０／７０
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｖ １０／００－１０／９８
Ｇ０６Ｔ １／００
Ｇ０６Ｔ １１／６０
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
視線追跡方法であって、
運転者の眼球状態画像である第一画像を取得することと、
事前に訓練された視線校正モデルに基づいて、前記第一画像に対応する世界座標系内の車外の注視領域を第一ターゲット領域として決定することと、を含み、
前記視線校正モデルは、
訓練サンプルがラベルポイントを注目しているときの運転者の眼球状態画像と、前記ラベルポイントの位置情報とを含む訓練サンプルセットを取得することと、
前記眼球状態画像を入力し、前記位置情報を出力として使用して、視線校正モデルを訓練して取得することと、を含むモデル訓練方法により得られ、
訓練サンプルセットを取得することは、
ヘッドアップディスプレイによって投影されて形成されたヘッドアップ表示画面に校正板を表示させることであって、前記校正板は異なる領域に事前に分割され、各領域はそれ自体の前記位置情報に対応しており、前記校正板の解像度は前記ヘッドアップディスプレイの解像度と一致するように構成される、ことと、
運転者の位置に座っている試験者が異なる領域を注目しているときの試験者の眼球状態画像を収集して、収集した眼球状態画像と対応する前記位置情報とを訓練サンプルとし、視線校正モデルを訓練するための訓練サンプルセットを得ることを含む、
視線追跡方法。
【請求項2】
前述した事前に訓練された視線校正モデルに基づいて、前記第一画像に対応する世界座標系内の車外の注視領域を第一ターゲット領域として決定することは、前記第一画像を事前に訓練された視線校正モデルに入力して、前記第一画像に対応する視線方向を取得することと、
前記視線方向に対応する世界座標系内の注視領域を決定することと、を含む、
請求項１に記載の方法。
【請求項3】
前記方法は、前記運転者が乗っている車両の周囲環境画像である第二画像を取得することと、
世界座標系と前記第二画像に対応する画像座標系との対応関係に基づいて、前記第一ターゲット領域に対応する前記第二画像内の第二ターゲット領域を決定することと、をさらに含む、
請求項１－２のいずれか一項に記載の方法。
【請求項4】
前記方法は、前記第二ターゲット領域内のポイントオブインタレストＰＯＩオブジェクトを決定することと、
前記画像座標系とヘッドアップ表示画面に対応する表示座標系との対応関係に基づいて、前記ヘッドアップ表示画面内の前記ＰＯＩオブジェクトのターゲット表示位置を決定することと、をさらに含む、
請求項３に記載の方法。
【請求項5】
前述した前記第二ターゲット領域内のポイントオブインタレストＰＯＩオブジェクトを決定することの後に、前記方法は、前記車両の現在位置情報を取得することと、
前記現在位置情報に基づいて前記ＰＯＩオブジェクトの属性情報を取得することと、
前記属性情報を前記ヘッドアップ表示画面内の前記ＰＯＩオブジェクトに重畳表示することと、をさらに含み、
前記ＰＯＩオブジェクトは、建物であり、前記ＰＯＩオブジェクトの属性情報は、前記建物内の商業施設に関する商業情報である、
請求項４に記載の方法。
【請求項6】
視線追跡装置であって、
運転者の眼球状態画像である第一画像を取得するように構成された第一取得モジュールと、
事前に訓練された視線校正モデルに基づいて、前記第一画像に対応する世界座標系内の車外の注視領域を第一ターゲット領域として決定するように構成された第一決定モジュールと、を含み、
前記視線追跡装置は、
訓練サンプルがラベルポイントを注目しているときの運転者の眼球状態画像と、前記ラベルポイントの位置情報とを含む訓練サンプルセットを取得するように構成された訓練サンプルセット取得モジュールと、
前記眼球状態画像を入力し、前記位置情報を出力として使用して、視線校正モデルを訓練して取得するように構成された訓練モジュールと、
前記訓練サンプルセット取得モジュールは、さらに、
ヘッドアップディスプレイによって投影されて形成されたヘッドアップ表示画面に校正板を表示させ、前記校正板は異なる領域に事前に分割され、各領域はそれ自体の前記位置情報に対応しており、前記校正板の解像度は前記ヘッドアップディスプレイの解像度と一致するように構成され、
運転者の位置に座っている試験者が異なる領域を注目しているときの試験者の眼球状態画像を収集して、収集した眼球状態画像と対応する前記位置情報とを訓練サンプルとし、視線校正モデルを訓練するための訓練サンプルセットを得る、ように構成される、
視線追跡装置。
【請求項7】
前記第一決定モジュールは、前記第一画像を事前に訓練された視線校正モデルに入力して、前記第一画像に対応する視線方向を取得するように構成された入力サブモジュールと、
前記視線方向に対応する世界座標系内の注視領域を決定するように構成された決定サブモジュールと、を含む、
請求項６に記載の装置。
【請求項8】
前記装置は、前記運転者が乗っている車両の周囲環境画像である第二画像を取得するように構成された第二取得モジュールと、
前記世界座標系と前記第二画像に対応する画像座標系との対応関係に基づいて、前記第一ターゲット領域に対応する前記第二画像内の第二ターゲット領域を決定するように構成された第二決定モジュールと、をさらに含む、
請求項６－７のいずれか一項に記載の装置。
【請求項9】
前記装置は、前記第二ターゲット領域内のポイントオブインタレストＰＯＩオブジェクトを決定するように構成された第三決定モジュールと、
前記画像座標系とヘッドアップ表示画面に対応する表示座標系との対応関係に基づいて、前記ヘッドアップ表示画面内の前記ＰＯＩオブジェクトのターゲット表示位置を決定するように構成された第四決定モジュールと、をさらに含む、
請求項８に記載の装置。
【請求項10】
前記装置は、前記車両の現在位置情報を取得するように構成された第三取得モジュールと、
前記現在位置情報に基づいて前記ＰＯＩオブジェクトの属性情報を取得するように構成された第四取得モジュールと、
前記属性情報を前記ヘッドアップ表示画面内の前記ＰＯＩオブジェクトに重畳表示するように構成された表示モジュールと、をさらに含み、
前記ＰＯＩオブジェクトは、建物であり、前記ＰＯＩオブジェクトの属性情報は、前記建物内の商業施設に関する商業情報である、
請求項９に記載の装置。
【請求項11】
少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信接続されたメモリと、を含み、
前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶しており、前記命令は、前記少なくとも１つのプロセッサが請求項１－５のいずれか一項に記載の方法を実行できるように前記少なくとも１つのプロセッサによって実行される、
端末デバイス。
【請求項12】
請求項１－５のいずれか一項に記載の方法をコンピュータに実行させるためのコンピュータ命令を記憶する非一時的なコンピュータ可読記憶媒体。
【請求項13】
プロセッサによって実行されると、請求項１－５のいずれか一項に記載の方法を実行するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コンピュータの分野、具体的にはスマート交通や深層学習などの人工知能分野、特に視線追跡方法及び装置、モデル訓練方法及び装置、端末デバイス、コンピュータ可読記憶媒体、およびコンピュータプログラムに関する。
【背景技術】
【0002】
人間視線追跡は、コンピュータビジョンとコンピュータグラフィックスの分野の重要かつ基盤的な問題であり、ヒューマンコンピュータインタラクション、バーチャルリアリティ、拡張現実などの分野でも非常に広く使用される。例えば、コンピュータビジョンでは、顔面上の人間眼球の注目点は、様々なヒューマンコンピュータインタラクション機能を完成させるために使用され得る。拡張現実では、視線方向は、表示内容を調整してより良好な臨場感を生み出すために使用され得る。目が人間の豊かな感情を表現できるので、人間視線追跡の研究は、科学研究および適用の価値が非常に高い。コンピュータグラフィックスとコンピュータビジョンの分野では、高精度の視線方向追跡は、常に重要で挑戦的な問題となっている。
【発明の概要】
【0003】
本開示は、視線追跡方法及び装置、モデル訓練方法及び装置、端末デバイス、コンピュータ可読記憶媒体、およびコンピュータプログラムを提供する。
【0004】
本開示の第一様態によれば、視線追跡方法が提供される。この方法は、運転者の眼球状態画像である第一画像を取得することと、事前に訓練された視線校正モデルに基づいて、第一画像に対応する世界座標系内の注視領域を決定することと、を含む。
【0005】
本開示の第二様態によれば、モデル訓練方法が提供される。この方法は、訓練サンプルがラベルポイントを注目しているときの運転者の眼球画像と、ラベルポイントの位置情報とを含む訓練サンプルセットを取得することと、眼球画像を入力し、位置情報を出力として使用して、視線校正モデルを訓練して取得することと、を含む。
【0006】
本開示の第三様態によれば、視線追跡装置が提供される。この装置は、運転者の眼球状態画像である第一画像を取得するように構成された第一取得モジュールと、事前に訓練された視線校正モデルに基づいて、第一画像に対応する世界座標系内の注視領域を決定するように構成された第一決定モジュールと、を含む。
【0007】
本開示の第四様態によれば、モデル訓練装置が提供される。この装置は、訓練サンプルがラベルポイントを注目しているときの運転者の眼球画像と、ラベルポイントの位置情報とを含む訓練サンプルセットを取得するように構成された第五取得モジュールと、眼球画像を入力し、位置情報を出力として使用して、視線校正モデルを訓練して取得するように構成された訓練モジュールと、を含む。
【0008】
本開示の第五様態によれば、電子デバイスが提供される。この電子デバイスは、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに通信接続されたメモリと、を含み、このメモリは、少なくとも１つのプロセッサによって実行可能な命令を記憶しており、この命令は、少なくとも１つのプロセッサが第一様態の任意の実施形態に記載の方法を実行できるように少なくとも１つのプロセッサによって実行される。
【0009】
本開示の第六様態によれば、第一様態または第二様態の任意の実施形態に記載の方法をコンピュータに実行させるためのコンピュータ命令を記憶する非一時的なコンピュータ可読記憶媒体が提供される。
【0010】
本開示の第七様態によれば、プロセッサによって実行されると、第一様態または第二様態の任意の実施形態に記載の方法を実行するコンピュータプログラムが提供される。
【0011】
このセクションで説明される内容は、本開示の実施例の主要または重要な特徴を特定することを意図するものではなく、また、本開示の範囲を限定することを意図するものでもないことを理解されたい。本開示の他の特徴は、以下の説明から容易に理解されるであろう。
【図面の簡単な説明】
【0012】
図面は、本実施例をより明確に理解するために使用されており、本開示を限定するものではない。ここで、
【図1】本開示が適用され得る例示的なシステムアーキテクチャ図である。
【図2】本開示に係る視線追跡方法の一実施例のフローチャートである。
【図3】本開示に係る視線追跡方法の別の実施例のフローチャートである。
【図4】本開示に係る視線追跡方法のさらに別の実施例のフローチャートである。
【図5】本開示に係るモデル訓練方法の一実施例のフローチャートである。
【図6】本開示に係る視線追跡装置の一実施例の構造概略図である。
【図7】本開示に係るモデル訓練装置の一実施例のフローチャートである。
【図8】本開示の実施例に係る視線追跡方法を実行するための電子デバイスのブロック図である。
【発明を実施するための形態】
【0013】
本開示の例示的な実施例は、理解を容易にするための本開示の実施例の様々な詳細を含む図面と併せて以下に説明され、単なる例示と見なされるべきである。従って、本開示の範囲および精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更および修正を行うことができることは、当業者にとって理解されるであろう。同様に、明瞭性と簡潔性の観点から、公知の機能と構造に関する説明は、以下の説明において省略される。
【0014】
なお、本開示の実施例および実施例の特徴は、矛盾しない限り、互いに組み合わせることができる。以下、図面および実施例を参照して本開示を詳細に説明する。
【0015】
図１は、本開示の視線追跡方法または視線追跡装置の実施例が適用され得る例示的なシステムアーキテクチャ１００を示す。
【0016】
図１に示すように、システムアーキテクチャ１００は、端末デバイス１０１、１０２、１０３、ネットワーク１０４、およびサーバ１０５を含み得る。ネットワーク１０４は、端末デバイス１０１、１０２、１０３とサーバ１０５との間の通信リンクを提供するための媒体である。ネットワーク１０４は、有線、無線通信リンク、または光ファイバケーブルなどの様々な接続タイプを含み得る。
【0017】
ユーザは、端末デバイス１０１、１０２、１０３を使用してネットワーク１０４を介してサーバ１０５と対話して、情報などを送受信することができる。端末デバイス１０１、１０２、１０３には、様々なクライアントアプリケーションがインストールされ得る。
【0018】
端末デバイス１０１、１０２、１０３は、ハードウェアであり得るか、またはソフトウェアであり得る。端末デバイス１０１、１０２、１０３がハードウェアである場合、それらは、スマートフォン、タブレットコンピュータ、ラップトップポータブルコンピュータ、デスクトップコンピュータなどを含むがこれらに限定されない、様々な電子デバイスであり得る。端末デバイス１０１、１０２、１０３がソフトウェアである場合、それらは、上記電子デバイスにインストールされ得る。それらは、複数のソフトウェアまたはソフトウェアモジュールとして実装され得るか、または単一のソフトウェアまたはソフトウェアモジュールとして実装され得る。ここでは特に限定されない。
【0019】
サーバ１０５は様々なサービスを提供することができる。例えば、サーバ１０５は、端末デバイス１０１、１０２、１０３から取得された第一画像を分析して処理し、処理結果（例えば、注目領域）を生成することができる。
【0020】
なお、サーバ１０５は、ハードウェアであり得るか、またはソフトウェアであり得る。サーバ１０５がハードウェアである場合、それは、複数のサーバからなる分散型サーバクラスタとして実装され得るか、または単一のサーバとして実装され得る。サーバ１０５がソフトウェアである場合、それは、複数のソフトウェアまたはソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実装され得るか、または単一のソフトウェアまたはソフトウェアモジュールとして実装され得る。ここでは特に限定されない。
【0021】
なお、本開示の実施例によって提供される視線追跡方法が一般にサーバ１０５によって実行されるため、視線追跡装置は、一般にサーバ１０５内に配置される。
【0022】
図１中の端末デバイス、ネットワーク、およびサーバの数は、単なる例示であることを理解されたい。実際のニーズに応じて、端末デバイス、ネットワーク、およびサーバの数が任意に設定され得る。
【0023】
【0024】
ステップ２０１：第一画像を取得する。
【0025】
本実施例では、視線追跡方法の実行主体（例えば、図１に示すサーバ１０５）は、運転者の眼球状態画像である第一画像を取得することができる。
【0026】
第一画像は運転者が乗っている車両の画像センサによって収集され得、本実施例の画像センサはカメラセンサ（以下、カメラと略称される）であり、実際の状況に応じて他の画像センサが採用され得るが、本開示では特に限定されない。上記カメラは、運転者の眼球状態画像をリアルタイムで撮影することができる。
【0027】
ステップ２０２：事前に訓練された視線校正モデルに基づいて、第一画像に対応する世界座標系内の注視領域を決定する。
【0028】
本実施例では、上記実行主体は、事前に訓練された視線校正モデルに基づいて、第一画像に対応する世界座標系内の注視領域を決定することができる。ここで、視線校正モデルは、事前に訓練されたモデルである。それは、運転者の眼球状態を表す第一画像を事前に訓練されたこの視線校正モデルに入力して、この第一画像に対応する運転者の注視方向を決定し、次に、決定された注視方向に基づいて第一画像に対応する世界座標系内の注視領域を決定して、運転者の視線追跡を実現することができる。この注視領域は、最終的に決定されるべき運転者の興味のある領域である。
【0029】
なお、世界座標系は、システムの絶対座標系であり、ユーザ座標系が確立される前に画面上のすべての点は、この座標系の原点に基づいてそれ自体の位置を決定する。
【0030】
本開示の実施例によって提供される視線追跡方法は、まず、運転者の眼球状態を表す第一画像を取得し、次に、事前に訓練された視線校正モデルに基づいて、第一画像に対応する世界座標系内の注視領域を決定する。本開示は、視線追跡方法を提供する。この方法は、事前に訓練された視線校正モデルに基づいて運転者の視線を校正することにより、運転者の視線範囲内の物体またはオブジェクトの追跡を実現して、視線追跡精度を向上させることができる。
【0031】
【0032】
ステップ３０１：第一画像を取得する。
【0033】
ステップ３０１は前記実施例のステップ２０１と基本的に一致しており、特定の実施形態には前記ステップ２０１の説明を参照することができるので、ここでは繰り返されない。
【0034】
ステップ３０２：第一画像を事前に訓練された視線校正モデルに入力して、第一画像に対応する視線方向を取得する。
【0035】
本実施例では、視線追跡方法の実行主体（例えば、図１に示すサーバ１０５）は、第一画像を事前に訓練された視線校正モデルに入力して、第一画像に対応する視線方向を取得することができる。
【0036】
運転者が運転している道路の両側の異なる建築物を注目しているとき、その視線方向が異なり、それに対応する眼球向き情報も異なるため、本実施例では、運転者の視線方向は、運転者の眼球状態を表す第一画像を事前に訓練された視線校正モデルに入力して、第一画像に対応する視線方向を取得することによって決定される。
【0037】
ステップ３０３：視線方向に対応する世界座標系内の注視領域を決定する。
【0038】
本実施例では、上記実行主体は、視線方向に対応する世界座標系内の注視領域を決定することができる。世界座標系は実世界での座標系である。それは、運転者の視線方向を決定した後、視線方向に基づいて世界座標系内の注視領域を決定することができる。この注視領域は視線方向に対応する。例えば、運転者の視線方向が左前方であると決定した後、左前方に対応する世界座標系内の領域がこの注視領域であると決定することができる。
【0039】
図３から分かるように、図２に対応する実施例と比べて、本実施例の視線追跡方法は、視線校正モデルの訓練ステップと、この視線校正モデルに基づいて、第一画像に対応する視線方向を決定し、視線方向に対応する世界座標系内の注目領域を決定するステップとを強調しており、この方法は、視線校正精度を向上させ、適用範囲を広げる。
【0040】
【0041】
ステップ４０１：第一画像を取得する。
【0042】
ステップ４０２：第一画像を事前に訓練された視線校正モデルに入力して、第一画像に対応する視線方向を取得する。
【0043】
ステップ４０３：視線方向に対応する世界座標系内の注視領域を決定する。
【0044】
ステップ４０１－４０３は前記実施例のステップ３０１－３０３と基本的に一致しており、特定の実施形態には前記ステップ３０１－３０３の説明を参照することができるので、ここでは繰り返されない。
【0045】
ステップ４０４：第二画像を取得する。
【0046】
本実施例では、視線追跡方法の実行主体（例えば、図１に示すサーバ１０５）は、運転者が乗っている車両の周囲環境画像である第二画像を取得することができる。
【0047】
第二画像は運転者が乗っている車両の別のカメラによって収集され得、即ち、運転者が乗っている車両には２つのカメラが取り付けられ得、１つは運転者の眼球状態画像を内部から収集することができ、もう１つは運転者が乗っている車両の周囲環境画像を外部から収集することができる。当然のことながら、実際の状況に応じてカメラの数が任意に設定されるが、本開示では特に限定されない。
【0048】
第二画像は、この車両が走行する道路の両側の各建築物を含み得、障害物などをさらに含み得る。
【0049】
ステップ４０５：世界座標系と第二画像に対応する画像座標系との対応関係に基づいて、第一ターゲット領域に対応する第二画像内の第二ターゲット領域を決定する。
【0050】
本実施例では、上記実行主体は、世界座標系と第二画像に対応する画像座標系との対応関係に基づいて、第一ターゲット領域に対応する第二画像内の第二ターゲット領域を決定することができる。
【0051】
第二画像が現実の環境内のオブジェクトを撮影した画像であるため、第二画像は世界座標系に対応しており、第二画像には画像座標系もある場合、世界座標系と第二画像に対応する画像座標系との対応関係に基づいて、第一ターゲット領域に対応する第二画像内の第二ターゲット領域を決定することができる。第二ターゲット領域は、運転者の視線方向に対応する第二画像内の領域である。
【0052】
なお、カメラによって収集されたデジタル画像は、コンピュータに配列として記憶され得、配列内の各要素（画素、ｐｉｘｅｌ）の値は、画像点の輝度（グレースケール）である。画像には直角座標系ｕ－ｖが定義されており、各画素の座標（ｕ、ｖ）はそれぞれ、配列内のこの画素の列数および行数である。従って、（ｕ、ｖ）は、画素を単位とした画像座標系での座標である。
【0053】
ステップ４０６：第二ターゲット領域内のＰＯＩオブジェクトを決定する。
【0054】
本実施例では、上記実行主体は、第二ターゲット領域内のＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ、ポイントオブインタレスト）オブジェクトを決定することができる。第二ターゲット領域が運転者の視線方向に対応する第二画像内の領域であるため、第二ターゲット領域は、運転者の注目領域であり、第二ターゲット領域内のターゲットオブジェクトは、本実施例のＰＯＩオブジェクト、即ち、運転者の注目オブジェクトである。従って、上記実行主体は、第二ターゲット領域内のＰＯＩオブジェクトを決定することができる。
【0055】
本実施例のいくつかの代替実施形態では、上記視線追跡方法は、車両の現在位置情報を取得することと、現在位置情報に基づいてＰＯＩオブジェクトの属性情報を取得することと、をさらに含む。
【0056】
本実施形態では、上記実行主体は、車両の現在位置情報を取得することができる。ここで、現在位置情報は、車両上のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、タイミング測距ナビゲーション衛星の全地球測位システム）によって取得され得るか、または車両上のＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、慣性計測装置）センサによって取得され得るが、本開示では特に限定されない。現在位置情報は、世界座標系内の現在位置の座標であり得る。
【0057】
車両の現在位置情報を取得した後、取得された現在位置情報に基づいてＰＯＩオブジェクトの属性情報を取得することができる。例えば、現在位置の座標に基づいてこのＰＯＩオブジェクトの属性情報を地図から取得することができる。ここで、属性情報は、ＰＯＩオブジェクトの名称、カテゴリ情報などであり得る。例えば、ＰＯＩオブジェクトがデパートである場合、その属性情報は、このデパートの名称、デパート内の店舗の活動推薦、活動の割引情報などの情報を含み得る。ＰＯＩオブジェクトが運転者の興味のあるオブジェクトであるため、本実施例では、ＰＯＩオブジェクトの属性情報を取得して、より包括的な情報を運転者にフィードバックすることもできる。
【0058】
ステップ４０７：画像座標系とヘッドアップ表示画面に対応する表示座標系との対応関係に基づいて、ヘッドアップ表示画面内のＰＯＩオブジェクトのターゲット表示位置を決定する。
【0059】
本実施例では、上記実行主体は、画像座標系とヘッドアップ表示画面に対応する表示座標系との対応関係に基づいて、ヘッドアップ表示画面内のＰＯＩオブジェクトのターゲット表示位置を決定することもできる。
【0060】
本実施例では、ヘッドアップ表示画面はヘッドアップディスプレイによって投影されて形成されており、ヘッドアップ表示画面には対応する表示座標系もあり、ＰＯＩオブジェクトが第二画像内のオブジェクトであり、この表示座標系と第二画像に対応する画像座標系との間には対応関係もあるので、上記実行主体は、表示座標系と画像座標系との対応関係に基づいて、ヘッドアップ表示画面内のＰＯＩオブジェクトのターゲット表示位置を決定して、このターゲット表示位置にこのＰＯＩオブジェクトを表示することができる。
【0061】
ステップ４０８：ヘッドアップ表示画面内のターゲット表示位置にＰＯＩオブジェクトを表示する。
【0062】
本実施例では、上記実行主体は、ヘッドアップ表示画面内のターゲット表示位置に上記ＰＯＩオブジェクトを表示し、上記属性情報をヘッドアップ表示画面内のＰＯＩオブジェクトに重畳表示することができる。ターゲット表示位置がＰＯＩオブジェクトの実位置情報（即ち、第二画像内の位置情報）に対応するので、ＰＯＩオブジェクトのターゲット表示位置が決定された後、ヘッドアップディスプレイは、ＰＯＩをターゲット表示位置に投影して、ＰＯＩオブジェクトを運転者により直感的で正確に表示することができる。
【0063】
ステップ４０９：属性情報をヘッドアップ表示画面内のＰＯＩオブジェクトに重畳表示する。
【0064】
本実施例では、上記実行主体は、ＰＯＩオブジェクトの属性情報をＰＯＩオブジェクトに重畳表示することにより、これらの属性情報を現実の建物と融合して、拡張現実効果を達成することができる。例えば、ＰＯＩオブジェクトがデパートである場合、上記実行主体は、このデパートをターゲット表示位置にレンダリングし、このデパートの名称、デパート内の活動情報などをこのＰＯＩオブジェクトに重畳表示することができる。
【0065】
図４から分かるように、図３に対応する実施例と比べて、本実施例の視線追跡方法はさらに、第二画像を取得し、世界座標系と第二画像に対応する画像座標系との対応関係に基づいて、第一ターゲット領域に対応する第二画像内の第二ターゲット領域を決定し、第二ターゲット領域内のＰＯＩオブジェクトを決定し、次に、車両の現在位置情報を取得し、現在位置情報に基づいてＰＯＩオブジェクトの属性情報を取得し、最後に、画像座標系とヘッドアップ表示画面に対応する表示座標系との対応関係に基づいて、ヘッドアップ表示画面内のＰＯＩオブジェクトのターゲット表示位置を決定し、ヘッドアップ表示画面内のターゲット表示位置にＰＯＩオブジェクトを表示し、属性情報をヘッドアップ表示画面内のＰＯＩオブジェクトに重畳表示することにより、オブジェクトの属性情報を現実の建物と融合して、拡張現実効果を達成する。
【0066】
本開示の技術的解決手段に係るユーザ個人情報の取得、記憶、適用などはいずれも、関連法令の規定を満たしており、公序良俗に違反していない。
【0067】
【0068】
ステップ５０１：訓練サンプルセットを取得する。
【0069】
本実施例では、モデル訓練方法の実行主体（例えば、図１に示すサーバ１０５）は、訓練サンプルがラベルポイントを注目しているときの運転者の眼球画像と、ラベルポイントの位置情報とを含む訓練サンプルセットを取得することができる。
【0070】
本実施例では、訓練サンプルセットを取得するとき、校正板を配置して、ヘッドアップディスプレイによって投影されて形成されたヘッドアップ表示画面にこの校正板を表示することができる。ここで、校正板は異なる領域に事前に分割され得、各領域はそれ自体の位置情報に対応しており、校正板の解像度はヘッドアップディスプレイの解像度と一致すべきであり、例えば、それらの解像度はいずれも８５４＊４８０である。また、校正板は碁盤目状でもあり得るが、本実施例では特に限定されない。
【0071】
次に、試験者が運転者の位置に座って（または運転者は試験を直接実行する）、校正板上の異なるデータ、即ち、校正板上の異なる領域を注目するようにして、異なる領域を注目しているときの試験者の眼球状態画像を収集して、視線校正モデルを訓練するための訓練サンプルセットを取得することができる。訓練サンプルセットは、ラベルポイントを注目しているときの運転者の眼球画像と、ラベルポイントの位置情報とを含む。ここで、ラベルポイントの位置情報は手動でラベル付けされ得、例えば、位置情報は五行三列としてラベル付けされる。
【0072】
ステップ５０２：眼球画像を入力し、位置情報を出力として使用して、視線校正モデルを訓練して取得する。
【0073】
本実施例では、上記実行主体は、眼球画像を入力し、位置情報を出力として使用して、視線校正モデルを訓練して取得することができる。
【0074】
訓練サンプルセットを取得した後、この訓練サンプルセットを深層学習モデルに入力し、深層学習モデルを訓練して、訓練された視線校正モデルを取得する。この視線校正モデルの入力は運転者の眼球画像であり、出力はその眼球画像に対応する位置情報である。ここで、深層学習モデルは、従来のモデルとして採用され得るが、本開示では特に限定されない。
【0075】
本開示の実施例によって提供されるモデル訓練方法は、まず、訓練サンプルセットを取得し、次に眼球画像を入力し、位置情報を出力として使用して、視線校正モデルを訓練して取得する。本開示は、モデル訓練方法を提供する。この方法は、視線校正モデルを訓練して取得することができるので、視線校正結果をより正確にすることができる。
【0076】
【0077】
図６に示すように、本実施例の視線追跡装置６００は、第一取得モジュール６０１、および第一決定モジュール６０２を含み得る。ここで、第一取得モジュール６０１は、運転者の眼球状態画像である第一画像を取得するように構成される。第一決定モジュール６０２は、事前に訓練された視線校正モデルに基づいて、第一画像に対応する世界座標系内の注視領域を決定するように構成される。
【0078】
本実施例では、視線追跡装置６００の第一取得モジュール６０１、および第一決定モジュール６０２の具体的な処理とその技術的効果については、それぞれ図２に対応する実施例のステップ２０１－２０２の関連説明を参照することができるので、ここでは繰り返さない。
【0079】
本実施例のいくつかの代替実施形態では、第一決定モジュールは、第一画像を事前に訓練された視線校正モデルに入力して、第一画像に対応する視線方向を取得するように構成された入力サブモジュールと、視線方向に対応する世界座標系内の注視領域を決定するように構成された決定サブモジュールと、を含む。
【0080】
本実施例のいくつかの代替実施形態では、上記視線追跡装置は、運転者が乗っている車両の周囲環境画像である第二画像を取得するように構成された第二取得モジュールと、世界座標系と第二画像に対応する画像座標系との対応関係に基づいて、第一ターゲット領域に対応する第二画像内の第二ターゲット領域を決定するように構成された第二決定モジュールと、をさらに含む。
【0081】
本実施例のいくつかの代替実施形態では、上記視線追跡装置は、第二ターゲット領域内のポイントオブインタレストＰＯＩオブジェクトを決定するように構成された第三決定モジュールと、画像座標系とヘッドアップ表示画面に対応する表示座標系との対応関係に基づいて、ヘッドアップ表示画面内のＰＯＩオブジェクトのターゲット表示位置を決定するように構成された第四決定モジュールと、をさらに含む。
【0082】
本実施例のいくつかの代替実施形態では、上記視線追跡装置は、車両の現在位置情報を取得するように構成された第三取得モジュールと、現在位置情報に基づいてＰＯＩオブジェクトの属性情報を取得するように構成された第四取得モジュールと、属性情報をヘッドアップ表示画面内のＰＯＩオブジェクトに重畳表示するように構成された表示モジュールと、をさらに含む。
【0083】
【0084】
図７に示すように、本実施例のモデル訓練装置７００は、第五取得モジュール７０１、および訓練モジュール７０２を含み得る。ここで、第五取得モジュール７０１は、訓練サンプルがラベルポイントを注目しているときの運転者の眼球画像と、ラベルポイントの位置情報とを含む訓練サンプルセットを取得するように構成される。訓練モジュール７０２は、眼球画像を入力し、位置情報を出力として使用して、視線校正モデルを訓練して取得するように構成される。
【0085】
本実施例では、モデル訓練装置７００の第五取得モジュール７０１、および訓練モジュール７０２の具体的な処理とその技術的効果については、それぞれ図５に対応する実施例のステップ５０１－５０２の関連説明を参照することができるので、ここでは繰り返さない。
【0086】
本開示の実施例によれば、本開示は、電子デバイス、可読記憶媒体、およびコンピュータプログラム製品をさらに提供する。
【0087】
図８は、本開示の実施例を実施するために使用され得る例示的な電子デバイス８００の概略ブロック図を示す。電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、およびその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを意図する。電子デバイスは、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス、および他の同様のコンピューティングデバイスなど、様々な形態のモバイルデバイスを表すこともできる。本明細書に示されるコンポーネント、それらの接続と関係、およびそれらの機能は単なる例示であり、本明細書に説明および／または請求される本開示の実施形態を限定することを意図したものではない。
【0088】
図８に示すように、デバイス８００は、リードオンリメモリ（ＲＯＭ）８０２に記憶されたコンピュータプログラム、または記憶ユニット８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたコンピュータプログラムに従って、各種の適切な動作および処理を実行することができる計算ユニット８０１を含む。ＲＡＭ８０３には、デバイス８００の動作に必要な各種のプログラムおよびデータも記憶され得る。計算ユニット８０１、ＲＯＭ８０２、およびＲＡＭ８０３は、バス８０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース８０５も、バス８０４に接続される。
【0089】
デバイス８００内の複数のコンポーネントは、Ｉ／Ｏインターフェース８０５に接続されており、キーボード、マウスなどの入力ユニット８０６と、各種の視線追跡装置、スピーカーなどの出力ユニット８０７と、磁気ディスク、光ディスクなどの記憶ユニット８０８と、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット８０９と、を含む。通信ユニット８０９は、デバイス８００が、インターネットなどのコンピュータネットワーク、および／または様々な通信ネットワークを介して、他の装置との間で情報／データを交換することを可能にする。
【0090】
計算ユニット８０１は、処理能力および計算能力を備えた様々な汎用および／または専用の処理コンポーネントであり得る。計算ユニット８０１のいくつかの例は、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット８０１は、上記様々な方法および処理、例えば、視線追跡方法を実行する。例えば、いくつかの実施例では、視線追跡方法は、記憶ユニット８０８などの機械可読媒体に具体的に含まれるコンピュータソフトウェアプログラムとして実装され得る。いくつかの実施例では、コンピュータプログラムの一部または全部は、ＲＯＭ８０２および／または通信ユニット８０９を介して、デバイス８００にロードおよび／またはインストールされ得る。コンピュータプログラムがＲＡＭ８０３にロードされ、計算ユニット８０１によって実行されると、上記視線追跡方法の１つまたは複数のステップが実行され得る。あるいは、他の実施例では、計算ユニット８０１は、他の任意の適切な手段（例えば、ファームウェア）を介して、視線追跡方法を実行するように構成され得る。
【0091】
本明細書に記載のシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途用標準品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、ロードプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実装され得る。これらの様々な実施形態は、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信したり、この記憶システム、この少なくとも１つの入力装置、およびこの少なくとも１つの出力装置にデータおよび命令を送信したりすることができる専用又は汎用のプログラマブルプロセッサであり得る少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行および／または解釈され得る１つまたは複数のコンピュータプログラムに実装されることを含み得る。
【0092】
本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語の任意の組み合わせで書かれ得る。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラマブル視線追跡装置のプロセッサまたはコントローラに提供され得るので、プログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図で指定された機能／動作が実行される。プログラムコードは、完全にマシン上で実行され得るか、または部分的にマシン上で実行され得るか、または独立したソフトウェアパッケージとして、部分的にマシン上で、部分的にリモートマシン上で実行され得るか、または完全にリモートマシンまたはサーバ上で実行され得る。
【0093】
本開示の文脈において、機械可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれらと組み合わせて使用するためのプログラムを含むかまたは記憶することができる有形媒体であり得る。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置またはデバイス、または上記の任意の適切な組み合わせを含み得るが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１本または複数本の導線を備えた電気コネクタ、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブル・コンパクト・ディスク・リードオンリメモリ（ＣＤ－ＲＯＭ）、光学メモリ、磁気メモリ、または上記の任意の適切な組み合わせを含む。
【0094】
ユーザとの対話を提供するために、本明細書に記載のシステムおよび技術は、視線追跡情報をユーザに表示するための視線追跡装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶視線追跡装置）モニタ）と、ユーザが入力をコンピュータに提供することを可能にするキーボードとポインティングデバイス（例えば、マウスまたはトラックボール）とを備えたコンピュータに実装され得る。他のタイプの装置は、ユーザとの対話を提供するためにも使用されており、例えば、任意の形態の感覚フィードバック（例えば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバック）をユーザに提供したり、任意の形態（音響入力、音声入力、および触覚入力を含む形態）を使用してユーザからの入力を受信したりするために使用され得る。
【0095】
本明細書に記載のシステムおよび技術は、バックエンドコンポーネント（例えば、データサーバ）を含むコンピュータシステム、ミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含むコンピュータシステム、フロントエンドコンポーネント（例えば、ユーザが本明細書に記載のシステムおよび技術の実施形態と対話することを可能にするグラフィカルユーザインターフェースまたはウェブブラウザを備えたユーザコンピュータ）を含むコンピュータシステム、または、これらバックエンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントの任意の組み合わせを含むコンピュータシステムに実装され得る。システムのコンポーネントは、デジタルデータ通信の任意の形態または媒体（例えば、通信ネットワーク）を介して互いに接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、およびインターネットを含む。
【0096】
コンピュータシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは通常、互いに遠く離れており、通信ネットワークを介して対話する。クライアントとサーバとの関係は、対応するコンピュータで実行され、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであり得るか、または分散型システムのサーバ、またはブロックチェーンを組み合わせたサーバであり得る。
【0097】
ステップの並べ替え、追加、または削除は、上記様々な形態のプロセスによって実行され得ることを理解されたい。例えば、本開示に記載の各ステップは、本開示に開示された技術的解決手段の所望の結果が達成できる限り、並行して、順次に、または異なる順序で実行され得るが、本明細書に限定されない。
【0098】
上記特定の実施形態は、本開示の保護範囲を限定するものではない。設計要件および他の要因に応じて、様々な修正、組み合わせ、副次的組み合わせおよび置換を行うことができることは、当業者にとって明らかであろう。本開示の精神と原則の範囲内で行われた修正、同等置換、改良などは、本開示の保護範囲に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
