特開 2023-2703 表示方法、表示装置、電子機器、記憶媒体及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023002703

(43)【公開日】2023-01-10

(54)【発明の名称】表示方法、表示装置、電子機器、記憶媒体及びコンピュータプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221227BHJP

   G06V 10/70 20220101ALI20221227BHJP

   G06T 7/70 20170101ALI20221227BHJP

   G06T 15/30 20110101ALI20221227BHJP

   G06F 3/04815 20220101ALI20221227BHJP

【ＦＩ】

G06T19/00 A

G06V10/70

G06T7/70 A

G06T15/30

G06F3/04815

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

【公開請求】

(21)【出願番号】P 2022168596

(22)【出願日】2022-10-20

(31)【優先権主張番号】202111614532.0

(32)【優先日】2021-12-27

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100106518

【弁理士】

【氏名又は名称】松谷 道子

(74)【代理人】

【識別番号】100189555

【弁理士】

【氏名又は名称】徳山 英浩

(72)【発明者】

【氏名】鐘 鵬飛

(72)【発明者】

【氏名】李 江勇

(72)【発明者】

【氏名】劉 瑜

(72)【発明者】

【氏名】任 曉華

(72)【発明者】

【氏名】黄 曉琳

(72)【発明者】

【氏名】趙 慧斌

(72)【発明者】

【氏名】董 粤強

(57)【要約】      （修正有）

【課題】表示方法、表示装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。
【解決手段】表示方法は、画像中の対象の眼部位置情報を確定し、眼部位置情報に基づいて、裸眼３Ｄのカメラ位置情報を確定し、カメラ位置情報に基づいて、目スペースを作成し、投影情報に基づいて、目スペース中の目標物体の物体位置情報により、目標物体の投影平面における投影位置情報を取得し、投影位置情報に基づいて、目標物体を表示する。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像中の対象の眼部位置情報を確定することと、
前記眼部位置情報に基づいて、裸眼３Ｄのカメラ位置情報を確定することと、
前記カメラ位置情報に基づいて、目スペースを作成することと、
投影情報に基づいて、前記目スペース中の目標物体の物体位置情報により、前記目標物体の投影平面における投影位置情報を取得することと、
前記投影位置情報に基づいて、前記目標物体を表示することと、を含む、
表示方法。

【請求項2】

前記画像中の対象の眼部位置情報を確定することは、
画像に対して対象識別を行って画像が対象を含むと確定した場合、前記画像を処理し、 前記対象の眼部位置情報を取得することを含む、
請求項１に記載の方法。

【請求項3】

前記画像を処理し、前記対象の眼部位置情報を取得することは、
前記画像に対して目標検出を行い、前記対象の眼部位置情報を取得することを含む、
請求項２に記載の方法。

【請求項4】

前記画像に対して目標検出を行い、前記対象の眼部位置情報を取得することは、
目標検出モデルを用いて画像を処理し、前記対象の眼部位置情報を取得することを含む、
請求項３に記載の方法。

【請求項5】

前記投影情報は、投影行列を含み、
前記投影情報に基づいて、前記目スペース中の目標物体の物体位置情報により、前記目標物体の投影平面における投影位置情報を取得することは、
前記投影行列と前記目スペース中の目標物体の物体位置情報を乗算して、前記目標物体のクリップ位置情報を取得することと、
前記目標物体のクリップ位置情報に基づいて、前記目標物体の投影平面における投影位置情報を取得することと、を含む、
請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記眼部位置情報は、利き目の眼部位置情報を含む、
請求項１～４のいずれか１項に記載の方法。

【請求項7】

前記投影行列は、所定の座標範囲と、前記目スペースに対応する目標視錐体の近裁断平面の辺長とに基づいて確定された、
請求項５に記載の方法。

【請求項8】

画像中の対象の眼部位置情報を確定するための第１の確定モジュールと、
前記眼部位置情報に基づいて、裸眼３Ｄのカメラ位置情報を確定するための第２の確定モジュールと、
前記カメラ位置情報に基づいて、目スペースを作成するための作成モジュールと、
投影情報に基づいて、前記目スペース中の目標物体の物体位置情報により、前記目標物体の投影平面における投影位置情報を取得するための取得モジュールと、
前記投影位置情報に基づいて、前記目標物体を表示するための表示モジュールと、を含む、
表示装置。

【請求項9】

前記第１の確定モジュールは、
画像に対して対象識別を行って画像が対象を含むと確定した場合、前記画像を処理し、 前記対象の眼部位置情報を取得するための第１の取得サブモジュールを含む、
請求項８に記載の装置。

【請求項10】

前記第１の取得サブモジュールは、
前記画像に対して目標検出を行い、前記対象の眼部位置情報を取得するための取得ユニットを含む、
請求項９に記載の装置。

【請求項11】

前記取得ユニットは、
目標検出モデルを用いて画像を処理し、前記対象の眼部位置情報を取得するための取得サブユニットを含む、
請求項１０に記載の装置。

【請求項12】

前記投影情報は、投影行列を含み、
前記取得モジュールは、
前記投影行列と前記目スペース中の目標物体の物体位置情報を乗算して、前記目標物体のクリップ位置情報を取得するための第２の取得サブモジュールと、
前記目標物体のクリップ位置情報に基づいて、前記目標物体の投影平面における投影位置情報を取得するための第３の取得サブモジュールと、を含む、
請求項８～１１のいずれか１項に記載の装置。

【請求項13】

前記眼部位置情報は、利き目の眼部位置情報を含む、
請求項８～１１のいずれか１項に記載の装置。

【請求項14】

前記投影行列は、所定の座標範囲と、前記目スペースに対応する目標視錐体の近裁断平面の辺長とに基づいて確定された、
請求項１２に記載の装置。

【請求項15】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリとを備える電子機器であって、
前記メモリには、前記少なくとも１つのプロセッサによって実行され得る命令が記憶されており、前記少なくとも１つのプロセッサが請求項１～７のいずれか一項に記載の方法を実行することができるように前記命令が前記少なくとも１つのプロセッサによって実行される、
電子機器。

【請求項16】

コンピュータに請求項１～４のいずれか一項に記載の方法を実行させるためのコンピュータ命令を記憶している、
非一時的なコンピュータ可読記憶媒体。

【請求項17】

プロセッサにより実行される場合に、請求項１～４のいずれか一項に記載の方法を実現するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理技術分野に関し、特に、裸眼３Ｄ画像表示技術及びコンピュータビジョン技術分野に関する。具体的には、表示方法、表示装置、電子機器、記憶媒体及びコンピュータプログラムに関する。

【背景技術】

【0002】

コンピュータ技術の発展に伴い、表示技術はますます成熟している。裸眼３Ｄ画像表示技術は、対象の日常生活に徐々に浸透している。裸眼３Ｄ画像表示技術とは、補助機器を装着することなく、３Ｄ表示画面を見ることができる技術である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、表示方法、表示装置、電子機器および記憶媒体を提供する。

【課題を解決するための手段】

【0004】

本開示の一態様は、画像中の対象の眼部位置情報を確定することと、前記眼部位置情報に基づいて、裸眼３Ｄのカメラ位置情報を確定することと、前記カメラ位置情報に基づいて、目スペースを作成することと、投影情報に基づいて、前記目スペース中の目標物体の物体位置情報により、前記目標物体の投影平面における投影位置情報を取得することと、前記投影位置情報に基づいて、前記目標物体を表示することと、を含む、表示方法を提供する。

【0005】

本開示の他の態様は、画像中の対象の眼部位置情報を確定するための第１の確定モジュールと、前記眼部位置情報に基づいて、裸眼３Ｄのカメラ位置情報を確定するための第２の確定モジュールと、前記カメラ位置情報に基づいて、目スペースを作成するための作成モジュールと、投影情報に基づいて、前記目スペース中の目標物体の物体位置情報により、前記目標物体の投影平面における投影位置情報を取得するための取得モジュールと、前記投影位置情報に基づいて、前記目標物体を表示するための表示モジュールと、を含む、表示装置を提供する。

【0006】

本開示の他の態様は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信接続されるメモリとを備える電子機器であって、前記メモリには、前記少なくとも１つのプロセッサによって実行され得る命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが本開示に記載の方法を実行することができる、電子機器を提供する。

【0007】

本開示の他の態様は、コンピュータに本開示に記載の方法を実行させるためのコンピュータ命令を記憶している、非一時的なコンピュータ可読記憶媒体を提供する。

【0008】

本開示の他の態様は、プロセッサにより実行される場合に、本開示に記載の方法を実現するコンピュータプログラムを提供する。

【0009】

本部分に記載された内容は、本開示の実施例のキーポイントまたは重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもないと理解されるべきである。本開示の他の特徴は、以下の説明により容易に理解される。

【図面の簡単な説明】

【0010】

図面は、本開示の発明をよく理解するために用いられ、本開示を限定するものではない。

【0011】

【図1】本開示の実施例に係る表示方法及び装置を適用できる例示的なシステムアーキテクチャを模式的に示す図である。

【図2】本開示の実施例に係る表示方法を模式的に示すフローチャートである。

【図3A】本開示の実施例に係る目標視錐体を模式的に示す例示的な概略図である。

【図3B】本開示の実施例に係る目標視錐体を模式的に示す平面概略図である。

【図4】本開示の実施例に係る表示過程を模式的に示す例示的な概略図である。

【図5】本開示の実施例に係る表示装置を模式的に示すブロック図である。

【図6】本開示の実施例に係る表示方法を実現することに適する電子機器を模式的に示すブロック図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細は含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更や補正を行うことができ、本開示の範囲及び精神から逸脱することはないと分るべきである。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。

【0013】

本開示の実施例は、表示手段を提供している。画像中の対象の眼部位置情報を確定し、眼部位置情報に基づいて、裸眼３Ｄのカメラ位置情報を確定し、カメラ位置情報に基づいて、目スペースを作成し、投影情報に基づいて、目スペース中の目標物体の物体位置情報により、目標物体の投影平面における投影位置情報を取得し、投影位置情報に基づいて、目標物体を表示することにより、スクリーン内の裸眼３Ｄ画像表示の応用を実現している。また、上記手段は、ロード速度が速く、故障率を低減し、ユーザの使用体験を向上させることができる。

【0014】

図１は、本開示の実施例に係る表示方法及び装置を適用できる例示的なシステムアーキテクチャを模式的に示す図である。

【0015】

なお、図１に示すのは、本開示の実施例を適用することができるシステムアーキテクチャの例示に過ぎず、当業者が本開示の技術内容を理解することに役立つが、本開示の実施例は他の装置、システム、環境又はシーンに用いられないことを意味するものではない。例えば、他の実施例において、表示方法及び装置を適用することができる例示的なシステムアーキテクチャは、端末装置を含むことができるが、端末装置は、サーバと対話する必要がなく、本開示の実施例に提供される表示方法及び装置を実現することができる。

【0016】

図１に示すように、該実施例に係るシステムアーキテクチャ１００は、裸眼３Ｄ装置１０１と端末装置１０３とを含むことができる。裸眼３Ｄ装置１０１は、裸眼３Ｄカメラを含んでもよい。

【0017】

端末装置１０３は、表示スクリーンを有し、かつ、ウェブページの閲覧をサポートする様々な電子機器であってもよく、スマートフォン、タブレットコンピュータ、ラップトップ型携帯コンピュータ及びデスクトップコンピュータ等を含むがそれらに限定されない。

【0018】

裸眼３Ｄ装置１０１は、画像中の対象の眼部位置情報を確定することができる。眼部位置情報に基づいて、裸眼３Ｄのカメラ位置情報を確定する。カメラ位置情報に基づいて、目スペースを作成する。投影情報に基づいて、目スペースにおける目標物体１０２の物体位置情報により、目標物体１０２の投影平面における投影位置情報を取得する。投影位置情報に基づいて、目標物体を表示する。例えば、端末装置１０３の表示スクリーンに目標物体を表示することができる。

【0019】

なお、本開示の実施例に提供される表示方法は、一般的に裸眼３Ｄ装置１０１により実行されることができる。それに応じて、本開示の実施例に提供される表示装置は、裸眼３Ｄ装置１０１に設置されてもよい。

【0020】

図１における裸眼３Ｄ装置及び端末装置の数は単に例示的なものであると理解すべきである。実現の必要に応じて、任意の数の裸眼３Ｄ装置及び端末装置を有することができる。

【0021】

図２は本開示の実施例に係る表示方法を模式的に示すフローチャートである。

【0022】

図２に示すように、該方法２００は、操作Ｓ２１０～Ｓ２５０を含む。

【0023】

操作Ｓ２１０は、画像中の対象の眼部位置情報を確定する。

【0024】

操作Ｓ２２０は、眼部位置情報に基づいて、裸眼３Ｄのカメラ位置情報を確定する。

【0025】

操作Ｓ２３０は、カメラ位置情報に基づいて、目スペースを作成する。

【0026】

操作Ｓ２４０は、投影情報に基づいて、目スペース中の目標物体の物体位置情報により、目標物体の投影平面における投影位置情報を取得する。

【0027】

操作Ｓ２５０は、投影位置情報に基づいて、目標物体を表示する。

【0028】

本開示の実施例によれば、画像は、画像収集装置が収集して取得することができる。画像は、ビデオにおけるビデオフレームであってもよい。画像収集装置により収集された複数のビデオフレームを取得することができる。フレームシーケンスアレイのデータ構造で複数のビデオフレームを記憶することにより、ビデオフレームを処理し、対象の眼部位置情報を確定する。

【0029】

本開示の実施例によれば、対象は、操作体を含むことができる。操作体は、ユーザを含むことができる。眼部位置情報は、眼部位置座標で表すことができる。例えば、眼部位置座標は（ｘ，ｙ，ｚ）であってもよい。眼部位置情報は、利き目の眼部位置情報と補助目の眼部位置情報の少なくとも１つを含んでもよい。

【0030】

本開示の実施例によれば、裸眼３Ｄは、対象の目をカメラとして使用することを指すことができる。カメラは、三次元のシーンにおいて目標物体を観察する観察角度を提供することができる。観察角度は、位置と角度を含んでもよい。裸眼３Ｄのカメラ位置情報は眼部位置情報を指すことができる、即ち、眼部位置情報を裸眼３Ｄのカメラ位置情報に確定することができる。目スペースは、裸眼３Ｄに基づいて構築された三次元スペースを指すことができる。

【0031】

本開示の実施例によれば、目標物体は、それに投影操作を実行する必要がある対象を指すことができる。例えば、目標物体は、ユーザ、植物、動物、自然景色、生活用品、学習用品又は作業用品を含むことができる。物体位置情報は、物体位置座標で表すことができる。投影位置情報は、投影スペースにおける位置情報を指すことができる。

【0032】

本開示の実施例によれば、投影情報は、目標物体の目スペースでの物体位置情報を投影スペースでの投影位置情報に変換するために用いられる。投影情報は、射影行列を含むことができる。投影情報は、所定の座標範囲及び目標視錐体の近裁断平面の辺長に基づいて確定することができる。目標視錐体は、目スペースに対応する。

【0033】

本開示の実施例によれば、画像を取得することができる。画像に対象識別を行い、対象識別結果を取得する。対象識別結果が対象を含むと確定した場合、対象の眼部位置情報を確定することができる。代替的には、画像に目標検出を行い、目標検出結果を取得することができる。対象の眼部位置情報は、目標検出結果に基づいて確定される。対象の眼部位置情報は、裸眼３Ｄのカメラ位置情報として確定される。目スペースは、裸眼３Ｄのカメラ位置情報に基づいて作成される。

【0034】

本開示の実施例によれば、投影情報を用いて目スペースにおける目標物体の物体位置情報を目標物体の投影平面における投影位置情報に変換することができる。投影位置情報を取得した後、投影スクリーンに目標物体を表示するように、目標物体をレンダリングすることができる。例えば、レンダラを用いて目標物体をレンダリングすることができる。

【0035】

本開示の実施例によれば、画像中の対象の眼部位置情報を確定し、眼部位置情報に基づいて、裸眼３Ｄのカメラ位置情報を確定し、カメラ位置情報に基づいて、目スペースを作成し、投影情報に基づいて、目スペース中の目標物体の物体位置情報により、目標物体の投影平面における投影位置情報を取得し、投影位置情報に基づいて、目標物体を表示し、これにより、スクリーン内の裸眼３Ｄ画像表示の応用を実現している。また、上記手段は、ロード速度が速く、故障率を低減し、ユーザの使用体験を向上させることができる。

【0036】

本開示の実施例によれば、眼部位置情報は、利き目の眼部位置情報を含む。

【0037】

本開示の実施例によれば、目は、利き目と補助目を含むことができる。利き目とは、主導的に作用する目を指すことができる。利き目は、左眼又は右眼であってもよい。眼部位置情報を裸眼３Ｄのカメラ位置情報に確定する眼部位置情報は、利き目の眼部位置情報であってもよい。

【0038】

本開示の実施例によれば、利き目の眼部位置情報を使うことは、データ処理量を減少させ、演算効率を向上させることができる。

【0039】

本開示の実施例によれば、操作Ｓ２１０は、以下の操作を含むことができる。

【0040】

画像に対して対象識別を行って画像が対象を含むと確定した場合、画像を処理し、対象の眼部位置情報を取得する。

【0041】

本開示の実施例によれば、画像の画像データを対象識別モデルに入力し、対象識別結果を取得することができる。対象識別結果は、画像が対象を含むことと、画像が対象を含まないこととの１つを含むことができる。対象識別モデルは、第１のトレーニングサンプルを用いて第１の所定モデルをトレーニングしたものであってもよい。第１の所定モデルは、第１のディープラーニングモデルを含んでもよい。第１のディープラーニングモデルは、ＬｅＮｅｔ、ＡｌｅｘＮｅｔ、ＶＧＧ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ Ｎｅｔｗｏｒｋ）、Ｉｎｃｅｐｔｉｏｎ Ｎｅｔ、ＲｅｓＮｅｔ、又は、ＳｑｕｅｅｚｅＮｅｔを含むことができる。

【0042】

本開示の実施例によれば、対象識別の結果として、画像が対象を含むと確定されたら、画像を処理し、対象の眼部位置情報を取得することができる。例えば、画像に対して目標検出を行い、対象の眼部位置情報を取得することができる。代替的には、所定のデータベースから対象に対応する眼部位置情報をルックアップすることができる。所定のデータベースは、複数の関連付け関係を含むことができる。各関連付け関係は、対象と対象の眼部位置情報との関係を表すことができる。

【0043】

本開示の実施例によれば、画像を処理し、対象の眼部位置情報を取得することは、以下の操作を含むことができる。

【0044】

画像に対して目標検出を行い、対象の眼部位置情報を取得する。

【0045】

本開示の実施例によれば、スライドウィンドウを用いて画像から眼部に対応する領域候補枠を確定することができる。さらに、領域候補枠に対応する画像に対して特徴抽出を行い、特徴図を取得する。最後に特徴図を分類し、対象の眼部位置情報を取得する。代替的には、目標検出モデルを用いて画像を処理し、対象の眼部位置情報を取得することができる。

【0046】

本開示の実施例によれば、画像に対して目標検出を行い、対象の眼部位置情報を取得することは、以下の操作を含むことができる。

【0047】

目標検出モデルを用いて画像を処理し、対象の眼部位置情報を取得する。

【0048】

本開示の実施例によれば、画像の画像データを目標検出モデルに入力し、対象の眼部位置情報を取得することができる。目標検出モデルは、第２のトレーニングサンプルを用いて第２の所定モデルをトレーニングしたものであってもよい。第２の所定モデルは、第２のディープラーニングモデルであってもよい。第２のディープラーニングモデルは、候補枠に基づく目標検出モデル、分割に基づく目標検出モデル、又は、両者に基づいて混合された目標検出モデル等を含むことができる。

【0049】

本開示の実施例によれば、投影情報は、投影行列を含むことができる。投影行列は、所定の座標範囲と、目標視錐体の近裁断平面の辺長とに基づいて確定される。目標視錐体は、目スペースに対応する。

【0050】

本開示の実施例によれば、目標物体は、目標視錐体に位置する物体であってもよい。視錐体は、シーンにおけるカメラの可視の錐体範囲を指すことができる。裸眼３Ｄカメラは、錐頂点に設置されてもよい。視錐体は、以下のようにして形成することができる。視錐体は、角錐を上面と下面で切断し、錐台を形成することにより、取得される。視錐体は、上面、下面、左面、右面、前面および背面を含んでもよい。視錐体の内部部分は可視であり、視錐体の他の部分は見えない。視錐体の内部の部分を裁断スペースと呼ぶことができる。錐頂点（裸眼３Ｄカメラの位置）に近い側の面を、近裁断平面と呼ぶことができる。近裁断平面に対向し、かつ、錐頂点から離れた面を遠裁断平面と称する。近接裁断面とは、投影平面を指してもよい。

【0051】

本開示の実施例によれば、目標視錐体の近裁断平面の辺長は、左辺の長さ、右辺の長さ、上辺の長さ及び下辺の長さを含んでもよい。所定の座標範囲は、裸眼３Ｄカメラが向いている方向が位置する座標軸の座標範囲、即ち、Z軸上の座標範囲を指すことができる。

【0052】

本開示の実施例によれば、所定の座標範囲と、目標視錐体の近裁断平面の各辺長とに基づいて、各要素の数値を確定することができる。投影行列は、各元素の数値に基づいて取得される。

【0053】

以下に図３Ａ及び図３Ｂを参照し、具体的な実施例を参照して投影行列の形成過程をさらに説明する。

【0054】

図３Ａは本開示の実施例に係る目標視錐体を模式的に示す例示的な概略図である。

【0055】

図３Ａに示すように、３００Ａには、裸眼３Ｄカメラ３０１と角錐３０２が含まれる。角錐３０２は正角錐であってもよい。角錐３０２は、Ｒ－ＨＩＪＫである。裸眼３Ｄカメラ３０１は、角錐３０２の錐頂点に位置する。

【0056】

角錐３０２は、上面３０３１と下面３０３０で切断され、目標視錐体３０３を取得する。上面３０３１は、表面ＱＬＭＯである。下面３０３０は、表面ＨＩＪＫである。上面３０３１は、近裁断平面である。下面３０３０は、遠裁断平面である。

【0057】

図３Ｂは本開示の実施例に係る目標視錐体を模式的に示す平面概略図である。

【0058】

図３Ｂに示すように、３００Ｂにおいては、目スペースに基づいてスペース座標系３０３を作成する。

【数1】

は、目スペースの所定点Ｐの所定位置座標Ｐ_ｅを表す。近裁断平面（即ち、投影平面）の所定の投影点の所定の投影位置座標Ｐ_ｐは、

【数2】

により表される。所定点の所定のクリップ位置座標Ｐ_ｃは、

【数3】

により表される。所定点の正規化装置の位置座標Ｐ_ｎは、

【数4】

により表される。ｌは、近裁断平面の左辺の辺長を表す。ｒは、近裁断平面の右辺の辺長を表す。ｔは、近裁断平面の上辺の辺長を表す。ｂは、近裁断平面の下辺の辺長を表す。

【数5】

所定の座標範囲は、

【数6】

により表すことができる。

【0059】

【数7】

は、以下の式（１）により行うことができる。

【数8】

（１）

【0060】

【数9】

は、式（１）により得られる。

【0061】

【数10】

は、以下の式（２）により行うことができる。

【数11】

（２）

【0062】

【数12】

は、式（２）により得られる。

【0063】

【数13】

は、以下の式（３）により行うことができる。

【数14】

（３）

【0064】

以下の式（４）のように、連立方程式を構築することができる。

【数15】

（４）

【0065】

【数16】

は、式（４）により得られる。

【0066】

マッピング関数の式は、式（５）に基づいて確定することができる。

【数17】

（５）

【0067】

【数18】

と

【数19】

を式（５）に代入して、式（６）を得ることができる。

【数20】

（６）

【数21】

は、式（６）により得られる。

【0068】

ＡとＢを式（５）に代入して得られるｚ座標のマッピング関数は、以下の式（７）であってもよい。

【数22】

（７）

【数23】

は、式（４）と式（７）により得られる。

【0069】

上記の等式にいずれも－Ｚ_ｅを乗算すれば、以下の式（８）を得ることができる。

【数24】

（８）

【0070】

以上の関数群はＰ_ｅの線形関数群であるので、４×４の行列Ｍ_{ｆｒｕｓｔｕｒｎ}でＰ_ｎを表すことができる、即ち、以下の式（９）である。

【数25】

（９）
式（９）から式（１０）を得ることができる。

【数26】

（１０）

【0071】

本開示の実施例によれば、式（１０）では、Ｗ_ｃ＝－Ｚ_ｅ。Ｗ_ｃは所定のクリップ閾値を表す。

【0072】

本開示の実施例によれば、操作Ｓ２４０は、以下の操作を含むことができる。

【0073】

投影行列に目スペース中の目標物体の物体位置情報を乗算して、目標物体のクリップ位置情報を取得する。目標物体のクリップ位置情報に基づいて、目標物体の投影平面における投影位置情報を取得する。

【0074】

本開示の実施例によれば、物体位置情報は、物体位置座標であってもよい。クリップ位置情報は、クリップ位置座標であってもよい。投影位置情報は、投影位置座標であってもよい。

【0075】

本開示の実施例によれば、投影行列は、式（９）におけるＭ_{ｆｒｕｓｔｕｒｎ}であってもよい。式（１０）を用いて投影行列と物体位置座標を乗算して目標物体のクリップ位置座標を取得した後、クリップ位置座標を所定のクリップ位置座標成分で割ることにより、正規化装置の位置座標を取得することができ、即ち、式（９）を用いて正規化装置の位置座標を確定することができる。正規化装置の位置座標は、投影位置座標として確定されてもよい。

【0076】

以下に図４を参照し、具体的な実施例を参照して本開示の実施例に記載の表示方法をさらに説明する。

【0077】

図４は、本開示の実施例に係る表示過程を模式的に示す例示的な概略図である。

【0078】

図４に示すように、４００においては、画像４０１を取得することができる。画像４０１に対して対象識別を行って画像４０１が対象を含むと確定された場合、画像４０１に対して目標検出を行い、画像４０１中の対象の眼部位置情報４０２を取得する。

【0079】

眼部位置情報４０２に基づいて、裸眼３Ｄのカメラ位置情報４０３を確定する。さらに、カメラ位置情報４０３に基づいて、目スペース４０４を作成する。投影情報４０６に基づいて、目スペース４０４中の目標物体の物体位置情報４０５により、目標物体の投影平面における投影位置情報４０７を取得する。最後に、投影位置情報４０７に基づいて、目標物体を表示する。

【0080】

以上は例示的な実施例に過ぎず、これに限定されるものではなく、本分野の既知の他の表示方法を含むことができ、スクリーン内の裸眼３Ｄ画像の表示の応用を実現することができればよい。

【0081】

図５は、本開示の実施例に係る表示装置を模式的に示すブロック図である。

【0082】

図５に示すように、表示装置５００は、第１の確定モジュール５１０と、第２の確定モジュール５２０と、作成モジュール５３０と、取得モジュール５４０と、表示モジュール５５０とを含んでもよい。

【0083】

第１の確定モジュール５１０は、画像中の対象の眼部位置情報を確定するために用いられる。

【0084】

第２の確定モジュール５２０は、眼部位置情報に基づいて、裸眼３Ｄのカメラ位置情報を確定するために用いられる。

【0085】

作成モジュール５３０は、カメラ位置情報に基づいて、目スペースを作成するために用いられる。

【0086】

取得モジュール５４０は、投影情報に基づいて、目スペース中の目標物体の物体位置情報により、目標物体の投影平面における投影位置情報を取得するために用いられる。

【0087】

表示モジュール５５０は、投影位置情報に基づいて、目標物体を表示するために用いられる。

【0088】

本開示の実施例によれば、第１の確定モジュール５１０は、第１の取得サブモジュールを含んでもよい。

【0089】

第１の取得サブモジュールは、画像に対して対象識別を行って画像が対象を含むと確定した場合、画像を処理し、対象の眼部位置情報を取得するために用いられる。

【0090】

本開示の実施例によれば、第１の取得サブモジュールは、取得ユニットを含んでもよい。

【0091】

取得ユニットは、画像に対して目標検出を行い、対象の眼部位置情報を取得するために用いられる。

【0092】

本開示の実施例によれば、取得ユニットは、取得サブユニットを含んでもよい。

【0093】

取得サブユニットは、目標検出モデルを用いて画像を処理し、対象の眼部位置情報を取得するために用いられる。

【0094】

本開示の実施例によれば、投影情報は、投影行列を含む。

【0095】

本開示の実施例によれば、取得モジュール５４０は、第２の取得サブモジュールと、第３の取得サブモジュールとを含んでもよい。

【0096】

第２の取得サブモジュールは、投影行列と目スペース中の目標物体の物体位置情報を乗算して、目標物体のクリップ位置情報を取得するために用いられる。

【0097】

第３の取得サブモジュールは、目標物体のクリップ位置情報に基づいて、目標物体の投影平面における投影位置情報を取得するために用いられる。

【0098】

本開示の実施例によれば、眼部位置情報は、利き目の眼部位置情報を含む。

【0099】

本開示の実施例によれば、投影行列は、所定の座標範囲と、目標視錐体の近裁断平面の辺長とに基づいて確定された。目標視錐体は、目スペースに対応する。

【0100】

本開示の実施例によれば、本開示は、電子機器と、可読記憶媒体と、コンピュータプログラムとをさらに提供する。

【0101】

本開示の実施例によれば、電子機器は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信接続されるメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサによって実行され得る命令が記憶されており、少なくとも１つのプロセッサが上記の方法を実行することができるように、命令が少なくとも１つのプロセッサによって実行される。

【0102】

本開示の実施例によれば、非一時的なコンピュータ可読記憶媒体は、コンピュータに上記の方法を実行させるためのコンピュータ命令を記憶している。

【0103】

本開示の実施例によれば、コンピュータプログラムは、プロセッサにより実行される場合に、上記の方法を実現する。

【0104】

図６は、本開示の実施例に係る表示方法を実現することに適する電子機器を模式的に示すブロック図である。電子機器は、様々な形式のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータである。電子機器は、さらに様々な形式の移動装置を示してもよく、例えば、個人デジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器及び他の類似の演算装置である。本明細書に示された部品、それらの接続及び関係、及びそれらの機能は、例示に過ぎず、本明細書に記載された及び／または要求された本開示の実現を限定すると意味しない。

【0105】

図６に示すように、電子機器６００は、演算ユニット６０１を含み、演算ユニット６０１は、リードオンリーメモリ（ＲＯＭ）６０２に記憶されたコンピュータプログラムまたは記憶ユニット６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。ＲＡＭ６０３には、電子機器６００の操作に必要な様々なプログラム及びデータをさらに記憶してもよい。演算ユニット６０１と、ＲＯＭ６０２と、ＲＡＭ６０３とは、バス６０４を介して相互に接続される。入出力（Ｉ／Ｏ）インタフェース６０５も、バス６０４に接続される。

【0106】

電子機器６００における、例えばキーボード、マウス等の入力ユニット６０６と、例えば様々な種類のディスプレイ、スピーカ等の出力ユニット６０７と、例えば磁気ディスク、光ディスク等の記憶ユニット６０８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信ユニット６０９とを含む複数の部品は、Ｉ／Ｏインタフェース６０５に接続される。通信ユニット６０９は、電子機器６００がインターネット等のコンピュータネットワーク及び／または各種の電気通信ネットワークを介して他の機器と情報・データをやり取りすることを可能にする。

【0107】

演算ユニット６０１は、処理及び演算能力を有する各種の汎用及び／または専用の処理モジュールであってもよい。演算ユニット６０１の幾つかの例としては、中央処理装置（ＣＰＵ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、各種専用の人工知能（ＡＩ）演算チップ、機械学習モデルアルゴリズムを実行する各種演算ユニット、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。演算ユニット６０１は、例えば表示方法のような上記に記載の各方法及び処理を実行する。例えば、いくつかの実施例において、表示方法は、例えば記憶ユニット６０８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部または全部は、ＲＯＭ６０２及び／又は通信ユニット６０９を介して電子機器６００にロード及び／またはインストールされてもよい。コンピュータプログラムがＲＡＭ６０３にロードされて演算ユニット６０１により実行される場合、上記に記載の表示方法の１つまたは複数のステップを実行してもよい。代替的に、他の実施例において、演算ユニット６０１は、他の任意の適切な方式（例えば、ファームウェアを介する）により表示方法を実行するように構成されてもよい。

【0108】

本明細書で説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラムマブルロジックデバイス （ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つまたは複数のコンピュータプログラムにおいて実施され、当該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び／または解釈されることが可能であり、当該プログラムマブルプロセッサは、専用または汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、且つデータ及び命令を当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができることを含んでもよい。

【0109】

本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサまたはコントローラに提供されてもよく、それによって、プログラムコードがプロセッサまたはコントローラにより実行される時に、フローチャート及び／またはブロック図に規定された機能・操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるかまたは完全に遠隔機器またはサーバで実行されてもよい。

【0110】

本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置または電子機器に使用され、または命令実行システム、装置または電子機器と組み合わせて使用されるプログラムを含んでまたは記憶してもよい。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、または半導体システム、装置または電子機器、または上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、または上記内容の任意の適切な組み合わせを含む。

【0111】

ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウスまたはトラックボール）とを備え、ユーザは、当該キーボード及び当該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、且ついかなる形式（音声入力、語音入力、または、触覚入力を含む）でユーザからの入力を受信してもよい。

【0112】

ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、またはミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、またはフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェースまたはウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェースまたは該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、またはこのようなバックグラウンド部品、ミドルウェア部品、またはフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。

【0113】

コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上で実行し、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであってもよく、分散型システムのサーバであってもよく、またはブロックチェーンを組み合わせしたサーバであってもよい。

【0114】

以上に示された様々な形式のフローを使用してもよく、ステップを改めてソーティングしたり、追加したりまたは削除してもよいと理解されるべきである。例えば、本開示に記載の各ステップは、並列に実行されたり、順次に実行されたり、または異なる順序で実行されてもよく、本開示に開示された技術案の所望の結果を実現することができれば、本明細書はここで限定されない。

【0115】

以上説明したセキュリティ情報の処理方法、装置、電子機器、記憶媒体およびコンピュータプログラムは、以下のように表現することができる。

【0116】

第１態様の表示方法は、
画像中の対象の眼部位置情報を確定することと、
前記眼部位置情報に基づいて、裸眼３Ｄのカメラ位置情報を確定することと、
前記カメラ位置情報に基づいて、目スペースを作成することと、
投影情報に基づいて、前記目スペース中の目標物体の物体位置情報により、前記目標物体の投影平面における投影位置情報を取得することと、
前記投影位置情報に基づいて、前記目標物体を表示することと、を含む。

【0117】

第２態様の表示方法は、
第１態様に記載の方法であって、
前記画像中の対象の眼部位置情報を確定することは、
画像に対して対象識別を行って画像が対象を含むと確定した場合、前記画像を処理し、 前記対象の眼部位置情報を取得することを含む。

【0118】

第３態様の表示方法は、
第２態様に記載の方法であって、
前記画像を処理し、前記対象の眼部位置情報を取得することは、
前記画像に対して目標検出を行い、前記対象の眼部位置情報を取得することを含む。

【0119】

第４態様の表示方法は、
第３態様に記載の方法であって、
前記画像に対して目標検出を行い、前記対象の眼部位置情報を取得することは、
目標検出モデルを用いて画像を処理し、前記対象の眼部位置情報を取得することを含む。

【0120】

第５態様の表示方法は、
第１～４態様のいずれか１つに記載の方法であって、
前記投影情報は、投影行列を含み、
前記投影情報に基づいて、前記目スペース中の目標物体の物体位置情報により、前記目標物体の投影平面における投影位置情報を取得することは、
前記投影行列と前記目スペース中の目標物体の物体位置情報を乗算して、前記目標物体のクリップ位置情報を取得することと、
前記目標物体のクリップ位置情報に基づいて、前記目標物体の投影平面における投影位置情報を取得することと、を含む。

【0121】

第６態様の表示方法は、
第１～５態様のいずれか１つに記載の方法であって、
前記眼部位置情報は、利き目の眼部位置情報を含む。

【0122】

第７態様の表示方法は、
第５又は６態様に記載の方法であって、
前記投影行列は、所定の座標範囲と、前記目スペースに対応する目標視錐体の近裁断平面の辺長とに基づいて確定される。

【0123】

第８態様の表示装置は、
画像中の対象の眼部位置情報を確定するための第１の確定モジュールと、
前記眼部位置情報に基づいて、裸眼３Ｄのカメラ位置情報を確定するための第２の確定モジュールと、
前記カメラ位置情報に基づいて、目スペースを作成するための作成モジュールと、
投影情報に基づいて、前記目スペース中の目標物体の物体位置情報により、前記目標物体の投影平面における投影位置情報を取得するための取得モジュールと、
前記投影位置情報に基づいて、前記目標物体を表示するための表示モジュールと、を含む。

【0124】

第９態様の表示装置は、
第８態様に記載の装置であって、
前記第１の確定モジュールは、
画像に対して対象識別を行って画像が対象を含むと確定した場合、前記画像を処理し、 前記対象の眼部位置情報を取得するための第１の取得サブモジュールを含む。

【0125】

第１０態様の表示装置は、
第９態様に記載の装置であって、
前記第１の取得サブモジュールは、
前記画像に対して目標検出を行い、前記対象の眼部位置情報を取得するための取得ユニットを含む。

【0126】

第１１態様の表示装置は、
第１０態様に記載の装置であって、
前記取得ユニットは、
目標検出モデルを用いて画像を処理し、前記対象の眼部位置情報を取得するための取得サブユニットを含む。

【0127】

第１２態様の表示装置は、
第８～１１態様のいずれか１つに記載の装置であって、
前記投影情報は、投影行列を含み、
前記取得モジュールは、
前記投影行列と前記目スペース中の目標物体の物体位置情報を乗算して、前記目標物体のクリップ位置情報を取得するための第２の取得サブモジュールと、
前記目標物体のクリップ位置情報に基づいて、前記目標物体の投影平面における投影位置情報を取得するための第３の取得サブモジュールと、を含む。

【0128】

第１３態様の表示装置は、
第８～１２態様のいずれか１つに記載の装置であって、
前記眼部位置情報は、利き目の眼部位置情報を含む。

【0129】

第１４態様の表示装置は、
第１２又は１３態様に記載の装置であって、
前記投影行列は、所定の座標範囲と、前記目スペースに対応する目標視錐体の近裁断平面の辺長とに基づいて確定される。

【0130】

第１５態様の電子機器は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリとを備える電子機器であって、
前記メモリには、前記少なくとも１つのプロセッサによって実行され得る命令が記憶されており、前記少なくとも１つのプロセッサが第１～７態様のいずれか１つに記載の方法を実行することができるように前記命令が前記少なくとも１つのプロセッサによって実行される。

【0131】

第１６態様の非一時的なコンピュータ可読記憶媒体は、
コンピュータに第１～７態様のいずれか１つに記載の方法を実行させるためのコンピュータ命令を記憶している。

【0132】

第１７態様のコンピュータプログラムは、
プロセッサにより実行される場合に、第１～７態様のいずれか１つに記載の方法を実現する。

【0133】

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】