特開 2024-89638 車載計器の裸眼３Ｄ表示方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024089638

(43)【公開日】2024-07-03

(54)【発明の名称】車載計器の裸眼３Ｄ表示方法及び装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240626BHJP

   G08G 1/16 20060101ALI20240626BHJP

   G06T 7/00 20170101ALI20240626BHJP

   G06T 7/70 20170101ALI20240626BHJP

   G06T 19/00 20110101ALI20240626BHJP

   H04N 13/302 20180101ALI20240626BHJP

   H04N 13/366 20180101ALI20240626BHJP

【ＦＩ】

G06T7/20 300Z

G08G1/16 F

G06T7/00 660Z

G06T7/70 Z

G06T19/00 A

H04N13/302

H04N13/366

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023206213

(22)【出願日】2023-12-06

(31)【優先権主張番号】202211651220.1

(32)【優先日】2022-12-21

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】523442231

【氏名又は名称】ヴァリトロニックス（ホーユェン）ディスプレイ テクノロジー リミテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】李 宏章

(72)【発明者】

【氏名】曹 中福

(72)【発明者】

【氏名】▲張▼ ▲懐▼平

(72)【発明者】

【氏名】▲鐘▼ ▲海▼▲強▼

(72)【発明者】

【氏名】▲陳▼ 金武

(72)【発明者】

【氏名】阮 典裔

【テーマコード（参考）】

5B050

5H181

5L096

【Ｆターム（参考）】

5B050AA03

5B050BA04

5B050BA09

5B050BA12

5B050DA01

5B050DA05

5B050EA26

5B050FA02

5B050FA05

5B050FA06

5H181AA01

5H181CC02

5H181CC04

5H181LL20

5L096DA04

5L096HA02

(57)【要約】      （修正有）

【課題】裸眼３Ｄ表示がタイムリにリフレッシュできない場合にオペレータが目眩するリスク解決して、裸眼３Ｄの表示効果を向上させる車載計器裸眼３Ｄ表示方法及び装置を提供する。
【解決手段】車載計器裸眼３Ｄ表示方法は、オペレータのリアルタイム人眼位置をリアルタイムに収集し、リアルタイム人眼位置に基づいて対応するリアルタイム視覚インタレース画像を生成して、リアルタイム視覚インタレース画像を表示インターフェースに表示するステップと、オペレータに人体行動が発生したか否かを識別し、人体行動が発生した場合、オペレータの人体行動情報を取得するステップと、人体行動情報に基づいてオペレータの変位区間を予め判定し、変位区間に対応する視角画像セットを生成してバッファリングするステップと、視角画像セットに基づいて、表示インターフェースにおいてリアルタイム視覚インタレース画像に対して応答補償を行うステップと、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

オペレータのリアルタイム人眼位置をリアルタイムに収集し、前記リアルタイム人眼位置に基づいて対応するリアルタイム視覚インタレース画像を生成して、前記リアルタイム視覚インタレース画像を表示インターフェースに表示するステップと、
前記オペレータに人体行動が発生したか否かを識別し、人体行動が発生した場合、前記オペレータの人体行動情報を取得するステップと、
前記人体行動情報に基づいて前記オペレータの変位区間を予め判定し、前記変位区間に対応する視角画像セットを生成してバッファリングするステップと、
前記視角画像セットに基づいて、前記表示インターフェースにおいて前記リアルタイム視覚インタレース画像に対して応答補償を行うステップと、を含む、
車載計器裸眼３Ｄ表示方法。

【請求項2】

前記リアルタイム人眼位置に基づいて対応するリアルタイム視覚インタレース画像を生成するステップは、
前記リアルタイム人眼位置に基づいて視域区間を決定し、グラフィックスライブラリにおいて前記視域区間の３Ｄモデルシーンを生成するステップと、
グラフィックスライブラリにおいて前記リアルタイム人眼位置に対応する仮想視点位置を配置し、前記仮想視点位置に基づいて前記３Ｄモデルシーンにおける前記仮想視点位置に対応するリアルタイム視覚インタレース画像をリアルタイムにレンダリングして生成するステップと、を含む、
請求項１に記載の車載計器裸眼３Ｄ表示方法。

【請求項3】

前記リアルタイム人眼位置に基づいて視域区間を決定するステップは、
所定操作中心の視角が所在する標準視域を取得するステップであって、前記標準視域は、水平方向における前記所定操作中心の視角の左右両側それぞれのいくつかの単位区間の角度範囲であり、前記標準視域における各単位区間が前記視域区間であるステップと、
前記リアルタイム人眼位置と前記所定操作中心との偏角に基づいて、前記リアルタイム人眼位置が所在する視域区間を算出するステップと、を含む、
請求項２に記載の車載計器裸眼３Ｄ表示方法。

【請求項4】

前記オペレータに人体行動が発生したか否かを識別するステップは、
オペレータの姿勢キーポイントをリアルタイムに収集し、前記姿勢キーポイントに基づいて人体主胴体姿勢ベクトル及び顔コーナー点の動作ベクトルを構築するステップと、
前記人体主胴体姿勢ベクトル及び前記顔コーナー点の動作ベクトルに基づいて、オペレータの主胴体及び頭部の変位角を算出し、前記主胴体及び頭部の変位角が所定数値を超える場合、オペレータに人体行動が発生したと判定し、さらに前記主胴体及び頭部の変位角を、人体傾斜姿勢を表す人体行動情報とする、
請求項１に記載の車載計器裸眼３Ｄ表示方法。

【請求項5】

前記人体行動情報に基づいて前記オペレータの変位区間を予め判定するステップは、
人体姿勢アルゴリズムを利用して人体行動情報を統合して識別し、オペレータの行動傾向確率値を得るステップと、
前記行動傾向確率値に基づいてオペレータの次の単位時間内の人眼位置を予測し、前記オペレータの次の単位時間内の人眼位置に基づいて前記オペレータの変位区間を算出するステップと、を含む、
請求項１に記載の車載計器裸眼３Ｄ表示方法。

【請求項6】

前記変位区間に対応する視角画像セットを生成してバッファリングするステップは、
グラフィックスライブラリにおいて前記変位区間の３Ｄモデルシーンを生成するステップと、
前記変位区間における所定のいくつかの視域区間所定視点に基づいて、前記視域区間所定視点のそれぞれに対応するバッファ画像をレンダリングして生成し、全ての前記視域区間所定視点に対応する前記バッファ画像を前記変位区間に対応する視角画像セットとするステップと、を含む、
請求項１に記載の車載計器裸眼３Ｄ表示方法。

【請求項7】

前記視角画像セットに基づいて、前記表示インターフェースにおいて前記リアルタイム視覚インタレース画像に対して応答補償を行うステップは、
前記リアルタイム人眼位置に基づいて、前記リアルタイム人眼位置と前のフレームで収集されたオペレータの人眼位置とが同一視域区間に位置するか否かを判断するステップと、
前記リアルタイム人眼位置と前記前のフレームで収集されたオペレータの人眼位置が同一視域区間に位置しない場合、前記リアルタイム人眼位置が前記変位区間に位置するか否かを判断するステップと、
前記リアルタイム人眼位置が前記変位区間に位置する場合、前記変位区間における前記リアルタイム人眼位置に最も近い視域区間所定視点を目標視域区間所定視点とし、前記視角画像セットから前記目標視域区間所定視点に対応してマッチングされる前記目標バッファ画像を取得するステップと、
前記目標バッファ画像に基づいて前記リアルタイム視覚インタレース画像に対して応答補償を行うステップと、を含む、
請求項６に記載の車載計器裸眼３Ｄ表示方法。

【請求項8】

オペレータの位置情報を収集する収集モジュールであって、リアルタイム人眼位置を収集する人眼測位ユニットと、人体行動情報を取得する行動識別ユニットとを含む収集モジュールと、
前記リアルタイム人眼位置を受信し、現在の視域区間を算出して現在の視域区間に対応する第１のインタレース画像画面を生成する第１の計算処理ユニットと、前記人体行動情報に基づいてオペレータの変位区間を予測し、変位区間に対応する第２のインタレース画像画面を生成する第２の計算処理ユニットとを含む計算処理モジュールと、
前記第２のインタレース画像画面をバッファリングするバッファモジュールと、
第１のインタレース画像画面を表示し、且つ、前記第２のインタレース画像画面を抽出してリフレッシュする表示モジュールと、を含む、
車載計器裸眼３Ｄ表示装置。

【請求項9】

メモリと、プロセッサと、前記メモリに記憶され且つ前記プロセッサで実行可能なコンピュータプログラムとを含む端末機器であって、
前記プロセッサは、前記コンピュータプログラムを実行するときに、請求項１～７のいずれか一項に記載の車載計器裸眼３Ｄ表示方法を実現する、
端末機器。

【請求項10】

コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
前記コンピュータプログラムは、プロセッサによって実行されると、請求項１～７のいずれか一項に記載の車載計器裸眼３Ｄ表示方法を実現する、
コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、裸眼３Ｄ技術分野に属し、特に、車載計器裸眼３Ｄ表示方法及び装置に関する。

【背景技術】

【0002】

３Ｄ表示は、従来の２Ｄ表示と比べて、人間の視覚特徴により適し、観察するときにより立体感と没入感がある。裸眼３Ｄ技術は、人眼の視差に基づいて実現される。即ち、人間の左目と右目が同一のターゲットを観察するときに画像上の差異があり、スクリーンにいくつかの処理を行い、視差のある画像を人間の左目と右目にそれぞれマッピングすることで、人間の脳は奥行き感のある立体画面を合成する。

【0003】

裸眼３Ｄは、車載計器に適用される場合に、実感、立体感、専用メガネを装着する必要がないなどの利点を有し、道路状況情報と車の動作状況情報をより直観的かつリアルタイムに表示でき、より良い運転体験をもたらすことができる。しかしながら、裸眼３Ｄ表示は、観測位置に対する制限が多く、観測者が最適位置に固定しなければ最適な表示効果が見られず、裸眼３Ｄが車載計器に運用された場合、オペレータが道路状況を観測するときに頭部がずれるため、裸眼３Ｄの表示効果が影響を受け、例えば表示画面がタイムリにリフレッシュできない。裸眼３Ｄの表示画面のリフレッシュがタイムリに応答できない場合、オペレータが目眩する可能性があり、運転状態において極めて危険である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の実施例は、裸眼３Ｄ表示がタイムリにリフレッシュできない場合にオペレータが目眩するリスクがある課題を解決できる車載計器裸眼３Ｄ表示方法及び装置を提供する。

【課題を解決するための手段】

【0005】

第１の態様によれば、本開示の実施例は、
オペレータのリアルタイム人眼位置をリアルタイムに収集し、前記リアルタイム人眼位置に基づいて対応するリアルタイム視覚インタレース画像を生成して、前記リアルタイム視覚インタレース画像を表示インターフェースに表示するステップと、
前記オペレータに人体行動が発生したか否かを識別し、人体行動が発生した場合、前記オペレータの人体行動情報を取得するステップと、
前記人体行動情報に基づいて前記オペレータの変位区間を予め判定し、前記変位区間に対応する視角画像セットを生成してバッファリングするステップと、
前記視角画像セットに基づいて、前記表示インターフェースにおいて前記リアルタイム視覚インタレース画像に対して応答補償を行うステップと、を含む、
車載計器裸眼３Ｄ表示方法を提供する。

【0006】

例示的に、前記リアルタイム人眼位置に基づいて対応するリアルタイム視覚インタレース画像を生成するステップは、
前記リアルタイム人眼位置に基づいて視域区間を決定し、グラフィックスライブラリにおいて前記視域区間の３Ｄモデルシーンを生成するステップと、
グラフィックスライブラリにおいて前記リアルタイム人眼位置に対応する仮想視点位置を配置し、前記仮想視点位置に基づいてリアルタイムにレンダリングして前記３Ｄモデルシーンにおける前記仮想視点位置に対応するリアルタイム視覚インタレース画像を生成するステップと、を含む。

【0007】

なお、前記リアルタイム人眼位置に基づいて視域区間を決定するステップは、
所定操作中心が所在する標準視域を取得するステップであって、前記標準視域は、水平方向における前記所定操作中心の視角の左右それぞれのいくつかの単位区間の角度範囲であり、前記標準視域内の各単位区間が前記視域区間であるステップと、
前記リアルタイム人眼位置と前記所定操作中心との偏角に基づいて、前記リアルタイム人眼位置が所在する視域区間を算出するステップと、を含む。

【0008】

第２の態様によれば、本開示の実施例は、
オペレータの位置情報を収集する収集モジュールであって、リアルタイム人眼位置を収集する人眼測位ユニットと、人体行動情報を取得する行動識別ユニットとを含む収集モジュールと、
前記リアルタイム人眼位置を受信し、現在の視域区間を計算して現在の視域区間に対応する第１のインタレース画像画面を生成する第１の計算処理ユニットと、前記人体行動情報に基づいてオペレータの変位区間を予測し、変位区間に対応する第２のインタレース画像画面を生成する第２の計算処理ユニットとを含む計算処理モジュールと、
第２のインタレース画像画面をバッファリングするバッファモジュールと、
第１のインタレース画像画面を表示し、且つ、前記第２のインタレース画像画面を抽出してリフレッシュする表示モジュールと、を含む、
車載計器裸眼３Ｄ表示装置を提供する。

【0009】

第３の態様によれば、本開示の実施例は、
メモリと、プロセッサと、前記メモリに記憶され且つ前記プロセッサで実行可能なコンピュータプログラムとを含み、
上記プロセッサは、前記コンピュータプログラムを実行するときに、前記第１の態様のいずれか一項に記載の車載計器裸眼３Ｄ表示方法を実現する、
端末機器を提供する。

【0010】

第４の態様によれば、本開示の実施例は、
プロセッサによって実行されると、上記第１の態様のいずれか一項に記載の車載計器裸眼３Ｄ表示方法が実現されるコンピュータプログラムが記憶される、
コンピュータ可読記憶媒体を提供する。

【0011】

第５の態様によれば、本開示の実施例は、
端末機器で実行されるときに、端末機器に第１の態様のいずれか一項に記載の車載計器裸眼３Ｄ表示方法を実行させる、
コンピュータプログラム製品を提供する。

【0012】

なお、上記第２の態様乃至第５の態様の効果は、第１の態様における関連説明を参照でき、ここでは説明を省略する。

【発明の効果】

【0013】

本開示の実施例は、従来技術と比較して、下記効果を有する。

【0014】

本開示の実施例において、オペレータの人体行動情報の収集によって、オペレータの変位区間を予め判定して変位区間に対応する視角画像セットを生成することで、リアルタイム視覚インタレース画像に対して応答補償を行う。オペレータに頭部の回転又は元の位置からずれる他の行動が発生した場合、表示された裸眼３Ｄ画面のリフレッシュ速度が１００ｍｓから３０ｍｓ以下まで低下し、裸眼３Ｄ画面を見る際の目眩を低減し、３Ｄ画面の体験効果を大幅に改善する。

【0015】

本開示の実施例において、人眼測位ユニットでリアルタイム人眼位置を収集し、現在の視域区間に対応する第１のインタレース画像画面を生成して表示し、行動識別ユニットを用いて人体行動情報を取得し、オペレータの変位区間を予測し、変位区間に対応する第２のインタレース画像画面を生成してバッファリングすることにより、単一カメラの負担を大幅に低減し、裸眼視覚インタレース画像表示のリフレッシュ速度を高める。

【0016】

言うまでもないが、本開示のいずれか一項の製品は、必ずしも上述した全ての利点を同時に達成する必要がない。

【0017】

上記説明は、本開示の技術案の概要に過ぎず、本発明の技術的解決手段がより明確に理解されるために明細書の内容に基づいて実施されることができる。また、本開示の目的、特徴及び利点がより明確に理解されるために、以下、本開示の具体的実施形態を挙げる。

【0018】

本開示の実施例における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の説明において使用される必要がある図面を簡単に紹介する。言うまでもないが、以下の説明における図面は、本開示のいくつかの実施例に過ぎず、当業者にとって、創造的な労力を払わずに、これらの図面に基づいて他の図面を取得することもできる。

【図面の簡単な説明】

【0019】

【図1】本開示の一実施例に係る車載計器の部分構造模式図である。

【図2】本開示の一実施例に係る車載計器裸眼３Ｄ表示方法のフローチャートである。

【図3】本開示の一実施例に係るリアルタイム人眼位置に基づいて対応するリアルタイム視覚インタレース画像を生成する方法のフローチャートである。

【図4】本開示の一実施例に係るオペレータに人体行動が発生したか否かを識別する方法のフローチャートである。

【図5】本開示の一実施例に係るリアルタイム視覚インタレース画像に対して応答補償を行う方法のフローチャートである。

【図6】本開示の一実施例に係る車載計器裸眼３Ｄ表示装置の構造ブロック図である。

【発明を実施するための形態】

【0020】

以下の説明では、本開示の実施例を完全に理解するために、限定するためではなく説明するために、特定のシステム構成、技術といった具体的な詳細が記載される。しかしながら、当業者は、これらの具体的な詳細を有しない他の実施例においても本開示を実現することができる。その他の場合、不要な詳細が本開示の説明を妨げないために、周知のシステム、装置、回路及び方法の詳細を省略する。

【0021】

なお、用語「含む」は、本開示の明細書及び特許請求の範囲において使用される場合、説明する特徴、全体、ステップ、操作、要素及び／又はアセンブリの存在を示すが、１つ又は複数の他の特徴、全体、ステップ、操作、要素、アセンブリ及び／又はその集合の存在又は追加を排除するものではない。

【0022】

また、用語「及び／又は」は、本開示の明細書及び特許請求の範囲において使用される場合、関連して列挙された項目のうちの１つ又は複数の任意の組み合わせ及び全ての可能な組み合わせを指し、且つこれらの組み合わせを含む。

【0023】

用語「場合」は、本開示の明細書及び特許請求の範囲において使用されるように、文脈に基づいて「・・・のときに」又は「・・・と」又は「確定したことに応答して」又は「検出したことに応答して」として解釈されてもよい。同じように、「説明している条件又はイベント」が「決定された場合」又は「検出された場合」という記載は、文脈に基づいて、「説明している条件又はイベント」が「決定されると」又は「決定されることに応答して」、或いは「説明している条件又はイベント」が「検出されると」又は「検出されることに応答して」として解釈されてもよい。

【0024】

また、本開示の明細書及び特許請求の範囲において、用語「第１」、「第２」、「第３」などは、単に区別して説明するためのものであり、相対的な重要性を示す又は暗示するものとして理解されるためのものではない。

【0025】

本開示明細書に記載される「１つの実施例」又は「いくつかの実施例」などを参照することは、本開示の１つ又は複数の実施例において、当該実施例に関連して説明された特定の特徴又は構造を含むことを意味する。よって、本明細書の異なる位置に記載される「１つの実施例において」、「いくつかの実施例において」、「他のいくつかの実施例において」、「別のいくつかの実施例において」などは、必ずしも同一の実施例を参照するものではなく、特に断らないかぎり、「一つ又は複数の実施例であるが、全ての実施例ではない」ことを意味する。用語「含む」、「有する」及びそれらの変形は、特に断らないかぎり、いずれも「含むがこれらに限定しない」ことを意味する。

【0026】

裸眼３Ｄが車載計器に適用される場合、オペレータが道路状況を観測するときに頭部がずれ、裸眼３Ｄの表示画面のリフレッシュがタイムリに応答できない場合にオペレータが目眩するリスクがある。本開示の実施例は、オペレータの変位区間を予め判定することができ、変位区間に対応する視角画像セットを生成し、リアルタイム視覚インタレース画像に対して応答補償を行うことで、裸眼３Ｄの表示効果を向上させることができる車載計器裸眼３Ｄ方法を提供することを意図する。

【0027】

本開示の実施例に係る車載計器裸眼３Ｄ表示方法は、車載機器などの端末機器に適用することができる。限定ではなく例として、上記端末機器が車載機器である場合、当該車載機器は、車載機器技術によって機関車に対してインテリジェントに設計して開発した表示機能付き機器の総称、例えば、インストルメントパネル、ディスプレイなどであってもよい。

【0028】

上記端末機器が車載計器であることを例とする。図１は、本開示の実施例に係る車載計器の部分構造を示すブロック図である。図１に示すように、車載計器は、表示装置１００、カメラ群２００及びプロセッサ３００などの部材を含み、プロセッサ３００と表示装置１００は、有線／無線でデータ信号を伝送する。

【0029】

具体的に、表示装置１００は、照明光を提供するためのバックライト、３Ｄ結像のための格子及び画面を表示するための現像モジュールを含む。

【0030】

限定ではなく例として、表示装置１００は、カバープレート１０１、３Ｄ回折格子１０２、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ、薄膜トランジスタ）モジュール１０３、バックライトモジュール１０４及びケース１０５を含む。ここで、前記カバープレート１０１、３Ｄ回折格子１０２、ＴＦＴモジュール１０３、バックライトモジュール１０４は、いずれもケース１０５内に包まれ、カメラ群２００はケース１０５の上面に設置される。

【0031】

具体的に、カメラ群２００は、デュアルカメラモジュールであってもよく、カメラ群２００は、ＲＧＢカメラ、構造化光カメラ及びＩＲカメラのうちのいずれか１つ又は複数の組み合わせを含む。なお、カメラの動作メカニズムは、物体に発射された光が物体表面で反射し、反射光がレンズを介してイメージセンサに伝送され、イメージセンサが反射光を受信して光信号を電気信号に変換してアナログ－デジタル変換回路に伝達し、アナログ－デジタル変換回路が、受信したアナログ電気信号をデジタル電気信号に変換してデジタル信号処理チップに伝送して加工処理を行い、ＵＳＢポートを介して最終処理後の信号をコンピュータに伝送することにより、元の画像をディスプレイによって表示させることができる。したがって、カメラ群２００によって、車内、特にオペレータの顔及び身体画像データを収集することができる。

【0032】

選択的に、実現コスト及び暗い環境の撮影を考慮すると、カメラ群２００は、ＲＧＢカメラとＩＲカメラの組み合わせであってもよい。

【0033】

具体的には、プロセッサ３００は、中央処理装置、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ、ＡＰ）、ベースバンドプロセッサなどのプロセッサのうちの１つ以上を含んでもよい。プロセッサ３００は、無線ルータの神経中枢及び指揮センターであってもよい。プロセッサ３００は、命令操作コード及び時系列信号に基づいて、操作制御信号を生成し、命令取得及び命令実行の制御を完成することができる。メモリは、コンピュータ実行可能プログラムコードを記憶することができ、実行可能プログラムコードは、命令を含む。プロセッサ３００は、メモリに記憶された命令を実行することによって、ネットワーク機器の様々な機能アプリケーション及びデータ処理を実行する。メモリは、プログラム記憶領域及びデータ記憶領域を含んでもよく、例えば、視覚インタレース画像画面などを記憶する。例えば、当該メモリは、二重データレート同期式ダイナミックランダムアクセスメモリＤＤＲ又はフラッシュメモリＦｌａｓｈなどであってもよい。

【0034】

図示されていないが、車載計器は、各部材に電力を供給する電源をさらに含んでもよく、好ましくは、電源は、電源管理システムを介してプロセッサ３００と論理的に接続され、電源管理システムによって充電、放電、及び消費電力管理などの機能を管理する。

【0035】

図１に示される車載計器の構造が車載計器を限定するものではないことは、当業者にとって理解できる。図示より多い又は少ない部品を含んでもよく、又はいくつかの部品を組み合わせてもよく、又は異なる部品の配置としてもよい。

【0036】

以下、具体的実施例に関連して本開示に係る車載計器裸眼３Ｄ表示方法を例示的に説明する。図２は、本開示の一実施例に係る車載計器裸眼３Ｄ表示方法のフローチャートである。限定ではなく例として、当該方法は、上記の車載計器裸眼３Ｄ表示装置に適用することができる。

【0037】

ステップＳ２０１：オペレータのリアルタイム人眼位置をリアルタイムに収集し、リアルタイム人眼位置に基づいて対応するリアルタイム視覚インタレース画像を生成し、リアルタイム視覚インタレース画像を表示インターフェースに表示する。

【0038】

実施例において、収集されたリアルタイム人眼位置は、人眼追跡システム付きの画像収集機器が画像又はビデオを収集して得られたものである。画像収集機器は、赤外線防水銃型カメラ、赤外線半天球カメラ、等速球型カメラ、高速球型カメラ、ワイドダイナミックカメラ、録画端末、ビデオ録画カード及びＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）レコーダのうちのいずれか１つ又は複数の組み合わせを含み、画像収集機器は、環境と収集ニーズの違いに応じて異なる選択を行うことができる。

【0039】

例えば、人眼追跡システム付き画像収集機器は、１つの赤外線カメラと、赤外光照明器と、瞳孔中心検出及びアーチファクト排除のためのアイトラッキングアルゴリズムとを含み、画像処理及びデータ収集は、専用ハードウェアにより処理され、或いはコンピュータ又はソフトウェアにより処理される。赤外線による照明は、照明が大きく見えず、人工光源からのアーティファクトを波長でフィルタリングできるなどの利点がある。人眼追跡システムを有する画像収集機器によって収集されたリアルタイム人眼位置は、地球座標系に対する人眼の三次元座標を含む。

【0040】

一実施例において、図３は、本開示の実施例においてリアルタイム人眼位置に基づいて対応するリアルタイム視覚インタレース画像を生成する方法のプロセスを示し、限定ではなく例として、具体的なステップは以下の通りである。

【0041】

Ｓ３０１：所定操作中心の視角が所在する標準視域を取得する。

【0042】

具体的に、標準視域は、水平方向における所定操作中心の視角の左右それぞれのいくつかの単位区間の角度範囲であり、標準視域内の各単位区間が視域区間である。

【0043】

例示的に、操作位置における中心点を所定操作中心とし、所定操作中心とデュアルカメラの光中心の接続線の中心との接続線を所定操作中心の視角とし、操作位置におけるオペレータの両眼とデュアルカメラの光中心の接続線の中心との距離を観察距離とし、デュアルカメラの光中心の接続線の中心を頂点として、観察距離を辺の長さとし、オペレータの動作範囲をカバーする扇形区間、即ち標準視域を区画することができる。最適観察距離を６０ｃｍ～９０ｃｍとし、所定操作中心の視角±２５°の範囲を標準視域とし、標準視域を１０個の単位区間に区分し、即ち、５°毎に１つの視域区間とする。

【0044】

Ｓ３０２：リアルタイム人眼位置と所定操作中心の視角との偏角に基づいて、リアルタイム人眼位置が所在する視域区間を算出する。

【0045】

リアルタイム人眼位置における地球座標データを抽出し、デュアルカメラの測位情報に基づいてデュアルカメラの光中心の接続線の中心の地球座標データを算出し、さらに三角法によりリアルタイム人眼位置とデュアルカメラの光中心の接続線の中心との距離、及び、リアルタイム人眼位置と所定操作中心の視角との偏角を計算する。

【0046】

偏角の度数及び標準視域内の単位区間の区画に基づいて、リアルタイム人眼位置が所在する視域区間を決定する。

【0047】

Ｓ３０３：グラフィックスライブラリに視域区間の３Ｄモデルシーンを生成する。

【0048】

例示的に、グラフィックスライブラリは、ＯｐｅｎＧＬ（Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ、オープングラフィックスライブラリ）、Ｄｉｒｅｃｔ ３Ｄ（マイクロソフトの汎用対象モードに基づく３Ｄグラフィックスプログラミングインタフェース）などの、２Ｄ、３Ｄのベクター画像をレンダリングするためのクロスランゲージ、クロスプラットフォームのアプリケーションプログラミングインタフェースであってもよい。

【0049】

一例として、オープングラフィックスライブラリ（Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ、英語略称がＯｐｅｎＧＬ）は、２Ｄ、３Ｄベクトル画像をレンダリングするために使用されるクロスランゲージ、クロスプラットフォームのアプリケーションプログラミングインタフェースである。本実施例では、ＯｐｅｎＧＬをグラフィックスライブラリとして採用し、ＯｐｅｎＧＬエンジン環境を初期化し、レンダリングデータを準備し、リアルタイム人眼位置が所在する視域区間に基づいて、ＯｐｅｎＧＬ内で対応する３Ｄモデルシーンを生成する。

【0050】

Ｓ３０４：グラフィックスライブラリにおいてリアルタイム人眼位置に対応する仮想視点位置を配置し、仮想視点位置に基づいてリアルタイムにレンダリングして３Ｄモデルシーンにおける仮想視点位置に対応するリアルタイム視覚インタレース画像を生成する。

【0051】

一実施例において、リアルタイム人眼位置に基づいて、ＯｐｅｎＧＬにおいて、実際の人眼観察視点に対応する仮想視点位置を配置し、さらにリアルタイムにレンダリングして、対応する視角の画面を生成し、ビデオメモリにプッシュし、さらに液晶ディスプレイに画面を表示する。

【0052】

一例として、Ｆｒａｍｅｂｕｆｆｅｒは、１つのビデオ出力機器で完全なフレームデータを含む１つのメモリバッファから１つのビデオ表示機器を駆動し、本実施例では、Ｆｒａｍｅｂｕｆｆｅｒをビデオメモリとして採用し、リアルタイムにレンダリングして生成した対応する視角の画面をディスプレイに出力する。

【0053】

一例として、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、英語略称がＬＣＤ）は、平行する２枚のガラス基板の間に液晶セルを配置し、下の基板ガラスにＴＦＴ（薄膜トランジスタ）が設置され、上の基板ガラスにカラーフィルタが設置される。ＴＦＴにおける信号と電圧の変化により液晶分子の回転方向を制御することにより、各画素点の偏光の出射の有無を制御して表示目的を達成する。本実施例では、ＬＣＤをディスプレイとして採用して上記対応する視角の画面を表示する。

【0054】

なお、仮想視点位置の変化が小さい場合、リフレッシュ効率を向上させるために、ＯｐｅｎＧＬを用いてローカルリフレッシュを行い、現在のフレームがレンダリングされるときに状態が変化したノードを統計し、状態が変化したすべてのノードによって生成されたリフレッシュ領域を計算し、リフレッシュ領域に対応するスクリーンにおけるスクリーン領域を計算し、スクリーン領域に基づいて投影行列を設定し、さらにビューポートとカッティング領域を設定し、得られたモデルデータとテクスチャデータをレンダラに提出してレンダリングし、さらに対応するリアルタイム視覚インタレース画像を得る。

【0055】

ステップＳ２０２：オペレータに人体行動が発生したか否かを識別し、発生した場合、オペレータの人体行動情報を取得する。

【0056】

一実施例において、運転中に、オペレータの人体行動の動作が大きすぎることは、裸眼３Ｄ画面のリフレッシュがタイムリに応答できない要因となる。オペレータに発生可能な人体行動は主に頭部の回転及び移動であるため、カメラでオペレータの顔及び人体の主胴体の姿勢情報を捕捉すれば、オペレータの人体行動に基づいてバッファの画面を抽出することができ、画面のリフレッシュ速度を向上させ、裸眼３Ｄ画面を見るときの目眩を低減する。図４は、本開示の実施例において、オペレータに人体行動が発生するか否かを識別する方法の流れを示し、限定ではなく例として、具体的なステップは以下の通りである。

【0057】

Ｓ４０１：オペレータの姿勢キーポイントをリアルタイムに収集し、姿勢キーポイントに基づいて人体主胴体姿勢ベクトル及び顔コーナー点の動作ベクトルを構築する。

【0058】

カメラを用いて人体の２次元ＲＧＢ画像情報を収集し、人体姿勢推定アルゴリズムに基づいて２次元ＲＧＢ画像から１８個以上の人体キーポイントを取得し、標準人体姿勢と対比することにより、人体頭部の回転又は上半身の移動を正確に表現できる姿勢キーポイントを取得し、人体姿勢推定アルゴリズムを利用して画像座標系における人体の姿勢キーポイントの生データを取得し、人体の主体幹姿勢ベクトルと顔コーナー点を代表する動作ベクトルを構築する。

【0059】

一例として、ＯｐｅｎＰｏｓｅは、畳み込みニューラルネットワーク及び教師あり学習に基づく人体姿勢識別アルゴリズムのオープンソースライブラリであり、人体動作、顔表情、指動作などの姿勢推定を実現することができる。本実施例において、ＯｐｅｎＰｏｓｅを用いて２次元ＲＧＢ画像から人体キーポイントを取得する。限定ではなく例として、番号は、１（鼻を表す）、２（首を表す）、３（右肩を表す）、６（左肩を表す）、１５（右目を表す）、１６（左目を表す）などの人体キーポイントを姿勢キーポイントとする。

【0060】

Ｓ４０２：人体主胴体姿勢ベクトル及び顔コーナー点の動作ベクトルに基づいて、オペレータの主胴体及び頭部の変位角を算出する。

【0061】

Ｓ４０３：主胴体及び頭部の変位角に基づいて人体行動の判定を行い、主胴体及び頭部の変位角が所定数値を超える場合、オペレータに人体行動が発生したと判定し、さらに主胴体及び頭部の変位角を、人体傾斜姿勢を表す人体行動情報とする。

【0062】

ステップＳ２０３：人体行動情報に基づいてオペレータの変位区間を予め判定し、変位区間に対応する視角画像セットを生成してバッファリングする。

【0063】

一実施例において、人体姿勢アルゴリズムを利用して人体行動情報を統合して識別し、オペレータの行動傾向確率値を得る。

【0064】

限定ではなく例として、人体行動情報を抽出し、オペレータの主胴体の変位角で移動特徴ベクトルを構成し、オペレータの頭部の変位角で頭部回転特徴ベクトルを構成し、訓練されたＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ベクトル支持器）で移動特徴ベクトルに対して行動判定を行い、第１分類結果をｘとして出力する。

【0065】

【数1】

【0066】

同様に、トレーニングされたＳＶＭにより、頭部回転特徴ベクトルに対して行動判定を行い、第２分類結果をｙとして出力する。

【0067】

【数2】

【0068】

オペレータの行動傾向確率値は、第１の分類結果ｘと第２の分類結果ｙとの総和である。

【0069】

なお、人体行動傾向確率値に基づいて、オペレータの次の単位時間内の人眼位置を予測することができ、例えば、傾向確率値が－１である場合、オペレータの次の単位時間内の人眼位置が現在の視域区間の左側の１つの視域区間内にあると予測し、即ち、オペレータの変位区間が現在の視域区間の左側の１つの視域区間である。

【0070】

限定ではなく例として、ＯｐｅｎＧＬをグラフィックスライブラリとして採用し、変位区間に基づいて変位区間に対応する視角画像セットを生成してバッファリングしてもよく、具体的なステップは以下の通りである。

【0071】

（１）グラフィックスライブラリにおいて変位区間の３Ｄモデルシーンを生成する。

【0072】

（２）変位区間における所定のいくつかの視域区間所定視点に基づいて、視域区間所定視点のそれぞれに対応するバッファ画像をレンダリングして生成する、

【0073】

（３）全ての視域区間所定視点に対応するバッファ画像を変位区間に対応する視角画像セットとする。

【0074】

具体的には、各視域区間に複数の視点を予め設定し、視域区間の所定視点が円周方向に沿って各視域区間内に均一に分布し、デュアルカメラの光中心の接続線の中心を頂点とし、隣接する視域区間の所定視点の間の夾角が等しく、視域区間の所定視点と所定操作中心の視角との偏角を視域区間の所定視点の位置情報とし、視域区間の所定視点に対応するビューを予めメモリに記憶し、後の変位区間に対応する視角画像セットの継続的なリアルタイムリフレッシュ処理により、観察者が最適な３Ｄ画面をいつでも見ることができ、目眩感をさらに低減させる。例えば、各視域区間において２４個の視点が予め設定されていてもよい。

【0075】

ステップＳ２０４：視角画像セットに基づいて、表示インタフェースにおいてリアルタイム視覚インタレース画像に対して応答補償を行う。

【0076】

一実施例において、図５は、本開示の実施例におけるリアルタイム視覚インタレース画像に対して応答補償を行う方法の流れを示す。限定ではなく例として、具体的なステップは以下の通りである。

【0077】

Ｓ５０１：オペレータのリアルタイム人眼位置に基づいて、オペレータのリアルタイム人眼位置と前のフレームで収集されたオペレータの人眼位置とが同一視域区間に位置するか否かを判断する。

【0078】

本実施例において、カメラにより収集された各フレームのオペレータの人眼位置の地球座標データでは、いずれも三角法により、オペレータの人眼位置とデュアルカメラの光中心の接続線の中心との距離と、オペレータの人眼位置と所定操作中心との視角との偏角を算出し、さらに、オペレータの人眼位置と所定操作中心の視角との偏角の度数の標準視域における単位区間の区画に基づいて、オペレータの人眼位置が所在する視域区間を確定することができる。

【0079】

前のフレームのオペレータの人眼位置が所在する視域区間をバッファリングし、算出されたリアルタイム人眼位置が所在する視域区間と前のフレームのオペレータの人眼位置が所在する視域区間とを比較し、両者が同じであるか否かを判断する。両者が同じであれば、オペレータのリアルタイム人眼位置と前のフレームで収集されたオペレータの人眼位置とが同一視域区間に位置する。

【0080】

Ｓ５０２：オペレータのリアルタイム人眼位置と前のフレームで収集されたオペレータの人眼位置が同一視域区間に位置しない場合、オペレータのリアルタイム人眼位置が変位区間に位置するか否かを判断する。

【0081】

Ｓ５０３：オペレータのリアルタイム人眼位置が変位区間に位置する場合、変位区間におけるオペレータのリアルタイム人眼位置に最も近い視域区間所定視点を目標視域区間所定視点とし、視角画像セットから目標視域区間所定視点に対応してマッチングされる目標バッファ画像を取得する。

【0082】

本実施例では、リアルタイム人眼位置と所定操作中心の視角との偏角に基づいて、位置情報がリアルタイム人眼位置に最も近い視域区間の所定視点を特定し、当該最も近い視域区間所定視点を目標所定視点とし、視角画像セットから目標所定視点に対応するバッファ画像を目標バッファ画像として抽出する。

【0083】

Ｓ５０４：目標バッファ画像に基づいて前記リアルタイム視覚インタレース画像に対して応答補償を行う。

【0084】

なお、オペレータのリアルタイム人眼位置も変位区間に位置しない場合、メモリからリアルタイム人眼位置に最も近い視域区間所定視点に対応するビューを取得し、リアルタイム視覚インタレース画像に対して応答補償を行う。

【0085】

もう一つの実施例において、運転環境の明るさが低すぎるときに裸眼３Ｄ効果が劣れ、さらにオペレータが裸眼３Ｄ画面を見るときにより疲労しやすいことを考慮した結果、本開示に係る車載計器裸眼３Ｄ表示方法は、裸眼３Ｄ効果を自動的にオフする方法も含む。限定ではなく例として、裸眼３Ｄ効果を自動的にオフする具体的なステップは以下の通りである。

【0086】

（１）ＲＧＢカメラが画面をキャプチャする輝度に対してデータフレーム平均処理を行い、現在環境のデータフレームセグメントの中央値を計算する。

【0087】

（２）現在の環境のデータフレームセグメントの中央値に対して作業環境判定を行い、現在の環境のデータフレームセグメントの中央値が所定基準閾値より小さい場合、環境光線が不十分であると判定し、ＩＲカメラを利用してフレーム測定を行うことにより、光線が不足するときの状況を補う。

【0088】

（３）ＩＲカメラがフレーム測定したデータが所定閾値より小さい場合、裸眼３Ｄ効果を自動的にオフして２Ｄ表示に変換し、このとき、ＲＧＢカメラの眼球追跡システムはオフになる。

【0089】

なお、上記実施例における各ステップの番号の大きさは、実行順序の前後を意味するものではなく、各プロセスの実行順序は、その機能及び内在的論理によって決定されるべきであり、本開示の実施例の実施過程に対して何ら限定するものではない。

【0090】

図６は、本開示の実施例に係る車載計器裸眼３Ｄ表示装置の構造ブロック図を示し、説明の便宜上、本開示の実施例に関連する部分のみを示す。

【0091】

図６を参照すると、当該装置は、以下のステップを含む。

【0092】

オペレータの位置情報を収集する収集モジュールであって、リアルタイム人眼位置を収集する人眼測位ユニットと、人体行動情報を取得する行動識別ユニットとを含む収集モジュールと、
リアルタイム人眼位置を受信し、現在の視域区間を計算して現在の視域区間に対応する第１のインタレース画像画面を生成する第１の計算処理ユニットと、人体行動情報に基づいてオペレータの変位区間を予測して、変位区間に対応する第２のインタレース画像画面を生成する第２の計算処理ユニットとを含む計算処理モジュールと、
第２のインタレース画像画面をバッファリングするバッファモジュールと、
第１のインタレース画像画面を表示し、且つ、第２のインタレース画像画面を抽出してリフレッシュする表示モジュールと、を含む。

【0093】

なお、上記装置／ユニットの間の情報インタラクション、実行プロセスなどの内容は、本開示の方法の実施例と同一の構想に基づく。そのため、その具体的な機能及びもたらす技術的効果は、具体的に方法の実施例部分を参照することができる、ここでは説明を省略する。

【0094】

説明の便宜および簡潔さのために、上記各機能ユニット、モジュールの分割のみを例に挙げて説明したが、実際の応用において、必要に応じて、上記機能割り当てを異なる機能ユニット、モジュールによって完成させることができ、即ち、上記装置の内部構造を異なる機能ユニット又はモジュールに分割して、以上に説明した全部又は一部の機能を実現することができる。実施例における各機能ユニット、モジュールは、１つの処理ユニットに統合されてもよく、各ユニットが単独で物理的に存在してもよく、２つ以上のユニットが１つのユニットに統合されてもよい。上記統合されたユニットは、ハードウェアとして実現されてもよく、ソフトウェア機能ユニットとして実現されてもよい。また、各機能ユニット、モジュールの具体的な名称は、互いに区別するためのものであり、本開示の保護範囲を制限するものではない。上記システムにおけるユニット、モジュールの具体的な動作プロセスについては、上記方法の実施例における対応するプロセスを参照することができ、ここでは説明を省略する。

【0095】

本開示の実施形態は、ネットワーク機器をさらに提供し、当該ネットワーク機器は、少なくとも１つのプロセッサと、メモリと、メモリに記憶され且つ前記少なくとも１つのプロセッサで実行可能なコンピュータプログラムとを含み、前記プロセッサは、コンピュータプログラムを実行するときに、上記各方法の実施例におけるステップを実施する。

【0096】

本開示の実施例は、プロセッサによって実行されると、上記各方法の実施例におけるステップを実現するコンピュータプログラムが記憶される、コンピュータ可読記憶媒体。

【0097】

本開示の実施例は、携帯端末で実行されるときに、上記各方法の実施例におけるステップを実現するコンピュータプログラム製品を提供する。

【0098】

上記統合されたユニットは、ソフトウェア機能ユニットとして実現されて独立した製品として販売又は使用される場合、１つのコンピュータ可読記憶媒体に記憶されてもよい。このように、本開示において、上記実施例の方法における全部又は一部のプロセスの実現は、コンピュータプログラムで関連するハードウェアを指令することによって完成され、前記コンピュータプログラムは、コンピュータ可読記憶媒体に記憶されてもよく、当該コンピュータプログラムは、プロセッサによって実行されると、上記各方法の実施例のステップを実現することができる。コンピュータプログラムは、コンピュータプログラムコードを含み、上記コンピュータプログラムコードは、ソースコード形式、オブジェクトコード形式、実行可能ファイル、又はいくつかの中間形式などであってもよい。コンピュータ可読媒体は、少なくとも、コンピュータプログラムコードを撮影装置／端末機器に搬送することができる任意の実体又は装置、記録媒体、コンピュータメモリ、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、電気搬送波信号、電気通信信号及びソフトウェア配布媒体を含んでもよい。例えば、ＵＳＢディスク、モバイルハードディスク、磁気ディスク又は光ディスクなどである。ある司法管轄区域において、立法及び特許実践によれば、コンピュータ可読媒体は、電気搬送波信号及び電気通信信号であってはならない。

【0099】

上記実施例において、各実施例の説明はいずれも注目点があり、ある実施例において詳細がなく又は記載されていない部分については、他の実施例の関連する説明を参照することができる。

【0100】

本明細書に開示された実施例に関連して説明した各例のユニット及びアルゴリズムステップを組み合わせて、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせで実現することができる。これらの機能がハードウェアで実行されるか又はソフトウェアで実行されるかは、技術的解決手段の特定の適用及び設計制約条件に依存する。当業者は、特定の適用毎に異なる方法を用いて説明した機能を実現することができるが、このような実現は本開示の範囲を超えたものとして見なされるべきではない。

【0101】

本開示に係る実施例では、開示した装置／ネットワーク機器及び方法は、他の方法で実現できる。例えば、以上で説明した装置／ネットワーク機器の実施例は、例示的なものに過ぎず、例えば、上記モジュール又はユニットの分割は、論理機能の分割であり、実際の実現において、他の分割方式があってもよく、例えば、複数のユニット又はアセンブリは、結合されてもよく、又は別のシステムに統合されてもよい。いくつかの特徴は、省略又は実行されなくてもよい。また、記載又は検討された相互間の結合、直接結合又は通信接続は、いくつかのポート、装置又はユニットを介した間接結合又は通信接続であってもよく、電気的、機械的又は他の形式であってもよい。

【0102】

分離した部材として説明されるユニットは、物理的に分離されてもよく、物理的に分離されなくてもよく、ユニットとして示された部材は、物理的ユニットであってもなくてもよく、即ち、１つの箇所に位置してもよく、複数のネットワークユニットに分布してもよい。実際のニーズに応じて、その中の一部又は全部のユニットを選択して本実施例の解決手段の目的を実現することができる。

【0103】

上記実施例は、本開示の技術的解決手段を説明するためのものに過ぎず、限定するものではない。上記実施例を参照して本開示を詳しく説明したが、上記各実施例に記載される技術的解決手段を修正し、又はその中の一部の技術的特徴を同等に置換することができる。これらの修正又は置換は、対応する技術的解決手段の本質を本開示の各実施例の技術的解決手段の精神及び範囲から逸脱させることなく、いずれも本開示の保護範囲内に含まれるべきである。

【符号の説明】

【0104】

１０１ カバープレート
１０２ ３Ｄ回折格子
１０３ ＴＦＴモジュール
１０４ バックライトモジュール
１０５ ケース
２００ カメラ群
３００ プロセッサ
Ｓ２０１ ステップ
Ｓ２０２ ステップ
Ｓ２０３ ステップ
Ｓ２０４ ステップ
Ｓ３０１ ステップ
Ｓ３０２ ステップ
Ｓ３０３ ステップ
Ｓ３０４ ステップ
Ｓ４０１ ステップ
Ｓ４０２ ステップ
Ｓ４０３ ステップ
Ｓ５０１ ステップ
Ｓ５０２ ステップ
Ｓ５０３ ステップ
Ｓ５０４ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】