特表2024-539329 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ アークソフト　コーポレイション　リミテッドの特許一覧

特表2024-539329表示機器のための位置合わせ方法及び位置合わせ装置、車載表示システム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-28

(54)【発明の名称】表示機器のための位置合わせ方法及び位置合わせ装置、車載表示システム

(51)【国際特許分類】

G06T 7/30 20170101AFI20241018BHJP

G06T 7/00 20170101ALI20241018BHJP

H04N 7/18 20060101ALI20241018BHJP

【ＦＩ】

G06T7/30

G06T7/00 660Z

H04N7/18 J

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024525386

(86)(22)【出願日】2022-10-14

(85)【翻訳文提出日】2024-04-26

(86)【国際出願番号】 CN2022125475

(87)【国際公開番号】W WO2023071834

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】202111267017.X

(32)【優先日】2021-10-28

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】519262146

【氏名又は名称】アークソフトコーポレイションリミテッド

【氏名又は名称原語表記】ＡｒｃＳｏｆｔＣｏｒｐｏｒａｔｉｏｎＬｉｍｉｔｅｄ

【住所又は居所原語表記】１９Ｆｌｏｏｒ，Ｎｏ．３９２ＢｉｎｘｉｎｇＲｏａｄ（ＡｒｃＳｏｆｔＢｕｉｌｄｉｎｇ），ＣｈａｎｇｈｅＳｔｒｅｅｔ，ＢｉｎｊｉａｎｇＤｉｓｔｒｉｃｔ，Ｈａｎｇｚｈｏｕ，Ｚｈｅｊｉａｎｇ，３１００５２，ＣＨＩＮＡ

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】ユー，リー

(72)【発明者】

【氏名】シュー，シュエヤン

(72)【発明者】

【氏名】ワン，ジン

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FA07

5C054HA30

5L096AA06

5L096BA04

5L096CA02

5L096DA02

5L096FA67

5L096FA69

(57)【要約】

本発明は、画像処理分野に関する表示機器のための位置合わせ方法及び位置合わせ装置、車載表示システムを開示する。この位置合わせ方法は、ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するステップと、オリジナルシーンに対して第１カメラによって収集された撮影画像を取得し、撮影画像内のエンティティ識別点を抽出するステップと、事前に取得されたキャリブレーションパラメータにより、撮影画像とユーザの現在の視野内の仮想画像との間の二次元画像マッピング関係を確定するステップであって、仮想画像は、表示機器によって投影される画像であるステップと、二次元画像マッピング関係に応じて、エンティティ識別点を仮想画像に投影するステップであって、仮想画像内の仮想マーキングオブジェクトは、視線フォーカシングエリア内のエンティティ参照オブジェクトに位置合わせされるステップと、を含む。本発明は、運転者及び同乗者が視線を移動させながら仮想と現実が位置合わせされた良好な「没入型」拡張現実体験を得ることができず、運転者及び同乗者の使用への関心が低下するという関連技術における技術的問題を解決する。
【選択図】図２

【特許請求の範囲】

【請求項1】

表示機器のための位置合わせ方法であって、
ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するステップであって、前記視線フォーカシングエリアには、少なくとも１つのエンティティ参照オブジェクトが含まれるステップと、
オリジナルシーンに対して第１カメラによって収集された撮影画像を取得し、前記撮影画像内のエンティティ識別点を抽出するステップと、
事前に取得されたキャリブレーションパラメータにより、前記撮影画像とユーザの現在の視野内の仮想画像との間の二次元画像マッピング関係を確定するステップであって、仮想画像は、表示機器によって投影される画像であるステップと、
前記二次元画像マッピング関係に応じて、前記エンティティ識別点を前記仮想画像に投影するステップであって、前記仮想画像内の仮想マーキングオブジェクトは、前記視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせされるステップと、を含む、
表示機器のための位置合わせ方法。

【請求項2】

ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するステップは、
前記ユーザの視線投射本体の座標に基づいて、前記ターゲット乗り物の前方に対する前記ユーザのフォーカシング注視線を確定するステップと、
前記フォーカシング注視線と前記ターゲット乗り物の前方の地面が位置する平面とを交差させ、前記ユーザの注視位置点を取得するステップと、
前記注視位置点に基づいて、前記ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するステップと、を含む、
請求項１に記載の位置合わせ方法。

【請求項3】

前記表示機器及びユーザの目の位置状態に応じて、ヒューマンアイシミュレーション補助カメラと組み合わせて仮想現実位置合わせキャリブレーション方法によって前記キャリブレーションパラメータを確定する、
請求項１に記載の位置合わせ方法。

【請求項4】

前記表示機器及び前記ユーザの目の位置が固定位置に維持される場合、この固定位置で前記ヒューマンアイシミュレーション補助カメラと組み合わせて仮想現実開閉キャリブレーション方法によって前記キャリブレーションパラメータを確定するステップ、又は、
前記表示機器及び/又は前記ユーザの目の位置が変化した場合、位置が変化した機器を複数の異なるキャリブレーション位置に調整して前記仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定し、前記機器の実際の位置及び前記正規化パラメータキャリブレーション対応関係に応じて前記キャリブレーションパラメータを確定するステップをさらに含む、
請求項３に記載の位置合わせ方法。

【請求項5】

前記表示機器及び前記ユーザの目の実際の位置は、運転者監視システムによって取得される、
請求項４に記載の位置合わせ方法。

【請求項6】

前記キャリブレーションパラメータは、第１カメラによって収集された第１画像と前記ヒューマンアイシミュレーション補助カメラによって収集された第２画像との間の第１二次元画像マッピング関係と、前記ヒューマンアイシミュレーション補助カメラによって収集された第３画像と仮想キャリブレーションパターンとの間の第２二次元画像マッピング関係と、を含む、
請求項３に記載の位置合わせ方法。

【請求項7】

ヒューマンアイシミュレーション補助カメラと組み合わせて仮想現実位置合わせキャリブレーション方法によって前記キャリブレーションパラメータを確定するステップは、前記表示機器のオン及びオフを制御することにより、実物キャリブレーションパターン及び仮想キャリブレーションパターンと組み合わせて、前記ヒューマンアイシミュレーション補助カメラ及び前記第１カメラによってキャプチャされた画像に基づいて前記キャリブレーションパラメータを確定するステップを含む、
請求項３に記載の位置合わせ方法。

【請求項8】

前記表示機器のオン及びオフを制御することにより、実物キャリブレーションパターン及び仮想キャリブレーションパターンと組み合わせて、ヒューマンアイシミュレーション補助カメラ及び前記第１カメラによってキャプチャされた画像に基づいて前記キャリブレーションパラメータを確定するステップは、
前記表示機器をオフにした後、前記実物キャリブレーションパターンと組み合わせて、前記第１カメラによって収集された第１画像と前記ヒューマンアイシミュレーション補助カメラによって収集された第２画像との間の第３二次元画像マッピング関係を確定するステップと、
前記表示機器をオンにした後、前記仮想キャリブレーションパターンと組み合わせて、前記ヒューマンアイシミュレーション補助カメラによって収集された第３画像と前記仮想キャリブレーションパターンとの間の第４二次元画像マッピング関係を確定するステップと、
前記第３二次元画像マッピング関係と前記第４二次元画像マッピング関係を前記キャリブレーションパラメータとして特徴付けるステップと、を含む、
請求項７に記載の位置合わせ方法。

【請求項9】

前記実物キャリブレーションパターンは、前記ターゲット乗り物の前方に配置され、前記仮想キャリブレーションパターンは、前記表示機器によって投影された虚像面に表示され、前記実物キャリブレーションパターンには、少なくとも１つの実物特徴点が含まれ、前記仮想キャリブレーションパターンには、少なくとも１つの仮想特徴点が含まれる、
請求項７に記載の位置合わせ方法。

【請求項10】

前記実物キャリブレーションパターンを、前記ヒューマンアイシミュレーション補助カメラの視野における前記実物キャリブレーションパターンよりも高く、且つ前記実物キャリブレーションパターンに平行な同等実物キャリブレーションパターンで置き換えるステップをさらに含む、
請求項７に記載の位置合わせ方法。

【請求項11】

前記表示機器のオン及びオフを制御することにより、前記同等実物キャリブレーションパターン及び前記仮想キャリブレーションパターンと組み合わせて、前記ヒューマンアイシミュレーション補助カメラ及び前記第１カメラによってキャプチャされた画像に基づいて前記キャリブレーションパラメータを確定するステップは、
前記表示機器をオフにした後、同等実物キャリブレーションパターンによって地面に位置する同等仮想キャリブレーションパターンを復元し、前記第１カメラによって生成された第４画像に投影し、前記ヒューマンアイシミュレーション補助カメラによって前記同等実物キャリブレーションパターンに関する第５画像を収集し、前記第４画像と前記第５画像との間の第５二次元画像マッピング関係を確定するステップと、
前記表示機器をオンにした後、前記仮想キャリブレーションパターンと組み合わせて、前記ヒューマンアイシミュレーション補助カメラによって収集された第６画像と前記仮想キャリブレーションパターンとの間の第６二次元画像マッピング関係を確定するステップと、
前記第５二次元画像マッピング関係と前記第６二次元画像マッピング関係を前記キャリブレーションパラメータとして特徴付けるステップと、を含む、
請求項１０に記載の位置合わせ方法。

【請求項12】

同等実物キャリブレーションパターンによって地面に位置する同等仮想キャリブレーションパターンを復元し、前記第１カメラによって生成された第４画像に投影するステップは、
キャリブレーションによって得られた前記第１カメラ、前記ヒューマンアイシミュレーション補助カメラ及び前記同等実物キャリブレーションパターンの第１空間姿勢に基づいて、同等実物キャリブレーションパターンの地上高の値と事前に設定されたスケーリング比を確定するステップと、
前記地上高の値及び事前に設定されたスケーリング比に基づいて、光線伝播原理と組み合わせて、前記同等実物キャリブレーションパターンによって地面に位置する同等仮想キャリブレーションパターンを復元し、前記仮想キャリブレーションパターンの第２空間姿勢を計算するステップと、
前記第２空間姿勢と組み合わせて前記仮想キャリブレーションパターンを前記第１カメラの結像面に投影して前記第４画像を生成するステップと、を含む、
請求項１１に記載の位置合わせ方法。

【請求項13】

前記正規化パラメータキャリブレーション対応関係は、任意の正規化パラメータと１対１で対応するキャリブレーションパラメータとの間のマッピング関係であり、前記正規化パラメータは、可変ストロークに占める前記表示機器及び/又は前記ヒューマンアイシミュレーション補助カメラの位置移動量の割合である、
請求項４に記載の位置合わせ方法。

【請求項14】

位置が変化した前記機器は、前記表示機器及び/又は前記ヒューマンアイシミュレーション補助カメラを含む、請求項４に記載の位置合わせ方法。

【請求項15】

前記表示機器及び/又は前記ユーザの目の位置が変化した場合、位置が変化した機器を複数の異なるキャリブレーション位置に調整して前記仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定し、前記機器の実際の位置及び前記正規化パラメータキャリブレーション対応関係に応じて前記キャリブレーションパラメータを確定するステップは、
位置が変化した前記機器を可変空間内の少なくとも２つの異なるキャリブレーション位置に調整して前記仮想現実開閉キャリブレーション方法を繰り返し、前記正規化パラメータキャリブレーション対応関係を確定するステップと、
前記機器の実際の位置に基づいて前記可変空間における正規化位置パラメータを確定し、前記正規化位置パラメータ及び前記正規化パラメータキャリブレーション対応関係に応じて前記キャリブレーションパラメータを確定するステップと、を含む、
請求項４に記載の位置合わせ方法。

【請求項16】

前記可変空間が可変直線ストロークである場合、前記位置合わせ方法は、
前記機器を可変直線ストローク内の少なくとも２つの異なるキャリブレーション位置に調整して前記仮想現実開閉キャリブレーション方法を繰り返し、前記正規化パラメータキャリブレーション対応関係を確定するステップであって、前記少なくとも２つの異なるキャリブレーション位置には、可変直線ストロークにおける前記機器の最高表示基準位置及び最低基準位置が含まれるステップを含む、
請求項１５に記載の位置合わせ方法。

【請求項17】

前記可変空間が可変平面ストロークである場合、前記位置合わせ方法は、
前記機器を可変平面ストローク内の少なくとも３つの異なるキャリブレーション位置に調整して前記仮想現実開閉キャリブレーション方法を繰り返し、前記正規化パラメータキャリブレーション対応関係を確定するステップであって、前記少なくとも３つの異なるキャリブレーション位置には、前記機器の３つの非同時共線的な限界基準位置が含まれるステップを含む、
請求項１５に記載の位置合わせ方法。

【請求項18】

前記可変空間が可変三次元空間ストロークである場合、前記位置合わせ方法は、
前記機器を可変三次元空間ストローク内の少なくとも４つの異なるキャリブレーション位置に調整して前記仮想現実開閉キャリブレーション方法を繰り返し、前記正規化パラメータキャリブレーション対応関係を確定するステップであって、前記少なくとも４つの異なるキャリブレーション位置には、前記機器の４つの非同時共面的な限界基準位置が含まれるステップを含む、
請求項１５に記載の位置合わせ方法。

【請求項19】

位置が変化した機器を可変空間内の少なくとも２つの異なるキャリブレーション位置に調整して前記仮想現実開閉キャリブレーション方法を繰り返し、前記正規化パラメータキャリブレーション対応関係を確定するステップは、
位置が変化した前記機器を前記可変空間内の少なくとも２つの異なるキャリブレーション位置に調整し、前記異なるキャリブレーション位置で前記仮想現実開閉キャリブレーション方法を繰り返してキャリブレーションパラメータグループを取得するステップであって、前記キャリブレーションパラメータグループには、各キャリブレーション位置に１対１で対応する各キャリブレーションパラメータが含まれるステップと、
全ての前記キャリブレーション位置及び前記可変空間に基づいて正規化パラメータグループを確定するステップと、
前記キャリブレーションパラメータグループ及び前記正規化パラメータグループと組み合わせて前記正規化パラメータキャリブレーション対応関係をフィッティングして確定するステップと、を含む、
請求項１５に記載の位置合わせ方法。

【請求項20】

ロボットアームにより前記ヒューマンアイシミュレーション補助カメラを掛けて前記ヒューマンアイシミュレーション補助カメラの位置を調整し、対応する三次元正規化座標を提供するステップをさらに含む、
請求項４に記載の位置合わせ方法。

【請求項21】

前記二次元画像マッピング関係及び前記ターゲット乗り物の姿勢と組み合わせて、前記エンティティ識別点を前記仮想画像に投影するステップをさらに含む、
請求項１に記載の位置合わせ方法。

【請求項22】

表示機器のための位置合わせ装置であって、
ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するように構成され、前記視線フォーカシングエリアには、少なくとも１つのエンティティ参照オブジェクトが含まれる第１確定ユニットと、
オリジナルシーンに対して第１カメラによって収集された撮影画像を取得し、前記撮影画像内のエンティティ識別点を抽出するように構成される第１取得ユニットと、
事前に取得されたキャリブレーションパラメータにより、前記撮影画像とユーザの現在の視野内の仮想画像との間の二次元画像マッピング関係を確定するように構成され、前記仮想画像は、表示機器によって投影される画像である第１確定ユニットと、
前記二次元画像マッピング関係に応じて、前記エンティティ識別点を前記仮想画像に投影するように構成され、前記仮想画像内の仮想マーキングオブジェクトは、前記視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせされる位置合わせユニットと、を含む、
表示機器のための位置合わせ装置。

【請求項23】

前記第１確定ユニットは、
前記ユーザの視線投射本体の座標に基づいて、前記ターゲット乗り物の前方に対する前記ユーザのフォーカシング注視線を確定するように構成される第１確定モジュールと、
前記フォーカシング注視線と前記ターゲット乗り物の前方の地面が位置する平面とを交差させ、前記ユーザの注視位置点を取得するように構成される注視点確定モジュールと、
前記注視位置点に基づいて、前記ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するように構成される第２確定モジュールと、を含む、
請求項２２に記載の位置合わせ装置。

【請求項24】

前記表示機器及びユーザの目の位置状態に応じて、ヒューマンアイシミュレーション補助カメラと組み合わせて仮想現実位置合わせキャリブレーション方法によって前記キャリブレーションパラメータを確定する、
請求項２２に記載の位置合わせ装置。

【請求項25】

前記表示機器及び前記ユーザの目の位置が固定位置に維持される場合、この固定位置で前記ヒューマンアイシミュレーション補助カメラと組み合わせて仮想現実開閉キャリブレーション方法によって前記キャリブレーションパラメータを確定するように構成される第３確定ユニット、又は、
前記表示機器及び/又は前記ユーザの目の位置が変化した場合、位置が変化した機器を複数の異なるキャリブレーション位置に調整して前記仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定し、前記機器の実際の位置及び前記正規化パラメータキャリブレーション対応関係に応じて前記キャリブレーションパラメータを確定するように構成される第４確定ユニットをさらに含む、
請求項２４に記載の位置合わせ装置。

【請求項26】

前記表示機器及び前記ユーザの目の実際の位置は、運転者監視システムによって取得される、
請求項２４に記載の位置合わせ装置。

【請求項27】

【請求項28】

第３確定ユニットは、前記表示機器のオン及びオフを制御することにより、実物キャリブレーションパターン及び仮想キャリブレーションパターンと組み合わせて、前記ヒューマンアイシミュレーション補助カメラ及び前記第１カメラによってキャプチャされた画像に基づいて前記キャリブレーションパラメータを確定するように構成される第３確定モジュールを含む、
請求項２４に記載の位置合わせ装置。

【請求項29】

第３確定モジュールは、
前記表示機器をオフにした後、前記実物キャリブレーションパターンと組み合わせて、前記第１カメラによって収集された第１画像と前記ヒューマンアイシミュレーション補助カメラによって収集された第２画像との間の第３二次元画像マッピング関係を確定するように構成される第１確定サブモジュールと、
前記表示機器をオンにした後、前記仮想キャリブレーションパターンと組み合わせて、前記ヒューマンアイシミュレーション補助カメラによって収集された第３画像と前記仮想キャリブレーションパターンとの間の第４二次元画像マッピング関係を確定するように構成される第２確定サブモジュールと、
前記第３二次元画像マッピング関係と前記第４二次元画像マッピング関係を前記キャリブレーションパラメータとして特徴付けるように構成される第３確定サブモジュールと、を含む、
請求項２８に記載の位置合わせ装置。

【請求項30】

前記実物キャリブレーションパターンを、前記ヒューマンアイシミュレーション補助カメラの視野における実物キャリブレーションパターンよりも高く、且つ前記実物キャリブレーションパターンに平行な同等実物キャリブレーションパターンで置き換えるように構成される置き換えユニットをさらに含む、
請求項２９に記載の位置合わせ装置。

【請求項31】

第３確定モジュールは、
前記表示機器をオフにした後、同等実物キャリブレーションパターンによって地面に位置する同等仮想キャリブレーションパターンを復元し、前記第１カメラによって生成された第４画像に投影し、前記ヒューマンアイシミュレーション補助カメラによって前記同等実物キャリブレーションパターンに関する第５画像を収集し、前記第４画像と前記第５画像との間の第５二次元画像マッピング関係を確定するように構成される第４確定サブモジュールと、
前記表示機器をオンにした後、前記仮想キャリブレーションパターンと組み合わせて、前記ヒューマンアイシミュレーション補助カメラによって収集された第６画像と前記仮想キャリブレーションパターンとの間の第６二次元画像マッピング関係を確定するように構成される第５確定サブモジュールと、
前記第５二次元画像マッピング関係と前記第６二次元画像マッピング関係を前記キャリブレーションパラメータとして特徴付けるように構成される第６確定サブモジュールとをさらに含む、
請求項３０に記載の位置合わせ装置。

【請求項32】

車載表示システムであって、
ターゲット乗り物内のユーザの視線フォーカシングエリアを追跡するように構成され、前記視線フォーカシングエリアには、１つのエンティティ参照オブジェクトが少なくとも含まれる運転者監視システムと、
前記視線フォーカシングエリアを撮影し、撮影画像を得るように構成されるドライブレコーダーと、
前記運転者監視システム及び前記ドライブレコーダーにそれぞれ接続され、請求項１ないし２１のいずれか１項に記載の表示機器のための位置合わせ方法を実行するように構成される車載コントローラと、
仮想画像を前記ユーザの真ん前の事前に設定された位置に投影するように構成され、前記仮想画像内の仮想マーキングオブジェクトは、前記視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせされるヘッドアップディスプレイと、を含む、
車載表示システム。

【請求項33】

車載制御機器であって、
プロセッサと、
前記プロセッサの実行可能命令を記憶するように構成されるメモリと、を含み、
前記プロセッサは、前記実行可能命令を実行することにより請求項１ないし２１のいずれか１項に記載の表示機器のための位置合わせ方法を実行するように構成される、
車載制御機器。

【請求項34】

記憶されたコンピュータプログラムを含み、前記コンピュータプログラムが実行されると、請求項１ないし２１のいずれか１項に記載の表示機器のための位置合わせ方法を実行するようにコンピュータ可読記憶媒体が配置される機器を制御する、
コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

(関連出願への相互参照)
本出願は、２０２１年１０月２８日に中国特許庁に提出された、出願番号が２０２１１１２６７０１７.Ｘであり、出願名称が「表示機器のための位置合わせ方法及び位置合わせ装置、車載表示システム」である中国特許出願に対する優先権を主張し、その全ての内容が参照により本出願に組み込まれる。

【0002】

本発明は、画像処理技術分野に関し、具体的には、表示機器のための位置合わせ方法及び位置合わせ装置、車載表示システムに関する。

【背景技術】

【0003】

「インテリジェント」の波の台頭に伴い、コンピュータービジョン、人工知能、仮想/拡張現実などの技術が車両の運転及び安全の分野で広く適用される。ヘッドアップディスプレイ(ＨＵＤ:head-up display)により、ユーザは、機器の情報を見るために頭を下げる必要がなく、常に頭を上げた状態に保たれるため、頭を下げるときから頭を上げるときまで外部環境の急激な変化を無視することによって引き起こされる安全上のリスクを軽減し、車両の運転体験を大幅に向上させる。

【0004】

２０１２年、研究者たちは、ＨＵＤにナビゲーション情報を追加し、これにより、車両は、自身の位置に基づいて次の時点の進行方向のプロンプトを得ることができ、ＨＵＤに拡張現実(ＡＲ:augmented reality)の概念が画期的に導入されるため、ＨＵＤは、仮想画像内で現実シーンの情報をプロンプトすることができ、ＨＵＤの適用シーンが豊かになった。

【0005】

近年、ＨＵＤは、没入型拡張現実ヘッドアップディスプレイ(ＡＲ－ＨＵＤ:augmented reality head-up display)に向けて徐々に発展し、没入型ＡＲ－ＨＵＤでは、車線境界線を強調表示したり、計画ルートをプロンプトしたり、安全な走行距離をプロンプトしたりするなど、ユーザの目の中の仮想画像がユーザの目の中の仮想画像によって覆われた現実シーンに関連付けられるように要求されるため、ユーザエクスペリエンスが大幅に向上される。

【0006】

しかし、同様に、没入型ＡＲ－ＨＵＤは、仮想現実位置合わせキャリブレーションに対する要求もそれに応じて高くなる。現在、没入型ＡＲ－ＨＵＤの仮想現実位置合わせキャリブレーション技術の主な欠点は、(１)車載アプリケーションでは、運転者の頭部の移動を制限できないため、ＡＲ－ＨＵＤによって投影される虚像とユーザの視角との間の幾何学的関係がＡＲヘルメット、ＡＲメガネなどの他のＡＲアプリケーションのように固定されることができないことと、(２)車載アプリケーションでは、車両が高速で走行するため、わずかな遅れでも車速の増幅により位置合わせ精度が低くなることと、を含む。

【0007】

したがって、視線の移動に追従するＡＲ－ＨＵＤの仮想現実位置合わせ技術及びそのキャリブレーションアルゴリズムを発展し、アルゴリズム性能を向上させることは、ＡＲ－ＨＵＤを大規模に商品化するための鍵となる。

【0008】

関連技術では、一般的な仮想現実位置合わせ技術は、次の２種類であり、即ち、従来技術１として、三次元キャリブレーション及び再投影技術により、車外の三次元景物を人間の目に再投影し、ＡＲ－ＨＵＤ虚像面上に切り取ることができるが、この技術は、センサとコンピューティング能力に対する要求が非常に高いため、大規模に商品化することができず、コストを削減するために、車外の景物をある奥行きに制約することが多く、したがって、この奥行き以外の景物がＡＲ－ＨＵＤの虚像に再投影されると、虚像のサイズと覆われている実際の景物のサイズとが一致しないため、運転者にとって視覚的な違いが生じる。

【0009】

従来技術２として、二次元位置合わせ技術により、キャリブレーションを実行するときの運転者の視角から見た固定シーンに基づいて対応する仮想画像コンテンツを直接「貼り付け」、この技術によるキャリブレーションに定量的な指標が欠けているため、人間の目とＡＲ－ＨＵＤ虚像面の位置及び姿勢が、キャリブレーションを実行するときの位置及び姿勢と一致することを保証するように要求されるため、「運転者の視線の移動に追従する」ニーズに対応できず、この技術の適用シーンは、単一であり、地面平面環境をマーキングする場合にのみ適用しており、上り坂及び下り坂に適応できず、また、歩行者、車両、信号システムなどの地面平面より高い景物をマーキングすることもできない。

【0010】

上記の問題について、現在まで効果的な解決策が提案されていない。

【発明の概要】

【課題を解決するための手段】

【0011】

本開示は、運転者及び同乗者が視線を移動させながら仮想現実が位置合わせされた良好な「没入型」拡張現実体験を得ることができず、運転者及び同乗者の使用への関心が低下するという関連技術における技術的問題を少なくとも解決するために、表示機器のための位置合わせ方法及び位置合わせ装置、車載表示システムを提供する。

【0012】

本開示の１つの態様によれば、ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するステップであって、前記視線フォーカシングエリアには、１つのエンティティ参照オブジェクトが含まれるステップと、オリジナルシーンに対して第１カメラによって収集された撮影画像を取得し、前記撮影画像内のエンティティ識別点を抽出するステップと、事前に取得されたキャリブレーションパラメータにより、前記撮影画像とユーザの現在の視野内の仮想画像との間の二次元画像マッピング関係を確定するステップであって、前記仮想画像は、表示機器によって投影される画像であるステップと、前記二次元画像マッピング関係に応じて、前記エンティティ識別点を前記仮想画像に投影するステップであって、前記仮想画像内の仮想マーキングオブジェクトは、前記視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせされるステップと、を含む、表示機器のための位置合わせ方法が提供される。

【0013】

好ましくは、ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するステップは、前記ユーザの視線投射本体の座標に基づいて、前記ターゲット乗り物の前方に対する前記ユーザのフォーカシング注視線を確定するステップと、前記フォーカシング注視線と前記ターゲット乗り物の前方の地面が位置する平面とを交差させ、前記ユーザの注視位置点を取得するステップと、前記注視位置点に基づいて、前記ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するステップと、を含む。

【0014】

好ましくは、前記表示機器及びユーザの目の位置状態に応じて、ヒューマンアイシミュレーション補助カメラと組み合わせて仮想現実位置合わせキャリブレーション方法によって前記キャリブレーションパラメータを確定する。

【0015】

好ましくは、前記位置合わせ方法は、前記表示機器及び前記ユーザの目の位置が固定位置に維持される場合、この固定位置で前記ヒューマンアイシミュレーション補助カメラと組み合わせて仮想現実開閉キャリブレーション方法によって前記キャリブレーションパラメータを確定するステップ、又は、前記表示機器及び/又は前記ユーザの目の位置が変化した場合、位置が変化した機器を複数の異なるキャリブレーション位置に調整して前記仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定し、前記機器の実際の位置及び前記正規化パラメータキャリブレーション対応関係に応じて前記キャリブレーションパラメータを確定するステップをさらに含む。

【0016】

好ましくは、前記表示機器及び前記ユーザの目の実際の位置は、運転者監視システムによって取得される。

【0017】

好ましくは、前記キャリブレーションパラメータは、第１カメラによって収集された第１画像と前記ヒューマンアイシミュレーション補助カメラによって収集された第２画像との間の第１二次元画像マッピング関係と、前記ヒューマンアイシミュレーション補助カメラによって収集された第３画像と仮想キャリブレーションパターンとの間の第２二次元画像マッピング関係と、を含む。

【0018】

好ましくは、ヒューマンアイシミュレーション補助カメラと組み合わせて仮想現実位置合わせキャリブレーション方法によって前記キャリブレーションパラメータを確定するステップは、前記表示機器のオン及びオフを制御することにより、実物キャリブレーションパターン及び仮想キャリブレーションパターンと組み合わせて、前記ヒューマンアイシミュレーション補助カメラ及び前記第１カメラによってキャプチャされた画像に基づいて前記キャリブレーションパラメータを確定するステップを含む。

【0019】

好ましくは、前記表示機器のオン及びオフを制御することにより、実物キャリブレーションパターン及び仮想キャリブレーションパターンと組み合わせて、ヒューマンアイシミュレーション補助カメラ及び前記第１カメラによってキャプチャされた画像に基づいて前記キャリブレーションパラメータを確定するステップは、前記表示機器をオフにした後、前記実物キャリブレーションパターンと組み合わせて、前記第１カメラによって収集された第１画像と前記ヒューマンアイシミュレーション補助カメラによって収集された第２画像との間の第３二次元画像マッピング関係を確定するステップと、前記表示機器をオンにした後、前記仮想キャリブレーションパターンと組み合わせて、前記ヒューマンアイシミュレーション補助カメラによって収集された第３画像と前記仮想キャリブレーションパターンとの間の第４二次元画像マッピング関係を確定するステップと、前記第３二次元画像マッピング関係と前記第４二次元画像マッピング関係を前記キャリブレーションパラメータとして特徴付けるステップと、を含む。

【0020】

好ましくは、前記実物キャリブレーションパターンは、前記ターゲット乗り物の前方に配置され、前記仮想キャリブレーションパターンは、前記表示機器によって投影された虚像面に表示され、前記実物キャリブレーションパターンには、少なくとも１つの実物特徴点が含まれ、前記仮想キャリブレーションパターンには、少なくとも１つの仮想特徴点が含まれる。

【0021】

選択的に、前記位置合わせ方法は、前記実物キャリブレーションパターンを、前記ヒューマンアイシミュレーション補助カメラの視野における前記実物キャリブレーションパターンよりも高く、且つ前記実物キャリブレーションパターンに平行な同等実物キャリブレーションパターンで置き換えるステップをさらに含む。

【0022】

好ましくは、前記表示機器のオン及びオフを制御することにより、前記同等実物キャリブレーションパターン及び前記仮想キャリブレーションパターンと組み合わせて、前記ヒューマンアイシミュレーション補助カメラ及び前記第１カメラによってキャプチャされた画像に基づいて前記キャリブレーションパラメータを確定するステップは、前記表示機器をオフにした後、同等実物キャリブレーションパターンによって地面に位置する同等仮想キャリブレーションパターンを復元し、前記第１カメラによって生成された第４画像に投影し、前記ヒューマンアイシミュレーション補助カメラによって前記同等実物キャリブレーションパターンに関する第５画像を収集し、前記第４画像と前記第５画像との間の第５二次元画像マッピング関係を確定するステップと、前記表示機器をオンにした後、前記仮想キャリブレーションパターンと組み合わせて、前記ヒューマンアイシミュレーション補助カメラによって収集された第６画像と前記仮想キャリブレーションパターンとの間の第６二次元画像マッピング関係を確定するステップと、前記第５二次元画像マッピング関係と前記第６二次元画像マッピング関係を前記キャリブレーションパラメータとして特徴付けるステップと、を含む。

【0023】

好ましくは、同等実物キャリブレーションパターンによって地面に位置する同等仮想キャリブレーションパターンを復元し、前記第１カメラによって生成された第４画像に投影するステップは、キャリブレーションによって得られた前記第１カメラ、前記ヒューマンアイシミュレーション補助カメラ及び前記同等実物キャリブレーションパターンの第１空間姿勢に基づいて、同等実物キャリブレーションパターンの地上高の値と事前に設定されたスケーリング比を確定するステップと、前記地上高の値及び事前に設定されたスケーリング比に基づいて、光線伝播原理と組み合わせて、前記同等実物キャリブレーションパターンによって地面に位置する同等仮想キャリブレーションパターンを復元し、前記仮想キャリブレーションパターンの第２空間姿勢を計算するステップと、前記第２空間姿勢と組み合わせて前記仮想キャリブレーションパターンを前記第１カメラの結像面に投影して前記第４画像を生成するステップと、を含む。

【0024】

好ましくは、前記正規化パラメータキャリブレーション対応関係は、任意の正規化パラメータと１対１で対応するキャリブレーションパラメータとの間のマッピング関係であり、前記正規化パラメータは、可変ストロークに占める前記表示機器及び/又は前記ヒューマンアイシミュレーション補助カメラの位置移動量の割合である。

【0025】

好ましくは、位置が変化した前記機器は、前記表示機器及び/又は前記ヒューマンアイシミュレーション補助カメラを含む。

【0026】

好ましくは、前記表示機器及び/又は前記ユーザの目の位置が変化した場合、位置が変化した機器を複数の異なるキャリブレーション位置に調整して前記仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定し、前記機器の実際の位置及び前記正規化パラメータキャリブレーション対応関係に応じて前記キャリブレーションパラメータを確定するステップは、位置が変化した前記機器を可変空間内の少なくとも２つの異なるキャリブレーション位置に調整し、前記仮想現実開閉キャリブレーション方法を繰り返し、前記正規化パラメータキャリブレーション対応関係を確定するステップと、前記機器の実際の位置に基づいて前記可変空間における正規化位置パラメータを確定し、前記正規化位置パラメータ及び前記正規化パラメータキャリブレーション対応関係に応じて前記キャリブレーションパラメータを確定するステップと、を含む。

【0027】

好ましくは、前記可変空間が可変直線ストロークである場合、前記位置合わせ方法は、前記機器を可変直線ストローク内の少なくとも２つの異なるキャリブレーション位置に調整して前記仮想現実開閉キャリブレーション方法を繰り返し、前記正規化パラメータキャリブレーション対応関係を確定するステップであって、前記少なくとも２つの異なるキャリブレーション位置には、可変直線ストロークにおける前記機器の最高表示基準位置及び最低基準位置が含まれるステップを含む。

【0028】

好ましくは、前記可変空間が可変平面ストロークである場合、前記位置合わせ方法は、前記機器を可変平面ストローク内の少なくとも３つの異なるキャリブレーション位置に調整して前記仮想現実開閉キャリブレーション方法を繰り返し、前記正規化パラメータキャリブレーション対応関係を確定するステップであって、前記少なくとも３つの異なるキャリブレーション位置には、前記機器の３つの非同時共線的な限界基準位置が含まれるステップを含む。

【0029】

好ましくは、前記可変空間が可変三次元空間ストロークである場合、前記位置合わせ方法は、前記機器を可変三次元空間ストローク内の少なくとも４つの異なるキャリブレーション位置に調整し、前記仮想現実開閉キャリブレーション方法を繰り返し、前記正規化パラメータキャリブレーション対応関係を確定するステップであって、前記少なくとも４つの異なるキャリブレーション位置には、前記機器の４つの非同時共面的な限界基準位置が含まれるステップを含む。

【0030】

好ましくは、位置が変化した機器を可変空間内の少なくとも２つの異なるキャリブレーション位置に調整し、前記仮想現実開閉キャリブレーション方法を繰り返し、前記正規化パラメータキャリブレーション対応関係を確定するステップは、位置が変化した前記機器を前記可変空間内の少なくとも２つの異なるキャリブレーション位置に調整し、前記異なるキャリブレーション位置で前記仮想現実開閉キャリブレーション方法を繰り返してキャリブレーションパラメータを取得するステップであって、前記キャリブレーションパラメータグループには、各キャリブレーション位置に１対１で対応する各キャリブレーションパラメータが含まれるステップと、全ての前記キャリブレーション位置及び前記可変空間に基づいて正規化パラメータグループを確定するステップと、前記キャリブレーションパラメータグループ及び前記正規化パラメータグループと組み合わせて、前記正規化パラメータキャリブレーション対応関係をフィッティングして確定するステップと、を含む。

【0031】

好ましくは、前記位置合わせ方法は、ロボットアームにより前記ヒューマンアイシミュレーション補助カメラを掛けて前記ヒューマンアイシミュレーション補助カメラの位置を調整し、対応する三次元正規化座標を提供するステップをさらに含む。

【0032】

好ましくは、前記位置合わせ方法は、前記二次元画像マッピング関係及び前記ターゲット乗り物の姿勢と組み合わせて、前記エンティティ識別点を前記仮想画像に投影するステップをさらに含む。

【0033】

本開示の別の態様によれば、ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するように構成され、前記視線フォーカシングエリアに少なくとも１つのエンティティ参照オブジェクトが含まれる第１確定ユニットと、オリジナルシーンに対して第１カメラによって収集された撮影画像を取得し、前記撮影画像内のエンティティ識別点を抽出するように構成される第１取得ユニットと、事前に取得されたキャリブレーションパラメータにより、前記撮影画像とユーザの現在の視野内の仮想画像との間の二次元画像マッピング関係を確定するように構成され、前記仮想画像は、表示機器によって投影される画像である第１確定ユニットと、前記二次元画像マッピング関係に応じて、前記エンティティ識別点を前記仮想画像に投影するように構成され、前記仮想画像内の仮想マーキングオブジェクトは、前記視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせされる位置合わせユニットと、を含む、表示機器のための位置合わせ装置も提供される。

【0034】

好ましくは、前記第１確定ユニットは、前記ユーザの視線投射本体の座標に基づいて、前記ターゲット乗り物の前方に対する前記ユーザのフォーカシング注視線を確定するように構成される第１確定モジュールと、前記フォーカシング注視線と前記ターゲット乗り物の前方の地面が位置する平面とを交差させ、前記ユーザの注視位置点を取得するように構成される注視点確定モジュールと、前記注視位置点に基づいて、前記ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するように構成される第２確定モジュールと、を含む。

【0035】

好ましくは、前記表示機器及びユーザの目の位置状態に応じて、ヒューマンアイシミュレーション補助カメラと組み合わせて前記仮想現実位置合わせキャリブレーション方法によって前記キャリブレーションパラメータを確定する。

【0036】

好ましくは、前記位置合わせ装置は、前記表示機器及び前記ユーザの目の位置が固定位置に維持される場合、この固定位置で前記ヒューマンアイシミュレーション補助カメラと組み合わせて仮想現実開閉キャリブレーション方法によって前記キャリブレーションパラメータを確定するように構成される第３確定ユニット、又は、前記表示機器及び/又は前記ユーザの目の位置が変化した場合、位置が変化した機器を複数の異なるキャリブレーション位置に調整して前記仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定し、前記機器の実際の位置及び前記正規化パラメータキャリブレーション対応関係に応じて前記キャリブレーションパラメータを確定するように構成される第４確定ユニットをさらに含む。

【0037】

好ましくは、前記表示機器及び前記ユーザの目の実際の位置は、運転者監視システムによって取得される。

【0038】

【0039】

好ましくは、第３確定ユニットは、前記表示機器のオン及びオフを制御することにより、実物キャリブレーションパターン及び仮想キャリブレーションパターンと組み合わせて、前記ヒューマンアイシミュレーション補助カメラ及び前記第１カメラによってキャプチャされた画像に基づいて前記キャリブレーションパラメータを確定するように構成される第３確定モジュールを含む。

【0040】

好ましくは、第３確定モジュールは、前記表示機器をオフにした後、前記実物キャリブレーションパターンと組み合わせて、前記第１カメラによって収集された第１画像と前記ヒューマンアイシミュレーション補助カメラによって収集された第２画像との間の第３二次元画像マッピング関係を確定するように構成される第１確定サブモジュールと、前記表示機器をオンにした後、前記仮想キャリブレーションパターンと組み合わせて、前記ヒューマンアイシミュレーション補助カメラによって収集された第３画像と前記仮想キャリブレーションパターンとの間の第４二次元画像マッピング関係を確定するように構成される第２確定サブモジュールと、前記第３二次元画像マッピング関係と前記第４二次元画像マッピング関係を前記キャリブレーションパラメータとして特徴付けるように構成される第３確定サブモジュールと、を含む。

【0041】

選択的に、前記位置合わせ装置は、前記実物キャリブレーションパターンを、前記ヒューマンアイシミュレーション補助カメラの視野における前記実物キャリブレーションパターンよりも高く、且つ前記実物キャリブレーションパターンに平行な同等実物キャリブレーションパターンで置き換えるように構成される置き換えユニットをさらに含む。

【0042】

好ましくは、第３確定モジュールは、前記表示機器をオフにした後、同等実物キャリブレーションパターンによって地面に位置する同等仮想キャリブレーションパターンを復元し、前記第１カメラによって生成された第４画像に投影し、前記ヒューマンアイシミュレーション補助カメラによって前記同等実物キャリブレーションパターンに関する第５画像を収集し、前記第４画像と前記第５画像との間の第５二次元画像マッピング関係を確定するように構成される第４確定サブモジュールと、前記表示機器をオンにした後、前記仮想キャリブレーションパターンと組み合わせて、前記ヒューマンアイシミュレーション補助カメラによって収集された第６画像と前記仮想キャリブレーションパターンとの間の第６二次元画像マッピング関係を確定するように構成される第５確定サブモジュールと、前記第５二次元画像マッピング関係と前記第６二次元画像マッピング関係を前記キャリブレーションパラメータとして特徴付けるように構成される第６確定サブモジュールと、をさらに含む。

【0043】

本開示の別の態様によれば、ターゲット乗り物内のユーザの視線フォーカシングエリアを追跡するように構成され、前記視線フォーカシングエリアに１つのエンティティ参照オブジェクトが少なくとも含まれる運転者監視システムと、前記視線フォーカシングエリアを撮影し、撮影画像を得るように構成されるドライブレコーダーと、前記運転転者監視システム及び前記ドライブレコーダーにそれぞれ接続され、上記のいずれか１項に記載される表示機器のための位置合わせ方法を実行するように構成される車載コントローラと、仮想画像を前記ユーザの真ん前の事前に設定された位置に投影するように構成され、前記仮想画像内の仮想マーキングオブジェクトは、前記視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせされるヘッドアップディスプレイと、を含む車載表示システムも提供される。

【0044】

本開示の別の態様によれば、プロセッサと、前記プロセッサの実行可能命令を記憶するように構成されるメモリと、を含み、前記プロセッサは、前記実行可能命令を実行することにより、上記のいずれかに記載される表示機器のための位置合わせ方法を実行するように構成される車載制御機器も提供される。

【0045】

本開示の別の態様によれば、記憶されたコンピュータプログラムを含み、前記コンピュータプログラムが実行されると、上記のいずれかに記載される表示機器のための位置合わせ方法を実行するように前記コンピュータ可読記憶媒体が配置される機器を制御するコンピュータ可読記憶媒体も提供される。

【0046】

本開示では、まず、ターゲット乗り物内のユーザの視線フォーカシングエリアを確定し、視線フォーカシングエリアに１つのエンティティ参照オブジェクトが少なくとも含まれ、オリジナルシーンに対して第１カメラによって収集された撮影画像を取得し、撮影画像内のエンティティ識別点を抽出し、事前に取得されたキャリブレーションパラメータにより、撮影画像とユーザの現在の視野内の仮想画像との間の二次元画像マッピング関係を確定し、仮想画像は、表示機器によって投影される画像であり、二次元画像マッピング関係に応じて、エンティティ識別点を仮想画像に投影し、仮想画像内の仮想マーキングオブジェクトは、視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせされる。

【0047】

本開示では、キャリブレーションを事前に実行してキャリブレーションパラメータを得た後、撮影装置によって乗り物の外側の視線フォーカシングエリアの実景を撮影し、撮影された画面コンテンツのエンティティ識別点を仮想画像に投影し、現時点でのユーザの視野内の仮想画像における仮想マーキングオブジェクトを視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせさせ、ユーザの目の中の仮想画像をユーザの目の中の仮想画像によって覆われた現実シーンに関連付けることにより、仮想と現実が位置合わせされた「没入型」拡張現実体験効果を達成し、ユーザエクスペリエンスと使用上の関心を向上させ、さらに、運転者及び同乗者が視線を移動させながら仮想と現実が位置合わせされた良好な「没入型」拡張現実体験を得ることができず、運転者及び同乗者の使用への関心が低下するという関連技術における技術的問題を解決する。

【0048】

本開示では、三次元再構成を実行することなく、仮想キャリブレーションパターンと実物キャリブレーションパターンにより、ユーザの視野内でドライブレコーダーによって収集された画像と表示機器によって表示された仮想画像との間の二次元画像ピクセル対応関係を確立することができ、これは、表示機器をオン及びオフするだけで実現されてもよく、操作が簡単であるだけでなく、キャリブレーション速度が向上され、ハードウェアのコンピューティング能力に対する要求が大幅に低くなる。

【0049】

本開示では、ヒューマンアイシミュレーション補助カメラを人間の目の位置に取り付けることにより、人間の目をシミュレートし、キャリブレーションプロセスの工業化を実現し、使用シーンを大幅に豊かにすることができる。

【図面の簡単な説明】

【0050】

ここで説明される図面は本開示をさらに理解するようにするためのものであり、本開示の一部を構成し、本開示の例示的な実施例及びその説明は、本開示を解釈するためのものであり、本開示を不適切に限定しない。

【図1】本発明の実施例による表示機器のための位置合わせ方法を実現するためのコンピュータ端末(又は移動機器)のハードウェア構成ブロック図である。

【図2】本発明の実施例による表示機器のための好ましい位置合わせ方法のフローチャートである。

【図3】本発明の実施例による表示機器のための好ましいキャリブレーション方法のシーンの概略図１である。

【図4】本発明の実施例による好ましい三次元視覚における小穴結像の基本原理の概略図である。

【図5】本発明の実施例による表示機器のための好ましいキャリブレーション方法のシーンの概略図２である。

【図6】本発明の実施例による表示機器のための好ましいキャリブレーション方法のシーンの概略図３である。

【図7】本発明の実施例による好ましい位置合わせ効果図である。

【図8】本発明の実施例による表示機器のための位置合わせ装置の概略図である。

【発明を実施するための形態】

【0051】

当業者が本発明の解決策をより良く理解するようにするために、以下に本開示の図面を参照しながら本開示の技術的解決策を明確且つ完全に説明し、明らかに、説明される実施例は、本開示の実施例の一部だけであり、全ての実施例ではない。本開示の実施例に基づき、当業者が創造的な労働をせずに得る全ての他の実施例は、本開示の保護範囲に属するべきである。

【0052】

なお、本開示の明細書と特許請求の範囲及び上記図面における用語「第１」、「第２」などは類似するオブジェクトを区別するためのものであり、特定の順序又は順番を説明することに用いられる必要がない。このように使用されるデータは、本明細書に記載される本開示の様々な実施例が本明細書に図示又は記載される順序以外の順序で実施され得るように、適切な場合で交換可能であることが理解されるべきである。

【0053】

また、用語「含む」と「有する」及びそれらの任意の変形は、非排他的な包括をカバーすることを意図し、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は装置は、明確に列挙されたステップ又はユニットに限定される必要がなく、明確に列挙されないもの又はこれらのプロセス、方法、製品又は機器に固有の他のステップ又はユニットを含むことができる。

【0054】

まず、本開示の様々な実施例の説明に使用される名詞又は用語の一部は、以下の解釈に適用される:
拡張現実ヘッドアップディスプレイ(ＡＲ－ＨＵＤ:augmented reality head-up display):ディスプレイは、運転者の目の前方のインストルメントパネルの前方に配置され、又はフロントガラスに覆われ、投影機器は、仮想画像コンテンツを拡張現実ヘッドアップディスプレイの虚像面に表示し、仮想画像コンテンツは、仮想画像によって覆われた現実シーンに関連付けられ、例えば、プロンプト、マーク、透明化などである。

【0055】

運転者監視システム(ＤＭＳ:driver monitor system):視覚方法により運転者の行動を検出し、例えば、目を閉じること、目をまばたきすること、凝視方向、頭部の移動などである。

【0056】

拡張現実(ＡＲ:augmented reality):コンピュータグラフィックス技術及び可視化技術により、現実環境に存在しない仮想オブジェクトを生成し、表示技術により、現実環境に「埋め込んで」統合する。

【0057】

仮想現実位置合わせ(virtual-real registration):拡張現実で生成された仮想画像と現実シーンとの位置合わせが達成される。

【0058】

視線の移動への追従:運転者の視線が移動する場合、本発明は、ＡＲ－ＨＵＤ虚像が位置すべき位置をリアルタイムに計算することができるため、虚像は、運転者の視線中で常に実景と位置合わせされることができる。

【0059】

本発明の下記の実施例は、拡張現実ヘッドアップディスプレイを取り付けた様々な乗り物に適用されてもよく、乗り物のタイプは、自転車、自動車、ドライビングシミュレータ、ＡＲウィンドウなどを含むがこれらに限定されず、ユーザの幾何学的姿勢に固定されない様々なＡＲ投影機器、例えば裸眼ＡＲなどにも応用できる。

【0060】

本発明では、ＡＲ－ＨＵＤのための視線移動に追従する仮想現実位置合わせ技術とそのキャリブレーションアルゴリズムが提案され、本発明のキャリブレーションステップに従ってキャリブレーションを実行した後、運転者監視システムは、現時点での運転者の注視点を計算することができ、車載コンピュータは、現時点で運転者が見ている車外の実景のドライブレコーダーにおける画面を注視点から計算し、さらにドライブレコーダーにおける画面を本発明の実施例で提案される位置合わせ方法によってＡＲ－ＨＵＤ虚像に投影し、これにより、現時点での運転者の視野内のＡＲ－ＨＵＤ虚像画面は、車外の実景を完全に覆うことができ、仮想と現実が位置合わせされた「没入型」拡張現実体験を達成し、本発明は、コンピューティング能力、コスト及びユーザエクスペリエンスのニーズのバランスをとることができ、三次元再構成プロセスやカメラの内部及び外部パラメータの複雑なキャリブレーションが必要ではなく、リアルタイム性能が主流車両でカメラのフレームレートに達することができる、運転者の視線の移動に追従する仮想現実位置合わせモデルを提供する。

【0061】

実施例１
本発明の実施例によれば、表示機器のための位置合わせ方法の実施例が提供され、説明すべきこととして、図面のフローチャートに示されるステップは、例えばコンピュータ実行可能命令のセットを実行できるコンピュータシステムなどで実行されてもよく、且つ、フローチャートに論理的な順序が示されるが、幾つかの場合、図示又は説明されるステップは、ここでの順序とは異なる順序で実行されてもよい。

【0062】

本出願の実施例１による方法の実施例は、移動端末、コンピュータ端末又は同様のコンピューティング装置で実行されてもよい。図１は表示機器のための位置合わせ方法を実現するためのコンピュータ端末(又は移動機器)を示すハードウェア構成ブロック図である。

【0063】

図１に示すように、コンピュータ端末１０(又は移動機器１０)は、１つ又は複数の(図では１０２ａ、１０２ｂ、…、１０２ｎで示される)プロセッサ１０２(プロセッサ１０２は、マイクロプロセッサＭＣＵ又はプログラマブルロジックデバイスＦＰＧＡを含むが、これらに限定されない)、データを記憶するためのメモリ１０４、及び通信機能のための送信モジュール１０６を含むことができる。その他、ディスプレイ、入出力インターフェース(Ｉ/Ｏインターフェース)、ユニバーサルシリアルバス(ＵＳＢ)ポート(Ｉ/Ｏインターフェースのポートのうちの１つとして含まれてもよい)、ネットワークインターフェース、電源及び/又はカメラなどをさらに含むことができる。

【0064】

当業者は、図１に示す構造が例示的だけであり、上記電子装置の構造を限定するためのものではないことを理解することができる。例えば、コンピュータ端末１０は、図１に示すものよりも多く又は少ないコンポーネントをさらに含んでもよく、又は図１に示すものとは異なる構成を有してもよい。

【0065】

なお、上記の１つ又は複数のプロセッサ１０２及び/又は他のデータ処理回路は、本明細書で一般的に「データ処理回路」と呼ばれることがある。このデータ処理回路は、ソフトウェア、ハードウェア、ファームウェア又は他の任意の組み合わせとして全部又は部分的に具現化されてもよい。また、データ処理回路は、単一の独立した処理モジュールであってもよく、又はコンピュータ端末１０(又は移動機器)内の他のコンポーネントのいずれかに全部又は部分的に統合されてもよい。

【0066】

本出願の実施例で言及されているように、このデータ処理回路は、プロセッサ制御(例えば、インターフェースに接続された可変抵抗器端末経路の選択)として機能する。

【0067】

メモリ１０４は、本発明の実施例における表示機器のための位置合わせ方法に対応するプログラム命令/データ記憶装置などのアプリケーションソフトウェアのソフトウェアプログラム及びモジュールを記憶するために使用されることができ、プロセッサ１０２は、メモリ１０４に記憶されたソフトウェアプログラム及びモジュールを実行することにより、様々な機能アプリケーション及びデータ処理を実行し、即ち上記アプリケーションプログラムの脆弱性検出方法を実現する。

【0068】

メモリ１０４は、高速ランダムアクセスメモリを含むことができ、また、１つ又は複数の磁気記憶装置、フラッシュメモリ、又は他の不揮発性固体メモリなどの不揮発性メモリを含むこともできる。幾つかの実施例では、メモリ１０４は、プロセッサ１０２に対して遠隔に設けられたメモリをさらに含むことができ、これらの遠隔メモリは、ネットワークを介してコンピュータ端末１０に接続されてもよい。

【0069】

上記ネットワークの実施例は、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを含むがこれらに限定されない。

【0070】

伝送装置１０６は、１つのネットワークを介してデータを受信又は送信するために使用される。上述したネットワークの具体的な実施例は、コンピュータ端末１０の通信プロバイダーによって提供される無線ネットワークを含むことができる。１つの例では、伝送装置６０は、インターネットと通信するように基地局を介して他のネットワーク装置に接続することができるネットワークアダプタ(ＮＩＣ:Network Interface Controller)を含む。１つの実施例では、伝送装置１０６は、インターネットと無線で通信するための無線周波数(ＲＦ:Radio Frequency)モジュールであってもよい。

【0071】

ディスプレイは、例えばタッチスクリーン液晶ディスプレイ(ＬＣＤ)であってもよく、この液晶ディスプレイにより、ユーザは、コンピュータ端末１０(又は移動機器)のインターフェースとのインタラクションを行うことができる。

【0072】

本発明の実施例によれば、表示機器のための位置合わせ方法の実施例が提供され、説明すべきこととして、図面のフローチャートに示されるステップは、例えばコンピュータ実行可能命令セットを実行できるコンピュータシステムなどで実行されてもよく、且つ、フローチャートに論理的な順序が示されるが、幾つかの場合、示されるステップは、ここで説明される順序とは異なる順序で実行されてもよい。

【0073】

図２は本発明の実施例による表示機器のための好ましい位置合わせ方法のフローチャートである。図２に示すように、この方法は、次のステップを含む。

【0074】

ステップＳ２０２において、ターゲット乗り物内のユーザの視線フォーカシングエリアを確定し、視線フォーカシングエリアには、１つのエンティティ参照オブジェクトが少なくとも含まれる。

【0075】

ステップＳ２０４において、オリジナルシーンに対して第１カメラによって収集された撮影画像を取得し、撮影画像内のエンティティ識別点を抽出する。

【0076】

ステップＳ２０６において、事前に取得されたキャリブレーションパラメータにより、撮影画像とユーザの現在の視野内の仮想画像との間の二次元画像マッピング関係を確定し、仮想画像は、表示機器によって投影される画像である。

【0077】

ステップＳ２０８において、二次元画像マッピング関係に応じて、エンティティ識別点を仮想画像に投影し、仮想画像内の仮想マーキングオブジェクトは、視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせされる。

【0078】

上記ステップにより、まず、ターゲット乗り物内のユーザの視線フォーカシングエリアを確定することができ、視線フォーカシングエリアには、１つのエンティティ参照オブジェクトが少なくとも含まれ、オリジナルシーンに対して第１カメラによって収集された撮影画像を取得し、撮影画像内のエンティティ識別点を抽出し、事前に取得されたキャリブレーションパラメータにより、撮影画像とユーザの現在の視野内の仮想画像との間の二次元画像マッピング関係を確定し、仮想画像が表示機器によって投影される画像であり、二次元画像マッピング関係に応じて、エンティティ識別点を仮想画像に投影し、仮想画像内の仮想マーキングオブジェクトが視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせされる。

【0079】

この実施例では、キャリブレーションを事前に実行してキャリブレーションパラメータを得た後、撮影装置によって乗り物の外側の視線フォーカシングエリアの実景を撮影し、撮影された画面コンテンツのエンティティ識別点を仮想画像に投影し、現時点でのユーザの視野内の仮想画像における仮想マーキングオブジェクトを視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせさせ、ユーザの目の中の仮想画像をユーザの目の中の仮想画像によって覆われた現実シーンに関連付けることにより、仮想と現実が位置合わせされた「没入型」拡張現実体験効果を達成し、ユーザエクスペリエンスと使用上の関心を向上させ、さらに運転者及び同乗者が視線を移動させながら仮想と現実が位置合わせされた良好な「没入型」拡張現実体験を得ることができず、運転者及び同乗者の使用への関心が低下するという関連技術における技術的問題を解決する。

【0080】

本発明の実施例では、自動車乗り物を例として概略的に説明したが、ＡＲ－ＨＵＤは、運転者の真ん前であり、且つステアリングホイールの後ろのインストルメントパネルの前方に取り付けられ、仮想画像は、ＡＲ－ＨＵＤが配置される虚像面に投影され、ドライブレコーダー(Ｃａｍ_adasと表記される)は、車内のバックミラーに車両の進行方向に向けて取り付けられる。

【0081】

好ましくは、表示機器の位置合わせ方法は、車載拡張現実システムに適用されてもよく、表示機器は、拡張現実ヘッドアップディスプレイＡＲ－ＨＵＤである。

【0082】

以下、各ステップを参照しながら本発明の実施例を詳細に説明する。

【0083】

【0084】

本発明の実施例では、ターゲット乗り物は、自転車、自動車、ドライビングシミュレータ、ＡＲウィンドウなどを含むがこれらに限定されず、視線フォーカシングエリアは、ユーザの視野で観察できる車外の現実シーンの主に見るエリアであり、エンティティ参照オブジェクトは、車線、道路標識、歩行者、前方車両などの任意のシーンでユーザの運転決定を支援できる参照オブジェクトである。

【0085】

好ましくは、ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するステップは、ユーザの視線投射本体の座標に基づいて、ターゲット乗り物の前方に対するユーザのフォーカシング注視線を確定するステップと、フォーカシング注視線とターゲット乗り物の前方の地面が位置する平面とを交差させ、ユーザの注視位置点を取得するステップと、注視位置点に基づいて、ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するステップと、を含む。

【0086】

好ましくは、運転者監視システム(ＤＭＳ)を使用してユーザの視線投射本体の座標を追跡し、運転者監視システムを使用し、現時点でのユーザの目の座標(即ち視線投射本体の座標)を計算することにより、ユーザの目からターゲット乗り物の前方の地面又はエンティティ参照オブジェクトまでのフォーカシング注視線を確定し、ユーザの注視位置点を得ることができる。本出願の実施例は、収集されたユーザの視線投射本体から視線及び視点を取得する方法に限定されるものではなく、角膜瞳孔モデル又は深層学習に基づいてユーザの視線及び視点を確定することができ、同様に、本出願の実施例は、注視位置点に基づいてユーザの視野内の視線フォーカシングエリアを確定する方法に限定されるものではなく、従来の幾何学的方法又は深層学習のいずれかを使用することができる。

【0087】

【0088】

本発明の実施例では、エンティティ識別点は、エンティティ参照オブジェクト上の画素点であり、運転シーンを例とすると、エンティティ参照オブジェクトは、車線、道路標識、歩行者、前方車両などの任意のシーンでユーザの運転決定を支援できる参照オブジェクトを含むがこれらに限定されない道路上のエンティティオブジェクトを指すことができる。
実際の参照オブジェクトに豊かなシーン情報が含まれるため、ユーザの決定は、シーン内の実際の参照オブジェクトに依存することが多く、それに含まれるシーン情報を積極的に抽出することにより、没入型ガイドが可能になる。

【0089】

【0090】

好ましくは、本実施例で表示機器及びユーザの目の位置状態に応じて、ヒューマンアイシミュレーション補助カメラと組み合わせて仮想現実位置合わせキャリブレーション方法によってキャリブレーションパラメータを確定することができる。具体的には、キャリブレーションプロセスにおいて、ヒューマンアイシミュレーション補助カメラを使用して人間の目の位置をシミュレートすることにより、空間内のユーザの目の座標を正確に定量化し、キャリブレーション効率を向上させながらキャリブレーション精度を保証することができ、キャリブレーションの工業化プロセスが実現される。人間の目でキャリブレーションを直接実行する場合、ユーザは、キャリブレーション位置に固定することができず、キャリブレーションの空間範囲が制限され、キャリブレーションパラメータの精度に影響する。

【0091】

実際の使用シーンでは、異なるユーザの表示機器に対する高さのニーズも異なり、同様に、使用中、ユーザの視線は、変化しないように維持されず、着座姿勢の変化、頭部の移動、シーンのでこぼこなどにより、ユーザの目の位置及び視線が変化する可能性がある。
本実施例は、任意の位置におけるユーザの目と表示機器のキャリブレーションパラメータとの対応関係を確定することにより、常に視線の移動に追従して表示機器の虚像とシーンの実景との仮想現実位置合わせ状態を維持し、ユーザの着座姿勢、頭部の移動及び表示機器の調整により終止することはない。

【0092】

さらに好ましくは、位置合わせ方法は、表示機器及びユーザの目の位置が固定位置に維持される場合、この固定位置でヒューマンアイシミュレーション補助カメラと組み合わせて、仮想現実開閉キャリブレーション方法によってキャリブレーションパラメータを確定するステップ、又は、表示機器及び/又はユーザの目の位置が変化した場合、位置が変化した機器を複数の異なるキャリブレーション位置に調整して仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定し、機器の実際の位置及び正規化パラメータキャリブレーション対応関係に応じてキャリブレーションパラメータを確定するステップと、をさらに含む。

【0093】

好ましくは、位置が変化する機器は、表示機器及び/又はヒューマンアイシミュレーション補助カメラを含む。

【0094】

好ましくは、表示機器及びユーザの目の実際の位置は、運転者監視システムによって取得される。

【0095】

好ましくは、キャリブレーションパラメータは、第１カメラによって収集された第１画像とヒューマンアイシミュレーション補助カメラによって収集された第２画像との間の第１二次元画像マッピング関係と、ヒューマンアイシミュレーション補助カメラによって収集された第３画像と仮想キャリブレーションパターンとの間の第２二次元画像マッピング関係と、を含む。具体的には、本出願は、キャリブレーションパラメータを確定する順序を限定するものではなく、キャリブレーションパラメータを順次計算しても並列計算してもよい。

【0096】

本発明の実施例では、キャリブレーションパラメータは、キャリブレーション操作により事前に取得される。

【0097】

図３は本発明の実施例による表示機器のための好ましいキャリブレーション方法のシーンの概略図であり、図３に示すように、キャリブレーションのために、形態が(例えば、キャリブレーションプレート、キャリブレーションクロス、グランドインクジェットキャリブレーションパターンなどがあり、キャリブレーションパターンのスタイル及びパターンに表示されるコンテンツが具体的に限定されず)が限定されない１枚の実物キャリブレーションパターン(１)と、解像度がＡＲ－ＨＵＤ虚像の解像度と一致し、ＡＲ－ＨＵＤによって表示され得る１枚の仮想キャリブレーション(２)と、１つの補助キャリブレーションカメラ(本実施例ではヒューマンアイシミュレーション補助カメラを指し、Ｃａｍ_eyeと表記される)とを準備する必要があり、キャリブレーションパターンのスタイルは、チェッカーボード、ドットグリッド、グラフィックコード(一次元コード、二次元コード)などを含むがこれらに限定されない。

【0098】

Ｃａｍ_eyeは、人間の目をシミュレートするための人間の目の位置に取り付けられ、実物キャリブレーションパターン(１)は、車両の前方の地面に敷かれ、実物キャリブレーションパターン(１)内の特徴点は、補助キャリブレーションカメラＣａｍ_eyeとメインキャリブレーションカメラＣａｍ_adas(本実施例では車外の現実シーンを撮影するように設けられており、ドライブレコーダーの取付位置に位置することができ、タイプが可視光カメラ、赤外線カメラ等を含むがこれらに限定されない第１カメラを指す)で識別されることができ、仮想キャリブレーションパターン(２)内の特徴点は、Ｃａｍ_eyeで識別されることができる。

【0099】

本実施例におけるキャリブレーション方式は、様々であり、以下、様々なキャリブレーション方式について説明するが、本実施例における以下に説明される様々なキャリブレーション方式は、互いに組み合わせて使用されてもよい。

【0100】

(１)第１キャリブレーション方式:表示機器の開閉キャリブレーション
好ましくは、ヒューマンアイシミュレーション補助カメラと組み合わせて、仮想現実位置合わせキャリブレーション方法によってキャリブレーションパラメータを確定するステップは、表示機器のオン及びオフを制御することにより、実物キャリブレーションパターン及び仮想キャリブレーションパターンと組み合わせて、ヒューマンアイシミュレーション補助カメラ及び第１カメラによって撮影された画像に基づいてキャリブレーションパラメータを確定するステップを含む。

【0101】

本実施例における表示機器は、ＡＲ－ＨＵＤ機器を含むがこれに限定されず、本実施例では、ＡＲ－ＨＵＤ機器の虚像面を模式的に説明する。

【0102】

好ましくは、表示機器のオン及びオフを制御することにより、実物キャリブレーションパターン及び仮想キャリブレーションパターンと組み合わせて、ヒューマンアイシミュレーション補助カメラ及び第１カメラによってキャプチャされた画像に基づいてキャリブレーションパラメータを確定するステップは、表示機器をオフにした後、実物キャリブレーションパターンと組み合わせて、第１カメラによって収集された第１画像とヒューマンアイシミュレーション補助カメラによって収集された第２画像との間の第３二次元画像マッピング関係を確定するステップと、表示機器をオンにした後、仮想キャリブレーションパターンと組み合わせて、ヒューマンアイシミュレーション補助カメラによって収集された第３画像と仮想キャリブレーションパターンとの間の第４二次元画像マッピング関係を確定するステップと、第３二次元画像マッピング関係と第４二次元画像マッピング関係をキャリブレーションパラメータとして特徴付けるステップと、を含む。

【0103】

好ましくは、実物キャリブレーションパターンは、ターゲット乗り物の前方に配置され、仮想キャリブレーションパターンは、表示機器によって投影された虚像面に表示され、実物キャリブレーションパターンには、少なくとも１つの実物特徴点が含まれ、仮想キャリブレーションパターンには、少なくとも１つの仮想特徴点が含まれる。

【0104】

図３に示すように、まず、ＡＲ－ＨＵＤ虚像面をオフにし、Ｃａｍ_adasとＣａｍ_eyeを使用してキャリブレーションパターン(１)(即ち地面に位置する実物キャリブレーションパターン)を撮影し、撮影された実物キャリブレーションパターン(１)の特徴点に基づいて、両者間の二次元画像変換関係Ｈ_adas2eye(即ち第３二次元画像マッピング関係)を計算し、次にＡＲ－ＨＵＤ虚像面をオンにし、Ｃａｍ_eyeを使用して仮想キャリブレーションパターン(２)(即ち表示機器に表示される虚像面、この虚像面は、フロントガラスの前で地面に垂直である)を撮影し、撮影された仮想キャリブレーションパターン(２)の特徴点(即ち第３画像の第４特徴点)に基づいて、仮想キャリブレーションパターン(２)を撮影して得られた特徴点と最終的にＡＲ－ＨＵＤ虚像面に表示される特徴点(即ち虚像面内の第３特徴点)との間の二次元画像変換関係Ｈ_eye2image(即ち第４二次元画像変換関係)を計算し、最後に２グループのキャリブレーションパラメータ、即ち二次元画像変換関係Ｈ_adas2eyeと二次元画像変換関係Ｈ_ey2imageを得ることができる。

【0105】

本出願の実施例は、特徴点を抽出し、特徴点に基づいて二次元画像変換関係を確定する方法に限定されるものではなく、特徴点の記述情報Ｒａｎｓａｃを抽出し、誤マッチングを排除し、変換関係を方程式で解くという従来方法を使用することができ、奥行き推定変換関係、例えばＨｏｍｏｇｒａｐｈｙＮｅｔを使用することもできる。

【0106】

また、実物キャリブレーションパターンと仮想キャリブレーションパターンは、２グループのキャリブレーションパラメータを取得するときにそれぞれ使用され、特徴点が１対１で対応する必要がないため、両者のスタイルが同じである必要もない。

【0107】

２グループのキャリブレーションパラメータを取得した後の位置合わせステップでは、Ｃ_amadasは、シーン画像を収集し、シーン画像内の参照オブジェクトの画素点、例えば車線の画素点を抽出してｐと表記し、二次元画像変換関係Ｈ_adas2eyeと二次元画像変換関係Ｈ_eye2imageにより、ＡＲ－ＨＵＤ内の点灯する画素点ｐ’＝Ｈ_eye2image＊Ｈ_eye2image＊ｐを計算する。点灯している画素は、表示機器に表示される仮想車線であり、即ちユーザの現在の視野内では、表示機器に表示される仮想車線は、実際の白い車線に覆われる。

【0108】

本出願の実施例では、三次元再構成を実行することなく、仮想キャリブレーションパターンと実物オブジェクトキャリブレーションパターンにより、ユーザの視野内でドライブレコーダーによって収集された画像と、表示機器によって表示された仮想画像との間の二次元画像ピクセル対応関係を確立することができ、これは、表示機器をオン及びオフするだけで実現されてもよく、操作が簡単であり、同ときにコンピューティング効率及びキャリブレーション速度が向上され、ハードウェアのコンピューティング能力に対する要求が大幅に低くなる。また、ヒューマンアイシミュレーション補助カメラを人間の目の位置に取り付けることにより、キャリブレーションプロセスの工業化を実現することに役立ち、使用シーンが豊かになる。

【0109】

(２)第２キャリブレーション方式:同等ページキャリブレーション
本発明の実施例では、実際の地面をＡＲ－ＨＵＤに覆われた現実シーンエリアとして使用してキャリブレーション作業を実行する場合、実際の状況では、覆われた実際の地面は、車の前部から約３０～１００メートル離れ、したがって、キャリブレーション作業は、サイトに対する空間要求及び実物キャリブレーションパターン(１)に対するサイズ要求が非常に高くなる。異なるキャリブレーションシーンの実際状況にさらに適応するために、本出願の実施例は、同等実物キャリブレーションパターンにより、キャリブレーションプロセスにおける実物キャリブレーションパターン(１)に必要な空間距離を短縮する。

【0110】

好ましくは、位置合わせ方法は、実物キャリブレーションパターンを、ヒューマンアイシミュレーション補助カメラの視野における実物キャリブレーションパターンよりも高く、且つそれに平行な同等実物キャリブレーションパターンで置き換えるステップをさらに含む。

【0111】

図４は本発明の実施例による好ましい三次元視覚における小穴結像の基本原理の概略図であり、図４に示すように、物体距離が遠い大きな物体(１)は、物体距離が近い小さな物体(２)と平行であり、それらの物体の高さの比が物体距離の比と一致する場合、小穴投影中心を通ると、同一結像面での像(１)及び(２)は、一致する。言い換えれば、三次元視覚における小穴結像の基本原理によれば、物体距離が遠い大きな物体は、物体距離が近い小さな物体と平行であり、それらの物体の高さの比が物体距離の比と一致する場合、小穴光学システムによる画像は、一致する。

【0112】

したがって、この原理に従って、異なるキャリブレーションサイトの実際の状況に応じて、ＡＲ－ＨＵＤのキャリブレーションプロセスに実物キャリブレーションパターン(１)とキャリブレーション車両との間の距離を短縮することができる。

【0113】

好ましくは、表示機器のオン及びオフを制御することにより、同等実物キャリブレーションパターン及び仮想キャリブレーションパターンと組み合わせて、ヒューマンアイシミュレーション補助カメラ及び第１カメラによってキャプチャされた画像に基づいてキャリブレーションパラメータを確定するステップは、表示機器をオフにした後、同等実物キャリブレーションパターンによって地面に位置する同等仮想キャリブレーションパターンを復元し、第１カメラによって生成された第４画像に投影し、ヒューマンアイシミュレーション補助カメラによって同等実物キャリブレーションパターンに関する第５画像を収集し、第４画像と第５画像との間の第５二次元画像マッピング関係を確定するステップと、表示機器をオンにした後、仮想キャリブレーションパターンと組み合わせて、ヒューマンアイシミュレーション補助カメラによって収集された第６画像と仮想キャリブレーションパターンとの間の第６二次元画像マッピング関係を確定するステップと、第５二次元画像マッピング関係と第６二次元画像マッピング関係をキャリブレーションパラメータとして特徴付けるステップと、を含む。

【0114】

好ましくは、同等実物キャリブレーションパターンによって地面に位置する同等仮想キャリブレーションパターンを復元し、第１カメラによって生成された第４画像に投影するステップは、キャリブレーションによって得られた第１カメラ、ヒューマンアイシミュレーション補助カメラ及び同等実物キャリブレーションパターンの第１空間姿勢に基づいて、同等実物キャリブレーションパターンの地上高の値と事前に設定されたスケーリング比を確定するステップと、地上高の値及び事前に設定されたスケーリング比に基づいて、光線伝播原理と組み合わせて、同等実物キャリブレーションパターンによって地面に位置する同等仮想キャリブレーションパターンを復元し、仮想キャリブレーションパターンの第２空間姿勢を計算するステップと、第２空間姿勢と組み合わせて仮想キャリブレーションパターンを第１カメラの結像面に投影して第４画像を生成するステップと、を含む。

【0115】

具体的には、第１キャリブレーション方式に基づき、小穴結像原理に従って、実物キャリブレーションパターンを、ヒューマンアイシミュレーション補助カメラの視野における実物キャリブレーションパターンよりも高く、且つそれに平行な同等実物キャリブレーションパターンで置き換える。

【0116】

図５は本発明の実施例による表示機器のための好ましいキャリブレーション方法のシーンの概略図２であり、図５に示すように、本発明の実施例では「同等実物キャリブレーションパターン(３)」を導入して実物キャリブレーションパターン(１)を置き換え、Ｃａｍ_eyeの視野内で実物キャリブレーションパターン(１)よりも高く、且つそれと平行な同等実物キャリブレーションパターン(３)を使用して実物キャリブレーションパターン(１)を置き換え、同等実物キャリブレーションパターン(３)と実物キャリブレーションパターン(１)のスケーリング比は、同等実物キャリブレーションパターン(３)の地上高とＣａｍ_eyeの地上高の比に相当し、実物キャリブレーションパターン(１)からＣａｍ_eyeまでの水平距離と同等実物キャリブレーションパターン(３)からＣａｍ_eyeまでの水平距離の比に相当することもでき、残りのキャリブレーション機器の配置及び要求は、図３と一致するため、繰り返し説明が省略される。

【0117】

小穴結像原理に従って、キャリブレーション動作距離を大幅に短縮し、キャリブレーションサイトに対する要求を下げることができ、同ときに、実物キャリブレーションパターン(１)に対する同等実物キャリブレーションパターン(３)のサイズを縮小することができる。

【0118】

同等実物キャリブレーションパターン(３)は、Ｃａｍ_eyeの視野にのみ適合し、その投影関係がＣａｍ_adasの視野を満たしていないため、Ｃａｍ_eye、Ｃａｍ_adasと実物キャリブレーションパターン(３)の間の姿勢関係をそれぞれ計算でき、同等実物キャリブレーションパターン(３)の地上高に基づいて同等仮想キャリブレーションパターン(１)を復元し、Ｃａｍ_adasに再投影し、ここで、再投影とは、Ｃａｍ_eyeの視野内の同等実物キャリブレーションパターン(３)の画素点をＣａｍ_adasの視野内に投影することで新しい画像の画素点を生成することを指す。

【0119】

図５に示すように、第１カメラＣａｍ_eyeとヒューマンアイシミュレーション補助カメラＣａｍ_adasの内部パラメータ(即ち、カメラ自体の特性に関連するパラメータ、例えば、カメラの焦点距離、画素のサイズなど)を独立してキャリブレーションすることができ、本出願は、カメラのキャリブレーション方法を限定するものではない。

【0120】

カメラの内部パラメータに基づいて、Ｃａｍ_eye、Ｃａｍ_adas及び同等実物キャリブレーションパターン(３)の空間姿勢(即ち第１空間姿勢)をキャリブレーションし、空間姿勢が機器間の位置関係を提供するだけでなく、同等実物キャリブレーションパターン(３)の地上高ｈと事前に設定されたスケーリング比の情報も提供することができ、同等実物キャリブレーションパターン(３)の地上高ｈ(本実施例では同等実物キャリブレーションパターンの地上高の値を指す)及び線に沿った光の伝播原理に基づいて、地面に位置する仮想キャリブレーションパターン(１)の空間姿勢(本実施例では第２空間姿勢を指す)を計算し、最後に仮想キャリブレーションパターン(１)の特徴点をＣａｍ_adasに再投影して新たしい画像を生成する(即ち第１カメラの結像面に投影して第４画像を生成する)。

【0121】

２グループのキャリブレーションパラメータを取得した後の位置合わせステップは、第１キャリブレーション方法に含まれるステップと同じであるため、繰り返し説明が省略される。本実施例では、幾何学的関係及び小穴結像原理と組み合わせ、同等キャリブレーション平面を導入して仮想地面を推算し、再投影することにより、キャリブレーション動作距離を大幅に短縮し、キャリブレーションサイトに対する要求を下げることができる。

【0122】

(３)第３キャリブレーション方式:可変空間キャリブレーション
前記表示機器及び前記ユーザの目の位置が固定位置に維持される場合、固定位置で第１キャリブレーション方式及び第２キャリブレーション方式を使用してキャリブレーションパラメータを取得することができる。

【0123】

しかしながら、ユーザの視線は、変化しないように維持されず、着座姿勢の変化、頭部の移動、シーンのでこぼこなどにより、ユーザの目の位置及び視線が変化する可能性があり、前記表示機器及び/又は前記ユーザの目の位置が変化した場合、位置が変化した機器を複数の異なるキャリブレーション位置に調整し、複数の異なるキャリブレーション位置で第１キャリブレーション方式及び第２キャリブレーション方式を繰り返して正規化パラメータキャリブレーション対応関係を確定し、前記機器の実際の位置及び前記正規化パラメータキャリブレーション対応関係に基づいて前記キャリブレーションを確定する。

【0124】

好ましくは、正規化パラメータキャリブレーション対応関係は、任意の正規化パラメータと１対１で対応するキャリブレーションパラメータとの間のマッピング関係であり、正規化パラメータは、可変ストロークに占める表示機器及び/又はヒューマンアイシミュレーション補助カメラの位置移動量の割合である。

【0125】

好ましくは、表示機器及び/又はユーザの目の位置が変化した場合、位置が変化した機器を複数の異なるキャリブレーション位置に調整して仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定し、機器の実際の位置及び正規化パラメータキャリブレーション対応関係に応じてキャリブレーションパラメータを確定するステップは、位置が変化した機器を可変空間内の少なくとも２つの異なるキャリブレーション位置に調整し、仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定するステップと、機器の実際の位置に基づいて可変空間における正規化位置パラメータを確定し、正規化位置パラメータ及び正規化パラメータキャリブレーション対応関係に応じてキャリブレーションパラメータを確定するステップと、を含む。

【0126】

本実施例では、可変空間に含まれるタイプは、可変直線ストローク、可変平面ストローク、可変三次元空間ストロークを含むがこれらに限定されない。本実施例では、変更可能な位置(ストローク)は、正規化パラメータで表され、事前にキャリブレーションされた幾つかのグループの「正規化パラメータ－キャリブレーションパラメータ」の対応関係により、任意の正規化パラメータに対応するキャリブレーションパラメータをフィッティングすることができる。位置が変化した機器に対して、本出願の実施例は、ストローク情報の取得方法を限定するものではなく、例えば、外部センサの検出により提供することもできる。

【0127】

上記の「幾つか」の最小値は、変更可能な位置がほぼ線形である場合(ＡＲ－ＨＵＤ虚像面の上下調整など)、２以上である必要があり、この幾つかのグループの対応関係が非同時共点であり、変更可能な位置がほぼエリアアレイ(ＤＭＳカメラでの人間の目の動きなど)である場合、３以上である必要があり、この幾つかのグループの対応関係が非同時共線であり、さらに、変更可能な位置がほぼ立体範囲(アイボックス内のヒューマンアイカメラの移動)である場合、４以上である必要があり、且つこの幾つかのグループの対応関係が非同時共面である。

【0128】

好ましくは、可変空間が可変直線ストロークである場合、位置合わせ方法は、機器を可変直線ストローク内の少なくとも２つの異なるキャリブレーション位置に調整し、仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定するステップであって、少なくとも２つの異なるキャリブレーション位置には、可変直線ストロークにおける機器の最高表示基準位置及び最低基準位置が含まれるステップを含む。

【0129】

好ましくは、位置が変化した機器を可変空間内の少なくとも２つの異なるキャリブレーション位置に調整し、仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定するステップは、位置が変化した機器を可変空間内の少なくとも２つの異なるキャリブレーション位置に調整し、異なるキャリブレーション位置で仮想現実開閉キャリブレーション方法を繰り返してキャリブレーションパラメータグループを取得するステップであって、キャリブレーションパラメータグループには、各キャリブレーション位置に１対１で対応する各キャリブレーションパラメータが含まれるステップと、全てのキャリブレーション位置及び可変空間に基づいて正規化パラメータグループを確定するステップと、キャリブレーションパラメータグループ及び正規化パラメータグループと組み合わせて正規化パラメータキャリブレーション対応関係をフィッティングして確定するステップと、を含む。

【0130】

ＡＲ－ＨＵＤの移動を例とすると、ＡＲ－ＨＵＤは、虚像面のＮ個の異なるストロークを調整し(Ｎ＞＝２、最高ストロークと最低ストロークの２つのストロークを少なくとも有する必要があることを示す)、その後、キャリブレーション作業を実行し、Ｎグループのキャリブレーションパラメータを得ることができ、ＮグループのキャリブレーションパラメータとＡＲ－ＨＵＤ虚像面の正規化ストロークにそれぞれ対応する０から１の間のＮ個の値により、正規化パラメータキャリブレーション対応関係を確定することができる。

【0131】

その後、ＡＲ－ＨＵＤ虚像面の正規化ストロークを単一の独立変数(即ち、ＡＲ－ＨＵＤは、一定の範囲内で上下に移動可能であり、移動比率が単一の独立変数であり、例えば、移動範囲が１０mmであると、１mm移動するときの移動比率が０.１(即ち、単一の独立変数は０.１))とし、正規化パラメータキャリブレーション対応関係と組み合わせると、ＡＲ－ＨＵＤ虚像面がこの位置に移動するときの対応するキャリブレーションパラメータを求める。

【0132】

同様に、ユーザの目が可変直線ストロークで移動する場合、ヒューマンアイシミュレーション補助カメラによって人間の目の動きをシミュレートし、上記方法によって任意の位置に対応するキャリブレーションパラメータを確定する。

【0133】

図６は本発明の実施例による表示機器のための好ましいキャリブレーション方法のシーンの概略図３であり、図６に示すように、ＡＲ－ＨＵＤ虚像面の移動を例とすると、本発明の実施例では、表示機器の位置は、可変直線ストロークで調整されてもよく、最高位置に調整されると最高表示基準位置となり、最低位置に調整されると最低表示基準位置となる。

【0134】

ＡＲ－ＨＵＤ虚像面をＮ＝２つのストロークほど上下調整し、即ち最高表示基準位置と最低表示基準位置に調整し、ＡＲ－ＨＵＤ虚像面が最高位置に調整される場合、即ち正規化ストローク値が１となる場合、ＡＲ－ＨＵＤ虚像面をオフした後、Ｃａｍ_adasとＣａｍ_eyeを使用して１＃キャリブレーションパターン(１)を撮影し、撮影された実物１＃キャリブレーションパターン(１)の特徴点に基づいて、両者間の二次元画像変換関係Ｈ⁽¹⁾ _adas2eyeを計算し、その後、ＡＲ－ＨＵＤ虚像面をオンにし、Ｃａｍ_eyeを使用して１＃ＨＵＤ虚像面(即ち表示機器に表示される虚像面、この虚像面は、フロントガラスの前で地面に垂直である)を撮影し、撮影された１＃ＨＵＤ虚像面の特徴点に基づいて、１＃ＨＵＤ虚像面を撮影して得られた特徴点と最終的にＡＲ－ＨＵＤ虚像面に表示された特徴点との間の二次元画像変換関係Ｈ⁽¹⁾ _eye2imageを計算する。

【0135】

ＡＲ－ＨＵＤ虚像面が最低位置に調整される場合、即ち正規化ストローク値が０となる場合、ＡＲ－ＨＵＤ虚像面をオフした後、Ｃａｍ_adasとＣａｍ_eyeを使用して２＃キャリブレーションパターン(１)を撮影し、撮影された実物２＃キャリブレーションパターン(１)の特徴点に基づいて、両者間の二次元画像変換関係Ｈ⁽²⁾ _adas2eyeを計算し、その後、ＡＲ－ＨＵＤ虚像面をオンにし、Ｃａｍ_eyeを使用して２＃ＨＵＤ虚像面を撮影し、撮影された２＃ＨＵＤ虚像面の特徴点に基づいて、２＃ＨＵＤ虚像面を撮影して得られた特徴点と最終的にＡＲ－ＨＵＤ虚像面に表示される特徴点との間の二次元画像変換関係Ｈ⁽²⁾ _eye2imageを計算し、最後に２つの基準位置における２グループのキャリブレーションパラメータ、即ち二次元画像変換関係Ｈ⁽¹⁾ _adas2eyeと二次元画像変換関係Ｈ⁽¹⁾ _eye2image、二次元画像変換関係Ｈ⁽²⁾ _adas2eyeと二次元画像変換関係Ｈ⁽²⁾ _eye2imageを得る。

【0136】

キャリブレーションパラメータグループ及び対応する正規化パラメータグループと組み合わせて正規化パラメータキャリブレーション対応関係をフィッティングして確定するが、本出願は、対応関係を確立する数学的方法を制限するものではなく、例えば補間アルゴリズム又はフィッティングアルゴリズムを使用することができる。

【0137】

後続の位置合わせステップでは、ＡＲ－ＨＵＤ虚像面のストローク移動を例とすると、本発明の実施例では、車載コンピュータは、ドライブレコーダー画像(Ｃａｍ_adas)における現実シーン(車線など)に対応する画素点を抽出し、このときのＡＲ－ＨＵＤ虚像面のストローク及び正規化パラメータキャリブレーション対応関係に基づいて、現在のストロークにおけるＡＲ－ＨＵＤ虚像面のキャリブレーションパラメータを計算し、さらにドライブレコーダーにおける車線画素点をＡＲ－ＨＵＤの虚像上の画素点にマッピングし、このとき、運転者の視線内で、ＡＲ－ＨＵＤの虚像によって表示される車線などは、運転者の視線内の実際の車線を覆い、且つ異なる運転者の習慣的な視線方向に応じて、ＡＲ－ＨＵＤ虚像面を上下に調整し、仮想と現実の位置合わせを実現することができる。

【0138】

好ましくは、可変空間が可変平面ストロークである場合、位置合わせ方法は、機器を可変平面ストローク内の少なくとも３つの異なるキャリブレーション位置に調整し、仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定するステップであって、少なくとも３つの異なるキャリブレーション位置には、機器の３つの非同時共線的な限界基準位置が含まれるステップを含む。

【0139】

本発明の実施例では、ユーザの目の移動を例とすると、運転室内のヒューマンアイシミュレーション補助カメラの移動位置をＤＭＳで撮影し、この移動位置がほぼ二次元平面内(即ち事前に設定された平面エリア)に位置してもよく、この二次元平面の少なくとも３つの頂点の正規化座標は、(０，０)、(０，１)、(１，１)に設定されてもよい。

【0140】

本発明の実施例では、可変平面の正規化座標を、４つの頂点で概略的に説明する。ヒューマンアイシミュレーション補助カメラは、運転室内の可変平面ストロークにおける左下限界位置、即ち正規化座標(０，０)(即ち第１表示基準位置)に移動し、ＤＭＳは、このときの人間の目のＤＭＳカメラにおける座標を記録し、ｄ⁽⁰⁾(即ち第１表示基準位置に対応する視線投射本体の第１座標)と表記し、ヒューマンアイシミュレーション補助カメラは、運転室内の移動可能空間の右下、右上、左上限界位置、即ち正規化座標(０，１)、(１，１)、(１，０)に移動し、ＤＭＳは、このときの人間の目のＤＭＳカメラにおける座標を記録し、ｄ⁽¹⁾(即ち第２表示基準位置に対応する視線投射本体の第２座標)、ｄ⁽²⁾(即ち第３表示基準位置に対応する視線投射本体の第３座標)、ｄ⁽³⁾(即ち第４表示基準位置に対応する視線投射本体の第４座標)と表記し、ｄ⁽⁰⁾、ｄ⁽¹⁾、ｄ⁽²⁾、ｄ⁽³⁾と正規化座標(０，０)、(０，１)、(１，１)、(１，０)の対応関係に応じて、フィッティングされた正規化行列Ｈ_normalを得ることができ、ＤＭＳがＤＭＳカメラにおける人間の目の座標及びフィッティングされた正規化行列Ｈ_normalを記録することにより、このときの事前に設定された平面エリアにおける正規化座標を得ることができる。

【0141】

本発明の実施例では、人間の目の移動を定量化することが難しいため、移動の限界位置をキャリブレーション依拠として使用し、即ち第１表示基準位置、第２表示基準位置、第３表示基準位置及び第４表示基準位置を４つの限界位置として使用し、人間の目が運転室内で移動できる非同時共線的な限界位置がＭ個(Ｍ＞＝３)であり、次にキャリブレーション作業をそれぞれ行い、Ｍグループのキャリブレーションパラメータを得て、ＭグループのキャリブレーションパラメータがＤＭＳによって撮影された、運転室内の人間の目のＭ個の二次元正規化位置の値にそれぞれ対応し、Ｍグループのキャリブレーションパラメータ及び対応するＭ個の二次元正規化位置の値と組み合わせて正規化パラメータキャリブレーション対応関係をフィッティングして確定するが、本出願は、対応関係を確立する数学的方法を制限するものではなく、例えば補間アルゴリズム又はフィッティングアルゴリズムを使用することができる。

【0142】

次に、ＤＭＳによって撮影された、運転室内の人間の目の二次元正規化位置の値を単一の独立変数とすることにより、運転室内の任意の位置にあるときの人間の目に対応するキャリブレーションパラメータを取得することができる。

【0143】

後続の位置合わせステップでは、人間の目の移動を例とすると、本発明の実施例では、車載コンピュータは、ドライブレコーダー画像(Ｃａｍ_adas)における現実シーン(車線など)に対応する画素点を抽出し、このときのＤＭＳカメラ内の人間の目の座標(二次元座標)に基づいて、フィッティングされた正規化行列Ｈ_normalと組み合わせて、事前に設定された平面エリア内の人間の目の正規化座標を確定し、このときの平面エリア内の人間の目の正規化座標及び正規化パラメータキャリブレーション対応関係に応じて、現在のストロークにおける人間の目のキャリブレーションパラメータを計算し、さらにドライブレコーダー内の車線の画素点をＡＲ－ＨＵＤの虚像上の画素点にマッピングし、このとき、運転者の視線内で、ＡＲ－ＨＵＤの虚像によって表示される車線などは、運転者の視線内の実際の車線を覆い、且つ異なる運転者の習慣的な視線方向に応じて、ＡＲ－ＨＵＤ虚像面を上下に調整し、仮想と現実の位置合わせを実現することができる。

【0144】

好ましくは、可変空間が可変三次元空間ストロークである場合、位置合わせ方法は、機器を可変三次元空間ストローク内の少なくとも４つの異なるキャリブレーション位置に調整し、仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定するステップであって、少なくとも４つの異なるキャリブレーション位置には、機器の４つの非同時共面的な限界基準位置が含まれるステップを含む。

【0145】

本発明の実施例では、正規化パラメータを、４つの非同時共面的な限界基準位置でキャリブレーションし、可変空間が可変二次元平面である場合と同様に、ヒューマンアイシミュレーション補助カメラは、運転室内の可変平面ストロークにおける４つの非同時共面的な限界基準位置に移動して仮想現実キャリブレーション方法を繰り返し、限界基準位置と対応する正規化座標に基づいて正規化行列Ｈ_normal2をフィッティングし、ＤＭＳがＤＭＳカメラ内の人間の目の座標及びフィッティングされた正規化行列Ｈ_normal2を記録することにより、このときの事前に設定された空間エリアにおける人間の目の正規化座標を得ることができる。

【0146】

同様に、本発明の実施例では、人間の目の移動を定量化することが難しいため、移動の限界位置をキャリブレーション依拠として使用し、即ち第１表示基準位置、第２表示基準位置、第４表示基準位置及び第４表示基準位置を４つの限界位置として使用し、人間の目が運転室内で移動できる非同時共面的な限界位置がＰ個(Ｐ＞＝３)であり、次にキャリブレーション作業をそれぞれ行い、Ｐグループのキャリブレーションパラメータを得て、ＰグループのキャリブレーションパラメータがＤＭＳによって撮影された、運転室内の人間の目のＰ個の三次元正規化位置の値にそれぞれ対応し、Ｐグループのキャリブレーションパラメータグループ及び対応するＰ個の三次元正規化位置の値と組み合わせて正規化パラメータキャリブレーション対応関係をフィッティングして確定するが、本出願は、対応関係を確立する数学的方法を制限するものではなく、例えば補間アルゴリズム又はフィッティングアルゴリズムを使用することができる。

【0147】

次にＤＭＳによって撮影された、運転室内の人間の目の三次元正規化位置の値を単一の独立変数とすることにより、運転室内の任意の位置にあるときの人間の目に対応するキャリブレーションパラメータを取得することができる。

【0148】

後続の位置合わせステップでは、人間の目の移動を例とすると、本発明の実施例では、車載コンピュータは、ドライブレコーダー画像(Ｃａｍ_adas)における現実シーン(車線など)に対応する画素点を抽出し、このときのＤＭＳカメラ内の人間の目の座標(三次元座標)に基づいて、フィッティングされた正規化行列Ｈ_normal2と組み合わせて、事前に設定された平面エリア内の人間の目の正規化座標(三次元座標)を確定し、このときの事前に設定された平面エリア内の人間の目の正規化座標及び正規化パラメータキャリブレーション対応関係に応じて、現在のストロークにおける人間の目のキャリブレーションパラメータを計算し、さらにドライブレコーダー内の車線の画素点をＡＲ－ＨＵＤの虚像上の画素点にマッピングし、このとき、運転者の視線内で、ＡＲ－ＨＵＤの虚像によって表示される車線などは、運転者の視線内の実際の車線を覆い、且つ異なる運転者の習慣的な視線方向に応じて、ＡＲ－ＨＵＤ虚像面を上下に調整し、仮想と現実の位置合わせを実現することができる。

【0149】

本出願の実施例は、数学的アルゴリズムを使用して単一の変数からキャリブレーションパラメータを生成する関数を確立することにより、可動機器の任意の位置でのキャリブレーションパラメータを取得することができ、それによってリアルタイムな動的位置合わせを実現することができる。

【0150】

好ましくは、位置合わせ方法は、ロボットアームによりヒューマンアイシミュレーション補助カメラを掛けてヒューマンアイシミュレーション補助カメラの位置を調整し、対応する三次元正規化座標を提供するステップをさらに含む。

【0151】

本発明の実施例では、ロボットアームを使用して補助キャリブレーションカメラＣａｍ_eyeを掛けることができ、ロボットアームを制御して運転室の三次元空間内の移動可能エリアでの人間の目の上下左右及び前後移動をシミュレートすることができる。ロボットアームの導入により、人間の目をシミュレートするＣａｍ_eyeは、ロボットアーム又は奥行きを検出できるＤＭＳカメラによって、移動可能エリア内の三次元正規化座標を与えることができる(即ち事前に設定された平面エリア内の正規化座標、例えば、移動可能エリアのある隅を(０，０，０)として定義すると、この隅から最も遠い隅は、(１，１，１)になる)。

【0152】

本発明の実施例では、ロボットアームを使用して三次元正規化座標を提供する場合、ロボットアーム座標系とＤＭＳカメラ座標系との間の変換関係をキャリブレーションする必要もあり、奥行きを検出できるＤＭＳカメラを直接使用して三次元正規化座標を提供する場合、両者間の変換関係が必要ではない。

【0153】

本出願の実施例では、上記キャリブレーション方式のみを説明するが、これらのキャリブレーションの任意の両者の組み合わせ、又は三者の組み合わせ、又は四者の組み合わせ又は五者の組み合わせも本実施例の保護範囲に含まれるべきである。

【0154】

ステップＳ２０８において、二次元画像マッピング関係に応じて、エンティティ識別点を仮想画像に投影し、仮想画像内の仮想マーキングオブジェクトが視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせされる。

【0155】

図７は本発明の実施例による好ましい位置合わせ効果図であり、図７において１０１で示される枠は、ＡＲ－ＨＵＤ虚像範囲内に表示される仮想車線であり、仮想車線は、Ｃａｍ_eye視野内の実際の白い車線(１０２)に覆われている。車載コンピュータは、セマンティック識別アルゴリズム(ニューラルネットワークなど)によりＣａｍ_adas画像内の車線、歩行者、前方車両などの運転者の決定を支援できる情報を識別し、Ｃａｍ_adas画像内のそれらに対応する画素を抽出し、次に二次元画像変換関係によってＡＲ－ＨＵＤ虚像にマッピングし、このとき、Ｃａｍ_eyeの視野では、ＡＲ－ＨＵＤ虚像によって表示される車線などがＣａｍ_eyeの視野での実際の車線に覆われ、仮想と現実の位置合わせが実現される。

【0156】

本発明の実施例では、入力された人間の目の位置及び出力された仮想画像をリアルタイムに処理することができ、リアルタイム性は、ＤＭＳカメラ又はＣａｍ_adasカメラ、又はＡＲ－ＨＵＤ表示画面におけるフレームレートが最も低いものに依存する。

【0157】

【0158】

具体的には、実際の使用シーンの複雑さにより、ターゲット乗り物の全体的な状態に姿勢変化があり、例えば、車両がブレーキをかけたり発進したりすると、それに応じて車両の前部が上げ又は下げるが、ターゲット乗り物の姿勢を考慮せず、正常で安定した前部の下でのキャリブレーションパラメータのみに依存すると、ユーザの視線内のシーンが虚像面のシーンと一致しなく、位置合わせ効果に影響する。

【0159】

本実施例では、二次元画像マッピング関係に基づいて、ターゲット乗り物の姿勢補正位置合わせとさらに組み合わせることにより、仮想と現実の位置合わせの精度及びロバスト性が向上され、適用シーンの範囲がさらに拡大され、なお、本出願は、ターゲット乗り物の姿勢の取得方式を限定するものではなく、例えば、外部センサを使用してターゲット乗り物の姿勢をリアルタイムに取得することもできる。

【0160】

本出願の実施例では、三次元再構成を実行することなく、仮想キャリブレーションパターンと実物キャリブレーションパターンにより、ユーザの視野内でドライブレコーダーによって収集された画像と表示機器によって表示された仮想画像との間の二次元画像ピクセル対応関係を確立することができ、これは、表示機器をオン及びオフするだけで実現されてもよく、操作が簡単であり、同ときにコンピューティング効率及びキャリブレーション速度が向上され、ハードウェアのコンピューティング能力に対する要求が大幅に低くなる。また、ヒューマンアイシミュレーション補助カメラを人間の目の位置に取り付けることにより、キャリブレーションプロセスの工業化を実現することに役立ち、使用シーンが豊かになる。

【0161】

実施例２
本実施例による表示機器のための位置合わせ装置は、複数の実施ユニットを含み、各実施ユニットは、上記実施例１における各実施ステップに対応する。

【0162】

図８は本発明の実施例による表示機器のための位置合わせ装置の概略図であり、図８に示すように、この位置合わせ装置は、第１確定ユニット８１、第１取得ユニット８２、第１確定ユニット８３、位置合わせユニット８４を含むことができ、
第１確定ユニット８１は、ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するように構成され、視線フォーカシングエリアには、１つのエンティティ参照オブジェクトが少なくとも含まれ、
第１取得ユニット８２は、オリジナルシーンに対して第１カメラによって収集された撮影画像を取得し、撮影画像内のエンティティ識別点を抽出するように構成され、
第１確定ユニット８３は、事前に取得されたキャリブレーションパラメータにより、撮影画像とユーザの現在の視野内の仮想画像との間の二次元画像マッピング関係を確定するように構成され、仮想画像は、表示機器によって投影される画像であり、
位置合わせユニット８４は、二次元画像マッピング関係に応じて、エンティティ識別点を仮想画像に投影するように構成され、仮想画像内の仮想マーキングオブジェクトは、線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせされる。

【0163】

表示機器のための上記位置合わせ装置では、まず、第１確定ユニット８１は、ターゲット乗り物内のユーザの視線フォーカシングエリアを確定し、視線フォーカシングエリアには、１つのエンティティ参照オブジェクトが少なくとも含まれ、第１取得ユニット８２は、オリジナルシーンに対して第１カメラによって収集された撮影画像を取得し、撮影画像内のエンティティ識別点を抽出し、第１確定ユニット８３は、事前に取得されたキャリブレーションパラメータにより、撮影画像とユーザの現在の視野内の仮想画像との間の二次元画像マッピング関係を確定し、仮想画像が表示機器によって投影される画像であり、位置合わせユニット８４は、二次元画像マッピング関係に応じて、エンティティ識別点を仮想画像に投影し、仮想画像内の仮想マーキングオブジェクトは、視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせされる。

【0164】

この実施例では、キャリブレーションを事前に実行してキャリブレーションパラメータを得た後、撮影装置によって乗り物の外側の視線フォーカシングエリアの実景を撮影し、撮影された画面コンテンツのエンティティ識別点を仮想画像に投影し、現時点でのユーザの視野内の仮想画像における仮想マーキングオブジェクトを視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせし、ユーザの目の中の仮想画像をユーザの目の中の仮想画像によって覆われた現実シーンに関連付けることにより、仮想と現実が位置合わせされた「没入型」拡張現実体験効果を得て、ユーザエクスペリエンスと使用上の関心を向上させ、さらに運転者及び同乗者が視線を移動させながら仮想と現実が位置合わせされた良好な「没入型」拡張現実体験を得ることができず、運転者及び同乗者の使用への関心が低下するという関連技術における技術的問題を解決する。

【0165】

好ましくは、第１確定ユニットは、ユーザの視線投射本体の座標に基いて、ターゲット乗り物の前方に対するユーザのフォーカシング注視線を確定するように構成される第１確定モジュールと、フォーカシング注視線とターゲット乗り物の前方の地面が位置する平面とを交差させ、ユーザの注視位置点を取得するように構成される注視点確定モジュールと、注視位置点に基づいて、ターゲット乗り物内のユーザの視線フォーカシングエリアを確定するように構成される第２確定モジュールと、を含む。

【0166】

好ましくは、表示機器及びユーザの目の位置状態に応じて、ヒューマンアイシミュレーション補助カメラと組み合わせて仮想現実位置合わせキャリブレーション方法によってキャリブレーションパラメータを確定する。

【0167】

好ましくは、位置合わせ装置は、表示機器及びユーザの目の位置が固定位置に維持される場合、この固定位置でヒューマンアイシミュレーション補助カメラと組み合わせて仮想現実開閉キャリブレーション方法によってキャリブレーションパラメータを確定するように構成される第３確定ユニット、又は、表示機器及び/又はユーザの目の位置が変化した場合、位置が変化した機器を複数の異なるキャリブレーション位置に調整して仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定し、機器の実際の位置及び正規化パラメータキャリブレーション対応関係に応じて前記キャリブレーションパラメータを確定するように構成される第４確定ユニットをさらに含む。

【0168】

好ましくは、表示機器及びユーザの目の実際の位置は、運転者監視システムによって取得される。

【0169】

【0170】

好ましくは、第３確定ユニットは、表示機器のオン及びオフを制御することにより、実物キャリブレーションパターンと仮想キャリブレーションパターンを組み合わせて、ヒューマンアイシミュレーション補助カメラ及び第１カメラによって撮影された画像に基づいてキャリブレーションパラメータを確定するように構成される第３確定モジュールを含む。

【0171】

好ましくは、第３確定モジュールは、表示機器をオフにした後、実物キャリブレーションパターンと組み合わせて、第１カメラによって収集された第１画像とヒューマンアイシミュレーション補助カメラによって収集された第２画像との間の第３二次元画像マッピング関係を確定するように構成される第１確定サブモジュールと、表示機器をオンにした後、仮想キャリブレーションパターンと組み合わせて、ヒューマンアイシミュレーション補助カメラによって収集された第３画像と仮想キャリブレーションパターンとの間の第４二次元画像マッピング関係を確定するように構成される第２確定サブモジュールと、第３二次元画像マッピング関係と第４二次元画像マッピング関係をキャリブレーションパラメータとして特徴付けるように構成される第３確定サブモジュールと、を含む。

【0172】

好ましくは、位置合わせ装置は、実物キャリブレーションパターンを、ヒューマンアイシミュレーション補助カメラの視野における実物キャリブレーションパターンよりも高く、且つ実物キャリブレーションパターンに平行な同等実物キャリブレーションパターンで置き換えるように構成される置き換えユニットをさらに含む。

【0173】

好ましくは、第３確定モジュールは、表示機器をオフにした後、同等実物キャリブレーションパターンによって地面に位置する同等仮想キャリブレーションパターンを復元し、第１カメラによって生成された第４画像に投影し、ヒューマンアイシミュレーション補助カメラによって同等実物キャリブレーションパターンに関する第５画像を収集し、第４画像と前記第５画像との間の第５二次元画像マッピング関係を確定するように構成される第４確定サブモジュールと、表示機器をオンにした後、仮想キャリブレーションパターンと組み合わせて、ヒューマンアイシミュレーション補助カメラによって収集された第６画像と仮想キャリブレーションパターンとの間の第６二次元画像マッピング関係を確定するように構成される第５確定サブモジュールと、第５二次元画像マッピング関係と第６二次元画像マッピング関係をキャリブレーションパラメータとして特徴付けるように構成される第６確定サブモジュールと、を含む。

【0174】

好ましくは、表示機器のための位置合わせ装置は、さらに表示機器をオフにした後、同等実物キャリブレーションパターンによって地面に位置する同等仮想キャリブレーションパターンを復元し、第１カメラによって生成された第４画像に投影し、ヒューマンアイシミュレーション補助カメラによって同等実物キャリブレーションパターンに関する第５画像を収集し、第４画像と第５画像との間の第５二次元画像マッピング関係を確定し、表示機器をオンにした後、仮想キャリブレーションパターンと組み合わせて、ヒューマンアイシミュレーション補助カメラによって収集された第６画像と前記仮想キャリブレーションパターンとの間の第６二次元画像マッピング関係を確定し、第５二次元画像マッピング関係と前記第６二次元画像マッピング関係をキャリブレーションパラメータとして特徴付けるために使用される。

【0175】

好ましくは、表示機器のための位置合わせ装置は、さらにキャリブレーションによって得られた第１カメラ、ヒューマンアイシミュレーション補助カメラ及び同等実物キャリブレーションパターンの第１空間姿勢に基づいて、同等実物キャリブレーションパターンの地上高の値と事前に設定されたスケーリング比を確定し、地上高の値及び事前に設定されたスケーリング比に基づいて、光線伝播原理と組み合わせて、同等実物キャリブレーションパターンによって地面に位置する同等仮想キャリブレーションパターンを復元し、仮想キャリブレーションパターンの第２空間姿勢を計算し、第２空間姿勢と組み合わせて仮想キャリブレーションパターンを第１カメラの結像面に投影して第４画像を生成するために使用される。

【0176】

【0177】

好ましくは、位置が変化する機器は、表示機器及び/又はヒューマンアイシミュレーション補助カメラを含む。

【0178】

好ましくは、表示機器及び/又はユーザの目の位置が変化した場合、表示機器のための位置合わせ装置は、さらに位置が変化した機器を可変空間内の少なくとも２つの異なるキャリブレーション位置に調整し、仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定し、機器の実際の位置に基づいて可変空間における正規化位置パラメータを確定し、正規化位置パラメータ及び正規化パラメータキャリブレーション対応関係に応じてキャリブレーションパラメータを確定するために使用される。

【0179】

好ましくは、可変空間が可変直線ストロークである場合、表示機器のための位置合わせ装置は、さらに機器を可変直線ストローク内の少なくとも２つの異なるキャリブレーション位置に調整し、仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定するために使用され、少なくとも２つの異なるキャリブレーション位置には、可変直線ストロークにおける機器の最高表示基準位置及び最低基準位置が含まれる。

【0180】

好ましくは、可変空間が可変平面ストロークである場合、表示機器のための位置合わせ装置は、さらに機器を可変平面ストローク内の少なくとも３つの異なるキャリブレーション位置に調整し、仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定するために使用され、少なくとも３つの異なるキャリブレーション位置には、機器の３つの非同時共線的な限界基準位置が含まれる。

【0181】

好ましくは、可変空間が可変三次元空間ストロークである場合、表示機器のための位置合わせ装置は、さらに機器を可変三次元空間ストローク内の少なくとも４つの異なるキャリブレーション位置に調整し、仮想現実開閉キャリブレーション方法を繰り返し、正規化パラメータキャリブレーション対応関係を確定するために使用され、少なくとも４つの異なるキャリブレーション位置には、機器の４つの非同時共面的な限界基準位置が含まれる。

【0182】

好ましくは、表示機器のための位置合わせ装置は、さらに位置が変化した機器を可変空間内の少なくとも２つの異なるキャリブレーション位置に調整し、異なるキャリブレーション位置に仮想現実開閉キャリブレーション方法を繰り返してキャリブレーションパラメータグループを得て、キャリブレーションパラメータグループには、各キャリブレーション位置に１対１で対応する各キャリブレーションパラメータが含まれ、全てのキャリブレーション位置及び可変空間に基づいて正規化パラメータグループを確定し、キャリブレーションパラメータグループ及び正規化パラメータグループと組み合わせて正規化パラメータキャリブレーション対応関係をフィッティングして確定するために使用される。

【0183】

好ましくは、表示機器のための位置合わせ装置は、さらにロボットアームによりヒューマンアイシミュレーション補助カメラを掛けてヒューマンアイシミュレーション補助カメラの位置を調整し、対応する三次元正規化座標を提供するために使用される。

【0184】

本開示の別の態様によれば、ターゲット乗り物内のユーザの視線フォーカシングエリアを追跡するように構成され、視線フォーカシングエリアに１つのエンティティ参照オブジェクトが少なくとも含まれる運転者監視システムと、視線フォーカシングエリアを撮影し、撮影画像を得るように構成されるドライブレコーダーと、転者監視システム及びドライブレコーダーにそれぞれ接続され、表示機器のための上記のいずれかの位置合わせ方法を実行するように構成される車載コントローラと、仮想画像をユーザの真ん前の事前に設定された位置に投影するように構成され、仮想画像内の仮想マーキングオブジェクトが視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせされるヘッドアップディスプレイと、を含む車載表示システムが提供される。

【0185】

本発明の実施例の別の態様によれば、ターゲット乗り物内のユーザの視線フォーカシングエリアを追跡するように構成され、視線フォーカシングエリアに１つのエンティティ参照オブジェクトが少なくとも含まれる視線追跡装置と、視線フォーカシングエリアを撮影し、撮影画像を得るように構成される収集装置と、視線追跡装置及び収集装置にそれぞれ接続され、表示機器のための上記のいずれかの位置合わせ方法を実行するように構成される端末コントローラと、仮想画像をユーザの真ん前の事前に設定された位置に投影するように構成され、仮想画像内の仮想マーキングオブジェクトが視線フォーカシングエリア内のエンティティ参照オブジェクトと位置合わせされるヘッドアップディスプレイと、を含むウェアラブル機器が提供される。

【0186】

本開示は、ユーザが視線を移動させながら仮想と現実が位置合わせされた良好な「没入型」拡張現実体験を得ることができず、ユーザの使用への関心が低下するという関連技術における技術的問題を解決する。

【0187】

本発明の実施例の別の態様によれば、プロセッサと、プロセッサの実行可能命令を記憶するように構成されるメモリと、を含み、プロセッサは、実行可能命令を実行することにより、表示機器のための上記のいずれかの位置合わせ方法を実行するように構成される車載制御機器が提供される。

【0188】

本発明の実施例の別の態様によれば、記憶されたコンピュータプログラムを含み、コンピュータプログラムが実行されると、表示機器のための上記のいずれかの位置合わせ方法を実行するようにコンピュータ可読記憶媒体が配置される機器を制御するコンピュータ可読記憶媒体が提供される。

【0189】

上記の本発明の実施例番号は、説明のためのものだけであり，実施例の優劣を表すものではない。

【0190】

本発明の実施例では、各実施例の説明について異なる強調を持っているため、ある実施例に詳述されていない部分に対して、他の実施例の関連説明を参照することができる。

【0191】

本出願で提供される幾つかの実施例では、開示される技術内容は、他の方式で実現されてもよいことが理解できる。ここで、上記の装置の実施例は、例示的なものだけであり、例えば前記ユニットの区分は、論理機能的区分であってもよく、実際に実施するときに他の区分方式もあり得て、例えば複数のユニット又はコンポーネントは、組み合わせられてもよく、又は別のシステムに統合されてもよく、又は幾つかの特徴は、無視されてもよく、又は実行されなくてもよい。

【0192】

また、示されたり議論されたりする相互結合又は直接結合又は通信接続は、幾つかのインターフェース、ユニット又はモジュールを介した間接的結合又は通信接続であってもよく、電気的又は他の形態であってもよい。

【0193】

分離部材として説明された前記ユニットは、物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示された部材は、物理的ユニットであってもよく又は物理的ユニットでなくてもよく、即ち１つの箇所に配置されて
もよく、又は複数のユニットに分布してもよい。実際のニーズに応じてそのうちの一部又は全部のユニットを選択して本実施例の解決策の目的を達成することができる。

【0194】

また、本発明の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、個々のユニットは、単独で物理的に存在してもよく、２つ又は２つ以上のユニットは、１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形態で実現されてもよいし、ソフトウェア機能ブロックの形態で実現されてもよい。

【0195】

前記統合されたユニットは、ソフトウェア機能ユニットの形態で実現され且つ独立した製品として販売又は使用されるときに、１つのコンピュータ可読記憶媒体に記憶されてもよい。

【0196】

このような理解に基づき、本発明の技術的解決策は、本質的に又は従来技術に寄与する部分又はこの技術的解決策の全部又は部分がソフトウェア製品の形で実現されてもよく、このコンピュータソフトウェア製品は、コンピュータ装置(パーソナルコンピュータ、サーバ又はネットワーク機器等であってもよい)に本発明の様々な実施例に記載される方法の全て又は一部のステップを実行させるための幾つかの命令を含む記憶媒体に記憶される。

【0197】

前記憶媒体は、ＵＳＢフラッシュドライブ、読み出し専用メモリ(ＲＯＭ:Read-Only Memory)、ランダムアクセスメモリ(ＲＡＭ:Random Access Memory)、モバイルハードディスク、磁気ディスク又は光ディスク等のプログラムコードを記憶できる各種の媒体を含む。

【0198】

上記は、本発明の好ましい実施形態に過ぎず、当業者であれば、本発明の原理から逸脱することなく幾つかの改良及び修正を行うことができ、これらの改良及び修正も本発明の保護範囲と見なされるべきであることが指摘すべきである。

【図1】