特許 7390436 ナビゲーション方法、装置、電子機器、コンピュータ読取可能な記憶媒体及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-22

(45)【発行日】2023-12-01

(54)【発明の名称】ナビゲーション方法、装置、電子機器、コンピュータ読取可能な記憶媒体及びコンピュータプログラム

(51)【国際特許分類】

   G01C 21/36 20060101AFI20231124BHJP

   G02B 27/02 20060101ALI20231124BHJP

   G09G 3/20 20060101ALI20231124BHJP

【ＦＩ】

G01C21/36

G02B27/02 Z

G09G3/20 680A

【請求項の数】 12

(21)【出願番号】P 2022103647

(22)【出願日】2022-06-28

(65)【公開番号】P2022133340

(43)【公開日】2022-09-13

【審査請求日】2022-06-28

(31)【優先権主張番号】202110731632.5

(32)【優先日】2021-06-29

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521208273

【氏名又は名称】阿波▲羅▼智▲聯▼（北京）科技有限公司

【氏名又は名称原語表記】ＡＰＯＬＬＯ ＩＮＴＥＬＬＩＧＥＮＴ ＣＯＮＮＥＣＴＩＶＩＴＹ（ＢＥＩＪＩＮＧ）ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】１０１， １ｓｔ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ １， Ｙａｒｄ ７， Ｒｕｉｈｅ Ｗｅｓｔ ２ｎｄ Ｒｏａｄ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100189555

【弁理士】

【氏名又は名称】徳山 英浩

(72)【発明者】

【氏名】▲デン▼ 蘇南

【審査官】上野 博史

(56)【参考文献】

【文献】特開２０１５－２０４６１６（ＪＰ，Ａ）

【文献】国際公開第２０１３／１１４６１７（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１１５５８７（ＷＯ，Ａ１）

【文献】特開２００９－２７８２３４（ＪＰ，Ａ）

【文献】米国特許第１０３３２２９２（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／００－２１／３６

２３／００－２５／００

Ｇ０８Ｇ １／００－９９／００

Ｇ０２Ｂ ２７／００－３０／６０

Ｇ０９Ｇ ３／００－３／０８

３／１２

３／１６

３／１９－３／２６

３／３０

３／３４

３／３８

(57)【特許請求の範囲】

【請求項1】

実景画像とナビゲーション情報とを取得することと、
前記実景画像を変換して、少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得することと、
前記投射画像と前記ナビゲーション情報とを融合して、ナビゲーション画像を取得することと、
前記車載メガネが前記ナビゲーション画像を表示するように、前記ナビゲーション画像を前記車載メガネに送信することと、を含み、
前記実景画像が車載機器の第１の画像収集機器によって収集された第１の実景画像であれば、前記実景画像を変換して投射画像を取得することは、
前記車載メガネの第２の画像収集機器によって収集された第２の実景画像と前記車載メガネのウィンドウとの第１の位置関係を取得することと、
前記第１の実景画像と前記第２の実景画像との第２の位置関係を特定することと、
前記第１の位置関係及び前記第２の位置関係に基づいて前記第１の実景画像を変換して 投射画像を取得することと、を含む、
ナビゲーション方法。

【請求項2】

前記車載メガネの第２の画像収集機器によって収集された第２の実景画像と前記車載メガネのウィンドウとの第１の位置関係を取得することは、
前記車載メガネにおける前記第２の画像収集機器の位置と前記ウィンドウの位置とに基づいて、第１の位置関係を特定することを含む、
請求項１に記載の方法。

【請求項3】

前記第１の実景画像と前記第２の実景画像との第２の位置関係を特定することは、
前記第１の実景画像と前記第２の実景画像とに対して特徴点追跡を行い、特徴点追跡の第１の結果に基づいて前記第１の実景画像と前記第２の実景画像との第２の位置関係を特定することと、
前記車載メガネが指定位置にある時に収集された第３の実景画像と前記第１の実景画像とに対して特徴点追跡を行って、特徴点追跡の第２の結果に基づいて前記第１の実景画像と前記第３の実景画像との第３の位置関係を特定し、前記車載メガネが位置する現在位置と前記指定位置とに基づき、且つ前記第３の位置関係に基づいて、前記第１の実景画像と前記第２の実景画像との第２の位置関係を特定することと、のいずれか一方を含む、
請求項１に記載の方法。

【請求項4】

前記車載メガネが位置する現在位置は、前記車載メガネの測位システムによって取得される、
請求項１に記載の方法。

【請求項5】

前記実景画像が前記車載メガネの第２の画像収集機器によって収集された第２の実景画像であれば、前記実景画像を変換して投射画像を取得することは、
前記車載メガネの第２の画像収集機器によって収集された第２の実景画像と前記車載メガネのウィンドウとの第１の位置関係を取得することと、
前記第１の位置関係に基づいて前記第１の実景画像を変換して投射画像を取得することと、を含む、
請求項１に記載の方法。

【請求項6】

前記ナビゲーション画像を前記車載メガネに送信することは、
無線通信で前記ナビゲーション画像を前記車載メガネに送信することを含む、
請求項１に記載の方法。

【請求項7】

車載機器によって送信されたナビゲーション画像を受信することであって、前記ナビゲーション画像は、投射画像とナビゲーション情報とが融合されたものであり、前記投射画像は、実景画像から変換されたものであり、前記投射画像と少なくとも１つの車載メガネのウィンドウとがマッチングすることと、
前記ナビゲーション画像を表示することと、を含み、
前記実景画像が車載機器の第１の画像収集機器によって収集された第１の実景画像であれば、前記実景画像を変換して投射画像を取得することは、
前記車載メガネの第２の画像収集機器によって収集された第２の実景画像と前記車載メガネのウィンドウとの第１の位置関係を取得することと、
前記第１の実景画像と前記第２の実景画像との第２の位置関係を特定することと、
前記第１の位置関係及び前記第２の位置関係に基づいて前記第１の実景画像を変換して 投射画像を取得することと、を含む、
ナビゲーション方法。

【請求項8】

実景画像とナビゲーション情報とを取得するためのデータ取得モジュールと、
前記実景画像を変換して、少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得するための画像変換モジュールと、
前記投射画像と前記ナビゲーション情報とを融合して、ナビゲーション画像を取得するための画像融合モジュールと、
前記車載メガネが前記ナビゲーション画像を表示するように、前記ナビゲーション画像を前記車載メガネに送信するためのナビゲーション画像送信モジュールと、を含み、
前記実景画像が車載機器の第１の画像収集機器によって収集された第１の実景画像であれば、前記実景画像を変換して投射画像を取得することは、
前記車載メガネの第２の画像収集機器によって収集された第２の実景画像と前記車載メガネのウィンドウとの第１の位置関係を取得することと、
前記第１の実景画像と前記第２の実景画像との第２の位置関係を特定することと、
前記第１の位置関係及び前記第２の位置関係に基づいて前記第１の実景画像を変換して 投射画像を取得することと、を含む、
ナビゲーション装置。

【請求項9】

車載機器によって送信されたナビゲーション画像を受信するためのものであって、前記ナビゲーション画像は、投射画像とナビゲーション情報とが融合されたものであり、前記投射画像は、実景画像から変換されたものであり、前記投射画像と少なくとも１つの車載メガネのウィンドウとがマッチングするナビゲーション画像受信モジュールと、
前記ナビゲーション画像を表示するためのナビゲーションモジュールと、を含み、
前記実景画像が車載機器の第１の画像収集機器によって収集された第１の実景画像であれば、前記実景画像を変換して投射画像を取得することは、
前記車載メガネの第２の画像収集機器によって収集された第２の実景画像と前記車載メガネのウィンドウとの第１の位置関係を取得することと、
前記第１の実景画像と前記第２の実景画像との第２の位置関係を特定することと、
前記第１の位置関係及び前記第２の位置関係に基づいて前記第１の実景画像を変換して 投射画像を取得することと、を含む、
ナビゲーション装置。

【請求項10】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続するメモリとを有する電子機器であって、
前記メモリには、前記少なくとも１つのプロセッサによって実行され得るコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが請求項１～７のいずれか一項に記載の方法を実行することができる、
電子機器。

【請求項11】

コンピュータに請求項１～７のいずれか一項に記載の方法を実行させるためのコンピュータコマンドを記憶している、
非一時的なコンピュータ読取可能な記憶媒体。

【請求項12】

プロセッサにより実行された場合に、請求項１～７のいずれか一項に記載の方法を実現するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両ネットワークの技術分野に関し、特にナビゲーション技術分野に関し、具体的に、本開示は、ナビゲーション方法、装置、電子機器、コンピュータ読取可能な記憶媒体及びコンピュータプログラムに関する。

【背景技術】

【0002】

ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実感)技術の応用がますます広くなるにつれて、ＡＲ応用に対するユーザの受け入れ度もますます高くなる。ＡＲ技術の重要な応用シーンの１つは、ＡＲナビゲーションを実現することにある。

【0003】

ＡＲナビゲーションの内容を車載メガネに投射する場合、ユーザの頭部が揺れる可能性があるため、投射されたＡＲナビゲーション情報とユーザが見た画像との間に一定の位置ずれが存在し、これはＡＲナビゲーションの効果に影響し、ユーザの使用体験に影響することになる。

【発明の概要】

【0004】

本開示は、上記欠陥の少なくとも１つを解決するためのものであり、ナビゲーション方法、装置、電子機器、コンピュータ読取可能な記憶媒体及びコンピュータプログラムを提供した。

【0005】

本開示の第１の局面によれば、ナビゲーション方法において、
実景画像とナビゲーション情報とを取得することと、
実景画像を変換して少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得することと、
投射画像とナビゲーション情報とを融合してナビゲーション画像を取得することと、
車載メガネがナビゲーション画像を表示するように、ナビゲーション画像を車載メガネに送信することと、を含むナビゲーション方法を提供する。

【0006】

本開示の第２の局面によれば、ナビゲーション方法において、
車載機器によって送信されたナビゲーション画像を受信することであって、ナビゲーション画像は、実景画像とナビゲーション情報とが融合されたものであり、投射画像は、実景画像から変換されたものであり、投射画像と少なくとも１つの車載メガネのウィンドウとがマッチングすることと、
ナビゲーション画像を表示することと、を含む別のナビゲーション方法を提供する。

【0007】

本開示の第３の局面によれば、ナビゲーション装置において、
実景画像とナビゲーション情報とを取得するためのデータ取得モジュールと、
実景画像を変換して少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得するための画像変換モジュールと、
投射画像とナビゲーション情報とを融合してナビゲーション画像を取得するための画像融合モジュールと、
車載メガネがナビゲーション画像を表示するように、ナビゲーション画像を車載メガネに送信するためのナビゲーション画像送信モジュールと、を含むナビゲーション装置を提供する。

【0008】

本開示の第４の局面によれば、ナビゲーション装置において、
車載機器によって送信されたナビゲーション画像を受信するためのものであって、ナビゲーション画像は、実景画像とナビゲーション情報とが融合されたものであり、投射画像は、実景画像から変換されたものであり、投射画像と少なくとも１つの車載メガネのウィンドウとがマッチングするナビゲーション画像受信モジュールと、
ナビゲーション画像を表示するためのナビゲーションモジュールと、を含む別のナビゲーション装置を提供する。

【0009】

本開示の第５の方面によれば、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続するメモリとを有する電子機器であって、
前記メモリに、前記少なくとも１つのプロセッサによって実行され得るコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが上記ナビゲーション方法を実行することができる電子機器を提供する。

【0010】

本開示の第６の局面によれば、コンピュータに上記ナビゲーション方法を実行させるためのコンピュータコマンドを記憶している、非一時的なコンピュータ読取可能な記憶媒体を提供している。

【0011】

本開示の第７の局面によれば、プロセッサにより実行された場合に、上記ナビゲーション方法を実現するコンピュータプログラムを提供している。

【0012】

理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。

【0013】

本開示が提供した技術案による有益効果は、
本開示の実施例が提供した技術案は、実景画像とナビゲーション情報とを取得し、実景画像を変換して少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得し、投射画像とナビゲーション情報とを融合してナビゲーション画像を取得し、ナビゲーション画像を車載メガネに送信して、車載メガネがナビゲーション画像を表示する。本技術案では、車載メガネによりＡＲナビゲーションを実現するとともに、ユーザの頭部位置が変化することによるＡＲナビゲーションの効果への影響を回避し、ＡＲナビゲーションの効果を保証し、ユーザの使用体験を保証することができる。

【図面の簡単な説明】

【0014】

ここで、図面は、本技術案をよりよく理解するために用いられ、本開示を限定するものではない。

【図1】図１は、本開示の実施例が提供したナビゲーション方法のフロー模式図である。

【図2】図２は、本開示の実施例が提供した別のナビゲーション方法のフロー模式図である。

【図3】図３は、本開示の実施例が提供したナビゲーションシステムの構成模式図である。

【図4】図４は、本開示が提供したナビゲーション装置の構成模式図である。

【図5】図５は、本開示が提供した別のナビゲーション装置の構成模式図である。

【図6】図６は、本開示の実施例のナビゲーション方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0015】

以下、図面を参照して本開示の例示的な実施例を説明する。ここで、本開示の実施例の様々な詳細は、より理解しやすいために含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、本開示の範囲及び精神から逸脱することはないように、ここで記載される実施例に対して様々な変更・修正を行うことができる。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。

【0016】

従来のＡＲナビゲーションは、一般的に車載機器のディスプレイ又はヘッドアップディスプレイ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ，ＡＲ ＨＵＤ）に投射される方式であるが、従来方式には、一定の欠陥が存在しており、ユーザの使用体験に影響する。

【0017】

車載機器のディスプレイに投射されたＡＲナビゲーションについて、ナビゲーション情報は、実景に融合しておらず、ビデオに融合しており、本質的に本当の実景重畳ではなく、運転者がナビゲーション情報を取得するために、頭を下げてディスプレイを見る必要がある。

【0018】

ＡＲ ＨＵＤに表示されているＡＲナビゲーションについて、ＡＲ ＨＵＤが実現可能な画角（ＦＯＶ）が小さく、強い光で画面のコントラストが大きく低下し、ＨＵＤ投射のウィンドウ（ｅｙｅｂｏｘ）が相対的に固定であり、一定のウィンドウから離脱すれば、完全な画面が見えなくなる。

【0019】

ＡＲナビゲーション情報をＭＲメガネに投射できれば、ＡＲナビゲーションを車載機器のディスプレイ又はヘッドアップディスプレイに投射する場合の上述した欠陥を克服することができる。

【0020】

普通のＭＲ(Ｍｅｄｉａｔｅｄ Ｒｅａｌｉｔｙ)メガネにおいて、測位のチップ及び画像発生ユニットがいずれも個別にメガネに備えている。しかし、車載分野において、関連ナビゲーション情報を表示するように、ＧＰＳ(Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ)、慣性測定ユニット（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ，ＩＭＵ）などの測位チップをメガネに重ね合わせると、メガネの重量を増加させ、機器が大型化になる。

【0021】

従来のＡＲナビゲーションでは、一般的に車載機器のカメラによって実景画像を収集し、その後、実景画像に応じてナビゲーション情報を生成する。ＡＲナビゲーションの内容を車載メガネに投射すれば、ユーザの頭部が揺れる可能性があるため、投射されたＡＲナビゲーション情報とユーザが見た画像との間に一定の位置ずれが存在し、これはＡＲナビゲーションの効果に影響し、ユーザの使用体験に影響する。

【0022】

本願の実施例が提供したナビゲーション方法、装置、電子機器及びコンピュータ読取可能な記憶媒体は、従来技術の上記技術問題の少なくとも１つを解決する旨である。

【0023】

図１は、本開示の実施例が提供したナビゲーション方法のフロー模式図を示しており、図１に示すように、この方法は、主に以下のステップを含んでよい。
ステップＳ１１０:実景画像とナビゲーション情報とを取得する。
ステップＳ１２０:実景画像を変換して、少なくとも１つの車載メガネのウィンドウにマッチングングする投射画像を取得する。
ステップＳ１３０:投射画像とナビゲーション情報とを融合して、ナビゲーション画像を取得する。
ステップＳ１４０:車載メガネがナビゲーション画像を表示するように、ナビゲーション画像を車載メガネに送信する。

【0024】

ここで、実景画像は車両周囲環境の画像である。ナビゲーション情報は、実景画像と融合して、ナビゲーション画像を取得するために用いられる。ナビゲーション情報は、ナビゲーション画像に表示され、ユーザに対してナビゲート又は提示するための情報であり、高級運転補助システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｉｎｇ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ，ＡＤＡＳ）情報や、高精度地図情報などを含んでよい。

【0025】

１つの例として、ナビゲーション情報は、車両のステアリングを指示するためのステアリング矢印であってもよく、情報点（Ｐｏｉｎｔ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ，ＰＯＩ）における建物の情報（建物の名称など）であってもよい。

【0026】

車載メガネは、ＭＲメガネなどのスマートグラスを含むが、これに限られない。ユーザは、車両を運転する時に車載メガネをかけて、車載メガネを介してナビゲーションを実現してよい。

【0027】

本開示の実施例で提供したナビゲーションシステムでは、ユーザが多い場合の使用需要を満足するように、車両内に複数の車載メガネを配置してよい。

【0028】

ユーザが車載メガネをかけている時、ユーザの目の可視領域が車載メガネのウィンドウ（ｅｙｅｂｏｘ）に対応しているため、実景画像を変換して、車載メガネのウィンドウにマッチングする投射画像を取得することができる。この投射画像がユーザの目の可視領域にマッチングしており、この投射画像を基にナビゲーション情報と融合して、ＡＲナビゲーションを行うことで、ＡＲナビゲーション効果を保証でき、ユーザに拡張現実感を与えることで、ユーザの頭部の移動によるＡＲナビゲーション効果への影響を回避することができる。

【0029】

実際の使用中に、ユーザの頭部位置が随時に変化する可能性があるため、ＡＲナビゲーション効果を保証するように、調整周期を設定して、実景画像を周期的に変換してよい。１つの例として、調整周期が２秒間であってよい。

【0030】

本開示の実施例では、ナビゲーション画像を生成した後、ナビゲーション画像を車載メガネに送信し、車載メガネによってナビゲーション画像を表示して、ＡＲナビゲーションを実現してよい。ＡＲナビゲーションを車載メガネに投射することは、従来技術でＡＲナビゲーションを車載機器のディスプレイ又はＡＲ ＨＵＤに投射する時の欠陥を克服し、ユーザの使用体験を向上することができる。

【0031】

本開示の実施例が提供した方法は、実景画像とナビゲーション情報とを取得し、実景画像を変換して、少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得し、投射画像とナビゲーション情報とを融合して、ナビゲーション画像を取得し、ナビゲーション画像を車載メガネに送信して、車載メガネがナビゲーション画像を表示する。本技術案では、車載メガネによりＡＲナビゲーションを実現するとともに、ユーザの頭部位置が変化することによるＡＲナビゲーションの効果への影響を回避し、ＡＲナビゲーションの効果を保証し、ユーザの使用体験を保証することができる。

【0032】

本開示の１つの選択可能な態様では、実景画像が車載機器の第１の画像収集機器によって収集された第１の実景画像であれば、実景画像を変換して投射画像を取得することは、
車載メガネの第２の画像収集機器によって収集された第２の実景画像と車載メガネのウィンドウとの第１の位置関係を取得することと、
第１の実景画像と第２の実景画像との第２の位置関係を特定することと、
第１の位置関係及び第２の位置関係に基づいて第１の実景画像を変換して投射画像を取得することと、を含む。

【0033】

本開示の実施例において、実景画像は、車載機器の第１の画像収集機器によって収集されてもよく、車載メガネの第２の画像収集機器によって収集されてもよい。

【0034】

画像収集機器は、カメラを含むが、これに限られない。

【0035】

実景画像が車載機器の第１の画像収集機器によって収集された第１の実景画像である場合、車載メガネの第２の画像収集機器と車載メガネにおけるウィンドウとの位置が固定されているため、第２の画像収集機器と車載メガネにおけるウィンドウとの実際の位置関係に応じて、第２の実景画像と車載メガネのウィンドウとの第１の位置関係を特定することができる。

【0036】

ユーザの頭部の位置がリアルタイム的に変化する可能性があるため、第１の実景画像と第２の実景画像との第２の位置関係もリアルタイム的に変化し、そのため、調整周期に従って第２の位置関係を周期的に取得してよい。

【0037】

第１の位置関係及び第２の位置関係が特定された後、第１の位置関係と第２の位置関係とに応じて第１の実景画像を変換して投射画像を取得する。

【0038】

１つの例として、第１の位置関係は、[Ｒ１ Ｔ１]で表されると（ただし、Ｒは回転行列であり、Ｔは並進行列である）、Ｐ（ｅｙｅｂｏｘ）=[Ｒ１ Ｔ１] Ｐ(ｃａｍｅｒａ２)。ここでの[Ｒ１ Ｔ１]は決められた量であり、ただし、Ｐ（ｅｙｅｂｏｘ）は投射画像を表し、Ｐ(ｃａｍｅｒａ２)は第２の実景画像を表す。

【0039】

第２の位置関係は、[Ｒ２ Ｔ２]で表されると、Ｐ（ｃａｍｅｒａ２）=[Ｒ２ Ｔ２] Ｐ(ｃａｍｅｒａ１)、ただし、Ｐ（ｃａｍｅｒａ１）は第１の実景画像を表し、Ｐ(ｃａｍｅｒａ２)は第２の実景画像を表す。

【0040】

これにより、Ｐ（ｅｙｅｂｏｘ）=[Ｒ１ Ｔ１] Ｐ(ｃａｍｅｒａ２)= [Ｒ１ Ｔ１] [Ｒ２ Ｔ２] Ｐ(ｃａｍｅｒａ１)が推定され得る。

【0041】

本開示の１つの選択可能な態様では、第１の実景画像と第２の実景画像との第２の位置関係を特定することは、
第１の実景画像と第２の実景画像とに対して、特徴点追跡を行い、特徴点追跡の第１の結果に基づいて、第１の実景画像と第２の実景画像との第２の位置関係を特定することと、
車載メガネが指定位置にある時に収集された第３の実景画像と第１の実景画像とに対して特徴点追跡を行い、特徴点追跡の第２の結果に基づいて第１の実景画像と第３の実景画像との第３の位置関係を特定し、車載メガネが位置する現在位置と指定位置とに基づき、且つ第３の位置関係に基づいて、第１の実景画像と第２の実景画像との第２の位置関係を特定することと、の何れか一方を含む。

【0042】

本開示の実施例では、ＰＮＰ演算などの特徴点追跡の方式で第２の位置関係を取得してよい。具体的に、第１の実景画像の特徴点が、第２の実景画像の特徴点と対比追跡演算をしていき、演算の結果は、Ｐ（ｃａｍｅｒａ２）=[Ｒ２ Ｔ２] Ｐ(ｃａｍｅｒａ１)として記してよい。

【0043】

処理のリアルタイム性のために、この演算プロセスの時間遅延を制御する必要があり、第１の実景画像と第２の実景画像とを車載機器のマイクロコントローラユニット(Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ，ＭＣＵ)に伝送して処理してよい。

【0044】

本開示の実施例では、ナビゲーション画像の生成が車載機器で完成し、ナビゲーション画像を車載メガネに送信してよく、これによって、車載メガネには余計なセンサーを配置する必要がなくなり、車載メガネの大型化を回避した。

【0045】

本開示の実施例では、ユーザの車両における指定位置を設定して、この指定位置を基準として、車載メガネが指定位置にある時に収集された第３の実景画像と第１の実景画像との第３の位置関係を特定し、その後、リアルタイム的に車載メガネを測位し、指定位置に対する車載メガネ位置の位置変化を算出し、この位置変化及び第３の位置関係に応じて第２の位置関係を特定することができる。

【0046】

実際の使用中に、第３の位置関係は、画像特徴点追跡の方式で取得されてよい。

【0047】

一例として、運転手が端坐して車載メガネをかけている時の車載メガネの位置を指定位置としてよい。ピクチャー特徴点追跡で関係初期値Ｐ（ｃａｍｅｒａ２）=[Ｒ２０ Ｔ２０] Ｐ(ｃａｍｅｒａ１)を取得する。動的プロセスにおいて、測位システムで取得された相対的位置変化を[Ｒｘ Ｔｘ]とすると、Ｐ（ｃａｍｅｒａ２）=[Ｒｘ Ｔｘ][Ｒ２０ Ｔ２０] Ｐ(ｃａｍｅｒａ１)。

【0048】

本開示の実施例の１つの選択可能な態様では、車載メガネが位置する現在位置は、車載メガネの測位システムによって取得される。

【0049】

本開示の実施例では、車載メガネの測位システムは、ＧＰＳ／ＩＭＵなどの測位チップを含んでよい。

【0050】

本開示の実施例の１つの選択可能な態様では、実景画像が車載メガネの第２の画像収集機器によって収集された第２の実景画像であれば、実景画像を変換して投射画像を取得することは、
車載メガネの第２の画像収集機器によって収集された第２の実景画像と車載メガネのウィンドウとの第１の位置関係を取得することと、
第１の位置関係に基づいて第１の実景画像を変換して投射画像を取得することと、を含む。

【0051】

本開示の実施例では、実景画像が車載メガネの第２の画像収集機器によって収集された第２の実景画像である場合、車載メガネの第２の画像収集機器と車載メガネにおけるウィンドウとの位置が固定であるため、第２の画像収集機器と車載メガネにおけるウィンドウとの実際位置関係に応じて、第２の実景画像と車載メガネのウィンドウとの第１の位置関係を特定することができる。第１の位置関係に基づいて、第２の実景画像を投射画像に変換することができる。

【0052】

一例として、Ｐ（ｅｙｅｂｏｘ）=[Ｒ１ Ｔ１] Ｐ(ｃａｍｅｒａ２)、ただし、Ｐ（ｅｙｅｂｏｘ）は投射画像を表し、Ｐ(ｃａｍｅｒａ２)は第２の実景画像を表す。第１の位置関係は、[Ｒ１ Ｔ１]で表されてよい。

【0053】

本開示の実施例の１つの選択可能な態様では、ナビゲーション画像を車載メガネに送信することは、
無線通信でナビゲーション画像を車載メガネに送信することを含む。

【0054】

ただし、無線通信は、ｗｉｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）であってもよいが、例えば、汎用シリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ，ＵＳＢ）インターフェース又は低電圧差分信号インターフェース（Ｌｏｗ-Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ，ＬＶＤＳ）などの有線通信で、ナビゲーション画像の送信を行ってもよい。

【0055】

図２は、本開示の実施例が提供した別のナビゲーション方法のフロー模式図を示しており、図２に示すように、この方法は、主に、以下のステップを含んでよい。
ステップＳ２１０：車載機器によって送信されたナビゲーション画像を受信し、ここで、ナビゲーション画像は、実景画像とナビゲーション情報とが融合されたものであり、投射画像は、実景画像から変換されたものであり、少なくとも１つの車載メガネのウィンドウにマッチングする。
ステップＳ２２０：ナビゲーション画像を表示する。

【0056】

ここで、実景画像は車両周囲環境の画像である。ナビゲーション情報は、実景画像と融合して、ナビゲーション画像を取得するために用いられる。ナビゲーション情報は、ナビゲーション画像に表示され、ユーザに対してナビゲーション又は提示するための情報であってよく、ナビゲーション情報は、高級運転補助システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｉｎｇ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ、ＡＤＡＳ）情報や、高精度地図情報などを含んでよい。

【0057】

１つの例として、ナビゲーション情報は、車両のステアリングを指示するためのステアリング矢印であってもよく、情報点（Ｐｏｉｎｔ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ、ＰＯＩ）における建物の情報（建物名称など）であってもよい。

【0058】

車載メガネは、ＭＲメガネなどのスマートグラスを含むが、これに限られない。ユーザは、車両を運転する時に車載メガネをかけて、車載メガネを介してナビゲーションを実現してよい。

【0059】

本開示の実施例で提供したナビゲーションシステムでは、ユーザが多い場合の使用需要を満足するように、車両内に複数の車載メガネを配置してよい。

【0060】

ユーザが車載メガネをかけている時、ユーザの目の可視領域が車載メガネのウィンドウ（ｅｙｅｂｏｘ）に対応しているため、実景画像を変換して、車載メガネのウィンドウにマッチングする投射画像を取得し、この投射画像がユーザの目の可視領域にマッチングしており、この投射画像を基にナビゲーション情報と融合して、ＡＲナビゲーションを行うことで、ＡＲナビゲーション効果を保証でき、ユーザに拡張現実感を与えることで、ユーザの頭部の移動によるＡＲナビゲーション効果への影響を回避することができる。

【0061】

実際の使用中に、ユーザの頭部位置が随時に変化する可能性があるため、ＡＲナビゲーション効果を保証するように、調整周期を設定して、実景画像を周期的に変換してよい。１つの例として、調整周期が２秒間であってよい。

【0062】

本開示の実施例では、ナビゲーション画像を生成した後、ナビゲーション画像を車載メガネに送信し、車載メガネによってナビゲーション画像を表示して、ＡＲナビゲーションを実現してよい。ＡＲナビゲーションを車載メガネに投射することは、従来技術でＡＲナビゲーションを車載機器のディスプレイ又はＡＲ ＨＵＤに投射する時の欠陥を克服し、ユーザの使用体験を向上することができる。

【0063】

本開示の実施例が提供した方法では、車載機器は、実景画像とナビゲーション情報と取得し、実景画像を変換して少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得し、投射画像とナビゲーション情報とを融合してナビゲーション画像を取得し、ナビゲーション画像を車載メガネに送信して、車載メガネがナビゲーション画像を表示する。本技術案では、車載メガネによりＡＲナビゲーションを実現するとともに、ユーザの頭部位置が変化することによるＡＲナビゲーションの効果への影響を回避し、ＡＲナビゲーションの効果を保証し、ユーザの使用体験を保証することができる。

【0064】

図３に本開示の実施例が提供したナビゲーションシステムの構成模式図を示している。

【0065】

図３に示すように、Ｃａｍｅｒａ１は車載機器の第１の画像収集機器である。Ｃａｍｅｒａ２は車載メガネの第２の画像収集機器である。ｅｙｅｂｏｘはウィンドウである。ＭＣＵは車載機器のＭＣＵである。ＡＲ ｃｒｅａｔｏｒは拡張現実感ソフトウェアパッケージであり、その中にＡＤＡＳ（即ち、高級運転補助システム）、ＳＤ／ＨＤ ＭＡＰ（即ち、道路ディレクトリ地図又は高精度地図）、ＡＮＰ(Ａｐｏｌｌｏ Ｎａｖｉｇａｔｉｏｎ Ｐｉｌｏｔ)地図が含まれる。

【0066】

Ｃａｍｅｒａ１によって収集された第１の実景画像とＣａｍｅｒａ２によって収集された第２の実景画像とは、ＭＣＵに伝送してよく、ＭＣＵにおいてナビゲーション画像が生成された後、無線伝送の方式（例えばｗｉｆｉ）などを介して、ナビゲーション画像を車載メガネのＰＧＵ（即ち画像生成ユニット）に伝送し、ＰＧＵがナビゲーション画像を表示する。

【0067】

図１に示す方法と同一の原理に基づいて、図４は、本開示の実施例が提供したナビゲーション装置の構成模式図を示しており、図４に示すように、このナビゲーション装置４０は、
実景画像とナビゲーション情報とを取得するためのデータ取得モジュール４１０と、
実景画像を変換して、少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得するための画像変換モジュール４２０と、
投射画像とナビゲーション情報とを融合して、ナビゲーション画像を取得するための画像融合モジュール４３０と、
車載メガネがナビゲーション画像を表示するように、ナビゲーション画像を車載メガネに送信するためのナビゲーション画像送信モジュール４４０と、を含んでよい。

【0068】

本開示の実施例が提供した装置は、実景画像及びナビゲーション情報を取得し、実景画像を変換して少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得し、投射画像とナビゲーション情報とを融合してナビゲーション画像を取得し、ナビゲーション画像を車載メガネに送信して、車載メガネがナビゲーション画像を表示する。本技術案では、車載メガネによりＡＲナビゲーションを実現するとともに、ユーザの頭部位置が変化することによるＡＲナビゲーションの効果への影響を回避し、ＡＲナビゲーションの効果を保証し、ユーザの使用体験を保証することができる。

【0069】

好ましい態様として、実景画像が車載機器の第１の画像収集機器によって収集された第１の実景画像であれば、画像変換モジュールは、実景画像を変換して投射画像を取得する時に、具体的に、
車載メガネの第２の画像収集機器によって収集された第２の実景画像と車載メガネのウィンドウとの第１の位置関係を取得することと、
第１の実景画像と第２の実景画像との第２の位置関係を特定することと、
第１の位置関係及び第２の位置関係に基づいて第１の実景画像を変換して投射画像を取得することと、に用いられる。

【0070】

好ましい態様として、画像変換モジュールは、車載メガネの第２の画像収集機器によって収集された第２の実景画像と車載メガネのウィンドウとの第１の位置関係を取得する時に、具体的に、車載メガネにおける第２の画像収集機器の位置とウィンドウの位置とに基づいて、第１の位置関係を特定することに用いられる。

【0071】

好ましい態様として、画像変換モジュールは、第１の実景画像と第２の実景画像との第２の位置関係を特定する時に、具体的に、
第１の実景画像と第２の実景画像とに対して特徴点追跡を行い、特徴点追跡の第１の結果に基づいて第１の実景画像と第２の実景画像との第２の位置関係を特定することと、
車載メガネが指定位置にある時に収集された第３の実景画像と第１の実景画像とに対して特徴点追跡を行い、特徴点追跡の第２の結果に基づいて第１の実景画像と第３の実景画像との第３の位置関係を特定し、車載メガネが位置する現在位置と指定位置とに基づき、且つ第３の位置関係に基づいて、第１の実景画像と第２の実景画像との第２の位置関係を特定することと、のいずれか一方を含む。

【0072】

好ましい態様として、車載メガネが位置する現在位置は、車載メガネの測位システムによって取得される。

【0073】

好ましい態様として、実景画像が車載メガネの第２の画像収集機器によって収集された第２の実景画像であれば、画像変換モジュールは、実景画像を変換して投射画像を取得する時に、具体的に、
車載メガネの第２の画像収集機器によって収集された第２の実景画像と車載メガネのウィンドウとの第１の位置関係を取得することと、
第１の位置関係に基づいて第１の実景画像を変換して投射画像を取得することと、に用いられる。

【0074】

好ましい態様として、ナビゲーション画像送信モジュールは、ナビゲーション画像を車載メガネに送信する時に、具体的に、
無線通信でナビゲーション画像を車載メガネに送信することに用いられる。

【0075】

理解されるべきこととして、本開示の実施例におけるナビゲーション装置の上記各モジュールは、図１に示す実施例におけるナビゲーション方法に対応するステップを実現する機能を有する。この機能は、ハードウェアで実現されてもよく、ハードウェアにより対応するソフトウェアを実行することで実現されてもよい。このハードウェア又はソフトウェアは、上記機能に対応する１つ又は複数のモジュールを含む。上記モジュールは、ソフトウェア及び／又はハードウェアであってよく、上記各モジュールは個別に実現されてもよく、複数のモジュールを集積することで実現されてもよい。上記ナビゲーション装置の各モジュールに対する機能説明は、具体的に図１に示す実施例におけるナビゲーション方法に対応する説明を参照してよいので、ここでその説明を繰り返さない。

【0076】

図２に示す方法と同一の原理に基づいて、図５は、本開示の実施例が提供したナビゲーション装置の構成模式図を示しており、図５に示すように、このナビゲーション装置５０は、
車載機器によって送信されたナビゲーション画像を受信するためのものであって、ナビゲーション画像は、実景画像とナビゲーション情報とが融合されたものであり、投射画像は、実景画像から変換されたものであり、少なくとも１つの車載メガネのウィンドウにマッチングするナビゲーション画像受信モジュール５１０と、
ナビゲーション画像を表示するナビゲーションモジュール５２０と、を含んでよい。

【0077】

本開示の実施例が提供した方法では、車載機器は、実景画像とナビゲーション情報とを取得し、実景画像を変換して少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得し、投射画像とナビゲーション情報とを融合してナビゲーション画像を取得し、ナビゲーション画像を車載メガネに送信して、車載メガネがナビゲーション画像を表示する。本技術案では、車載メガネによりＡＲナビゲーションを実現するとともに、ユーザの頭部位置が変化することによるＡＲナビゲーションの効果への影響を回避し、ＡＲナビゲーションの効果を保証し、ユーザの使用体験を保証することができる。

【0078】

理解されるべきこととして、本開示の実施例におけるナビゲーション装置の上記各モジュールは、図２に示す実施例におけるナビゲーション方法に対応するステップを実現する機能を有する。この機能は、ハードウェアで実現されてもよく、ハードウェアで対応するソフトウェアを実行することで実現されてもよい。このハードウェア又はソフトウェアは、上記機能に対応する１つ又は複数のモジュールを含む。上記モジュールは、ソフトウェア及び／又はハードウェアであってよく、上記各モジュールは個別に実現されてもよく、複数のモジュールを集積することで実現されてもよい。上記ナビゲーション装置の各モジュールに対する機能説明は、具体的に図２に示す実施例におけるナビゲーション方法に対応する説明を参照してよいので、ここでその説明を繰り返さない。

【0079】

本開示の技術案では、係られたユーザ個人情報の取得、記憶及び応用などは、いずれも関連法律や法規の規定に合致しており、公序良俗に反していない。

【0080】

本開示の実施例によれば、本開示は、電子機器、コンピュータ読取可能な記憶媒体及びコンピュータプログラムをさらに提供している。

【0081】

この電子機器は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信接続するメモリとを有する電子機器であって、メモリに、少なくとも１つのプロセッサによって実行され得るコマンドが記憶されており、コマンドが少なくとも１つのプロセッサによって実行されることで、少なくとも１つのプロセッサが本開示の実施例が提供したナビゲーション方法を実行することができる。

【0082】

この電子機器は、従来技術と比べて、実景画像及びナビゲーション情報を取得し、実景画像を変換して少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得し、投射画像とナビゲーション情報とを融合してナビゲーション画像を取得し、ナビゲーション画像を車載メガネに送信して、車載メガネがナビゲーション画像を表示する。本技術案では、車載メガネによりＡＲナビゲーションを実現するとともに、ユーザの頭部位置が変化することによるＡＲナビゲーションの効果への影響を回避し、ＡＲナビゲーションの効果を保証し、ユーザの使用体験を保証することができる。

【0083】

このコンピュータ読取可能な記憶媒体は、コンピュータに本開示の実施例が提供したナビゲーション方法を実行させるためのコンピュータコマンドを記憶している、非一時的なコンピュータ読取可能な記憶媒体。

【0084】

このコンピュータ読取可能な記憶媒体は、従来技術と比べて、実景画像及びナビゲーション情報を取得し、実景画像を変換して少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得し、投射画像とナビゲーション情報とを融合してナビゲーション画像を取得し、ナビゲーション画像を車載メガネに送信して、車載メガネがナビゲーション画像を表示する。本技術案では、車載メガネによりＡＲナビゲーションを実現するとともに、ユーザの頭部位置が変化することによるＡＲナビゲーションの効果への影響を回避し、ＡＲナビゲーションの効果を保証し、ユーザの使用体験を保証することができる。

【0085】

このコンピュータプログラムは、プロセッサにより実行された場合に、本開示の実施例が提供したナビゲーション方法を実現する。

【0086】

このコンピュータプログラムは、従来技術と比べて、実景画像及びナビゲーション情報を取得し、実景画像を変換して少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得し、投射画像とナビゲーション情報とを融合してナビゲーション画像を取得し、ナビゲーション画像を車載メガネに送信して、車載メガネがナビゲーション画像を表示する。本技術案では、車載メガネによりＡＲナビゲーションを実現するとともに、ユーザの頭部位置が変化することによるＡＲナビゲーションの効果への影響を回避し、ＡＲナビゲーションの効果を保証し、ユーザの使用体験を保証することができる。

【0087】

図６は、本開示の実施例を実施することが可能な例示的電子機器２０００の模式的ブロック図を示している。電子機器は、様々な形式のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータである。電子機器は、さらに様々な形式の移動装置を示してもよく、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器及び他の類似の演算装置である。本明細書に示された部材、それらの接続及び関係、並びにそれらの機能は、例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定しない。

【0088】

図６に示すように、機器２０００は、計算手段２０１０を含み、計算手段２０１０は、リードオンリーメモリ（ＲＯＭ）２０２０に記憶されたコンピュータプログラム又は記憶手段２０８０からランダムアクセスメモリ（ＲＡＭ）２０３０にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。ＲＡＭ２０３０には、さらに機器２０００の操作に必要な様々なプログラム及びデータを記憶してもよい。計算手段２０１０、ＲＯＭ２０２０、及びＲＡＭ２０３０は、バス２０４０を介して相互に接続される。入出力（Ｉ／Ｏ）インターフェース２０５０も、バス２０４０に接続される。

【0089】

機器２０００における複数の部品は、Ｉ／Ｏインターフェース２０５０に接続され、例えばキーボード、マウス等の入力手段２０６０と、例えば様々な種類のディスプレイ、スピーカ等の出力手段２０７０と、例えば磁気ディスク、光ディスク等の記憶手段２０８０と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信手段２０９０とを含む。通信手段２０９０は、機器２０００がインターネット等のコンピュータネットワーク及び／又は各種の電気ネットワークを介して他の機器と情報・データをやり取りすることを可能にする。

【0090】

計算手段２０１０は、処理及び演算能力を有する各種の汎用及び／又は専用の処理モジュールであってもよい。計算手段２０１０の幾つかの例として、中央処理ユニット（ＣＰＵ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、各種専用の人工知能（ＡＩ）演算チップ、各種機械学習モデルアルゴリズムをランニングする演算ユニット、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。計算手段２０１０は、本開示の実施例で提供したナビゲーション方法を実行する。例えば、幾つかの実施例において、本開示の実施例で提供したナビゲーション方法は、例えば記憶手段２０８０のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ２０２０及び／又は通信手段２０９０を介して機器２０００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ２０３０にロードされて計算手段２０１０により実行された場合、本開示の実施例で提供したナビゲーション方法の１つ又は複数のステップを実行してもよい。代替的に、他の実施例において、計算手段２０１０は、他の任意の適切な方式（例えば、ファームウェアを介する）により本開示の実施例で提供したナビゲーション方法を実行するように構成されてもよい。

【0091】

本明細書で以上に説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラムマブルロジックデバイス （ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び／又は解釈されることが可能であり、該プログラムマブルプロセッサは、専用又は汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができることを含んでもよい。

【0092】

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び／又はブロック図に規定された機能・操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。

【0093】

本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ-ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。

【0094】

ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形式（音声入力、語音入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。

【0095】

ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。

【0096】

コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであってもよく、分散型システムのサーバであってもよく、又はブロックチェーンを組合せたサーバであってもよい。

【0097】

理解されるべきこととして、以上に示された様々な形式のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本開示に記載の各操作は、並列に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示に開示された技術案が所望する結果を実現することができれば、本明細書はここで限定されない。

【0098】

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

【0099】

以上説明したナビゲーション方法、ナビゲーション装置、電子機器、非一時的なコンピュータ読取可能な記憶媒体及びコンピュータプログラムは、以下のように表現することができる。

【0100】

第１態様のナビゲーション方法は、
実景画像とナビゲーション情報とを取得することと、
前記実景画像を変換して、少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得することと、
前記投射画像と前記ナビゲーション情報とを融合して、ナビゲーション画像を取得することと、
前記車載メガネが前記ナビゲーション画像を表示するように、前記ナビゲーション画像を前記車載メガネに送信することと、を含む。

【0101】

第２態様のナビゲーション方法は、
第１態様のナビゲーション方法において、
前記実景画像が車載機器の第１の画像収集機器によって収集された第１の実景画像であれば、前記実景画像を変換して投射画像を取得することは、
前記車載メガネの第２の画像収集機器によって収集された第２の実景画像と前記車載メガネのウィンドウとの第１の位置関係を取得することと、
前記第１の実景画像と前記第２の実景画像との第２の位置関係を特定することと、
前記第１の位置関係及び前記第２の位置関係に基づいて前記第１の実景画像を変換して 投射画像を取得することと、を含む。

【0102】

第３態様のナビゲーション方法は、
第２態様のナビゲーション方法において、
前記車載メガネの第２の画像収集機器によって収集された第２の実景画像と前記車載メガネのウィンドウとの第１の位置関係を取得することは、
前記車載メガネにおける前記第２の画像収集機器の位置と前記ウィンドウの位置とに基づいて、第１の位置関係を特定することを含む。

【0103】

第４態様のナビゲーション方法は、
第２態様または第３態様のナビゲーション方法において、
前記第１の実景画像と前記第２の実景画像との第２の位置関係を特定することは、
前記第１の実景画像と前記第２の実景画像とに対して特徴点追跡を行い、特徴点追跡の第１の結果に基づいて前記第１の実景画像と前記第２の実景画像との第２の位置関係を特定することと、
前記車載メガネが指定位置にある時に収集された第３の実景画像と前記第１の実景画像とに対して特徴点追跡を行って、特徴点追跡の第２の結果に基づいて前記第１の実景画像と前記第３の実景画像との第３の位置関係を特定し、前記車載メガネが位置する現在位置と前記指定位置とに基づき、且つ前記第３の位置関係に基づいて、前記第１の実景画像と前記第２の実景画像との第２の位置関係を特定することと、のいずれか一方を含む。

【0104】

第５態様のナビゲーション方法は、
第４態様のナビゲーション方法において、
前記車載メガネが位置する現在位置は、前記車載メガネの測位システムによって取得される。

【0105】

第６態様のナビゲーション方法は、
第１態様から第５態様のいずれか１つのナビゲーション方法において、
前記実景画像が前記車載メガネの第２の画像収集機器によって収集された第２の実景画像であれば、前記実景画像を変換して投射画像を取得することは、
前記車載メガネの第２の画像収集機器によって収集された第２の実景画像と前記車載メガネのウィンドウとの第１の位置関係を取得することと、
前記第１の位置関係に基づいて前記第１の実景画像を変換して投射画像を取得することと、を含む。

【0106】

第７態様のナビゲーション方法は、
第４態様のナビゲーション方法において、
前記ナビゲーション画像を前記車載メガネに送信することは、
無線通信で前記ナビゲーション画像を前記車載メガネに送信することを含む。

【0107】

第８態様のナビゲーション方法は、
車載機器によって送信されたナビゲーション画像を受信することであって、前記ナビゲーション画像は、投射画像とナビゲーション情報とが融合されたものであり、前記投射画像は、実景画像から変換されたものであり、前記投射画像と少なくとも１つの車載メガネのウィンドウとがマッチングすることと、
前記ナビゲーション画像を表示することと、を含む。

【0108】

第９態様のナビゲーション装置は、
実景画像とナビゲーション情報とを取得するためのデータ取得モジュールと、
前記実景画像を変換して、少なくとも１つの車載メガネのウィンドウにマッチングする投射画像を取得するための画像変換モジュールと、
前記投射画像と前記ナビゲーション情報とを融合して、ナビゲーション画像を取得するための画像融合モジュールと、
前記車載メガネが前記ナビゲーション画像を表示するように、前記ナビゲーション画像を前記車載メガネに送信するためのナビゲーション画像送信モジュールと、を含む。

【0109】

第１０態様のナビゲーション装置は、
車載機器によって送信されたナビゲーション画像を受信するためのものであって、前記ナビゲーション画像は、投射画像とナビゲーション情報とが融合されたものであり、前記投射画像は、実景画像から変換されたものであり、前記投射画像と少なくとも１つの車載メガネのウィンドウとがマッチングするナビゲーション画像受信モジュールと、
前記ナビゲーション画像を表示するためのナビゲーションモジュールと、を含む。

【0110】

第１１態様の電子機器は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続するメモリとを有する電子機器であって、
前記メモリには、前記少なくとも１つのプロセッサによって実行され得るコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが第１態様から第８態様のいずれか１つの方法を実行することができる。

【0111】

第１２態様の非一時的なコンピュータ読取可能な記憶媒体は、
コンピュータに第１態様から第８態様のいずれか１つの方法を実行させるためのコンピュータコマンドを記憶している。

【0112】

第１３態様のコンピュータプログラムは、
プロセッサにより実行された場合に、第１態様から第８態様のいずれか１つの方法を実現する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】