特開 2022-77498 観光案内方法、装置、電子機器および記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022077498

(43)【公開日】2022-05-23

(54)【発明の名称】観光案内方法、装置、電子機器および記憶媒体

(51)【国際特許分類】

   G06Q 50/14 20120101AFI20220516BHJP

   G06T 15/20 20110101ALI20220516BHJP

   G06T 19/00 20110101ALI20220516BHJP

【ＦＩ】

G06Q50/14

G06T15/20 500

G06T19/00 A

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2021168950

(22)【出願日】2021-10-14

(31)【優先権主張番号】202011254365.9

(32)【優先日】2020-11-11

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】董 玉▲華▼

(72)【発明者】

【氏名】秦 子文

(72)【発明者】

【氏名】李 照虎

(72)【発明者】

【氏名】▲劉▼ ▲趙▼梁

(72)【発明者】

【氏名】王 志昊

(72)【発明者】

【氏名】王 ▲はお▼星

【テーマコード（参考）】

5B050

5B080

5L049

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050CA01

5B050DA07

5B050EA19

5B050FA02

5B080AA17

5B080BA00

5B080CA00

5B080FA00

5B080GA00

5L049CC26

(57)【要約】

【課題】本発明は、観光案内方法、装置、電子機器および記憶媒体を開示し、拡張現実および画像等の人工知能の技術分野に関する。
【解決手段】具体的な形態として、アプリケーション側機器から送信されたビデオストリームであって、ユーザが対象スポットの現在位置領域内で収集したビデオストリームを受信し、収集されたビデオストリームおよび予め記憶された対象スポットの３次元ポイントクラウドデータに基づき、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定し、拡張現実に基づくコンテンツリソースパケットには、少なくともアプリケーション側機器の６自由度姿勢データが含まれ、アプリケーション側機器が現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットをユーザに提供するように、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットをアプリケーション側機器に送信する。
【選択図】図１

【特許請求の範囲】

【請求項1】

アプリケーション側機器から送信されたビデオストリームであって、ユーザが対象スポットの現在位置領域内で収集したビデオストリームを受信することと、
前記収集したビデオストリームおよび予め記憶された前記対象スポットの３次元ポイントクラウドデータに基づき、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定し、前記拡張現実に基づくコンテンツリソースパケットには、少なくとも前記アプリケーション側機器の６自由度姿勢データが含まれていることと、
前記アプリケーション側機器が前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記ユーザに提供するように、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記アプリケーション側機器に送信することと、を含む、
観光案内方法。

【請求項2】

前記収集したビデオストリームおよび予め記憶された前記対象スポットの３次元ポイントクラウドデータに基づき、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定する前に、
前記収集したビデオストリームを分類し、前記収集したビデオストリームに対応する視覚マップデータカテゴリを取得することと、
前記収集したビデオストリームに対応する視覚マップデータカテゴリに基づき、予め構築された視覚マップデータベースから前記対象スポットの３次元ポイントクラウドデータを抽出することと、を更に含む、
請求項１に記載の方法。

【請求項3】

前記収集したビデオストリームおよび予め記憶された前記対象スポットの３次元ポイントクラウドデータに基づき、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定することは、
前記収集したビデオストリームおよび前記対象スポットの３次元ポイントクラウドデータに基づき、軽量な３次元視覚マップ生成モデルによって、前記現在位置領域の３次元ポイントクラウドデータを確定することと、
前記現在位置領域の３次元ポイントクラウドデータに応じ、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを取得することと、を含む、
請求項１に記載の方法。

【請求項4】

アプリケーション側機器から送信されたビデオストリームであって、ユーザが対象スポットの現在位置領域内で収集したビデオストリームを受信する前に、
生産側機器から送信された前記対象スポットについて録画したビデオを受信することと、
前記対象スポットについて録画したビデオに基づいて前記対象スポットの３次元ポイントクラウドデータを生成し、前記対象スポットの３次元ポイントクラウドデータを前記視覚マップデータベースに記憶することと、を更に含む、
請求項２に記載の方法。

【請求項5】

生産側機器から送信された前記対象スポットについて録画したビデオを受信することは、
前記対象スポットが単一の壁である場合、前記生産側機器から送信された前記対象スポットについて単一の壁に対応するデータ収集方法で録画したビデオを受信することと、
前記対象スポットが単一の建物である場合、前記生産側機器から送信された前記対象スポットについて単一の建物に対応するデータ収集方法で録画したビデオを受信することと、
前記対象スポットが庭園型の建物である場合、前記生産側機器から送信された前記対象スポットについて庭園型の建物に対応するデータ収集方法で録画したビデオを受信することと、を含む、
請求項４に記載の方法。

【請求項6】

前記対象スポットについて録画したビデオに基づいて前記対象スポットの３次元ポイントクラウドデータを生成する前に、
前記対象スポットについて録画したビデオに基づいて実行可能性の分析を行い、前記対象スポットについて録画したビデオの実行可能性の分析結果を取得することと、
前記対象スポットについて録画したビデオの実行可能性の分析結果が実行可能である場合、前記対象スポットについて録画したビデオに基づいて前記対象スポットの３次元ポイントクラウドデータを生成する動作を実行することと、を更に含む、
請求項４に記載の方法。

【請求項7】

ユーザが対象スポットの現在位置領域内で収集したビデオストリームを取得することと、
前記サービス側機器が前記収集したビデオストリームおよび予め記憶された前記対象スポットの３次元ポイントクラウドデータに基づいて前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定するように、前記収集したビデオストリームをサービス側機器に送信し、前記拡張現実に基づくコンテンツリソースパケットには、少なくとも前記アプリケーション側機器の６自由度姿勢データが含まれていることと、
前記サービス側機器から送信された前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを受信し、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記ユーザに提供することと、を含む、
観光案内方法。

【請求項8】

前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記ユーザに提供することは、
全地球測位システムＧＰＳの位置サービスＬＢＳに基づき、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記ユーザに提供すること、または、
文字を音声に変換するＴＴＳの音声アナウンスサービスに基づき、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記ユーザに提供することを含む、
請求項７に記載の方法。

【請求項9】

第１受信モジュールと、確定モジュールと、第１送信モジュールとを備え、
前記第１受信モジュールは、アプリケーション側機器から送信されたビデオストリームであって、ユーザが対象スポットの現在位置領域内で収集したビデオストリームを受信することに用いられ、
前記確定モジュールは、前記収集したビデオストリームおよび予め記憶された前記対象スポットの３次元ポイントクラウドデータに基づき、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定することに用いられ、前記拡張現実に基づくコンテンツリソースパケットには、少なくとも前記アプリケーション側機器の６自由度姿勢データが含まれ、
前記第１送信モジュールは、前記アプリケーション側機器が前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記ユーザに提供するように、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記アプリケーション側機器に送信することに用いられる、
観光案内装置。

【請求項10】

前記収集したビデオストリームを分類し、前記収集したビデオストリームに対応する視覚マップデータカテゴリを取得し、前記収集したビデオストリームに対応する視覚マップデータカテゴリに基づき、予め構築された視覚マップデータベースから前記対象スポットの３次元ポイントクラウドデータを抽出するための抽出モジュールを更に備える、
請求項９に記載の装置。

【請求項11】

確定サブモジュールと、取得サブモジュールとを備え、
前記確定サブモジュールは、前記収集したビデオストリームおよび前記対象スポットの３次元ポイントクラウドデータに基づき、軽量な３次元視覚マップ生成モデルによって、前記現在位置領域の３次元ポイントクラウドデータを確定することに用いられ、
前記取得サブモジュールは、前記現在位置領域の３次元ポイントクラウドデータに応じ、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを取得することに用いられる、
請求項９に記載の装置。

【請求項12】

生産側機器から送信された前記対象スポットについて録画したビデオを受信し、前記対象スポットについて録画したビデオに基づいて前記対象スポットの３次元ポイントクラウドデータを生成し、前記対象スポットの３次元ポイントクラウドデータを前記視覚マップデータベースに記憶するための記憶モジュールを更に備える、
請求項１０に記載の装置。

【請求項13】

前記記憶モジュールは、具体的に、
前記対象スポットが単一の壁である場合、前記生産側機器から送信された前記対象スポットについて単一の壁に対応するデータ収集方法で録画したビデオを受信することと、
前記対象スポットが単一の建物である場合、前記生産側機器から送信された前記対象スポットについて単一の建物に対応するデータ収集方法で録画したビデオを受信することと、
前記対象スポットが庭園型の建物である場合、前記生産側機器から送信された前記対象スポットについて庭園型の建物に対応するデータ収集方法で録画したビデオを受信することとに用いられる、
請求項１２に記載の装置。

【請求項14】

前記記憶モジュールは、更に、
前記対象スポットについて録画したビデオに基づいて実行可能性の分析を行い、前記対象スポットについて録画したビデオの実行可能性の分析結果を取得することと、
前記対象スポットについて録画したビデオの実行可能性の分析結果が実行可能である場合、前記対象スポットについて録画したビデオに基づいて前記対象スポットの３次元ポイントクラウドデータを生成する動作を実行することとに用いられる、
請求項１２に記載の装置。

【請求項15】

取得モジュールと、第２送信モジュールと、第２受信モジュールとを備え、
前記取得モジュールは、ユーザが対象スポットの現在位置領域内で収集したビデオストリームを取得することに用いられ、
前記第２送信モジュールは、前記サービス側機器が前記収集したビデオストリームおよび予め記憶された前記対象スポットの３次元ポイントクラウドデータに基づいて前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定するように、前記収集したビデオストリームをサービス側機器に送信することに用いられ、前記拡張現実に基づくコンテンツリソースパケットには、少なくとも前記アプリケーション側機器の６自由度姿勢データが含まれ、
前記第２受信モジュールは、前記サービス側機器から送信された前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを受信し、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記ユーザに提供することに用いられる、
観光案内装置。

【請求項16】

前記第２受信モジュールは、具体的に、
全地球測位システムＧＰＳの位置サービスＬＢＳに基づき、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記ユーザに提供すること、または、
文字を音声に変換するＴＴＳの音声アナウンスサービスに基づき、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記ユーザに提供することに用いられる、
請求項１５に記載の装置。

【請求項17】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されたメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、
前記命令は、前記少なくとも１つのプロセッサが請求項１～６または７～８のいずれか１項に記載の方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行されることを特徴とする、
電子機器。

【請求項18】

コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、請求項１～６または７～８のいずれか１項に記載の方法をコンピュータに実行させることに用いられることを特徴とする、
非一時的なコンピュータ可読記憶媒体。

【請求項19】

コンピュータプログラムが含まれ、
前記コンピュータプログラムがプロセッサに実行されると、請求項１～６または７～８のいずれか１項に記載の方法を実現する、
コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人工知能の技術分野に関し、更に、拡張現実および画像技術に関し、特に、観光案内方法、装置、電子機器および記憶媒体に関する。

【背景技術】

【0002】

観光業の高速な発展に伴い、ますます多くの人は、個人旅行の方式で旅に出ることを選択し、人文、建築、歴史等を主題とするスポットは、旅行の知識および楽しみを増加するために、特に観光案内の連れ合いに依存する。また、あるスポットも観光客に有料の音声解説装置を提供し、観光客は、指定された観光ルートに従ってボタンをクリックして特定のスポットに対する解説を聞いたり、ブルートゥース（登録商標）およびテザリングＷｉ－Ｆｉに基づいて音声解説を行ったりすることができる。

【0003】

音声観光案内は、全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、ＧＰＳと略称される）／Ｗｉ－Ｆｉ／ブルートゥース（登録商標）測位に基づく音声解説製品であり、事前に録画されたスポット毎に分けられた音声素材を繰り返し再生することによりサービスを実現し、音声解説しか提供できず、ガイドさんのように、リアルなシナリオ下で指定の位置や細かいところに対して解説することができず、使用上で一定の制限があり、更に使用中に、現在再生している音声コンテンツが目に入っているコンテンツと合致しないという問題が生じやすい。また、画像検索の認識に基づいたトリガによるサービスは、音声解説に類似し、トリガしたコンテンツは写真・文字形式のスポット説明である可能性もあり、実景と合わせて見ながら聞くことができない。また、２Ｄ画像認識および追跡タイプに基づくＡＲ情報拡張の適用シナリオには制限性があり、包装、印刷等のシナリオに適用され、スポット、建築物等の大型のシナリオに適用されず、複数の角度から認識してトリガすることができず、方位感知により知能的にトリガして連続的な体験を向上させることができない。更に、大型スポットおよび複雑なスポットで、多くの小さな置物および小物が観光客の目の前に置かれ、この時、観光客はこれらの小さな置物および小物に注目しやすく、音声解説のコンテンツにかまう暇がなく、観光客の視線と音声解説のコンテンツとが完璧にリアルタイムに合致することができない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、観光案内方法、装置、電子機器および記憶媒体を提供し、複数の方位および複数の角度からサービスをトリガし、観光客の視線と解説のコンテンツとのリアルタイムな合致を確保することができ、ユーザの観光体験を向上させることができる。

【課題を解決するための手段】

【0005】

態様１では、本発明は、
アプリケーション側機器から送信されたビデオストリームであって、ユーザが対象スポットの現在位置領域内で収集したビデオストリームを受信することと、
前記収集したビデオストリームおよび予め記憶された前記対象スポットの３次元ポイントクラウドデータに基づき、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定し、前記拡張現実に基づくコンテンツリソースパケットには、少なくとも前記アプリケーション側機器の６自由度姿勢データが含まれていることと、
前記アプリケーション側機器が前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記ユーザに提供するように、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記アプリケーション側機器に送信することと、を含む、
観光案内方法を提供する。

【0006】

態様２では、本発明は、
ユーザが対象スポットの現在位置領域内で収集したビデオストリームを取得することと、
前記サービス側機器が前記収集したビデオストリームおよび予め記憶された前記対象スポットの３次元ポイントクラウドデータに基づいて前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定するように、前記収集したビデオストリームをサービス側機器に送信し、前記拡張現実に基づくコンテンツリソースパケットには、少なくとも前記アプリケーション側機器の６自由度姿勢データが含まれていることと、
前記アプリケーション側機器から送信された前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを受信し、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記ユーザに提供することと、を含む、
観光案内方法を提供する。

【0007】

態様３では、本発明は、
第１受信モジュールと、確定モジュールと、第１送信モジュールとを備え、
前記第１受信モジュールは、アプリケーション側機器から送信されたビデオストリームであって、ユーザが対象スポットの現在位置領域内で収集したビデオストリームを受信することに用いられ、
前記確定モジュールは、前記収集したビデオストリームおよび予め記憶された前記対象スポットの３次元ポイントクラウドデータに基づき、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定することに用いられ、前記拡張現実に基づくコンテンツリソースパケットには、少なくとも前記アプリケーション側機器の６自由度姿勢データが含まれ、
前記第１送信モジュールは、前記アプリケーション側機器が前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記ユーザに提供するように、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記アプリケーション側機器に送信することに用いられる、
観光案内装置を提供する。

【0008】

態様４では、本発明は、
取得モジュールと、第２送信モジュールと、第２受信モジュールとを備え、
前記取得モジュールは、ユーザが対象スポットの現在位置領域内で収集したビデオストリームを取得することに用いられ、
前記第２送信モジュールは、前記サービス側機器が前記収集したビデオストリームおよび予め記憶された前記対象スポットの３次元ポイントクラウドデータに基づいて前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定するように、前記収集したビデオストリームをサービス側機器に送信することに用いられ、前記拡張現実に基づくコンテンツリソースパケットには、少なくとも前記アプリケーション側機器の６自由度姿勢データが含まれ、
前記第２受信モジュールは、前記サービス側機器から送信された前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを受信し、前記現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを前記ユーザに提供することに用いられる、
観光案内装置を提供する。

【0009】

態様５では、本発明の実施例は、
１つのまたは複数のプロセッサと、
１つのまたは複数のプログラムを記憶するためのメモリと、を備え、
前記１つのまたは複数のプログラムが前記１つのまたは複数のプロセッサにより実行されると、前記１つのまたは複数のプロセッサは、本発明のいずれかの実施例に係る拡張現実に基づく観光案内方法を実現する、
電子機器を提供する。

【0010】

態様６では、本発明の実施例は、
プロセッサにより実行されると、本発明のいずれかの実施例に係る拡張現実に基づく観光案内方法を実現するコンピュータプログラムが記憶されている、
記憶媒体を提供する。

【発明の効果】

【0011】

本発明の技術により、従来のナビゲーション方法における複数の角度から認識してトリガすることができず、観光客の視線と音声解説のコンテンツとがリアルタイムに合致することができないという技術的問題を解決し、本発明に係る技術案は、複数の方位および複数の角度からサービスをトリガし、観光客の視線と解説のコンテンツとのリアルタイムな合致を確保することができ、ユーザの観光体験を向上させることができる。

【0012】

本発明に記載されたコンテンツは、本発明の実施例のキーとなるまたは重要な特徴を標識するためのものではなく、本発明の範囲を限定するものでもないことが理解されるべきである。本発明の他の特徴は、以下の明細書により容易に理解することができる。

【図面の簡単な説明】

【0013】

図面は、本形態をより良く理解するためのものであり、本発明を限定するものではない。

【0014】

【図1】本発明の実施例に係る観光案内方法のフローチャート１である。

【図2】本発明の実施例に係る観光案内方法のフローチャート２である。

【図3】本発明の実施例に係る単一の壁に対応するデータ収集方法を採用した録画の模式図である。

【図4】本発明の実施例に係る単一の建物に対応するデータ収集方法を採用した録画の模式図である。

【図5】本発明の実施例に係る庭園型の建物に対応するデータ収集方法を採用した録画の模式図である。

【図6】本発明の実施例に係る観光案内方法のフローチャート３である。

【図7】本発明の実施例に係る観光案内装置の構造模式図１である。

【図8】本発明の実施例に係る確定モジュールの構造模式図である。

【図9】本発明の実施例に係る観光案内装置の構造模式図２である。

【図10】本発明の実施例の観光案内方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0015】

以下、図面を参照しながら本発明の例示的な実施例について説明し、ここで、理解を容易にするために、本発明の実施例の様々な詳細を含み、それらが例示的なものに過ぎないと見なされるべきである。従い、当業者は、本発明の範囲および精神から逸脱することなく、ここで記載される実施例に対して様々な変更および修正を行うことができることを認識すべきである。それと同様に、明瞭かつ簡単にするために、以下の記述において公知の機能および構造についての説明を省略する。

【実施例0016】

図１は、本発明の実施例に係る観光案内方法のフローチャート１であり、該方法は、観光案内装置またはサービス側機器により実行でき、該装置またはサービス側機器は、ソフトウェアおよび／またはハードウェアの方式で実現でき、該装置またはサービス側機器は、任意のネットワーク通信機能を持つスマートデバイスに集積できる。図１に示すように、観光案内方法は、以下のステップを含んでもよい。

【0017】

Ｓ１０１において、アプリケーション側機器から送信されたビデオストリームであって、ユーザが対象スポットの現在位置領域内で収集したビデオストリームを受信する。

【0018】

本ステップにおいて、サービス側機器は、アプリケーション側機器から送信されたビデオストリームであって、ユーザが対象スポットの現在位置領域内で収集したビデオストリームを受信する。具体的には、ユーザは、対象スポットの現在位置領域内でカメラをオンにし、ビデオストリームをローカルでリアルタイムに収集し、連続的な視覚測位検索を行うことができる。例えば、ユーザは、泰山を観光する時、ユーザが東門から入って西へ１００ｍ歩いたと仮定すると、ユーザは、モバイル端末を用いて歩きながらビデオストリームを収集し、収集したビデオストリームをサービス側機器にリアルタイムに送信してもよく、この時、サービス側機器は、アプリケーション側機器から送信されたビデオストリームであって、ユーザが対象スポットの現在位置領域内で収集したビデオストリームを受信することができる。

【0019】

Ｓ１０２において、収集されたビデオストリームおよび予め記憶された対象スポットの３次元ポイントクラウドデータに基づき、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定し、拡張現実に基づくコンテンツリソースパケットには、少なくともアプリケーション側機器の６自由度姿勢データが含まれている。

【0020】

本ステップにおいて、サービス側機器は、収集されたビデオストリームおよび予め記憶された対象スポットの３次元ポイントクラウドデータに基づき、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定することができ、ここで、拡張現実に基づくコンテンツリソースパケットには、少なくともアプリケーション側機器の６自由度姿勢データが含まれている。具体的には、サービス側機器は、まず、収集されたビデオストリームおよび対象スポットの３次元ポイントクラウドデータに基づき、軽量な３次元視覚マップ生成モデルによって、現在位置領域の３次元ポイントクラウドデータを確定し、その後、現在位置領域の３次元ポイントクラウドデータに応じ、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを取得してもよい。具体的には、サービス側機器は、まず、ユーザにより収集されたビデオストリームから該ビデオストリームの局所的な特徴を抽出し、その後、該ビデオストリームの局所的な特徴を対象スポットの３次元ポイントクラウドデータの複数の特徴と合致してもよく、該ビデオストリームの局所的な特徴と対象スポットの３次元ポイントクラウドデータの少なくとも１つの特徴との合致が成功すれば、サービス側機器は、合致が成功した特徴に基づいて現在位置領域の３次元ポイントクラウドデータを確定することができる。本発明の実施例において、拡張現実に基づくコンテンツリソースパケットには、少なくともアプリケーション側機器の６自由度姿勢データが含まれ、このように、ＡＲコンテンツを実際のシナリオにより合わせ、臨場感をより高めることができる。

【0021】

Ｓ１０３において、アプリケーション側機器が現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットをユーザに提供するように、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットをアプリケーション側機器に送信する。

【0022】

本発明の具体的な実施例において、サービス側機器は、アプリケーション側機器が現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットをユーザに提供するように、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットをアプリケーション側機器に送信してもよい。具体的には、アプリケーション側機器は、全地球測位システムＧＰＳの位置サービスＬＢＳに基づき、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットをユーザに提供してもよいし、アプリケーション側機器は、文字を音声に変換するＴＴＳの音声アナウンスサービスに基づき、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットをユーザに提供してもよい。

【0023】

具体的には、サービス側機器は、ＧＰＳに基づくＬＢＳマップ測位サービスを使用する際、百度の既存のマップ測位サービスと合わせて屋外ＧＰＳ初期測位を行い、興味ポイント（ＰＯＩ：Ｐｏｉｎｔ Ｏｆ Ｉｎｔｅｒｅｓｔ）のカバー範囲が広くマップのデータ量が大きい場合、検索範囲を縮小することにより視覚検索サービスの効率を向上させることができる。代替案として、ユーザは自分でスポットを選択して指定してから体験するか、またはデータ量が小さくて使用しない。また、サービス側機器は、ＴＴＳの音声アナウンスサービスを使用する際、百度の既存のＴＴＳテキストから音声への変換サービスと合わせ、スポットのＡＲインタラクションコンテンツの作成および表示する時、インタラクション型の音声コンテンツ放送サービスを提供してもよい。代替案として、録音されたＭＰ３音声でコンテンツ放送を行う。

【0024】

本発明の実施例に係る観光案内方法において、サービス側機器は、まず、アプリケーション側機器から送信されたビデオストリームであって、ユーザが対象スポットの現在位置領域内で収集したビデオストリームを受信し、その後、サービス側機器は、収集されたビデオストリームおよび予め記憶された対象スポットの３次元ポイントクラウドデータに基づき、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定し、サービス側機器は、更に、アプリケーション側機器が現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットをユーザに提供するように、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットをアプリケーション側機器に送信する。つまり、本発明に係る形態を採用すると、観光客がどの位置にいても、どのような姿勢でビデオストリームを収集しても、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを取得することができる。拡張現実に基づくコンテンツリソースパケットは、ユーザのためにリアルタイムに観光案内することができる。従来の観光案内方法において、複数の角度から認識してトリガすることができず、観光客の視線と音声解説のコンテンツとがリアルタイムに合致することができない。本発明は、収集されたビデオストリームおよび予め記憶された対象スポットの３次元ポイントクラウドデータに基づいて現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定する技術手段を採用するため、従来のナビゲーション方法における複数の角度から認識してトリガすることができず、観光客の視線と音声解説のコンテンツとがリアルタイムに合致することができないという技術的問題を克服し、本発明に係る技術案は、複数の方位および複数の角度からサービスをトリガし、観光客の視線と解説のコンテンツとのリアルタイムな合致を確保することができ、ユーザの観光体験を向上させることができ、且つ、本発明の実施例の技術案は、簡単に実現でき、普及しやすく、適用範囲がより広い。

【実施例0025】

図２は、本発明の実施例に係る観光案内方法のフローチャート２である。図２に示すように、観光案内方法は、以下のステップを含んでもよい。

【0026】

Ｓ２０１において、アプリケーション側機器から送信されたビデオストリームであって、ユーザが対象スポットの現在位置領域内で収集したビデオストリームを受信する。

【0027】

Ｓ２０２において、収集したビデオストリームおよび対象スポットの３次元ポイントクラウドデータに基づき、軽量な３次元視覚マップ生成モデルによって、現在位置領域の３次元ポイントクラウドデータを確定する。

【0028】

本ステップにおいて、サービス側機器は、収集されたビデオストリームおよび対象スポットの３次元ポイントクラウドデータに基づき、軽量な３次元視覚マップ生成モデルによって、現在位置領域の３次元ポイントクラウドデータを確定してもよい。具体的には、サービス側機器は、まず、ユーザにより収集されたビデオストリームから該ビデオストリームの局所的な特徴を抽出し、その後、該ビデオストリームの局所的な特徴を対象スポットの３次元ポイントクラウドデータの複数の特徴と合致してもよく、該ビデオストリームの局所的な特徴と対象スポットの３次元ポイントクラウドデータの少なくとも１つの特徴との合致が成功すれば、サービス側機器は、合致が成功した特徴に基づいて現在位置領域の３次元ポイントクラウドデータを確定することができる。

【0029】

Ｓ２０３において、現在位置領域の３次元ポイントクラウドデータに基づき、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを取得し、ここで、拡張現実に基づくコンテンツリソースパケットには、少なくともアプリケーション側機器の６自由度姿勢データが含まれている。

【0030】

本ステップにおいて、サービス側機器は、現在位置領域の３次元ポイントクラウドデータに基づき、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを取得してもよく、ここで、拡張現実に基づくコンテンツリソースパケットには、少なくともアプリケーション側機器の６自由度姿勢データを含む。具体的には、サービス側機器は、予め構築された視覚マップデータベースから現在位置領域の３次元ポイントクラウドデータを検索し、視覚マップデータベースから現在位置領域の３次元ポイントクラウドデータを検索した場合、予め構築された視覚マップデータベースから現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを取得してもよい。

【0031】

Ｓ２０４において、アプリケーション側機器が現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットをユーザに提供するように、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットをアプリケーション側機器に送信する。

【0032】

本発明の具体的な実施例において、収集されたビデオストリームおよび予め記憶された対象スポットの３次元ポイントクラウドデータに基づき、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定する前に、サービス側機器は、更に、収集されたビデオストリームを分類し、収集されたビデオストリームに対応する視覚マップデータカテゴリを取得し、その後、収集されたビデオストリームに対応する視覚マップデータカテゴリに基づき、予め構築された視覚マップデータベースから対象スポットの３次元ポイントクラウドデータを抽出してもよい。

【0033】

本発明の具体的な実施例において、サービス側機器は、更に、生産側機器から送信された対象スポットについて録画したビデオを受信し、その後、対象スポットについて録画したビデオに基づいて対象スポットの３次元ポイントクラウドデータを生成し、対象スポットの３次元ポイントクラウドデータを視覚マップデータベースに記憶してもよい。生産側に取り付けられた収集ツールＡｐｐにより、収集する必要のあるスポットの全方位の完全なビデオリソースを録画し、スポットレベル（例えば、大型建築物、四合院等）の視覚情報の録画収集の方法指導を提供する。この方法は、ユーザのスポットにおける最適な体験領域を定義し、体験領域内で体験者の異なる方位における視野角を模倣して移動してデータを動的に収集することにより、最終的に３次元再構成するおよびリアルタイムな応用で画像照合計算する時、実際の応用時に体験者の所在位置および見ている視野角を推定することができる。好ましくは、対象スポットが単一の壁である場合、サービス側機器は、生産側機器から送信された対象スポットについて単一の壁に対応するデータ収集方法で録画したビデオを受信することができ、対象スポットが単一の建物である場合、サービス側機器は、生産側機器から送信された対象スポットについて単一の建物に対応するデータ収集方法で録画したビデオを受信することができ、対象スポットが庭園型の建物である場合、サービス側機器は、生産側機器から送信された対象スポットについて庭園型の建物に対応するデータ収集方法で録画したビデオを受信することができる。

【0034】

好ましくは、本発明の具体的な実施例において、対象スポットについて録画したビデオに基づいて対象スポットの３次元ポイントクラウドデータを生成する前に、サービス側機器は、対象スポットについて録画したビデオに基づいて実行可能性の分析を行い、対象スポットについて録画したビデオの実行可能性の分析結果を取得してもよい。対象スポットについて録画したビデオの実行可能性の分析結果が実行可能である場合、サービス側機器は、対象スポットについて録画したビデオに基づいて対象スポットの３次元ポイントクラウドデータを生成する動作を実行することができ、対象スポットについて録画したビデオの実行可能性の分析結果が実行不可である場合、サービス側機器は、対象スポットについて録画したビデオを破棄することができる。

【0035】

図３は、本発明の実施例に係る単一の壁に対応するデータ収集方法を採用した録画の模式図である。図３に示すように、対象スポットが単一の壁のようなものであるシナリオで、図３における小さな矢印は、カメラの向きを表し、ユーザが収集機器を横方向に移動する必要があり、その場で回転することができない。このようなシナリオで、カメラを壁に向ける必要がある。なお、ビデオを録画する際、収集機器がターゲットに向く必要があり、生産側機器を手に持っているユーザは、「Ｓ」状に移動して遠くから近くまでターゲットに近づいてもよい。

【0036】

図４は、本発明の実施例に係る単一の建物に対応するデータ収集方法を採用した録画の模式図である。図４に示すように、対象スポットが１つの独立した建築物のようなものであるシナリオで、生産側機器がターゲットに向いてからターゲット周りに回転する必要がある。なお、走らないで等速で歩ければよい。このようなシナリオで、カメラを３つの建築物に向ける必要がある。

【0037】

図５は、本発明の実施例に係る庭園型の建物に対応するデータ収集方法を採用した録画の模式図である。図５に示すように、対象スポットが四合院のようなものであるシナリオで、生産者機器のカメラは四合院の真ん中に向き、生産側機器を手に持っているユーザは、その場で回転せず、四合院の周辺に沿って等速で一周する。このようなシナリオで、カメラを走行経路の両側にそれぞれ向ける必要がある。

【0038】

本発明の実施例に係る観光案内方法において、サービス側機器は、まず、アプリケーション側機器から送信されたビデオストリームであって、ユーザが対象スポットの現在位置領域内で収集したビデオストリームを受信し、その後、サービス側機器は、収集されたビデオストリームおよび予め記憶された対象スポットの３次元ポイントクラウドデータに基づき、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定し、サービス側機器は、更に、アプリケーション側機器が現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットをユーザに提供するように、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットをアプリケーション側機器に送信する。つまり、本発明に係る形態を採用すると、観光客がどの位置にいても、どのような姿勢でビデオストリームを収集しても、現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを取得することができ、拡張現実に基づくコンテンツリソースパケットは、ユーザのためにリアルタイムに観光案内することができる。従来の観光案内方法において、複数の角度から認識してトリガすることができず、観光客の視線と音声解説のコンテンツとがリアルタイムに合致することができない。本発明は、収集されたビデオストリームおよび予め記憶された対象スポットの３次元ポイントクラウドデータに基づいて現在位置領域に対応する拡張現実に基づくコンテンツリソースパケットを確定する技術手段を採用するため、従来のナビゲーション方法における複数の角度から認識してトリガすることができず、観光客の視線と音声解説のコンテンツとがリアルタイムに合致することができないという技術的問題を克服し、本発明に係る技術案は、複数の方位および複数の角度からサービスをトリガし、観光客の視線と解説のコンテンツとのリアルタイムな合致を確保することができ、ユーザの観光体験を向上させることができ、且つ、本発明の実施例の技術案は、簡単に実現でき、普及しやすく、適用範囲がより広い。