特許 6736145 拡張現実に基づく画像認識方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6736145

(24)【登録日】2020年7月17日

(45)【発行日】2020年8月5日

(54)【発明の名称】拡張現実に基づく画像認識方法および装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20200728BHJP

   H04N 21/258 20110101ALI20200728BHJP

   G06T 19/00 20110101ALI20200728BHJP

【ＦＩ】

   G06T7/00 300F

   H04N21/258

   G06T19/00 600

【請求項の数】10

【全頁数】20

(21)【出願番号】特願2019-558338(P2019-558338)

(86)(22)【出願日】2018年1月11日

(65)【公表番号】特表2020-507173(P2020-507173A)

(43)【公表日】2020年3月5日

(86)【国際出願番号】US2018013344

(87)【国際公開番号】WO2018132590

(87)【国際公開日】20180719

【審査請求日】2019年9月4日

(31)【優先権主張番号】15/864,572

(32)【優先日】2018年1月8日

(33)【優先権主張国】US

(31)【優先権主張番号】201710018395.1

(32)【優先日】2017年1月11日

(33)【優先権主張国】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】510330264

【氏名又は名称】アリババ・グループ・ホールディング・リミテッド

【氏名又は名称原語表記】ＡＬＩＢＡＢＡ ＧＲＯＵＰ ＨＯＬＤＩＮＧ ＬＩＭＩＴＥＤ

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100205785

【弁理士】

【氏名又は名称】▲高▼橋 史生

(72)【発明者】

【氏名】リンチン・ワン

(72)【発明者】

【氏名】シャオドン・ゼン

(72)【発明者】

【氏名】ホン・ジャン

(72)【発明者】

【氏名】フェン・リン

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１６−９１０７９（ＪＰ，Ａ）

【文献】 特開２０１５−９０５５３（ＪＰ，Ａ）

【文献】 特開２０１５−６２０９０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／００９２０６１（ＵＳ，Ａ１）

【文献】 国際公開第２０１３／１１５２０２（ＷＯ，Ａ１）

【文献】 阿部剛仁, 外５名，“カメラ付き携帯端末での撮影画像を対象とした劣化耐性のある静止画像識別方式”，情報処理学会論文誌 論文誌トランザクション 平成２０年度▲２▼，日本，社団法人情報処理学会，２００９年 ４月１５日，第２巻, 第１号，p.10-21

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ２１／２５８

(57)【特許請求の範囲】

【請求項1】

拡張現実に基づく画像認識のためのサーバ端末により実行される方法であって、
拡張現実クライアント端末によってアップロードされたユーザの情報を収集するステップであって、前記ユーザの情報が前記ユーザの位置および挙動ログを含む、ステップと、
事前設定のピクチャ特徴サンプルのライブラリから前記ユーザの情報に関連したピクチャ特徴サンプルを選出するステップであって、前記ピクチャ特徴サンプルは位置に関連付けられる、ステップと、
前記選出されたピクチャ特徴サンプルに基づき前記ユーザの情報に対応するピクチャ特徴サンプルのサブライブラリを生成するステップであって、前記サブライブラリは、前記拡張現実クライアント端末が、走査された画像情報に対してオフライン環境において画像認識を遂行するためのものであり、該生成するステップが、
前記拡張現実クライアント端末によってアップロードされた前記ユーザの前記位置と、前記ピクチャ特徴サンプルのライブラリにおける前記ピクチャ特徴サンプルに関連した前記位置の間の距離を計算するステップと、
収集された前記ユーザの挙動ログに基づき、前記ユーザの挙動の選好を判定するステップと、
前記ピクチャ特徴サンプルのライブラリから、事前設定の閾値未満の前記距離を有し、かつ前記ユーザの前記挙動の選好を満たすピクチャ特徴サンプルを選出するステップと
を含む、生成するステップと、
前記拡張現実クライアント端末に前記ピクチャ特徴サンプルのサブライブラリを送信するステップとを含む、方法。

【請求項2】

前記方法が、
サードパーティのサーバ端末に記憶されたピクチャサンプル、および前記ピクチャサンプルに関連した位置を収集するステップ、および/または、
オンラインサービスデータからのピクチャサンプル、および前記ピクチャサンプルに関連した位置を収集するステップと、
前記収集されたピクチャサンプルからピクチャ特徴サンプルを抽出するステップと、
前記抽出されたピクチャ特徴サンプルおよび前記ピクチャサンプルに関連した前記位置に基づき前記ピクチャ特徴サンプルのライブラリをローカルで生成するステップとをさらに含む、請求項1に記載の方法。

【請求項3】

オペレータによって前記ピクチャ特徴サンプルのライブラリにおける前記ピクチャ特徴サンプルのために構成されたプレゼンテーションデータおよび前記プレゼンテーションデータのために構成されたプレゼンテーション効果を取得するステップと、
前記取得されたプレゼンテーションデータおよびプレゼンテーション効果を、前記ピクチャ特徴サンプルのライブラリにおける前記ピクチャ特徴サンプルに関連づけて記憶するステップと、
前記オペレータの更新操作に応答して前記プレゼンテーションデータおよび前記プレゼンテーション効果を動的に更新するステップとをさらに含む、請求項2に記載の方法。

【請求項4】

前記拡張現実クライアント端末によってアップロードされた、前記走査された画像情報を受け取るステップと、
前記生成されたピクチャ特徴サンプルのサブライブラリに基づき、前記画像情報に対して画像認識を遂行するステップとをさらに含む、請求項1に記載の方法。

【請求項5】

前記画像情報から、前記ピクチャ特徴サンプルのサブライブラリにおけるいずれかのピクチャ特徴サンプルに対応するオフラインターゲットが認識されたとき、前記ピクチャ特徴サンプルに関連したプレゼンテーションデータおよび前記プレゼンテーションデータに関連したプレゼンテーション効果を前記拡張現実クライアント端末に送信するステップであって、前記拡張現実クライアント端末は、拡張現実シーンにおける前記オフラインターゲットに対応する位置に、前記プレゼンテーションデータを、前記プレゼンテーション効果に基づいて拡張されたやり方で表示する、ステップをさらに含む、請求項1または4に記載の方法。

【請求項6】

拡張現実に基づく画像認識のためのサーバ端末であって、
拡張現実クライアント端末によってアップロードされたユーザの情報を収集するように構成された収集モジュールであって、前記ユーザの情報が前記ユーザの位置および挙動ログを含む、収集モジュールと、
事前設定のピクチャ特徴サンプルのライブラリから前記ユーザの情報に関連したピクチャ特徴サンプルを選出するように構成されたスクリーニングモジュールであって、前記ピクチャ特徴サンプルは位置に関連付けられる、スクリーニングモジュールと、
前記選出されたピクチャ特徴サンプルに基づき前記ユーザの情報に対応するピクチャ特徴サンプルのサブライブラリを生成するように構成されたモジュールであって、前記サブライブラリは、前記拡張現実クライアント端末が、走査された画像情報に対してオフライン環境において画像認識を遂行するためのものであり、
前記拡張現実クライアント端末によってアップロードされた前記ユーザの前記位置と、前記ピクチャ特徴サンプルのライブラリにおける前記ピクチャ特徴サンプルに関連した前記位置の間の距離を計算することと、
収集された前記ユーザの挙動ログに基づき、前記ユーザの挙動の選好を判定することと、
前記ピクチャ特徴サンプルのライブラリから、事前設定の閾値未満の前記距離を有し、かつ前記ユーザの前記挙動の選好を満たすピクチャ特徴サンプルを選出することを行うようにさらに構成されている、前記サブライブラリを生成するためのモジュールと、
前記拡張現実クライアント端末に前記ピクチャ特徴サンプルのサブライブラリを送信するように構成されたモジュールと
を備える、サーバ端末。

【請求項7】

サードパーティのサーバ端末に記憶されたピクチャサンプルおよび前記ピクチャサンプルに関連した位置を収集すること、および/または、オンラインサービスデータからのピクチャサンプルおよび前記ピクチャサンプルに関連した位置を収集することを行うように構成された収集モジュールと、
前記収集されたピクチャサンプルからピクチャ特徴サンプルを抽出すること、および、前記抽出されたピクチャ特徴サンプルおよび前記ピクチャサンプルに関連した前記位置に基づき前記ピクチャ特徴サンプルのライブラリをローカルで生成することを行うように構成された生成モジュールと
をさらに備える、請求項6に記載のサーバ端末。

【請求項8】

オペレータによって前記ピクチャ特徴サンプルのライブラリにおける前記ピクチャ特徴サンプルのために構成されたプレゼンテーションデータおよび前記プレゼンテーションデータのために構成されたプレゼンテーション効果を取得するように構成された取得モジュールと、
前記取得されたプレゼンテーションデータおよびプレゼンテーション効果を、前記ピクチャ特徴サンプルのライブラリにおける前記ピクチャ特徴サンプルに関連づけて記憶すること、および、前記オペレータの更新操作に応答して前記プレゼンテーションデータおよび前記プレゼンテーション効果を動的に更新することを行うに構成された記憶モジュールと
をさらに備える、請求項7に記載のサーバ端末。

【請求項9】

前記拡張現実クライアント端末によってアップロードされた、前記走査された画像情報を受け取ること、および、前記生成されたピクチャ特徴サンプルのサブライブラリに基づき、前記画像情報に対して画像認識を遂行することを行うように構成された認識モジュールをさらに備える、請求項6に記載のサーバ端末。

【請求項10】

前記サブライブラリを送信するように構成されたジュールが、
前記画像情報から、前記ピクチャ特徴サンプルのサブライブラリにおけるいずれかのピクチャ特徴サンプルに対応するオフラインターゲットが認識されたとき、前記ピクチャ特徴サンプルに関連したプレゼンテーションデータおよび前記プレゼンテーションデータに関連したプレゼンテーション効果を前記拡張現実クライアント端末に送信するように構成され、前記拡張現実クライアント端末が、拡張現実シーンにおける前記オフラインターゲットに対応する位置に、前記プレゼンテーションデータを、前記プレゼンテーション効果に基づいて拡張されたやり方で表示する、請求項6または9に記載のサーバ端末。

【発明の詳細な説明】

【技術分野】

【0001】

優先権主張
本出願は、2017年1月11日に出願された中国特許出願第201710018395.1号および2018年1月8日に出願された米国特許出願第15/864,572号の優先権を主張するものであり、それらの全体の内容が参照によってここに組み込まれる。

【0002】

本出願は拡張現実の分野に関し、詳細には拡張現実に基づく画像認識方法および装置に関するものである。

【背景技術】

【0003】

拡張現実(AR)技術は、画像の位置および角度をリアルタイムで計算することにより、対応する写真、映像、および3Dモデルを画像に重ねて仮想世界と現実世界を融合させる技術である。ARクライアント端末は、ARクライアント端末にローカルに記憶されたピクチャ認識材料を使用することによりユーザのオフライン環境の画像をリアルタイムで認識し、対応するプレゼンテーションデータを、あらかじめ構成されたプレゼンテーション効果に従って、実際のシナリオで認識された特定のオフラインターゲットの位置に拡張されたやり方で表示する。しかしながら、AR技術が継続的に発展してARシーンがますます豊富になるので、ARクライアント端末の演算量も日ごとに増加する。大量の演算によって電力が急速に消費され、ARクライアント端末が異常に加熱する。したがって、ARクライアント端末の演算量を低減することは、この産業界における至急解決すべき課題の1つである。

【発明の概要】

【課題を解決するための手段】

【0004】

本出願が提供する拡張現実に基づく画像認識方法は、拡張現実サーバ端末に適用されるものであり、
拡張現実クライアント端末によってアップロードされたユーザ情報を収集するステップと、
事前設定のピクチャ特徴サンプル(Picture Feature Sample)のライブラリからユーザ情報に関連したピクチャ特徴サンプルを選出するステップと、
選出されたピクチャ特徴サンプルに基づき、ユーザ情報に対応するピクチャ特徴サンプルのサブライブラリを生成して、拡張現実クライアント端末にプッシュし、これにより、拡張現実クライアント端末が、ユーザのオフライン環境における画像走査中に、走査された画像情報に対して、ピクチャ特徴サンプルのサブライブラリに基づき画像認識を遂行するステップとを含む。

【0005】

本出願がさらに提供する、拡張現実に基づく画像認識装置は、拡張現実サーバ端末に適用されるものであり、
拡張現実クライアント端末によってアップロードされたユーザ情報を収集するように構成された収集モジュールと、
事前設定のピクチャ特徴サンプルのライブラリからユーザ情報に関連したピクチャ特徴サンプルを選出するように構成されたスクリーニングモジュールであって、ピクチャ特徴サンプルのライブラリがピクチャ特徴サンプルとユーザ情報の間の対応関係を含む、スクリーニングモジュールと、
選出されたピクチャ特徴サンプルに基づきユーザ情報に対応するピクチャ特徴サンプルのサブライブラリを生成して、拡張現実クライアント端末にプッシュし、これにより、拡張現実クライアント端末が、ユーザのオフライン環境における画像走査中に、走査された画像情報に対して、ピクチャ特徴サンプルのサブライブラリに基づき画像認識を遂行するように構成されたプッシュモジュールとを含む。

【0006】

本出願では、拡張現実サーバ端末は、拡張現実クライアント端末によってアップロードされたユーザ情報を収集し、事前設定のピクチャ特徴サンプルのライブラリからユーザ情報に関連したピクチャ特徴サンプルを選出し、選出されたピクチャ特徴サンプルに基づき、ユーザ情報に対応するピクチャ特徴サンプルのサブライブラリを生成して、拡張現実クライアント端末にプッシュし、これにより、拡張現実クライアント端末が、ユーザのオフライン環境における画像走査中に、走査された画像情報に対して、ピクチャ特徴サンプルのサブライブラリに基づき画像認識を遂行する。拡張現実サーバ端末がユーザ情報に基づいてピクチャ特徴サンプルのライブラリをスクリーニングするので、拡張現実クライアント端末に対して拡張現実サーバ端末によってプッシュされるピクチャ認識材料の数、および拡張現実クライアント端末が画像認識を遂行するときに使用されるピクチャ認識材料の数が、かなり減少され得、したがって拡張現実クライアント端末の演算量が低減され、拡張現実クライアント端末の画像認識効率が改善する。

【図面の簡単な説明】

【0007】

【図1】本出願の一実施形態による、拡張現実に基づく画像認識方法の処理の流れ図である。

【図2】本出願の一実施形態によるARサーバ端末の構成図である。

【図3】本出願の一実施形態による、拡張現実に基づく画像認識装置の論理ブロック図である。

【図4】本出願の一実施形態による、拡張現実に基づく画像認識装置を担持する拡張現実サーバ端末に包含されているハードウェアの構造図である。

【発明を実施するための形態】

【0008】

従来の技術では、ユーザのオフライン環境において画像を走査するプロセスにおいて、ARクライアント端末は、通常、走査された画像情報に対して、あらかじめ構成されたピクチャ認識材料のライブラリを使用してリアルタイムで画像認識を遂行し得る。ピクチャ認識材料のライブラリは、オフラインターゲットの多数のピクチャサンプルから抽出されたピクチャ特徴サンプル(Picture Feature Sample)を含む。ユーザのオフライン環境から画像情報が走査された後に、ARクライアント端末は、ARエンジンに担持されている画像認識アルゴリズムを使用して、画像情報からピクチャ特徴を抽出し、次いで、抽出されたピクチャ特徴とピクチャ認識材料のライブラリにおけるピクチャ特徴サンプルの間の類似度を一つずつ計算して、走査された画像情報におけるオフラインターゲットを認識し得る。ARクライアント端末は、画像認識が完了した後に、認識されたオフラインターゲットの位置を実際のシナリオにおいてさらに計算し、次いで、あらかじめ構成されたプレゼンテーション効果に従って、対応するプレゼンテーションデータを拡張されたやり方で表示する。

【0009】

現在、ARクライアント端末が画像認識の実行中に必要とするピクチャ認識材料のライブラリ、プレゼンテーションデータ、および対応するプレゼンテーション効果(たとえばアニメーション効果)は、一般的にはARサービスプラットフォームの中にあらかじめ構成されており、プレゼンテーションデータは、ピクチャ認識材料のライブラリにおけるそれぞれのオフラインターゲット用にあらかじめ構成されており、関連付けられたやり方で提示されなければならない。ARクライアント端末は、画像走査を開始する前に、ARサービスプラットフォームから、あらかじめ構成されたピクチャ認識材料のライブラリならびに対応するプレゼンテーションデータおよびプレゼンテーション効果をそっくりダウンロードしてローカルに保存する必要がある。

【0010】

しかしながら、実際の用途では、ピクチャ認識材料のライブラリにあまりにも多くの材料があると、一方ではARクライアント端末のデータ記憶圧力が増すことになり、他方では、ARクライアント端末の画像認識中の演算量がかなり多くなり、したがって、ARクライアント端末の、急速な電力消費、異常加熱、および画像認識効率低下といった問題の原因となる。

【0011】

このような事情に鑑みて、本出願は、ARクライアント端末によってアップロードされたユーザ情報に基づきピクチャ認識材料を柔軟に選出して、選出された材料をARクライアント端末にプッシュすることができるARサーバ端末を提供するものである。

【0012】

ARサーバ端末は、ARクライアント端末によってアップロードされたユーザ情報を収集することにより、事前設定のピクチャ特徴サンプルのライブラリからユーザ情報に関連したピクチャ特徴サンプルを選出し、選出されたピクチャ特徴サンプルに基づき、ユーザ情報に対応するピクチャ特徴サンプルのサブライブラリを生成して、ARクライアント端末にプッシュし、これにより、ARクライアント端末が、ユーザのオフライン環境における画像走査中に、走査された画像情報に対して、ピクチャ特徴サンプルのサブライブラリに基づき画像認識を遂行する。

【0013】

全体の解決策では、ARサーバ端末が、ユーザ情報に基づいてピクチャ特徴サンプルのライブラリをスクリーニングするので、ARクライアント端末に対してARサーバ端末によってプッシュされるピクチャ認識材料の数、およびARクライアント端末が画像認識を遂行するときに使用されるピクチャ認識材料の数が、かなり減少され得、したがってARクライアント端末の演算量が低減され、ARクライアント端末の画像認識効率が改善する。

【0014】

本出願が、特定の実施形態を使用して、特定の用途のシナリオを参照しながら以下で説明される。

【0015】

図1を参照すると、本出願の一実施形態による、拡張現実に基づく画像認識方法が示されている。この方法はARサーバ端末に適用されるものであり、以下のステップを含む。

【0016】

ステップ101:拡張現実クライアント端末によってアップロードされたユーザ情報が収集される。

【0017】

ステップ102:事前設定のピクチャ特徴サンプルのライブラリからユーザ情報に関連したピクチャ特徴サンプルが選出される。

【0018】

ステップ103:選出されたピクチャ特徴サンプルに基づき、ユーザ情報に対応するピクチャ特徴サンプルのサブライブラリが生成されて、拡張現実クライアント端末にプッシュされ、これにより、ARクライアント端末が、ユーザのオフライン環境における画像走査中に、走査された画像情報に対して、ピクチャ特徴サンプルのサブライブラリに基づき画像認識を遂行する。

【0019】

ARクライアント端末は、AR技術を基に開発された、またはAR機能を伴って組み込まれた、クライアント端末ソフトウェアを参照する。たとえば、ARクライアント端末は、ARサービス機能を伴って組み込まれたサードパーティの支払いAPPでよい。ARクライアント端末は、担持されている画像走査ツールを使用して、ユーザのオフライン環境における実際のシーンに対する画像走査を遂行して、走査されたオフラインターゲットに関する画像認識を開始してよい。さらに、ARクライアント端末は、ARクライアント端末のフロントエンドのARエンジンを使用することにより、認識されたオフラインターゲットに対応する、バックエンドARサーバ端末によってプッシュされたプレゼンテーションデータに対する可視化レンダリングを遂行する。ARクライアント端末は、実際のシーン(たとえば実際のシーンの画像)に対して、レンダリングされたプレゼンテーションデータを上に載せて融合させ、プレゼンテーションデータを、あらかじめ構成されたプレゼンテーション効果に従って、実際のシーンにおける認識されたオフラインターゲットに対応する位置に、拡張されたやり方で表示する。

【0020】

プレゼンテーションデータは、一般に、認識されたオフラインターゲットに関連して提示される必要がある仮想データを含み得る。プレゼンテーション効果は、一般に、プレゼンテーションデータを実際のシーンにおいて提示するためのプレゼンテーション効果を含み得る。

【0021】

たとえば、オフラインターゲットがオフライン商店のロゴピクチャである場合には、プレゼンテーションデータは、具体的には、たとえば商店の基本情報および割引き情報といったオフライン商店のロゴに関連して提示される必要のあるラベルデータである。プレゼンテーション効果は、たとえば自己定義されたアニメーション効果、動的プレゼンテーションテンプレート、プレゼンテーションテキストなど商店のロゴに関連してラベルデータが提示されるときに使用される、自己定義された特別なプレゼンテーション効果を特に含み得る。

【0022】

ARサーバ端末は、ARクライアント端末にサービスを提供するサーバ、サーバクラスタ、またはサーバクラスタに基づき確立されたクラウドサービスプラットフォームを特に含み得る。たとえば、ARクライアント端末がARサービス機能を組み込まれたサードパーティの支払いAPPであるとき、ARサーバ端末は、ARサービス機能を組み込まれたサードパーティの支払いAPPに対して接続サービスを提供するクラウドサービスプラットフォームでよい。ARサーバ端末は、バックエンドARエンジンに基づき、ARクライアント端末によって走査された画像を認識し(もちろん、この画像認識プロセスはARクライアント端末によってフロントエンドのARエンジンを使用して完了されてもよい)、オフラインサービスに関係のある仮想データの内容を管理して、画像認識結果に基づき、認識されたオフラインターゲットに関係のある仮想データをARクライアント端末にプッシュしてよい。

【0023】

事前設定のピクチャ特徴サンプルのライブラリは、前述のピクチャ認識材料のライブラリであり、一般に、オフラインターゲットの多数のサンプル画像から抽出されたピクチャ特徴サンプルを含む。

【0024】

ユーザ情報は、ピクチャ特徴サンプルのライブラリをスクリーニングするためのスクリーニング寸法として使用され得るユーザデータを特に含み得る。

【0025】

たとえば、示される実装形態の1つでは、ユーザ情報はユーザの位置を含み得る。そのような場合には、ARクライアント端末は、ARサーバ端末に対してユーザの位置をリアルタイムでアップロードしてよい。ARサーバ端末は、ARクライアント端末によってアップロードされたユーザの位置に基づき、ピクチャ特徴サンプルのライブラリから、ユーザまでの距離が特定の範囲の内部にあるピクチャ特徴サンプルを選出してよい。

【0026】

別の例として、別の示される実装形態では、ユーザデータはさらにユーザの挙動ログでもよい。そのような場合には、ARサーバ端末は、ARクライアント端末によってアップロードされたユーザの挙動ログを収集し、収集されたユーザの挙動ログに対してビッグデータ分析を遂行して、ユーザの挙動の選好を判定してよい。次いで、ARサーバ端末は、ユーザの位置に基づいて選出されたピクチャ特徴サンプルのライブラリから、ユーザの挙動の選好を満たすピクチャ特徴サンプルをさらに選出する。

【0027】

ピクチャ特徴サンプルのサブライブラリは、ユーザ情報に基づいて前述のピクチャ特徴サンプルのライブラリから選出されたいくつかのピクチャ特徴サンプルを使用してARサーバ端末によって生成されたピクチャ特徴サンプルのライブラリを指す。ピクチャ特徴サンプルのサブライブラリは、ピクチャ特徴サンプルのライブラリのサブセットであり、ユーザ情報に対応するものである。

【0028】

たとえば、示される実装形態の1つでは、ユーザ情報はユーザの位置および挙動ログを含み得る。ARサーバ端末は、ユーザの位置に基づき、ピクチャ認識材料のライブラリから、ユーザの位置までの距離が特定の範囲の内部にあるピクチャ特徴サンプルを予備的に選出してよい。その一方で、ARサーバ端末は、ユーザの収集された挙動ログに対するビッグデータ分析をさらに遂行してユーザの挙動の選好を判定し、判定されたユーザの挙動の選好に基づき、これらの予備的に選出されたピクチャ特徴サンプルから、ユーザの挙動の選好を満たすピクチャ特徴サンプルをさらに選出してよい。次いで、ARサーバ端末は、さらに選出されたピクチャ特徴サンプルを使用して、ピクチャ特徴サンプルのサブライブラリを生成する。

【0029】

ユーザ情報がユーザの位置および挙動ログを含む例を使用して、本出願の技術的解決策が、特定の実施形態を参照しながら以下で詳細に説明される。

【0030】

ユーザ情報がユーザの位置および挙動ログであるというのは、本明細書における単なる例である。もちろん、実際の用途では、ユーザ情報は、ピクチャ特徴サンプルのライブラリをスクリーニングするためのスクリーニング寸法として使用され得る他のユーザデータをさらに含み得る。本出願では、詳細を一つずつ列挙することはない。

【0031】

この実施形態では、初期状態において、ARサーバ端末は、担持されているデータ収集システムを使用することにより、ピクチャサンプルとピクチャサンプルに関連した位置とを積極的に収集して、ピクチャ認識材料のライブラリを生成し得る。

【0032】

オペレータは、ARサーバ端末に担持されているバックエンド管理システムにログインすることにより、ピクチャ認識材料のライブラリにおけるピクチャ特徴サンプルについて、ピクチャ特徴サンプルに対応するオフラインターゲットに関連して提示される必要があるプレゼンテーションデータを構成してよく、プレゼンテーションデータに関するプレゼンテーション効果を構成してよい。その上に、オペレータは、ARサーバ端末に担持されているバックエンド管理システムにログインすることにより、構成されたプレゼンテーションデータおよびプレゼンテーション効果をさらに動的に修正して更新し得る。

【0033】

ユーザがARクライアント端末を使用するとき、ARクライアント端末はユーザの位置および挙動ログを収集し、次いで、ARサーバ端末に対してそれらをリアルタイムでアップロードし得る。ARサーバ端末は、ARクライアント端末によってアップロードされたユーザの位置および挙動ログを収集して、ARクライアント端末によってアップロードされたユーザの情報および挙動ログに基づき、ピクチャ認識材料のライブラリにおけるピクチャ認識材料をより柔軟に管理し得る。

【0034】

一方では、ARサーバ端末は、ARクライアント端末のために、クライアント端末によってアップロードされた位置に基づき、ユーザの位置までの距離が事前設定の閾値未満であるピクチャ特徴サンプルを、ピクチャ認識材料のライブラリから予備的に選出してよい。

【0035】

他方では、ARサーバ端末は、担持されているクラウドコンピューティングシステムを使用することにより、収集された挙動ログに対するビッグデータ分析を遂行して、ユーザの挙動の選好を判定してよい。次いで、ARサーバ端末は、判定された挙動の選好に基づき、予備的に選出されたピクチャ特徴サンプルからユーザの挙動の選好を満たすピクチャ特徴サンプルをさらに選出して、ユーザに関するピクチャ特徴サンプルのサブライブラリを生成し、次いでピクチャ特徴サンプルのサブライブラリをARクライアント端末にプッシュする。

【0036】

このやり方により、ARサーバ端末によってプッシュされるピクチャ認識材料の数が大幅に減少し、ARクライアント端末の画像認識中の演算量が減少して、ARクライアント端末の画像認識効率が改善され得る。

【0037】

図2を参照して、図2は、この実施形態によるARサーバ端末の構成図である。

【0038】

図2に示されるように、ARサーバ端末は、具体的にはARピクチャ認識材料に関する分散型設計ベースの管理プラットフォーム(以下では略して管理プラットフォームと称される)でよい。管理プラットフォームに担持されている機能ノードは、クラウドサービスインターフェース、WEBのバックエンド管理ポータル、分散記憶システム、バックエンド管理システム、データ収集システム、分散型検索システム、クラウドコンピューティングシステム、画像認識システム、ユーザデータ分析システム、材料スクリーニングシステム、コンテンツプッシュシステムなどを特に含み得る。

【0039】

クラウドサービスインターフェースは、ARクライアント端末にサービスを提供するために管理プラットフォームによって使用されるサービスインターフェースである。ARクライアント端末は、サービスインターフェースにアクセスすることにより、管理プラットフォームからの対応するクラウドサービスを要求してよい。管理プラットフォームは、ARクライアント端末によって要求されたサービスデータを、サービスインターフェースを通じてARクライアント端末にさらに返してよい。

【0040】

たとえば、クラウドサービスインターフェースは、具体的にはHTTPインターフェースでよい。ARクライアント端末は、対応するHTTPサービスリクエストを確立し、確立されたHTTPサービスリクエストを、HTTPインターフェースにアクセスすることによって管理プラットフォームに提出してよい。管理プラットフォームは、HTTPインターフェースに基づき、ARクライアント端末に対して対応するサービスデータをさらに返してよい。

【0041】

WEBのバックエンド管理ポータルは、オペレータが、管理プラットフォームにおいてあらかじめ構成されているピクチャ認識材料のライブラリならびに関係のあるプレゼンテーションデータおよびプレゼンテーション効果に対する手動の介入または更新のために使用する管理ポータルである。オペレータは、管理プラットフォームにおけるコンテンツを管理するための一般的なWEBのやり方で、バックエンド管理システムにログインしてよい(たとえば、オペレータは、管理プラットフォームのポータルのURLアドレスにアクセスし、次いで管理アカウントおよびパスワードを入力して、バックエンド管理システムに遠隔でログインする)。

【0042】

分散記憶システムは、全体の管理プラットフォームのデータの基礎(data basis)であり、ピクチャ認識材料のライブラリならびにピクチャ認識材料のライブラリにおけるピクチャ特徴サンプルに関してオペレータによってあらかじめ構成されているプレゼンテーションデータおよびプレゼンテーション効果などのデータを分散して記憶するのに使用される。分散記憶のやり方はデータの信頼性を保証することができる。したがって、分散記憶システムは、全体の管理プラットフォームの信頼性の基礎として役立ち得る。

【0043】

バックエンド管理システムは、オペレータが管理プラットフォームを直接管理するために使用するユーザプラットフォームである。バックエンド管理システムは、オペレータに、様々な管理動作に対応する可視ユーザインターフェースを提供し得るものである。オペレータは、これらの可視ユーザインターフェースにおいて、たとえば、ピクチャ認識材料として役立つピクチャ特徴サンプルをピクチャ認識材料のライブラリに追加するステップ、ピクチャ認識材料として役立つピクチャ特徴サンプルをピクチャ認識材料のライブラリから削除するステップ、ピクチャ認識材料のライブラリにおけるピクチャ認識材料として役立つピクチャ特徴サンプルを更新するステップ、ARクライアント端末のために、認識されたオフラインターゲットおよびプレゼンテーション効果に関連して提示される必要があるプレゼンテーションデータをあらかじめ構成するステップ、実際の要求に応じて、構成されたプレゼンテーションデータおよびプレゼンテーション効果を動的に更新するステップ、などの対応する管理動作を遂行してよい。

【0044】

もちろん、実際の用途では、オペレータは、バックエンド管理システムにログインして管理プラットフォームにおけるコンテンツを管理することに加えて、バックエンド管理システムを使用することにより管理プラットフォームにおける他のシステムにさらに介入してよい。

【0045】

たとえば、オペレータは、クラウドコンピューティングシステムのデータ分析論理およびパラメータに対する手動の編集や介入が可能であり、ピクチャ認識材料のライブラリにおける、ピクチャ特徴サンプルに関連して記憶されたユーザ位置に対して、さらなる編集および調節などが可能である。

【0046】

データ収集システムは、インターネットまたは接続されているサードパーティのサーバ端末から、管理プラットフォームが必要とする「材料(Material)」などのデータを積極的に収集するのに主として使用される。

【0047】

従来の管理プラットフォームでは、ピクチャ認識材料は、一般にオペレータによって手動で入力されて編集される。したがって、データは不十分である。しかしながら、本出願では、管理プラットフォームが、データ収集システムを担持することにより、インターネットまたは接続されているサードパーティのサーバ端末からピクチャ認識材料を積極的に収集して、管理プラットフォームの分散記憶システムに記憶し得る。

【0048】

その上に、データ収集システムは、ピクチャ認識材料を積極的に収集することに加えて、さらに、クラウドコンピューティングプラットホームによって遂行される後続のビッグデータ分析を容易にするために、ARクライアント端末によってアップロードされたユーザの挙動ログを積極的に収集してよい。

【0049】

分散型検索システムは、主として、分散記憶システムに記憶されたデータを検索して照会するために使用される。管理プラットフォームは、多数のピクチャ認識材料と、ピクチャ認識材料に関連する位置、プレゼンテーションデータ、およびプレゼンテーション効果などのデータとを管理する必要がある。したがって、管理プラットフォームは、データの検索および照会の容易さのために、分散記憶システムに接続された分散型検索システムを担持し得る。管理プラットフォームにおける管理が必要なデータは、分散型検索システムを使用することにより検索されて照会され、したがってデータ管理の柔軟性および安定性が保証される。

【0050】

クラウドコンピューティングシステムは、管理プラットフォームにおけるすべてのデータ演算を引き受けるように使用される。実際の用途では、クラウドコンピューティングシステムは、管理プラットフォームにおける分散記憶システム、ユーザデータ分析システム、材料スクリーニングシステム、および画像認識システムに対して別個に接続されて、分散記憶システム、ユーザデータ分析システム、材料スクリーニングシステム、および画像認識システムのすべてのデータ演算を引き受けることができ、したがって管理プラットフォームのデータ処理効率を改善する。

【0051】

クラウドコンピューティングシステムに担持されているデータ分析論理は、バックエンド管理システムを使用することによりオペレータによって手動で設定されてよく、本出願では特に限定されない。

【0052】

画像認識システムは、ARクライアント端末にクラウド画像認識サービスを提供するように使用される。画像認識システムはクラウドコンピューティングプラットホームに接続されてよく、クラウドコンピューティングプラットホームを使用することにより、ARクライアント端末によってアップロードされた画像データからピクチャ特徴を抽出し、抽出されたピクチャ特徴とピクチャ認識材料のライブラリにおけるピクチャ特徴サンプルの間の類似度を一つずつ計算して、画像データに関する画像認識を完了する。

【0053】

ユーザデータ分析システムは、収集システムによって収集されたユーザの挙動ログに対するビッグデータ分析を遂行するように使用される。画像認識システムはクラウドコンピューティングプラットホームに接続されてよく、クラウドコンピューティングプラットホームに担持されているビッグデータ分析アルゴリズムを使用して、収集システムによって収集されたユーザの挙動ログに対してビッグデータ分析を遂行することにより、ユーザの挙動の選好を取得し得る。

【0054】

クラウドコンピューティングプラットフォームに担持されているビッグデータ分析アルゴリズムは、バックエンド管理システムを使用することによりオペレータによって手動で設定されてもよく、本出願では特に限定されない。

【0055】

材料スクリーニングシステムは、分散記憶システムに記憶されたピクチャ認識材料のライブラリから、ARクライアント端末によってアップロードされた、ユーザ情報に関連したピクチャ特徴サンプルを選出するのに使用される。材料スクリーニングシステムはクラウドコンピューティングプラットホームに接続されてよい。材料スクリーニングシステムは、クラウドコンピューティングプラットホームを使用することにより、ピクチャ認識材料のライブラリにおけるピクチャ特徴サンプルに関連した位置とユーザの位置の間の距離を別個に計算して、前述のピクチャ特徴サンプルのライブラリから、ユーザの位置までの距離が事前設定の閾値未満であるいくつかのピクチャ特徴サンプルを予備的に選出する。

【0056】

材料スクリーニングシステムは、クラウドコンピューティングプラットホームを使用することにより、ユーザの収集された挙動ログに対するビッグデータ分析が遂行された後に、ユーザの挙動の選好を判定して、これらの予備的に選出されたピクチャ特徴サンプルからユーザの挙動の選好を満たすピクチャ特徴サンプルをさらに選出し、次いで、さらに選出されたピクチャ特徴サンプルに基づき、ピクチャ特徴サンプルのサブライブラリを生成する。

【0057】

コンテンツプッシュシステムは、選出されたピクチャ特徴サンプルに基づき材料スクリーニングシステムによって生成されたピクチャ特徴サンプルのサブライブラリを、ARクライアント端末にプッシュするのに使用される。

【0058】

ARクライアント端末がピクチャ特徴サンプルのサブライブラリにおける何らかのピクチャ特徴サンプルに対応するオフラインターゲットを成功裡に認識したとき、コンテンツプッシュシステムは、分散記憶システムにおいてピクチャ特徴サンプルに関連づけて記憶されるプレゼンテーションデータおよびプレゼンテーション効果をARクライアント端末にプッシュする。ARクライアント端末は、ARシーンにおいて認識されたオフラインターゲットに対応する位置に、プレゼンテーションデータを、プレゼンテーション効果に基づいて拡張されたやり方で表示する。

【0059】

本出願の技術的解決策が、ピクチャ特徴サンプルのライブラリの生成、ピクチャ特徴サンプルのスクリーニング、および画像認識といった3つのステージを参照して、例として、図2に示された前述の機能ノードを使用しながら以下で詳細に説明される。

【0060】

図2に示されたARサーバ端末のアーキテクチャは単なる例示であり、本出願を限定するように意図されたものではないことに留意されたい。もちろん、当業者なら、実際の用途では、図2に示された機能ノードを、実際の要件(たとえば複数の機能ノードを1つの機能ノードへと結合する)に従って機能的に組み込み得、または、図2に示された機能ノードを機能的にさらに細分し得る(たとえばいずれかの機能ノードを複数の機能ノードに細分し得る)。本出願では詳細を列挙することはない。

【0061】

1) ピクチャ特徴サンプルのライブラリの生成
この実施形態では、オペレータは、バックエンド管理システムにログインすることにより、ピクチャ認識材料のライブラリに対して、対応するピクチャ特徴サンプルおよび関連する位置を手動で追加し得る。このやり方に加えて、管理プラットフォームは、担持されているデータ収集システムを使用して、積極的に、ピクチャサンプルおよびピクチャサンプルに関連した位置をさらに収集し得る。

【0062】

示された一実装形態では、データ収集システムは、インターネット上の多くのオンラインサービスデータから、ピクチャサンプルおよびピクチャサンプルに関連した位置を、インターネットクローラなどのやり方で積極的に収集し得る。

【0063】

別の示された実装形態では、データ収集システムは、多くのオンラインサービスデータからピクチャサンプルを積極的に収集することに加えて、さらに、ピクチャサンプルおよび位置を記憶している接続されたサードパーティのサーバ端末から、ピクチャサンプルおよびピクチャサンプルに関連した位置を直接収集し得る。たとえば、管理プラットフォームは、接続された提携先のサービスプラットフォームに記憶されているピクチャサンプルおよびピクチャサンプルに関連した位置をインポートし得る。

【0064】

実際の用途では、管理プラットフォームは、上記で示された、ピクチャサンプルを収集する2つのやり方のいずれかを使用してよく、またはこれらを有機的に組み合わせ得ることに留意されたい。これは、本出願では特に限定されない。

【0065】

この実施形態では、収集されたピクチャサンプルおよび関連する位置は、すべて分散記憶システムに記憶され得る。クラウドコンピューティングシステムは、担持されているピクチャ特徴抽出アルゴリズムを使用して、分散記憶システムに記憶されているピクチャサンプルからピクチャ特徴を抽出し、次いで、抽出されたピクチャ特徴およびピクチャサンプルに関連した位置に基づいて、分散記憶システムに、ピクチャ認識材料のライブラリを生成してよい。この場合、生成されたピクチャ認識材料のライブラリに記憶される情報は、ピクチャサンプルおよびピクチャサンプルに関連した位置に対応する抽出されたピクチャ特徴を含む。

【0066】

オペレータは、ピクチャ認識材料のライブラリが生成された後に、WEBブラウザを使用して管理プラットフォームのポータルURLアドレスにアクセスし、次いで、管理プラットフォームのコンテンツを管理するために、管理アカウントおよびパスワードを入力して、バックエンド管理システムに遠隔でログインし得る。

【0067】

オペレータは、バックエンド管理システムに対して成功裡にログインしたとき、バックエンド管理システムによって提供された可視ユーザインターフェースにおいて、ピクチャ認識材料のライブラリにおけるそれぞれのピクチャ特徴サンプルについて対応する管理動作を遂行して、ピクチャ特徴サンプルに対応するオフラインターゲットに関連して提示される必要のあるプレゼンテーションデータを構成し、プレゼンテーションデータに関するプレゼンテーション効果を構成してよい。

【0068】

バックエンド管理システムは、オペレータが構成したプレゼンテーションデータおよびプレゼンテーション効果を取得して、検索を容易にするために、ピクチャ認識材料のライブラリにおける対応するピクチャ特徴サンプルに関連づけて記憶する。

【0069】

加えて、オペレータは、バックエンド管理システムによって提供された可視ユーザインターフェースにおいて、構成されたプレゼンテーションデータおよびプレゼンテーション効果に対して対応する更新操作をさらに遂行して、これらを動的に更新してよい。バックエンド管理システムは、オペレータの更新操作に応答して、分散型検索システムを使用することにより、ピクチャ認識材料のライブラリに、対応するピクチャ特徴サンプルを照会して、オペレータによって再構成されたプレゼンテーションデータおよびプレゼンテーション効果に基づき、ピクチャ特徴サンプルに関連づけて記憶されている元のプレゼンテーションデータおよびプレゼンテーション効果を更新してよい。

【0070】

このように、オペレータは、バックエンド管理システムにログインすることにより、いつでも、ピクチャ認識材料のライブラリにおけるピクチャ特徴サンプルに関連づけて記憶されているプレゼンテーションデータおよびプレゼンテーション効果を、実際の要件に従って動的に更新し得、したがって、プレゼンテーションデータおよびプレゼンテーション効果の管理の柔軟性が改善する。

【0071】

2) ピクチャ特徴サンプルのスクリーニング
この実施形態では、ユーザがARクライアント端末を使用するとき、ARクライアント端末はユーザの位置および挙動ログを収集し、次いで、クラウドサービスインターフェースにアクセスして、収集されたユーザの位置および挙動ログを管理プラットフォームにリアルタイムでアップロードし得る。管理プラットフォームは、担持されているデータ収集システムを使用することにより、ARクライアント端末によってアップロードされたユーザの位置および挙動ログを収集して、ARクライアント端末によってアップロードされたユーザの情報および挙動ログに基づき、ピクチャ認識材料のライブラリにおけるピクチャ認識材料をより柔軟に管理し得る。

【0072】

一方では、材料スクリーニングシステムはクラウドコンピューティングシステムに接続されてよく、クラウドコンピューティングシステムがすべてのデータスクリーニング演算を引き受ける。クラウドコンピューティングシステムは、ARクライアント端末によってアップロードされたユーザの位置とピクチャ認識材料のライブラリにおけるピクチャ特徴サンプルに関連した位置の間の距離を、リアルタイムで計算し得る。クラウドコンピューティングシステムが演算を完了した後に、材料スクリーニングシステムは、ユーザの位置までの距離が事前設定の閾値未満であるピクチャ特徴サンプルを予備的に選出してよい。この場合、ピクチャ認識材料のライブラリに対する予備スクリーニングは完了している。

【0073】

たとえば、ピクチャ認識材料のライブラリが多数のオフライン商店のロゴから抽出されたピクチャ特徴サンプルを記憶しており、ユーザがARクライアント端末を使用してオフライン商店において毎日走査を遂行する用途のシナリオが、一例として使用される。ユーザがARクライアント端末を使用してオフライン商店のロゴを走査する前に、ARクライアント端末は、管理プラットフォームにユーザの位置をリアルタイムでアップロードしてよい。管理プラットフォームは、ユーザの位置に基づき、ピクチャ認識材料のライブラリからユーザの近くの特定の範囲内の小売商のロゴピクチャを選出して、ユーザに関するピクチャ特徴サンプルのサブライブラリを生成してよく、したがって、ARクライアント端末にプッシュする必要のあるロゴピクチャの数が減少する。

【0074】

他方では、ユーザデータ分析システムはクラウドコンピューティングシステムに接続されてもよい。クラウドコンピューティングシステムはすべてのデータ分析演算を引き受ける。クラウドコンピューティングシステムは、担持されているビッグデータ分析アルゴリズムに基づき、データ収集システムによって収集されたユーザの挙動ログに対するビッグデータ分析を遂行して、ユーザの挙動の選好を判定し得る。

【0075】

挙動の選好は、具体的には、ユーザによるARクライアント端末の日々の使用中に形成された特定の使用法の習慣または使用法のルールを指す。

【0076】

たとえば、ピクチャ認識材料のライブラリが多数のオフライン商店のロゴから抽出されたピクチャ特徴サンプルを記憶しており、ユーザがARクライアント端末を使用してオフライン商店において毎日走査を遂行する前述の用途のシナリオが、引き続き一例として使用される。ARクライアント端末は、ユーザがオフライン商店を走査するごとに生成された関係のある挙動データをローカルに記録し、対応するログファイルを生成して、すべてのログファイルを管理プラットフォームにアップロードしてよい。管理プラットフォームは、クラウドコンピューティングプラットホームを使用することにより、収集されたログファイルに対するビッグデータ分析を遂行して、オフライン商店に関するユーザの選好をさらに分析し得る。たとえば、分析したとき、ユーザが、日常生活において、クーポンを提供するオフライン商店や低価格商品を売るオフライン商店を好むことが分かる。

【0077】

管理プラットフォームが挙動ログに対するビッグデータ分析を用いてユーザの挙動の選好を判定した後に、材料スクリーニングシステムは、予備的に選出されたピクチャ特徴サンプルの数をさらに減少して、プッシュされるピクチャ認識材料の数を減少するために、予備的に選出されたピクチャ特徴サンプルから、ユーザの挙動の選好を満たすピクチャ特徴サンプルをさらに選出してよい。

【0078】

たとえば、ピクチャ認識材料のライブラリが多数のオフライン商店のロゴから抽出されたピクチャ特徴サンプルを記憶しており、ユーザがARクライアント端末を使用してオフライン商店において毎日走査を遂行する前述の用途のシナリオが、引き続き一例として使用される。分析により、管理プラットフォームが、ユーザの日々の挙動の選好が「クーポンを提供するオフライン商店」および「低価格商品を売るオフライン商店」であると学習していると想定して、材料スクリーニングシステムは、これらの予備的に選出されたピクチャ特徴サンプルに対応するオフライン商店の関連情報にアクセスすることにより、ユーザにクーポンを提供することができるオフライン商店および低価格商品を売るオフライン商店をさらに探索してよい。次いで、材料スクリーニングシステムは、これらのオフライン商店に対応するピクチャ特徴サンプルをさらに選出する。

【0079】

これらの予備的に選出されたピクチャ特徴サンプルからユーザの挙動の選好を満たすピクチャ特徴サンプルを選出したとき、管理プラットフォームは、これらの最後に選出されたピクチャ特徴サンプルに基づき、ユーザに関するピクチャ特徴サンプルのサブライブラリを生成し得る。次いで、管理プラットフォームは、生成されたピクチャ特徴サンプルのサブライブラリを、コンテンツプッシュシステムを使用してARクライアント端末にプッシュする。

【0080】

材料スクリーニングシステムは、ピクチャ認識材料のライブラリにおけるピクチャ特徴サンプルをスクリーニングするとき、ユーザの位置に基づく予備的スクリーニングを遂行し、次いで、分析を通じて取得されたユーザ選好に基づくさらなるスクリーニングを遂行することに留意されたい。しかしながら、実際の用途では、材料スクリーニングシステムは、分析を通じて取得されたユーザ選好に基づくさらなるスクリーニングを遂行することなく、予備的スクリーニングの結果に基づき、ユーザに関するピクチャ特徴サンプルのサブライブラリを直接生成してもよい。本出願では詳細を説明することはない。

【0081】

3) 画像認識
この実施形態では、ARクライアント端末は、管理プラットフォームによってプッシュされたピクチャ特徴サンプルのサブライブラリを受け取ったとき、ピクチャ特徴サンプルのサブライブラリをローカルにロードしてよい。ユーザがオフライン環境において画像を走査するためにARクライアント端末を使用するとき、ARクライアント端末は、フロントエンドのARエンジンに担持されている画像認識アルゴリズムに基づき、走査された画像情報からピクチャ特徴を抽出し、次いで、ピクチャ特徴とピクチャ特徴サンプルのサブライブラリにおけるピクチャ特徴サンプルの間の類似性の照合を一つずつ遂行して、走査された画像情報に対する画像認識を完了し得る。この実施形態では、画像認識における特定の演算プロセスが詳細に説明されることはない。当業者なら、本出願に記録された技術的解決策を実行するとき、従来の技術における記録を参照し得る。

【0082】

この場合、管理プラットフォームによってプッシュされたピクチャ特徴サンプルのサブライブラリにおけるピクチャ特徴サンプルは、ユーザの位置および挙動の選好に基づいて洗練されたやり方で選出される。したがって、ARクライアント端末は、ユーザのオフライン環境から走査された画像データに対して画像認識を遂行するとき、管理プラットフォームにおいて生成されたピクチャ認識材料のライブラリにおけるすべてのピクチャ認識材料を連続的にあちこち移動する必要がなく、したがってARクライアント端末の画像認識効率が大幅に改善される。

【0083】

もちろん、ARクライアント端末は、走査された画像情報に対してローカルで画像認識を遂行することに加えて、クラウドサーバ端末インターフェースにアクセスすることにより、走査された画像情報を管理プラットフォームにリアルタイムでさらにアップロードし得る。管理プラットフォームに担持されている画像認識システムは、ユーザのために選出されて生成されたピクチャ特徴サンプルのサブライブラリに基づき、走査された画像情報に対する画像認識を完了する。

【0084】

この実施形態では、ピクチャ特徴サンプルのサブライブラリにおける何らかのピクチャ特徴サンプルに対応するオフラインターゲットが、上記に示された画像認識プロセスによって、走査された画像情報から最終的に認識されたとき、分散型検索システムは、分散記憶システムに、ピクチャ特徴サンプルに関連して記憶されているプレゼンテーションデータおよびプレゼンテーション効果を照会し、次いで、見つかったプレゼンテーションデータおよびプレゼンテーション効果を、コンテンツプッシュシステムを使用してARクライアント端末にプッシュし得る。

【0085】

ARクライアント端末は、プッシュされたプレゼンテーションデータおよびプレゼンテーション効果を受け取った後、ARシーンにおいて認識されたオフラインターゲットに対応する位置に、プレゼンテーションデータを、プレゼンテーション効果に基づいて拡張されたやり方で表示してよい。

【0086】

実際の用途では、ピクチャ特徴サンプルのサブライブラリにおけるピクチャ特徴サンプルに関連して記憶されているプレゼンテーションデータおよびプレゼンテーション効果も、コンテンツプッシュシステムが生成されたピクチャ特徴サンプルのサブライブラリをプッシュしている間に、コンテンツプッシュシステムによってARクライアント端末にプッシュされ得ることに留意されたい。すなわち、オペレータによって構成されたプレゼンテーションデータおよびプレゼンテーション効果は、生成されたピクチャ特徴サンプルのサブライブラリとともにARクライアント端末にプッシュされてよく、または画像認識が完成した後に別個にプッシュされてもよい。これは、本出願では特に限定されない。

【0087】

前述の実施形態から、本出願は、ARクライアント端末によってアップロードされたユーザ情報に基づきARクライアント端末のためのピクチャ認識材料を柔軟に選出して、選出された材料をARクライアント端末にプッシュすることができるARサーバ端末を提供することが知られ得る。

【0088】

ARサーバ端末は、ARクライアント端末によってアップロードされたユーザ情報を収集し、事前設定のピクチャ特徴サンプルのライブラリからユーザ情報に関連したピクチャ特徴サンプルを選出して、選出されたピクチャ特徴サンプルに基づき、ユーザ情報に対応するピクチャ特徴サンプルのサブライブラリを生成することができる。次いで、ARサーバ端末は、ピクチャ特徴サンプルのサブライブラリをARクライアント端末にプッシュし、これにより、ARクライアント端末が、ユーザのオフライン環境における画像走査中に、ピクチャ特徴サンプルのサブライブラリに基づき、走査された画像情報に対して画像認識を遂行する。

【0089】

全体の解決策では、ARサーバ端末がユーザ情報に基づいてピクチャ特徴サンプルのライブラリをスクリーニングするため、ARクライアント端末に対してARサーバ端末によってプッシュされるピクチャ認識材料の数、およびARクライアント端末が画像認識を遂行するときに使用されるピクチャ認識材料の数が、かなり減少され得、したがってARクライアント端末の演算量が低減され、ARクライアント端末の画像認識効率が改善する。

【0090】

本出願は、前述の方法の実施形態に対応する装置の実施形態をさらに提供するものである。

【0091】

図3を参照して、本出願は拡張現実に基づく画像認識装置30を提供するものであり、この装置はARサーバ端末に適用される。図4を参照して、拡張現実に基づく画像認識装置30を担持するARサーバ端末に包含されているハードウェアアーキテクチャは、一般に、CPU、記憶装置、不揮発性記憶デバイス、ネットワークインターフェース、内部バスなどを含む。一例としてソフトウェアの実装形態を使用して、拡張現実に基づく画像認識装置30は、一般に、記憶装置にロードされたコンピュータプログラムをCPUが実行した後に形成される、ソフトウェアとハードウェア組み合わせた論理装置と解釈されてよい。装置30は、
拡張現実クライアント端末によってアップロードされたユーザ情報を収集するように構成された収集モジュール301と、
事前設定のピクチャ特徴サンプルのライブラリからユーザ情報に関連したピクチャ特徴サンプルを選出するように構成されたスクリーニングモジュール302と、
選出されたピクチャ特徴サンプルに基づきユーザ情報に対応するピクチャ特徴サンプルのサブライブラリを生成して、拡張現実クライアント端末にプッシュし、これにより、拡張現実クライアント端末が、ユーザのオフライン環境における画像走査中に、走査された画像情報に対して、ピクチャ特徴サンプルのサブライブラリに基づき画像認識を遂行するように構成されたプッシュモジュール303とを含む。

【0092】

この実施形態では、ユーザ情報はユーザの位置を含み、
装置30は、
接続されているサードパーティのサーバ端末に記憶されたピクチャサンプルおよびピクチャサンプルに関連した位置を収集し、かつ/または、事前設定のデータ収集アルゴリズムに基づきオンラインサービスデータからピクチャサンプルおよびピクチャサンプルに関連した位置を収集するように構成された収集モジュール304(図3には示されていない)と、
収集されたピクチャサンプルからピクチャ特徴サンプルを抽出して、抽出されたピクチャ特徴サンプルおよびピクチャサンプルに関連した位置に基づきピクチャ特徴サンプルのライブラリをローカルで生成するように構成された生成モジュール305(図3には示されていない)とをさらに含む。

【0093】

この実施形態では、装置は、
オペレータによってピクチャ特徴サンプルのライブラリにおけるピクチャ特徴サンプルのために構成されたプレゼンテーションデータおよびプレゼンテーションデータのために構成されたプレゼンテーション効果を取得するように構成された収集モジュール306(図3には示されていない)と、
取得されたプレゼンテーションデータおよびプレゼンテーション効果をピクチャ特徴サンプルのライブラリにおけるピクチャ特徴サンプルに関連づけて記憶し、オペレータの更新操作に応答してプレゼンテーションデータおよびプレゼンテーション効果を動的に更新するように構成された記憶モジュール307(図3には示されていない)とをさらに含む。

【0094】

この実施形態では、装置30には、
拡張現実クライアント端末がアップロードした、走査された画像情報を受け取り、生成されたピクチャ特徴サンプルのサブライブラリに基づき、画像情報に対して画像認識を遂行するように構成された認識モジュール308(図3には示されていない)がさらに含まれる。

【0095】

この実施形態では、プッシュモジュール303は、画像情報から、ピクチャ特徴サンプルのサブライブラリにおけるいずれかのピクチャ特徴サンプルに対応するオフラインターゲットが認識されたとき、ピクチャ特徴サンプルに関連したプレゼンテーションデータおよびプレゼンテーションデータに関連したプレゼンテーション効果を拡張現実クライアント端末にプッシュし、これにより、拡張現実クライアント端末が、拡張現実シーンにおけるオフラインターゲットに対応する位置に、プレゼンテーションデータを、プレゼンテーション効果に基づいて拡張されたやり方で表示するようにさらに構成されている。

【0096】

この実施形態では、スクリーニングモジュール302は、
拡張現実クライアント端末によってアップロードされたユーザの位置と、ピクチャ特徴サンプルのライブラリにおけるピクチャ特徴サンプルに関連した位置の間の距離を計算して、
ピクチャ特徴サンプルのライブラリから、事前設定の閾値未満の距離を有するピクチャ特徴サンプルを選出するように構成されている。

【0097】

この実施形態では、ユーザ情報はユーザの挙動ログをさらに含み、
スクリーニングモジュール302は、
収集されたユーザの挙動ログに対するビッグデータ分析を遂行してユーザの挙動の選好を判定し、
事前設定の閾値未満の距離を有するピクチャ特徴サンプルからユーザの挙動の選好を満たすピクチャ特徴サンプルをさらに選出するようにさらに構成されている。

【0098】

装置の実施形態は、基本的に方法の実施形態に対応するものである。したがって、関係のある部分については、方法の実施形態の説明が参照されてよい。説明された装置の実施形態は単なる例示であり、個別の部分として説明されたユニットは、物理的に分離していても分離していなくてもよい。ユニットとして表示された部分は、物理装置であってもなくてもよく、すなわち、その部分は1個所に配置されてよく、または複数のネットワークユニット上に分散してもよい。本出願の解決策の目的を実施するために、いくつかまたはすべてのモジュールが、実際の要件に応じて選択され得る。当業者なら、創造的な努力をしなくても、本出願を理解しかつ実施し得る。

【0099】

前述の実施形態において示された装置、モジュール、またはユニットは、コンピュータチップもしくはコンピュータエンティティ、または特定の機能を有する製品によって実施され得るものである。一般的な実装デバイスはコンピュータである。コンピュータの特定の形態は、パソコン、ラップトップコンピュータ、携帯電話、カメラ付き携帯電話、スマートフォン、携帯情報端末、メディアプレーヤ、ナビゲーションデバイス、電子メール送受デバイス、ゲーム機、タブレットコンピュータ、ウェアラブルデバイス、またはこれらのデバイスのうちのいくつかの組合せでよい。

【0100】

当業者なら、本明細書を検討して、本明細書で開示された本発明を実施した後には、本出願の他の実装形態の解決策を容易に思いつくことができる。本出願は、本出願のあらゆる変形形態、用法、または改造を対象として含むように意図されている。これらの変形形態、用法、または改造は、本出願の一般的原理に従うものであり、本出願には開示されていない、当技術分野における周知の事実または従来の技術手段を含む。明細書および実施形態は単なる例示と見なされ、本出願の実際の範囲および精神は以下の特許請求の範囲によって指示される。

【0101】

本出願は、上記で説明されて添付図面に示されたものと少しも違わない構造に限定されるものではなく、本出願の範囲から逸脱することなく様々な修正形態および変更形態が作製され得ることを理解されたい。本出願の範囲は、添付の特許請求の範囲によってのみ限定される。

【0102】

上記で説明されたことは本出願の望ましい実施形態でしかなく、本出願を制限するようには意図されてはいない。本出願の精神および原理の範囲内でなされる、いかなる変更、等価な置換または改善も、本出願の保護範囲内に入るものとする。

【符号の説明】

【0103】

30 画像認識装置、不揮発性記憶デバイス
301 収集モジュール
302 スクリーニングモジュール
303 プッシュモジュール
304 収集モジュール
305 生成モジュール
306 収集モジュール
307 更新モジュール
308 認識モジュール

【図1】

【図2】

【図3】

【図4】