特許 5965468 現実感拡張方法、クライアントデバイス、及びサーバ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5965468

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】現実感拡張方法、クライアントデバイス、及びサーバ

(51)【国際特許分類】

   G06T 19/00 20110101AFI20160721BHJP

   G06F 3/0481 20130101ALI20160721BHJP

   G06Q 30/02 20120101ALI20160721BHJP

   G06F 17/30 20060101ALI20160721BHJP

【ＦＩ】

   G06T19/00 600

   G06F3/0481 150

   G06Q30/02

   G06F17/30 320Z

   G06F17/30 360Z

【請求項の数】15

【外国語出願】

【全頁数】16

(21)【出願番号】特願2014-256352(P2014-256352)

(22)【出願日】2014年12月18日

(65)【公開番号】特開2015-204100(P2015-204100A)

(43)【公開日】2015年11月16日

【審査請求日】2015年1月19日

(31)【優先権主張番号】201410149033.2

(32)【優先日】2014年4月14日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】513224353

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】ヤン，チュンヨン

(72)【発明者】

【氏名】ヘ，ゾウゾウ

(72)【発明者】

【氏名】フ，ゼンチァオ

(72)【発明者】

【氏名】スイ，イン

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１３−２１１０２７（ＪＰ，Ａ）

【文献】 特開２０１３−２００７９３（ＪＰ，Ａ）

【文献】 特開２０１３−１０９７６８（ＪＰ，Ａ）

【文献】 特開２０１２−２１２３４３（ＪＰ，Ａ）

【文献】 特開２００６−９１３９０（ＪＰ，Ａ）

【文献】 特開２００２−２４７６０２（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１１７９７７（ＷＯ，Ａ１）

【文献】 沈瑞末, 外２名，”拡張現実感を用いた音の可視化手法”，マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２０１２）シンポジウム論文集 情報処理学会シンポジウムシリーズ，日本，一般社団法人情報処理学会，２０１２年 ６月２７日，第２０１２巻, 第１号，p.453-458

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００−１９／２０

Ｇ０６Ｆ ３／０１，３／０４８−３／０４８９

Ｇ０６Ｆ １７／３０

Ｇ０６Ｑ ３０／０２

(57)【特許請求の範囲】

【請求項1】

現実感拡張方法において、
識別されるべきオブジェクトの画像情報を含む、該オブジェクトに関する情報を得て、
前記画像情報をサーバに送信して、該画像情報に応じて前記サーバから戻された、前記オブジェクトの拡張情報及び該拡張情報の表示位置情報を受信し、
該表示位置情報に応じて前記拡張情報及び画像情報を合わせて表示し、
前記拡張情報は、
前記オブジェクトの画像情報を識別して、該画像情報の識別されるべき複数の第２のオブジェクト、第２のオブジェクト夫々の名称、第２のオブジェクト夫々の識別確率、及び第２のオブジェクト夫々の位置情報を得て、
対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得て、対象の第２のオブジェクトの識別確率が前記所定の閾値より小さいと判定した場合、対象の第２のオブジェクトの識別確率が前記所定の閾値より大きくなるまで、対象の第２のオブジェクトを再識別し、
得られた識別結果に応じて前記識別されるべきオブジェクトの拡張情報を生成する
ことにより得られた情報であることを特徴とする方法。

【請求項2】

前記情報は、前記オブジェクトの音情報及び位置情報を更に含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記画像情報を前記サーバに送信する際に、前記画像情報を前処理して処理された情報を得て、該処理された情報を前記サーバに送信する、及び／又は
前記表示位置情報に応じて前記拡張情報及び画像情報を合わせて表示する際に、ホログラフィ正面投影表示モードを含む所定のモードで前記拡張情報及び画像情報を合わせて表示することを特徴とする請求項１又は２に記載の方法。

【請求項4】

現実感拡張方法において、
クライアントによって送信された、識別されるべき第１のオブジェクトの画像情報を含む、該第１のオブジェクトに関する情報を受信し、
前記画像情報を識別して識別結果を得て、該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成し、
前記クライアントが前記表示位置情報に応じて拡張情報及び画像情報を合わせて表示するように、前記拡張情報及び前記表示位置情報を前記クライアントに戻し、
前記画像情報を識別して識別結果を得る際に、
前記第１のオブジェクトの画像情報を識別して、該画像情報の識別されるべき複数の第２のオブジェクト、第２のオブジェクト夫々の名称、第２のオブジェクト夫々の識別確率、及び第２のオブジェクト夫々の位置情報を得て、
対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得て、対象の第２のオブジェクトの識別確率が前記所定の閾値より小さいと判定した場合、対象の第２のオブジェクトの識別確率が前記所定の閾値より大きくなるまで、対象の第２のオブジェクトを再識別することを特徴とする方法。

【請求項5】

現実感拡張方法において、
クライアントによって送信された、識別されるべき第１のオブジェクトの画像情報を含む、該第１のオブジェクトに関する情報を受信し、
前記第１のオブジェクトに対応するタイプ情報を得て、該タイプ情報に応じて使用されるべき識別モデルの順序を決定し、該順序に従って前記識別モデルを使用して前記情報を識別し、識別結果を得る、及び／又は
前記識別モデルを並行に使用して前記情報を識別して識別結果を得て、
該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成し、
前記クライアントが前記表示位置情報に応じて拡張情報及び画像情報を合わせて表示するように、前記拡張情報及び前記表示位置情報を前記クライアントに戻すことを特徴とする方法。

【請求項6】

前記順序に従って前記識別モデルを使用して前記情報を識別し、識別結果を得る際に、ローカル情報源から得られた情報と組み合わせて前記順序に従って前記識別モデルを使用して前記情報を識別し、識別結果を得る、及び／又は
前記識別モデルを並行に使用して前記情報を識別して識別結果を得る際に、ローカル情報源から得られた情報と組み合わせて前記識別モデルを並行に使用して前記情報を識別し、識別結果を得ることを特徴とする請求項５に記載の方法。

【請求項7】

前記情報を識別して識別結果を得る際に、
前記第１のオブジェクトの画像情報を識別して、該画像情報の識別されるべき複数の第２のオブジェクト、第２のオブジェクト夫々の名称、第２のオブジェクト夫々の識別確率、及び第２のオブジェクト夫々の位置情報を得て、
対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得て、対象の第２のオブジェクトの識別確率が前記所定の閾値より小さいと判定した場合、対象の第２のオブジェクトの識別確率が前記所定の閾値より大きくなるまで、対象の第２のオブジェクトを再識別することを特徴とする請求項６に記載の方法。

【請求項8】

前記識別結果に応じて前記第１のオブジェクトの拡張情報を生成する際に、前記識別結果に応じて前記第１のオブジェクトの関連情報をローカル情報源から得て、前記関連情報及び識別結果を統合して前記拡張情報を生成する、及び／又は
前記情報は、前記第１のオブジェクトの音情報及び位置情報を更に含むことを特徴とす
る請求項４乃至７のいずれかに記載の方法。

【請求項9】

識別されるべきオブジェクトの画像情報を含む、該オブジェクトに関する情報を得るように構成された取得モジュールと、
前記画像情報をサーバに送信して、該画像情報に応じて前記サーバから戻された、前記オブジェクトの拡張情報及び該拡張情報の表示位置情報を受信するように構成された通信モジュールと、
前記表示位置情報に応じて前記拡張情報及び前記画像情報を合わせて表示するように構成された表示モジュールと
を備え、
前記拡張情報は、
前記オブジェクトの画像情報を識別して、該画像情報の識別されるべき複数の第２のオブジェクト、第２のオブジェクト夫々の名称、第２のオブジェクト夫々の識別確率、及び第２のオブジェクト夫々の位置情報を得て、
対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得て、対象の第２のオブジェクトの識別確率が前記所定の閾値より小さいと判定した場合、対象の第２のオブジェクトの識別確率が前記所定の閾値より大きくなるまで、対象の第２のオブジェクトを再識別し、
得られた識別結果に応じて前記識別されるべきオブジェクトの拡張情報を生成する
ことにより得られた情報であることを特徴とするクライアントデバイス。

【請求項10】

前記情報は、前記オブジェクトの音情報及び位置情報を更に含む、及び／又は
前記通信モジュールは、前記画像情報を前処理して処理された情報を得て、該処理された情報を前記サーバに送信するように構成されている、及び／又は
前記表示モジュールは、ホログラフィ正面投影表示モードを含む所定のモードで前記拡張情報及び前記画像情報を合わせて表示するように構成されていることを特徴とする請求項９に記載のクライアントデバイス。

【請求項11】

クライアントによって送信された、識別されるべき第１のオブジェクトの画像情報を含む、前記第１のオブジェクトに関する情報を受信するように構成された受信モジュールと、
前記画像情報を識別して識別結果を得て、該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成するように構成された処理モジュールと、
前記クライアントが前記表示位置情報に応じて前記拡張情報及び前記画像情報を表示するように、前記拡張情報及び表示位置情報を前記クライアントに戻すように構成された戻しモジュールと
を備え、
前記処理モジュールは、
前記第１のオブジェクトの画像情報を識別して、該画像情報の識別されるべき複数の第２のオブジェクト、第２のオブジェクト夫々の名称、第２のオブジェクト夫々の識別確率及び第２のオブジェクト夫々の位置情報を得るように構成された第１の識別サブユニットと、
対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得る、又は、対象の第２のオブジェクトの識別確率が前記所定の閾値より小さいと判定した場合、対象の第２のオブジェクトの識別確率が前記所定の閾値より大きくなるまで対象の第２のオブジェクトを再識別するように構成された第２の識別サブユニットと
を有する識別ユニットを含むことを特徴とするサーバ。

【請求項12】

クライアントによって送信された、識別されるべき第１のオブジェクトの画像情報を含む、前記第１のオブジェクトに関する情報を受信するように構成された受信モジュールと、
前記情報を識別して識別結果を得て、該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成するように構成された処理モジュールと、
前記クライアントが前記表示位置情報に応じて前記拡張情報及び前記画像情報を表示するように、前記拡張情報及び表示位置情報を前記クライアントに戻すように構成された戻しモジュールと
を備え、
前記処理モジュールは、
前記第１のオブジェクトに対応するタイプ情報を得て、該タイプ情報に応じて使用されるべき識別モデルの順序を決定し、該順序に従って対応する識別モデルを使用して前記情報を識別して識別結果を得るように構成された識別ユニット、及び／又は
対応する識別モデルを並行に使用して前記情報を識別して識別結果を得るように構成された識別ユニット
を有していることを特徴とするサーバ。

【請求項13】

前記識別ユニットは、ローカル情報源から得られる情報と組み合わせて前記順序に従って前記識別モデルを使用して前記情報を識別し、識別結果を得るように構成されている、及び／又は
前記識別ユニットは、前記ローカル情報源から得られる情報と組み合わせて前記識別モデルを並行に使用して前記情報を識別し、識別結果を得るように構成されていることを特徴とする請求項１２に記載のサーバ。

【請求項14】

前記識別ユニットは、
前記第１のオブジェクトの画像情報を識別して、該画像情報の識別されるべき複数の第２のオブジェクト、第２のオブジェクト夫々の名称、第２のオブジェクト夫々の識別確率及び第２のオブジェクト夫々の位置情報を得るように構成された第１の識別サブユニットと、
対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得る、又は、対象の第２のオブジェクトの識別確率が前記所定の閾値より小さいと判定した場合、対象の第２のオブジェクトの識別確率が前記所定の閾値より大きくなるまで対象の第２のオブジェクトを再識別するように構成された第２の識別サブユニットと
を有することを特徴とする請求項１３に記載のサーバ。

【請求項15】

前記処理モジュールは、前記識別結果に応じてローカル情報源から前記第１のオブジェクトの関連情報を得て、該関連情報及び前記識別結果を統合し、前記拡張情報を生成するように構成された統合ユニットを有している、及び／又は
前記情報は、前記第１のオブジェクトの音情報及び位置情報を更に含むことを特徴とする請求項１１乃至１４のいずれかに記載のサーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態は一般的にコンピュータ技術の分野に関し、より具体的には現実感拡張方法、クライアントデバイス及びサーバに関する。

【背景技術】

【0002】

拡張現実（AR）技術は、仮想現実感に基づいて開発された新しい技術であり、この技術は、コンピュータシステムによって与えられる情報により現実世界のユーザの知覚を拡張して、仮想オブジェクト、仮想シーン及びシステム命令情報を現実シーンに加えるため、現実感「拡張」が実現される。

【0003】

現在、ソーシャルアプリケーションプログラム、地図アプリケーションプログラムなどの、AR技術を使用したアプリケーションプログラムにおける現実感拡張コンテンツが、開発者によって完成している。具体的には、開発者は、地理的位置及びイメージマークマッチに基づく現実感拡張コンテンツを準備し、ユーザが現実感拡張コンテンツに応じて所望のオブジェクトの有用な情報を得ることができるようにアプリケーションプログラムのソフトウェア開発キット（SDK ）に現実感拡張コンテンツを密閉する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、AR技術を使用した従来のアプリケーションプログラムは、画像識別に基づいたモードの効果が不十分であるという主な理由により、画像識別情報に基づいた現実感拡張のモードを完全にはサポートしていない可能性がある。特には、ユーザが画像に基づいた従来のアプリケーションプログラムに要求を送信し、画像もアプリケーションプログラムによって識別され得る場合、ユーザが有用な情報を得ることができるように、画像の有用な情報が示され得ない。従って、従来のアプリケーションプログラムによってもたらされる経験は理想的ではない。

【0005】

本開示の実施形態は、関連技術に存在する問題の少なくとも１つを少なくともある程度まで解決しようとしている。

【0006】

従って、本開示の第１の目的は、現実感拡張のための新しい相互作用方法を提供し得る現実感拡張方法を提供することである。該現実感拡張方法では、識別されるべきオブジェクトの拡張情報をオブジェクトの画像情報に応じて得ることができ、ひいてはユーザが、拡張情報に応じてオブジェクトの有用な情報を得ることができる。前記方法により、ユーザが識別されるべきオブジェクトを知ることが便利になり、ユーザ経験が高められる。

【0007】

本開示の第２の目的は、現実感拡張方法を提供することである。

【0008】

本開示の第３の目的は、クライアントデバイスを提供することである。

【0009】

本開示の第４の目的は、サーバを提供することである。

【課題を解決するための手段】

【0010】

上記の目的を達成するために、本開示の第１の態様の実施形態は現実感拡張方法を提供する。本開示の実施形態に係る現実感拡張方法では、識別されるべきオブジェクトの画像情報を含む、該オブジェクトに関する情報を得て、該情報をサーバに送信して、該情報に応じて前記サーバから戻された、前記オブジェクトの拡張情報及び該拡張情報の表示位置情報を受信し、該表示位置情報に応じて前記拡張情報及び前記画像情報を合わせて表示する。

【0011】

本開示の実施形態に係る現実感拡張方法では、識別されるべきオブジェクトに関する情報をサーバに送信して、該サーバから戻された、前記オブジェクトの拡張情報及び該拡張情報の表示位置情報を受信し、前記オブジェクトの画像情報及び拡張情報を合わせて表示する。このようにして、ユーザは拡張情報によってオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべきオブジェクトを知ることを便利にする。

【0012】

本開示の第２の態様の実施形態は現実感拡張方法を提供する。本開示の実施形態に係る現実感拡張方法では、クライアントによって送信された、識別されるべき第１のオブジェクトの画像情報を含む、該第１のオブジェクトに関する情報を受信し、該情報を識別して識別結果を得て、該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成し、前記クライアントが前記表示位置情報に応じて拡張情報及び画像情報を合わせて表示するように、前記拡張情報及び前記表示位置情報を前記クライアントに戻す。

【0013】

本開示の実施形態に係る現実感拡張方法では、クライアントによって送信された、識別されるべき第１のオブジェクトに関する情報を受信し、該情報を識別して識別結果を得て、該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成し、前記拡張情報及び前記表示位置情報を前記クライアントに送信する。従って、現実感拡張のための新しい相互作用モードが提供されるため、クライアントは識別されるべき第１のオブジェクトの拡張情報を得ることができる。このようにして、ユーザは拡張情報によってオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべき第１のオブジェクトを知ることを便利にする。

【0014】

本開示の第３の態様の実施形態はクライアントデバイスを提供する。本開示の実施形態に係るクライアントデバイスは、識別されるべきオブジェクトの画像情報を含む、該オブジェクトに関する情報を得るように構成された取得モジュールと、前記情報をサーバに送信して、該情報に応じて前記サーバから戻された、前記オブジェクトの拡張情報及び該拡張情報の表示位置情報を受信するように構成された通信モジュールと、前記表示位置情報に応じて前記拡張情報及び前記画像情報を合わせて表示するように構成された表示モジュールとを備えている。

【0015】

本開示の実施形態に係るクライアントデバイスでは、前記取得モジュールは、識別されるべきオブジェクトに関する情報を得て、前記通信モジュールは前記情報をサーバに送信して、該サーバから戻された、前記オブジェクトの拡張情報及び該拡張情報の表示位置情報を受信し、前記表示モジュールは、前記オブジェクトの画像情報及び拡張情報を合わせて表示する。このようにして、ユーザは拡張情報によってオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべきオブジェクトを知ることを便利にする。

【0016】

本開示の第４の態様の実施形態はサーバを提供する。本開示の実施形態に係るサーバは、クライアントによって送信された、識別されるべき第１のオブジェクトの画像情報を含む、前記第１のオブジェクトに関する情報を受信するように構成された受信モジュールと、前記情報を識別して識別結果を得て、該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成するように構成された処理モジュールと、前記クライアントが前記表示位置情報に応じて前記拡張情報及び前記画像情報を表示するように、前記拡張情報及び表示位置情報を前記クライアントに戻すように構成された戻しモジュールとを備えている。

【0017】

本開示の実施形態に係るサーバでは、前記受信モジュールは、クライアントによって送信された、識別されるべき第１のオブジェクトに関する情報を受信して、前記処理モジュールは前記情報を識別して識別結果を得て、該識別結果に応じて前記第１のオブジェクトの拡張情報及び該拡張情報の表示位置情報を生成し、前記戻しモジュールは、前記拡張情報及び表示位置情報をクライアントに送信する。従って、現実感拡張のための新しい相互作用モードが提供されるため、クライアントは識別されるべき第１のオブジェクトの拡張情報を得ることができる。このようにして、ユーザは拡張情報によってオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべき第１のオブジェクトを知ることを便利にする。

【0018】

本開示の実施形態の更なる態様及び利点は、以下の記載にある程度述べられており、以下の記載からある程度明らかになるか、又は本開示の実施形態の実施から習得される。

【0019】

本開示の実施形態のこれら及び他の態様及び利点は、添付図面を参照した以下の記載から明らかになり、より容易に理解される。

【図面の簡単な説明】

【0020】

【図1】本開示の実施形態に係る現実感拡張方法を示すフローチャートである。

【図2】本開示の実施形態に係る現実感拡張方法を示すフローチャートである。

【図3】本開示の実施形態に係るクライアントデバイスを示す概略図である。

【図4】本開示の実施形態に係るサーバを示す概略図である。

【図5】本開示の別の実施形態に係るサーバを示す概略図である。

【発明を実施するための形態】

【0021】

本開示の実施形態を詳細に述べる。本開示の実施形態が図面に示されており、図面には同一若しくは同様の要素、又は同一若しくは同様の機能を有する要素が、本明細書を通じて同一の参照番号によって示されている。本明細書に図面を参照して記載されている実施形態は説明及び実例のためのものであり、本開示を限定するためと解釈されてはならない。

【0022】

本開示の実施形態に係る現実感拡張方法、クライアントデバイス及びサーバを、図面を参照して以下に詳細に述べる。

【0023】

図１は、本開示の実施形態に係る現実感拡張方法を示すフローチャートである。本実施形態をクライアント側で述べる。図１に示されているように、本開示の実施形態に係る現実感拡張方法は、以下のステップを有する。

【0024】

ステップS101では、識別されるべきオブジェクトに関する情報を得る。該情報はオブジェクトの画像情報を含む。

【0025】

ある実施形態では、クライアントは、モバイル端末又は現実感拡張グラスのようなウェアラブル装置であってもよい。モバイル端末は、携帯電話、タブレットコンピュータなどの様々な操作システムを有するあらゆるハードウェアデバイスであってもよい。

【0026】

ある実施形態では、識別されるべきオブジェクトの情報は、識別されるべきオブジェクトの音情報、位置情報、及びセンサによって取得可能な様々なデータの内の少なくとも１つを更に含む。

【0027】

ある実施形態では、クライアントは、オンされた後、カメラを用いることにより識別されるべきオブジェクトの画像情報を得て、音収集デバイスを用いることにより識別されるべきオブジェクトの音情報を得て、位置収集モジュールを用いることにより識別されるべきオブジェクトの位置情報を得てもよい。

【0028】

ステップS102では、前記情報をサーバに送信し、該情報に応じてサーバから戻された、オブジェクトの拡張情報及び拡張情報の表示位置情報を受信する。

【0029】

ある実施形態では、識別されるべきオブジェクトの拡張情報が、推薦情報、音情報及び地理的なサービス情報の内の少なくとも１つを含んでもよいが、これに限定されなくてもよい。

【0030】

ある実施形態では、クライアントは、識別されるべきオブジェクトの画像情報、音情報及び位置情報を受信した後、処理された情報に応じて拡張情報を戻すためのサーバの効率を高めるように、画像情報を分割する及び／又は圧縮する、音情報をノイズ除去する及び／又はフィルタ処理するなど、情報を前処理して処理された情報を得てもよい。

【0031】

ある実施形態では、クライアントは、情報を前処理した後、処理された情報をサーバに送信する。サーバは、識別されるべきオブジェクトの情報を受信した後、情報を識別して識別結果を得て、識別結果に応じて、識別されるべきオブジェクトの拡張情報及び拡張情報の表示位置情報を生成し、拡張情報及び表示位置情報をクライアントに戻す。

【0032】

ある実施形態では、拡張情報の表示位置情報は、サーバによって識別されるべきオブジェクトの画像情報に予め設定されている位置であって、拡張情報を示すことができる該位置を含んでもよい。

【0033】

ステップS103では、表示位置情報に応じてオブジェクトの拡張情報及び画像情報を合わせて表示する。

【0034】

ある実施形態では、クライアントは、サーバから戻された拡張情報及び表示位置情報を受信して、拡張情報を描画し、クライアントによって得られた画像情報に所定のモードで重ねる。例えば、拡張情報及び画像情報は、画像情報に表示される拡張情報が三次元空間感覚を与えることができるホログラフィ正面投影表示モードで表示されてもよい。このように、拡張情報及び画像情報を合わせて表示することができ、従って、画像情報の現実感を高めて、ユーザが識別されるべきオブジェクトを知ることを便利にする。

【0035】

ある実施形態では、例えば、中華人民共和国の北京にある紫禁城の画像情報及び地理情報に基づいて紫禁城の拡張情報を得るために、現実感拡張方法を使用する。まず、画像情報をクライアントで得る。クライアントは、（画像情報を分割して圧縮するなど）画像情報を前処理して処理された画像情報を得て、処理された画像情報及び地理情報をサーバに送信する。サーバは、クライアントから送信された、識別されるべきオブジェクト（つまり、紫禁城）の画像情報及び地理情報を受信した後、識別されるべきオブジェクトのタイプをまず検出して、オブジェクトがシーンであると決定し、次に地理情報をまず識別し、その後で画像情報を識別する。具体的には、まず、識別されるべきオブジェクトの地理情報を識別して、オブジェクトの位置情報を得て、その後、画像情報に対応する簡単な情報を得るように画像情報をサーバ内の画像識別モデルに応じて識別する。その後、画像情報の詳細情報及び推薦データを簡単な情報に応じて情報源システムから得る。画像情報の位置情報、詳細情報及び推薦データが、紫禁城の画像情報の拡張情報である。サーバは、紫禁城の画像情報の拡張情報を得た後、拡張情報の表示位置情報を生成して拡張情報及び表示位置情報をクライアントに戻す。最後に、クライアントは紫禁城の画像情報及び拡張情報を合わせて表示する。ある実施形態では、サーバは、紫禁城の画像情報に対応する音声ファイルをローカル情報源から得てもよい。音声ファイルは、紫禁城の画像情報にシーン又はオブジェクトの音声概要を含んでもよい。音声概要を用いて、ユーザは、紫禁城のシーン又はオブジェクトに関する情報を更に学習してもよい。

【0036】

ある実施形態では、例えば、犬の画像情報及び音情報に基づいて犬の拡張情報を得るために、現実感拡張方法を使用する。まず、犬の画像情報及び音情報をクライアントを介してサーバにアップロードする。サーバは、クライアントから送信された、識別されるべきオブジェクト（つまり犬）の画像情報及び音情報を受信し、まずオブジェクトのタイプを検出して、オブジェクトが動物であると決定し、次に音情報をまず識別して、その後で画像情報を識別する。具体的には、音情報に対応する犬の種類を得るように、ローカルに記憶された音識別モデルに応じて音情報を識別する。その後、犬の名称のような、画像情報に対応する簡単な情報を得るように、ローカルに記憶された画像識別モデルに応じて画像情報を識別する。犬の特性、飼育情報、近くの動物病院などの詳細情報及び推薦データを含む拡張情報を、簡単な情報に応じて情報源システムから得てもよい。画像情報に関する、拡張情報の表示位置情報を生成し、拡張情報及び表示位置情報をクライアントに送信する。クライアントは最後に、ユーザの画像情報及び拡張情報を合わせて表示する。このように、ユーザは犬に関するより完全な知識を有することができ、ひいてはユーザによる犬の飼育を便利にする。

【0037】

ある実施形態では、例えば、サーバは車輌の画像情報を得た後、（有名な自動車、価格、性能、関連する購入推薦データなどの）拡張情報及び表示位置情報をクライアントに戻してもよく、従って、ユーザはクライアントに示される拡張情報に応じて車輌のより完全な知識を有することができ、ユーザ経験が高められ得る。

【0038】

本開示の実施形態に係る現実感拡張方法では、識別されるべきオブジェクトに関する情報をサーバに送信し、サーバから戻されたオブジェクトの拡張情報及び拡張情報の表示位置情報を受信し、オブジェクトの画像情報及び拡張情報を合わせて表示する。このように、ユーザは拡張情報によってオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべきオブジェクトを知ることを便利にする。

【0039】

図２は、本開示の実施形態に係る現実感拡張方法を示すフローチャートである。本実施形態をサーバ側で述べる。図２に示されているように、本開示の実施形態に係る現実感拡張方法は、以下のステップを有する。

【0040】

ステップS201では、クライアントによって送信された、識別されるべき第１のオブジェクトの情報を受信する。

【0041】

ある実施形態では、サーバは、クライアントによって送信された、識別されるべきオブジェクトの画像情報だけでなく、識別されるべきオブジェクトの音情報及び位置情報並びに様々なセンサから取得可能なデータの内の少なくとも１つも受信してもよい。

【0042】

ステップS202では、情報を識別して識別結果を得て、識別結果に応じて第１のオブジェクトの拡張情報及び拡張情報の表示位置情報を生成する。

【0043】

ある実施形態では、複数の識別モデルを順番に／並行に使用して情報を識別してもよい。ある実施形態では、識別モデルを順番に使用して情報を識別する。本実施形態では、まず、識別されるべきオブジェクトのタイプ情報を得て、使用される識別モデルの順序をタイプ情報に応じて決定し、その後、順序に従って識別モデルを使用して情報を識別し、最後に識別結果を得る。例えば、識別されるべきオブジェクトの音情報をまず識別し、オブジェクトがあるタイプであると識別した後（例えば、ある確率に達した後）、オブジェクトの画像情報を識別し、その後、識別されたあるタイプに基づいて画像情報を更に識別し、それ故、識別確率が高められる。オブジェクトのカテゴリをオブジェクトの特定の名称（例えば識別子）を識別せずに決定する場合、識別結果を得るように、決定したカテゴリでオブジェクトの音情報又は他の情報を識別する。ある実施形態では、識別モデルを並行に使用して情報を識別し、その後、識別結果を得る。例えば、線形の式Y=ax1+bx2+cx3......によってモデルトレーニングを行なうことにより情報を識別してもよい。Y は、識別されるべきオブジェクトの最終識別確率を表わし、x1は、音識別モデルを使用した識別確率を表し、x2は、画像識別確率を使用した識別確率を表し、x3は、位置識別モデルを使用した識別確率を表し、a,b 及びc は、履歴データに応じた識別モデルに対応する係数を表す。この線形の式は本実施形態において単なる例示として使用されており、二次式又は更に複雑な式を本開示の実施形態で使用してもよい。ある実施形態では、識別モデルの順番に従った使用と組み合わせて識別モデルを並行に使用して情報を識別してもよい。このようにして、識別確率及び識別精度の両方を高めることができる。

【0044】

上述した識別モデルを並行に又は順番に使用した情報の識別が、サーバが統合処理中に使用するアルゴリズムであってもよいことに留意すべきである。サーバが通信機能を有しており、サーバが、通信機能に基づいて上記の典型的なアルゴリズムを使用して識別を行なってもよいことは、本技術分野の当業者に周知である。

【0045】

ある実施形態では、サーバは、クライアントから送信された、識別されるべき第１のオブジェクトに関する情報を得た後、識別されるべき第１のオブジェクトに関する情報に応じて識別されるべき第１のオブジェクトのタイプ情報を得る。タイプ情報は、動物のタイプ、シーンのタイプなどを含んでもよいが、これらに限定されない。識別されるべき第１のオブジェクトのタイプ情報を得た後、タイプ情報に応じて決定された識別モードで情報を識別して識別結果を得る。ある実施形態では、識別されるべき第１のオブジェクトに関する情報の順序をタイプ情報に応じて決定して、順序に従って第１のオブジェクトを識別し、その後、識別結果を得る。

【0046】

ある実施形態では、ローカル情報源から得られる情報に応じて情報を識別モードで識別し、識別結果を得る。ローカル情報源を、百度百科（Baidu Encyclopedia）、検索推薦データなどの内の少なくとも１つに基づいて確立してもよい。

【0047】

ある実施形態では、第１のオブジェクトの画像情報を識別する際に、第１のオブジェクトの画像情報が複数の第２のオブジェクトを含むと判定した場合、画像情報の第２のオブジェクト夫々及び第２のオブジェクト夫々の位置を得るように画像情報を分割し、第２のオブジェクト夫々及び第２のオブジェクト夫々の位置を識別し、その後、画像情報の第２のオブジェクト夫々の名称、識別確率及び位置情報を得る。

【0048】

ある実施形態では、対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得る。ある実施形態では、対象の第２のオブジェクトの識別確率が所定の閾値より小さいと判定した場合、つまり、現在使用されている識別モデルが適切ではない場合、対象の第２のオブジェクトの識別確率が所定の閾値より大きくなるまで、対象の第２のオブジェクトを別の識別モデルを使用して再識別する。

【0049】

ある実施形態では、識別結果を得た後、識別されるべき第１のオブジェクトの関連情報を識別結果に応じてローカル情報源から得る。その後、関連情報及び識別結果を統合して、第１のオブジェクトの拡張情報を生成する。

【0050】

ある実施形態では、本開示の実施形態に係る現実感拡張方法を、２つの犬画像を含む画像情報の拡張情報を得るために使用してもよい。本実施形態の詳細を以下に述べる。

【0051】

本実施形態では、サーバが画像情報をまず分割して、画像情報の２つの犬画像及び犬画像の位置を得て、２つの犬画像を、犬画像の位置に従って、例えば左から右の順序に従って識別する。例えば、左の犬画像をローカルの画像識別モデルに応じて識別して識別確率を得る。識別確率が80％のような所定の閾値より大きい場合、左の犬画像の名称が現在の画像識別モデルに対応する名称であると判定する。識別確率が80％のような所定の閾値より小さい場合、左の犬画像の識別確率が80％のような所定の閾値より大きくなるまで、左の犬画像を別の画像識別モードを使用して再識別し、その後、左の犬画像の名称を現在の画像識別モデルに応じて決定する。左の犬画像の名称を決定した後、犬の特性、飼育情報、近くの動物病院などの左の犬画像の関連情報をローカル情報源から得て、関連情報及び識別結果（例えば、識別されるべき犬画像の名称）を統合し、犬の拡張情報を生成する。

【0052】

画像情報における左の犬画像の拡張情報を得た後、右の犬画像の拡張情報を、上述した処理と同様の処理を使用して得てもよい。

【0053】

ステップS203では、クライアントが拡張情報及び画像情報を合わせて表示するように、拡張情報及び表示位置情報をクライアントに戻す。このようにして、現実感拡張が達成され得る。

【0054】

本開示のある実施形態によれば、画像情報の拡張情報を得た後、拡張情報をクライアントに戻し、クライアントは拡張情報を受信して、拡張情報を描画し、クライアントによって得られた画像情報に所定の方法で重ね、拡張情報及び画像情報をホログラフィ正面投影表示モードで表示してもよい。このように、クライアントは拡張情報及び画像情報を合わせて表示することができ、ひいては、画像情報の現実感を高めて、ユーザが識別されるべきオブジェクトを知ることを便利にする。

【0055】

本開示の実施形態に係る現実感拡張方法では、ヒト脳をシミュレートして情報を一体的に処理し、従って、識別されるべき第１のオブジェクトの識別確率を高める。画像識別は現実感拡張方法において重要である場合があり、様々な異なる識別モデルを順番に及び／又は並行に使用して識別してもよい。従って、識別確率を大幅に高めて、有用な情報源を統合し、それに応じて、現実感拡張のための適用を準備してもよい。

【0056】

本開示の実施形態に係る現実感拡張方法では、クライアントによって送信された、識別されるべき第１のオブジェクトに関する情報を受信し、該情報を識別して識別結果を得て、第１のオブジェクトの拡張情報及び拡張情報の表示位置情報を識別結果に応じて生成し、拡張情報及び表示位置情報をクライアントに送信する。従って、現実感拡張のための新しい相互作用モードが提供されるため、クライアントは識別されるべき第１のオブジェクトの拡張情報を得ることができる。このようにして、ユーザは拡張情報によってオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべき第１のオブジェクトを知ることを便利にする。

【0057】

本開示の実施形態はクライアントデバイスを更に提供する。クライアントデバイスは、携帯端末、現実感拡張グラスのようなウェアラブル装置などに設けられてもよい。携帯端末は、携帯電話、タブレットコンピュータなどの様々な操作システムを有するハードウェアデバイスを含んでいる。

【0058】

図３は、本開示の実施形態に係るクライアントデバイスの概略図である。

【0059】

図３に示されているように、クライアントデバイスは取得モジュール11、通信モジュール12及び表示モジュール13を備えている。

【0060】

取得モジュール11は、識別されるべきオブジェクトに関する情報を得るように構成されている。

【0061】

ある実施形態では、識別されるべきオブジェクトに関する情報はオブジェクトの画像情報を含んでいる。

【0062】

ある実施形態では、識別されるべきオブジェクトに関する情報は、オブジェクトの音情報及び位置情報、並びにセンサによって取得可能な様々なデータを更に含んでいる。

【0063】

ある実施形態では、識別されるべきオブジェクトに関する情報を得るために、取得モジュール11は、画像収集ユニット、音収集ユニット及び位置収集ユニットのようなユニットの内の少なくとも１つを更に含んでもよい。画像収集ユニットはオブジェクトの画像情報を得るように構成されており、音収集ユニットはオブジェクトの音情報を得るように構成されており、位置収集ユニットはオブジェクトの位置情報を得るように構成されている。

【0064】

通信モジュール12は、サーバに情報を送信して、該情報に応じてサーバから戻された、オブジェクトの拡張情報及び拡張情報の表示位置情報を受信するように構成されている。

【0065】

ある実施形態では、拡張情報は推薦情報、音情報及び地理的なサービス情報を含んでもよいが、これらに限定されなくてもよい。

【0066】

通信モジュール12は、情報を前処理して処理された情報を得て、処理された情報をサーバに送信するように構成されている。ある実施形態では、取得モジュール11がオブジェクトの画像情報、音情報及び位置情報を得た後、通信モジュール12は情報を夫々前処理してもよい。例えば、通信モジュール12は、オブジェクトの画像情報を分割して圧縮し、オブジェクトの音情報をノイズ除去してフィルタ処理することによって情報を前処理してもよい。

【0067】

通信モジュール12は、オブジェクトに関する情報を前処理した後、処理された情報をサーバに送信するように構成されている。ある実施形態では、サーバは、オブジェクトに関する情報を得た後、情報を識別して識別結果を得て、識別結果に応じてオブジェクトの拡張情報を生成し、更に拡張情報の表示位置情報を与えて、拡張情報及び拡張情報の表示位置情報をクライアントデバイスに戻す。通信モジュール12は、サーバから戻された拡張情報及び表示位置情報を受信する。

【0068】

表示モジュール13は、表示位置情報に応じてオブジェクトの拡張情報及び画像情報を合わせて表示するように構成されている。従って、現実感拡張が達成され得る。

【0069】

表示モジュール13は、拡張情報及び画像情報を合わせて所定のモードで表示するように構成されている。ある実施形態では、通信モジュール12がサーバから戻された拡張情報及び表示位置情報を受信した後、表示モジュール13は、拡張情報を描画し、クライアントによって得られた画像情報に所定のモードで重ねる。例えば、表示モジュール13は、画像情報に表示される拡張情報が三次元空間感覚を与えることができるホログラフィ正面投影表示モードで拡張情報及び画像情報を表示してもよい。このように、表示モジュール13は拡張情報及び画像情報を合わせて表示し、ひいては、画像情報の現実感を高めて、ユーザが識別されるべきオブジェクトを知ることを便利にする。

【0070】

取得モジュール11、通信モジュール12及び表示モジュール13を備えたクライアントデバイスの現実感拡張処理に関しては、図１に示されている現実感拡張方法を言及しているため、本明細書ではその詳細を省略する。

【0071】

本開示の実施形態に係るクライアントデバイスでは、取得モジュールは、識別されるべきオブジェクトに関する情報を得て、通信モジュールは、サーバに情報を送信して、サーバから戻されたオブジェクトの拡張情報及び拡張情報の表示位置情報を受信し、表示モジュールは、オブジェクトの画像情報及び拡張情報を合わせて表示する。このように、ユーザは拡張情報によってオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべきオブジェクトを知ることを便利にする。

【0072】

本開示の実施形態はサーバを更に提供する。

【0073】

図４は、本開示の実施形態に係るサーバの概略図である。

【0074】

図４に示されているように、サーバは、受信モジュール21、処理モジュール22及び戻しモジュール23を備えている。

【0075】

受信モジュール21は、クライアントによって送信された、識別されるべき第１のオブジェクトに関する情報を受信するように構成されており、該情報は、第１のオブジェクトの画像情報を含む。

【0076】

受信モジュール21は、サーバから送信された第１のオブジェクトの画像情報に加えて、第１のオブジェクトの音情報及び位置情報、並びにセンサによって取得可能なデータを受信するように構成されている。

【0077】

処理モジュール22は、受信モジュール21によって受信した情報を識別して識別結果を得て、識別結果に応じて第１のオブジェクトの拡張情報及び拡張情報の表示位置情報を生成するように構成されている。

【0078】

戻しモジュール23は、クライアントが表示位置情報に応じて拡張情報及び画像情報を合わせて表示するように、拡張情報及び表示位置情報をクライアントに戻すように構成されている。従って、現実感拡張が実現され得る。

【0079】

ある実施形態では、図５に示されているように、処理モジュール22は、識別ユニット221 及び統合ユニット222 を有している。

【0080】

識別ユニット221 は、第１のオブジェクトに対応するタイプ情報を得て、タイプ情報に応じて使用されるべき識別モデルの順序を決定し、順序に従って対応する識別モデルを使用して情報を識別する及び／又は対応する識別モデルを並行に使用して情報を識別して、識別結果を得るように構成されている。統合ユニット222 は、識別結果に応じて第１のオブジェクトの関連情報をローカル情報源から得て関連情報及び識別結果を統合し、第１のオブジェクトの拡張情報を生成するように構成されている。

【0081】

ある実施形態では、受信モジュール21がクライアントから送信された関連情報を受信した後、識別ユニット221 は、第１のオブジェクトの関連情報に応じて第１のオブジェクトのタイプ情報を得る。タイプ情報は動物、シーンなどを含んでもよいが、これらに限定されない。識別ユニット221 は、タイプ情報を得た後、ローカル情報源からの情報と組み合わせて、順序に従って識別モデルを使用して及び／又は識別モデルを並行に使用して関連情報を識別してもよく、その後、識別結果を得る。

【0082】

ある実施形態では、識別ユニット221 は、第１の識別サブユニット2211及び第２の識別サブユニット2212を有している。第１の識別サブユニット2211は、第１のオブジェクトの画像情報を識別して、画像情報の識別されるべき複数の第２のオブジェクト、第２のオブジェクト夫々の名称、第２のオブジェクト夫々の識別確率及び第２のオブジェクト夫々の位置情報を得るように構成されている。第２識別サブユニット2212は、対象の第２のオブジェクトの識別確率が所定の閾値より大きいと判定した場合、対象の第２のオブジェクトの名称及び位置情報に応じて識別結果を得るように構成されている。第２識別サブユニット2212は、対象の第２のオブジェクトの識別確率が所定の閾値より小さいと判定した場合、対象の第２のオブジェクトの識別確率が所定の閾値より大きくなるまで、対象の第２のオブジェクトを再識別するように更に構成されている。

【0083】

受信モジュール21、処理モジュール22及び戻しモジュール23を備えたサーバの現実感拡張処理に関しては、図２に示されている現実感拡張方法を言及しているため、本明細書ではその詳細を省略する。

【0084】

本開示の実施形態に係るサーバでは、受信モジュールは、クライアントによって送信された、識別されるべき第１のオブジェクトに関する情報を受信し、処理モジュールは情報を識別して識別結果を得て、識別結果に応じて第１のオブジェクトの拡張情報及び拡張情報の表示位置情報を生成し、戻しモジュールは拡張情報及び表示位置情報をクライアントに送信する。従って、現実感拡張のための新しい相互作用モードが提供されるため、クライアントは識別されるべき第１のオブジェクトの拡張情報を得ることができる。このようにして、ユーザは、拡張情報によって第１のオブジェクトの有用な情報を得ることができ、ひいてはユーザが識別されるべき第１のオブジェクトを知ることを便利にする。

【0085】

本開示の夫々の部分がハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせによって実現されてもよいと理解される。上記の実施形態では、複数のステップ又は方法が、メモリに記憶されて適切な命令実行システムによって実行されるソフトウェア又はファームウェアによって実現されてもよい。例えば、本開示の夫々の部分が別の実施形態で同様にハードウェアによって実現される場合、前記ステップ又は方法は、本技術分野で公知の技術、つまり、データ信号の論理関数を実現するためのロジックゲート回路を有する別個の論理回路、適切な組み合わせロジックゲート回路を有する特定用途向け集積回路、プログラマブルゲートアレイ（PGA ）、フィールドプログラマブルゲートアレイ（FPGA）などの１つ又は組み合わせによって実現されてもよい。

【0086】

本明細書全体を通じた「実施形態」、「ある実施形態」、「例」、「具体的な例」又は「ある例」への言及は、実施形態又は例に関して述べられている特定の特徴、構造、材料又は特性が本開示の少なくとも１つの実施形態又は例に含まれていることを意味する。本明細書全体を通じたこれらの表現の言及は、必ずしも本開示の同一の実施形態又は例を指さない。更に、特定の特徴、構造、材料又は特性が一若しくは複数の実施形態又は例にあらゆる適切な方法で組み合わせられてもよい。

【0087】

更に、「第１」及び「第２」のような用語は説明するために本明細書で用いられており、相対的な重要性若しくは意義を示すか意味するか、又は参照された技術的特徴の量を暗に示すように意図されていない。従って、「第１」及び「第２」を用いて定められた特徴はこの特徴の一又は複数を有してもよい。本開示の記載では、「複数の」は特に示されていない場合、この特徴の２又は３以上を意味する。

【0088】

説明的な実施形態が示され述べられているが、上記の実施形態は本開示を限定すると解釈されることができず、変更、選択及び調整が本開示の趣旨、原理及び範囲から逸脱することなく本実施形態になされ得ることが当業者によって認識される。

【図1】

【図2】

【図3】

【図4】

【図5】