特許 6105092 光学式文字認識を用いて拡張現実を提供する方法と装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6105092

(24)【登録日】2017年3月10日

(45)【発行日】2017年3月29日

(54)【発明の名称】光学式文字認識を用いて拡張現実を提供する方法と装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20170316BHJP

   G06K 9/20 20060101ALI20170316BHJP

   G06K 9/03 20060101ALI20170316BHJP

   H04N 5/225 20060101ALI20170316BHJP

   H04N 5/232 20060101ALI20170316BHJP

   G09G 5/00 20060101ALI20170316BHJP

【ＦＩ】

   G06T19/00 600

   G06K9/20 340C

   G06K9/03 J

   H04N5/225 F

   H04N5/232 Z

   G09G5/00 550C

   G09G5/00 555D

   G09G5/00 550H

【請求項の数】17

【全頁数】21

(21)【出願番号】特願2015-559220(P2015-559220)

(86)(22)【出願日】2013年3月6日

(65)【公表番号】特表2016-515239(P2016-515239A)

(43)【公表日】2016年5月26日

(86)【国際出願番号】US2013029427

(87)【国際公開番号】WO2014137337

(87)【国際公開日】20140912

【審査請求日】2015年8月24日

(73)【特許権者】

【識別番号】593096712

【氏名又は名称】インテル コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ニーダム，ブラッドフォード，エイチ．

(72)【発明者】

【氏名】ウェルズ，ケヴィン，シー．

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１４−１１００３４（ＪＰ，Ａ）

【文献】 特開２０１３−２５３２６（ＪＰ，Ａ）

【文献】 特開２０１１−２２７６４４（ＪＰ，Ａ）

【文献】 特開平８−３２０９１３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００１９５２６（ＵＳ，Ａ１）

【文献】 国際公開第２０１３／００３２４２（ＷＯ，Ａ１）

【文献】 粟飯原萌, 外３名，”子供向け電子絵本における集中力持続のためのインタフェースの開発と初期評価”，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，２０１２年 ５月１９日，第１１２巻, 第６６号，p.35-38

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００−１９／２０

Ｇ０６Ｋ ９／００−９／８２

Ｇ０９Ｇ ５／００−５／４２

Ｈ０４Ｎ ５／２２２−５／２５７

(57)【特許請求の範囲】

【請求項1】

拡張現実コンテンツのマルチレベルトリガーを処理する方法であって、
拡張現実（ＡＲ）クライアントからターゲット識別子を受け取る、前記ターゲット識別子は所定ＡＲターゲットを前記ＡＲクライアントによりビデオシーン中に検出されたものとして識別する、ステップと、
前記ＡＲクライアントからテキストを受け取る、前記テキストは前記ビデオシーン中の前記所定ＡＲターゲットに関連する光学式文字認識（ＯＣＲ）ゾーンに前記ＡＲクライアントにより実行されるＯＣＲの結果に対応する、ステップと、
前記ターゲット識別子と前記ＡＲクライアントからのテキストに基づいてＡＲコンテンツを取得するステップと、
前記ＡＲコンテンツを前記ＡＲクライアントに送るステップと
を有し、
前記所定ＡＲターゲットはハイレベル分類子として機能し、
前記ハイレベル分類子は前記ＡＲコンテンツのプロバイダを特定する、
方法。

【請求項2】

前記ターゲット識別子と前記ＡＲクライアントからのテキストに基づいてＡＲコンテンツを取得するステップは、前記ＡＲクライアントからのテキストに少なくとも部分的に基づいて前記ＡＲコンテンツを動的に生成するステップを有する、請求項１に記載の方法。

【請求項3】

前記ターゲット識別子と前記ＡＲクライアントからのテキストに基づいてＡＲコンテンツを取得するステップは、リモート処理システムから前記ＡＲコンテンツを自動的に読み出すステップを有する、請求項１に記載の方法。

【請求項4】

前記ＡＲクライアントから受け取るテキストは、前記ＡＲクライアントにより実行された前記ＯＣＲからの結果の少なくとも一部を含む、請求項１に記載の方法。

【請求項5】

光学式文字認識を用いて拡張現実を提供する方法であって、
シーンのビデオに基づいて、前記シーンが所定の拡張現実（ＡＲ）ターゲットを含むか自動的に判断するステップと、
前記シーンが前記ＡＲターゲットを含むとの判断に応じて、前記ＡＲターゲットに関連する光学式文字認識（ＯＣＲ）ゾーン記述を自動的に読み出す、前記ＯＣＲゾーン記述はＯＣＲゾーンを特定する、ステップと、
前記ＡＲターゲットに関連する前記ＯＣＲゾーン記述の読み出しに応じて、自動的にＯＣＲを用いて前記ＯＣＲゾーンからテキストを抽出するステップと、
前記ＯＣＲの結果を用いて、前記ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツを取得するステップと、
前記ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツを、自動的に、前記シーンと共に提示させるステップと、
を有し、
前記ＡＲターゲットはハイレベル分類子として機能し、
前記ハイレベル分類子は前記ＡＲコンテンツのプロバイダを特定する、方法。

【請求項6】

前記ＯＣＲゾーン記述は前記ＡＲターゲットの少なくとも一フィーチャに対する前記ＯＣＲゾーンの少なくとも一フィーチャを特定する、請求項５に記載の方法。

【請求項7】

前記ＡＲターゲットに関連するＯＣＲゾーン記述を自動的に読み出すステップは、前記ＡＲターゲットのターゲット識別子を用いてローカル記憶媒体から前記ＯＣＲゾーン記述を読み出すステップを有する、請求項５に記載の方法。

【請求項8】

前記ＯＣＲの結果を用いて、前記ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツを判断するステップは、
前記ＡＲターゲットのターゲット識別子と前記ＯＣＲゾーンからのテキストの少なくとも一部をリモート処理システムに送るステップと、 前記ターゲット識別子と前記ＯＣＲゾーンからのテキストの少なくとも一部とを前記リモート処理システムに送った後、前記リモート処理システムから前記ＡＲコンテンツを受け取るステップとを有する、
請求項５に記載の方法。

【請求項9】

前記ＯＣＲの結果を用いて、前記ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツを判断するステップは、
ＯＣＲ情報をリモート処理システムに送る、前記ＯＣＲ情報は前記ＯＣＲゾーンから抽出されたテキストに対応する、ステップと、
前記ＯＣＲ情報を前記リモート処理システムに送った後、前記リモート処理システムから前記ＡＲコンテンツを受け取るステップとを有する、
請求項５に記載の方法。

【請求項10】

前記ＯＣＲゾーンからのテキストの少なくとも一部はローレベル分類子として機能する、
請求項５に記載の方法。

【請求項11】

前記ＡＲターゲットは２次元である、請求項５に記載の方法。

【請求項12】

拡張現実コンテンツのマルチレベルトリガーを実装する方法であって、
関連ＡＲコンテンツを特定するためにハイレベル分類子として機能する拡張現実（ＡＲ）ターゲットを選択するステップと、
選択された前記ＡＲターゲットの光学式文字認識（ＯＣＲ）ゾーンを指定する、前記ＯＣＲゾーンはＯＣＲを用いてテキストが抽出されるビデオフレーム内のエリアを構成し、前記ＯＣＲゾーンからのテキストは関連ＡＲコンテンツを特定するローレベル分類子として機能する、ステップと
を有し、
前記ＡＲターゲットはハイレベル分類子として機能し、
前記ハイレベル分類子は前記ＡＲコンテンツのプロバイダを特定する、
方法。

【請求項13】

選択された前記ＡＲターゲットのＯＣＲゾーンを指定するステップは、前記ＡＲターゲットの少なくとも一フィーチャに対して前記ＯＣＲゾーンの少なくとも一フィーチャを指定するステップを有する、請求項１２に記載の方法。

【請求項14】

光学式文字認識でエンハンスされた拡張現実をサポートするコンピュータ命令を有する少なくとも１つのマシンアクセス可能記憶媒体であって、前記コンピュータ命令は、データ処理システムで実行されると、前記データ処理システムが請求項１乃至１３いずれか一項に記載の方法を実行できるようにする、マシンアクセス可能記憶媒体。

【請求項15】

光学式文字認識でエンハンスされた拡張現実をサポートするデータ処理システムであって、
処理要素と、
前記処理要素に応答する少なくとも１つのマシンアクセス可能媒体と、
前記少なくとも１つのマシンアクセス可能媒体に少なくとも部分的に記憶された、実行されると、前記データ処理システムが請求項１乃至１３いずれか一項に記載の方法を実行できるようにするコンピュータ命令と
を有するデータ処理システム。

【請求項16】

光学式文字認識でエンハンスされた拡張現実をサポートするデータ処理システムであって、
請求項１乃至１３いずれか一項に記載の方法を実行する手段を有する、データ処理システム。

【請求項17】

光学式文字認識でエンハンスされた拡張現実をサポートするコンピュータプログラムであって、データ処理システムで実行されると、前記データ処理システムに請求項１乃至１３いずれか一項に記載の方法のステップを実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

ここに説明する実施形態は、概してデータ処理に関し、特に光学式文字認識を用いて拡張現実を提供する方法と装置に関する。

【背景技術】

【0002】

データ処理システムは、そのユーザがビデオを撮影して表示できるフィーチャを含む。ビデオを撮影した後、ビデオ編集ソフトウェアを用いて、例えばタイトルをスーパーインポーズすることにより、そのビデオのコンテンツを改変する。さらに、最近の発展により拡張現実（ＡＲ）として知られる分野が出現した。商標「ウィキペディア（ＷＩＫＩＰＥＤＩＡ）」として提供されているオンラインエンサイクロペディアで「拡張現実」（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）として説明されているように、ＡＲは物理的な実世界環境のライブの直接的又は間接的なビューであり、その要素はサウンド、ビデオ、グラフィックス又はＧＰＳデータなどのコンピュータにより生成された感覚入力により拡張（ａｕｇｍｅｎｔｅｄ）されている。一般的に、ＡＲを用いて、ビデオをリアルタイムで修正する。例えば、テレビジョン（ＴＶ）局がアメリカンフットボールゲームのライブビデオを放送している時、ＴＶ局はデータ処理システムを用いてリアルタイムでビデオを修正する。例えば、データ処理システムは、フットボール場に黄色い線をスーパーインポーズして、オフェンスチームが最初のダウンをうばうのにボールをどこまで持って行かねばならないかを示す。

【0003】

また、幾つかの企業はよりパーソナルなレベルでＡＲを用いることを可能とする技術を開発している。例えば、幾つかの企業は、スマートフォンが撮影したビデオに基づいて、そのスマートフォンがＡＲを提供できる技術を開発している。このタイプのＡＲはモバイルＡＲの一例と考えられる。モバイルＡＲは大きく分けて異なる２つのタイプの体験、すなわちジオロケーションベースＡＲとビジョンベースＡＲよりなるジオロケーションベースＡＲは、ユーザのモバイルデバイス中のグローバルポジショニングシステム（ＧＰＳ）センサ、コンパスセンサ、カメラ、及び／又はその他のセンサを用いて、地理位置情報を用いた（ｇｅｏｌｏｃａｔｅｄ）関心地点を示すさまざまなＡＲコンテンツを含む「ヘッドアップ（ｈｅａｄｓ−ｕｐ）」（表示）を提供する。ビジョンベースＡＲは、同タイプのセンサを幾つか用いて、実世界オブジェクト（例えば、雑誌、ポストカード、製品パッケージなど）のコンテキストで、これらのオブジェクトの視覚特性（ｖｉｓｕａｌ ｆｅａｔｕｒｅｓ）をトラッキングすることにより、ＡＲコンテンツを表示する。ＡＲコンテンツは、デジタルコンテンツ、コンピュータ生成コンテンツ、バーチャルコンテンツ、ビーチャルオブジェクトなどとも呼ばれる。

【0004】

しかし、関連する多くの問題が克服されなければ、ビジョンベースＡＲはユビキタスにはならないだろう。

【0005】

一般的に、データ処理システムは、ビジョンベースＡＲを提供する前に、カレントビデオシーンがＡＲに適していることをデータ処理システムに知らせるビデオシーン中の何かを検出しなければならない。例えば、意図されたＡＲ体験が、ある物理的オブジェクト又は画像をシーンが含む時はいつも、ある仮想的オブジェクトをそのビデオシーンに追加することを含む場合、システムは、そのビデオシーン中のその物理的オブジェクト又は画像をまず検出しなければならない。第１のオブジェクトは、「ＡＲ認識可能画像」又は単に「ＡＲマーカー」又は「ＡＲターゲット」と呼ばれる。

【0006】

ビジョンベースＡＲの分野の問題の一つは、開発者がＡＲターゲットとして適した画像又はオブジェクトを作成することが比較的困難であるということである。有効なＡＲターゲットの視覚的複雑性と非対称性はレベルが高い。ＡＲシステムが２以上のＡＲターゲットをサポートするとき、各ＡＲターゲットは他のすべてのＡＲターゲットとは十分に区別できるものでなければならない。最初はＡＲターゲットとして使えそうに見える多くの画像やオブジェクトは、上記の特性のうち一以上を欠いている。

【0007】

さらに、ＡＲアプリケーションは異なるより多くのＡＲターゲットをサポートするから、ＡＲアプリケーションの画像認識部分はより多くの処理リソース（例えば、メモリやプロセッササイクル）を必要とし、及び／又はＡＲアプリケーションは画像を認識するのにより長い時間を取る。このように、スケーラビリティが問題となり得る。

【図面の簡単な説明】

【0008】

【図1】光学式文字認識を用いて拡張現実（ＡＲ）を提供するデータ処理システムの一例を示すブロック図である。

【図2A】ビデオ画像中のＯＣＲゾーンの一例を示す図である。

【図2B】ビデオ画像中のＡＲコンテンツ例を示す図である。

【図3】ＡＲシステムを構成するプロセス例を示すフローチャートである。

【図4】ＡＲを提供するプロセス例を示すフローチャートである。

【図5】コンテンツプロバイダからＡＲコンテンツを読み出すプロセス例を示すフローチャートである。

【発明を実施するための形態】

【0009】

上記の通り、ＡＲシステムは、対応するＡＲオブジェクトがビデオシーンを追加すべきであると判断するため、ＡＲターゲットを用いる。ＡＲシステムは、異なる多くのＡＲターゲットを認識するようにできれば、異なる多くのＡＲオブジェクトを提供するようにできる。しかし、上記のように、開発者が適当なＡＲターゲットを生成することは容易ではない。また、従来のＡＲ技術を用いると、十分に有用なＡＲ体験を提供するには、異なるユニークな多くのターゲットを生成する必要があるだろう。

【0010】

異なる多くのＡＲターゲットを生成するのに関連する問題の幾つかは、ＡＲを用いて公共バスシステムを用いる人に情報を提供する、仮説に基づいたアプリケーションのコンテキストで例示される。バスシステムのオペレータは、数百のバス停留所のサインにユニークなＡＲターゲットを配置することを欲し、そのバス停留所に次のバスがいつ到着するか各バス停留所の利用者に通知するためＡＲを用いることを欲する。また、オペレータは、ＡＲターゲットが、多かれ少なかれトレードマークのように、利用者に対する認識可能マークとして機能することを欲している。言い換えると、オペレータは、すべてのＡＲターゲットに共通な認識可能な外観（ｌｏｏｋ）を有し、一方、見る人により、他の組織（ｅｎｔｉｔｉｅｓ）により使用されているマーク、ロゴ、デザインなどから容易に区別できることを欲する。

【0011】

本開示によれば、各ＡＲオブジェクトについて異なるＡＲターゲットを要求する替わりに、ＡＲシステムは、ＡＲターゲットに光学式文字認識（ＯＣＲ）ゾーンを関連付け、ＯＣＲゾーンからテキストを取るのにＯＣＲを用いる。一実施形態では、このシステムは、ＡＲターゲットとＯＣＲの結果を用いて、ＡＲオブジェクトをビデオに付加するか判断する。ＯＣＲに関してより詳細には、Ｑｕｅｓｔ Ｖｉｓｕａｌ， Ｉｎｃ．のウェブサイト（ｑｕｅｓｔｖｉｓｕａｌ．ｃｏｍ／ｕｓ／）にＷｏｒｄ Ｌｅｎｓとして知られたアプリケーションに関して記載されている。ＡＲに関してさらに詳細は、ＡＲＴｏｏｌＫｉｔソフトウェアライブラリのウェブサイト（ｗｗｗ．ｈｉｔｌ．ｗａｓｈｉｎｇｔｏｎ．ｅｄｕ／ａｒｔｏｏｌｋｉｔ／ｄｏｃｕｍｅｎｔａｔｉｏｎ）に記載されている。

【0012】

図１は、光学式文字認識を用いて拡張現実（ＡＲ）を提供するデータ処理システムの一例を示すブロック図である。図１の実施形態では、データ処理システム１０は、ユーザにＡＲ体験を提供するように協働する複数の処理デバイスを含む。それらの処理デバイスは、ユーザ又はコンシューマにより操作されるローカル処理デバイス２１と、ＡＲブローカにより操作されるリモート処理デバイス１２、ＡＲマーククリエータにより操作される他のリモート処理デバイス１６と、ＡＲコンテンツプロバイダにより操作される他のリモート処理デバイス１８とを含む。図１の実施形態では、ローカル処理デバイス２１はモバイル処理デバイス（例えば、スマートフォン、タブレットなど）であり、リモート処理デバイス１２、１６及び１８はラップトップ、デスクトップ、又はサーバシステムである。しかし、他の実施形態では、好適なタイプのいかなる処理デバイスを、上記の処理デバイスの各々に用いてもよい。

【0013】

ここで、「処理システム」及び「データ処理システム」との用語は、広く、単一のマシン、又は通信可能に結合された協働する複数のマシン又はデバイスよりなるシステムを含むものとする。例えば、二以上のマシンはピアツーピアモデル、クライアント／サーバモデル、又はクラウドコンピューティングモデルのうちの一以上のバリエーションを用いて協働し、ここに説明する機能の一部または全部を提供する。図１の実施形態では、処理システム１０の処理デバイスは、一以上のネットワーク１４を介して、互いに、接続又は通信する。ネットワークは、ローカルエリアネットワーク（ＬＡＮ）及び／又はワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）を含む。

【0014】

参照を容易にするため、ローカル処理デバイス２１は「モバイルデバイス」、「パーソナルデバイス」、「ＡＲクライアント」または単に「コンシューマ」と呼ぶことがある。同様に、リモート処理デバイス１２は「ＡＲブローカ」と呼び、リモート処理デバイス１６は「ＡＲターゲットクリエータ」と呼び、リモート処理デバイス１８は「ＡＲコンテンツプロバイダ」と呼ぶことがある。後でより詳しく説明するように、ＡＲブローカはＡＲターゲットクリエータ、ＡＲコンテンツプロバイダ、及びＡＲブラウザが協働する支援をする。ＡＲブラウザ、ＡＲブローカ、ＡＲコンテンツプロバイダ、及びＡＲターゲットクリエータは、集合的に、ＡＲシステムと呼ぶこともある。一以上のＡＲシステムのＡＲブローカ、ＡＲブラウザ及びその他のコンポーネントに関するさらに詳細は、Ｌａｙａｒカンパニーのウェブサイト（ｗｗｗ．ｌａｙａｒ．ｃｏｍ）及び／又はｍｅｔａｉｏ ＧｍｂＨ／ｍｅｔａｉｏ Ｉｎｃ．（「ｍｅｔａｉｏカンパニー」）のウェブサイト（ｗｗｗ．ｍｅｔａｉｏ．ｃｏｍ）に記載されている。

【0015】

図１の実施形態では、モバイルデバイス２１は、少なくとも１つの中央処理ユニット（ＣＰＵ）又はプロセッサ２２を、そのプロセッサに応答する又は結合したランダムアクセスメモリ（ＲＡＭ）２４、リードオンリメモリ（ＲＯＭ）２６、ハードディスクドライブその他の不揮発性データストレージ２８、ネットワークポート３２、カメラ３４、及びディスプレイパネル２３とともに備える。追加的入出力（Ｉ／Ｏ）コンポーネント（例えば、キーボード）がプロセッサに応答し又は結合されていてもよい。一実施形態では、カメラ（又はモバイルデバイス中の他のＩ．Ｏコンポーネント）は、肉眼で検出できる電磁波を超える赤外線などの電磁波を処理できる。モバイルデバイスはそれらの波長を含むビデオを用いてＡＲターゲットを検出する。

【0016】

データストレージはオペレーティングシステム（ＯＳ）４０とＡＲブラウザ４２を含む。ＡＲブラウザはモバイルデバイスがユーザにＡＲ体験を提供できるようにするアプリケーションである。ＡＲブラウザは、単一のＡＲコンテンツプロバイダのみにＡＲサービスを提供するように設計されたアプリケーションとして実装でき、又は複数のＡＲコンテンツプロバイダに対してＡＲサービスを提供することもできる。モバイルデバイスは、ＡＲブラウザを用いてＡＲを提供する時、ＯＳの一部又は全部とＡＲブラウザの一部又は全部とを実行のためＲＡＭにコピーする。また、データストレージはＡＲデータベース４４を含み、その一部又は全部はＡＲブラウザの動作を容易にするためＲＡＭにコピーされる。ＡＲブラウザは、ディスプレイパネルを用いて、ビデオ画像２５及び／又はその他の出力を表示する。ディスプレイパネルはタッチ検知式でもよく、その場合ディスプレイパネルは入力にも用いられる。

【0017】

ＡＲブローカ、ＡＲマーククリエータ及びＡＲコンテンツプロバイダの処理デバイスは、上記の、モバイルデバイスに関するものと同様のフィーチャを含み得る。また、後で詳細に説明するが、ＡＲブローカはＡＲブローカアプリケーション５０とブローカデータベース５１を含み、ＡＲターゲットクリエータ（ＴＣ）はＴＣアプリケーション５２とＴＣデータベース５３を含み、ＡＲコンテンツプロバイダ（ＣＰ）はＣＰアプリケーション５４とＣＰデータベース５５を含む。モバイルコンピュータ中のＡＲデータベース４４はクライアントデータベース４４とも呼ぶ。

【0018】

後で詳細に説明するように、ＡＲターゲットを生成するのに加えて、ＡＲターゲットクリエータは、ＡＲターゲットに対して、一以上のＯＣＲゾーンと一以上のＡＲコンテンツゾーンを確定できる。この開示を目的として、ＯＣＲゾーンはビデオシーン内のエリア又はスペースであり、ＡＲコンテンツゾーンはＡＲコンテンツが提示されるビデオシーン内のエリア又はスペースである。ＡＲコンテンツゾーンは単にＡＲゾーンとも呼ぶ。一実施形態では、ＡＲターゲットクリエータがＡＲゾーンを確定する。他の一実施形態では、ＡＲコンテンツプロバイダがＡＲゾーンを確定する。後でより詳しく説明するように、座標系を用いてＡＲターゲットに対してＡＲゾーンを確定することも可能である。

【0019】

図２Ａは、ビデオ画像内のＯＣＲゾーンの一例とＡＲターゲットの一例を示す図である。具体的に、図示したビデオ画像２５はターゲット８２を含み、例示を目的としてその境界を破線で示した。この画像はＯＣＲゾーン８４を含む。ＯＣＲゾーン８４はターゲットの右側境界に隣接して配置され、ターゲットの幅とほぼ同じ長さだけ右に延在している。ＯＣＲゾーン８４の境界も例示を目的として破線で示した。ビデオ２５は、カメラがバス停留所標識９０に向かっている間に撮られた、モバイルデバイスからの出力を示す。しかし、少なくとも一実施形態では、図２Ａに示された破線はディスプレイ上には実際には現れない。

【0020】

図２Ｂはビデオ画像又はシーン内のＡＲ出力例を示す図である。具体的には、後でより詳しく説明するように、図２ＢはＡＲゾーン８６内にＡＲブラウザにより提示されるＡＲコンテンツ（例えば、次のバスの期待到着時刻）を示す。このように、ＯＣＲゾーンから抽出されるテキストに対応するＡＲコンテンツは、自動的に、そのシーンと共に（例えば、その内に）提示される。上記の通り、ＡＲゾーンは座標系に対して確定できる。ＡＲブラウザはその座標系を用いてＡＲコンテンツを提示（ｐｒｅｓｅｎｔ）する。例えば、座標系は、原点（例えば、ＡＲターゲットの左上隅）と、一組の座標軸（例えば、ＡＲターゲットの面における水平の動きを示すＸ軸、同じ面における垂直の動きを示すＹ軸、及びＡＲターゲットの面に垂直な動きを示すＺ軸）と、サイズ（例えば、「ＡＲターゲット幅＝０．２２メートル」）とを含む。ＡＲターゲットクリエータ又はＡＲコンテンツプロバイダは、ＡＲ座標系の成分に対応する、又はよりなる、ＡＲゾーンパラメータに対する所望の値を指定することによりＡＲゾーンを確定し得る。したがって、ＡＲブラウザはＡＲゾーンにおける値を用いて、ＡＲ座標系に対してＡＲコンテンツを提示できる。ＡＲ座標系は単にＡＲ原点とも呼ぶ。一実施形態では、Ｚ軸を有する座標系は３次元（３Ｄ）ＡＲコンテンツに対して用いられ、Ｚ軸を有しない座標系は２次元（２Ｄ）ＡＲコンテンツに対して用いられる。

【0021】

図３は、ＡＲ体験（例えば、図２Ｂに示した体験など）を作り出すために用い得る情報でＡＲシステムを構成するプロセス例を示すフローチャートである。ブロック２１０に示したように、ＴＣアプリケーションを用いてＡＲターゲットを生成するステップで始まる。ＡＲターゲットクリエータとＡＲコンテンツプロバイダは同じ処理デバイス上で動作してもよいし、同じエンティティにより制御されてもよいし、ＡＲターゲットクリエータがＡＲコンテンツプロバイダのためにターゲットを生成してもよい。ＴＣアプリケーションは好適な手法を用いてＡＲターゲットを生成又は確定する。ＡＲターゲット記述は、ＡＲターゲットの属性を指定するさまざまな値、例えばＡＲターゲットの現実世界の寸法を含み得る。ＡＲターゲットが生成された後、ブロック２５０に示したように、ＴＣアプリケーションはそのターゲットのコピーをＡＲブローカに送信でき、ＡＲブローカアプリケーションはターゲットのビジョンデータを計算する。ビジョンデータはターゲットの幾つかのフィーチャに関する情報を含む。具体的に、ビジョンデータは、モバイルデバイスにより撮られたビデオ内にターゲットが移っているか否かを判断するのにＡＲブラウザが用いられるとの情報、及びＡＲ座標系に対するカメラの姿勢（例えば、位置と方向）を計算する情報を含む。従って、ビジョンデータは、ＡＲブラウザにより用いられるとき、所定のビジョンデータと呼ばれる。ビジョンデータは画像認識データとも呼ばれることがある。図２に示したＡＲターゲットに関して、ビジョンデータは、画像中に現れるコントラストが高いエッジやコーナー（鋭角）、互いに対するその位置などの特徴を示す。

【0022】

また、ブロック２５２に示したように、ＡＲブローカアプリケーションは、ターゲットにラベルや識別子（ＩＤ）をアサインし、その後の参照を容易にする。ついで、ＡＲブローカはビジョンデータとターゲットＩＤをＡＲターゲットクリエータに返す。

【0023】

ブロック２１２に示したように、ＡＲターゲットクリエータは、ＡＲターゲットのＡＲ座標系を確定し、その座標系を用いてＡＲターゲットに対するＯＣＲゾーンの範囲を指定する。換言すれば、ＡＲターゲットクリエータはＯＣＲを用いて認識できるテキストを含むと期待されるエリアの境界を画定し、ＯＣＲの結果はターゲットの異なるインスタンス（ｉｎｓｔａｎｃｅｓ）を区別するために用い得る。一実施形態では、ＡＲターゲットクリエータは、ＡＲターゲットの正面ビュー（ｈｅａｄ−ｏｎ ｖｉｅｗ）をモデル化又はシミュレートするモデルビデオフレームに関するＯＣＲゾーンを指定するＯＣＲゾーンは、ＯＣＲを用いてテキストを抽出するビデオフレーム内のエリアよりなる。このように、ＡＲターゲットは関連するＡＲコンテンツを識別するためのハイレベル分類子として機能し、ＯＣＲゾーンから得られるテキストは関連するＡＲコンテンツを識別するためのローレベル分類子として機能し得る。図２Ａの実施形態はバス停留所番号を含むようにデザインされたＯＣＲゾーンを示す。

【0024】

ＡＲターゲットクリエータは、ターゲットまたはその具体的フィーチャのロケーションに対するＯＣＲゾーンの範囲を指定する。例えば、図２Ａに示したターゲットの場合、ＡＲターゲットクリエータはＯＣＲゾーンを次のように確定する：ターゲットと同じ面を共有し、（ａ）ターゲットの右側境界に隣接する左側境界と、（ｂ）ターゲットの幅とほぼ等しい長さだけ右に延在する幅と、（ｃ）ターゲットの右上隅に近い上側境界と、（ｄ）ターゲットの高さの約１５パーセント下に延在する高さ。あるいは、ＯＣＲゾーンは、ＡＲ座標系に対して、例えば、左上隅が座標｛Ｘ＝０．２５ｍ，Ｙ＝−０．１０ｍ，Ｚ＝０．０ｍ｝にあり、右下隅が座標｛Ｘ＝０．２５ｍ，Ｙ＝−０．３０ｍ，Ｚ＝０．０ｍ｝にある四角形を確定できる。あるいは、ＯＣＲゾーンは、中心がＡＲターゲットの面の座標｛Ｘ＝０．３０ｍ，Ｙ＝−０．２０ｍ｝にあり、半径が０．１０ｍの円として確定できる。一般的に、ＯＣＲゾーンは、ＡＲ座標系に対する表面中の一組の閉じたエリアの形式的な記述により確定されてもよい。ＴＣアプリケーションは、次いで、ブロック２５３に示したように、ターゲットＩＤとＡＲ座標系（ＡＲＣＳ）の仕様とＯＣＲゾーンとをＡＲブローカに送る。

【0025】

次いで、ブロック２５４に示したように、ＡＲブローカはターゲットＩＤとビジョンデータとＯＣＲゾーン記述（ＯＣＲ ｚｏｎｅ ｄｅｆｉｎｉｔｉｏｎ）とＡＲＣＳとをＣＰアプリケーションに送る。

【0026】

ＡＲコンテンツプロバイダは、次いで、ブロック２１４に示したように、ＣＰアプリケーションを用いて、ＡＲコンテンツが加えられるべきシーン内の一以上のゾーンを指定する。言い換えると、ＣＰアプリケーションを用いて図２ＢのＡＲゾーン８６のようなＡＲゾーンを確定してもよい。ＯＣＲゾーンを確定するのに用いられる同種のアプローチを用いてＡＲゾーンを確定してもよいし、その他の適当なアプローチを用いても良い。例えば、ＣＰアプリケーションはＡＲ座標系に対してＡＲコンテンツを表示するロケーションを指定し、上記の通り、例えばＡＲ座標系は原点がＡＲターゲットの左上隅にあることを規定してもよい。ブロック２１４からブロック２５６までの矢印により示したように、ＣＰアプリケーションは次いで、ＡＲゾーン記述（ＡＲ ｚｏｎｅ ｄｅｆｉｎｉｔｉｏｎ）をターゲットＩＤとともにＡＲブローカに送っても良い。

【0027】

ＡＲブローカは、ブロック２５６に示したように、ブローカデータベースに、ターゲットＩＤ、ビジョンデータ、ＯＣＲゾーン記述（ＯＣＲ ｚｏｎｅ ｄｅｆｉｎｉｔｉｏｎ）、ＡＲゾーン記述（ＡＲ ｚｏｎｅ ｄｅｆｉｎｉｔｉｏｎ）及びＡＲＣＳを保存する。ターゲットＩＤ、ゾーン記述（ｚｏｎｅ ｄｅｆｉｎｉｔｉｏｎ）、ビジョンデータ、ＡＲＣＳ、及びＡＲターゲットのその他のデータは、そのターゲットのＡＲ構成データとも呼ぶ。ＴＣアプリケーションとＣＰアプリケーションは、それぞれＴＣデータベースとＣＰデータベース中に、ＡＲ構成データの一部又は全部を保存する。

【0028】

一実施形態では、ターゲットクリエータは、ＴＣアプリケーションを用いて、カメラの姿勢が正面からターゲットに向いているかのように構成されたモデルビデオフレームのコンテキストでターゲット画像とＯＣＲゾーンを生成する。同様に、ＣＰアプリケーションは、カメラの姿勢が正面からターゲットに向いているかのように構成されたモデルビデオフレームのコンテキストで、ＡＲゾーンを確定してもよい。ビジョンデータにより、ＡＲブラウザは、ＡＲブラウザにより受け取られたライブシーンが、カメラの姿勢が正面からターゲットに向かっていなくてもターゲットを検出できる。

【0029】

ブロック２２０に示したように、一以上のＡＲターゲットが生成された後、人または「コンシューマ」が、次いでＡＲブラウザを用いてＡＲブローカからＡＲサービスに加入する（ｓｕｂｓｃｒｉｂｅ）。これに応じて、ブロック２６０に示したように、ＡＲブローカは、ＡＲ構成データをＡＲブラウザに自動的におくる。ＡＲブラウザは、次いで、ブロック２２２に示したように、その構成データをクライアントデータベースに保存する。コンシューマが単一のコンテンツプロバイダからのＡＲにアクセスする登録するだけであるとき、ＡＲブローカはそのコンテンツプロバイダの構成データのみを、ＡＲブラウザアプリケーションに送っても良い。あるいは、登録は単一のコンテンツプロバイダに限定されなくてもよく、ＡＲブローカは複数のコンテンツプロバイダのＡＲ構成データをＡＲブラウザに送って、クライアントデータベースに保存しても良い。

【0030】

また、ブロック２３０に示すように、コンテンツプロバイダはＡＲコンテンツを生成してもよい。また、ブロック２３２に示したように、コンテンツプロバイダは、そのコンテンツを、ＡＲターゲット及びそのターゲットに関連するテキストとリンクしてもよい。具体的に、テキストは、そのターゲットに関連するＯＣＲゾーンに対してＯＣＲを行った時に得られる結果に対応する。コンテンツプロバイダは、ターゲットＩＤ、テキスト、及び対応するＡＲコンテンツをＡＲブローカに送っても良い。ＡＲブローカは、ブロック２７０に示したように、そのデータをブローカデータベースに保存する。追加的に又は代替的に、後でより詳細に説明するように、コンテンツプロバイダは、ＡＲブラウザがターゲットを検出して、場合によってはＡＲブローカを介してＡＲコンテンツプロバイダにコンタクトした後、ＡＲコンテンツを動的に提供してもよい。

【0031】

図４は、ＡＲコンテンツを提供するプロセス例を示すフローチャートである。このプロセスは、ブロック３１０に示したように、モバイルデバイスがライブビデオを撮り、そのビデオをＡＲブラウザに送るステップで始まる。ブロック３１２に示したように、ＡＲブラウザはコンピュータビジョンとして知られる技術を用いて、そのビデオを処理する。コンピュータビジョンにより、ＡＲブラウザは、標準又はモデル画像に対して、ライブビデオで自然に生じる相違を補償できる。例えば、コンピュータビジョンにより、ＡＲブラウザは、ブロック３１４に示したように、例えば、カメラがターゲットに対してある角度をなす場合でも、ビデオ中のターゲットを、そのターゲットの所定のビジョンデータに基づいて認識できる。ブロック３１６に示したように、ＡＲターゲットが検出されると、ＡＲブラウザはカメラ姿勢を判断する（例えば、ＡＲターゲットに関連するＡＲ座標系に対するカメラの位置と方向）。カメラ姿勢を判断した後、ＡＲブラウザは、ブロック３１８に示したように、ＯＣＲゾーンのライブビデオ内におけるロケーションを計算し、そのゾーンにＯＣＲを適用する。（例えば、ＡＲ画像に対するカメラの位置と方向の計算のための）カメラ姿勢の計算の一以上のアプローチに関するさらに詳細は、文献「Ｔｕｔｏｒｉａｌ ２： Ｃａｍｅｒａ ａｎｄ Ｍａｒｋｅｒ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」（ｗｗｗ．ｈｉｔｌ．ｗａｓｈｉｎｇｔｏｎ．ｅｄｕ／ａｒｔｏｏｌｋｉｔ／ｄｏｃｕｍｅｎｔａｔｉｏｎ／ｔｕｔｏｒｉａｌｃａｍｅｒａ．ｈｔｍ）を参照されたい。例えば、変換行列を用いて、標識の現在のカメラビューを同じ標識の正面ビューに変換してもよい。次いで、変換行列を用いて、変換された画像のエリアを計算し、ＯＣＲゾーン記述（ＯＣＲ ｚｏｎｅ ｄｅｆｉｎｉｔｉｏｎ）に基づいてＯＣＲを実行する。この種の変換の実行に関しては、ｏｐｅｎｃｖ．ｏｒｇに更に詳細に記載されている。カメラ姿勢が決定されると、Ｔｅｓｓｅｒａｃｔ ＯＣＲエンジン（ｃｏｄｅ．ｇｏｏｇｌｅ．ｃｏｍ／ｐ／ｔｅｓｓｅｒａｃｔ−ｏｃｒ参照）のウェブサイトに記載されたもののようなアプローチを用いて、変換された正面ビュー画像に対してＯＣＲを実行する。

【0032】

ブロック３２０と３５０に示したように、ＡＲブラウザは次いでターゲットＩＤとＯＣＲ結果とをＡＲブローカに送る。例えば、図２Ａを再び参照して、ＡＲブラウザは、バスオペレータにより使用されているターゲットのターゲットＩＤを、テキスト「９９５１」とともに、ＡＲブローカに送る。

【0033】

ブロック３５２に示したように、ＡＲブローカアプリケーションは、次いで、ターゲットＩＤとＯＣＲ結果とを用いて、対応するＡＲコンテンツを読み出す。対応するＡＲコンテンツがすでにコンテンツプロバイダによりＡＲブローカに提供されている場合、ＡＲブローカアプリケーションは、単にそのコンテンツをＡＲブローカに送ってもよい。あるいは、ＡＲブローカアプリケーションは、ＡＲブラウザからターゲットＩＤとＯＣＲ結果を受け取ると、それに応じてコンテンツプロバイダからＡＲコンテンツを動的に読み出しても良い。

【0034】

図２Ｂにはテキスト形式のＡＲコンテンツを示したが、ＡＲコンテンツは任意の媒体であってもよく、テキスト、画像、写真、ビデオ、３Ｄオブジェクト、３Ｄアニメーション、オーディオ、触覚的出力（例えば、振動や力のフィードバック）などを含み得るが、これらは限定ではない。オーディオや触覚的フィードバックなどの非視覚的ＡＲコンテンツの場合、デバイスはそのＡＲコンテンツを、ＡＲコンテンツをビデオコンテンツとマージするのではなく、シーンに関する適当な媒体で提供できる。

【0035】

図５は、コンテンツプロバイダからＡＲコンテンツを読み出すプロセス例を示すフローチャートである。具体的に、図５は図４のブロック３５２に示した動作をより詳細に説明するものである。図５は、ブロック４１０と４５０に示したように、ＡＲブローカアプリケーションがターゲットＩＤとＯＣＲ結果をコンテンツプロバイダに送るステップで始まる。ＡＲブローカアプリケーションはターゲットＩＤに基づいてどのコンテンツプロバイダにコンタクトするか判断する。ブロック４５２に示したように、ターゲットＩＤとＯＣＲ結果とを受け取るのに応じて、ＣＰアプリケーションはＡＲコンテンツを生成する。例えば、ブロック４５４及び４１２に示したように、バス停留所番号９９５１を受け取るのに応じて、ＣＰアプリケーションは、そのバス停留所における次のバスの期待到着時刻（ＥＴＡ）を決定し、ＡＲコンテンツとして用いるため、ＡＲブローカにそのＥＴＡをレンダリング情報と共に返す。

【0036】

図４に戻って、ブロック３５４と３２２に示したように、ＡＲブローカアプリケーションは、ＡＲコンテンツを取得すると、そのコンテンツをＡＲブラウザに返す。ＡＲブラウザは、次いで、ブロック３２４に示したように、ＡＲコンテンツをビデオとマージ（ｍｅｒｇｅ）する。例えば、レンダリング情報は、フォント、フォントカラー、フォントサイズ、テキストの最初の文字のベースラインの相対座標を記述し、ＡＲブラウザが、現実世界の標識上のそのゾーン中に実際にある任意のコンテンツの上に、又はその替わりに、次のバスのＥＴＡをスーパーインポーズできるようにする。ＡＲブラウザは、ブロック３２６と図２Ｂに示したように、この拡張ビデオ（ａｕｇｍｅｎｔｅｄ ｖｉｄｅｏ）をディスプレイデバイス上にしめされるようにする。このように、ＡＲブラウザは計算されたＡＲターゲットに対するカメラの姿勢と、ＡＲコンテンツと、ライブビデオフレームとを用いて、ＡＲコンテンツをビデオフレーム中に配置し、ディスプレイに送る。

【0037】

図２Ｂにおいて、ＡＲコンテンツは２次元（２Ｄ）オブジェクトとして示されている。他の実施形態では、ＡＲコンテンツは、ＡＲ座標系に対して３Ｄで配置された平面画像、同様に配置されたビデオ、及び３Ｄオブジェクト、並びにＡＲターゲットが識別された時に再生される触覚的又はオーディオデータを含み得る。

【0038】

一実施形態の利点は、開示の技術によりコンテンツプロバイダが異なる状況において異なるＡＲコンテンツを提供することが容易になることである。例えば、ＡＲコンテンツプロバイダがバスシステムのオペレータである場合、コンテンツプロバイダは、各バス停留所に異なるＡＲターゲットを用いなくても、異なる各バス停留所に異なるＡＲコンテンツを提供できる。その替わり、コンテンツプロバイダは、単一のＡＲターゲットを、そのターゲットに対して所定ゾーン内に配置されたテキスト（例えば、バス停留所番号）とともに用いることができる。その結果、ＡＲターゲットはハイレベル分類子として機能し、テキストはローレベル分類子として機能し、両レベルの分類子を用いてどんな状況においても提供するＡＲコンテンツを決定できる。例えば、ＡＲターゲットは、ハイレベルカテゴリーとして、あるシーンの関連ＡＲコンテンツがあるコンテンツプロバイダのコンテンツであることを示す。ＯＣＲゾーン中のテキストは、ローレベルカテゴリーとして、そのシーンのＡＲコンテンツがあるロケーションに関するＡＲコンテンツであることを示す。このように、ＡＲターゲットは、ＡＲコンテンツのハイレベルカテゴリーを特定し、ＯＣＲゾーンのテキストはＡＲコンテンツのローレベルカテゴリーを特定する。コンテンツプロバイダが新しいローレベル分類子を生成して、新しい状況やロケーション（例えば、より多くのバス停留所がシステムに加えられた場合）に対してカスタマイズしたＡＲコンテンツを提供することは非常に容易である。

【0039】

ＡＲブラウザは、ＡＲターゲット（又はターゲットＩＤ）とＯＣＲ結果（例えば、ＯＣＲゾーンから得たテキストの一部又は全部）を用いてＡＲコンテンツを取得するので、ＡＲターゲット（又はターゲットＩＤ）とＯＣＲ結果を集合的にマルチレベルＡＲコンテンツトリガーと呼ぶことがある。

【0040】

他の一利点は、ＡＲターゲットがコンテンツプロバイダの商標として用いるのに適しており、ＯＣＲゾーンのテキストはコンテンツプロバイダの顧客にとって読みやすく使いやすいことである。

【0041】

一実施形態では、コンテンツプロバイダ又はターゲットクリエータは各ＡＲターゲットに対して複数のＯＣＲゾーンを確定できる。このＯＣＲゾーンのセットは、例えば、形状が異なる及び／又はコンテンツの構成が異なる標識の使用を可能にする。例えば、ターゲットクリエータは、ＡＲターゲットの右にある第１のＯＣＲゾーンと、ＡＲターゲットの下にある第２のＯＣＲゾーンを確定できる。したがって、ＡＲブラウザは、ＡＲターゲットを検出すると、次いで複数のゾーンに自動的にＯＣＲを実行し、そのＯＣＲ結果の一部又は全部をＡＲブローカに送り、ＡＲコンテンツの読み出しに用いさせる。また、ＡＲ座標系により、コンテンツプロバイダは、どんな媒体やＡＲターゲットに対する位置でどんなコンテンツでも、適当なものを提供できる。

【0042】

ここに説明の原理と実施形態を考慮して、例示した実施形態はかかる原理から逸脱することなく、構成や細部を変更できることが分かる。例えば、上記の段落の幾つかはビジョンベースＡＲについてものである。しかし、ここでの教示は他のタイプのＡＲ体験にも都合良く使える。例えば、本教示は、いわゆる同時ロケーション及びマッピング（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ、ＳＬＡＭ）ＡＲで用いることができ、ＡＲマーカーは２次元画像でなく、３次元の物理的オブジェクトであってもよい。例えば、出入り口やフィギュア（例えば、ミッキーマウスやアイザックニュートンの胸像）を３次元ＡＲターゲットとして用いることができる。ＳＬＡＭ ＡＲに関するさらに詳しい情報は、ｍｅｔａｉｏカンパニーに関する記事（ｈｔｔｐ：／／ｔｅｃｈｃｒｕｎｃｈ．ｃｏｍ／２０１２／１０／１８／ｍｅｔａｉｏｓ−ｎｅｗ−ｓｄｋ−ａｌｌｏｗｓ−ｓｌａｍ−ｍａｐｐｉｎｇ−ｆｒｏｍ−１０００−ｆｅｅｔ／）に記載されている。

【0043】

また、上記の幾つかの段落は、ＡＲコンテンツプロバイダから比較的独立したＡＲブラウザ及びＡＲブローカを参照している。しかし、他の実施形態では、ＡＲブラウザはＡＲコンテンツプロバイダと直接通信してもよい。例えば、ＡＲコンテンツプロバイダは、モバイルデバイスに、カスタムＡＲアプリケーションを供給し、そのアプリケーションがＡＲブラウザとして機能する。次いで、ＡＲブラウザは、ターゲットＩＤ、ＯＣＲテキストなどをコンテンツプロバイダに直接送り、コンテンツプロバイダはＡＲコンテンツをＡＲブラウザに直接送る。カスタムＡＲアプリケーションに関するさらに詳細は、Ｔｏｔａｌ Ｉｍｍｅｒｓｉｏｎカンパニーのウェブサイト（ｗｗｗ．ｔ−ｉｍｍｅｒｓｉｏｎ．ｃｏｍ）に記載されている。

【0044】

また、上記の幾つかの段落は、商標又はロゴとしての使用に適したＡＲターゲットに言及している。このＡＲは見る人に意味のある印象を与え、ＡＲターゲットは見る人に容易に認識され、他の画像やシンボルと容易に区別されるからである。しかし、他の実施形態では、ｗｗｗ．ａｒｔｏｏｌｗｏｒｋｓ．ｃｏｍ／ｓｕｐｐｏｒｌ／ｌｉｂｒａｒｙ／Ｕｓｉｎｇ＿ＡＲＴｏｏｌＫｉｔ＿ＮＦＴ＿ｗｉｔｈ＿ｆｉｄｕｃｉａｌ＿ｍａｒｋｅｒｓ＿（ｖｅｒｓｉｏｎ＿３．ｘ）に記載されたもののような信用マーカー（ｆｉｄｕｃｉａｒｙ ｍａｒｋｅｒｓ）を含むがこれに限定はさらない他のタイプのＡＲターゲットを用いてもよい。かかる信用マーカーは「信用情報（ｆｉｄｕｃｉａｌｓ）」または「ＡＲタグ」とも呼ばれる。

【0045】

また、上記の説明は具体的な実施形態にフォーカスしたが、他の構成も想定される。また、ここで「一実施形態」、「他の一実施形態」などの表現を用いたが、これらのフレーズは可能性のある実施形態を広く参照することを意味するものであり、本発明を実施形態の具体的な構成に限定することを意図したものではない。これらのフレーズは、ここで用いたように同じ実施形態又は異なる実施形態を指し、これらの実施形態は他の実施形態と組み合わせ可能である。

【0046】

ここに説明したコンポーネントを実装するため、いかなる好適な動作環境やプログラミング言語（または、動作環境とプログラミング言語の組み合わせ）を用いてもよい。上記の通り、本教示を用いると異なる多くの種類のデータ処理システムにおいて都合がよい。データ処理システムの例には、分散計算システム、スーパーコンピュータ、高性能計算システム、計算クラスタ、メインフレームコンピュータ、ミニコンピュータ、クライアントサーバシステム、パーソナルコンピュータ（ＰＣ）ワークステーション、サーバ、ポータブルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、電話、ハンドヘルドデバイス、（オーディオデバイス、ビデオデバイス、オーディオ／ビデオデバイスなどの）エンターテイメントデバイス（例えば、テレビジョンやセットトップボックス）、車載処理システム、その他の情報の処理又は伝送をするデバイスを含むが、これらに限定されない。したがって、特に断らなければ、又は文脈による必要性がなければ、何らかのタイプのデータ処理システム（例えば、モバイルデバイス）を参照した場合、他のタイプのデータ処理システムも含むものと理解すべきである。また、特に断らなければ、互いに結合された、互いに通信している、互いに応答するものと説明したコンポーネント等は、互いに連続して通信している必要はなく、互いに直接結合されている必要もない。同様に、一コンポーネントが他のコンポーネントとの間でデータを送受すると説明したとき、特に断らなければ、そのデータは一以上の中間コンポーネントを通して送受されてもよい。また、データ処理システムの幾つかのコンポーネントは、バスと通信するためのインタフェース（例えば、コネクタ）を有するアダプタカードとして実装できる。あるいは、デバイス又はコンポーネントは、プログラマブル又は非プログラマブルロジックデバイスやアレイ、特定目的集積回路（ＡＳＩＣ）、組み込みコンピュータ、スマートカードなどのコンポーネントを用いて、組み込みコントローラとして実装されてもよい。この開示を目的として、「バス」との用語は、３つ以上のデバイスにより共有される経路及びポイントツーポイント経路を含む。

【0047】

この開示は、命令、関数、手順、データ構造、アプリケーションプログラム、コンフィギュレーション設定、その他のデータに言及している。上記の通り、データがマシンによりアクセスされたとき、そのマシンは、タスクの実行、抽象データタイプ又はローレベルハードウェアコンテキストの確定、及び／又はその他の動作の実行により応答する。例えば、データストレージ、ＲＡＭ、及び／又はフラッシュメモリは、実行されると、さまざまな動作を実行するさまざまな命令セットを含む。かかる命令セットは一般にソフトウェアと呼ばれる。また、「プログラム」との用語は、広い範囲のソフトウェア構成をカバーするために用いられ、アプリケーション、ルーチン、モジュール、ドライバ、サブプログラム、プロセスその他のタイプのソフトウェアコンポーネントを含む。また、一実施形態であるデバイス上にあると説明したアプリケーション及び／又はその他のデータは、他の実施形態では、一以上の他のデバイス上にあってもよい。一実施形態であるデバイス上で実行されると説明した計算動作は、他の実施形態では、他の一以上のデバイスにより実行されてもよい。

【0048】

言うまでもなく、ここに示したハードウェア及びソフトウェアコンポーネントは、自己充足的な機能要素を表し、それぞれ他から実質的に独立してデザイン、構成、又は更新できる。別の実施形態では、多くのコンポーネントが、ここに説明の機能を提供するハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせとして実装される。例えば、別の実施形態は、この発明の動作を実行する、マシンアクセス可能な媒体符号化命令又は制御ロジックを含む。このような実施形態はプログラム製品とも呼ばれる。かかるマシンアクセス可能媒体は、非限定的に、磁気ディスク、光ディスク、ＲＡＭ、ＲＯＭなどの有体記憶媒体を含む。本開示の目的のため、「ＲＯＭ」との用語は、概して、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュＲＯＭ、フラッシュメモリなどの不揮発性メモリデバイスを指す。幾つかの実施形態では、説明の動作を実装する制御ロジックの一部又は残部は、ハードウェアロジック中に（例えば、集積回路チップ、プログラマブルゲートアレイ（ＰＧＡ）、ＡＳＩＣなどの一部として）実装できる。少なくとも一実施形態では、すべてのコンポーネントの命令は、一非一時的マシンアクセス可能媒体に記憶できる。他の少なくとも一実施形態では、コンポーネント用の命令を記憶するため、２以上の非一時的マシンアクセス可能媒体を用いてもよい。例えば、一コンポーネント用の命令を一媒体に記憶し、他のコンポーネント用の命令を他の媒体に記憶してもよい。あるいは、一実施形態の命令の一部を一媒体に記憶し、そのコンポーネント用の命令の残り（及び他のコンポーネント用命令）を他の一以上の媒体に記憶してもよい。命令は分散環境で用いても良いし、単一の又は複数のプロセッサマシンによるアクセスのため、ローカル及び／又はリモートに記憶してもよい。

【0049】

また、一以上のプロセス例をある順序で実行される具体的な動作に関して説明したが、これらのプロセスには多くの変更をして、本発明の別の多くの実施形態を作れる。例えば、別の実施形態には、開示した動作の全部を用いないプロセス、追加的動作を用いるプロセス、ここに開示した個別動作が組み合わされ、分割され、再構成され、又は改変されたプロセスを含み得る。

【0050】

ここに説明した実施形態から容易に求められる有用な置換のバラエティを考慮して、この詳細な説明は、単なる例示であり、範囲を限定するものと解してはならない。

【0051】

以下の例は実施形態に関する。

【0052】

例Ａ１はＯＣＲを用いてＡＲを提供する自動的な方法である。該方法は、シーンのビデオに基づいて、前記シーンが所定のＡＲターゲットを含むか自動的に判断するステップを含む。前記シーンが前記ＡＲターゲットを含むとの判断に応じて、前記ＡＲターゲットに関連するＯＣＲゾーン記述を自動的に読み出す。前記ＯＣＲゾーン記述はＯＣＲゾーンを特定する。前記ＡＲターゲットに関連する前記ＯＣＲゾーン記述の読み出しに応じて、自動的にＯＣＲを用いて前記ＯＣＲゾーンからテキストを抽出する。ＯＣＲの結果を用いて、前記ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツを取得する。ＯＣＲゾーンから抽出されるテキストに対応するＡＲコンテンツは、自動的に、そのシーンと共に提示される。

【0053】

例Ａ２は例Ａ１のフィーチャを含み、前記ＯＣＲゾーン記述は前記ＡＲターゲットの少なくとも一フィーチャに対する前記ＯＣＲゾーンの少なくとも一フィーチャを特定する、
例Ａ３は例Ａ１のフィーチャを含み、前記ＡＲターゲットに関連するＯＣＲゾーン記述を自動的に読み出すステップは、前記ＡＲターゲットのターゲット識別子を用いてローカル記憶媒体から前記ＯＣＲゾーン記述を読み出すステップを有する。例Ａ３は例Ａ２のフィーチャを含んでもよい。

【0054】

例Ａ４は例Ａ１のフィーチャを含み、前記ＯＣＲの結果を用いて、前記ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツを判断するステップは、（ａ）前記ＡＲターゲットのターゲット識別子と前記ＯＣＲゾーンからのテキストの少なくとも一部をリモート処理システムに送るステップと、（ｂ）前記ターゲット識別子と前記ＯＣＲゾーンからのテキストの少なくとも一部とを前記リモート処理システムに送った後、前記リモート処理システムから前記ＡＲコンテンツを受け取るステップとを有する。例Ａ４は例Ａ２又は例Ａ３のフィーチャを含んでいてもよく、例Ａ２及び例Ａ３のフィーチャを含んでいてもよい。

【0055】

例Ａ５は例Ａ１のフィーチャを含み、前記ＯＣＲの結果を用いて、前記ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツを判断するステップは、（ａ）ＯＣＲ情報を前記リモート処理システムに送る、前記ＯＣＲ情報は前記ＯＣＲゾーンから抽出されたテキストに対応する、ステップと、（ｂ）前記ＯＣＲ情報を前記リモート処理システムに送った後、前記リモート処理システムから前記ＡＲコンテンツを受け取るステップとを有する。例Ａ５は例Ａ２又は例Ａ３のフィーチャを含んでいてもよく、例Ａ２及び例Ａ３のフィーチャを含んでいてもよい。

【0056】

例Ａ６は例Ａ１のフィーチャを含み、前記ＡＲターゲットはハイレベル分類子として機能する。また、前記ＯＣＲゾーンからのテキストの少なくとも一部はローレベル分類子として機能する。例Ａ６は、（ａ）例Ａ２、Ａ３、Ａ４又はＡ５のフィーチャ、（ｂ）例Ａ２、Ａ３及びＡ４のうちいずれか２つ以上のフィーチャ、又は（ｃ）例Ａ２、Ａ３及びＡ５のうちいずれか２つ以上のフィーチャを含み得る。

【0057】

例Ａ７は例Ａ６のフィーチャを含み、前記ハイレベル分類子は前記ＡＲコンテンツプロバイダを特定する。

【0058】

例Ａ８は例Ａ１のフィーチャを含み、前記ＡＲターゲットは２次元である。例Ａ８は、（ａ）例Ａ２、Ａ３、Ａ４、Ａ５、Ａ６又はＡ７のフィーチャ、（ｂ）例Ａ２、Ａ３、Ａ４、Ａ６及びＡ７のうちいずれか２つ以上のフィーチャ、又は（ｃ）例Ａ２、Ａ３、Ａ５、Ａ６及びＡ７のうちいずれか２つ以上のフィーチャを含み得る。

【0059】

例Ｂ１はＡＲコンテンツのマルチレベルトリガーを実装する方法である。該方法は、関連ＡＲコンテンツを特定するハイレベル分類子として機能するＡＲターゲットを選択するステップを含む。また、選択された前記ＡＲターゲットのＯＣＲゾーンが指定される。ＯＣＲゾーンは、ＯＣＲを用いてテキストを抽出するビデオフレーム内のエリアを構成する。ＯＣＲゾーンからのテキストは関連ＡＲコンテンツを特定するローレベル分類子として機能する。

【0060】

例Ｂ２は例Ｂ１のフィーチャを含み、選択された前記ＡＲターゲットのＯＣＲゾーンを指定するステップは、前記ＡＲターゲットの少なくとも一フィーチャに対して前記ＯＣＲゾーンの少なくとも一フィーチャを指定するステップを有する。

【0061】

例Ｃ１はＡＲコンテンツのマルチレベルトリガーを処理する方法である。該方法は、ＡＲクライアントからターゲット識別子を受け取るステップを含む。ターゲット識別子は、所定のＡＲターゲットを、前記ＡＲクライアントによりビデオシーン中に検出されたものとして識別する。また、テキストが前記ＡＲクライアントから受け取られる。前記テキストは前記ビデオシーン中の前記所定ＡＲターゲットに関連するＯＣＲゾーンに前記ＡＲクライアントにより実行されるＯＣＲの結果に対応する。前記ターゲット識別子と前記ＡＲクライアントからのテキストに基づいてＡＲコンテンツが取得される。ＡＲコンテンツはＡＲクライアントに送られる。

【0062】

例Ｃ２は例Ｃ１のフィーチャを含み、前記ターゲット識別子と前記ＡＲクライアントからのテキストに基づいてＡＲコンテンツを取得するステップは、前記ＡＲクライアントからのテキストに少なくとも部分的に基づいて前記ＡＲコンテンツを動的に生成するステップを有する。

【0063】

例Ｃ３は例Ｃ１のフィーチャを含み、前記ターゲット識別子と前記ＡＲクライアントからのテキストに基づいてＡＲコンテンツを取得するステップは、リモート処理システムから前記ＡＲコンテンツを自動的に読み出すステップを有する。

【0064】

例Ｃ４は例Ｃ１のフィーチャを含み、前記ＡＲクライアントから受け取るテキストは、前記ＡＲクライアントにより実行された前記ＯＣＲからの結果の少なくとも一部を含む。例Ｃ４は例Ｃ２又は例Ｃ３のフィーチャを含み得る。

【0065】

例Ｄ１はＯＣＲでエンハンスされたＡＲをサポートするコンピュータ命令を有する少なくとも１つのマシンアクセス可能媒体である。該コンピュータ命令は、データ処理システム上で実行されると、それに応じて前記データ処理システムが例Ａ１−Ａ７、Ｂ１−Ｂ２及びＣ１−Ｃ４のうちいずれかによる方法を実行できるようにする。

【0066】

例Ｅ１は、ＯＣＲでエンハンスされたＡＲをサポートするデータ処理システムである。該データ処理システムは、処理要素と、前記処理要素に応答する少なくとも１つのマシンアクセス可能媒体と、前記少なくとも１つのマシンアクセス可能媒体に少なくとも部分的に記憶されたコンピュータ命令とを含む。該コンピュータ命令は、実行されると、それに応じて前記データ処理システムが例Ａ１−Ａ７、Ｂ１−Ｂ２及びＣ１−Ｃ４のうちいずれかによる方法を実行できるようにする。

【0067】

例Ｆ１は、ＯＣＲでエンハンスされたＡＲをサポートするデータ処理システムである。該データ処理システムは、例Ａ１−Ａ７、Ｂ１−Ｂ２及びＣ１−Ｃ４のうちいずれかによる方法を実行する手段を含む。

【0068】

例Ｇ１はＯＣＲでエンハンスされたＡＲをサポートするコンピュータ命令を有する少なくとも１つのマシンアクセス可能媒体である。該コンピュータ命令は、データ処理システム上で実行されると、それに応じて前記データ処理システムが、シーンのビデオに基づき、前記シーンが所定のＡＲターゲットを含むか自動的に判断できるようにする。該コンピュータ命令は、シーンがＡＲターゲットを含むと判断すると、その判断に応じて、データ処理システムがＡＲターゲットに関連するＯＣＲゾーン記述を自動的に読み出せるようにする。ＯＣＲゾーン記述はＯＣＲゾーンを特定する。該コンピュータ命令は、また、ＡＲターゲットに関連するＯＣＲゾーン記述を読み出すと、それに応じて、データ処理システムが自動的にＯＣＲを用いてＯＣＲゾーンからテキストを抽出できるようにする。該コンピュータ命令は、処理システムが、ＯＣＲの結果を用いて、ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツを取得できるようにする。該コンピュータ命令は、また、自動的に、データ処理システムが、ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツがシーンと共に提示するようにできる。

【0069】

例Ｇ２は例Ｇ１のフィーチャを含み、前記ＯＣＲゾーン記述は前記ＡＲターゲットの少なくとも一フィーチャに対する前記ＯＣＲゾーンの少なくとも一フィーチャを特定する。

【0070】

例Ｇ３は例Ｇ１のフィーチャを含み、前記ＡＲターゲットに関連するＯＣＲゾーン記述を自動的に読み出すステップは、前記ＡＲターゲットのターゲット識別子を用いてローカル記憶媒体から前記ＯＣＲゾーン記述を読み出すステップを有する。例Ｇ３は例Ｇ２のフィーチャを含んでもよい。

【0071】

例Ｇ４は例Ｇ１のフィーチャを含み、前記ＯＣＲの結果を用いて、前記ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツを判断するステップは、（ａ）前記ＡＲターゲットのターゲット識別子と前記ＯＣＲゾーンからのテキストの少なくとも一部をリモート処理システムに送るステップと、（ｂ）前記ターゲット識別子と前記ＯＣＲゾーンからのテキストの少なくとも一部とを前記リモート処理システムに送った後、前記リモート処理システムから前記ＡＲコンテンツを受け取るステップとを有する。例Ｇ４は、例Ｇ２又は例Ｇ３のフィーチャを含んでいても、例Ｇ２及び例Ｇ３のフィーチャを含んでいてもよい。

【0072】

例Ｇ５は例Ｇ１のフィーチャを含み、前記ＯＣＲの結果を用いて、前記ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツを判断するステップは、（ａ）ＯＣＲ情報を前記リモート処理システムに送る、前記ＯＣＲ情報は前記ＯＣＲゾーンから抽出されたテキストに対応する、ステップと、（ｂ）前記ＯＣＲ情報を前記リモート処理システムに送った後、前記リモート処理システムから前記ＡＲコンテンツを受け取るステップとを有する。例Ｇ５は、例Ｇ２又は例Ｇ３のフィーチャを含んでいても、例Ｇ２及び例Ｇ３のフィーチャを含んでいてもよい。

【0073】

例Ｇ６は例Ｇ１のフィーチャを含み、前記ＡＲターゲットはハイレベル分類子として機能する。また、前記ＯＣＲゾーンからのテキストの少なくとも一部はローレベル分類子として機能する。例Ｇ６は、（ａ）例Ｇ２、Ｇ３、Ｇ４又はＧ５のフィーチャ、（ｂ）例Ｇ２、Ｇ３及びＧ４のうちいずれか２つ以上のフィーチャ、又は（ｃ）例Ｇ２、Ｇ３及びＧ５のうちいずれか２つ以上のフィーチャを含み得る。

【0074】

例Ｇ７は例Ｇ６のフィーチャを含み、前記ハイレベル分類子は前記ＡＲコンテンツプロバイダを特定する。

【0075】

例Ｇ８は例Ｇ１のフィーチャを含み、前記ＡＲターゲットは２次元である。例Ｇ８は、（ａ）例Ｇ２、Ｇ３、Ｇ４、Ｇ５、Ｇ６又はＧ７のフィーチャ、（ｂ）例Ｇ２、Ｇ３、Ｇ４、Ｇ６及びＧ７のうちいずれか２つ以上のフィーチャ、又は（ｃ）例Ｇ２、Ｇ３、Ｇ５、Ｇ６及びＧ７のうちいずれか２つ以上のフィーチャを含み得る。

【0076】

例Ｈ１は、ＡＲコンテンツのマルチレベルトリガーを実装するコンピュータ命令を有する少なくとも１つのマシンアクセス可能媒体である。コンピュータ命令は、データ処理システムで実行されるとそれに応じて、データ処理システムが関連ＡＲコンテンツを特定するハイレベル分類子として機能するＡＲターゲットを選択できるようにする。また、コンピュータ命令は、データ処理システムが、選択された前記ＡＲターゲットのＯＣＲゾーンを指定できるようにする。前記ＯＣＲゾーンはＯＣＲを用いてテキストが抽出されるビデオフレーム内のエリアを構成し、前記ＯＣＲゾーンからのテキストは関連ＡＲコンテンツを特定するローレベル分類子として機能する、ステップとを有する。

【0077】

例Ｈ２は例Ｈ１のフィーチャを含み、選択されたＡＲターゲットのＯＣＲゾーンを指定するステップは、ＡＲターゲットの少なくとも１つのフィーチャに対してＯＣＲゾーンの少なくとも１つのフィーチャを指定するステップを有する。

【0078】

例Ｈ１は、ＡＲコンテンツのマルチレベルトリガーを実装するコンピュータ命令を有する少なくとも１つのマシンアクセス可能媒体である。コンピュータ命令は、データ処理システムで実行されるとそれに応じて、データ処理システムがＡＲクライアントからターゲット識別子を受け取れるようにする。ターゲット識別子は、所定のＡＲターゲットを、前記ＡＲクライアントによりビデオシーン中に検出されたものとして識別する。コンピュータ命令は、データ処理システムが、前記ＡＲクライアントからテキストを受け取れるようにする。前記テキストは前記ビデオシーン中の前記所定ＡＲターゲットに関連するＯＣＲゾーンに前記ＡＲクライアントにより実行されるＯＣＲの結果に対応する。コンピュータ命令は、データ処理システムがターゲット識別子とＡＲクライアントからのテキストとに基づいてＡＲコンテンツを取得し、ＡＲコンテンツをＡＲクライアントに送れるようにする。

【0079】

例Ｉ２は例Ｉ１のフィーチャを含み、前記ターゲット識別子と前記ＡＲクライアントからのテキストに基づいてＡＲコンテンツを取得するステップは、前記ＡＲクライアントからのテキストに少なくとも部分的に基づいて前記ＡＲコンテンツを動的に生成するステップを有する。

【0080】

例Ｉ３は例Ｉ１のフィーチャを含み、前記ターゲット識別子と前記ＡＲクライアントからのテキストに基づいてＡＲコンテンツを取得するステップは、リモート処理システムからＡＲコンテンツを自動的に読み出すステップを有する。

【0081】

例Ｉ４は例Ｉ１のフィーチャを含み、前記ＡＲクライアントから受け取るテキストは、前記ＡＲクライアントにより実行された前記ＯＣＲからの結果の少なくとも一部を含む。例Ｉ４は例Ｉ２又は例Ｉ３のフィーチャを含み得る。

【0082】

例Ｊ１はデータ処理システムであり、処理要素と、前記処理要素に応答する少なくとも１つのマシンアクセス可能媒体と、前記少なくとも１つのマシンアクセス可能媒体に少なくとも部分的に記憶されたＡＲブラウザとを含む。また、ＡＲデータベースが前記少なくとも１つのマシンアクセス可能媒体に少なくとも部分的に記憶される。ＡＲデータベースは、ＡＲターゲットに関連するＡＲターゲット識別子と、ＡＲターゲットに関連するＯＣＲゾーン記述とを含む。ＯＣＲゾーン記述はＯＣＲゾーンを特定する。ＡＲブラウザは、シーンのビデオに基づき、シーンがＡＲターゲットを含むか、自動的に判断するように動作可能である。ＡＲブラウザは、シーンがＡＲターゲットを含むと判断するとその判断に応じて、ＡＲターゲットに関連するＯＣＲゾーン記述を自動的に読み出すように動作可能である。ＡＲブラウザは、また、ＡＲターゲットに関連するＯＣＲゾーン記述を読み出すとそれに応じて、自動的にＯＣＲを用いてＯＣＲゾーンからテキストを抽出するように動作可能である。ＡＲブラウザは、ＯＣＲの結果を用いて、ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツを取得するように動作可能である。ＡＲブラウザは、前記ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツを、自動的に、前記シーンと共に提示させるように動作可能である。

【0083】

例Ｊ２は例Ｊ１のフィーチャを含み、前記ＯＣＲゾーン記述は前記ＡＲターゲットの少なくとも一フィーチャに対する前記ＯＣＲゾーンの少なくとも一フィーチャを特定する。

【0084】

例Ｊ３は例Ｊ１のフィーチャを含み、ＡＲブラウザは、前記ＡＲターゲットのターゲット識別子を用いてローカル記憶媒体から前記ＯＣＲゾーン記述を読み出すように動作可能である。例Ｊ３は例Ｊ２のフィーチャを含んでもよい。

【0085】

例Ｊ４は例Ｊ１のフィーチャを含み、前記ＯＣＲの結果を用いて、前記ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツを判断するステップは、（ａ）前記ＡＲターゲットのターゲット識別子と前記ＯＣＲゾーンからのテキストの少なくとも一部をリモート処理システムに送るステップと、（ｂ）前記ターゲット識別子と前記ＯＣＲゾーンからのテキストの少なくとも一部とを前記リモート処理システムに送った後、前記リモート処理システムから前記ＡＲコンテンツを受け取るステップとを有する。例Ｊ４は例Ｊ２又は例Ｊ３のフィーチャを含み、例Ｊ２及び例Ｊ３のフィーチャを含み得る。

【0086】

例Ｊ５は例Ｊ１のフィーチャを含み、前記ＯＣＲの結果を用いて、前記ＯＣＲゾーンから抽出されたテキストに対応するＡＲコンテンツを判断するステップは、（ａ）ＯＣＲ情報を前記リモート処理システムに送る、前記ＯＣＲ情報は前記ＯＣＲゾーンから抽出されたテキストに対応する、ステップと、（ｂ）前記ＯＣＲ情報を前記リモート処理システムに送った後、前記リモート処理システムから前記ＡＲコンテンツを受け取るステップとを有する。例Ｊ５は例Ｊ２又は例Ｊ３のフィーチャを含み、例Ｊ２及び例Ｊ３のフィーチャを含み得る。

【0087】

例Ｊ６は例Ｊ１のフィーチャを含み、ＡＲブラウザは、ＡＲターゲットをハイレベル分類子として用い、ＯＣＲゾーンからのテキストの少なくとも一部をローレベル分類子として用いるように動作可能である。例Ｊ６は、（ａ）例Ｊ２、Ｊ３、Ｊ４又はＪ５のフィーチャ、（ｂ）例Ｊ２、Ｊ３及びＪ４のうちいずれか２つ以上のフィーチャ、又は（ｃ）例Ｊ２、Ｊ３及びＪ５のうちいずれか２つ以上のフィーチャを含み得る。

【0088】

例Ｊ７は例Ｊ６のフィーチャを含み、前記ハイレベル分類子は前記ＡＲコンテンツプロバイダを特定する。

【0089】

例Ｊ８は例Ｊ１のフィーチャを含み、前記ＡＲターゲットは２次元である。例Ｊ８は、（ａ）例Ｊ２、Ｊ３、Ｊ４、Ｊ５、Ｊ６又はＪ７のフィーチャ、（ｂ）例Ｊ２、Ｊ３、Ｊ４、Ｊ６及びＪ７のうちいずれか２つ以上のフィーチャ、又は（ｃ）例Ｊ２、Ｊ３、Ｊ５、Ｊ６及びＪ７のうちいずれか２つ以上のフィーチャを含み得る。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】