特許 6013363 ビューの画像の少なくとも１つの特徴に注釈付けするためのコンピュータ化された方法及びデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6013363

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月25日

(54)【発明の名称】ビューの画像の少なくとも１つの特徴に注釈付けするためのコンピュータ化された方法及びデバイス

(51)【国際特許分類】

   G06F 3/01 20060101AFI20161011BHJP

   G06F 3/0484 20130101ALI20161011BHJP

   G06T 19/00 20110101ALI20161011BHJP

【ＦＩ】

   G06F3/01 510

   G06F3/0484 120

   G06T19/00 600

【請求項の数】13

【全頁数】20

(21)【出願番号】特願2013-545134(P2013-545134)

(86)(22)【出願日】2011年11月17日

(65)【公表番号】特表2014-501984(P2014-501984A)

(43)【公表日】2014年1月23日

(86)【国際出願番号】EP2011070382

(87)【国際公開番号】WO2012084362

(87)【国際公開日】20120628

【審査請求日】2014年2月26日

(31)【優先権主張番号】2131/10

(32)【優先日】2010年12月21日

(33)【優先権主張国】CH

(73)【特許権者】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】モネ・マシュー

(72)【発明者】

【氏名】エイェ・セルジュ

(72)【発明者】

【氏名】ヴェッテーリ・マルタン

【審査官】 岩橋 龍太郎

(56)【参考文献】

【文献】 特開２００７−０１８４５６（ＪＰ，Ａ）

【文献】 特開２０１０−００９１９２（ＪＰ，Ａ）

【文献】 特開２００１−２１６３０９（ＪＰ，Ａ）

【文献】 特開平１０−２６７６７１（ＪＰ，Ａ）

【文献】 特開２００６−０５９１３６（ＪＰ，Ａ）

【文献】 特開２００９−０１７５４０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｇ０６Ｆ ３／１４− ３／１５３

Ｇ０６Ｔ １／００−１９／２０

Ｇ０９Ｇ ５／００− ５／４２

(57)【特許請求の範囲】

【請求項1】

ビューの画像の少なくとも１つの特徴に注釈付けするためのコンピュータ化された方法において、
ポータブル・デバイスの画像センサによって前記画像を得るステップと、
前記ポータブル・デバイスのパラメータから少なくとも１つの条件を取り出すステップと、
前記少なくとも１つの条件に基づいて、利用可能な複数の特徴識別方法から１つの特徴識別方法を自動的に選択するステップと、
前記画像の複数の特徴を識別するために前記特徴識別方法を適用するステップと、
当該識別された複数の特徴のうちのどの特徴が注釈付けされるべきかを決定するステップと、
当該識別された複数の特徴のうちの少なくとも幾つかの特徴に注釈付けして、重ねられた注釈を有する注釈付き画像を生成するステップとから成り、
前記複数の特徴識別方法は、
前記画像と１つ又は複数の２Ｄモデルとの間の合致に基づく第１の特徴識別方法と、
前記画像と１つ又は複数の３Ｄモデルとの間の合致に基づく第２の特徴識別方法とから成る当該方法。

【請求項2】

前記条件は、前記ポータブル・デバイスの集束距離に依存し、
前記集束距離が、既定のしきい値より短いときは、前記第１の特徴識別方法が選択され、
前記集束距離が、前記既定のしきい値より長いときは、前記第２の特徴識別方法が選択される請求項１に記載の方法。

【請求項3】

１つの特徴識別方法の当該選択は、前記画像の画像分析の結果に依存する請求項１に記載の方法。

【請求項4】

前記条件は、前記ポータブル・デバイスの地理的位置に依存する請求項１に記載の方法。

【請求項5】

前記条件は、前記画像センサのレンズの少なくとも１つの設定パラメータ、及び／又は前記ポータブル・デバイスの少なくとも１つのパラメータを有する請求項１に記載の方法。

【請求項6】

前記選択された特徴識別方法をユーザによって妥当性検査するステップをさらに有する請求項１に記載の方法。

【請求項7】

前記ユーザは、前記自動的に選択された特徴識別方法を、別の特徴識別方法に手動で置き換える請求項６に記載の方法。

【請求項8】

・前記少なくとも１つの条件に基づいて、特徴識別データ及び一セットの対応する注釈候補を、リモート・サーバ上で自動的に選択するステップと、
・前記特徴識別データ及び前記一セットの注釈候補を、前記ポータブル・デバイスにダウンロードするステップと、
・適用するための特徴識別方法を選択するステップと、
・前記選択され且つダウンロードされた特徴識別データと前記画像の識別された特徴との間に、少なくとも１つの一致点が存在することを検証するステップと、
・一致点が発見されたときに、前記識別された複数の特徴のうちの少なくとも幾つかの特徴に注釈付けするステップと、
・一致点が発見されなかったときに、一致点が発見されるまで、前記一セットの注釈候補を変更及び／又は拡張するステップとから成る請求項１に記載の方法。

【請求項9】

・前記少なくとも１つの条件、及び／又は、リモート・サーバと前記ポータブル・デバイスとの間の通信リンクの品質、及び／又は、前記ポータブル・デバイスの計算力に基づいて、一セットの特徴識別データをリモート・サーバ上で自動的に選択するステップと、
・前記選択された特徴識別データを、前記ポータブル・デバイスにダウンロードするステップと、
・前記選択され且つダウンロードされた特徴識別データを使用して、前記識別された複数の特徴のうちの少なくとも幾つかの特徴に注釈付けするステップとから成る請求項１に記載の方法。

【請求項10】

複数の特徴識別データ及び対応する注釈が、前記ポータブル・デバイスに追加され、
当該追加された特徴識別データ及び対応する注釈が、リモート・サーバに送られ、
画像内での識別時に、対応する特徴に注釈付けするために、その他のポータブル・デバイスで利用可能になる請求項１に記載の方法。

【請求項11】

ビューの画像の少なくとも１つの特徴に注釈付けするための、請求項１〜１０のいずれか１項に記載の方法で使用されるシステムにおいて、
当該システムは：
前記画像を得るための画像センサを有するポータブル・デバイスと、
前記ポータブル・デバイスのパラメータから少なくとも１つの条件を取り出すための手段と、
前記少なくとも１つの条件に基づいて、利用可能な複数の特徴識別方法から１つの特徴識別方法を自動的に選択するための手段と、
前記画像の複数の特徴を識別するために前記特徴識別方法を適用するための手段と、
当該識別された複数の特徴のうちのどの特徴が注釈付けされるべきかを決定する手段と、
前記識別された複数の特徴のうちの幾つかの特徴に注釈付けして、重ねられた注釈を有する注釈付き画像を生成するための手段とから成るシステム。

【請求項12】

前記ポータブル・デバイスは、１つ以上の位置特定センサと、当該位置特定センサの出力に基づいて注釈方法を選択するための手段とを有する請求項１１に記載のシステム。

【請求項13】

ポータブル・デバイスの画像センサによって得られたビューの画像から少なくとも１つの条件を取り出すこと、
前記少なくとも１つの条件に基づいて、利用可能な複数の特徴識別方法から１つの特徴識別方法を自動的に選択すること、
ビューの画像の少なくとも１つの特徴に注釈付けするために前記選択された特徴識別方法を適用すること、及び
前記識別された複数の特徴のうちの幾つかの特徴に注釈付けすることを、プログラマブルプロセッサに実行させるための命令によって符号化されたコンピュータ読み取り可能な、請求項１〜１０のいずれか１項に記載の方法又は請求項１１若しくは１２に記載のシステムで使用される記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビューの画像の少なくとも１つの特徴に注釈付けするためのコンピュータ化された方法及びデバイスに関する。

【背景技術】

【0002】

「メディア媒介現実（ｍｅｄｉａｔｅｄ ｒｅａｌｉｔｙ）」と呼ばれる概念は、現実のビューをデバイスによって修正、例えば増補又は低減できることを指す。「拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）」及び「低減現実（ｒｅｄｕｃｅｄ ｒｅａｌｉｔｙ）」という表現はそれぞれ、ビューの要素又は特徴が、仮想的な入力（取り込まれた画像上に重なるグラフィック要素又はテキスト注釈など）によって増補されたか、又は低減もしくは抑制された、物理的な実世界環境のライブ・ビューを示す。例えば、ビューの画像の顕著な特徴に、識別する情報又は特徴付ける情報で注釈付けすることが可能である。

【0003】

画像の特徴に注釈付けすることは、例えば非特許文献１で述べられているような、分類又は検索の目的で画像全体に注釈付けすることと混同すべできはない。画像の特徴に注釈付けする場合、画像又はビデオが修正されることになり、例えば、ビデオの画像が画像の通常使用中に追加の注釈が重ねられるか又は他の方法で視聴者に送達されることになる。分類のために画像に注釈付けする場合は通常、追加のキーワードなど、画像に関連する追加のメタデータが得られ、このメタデータは普通、画像の通常使用中には隠される。

【0004】

ビューの画像の特徴に注釈付けするための方法及びデバイスが知られている。

【0005】

特許文献１には、無線信号を発する特徴に注釈付けするためのコンピュータ化された方法及びデバイスが記載されている。この無線信号を用いて、特徴を識別することができる。次いで、識別された特徴は、特徴に関連する注釈付けデータに関係付けられ、次いでこの注釈付けデータがデバイス上に表示される。特徴は、美術館に属する要素とすることができ、例えば、無線信号を発するための回路を有する絵画又は彫像とすることができる。特許文献１にはまた、ディジタル形式の地図データ又は他の空間情報を使用することも記載されており、地図データと画像データとの間の対応関係マッチングにより、画像データに地図データで注釈付けすることができる。

【0006】

しかし、注釈付けすべき特徴又は要素が、風景に属する場合、例えば山脈のビュー中の山である場合、特許文献１は、美術館内で使用されるのと同じデバイスでどのように注釈付け方法を処理するかを示唆しない。自明なことだが、山及び風景要素は、無線信号を発するための回路を有さない。一方、特徴に注釈付けするのに地図データを使用するデバイスは、要素が無線信号を発することのできる美術館内では、ほとんど使用することができない。言い換えれば、特許文献１は、異なる環境及び場所に属するビューの画像の特徴に対する注釈付けを、同じデバイスでどのように処理するかを示唆しない。

【0007】

特許文献２には、デバイスの位置及び配向に基づいてビューの特徴に注釈付けするための、コンピュータ化された方法及びデバイスが記載されている。

【0008】

特許文献１と特許文献２は両方とも、立体画像、すなわち２つの特定点からの１対のビューによって表される画像の場合に、２Ｄビューが解決できない曖昧さに対処するために３Ｄビューを使用できることを簡単に述べている。このような３Ｄモデルは主に、美術館内又は公園内の彫像など、すぐ近くの特徴に対しては有用だが、離れた特徴を識別するには、有用さが劣り時間がかかる。

【0009】

特許文献３には、デバイスの位置及び配向、ならびにデバイスのズーム倍率に基づいて、現実２Ｄ表示モードから仮想３Ｄ表示モードに自動的に切り替えることのできる画像取込みデバイスが記載されている。デバイスはこの場合、画像表現のタイプ（現実又は仮想）を自動的に選択する。

【0010】

特許文献４には、３次元表示データを、又は、３次元データが利用できないか又は表示し難い場合には２次元表示データを出力するための、ナビゲーション・システムが記載されている。特許文献５には、２Ｄ又は３Ｄ画像表示の手動選択が可能な別のナビゲーション・システムが記載されている。ここで、これらの文書は、修正現実（ｍｏｄｉｆｉｅｄ ｒｅａｌｉｔｙ）デバイスには関係しない。

【0011】

そこで、種々の環境及び場所に属する特徴に対する注釈付けを効率的に処理することを可能にする、ビューの画像の少なくとも１つの特徴に注釈付けするためのコンピュータ化された方法及びデバイスが必要とされている。

【0012】

ライブ・ビデオ・ストリームに注釈付けする場合、注釈内容をリモート・サーバからフレーム毎に（又は異なる場面タイプもしくはオブジェクト・タイプ毎に）取り出すために通信ネットワークによって生じるレイテンシが、高すぎることがある。一方で、全ての注釈をポータブル・デバイスに記憶することもまた、メモリ及び処理速度の制約により不可能である。このように、ライブ・ビデオ・ストリームに対する現在の注釈付けは、効率的でないか又は可能でない。

【先行技術文献】

【特許文献】

【0013】

【特許文献1】欧州特許第１２４６０８０号明細書

【特許文献2】欧州特許第２２０７１１３号明細書

【特許文献3】欧州特許第２１５４４８１号明細書

【特許文献4】特開２００５−２９２０６４号公報

【特許文献5】米国特許出願公開第２００４０３０７４１号明細書

【非特許文献】

【0014】

【非特許文献1】「Ｉｍｐｒｏｖｉｎｇ ｉｍａｇｅ ａｎｎｏｔａｔｉｏｎｓ ｕｓｉｎｇ ｗｏｒｄｎｅｔ」、Ａｄｖａｎｃｅｓ ｉｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍｓ ｌｅｃｔｕｒｅ ｎｏｔｅｓ ｉｎ ｃｏｍｐｕｔｅｒ ｓｃｉｅｎｃｅ、Ｓｐｒｉｎｇｅｒ、Ｂｅｒｌｉｎ−Ｈｅｉｄｅｌｂｅｒｇ（ＩＳＢＮ ９７８−３−５４０−２８７９２−６）、１１５〜１３０頁、０１ Ｊａｎｖｉｅｒ ２００５ 、Ｙｏｈａｎ Ｊｉｎ他著（Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｘａｓ）

【非特許文献2】「ＢＲＩＥＦ： Ｃｏｍｐｕｔｉｎｇ ａ Ｌｏｃａｌ Ｂｉｎａｒｙ Ｄｅｓｃｒｉｐｔｏｒ Ｖｅｒｙ Ｆａｓｔ」、Ｍ．Ｃａｌｏｎｄｅｒ 他、Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｈｅｒａｋｌｉｏｎ、ギリシャ、２０１０年

【非特許文献3】「Ｓｃａｌａｂｌｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ａ Ｖｏｃａｂｕｌａｒｙ Ｔｒｅｅ」、Ｄ． Ｎｉｓｔｅｒ他、ＣＶＰＲ、２００６年

【発明の概要】

【発明が解決しようとする課題】

【0015】

したがって、デバイスの画像センサによって生成されたリアルタイム・ビデオ・ストリームに即座に注釈付けすることが必要とされている。

【0016】

また、リモート・サーバとポータブル・デバイスとの間で、通信コストを削減し、転送速度を上げることも必要とされている。

【0017】

ゆえに、本発明の一目的は、前述の不都合の１つ又は複数を除去又は緩和することである。

【課題を解決するための手段】

【0018】

本発明によれば、上記課題は、請求項１に記載の：
ビューの画像の少なくとも１つの特徴に注釈付けするためのコンピュータ化された方法において、
ポータブル・デバイスの画像センサによって前記画像を得るステップと、
前記ポータブル・デバイスのパラメータから少なくとも１つの条件を取り出すステップと、
前記少なくとも１つの条件に基づいて、利用可能な複数の特徴識別方法から１つの特徴識別方法を自動的に選択するステップと、
前記画像の複数の特徴を識別するために前記特徴識別方法を適用するステップと、
当該識別された複数の特徴のうちのどの特徴が注釈付けされるべきかを決定するステップと、
当該識別された複数の特徴のうちの少なくとも幾つかの特徴に注釈付けして、重ねられた注釈を有する注釈付き画像を生成するステップとから成り、
前記複数の特徴識別方法は、
前記画像と１つ又は複数の２Ｄモデルとの間の合致に基づく第１の特徴識別方法と、
前記画像と１つ又は複数の３Ｄモデルとの間の合致に基づく第２の特徴識別方法とのうちの少なくとも１つの方法から成るか、又はこれらの方法の任意に組み合わせたものから成る当該方法によって解決される。
さらに、本発明は、請求項１１に記載のビューの画像の少なくとも１つの特徴に注釈付けするためのシステムと、請求項１３に記載のコンピュータ読み取り可能な記録媒体とによって解決される。

【0019】

このコンテキストにおける名詞「特徴」は、ビューの画像の任意の要素又は特性を示す。特徴は、限定ではないが例えば、山、絵画、彫像、人物、天候、新聞記事、ポスター、レストラン、道路上の他の任意の要素などとすることができる。特徴は、静的な、すなわち時間において固定位置を有する特徴であることもあり、又は動的な、すなわち時間の経過につれて位置又はその概観が変化する特徴であることもある。後者の場合、この種の特徴は、識別されるだけでなく追跡もされることになる。特徴の概観が時間の経過につれて動的に変化し得る一実施形態、例えばディジタル標識の表示装置上に表示される広告クリップの場合では、特徴の識別及び追跡は、ビデオ・ストリームの場合には時間的なフレーム間関係を使用することができ、又は、ある時間帯にわたり静的なままである静的な画像部分を使用することができる。

【0020】

名詞「注釈」は、画像中の特定の特徴を識別するか又は特徴付ける１つ又は複数の単語、記号、顔文字、描画、線、矢印、画像などを示す。注釈は、画像を通常観察する間に目に見える。例えば、注釈は、注釈付き画像の上に重なる。

【0021】

特徴が認識されない場合、その注釈はクエスチョン・マークとすることができる。

【0022】

名詞「注釈」はまた、音及び／又は言語表現を含む音声メッセージを示すことができる。名詞「注釈」はさらに、音声画像のシーケンス又はビデオ・クリップ、すなわち、視覚と音声の両方のメッセージを示すことができる。一実施形態では、注釈は対話式とすることもでき、例えば、ユーザが注釈をクリックしてアクションをトリガすることができる。このようなアクションの結果は、ユーザ入力を求めるメニュー、又は、ユーザに対する種々の情報の表示とすることができる。別の実施形態では、ユーザの対話の必要なしに、対応する特徴が認識されればすぐにメニューがユーザに対して提示される。

【0023】

別の実施形態では、注釈が表示される前にユーザがアクションを実行する必要がある。例えば、注釈付けすべき特徴は、１６個の点で構成される正方形を含むプラカードであり、このプラカードは、１６個の点の全てを接続する少数の直線を引くようユーザに求める。ユーザがこれらの線を正しく引くと、例えば拍手を含む音声注釈が特徴に付けられることになる。

【0024】

表現「ポータブル・デバイス」は、カメラ、ビデオカメラ、携帯電話機、ラップトップ、コンピュータ、パーソナル・ディジタル・アシスタント（ＰＤＡ）、スマートフォン、ゲーム・コンソールを指すことができるが、これらに限定されない。ビデオカメラの場合、このビデオカメラによって得られる画像は、ビデオ・ストリームの少なくとも１つのフレームを含み、ビデオ・ストリームはリアルタイム・ビデオ・ストリームとすることができる。

【0025】

このコンテキストにおける名詞「条件」は、パラメータ間の関係を示し、この関係を使用して、複数の利用可能な方法から１つの特徴識別方法を選択することができる。条件は、ポータブル・デバイスの画像センサから得られる画像、又は以下のような他のソースに依存することがある。
・１つ又は複数の位置特定センサ
・１つ又は複数のネットワークベースのセンサ
・１つ又は複数のポータブル・デバイス・パラメータ
・１つ又は複数のリモート・サーバ

【0026】

画像から取り出される条件の例として、画像の幾つかの特徴のアプリオリな認識を、注釈付け方法の選択に使用することができる。例えば、方法は、マッターホルン（セルヴァン（Ｃｅｒｖｉｎ））などの山の景色、ピサの斜塔などの建物、円盤投げなどの彫像、又はモナリザなどの絵画が画像中に存在すること等、画像中で識別される特徴を分類することができる。識別される特徴のカテゴリの例には、例えば、風景要素、都市要素、交通要素、クローズアップ要素などが含まれる。

【0027】

条件が、ＧＰＳのような位置特定センサ、及び／又はネットワークベースの位置特定センサから例えば検出された、ポータブル・デバイスの場所に依存する場合、選択される識別方法は、例えば、適切な注釈付け方法を選択するための場所のカテゴリに依存することができる。カテゴリの例としては、風景と都市景色、屋内場所と屋外場所、ハイウェイと美術館、などが含まれる。

【0028】

屋内と屋外の分類はまた、測定された輝度、又は追加のフラッシュ光の使用に依存することができる。

【0029】

他の条件を、ポータブル・デバイスのパラメータから取り出すことができる。一例では、ズーム倍率、開口、又は集束距離など、レンズのパラメータを使用することができる。また、例えば、オート、ポートレート、パーティ／屋内、浜辺／雪、風景、クローズアップ、美術館、夕暮れ／夜明けなどを区別するための、ユーザによって選択されたか又は自動的に選択された場面モードを、最も適合された特徴識別方法を決定するための条件として使用することもできる。

【0030】

これらのデバイス・パラメータは、自動的であってもよく、又はユーザによって手動で選択されてもよい。例として、例えば場面モード「オート」で光が十分でないと考えられる場合には、又は場面モード「パーティ／屋内」では、フラッシュの使用がポータブル・デバイスによって自動的に設定されてよい。又は、フラッシュの使用は、ユーザがポータブル・デバイスの触覚手段を選択することによって、又は外部フラッシュ・デバイスをポータブル・デバイスに追加することによって、手動で設定することができる。

【0031】

条件はまた、画像モデルを含む１つ又は複数のリモート・サーバのデータベースから取り出すこともできる。

【0032】

このコンテキストにおける表現「特徴識別方法」は、取り込まれた画像中の１つ又は幾つかの特徴を識別するために選択される方法を示す。方法の選択は、述べた条件の少なくとも１つに依存し、したがって、異なる条件において、異なる特徴識別方法が使用される。特徴識別方法の例は、取り込まれた画像中の特徴を、既知の特徴のローカル又はリモート・データベースに記憶された基準２Ｄ画像と照合することを含む。異なる条件下で使用できる別の特徴識別方法は、取り込まれた画像中の特徴を、ローカル又はリモート・データベースに記憶された１つ又は幾つかの３Ｄモデルの投影と照合することを含んだ。さらに別の特徴識別方法は、取り込まれた要素に関連する、ＲＦＩＤ要素などの無線ビーコンから発せられてユーザのデバイスによって受信される無線信号を使用することを含む。

【0033】

特定の特徴識別方法が選択された後は、選択された方法によって使用されるそれぞれの基準２Ｄ及び３Ｄ要素の特定データベースの選択もまた、条件に依存することができる。

【0034】

一例では、集束距離が、例えば「円盤投げ」など、前景のオブジェクトに適合する場合は、選択される特徴識別方法は３Ｄマッチング認識又は識別方法とすることができ、「円盤投げ」の取込み画像が、データベース中の候補３Ｄ基準要素の投影と照合される。集束距離が、例えば山脈など、背景のオブジェクトに適合する場合は、選択される特徴識別方法は２Ｄマッチング認識又は識別方法とすることができ、山脈の輪郭が、データベース中の２Ｄ基準画像と照合される。

【0035】

有利にも、本発明による方法は、ポータブル・デバイスの現在の集束距離に依存して、２Ｄ又は３Ｄ特徴識別方法を自動的に選択する。

【0036】

有利にも、この方法は、最良の特徴識別方法を決定するために、２つ以上の条件を使用し組み合わせることができる。上記の例では、画像が「円盤投げ」を含む場合、ポータブル・デバイスが「美術館」モードに設定されている可能性が高い。この異なる条件により、この例では、３Ｄマッチング・アルゴリズムが適することが確定し、したがって、次いでこれらの条件に基づいて、３Ｄ画像、例えば古代ギリシャの彫像を表す画像を含む特定のデータベースを選択することができ、「円盤投げ」を素早く効率的に識別することができる。

【0037】

山脈を含む画像に関する上記の他方の例では、ポータブル・デバイスが「風景」モードに設定されており、したがってフラッシュを使用しない可能性が高く、また、ポータブル・デバイスは、デバイスの画像センサにリンクされた位置センサ（例えばＧＰＳセンサ）、又は、ＧＳＭ（登録商標）又はＵＭＴＳネットワーク中でデバイスの位置を例えば特定するためのネットワークベースのセンサを使用して、デバイスの地理的位置を取り出すことができる可能性が高い。これらの条件が満たされるとき、特徴識別方法が選択され、これらの条件に基づいて、２Ｄ画像、例えばこの特定の場所の風景輪郭を表す画像を含む特定のデータベースが選択され、山脈を素早く効率的に識別することができる。

【0038】

本発明の独立態様によれば、「注釈候補」のセット、すなわち複数の注釈からの注釈のセットを、自動的に選択することが可能である。この候補選択は、特徴識別方法の自動選択と同様、少なくとも１つの条件に基づく。好ましい一実施形態では、この少なくとも１つの条件は、ポータブル・デバイスの位置センサ、例えばＧＰＳセンサから取り出された、デバイス位置に依存する。

【0039】

注釈候補は、セルラー・ネットワーク（例えばＵＭＴＳ）又はＷｉｆｉを介して、リモート・サーバからポータブル・デバイスにワイヤレスにダウンロードすることができる。このようにすれば、どんな外部サーバの必要もなしに、ポータブル・デバイス自体の上でビューの画像の注釈付けを行うことができる。また、注釈付けデバイスは、フラッシュ・メモリやＤＶＤなどの媒体に記憶された大きい不揮発性の注釈セット付きで出荷されてもよい。この場合、注釈付けデバイスは、このセットのサブセットのみを使用することになる。実際、コンパクト・ディジタル・カメラのような注釈付けデバイスに、いくらかの注釈セットが組み込まれてよく、カメラは、ユーザが現在見ているビューを認識して、ユーザが撮影しているビューの画像に、認識された注釈で自動的に「タグ付け」することができる。特徴識別方法は、一実施形態では上で論じたように少なくとも１つの条件に依存することができ、次いでこの特徴識別方法が、ビューの画像の少なくとも１つの特徴を識別するために適用される。一実施形態では、非特許文献２で説明されている方法が、非特許文献３で説明されている方法との組合せでこの目的に使用されるが、他の方法を使用することもできる。識別された特徴のうちのどれに注釈付けするかが決定された後、これらの識別された特徴と注釈候補との対応が検証される。

【0040】

対応又は合致が見つかった場合は、識別された特徴についてどこでどのように注釈を記述及び／又は再生するか、いくつの注釈が画像に重ねられるか、書き込まれる注釈のフォント・タイプ及び寸法、ビデオ注釈の音量及び／又は言語などが決定される。次いで、識別された複数の特徴のうちの幾つかの特徴が注釈付けされる。

【0041】

対応又は合致が見つからない場合は、同じ又は別のサーバから、別の候補セットがダウンロードされ、識別された特徴と新しい候補との対応が検証される。新しいセットは一般に、前のセットよりも広い。すなわち、共通する特徴の数がより少ない候補を含む。対応又は合致が見つかった場合は、前述の考察がやはり当てはまる。見つからない場合は、対応又は合致が見つかるまで、ダウンロード及び検証のステップが反復的に継続される。見つからない場合は、例えばポータブル・デバイス上に表示される書き込まれたメッセージによって、注釈付け失敗メッセージがポータブル・デバイスのユーザに通信される。一実施形態では、ユーザは、例えば幾つかの検索基準をポータブル・デバイス上で導入することによって、所望の注釈をデバイスが見つけるのを補助するよう求められる。

【0042】

本発明の独立態様によれば、ビューの画像の少なくとも１つの特徴に注釈付けするための本発明の方法は、
・ポータブル・デバイスの画像センサによって前記画像を得るステップと、
・少なくとも１つの条件を取り出すステップと、
・前記少なくとも１つの条件に基づいて、リモート・サーバ上で複数の特徴識別データ及び／又は注釈から特徴識別データのセット及び／又は注釈候補のセットを自動的に選択するステップと、
・前記セット（１つ又は複数）を前記ポータブル・デバイスにダウンロードするステップと、
・前記画像の特徴が特徴識別データと合致するかどうか検証するステップと、
・対応が見つかった場合に、識別された複数の特徴のうちの少なくとも幾つかの特徴に注釈付けするステップと、
・対応が見つからない場合に、対応が見つかるまで特徴識別データ及び／もしくは注釈候補のセットを変更及び／もしくは拡張し、かつ／又は、ポータブル・デバイスのユーザに通知してユーザにいくらかの特徴識別データ及び／もしくは注釈候補の挿入を求めるステップとを含む。

【0043】

対応が見つからない場合、ユーザ自身が、注釈デバイスにもリモート・サーバにも知られていない新しい特徴識別データを追加することができる。新しい特徴識別データは、例えば、画像上で利用可能であってユーザが注釈付けしたいと思う特徴のモデル又はテンプレートであり、このモデル又はテンプレートは、この特徴を他の類似の画像上で認識するのに使用することができる。新しい特徴識別データは、例えば、ユーザが新しい注釈を付けたいと思う取り込まれた画像の一部に対応するものとすることができる。新しい注釈は、注釈セットをダウンロードするのに使用されたのと同じ通信リンクを使用して、リモート・サーバに送られる。次いで、将来のユーザは、ビューの画像のオブジェクトに注釈付けされるようにすることができる。このように、注釈は、ユーザによって生成し、ユーザ間で共有することができる。

【0044】

この独立態様により考慮することができる条件の例は、以下に依存することができる。
・位置センサ（例えばカメラの画像センサにリンクされたＧＰＳセンサ）から、又はＧＳＭやＵＭＴＳネットワークなどのセルラー・ネットワークから取り出された、カメラの地理的位置
・ユーザ設定
・注釈付けすべき特徴（１つ又は複数）上の、データグラム、及び／又はバーコード、及び／又はＲＦＩＤ、及び／又は他の任意の認識可能な特徴、例えばロゴ、ＯＣＲ検出
・現在のデータ及び／又は時間
・サーバとポータブル・デバイスとの間の通信リンクの品質
・ポータブル・デバイスの計算力
・その他

【0045】

上記の独立態様によれば、デバイスの画像センサによって生成されたリアルタイム・ビデオ・ストリームに即座に注釈付けすることが可能である。

【0046】

ライブ・ビデオ・ストリームに対する注釈付けをリアルタイムで実行するためには、特徴識別方法をポータブル・デバイス内で実施しなければならない。通常、この特徴識別方法は、識別目標に到達するために、選択された方法に応じて何らかの特徴識別データを使用することを伴う。例えば、コンピュータ・ビジョン方法を使用すると、特徴識別方法は、識別しなければならない各特徴の「モデル」を必要とする。ポータブル・デバイスは、このモデルを使用して、ビューの画像中の特徴を識別してそれに注釈付けする。こうすることにより、ポータブル・デバイスは、表示可能デバイスであるだけでなく注釈付けデバイスでもあり、どんな外部サーバの必要もなしに、必要とされる全ての画像処理及びセンサ処理がポータブル・デバイス自体の上で行われる。

【0047】

一実施形態では、リモート・サーバと注釈付けデバイスとの間の通信コストを削減するために、かつ／又は注釈付けデバイスの計算の必要性を低減するために、特徴識別データは、リモート・サーバによって最適化される。

【0048】

本発明の他の独立態様によれば、リモート・サーバからポータブル・デバイスにダウンロードされる特徴識別データの選択は、論じた少なくとも１つの条件に依存する。本発明の別の独立態様によれば、この選択は、サーバとポータブル・デバイスとの間の通信リンクの品質に依存する。本発明の別の独立態様によれば、この選択は、ポータブル・デバイスの計算力、及び／又は利用可能なメモリ空間に依存する。

【0049】

本発明は、例として提供し図で示す実施形態の記述の助けを借りることによって、よりよく理解することができるであろう。

【図面の簡単な説明】

【0050】

【図1】本発明による方法の一実施形態に含まれるステップのフローチャートである。

【図2】画像センサを備えるポータブル・デバイスによって得られる画像の例を示す図である。

【図3】図２の画像をズームすることによって得られる別の画像を示す図である。

【図4】画像センサを備えるポータブル・デバイスによって得られる画像の他の例を示す図である。

【図5】画像センサを備えるポータブル・デバイスによって得られる画像の他の例を示す図である。

【図6】画像センサを備えるポータブル・デバイスによって得られる画像の他の例を示す図である。

【図7】画像センサを備えるポータブル・デバイスによって得られる画像の他の例を示す図である。

【図8】美術館の部屋、及び本発明によるデバイスの一実施形態を示す図である。

【発明を実施するための形態】

【0051】

本発明による方法は、図１に示す以下のステップを含むことができる。

【0052】

（ａ）ポータブル・デバイスの画像センサによって画像を得る（１０００）。

【0053】

例えば、ポータブル・デバイスはディジタル・カメラとすることができ、得られる画像は「円盤投げ」の画像とすることができる。

【0054】

（ｂ）少なくとも１つの条件を取り出す（２０００）。

【0055】

一例では、条件は、カメラの集束距離、及び／又は、ユーザによって選択されたかもしくはポータブル・デバイス中で自動的に選択された場面モード、及び／又は、彫像による無線信号に、依存することができる。別の例では、カメラは、位置特定センサ又はネットワークベースのセンサを有するか、又はこのセンサにリンクされ、条件は、画像のビューの位置特定に依存することができる。

【0056】

（ｃ）少なくとも１つの条件に基づいて、複数の特徴識別方法からある特徴識別方法を自動的に選択する（３０００）。

【0057】

選択される方法の例は、２Ｄマッチング識別方法とすることができ、すなわち、コンピュータ・ビジョン方法を使用して、特徴識別データとしての２Ｄテンプレートを画像の特徴と照合するものとすることができる。別の方法は、３Ｂマッチング方法とすることができ、すなわち、画像を３Ｄモデルの特徴と照合するものとすることができる。

【0058】

（ｄ）少なくとも１つの特徴を識別するために、前記特徴識別方法を適用する（４０００）。

【0059】

この例では、画像は、１つの顕著な特徴、すなわち「円盤投げ」のみを含み、よってこの特徴が識別される。

【0060】

（ｅ）識別された特徴のうちのどれに注釈付けしなければならないかを決定する（５０００）。

【0061】

この例では、注釈付けすべき特徴は１つだけである。このステップは、前に取り出された条件に依存することができる。注釈付けすべき特徴は、ＧＰＳセンサから例えば取り出されたＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）、ユーザにとって最も関心のある手動導入できる特徴、非常に目立つ特徴、最も重要な（最も目立つ特徴に対応するとは限らない）特徴などとすることができる。注釈付けすべき特徴の数は、ポータブル・デバイスの表示装置上の空間を考慮に入れる。

【0062】

（ｆ）識別された特徴について、注釈の内容及びどのように注釈を書き込むかを決定する（６０００）。

【0063】

例えば、この場合、注釈の内容は、「円盤投げ」に関する記述（作者、年代、芸術情報）である。「円盤投げ」の美術館の地理的位置が利用可能であるとしても、この例では、地理的位置を表示するのは有用でない。このステップでは、注釈のサイズ、色、フォント、透明度などを選択することが可能である。この選択は、前に取り出された条件に依存することができる。例えば、「円盤投げ」は美術館内にあるので、芸術的かつ手書き風のフォントが自動的に選択されてもよい。注釈同士の衝突は回避される。注釈のサイズは、注釈付けすべき特徴の数、ポータブル・デバイスの表示装置上の空間、及びユーザの読取り制約を考慮に入れる。

【0064】

（ｇ）識別された特徴に注釈付けする（７０００）。

【0065】

次いで、注釈はポータブル・デバイス上に表示される。

【0066】

有利にも、よって本発明の方法は、種々の環境及び場所に属する特徴に対する注釈付けを効率的に処理することを可能にする。

【0067】

好ましい一実施形態では、自動的に選択された特徴識別方法を、ポータブル・デバイスのユーザが妥当性検査することができる。ユーザが方法を有効としない場合は、ユーザは手動で別の方法を選択することができる。次いで、今後さらに特徴識別方法を自動的に選択するために、ユーザのフィードバックをポータブル・デバイスによって考慮に入れることができる。このユーザ・フィードバック手順は、反復的に繰り返すことができる。

【0068】

本発明はまた、ビューの画像の少なくとも１つの特徴に注釈付けするためのシステムに関し、このシステムは、
（ａ）前記画像を得るための画像センサを備えるポータブル・デバイスと、
（ｂ）少なくとも１つの条件を取り出す手段と、
（ｃ）前記条件に基づいて複数の特徴識別方法からある特徴識別方法を自動的に選択する手段と、
（ｄ）前記少なくとも１つの特徴を識別するために前記特徴識別方法を適用する手段と、
（ｇ）識別された幾つかの特徴に注釈付けする手段とを備える。

【0069】

システムは、
（ｅ）識別されたどの特徴に注釈付けしなければならないかを決定する手段と、
（ｆ）識別された特徴について、注釈の内容及びどのように注釈を書き込むかを決定する手段とを備えてよい。

【0070】

一実施形態では、ポータブル・デバイスは、前記取り出す手段、及び／又は前記選択する手段、及び／又は前記適用する手段、及び／又は前記注釈付けする手段を備える。

【0071】

別の実施形態では、システムは、１つ又は複数のリモート・サーバを備え、このリモート・サーバは、前記取り出す手段、及び／又は前記選択する手段、及び／又は前記適用する手段、及び／又は前記注釈付けする手段を備える。

【0072】

図２に、画像センサを備えるポータブル・デバイス（例えばディジタル・カメラ）によって得られる画像の例を示す（図１のステップ１０００）。画像は、山、ここではマッターホルン（セルヴァン）を示す。顕著な特徴はマッターホルン（セルヴァン）１０だが、画像は他の特徴、例えば山脈中の他の山々も含む。

【0073】

本発明の方法によれば、少なくとも１つの条件が取り出され、この画像に関連付けられる（図１のステップ２０００）。考慮できる条件の例は、以下に依存することができる。
・カメラの集束距離。
・利用可能なら、カメラの場面モード。例えば「風景」。
・カメラ・フラッシュの使用又は不使用。
・環境（山／屋外）。
・位置センサ（例えばカメラの画像センサにリンクされたＧＰＳセンサ）から、又はＧＳＭやＵＭＴＳネットワークなどのセルラー・ネットワークから取り出された、カメラの地理的位置。例えばスイスのツェルマット。セルラー・ネットワークから地理的位置を取り出すのは、三辺測量及び／又は三角測量によって実施することができる。
・画像分析に基づく、かつ場合によっては、モデルを含むリモート・サーバを用いた画像マッチングに基づく、画像のアプリオリな分類。
・注釈付けデバイス中に位置するか又は注釈付けデバイスに関連する１つ又は複数のセンサ（例えば温度計又はマイクロホン）によって提供される情報。例えば、注釈付けデバイスに接続されたマイクロホンによって取り込まれた周囲の雑音が、屋内／屋外環境の情報を提供し、次いで条件を生成することができる。
− その他。

【0074】

画像の分類は、上記の条件の１つ又は複数に基づいて実施することができる。例えば、特定の集束距離（例えば３．８ｍ）が、集束距離カテゴリ（例えば近距離）に関連してよい。特定の場所（例えばツェルマット）が、対応する場所カテゴリ（例えば田舎又は風景）に関連してよい。特定の画像（マッターホルン）が、画像カテゴリ（風景）に関連してよい、などである。

【0075】

次いで、前述の条件の１つ又は幾つかに応じて、例えばこれらのカテゴリに基づいて、利用可能な幾つかの方法から特徴識別方法が自動的に選択され（図１のステップ３０００）、次いで、画像の少なくとも１つの特徴１０を識別するためにこの特徴識別方法が適用される（図１のステップ４０００）。この例では、セルヴァン、ティンダル、及び他のより低い峰が認識される。

【0076】

本発明の方法の一実施形態によれば、画像の識別された特徴（セルヴァン、ティンダル、及び他のより低い峰）のうちのどれに注釈付けしなければならないかを選択することが可能である（図１のステップ５０００）。図示の例では、セルヴァン及びティンダルが選択され、他の画像特徴は、識別可能であっても注釈付けには選択されない。このステップは、前に取り出された条件に少なくとも部分的に基づくことができる。例えば、システムは、風景ビューが検出されたときには、地理的特徴要素（山など）のみに注釈付けし、画像上に存在するかもしれない人物又は他の要素には注釈付けしないと決定することができる。

【0077】

本発明の一態様によれば、注釈１の内容及びどのようにこれらの注釈を書き込むかを決定することが可能である（図１のステップ６０００）。通常、特徴が選択された後は、このステップは、前に取り出された条件に依存しない。しかし、この例のように山脈の場合に、山の名称及びその高度を含む特定のデータベースを検索すること、又は美術館の場合に別のデータベースを検索することを考えることも可能である。

【0078】

この例では、各注釈１は、選択された各山の名称及び高度を含む。しかし、セルヴァンが最も重要な特徴なので、セルヴァンの名称は、異なるフォント、又は異なる色、又は囲み枠付き、又は図２のように大文字で書き込まれることになる。

【0079】

一実施形態では、ユーザは、注釈付けすべき特徴を手動で選択することができる。

【0080】

ステップ６０００では、衝突を避けるため、かつカメラの表示装置上の利用可能な空間及びユーザの読取り制約を考慮に入れるために、注釈１のフォント及び寸法が適合される。

【0081】

あり得る別の特徴は、ハイキング・コースである。この例では、注釈は、画像に重ねられた、このハイキング・コースを示す線とすることができる。ポータブル・デバイスのユーザが画像をズームすると、ユーザは、図３に示すような別の画像を見ることができる。ズーム倍率が変更されると、使用される特徴識別方法が自動的に変更され、特徴識別方法は今や、前の２Ｄ特徴識別方法ではなく３Ｄ特徴識別方法に基づくものとすることができる。次いで、この異なる方法を用いてハイキング・コースを認識し、ハイキング・コースに注釈付けすることができる。

【0082】

図４に、図２〜３で使用されたのと同じディジタル・カメラによって得られる画像の別の例を示す。この場合、可能な条件は以下のとおりとすることができる。
・カメラの集束距離。
・利用可能なら、カメラの場面モード。例えば「オート」。
・カメラ・フラッシュの使用又は不使用。
・位置センサ（例えばカメラの画像センサにリンクされたＧＰＳセンサ）から、又は、カメラの画像センサにリンクされたネットワークベースのセンサ（ネットワークは例えばＧＳＭやＵＭＴＳネットワークなどである）から取り出された、環境（屋外）及び／又は場所の地理的位置。例えばイタリアのピサ。
・モデルを含むリモート・サーバを用いた画像マッチングからの結果。
・その他。

【0083】

このような例では、選択される特徴識別方法は今や、３Ｄ特徴識別方法に基づくことができる。すなわち、取り込まれた画像の特徴が、データベースに記憶された３Ｄモデルの投影と照合される方法に基づくことができる。

【0084】

屋外ではなく屋内で得られる図５の画像にも、同様の考察が当てはまる。この場合、特徴識別方法は、「円盤投げ」の近くの送信機から発せられるＲＦＩＤ信号を使用することができる。

【0085】

図６の場合、画像は、あり得る２つの顕著な特徴、すなわち背景のセルヴァン１０’’及び前景の山小屋１０’を含む。この場合、特徴識別の選択は、ポータブル・デバイスの集束距離に依存することができる。例えば、焦点が山小屋にある場合は、３Ｄ特徴識別方法が自動的に使用されることになり、注釈は、例えば図６に示すように枠で囲まれることになる。

【0086】

焦点が山小屋にある場合であっても、背景にある最も高い峰の名称及び高度を知ることにユーザが関心を持つ可能性があると考えることも可能である。この場合、ユーザは、ポータブル・デバイスの触覚手段を使用して、使用されている３Ｄ特徴識別方法を手動で無効化し、セルヴァンに対する注釈付けのために２Ｄ特徴識別方法が使用されるようにすることができる。

【0087】

図７の場合、画像は、他の２つのあり得る顕著な特徴、すなわち背景のセルヴァン１０’’及び前景の人物１０’’’を含む。図６についての考察と同じ考察が、図７にも当てはまる。この場合、人物の注釈は、３Ｄ特徴識別方法によって識別された人物１０’’’に関連する、リモート・サーバから取り出された、笑顔のような記号を含んでもよい。

【0088】

図８に、美術館の部屋を示す。このような場合、本発明による特徴識別方法は、取り出された条件に従って、注釈付けに対する最も関心のある特徴が絵画１０であると決定するが、絵画１０は別の部屋にあり、したがって、ポータブル・デバイスのカメラによって取り込まれた画像中では見えない。

【0089】

絵画１０は破線で示されており、デバイス１００によって撮影されたビュー上で、現在の部屋の中の別の絵画１２と重なる。次いでポータブル・デバイス１００は、絵画１０に辿り着くための方向を示す矢印２０などの要素で、取込み画像に注釈付けすることができる。一実施形態では、絵画１２は、表示画像から削除されてもよい。

【0090】

一実施形態では、選択された特徴はクリック可能とすることができ、したがって、これらの特徴がクリックされると、追加情報が選択されることになる。

【0091】

別の実施形態では、選択されない特徴もまたクリック可能であってよく、したがって、これらの特徴がクリックされると、注釈が表示されることになる。

【0092】

ポータブル・デバイス１００は、ユーザが情報を入力できるようにする触覚手段３を備えることができる。ポータブル・デバイスは、画像及びその注釈を表示するための、表示装置を備える。

【0093】

ポータブル・デバイスは、１つもしくは複数の位置特定センサ（例えばＧＰＳセンサ）、及び／又は、１つもしくは複数のネットワークベースのセンサ、及び／又は、ジャイロスコープのような１つもしくは複数の配向センサ、及び／又は、加速度計を備えることができる。

【0094】

一実施形態によれば、注釈がビデオを含む場合、ユーザは、例えば、ポータブル・デバイス上に表示された、一時停止、及び／又は停止、及び／又は巻戻し、及び／又は早送り、及び／又は再生のボタンを押すことによって、ビデオと対話することができる。

【0095】

別の実施形態によれば、注釈ビデオの表示後に、又は書き込まれた注釈の近くに、注釈付けされた特徴に関係する１つ又は複数の有用かつクリック可能なウェブ・リンクが現れてよい。例えば、注釈付けされた特徴が、特定の自動車、例えばフェラーリを宣伝するボード又はプラカードであり、注釈が宣伝ビデオである場合、対応してポータブル・デバイス上でビデオが表示された後でもしくはユーザがビデオを停止したときに、又はボードの近くで、フェラーリのウェブサイトへのリンクが現れてよい。一実施形態では、このリンクは、宣伝された製品の購入をユーザに提案することができる。

【0096】

注釈がビデオ又は音声ファイル又はストリームである場合、このファイル又はストリームは、ポータブル・デバイスによって取り込まれたビデオと時間同期がとられることが好ましい。例えば、ユーザが、軌道に沿って走る列車又は自動車からのビデオ・シーケンスを取り込む場合（この軌道は、取り込まれた画像から、かつ／又は何らかの位置センサ（例えばＧＰＳセンサもしくはジャイロスコープ）から知るか又は取り出すことができる）、この取り込まれたビデオ・シーケンスに注釈ビデオを重ねることができ、重ねられたビデオの要素は、取り込まれたシーケンスの要素と合致する。別の実施形態では、デバイスは、テレビジョンに例えば表示された映画ピクチャからビデオを取り込み、取り込んだシーケンスに、字幕、音声コメント、又は経時変化する別の注釈を、ビデオ・シーケンスと時間同期させて重ねることができる。

【0097】

別の実施形態によれば、ポータブル・デバイスが例えば９０度回転された場合、表示される注釈は、ポータブル・デバイスのユーザに対して同じ配向を維持するようにして調整される。

【0098】

他の実施形態によれば、気象状況によって同じ特徴を識別できない場合、例えば、いくらかの雲がセルヴァンを覆っている場合は、ポータブル・デバイスは、負のフィードバックをユーザに自動的に提供する。例えば、識別が不可能であることをユーザに知らせ、特徴の識別を補助するためのいくらかの入力データを挿入するようユーザに求めるメッセージが、ポータブル・デバイス上に表示される。

【0099】

他の実施形態によれば、書き込まれた注釈の言語及び／又はビデオ注釈の音声の言語は、ポータブル・デバイスの位置特定センサ、又は何らかのユーザ設定に依存することができる。これにより、例えば、東京にいるフランス人旅行者が、日本語ではなくフランス語で注釈を表示することができる。

【0100】

他の実施形態によれば、注釈付け方法は、ユーザが、ポータブル・デバイス上に表示された拡張現実と対話することを可能にする。例えば、ユーザがローマにいて、コロセウムの画像又はビデオを撮影している場合、注釈は、ローマ時代の間にそうであったような、コロセウムの再建の画像又はビデオとすることができる。他の実施形態によれば、注釈は、表示すべき注釈に対応する時代をユーザが選択できること含んでよく、例えば、ユーザは、中世の間もしくはルネサンスの間、又はこの建造物の構築の様々な段階にもそうであったような、コロセウムの再建を表示することを決定することができる。

【0101】

別の実施形態によれば、注釈がビデオであり、注釈付けすべき特徴が２つ以上ある場合、ポータブル・デバイスは、何らかの基準に従って、例えば集束距離又は何らかのユーザ設定を考慮に入れることによって、注釈付けすべき最も重要な特徴を自動的に選択することができる。別の実施形態によれば、全ての特徴が同時に注釈付けされるが、ビデオ音声の音量がアクティブ化されるのは、１つの特徴のみである。ユーザは、別の特徴を選択することによって、例えばクリックによって、別の特徴のビデオ注釈の音量をアクティブ化することができ、前の注釈付き特徴の音量は自動的に非アクティブ化される。

【0102】

別の実施形態によれば、注釈付け方法は、注釈の複数の信頼度レベルの定義を「品質インデックス」として含む。品質インデックスは、以下に関係するものであってよい。
・位置特定の信頼性及び精度、ならびに／又は
・特徴の識別の信頼性
・画像認識プロセスの信頼性
・その他

【0103】

これらの信頼度の少なくとも１つを使用して、デバイスがユーザによって第１の位置（注釈付けすべき１つの第１の特徴が取り込まれて、ある信頼度レベルで認識された）と第２の位置又は配向（第２の特徴がより高い信頼度で認識された）との間で動かされたときの移動を検出することができる。移動の間、信頼度レベルは低下し、この情報を使用して注釈を中断することができる。

【0104】

本発明の独立態様によれば、特徴識別データ（すなわち認識し特徴付けすべき特徴のモデル）、ならびに関連する注釈候補のセット（すなわち複数の注釈のうちの注釈セット）を、自動的に選択することが可能である。この選択は、複数の特徴識別方法からある特徴識別方法を自動的に選択するのと同様、少なくとも１つの条件に基づく。好ましい一実施形態では、この少なくとも１つの条件は、ポータブル・デバイスの位置センサ、例えばＧＰＳセンサから取り出される。

【0105】

特徴識別データ及び関連する注釈を選択するのに使用できる条件の例には、以下が含まれる。
・位置センサ（例えばカメラの画像センサにリンクされたＧＰＳセンサ）から、もしくはＧＳＭやＵＭＴＳネットワークなどのセルラー・ネットワークから取り出された、カメラの地理的位置。例えば、パリで取り込まれた画像に注釈付けする要求は、マッターホルンに対応する特徴ではなくエッフェル塔に対応する特徴識別データ及び注釈を取り出すことになる。
・ユーザ設定。ならびに／又は、
・注釈付けすべき特徴（１つ又は複数）上の、データグラム、及び／もしくはバーコード、及び／もしくはＲＦＩＤ、及び／もしくは他の任意の認識可能な特徴、例えばロゴ、ＯＣＲ検出。ならびに／又は、
・現在のデータ及び／もしくは時間。ならびに／又は、
・サーバとポータブル・デバイスとの間の通信リンクの品質、ならびに／又は、
・ポータブル・デバイスの計算力。ならびに／又は、
・その他。

【0106】

次いで、注釈候補がリモート・サーバからポータブル・デバイスにダウンロードされる。このようにすれば、どんな外部サーバの必要もなしに、ポータブル・デバイス上でビューの画像に対する注釈付けを行うことができる。次いで、ビューの取り込まれた画像の特徴を、選択されダウンロードされた基準特徴と照合するために、特徴識別方法（一実施形態では、上に論じた少なくとも１つの条件に依存することができる）が適用される。識別された特徴のうちのどれが注釈付けされるかが決定された後、これらの識別された特徴と注釈候補との対応が検証される。

【0107】

対応又は合致が見つかった場合は、次いでポータブル・デバイスは、識別された特徴についてどこでどのように注釈を記述又は再生するか、いくつの注釈を画像上に挿入するか、書き込まれる注釈のフォント・タイプ及び寸法、ビデオ注釈の音量又は言語など決定する。次いで、識別された複数の特徴のうちの幾つかの特徴が注釈付けされる。

【0108】

対応又は合致が見つからない場合は、別の特徴識別データ及び注釈候補のセットが、同じか又は別のサーバからダウンロードされ、識別された特徴と新しい候補との対応が検証される。

【0109】

新しいセットは、前のセットよりも広いことが好ましい。すなわち、新しいセットは、共通する特徴の数がより少ない、特徴識別データ及び注釈候補を含む。対応又は合致が見つかった場合は、上記の考察が当てはまる。見つからない場合は、対応又は合致が見つかるまで、ダウンロード及び検証のステップが反復的に継続される。見つからない場合は、注釈付け失敗メッセージがポータブル・デバイスのユーザに通信される。例えば、書き込まれたメッセージがポータブル・デバイス上に表示される。一実施形態では、ユーザは、例えば幾つかの検索基準をポータブル・デバイス上で導入することによって、注釈をデバイスが見つけるのを補助するよう求められる。

【0110】

本発明のこの独立態様によれば、注釈方法の頑強性と、ポータブル・デバイスにダウンロードされる特徴識別データ及び注釈候補の数との間に、トレードオフが存在する。実際、例えば、リモート・サーバ上で複数の注釈から注釈候補のセットを自動的に選択するための条件がＧＰＳセンサに基づく場合は、ＧＰＳセンサの精度が低いほど、ポータブル・デバイスにダウンロードされる注釈候補の数は多い。

【0111】

本発明の他の態様によれば、特徴識別データは、サーバ中で選択された後でリモート・サーバからポータブル・デバイスにダウンロードされるが、この選択は、サーバとポータブル・デバイスとの間の通信リンクの品質に依存する。本発明の別の態様によれば、この選択は、ポータブル・デバイスの計算力、及び／又は、利用可能なメモリ空間に依存する。

【0112】

注釈候補及び／又は特徴識別データは、ポータブル・デバイスがオンにされたとき、又はデバイスの変位が所定のしきい値（例えば１メートル）よりも大きいときに、ポータブル・デバイスにダウンロードされる。別の実施形態では、ポータブル・デバイス自体が、その地理的位置や現在時刻などに例えば依存する何らかの基準に従って、注釈候補及び／又は特徴識別データがダウンロードされなければならないときを決定する。

【0113】

本発明の他の独立態様によれば、特徴識別データ及び／又は対応するデータは、ユーザのモバイル・デバイス上でユーザによって追加することができ、次いでポータブル・デバイスからリモート・サーバに送ることができる。例えば、ユーザは、ある場面の画像又はビデオを撮影し、特徴識別データとなるモデルを構築するために識別すべき画像（１つ又は複数）の１つの特徴を指示し、注釈（テキスト、フォーマット化済みテキスト、画像、ハイパーリンク、音声、ビデオなど）をこの特徴に関連付けることができる。次いで、ユーザによって入力された特徴識別データ及び関連する注釈は、自動的に又はユーザの要求に応じてリモート・サーバに記憶され、後続の使用のためにこのユーザ及び他のユーザに利用可能にされる。これにより、これらの特徴識別データ及び対応する注釈を共有することができ、したがって、他のユーザのポータブル・デバイスが、これらの新しい特徴を認識して注釈付けすることができることになる。次いで、リモート・サーバへの後続の要求は、前述の条件に応じて、新しい特徴識別データ及び対応する注釈を取り出すことになる。

【符号の説明】

【0114】

１ 注釈
３ 触覚手段
１０ マッターホルン、絵画
１２ 別の絵画
２０ 矢印
１００ ポータブル・デバイス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】