▶ インターデジタル シーイー パテント ホールディングスの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-16
(45)【発行日】2023-06-26
(54)【発明の名称】表示デバイスの特性を決定する方法及びデバイス
(51)【国際特許分類】
G09G 5/00 20060101AFI20230619BHJP
G06T 1/00 20060101ALI20230619BHJP
G09G 5/02 20060101ALI20230619BHJP
G09G 5/37 20060101ALI20230619BHJP
H04N 7/18 20060101ALI20230619BHJP
【ＦＩ】
G09G5/00 550C
G06T1/00 510
G09G5/00 X
G09G5/00 550H
G09G5/00 555D
G09G5/02 B
G09G5/37 110
G09G5/37 300
G09G5/37 320
H04N7/18 U
【請求項の数】
11
【外国語出願】
(21)【出願番号】P 2018095915
(22)【出願日】2018-05-18
(65)【公開番号】P2018197857
(43)【公開日】2018-12-13
【審査請求日】2021-04-23
(31)【優先権主張番号】17305600.3
(32)【優先日】2017-05-23
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】518341334
【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】シュタウダー，ユルゲン
(72)【発明者】
【氏名】ロバート，フィリップ
(72)【発明者】
【氏名】デュシェーヌ，シルヴァン
【審査官】橋本 直明
(56)【参考文献】
【文献】特開２０１５－１９４５６７（ＪＰ，Ａ）
【文献】特開２０１３－１０６３４７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１２／００１４５９３（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｇ ５／００
Ｇ０６Ｔ １／００
Ｇ０９Ｇ ５／０２
Ｇ０９Ｇ ５／３７
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
第１の表示デバイスにより実行される方法であって、実際のシーンの画像である第１画像を、前記第１の表示デバイスに組み込まれているカメラにより、捕捉することであって、前記第１画像は、第２画像を表示する第２の表示デバイスを含み、前記第２の表示デバイスは、前記第１の表示デバイスとは別である、ことと、
前記第２の表示デバイス及び別のネットワークデバイスの何れかからネットワークを通じて前記第２画像を受信することと、
前記第１画像と前記第２画像との比較に応じて、前記第２の表示デバイスの特性を決定することであって、前記第２の表示デバイスの特性は、前記第２の表示デバイスの３色の色再現関数又は実際のシーンにおける前記第２の表示デバイスにおける正反射であり、前記正反射は、前記カメラの視点から可視である前記実際のシーンの入射光の反射である、ことと、
前記決定された特性に基づいて、前記第１の表示デバイスの３色の色再現関数が前記第２の表示デバイスの３色の色再現関数に等しくなるように、又は前記正反射が前記第１画像から取り除かれるように、前記第１画像を変更することと、
前記第１の表示デバイスに、前記変更された第１画像を表示することと、
を含む、方法。
【請求項2】
前記カメラによって捕捉され且つ前記第２の表示デバイス上に表示される前記第２画像を、前記第２画像が含まれている前記第１画像の領域に整合させることにより、前記カメラによって捕捉され且つ前記第２の表示デバイス上に表示される前記第２画像を、前記第１画像の領域に含まれている前記第２画像に幾何学的に変換するための対応関係を得ることを更に含む、請求項１に記載の方法。
【請求項3】
前記整合に先立って、前記第１画像の領域に含まれている前記第２画像を検出することにより、前記第２画像が含まれている前記第１画像の領域を得ることを更に含む、請求項２に記載の方法。
【請求項4】
前記第１画像と前記第２画像との比較は、前記対応関係に基づいて、前記ネットワークを通じて受信した前記第２画像を、前記第２画像が含まれている前記第１画像の領域と比較することを含む、請求項２又は３に記載の方法。
【請求項5】
前記第１画像の表示の前に、前記第１画像のエリアに仮想オブジェクトを挿入することであって、前記エリアは、前記第２の表示デバイスに対応し、前記仮想オブジェクトの表示形態は、前記決定された特性に基づく、ことを更に含む、請求項１乃至４のうち何れか１項に記載の方法。
【請求項6】
前記３色の色再現関数は、前記第１の表示デバイスの色特性及び前記第１画像と前記第２画像との前記比較から決定される、請求項１乃至４のうち何れか１項に記載の方法。
【請求項7】
前記第１の表示デバイスは、前記決定された３色の色再現関数に従って較正される、請求項６に記載の方法。
【請求項8】
第１の表示デバイスであって、実際のシーンの画像である第１画像を捕捉するように構成されたカメラであって、前記第１画像は、第２画像を表示する第２の表示デバイスを含み、前記第２の表示デバイスは、前記第１の表示デバイスとは別である、カメラと、
前記第２の表示デバイス及び別のネットワークデバイスの何れかからネットワークを通じて前記第２画像を受信するように構成されたネットワークインタフェースと、
（i）前記第１画像と前記第２画像との比較に応じて、前記第２の表示デバイスの特性を決定することであって、前記第２の表示デバイスの特性は、前記第２の表示デバイスの３色の色再現関数又は実際のシーンにおける前記第２の表示デバイスにおける正反射であり、前記正反射は、前記カメラの視点から可視である前記実際のシーンの入射光の反射である、ことと、（ii）前記決定された特性に基づいて、前記第１の表示デバイスの３色の色再現関数が前記第２の表示デバイスの３色の色再現関数に等しくなるように、又は前記正反射が前記第１画像から取り除かれるように、前記第１画像を変更することと、（iii）前記第１の表示デバイスに、前記変更された第１画像を表示することを行うように構成された処理手段と、
を備える第１の表示デバイス。
【請求項9】
前記処理手段は、前記カメラによって捕捉され且つ前記第２の表示デバイス上に表示される前記第２画像を、前記第２画像が含まれている前記第１画像の領域に整合させることにより、前記カメラによって捕捉され且つ前記第２の表示デバイス上に表示される前記第２画像を、前記第１画像の領域に含まれている前記第２画像に幾何学的に変換するための対応関係を得るように更に構成されている、請求項８に記載の第１の表示デバイス。
【請求項10】
前記処理手段は、前記第１画像の表示の前に、前記第１画像のエリアに仮想オブジェクトを挿入するように更に構成されており、前記エリアは、前記第２の表示デバイスに対応し、前記仮想オブジェクトの表示形態は、前記決定された特性に基づく、請求項８又は９に記載の第１の表示デバイス。
【請求項11】
コンピュータプログラムであって、実際のシーンの画像である第１画像を、第１の表示デバイスに組み込まれているカメラにより、捕捉することであって、前記第１画像は、第２画像を表示する第２の表示デバイスを含み、前記第２の表示デバイスは、前記第１の表示デバイスとは別である、ことと、
前記第２の表示デバイス及び別のネットワークデバイスの何れかからネットワークを通じて前記第２画像を受信することと、
前記第１画像と前記第２画像との比較に応じて、前記第２の表示デバイスの特性を決定することであって、前記第２の表示デバイスの特性は、前記第２の表示デバイスの３色の色再現関数又は実際のシーンにおける前記第２の表示デバイスにおける正反射であり、前記正反射は、前記カメラの視点から可視である前記実際のシーンの入射光の反射である、ことと、
前記決定された特性に基づいて、前記第１の表示デバイスの３色の色再現関数が前記第２の表示デバイスの３色の色再現関数に等しくなるように、又は前記正反射が前記第１画像から取り除かれるように、前記第１画像を変更することと、
前記第１の表示デバイスに、前記変更された第１画像を表示することと、
を行うための第１の表示デバイスのプロセッサにより実行可能なプログラムコード命令を備える、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、例えば、モバイルデバイス（例えば、タブレット、スマートフォン又はヘッドマウント型ディスプレイ（ＨＭＤ；Head-Mounted Display）等）で消費される拡張現実の文脈において、画像処理の分野に関する。
【背景技術】
【0002】
拡張現実アプリケーションは、それらが様々な種類のコンテンツを消費しながらユーザ経験を改善することができるということで、普及しつつある。拡張現実の１つの局面は、ビデオにおける仮想オブジェクトと実際のシーンとの合成であり、これは、仮想オブジェクトが本物に見える必要があるということで、いくつかの課題を示す。例えば、ユーザがデバイス（例えば、タブレット）を用いて、他のビデオ（例えば、放送中のビデオ）を表示している表示デバイスを含むシーンからビデオを捕捉している場合に、捕捉されたビデオにおいて仮想オブジェクトを合成することは、表示されている放送中のビデオに関連して、一連の解決のつかない課題を示す。実際に、そのような実際のシーンを、表示デバイスの如何なる特性も考慮せずに、実際のシーンにおいて表示されているビデオに関連した仮想オブジェクトと合成することは、挿入された仮想オブジェクトが拡張ビデオにおいて本物に見えないということで、現実性を欠く。いくつかの方法は、捕捉されたビデオに含まれている、ビデオを表示する表示デバイスの特性を決定して、関連する仮想オブジェクトとの実際のシーンの合成においてそれらが考慮されるようにするために必要とされる。
【発明の概要】
【0003】
第２画像を表示する表示デバイスを含むシーンの第１画像を捕捉デバイスが捕捉している状況で、顕著なアイディアは、表示デバイスに関連した特性を決定するよう第１画像と第２画像とを比較して処理するために、捕捉された第１画像及び表示デバイスによって表示されている第２画像の両方を処理デバイスへ送ることである。オリジナルの第２画像とともに第１画像（表示されている第２画像を含む。）を処理することができることは、最初の第２画像とは異ならせるように第１画像内の表示されている第２画像を変更した表示デバイスに関連した様々な特性を決定することを有利に可能にする。表示デバイスに関連した特性は、例えば、シーンにおいて表示デバイスで起きて、シーンの捕捉を乱す正反射である。第２の非限定的な例では、表示デバイスの特性は、第１画像内の表示されている第２画像を、シーンにおける表示されている第２画像と異ならせる色再現関数である。
【0004】
そのために、表示デバイスの特性を決定する方法が開示される。当該方法は、
第２画像を表示する前記表示デバイスを含むシーンの第１画像を受け取ることと、
前記第２画像を受け取ることと、
前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定することと
を有する。
第２画像を表示する前記表示デバイスを含むシーンの第１画像を受け取ることと、
前記第２画像を受け取ることと、
前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定することと
を有する。
【0005】
特に有利な変形例に従って、当該方法は、前記第２画像を前記第１画像の領域と整合させることによって幾何学変換を得ることを更に有する。
【0006】
他の特に有利な変形例に従って、当該方法は、前記整合させることより前に、前記第１画像において前記表示デバイスを検出することによって前記第１画像の前記領域を得ることを更に有する。
【0007】
他の特に有利な変形例に従って、前記第１画像と前記第２画像との前記比較は、前記幾何学変換に基づき前記第１画像の前記領域を前記第２画像と比較することを有する。
【0008】
他の特に有利な変形例に従って、前記表示デバイスの前記特性は、前記表示デバイスにおける正反射である。該正反射は、例えば、前記第２画像における対応する要素の色と比較して大きい色値又は異なる色調（hue）若しくは異なる彩度（saturation）を有する色の前記第１画像の要素によって、表される。
【0009】
他の特に有利な変形例に従って、当該方法は、決定された前記正反射を前記第１画像から取り除くことを更に有する。
【0010】
他の特に有利な変形例に従って、前記表示デバイスの前記特性は、前記表示デバイス（１２）の色再現関数である。該色再現関数は、例えば、前記シーンを捕捉するデバイスの色特性及び前記第１画像と前記第２画像との前記比較から、決定される。
【0011】
他の特に有利な変形例に従って、前記シーンを捕捉する前記デバイスは更に、前記第１画像を表示しており、該第１画像を表示する前記デバイスは、前記決定された色再現関数に従って較正される。
【0012】
他の特に有利な変形例に従って、前記シーンを捕捉する前記デバイスは更に、前記第２画像を受け取っている。
【0013】
第２の態様で、表示デバイスの特性を決定する捕捉デバイスも開示される。当該捕捉デバイスは、
第２画像を表示する前記表示デバイスを含むシーンの第１画像を捕捉するカメラと、
前記第２画像を受け取るネットワークインターフェイスと、
前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定するよう構成される処理手段と
を有する。
第２画像を表示する前記表示デバイスを含むシーンの第１画像を捕捉するカメラと、
前記第２画像を受け取るネットワークインターフェイスと、
前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定するよう構成される処理手段と
を有する。
【0014】
特に有利な変形例に従って、前記処理手段は、前記第２画像を前記第１画像の領域と整合させることによって幾何学変換を得るよう更に構成される。
【0015】
他の特に有利な変形例に従って、前記表示デバイスの前記特性は、前記表示デバイスにおける正反射及び前記表示デバイスの色再現関数のうちの１つである。
【0016】
第３の態様で、表示デバイスの特性を決定する捕捉デバイスも開示される。当該捕捉デバイスは、
第２画像を表示する前記表示デバイスを含むシーンの第１画像を捕捉するカメラと、
前記第２画像を受け取るネットワークインターフェイスと、
前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定するよう構成されるプロセッサと
を有する。
第２画像を表示する前記表示デバイスを含むシーンの第１画像を捕捉するカメラと、
前記第２画像を受け取るネットワークインターフェイスと、
前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定するよう構成されるプロセッサと
を有する。
【0017】
特に有利な変形例に従って、前記プロセッサは、前記第２画像を前記第１画像の領域と整合させることによって幾何学変換を得るよう更に構成される。
【0018】
他の特に有利な変形例に従って、前記表示デバイスの前記特性は、前記表示デバイスにおける正反射及び前記表示デバイスの色再現関数のうちの１つである。
【0019】
第４の態様で、表示デバイスの特性を決定する処理デバイスも開示される。当該処理デバイスは、
第２画像を表示する前記表示デバイスを含むシーンの第１画像を受け取り、
前記第２画像を受け取る
よう構成される少なくとも１つのネットワークインターフェイスを有し、
当該処理デバイスは、前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定するよう構成される処理手段を更に有する。
第２画像を表示する前記表示デバイスを含むシーンの第１画像を受け取り、
前記第２画像を受け取る
よう構成される少なくとも１つのネットワークインターフェイスを有し、
当該処理デバイスは、前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定するよう構成される処理手段を更に有する。
【0020】
特に有利な変形例に従って、前記処理手段は、前記第２画像を前記第１画像の領域と整合させることによって幾何学変換を得るよう更に構成される。
【0021】
第５の態様で、表示デバイスの特性を決定する処理デバイスも開示される。当該処理デバイスは、
第２画像を表示する前記表示デバイスを含むシーンの第１画像を受け取り、
前記第２画像を受け取る
よう構成される少なくとも１つのネットワークインターフェイスを有し、
当該処理デバイスは、前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定するよう構成されるプロセッサを更に有する。
第２画像を表示する前記表示デバイスを含むシーンの第１画像を受け取り、
前記第２画像を受け取る
よう構成される少なくとも１つのネットワークインターフェイスを有し、
当該処理デバイスは、前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定するよう構成されるプロセッサを更に有する。
【0022】
特に有利な変形例に従って、前記プロセッサは、前記第２画像を前記第１画像の領域と整合させることによって幾何学変換を得るよう更に構成される。
【0023】
第６の態様で、表示デバイスの特性を決定するコンピュータプログラム製品も開示される。当該コンピュータプログラム製品は、その変形例のいずれかにおいて実装される方法を実施するようプロセッサによって実行されるプログラムコード命令を有する。
【0024】
第７の態様で、表示デバイスの特性を決定するコンピュータ実行可能なプログラム命令を記憶しているコンピュータ可読記憶媒体も開示される。当該コンピュータ可読記憶媒体は、その変形例のいずれかにおいて実装される方法を実施するよう少なくとも１つのプロセッサによって実行されるプログラムコードの命令を有する。
【0025】
明示的に記載されないが、目下の実施形態は、如何なる組み合わせ又は部分組み合わせにおいても用いられてよい。例えば、目下の原理は、記載されている変形例に制限されず、変形例及び実施例の如何なる配置も使用され得る。更に、目下の原理は、記載されている表示特性の例に制限されず、表示デバイスに関連した如何なるタイプの特性も、開示されている原理に適合する。目下の原理は更に、記載されている画像マッチング、デバイス検出、画像比較技術に制限されない。
【0026】
その上、方法について記載されている如何なる特徴、変形例又は実施形態も、開示されている方法を処理する手段を有するデバイスに、開示されている方法を処理するよう構成されるプロセッサを有するデバイスに、プログラムコード命令を有するコンピュータプログラム製品に、及びプログラム命令を記憶しているコンピュータ可読記憶媒体に適合する。
【図面の簡単な説明】
【0027】
【図1A】本原理に従って、第２画像を表示する表示デバイスを含む、デバイスによって捕捉された実際のシーンの第１画像の特定の非限定的な１つの例を表す。
【図1B】本原理に従って、第２画像を表示する表示デバイスを含む、デバイスによって捕捉された実際のシーンの第１画像の特定の非限定的な他の例を表す。
【図2】本原理の具体的且つ非限定的な実施形態に従って、表示デバイスに関連した特性を決定する方法を表す。
【図3】具体的且つ非限定的な実施形態に従って、表示デバイスに関連した特性を決定する処理デバイスを表す。
【発明を実施するための形態】
【0028】
本原理は、第２画像を表示する表示デバイスを含むシーンの第１画像の処理及び／又は捕捉に関連したアプリケーションに適用可能である。様々な効果は、第２画像が第１画像に含まれると、第２画像を変更しうる。例えば、１つよりも多い照射源が存在して複雑な光の相互作用を生じさせることは、屋内環境のような、人工照明を伴ったシーンでは、珍しくない。通常、物体表面による光の相互作用には、拡散反射、正反射、シェーディング及び投影（cast shadow）が挙げられる。特に、表示デバイス（例えば、テレビ受像機又はタブレット等）のスクリーンの光沢面では、画像が表示デバイスによって表示されているときに表示デバイスを見ること及び／又は捕捉することを妨げる正反射が起きうる。例えば、正反射は、人間の視覚系にその感度を下げさせ、スクリーン表面上の画像における詳細は、ユーザにとって見えにくい。表示デバイスに関連した正反射を決定することは、表示デバイスを含むシーンの画像の捕捉に関連したアプリケーションによって正反射が更に活用され得るということで、それらのアプリケーションにとって有用である。
【0029】
他の例では、表示デバイスは、そのデバイスに特有の色再現関数に従って色を表示する。シーン（第２画像を表示する表示デバイスを含む。）の第１画像が、例えば、第１画像を捕捉するデバイスによって、更に表示される場合に（例えば、タブレットの場合に）、捕捉デバイスは、表示デバイスの色再現関数とは場合により異なるそれ自身のデバイス特有の色再現関数に従って、色を表示する。シーンにおいて表示デバイスによって表示されている第２画像及び捕捉デバイスによって表示されているような捕捉された第１画像の両方を見ているユーザは、第２画像の両方の表示の間の色表示の差にたいがい気付く。その理由は、異なるディスプレイ製造業者が異なる表示技術を使用し且つ異なる信号処理を適用するからである。表示デバイスに関連した色再現関数を決定することは、表示デバイスを含むシーンの画像の捕捉に関連したアプリケーションによって表示デバイスの色再現関数の知識が更に活用され得るということで、それらのアプリケーションにとって有用である。
【0030】
正反射及び色再現関数は、表示デバイスの例となる非限定的な特性であり、表示デバイスの又はそれに関連した如何なる他の特性も、目下の原理に適用可能である。
【0031】
図１Ａ及び図１Ｂは、本原理の特定の非限定的な例に従って、デバイス１１によって捕捉された実際のシーン１の第１画像１１０であって、シーン１が第２画像１２０を表示する表示デバイス１２を含むものの２つの例を表す。いずれの実例でも、デバイス１１は、第１画像１１０を表示するタブレットである。
【0032】
第１画像１１０は、例えば、デバイス１１のリアカメラ１０により、実際のシーン１を取得することで得られる。第１画像１１０に含まれる実際のシーン１のビューは、例えば、破線により表されているカメラ１０の視野（又は焦点）に依存する。第１の例（図１Ａで表されている。）では、視野は、他の要素が第１画像１１０において存在しないように、実際のシーンを、表示デバイス１２によって表示されている第２画像１２０に制限する。図１Ｂで表されている第２の例では、第１画像１１０は、標準視野画像（例えば、６５°、７０°又は９０°）又は広視野画像（最大３６０°、例えば、１１０°、１３５°、１８０°、２４０°又は３６０°）である。図１Ｂの実際のシーン１は単一の表示デバイス１２（例えば、テレビ受像機）を含む。デバイス１１によって捕捉されるシーン１の部分である表示デバイス１２は、第１画像１１０の領域１２１に含まれている。他の例（図示せず。）では、表示デバイス１２は、部分的に閉塞され、表示デバイス１２の目に見える部分が、第１画像１１０の領域１２１に含まれる。他の例（図示せず。）では、実際のシーンは、１つよりも多い表示デバイス並びに／又は、プロジェクタ及び／又はスマートフォン及び／又はタブレットに関連した表示スクリーンを含む。任意に（シーン及び視野に応じて）、実際のシーン（例えば、リビングルーム、ベッドルーム、ダイニングルーム、・・・）の性質に依存した１つ以上の他の要素（図１Ｂに図示せず。）も実際のシーン１において存在する。変形例に従って、シーン１の第１画像１１０は、デバイス１１に組み込まれていないカメラ（例えば、ウェブカメラ又は監視カメラ）により取得される。この場合に、第１画像１１０は、通信リンクを介してデバイス１１へ送信される（図１Ａ及び図１Ｂに図示せず。）。
【0033】
第１画像１１０は、静止画像、一連の第１画像を含む第１ビデオシーケンスの画像、又は３Ｄ画像、例えば、光照射野であってよい。代替的に、又は追加的に、第２画像１２０も、静止画像、又は一連の第２画像を含む第２ビデオシーケンスの画像であってよい。例えば、第２ビデオは、ブロードキャスト又はブロードバンドネットワークから表示デバイス１２によって受信されたブロードキャストビデオであってよい。第２ビデオはまた、表示デバイス１２に接続されるか又は組み込まれているプレイヤーからその場で再生されてよい。第２画像はまた、複数組の画像の中の画像、例えば、ステレオ画像対の左画像であってよい。明りょうさ及び簡単のために、目下の原理は、第１画像及び第２画像に対して作用することによって記載されるが、第１画像の第１ビデオシーケンス及び第２画像の第２ビデオシーケンスを考えると、目下の原理は、第１ビデオシーケンスの中の第１画像に及び第２ビデオシーケンスの中の第２画像に適用可能である。３Ｄイメージング、第１画像の第１の組及び第２画像の第２の組を考えると、目下の原理は、第１の組の中の第１画像に及び第２の組の中の第２画像に適用可能である。
【0034】
図１Ｂの実例では、仮想オブジェクト１１１（例えば、図１Ｂ中の蝶）が、タブレット１１上での表示より前に、第１画像１１０において挿入される。仮想オブジェクト１１１は、第２ビデオシーケンスに関連した特別な効果をもたらすために、第１ビデオシーケンスの中の他の画像（図示せず。）に更に挿入される。例えば、制限なしに、仮想の蝶１１１は、それが表示デバイス１２から飛び出しているという錯覚を生み出すために、第１ビデオシーケンスの中の第１画像において挿入される。正反射がデバイス１１の視点から表示デバイス１２において存在する場合に、正反射は、仮想効果の現実性を高めるために、仮想の蝶の挿入において有利に考慮される。正反射を考慮することは、例えば、第１画像１１０から正反射を取り除くことを含む。他の例では、正反射を考慮することは、表示デバイス１２における正反射に対応する適切な光効果を仮想の蝶に適用することを含む。
【0035】
図２は、本原理の具体的且つ非限定的な実施形態に従って、表示デバイスに関連した特性を決定する方法を表す。上述されたように、制限なしに、表示デバイスに関連した特性は、正反射又は表示デバイスの色再現関数である。
【0036】
ステップＳ２１で、実際のシーンの第１画像１１０が処理デバイスによって受け取られる。シーンは、第２画像１２０を表示する表示デバイス１２を含む。シーンの第１画像は、デバイス１１によって捕捉される。
【0037】
ステップＳ２２で、表示デバイス１２に表示されている第２画像１２０が、ネットワークインターフェイスから処理デバイスによって更に受けられる。第１の例では、第２画像１２０は、表示デバイス１２から処理デバイスによって受け取られる。他の例では、第２画像１２０は、ネットワークデバイスから、例えば、第２画像を表示デバイス１２及び処理デバイスの両方へ送信することで、処理デバイスによって受け取られる。
【0038】
有利な変形例では、処理デバイスは、シーンの第１画像１１０を捕捉するデバイス１１である。他の変形例では、処理デバイスは、例えば、ネットワークインターフェイスを介して、他の捕捉デバイスから第１画像を受け取っている。その変形例において、処理デバイスは、１つ又は複数のネットワークインターフェイスから第１画像１１０及び第２画像１２０の両方を受け取る。
【0039】
ステップＳ２７で、表示デバイス１２に関連した特性が、第１画像と第２画像との比較に応じて決定される。比較は、例えば、第１画像と第２画像との間のピクセル毎の比較を含む。他の例では、比較は、各画像における小さいパッチに関して計算された局部的特徴がレジストレーション誤差をより許容し得るということで、それらの特徴どうしの比較に対応する。第１の変形例では、第１画像と第２画像との比較は、第１画像及び第２画像を長方形ブロックに細分し、第１画像及び第２画像の対応するブロックの画像色値の平均値及び標準偏差値を決定し、それらを比較することを含む。第２の変形例では、第１画像と第２画像との比較は、第１画像及び第２画像においてテクスチャが低い画像領域を特定し、類似した主要色によって第１画像及び第２画像の各々の領域を関連付けることを含む。第２の変形例に従って、比較は、第１画像及び第２画像の関連付けられた領域のピクセル値を比較することを含む。更なる他の変形例では、第１画像のピクセルは、第２画像のピクセルと比較される前に、光度測定的に補償される。光度測定的補償の例は、第１画像のピクセルの色値の平均が第２画像の色値の平均と同じであるように、第２画像のピクセルとの比較の前に、第１画像のピクセルの色値にオフセットを適用することである。
【0040】
表示デバイス１２の特性が表示デバイスにおける正反射である場合に、正反射は、第１画像を捕捉するデバイスから可視的であって、正反射は、第２画像における対応する要素の色値よりも色値が大きい第１画像の要素によって表され得る。この正反射は、第２画像における対応する要素の色とは色の色調及び彩度が異なっている第１画像の要素によっても表され得る。
【0041】
表示デバイスに関連した正反射を決定することは、第１画像のそれらの要素（すなわち、例えば、色値が、第２画像における対応する要素の色値よりも大きいもの。）を選択することを含む。表示デバイスにおける正反射を決定することは、よく知られているインペインティング処理を用いて正反射が除去され得るということで、有利である。他の可能性は、正反射が特定されている第１画像の要素に第２画像の要素をオーバーレイすることである。表示デバイスにおける正反射を決定することは、それが表示デバイス及び／又は第２画像に関連した拡張現実アプリケーションによって考慮され得るということで、更に有利である。例えば、表示デバイスのスクリーンの向き及び決定された正反射から、照明の方向が決定され得る。この方向及び仮想オブジェクトの表面特性から、正反射は、仮想オブジェクトの表面上で有利に生成され得る。
【0042】
表示デバイス１２の特性が表示デバイスの色再現関数である場合に、表示デバイスの色再現関数は、第１画像と第２画像との比較から決定される。３色の色再現の場合に、色は、色座標とも呼ばれる３つの色値によって表現される。例えば、表示デバイス１２で表示される第２画像の各ピクセルは、その場合に、３つの色座標（Ｒ２，Ｇ２，Ｂ２）に関連する。もっと正確に言えば、表示デバイス１２の色再現関数は、例えば、デバイスに依存しない色座標（Ｘ，Ｙ，Ｚ）によって特定される色へのデバイスに依存した色座標（Ｒ２，Ｇ２，Ｂ２）（第２画像１２０を表示する表示デバイス１２に関する。）によって符号化される色の再現を示す関数（Ｘ，Ｙ，Ｚ）＝ｆ１２（Ｒ２，Ｇ２，Ｂ２）として定義される。捕捉デバイスの色特性（捕捉デバイスの製造業者提供のパラメータである。）は、デバイスに依存しない色座標（Ｘ，Ｙ，Ｚ）及び捕捉デバイスに関連したデバイスに依存した色座標（Ｒ１，Ｇ１，Ｂ１）によるその記述において特定される色の捕捉を示す関数（Ｒ１，Ｇ１，Ｂ１）＝ｇ（Ｘ，Ｙ，Ｚ）として更に定義される。第１画像１１０はデバイス１１（捕捉デバイスと呼ばれる。）によって捕捉された画像に対応するとして、第１画像１１０の色は、捕捉デバイスに依存した色座標（Ｒ１，Ｇ１，Ｂ１）で（例えば、処理デバイスのメモリにおいて）記憶される。（処理デバイスによって受け取られる）第２画像１２０は表示デバイス１２によって表示される画像に対応するとして、第２画像の色は、表示デバイスに依存した色座標（Ｒ２，Ｇ２，Ｂ２）で（例えば、処理デバイスのメモリにおいて）記憶される。
【0043】
表示デバイスの色再現関数ｆ１２（）を決定することは、夫々の捕捉された色について、そのデバイスに依存しない色座標（Ｘ，Ｙ，Ｚ）＝ｇ－１（Ｒ１，Ｇ１，Ｂ１）（ｇ－１は捕捉デバイスの色特性ｇの逆関数である。）を計算することを含む。表示デバイス１２の色再現関数ｆ１２（）は、以下の式に従って、捕捉デバイスの色特性ｇと、捕捉デバイスに依存した座標における第１画像（Ｒ１，Ｇ１，Ｂ１）及び表示デバイスに依存した座標における第２画像（Ｒ２，Ｇ２，Ｂ２）の対応する色の比較とから、このようにして求められる：
（Ｘ，Ｙ，Ｚ）＝ｆ１２（Ｒ２，Ｇ２，Ｂ２）、これはｇ－１（Ｒ１，Ｇ１，Ｂ１）＝ｆ１２（Ｒ２，Ｇ２，Ｂ２）と等価である。
色再現関数ｆ１２（）は、種々の方法で上記の式から求められ得る。第１の例では、１つの式は、一対の対応する色（Ｒ１，Ｇ１，Ｂ１）及び（Ｒ２，Ｇ２，Ｂ２）から導出され、ｆ１２（）は、線形関数（Ｘ，Ｙ，Ｚ）＝ｆ１２（Ｒ２，Ｇ２，Ｂ２）＝（ａＲ２，ｂＧ２，ｃＢ２）によって形成される。この例において、色再現関数ｆ１２（）のパラメータは、その１つの式がａ＝Ｘ／Ｒ２及びｂ＝Ｙ／Ｇ２及びｃ＝Ｘ／Ｂ２をもたらすことによって、求められる。更なる式が利用可能である場合に、ｆ１２（）は、例えば、行列、多項式、指数関数、又はスプライン曲線として、更なるパラメータを用いて形成され得る。
（Ｘ，Ｙ，Ｚ）＝ｆ１２（Ｒ２，Ｇ２，Ｂ２）、これはｇ－１（Ｒ１，Ｇ１，Ｂ１）＝ｆ１２（Ｒ２，Ｇ２，Ｂ２）と等価である。
色再現関数ｆ１２（）は、種々の方法で上記の式から求められ得る。第１の例では、１つの式は、一対の対応する色（Ｒ１，Ｇ１，Ｂ１）及び（Ｒ２，Ｇ２，Ｂ２）から導出され、ｆ１２（）は、線形関数（Ｘ，Ｙ，Ｚ）＝ｆ１２（Ｒ２，Ｇ２，Ｂ２）＝（ａＲ２，ｂＧ２，ｃＢ２）によって形成される。この例において、色再現関数ｆ１２（）のパラメータは、その１つの式がａ＝Ｘ／Ｒ２及びｂ＝Ｙ／Ｇ２及びｃ＝Ｘ／Ｂ２をもたらすことによって、求められる。更なる式が利用可能である場合に、ｆ１２（）は、例えば、行列、多項式、指数関数、又はスプライン曲線として、更なるパラメータを用いて形成され得る。
【0044】
デバイス１１が第１画像１１０を表示している場合に、表示デバイス１２の色再現関数を決定することは、第１画像１１０を表示するデバイス１１を較正して、デバイス１１の色再現の能力次第で、それがシーンの表示デバイス１２と同じ色再現を有するようにすることを可能にするということで、有利である。デバイス１１の色再現は、製造業者提供のパラメータとして知られている。この有利な変形例において、（第１画像を表示する）デバイス１１の色再現は、デバイスに依存しない色座標（Ｘ，Ｙ，Ｚ）によって特定される色へのデバイスに依存した色座標（Ｒ１’，Ｇ１’，Ｂ１’）によって符号化される色の再現を示す関数（Ｘ，Ｙ，Ｚ）＝ｆ１１（Ｒ１’，Ｇ１’，Ｂ１’）として定義される。
【0045】
この有利な変形例において、色再現関数ｆ１１（）を有している（第１画像を表示する）デバイス１１は、（第１画像を表示する）デバイスの色再現の限界次第で、それがｆ１２（）に等しい色再現関数ｆ１１’（）に従って機能するように、較正される。従って、最新技術においてよく知られている較正関数が、式：
（Ｒ１’，Ｇ１’，Ｂ１’）＝ｆ１１ －１（ｆ１２（Ｒ２，Ｇ２，Ｂ２））
に従って、較正されたデバイスに依存した色座標（Ｒ１’，Ｇ１’，Ｂ１’）をもたらすように、デバイスに依存した色座標（Ｒ２，Ｇ２，Ｂ２）に適用される。それらの較正された色座標は、色を再現するためにデバイス１１によって使用される。すなわち、第１画像の色変換された画像が、色再現関数ｆ１１’（）に従って得られ、デバイス１１は、色変換された画像を表示する。そのような較正関数は、デバイスの色再現の限界次第で使用可能である点に留意されたい。例えば、色（Ｘ，Ｙ，Ｚ）＝ｆ１２（Ｒ２，Ｇ２，Ｂ２）がデバイスによって再現され得ない場合に、ｆ１１’（）は、色クリッピング又は色域マッピングのような既知の方法によって置き換えられる必要がある。
（Ｒ１’，Ｇ１’，Ｂ１’）＝ｆ１１ －１（ｆ１２（Ｒ２，Ｇ２，Ｂ２））
に従って、較正されたデバイスに依存した色座標（Ｒ１’，Ｇ１’，Ｂ１’）をもたらすように、デバイスに依存した色座標（Ｒ２，Ｇ２，Ｂ２）に適用される。それらの較正された色座標は、色を再現するためにデバイス１１によって使用される。すなわち、第１画像の色変換された画像が、色再現関数ｆ１１’（）に従って得られ、デバイス１１は、色変換された画像を表示する。そのような較正関数は、デバイスの色再現の限界次第で使用可能である点に留意されたい。例えば、色（Ｘ，Ｙ，Ｚ）＝ｆ１２（Ｒ２，Ｇ２，Ｂ２）がデバイスによって再現され得ない場合に、ｆ１１’（）は、色クリッピング又は色域マッピングのような既知の方法によって置き換えられる必要がある。
【0046】
また、表示デバイス１２に関連した１つよりも多い特性が存在してよい。例えば、表示デバイス１２の２つの特性が表示デバイスの色再現関数及び表示デバイスにおける正反射である場合に、色再現関数は、上述されたように、第２画像を較正するために使用され得る。次いで、較正された第２画像のピクセルは、第２画像のピクセルを第１画像のピクセルと比較して正反射を特定するようにするために、上述されたように、第１画像のピクセルと比較される。また、較正された第２画像の要素は、第２画像の要素を第１画像にオーバーレイして正反射を取り除くようにするために、上述されたように、第１画像にオーバーレイされてよい。
【0047】
任意のステップＳ２４で、第２画像１２０は、第１画像１１０の領域と整合される。例えば、図１Ｂで表されているような、表示されている第２画像１２１が第１画像１１０のほんの一部分である状況において、第１画像１１０に対する第２画像１２０の整合は、第１画像内の表示されている第２画像に対応する第１画像１１０の領域１２１を決定することを可能にする。第２画像を第１画像と整合させることは、第１画像における第１の特徴及び第２画像における第２の特徴を得ることを含む。例えば、位置、サイズ、向き及び色によって特徴付けられる第１及び第２の特徴は、例えば、“Distinctive image features from scale-invariant key points”と題されて、２００４年にInt’l Journal of Computer Visionにおいて公開された文献中でLoweによって提案されているＳＩＦＴ（Scale Invariant Feature Transfer）法のような、当業者に知られている方法によって、取得される。特徴マッチングは、例えば、第２の特徴と第１の特徴の組の中の夫々の第１の特徴との間のユークリッド距離を計算し、第２の特徴まで最短距離を有している第１の特徴を、第１の特徴に対する適合する第２の特徴として選択することによって、取得される。第２画像を第１画像の領域と整合させるための如何なる技術も、議論されている原理に適応する。特徴マッチングから、特徴対応の最初の組が得られ、各特徴対応は、第２画像の第２の特徴に対応する第１画像の第１の特徴を含む。任意に、特徴対応の最初の組は、IEEE Trans. on Pattern Analysis and Machine Intelligenceにおいて２００４年に公開された“A performance evaluation of local descriptors”と題されたMikolajczyk等の論文にあるような、Nearest Neighbor Distance Ratio（ＮＮＤＲ）のような既知の方法によって強化される。特徴対応は、１９８１年にCommunications of the ACMにおいて公開された“Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography”と題された文献中でFischler等によって記載されているＲＡＮＳＡＣ法を用いて外れ値を検出することによって、任意に更に強化されてよい。不正確な対応及び外れ値を捨てることによって、特徴対応の最終的な組が得られる。
【0048】
表示されている第２画像に対応する第１画像の領域は、上記の任意の変形例のいずれかにおいて、第２画像の第２の特徴に対応する第１画像の第１の特徴を含む第１画像の部分である。
【0049】
任意のステップＳ２５で、幾何学変換が、特徴マッチングに基づき取得される。実際に、各対応は、第２画像における位置ｘ２，ｙ２に対応する第１画像における位置ｘ１，ｙ１をもたらす。対応する位置から、幾何学ひずみとも呼ばれる幾何学変換は、例えば、第１デバイスの表示が平らであると仮定するホモグラフィＨに従って、計算される。ホモグラフィは、例えば、２０１２年にProceedings of the Pattern Recognition International Conference（ＩＰＣＲ）において公開された“Homography estimation from correspondences of local elliptical features”でOndrej Chun等によって開示されている方法に従って、計算される。ホモグラフィは、いずれかの位置ｘ１，ｙ１を対応する位置ｘ２，ｙ２へ、又はその逆に変換する。ホモグラフィック変換以外の如何なる幾何学変換も、開示されている原理に適応する。
【0050】
表示されている第２画像１２１が第１画像１１０のほんの一部分であって、第１画像が表示されている第２画像１２１以外のオブジェクトを含む状況において、表示デバイスの特性は、第２画像と第１画像の領域との比較から有利に決定される。このとき、比較は、第２画像を第１画像の領域と整合させ、該整合させることから幾何学変換を取得し、該幾何学変換に基づき第１画像の領域を第２画像と比較して処理することを含む。例えば、前のステップで決定された領域は、幾何学変換、例えば、上述されたホモグラフィに基づきゆがめられ、第１画像のゆがめられた領域は、上述されたいずれかの変形例に従って、第２画像と比較して処理される。幾何学変換は、第１画像の領域が第２画像に幾何学的に対応するように、その領域を幾何学的に補償するために使用される。もっと正確に言えば、ゆがめられた領域は、次の方法で計算される：第１画像のゆがめられた領域の各位置ｘ２ｉ，ｙ２ｉは、第１画像における位置ｘ１ｉ，ｙ１ｉに対応する。このとき、０≦ｉ＜Ｎであり、Ｎは、第１画像のゆがめられた領域のピクセルの数である。０≦ｉ＜Ｎの全てについて、ｘ１ｉ，ｙ１ｉが整数である場合には、位置ｘ１ｉ，ｙ１ｉでの第１画像の色は、位置ｘ２ｉ，ｙ２ｉにある第１画像のゆがめられた領域へ移される。ｘ１ｉ，ｙ１ｉがいずれも整数でない場合には、最近傍位置が決定され、色は、第１画像におけるそれらの最近傍位置での色から補間され、補間された色は、位置ｘ２ｉ，ｙ２ｉにある第１画像のゆがめられた領域へ移される。変形例において、第２画像は、それが第１画像の領域に幾何学的に対応するように、第２画像を幾何学的に補償するよう幾何学変換に基づきゆがめられる。この場合に、第１画像の領域は、上述されたいずれかの変形例に従って、ゆがめられた第２画像と比較して処理される。
【0051】
更なる他の変形例では、ゆがめられた画像は生成されない。代わりに、第２画像のピクセルに対応する点ｘ１ｉ，ｙ１ｉは、幾何学変換により特定され、それらの色値は、共一次内挿法（bilinear interpolation）により計算される。第１画像の補間された色値は、次いで、例えば、pel-by-pel比較又は局部特徴比較を用いて、第２画像の対応する色値と更に比較される。
【0052】
表示デバイス１２の特性が表示デバイスにおける正反射である場合に、正反射は、第２画像と第１画像のゆがめられた領域との比較から決定される。変形例において、正反射は、上述されたように、第１画像の領域とゆがめられた第２画像との比較から決定される。
【0053】
表示デバイス１２の特性が表示デバイスの色再現である場合に、且つ、デバイス１１が第１画像を表示している場合に、色再現関数は、上述された式に従って、捕捉デバイスに依存した座標における第１画像（Ｒ１，Ｇ１，Ｂ１）のゆがめられた領域及び表示デバイスに依存した座標における第２画像（Ｒ２，Ｇ２，Ｂ２）の対応する色の比較から決定される。
【0054】
デバイス１１が表示デバイス１２の再現関数に従って較正される場合に、第１画像の色変換された画像又は較正された画像は、色再現関数ｆ１１’（）に基づき較正関数ｆ１１
－１（ｆ１２（））に従って取得され、デバイス１１は、色変換された画像を表示する。第１の変形例では、較正関数ｆ１１
－１（ｆ１２（））は、色変換された画像を取得するために第１画像１１０全体に適用される。第２の変形例では、較正関数ｆ１１
－１（ｆ１２（））は、色変換された画像を取得するために、領域の外側の色を変換することなしに、第１画像の領域にのみ適用される。
【0055】
有利な任意の実施形態では、第１画像内の表示されている第２画像に対応する第１画像の領域は、第１画像における表示デバイスの検出によって、整合ステップより前に取得される。その任意の実施形態において、表示デバイスは、第１画像内の表示されている第２画像に対応する領域をもたらすように、第１画像において検出される。第１の変形例では、表示デバイスは、第１画像が捕捉されるときに、白色の第２画像又は白色の第２画像のシーケンスを表示する。表示されている第２画像に対応する領域の輪郭は、白色の第２画像の輪郭を第１画像内で識別することによって、決定される。その場合に、４本の線が取得される。これらは、第１画像の領域の境界線に対応する。第２の変形例では、表示デバイスは、表示されている第２画像とは無関係に、表示デバイスを検出するよう学習された既知のオブジェクト認識法を用いて、検出される。第３の変形例では、表示デバイスが、動画コンテンツを含む第２ビデオシーケンスを表示しており、第１ビデオがほとんど静止したデバイスから取得される場合に、動画コンテンツを示す表示デバイスは、第１ビデオシーケンスの中の第１画像間の支配的な差を識別することによって、検出される。支配的な差に対応する第１画像内のエリアは、表示デバイスによって表示されている第２画像を示す第１画像の領域に対応する。画像において表示デバイスを検出する如何なる他の技術も、開示されている原理に適応する。
【0056】
第１ビデオシーケンス及び第２ビデオシーケンスがデバイスによって受け取られる場合に、第２ビデオシーケンスは表示デバイスによって表示されており、両ビデオシーケンス間の時間同期は、任意のステップＳ２４、Ｓ２５及びステップＳ２７より前に、第１ビデオシーケンスの中の第１画像を第２ビデオシーケンスの中の第２画像と同期させるよう実行される。第２ビデオシーケンスが同じ単一の静止画像の繰り返しである場合に、時間同期は不要である。第２ビデオシーケンスが一連の動画像である場合に、時間同期は、例えば、デバイスと表示デバイスとの間で同期シグナリングデータを交換することによって、実行される。変形例において、両ビデオシーケンス間の予備的な時間同期は、任意の整合ステップＳ２４の前に実行される。他の変形例では、予備的な時間同期は、任意の整合ステップＳ２４の前に実行されない。その場合に、任意の整合ステップＳ２４は、同期を達成するよう拡張される。例えば、第２画像と第１画像の領域との間の特徴マッチングは、一連の第２画像の中の夫々の第２画像について行われる。時間同期は、特徴の最良のマッチングを可能にする第２画像を選択することによって達成される。特徴マッチングの品質は、例えば、ピクセル間の二次差分の最小和のような、既知のマッチング基準を用いて、評価される。
【0057】
更なる他の実施形態では、表示デバイス１２に関連した特性は、例えば、ユーザが“一時停止”を、次いで“再生”を押すことによって引き起こされる、ビデオ表示の遅延である。この実施形態に従って、第１デバイスは、ネットワークから、第２画像の連続として第２ビデオを受け取っている。第１画像（の領域）内で特定の第２画像を整合させることによって、表示デバイス１２のビデオ表示の遅延は決定される。この特性の決定のために、幾何学変換を取得することは必要とされない。
【0058】
図３は、第２画像を表示する表示デバイスに関連した特性を決定する処理デバイス３を表す。本原理の具体的且つ非限定的な実施形態に従って、処理デバイス３は、シーンの第１画像を受け取るよう構成される少なくとも１つのネットワークインターフェイス３１を有する。第１画像は捕捉デバイスによって捕捉され、シーンは、第２画像を表示する表示デバイスを含む。例えば、処理デバイス３は、捕捉デバイスから第１ネットワークを介して第１画像を受け取る。ネットワークインターフェイス３１は、第２ネットワークから第２画像を受け取るよう更に構成される。本原理の異なる実施形態に従って、第１ネットワーク及び第２ネットワークは、同じネットワーク又は異なるネットワークである。本原理の異なる実施形態に従って、少なくとも１つのネットワークインターフェイス３１は：
・２Ｇ／３Ｇ／４Ｇセルラーネットワーク、ＷｉＭａｘインターフェイスのような、ＷＡＮ（Wide Area Network）インターフェイス；
・Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ、又はあらゆる種類の無線ネットワーキングインターフェイスのような、ＷＬＡＮ（Wireless Local Area Network）；
・Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＦｉｒｅＷｉｒｅ（登録商標）、又は処理デバイス３と少なくとも１つのデバイスとの間のデータ通信を更に可能にするあらゆる種類の有線テクノロジのような、有線インターフェイス；
・２Ｇ／３Ｇ／４Ｇセルラーネットワーク、ＷｉＭａｘインターフェイスのような、ＷＡＮ（Wide Area Network）インターフェイス
を含む組に属する。異なる実施形態に従って、第１画像及び第２画像は、同じネットワークインターフェイス（例えば、Ｗｉ－Ｆｉ）を介して又は異なるネットワークインターフェイス（例えば、第１画像用のＵＳＢ及び第２画像用のＷｉ－Ｆｉ、等）を介して受け取られる。より一般的に、処理デバイス３が第１画像及び第２画像を受け取ることを可能にする如何なるネットワークインターフェイスも、開示されている原理に適応する。
・２Ｇ／３Ｇ／４Ｇセルラーネットワーク、ＷｉＭａｘインターフェイスのような、ＷＡＮ（Wide Area Network）インターフェイス；
・Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ、又はあらゆる種類の無線ネットワーキングインターフェイスのような、ＷＬＡＮ（Wireless Local Area Network）；
・Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＦｉｒｅＷｉｒｅ（登録商標）、又は処理デバイス３と少なくとも１つのデバイスとの間のデータ通信を更に可能にするあらゆる種類の有線テクノロジのような、有線インターフェイス；
・２Ｇ／３Ｇ／４Ｇセルラーネットワーク、ＷｉＭａｘインターフェイスのような、ＷＡＮ（Wide Area Network）インターフェイス
を含む組に属する。異なる実施形態に従って、第１画像及び第２画像は、同じネットワークインターフェイス（例えば、Ｗｉ－Ｆｉ）を介して又は異なるネットワークインターフェイス（例えば、第１画像用のＵＳＢ及び第２画像用のＷｉ－Ｆｉ、等）を介して受け取られる。より一般的に、処理デバイス３が第１画像及び第２画像を受け取ることを可能にする如何なるネットワークインターフェイスも、開示されている原理に適応する。
【0059】
本原理の具体的且つ非限定的な実施形態に従って、処理デバイス３は、シーンの第１画像を捕捉するよう構成される任意のカメラ３０を有する。シーンは、第２画像を表示する表示デバイスを含む。本原理の具体的且つ非限定的な実施形態に従って、カメラ３０は、光に焦点を合わせて、それを半導体画像捕捉デバイス（例えば、感光セルと呼ばれる数千個又は数百万個の極小の光検知ダイオードのマトリクスにより光を測定するＣＣＤ（Charge Coupled Device）キャプター又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）キャプター、等）に向ける。本原理の具体的且つ非限定的な実施形態に従って、カメラ３０は処理デバイス３の外にある。具体的且つ非限定的な実施形態に従って、カメラは、複数の画像を撮影する用意がある。例えば、ステレオカメラは、左右のビューを捕捉し、あるいは、ライトフィールドカメラは、副窓（sub-aperture）画像を捕捉し、それらを複数のビューへと処理する。
【0060】
ネットワークインターフェイス３１及び任意のカメラ３０は、表示デバイスに関連した特性を第１画像及び第２画像の処理に応じて決定するよう構成される処理モジュール３４へリンクされている。特定の実施形態に従って、処理モジュール３４は更に、任意に、表示デバイスの決定された特性を考慮しながら第１画像を処理し、処理された第１画像を表示手段へ任意の出力部３８を介して送信するよう構成される。特定の実施形態に従って、表示手段はデバイスの外にあり、任意の出力部３８は、処理された第１画像を外の表示手段へ送る。開示されている原理の異なる実施形態に従って、表示手段は、内部又は外部のいずれであっても：
・パーソナルコンピュータのスクリーン；
・ＴＶのスクリーン；
・タブレットのスクリーン；
・スマートフォンのスクリーン；
・装着型ディスプレイ；
・ヘッドマウント型表示デバイス；
・スマートグラス
を含む組に属する。より一般的に、処理された第１画像を表示することを可能にする如何なる表示手段も、開示されている原理に適応する。
・パーソナルコンピュータのスクリーン；
・ＴＶのスクリーン；
・タブレットのスクリーン；
・スマートフォンのスクリーン；
・装着型ディスプレイ；
・ヘッドマウント型表示デバイス；
・スマートグラス
を含む組に属する。より一般的に、処理された第１画像を表示することを可能にする如何なる表示手段も、開示されている原理に適応する。
【0061】
特定の実施形態に従って、処理モジュール３４は、様々な処理のために、例えば、遠隔記憶のために、更なるビデオ編集のために、又は配信ネットワークによる更なるネットワーク送信のために、処理された第１画像を外のデバイスへネットワークインターフェイス３１を介して送る。
【0062】
図４は、具体的且つ非限定的な実施形態に従って、処理デバイス３の例となるアーキテクチャを表す。処理デバイス３は、表示デバイスに関連した特性を決定するよう構成される。処理デバイス３は、内部メモリ４２０（例えば、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ）とともに、１つ以上のプロセッサ４１０（例えば、ＣＰＵ，ＧＰＵ及び／又はＤＳＰ（Digital Signal Processorの英語の頭字語）である。）を有する。処理デバイス３は、出力情報を表示するために送信するよう且つ／あるいはユーザがコマンド及び／又はデータを入力することを可能にするよう（例えば、キーボード、マウス、タッチパッド、ウェブカム、ディスプレイ）、且つ／あるいはデータをネットワークインターフェイスを介して送信／受信するよう構成される１つ又は複数の入出力インターフェイス４３０と、処理デバイス３の外にあってよい電源４４０とを有する。
【0063】
例となる非限定的な実施形態に従って、処理デバイス３は、メモリ４２０に記憶されているコンピュータプログラムを更に有する。コンピュータプログラムは、処理デバイス３によって、特に、プロセッサ４１０によって、実行される場合に、処理デバイス３に、図２を参照して記載された処理方法を実行させる命令を有する。変形例に従って、コンピュータプログラムは、処理デバイス３の外で、非一時的なデジタルデータ担体において、例えば、ＳＤカード、ＨＤＤ、ＣＤ－ＲＯＭ、ＤＶＤ、リードオンリー及び／若しくはＤＶＤドライブ並びに／又はＤＶＤリード／ライトドライブ（当該技術で全て知られている。）のような外部記憶媒体において、記憶されている。処理デバイス３は、よって、コンピュータプログラムを読み出すためのインターフェイスを有する。更に、処理デバイス３は、１つ以上のユニバーサルシリアルバス（ＵＳＢ）タイプの記憶デバイス（例えば、“メモリスティック”）に、対応するＵＳＢポートを通じてアクセスし得る（図示せず。）。
【0064】
例となる非限定的な実施形態に従って、処理デバイス３は：
・スマートフォン；
・タブレット；
・電子ブックリーダー；
・デジタルカメラ；
・タブレットコンピュータ；
・ラップトップコンピュータ；
・シースルー方式の表示デバイス；
・ヘッドマウント型表示デバイス；
・デスクトップコンピュータ；
・サーバー；
・ゲートウェイ；
・セットトップボックス
を含む組に属する。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
表示デバイスの特性を決定する方法であって、
当該方法は、処理デバイスにおいて、
第２画像を表示する前記表示デバイスを含むシーンの第１画像を受け取ることと、
前記第２画像をネットワークから受け取ることと、
前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定することと
を有する、方法。
（付記２）
前記第２画像を前記第１画像の領域と整合させることによって幾何学変換を得ること
を更に有する付記１に記載の方法。
（付記３）
前記整合させることより前に、前記第１画像において前記表示デバイスを検出することによって前記第１画像の前記領域を得ること
を更に有する付記２に記載の方法。
（付記４）
前記第１画像と前記第２画像との前記比較は、前記幾何学変換に基づき前記第１画像の前記領域を前記第２画像と比較することを有する、
付記２又は３に記載の方法。
（付記５）
前記処理デバイスは、前記シーンを捕捉している、
付記１乃至４のうちいずれかに記載の方法。
（付記６）
前記表示デバイスの前記特性は、前記表示デバイスにおける正反射である、
付記１乃至５のうちいずれかに記載の方法。
（付記７）
決定された前記正反射を前記第１画像から取り除くこと
を更に有する付記６に記載の方法。
（付記８）
前記表示デバイスの前記特性は、前記表示デバイスの３色の色再現関数であり、該３色の色再現関数は、前記処理デバイスの色特性及び前記第１画像と前記第２画像との前記比較から決定される、
付記５に記載の方法。
（付記９）
前記処理デバイスは、前記第１画像を表示しており、前記処理デバイスは、前記決定された３色の色再現関数に従って較正される、
付記８に記載の方法。
（付記１０）
表示デバイスの特性を決定する処理デバイスであって、
当該処理デバイスは、
第２画像を表示する前記表示デバイスを含むシーンの第１画像を受け取り、
前記第２画像を受け取る
よう構成される少なくとも１つのネットワークインターフェイスを有し、
当該処理デバイスは、前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定するよう構成される処理手段を更に有する、
処理デバイス。
（付記１１）
前記処理手段は、前記第２画像を前記第１画像の領域と整合させることによって幾何学変換を得るよう更に構成される、
付記１０に記載の処理デバイス。
（付記１２）
前記表示デバイスの前記特性は、前記表示デバイスにおける正反射及び前記表示デバイスの３色の色再現関数のうちの１つである、
付記１０又は１１のいずれかに記載の処理デバイス。
（付記１３）
前記処理手段は、決定された前記正反射を前記第１画像から取り除くよう更に構成される、
付記１２に記載の処理デバイス。
（付記１４）
前記シーンの前記第１画像を捕捉するよう構成されるカメラ
を更に有する付記１０乃至１３のうちいずれかに記載の処理デバイス。
（付記１５）
表示デバイスの特性を決定するコンピュータプログラム製品であって、
当該コンピュータプログラム製品は、
デバイスによって捕捉されたシーンの第１画像を受け取り、前記シーンは、第２画像を表示する前記表示デバイスを含み、
前記第２画像を受け取り、
前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定する
ようプロセッサによって実行されるプログラムコード命令を有する、
コンピュータプログラム製品。
・スマートフォン；
・タブレット；
・電子ブックリーダー；
・デジタルカメラ；
・タブレットコンピュータ；
・ラップトップコンピュータ；
・シースルー方式の表示デバイス；
・ヘッドマウント型表示デバイス；
・デスクトップコンピュータ；
・サーバー；
・ゲートウェイ；
・セットトップボックス
を含む組に属する。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
表示デバイスの特性を決定する方法であって、
当該方法は、処理デバイスにおいて、
第２画像を表示する前記表示デバイスを含むシーンの第１画像を受け取ることと、
前記第２画像をネットワークから受け取ることと、
前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定することと
を有する、方法。
（付記２）
前記第２画像を前記第１画像の領域と整合させることによって幾何学変換を得ること
を更に有する付記１に記載の方法。
（付記３）
前記整合させることより前に、前記第１画像において前記表示デバイスを検出することによって前記第１画像の前記領域を得ること
を更に有する付記２に記載の方法。
（付記４）
前記第１画像と前記第２画像との前記比較は、前記幾何学変換に基づき前記第１画像の前記領域を前記第２画像と比較することを有する、
付記２又は３に記載の方法。
（付記５）
前記処理デバイスは、前記シーンを捕捉している、
付記１乃至４のうちいずれかに記載の方法。
（付記６）
前記表示デバイスの前記特性は、前記表示デバイスにおける正反射である、
付記１乃至５のうちいずれかに記載の方法。
（付記７）
決定された前記正反射を前記第１画像から取り除くこと
を更に有する付記６に記載の方法。
（付記８）
前記表示デバイスの前記特性は、前記表示デバイスの３色の色再現関数であり、該３色の色再現関数は、前記処理デバイスの色特性及び前記第１画像と前記第２画像との前記比較から決定される、
付記５に記載の方法。
（付記９）
前記処理デバイスは、前記第１画像を表示しており、前記処理デバイスは、前記決定された３色の色再現関数に従って較正される、
付記８に記載の方法。
（付記１０）
表示デバイスの特性を決定する処理デバイスであって、
当該処理デバイスは、
第２画像を表示する前記表示デバイスを含むシーンの第１画像を受け取り、
前記第２画像を受け取る
よう構成される少なくとも１つのネットワークインターフェイスを有し、
当該処理デバイスは、前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定するよう構成される処理手段を更に有する、
処理デバイス。
（付記１１）
前記処理手段は、前記第２画像を前記第１画像の領域と整合させることによって幾何学変換を得るよう更に構成される、
付記１０に記載の処理デバイス。
（付記１２）
前記表示デバイスの前記特性は、前記表示デバイスにおける正反射及び前記表示デバイスの３色の色再現関数のうちの１つである、
付記１０又は１１のいずれかに記載の処理デバイス。
（付記１３）
前記処理手段は、決定された前記正反射を前記第１画像から取り除くよう更に構成される、
付記１２に記載の処理デバイス。
（付記１４）
前記シーンの前記第１画像を捕捉するよう構成されるカメラ
を更に有する付記１０乃至１３のうちいずれかに記載の処理デバイス。
（付記１５）
表示デバイスの特性を決定するコンピュータプログラム製品であって、
当該コンピュータプログラム製品は、
デバイスによって捕捉されたシーンの第１画像を受け取り、前記シーンは、第２画像を表示する前記表示デバイスを含み、
前記第２画像を受け取り、
前記第１画像と前記第２画像との比較に応じて前記表示デバイスの前記特性を決定する
ようプロセッサによって実行されるプログラムコード命令を有する、
コンピュータプログラム製品。
【符号の説明】
【0065】
１ シーン
３ 処理デバイス
１０ カメラ
１１ （第１画像を表示する）デバイス
１２ （第２画像を表示する）表示デバイス
３０ カメラ
３１ ネットワークインターフェイス
３４ 処理モジュール
３８ 出力部
１１０ 第１画像
１１１ 仮想オブジェクト
１２０ 第２画像
１２１ 領域
４１０ プロセッサ
４２０ メモリ
４３０ 入出力インターフェイス
４４０ 電源
３ 処理デバイス
１０ カメラ
１１ （第１画像を表示する）デバイス
１２ （第２画像を表示する）表示デバイス
３０ カメラ
３１ ネットワークインターフェイス
３４ 処理モジュール
３８ 出力部
１１０ 第１画像
１１１ 仮想オブジェクト
１２０ 第２画像
１２１ 領域
４１０ プロセッサ
４２０ メモリ
４３０ 入出力インターフェイス
４４０ 電源
【図1A】
【図1B】
【図2】
【図3】
【図4】