特許 7112336 画像又はビデオ内の物体を隠す方法及び関連する拡張現実方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-26

(45)【発行日】2022-08-03

(54)【発明の名称】画像又はビデオ内の物体を隠す方法及び関連する拡張現実方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220727BHJP

   H04N 5/232 20060101ALI20220727BHJP

   G02C 13/00 20060101ALI20220727BHJP

【ＦＩ】

G06T19/00 600

H04N5/232 290

G02C13/00

【請求項の数】 47

(21)【出願番号】P 2018569126

(86)(22)【出願日】2017-06-29

(65)【公表番号】

(43)【公表日】2019-09-26

(86)【国際出願番号】 FR2017051744

(87)【国際公開番号】W WO2018002533

(87)【国際公開日】2018-01-04

【審査請求日】2020-06-11

(31)【優先権主張番号】1656154

(32)【優先日】2016-06-30

(33)【優先権主張国・地域又は機関】FR

(31)【優先権主張番号】15/285,554

(32)【優先日】2016-10-05

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519001420

【氏名又は名称】フィッティングボックス

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(74)【代理人】

【識別番号】100064621

【弁理士】

【氏名又は名称】山川 政樹

(72)【発明者】

【氏名】シュクルン，アリエル

(72)【発明者】

【氏名】ゲナール，ジェローム

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２００３－２７１９４６（ＪＰ，Ａ）

【文献】特表２００９－５２５５１７（ＪＰ，Ａ）

【文献】特開２０１３－００５３２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ５／２３２

Ｇ０２Ｃ １３／００

(57)【特許請求の範囲】

【請求項1】

個人（１２０；５２０；８２０；９２０）が着用するのに適した物体（１１１）を含む最初の画像（２２０）から最終画像（２１０）を生成する方法（３００）において、前記方法（３００）は、
ａ）前記最初の画像において前記物体の存在を検出するステップ（３１０）；
ａ’）前記最初の画像上の前記物体を少なくとも部分的に覆うマスクを展開するステップ（３６０）；
ｂ）前記最初の画像の上に第１の層を重ねるステップであって、前記第１の層は、前記最初の画像内の前記物体を少なくとも部分的に覆う前記マスクを含む、ステップ；
ｃ）前記マスクの少なくとも一部の外観を修正するステップ
を含むことを特徴とする、方法。

【請求項2】

前記マスクの外観の修正は、前記最終画像内の前記物体の全て又は一部のテクスチャを置き替えるステップを含むことを特徴とする、請求項１に記載の画像生成方法。

【請求項3】

前記マスクの外観の修正は、前記物体の全て又は一部のテクスチャを決定するステップを含み、前記テクスチャは、前記最終画像内の前記物体の全て又は一部を隠すため、前記物体の背景内の要素を再現することを特徴とする、請求項１又は２に記載の画像生成方法。

【請求項4】

前記マスクは、前記物体によってかかる影の全て又は一部も覆うことを特徴とする、請求項１から３のいずれか一項に記載の画像生成方法。

【請求項5】

前記方法は、
ｄ）前記第１の層を重ねた前記最初の画像の上に第２の層を重ねるステップ
も含み、前記第２の層は、前記マスクを少なくとも部分的に覆う要素を含むことを特徴とする、請求項１から４のいずれか一項に記載の画像生成方法。

【請求項6】

前記方法は、前記ステップｂ）の前に、
－前記最初の画像を取得する捕捉デバイスに対する前記物体の向きを決定するステップ；
－前記最初の画像内の前記物体の特徴的寸法を決定するステップ
も含むことを特徴とする、請求項１から５のいずれか一項に記載の画像生成方法。

【請求項7】

前記方法は、前記ステップｂ）の前に、
－前記物体の３次元モデルを展開するステップ；
－前記第１の層の上に前記３次元モデルを形状投影することによって、前記マスクを展開するステップ
も含み、前記３次元モデルは、前記第１の層の上で前記物体と同じ向き及び同じ特徴的寸法を有することを特徴とする、請求項６に記載の画像生成方法。

【請求項8】

前記物体の３次元モデルの計算は、前記物体単独の少なくとも１つの画像からもたらすことを特徴とする、請求項７に記載の画像生成方法。

【請求項9】

前記物体は、個人の顔の上に着用することを特徴とする、請求項１から８のいずれか一項に記載の画像生成方法。

【請求項10】

前記物体の３次元モデルの計算は、個人の顔の上に着用した物体の少なくとも１つの画像を使用して行うことを特徴とする、請求項７に記載の画像生成方法。

【請求項11】

前記物体は、顔の両側に延在するフレーム、及び前記フレームに組み付けた少なくとも１つのレンズを備えることを特徴とする、請求項９又は１０に記載の画像生成方法。

【請求項12】

前記方法は、事前にモデル化し、データベース内に保存したフレームから前記フレームを識別するステップも含み、前記マスクは、前記識別したフレームのモデルに基づき生成されていることを特徴とする、請求項１１に記載の画像生成方法。

【請求項13】

前記フレームの識別は、前記フレームの外形に調節した支持曲線を生成することによってもたらすことを特徴とする、請求項１２に記載の画像生成方法。

【請求項14】

前記フレームの識別は、以下の基準：
－前記フレームの形状；
－前記フレームの色（複数可）；
－前記フレームのテクスチャ（複数可）；
－前記フレーム上に示されるロゴ
の少なくとも１つに基づくことを特徴とする、請求項１２又は１３に記載の画像生成方法。

【請求項15】

前記方法は、前記物体の環境表現を計算するステップも含むことを特徴とする、請求項１から１４のいずれか一項に記載の画像生成方法。

【請求項16】

前記マスクの外観を修正するステップは、
－中間層を前記第１の層の上に重ねた前記環境表現を形状投影するサブステップ；
－前記マスクの画素付近の前記中間層の少なくとも１つの画素の色に従って、前記マスクの画素の新たな色を決定するサブステップ
を含むことを特徴とする、請求項１５に記載の画像生成方法。

【請求項17】

前記新たな色の決定は、「ポアソン画像編集」型画像編集方法を実施することを特徴とする、請求項１６に記載の画像生成方法。

【請求項18】

前記方法は、前記環境内で顔の存在を検出するステップも含むこと、及び前記環境表現は、前記検出した顔のモデルを含み、前記顔モデルに、顔テクスチャを適用することを特徴とする、請求項１５から１７のいずれか一項に記載の画像生成方法。

【請求項19】

前記方法は、前記最初の画像を取得する捕捉デバイスに対する顔の向きを決定するステップも含むこと、及び前記顔モデルは、本質的に、事前に確立した向きに従って配置することを特徴とする、請求項１８に記載の画像生成方法。

【請求項20】

顔に着用した物体を少なくとも部分的に覆う前記マスクは、前記顔モデルの形状投影に基づき前記第１の層の上に展開することを特徴とする、請求項１８又は１９に記載の画像生成方法。

【請求項21】

前記方法は、
－個人の顔を照らす少なくとも１つの光源を分析するステップ；
－前記顔モデルの全て又は一部の色（複数可）を変換するステップ；
も含むことを特徴とする、請求項１８から２０のいずれか一項に記載の画像生成方法。

【請求項22】

前記顔テクスチャ上の画素の色は、前記画素付近のパッチの色に基づき、インペインティング方法を通じて決定することを特徴とする、請求項２０又は２１に記載の画像生成方法。

【請求項23】

前記パッチの位置は、本質的に、前記画素の直交面及び／又は垂直面上に位置することを特徴とする、請求項２２に記載の画像生成方法。

【請求項24】

前記顔テクスチャ上の画素の色は、事前に確立した向きの顔モデルに基づき、インペインティング方法を通じて決定し、前記顔モデルは、目の表現を含むことを特徴とする、請求項２１から２３のいずれか一項に記載の画像生成方法。

【請求項25】

前記方法は、前記顔テクスチャ上に少なくとも１つの目領域を識別するステップも含み、前記目領域は、前記検出した顔の目の位置に対応することを特徴とする、請求項２０から２４のいずれか一項に記載の画像生成方法。

【請求項26】

前記目領域の充填は、前記検出した顔の目のトポロジ知識を通じて行うことを特徴とする、請求項２５に記載の画像生成方法。

【請求項27】

個人の顔の上に着用した物体の環境表現に対する前記展開は、前記環境内での顔の検出を伴わずにもたらされることを特徴とする、請求項１５から１７のいずれか一項に記載の画像生成方法。

【請求項28】

環境表現の前記展開は、前記環境と前記最初の画像を取得する捕捉デバイスとの間に配置した透明要素によって生じる光学的歪みを修正するサブステップを含むことを特徴とする、請求項１５から２７のいずれか一項に記載の画像生成方法。

【請求項29】

前記方法は、ビデオを形成する画像シーケンスの全て又は一部に対し適用することを特徴とする、請求項１から２８のいずれか一項に記載の画像生成方法。

【請求項30】

前記物体の環境表現及び／又は前記物体のモデルは、前記シーケンスの各画像において更新することを特徴とする、請求項２９に記載の画像生成方法。

【請求項31】

前記物体の環境表現及び／又は前記物体のモデルは、複数の異なる視野角に従って取得した複数の最初の画像に基づき更新することを特徴とする、請求項１５から３０のいずれか一項に記載の画像生成方法。

【請求項32】

前記最終画像の生成は、前記最初の画像からリアルタイムでもたらされることを特徴とする、請求項１から３１のいずれか一項に記載の画像生成方法。

【請求項33】

可搬デバイスを顔の上に着用している個人が使用することを意図する拡張現実方法において、前記方法は、
－前記可搬デバイスを顔の上に着用している個人のビデオをリアルタイムで取得するステップ；
－前記ビデオをリアルタイムで表示するステップ
含み、前記可搬デバイスの外観は、請求項１から３２のいずれか一項に記載の画像生成方法によって完全又は部分的に修正されることを特徴とする、拡張現実方法。

【請求項34】

前記可搬デバイスは、リアルタイムで表示する前記ビデオにおいて、完全又は部分的に隠されることを特徴とする、請求項３３に記載の拡張現実方法。

【請求項35】

個人が装着する前記可搬デバイスは、前記個人の視力に適合する矯正レンズを備えることを特徴とする、請求項３３又は３４に記載の拡張現実方法。

【請求項36】

前記可搬デバイスを装着する個人は、仮想物体を試着し、前記仮想物体は、前記ビデオにおいて、部分的又は全体的に隠される前記可搬デバイスに対し少なくとも部分的に重なることを特徴とする、請求項３３から３５のいずれか一項に記載の拡張現実方法。

【請求項37】

前記方法は、前記可搬デバイスを顔に着用していない個人の少なくとも１つの画像に基づき、前記個人の顔モデルを初期化するステップを含むことを特徴とする、請求項３３から３６のいずれか一項に記載の拡張現実方法。

【請求項38】

前記方法は、前記可搬デバイスを着用している個人の複数の画像に基づき、前記個人の顔モデルを初期化するステップを含み、前記画像は、異なる視野角の顔に対応することを特徴とする、請求項３３から３６のいずれか一項に記載の拡張現実方法。

【請求項39】

前記方法は、専用モデル化デバイス内で取得した前記可搬デバイスの少なくとも１つの画像に基づき、前記可搬デバイスのモデルを初期化するステップを含むことを特徴とする、請求項３３から３８のいずれか一項に記載の拡張現実方法。

【請求項40】

前記方法は、前記可搬デバイスを着用している個人の少なくとも１つの画像に基づき、前記可搬デバイスのモデルを初期化するステップを含むことを特徴とする、請求項３３から３８のいずれか一項に記載の拡張現実方法。

【請求項41】

視覚デバイス（１１１）を着用する個人（１２０；５２０；８２０；９２０）による仮想物体（１１０；５１０）の試着を可能にする拡張現実デバイス（１００；５００；８００）であって、前記仮想物体は、前記視覚デバイスを少なくとも部分的に覆う、拡張現実デバイス（１００；５００；８００）において、前記拡張現実デバイス（１００；５００；８００）は、
－個人のビデオを捕捉する少なくとも１つのカメラ（５３２；８３２）；
－前記捕捉したビデオのための処理ユニット（１３４；５３４）であって、請求項３から３２のいずれか一項に記載の画像生成方法を通じて、前記捕捉したビデオの画像の大部分又は全体において前記視覚デバイスを少なくとも部分的に隠す処理ユニット（１３４；５３４）；
前記処理された個人のビデオを表示する少なくとも１つの画面（１３０；５３０；８３０）
を備えることを特徴とする、拡張現実デバイス（１００；５００；８００）。

【請求項42】

前記画面は、垂直であること、及び前記カメラは、それに応じて前記画面の平面に固定することを特徴とする、請求項４１に記載の拡張現実デバイス。

【請求項43】

前記拡張現実デバイスは、２つのカメラを備え、前記２つのカメラは、前記画面の縁部に対し平行に、３０から５０センチメートルの間に含まれる距離で離間することを特徴とする、請求項４１又は４２に記載の拡張現実デバイス。

【請求項44】

前記拡張現実デバイスは、本質的に前記２つのカメラの間の中央軸上に置かれる第３のカメラを更に備えることを特徴とする、請求項４３に記載の拡張現実デバイス。

【請求項45】

前記画面は、タッチ感応性であることを特徴とする、請求項４１から４４のいずれか一項に記載の拡張現実デバイス。

【請求項46】

前記捕捉し、修正したビデオの表示は、リアルタイムで行うことを特徴とする、請求項４１から４５のいずれか一項に記載の拡張現実デバイス。

【請求項47】

前記拡張現実デバイスは、前記視覚デバイスの３次元モデル捕捉デバイスを備えることを特徴とする、請求項４１から４６のいずれか一項に記載の拡張現実デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理及び画像合成の分野に関する。

【0002】

より詳細には、本発明は、画像又はビデオ内の物体を隠す方法に関する。

【0003】

本発明は、拡張現実の分野において、個人が現実の眼鏡を着用しているにもかかわらず、仮想眼鏡を試着しているという特定の用途を見出すものである。

【背景技術】

【0004】

矯正レンズを着用する個人にとって、新たな眼鏡を購入前に試着することは困難である。実際、試着する新たなフレームは、視力を矯正していないレンズを含むため、ユーザは、自分の視力障害の精度よりも遠くを見ることができない。したがって、例えば、平均的な近視のユーザの場合、ユーザは、自分を観察できるようにするため、鏡の２０センチメートル以内に来なければならない。したがって、ユーザは、新たなフレームが自分に合っているか否か自分自身で評価することができない。このことは、明るさを大幅に低減させ、ユーザの視認性を更に低減するサングラス又は色付きレンズを試着する場合、より一層複雑である。

【0005】

当技術分野で公知であるのは、特に顔認識の状況において、画像内の眼鏡を隠す技法である。

【0006】

こうした技法は、特徴点を使用して目の位置を検出する顔認識に基づく。この検出は、眼鏡を着用している顔と何も着用していない顔との間の差を学習することと合わせ、眼鏡を着用している個人の画像から、眼鏡をかけていない個人の画像を再構成することを可能にする。

【0007】

この技法の主な欠点は、技法が、同一の視野角、通常は正面からの個人の画像から顔を統計的に再構成することである。この技法は、画像内の顔の２Ｄ野の内側のみを考慮して２次元で作用する。言い換えれば、顔の背景上に重なっている眼鏡の全ての要素は、この技法によっては考慮されず、画像が顔よりも広い眼鏡を含む場合、又は顔が画像内で前を向いていない場合、画像を損なう。

【0008】

この技法の別の主要な欠点は、この技法が、特に薄いフレームを有する眼鏡しか考慮しないため、厚いフレームを有する眼鏡の全てが除外されることである。

【0009】

同じく当技術分野で公知であるのは、個人が新たな眼鏡を試着する際、アバタにより自分自身を画面上で見ることを可能にする技法である。

【0010】

こうした技法は、眼鏡を着用していない個人の事前画像を取得することに基づく。これらの画像は、新たな眼鏡のモデルを追加した個人の頭部の仮想モデルの生成を可能にする。

【0011】

この技法の主要な欠点は、技法が、眼鏡着用者が新たな眼鏡を試着した際、鏡のように画面上に自分の画像を見ることができるという現実的な技法を達成しないことである。

【0012】

最後に、人が仮想眼鏡を試着することを可能にする拡張現実システムがある。

【0013】

現在、既存の拡張現実システムのいずれも、例えば眼鏡等の現実の物体を着用している１人又は複数の個人に対し、そのような物体を仮想的に取り除くことを可能にするものではない。

【発明の概要】

【発明が解決しようとする課題】

【0014】

本発明は、上記で挙げた従来技術の欠点の全て又は一部を改善することを目的とする。

【0015】

本発明の主な目的の１つは、現実の視覚デバイスを着用するユーザが、顔に留まる現実の視覚デバイスを画面上で取り替えることによって、現実の視覚デバイスを顔に付けていない自分自身を鏡のように画面上で見て、仮想物体を試着することを可能にする技法を提案することである。

【0016】

本発明の別の目的は、ユーザにとって現実的である技法を提案することである。

【0017】

本発明の別の目的は、リアルタイムに機能する技法を提案することである。

【0018】

本発明の別の目的は、ユーザが、仮想物体を試着する間、自分の頭部を任意の方向に動かすことを可能にする技法を提案することである。

【0019】

本発明の目的は、画像又はビデオにおいて、物体、特に眼鏡の見える部分を隠すだけではなく、眼鏡からのまぶしい光又はかかる影等、局所的な光の相互作用も隠す技法を提案することでもある。

【課題を解決するための手段】

【0020】

これら及び以下で明らかとなる他の目的は、本発明は、個人が着用するのに適した物体を含む元の画像から最終画像を生成する方法の使用により達成される。

【0021】

物体は、例えば、眼鏡等、顔に着用する視覚デバイス、又は仮想現実、複合現実若しくは拡張現実ヘルメット等、頭部に着用し、フレーム及び表示画面を備える可搬デバイスとすることができる。物体は、スカーフ、帽子、メーキャップ、宝飾品又はヘアスタイル等、個人の頭部に付けられるあらゆる他のアクセサリであってもよい。

【0022】

物体は現実のものであることを強調する。

【0023】

画像は、カメラ、写真装置又は深度カメラとすることができる画像捕捉デバイスを通じて取得する。当業者に周知である深度カメラは、カメラと、対象に対する距離を赤外線により測定する素子とを組み合わせたものである。画像は、単一画像であっても、ビデオとも呼ぶ画像シーケンス内に含まれていてもよい。

【0024】

本発明によれば、画像生成方法は、
ａ）最初の画像において前記物体の存在を検出するステップ；
ａ’）最初の画像上の物体を少なくとも部分的に覆うマスクを展開するステップ；
ｂ）最初の画像上に第１の層を重ねるステップであって、第１の層は、最初の画像内の物体を少なくとも部分的に覆うマスクを含む、ステップ；
ｃ）マスクの少なくとも一部の外観を修正するステップ
を含む。

【0025】

したがって、方法は、検出した物体を、態様を修正したマスクで覆うことによって、この物体の視覚態様の修正を可能にするものである。マスクは、最初の画像内の連続領域又は不連続領域を覆う画素から構成される。マスクは、物体の全体又は一部分を覆うことができる。眼鏡の例では、マスクは、単に、眼鏡のフレーム、フレーム及びレンズの一部、フレーム及びレンズの全体、又はレンズのみを覆うことができる。眼鏡の影もマスクによって覆うことができることを強調する。

【0026】

マスクの外観の修正は、マスクの画素の一部又は全体の色及び／又は不透明度の修正に対応する。

【0027】

本発明の特定の実施形態では、マスクの外観の修正は、最終画像内の物体の全て又は一部のテクスチャを置き替えるステップを含む。

【0028】

したがって、ユーザが、ある色の眼鏡を着用し、別の色の同じ眼鏡をかけている自分自身を見ることが可能である。物体テクスチャは、物体の外部態様の１つの表現である。テクスチャは、例えば、物体の色、様々な多孔質又は透明材料層の存在等、物体の組成に関係付けることができる。テクスチャは、例えば、光沢又は無光沢ワニス層の存在等、物体の仕上げの種類に関係付けることができる。

【0029】

本発明の特定の実装形態では、マスクの外観の修正は、物体の全て又は一部のテクスチャを決定するステップを含み、テクスチャは、最終画像内の物体の全て又は一部を隠すため、物体の背景要素を複製する。

【0030】

したがって、最初の画像内で検出した物体は、最終画像内で自動的に隠される。言い換えれば、最初の画像から最終画像を生成する方法は、画像内の物体を隠す方法である。

【0031】

本発明の特定の実装形態では、マスクは、物体によってかかる影の全て又は一部も覆う。

【0032】

したがって、マスクの外観の修正は、物体によってかかる影を見えなくすることも可能にする。例えば、眼鏡を着用している個人の顔にかかる前記眼鏡の影は、顔から消去することができるため、眼鏡を隠すことの現実性を強化する。

【0033】

本発明の特定の実施形態では、画像生成方法は、
ｄ）第１の層を重ねた最初の画像の上に第２の層を重ねるステップ
も含み、第２の層は、マスクを少なくとも部分的に覆う要素を含む。

【0034】

したがって、第２の層内に含まれる要素は、例えば、眼鏡の片側を覆う頭髪又は物体の一部の前に置かれた手である。様々な層を重ねることにより、最終画像の現実性を保護することを可能にする。

【0035】

本発明の特定の実施形態では、画像生成方法は、ステップｂ）の前に、
－最初の画像を取得する捕捉デバイスに対する物体の向きを決定するステップ；
－最初の画像内の物体の特徴的寸法を決定するステップ
も含む。

【0036】

最初の画像のための捕捉デバイスは、写真センサ及び写真レンズを備え、現実の画像を、写真センサの感応性表面上に収束させることを可能にする。カメラは、少なくとも１つの収束レンズを備える。画像捕捉デバイスは、例えば、カメラ、写真装置又はウェブカムとすることができる。

【0037】

画像捕捉デバイスに対する物体の向きは、捕捉デバイスの基準フレーム内で物体が形成する角度に対応する。この基準フレームは、例えば、１つの軸が物体の光学軸と一致する正規直交フレームとすることができる。言い換えれば、向きを決定する物体は、画像シーケンスに対して追従する。物体の特徴的寸法は、例えば、眼鏡のフレームの幅とすることができる。

【0038】

本発明の特定の実装形態では、画像生成方法は、ステップｂ）の前に、
－物体の３次元モデルを展開するステップ；
－３次元モデルを第１の層上に形状投影することによって、マスクを展開するステップ
も含み、モデルは、第１の層上に、物体と同じ向き及び同じ特徴的寸法を有する。

【0039】

したがって、物体を表すモデルは、物体上に仮想的に重ねられる。

【0040】

物体モデルは、現実の物体の向き及び寸法に従って、歪曲し、平らになっている２次元画像を含み得ることを強調する。物体モデルは、厚さのある又は厚さのない３次元モデルであることもある。モデルの向き及び特徴的寸法は、物体モデルと現実の物体との間の類似度パラメータに対応する。３次元モデルの投影は、マスクをもたらす。マスクは、層の上のモデルの投影結果の全体又は一部を覆うことができる。マスクは、投影よりも広い画像領域を覆い得ることも強調する。

【0041】

本発明の特定の実施形態では、物体モデルの展開は、物体単独の少なくとも１つの画像からもたらす。

【0042】

物体モデルの生成は、例えば、物体を中に収容するボックスを備えるモデル化専用デバイス内で生成することができ、１つ又は複数の捕捉デバイスは、物体に合焦する。例えば眼鏡等の物体の４分の３の視野が、対称平面を表すという条件で、物体モデルの展開は、１つの画像で十分とすることができる。より一般的には、物体モデルの展開は、画像が２つの異なる角度下で物体を示す少なくとも２つの物体画像に基づき、もたらされる。

【0043】

本発明の特定の実装形態では、物体は、個人の顔の上に着用する。

【0044】

本発明の特定の実施形態では、物体モデルの展開は、個人の顔の上に着用した物体の少なくとも１つの画像を使用して行う。

【0045】

したがって、個人は、モデルを生成する間、自分の顔の上に物体を保持することができる。

【0046】

本発明の特定の実施形態では、物体は、顔の両側に延在するフレーム、及び前記フレームに組み付けた少なくとも１つのレンズを備える。

【0047】

したがって、物体は、例えば、眼鏡等の視覚デバイスとすることができる。

【0048】

本発明の特定の実施形態では、画像生成方法は、事前にモデル化し、データベース内に保存したフレームからフレームを識別するステップも含み、マスクは、識別したフレームのモデルに基づき展開する。

【0049】

したがって、第１の層の上に、事前にモデル化し、識別したフレームのモデルを投影することにより、フレームの現実のマスクを生成可能にする。マスクは、第１の層の上へのフレームの投影の全て又は一部を含み得ることを強調する。フレーム内に組み付けたレンズ、又はかかる影に対応する画像領域もマスクに追加することができる。データベースは、フレーム・モデルを保存し得ること、及びフレームは、データベース内に保存したフレームの中で識別されることを強調する。

【0050】

識別は、本方法によって自動的に、又は個人が手作業で行うことができる。手作業の識別は、例えば、眼鏡フレームの内側に製造業者が記載した情報を通じて行うことができる。

【0051】

本発明の特定の実施形態では、フレームの識別は、フレームの外形に調節した支持曲線を生成することによってもたらされる。

【0052】

本発明の特定の実施形態では、フレームの識別は、以下の基準：
－フレームの形状；
－フレームの色（複数可）；
－フレームのテクスチャ（複数可）；
－フレーム上に示されるロゴ
の少なくとも１つに基づく。

【0053】

本発明の特定の実施形態では、画像生成方法は、物体の環境表現を展開するステップも含む。

【0054】

環境は、画像内で物体を取り囲む要素の全て、及び画像内の物体の背景内の要素を含む。表現は、画像及び／又は３次元モデルの形態とすることができる。例えば、顔に着用した眼鏡の場合、環境表現は、眼鏡を着用している顔モデル及び／又は顔の背景に対応する画像を備えることができる。

【0055】

本発明の特定の実施形態では、マスクの外観を修正するステップは、
－中間層を第１の層の上に重ねた環境表現を形状投影するサブステップ；
－マスクの画素付近の中間層の少なくとも１つの画素の色に従って、マスクの画素の新たな色を決定するサブステップ
を含む。

【0056】

したがって、マスクの外観の修正は、最終画像において物体を隠すことを可能にする。環境表現を中間層の上に形状投影することにより、物体のマスクが上に重ねられている画像を生成可能にする。背景画像及び３次元モデルを含む表現の場合、３次元モデルを中間層の上に形状投影すると、背景画像の上に重ねられている画像をもたらす。したがって、中間層は、物体のマスクが上に重ねられている２次元の環境表現を示す。

【0057】

３次元モデルはテクスチャをもつことを強調する。

【0058】

本発明の特定の実施形態では、新たな色の決定は、「ポアソン画像編集」型画像編集方法を実施する。

【0059】

したがって、マスクに適用するテクスチャは、最初の画像に従って比色調節され、最初の画像に溶け込むようにする。特に、マスクの縁部は、最終画像ではもはや見えず、マスクは、この最終画像ではもはや区別することができない。例えば、文献「Ｐｏｉｓｓｏｎ Ｉｍａｇｅ Ｅｄｉｔｉｎｇ」、Ｐ．Ｐｅｒｅｚ及びＭ．Ｇａｎｇｎｅｔ著に記載のこの画像編集技法は、ポアソン方程式を解くものである。

【0060】

本発明の特定の実施形態では、画像生成方法は、環境における顔の存在を検出するステップも含み、環境表現は、検出した顔モデルを含み、顔モデルに対し、顔テクスチャを適用する。

【0061】

顔テクスチャは、モデルに適用される２次元画像である。モデル及びテクスチャは、有利には現実のものであり得ることを強調する。顔の存在の検出は、例えば、こめかみの縁部、鼻若しくはあごの先端部又は目の角等、顔の特徴点を検出することによって行うことができる。

【0062】

本発明の特定の実施形態では、画像生成方法は、捕捉デバイスに対する顔の向きを決定するステップも含み、顔モデルは、本質的に、事前に決定した向きに従って配置する。

【0063】

したがって、顔を表す３次元モデルは、画像が取得した場面に対応する仮想空間内で現実のように向けられる。

【0064】

本発明の特定の実施形態では、顔に着用した物体を少なくとも部分的に覆うマスクは、第１の層の上の顔モデルの形状投影に基づき展開する。

【0065】

したがって、顔に着用した物体を隠すことは、物体モデルの投影に基づくマスクではなく、顔モデルの投影に基づき展開したマスクのために実現される。本発明のこの特定の実施形態は、物体を追跡する必要性をなくすことを強調する。更に、展開したマスクは、物体の寸法を考慮しなくてもよく、この場合、マスクの寸法は、顔の寸法に従って展開する。顔に着用した眼鏡の場合、マスクの寸法は、有利には、既存の眼鏡のモデルの大部分を覆うのに十分なものである。

【0066】

本発明の特定の実施形態では、画像生成方法は、
－個人の顔を照らす少なくとも１つの光源を分析するステップ；
－顔モデルの全て又は一部の色を変換するステップ
も含む。

【0067】

したがって、顔モデルは、実際の場面に対して現実のように照らされる。

【0068】

本発明の特定の実施形態では、画像生成方法は、
－最初の画像から、顔モデルの少なくとも１つの画素の比色変換を推定するステップ；
－顔モデルの全て又は一部に対し比色変換を適用するステップ
も含む。

【0069】

比色変換の推定は、個人の顔を照らす少なくとも１つの光源を分析することによって実施することができる。

【0070】

本発明の特定の実施形態では、顔テクスチャ上の画素の色は、画素付近のパッチの色に基づき、インペインティング方法を通じて決定する。

【0071】

パッチは、連続領域を形成するいくつかの画素に対応する。パッチの形状は、各辺が一般に１から５の画素を含む正方形又は長方形とすることができる。円形状パッチは、ガウス・フィルタを正方形パッチの内部に挿入することによって得ることができる。当業者に周知のインペインティング方法は、特に、眼鏡を着用している個人の顔モデルを生成する場合、顔テクスチャの完成を可能にする。実際、本例では、フレーム又はレンズが顔の一部を隠している。

【0072】

本発明の特定の実装形態では、パッチの位置は、本質的に、欠けている画素を含む領域の外形に対する直交面に位置する。

【0073】

したがって、顔の一部が隠れている場合、顔テクスチャの欠けている画素の色は、欠けている画素付近のパッチに基づき再現され、このパッチは、顔の不明瞭な領域の外形に対する直交面に位置する。

【0074】

本発明の特定の実装形態では、パッチの位置は、本質的に、前記画素の垂直面に位置する。

【0075】

したがって、インペインティング方法は、両側でこめかみの一部を覆う頭髪の垂直領域を含む顔の全体形状を考慮する。

【0076】

本発明の特定の実施形態では、顔テクスチャに対する画素の色は、事前に確立した向きの顔モデルに基づき、インペインティング方法を通じて決定し、顔モデルは、目の表現を含む。

【0077】

本発明の特定の実施形態では、画像生成方法は、顔テクスチャ上に少なくとも１つの目領域を識別するステップも含み、目領域は、検出した顔の１つの目の位置に対応する。

【0078】

顔テクスチャ上で１つの目領域を識別することは、例えば、目の正確な外側及び内側の角等、１つの目の特徴点の位置の識別によってもたらすことができる。

【0079】

本発明の特定の実装形態では、目領域の充填は、検出した顔の目のトポロジ知識を通じて行う。

【0080】

目のトポロジは、湾曲部、虹彩及び眼瞼を含む目の様々な領域を介するパラメトリック表現を含む。

【0081】

したがって、目領域の充填は、虹彩及び瞳孔の位置を考慮するため、より現実的である。虹彩の充填は、虹彩の対応領域において、付近の画素を回復させるインペインティング方法を介して行うことができる。虹彩の対応領域が空の画素又は値に一貫性がない画素を含む場合、可能性としては、他の検出した目の虹彩の色を考慮することによって、標準虹彩トポロジに従って虹彩を再現する。

【0082】

本発明の特定の実施形態では、個人の顔に着用した物体の環境表現に対する展開は、環境内で顔を検出せずにもたらされる。

【0083】

したがって、方法は、個人の顔を検出又は監視せずに使用する。

【0084】

本発明の特定の実施形態では、環境表現の展開は、環境と最初の画像を取得する捕捉デバイスとの間に配置した透明要素によって生じた光学的歪みを修正するサブステップを含む。

【0085】

したがって、例えば、個人の顔に位置する眼鏡の矯正レンズの反射によって生じた顔又は背景の画像の形状歪みを修正する。

【0086】

本発明の特定の実施形態では、画像生成方法は、ビデオを形成する画像シーケンスの全て又は一部に適用する。

【0087】

ビデオは、録画、又は例えばストリーミング・ビデオ放送等のリアルタイム・ストリーミングの形態のそれ自体周知の技法とし得ることを強調する。ビデオは、カメラからのリアルタイム・ストリーミングとすることができ、画面上で瞬時に見ることができる。

【0088】

本発明の特定の実装形態では、環境表現及び／又は物体モデルは、シーケンスの各画像に対し更新する。

【0089】

したがって、シーケンスの多数の画像に基づき更新される表現及び／又はモデルは、漸進的に現実性を表現する。したがって、例えば、眼鏡の背後に位置する顔の一部等、物体により隠れている領域は、個人が頭部の向きを変えた際、顔モデルを含む環境表現において更新することができる。実際、頭部の向きを変えると、最初の画像の捕捉デバイスは、新たな視野角の下で顔の画像を撮影し、これにより、顔認識を向上させる。

【0090】

本発明の特定の実施形態では、環境表現及び／又は物体モデルは、複数の異なる視野角に従って取得した複数の最初の画像に基づき更新する。

【0091】

複数の異なる視野角に従って撮った最初の画像は、異なる角度に従って合焦した１つ又は複数の画像取得デバイスを用いて取得することができる。

【0092】

本発明の特定の実施形態では、最終画像の生成は、最初の画像からリアルタイムでもたらされる。

【0093】

したがって、捕捉画像処理は、短い、保証された時間で行われる。個人の捕捉画像の処理時間は、特に、個人に目に見える遅延を伴わずに、個人の処理画像を表示可能にする。処理時間は、１０分の１秒未満である。処理時間は、好ましくは、必ずしもそうではないが、２つの画像の間の表示時間未満であり、通常、２５分の１秒に等しい。言い換えれば、リアルタイムの処理は、カメラからのビデオ・ストリームを画面上に瞬時に表示することを可能にし、このストリーム画像は、人間の目では知覚されないほどの十分に短い時間で処理を既に受けている。

【0094】

本発明は、可搬デバイスを顔の上に着用している個人が使用することを意図する拡張現実方法にも関し、方法は、
－可搬デバイスを顔の上に着用している個人のビデオをリアルタイムで取得するステップ；
－ビデオをリアルタイムで表示するステップ
を含み、可搬デバイスの外観は、画像生成方法によって完全又は部分的に修正される。

【0095】

したがって、画像生成方法を通じて、個人は、画面上で、可搬デバイスを自分の顔に着用していない自分自身を直接見ることができる。可搬デバイスは、一般に、頭部に着用することができるフレームを含む。可搬デバイスは、少なくとも１つのガラス及び／又は少なくとも１つの表示器も含むことができる。１つのフレームのみを有する可搬デバイスの場合、フレームを、目及び眉を覆わないように好都合に構成することができる。可搬デバイスは、視覚デバイスであってもよいことを強調する。この拡張現実方法は、特に、矯正眼鏡を着用している個人が、同じ眼鏡ではあるが異なる色及び／又はテクスチャを有する眼鏡をかけている自分自身を画面上で見ることを可能にする。

【0096】

有利には、可搬デバイスは、リアルタイムで表示されるビデオ内に完全又は部分的に隠される。

【0097】

したがって、眼鏡を着用している個人は、眼鏡をかけていない自分自身を画面上で見ることができる。

【0098】

本発明の特定の実施形態では、可搬デバイスは、視覚デバイスであり、視覚デバイスは、フレーム、及び可搬デバイスを顔に着用している個人の視力に適合する矯正レンズを備える。

【0099】

言い換えれば、個人が着用する可搬デバイスは、個人の視力に適合する矯正レンズを含む。

【0100】

本発明の特定の実施形態では、可搬デバイスを着用する個人は、仮想物体を試着し、仮想物体は、ビデオ内で部分的又は全体的に隠れる可搬デバイスの上に少なくとも部分的に重ねられる。

【0101】

したがって、矯正眼鏡を着用しているユーザは、矯正眼鏡を保持したまま、新たな眼鏡を仮想的に試着することができ、ユーザが視覚の快適さを維持することを可能にする。

【0102】

本発明の特定の実施形態では、拡張現実方法は、可搬デバイスを顔に着用していない個人の少なくとも１つの画像に基づき、個人の顔モデルを初期化するステップを含む。

【0103】

したがって、個人は、事前に可搬デバイスを顔から外して顔モデルを生成し、特定の時間の後、可搬デバイスを戻す。個人の画像の取得は、１つ又は複数の画像捕捉デバイスを介して行うことができる。個人は、頭部を動かすことができ、顔モデルの生成は、様々な視野角下で捕捉した顔の複数の画像に基づき行われる。

【0104】

本発明の特定の実施形態では、拡張現実方法は、可搬デバイスを着用している個人の複数の画像に基づき、個人の顔モデルを初期化するステップを含み、画像は、様々な視野角の顔に対応する。

【0105】

したがって、顔モデル生成は、ユーザが可搬デバイスを顔から取り外す必要なく、もたらされる。

【0106】

本発明の特定の実装形態では、拡張現実方法は、専用モデル化デバイス内で捕捉した可搬デバイスの少なくとも１つの画像に基づき、前記可搬デバイスのモデルを初期化するステップを含む。

【0107】

本発明の別の特定の実施形態では、拡張現実方法は、可搬デバイスを着用している個人の少なくとも１つの画像に基づき、可搬デバイスのモデルを初期化するステップを含む。

【0108】

本発明は、視覚デバイスを着用している個人による仮想物体の試着を可能にする拡張現実デバイスにも関し、仮想物体は、視覚デバイスを少なくとも部分的に覆い、試着デバイスは、
－個人のビデオを捕捉する少なくとも１つのカメラ；
－捕捉したビデオのための処理ユニットであって、画像生成方法を通じて、ビデオ画像の大部分又は全てにおいて視覚デバイスを少なくとも部分的に隠す処理ユニット；
－処理された個人のビデオを表示する少なくとも１つの画面
を備える。

【0109】

本発明の特定の実施形態では、画面は、垂直であり、カメラは、それに応じて画面の平面に配置される。

【0110】

したがって、この特定の構成は、カメラに面して着座又は起立している個人が、自分自身をライブで、鏡のように見ることを可能にする。

【0111】

本発明の特定の実施形態では、仮想物体の試着デバイスは、２つのカメラを備え、２つのカメラは、画面の縁部に対し平行に、３０から５０センチメートルの間に含まれる距離で離間する。

【0112】

したがって、個人は、一般に、画面から２５センチメートルから１メートルの間に含まれる距離で置かれ、画面に触れることができるようにし、カメラの間の距離は、２枚の顔のショットを得るのに最適なものであり、顔のモデル及びテクスチャを現実のように再構成することを可能にする。

【0113】

本発明の特定の実施形態では、仮想物体の試着デバイスは、第３のカメラを更に備え、第３のカメラは、本質的に、２つの第１のカメラの間の中央軸に置かれる。

【0114】

したがって、第３のカメラは、個人の正面の画像を得ることを可能にし、この画像は、画面上に表示される。２つの第１のカメラは、顔及びユーザが着用している眼鏡の現実的なモデル化の向上を可能にする。

【0115】

本発明の特定の実施形態では、画面は、タッチ感応性である。

【0116】

したがって、ユーザは、試着する仮想物体を選択することができる。仮想物体は、視覚眼鏡又はサングラス等の視覚デバイス、顔のアクセサリ又はメーキャップとすることができる。

【0117】

本発明の特定の実施形態では、捕捉、修正したビデオの表示は、リアルタイムで行われる。

【0118】

言い換えれば、デバイスは、拡張現実デバイスであり、ユーザは、仮想物体を試着し、リアルタイムで自分自身を画面上で見ることができる。

【0119】

本発明の特定の実施形態では、仮想物体の試着デバイスは、視覚デバイスの３次元モデル捕捉デバイスを備える。

【0120】

本発明の他の利点、目的及び特定の特徴は、添付の図面を参照する、本発明の主題である方法及びデバイスの少なくとも１つの特定の実施形態に対する以下の非限定説明から明らかになるであろう。

【図面の簡単な説明】

【0121】

【図1】現実の視覚デバイスを着用している個人による仮想物体の試着を可能にする拡張現実デバイスの一実施形態の図である。

【図2】最初の画像に基づき最終画像を生成する方法の一実施形態のブロック図である。

【図3】図２で参照した画像生成方法のステップの概略図である。

【図4】５つの形態の目のモデルの図である。 ４ａは、目のモデルの斜視図である。 ４ｂは、眼球モデルの側面図である。 ４ｃは、目のモデルの正面図である。 ４ｄは、眼瞼の湾曲部を含む眼球モデルの側面図である。 ４ｅは、虹彩の動きを示す眼のモデルの正面図である。

【図5】現実の顔から捕捉したテクスチャの一例の図である。

【図6】図２で参照した画像生成方法の間に生成したマスクの図である。

【図7】現実の視覚デバイスを着用している個人による仮想物体の試着を可能にする拡張現実デバイスの別の実施形態の図である。

【図8】最初の画像に基づき最終画像を生成する方法の別の実施形態の概略図である。

【図9】現実の視覚デバイスを着用している個人が使用する拡張現実デバイスの別の実施形態の図である。

【図10】本発明の実施形態の例で使用する眼鏡の図である。

【図11】眼鏡を顔に着用している個人のビデオを表示する画面の図である。

【図12】眼鏡が隠されている、図１１で参照したビデオを表示する画面の図である。

【発明を実施するための形態】

【0122】

本明細書は、限定せずに示し、一実施形態のそれぞれの特徴は、任意の他の実施形態の任意の他の特徴と有利な様式で組み合わせることができる。

【0123】

図面は一定の縮尺でないことを記す。

【0124】

本発明の実施形態例に対する予備的な説明
図１０は、眼鏡１１１を表し、眼鏡１１１は、硬質フレーム１１２、及びフレーム１１２内に組み付けた２つの矯正レンズ１１３を含む。フレーム１１２は、中央平面ＡＡに対し対称であり、面１１２ｂ、及び面１１２ｂの両側に側方に延在する２つのつる１１７を備える。

【0125】

面１１２ｂは、レンズ１１３を取り囲む２つの縁１１４、縁１１４の間の間隔を保証するブリッジ１１５、及び２つのピン１１９を備える。２つのパッド１１６はそれぞれ、縁１１４に取り付けられ、個人の鼻の両側に位置することを目的とする。

【0126】

２つのつる１１７はそれぞれ、ヒンジ１１８を通して面１１２ｂのピン１１９に取り付けられ、こうしてフレーム１１１をヒンジ留め可能にする。フレーム１１２の開位置において、面１１２ｂは、つる１１７の軸が形成する平面の直交平面に対して５°から１０°の間に含まれる角度で傾斜する。この角度は、本質的に、眼鏡１１１の広角度と併合される、即ち、面１１２ｂの角度は、眼鏡１１１が、頭部を傾けずに離れたところを見ている個人の鼻の上に置かれ、つる１１７の平面が水平である間、垂直を有する。各つる１１７は、個人の耳の上に位置することを目的とするつる先端部１１７ｂで終端する。したがって、フレーム１１２は、眼鏡１１１を着用している個人の顔の両側に側方に延在する。

【0127】

本発明の以下の２つの実施形態例で使用する眼鏡１１１は、本発明の方法の主題によって画像又は画像シーケンス内に隠される現実の物体の制限的な例ではないことを強調する。

【0128】

本発明の特定の実施形態例
図１は、眼鏡１１１を顔に着用している個人１２０によって仮想物体１１０を試着するデバイス１００を示す。

【0129】

本発明の非制限例において、個人１２０は、中程度の近視であることを強調する。したがって、任意の矯正眼鏡を着用していない個人１２０の視認度は、約２０センチメートルである。

【0130】

デバイス１００は、支持体１３１上に垂直に固定したタッチ・スクリーン１３０、画面１３０の上の中央に置かれるカメラ１３２、２つの周辺カメラ１３３、及び処理ユニット１３４を備える。

【0131】

この実施形態の一変形形態では、デバイス１００は、深度センサを更に備え、深度センサは、赤外線を介してカメラに対する要素の距離を測定する。深度センサは、赤外線投射器及び赤外線波長内の光センサを備えることができる。光センサは、投射器の直ぐ近傍にあり、画像点の深度により、センサに対する各画像点の距離を示す深度マップの推測を可能にする。

【0132】

本発明のこの特定の実施形態の別の変形形態では、デバイス１００は、走査器又は二重センサも備え、個人１２０の顔モデル全体の取得を可能にする。

【0133】

個人１２０が画面１３０に対面している間、個人１２０は、カメラ１３２がリアルタイムで捕捉した自分の顔１２１の画像を正面から見る。

【0134】

タッチ・スクリーン１３０に触れることができるように、個人１２０は、画面１３０に対し腕の長さの距離で立つ。個人１２０とタッチ・スクリーン１３０との間の距離は、６０から１２０センチメートルの間に含まれる。個人１２０は、画面１３０をはっきりと見るため、眼鏡１１１を着用する。

【0135】

２つの周辺カメラ１３３は、画面１３０の上縁部に沿って平行軌道１３５上に、カメラ１３２の両側に対称的に固定する。２つの周辺カメラ１３３の間の距離は、３０から５０センチメートルの間に含まれる。本例では、２つのカメラ１３３の間の空間は、４０センチメートルに等しく、視野角が法線から約２０度ずれた状態で個人１２０の顔１２１の画像を取得することを可能にする。

【0136】

処理ユニット１３４は、カメラ１３２の捕捉したシーケンスのそれぞれの最初の画像に基づき個人１２０の顔１２１の最終画像を生成し、最終画像では、眼鏡１１１は隠されている。言い換えれば、眼鏡１１１を、画面１３０上に顔１２１をリアルタイムに表示する際、見えなくする。

【0137】

この目的で、カメラ１３２が取得する場面の仮想表現を生成する。この仮想表現は、個人１２０の顔モデルを含む環境表現上に配置される眼鏡１１１の３次元モデルを含む。眼鏡１１１モデル及び環境表現モデルの投影により、マスクの生成を可能にし、マスクは、カメラ１３２の取得したシーケンスの各画像において、現実の眼鏡の上に重ねられる。

【0138】

仮想表現に関し、仮想カメラは、同じ角度及び同じ倍率を有するカメラ１３２に代わることに留意されたい。言い換えれば、仮想カメラの光学特性は、カメラ１３２の光学特性と同一である。

【0139】

したがって、図２に示すように、処理ユニット１３４は、画像生成方法３００に従って、カメラ１３２の取得したシーケンス２００の各画像２２０に基づき新たな画像２１０を生成する。

【0140】

図３は、生成方法３００を概略図の形態で示す。

【0141】

第１のステップ３１０において、生成方法３００は、初期画像２２０内で眼鏡１１１の存在を検出する。

【0142】

生成方法３００は、第２のステップ３２０において、カメラ１３２に対する眼鏡１１１の向きを決定する。

【0143】

生成方法３００は、ステップ３３０において、最初の画像２２０における眼鏡１１１の特徴的寸法を決定する。

【0144】

特徴的寸法は、本発明の非制限例では、フレーム１１２の幅に等しい。

【0145】

生成方法３００は、ステップ３４０において、カメラ１３２が捕捉した現実の空間を表す仮想空間内に眼鏡１１１の３次元モデルを精巧に作る。

【0146】

眼鏡１１１モデルの展開ステップ３４０は、事前にモデル化し、処理ユニット１３４に連結したデータベース内に保存した眼鏡から眼鏡１１１を識別するという第１のサブステップ３４１を含む。この識別は、眼鏡及び要素に付けられたフレームマーキング（ｆｒａｍｅｍａｒｋｉｎｇ）と呼ばれる眼鏡及び要素に対する基準知識によって行うことができる。

【0147】

眼鏡１１１の識別は、ユーザが着用する眼鏡の画像に基づく自動認識によって、又は例えばライトボックス等、眼鏡単独の画像を捕捉する専用のデバイス内で行うこともできる。この目的で、自動識別は、例えば眼鏡１１１の外形に適合する支持曲線を生成することによって３Ｄ物体の外観を索引付けして視覚的に認識する方法内で使用され、この方法は当業者に周知である。

【0148】

眼鏡の視覚的認識は、
－眼鏡の形状；
－眼鏡の色（複数可）；
－眼鏡のテクスチャ；
－眼鏡上の目立つ特徴又はロゴの存在
の基準に基づき行い得ることを強調する。

【0149】

サブステップ３４１が、眼鏡を識別する正の結果をもたらすケースでは、サブステップ３４２を通して、眼鏡１１１のモデルをデータベースから抽出する。

【0150】

眼鏡１１１がデータベースのいずれの眼鏡とも一致しない反対のケースでは、サブステップ３４３の間、カメラ１３２の捕捉したシーケンス２００からの画像に基づき、及び最終的には、データベースの探索ステップの間に決定した形状の最も近いモデルを表すパラメータに基づき、眼鏡１１１の３Ｄモデルを精巧に作る。

【0151】

シーケンス２００の画像は、眼鏡１１１を顔に着用している個人１２０を示すことを強調する。したがって、眼鏡１１１のモデルの展開は、中央カメラ１３２及び周辺カメラ１３３の捕捉した画像に基づきリアルタイムで生成される。個人１２０の頭部が傾いている及び／又は向きを変えた場合、カメラは、新たな視野角から画像を捕捉する。眼鏡１１１のモデルは、特に、画像が、個人１２０に対する異なる角度からの視野を示す場合、各画像内で更新される。

【0152】

サブステップ３４３の間に生成した眼鏡１１１のモデルは、第１のステップにおいて、眼鏡１１１の面１１２ｂの形状モデル及び眼鏡１１１のつる１１７のモデルを形成することによって構成される。眼鏡が対称ではない場合、各つるのモデルを生成することを強調する。

【0153】

本発明のこの特定の実施形態の一変形形態では、面１１２ｂの形状モデルは、パッド１１６も含む。

【0154】

眼鏡１１１の面１１２ｂのモデル及びつる１１７のモデルを生成するために、眼鏡の骨格を使用する。骨格は、眼鏡のトポロジの種類をグループ化したデータベースから抽出される。眼鏡のトポロジの種類により、眼鏡の形状に従った眼鏡の分類を可能にする。トポロジは、
－縁の種類：完全な縁、上半分の縁、下半分の縁、縁なし；
－縁の形状：丸形、楕円形、長方形；
－ピンの形状；
－２つのレンズを接続するブリッジ又は棒材、このブリッジ及び／又は棒材は、１本であっても複数であってもよい；
－２本のつる；
－上記要素のそれぞれの特徴、例えば、つるの穴の存在、縁の間の非対称性、フレーム上の延長部等を区別する知識
によって規定される。

【0155】

厚さは、眼鏡１１１を取り囲む閉鎖３Ｄ包絡線を生成することによって、眼鏡の骨格の周囲で決定される。

【0156】

３Ｄ包絡線の生成は、以下の３つのサブステップ：
－骨格の直交平面における支持曲線の生成。これらの支持曲線は、フレーム１１２の断面に対応する；
－支持曲線と接触する３Ｄ包絡線の生成；
－３Ｄ包絡線内部における格子の生成
においてもたらされる。

【0157】

３Ｄ包絡線の生成を可能にする支持曲線は、手作業で又は統計的に計算した事前知識から生成されることを強調する。支持曲線の初期化は、一般に、眼鏡１１１を自動的に識別しようとする視覚的認識ステップの間に行われる。支持曲線は、顔の上に着用した眼鏡１１１の画像に基づき、又は専用モデル化デバイス（図１には示さない）によって無彩色背景上で捕捉した眼鏡１１１の画像に基づき生成される。

【0158】

眼鏡１１１を顔に着用している個人１２０の画像に基づき眼鏡１１１のモデルを生成した後、次に、ステップ３５０の間、眼鏡１１１のモデルは、現実の眼鏡１１１と同じように再度較正する。したがって、眼鏡１１１のモデルは、画像において、現実の眼鏡１１１とカメラ１３２に対する同じ向き及び同じ特徴的寸法を有する。

【0159】

言い換えれば、眼鏡１１１のモデルは、仮想空間内に配置され、仮想カメラの位置に従って向けられ、実際の眼鏡１１１の寸法に従って構成される。したがって、ある倍率を眼鏡１１１のモデルに適用することができる。眼鏡１１１のモデル・ポーズ・パラメータは、Ｐｅ_Mgと表記される。

【0160】

ステップ３５５の間、生成方法は、眼鏡１１１を付けていない顔を表すアバタの３次元形状モデルＭ_aを生成する。眼鏡１１１を付けていない顔テクスチャＴ_aNGもステップ３５５の間に生成する。形状モデルＭ_aは、以下で説明する顔モデルの展開方法による形態及び式で構成される。

【0161】

アバタの展開方法は、画像内で顔を検出し、検出した顔の顔分析をする第１のステップを含む。顔の検出は、本発明の非限定例において、ＦＲ２９５５４０９等において説明されるＶｉｏｌａ－Ｊｏｎｅｓ法によってもたらされる。

【0162】

特徴整合アルゴリズムは、顔展開方法の第２のサブステップの間、顔に特定の特徴を発見するために使用される。この目的で、当業者に周知の特徴検出機構を使用し、顔の内部特徴をかなり確実に発見することができる。

【0163】

この場合、欧州特許出願ＥＰ２６７８８０４に記載のＨＰＡＡＭ特徴整合アルゴリズムは、画像内の顕著な３Ｄ特徴の投影に対し、正確な位置特定を可能にする。密集環境内で位置の誤差を生じさせる既存の技法に反して、ＨＰＡＡＭは、耳の先端部等、顔の外形に位置する特徴に対し特に安定している。ＨＰＡＡＭアルゴリズムが知識構成段階で使用する技法であると仮定すると、３Ｄ整合をもたらす所定点の使用は、特に、包括的顔分析技法のロバストネス及び有効性が懸念される場合、技法の成功に影響を及ぼす。概して、この関係は、５つの点を手作業で規定する３ＤＭＭ調節方式の開始点等、３Ｄ顔分析技法の少数の点に特定のものである。

【0164】

この顔検出ステップは、眼鏡１１１がもたらす顔への妨害に対しロバストであることを強調する。

【0165】

アバタ展開方法の第２のステップは、顔モデル・パラメータθ_modelの推定に関係し、顔モデル・パラメータθ_modelは、
－顔モデルの外的パラメータＰｅ_Ma、即ち、顔の位置及び向きである顔ポーズ・パラメータ；
－顔の内的パラメータＰｉ_Ma、即ち、顔の３Ｄ形態；及び最後に、
－顔表現モデル
を含み、外的パラメータ（変換Ｔ_SE）及び目構成パラメータは、追跡の間、各画像で再度推定される。

【0166】

顔モデル・パラメータθ_modelは、人間の顔の形態に対する統計的形状モデルを使用して推定される。この目的で、例えば、２００３年発行のＢｌａｎｚ及びＶｅｔｔｅｒによる文献、表題「Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｆｉｔｔｉｎｇ ａ ３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ」に記載のデータベース等の顔データベースを使用する。

【0167】

顔モデル・パラメータθ_model及び仮想カメラ・パラメータθ_camの１つの推定は、特徴検出段階で発見された特徴の使用によって、及び画像の外形を動的に調節することによってもたらされる。

【0168】

カメラの内的及び外的パラメータθ_cam並びに顔モデルの内的及び外的パラメータθ_modelを推定するため、画像内で発見された顔の特徴ｆ_i,i=1..nと顔パラメトリック上に規定される３Ｄセマンティック点の投影Ｐｒｏｊ（_Xs(i)）との間の距離の最小化、及び顔のパラメトリック外形の投影と画像の関連縁部との間の距離の最小化の両方を行う。

【0169】

関数Ｐｒｏｊ（Ｘ）は、当業者に周知のピンホール型カメラモデルを考慮することによって、例えば、顔又は眼鏡等の３Ｄ場面を、層又は平面画像に投影変換することを表し、これにより、遠近分割の生成を可能にする。したがって、関数Ｐｒｏｊ（Ｘ）は、Ｋ行列内に含まれるカメラの固有のパラメータ及び形状ＲＸ＋Ｔの剛体変換を考慮することによって、場面の３Ｄ点Ｘ＝（ｘ，ｙ，ｚ）と、層点（ｕ，ｖ）というユークリッド空間との間の切替えを可能にし、但し、Ｒは回転行列３×３であり、Ｔは変換３×１である。必要な場合、この投影をＰｒｏｊ（Ｘ；Ｋ，Ｒ，Ｔ）と記す。顔のパラメトリック外形の投影は、法線が観察方向に直交する顔モデル点の投影に対応することを強調する。

【0170】

この目的で、現在の標本点における外形の直交方向の標本化を行い、複数の理由、即ち、３Ｄ物体の追跡で使用する他の整合技法との数の有効性、安定性及び適合性のため、外形の標本化を可能にする。この目的で、最小化の各反復について、顔モデル点Ｘ_jの部分集合を含む計算Ｃ（θ_cam，θ_model）を行い、法線ｎ_jは、軸投影で直交し、画像の外形に関連する点は、ｃｏｎｔｊ＝ＰｒｏｊＣｏｎｔｏｕｒ（Ｘ_j，ｎ_j）であり、ＰｒｏｊＣｏｎｔｏｕｒは、点Ｘ_jを投影し、複数の仮定のうち、法線投影に沿ってより良好な外形を探索する関数である。これらの仮定は、局所的に計算される。というのは、縁部は、法線方向に沿って計算され、信号振幅に追従し、これにより、対象の顔の全部のスケールに従って正確で一定の縁部の検出をもたらすためである。この方法は、以下の標準方法によって求められる。

【0171】

例えば、費用関数は、チューキーのロバスト重み関数によって使用されるもの等、Ｍ推定量型手法の使用により実施することができる。代替的に、複数の仮定に対して外形の法線方向に沿って最も近い点の剰余の計算を行うことができる。

【0172】

最終的に、解くべき式は、

【0173】

【数1】

【0174】

であり、式中、

【0175】

【数2】

【0176】

は、ユークリッド距離を表し、γは、費用関数の２つの部分、即ち、外形又は特徴のいずれか１つに対しより多くの重要度を置くことを可能にするパラメータである。この式は、当業者に周知の従来の勾配降下技法を使用して解くことができる。

【0177】

この推定技法の主な利点は、この画像シーケンス２００内のように複数の画像を利用可能である一方で、セマンティック２Ｄ／３Ｄ一致制約条件を緩和する多数の画像分析アルゴリズムに拡張され、全ての推定パラメータを洗練可能にすることである。この技法を使用し、画像の全てに対し最良に調節された形態を発見することができる。

【0178】

顔の走査を３Ｄで行う場合、特に、例えば赤外線センサ又はＲＧＢ－Ｄ型（「赤－緑－青－深度」の頭文字）深度カメラを通じた３Ｄデータの生成は、３Ｄ／３Ｄ制約条件が追加されることを強調する。したがって、各顔モデル点

【0179】

【数3】

【0180】

に対し、顔モデル点

【0181】

【数4】

【0182】

と走査データに最も近い３Ｄ点

【0183】

【数5】

【0184】

との間の距離を最小化するように探索する。したがって、式（１）に項：

【0185】

【数6】

【0186】

の最小化を追加することができる。

【0187】

アバタ展開方法の第３のステップは、顔の３Ｄ表現の追加に関係する。

【0188】

この表現は、特定の変動性を顔モデルに追加し、これらの除外は、ポーズ・パラメータ及び顔形態のより安定で正確な推定を可能にする。

【0189】

通例、格子のパラメトリック変動の生成に使用される１つの手法は、混合形状の使用から構成される、即ち、形状モデル・アンサンブルは、線形結合し、一意のインスタンスを生成する。こうした格子形状の計算に一般に使用される技法は、［Ａ ３Ｄ Ｆａｃｅ Ｍｏｄｅｌ ｆｏｒ Ｐｏｓｅ ａｎｄ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｉｎｖａｒｉａｎｔ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ、Ｐａｙｓａｎ等、２００９年］に記載のように、格子形状を統計的に推測することから構成される。

【0190】

モデルは、以下の形状
ｇ（α）＝ｇ_m＋α×Ｖ，，
を示し、式中、ｇ（α）は、新たな形状を表すベクトルであり、ｇ（α）＝（ｘ₁，ｙ₁，ｚ₁，・・・，ｘ_n，ｙ_n，ｚ_n）_Tと記述され、（ｘ_i，ｙ_i，ｚ_i)は、ｉ番目のピークであり、ｇ_mは、平均３Ｄ形状であり、αは、ユーザに属する適合パラメータを含むベクトルであり、Ｖは、統計式データベースを含む行列である。一般的な様式では、統計式データベースは、表現の変化に関わらず、識別情報の変動のみを含み、個別のコマンド・パラメータに対する良好な能力を保証する。

【0191】

とはいえ、表現は、有利には、リアルタイムでの計算のためモデルに追加される。

【0192】

３Ｄモデルは、ｇ（α，β）＝ｇｍ＋αＶ＋βＡに従って変形させることができるワイヤーフレーム・モデルであり、式中、βは、アニメーション・パラメータを含むベクトルであり、Ａは、アニメーション単位を含む行列である。［ＣＡＮＤＩＤＥ－３－Ａｎ Ｕｐｄａｔｅｄ Ｐａｒａｍｅｔｅｒｉｓｅｄ Ｆａｃｅ，Ａｈｌｂｅｒｇ，ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ、２００１年］等に示されるように、アニメーション行列単位は、３Ｄ内で追跡する点が表現の変動を表すことを保証可能にする。

【0193】

このパラメータ分離は、従来のモデル化よりも強力であるのみならず、リアルタイムでの計算も単純化する。３Ｄポーズ・パラメータの全てを管理するのではなく、追跡工程の間、顔及び表現の識別は、各フレームに修正され、一定の識別パラメータは、顔分析段階に基づき提供される。３Ｄポーズ・パラメータ及び少数の表現変動パラメータのみを各画像で推定する。

【0194】

推定は、変形可能な形態でモデル・パラメータを完成し、

【0195】

【数7】

【0196】

の解に基づき実施され、式中、Ｒは、３Ｄ回転行列であり、Ｔは、３Ｄ変換であり、Ｋは、固有のカメラ・パラメータであり、αは、顔分析段階の間固定され、ｐ２Ｄは、３Ｄ内で追跡した画像点の現在の位置である。

【0197】

顔モデルは、目モデルを含み、目モデルは、顔モデル・フレームと目モデル・フレームとの間の剛体変換Ｔ_SEによって接続される。

【0198】

図４に示すように、２つの目４０１は、ＰＳとして示す２つの回転中心４０２によって表し、Ｓ∈｛Ｒ，Ｌ｝は、右側（Ｓ＝Ｒ）又は左側（Ｓ＝Ｌ）のいずれかに対応する。２つの回転中心４０２は、距離ｐｄＳ，Ｓ∈｛Ｒ，Ｌ｝による目系統フレームＳＥに関連する。各目４０１は、角度ｒｘｅ，ｒｙｅＳ，Ｓ∈｛Ｒ，Ｌ｝によって目系統フレームに対して向けられ、角度ｒｘｅ，ｒｙｅＳ，Ｓ∈｛Ｒ，Ｌ｝は、ｘ軸及びｙ軸回りのそれぞれの回転角度である。回転中心４０２は、虹彩を表す半径ｈｄｉの板４０３の中心から距離ｄｒにある。板４０３は、３つの順の３つのベジエ曲線４１０から構成される要素内に含まれ、図４ｃに表すように、同じ開始・終了制御点、ｐＥｏ、ｐＥｉを有する。目の縁部の曲線は、顔の格子上に３Ｄで表すことができる。点ｐＥｏ、ｐＥｉは、目の縁部の曲線の交点にあること、及び変位する曲線は、パラメータｄｐＥＬｖによってパラメータ化されることが重要であり、眼瞼曲線４１０₃がより高い曲線４１０₁の値とより低い曲線４１０₂の値との間に及ぶことを可能にする。この１次元パラメータは、空間内で規定した曲線に従って、眼瞼曲線４１０₃の３Ｄ進路に影響を及ぼすことができる。

【0199】

曲線４１０₁及び４１０₂は、それぞれ点ｐＥｕＬ及びｐＥｕＲ並びに点ｐＥｄＬ及びｐＥｄＲを含む制御点によって制御されることを強調する。

【0200】

眼瞼曲線４１０₃の３Ｄ進路は、特定の目フレームのｘ軸の回りの回転ｒｘＥＬによって与えられる眼瞼位置ｄｐＥＬｙ（ｔ）の変位に従って、構成可能形態モデルの変形モデル内で表すことができ、ｔは、０と１との間に含まれ、眼瞼曲線４１０₃上の点位置を構成することを可能にする。

【0201】

ｔが０．５に等しい場合、眼瞼曲線４１０₃の点は、中央点に対応することを強調する。この点において、点ｄｐＥＬｙ（ｔ＝０．５）は、本質的に半径板ｄｒに移動する。本発明者等は、ｄｐＥＬｙの左目Ｌ及び右目Ｒの構成を区別しており、これにより、片方の眼瞼の閉鎖をモデル化することを可能にする。これは、かなりの大部分のケースでは、左目及び右目の変位が同じである目の垂直回転パラメータｒｘｅとは反対である。

【0202】

式Ｔ_SEは、点ＰＬ及びＰＲ回りに回転する目の虹彩板が、眼瞼曲線に接触していることを可能にする。

【0203】

顔を検出した画像２２０に基づき、ポーズの固有のパラメータＰｅ_Ma0及び顔の固有のパラメータＰｉ_Ma0のため、パラメータＴ_SE、ｒｘＥＬ、ｒｘｅ、｛ｐｄＳ，ｒｙｅＳ｝；Ｓ∈｛Ｒ，Ｌ｝は、各画像に対する顔に対するモデルのポーズの瞬間に推測される。顔フレームにおける目系統ＳＥの配置パラメータＴ_SE、並びに瞳孔間距離パラメータｐｄＲ及びｐｄＬは、ユーザの形態に属するとみなされ、一度安定したら再計算する必要がない。これらのパラメータは、画像内のモデルの再現に関係して、又は捕捉画像の全てに基づき解くことができる。瞳孔間距離のパラメータを解くことは、例えば、特許ＦＲ２９７１８７３に記載されている。

【0204】

パラメータ・アンサンブルＴ_SE、ｒｘＥＬ、ｒｘｅ、｛ｐｄＳ，ｒｙｅＳ｝；Ｓ∈｛Ｒ，Ｌ｝の解像度は、１つ又は複数の捕捉画像を考慮する以下の要素に基づく：
－モデルの投影と画像との間の差を考慮する場合：Ｌｕｃａｓ－Ｋａｎａｄｅ方法を通じて、顔の合成外観と画像との差を最小化する勾配下降方法によって、
－外形画像における虹彩Ｃ_I及び眼瞼曲線の整合を考慮する場合：外形の間の距離を最小化することによって。この外形間の距離最小化を解くために、標準外形上に位置する相同点を考慮する。曲線はパラメトリックであり、
・円である虹彩曲線に対する角度パラメータθ，θ∈［０，２π］；
・３つの順のベジエ曲線である眼瞼曲線の評価パラメータｓ，ｓ∈［０，１］
とのサンプル化が容易である。

【0205】

固有のパラメータＰｉ_Ma0のポーズＰｅ_Ma0に投影したモデルのサンプル化点Ｃ_Iθi及びＣ_Esiと、Ｃａｎｎｙ又はＳｏｂｅｌ型の従来の演算子により得た顔の外形画像Ｉ_C0との間の差を測定する。

【0206】

サンプル化点と外形画像との間の差は、前に説明した標準方法による調査によっても決定し得ることを強調する。

【0207】

投影した外形のモデル距離マップを生成することによってポーズ・パラメータを解き、この計算用マップ内に画像外形点を投影することも可能である。

【0208】

２つの種類の解くべき式は、以下の式である：
ａ）目系統を解く、画像差に対応する式：

【0209】

【数8】

【0210】

式中、Ｋは、カメラ固有パラメータの行列Ｉであり、（ｆ_projTＭ_a,SE）は、アバタ・モデル及び目系統の投影によって生成した画像であり、眼瞼の閉鎖又はモデルのポーズによる自動的な掩蔽による目系統ＳＥの掩蔽を考慮することによって行う。画像生成は、既知のテクスチャを仮定する。したがって、初期化の間、能動外観モデル型を使用するテクスチャに対する学習パラメータの計算を追加する。初期化の際、場面の特定のテクスチャを使用するものとする。外形差は、有利には、データの性能及び単純化の理由で、初期化で使用されることを強調する。
ｂ）目系統の解像度のための外形差の式

【0211】

【数9】

【0212】

式中、画像点Ｉ_C0の全ては、投影したＣ_I又はＣ_Eを考慮する曲線に対する勾配の法線に沿って、パラメータ値θ及びｓに関連する曲線点のために選択される。

【0213】

本発明の特定の実施形態の一変形形態では、関数ＰｒｏｊＣｏｎｔｏｕｒは、目の最小化にも使用される。

【0214】

最初の初期化において式系統をロバストにするため、以下の標準値を使用することに留意されたい：
－初期化のため、ｈｄｉ＝６．５ｍｍ、ｄｒ＝１０．５ｍｍ、
－同様に制約条件のため、ｐｄＲ＝ｐｄＬ、ｒｙｅＲ＝ｒｙｅＬ。
－有意な知識アンサンブル上での０度の顔の平均統計回転値に関する回転値のため、回転値ｒｘｅ₀＝０。このことは、目系統パラメータの解像度の制約を可能にする。

【0215】

次に、パラメータ更新の間、これらの値を再計算する。

【0216】

２つの較正画像又は深度マップを処理する場合、パラメータの全てを容易に発見することが可能である。これらの式は、顔の外的及び内的パラメータの解に結合することができる。

【0217】

画像及び画像深度マップの場合、顔の外的及び内的パラメータの推定が改善される。実際、これらの値は、パラメトリック・モデルの推定を完成させるために使用される。パラメトリック・モデルが、設定が深度の説明を可能にしないため、完全に対応しない場合、顔モデルは、顔の３Ｄ解像度の式（１）に記載される系統を解くことによって、表面上に適合される。この場合、顔のパラメータを推定していないが、測定学的に構成したユーザの顔モデルを推定している。

【0218】

顔モデルと目モデルと画像２２０との間の整合を実現した後、ステップ３５６の間、以下でより詳細に規定する顔テクスチャＴ_aNG及び背景テクスチャＴ_bgを更新し、カメラ１３２が取得した場面の現実に対応させる。

【0219】

図５に示すテクスチャＴ_aNG ４５０は、当業者に周知の従来の格子展開方法に従って計算した顔マップである。例えばＺバッファ又はカリング方法によって、カメラの方に向けた目に見える顔の３Ｄ顔を画像内に投影した後、画像テクスチャＴ_aNG ４５０の充填を可能にする。

【0220】

目テクスチャは、顔テクスチャ上に分配し、３つの部分：虹彩テクスチャＴ_{aNG_I} ４５１、白目テクスチャＴ_{aNG_E} ４５２、眼瞼テクスチャＴ_{aNG_EL}に分解される。これらの３つの要素は、取得の間不完全である場合があるが、合成すべき未知の領域に対しては、Ｔ_{aNG_E}及びＴ_{aNG_EL}に対する補間によって、又は目を大きく広げていない場合の虹彩の上部等、見えない部分のトポロジ知識によって、単純な様式で完成させることができる。瞳孔及び虹彩の円形性質は、極性パラメータ化によるテクスチャの完成を可能にする。

【0221】

背景マップ又は背景とも呼ばれる背景マップＴ_bgは、ステップ３５７の間、精巧に作られる。

【0222】

マップＴ_bgは、背景に対応し、背景は、ユーザが着用する現実の眼鏡、顔、顔及び眼鏡１１１に重なっている頭髪又は手のモデル等の明示的にモデル化されるあらゆる他の要素のいずれにも属さない全てのものとみなされる。マップＴ_bgは、従来の背景差分技法で見出されるもの等の以下の更新規準に従うことによって動的に更新される。画素のそれぞれに対し、色に対して可能な確率及びモードの分布を使用して、主要な色のモデルを参照する。混合ガウス等の複数のモデル、又はカーネル方法によるヒストグラムに対するモードの推定を利用することができる。このモデルは、更新した時間及び可能性としては空間動的モデルと結合する。

【0223】

例えば、更新動的モデルは、［Ａｃｔｉｖｅ Ａｔｔｅｎｔｉｏｎａｌ Ｓａｍｐｌｉｎｇ ｆｏｒ Ｓｐｅｅｄ－ｕｐ ｏｆ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ、Ｃｈａｎｇ等、２０１２年］等のように、以下のように行うことができる：各画素に対し、時間特性Ｐ_t、孤立した画素を除去する空間特性Ｐ_s、及びビデオの最後の画像における頻度の妥当性Ｐ_fを考慮し、ノイズによりもたらされた可能性のある頻繁に変化しすぎる画素の除去を可能にする。これらの３つの値の積により、各画素がマップに属し、更新される確率をもたらす。

【0224】

背景マップＴ_bgは、投影される顔又は投影される眼鏡とはみなされない画素の全てによって、このステップで初期化される。背景マップは、画像２２０と同じ寸法を有する。

【0225】

性能のために、追跡モデルの相補的分析、及び異常点とも呼ばれる統計的に逸脱する点の分析を通じて、修正方法を使用する。この方法は、以下のステップを含み、以下のステップの間：
－それぞれの新たな画像Ｉに対し、画像内の顔モデルＭ_aの投影に基づき、顔区分化マップＴ_aを計算する。同様に、眼鏡モデルＭ_gの投影により、眼鏡区分化マップＴ_gを得ることを可能にする。
－これらのマップのそれぞれに対し、モデルの投影に属する画素は、１の値を有する一方で、その他の画素は０の値を有する。他のモデルがない単純なケースに留まる場合、各画素ｐは、以下のように処理する：
・Ｔ_a（ｐ）＝０及びＴ_g＝０である場合、Ｔ_bg（ｐ）＝Ｉ（ｐ）であり、
・それ以外の場合、テクスチャを修正しない。

【0226】

Ｔ_bgの各画素に対し、画素の最終更新前に捕捉した画像の数を表示するマップを計算することも可能であり、これにより、画素が最近修正されているか否かを評価することを可能にする。したがって、画素値が、それぞれの最終更新時間に従って、付近に位置する画素に対し関係するかどうかを評価することが可能である。したがって、この修正方法は、最近修正された画素を支持するものである。

【0227】

例えば、手又は一房の頭髪等、顔１２１に重なっている掩蔽要素モデルは、ステップ３５８の間に展開する。

【0228】

掩蔽マップは、シーケンス２００の各画像で更新される動的テクスチャＴ_fgによって表す。本発明者等は、空間的及び時間的一貫性を有する眼鏡１１１及び顔１２１のモデルの外観を中断するものを掩蔽と見なし、顔１２１への照明、眼鏡１１１によってかかる影若しくは顔に元来生じる影（例えば鼻）又は眼鏡１１１によって顔１２１にもたらされる火面といった特徴とは区別される。最もありそうなケースは、頭髪又は手のケースである。

【0229】

掩蔽マップは、可変であり得る形状モデルＭ_fgに関連する。掩蔽マップは、３Ｄ場面の前の層を表す平面であるか、又は推測若しくは利用可能な深度マップである。

【0230】

掩蔽マップの値は、現実の画像に対し予測される外観の差、即ち、顔、眼鏡及び背景を表す仮想モデルの投影と、現実の画像との間の差によって決定される。言い換えれば、掩蔽マップは、以前にモデル化されていない全ての要素を含む。

【0231】

本発明のこの特定の実施形態の一変形形態では、インペインティング技法を使用し、掩蔽マップ内の最終的に空の空間を充填し、したがって、掩蔽マップの外観の改善を可能にする。

【0232】

同様に、例えば、顔の要素又は眼鏡１１１の要素と共に画素内に示される一房の細い頭髪等、画像内の画素サイズよりも小さい、小さな要素に関し、掩蔽マップは、局所的な不透明度を考慮する。この不透明度の修正は、現在、デジタル・マッティングの問題を解決するために使用されている。掩蔽マップの灰色レベルにおける不透明通路に名前Ｔα_fgを割り当て、Ｔα_fgを、値１の不透明画素の二値化に割り当てる。

【0233】

深度センサを使用する場合、掩蔽の検出は、より容易であり、当業者に周知の方法を適用することができる。しかし、ユーザが眼鏡を着用している本ケースでは、赤外線技術に基づくＲＧＢＤセンサでは、信号の入手は非常に不十分である。というのは、眼鏡は、一般に、金属、透明プラスチック及びガラス等を含む非常に動的な複合材料から作製されるためである。こうした材料の回折及び反射の影響により、深度マップ生成システムが正確に機能するのを妨げる。一方で、これらのセンサの空間解像度は、非常に薄い眼鏡では十分ではない。これにより、眼鏡は、システムによる識別が非常に不十分であるだけでなく、近傍及び背景に位置する顔のデータの全てを損なう又はアクセス不可能にする。画像及び眼鏡パラメトリック・モデルの使用は、深度センサに対するこれらの構造的な問題の中立化を可能にすることを提案する。

【0234】

眼鏡、顔及び／又は背景のテクスチャは、画像生成方法のステップ３５９の間に完成、更新される。

【0235】

この処理の間、画像に付いている要素を表すマップの状態は、要素の知識に従って進化する。本例では、個人１２０の顔は、眼鏡１１１によって部分的にマスクされている。個人１２０の顔の新たな要素は、個人が頭部の向きを変えたときに出現する。色情報は、特にレンズが色付きである場合、レンズの反射によって、又は眼鏡１１１によって顔にかかる影により歪むこともある。

【0236】

したがって、背景マップ又は顔マップ等の確立したマップの画素データ、ユーザが十分に変位した後もはや利用可能ではない色情報が、必要な領域を出現させることが可能である。

【0237】

しかし、顔領域で使用する学習統計モデルは、背景の学習統計モデルほど効率的ではない。したがって、能動外観モデル又は３Ｄモーフィング可能モデル等公知の技法で顔領域の画素を取り替えることができる。

【0238】

外観の予測が可能ではない場合、空間的局所性による充填技法を使用する。当業者に周知のインペインティング技法と同様の充填技法は、テクスチャの合成に依拠し、これは、確実でリアルタイムの充填問題の解に対し、関連知識を適用することによって行う。眼鏡モデルのトポロジが既知であり、リアルタイム制約条件が重要であると仮定すると、パッチによる充填が使用され、これにより、彩色領域の間の色の連続性及びテクスチャ構造に対する考慮を保証する。この技法は、画像内で同様の要素を迅速に探索し、取り替える画素の大部分を平行に処理することを可能にする。

【0239】

リアルタイム充填技法は、当業者に周知のインペインティング技法に依拠する。

【0240】

処理領域の充填は、画素別又はパッチ別に、以下の３つのステップ：
１．パッチの優先度を計算するステップ、
２．構造のテクスチャ及び情報を伝搬するステップ、
３．信頼値を更新するステップ
におけるアルゴリズムを使用して行われる。

【0241】

本発明の非制限的な例では、パッチは、画素を中心とする正方形ウィンドウによって形成される。

【0242】

眼鏡１１１及び顔モデル等の異なる要素のトポロジを知ることにより、当業者が現在使用している技法を使用して領域の充填をリアルタイムで行い、複数の利点：
－方向に依存しないこと
－（画素に対する）任意のパッチ・サイズによる作用が可能性であること；
－同様のパッチの系統的で費用のかかる探索を回避すること、及び
－充填の間、色の連続性を保証すること
がもたらされる。

【0243】

当業者に周知のパッチ優先度の計算は、例えば、背景領域に対応するマスクの画素等、情報が入手可能ではない領域に従う。

【0244】

しかし、顔領域に位置する画素について、顔のトポロジの知識は、パッチ標本化に対する方向、及び方向優先度、及び事前領域の定義を可能にする。例えば、目を閉じている場合、目の構造形状モデルは事前にパラメトリックに分かるため、目の特定のトポロジに関連する曲線に従って、優先度、パッチ・サイズ及び伝搬方向を適合させることができる。

【0245】

背景又は皮膚等、隠れたパラメトリック構造に関する情報をもっていない領域において、眼鏡のトポロジ知識は、外形に対する形状骨格の直交線又は直交面に従った構造の伝搬方向の事前定義を可能にする。

【0246】

構造の伝搬は、顔のあらゆるポーズに対する等輝度線の伝搬方向と同様であることを強調する。実際、眼鏡は、厚いフレームを有する場合があるにもかかわらず、同じ下位物体の異なる縁部がほぼ平行であるような投影を画像内に有する。

【0247】

眼鏡トポロジに当てはまる方向に集中することによって、２つの態様が改善される。第１に、この方向に情報を含むことが分かった第１のパッチに対するパッチの探索が低減される。当然、各反復において、先行する反復において取り替えた画素を使用し、構造の連続性を可能にする。伝搬方向も事前定義し、構造基準によって非常に構造的であると見なされるパッチでは計算しない。例えば、考慮するパッチ・エントロピー、又は法線の勾配方向に依存する係数を使用することができる。この手法は、系統的な分類、並びに優先度及び伝搬方向に関する費用を回避する。

【0248】

構造を保護しながら色の連続性を保証し、オニオン・ピール（ｏｎｉｏｎ ｐｅｅｌ）型経路内で観察されることがある方向平滑化を回避するために、以下の方法を使用する。

【0249】

取り替えパッチＴ０は、取り替えマスク前部の距離に対し、画素ｐ０を中心とし、パッチが既知の領域の画素を含むようにする。本発明者等は、構造連続性を保証する信頼度最大距離ｄ_maxを定義し、眼鏡マスク外形

【0250】

【数10】

【0251】

まで２つの法線方向経路内に移動し、最も近い「テクスチャ」領域において（ｐＴ１及びｐＴ２を中心とする）２つの完全パッチＴ１及びＴ２を発見する。この技法は、最も近い比色パッチに対する探索計算の低減を可能にする。次に、比色適合を行い、ｐ０からｐＴ１までの距離ｄ１及びｐ０からｐＴ２までの距離ｄ２を考慮に入れることによってパッチＴ０の画素を取り替え、以下の線形補間：

【0252】

【数11】

【0253】

が可能であり、但し、ｄ１＜ｄ_max、ｄ２＜ｄ_maxの場合且つその場合に限り（ｉｆｆ）、式中、各ｐｉ（ｕ，ｖ）_Tは、パッチＴの画素に対応する。表記ｉｆｆは、「～の場合且つその場合に限り（ｉｆ ａｎｄ ｏｎｌｙ ｉｆ）」の省略に対応する。

【0254】

他のケースでは、以下がある：
ｐｉ（ｕ，ｖ）_T0＝ｐｉ（ｕ，ｖ）_T1、但し、ｄ１＜ｄ_max、ｄ２≧ｄ_maxの場合且つその場合に限り、
ｐｉ（ｕ，ｖ）_T0＝ｐｉ（ｕ，ｖ）_T2、但し、ｄ１≧ｄ_max、ｄ２＜ｄ_maxの場合且つその場合に限る。

【0255】

この処理は、マスクの全ての画素を処理するまで、複数回呼び戻される。

【0256】

（１画素までの）小さいサイズのパッチに関し、オニオン・ピールの影響を回避し、画像の圧縮による構造アーチファクトを再現しないようにするため、弱い構造の領域に無作為な局所的歪みを追加する。均一ノイズ又はガウス・ノイズを使用することができる。この均一ノイズは、当業者に周知の技法によって画像の既知の周囲領域の平均ノイズに従って推定される。構造がモデルを通じて既知ではない場合、エントロピを使用し、構造を整理することができる。取り替えた領域は、完全パッチの取り替え画素であるか、又は更には１画素までのより小さなパッチとすることができる。

【0257】

パッチ・サイズは、取り替える構造のサイズ、即ち、眼鏡の厚さ及びカメラに対するユーザの距離に依存することを強調する。

【0258】

図６は、ユーザ１２０の画像２２０に基づくマスクの展開を示す（図６ａ）。図６ｂに示すように、眼鏡１１１の背景に対する環境Ｉ_bgは、複数の領域：
－顔に対応する領域４７０；及び
－背景に対応する領域４７１
に分解される。

【0259】

領域４７０は、セマンティック下位領域４７２に細分化でき、セマンティック下位領域４７２は、例えば、頭髪領域４７２₁及び皮膚領域４７２₂に対応することを強調する。

【0260】

ステップ３６０の間、生成方法は、眼鏡１１１の３次元モデルの形状投影によって、第１の層の上に眼鏡１１１のマスクを生成する。

【0261】

第１の層は、形状投影の前に既にフラッシュされていることを強調する。したがって、第１の層は、現実の眼鏡１１１と同じ視野角及び同じサイズに従った眼鏡１１１の３次元モデル画像を含む。

【0262】

眼鏡１１１のマスクＴＭ_gは、複数の部分：
－フレーム１１２ｂ及びつる１１７のマスクＴＭ_{g_f}；並びに
－レンズ１１３のマスクＴＭ_{g_l}
に分割される。

【0263】

顔にもたらされる照明効果、特に、火面及び影に対応するマスクＴＭ_{g_e}を同時に生成する。マスクＴＭ_{g_e}は、レンズに対する照明効果、特に反射も含む。

【0264】

マスクＴＭ_{g_f}は、画像２２０に対応する瞬間で推測した顔パラメータＰｅ_Ma及び眼鏡パラメータＰｅ_Mgの値のため、眼鏡１１１のモデルをＲＧＢＡレンダリングした画像に対応する。マスクＴＭ_{g_f}は、例えば、顔の前に置かれた手又は顔にかかる一房の頭髪等、眼鏡１１１に対し起こり得る掩蔽を反映する。

【0265】

二値マスクＴＭＢ_{g_f}は、マスクＴＭ_{g_f}のレンダリングしたアルファ層を二値化することによって得られる。アルファ層は、画素の透明度を表し、アルファ層の二値化により、マスクＴＭ_{g_f}の境界を定めることを可能にする。

【0266】

図６ｃは、図６ｂからの環境Ｉ_bgを表し、環境Ｉ_bgには、マスクＴＭＢ_{g_f}が追加されている。

【0267】

マスクＴＭ_{g_l}及びＴＭ_{g_e}は、マスクＴＭ_{g_f}と同じ技法に従うことによって、各マスクのレンズ１１３、及びレンズに対する反射又は顔にかかる影等の照明効果のそれぞれを考慮することにより決定される。

【0268】

顔に対応するマスクＴＭ_aは、目を含む顔モデルに基づき、画像２２０に対して事前に推定した顔の向き及び配置のパラメータに従ってステップ３６５の間に生成される。

【0269】

眼鏡の線形マスクＴＭＢ_{g_f}は、図６ｃから分かるように、顔の領域ＴＭ_a又は背景マップＴ_bg内に含まれることを強調する。

【0270】

被写体の眼鏡トポロジ知識を通じて、眼鏡トポロジによって与えられるパラメータ化に従って、マスクＴＭＢ_{g_f}の両側に規定した場所で、外形

【0271】

【数12】

【0272】

に対する法線方向で標本化を行う。

【0273】

したがって、めがねのつるは、ＴＭ_a又はＴ_bgによって規定される領域の区画Ω_Rを表す最大サイズ領域内において、各側で標本化される。本ケースでは、空間のトリミング調節は、領域の正面曲線に沿って行う。このトリミングにより、眼鏡ＴＭ_gの領域とは無関係である顔ＴＭ_a及び背景Ｔ_bgの領域に対し、予測の外観と現在の画像との間の局所的な比色変換の場を推測することが可能であり、これにより、全体照明の変化又はかかる影による変換の発見を可能にする。

【0274】

顔に関し、例えば眉、頭髪又は顎髭等、この動的比色分析に応答しない領域は、最初は考慮せずに、皮膚に集中することができ、動的擬ランバートに従い、色の基本低周波適合を可能にする。これらの領域は、識別した特徴知識を通して発見した点及び曲線を通じて識別、区分化し、テクスチャ空間内で表示することができる。次に、当業者に周知の色転送技法又はトーン・マッピング技法と同様に、同じ型の領域内で変換を計算する。

【0275】

この比色変換の場は、画像ＴＭ_a及びＴ_bgにそれぞれ適用され、マップＴＭ_aＷｃ及びＴ_bgＷＣを形成する。色変換は、画像ＴＭ_a及びＴ_bgの一貫した比色下位領域に基づきもたらすことを強調する。これらの一貫した下位領域は、有利にはセマンティック下位領域４７２内に含まれ、最終結果を改善することができる。更に、色変換は、これらの空間の下位空間の間の動的な差を考慮する。

【0276】

「ポアソン画像編集」型画像編集技法を使用し、マスク外形上の閾値の影響を回避することができることを強調する。

【0277】

これらの新たな画像ＴＭ_aＷｃ及びＴ_bgＷＣを使用し、特にレンズ及び顔の領域おける色が、予測によって決定されていない現在の画像Ｉの画素を分析し、関連領域において、レンズＴＭ_{g_l}の反射、並びに照明及び形状の変更のみならず、フレームＴＭ_{g_e}によってかかる影を検出する。この技法は、特に、ユーザ１２０が着用する眼鏡１１１のレンズの視力矯正による顔の歪みの補正を可能にする。

【0278】

このようにして、基準

【0279】

【数13】

【0280】

に従って、考慮する領域の各画素ｘに対するマップＴＭＢ_{g_l}及びＴＭＢ_{g_e}を充填し、式中、Ω_Rは、領域Ω＝｛ｘ；ＴＭＢ_α（ｘ）＝１｝∪｛ｘ；ＴＭＢ_bg（ｘ）＝１｝の一貫した比色下位領域である。閾値∈は、エイリアシング色を囲み、画像圧縮及びセンサのアーチファクトを消去するのに十分に大きい。次に、マスクは、３Ｄ物体知識信頼度及び再較正に従って拡張することができる。

【0281】

図６ｄは、図６ｃからの画像を表し、この画像には、照明効果、反射及び影を表すマップＴＭＢ_{g_e}が追加されている。

【0282】

取り替えた画素のマップＴＭＢ_gは、掩蔽アルファ・マップＴＢ_fgの画素を除いたマップＴＭＢ_{g_l}、ＴＭＢ_{g_e}及びＴＭＢ_{g_f}の結合である。
ＴＭＢ_g＝∪｛ＴＭＢ_gl，ＴＭＢ_ge，ＴＭＢ_gf．｝＼ＴＢ_fg

【0283】

掩蔽アルファ・マップＴＢ_fgは、掩蔽マップＴ_fgの不透明画素、即ち、アルファ値が１に等しいＴ_fgの画素を表す。

【0284】

図６ｅは、図６ｄからの画像を表し、この画像には、アルファ掩蔽マップＴＢ_fgが追加されている。

【0285】

眼鏡１１１を表すマスクの外観の修正は、ステップ３７０の間にもたらされる。

【0286】

画像２２０及び生成したマスクの全てに基づき外観を修正することにより、線形マスクＴＭＢ_gに対応する画像２２０の画素に取り替える。これは、画像２２０内の眼鏡１１１の見える部分を隠すこと又は眼鏡１１１の見える部分に対する処理を適用することを可能にする十分な値によって行われる。

【0287】

選択された色は、以下の技法：
ａ．評価した形状パラメータ及び比色調節に対応する予測の色；
ｂ．形状モデルに関連するオフラインで統計的に学習した色；
ｃ．形状の事前知識に結合することができる色の空間的な一貫性及び連続性を保証する事前知識を伴わない色；
ｄ．工程３００の間に統計的に学習した色
又はそれらの組合せによって出すことができる。

【0288】

いずれの場合も、マスクの境界周囲の色に対する連続性に対する制約条件は、暗示的又は明示的に統合される。

【0289】

本例で好適な技法は、予測による色の取り替えである。というのは、この技法は、モデルの不連続性を最良に管理するためである。この技法は、推定誤差を知覚できる一方で、マスク拡張の追加及び色の連続性の制約により、人間の目では検出不可能な取り替え結果を提案することが可能である。マップＴＭ_aＷＣ及びＴ_bgＷＣ並びにマップＴ_fgの計算により、大部分のケースにおいて画素全体を取り替えることができる。

【0290】

一般に使用する別の好ましい技法は、「ポアソン画像編集」として公知の画像編集技法である。この技法は、マスクの外形への連続性を保証することによって、取り替え領域内の画素の色を解くことにある。この技法は、比色を変化させる一方で、マスクに適用するテクスチャ構造を維持することを強調する。このテクスチャは、一般に、例えば投影によって変形させ、眼鏡１１１の環境に適合するテクスチャを得るようにする。

【0291】

「ポアソン画像編集」画像編集技法は、インペインティング技法とは異なり、適用するテクスチャに対する事前の知識を必要とし、これにより、画像内の付近の画素から消失している画素を充填することを可能にすることを強調する。

【0292】

次に、最終画像２１０は、方法３００のステップ３８０の間、背景から最初の画像２２０の上に重ねた様々な層、即ち：
－最初の画像２１０；
－眼鏡１１１のマスクを含む第１の層；
－掩蔽マスクを含む第２の層
を平坦化することによって生成する。

【0293】

したがって、眼鏡１１１を着用している個人１２０は、画面１３０上に、眼鏡１１１が顔に残っていない自分の画像を鏡のように見る。したがって、個人１２０は、現実の眼鏡１１１の代わりに顔に配置された新たな眼鏡１１０を仮想的に試着することができる。仮想眼鏡１１０は、第１の層と第２の層との間に挿入した中間層を通じて個人１２０の顔１２１の上に配置される。中間層は、個人１２０の顔１２１の上に現実のように配置される仮想眼鏡１１０のモデルの投影を備える。

【0294】

仮想眼鏡１１０の配置又は中間層の生成に対する技術的な詳細について、当業者は、例えば、個人による仮想眼鏡の試着を可能にする技法を詳細に記載している出願ＦＲ１０５０３０５又は出願ＦＲ１５５１５３１を参照することができる。

【0295】

本発明の特定の実施形態の別の例
図７は、眼鏡１１１を顔に着用している個人５２０による仮想物体５１０の試着デバイス５００を示す。

【0296】

デバイス５００は、支持体５３１上に垂直に固定したタッチ・スクリーン５３０、画面５３０の上の中央に位置するカメラ５３２、２つの周辺カメラ５３３、及び処理ユニット５３４を備える。

【0297】

デバイス５００は、画面５３０に対する要素の距離測定デバイス５３７も備え、距離測定デバイス５３７は、設計を投影する赤外線投影器５３５及び赤外線カメラ５３６を含む。

【0298】

デバイス５００は、モデル化デバイス５４０も備え、モデル化デバイス５４０は、眼鏡を中心に受けることを意図するターンテーブル５４１、ターンテーブル５４１の中心の方に向けられた２つの固定デジタル・カメラ５４２、及びモデル化する眼鏡の背景にすることを意図する背景ユニット５４３を含む。モデル化デバイス５４０は、処理ユニット５３４に連結され、したがって、ターンテーブル５４１を起動し、様々な視野角の下で眼鏡１１１の画像を捕捉することができる。

【0299】

本発明のこの特定の実施形態の一変形形態では、モデル化デバイス５４０のターンテーブルは、固定可能である。モデル化デバイス５４０は、ターンテーブルの中心の方に向けられた２つの固定補助デジタル・カメラも備える。２つの補助カメラの位置は、ターンテーブルの中心垂直軸を中心とする、２つのカメラ５４２の位置の９０度回転に対応する。

【0300】

モデル化デバイス５４０は、各カメラ５４２が背景ユニット５４３の画像を単独で捕捉する間、較正をもたらすことを強調する。

【0301】

個人５２０は、顔に着用している眼鏡１１１を外し、ターンテーブル５４１の中心に、つる１１７を広げた状態で眼鏡１１１を置く。眼鏡１１１を適切に配置するため、マーキングがターンテーブル５４１上に表示されている。

【0302】

第１のカメラ５４２₁は、カメラ５４２₁の光学軸が眼鏡１１１の正面画像を捕捉し、次に、ターンテーブル５４１を９０°回転させた後、眼鏡１１１の側部画像を捕捉するように向けられる。

【0303】

同時に、第２のカメラ５４２₂は、正面の３／４から及び背面の３／４から眼鏡１１１の上面の画像を捕捉する。したがって、カメラ５４２₂の位置は、ターンテーブル５４１の中央平面に対して約４５°に上昇している。

【0304】

眼鏡１１１の３次元モデルは、捕捉した眼鏡１１１の４つの画像及び２つの背景画像に基づき生成される。

【0305】

この目的で、眼鏡１１１は、背景画像と眼鏡１１１を有する画像との間の差を表示する各捕捉画像において区分化され、これにより、様々な要素の二値マスクの生成を可能にする。

【0306】

モデル化に関し、眼鏡１１１のフレーム１１２は、３つの３Ｄ表面：
－眼鏡１１１の面１１２ｂを表す表面及び
－眼鏡１１１の各つる１１７の表面
の組立体とみなされる。

【0307】

眼鏡１１１は対称であるため、２つのつる１１７は同様であり、各つる１１７と面１１２ｂとの間の開放角度のみ変動し得ることを強調する。したがって、１つのつる１１７の３次元モデルのみを生成する。次に、もう一方のつる１１７の３次元モデルは、第１のつる１１７のモデルに基づき、第１のつる１１７の主要中央平面に対し対称に生成する。

【0308】

３Ｄ表面を推測するため、区分化から抽出したマスクに基づく画像のそれぞれに対し距離マップの計算を行う。３Ｄ表面パラメータの推定は、眼鏡１１１のフレームの中心対称性及び連続性といった基準を考慮する最小化を介して行う。

【0309】

面１１２ｂ及びつる１１７の２Ｄ外形の推定は、面１１２ｂ及びつる１１７の二値マスクに基づき生成する。

【0310】

次に、２Ｄ外形を対応する３Ｄ表面上に投影する。表面上に投影した２Ｄ外形のそれぞれに対し厚さを追加し、面１１２ｂ及びつる１１７の３次元モデルを得、眼鏡１１１の３次元モデルを形成する。

【0311】

この目的で、２Ｄ外形の点に基づき、ドロネー三角形分割を行う。この三角形分割は、３Ｄ表面の点上に使用し、眼鏡１１１のモデルを生成する。眼鏡１１１の捕捉画像は、眼鏡１１１のモデル上のテクスチャ内で適用する。

【0312】

眼鏡１１１の各要素の３Ｄ統計モデルは、２Ｄ外形に基づく３Ｄ表面の設定及び格子のために使用し得ることを強調する。

【0313】

眼鏡をかけていない個人５２０の画像をカメラ５３２により取得する。

【0314】

眼鏡をかけていない個人５２０に基づき、個人５２０を表すアバタ・モデルＭ_aは、実施形態の第１の例のステップ３５５で既に説明したアバタ・モデルＭ_aの展開方法に従って、捕捉画像、及び画面に対する画像要素の距離測定値に基づき展開する。

【0315】

本発明の実施形態の変形形態では、デバイスは、３つのカメラ、例えば、画面に対して垂直に中央に位置するカメラ、及び中央カメラの両側に対称に水平に位置する２つのカメラを含む。これら３つのカメラは、個人５２０の３つの画像を異なる視野角で得、個人の顔の表現を向上させることを可能にする。

【0316】

個人５２０の顔の平坦テクスチャをアバタ・モデルＭ_aから抽出する。

【0317】

眼鏡１１１の２Ｄモデルを得る前に、眼鏡１１１は、眼鏡１１１の追跡方法６００により、カメラ１３２によって捕捉した画像シーケンスで追跡する。

【0318】

図８に概略図の形態で示す追跡方法６００は、第１の初期化ステップ６１０を含む。

【0319】

初期化ステップ６１０は、眼鏡１１１が実際に個人５２０の顔の上に置かれているのと同じ
ように、つるが開いている眼鏡１１１のモデルＭ_gをアバタＭ_aの上に配置することを可能にする。

【0320】

このため、アバタＭ_aの上へのモデルＭ_gの第１の配置は、眼鏡１１１のモデルがアバタの鼻及び耳に載っているように、３Ｄで行われる。したがって、モデルＭ_gは、ポーズ・パラメータの計算に従って配置される。ポーズ・パラメータは、画像内に表示される眼鏡１１１を得るため、カメラに対する向き及びモデルＭ_gに適用される拡大を含む。

【0321】

アバタは、カメラ５３２と同じ向き及び同じ光学パラメータを有する仮想カメラに従って配置され、向けられる。このため、顔の位置及び向きは、当業者に周知の顔追跡方法を通じて各画像に対して決定される。この顔追跡は、顔の特徴点の追跡に基づく。しかし、画像内で隠される特徴、特に、眼鏡又は色付きレンズの背後に発見される特徴は、この顔追跡では考慮されないことを強調する。

【0322】

最初の画像の上に重ねた第１の層の上に、アバタ上に配置する眼鏡１１１のモデルを投影することで、眼鏡１１１のマスクを得ることを可能にする。

【0323】

第１の層の上での眼鏡１１１のマスクの位置を洗練するため、２つの成分：
－シーケンス内の先行する画像で見える顔及び目系統の特徴点、及びシーケンスの以前の画像に従って計算された成分；
－画像内の眼鏡１１１の外形、及び事前に合成した眼鏡１１１のモデルＭ_gに従って計算された成分
に基づく費用関数を最小化することによってポーズ・パラメータを計算する。

【0324】

眼鏡１１１のモデルＭ_gを初期化した後、追跡方法６００は、第２のステップ６２０の間、モデルＭ_gの点セットωを選択し、点セットωの法線は、本質的に点と仮想カメラとの間に形成した軸に直交する。

【0325】

眼鏡１１１の面１１２ｂが本質的にカメラ１３２の平面に平行であり、つる１１７があまり見えない場合、眼鏡１１１の追跡において、顔のモデルＭ_gのみを考慮に入れることを強調する。

【0326】

顔がひどく曲がっており、面１１２ｂをあまり見えなくしている場合、眼鏡１１１の追跡において、つるのモデルＭ_gのみを考慮に入れることを強調する。

【0327】

第３のステップ６３０の間、追跡方法６００は、モデルＭ_gの点セットωのうち、ｎ個の点の下位サンプルを選択する。画像内でのｎ個の点の投影ｐ２Ｄ_m=1・・nは、本質的に均一で規則的な間隔を示す。したがって、眼鏡１１１の面１１２ｂは、カメラの画像平面に対しほぼ平行である一方で、下位サンプルは、少数又はゼロの数のつる点を含む。

【0328】

ｎ個の点のアンサンブルωの法線の投影に対応するベクトルｎ２Ｄ_m=1・・nは、第４のステップ６４０の間に計算する。

【0329】

投影ｐ２Ｄ及びベクトルｎ２Ｄに基づき、方法６００は、各指数ｍに対して、点ｎ２Ｄ_mに対し、最も強い勾配の長さの投影ｐ２Ｄ_mの法線を有する画像点ｐ＿ｇｒａｄ_mを探す。

【0330】

次に、追跡方法６００は、第５のステップ６５０の間、点ｐ２Ｄとｐ＿ｇｒａｄとの間の距離の計算関数を最小化する。最小値に達した際、モデルＭ_gの位置を眼鏡１１１の現実の位置を表すとみなす。

【0331】

第１の層の上へのモデルＭ_gの投影に基づき、眼鏡１１１を覆うマスクを生成する。

【0332】

眼鏡１１１のマスクの外観の修正は、個人５２０が着用している現実の眼鏡１１１のフレーム１１２の色を新たな色に取り替えることによってもたらす。

【0333】

輝度の調節をもたらし、フレーム１１２の色の修正を現実のようにする。

【0334】

したがって、個人５２０は、画面５３０上に、同じ眼鏡１１１をかけているが異なる色のフレーム１１２を含む自分の画像を見る。

【0335】

本発明のこの実施形態の一変形形態では、眼鏡１１１のマスクの外観の変更により、最終画像において眼鏡１１１を隠すことを可能にし、このため、眼鏡１１１を顔に着用している個人５２０は、画面５３０上に、眼鏡１１１をかけていない自分の画像を見る。

【0336】

この目的で、本発明の別の実施形態で上記したように、眼鏡の環境表現の展開を実行する。したがって、眼鏡１１１の環境を表す顔及び背景テクスチャの値の投影を実施し、眼鏡１１１のマスクに対応する最初の画像の各画素を、投影から得た画素に取り替えることを可能にする。最終画像を現実のようにするため、新たなマスク画素の全て又は一部の比色を調節し、例えば、マスク縁部における比色差を消去する。この目的で、ポアソン画像編集として公知の画像編集技法を使用する。

【0337】

本発明の特定の実施形態の別の例
図９は、眼鏡１１１を顔に着用している個人８２０により使用される拡張現実デバイス８００を示す。この例では、個人８２０の視力に適合する矯正レンズを有する眼鏡１１１が取り付けられる。

【0338】

個人８２０は、画面８３０に連結したカメラ８３２に向かって立ち、画面８３０は、個人８２０の頭部８２１の画像を鏡のようにライブ表示する。画面８３０上に表示される画像は、個人８２０の頭部を示すが、個人８２０は、眼鏡１１１を顔にかけていない。したがって、個人８２０は、眼鏡をかけていないが、まるで眼鏡を着用しているかのように自分自身をはっきりと見ることができる。

【0339】

個人８２０が実際には着用している眼鏡１１１を各画像内でリアルタイムに隠すため、ビデオとも呼ぶ、画面８３０上に表示される画像シーケンスの所与の瞬間に基づき、最初の画像に基づく最終画像の生成方法を使用する。

【0340】

この方法の間、眼鏡１１１を画像シーケンスの各画像内で検出、追跡する。眼鏡１１１のモデルを生成し、眼鏡１１１と同じように向け、層上への投影によってマスクを生成し、最初の画像の上に重ねる。

【0341】

眼鏡１１１を覆うマスクの外観を調節し、個人の顔に着用されている眼鏡１１１を画面上で消去する。

【0342】

この目的で、眼鏡１１１の背景内の環境の平坦マップを生成し、ビデオの各画像で捕捉した情報を考慮することによって動的に更新する。

【0343】

インペインティングという１つの方法により、マスクの画素付近の画像の少なくとも１つの画素に従って、眼鏡１１１のマスクの各画素の色の決定を可能にする。

【0344】

本例で使用する生成方法において、顔は、眼鏡１１１の環境内に含まれるが、環境を表すマップの展開のために検出するのではないことを強調する。眼鏡１１１のみを検出し、追跡する。

【0345】

本発明のこの特定の実施形態の変形形態では、個人８２０の顔の存在を検出するが、追跡しない。したがって、顔モデルを生成し、画像内で追跡した眼鏡の位置に関連して配置する。顔モデルは、投影の際に使用し、環境マップを展開する。顔モデルは、インペインティング方法によって直接使用することもできる。

【0346】

個人８２０は、眼鏡又はメーキャップを試着し、画面上で眼鏡又はメーキャップを付けた自分自身を見ることができる。仮想物体を試着する場合、眼鏡１１１の見える部分の外観のみ、即ち、仮想物体の投影によって覆われない部分のみを、有利に調節することが可能であり、これにより、計算時間を節約可能にすることを強調する。

【0347】

本発明の実施形態の別の例
図１１は、コンピュータ・メモリ内に保存したビデオ９１５、又はカメラからのリアルタイム・ビデオ・ストリームを表示する画面９１０を表す。

【0348】

ビデオ９１５は、処理前の眼鏡１１１を顔９２１に着用している個人９２０の頭部を示している。

【0349】

図１２は、ビデオ９１５を表示する画面９１０を表すが、眼鏡１１１は、本発明による最初の画像に基づく最終画像の生成方法によって、ビデオの各画像内で隠されている。

【0350】

この方法の間、ビデオの各画像において、顔９２１を検出、追跡する。各画像において、方法は、眼鏡１１１を覆う不透明マスクを含む層を追加する。マスクは、眼鏡の形状及びサイズの大部分を覆うようにサイズ決定されることを強調する。したがって、マスクは、本例で検出されない眼鏡１１１に結合されない。

【0351】

したがって、方法は、各画像に対し層を生成し、層の上で、マスクは、検出した顔に対して向けられ、サイズ決定される。

【0352】

各層に対し、生成方法は、事前に生成した眼鏡をかけていない顔モデルから作ったテクスチャをマスクに適用する。

【0353】

最終画像を現実のようにするため、生成方法は、マスク・テクスチャに「再度照明を当てる」技法を含み、テクスチャを、顔９２１を照らす現実の光の色に合わせる調節を可能にする。

【0354】

光源分析を可能にするため、例えば、擬ランバート表面モデル内で追跡する皮膚等の顔の部分に対し、照度差ステレオ等の周知の技法又は陰に基づく復元法（Ｓｈａｐｅ ｆｒｏｍ Ｓｈａｄｉｎｇ）と呼ばれる技法を使用する。次に、合成光源等の光源及びそれらのパラメータを使用し、顔に「再度照明を当てる」。

【0355】

各マスクの上に、顔９２１の目のレベルで開口を確立し、各画像上に目を見せることができる。

【0356】

現実的にする理由で、目が眼鏡１１１レンズによって光学的に変形している場合、又はレンズが色付きである場合、開口をマスク上に生成しないことを強調する。

【0357】

開口をマスク上生成しない場合、再合成された目を含む層がマスク層の上に追加される。

【0358】

合成された目の向きは、有利には、当業者に周知の技法によって検出、追跡した目の実際の向きに基づき生成することができる。

【0359】

本発明の他の利点及び光学的特徴
本発明の実装形態の変形形態では、画像から消去する現実の物体は、顔を部分的又は完全に覆っている帽子、スカーフ、頭髪又はあらゆる他の要素とすることができる。方法は、例えば、個人が着用している衣類品等、画像内で隠すことが求められるあらゆる他の現実の物体に適用することもできる。

【0360】

本発明の実装形態の変形形態では、眼鏡に替わる、個人の顔に置かれる物体は、メーキャップ、宝飾品又は衣類等である。したがって、眼鏡を着用している個人は、メーキャップ又は礼服を仮想的に試着することができる一方で、眼鏡は画像から外されているため、コンタクト・レンズ装着シミュレーションを可能にする。スーツ、夜会服等、個人の体に着用する衣類品の試着の場合、個人の体の形態の走査が、現実的な衣類のレンダリングを得るのに有用であり得ることを強調する。

【0361】

本発明の実装形態の変形形態では、眼鏡を着用している個人は、同じ眼鏡をかけているが、現実に着用している眼鏡のフレームとは異なる色、テクスチャ及び／又は材料を表すフレームを有する眼鏡をかけている自分自身を画面上で見ることができる。

【0362】

本発明の実装形態の変形形態では、眼鏡を着用している個人は、同じ眼鏡をかけているが、現実に着用しているレンズの色とは異なる色のレンズをもつ眼鏡をかけている自分自身を画面上で見ることができる。

【0363】

本発明の実装形態の変形形態では、眼鏡を着用している個人は、同じ眼鏡をかけているが、現実に着用しているレンズとは異なる処理を含むレンズをもつ眼鏡をかけている自分自身を画面上で見ることができる。処理は、例えばレンズの反射防止処理又は減厚等、眼鏡技師に周知の処理の１つ又は組合せの追加又は抑制に対応する。

【0364】

本発明の実装形態の変形形態では、現実の眼鏡のレンズ領域が、仮想眼鏡の縁内部の画像内に含まれ、この状態を保持する場合、眼鏡を着用している個人は、新たな仮想眼鏡を試着している自分自身を画面上で見ることができるので、仮想眼鏡の現実性の強化を可能にする。実際、現実のレンズの一部を保持することによって、環境による現実の反射も画像内に保持される。レンズの現実の反射を全て保持したまま、現実のレンズの保持部分の色を修正し、色付き又は色の付いていないレンズを有する仮想眼鏡を得ることができることを強調する。

【0365】

本発明の実装形態の変形形態では、仮想物体は、画像内で消去すべき現実の物体の上に部分的にあり、現実の物体に対応するマスクの見える部分のみを修正する。

【0366】

本発明の実装形態の変形形態では、現実の物体は、画像の一部又は大部分から消去される。

【図1】

【図2】

【図3】

【図4(a)】

【図4(b)】

【図4(c)】

【図4(d)】

【図4(e)】

【図5】

【図6(a)】

【図6(b)】

【図6(c)】

【図6(d)】

【図6(e)】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】