特許第6334715号(P6334715)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エンパイア テクノロジー ディベロップメント エルエルシーの特許一覧

<>
  • 特許6334715-拡張現実スキンの評価 図000002
  • 特許6334715-拡張現実スキンの評価 図000003
  • 特許6334715-拡張現実スキンの評価 図000004
  • 特許6334715-拡張現実スキンの評価 図000005
  • 特許6334715-拡張現実スキンの評価 図000006
  • 特許6334715-拡張現実スキンの評価 図000007
  • 特許6334715-拡張現実スキンの評価 図000008
  • 特許6334715-拡張現実スキンの評価 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6334715
(24)【登録日】2018年5月11日
(45)【発行日】2018年5月30日
(54)【発明の名称】拡張現実スキンの評価
(51)【国際特許分類】
   G06T 19/00 20110101AFI20180521BHJP
   G06F 3/0484 20130101ALI20180521BHJP
【FI】
   G06T19/00 600
   G06F3/0484 150
【請求項の数】15
【全頁数】25
(21)【出願番号】特願2016-547936(P2016-547936)
(86)(22)【出願日】2014年1月31日
(65)【公表番号】特表2017-508199(P2017-508199A)
(43)【公表日】2017年3月23日
(86)【国際出願番号】US2014014207
(87)【国際公開番号】WO2015116182
(87)【国際公開日】20150806
【審査請求日】2016年7月21日
(73)【特許権者】
【識別番号】509348786
【氏名又は名称】エンパイア テクノロジー ディベロップメント エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100109586
【弁理士】
【氏名又は名称】土屋 徹雄
(72)【発明者】
【氏名】ウル,シュムエル
(72)【発明者】
【氏名】メダン,ヨーブ
【審査官】 岡本 俊威
(56)【参考文献】
【文献】 特開2007−216000(JP,A)
【文献】 米国特許出願公開第2007/0260984(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
G06F 3/048−3/0486
(57)【特許請求の範囲】
【請求項1】
評価画像を生成する方法であって、前記方法は、プロセッサによって、
第1の時間のインスタンスに初期画像データを受け取ることであって、前記初期画像データは、実物体に対応する、受け取ることと、
第1のスキンに対応する第1の中間画像データを生成するために、前記初期画像データに前記第1のスキンを適用することと、
前記第1のスキンの識別のために、前記第1の中間画像データと前記受け取った初期画像データの間の第1の差画像データを決定することと、
拡張データを生成するために、前第1の中間画像データに第2のスキンを適用することと
前記第2のスキンの識別のために、前記拡張データと前記第1の中間画像データの間の第2の差画像データを決定することと、
前記拡張データに基づき拡張画像を描画することと、
前記描画された拡張画像における前記第1のスキンまたは前記第2のスキンの少なくとも1つを評価するための第1の入力を受け取ることと、
前記第1の差画像データに関係する第1の差画像に対応する評価画像、または前記第2の差画像データに関係する第2の差画像に対応する評価画像を表示することであって、前記受け取った第1の入力が前記第1のスキンの評価に対応する場合、第1の差画像が表示され、前記受け取った第1の入力が前記第2のスキンの評価に対応する場合、第2の差画像が表示される、表示することと、
前記第1の差画像が表示される場合において前記第1の差画像における前記第1のスキンを修正するための、または前記第2の差画像が表示される場合において前記第2の差画像における前記第2のスキンを修正するための、第2の入力を受け取ることと、
前記第2の入力を受け取ることに応じて、前記第1の差画像が表示される場合において前記第1の差画像における前記第1のスキンを修正すること、または前記第2の差画像が表示される場合において前記第2の差画像における前記第2のスキンを修正することと、
前記拡張データに前記修正した第1のスキンまたは前記修正した第2のスキンを適用することと、
前記修正した第1のスキン及び前記修正した第2のスキンのうちの1つを用いて、前記拡張画像を描画することと、
を含む、方法。
【請求項2】
前記第1の入力を受け取ることは、ユーザインターフェースにおいてマーカの位置を識別することを含む、請求項1に記載の方法。
【請求項3】
前記第1のスキンは、命令およびスキンデータを含む、請求項1に記載の方法。
【請求項4】
評価画像を生成するのに有効なシステムであって、前記システムは、
メモリと、
カメラと、
拡張現実表示装置と、
前記メモリ、前記カメラおよび前記拡張現実表示装置と通信状態にあるように構成されるプロセッサとを含み、
前記カメラは、第1の時間のインスタンスに初期画像データを捕らえるように構成され、前記初期画像データは、実物体に対応し、
前記プロセッサは、
前記メモリ中に前記初期画像データを格納し、
第1のスキンに対応する第1の中間画像データを生成するために、前記初期画像データに前記第1のスキンを適用し、
前記第1のスキンの識別のために、前記第1の中間画像データと前記初期画像データの間の第1の差画像データを決定し、
拡張データを生成するために、前第1の中間画像データに第2のスキンを適用し
前記第2のスキンの識別のために、前記拡張データと前記第1の中間画像データの間の第2の差画像データを決定し、
前記拡張データに基づき拡張画像を前記拡張現実表示装置に描画し、
前記描画された拡張画像における前記第1のスキンまたは前記第2のスキンの少なくとも1つを評価するための第1の入力を受け取り、
前記第1の差画像データに関係する第1の差画像に対応する評価画像、または前記第2の差画像データに関係する第2の差画像に対応する評価画像を表示し、前記受け取った第1の入力が前記第1のスキンの評価に対応する場合、第1の差画像が表示され、前記受け取った第1の入力が前記第2のスキンの評価に対応する場合、第2の差画像が表示され、
前記第1の差画像が表示される場合において前記第1の差画像における前記第1のスキンを修正するための、または前記第2の差画像が表示される場合において前記第2の差画像における前記第2のスキンを修正するための、第2の入力を受け取り、
前記受け取った第2の入力に応じて、前記第1の差画像が表示される場合において前記第1の差画像における前記第1のスキンを修正し、または前記第2の差画像が表示される場合において前記第2の差画像における前記第2のスキンを修正し、
前記拡張データに前記修正した第1のスキンまたは前記修正した第2のスキンを適用し、
前記修正した第1のスキン及び前記修正した第2のスキンのうちの1つを用いて、前記拡張画像を描画するように構成される、システム。
【請求項5】
前記第1の入力の受け取りは、ユーザインターフェースにおけるマーカの位置の識別を含む、請求項4に記載のシステム。
【請求項6】
評価画像を生成する方法であって、前記方法は、プロセッサによって、
拡張現実命令を識別することであって、前記拡張現実命令は、
第1の中間画像データを生成するために、初期画像データに第1のスキンを適用することであって、前記初期画像データは、実物体に対応する、適用すること、および
拡張データを生成するために、前第1の中間画像データに第2のスキンを適用することに有効である、識別することと、
前記拡張データに基づき拡張画像を描画することと、
前記描画された拡張画像の領域に対応する第1の入力を受け取ることと、
評価画像データを受け取ることであって、前記評価画像データは、前記実物体に対応し、前記描画された拡張画像の前記領域を含む、受け取ることと、
前記評価画像データに前記第1のスキンを適用するために、スライダ上の第1の位置にマーカを位置させることに基づいて第2の入力を受け取ることと、
前記第2の入力に応答して、評価データを発生するために、前記評価画像データに前記第1のスキンを適用することであって、前記評価データは、前記拡張データと異なる、適用することと、
前記評価データに基づき前記評価画像を描画することと
前記評価画像データに前記第2のスキンを適用するために、前記スライダ上の第2の位置に前記マーカを位置させることに基づいて第3の入力を受け取ることと、
前記第3の入力に応答して、前記拡張データを生成するために、前記評価画像データに前記第2のスキンを適用することと、
前記拡張データに基づき拡張画像を描画することと、
を含む、方法。
【請求項7】
前記1のスキンは、命令およびスキンデータを含み、
前記評価画像データに前記第1のスキンを適用することは、
前記命令に基づき前記評価画像データ中で基準ポイントを識別することと、
前記評価画像データの一部を前記基準ポイントと関連付けることと、
前記評価画像データの前記一部を前記スキンデータに替えることとを含み、
前記第1の入力を受け取ることは、
前記評価画像データ中の領域のIDを受け取ることと、
前記基準ポイントが前記入力中で識別された前記領域に対応すると決定することとを含む、請求項6に記載の方法。
【請求項8】
前記描画された拡張画像における前記第1のスキンまたは前記第2のスキンの少なくとも1つを評価するための第1の入力を受け取ることは、
前記描画された拡張画像の、ある属性を有する領域に対応する前記第1の入力を受け取ることを含み、前記ある属性は、前記描画された拡張画像の残りの領域の属性とは異なる、請求項1記載の方法
【請求項9】
前記描画された拡張画像の前記領域に対応する前記第1の入力を受け取ることは、
前記描画された拡張画像の、ある属性を有する領域に対応する前記第1の入力を受け取ることを含み、前記ある属性は、前記描画された拡張画像の残りの領域の属性とは異なる、請求項6記載の方法
【請求項10】
前記拡張現実表示装置は、第1の方向及び第2の方向にスライダに沿って移動可能なマーカを含む、請求項4記載のシステム。
【請求項11】
前記マーカは、特定のスキンを特定の画像データに適用するために前記スライダに沿って移動可能である、請求項10記載のシステム。
【請求項12】
前記第1の差画像における前記第1のスキンを修正すること、または前記第2の差画像における前記第2のスキンを修正することは、
前記第1のスキンまたは前記第2のスキンを再配置すること、サイズを変更すること、除去することのうち少なくとも1つを含む、請求項1記載の方法。
【請求項13】
前記第1の差画像における前記第1のスキンの修正、または前記第2の差画像における前記第2のスキンの修正は、
前記第1のスキンまたは前記第2のスキンを再配置すること、サイズを変更すること、除去することのうち少なくとも1つを含む、請求項4記載のシステム。
【請求項14】
前記第1のスキンまたは前記第2のスキンの少なくとも1つを評価するための第1の入力を受け取ることに応じて、前記第1の差画像または前記第2の差画像を読みだす、請求項1記載の方法。
【請求項15】
前記第1のスキンまたは前記第2のスキンの少なくとも1つを評価するための第1の入力を受け取ることに応じて、前記第1の差画像または前記第2の差画像を読みだす、請求項4記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、「Augmented Reality Skin Manager(拡張現実スキンのマネージャ)」(代理人整理番号M−6300.202)、「Subject Selected Augmented Reality Skin(主題選択拡張現実スキン)」(代理人整理番号M−6300.204)および「Evaluation of Augmented Reality Skins(拡張現実スキンの評価)」(代理人整理番号M−6300.205)に関連している。
【背景技術】
【0002】
本明細書に別段に指示がない限り、本セクションで述べる資料は、本願の請求項に対する先行技術でなく、本セクションに含めることによって先行技術であると認めるものでもない。
【0003】
拡張現実は、バックグラウンドとして実世界を使用し、拡張情報の1つまたは複数の層を追加することができる。センサは、実世界に関する実際の画像データを捕らえることができる。プロセッサは、実際の画像データ中で基準ポイントを識別することができる。プロセッサは、基準ポイントに基づき実際の画像データに拡張現実データを付加する命令を実行することができる。拡張現実装置のユーザは、実際の画像データに対する拡張現実データの付加を制御することができる。
【発明の概要】
【0004】
いくつかの例では、評価画像を生成するための方法を全体的に述べる。この方法は、第1の時間のインスタンスに初期画像データを受け取ることを含むことができる。初期画像データは、実物体に対応することができる。方法は、また、中間データを生成するために、初期画像データに第1のスキンを適用することを含むことができる。方法は、また、拡張データを生成するために、中間データに第2のスキンを適用することを含むことができる。方法は、また、第2の時間のインスタンスに評価画像データを受け取ることを含むことができる。評価画像データは、実物体に対応することができる。方法は、また、第1のスキンの指標を含む入力を受け取ることを含むことができる。方法は、また、入力に応答して、評価データを発生するために、評価画像データに第1のスキンを適用することを含むことができる。評価データは、拡張データと異なることがある。方法は、また、評価データに基づき評価画像を描画することを含むことができる。
【0005】
いくつかの例では、評価画像を生成するのに有効なシステムを全体的に述べる。システムは、メモリ、カメラ、拡張現実表示装置およびプロセッサを含むことができる。プロセッサは、メモリ、カメラおよび拡張現実表示装置と通信状態にあるように構成することができる。カメラは、第1の時間のインスタンスに初期画像データを捕らえるように構成することができる。初期画像データは、実物体に対応することができる。プロセッサは、メモリ中に初期画像データを格納するように構成することができる。プロセッサは、また、中間データを生成するために、初期画像データに第1のスキンを適用するように構成することができる。プロセッサは、また、拡張データを生成するために、中間データに第2のスキンを適用するように構成することができる。プロセッサは、また、拡張現実表示装置上に拡張データに基づき拡張画像を描画するように構成することができる。カメラは、第2の時間のインスタンスに評価画像データを捕らえるように構成することができる。評価画像データは、実物体に対応することができる。プロセッサは、また、第1のスキンの指標を含む入力を受け取るように構成することができる。プロセッサは、また、入力に応答して、評価データを発生するために、評価画像データに第1のスキンを適用するように構成することができる。評価データは、拡張データと異なることがある。プロセッサは、また、拡張現実表示装置上に評価データに基づき評価画像を描画するように構成することができる。
【0006】
いくつかの例では、評価画像を生成するための方法を全体的に述べる。この方法は、中間データを生成するために、初期画像データに第1のスキンを適用するのに有効な拡張現実命令を識別することを含むことができる。初期画像データは、実物体に対応することができる。方法は、また、拡張データを生成するために、中間データに第2のスキンを適用するのに有効な拡張現実命令を識別することを含むことができる。方法は、また、評価画像データを受け取ることを含むことができる。評価画像データは、実物体に対応することができる。方法は、また、第1のスキンの指標を含む入力を受け取ることを含むことができる。方法は、また、入力に応答して、評価データを発生するために、評価画像データに第1のスキンを適用することを含むことができる。評価データは、拡張データと異なることがある。方法は、また、評価データに基づき評価画像を描画することを含むことができる。
【0007】
前述の概要は、例示するだけであって、決して限定すると意図しない。上記に述べた例示的な態様、実施形態および特徴に加えて、さらなる態様、実施形態および特徴は、図面および以下の詳細な記述を参照すると明らかになるはずである。
【0008】
本開示の前述および他の特徴は、添付図面とともに検討すると、以下の記述および添付した請求項からより完全に明らかになるはずである。これらの図面が本開示によるいくつかの実施形態だけを図示しており、したがってその範囲を限定すると見なすべきでなく、本開示は、添付図面の使用によってさらなる特性および細部を追加して述べることにすることを理解していただきたい。
【図面の簡単な説明】
【0009】
図1】拡張現実スキンの評価を実施するために利用することができるシステム例を例示する図である。
図2】評価インターフェースに関する細部を追加した図1のシステム例を例示する図である。
図3】評価インターフェース中の選択領域に関する細部を追加した図1のシステム例を例示する図である。
図4】中間画像がメモリ中に格納される実行形態例に関する細部を追加した図1のシステム例を例示する図である。
図5】中間画像の間の差がメモリ中に格納される別の実行形態例に関する細部を追加した図1のシステム例を例示する図である。
図6】拡張現実スキンの評価を実施するためのプロセス例に関するフロー図を例示する図である。
図7】拡張現実スキンの評価を実施するために利用することができるコンピュータプログラム製品例を例示する図である。
図8】拡張現実スキンの評価を実施するように構成されるコンピューティングデバイス例を例示するブロック図である。 すべては、本明細書に述べる少なくともいくつかの実施形態によって構成される。
【発明を実施するための形態】
【0010】
以下の詳細な記述では、添付図面を参照し、それは、この記述の一部を形成する。図面では、同様のシンボルは、通常、文脈が他に指示していない限り、同様の構成要素を識別する。詳細な記述、図面および請求項によって述べる例示的な実施形態は、限定すると意味しない。本明細書に提示する主題の趣旨または範囲から逸脱せずに、他の実施形態を利用することができ、他の変更も行うことができる。本開示の態様は、本明細書に全体的に述べ図で例示するように、そのすべてが本明細書で明白に予期される広範な様々な構成によって、構成する、置換する、組み合わせる、分離する、および設計することができることを容易に理解されるはずである。
【0011】
本開示は、とりわけ拡張現実スキンの評価に関する方法、装置、システム、デバイスおよびコンピュータプログラム製品に対して全体的に描いている。
【0012】
簡単に述べると、拡張現実スキンの実行の見直しを容易にする上で役立つことができる評価画像を生成するのに有効な方法およびシステムに関する技術を全体的に述べる。いくつかの例では、プロセッサは、物体から反射された光によって発生された初期画像データを受け取ることができる。初期画像データは、第1の時間のインスタンスにおける実物体に対応することができる。プロセッサは、中間データを生成するために、初期画像データ中の特徴の画素を修正するように第1のスキンを適用し、拡張データを生成するために、中間データ中の特徴の画素に第2のスキンを適用することができる。スキンは、画像データ中の画素を修正することができる。プロセッサは、第1または第2のスキンの実行を評価するために使用することができる評価画像データを受け取ることができる。評価画像データは、第2の時間のインスタンスにおける実物体に対応することができる。プロセッサは、拡張データと異なる評価データを発生するために、評価画像データに対して第1のスキンを適用することができ、そのスキンは、メモリ中で入手できるスキンのすべてより少なくなり得る。評価データは、拡張データと異なることがある、というのは第2のスキンが適用されていないからである。ユーザは、ユーザが各スキンの実行を評価することができるように、拡張現実スキンのいくらか、ただしすべてでなく、その実行を見直すことができる。
【0013】
図1は、本明細書に述べる少なくともいくつかの実施形態によって構成される、拡張現実スキンの評価を実施するために利用することができるシステム例100を例示する。システム100は、拡張現実装置108を含むことができる。拡張現実装置108は、プロセッサ110、メモリ112、拡張現実表示装置114および/またはカメラ116を含むことができる。拡張現実装置108は、たとえば携帯電話、タブレットコンピュータおよび/または拡張現実眼鏡などのウエアラブルデバイスとすることができる。プロセッサ110は、メモリ112、拡張現実表示装置114および/またはカメラ116と通信状態にあるように構成することができる。
【0014】
カメラ116は、所定の時間のインスタンスに実物体104から反射された光を捕らえるように構成することができ、それに応じて初期画像データ144を発生することができる。初期画像データ144は、拡張現実表示装置114上で描画されるとき、初期画像146を生成することができる。プロセッサ110は、拡張データ128を生成するために、スキン(以下で議論する)を適用することなどによって、初期画像データ144を処理することができる。拡張データ128は、拡張現実表示装置114上で描画されるとき、実物体104をオーバーレイすることができる拡張画像138を生成することができる。別の例では、カメラ116は、評価画像データ148を発生することができる。評価画像データ148は、拡張現実表示装置114上で描画されるとき、評価画像160を生成することができる。
【0015】
メモリ112は、評価アプリケーション142および/または1つまたは複数のスキン122、124、126を格納することができる。評価アプリケーション142は、以下でより詳細に述べるように、スキン122、124、126の間の1つまたは複数のスキンの評価を容易にする命令を含むことができる。スキンは、たとえば、拡張データ128を生成するために、初期画像データ144に適用される命令および/またはデータとすることができる。拡張データ128は、プロセッサ110によるスキン122、124、126の実行の結果とすることができる。プロセッサ110によるスキン122、124、126の実行は、中間データ、最終的には拡張データ128を発生するために、初期画像データ144にスキン122、124、126を適用することを含むことができる。拡張データ128は、拡張現実表示装置114上で描画されるとき、実物体104上にオーバーレイされた拡張画像138を生成することができる。初期画像データ144へのスキン122、124、126の適用に先立ち、プロセッサ110は、メモリ112中に初期画像データ144を格納することができる。
【0016】
スキン122、124、126中のデータは、仮想物体132、134、136のそれぞれに対応する、画素値など、画像データとすることができる。スキン122、124、126中の命令は、画像データ146中または中間データ中で基準ポイントを識別することに(以下で述べる)、および/または基準ポイントに関連する画素をそれぞれのスキンデータに替えることに有効なプロシージャとすることができる。例では、スキンは、画像データ中で唇(基準ポイント)を識別し、画像データの一部をその基準ポイントと関連付け、唇(基準ポイント)に関連する画素を口髭(スキンデータ)に替えることができる。メモリ112は、命令120をさらに格納することができる。命令120は、スキン122、124、126に対応する処理シーケンスを含むことができる。たとえば、命令120は、第1の中間データを生成するために、初期画像データ144に最初にスキン122を適用し、次いで、第2の中間データを生成するために、第1の中間データにスキン126を適用し、次いで、拡張データ128または評価画像データ148を生成するために、第2の中間データにスキン124を適用するように、プロセッサ110に命令することができる。
【0017】
ユーザ102は、拡張現実装置108を装着する、またはユーザ102の目と実物体104の間に拡張現実装置108を位置付けることなどによって、拡張現実装置108を使用して視線101に沿って実物体104を眺めることができる。ユーザ102は、拡張現実表示装置114上で、実物体104をオーバーレイする拡張画像138を視線101に沿って見ることができる。
【0018】
ユーザ102が、拡張現実装置108を使用して実物体104を眺めているとき、ユーザ102は、拡張画像138中で特徴を識別することができ、その特徴に関する特定のスキンを識別したいと望むことがある。特徴に関する特定のスキンの識別によって、ユーザが、不適切に実行しているスキンを識別することが可能になる。たとえば、特徴は、拡張画像138の好ましくない性質または属性のものとすることができる。好ましくない性質または属性の例は、人の画像をオーバーレイするどぎつい仮想の口紅であり得る。特定の特徴または属性を識別するために、ユーザ102は、音声入力によって、または拡張現実装置108のインターフェースを使用することによってなどで、プロセッサ110に評価リクエスト140を送ることができる。評価リクエスト140を受け取ったことに応答して、プロセッサ110は、メモリ112中の評価アプリケーション142を実行することができる。評価アプリケーション142の実行の間、プロセッサ110は、拡張現実表示装置114上に評価インターフェース150を発生することができる。
【0019】
プロセッサ110は、評価アプリケーション142を実行する間、ユーザ入力170に応答して、所定の時点に実物体104から反射された光を捕らえ、実物体104に対応する評価画像データ148を発生するように、カメラ116に命令することができる。プロセッサ110は、カメラ116から評価画像データ148を受け取ることができ、メモリ112中に評価画像データ148を格納することができる。プロセッサ110は、評価画像データ148にスキン122、124、126の1つまたは複数を適用することができる。プロセッサ110は、評価データ158を生成するために、命令120で定められた処理シーケンスに基づきスキン122、124、126を適用することができる。評価データ158は、拡張現実表示装置114上で描画されるとき、評価インターフェース150中に評価画像160を生成することができる。評価画像160は、1つまたは複数、ただし恐らくメモリ112中に格納されたスキンの全数より少ないスキンの評価画像データ148に対する適用の結果を表すことができる。
【0020】
以下でより詳細に議論するように、別の例では、ユーザ102は、不要な特徴、性質または属性を有する拡張画像138の領域を識別することができる。ユーザ102は、その領域を識別するように、ユーザ入力をプロセッサ110に送ることができる。プロセッサ110は、領域を識別し、その領域中に基準ポイントを有する特定のスキンを識別することができ、そして、それらのスキンは、不要な特徴、性質または属性をもたらしている恐れがある。プロセッサ110は、評価データ158を発生するために、評価画像データ148にその特定のスキンを適用することができる。プロセッサ110は、拡張現実表示装置114上で評価データ158を描画することによって、評価画像160を生成することができる。プロセッサ110が評価画像160を生成することに応答して、ユーザ102は、特定のスキンを識別するために、評価インターフェース150を使用して評価画像160を見直すことができる。
【0021】
すべてのスキンが適用された場合、評価画像160は、拡張現実表示装置114上で眺めたとき、実物体104を覆う拡張画像138に似ていることがあり得る、というのは、評価画像160が、実物体104に対応する初期画像データ144および適用されたスキンを含むからである。評価インターフェース150は、表示領域152および評価領域154を含むことができる。表示領域152は、評価画像160を表示することができる。評価領域154は、以下により詳細に述べるように、表示領域152中に表示された評価画像160に基づく1つまたは複数のスキンのユーザ102による評価を容易にする構成要素を含むことができる。
【0022】
図2は、本明細書に述べる少なくともいくつかの実施形態によって構成される、評価インターフェースに関する細部が追加された図1のシステム例100を例示する。図2は、図1のシステム100と実質的に同様であり、細部を追加したものである。図1の構成要素と同一であると分類される図2のそれら構成要素は、明瞭にする目的で再び述べないことにする。
【0023】
上記で議論したように、プロセッサ110は、評価インターフェース150を発生することができる。評価インターフェース150は、表示領域152および評価領域154を含むことができる。表示領域152は、プロセッサ110によって生成された評価画像160を表示することができる。評価領域154は、スライダ230、スキントラッカ234およびボタン240などの1つまたは複数のボタンを含むことができる。拡張現実スキンの評価の実行形態例は、評価インターフェース150の評価領域154中のスライダ230、スキントラッカ234およびボタン240など、構成要素の動作に基づくことができる。
【0024】
スライダ230は、開始点210および終点220など、ポイントを含むことができる。ポイント数は、メモリ112中に格納されたスキンの総数に基づき開始点210と終点220の間で定めることができる。例では、メモリ112は、計3つのスキン(スキン122、124、126)を格納することができる。評価アプリケーション142は、開始点210と終点220の間でスライダ230上に2つのポイント214、216を定めるようにプロセッサに命令する命令を含むことができる。開始点210と終点220の間のポイント数は、メモリ112への、および/またはそれからのスキンの追加および/または除去に応じて、変えることができる。開始点210、終点220およびポイント214、216は、それぞれが間隔212によって隔てることができる。間隔212の大きさは、メモリ112中に格納されたスキンの数に基づき変えることができる。いくつかの例では、開始点210、終点220および/またはポイント214、216は、評価インターフェース150が拡張現実表示装置114上に表示されたとき、ユーザが見ることができる。いくつかの例では、開始点210、終点220および/またはポイント214、216は、評価インターフェース150が拡張現実表示装置114上に表示されたとき、ユーザが見ることができないことがある。
【0025】
マーカ232は、開始点210と終点220の間で第1の方向202または第2の方向204にスライダ230に沿って移動することができる。いくつかの例では、拡張現実装置108は、スライダ230に沿ってマーカ232を移動するために、ボタンなど、ユーザインターフェースを含むことができる。いくつかの例では、ユーザ102は、スライダ230に沿って移動するようにマーカ232に命令するために、音声入力を与えることができる。マーカ232は、ユーザ入力170に基づきスライダ230上で開始点210、終点220、ポイント214またはポイント216に移動することができる。
【0026】
マーカ232の移動または配置は、スキン数評価信号を生成するのに有効であり得る。プロセッサ110は、スキン数評価信号を受け取って処理し、そしてスキン数評価信号に対応して評価画像データ158にいくつかのスキンを適用することができる。たとえば、第1の方向202におけるマーカ232の移動によって、プロセッサ110が評価画像データ148に適用するスキンの数を増加させることができる。第2の方向204におけるマーカ232の移動によって、プロセッサ110が評価画像データ158に適用するスキンの数を減少させることができる。また、評価画像160は、評価画像データ148に適用されるスキンの数の変更に応じて変えることができる。プロセッサ110が評価インターフェース150を出力したとき、マーカ232は、スライダ230上で、開始点210など、デフォルトポイントに移動させることができる。
【0027】
例では、メモリ112中の命令120は、スキン122を、次いでスキン126を、次いでスキン124を初期画像データ144に適用する処理シーケンスを含むことができる。ユーザ102は、拡張画像138中で望ましくない特徴を識別することができていて、スキン122、126および124の適用を評価したいと望むことがある。ユーザ102は、スキンの評価を求めてプロセッサ110に評価リクエスト140を送ることができる。評価リクエスト140の受け取りに応答して、プロセッサ110は、実物体104から反射された光を捕らえて評価画像データ148を発生するように、カメラ116に命令することができる。また、評価リクエスト140の受け取りに応答して、プロセッサ110は、評価画像データ148に基づき評価画像160を描画することができ、拡張現実表示装置114上に評価インターフェース150を出力することができる。当初、マーカ232は、開始点210に位置付けることができ、評価画像160は、スキンが適用されていない画像とすることができる。いくつかの例では、評価画像160は、マーカ232が開始点210に位置付けられたとき、初期画像146と似ていることがあり得る。
【0028】
ユーザ102は、ユーザ入力170を生成するために、第1の方向202または第2の方向204にマーカ232を移動することができる。ユーザ102がポイント214でマーカ232の移動を停止した場合、ユーザ入力170は、ポイント214の指標を含むことができる。プロセッサ110は、ユーザ入力170を受け取ることができる。プロセッサ110は、ユーザ入力170を解析することができ、ポイント214の指標を識別することができる。解析に応じて、プロセッサ110は、評価データ158を発生するために、評価画像データ148にスキン122を適用することができる。評価データ158は、評価画像160を生成するために、拡張現実表示装置114上で描画することができる。評価画像160は、表示領域152中に表示することができ、実物体104を覆う仮想物体132(眼帯)と似る画像になり得る(ポイント214からの破線矢印によって図示されるように)。ユーザ102がポイント216でマーカ232の移動を停止した場合、ユーザ入力170は、ポイント216の指標を含むことができる。プロセッサ110は、ユーザ入力170を受け取ることができ、ユーザ入力170を解析することができ、ポイント216の指標を識別することができる。解析に応じて、プロセッサ110は、評価データ158を発生するために、評価画像データ148にスキン122、126を適用することができる。評価画像160は、表示領域152中に表示することができ、実物体104を覆う仮想物体132、136(眼帯および髪)と似る画像になり得る。
【0029】
例では、ユーザ102は、第1の方向202で終点220にマーカ232を移動し続けることができる。ユーザ102は、スキン122、124、126が実物体104を覆っている評価画像160を見ることができる。ユーザ102は、スキン122、126を評価するために、第2の方向204でポイント214にマーカ232を移動することができる。
【0030】
マーカ232がポイント216にあるとき、評価画像160は、スキン122、126の適用を評価するために使用することができる。ユーザ102は、スキン122、126に対する評価プロセスを開始するために、ボタン240を選択することができる。評価プロセス例は、スキン122、126の間で1つまたは複数のスキンを再配置し、サイズを変更し、または除去することができる。いくつかの例では、ユーザ102は、特定のスキンを適用すべきとき、その条件または状態を示すことができる。いくつかの例では、ユーザ102は、評価画像に影響を及ぼし修正して描画するために、スキンのいくつかの属性を変更することができる。
【0031】
スキントラッカ234の値は、マーカ232の位置に基づき修正することができ、命令120によって定められた処理シーケンス中の評価画像データ158に適用されるスキンの数を示すのに有効であり得る。たとえば、スキントラッカ234は、マーカ232がポイント214に移動されたとき、値を1/3とすることができ、インディケータがポイント216に移動されたとき、値を2/3とすることができる(図示されるように)。
【0032】
図3は、本明細書に述べる少なくともいくつかの実施形態によって構成される、評価インターフェース中の選択領域に関する細部が追加された図1および2のシステム例を例示する。図3は、細部が追加された図1および2のシステム100と実質的に同様である。図1および2の構成要素と同一であると分類される図3中のそれら構成要素は、明瞭にする目的で再び述べないことにする。
【0033】
拡張現実スキンの評価システム100の実行形態例は、評価画像160中での領域の選択に基づくことができる。評価インターフェース150は、ポインタ310をさらに表示することができる。ポインタ310は、評価インターフェース150の境界内で移動可能とすることができる。いくつかの例では、拡張現実装置108は、ユーザ102がポインタ310を制御するために、ボタンなどのユーザインターフェースを含むことができる。いくつかの例では、ユーザ102は、ポインタ310を制御するために、音声入力を与えることができる。ユーザ102は、選択情報300を生成するために、ポインタ310を使用することができる。選択情報300は、評価画像160の領域に対応するデータを含むことができる。
【0034】
図示される例では、ユーザ102は、プロセッサ110に評価リクエスト140を送ることができる。評価リクエスト140の受け取りに応答して、プロセッサ110は、実物体104から反射された光を捕らえて評価画像データ148を発生するように、カメラ116に命令することができる。また、評価リクエスト140の受け取りに応答して、プロセッサ110は、評価画像データ148に基づき評価画像160を描画することができ、拡張現実表示装置114上に評価インターフェース150を出力することができる。評価画像160は、メモリ112中のすべてのスキンの適用を含むことができる。当初、ポインタ310は、評価インターフェース150の境界内で任意の位置にあることができる。いくつかの例では、評価インターフェース150の評価領域154は、ユーザ102に当初見えないことがある。評価画像160は、スキン122、124、126が適用された画像とすることができ、マーカ232は、終点220に当初位置付けることができる。
【0035】
ユーザ102は、評価画像160中で領域320を識別するために、ポインタ310を移動することができる。ユーザ102は、領域320のまわりである形状を指す、または描くことなどによって、領域320を識別する選択情報300を生成することができる。プロセッサ110は、選択情報300を受け取ることができ、基準ポイントが領域320中にあるスキンを識別するために、メモリ112を解析することができる。本明細書に議論するように、スキンは、画像データ中で基準ポイントを識別し、基準ポイントに関連する画素をスキンデータに替えるように構成することができる。図示される例では、プロセッサ110は、領域320中に基準ポイントを有するものとしてスキン122、126を識別することができる。プロセッサ110は、スキン122および126の見直しを容易にするために、評価画像160(示すように)および評価領域154を含むように、評価インターフェース150を更新することができる。スキントラッカ234、スライダ230、開始点210および終点220は、メモリ110中の他のスキンには実施しないが、スキン122および126の見直しおよびナビゲーションを反映するように更新することができる。プロセッサ110は、拡張現実表示装置114上に評価インターフェース150を出力することができる。当初、マーカ232は、開始点210に位置付けることができる。ユーザ102は、ユーザ入力170を生成するために、第1の方向202または第2の方向204にマーカ232を移動することができる。
【0036】
ユーザ102は、第1の方向202でポイント214にマーカ232を移動することができる。マーカ232がポイント214で止められたとき、ユーザ入力170は、ポイント214の指標を含むことができる。プロセッサ110は、ユーザ入力170を受け取ることができ、評価データ158を発生するために、評価画像データ148にスキン122を適用することができる。評価データ158は、評価画像160を生成するために、拡張現実表示装置114上で描画することができる。評価画像160は、表示領域152中に表示することができ、実物体104を覆う仮想物体132(眼帯)と似る画像になり得る。
【0037】
ユーザ102は、ここでは終点220と同じであるポイント216に第1の方向202でマーカ232を移動し続けることができる。プロセッサ110は、ユーザ入力170を受け取ることができ、評価データ158を発生するために、評価画像データ148にスキン122、126を適用することができる。評価画像160は、表示領域152中に表示することができ、実物体104を覆う仮想物体132、136(眼帯および髪)と似る画像になり得る。ユーザ102は、スキン126が不要な特徴を含んでいると決定することができ、ボタン240の選択などによって、評価インターフェース150を使用してデバッグする、スキン126を再適用する、または仮想物体136を操作するなどの処理をさらに実施するように、プロセッサ110に命令することができる。
【0038】
いくつかの例では、ユーザ102は、評価するスキンの数を削減するために、領域320の広さを減少させるように、プロセッサ110に要求することができる。いくつかの例では、領域320は、評価インターフェース150上でユーザ102が見ることができる。いくつかの例では、領域320は、評価インターフェース150上でユーザ102が見ることができないことがある。
【0039】
図4は、本明細書に述べる少なくともいくつかの実施形態によって構成される、中間画像がメモリ中に格納される実行形態例に関する細部が追加された図1、2および3のシステム例を例示する。図4は、細部が追加された図1、2および3のシステム100と実質的に同様である。図1、2および3の構成要素と同一であると分類される図4のそれら構成要素は、明瞭にする目的で再び述べないことにする。
【0040】
別の例では、以下により詳細に議論するように、プロセッサ110は、スキンの適用によって生成された中間画像または中間画像の間の差を格納することができる。これらの中間画像または差は、スキン中で不要な特徴または属性を識別するために、ユーザが見直すことができる。中間画像は、所定の期間、たとえば1分間格納することができ、次いで、新しい中間画像または差が古い中間画像を上書きすることができる。プロセッサ110は、カメラ116から画像データを受け取ることができる。プロセッサ110は、第1の中間画像データを発生するために、受け取った画像データに第1のスキンを適用することができる。プロセッサ110は、第2の中間画像データを発生するために、第1の中間画像データに第2のスキンを適用することができる。次いで、プロセッサ110は、拡張データのフレームを生成するために、命令120中で処理シーケンスの最後のスキンが適用されるまで、先行する中間画像データにそれに続くスキンを適用し続けることができる。拡張データは、拡張画像のフレームを生成するように描画することができる。プロセッサ110は、それぞれ発生された中間画像データまたは中間データの間の差、および拡張データのフレームをメモリ112中に格納することができる。ユーザ102は、メモリ112中に格納されたフレーム中をナビゲートすることができ、評価するフレームを選択することができる。フレームを選択したとき、ユーザ102は、興味あるスキンを評価するために、選択されたフレームに関する中間画像または差の中をナビゲートすることができる。
【0041】
図示される例では、実物体404は、実物体104に隣接していることができる。ユーザ102は、拡張現実装置108を使用したとき、実物体104、404を眺めることができる。拡張現実装置108のカメラ116は、実物体104、404から反射された光を捕らえるように構成することができ、それぞれの画像データを発生することができる。たとえば、カメラ116は、1秒間に60個の画像データを発生するように構成することができる。プロセッサ110は、カメラ116から発生された特定の画像データを読み出すように構成することができる。たとえば、プロセッサ110は、カメラ116によって発生された10個の画像データ毎に、たとえば第1番目の、第11番目の、第21番目のデータなど、1個の画像データを読み出すように構成することができる。いくつかの例では、ユーザ102は、カメラ116の動作速度を修正することができ、プロセッサ110がカメラ116から画像データを読み出す速度を修正することができる。
【0042】
この例では、ユーザ102は、視線101に沿って実物体404を眺めるために、拡張現実装置108を使用していてよい。カメラ116は、第1の時間のインスタンスに第1の画像データ410を発生することができる。第1の画像データ410は、拡張現実表示装置114などの上で描画されるとき、第1の画像412を生成することができる。プロセッサ110は、カメラ116から第1の画像データ410を読み出すことができる。プロセッサ110は、命令120中で処理シーケンスを解析することができ、メモリ112からスキン122を読み出すことができる。プロセッサ110は、第1の画像データ410中でスキン122に関連する基準ポイントの有無を決定することができる。プロセッサ110は、命令120中で処理シーケンスを解析し続けてスキン126、124を読み出し、第1の画像データ410へのスキン126、124の適用を試みることができる。プロセッサ110は、第1の画像データ410に適用することができるスキンが、もうメモリ112中に格納されていないと決定することができる。いくつかの例では、第1の画像データ410に適用することができるスキンがもうないという決定に応答して、プロセッサ110は、第1の画像データ410に対応するフレーム418を発生することができる。プロセッサ110は、メモリ112中にフレーム418を格納することができる。いくつかの例では、第1の画像データ410に適用することができるスキンがもうないという決定に応答して、プロセッサ110は、フレーム418を発生して格納する代わりに、それに続く画像データを処理し続けることができる。
【0043】
この例では、所定の期間の後、実物体404と実物体104の間の位置に視線101を向けることができる。カメラ116は、第2の画像データ420を発生することができる。プロセッサ110は、カメラ116から第2の画像データを読み出すことができる。第2の画像データ420は、拡張現実表示装置114などの上で描画されるとき、第2の画像422を生成することができる。プロセッサ110は、命令120中で処理シーケンスを解析することができ、メモリ112からスキン122を読み出すことができる。プロセッサ110は、第2の画像データ420中でスキン122に関連する基準ポイントの有無を決定することができる。プロセッサ110は、命令120中で処理シーケンスを解析し続けてスキン126、124を読み出し、第2の画像データ430へのスキン126、124の適用を試みることができる。プロセッサ110は、第2の画像データ420に適用することができるスキンが、もうメモリ112に格納されていないと決定することができる。いくつかの例では、第2の画像データ420に適用することができるスキンがもうないという決定に応答して、プロセッサ110は、第2の画像データ420に対応するフレーム428を発生することができる。プロセッサ110は、メモリ112中にフレーム428を格納することができる。いくつかの例では、第2の画像データ420に適用することができるスキンがもうないという決定に応答して、プロセッサ110は、フレーム428を発生して格納する代わりに、それに続く画像データを処理し続けることができる。
【0044】
別の期間が経過した後、実物体104に視線101を向けることができる。カメラ116は、第3の画像データ430を発生することができる。プロセッサ110は、カメラ116から第3の画像データ430を読み出すことができる。第3の画像データ430は、拡張現実表示装置114上で描画されるとき、第3の画像432を生成することができる。プロセッサ110は、命令120中で処理シーケンスを解析することができ、メモリ112からスキン122を読み出すことができる。プロセッサ110は、第3の画像データ430中で第1の基準ポイント(たとえば実物体104の目)を識別することができる。プロセッサ110は、第3の画像データ430にスキン122を適用することができ、それに応じて中間画像データ433を発生することができる。中間画像データ433は、拡張現実表示装置114上で描画されるとき、中間画像434を生成することができる。プロセッサ110は、命令120中に中間画像データ433を格納することができる。
【0045】
プロセッサ110は、命令120中で処理シーケンスを解析することができ、メモリ112からスキン126を読み出すことができる。プロセッサ110は、中間画像データ433中で第2の基準ポイント(たとえば実物体104の額)を識別することができる。プロセッサ110は、中間画像データ433にスキン126を適用することができ、それに応じて中間画像データ435を発生することができる。中間画像データ435は、拡張現実表示装置114上で描画されるとき、中間画像436を生成することができる。プロセッサ110は、メモリ112中に中間画像データ435を格納することができる。
【0046】
同様に、プロセッサ110は、命令120中で処理シーケンスを解析することができ、メモリ112からスキン124を読み出すことができる。プロセッサ110は、中間画像データ435中で第3の基準ポイント(たとえば実物体104の口もと)を識別することができる。プロセッサ110は、中間画像データ435にスキン124を適用することができ、それに応じて中間画像データ437を発生することができる。プロセッサ110は、スキン124が命令120の処理シーケンス中で最後のスキンであると決定することができる。中間画像データ437は、拡張現実表示装置114上で描画されるとき、フレーム438を生成することができる。プロセッサ110は、メモリ112中に中間画像データ437を格納することができる。プロセッサ110は、第3の画像データ430に対して影響を及ぼさないスキンに関する画像データを発生する必要がない。
【0047】
この例では、ユーザ102は、拡張現実表示装置114上に示された特定のフレームおよび/またはスキンを評価したいと望むことがある。ユーザ102は、プロセッサ110に評価リクエスト140を送ることができる。評価リクエスト140の受け取りに応答して、プロセッサ110は、拡張現実表示装置114にプレゼンテーション450を出力することができる。いくつかの例では、プレゼンテーション450は、フレーム418、428、438を含むビデオとすることができる。ユーザ102は、拡張現実表示装置114上でプレゼンテーション450を眺めることができる。いくつかの例では、ユーザ102は、拡張現実表示装置114上に表示されたビデオ再生インターフェースなどを使用することによってプレゼンテーション450を眺めたとき、フレーム418、428、428の間を移動することができる。プレゼンテーション450の長さは、評価リクエスト140に基づき修正することができる。たとえば、ユーザ102は、過去の5秒、10秒または1分間などのフレームを評価したいと要求することができる。
【0048】
ユーザ102がプレゼンテーション450を眺めているとき、ユーザ102は、フレーム438など、プレゼンテーション450中の特定のフレームを評価したいと望むことがある。ユーザ102は、プレゼンテーション450中でフレーム438を選択することなどによって選択情報400を生成することができる。選択情報400は、フレーム438の指標を含むことができる。プロセッサ110は、ユーザ102から選択情報400を受け取ることができる。選択情報400の受け取りに応答して、プロセッサ110は、選択情報400中でフレーム438の指標を識別することができ、評価データ158を発生することができる。
【0049】
この例では、ユーザ102は、フレーム438を評価するために、評価インターフェース150を使用することができる。当初、マーカ232は、終点220に位置付けることができ、評価画像160は、フレーム438に対応することができる。ユーザ102は、ユーザ入力170を生成するために、第1の方向202または第2の方向204にマーカ232を移動することができる。ユーザ102がポイント214で移動を止めた場合、ユーザ入力170は、3つのスキンの1つの適用に対応するポイント214の指標を含むことができる。プロセッサ110は、ユーザ入力170を解析することができ、ポイント214の指標を識別することができる。その解析に応答して、プロセッサ110は、メモリ112から中間画像データ435を読み出すことができ、表示領域152中に中間画像436を出力することができる。3つのスキンの2つの適用に対応するポイント216で、ユーザ102がマーカ232の移動を止めた場合、ユーザ入力170は、ポイント216の指標を含むことができる。プロセッサ110は、ユーザ入力170を解析することができ、ポイント216の指標を識別することができる。その解析に応答して、プロセッサ110は、メモリ112から中間画像データ435を読み出すことができ、表示領域152中に中間画像436を出力することができる。ユーザ102は、フレーム438に関する1つまたは複数のスキンを評価するために、マーカ232を移動し続けることができる。
【0050】
図5は、本明細書に述べる少なくともいくつかの実施形態によって構成される、中間画像の間の差がメモリ中に格納される別の実行形態例に関する細部が追加された図1、2、3および4のシステム例を例示する。図5は、細部が追加された図1、2、3および4のシステム100と実質的に同様である。図1、2、3および4の構成要素と同一であると分類される図5のそれら構成要素は、明瞭にする目的で再び述べないことにする。
【0051】
別の例では、以下でより詳細に議論するように、プロセッサ110は、スキンの適用によって生成された中間画像の間の、または中間画像と初期画像の間の差を格納することができる。これらの差は、スキン中で不要な特徴または属性を識別するために、ユーザが見直すことができる。プロセッサ110は、第1の中間画像データを発生するために、受け取った画像データに第1のスキンを適用することができる。プロセッサ110は、第1の中間画像データと受け取った画像データの間の第1の差画像データを決定することができる。プロセッサ110は、メモリ112中に第1の差画像データを格納することができる。プロセッサ110は、第2の中間画像データを発生するために、第1の中間画像データに第2のスキンを適用することができる。プロセッサ110は、第1の中間画像データと第2の中間画像データの間で第2の差画像データを決定することができる。プロセッサ110は、メモリ112中に第2の差画像データを格納することができる。プロセッサ110は、拡張データのフレームを生成するために、最後のスキンが適用されるまで、先行する中間画像データにそれに続くスキンを適用し続けることができる。最後のスキンの適用に応答して、プロセッサ110は、フレームを発生することができ、メモリ112中に発生されたフレームを格納することができる。プロセッサ110によって決定された各差画像データも、メモリ112中に格納することができる。ユーザ102は、評価するフレームを選択するために、メモリ112中に格納されたフレーム中をナビゲートすることができる。フレームの選択に応答して、ユーザ102は、選択されたフレームに関する特定のスキンを評価するために、評価インターフェース150を使用することができる。中間画像データの代わりに差画像データを格納すると、メモリ112中に格納されるデータ量を減少させることができる。
【0052】
この例では、プロセッサ110は、カメラ116から第1の画像データ410を読み出すことができる。プロセッサ110は、第1の画像データ410に適用することができるスキンが、もうメモリ112中に格納されていないと決定することができる。第1の画像データ410に適用することができるスキンがもうないという決定に応答して、プロセッサ110は、差画像データを発生することができないと決定することができる。
【0053】
プロセッサ110は、カメラ116から第2の画像データ420を読み出し続けることができる。プロセッサ110は、第2の画像データ420に適用することができるスキンが、もうメモリ112中に格納されていないと決定することができる。第2の画像データ420に適用することができるスキンがもうないという決定に応答して、プロセッサ110は、差画像データを発生することができないと決定することができる。プロセッサ110は、カメラ116から第3の画像データ430を読み出し続けることができる。
【0054】
プロセッサ110がカメラ116から第3の画像データ430を読み出すことに応答して、プロセッサ110は、命令120中で処理シーケンスを解析することができる。プロセッサ110は、メモリ112からスキン122を読み出すことができる。プロセッサ110は、第3の画像データ430中で第1の基準ポイント(実物体104の目)を識別することができる。プロセッサ110は、第3の画像データ430にスキン122を適用することができ、それに応じて中間画像データ433を発生することができる。プロセッサ110は、中間画像データ433から第3の画像データ430を引くことなどによって差画像データ533を決定することができる。差画像データ533は、プロセッサ110などによって描画されるとき、差画像534を生成することができる。プロセッサ110は、メモリ112中に差画像データ533を格納することができる。
【0055】
プロセッサ110は、命令120中で処理シーケンスを解析することができ、メモリ112からスキン126を読み出すことができる。プロセッサ110は、中間画像データ433中で第2の基準ポイント(実物体104の額)を識別することができる。プロセッサ110は、中間画像データ433にスキン126を適用することができ、それに応じて中間画像データ435を発生することができる。プロセッサ110は、中間画像データ435から中間画像データ433を引くことなどによって差画像データ535を決定することができる。差画像データ535は、プロセッサ110によって描画されるとき、差画像536を生成することができる。プロセッサ110は、メモリ112中に差画像データ535を格納することができる。
【0056】
同様に、プロセッサ110は、命令120中で処理シーケンスを解析することができ、メモリ112からスキン124を読み出すことができる。プロセッサ110は、中間画像データ435中で第3の基準ポイント(実物体104の口もと)を識別することができる。プロセッサ110は、中間画像データ435にスキン124を適用することができ、それに応じて中間画像データ437を発生することができる。プロセッサ110は、中間画像データ437から中間画像データ435を引くことなどによって差画像データ537を決定することができる。差画像データ537は、プロセッサ110などによって描画されるとき、差画像538を生成することができる。プロセッサ110は、スキン124が命令120の処理シーケンス中で最後のスキンであると決定することができる。スキン124が処理シーケンス中で最後のスキンであるという決定に応答して、プロセッサ110は、フレーム540を発生することができる。また、プロセッサ110は、メモリ112中に差画像データ537およびフレーム540を格納することができる。
【0057】
この例では、ユーザ102は、特定のスキンを評価したいと望むことがある。ユーザ102は、プロセッサ110に評価リクエスト140を送ることができる。評価リクエスト140の受け取りに応答して、プロセッサ110は、拡張現実表示装置114にプレゼンテーション450を出力することができる。ユーザ102は、拡張現実表示装置114上でプレゼンテーション450を眺めることができる。プレゼンテーション450は、フレーム540など、1つまたは複数のフレームを含むことができる。ユーザ102は、プレゼンテーション450中の1つまたは複数のフレームの間でフレーム540を選択することなどによって選択情報400を生成することができる。プロセッサ110は、ユーザ102から選択情報400を受け取ることができる。選択情報400の受け取りに応答して、プロセッサ110は、評価データ158を発生することができる。評価データ158は、フレーム540の指標を含むことができる。プロセッサ110は、評価インターフェース150を出力することができ、表示領域152中に評価画像160を表示するために、拡張現実表示装置114に評価データ158を送ることができる。
【0058】
例では、ユーザ102は、フレーム540を評価するために、評価インターフェース150を使用することができる。当初、マーカ232は、終点220に位置付けることができ、評価画像160は、差画像538に対応することができる。ユーザ102は、ユーザ入力170を生成するために、第1の方向202または第2の方向204にマーカ232を移動することができる。ユーザ102がポイント214でマーカ232の移動を止めた場合、ユーザ入力170は、ポイント214の指標を含むことができる。プロセッサ110は、ユーザ入力170を解析することができ、ポイント214の指標を識別することができる。解析に応答して、プロセッサ110は、メモリ112から差画像データ533を読み出すことができ、表示領域152中に差画像534を出力することができる。ユーザ102がポイント216でマーカ232の移動を止めた場合、ユーザ入力170は、ポイント216の指標を含むことができる。プロセッサ110は、ユーザ入力170を解析することができ、ポイント216の指標を識別することができる。解析に応答して、プロセッサ110は、メモリ112から差画像データ535を読み出すことができ、表示領域152中に差画像536を出力することができる。ユーザ102は、フレーム538に関する1つまたは複数のスキンを評価するために、マーカ232を移動し続けることができる。
【0059】
いくつかの例では、プロセッサ110は、メモリ112中に格納された視線追跡アプリケーション580に基づき画像データおよび/またはフレームの一部分を格納するように構成することができる。視線追跡アプリケーション580は、プロセッサ110にユーザ102の1つまたは複数の目を追跡させる命令を含むことができる。プロセッサ110は、拡張現実表示装置114の境界内で領域582を識別するために、ユーザ102の目を追跡することができる。例では、ユーザ102が拡張現実装置108を使用して実物体104を眺めているとき、領域582は、図示されるように実物体104の額および口もとなど、基準ポイントを含むことができる。視線追跡アプリケーション580中の命令に基づき、プロセッサ110は、その基準ポイントが領域582内にあるスキンを含む中間画像データまたは差画像データを格納することができる。いくつかの例では、プロセッサ110は、メモリ112中に格納されるデータの量を減少させるために、メモリ112中に格納される画像データの一部分の、解像度など、画像の性質を低下させることができる。たとえば、中間画像データまたは差画像データを格納するとき、プロセッサ110は、領域582の外側にある画素の解像度を低下させることができる。
【0060】
他の可能な利点の中でもとりわけ、本開示によるシステムによって、ユーザが拡張現実スキンを評価することが可能になる。また、システムによって、ユーザが拡張現実スキンをデバッグすることが可能になる。また、システムは、拡張現実装置のユーザにセキュリティをもたらすことができる。システムがスキン適用に関する画像データを格納するように構成される例では、拡張現実装置のユーザは、現在の見える拡張画像が疑わしいものなのかどうかを決定するために、拡張現実表示装置上で見られる先行するフレームを評価することができる。
【0061】
図6は、本明細書に提示する少なくともいくつかの実施形態によって構成される、拡張現実スキンの評価を実施するためのプロセス例に関するフロー図を例示する。図6のプロセスは、たとえば上記で議論したシステム100を使用して実施することができるはずである。プロセス例は、ブロックS2、S4、S6、S8、S10、S12および/またはS14の1つまたは複数によって例示されるような1つまたは複数の動作、処置または機能を含むことができる。様々なブロックが個別のブロックとして例示されているが、ブロックは、所望の実行形態に依存して、さらなるブロックに分ける、より少ないブロックに組み合わせる、または削除することができる。
【0062】
処理は、ブロックS2「プロセッサによって、第1の時間のインスタンスに初期画像データを受け取る、その初期画像データは、実物体に対応することができる」から始まることができる。ブロックS2で、プロセッサは、第1の時間のインスタンスに初期画像データを受け取ることができる。初期画像データは、実物体に対応することができる。
【0063】
処理は、ブロックS2からブロックS4「プロセッサによって、中間データを生成するために、初期画像データに第1のスキンを適用する」に続くことができる。ブロックS4で、プロセッサは、中間データを生成するために、初期画像データに第1のスキンを適用することができる。第1のスキンは、命令およびスキンデータを含むことができる。
【0064】
処理は、ブロックS4からブロックS6「プロセッサによって、拡張データを生成するために、中間データに第2のスキンを適用する」に続くことができる。ブロックS6で、プロセッサは、拡張データを生成するために、中間データに第2のスキンを適用することができる。
【0065】
処理は、ブロックS6からブロックS8「プロセッサによって、第2の時間のインスタンスに評価画像データを受け取る、評価画像データは、実物体に対応することができる」に続くことができる。ブロックS8で、プロセッサは、第2の時間のインスタンスに評価画像データを受け取ることができる。評価画像データは、実物体に対応することができる。
【0066】
処理は、ブロックS8からブロックS10「プロセッサによって、第1のスキンの指標を含む入力を受け取る」に続くことができる。ブロックS10で、プロセッサは、第1のスキンの指標を含む入力を受け取ることができる。いくつかの例では、入力は、評価画像データ中の領域のIDを含むことができる。いくつかの例では、入力は、ユーザインターフェースにおけるマーカの位置を含むことができる。いくつかの例では、入力の受け取りに先立ち、プロセッサは、拡張データに基づき拡張画像を描画することができる。
【0067】
処理は、ブロックS10からブロックS12「入力に応答して、プロセッサによって、評価データを発生するために、評価画像データに第1のスキンを適用する、評価データは、拡張データと異なることがある」に続くことができる。ブロックS12で、入力に応答して、プロセッサは、評価データを発生するために、評価画像データに第1のスキンを適用することができる。評価データは、拡張データと異なることがある。
【0068】
評価画像データへの第1のスキンの適用は、第1のスキンの命令に基づき評価画像データ中で基準ポイントを識別することと、評価画像データの一部分を基準ポイントと関連付けることとを含むことができる。また、評価画像データへの第1のスキンの適用は、評価画像データの一部分をスキンデータに替えることを含むことができる。評価画像データへの第1のスキンの適用は、基準ポイントが入力中で識別された領域と対応すると決定することを含むことができる。
【0069】
処理は、ブロックS12からブロックS14「プロセッサによって、評価データに基づき評価画像を描画する」に続くことができる。ブロックS14で、プロセッサは、評価データに基づき評価画像を描画することができる。
【0070】
図7は、本明細書に述べる少なくともいくつかの実施形態によって構成される、拡張現実スキンの評価を実施するために利用することができるコンピュータプログラム製品例700を例示する。プログラム製品700は、信号担持媒体702を含むことができる。信号担持媒体702は、たとえばプロセッサによって実行されたとき、図1〜6に関して上記に述べた機能性を果たすことができる1つまたは複数の命令704を含むことができる。それゆえ、たとえばシステム100を参照すると、プロセッサ110は、媒体702によってシステム100に伝達された命令704に応答して、図6に示したブロックの1つまたは複数を引き受けることができる。
【0071】
いくつかの実行形態では、信号担持媒体702は、たとえば、ただしこれらに限定されないが、ハードディスクドライブ、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、デジタルテープ、メモリなど、コンピュータ可読媒体706を包含することができる。いくつかの実行形態では、信号担持媒体702は、たとえば、ただしこれらに限定されないが、メモリ、リード/ライト(R/W)CD、R/W DVDなど、記録可能媒体708を包含することができる。いくつかの実行形態では、信号担持媒体702は、たとえば、ただしこれらに限定されないが、デジタルおよび/またはアナログの通信媒体(たとえば光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど)など、通信媒体710を包含することができる。それゆえ、たとえば、プログラム製品700は、RF信号担持媒体702によってシステム100の1つまたは複数のモジュールに伝えることができ、信号担持媒体702は、無線通信媒体710(たとえばIEEE802.11標準に合致する無線通信媒体)によって伝えられる。
【0072】
図8は、本明細書に述べる少なくともいくつかの実施形態によって構成される、拡張現実スキンの評価を実施するように構成されるコンピューティングデバイス例800を例示するブロック図である。まさに基本的な構成802では、コンピューティングデバイス800は、通常、1つまたは複数のプロセッサ804およびシステムメモリ806を含む。メモリバス808は、プロセッサ804とシステムメモリ806の間で通信するために使用することができる。
【0073】
所望の構成に依存して、プロセッサ804は、ただしこれらに限定されないが、マイクロプロセッサ(μP)、マイクロコントローラ(μC)、デジタル信号プロセッサ(DSP)またはそれらのいずれかの組合せを含む、いずれものタイプのものとすることができる。プロセッサ804は、レベル1キャッシュ810およびレベル2キャッシュ812などの1つまたは複数のレベルのキャッシング、プロセッサコア814およびレジスタ816を含むことができる。プロセッサコア例814は、算術論理演算ユニット(ALU)、浮動小数点演算ユニット(FPU)、デジタル信号処理コア(DSP Core)またはそれらのいずれかの組合せを含むことができる。メモリコントローラ例818も、プロセッサ804とともに使用することができる、またはいくつかの実行形態では、メモリコントローラ818は、プロセッサ804の内部部品とすることができる。
【0074】
所望の構成に依存して、システムメモリ806は、ただしこれらに限定されないが、揮発性メモリ(RAMなど)、不揮発性メモリ(ROM、フラッシュメモリなど)またはそれらのいずれかの組合せを含む、いずれものタイプのものとすることができる。システムメモリ806は、オペレーティングシステム820、1つまたは複数のアプリケーション822およびプログラムデータ824を含むことができる。アプリケーション822は、図1〜7のシステム100に関して述べた機能を含む、本明細書に述べたような機能を果たすように構成される拡張現実スキンの評価アルゴリズム826を含むことができる。プログラムデータ824は、本明細書に述べたような、拡張現実スキンの評価の実施に役立つことができる拡張現実スキンの評価データ828を含むことができる。いくつかの実施形態では、アプリケーション822は、拡張現実スキンの評価を実施することができるように、オペレーティングシステム820上でプログラムデータ824を用いて動作するように構成することができる。この述べた基本構成802は、内側破線内のそれら構成要素によって図8に例示されている。
【0075】
コンピューティングデバイス800は、基本構成802といずれもの必要なデバイスおよびインターフェースとの間での通信を容易にするために、追加の特徴または機能性および追加のインターフェースを有することができる。たとえば、基本構成802と1つまたは複数のデータストレージ832との間でのストレージインターフェースバス834を介する通信を容易にするために、バス/インターフェースコントローラ830を使用することができる。データストレージ832は、取外し式ストレージ836、非取外し式ストレージ838、またはその組合せとすることができる。取外し式ストレージおよび非取外し式ストレージの例は、数例を挙げると、フレキシブルディスクドライブおよびハードディスクドライブ(HDD)などの磁気ディスクデバイス、コンパクトディスク(CD)ドライブまたはデジタル多用途ディスク(DVD)ドライブなどの光ディスクドライブ、半導体ドライブ(SSD)およびテープドライブを含む。コンピュータストレージ媒体例は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなど、情報を記憶するためのいずれかの方法または技術によって実現される揮発性および不揮発性の取外し式および非取外し式媒体を含むことができる。
【0076】
システムメモリ806、取外し式ストレージ836および非取外し式ストレージ838は、コンピュータストレージ媒体の例である。コンピュータストレージ媒体は、ただしこれらに限定されないが、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気ストレージ、または所望の情報を格納するために使用することができ、かつコンピューティングデバイス800がアクセスすることができるいずれもの他の媒体を含む。いずれものそのようなコンピュータストレージ媒体は、コンピューティングデバイス800の一部とすることができる。
【0077】
また、コンピューティングデバイス800は、様々なインターフェース装置(たとえば出力装置842、周辺インターフェース844および通信装置846)から基本構成802へのバス/インターフェースコントローラ830を介する通信を容易にするために、インターフェースバス840を含むことができる。出力装置例842は、グラフィック処理ユニット848およびオーディオ処理ユニット850を含み、それらは、表示装置またはスピーカなどの様々な外部装置と1つまたは複数のA/Vポート852を介して通信するように構成することができる。周辺インターフェース例844は、シリアルインターフェースコントローラ854またはパラレルインターフェースコントローラ856を含み、それらは、入力装置(たとえばキーボード、マウス、ペン、音声入力装置、タッチ入力装置など)または他の周辺装置(たとえばプリンタ、スキャナなど)など、外部装置と1つまたは複数のI/Oポート858を介して通信するように構成することができる。通信デバイス例846は、ネットワークコントローラ860を含み、それは、1つまたは複数の他のコンピューティングデバイス862とネットワーク通信リンク上で1つまたは複数の通信ポート864を介して通信するのを容易にするように構成することができる。
【0078】
ネットワーク通信リンクは、通信媒体の1つの例とすることができる。通信媒体は、通常、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波または他の搬送機構などの変調されたデータ信号の形での他のデータによって具体化することができ、いずれもの情報配給媒体を含むことができる。「変調されたデータ信号」は、その特性の1つまたは複数が、信号中に情報をコード化するように設定される、または変化する信号とすることができる。例としてだけで限定せずに、通信媒体は、有線ネットワークまたは直接配線接続などの有線媒体、および音波、無線周波数(RF)、マイクロ波、赤外線(IR)および他の無線媒体などの無線媒体を含むことができる。用語のコンピュータ可読媒体は、本明細書で使用するとき、ストレージ媒体と通信媒体の両方を含むことができる。
【0079】
コンピューティングデバイス800は、上記の機能のいずれかを含むセル式携帯電話、携帯情報端末(PDA)、パーソナルメディアプレーヤ装置、無線ウェブウォッチ装置、パーソナルヘッドセット装置、特定用途向け装置またはハイブリッド装置など、小さいフォームファクタの携帯型(または可搬型)電子デバイスの一部として実現することができる。また、コンピューティングデバイス800は、ラップトップコンピュータおよび非ラップトップコンピュータの両方の構成を含むパーソナルコンピュータとして実現することができる。
【0080】
本開示は、本願で述べた特定の実施形態の点から限定すべきでなく、これは、様々な態様の例示として意図される。当業者に明らかになるはずのように、その趣旨および範囲から逸脱せずに、多くの修正および変更を行うことができる。本開示の範囲内に含まれる機能的に同等の方法および装置は、本明細書に列挙したそれらに加えて、上述の記述から明らかになるはずである。かかる修正および変形は、添付の請求項の範囲内に含まれると意図される。本開示は、かかる請求する権利が与えられる同等物の全範囲とともに添付の請求項の用語によってのみ限定すべきである。本開示は、特定の方法、試薬、合成物組成または生物学的なシステムに限定されず、それらは、もちろん、変わることができることを理解すべきである。また、本明細書で使用した用語が特定の実施形態を述べる目的だけのものであり、限定すると意図されないことを理解すべきである。
【0081】
本明細書における実質的にすべての複数形および/または単数形の用語の使用に対して、当業者は、状況および/または用途に適切なように、複数形から単数形に、および/または単数形から複数形に変換することができる。様々な単数形/複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
【0082】
通常、本明細書において、特に添付の特許請求の範囲(たとえば、添付の特許請求の範囲の本体部)において使用される用語は、全体を通じて「オープンな(open)」用語として意図されていることが、当業者には理解されよう(たとえば、用語「含む(including)」は、「含むがそれに限定されない(including but not limited to)」と解釈されるべきであり、用語「有する(having)」は、「少なくとも有する(having at least)」と解釈されるべきであり、用語「含む(includes)」は、「含むがそれに限定されない(includes but is not limited to)」と解釈されるべきである、など)。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことも、当業者には理解されよう。たとえば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも1つの(at least one)」および「1つまたは複数の(one or more)」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「1つまたは複数の」または「少なくとも1つの」および「a」または「an」などの不定冠詞を含む場合であっても、不定冠詞「a」または「an」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に1つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない(たとえば、「a」および/または「an」は、「少なくとも1つの」または「1つまたは複数の」を意味すると解釈されるべきである)。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう(たとえば、他の修飾語なしでの「2つの記載(two recitations)」の単なる記載は、少なくとも2つの記載、または2つ以上の記載を意味する)。さらに、「A、BおよびC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(たとえば、「A、B、およびCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されない)。「A、B、またはC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(たとえば、「A、B、またはCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されない)。2つ以上の代替用語を提示する事実上いかなる離接する語および/または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方(one of the terms)、当該用語のいずれか(either of the terms)、または両方の用語(both terms)を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。たとえば、句「AまたはB」は、「A」または「B」あるいは「AおよびB」の可能性を含むことが理解されよう。
【0083】
当業者が理解されるはずのように、いずれもおよびすべての目的のために、書面による明細書を提供する点などから、本明細書に開示するすべての範囲は、いずれもおよびすべての可能な部分範囲およびその部分範囲の組合せも包含する。いずれもの列挙した範囲は、十分に述べるものであって、同じ範囲を少なくとも等しい半分、3分の1、4分の1、5分の1、10分の1などに分割することができるものとして容易に認識することができる。非限定の例として、本明細書に議論した各範囲は、下側の3分の1、中間の3分の1および上側の3分の1などに容易に分割することができる。また、当業者が理解されるはずのように、「まで(up to)」、「少なくとも(at least)」、「より大きい(greater than)」、「より小さい(less than)」および同等のものなど、すべての用語は、述べた数を含み、上記に議論したように、その後で部分範囲に分割することができる範囲をいう。最後に、当業者が理解されるはずのように、範囲は、各個別のメンバを含む。それゆえ、たとえば1〜3個のセルを有するグループは、1、2または3個のセルを有するグループをいう。同様に、1〜5個のセルを有するグループは、1、2、3、4または5個のセルを有するグループをいう等。
【0084】
本明細書に様々な態様および実施形態を開示してきたが、他の態様および実施形態も当業者に明らかになるはずである。本明細書に開示した様々な態様および実施形態は、例示目的であり、限定する意図はなく、真の範囲および趣旨は、以下の請求項によって示される。
図1
図2
図3
図4
図5
図6
図7
図8