特表2018-505462IP Force 特許公報全文掲載

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2018-505462(P2018-505462A)
(43)【公表日】2018年2月22日
(54)【発明の名称】アバター選択機構
(51)【国際特許分類】
   G06F 17/30 20060101AFI20180126BHJP
   G06T 7/20 20170101ALI20180126BHJP
   G06T 7/00 20170101ALI20180126BHJP
【FI】
   G06F17/30 320Z
   G06T7/20 300B
   G06T7/00 660A
   G06F17/30 350C
【審査請求】有
【予備審査請求】未請求
【全頁数】27
(21)【出願番号】特願2017-529063(P2017-529063)
(86)(22)【出願日】2014年12月11日
(85)【翻訳文提出日】2017年5月31日
(86)【国際出願番号】CN2014093596
(87)【国際公開番号】WO2016090605
(87)【国際公開日】20160616
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
(71)【出願人】
【識別番号】593096712
【氏名又は名称】インテル コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】ジャーン,リダン
(72)【発明者】
【氏名】トーン,シヤオフオン
(72)【発明者】
【氏名】ドゥ,ヤーンジョウ
(72)【発明者】
【氏名】リー,ウエンローン
(72)【発明者】
【氏名】シェン,シヤオルゥ
(72)【発明者】
【氏名】モリス,マーガレット イー.
(72)【発明者】
【氏名】アンダーソン グレン ジェイ.
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA08
5L096BA18
5L096CA04
5L096DA02
5L096FA66
5L096FA69
5L096HA02
5L096HA09
5L096JA11
5L096JA16
5L096JA18
5L096KA04
5L096KA15
(57)【要約】
一実施形態に従って、アバターの動的な選択を容易にする機構が説明される。本明細書で説明される方法は、ユーザ属性を取得するステップと、ユーザ属性を分析するステップと、ユーザ属性に基づいてアバターの選択を容易にするステップとを含む。
【特許請求の範囲】
【請求項1】
アバターの動的な選択を容易にする装置であって:
ユーザの画像をリアルタイムでキャプチャする受信及びキャプチャロジックと;
前記ユーザの前記画像に基づいて、前記ユーザの顔の特徴を決定する検出/追跡ロジックと;
前記ユーザの前記顔の特徴に基づいて、アバターの選択を容易にするアバター選択モジュールと;
を具備する装置。
【請求項2】
前記アバター選択モジュールは:
前記ユーザ及び1人以上の受信者についてプロファイル情報を取得するプロファイル取得モジュールと;
前記ユーザ及び前記1人以上の受信者の現在の状況に関連する情報を取得するコンテキストエンジンと;
前記ユーザと前記1人以上の受信者との間のメッセージの内容を分析して感情及び人間関係力学を決定するコンテンツ分析器と;
前記コンテキストエンジンによって取得された前記プロファイル情報と、前記コンテンツ分析器によって決定された前記感情及び人間関係力学に基づいて、アバターを選択するアバター決定モジュールと;
を備える、請求項1に記載の装置。
【請求項3】
前記プロファイル取得モジュールは、1つ以上のソーシャルネットワークソースから情報を抽出する、
請求項2に記載の装置。
【請求項4】
前記アバター決定モジュールは、前記アバターを選択する際のファクタとして、1つ以上のソーシャルネットワークソースからの前記情報に基づいて前記ユーザの意図を推論する、
請求項3に記載の装置。
【請求項5】
前記アバター決定モジュールは、送信者と前記1人以上の受信者によって共有されるソーシャルインフルエンスに基づいて前記アバターを選択する、
請求項3に記載の装置。
【請求項6】
前記アバター決定モジュールは、前記コンテンツ分析器からのテキスト内のワードをソーシャルネットワークソースに対して照合し、トピック的に関連するアバターを選択する、
請求項2に記載の装置。
【請求項7】
前記アバター決定モジュールは、受信者の社会的状況に基づいて前記アバターを選択する、
請求項2に記載の装置。
【請求項8】
前記アバター決定モジュールは、前記1人以上の受信者から画像データ又はテキストデータを受け取り、前記1人以上の受信者の認識された感情的な反応に基づいて前記アバターを選択する、
請求項2に記載の装置。
【請求項9】
前記アバター選択モジュールは:
前記ユーザの前記顔の特徴に基づいてユーザ属性を認識するユーザ認識モジュールと;
ユーザ属性データを受け取り、属性類似スコアに基づいて利用可能なアバターモデルをランク付けするランキングモジュールと;
前記ランク付けされた利用可能なアバターモデルに基づいてアバターを推薦するアバター推薦モジュールと;
を備える、請求項1に記載の装置。
【請求項10】
前記ユーザについての全ての属性は、属性類似スコアを各利用可能なアバターモデルに割り当てるように見なされる、
請求項9に記載の装置。
【請求項11】
前記アバター推薦モジュールは、表示のために前記ランク付けされた利用可能なアバターモデルのリストを生成する、
請求項9に記載の装置。
【請求項12】
アバターの動的な選択を容易にする方法であって:
属性を取得するステップと;
前記属性を分析するステップと;
ユーザの属性に基づいてアバターの選択を容易にするステップと;
を具備する方法。
【請求項13】
前記属性は、ユーザ及び1人以上の受信者についてのプロファイル情報、前記ユーザ及び前記1人以上の受信者の現在の状況に関連する情報、ユーザの顔の属性、のうちの少なくとも1つを含む、
請求項12に記載方法。
【請求項14】
前記ユーザと前記1人以上の受信者との間のメッセージの内容を分析して、感情及び人間関係力学を決定するステップと;
前記属性及び前記メッセージの内容に基づいてアバターを選択するステップと;
を更に備える、請求項13に記載の方法。
【請求項15】
前記1人以上の受信者の顔の属性をモニタリングするステップと;
前記1人以上の受信者からテキストデータを受け取るステップと;
前記顔の属性及び前記1人以上の受信者からのテキストデータに基づいて、更新されたアバターを選択するステップと;
を更に備える、請求項14に記載の方法。
【請求項16】
前記ユーザの属性を分析するステップは、ユーザの顔の属性を認識することを備える、
請求項12に記載の方法。
【請求項17】
属性類似スコアを各利用可能なアバターモデルに割り当てるステップと;
属性類似スコアに基づいて前記利用可能なアバターモデルをランク付けするステップと;
前記ランク付けされたアバターモデルに基づいてアバターを推薦するステップと;
を更に備える、請求項16に記載の方法。
【請求項18】
前記ユーザについての全ての属性は、属性類似スコアを各利用可能なアバターモデルに割り当てるように見なされる、
請求項17に記載の方法。
【請求項19】
表示のために前記ランク付けされた利用可能なアバターモデルのリストを生成するステップ、
を更に備える、請求項17に記載の方法。
【請求項20】
コンピューティングデバイス上で実行されたことに応答して、該コンピューティングデバイスに請求項12乃至19のいずれか一項に記載の動作を実行させる、コンピュータプログラム。
【請求項21】
請求項12乃至19のいずれか一項に記載の動作を実行する機構を備えるシステム。
【請求項22】
請求項12乃至19のいずれか一項に記載の動作を実行する手段を備える装置。
【請求項23】
請求項12乃至19のいずれか一項に記載の動作を実行するよう構成されるコンピューティングデバイス。
【請求項24】
請求項12乃至19のいずれか一項に記載の動作を実行するよう構成される通信デバイス。
【請求項25】
請求項20に記載のコンピュータプログラムを格納する少なくとも1つのマシン読取可能な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で説明される一般に、コンピュータに関する。より具体的には、アバターを推薦及び選択するための機構
【背景技術】
【0002】
アバターは、電気通信アプリケーション、ユーザインタフェースアプリケーション、コンピュータゲーム等のような様々なシステム及びソフトウェアアプリケーションで周知であり、広く使用されている。アバターは、人間の顔、動物の顔、漫画の顔等のアニメーション化されたバージョンを指すことがある。アバターは、自分の実際の顔を露出しないことでプライバシを守りたいユーザによって使用されることが多い。
【0003】
コンピュータビジョン及び処理能力の進歩により、顔の動作により駆動される(facial performance driven)アバターアニメーションは、ユーザがアバターに対する顔のアクションをモーフィングすることができるように、モバイルデバイス上で実現可能である。しかしながら、モバイルアプリケーションのためのアバターストアは、現在、ユーザの好みに合うように編成されていない。例えばアバターモバイルアプリケーションのユーザは、典型的に、アバターの同じリストを提供される。さらに、現在のアプリケーションは、特定のユーザの意図されたオーディエンスに響かない可能性があるアバターを特徴とする。特に、選択されたアバターが不注意で、文化的規範に起因して誰かの気分を害することや、無知で時代遅れ等であるような印象を与えることがある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許出願第13/977,682号明細書
【図面の簡単な説明】
【0005】
限定ではなく例として図示されており、添付の図面の図内では、同様の参照番号が同様の要素を示す。
【図1】一コンピューティングデバイスにおけるアバターシミュレーション機構を示す図である。
【図2】一アバター選択機構を示す図である。
【図3】一アバター決定機構を示す図である。
【図4】一アバター決定機構の動作を示すフロー図である。
【図5A】従来のアバター推薦アプリケーションのスナップショットである。
【図5B】従来のアバター推薦アプリケーションのスナップショットである。
【図6】一アバター推薦機構を示す図である。
【図7A】アバター推薦機構の実装の実施形態を示す図である。
【図7B】アバター推薦機構の実装の実施形態を示す図である。
【図7C】アバター推薦機構の実装の実施形態を示す図である。
【図8】一アバター推薦機構の動作を示すフロー図である。
【図9】一本開示の実施形態の実装に適したコンピュータシステムを示す図である。
【発明を実施するための形態】
【0006】
以下の説明では、様々な具体的な詳細が説明される。しかしながら、本明細書で説明されるこれらの具体的な詳細なしに実施されてもよい。他の場合には、周知の回路、構造及び技術は、この説明の理解を曖昧にしないようにするために詳細には図示されていない。
【0007】
ユーザを効果的に表し、かつオーディエンスのカルチャー、年齢及び好みに一致するアバターの選択を提供する。そのような実施形態では、アバターの選択は、送信者のアバターの選択のために送信者及び/又は意図されるオーディエンスのプロファイル情報(例えば人口統計学的情報、テイスト、ソーシャルネットワーク)を考慮する。更なる実施形態では、アバターの選択は、コミュニケーションダイナミクス(communication dynamics)及び会話のトピックの分析によって更に最適化されてよい。そのような実施形態では、アバターの選択は、会話に関連する流行(popular trends)、並びにユーザの感情の状態及び人間関係力学(interpersonal dynamics)の分析に応じて適合される。また更なる実施形態では、アバターの見た目(appearance)は、遊び心のあるコミュニケーション(playful communication)の形として操作されてもよい。
【0008】
顔駆動型アバター推薦(facial driven avatar recommendation)も提供する。そのような実施形態では、カメラ入力からユーザの好みを推論することにより、アバターの個人化された推薦リストが提供される。個人化された推薦リストは、アバターモデルと顔入力との間の類似性と、ユーザの属性の双方を学習することによって生成される。ユーザの顔のカメラ入力を実装して、顔の属性(例えば顔の形、性別、年齢、感情、顔の形、眼鏡、ヘアスタイル等)を分析する。これらの属性をユーザの周囲の環境のファクタとともに考慮し、利用可能なアバターのランク付けスコアを計算して、アバターモデルの推薦リストをユーザに提供する。更なる実施形態では、ファクタ又は属性に依存して変化を検出すると、リストを周期的に更新することができる。
【0009】
簡潔性、明確性及び理解の容易性の目的のために、本明細書全体を通して人の顔が例として使用されるが、そのような形に限定されず、ユーザという用語は、1人の人、複数の人、他の生き物(例えば犬、猫、植物等)及び非生物の物体(例えば像(statues)テレビジョン、楽器等)も指すことがあることが認識されよう。さらに、例えば1人の人の顔に適用されるだけでなく、人のグループにも等しく適用可能であって整合性があり、その人々の顔だけに限定されず、彼らのペット及び/又は他の物体等とともに適用可能である。同様に、単一のコンピューティングデバイス又はスマートフォンのような特定のタイプのコンピューティングデバイスに限定されず、任意の数及びタイプのデバイスが使用されてもよく、例えば複数の又は拡張ディスプレイ、小さな画面、大きな画面、あるいはストアディスプレイやマジックミラーのような巨大な画面を伴う、任意の数及び形式の人、ペット、物体等を深度追跡(depth track)する能力を有するコンピューティングデバイス使用されてもよい。
【0010】
図1は、一コンピューティングデバイス100におけるアバター選択機構110を図示している。一実施形態において、コンピューティングデバイス100は、アバター選択機構(「アバター機構」)110をホストするホストマシンとして機能する。アバター選択機構110は、コンピューティングデバイス100のようなコンピューティングデバイスでアバターの動的な決定及び/又は推薦を容易にするための任意の数及びタイプのコンポーネントの組合せを含む。コンピューティングデバイス100は、サーバコンピュータ、デスクトップコンピュータ等のような大きなコンピューティングシステムを含んでよく、セットトップボックス(例えばインターネットベースのケーブルテレビジョン・セットトップボックス等)、全地球測位システム(GPS)ベースのデバイス等も更に含んでよい。コンピューティングデバイス100は、スマートフォン(例えばApple(登録商標)社によるiPhone(登録商標)、Research in Motion(登録商標)社によるBlackBerry(登録商標)等)を含むセルラフォン、パーソナルデジタルアシスタント(PDA)、タブレットコンピュータ(例えばApple(登録商標)社によるiPad(登録商標)、Samsung(登録商標)社によるGalaxy(登録商標)等)、ラップトップコンピュータ(例えばノートブック、ネットブック、ウルトラブック(登録商標)等)、eリーダ(例えばAmazon(登録商標)社によるKindle(登録商標)、Barnes and Nobles(登録商標)社によるNook(登録商標)等)のようなモバイルコンピューティングデバイスを含んでもよい。
【0011】
コンピューティングデバイス100は、コンピュータデバイス100のハードウェア及び/又は物理リソースとユーザとの間のインタフェースとして機能するオペレーティングシステム(OS)106を含んでよい。コンピューティングデバイス100は更に、1つ以上のプロセッサ102、メモリデバイス104、ネットワークデバイス、ドライバ等、並びにタッチスクリーンやタッチパネル、タッチパッド、仮想又は通常のキーボード、仮想又は通常のマウス等のような入出力(I/O)リソース108を含む。「ノード」、「コンピューティングノード」、「サーバ」、「サーバデバイス」、「クラウドコンピュータ」、「クラウドサーバ」、「クラウドサーバコンピュータ」、「マシン」、「ホストマシン」、「デバイス」、「コンピューティングデバイス」、「コンピュータ」、「コンピューティングシステム」等のような用語は、本明細書全体を通して交換可能に使用されることがあることに留意されたい。また、「アプリケーション」、「ソフトウェアアプリケーション」、「プログラム」、「ソフトウェアプログラム」、「パッケージ」及び「ソフトウェアパッケージ」のような用語も本明細書全体を通して交換可能に使用されることがあることにも更に留意されたい。同様に、「ジョブ」、「入力」、「要求」及び「メッセージ」のような用語も本明細書全体を通して交換可能に使用されることがある。
【0012】
図2は、一アバター機構110を図示している。一実施形態において、アバター機構110は、ラップトップコンピュータ、デスクトップコンピュータ、スマートフォン、タブレットコンピュータ等のようなコンピューティングデバイス100で用いられてよい。一実施形態において、アバター機構110は、受信及びキャプチャロジック201、メッシュ及びマッピングモジュール205を含む検出/追跡ロジック203、アバター決定機構207、アバター推薦機構209及び通信/互換性ロジック219のような任意の数及びタイプのコンポーネントを含んでよい。
【0013】
一実施形態において、受信及びキャプチャロジック201は、コンピューティングデバイス100の画像ソース225で実装される画像キャプチャデバイスが、ユーザの顔のライブ及びリアルタイム画像のようなユーザに関連付けられる画像を受け取ってキャプチャすることを容易にする。ユーザの顔のライブ画像を受け取ってキャプチャすると、ユーザの顔及びその動きと表情を、検出/追跡ロジック203により、連続的かつリアルタイムに、ライブビデオフレームで検出して追跡することができる。
【0014】
検出/追跡ロジック203によって実行されるようなユーザの顔及びその動きと表情の検出及び追跡は、ユーザの顔を検出することと、顔の様々な特徴、例えば特徴点の位置を決定することを含んでよく、その後、そのような特徴点の位置を使用して、顔の表情の動きと頭部の硬い動き(rigid movements)を決定することができる。さらに、これらの特徴に基づいて、データベース240のようなモーションキャプチャデータベースにおいて類似する表情の特徴にアクセスし、そのような類似する表情の特徴をモーションキャプチャデータベースから取り出してもよい。更なる詳細については、特許文献1(Yangzhou Du等による「Avatar Facial Expression Techniques」という名称の2013年6月29日に提出した米国特許出願第13/977,682号明細書(2011年4月11日付けで出願した国際出願PCT/CN2011/072603号明細書の米国の国内段階))を参照されたい。
【0015】
一部の実施形態では、データベース240を使用して、スマイル、しかめ面、笑う、泣く、怒る、幸せ、驚き、話す、沈黙、食べる、飲む、歌う、あくび、くしゃみ等といった様々な人間の顔の表情に関するデータを記録、格納及び保持することができる。これらの表情をフレームのシーケンスとして記録してよく、この場合、各フレームは次の9個の特徴:すなわち、1)上唇と下唇との間の距離;2)2つの口角の間の距離;3)上唇と鼻先との間の距離;4)下唇と鼻先との間の距離;5)鼻翼と鼻先との間の距離;6)上まぶたと下まぶたとの間の距離;7)眉毛の先(eyebrow tip)と鼻先との間の距離;8)2つの眉毛の先の間の距離;9)眉毛の先と眉毛の中間(eyebrow middle)との間の距離、のような複数の特徴を含んでよい。データベース240は、データソース、メモリ(揮発性又は不揮発性)、ディスクストレージ、光ストレージ等のような情報記憶媒体を含んでよい。
【0016】
一実施形態において、データベース240から取得される特徴に基づいて、メッシュ及びマッピングモジュール205は、3次元(3D)メッシュを用いて様々な顔の点を配置(locate)し、これらの点を対応するアバターにマップする。これは、人間の顔を正規化してアバターの顔に再マッピングすること、顔の表情の変化をアバターにコピーすること、アバターを駆動して、取得した特徴と同じ顔の表情の変化を実行することを伴うことがある。実施形態において、メッシュ及びマッピングモジュール205は、アバターが、コンピューティングデバイス100に関連付けられるディスプレイデバイス230により出力されることを可能にするグラフィクスレンダリング特徴を含んでよい。例えばディスプレイ画面又はデバイス230は、アバターをユーザに対して視覚的に出力してよく、同様に、コンピューティングデバイス250のような1つ以上の他のコンピューティングデバイスに関連付けられるディスプレイデバイス255のような1つ以上のディスプレイデバイスが、同じシミュレートされたアバターをそのそれぞれのユーザに対して表示してもよい。さらに、ディスプレイデバイス230は、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、プラズマディスプレイ及びブラウン管(CRT)ディスプレイを(限定ではないが)含め、様々なディスプレイで実装されてよい。
【0017】
コンピューティングデバイス250は、ネットワーク270のような1つ以上のネットワーク(例えばクラウドネットワーク、インターネット、イントラネット、セルラネットワーク、近接又は近くの近接(near proximity)ネットワーク等)上でコンピューティングデバイス100と通信してよい。コンピューティングデバイス250は更に、ユーザインタフェース260、通信ロジック265及びアバター機構110を含む1つ以上のソフトウェアアプリケーションを含んでよい。
【0018】
実施形態において、検出/追跡ロジック203は、画像ソース225から画像データを受け取ってよく、この場合、画像データは、画像又はフレーム(例えばビデオフレーム)のシーケンスの形であってよい。画像ソース225は、カメラのような画像キャプチャデバイスを含んでもよい。そのようなデバイスは、(限定されないが)光学アセンブリ、画像センサ、画像/ビデオエンコーダ等のような様々なコンポーネントを含んでよく、これらのコンポーネントは、ハードウェア及び/又はソフトウェアの任意の組合せで実装されてよい。光学アセンブリは、1つ以上の光学デバイス(例えばレンズ、ミラー等)を含んでよく、画像センサ内の複数のセンサ素子上の視野内に画像を投影する。加えて、光学アセンブリは、これらの光学デバイスの配置を制御する1つ以上の機構を含んでよい。例えばそのような機構は、フォーカス操作、絞り設定、露出設定、ズーム操作、シャッタースピード、有効焦点距離等を制御することができる。しかしながら、実施形態はこれらの例に限定されない。
【0019】
アバターベースのシステム(例えばビデオチャットシステム)では、ユーザの頭部のジェスチャ並びにユーザの顔の表情をキャプチャすることが重要である。実施形態において、これらの操作は検出/追跡ロジック203によって実行されてよい。次いで、これらのジェスチャ及び表情がアニメーションパラメータとして表されてよく、この場合、そのようなアニメーションパラメータは、レンダリングのためにメッシュ及びマッピングモジュール205に転送される。このようにして、アバターシステムは、元のユーザの顔の表情を仮想3Dモデルで再現することができる。
【0020】
一部の実施形態において、検出/追跡ロジック203の実際的な解決策は様々な特徴を提供することができる。例えば検出/追跡ロジック203は、頭部ジェスチャに起因する硬い動きを追跡することができる。そのような硬い動きは、(限定ではないが)並進、回転及びスケール調整ファクタを含んでよい。また、検出/追跡ロジック203は、顔の表情に起因する非剛性の並進(non-rigid transformations)を追跡することもでき、この場合、非剛性の並進は、複数の顔のアクションユニット(facial action units)(例えば6つの典型的なアクションユニット)を含んでよい。例えば検出/追跡ロジック203は、その実装において、1つ以上のプロセッサ(例えばIntel(登録商標)Atomの1.6GHzプロセッサ)上でリアルタイムに動作するように最適化されてよい。
【0021】
画像ソース225は更に、センサ素子のアレイを含む1つ以上の画像センサを含んでよく、この場合、これらの素子は、CMOS(complementary metal oxide semiconductor)センサ、CCD(charge coupled devices)又は他の適切なセンサ素子タイプとすることができる。これらの素子は、センサに対する光入射に対応するアナログ強度信号(intensity signal)(例えば電圧)を生成することができる。加えて、画像センサは、アナログ強度信号をデジタル符号化された強度値に変換する、アナログデジタル変換器ADCも含んでよい。しかしながら、実施形態はこれらの例に限定されない。例えば画像センサは、光学アセンブリを通して受け取った光をピクセル値に変換し、この場合、これらのピクセル値の各々は、対応するセンサ素子における特定の光強度を表す。これらのピクセル値はデジタルとして説明されているが、これは代わりにアナログであってもよい。上述のように、画像感知デバイスは、ピクセル値を符号化及び/又は圧縮する画像/ビデオエンコーダを含んでもよい。様々な技術、規格及び/又はフォーマット(例えばMPEG(Moving Picture Experts Group)、JPEG(Joint Photographic Expert Group)等)をこの符号化及び/又は圧縮に用いてもよい。
【0022】
上述のように、画像ソース225は、画像キャプチャデバイス(例えば1つ以上のカメラ等)、並びに(限定ではないが)コンテキスト認識センサ(例えば温度センサ、1つ以上のカメラとともに動作する顔の表情及び特徴測定センサ、(背景の色、光等を感知するような)環境センサ、(指紋、顔の点又は特徴等を検出するような)生体センサ等といった画像感知デバイスのような任意の数及びタイプのコンポーネントとすることができる。コンピューティングデバイス100は、変化する技術、パラメータ、プロトコル、規格等との互換性を保証しつつ、アバターを表示し、ユーザが他のコンピューティングデバイス250の他のユーザと通信するように1つ以上のユーザインタフェース(例えばウェブユーザインタフェース(WUI)、グラフィカルユーザインタフェース(GUI)、タッチスクリーン等)を提示する、ビジネスアプリケーション、ソーシャルネットワークウェブサイト(例えばFacebook(登録商標)、Google+(登録商標)、Twitter(登録商標)等)、ビジネスネットワーキングウェブサイト(例えばLinkedIn(登録商標)等)、通信アプリケーション(例えばSlype(登録商標)、Tango(登録商標)、Viber(登録商標)等)、ゲーム及び他のエンターテイメントアプリケーション等のような1つ以上のソフトウェアアプリケーションも含んでよい。
【0023】
通信/互換性ロジック219を使用して、変化する技術、パラメータ、プロトコル、規格等との互換性を保証しつつ、コンピューティングデバイス100及びコンピューティングデバイス250のような様々なコンピューティングデバイス(モバイルコンピューティングデバイス、デスクトップコンピュータ、サーバコンピューティングデバイス等)、ストレージデバイス、データベース240のようなデータベース及び/又はデータソース、ネットワーク270のようなネットワーク(例えばクラウドネットワーク、インターネット、イントラネット、セルラネットワーク、あるいはBluetooth(登録商標)、Bluetooth低エネルギ(BLE)、Bluetooth Smart、Wi-Fi近接(proximity)、無線周波数識別(RFID)、近距離通信(NFC)、身体エリアネットワーク(BAN)等のような近接ネットワーク)、接続及び位置管理技術、ソフトウェアアプリケーション/ウェブサイト(例えばFacebook(登録商標)、LinkedIn(登録商標)、Google+(登録商標)、Twitter(登録商標)等のようなソーシャル及び/又はビジネスネットワーキングウェブサイト、ビジネスアプリケーション、ゲーム及び他のエンターテイメントアプリケーション等)、プログラミング言語等の間の動的な通信及び互換性を促進することができる。
【0024】
アバター機構110の任意の数及びタイプのコンポーネント201−219は、必ずしも単一のコンピューティングデバイス上でなくてもよく(限定ではないが)サーバコンピューティングデバイス、カメラ、PDA、モバイルフォン(例えばスマートフォン、タブレットコンピュータ等)、パーソナルコンピュータ(例えばデスクトップデバイス、ラップトップコンピュータ等)、スマートテレビ、サーバ、ウェアラブルデバイス、メディアプレイヤ、任意のスマートコンピューティングデバイス等を有するコンピューティングデバイス100、250を含め、任意の数及びタイプのコンピューティングデバイスの間で割り当てられるか分散されてもよいことが考えられる。更なる例は、マイクロプロセッサ、グラフィクスプロセッサ又はエンジン、マイクロコントローラ、特定用途向け集積回路(ASIC)等を含む。しかしながら、実施形態はこれらの例に限定されない。
【0025】
コンピューティングデバイス250の通信ロジック265は、コンピューティングデバイス100の通信/互換性ロジック219と同様又は同一であってよく、コンピューティングデバイス100におけるアバター機構110と、コンピューティングデバイス250における1つ以上のソフトウェアアプリケーションとの間の、ネットワーク270のような1つ以上のネットワーク上でのアバターの通信を促進するために使用されてよい。さらに、ロジック265、219は、無線又は有線通信及び関連するプロトコル(例えばWi-Fi(登録商標)、WiMAX、Ethernet(登録商標)等)のような通信技術のいずれか1つ以上を使用して、ネットワーク270のような1つ以上のネットワーク(例えばインターネット、イントラネット、クラウドネットワーク、近接ネットワーク(例えばBluetooth(登録商標)等)上の通信を促進するように配置又は構成されてよい。データベース240は、データ(例えば患者情報、カスタムパラメータ、処理プロトコル等)、ポリシー、リソース、ソフトウェアプログラム又は命令等の短期及び/又は長期の格納のための任意の数及びタイプのデバイス又は媒体(データストレージデバイス、ハードドライブ、半導体ドライブ、ハードディスク、メモリカード又はデバイス、メモリ回路等)を含んでよい。コンピューティングデバイス250の各々は、アバター及び顔の特徴点等の関連する情報を含むデータの格納、管理及び/又はキャッシュのためのメモリ及び/又は記憶媒体も含んでよい。
【0026】
簡潔性、明確性及び理解の容易性のために、本明細書全体を通して1つ以上の例(例えば単一の人間の顔、モバイルコンピューティングデバイス等)が検討されるが、いずれの特定の数及びタイプのユーザ、アバター、リソース又はコンピューティングデバイスへのアクセスの形式、ユーザ、ネットワーク又認証プロトコル又はプロセス等にも限定されない。例えばいずれの特定のネットワークセキュリティ・インフラストラクチャ又はプロトコル(例えばシングルサインオン(SSO)インフラストラクチャ及びプロトコル)にも限定されず、SAML(security assertion markup language)、OAuth、Kerberos等のような任意の数及びタイプのネットワークセキュリティインフラストラクチャ又はプロトコルと互換性がある。
【0027】
本明細書全体を通して、「ロジック」、「コンポーネント」、「モジュール」、「フレームワーク」、「エンジン」、「ポイント/点」等のような用語は交換可能に参照されてよく、例として、ソフトウェア、ハードウェア及び/又はファームウェアのようなソフトウェアとハードウェアの任意の組合せを含んでよい。さらに、特定のブランド、ワード、用語、フレーズ、名前及び/又は頭文字、例えば「アバター」や「アバタースケールファクタ」、「スケーリング」、「アニメーション」、「人間の顔、」「顔の特徴点」、「ズームイン」、「ズームアウト」等のいずれかの使用は、実施形態を、本明細書の外部の製品又は文献でそのラベルを持つソフトウェア又はデバイスに限定するように読まれるべきではない。
【0028】
任意の数及びタイプのコンポーネントを、アバターシミュレーション機構110に追加し、かつ/又はこれから除去して、特定の特徴を追加、除去及び/又は強調することを含め、様々な実施形態を促進することができると考えられる。アバターシミュレーション機構110の簡潔性、明確性及び理解の容易性のために、コンピューティングデバイスの基本的な及び/又は公知のコンポーネントのように、基本的な及び/又は公知のコンポーネントの多くは、ここでは図示せず、議論されない。本明細書で説明されるいずれかの特定の技術、トポロジ、システム、アーキテクチャ及び/又は規格に限定されず、いずれかの将来の変更に適応及び適合するよう十分に動的である。
【0029】
一実施形態によると、検出/追跡ロジック203によって取得されるユーザの顔と動きのデータは、アバターを選択及び操作するためにアバター決定機構207によって使用されてよい。他の実施形態では、そのデータはアバター推薦機構209で受け取られてよく、アバター推薦機構209は複数のアバターのリストを推薦として提供する。
【0030】
アバター選択
図3は、アバター決定機構207の一実施形態を図示している。アバター決定機構207は、ユーザを効果的に表し、かつオーディエンスのカルチャー、年齢及び好みと一致するアバターを選択する。一実施形態によると、アバター決定機構207は、アバターを選択するために、ユーザプロファイル情報及び意図されるオーディエンスのプロファイル情報(例えば人口統計学的情報、テイスト、ソーシャルネットワーク)を受け取って考慮する。一実施形態において、アバター決定機構207は、アバター決定モジュール300、プロファイル取得モジュール305、コンテキストエンジン306及びコンテンツ分析器308を含む。
【0031】
一実施形態によると、アバター決定モジュール300は、検出/追跡ロジック203から受け取ったユーザの顔及び動き情報、プロファイル取得モジュール305から受け取った送信者及び受信者のプロファイル情報、コンテキストエンジン306から受け取ったコンテキスト情報及びコンテンツ分析器308から受け取った情報に基づいてアバターを選択する。一実施形態において、検出/追跡ロジック203は、センサアレイからのデータを使用して、送信者の顔の表情をモニタし、感情的な反応及び他の表情を推論する。加えて、送信者の声の特徴及び他の属性(attributes)をモニタして感情を推論してもよい。更なる実施形態では、アバター決定モジュール399は、受信者デバイス(例えばコンピューティングデバイス250)からセンサアレイデータを受け取り、アバターの選択に先立って受信者の感情的な反応を推論してもよい。
【0032】
一実施形態において、プロファイル取得モジュール305は、送信者と、アバターを受け取るべき1人以上の受信者についてのプロファイル情報を取得する。そのような実施形態では、プロファイル取得モジュール305は、ソーシャルネットワークウェブサイト(例えばFacebook(登録商標)、Google+(登録商標)、Twitter(登録商標)等)、ビジネスネットワーキングウェブサイト(例えばLinkedIn(登録商標)等)、通信アプリケーション(例えばSlype(登録商標)、Tango(登録商標)、Viber(登録商標)等)及びサービスプロバイダ(例えばHulu(登録商標)、Netflix(登録商標)、Amazon(登録商標)等)のような1つ以上のネットワークソースから、ネットワーク230を介して情報を抽出してもよい。更なる実施形態において、アバターの選択は、送信者と1人以上の受信者によって共有されるソーシャルインフルエンス(social influences)によって決定されてもよい。例えばアバターは、送信者又は送信者の通信相手がTwitter(登録商標)上でフォローしている人々のアバターの選択に基づいて選択されてもよい。
【0033】
コンテキストエンジン306は、ユーザ及び/又はメッセージ受信者の現在の状況に関連する情報を取得する。例えばコンテキストエンジン306は、ユーザ及び受信者について、受信者の社会的状況(例えば1人(alone))、現在の位置(例えば家又は職場)、ユーザのアクティビティ(例えばエクササイズをしている)を決定することができる。コンテンツ分析器308は、送信者と受信者との間のメッセージの内容を分析して、感情及び人間関係力学(例えば悲しみ(sadness)又は敵意(hostility))を決定することができる。
【0034】
上述のように、アバター決定モジュール300は、アバターの選択における考慮のために、検出/追跡ロジック203、プロファイル取得モジュール305、コンテキストエンジン306及びコンテンツ分析器308からの情報を受け取る。一実施形態によると、アバター決定モジュール300は、プロファイル取得モジュール305から受け取った情報に基づいて送信者の意図を推論してもよい。例えば送信者の意図(例えば友達、気を引こうとすること(flirt)、職業的なネゴシエーション、結婚の申込み等)を、特定のアプリケーション内又は他のソーシャルメディア内における送信者と1人以上の受信者との間の関係(友達、Facebook(登録商標)上の友達の中の友達、Tinder(登録商標)で最近会った人、LinkedIn(登録商標)上の仲間、Twitter(登録商標)上のフォローワー)に基づいて推論することができる。
【0035】
別の実施形態において、アバター決定モジュール300は、送信者のアバター選択と、受信者のテイストとの間の重複(overlap)をマップしてもよい。そのような実施形態では、コンテンツ分析器308は、アバター決定モジュール300への情報の提供に先立って、主要なトピックについてテキストを分析することができる。続いて、アバター決定モジュール300は、ソーシャルネットワークページに対してワードを照合(match)し、トピック的に関連するアバターを特定することができる(例えばワールドカップについて言及している人の場合、アバター決定モジュール300は有名なサッカー選手のアバターを選択することで応答してもよい)。一実施形態において、コンテンツ分析器308から受け取った分析データを使用して、ふざける(teasing)ため又はネゴシエーションのためにアバターを修正する際に通信相手を助けることができる。例えば受信者が、敵意のあるメモ(hostile note)又は非難(accusation)によって驚かされる場合、アバター決定モジュール300は、応答のために、よく知られた映画の不当に非難されているキャラクター(unjustly accused character)のアバターを選択してもよい。
【0036】
一実施形態によると、アバター決定モジュール300は、コンテキストエンジン306から受け取ったコンテキスト分析を、アバター選択におけるファクタとして使用する。例えば送信者の社会的状況(例えば受信者が1人かどうか)は、アバターの見た目に影響を与えることがある。更なる実施形態では、アバター決定モジュール300は、重複が存在しない場合には文化的変換(cultural translation)を実施する。例えば米国では人を悪魔と呼ぶことは、その人がチャーミングな悪者(charming rascal)であることを意味するが、決定モジュール300は、受信者が、悪魔という言葉が攻撃的である可能性がある国の人の場合、別のオプションを選択することができる。別の例として、アバター決定モジュール300は、ブラジルのティーンエイジャーとの接続を試みている米国の中年ブロガーが、以前にミックジャガーをアバターとして選んでいたというシナリオでは、ブラジルで有名なDJのアバターを選択してもよい。
【0037】
一実施形態によると、アバター決定モジュール300は、上述のファクタに基づいて、アバターをデータベース240から自動的に選択する。そのような実施形態では、データベース140は、Intel(登録商標)ポケットアバター(Pocket Avatars)によって提供されるキャラクターの3次元(3D)モデルを含む。
【0038】
図4は、一実施形態に従って、コンピューティングデバイスにおいてアバター決定機構を促進するための方法400を示すフロー図である。方法400は処理ロジックによって実行されてよく、処理ロジックは、ハードウェア(例えば回路、専用のロジック、プログラム可能ロジック等)、ソフトウェア(処理デバイス上で実行される命令等)又はこれらの組合せを備えてよい。一実施形態において、方法400はアバター選択機構110によって実行されてよい。方法400のプロセスは、提示における簡潔性及び明確性のために線形のシーケンスで図示されているが、これらのうちの任意の数のプロセスを、並列に、非同期的に又は異なる順序で実行することができると考えられる。簡潔性、明確性及び理解の容易性のために、図1及び図2に関連して説明した詳細の多くはここでは議論せず、繰り返さない。
【0039】
方法400は、ブロック410で開始して、アバター検出機構207において送信者及び受信者の属性を受け取る。上述のように、属性は、コンピューティングデバイスにおける1つ以上の画像センサによる、ユーザのビデオ画像(例えば送信者及び/又は受信者の顔)を含む、ライブでリアルタイムのオーディオ/ビデオデータを備えてよい。属性は、プロファイル取得モジュール305及びコンテキストエンジン306によって取得される情報も含んでよい。ブロック420において、受け取ったデータが、上述のように分析される。ブロック430において、送信者は、1人以上の受信者への送信のためにテキストベースのメッセージ(テキスト又は音声)を準備する。ブロック440において、アバター決定機構207は、属性に対してメッセージの内容を分析する。ブロック450において、分析に基づいてアバターが選択される。ブロック460において、(例えばメッシュ及びマッピングモジュール205で)アバターがレンダリングされる。ブロック470において、メッセージが受信者に利用可能にされる。ブロック480において、アバター決定機構207は、(例えば受信者のコンピューティングデバイスからのオーディオ/ビデオを介して)受信者の反応をモニタする。ブロック490において、受信者の反応に基づいて調整を行うべきかどうかに関する判断が行われる。調整を行うべきである場合、制御はブロック410に返され、受信者の反応を反映した更新済みの属性を受け取り、続いて分析する。
【0040】
で示したように、アバター決定機構は、送信者及び意図されるオーディエンスのプロファイル情報(人口統計学的情報、テイスト、ソーシャルネットワーク)を一致させることにより、通信共鳴(communication resonance)を高めるアバターを選択する。この選択は、会話に関連する一般的な傾向、並びに各ユーザの感情状態及び人間関係力学の分析に応じて適合される。また、アバター決定機構は、遊びの通信(playful communication)の形として、別のアバターの見た目を操作する際にユーザをガイドする。
【0041】
アバター推薦
で検討したように、既存のアバターアプリケーションは、ユーザの好みに合った適切なオプションを提供しない。図5A及び図5Bは、従来のアバター推薦アプリケーションのスナップショットを図示しており、この従来のアバター推薦アプリケーションでは、図5Aに図示されるユーザと図5Bに図示されるユーザに対して同じアバターリストが提供される。
【0042】
一実施形態によると、アバター推薦モジュール209は、ユーザの好みをカメラ入力から直接推論することにより、顔駆動型アバターを提供して、ユーザに対して個人化されたアバターモデルのリストを可能にするよう実装される。そのような実施形態では、アバター推薦モジュール209は、ユーザの属性及びアバターモデルと顔入力との間の類似性を学習することにより個人化された推薦リストを生成する。
【0043】
図6は、アバター推薦モジュール209の一実施形態を図示している。アバター推薦モジュール209は、ユーザ認識モジュール604及びアバターランクモジュール606を含む。ユーザ認識モジュール604は、ユーザの属性を認識するために、ユーザの抽出された顔特徴情報(例えば外見及び幾何学的特徴(appearance and geometry features))を検出/追跡ロジック203から受け取る。図7Aは、ユーザ認識モジュール604で受け取られる情報に含まれる、抽出された特徴の一実施形態を図示している。一実施形態において、外見特徴と幾何学的特徴の双方を使用して、各対象属性(target attribute)について個々の分類子をトレーニングする。そのような実施形態において、分類子のトレーニングを実行してモデルを得るために、マシン学習分類方法(例えばサポートベクトルマシン(SVM))が実装される。
【0044】
一実施形態によると、モデルは、ユーザの最初の見た目(例えば見えない場合(unseen case))に適用され、その結果、出力は現在のユーザ属性となる。更なる実施形態において、シーンを決定、かつ/又はユーザのドレススタイルをチェックするために、顔のボックスの外側の外見特徴を抽出してもよい。この実施形態では、視覚的記述子(例えば勾配方向ヒストグラム(HOG:Histogram of oriented Gradients)が、顔の見た目及び環境について使用される。各ユーザは、14個の属性:すなわち、顔の形、見た目、性別、年齢、肌の色、髪の色、髪の長さ、眼鏡類、メイクの程度、感情、環境、照明及びドレススタイルに従って説明されてよい。図7Bは、ユーザ認識モジュール604によって実行されるユーザ属性分析の一実施形態を図示している。
【0045】
アバターランクモジュール606は、ユーザ認識モジュール604から属性データを受け取り、属性類似スコア(attribute similarity scores)を統合することにより、データベース240において利用可能なアバターモデルをランク付けする。一実施形態において、現在のユーザについての全ての属性は、アバター像(avatar
figure)ごとにスコアを割り当てるように考えられる。そのような実施形態では、各アバター像は、全ての属性についての値を有する。続いて、ユーザとアバター像との間のマッチングを、個々の属性の関するマッチングとして分解することができる。一実施形態において、属性スコアは、下記によって表される:
【数1】


ここで、iは属性を示し、
【数2】

は、i番目の属性におけるユーザとアバター像との間のスコア差を示し、wiは、i番目の属性の重みパラメータを示す。
【0046】
アバターモデルがユーザと類似する場合、出力スコアは小さい。一実施形態において、欠けている属性(missing attributes)は、対応するパラメータを0に設定することにより無視されてよい。例えば帽子がユーザの髪を塞いでいる場合、髪に関連する属性の重み付け(例えば色及び長さ)は0に設定されるべきである。
【0047】
図8は、一実施形態に従って、コンピューティングデバイスにおいてアバター推薦機構を促進するための方法800を示すフロー図である。方法800は処理ロジックによって実行されてよく、処理ロジックは、ハードウェア(例えば回路、専用のロジック、プログラム可能ロジック等)、ソフトウェア(処理デバイス上で実行される命令等)又はこれらの組合せを備えてよい。一実施形態において、方法800はアバター選択機構110によって実行されてよい。方法800のプロセスは、提示における簡潔性及び明確性のために線形のシーケンスで図示されているが、これらのうちの任意の数のプロセスを、並列に、非同期的に又は異なる順序で実行することができると考えられる。簡潔性、明確性及び理解の容易性のために、図1及び図2に関連して説明した詳細の多くはここでは議論せず、繰り返さない。
【0048】
方法800は、ブロック810で開始し、Intel(登録商標)Pocket Avatars、Nito(登録商標)、Mojo Masks(登録商標)等のアバターアプリケーションの動作中に画像ソース225からライブビデオをキャプチャする。ブロック820において、ビデオ内においてユーザの顔を見つける(locate)。一実施形態において、検出/追跡ロジック203は、ビデオ内の画像が顔を含むかどうか検出する。そのような実施形態では、各顔の位置は、1つの外接矩形(bounding rectangle)を用いて表される。顔の矩形に基づいて、異なる顔の特徴(例えば眉毛、目、鼻、口、髪等)が更に局所化されてよい。ブロック830において、検出された顔が抽出される。ブロック840において、上述のように、ユーザ認識モジュール604において、抽出されたものからユーザの属性が認識される。
【0049】
ブロック850において、属性及び類似スコアを統合することによりアバターモデルがランク付けされる。ブロック860において、アバターモデルが類似スコアによりソートされる。ブロック870において、ソートされたスコアが、ディスプレイ230にリストとして表示される。一実施形態において、帯域幅を節約するために、各モデルの静的なスナップショットが、アニメーション化されたモデルの代わりに表示される。そのような実施形態では、ユーザは、スナップショットを選択し、モデルをロードしてモデルの動的なアクションを確認することができる。
【0050】
アバター推薦モジュール209を実装する例示のアバターアプリケーションは、ユーザがモバイルデバイス上でアバターアプリケーションを操作して、アバターストアを開いてモデルを選択することを伴うことがある。続いて、推薦モジュール209が、異なるユーザ属性を認識し、統合されたスコアによってモデルをランク付けする。次いで、適合されたリストが画面上に表示される。図7Cは、推薦モジュール209によって提供されたアバターの表示リストの一実施形態を図示している。図7Cに示されるように、ユーザが現在笑っているので、表示リストのトップには、悲しそうなアバターが含まれていない。さらに、全て女性のアバターがトップ位置に来ており、男性のアバター像はより下の位置に移動されている。
【0051】
図9は、一実施形態に従って、本開示の実施形態を実装するために適切なコンピュータシステム900を図示している。コンピュータシステム900は、バス905(あるいは例えばリンク、相互接続又は情報を通信するための別のタイプ通信デバイス又はインタフェース)と、バス905に結合されるプロセッサ910を含む。プロセッサ910は、情報を処理することができる。コンピューティングシステム900は単一のプロセッサとともに図示されているが、電子システム900は、中央プロセッサ、グラフィクスプロセッサ及び物理プロセッサ等のうちの1つ以上のように、複数のプロセッサ及び/又はコプロセッサを含んでもよい。コンピューティングシステム900は更に、バス905に結合され、かつプロセッサ910によって実行される情報及び命令を格納することができる、ランダムアクセスメモリ(RAM)又は他の動的なストレージデバイス920(メインメモリと呼ばれる)を含んでもよい。メインメモリ920は、プロセッサ190による命令の実行中に一時的な変数又は他の中間情報を格納するのに使用されてもよい。
【0052】
コンピューティングシステム900は、バス905に結合され、かつプロセッサ910のための静的な情報及び命令を格納することができる、読取専用メモリ(ROM)930又は他のストレージデバイス940を含んでもよい。データストレージデバイス940は、バス905に結合されて、情報及び命令を格納することができる。磁気ディスク又は光ディスク及び対応するドライブ等のデータストレージデバイス940がコンピューティングシステム900に結合されてもよい。
【0053】
コンピューティングシステム900は、情報をユーザに表示するよう、バス905を介して、ブラウン管(CRT)、液晶ディスプレイ(LCD)又は有機発光ダウオード(OLED)アレイのようなディスプレイデバイス950に結合されてもよい。英数字及び他のキーを含むユーザ入力デバイス960がバス905に結合されて、情報及びコマンドの選択をプロセッサ910に伝えることができる。別のタイプのユーザ入力デバイス960は、マウス、トラックボール、タッチスクリーン、タッチパッド又はカーソル方向キーのようなカーソル制御970であり、方向情報及びコマンド選択をプロセッサ910に伝え、ディスプレイ950上のカーソルの動きを制御する。コンピュータシステム900のカメラ及びマイクロフォンアレイ990をバス905に結合して、ジェスチャを観察し、オーディオ及びビデオを記録し、視覚及びオーディオコマンドを送受信してもよい。
【0054】
コンピューティングシステム900は更にネットワークインタフェース980を含んでもよく、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、パーソナルエリアネットワーク(PAN)、Bluetooth(登録商標)、モバイルネットワーク(例えば第三世代(3G)等)、イントラネット、インターネット等のようなネットワークへのアクセスを提供する。ネットワークインタフェース980は、例えばアンテナ985を有する無線ネットワークインタフェースを含んでもよく、アンテナ985は、1つ以上のアンテナを表してよい。ネットワークインタフェース980は、例えば有線ネットワークインタフェースを含んでもよく、ネットワークケーブル987を介してリモートデバイスと通信することができる。ネットワークケーブル987は、例えばEthernet(登録商標)ケーブル、同軸ケーブル、光ファイバケーブル、シリアルケーブル又はパラレルケーブル等とすることができる。
【0055】
ネットワークインタフェース980が、例えばIEEE 802.11b及び/又はIEEE 802.11g規格に従うことにより、LANへのアクセスを提供してもよく、かつ/又は無線ネットワークインタフェースが、例えばBluetooth(登録商標)規格に従うことにより、パーソナルエリアネットワークへのアクセスを提供してもよい。これらの規格の以前及び後続のバージョンを含め、他の無線ネットワークインタフェース及び/又はプロトコルもサポートされ得る。
【0056】
無線LAN規格を介した通信に加えて又はこれに代えて、ネットワークインタフェース980は、例えば時間分割多重アクセス(TDMA)プロトコル、GSM(登録商標)(Global Systems for Mobile Communications)プロトコル、符号分割多重アクセス(CDMA)プロトコル及び/又は任意の他のタイプの無線通信プロトコルを使用して無線通信を提供してもよい。
【0057】
ネットワークインタフェース980は、例えばLANやWANをサポートするよう通信リンクを提供する目的のためのモデム、ネットワークインタフェースカード、あるいはEthernet(登録商標)との結合に使用されるインタフェースデバイスやトークンリング、他のタイプの物理的な有線又は無線のアタッチメントのような他の周知のインタフェースデバイス等の1つ以上の通信インタフェースを含んでもよい。このようにして、コンピュータシステムを、例えばイントラネット又はインターネットを含む従来的なネットワークインフラストラクチャを介して、複数の周辺デバイス、クライアント、コントロール面、コンソール又はサーバに結合することができる。
【0058】
上述の例よりも少ない又は多くのものを備えたシステムが、特定の実装にとって好ましいことがあることが認識されよう。したがって、コンピューティングシステム900の構成は、価格制約、性能要件、技術的向上又は他の状況等のような様々なファクタに依存して、実装ごとに異なっていてよい。電子デバイス又はコンピュータシステム900の例は、限定ではないが、モバイルデバイス、パーソナルデジタルアシスタント、モバイルコンピューティングデバイス、スマートフォン、携帯電話、ハンドセット、一方向ページャ、双方向ページャ、メッセージングデバイス、コンピュータ、パーソナルコンピュータ(PC)、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ハンドヘルドコンピュータ、タブレットコンピュータ、サーバ、サーバアレイ又はサーバファーム、ウェブサーバ、ネットワークサーバ、インターネットサーバ、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、スーパーコンピュータ、ネットワークアプライアンス、ウェブアプライアンス、分散コンピューティングシステム、マルチプロセッサシステム、プロセッサベースのシステム、家庭用電子機器、プログラム可能家庭用電子機器、テレビジョン、デジタルテレビジョン、セットトップボックス、無線アクセスポイント、基地局、加入者局、モバイル加入者センタ、無線ネットワークコントローラ、ルータ、ハブ、ゲートアレイ、ブリッジ、スイッチ、マシン又はこれらの組合せを含んでよい。
【0059】
ペアレントボードを使用して相互接続される1つ以上のマイクロチップ又は集積回路、ハードワイヤードロジック、メモリデバイスによって格納され、かつマイクロプロセッサによって実行されるソフトウェア、ファームウェア、特定用途向け集積回路(ASIC)及び/又はフィールドプログラマブルゲートアレイ(FPGA)のうちのいずれか又は組合せとして実装されてよい。「ロジック」という用語は、限定ではなく例として、ソフトウェア又はハードウェア、及び/又はソフトウェアとハードウェアの組合せを含んでよい。
【0060】
例えばコンピュータ、コンピュータのネットワーク又は他の電子デバイスのような1つ以上のマシンによって実行されると、該1つ以上のマシンに、本明細書で説明される動作を実行させることになるマシン実行可能な命令を格納している、1つ以上のマシン読取可能媒体を含み得るコンピュータプログラム製品として提供されてもよい。マシン読取可能な媒体は、これらに限定されないが、フロッピーディスケット、光ディスク、CD-ROM(コンパクトディスク読取専用メモリ)、磁気光ディスク、ROM、RAM、EPROM(消去可能プログラマブル読取専用メモリ)、EEPROM(電子的消去可能プログラマブル読取専用メモリ)、磁気又は光カード、フラッシュメモリ、あるいはマシン実行可能な名エリを格納するのに適した他のタイプの媒体/マシン読取可能媒体を含んでよい。
【0061】
さらに、コンピュータプログラム製品としてダウンロードされてもよく、この場合、プログラムは、通信リンク(又はモデム及び/又はネットワーク接続)を介して、搬送波又は他の伝搬媒体に具現化され、かつ/又はこれらによって変調される1つ以上のデータ信号により、リモートコンピュータ(例えばサーバ)から要求側コンピュータ(例えばクライアント)へ転送されてもよい。
【0062】
「一実施形態」、「実施形態」、「例示の実施形態」、「様々な実施形態」等への言及は、そのように説明される実施形態が、特定の特徴、構造又は属性を含むことがあるが、必ずしも全ての実施形態が、その特定の特徴、構造又は属性を含むわけではないことを示す。さらに、一部の他の実施形態について説明される特徴の一部又は全てを有するか、全く有しないこともある。
【0063】
以下の説明及び特許請求の範囲において、「結合される」という用語がその派生語とともに使用されることがある。「結合される」は、2つ以上の要素が相互に協働(co-operate)又は相互作用するが、これらの間に介在する物理的又電気的媒体を有していても有していなくてもよいことを示すよう使用される。
【0064】
特許請求の範囲で使用されるとき、特段の定めがない限り、共通の要素を説明するための「第1」、「第2」、「第3」等の順序を示す形容詞の使用は、単に同様の要素の異なるインスタンスを指していることを示し、そのように説明される要素が、時間的に、空間的に、ランク的に、あるいは任意の他のやり方により、所与の配列でなければならないことを暗示するようには意図されていない。
【0065】
以下の節及び/又は例は、更なる実施形態又は例に関する。これらの例内の詳細は、1つ以上の実施形態のいずれかの箇所で使用されてよい。異なる実施形態又は例の様々な特徴は様々に組み合わされてよく、様々な異なる応用に適応するよう一部の特徴が包含され、他の特徴が除外されてよい。例は、本明細書で説明される実施形態及び実施例に従ってハイブリッド通信を促進するための方法、その方法の動作を実行するための手段、マシンによって実行されると、該マシンに方法の動作を実行させる命令を含む少なくとも1つのマシン読取可能媒体、あるいは装置又はシステム等の主題を含んでよい。
【0066】
一部のアバターの動的な選択を容易にする装置を含む例1に関する。当該装置は、ユーザの画像をリアルタイムでキャプチャする受信及びキャプチャロジックと、ユーザの画像に基づいて、ユーザの顔の特徴を決定する検出/追跡ロジックと、ユーザの顔の特徴に基づいて、アバターの選択を容易にするアバター選択モジュールとを具備する。
【0067】
例2は、例1に係る主題を含み、アバター選択モジュールが、ユーザ及び1人以上の受信者についてプロファイル情報を取得するプロファイル取得モジュールと、ユーザ及び1人以上の受信者の現在の状況に関連する情報を取得するコンテキストエンジンと、ユーザと1人以上の受信者との間のメッセージの内容を分析して感情及び人間関係力学を決定するコンテンツ分析器と、プロファイル情報、コンテキストエンジンによって取得された情報、並びにコンテンツ分析器によって決定された前記感情及び人間関係力学に基づいて、アバターを選択するアバター決定モジュールとを備える。
【0068】
例3は、例2に係る主題を含み、プロファイル取得モジュールが、1つ以上のソーシャルネットワークソースから情報を抽出する。
【0069】
例4は、例3に係る主題を含み、アバター決定モジュールが、アバターを選択する際のファクタとして、1つ以上のソーシャルネットワークソースからの情報に基づいてユーザの意図を推論する。
【0070】
例5は、例4に係る主題を含み、アバター決定モジュールが、送信者と1人以上の受信者によって共有されるソーシャルインフルエンスに基づいてアバターを選択する。
【0071】
例6は、例2に係る主題を含み、アバター決定モジュールが、コンテンツ分析器からのテキスト内のワードをソーシャルネットワークソースに対して照合し、トピック的に関連するアバターを選択する。
【0072】
例7は、例2に係る主題を含み、アバター決定モジュールが、受信者の社会的状況に基づいてアバターを選択する。
【0073】
例8は、例2に係る主題を含み、アバター決定モジュールが、1人以上の受信者から画像データ又はテキストデータを受け取り、1人以上の受信者の認識された感情的な反応に基づいてアバターを選択する。
【0074】
例9は、例1に係る主題を含み、アバター選択モジュールが、ユーザの顔の特徴に基づいてユーザ属性を認識するユーザ認識モジュールと、ユーザ属性データを受け取り、属性類似スコアに基づいて利用可能なアバターモデルをランク付けするランキングモジュールと、ランク付けされた利用可能なアバターモデルに基づいてアバターを推薦するアバター推薦モジュールとを備える。
【0075】
例10は、例9に係る主題を含み、ユーザについての全ての属性が、属性類似スコアを各利用可能なアバターモデルに割り当てるように見なされる。
【0076】
例11は、例9に係る主題を含み、アバター推薦モジュールは、表示のためにランク付けされた利用可能なアバターモデルのリストを生成する。
【0077】
一部のアバターの動的な選択を容易にする方法を含む例12に関し、当該方法は、属性を取得するステップと、属性を分析するステップと、ユーザの属性に基づいてアバターの選択を容易にするステップとを具備する。
【0078】
例13は、例12に係る主題を含み、属性は、ユーザ及び1人以上の受信者についてのプロファイル情報、ユーザ及び1人以上の受信者の現在の状況に関連する情報、ユーザの顔の属性、のうちの少なくとも1つを含む。
【0079】
例14は、例13に係る主題を含み、ユーザと1人以上の受信者との間のメッセージの内容を分析して、感情及び人間関係力学を決定するステップと、属性及びメッセージの内容に基づいてアバターを選択するステップとを更に備える。
【0080】
例15は、例14に係る主題を含み、1人以上の受信者の顔の属性をモニタリングするステップと、1人以上の受信者からテキストデータを受け取るステップと、顔の属性及び1人以上の受信者からのテキストデータに基づいて、更新されたアバターを選択するステップとを更に備える。
【0081】
例16は、例12に係る主題を含み、ユーザの属性を分析するステップは、ユーザの顔の属性を認識することを備える。
【0082】
例17は、例16に係る主題を含み、属性類似スコアを各利用可能なアバターモデルに割り当てるステップと、属性類似スコアに基づいて利用可能なアバターモデルをランク付けするステップと、ランク付けされたアバターモデルに基づいてアバターを推薦するステップとを更に備える。
【0083】
例18は、例17に係る主題を含み、ユーザについての全ての属性は、属性類似スコアを各利用可能なアバターモデルに割り当てるように見なされる。
【0084】
例19は、例17に係る主題を含み、表示のためにランク付けされた利用可能なアバターモデルのリストを生成するステップを更に備える。
【0085】
一部のコンピューティングデバイス上で実行されたことに応答して、該コンピューティングデバイスに例12乃至例19のいずれか1つに係る動作を実行させる複数の命令を備える、少なくとも1つのマシン読取可能媒体を含む例20
【0086】
一部の例12乃至例19のいずれか1つに係る動作を実行する機構を備えるシステムを含む例21
【0087】
一部の例12乃至例19のいずれか1つに係る動作を実行する手段を備える装置を含む例22
【0088】
一部の例12乃至例19のいずれか1つに係る動作を実行するよう構成されるコンピューティングデバイスを含む例23
【0089】
一部の例12乃至例19のいずれか1つに係る動作を実行するよう構成される通信デバイスを含む例24
【0090】
一部のアバターの動的な選択を容易にする装置を含む例25に関し、当該装置は、属性を取得するための手段と、属性を分析するための手段と、ユーザの属性に基づいてアバターの選択を容易にするための手段とを具備する。
【0091】
例26は、例25に係る主題を含み、属性は、ユーザ及び1人以上の受信者についてのプロファイル情報、ユーザ及び1人以上の受信者の現在の状況に関連する情報、ユーザの顔の属性、のうちの少なくとも1つを含む。
【0092】
例27は、例26に係る主題を含み、ユーザと1人以上の受信者との間のメッセージの内容を分析して、感情及び人間関係力学を決定するための手段と、属性及びメッセージの内容に基づいてアバターを選択するための手段とを更に備える。
【0093】
例28は、例27に係る主題を含み、1人以上の受信者の顔の属性をモニタリングするための手段と、1人以上の受信者からテキストデータを受け取るための手段と、顔の属性及び1人以上の受信者からのテキストデータに基づいて、更新されたアバターを選択するための手段とを更に備える。
【0094】
例29は、例25に係る主題を含み、ユーザの属性を分析するための手段は、ユーザの顔の属性を認識するための手段を備える。
【0095】
一部のコンピューティングデバイス上で実行されたことに応答して、該コンピューティングデバイスに、属性を取得する動作と、属性を分析する動作と、ユーザの属性に基づいてアバターの選択を容易にする動作とを具備する動作を実行させる複数の命令を備える、少なくとも1つのマシン読取可能媒体を含む例30
【0096】
例31は、例30に係る主題を含み、属性は、ユーザ及び1人以上の受信者についてのプロファイル情報、ユーザ及び1人以上の受信者の現在の状況に関連する情報、ユーザの顔の属性、のうちの少なくとも1つを含む。
【0097】
例32は、例31に係る主題を含み、コンピューティングデバイス上で実行されたことに応答して、該コンピューティングデバイスに、ユーザと1人以上の受信者との間のメッセージの内容を分析して、感情及び人間関係力学を決定する動作と、属性及びメッセージの内容に基づいてアバターを選択する動作とを更に実行させる複数の命令を備える。
【0098】
例33は、例32に係る主題を含み、コンピューティングデバイス上で実行されたことに応答して、該コンピューティングデバイスに、1人以上の受信者の顔の属性をモニタリングする動作と、1人以上の受信者からテキストデータを受け取る動作と、顔の属性及び1人以上の受信者からのテキストデータに基づいて、更新されたアバターを選択するための動作とを更に実行させる複数の命令を備える。
【0099】
例34は、例30に係る主題を含み、ユーザの属性を分析する動作は、ユーザの顔の属性を認識することを備える。
【0100】
例35は、例34に係る主題を含み、コンピューティングデバイス上で実行されたことに応答して、該コンピューティングデバイスに、属性類似スコアを各利用可能なアバターモデルに割り当てる動作と、属性類似スコアに基づいて利用可能なアバターモデルをランク付けする動作と、ランク付けされたアバターモデルに基づいてアバターを推薦する動作とを更に実行させる複数の命令を備える。
【0101】
図面及びの説明は例示の実施形態を与える。当業者には、説明される要素の1つ以上を単一の機能要素に良好に組み合わせることができることが認識されよう。あるいは、特定の要素を複数の機能要素に分けてもよい。1つ以上の実施形態からの要素を別の実施形態に追加してもよい。例えば本明細書で説明される処理の順序を変更してもよく、本明細書で説明されるやり方に限定されない。さらに、いずれかのフロー図のアクションは、図示される順序で実装されなくてよく;必ずしも全ての動作を実行する必要もない。また、他の動作に依存しないこれらの動作を、他の動作と並列に実行してもよい。実施形態の範囲は、これらの特定の例によって限定されない。明細書内に明示的に与えられているか否かに関わらず、構造、寸法及び材料の使用において異なる様々な変形が可能である。実施形態の範囲は、少なくとも、以下の特許請求の範囲によって与えられるものと同等に広い。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【国際調査報告】

[広告欄]

ログインすれば広告は減ります

ログインすれば広告は減ります