(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
装置は、メモリと、メモリと通信し、ネットワークを介して通信するように構成された通信インタフェースと、プロセッサとを含む。プロセッサは、クライアント装置のユーザと関連付けられた顔画像データを受信し、顔画像データを登録し、顔画像データ及びユーザと関連付けられたコンテキストデータをデータベースに記憶する。プロセッサはネットワークと通信している少なくとも1つの画像取込装置からビデオストリームデータを受信し、解析されたビデオデータ及び解析されたコンテキストデータをそれぞれ定めるために、ビデオストリームデータ及びビデオストリームデータと関連付けられたコンテキストデータを解析し、ビデオストリームデータと関連付けられたデータをデータベースに記憶されているデータに比較することに基づいて信頼レベルを求める。プロセッサは、信頼レベルが基準を満たす場合、ユーザ特有のコンテキストビデオストリームを定める。
前記プロセッサが、前記ネットワーク及び前記通信インタフェースを介して、前記クライアント装置に、前記クライアント装置のディスプレイに前記ユーザ特有のコンテキストビデオストリームを、図表を用いて表す命令を示す信号を送信するように構成される、請求項1に記載の装置。
前記プロセッサが、前記ビデオストリームデータを前記顔画像データに比較する前に、前記ビデオストリームデータと関連付けられた前記コンテキストデータを、前記ユーザと関連付けられた前記コンテキストデータと比較するように構成される、請求項1に記載の装置。
前記信頼レベルが、(1)前記解析されたビデオデータと前記顔画像データとの間の一致のレベル、及び(2)前記解析されたコンテキストデータと前記ユーザと関連付けられた前記コンテキストデータとの間の一致のレベルを示す、請求項1に記載の装置。
前記信頼レベルが、少なくとも前記解析されたビデオデータと前記顔画像データとの間の一致レベルを示し、前記基準が、前記解析されたビデオデータと前記顔画像データとの間の少なくとも70%一致の一致閾値である、請求項1に記載の装置。
前記ユーザが複数のユーザからのユーザであり、前記データベースが前記複数のユーザからの各ユーザと関連付けられた少なくとも顔画像データを記憶するように構成される、請求項1に記載の装置。
前記ユーザが複数のユーザからのユーザであり、前記データベースが、前記複数のユーザからの各ユーザと関連付けられた少なくとも顔画像データを記憶するように構成され、
前記プロセッサが、(1)前記解析されたビデオデータを前記複数のユーザからの各ユーザの前記顔画像データと、及び(2)前記解析されたコンテキストデータを前記複数のユーザからの各ユーザと関連付けられた前記コンテキストデータと、比較するように構成される、
請求項1に記載の装置。
前記ユーザが複数のユーザからの第1のユーザであり、前記データベースが前記複数のユーザからの各ユーザと関連付けられた少なくとも顔画像データを記憶するように構成され、
前記プロセッサが、前記複数のユーザからの第2のユーザと関連付けられたコンテキストビデオストリームを表すデータを、前記複数のユーザからの前記第2のユーザと関連付けられた信頼レベルが前記基準を満たす場合に定めるように構成され、
前記プロセッサが、前記ネットワークを介して及び前記複数のユーザからの前記第2のユーザと関連付けられたクライアント装置に対して、前記複数のユーザからの前記第2のユーザと関連付けられた前記クライアント装置のディスプレイに、前記複数のユーザからの前記第2のユーザと関連付けられた前記コンテキストビデオストリームを、図表を用いて表す命令を示す信号を送信するように構成される、
請求項1に記載の装置。
前記ユーザと関連付けられた前記顔画像データが、前記クライアント装置に操作可能に結合されたカメラを介して取り込まれた画像データである、請求項9に記載の方法。
前記ホスト装置から前記クライアント装置に、及び前記コンテキストビデオストリームデータを解析する前に、前記ユーザと関連付けられたコンテキストデータに対する要求を送信すること
をさらに含む、請求項9に記載の方法。
前記ホスト装置から前記クライアント装置に、及び前記コンテキストビデオストリームデータを解析する前に、前記ユーザと関連付けられたコンテキストデータに対する要求を送信することをさらに備え、前記コンテキストデータがカレンダデータ、場所データ、プリファレンスデータ、又は購入データのうちの少なくとも1つである、
請求項9に記載の方法。
ネットワークと通信している画像取込アセンブリであって、前記画像取込アセンブリがビデオストリームデータを取り込むように構成された少なくとも1つの画像取込装置を含み、前記ビデオストリームデータが所定のコンテキストと関連付けられる、画像取込アセンブリと、
少なくとも1つのプロセッサ及びメモリを有するホスト装置であって、前記ホスト装置が前記ネットワーク及びデータベースと通信しており、(1)前記ネットワークを介してクライアント装置からユーザの顔画像データを受信し、(2)顔認識及び画像解析によって前記顔画像データを登録し、(3)前記データベースに前記顔画像データを記憶するように構成された前記ホスト装置と
を備え、
前記ホスト装置が、前記画像取込アセンブリからの前記ビデオストリーム、及び前記所定のコンテキストと関連付けられたデータを受信し、前記ビデオストリームデータを前記顔画像データに比較すること、及び前記所定のコンテキストと関連付けられた前記データを、前記ユーザと関連付けられたコンテキストデータに比較することに基づいて信頼レベルを求めるように構成され、前記ホスト装置が、ユーザ特有のコンテキストデータを定義し、前記信頼レベルが基準を満たす場合に、前記ネットワークを介して前記ユーザ特有のコンテキストデータを前記クライアント装置に送信するように構成される、
システム。
前記ホスト装置が、前記クライアント装置のカメラが前記ユーザの前記顔画像データを取り込むのに応答して、前記クライアント装置から前記顔画像データを受信するように構成される、請求項15に記載のシステム。
前記ホスト装置によって受信される前記顔画像データが、前記ユーザの前記顔のグラフィック表現が前記クライアント装置のディスプレイ上で所定の位置合わせされる場合、前記クライアント装置のカメラによって自動的に取り込まれる顔画像データである、請求項15に記載のシステム。
前記ホスト装置によって受信される前記顔画像データが、ユーザの前記目の間の距離が約40ピクセルと約65ピクセルとの間であるように、前記ユーザが前記クライアント装置のディスプレイ上で前記ユーザの前記顔のグラフィック表現を位置合わせする場合、前記クライアント装置のカメラによって自動的に取り込まれる顔画像データである、請求項15に記載のシステム。
前記クライアント装置の前記ユーザと関連付けられた前記顔画像データが、前記ユーザの前記顔の複数の画像を含み、前記複数の画像からの各画像が前記クライアント装置の前記カメラに対して異なる向きで前記ユーザの前記顔を取り込む、請求項15に記載のシステム。
前記少なくとも1つの画像取込装置が、ピクチャ又はビデオ録画のうちの少なくとも1つと関連付けられた画像データを取り込むように構成された少なくとも1つのカメラである、請求項15に記載のシステム。
【発明を実施するための形態】
【0008】
[0015] 本明細書に説明される実施形態は、顔認識データに基づいてユーザを登録することと、個人を識別するためにコンテキストビデオストリームデータを解析することと、顔認識データ及び/又はビデオストリームのビデオ解析に基づいてユーザのコンテキストビデオストリームを提供することとに関する。一部の実施形態では、装置は、メモリと、メモリと通信しており、ネットワークを介して通信するように構成された通信インタフェースと、メモリ及び通信インタフェースと通信するプロセッサとを含む。プロセッサは、ネットワーク及び通信インタフェースを介して、クライアント装置のユーザと関連付けられた顔画像データを受信するように構成される。顔画像データの受信に応答して、プロセッサは、(1)2次元顔認識解析、3次元顔認識解析、又は畳込みニューラルネットワーク(CNN)のうちの少なくとも1つに基づいてユーザと関連付けられた顔画像データを登録し、(2)プロセッサに操作可能に結合されたデータベースに、ユーザと関連付けられた顔画像データ及びコンテキストデータを記憶する。また、プロセッサは、ネットワーク及び通信インタフェースを介して、ネットワークと通信している少なくとも1つの画像取込装置からビデオストリームデータを受信するように構成される。ビデオストリームデータの受信に応答して、プロセッサは(1)解析されたビデオデータを定めるために2次元顔認識解析論、3次元顔認識解析論、又はCNNのうちの少なくとも1つに基づいてビデオストリームデータを解析し、(2)解析されたコンテキストデータを定めるためにビデオストリームデータと関連付けられたコンテキストデータを解析し、(3)解析されたビデオデータを、データベースに記憶されている顔画像データと比較すること、及び解析されたコンテキストデータを、ユーザと関連付けられ、データベースに記憶されているコンテキストデータと比較することに基づいて信頼レベルを求める。プロセッサは、信頼レベルが基準を満たす場合にユーザ特有のコンテキストビデオストリームを表すデータを定めるように構成される。
【0009】
[0016] 一部の実施形態では、画像解析方法は、ホスト装置で及びネットワークを介してクライアント装置から、ユーザと関連付けられた顔画像データを登録する要求を示す信号を受信することを含む。ユーザと関連付けられた顔画像データは、顔認識及び画像解析によって登録され、ホスト装置と通信しているデータベースに記憶される。イベントと関連付けられたコンテキストビデオストリームデータはホスト装置で受信される。コンテキストビデオストリームデータは、コンテキストビデオストリームデータが、コンテキストビデオストリームデータの顔画像データの顔認識と関連付けられた基準を満たすかどうかを判断するためにビデオ解析によって解析される。ユーザのコンテキストビデオストリームは、コンテキストビデオストリームデータの顔画像データの顔認識と関連付けられた基準が満たされる場合定義される。ホスト装置は、クライアント装置のディスプレイにユーザのコンテキストビデオストリームを提示する命令を示す信号を送信する。
【0010】
[0017] 一部の実施形態では、システムは、ネットワークと通信している画像取込アセンブリ、並びに少なくとも1つのプロセッサ及び1つのメモリを有し、ネットワーク及びデータベースと通信しているホスト装置を含む。画像取込アセンブリは、所定のコンテキストと関連付けられるビデオストリームデータを取り込むように構成された少なくとも1つの画像取込装置を含む。ホスト装置は、(1)ネットワークを介してクライアント装置からユーザの顔画像データを受信し、(2)顔認識及び画像解析によって顔画像データを登録し、(3)データベースに顔画像データを記憶するように構成される。ホスト装置は、画像取込アセンブリからのビデオストリームデータ、及び所定のコンテキストと関連付けられたデータを受信するように構成される。ホスト装置は、ビデオストリームデータを顔画像データと比較すること、及び所定のコンテキストと関連付けられたデータを、ユーザと関連付けられたコンテキストデータに比較することに基づいて信頼レベルを求めるように構成される。ホスト装置はさらに、ユーザ特有のコンテキスト画像データを定義し、信頼レベルが基準を満たす場合、ネットワークを介してクライアント装置にユーザ特有のコンテキスト画像データを送信するように構成される。
【0011】
[0018] 本明細書で使用されるように、単数形「1つの」、「ある」、及び「該」は、文脈上明らかに他の意味に解釈すべき場合を除いて複数形の指示対象を含む。したがって、例えば、用語「モジュール」は、単一のモジュール又はモジュールの組合せを意味することを意図し、「ネットワーク」は1つ以上のネットワーク、つまりその組合せを意味することを意図する。
【0012】
[0019] 本明細書に使用されるように、用語「モジュール」は、例えば、メモリ、プロセッサ、電気トレース、光コネクタ、(ハードウェアで実行する)ソフトウェア等々を含むことがある、任意のアセンブリ及び/又は動作可能なように結合された電気部品の任意のアセンブリ及び/又はセットを指す。例えば、プロセッサで実行されるモジュールは、ハードウェアベースのモジュール(例えば、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP))及び/又はそのモジュールと関連付けられた1つ以上の特定の機能を実施できるソフトウェアベースのモジュール(例えば、メモリに記憶された及び/又はプロセッサで実行されたコンピュータコードのモジュール)の任意の組合せであることがある。
【0013】
[0020] 本明細書で使用されるように、用語「コンテキストビデオストリーム」は、コンテキストデータを含む、及び/又はコンテキストデータと関連付けられるビデオストリームを指す。コンテキストデータは、例えば時刻データ及び/又は日付データ、場所データ、イベントデータ及び/又は開催地データ、ステータスデータ、個人識別データ、グループデータ及び/又はネットワークデータ、受取人データ、顔認識データ、プロファイルデータ等であることがある。実施形態が、(例えば、ホスト装置に対し又はホスト装置で)「ビデオストリーム」を送信する及び/又は受信するとして本明細書で説明されるとき、ビデオストリームはビデオストリームと関連付けられたコンテキストデータと関係なく送信及び/又は受信できる。例えば、クライアント装置はホスト装置にビデオストリームを送信することができ、それに応じてホスト装置は(例えば、ビデオストリームとは関係なく及び/又はビデオストリーム受信後に)任意の数のソースからビデオストリームと関連付けられたコンテキストデータを検索及び/又は要求できる。ホスト装置が、ビデオストリームデータ及びビデオストリームデータと関連付けられたコンテキストデータを受信すると、ホスト装置は、例えばコンテキストビデオストリーム及び/又は他の適切なコンテキスト画像データを定義できる。さらに他の実施形態では、ビデオストリーム及び/又は画像データはコンテキストデータなしに送信及び/又は受信できる。さらに、「ビデオストリーム」と呼ばれるが、他の例では、装置は単一の画像及び/又は静止画像(例えば、ピクチャ)を送信及び/又は受信できる。他の例では、装置は、集合的にビデオストリームを形成することがある任意の数の個々のフレーム等を送信及び/又は受信できる。
【0014】
[0021] 本明細書に説明される実施形態及び方法は、(1)ビデオストリームで登録ユーザ(例えば、顔認証データが所定である人)の1つ以上の画像を検索し、(2)コンテキストデータを含むビデオストリームをユーザと関連付けられたクライアント装置(例えば、スマートフォン、タブレット、コンピュータ、ウェアラブル電子機器等)に提供するために顔認識データを使用できる。顔認識は、概して、人の顔の1つ以上の画像を解析して、例えばその人の顔の構造(例えば、頬骨、下顎、耳、目、顎、鼻、生え際等)の目立った特徴を決定し、次いで目立った特徴と関連付けられた及び/又はそれ以外の場合目立った特徴を表す定性的なデータ及び/又は定量的なデータを定めることを伴う。1つの手法は、例えば、人の顔の目立った特徴と関連付けられたデータを抽出し、幾何学的な情報及び/又は座標ベースの情報を含むデータを定めること(例えば、顔認識データの3次元(3‐D)解析)を含む。別の手法は、例えば画像データから不必要なものを取り除いて定性値にし、それらの値をテンプレート等に比較すること(例えば、顔認識データの2次元(2‐D)解析)を含む。一部の例では、別の手法は3‐D解析論及び2‐D解析論の任意の適切な組合せを含むことがある。
【0015】
[0022] 一部の顔認識方法及び/又はアルゴリズムは、固有顔(例えば、顔認識と関連付けられた固有ベクトル)を使用する主成分分析、線形判別分析、Fisherfaceアルゴリズムを使用するエラスティックバンチグラフィックマッチング(Elastic Bunch Graph Matching)、隠れマルコフモデル、テンソル表現を使用する多重線形部分空間学習(Multilinear Subspace Learning)、ニューロン動機ダイナミックリンクマッチング(neuronal motivated dynamic link matching)、畳込みニューラルネットワーク(CNN)等々、又はその組合せを含む。本明細書に説明される実施形態及び/又は方法のいずれも、例えば上述されるもの等、任意の適切な顔認識方法及び/若しくは顔認識アルゴリズム、又はその組合せを使用及び/又は実装できる。さらに本明細書に説明される実施形態及び/又は方法のいくつかは、ユーザの初期の顔認識データを登録し、次いでビデオストリームに含まれる画像データをユーザの初期の顔認識データと比較するために使用できる。したがって、正確な及び/又は完全な初期の顔認識データを有することが望ましい。したがって、本明細書に説明される実施形態及び/又は方法は、ユーザの顔をテンプレート、フレーム、境界、マーカ、インジケータ等々に位置合わせすることと関連付けられた方法、ステップ、及び/又はプロセスを含むことがある。
【0016】
[0023]
図1Aは、実施形態に係るビデオ認識システム100の概略図である。一部の例では、(本明細書では「システム」と呼ばれることもある)ビデオ認識システム100は、少なくとも部分的に顔認識データに基づいて(例えば、「ユーザ特有のコンテキストビデオストリーム」又は「ユーザ特有のビデオストリーム」とも呼ばれる)ユーザのコンテキストビデオストリームを提示するために使用できる。システム100の少なくとも一部分は、例えばメモリに記憶され、電子機器(例えば、ホスト装置、サーバ又はサーバのグループ、パーソナルコンピュータ(PC)、ネットワーク装置等)等々のプロセッサ内で実行される命令又はコードのセットによって表す及び/又は説明することができる。例えば、一部の実施形態では、ホスト装置はユーザと関連付けられた顔認識データを登録する要求と関連付けられた信号を受信し、それに応じてデータベースに顔認識データを記憶できる。同様に、ホスト装置はビデオストリームデータと関連付けられた信号を受信できる。一部の例では、ホスト装置の1つ以上のプロセッサは次いで、ユーザの1つ以上の画像が少なくとも部分的に顔認識データに基づいてビデオストリームに存在するかどうかを判断するためにビデオデータを解析することと関連付けられた、ホスト装置のメモリに記憶された命令又はコードのセットを実行できる。画像がビデオストリームデータで見つけられる場合、1つ以上のプロセッサはビデオストリームデータの関連付けられた部分を分離できる。さらに、1つ以上のプロセッサは、(1)例えば時間、場所、イベント等のコンテキストデータをビデオストリームデータと関連付け、(2)ユーザのコンテキストビデオストリーム(例えば、ユーザ特有のコンテキストビデオストリーム)を定めるために命令又はコードのセットを実行できる。1つ以上のプロセッサは、次いでユーザと関連付けられたクライアント装置に、クライアント装置のディスプレイにユーザのコンテキストビデオストリームを提示する命令を示す信号を送信できる。
【0017】
[0024] システム100は、データベース140、クライアント装置150、及び画像取込システム160と通信しているホスト装置110を含む。ホスト装置110は、データベース140、クライアント装置150、及び画像取込システム160と電子的に通信している、サーバ又はサーバのグループ、ネットワーク管理装置、パーソナルコンピュータ(PC)、処理装置等々の任意の適切なホスト装置であってよい。例えば、本実施形態では、ホスト装置110は、本明細書にさらに詳細に説明されるように、ネットワーク105を介してデータベース140、クライアント装置150、及び画像取込システム160と電子的に通信している(実質的に同じ場所及び/又は施設に配置される、又は複数の場所で分散される)サーバ又はサーバのグループであってよい。
【0018】
[0025] クライアント装置150は、例えばPC、ラップトップ、コンバーチブルラップトップコンピュータ、タブレット、パーソナルデジタルアシスタント(PDA)、スマートフォン、ウェアラブル電子機器(例えば、スマートウォッチ等)等々の任意の適切な装置であってよい。
図1Aには示されていないが、一部の実施形態では、クライアント装置150は、少なくとも1つのメモリ、プロセッサ、通信インタフェース、ディスプレイ、及び1つ以上の入力を含む電子機器であってよい。メモリ、プロセッサ、通信インタフェース、ディスプレイ、及び入力(複数可)は、例えばその間で信号を送信できるようにするために互いに接続する及び/又は電気的に結合することができる。例えば、一部の実施形態では、メモリは、ランダムアクセスメモリ(RAM)、メモリバッファ、ハードドライブ、読出し専用メモリ(ROM)、電気的消去可能PROM(EPROM)等々であってよい。プロセッサは、汎用プロセッサ(GPP)、中央演算処理装置(CPU)、加速処理装置(APU)、グラフィック処理装置(GPU)、特定用途向け集積回路(ASIC)等々の(例えばメモリに記憶された)命令又はコードのセットを走らせる又は実行するように構成された任意の適切な処理装置であることがある。係るプロセッサは、PCアプリケーション、モバイルアプリケーション、インターネットウェブブラウザ、(ネットワークを介した)セルラー通信及び/又は無線通信等々を使用することと関連付けられた、メモリに記憶された命令又はコードのセットを走らせる又は実行することができる。すなわち、プロセッサは、本明細書にさらに説明されるようにホスト装置110に顔認識データを送信すること、並びに/又はホスト装置110から顔認識データ及び/若しくはコンテキストビデオストリームデータを受信することと関連付けられた、メモリに記憶された命令又はコードのセットを実行できる。
【0019】
[0026] クライアント装置150の通信インタフェースは、リソースを例えば1つ以上のネットワークインタフェースカード等の、ホスト装置110と通信させることができる任意の適切なモジュール及び/又は装置であってよい。係るネットワークインタフェースカードは、例えばクライアント装置150を、ネットワーク(例えば、ネットワーク105)等を介してホスト装置110と通信させることができる、イーサネットポート、ユニバーサルシリアルバス(USB)ポート、WiFi(登録商標)無線、ブルートゥース(登録商標)無線、近距離無線通信(NFC)無線、及び/又はセルラー無線を含むことがある。したがって、通信インタフェースは、ネットワーク105を介してホスト装置110と電子的に通信することと関連付けられたプロセッサに信号を送信する、及び/又はプロセッサから信号を受信することができる。
【0020】
[0027] クライアント装置150のディスプレイは、例えばシステム100の任意の適切な部分(例えば、ウェブページと関連付けられたグラフィックユーザインタフェース(GUI)、PCアプリケーション、モバイルアプリケーション等々)を、図表を用いて表すことができる、陰極線管(CRT)モニタ、液晶ディスプレイ(LCD)モニタ、発光ダイオード(LED)モニタ等々であってよい。一部の実施形態では、係るディスプレイは、触覚ユーザ入力を受け取るように構成されたタッチスクリーンであってよい、及び/又はタッチスクリーンを含んでよい。一部の例では、ディスプレイは、本明細書でさらに詳細に説明されるように、顔認識プロセスと関連付けられたデータ、及び/又はビデオストリームと関連付けられたデータを、図表を用いて表すように構成できる。
【0021】
[0028] クライアント装置150の入力(複数可)は、1つ以上の入力(例えば、ユーザ入力)を受信する、1つ以上の入力と関連付けられたプロセッサに信号を送信する及び/又は信号を受信することができる任意の適切なモジュール及び/又は装置であってよい。一部の実施形態では、入力(複数可)は、装置と電子的に通信させられるように構成された、ポート、プラグ、及び/若しくは他のインタフェースであってよい、並びに/又はポート、プラグ、及び/若しくは他のインタフェースを含んでよい。例えば、係る入力は、ユニバーサルシリアルバス(USB)ポート、電気電子技術者協会(IEEE)1394(FireWire)ポート、Thunderboltポート、Lightningポート等々であってよい。一部の実施形態では、ディスプレイは触覚ユーザ入力を受け取るように構成されたタッチスクリーン等に含まれてよい。
【0022】
[0029] 一部の実施形態では、入力はカメラ及び/又は他の撮像装置であることがある。例えば、一部の実施形態では、係るカメラは(例えば、スマートフォン、タブレット、ラップトップ等においてのように)クライアント装置150の中に統合されてよい、及び/又は(例えば上述されるもの等の)ポート等を介してクライアント装置150と通信してよい。カメラは、例えばスマートフォン又はタブレットに含まれるウェブカム又は前向きカメラ(例えば、ディスプレイと実質的に同じ方向に向けられるカメラ)等の任意の適切な撮像装置であることがある。このようにして、ユーザは、カメラに画像(例えば、写真)又はビデオを取り込ませるためにクライアント装置150を操作できる。さらに、一部の例では、ディスプレイはカメラによって取り込まれる画像と関連付けられたデータを、図表を用いて表すように構成できる。例として、一部の実施形態では、クライアント装置150は、前向きカメラを含む、スマートフォン、タブレット、又はウェアラブル電子機器であってよい。一部の例では、ユーザは、(例えば、「セルフィー」としても知られる)カメラを介して自身の写真又はビデオを撮影するためにクライアント装置150を操作できる。
【0023】
[0030] 一部の例では、クライアント装置150に含まれるカメラ(例えば、入力)は、ユーザの顔の画像を取り込むために使用でき、ユーザの顔の画像はユーザと関連付けられた顔認識データを登録するために使用できる。具体的には、ユーザは、カメラがユーザの顔の画像を取り込むようにクライアント装置150を操作できる。一部の例では、ディスプレイは、ユーザの顔の画像のための所望された位置合わせと関連付けられたユーザに対する表示を提供できる、データの表示、フレーム、境界、ガイド、及び/又は他の適切なグラフィック表現を、図表を用いて表すように構成できる。カメラが所望される画像を取り込むと、プロセッサは、ユーザの顔の画像と関連付けられたデータを受信する及び/又は取り出すことができ、同様に顔認識プロセスの少なくとも一部分と関連付けられた(例えば、メモリに記憶された)命令又はコードのセットを実行できる。例えば、一部の例では、プロセッサは、ディスプレイに図表を用いて表された表示、フレーム、境界等と、ユーザの顔の取り込まれた画像との間の位置合わせを検証することと関連付けられた命令又はコードのセットを実行できる。一部の例では、クライアント装置150は、位置合わせが検証されるとき、ホスト装置110に対してユーザの画像を表すデータと関連付けられた信号を、ネットワーク105を介して送信するように構成でき、それに応じてホスト装置110は、本明細書にさらに詳細に説明されるように、ユーザの顔画像データを登録するためにデータに対して1つ又は複数の任意の適切な顔認識プロセスを実施できる。
【0024】
[0031] (本明細書で「画像取込アセンブリ」とも呼ばれる)画像取込システム160は、画像データを取り込むように構成された1つ又は複数の任意の適切な装置であってよい、及び/又は画像データを取り込むように構成された1つ又は複数の任意の適切な装置を含んでよい。例えば、画像取込システム160は、画像(例えば、写真)を取り込む、及び/又はビデオストリームを記録するように構成された1つ以上のカメラ及び/若しくは画像録画装置であってよい、並びに/又は1つ以上のカメラ及び/若しくは画像録画装置を含んでよい。一部の実施形態では、画像取込システム160は、例えばサーバ、パーソナルコンピュータ、データ記憶装置(例えば、NAS、データベース等)の中央コンピューティング装置と通信している複数のカメラ等々を含んでよい。係る実施形態では、カメラはそれぞれ(例えば、有線接続又は無線接続、ポート、シリアルバス、ネットワーク等々を介して)画像データを中央コンピューティング装置に送信でき、中央コンピューティング装置は画像データをメモリ及び/又は他のデータ記憶装置に記憶できる。さらに、中央コンピューティング装置は(例えば、ネットワーク105を介して)ホスト装置110と通信してよく、画像データの少なくとも一部分をホスト装置110に送信するように構成できる。
図1Aでは、ネットワーク105を介してホスト装置110と通信しているとして示されているが、他の実施形態では、係る中央コンピューティング装置はホスト装置110の一部に含むことができる及び/又はそれ以外の場合ホスト装置110に結合できる。さらに他の実施形態では、カメラは係る中央コンピューティング装置なしに(例えば、ネットワーク105を介して)ホスト装置110と通信してよい。
【0025】
[0032] 一部の実施形態では、画像取込システム160は、例えば、スポーツアリーナ、テーマパーク、劇場、及び/又は任意の他の適切な開催地等と関連付ける、及び/又は開催地等によって所有することができる。他の実施形態では、画像取込システム160は開催地内で又は開催地で使用できるが、異なるエンティティ(例えば、スポーツイベントでのテレビカメラ等の、例えば開催地内で又は開催地で画像取込システム160を使用する許可を受けている、及び/又は権限を与えられているエンティティ)によって所有されてよい。さらに他の実施形態では、画像取込システム160は、カメラ又はレコーダとして使用できるスマートフォン、タブレット等の任意の数のクライアント装置等を含んでよい。係る実施形態では、クライアント装置の少なくともいくつかは、ホスト装置110及び/又は(例えば、上述される)開催地と関連付けられた中央コンピューティング装置と通信してよい。
【0026】
[0033] 例えば、一部の実施形態では、クライアント装置150の中に統合されたカメラは、
図1Bに示されるように、画像取込システム160の少なくとも一部分を形成してよい及び/又は含んでよい。このようにして、ユーザはピクチャ及び/又はビデオ録画を取り込むためにクライアント装置150を操作することができ、それに応じてクライアント装置150はホスト装置110にピクチャ(例えば、画像データ、写真データ等)及び/又はビデオ録画データをアップロードする及び/又はそれ以外の場合送信することができる。一部の例では、ピクチャデータ及び/又はビデオ録画データは任意の適切な時間の間クライアント装置150に記憶し、後にアップロード及び/又はホスト装置110に送信できる。さらに、ピクチャデータ及び/又はビデオ録画データは、ピクチャデータ及び/又はビデオ録画データがホスト装置110に送信された後、クライアント装置150に記憶できる。すなわち、ピクチャデータ及び/又はビデオ録画データを送信することは、クライアント装置150からピクチャデータ及び/又はビデオ録画データを削除及び/又は除去しない(例えば、データのコピーがホスト装置110に送信される)。したがって、
図1Bに示されるように、画像取込システム160は、特定のイベント及び/又は開催地と関連付けられる必要はない。係る例では、ユーザはクライアント装置150に統合されたカメラ及び/又は記録装置(例えば、画像取込システム160)を介してユーザによって生成されたコンテンツ(例えば、ピクチャ、画像データ、写真データ、ビデオストリームデータ等)を取り込むためにクライアント装置150(例えば、クライアント装置150のアプリケーション)を操作できる。
【0027】
[0034] 一部の例では、画像取込システム160は、開催地及び/又はイベントと関連付けられた画像データを取り込むように構成される。言い換えると、画像取込システム160は、所定の状況、既知の状況、及び/又は所与の状況の中で画像データを取り込むように構成される。例えば、一部の例では、画像取込システム160は、アリーナ等に設置され、後援者、ゲスト、上演者等と関連付けられた画像データを取り込むように構成される1つ以上の画像取込装置(例えば、カメラ及び/又はビデオレコーダ)を含んでよい。このようにして、画像取込システム160は、アリーナ及び/又はアリーナで発生しているイベントの状況の中で画像データを取り込むように構成される。したがって、取り込まれた画像データは、例えば「コンテキスト画像データ」であってよい。すなわち、画像データはコンテキストデータと関連付けられる。本明細書にさらに詳細に説明されるように、ホスト装置110は、画像取込システム160から画像データ及び/又はビデオストリームデータを、並びに任意の適切なデータソース等々から状況と関連付けられたデータ(例えば、アリーナ及び/若しくはアリーナで発生しているイベントと関連付けられた「コンテキストデータ」、並びに/又は他の適切なコンテキスト並びに/又はメタデータ)を受信することができ、コンテキストデータを、例えば画像データと関連付けることができ、例えばクライアント装置150のユーザと関連付けられたユーザ特有のコンテキスト画像及び/又はユーザ特有のコンテキストビデオストリームを定めることができ、クライアント装置150にユーザ特有のコンテキスト画像、及び/又はユーザと関連付けられたユーザ特有のコンテキストビデオストリームを送信できる。
【0028】
[0035] 上述されるように、クライアント装置150及び画像取込システム160は、1つ以上のネットワークを介してホスト装置110と通信してよい。例えば、
図1Aに示されるように、クライアント装置150及び画像取込システム160は、その通信インタフェース及びネットワーク105を介してホスト装置110と通信してよい。ネットワーク105は、例えばローカルエリアネットワーク(LAN)、バーチャルローカルエリアネットワーク(VLAN)等の仮想ネットワーク、エムラン(music local area network)(MLAN)、広域ネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセスネットワーク(WiMAX)、セルラーネットワーク、インターネット、並びに/又は有線ネットワーク及び/若しくは無線ネットワークとして実装される他の適切なネットワーク等の任意のタイプのネットワークであってよい。例として、ネットワーク105は、(「WiFi(登録商標)」としても知られる)電気電子技術者協会(IEEE)802.11規格に基づいた無線ローカルエリアネットワーク(WLAN)として実装できる。さらに、ネットワーク105は、例えばLAN又はWLAN及びインターネット等の任意のタイプのネットワークの組合せを含んでよい。一部の実施形態では、クライアント装置150は、ネットワーク105に類似することがある又はネットワーク105とは異なることがある中間ネットワーク及び/又は代替ネットワーク(不図示)を介して、ホスト装置110及びネットワーク105と通信できる。したがって、クライアント装置150は、共通ネットワークを使用し、ホスト装置110に伝送されることもあれば、伝送されないこともある(例えば、上述されるネットワークのいずれかと関連付けられた)複数の通信モードを使用し、ホスト装置110にデータを送信する、及び/又はホスト装置110からデータを受信することができる。例えば、クライアント装置150は、セルラーネットワーク及びインターネット(例えば、ネットワーク105)を介してホスト装置110に接続された携帯電話(例えば、スマートフォン)であってよい。
【0029】
[0036] 一部の例では、ネットワークは、例えばピアネットワーキングセッション等を容易にしてよい。係る例では、ピアネットワーキングセッションは、例えばクライアント装置及び/又は任意の他の適切な電子機器を含んでよく、そのそれぞれは共通の特徴を共有する。例えば、一部の例では、ピアネットワーキングセッションは、開催地、イベント、場所等の所定の近傍の中にある任意の適切なクライアント装置(例えば、データベース140に登録された電子機器等々)を含むことがある。例えば、一部の例では、係るピアネットワーキングセッションは、開催地(例えば、スポーツイベント)に存在する任意の数の登録されたクライアント装置を含んでよい。一部の例では、ピアネットワーキングセッションは、ユーザ及び/又はクライアント装置と関連付けられたコンテキストデータに基づいて自動的に確立できる。他の例では、ピアネットワーキングセッションは、「チェックインする」及び/又はそれ以外の場合開催地等での自分の存在を公にする(例えば、ユーザの存在を「スクォークする(squawk」)1人以上のユーザに基づいて自動的に確立できる。一部の例では、ユーザはイベント等(例えば、スポーツイベント、コンサート、結婚式、誕生パーティ、集まり等)に到着したときに、登録のときに、画像又はビデオストリームを取り込むときに等々、「チェックイン」できる。さらに、「チェックイン」は、例えば地理位置情報データ、日付データ及び時刻データ、個人識別データ又はユーザ識別データ等の識別情報を含んでよい。
【0030】
[0037] 他の例では、ユーザは、例えばユーザの所定のセット又はグループを含むピアネットワーキングセッションを手動で確立できる。一部の例では、係るピアネットワーキングセッションは、パブリックネットワーク、プライベートネットワーク、及び/又はそれ以外の場合、アクセス制限ネットワークであってよい。例えば、一部の例では、ユーザはネットワーキングセッションに加わることを要求してよく、及び/又はネットワーキングセッション等々に加わるよう招待を受け取ってよい。一部の例では、ピアネットワーキングセッションを確立することは、例えばピアネットワーキングセッションに含まれるユーザ間での画像及び/又はビデオデータの通信(例えば、グループチャットセッション等)及び/又は共用を容易にできる。
【0031】
[0038] ホスト装置110は、データベース140、クライアント装置150、及び/又は画像取込システム160にデータを送信する、及び/又はデータベース140、クライアント装置150、及び/又は画像取込システム160からデータを受信するように構成された任意の適切な装置であってよい。一部の実施形態では、ホスト装置110は、例えばサーバ装置(例えば、ウェブサーバ装置)、ネットワーク管理装置、管理者装置等々として機能することがある。一部の実施形態では、ホスト装置110は、同じブレード、ラック、及び/若しくは施設内若しくは上でともに収容された、又は複数のブレード、ラック、及び/若しくは施設内若しくは上で分散されたサーバ又は装置のグループであってよい。ホスト装置110は、少なくとも1つのメモリ115、プロセッサ120、及び通信インタフェース125(例えば、
図2を参照)を含む。一部の実施形態では、メモリ115、プロセッサ120、及び通信インタフェース125は、信号がメモリ115、プロセッサ120、及び通信インタフェース125の間で送信できるように接続される、及び/又は電気的に結合される。また、ホスト装置110は、ユーザデータ、顔認識データ、(例えば、時間、場所、開催地、イベント等と関連付けられた)コンテキストデータ、ビデオストリーム等々を記憶するように構成されたデータベース140を含んでよい、及び/又はそれ以外の場合、該データベース140に操作可能に結合されてよい。
【0032】
[0039] メモリ115は、例えばRAM、メモリバッファ、ハードドライブ、データベース、ROM、EPROM、EEPROM等々であってよい。一部の例では、ホスト装置110のメモリ115は、1つ以上の顔認識アクションを実施するために使用される、及び/又は1つ以上の適切な通信モードを使用し、少なくとも1つの装置(例えば、クライアント装置150)とデータを通信する(例えば、送信及び/又は受信する)ために使用される命令又はコードのセットを含む。プロセッサ120は、例えばGPP、CPU、APU、GPU、ネットワークプロセッサ、フロントエンドプロセッサ、ASIC、FPGA等々の任意の適切なプロセッサであってよい。したがって、プロセッサ120はメモリ115に記憶される命令、モジュール、及び/又はコードのセットを実施する及び/又は実行するように構成されてよい。例えば、プロセッサ120は、本明細書にさらに説明されるように、とりわけ(例えば、クライアント装置150から)顔認識データを受信すること、顔認識データを解析すること、顔認識データを登録及び/若しくは記憶すること、(例えば、画像取込システム160から)ビデオストリームデータを受信すること、ビデオストリームデータを解析し、ビデオストリームデータを顔認識データに比較すること、ビデオストリームデータを(例えば、クライアント装置150に)送信すること、並びに/又は任意の他の適切なプロセスと関連付けられた命令及び/又はモジュールのセットを実行するように構成できる。通信インタフェース125は、ホスト装置110をデータベース140、クライアント装置150、画像取込装置160、並びに/又はネットワーク105と通信している任意の他の適切な装置及び/若しくはサービスと通信させることができる任意の適切な装置であってよい(例えば、顔認識データ、ビデオストリーム等々のデータを収集する、及び/又は少なくとも一時的に記憶するように構成された任意の装置)。一部の実施形態では、通信インタフェース125は、例えばネットワークインタフェースカード(NIC)、イーサネットインタフェース、光搬送波(OC)インタフェース、非同期転送モード(ATM)インタフェース、及び/又は無線インタフェース(例えば、WiFi(登録商標)無線、ブルートゥース(登録商標)無線、NFC無線等々)の1つ以上の有線インタフェース及び/又は無線インタフェースを含んでよい。
【0033】
[0040]
図1Aに戻ると、ホスト装置110と関連付けられたデータベース140は、例えばリレーショナルデータベース、オブジェクトデータベース、オブジェクト‐リレーショナルデータベース、階層データベース、ネットワークデータベース、エンティティ‐関係データベース、構造化照会言語(SQL)データベース、拡張マークアップ言語(XML)データベース、デジタルレポジトリ、メディアライブラリ、クラウドサーバ又はクラウドストレージ等々の任意の適切なデータベースであってよい。一部の実施形態では、ホスト装置110は、通信インタフェース125を介して任意の適切なネットワーク(例えば、ネットワーク105)上でデータベース140と通信してよい。係る実施形態では、データベース140は、ネットワーク105及び/又は任意の他のネットワーク(複数可)を介してホスト装置110と通信できるネットワーク接続ストレージ(NAS)装置に含まれる又は該ネットワーク接続ストレージ(NAS)装置によって記憶することができる。他の実施形態では、データベースはホスト装置110のメモリ115に記憶できる。さらに他の実施形態では、データベース140は、ケーブル、バス、サーバラック等々を介してホスト装置110に操作可能に結合できる。
【0034】
[0041] データベース140は、ビデオ認識システム100と関連付けられたデータを記憶する及び/又は少なくとも一時的に保持することができる。例えば、一部の例では、データベース140は、ユーザプロファイル、リソースリスト、顔認識データ、モード、及び/又は方法、(例えば、時間、場所、開催地、イベント等と関連付けられた)コンテキストデータ、ビデオストリーム又はその部分等々と関連付けられた、及び/又はそれ以外の場合表すデータを記憶できる。言い換えると、データベース140は、顔認識データがシステム100(例えば、「登録ユーザ」)によって登録ユーザと関連付けられたデータを記憶できる。一部の実施形態では、データベース140は、リレーショナルモデルに従ってテーブル、マトリックス、ベクトル等でデータを記憶できるリレーショナルデータベースであってよい、及び/又はリレーショナルデータベースを含んでよい。例として、一部の例では、ホスト装置100はデータベース140に、ビデオソース又は画像ソース(例えば、画像取込システム160)から受信されるビデオストリームデータ、及びビデオストリームデータと関連付けられたコンテキストデータを記憶するように構成できる。一部の例では、ビデオストリームデータ及びそれと関連付けられたコンテキストデータは、本明細書にさらに詳細に説明されるように、集合的にコンテキストビデオストリーム等を定義できる。他の例では、ビデオストリームデータは、コンテキストデータ等なしにデータベース140に記憶できる。
【0035】
[0042] ホスト装置110はデータベース140(例えば、単一のデータベース)を含む及び/又はそれ以外の場合データベース140(例えば、単一のデータベース)に操作可能に結合されているとして、
図1Aに関して示され、説明されるが、一部の実施形態では、ホスト装置110は任意の数のデータベースに操作可能に結合できる。係るデータベースは、システム100と関連付けられたデータセットの少なくとも一部分を記憶するように構成できる。例えば、一部の実施形態では、ホスト装置110は、ユーザデータ、ユーザプロファイル等々を受信し、少なくとも一時的に記憶するように構成された第1のデータベース、並びにビデオストリームデータ及びビデオストリームデータと関連付けられたコンテキストデータを受信し、少なくとも一時的に記憶するように構成された第2のデータベースと操作可能に結合できる、及び/又はそれ以外の場合通信できる。一部の実施形態では、ホスト装置110は、クライアント装置150及び/又は画像取込システム160内に又は上に記憶されるデータベースと操作可能に結合できる、及び/又はそれ以外の場合、データベースと通信できる。言い換えると、データベースの少なくとも一部分は、クライアント装置150及び/若しくは画像取込システム160で実装できる、並びに/又はクライアント装置150及び/若しくは画像取込システム160によって記憶できる。このようにして、ホスト装置110及び一部の例ではデータベース140は、(例えばネットワーク105を介して)ホスト装置110と通信しながら、ホスト装置110とは異なる場所に物理的に配置できる任意の数のデータベースと通信できる。一部の例では、データベース140の第1の部分は、ホスト装置110のメモリに含まれてよく、及び/又はそれ以外の場合ホスト装置110のメモリによって記憶されてよく、データベース140の第2の部分はクライアント装置150のメモリに含まれてよく、及び/又はそれ以外の場合クライアント装置150のメモリによって記憶されてよい。
【0036】
[0043] 一部の実施態様では、データベース140は、検索可能なデータベース及び/又はレポジトリであってよい。例えば、一部の例では、データベース140は、ユーザと関連付けられたビデオストリームデータ(例えば、コンテキストビデオストリームデータ)を記憶できる。一部の例では、ユーザは、データベース140に記憶される、ユーザと関連付けられた1つ以上のコンテキストビデオストリームを取り出す及び/又は見るためにデータベース140を検索できる。一部の例では、ユーザは、アクセス制限及び/又は自分のプロファイルと関連付けられたビデオストリーム(例えば、ユーザ特有のコンテキストビデオストリーム等々)を更新する、編集する、削除する、及び/又は追加する特権を有してよい。一部の例では、ユーザは、例えばそのユーザと関連付けられたユーザ特有のビデオストリームと関連付けられた許可及び/又はアクセスを更新する及び/又は修正することができる。例えば、一部の実施形態では、ユーザは、ユーザと関連付けられたデータを再分配する、共用する、及び/又は保存することができる。他の例では、ユーザは、ユーザ特有のデータ等々に対するアクセスをブロックできる。一部の例では、ユーザは、(例えば、ユーザと関連付けられることもあれば、関連付けられないことある)コンテンツ、データ、及び/又はそれ以外の場合、ユーザと共用されるビデオストリームを再分配する及び/又は共用することができる。
【0037】
[0044]
図2に戻ると、上述されるように、ホスト装置110のプロセッサ120は、特定のモジュールを実行するように構成できる。モジュールは、例えばメモリ115に記憶された、及び/又はプロセッサ120で実行されたハードウェアモジュール、ソフトウェアモジュール、及び/又はその任意の組合せよい。例えば、
図2に示されるように、プロセッサ120は、解析モジュール121、データベースモジュール122、及びプレゼンテーションモジュール123を含む、及び/又は実行する。
図2に示されるように、解析モジュール121、データベースモジュール122、及びプレゼンテーションモジュール123は、接続する及び/又は電気的に結合することができる。したがって、信号は、解析モジュール121と、データベースモジュール122と、プレゼンテーションモジュール123との間で送信できる。
【0038】
[0045] 解析モジュール121は、ユーザの顔認識及び/又はビデオストリームと関連付けられたデータを受信すること、及び/又は収集することと関連付けられるプロセッサ120によって実行できる命令のセット(又はその部分)を含む。より詳細には、解析モジュール121は、通信インタフェース125に操作可能に結合できる、及び/又はそれ以外の場合通信インタフェース125と通信して、そこからデータを受信できる。係るデータは、例えばユーザ(例えば、顔認識情報、プロファイル情報、プリファレンス、活動ログ、場所情報、連絡先情報、カレンダ情報、ソーシャルメディア活動情報等)、開催地(例えば、場所データ、リソースデータ、イベントスケジュール)、イベント等々と関連付けることができる。本明細書にさらに説明されるように、解析モジュール121は、顔認識と関連付けられた任意の数のプロセスを実施する及び/又は実行する要求及び/又は命令と関連付けられた通信インタフェース125から信号を受信できる。
【0039】
[0046] 一部の例では、解析モジュール121は、実質的にリアルタイムで通信インタフェース125からデータを受信できる。すなわち、一部の例では、システム100(例えば、クライアント装置150)に含まれる電子機器は、ユーザの顔認識と関連付けられたデータを定義及び/又は更新するためにユーザによって操作することができ、いったん定義及び/又は更新されると、ネットワーク105を介してホスト装置110にデータを送信できる。したがって、通信インタフェース125は、データを受信すると、電子機器による定義及び/又は更新の後の非常に短期間にデータを受信する解析モジュール121に信号を送信できる。他の実施形態では、解析モジュール121は、例えば集約プロセス、現在のプロセッサ及び/又は予測されるプロセッサ、メモリ、及び/又はネットワーク負荷等々に基づいて所定の速度等で通信インタフェース125からデータを受信できる。
【0040】
[0047] 上述のように、解析モジュール121は、顔認識プロセス等と関連付けられたデータを受信する、統合する、解析する、並べ替える、構文解析する、改変する、及び/又は更新するように構成できる。より詳細には、一部の例では、ユーザは、(本明細書でさらに詳細に説明されるように)自分の顔の1つ以上の画像又はビデオストリームを取り込むためにクライアント装置150を操作することができ、同様に、例えばネットワーク105を介してホスト装置110に画像データと関連付けられた、及び/又は画像データを表す信号を送信できる。一部の例では、通信インタフェース125は画像データを受信することができ、関連付けられた信号を解析モジュール121に送信できる。解析モジュール121は、受信時、画像データを統合すること、解析すること、並べ替えること、更新すること、構文解析すること、及び/又はそれ以外の場合処理することと関連付けられた(例えば、解析モジュール121に及び/又はメモリ115に記憶された)命令又はコードのセットを実行できる。より詳細には、解析モジュール121は、例えば上述されたもの等、任意の適切な顔認識プロセス及び/又は顔認識アルゴリズムを実施できる。一部の実施形態では、顔認識プロセス及び/又はアルゴリズムは、ユーザと関連付けられた画像データの初期登録であってよい。例えば、解析モジュール121は、(本明細書では「初期データセット」、「初期顔画像」、及び/又は「顔画像」とも呼ばれる)ユーザの顔のテンプレート、輪郭、外形、形状、特徴、配置、特性等と関連付けられた及び/又はそれ以外の場合ユーザの顔のテンプレート、輪郭、外形、形状、特徴、配置、特性等を表すデータセットを定義できる。言い換えると、一部の例では、ユーザは、「セルフィー」(例えば、ユーザ及び特にユーザの顔のピクチャ及び/又はビデオ)を取り込むためにクライアント装置150を操作することができ、それに応じてクライアント装置150は、例えばセルフィーデータを含む初期のデータセットをホスト装置110に送信できる。一部の例では、セルフィーを取り込む前に、及び/又はホスト装置110にデータを送信する前に、クライアント装置150のユーザは、個人データ及び/又は場所データ等の供用を含むサービス利用規約を受け入れるように(例えば、クライアント装置150のディスプレイで)プロンプトを出されることがある。
【0041】
[0048] 解析モジュール121は、初期データセットを定義した後、初期データセットをデータベース140に記憶する命令を示す信号を、例えばデータベースモジュール122に送信できる。一部の例では、解析モジュール121は、初期データセット、並びに例えばピクチャ、ビデオ録画、及び/又は音声記録、個人情報及び/又は識別情報(例えば、名前、年齢、性別、誕生日、趣味等)、カレンダ情報、(例えば、ユーザ及び/又はユーザの友人、家族、同僚等と関連付けられた)連絡先情報、装置情報(例えば、媒体アクセス制御(MAC)アドレス、インターネットプロトコル(IP)アドレス等)、場所情報(例えば、現在場所データ及び/又は履歴場所データ)、ソーシャルメディア情報(例えば、プロファイル情報、ユーザ名、パスワード、友人、又は連絡先リスト等)、及び/又は任意の他の適切な情報若しくはデータ等のユーザと関連付けられた任意の他の適切な情報又はデータを含むユーザプロファイル等を定義できる。したがって、解析モジュール121は、本明細書にさらに詳細に説明されるように、データベース140にユーザプロファイルデータを記憶する命令を示す信号をデータベースモジュール122に送信できる。一部の例では、ホスト装置110は、初期データがデータベース140に記憶された後、クライアント装置150に確認を送信できる。さらに、ユーザプロファイルデータのいずれか及び/又は初期データセットの任意の部分はクライアント装置に150に記憶できる。
【0042】
[0049] 分析モジュール121は、初期データセットを定めるために顔認識プロセス等を実施及び/又は実行するとして上述されるが、一部の例では、解析モジュール121は、ビデオストリームデータ(又は、例えば写真からの画像データ)を受信することができ、ビデオストリームデータの一部分が初期データセットの任意の適切な部分に一致するかどうかを判断するためにビデオストリームを解析及び/又は処理するように構成できる。すなわち、解析モジュール121は、ビデオストリームに含まれるデータが比較されるテンプレートとして初期データセットを使用できる。別の言い方をすると、解析モジュール121は、少なくとも部分的に初期データセットに基づいてビデオストリームデータに対して顔認識プロセス及び/又は解析を実施する。一部の実施形態では、ホスト装置110及びより詳細には、通信インタフェース125は、(例えば、ネットワーク105を介して1つ以上のカメラから)直接的に又は(例えば、コンピューティング装置から、1つ以上のカメラと通信しているネットワーク105を介して)間接的に、のどちらかで画像取込システム160からビデオストリームデータを受信する。一部の実施形態では、解析モジュール121は、少なくとも部分的にビデオストリームデータを分離すること、構文解析すること、並べ替えること、及び/それ以外の場合その個々のフレーム(例えば、ビデオストリーム中の所定のときの静的画像)に分解することに基づいてビデオストリームデータを解析及び/又は処理するように構成できる。したがって、解析モジュール121は、初期データセットに対してビデオストリームフレームに含まれるデータを比較及び/又は解析できる。
【0043】
[0050] 一部の例では、解析モジュール121は、例えば場所、開催地、時間、同時に起こるイベント(例えば、ゴールを決めるスポーツチームが、例えば「キスカム」で等で取り込まれる)に関連付けられるコンテキスト情報、及び/又は任意の他の適切なコンテキスト情報を決定するためにビデオストリームデータも解析できる。一部の例では、解析モジュール121は、ビデオストリームの少なくとも一部分をコンテキストデータに一致させる、統合する、及び/又はそれ以外の場合関連付けるように構成できる。例えば、一部の例では、ビデオストリームデータは、例えばスポーツイベントでのユーザを表すことができる。係る例では、コンテキストデータは、例えばスポーツイベント又はゲームのビデオストリームであってよく、時間、場所、開催地、チーム等と関連付けられたデータを含むことができる。したがって、解析モジュール121は、ビデオストリームデータ及びコンテキストデータが実質的に一致する(例えば、実質的に同時に発生する、及び/又は関連付けられたデータを取り込む)ように、ビデオストリームデータ及びコンテキストデータを統合するように構成できる。他の例では、コンテキストデータは、任意の他の適切なコンテキストと関連付けられたデータを含んでよい。
【0044】
[0051] 解析モジュール121が、ビデオストリームのデータの少なくとも一部分が基準を満たす(例えば、所定の確率及び/又は許容可能な確率に初期データセットを一致させる)と判断する場合、解析モジュール121は、画像及び/又はビデオストリームのデータの少なくとも部分をデータベース140に記憶し、そのデータを初期データセットと関連付ける及び/又はそれ以外の場合記憶する命令を示す1つ以上の信号をデータベースモジュール122に送信できる。一部の例では、解析モジュール121は、個々のフレームがデータベース140に記憶されるように、データベースモジュール122に信号を送信でき、個々のフレームはビデオストリームを定めるためにその後取り出し、処理できる。他の例では、解析モジュール121は、ビデオストリームデータの部分がデータベース140に記憶されるようにデータベースモジュール122に1つ以上の信号を送信できる。すなわち、解析モジュール121は、(上述されるように、分離又は分解された)個々のフレームからビデオストリームを少なくとも部分的に再定義及び/又は再構築することができる。
【0045】
[0052] 一部の例では、ホスト装置110は、(例えば、画像取込システム160から並びにネットワーク105及び通信インタフェース125を介して)ビデオストリームデータを受信することができ、
図2に示されていない解析モジュール121及び/又は任意の他の適切なモジュールは、(説明されたばかりの)顔認識プロセスを実施する前に1つ以上の前処理手順及び/又は事前分類手順を実施できる。例えば、一部の実施形態では、解析モジュール121(又は他のモジュール)は、例えば場所、時間、イベント等の識別情報及び/又はコンテキスト情報を含むデータセットを決定及び/又は定めるためにビデオストリームデータを解析できる。いったん定義されると、解析モジュール121は、例えばビデオストリームと関連付けられたコンテキスト情報を含むデータセットを適合させる等、ユーザと関連付けられたデータが基準(単数可)を満たすかどうかを判断するために、(例えば、データベース140に問い合わせる命令を示す信号をデータベースモジュール122に送信することによって等々)データベース140に記憶されたユーザデータを解析できる。
【0046】
[0053] 一部の例では、基準(単数可)は、任意の適切な方法(例えば、小数、パーセンテージの値等々)で表される信頼レベル及び/又は一致閾値と関連付けることができる。例えば、一部の例では、基準(単数可)は、ビデオストリームデータ及びデータベースに記憶されるデータの少なくとも一部分の70%一致、ビデオストリームデータ及びデータベースに記憶されるデータの少なくとも一部分の75%一致、ビデオストリームデータ及びデータベースに記憶されるデータの少なくとも一部分の80%一致、ビデオストリームデータ及びデータベースに記憶されるデータの少なくとも一部分の85%一致、ビデオストリームデータ及びデータベースに記憶されるデータの少なくとも一部分の90%一致、ビデオストリームデータ及びデータベースに記憶されるデータの少なくとも一部分の95%一致、ビデオストリームデータ及びデータベースに記憶されるデータの少なくとも一部分の97.5%一致、ビデオストリームデータ及びデータベースに記憶されるデータの少なくとも一部分の99%一致、又はその間の任意のパーセンテージ等の閾値等であってよい。
【0047】
[0054] 一部の例では、ユーザと関連付けられたデータは、例えばカレンダデータ、場所データ、プリファレンスデータ等々を含むことがある。例えば、データが基準を満たさない場合、解析モジュール121は、そのユーザと関連付けられたデータを例えば顔認識プロセスから排除できる旨の表示を定義できる。このようにして、前処理及び事前分類は、顔認識プロセスの間の処理負荷の量等を削減できる。ユーザデータについてデータベース140に問い合わせるとして上述されているが、一部の実施形態では、ホスト装置110は、その装置と関連付けられた場所データ等に対する要求を示す信号をユーザと関連付けられた装置(例えば、クライアント装置150)に送信できる。場所データ(例えば、装置のグローバルポジショニング(GPS)データ)の受信時、解析モジュール121は、上述のように、場所データがビデオストリームと関連付けられた場所データに一致するかどうかを判断できる。
【0048】
[0055] 例として、一部の例では、解析モジュール121は、例えばアリーナと関連付けられた場所データも含むスポーツイベントからビデオストリームデータを受信できる。それに応じて、解析モジュール121は、ユーザと関連付けられたクライアント装置(例えば、クライアント装置150)から場所データに対する要求を送信できる。例えば、ビデオストリームと関連付けられた場所データ及びクライアント装置と関連付けられた場所データが、実質的に類似している及び/又はクライアント装置と関連付けられた場所データが場所データ値等の所定の範囲内にある場合、解析モジュール121は信頼スコアを上げることができる、及び/又はそれ以外の場合結果を、閾値を満たすこと及び/又はそれ以外の場合基準(単数可)を満たすことを寄与すると見なすことができる。一部の例では、場所データは、例えばGPS、ネットワーク場所、及び/又は(例えば、NFC検証、ブルートゥース検証、セルラー三角測量、認知ネットワーク切替え、及び/又はプロトコル等を介した)データ、「チェックイン」等のソーシャルネットワークデータに基づいた地理位置情報データ等々であってよい。このようにして、ホスト装置110(例えば、解析モジュール121)は、例えばビデオストリームデータが取り込まれた場所へのクライアント装置の近接を決定できる。
【0049】
[0056] 場所データを解析するとして説明されているが、他の例では、解析モジュール121は、任意の適切なソース、活動、場所、パターン、購入等と関連付けられたデータを解析できる。例えば、一部の例では、解析モジュール121は開催地と関連付けられたチケット販売を解析できる。他の例では、解析モジュール121は、ソーシャルメディア投稿メッセージ、コメント等を解析できる。一部の例では、解析モジュール121は、(上述されるように)ユーザと関連付けられたデータを収集及び/又は解析することができ、例えばとりわけユーザ識別データ、顔認識データ、クライアント装置データ、購入データ、インターネットウェブブラウズデータ、場所データ、ソーシャルメディアデータ、プリファレンスデータ等を含んでよい、ユーザプロファイルを定義できる。したがって、ユーザのプロファイルデータは、ユーザデータ及び/又はビデオストリームデータが基準(単数可)を満たすかどうかを判断するために閾値スコア、値、及び/又はインジケータに比して評価できる、信頼スコア、値、及び/又はインジケータを決定するために解析できる。したがって、係る実施形態では、非顔認識データ(例えば、チケット売上データ、ソーシャルメディア投稿メッセージ、ビデオ又は画像中の個人のワードローブ等)は、顔認識データを裏付ける及び/又は信頼スコアを増加/減少させるために使用できる。
【0050】
[0057] 解析モジュール121は、ビデオストリームと関連付けられた顔認識データ及びコンテキストデータを定めるためにビデオストリームデータを解析するとして上述されるが、他の実施形態では、顔認識プロセス及びコンテキストデータプロセスは別々に及び/又は無関係に実施できる。例えば、一部の実施形態では、解析モジュール121は、顔認識プロセスを実施するように構成できる。一方、異なるモジュール、プロセッサ、装置、サーバ等はコンテキストデータプロセスを実施するように構成できる。したがって、同じモジュールによって実施されている顔認識プロセス及びコンテキストデータプロセスと比較すると、ビデオストリームデータを解析するための時間を短縮できる、及び/又は処理負荷を分散できる。
【0051】
[0058] 上述のように、データベースモジュール122は、データベース140を監視すること及び/又はその中に記憶されたデータを更新することと関連付けられたプロセッサ120(又はその部分)によって実行される命令のセットを含む。例えば、データベースモジュール122は、プロセッサ120にデータベース140に記憶されているデータを、解析モジュール121から受信される顔認識データの少なくとも一部分で更新させる命令を含んでよい。より詳細には、データベースモジュール122は、例えばユーザと関連付けられた初期データセットを解析モジュール121から受信することができ、それに応じてデータベース140に初期データセットを記憶できる。一部の例では、データベースモジュール122は、上述されるように、データベース140に記憶され、ユーザのための初期データと関連付けられたデータがビデオストリームデータの任意の適切な部分と一致するかどうかを判断するために、データベース140に問い合わせる要求を示す信号を解析モジュール121から受信できる。例えば、ビデオストリームデータの少なくとも一部分が(簡略にするために、及び複数の「基準」を排除するのではなく、これ以降「基準」と呼ばれる)基準(単数可)を満たす場合、データベースモジュール122は、ユーザと関連付けられたデータベース140に記憶されているデータを更新するように構成できる。すなわち、ビデオストリームデータの少なくとも一部分が所定の確率等の範囲内で初期データセットに一致する場合。しかしながら、ビデオストリームデータがデータベース140に記憶されている初期データセットに一致しない場合、データベースモジュール122は、例えば次のエントリ(例えば、次のユーザと関連付けられたデータ)についてデータベース140に問い合わせることができ、及び/又はそれ以外の場合データベース140を更新できない。さらに、データベースモジュール122は、リレーショナルベースで(例えば、データベース140は、リレーショナルデータベース等々であってよい)、及び/又は任意の他の適切な方法でデータベース140にデータを記憶するように構成できる。
【0052】
[0059] プレゼンテーションモジュール123は、上述のように、顔認識プロセスの間に基準を満たすビデオストリームデータの少なくとも一部分を表すコンテキストビデオストリーム及び/又はプレゼンテーションを定めることと関連付けられる、プロセッサ120によって実行される命令のセット(又はその一部分)を含む。より詳細には、プレゼンテーションモジュール123は、コンテキストビデオストリーム、及び/又はイベント、開催地、場所等々で(例えば、顔認識によって)識別されたユーザを表すプレゼンテーションを定めるように構成できる。コンテキストビデオストリーム(例えば、ユーザ特有のコンテキストビデオストリーム)が定義されると、プレゼンテーションモジュール123は、通信インタフェース125にユーザ特有のコンテキストビデオストリームと関連付けられた信号を送信できる。通信インタフェース125は、同様に(例えば、ネットワーク105を介して)クライアント装置150に、コンテキストビデオストリームをそのディスプレイ上に図表を用いて表す命令を示す信号を送信できる。
【0053】
[0060] 一部の例では、プレゼンテーションモジュール123は、例えば対話型であり、データの任意の数の層を含むことがある、ユーザ特有のコンテキストビデオストリーム及び/又はプレゼンテーションを定義できる。例えば、一部の例では、プレゼンテーションモジュール123は、それぞれがビデオストリームと関連付けられたコンテキストデータの任意の適切な部分を含んでよい、データの任意の数の層、レベル、ページ等を含む対話型のコンテキストビデオストリームを定義できる。係る例では、コンテキストビデオストリームは、概して、例えばクライアント装置150上で図表を用いて表すことができ、ユーザは、例えばアイコン、コンテキストビデオストリームの一部分等々を(例えば、キーボード、マウス、タッチスクリーン、音声コマンド等によって)選択するためにクライアント装置150を操作できる。一部の例では、アイコン等の選択は、そのビデオストリームと関連付けられた及び/又は関係するデータ(例えば、コンテキストデータ)がクライアント装置150のディスプレイに図表を用いて表されるようになされてよい。例えば、一部の例では、ユーザ特有のコンテキストテキストビデオストリームは、スポーツイベントでのユーザを表してよく、コンテキストデータは、例えばコンテキストビデオストリームの一部分又はコンテキストビデオストリーム中の時間と一致する目標又は他のイベントと関連付けられたデータを含んでよい。特定の例として、ビデオストリーム(例えば、コンテキストビデオストリーム)は、スポーツイベントで声援するユーザを表すことができ、コンテキストデータは、例えば実質的に一致する時間でのスポーツイベントのビデオストリームを含むことができ、及び/又はそれ以外の場合スポーツイベントのビデオストリームと関連付けることができる。他の例では、コンテキストデータは一致するイベントのテキスト説明を含むことができる。一部の例では、コンテキストビデオストリーム及びコンテキストデータは実質的に同時にクライアント装置150のディスプレイに提示できる。例えば、ユーザは目標及び目標に対する彼らの反応を同時に見ることができる。
【0054】
[0061] プレゼンテーションモジュール123によって定義されるユーザ特有のコンテキストビデオストリームは、例えば完全なビデオストリーム又は画像取込システム160から受信されたビデオストリームの一部分であってよい。例えば、一部の例では、ユーザ特有のコンテキストビデオストリームは、ユーザが存在するビデオストリームの一部分であってよい。したがって、ユーザが実質的にビデオストリーム全体に存在する場合、ユーザ特有のコンテキストビデオストリームは実質的に全体的なビデオストリームであってよい。他の例では、ユーザがビデオストリームの一部分にしか存在しない場合、次いでユーザ特有のコンテキストビデオストリームを定めることは、ユーザが存在するビデオストリームから部分(例えば、フレーム)を抽出することを含んでよい。例として、15秒のビデオストリームが取り込まれ、ホスト装置110に送信されるが、ユーザがビデオストリームの3秒にしか存在しない場合、次いでプレゼンテーションモジュール123は、例えばユーザが存在する3秒部分であるユーザ特有のコンテキストビデオストリームを定めるように構成できる。
【0055】
[0062] プレゼンテーションモジュール123及び/又はホスト装置110の他の部分は、クライアント装置150のディスプレイにユーザ特有のコンテキストビデオストリームを提示する命令を示す信号をクライアント装置150に送信するとして上述されるが、他の例では、プレゼンテーションモジュール123は、ユーザ特有のコンテキストビデオストリームを定めることができ、データベース140にユーザ特有のコンテキストビデオストリームを記憶する命令を示す信号をデータベースモジュール122に送信できる。係る例では、ユーザ特有のコンテキストビデオストリームと関連付けられたデータはデータベース140に記憶できる、及び/又はそれ以外の場合データベース140に記憶されているユーザデータと関連付けることができる。一部の例では、ホスト装置110は、クライアント装置150(及び/又は任意の他の適切な装置)からの要求に応答して、データベース140からユーザ特有のコンテキストビデオストリームを取り出すことができる。より詳細には、一部の実施形態では、ユーザは、インターネット上のウェブページにアクセスするためにクライアント装置150を操作できる。(例えば、認証情報等を入力する等)認証された後、ユーザは、ユーザ特有のコンテキストビデオストリームへのアクセスに対する要求がクライアント装置150からホスト装置110に送信されるように、ウェブページと対話できる。したがって、ホスト装置110(例えば、データベースモジュール122)は、データベース140からユーザ特有のコンテキストビデオストリームを取り出すことができ、(例えば、インターネット及びウェブページを介して)ディスプレイにユーザ特有のコンテキストビデオストリームを提示する上で操作可能なクライアント装置150に信号を送信できる。言い換えると、ユーザ特有のコンテキストビデオストリームは、「クラウド」に記憶し、ウェブブラウザおよびインターネットを介してアクセスすることができる。
【0056】
[0063] 解析モジュール121、データベースモジュール122、及びプレゼンテーションモジュール123は、ホスト装置110に記憶されている及び/又はホスト装置110で実行されているとして上述されるが、他の実施形態では、モジュールのいずれかは、例えば、クライアント装置150及び/又は画像取込システム160に記憶できる及び/又は実行できる。例えば、一部の実施形態では、クライアント装置150は、(例えば、ネイティブアプリケーションとして)プレゼンテーションモジュールを含む、定める、及び/又は記憶することができる。プレゼンテーションモジュールは、ホスト装置110のプレゼンテーションモジュール123と実質的に類似している、又は同じであってよい。係る実施形態では、クライアント装置150のプレゼンテーションモジュールは、それ以外の場合、ホスト装置110に含まれる及び/又は実行されるプレゼンテーションモジュール123の機能を置き換えることができる。したがって、クライアント装置150のプレゼンテーションモジュールは、例えばコンテキストビデオストリームと関連付けられたデータセットを受信することができ、受信時、クライアント装置150のディスプレイに提示されるプレゼンテーションを定義できる。
【0057】
[0064] プレゼンテーションモジュール123は、クライアント装置150のユーザの、及び/又はユーザのためのコンテキストビデオストリーム(例えば、ユーザ特有のコンテキストビデオストリーム)を定めるとして上述されるが、一部の例では、プレゼンテーションモジュール123は、データベース140に記憶されるユーザプロファイルを有する任意のユーザと関連付けられたユーザ特有のコンテキストビデオストリームを定めるように構成できる。例えば、画像取込システム160からのビデオストリームデータの受信時、解析モジュール121は、ビデオストリームの顔データが登録ユーザ(例えば、ユーザプロファイルデータ等々がデータベース140に記憶されるユーザ)と関連付けられた顔認識データと一致するかどうかを判断するために顔認識プロセス及び/又はビデオ解析プロセスを実施できる。このようにして、プレゼンテーションモジュール123は、解析モジュール121によって実施される顔認識解析がビデオストリームデータのユーザの顔画像を識別する(例えば、上記に詳細に説明されているように、一致を識別する、及び/又はそれ以外の場合基準を満たす)場合、任意の適切なユーザ又はユーザのグループのためにユーザ特有のコンテキストビデオストリームを定めるように構成できる。一部の例では、ホスト装置110は、ユーザ特有のコンテキストビデオストリームを各識別されたユーザと関連付けられたクライアント装置に自動的に送信できる、並びに/又は「クラウド」上に(例えば、データベース140等々に)ユーザ特有のコンテキストビデオストリーム(複数可)を自動的にアップロード及び/若しくは記憶できる。一部の例では、ユーザ特有のビデオストリームは、eメール、ショートメッセージサービス(SMS)、マルチメディアメッセージサービス(MMS)、NFC、及び/又はブルートゥース通信を介して送信することができ、ソーシャルメディアプラットフォームに投稿することができる(例えば、Facebook、Twitter、YouTube、Instagram等に投稿できる)等々。一部の例では、ユーザ特有のビデオストリームを送信するためのモダリティは、受信側ユーザ及び/又は送信側ユーザのプリファレンス等のユーザのプリファレンスに基づくことがある。
【0058】
[0065] 上述されるように、一部の例では、解析モジュール121等々は、顔認識プロセスを実施する前に1つ以上の前処理手順及び/又は次善分類手順を実施できる。例えば、解析モジュール121は、ユーザのいずれかと関連付けられたデータの一部分が、例えばユーザと関連付けられたコンテキストデータ、及びビデオストリームと関連付けられたコンテキストデータ(例えば、ユーザのクライアント装置の場所データがビデオストリームと関連付けられた場所データと一致する)の一致等の、基準(単数可)を満たすかどうかを判断するために(例えば、データベース140に問い合わせる命令を示すデータベースモジュール122に信号を送信することによって等々)任意の数の登録ユーザと関連付けられたデータを解析できる。データベース140に記憶されているデータを事前処理した後、解析モジュール121は、ビデオストリームの顔画像データが、事前処理等々によって識別されたユーザの顔画像データと一致するかどうかを判断するために顔認識解析を実施するように構成できる。
【0059】
[0066] 一部の例では、コンテキストビデオストリームの共用は、例えばビデオストリームデータを取り込んだユーザと、コンテキストビデオストリームデータを要求するユーザとの間の関係性に基づいてよい。例えば、一部の例では、クライアント装置(例えば、クライアント装置150)のユーザは、詳細に上述されるように、ホスト装置110によって解析及び/又は処理できるコンテキストビデオストリームを取り込むことができる。コンテキストビデオストリームの定義後、新規ユーザは顔画像データ、及びユーザプロファイルデータを登録でき、ユーザプロファイルデータはデータベースに記憶される。一部の例では、新規ユーザは、例えばコンテキストビデオストリームで取り込むことができる。したがって、一部の例では、新規ユーザは、コンテキストビデオストリームを取り込んだユーザとの関係、繋がり、リンク、関連付け等々を確立する、要求する、定める等できる。ビデオストリームを取り込んだユーザが新規ユーザの要求を受け入れる場合、ユーザ特有のコンテキストビデオストリームは、新規ユーザのクライアント装置に自動的に送信できる、及び/又はそれ以外の場合新規ユーザと関連付けることができる。一部の例では、ユーザ特有のビデオストリームは、(例えば、アカウント、ウェブページ、PC、又はモバイルアプリケーション等を介して)新規ユーザが自動的に利用できる。
【0060】
[0067] 他の例では、ホスト装置110は、所与のユーザによって取り込まれたコンテキストビデオストリームで(例えば、顔認識を介して)識別された1人以上の他のユーザとの関係を示唆するように構成できる。言い換えると、ホスト装置110は、コンテキストビデオストリームの1人以上のユーザを識別することに基づいて関連付けを示唆できる。一部の例では、ホスト装置110は、顔認識を介して個人(例えば、登録ユーザ又は非登録ユーザ)を識別することに基づいて個人の近接、場所、及び/又は任意の他の適切なコンテキストデータを決定できる。個人が登録ユーザである場合、ホスト装置110は、例えば個人と、ビデオを取り込んだユーザとの関係性を示唆できる。個人が登録ユーザではない場合、一部の例では、ホスト装置110は、システムと登録するために招待等で個人と関連付けられた装置に信号を送信できる。
【0061】
[0068] 一部の例では、例えば、第1の登録ユーザは第2の登録ユーザのビデオを取り込んでよい。本明細書に説明されるように、ホスト装置110は、ビデオストリームを解析し、第2の登録ユーザ特有のユーザ特有のビデオストリームを定めるように構成できる。さらに、ホスト装置110は、第1の登録ユーザと関連付けられたデータを第2の登録ユーザに送信できる、及び逆の場合も同じである。一部の例では、データは、名前等のデータを識別する個人的であってよい。他の例では、データはどちらのユーザの名前も識別せずに送信されるユーザプロファイルピクチャであってよい。一部の例では、ホスト装置110は、第1の登録ユーザと第2の登録ユーザとの間の関連付けを確立するための示唆を示す(例えば、第1の登録ユーザ及び第2の登録ユーザが関連付けられる、リンクされる、又はそれ以外の場合繋がれることを示唆する)データを送信することもできる。例えば、第2の登録ユーザは関連付け要求等を第1の登録ユーザに送信することができ、要求の受入れ時、第1の登録ユーザと第2の登録ユーザとの間の関連付けが確立できる。他の例では、第1の登録ユーザは、要求を送信することができ、第2の登録ユーザは要求を受け入れることができる。さらに、関連付けを示すデータはデータベース140に記憶できる。
【0062】
[0069] さらに他の例では、ユーザは(例えば、クライアント装置150で又はクライアント装置150上でのユーザ入力によって)ユーザの取り込まれた画像及び/又はビデオの共用を制限する又は防ぐことを選択できる。例えば、一部の例では、クライアント装置150のユーザは、ホスト装置110にアップロード及び/又は送信され、例えばデータベース140に記憶されるコンテキストビデオストリームを取り込むことができる。一部の例では、データベース140に記憶されるユーザプロファイル及び/又はユーザデータは、ユーザのビデオ及び/又は画像が個人用である旨の表示を含んでよい。このようにして、ホスト装置110はビデオストリームの1人以上のユーザ(例えば、顔画像)を識別できるが、ユーザプロファイルデータに従って識別された人にユーザ特有のコンテキストデータを送信しない。個人用であるとして説明されるが、他の例では、ユーザは、ビデオストリーム及び/又は画像で識別されるユーザの所定のグループとだけ自分のビデオストリーム及び/又は画像を共用させることを選択できる。
【0063】
[0070] 一部の例では、コンテキストビデオストリームと関連付けられたコンテキストデータは、1つ以上のデジタルタグ等々を含んでよい。例えば、一部の例では、デジタルタグは題名、透かし模様、ハッシュタグ、日付スタンプ及び/又はタイムスタンプ、イベントデータ又は開催地データ等であってよい。同様に、コンテキストビデオストリームがユーザ生成ビデオである場合、ユーザは1つ以上のデジタルタグを定める及び/又はそれ以外の場合入力することができる。一部の例では、ホスト装置110は、プレゼンテーションモジュール123がユーザ特有のコンテキストビデオストリームを定めるとき、1つ以上のデジタルタグを表すデータを含むように構成できる。例えば、一部の例では、ホスト装置110及び/又はプレゼンテーションモジュール123はユーザ特有のコンテキストビデオストリームに題名等を含む及び/又は挿入できる。他の例では、ホスト装置110及び/又はプレゼンテーションモジュール123は、ユーザ特有のコンテキストビデオストリームの再生中に図表を用いて表されるように構成される透かし模様等を含むことができる及び/又は挿入できる。一部の例では、係る透かし模様は、例えば、題名、場所、表題、反応等であってよい。他の例では、係る透かし模様は、例えば広告等であってよい。例えば、一部の例では、ユーザ及び/又はホスト装置110は、ユーザ特有のコンテキストビデオストリームのスポンサー等を選択できる。例として、ユーザは、スポーツイベント中にコンテキストビデオストリームを取り込むことができ、スポーツ商品企業のロゴ(例えば、Nike(登録商標)又は「Nike Swoosh」(登録商標))の透かし模様がユーザ特有のコンテキストビデオストリーム上に又は中に表示されるようにコンテキストビデオストリームのデータを選択できる及び/又はそれ以外の場合含むことができる。一部の例では、ユーザは自分のユーザ特有のコンテキストビデオストリーム上に又は中にスポンサーを透かしに入れさせることを選択することに対する報奨金を得ることができる。係る報奨金は、例えばビュー、お気に入り等の数に基づくことがあるだろう。
【0064】
[0071]
図3〜
図6は、実施形態に従って、顔認識システム(例えば、システム100)の少なくとも一部分の使用を明示する電子機器から撮影される多様なスクリーンショットの例の図である。係るシステムは、少なくとも部分的に顔認識データに基づいてユーザのコンテキストビデオストリームを提示するために使用できる。システム100の少なくとも一部分は、例えばメモリに記憶され、電子機器(例えば、ホスト装置、サーバ又はサーバのグループ、パーソナルコンピュータ(PC)、ネットワーク装置等)のプロセッサ等々で実行される命令又はコードのセットによって表す、及び/又は説明することができる。例えば、一部の実施形態では、ホスト装置は、ユーザと関連付けられた顔認識データを登録する要求と関連付けられた信号を受信することができ、それに応じてデータベースに顔認識データを記憶できる。同様に、ホスト装置はビデオストリームデータと関連付けられた信号を受信できる。一部の例では、ホスト装置の1つ以上のプロセッサは次いで、ユーザの1つ以上の画像が少なくとも部分的に顔認識データに基づいてビデオストリームに存在するかどうかを判断するためにビデオストリームデータを解析することと関連付けられた、ホスト装置のメモリに記憶される命令又はコードのセットを実行できる。画像がビデオストリームデータで検出される場合、1つ以上のプロセッサはビデオストリームデータの関連付けられた一部分を分離できる。さらに、1つ以上のプロセッサは(1)時間、場所、イベント等のコンテキストデータをビデオストリームデータと関連付け、(2)ユーザのコンテキストビデオストリーム(例えば、ユーザ特有のコンテキストビデオストリーム)を定めるために命令又はコードのセットを実行できる。1つ以上のプロセッサは、次いでユーザと関連付けられたクライアント装置に、クライアント装置のディスプレイにユーザ特有のコンテキストビデオストリームを提示する命令を示す信号を送信できる。
【0065】
[0072] 上述のように、システム100の少なくとも一部分は、例えばクライアント装置150の中で又は上で実装できる。クライアント装置150は、システム100の少なくとも一部分を、図表を用いて表すように構成されたディスプレイ155(例えば、
図3を参照)を含む。クライアント装置150のディスプレイ155は、システム100の任意の適切な部分(例えば、ウェブページと関連付けられたGUI、PCアプリケーション、モバイルアプリケーション等々)を、図表を用いて表すことができる、例えば陰極線管(CRT)モニタ、液晶ディスプレイ(LCD)モニタ、発光ダイオード(LED)モニタ等々であってよい。一部の実施形態では、ディスプレイ155は触覚ユーザ入力を受け取るように構成されたタッチスクリーンであってよい、及び/又はタッチスクリーンを含んでよい。一部の例では、ディスプレイ155は、本明細書でさらに詳細に説明されるように、顔認識プロセスと関連付けられたデータ及び/又はビデオストリームと関連付けられたデータを、図表を用いて表すように構成できる。
【0066】
[0073]
図3〜
図6には示されていないが、クライアント装置150は、上述のように、カメラ及び/又は他の撮像装置を含んでよい。例えば、一部の実施形態では、係るカメラは(例えば、スマートフォン、タブレット、ラップトップ等においてのように)クライアント装置150の中に統合できる、及び/又はポート等を介してクライアント装置150と通信してよい。より詳細には、本実施形態では、クライアント装置150は、前向きカメラを含むスマートフォン又はタブレットであることがある(例えば、カメラは、ディスプレイ155と実質的に同じ方向で向けられる)。このようにして、ユーザは、カメラに画像(例えば、写真)又はビデオを取り込ませるためにクライアント装置150を操作できる。さらに、一部の例では、ディスプレイ155は、カメラによって取り込まれた画像と関連付けられたデータを、図表を用いて表すように構成できる。したがって、ユーザはカメラを介して自分自身のピクチャ又はビデオを撮影するためにクライアント装置150を操作できる。一方、カメラと関連付けられた視界はディスプレイ155に提示される。言い換えると、ユーザはセルフィーを撮影するためにクライアント装置150を操作できる。
【0067】
[0074] 上述のように、クライアント装置150のカメラは、ユーザの顔の画像を取り込むことができ、その画像はユーザと関連付けられた顔認識データを登録するために使用できる。具体的には、ユーザは、例えばカメラを制御するように構成されたモバイルアプリケーションを選択することによってクライアント装置150を操作できる。したがって、カメラは、
図3〜
図6に示されるように、画像データを受信でき、その画像データはディスプレイ155に提示できる。さらに、ディスプレイ155は、ユーザの顔の画像のための所望される位置合わせと関連付けられた表示を提供できる、表示、フレーム、境界、ガイド、及び/又はデータの他の適切なグラフィック表現を、図表を用いて表すように構成することができる。具体的には、
図3〜
図6に示されるように、ディスプレイ155は眼鏡160等を提示するように構成することができ、次いでユーザは眼鏡160等を用いて自分の顔を位置合わせできる。さらに、ディスプレイ155は、登録プロセス中に任意の適切な点でユーザに命令するように構成されたプロンプト165を提示できる。例えば、
図3に示されるように、プロンプト165は、「眼鏡をかけてください」と記載するテキストを含む。言い換えると、プロンプト165は、顔画像170のユーザの目が通常の方法で、(例えば、ユーザが物理的に眼鏡をかけているかのように)自然な方法で、期待される方法で、及び/又は共通の方法で眼鏡160の中に位置決めされるように、ユーザに顔画像170を、図表を用いて表される眼鏡160と位置合わせするように命令できる。
【0068】
[0075] ユーザが自分の顔画像170を眼鏡160と位置合わせすると、カメラはユーザの顔の所望される画像を取り込むことができる。より詳細には、一部の実施形態では、図表を用いて表される眼鏡160は、正の位置合わせ及び/又は認識の可能性を増加させられる所望されるサイズ及び/又は形状を有することができる。例えば、一部の例では、ガラス160のグラフィック表現は、図表を用いて表される眼鏡160と位置合わせされるときのユーザの目の間の距離が65ピクセルよりも大きくなるようにできる。他の例では、図表を用いて表される眼鏡と位置合わせされるときのユーザの目の間の距離は、約40ピクセルと約65ピクセルの間である。言い換えると、ユーザの顔画像170の位置合わせ及び/又は検証は、少なくとも部分的にユーザの目のグラフィック表現に基づくことができ、一部の例では、所定の最小距離は確かな位置合わせ及び/又は認識のより大きい可能性と関連付けることができる。他の実施形態では、ユーザの顔画像170の位置合わせ及び/又は検証は、例えば図表を用いて表された眼鏡160及び任意の他の図表を用いて表される位置合わせインジケータに比して、少なくとも部分的に任意の適切な顔特徴に基づいてよい。さらに、ユーザの顔画像170が位置合わせされる、及び/又はそれ以外の場合検証されると、カメラはユーザの顔の所望される画像を取り込むことができる。一部の例では、カメラは、ユーザの顔画像170が位置合わせされると、ユーザの顔の所望される画像を自動的に取り込むことができる。他の例では、位置合わせの表示はディスプレイに図表を用いて表すことができ、その表示はユーザに(例えば、ユーザ入力によって)写真を撮影するようにプロンプトを出すように構成される。
【0069】
[0076] 一部の例では、顔画像170が位置合わせされる、及び/又は検証されると、カメラは所望の画像を自動的に取り込むことができる。より詳細には、モバイルアプリケーションが、ユーザの目が眼鏡160のグラフィック表現と位置合わせされることを識別するのに応答して、モバイルアプリケーションは、ユーザとの他の関わりなく画像を取り込むためにカメラを制御できる。このようにして、ユーザは、モバイル機器上のボタンを押す及び/又はそれ以外の場合モバイル機器に画像獲得表示を提供する必要なく画像(例えば、「セルフィー」)を撮影できる。
【0070】
[0077] さらに、ユーザが自分の顔画像170を眼鏡160に位置合わせすると、プロンプト165は更新できる。例えば、
図4に示されるように、プロンプト165は「素晴らしい、ここで個人的な写真を撮影します。じっとしていてください。」と述べるテキストを含むことができる。
図3〜
図6には示されていないが、一部の実施形態では、プロンプト165は、カウントダウンタイマ等を含むことができる。例えば、プロンプト165は、写真を撮影及び/又は検証するための時間の長さと関連付けられたカウントダウン(例えば、「3」‐「2」‐「1」等のカウントダウン)を、図表を用いて表すことができる。したがって、カメラはユーザの顔画像170を取り込み、顔画像170と関連付けられた信号を(上述される)クライアント装置150のプロセッサに送信できる。プロセッサは、顔画像170と関連付けられたデータを受信する、及び/又は取り出すことができ、同様に顔認識プロセスの少なくとも一部分と関連付けられた(例えば、メモリに記憶される)命令又はコードのセットを実行できる。例えば、一部の例では、プロセッサは、顔画像170と眼鏡160との間の位置合わせを検証することと関連付けられた命令又はコードのセットを実行して、顔画像が存在するかどうかを判断できる。一部の例では、プロセッサは、取り込まれたピクチャの顔画像170の検証の成功又は取り込まれたピクチャの顔画像170の検証の不成功に基づいてプロンプト165を更新できる。例えば、プロセッサが顔画像170を肯定的に検証する場合、プロンプト165は、
図5に示されるように、テキスト「おめでとうございます!今、あなたは登録されています。」を提示するために更新できる。代わりに、プロセッサが顔画像170を肯定的に検証しない場合、プロンプト165は、テキスト「顔が見つかりませんでした。もう一度試しましょう。」を提示するために更新できる。すなわち、位置合わせに基づいて、プロセッサは顔データを検証できなかった。したがって、ユーザは、眼鏡160に対して顔画像170の位置を調整できる。クライアント装置150は眼鏡160に対して顔画像170の位置合わせを検証し、顔画像170を取り込み、顔画像170が取り込まれた画像に無事に表されると検証すると、クライアント装置150は顔画像データと関連付けられた信号をホスト装置110に送信でき、ホスト装置110は、上記に詳細に説明されているように、任意の適切な顔認識プロセス(例えば、初期登録プロセス等)を実施できる。
【0071】
[0078] 顔認識プロセスは
図3〜
図6に関して特に上記に示され、説明されているが、他の実施形態では、クライアント装置150は、任意の適切な方法でユーザの初期の顔データを検証し、取り込むことができる。例えば、プロンプト165は特定の言語を含むとして特に上記に示され、説明されているが、他の実施形態では、プロンプト165は、テキストを有する又はテキストがない任意の適切なインジケータであってよい。同様に、プロンプト165は、例えばストップウォッチ(
図4)、チェックマーク(
図5)、又は「X」(
図6)等の任意の適切なアイコン又は記号を含んでよい。他の実施形態では、プロンプト165は、テキストだけ、アイコンだけ、又は記号だけ、色だけ等しか含まなくてもよい。
【0072】
[0079] 同様に、ディスプレイ155は、顔画像170を位置合わせするために使用される眼鏡160を含むとして、特に
図3〜
図6に関して上記に示され、説明されているが、他の実施形態では、クライアント装置150は、ディスプレイ155上に、任意の適切な表示、フレーム、境界、顔造作等を提示するように構成できる。例えば、一部の実施形態では、ディスプレイ155は、例えば、目、耳、鼻、口(例えば、微笑んでいる)、輪郭等の顔の部分を、図表を用いて表すことができる。他の実施形態では、ディスプレイ155は、例えば円、楕円形、正方形、矩形、及び/又は任意の他の多角形又は円形等の1つ以上の形状を、図表を用いて表すことができる。さらに他の実施形態では、ディスプレイ155は、1つ以上の線、矢印、省略記号、及び/又は任意の他の適切な記号又は形状を、図表を用いて表すことができる。さらに他の実施形態では、ディスプレイ155は、ユーザの顔画像170のカメラとの位置合わせを容易にするように構成された任意の他の適切なグラフィック表現を提示できる。さらに、顔画像170の検証は、例えば目の間の距離(例えば、上述されるように、少なくとも65ピクセル)、目の形及び/又は大きさ、目の色、鼻の大きさ及び/又は形、鼻孔の大きさ及び/又は形、耳の大きさ及び/又は形、耳の間の距離、頬骨、顎、又は下顎の位置及び/又は配置、笑みの大きさ及び/又は形、輪郭、生え際の形状又は経路、髪の色、スタイル、太さ、又は豊かさ等の任意の適切な顔造作に基づくことがある。
【0073】
[0080] クライアント装置150は顔画像170の初期登録のために使用される所望される画像を取り込むために特定の位置合わせプロセスを実施するとして上述されるが、他の実施形態では、クライアント装置は初期顔画像データを取り込むように構成された任意の適切なプロセスを実施するように構成できる。例えば、
図7は、別の実施形態に従って、顔認識システム(例えば、システム100)の少なくとも一部分の使用を明示する電子機器から撮影されたスクリーンショットの例の図である。係るシステムは、上記に詳細に説明されているように、少なくとも部分的に顔認識データに基づいてユーザのコンテキストビデオストリームを提示するために使用できる。
【0074】
[0081] 上述のように、システム100の少なくとも一部分は、例えばクライアント装置の中又は上で実装できる。クライアント装置は、上述されるクライアント装置150に実質的に類似する又は同じであってよい。したがって、クライアント装置の部分は、本明細書ではさらに詳細に説明されない。
図7に示されるように、クライアント装置は、システム100の少なくとも一部分を、図表を用いて表すように構成されたディスプレイ255を含む。ディスプレイ255は、本明細書に説明されるディスプレイ等、任意の適切なディスプレイであってよい。したがって、ディスプレイ255は、本明細書でさらに詳細に説明されるように、顔認識プロセスと関連付けられたデータ、及び/又はビデオストリームと関連付けられたデータを図表を用いて表すように構成できる。さらに、本実施形態では、クライアント装置は、上記に詳細に説明されているように、前向きカメラを有するスマートフォン又はタブレットであってよい。
【0075】
[0082] 上述のように、クライアント装置のカメラは、ユーザの顔の画像を取り込むことができ、その画像はユーザと関連付けられた顔認識データを登録するために使用できる。具体的には、ユーザは、例えばカメラを制御するように構成されたモバイルアプリケーションを選択することによってクライアント装置を操作できる。したがって、カメラは、画像データを受信でき、
図7に示されるように、その画像データはディスプレイ255に提示できる。さらに、ディスプレイ255は、ユーザの顔画像のための所望される位置合わせと関連付けられた表示を提供できる、1つ以上の表示、フレーム、境界、ガイド、及び/又はデータの任意の他の適切なグラフィック表現を、図表を用いて表すように構成できる。具体的には、本実施形態では、ディスプレイ255は、カメラ及び/又はディスプレイ255に対してユーザの顔画像270を位置合わせするために使用できる、動的インジケータ275及びセクタインジケータ280のセットを、図表を用いて表すように構成できる。
【0076】
[0083] 例えば、一部の例では、ユーザは、動的インジケータ275がユーザの顔画像270の実質的に中心と位置合わせされるように、クライアント装置を操作する、及び/又はクライアント装置に対して自分の頭を移動することができる。動的インジケータ275は、陰影を付けられた円であるとして
図7に示されているが、他の例では、動的インジケータ275は任意の適切な形状及び/又はサイズであってよく、陰影を付けられても、陰影を付けられなくてもよい。同様に、セクタインジケータ280は矩形であるとして示されているが、他の実施形態では、セクタインジケータ280は任意の適切な形状、サイズ、又は構成であってよい。一部の例では、ユーザの顔画像270が所望される位置及び/又は向きで位置合わせされると、クライアント装置は顔画像270を自動的に取り込むことができる。例えば、動的インジケータ275がディスプレイ255の実質的に中心に配置されるとき、カメラは、例えば顔画像270の正面図(例えば、実質的にまっすぐ前方に等)を取り込むことができる。
【0077】
[0084] 顔画像270の正面図が取り込まれた状態で、ユーザは次いで自分の頭をディスプレイ255に対して移動でき、それが動的インジケータ275を実質的に同様の方向に移動させる。例えば、一部の例では、ユーザは、あたかも上方を見ているかのように自分の頭を後ろに傾けることができる。したがって、クライアント装置は、ユーザの顔画像270の動きを決定することができ、関連付けられた方法で動的インジケータ275を移動できる。一部の例では、ユーザの顔画像270の移動は、動的インジケータ275を、例えば「北」の「N」とラベルが付けられたセクタインジケータ280等、関連付けられたセクタインジケータ280によって定められる境界に設置できる。さらに、動的インジケータ275がセクタインジケータ280の境界の中の所望される位置に設置されると、カメラは、例えば上方を見る又は上方に傾くことと関連付けられた顔画像270を自動的に取り込むことができる。一部の例では、関連付けられたセクタインジケータ280のために成功した顔画像270が取り込まれると、ディスプレイ255は、ユーザに対して、そのセクタのための顔画像270が無事に取り込まれた旨の表示を提供するために、セクタインジケータ280の任意の部分の色を変更及び/若しくは更新する、並びに/又はそれ以外の場合関連付けられたセクタインジケータ280を更新するように構成できる。
【0078】
[0085] 顔画像270がそのセクタインジケータ280のために無事に取り込まれると、ユーザは、動的インジケータ275を、上述されるのと実質的に同じ方法で各セクタインジケータ280の中の所望される位置に設置するために、カメラ及び/又はディスプレイ255に対して自分の頭部を移動できる。言い換えると、ユーザは、動的インジケータ275が「北東」の「NE」とラベルが付けられるセクタインジケータ280、「東」の「E」とラベルが付けられるセクタインジケータ280、「南東」の「SE」とラベルが付けられるセクタインジケータ280、「南」の「S」とラベルが付けられるセクタインジケータ280、「南西」の「SW」とラベルが付けられるセクタインジケータ280、「西」の「W」とラベルが付けられるセクタインジケータ280、及び「北西」の「NW」とラベルが付けられるセクタインジケータ280の中の所望される位置を通って移動されるように自分の頭及び/又は顔画像270を移動できる。このようにして、クライアント装置は、ユーザの9つの顔画像270(正面図、左図、右図、平面図、下面図、左上図、右上図、左下図、及び右下図)を取り込むように構成でき、その顔画像は、上記に詳細に説明されているように、初期データセットを定める、及び/又は顔認識データを登録するために使用できる。言い換えると、クライアント装置は、ユーザの複数の図(例えば、正面、側面、平面、下面等)を取り込むことができ、例えば正面図に制限されていない。一部の例では、セクタインジケータ280と関連付けられた複数の顔画像270を取り込むことは、例えばビデオストリームの顔画像が顔画像の正面図ではないときに顔認識プロセスを促進できる。一部の例では、顔画像270の複数の図を取り込むことは、単一の図(例えば、顔画像270の正面図)を使用することに比較されるとき、顔認識プロセスの効率及び/又は精度を高めることができる。したがって、イベントのビデオストリームがユーザの顔の側面図だけを取り込む場合、ユーザは、ユーザを登録するために使用される複数の顔画像に基づいてより容易に識別できる。
【0079】
[0086] ディスプレイ255は、特定の配置でセクタインジケータ280のセットを、図表を用いて表すとして示され、説明されているが、他の実施形態では、ディスプレイ255は任意の適切な配置で任意の適切なインジケータ又はインジケータのセットを、図表を用いて表すことができる。例として、セクタインジケータ280は座標と関連付けられたラベル(例えば、「北」の「N」等)を有するとして示され、説明されているが、他の実施形態では、第2のインジケータ280は任意の適切なラベルを有してよい。一部の実施形態では、例えば、係るラベルは、番号、文字、記号、形状、及び/又は任意の他の適切なラベルであってよい。さらに、特定の方法でセクタインジケータ280を通して、顔画像270の移動に応答して、動的インジケータ275を移動するとして上述されているが、動的インジケータ275は、任意に適切な方法で及び/又は特定の順序ではなくセクタインジケータ280を通して移動できる。ディスプレイ255は8つのセクタインジケータ280を、図表を用いて表すとして示されているが、他の実施形態では、ディスプレイ255は、例えば2つのセクタインジケータ、3つのセクタインジケータ、4つのセクタインジケータ、5つのセクタインジケータ、6つのセクタインジケータ、7つのセクタインジケータ、9つのセクタインジケータ、10のセクタインジケータ、11のセクタインジケータ、12のセクタインジケータ、13のセクタインジケータ、14のセクタインジケータ、15のセクタインジケータ、20のセクタインジケータ、30のセクタインジケータ、又はその間の任意の数等の任意の適切な数のセクタインジケータを、図表を用いて表すことができる。さらに他の実施形態では、ディスプレイ255は、30を超えるセクタインジケータを、図表を用いて表すことができる。
【0080】
[0087]
図8は、別の実施形態に従って、顔認識システム(例えば、
図1A及び/又は
図1Bのシステム100)の少なくとも一部分の使用を明示する電子機器から撮影されるスクリーンショットの例の図である。係るシステムは、上記に詳細に説明されているように、少なくとも部分的に顔認識データに基づいてユーザのコンテキストビデオストリームを提示するために使用できる。上述のように、システム100の少なくとも一部分は、例えばクライアント装置の中又は上で実装できる。クライアント装置は、
図1A及び/又は
図1Bに関して上述されているクライアント装置150と実質的に類似する又は同じであってよい。したがって、クライアント装置の部分は、本明細書でさらに詳細に説明されない。
【0081】
[0088]
図8に示されるように、クライアント装置はシステム100の少なくとも一部分を、図表を用いて表すように構成されたディスプレイ355を含む。ディスプレイ355は、(例えば、
図7に関して上述されるディスプレイ255に類似する又は同じ)本明細書に説明されるディスプレイ等の任意の適切なディスプレイであることがある。したがって、ディスプレイ355は、本明細書にさらに説明されるように、顔認識プロセスと関連付けられたデータ及び/又はビデオストリームと関連付けられたデータを、図表を用いて表すように構成できる。
【0082】
[0089] 上述のように、クライアント装置は、ユーザの顔の画像を取り込むことができるカメラを含み、そのカメラは、ユーザと関連付けられた顔認識データを登録するために使用できる。具体的には、ユーザは、例えばカメラを制御するように構成されたモバイルアプリケーションを選択することによってクライアント装置を操作できる。したがって、カメラは、画像データを受信でき、その画像データは
図8に示されるように、ディスプレイ355に提示できる。さらに、ディスプレイ355は、ユーザの顔画像の所望される位置合わせと関連付けられた表示を提供できる、1つ以上の表示、フレーム、境界、ガイド、及び/又は任意の他の適切なグラフィック表現を、図表を用いて表すように構成できる。具体的には、
図8に示される実施形態では、ディスプレイ355は、カメラ及び/又はディスプレイ355に対してユーザの顔画像370を位置合わせするために使用できる、(集合的に「セクタインジケータ380」と呼ばれる)セクタインジケータ380A、380B、380C、及び380Dのセットを、図表を用いて表すように構成できる。
図8に示されるように、本実施形態では、セクタインジケータ380は、楕円形又は円形で配置された8つの電球としてディスプレイ355に図表を用いて表される。他の実施形態では、ディスプレイは、任意の適切な方法で配置できる任意の適切なセクタインジケータを表すことがある。例えば、一部の実施形態では、セクタインジケータ380は、(
図7に示されるセクタインジケータ280と同様に)瀬方形又は矩形で配置される(
図8に示されるような)8つの電球としてディスプレイ355上に図表を用いて表すことができる。他の実施形態では、セクタインジケータ380は実質的に無作為に配置できる。セクタインジケータ380は互いに対して実質的に類似するとして示されているが、他の実施形態では、ディスプレイ355は、少なくとも1つの他方のステータスインジケータのサイズ、形状、向き、及び/又は構成とは異なる少なくとも一方のステータスインジケータのサイズ、形状、向き、及び/又は構成を有する任意の数のセクタインジケータ380を、図表を用いて表してよい。
【0083】
[0090] 一部の例では、ユーザはクライアント装置を操作できる、及び/又はユーザの顔画像370がディスプレイの中心と実質的に位置合わせされるように、クライアント装置に対して自分の頭を移動できる。
図8には示されていないが、一部の実施形態では、ディスプレイ355は、
図7に関して上述された動的インジケータ275等の動的インジケータを、図表を用いて表すように構成できる。他の実施形態では、ディスプレイ355は動的インジケータを、図表を用いて表す必要はない。一部の例では、ユーザの顔画像370がディスプレイ355(及び/又はユーザの顔画像370の画像を取り込むカメラ)に対して所望される位置及び/又は向きで位置合わせされると、クライアント装置は顔画像370を取り込むことができる。例えば、ユーザの顔画像370がディスプレイ355の実質的に中心に配置されるとき、カメラは、例えば顔画像370の正面図(例えば、実質的にまっすぐに前方等)を取り込むことができる。言い換えると、一部の例では、顔画像370が正面の位置から相対的に少量の偏差を有する、又は偏差のない位置にあるときにユーザの顔画像370を取り込むように構成できる。一部の実施形態では、カメラは、ユーザの顔画像がディスプレイ355に対して所望される位置にあると、画像を自動的に取り込むように構成できる。
【0084】
[0091] 顔画像370の正面図が取り込まれた状態で、ユーザは自分の頭をディスプレイ355に対して移動でき、それによってユーザの顔画像370をディスプレイ355に対して移動させる。例えば、一部の例では、ユーザは、あたかもディスプレイ355の左上角の方を見るかのように(ディスプレイ355は反対方向に向いているため、例えば、ユーザの頭の傾きと反対に)自分の頭を後方に且つ右に傾けることができる。したがって、クライアント装置はユーザの顔画像370の移動を決定することができ、一部の例では、ユーザの顔画像370の移動は所与のセクタインジケータ380と関連付けることができる。より詳細には、一部の例では、ユーザは、ステータスインジケータ380Aと関連付けられた位置、向き等へディスプレイ355に対して自分の頭を移動できる。一部の例では、クライアント装置は、ディスプレイ355に図表を用いて表されるユーザの顔画像370の位置及び/又は向きを決定及び/又は計算できる。例えば、クライアント装置は、ユーザの顔画像370がセクタインジケータ380Aと関連付けられた位置及び/向きにあると判断できる。したがって、クライアント装置は、本実施形態では、電球380A(ステータスインジケータ380A)を点灯させるとしてディスプレイ355で図表を用いて表すことができる、ディスプレイ355に対する位置合わせを示す信号を送信するように構成できる。
【0085】
[0092] クライアント装置が、ユーザの顔画像370が(完全に点灯した電球として図表を用いて表される)ステータスインジケータ380Aに対して所望される位置にあると判断すると、クライアント装置はユーザの画像370に信号を送信できる。一部の実施形態では、クライアント装置は、カメラにユーザの顔画像370を一度所望される位置及び/又は向きで自動的に取り込ませることができる。他の実施形態では、ユーザは、カメラにユーザの顔画像370を取り込ませるためにクライアント装置を操作できる。
【0086】
[0093] 一部の例では、ユーザは、各ステータスインジケータ380と関連付けられた位置及び/又は向きへ(ちょうど説明されたように)ディスプレイに対して自分の頭を移動できる。したがって、クライアント装置は、例えばユーザの顔画像370の正面図、及びステータスインジケータ380のそれぞれと関連付けられた及び/又はステータスインジケータ380のそれぞれのためのユーザの顔画像370の角度的な図を取り込むことができる。
図7に示されているクライアント装置を参照して上述されるように、クライアント装置は
図1A及び/又は
図1Bに関して上述されているホスト装置110等のホスト装置に、取り込まれた画像と関連付けられた信号を送信するように構成できる。
【0087】
[0094]
図8に示されるように、クライアント装置は、少なくとも1つのインジケータ状態でディスプレイ355上にステータスインジケータ380を、図表を用いて表すように構成できる。言い換えると、クライアント装置は、所与のステータスインジケータ380に対する顔画像370の位置合わせと関連付けられたディスプレイ355上の定性的な表示を、図表を用いて表すように構成できる。例えば、上述されたように、ステータスインジケータ380Aは、ユーザの顔画像370がステータスインジケータ380Aに対する所望される位置にあるときに実質的に点灯している電球として図表を用いて表される。しかしながら、
図8に示されるように、ステータスインジケータ380のいずれか1つは、そのステータスインジケータ380に対するユーザの顔画像370の部分的な位置合わせを示すように構成できる。例えば、ステータスインジケータ380Cは、部分的に点灯している、完全で、及び/又は点灯している(部分的に点灯した電球としてディスプレイ355に図表を用いて表される)ステータスインジケータ380Bよりも明るくない電球としてディスプレイ355に図表を用いて表され、そのステータスインジケータ380Bは(実質的に点灯している電球としてディスプレイ355に図表を用いて表される)ステータスインジケータ380Aよりも明るくない。
【0088】
[0095] このようにして、ステータスインジケータ380Aと関連付けられた実質的に点灯している電球は、第1の公差の範囲内でステータスインジケータ380Aに対するユーザの顔画像370の位置合わせを表してよい。ステータスインジケータ380Bと関連付けられた部分的に点灯している電球は、第1の公差外であるが、第2の公差の範囲内の位置合わせを表してよく、ステータスインジケータ380Cと関連付けられた部分的に点灯している電球は、第2の公差外であるが、第3の公差の範囲内の位置合わせを表してよい。さらに、
図8に示されるように、ステータスインジケータ380Dと関連付けられた実質的に点灯していない電球は、第3の公差外の位置合わせ(又は位置合わせの欠如)を表してよい。言い換えると、ステータスインジケータ380Dは、第1のレベルの表示(例えば、「オフ」)と関連付けることができ、ステータスインジケータ380Cは、第2のレベルの表示(例えば、「レベル1オン」)と関連付けることができ、ステータスインジケータ380Bは、第3のレベルの表示(例えば、「レベル2オン」)と関連付けることができ、ステータスインジケータ380Aは、第4のレベルの表示(例えば、「レベル3オン」)と関連付けることができる。一部の例では、クライアント装置は、ユーザの顔画像370が、所与のステータスインジケータ380(例えば、ステータスインジケータ380A)に対する向き及び/又は位置と関連付けられた所定の公差(例えば、第1の公差)の範囲内にあるとき、カメラにユーザの顔画像370を取り込ませる信号をカメラに自動的に送信できる。すなわち、クライアント装置は、顔画像370が、少なくとも1つのステータスインジケータ380に対して、基準を満たす場合、カメラにユーザの顔画像370を取り込ませることができる。
【0089】
[0096] ステータスインジケータ380は、所定の位置合わせで及び/又は所定の公差範囲内でユーザの顔画像370の位置合わせを示し、その定性的な表示を提示しているとして上述されているが、他の実施形態では、ディスプレイは顔画像及び/又はビデオストリームと関連付けられた任意の適切な特徴を示すように構成された1つ以上のステータスインジケータを含んでよい。例えば、一部の実施形態では、ステータスインジケータは
図8に示されるステータスインジケータ380に実質的に類似し、画像又はビデオストリームの適合性を示す定性的な表示をユーザに提供するように構成されてよい。例えば、一部の実施形態では、係る適合性は(
図8に関して上述されたように)画像及び/又はビデオストリームの位置合わせ、画像及び/若しくはビデオストリームの明瞭さ、画像及び/若しくはビデオストリームの焦点、所定の範囲の動きを通る画像及び/若しくはビデオストリームと関連付けられた移動、カメラの視界である画像及び/若しくはビデオストリームと関連付けられた時間の測定基準、並びに/又は任意の他の適合性の測定基準であってよい。例えば、ステータスインジケータ380Aの明るい「光」は、適切なビデオ及び/又は画像が、ステータスインジケータ380Aと関連付けられた頭の位置について取り込まれたことを示すことができる。別の例では、ステータスインジケータ380Bの中程度の「光」は、適切未満のビデオ及び/又は画像が、ステータスインジケータ380Bと関連付けられた頭の位置について取り込まれたことを示すことができる。さらに別の例では、ステータスインジケータ380Dの「光」の欠如は、画像がステータスインジケータ380Dと関連付けられた頭の位置について取り込まれていないことを示すことができる。係る実施形態では、完全に「点灯した」ステータスインジケータ380は、カメラがユーザの多様な位置の十分なビデオ及び/又は画像を取り込んでいることを示すことができる。これは、ビデオ及び/又は画像が十分である旨の表示をユーザに提供することができる。他の実施形態では、任意の他の適切なインジケータは、ユーザの顔位置及び/又は位置合わせの取り込まれた画像の適合性を示すために使用できる。一部の例では、クライアント装置は、顔画像が適切であるとき、及び/又は顔画像が顔画像の位置合わせと関連付けられた所定の公差の範囲内にあるときにユーザの顔画像の画像及び/又はビデオストリームを自動的に取り込むことができる。
【0090】
[0097] クライアント装置は、ユーザの顔画像370が各ステータスインジケータ380と関連付けられた基準を満たした後にホスト装置に顔画像データを送信するとして上述されているが、他の例では、クライアント装置は、ユーザの顔画像370が少なくとも1つのステータスインジケータ380と関連付けられた基準を満たさないときに顔画像データを送信できる。係る例では、クライアント装置(例えば、その中に含まれるプロセッサ)は、各ステータスインジケータ380に対して所定の位置合わせにある、及び/又は所定の適合性を有する、ユーザの顔画像370と関連付けられた第1の基準、及びその関連付けられた第1の基準を満たす所定数のステータスインジケータ380と関連付けられた第2の基準を定義できる。言い換えると、クライアント装置は、ステータスインジケータ380のセットの中から所定数のステータスインジケータがその関連付けられた第1の基準(例えば、任意の適切な数のステータスインジケータの任意の適切なパーセンテージ又は部分)を満たす場合に、顔画像データが第2の基準を満たすと判断できる。
【0091】
[0098]
図9は、実施形態に従ってコンテキストビデオストリームを定める方法10を示すフローチャートである。方法10は、11で、ホスト装置で及びネットワークを介してクライアント装置からユーザと関連付けられた顔画像データを登録する要求を示す信号を受信することを含む。例えば、一部の実施形態では、ネットワークは、例えば
図1A及び/又は
図1Bに関して上述されたネットワーク105等の任意の適切なネットワーク又はネットワークの組合せであってよい。ホスト装置は、
図1及び
図2に関して上述されたホスト装置110と実質的に類似するまたは同じであってよい。同様に、クライアント装置は
図1〜
図6に関して上述されたクライアント装置150に実質的に類似して又は同じであってよい。一部の例では、クライアント装置は初期の顔データを取り込むように構成することができ、初期の顔画像データをホスト装置に送信できる。具体的には、一部の実施形態では、クライアント装置は、例えば
図2〜
図6に関して、
図7に関して、及び/又は
図8に関して上述されたもの等の任意の適切な方法で1つ又は複数のユーザの顔画像を取り込むように構成できる。したがって、ホスト装置はクライアント装置から顔画像データを受信することができ、ユーザを登録すること及び/又はユーザの顔画像データと関連付けられた任意の適切なプロセス等を実施できる。
【0092】
[0099] 方法10は、12で、ユーザと関連付けられた顔認識データを登録し、ホスト装置と通信しているデータベースに顔認識データを記憶することを含む。データベースは、例えば
図1及び
図1Bに関して上述されたデータベース140等の任意の適切なデータベースであってよい。顔認識データの登録は、例えば上述されたもの等の顔認識と関連付けられた任意の適切なプロセス、方法、及び/又はアルゴリズムを含んでよい。一部の例では、ホスト装置は顔認識に基づいて初期データセット等を定めるように構成でき、データベースに初期データセットの少なくとも一部分を記憶できる。
【0093】
[0100] ホスト装置は、13で、イベントと関連付けられたコンテキストビデオストリームデータを受信する。ホスト装置は、
図1A及び/又は
図1Bに関して上述された画像取込システム160等の画像取込システムからコンテキストビデオストリームを受信できる。より詳細には、ホスト装置は(例えば、ネットワークを介して1つ以上のカメラから)直接的に又は(例えば、コンピューティング装置からネットワークを介して、そのネットワークが1つ以上のカメラと通信していて)間接的に、のどちらかでコンテキストビデオストリームデータを受信できる。
【0094】
[0101] コンテキストビデオストリームデータは、14で、コンテキストビデオストリームデータがコンテキストビデオストリームデータの顔画像データの顔認識と関連付けられた基準を満たすかどうかを判断するために解析される。例えば、ホスト装置はコンテキストビデオストリームデータ(又は、例えば写真からの画像データ)を受信することができ、コンテキストビデオストリームデータの一部分が顔画像データの任意の適切な部分と一致するかどうかを判断するために、コンテキストビデオストリームデータを解析及び/又は処理できる。つまり、ホスト装置は、コンテキストビデオストリームに含まれるデータが比較されるテンプレートとして顔画像データを使用できる。別の言い方をすると、ホスト装置は、少なくとも部分的に顔画像データに基づいてコンテキストビデオストリームデータに対して顔認識プロセス及び/又は解析を実施する。一部の例では、基準は、例えばコンテキストビデオストリームデータの、所定の可能性及び/又は許容可能な可能性を有する顔画像データとの一致と関連付けられてよい。一部の実施形態では、ホスト装置は、コンテキストビデオストリームデータを分離すること、構文解析すること、並べ替えること、及び/又はそれ以外の場合その個々のフレーム(例えば、ビデオストリーム中の所定のときでの静的な画像)に分解することに少なくとも部分的に基づいてコンテキストビデオストリームデータを解析及び/又は処理するように構成できる。したがって、ホスト装置は、顔画像データに対してコンテキストビデオストリームフレームに含まれるデータを比較及び/又は解析できる。
【0095】
[0102] 一部の例では、コンテキストビデオストリームデータの解析は、例えば場所、開催地、時間、同時に起こるイベント(例えば、ゴールを決めるスポーツチームが、例えば「キスカム」で等で取り込まれる)、及び/又は任意の他の適切なコンテキスト情報を判断するために、コンテキストビデオストリームデータを解析することも含む。一部の例では、ホスト装置はビデオストリームの少なくとも一部分を一致させる、統合する、及び/又はそれ以外の場合コンテキストデータに関連付けるように構成できる。例えば、一部の例では、ビデオストリームデータは、例えばスポーツイベントでユーザを表すことがある。係る例では、コンテキストデータは、例えばスポーツイベント又はゲームのビデオストリームであってよく、時間、場所、開催地、チーム等と関連付けられたデータを含んでよい。したがって、ホスト装置は、ビデオストリームデータ及びコンテキストデータが実質的に一致する(例えば、実質的に同時に発生する、及び/又は関連付けられたデータを取り込む)ように、ビデオストリームデータ及びコンテキストデータを統合するように構成できる。他の例では、コンテキストデータは、任意の他の適切なコンテキストと関連付けられたデータを含んでよい。
【0096】
[0103] ユーザ特有のコンテキストビデオストリームは、15で、コンテキストビデオストリームデータの顔画像データと関連付けられた基準が満たされる場合に定義される。例えば、ホスト装置は、コンテキストビデオストリームのデータの少なくとも一部分が基準を満たす(例えば、所定の及び/又は許容できる可能性まで顔画像データに一致する)と判断するときに、ホスト装置はユーザのコンテキストビデオストリームを定めることができ、ユーザのコンテキストビデオストリームをデータベースに記憶できる。ユーザのコンテキストビデオデータが定義された状態で(つまり、ユーザ特有のコンテキストビデオストリーム)、ホスト装置は、16で、クライアント装置のディスプレイにユーザのコンテキストビデオストリームを提示する命令を示す信号を送信する。例えば、一部の実施形態では、ホスト装置は、クライアント装置のディスプレイにユーザ特有のコンテキストビデオストリームを提示する際に操作可能である、ネットワークを介して、クライアント装置に信号を送信できる。他の実施形態では、ホスト装置は(例えば、データベース等に)ユーザ特有のコンテキストビデオストリームを記憶することができ、クライアント装置(及び/又は任意の他の適切な装置)からの要求に応答して、データベースからユーザ特有のコンテキストビデオストリームを取り出すように構成できる。より詳細には、一部の実施形態では、ユーザはインターネット上のウェブページにアクセスするためにクライアント装置を操作できる。認証された(例えば、認証情報を入力した)後、ユーザは、コンテキストビデオストリームにアクセスする要求がクライアント装置からホスト装置に送信されるように、ウェブページと対話できる。したがって、ホスト装置はデータベースからコンテキストビデオストリームを取り出すことができ、(例えばインターネット及びウェブページを介して)ディスプレイにコンテキストビデオストリームを提示する際に操作可能なクライアント装置に信号を送信できる。言い換えると、コンテキストビデオストリームは「クラウド」上に記憶し、ウェブブラウザおよびインターネットを介してアクセスできる。
【0097】
[0104] 方法10は、ビデオストリーム、画像データ、コンテキストデータ等を送信及び/又は受信し、ユーザ特有のビデオストリーム及び/又は画像データを提示する及び/又は1人以上のユーザと共用するとして上述されているが、システムは、ビデオストリームデータ及び/又は画像データを任意の適切な方法で取り込み、任意の適切な装置によって解析し、任意の適切なユーザ又はユーザ装置に送信し、及び/又は任意の適切なユーザ又はユーザ装置と共用することができることが理解されるべきである。例として、一部の例では、ユーザは、ユーザの顔画像を取り込むためにユーザ装置(例えば、クライアント装置150等のクライアント装置)を操作できる。例えば、ユーザは(例えば、クライアント装置のユーザがスマートフォン又は他のモバイル電子機器もしくはウェアラブル電子機器であるとき)モバイルアプリケーションを開くことができ、クライアント装置のカメラを介して顔画像(例えば、「セルフィー」)を取り込むことができる。言い換えると、ユーザは、セルフィーを取り込むためにアプリケーションを介してクライアント装置のカメラを制御できる。
【0098】
[0105] 顔画像は、クライアント装置によって及び/又はホスト装置によってのどちらかで顔認識及び/又は任意の他の適切な画像解析によって解析できる。ユーザと関連付けられたデータ(例えば、顔画像データ及び/又はコンテキストデータ若しくはユーザプロファイルデータ)は、いったん解析されると、データベース(例えば、データベース140)及び/又は任意の他の適切なデータストレージ(例えば、クライアント装置のメモリ等)に登録し、記憶できる。したがって、ユーザはシステムと「登録」できる(つまり、ユーザは登録ユーザである)。
【0099】
[0106] 一部の例では、登録ユーザは、アプリケーションを介してコンテンツ(例えば、画像データ及び/又はビデオストリーム)を取り込むことができる。上述されたように、コンテンツは、例えばスポーツイベントでの1人以上の人等の所与の状況での1人以上の人のビデオストリームであってよい。一部の例では、ユーザによって取り込まれた(例えば、生成された)コンテンツは、時間、日付、場所、開催地、イベント等のコンテキストデータと関連付けることができる、並びに/又はそれ以外の場合、データ及び/若しくはメタデータとタグ付けできる。他の例では、ユーザ生成コンテンツはコンテキストデータと関連付けられる必要はない。ユーザ生成コンテンツ(例えば、ビデオストリームデータ等)は、(上述されたように)任意の登録ユーザの存在を決定するために、クライアント装置又はホスト装置を介して顔認識及び/又は他の画像解析によって解析できる。登録ユーザがビデオストリームで識別される場合、ユーザ、クライアント装置、及び/又はホスト装置は、識別されたユーザの1人以上と関連付けられたユーザ特有のビデオストリームを定義できる。ユーザ、クライアント装置、及び/又はホスト装置は、次いでユーザ特有のビデオストリームを識別された各ユーザと共用するかどうかを判断できる。一部の例では、ユーザ特有のビデオストリーム(複数可)の共用は、ユーザとプロファイル及び/若しくはプリファレンスに基づいて、並びに/又はモバイルアプリケーション若しくはアカウント内部の設定等に基づいて自動であってよい。他の例では、ユーザ特有のビデオストリーム(複数可)の共用は、ユーザからの手動入力又は他の入力に基づく(例えば、選択等に基づく)ことができる。さらに他の例では、ユーザ特有のビデオストリーム(複数可)の共用は、各ユーザ(又はピアネットワーキングセッションで使用される各クライアント装置)がユーザ特有のビデオストリームを受信するピアネットワーキングセッションに基づいてよい。このようにして、ユーザ生成コンテンツ(例えば、ユーザによって取り込まれたビデオストリーム及び/又は画像データ)は、本明細書に説明される方法と類似した方法で取り込む、解析する、及び/又は共用することができる。
【0100】
[0107]
図10は、実施形態に従って、例えばユーザと関連付けられたモバイル機器にコンテキストビデオストリームを提示する方法を示すフローチャートである。一部の例では、ビデオファイル(複数可)及び/又は写真ファイル(複数可)はメディアアップローダ485にアップロードできる。メディアアップローダ485は、例えば
図1及び
図2に関して上述されたホスト装置110等、ビデオ及び/又は画像ファイルを受信及び/又は処理するように構成された任意の適切な装置であってよい。マスタビデオ及び/又は写真ファイルは次いでマスタメディアストレージ486に記憶される。マスタメディアストレージ486は、任意の適切な記憶装置であってよい。例えば、マスタメディアストレージ486は、メディアアップローダ485に含まれてよい、及び/又はメディアアップローダ485に含まれるメモリの一部であってよい。他の実施形態では、マスタメディアストレージ486は、例えば
図1A及び
図1Bに関して上述されたデータベース140等のデータベース等であってよい。
【0101】
[0108] 一部の例では、マスタビデオファイルは、マスタメディアストレージ486からビデオエンコーダ487に送信されてよい。ビデオエンコーダ487は、任意の適切な装置又はマスタビデオファイルを1つ以上の所望されるフォーマットに変換するように構成された装置の部分であってよい。例えば、
図10に示されるように、仮想エンコーダ487は、マスタビデオファイルを顔認識ビデオ及びモバイル互換性ビデオファイルに変換することができ、そのそれぞれはマスタメディアストレージ486に記憶される。1つ以上の顔認識ビデオファイル及び/又は写真ファイルのリストは、次いでワークフローコンダクタ488に送信され、ワークフローコンダクタ488は、優先順位を設定する、編成する、及び/又はそれ以外の場合、ファイルがその後処理される順序を制御することができ、顔認識ビデオファイル(複数可)及び/又は写真ファイル(複数可)の処理を開始する上で操作可能な信号を顔検出及び一致プロセッサ491(例えば、プロセッサ、モジュール、装置等、例えば
図2を参照して上述された解析モジュール121等)に送信できる。さらに、ワークフローと関連付けられた表示は、本明細書にさらに詳細に説明されるように、ワークフローコンダクタ488から、ワークフローと関連付けられた表示を記憶することができ、ウェブサービスプロセッサ494(例えば、インターネットウェブサイトサービスプロバイダ、プロセッサ、モジュール、及び/又は装置)に表示と関連付けられたデータを送信できるデータベース493に送信できる。
【0102】
[0109]
図10に示されるように、モバイル互換ビデオファイルは、本明細書にさらに詳細に説明されるように、マスタメディアストレージ486から、認識イベントと関連付けられたデータを受信することもできるビデオクリップセンタ489に送信される。マスタビデオファイル又は写真ファイルは、本明細書にさらに詳細に説明されるように、マスタメディアストレージ486から、認識イベントと関連付けられたデータを受信することもできるサムネイルリサイザ490に送信される。顔認識ビデオ又は写真ファイル(複数可)は、マスタメディアストレージ486から顔検出及び一致プロセッサ491に送信され、顔検出及び一致プロセッサ491は認識イベントを定めるために任意の適切な顔認識プロセスを実施できる。さらに、顔検出及び一致プロセッサ491は、ワークフローコンダクタ488によって定義される優先順位及び/又は順序に従って顔認識ビデオ及び/又は写真ファイルを解析及び/又は処理できる。
【0103】
[0110] 上述のように、認識イベントと関連付けられたデータは、次いで顔検出及び一致プロセッサ491からビデオクリップカッタ489及びサムネイルリサイザ490に送信できる。ビデオクリップカッタ489は、モバイル互換性ビデオファイルを受信することができ、以後、顔認識ビデオ及び/又は写真の中のユーザの認識イベントと関連付けられたビデオクリップを縮小する、切断する、抽出する、分離する、及び/又はそれ以外の場合、定めることができる任意の適切なプロセッサ、モジュール、及び/又は装置であってよい。ユーザの認識イベントと関連付けられたビデオクリップは、次いでビデオクリップカッタ489から携帯互換性メディアストレージ492に送信できる。サムネイルリサイザ490は、マスタビデオ及び/又は写真ファイル(複数可)を受信することができ、以後、1つ以上のサムネイル(例えば、相対的に小さいファイルサイズを有する小さい画像であって、より大きい画像及び/又はビデオと関連付けられた、及び/又は示すことがある画像)を定義できる、任意の適切なプロセッサ、モジュール、及び/又は装置であってよい。本実施形態では、サムネイルは、認識イベントと関連付けることができ、及び/又は認識イベントを示すことができ、サムネイルリサイザ490からモバイル互換性メディアストレージ492に送信できる。
【0104】
[0111]
図10に示されるように、ビデオクリップ及びサムネイルは、例えば携帯互換性メディアストレージ492から1つ以上のモバイルアプリケーション及び/又はウェブサイト495に送信できる。例えば、一部の例では、ビデオクリップ及びサムネイルは、インターネットサーバ等に送信でき、インターネットサーバ等はビデオクリップ及びサムネイルをウェブサイト等で提示できる。他の例では、ビデオクリップ及びサムネイルは、ユーザと関連付けられたクライアント装置に送信でき、クライアント装置は、(例えば、モバイルアプリケーションが開かれるとき、選択されるとき、実行しているとき等)ビデオクリップ及びサムネイルをディスプレイで提示できる。さらに、(上述の)ワークフローの表示と関連付けられたメタデータ(例えば、ユーザアイデンティティ、イベントのアイデンティティ、イベントの場所、クライアント装置の場所等)等は、ウェブサービスプロセッサ494からモバイルアプリケーション及び/又はウェブサイト495に送信できる。このようにして、ユーザのビデオクリップ及びそれと関連付けられた任意のコンテキスト及び/又はメタデータは、モバイルアプリケーション及び/又はウェブサイトを介してユーザに送信できる及び/又はユーザによってアクセスできる。
【0105】
[0112] 多様な実施形態が上述されているが、それらが、制限としてではなく、例としてのみ提示されていることが理解されるべきである。例えば、実施形態及び方法は本明細書で、イベント等でユーザのコンテキストビデオストリームを定義し、クライアント装置にコンテキストビデオストリームを送信する、及び/又はそれ以外の場合、例えばウェブブラウザおよびインターネットを介してコンテキストビデオストリームへのアクセスを可能にするとして本明細書に説明されているが、他の実施形態では、ホスト装置は、データベースに、ユーザと関連付けられた任意の数のコンテキストビデオストリームを記憶できる。一部の例では、ホスト装置は、ユーザの任意の数のコンテキストビデオストリームを含むことがあるユーザプロファイル等を定めるように構成できる。一部の例では、ユーザは、モバイルアプリケーション、コンピュータアプリケーション、ウェブブラウザ、及びインターネット等々を介して自分のユーザプロファイルにアクセスできる。さらに、一部の例では、ユーザはホスト装置を共用する、又はそれ以外の場合、ユーザの異なるユーザと、又はソーシャルメディアサイトを介して任意の数のコンテキストビデオストリームを共用するように要求できる。一部の例では、ユーザは自分のユーザプロファイルの部分に対するアクセスを許可することができ、これにより他のユーザはその中に含まれるコンテキストビデオストリームを見ることができる。
【0106】
[0113] 特定の例が特に上述されてきたが、本明細書に説明される実施形態及び方法は、任意の適切な方法で使用できる。例えば、システム100はスポーツイベントでユーザのコンテキストビデオストリームを定めるとして上述されているが、他の実施形態では、本明細書に説明される方法は、例えば任意の適切な設定、開催地、アリーナ、イベント等で顔認識及びビデオ解析を使用する個人を識別するために使用できる。例えば、一部の実施形態では、上述された方法は、コンサート、集会、卒業式、パーティ、商店街、事業所等でコンテキストビデオストリームを取り込むために使用できる。一例では、ホスト装置は、例えば卒業式からコンテキストビデオストリームを受信できる。一部の例では、上述されたように、ホスト装置は卒業生(及び/又は任意の個人及び/又はユーザ)を識別するために任意の適切な顔認識及び/又はビデオ解析を実施できる。さらに、ホスト装置は、例えば卒業生と関連付けられたユーザプロファイル、ステージを横切って歩行する学生の順序、卒業生のクライアント装置と関連付けられた場所データ、及び/又は他の適切なデータ等のコンテキスト情報を解析するように構成できる。したがって、ホスト装置は、(例えば、データが基準(単数可)を満たす場合に)アイデンティティ卒業生を検証するためにデータを解析することができ、例えば、卒業生が卒業証書等を受け取るためにステージを横切って歩くにつれて卒業生のコンテキストビデオストリームを定義できる。他の例では、ホスト装置は、卒業生の家族又は友人を識別し、同様に卒業生の家族又は友人のコンテキストビデオストリームを定義できる。
【0107】
[0114] 実施形態は特に示され、説明されてきたが、形式及び詳細の多様な変更が加えられ得ることが理解される。多様な実施形態は、特定の特徴及び/又は構成要素の組合せを有するとして説明されてきたが、上述された実施形態のいずれかからのいずれかの特徴及び/又は構成要素の組合せを有する他の実施形態が考えられる。
【0108】
[0115] 上述された方法及び/又はイベントが特定の順序で発生する特定のイベント及び/又は手順を示す場合、特定のイベント及び/又は手順の順序付けは修正されてよい。さらに、特定のイベント及び/又は手順は、上述されたように順次に実施されるだけではなく、可能なとき、並行プロセスで同時に実施されてもよい。
【0109】
[0116] 顔認識の特有の方法は、特定の実施形態に従って上述されるが、一部の例では、顔認識の任意の方法は顔認識データのセットで結合する、増大する、拡張する、及び/又はそれ以外の場合集合的に実施することができる。例えば、一部の例では、顔認識の方法は、例えば複数の2‐D画像の3‐D再構築等の任意の適切な3‐D解析だけではなく、固有ベクトル、固有顔、及び/又は他の2‐D解析を使用し、顔認識を解析することを含んでよい。一部の例では、2‐D解析方法及び3‐D解析方法の使用は、例えば、それ以外の場合3‐D解析だけ又は2‐D解析だけから生じるだろうよりも少ない負荷が資源(例えば、処理装置)にかかるより正確な結果が生じ得る。一部の例では、顔認識は、畳込みニューラルネットワーク(CNN)を介して及び/又は任意の適切な2‐D解析方法及び/又は3‐D解析方法と組み合わせてCNNを介して実施できる。さらに、複数の分析方法の使用は、例えば冗長性、エラーチェック、ロードバランシング等々のために使用できる。一部の例では、複数の解析方法の使用は、システムが、少なくとも部分的にその中に含まれる特定のデータに基づいて顔認識データセットを選択的に解析できるようにできる。
【0110】
[0117] 実施形態は、特有の装置上で及び/又は装置の特定の部分で実施されるとして説明されてきたが、本明細書に説明される実施形態及び/又は方法のいずれも任意の適切な装置で実施できる。例えば、コンテキストビデオストリームは、顔認識及び/又は画像解析のためにホスト装置(例えば、ホスト装置110)に送信されるとして上述されてきたが、他の実施形態では、任意の適切な解析はクライアント装置上で又はクライアント装置で実施できる。例えば、一部の例では、ユーザは、クライアント装置のカメラを介してビデオストリーム(例えば、コンテキストビデオストリーム)を取り込むことができ、それに応じてクライアント装置はビデオストリームの任意の数の登録ユーザ等を識別するためにビデオを解析できる。一部の例では、解析は畳込みニューラルネットを介して(例えば、メモリに記憶され、システムアプリケーションと関連付けられた)クライアント装置に送信できる及び/又はクライアント装置に記憶できる。一部の例では、解析は、上述されたように、例えばユーザの連絡先リスト、友人リスト、確立された接続等に基づいて前処理及び/又は事前分類できる。一部の例では、クライアント装置は、上述されたように、ユーザ特有のビデオストリームを任意の識別されたユーザに送信できる。他の実施形態では、クライアント装置は、解析されたビデオストリーム及び/又はユーザ特有のビデオストリーム(複数可)をホスト装置110及び/又はデータベース140にアップロード及び/又は送信できる。
【0111】
[0118] ビデオストリーム及び/又は画像データは「コンテキスト」であるとして上述されているが、ビデオストリームデータ及び/又は画像データが「コンテキストデータ」とは無関係であり得る及び/又は関連付けられていないことがあり得ることが理解されるべきである。例えば、一部の例では、ユーザはビデオストリーム及び/又は画像を取り込み、ビデオストリーム及び/又は画像データと関連付けられたコンテキストデータを定義及び/又は送信することなく処理のためにビデオストリーム及び/又は画像をアップロードできる。一部の例では、ホスト装置等(例えば、ホスト装置110)は、ユーザ生成ビデオストリーム及び/又は画像データを受信することができ、それに応じて1つ以上の顔認識プロセス及び/又は任意の他の適切な解析をデータに対して実施して、例えばコンテキストデータとは無関係であるユーザ特有のビデオストリーム又はユーザ特有の画像を定義できる。
【0112】
[0119] 本明細書に説明される一部の実施形態は、多様なコンピュータ実装操作を実施するためにその上に命令又はコンピュータコードを有する(非一過性のプロセッサ可読媒体と呼ばれることもある)非一過性のコンピュータ可読媒体を有するコンピュータストレージ製品に関する。コンピュータ可読媒体(又はプロセッサ可読媒体)は、それが本質的に一過性の伝搬信号(例えば、空間又はケーブル等の伝送媒体上で情報を運ぶ伝搬電磁波)を含まないという意味で非一過性である。媒体及び(コードと呼ばれることもある)コンピュータコードは、1つ又は複数の特定の目的のために設計され、構築されるものであってよい。非一過性のコンピュータ可読媒体の例は、例えばハードディスク、フロッピーディスク、及び磁気テープ等の磁気記憶媒体、コンパクトディスク/デジタル多用途ディスク(CD/DVD)、コンパクトディスク読出し専用メモリ(CD−ROM)、及びホログラフ装置、光磁気記憶媒体等の光記憶媒体、光ディスク、搬送波信号処理モジュール等の光磁気媒体、並びに特定用途向け集積回路(ASIC)、プログラマブルロジックデバイス(PLD)、読出し専用メモリ(ROM)、及びランダムアクセスメモリ(RAM)装置等のプログラムコードを記憶し、実行するように特に構成されるハードウェア装置を含むが、これに限定されるものではない。本明細書に説明される他の実施形態は、例えば本明細書に説明される命令及び/又はコンピュータコードを含んでよいコンピュータプログラム製品に関する。
【0113】
[0120] 本明細書に説明される一部の実施形態及び/又は方法は、(ハードウェアで実行される)ソフトウェア、ハードウェア、又はその組合せによって実施できる。ハードウェアモジュールは、例えば汎用プロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、及び/又は特定用途向け集積回路(ASIC)を含んでよい。(ハードウェアで実行される)ソフトウェアモジュールは、C、C++、Java(商標)、Ruby、Visual Basic(商標)、及び/又は他のオブジェクト指向ツール、手順ツール、又は他のプログラミング言語及び開発ツールを含むさまざまなソフトウェア言語(例えば、コンピュータコード)で表すことができる。コンピュータコードの例は、マイクロコード又はマイクロ命令、コンパイラによって生成される等の機械命令、ウェブサービスを生じさせるために使用されるコード、及びインタプリタを使用し、コンピュータによって実行されるより高水準の命令を含むファイルを含むが、これに限定されるものではない。例えば、実施形態は、命令型プログラミング言語(例えば、C、FORTRAN)、関数型プログラミング言語(Haskell、Erlang等)、論理プログラミング言語(例えば、Prolog)、オブジェクト指向プログラミング言語(例えば、Java、C++等)、又は他の適切なプログラミング言語及び/若しくは開発ツールを使用し、実装されてよい。コンピュータコードの追加の例は、制御信号、暗号化コード、及び圧縮コードを含むが、これに限定されるものではない。