特許 7258857 撮像装置によって以前キャプチャされた動画データに基づく、撮像装置による動画データキャプチャの修正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-07

(45)【発行日】2023-04-17

(54)【発明の名称】撮像装置によって以前キャプチャされた動画データに基づく、撮像装置による動画データキャプチャの修正

(51)【国際特許分類】

   H04N 21/4788 20110101AFI20230410BHJP

   H04N 21/4728 20110101ALI20230410BHJP

【ＦＩ】

H04N21/4788

H04N21/4728

【請求項の数】 19

(21)【出願番号】P 2020511521

(86)(22)【出願日】2018-09-05

(65)【公表番号】

(43)【公表日】2020-11-12

(86)【国際出願番号】 US2018049532

(87)【国際公開番号】W WO2019050938

(87)【国際公開日】2019-03-14

【審査請求日】2021-06-10

(31)【優先権主張番号】16/121,087

(32)【優先日】2018-09-04

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】15/856,105

(32)【優先日】2017-12-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】15/856,109

(32)【優先日】2017-12-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/554,564

(32)【優先日】2017-09-05

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/121,081

(32)【優先日】2018-09-04

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】15/856,108

(32)【優先日】2017-12-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/121,060

(32)【優先日】2018-09-04

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】508178054

【氏名又は名称】メタ プラットフォームズ， インク．

(74)【代理人】

【識別番号】110002974

【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ

(72)【発明者】

【氏名】ヴィンセント チャールズ チャン

【審査官】篠塚 隆

(56)【参考文献】

【文献】特開２００６－２１７６２８（ＪＰ，Ａ）

【文献】特開２０１１－１８２１６０（ＪＰ，Ａ）

【文献】特許第６２４１８０２（ＪＰ，Ｂ１）

【文献】特開２０１５－１１５７４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４－７／１７３

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

撮像装置（１１７）を含むクライアント装置（１１０）によってキャプチャされた動画データを修正するためのコンピュータ実施方法であって、コントローラ（２１０）が前記撮像装置（１１７）に結合されており、前記方法は、
前記撮像装置（１１７）が、当該撮像装置（１１７）の視野内のローカルエリアについてのキャプチャされた第１の動画データを提供するステップを含み、前記第１の動画データはオンラインソーシャルネットワークシステムの１人以上のユーザを含み、且つ前記方法は、
前記コントローラ（２１０）が、前記第１の動画データ内でキャプチャされた前記１人以上のユーザについて、１つ以上のプライバシ設定を維持するステップと、
前記１人以上のユーザの前記１つ以上のプライバシ設定に基づいて、前記コントローラ（２１０）が、前記クライアント装置（１１０）によって維持されている１つ以上のモデルを前記キャプチャされた第１の動画データの特徴に対して適用することにより、前記キャプチャされた第１の動画データ内に含まれる前記オンラインソーシャルネットワークシステムの前記１人以上のユーザを位置決めするステップと、
位置決め済みの前記１人以上のユーザを含む前記第１の動画データを前記オンラインソーシャルネットワークシステムへと送信するステップと、
前記オンラインソーシャルネットワークシステムを介して、前記キャプチャされた第１の動画データ内の位置決め済みの前記１人以上のユーザの中から興味対象ユーザを特定する情報を受信するステップと、
前記興味対象ユーザの前記１つ以上のプライバシ設定に基づいて、前記コントローラ（２１０）が、前記撮像装置（１１７）の１つ以上のパラメータを修正して、前記撮像装置（１１７）によって以後キャプチャされた第２の動画データを修正して前記興味対象ユーザを含む前記第２の動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップと、
修正された前記１つ以上のパラメータを用いて前記撮像装置（１１７）によって以後キャプチャされた前記第２の動画データを、前記オンラインソーシャルネットワークシステムへと送信するステップと、によって特徴付けられる、コンピュータ実施方法。

【請求項2】

請求項１に記載のコンピュータ実施方法において、前記撮像装置（１１７）の１つ以上のパラメータを修正して、前記撮像装置（１１７）によって以後キャプチャされた第２の動画データを修正して前記興味対象ユーザを含む前記第２の動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップは、
前記撮像装置（１１７）によって以後キャプチャされた前記第２の動画データの、前記興味対象ユーザを含む部分の倍率を増大させるステップを含む、コンピュータ実施方法。

【請求項3】

請求項１又は請求項２に記載のコンピュータ実施方法において、前記撮像装置（１１７）の１つ以上のパラメータを修正して、前記撮像装置（１１７）によって以後キャプチャされた第２の動画データを修正して前記興味対象ユーザを含む前記第２の動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップは、
前記撮像装置（１１７）によって以後キャプチャされた前記第２の動画データを修正して、前記撮像装置（１１７）によって以後キャプチャされた前記第２の動画データの、前記興味対象ユーザを含まない１つ以上の部分を除去するステップを含む、コンピュータ実施方法。

【請求項4】

請求項１乃至３のいずれかに記載のコンピュータ実施方法において、前記撮像装置（１１７）の１つ以上のパラメータを修正して、前記撮像装置（１１７）によって以後キャプチャされた第２の動画データを修正して前記興味対象ユーザを含む前記第２の動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップは、
前記撮像装置（１１７）によって以後キャプチャされた前記第２の動画データ内の前記興味対象ユーザを特定するステップと、
前記撮像装置（１１７）の焦点を前記興味対象ユーザへと再調整するステップとを含む、コンピュータ実施方法。

【請求項5】

請求項４に記載のコンピュータ実施方法において、前記撮像装置（１１７）によって以後キャプチャされた前記第２の動画データ内の前記興味対象ユーザを特定するステップは、
１つ以上の顔認識モデルを適用して前記撮像装置（１１７）によって以後キャプチャされた前記第２の動画データ内の前記興味対象ユーザを特定するステップを含む、コンピュータ実施方法。

【請求項6】

請求項４に記載のコンピュータ実施方法において、前記撮像装置（１１７）によって以後キャプチャされた前記第２の動画データ内の前記興味対象ユーザを特定するステップは、
前記興味対象ユーザを含む前記以後キャプチャされた第２の動画データの部分からカラーマップを抽出するステップを含む、コンピュータ実施方法。

【請求項7】

請求項１乃至６のいずれかに記載のコンピュータ実施方法において、
前記オンラインソーシャルネットワークシステムから、前記撮像装置（１１７）によって以後キャプチャされる前記第２の動画データを修正するための命令を受信するステップと、
受信した前記命令に応答して前記撮像装置（１１７）の前記１つ以上のパラメータを修正するステップとをさらに含む、コンピュータ実施方法。

【請求項8】

請求項７に記載のコンピュータ実施方法において、受信した前記命令に応答して前記撮像装置（１１７）の前記１つ以上のパラメータを修正するステップは、
前記興味対象ユーザが前記撮像装置（１１７）の視野内で動くのに付随して前記撮像装置（１１７）を再配置するステップを含む、コンピュータ実施方法。

【請求項9】

請求項１乃至８のいずれかに記載のコンピュータ実施方法において、前記撮像装置（１１７）の１つ以上のパラメータを修正して、前記撮像装置（１１７）によって以後キャプチャされた第２の動画データを修正して前記興味対象ユーザを含む前記第２の動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップは、
前記興味対象ユーザの動きを特定する１つ以上のモデルを、前記撮像装置（１１７）によって以後キャプチャされた前記第２の動画データに対して適用するステップと、
前記興味対象ユーザの特定された動きに基づいて前記撮像装置（１１７）の視野を修正するステップとを含む、コンピュータ実施方法。

【請求項10】

コンピュータ実施方法であって、
クライアント装置（１１０）内に含まれる撮像装置（１１７）の視野内のローカルエリアについての動画データをオンラインシステムにて受信するステップであって、前記動画データはオンラインシステムの１人以上のユーザを含む、受信するステップと、
前記動画データ内に含まれる前記オンラインシステムの前記１人以上のユーザを特定する情報を検索するステップと、
前記オンラインシステムの閲覧ユーザを特定するステップと、
前記動画データと前記動画データ内に含まれる前記オンラインシステムの前記１人以上のユーザを特定する前記情報とを、前記閲覧ユーザと関連付けられた追加のクライアント装置（１１０）へと送信するステップと、
前記追加のクライアント装置（１１０）から前記動画データ内に含まれる前記オンラインシステムの前記１人以上のユーザの興味対象ユーザを特定する情報を受信するステップと、
前記興味対象ユーザを特定する情報を前記クライアント装置（１１０）へと送信するステップと、
前記クライアント装置（１１０）の前記撮像装置（１１７）によってキャプチャされた追加の動画データを受信するステップであって、前記追加の動画データはクロッピング又はズーミングされてより際立たされた前記興味対象ユーザを含む部分を含む、受信するステップと、
前記追加の動画データを前記追加のクライアント装置（１１０）へと送信するステップとを含む、コンピュータ実施方法。

【請求項11】

請求項１０に記載のコンピュータ実施方法において、前記動画データ内に含まれる前記オンラインシステムの前記１人以上のユーザを特定する情報を検索するステップは、
前記オンラインシステムを介して、前記閲覧ユーザに接続された前記オンラインシステムに含まれる前記オンラインシステムのユーザを特定するステップと、
前記オンラインシステムを介して、前記閲覧ユーザに接続された前記オンラインシステムに含まれる前記オンラインシステムのユーザを特定する情報を検索するステップとを含む、コンピュータ実施方法。

【請求項12】

請求項１０又は請求項１１に記載のコンピュータ実施方法において、前記動画データ内に含まれる前記オンラインシステムの前記１人以上のユーザを特定する情報を検索するステップは、
前記オンラインシステムを介して、前記閲覧ユーザに接続された前記オンラインシステムに含まれる前記オンラインシステムのユーザを特定するステップと、
前記動画データ内に含まれる前記オンラインシステムの前記ユーザを特定する情報であって、前記オンラインシステムを介して前記閲覧ユーザに接続された前記動画データ内に含まれるユーザを、前記オンラインシステムを介して前記閲覧ユーザに接続されていない前記動画データ内に含まれるユーザから視覚的に区別する情報を、生成するステップとを含む、コンピュータ実施方法。

【請求項13】

請求項１０乃至１２のいずれかに記載のコンピュータ実施方法において、前記動画データ内に含まれる前記オンラインシステムの前記１人以上のユーザを特定する情報を検索するステップは、
前記動画データ内に含まれる前記オンラインシステムの各ユーザについての前記閲覧ユーザの関連性を決定するステップと、
前記動画データ内に含まれる前記オンラインシステムの各ユーザを特定する情報を、前記動画データ内に含まれる前記オンラインシステムの各ユーザについての前記閲覧ユーザの関連性に基づいて、生成するステップとを含む、コンピュータ実施方法。

【請求項14】

請求項１３に記載のコンピュータ実施方法において、前記動画データ内に含まれる前記オンラインシステムの各ユーザを特定する情報を前記動画データ内に含まれる前記オンラインシステムの各ユーザについての前記閲覧ユーザの関連性に基づいて生成するステップは、
関連性が少なくとも閾値となる前記閲覧ユーザについて、前記動画データ内に含まれる前記オンラインシステムの各ユーザを特定する情報を生成するステップを含む、コンピュータ実施方法。

【請求項15】

請求項１３に記載のコンピュータ実施方法において、前記動画データ内に含まれる前記オンラインシステムの各ユーザを特定する情報を前記動画データ内に含まれる前記オンラインシステムの各ユーザについての前記閲覧ユーザの関連性に基づいて生成するステップは、
前記動画データ内に含まれる前記オンラインシステムの前記ユーザを、前記動画データ内に含まれる前記オンラインシステムの前記ユーザについての前記閲覧ユーザの関連性に基づいて、ランク付けするステップと、
前記ランク付けにおける順位が少なくとも閾値となる各ユーザであって前記動画データ内に含まれる前記オンラインシステムの各ユーザを特定する情報を、生成するステップとを含む、コンピュータ実施方法。

【請求項16】

請求項１０乃至１５のいずれかに記載のコンピュータ実施方法において、
前記オンラインシステムにて、前記クライアント装置（１１０）の前記撮像装置（１１７）によってキャプチャされる前記追加の動画データを修正するための命令を前記追加のクライアント装置（１１０）から受信するステップと、
前記命令を前記クライアント装置（１１０）へと送信するステップと、
前記命令に基づいて前記撮像装置（１１７）によってキャプチャされた前記追加の動画データを前記クライアント装置（１１０）から受信するステップと、
前記追加の動画データを前記オンラインシステムから前記追加のクライアント装置（１１０）へと送信するステップとをさらに含む、コンピュータ実施方法。

【請求項17】

符号化された命令を有するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、該命令はプロセッサによって実行されると、該プロセッサに、撮像装置（１１７）を含むクライアント装置（１１０）によってキャプチャされた動画データを修正するための方法を実行させ、前記方法は、
前記撮像装置（１１７）の視野内のローカルエリアについてのキャプチャされた第１の動画データを提供するステップを含み、前記第１の動画データはオンラインソーシャルネットワークシステムの１人以上のユーザを含み、且つ前記方法は、
前記第１の動画データ内でキャプチャされた前記１人以上のユーザについて、１つ以上のプライバシ設定を維持するステップと、
前記１人以上のユーザの前記１つ以上のプライバシ設定に基づいて、前記クライアント装置（１１０）によって維持されている１つ以上のモデルを前記キャプチャされた第１の動画データの特徴に対して適用することにより、前記キャプチャされた第１の動画データ内に含まれる前記オンラインソーシャルネットワークシステムの前記１人以上のユーザを位置決めするステップと、
位置決め済みの前記１人以上のユーザを含む前記第１の動画データを前記オンラインソーシャルネットワークシステムへと送信するステップと、
前記オンラインソーシャルネットワークシステムを介して、前記キャプチャされた第１の動画データ内の位置決め済みの前記１人以上のユーザの中から興味対象ユーザを特定する情報を受信するステップと、
前記興味対象ユーザの前記１つ以上のプライバシ設定に基づいて、前記撮像装置（１１７）の１つ以上のパラメータを修正して、前記撮像装置（１１７）によって以後キャプチャされた第２の動画データを修正して前記興味対象ユーザを含む前記第２の動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップと、
修正された前記１つ以上のパラメータを用いて前記撮像装置（１１７）によって以後キャプチャされた前記第２の動画データを、前記オンラインソーシャルネットワークシステムへと送信するステップと、
によって特徴付けられる、コンピュータプログラム製品。

【請求項18】

請求項１７に記載のコンピュータプログラム製品において、前記撮像装置（１１７）の１つ以上のパラメータを修正して、前記撮像装置（１１７）によって以後キャプチャされた第２の動画データを修正して前記興味対象ユーザを含む前記第２の動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップは、
前記撮像装置（１１７）によって以後キャプチャされた前記第２の動画データを修正して、前記撮像装置（１１７）によって以後キャプチャされた前記第２の動画データの、前記興味対象ユーザを含まない１つ以上の部分を除去するステップを含む、コンピュータプログラム製品。

【請求項19】

請求項１７又は請求項１８に記載のコンピュータプログラム製品において、前記撮像装置（１１７）の１つ以上のパラメータを修正して、前記撮像装置（１１７）によって以後キャプチャされた第２の動画データを修正して前記興味対象ユーザを含む前記第２の動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップは、
前記撮像装置（１１７）によって以後キャプチャされた前記第２の動画データ内の前記興味対象ユーザを特定するステップと、
前記撮像装置（１１７）の焦点を前記興味対象ユーザへと再調整するステップとを含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、動画データのキャプチャに関し、より具体的には、以前キャプチャされた動画データに基づいて動画データキャプチャを修正することに関する。

【0002】

従前に比して、クライアント装置、オンラインシステム、及びネットワークによって互いにより多くの量のコンテンツを交換することが可能となるに至っている。例えば、オンラインシステムはそのユーザが次のようなデータを交換することを可能とする：異なるユーザによってユーザに関連付けられたクライアント装置を介してキャプチャされた動画データ。具体的な例では、オンラインシステムはユーザと追加のユーザとの間で動画メッセージングを確立でき、ユーザらがリアルタイム又は準リアルタイムで各々のクライアント装置によってキャプチャされた動画データを交換することが可能とされ得る。

【0003】

もっとも、動画データを提供するに際しては、慣行的なクライアント装置は、ユーザが動画キャプチャを手動設定することを要する。例えば、クライアント装置のユーザはクライアント装置に入力を提供して、クライアント装置の撮像装置の焦点を特定したり、クライアント装置の撮像装置の倍率やクライアント装置の撮像装置の他のパラメータを指定したりできる。クライアント装置の撮像装置のパラメータを特定する初期入力を提供することを要することに加え、慣行的なクライアント装置はユーザに次のことをも要求する：クライアント装置の撮像装置の視野内のローカルエリアの異なる部分にクライアント装置の撮像装置を手動再配置すること。したがって、クライアント装置の撮像装置によってキャプチャされて別のクライアント装置へと伝達されるコンテンツを、ユーザは手動で選定及び維持する。ユーザ提供入力に対しての依存故にユーザはクライアント装置によってキャプチャされる動画データについて相当な制御を得ることできる一方で、慣行的なクライアント装置によると、動画データキャプチャがなされる間においては動画メッセージングセッション中に他のタスクを容易にユーザは行えないことになる。なぜならば、慣行的なクライアント装置は、ユーザから提供された１つ以上の入力の受信なくしては状況変化に応じて動画キャプチャを調整できないからである。

【発明の概要】

【0004】

オンラインシステムのユーザに関連付けられている様々なクライアント装置ｈ１つ以上の撮像装置を含む。クライアント装置内に含まれる撮像装置は、クライアント装置の周りのローカルエリアの動画データをキャプチャするように構成されており、例えば、ビデオ通話時やユーザがビデオキャプチャ機能を起動した際が含まれる。また、クライアント装置は、１つ以上の撮像装置に結合されたコントローラを含む。コントローラは１つ以上のモデルを撮像装置によってキャプチャされた動画データに適用して、撮像装置によってキャプチャされた動画データ及び／又は撮像装置のパラメータを１つ以上のモデルの適用に基づいて修正する。これによって、撮像装置によって以前キャプチャされた動画データの特徴又は内容に基づいてキャプチャされた動画データを、コントローラが修正することが可能となる。

【0005】

コントローラは、様々な実施形態での動画データや他のデータ内にキャプチャされたユーザやその他の者についての１つ以上のプライバシ設定を、維持及び強制する。例えば、コントローラは既定プライバシ設定を付与されていることができ、ユーザが手動でプライバシ設定を変更してユーザ特定をなすことをコントローラに許すまではユーザ特定をコントローラができないようにできる。既定プライバシ設定は任意の動画データや音声データや他のデータすらに迄及び得るのであり、データ内の任意のユーザを撮像装置が特定してよいか否かをユーザが選択できるようにし得る。また、プライバシ設定は、クライアント装置から別のエンティティ（例えば、別のクライアント装置やサードパーティシステム）への情報伝達をも規律する。様々なプライバシ設定により、ユーザは次のことに関しての許可を制御できる：ユーザの特定；及び任意のユーザ関連データについての記憶及び共有。プライバシ設定はまた、各個人について個別的に強制されることができる。例えば、ユーザ特定機能に関してオプトインするユーザは、クライアント装置周辺のローカルエリア内にて付随的にキャプチャされ得る他のユーザについて既定プライバシ設定を、変更することはできない。

【0006】

様々な実施形態では、クライアント装置によるユーザ特定の有効化にまつわるユーザプライバシ設定に基づいて、コントローラは、１つ以上の機械学習モデルを、撮像装置によってキャプチャされた動画データに、適用して、キャプチャされた動画データ内に含まれるユーザを位置決めする。コントローラ２１０によってキャプチャ動画データに適用されたモデルは、（２次元又は３次元での）顔追跡や２次元体位追跡や３次元体位追跡や任意の他の適切な方法を行って人間の顔の部分や人間の人体の部分を特定できる。様々な実施形態では、コントローラは、キャプチャされた動画データ又は撮像装置のパラメータを修正して、位置決め済みユーザをより際立って提示する。例えば、コントローラは、キャプチャされた動画データをクロッピングして、動画データの少なくとも１人の人間を含まない部分を除去する。別の例としては、コントローラは、撮像装置の焦点を人間の顔へと修正し、撮像装置の倍率（例えば、ズーム）を増大させる。様々な実施形態では、ユーザに対しては次のオプションが与えられる：クライアント装置内にローカルで及び／又はクラウド上に任意の記録（ビデオ・音声等）が記憶されることを防止することと、保存済みならば任意の記録を削除すること。

【0007】

様々な実施形態では、ユーザ特定機能が有効化されている場合、コントローラによって適用される１つ以上のモデルは１つ以上の規則を適用してクライアント装置の撮像装置によってキャプチャされた動画データを修正する。例えば、人間の顔がカメラに向けられているとコントローラが決定した場合、コントローラはキャプチャされた動画データを修正して動画データ内にいる（位置決めされた）人物をより際立たせて表示する。別の例では、動画データ及び撮像装置から特定された人物間の距離をコントローラが決定し、キャプチャされた動画データを修正して、撮像装置からの決定済み距離が少なくとも下限に達している人物については同人について少なくとも閾値寸法を伴って（例えば、閾値高さや閾値幅を少なくとも伴って、又は、撮像装置の視野についての閾値百分率を少なくとも伴って）提示するか、撮像装置からの決定済み距離閾値距離未満の人物については閾値寸法セットを少なくとも伴って表示する。

【0008】

コントローラはクライアント装置の他のコンポーネントからのデータを受信して受信された動画データ及びクライアント装置の他のコンポーネントからのデータの特徴に基づいてキャプチャされた動画データを修正できる。例えば、撮像装置又はクライアント装置は、クライアント装置周辺のローカルエリアからの音声データをキャプチャするように構成されたマイクロフォン等の音声キャプチャ装置を、含む。コントローラは、ユーザ選定プライバシ設定に服するが、キャプチャされた動画データを修正するに際して、キャプチャされた音声データをキャプチャされた動画データと共に処理し得る。様々な実施形態では、コントローラは、１つ以上のモデルをキャプチャされた音声データに適用して、音声データの源泉を含めたキャプチャされた動画データ内の位置を決定する。コントローラは、１つ以上のモデルを、音声データの源泉を含むキャプチャされた動画データ内の位置に適用する。キャプチャされた動画データ内の（人物を含む音声データの源泉を含む）位置決定をなすモデル適用に応じて、コントローラはキャプチャされた動画データを修正して、音声データの源泉を含むキャプチャされた動画データ内の位置をより際立たせて提示し、撮像装置を再位置決めして音声データの源泉に合焦させる（例えば、音声データの源泉によって占有される撮像装置の視野を増大させることや撮像装置の視野内の音声データ源泉位置を変更すること）。もっとも、コントローラは、音声データ源泉を含むキャプチャされた動画データ内の位置が人物を含まないとの決定に応じて、コントローラは、キャプチャ動画データ修正や撮像装置再配置をなさない。別の例としては、コントローラはキャプチャされた動画データを修正するか撮像装置を再配置するかして、コントローラがキャプチャ動画データ内のキャプチャ音声データ源泉であると決定した特定人物をより際立たせて提示する（例えば、音声データの源泉によって占有される撮像装置の視野を増大させることや撮像装置の視野内の音声データ源泉位置を変更すること）。これによってキャプチャ動画データは発話者と決定されたユーザをより際立たせて表示でき或いはクライアント装置の音声キャプチャ装置によってキャプチャされた音声データを提供する。

【0009】

動画メッセージングセッションやユーザが動画キャプチャ機能及びユーザ特定機能を有効化した他の状況下においては、コントローラは興味対象ユーザを特定する情報を受信した後にキャプチャされた動画データに対して１つ以上のモデルを適用して、撮像装置の１つ以上のパラメータを修正してローカルエリアまわりで興味対象ユーザを追跡する。例えば、コントローラは１つ以上の顔認識モデルをキャプチャ動画データ内に配置されている人物に適用して、（オンラインシステムから受信されたかオンラインシステムからの情報に基づいて以前キャプチャされた動画データから特定された）興味対象ユーザの顔に一致する人物の顔を特定するのであり、その後撮像装置の焦点を再配置するのであって興味対象ユーザの顔に一致する顔を有する人物へと焦点を合わせる。代替的には、コントローラは興味対象ユーザを含むキャプチャされた動画データからカラーマップを抽出し、撮像装置の焦点を再配置し、抽出したカラーマップが撮像装置によってキャプチャされた動画データ内に含まれたままとなるようにする。

【0010】

本発明による実施形態は、特に、方法及びコンピュータプログラム製品に向けられた添付の請求項に開示され、ある請求項のカテゴリ、例えば方法、で述べる特徴は別の請求項のカテゴリ、例えば、コンピュータプログラム製品、システム、記憶媒体においても同様に権利付与請求することができる。添付の請求項の従属又は後方参照は単に形式的理由のために選ばれている。もっとも、任意の先行請求項への意図的な後方参照（特に多数項従属）により得られる任意の主題も同様に請求できるので、請求項とその特徴のあらゆる組合せが開示され、添付の請求項で選ばれる従属に関係なく請求することができる。請求できる主題は、添付の請求項に記載される通りの特徴の組合せだけでなく、請求項の特徴のあらゆる他の組合せも含み、請求項で述べられる各特徴はあらゆる他の特徴又は請求項の他の特徴の組合せと組み合わせることができる。また、本明細書で説明又は図示される実施形態及び特徴のいずれも、個々の請求項及び／又は本明細書で説明若しくは図示されるあらゆる実施形態若しくは特徴、若しくは添付の請求項の特徴のいずれかとのあらゆる組合せで請求することができる。

【図面の簡単な説明】

【0011】

図面は例示目的のみにおいて様々な実施形態について表している。本明細書において記述されている原理から逸脱することなく、本明細書において示されている構造及び方法の代替実施形態が採用されることが可能であるということを当業者であれば以降の論考から容易に認識するであろう。

【0012】

【図1】１つの実施形態によるオンラインシステムが動作するシステム環境のブロック図である。

【図2】１つの実施形態によるクライアント装置のブロック図である。

【図3】１つの実施形態によるオンラインシステムのブロック図である。

【図4】実施形態による、動画データセグメントをオンラインシステムのユーザに提示するために選定するための方法についてのフローチャートであって、これは興味対象ユーザの視線が動画データ内の異なる位置に向けられている確率に基づいている、フローチャートである。

【発明を実施するための形態】

【0013】

システムアーキテクチャ
図１は、オンラインシステム１４０のためのシステム環境１００のブロック図である。図１によって示されているシステム環境１００は、１つ又は複数のクライアント装置１１０と、ネットワーク１２０と、１つ又は複数のサードパーティシステム１３０と、オンラインシステム１４０とを備える。また、図１に示されているシステム環境１００内では、コントローラ１１７がクライアント装置１１０に結合されている。代替構成においては、異なる構成要素及び／又は更なる構成要素がシステム環境１００内に含まれ得る。例えば、オンラインシステム１４０は、ソーシャルネットワーキングシステム、コンテンツ共有ネットワーク、又はコンテンツをユーザに提供する別のシステムである。

【0014】

クライアント装置１１０は、ユーザ入力を受け取ること、並びにネットワーク１２０を通じてデータを送信すること及び／又は受け取ることが可能な１つ又は複数のコンピューティング装置である。１つの実施形態においては、クライアント装置１１０は、デスクトップ又はラップトップコンピュータ等、従来のコンピュータシステムである。あるいは、クライアント装置１１０は、携帯情報端末（ＰＤＡ）、モバイル電話、スマートフォン、又は別の適切な機器等、コンピュータ機能を有する機器であり得る。クライアント装置１１０は、ネットワーク１２０を通じて通信を行うように構成されている。１つの実施形態においては、クライアント装置１１０は、クライアント装置１１０のユーザがオンラインシステム１４０とインタラクションすることを可能にするアプリケーションを実行する。例えば、クライアント装置１１０は、ネットワーク１２０を通じたクライアント装置１１０とオンラインシステム１４０との間におけるインタラクションを可能にするためにブラウザアプリケーションを実行する。別の実施形態においては、クライアント装置１１０は、ＩＯＳ（登録商標）又はＡＮＤＲＯＩＤ（登録商標）等、クライアント装置１１０のネイティブオペレーティングシステム上で稼働するアプリケーションプログラミングインタフェース（ＡＰＩ）を通じてオンラインシステム１４０とインタラクションする。図２との関連で以下においてさらに説明されるように、クライアント装置１１０は、コンテンツを提示するように構成された表示装置１１５と、クライアント装置１１０の周りのローカルエリアの画像又は動画データをキャプチャするように構成された１つ以上の撮像装置とを含む。

【0015】

クライアント装置１１０は、ネットワーク１２０を通じて通信を行うように構成されており、ネットワーク１２０は、有線通信システム及び／又は無線通信システムの両方を使用する、ローカルエリアネットワーク及び／又はワイドエリアネットワークの任意の組合せを含むことができる。１つの実施形態においては、ネットワーク１２０は、標準的な通信技術及び／又はプロトコルを使用する。例えば、ネットワーク１２０は次のような技術を用いる通信リンクを含む：イーサネット（登録商標）、８０２．１１系プロトコル、ＷｉＭＡＸ（登録商標）（マイクロ波アクセスに関する世界的相互運用仕様）、３G、４G、ＣＤＭＡ（符号分割多元接続）、ＤＳＬ（デジタル加入者線）等。ネットワーク１２０を通じて通信するために使用されるネットワーキングプロトコルの例としては、マルチプロトコルラベルスイッチング（ＭＰＬＳ）、トランスミッションコントロールプロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ハイパーテキストトランスポートプロトコル（ＨＴＴＰ）、シンプルメールトランスファプロトコル（ＳＭＴＰ）、及びファイルトランスファプロトコル（ＦＴＰ）が含まれる。ネットワーク１２０を通じて交換されるデータは、ハイパーテキストマークアップ言語（ＨＴＭＬ）又は拡張マークアップ言語（ＸＭＬ）等の任意の適切なフォーマットを使用して表現され得る。いくつかの実施形態においては、ネットワーク１２０の通信リンクのうちのすべて又はいくつかは、任意の適切な１つ又は複数の技術を使用して暗号化され得る。

【0016】

１つ又は複数のサードパーティシステム１３０はオンラインシステム１４０と通信するためのネットワーク１２０に統合されることが可能であり、オンラインシステム１４０については、以下に図３と併せてさらに説明される。１つの実施形態においては、サードパーティシステム１３０は、クライアント装置１１０によって実行するためのアプリケーションについて記述する情報を伝達するアプリケーションプロバイダ、又はクライアント装置上で実行されるアプリケーションによって利用するためのデータをクライアント装置１１０に対して伝達するアプリケーションプロバイダである。他の実施形態においては、サードパーティシステム１３０は、クライアント装置１１０を通じて提示するためのコンテンツ又は他の情報を提供する。サードパーティシステム１３０は、情報、例えば、サードパーティシステム１３０によって提供される広告、コンテンツ、又はアプリケーションに関する情報をオンラインシステム１４０に対して伝達し得る。

【0017】

図２はクライアント装置１１７の実施形態についてのブロック図である。図２の実施形態では、クライアント装置１１０は、表示装置１１５と撮像装置１１７とコントローラ２１０とを含む。もっとも、他の実施形態では、クライアント装置１１０は図２に示されたものと異なるかそれらに追加したコンポーネントを含む。

【0018】

表示装置１１５はクライアント装置１１０に統合されるかクライアント装置１１０と結合されていることができる。例えば、クライアント装置１１０に統合された表示装置１１５としてはクライアント装置１１０に含まれた表示スクリーンが挙げられる。代替的には、表示装置１１５は、クライアント装置１１０に結合されたモニタや他のディスプレイたり得る。表示装置１１５は画像データ又は動画データをユーザに提示する。表示装置１１５によって提示される画像又は動画データは、クライアント装置１１０上で実行されているアプリケーションによって決定される。クライアント装置１１０上には様々なアプリケーションが含まれ得るのであり、それ故に異なるアプリケーションの実行によって、ユーザによって表示装置１１５をもって提示されるコンテンツが変わる。

【0019】

撮像装置１１７は、クライアント装置１１０の周囲のローカルエリアに関し且つ撮像装置１１７の視野内の動画データまたは画像を、キャプチャする。一部の実施形態では、撮像装置１１７は、１つ又は複数のカメラ、１つ又は複数のビデオカメラ、又は画像データ若しくは動画データをキャプチャし得る任意の他の装置を含む。また、撮像装置１１７は１つ以上のフィルタ（例えば、Ｓ／Ｎ比を増大させるのに用いるフィルタ）を含み得る。様々なパラメータ（例えば、焦点距離、フォーカス、フレームレート、ＩＳＯ、センサ温度、シャッター速度、絞り値、焦点等）によって、撮像装置１１７による動画データ又は画像データのキャプチャ挙動が構成される。したがって、撮像装置１１７の１つ以上のパラメータを修正すれば、１つ以上のパラメータの修正後は、撮像装置１１７によってキャプチャされる動画データ又は画像データが修正される。図２がクライアント装置１１０内に含まれる単一の撮像装置１１７を示しているも、他の実施形態ではクライアント装置１１０は任意の適切な個数の撮像装置１１７を含み得る。様々な実施形態では、ユーザに対しては次のオプションが与えられる：クライアント装置内にローカルで及び／又はクラウド上に任意の記録（ビデオ・音声等）が記憶されることを防止することと、保存済みならば任意の記録を削除すること。

【0020】

コントローラ２１０は撮像装置１１７に結合されており、プロセッサに結合された記憶装置を備えている。様々な実施形態では、コントローラ２１０は表示装置１１５にも結合されている。コントローラ２１０は命令を含んでおり、該命令がプロセッサによって実行されると、１つ以上のモデルを、撮像装置１１７によってキャプチャされた動画データに、適用する。様々な実施形態では、１つ以上のモデルは、動画データ、音声データ、画像データ、又は任意のデータの組み合わせに対して適用されるのでありこれらは撮像装置１１７によって又はクライアント装置１１０に｛含まれる／結合されている｝任意の他の装置によってキャプチャされたものである。図４と併せてさらに以下において説明されるように、コントローラ２１０によってキャプチャ動画データに適用されるモデルは、１つ以上の規則をキャプチャ動画データの特徴に適用して、キャプチャ動画データのオブジェクト、人物、動作又は任意の他の適切な内容を特定する。モデルの適用によってそして１つ以上のプライバシ設定を伴って、コントローラ２１０はキャプチャ動画データを修正するか撮像装置１１７の１つ以上のパラメータを修正するのであり、これによって後にキャプチャ動画データが修正される。例えば、ユーザはコントローラ２１０がモデルを適用することを承認でき、該モデルによってキャプチャ動画データの特徴に基づいてキャプチャ動画データ内のユーザを位置決めでき、キャプチャ動画データを修正して位置決め済みユーザをより際立たせたり、或いは、撮像装置１１７の１つ以上のパラメータ（例えば、焦点距離、倍率若しくはズーム、キャプチャ動画データのクロッピング）を修正したりして、追加的動画データが位置決め済みユーザをより際立たせて伴うようにする。追加の動画データは位置決め済み人物をより顕著に含んでおり次のようにして提示することによってこれをなす：少なくとも閾値寸法セットを伴って（例えば、少なくとも閾値高さや閾値幅を伴って）位置決め済み人物を提示すること；位置決め済み人物を撮像装置１１７の視野の少なくとも閾値量にわたって若しくは少なくともキャプチャ動画データのフレームの閾値量にわたって提示すること；又は位置決め済み人物をキャプチャ動画データ内の１つ以上の具体的位置にて提示すること。もっとも、コントローラ２１０によって適用されるモデルは、撮像装置１１７によってキャプチャされた動画データの任意の適切なコンポーネントを特定でき、撮像装置１１７のパラメータを修正でき、キャプチャ動画データを適宜修正できる。

【0021】

様々な実施形態では、クライアント装置１１０はマイクロフォン等の１つ以上の音声キャプチャ装置を含む。例えば、クライアント装置１１０はマイクロフォンのアレイを含んでおり、これは２又は３次元においてビームフォーミングをするように構成されている。音声キャプチャ装置は、クライアント装置１１０を囲むローカルエリア内の異なる領域からの音声信号をキャプチャする。様々な実施形態では、１つ胃異常の音声キャプチャ装置は、コントローラ２１０に結合されており、クライアント装置１１０の周りのローカルエリアの異なる領域を特定する情報を維持している。例えば、コントローラ２１０はクライアント装置１１０の周りのローカルエリアに関して２４個の１５度領域を特定するのであり、これらはクライアント装置１１０内のある点から延伸しており、クライアント装置１１０の周りの３６０度にわたるローカルエリアの各部分を特定している。

【0022】

１つ以上の音声キャプチャ装置は、コントローラ２１０に結合されている。ユーザのプライバシ設定に服する態様で、コントローラ２１０は、機械学習モデルや他の音響認識モデル等の１つ以上のモデルを、クライアント装置１１０の周りのローカルエリアのある領域からキャプチャされた音声データに、適用する。コントローラ２１０はユーザ又はオブジェクト（例えば、テレビジョンやモバイル機器）を特定する情報を含み、また、クライアント装置１１０の周りのローカルエリアのある領域からキャプチャされた音声に１つ以上のモデルを適用することによって、キャプチャ音声データがコントローラ２１０によって特定されたユーザ若しくはオブジェクトからの音声データを含むか環境ノイズを含むかを決定する。一部の実施形態では、コントローラ２１０によって適用される１つ以上のモデルは、１つ以上の音声キャプチャ装置が領域内の音声をキャプチャしたもととしてコントローラ２１０によって特定されたあるユーザ又はあるオブジェクトを、決定する。他の実施形態では、クライアント装置１１０は１つ以上の音声装置によってキャプチャされた音声データをオンラインシステム１４０へと伝達し、それは１つ以上のモデルを適用するのであり、音声データが特定されたオブジェクト若しくはユーザからキャプチャされた音声データを含んでいるかを決定したり、音声データのキャプチャ元となった特定済みの具体的なユーザ若しくはオブジェクトを決定する。オンラインシステム１４０は、キャプチャ音声データが特定済みのオブジェクト若しくはユーザからキャプチャされた音声データを含むかの兆候をクライアント装置１１０に提供するか、又は、音声データのキャプチャ元となった具体的な特定済みオブジェクト若しくはユーザを指定する情報を提供する。コントローラ２１０又はオンラインシステム１４０は、クライアント装置１１０の周りのローカルエリアの他の領域からキャプチャされた音声についてそうであるかを同様に決定する。異なる領域における音声データのキャプチャ元の特定済みオブジェクト又はユーザの決定に基づいて、コントローラ２１０は１つ以上の音声装置の配置を修正して、１つ以上の領域からキャプチャされる音声の質を向上させる。例えば、コントローラ２１０は１つ以上の音声キャプチャ装置を再配置して音声の質を向上させるのであって、該音声は音声データのキャプチャ元となったローカルエリアの周りの領域から得られたものであり、それは具体的なユーザ、若しくは、具体的なオブジェクトからのものである。同様に、コントローラ２１０は、撮像装置１１７の１つ以上のパラメータを修正できるのであり、異なるユーザやオブジェクトから音声データがキャプチャされたクライアント装置１１０の周りのローカルエリアの領域に基づいてこれをなす。様々な実施形態では、１つ以上の音声装置及び撮像装置１１７は、クライアント装置１１０の周りのローカルエリアの異なる部分に向けられていることができる。例えば、撮像装置１１７はユーザによって記述されたオブジェクトへと向けられており、他方でコントローラ２１０は１つ以上の音声装置を、特定のユーザによって音声データキャプチャがなされたもとのクライアント装置１１０の周りのローカルエリアの領域へと、向ける。

【0023】

様々な実施形態では、オンラインシステム１４０及びクライアント装置１１０のコントローラ２１０は、１つ以上のプライバシ設定を、協調的に及び／又は個別的に保持及び強制するのであって、該プライバシ設定は、キャプチャ動画データや他のデータから特定されたユーザや人物用のものである。ユーザ又は人物のプライバシ設定は、ユーザ又は人物と関連付けられた特定の情報をどのように共有できるかを決定するのであり、また、ユーザ又は人物を特定する情報と関連付けて記憶され得る。一部の実施形態では、コントローラ２１０は、オンラインシステム１４０によって維持されている１つ以上のユーザについてのプライバシ設定を、検索する。１つの実施形態では、プライバシ設定はユーザと関連付けられる特定の情報を指定するのであり、また、指定された情報が他のエンティティのどれと共有され得るかを特定する。情報を共有できるエンティティの例は、他のユーザ、アプリケーション、サードパーティシステム１３０、又は、潜在的に情報にアクセスできる任意のエンティティを含み得る。ユーザによって共有され得る情報の例としては次のものが挙げられる：ユーザ又は人物を含む画像データ；ユーザ又は人物からキャプチャされた音声を含む音声データ；ユーザ又は人物を含む動画データ等。

【0024】

例えば、特定の実施形態では、プライバシ設定によって第１のユーザが次の行動をオンラインシステム１４０に許すか否かを（オプトアウトしたりオプトインしなかったりすることによって）指定できる：任意の目的について、ユーザと関連する特定のオブジェクトや情報を受信・収集・ロギング・記憶すること。特定の実施形態では、プライバシ設定によって第１のユーザは次の行動を特定の動画キャプチャ装置や音声キャプチャ装置やアプリケーションやプロセスがなし得るかを定め得る：ユーザと関連付けられた特定のオブジェクトや情報に対してのアクセス・記憶・利用。プライバシ設定によって、特定の装置・アプリケーション・プロセスがオブジェクトや情報についてアクセス・記憶・利用をなすことについて、第１のユーザがオプトインやオプトアウトすることが可能たり得る。オンラインシステム１４０は、特定の機能又はサービスを第１のユーザに提供する目的でそのような情報へのアクセスを得ることができ、それに際して他の任意の目的に関してはそのような情報についてアクセス権をオンラインシステム１４０が有さないで済む。そのようなオブジェクトや情報に関してアクセス・記憶・利用をなす前に、そしてそのようなアクションを許可する前に、オンラインシステムはユーザに対してプライバシ設定を提供せよとプロンプトできるのであって、該プライバシ設定は次のことに関する：どのアプリケーション若しくはプロセスが（仮にそれらが存在するとすれば）オブジェクトや情報に対してアクセス・記憶・使用をなし得るか。非限定的な例としては、第１のユーザがメッセージを第２のユーザへとオンラインソーシャルネットワークに関連するアプリケーション（例えばメッセージングアプリ）を介して送信でき、そのようなメッセージがオンラインシステム１４０によって記憶されるべきではないとしたプライバシ設定を指定できる。

【0025】

オンラインシステム１４０及び／又はコントローラ２１０によって維持・強制されているプライバシ設定は、デフォルト設定と関連付けられていることができる。様々な実施形態では、コントローラ２１０がユーザから、コントローラ２１０に対してのユーザ特定を許すプライバシ設定を、取得しない限り、コントローラ２１０は、キャプチャされた動画データ・音声データ・他のデータ内のユーザを、特定しない。例えば、ユーザと関連付けられているプライバシ設定はデフォルト設定を有しており、該設定によれば、コントローラ２１０がユーザを特定することを許すプライバシ設定となるように手動で変更をユーザが加えない限り、コントローラ２１０がユーザを特定することが妨げられてコントローラがユーザ特定できないようになる。また、様々な実施形態では、代替的なプライバシ設定は、クライアント装置１１０からのユーザを特定する情報の別のエンティティ（例えば、別のクライアント装置１１０やオンラインシステム１４０やサードパーティシステム１３０）への伝達を規律する。代替的プライバシ設定はデフォルト設定を有しており、様々な実施形態では、ユーザを特定する情報の送信が妨げられるのであり、ユーザが手動で代替的プライバシ設定を修正して送信を許さない限り、コントローラ２１０は、ユーザを特定する情報を他のエンティティへと送信することが妨げられる。コントローラ２１０は、１つ以上のプライバシ設定をキャプチャされた動画データや他のデータから特定された各ユーザについて保持するのであり、送信及び各ユーザの特定についてユーザ毎の制御が可能となる。一部の実施形態では、コントローラ２１０が初めて人物をキャプチャデータから特定した際に、コントローラ２１０は人物に対してプライバシ設定を提供せよとプロンプトし、提供されたプライバシ設定を該人物を特定する情報と関連付けて記憶する。

【0026】

様々な実施形態では、ユーザ認証やエクスペリエンス個人化目的での入力としてユーザの個人情報や生体測定情報を用い得る機能を備えるオンラインシステム１４０及び／又はクライアント装置１１０の様々なコンポーネントについては、ユーザはこれらの機能を活用することを選んで装置及びオンラインシステムを用いる際の己のエクスペリエンスを強化できる。非限定的な例としては、ユーザは自発的に個人情報や生態測定情報をオンラインシステム１４０に提供することができる。ユーザのプライバシ設定は、そのような情報が認証等の特定のプロセスのみのために利用され得るということを指定でき、また、そのような情報は任意の第三者と共有されてはならぬことやオンラインシステム１４０と関連付けられている他のプロセスやアプリケーションによって利用されてはならぬことを指定できる。別の非限定的な例としては、オンラインシステム１４０は、ユーザが声紋記録をオンラインソーシャルネットワークに提供する機能をもたらし得る。非限定的な例について述べるに、ユーザが仮にオンラインソーシャルネットワークのこの機能を活用することを望むのであれば、ユーザは己の声のボイスレコーディングを提供してオンラインソーシャルネットワーク上にステータス更新をもたらし得る。音声入力の記録をユーザの声紋と比べてユーザによって発せられた言葉が何であるかを決定できる。ユーザのプライバシ設定はそのような録音が音声入力用途のみに利用できるものであると指定でき（例えば、ユーザを認証するため、音声メッセージを送るため、オンラインソーシャルネットワークの音声操作機能を利用するために音声認識を向上させるため等）、また、そのような録音は任意のサードパーティシステムと共有されてはならぬことやオンラインシステム１４０と関連付けられている他のプロセスやアプリケーションによって利用されてはならぬことを指定できる。別の非限定的な例としては、オンラインシステム１４０は、ユーザが参照用画像（例えば、顔プロファイル等）をオンラインソーシャルネットワークに提供する機能をもたらし得る。オンラインソーシャルネットワークは、（ユーザを認証したり、写真内ユーザをタグ付けしたりするために）参照用画像を後に受信された画像入力と対比できる。ユーザのプライバシ設定は、そのような録音は限定目的（例えば、認証や写真内ユーザのタグ付け）のためのみに利用できることを指定でき、また、そのような録音は任意のサードパーティシステムと共有されてはならぬことやオンラインシステム１４０と関連付けられている他のプロセスやアプリケーションによって利用されてはならぬことを指定できる。生態測定データ及び／又は他の個人データについてのそのような制約のどれであっても、クライアント装置１１０に対しても適用できる。

【0027】

ユーザは次の行為を許可できる：データのキャプチャ；ユーザの特定；並びに／又は１つ以上の手法でのユーザ関連データの共有及びクロスアプリケーション利用。例えば、ユーザは、クライアント装置１１０の機能を利用する前及び／又はオンラインシステム１４０上でアクションを執り行う前に、様々なプライバシ設定を予め選ぶことができる。別の例では、ユーザが初めてアクションを遂行する場合やクライアント装置１１０及び／若しくはオンラインシステム１４０の機能を初めて利用する場合、並びに／又は、ユーザが所定期間にわたってアクションを遂行していない場合や機能を使っていない場合に、選択ダイアログをもってプロンプトできる。さらに別の例では、クライアント装置１１０及びオンラインシステム１４０は、ユーザデータを必要とする特定の機能がユーザの選択のせいで稼働し始めたり無効化されたりした場合には、通知をユーザにもたらし得るのであり、通知を介してユーザがさらなる選択を下せるようにする。ユーザが許可を与えるためには他の適切な手法もある。

【0028】

一部の実施形態では、コントローラ２１０はオンラインシステム１４０によって維持されている情報を或いは１つ以上のサードパーティシステム１３０から取得するのであって、これはキャプチャ動画データから特定されたユーザについてのものであり、かかる所為はユーザについてのプライバシ設定に服する。以前クライアント装置１１０によってキャプチャされたユーザを含む動画データや音声データや画像データや他のデータ並びに取得された情報に基づいて、コントローラ２１０は、クライアント装置１１０を介してユーザに提示するためのコンテンツを生成できる。例えば、コントローラ２１０は、クライアント装置１１０によってキャプチャされた動画データ又は画像データからコントローラ２１０によって特定された１つ以上のオブジェクトと関連付けられているオンラインシステム１４０からのコンテンツアイテムを、オーバレイする。代替的には、オンラインシステム１４０は、クライアント装置１１０から受信されたユーザを含む動画データ・音声データ・画像データ・その他データ並びにユーザについて維持されている（或いはオンラインシステム１４０によって１つ以上のサードパーティシステム１３０から取得された）情報に基づいて、ユーザ用のコンテンツを生成するのであり、既生成コンテンツをユーザに提示するためにクライアント装置１１０に提供する。

【0029】

図３は、オンラインシステム１４０のアーキテクチャのブロック図である。図３において示されているオンラインシステム１４０は、ユーザプロファイルストア３０５、コンテンツストア３１０、アクションロガー３１５、アクションログ３２０、エッジストア３２５、コンテンツ選択モジュール３３０、及びウェブサーバ３３５を含む。その他の実施形態においては、オンラインシステム１４０は、各種アプリケーションに関するさらなる、より少ない、又は異なる構成要素を含み得る。ネットワークインタフェース、セキュリティ機能、ロードバランサ、フェイルオーバサーバ、管理及びネットワークオペレーションコンソール等等の従来の構成要素は、このシステム構成の詳細をわかりにくくすることのないように、示されていない。

【0030】

オンラインシステム１４０の各ユーザは、ユーザプロファイルストア３０５に記憶されているユーザプロファイルに関連付けられている。ユーザプロファイルは、ユーザが明示的にシェアしたユーザに関する宣言的情報を含み、かつオンラインシステム１４０によって推定されるプロファイル情報も含み得る。１つの実施形態においては、ユーザプロファイルは、対応するオンラインシステムのユーザの１つ又は複数の属性をそれぞれ記述する複数のデータフィールドを含む。ユーザプロファイルに記憶される情報の例には、職歴、学歴、性別、趣味やプリファレンス、ロケーション等等、人物、人口統計学的及びその他のタイプの記述的情報が含まれる。ユーザプロファイルは、ユーザが提供する他の情報、例えば、画像やビデオを記憶することもできる。ある実施形態においては、ユーザの画像を、画像に表示されるオンラインシステムのユーザを特定する情報、ユーザがユーザのユーザプロファイルにタグ付けして記憶した画像を特定する情報でタグ付けすることが可能である。ユーザプロファイルストア３０５内のユーザプロファイルは、コンテンツストア３１０内のコンテンツアイテムに対して行われてアクションログ３２０に記憶される、対応するユーザによるアクションへの参照を維持することもできる。

【0031】

また、ユーザについて維持されているプロファイルは、ユーザに関連付けられている１つ以上のクライアント装置１１０の特徴を含んでおり、オンラインシステム１４０が、クライアント装置１１０によって提供される特徴からユーザを後に特定できるようになる。例えば、オンラインシステム１４０と関連付けられており且つクライアント装置１１０上で実行されているアプリケーションは、装置識別子又はクライアント装置１１０を一意的に識別する他の情報を、ユーザ識別子との関連でオンラインシステム１４０に提供する。オンラインシステム１１０は装置識別子又はクライアント装置１１０を一意的に識別する他の情報を、ユーザについて維持されているユーザプロファイル内に格納し、後にオンラインシステム１４０が装置識別子又はクライアント装置１１０を一意的に識別する他の情報を受信した場合にユーザの特定がなされる。ユーザと関連付けられているクライアント装置１１０の他の特徴は、代替的に又は追加的に、ユーザによって管理されているユーザプロファイル内に含まれていることができる。例えば、ユーザプロファイルは次の事項を含む：ネットワーク１２０にアクセスするためにクライアント装置１１０によって利用されるネットワークアドレス；オンラインシステム１４０が情報を得た元たるクライアント装置１１０上で実行されているアプリケーションの識別子；オンラインシステム１４０が情報を得た元たるクライアント装置１１０のタイプ（例えば、製造業者名、クライアント装置１１０の型式の識別子等）；オンラインシステム１４０が情報を得た元たるクライアント装置１１０上で実行されているオペレーティングシステム。もっとも、オンラインシステム１４０はクライアント装置１１０の任意の適切な特徴をユーザプロファイル内に格納でき、オンラインシステム１４０は、ユーザプロファイルに対応するユーザによって利用されるクライアント装置１１０についての情報を、維持できる。

【0032】

ユーザプロファイルストア３０５内のユーザプロファイルは、しばしば個人に関連付けられて、個人がオンラインシステム１４０を通じて互いにインタラクションすることを可能にするが、ユーザプロファイルは企業や組織等のエンティティについても記憶することができる。これによりエンティティは、オンラインシステム１４０上で、他のオンラインシステムのユーザとつながり、かつコンテンツを交換するためにプレゼンスを確立することが可能である。エンティティは、自社についての情報、自社製品についての情報を投稿し、又はエンティティのユーザプロファイルに関連付けられているブランドページを使用してオンラインシステム１４０のユーザに他の情報を提供することができる。オンラインシステム１４０の他のユーザは、ブランドページとつながって、ブランドページに投稿された情報を受け取るか、又はブランドページからの情報を受け取ることができる。ブランドページに関連付けられているユーザプロファイルは、そのエンティティに関する背景又は情報データをユーザに提供する、エンティティ自体に関する情報を含み得る。

【0033】

コンテンツストア３１０は、様々なタイプのコンテンツを各々が表す複数のオブジェクトを記憶する。オブジェクトによって表されるコンテンツの例には、ページ投稿、ステータスの更新、写真、ビデオ、リンク、共有コンテンツアイテム、ゲームアプリケーションの達成度、地域のビジネスにおけるチェックインイベント、ブランドページ、又は他のタイプのコンテンツが含まれる。オンラインシステムのユーザは、ステータスの更新、オンラインシステム１４０内の他のオブジェクトに関連付けるためにユーザがタグ付けした写真、イベント、グループ、又はアプリケーション等、コンテンツストア３１０によって記憶されるオブジェクトを作成することができる。いくつかの実施形態においては、オブジェクトはサードパーティアプリケーション、又はオンラインシステム１４０とは別のサードパーティアプリケーションから受け取られる。１つの実施形態においては、コンテンツストア３１０内のオブジェクトは、１つのコンテンツ、又は複数のコンテンツ「アイテム」を表す。そのため、オンラインシステムのユーザは、様々な通信チャネルを通してテキストや様々なタイプの媒体のコンテンツアイテムをオンラインシステム１４０に投稿することによって、互いに通信するよう促される。これによりユーザ同士のインタラクションの量が増え、オンラインシステム１４０内でユーザがインタラクションする頻度が増す。

【0034】

コンテンツストア３１０に含まれる１つ又は複数のコンテンツアイテムは、ユーザに提示するためのコンテンツたるクリエーティブと入札額とを含む。クリエーティブは、テキスト、画像、オーディオ、ビデオ、又はユーザに提示される他の適切なデータである。様々な実施形態において、クリエーティブはまた、コンテンツのページを特定する。例えば、コンテンツアイテムは、コンテンツアイテムがアクセスされたときにユーザを対象とするコンテンツのランディングページのネットワークアドレスを指定するリンクを含む。ユーザに対してコンテンツが提示された場合、入札額は、ユーザによってコンテンツアイテムに含まれ、かつ入札額は、コンテンツアイテム内のコンテンツがユーザに提示された場合、提示されたときにコンテンツアイテム内のコンテンツがユーザインタラクションを受け取った場合、又はコンテンツアイテム内のコンテンツがユーザに提示されたときに何らかの適切な条件が満たされた場合に、広告主によってオンラインシステム１４０に提供される金銭的補償等の期待値を決定するために使用される。例えば、コンテンツアイテムに含まれる入札額は、コンテンツアイテム内のコンテンツが表示された場合に、コンテンツアイテムをオンラインシステム１４０に提供したユーザからオンラインシステム１４０が受け取る金額を指定する。いくつかの実施形態では、コンテンツアイテムからコンテンツを提示することのオンラインシステム１４０への期待値は、入札額に、コンテンツアイテムのコンテンツがユーザによってアクセスされる確率を乗算することによって決定され得る。

【0035】

様々なコンテンツアイテムは、コンテンツアイテムに関連するユーザが、そのコンテンツアイテムに含まれるコンテンツが提示されたときに他のユーザが実行することを所望するインタラクションを識別する目標を含み得る。例示的な目的としては次のものを挙げることができる：コンテンツアイテムと関連付けられているアプリケーションをインストールすること；コンテンツアイテムについての選好を示すこと；他のユーザとコンテンツアイテムを共有すること、コンテンツアイテムと関連付けられているオブジェクトと相互作用すること；任意の他の適切な相互作用をなすこと。コンテンツアイテムからのコンテンツがオンラインシステムのユーザに提示されると、オンラインシステム１４０は、提示されたユーザとコンテンツアイテム又はコンテンツアイテムに関連するオブジェクトとの間のインタラクションを記録する。さらに、オンラインシステムユーザがコンテンツアイテムに含まれる目標を満たす、コンテンツアイテムとのインタラクションを実行したときに、オンラインシステム１４０は、コンテンツアイテムに関連するユーザから補償金を受け取る。

【0036】

さらに、コンテンツアイテムは、コンテンツアイテムをオンラインシステム１４０に提供したユーザによって指定された１つ又は複数のターゲティング基準を含み得る。コンテンツアイテム要求に含まれるターゲティング基準は、コンテンツアイテムと共に提示されるのに適したユーザの１つ又は複数の特徴を指定する。例えば、ターゲティング基準は、少なくとも１つのターゲティング基準を満たすユーザプロファイル情報、エッジ、又はアクションを有するユーザを識別するために使用される。したがって、ターゲティング基準は、ユーザが特定の特性を有するユーザを識別することを可能にし、その後の個々のユーザへのコンテンツの配信を簡略化する。

【0037】

１つの実施形態では、ターゲティング基準は、ユーザと他のユーザ又はオンラインシステム１４０のオブジェクトとの間のアクション又は接続タイプを指定し得る。ターゲティング基準は、ユーザと、サードパーティシステム１３０上等のオンラインシステム１４０の外部で実行されるオブジェクトとの間のインタラクションも指定し得る。例えば、ターゲティング基準は、他のユーザへのメッセージの送信、アプリケーションの使用、グループへの参加、グループからの離脱、イベントへの参加、イベントの説明の生成、オンラインマーケットプレイスを使用した製品又はサービスの購入又は検討、サードパーティシステム１３０からの情報の要求、アプリケーションのインストール、又は他の任意の適切なアクション等の特定のアクションを行ったユーザを識別する。アクションをターゲティング基準に含めることで、ユーザはコンテンツアイテムの提示に適したユーザをさらに絞り込むことができる。別の例として、ターゲティング基準は、他のユーザ又はオブジェクトへの接続を有するか、又は他のユーザ又はオブジェクトへの特定のタイプの接続を有するユーザを識別する。

【0038】

プライバシ設定に基づいて、アクションロガー３１５は、オンラインシステム１４０の内部及び／又は外部のユーザアクションに関する通信を受信することについて許可を受けていることができ、ユーザアクションに関する情報をアクションログ３２０に投入できる。アクションの例には、別のユーザへのつながりを追加すること、別のユーザにメッセージを送信すること、画像をアップロードすること、別のユーザからのメッセージを読むこと、別のユーザに関連付けられているコンテンツを閲覧すること、別のユーザによって投稿されたイベントに出席することが含まれる。さらに、多数のアクションがオブジェクト及び１人又は複数人の特定のユーザを伴うことがあるため、これらのアクションも特定のユーザに関連付けられて、アクションログ３２０に記憶される。

【0039】

プライバシ設定に基づいて、アクションログ３２０は、オンラインシステム１４０が、オンラインシステム１４０上でのユーザアクション、及び、オンラインシステム１４０に情報を伝達するサードパーティシステム１３０上でのアクションを追跡するために使用されることに関してユーザから許可を受けていることができる。ユーザはオンラインシステム１４０上のさまざまなオブジェクトとインタラクションすることができ、これらのインタラクションについて記述する情報がアクションログ３２０に記憶される。オブジェクトとの相互作用の例としては次のものが挙げられる：ポストについてコメントすること；リンクを共有すること；クライアント装置１１０を介して物理的場所にチェックインすること；コンテンツアイテムにアクセスすること；任意の他の適切な相互作用をなすこと。アクションログ３２０に含まれるオンラインシステム１４０上のオブジェクトとの相互作用のさらなる例としては、次のものを挙げることができる：写真アルバムについてコメントすること；ユーザと通信すること；オブジェクトとのコネクションを確立すること；イベントに参加すること；グループに参加すること；イベントを作成すること；アプリケーションを承認すること；アプリケーションを利用すること；オブジェクトについて選好を表明すること（オブジェクトに対して「いいね」発すること）；トランザクションに入ること。さらに、アクションログ３２０は、オンラインシステム１４０上の広告及びオンラインシステム１４０上で動作する他のアプリケーションとの、ユーザのインタラクションを記録することができる。いくつかの実施形態においては、アクションログ３２０からのデータは、ユーザの関心又はプリファレンスを推測するために使用されて、ユーザのユーザプロファイルに含まれる関心を強化し、ユーザのプリファレンスをさらに完全に理解できるようにする。

【0040】

アクションログ３２０は、外部ウェブサイト等のサードパーティシステム１３０上で行われてオンラインシステム１４０に伝達されるユーザアクションを記憶することもでき、これはユーザのプライバシ設定に服する。例えば、電子商取引のウェブサイトはソーシャルプラグインを通じてオンラインシステム１４０のユーザを認識することができるので、電子商取引のウェブサイトがオンラインシステム１４０のユーザを識別することが可能である。オンラインシステム１４０のユーザは一意に識別できるため、前述の例におけるように、電子商取引のウェブサイトは、オンラインシステム１４０外のユーザのアクションに関する情報を、ユーザに関連付けるためにオンラインシステム１４０に伝達することができる。そのため、アクションログ３２０は、ウェブページの閲覧履歴、関わった広告、行った購入、及び買い物や購買からの他のパターン等を含む、ユーザがサードパーティシステム１３０上で行うアクションに関する情報を記録することができる。さらに、サードパーティシステム１３０に関連付けられ、かつクライアント装置１１０上で実行するアプリケーションを介してユーザが実行するアクションは、アクションログ３２０内の記録及びユーザとの関連付けのためにアプリケーションによってアクションロガー３１５に伝達され得る。

【0041】

１つの実施形態においては、エッジストア２２５は、ユーザとオンラインシステム１４０上の他のオブジェクトとのつながりについて記述する情報をエッジとして記憶する。いくつかのエッジはユーザによって定義されることができ、ユーザが他のユーザとの関係を指定することが可能である。例えば、ユーザは、友達、同僚、パートナー等、ユーザの実生活の関係に即した他のユーザとのエッジを生成することができる。オンラインシステム１４０上のあるページへの関心を表明すること、オンラインシステム１４０の他のユーザとリンクをシェアすること、及び、オンラインシステム１４０の他のユーザが行った投稿にコメントすること等、ユーザがオンラインシステム１４０でオブジェクトとインタラクションするとき、他のエッジが生成される。

【0042】

エッジは、ユーザ同士のインタラクション、ユーザとオブジェクトのインタラクション、又はオブジェクト同士のインタラクションの特性をそれぞれ表す様々な特徴を含むことができる。例えば、エッジに含まれる特徴は、２人のユーザ間のインタラクションの割合、２人のユーザが互いにインタラクションしたのがどれくらい最近であったか、あるユーザがオブジェクトに関して取得した情報の割合もしくは量、又はユーザがオブジェクトに関して投稿したコメントの数とタイプを記述する。特徴は、ある特定のオブジェクト又はユーザについて記述する情報を表すこともできる。例えば、特徴は、ある特定のトピックに対してユーザがもつ関心のレベル、ユーザがオンラインシステム１４０にログインしている割合、又はユーザに関する人口統計学的情報について記述する情報を表すことができる。各特徴は、ソースオブジェクト又はユーザ、ターゲットオブジェクト又はユーザ、及び特徴値に関連付けることができる。特徴は、ソースオブジェクト又はユーザ、ターゲットオブジェクト又はユーザについて、又はソースオブジェクト又はユーザとターゲットオブジェクト又はユーザとの間におけるインタラクションについて記述する値に基づいた式として指定され得る。そのため、エッジは１つ又は複数の特徴式として表され得る。

【0043】

エッジストア３２５は、オブジェクト、関心、及び他のユーザについての関連性（ａｆｆｉｎｉｔｙ）スコア等、エッジに関する情報も記憶する。オンラインシステム１４０によって経時的に関連性スコア、又は、「関連性」が計算されて、ユーザが行うアクションに基づいて、オンラインシステム１４０内のオブジェクト又は別のユーザへのユーザの関心を見積ることができる。オンラインシステム１４０によって経時的にユーザの関連性が計算されて、ユーザが行うアクションに基づいてオンラインシステム１４０内のオブジェクト、トピック、又は別のユーザへのユーザの関心を見積ることができる。関連性の計算については、２０１０年１２月２３日に出願された米国特許出願第１２／９７８，２６５号、２０１２年１１月３０日に出願された米国特許出願第１３／６９０，２５４号、２０１２年１１月３０日に出願された米国特許出願第１３／６８９，９６９号、及び２０１２年１１月３０日に出願された米国特許出願第１３／６９０，０８８号にさらに記述されており、各々の全体が参照によって取り込まれている。１つの実施形態においては、ユーザと特定のオブジェクトとの間における複数のインタラクションを、１つのエッジとしてエッジストア２２５内に記憶することができる。あるいは、ユーザと特定のオブジェクトとの間における各インタラクションを別個のエッジとして記憶する。いくつかの実施形態においては、ユーザ間のつながりをユーザプロファイルストア３０５に記憶することができ、又はユーザプロファイルストア３０５がユーザ間のつながりを決定するためにエッジストア３２５にアクセスすることができる。

【0044】

コンテンツ選択モジュール３３０は、１つ又は複数のコンテンツアイテムをユーザに提示されるべくクライアント装置１１０への伝達のために選択する。ユーザへの提示に適したコンテンツアイテムは、視聴ユーザへの提示のためにコンテンツアイテムのうちの１つ又は複数を選択するコンテンツ選択モジュール２３０によって、コンテンツストア２１０から、又は別のソースから取得される。ユーザへの提示に適したコンテンツアイテムは、ユーザの特性によって満たされる少なくとも閾値数のターゲティング基準に関連付けられたコンテンツアイテムであるか、又はターゲティング基準に関連付けられていないコンテンツアイテムである。様々な実施形態において、コンテンツ選択モジュール３３０は、ユーザに提示するための一組のコンテンツアイテムを特定する１つ又は複数の選択プロセスにおいてユーザに提示するのに適したコンテンツアイテムを含む。例えば、コンテンツ選択モジュール３３０は、オンラインシステム１４０によってユーザに関連付けられた属性に基づいて、かつ個々のコンテンツアイテムに対するユーザの関連性に基づいて、ユーザに対する様々なコンテンツアイテムの関連性の度合いを決定する。ユーザにとってのコンテンツアイテムの関連性の度合いは、ユーザにとってのコンテンツアイテムの質の度合いに基づいており、コンテンツアイテムに含まれるクリエーティブやコンテンツアイテム内のリンクによって特定されるランディングページのコンテンツに基づいていることができる。関連性の度合いに基づいて、コンテンツ選択モジュール３３０は、ユーザに提示するためのコンテンツアイテムを選択する。追加の例として、コンテンツ選択モジュール３３０は、ユーザへの提示のために、最も高い関連性の度合いを有するコンテンツアイテム、又は少なくとも閾値の関連性の度合いを有するコンテンツアイテムを選択する。代替的に、コンテンツ選択モジュール３３０は、その関連する関連性の度合いに基づいてコンテンツアイテムをランク付けし、ランク付けにおいて最上位位置にあるコンテンツアイテム、又はランク付けにおいて少なくとも閾値位置にあるコンテンツアイテムをユーザへの提示のために選択する。

【0045】

ユーザへの提示に適したコンテンツアイテムは、入札額に関連するコンテンツアイテムを含み得る。コンテンツ選択モジュール３３０は、ユーザに提示するためのコンテンツを選択するときにコンテンツアイテムに関連する入札額を使用する。様々な実施形態において、コンテンツ選択モジュール３３０は、それらの入札額に基づいて様々なコンテンツアイテムに関連付けられた期待値を決定し、最大期待値に関連付けられたコンテンツアイテム、又は少なくとも提示のための閾値期待値に関連付けられたコンテンツアイテムを選択する。コンテンツアイテムに関連付けられた期待値は、コンテンツアイテムを提示することに関するオンラインシステム１４０への期待補償額を表す。例えば、コンテンツアイテムに関連付けられた期待値は、コンテンツアイテムの入札額と、ユーザがコンテンツアイテムとインタラクションする可能性との乗算値である。コンテンツ選択モジュール３３０は、コンテンツアイテムに関連付けられた入札額に基づいてコンテンツアイテムをランク付けし、ランク付けにおいて少なくとも閾値位置にあるコンテンツアイテムをユーザへの提示のために選択し得る。いくつかの実施形態では、コンテンツ選択モジュール３３０は、入札額及びコンテンツアイテムに関連する関連性の度合いに基づいて、入札額に関連しないコンテンツアイテム及び入札額に関連するコンテンツアイテムの両方を統一したランキングでランク付けする。統一したランキングに基づいて、コンテンツ選択モジュール３３０は、ユーザに提示するためのコンテンツを選択する。統一したランクキングを通じて入札額に関連するコンテンツアイテムと入札額に関連しないコンテンツアイテムを選択することは、２０１２年７月１０日に出願された米国特許出願第１３／５４５，２６６号にさらに記載されており、この特許出願を参照によりその全体を本明細書に組み込む。

【0046】

例えば、コンテンツ選択モジュール３３０は、オンラインシステム１４０のユーザにコンテンツのフィードを提示する要求を受け取る。フィードは、ユーザに接続している他のオンラインシステムの複数のユーザに関連付けられた複数のアクションを記述するストーリー等のコンテンツアイテムを、含む。コンテンツ選択モジュール３３０は、ユーザについての情報を取得するために、ユーザプロファイルストア３０５、コンテンツストア３１０、アクションログ３２０、及びエッジストア３２５のうちの１つ又は複数にアクセスする。例えば、ユーザに接続されている他の複数のユーザに関連付けられている複数のアクションを記述する情報、又はユーザに接続されている複数のユーザに関連付けられている他のデータが取得される。コンテンツストア３１０からのコンテンツアイテムは、コンテンツ選択モジュール３３０によって取得及び分析されて、ユーザへの提示に適した候補コンテンツアイテムを特定する。例えば、ユーザに接続されていない複数のユーザに関連するコンテンツアイテム、又はユーザに対する関連性が閾値未満の複数のユーザに関連するストーリーは、候補コンテンツアイテムとして破棄される。様々な基準に基づいて、コンテンツ選択モジュール３３０は、識別されたユーザに提示するための候補コンテンツアイテムとして特定された１つ又は複数のコンテンツアイテムを選択する。選択されたコンテンツアイテムは、ユーザに提示されるコンテンツのフィードに含まれる。例えば、コンテンツのフィードは、オンラインシステム１４０を介してユーザに接続された複数のユーザに関連付けられたアクションを記述する少なくとも閾値数のコンテンツアイテムを含む。

【0047】

様々な実施形態において、コンテンツ選択モジュール３３０は、ユーザへの提示のために選択された複数のコンテンツアイテムを含むフィードを介してユーザにコンテンツを提示する。コンテンツ選択モジュール３３０は、選択されたコンテンツアイテムがフィードを介して提示される順序も決定し得る。例えば、コンテンツ選択モジュール３３０は、ユーザが様々なコンテンツアイテムとインタラクションする可能性に基づいてフィード内のコンテンツアイテムを順序付ける。

【0048】

ユーザのアクション又は同意に基づいて、コンテンツ選択モジュール３３０は、オンラインシステムのユーザと関連付けられているクライアント装置１１０内に含まれる撮像装置１１７によってキャプチャされた動画データを受信するのであり、また、動画データを受信側クライアント装置１１０へと送信するのであり、表示装置１１５を介して閲覧側ユーザに提示させるためにこれがなされる。オンラインシステム１４０は、閲覧ユーザを特定する要求をクライアント装置１１０から受信でき、閲覧ユーザから承認を受信したことに応答して、クライアント装置１１０から受信側クライアント装置１１０へと動画データを後に提供できる。反対に、オンラインシステム１４０は受信側クライアント装置１１０を介して閲覧ユーザからの要求を受信するのであり、ユーザから承認を受信したことに応答して、クライアント装置１１０から受信された動画データを受信側クライアント装置１１０に提供する。これによって、オンラインシステム１４０の異なるユーザらが、オンラインシステム１４０を介して、ユーザと関連付けられているクライアント装置１１０によってキャプチャされた動画データを交換することが可能となる。

【0049】

また、コンテンツ選択モジュール３３０は閲覧ユーザから受信側クライアント装置１１０を介して命令を受信でき、１つ以上の命令をクライアント装置１１０へと送信する。受信された命令に基づいて、クライアント装置１１０は、命令受信後にキャプチャされた動画データを修正するか、或いは、命令に基づいて撮像装置１１７の１つ以上のパラメータを修正する。したがって、クライアント装置１１０は受信側クライアント装置１１０からの１つ以上の命令に基づいてキャプチャ動画データを修正して、修正済み動画データ又は修正済みパラメータを用いて撮像装置１１７によってキャプチャされた動画データを、コンテンツ選択モジュール３３０へと送信するのであり、該モジュールは、動画データを受信側クライアント装置１１０へと送信するのであり、このことは図４との関係でさらに後述されている。これによって、閲覧ユーザはクライアント装置１１０によってキャプチャされた動画データについて修正又は調整をなし得るのであり、これは受信側クライアント装置１１０を介して閲覧ユーザに提供される。

【0050】

様々な実施形態では、コンテンツ選択モジュール３３０は、オンラインシステム１４０のユーザの１つ以上のプライバシ設定を実施する。ユーザのプライバシ設定は、ユーザと関連付けられている特定の情報がどのようにして共有され得るかを決定するのであり、ユーザプロファイル記憶部３０５内にあるユーザのユーザプロファイル内に格納され得る。１つの実施形態では、プライバシ設定はユーザと関連付けられる特定の情報を指定するのであり、また、指定された情報が他のエンティティのどれと共有され得るかを特定する。情報を共有できるエンティティの例は、他のユーザ、アプリケーション、サードパーティシステム１３０、又は、潜在的に情報にアクセスできる任意のエンティティを含み得る。ユーザが共有できる情報の例としては次のものを挙げることができる：ユーザプロファイル情報（プロファイル写真等）、ユーザと関連付けられた電話番号、ユーザの接続者、ユーザを含む動画データ、ユーザが取った動作（接続の追加等）、ユーザプロファイル情報の変更及び類すること。様々な実施形態では、オンラインシステム１４０はユーザと関連付けられているプライバシ設定を維持しており、これはユーザと関連付けられているコンテンツに関してアクセス又は受信を他のエンティティが行うのを妨げる既定設定を有しており、ユーザが異なるプライバシ設定を修正することが許されており、これによって、ユーザによって指定された他のエンティティが修正済みプライバシ設定に対応するコンテンツに関してアクセス又は検索することが許される。

【0051】

プライバシ設定仕様は、異なる粒度レベルで提供することができる。１つの実施形態では、プライバシ設定は、他のユーザと共有すべき特定の情報を特定することができる。例えば、プライバシ設定は、職場の電話番号又は特定の一連の関連情報（プロファイル写真、自宅の電話番号およびステータスを含む個人情報等）を特定する。あるいは、プライバシ設定は、ユーザと関連付けられたすべての情報に適用することができる。また、特定の情報にアクセスできる一連のエンティティの仕様も、様々な粒度レベルで指定することができる。情報を共有できる様々な一連のエンティティは、例えば次のものを含み得る：ユーザに接続された全てのユーザ、ユーザに接続されたユーザの組、ユーザに接続されたユーザに接続された追加のユーザ、全てのアプリケーション、全てのサードパーティシステム１３０、特定のサードパーティシステム１３０、又は全ての外部システム。

【0052】

１つの実施形態は、エンティティについての列挙を用いることによって、特定された情報にアクセスすることを許されたエンティティを指定したり、或いは、異なるエンティティに提示される情報のタイプを特定したりする。例えば、ユーザは、他のユーザに伝達される又はユーザの指定グループに伝達されるアクションのタイプを、指定できる。代替的には、ユーザは、他のユーザに対して公開又は提示されることにならないアクションタイプや他の情報を指定できる。

【0053】

コンテンツ選択モジュール３３０は、ユーザと関連付けられている特定の情報が、オンラインシステム１４０、サードパーティシステム１３０、及び／又は他のアプリケーション・エンティティを介してユーザに接続された他のユーザによってアクセスされ得るかを決定するためのロジックを含む。ユーザのプライバシ設定に基づいて、コンテンツ選択モジュール３３０は、別のユーザ、サードパーティシステム１３０、アプリケーション又は別のエンティティに対して、ユーザと関連付けられた情報（ユーザが取った動作についての情報を含む）へのアクセスが認められているかどうかを判断する。例えば、コンテンツ選択モジュール２３０は、ユーザのプライバシ設定を用いて、ユーザを含む動画データを別のユーザに提示してよいかを決定する。これによって、ユーザのプライバシ設定が、どのユーザや他のエンティティが次のデータを受信することを許されているかを指定できる：ユーザのアクションについてのデータ；ユーザと関連付けられている他のデータ。

【0054】

ウェブサーバ３３５は、ネットワーク１２０を通じてオンラインシステム１４０を１つ又は複数のクライアント装置１１０へ、ならびに１つ又は複数のサードパーティシステム１３０へリンクさせる。ウェブサーバ３３５は、ウェブページ、及びその他のコンテンツ、例えば、ＪＡＶＡ（登録商標）、ＦＬＡＳＨ（登録商標）、ＸＭＬ等を供給する。ウェブサーバ３３５は、オンラインシステム１４０とクライアント装置１１０との間におけるメッセージ、例えば、インスタントメッセージ、キューに入れられたメッセージ（例、電子メール）、テキストメッセージ、ショートメッセージサービス（ＳＭＳ）のメッセージ、又はその他の適切なメッセージング技術を使用して送信されるメッセージを受け取って回送することができる。ユーザは、コンテンツストア３１０に記憶される情報（例、画像又はビデオ）をアップロードするよう求める要求をウェブサーバ３３５に送信することができる。加えて、ウェブサーバ３３５は、ＩＯＳ（登録商標）、ＡＮＤＲＯＩＤ（登録商標）、ＷＥＢＯＳ（登録商標）、又はＢｌａｃｋｂｅｒｒｙ（登録商標）ＯＳ等のネイティブクライアント装置オペレーティングシステムに対してデータを直接送信するためのアプリケーションプログラミングインタフェース（ＡＰＩ）機能を提供することができる。

【0055】

以前キャプチャされた動画データの特徴に基づいての動画データキャプチャの修正
図４は、１つの実施形態についての相互作用に関する図であって、撮像装置１１７によって以前キャプチャされた動画の特徴に基づいて撮像装置１１７によってなされる動画データのキャプチャ挙動を修正する方法についての相互作用図である。様々な実施形態では、図４との関連で説明される諸ステップは異なる順序にて行われ得る。また、一部の実施形態では、方法は、図４に示すものとは異なるステップ及び／又は追加のステップを含み得る。

【0056】

撮像装置１１７は送信側クライアント装置１１０Ａ内に含まれており、これは図１及び２との関連でさらに上述されており、送信側クライアント装置１１０Ａのまわりのローカルエリアの動画データをキャプチャ（４０５）する。撮像装置１１７によってキャプチャされたイメージは、コントローラ２１０に伝達されるのであり、これは送信側クライアント装置１１０Ａ内に含まれている（他の実施形態ではこれはクライアント装置１１０に結合されている）。様々な実施形態では、ユーザは（例えば。予め選択されたプライバシ設定及び／又はプロンプトされた選択によって）コントローラ２１０に対して、撮像装置１１７によってキャプチャ（４０５）された動画の特徴に１つ以上の機械学習モデルを適用することに関して、承認を与え得るのであって、キャプチャ動画データ内に含まれる人物を位置決めできる。様々な実施形態では、コントローラ２１０は動画データを修正して、位置決め済みユーザをより際立たせて示して、修正済み動画データをオンラインシステム１４０へと送信する。位置決め済みユーザはより顕著に提示されるのであり、次のようにして提示することによってこれをなす：少なくとも閾値寸法セットを伴って（例えば、少なくとも閾値高さや閾値幅を伴って）動画データ内に提示すること；撮像装置１１７の視野の少なくとも閾値量にわたって若しくは少なくともキャプチャ動画データのフレームの閾値量にわたって提示すること；又はキャプチャ動画データ内の１つ以上の具体的位置にて提示すること。例えば、コントローラ２１０は、キャプチャされた動画データをクロッピングして、動画データの少なくとも１人の人間を含まない部分を除去する。別の例としては、コントローラ２１０は、人物を含む動画データの部分のズーム（倍率ともいう。）を上げる。キャプチャ動画データを修正するために、コントローラ２１０は、撮像装置１１７によってキャプチャされた後に動画データを修正でき、又は、撮像装置１１７の１つ以上のパラメータを修正して、撮像装置１１７がどのようにして動画データをキャプチャ（４０５）するかを修正できる。

【0057】

様々な実施形態では、コントローラ２１０は１つ以上の方法を適用してキャプチャ動画データ内の人物を位置決めする。もっとも、コントローラ２１０は、１つ以上のモデルをキャプチャ動画データに適用することによってオブジェクト（例えば、アプライアンス、家具、プロダクト）を同様に位置決めすることができる。以下の例はモデルを動画データに適用することに関連しているが、１つ以上のモデルを動画データ・音声データ・画像データ・クライアント装置１１０によってキャプチャされた任意の他のデータ・それらの任意の組み合わせに対して適用できる。コントローラ２１０は、任意の適切なモデル又はモデルの組合せを用いて、撮像装置１１７によってキャプチャ（４０５）された動画データ内の人物を位置決めすることができる。コントローラ２１０によってキャプチャ動画データに適用されたモデルは、（２次元又は３次元での）顔追跡や２次元体位追跡や３次元体位追跡や任意の他の適切な方法を行って人間の顔の部分や人間の人体の部分を特定できる。同様に、コントローラ２１０によって適用されたモデルは、キャプチャ動画データからオブジェクトを特定できる。一部の実施形態では、ユーザの承認に基づいて、コントローラ２１０はオンラインシステム１４０と通信して、オンラインシステム１４０から取得された情報に基づいてオブジェクト又は人物をより具体的に特定するのであり、他方、他の実施形態では、コントローラ２１０はローカルでモデルを維持しており、キャプチャ動画データから異なるオブジェクト又は人物を特定する。１つ以上のモデルの適用に基づいて、コントローラ２１０は、位置決め済みユーザの人体の特定の部分を含むキャプチャ動画データについてのクロッピング又はズーミングを修正して、位置決め済みユーザ人体の特定の部分をより際立たせて表示できる。例えば、１つ以上のモデルが人物の顔を特定した場合、コントローラはキャプチャ動画データを修正して人物の顔を含まない動画データの部分を除去する。１つ以上のモデルの適用がキャプチャ動画データ内において複数の人物を位置決めした場合、コントローラ２１０はキャプチャ動画データを修正して動画の異なる部分が異なる人物を表示するようにする。例えば、コントローラ２１０はキャプチャ動画データをグリッドに分割するのであって、グリッドの各領域は異なる人物の１つ以上の部分を表示する。他の実施形態では、コントローラ２１０は、人物の部分を含む動画データの部分に関しての撮像装置１１７の倍率（即ち、ズーム）を上げる。したがって、コントローラ２１０はキャプチャ動画データの部分をクロッピングでき、又は、キャプチャ動画データの部分の倍率（即ち、ズーム）を上げることができ、これによって動画データを修正して、キャプチャ動画データ内にいる一人以上の人物の部分をより際立たせて提示できる。また、１つ以上のモデルの適用に基づいてキャプチャ動画データを修正する際には、コントローラ２１０は１つ以上のモデルを適用して、修正済み動画データを安定化して一人以上の位置決め済み人物の部分をより高いクオリティで提示できる。

【0058】

プライバシ設定に基づいて、コントローラ２１０は、特定済み人物の人体の部位を位置決めする１つ以上のモデルを適用して、撮像装置１１７の１つ以上のパラメータ又は撮像装置１１７によってキャプチャされた動画データを修正して、キャプチャ動画データ内に含まれる位置決め済み人物の人体の部分を修正できる。例えば、コントローラ２１０は特定済み人物の人体の異なる関節を見つけた上で、キャプチャ動画データ若しくは撮像装置１１７のパラメータを修正して、キャプチャ動画データ内の位置決め済み人物の人体の異なる部位に対応する関節を含めることができる。したがって、キャプチャ動画データに人物の頭部であれ人物の頭部及び胴体であれ人物の全身が含まれているかについて、コントローラ２１０は修正をなし得る。コントローラ２１０は、キャプチャ動画データ内に含まれる人物の人体の部分を修正する様々な規則を含み得るのであり、これは次のことに基づいていることができる：以前キャプチャされた動画データ内に含まれるコンテンツ；以前キャプチャされた動画データ内にて特定された動き；動画データから特定された任意の他の適切な特徴。

【0059】

様々な実施形態では、コントローラ２１０によって適用される１つ以上のモデルは１つ以上の規則を適用して送信側クライアント装置１１０Ａの撮像装置１１７によってキャプチャ（４０５）された動画データを修正する。例えば、コントローラ２１０はキャプチャ動画データを修正して動画データから人物をより際立たせて表示するのであり、動画データの人物がいる部分についてのキャプチャデータについてのズームを修正するか又は動画データの人物がいる部分についてのクロッピングを修正することでこれをなして、人物の顔がカメラに向けられているとコントローラ２１０が決定した場合に人物以外のオブジェクトを除去する。例を挙げるに、コントローラ２１０はキャプチャ動画データを修正してユーザの顔をより際立たせて表示するのであり、人物の顔が撮像装置１１７に向けられている（例えば、人物の顔の１つ以上の具体的な特徴が撮像装置１１７によってキャプチャされた場合）とコントローラ２１０によって適用された１つ以上のモデルが決定した場合にそうする。別の例では、コントローラ２１０は動画データ内にいる人物らと撮像装置１１７との間の距離を決定して、決定された撮像装置１１７からの距離が最低な人物を際立たせて表示するように又は撮像装置からの決定済み距離が閾値距離未満となる人物らを際立たせて表示するようにキャプチャ動画データを修正する。別の例では、コントローラ２１０は１つ以上のモデルを適用して、人物又はオブジェクトが動いていくにつれて撮像装置１１７を再配置して、撮像装置１１７によってキャプチャされた動画データが人物又はオブジェクトの動きを追跡できるようにする。

【0060】

コントローラ２１０によって適用される１つ以上のモデルは、キャプチャ動画データ内の特定済みの複数の人物の位置について配慮する規則に基づいて、キャプチャ動画データを修正できる。様々な実施形態では、ユーザはキャプチャされた動画内のユーザを位置決めすることについてコントローラ２１０に承認を与えることができ、コントローラ２１０はキャプチャされた動画にモデルを適用してユーザの視線がキャプチャ動画データのどの位置に向けられているかを決定できる。特定の人物を含むキャプチャ動画データ内の位置へ向けられた視線を伴う位置決め済みユーザが少なくとも閾値人数又は閾値量となっているとの決定に応答して、コントローラ２１０は、キャプチャ動画データを修正して特定の人物をより表示する（例えば、キャプチャ動画データをクロッピングして特定の人物以外のコンテンツを除去したり、特定の人物の倍率若しくはズームを上げたりすること）。別の例を挙げるに、コントローラ２１０は動画データ内にいる異なる人物間の距離を決定して互いに閾値距離内にいる人物らをより際立たせて表示するようにキャプチャ動画データを修正する。これによって、人物のグループが位置決めされている動画データの部分についてクロッピング又はズーミングをすることによって、コントローラがキャプチャ動画データを修正することが可能となる。また、コントローラ２１０は、キャプチャ動画データ内で特定されたオブジェクト又は人物に基づいて、キャプチャ動画データから１つ以上のフレームを除去できる。例えば、キャプチャ動画データ内にて閾値個数未満のオブジェクト又は人物が特定された場合、又は、キャプチャ動画データ内にて閾値量未満のオブジェクト又は人物の動きが特定されたと決定された場合、コントローラ２１０は、キャプチャ動画データをオンラインシステム１４０へと送信（４１０）する前にキャプチャ動画データからフレームを除去する。他の実施形態では、オンラインシステム１４０は送信側クライアント装置１１０Ａから受信された動画データからフレームを除去するのであり、上述の条件を用いてキャプチャ動画データを受信側クライアント装置１１０Ｂへと以下詳述するように送信（４１５）する前にこれをなす。

【0061】

コントローラ２１０は送信側クライアント装置１１０Ａの他のコンポーネントからのデータを受信して受信された動画データ及び送信側クライアント装置１１０Ａの他のコンポーネントからのデータの特徴に基づいてキャプチャされた動画データを修正できる。例えば、撮像装置１１７又はクライアント装置１１０は、クライアント装置１１０周辺のローカルエリアからの音声データをキャプチャするように構成されたマイクロフォン等の音声キャプチャ装置を、含む。ユーザは、キャプチャされた動画データを修正するに際して、キャプチャされた音声データをキャプチャされた動画データと共に処理することをコントローラ２１０に許すことができる。様々な実施形態では、コントローラ２１０は、１つ以上のモデルをキャプチャされた音声データに適用して、音声データの源泉を含めたキャプチャされた動画データ内の位置を決定する。コントローラ２１０は、１つ以上のモデルを、音声データの源泉を含むキャプチャされた動画データ内の位置に適用する。キャプチャされた動画データ内の（人物を含む音声データの源泉を含む）位置決定をなすモデル適用に応じて、コントローラ２１０はキャプチャされた動画データを修正して、音声データの源泉を含むキャプチャされた動画データ内の位置をより際立たせて提示し（即ち、キャプチャ動画データの源泉を含む位置についてのズームを上げる又はキャプチャ動画データの源泉を含む位置についてクロッピングしてキャプチャ動画データの源泉以外のオブジェクトを除去する）、又は、撮像装置１１７を再位置決めして音声データの源泉に合焦させる。もっとも、コントローラ２１０は、音声データ源泉を含むキャプチャされた動画データ内の位置が人物を含まないとの決定に応じて、コントローラは、キャプチャ動画データ修正や撮像装置１１７の再配置をなさない。別の例としては、コントローラ２１０はキャプチャされた動画データを修正するか撮像装置１１７を再配置するかして、コントローラ２１０がキャプチャ動画データ内のキャプチャ音声データ源泉であると決定した特定人物をより際立たせて提示するのであり、これによってキャプチャ動画データは発話者又は送信側クライアント装置１１０Ａの音声キャプチャ装置によってキャプチャされた音声データを提供する者と決定された人物をより際立たせて表示できる（即ち、音声データを提供する者と決定された人物を含む位置のズームを上げるかキャプチャ動画データの源泉を含む位置についてクロッピングして、音声データを提供する者と決定された人物以外のオブジェクトを除去する）。

【0062】

一部の実施形態では、ユーザは、コントローラ２１０が１つ以上のモデルを適用して、撮像装置１１７によって以前キャプチャ（４０５）された動画データに基づいてキャプチャ動画データ又はクライアント装置１１０の撮像装置１１７のパラメータを修正することについて、許可を与えることもできる。例えば、コントローラ２１０が複数の人物をキャプチャ動画データ内に位置決めした場合、コントローラ２１０はキャプチャ動画データ又は撮像装置１１７の１つ以上のパラメータを修正して各位置づけ済み人物がキャプチャされた動画内において最低量の期間に亘って際立って提示されるようにする（例えば、少なくとも閾値寸法セットを伴って動画データ内に提示すること；撮像装置１１７の視野の少なくとも閾値量にわたって若しくは少なくともキャプチャ動画データのフレームの閾値量にわたって提示すること；又はキャプチャ動画データ内の１つ以上の具体的位置にて提示すること）。別の例としては、プライバシ設定に服するが、コントローラ２１０は、少なくとも閾値期間にわたってキャプチャ動画データ内にて際立たせて提示されたキャプチャ動画データ内人物を特定する情報を、記憶する。コントローラ２１０がキャプチャ動画データ内にて追加の人物を位置決めした場合、コントローラ２１０は、追加の人物を、キャプチャ動画データ内にて際立たせて提示された人物を特定する記憶済み情報と、比較する。追加の人物が記憶済み情報にて特定されていないことに応答して、コントローラ２１０はキャプチャ動画データを修正するか又は撮像装置１１７の１つ以上のパラメータを修正して、追加の人物が閾値時間量にわたって際立たせて表示されるようにする。これによって、コントローラ２１０は、コントローラ２１０によって動画データ内にて位置決めされた各人物が少なくとも閾値時間量にわたって際立たせて表示されるよう動画データを修正できるようになる。

【0063】

また、コントローラ２１０は、キャプチャ動画データ内にいる人物らの動きを特定したことに応答してキャプチャ動画データ又は撮像装置１１７のパラメータを修正できる。例えば、コントローラ２１０によってキャプチャ動画に適用された１つ以上のモデルが、位置決め済み人物がオブジェクトに向かって身振り（ジェスチャ）していると決定した場合、コントローラ２１０はキャプチャ動画を修正して位置決め済み人物とオブジェクトが際立たせて提示されるようにする。例を挙げるに、キャプチャ動画が位置決め済み人物を際立たせて表示しており（例えば、位置決め済み人物を少なくとも閾値寸法セットを伴って表示すること又は位置決め済み人物を動画データの１つ以上のフレームについて少なくとも閾値量を占有するように表示すること）、また、コントローラが、位置決め済み人物がオブジェクトに向かって身振りしていると決定した場合、コントローラ２１０はキャプチャ動画を修正して位置決め済み人物とオブジェクトが提示されるようにする。例えば、コントローラ２１０はキャプチャ動画データの倍率を下げて、位置決め済み人物及びオブジェクトが両方キャプチャ動画に含まれるようにできる。別の例では、コントローラ２１０が１つ以上のモデルを適用して位置決め済み人物がオブジェクトをホールドしていると決定した場合、コントローラ２１０はキャプチャ動画データ又は撮像装置１１７の１つ以上のパラメータを修正して、オブジェクトが際立って提示されるようにする（例えば、撮像装置の焦点をオブジェクトへと変更すること及び撮像装置１１７のズームを上げること）。一部の実施形態では、コントローラ２１０は、特定の期間にわたってキャプチャ動画データ内の位置決め済み人物によってホールドされたオブジェクトを際立たせて提示でき、そして、キャプチャ動画データ又は撮像装置１１７のパラメータを修正してキャプチャ動画データにおいて位置決め済み人物が再び際立って提示されるようにできる。

【0064】

送信側クライアント装置１１０Ａは動画データを送信側クライアント装置１１０Ａからオンラインシステム１４０へと送信（４１０）するのであって、これは後記においてさらに説明されるようにコントローラ２１０によって修正され得るのであり、オンラインシステム１４０はキャプチャ動画データを受信側クライアント装置１１０Ｂへと送信（４１５）する。表示装置１１５を用いて、受信側クライアント装置１１０Ｂは、オンラインシステム１４０からオンラインシステム１４０の閲覧ユーザへと、動画データを、提示（４２０）する。様々な実施形態では、閲覧ユーザは、送信側クライアント装置１１０Ａと通信するための要求を、受信側クライアント装置１１０Ｂからオンラインシステム１４０へと、伝達する。オンラインシステム１４０は要求を送信側クライアント装置１１０Ａへと伝達し、送信側クライアント装置１１０Ａは応答をオンラインシステム１４０に提供する。要求に応答して送信側クライアント装置１１０Ａが承認をオンラインシステム１４０に提供した場合、オンラインシステム１４０は送信側クライアント装置１１０Ａの撮像装置１１７によってキャプチャ（４０５）され且つオンラインシステム１４０に提供された動画データを、表示装置１１５での提示のために受信側クライアント装置１１０Ｂに提供するのであり、逆もまた然り。

【0065】

様々な実施形態では、ユーザは、（予め定められていたプライバシ設定及びユーザアクションを介することに基づいて）送信側クライアント装置１１０Ａに対して、コントローラ２１０によってキャプチャ動画内にて位置決めされた人物らに対応する１つ以上のユーザを特定する情報を、オンラインシステム１４０に提供することを許すことができ、１つ以上のユーザを特定する情報が含まれ受信側クライアント装置１１０Ｂへと送信（４２０）される動画データが伴う。代替的には、オンラインシステム１４０に対して、送信側クライアント装置１１０Ａは、コントローラ２１０によって位置決めされた人物らを含む動画データの部分を特定し、オンラインシステム１４０は、コントローラ２１０によって位置決めされた人物らを伴う動画データの部分を、オンラインシステムユーザを特定する記憶済み画像と、比較する。プライバシ設定に基づいて、オンラインシステム１４０は、記憶済み画像によって特定されるユーザを特定する情報を検索するのであって、該画像は、コントローラ２１０が人物らを位置決めした際に送信側クライアント装置１１０Ａのコントローラ２１０の動画データの部分との関係で少なくとも閾値類似度を有するものとオンラインシステム１４０によって決定された画像である。これによって、ユーザらがこのような特定機能にオプトインするのであれば、オンラインシステム１４０は、送信側クライアント装置１１０Ａから受信された動画データ内に含まれるオンラインシステム１４０のユーザを、特定できる。オンラインシステム１４０は、コントローラ２１０によって位置決めされた人物がいる受信済み動画データの部分並びにユーザを特定するオンラインシステム１４０によって記憶された画像（例えば、ユーザのユーザプロファイル内のプロファイル画像や識別情報を伴ってユーザがタグ付けされるユーザの顔を含む画像）に対して１つ以上の顔認識プロセス又は他の識別プロセスを適用して、受信済み動画データの部分内の位置決め済み人物がオンラインシステムユーザであるかを決定できる。例えば、オンラインシステム１４０は送信側クライアント装置１１０Ａからの動画データを増補できるのであり、オンラインシステムユーザであるとオンラインシステム１４０によって特定された人物を含む送信側クライアント装置１１０Ａからの動画データの部分上に対して、オンラインシステムユーザを特定する情報（例えば、名前、名字、電子メールアドレス等）を重畳表示できる。オンラインシステム１４０は増補された動画データを受信側クライアント装置１１０Ｂへと送信（４２０）する。代替的には、オンラインシステム１４０は、送信側クライアント装置１１０Ａから受信された動画データ内にいる人物に対応するオンラインシステムユーザを特定する情報を生成し、動画内の人物に対応するオンラインシステムユーザを特定する情報を動画データと共に受信側クライアント装置１１０Ｂへと送信する。例えば、オンラインシステム１４０は、送信側クライアント装置１１０Ａから受信された動画データ内の人物に対応するオンラインシステムユーザについての名前や名字やユーザ名等のリストを生成するのであって、動画データと共にこれを閲覧ユーザに対して受信側クライアント装置１１０Ｂによって提示する。

【0066】

オンラインシステム１４０のユーザエクスペリエンスを向上させるためにユーザが様々なユーザ関連データの使用を許可する一部の実施形態では、オンラインシステム１４０は、受信側クライアント装置１１０Ｂと関連付けられている閲覧ユーザと送信側クライアント装置１１０Ａから受信された動画データから特定されたユーザとの間の関連性を考慮することができ、送信側クライアント装置１１０Ａから受信された動画データ内にいる人物に対応するオンラインシステムユーザを特定する情報の生成時にこれがなされ得る。例えば、オンラインシステム１４０は、オンラインシステム１４０によって維持されている閲覧ユーザへの接続を有している送信側クライアント装置１１０Ａから受信された動画データから特定されたオンラインシステムユーザについての特定情報を、生成する。幾つかの実施形態では、オンラインシステム１４０は、オンラインシステム１４０によって維持されている閲覧ユーザへの接続を有していない送信側クライアント装置１１０Ａから受信された動画データから特定されたオンラインシステムユーザについての特定情報を、生成することはできない。代替的には、オンラインシステム１４０は、閲覧ユーザに接続されている受信動画データから特定されたオンラインシステムユーザの特定情報と、閲覧ユーザに接続されていないオンラインシステムユーザの特定情報とを、視覚的に区別する。別の例としては、オンラインシステム１４０は、送信側クライアント装置１１０Ａから受信された動画データから特定された各オンラインシステムユーザについての閲覧ユーザの関連性を決定するのであり、また、動画データから特定されたオンラインシステムユーザの特定情報の提示態様を修正する。例えば、オンラインシステム１４０は受信された動画データから特定されたオンラインシステムユーザを特定する情報を生成するのであって、これはオンラインシステム１４０が閲覧ユーザとの関係で少なくとも閾値の関連性を有していると決定した識別済みオンラインシステムユーザを視覚的に区別する。別の例としては、オンラインシステム１４０は、受信された動画データから特定されたオンラインシステムユーザを特定する情報をランク付けするのであって、受信された動画データから特定されたオンラインシステムユーザについての閲覧ユーザの関連性に基づいてこれをなす。オンラインシステム１４０は、受信された動画データから特定されたオンラインシステムユーザであって少なくとも閾値のランク順位を有しているユーザについての特定情報と、受信された動画データから特定された他のオンラインシステムユーザの特定情報とを、視覚的に区別する情報を生成する。別の実施形態では、オンラインシステム１４０は、受信された動画データから特定されたオンラインシステムユーザを特定する情報を提示する情報（information that presents information）を生成するのであって、受信された動画データから特定されたオンラインシステムユーザについての閲覧ユーザの関連性に基づいてこれをなす。

【0067】

受信側クライアント装置１１０Ｂはオンラインシステム１４０からの動画データを表示装置１１５を介して提示（４２０）するのであり、これによって送信側クライアント装置１１０Ａは受信側クライアント装置１１０Ｂにて提示するための動画データを提供できる。オンラインシステム１４０のユーザを特定するオンラインシステム１４０からの情報は、受信側クライアント装置１１０Ｂによって、動画データと共に、提示される。提示された動画データから、受信側クライアント装置１１０Ｂは、閲覧ユーザからの興味対象ユーザ選択を受信（４２５）するのであり、興味対象ユーザを特定する情報をオンラインシステム１４０へと送信（４３０）する。様々な実施形態では、閲覧ユーザは、興味対象オブジェクトを選択できる。例えば、閲覧ユーザは、動画データと共に提示されたオンラインシステム１４０のユーザを特定する情報から興味対象ユーザを特定する情報を選択するのでありまた受信側クライアント装置１１０Ｂ及び受信側クライアント装置１１０Ｂは興味対象ユーザを特定する情報をオンラインシステム１４０へと送信（４３０）する。閲覧ユーザは動画データに含まれており受信側クライアント装置１１０Ｂによって動画データと共に提示されるユーザ記述情報から興味対象ユーザを特定する情報を選択できる。代替的には、閲覧ユーザは人物を含む動画データの部分を選択し、受信側クライアント装置１１０Ｂはオンラインシステム１４０に対して提示された動画データの選択部分を特定し、オンラインシステム１４０は動画データの選択部分のコンテンツをユーザと関連付けられている顔や身体の記憶済み画像（例えば、ユーザプロファイル内に含まれる画像や様々なユーザが特定されているオンラインシステム１４０によって維持されている画像等）と比較して、動画の選択部分のコンテンツに合致する１つ以上の記憶済み画像に関連付けられているユーザを興味対象ユーザとして特定する。

【0068】

オンラインシステム１４０は、興味対象ユーザを特定する情報を送信側クライアント装置１１０Ａへと送信（４３５）する。興味対象ユーザを特定する情報及び撮像装置１１７によってキャプチャ（４０５）された動画データ内に含まれるオブジェクトの特徴に基づいて、コントローラ２１０は、キャプチャされた動画データ又は送信側クライアント装置１１０Ａの撮像装置１１７のパラメータを修正（４４０）して、興味対象ユーザをより際立って提示する。修正は、どのようにキャプチャ動画が変更されるかについての通知がキャプチャされるユーザに検討させて承認させるためにクライアント装置１１０Ａに表示された後になされ得るか、及び／又は、事前承認（例えば、プライバシ設定を介しての承認）に基づいてなされ得るのであってこれは受信側クライアント装置１１０Ｂを支配する予め承認を受けている人物らのリストに関することである。撮像装置１１７のパラメータについて加え得る修正としては次のものが挙げられる：興味対象ユーザを含む動画データの部分についての倍率を上げること；又は興味対象ユーザを含まない動画データの部分を除去すること。様々な実施形態では、送信側クライアント装置１１０Ａのコントローラ２１０は、キャプチャ動画データに上記においてさらに説明した１つ以上のモデルを適用して、キャプチャ動画データを修正（４４０）して興味対象ユーザをより際立たせて提示する。興味対象ユーザを際立たせて提示するように修正された動画データは、送信側クライアント装置１１０Ａからオンラインシステム１４０へと送信（４４５）され、オンラインシステム１４０は興味対象ユーザを際立たせて提示している動画データを受信側クライアント装置１１０Ｂへと送信（４５０）し、それが修正済み動画データを閲覧ユーザに提示（４５５）する。

【0069】

コントローラ２１０は興味対象ユーザを特定する情報を受信した後にキャプチャされた動画データに対して１つ以上のモデルを適用して、撮像装置１１７の１つ以上のパラメータを修正してローカルエリアまわりで興味対象ユーザを追跡する。例えば、コントローラ２１０は１つ以上の顔認識モデルをキャプチャ動画データ内に配置されている人物に適用して、（オンラインシステム１４０から受信されたかオンラインシステムからの情報に基づいて以前キャプチャ（４０５）された動画データから特定された）興味対象ユーザの顔に一致する人物の顔を特定するのであり、その後撮像装置１１７の焦点を再配置するのであって興味対象ユーザの顔に一致する顔を有する人物へと焦点を合わせる。代替的には、コントローラ２１０は興味対象ユーザを含むキャプチャされた動画データからカラーマップを抽出し、撮像装置１１７の焦点を再配置し、抽出したカラーマップが撮像装置１１７によってキャプチャされた動画データ内に含まれたままとなるようにする。一部の実施形態では、コントローラ２１０は興味対象ユーザを特定する情報を受信し、その後撮像装置１１７を修正して特定された人物又はオブジェクトを追跡するようにするのであり、撮像装置１１７によってキャプチャされた動画データが特定された人物又はオブジェクトの動きを追跡できるようにする。

【0070】

様々な実施形態では、閲覧ユーザは、受信側クライアント装置１１０Ｂの表示装置１１５によって提示された動画データを修正するための追加命令を、オンラインシステム１４０に提供し、オンラインシステム１４０は命令を送信側クライアント装置１１０Ａへと送信する。オンラインシステム１４０からの命令に基づいて、送信側クライアント装置１１０Ａのコントローラ２１０は、撮像装置１１７の１つ以上のパラメータを修正するか、又は、撮像装置１１７によってキャプチャ（４０５）された動画データを修正する。例えば、オンラインシステム１４０を介して閲覧ユーザによって提供された命令によって、コントローラ２１０は、送信側クライアント装置１１０Ａの撮像装置１１７を次のように構成することとなる：撮像装置１１７の視野内を興味対象ユーザが動くにつれて撮像装置１１７が再配置されるようにすること。別の例としては、オンラインシステムを介して閲覧ユーザによって提供された命令は、送信側クライアント装置１１０Ａの撮像装置１１７によってキャプチャ（４０５）されて且つ受信側クライアント装置１１０Ｂを介して提示された動画データ内のオブジェクトを特定する。送信側クライアント装置１１０Ａがオンラインシステム１４０からの命令を受信した際に、コントローラ２１０はキャプチャ動画データを修正するか又は撮像装置１１７の１つ以上のパラメータを修正して、追加のクライアント装置１１０にその後提供されるキャプチャ動画データが特定されたオブジェクトを含むこととなるようにする。これによって、閲覧ユーザは、送信側クライアント装置１１０Ａの撮像装置１１７によってキャプチャされ且つ受信側クライアント装置１１０Ｂを介して閲覧ユーザに提示される動画データを修正するための命令を、送信側クライアント装置１１０Ａに提供できる。様々な実施形態では、閲覧ユーザは送信側クライアント装置１１０Ａへと伝達するための命令をオンラインシステム１４０に提供でき、それによって送信側クライアント装置１１０Ａによってキャプチャされた動画データを修正し、送信側クライアント装置１１０Ａによってキャプチャされ且つ受信側クライアント装置１１０Ｂによって提示（４２５）された動画データで興味対象ユーザを特定せずにこれをなせる。これによって、閲覧ユーザが、送信側クライアント装置１１０Ａによってキャプチャされた動画データを、変更できる。

【0071】

結び
例示的実施形態についての上記の開示は、例示目的で提供される。それらは網羅的なものとして意図されてはおらず、また、開示される形態そのものに特許権を限定することも意図されていない。上述の開示に照らせば、多くの変更形態及び変形形態が可能であるということを当業者であれば理解することができる。

【0072】

この説明のいくつかの部分は、情報に関するオペレーションのアルゴリズム及びシンボル表示という点から本発明の実施形態について記述している。これらのアルゴリズム的な記述及び表示は一般に、データ処理技術分野における技術者たちによって、それらの技術者たちの作業のエンティティを他の当業者たちに対して効果的に伝達するために利用されている。これらのオペレーションは、機能的に、計算処理的に、又は論理的に記述されているが、コンピュータプログラム又は等価な電気回路、マイクロコード等によって実施されるということがわかる。さらに、一般性を失うことなく、モジュールとしてオペレーションのこれらの構成に言及することが時として好都合であることもわかっている。記述されているオペレーション及びそれらの関連付けられているモジュールは、ソフトウェア、ファームウェア、ハードウェア、又はそれらの任意の組合せで具体化されることが可能である。

【0073】

本明細書において記述されているステップ、オペレーション、又はプロセスのうちのいずれも、１つ以上のハードウェアモジュールもしくはソフトウェアモジュールを用いて、単独で、又はその他の装置と組み合わせて実行又は実施されることが可能である。１つの実施形態においては、ソフトウェアモジュールは、記述されている工程、オペレーション、又はプロセスのうちの任意のもの又はすべてを実行するためにコンピュータプロセッサによって実行されることが可能であるコンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品とともに実装される。

【0074】

実施形態は、本明細書におけるオペレーションを実行するための装置に関連することも可能である。この装置は、求められている目的のために特別に構築されることが可能であり、及び／又は、コンピュータ内に記憶されているコンピュータプログラムによって選択的にアクティベート若しくは再構成される汎用コンピューティング装置を備えることができる。そのようなコンピュータプログラムは、コンピュータシステムバスへ結合されることが可能である非一時的な有形のコンピュータ可読記憶媒体、又は電子命令を記憶するのに適している任意のタイプのメディア内に記憶されることが可能である。さらに、本明細書において言及されているあらゆるコンピューティングシステムは、シングルプロセッサを含むことができ、又はコンピューティング機能を高めるためにマルチプロセッサ設計を採用している構成であることが可能である。

【0075】

実施形態は、本明細書において記述されているコンピューティングプロセスによって製造される製品に関連することも可能である。そのような製品は、コンピューティングプロセスから生じる情報を備えることができ、それらの情報は、非一時的な有形のコンピュータ可読記憶媒体上に記憶され、本明細書において記述されているコンピュータプログラム製品又はその他のデータの組合せの任意の実施形態を含むことができる。

【0076】

最後に、本明細書において使用されている言葉は、主として読みやすさ及び教示上の目的で選択されており、特許権の線引き又は画定を行うために選定されてはいない場合がある。したがって、特許権の範囲は、この詳細な説明によってではなく、むしろ本明細書に基づく出願上で生じるあらゆる請求項によって限定されるということが意図されている。したがって、実施形態の開示は、特許権の範囲を例示するものであり、限定するものではないということが意図されており、特許権の範囲は、添付の特許請求の範囲において示される。

【0077】

本発明による実施形態は、特に、方法及びコンピュータプログラム製品に向けられた添付の請求項に開示され、ある請求項のカテゴリ、例えば方法、で述べる特徴は別の請求項のカテゴリ、例えば、コンピュータプログラム製品、システム、記憶媒体においても同様に権利付与請求することができる。添付の請求項の従属又は後方参照は単に形式的理由のために選ばれている。もっとも、任意の先行請求項への意図的な後方参照（特に多数項従属）により得られる任意の主題も同様に請求できるので、請求項とその特徴のあらゆる組合せが開示され、添付の請求項で選ばれる従属に関係なく請求することができる。請求できる主題は、添付の請求項に記載される通りの特徴の組合せだけでなく、請求項の特徴のあらゆる他の組合せも含み、請求項で述べられる各特徴はあらゆる他の特徴又は請求項の他の特徴の組合せと組み合わせることができる。また、本明細書で説明又は図示される実施形態及び特徴のいずれも、個々の請求項及び／又は本明細書で説明若しくは図示されるあらゆる実施形態若しくは特徴、若しくは添付の請求項の特徴のいずれかとのあらゆる組合せで請求することができる。

【0078】

本発明による１つの実施形態によれば、コンピュータ実施方法は次のステップを含み得る：
クライアント装置内に含まれる撮像装置の視野内のローカルエリアについてのキャプチャされた動画データを提供するステップであって、前記動画データはオンラインシステムの１つ以上のユーザを含む、提供するステップと、
前記クライアントによって維持されている１つ以上のモデルを前記キャプチャされた動画データの特徴に対して適用するステップと、
前記キャプチャされた動画データ内に含まれる、オンラインシステムの前記１つ以上のユーザを、位置決めするステップと、
前記動画データを前記オンラインシステムへと送信するステップと、
前記オンラインシステムから前記キャプチャされた動画データ内の興味対象ユーザを特定する情報を受信するステップと、
前記撮像装置の１つ以上のパラメータを修正して前記撮像装置によって以後キャプチャされた動画データを修正して前記興味対象ユーザを含む前記動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップと、
前記修正された１つ以上のパラメータを用いて前記撮像装置によって以後キャプチャされた動画データを、前記オンラインシステムへと送信するステップ。

【0079】

前記撮像装置の１つ以上のパラメータを修正して前記撮像装置によって以後キャプチャされた動画データを修正して前記興味対象ユーザを含む前記動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップは、次のステップを含み得る：
前記撮像装置によって以後キャプチャされた前記動画データの部分であって前記興味対象ユーザを含む部分の倍率を増大させるステップ。

【0080】

前記撮像装置の１つ以上のパラメータを修正して前記撮像装置によって以後キャプチャされた動画データを修正して前記興味対象ユーザを含む前記動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップは、次のステップを含み得る：
前記撮像装置によって以後キャプチャされた前記動画データを修正して、前記撮像装置によって以後キャプチャされた前記動画データの１つ以上の部分であって前記興味対象ユーザを含まない１つ以上の部分を除去するステップ。

【0081】

前記撮像装置の１つ以上のパラメータを修正して前記撮像装置によって以後キャプチャされた動画データを修正して前記興味対象ユーザを含む前記動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップは、次のステップを含み得る：
前記撮像装置によってキャプチャされた動画データ内の前記興味対象ユーザを特定するステップと、
前記撮像装置の焦点を前記興味対象ユーザへと再調整するステップ。

【0082】

前記撮像装置によってキャプチャされた動画データ内の前記興味対象ユーザを特定するステップは、次のステップを含み得る：
１つ以上の顔認識モデルを適用して前記撮像装置によってキャプチャされた動画データ内の前記興味対象ユーザを特定するステップ。

【0083】

前記撮像装置によってキャプチャされた動画データ内の前記興味対象ユーザを特定するステップは、次のステップを含み得る：
前記興味対象ユーザを含む前記キャプチャされた動画データの部分からカラーマップを抽出するステップ。

【0084】

本発明による１つの実施形態によれば、コンピュータ実施方法は次のステップを含み得る：
前記オンラインシステムから命令を受信して前記撮像装置によってキャプチャされた追加の動画データを修正するステップと、
前記受信した命令に応答して前記撮像装置の前記１つ以上のパラメータを修正するステップ。

【0085】

前記受信した命令に応答して前記撮像装置の前記１つ以上のパラメータを修正するステップは、次のステップを含み得る：
前記興味対象ユーザが前記撮像装置の視野内で動くのに付随して前記撮像装置を再配置するステップ。

【0086】

前記撮像装置の１つ以上のパラメータを修正して前記撮像装置によって以後キャプチャされた動画データを修正して前記興味対象ユーザを含む前記動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップは、次のステップを含み得る：
１つ以上のモデルを、前記撮像装置によって以後キャプチャされた前記動画データであって前記興味対象ユーザの動きを特定する動画データに対して、適用するステップと、
前記興味対象ユーザの特定された動きに基づいて前記撮像装置の視野を修正するステップ。

【0087】

本発明による１つの実施形態によれば、コンピュータ実施方法は次のステップを含み得る：
クライアント装置内に含まれる撮像装置の視野内のローカルエリアについてのキャプチャされた動画データを、オンラインシステムにて、受信するステップであって、前記動画データはオンラインシステムの１つ以上のユーザを含む、受信するステップと、
前記動画データ内に含まれる前記オンラインシステムの前記１つ以上のユーザを特定する情報を、検索するステップと、
前記オンラインシステムの閲覧ユーザを特定するステップと、
前記動画データ及び前記動画データ内に含まれる前記オンラインシステムの前記1つ以上のユーザを特定する前記情報を、前記閲覧ユーザと関連付けられた追加のクライアント装置へと送信するステップと、
前記追加のクライアント装置から前記動画データ内に含まれる前記オンラインシステムの前記1つ以上のユーザの興味対象ユーザを特定する情報を受信するステップと、
前記興味対象ユーザを特定する情報を前記クライアント装置へと送信するステップと、
前記クライアント装置の前記撮像装置によってキャプチャされた追加の動画データを受信するステップであって、前記追加の動画データはクロッピング又はズーミングされてより際立たされた前記興味対象ユーザを含む部分を含む、受信するステップと、
前記追加の動画データを前記追加のクライアント装置へと送信するステップ。

【0088】

前記動画データ内に含まれる前記オンラインシステムの前記１つ以上のユーザを特定する情報を、検索するステップは次のステップを含み得る：
前記オンラインシステムを介して前記閲覧ユーザに接続された前記オンラインシステムに含まれる前記オンラインシステムのユーザを特定するステップと、
前記オンラインシステムを介して前記閲覧ユーザに接続された前記オンラインシステムに含まれる前記オンラインシステムのユーザを特定する情報を検索するステップ。

【0089】

前記動画データ内に含まれる前記オンラインシステムの前記１つ以上のユーザを特定する情報を、検索するステップは次のステップを含み得る：
前記オンラインシステムを介して前記閲覧ユーザに接続された前記オンラインシステムに含まれる前記オンラインシステムのユーザを特定するステップと、
前記動画データ内に含まれる前記オンラインシステムの前記ユーザを特定する情報であって、前記オンラインシステムを介して前記閲覧ユーザに接続された前記動画データ内に含まれるユーザを 前記オンラインシステムを介して前記閲覧ユーザに接続されていない動画データ内含有ユーザから 視覚的に区別する情報を、生成するステップ。

【0090】

前記動画データ内に含まれる前記オンラインシステムの前記１つ以上のユーザを特定する情報を、検索するステップは次のステップを含み得る：
前記動画データ内に含まれる前記オンラインシステムの各ユーザについての前記閲覧ユーザの関連性を決定するステップと、
前記動画データ内に含まれる前記オンラインシステムの各ユーザを特定する情報を、前記動画データ内に含まれる前記オンラインシステムの各ユーザについての前記閲覧ユーザの関連性に基づいて、生成するステップ。

【0091】

前記動画データ内に含まれる前記オンラインシステムの各ユーザを特定する情報を、前記動画データ内に含まれる前記オンラインシステムの各ユーザについての前記閲覧ユーザの関連性に基づいて、生成するステップは次のステップを含み得る：
関連性が少なくとも閾値となる前記閲覧ユーザについて、前記動画データ内に含まれる前記オンラインシステムの各ユーザを特定する情報を生成するステップ。

【0092】

前記動画データ内に含まれる前記オンラインシステムの各ユーザを特定する情報を、前記動画データ内に含まれる前記オンラインシステムの各ユーザについての前記閲覧ユーザの関連性に基づいて、生成するステップは次のステップを含み得る：
前記動画データ内に含まれる前記オンラインシステムの前記ユーザを、前記動画データ内に含まれる前記オンラインシステムの前記ユーザについての前記閲覧ユーザの関連性に基づいて、ランク付けするステップと、
前記ランク付けにおける順位が少なくとも閾値となるユーザについて、前記動画データ内に含まれる前記オンラインシステムの各ユーザを特定する情報を、生成するステップ。

【0093】

本発明による１つの実施形態によれば、コンピュータ実施方法は次のステップを含み得る：
前記オンラインシステムにて命令を前記追加のクライアント装置から受信して前記クライアント装置の前記撮像装置によってキャプチャされた動画データを修正するステップと、
前記命令を前記クライアント装置へと送信するステップと、
前記命令に基づいて前記撮像装置によってキャプチャされた追加の動画データを前記クライアント装置から受信するステップと、
前記追加の動画データを前記オンラインシステムから前記追加のクライアント装置へと送信するステップ。

【0094】

本発明による１つの実施形態では、符号化された命令を有するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品においては該命令がプロセッサによって実行されると、該プロセッサによって次のステップがなされ得る：
クライアント装置内に含まれる撮像装置の視野内のローカルエリアについてのキャプチャされた動画データを提供するステップであって、前記動画データはオンラインシステムの１つ以上のユーザを含む、提供するステップと、
前記クライアントによって維持されている１つ以上のモデルを前記キャプチャされた動画データの特徴に対して適用するステップと、
前記キャプチャされた動画データ内に含まれる、オンラインシステムの前記１つ以上のユーザを、位置決めするステップと、
前記動画データを前記オンラインシステムへと送信するステップと、
前記オンラインシステムから前記キャプチャされた動画データ内の興味対象ユーザを特定する情報を受信するステップと、
前記撮像装置の１つ以上のパラメータを修正して前記撮像装置によって以後キャプチャされた動画データを修正して前記興味対象ユーザを含む前記動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップと、
前記修正された１つ以上のパラメータを用いて前記撮像装置によって以後キャプチャされた動画データを、前記オンラインシステムへと送信するステップ。

【0095】

前記撮像装置の１つ以上のパラメータを修正して前記撮像装置によって以後キャプチャされた動画データを修正して前記興味対象ユーザを含む前記動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップは、次のステップを含み得る：
前記撮像装置によって以後キャプチャされた前記動画データを修正して、前記撮像装置によって以後キャプチャされた前記動画データの１つ以上の部分であって前記興味対象ユーザを含まない１つ以上の部分を除去するステップ。

【0096】

前記撮像装置の１つ以上のパラメータを修正して前記撮像装置によって以後キャプチャされた動画データを修正して前記興味対象ユーザを含む前記動画データの部分についてクロッピング又はズーミングして前記興味対象ユーザをより際立たせるステップは、次のステップを含み得る：
前記撮像装置によってキャプチャされた動画データ内の前記興味対象ユーザを特定するステップと、
前記撮像装置の焦点を前記興味対象ユーザへと再調整するステップ。

【0097】

本発明による１つの実施形態では、１つ以上のコンピュータ可読非一時的記憶媒体は、本発明による方法又は前述の実施形態のいずれかを実施するために実行されたときに動作可能であるソフトウェアを具体化し得る。

【0098】

本発明による１つの実施形態では、システムは次の要素を備え得る：１つ以上のプロセッサと、プロセッサに結合された少なくとも１つのメモリであって、該メモリはプロセッサによって実行可能な命令を含み、プロセッサが命令を実行するに際してプロセッサは本発明又は任意の上述の実施形態による命令を実施するように動作可能である、メモリ。

【0099】

本発明による１つの実施形態では、好ましくはコンピュータ可読非一時的記憶媒体を含むコンピュータプログラム製品は、データ処理システム上で実行されたときに、本発明による方法又は前述の実施形態のいずれかを実施するように動作可能であり得る。

【0100】

本発明による１つの実施形態では、それがコンピュータによって実施される場合には特に、方法は次のステップを含み得る：
１つ以上のモデルをクライアント装置にて維持するステップであって、各モデルは１つ以上の規則を適用して 前記撮像装置によってキャプチャされた前記動画データの特徴に基づいて 前記クライアント装置の撮像装置によってキャプチャされた動画データ内にいるオンラインシステムのユーザの身体のどの部分であるかを決定するステップと、
クライアント装置内に含まれる前記撮像装置の視野内のローカルエリアについてのキャプチャされた動画データを提供するステップと、
前記キャプチャされた動画データ内に含まれる前記ユーザを位置決めするステップと、
１つ以上の前記維持されているモデルを前記キャプチャされた動画データに適用するステップと、前記１つ以上のモデルの適用に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの部分を１つ以上含む前記動画データの部分についてクロッピング又はズーミングするステップと、
前記修正された動画データを前記オンラインシステムへと送信するステップ。

【0101】

前記１つ以上のモデルの適用に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの部分を１つ以上含む前記動画データの前記部分についてクロッピング又はズーミングするステップは次のステップを含み得る：
前記ユーザの身体の関節を特定するステップと、
前記１つ以上のモデルに含まれる１つ以上の規則に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの身体の異なる部分に対応する関節を含めるステップ。

【0102】

前記１つ以上のモデルの適用に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの部分を１つ以上含む前記動画データの前記部分についてクロッピング又はズーミングするステップは次のステップを含み得る：
下記の群から１つ以上を選択したものが含まれることとなるように前記動画データを修正するステップ：前記ユーザの頭部、前記ユーザの胴体、前記ユーザの全身、及び前記１つ以上のモデル内に含まれる１つ以上の規則の適用に基づいてのそれらについての任意の組み合わせからなる群。

【0103】

前記１つ以上の規則は下記の群から選択した１つ以上に基づいていることができる：前記撮像装置によって以前キャプチャされた動画データの内容、前記撮像装置によって以前キャプチャされた動画データ内の前記ユーザの動き、及びそれらについての任意の組み合わせからなる群。

【0104】

前記１つ以上のモデルの適用に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの部分を１つ以上含む前記動画データの前記部分についてクロッピング又はズーミングするステップは次のステップを含み得る：
前記１つ以上のモデルの適用から、前記ローカルエリア内のオブジェクトに向かって前記ユーザが身振りしていることを決定するステップと、
前記撮像装置の倍率を減少させて前記撮像装置によってキャプチャされる追加の動画データが前記ユーザと前記ユーザからの身振りを向けられている前記オブジェクトとを含むようにするステップ。

【0105】

前記１つ以上のモデルの適用に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの部分を１つ以上含む前記動画データの前記部分についてクロッピング又はズーミングするステップは次のステップを含み得る：
前記１つ以上のモデルの適用から、前記ローカルエリア内のオブジェクトを前記ユーザがホールドしていることを決定するステップと、
撮像装置のヴォーカルポイントをオブジェクトへと移し、また、撮像装置の倍率を増大させるステップ。

【0106】

前記１つ以上のモデルの適用に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの部分を１つ以上含む前記動画データの前記部分についてクロッピング又はズーミングするステップは次のステップを含み得る：
前記１つ以上のモデルの適用に基づいて前記撮像装置の視野に影響を及ぼす前記撮像装置の１つ以上のパラメータを修正するステップ。

【0107】

撮像装置のパラメータには、撮像装置の倍率が含まれ得る。

【0108】

前記１つ以上のモデルの適用に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの部分を１つ以上含む前記動画データの前記部分についてクロッピング又はズーミングするステップは次のステップを含み得る：
前記撮像装置によってキャプチャされた動画データを修正して前記特定されたユーザを含む前記キャプチャされた動画データの部分の倍率を修正するステップ。

【0109】

前記キャプチャされた動画データ内に含まれる前記ユーザを位置決めするステップは次のステップを含み得る：
前記オンラインシステムから前記ユーザを特定する情報を受信するステップと、
前記受信された情報に基づいて、前記特定されたユーザを含む前記撮像装置によってキャプチャされた動画データの部分を特定するステップ。

【0110】

本発明による１つの実施形態では、符号化された命令を有するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品においては該命令がプロセッサによって実行されると、該プロセッサによって次のステップがなされ得る：
１つ以上のモデルをクライアント装置にて維持するステップであって、各モデルは１つ以上の規則を適用して 前記撮像装置によってキャプチャされた前記動画データの特徴に基づいて 前記クライアント装置の撮像装置によってキャプチャされた動画データ内にいるユーザの身体のどの部分であるかを決定するステップと、
クライアント装置内に含まれる前記撮像装置の視野内のローカルエリアについてのキャプチャされた動画データを提供するステップと、
前記キャプチャされた動画データ内に含まれる前記ユーザを位置決めするステップと、
１つ以上の前記維持されているモデルを前記キャプチャされた動画データに適用するステップと、
前記１つ以上のモデルの適用に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの部分を１つ以上含む前記動画データの部分についてクロッピング又はズーミングするステップと、
前記修正された動画データを前記オンラインシステムへと送信するステップ。

【0111】

前記１つ以上のモデルの適用に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの部分を１つ以上含む前記動画データの前記部分についてクロッピング又はズーミングするステップは次のステップを含み得る：
前記ユーザの身体の関節を特定するステップと、
前記１つ以上のモデルに含まれる１つ以上の規則に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの身体の異なる部分に対応する関節を含めるステップ。

【0112】

前記１つ以上のモデルの適用に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの部分を１つ以上含む前記動画データの前記部分についてクロッピング又はズーミングするステップは次のステップを含み得る：
下記の群から１つ以上を選択したものが含まれることとなるように前記動画データを修正するステップ：前記ユーザの頭部、前記ユーザの胴体、前記ユーザの全身、及び前記１つ以上のモデル内に含まれる１つ以上の規則の適用に基づいてのそれらについての任意の組み合わせからなる群。

【0113】

前記１つ以上の規則は下記の群から選択した１つ以上に基づいていることができる：前記撮像装置によって以前キャプチャされた動画データの内容、前記撮像装置によって以前キャプチャされた動画データ内の前記ユーザの動き、及びそれらについての任意の組み合わせからなる群。

【0114】

前記１つ以上のモデルの適用に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの部分を１つ以上含む前記動画データの前記部分についてクロッピング又はズーミングするステップは次のステップを含み得る：
前記１つ以上のモデルの適用から、前記ローカルエリア内のオブジェクトに向かって前記ユーザが身振りしていることを決定するステップと、
前記撮像装置の倍率を減少させて前記撮像装置によってキャプチャされる追加の動画データが前記ユーザと前記ユーザからの身振りを向けられている前記オブジェクトとを含むようにするステップ。

【0115】

前記１つ以上のモデルの適用に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの部分を１つ以上含む前記動画データの前記部分についてクロッピング又はズーミングするステップは次のステップを含み得る：
前記１つ以上のモデルの適用から、前記ローカルエリア内のオブジェクトを前記ユーザがホールドしていることを決定するステップと、
前記撮像装置の焦点を前記オブジェクトへと移し、また、前記撮像装置の倍率を増大させるステップ。

【0116】

前記１つ以上のモデルの適用に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの部分を１つ以上含む前記動画データの前記部分についてクロッピング又はズーミングするステップは次のステップを含み得る：
前記１つ以上のモデルの適用に基づいて前記撮像装置の視野に影響を及ぼす前記撮像装置の１つ以上のパラメータを修正するステップ。

【0117】

撮像装置のパラメータには、撮像装置の倍率が含まれ得る。

【0118】

前記１つ以上のモデルの適用に基づいて、前記撮像装置によってキャプチャされた動画データを修正して前記ユーザの部分を１つ以上含む前記動画データの前記部分についてクロッピング又はズーミングするステップは次のステップを含み得る：
前記撮像装置によってキャプチャされた動画データを修正して前記ユーザを含む前記キャプチャされた動画データの部分の倍率を修正するステップ。

【0119】

前記キャプチャされた動画データ内に含まれる前記ユーザを位置決めするステップは次のステップを含み得る：
前記オンラインシステムから前記ユーザを特定する情報を受信するステップと、
前記受信された情報に基づいて、前記特定されたユーザを含む前記撮像装置によってキャプチャされた動画データの部分を特定するステップ。

【0120】

本発明による１つの実施形態では、１つ以上のコンピュータ可読非一時的記憶媒体は、本発明による方法又は前述の実施形態のいずれかを実施するために実行されたときに動作可能であるソフトウェアを具体化し得る。

【0121】

本発明による１つの実施形態では、システムは次の要素を備え得る：１つ以上のプロセッサと、プロセッサに結合された少なくとも１つのメモリであって、該メモリはプロセッサによって実行可能な命令を含み、プロセッサが命令を実行するに際してプロセッサは本発明又は任意の上述の実施形態による命令を実施するように動作可能である、メモリ。

【0122】

本発明による１つの実施形態では、好ましくはコンピュータ可読非一時的記憶媒体を含むコンピュータプログラム製品は、データ処理システム上で実行されたときに、本発明による方法又は前述の実施形態のいずれかを実施するように動作可能であり得る。

【0123】

本発明による１つの実施形態では、それがコンピュータによって実施される場合には特に、方法は次のステップを含み得る：
クライアント装置にて１つ以上のモデルを維持するステップであって、各モデルは１つ以上の規則を適用して前記クライアント装置の撮像装置によってキャプチャされた動画データ内のユーザを位置決めし且つ前記動画データ内に示すべき１つ以上の前記位置決め済みユーザを決定する、維持するステップと、
クライアント装置内に含まれる前記撮像装置の視野内のローカルエリアについての動画データをキャプチャするステップと、
前記キャプチャされた動画データ内にて複数のユーザを位置決めするステップと、
１つ以上の前記維持されているモデルを前記キャプチャされた動画データに適用するステップと、
前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップと、
前記修正された動画データを前記クライアント装置からオンラインシステムへと送信するステップ。

【0124】

前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップは、次のステップを含み得る：
前記１つ以上の前記維持されたモデルの適用に基づいて前記撮像装置の１つ以上のパラメータを修正するステップと、
前記ローカルエリアについての追加の動画データを、前記撮像装置の前記修正された１つ以上のパラメータを用いて、キャプチャするステップ。

【0125】

前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップは、次のステップを含み得る：
１つ以上の維持されているモデルの適用によって、前記位置決め済みユーザの視線が向けられているキャプチャされた動画データ内の箇所を決定するステップと、
前記撮像装置の焦点を、少なくとも閾値となる人数分の位置決め済みユーザの視線が向けられている位置決め済みユーザへと、修正するステップ。

【0126】

前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップは、次のステップを含み得る：
前記キャプチャされた動画データ内で位置決め済みの異なるユーザ間の距離を決定するステップと、
追加でキャプチャされた動画データが相互に閾値距離内となっているユーザを含むものとなるように前記撮像装置の焦点を修正するステップ。

【0127】

前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップは、次のステップを含み得る：
前記クライアント装置に含まれる音声キャプチャ装置を介して音声データをキャプチャするステップと、
前記維持されているモデルの１つ以上を、前記キャプチャされた音声データと前記キャプチャされた動画データとに対して適用することによって、前記ローカルエリア内の前記音声データの源泉を決定するステップと、
前記ローカルエリア内の前記音声データの前記源泉はユーザであると決定するステップと、
前記ローカルエリア内の前記音声データの前記源泉は前記ユーザであると決定したことに応答して、前記撮像装置の焦点を、前記音声データの前記源泉へと修正するステップ。

【0128】

前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップは、次のステップを含み得る：
前記維持されているモデルの１つ以上の適用によって位置決め済みユーザの動きを特定するステップと、
前記位置決め済みユーザの特定された動きに基づいて前記撮像装置の視野を修正するステップ。

【0129】

前記維持されているモデルの１つ以上の適用によって位置決め済みユーザの動きを特定するステップは、次のステップを含み得る：
前記位置決め済みユーザが前記ローカルエリア内に含まれるオブジェクトに向かって身振りしていると特定するステップ。

【0130】

前記撮像装置の視野を修正するステップは、次のステップを含み得る：
前記撮像装置の倍率を減少させて前記撮像装置によってキャプチャされる追加の動画データが前記位置決め済みユーザと前記位置決め済みユーザからの身振りを向けられている前記オブジェクトとを含むようにするステップ。

【0131】

前記維持されているモデルの１つ以上の適用によって位置決め済みユーザの動きを特定するステップは、次のステップを含み得る：
前記１つ以上の維持されているモデルの適用から、前記ローカルエリア内のオブジェクトを前記位置決め済みユーザがホールドしていることを決定するステップ。

【0132】

前記撮像装置の視野を修正するステップは、次のステップを含み得る：
前記撮像装置の焦点を前記オブジェクトへと移し、また、前記撮像装置の倍率を増大させるステップ。

【0133】

前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップは、次のステップを含み得る：
前記キャプチャされた動画データを修正するステップであって、各位置決め済みユーザが、前記キャプチャされた動画データ内において少なくとも閾値寸法にて少なくとも閾値期間にわたって、提示されることとなる、修正するステップ。

【0134】

前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップは、次のステップを含み得る：
前記キャプチャされた動画データを修正するステップであって、各位置決め済みユーザが、前記キャプチャされた動画データ内において少なくとも閾値期間にわたって、提示されることとなる、修正するステップ。

【0135】

前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップは、次のステップを含み得る：
前記維持されているモデルの１つ以上の適用によって前記キャプチャされた動画データ内のユーザの顔を特定するステップと、
前記キャプチャされた動画データを修正して、前記キャプチャされた動画データの、前記ユーザの前記顔を含まない部分を除去するステップ。

【0136】

前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップは、次のステップを含み得る：
前記キャプチャされた動画データを修正して前記位置決め済みユーザの各々を含めるステップ。

【0137】

前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップは、次のステップを含み得る：
前記１つ以上の維持されているモデルの適用によって前記キャプチャされた動画データを安定化するステップ。

【0138】

前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップは、次のステップを含み得る：
比較するステップであって、前記キャプチャされた動画データ内の位置決め済みユーザを、前記キャプチャされた動画データで少なくとも閾値寸法を伴って以前提示されたことがある前記キャプチャされた動画データ内に含まれるユーザについて記述する格納済みデータと、比較するステップと、
前記キャプチャされた動画データを修正して前記位置決め済みユーザを際立って提示するステップであって、該ステップは、前記特定されたユーザが、前記キャプチャされた動画データ内に含まれる以前は少なくとも閾値寸法を伴っていたユーザに、前記キャプチャされた動画データで合致しないと決定した比較ステップに応じてなされる、ステップ。

【0139】

本発明による１つの実施形態では、符号化された命令を有するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品においては該命令がプロセッサによって実行されると、該プロセッサによって次のステップがなされ得る：
クライアント装置にて１つ以上のモデルを維持するステップであって、各モデルは１つ以上の規則を適用して前記クライアント装置の撮像装置によってキャプチャされた動画データ内のユーザを位置決めし且つ前記動画データの特徴から前記動画データ内に示すべき１つ以上の前記位置決め済みユーザを決定する、維持するステップと、
クライアント装置内に含まれる前記撮像装置の視野内のローカルエリアについての動画データをキャプチャするステップと、
前記キャプチャされた動画データ内にて複数のユーザを位置決めするステップと、
１つ以上の前記維持されているモデルを前記キャプチャされた動画データに適用するステップと、
前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップ。
前記修正された動画データを前記クライアント装置からオンラインシステムへと送信するステップ。

【0140】

前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップは、次のステップを含み得る：
１つ以上の維持されているモデルの適用によって、前記位置決め済みユーザの視線が向けられているキャプチャされた動画データ内の箇所を決定するステップと、
前記撮像装置の焦点を、少なくとも閾値となる人数分の既特定人の視線が向けられている位置決め済み人物へと、修正するステップ。

【0141】

前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップは、次のステップを含み得る：
前記キャプチャされた動画データ内で位置決め済みの異なるユーザ間の距離を決定するステップと、
追加でキャプチャされた動画データが相互に閾値距離内となっている人物を含むものとなるように前記撮像装置の焦点を修正するステップ。

【0142】

前記キャプチャされた動画データを修正して前記１つ以上の前記維持されているモデルの適用に基づいて前記位置決め済みユーザの１つ以上を示すステップは、次のステップを含み得る：
前記クライアント装置に含まれる音声キャプチャ装置を介して音声データをキャプチャするステップと、
前記維持されているモデルの１つ以上を、前記キャプチャされた音声データと前記キャプチャされた動画データとに対して適用することによって、前記ローカルエリア内の前記音声データの源泉を決定するステップと、
前記ローカルエリア内の前記音声データの前記源泉は位置決め済みユーザであると決定するステップと、
前記ローカルエリア内の前記音声データの前記源泉は前記位置決め済みユーザであると決定したことに応答して、前記撮像装置の焦点を、前記音声データの前記源泉へと修正するステップ。

【0143】

本発明による１つの実施形態では、１つ以上のコンピュータ可読非一時的記憶媒体は、本発明による方法又は前述の実施形態のいずれかを実施するために実行されたときに動作可能であるソフトウェアを具体化し得る。

【0144】

本発明による１つの実施形態では、システムは次の要素を備え得る：１つ以上のプロセッサと、プロセッサに結合された少なくとも１つのメモリであって、該メモリはプロセッサによって実行可能な命令を含み、プロセッサが命令を実行するに際してプロセッサは本発明又は任意の上述の実施形態による命令を実施するように動作可能である、メモリ。

【0145】

本発明による１つの実施形態では、好ましくはコンピュータ可読非一時的記憶媒体を含むコンピュータプログラム製品は、データ処理システム上で実行されたときに、本発明による方法又は前述の実施形態のいずれかを実施するように動作可能であり得る。

【図1】

【図2】

【図3】

【図4】