ホーム > 特許ランキング > Ｇｏｏｇｌｅ ＬＬＣ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-27
(54)【発明の名称】ビデオクラスタリングおよび分析
(51)【国際特許分類】
H04N 21/83 20110101AFI20231220BHJP
G06F 16/78 20190101ALI20231220BHJP
G06F 16/75 20190101ALI20231220BHJP
【ＦＩ】
H04N21/83
G06F16/78
G06F16/75
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023524774
(86)(22)【出願日】2022-10-07
(85)【翻訳文提出日】2023-06-20
(86)【国際出願番号】 US2022046006
(87)【国際公開番号】W WO2023080990
(87)【国際公開日】2023-05-11
(31)【優先権主張番号】287859
(32)【優先日】2021-11-05
(33)【優先権主張国・地域又は機関】IL
(81)【指定国・地域】
(71)【出願人】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ
【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ツァヒ・ジルベルステイン
(72)【発明者】
【氏名】アンドレイ・ウラジミロヴィッチ・マルキン
【テーマコード（参考）】
5B175
5C164
【Ｆターム（参考）】
5B175DA04
5B175FA03
5B175FB03
5B175KA12
5C164MB00P
5C164SB31S
5C164SD11S
(57)【要約】
コンテンツ分析を改善するための、コンピュータ記憶媒体上に符号化されたコンピュータプログラムを含む、方法、システム、および装置。方法は、ビデオ発行者によってアップロードされたビデオを取得するステップを含む。概念インデックスが、所与のビデオごとに生成される。概念インデックスは、少なくとも(i)ビデオにおいて示される1つまたは複数のオブジェクトによって伝えられる概念、および(ii)所与のビデオにおける概念の顕著さのレベルに基づいて生成される。ビデオの概念インデックスに基づいて、複数のビデオグループが作成される。各所与のビデオグループが、所与のビデオグループの他のビデオとの指定されたレベルの類似性を各々有する2つ以上の異なるビデオを含む。フィードバックループを介して取得されたデータに基づいて、複数のビデオグループについてのインサイトが生成される。少なくとも1つのビデオの配信が、少なくとも1つのビデオを含む所与のビデオグループについてのインサイトに基づいて変更される。
【特許請求の範囲】
【請求項1】
データ処理装置によって実施される方法であって、サービス装置によって、ビデオ発行者によってアップロードされたビデオを取得するステップと、
前記サービス装置によって、所与のビデオごとに概念インデックスを生成するステップであって、前記概念インデックスが、少なくとも(i)前記ビデオにおいて示される1つまたは複数の物体によって伝えられる概念、および(ii)前記所与のビデオにおける前記概念の顕著さのレベルに基づいて生成される、生成するステップと、
前記サービス装置によって、前記ビデオの前記概念インデックスに基づいて、複数のビデオグループを作成するステップであって、前記複数のビデオグループのうちの各所与のビデオグループが、前記所与のビデオグループの他のビデオとの指定されたレベルの類似性を各々有する2つ以上の異なるビデオを含むように作成される、作成するステップと、
前記サービス装置によって、フィードバックループを介して取得されたデータに基づいて、前記複数のビデオグループについてのインサイトを生成するステップと、
少なくとも1つのビデオが、前記少なくとも1つのビデオを含む前記所与のビデオグループについての前記インサイトに基づいて、ネットワークを通じて配信される方法を、前記サービス装置によって変更するステップと
を含む、方法。
【請求項2】
所与のビデオごとに前記概念インデックスを生成するステップが、前記ビデオのうちの所与のビデオごとに、
前記所与のビデオの複数の部分について1つまたは複数の知識グラフを取得するステップであって、前記知識グラフの各々が、前記所与のビデオによって伝えられる1つまたは複数の概念を表す、取得するステップと、
所与の知識グラフごとに、前記所与の知識グラフによって表される前記概念の顕著さの前記レベルを示すプレゼンスシェアを決定するステップであって、前記概念インデックスが、少なくとも一部は、前記所与のビデオにおける前記所与の知識グラフのインスタンスの数および前記ビデオの長さにわたる前記所与の知識グラフの総プレゼンスシェアに基づいて生成される、決定するステップと
を含む、請求項1に記載の方法。
【請求項3】
所与のビデオごとに前記概念インデックスを生成するステップが、前記所与のビデオに対して取得された所与の知識グラフごとに、
前記所与のビデオの前記長さにわたって前記所与の知識グラフの前記プレゼンスシェアを合計するステップと、
前記所与の知識グラフによって記述される前記所与のビデオのいくつかの部分を決定するステップと、
部分の前記数に対する前記合計されたプレゼンスシェアの比に基づいて、前記所与のビデオについての前記概念インデックスを生成するステップと
を含む、請求項2に記載の方法。
【請求項4】
前記ビデオ発行者によってアップロードされた複数のビデオに対して取得された所与の知識グラフごとに、前記所与の知識グラフによって表される前記複数のビデオの総数に基づいて、前記所与の知識グラフの逆文書頻度を生成するステップと、
前記複数のビデオの各々に対して前記所与の知識グラフの総プレゼンスシェアに、前記生成された逆文書頻度を適用するステップと
をさらに含む、請求項3に記載の方法。
【請求項5】
前記複数のビデオの中からビデオのペアを選択するステップと、ビデオの前記ペア間の共有知識グラフのカウントを生成するステップであって、各共有知識グラフが、ビデオの前記ペアの各ビデオを表す前記知識グラフの1つである所与の知識グラフである、生成するステップと、
ビデオの前記ペア間の特定の共有知識グラフごとに、
ビデオの前記ペアのうちのいずれかのビデオについて、前記知識グラフの最小プレゼンスシェアに基づいて前記特定の共有知識グラフの共有類似性スコアを導出するステップと、
ビデオの前記ペアのうちのいずれかのビデオについて、前記共有知識グラフの最大プレゼンスシェアに基づいて前記特定の共有知識グラフの考えられる類似性スコアを導出するステップと
をさらに含む、請求項4に記載の方法。
【請求項6】
ビデオの前記ペアの前記ビデオの一方のみを表す似ていない知識グラフの数に基づいて非類似性カウントを生成するステップと、ビデオの前記ペアの各ビデオの前記似ていない知識グラフの前記概念インデックスに基づいて、ビデオの前記ペアの非類似性スコアを計算するステップと、
前記非類似性スコア、前記考えられる類似性スコア、および前記共有類似性スコアに基づいて、ビデオの前記ペアの1つまたは複数のクラスタリングファクタを生成するステップと
をさらに含む、請求項5に記載の方法。
【請求項7】
ビデオの前記複数のグループを作成するステップが、ビデオのペアごとに、ビデオの前記ペアの前記クラスタリングファクタを、前記指定されたレベルの類似性と比較するステップと、
前記クラスタリングファクタが前記指定されたレベルを満たすビデオの第1のペアを、同じグループに含むステップと、
ビデオの前記第1のペアに対して前記クラスタリングファクタが前記指定されたレベルを満たさない第3のビデオを、前記同じグループから除外するステップと
を含む、請求項6に記載の方法。
【請求項8】
システムであって、メモリデバイスと、
前記メモリデバイスと対話し、命令を実行するように構成された1つまたは複数のプロセッサであって、前記命令が前記1つまたは複数のプロセッサに動作を行わせ、前記動作が、
ビデオ発行者によってアップロードされたビデオを取得することと、
所与のビデオごとに概念インデックスを生成することであって、前記概念インデックスが、少なくとも(i)前記ビデオにおいて示される1つまたは複数の物体によって伝えられる概念、および(ii)前記所与のビデオにおける前記概念の顕著さのレベルに基づいて生成される、生成することと、
前記ビデオの前記概念インデックスに基づいて、複数のビデオグループを作成することであって、前記複数のビデオグループのうちの各所与のビデオグループが、前記所与のビデオグループの他のビデオとの指定されたレベルの類似性を各々有する2つ以上の異なるビデオを含むように作成される、作成することと、
フィードバックループを介して取得されたデータに基づいて、前記複数のビデオグループについてのインサイトを生成することと、
少なくとも1つのビデオが、前記少なくとも1つのビデオを含む前記所与のビデオグループについての前記インサイトに基づいて、ネットワークを通じて配信される方法を変更することと
を含む、プロセッサと
を備える、システム。
【請求項9】
所与のビデオごとに前記概念インデックスを生成することが、前記ビデオのうちの所与のビデオごとに、
前記所与のビデオの複数の部分について1つまたは複数の知識グラフを取得することであって、前記知識グラフの各々が、前記所与のビデオによって伝えられる1つまたは複数の概念を表す、取得することと、
所与の知識グラフごとに、前記所与の知識グラフによって表される前記概念の顕著さの前記レベルを示すプレゼンスシェアを決定することであって、前記概念インデックスが、少なくとも一部は、前記所与のビデオにおける前記所与の知識グラフのインスタンスの数および前記ビデオの長さにわたる前記所与の知識グラフの総プレゼンスシェアに基づいて生成される、決定することと
を含む、請求項8に記載のシステム。
【請求項10】
所与のビデオごとに前記概念インデックスを生成することが、前記所与のビデオに対して取得された所与の知識グラフごとに、
前記所与のビデオの前記長さにわたって前記所与の知識グラフの前記プレゼンスシェアを合計することと、
前記所与の知識グラフによって記述される前記所与のビデオの部分の数を決定することと、
部分の前記数に対する前記合計されたプレゼンスシェアの比に基づいて、前記所与のビデオについての前記概念インデックスを生成することと
を含む、請求項9に記載のシステム。
【請求項11】
前記命令が、前記1つまたは複数のプロセッサに動作を行わせ、前記動作が、前記ビデオ発行者によってアップロードされた複数のビデオに対して取得された所与の知識グラフごとに、
前記所与の知識グラフによって表される前記複数のビデオの総数に基づいて、前記所与の知識グラフの逆文書頻度を生成することと、
前記複数のビデオの各々に対して前記所与の知識グラフの総プレゼンスシェアに、前記生成された逆文書頻度を適用することと
をさらに含む、請求項10に記載のシステム。
【請求項12】
前記命令が、前記1つまたは複数のプロセッサに、前記複数のビデオの中からビデオのペアを選択することと、
ビデオの前記ペア間の共有知識グラフのカウントを生成することであって、各共有知識グラフが、ビデオの前記ペアの各ビデオを表す前記知識グラフのうちの所与の知識グラフである、生成することと、
ビデオの前記ペア間の特定の共有知識グラフごとに、
ビデオの前記ペアのうちのいずれかのビデオについて、前記知識グラフの最小プレゼンスシェアに基づいて前記特定の共有知識グラフの共有類似性スコアを導出することと、
ビデオの前記ペアのうちのいずれかのビデオについて、前記共有知識グラフの最大プレゼンスシェアに基づいて前記特定の共有知識グラフの考えられる類似性スコアを導出することと
をさらに含む動作を行わせる、請求項11に記載のシステム。
【請求項13】
前記命令が、前記1つまたは複数のプロセッサに動作を行わせ、前記動作が、ビデオの前記ペアの前記ビデオの一方のみを表す似ていない知識グラフの数に基づいて非類似性カウントを生成することと、
ビデオの前記ペアの各ビデオの前記似ていない知識グラフの前記概念インデックスに基づいて、ビデオの前記ペアの非類似性スコアを計算することと、
前記非類似性スコア、前記考えられる類似性スコア、および前記共有類似性スコアに基づいて、ビデオの前記ペアの1つまたは複数のクラスタリングファクタを生成することと
をさらに含む、請求項12に記載のシステム。
【請求項14】
ビデオの前記複数のグループを作成することが、ビデオのペアごとに、ビデオの前記ペアの前記クラスタリングファクタを、前記指定されたレベルの類似性と比較することと、
前記クラスタリングファクタが前記指定されたレベルを満たすビデオの第1のペアを、同じグループに含むことと、
ビデオの前記第1のペアに対して前記クラスタリングファクタが前記指定されたレベルを満たさない第3のビデオを、前記同じグループから除外することと
を含む、請求項13に記載のシステム。
【請求項15】
命令を記憶する1つまたは複数の非一時的コンピュータ可読媒体であって、前記命令が、1つまたは複数のデータ処理装置によって実行されると、前記1つまたは複数のデータ処理装置に動作を実行させ、前記動作が、ビデオ発行者によってアップロードされたビデオを取得することと、
所与のビデオごとに概念インデックスを生成することであって、前記概念インデックスが、少なくとも(i)前記ビデオにおいて示される1つまたは複数の物体によって伝えられる概念、および(ii)前記所与のビデオにおける前記概念の顕著さのレベルに基づいて生成される、生成することと、
前記ビデオの前記概念インデックスに基づいて、複数のビデオグループを作成することであって、前記複数のビデオグループのうちの各所与のビデオグループが、前記所与のビデオグループの他のビデオとの指定されたレベルの類似性を各々有する2つ以上の異なるビデオを含むように作成される、作成することと、
フィードバックループを介して取得されたデータに基づいて、前記複数のビデオグループについてのインサイトを生成することと、
少なくとも1つのビデオが、前記少なくとも1つのビデオを含む前記所与のビデオグループについての前記インサイトに基づいてネットワークを通じて配信される方法を変更することと
を含む、非一時的コンピュータ可読媒体。
【請求項16】
所与のビデオごとに前記概念インデックスを生成することが、前記ビデオのうちの所与のビデオごとに、
前記所与のビデオの複数の部分について1つまたは複数の知識グラフを取得することであって、前記知識グラフの各々が、前記所与のビデオによって伝えられる1つまたは複数の概念を表す、取得することと、
所与の知識グラフごとに、前記所与の知識グラフによって表される前記概念の顕著さの前記レベルを示すプレゼンスシェアを決定することであって、前記概念インデックスが、少なくとも一部は、前記所与のビデオにおける前記所与の知識グラフのインスタンスの数および前記ビデオの長さにわたる前記所与の知識グラフの総プレゼンスシェアに基づいて生成される、決定することと
を含む、請求項15に記載の非一時的コンピュータ可読媒体。
【請求項17】
所与のビデオごとに前記概念インデックスを生成することが、前記所与のビデオに対して取得された所与の知識グラフごとに、
前記所与のビデオの前記長さにわたって前記所与の知識グラフの前記プレゼンスシェアを合計することと、
前記所与の知識グラフによって記述される前記所与のビデオの部分の数を決定することと、
部分の前記数に対する前記合計されたプレゼンスシェアの比に基づいて、前記所与のビデオについての前記概念インデックスを生成することと
を含む、請求項16に記載の非一時的コンピュータ可読媒体。
【請求項18】
前記命令が、前記1つまたは複数のプロセッサに動作を行わせ、前記動作が、前記ビデオ発行者によってアップロードされた複数のビデオに対して取得された所与の知識グラフごとに、
前記所与の知識グラフによって表される前記複数のビデオの総数に基づいて、前記所与の知識グラフの逆文書頻度を生成することと、
前記複数のビデオの各々に対して前記所与の知識グラフの総プレゼンスシェアに、前記生成された逆文書頻度を適用することと
をさらに含む、請求項17に記載の非一時的コンピュータ可読媒体。
【請求項19】
前記命令が、前記1つまたは複数のプロセッサに動作を行わせ、前記動作が、前記複数のビデオの中からビデオのペアを選択することと、
ビデオの前記ペア間の共有知識グラフのカウントを生成することであって、各共有知識グラフが、ビデオの前記ペアの各ビデオを表す前記知識グラフのうちの所与の知識グラフである、生成することと、
ビデオの前記ペア間の特定の共有知識グラフごとに、
ビデオの前記ペアのうちのいずれかのビデオについて、前記知識グラフの最小プレゼンスシェアに基づいて前記特定の共有知識グラフの共有類似性スコアを導出することと、
ビデオの前記ペアのうちのいずれかのビデオについて、前記共有知識グラフの最大プレゼンスシェアに基づいて前記特定の共有知識グラフの考えられる類似性スコアを導出することと
をさらに含む、請求項18に記載の非一時的コンピュータ可読媒体。
【請求項20】
前記命令が、前記1つまたは複数のプロセッサに動作を行わせ、前記動作が、ビデオの前記ペアの前記ビデオの一方のみを表す似ていない知識グラフの数に基づいて非類似性カウントを生成することと、
ビデオの前記ペアの各ビデオの前記似ていない知識グラフの前記概念インデックスに基づいて、ビデオの前記ペアの非類似性スコアを計算することと、
前記非類似性スコア、前記考えられる類似性スコア、および前記共有類似性スコアに基づいて、ビデオの前記ペアの1つまたは複数のクラスタリングファクタを生成することと
をさらに含む、請求項19に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、その全体が参照により本明細書に組み込まれる、2021年11月5日に出願されたイスラエル出願第287859号の優先権を主張する。
本出願は、その全体が参照により本明細書に組み込まれる、2021年11月5日に出願されたイスラエル出願第287859号の優先権を主張する。
【背景技術】
【0002】
本明細書は、ビデオのデータ処理および分析に関する。オンラインビデオの量は、長年にわたって増大し、コンピュータを使う誰もが、今ではビデオコンテンツをアップロードすることができる。分析のために同様のビデオのグループを識別することは、同様の概念を伝えるためにビデオを使用できる方法が異なるために困難である。
【発明の概要】
【課題を解決するための手段】
【0003】
一般に、本明細書で説明する主題の1つの発明的態様が、ビデオ発行者によってアップロードされたビデオを、サービス装置によって取得するアクションと、所与のビデオごとに概念インデックスを、サービス装置によって生成するアクションであって、概念インデックスが、少なくとも(i)ビデオにおいて示される1つまたは複数のオブジェクトによって伝えられる概念と、(ii)所与のビデオにおける概念の顕著さのレベルとに基づいて生成される、生成するアクションと、サービス装置によって、ビデオの概念インデックスに基づいて複数のビデオグループを作成するアクションであって、複数のビデオグループのうちの各所与のビデオグループが、所与のビデオグループの他のビデオとの指定されたレベルの類似性を各々有する2つ以上の異なるビデオを含むように作成される、作成するアクションと、サービス装置によって、フィードバックループを通して取得されたデータに基づいて、複数のビデオグループについてのインサイトを生成するアクションと、少なくとも1つのビデオを含む所与のビデオグループについてのインサイトに基づいて、少なくとも1つのビデオがネットワークを通じて配信される方法を、サービス装置によって変更するアクションとを含む方法において具体化され得る。
【0004】
この態様の他の実施形態は、対応するシステム、装置、およびコンピュータ記憶デバイス上に符号化された、方法のアクションを実行するように構成されたコンピュータプログラムを含む。
【0005】
これらおよび他の実施形態は、各々、以下の特徴のうちの1つまたは複数を随意に含み得る。所与のビデオごとに概念インデックスを生成することは、ビデオのうちの所与のビデオごとに、所与のビデオの複数の部分についての1つまたは複数の知識グラフを取得することであって、知識グラフの各々が、所与のビデオによって伝えられる1つまたは複数の概念を表す、取得することと、所与の知識グラフごとに、所与の知識グラフによって表される概念の顕著さのレベルを示すプレゼンスシェアを決定することであって、概念インデックスが、少なくとも部分的に、所与のビデオにおける所与の知識グラフのインスタンスの数およびビデオの長さにわたる所与の知識グラフの総プレゼンスシェアに基づいて生成される、決定することとを含むことができる。
【0006】
所与のビデオごとに概念インデックスを生成することは、所与のビデオに対して取得された所与の知識グラフごとに、所与のビデオの長さにわたって所与の知識グラフのプレゼンスシェアを合計することと、所与の知識グラフによって記述される所与のビデオのいくつかの部分を決定することと、いくつかの部分に対する合計プレゼンスシェアの比に基づいて、所与のビデオについての概念インデックスを生成することとを含むことができる。
【0007】
方法は、ビデオ発行者によってアップロードされた複数のビデオに対して取得された所与の知識グラフごとに、所与の知識グラフによって表される複数のビデオの総数に基づいて所与の知識グラフに対する逆文書頻度測度を生成することと、複数のビデオの各々に対して所与の知識グラフの総プレゼンスシェアに、生成された逆文書頻度を適用することとを含むことができる。
【0008】
方法は、複数のビデオの中からビデオのペアを選択するステップと、ビデオのペア間の共有知識グラフのカウントを生成するステップであって、各共有知識グラフが、ビデオのペアの各ビデオを表す知識グラフの1つである所与の知識グラフである、生成するステップと、ビデオのペア間の特定の共有知識グラフごとに、ビデオのペアのうちのいずれかのビデオに対して知識グラフの最小プレゼンスシェアに基づいて特定の共有知識グラフの共有類似性スコアを導出するステップと、ビデオのペアのうちのいずれかのビデオに対して知識グラフの最大プレゼンスシェアに基づいて特定の共有知識グラフの考えられる類似性スコアを導出するステップとを含むことができる。
【0009】
方法は、ビデオのペアのビデオの一方のみを表す、似ていない知識グラフの数に基づいて非類似性カウントを生成するステップと、ビデオのペアの各ビデオの似ていない知識グラフの概念インデックスに基づいてビデオのペアの非類似性スコアを計算するステップと、非類似性スコア、考えられる類似性スコア、および共有類似性スコアに基づいてビデオのペアの1つまたは複数のクラスタリングファクタを生成するステップとを含むことができる。
【0010】
ビデオの複数のグループを作成するステップは、ビデオのペアごとに、ビデオのペアのクラスタリングファクタを指定されたレベルの類似性と比較するステップと、クラスタリングファクタが指定されたレベルを満たすビデオの第1のペアを、同じグループに含めるステップと、ビデオの第1のペアに対するクラスタリングファクタが指定されたレベルを満たさない第3のビデオを、同じグループから除外するステップとを含むことができる。
【0011】
本明細書で説明する主題の特定の実施形態は、以下の利点のうちの1つまたは複数を実現するために実装することができる。旧来の類似性技法とは異なり、本明細書で説明する技法は、コンピュータが実質的に異なるビデオを取り上げ、これらの異なるビデオ間の概念類似性を決定し、ビデオのグループを一緒に評価するためのコンピュータの能力を向上させる目的でこれらの異なるビデオを一緒にクラスタリングすることを可能にする。これは、クラスタ(グループとも呼ばれる)のすべてのビデオを評価しなければならないのではなく、代表的なビデオのサブセットおよび/またはクラスタについての集計情報を実行時に評価することができ、問合せへの応答を提供するために、ビデオのすべてが評価される必要があった場合は実現できなかった、コンピュータが問合せにリアルタイム応答を提供することを可能にするので、より効率的な分析システムにつながる。さらに、本明細書で説明する技法は、2つのビデオが極めて少ない(たとえば、1または2個の)共通の特徴を有することがあるが、それらの特徴間の類似性距離が極めて小さいとき、旧来の類似性技法を使用すると発生する類似性決定におけるエラーを防ぐ。これらの状況では、少数の共通の特徴の類似性は、ビデオ間の非類似性のすべてを上回り、それによってビデオ類似性の誤った決定をもたらす可能性がある。
【0012】
本明細書で説明する技法はまた、コンピュータがビデオ(または他のコンテンツ)の配信戦略を学習するために必要とされる時間の量を削減する。旧来のコンピュータシステムは、クライアントデバイスへのコンテンツの配信が、コンテンツを配信するために必要とされるサービス側リソース(たとえば、ネットワーク帯域幅、サーバコアなど)の効率的な使用、および/またはコンテンツを提示するために必要とされるクライアント側リソース(たとえば、バッテリ消費量、プロセッササイクル、データプラン利用など)の効率的な使用となる状況を決定するために、かなり長い学習期間を必要とする。この学習期間は、一週間以上の長さである可能性があり、この学習期間の間、コンテンツの配信は、コンピュータシステムがコンテンツを配信するのに都合の良い時間とコンテンツを配信するのに都合の悪い時間との違いを学習する間、多くの場合、サーバ側リソースの浪費(たとえば、サーバコア利用)、およびクライアント側リソースの浪費(たとえば、バッテリ消耗)につながることになる。しかしながら、本明細書で説明する技法を使用すると、学習期間は、なくされないにしても、劇的に削減され、それによってコンピュータシステムが、旧来の学習期間の手法を使用するのに比べて、サーバ側リソースとクライアント側リソースの両方をより有効に利用することを可能にし得る。リソース利用におけるこの改善は、最初に新しいビデオ(または他のコンテンツ)が属するクラスタを決定することと、クラスタ内のビデオからの集計情報を活用して、長い学習フェーズを必要とすることなく、新しいビデオの配信を初期化することとによって実現される。
【0013】
本明細書で説明する主題の1つまたは複数の実施形態の詳細は、添付の図面および下記の説明内に記載される。主題の他の特徴、態様、および利点は、説明、図面、および特許請求の範囲から明らかとなろう。
【図面の簡単な説明】
【0014】
【図1】例示的なオンライン環境のブロック図である。
【図2】概念抽出を示すブロック図である。
【図3】ビデオのペア間のビデオ類似性、および概念類似性によるビデオクラスタリングを示すブロック図である。
【図4】ビデオのグループについてのインサイトを提供し、ビデオが配信される方法を変更するためにビデオ類似性を使用するための例示的なプロセスのブローチャートである。
【図5】例示的なコンピュータシステムのブロック図である。
【発明を実施するための形態】
【0015】
様々な図面における同じ参照番号および名称は、同じ要素を示す。
【0016】
本明細書は、場合によっては異なるマルチメディアコンテンツ(たとえば、画像、ビデオ、および/またはオーディオの組合せ)が同様と識別されることを阻む、異なるマルチメディアコンテンツ間の違いにかかわらず、異なるマルチメディアコンテンツによって伝えられる全体的概念に基づいて、ビデオをクラスタリングするための技法を説明する。オンラインビデオを一例として使用すると、2つのビデオの解像度、着色、話される言語、要素の順序、および他の態様は、劇的に異なることがあるが、これらの2つのビデオは、それでも同様の概念を伝える場合があり、これらの2つのビデオは、同じ/同様の概念を伝えるビデオの分析のために一緒にクラスタリングされるべきである。しかしながら、従来の技法を使用すると、従来コンピュータは、個々のビデオ(または他のマルチメディアコンテンツ)が、異なるビデオ(または他のマルチメディア)提示によって、それらの提示属性、および/または概念を伝える方法の点で異なるとき、ビデオ(または他のマルチメディアコンテンツ)における概念類似性を決定することができないので、これらの2つのビデオは、分析の目的で一緒にクラスタリングされない可能性がある。
【0017】
旧来の類似性技法とは異なり、本明細書で説明する技法は、コンピュータが実質的に異なるビデオを取り上げ、これらの異なるビデオ間の概念類似性を決定し、ビデオのグループを一緒に評価するためのコンピュータの能力を向上させる目的でこれらの異なるビデオを一緒にクラスタリングすることを可能にする。本明細書全体にわたって説明するように、ビデオのグループの評価は、新しいビデオが展開されるべき概念に関するインサイトを提供することと、グループ内のビデオの後続処理を削減するために使用することができる、クラスタ(たとえば、概念グループ)ごとに代表的ビデオおよび/または集計情報を決定することと、サーバ側およびクライアント側のコンピューティングリソースを有効に利用するためにコンテンツ配信ルールの最適化を加速することとを行うために使用され得る。
【0018】
より詳細に説明するように、この技法は一般に、ビデオ(または他のコンテンツ)から概念情報を抽出することと、概念情報が伝えられる方法にかかわらず(たとえば、異なる人々によって、異なる言語で、または異なる順序で)、概念類似性に基づいてビデオをクラスタリングすることとを含む。ビデオが概念に従ってクラスタリングされると、ビデオは、異なる概念についてのインサイトを提供するために、概念に従って分析され得る。密接に関係する概念および密接に関係するビデオグループについての情報を視覚的に伝えるために、ビデオの視覚的マッピングもまた、作成され得る。視覚的マッピングは、片付けることができ、それによって、各ビデオグループに代表的ビデオを選択し、解像度、カラースケーリング、圧縮技法などの違いを除いて、実質的に同じであるビデオを重複排除することによって、限られた表示エリアでのマップの有用性を向上させる。代表的ビデオは、様々な方法(たとえば、他のビデオとの類似性、フィードバックデータなど)で選択することができる。ビデオマッピングの視覚化は、ユーザに出力することができ、マッピングは、ユーザがマッピングとの対話を通して各ビデオグループについての情報を取得することを可能にする対話型フィーチャを含むことができる。たとえば、ユーザが、ビデオグループの代表的画像をクリックし、そのグループ内のビデオについての情報を提供されることが可能である。同様にユーザは、ビデオのさらなるサブグループを公開する可能性があるビデオグループを掘り下げる、またはより広いグループ化レベルの情報を検討するために、マッピングと対話(たとえば、ズームイン/ズームアウト)することができる。
【0019】
本明細書全体にわたって、より多くの特定の例および特定の使用事例を提供するために、説明する技法を適用することができるマルチメディアコンテンツの一例として、ビデオが使用される。しかしながら、本明細書で説明する技法は、どんな形態のコンテンツにも適用でき、例としてビデオを使用することは、限定と見なされるべきではない。言い換えれば、ビデオという語は、一般に、本明細書全体にわたってコンテンツという語に置き換えられ得る。
【0020】
図1は、例示的なオンライン環境100のブロック図である。例示的な環境100は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、またはそれらの組合せなどの、ネットワーク102を含む。ネットワーク102は、電子文書サーバ104、ユーザデバイス106、デジタルコンポーネントサーバ108、およびサービス装置110を接続する。例示的な環境100は、多数の異なる電子文書サーバ104、ユーザデバイス106、デジタルコンポーネントサーバ108、およびサービス装置110を含み得る。
【0021】
クライアントデバイス106は、ネットワーク102を通じてリソースを要求および受信することが可能な電子デバイスである。例示的なクライアントデバイス106は、パーソナルコンピュータ、モバイル通信デバイス、デジタルアシスタントデバイス、およびネットワーク102を通じてデータを送ることおよび受信することができる他のデバイスを含む。クライアントデバイス106は、典型的には、ネットワーク102を通じたデータの送受信を容易にするために、ウェブブラウザなどのユーザアプリケーションを含むが、クライアントデバイス106によって実行されるネイティブアプリケーションは、ネットワーク102を通じたデータの送受信を容易にすることもできる。
【0022】
デジタルアシスタントデバイスは、マイクロフォンとスピーカーとを有するデバイスを含む。デジタルアシスタントデバイスは、一般に声による入力を受信することが可能であり、可聴フィードバックを使用してコンテンツで応答し、他の可聴情報を提示することができる。いくつかの状況では、デジタルアシスタントデバイスは、視覚ディスプレイもまた含み、または(たとえば、ワイヤレスもしくはワイヤード通信によって)視覚ディスプレイと通信している。視覚ディスプレイが存在するとき、フィードバックまたは他の情報もまた、視覚的に提供され得る。いくつかの状況では、デジタルアシスタントデバイスは、ライト、ロック、カメラ、空調制御デバイス、警報システム、およびデジタルアシスタントデバイスに登録された他のデバイスなど、他のデバイスを制御することもできる。
【0023】
電子文書は、クライアントデバイス106においてコンテンツのセットを提示するデータである。電子文書の例は、ウェブページ、ワード処理文書、ポータブルドキュメントフォーマット(PDF)文書、画像、ビデオ、検索結果ページ、およびフィードソースを含む。モバイル、タブレット、またはデスクトップコンピューティングデバイス上にインストールされたアプリケーションなどのネイティブアプリケーション(たとえば、「アプリ」)も、電子文書の例である。電子文書は、電子文書サーバ104(「電子文書サーバ」)によってクライアントデバイス106に提供することができる。たとえば、電子文書サーバ104は、発行者ウェブサイトをホストするサーバを含むことができる。この例では、クライアントデバイス106は、所与の発行者ウェブページに対する要求を開始することができ、所与の発行者ウェブページをホストする電子サーバ104は、クライアントデバイス106で所与のウェブページの提示を開始するマシン実行可能命令を送信することによって、要求に応答することができる。
【0024】
別の例では、電子文書サーバ104は、クライアントデバイス106がビデオ(たとえば、ユーザが作成したビデオまたは他のビデオ)をダウンロードすることができるビデオサーバを含むことができる。この例では、クライアントデバイス106は、ウェブブラウザまたはビデオを再生するように構成されたネイティブアプリケーションでビデオを再生するために必要とされるファイルをダウンロードすることができる。
【0025】
電子文書は、様々なコンテンツを含むことができる。たとえば、電子文書は、電子文書自体の中にある、および/または時間とともに変化しない、静的なコンテンツ(たとえば、テキストまたは他の指定されたコンテンツ)を含むことができる。また、電子文書は、時間とともに、または要求ごとに変化する可能性がある動的コンテンツを含むこともできる。たとえば、所与の電子文書の発行者は、電子文書の一部をポピュレートするために使用されるデータソースを維持することができる。この例では、所与の電子文書は、所与の電子文書がクライアントデバイス106によって処理される(たとえば、レンダリングまたは実行される)ときにデータソースからのコンテンツを要求することをクライアントデバイス106に行わせるスクリプトを含むことができる。クライアントデバイス106は、データソースから取得されたコンテンツを所与の電子文書に統合して、データソースから取得されたコンテンツを含む複合電子文書を作成する。
【0026】
いくつかの状況では、所与の電子文書は、サービス装置110、またはサービス装置110によって提供される特定のサービスを参照するデジタルコンポーネントスクリプトを含むことができる。これらの状況では、デジタルコンポーネントスクリプトは、所与の電子文書がクライアントデバイス106によって処理されるときにクライアントデバイス106によって実行される。デジタルコンポーネントスクリプトの実行は、ネットワーク102を通じてデジタルコンポーネント配信システム110に送信される、デジタルコンポーネントを求める要求112(「コンポーネント要求」と呼ばれる)を生成するようにクライアントデバイス106を構成する。たとえば、デジタルコンポーネントスクリプトは、クライアントデバイス106がヘッダとペイロードデータとを含むパケット化されたデータ要求を生成することを可能にすることができる。コンポーネント要求112は、デジタルコンポーネントが要求されているサーバの名前(またはネットワークロケーション)、要求側デバイス(たとえば、クライアントデバイス106)の名前(またはネットワークロケーション)、および/またはサービス装置110が要求に応答して提供される1つまたは複数のデジタルコンポーネント、もしくはコンテンツを選択するために使用することができる情報などの特徴を指定するイベントデータを含むことができる。コンポーネント要求112は、クライアントデバイス106によって、ネットワーク102(たとえば、電気通信ネットワーク)を通じてサービス装置110のサーバに送信される。
【0027】
コンポーネント要求112は、要求されている電子ドキュメント、およびデジタルコンポーネントを提示することができる電子ドキュメントのロケーションの特性など、他のイベント特徴を指定するイベントデータを含むことができる。たとえば、デジタルコンポーネントが提示される電子文書(たとえば、ウェブページ)への参照(たとえば、URL)を指定するイベントデータ、デジタルコンポーネントを提示するために利用可能な電子文書の利用可能なロケーション、利用可能なロケーションのサイズ(たとえば、ページの部分もしくはビデオ内の継続時間)、および/またはロケーションでの提示に適格なメディアタイプを、デジタルコンポーネント配信システム110に提供することができる。同様に、電子文書に関連付けられたキーワード(「文書キーワード」)または電子文書によって参照されるエンティティ(たとえば、人、場所、もしくは物)を指定するイベントデータも、電子文書とともに提示するのに適格なデジタルコンポーネントの識別を容易にするために(たとえば、ペイロードデータとして)コンポーネント要求112に含まれ、サービス装置110に提供され得る。イベントデータは、(たとえば、一般的な検索結果またはビデオ検索結果を提示する)検索結果ページを取得するためにクライアントデバイス106からサブミットされた検索クエリを含むこともできる。
【0028】
コンポーネント要求112は、クライアントデバイスのユーザが提供した情報、コンポーネント要求がサブミットされた州もしくは地域を示す地理的情報、クライアントデバイスの言語設定、またはデジタルコンポーネントが表示されることになる環境についてのコンテキストを提供する他の情報(たとえば、コンポーネント要求の時刻、コンポーネント要求の曜日、モバイルデバイスもしくはタブレットデバイスなどの、デジタルコンポーネントが表示されることになるデバイスのタイプ)などの、他の情報に関係するイベントデータを含むこともできる。コンポーネント要求112は、たとえば、パケット化ネットワークを通じて送信することができ、コンポーネント要求112自体は、ヘッダおよびペイロードデータを有するパケット化データとしてフォーマットすることができる。ヘッダはパケットの宛先を指定することができ、ペイロードデータは上記で説明した情報のいずれかを含むことができる。
【0029】
サービス装置110は、コンポーネント要求112を受信したことおよび/またはコンポーネント要求112に含まれる情報を使用したことに応答して、所与の電子文書とともに提示されるデジタルコンポーネント(たとえば、すべて広告コンテンツまたは非広告コンテンツの形態をとることができるビデオファイル、オーディオファイル、画像、テキスト、およびそれらの組合せ)を選択する。いくつかの実装形態では、デジタルコンポーネントは、デジタルコンポーネントの選択の遅延によって引き起こされる可能性があるエラーを回避するために1秒未満で選択される。たとえば、コンポーネント要求112に応答してデジタルコンポーネントを提供する際の遅延は、クライアントデバイス106においてページロードエラーをもたらすか、または電子ドキュメントの他の部分がクライアントデバイス106において提示された後であっても、電子ドキュメントの一部がポピュレートされないままであることを引き起こす可能性がある。また、デジタルコンポーネントをクライアントデバイス106に提供する際の遅延が増加するにつれて、デジタルコンポーネントがクライアントデバイス106に配信されたときに電子文書がもはやクライアントデバイス106において提示されなくなる可能性が高くなり、それによって、電子文書に関するユーザのエクスペリエンスに悪影響を及ぼす。さらに、デジタルコンポーネントを提供する際の遅延は、たとえば、デジタルコンポーネントが提供されたときに電子文書がもはやクライアントデバイス106において提示されない場合、デジタルコンポーネントの配信の失敗をもたらす可能性がある。
【0030】
いくつかの実装形態では、サービス装置110は、たとえば、相互接続され、要求112に応答してデジタルコンポーネントを識別し、配信する、サーバおよび複数のコンピューティングデバイスのセット114を含む分散コンピューティングシステムにおいて実装される。複数のコンピューティングデバイスのセット114は、何百万もの利用可能なデジタルコンポーネント(DC1～x)のコーパスの中から、電子文書において提示されるのに適格であるデジタルコンポーネントのセットを識別するために一緒に動作する。何百万もの利用可能なデジタルコンポーネントは、たとえば、デジタルコンポーネントデータベース116においてインデックス付けすることができる。各デジタルコンポーネントインデックスエントリは、対応するデジタルコンポーネントを参照することができ、および/または、対応するデジタルコンポーネントの配信/送信に寄与する(たとえば、トリガする、条件付けする、または制限する)配信パラメータ(DP1～DPx)を含むことができる。たとえば、配信パラメータは、コンポーネント要求が、デジタルコンポーネントの配信パラメータのうちの1つに(たとえば、正確に、または何らかの事前に指定された類似性レベルで)一致する少なくとも1つの基準を含むことを要求することによって、デジタルコンポーネントの送信に寄与する(たとえば、トリガする)ことができる。
【0031】
適格なデジタルコンポーネントの識別は、複数のタスク117a～117cにセグメント化することができ、これらのタスクは次いで、複数のコンピューティングデバイスのセット114内のコンピューティングデバイスの間で割り当てられる。たとえば、セット114内の異なるコンピューティングデバイスは各々、デジタルコンポーネントデータベース116の異なる部分を分析して、コンポーネント要求112に含まれる情報に一致する配信パラメータを有する様々なデジタルコンポーネントを識別することができる。いくつかの実装形態では、セット114の中の所与の各コンピューティングデバイスは、異なるデータ次元(または次元のセット)を分析し、分析の結果(Res 1～Res 3)118a～118cをデジタルコンポーネント配信システム110に戻す(たとえば、送信する)ことができる。たとえば、セット114の中のコンピューティングデバイスの各々によって提供される結果118a～118cは、コンポーネント要求および/または一定の配信パラメータを有するデジタルコンポーネントのサブセットに応答して、配信に適格なデジタルコンポーネントのサブセットを識別し得る。デジタルコンポーネントのサブセットの識別は、たとえば、イベントデータを配信パラメータと比較することと、イベントデータの少なくともいくつかの特徴に一致する配信パラメータを有するデジタルコンポーネントのサブセットを識別することとを含むことができる。
【0032】
サービス装置110は、複数のコンピューティングデバイスのセット114から受信された結果118a～118cを集計し、集計された結果に関連付けられた情報を使用して、コンポーネント要求112に応答して提供されることになる1つまたは複数のデジタルコンポーネントを選択する。たとえば、サービス装置110は、1つまたは複数のコンテンツ評価プロセスの結果に基づいて、最高ランキングデジタルコンポーネント(1つまたは複数のデジタルコンポーネント)のセットを選択することができる。次に、サービス装置110は、クライアントデバイス106が最高ランキングデジタルコンポーネントのセットを所与の電子文書に組み込むことを可能にする応答データ120(たとえば、応答を表すデジタルデータ)を生成し、ネットワーク102を介して送信することができ、その結果として、最高ランキングデジタルコンポーネントのセットおよび電子文書のコンテンツがクライアントデバイス106のディスプレイにおいて一緒に提示される。
【0033】
いくつかの実装形態では、クライアントデバイス106は、応答データ120に含まれる命令を実行し、クライアントデバイス106が1つまたは複数のデジタルコンポーネントサーバから最高ランキングデジタルコンポーネントのセットを取得するように構成し、それを可能にする。たとえば、応答データ120内の命令は、ネットワークロケーション(たとえば、ユニフォームリソースロケータ(URL)、およびクライアントデバイス106に、サーバ要求(SR)121をデジタルコンポーネントサーバ108に送信させて、デジタルコンポーネントサーバ108から所与の最高ランキングデジタルコンポーネントを取得させるスクリプトを含むことができる。要求に応答して、デジタルコンポーネントサーバ108は、サーバ要求121(たとえば、複数のデジタルコンポーネントを記憶するデータベース内)において指定された所与の最高ランキングデジタルコンポーネントを識別し、クライアントデバイス106で電子文書内の所与の最高ランキングデジタルコンポーネントを提示するデジタルコンポーネントデータ(DCデータ)122をクライアントデバイス106に送信する。
【0034】
サービス装置110は、所与のコンポーネント要求(たとえば、個々のコンポーネント要求)に応答して送信されるように利用可能な様々な異なるデジタルコンポーネントの適格性を評価するために、様々な技法を利用することができる。たとえば、サービス装置110は、様々な異なるデジタルコンポーネントの適格性スコアを比較し、最高適格性スコアを有するデジタルコンポーネントの1つまたは複数を、所与のコンポーネント要求に応答してクライアントデバイス106に送信されるデジタルコンポーネントとして選択することができる。いくつかの状況では、初期適格性スコアは、1つまたは複数のファクタに基づいて決定することができる。たとえば、ビデオクリップ(VC1)の1つのプロバイダ(P1)が、VC1に対して配信基準Xを提供することができ、異なるビデオクリップ(VC2)の異なるプロバイダ(P2)は、異なる配信基準Yを提供することができる。この例では、コンポーネント要求が、特定のウェブページとともに、または特定のビデオとともに1つのデジタルコンポーネントが提示されることを単に要求すると仮定する。2つのビデオクリップのどちらを提供するかを選択するために、サービス装置110は、VC1およびVC2をそれらのそれぞれの適格性スコアに基づいてランク付けすることができ、適格性スコアは、P1およびP2によって提供される配信基準を要求112に含まれる情報と比較することに基づいて決定され得る。いくつかの実装形態では、要求112内の情報に最も類似している配信基準のセットは、最高適格性スコアを有し、したがって最高にランク付けされることになる。サービス装置110は、コンポーネント要求112に応答してクライアントデバイスに送信される最高ランクのビデオクリップを選択することができる。
【0035】
いくつかの状況では、適格性スコアは、1つまたは複数の他のファクタに基づいて増やされる(または変えられる)。たとえば、サービス装置110は、デジタルコンポーネントに対して、そのデジタルコンポーネントの初期適格性スコアおよびデジタルコンポーネントの品質ファクタに基づいて調整された適格性スコアを生成することができる。
【0036】
所与のデジタルコンポーネントの品質ファクタは、所与のデジタルコンポーネントが所与のコンポーネント要求に応答して提供される適切なデジタルコンポーネントである可能性を数量化することができる。いくつかの実装形態では、品質ファクタは、イベントデータによって指定される1つまたは複数の特徴に基づいて決定される。より詳細には、サービス装置110は、イベントデータからの1つまたは複数の特徴(たとえば、地理情報および/または電子文書からの用語)を、機械学習システムに入力することができ、機械学習システムが、予測分配結果を出力し、これを品質ファクタとして使用することができる。予測分配結果は、たとえば、現在のコンポーネント要求のコンテキストにおけるデジタルコンポーネントについての予測対話率(たとえば、クリック率、再生率、またはデジタルコンポーネントとの対話の別の測度)として、表現することができる。
【0037】
品質ファクタが取得されると、品質ファクタは、初期適格性スコアに適用されて、調整された適格性スコアにたどり着くことができる。たとえば、調整された適格性スコア(AES)は、初期適格性スコアと品質ファクタの積とすることができる(たとえば、AES=品質ファクタ*初期適格性スコア)。いくつかの状況では、様々な異なるコンポーネントの調整された適格性スコアは、デジタルコンポーネントを(たとえば、最高から最低まで)ランク付けするために使用でき、最高ランクのデジタルコンポーネントの1つまたは複数が、コンポーネント要求に応答して送信されるために選択され得る。
【0038】
サーバ側および/またはクライアント側コンピューティングリソースが正当化されるかどうかのプロキシとして働くこともできる、配信コンテンツ(たとえば、ビデオ)の有効性は、クライアントデバイスに配信されるコンテンツへのユーザ応答に基づいて評価され得る。コンテンツの個々の部分(たとえば、個々のビデオ)についてのユーザ応答の追跡は、コンテンツのどの部分が、コンテンツを配信するために必要とされるコンピューティングリソースの効果的利用をもたらすかに関するインサイトを与えることができるが、そのような評価は、コンテンツの一定の部分がなぜ配信により良いか(たとえば、限られたサーバ側および/もしくはコンピュータ側リソースをより良く利用する、かつ/またはより肯定的なユーザ応答を引き出すか)に関するインサイトを与えない。コンテンツの一定の部分がなぜ配信により良いかに関するこのタイプのより深いインサイトを与えるためには、コンテンツの複数の類似する部分の集計分析が行われる必要があり、コンテンツの部分が、有意味な方法で一緒にグループ化される必要がある。
【0039】
コンテンツの部分をグループ化する一方法が、それらの概念類似性によるものである。本明細書を通して使用する概念類似性は、コンテンツの2つ以上の部分によって伝えられる概念間の類似性を指す。以下でより詳細に説明するように、コンテンツの2つの部分の間の概念類似性は、コンテンツのその2つの部分によって伝えられる概念間の一致のレベルに基づいて決定することができ、一致のレベルは、それらの概念が伝えられる方法にかかわらず、決定することができる。
【0040】
たとえば、ビデオ1(V1)が、ビデオの25秒間に、ネズミを追いかける猫を示し、ビデオの残りの5秒間に「Call Exterminator X at 555-555-5555(駆除業者X555-555-5555番にお電話ください)」というテキストを提示する、30秒のアニメのビデオであると仮定する。またビデオ2(V2)が、提示されたテキストを含んでいないが、ネズミを追いかける猫と、安全な所へ飛び込むネズミを示す、30秒のライブビデオであると仮定する。この例では、2つのビデオは、各ビデオの大部分がネズミを追いかける猫を示すということに基づいて、ネズミを追いかける猫という概念と、この概念が伝えられる方法にかなりの違い(たとえば、アニメ対ライブ)があっても、非常に類似していると考えられる可能性がある。これらの2つのビデオが、ネズミを追いかける猫という概念を対象とする他のビデオとともに一緒にグループ化される場合、集計情報(たとえば、ユーザ応答情報)は、ネズミを追いかける猫という概念を対象とするビデオの有効性を、それらの概念が伝えられる方法の違いにかかわらず、効果的に評価するために使用することができる。
【0041】
以下で詳細に説明するように、各概念を対象とするビデオの有効性は、ユーザグループごとに描写することができ、ビデオ(または他のコンテンツ)において使用されるべき概念についてのインサイトが、ターゲット視聴者と、ターゲット視聴者に提示されるときの異なる概念の有効性とに基づいて生成され得る。さらに、以下で説明するように、ビデオをこのようにしてグループ化および評価すると、コンピュータシステムが新しいビデオと同じクラスタ(ビデオグループ)に属する既存のビデオのグループに決定されたインサイトに基づいて、新しいビデオについての最適な配信パラメータをより速く学習することが可能になり得る。最適な配信パラメータをより速く学習する能力は、場合によっては数日または数週間かかることがある旧来の学習期間を使用することによって招くことになるリソースの浪費を減らし、コンピュータが配信パラメータを学習するために必要とされるコンピューティングリソースもまた減らす。
【0042】
サービス装置110は、1つまたは複数のデータプロセッサを含む概念評価装置(「CEA」)150を含む。CEA150は、概念類似性に基づいてビデオ(および他のコンテンツ)をクラスタリングし、異なるビデオ概念の有効性を決定するために、得られたビデオグループ(または他のコンテンツグループ)を評価するように構成される。この評価は、ターゲット視聴者(たとえば、コンテンツが対象とするユーザのグループ)に応じて一定の概念の使用に関するインサイトを表面化するために使用することができる。以下で説明するように、これらのインサイトは、表フォーマット、グラフフォーマット、または別のフォーマットで視覚的に通信され得る。さらに、これらのインサイトは、新しいビデオに対する概念を推奨し、既存のビデオのグループについての概念フィードバックを提供し、それらの新しいビデオが対象とする概念に基づいて新しいビデオのための配信ルールを初期化するために使用され得る。
【0043】
図2は、ビデオからの概念抽出を示すブロック図200である。ブロック図200は、ビデオが提示されるビデオプレーヤ202を含む。ビデオプレーヤ202は、ウェブページの一部として示されているが、ビデオプレーヤ202は、ネイティブアプリケーションに(たとえば、モバイルもしくはタブレットデバイスに)、またはテレビジョンに接続する、もしくはテレビジョンに組み込まれているストリーミングビデオプレーヤなどの、別の適切なデバイスにおいて、実装されることがある。さらに、以下で説明する概念抽出は、ビデオプレーヤ202から独立して行われることがあり、ビデオプレーヤ202は、単に概念抽出を説明するのに役立つように含まれている。また、概念抽出は、サービス装置110によって行われると説明されるが、概念抽出は、CEA150、または別の適切な装置など、サービス装置の一部で行われることがある。
【0044】
ビデオプレーヤ202によって再生されるように利用可能なビデオは、ビデオの長さとも呼ばれる、再生時間を有する。たとえば、ビデオプレーヤ202の再生タイマー204が、現在ロードされているビデオの再生時間が1分であることを示す。ビデオのコンテキストを評価するために、サービス装置110は(たとえば、CEA150によって)、ビデオの長さにわたってビデオのコンテキストを決定することができる。たとえば、サービス装置110は、ビデオのコンテキストが抽出されるビデオの長さにわたって異なるタイムスタンプを選択することができる。本例では、ビデオは、参照番号206、208、210、212、および214でそれぞれ識別される0秒、15秒、30秒、45秒、および60秒のタイムスタンプの選択によって4つの異なるセグメント(「四分位数」)にセグメント化されている。この四分位セグメンテーションは、図が雑然とするのを防ぎながらタイムスタンプ選択の概念を例示するために使用されている。しかしながら、実際には、サービス装置110は、必要に応じて細かくまたは粗く、タイムスタンプを選択することができる。いくつかの実装形態では、タイムスタンプは、ビデオの継続時間の1秒ごとに選択され、いくつかの実装形態では、サービス装置110は、1秒未満のタイムスタンプ(たとえば、1/6秒)を選択することができる。
【0045】
選択されたタイムスタンプの各々は、ビデオのその時点で伝えられている概念を決定するために評価されるビデオの部分の表示である。いくつかの実装形態では、サービス装置110は、そのタイムスタンプでビデオのコンテキストを決定するために、各タイムスタンプで提示されているビデオフレームを調べる。前の例に戻ると、サービス装置110は、ビデオの始め(たとえば、0秒)、15秒、30秒、45秒、およびビデオの終わり(たとえば、1:00)に、ビデオを評価することができる。
【0046】
各タイムスタンプでのビデオの評価は、ビデオによって提示されたいずれかのオブジェクト、それらのオブジェクトの属性、および/またはビデオによって提示されたオブジェクト間の関係の識別を含むことができる。たとえば、ビデオプレーヤ202で提示されたビデオは、人216、椅子218、テーブル220、および2人のさらなる人々を含む。この例では、サービス装置110は、これらのオブジェクト、それらの相対位置、および色、パターン、または他の視覚的属性などの属性を識別するために、当技術分野で知られているオブジェクト検出技法を使用することができる。
【0047】
サービス装置110が所与のタイムスタンプにビデオによって示されたオブジェクトについての情報を取得すると、サービス装置110は、その所与のタイムスタンプにビデオによって伝えられる概念を表す知識グラフを生成することができる。本明細書で使用される、知識グラフは、固有のエンティティ間の関係の表現であり、知識グラフは、1つまたは複数のデータストアに記憶され得る。各ノードは、異なる固有のエンティティを表すことができ、ノードは、エンティティ間の関係を表すグラフエッジ(たとえば、論理リンク)によって接続され得る。知識グラフは、たとえば、グラフ形態で、または各ノードを表すデータと、各ノード間の関係を表すデータとを含むデータ構造で、実装され得る。
【0048】
上記の例に戻ると、ビデオプレーヤ202に示されるビデオの知識グラフは、人216、椅子218、テーブル220、および2人のさらなる人々に対して別個のノードを含むことができる。これらのノードの各々は、エンティティ間の関係を表すグラフエッジによって接続され得る。たとえば、椅子218を表すノードは、「座っている」とラベル付けされたエッジによって、椅子に座っている人を表すノードによって連結されて、ビデオが椅子218に座っている人を示すことを表すことができる。同様に、テーブル220を表すノードもまた、「両手を置いている」とラベル付けされたエッジによって、椅子に座っている人を表すノードによって連結されて、椅子218に座っている人が両手を机220に置いていることを表すことができる。ビデオの他の属性は、同様に、色、テキスト、または他の属性などの知識グラフによって表され得る。当然、ノード間のエッジは、ラベルを含む必要はなく、むしろ単にノード間の何らかの関係を示すことができる。
【0049】
所与のビデオについて、サービス装置110は、複数の知識グラフを作成することができる。たとえば、サービス装置110は、所与のビデオに選択されたタイムスタンプごとに異なる知識グラフを作成することができる。上記の例では、サービス装置110は、5つの異なる知識グラフ222、224、226、228、および230を生成する。サービス装置110は、さらなる処理のために知識グラフの各々を知識グラフデータベース232に記憶する。たとえば、以下で説明するように、サービス装置110は、ビデオ間の概念類似性を評価するために知識グラフを使用し、概念類似性に基づいてビデオをクラスタリングすることができる。
【0050】
図3は、ビデオのペア間のビデオ類似性、および概念類似性によるビデオクラスタリングを示すブロック図300である。ブロック図300は、処理のために知識グラフの2つのセットを、入力として受け取っているサービス装置110を示す。より詳細には、サービス装置110は、ビデオ1知識グラフ(V1KG)302と、ビデオ2知識グラフ(V2KG)304とを受け取っている。V1KG 302は、ビデオ1内の異なる選択タイムスタンプに提示されたオブジェクトに基づいて作成された複数の知識グラフを含み、V2KGは、ビデオ2内の異なる選択タイムスタンプに提示されたオブジェクトに基づいて作成された複数の知識グラフを含む。知識グラフ306は、V1KG 302に含まれ得る例示的な知識グラフの視覚化であり、知識グラフ308は、V2KG 304に含まれ得る例示的な知識グラフの視覚化である。知識グラフ306および308の各々が、図2のビデオプレーヤ202に提示されたビデオのフレームとして同様のコンテンツを提示するビデオの部分を表すことができる。
【0051】
たとえば、知識グラフ306は、人を表すノード310と、椅子を表すノード312と、テーブルを表すノード314とを含む。これらのノード310、312、および314は、たとえば、図2によって示すように、椅子218、机220、および椅子218に座っている人を表すことができる。同様に、知識グラフ308は、ノード316、318、および320を含み、これらはそれぞれ人、椅子、およびテーブルを表す。以下でさらに説明するように、ノード316、318、および320によって表される人、椅子、およびテーブルは、図2のビデオプレーヤ202で示されるそれらとは異なる人、テーブル、および椅子であってもよく、またはそれらは同じ人、テーブル、および椅子を表すことがある。
【0052】
知識グラフ306はまた、よく知られている俳優、「有名人X」を表すノード322、ならびに茶色および緑色をそれぞれ表すノード324および326を含む。知識グラフはまた、ノードを接続し、ノード間の関係タイプを指定するエッジを含む。たとえば、知識グラフ306は、人と椅子との間に関係があることを示す、ノード310とノード312との間のエッジ328を含む。この例では、エッジ328は、椅子を表すノード312の方向に矢印が付いた「座っている」という関係を示すラベルを有する。したがって、このエッジは、図2に示すように、人が椅子に座っているということによって人および椅子が関係していることを示している。同様に、知識グラフ206は、ノード310およびノード314を連結し、「両手を置いている」というラベルを有するエッジ330を含む。このようにしてエッジ330は、図2によって示すように、人が両手をテーブルに置いていることを表す。知識グラフ306はまた、ノード310によって表される人が有名人Xであり、俳優であることを示す、ノード301および322間のエッジ332を含む。エッジ334は、ノード312とノード326との間にあり、椅子が緑色であることを示し、エッジ336は、ノード314とノード324との間にあり、テーブルが茶色であることを示す。
【0053】
知識グラフ306と同様に、知識グラフ308もまた、茶色を表すノード338を含む。しかしながら、知識グラフ308は、有名人Xまたは緑色を表すノードを含んでいない。知識グラフ308もまた、知識グラフ308のノードを連結し、ノード間の関係を表すエッジを含む。たとえば、ノード316および318を連結するエッジ340は、人が椅子に座っていることを表し、ノード316および320を連結するエッジ342は、人が両足を机に載せていることを示す。さらに、エッジ344および346は、テーブルと椅子の両方の色が茶色であることを示す。
【0054】
サービス装置110は、ビデオ間の概念類似性を決定し、たとえばセットの各々における知識グラフの類似性に基づいて、ビデオをクラスタリングするために、知識グラフのセット(たとえば、V1KG302およびV2KG304)を処理する。
【0055】
処理の一部として、サービス装置110は、ビデオ1に対して概念インデックス1を生成し(348)、またビデオ2に対して概念インデックス2を生成する(350)。各ビデオに対する概念インデックスは、各ビデオによって示される各概念の重要性を表す。所与のビデオに対する概念インデックスは、所与のビデオに示されたオブジェクトによって伝えられる概念、およびビデオの長さにわたる概念の各々の顕著さのレベルに基づいて生成され得る。いくつかの実装形態では、所与のビデオに対する概念インデックスは、たとえば、その所与のビデオに対して取得された知識グラフのセットを使用して生成され得る。たとえば、図3を参照すると、サービス装置110は、ビデオ2の知識グラフ304のセットを使用して概念インデックス2を生成することができる(350)。
【0056】
より詳細には、サービス装置110は、各知識グラフに対して、ビデオ2の長さにわたる知識グラフの総プレゼンスシェアを識別するために、セット304内の知識グラフのすべてを調べることができる。各知識グラフが所与のビデオによって伝えられる概念を表すので、特定の知識グラフの総プレゼンスシェアは、ビデオの長さにわたって伝えられる対応する概念の総プレゼンスシェアを表すことができる。いくつかの実装形態では、ビデオの長さにわたる特定の知識グラフの総プレゼンスシェアは、評価されるビデオの各タイムスタンプでの各知識グラフのプレゼンスシェアを集計することによって決定され得る。
【0057】
たとえば、図2を参照しながら説明したように、5つのタイムスタンプが選択されたと仮定すると、この例の特定の知識グラフの総プレゼンスシェアは、5つのタイムスタンプの各々におけるその特定の知識グラフのプレゼンスシェアの和とすることができる(たとえば、
【0058】
【数1】
【0059】
、ただしtsはタイムスタンプを表す)。ビデオの長さにわたって(たとえば、選択されたタイムスタンプの各々で)プレゼンスシェアを合計することによって得られた出力は、一般的には、以下でさらに説明するように、概念インデックスを作成するために他の情報と組み合わせることができる数値である。図3を参照すると、サービス装置110は、ビデオ2内の評価されるタイムスタンプの各々に対して知識グラフ308のプレゼンスシェアを合計することによって知識グラフ308の総プレゼンスシェアを決定することができる。
【0060】
特定の知識グラフのプレゼンスシェアは、知識グラフによって表されるオブジェクトによって占められるフレームの部分、フレーム内のオブジェクトの場所、またはフレーム内のオブジェクトの顕著さに対応する他のファクタなど、ファクタの数に基づくことができる。概して、オブジェクトを表す知識グラフのプレゼンスシェアは、フレーム内のオブジェクトの顕著さが増えるにつれて増えることになる。たとえば、オブジェクトがより大きいとき、またはフレームのより大きい部分を占めるとき、そのオブジェクトを表す知識グラフのプレゼンスシェアは、増えることになる。各タイムスタンプで各知識グラフに割り当てられる存在シェアは、0(最小の顕著さ)と1(最大の顕著さ)の間の数とすることができるが、他の適切なスケール(たとえば、0～10または0～100)が使用され得る。
【0061】
サービス装置110はまた、概念インデックス生成の一部として、各概念を表す各知識グラフが所与のビデオ内で検出されるタイムスタンプの総数を決定することができる。いくつかの実装形態では、サービス装置110は、各タイムスタンプで取得された知識グラフを検索し、特定の知識グラフがそのタイムスタンプについて収集されたかどうかを決定することによって、特定の知識グラフが検出されるビデオのタイムスタンプの総数を決定し、タイムスタンプで検出される特定の知識グラフのインスタンスごとにカウンタをインクリメントすることができる。たとえば、図2を参照しながら説明したように、5つのタイムスタンプが選択された場合、サービス装置は、各タイムスタンプで収集された知識グラフを検索して、収集された知識グラフのいずれかが特定の知識グラフに一致したかどうかを決定し、特定の知識グラフに一致する知識グラフを有するタイムスタンプごとにカウンタをインクリメントすることができる。所与のビデオについてのすべてのタイムスタンプが検索された後のカウンタの値は、特定の知識グラフによって記述される所与のビデオの(部分の数とも呼ばれる)タイムスタンプの総数を表す。
【0062】
サービス装置110は、所与のビデオについて、所与のビデオの長さにわたる特定の知識グラフの総プレゼンスシェアと、特定の知識グラフが検出された所与のビデオのタイムスタンプの総数を結合して、所与のビデオの長さにわたる特定の知識グラフによって表される概念の顕著さのレベルに対応する概念値にたどり着くことができる。いくつかの実装形態では、概念値は、概念を表す特定の知識グラフについての合計プレゼンスシェアと、特定の知識グラフが検出された所与のビデオのタイムスタンプの総数の比をとることによって計算され得る。一般化された比は、関係(1)で表される形をとることができる。
【0063】
【数2】
【0064】
ただし、
Concept Value Kgiは、第iの知識グラフによって表される概念の概念値であり、
Summed Presence SharesKGiは、所与のビデオについての第iの知識グラフの合計プレゼンスシェアであり、
Total Instances Kgiは、第iの知識グラフが検出される所与のビデオのタイムスタンプ(または部分)の総数である。
Concept Value Kgiは、第iの知識グラフによって表される概念の概念値であり、
Summed Presence SharesKGiは、所与のビデオについての第iの知識グラフの合計プレゼンスシェアであり、
Total Instances Kgiは、第iの知識グラフが検出される所与のビデオのタイムスタンプ(または部分)の総数である。
【0065】
いくつかの実装形態では、所与のビデオに生成された各概念値が、概念インデックスと見なされ得る。いくつかの実装形態では、所与のビデオの概念インデックスは、ビデオによって伝えられ、異なる知識グラフによって表される、複数の異なる概念の各々の概念値を含む。たとえば、ビデオの概念インデックスが異なる概念の複数の異なる概念値を含むとき、概念インデックスの各値は、異なる概念およびその概念を表す知識グラフに対応することができる。
【0066】
サービス装置110は、クラスタリングされるビデオの全部(またはサブセット)にわたる異なる知識グラフの発生に基づいて知識グラフ逆文書頻度(「KGIDF」)測定を生成する(352)。KGIDFは、各ビデオにおける個々の知識グラフの逆文書頻度を調整するために使用され得る。ビデオのすべてのKGIDFは、たとえば、関係(2)を使用して、生成され得る。
【0067】
【数3】
【0068】
ただし、|{v∈#of videos:kgi∈v}|は、どのKGiの中のビデオの数であり、KGiは第iの知識グラフである。
【0069】
サービス装置110は、ビデオ1の知識グラフ302のセットにKGIDFを適用し(354)、またビデオ2の知識グラフ304のセットに適用する(356)。知識グラフのセットへのKGIDFの適用は、知識グラフの各々に対する調整された逆文書頻度をもたらす。調整されたKGIDFは、2つのビデオが有する共通の知識グラフが極めて少ないとき発生するエラーを防ぐ。たとえば、2つのビデオが1つの共通属性(たとえば、紫色)しか共有しないが、共通の属性が非常に類似している(たとえば、小さい類似性距離を有する)と仮定する。この状況では、いくつかの類似性技法は、ビデオが他の点ではまったく似ていない可能性があるという事実にかかわらず、極めて高い類似性をもたらすことになる。言い換えれば、いくつかの類似性技法(たとえば、類似性=1/sqrt(距離))を使用する共通の属性の類似性は、1つの属性の類似性を非類似性よりも重くし、誤った類似性決定をもたらす可能性がある。
【0070】
いくつかの実装形態では、KGIDFは、関係(3)に従って知識グラフのセットに適用される。
adj value{video j|KGi} := value{video j|KGi} * idfKGi (3)
ただし、
adj value{video j|KGi}は、第jのビデオの第iの知識グラフの調整値であり、
value{video j|KGi}は、第jのビデオの長さにわたる第iの知識グラフの合計プレゼンスシェアであり、
idfKGiは、第iの知識グラフのKGIDFである。
adj value{video j|KGi} := value{video j|KGi} * idfKGi (3)
ただし、
adj value{video j|KGi}は、第jのビデオの第iの知識グラフの調整値であり、
value{video j|KGi}は、第jのビデオの長さにわたる第iの知識グラフの合計プレゼンスシェアであり、
idfKGiは、第iの知識グラフのKGIDFである。
【0071】
たとえば、サービス装置110は、ビデオ2における知識グラフ308の総プレゼンスシェアに、サービス装置110によって分析されるビデオのすべてにわたる知識グラフ308のKGIDFを掛けることによって、調整プレゼンスシェアと呼ばれることもある知識グラフ308の調整値を生成することができる。
【0072】
サービス装置110は、ビデオのペア間の共有知識グラフについての類似性スコアを導出する(たとえば、決定または計算する)(358)。図3を参照すると、サービス装置110は、知識グラフ302のセットおよび知識グラフ304のセットを使用して、ビデオ1およびビデオ2を含むビデオペアの類似性スコアを決定することができる。たとえば、サービス装置110は、ビデオのペアの共有類似性スコアと、ビデオのペアの考えられる類似性スコアとを導出することができる。いくつかの実装形態では、別個の共有類似性スコアが、ペアのビデオ(たとえば、ビデオ1とビデオ2)の両方で検出される各知識グラフについて導出される。同様に、サービス装置は、ペアの両方のビデオで検出される知識グラフの各々について、別個の考えられる類似性スコアを導出することができる。
【0073】
共有類似性スコアは、ビデオのペアの間の最小量の概念顕著さに基づいている類似性スコアを指す。たとえば、共有類似性スコアは、ペアのビデオのいずれかにおける特定の知識グラフの最小総プレゼンスシェアを表すことができる。言い換えれば、サービス装置110は、ペアのビデオ(たとえば、ビデオ1またはビデオ2)のどちらが、たとえば、関係(3)を使用して決定された、特定の知識グラフについてより低い調整値を有するかを決定し、その特定の知識グラフについてのより低い調整値を、ビデオのペアの共有類似性スコアとして選択することができる。この決定は、たとえば関係(4)を使用して、行うことができる。
SS_KGt(video 1, video 2) = min(adj value{video1|KGt}, adj value{video2 |KFt}) (4)
ただし、
SS_KGt(video 1, video 2)は、第iの知識グラフについてのビデオ1とビデオ2との間の共有類似性であり、
adj value{video1|KGt}は、ビデオ1における第iの知識グラフについての調整値(関係3参照)であり、
adj value{video2|KFt}は、ビデオ2における第iの知識グラフについての調整値(関係3参照)である。
SS_KGt(video 1, video 2) = min(adj value{video1|KGt}, adj value{video2 |KFt}) (4)
ただし、
SS_KGt(video 1, video 2)は、第iの知識グラフについてのビデオ1とビデオ2との間の共有類似性であり、
adj value{video1|KGt}は、ビデオ1における第iの知識グラフについての調整値(関係3参照)であり、
adj value{video2|KFt}は、ビデオ2における第iの知識グラフについての調整値(関係3参照)である。
【0074】
考えられる類似性スコアは、ビデオのペアのうちの最大量の概念顕著さに基づいている類似性スコアを指す。たとえば、考えられる類似性スコアは、ペアのビデオのいずれかにおける特定の知識グラフの最大総プレゼンスシェアを表すことができる。言い換えれば、サービス装置110は、ペアのビデオのどちら(たとえば、ビデオ1またはビデオ2)が、たとえば、関係(3)を使用して決定された、特定の知識グラフについてより高い調整値を有するかを決定し、その特定の知識グラフについてのより高い調整値を、ビデオのペアの考えられる類似性スコアとして選択することができる。この決定は、たとえば関係(5)を使用して、行うことができる。
PS_KGi(video 1, video 2) = max(adj value{video 1|KGi}, adj value{video2 |KGi}) (5)
ただし、
PS_KGi(video 1, video 2)は、第iの知識グラフについてのビデオ1とビデオ2との間の考えられる類似性であり、
adj value{video 1|KGi}は、ビデオ1における第iの知識グラフについての調整値(関係3参照)であり、
adj value{video2 |KGi}は、ビデオ2における第iの知識グラフについての調整値(関係3参照)である。
PS_KGi(video 1, video 2) = max(adj value{video 1|KGi}, adj value{video2 |KGi}) (5)
ただし、
PS_KGi(video 1, video 2)は、第iの知識グラフについてのビデオ1とビデオ2との間の考えられる類似性であり、
adj value{video 1|KGi}は、ビデオ1における第iの知識グラフについての調整値(関係3参照)であり、
adj value{video2 |KGi}は、ビデオ2における第iの知識グラフについての調整値(関係3参照)である。
【0075】
サービス装置110は、ビデオのペアのうちの各ビデオにおける似ていない知識グラフの非類似性スコアを導出する(たとえば、決定または計算する)(358)。図3を参照すると、サービス装置110は、知識グラフ302のセットおよび知識グラフ304のセットを使用して、ビデオ1およびビデオ2を含むビデオペアの非類似性スコアを決定することができる。いくつかの実装形態では、サービス装置110は、ペアのビデオの各々における似ていない類似グラフの概念値を合計することによって、ビデオのペアの非類似性スコアを生成することができる。たとえば、サービス装置110は、ビデオ2に含まれていないビデオ1の知識グラフ、およびビデオ1に含まれていないビデオ2の知識グラフを識別することができる。この例では、サービス装置は、ビデオ1およびビデオ2の似ていない知識グラフの概念インデックスを合計し、その合計を、ビデオ1およびビデオ2を含むビデオのペアの非類似性スコアとして出力することができる。
【0076】
サービス装置110によって決定され得る別の非類似性測度は、ビデオのペアのうちの各ビデオにおける似ていない知識グラフの総数であり、これは非類似性カウントと呼ばれる。これは、サービス装置110が、間に一致を見つけない、ペアのビデオの一方に識別された知識グラフが、ペアの他方のビデオでは見つけられないときに、カウンタをインクリメントすることによって決定することができる。
【0077】
サービス装置は、類似性および非類似性スコアに基づいてビデオをクラスタリングする(362)。クラスタリングは、少なくとも指定されたレベルの類似性を有するビデオを各々含む、ビデオの複数のグループを作成する。たとえば、クラスタリングによって作成された1つのグループは、グループ内の1つまたは複数の他のビデオとの指定されたレベルの類似性を各々有する複数のビデオを含む。グループを作成するために類似性および非類似性の測度が使用される方法に関する詳細は、図4を参照しながらより詳しく説明する。
【0078】
図4は、ビデオのグループについてのインサイトを提供し、ビデオが配信される方法を変更するためにビデオ類似性を使用するための例示的なプロセス400のフローチャートである。プロセス400の動作は、たとえば、図1のサービス装置110(および/またはCEA150)によって実施され得る。プロセス400の動作はまた、非一時的であり得る1つまたは複数のコンピュータ可読媒体上に符号化された命令を使用して実装され得る。命令が1つまたは複数のデータ処理装置(たとえば、1つまたは複数のコンピューティングデバイス)によって実行されると、命令は1つまたは複数のデータ処理装置にプロセス400の動作を行わせる。
【0079】
ビデオは、サービス装置によって取得される(402)。いくつかの実装形態では、取得されるビデオは、ビデオ発行者によってビデオがアップロードされると取得される。ビデオ発行者は、ビデオ共有サイトにビデオをアップロードしたユーザ、または他のコンテンツとともに提示するためにビデオを作成するエンティティであることがある。たとえば、取得されたビデオは、図1を参照しながら説明したように、他のコンテンツとともに配信するために提供されたデジタルコンポーネントの形態であることがある。
【0080】
1つまたは複数の概念インデックスは、取得された所与のビデオごとに生成される(404)。1つまたは複数の概念インデックスは、所与のビデオに対して取得される所与の知識グラフごとに生成される別個の概念インデックスを含むことができる。いくつかの実装形態では、所与のビデオの概念インデックスは、少なくとも(i)所与のビデオで示される1つまたは複数のオブジェクトによって伝えられる概念と、および(ii)所与のビデオにおける概念の顕著さのレベルに基づいて生成される。図3を参照しながら上記で説明したように、所与のビデオで示される1つまたは複数のオブジェクトによって伝えられる1つまたは複数の概念は、所与のビデオ複数の部分に対して(たとえば、複数の異なるタイムスタンプで)取得される1つまたは複数の知識グラフによって表され得る。1つまたは複数の知識グラフは、たとえば、図2を参照しながら説明したように、ビデオの評価を通しておよび/または以前に生成された知識グラフを記憶したデータベースから、取得され得る。
【0081】
いくつかの実装形態では、概念インデックスが、ビデオにおける知識グラフの存在を評価することによって生成され得る。たとえば、特定の概念インデックスが、図3を参照しながら詳細に説明したように、知識グラフがビデオにおいて検出される回数、およびビデオの長さにわたる知識グラフの総存在シェアに基づいて特定の知識グラフによって表される概念について生成され得る。より詳細には、特定の知識グラフの概念インデックスは、(i)ビデオの長さにわたる特定の知識グラフの総存在シェアと、(ii)所与のビデオにおける特定の知識グラフのインスタンスの総数の比として決定され得る。
【0082】
上記で説明したように、ビデオ内の所与のタイムスタンプでの存在シェアが、ビデオビデオのそのタイムスタンプで所与の知識グラフによって表される1つまたは複数の概念の顕著さのレベルを示しており、これは、ビデオによって伝えられる1つまたは複数の概念の顕著さのレベルもまた示している。いくつかの実装形態では、所与の知識グラフ(および対応する概念)の総プレゼンスシェアは、ビデオの長さにわたって所与の知識グラフのプレゼンスシェアを合計することによって決定される。一方、所与の知識グラフによって記述されるビデオのいくつかの部分は、特定の知識グラフが検出されるビデオのいくつかのタイムスタンプ(または部分)に基づいて決定され得る。
【0083】
逆文書頻度が、所与の知識グラフごとに生成され、適用される(406)。所与の知識グラフの逆文書頻度は、たとえば、評価されているビデオから取得されたすべての知識グラフのうちの所与の知識グラフの頻度を決定することによって生成される。いくつかの実装形態では、所与の知識グラフの逆文書頻度は、所与の知識グラフによって表される複数のビデオの総数に基づいて生成され得る。言い換えれば、所与の知識グラフの逆文書頻度は、ビデオのうちのいくつが所与の知識グラフを含む知識グラフのセットを有するかに基づくことができる。いくつかの実装形態では、所与の知識グラフの逆文書頻度は、図3を参照しながら説明した関係(2)を使用して決定することができる。
【0084】
所与の知識グラフの逆文書頻度は、たとえば、逆文書頻度を、特定のビデオにおける所与の知識グラフの総プレゼンスシェアと掛けることによってaに適用され得る。たとえば、図3を参照しながら説明する関係(3)が、逆文書頻度を適用するために使用され得る。いくつかの実装形態では、別個の逆文書頻度が、異なる知識グラフごとに生成され、各ビデオにおける各所与の知識グラフの総プレゼンスシェアは、所与の知識グラフに生成された逆文書頻度使用して調整され得る。言い換えれば、生成された逆文書頻度は、複数のビデオの各々に対して所与の知識グラフの総プレゼンスシェアに適用される。
【0085】
ビデオのペアが、複数の取得されたビデオの中から選択される(408)。いくつかの実装形態では、ビデオのペアは、ランダムに(または擬似ランダムに)選択され得る。
【0086】
類似性測度が、ビデオのペアについて導出される(410)。いくつかの実装形態では、類似性測度の導出は、ビデオのペア間の共有知識グラフに共有類似性スコアを導出することと、共有知識グラフの考えられる類似性スコアを導出することとを含む。類似性スコアは、ビデオのペア間の特定の共有知識グラフごとに生成され得る。いくつかの実装形態では、共有知識グラフは、ビデオのペアのうちの各ビデオに見つけられる知識グラフである。たとえば、一致する知識グラフがビデオ2にも識別される場合、ビデオ1に識別された特定の知識グラフが、共有知識グラフと考えられ得る。一致する知識グラフは、完全な一致である場合があるが、必ずしも完全な一致である必要はないことに留意されたい。言い換えれば、一致する知識グラフは、1つまたは複数のオブジェクトを表す同じノードの1つまたは複数を有する知識グラフであることがある。2つの知識グラフを一致すると考えるよう求められる一致のレベルは、適用例に応じて変わり得る。
【0087】
共有類似性スコアは、ビデオのペアのうちのいずれかのビデオにおける共有知識グラフの最小プレゼンスシェアに基づいて導出され得る。たとえば、図3を参照しながら上記で説明したように、特定の共有知識グラフの共有類似性スコアは、関係(4)に示すように、ペアのビデオのいずれかにおける特定の共有知識グラフの最小調整プレゼンスシェア(たとえば、調整値)であることがある。
【0088】
考えられる類似性スコアは、ビデオのペアのうちのいずれかのビデオにおける共有知識グラフの最大プレゼンスシェアに基づいて導出され得る。たとえば、図3を参照しながら上記で説明したように、特定の共有知識グラフの考えられる類似性スコアは、関係(5)に示すように、ペアのビデオのいずれかにおける特定の共有知識グラフの最大調整プレゼンスシェア(たとえば、調整値)であることがある。
【0089】
類似性測度の導出は、ビデオのペア間の共有知識グラフのカウントの生成を含むこともできる。各共有知識グラフは、ビデオのペアの各ビデオを表す知識グラフの1つである所与の知識グラフである。上記で説明したように、共有知識グラフは、ビデオの1つにおいて、ペアの他方のビデオに識別された所与の知識グラフについて、一致する知識グラフを見つけることによって識別され得る。共有知識グラフのカウントは、たとえば、ペアの一方のビデオの所与の知識グラフが、他方のビデオの知識グラフに一致すると考えられるたびに、カウンタをインクリメントすること(または場合によってはカウントすること)によって生成され得る。いくつかの状況では、カウンタは、所与の知識グラフのすべての一致に対して1度だけインクリメントされ得る。他の状況では、カウンタは、一方のビデオの所与の知識グラフと、他方のビデオの一致する知識グラフの複数のインスタンスとの一致のすべてのインスタンスに対してインクリメントされ得る。
【0090】
1つまたは複数の非類似性測度が、ビデオのペアについて導出される(412)。いくつかの実装形態では、非類似性測度の導出は、非類似性カウントの生成と、非類似性スコアの計算とを含む。非類似性測度は、たとえば、ペアのビデオの各々からの似ていない知識グラフを使用して導出され得る。たとえば、上記で説明した類似性測度は、ビデオのペアについての一致する知識グラフを使用して生成されたが、非類似性測度は、ペアの他方のビデオに一致する知識グラフが見つけられなかった各ビデオからの知識グラフを使用して生成される。諒解され得るように、一致を決定するために使用される条件にかかわらず、類似性測度を導出するために使用される一致する知識グラフのセット、および非類似性測度を決定するために使用される似ていない知識グラフ(または一致しない知識グラフ)のセットがある。
【0091】
非類似性カウントの生成は、ビデオのペアに識別される似ていない知識グラフの数に基づいて生成され得る。似ていない知識グラフの数は、たとえば、一致する知識グラフがペアの他方のビデオで識別されなかった両方のビデオの知識グラフの総数とすることができる。似ていない知識グラフの数は、たとえば、一方のビデオにおける知識グラフの一致が、他方のビデオで見つけられないたびにカウンタをインクリメントすることによって生成でき、似ていない知識グラフの数は、一致を見つけるために2つのビデオのすべての知識グラフが分析された後のカウンタの値とすることができる。言い換えれば、非類似性カウントは、ビデオのペアのビデオの一方のみを表す似ていない知識グラフの数とすることができる。
【0092】
ビデオのペアの非類似性スコアは、ビデオのペアの各ビデオの似ていない知識グラフの概念インデックスに基づいて計算され得る。たとえば、概念インデックスは、ペアの各ビデオについて各似ていない知識グラフに対して識別され得る。似ていない知識グラフの各々に対するこれらの概念インデックスは、次いでペアの2つのビデオの非類似性スコアを取得するために合計され得る。
【0093】
ビデオの複数のグループが、類似性測度および非類似性測度に基づいて作成される(414)。いくつかの実装形態では、ビデオの各所与のグループが、所与のグループの他のビデオとの少なくとも指定されたレベルの類似性を有するビデオのみを含むように作成される。たとえば、所与のグループに含まれるように、所与のビデオは、グループの各他のビデオに対して類似性条件のセットを満たすよう求められることがある。類似性条件のセットは、上記で説明した類似性および非類似性の測度に関係することができ、ビデオの全部が概念的に類似の概念に関係していることを保証するために使用され得る。
【0094】
グループの作成は、たとえば、ビデオの概念インデックスに(直接的にまたは間接的に)基づくことができる。たとえば、非類似性測度は、直接的に似ていない知識グラフの概念インデックスに基づいて導出され、類似性測度は、概念インデックスを決定するためにも使用されるプレゼンスシェアに基づいて導出される。
【0095】
いくつかの実装形態では、グループの作成は、以下のファクタの1つまたは複数に依拠することができる。
1) グラフのペア間の一致する知識グラフの数を指す、n_similarで表される、共有知識グラフの数。
2) ペアの他方のビデオに一致がない、ペアの各ビデオにおける知識グラフの数を指す、m_dissimilarで表される、似ていない知識グラフの数。
3) ビデオのペアのすべての共有知識グラフについての考えられる類似性測度の数学的和を指す、total_possible_similarityで表される、考えられる類似性の和。
4) ペアのすべての共有知識グラフについての共有類似性測度の数学的和を指す、shared_similarity_massで表される、共有類似性の和。
5) ビデオのペアのすべての似ていない知識グラフについての非類似性スコアの和である、dissimilarity_massで表される、非類似性スコアの和。
6) dissimilarity_shareで表され、ただしdissimilarity_share = dissimilarity_mass / shared_similarity_massである、非類似性シェア。
7) total_massによって表され、ただしtotal_mass = dissimilarity_mass + total_possible_similarityである、総量(total mass)。
8) share_of_dissimilarityによって表され、ただしshare_of_dissimilarity = dissimilarity_share / total_massである、非類似性のシェア。
9) share_of_realized_similiarityによって表され、ただしshare_of_realized_similiarity = shared_similarity_mass / total_massである、実現類似性のシェア。
10) share_of_possible_similarityによって表され、ただしshare_of_possible_similarity = total_possible_similarity / total_massである、考えられる類似性のシェア。
11) comparison_scoreによって表され、ただしcomparison_score = shared_similarity_mass / dissimilarity_massである、比較スコア。
12) creative_approach_similarity_scoreによって表され、ただしcreative_approach_similarity_score = total_possible_similarity / dissimilarity_massである、創造的手法類似性スコア。
1) グラフのペア間の一致する知識グラフの数を指す、n_similarで表される、共有知識グラフの数。
2) ペアの他方のビデオに一致がない、ペアの各ビデオにおける知識グラフの数を指す、m_dissimilarで表される、似ていない知識グラフの数。
3) ビデオのペアのすべての共有知識グラフについての考えられる類似性測度の数学的和を指す、total_possible_similarityで表される、考えられる類似性の和。
4) ペアのすべての共有知識グラフについての共有類似性測度の数学的和を指す、shared_similarity_massで表される、共有類似性の和。
5) ビデオのペアのすべての似ていない知識グラフについての非類似性スコアの和である、dissimilarity_massで表される、非類似性スコアの和。
6) dissimilarity_shareで表され、ただしdissimilarity_share = dissimilarity_mass / shared_similarity_massである、非類似性シェア。
7) total_massによって表され、ただしtotal_mass = dissimilarity_mass + total_possible_similarityである、総量(total mass)。
8) share_of_dissimilarityによって表され、ただしshare_of_dissimilarity = dissimilarity_share / total_massである、非類似性のシェア。
9) share_of_realized_similiarityによって表され、ただしshare_of_realized_similiarity = shared_similarity_mass / total_massである、実現類似性のシェア。
10) share_of_possible_similarityによって表され、ただしshare_of_possible_similarity = total_possible_similarity / total_massである、考えられる類似性のシェア。
11) comparison_scoreによって表され、ただしcomparison_score = shared_similarity_mass / dissimilarity_massである、比較スコア。
12) creative_approach_similarity_scoreによって表され、ただしcreative_approach_similarity_score = total_possible_similarity / dissimilarity_massである、創造的手法類似性スコア。
【0096】
いくつかの実装形態では、これらのファクタの1つまたは複数は、評価されるビデオの各ペア間の関係(たとえば、類似性)を記述するために使用され、取得されたビデオの中のビデオの各ペアが、これらのファクタによって特徴づけられる。ビデオのペア間の関係を記述するために使用されるファクタは、クラスタリングアルゴリズムへの入力とすることができ、クラスタリングアルゴリズムはこれらのファクタに基づいてビデオを一緒にグループ化する。
【0097】
いくつかの実装形態では、ビデオのグループは、グラフィカルユーザインターフェースで視覚的に提示され得る。グラフィカルユーザインターフェースの雑然さを軽減するために、および処理時間を改善するために、ビデオのグループは、同じであるビデオを表示から削除するために、重複排除(deduplicate)され得る。重複排除プロセスは、たとえば、ビデオが実質的に同じであることを指し示すものとなる、しきい値以上の共有類似性および/または指定されたレベル未満の非類似性を有する所与のグループ内のビデオのペアを識別することができる。
【0098】
インサイトが、複数のビデオグループについて生成される(416)。いくつかの実装形態では、所与のビデオグループごとのインサイトは、フィードバックループを通して取得されたデータに基づいて決定される。たとえば、提示されたビデオへのユーザリアクションが、フィードバックループを通して取得され、提示されたビデオおよび/またはビデオを含むグループへのリファレンスとともにログ記録され得る。リアクションは、グループごとに集めることができ、ビデオのグループについてのインサイト、ビデオのグループによって伝えられる概念、およびビデオのグループの他の属性を提供するために使用することができる。
【0099】
フィードバックループは、たとえば、ユーザがビデオと対話する(たとえば、ビデオをクリックする)と起動されるスクリプト、ウォッチタイムを報告するためにビデオの再生中に自動的に生成されるpingとして、または他の機構を使用して、実装することができる。これらのフィードバックループを使用すると、ユーザは、ユーザに提示されたビデオについてのユーザのリアクションを別個に報告するよう求められない。そうではなく、リアクション(たとえば、肯定または否定)は、様々なフィードバックループを使用して収集されたデータに基づいて推論され得る。
【0100】
複数の異なるビデオグループについて集められたデータに基づいて生成されたインサイトは、たとえば、より低いレベルの肯定的フィードバックデータを取得するビデオの他のグループと比較して、より高いレベルの肯定的フィードバックデータを取得するビデオのグループの識別情報を含むことができる。より高いレベルの肯定的フィードバックデータを有するグループが識別されると、ビデオ発行者は、より高いレベルの肯定的フィードバックデータを受け取るビデオのタイプについての情報を提供されることが可能であり、新しいビデオに同様の特徴を組み込むことができるようになる。同様に、ビデオ発行者は、より低いレベルの肯定的フィードバックデータを受け取るビデオのグループについての情報を提供されることが可能であり、ビデオ発行者は新しいビデオから同様の特徴を省くことができるようになる。
【0101】
いくつかの実装形態では、インサイトは、視聴者タイプごとに作成され得る。たとえば、フィードバックデータは、視聴者特性のいずれかのタイプ(たとえば、デバイスタイプ、関心グループ、時刻、地理的領域など)に基づいてセグメント化することができ、インサイトは、視聴者タイプまたは視聴者セグメントの各々に生成することができる。データがこのようにしてセグメント化されるとき、(たとえば、上記で説明したような)インサイトは、ビデオ発行者がビデオを作成している視聴者のタイプに基づいてビデオ発行者に提供され得る。
【0102】
生成されるインサイトは、より高いレベルの肯定的フィードバックを受け取るビデオを作成するためにビデオ発行者によって使用されるインサイトを超えて拡大することができる。いくつかの実装形態では、インサイトは、アップロードされる新しいビデオを効率的および効果的に配信するためにコンピュータを訓練するのに必要とされる時間量を大幅に削減するために使用され得る。たとえば、新しいビデオがアップロードされると、新しいビデオは、本明細書全体にわたって説明するように評価され、クラスタリングされ得る。新しいビデオがクラスタに割り当てられると、そのクラスタ内のビデオについてのインサイトは、クラスタ内の他のビデオに対する新しいビデオの既知の類似性に基づいて新しいビデオの最初の配信基準を生成するために使用され得る。このようにして最初の配信基準を生成し、クラスタ内の他のビデオのインサイトに基づいて生成された最初の配信基準を使用して新しいビデオを配信することによって、既存のシステムによって必要とされる訓練期間(一週間以上の長さであることがある)は、大幅に削減されまたは省かれて、コンピュータシステムは、はるかに迅速に新しいビデオの配信基準を微調整して、配信基準の最適なセットにたどり着くことができる。
【0103】
少なくとも1つのビデオが配信される方法が、インサイトに基づいて変更される(418)。いくつかの実装形態では、少なくとも1つのビデオが配信される方法の変更は、ビデオの配信基準を調整することを含むことができる。たとえば、クラスタの所与のビデオの最初の対象となる視聴者が、アトランタ、GAのホッケーファンに対してであるが、その所与のビデオが含まれるビデオのグループは、そのグループでは低いフィードバックデータを有するが、アトランタ、GAのホッケーファンでは高いフィードバックデータを有すると仮定する。この例では、所与のビデオの配信基準は、所与のビデオがアトランタ、GAのホッケーファンの視聴者に提示される可能性を増やすように調整され得る。別の例では、ビデオが配信される時間、またはビデオが配信されるコンテンツは、グループの各々に生成されるインサイトに基づいて調整され得る。さらに、受け取るフィードバックデータがより肯定的である可能性を上げるために、ビデオ自体の属性が変更され得る。
【0104】
図5は、上記で説明した動作を実行するために使用され得る、例示的なコンピュータシステム500のブロック図である。システム500は、プロセッサ510、メモリ520、記憶デバイス530、および入出力デバイス540を含む。構成要素510、520、530、および540の各々は、たとえば、システムバス550を使用して、相互接続され得る。プロセッサ510は、システム500内で実行するための命令を処理することが可能である。一実装形態では、プロセッサ510はシングルスレッドプロセッサである。別の実装形態では、プロセッサ510はマルチスレッドプロセッサである。プロセッサ510は、メモリ520にまたは記憶デバイス530上に記憶された命令を処理することが可能である。
【0105】
メモリ520は、情報をシステム500内に記憶する。一実装形態では、メモリ520は、コンピュータ可読媒体である。一実装形態では、メモリ520は、揮発性メモリユニットである。別の実装形態では、メモリ520は、不揮発性メモリユニットである。
【0106】
記憶デバイス530は、システム500に大容量記憶を提供することが可能である。一実装形態では、記憶デバイス530は、コンピュータ可読媒体である。様々な異なる実装形態では、記憶デバイス530は、たとえば、ハードディスクデバイス、光ディスクデバイス、複数のコンピューティングデバイス(たとえば、クラウド記憶デバイス)によってネットワークを通じて共有される記憶デバイス、または何らかの他の大容量記憶デバイスを含むことができる。
【0107】
入力/出力デバイス540は、システム400に入力/出力動作を提供する。一実装形態では、入出力デバイス540は、ネットワークインターフェースデバイス、たとえば、イーサネットカード、シリアル通信デバイス、たとえば、RS-232ポート、および/またはワイヤレスインターフェースデバイス、たとえば、802.11カードのうちの1つまたは複数を含み得る。別の実装形態では、入力/出力デバイスは、入力データを受信し、出力データを周辺デバイス560、たとえば、キーボード、プリンタ、およびディスプレイデバイスに送信するように構成された、ドライバデバイスを含み得る。しかしながら、モバイルコンピューティングデバイス、モバイル通信デバイス、セットトップボックステレビジョンクライアントデバイスなどの他の実装形態も使用され得る。
【0108】
例示的な処理システムが図5で説明されているが、本明細書内で説明する主題の実装形態および機能的動作は、他のタイプのデジタル電子回路において、または本明細書で開示する構造およびその構造的均等物を含むコンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらのうちの1つもしくは複数の組合せにおいて実装され得る。
【0109】
本明細書は、サービス装置110に言及する。本明細書で使用するサービス装置110は、ネットワークを通じてコンテンツの配信を容易にする動作を行う1つまたは複数のデータ処理装置である。サービス装置110は、ブロック図に単一のブロックとして示されている。しかしながら、サービス装置110は単一のデバイスまたは単一のセットのデバイスであり得ると同時に、本開示は、サービス装置110が、デバイスのグループ、またはさらにはクライアントデバイス106に様々なコンテンツを提供するために通信する複数の異なるシステムでもあり得ると考える。たとえば、サービス装置110は、検索システム、ビデオストリーミングサービス、オーディオストリーミングサービス、電子メールサービス、ナビゲーションサービス、広告サービス、またはいずれかの他のサービスのうちの1つまたは複数を包含することができる。
【0110】
電子文書(簡潔にするために単に文書と呼ばれる)は、ファイルに対応する場合があるが、必ずしもその必要はない。文書は、他の文書を保持するファイルの一部分に、当該の文書専用の単一のファイルに、または複数の協調ファイルに記憶され得る。
【0111】
本明細書で説明した主題および動作の実施形態は、デジタル電子回路において、または、本明細書で開示した構造およびそれらの構造的均等物を含む、コンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらのうちの1つもしくは複数の組合せにおいて実装され得る。本明細書で説明した主題の実施形態は、データ処理装置による実行のために、またはデータ処理装置の動作を制御するために、コンピュータ記憶媒体上に符号化された1つまたは複数のコンピュータプログラム、すなわち、コンピュータプログラム命令の1つまたは複数のモジュールとして実装され得る。代替または追加として、プログラム命令は、データ処理装置による実行のために好適な受信機装置に送信するための情報を符号化するために生成された、人工的に生成された伝搬信号、たとえば、機械で生成された電気信号、光信号、または電磁信号上で符号化され得る。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムもしくはシリアルアクセスメモリアレイもしくはデバイス、またはそれらのうちの1つもしくは複数の組合せであるか、またはそれらに含まれることがある。さらに、コンピュータ記憶媒体は、伝搬信号ではなく、コンピュータ記憶媒体は、人工的に生成された伝搬信号において符号化されたコンピュータプログラム命令のソースまたは宛先であることがある。コンピュータ記憶媒体はまた、1つまたは複数の別個の物理構成要素または媒体(たとえば、複数のCD、ディスク、または他の記憶デバイス)であるか、またはそれらに含まれることがある。
【0112】
本明細書で説明した動作は、1つまたは複数のコンピュータ可読記憶デバイス上に記憶されたまたは他のソースから受信されたデータに対してデータ処理装置によって実行される動作として実装され得る。
【0113】
「データ処理装置」という用語は、例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、または上記の複数のもの、もしくは上記のものの組合せを含む、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含する。装置は、専用の論理回路、たとえばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含むことができる。装置はまた、ハードウェアに加えて、当該のコンピュータプログラムのための実行環境を作成するコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらのうちの1つまたは複数の組合せを構成するコードも含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティングインフラストラクチャおよびグリッドコンピューティングインフラストラクチャなどの様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。
【0114】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られている)は、コンパイル型言語またはインタプリタ型言語、宣言型言語または手続き型言語を含む任意の形態のプログラミング言語で書くことができ、スタンドアロンプログラムとして、またはモジュール、構成要素、サブルーチン、オブジェクト、もしくはコンピューティング環境において使用するのに適した他のユニットとして含む任意の形態で展開することができる。コンピュータプログラムは、ファイルシステムの中のファイルに対応し得るが、そうである必要はない。プログラムは、他のプログラムもしくはデータ(たとえば、マークアップ言語文書の中に記憶された1つまたは複数のスクリプト)を保持するファイルの一部分の中に、当該のプログラムに専用の単一のファイルの中に、または複数の協調ファイル(たとえば、1つまたは複数のモジュール、サブプログラム、またはコードの部分を記憶するファイル)の中に記憶することができる。コンピュータプログラムは、1つのコンピュータ上で、または1つのサイトに配置されるかもしくは複数のサイトにわたって分散され通信ネットワークによって相互接続される、複数のコンピュータ上で実行されるように展開することができる。
【0115】
本明細書で説明するプロセスおよび論理フローは、入力データ上で動作し、出力を生成することによってアクションを実行するために、1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラマブルプロセッサによって実行することができる。プロセスおよび論理フローはまた、専用論理回路、たとえば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実行することもでき、装置をそれらとして実装することもできる。
【0116】
コンピュータプログラムの実行に好適なプロセッサは、例として、汎用マイクロプロセッサと専用マイクロプロセッサの両方、および任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサを含む。一般にプロセッサは、読取り専用メモリもしくはランダムアクセスメモリまたは両方から命令およびデータを受け取る。コンピュータの必須要素は、命令に従ってアクションを実行するためのプロセッサ、ならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。一般に、コンピュータはまた、データを記憶するための1つまたは複数の大容量記憶デバイス、たとえば、磁気ディスク、光磁気ディスク、または光ディスクを含むか、あるいは、それらからデータを受信することもしくはそれらにデータを転送することまたはその両方を行うために動作可能に結合される。しかしながら、コンピュータはそのようなデバイスを有する必要はない。その上、コンピュータは、ほんのいくつかの例を挙げれば、別のデバイス、たとえば、携帯電話、携帯情報端末(PDA)、モバイルオーディオもしくはビデオプレーヤ、ゲーム機、全地球測位システム(GPS)レシーバ、またはポータブル記憶デバイス(たとえば、ユニバーサルシリアルバス(USB)フラッシュドライブ)の中に組み込むことができる。コンピュータプログラム命令およびデータを記憶するのに好適なデバイスは、例として、半導体メモリデバイス、たとえば、EPROM、EEPROM、およびフラッシュメモリデバイス、磁気ディスク、たとえば、内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにCD-ROMディスクおよびDVD-ROMディスクを含む、すべての形態の不揮発性メモリ、媒体およびメモリデバイスを含む。プロセッサおよびメモリは、専用論理回路構成によって補完されるか、または専用論理回路構成に組み込まれることがある。
【0117】
ユーザとの対話を提供するために、本明細書で説明する主題の実施形態は、ユーザに情報を表示するための、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタなどのディスプレイデバイス、ならびに、キーボード、および、ユーザがコンピュータに入力を提供することができる、たとえば、マウスまたはトラックボールなどのポインティングデバイスを有するコンピュータ上で実装することができる。他の種類のデバイスも、ユーザとの対話を提供するために使用することができる。たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであってもよく、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受け取ることができる。加えて、コンピュータは、文書をユーザによって使用されるデバイスに送信し、文書をそのデバイスから受信することによって、たとえば、ユーザのクライアントデバイス上のウェブブラウザから受信された要求に応じてウェブページをそのウェブブラウザに送信することによって、ユーザと対話することができる。
【0118】
本明細書で説明した主題の実施形態は、たとえば、データサーバとして、バックエンド構成要素を含むか、もしくはミドルウェア構成要素、たとえば、アプリケーションサーバを含むか、またはフロントエンド構成要素、たとえば、ユーザが本明細書で説明した主題の実装形態とそれを通して対話することができるグラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータを含むか、あるいは1つもしくは複数のそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の任意の組合せを含む、コンピューティングシステムにおいて実装することができる。システムの構成要素は、任意の形態または媒体のデジタルデータ通信、たとえば、通信ネットワークによって、相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)およびワイドエリアネットワーク(「WAN」)、インターネットワーク(たとえば、インターネット)、ならびにピアツーピアネットワーク(たとえば、アドホックピアツーピアネットワーク)を含む。
【0119】
コンピューティングシステムは、クライアントと、サーバとを含むことができる。クライアントおよびサーバは、一般に、互いから離れており、典型的には、通信ネットワークを通じて対話する。クライアントとサーバの関係は、それぞれのコンピュータ上で動作し、互いに対してクライアント-サーバ関係を有する、コンピュータプログラムによって生じる。いくつかの実施形態では、サーバは、(たとえば、クライアントデバイスと対話するユーザにデータを表示し、そのユーザからユーザ入力を受信する目的で)データ(たとえば、HTMLページ)をクライアントデバイスに送信する。クライアントデバイスにおいて生成されたデータ(たとえば、ユーザ対話の結果)は、サーバにおいてクライアントデバイスから受信され得る。
【0120】
本明細書は多くの特定の実装形態の詳細を含んでいるが、これらは任意の発明の範囲または特許請求され得るものの範囲に対する限定として解釈されるべきではなく、むしろ特定の発明の特定の実施形態に固有の特徴の説明として解釈されるべきである。別個の実施形態の文脈で本明細書で説明されるいくつかの特徴はまた、単一の実施形態において組み合わせて実装され得る。逆に、単一の実施形態の文脈で説明される様々な特徴はまた、複数の実施形態において別々に、または任意の好適な部分組合せにおいて実装され得る。さらに、特徴はいくつかの組合せにおいて働くものとして上記で説明され、そのようなものとして最初に特許請求されることさえあるが、特許請求される組合せからの1つまたは複数の特徴は、場合によっては、その組合せから削除されることがあり、特許請求される組合せは、部分組合せまたは部分組合せの変形形態を対象とする場合がある。
【0121】
同様に、動作は、特定の順序で図面に示されるが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序でもしくは逐次的順序で実施されること、またはすべての例示された動作が実施されることを必要とするものとして理解されるべきではない。いくつかの状況では、マルチタスキングおよび並列処理が有利であり得る。さらに、上記で説明された実施形態における様々なシステム構成要素の分離は、すべての実施形態においてそのような分離を必要とするものと理解されるべきではなく、説明されるプログラム構成要素およびシステムは一般に、単一のソフトウェア製品に一緒に統合され得るか、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。
【0122】
以上、本主題の特定の実施形態について説明した。他の実施形態は、以下の特許請求の範囲内にある。場合によっては、特許請求の範囲に列挙されるアクションは、異なる順序で実行される場合があるが、依然として望ましい結果を達成することができる。加えて、添付の図に示されるプロセスは、望ましい結果を達成するために、必ずしも示された特定の順序または逐次的な順序を必要とするとは限らない。いくつかの実装形態では、マルチタスキングおよび並列処理が有利であり得る。
【符号の説明】
【0123】
100 オンライン環境
102 ネットワーク
104 電子文書サーバ
106 ユーザデバイス
108 デジタルコンポーネントサーバ
110 サービス装置
112 コンポーネント要求
114 コンピューティングデバイスのセット
116 デジタルコンポーネントデータベース
117 タスク
118 結果
120 応答データ
121 サーバ要求(SR)
122 デジタルコンポーネントデータ(DCデータ)
150 概念評価装置(CEA)
202 ビデオプレーヤ
204 再生タイマー
216 人
218 椅子
220 テーブル/机
400 システム
500 コンピュータシステム
510 プロセッサ
520 メモリ
530 記憶デバイス
540 入力/出力デバイス
560 周辺デバイス
102 ネットワーク
104 電子文書サーバ
106 ユーザデバイス
108 デジタルコンポーネントサーバ
110 サービス装置
112 コンポーネント要求
114 コンピューティングデバイスのセット
116 デジタルコンポーネントデータベース
117 タスク
118 結果
120 応答データ
121 サーバ要求(SR)
122 デジタルコンポーネントデータ(DCデータ)
150 概念評価装置(CEA)
202 ビデオプレーヤ
204 再生タイマー
216 人
218 椅子
220 テーブル/机
400 システム
500 コンピュータシステム
510 プロセッサ
520 メモリ
530 記憶デバイス
540 入力/出力デバイス
560 周辺デバイス
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2023-06-20
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
データ処理装置によって実施される方法であって、サービス装置によって、ビデオ発行者によってアップロードされたビデオを取得するステップと、
前記サービス装置によって、所与のビデオごとに概念インデックスを生成するステップであって、前記概念インデックスが、少なくとも(i)前記ビデオにおいて示される1つまたは複数の物体によって伝えられる概念、および(ii)前記所与のビデオにおける前記概念の顕著さのレベルに基づいて生成される、生成するステップと、
前記サービス装置によって、前記ビデオの前記概念インデックスに基づいて、複数のビデオグループを作成するステップであって、前記複数のビデオグループのうちの各所与のビデオグループが、前記所与のビデオグループの他のビデオとの指定されたレベルの類似性を各々有する2つ以上の異なるビデオを含むように作成される、作成するステップと、
前記サービス装置によって、フィードバックループを介して取得されたデータに基づいて、前記複数のビデオグループについてのインサイトを生成するステップと、
少なくとも1つのビデオが、前記少なくとも1つのビデオを含む前記所与のビデオグループについての前記インサイトに基づいて、ネットワークを通じて配信される方法を、前記サービス装置によって変更するステップと
を含む、方法。
【請求項2】
所与のビデオごとに前記概念インデックスを生成するステップが、前記ビデオのうちの所与のビデオごとに、
前記所与のビデオの複数の部分について1つまたは複数の知識グラフを取得するステップであって、前記知識グラフの各々が、前記所与のビデオによって伝えられる1つまたは複数の概念を表す、取得するステップと、
所与の知識グラフごとに、前記所与の知識グラフによって表される前記概念の顕著さの前記レベルを示すプレゼンスシェアを決定するステップであって、前記概念インデックスが、少なくとも一部は、前記所与のビデオにおける前記所与の知識グラフのインスタンスの数および前記ビデオの長さにわたる前記所与の知識グラフの総プレゼンスシェアに基づいて生成される、決定するステップと
を含む、請求項1に記載の方法。
【請求項3】
所与のビデオごとに前記概念インデックスを生成するステップが、前記所与のビデオに対して取得された所与の知識グラフごとに、
前記所与のビデオの前記長さにわたって前記所与の知識グラフの前記プレゼンスシェアを合計するステップと、
前記所与の知識グラフによって記述される前記所与のビデオのいくつかの部分を決定するステップと、
部分の前記数に対する前記合計されたプレゼンスシェアの比に基づいて、前記所与のビデオについての前記概念インデックスを生成するステップと
を含む、請求項2に記載の方法。
【請求項4】
前記ビデオ発行者によってアップロードされた複数のビデオに対して取得された所与の知識グラフごとに、前記所与の知識グラフによって表される前記複数のビデオの総数に基づいて、前記所与の知識グラフの逆文書頻度を生成するステップと、
前記複数のビデオの各々に対して前記所与の知識グラフの総プレゼンスシェアに、前記生成された逆文書頻度を適用するステップと
をさらに含む、請求項3に記載の方法。
【請求項5】
前記複数のビデオの中からビデオのペアを選択するステップと、ビデオの前記ペア間の共有知識グラフのカウントを生成するステップであって、各共有知識グラフが、ビデオの前記ペアの各ビデオを表す前記知識グラフの1つである所与の知識グラフである、生成するステップと、
ビデオの前記ペア間の特定の共有知識グラフごとに、
ビデオの前記ペアのうちのいずれかのビデオについて、前記知識グラフの最小プレゼンスシェアに基づいて前記特定の共有知識グラフの共有類似性スコアを導出するステップと、
ビデオの前記ペアのうちのいずれかのビデオについて、前記共有知識グラフの最大プレゼンスシェアに基づいて前記特定の共有知識グラフの考えられる類似性スコアを導出するステップと
をさらに含む、請求項4に記載の方法。
【請求項6】
ビデオの前記ペアの前記ビデオの一方のみを表す似ていない知識グラフの数に基づいて非類似性カウントを生成するステップと、ビデオの前記ペアの各ビデオの前記似ていない知識グラフの前記概念インデックスに基づいて、ビデオの前記ペアの非類似性スコアを計算するステップと、
前記非類似性スコア、前記考えられる類似性スコア、および前記共有類似性スコアに基づいて、ビデオの前記ペアの1つまたは複数のクラスタリングファクタを生成するステップと
をさらに含む、請求項5に記載の方法。
【請求項7】
前記複数のビデオグループを作成するステップが、ビデオのペアごとに、ビデオの前記ペアの前記クラスタリングファクタを、前記指定されたレベルの類似性と比較するステップと、
前記クラスタリングファクタが前記指定されたレベルを満たすビデオの第1のペアを、同じグループに含むステップと、
ビデオの前記第1のペアに対して前記クラスタリングファクタが前記指定されたレベルを満たさない第3のビデオを、前記同じグループから除外するステップと
を含む、請求項6に記載の方法。
【請求項8】
システムであって、メモリデバイスと、
前記メモリデバイスと対話し、命令を実行するように構成された1つまたは複数のプロセッサであって、前記命令が前記1つまたは複数のプロセッサに動作を行わせ、前記動作が、
ビデオ発行者によってアップロードされたビデオを取得することと、
所与のビデオごとに概念インデックスを生成することであって、前記概念インデックスが、少なくとも(i)前記ビデオにおいて示される1つまたは複数の物体によって伝えられる概念、および(ii)前記所与のビデオにおける前記概念の顕著さのレベルに基づいて生成される、生成することと、
前記ビデオの前記概念インデックスに基づいて、複数のビデオグループを作成することであって、前記複数のビデオグループのうちの各所与のビデオグループが、前記所与のビデオグループの他のビデオとの指定されたレベルの類似性を各々有する2つ以上の異なるビデオを含むように作成される、作成することと、
フィードバックループを介して取得されたデータに基づいて、前記複数のビデオグループについてのインサイトを生成することと、
少なくとも1つのビデオが、前記少なくとも1つのビデオを含む前記所与のビデオグループについての前記インサイトに基づいて、ネットワークを通じて配信される方法を変更することと
を含む、プロセッサと
を備える、システム。
【請求項9】
所与のビデオごとに前記概念インデックスを生成することが、前記ビデオのうちの所与のビデオごとに、
前記所与のビデオの複数の部分について1つまたは複数の知識グラフを取得することであって、前記知識グラフの各々が、前記所与のビデオによって伝えられる1つまたは複数の概念を表す、取得することと、
所与の知識グラフごとに、前記所与の知識グラフによって表される前記概念の顕著さの前記レベルを示すプレゼンスシェアを決定することであって、前記概念インデックスが、少なくとも一部は、前記所与のビデオにおける前記所与の知識グラフのインスタンスの数および前記ビデオの長さにわたる前記所与の知識グラフの総プレゼンスシェアに基づいて生成される、決定することと
を含む、請求項8に記載のシステム。
【請求項10】
所与のビデオごとに前記概念インデックスを生成することが、前記所与のビデオに対して取得された所与の知識グラフごとに、
前記所与のビデオの前記長さにわたって前記所与の知識グラフの前記プレゼンスシェアを合計することと、
前記所与の知識グラフによって記述される前記所与のビデオの部分の数を決定することと、
部分の前記数に対する前記合計されたプレゼンスシェアの比に基づいて、前記所与のビデオについての前記概念インデックスを生成することと
を含む、請求項9に記載のシステム。
【請求項11】
前記命令が、前記1つまたは複数のプロセッサに動作を行わせ、前記動作が、前記ビデオ発行者によってアップロードされた複数のビデオに対して取得された所与の知識グラフごとに、
前記所与の知識グラフによって表される前記複数のビデオの総数に基づいて、前記所与の知識グラフの逆文書頻度を生成することと、
前記複数のビデオの各々に対して前記所与の知識グラフの総プレゼンスシェアに、前記生成された逆文書頻度を適用することと
をさらに含む、請求項10に記載のシステム。
【請求項12】
前記命令が、前記1つまたは複数のプロセッサに、前記複数のビデオの中からビデオのペアを選択することと、
ビデオの前記ペア間の共有知識グラフのカウントを生成することであって、各共有知識グラフが、ビデオの前記ペアの各ビデオを表す前記知識グラフのうちの所与の知識グラフである、生成することと、
ビデオの前記ペア間の特定の共有知識グラフごとに、
ビデオの前記ペアのうちのいずれかのビデオについて、前記知識グラフの最小プレゼンスシェアに基づいて前記特定の共有知識グラフの共有類似性スコアを導出することと、
ビデオの前記ペアのうちのいずれかのビデオについて、前記共有知識グラフの最大プレゼンスシェアに基づいて前記特定の共有知識グラフの考えられる類似性スコアを導出することと
をさらに含む動作を行わせる、請求項11に記載のシステム。
【請求項13】
前記命令が、前記1つまたは複数のプロセッサに動作を行わせ、前記動作が、ビデオの前記ペアの前記ビデオの一方のみを表す似ていない知識グラフの数に基づいて非類似性カウントを生成することと、
ビデオの前記ペアの各ビデオの前記似ていない知識グラフの前記概念インデックスに基づいて、ビデオの前記ペアの非類似性スコアを計算することと、
前記非類似性スコア、前記考えられる類似性スコア、および前記共有類似性スコアに基づいて、ビデオの前記ペアの1つまたは複数のクラスタリングファクタを生成することと
をさらに含む、請求項12に記載のシステム。
【請求項14】
前記複数のビデオグループを作成することが、ビデオのペアごとに、ビデオの前記ペアの前記クラスタリングファクタを、前記指定されたレベルの類似性と比較することと、
前記クラスタリングファクタが前記指定されたレベルを満たすビデオの第1のペアを、同じグループに含むことと、
ビデオの前記第1のペアに対して前記クラスタリングファクタが前記指定されたレベルを満たさない第3のビデオを、前記同じグループから除外することと
を含む、請求項13に記載のシステム。
【請求項15】
命令を記憶する1つまたは複数のコンピュータ可読記憶媒体であって、前記命令が、1つまたは複数のデータ処理装置によって実行されると、前記1つまたは複数のデータ処理装置に動作を実行させ、前記動作が、ビデオ発行者によってアップロードされたビデオを取得することと、
所与のビデオごとに概念インデックスを生成することであって、前記概念インデックスが、少なくとも(i)前記ビデオにおいて示される1つまたは複数の物体によって伝えられる概念、および(ii)前記所与のビデオにおける前記概念の顕著さのレベルに基づいて生成される、生成することと、
前記ビデオの前記概念インデックスに基づいて、複数のビデオグループを作成することであって、前記複数のビデオグループのうちの各所与のビデオグループが、前記所与のビデオグループの他のビデオとの指定されたレベルの類似性を各々有する2つ以上の異なるビデオを含むように作成される、作成することと、
フィードバックループを介して取得されたデータに基づいて、前記複数のビデオグループについてのインサイトを生成することと、
少なくとも1つのビデオが、前記少なくとも1つのビデオを含む前記所与のビデオグループについての前記インサイトに基づいてネットワークを通じて配信される方法を変更することと
を含む、コンピュータ可読記憶媒体。
【請求項16】
所与のビデオごとに前記概念インデックスを生成することが、前記ビデオのうちの所与のビデオごとに、
前記所与のビデオの複数の部分について1つまたは複数の知識グラフを取得することであって、前記知識グラフの各々が、前記所与のビデオによって伝えられる1つまたは複数の概念を表す、取得することと、
所与の知識グラフごとに、前記所与の知識グラフによって表される前記概念の顕著さの前記レベルを示すプレゼンスシェアを決定することであって、前記概念インデックスが、少なくとも一部は、前記所与のビデオにおける前記所与の知識グラフのインスタンスの数および前記ビデオの長さにわたる前記所与の知識グラフの総プレゼンスシェアに基づいて生成される、決定することと
を含む、請求項15に記載のコンピュータ可読記憶媒体。
【請求項17】
所与のビデオごとに前記概念インデックスを生成することが、前記所与のビデオに対して取得された所与の知識グラフごとに、
前記所与のビデオの前記長さにわたって前記所与の知識グラフの前記プレゼンスシェアを合計することと、
前記所与の知識グラフによって記述される前記所与のビデオの部分の数を決定することと、
部分の前記数に対する前記合計されたプレゼンスシェアの比に基づいて、前記所与のビデオについての前記概念インデックスを生成することと
を含む、請求項16に記載のコンピュータ可読記憶媒体。
【請求項18】
前記命令が、前記1つまたは複数のプロセッサに動作を行わせ、前記動作が、前記ビデオ発行者によってアップロードされた複数のビデオに対して取得された所与の知識グラフごとに、
前記所与の知識グラフによって表される前記複数のビデオの総数に基づいて、前記所与の知識グラフの逆文書頻度を生成することと、
前記複数のビデオの各々に対して前記所与の知識グラフの総プレゼンスシェアに、前記生成された逆文書頻度を適用することと
をさらに含む、請求項17に記載のコンピュータ可読記憶媒体。
【請求項19】
前記命令が、前記1つまたは複数のプロセッサに動作を行わせ、前記動作が、前記複数のビデオの中からビデオのペアを選択することと、
ビデオの前記ペア間の共有知識グラフのカウントを生成することであって、各共有知識グラフが、ビデオの前記ペアの各ビデオを表す前記知識グラフのうちの所与の知識グラフである、生成することと、
ビデオの前記ペア間の特定の共有知識グラフごとに、
ビデオの前記ペアのうちのいずれかのビデオについて、前記知識グラフの最小プレゼンスシェアに基づいて前記特定の共有知識グラフの共有類似性スコアを導出することと、
ビデオの前記ペアのうちのいずれかのビデオについて、前記共有知識グラフの最大プレゼンスシェアに基づいて前記特定の共有知識グラフの考えられる類似性スコアを導出することと
をさらに含む、請求項18に記載のコンピュータ可読記憶媒体。
【請求項20】
前記命令が、前記1つまたは複数のプロセッサに動作を行わせ、前記動作が、ビデオの前記ペアの前記ビデオの一方のみを表す似ていない知識グラフの数に基づいて非類似性カウントを生成することと、
ビデオの前記ペアの各ビデオの前記似ていない知識グラフの前記概念インデックスに基づいて、ビデオの前記ペアの非類似性スコアを計算することと、
前記非類似性スコア、前記考えられる類似性スコア、および前記共有類似性スコアに基づいて、ビデオの前記ペアの1つまたは複数のクラスタリングファクタを生成することと
をさらに含む、請求項19に記載のコンピュータ可読記憶媒体。
【国際調査報告】