(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-26
(54)【発明の名称】コンテンツの一部の対象を表示するためのシステムおよび方法
(51)【国際特許分類】
G10L 17/00 20130101AFI20220119BHJP
H04N 21/439 20110101ALI20220119BHJP
H04N 21/442 20110101ALI20220119BHJP
【FI】
G10L17/00 200C
H04N21/439
H04N21/442
G10L17/00 400
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2020571662
(86)(22)【出願日】2019-12-19
(85)【翻訳文提出日】2021-03-10
(86)【国際出願番号】 US2019067498
(87)【国際公開番号】W WO2020132255
(87)【国際公開日】2020-06-25
(32)【優先日】2018-12-20
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2018-12-20
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518345664
【氏名又は名称】ロヴィ ガイズ, インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ダルベック, ゲイブリエル シー.
(72)【発明者】
【氏名】ラベル, ニコラス
(72)【発明者】
【氏名】オコナー, ランス ジー.
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164PA41
5C164UB08P
5C164UB41P
5C164UB81S
5C164YA21
(57)【要約】
システムおよび方法が、コンテンツの位置の対象を表示するために本明細書に説明される。コンテンツのメディアデータが、再生の間に分析され、いくつかのオーディオシグネチャおよび/またはアクションシグネチャが、識別される。各シグネチャは、コンテンツ内の特定の対象と関連付けられる。オーディオシグネチャは、各シグネチャが開始される再生位置に対応するタイムスタンプとともに、特定の対象の識別子と関連付けて記憶される。コマンドを受信することに応じて、現在の再生位置またはその近傍におけるいくつかのシグネチャのそれぞれを表すアイコンが、表示される。特定のシグネチャに対応するアイコンのユーザ選択を受信することに応じて、シグネチャに対応するコンテンツの一部が、再生される。
【特許請求の範囲】
【請求項1】
コンテンツのオーディオの一部の対象を表示するための方法であって、前記方法は、
前記コンテンツの再生の間、前記コンテンツのオーディオ内の複数の音の各音に対応するオーディオシグネチャを識別することと、
オーディオシグネチャ毎に、個別のオーディオシグネチャに対応する個別の音が開始されるタイムスタンプおよび個別のオーディオシグネチャの識別子を記憶することと、
入力コマンドを受信することと、
各オーディオシグネチャを表すアイコンを表示のために発生させることと
を含む、方法。
【請求項2】
アイコンの選択を受信することと、
前記選択されたアイコンと関連付けられる前記オーディオシグネチャに対応する前記オーディオの一部を再生することと
をさらに含む、請求項1に記載の方法。
【請求項3】
前記コンテンツの再生の間、前記コンテンツのビデオ内の複数の対象のそれぞれに対応する対象シグネチャを識別することと、
対象シグネチャ毎に、個別の対象シグネチャが開始される第2のタイムスタンプおよび個別の対象シグネチャの識別子を記憶することと、
前記タイムスタンプおよび前記第2のタイムスタンプに基づいて、対象シグネチャを前記対象シグネチャの間に存在するオーディオシグネチャに割り当てることと
をさらに含む、請求項1に記載の方法。
【請求項4】
前記選択されたアイコンと関連付けられるオーディオシグネチャに対応する前記オーディオの部分を再生することは、
前記選択されたアイコンによって表される前記対象の識別子を読み出すことと、
前記読み出された識別子と関連付けられるオーディオシグネチャの前記記憶されたタイムスタンプを読み出すことと、
前記タイムスタンプにおいて開始される前記オーディオの部分を再生することと
を含む、請求項2に記載の方法。
【請求項5】
前記複数の音の各音の前記対象の画像を捕捉することをさらに含み、前記各音の個別の対象を表す前記アイコンは、前記音の個別の対象の捕捉された画像を備える、請求項1に記載の方法。
【請求項6】
オーディオシグネチャを識別することは、
第1のタイムスタンプにおいて開始される前記オーディオのオーディオ特性を分析することと、
後続タイムスタンプにおいて開始される前記オーディオのオーディオ特性が、前記第1のタイムスタンプにおいて開始される前記オーディオのオーディオ特性と異なると決定することと、
前記第1のタイムスタンプと前記後続タイムスタンプとの間の前記オーディオの部分を第1のオーディオシグネチャとして識別することと
を含む、請求項1に記載の方法。
【請求項7】
前記第1のタイムスタンプと前記後続タイムスタンプとの間の前記コンテンツのビデオフレームを分析することと、
前記音の対象が、前記ビデオフレーム内に表示されているかどうかを決定することと、
前記第1のオーディオシグネチャを前記表示される対象に割り当てることと
をさらに含む、請求項6に記載の方法。
【請求項8】
前記分析することに基づいて、前記表示される対象が、前記第1のオーディオシグネチャに対応する前記オーディオデータの対象であると決定することをさらに含む、請求項7に記載の方法。
【請求項9】
オーディオシグネチャ毎に、個別のオーディオシグネチャに対応する音が終了する第2のタイムスタンプを記憶することと、
前記入力コマンドを受信することに応答して、現在の再生タイムスタンプから閾値時間内の第2のタイムスタンプを有する複数のオーディオシグネチャを決定することと
をさらに含む、請求項1に記載の方法。
【請求項10】
各オーディオシグネチャの前記タイムスタンプおよび前記第2のタイムスタンプに基づいて、前記複数のオーディオシグネチャのオーディオシグネチャが、別のオーディオシグネチャと時間的に重複するかどうかを決定することと、
前記複数のオーディオシグネチャのいかなるオーディオシグネチャも、別のオーディオシグネチャと時間的に重複しないと決定することに応答して、直近のオーディオシグネチャに対応する前記コンテンツのオーディオデータの一部を再生することと
をさらに含む、請求項9に記載の方法。
【請求項11】
前記複数のオーディオシグネチャのオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答して、前記選択されたアイコンと関連付けられる前記オーディオシグネチャに対応する前記オーディオデータを分離することをさらに含み、複数のアイコンを表示のために発生させることは、前記複数のオーディオシグネチャのオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答してのみ起こる、請求項10に記載の方法。
【請求項12】
前記音は、発話であり、
前記音の対象は、話者である、
請求項1に記載の方法。
【請求項13】
コンテンツのオーディオの一部の対象を表示するためのシステムであって、前記システムは、
メモリと、
請求項1-12のいずれかに記載の方法を実行するように構成される制御回路と
を備える、システム。
【請求項14】
コンテンツのオーディオの一部の対象を表示するためのシステムであって、前記システムは、
前記コンテンツの再生の間、前記コンテンツのオーディオ内の複数の音の各音に対応するオーディオシグネチャを識別するための手段と、
オーディオシグネチャ毎に、個別のオーディオシグネチャに対応する個別の音が開始されるタイムスタンプおよび個別のオーディオシグネチャの識別子を記憶するための手段と、
入力コマンドを受信するための手段と、
各オーディオシグネチャを表すアイコンを表示のために発生させるための手段と
を備える、システム。
【請求項15】
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、請求項1-12のいずれかに記載の方法に従って、コンテンツのオーディオの一部の対象を表示するためのその上にエンコードされる命令を有する、非一過性コンピュータ可読媒体。
【請求項16】
コンテンツのビデオの一部の対象を表示するための方法であって、前記方法は、
コンテンツの再生の間、前記コンテンツのビデオ内の複数の運動の各運動に対応するアクションシグネチャを識別することと、
アクションシグネチャ毎に、個別のアクションシグネチャに対応する個別の運動が開始される開始タイムスタンプ、個別のアクションシグネチャに対応する個別の運動が終了する終了タイムスタンプ、および前記アクションシグネチャの識別子を記憶することと、
入力コマンドを受信することと、
各アクションシグネチャを表すアイコンを表示のために発生させることと
を含む、方法。
【請求項17】
アイコンの選択を備える第2の入力コマンドを受信することと、
前記選択されたアイコンと関連付けられる前記アクションシグネチャに対応する前記コンテンツの部分を再生することと
をさらに含む、請求項16に記載の方法。
【請求項18】
前記コンテンツの再生の間、前記コンテンツのビデオ内の複数の対象のそれぞれに対応する対象シグネチャを識別することと、
対象シグネチャ毎に、個別の対象シグネチャが開始される第2のタイムスタンプおよび個別の対象シグネチャの識別子を記憶することと、
前記タイムスタンプおよび前記第2のタイムスタンプに基づいて、対象シグネチャを前記対象シグネチャの間に存在するアクションシグネチャに割り当てることと
をさらに含む、請求項16に記載の方法。
【請求項19】
前記選択されたアイコンと関連付けられるアクションシグネチャに対応する前記コンテンツの部分を再生することは、
前記選択されたアイコンによって表される前記対象の識別子を読み出すことと、
前記読み出された識別子と関連付けられるアクションシグネチャの前記記憶されたタイムスタンプを読み出すことと、
前記タイムスタンプにおいて開始される前記コンテンツの部分を再生することと
を含む、請求項17に記載の方法。
【請求項20】
運動の各識別された対象のうちの対象の画像を捕捉することをさらに含み、前記各運動の個別の対象を表す前記アイコンは、前記運動の対象の捕捉された画像を備える、請求項16に記載の方法。
【請求項21】
アクションシグネチャを識別することは、
コンテンツの再生の間、前記コンテンツのビデオ内に表示される運動の対象を識別することと、
第1のタイムスタンプにおいて、運動の個別の対象の閾値レベルの運動を検出することと、
後続タイムスタンプにおいて、前記運動の個別の対象の運動が、前記閾値レベルを下回ることを検出することと、
前記第1のタイムスタンプと前記後続タイムスタンプとの間の前記コンテンツの部分を第1のアクションシグネチャとして識別することと
を含み、
前記記憶されたタイムスタンプは、前記第1のタイムスタンプに対応し、前記記憶された終了タイムスタンプは、前記後続タイムスタンプに対応する、
請求項16に記載の方法。
【請求項22】
前記コンテンツのビデオ内に表示される運動の対象を識別することは、
前記コンテンツのビデオのフレーム内の顔を検出することと、
識別子を各検出された顔に割り当てることと、
検出された顔毎に、個別の検出された顔に対応するパラメータのセットを記憶することと
を含み、
前記運動の個別の対象の記憶された識別子は、前記運動の個別の対象と関連付けられる前記個別の検出された顔の割り当てられた識別子である、
請求項21に記載の方法。
【請求項23】
運動の個別の対象の閾値レベルの運動を検出することは、
前記コンテンツのビデオの複数の連続的フレームを分析することと、
前記分析することに基づいて、前記運動の個別の対象が、閾値フレーム数未満において閾値距離を上回って移動したと決定することと
を含む、請求項22に記載の方法。
【請求項24】
前記コンテンツとともに配布するためにメタデータファイル内にアクションシグネチャを記憶することをさらに含む、請求項16に記載の方法。
【請求項25】
前記第2の入力コマンドは、アイコンの1つを上回る選択を備え、前記方法はさらに、
前記選択されたアイコンによって表される前記運動の対象に割り当てられた複数のアクションシグネチャを読み出すことと、
前記アイコンの選択数だけ現在の再生タイムスタンプに先行する前記複数のアクションシグネチャのアクションシグネチャを識別することと
を含み、
前記記憶されたタイムスタンプは、前記識別されたアクションシグネチャから読み出される、
請求項17に記載の方法。
【請求項26】
前記開始タイムスタンプと前記終了タイムスタンプとの間の時間が、最小閾値時間量を下回るかどうかを決定することをさらに含み、前記開始タイムスタンプと前記終了タイムスタンプとの間の前記時間が、前記最小閾値時間量を下回ると決定することに応答して、前記コンテンツの再生は、スローモーションにおいて実施される、請求項16に記載の方法。
【請求項27】
前記開始タイムスタンプと前記終了タイムスタンプとの間の前記時間が、最小閾値時間量と最大閾値時間量との間であるかどうかを決定することをさらに含み、前記開始タイムスタンプと前記終了タイムスタンプとの間の前記時間が、前記最小閾値時間量と前記最大閾値時間量との間であると決定することに応答して、前記コンテンツの再生は、ループされる、請求項16に記載の方法。
【請求項28】
コンテンツのビデオの一部の対象を表示するためのシステムであって、前記システムは、
メモリと、
請求項16-27のいずれかに記載の方法を実行するように構成される制御回路と
を備える、システム。
【請求項29】
コンテンツのビデオの一部の対象を表示するためのシステムであって、
コンテンツの再生の間、前記コンテンツのビデオ内の複数の運動の各運動に対応するアクションシグネチャを識別するための手段と、
アクションシグネチャ毎に、個別のアクションシグネチャに対応する個別の運動が開始される開始タイムスタンプ、個別のアクションシグネチャに対応する個別の運動が終了する終了タイムスタンプ、および前記アクションシグネチャの識別子を記憶するための手段と、
入力コマンドを受信するための手段と、
各アクションシグネチャを表すアイコンを表示のために発生させるための手段と
を備える、システム。
【請求項30】
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、請求項16-27のいずれかに記載の方法に従って、コンテンツのビデオの一部の対象を表示するためのその上にエンコードされる命令を有する、非一過性コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コンテンツ配信および消費システムに関し、より具体的には、コンテンツ内の特定の対象と関連付けられるコンテンツの部分を繰り返すことに関する。
【発明の概要】
【課題を解決するための手段】
【0002】
従来のメディア消費システムでは、ユーザが、コンテンツの一部を繰り返すことを所望するとき(例えば、ユーザが、会話を理解しなかった、またはユーザが、アクションシーケンスを見逃したため)、ユーザは、ユーザが繰り返すことを所望する部分に先立つ再生位置までコンテンツを巻き戻さなければならない。しかしながら、巻き戻し機構は、不正確であり、ユーザが、コンテンツが戻る再生位置を容易に制御することを可能にしない。これは、ユーザが、十分に離れて巻き戻さず、ユーザが繰り返すことを所望するコンテンツの一部を見逃すこと、または所望の部分が開始される再生位置よりも離れて巻き戻し、コンテンツの付加的部分を不必要に再視聴する必要性があることのいずれかをもたらす。
【0003】
さらに、専門的に発生されたコンテンツは、多くの場合、クローズドキャプショニングデータを含有し、これは、システムが、会話を発話する対象またはキャラクタと関連付けられるオーディオの具体的部分を繰り返すことを可能にする。ユーザ発生コンテンツ(例えば、毎日再生のためにウェブサイトにアップロードされる数百万時間のビデオ)の場合では、システムが本目的のために使用し得る、いかなる埋設されたクローズドキャプションデータも、存在しない。
【0004】
システムおよび方法が、コンテンツ内の特定の対象(例えば、キャラクタまたはオブジェクト)と関連付けられるコンテンツの部分を繰り返すために本明細書に説明される。コンテンツが、デバイス上で再生される間、コンテンツデータが、分析され、いくつかのシグネチャが、識別される。いくつかの実施形態では、オーディオデータが、オーディオシグネチャを識別するために分析され(音声または歌認識が、オーディオシグネチャが識別子として使用され得る実施例である)、各オーディオシグネチャは、オーディオおよび/またはビデオ特性に基づいて、コンテンツ内の特定の対象と関連付けられる。いくつかの実施形態では、ビデオデータが、コンテンツ内に表示される対象の運動に基づいて、アクションシグネチャを識別するために分析される。各アクションシグネチャの識別子が、アクションシグネチャが開始される再生位置に対応するタイムスタンプとともに記憶される。対象はまた、再生の間に識別され、対象シグネチャが、識別される、または各対象に割り当てられてもよい。各対象シグネチャの識別子が、対象がコンテンツ内で表示される再生位置に対応するタイムスタンプとともに記憶される。対象シグネチャは、同一のタイムスタンプを有するオーディオシグネチャまたはアクションシグネチャに割り当てられてもよい。
【0005】
コマンドを受信することに応じて、コンテンツの再生は、一時停止され、いくつかのシグネチャのそれぞれを表すアイコンが、表示される。アイコンの数は、現在の再生位置またはその近傍におけるシグネチャの数によって決定され得る、もしくは再生位置までの識別されたシグネチャの全体を表す全てのアイコンが、表示され得る。特定のシグネチャに対応するアイコンのユーザ選択を受信することに応じて、シグネチャに対応するコンテンツの一部が、再生される。
【0006】
いくつかの実施形態では、特定の対象に対応するアイコンのユーザ選択を受信することに応じて、対象の識別子が、読み出される。識別子と関連付けられるシグネチャのタイムスタンプが、次いで、読み出され、コンテンツの一部が、タイムスタンプにおいて開始されるように再生される。
【0007】
アイコンは、その個別のシグネチャに対応する対象の画像を含んでもよい。シグネチャに対応するビデオデータが、処理され、シグネチャの対象が、識別される。対象が表示されるビデオデータのフレームの一部が、アイコン内で表示のための画像として捕捉される。
【0008】
オーディオシグネチャを識別するために、オーディオデータが、第1の再生位置において開始されるように分析される。第1の対象に一意のオーディオ特性が、識別される。分析が、継続するにつれて、現在のオーディオデータのオーディオ特性が、以前のデータのものと比較される。オーディオ特性の有意な変化が、検出される場合、第1の再生位置から現在の再生位置までのオーディオデータの部分は、オーディオシグネチャとして識別される。ビデオデータもまた、オーディオに関与する特定の対象が、コンテンツ内に表示されているかどうかを決定するために分析されてもよい。
【0009】
1つを上回るオーディオシグネチャが、現在の再生位置の閾値時間量内の終了再生位置を有してもよい。繰り返すべきオーディオデータの部分を決定するために、オーディオシグネチャのうちのいずれかが、相互に重複するかどうかが決定される。該当しない場合、直近のオーディオシグネチャに対応するオーディオデータの部分が、再生される。オーディオシグネチャが、確かに相互に重複する場合、各オーディオシグネチャに対応するオーディオデータは、分離される。各シグネチャの対象に対応するアイコンが、次いで、表示され、選択されたアイコンに対応する部分が、再生される。
【0010】
アクションシグネチャを識別するために、ビデオデータが、第1の再生位置において開始されるように分析される。コンテンツ内に表示される運動が、追跡され、運動の対象が、識別される。例えば、顔が、ビデオコンテンツのフレーム内で検出され得る。分析が、継続するにつれて、運動のレベル(例えば、対象が移動する速度)が、検出される。運動のレベルが、閾値レベルを上回るものとして検出されるとき、第1の再生位置から現在の再生位置までのコンテンツの部分が、アクションシグネチャとして識別される。
【0011】
ユーザが、複数回にわたって特定のアイコンを選択する場合、本システムは、選択されたアイコンによって表される対象に対応するいくつかのシグネチャを識別する。選択数が、カウントされ、本システムは、現在の再生位置に先立つ選択数であるシグネチャを読み出し、読み出されたシグネチャによって識別されるコンテンツの部分を繰り返す。例えば、ユーザが、アイコンをダブルタップする場合、本システムは、その対象と関連付けられる2番目に直近のコンテンツ(例えば、対象が最後のコメントに先立って発言した内容)を再生するであろう。
【0012】
アクションシグネチャが、最小閾値を下回る長さを有する場合、シグネチャに対応するコンテンツの部分は、スローモーションにおいて繰り返される。アクションシグネチャが、最小閾値と最大閾値との間の長さを有する場合、コンテンツの部分は、所定のループ回数にわたって、または所定の時間周期にわたって、別の入力コマンドが、受信されるまで、連続ループにおいて再生される。
【図面の簡単な説明】
【0013】
本開示の上記および他の目的ならびに利点は、同様の参照文字が全体を通して同様の部分を指す、付随の図面と併せて検討される、以下の発明を実施するための形態の考慮に応じて明白となるであろう。
【0014】
【
図1】
図1は、本開示のいくつかの実施形態による、オーディオを繰り返すコマンドに応答して表示される、ユーザインターフェースの汎用実施形態を示す。
【0015】
【
図2】
図2は、本開示のいくつかの実施形態に従って処理されるべきオーディオデータの汎用実施形態を示す。
【0016】
【
図3】
図3は、本開示のいくつかの実施形態に従って処理されるべきビデオデータの汎用実施形態を示す。
【0017】
【
図4】
図4は、本開示のいくつかの実施形態による、オーディオおよびビデオデータをともに処理し、対象シグネチャをオーディオシグネチャに割り当てることによって発生される表のある実施例を示す。
【0018】
【
図5】
図5は、本開示のいくつかの実施形態に従って処理されるべきビデオデータの別の汎用実施形態を示す。
【0019】
【
図6】
図6は、本開示のいくつかの実施形態による、ビデオデータを処理し、対象シグネチャをアクションシグネチャに割り当てることによって発生される表のある実施例を示す。
【0020】
【
図7】
図7は、本開示のいくつかの実施形態による、オーディオを繰り返すコマンドに応答する、メディアデバイス内の制御回路およびデータフローを表す、ブロック図である。
【0021】
【
図8】
図8は、本開示のいくつかの実施形態による、コンテンツの一部を繰り返すためのプロセスを表す、フローチャートである。
【0022】
【
図9】
図9は、本開示のいくつかの実施形態による、対象シグネチャをオーディオシグネチャまたはアクションシグネチャに割り当てるためのプロセスを表す、フローチャートである。
【0023】
【
図10】
図10は、本開示のいくつかの実施形態による、コンテンツの一部を再生するためのプロセスを表す、フローチャートである。
【0024】
【
図11】
図11は、本開示のいくつかの実施形態による、ビデオデータから対象の画像を捕捉するためのプロセスを表す、フローチャートである。
【0025】
【
図12】
図12は、本開示のいくつかの実施形態による、オーディオシグネチャを識別するためのプロセスを表す、フローチャートである。
【0026】
【
図13】
図13は、本開示のいくつかの実施形態による、オーディオシグネチャを対象に割り当てるためのプロセスを表す、フローチャートである。
【0027】
【
図14】
図14は、本開示のいくつかの実施形態による、オーディオの複数の部分のうちの1つを再生するためのプロセスを表す、フローチャートである。
【0028】
【
図15】
図15は、本開示のいくつかの実施形態による、アクションシグネチャを識別するためのプロセスを表す、フローチャートである。
【0029】
【
図16】
図16は、本開示のいくつかの実施形態による、コンテンツ内に表示される対象を識別するためのプロセスを表す、フローチャートである。
【0030】
【
図17】
図17は、本開示のいくつかの実施形態による、閾値レベルの運動を検出するためのプロセスを表す、フローチャートである。
【0031】
【
図18】
図18は、本開示のいくつかの実施形態による、スローモーションにおいて、またはループにおいてコンテンツの一部を繰り返すためのプロセスを表す、フローチャートである。
【発明を実施するための形態】
【0032】
図1は、メディアコンテンツの一部を一時停止する、または繰り返すコマンドに応答して、コンテンツ102にわたって表示される、ユーザインターフェースを描写する。コンテンツ102が、メディアデバイス100上で消費されている間、メディアデバイス100は、いくつかのシグネチャ(例えば、下記に議論されるように、オーディオシグネチャまたはアクションシグネチャ)を識別するために、コンテンツ102のオーディオおよび/またはビデオデータを処理する。ユーザは、コンテンツ102を一時停止するために、メディアデバイス100のタッチスクリーンインターフェース上をタップしてもよい。ユーザは、代替として、または加えて、例えば、音声コマンドまたはユーザ入力デバイスを使用して、コンテンツの一部が繰り返されることを要求してもよい。コマンドを受信することに応じて、メディアデバイス100は、コンテンツ102の再生を一時停止し、一時停止された再生位置またはその近傍においてシグネチャの対象104、106、108、および110を表す一連のアイコン112a-112dを表示する。ユーザは、アイコン112a-112dのうちの1つを選択してもよく、応答して、メディアデバイス100は、選択されたアイコンによって表される対象と関連付けられる最近のシグネチャに対応するコンテンツの部分を繰り返す。例えば、アイコン112aは、対象104を表す。アイコン112aの選択に応答して、メディアデバイス100は、対象104として識別されるキャラクタによって発話されているものとしてメディアデバイス100によって識別される会話の一部を繰り返す。
【0033】
図2は、コンテンツ102内のオーディオシグネチャを識別するためのオーディオ処理のある実施形態を描写する。メディアデバイス100は、コンテンツ102の再生の間にオーディオデータ200を処理する。メディアデバイス100は、オーディオデータ202のオーディオ特性を識別し、オーディオデータ202が、コンテンツ102内の単一の対象によって発話されている、または別様に発生されていると決定する。コンテンツ102の再生が、継続するにつれて、メディアデバイス100は、オーディオデータ204を処理し、オーディオデータ204のオーディオ特性とオーディオデータ202のものとの比較に基づいて、オーディオデータ204が、オーディオデータ202のものと異なる対象によって発話されている、または別様に発生されていると決定する。メディアデバイス100は、関連付けられる対象の識別子とともに、各オーディオシグネチャを記憶するためのデータベースまたは他のデータ構造を発生させてもよい。メディアデバイス100は、類似する様式でオーディオデータ206および208を処理し続ける。ある場合には、複数の対象が、同時にオーディオを発生させ得る。例えば、オーディオデータ210は、2つの別個の対象によって同時に発生されるオーディオを含んでもよい。メディアデバイス100は、オーディオデータを処理し、基底周波数、変調、振幅、または他のオーディオ特性等の各対象に特有のオーディオ特性を使用して、各対象からオーディオデータを分離する。
【0034】
図3は、コンテンツ102内の対象シグネチャを識別するためのビデオ処理のある実施形態を描写する。メディアデバイス100は、コンテンツ102のビデオ内の対象を識別するために、併せてビデオデータ300を処理する。メディアデバイス100は、コンテンツ102内の離散オブジェクトおよびキャラクタ/俳優を識別するために、ビデオデータ300を処理する。メディアデバイス100は、ビデオの少なくとも1つのフレーム内に存在する少なくとも1つ/1人のオブジェクトまたはキャラクタ/俳優を決定する。メディアデバイス100は、オブジェクトおよびキャラクタ/俳優を識別するために、顔認識、オブジェクト認識、エッジ検出、または任意の他の好適なビデオ処理方法を使用してもよい。メディアデバイス100は、キャラクタ1が、ビデオデータ部分302、306、および312内に表示され、キャラクタ2が、ビデオデータ部分304、308、および310内に表示されていると決定する。メディアデバイス100は、各識別されたキャラクタに対応するパラメータを対象シグネチャとして記憶してもよい。
【0035】
図4は、本開示のいくつかの実施形態による、オーディオおよびビデオデータをともに処理し、対象シグネチャをオーディオシグネチャに割り当てることによって発生される表のある実施例を示す。メディアデバイス100は、ソースシグネチャおよびオーディオシグネチャが重複するタイムスタンプを決定し、個別の対象を重複するオーディオシグネチャに割り当てる。T
0とT
1との間で、キャラクタ1が、コンテンツ102内に表示される。T
1からT
4まで、キャラクタ1は、オーディオシグネチャS
1が、コンテンツ102内に存在する間、表示され続ける。メディアデバイス100は、S
1をキャラクタ1に割り当てる。T
4からT
5まで、キャラクタ1は、表示され続けるが、いかなるオーディオシグネチャも、存在しない。T
5からT
6まで、キャラクタ2が、オーディオシグネチャS
2が、存在する間、コンテンツ102内に表示される。メディアデバイス100は、S
2をキャラクタ2に割り当てる。T
7から始まって、キャラクタ1およびキャラクタ2の両方が、コンテンツ102内に表示される。オーディオシグネチャS
3が、T
8において開始される。メディアデバイス100は、オーディオシグネチャS
3のオーディオ特性が、任意の以前に識別されたオーディオシグネチャ(すなわち、S
1またはS
2)のオーディオ特性に合致しないと決定し、オーディオシグネチャS
3を「UNKNOWN-1」に一時的に割り当てる。同様に、T
13において、オーディオシグネチャS
4が、コンテンツ102内に存在し、メディアデバイス100は、オーディオシグネチャS
4のオーディオ特性が、任意の以前に識別されたオーディオシグネチャ(すなわち、S
1、S
2、またはS
3)のオーディオ特性に合致しないと決定する。加えて、いかなるキャラクタも、T
13において表示されない。したがって、メディアデバイス100は、オーディオシグネチャS
4を「UNKNOWN-2」に一時的に割り当てる。T
18において、オーディオシグネチャが、開始される一方、キャラクタ1が、コンテンツ102内に表示される。オーディオシグネチャのオーディオ特性は、以前に識別され、キャラクタ1に割り当てられたオーディオシグネチャS
1のものに合致する。メディアデバイス100は、したがって、オーディオシグネチャをS
1として識別し、これをキャラクタ1に割り当てる。T
18において、キャラクタ2もまた、コンテンツ102内に表示され、T
21において、オーディオシグネチャS
1が、依然としてコンテンツ102内に存在する間、別のオーディオシグネチャが、開始され、オーディオシグネチャS
2のものに合致するオーディオ特性を有する。S
2は、キャラクタ2に割り当てられるとして以前に識別されたため、およびS
1は、依然として存在し、キャラクタ1にすでに割り当てられているため、メディアデバイス100は、S
2をキャラクタ2に割り当てる。T
23において類似する分析を使用して、メディアデバイス100は、そのオーディオ特性に基づいて、オーディオシグネチャをS
1として識別し、これをキャラクタ1に割り当てる。
【0036】
図5は、コンテンツ102内のアクションシグネチャを識別するためのビデオ処理のある実施形態を描写する。メディアデバイス100は、ビデオ内に表示される任意の対象の運動が、閾値レベルの運動502を超えるかどうかを決定するために、ビデオデータ300を処理する。メディアデバイス100は、最初に、コンテンツ102のビデオ内の対象の運動504を識別する。メディアデバイス100は、コンテンツ102内の離散オブジェクトおよびキャラクタ/俳優を識別する。メディアデバイス100は、ビデオの少なくとも1つのフレーム内に存在する少なくとも1つ/1人のオブジェクトまたはキャラクタ/俳優を決定する。メディアデバイス100は、オブジェクトおよびキャラクタ/俳優を識別するために、顔認識、オブジェクト認識、エッジ検出、または任意の他の好適なビデオ処理方法を使用してもよい。メディアデバイス100は、ビデオの後続フレーム内の各対象の位置を比較し、任意の対象が、ビデオの2つのフレームの間で閾値距離を上回って移動したかどうかを決定する。例えば、メディアデバイス100は、キャラクタ1の運動が、T
3からT
8まで閾値502を超えていると決定し、運動506をアクションシグネチャA
1として識別する。同様に、メディアデバイス100は、キャラクタ2の運動が、T
19からT
23まで閾値502を超えていると決定し、運動508をアクションシグネチャA
2として識別する。
【0037】
図6は、本開示のいくつかの実施形態による、ビデオデータを処理し、対象シグネチャをアクションシグネチャに割り当てることによって発生される表のある実施例を示す。
図4に関連して上記に説明される分析と同様に、メディアデバイス100は、アクションシグネチャと一致する対象シグネチャに基づいて、アクションシグネチャを対象シグネチャに割り当てる。したがって、アクションシグネチャA
1が、キャラクタ1がA
1の開始時に存在することに起因して、T
3においてキャラクタ1に割り当てられ、アクションシグネチャA
2が、キャラクタ2がA
2の開始時に存在することに起因して、T
19においてキャラクタ2に割り当てられる。
【0038】
図7は、本開示のいくつかの実施形態による、メディアデバイス100内の回路およびデータフローを表す、例証的ブロック図である。メディアデバイス100は、テレビ、スマートTV、セットトップボックス、衛星テレビに対応するための統合型受信機デコーダ(IRD)、デジタル記憶デバイス、デジタルメディア受信機(DMR)、デジタルメディアアダプタ(DMA)、ストリーミングメディアデバイス、DVDプレーヤ、DVDレコーダ、接続型DVD、ローカルメディアサーバ、BLU-RAY(登録商標)プレーヤ、BLU-RAY(登録商標)レコーダ、パーソナルコンピュータ(PC)、ラップトップコンピュータ、タブレットコンピュータ、ウェブTVボックス、パーソナルコンピュータテレビ(PC/TV)、PCメディアサーバ、PCメディアセンター、ハンドヘルドコンピュータ、固定電話、携帯情報端末(PDA)、モバイル電話、ポータブルビデオプレーヤ、ポータブル音楽プレーヤ、ポータブルゲーム機、スマートフォン、または任意の他のテレビ機器、コンピューティング機器、もしくは無線デバイス、および/またはそれらの組み合わせ等の上記に説明されるコンテンツにアクセスするための任意のデバイスであってもよい。メディアデバイス100は、入力回路704を備える。入力回路704は、音声コマンドを受信するためのマイクロホンおよび音声処理回路、遠隔制御デバイスからコマンドを受信するための赤外線受信回路、グラフィカルユーザインターフェース要素とのユーザ相互作用を受信するためのタッチスクリーンインターフェース、またはそれらの任意の組み合わせ、もしくは任意の他の好適なユーザ入力を受信するための任意の他の好適な入力回路を含んでもよい。メディアデバイス100はまた、制御回路700と、記憶装置702とを備える。制御回路700は、任意の好適な処理回路に基づいてもよく、単一の集積回路上に配置され得る、または離散コンポーネントであり得る、制御回路と、メモリ回路とを備える。本明細書で参照されるように、処理回路は、1つまたはそれを上回るマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)等に基づく回路を意味するように理解されるべきであり、マルチコアプロセッサ(例えば、デュアルコア、クアドコア、ヘクサコア、または任意の好適な数のコア)を含んでもよい。いくつかの実施形態では、処理回路は、複数の別個のプロセッサまたは処理ユニット、例えば、複数の同一のタイプの処理ユニット(例えば、2つのIntel Core i7プロセッサ)または複数の異なるプロセッサ(例えば、Intel Core i5プロセッサおよびIntel Core i7プロセッサ)を横断して分散されてもよい。いくつかの制御回路は、ハードウェア、ファームウェア、またはソフトウェアにおいて実装されてもよい。入力回路704は、制御回路700と統合されてもよい。記憶装置702は、ランダムアクセスメモリ、読取専用メモリ、ハードドライブ、光学ドライブ、デジタルビデオディスク(DVD)レコーダ、コンパクトディスク(CD)レコーダ、BLU-RAY(登録商標)ディスク(BD)レコーダ、BLU-RAY(登録商標) 3Dディスクレコーダ、デジタルビデオレコーダ(DVR、または時として、パーソナルビデオレコーダもしくはPVRと呼ばれる)、ソリッドステートデバイス、量子記憶デバイス、ゲームコンソール、ゲームメディア、または任意の他の好適な固定もしくはリムーバブル記憶デバイス、および/またはそれらの任意の組み合わせ等の電子データを記憶するための任意のデバイスであってもよい。
【0039】
制御回路700は、メディア再生回路706を備える。メディア再生回路706は、コンテンツプロバイダからコンテンツ102を受信する。コンテンツプロバイダは、OTT/インターネットサービス(例えば、Netflix)、従来的テレビネットワーク(例えば、NBC)、従来的メディア会社(例えば、NBC Universal)、または任意の他の好適なコンテンツプロバイダであってもよい。コンテンツ102は、ケーブルテレビ接続または地上波放送を経由して、物理的RFチャネルを介して受信されてもよい、もしくは有線接続(例えば、イーサネット(登録商標))または無線接続(例えば、802.11a/b/g/n (Wi-Fi)、WiMAX、GSM(登録商標)、UTMS、CDMA、TDMA、3G、4G、4G LTE、または任意の他の好適なタイプの無線データ伝送)を使用して、オーバーザトップ(OTT)サービスからインターネット接続を経由して受信されてもよい。メディア再生回路は、コンテンツ102を処理し、それぞれ、コンテンツ102のオーディオおよびビデオデータをオーディオ処理回路710およびビデオ処理回路712に伝送する708。メディア再生回路は、それぞれ、コンテンツ102のオーディオおよびビデオデータをオーディオ出力回路716およびビデオ出力回路718に同時に伝送する714。
【0040】
オーディオ処理回路710は、任意の好適なオーディオ分析技法を使用して、一意のオーディオシグネチャを識別するために、コンテンツ102のオーディオデータのオーディオ特性を分析する。例えば、オーディオ処理回路710は、特定の音声の基底周波数および一意の高調波パターンを決定するための周波数分析、特定の音声のアクセントを決定するための音素分析等を使用してもよい。オーディオ処理回路710はまた、類似する周波数分析技法またはオーディオ分析の任意の他の好適な方法を使用して、音楽、効果音、および同等物等の非音声オーディオを識別してもよい。いったんオーディオ特性の特定のセットが、識別されると、オーディオ処理回路710は、例えば、記憶装置702内に、オーディオ特性が最初に識別されたコンテンツ102の再生位置に対応するタイムスタンプとともに、オーディオ特性を記憶する。オーディオ処理回路710は、コンテンツ102のオーディオデータを分析し続け、オーディオデータの決定されたオーディオ特性を記憶されたオーディオ特性と比較する。オーディオ特性の有意な差異を検出することに応じて、オーディオ処理回路710は、オーディオのソースが、変化したと決定する。例えば、音声の基底周波数が、20Hzを上回って変化し得る。オーディオ処理回路は、記憶されたオーディオ特性およびタイムスタンプからオーディオシグネチャを発生させ、記憶装置702内のデータベース内にオーディオシグネチャを記憶する720。オーディオ処理回路710は、次いで、記憶装置702内に新しいオーディオ特性および新しいタイムスタンプを記憶し、上記に説明されるようにオーディオデータを分析し続ける。
【0041】
いくつかの実施形態では、メディアデバイス100は、オーディオシグネチャに対応する対象を識別するために、オーディオデータと併せてコンテンツ102のビデオデータを処理する。いくつかの実施形態では、メディアデバイス100は、コンテンツ102内の対象の運動に基づいて、アクションシグネチャを識別するために、ビデオデータを処理する。ビデオ処理回路712は、ビデオフレーム内の対象を識別するために、エッジ検出、顔認識、または任意の他の好適なビデオもしくは画像処理技法を使用して、コンテンツ102のビデオデータを分析する。ビデオ処理回路712は、ビデオデータの単一のフレームを捕捉および処理してもよい、またはビデオデータの1つを上回るフレームを処理してもよい。例えば、ビデオ処理回路712は、フレーム内に描写される人物を識別するために、単一のフレームを処理する、または人物の口の移動を分析することによって、フレームのセット内に描写される人物が、オーディオシグネチャの対象であるかどうかを決定するために、連続的フレームのセットを処理してもよい。描写される対象が、識別される場合、オーディオシグネチャは、ソースの識別子722と関連付けて記憶装置702内に記憶される720。いくつかの実施形態では、ビデオ処理回路712はまた、対象が描写される少なくとも1つのフレームの一部を画像として捕捉し、オーディオシグネチャと関連付けて、または対象の識別子と関連付けて画像を記憶する。代替として、ビデオ処理回路712は、対象が描写される特定のフレームの識別子および対象を描写するフレームの一部を識別する座標のセットを記憶する。
【0042】
コンテンツ102の再生の間、入力回路704は、コンテンツの一部を繰り返すために、ユーザ入力デバイスからコマンド724を受信する。コマンド724を受信することに応じて、入力回路704は、コンテンツ102の再生を一時停止するための命令726をメディア再生回路706に伝送し、コマンド724が受信された時間に先立つ閾値時間量内のオーディオシグネチャおよび/またはアクションシグネチャを読み出すための命令728を記憶装置702に伝送する。例えば、入力回路704は、コンテンツ102が一時停止されるタイムスタンプに先立つ最後の30秒以内のタイムスタンプを伴うシグネチャを読み出すように記憶装置702に命令してもよい。読み出されたシグネチャは、記憶装置702から制御回路700に伝送される730。制御回路700は、ビデオ出力回路718を使用して、いくつかのアイコンを表示のために発生させ、各アイコンは、読み出されたオーディオシグネチャのうちの1つの対象を表す。アイコンは、次いで、一時停止されたコンテンツ102にわたるオーバーレイとして表示される732。
【0043】
アイコンの選択734を受信することに応じて、入力回路704は、選択されたアイコンによって表されるシグネチャに対応するコンテンツ102の部分をリプレーするための命令736をメディア再生回路706に伝送する。メディア再生回路706は、メディアデータを読み出し、読み出されたメディアデータを出力740、732のためにオーディオ出力回路716およびビデオ出力回路718に伝送する738。
【0044】
図8は、本開示のいくつかの実施形態による、コンテンツの一部を繰り返すためのクエリを解決するための例証的プロセス800を表す、フローチャートである。プロセス800は、制御回路700上で実装されてもよい。加えて、プロセス800の1つまたはそれを上回るアクションは、本明細書に説明される任意の他のプロセスまたは実施形態の1つまたはそれを上回るアクションの中に組み込まれる、もしくはそれと組み合わせられてもよい。
【0045】
802において、制御回路700は、オーディオ処理回路710および/またはビデオ処理回路712を使用して、コンテンツ102の再生の間、複数のシグネチャを識別する。これは、
図12に関連して下記に説明される方法を使用して遂行されてもよい。オーディオ処理回路710および/またはビデオ処理回路712は、一度にコンテンツ102内の1つのシグネチャを識別してもよい、または同時に複数のシグネチャを識別してもよい。
【0046】
804において、制御回路700は、0の値を用いてカウンタ変数Nを初期化する。識別されたシグネチャ毎に、制御回路700は、806において、以前に識別された対象が、現在のシグネチャの対象であるかどうかを決定する。例えば、制御回路700は、以前のオーディオシグネチャのオーディオ特性を現在のオーディオシグネチャのものと比較する。別の実施例として、制御回路700は、ビデオのフレーム内に表示されるオブジェクトおよびキャラクタを以前に識別された対象のパラメータと比較する。現在のオーディオシグネチャのオーディオ特性が、以前のオーディオシグネチャのうちのいずれかのものに合致しない場合、または現在表示されるいかなるオブジェクトもしくはキャラクタも、以前に識別された対象に合致しない場合、808において、制御回路700は、新しい識別子をシグネチャの対象として割り当てる。現在のオーディオシグネチャのオーディオ特性が、以前のオーディオシグネチャのものに確かに合致する場合、または現在表示されるオブジェクトもしくはキャラクタが、以前に識別された対象に合致する場合、制御回路700は、現在のシグネチャの対象が、合致するオーディオ特性または画像パラメータを有する以前のシグネチャの対象と同一であると決定し、810において、以前のシグネチャの対象識別子を現在のシグネチャに割り当てる。制御回路700は、次いで、現在のシグネチャの識別子および現在のシグネチャに対応する開始時間を記憶装置702内に記憶する。812において、制御回路700は、Nの値を識別されたシグネチャの数と比較することによって、全ての識別されたシグネチャが、すでに処理されているかどうかを決定する。処理すべきさらなるシグネチャが、存在する場合、814において、制御回路700は、Nの値を1だけ増分させ、処理は、ステップ806に戻る。
【0047】
816において、制御回路700は、入力回路704を使用して、入力コマンドを受信する。入力コマンドは、コンテンツの再生を一時停止するコマンドまたはコンテンツの一部を繰り返すコマンドであってもよい。例えば、入力回路704は、音声コマンドを受信するためのマイクロホン、リモートコントロールからコマンドを受信するための赤外線受信機、タブレットまたはスマートフォン等のデバイスからコマンドを受信するためのWi-FiもしくはBluetooth(登録商標)モジュール、または入力コマンドを受信するための任意の他の好適な回路を含んでもよい。
【0048】
818において、制御回路700は、ビデオ出力回路718を使用して、複数のアイコン(例えば、112a-112d)を表示のために発生させ、各アイコンは、読み出されたシグネチャと関連付けられる対象を表す。820において、制御回路700は、入力回路704を使用して、アイコンの選択を受信する。選択を受信することに応答して、制御回路700は、選択されたアイコンと関連付けられるシグネチャのタイムスタンプを読み出す。822において、制御回路700は、メディア再生回路706を使用して、シグネチャのタイムスタンプに対応するコンテンツ102の部分を読み出し、オーディオ出力回路716およびビデオ出力回路718を使用して、コンテンツの部分を再生する。複数のオーディオシグネチャが、一致する場合、制御回路700は、オーディオ処理回路710を使用して、
図14に関連して下記に説明されるように、オーディオシグネチャの対象からオーディオデータを分離してもよい。
【0049】
図8のアクションまたは説明は、本開示の任意の他の実施形態と併用されてもよい。加えて、
図8に関連して説明されるアクションおよび説明は、本開示の目的を促すために、好適な代替順序で、または並行して行われてもよい。
【0050】
図9は、本開示のいくつかの実施形態による、対象シグネチャをオーディオシグネチャまたはアクションシグネチャに割り当てるための例証的プロセス900を表す、フローチャートである。プロセス900は、制御回路700上で実装されてもよい。加えて、プロセス900の1つまたはそれを上回るアクションは、本明細書に開示される任意の他のプロセスまたは実施形態の1つまたはそれを上回るアクションの中に組み込まれる、もしくはそれと組み合わせられてもよい。
【0051】
902において、制御回路700は、コンテンツ102の再生の間、少なくとも1つの対象シグネチャを識別する。例えば、制御回路700は、ビデオ処理回路712を使用して、コンテンツ102の少なくとも1つのビデオフレームを分析する。エッジ検出、顔検出、または任意の他の好適な画像処理もしくはビデオ処理技法を使用して、ビデオ処理回路712は、ビデオフレーム内に表示される少なくとも1つの対象の対象シグネチャを識別する。制御回路700は、記憶装置702内に、各表示される対象の視覚特性に対応するパラメータのセットを記憶する。
【0052】
904において、制御回路700は、0の値を用いてカウンタ変数Nを初期化する。識別された対象シグネチャ毎に、制御回路700は、906において、以前に識別された対象が、現在のシグネチャの対象であるかどうかを決定する。例えば、制御回路700は、以前の対象シグネチャのパラメータを現在の対象シグネチャのものと比較する。現在の対象シグネチャのパラメータが、以前の対象シグネチャのうちのいずれかのものに合致しない場合、または現在表示されるいかなる対象も、以前に識別された対象に合致しない場合、908において、制御回路700は、新しい識別子を対象シグネチャに割り当てる。現在の対象シグネチャのパラメータが、以前の対象シグネチャのものに確かに合致する場合、または現在表示される対象が、以前に識別された対象に合致する場合、制御回路700は、現在のシグネチャの対象が、合致するパラメータを有する以前のシグネチャの対象と同一であると決定し、910において、以前のシグネチャの対象識別子を現在のシグネチャに割り当てる。制御回路700は、次いで、対象識別子および対象シグネチャに対応する開始時間を記憶装置702内に記憶する。
【0053】
912において、制御回路700は、任意のオーディオシグネチャまたはアクションシグネチャが、現在の対象シグネチャと同一のタイムスタンプを有するかどうかを決定する。いかなるオーディオシグネチャまたはアクションシグネチャも、現在の対象シグネチャと同一のタイムスタンプを有していない場合、処理は、ステップ916に進む。オーディオシグネチャまたはアクションシグネチャが、現在の対象シグネチャと同一のタイムスタンプを有する場合、914において、制御回路700は、現在の対象シグネチャを同一のタイムスタンプを有するオーディオシグネチャまたはアクションシグネチャに割り当てる。現在の対象シグネチャを同一のタイムスタンプを有するオーディオシグネチャまたはアクションシグネチャに割り当てた後、916において、制御回路700は、Nの値を識別されたシグネチャの数と比較することによって、全ての識別されたシグネチャが、すでに処理されているかどうかを決定する。処理すべきさらなるシグネチャが、存在する場合、916において、制御回路700は、Nの値を1だけ増分させ、処理は、ステップ906に戻る。
【0054】
図9のアクションまたは説明は、本開示の任意の他の実施形態と併用されてもよい。加えて、
図9に関連して説明されるアクションおよび説明は、本開示の目的を促すために、好適な代替順序で、または並行して行われてもよい。
【0055】
図10は、本開示のいくつかの実施形態による、オーディオの一部を再生するための例証的プロセス1000を表す、フローチャートである。プロセス1000は、制御回路700上で実装されてもよい。加えて、プロセス1000の1つまたはそれを上回るアクションは、本明細書に説明される任意の他のプロセスまたは実施形態の1つまたはそれを上回るアクションの中に組み込まれる、もしくはそれと組み合わせられてもよい。
【0056】
1002において、制御回路700は、アイコンによって表される対象の識別子を読み出す。例えば、表示のためにアイコンを発生させるとき、制御回路700は、対象識別子を含むアイコンに関するメタデータを含んでもよい。別の実施例では、制御回路700は、ソース識別子への参照またはポインタを含む、リンクもしくは他のコンピュータコードを発生させる。
【0057】
1004において、制御回路700は、シグネチャが対象の識別子と関連付けて記憶された、記憶装置702内のデータベースまたは他のデータ構造にアクセスする。1006において、制御回路700は、データベースまたはデータ構造から、読み出された対象識別子と関連付けられるシグネチャのタイムスタンプを読み出す。1008において、制御回路700は、メディア再生回路706を使用して、読み出されたタイムスタンプにおいて開始されるコンテンツ102のオーディオの部分を再生する。
【0058】
図10のアクションまたは説明は、本開示の任意の他の実施形態と併用されてもよい。加えて、
図10に関連して説明されるアクションおよび説明は、本開示の目的を促すために、好適な代替順序で、または並行して行われてもよい。
【0059】
図11は、本開示のいくつかの実施形態による、ビデオデータからオーディオソースの画像を捕捉するための例証的プロセス1100を表す、フローチャートである。プロセス1100は、制御回路700上で実装されてもよい。加えて、プロセス1100の1つまたはそれを上回るアクションは、本明細書に説明される任意の他のプロセスまたは実施形態の1つまたはそれを上回るアクションの中に組み込まれる、もしくはそれと組み合わせられてもよい。
【0060】
1102において、制御回路700は、ビデオ処理回路712を使用して、シグネチャに対応するコンテンツ102のビデオデータの少なくとも1つのフレームを処理し、1104において、少なくとも1つのフレーム内に表示される対象を識別する。例えば、ビデオ処理回路712は、フレーム内に表示されるオブジェクトまたはキャラクタを識別するために、エッジ検出、顔認識、オブジェクト認識、または任意の他の好適なビデオ処理もしくは画像処理技法を使用してもよい。1つを上回るフレームが、処理される場合、ビデオ処理回路712は、例えば、キャラクタの口が、シグネチャの再生の間に移動しているかどうかを決定するために、フレームを比較してもよい。
【0061】
1106において、ビデオ処理回路712は、識別された対象が表示されるビデオフレームの一部を捕捉する。ビデオ処理回路712は、フレームから画像データを捕捉し、シグネチャと関連付けて記憶装置702内に画像を記憶してもよい。代替として、ビデオ処理回路712は、識別されたソースが表示されるフレームの面積を境界する座標を捕捉し、シグネチャと関連付けて、座標ならびにフレームの識別子を記憶装置702内に記憶してもよい。
【0062】
図11のアクションまたは説明は、本開示の任意の他の実施形態と併用され得ることが検討される。加えて、
図11に関連して説明されるアクションおよび説明は、本開示の目的を促すために、好適な代替順序で、または並行して行われてもよい。
【0063】
図12は、本開示のいくつかの実施形態による、オーディオシグネチャを識別するための例証的プロセス1200を表す、フローチャートである。プロセス1200は、制御回路700上で実装されてもよい。加えて、プロセス1200の1つまたはそれを上回るアクションは、本明細書に説明される任意の他のプロセスまたは実施形態の1つまたはそれを上回るアクションの中に組み込まれる、もしくはそれと組み合わせられてもよい。
【0064】
1202において、制御回路700は、オーディオ処理回路710を使用して、第1のタイムスタンプにおいてコンテンツ102のオーディオデータの分析を開始する。1204において、制御回路700は、変数Tfirstを初期化し、その値として第1のタイムスタンプを設定する。1206において、オーディオ処理回路710は、第1のソースに一意である、オーディオデータのオーディオ特性を識別する。例えば、オーディオ処理回路710は、特定のソースからのものとしてオーディオを一意に識別するために、周波数分析、リズム分析、高調波、テンポ、または任意の他のオーディオ特性を使用してもよい。1208において、オーディオ処理回路710は、オーディオデータを分析し続ける。
【0065】
1210において、制御回路700は、変数Tcurrentを初期化し、その値を現在分析されているオーディオデータに対応するタイムスタンプとして設定する。1212において、オーディオ処理回路710は、Tcurrentにおけるオーディオ特性が、Tfirstにおけるオーディオ特性と異なるかどうかを決定する。例えば、オーディオ処理回路710は、任意の特性の値が、5パーセント等の少なくともある閾値量だけ変化したかどうかを識別するために、Tcurrentにおけるオーディオ特性のセットをTfirstにおいて識別されたものと比較してもよい。いかなる変化も、検出されない場合、処理は、1208に戻り、オーディオ処理回路710は、オーディオデータを分析し続ける。
【0066】
Tcurrentにおけるオーディオ特性が、Tfirstにおけるオーディオ特性と異なると決定される場合、1214において、オーディオ処理回路710は、オーディオシグネチャとしてTfirstからTcurrentまでのオーディオデータの部分を識別する。オーディオ処理回路710は、少なくともTfirstとともに、オーディオシグネチャを記憶装置702内に記憶する。1216において、制御回路700は、Tfirstの値をTcurrentの値に設定し、処理は、1208に戻る。
【0067】
図12のアクションまたは説明は、本開示の任意の他の実施形態と併用され得ることが検討される。加えて、
図12に関連して説明されるアクションおよび説明は、本開示の目的を促すために、好適な代替順序で、または並行して行われてもよい。
【0068】
図13は、本開示のいくつかの実施形態による、オーディオシグネチャを対象に割り当てるための例証的プロセス1300を表す、フローチャートである。プロセス900は、制御回路700上で実装されてもよい。加えて、プロセス900の1つまたはそれを上回るアクションは、本明細書に説明される任意の他のプロセスまたは実施形態の1つまたはそれを上回るアクションの中に組み込まれる、もしくはそれと組み合わせられてもよい。
【0069】
1302において、制御回路700は、ビデオ処理回路712を使用して、TfirstとTcurrentとの間のコンテンツ102の一部からの少なくとも1つのビデオフレームを処理する。1304において、ビデオ処理回路712は、対象が、少なくとも1つのフレーム内に表示されているかどうかを決定する。ビデオ処理回路712は、エッジ検出、顔認識、オブジェクト認識、または任意の他の好適なビデオ処理もしくは画像処理技法を使用してもよい。
【0070】
表示される対象が、少なくとも1つのフレーム内に表示されている場合、1306において、制御回路700は、表示される対象が、オーディオシグネチャのソースであるかどうかを決定する。例えば、制御回路700は、オーディオ処理回路710およびビデオ処理回路712を使用して、オーディオシグネチャをビデオデータの少なくとも1つのフレームと比較してもよい。オーディオ処理回路710は、オーディオ特性に基づいて、オーディオシグネチャのタイプを識別してもよい。例えば、オーディオ処理回路710は、低周波数発話パターンを男性の声として識別してもよい。制御回路700は、次いで、少なくとも1つのビデオフレーム内の男性の姿を識別するために、ビデオ処理回路712を使用してもよい。ビデオ処理回路412は、その口が、オーディオシグネチャの間に移動しているキャラクタを識別してもよい。
【0071】
表示される対象が、オーディオシグネチャのソースである場合、1308において、制御回路700は、オーディオシグネチャを表示されるソースに割り当てる。例えば、制御回路700は、オーディオシグネチャと関連付けて対象の識別子を含むために、記憶装置702内のデータベースまたはデータ構造を更新してもよい。
【0072】
いかなる対象も、少なくとも1つのフレーム内に表示されない場合、または表示される対象が、オーディオシグネチャのソースではない場合、1310において、制御回路700は、オーディオシグネチャを別の対象に割り当てる。制御回路700は、オーディオ処理回路710を使用して、オーディオシグネチャのオーディオ特性を既知の対象を有する他のオーディオシグネチャと比較してもよい。合致が、検出される場合、制御回路700は、オーディオシグネチャの対象として、合致するオーディオ特性を有するオーディオシグネチャの対象を割り当ててもよい。いかなる合致も、検出されない場合、制御回路700は、新しいまたは一時的な対象識別子をオーディオシグネチャに割り当ててもよい。
【0073】
図13のアクションまたは説明は、本開示の任意の他の実施形態と併用され得ることが検討される。加えて、
図13に関連して説明されるアクションおよび説明は、本開示の目的を促すために、好適な代替順序で、または並行して行われてもよい。
【0074】
図14は、本開示のいくつかの実施形態による、オーディオの複数の部分のうちの1つを再生するための例証的プロセス1400を表す、フローチャートである。プロセス1400は、制御回路400上で実装されてもよい。加えて、プロセス1400の1つまたはそれを上回るアクションは、本明細書に説明される任意の他のプロセスまたは実施形態の1つまたはそれを上回るアクションの中に組み込まれる、もしくはそれと組み合わせられてもよい。
【0075】
1402において、制御回路700は、1つを上回るオーディオシグネチャが、現在の再生タイムスタンプの閾値時間内の終了時間を有するかどうかを決定する。例えば、いくつかのキャラクタが、会話をしているコンテンツ102の一部では、いくつかのオーディオシグネチャは、現在の再生位置から30秒以内に終了し得、閾値周期内に存在するオーディオシグネチャに関するクエリに応答して、返されるであろう。
【0076】
1404において、制御回路700は、閾値周期内に終了するオーディオシグネチャのうちのいずれかが、時間的に重複するかどうかを決定する。例えば、2人のキャラクタが、同時に発話し、少なくとも1つのオーディオシグネチャが、別のオーディオシグネチャと同時に、またはその開始時間と終了時間との間に終了することをもたらし得る。いかなるオーディオシグネチャも、時間的に重複しない場合、1406において、制御回路700は、直近のオーディオシグネチャに対応するコンテンツ102のオーディオデータの一部を再生する。しかしながら、任意のオーディオシグネチャが、時間的に重複する場合、1408において、制御回路700は、オーディオ処理回路710を使用して、各オーディオシグネチャに対応するオーディオデータを分離する。オーディオ処理回路710は、各シグネチャに一意の周波数および高調波を分離するために、各オーディオシグネチャのオーディオ特性を使用してもよい。オーディオ処理回路710は、背景雑音と関連付けられる周波数を抑制してもよい。オーディオ処理回路710は、各個々のオーディオシグネチャを表すオーディオデータを抽出またはコピーし、各オーディオシグネチャに対応する個々のオーディオサンプルを発生させてもよい。
【0077】
1410において、制御回路700は、ビデオ出力回路718を使用して、複数のアイコンを表示のために発生させ、各アイコンは、オーディオシグネチャのうちの1つに対応する対象を表す。1412において、制御回路700は、入力回路704を使用して、アイコンの選択を受信し、1414において、メディア再生回路706を使用して、選択されたアイコンと関連付けられるオーディオシグネチャに対応するコンテンツ102の少なくともオーディオの一部を再生する。これは、上記に説明されるような抽出されたオーディオサンプルであり得る。
【0078】
図14のアクションまたは説明は、本開示の任意の他の実施形態と併用され得ることが検討される。加えて、
図14に関連して説明されるアクションおよび説明は、本開示の目的を促すために、好適な代替順序で、または並行して行われてもよい。
【0079】
図15は、本開示のいくつかの実施形態による、アクションシグネチャを識別するための例証的プロセス1500を表す、フローチャートである。プロセス1500は、制御回路700上で実装されてもよい。加えて、プロセス1500の1つまたはそれを上回るアクションは、本明細書に説明される任意の他のプロセスまたは実施形態の1つまたはそれを上回るアクションの中に組み込まれる、もしくはそれと組み合わせられてもよい。
【0080】
1502において、制御回路700は、ビデオ処理回路712を使用して、第1のタイムスタンプにおいてコンテンツ102のビデオデータの分析を開始する。1504において、制御回路700は、変数Tfirstを初期化し、その値として第1のタイムスタンプを設定する。1506において、ビデオ処理回路712は、コンテンツ102のビデオデータ内に表示される対象が、閾値レベルの運動を表示しているかどうかを決定する。例えば、ビデオ処理回路712は、2つのフレームの間で進行した距離を決定するために、第1のタイムスタンプにおけるフレーム内の各対象の位置を以前のフレームのものと比較してもよい。いかなる対象も、閾値レベルの運動を表示しない場合、処理は、ステップ1502に戻る。
【0081】
対象が、閾値レベルの運動を確かに表示する場合、1508において、ビデオ処理回路712は、ビデオデータを分析し続ける。1510において、制御回路700は、変数Tcurrentを初期化し、その値を現在分析されているビデオデータに対応するタイムスタンプとして設定する。1512において、ビデオ処理回路712は、Tcurrentにおける対象の運動が、依然として、閾値レベルの運動にある、またはそれを上回るかどうかを決定する。該当する場合、処理は、1508に戻り、ビデオ処理回路712は、ビデオデータを分析し続ける。
【0082】
Tcurrentにおける対象の運動が、閾値レベルの運動を下回ると決定される場合、1514において、ビデオ処理回路712は、アクションシグネチャとして、TfirstからTcurrentまでのビデオデータの部分を識別する。ビデオ処理回路712は、少なくともTfirstとともに、アクションシグネチャを記憶装置702内に記憶する。1516において、制御回路700は、Tfirstの値をTcurrentの値に設定し、処理は、1506に戻る。
【0083】
図15のアクションまたは説明は、本開示の任意の他の実施形態と併用され得ることが検討される。加えて、
図15に関連して説明されるアクションおよび説明は、本開示の目的を促すために、好適な代替順序で、または並行して行われてもよい。
【0084】
図16は、本開示のいくつかの実施形態による、コンテンツ内に表示される対象を識別するための例証的プロセス1600を表す、フローチャートである。プロセス1600は、制御回路700上で実装されてもよい。加えて、プロセス1600の1つまたはそれを上回るアクションは、本明細書に説明される任意の他のプロセスまたは実施形態の1つまたはそれを上回るアクションの中に組み込まれる、もしくはそれと組み合わせられてもよい。
【0085】
1602において、制御回路700は、ビデオ処理回路712を使用して、コンテンツ102のビデオのフレーム内の顔を検出する。ビデオ処理回路712は、コンテンツ102のビデオデータ内に表示される顔を識別するために、任意の好適なビデオ処理または画像処理技法を使用してもよい。ビデオ処理回路712は、瞳孔間距離(すなわち、顔の眼の左および右の瞳孔の間の距離)、鼻サイズまたは位置、耳サイズまたは位置、髪の色、眼の色、全体的な顔の形状等の検出された顔を一意に識別する画像パラメータのセットを識別してもよい。ビデオ処理回路712はまた、顔を識別するために、Haarアルゴリズムまたはローカルバイナリパターンアルゴリズムを採用してもよい。1604において、ビデオ処理回路712は、識別子を検出された顔に割り当てる。1606において、ビデオ処理回路712は、割り当てられた識別子と関連付けて顔に対応するパラメータのセットを記憶装置702内に記憶する。
【0086】
図16のアクションまたは説明は、本開示の任意の他の実施形態と併用され得ることが検討される。加えて、
図16に関連して説明されるアクションおよび説明は、本開示の目的を促すために、好適な代替順序で、または並行して行われてもよい。
【0087】
図17は、本開示のいくつかの実施形態による、閾値レベルの運動を検出するための例証的プロセス1700を表す、フローチャートである。プロセス1700は、制御回路700上で実装されてもよい。加えて、プロセス1700の1つまたはそれを上回るアクションは、本明細書に説明される任意の他のプロセスまたは実施形態の1つまたはそれを上回るアクションの中に組み込まれる、もしくはそれと組み合わせられてもよい。
【0088】
1702において、制御回路700は、ビデオ処理回路712を使用して、コンテンツ102の第1のビデオフレームを分析する。ビデオ処理回路は、
図9に関連して上記に説明される方法を使用して、第1のビデオフレーム内に表示される少なくとも1つの対象を識別する。1704において、ビデオ処理回路712は、第1のビデオフレーム内の対象の位置を識別する。例えば、ビデオ処理回路712は、対象の隅のxおよびy座標を識別する。対象が、キャラクタの顔等、不規則な形状である場合、ビデオ処理回路712は、最初に、対象の最上部のピクセルの直接左側にあり、対象の最も左のピクセルの直上の点に対応する左上隅と、対象の最底部のピクセルの直接右側にあり、対象の最も右のピクセルの直下の点に対応する右下隅とを有する境界ボックスを定義してもよい。ビデオ処理回路712は、次いで、境界ボックスの位置を識別してもよい。
【0089】
1706において、ビデオ処理回路712は、コンテンツ102のビデオの次のフレームを分析し、1708において、上記に説明される方法を使用して、ビデオの次のフレーム内の対象の位置を識別する。1710において、ビデオ処理回路712は、対象が、分析される2つのフレームの間で閾値距離だけ移動したかどうかを決定する。例えば、ビデオ処理回路712は、フレームのそれぞれの中のオブジェクトまたは境界ボックスの位置の間の差異を計算し、オブジェクトが、閾値数のピクセルを上回って移動したかどうかを決定してもよい。ビデオ処理回路712はまた、2つのフレームの間のオブジェクトの見掛けサイズを比較し、サイズが、閾値量だけ増加または減少したかどうかを決定することによって、視認者に向かう、またはそれから離れる運動を考慮してもよい。ビデオ処理回路712は、対象の3次元運動を決定するために、これらの計算の両方を使用してもよい。ビデオ処理回路712は、それに沿って対象が移動した3次元空間内のベクトルを計算し、ベクトルに沿って進行した距離を決定してもよい。対象が、閾値距離だけ移動した場合、1712において、ビデオ処理回路712は、閾値レベルの運動が、検出されたと識別する。
【0090】
図17のアクションまたは説明は、本開示の任意の他の実施形態と併用され得ることが検討される。加えて、
図17に関連して説明されるアクションおよび説明は、本開示の目的を促すために、好適な代替順序で、または並行して行われてもよい。
【0091】
図18は、本開示のいくつかの実施形態による、スローモーションにおいて、またはループにおいてコンテンツの一部を繰り返すための例証的プロセス1800を表す、フローチャートである。プロセス1800は、制御回路700上で実装されてもよい。加えて、プロセス1800の1つまたはそれを上回るアクションは、本明細書に説明される任意の他のプロセスまたは実施形態の1つまたはそれを上回るアクションの中に組み込まれる、もしくはそれと組み合わせられてもよい。
【0092】
1802において、制御回路700は、選択されたアクションシグネチャに対応するコンテンツ102の部分が、30秒等の最大閾値よりも短いかどうかを決定する。コンテンツ102の部分が、最大閾値よりも短い場合、1804において、制御回路700は、コンテンツ102の部分がまた、5秒等の最小閾値よりも短いかどうかを決定する。選択されたアクションシグネチャに対応するコンテンツ102の部分が、最小閾値よりも短い場合、1806において、制御回路700は、メディア再生回路706を使用して、スローモーションにおいてコンテンツ102の部分を繰り返す。選択されたアクションシグネチャに対応するコンテンツ102の部分の長さが、最小閾値と最大閾値との間である場合、1808において、制御回路700は、メディア再生回路706を使用して、ループにおいてコンテンツ102の部分を繰り返す。メディア再生回路706は、別の入力コマンドが、受信されるまで、コンテンツ102の部分をループし続けてもよい。代替として、または加えて、メディア再生回路706は、所定のループ回数(例えば、5回のループ)または所定の時間量(例えば、30秒)にわたってコンテンツ102の部分をループし続けてもよい。
【0093】
図18のアクションまたは説明は、本開示の任意の他の実施形態と併用され得ることが検討される。加えて、
図18に関連して説明されるアクションおよび説明は、本開示の目的を促すために、好適な代替順序で、または並行して行われてもよい。
【0094】
上記に説明されるプロセスは、限定的ではなく、例証的であることを意図している。当業者は、本発明の範囲から逸脱することなく、本明細書に議論されるプロセスのステップが、省略される、修正される、組み合わせられる、および/または再配列され得、任意の付加的ステップが、実施され得ることを理解するであろう。より一般的には、上記の開示は、限定ではなく、例示的であることを意味している。続く請求項のみが、本発明が含むものに関する境界を設定することを意味している。さらに、任意の1つの実施形態に説明される特徴および限定は、本明細書の任意の他の実施形態に適用され得、一実施形態に関するフローチャートまたは実施例は、好適な様式で任意の他の実施形態と組み合わせられる、異なる順序で行われる、または並行して行われ得ることに留意されたい。加えて、本明細書に説明されるシステムおよび方法は、リアルタイムで実施されてもよい。また、上記に説明されるシステムおよび/または方法は、他のシステムおよび/または方法に適用される、もしくはそれらに従って使用され得ることにも留意されたい。
本明細書は、限定ではないが、以下を含む実施形態を説明した。
1.コンテンツのオーディオの一部の対象を表示するための方法であって、
コンテンツの再生の間、コンテンツのオーディオ内の複数の音の各音に対応するオーディオシグネチャを識別するステップと、
オーディオシグネチャ毎に、個別のオーディオシグネチャに対応する個別の音が開始されるタイムスタンプおよび個別のオーディオシグネチャの識別子を記憶するステップと、
入力コマンドを受信するステップと、
各オーディオシグネチャを表すアイコンを表示のために発生させるステップと、
を含む、方法。
2.アイコンの選択を受信するステップと、
選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの一部を再生するステップと、
をさらに含む、項目1に記載の方法。
3.コンテンツの再生の間、コンテンツのビデオ内の複数の対象のそれぞれに対応する対象シグネチャを識別するステップと、
対象シグネチャ毎に、個別の対象シグネチャが開始される第2のタイムスタンプおよび個別の対象シグネチャの識別子を記憶するステップと、
タイムスタンプおよび第2のタイムスタンプに基づいて、対象シグネチャを対象シグネチャの間に存在するオーディオシグネチャに割り当てるステップと、
をさらに含む、項目1に記載の方法。
4.選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの部分を再生するステップは、
選択されたアイコンによって表される対象の識別子を読み出すステップと、
読み出された識別子と関連付けられるオーディオシグネチャの記憶されたタイムスタンプを読み出すステップと、
タイムスタンプにおいて開始されるオーディオの部分を再生するステップと、
を含む、項目2に記載の方法。
5.複数の音の各音の対象の画像を捕捉するステップをさらに含み、各音の個別の対象を表すアイコンは、音の個別の対象の捕捉された画像を備える、項目1に記載の方法。
6.オーディオシグネチャを識別するステップは、
第1のタイムスタンプにおいて開始されるオーディオのオーディオ特性を分析するステップと、
後続タイムスタンプにおいて開始されるオーディオのオーディオ特性が、第1のタイムスタンプにおいて開始されるオーディオのオーディオ特性と異なると決定するステップと、
第1のタイムスタンプと後続タイムスタンプとの間のオーディオの部分を第1のオーディオシグネチャとして識別するステップと、
を含む、項目1に記載の方法。
7.第1のタイムスタンプと後続タイムスタンプとの間のコンテンツのビデオフレームを分析するステップと、
音の対象が、ビデオフレーム内に表示されているかどうかを決定するステップと、
第1のオーディオシグネチャを表示される対象に割り当てるステップと、
をさらに含む、項目6に記載の方法。
8.分析するステップに基づいて、表示される対象が、第1のオーディオシグネチャに対応するオーディオデータの対象であると決定するステップをさらに含む、項目7に記載の方法。
9.オーディオシグネチャ毎に、個別のオーディオシグネチャに対応する音が終了する第2のタイムスタンプを記憶するステップと、
入力コマンドを受信することに応答して、現在の再生タイムスタンプから閾値時間内の第2のタイムスタンプを有する複数のオーディオシグネチャを決定するステップと、
をさらに含む、項目1に記載の方法。
10.各オーディオシグネチャのタイムスタンプおよび第2のタイムスタンプに基づいて、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複するかどうかを決定するステップと、
複数のオーディオシグネチャのいかなるオーディオシグネチャも、別のオーディオシグネチャと時間的に重複しないと決定することに応答して、直近のオーディオシグネチャに対応するコンテンツのオーディオデータの一部を再生するステップと、
をさらに含む、項目9に記載の方法。
11.複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答して、選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオデータを分離するステップをさらに含み、複数のアイコンを表示のために発生させるステップは、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答してのみ起こる、項目10に記載の方法。
12.音は、発話であり、
音の対象は、話者である、
項目1に記載の方法。
13.コンテンツのオーディオの一部の対象を表示するためのシステムであって、
メモリと、
制御回路であって、
コンテンツの再生の間、コンテンツのオーディオ内の複数の音の各音に対応するオーディオシグネチャを識別し、
オーディオシグネチャ毎に、個別のオーディオシグネチャに対応する個別の音が開始されるタイムスタンプおよび個別のオーディオシグネチャの識別子をメモリ内に記憶し、
入力コマンドを受信し、
各オーディオシグネチャを表すアイコンを表示のために発生させる、
ように構成される、制御回路と、
を備える、システム。
14.制御回路はさらに、
アイコンの選択を受信し、
選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの一部を再生する、
ように構成される、項目13に記載のシステム。
15.制御回路はさらに、
コンテンツの再生の間、コンテンツのビデオ内の複数の対象のそれぞれに対応する対象シグネチャを識別し、
対象シグネチャ毎に、個別の対象シグネチャが開始される第2のタイムスタンプおよび個別の対象シグネチャの識別子を記憶し、
タイムスタンプおよび第2のタイムスタンプに基づいて、対象シグネチャを対象シグネチャの間に存在するオーディオシグネチャに割り当てる、
ように構成される、項目13に記載のシステム。
16.選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの部分を再生するように構成される制御回路はさらに、
選択されたアイコンによって表される対象の識別子を読み出し、
読み出された識別子と関連付けられるオーディオシグネチャの記憶されたタイムスタンプを読み出し、
タイムスタンプにおいて開始されるオーディオの部分を再生する、
ように構成される、項目14に記載のシステム。
17.制御回路はさらに、複数の音の各音の対象の画像を捕捉するように構成され、
各音の個別の対象を表すアイコンは、音の個別の対象の捕捉された画像を備える、
項目13に記載のシステム。
18.オーディオシグネチャを識別するように構成される制御回路はさらに、
第1のタイムスタンプにおいて開始されるオーディオのオーディオ特性を分析し、
後続タイムスタンプにおいて開始されるオーディオのオーディオ特性が、第1のタイムスタンプにおいて開始されるオーディオのオーディオ特性と異なると決定し、
第1のタイムスタンプと後続タイムスタンプとの間のオーディオの部分を第1のオーディオシグネチャとして識別する、
ように構成される、項目13に記載のシステム。
19.制御回路はさらに、
第1のタイムスタンプと後続タイムスタンプとの間のコンテンツのビデオフレームを分析し、
音の対象が、ビデオフレーム内に表示されているかどうかを決定し、
第1のオーディオシグネチャを表示される対象に割り当てる、
ように構成される、項目18に記載のシステム。
20.制御回路はさらに、分析するステップに基づいて、表示される対象が、第1のオーディオシグネチャに対応するオーディオデータの対象であると決定するように構成される、項目19に記載のシステム。
21.制御回路はさらに、
オーディオシグネチャ毎に、個別のオーディオシグネチャに対応する音が終了する第2のタイムスタンプをメモリ内に記憶し、
入力コマンドを受信することに応答して、現在の再生タイムスタンプから閾値時間内の第2のタイムスタンプを有する複数のオーディオシグネチャを決定する、
ように構成される、項目13に記載のシステム。
22.制御回路はさらに、
各オーディオシグネチャのタイムスタンプおよび第2のタイムスタンプに基づいて、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複するかどうかを決定し、
複数のオーディオシグネチャのいかなるオーディオシグネチャも、別のオーディオシグネチャと時間的に重複しないと決定することに応答して、直近のオーディオシグネチャに対応するコンテンツのオーディオデータの一部を再生する、
ように構成される、項目21に記載のシステム。
23.制御回路はさらに、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答して、選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオデータを分離するように構成され、
複数のアイコンを表示のために発生させるステップは、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答してのみ起こる、
項目22に記載のシステム。
24.音は、発話であり、
音の対象は、話者である、
項目13に記載のシステム。
25.コンテンツのオーディオの一部の対象を表示するためのシステムであって、
コンテンツの再生の間、コンテンツのオーディオ内の複数の音の各音に対応するオーディオシグネチャを識別するための手段と、
オーディオシグネチャ毎に、個別のオーディオシグネチャに対応する個別の音が開始されるタイムスタンプおよび個別のオーディオシグネチャの識別子を記憶するための手段と、
入力コマンドを受信するための手段と、
各オーディオシグネチャを表すアイコンを表示のために発生させるための手段と、
を備える、システム。
26.アイコンの選択を受信するための手段と、
選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの一部を再生するための手段と、
をさらに備える、項目25に記載のシステム。
27.コンテンツの再生の間、コンテンツのビデオ内の複数の対象のそれぞれに対応する対象シグネチャを識別するための手段と、
対象シグネチャ毎に、個別の対象シグネチャが開始される第2のタイムスタンプおよび個別の対象シグネチャの識別子を記憶するための手段と、
タイムスタンプおよび第2のタイムスタンプに基づいて、対象シグネチャを対象シグネチャの間に存在するオーディオシグネチャに割り当てるための手段と、
をさらに備える、項目25に記載のシステム。
28.選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの部分を再生するための手段は、
選択されたアイコンによって表される対象の識別子を読み出すための手段と、
読み出された識別子と関連付けられるオーディオシグネチャの記憶されたタイムスタンプを読み出すための手段と、
タイムスタンプにおいて開始されるオーディオの部分を再生するための手段と、
を備える、項目26に記載のシステム。
29.複数の音の各音の対象の画像を捕捉するための手段をさらに備え、各音の個別の対象を表すアイコンは、音の個別の対象の捕捉された画像を備える、項目25に記載のシステム。
30.オーディオシグネチャを識別するための手段は、
第1のタイムスタンプにおいて開始されるオーディオのオーディオ特性を分析するための手段と、
後続タイムスタンプにおいて開始されるオーディオのオーディオ特性が、第1のタイムスタンプにおいて開始されるオーディオのオーディオ特性と異なると決定するための手段と、
第1のタイムスタンプと後続タイムスタンプとの間のオーディオの部分を第1のオーディオシグネチャとして識別するための手段と、
を備える、項目25に記載のシステム。
31.第1のタイムスタンプと後続タイムスタンプとの間のコンテンツのビデオフレームを分析するための手段と、
音の対象が、ビデオフレーム内に表示されているかどうかを決定するための手段と、
第1のオーディオシグネチャを表示される対象に割り当てるための手段と、
をさらに備える、項目30に記載のシステム。
32.分析するステップに基づいて、表示される対象が、第1のオーディオシグネチャに対応するオーディオデータの対象であると決定するための手段をさらに備える、項目31に記載のシステム。
33.オーディオシグネチャ毎に、個別のオーディオシグネチャに対応する音が終了する第2のタイムスタンプを記憶するための手段と、
入力コマンドを受信することに応答して、現在の再生タイムスタンプから閾値時間内の第2のタイムスタンプを有する複数のオーディオシグネチャを決定するための手段と、
をさらに備える、項目25に記載のシステム。
34.各オーディオシグネチャのタイムスタンプおよび第2のタイムスタンプに基づいて、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複するかどうかを決定するための手段と、
複数のオーディオシグネチャのいかなるオーディオシグネチャも、別のオーディオシグネチャと時間的に重複しないと決定することに応答して、直近のオーディオシグネチャに対応するコンテンツのオーディオデータの一部を再生するための手段と、
をさらに備える、項目33に記載のシステム。
35.複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答して、選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオデータを分離するための手段をさらに備え、複数のアイコンを表示のために発生させるステップは、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答してのみ起こる、項目34に記載のシステム。
36.音は、発話であり、
音の対象は、話者である、
項目25に記載のシステム。
37.非一過性コンピュータ可読媒体であって、制御回路によって実行されると、制御回路に、
コンテンツの再生の間、コンテンツのオーディオ内の複数の音の各音に対応するオーディオシグネチャを識別させ、
オーディオシグネチャ毎に、個別のオーディオシグネチャに対応する個別の音が開始されるタイムスタンプおよび個別のオーディオシグネチャの識別子を記憶させ、
入力コマンドを受信させ、
各オーディオシグネチャを表すアイコンを表示のために発生させる、
コンテンツのオーディオの一部の対象を表示するためのその上にエンコードされる命令を有する、非一過性コンピュータ可読媒体。
38.命令の実行はさらに、制御回路に、
アイコンの選択を受信させ、
選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの一部を再生させる、
項目37に記載の非一過性コンピュータ可読媒体。
39.命令の実行はさらに、制御回路に、
コンテンツの再生の間、コンテンツのビデオ内の複数の対象のそれぞれに対応する対象シグネチャを識別させ、
対象シグネチャ毎に、個別の対象シグネチャが開始される第2のタイムスタンプおよび個別の対象シグネチャの識別子を記憶させ、
タイムスタンプおよび第2のタイムスタンプに基づいて、対象シグネチャを対象シグネチャの間に存在するオーディオシグネチャに割り当てさせる、
項目37に記載の非一過性コンピュータ可読媒体。
40.選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの部分を再生するための命令の実行はさらに、制御回路に、
選択されたアイコンによって表される対象の識別子を読み出させ、
読み出された識別子と関連付けられるオーディオシグネチャの記憶されたタイムスタンプを読み出させ、
タイムスタンプにおいて開始されるオーディオの部分を再生させる、
項目38に記載の非一過性コンピュータ可読媒体。
41.命令の実行はさらに、制御回路に、複数の音の各音の対象の画像を捕捉させ、
各音の個別の対象を表すアイコンは、音の個別の対象の捕捉された画像を備える、
項目37に記載の非一過性コンピュータ可読媒体。
42.オーディオシグネチャを識別するための命令の実行はさらに、制御回路に、
第1のタイムスタンプにおいて開始されるオーディオのオーディオ特性を分析させ、
後続タイムスタンプにおいて開始されるオーディオのオーディオ特性が、第1のタイムスタンプにおいて開始されるオーディオのオーディオ特性と異なると決定させ、
第1のタイムスタンプと後続タイムスタンプとの間のオーディオの部分を第1のオーディオシグネチャとして識別させる、
項目37に記載の非一過性コンピュータ可読媒体。
43.命令の実行はさらに、制御回路に、
第1のタイムスタンプと後続タイムスタンプとの間のコンテンツのビデオフレームを分析させ、
音の対象が、ビデオフレーム内に表示されているかどうかを決定させ、
第1のオーディオシグネチャを表示される対象に割り当てさせる、
項目42に記載の非一過性コンピュータ可読媒体。
44.命令の実行はさらに、制御回路に、分析するステップに基づいて、表示される対象が、第1のオーディオシグネチャに対応するオーディオデータの対象であると決定させる、項目43に記載の非一過性コンピュータ可読媒体。
45.命令の実行はさらに、制御回路に、
オーディオシグネチャ毎に、個別のオーディオシグネチャに対応する音が終了する第2のタイムスタンプを記憶させ、
入力コマンドを受信することに応答して、現在の再生タイムスタンプから閾値時間内の第2のタイムスタンプを有する複数のオーディオシグネチャを決定させる、
項目37に記載の非一過性コンピュータ可読媒体。
46.命令の実行はさらに、制御回路に、
各オーディオシグネチャのタイムスタンプおよび第2のタイムスタンプに基づいて、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複するかどうかを決定させ、
複数のオーディオシグネチャのいかなるオーディオシグネチャも、別のオーディオシグネチャと時間的に重複しないと決定することに応答して、直近のオーディオシグネチャに対応するコンテンツのオーディオデータの一部を再生させる、
項目45に記載の非一過性コンピュータ可読媒体。
47.命令の実行はさらに、制御回路に、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答して、選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオデータを分離させ、
複数のアイコンを表示のために発生させるステップは、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答してのみ起こる、
項目46に記載の非一過性コンピュータ可読媒体。
48.音は、発話であり、
音の対象は、話者である、
項目37に記載の非一過性コンピュータ可読媒体。
49.コンテンツのオーディオの一部の対象を表示するための方法であって、
コンテンツを再生するステップと、
コンテンツの再生の間、コンテンツのオーディオ内の複数の音の各音に対応するオーディオシグネチャを識別するステップと、
オーディオシグネチャ毎に、個別のオーディオシグネチャに対応する個別の音が開始されるタイムスタンプおよび個別のオーディオシグネチャの識別子を記憶するステップと、
入力コマンドを受信するステップと、
各オーディオシグネチャを表すアイコンを表示のために発生させるステップと、
を含む、方法。
50.アイコンの選択を受信するステップと、
選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの一部を再生するステップと、
をさらに含む、項目49に記載の方法。
51.コンテンツの再生の間、コンテンツのビデオ内の複数の対象のそれぞれに対応する対象シグネチャを識別するステップと、
対象シグネチャ毎に、個別の対象シグネチャが開始される第2のタイムスタンプおよび個別の対象シグネチャの識別子を記憶するステップと、
タイムスタンプおよび第2のタイムスタンプに基づいて、対象シグネチャを対象シグネチャの間に存在するオーディオシグネチャに割り当てるステップと、
をさらに含む、項目49-50のいずれかに記載の方法。
52.選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの部分を再生するステップは、
選択されたアイコンによって表される対象の識別子を読み出すステップと、
読み出された識別子と関連付けられるオーディオシグネチャの記憶されたタイムスタンプを読み出すステップと、
タイムスタンプにおいて開始されるオーディオの部分を再生するステップと、
を含む、項目49-51のいずれかに記載の方法。
53.複数の音の各音の対象の画像を捕捉するステップをさらに含み、各音の個別の対象を表すアイコンは、音の個別の対象の捕捉された画像を備える、項目49-52のいずれかに記載の方法。
54.オーディオシグネチャを識別するステップは、
第1のタイムスタンプにおいて開始されるオーディオのオーディオ特性を分析するステップと、
後続タイムスタンプにおいて開始されるオーディオのオーディオ特性が、第1のタイムスタンプにおいて開始されるオーディオのオーディオ特性と異なると決定するステップと、
第1のタイムスタンプと後続タイムスタンプとの間のオーディオの部分を第1のオーディオシグネチャとして識別するステップと、
を含む、項目49-53のいずれかに記載の方法。
55.第1のタイムスタンプと後続タイムスタンプとの間のコンテンツのビデオフレームを分析するステップと、
音の対象が、ビデオフレーム内に表示されているかどうかを決定するステップと、
第1のオーディオシグネチャを表示される対象に割り当てるステップと、
をさらに含む、項目54に記載の方法。
56.分析するステップに基づいて、表示される対象が、第1のオーディオシグネチャに対応するオーディオデータの対象であると決定するステップをさらに含む、項目55に記載の方法。
57.オーディオシグネチャ毎に、個別のオーディオシグネチャに対応する音が終了する第2のタイムスタンプを記憶するステップと、
入力コマンドを受信することに応答して、現在の再生タイムスタンプから閾値時間内の第2のタイムスタンプを有する複数のオーディオシグネチャを決定するステップと、
をさらに含む、項目49-56のいずれかに記載の方法。
58.各オーディオシグネチャのタイムスタンプおよび第2のタイムスタンプに基づいて、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複するかどうかを決定するステップと、
複数のオーディオシグネチャのいかなるオーディオシグネチャも、別のオーディオシグネチャと時間的に重複しないと決定することに応答して、直近のオーディオシグネチャに対応するコンテンツのオーディオデータの一部を再生するステップと、
をさらに含む、項目57に記載の方法。
59.複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答して、選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオデータを分離するステップをさらに含み、複数のアイコンを表示のために発生させるステップは、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答してのみ起こる、項目58に記載の方法。
60.音は、発話であり、
音の対象は、話者である、
項目49-59のいずれかに記載の方法。
61.コンテンツのオーディオの一部の対象を表示するための方法であって、
コンテンツの再生の間、第1の入力コマンドを受信するステップと、
コンテンツと関連付けられるメタデータから、オーディオシグネチャを識別するステップと、
メタデータから、各識別されたオーディオシグネチャと関連付けられる音の対象の識別子を読み出すステップと、
個別のオーディオシグネチャと関連付けられる音の各個別の読み出された対象を表すアイコンを表示のために発生させるステップと、
を含む、方法。
62.アイコンの選択を受信するステップと、
選択されたアイコンと関連付けられるオーディオシグネチャに対応するコンテンツの部分を再生するステップと、
をさらに含む、項目61に記載の方法。
63.選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの部分を再生するステップは、
メタデータから、オーディオシグネチャと関連付けられる開始タイムスタンプを読み出すステップと、
読み出された開始タイムスタンプにおいて開始されるオーディオの部分を再生するステップと、
を含む、項目62に記載の方法。
64.音の各識別された対象の捕捉された画像を読み出すステップをさらに含み、各音の個別の対象を表すアイコンは、音の個別の対象の捕捉された画像を備える、項目61に記載の方法。
65.オーディオシグネチャを識別するステップは、
コンテンツの現在の再生タイムスタンプを識別するステップと、
現在の再生タイムスタンプにおいてコンテンツ内に表示される音の対象を識別するステップと、
データベースから、現在の再生タイムスタンプの閾値時間量内であるタイムスタンプを有する音の対象の識別子を読み出すステップであって、データベースは、開始タイムスタンプおよび終了タイムスタンプを音の識別された対象からの音と関連付ける、ステップと、
オーディオシグネチャとして、開始タイムスタンプと終了タイムスタンプとの間のオーディオの部分を識別するステップと、
を含む、項目61に記載の方法。
66.コンテンツ内に表示される音の対象を識別するステップは、
現在の再生タイムスタンプにおけるオーディオのオーディオ特性を分析するステップと、
オーディオ特性に対応するパラメータのセットを音の識別された対象の対応するパラメータと比較するステップと、
比較するステップに基づいて、オーディオ特性が、音の識別された対象に合致するかどうかを決定するステップと、
オーディオ特性が、音の識別された対象に合致すると決定することに応答して、音の対象の識別子を読み出すステップと、
を含む、項目65に記載の方法。
67.コンテンツのビデオのフレーム内のエッジを検出するステップと、
個別の検出されたエッジに対応するパラメータのセットを音の識別された対象の対応するパラメータと比較するステップと、
比較するステップに基づいて、音の識別された対象が、コンテンツ内に表示されていると決定するステップと、
をさらに含む、項目66に記載の方法。
68.現在の再生タイムスタンプの閾値時間内の終了タイムスタンプを有する複数のオーディオシグネチャを識別するステップをさらに含み、開始タイムスタンプおよび終了タイムスタンプが、オーディオシグネチャ毎にメタデータ内に記憶される、項目61に記載の方法。
69.各オーディオシグネチャの開始タイムスタンプおよび終了タイムスタンプに基づいて、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複するかどうかを決定するステップと、
複数のオーディオシグネチャのいかなるオーディオシグネチャも、別のオーディオシグネチャと時間的に重複しないと決定することに応答して、直近のオーディオシグネチャに対応するコンテンツのオーディオデータの一部を再生するステップと、
をさらに含む、項目68に記載の方法。
70.複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答して、選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオデータを分離するステップをさらに含み、複数のアイコンを表示のために発生させるステップは、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答してのみ起こる、項目69に記載の方法。
71.音は、発話であり、
音の対象は、話者である、
項目61に記載の方法。
72.コンテンツのオーディオの一部の対象を表示するためのシステムであって、
メモリと、
制御回路であって、
コンテンツの再生の間、第1の入力コマンドを受信し、
メモリ内に記憶されたコンテンツと関連付けられるメタデータから、オーディオシグネチャを識別し、
メタデータから、各識別されたオーディオシグネチャと関連付けられる音の対象の識別子を読み出し、
個別のオーディオシグネチャと関連付けられる音の各個別の読み出された対象を表すアイコンを表示のために発生させる、
ように構成される、制御回路と、
を備える、システム。
73.制御回路はさらに、
アイコンの選択を受信し、
選択されたアイコンと関連付けられるオーディオシグネチャに対応するコンテンツの部分を再生する、
ように構成される、項目72に記載のシステム。
74.選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの部分を再生するように構成される制御回路はさらに、
メモリ内に記憶されたメタデータから、オーディオシグネチャと関連付けられる開始タイムスタンプを読み出し、
読み出された開始タイムスタンプにおいて開始されるオーディオの部分を再生する、
ように構成される、項目73に記載のシステム。
75.制御回路はさらに、音の各識別された対象の捕捉された画像を読み出すように構成され、
各音の個別の対象を表すアイコンは、音の個別の対象の捕捉された画像を備える、
項目72に記載のシステム。
76.オーディオシグネチャを識別するように構成される制御回路はさらに、
コンテンツの現在の再生タイムスタンプを識別し、
現在の再生タイムスタンプにおいてコンテンツ内に表示される音の対象を識別し、
データベースから、現在の再生タイムスタンプの閾値時間量内であるタイムスタンプを有する音の対象の識別子を読み出し、データベースは、開始タイムスタンプおよび終了タイムスタンプを音の識別された対象からの音と関連付け、
オーディオシグネチャとして、開始タイムスタンプと終了タイムスタンプとの間のオーディオの部分を識別する、
ように構成される、項目72に記載のシステム。
77.コンテンツ内に表示される音の対象を識別するように構成される制御回路はさらに、
現在の再生タイムスタンプにおけるオーディオのオーディオ特性を分析し、
オーディオ特性に対応するパラメータのセットを音の識別された対象の対応するパラメータと比較し、
比較するステップに基づいて、オーディオ特性が、音の識別された対象に合致するかどうかを決定し、
オーディオ特性が、音の識別された対象に合致すると決定することに応答して、音の対象の識別子を読み出す、
ように構成される、項目76に記載のシステム。
78.制御回路はさらに、
コンテンツのビデオのフレーム内のエッジを検出し、
個別の検出されたエッジに対応するパラメータのセットを音の識別された対象の対応するパラメータと比較し、
比較するステップに基づいて、音の識別された対象が、コンテンツ内に表示されていると決定する、
ように構成される、項目77に記載のシステム。
79.制御回路はさらに、現在の再生タイムスタンプの閾値時間内の終了タイムスタンプを有する複数のオーディオシグネチャを識別するように構成され、
開始タイムスタンプおよび終了タイムスタンプが、オーディオシグネチャ毎にメタデータ内に記憶される、
項目72に記載のシステム。
80.制御回路はさらに、
各オーディオシグネチャの開始タイムスタンプおよび終了タイムスタンプに基づいて、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複するかどうかを決定し、
複数のオーディオシグネチャのいかなるオーディオシグネチャも、別のオーディオシグネチャと時間的に重複しないと決定することに応答して、直近のオーディオシグネチャに対応するコンテンツのオーディオデータの一部を再生する、
ように構成される、項目79に記載のシステム。
81.制御回路はさらに、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答して、選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオデータを分離するように構成され、
複数のアイコンを表示のために発生させるステップは、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答してのみ起こる、
項目80に記載のシステム。
82.音は、発話であり、
音の対象は、話者である、
項目72に記載のシステム。
83.コンテンツのオーディオの一部の対象を表示するためのシステムであって、
コンテンツの再生の間、第1の入力コマンドを受信するための手段と、
コンテンツと関連付けられるメタデータから、オーディオシグネチャを識別するための手段と、
メタデータから、各識別されたオーディオシグネチャと関連付けられる音の対象の識別子を読み出すための手段と、
個別のオーディオシグネチャと関連付けられる音の各個別の読み出された対象を表すアイコンを表示のために発生させるための手段と、
を備える、システム。
84.アイコンの選択を受信するための手段と、
選択されたアイコンと関連付けられるオーディオシグネチャに対応するコンテンツの部分を再生するための手段と、
をさらに備える、項目83に記載のシステム。
85.選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの部分を再生するための手段は、
メタデータから、オーディオシグネチャと関連付けられる開始タイムスタンプを読み出すための手段と、
読み出された開始タイムスタンプにおいて開始されるオーディオの部分を再生するための手段と、
を備える、項目84に記載のシステム。
86.音の各識別された対象の捕捉された画像を読み出すための手段をさらに備え、各音の個別の対象を表すアイコンは、音の個別の対象の捕捉された画像を備える、項目83に記載のシステム。
87.オーディオシグネチャを識別するための手段は、
コンテンツの現在の再生タイムスタンプを識別するための手段と、
現在の再生タイムスタンプにおいてコンテンツ内に表示される音の対象を識別するための手段と、
データベースから、現在の再生タイムスタンプの閾値時間量内であるタイムスタンプを有する音の対象の識別子を読み出すための手段であって、データベースは、開始タイムスタンプおよび終了タイムスタンプを音の識別された対象からの音と関連付ける、手段と、
オーディオシグネチャとして、開始タイムスタンプと終了タイムスタンプとの間のオーディオの部分を識別するための手段と、
を備える、項目83に記載のシステム。
88.コンテンツ内に表示される音の対象を識別するための手段は、
現在の再生タイムスタンプにおけるオーディオのオーディオ特性を分析するための手段と、
オーディオ特性に対応するパラメータのセットを音の識別された対象の対応するパラメータと比較するための手段と、
比較するステップに基づいて、オーディオ特性が、音の識別された対象に合致するかどうかを決定するための手段と、
オーディオ特性が、音の識別された対象に合致すると決定することに応答して、音の対象の識別子を読み出すための手段と、
を備える、項目87に記載のシステム。
89.コンテンツのビデオのフレーム内のエッジを検出するための手段と、
個別の検出されたエッジに対応するパラメータのセットを音の識別された対象の対応するパラメータと比較するための手段と、
比較するステップに基づいて、音の識別された対象が、コンテンツ内に表示されていると決定するための手段と、
をさらに備える、項目88に記載のシステム。
90.現在の再生タイムスタンプの閾値時間内の終了タイムスタンプを有する複数のオーディオシグネチャを識別するための手段をさらに備え、開始タイムスタンプおよび終了タイムスタンプが、オーディオシグネチャ毎にメタデータ内に記憶される、項目83に記載のシステム。
91.各オーディオシグネチャの開始タイムスタンプおよび終了タイムスタンプに基づいて、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複するかどうかを決定するための手段と、
複数のオーディオシグネチャのいかなるオーディオシグネチャも、別のオーディオシグネチャと時間的に重複しないと決定することに応答して、直近のオーディオシグネチャに対応するコンテンツのオーディオデータの一部を再生するための手段と、
をさらに備える、項目90に記載のシステム。
92.複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答して、選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオデータを分離するための手段をさらに備え、複数のアイコンを表示のために発生させるステップは、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答してのみ起こる、項目91に記載のシステム。
93.音は、発話であり、
音の対象は、話者である、
項目83に記載のシステム。
94.非一過性コンピュータ可読媒体であって、制御回路によって実行されると、制御回路に、
コンテンツの再生の間、第1の入力コマンドを受信させ、
コンテンツと関連付けられるメタデータから、オーディオシグネチャを識別させ、
メタデータから、各識別されたオーディオシグネチャと関連付けられる音の対象の識別子を読み出させ、
個別のオーディオシグネチャと関連付けられる音の各個別の読み出された対象を表すアイコンを表示のために発生させる、
コンテンツのオーディオの一部の対象を表示するためのその上にエンコードされる命令を有する、非一過性コンピュータ可読媒体。
95.命令の実行はさらに、制御回路に、
アイコンの選択を受信させ、
選択されたアイコンと関連付けられるオーディオシグネチャに対応するコンテンツの部分を再生させる、
項目94に記載の非一過性コンピュータ可読媒体。
96.選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの部分を再生するための命令の実行はさらに、制御回路に、
メタデータから、オーディオシグネチャと関連付けられる開始タイムスタンプを読み出させ、
読み出された開始タイムスタンプにおいて開始されるオーディオの部分を再生させる、
項目95に記載の非一過性コンピュータ可読媒体。
97.命令の実行はさらに、制御回路に、音の各識別された対象の捕捉された画像を読み出させ、
各音の個別の対象を表すアイコンは、音の個別の対象の捕捉された画像を備える、
項目94に記載の非一過性コンピュータ可読媒体。
98.オーディオシグネチャを識別するための命令の実行はさらに、制御回路に、
コンテンツの現在の再生タイムスタンプを識別させ、
現在の再生タイムスタンプにおいてコンテンツ内に表示される音の対象を識別させ、
データベースから、現在の再生タイムスタンプの閾値時間量内であるタイムスタンプを有する音の対象の識別子を読み出させ、データベースは、開始タイムスタンプおよび終了タイムスタンプを音の識別された対象からの音と関連付け、
オーディオシグネチャとして、開始タイムスタンプと終了タイムスタンプとの間のオーディオの部分を識別させる、
項目94に記載の非一過性コンピュータ可読媒体。
99.コンテンツ内に表示される音の対象を識別するための命令の実行はさらに、制御回路に、
現在の再生タイムスタンプにおけるオーディオのオーディオ特性を分析させ、
オーディオ特性に対応するパラメータのセットを音の識別された対象の対応するパラメータと比較させ、
比較するステップに基づいて、オーディオ特性が、音の識別された対象に合致するかどうかを決定させ、
オーディオ特性が、音の識別された対象に合致すると決定することに応答して、音の対象の識別子を読み出させる、
項目98に記載の非一過性コンピュータ可読媒体。
100.命令の実行はさらに、制御回路に、
コンテンツのビデオのフレーム内のエッジを検出させ、
個別の検出されたエッジに対応するパラメータのセットを音の識別された対象の対応するパラメータと比較させ、
比較するステップに基づいて、音の識別された対象が、コンテンツ内に表示されていると決定させる、
項目99に記載の非一過性コンピュータ可読媒体。
101.命令の実行はさらに、制御回路に、現在の再生タイムスタンプの閾値時間内の終了タイムスタンプを有する複数のオーディオシグネチャを識別させ、
開始タイムスタンプおよび終了タイムスタンプが、オーディオシグネチャ毎にメタデータ内に記憶される、
項目94に記載の非一過性コンピュータ可読媒体。
102.命令の実行はさらに、制御回路に、
各オーディオシグネチャの開始タイムスタンプおよび終了タイムスタンプに基づいて、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複するかどうかを決定させ、
複数のオーディオシグネチャのいかなるオーディオシグネチャも、別のオーディオシグネチャと時間的に重複しないと決定することに応答して、直近のオーディオシグネチャに対応するコンテンツのオーディオデータの一部を再生させる、
項目101に記載の非一過性コンピュータ可読媒体。
103.命令の実行はさらに、制御回路に、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答して、選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオデータを分離させ、
複数のアイコンを表示のために発生させるステップは、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答してのみ起こる、
項目102に記載の非一過性コンピュータ可読媒体。
104.音は、発話であり、
音の対象は、話者である、
項目94に記載の非一過性コンピュータ可読媒体。
105.コンテンツのオーディオの一部の対象を表示するための方法であって、
コンテンツを再生するステップと、
コンテンツの再生の間、第1の入力コマンドを受信するステップと、
コンテンツと関連付けられるメタデータから、オーディオシグネチャを識別するステップと、
メタデータから、各識別されたオーディオシグネチャと関連付けられる音の対象の識別子を読み出すステップと、
個別のオーディオシグネチャと関連付けられる音の各個別の読み出された対象を表すアイコンを表示のために発生させるステップと、
を含む、方法。
106.アイコンの選択を受信するステップと、
選択されたアイコンと関連付けられるオーディオシグネチャに対応するコンテンツの部分を再生するステップと、
をさらに含む、項目105に記載の方法。
107.選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオの部分を再生するステップは、
メタデータから、オーディオシグネチャと関連付けられる開始タイムスタンプを読み出すステップと、
読み出された開始タイムスタンプにおいて開始されるオーディオの部分を再生するステップと、
を含む、項目106に記載の方法。
108.音の各識別された対象の捕捉された画像を読み出すステップをさらに含み、各音の個別の対象を表すアイコンは、音の個別の対象の捕捉された画像を備える、項目105-107のいずれかに記載の方法。
109.オーディオシグネチャを識別するステップは、
コンテンツの現在の再生タイムスタンプを識別するステップと、
現在の再生タイムスタンプにおいてコンテンツ内に表示される音の対象を識別するステップと、
データベースから、現在の再生タイムスタンプの閾値時間量内であるタイムスタンプを有する音の対象の識別子を読み出すステップであって、データベースは、開始タイムスタンプおよび終了タイムスタンプを音の識別された対象からの音と関連付ける、ステップと、
オーディオシグネチャとして、開始タイムスタンプと終了タイムスタンプとの間のオーディオの部分を識別するステップと、
を含む、項目105-108のいずれかに記載の方法。
110.コンテンツ内に表示される音の対象を識別するステップは、
現在の再生タイムスタンプにおけるオーディオのオーディオ特性を分析するステップと、
オーディオ特性に対応するパラメータのセットを音の識別された対象の対応するパラメータと比較するステップと、
比較するステップに基づいて、オーディオ特性が、音の識別された対象に合致するかどうかを決定するステップと、
オーディオ特性が、音の識別された対象に合致すると決定することに応答して、音の対象の識別子を読み出すステップと、
を含む、項目109に記載の方法。
111.コンテンツのビデオのフレーム内のエッジを検出するステップと、
個別の検出されたエッジに対応するパラメータのセットを音の識別された対象の対応するパラメータと比較するステップと、
比較するステップに基づいて、音の識別された対象が、コンテンツ内に表示されていると決定するステップと、
をさらに含む、項目110に記載の方法。
112.現在の再生タイムスタンプの閾値時間内の終了タイムスタンプを有する複数のオーディオシグネチャを識別するステップをさらに含み、開始タイムスタンプおよび終了タイムスタンプが、オーディオシグネチャ毎にメタデータ内に記憶される、項目105-111のいずれかに記載の方法。
113.各オーディオシグネチャの開始タイムスタンプおよび終了タイムスタンプに基づいて、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複するかどうかを決定するステップと、
複数のオーディオシグネチャのいかなるオーディオシグネチャも、別のオーディオシグネチャと時間的に重複しないと決定することに応答して、直近のオーディオシグネチャに対応するコンテンツのオーディオデータの一部を再生するステップと、
をさらに含む、項目112に記載の方法。
114.複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答して、選択されたアイコンと関連付けられるオーディオシグネチャに対応するオーディオデータを分離するステップをさらに含み、複数のアイコンを表示のために発生させるステップは、複数のオーディオシグネチャのあるオーディオシグネチャが、別のオーディオシグネチャと時間的に重複すると決定することに応答してのみ起こる、項目113に記載の方法。
115.音は、発話であり、
音の対象は、話者である、
項目105-114のいずれかに記載の方法。
116.コンテンツのビデオの一部の対象を表示するための方法であって、
コンテンツの再生の間、コンテンツのビデオ内の複数の運動の各運動に対応するアクションシグネチャを識別するステップと、
アクションシグネチャ毎に、個別のアクションシグネチャに対応する個別の運動が開始される開始タイムスタンプ、個別のアクションシグネチャに対応する個別の運動が終了する終了タイムスタンプ、およびアクションシグネチャの識別子を記憶するステップと、
入力コマンドを受信するステップと、
各アクションシグネチャを表すアイコンを表示のために発生させるステップと、
を含む、方法。
117.アイコンの選択を備える第2の入力コマンドを受信するステップと、
選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するステップと、
をさらに含む、項目116に記載の方法。
118.コンテンツの再生の間、コンテンツのビデオ内の複数の対象のそれぞれに対応する対象シグネチャを識別するステップと、
対象シグネチャ毎に、個別の対象シグネチャが開始される第2のタイムスタンプおよび個別の対象シグネチャの識別子を記憶するステップと、
タイムスタンプおよび第2のタイムスタンプに基づいて、対象シグネチャを対象シグネチャの間に存在するアクションシグネチャに割り当てるステップと、
をさらに含む、項目116に記載の方法。
119.選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するステップは、
選択されたアイコンによって表される対象の識別子を読み出すステップと、
読み出された識別子と関連付けられるアクションシグネチャの記憶されたタイムスタンプを読み出すステップと、
タイムスタンプにおいて開始されるコンテンツの部分を再生するステップと、
を含む、項目117に記載の方法。
120.運動の各識別された対象の対象の画像を捕捉するステップをさらに含み、各運動の個別の対象を表すアイコンは、運動の対象の捕捉された画像を備える、項目116に記載の方法。
121.アクションシグネチャを識別するステップは、
コンテンツの再生の間、コンテンツのビデオ内に表示される運動の対象を識別するステップと、
第1のタイムスタンプにおいて、運動の個別の対象の閾値レベルの運動を検出するステップと、
後続タイムスタンプにおいて、運動の個別の対象の運動が、閾値レベルを下回ることを検出するステップと、
第1のタイムスタンプと後続タイムスタンプとの間のコンテンツの部分を第1のアクションシグネチャとして識別するステップと、
を含み、
記憶されたタイムスタンプは、第1のタイムスタンプに対応し、記憶された終了タイムスタンプは、後続タイムスタンプに対応する、
項目116に記載の方法。
122.コンテンツのビデオ内に表示される運動の対象を識別するステップは、
コンテンツのビデオのフレーム内の顔を検出するステップと、
識別子を各検出された顔に割り当てるステップと、
検出された顔毎に、個別の検出された顔に対応するパラメータのセットを記憶するステップと、
を含み、
運動の個別の対象の記憶された識別子は、運動の個別の対象と関連付けられる個別の検出された顔の割り当てられた識別子である、
項目121に記載の方法。
123.運動の個別の対象の閾値レベルの運動を検出するステップは、
コンテンツのビデオの複数の連続的フレームを分析するステップと、
分析するステップに基づいて、運動の個別の対象が、閾値フレーム数未満において閾値距離を上回って移動したと決定するステップと、
を含む、項目122に記載の方法。
124.コンテンツとともに配布するためにメタデータファイル内にアクションシグネチャを記憶するステップをさらに含む、項目116に記載の方法。
125.第2の入力コマンドは、アイコンの1つを上回る選択を備え、本方法はさらに、
選択されたアイコンによって表される運動の対象に割り当てられた複数のアクションシグネチャを読み出すステップと、
アイコンの選択数だけ現在の再生タイムスタンプに先行する複数のアクションシグネチャのあるアクションシグネチャを識別するステップと、
を含み、
記憶されたタイムスタンプは、識別されたアクションシグネチャから読み出される、
項目117に記載の方法。
126.開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量を下回るかどうかを決定するステップをさらに含み、開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量を下回ると決定することに応答して、コンテンツの再生は、スローモーションにおいて実施される、項目116に記載の方法。
127.開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量と最大閾値時間量との間であるかどうかを決定するステップをさらに含み、開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量と最大閾値時間量との間であると決定することに応答して、コンテンツの再生は、ループされる、項目116に記載の方法。
128.コンテンツのビデオの一部の対象を表示するためのシステムであって、
メモリと、
制御回路であって、
コンテンツの再生の間、コンテンツのビデオ内の複数の運動の各運動に対応するアクションシグネチャを識別し、
アクションシグネチャ毎に、個別のアクションシグネチャに対応する個別の運動が開始される開始タイムスタンプ、個別のアクションシグネチャに対応する個別の運動が終了する終了タイムスタンプ、およびアクションシグネチャの識別子をメモリ内に記憶し、
入力コマンドを受信し、
アクションシグネチャを表すアイコンを表示のために発生させる、
ように構成される、制御回路と、
を備える、システム。
129.制御回路はさらに、
アイコンの選択を備える第2の入力コマンドを受信し、
選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生する、
ように構成される、項目128に記載のシステム。
130.制御回路はさらに、
コンテンツの再生の間、コンテンツのビデオ内の複数の対象のそれぞれに対応する対象シグネチャを識別し、
対象シグネチャ毎に、個別の対象シグネチャが開始される第2のタイムスタンプおよび個別の対象シグネチャの識別子を記憶し、
タイムスタンプおよび第2のタイムスタンプに基づいて、対象シグネチャを対象シグネチャの間に存在するアクションシグネチャに割り当てる、
ように構成される、項目128に記載のシステム。
131.選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するように構成される制御回路はさらに、
選択されたアイコンによって表される対象の識別子を読み出し、
読み出された識別子と関連付けられるアクションシグネチャの記憶されたタイムスタンプを読み出し、
タイムスタンプにおいて開始されるコンテンツの部分を再生する、
ように構成される、項目129に記載のシステム。
132.制御回路はさらに、運動の各識別された対象の対象の画像を捕捉するように構成され、
各運動の個別の対象を表すアイコンは、運動の対象の捕捉された画像を備える、
項目128に記載のシステム。
133.アクションシグネチャを識別するように構成される制御回路はさらに、
コンテンツの再生の間、コンテンツのビデオ内に表示される運動の対象を識別し、
第1のタイムスタンプにおいて、運動の個別の対象の閾値レベルの運動を検出し、
後続タイムスタンプにおいて、運動の個別の対象の運動が、閾値レベルを下回ることを検出し、
第1のタイムスタンプと後続タイムスタンプとの間のコンテンツの部分を第1のアクションシグネチャとして識別する、
ように構成され、
記憶されたタイムスタンプは、第1のタイムスタンプに対応し、記憶された終了タイムスタンプは、後続タイムスタンプに対応する、
項目128に記載のシステム。
134.コンテンツのビデオ内に表示される運動の対象を識別するように構成される制御回路はさらに、
コンテンツのビデオのフレーム内の顔を検出し、
識別子を各検出された顔に割り当て、
検出された顔毎に、個別の検出された顔に対応するパラメータのセットを記憶する、
ように構成され、
運動の個別の対象の記憶された識別子は、運動の個別の対象と関連付けられる個別の検出された顔の割り当てられた識別子である、
項目133に記載のシステム。
135.運動の個別の対象の閾値レベルの運動を検出するように構成される制御回路はさらに、
コンテンツのビデオの複数の連続的フレームを分析し、
分析するステップに基づいて、運動の個別の対象が、閾値フレーム数未満において閾値距離を上回って移動したと決定する、
ように構成される、項目134に記載のシステム。
136.制御回路はさらに、コンテンツとともに配布するためにメタデータファイル内にアクションシグネチャを記憶するように構成される、項目128に記載のシステム。
137.第2の入力コマンドは、アイコンの1つを上回る選択を備え、制御回路はさらに、
選択されたアイコンによって表される運動の対象に割り当てられた複数のアクションシグネチャを読み出し、
アイコンの選択数だけ現在の再生タイムスタンプに先行する複数のアクションシグネチャのあるアクションシグネチャを識別する、
ように構成され、
記憶されたタイムスタンプは、識別されたアクションシグネチャから読み出される、
項目129に記載のシステム。
138.制御回路はさらに、開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量を下回るかどうかを決定するように構成され、
開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量を下回ると決定することに応答して、コンテンツの再生は、スローモーションにおいて実施される、
項目128に記載のシステム。
139.制御回路はさらに、開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量と最大閾値時間量との間であるかどうかを決定するように構成され、
開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量と最大閾値時間量との間であると決定することに応答して、コンテンツの再生は、ループされる、
項目128に記載のシステム。
140.コンテンツのビデオの一部の対象を表示するためのシステムであって、
コンテンツの再生の間、コンテンツのビデオ内の複数の運動の各運動に対応するアクションシグネチャを識別するための手段と、
アクションシグネチャ毎に、個別のアクションシグネチャに対応する個別の運動が開始される開始タイムスタンプ、個別のアクションシグネチャに対応する個別の運動が終了する終了タイムスタンプ、およびアクションシグネチャの識別子を記憶するための手段と、
入力コマンドを受信するための手段と、
各アクションシグネチャを表すアイコンを表示のために発生させるための手段と、
を備える、システム。
141.アイコンの選択を備える第2の入力コマンドを受信するための手段と、
選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するための手段と、
をさらに備える、項目140に記載のシステム。
142.コンテンツの再生の間、コンテンツのビデオ内の複数の対象のそれぞれに対応する対象シグネチャを識別するための手段と、
対象シグネチャ毎に、個別の対象シグネチャが開始される第2のタイムスタンプおよび個別の対象シグネチャの識別子を記憶するための手段と、
タイムスタンプおよび第2のタイムスタンプに基づいて、対象シグネチャを対象シグネチャの間に存在するアクションシグネチャに割り当てるための手段と、
をさらに備える、項目140に記載のシステム。
143.選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するための手段は、
選択されたアイコンによって表される対象の識別子を読み出すための手段と、
読み出された識別子と関連付けられるアクションシグネチャの記憶されたタイムスタンプを読み出すための手段と、
タイムスタンプにおいて開始されるコンテンツの部分を再生するための手段と、
を備える、項目141に記載のシステム。
144.運動の各識別された対象の対象の画像を捕捉するための手段をさらに備え、各運動の個別の対象を表すアイコンは、運動の対象の捕捉された画像を備える、項目140に記載のシステム。
145.アクションシグネチャを識別するための手段は、
コンテンツの再生の間、コンテンツのビデオ内に表示される運動の対象を識別するための手段と、
第1のタイムスタンプにおいて、運動の個別の対象の閾値レベルの運動を検出するための手段と、
後続タイムスタンプにおいて、運動の個別の対象の運動が、閾値レベルを下回ることを検出するための手段と、
第1のタイムスタンプと後続タイムスタンプとの間のコンテンツの部分を第1のアクションシグネチャとして識別するための手段と、
を備え、
記憶されたタイムスタンプは、第1のタイムスタンプに対応し、記憶された終了タイムスタンプは、後続タイムスタンプに対応する、
項目140に記載のシステム。
146.コンテンツのビデオ内に表示される運動の対象を識別するための手段は、
コンテンツのビデオのフレーム内の顔を検出するための手段と、
識別子を各検出された顔に割り当てるための手段と、
検出された顔毎に、個別の検出された顔に対応するパラメータのセットを記憶するための手段と、
を備え、
運動の個別の対象の記憶された識別子は、運動の個別の対象と関連付けられる個別の検出された顔の割り当てられた識別子である、
項目145に記載のシステム。
147.運動の個別の対象の閾値レベルの運動を検出するための手段は、
コンテンツのビデオの複数の連続的フレームを分析するための手段と、
分析するステップに基づいて、運動の個別の対象が、閾値フレーム数未満において閾値距離を上回って移動したと決定するための手段と、
を備える、項目146に記載のシステム。
148.コンテンツとともに配布するためにメタデータファイル内にアクションシグネチャを記憶するための手段をさらに備える、項目140に記載のシステム。
149.第2の入力コマンドは、アイコンの1つを上回る選択を備え、本方法はさらに、
選択されたアイコンによって表される運動の対象に割り当てられた複数のアクションシグネチャを読み出すための手段と、
アイコンの選択数だけ現在の再生タイムスタンプに先行する複数のアクションシグネチャのあるアクションシグネチャを識別するための手段と、
を備え、
記憶されたタイムスタンプは、識別されたアクションシグネチャから読み出される、
項目141に記載のシステム。
150.開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量を下回るかどうかを決定するための手段をさらに備え、開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量を下回ると決定することに応答して、コンテンツの再生は、スローモーションにおいて実施される、項目141に記載のシステム。
151.開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量と最大閾値時間量との間であるかどうかを決定するための手段をさらに備え、開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量と最大閾値時間量との間であると決定することに応答して、コンテンツの再生は、ループされる、項目140に記載のシステム。
152.非一過性コンピュータ可読媒体であって、制御回路によって実行されると、制御回路に、
コンテンツの再生の間、コンテンツのビデオ内の複数の運動の各運動に対応するアクションシグネチャを識別させ、
アクションシグネチャ毎に、個別のアクションシグネチャに対応する個別の運動が開始される開始タイムスタンプ、個別のアクションシグネチャに対応する個別の運動が終了する終了タイムスタンプ、およびアクションシグネチャの識別子を記憶させ、
入力コマンドを受信させ、
各アクションシグネチャを表すアイコンを表示のために発生させる、
コンテンツのビデオの一部の対象を表示するためのその上にエンコードされる命令を有する、非一過性コンピュータ可読媒体。
153.命令の実行はさらに、制御回路に、
アイコンの選択を備える第2の入力コマンドを受信させ、
選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生させる、
項目152に記載の非一過性コンピュータ可読媒体。
154.命令の実行はさらに、制御回路に、
コンテンツの再生の間、コンテンツのビデオ内の複数の対象のそれぞれに対応する対象シグネチャを識別させ、
対象シグネチャ毎に、個別の対象シグネチャが開始される第2のタイムスタンプおよび個別の対象シグネチャの識別子を記憶させ、
タイムスタンプおよび第2のタイムスタンプに基づいて、対象シグネチャを対象シグネチャの間に存在するアクションシグネチャに割り当てさせる、
項目152に記載の非一過性コンピュータ可読媒体。
155.選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するための命令の実行はさらに、制御回路に、
選択されたアイコンによって表される対象の識別子を読み出させ、
読み出された識別子と関連付けられるアクションシグネチャの記憶されたタイムスタンプを読み出させ、
タイムスタンプにおいて開始されるコンテンツの部分を再生させる、
項目153に記載の非一過性コンピュータ可読媒体。
156.命令の実行はさらに、制御回路に、運動の各識別された対象の対象の画像を捕捉させ、
各運動の個別の対象を表すアイコンは、運動の対象の捕捉された画像を備える、
項目152に記載の非一過性コンピュータ可読媒体。
157.アクションシグネチャを識別するための命令の実行はさらに、制御回路に、
コンテンツの再生の間、コンテンツのビデオ内に表示される運動の対象を識別させ、
第1のタイムスタンプにおいて、運動の個別の対象の閾値レベルの運動を検出させ、
後続タイムスタンプにおいて、運動の個別の対象の運動が、閾値レベルを下回ることを検出させ、
第1のタイムスタンプと後続タイムスタンプとの間のコンテンツの部分を第1のアクションシグネチャとして識別させ、
記憶されたタイムスタンプは、第1のタイムスタンプに対応し、記憶された終了タイムスタンプは、後続タイムスタンプに対応する、
項目152に記載の非一過性コンピュータ可読媒体。
158.コンテンツのビデオ内に表示される運動の対象を識別するための命令の実行はさらに、制御回路に、
コンテンツのビデオのフレーム内の顔を検出させ、
識別子を各検出された顔に割り当てさせ、
検出された顔毎に、個別の検出された顔に対応するパラメータのセットを記憶させ、
運動の個別の対象の記憶された識別子は、運動の個別の対象と関連付けられる個別の検出された顔の割り当てられた識別子である、
項目157に記載の非一過性コンピュータ可読媒体。
159.運動の個別の対象の閾値レベルの運動を検出するための命令の実行はさらに、制御回路に、
コンテンツのビデオの複数の連続的フレームを分析させ、
分析するステップに基づいて、運動の個別の対象が、閾値フレーム数未満において閾値距離を上回って移動したと決定させる、
項目158に記載の非一過性コンピュータ可読媒体。
160.命令の実行はさらに、制御回路に、コンテンツとともに配布するためにメタデータファイル内にアクションシグネチャを記憶させる、項目152に記載の非一過性コンピュータ可読媒体。
161.第2の入力コマンドは、アイコンの1つを上回る選択を備え、命令の実行はさらに、制御回路に、
選択されたアイコンによって表される運動の対象に割り当てられた複数のアクションシグネチャを読み出させ、
アイコンの選択数だけ現在の再生タイムスタンプに先行する複数のアクションシグネチャのあるアクションシグネチャを識別させ、
記憶されたタイムスタンプは、識別されたアクションシグネチャから読み出される、
項目153に記載の非一過性コンピュータ可読媒体。
162.命令の実行はさらに、制御回路に、開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量を下回るかどうかを決定させ、
開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量を下回ると決定することに応答して、コンテンツの再生は、スローモーションにおいて実施される、
項目153に記載の非一過性コンピュータ可読媒体。
163.命令の実行はさらに、制御回路に、開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量と最大閾値時間量との間であるかどうかを決定させ、
開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量と最大閾値時間量との間であると決定することに応答して、コンテンツの再生は、ループされる、
項目152に記載の非一過性コンピュータ可読媒体。
164.コンテンツのビデオの一部の対象を表示するための方法であって、
コンテンツを再生するステップと、
コンテンツの再生の間、コンテンツのビデオ内の複数の運動の各運動に対応するアクションシグネチャを識別するステップと、
アクションシグネチャ毎に、個別のアクションシグネチャに対応する個別の運動が開始される開始タイムスタンプ、個別のアクションシグネチャに対応する個別の運動が終了する終了タイムスタンプ、およびアクションシグネチャの識別子を記憶するステップと、
入力コマンドを受信するステップと、
各アクションシグネチャを表すアイコンを表示のために発生させるステップと、
を含む、方法。
165.アイコンの選択を備える第2の入力コマンドを受信するステップと、
選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するステップと、
をさらに含む、項目164に記載の方法。
166.コンテンツの再生の間、コンテンツのビデオ内の複数の対象のそれぞれに対応する対象シグネチャを識別するステップと、
対象シグネチャ毎に、個別の対象シグネチャが開始される第2のタイムスタンプおよび個別の対象シグネチャの識別子を記憶するステップと、
タイムスタンプおよび第2のタイムスタンプに基づいて、対象シグネチャを対象シグネチャの間に存在するアクションシグネチャに割り当てるステップと、
をさらに含む、項目164-164のいずれかに記載の方法。
167.選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するステップは、
選択されたアイコンによって表される対象の識別子を読み出すステップと、
読み出された識別子と関連付けられるアクションシグネチャの記憶されたタイムスタンプを読み出すステップと、
タイムスタンプにおいて開始されるコンテンツの部分を再生するステップと、
を含む、項目165に記載の方法。
168.運動の各識別された対象の対象の画像を捕捉するステップをさらに含み、各運動の個別の対象を表すアイコンは、運動の対象の捕捉された画像を備える、項目164-167のいずれかに記載の方法。
169.アクションシグネチャを識別するステップは、
コンテンツの再生の間、コンテンツのビデオ内に表示される運動の対象を識別するステップと、
第1のタイムスタンプにおいて、運動の個別の対象の閾値レベルの運動を検出するステップと、
後続タイムスタンプにおいて、運動の個別の対象の運動が、閾値レベルを下回ることを検出するステップと、
第1のタイムスタンプと後続タイムスタンプとの間のコンテンツの部分を第1のアクションシグネチャとして識別するステップと、
を含み、
記憶されたタイムスタンプは、第1のタイムスタンプに対応し、記憶された終了タイムスタンプは、後続タイムスタンプに対応する、
項目164-168のいずれかに記載の方法。
170.コンテンツのビデオ内に表示される運動の対象を識別するステップは、
コンテンツのビデオのフレーム内の顔を検出するステップと、
識別子を各検出された顔に割り当てるステップと、
検出された顔毎に、個別の検出された顔に対応するパラメータのセットを記憶するステップと、
を含み、
運動の個別の対象の記憶された識別子は、運動の個別の対象と関連付けられる個別の検出された顔の割り当てられた識別子である、
項目169に記載の方法。
171.運動の個別の対象の閾値レベルの運動を検出するステップは、
コンテンツのビデオの複数の連続的フレームを分析するステップと、
分析するステップに基づいて、運動の個別の対象が、閾値フレーム数未満において閾値距離を上回って移動したと決定するステップと、
を含む、項目170に記載の方法。
172.コンテンツとともに配布するためにメタデータファイル内にアクションシグネチャを記憶するステップをさらに含む、項目164-171のいずれかに記載の方法。
173.第2の入力コマンドは、アイコンの1つを上回る選択を備え、本方法はさらに、
選択されたアイコンによって表される運動の対象に割り当てられた複数のアクションシグネチャを読み出すステップと、
アイコンの選択数だけ現在の再生タイムスタンプに先行する複数のアクションシグネチャのあるアクションシグネチャを識別するステップと、
を含み、
記憶されたタイムスタンプは、識別されたアクションシグネチャから読み出される、
項目165に記載の方法。
174.開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量を下回るかどうかを決定するステップをさらに含み、開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量を下回ると決定することに応答して、コンテンツの再生は、スローモーションにおいて実施される、項目164-173のいずれかに記載の方法。
175.開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量と最大閾値時間量との間であるかどうかを決定するステップをさらに含み、開始タイムスタンプと終了タイムスタンプとの間の時間が、最小閾値時間量と最大閾値時間量との間であると決定することに応答して、コンテンツの再生は、ループされる、項目164-174のいずれかに記載の方法。
176.コンテンツのビデオの一部の対象を表示するための方法であって、
コンテンツの再生の間、第1の入力コマンドを受信するステップと、
コンテンツと関連付けられるメタデータから、アクションシグネチャを識別するステップと、
メタデータから、各識別されたアクションシグネチャと関連付けられる運動の対象の識別子を読み出すステップと、
個別のアクションシグネチャと関連付けられる運動の各個別の読み出された対象を表すアイコンを表示のために発生させるステップと、
を含む、方法。
177.アイコンの選択を備える第2の入力コマンドを受信するステップと、
第2の入力コマンドを受信することに応答して、選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するステップと、
をさらに含む、項目176に記載の方法。
178.選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するステップは、
メタデータから、アクションシグネチャと関連付けられる開始タイムスタンプを読み出すステップと、
読み出された開始タイムスタンプにおいて開始されるコンテンツの部分を再生するステップと、
を含む、項目177に記載の方法。
179.運動の各識別された対象の捕捉された画像を読み出すステップをさらに含み、運動の個別の対象を表すアイコンは、読み出された捕捉された画像を備える、項目176に記載の方法。
180.アクションシグネチャを識別するステップは、
コンテンツの現在の再生タイムスタンプを識別するステップと、
現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別するステップと、
データベースから、現在の再生タイムスタンプの閾値時間量内であるタイムスタンプを有する運動の対象の識別子を読み出すステップであって、データベースは、開始タイムスタンプおよび終了タイムスタンプを運動の識別された対象の運動と関連付ける、ステップと、
アクションシグネチャとして、開始タイムスタンプと終了タイムスタンプとの間のコンテンツの部分を識別するステップと、
を含む、項目176に記載の方法。
181.現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別するステップは、
コンテンツのビデオのフレーム内の顔を検出するステップと、
個別の検出された顔に対応するパラメータのセットを運動の識別された対象の対応するパラメータと比較するステップと、
比較するステップに基づいて、個別の検出された顔が、運動の識別された対象であるかどうかを決定するステップと、
個別の検出された顔が、運動の識別された対象であると決定することに応答して、運動の対象の識別子を読み出すステップと、
を含む、項目180に記載の方法。
182.現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別するステップは、
コンテンツのビデオのフレーム内のエッジを検出するステップと、
個別の検出されたエッジに対応するパラメータのセットを運動の識別された対象の対応するパラメータと比較するステップと、
比較するステップに基づいて、個別の検出されたエッジが、運動の識別された対象であるかどうかを決定するステップと、
個別の検出されたエッジが、運動の識別された対象であると決定することに応答して、運動の対象の識別子を読み出すステップと、
を含む、項目181に記載の方法。
183.メタデータは、コンテンツとともに受信される、項目176に記載の方法。
184.第2の入力コマンドは、アイコンの1つを上回る選択を備え、本方法はさらに、
選択されたアイコンによって表される運動の対象に割り当てられた複数のアクションシグネチャを読み出すステップと、
アイコンの選択数だけ現在の再生タイムスタンプに先行する複数のアクションシグネチャのあるアクションシグネチャを識別するステップと、
を含み、
記憶されたタイムスタンプは、識別されたアクションシグネチャから読み出される、
項目176に記載の方法。
185.アクションシグネチャと関連付けられる運動の時間的長さが、最小閾値時間量を下回るかどうかを決定するステップをさらに含み、運動の時間的長さが、最小閾値時間量を下回ると決定することに応答して、コンテンツの再生は、スローモーションにおいて実施される、項目176に記載の方法。
186.アクションシグネチャと関連付けられる運動の時間的長さが、最小閾値時間量と最大閾値時間量との間であるかどうかを決定するステップをさらに含み、運動の時間的長さが、最小閾値時間量と最大閾値時間量との間であると決定することに応答して、コンテンツの再生は、ループされる、項目176に記載の方法。
187.コンテンツのビデオの一部の対象を表示するためのシステムであって、
メモリと、
制御回路であって、
コンテンツの再生の間、第1の入力コマンドを受信し、
コンテンツと関連付けられるメタデータから、アクションシグネチャを識別し、
メタデータから、各識別されたアクションシグネチャと関連付けられる運動の対象の識別子を読み出し、
個別のアクションシグネチャと関連付けられる運動の各個別の読み出された対象を表すアイコンを表示のために発生させる、
ように構成される、制御回路と、
を備える、システム。
188.制御回路はさらに、
アイコンの選択を備える第2の入力コマンドを受信し、
第2の入力コマンドを受信することに応答して、選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生する、
ように構成される、項目187に記載のシステム。
189.選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するように構成される制御回路はさらに、
メタデータから、アクションシグネチャと関連付けられる開始タイムスタンプを読み出し、
読み出された開始タイムスタンプにおいて開始されるコンテンツの部分を再生する、
ように構成される、項目188に記載のシステム。
190.制御回路はさらに、運動の各識別された対象の捕捉された画像を読み出すように構成され、
運動の個別の対象を表すアイコンは、読み出された捕捉された画像を備える、
項目187に記載のシステム。
191.アクションシグネチャを識別するように構成される制御回路はさらに、
コンテンツの現在の再生タイムスタンプを識別し、
現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別し、
データベースから、現在の再生タイムスタンプの閾値時間量内であるタイムスタンプを有する運動の対象の識別子を読み出し、データベースは、開始タイムスタンプおよび終了タイムスタンプを運動の識別された対象の運動と関連付け、
アクションシグネチャとして、開始タイムスタンプと終了タイムスタンプとの間のコンテンツの部分を識別する、
ように構成される、項目187に記載のシステム。
192.現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別するように構成される制御回路はさらに、
コンテンツのビデオのフレーム内の顔を検出し、
個別の検出された顔に対応するパラメータのセットを運動の識別された対象の対応するパラメータと比較し、
比較するステップに基づいて、個別の検出された顔が、運動の識別された対象であるかどうかを決定し、
個別の検出された顔が、運動の識別された対象であると決定することに応答して、運動の対象の識別子を読み出す、
ように構成される、項目191に記載のシステム。
193.現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別するように構成される制御回路はさらに、
コンテンツのビデオのフレーム内のエッジを検出し、
個別の検出されたエッジに対応するパラメータのセットを運動の識別された対象の対応するパラメータと比較し、
比較するステップに基づいて、個別の検出されたエッジが、運動の識別された対象であるかどうかを決定し、
個別の検出されたエッジが、運動の識別された対象であると決定することに応答して、運動の対象の識別子を読み出す、
ように構成される、項目192に記載のシステム。
194.メタデータは、コンテンツとともに受信される、項目187に記載のシステム。
195.第2の入力コマンドは、アイコンの1つを上回る選択を備え、制御回路はさらに、
選択されたアイコンによって表される運動の対象に割り当てられた複数のアクションシグネチャを読み出し、
アイコンの選択数だけ現在の再生タイムスタンプに先行する複数のアクションシグネチャのあるアクションシグネチャを識別する、
ように構成され、
記憶されたタイムスタンプは、識別されたアクションシグネチャから読み出される、
項目187に記載のシステム。
196.制御回路はさらに、アクションシグネチャと関連付けられる運動の時間的長さが、最小閾値時間量を下回るかどうかを決定するように構成され、
運動の時間的長さが、最小閾値時間量を下回ると決定することに応答して、コンテンツの再生は、スローモーションにおいて実施される、
項目187に記載のシステム。
197.制御回路はさらに、アクションシグネチャと関連付けられる運動の時間的長さが、最小閾値時間量と最大閾値時間量との間であるかどうかを決定するように構成され、
運動の時間的長さが、最小閾値時間量と最大閾値時間量との間であると決定することに応答して、コンテンツの再生は、ループされる、
項目187に記載のシステム。
198.コンテンツのビデオの一部の対象を表示するためのシステムであって、
コンテンツの再生の間、第1の入力コマンドを受信するための手段と、
コンテンツと関連付けられるメタデータから、アクションシグネチャを識別するための手段と、
メタデータから、各識別されたアクションシグネチャと関連付けられる運動の対象の識別子を読み出すための手段と、
個別のアクションシグネチャと関連付けられる運動の各個別の読み出された対象を表すアイコンを表示のために発生させるための手段と、
を備える、システム。
199.アイコンの選択を備える第2の入力コマンドを受信するための手段と、
第2の入力コマンドを受信することに応答して、選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するための手段と、
をさらに備える、項目198に記載のシステム。
200.選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するための手段は、
メタデータから、アクションシグネチャと関連付けられる開始タイムスタンプを読み出すための手段と、
読み出された開始タイムスタンプにおいて開始されるコンテンツの部分を再生するための手段と、
を備える、項目199に記載のシステム。
201.運動の各識別された対象の捕捉された画像を読み出すための手段をさらに備え、運動の個別の対象を表すアイコンは、読み出された捕捉された画像を備える、項目198に記載のシステム。
202.アクションシグネチャを識別するための手段は、
コンテンツの現在の再生タイムスタンプを識別するための手段と、
現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別するための手段と、
データベースから、現在の再生タイムスタンプの閾値時間量内であるタイムスタンプを有する運動の対象の識別子を読み出すための手段であって、データベースは、開始タイムスタンプおよび終了タイムスタンプを運動の識別された対象の運動と関連付ける、手段と、
アクションシグネチャとして、開始タイムスタンプと終了タイムスタンプとの間のコンテンツの部分を識別するための手段と、
を備える、項目198に記載のシステム。
203.現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別するための手段は、
コンテンツのビデオのフレーム内の顔を検出するための手段と、
個別の検出された顔に対応するパラメータのセットを運動の識別された対象の対応するパラメータと比較するための手段と、
比較するステップに基づいて、個別の検出された顔が、運動の識別された対象であるかどうかを決定するための手段と、
個別の検出された顔が、運動の識別された対象であると決定することに応答して、運動の対象の識別子を読み出すための手段と、
を備える、項目202に記載のシステム。
204.現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別するための手段は、
コンテンツのビデオのフレーム内のエッジを検出するための手段と、
個別の検出されたエッジに対応するパラメータのセットを運動の識別された対象の対応するパラメータと比較するための手段と、
比較するステップに基づいて、個別の検出されたエッジが、運動の識別された対象であるかどうかを決定するための手段と、
個別の検出されたエッジが、運動の識別された対象であると決定することに応答して、運動の対象の識別子を読み出すための手段と、
を備える、項目203に記載のシステム。
205.メタデータは、コンテンツとともに受信される、項目198に記載のシステム。
206.第2の入力コマンドは、アイコンの1つを上回る選択を備え、本システムはさらに、
選択されたアイコンによって表される運動の対象に割り当てられた複数のアクションシグネチャを読み出すための手段と、
アイコンの選択数だけ現在の再生タイムスタンプに先行する複数のアクションシグネチャのあるアクションシグネチャを識別するための手段と、
を備え、
記憶されたタイムスタンプは、識別されたアクションシグネチャから読み出される、
項目198に記載のシステム。
207.アクションシグネチャと関連付けられる運動の時間的長さが、最小閾値時間量を下回るかどうかを決定するための手段をさらに備え、運動の時間的長さが、最小閾値時間量を下回ると決定することに応答して、コンテンツの再生は、スローモーションにおいて実施される、項目198に記載のシステム。
208.アクションシグネチャと関連付けられる運動の時間的長さが、最小閾値時間量と最大閾値時間量との間であるかどうかを決定するための手段をさらに備え、運動の時間的長さが、最小閾値時間量と最大閾値時間量との間であると決定することに応答して、コンテンツの再生は、ループされる、項目198に記載のシステム。
209.非一過性コンピュータ可読媒体であって、制御回路によって実行されると、制御回路に、
コンテンツの再生の間、第1の入力コマンドを受信させ、
コンテンツと関連付けられるメタデータから、アクションシグネチャを識別させ、
メタデータから、各識別されたアクションシグネチャと関連付けられる運動の対象の識別子を読み出させ、
個別のアクションシグネチャと関連付けられる運動の各個別の読み出された対象を表すアイコンを表示のために発生させる、
コンテンツのビデオの一部の対象を表示するためのその上にエンコードされる命令を有する、非一過性コンピュータ可読媒体。
210.命令の実行はさらに、制御回路に、
アイコンの選択を備える第2の入力コマンドを受信させ、
第2の入力コマンドを受信することに応答して、選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生させる、
項目209に記載の非一過性コンピュータ可読媒体。
211.選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するための命令の実行はさらに、制御回路に、
メタデータから、アクションシグネチャと関連付けられる開始タイムスタンプを読み出させ、
読み出された開始タイムスタンプにおいて開始されるコンテンツの部分を再生させる、
項目210に記載の非一過性コンピュータ可読媒体。
212.命令の実行はさらに、制御回路に、運動の各識別された対象の捕捉された画像を読み出させ、
運動の個別の対象を表すアイコンは、読み出された捕捉された画像を備える、
項目209に記載の非一過性コンピュータ可読媒体。
213.アクションシグネチャを識別するための命令の実行はさらに、制御回路に、
コンテンツの現在の再生タイムスタンプを識別させ、
現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別させ、
データベースから、現在の再生タイムスタンプの閾値時間量内であるタイムスタンプを有する運動の対象の識別子を読み出させ、データベースは、開始タイムスタンプおよび終了タイムスタンプを運動の識別された対象の運動と関連付け、
アクションシグネチャとして、開始タイムスタンプと終了タイムスタンプとの間のコンテンツの部分を識別させる、
項目209に記載の非一過性コンピュータ可読媒体。
214.現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別するための命令の実行はさらに、制御回路に、
コンテンツのビデオのフレーム内の顔を検出させ、
個別の検出された顔に対応するパラメータのセットを運動の識別された対象の対応するパラメータと比較させ、
比較するステップに基づいて、個別の検出された顔が、運動の識別された対象であるかどうかを決定させ、
個別の検出された顔が、運動の識別された対象であると決定することに応答して、運動の対象の識別子を読み出させる、
項目213に記載の非一過性コンピュータ可読媒体。
215.現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別するための命令の実行はさらに、制御回路に、
コンテンツのビデオのフレーム内のエッジを検出させ、
個別の検出されたエッジに対応するパラメータのセットを運動の識別された対象の対応するパラメータと比較させ、
比較するステップに基づいて、個別の検出されたエッジが、運動の識別された対象であるかどうかを決定させ、
個別の検出されたエッジが、運動の識別された対象であると決定することに応答して、運動の対象の識別子を読み出させる、
項目214に記載の非一過性コンピュータ可読媒体。
216.メタデータは、コンテンツとともに受信される、項目209に記載の非一過性コンピュータ可読媒体。
217.第2の入力コマンドは、アイコンの1つを上回る選択を備え、命令の実行はさらに、制御回路に、
選択されたアイコンによって表される運動の対象に割り当てられた複数のアクションシグネチャを読み出させ、
アイコンの選択数だけ現在の再生タイムスタンプに先行する複数のアクションシグネチャのあるアクションシグネチャを識別させ、
記憶されたタイムスタンプは、識別されたアクションシグネチャから読み出される、
項目209に記載の非一過性コンピュータ可読媒体。
218.命令の実行はさらに、制御回路に、アクションシグネチャと関連付けられる運動の時間的長さが、最小閾値時間量を下回るかどうかを決定させ、
運動の時間的長さが、最小閾値時間量を下回ると決定することに応答して、コンテンツの再生は、スローモーションにおいて実施される、
項目209に記載の非一過性コンピュータ可読媒体。
219.命令の実行はさらに、制御回路に、アクションシグネチャと関連付けられる運動の時間的長さが、最小閾値時間量と最大閾値時間量との間であるかどうかを決定させ、
運動の時間的長さが、最小閾値時間量と最大閾値時間量との間であると決定することに応答して、コンテンツの再生は、ループされる、
項目209に記載の非一過性コンピュータ可読媒体。
220.コンテンツのビデオの一部の対象を表示するための方法であって、
コンテンツを再生するステップと、
コンテンツの再生の間、第1の入力コマンドを受信するステップと、
コンテンツと関連付けられるメタデータから、アクションシグネチャを識別するステップと、
メタデータから、各識別されたアクションシグネチャと関連付けられる運動の対象の識別子を読み出すステップと、
個別のアクションシグネチャと関連付けられる運動の各個別の読み出された対象を表すアイコンを表示のために発生させるステップと、
を含む、方法。
221.アイコンの選択を備える第2の入力コマンドを受信するステップと、
第2の入力コマンドを受信することに応答して、選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するステップと、
をさらに含む、項目220に記載の方法。
222.選択されたアイコンと関連付けられるアクションシグネチャに対応するコンテンツの部分を再生するステップは、
メタデータから、アクションシグネチャと関連付けられる開始タイムスタンプを読み出すステップと、
読み出された開始タイムスタンプにおいて開始されるコンテンツの部分を再生するステップと、
を含む、項目221に記載の方法。
223.運動の各識別された対象の捕捉された画像を読み出すステップをさらに含み、運動の個別の対象を表すアイコンは、読み出された捕捉された画像を備える、項目220-222のいずれかに記載の方法。
224.アクションシグネチャを識別するステップは、
コンテンツの現在の再生タイムスタンプを識別するステップと、
現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別するステップと、
データベースから、現在の再生タイムスタンプの閾値時間量内であるタイムスタンプを有する運動の対象の識別子を読み出すステップであって、データベースは、開始タイムスタンプおよび終了タイムスタンプを運動の識別された対象の運動と関連付ける、ステップと、
アクションシグネチャとして、開始タイムスタンプと終了タイムスタンプとの間のコンテンツの部分を識別するステップと、
を含む、項目220-223のいずれかに記載の方法。
225.現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別するステップは、
コンテンツのビデオのフレーム内の顔を検出するステップと、
個別の検出された顔に対応するパラメータのセットを運動の識別された対象の対応するパラメータと比較するステップと、
比較するステップに基づいて、個別の検出された顔が、運動の識別された対象であるかどうかを決定するステップと、
個別の検出された顔が、運動の識別された対象であると決定することに応答して、運動の対象の識別子を読み出すステップと、
を含む、項目224に記載の方法。
226.現在の再生タイムスタンプにおいてコンテンツ内に表示される運動の対象を識別するステップは、
コンテンツのビデオのフレーム内のエッジを検出するステップと、
個別の検出されたエッジに対応するパラメータのセットを運動の識別された対象の対応するパラメータと比較するステップと、
比較するステップに基づいて、個別の検出されたエッジが、運動の識別された対象であるかどうかを決定するステップと、
個別の検出されたエッジが、運動の識別された対象であると決定することに応答して、運動の対象の識別子を読み出すステップと、
を含む、項目225に記載の方法。
227.メタデータは、コンテンツとともに受信される、項目220-226のいずれかに記載の方法。
228.第2の入力コマンドは、アイコンの1つを上回る選択を備え、本方法はさらに、
選択されたアイコンによって表される運動の対象に割り当てられた複数のアクションシグネチャを読み出すステップと、
アイコンの選択数だけ現在の再生タイムスタンプに先行する複数のアクションシグネチャのあるアクションシグネチャを識別するステップと、
を含み、
記憶されたタイムスタンプは、識別されたアクションシグネチャから読み出される、
項目220-227のいずれかに記載の方法。
229.アクションシグネチャと関連付けられる運動の時間的長さが、最小閾値時間量を下回るかどうかを決定するステップをさらに含み、運動の時間的長さが、最小閾値時間量を下回ると決定することに応答して、コンテンツの再生は、スローモーションにおいて実施される、項目220-228のいずれかに記載の方法。
230.アクションシグネチャと関連付けられる運動の時間的長さが、最小閾値時間量と最大閾値時間量との間であるかどうかを決定するステップをさらに含み、運動の時間的長さが、最小閾値時間量と最大閾値時間量との間であると決定することに応答して、コンテンツの再生は、ループされる、項目220-229のいずれかに記載の方法。
【国際調査報告】