特許 6871388 オーディオまたはビデオ内のカット間タイムバケットを決定するための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6871388

(24)【登録日】2021年4月19日

(45)【発行日】2021年5月12日

(54)【発明の名称】オーディオまたはビデオ内のカット間タイムバケットを決定するための方法および装置

(51)【国際特許分類】

   H04N 5/91 20060101AFI20210426BHJP

   H04N 21/454 20110101ALI20210426BHJP

   H04N 21/433 20110101ALI20210426BHJP

   G11B 20/10 20060101ALI20210426BHJP

   G11B 27/00 20060101ALI20210426BHJP

   G11B 27/02 20060101ALI20210426BHJP

【ＦＩ】

   H04N5/91

   H04N21/454

   H04N21/433

   G11B20/10 321Z

   G11B27/00 D

   G11B27/02 A

【請求項の数】9

【全頁数】11

(21)【出願番号】特願2019-535850(P2019-535850)

(86)(22)【出願日】2018年4月26日

(65)【公表番号】特表2020-509624(P2020-509624A)

(43)【公表日】2020年3月26日

(86)【国際出願番号】CN2018084621

(87)【国際公開番号】WO2018196811

(87)【国際公開日】20181101

【審査請求日】2019年8月20日

(31)【優先権主張番号】201710297149.4

(32)【優先日】2017年4月28日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】520015461

【氏名又は名称】アドバンスド ニュー テクノロジーズ カンパニー リミテッド

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100205785

【弁理士】

【氏名又は名称】▲高▼橋 史生

(72)【発明者】

【氏名】リンドン・リュウ

【審査官】 川中 龍太

(56)【参考文献】

【文献】 欧州特許出願公開第０２８４０８０１（ＥＰ，Ａ２）

【文献】 米国特許出願公開第２００６／００１３５５４（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１６／０１００２２６（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１１／０２１１８１２（ＵＳ，Ａ１）

【文献】 特開２０１１−２１１４８１（ＪＰ，Ａ）

【文献】 Yao Wang, et al.，，Multimedia content analysis-using both audio and visual clues，IEEE SIGNAL PROCESSING MAGAZINE，IEEE，２０００年１１月，Volume: 17, Issue: 6，pp.12-36，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=888862

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７６ − ５／９５６

Ｈ０４Ｎ ２１／００ − ２１／８５８

Ｇ１１Ｂ ２０／１０ − ２０／１６

Ｇ１１Ｂ ２７／００ − ２７／０６

(57)【特許請求の範囲】

【請求項1】

オーディオおよびビデオ内のカット間タイムバケットを決定するための方法であって、
候補セグメンテーション点として、特徴メディアデータがオーディオおよびビデオ内に出現する時点、または特徴メディアデータがオーディオおよびビデオから消失する時点のうちの少なくとも１つを決定するステップと、
所定の始点条件を満たす前記候補セグメンテーション点の始点を決定するステップと、
所定の終点条件を満たす前記候補セグメンテーション点の終点を決定するステップと、
前記始点と前記終点との間の期間を前記カット間タイムバケットとして決定するステップとを備え、
スポーツ試合のビデオピクチャを生成する際、
前記所定の始点条件は、より前の第１の所定の待機期間において休止のためのホイッスルが出現し、前記ビデオピクチャ内のスコアボードが消失することであり、
前記所定の終点条件は、後続の第２の所定の待機期間において前記スコアボードが出現し、かつ、休止のためのホイッスルが出現せず、もしくは、休止のためのホイッスルが出現し、その時点までの休止のためのホイッスルが最後に出現した時点からの時間が第３の所定の待機期間を超えないことである
方法。

【請求項2】

前記スコアボードは、前記ビデオピクチャ内の所定のエリアに位置する、請求項１に記載の方法。

【請求項3】

候補セグメンテーション点として、特徴メディアデータが前記オーディオおよびビデオ内に出現する前記時点または特徴メディアデータが前記オーディオおよびビデオから消失する前記時点のうちの少なくとも１つを決定するステップは、
前記ビデオピクチャ内の前記所定のエリアの色比率または画像形状のうちの少なくとも1つを解析するステップと、
前記候補セグメンテーション点として、前記スコアボードが前記所定のエリア内に出現する時点、または前記スコアボードが前記所定のエリアから消失する時点のうちの少なくとも１つを識別するステップと
を備える、請求項２に記載の方法。

【請求項4】

前記ホイッスルは、所定の音量、トーン、音質のうちの少なくとも1つを有する音である、請求項１から請求項３のいずれか一項に記載の方法。

【請求項5】

前記オーディオおよびビデオが再生されるとき、前記カット間タイムバケットに対応するエリアと、非スポット期間に対応するエリアとを示すために、進捗バー内の異なる色を使用するステップ
をさらに備える、請求項１から請求項４のいずれか一項に記載の方法。

【請求項6】

前記オーディオおよびビデオが再生されるとき、前記カット間タイムバケットの再生をスキップするステップ
をさらに備える、請求項１から請求項５のいずれか一項に記載の方法。

【請求項7】

前記カット間タイムバケットを前記オーディオおよびビデオから削除するステップ
をさらに備える、請求項１から請求項６のいずれか一項に記載の方法。

【請求項8】

前記オーディオおよびビデオがライブ放送を備える、請求項１から請求項７のいずれか一項に記載の方法。

【請求項9】

オーディオおよびビデオ内のカット間タイムバケットを決定するためのデバイスであって、請求項１から請求項８のいずれか一項に記載の方法を実施するように構成される複数のモジュールを備える、デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本出願はデータ処理技術の分野に関し、特にオーディオまたはビデオ内のカット間(inter-cut)タイムバケット(time bucket)を決定するための方法およびデバイスに関する。

【背景技術】

【0002】

テレビ番組の再生は、多くのビデオウェブサイト上に提供されるビデオコンテンツの重要なコンポーネントである。録画されたテレビ番組ビデオは、通常は番組期間とカット間タイムバケット（たとえば、コマーシャル休憩）とを含む。番組期間は、番組コンテンツを再生するための期間である。カット間タイムバケットは、非番組コンテンツ、たとえば映画やTVシリーズのエピソードの広告期間、スポーツ試合のライブ番組のハーフタイム休憩を埋めるための広告期間やライブ放送室コメント期間を再生するための期間である。

【0003】

再生ビデオを見ているとき、ほとんどのユーザは、カット間タイムバケットの間、気長には待たない。代替として、通常は進捗バーをドラッグすることによってカット間タイムバケットをスキップする。ユーザは、ユーザの経験に影響を与える1回のドラッグによってカット間タイムバケットを正確にスキップすることが困難であるので、通常進捗バーを前後に調整する必要がある。このため、再生ビデオピクチャを生成する際には、カット間タイムバケットが、通常番組ビデオから削除される。

【0004】

既存の技術では、ビデオ制作者は、ビデオ内のカット間タイムバケットを手動で識別し、次いでビデオからカット間タイムバケットをカットする。現在の方法は、退屈で時間がかかり、非効率であり、したがって再生ビデオを時間内にオンラインにするための要求を満たすことは困難である。

【発明の概要】

【課題を解決するための手段】

【0005】

そこで、本出願は、候補セグメンテーション点として、特徴メディアデータがオーディオもしくはビデオ内に出現する時点、または特徴メディアデータがオーディオもしくはビデオから消失する時点のうちの少なくとも1つを決定するステップと、所定の始点条件を満たす候補セグメンテーション点を始点として決定し、所定の終点条件を満たす候補セグメンテーション点を終点として決定し、かつ始点と終点との間の期間をカット間タイムバケットとして決定するステップとを含む、オーディオまたはビデオ内のカット間タイムバケットを決定する方法を提供する。

【0006】

本出願は、候補セグメンテーション点として、特徴メディアデータがオーディオもしくはビデオ内に出現する時点、または特徴メディアデータがオーディオもしくはビデオから消失する時点のうちの少なくとも1つを決定するように構成される候補セグメンテーション点ユニットと、始点および終点ユニットであって、所定の始点条件を満たす候補セグメンテーション点を始点として使用し、所定の終点条件を満たす候補セグメンテーション点を終点として使用し、始点と終点との間の期間をカット間タイムバケットとして使用する、始点および終点ユニットとを含む、オーディオまたはビデオ内のカット間タイムバケットを決定するためのデバイスをさらに提供する。

【0007】

本出願の実施形態では、特徴メディアデータがある時点でオーディオまたはビデオに提示されるかどうかが、番組期間とカット間タイムバケットとの間で区別するための基礎として使用される。特徴メディアデータがオーディオもしくはビデオ内に出現する時点、または特徴メディアデータがオーディオもしくはビデオから消失する時点のうちの少なくとも1つにおいて、所定の始点条件を満たす一方がカット間タイムバケットの始点として使用され、所定の終点条件を満たす他方がカット間タイムバケットの終点として使用される。オーディオ/ビデオ内のカット間タイムバケットが、手動識別なしに自動的に識別されることが可能である。このように、再生ビデオ制作時には、制作者の手動作業負荷を大幅に軽減することができ、再生ビデオの制作期間を短縮することができ、制作効率を向上させることが可能である。

【図面の簡単な説明】

【0008】

【図1】本出願の実施形態による、オーディオまたはビデオ内のカット間タイムバケットを決定するための方法を示すフローチャートである。

【図2】本出願の適用例による、特徴画像が表示されたビデオピクチャを図示する例示図である。

【図3】本出願の適用例による、カット間タイムバケットに対応するエリアを異なる色を使用して提示する再生進捗バーを示す例示図である。

【図4】本出願の実施形態を実行するためのデバイスのハードウェアを示す構造図である。

【図5】本出願の実施形態による、オーディオまたはビデオ内のカット間タイムバケットを決定するためのデバイスを示す論理構造図である。

【発明を実施するための形態】

【0009】

カット間タイムバケットを含むオーディオまたはビデオ、特にテレビ番組の録画ビデオ、一般には番組期間またはカット間タイムバケット内のオーディオ/ビデオコンテンツは明らかに識別可能な特徴を有する。たとえば、映画やTVシリーズの途中の広告挿入期間においては、絶えず広告挿入期間のカウントダウンが表示され、「後に続く(to be continued later)」などが絶えず表示される、などである。別の例では、通常スポーツ試合の番組期間にスコアボードが絶えず表示される。これらの識別可能な特徴の出現または消失のうちの少なくとも1つは、番組期間とカット間タイムバケットとの間の分割の基礎として使用されることが可能である。

【0010】

したがって、本出願の実装形態は、オーディオまたはビデオ内のカット間タイムバケットを決定するための新しい方法を提供する。本方法は、番組期間とカット間タイムバケットとの間で候補セグメンテーション点として、識別可能な特徴メディアデータがオーディオもしくはビデオ内に出現する時点、または識別可能な特徴メディアデータがオーディオもしくはビデオから消失する時点のうちの少なくとも1つを決定するステップと、所定の始点条件を満たす候補セグメンテーション点をカット間タイムバケットの始点として決定し、所定の終点条件を満たす候補セグメンテーション点をカット間タイムバケットの終点として決定し、かつ始点と終点との間の期間をカット間タイムバケットとして決定するステップと含む。したがって、オーディオ/ビデオ内のカット間タイムバケットが、手動識別なしに自動的に識別されることが可能である。制作者の手動作業負荷を大幅に軽減することができ、ビデオ制作のための速度を固定することができ、制作効率を向上させることができ、既存の技術における課題を軽減することが可能である。

【0011】

本出願の本実施形態は、携帯電話、タブレットコンピュータ、パーソナルコンピュータ（PC）、ノートブック、またはサーバなどのコンピューティングおよびストレージを有する任意のデバイスに適用することが可能である。本出願の本実施形態における各機能は、2つ以上のデバイス上で動作する論理ノードによってさらに実装することが可能である。

【0012】

図1は、本出願の実施形態による、オーディオまたはビデオ内のカット間タイムバケットを決定するための方法を示すフローチャートである。

【0013】

ステップ110:候補セグメンテーション点として、特徴メディアデータがオーディオもしくはビデオ内に出現する時点、または特徴メディアデータがオーディオもしくはビデオから消失する時点のうちの少なくとも1つを使用する。

【0014】

本発明の実施形態では、実際のアプリケーションシナリオにおける要求に基づいて、オーディオ/ビデオ内の番組期間およびカット間タイムバケットを分割することが可能である。これは限定されない。たとえば、スポーツ試合番組における休止期間を番組期間として使用することが可能であり、カット間タイムバケットとして使用することが可能である。

【0015】

番組期間とカット間タイムバケットとの間で切り替えが行われたときに出現するまたは消失する画像特徴または音特徴のうちの少なくとも1つは、番組期間およびカット間タイムバケットが決定された後に、特徴メディアデータとして使用することが可能である。特徴メディアデータがオーディオ/ビデオ内に出現する時点、または特徴メディアデータがオーディオ/ビデオから消失する時点のうちの少なくとも1つが、候補セグメンテーション点として識別される。

【0016】

ビデオの場合、特徴メディアデータは、ビデオピクチャ内の特徴画像であるか、またはビデオ音声中の特徴音であることが可能である。オーディオの場合、特徴メディアデータは、一般にオーディオ内の特徴音である。特徴画像は、ビデオピクチャの全部または一部であることが可能であり、特徴音は、オーディオ、たとえば所定の音量、トーン(tone)、音質(timbre)のうちの少なくとも1つの音の帯域の全部または一部であることが可能である。これは、本出願の本実施例に限定されない。

【0017】

ビデオピクチャ、ビデオ音、またはオーディオ音は、現在のビデオピクチャ、ビデオ音、またはオーディオ音が特徴メディアデータを有するかどうかを識別するために分析され、それにより特徴メディアデータが出現する時点、または特徴メディアデータが消失する時点のうちの少なくとも1つをさらに識別する。

【0018】

特徴画像がビデオピクチャの一部であり、特徴画像が常にピクチャ内の所定のエリア内に出現すると、ビデオピクチャ内の所定のエリアの色比率または画像形状のうちの少なくとも1つが解析されることが可能であり、特徴画像が所定のエリア内に出現する時点、または特徴画像が所定のエリアから消失する時点のうちの少なくとも1つが識別される。スポーツ試合ビデオにおけるスコアボードが例として使用される。あるフレームにはスコアボードが表示されず、次のフレームには表示されると仮定すると、2つのフレームの間の時点が候補セグメンテーション点となる。

【0019】

特定のオーディオ/ビデオまたは特定のタイプのオーディオ/ビデオのための1つまたは複数の部分の特徴メディアデータが存在することが可能である。たとえば、スポーツ試合ビデオでは、特徴メディアデータとしてスコアボードを使用することが可能であり、スコアボードと試合休止におけるロングホイッスルとの両方を特徴メディアデータとして使用することが可能である。別の例として、映画またはテレビ番組ビデオの場合、特徴メディアデータとして、表示された「続きはまた今度(to be continued)」または広告期間の表示されたカウントダウンのうちの少なくとも1つを使用することが可能である。

【0020】

実際のアプリケーションシナリオにおいて特徴メディアデータを提示するための方法に基づいて、特定の特徴メディアデータが出現する時点、または特定の特徴メディアデータが消失する時点のうちの少なくとも1つが、候補セグメンテーション点として使用されることが可能である。たとえば、広告挿入期間に表示されるカウントダウンの場合、特定のビデオにおける広告挿入期間を通じてカウントダウンが表示された場合、カウントダウンが出現する時点とカウントダウンが消失する時点との両方を候補セグメンテーション点として使用することが可能である。表示されたカウントダウンが出現する時点ではなく、特定のビデオで広告挿入期間が終了する前にカウントダウンが表示された場合、表示されたカウントダウンが消失する時点が候補セグメンテーション点として使用される。

【0021】

ステップ120:所定の始点条件を満たす候補セグメンテーション点を始点として使用し、所定の終点条件を満たす候補セグメンテーション点を終点として使用し、始点と終点との間の期間をカット間タイムバケットとして使用する。

【0022】

候補セグメンテーション点については、選択された特徴メディアデータをオーディオまたはビデオに提示する方法に基づいて、候補セグメンテーション点から1つまたは複数のスポット期間の始点および終点を決定するために、カット間タイムバケットの開始を示す変化を所定の始点条件として使用し、カット間タイムバケットの終了を示す変化を所定の終点条件として使用する。したがって、各スポット期間は、オーディオ/ビデオから決定される。

【0023】

ビデオの場合、特徴メディアデータは、ビデオピクチャ内の1つまたは複数の特徴画像であることが可能である。カット間タイムバケットの始点を決定するために、特定の特徴画像を使用することが可能である場合、所定の始点条件は、特徴画像が出現または消失するという条件であることが可能である。カット間タイムバケットの終点を判定するために特定の特徴画像を使用することが可能である場合、所定の終点条件は、特徴画像が出現または消失するという条件であることが可能である。カット間タイムバケットの始点および終点の両方を決定するために特定の特徴画像を使用することが可能である場合、所定の始点条件は、特徴画像が出現または消失するという条件であることが可能であり、対応する所定の終点条件は、特徴画像が消失または出現するという条件であることが可能である。

【0024】

たとえば、広告期間に表示される「後に続く」が、一般的にカット間タイムバケットの開始を判定するために使用されることが可能であるとき、対応する所定の始点条件は、「後に続く」が出現することであり、広告期間に表示されたカウントダウンが、カット間タイムバケットの終了を判定するために使用されるとき、対応する所定の終点条件は、カウントダウンが消失することであることが可能である。

【0025】

同様に、特徴メディアデータは、オーディオ/ビデオのための1つまたは複数の特徴音であることが可能である。カット間タイムバケットの始点を決定するためにある特徴音を使用することが可能であるとき、所定の始点条件は、特徴音が出現または消失するという条件であることが可能である。カット間タイムバケットの終点を決定するためにある特徴音を使用することが可能である場合、所定の終点条件は、特徴音が出現または消失するという条件であることが可能である。カット間タイムバケットの始点と終点との両方を決定するために特定の特徴音を使用することが可能であるとき、所定の始点条件は、特徴音が出現または消失するという条件であることが可能であり、対応する所定の終点条件は、特徴音が消失または出現するという条件であることが可能である。

【0026】

2つ以上の特徴メディアデータが使用されるとき、実際のアプリケーションシナリオにおいて特徴メディアデータを表示する方法に基づいて、比較的複雑な所定の始点条件または比較的複雑な所定の終点条件のうちの少なくとも1つを使用することが可能である。たとえば、スポーツ試合の再生ビデオピクチャを制作するとき、試合の休止期間、広告期間、ライブ放送室期間をスポット期間として使用し、2種類の特徴メディアデータ：スコアボードおよび休止のためのロングホイッスルを使用することが可能である。現在のシナリオでは、スコアボードは、広告期間またはライブ放送室期間には表示されないが、休止期間には表示される。また、広告期間またはライブ放送室期間は、通常休止期間が開始された後であり、休止期間は、広告期間またはライブ放送室期間が終了した後に終了しても終了しなくてもよい。このように、所定の始点条件は、前の第1の所定の待機期間において休止のための長いホイッスルが出現し、かつスコアボードが消失しない、またはスコアボードが消失する、であることが可能であり、所定の終点条件は、後続の第2の所定の待機期間においてスコアボードが出現し、かつ休止のための長いホイッスルが出現しない、または休止のための長いホイッスルが出現する時点と、休止のための長いホイッスルが最後に出現した時点との期間が第3の所定の待機期間を超えないことである。

【0027】

所定の始点条件を満たす候補セグメンテーション点がカット間タイムバケットの始点として使用され、所定の終点条件を満たす候補セグメンテーション点がカット間タイムバケットの終点として使用され、始点と終点との間の期間がカット間タイムバケットである。オーディオ/ビデオ内に1つ以上のスポット期間が存在することが可能であり、かつ各スポット期間は、本出願の本実施形態における方法に基づいて決定することが可能であることに留意されたい。

【0028】

オーディオ/ビデオ内のカット間タイムバケットが決定された後、オーディオ/ビデオが再生されるとき、カット間タイムバケットに対応するエリアと、非スポット期間（すなわち、番組期間）に対応するエリアとを示すために、進捗バーにおいて異なる色を使用することが可能である。したがって、ユーザは、進捗バーをドラッグすることによって、次の番組期間に便利にジャンプすることが可能である。代替的に、すべてのスポット期間が再生されなくてもよく、オーディオ/ビデオが再生されるときに番組期間だけが再生されることが可能である。代替的に、カット間タイムバケットがオーディオ/ビデオから削除されることが可能であり、カット間タイムバケットが削除され、かつ番組期間のみが残った後のビデオバージョンが、オーディオ/ビデオ再生時に使用される。

【0029】

本出願の本実施形態では、識別可能な特徴が、番組期間とカット間タイムバケットとを区別するための特徴メディアデータとして使用されることが理解されよう。特徴メディアデータが出現する時点、または特徴メディアデータが消失する時点のうちの少なくとも1つにおいて、所定の始点条件を満たす一方をカット間タイムバケットの始点として使用し、所定の終点条件を満たす他方をカット間タイムバケットの終点として使用する。オーディオ/ビデオ内のカット間タイムバケットが、手動識別なしに自動的に識別されることが可能である。したがって、制作者に対する手動作業負荷を大幅に軽減することが可能であり、ビデオ制作速度およびビデオ制作効率を向上させることが可能である。

【0030】

本出願の適用例では、テレビライブ放送NBA試合ビデオを記録した後、制作者は、ビデオを再生ビデオとして作成したい。試合期間に加えて、テレビライブ放送番組は、広告期間と、ライブ放送室期間とをさらに含む。ビデオ制作中、試合期間はビデオ内の番組期間であり、広告期間およびライブ放送室期間はスポット期間である。ビデオの試合期間では、図2に示すように、スコアボードが常にピクチャの右下隅に表示され、一方スコアボードは広告期間とライブ室期間には表示されない。したがって、制作者は、所定のエリアとしてピクチャの右下隅のスコアボードを含む表示エリアを決定し、特徴画像として表示されたスコアボードを決定する。

【0031】

本出願の本実施形態を実行するデバイスは、ビデオから各フレームを抽出し、フレーム内の所定のエリアの色比率および画像形状を解析する。このようにして、フレーム内にスコアボードが表示されているかどうかを識別することが可能である。スコアボードが前のフレームでは表示されているが次のフレームでは表示されていないか、またはスコアボードが前のフレームでは表示されていないが次のフレームでは表示されているとき、2つのフレームの間の時点が候補セグメンテーション点として使用される。スコアボードが消失する候補セグメンテーション点（所定の始点条件）がカット間タイムバケットの始点として使用され、スコアボードが出現する候補セグメンテーション点（所定の終点条件）がカット間タイムバケットの終点として使用され、スポット期間がビデオ内で分割される。

【0032】

本出願の本実施形態を実行するデバイスは、ビデオからカット間タイムバケットを削除し、削除後に取得されたビデオをユーザに再生されるべき再生ビデオとして使用することが可能である。代替として、たとえば図3に示すように、記録されたビデオを再生ビデオとして使用し、ビデオを再生するとき、カット間タイムバケットに対応するエリアと、番組期間に対応するエリアとを示すために、異なる色が進捗バーにおいて使用されることが可能であり、その結果ユーザがカット間タイムバケットを正確にスキップすることが可能である。

【0033】

前の手順の実装に対応して、本出願の実装形態は、オーディオまたはビデオ内のカット間タイムバケットを決定するためのデバイスをさらに提供する。デバイスは、ソフトウェアによって実装されることが可能であり、ハードウェアによって実装されることが可能であり、またはハードウェアとソフトウェアとの組み合わせによって実装されることが可能である。ソフトウェア実装が一例として使用される。論理的な装置として、ソフトウェアは、ソフトウェアが位置するデバイス内の中央処理ユニット(CPU)を使用することによって、対応するコンピュータプログラム命令をメモリに読み出すこと、およびコンピュータプログラム命令を実行することにより形成される。ハードウェア実装の観点から、図4に示すCPU、メモリ、および不揮発性メモリに加えて、オーディオまたはビデオ内のカット間タイムバケットを決定するためのデバイスが配置されるデバイスは、一般に無線信号を送受信するためのチップなどの他のハードウェア、ネットワーク通信機能を実装するように構成されるカードなどの他のハードウェアのうちの少なくとも1つをさらに含む。

【0034】

図5は、本出願の実施形態による、オーディオまたはビデオ内のカット間タイムバケットを決定するためのデバイスを示す。デバイスは、候補セグメンテーション点ユニットと、始点および終点ユニットとを含む。候補セグメンテーション点ユニットは、候補セグメンテーション点として、特徴メディアデータがオーディオもしくはビデオ内に出現する時点、または特徴メディアデータがオーディオもしくはビデオから消失する時点のうちの少なくとも1つを使用するように構成される。始点および終点ユニットは、始点として所定の始点条件を満たす候補セグメンテーション点を使用し、終点として所定の終点条件を満たす候補セグメンテーション点を使用し、カット間タイムバケットとして始点と終点との間の期間を使用するように構成される。

【0035】

オプションとして、特徴メディアデータはビデオピクチャ内の特徴画像を含み、所定の始点条件は、特徴画像がビデオピクチャ内に出現するか、またはそこから消失することを含む。

【0036】

オプションとして、特徴メディアデータはビデオピクチャ内の特徴画像を含み、所定の終点条件は、特徴画像がビデオピクチャから消失するか、またはビデオピクチャ内に出現することを含む。

【0037】

オプションとして、特徴画像は、ビデオピクチャの所定のエリアに位置し、候補セグメンテーション点ユニットは、ビデオピクチャ内の所定のエリアの色比率または画像形状のうちの少なくとも1つを解析し、かつ候補セグメンテーション点として、特徴画像が所定のエリア内に出現する時点、または特徴画像が所定のエリアから消失する時点のうちの少なくとも1つを識別するように構成される。

【0038】

オプションとして、特徴画像は、スポーツ試合ビデオ内のスコアボードを含む。

【0039】

オプションとして、特徴メディアデータはオーディオ/ビデオ内の特徴音を含み、所定の始点条件は、特徴音がオーディオ/ビデオ内に出現するか、またはオーディオ/ビデオから消失する時点を含む。

【0040】

オプションとして、特徴メディアデータはオーディオ/ビデオ内の特徴音を含み、所定の終点条件は、特徴音がオーディオ/ビデオから消失するか、またはオーディオ/ビデオ内に出現する時点を含む。

【0041】

オプションとして、特徴音は、所定の音量、トーン、または音質のうちの少なくとも1つを有する音を含む。

【0042】

オプションとして、デバイスは、オーディオまたはビデオを再生および変更するためのユニットをさらに含み、オーディオ/ビデオが再生されるとき、カット間タイムバケットに対応するエリアおよび非スポット期間に対応するエリアを示すために、進捗バーにおいて異なる色を使用するか、オーディオ/ビデオが再生されたときにカット間タイムバケットの表示をスキップするか、またはオーディオ/ビデオからカット間タイムバケットを削除するように構成される。

【0043】

上記の説明は、本出願の本実施形態の単なる例であるが、本出願を限定することを意図するものではない。本出願の趣旨および原理から逸脱することなく行われる任意の修正、均等な置換、または改良は、本出願の保護範囲内に入るべきである。

【0044】

典型的な構成では、コンピューティングデバイスは、1つまたは複数の中央処理ユニット(CPU)、1つまたは複数の入出力インターフェース、1つまたは複数のネットワークインターフェース、および1つまたは複数のメモリを含む。

【0045】

メモリは、コンピュータ可読媒体内の非持続性メモリ、ランダムアクセスメモリ(RAM)、不揮発性メモリなど、たとえば読取り専用メモリ(ROM)またはフラッシュメモリ(フラッシュRAM)を含むことが可能である。メモリは、コンピュータ可読媒体の一例である。

【0046】

コンピュータ可読媒体は、任意の方法または技術を使用して情報を記憶することが可能である永続的、非永続的、移動可能、および移動不可能の媒体を含む。情報は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータであることが可能である。コンピュータ記憶媒体の例には、パラメータランダムアクセスメモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、または別のタイプのランダムアクセスメモリ(RAM)、読取り専用メモリ（ROM）、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、フラッシュメモリ、もしくは別のメモリ技術、コンパクトディスク読取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、もしくは別の光ストレージ、磁気カセット、磁気テープ、磁気テープ/磁気ディスクメモリ、もしくは別の磁気ストレージデバイス、またはコンピューティングデバイスによってアクセスされることが可能な情報を記憶するために使用されることが可能な任意の他の非送信媒体を含むが、これらに限定されない。本出願で説明するように、コンピュータ可読媒体は、変調されたデータ信号およびキャリアなどのコンピュータ可読の一時的な媒体を含まない。

【0047】

用語「含む(include)」、「備える(comprise)」、またはそれらの任意の他の変形形態は、非排他的な包含にわたるものであり、したがって要素のリストを含むプロセス、方法、製品、またはデバイスは、これらの要素を含むだけでなく、明示的にリストにない他の要素またはそのようなプロセス、方法、製品、またはデバイスに固有の要素をさらに含むことにさらに留意されたい。より多くの制約なしに、「・・・を含む」に先行する要素は、その要素を含むプロセス、方法、製品、またはデバイスにおける追加の同一の要素の存在を排除するものではない。

【0048】

当業者は、本出願の実装形態が、方法、システム、またはコンピュータプログラム製品として提供されることが可能であることを理解すべきである。したがって、本出願は、ハードウェアのみの実装形態、ソフトウェアのみの実装形態、またはソフトウェアとハードウェアの組合せを伴う実装形態の形式で使用されることが可能である。さらに、本出願は、コンピュータ使用可能プログラムコードを含む（磁気ディスクメモリ、CD-ROM、光メモリなどを含むがこれらに限定されない）1つまたは複数のコンピュータ使用可能記憶媒体上に実装されるコンピュータプログラム製品の形態で使用されることが可能である。

【図1】

【図2】

【図3】

【図4】

【図5】