特許 6015568 コンテンツ・リンクを生成する方法、装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6015568

(24)【登録日】2016年10月7日

(45)【発行日】2016年10月26日

(54)【発明の名称】コンテンツ・リンクを生成する方法、装置およびプログラム

(51)【国際特許分類】

   G06F 17/30 20060101AFI20161013BHJP

   G06F 3/0484 20130101ALI20161013BHJP

【ＦＩ】

   G06F17/30 170D

   G06F17/30 220C

   G06F3/0484 120

【請求項の数】7

【全頁数】22

(21)【出願番号】特願2013-124925(P2013-124925)

(22)【出願日】2013年6月13日

(65)【公開番号】特開2014-32656(P2014-32656A)

(43)【公開日】2014年2月20日

【審査請求日】2015年8月19日

(31)【優先権主張番号】13/566,084

(32)【優先日】2012年8月3日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士ゼロックス株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】マシュー クーパー

(72)【発明者】

【氏名】スコット カーター

(72)【発明者】

【氏名】ジョン アドコック

(72)【発明者】

【氏名】アンドレアス ガーゲンソン

(72)【発明者】

【氏名】チョン リュウ

(72)【発明者】

【氏名】フランク エム． シップマン

(72)【発明者】

【氏名】リン ディー．ウィルコックス

【審査官】 田中 秀樹

(56)【参考文献】

【文献】 特表２００９−５０８３７９（ＪＰ，Ａ）

【文献】 特開平１１−１９１１０９（ＪＰ，Ａ）

【文献】 特開２００１−２７３４９３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

Ｈ０４Ｎ ５／７６−５／９５６

Ｇ０６Ｆ ３／０４８

(57)【特許請求の範囲】

【請求項1】

第１のデジタルファイルと第２のデジタルファイルとの間にコンテンツ・リンクを生成する方法であって、
コンピューティング・デバイスが、
前記第１のデジタルファイルの第１のデジタルファイルセグメントの再生中に、前記第１のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を検出し、
コンテンツ特徴からセグメントへのインデックスを用いて、前記第２のデジタルファイルの第２のデジタルファイルセグメントを含む複数のデジタルファイルセグメントを検索し、
前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間でコンテンツ特徴が関連する場合に、前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間に、コンテンツ・リンクを動的に生成し、
前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間にコンテンツ・リンクが動的に生成されたことに応じて、前記第２のデジタルファイルセグメントを表すキーフレームを表示し、
前記第１および第２のデジタルファイルを分類し、
前記第１および第２のデジタルファイルの前記分類に基づいて、前記第１および第２のデジタルファイルのそれぞれをセグメントに分割するためのプロセスを選択し、
前記第１のデジタルファイルを、前記第１のデジタルファイルのために選択された前記プロセスによって、前記第１のデジタルファイルセグメントを含む複数のセグメントに分割し、
前記第１のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を、認識プロセスを用いて判断し、
前記第２のデジタルファイルを、前記第２のデジタルファイルのために選択された前記プロセスによって、前記第２のデジタルファイルセグメントを含む複数のセグメントに分割し、
前記第２のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を、認識プロセスを用いて判断し、
コンテンツ特徴からセグメントへの前記インデックスを、前記第１のデジタルファイルセグメントの前記少なくとも１つのコンテンツ特徴、および、前記第２のデジタルファイルセグメントの前記少なくとも１つのコンテンツ特徴から生成する、
方法。

【請求項2】

前記第１および第２のデジタルファイルの少なくとも一方が、少なくとも１つのスライドを含むプレゼンテーション・デジタルファイルに分類された場合、セグメントに分割するための前記プロセスは、分類された当該デジタルファイルを、各々がプレゼンテーション・スライドを含む複数のセグメントに分割することを含む、請求項１に記載の方法。

【請求項3】

前記第１および第２のデジタルファイルの少なくとも一方が、少なくとも１つのスライドを含むプレゼンテーション・デジタルファイル以外に分類された場合、セグメントに分割するための前記プロセスは、分類された当該デジタルファイルを時系列に複数のセグメントに分割することを含む、請求項１に記載の方法。

【請求項4】

前記第１のデジタルファイルの第１のデジタルファイルセグメントの再生中に、前記第１のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を検出することは、
少なくとも１つのコンピューティング・デバイスが、前記第１のデジタルファイルの再生中にユーザによって選択されたコンテンツ特徴を受け取ること、
を含み、さらに、
前記第１のデジタルファイルの再生中にユーザによって選択されたコンテンツ特徴を受け取ることは、
前記コンピューティング・デバイスが、
前記ユーザが前記第１のデジタルファイルの前記再生を一時停止している間に前記第１のデジタルファイルの前記第１のデジタルファイルセグメントに対して認識プロセスを適用すること、および、
前記第１のデジタルファイルの前記第１のデジタルファイルセグメントのうち前記ユーザがユーザ・インターフェイスを用いて選択した領域に対して前記認識プロセスを適用すること、
の少なくとも一方を含む、請求項１〜３の何れか一項に記載の方法。

【請求項5】

前記コンピューティング・デバイスが、
前記第１のデジタルファイルの前記第１のデジタルファイルセグメントと前記第２のデ
ジタルファイルの前記第２のデジタルファイルセグメントとの間に第２のリンクを動的に
生成すること、
をさらに含み、
前記第２のリンクは、前記第１のデジタルファイルセグメントおよび前記第２のデジタルファイルセグメントにそれぞれ対応付けられたメタデータに基づいて動的に生成され、前記メタデータは、著者情報、タイトル情報、場所の情報、日付の情報、および、時間の情報のうち少なくとも１つを含む、請求項１〜４の何れか一項に記載の方法。

【請求項6】

第１のデジタルファイルと第２のデジタルファイルとの間にコンテンツ・リンクを生成する装置であって、
前記第１のデジタルファイルの第１のデジタルファイルセグメントの再生中に、前記第１のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を検出する、コンテンツ特徴検出部と、
コンテンツ特徴からセグメントへのインデックスを用いて、前記第２のデジタルファイルの第２のデジタルファイルセグメントを含む複数のデジタルファイルセグメントを検索する、インデックス検索部と、
前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間でコンテンツ特徴が関連する場合に、前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間にコンテンツ・リンクを動的に生成する、動的リンク生成部と、
前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間にコンテンツ・リンクが動的に生成されたことに応じて、前記第２のデジタルファイルセグメントを表すキーフレームを、表示部に表示させる表示制御部と、
前記第１および第２のデジタルファイルを分類するデジタルファイル分類部と、
前記第１および第２のデジタルファイルの前記分類に基づいて、前記第１および第２のデジタルファイルのそれぞれをセグメントに分割するためのプロセスを選択するセグメント分けプロセス選択部、
前記第１のデジタルファイルを、前記第１のデジタルファイルのために選択された前記プロセスによって、前記第１のデジタルファイルセグメントを含む複数のセグメントに分割し、前記第２のデジタルファイルを、前記第２のデジタルファイルのために選択された前記プロセスによって、前記第２のデジタルファイルセグメントを含む複数のセグメントに分割するファイルセグメント分け部と、
前記第１のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を、認識プロセスを用いて判断し、前記第２のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を、認識プロセスを用いて判断するコンテンツ特徴判断部と、
コンテンツ特徴からセグメントへの前記インデックスを、前記第１のデジタルファイルセグメントの前記少なくとも１つのコンテンツ特徴、および、前記第２のデジタルファイルセグメントの前記少なくとも１つのコンテンツ特徴から生成するインデックス生成部と、
を備える装置。

【請求項7】

コンピュータを、
第１のデジタルファイルと第２のデジタルファイルとの間にコンテンツ・リンクを生成する装置として機能させるプログラムであって、
前記コンピュータを、
前記第１のデジタルファイルの第１のデジタルファイルセグメントの再生中に、前記第１のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を検出する、コンテンツ特徴検出部と、
コンテンツ特徴からセグメントへのインデックスを用いて、前記第２のデジタルファイルの第２のデジタルファイルセグメントを含む複数のデジタルファイルセグメントを検索する、インデックス検索部と、
前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間でコンテンツ特徴が関連する場合に、前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間にコンテンツ・リンクを動的に生成する、動的リンク生成部と、
前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間にコンテンツ・リンクが動的に生成されたことに応じて、前記第２のデジタルファイルセグメントを表すキーフレームを、表示部に表示させる表示制御部と、
前記第１および第２のデジタルファイルを分類するデジタルファイル分類部と、
前記第１および第２のデジタルファイルの前記分類に基づいて、前記第１および第２のデジタルファイルのそれぞれをセグメントに分割するためのプロセスを選択するセグメント分けプロセス選択部、
前記第１のデジタルファイルを、前記第１のデジタルファイルのために選択された前記プロセスによって、前記第１のデジタルファイルセグメントを含む複数のセグメントに分割し、前記第２のデジタルファイルを、前記第２のデジタルファイルのために選択された前記プロセスによって、前記第２のデジタルファイルセグメントを含む複数のセグメントに分割するファイルセグメント分け部と、
前記第１のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を、認識プロセスを用いて判断し、前記第２のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を、認識プロセスを用いて判断するコンテンツ特徴判断部と、
コンテンツ特徴からセグメントへの前記インデックスを、前記第１のデジタルファイルセグメントの前記少なくとも１つのコンテンツ特徴、および、前記第２のデジタルファイルセグメントの前記少なくとも１つのコンテンツ特徴から生成するインデックス生成部と、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

ディスプレイに表示しているコンテンツから他のコンテンツへのリンクを生成する装置、方法およびプログラムに関する。

【背景技術】

【0002】

ビデオ全体からビデオ全体へのリンクを生成する技術が用いられている（例えば、非特許文献１。）。特許文献１及び２については後述する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２００８／０２８８５３７号

【特許文献2】米国特許第７７８３１０６号

【非特許文献】

【0004】

【非特許文献1】”ＹｏｕＴｕｂｅ”、[online]、ＹｏｕＴｕｂｅ，ＬＬＣ、［２０１３年４月２５日検索］、インターネット(URL:http://www.youtube.com）

【発明の概要】

【発明が解決しようとする課題】

【0005】

動画などのコンテンツの再生中に、別のコンテンツの関連部分を参照したい場合がある。例えば、プレゼンテーションの動画を再生中に特定のキーワードが現れた場合に、別のプレゼンテーションの動画のそのキーワードを含む場面を参照したくなる場合がある。また、ホームビデオを再生中に特定の人物が現れた場合には、別のビデオの中でその特定の人物が現れる場面を参照したくなる場合がある。そのような場合には、当該別のコンテンツを始めから再生して、その関連する部分を探し出さなければならず、面倒であった。

【課題を解決するための手段】

【0006】

本発明の第１の態様は、第１のデジタルファイルと第２のデジタルファイルとの間にコンテンツ・リンクを生成する方法であって、コンピューティング・デバイスが、前記第１のデジタルファイルの第１のデジタルファイルセグメントの再生中に、前記第１のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を検出し、コンテンツ特徴からセグメントへのインデックスを用いて、前記第２のデジタルファイルの第２のデジタルファイルセグメントを含む複数のデジタルファイルセグメントを検索し、前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間でコンテンツ特徴が関連する場合に、前記第１のファイルセグメントと前記第２のデジタルファイルセグメントとの間に、コンテンツ・リンクを動的に生成し、前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間にコンテンツ・リンクが動的に生成されたことに応じて、前記第２のデジタルファイルセグメントを表すキーフレームを表示する。

【0007】

本発明の第２の態様は、第１の態様の方法であって、前記コンピューティング・デバイスが、前記第１および第２のデジタルファイルを分類し、前記第１および第２のデジタルファイルの前記分類に基づいて、前記第１および第２のデジタルファイルのそれぞれをセグメントに分割するためのプロセスを選択し、前記第１のデジタルファイルを、前記第１のデジタルファイルのために選択された前記プロセスによって、前記第１のデジタルファイルセグメントを含む複数のセグメントに分割し、前記第１のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を、認識プロセスを用いて判断し、前記第２のデジタルファイルを、前記第２のデジタルファイルのために選択された前記プロセスによって、前記第２のデジタルファイルセグメントを含む複数のセグメントに分割し、前記第２のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を、認識プロセスを用いて判断し、コンテンツ特徴からセグメントへの前記インデックスを、前記第１のデジタルファイルセグメントの前記少なくとも１つのコンテンツ特徴、および、前記第２のデジタルファイルセグメントの前記少なくとも１つのコンテンツ特徴から生成する、ことをさらに含む。

【0008】

本発明の第３の態様は、第２の態様の方法であって、前記第１および第２のデジタルファイルの少なくとも一方が、少なくとも１つのスライドを含むプレゼンテーション・デジタルファイルに分類された場合、セグメントに分割するための前記プロセスは、分類された当該デジタルファイルを、各々がプレゼンテーション・スライドを含む複数のセグメントに分割することを含む。

【0009】

本発明の第４の態様は、第２の態様の方法であって、前記第１および第２のデジタルファイルの少なくとも一方が、少なくとも１つのスライドを含むプレゼンテーション・デジタルファイル以外に分類された場合、セグメントに分割するための前記プロセスは、分類された当該デジタルファイルを時系列に複数のセグメントに分割することを含む。

【0010】

本発明の第５の態様は、第１〜第４の態様のいずれかの方法であって、前記第１のデジタルファイルの第１のデジタルファイルセグメントの再生中に、前記第１のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を検出することは、少なくとも１つのコンピューティング・デバイスが、前記第１のデジタルファイルの再生中にユーザによって選択されたコンテンツ特徴を受け取ること、を含み、さらに、前記第１のデジタルファイルの再生中にユーザによって選択されたコンテンツ特徴を受け取ることは、前記コンピューティング・デバイスが、前記ユーザが前記第１のデジタルファイルの前記再生を一時停止している間に前記第１のデジタルファイルの前記第１のデジタルファイルセグメントに対して認識プロセスを適用すること、および、前記第１のデジタルファイルの前記第１のデジタルファイルセグメントのうち前記ユーザがユーザ・インターフェイスを用いて選択した領域に対して前記認識プロセスを適用すること、の少なくとも一方を含む。

【0011】

本発明の第６の態様は、第１〜第５の態様のいずれかの方法であって、前記コンピューティング・デバイスが、前記第１のデジタルファイルの前記第１のデジタルファイルセグメントと前記第２のデジタルファイルの前記第２のデジタルファイルセグメントとの間に第２のリンクを動的に生成すること、をさらに含み、前記第２のリンクは、前記第１のデジタルファイルセグメントおよび前記第２のデジタルファイルセグメントにそれぞれ対応付けられたメタデータに基づいて動的に生成され、前記メタデータは、著者情報、タイトル情報、場所の情報、日付の情報、および、時間の情報のうち少なくとも１つを含む。

【0012】

本発明の第７の態様は、第１のデジタルファイルと第２のデジタルファイルとの間にコンテンツ・リンクを生成する装置であって、前記第１のデジタルファイルの第１のデジタルファイルセグメントの再生中に、前記第１のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を検出する、コンテンツ特徴検出部と、コンテンツ特徴からセグメントへのインデックスを用いて、前記第２のデジタルファイルの第２のデジタルファイルセグメントを含む複数のデジタルファイルセグメントを検索する、インデックス検索部と、前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間でコンテンツ特徴が関連する場合に、前記第１のファイルセグメントと前記第２のデジタルファイルセグメントとの間にコンテンツ・リンクを動的に生成する、動的リンク生成部と、前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間にコンテンツ・リンクが動的に生成されたことに応じて、前記第２のデジタルファイルセグメントを表すキーフレームを、表示部に表示させる表示制御部と、を備える。

【0013】

本発明の第８の態様は、コンピュータを、第１のデジタルファイルと第２のデジタルファイルとの間にコンテンツ・リンクを生成する装置として機能させるプログラムであって、前記コンピュータを、前記第１のデジタルファイルの第１のデジタルファイルセグメントの再生中に、前記第１のデジタルファイルセグメントの少なくとも１つのコンテンツ特徴を検出する、コンテンツ特徴検出部と、コンテンツ特徴からセグメントへのインデックスを用いて、前記第２のデジタルファイルの第２のデジタルファイルセグメントを含む複数のデジタルファイルセグメントを検索する、インデックス検索部と、前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間でコンテンツ特徴が関連する場合に、前記第１のファイルセグメントと前記第２のデジタルファイルセグメントとの間にコンテンツ・リンクを動的に生成する、動的リンク生成部と、前記第１のデジタルファイルセグメントと前記第２のデジタルファイルセグメントとの間にコンテンツ・リンクが動的に生成されたことに応じて、前記第２のデジタルファイルセグメントを表すキーフレームを、表示部に表示させる表示制御部と、として機能させる。

【発明の効果】

【0014】

ユーザに面倒な作業を強いることなく、ディスプレイに表示していたコンテンツと関連する他のコンテンツの関連する部分を参照させることができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態におけるユーザ・インターフェイスを示す。

【図2】本発明の実施形態におけるセグメントを提案するためのプロセスを示す。

【図3】本発明の実施形態における、分類に基づきビデオをセグメントに分割するプロセスを示す。

【図4】本発明の実施形態における、顔の特徴に基づいて顔の特徴の検出およびビデオセグメントのインデックスの生成をするプロセスを示す。

【図5】本発明の実施形態の実装に適したコンピューティング・デバイスの例を示す。

【図6】本発明の実施形態のためのハードウェア実装の例を示す。

【発明を実施するための形態】

【0016】

（関連技術について）
自由に情報検索作業を行う中でコンテンツの材料を見つけようとする場合、ユーザは、さまざまな材料にわたって見つけ出されたアイデアやコンセプトを集め、そして合成しなければならない場合が多い。テキスト材料の文脈において、ブラウジングは、複数の文書に対する素早い流し読みと集中的な読み込みの組み合わせによって実現される。実践的には、ユーザには、複数のドキュメントを同時に検索し、調査できることが求められる。

【0017】

関連技術であるビデオ・インターフェイスは、安全監視などのビデオストリームの同期が必要となる特定の状況を除き、ユーザが一度に一つのビデオを見るという前提で開発されてきた。関連技術であるそのようなビデオ・インターフェイスでは、現在見ているビデオ全体との関連性に基づき、追加のビデオをユーザに提案することもある。例えば、ビデオは類似のタイトルや、ビデオに対応付けられているその他の類似のテキスト、例えば著者や要約に基づいて提案されることもある。

【0018】

代わりに、その関連技術では、ビデオは、そのビデオに対して共に好意を表している（あるいは共に単にそれを見た）閲覧者と他の閲覧者との間での特徴の類似性に基づいて提案されることもある。加えて、その関連技術では、ビデオは、そのビデオに関連付けられたメタデータの類似性に基づいて提案されることもある。しかしながら、そのような提案は、ビデオ全体に基づいており、そのような関連技術のシステムは、そのビデオの内部やセグメントに対するアクセスをサポートしていない。さらに、提案を行うために使われるコンテンツの特徴は、最近あるいは現在、ユーザによって見られたということに限られている。

【0019】

関連技術であるビデオサーチ・サイトは、単一のビデオ全体に対応付けられたメタデータに基づき、関連するビデオを提案する。さらに、関連技術であるそれらのサーチサイトは、製作者によって予め定義されたウェブ・リンクや、製作者および／または閲覧者の行動情報に基づいている。

【0020】

関連技術として、あるシステムは、ビデオのコンテンツ、特に、そのビデオに現れる人物の名前を反映した関連ビデオ(あるいは他のメディア)へのリンクを提供する。しかしながら、リンクはあるビデオ全体から他のビデオ全体へのものであり、あるビデオの１つのセグメントから他のビデオの他のセグメントへのものではない。さらに、リンクは、手作業によって(即ち、製作者や閲覧者によって）定義されたテキストのメタデータに基づいて行われる。

【0021】

関連技術として、あるシステムは、ある軸に基づいてビデオセグメントを表示する。この表示において、一つの軸（例えば水平軸）は時間（即ち時系列）を表し、別の軸（例えば垂直軸）はコンテンツに基づく類似性を表す。このシステムにおいて、ユーザは、現時点を起点として、任意の選択された次元（たとえば、時間次元あるいはコンテンツに基づく次元のいずれでも）をもナビゲートすることができる。しかしながら、この関連技術のシステムは、セグメントに基づく解析に極めて限定的であって、フレームが線形にだけ並べられる「スレッド・モデル」に依存している。ここで使われるように、「スレッド・モデル」とは、ユーザが任意の次元において、隣接するオブジェクトだけをナビゲートできるということを意味する（すなわち、ユーザが時間的に次の／前の場面に行くこともできるし、現在の検索に関連して、見かけが似ている、字幕が似ている、あるいは、自動的に判断されたコンセプトが似ている、次の／前の場面に行くこともできる）。この関連技術のシステムにおいて、ビデオの中の重要な領域をユーザに選択させるという機能は無い。さらに一般的には、この関連技術のシステムにおいて、クエリに対する明示的なフィードバックを動的に加える手段は無い。例えば、文字列としての単語を加えることによって推薦文を更新しようとするために、クエリセッションの全体が再実行される必要があり、そのことによって、インターフェイスに現れる全てのランキング(例えばスレッドあたりの)を変更してしまう。関連技術のシステムは、ユーザが結果を見ながら興味の側面を蓄積することによって探索するような、漸進的なアプローチを行わせることはできない。

【0022】

関連技術である、コンテンツベースのビデオ処理システムは、フレームの中で、再生されるビデオの他の場所で出現するかもしれないオブジェクトを指定させる。しかしながら、このシステムは、単にひとつの元のビデオの中でオブジェクトが出現することに基づいて、特別のタイムラインを作成するだけであって、さらには、そのアイデアに対して単なるオフラインの証明しかできておらず、インタラクティブではない。例えば、オブジェクトは、ビデオ全体にわたって複数のシーンで複数回出現してもよい。この関連技術のシステムは、映像中でそのオブジェクトが現れる別の場所をユーザに「再生」させ、提示することができる。しかしながら、この関連技術のシステムは、異なるビデオ間でのリンクを提供することはできず、そして、オブジェクトの出現だけに基づくのであって、その他のコンテンツの特徴には基づかない。実際のインタラクティブなシステムは提供されておらず、フレームやサブフレーム全体に基づいて視覚的特徴（ＳＩＦＴ）に基づくリンクだけが提案されている。

【0023】

その関連技術であるシステムは、デジタル写真を順序付けて、そして、写真の類似性の決定や写真のランク付けをメタデータだけに基づき決定する。しかし、ビデオの順序付けや、写真間の直接のナビゲーションを提供していない。

【0024】

さらに別の関連技術のシステムは、ビデオの中のオブジェクトをユーザに選択させ、そして、そのオブジェクトのリンクを付ける。さらに具体的には、そのオブジェクトは、ビデオ全体にわたって追跡され、そして、そのリンクは、そのオブジェクトがビデオに出現している限り存続する。しかしながら、そのリンクは、ユーザによって手作業で指定されなければならず、さらには、自動的に決定されることもない。

【0025】

別の関連技術のシステムとして、ハイパービデオの再生のためのユーザ・インターフェイスが提供されている（ハイパーリンクビデオ「埋め込みのクリック可能なアンカーを含むビデオストリームの表示」）。再生中に、インターフェイス中に事前に作りこまれたビデオハイパーリンクが現れる。そして、ユーザは、その静的なハイパーリンクを辿ることができる。しかしながら、ハイパーリンクは、動的に生成されるものではない。

【0026】

（実施例）
次に説明する詳細な説明において、同じ機能の要素には同様の番号が指定されることによって、図面への参照が行われる。上記の添付図面は、説明のためであって、限定のためではなく、実施例の思想と整合した具体的な実装を示す。これらの実装は、当業者であれば実施例を実践できる程度に十分詳細に述べられている。他の実装が利用されてもよく、そして／または、この実施例の精神および範囲から逸脱することなく、さまざまな要素の置き換えができることが理解されよう。加えて、この発明のそのようなさまざまな実施例は、説明されるように、汎用コンピュータ上で実行されるソフトウェアとして、専用ハードウェアとして、あるいは、ソフトウェアおよびハードウェアの組み合わせとして実装されてよい。

【0027】

この特許出願の実施例は、ある共通のトピックに関する複数のビデオをブラウズすることを包含する。複数の関連するビデオは、例えば、これに限定されないが、情報検索に関するプレゼンテーションのビデオの集合であってよい（例えば、プレゼンテーション・スライドを含むスライド・プレゼンテーション）し、壁の穴開けに関するハウツービデオの集合であってよいし、誕生パーティーを撮影したホームビデオの集合であってよい。そのような実施例において、ユーザは、その集合からビデオを再生してもよいし、それ以外の異なる関連情報が必要な場合には、そのビデオを一時停止してもよい。例えば、ユーザは情報検索に関するプレゼンテーション・ビデオの集合を所有していてもよい（例えば、１つまたは複数のプレゼンテーション・スライドを含むプレゼンテーション）。ユーザがそのビデオを、例えば、不変特徴量(SIFT: Scale-Invariant Feature Transform)を説明するスライド上で一時停止したならば、ＳＩＦＴ特徴について議論する他のビデオが提案される。

【0028】

これに代えて、ユーザが壁にどのように穴を開けるかについてのビデオをサーチし、ジョイント・ナイフの使い方を説明するフレームで一時停止したら、類似のジョイント・ナイフの動作を示している他のビデオ中の位置(例えば、具体的な時間、フレーム、フレーム中の部分)が提案される。

【0029】

これに代えて、ホームビデオの例で、ユーザは、あるパーティーで撮影されたいくつかのビデオの内の一つを見ており、そして、そのビデオを特定の人物のクローズアップの場面で一時停止してよい。その状況においては、その同じ人物を示す別のビデオが提案されてよい。

【0030】

これに加えて、ユーザは、推奨される関連ビデオの内の一つを選択してよく、そして、そのビデオはリンクされた位置の最初から再生されてもよい（例えば、具体的な時間、フレーム、あるいは、そのフレーム中の位置）。別の実施例において、ユーザは、ハウツービデオの中の興味あるオブジェクトを選択してよい。別の実施例において、ユーザはホームビデオの中である顔を選択してもよい。これらの実施例において、その選択されたものに基づいてリンクが提案されてよい。

【0031】

別の実施例として、ユーザはビデオを一時停止して、そして、フレーム中のコンテンツを選択し、より正確な提案をさせるためにどの特徴が比較の対象とされるべきかを指定してもよい。例えば、プレゼンテーション・ビデオにおいて、ユーザは、単語やフレーズを現在のスライド上で選択してもよい。

【0032】

選択の例としては、カーソルを、表示されているものに合わせる（例えば、マウスを操作して）ことであってよいし、表示されているものにタッチ動作をすることであってよいし、表示されているものの周りを囲うボックスを生成してもよい。別の実施例としては、フレーム中のコンテンツを選択するためにビデオを一時停止することが不要であってもよい（即ち、オンザフライであってよい）。

【0033】

ユーザがビデオの中の単語を提案するような例において、光学文字認識（OCR）が実行され、そして、関連ビデオへのリンクがその提案されたキーワードに基づいて提案されてよい。オブジェクトが選択されるような例において、リンクはＳＩＦＴ特徴に基づいて提案されてよい。人物が選択される例において、リンクは類似の特徴（例えば、顔）に基づいてよい。ある例において、リンクの種類は、ビデオの集合に基づいて選択されてよい。例えば、プレゼンテーション・ビデオは文字列のリンクを用いてよいし、ハウツービデオは、ＳＩＦＴ特徴に基づくリンクを用いてよいし、ホームビデオは、顔認識の特徴に基づいたリンクを用いてよい。これに代えて、ユーザは、選択したコンテンツがマッチする場合に、リンクの種類をさらに指定してもよい。

【0034】

リアルタイムのインタラクションをサポートするためにビデオの集合が指定されると、インデックスが生成されてもよい。たとえば、プレゼンテーション・ビデオの集合において、スライドが抽出されてよく、光学文字認識がされてよく、インデックス付けされてよい。これに代わる例として、ホームビデオの集合（例えば誕生パーティ）において、各ホームビデオの各フレームに対して顔認識が実行され、顔特徴が格納されてもよい。この例において、複数のフレーム(例えば連続)にわたる類似の顔は融合され、そして、各顔に対してインデックスが作られてよい。ハウツービデオの集合の例において、ＳＩＦＴ特徴は、ビデオセグメントの各顔について計算され、または、各ビデオセグメントのある選択されたフレームについて計算される。

【0035】

（ユーザ・インターフェイス）
図１は、ビデオを閲覧し、ブラウズするためのユーザ・インターフェイス１００を示す。ユーザ・インターフェイス１００は、タイムライン１２０を備えたメインビデオプレイヤ・ウィンドウ１０５を有する。タイムライン１２０は、ビデオの製作者によって生成されたブックマーク１７０、１７５を有してよい。ビデオプレイヤ・ウィンドウ１０５の周りの複数の領域（１６０、１８０、１９０、１９５）は、キーフレーム１４０（例えば、ビデオから選択されたフレーム）として示される他のビデオへのアクセスを提供する。ユーザがキーフレーム１４０を選択した場合、そのキーフレームに対応するビデオ１３０は、メインビデオプレイヤ・ウィンドウ１０５に現れ、そして、その前のビデオ１３５は、既に見たビデオのコレクションに含まれる、即ち、既に見られたリストにのる。

【0036】

そのビデオプレイヤ・ウィンドウ１０５の周りのある領域は、ユーザのコレクション１９０である（例えば、図１の「Your Videos」）。ユーザのコレクション１９０は、ビデオセグメント１３０のリスト、および、以前に見られたビデオセグメント１３５の履歴の双方を示してよい。この実施例において、ビデオセグメントは、ユーザからの要求のみによって、ユーザのコレクション１９０に入る。ビデオの提案は動的に行われるので、ユーザは、メインビデオプレイヤ・ウィンドウ１０５の中のビデオの再生が完了する前に、提案されたビデオを選択してよい。そのような場合、メインビデオプレイヤ・ウィンドウ１０５で再生されるビデオは、ビデオセグメント１３５の履歴に移される。その後、ユーザは、ビデオセグメント１３５の履歴の中から以前に見たビデオを選択することができる。さらに、ビデオセグメント１３５の履歴は、ユーザのコレクションのディスプレイ１９０に現れている、ユーザが以前に停止あるいは一時停止したポイント１５５から、ビデオを再生させることもできる。

【0037】

ビデオプレイヤ・ウィンドウ１０５の周りの第２の領域１９５は、関連するビデオが提案される、提案ビデオ領域である。他のビデオ１４０に対するこれらの提案は、メインビデオプレイヤ・ウィンドウ１０５の中で現在見られているビデオに関連し、そして、以前に見られたビデオ１３５に関連している。ある実施例において、ユーザは、提案されたビデオをすぐに選択してもよい。これに代えて、チェックボックス１４５によって、ユーザは、その提案されたビデオを、これから見る順番待ちのビデオセグメントのリストに追加してもよい。

【0038】

第３の領域１６０は、タイムライン１２０と、メイン・ビデオ・プレイヤ１０５で再生される現在の再生位置におけるコンテンツ１１５、１２５に基づいて抽出された情報１６５、２００（例えば顔やテキストフレーズなどの）と、によって構成される。１つの実施例において、ユーザは、画像１６５、２００を選択することによってその抽出されたコンテンツ情報を選択する、即ち、タイムライン１２０の下の領域から表示されたテキスト２０５を選択することができる。これに代えて、ユーザは、メイン・ビデオ・プレイヤ・ウィンドウ１０５の中の囲いの箱１１０のようなオブジェクトを生成してもよい。その囲いの箱１１０の中から抽出された項目は、参照符号１６５によって示されるように、選択されたものとしてマークされ、そして、タイムラインの下に示されてよい。ユーザは、また、関連を示すために、製作者が生成したブックマーク１７０のタイトルを選択してもよい。

【0039】

図１の第４の領域１８０は、「グローバルビデオコンテキスト」領域１８０であり、ビデオ全体に対し顔やオブジェクト２１０や、テキストフレーム２１５を含んでいてよい。たとえば、第４の領域１８０は、このビデオに付随する要約文から抽出されたタイトルやテキストフレーズなどの情報を含んでよい。これらの大域的な項目（顔／オブジェクト２１０およびテキストフレーズ２１５）はそれら自体では提案を提示しなくてよい一方で、再生中のビデオセグメントから抽出された局所的な項目（例えば、画像／顔１６５、２００およびテキスト２０５）との組み合わせに用いられてよい。たとえば、「Ｂｉｋｅ（自転車）」という大域的な単語は、「Ｗｈｅｅｌ（車輪）」という局所的な単語との組み合わせで用いられ、「ＢｉｋｅのＷｈｅｅｌ（自転車の車輪）」というビデオセグメントを見つけるために用いられてよい。ある実施例においては、大域的な項目を非選択にするオプションがユーザに与えられてもよい。

【0040】

ビデオセグメントの表現には、いくつかの形があってよい。サンプルのキーフレーム１４０は、ビデオからの画像であってよいが、それは、再生位置から取得されたものであっても、ビデオセグメントを表すものであっても、どちらでもよい。これに代えて、ある実施例においては、ビデオセグメントから取得したいくつかのキーフレームを組み合わせたキーフレームコラージュが、そのビデオセグメントの表現として使われてもよい。そのようなキーフレームコラージュの例は、４つのコラージュの形式であってもよいし、小さな漫画風コラージュであってもよいし、ステンドグラス風コラージュであってもよいし、その他当業者に知られた形の画像の組み合わせであってよい。

【0041】

これに代えて、ある実施例においては、そのビデオのいくつかのキーフレームが、常に、あるいは、ユーザのカーソル移動やマウス移動、あるいは、スタイラスの移動に応じて、順番にアクティブになって表示されてもよい。

【0042】

これに代えて、ある実施例において、ビデオプレイヤは、提案されたビデオセグメント１４０を、（例えば、ミニ・プレイヤ（メイン・プレイヤ・ウィンドウ１０５よりも小さいもの）として）ある定まった位置にて、その提案されたビデオセグメントをメイン・ビデオ・プレイヤに移動させること無く再生することをサポートしてもよい。ミニ・プレイヤのためのタイムラインなどの制御部は、ユーザがそのミニ・プレイヤとやり取りをするまでは表示されなくてよい。同時に、ユーザに、定位置の再生がサポートされていることが知らされてよい。例えば、再生をサポートするミニ・ビデオ・プレイヤは、１つまたは複数のキーフレームを表示するように設定されてよく、しかしながら、カーソル移動、マウス移動（デスクトップ上での）あるいはスタイラス移動（タブレット上での）がキーフレーム１４０に対して実行されると、そのキーフレームがミニ・プレイヤに形を変えてよい。これに代えて、ある実施例において、タブレットに対する長押し（ボタンやオブジェクトを長い期間押し続けること。当業者には知られている。）が再生を開始させてもよいし、再生ボタンがキーフレームの角に提供されてもよい。そのような実施例において、ミニ・プレイヤのタイムラインはビデオを再生するという要求があるまでは不可視であってよい。

【0043】

これに代えて、ある実施例においては、ミニ・ビデオ・プレイヤを直接提供するのに代えて、階層的なキーフレームのブラウズがビデオの再生開始点を見つけるために使われてもよい。即ち、ユーザにビデオの再生開始位置を選択させるため、複数のキーフレームを提供してよい。ブラウザは、ビデオをブラウズできるよう、少なくとも３つか４つの画像の広さを有してよい。あるプロセスは、キーフレームの大きさを変えさせて、単一のキーフレームから異なるスペースを使ってもよい。これに代えて、キーフレームは、ウィジェットなどのポップアップを、ユーザのジェスチャに応じて起動させてもよい。これに代えて、提案ビデオ１４０がそれぞれの提案ビデオ１４０について信頼できる再生開始位置１５０を有している場合には、キーフレーム・ブラウザは必須でなくてよい。

【0044】

関連するコンテンツを探すことについて、ある実施例は、ユーザによる操作を考慮に入れてもよい。例えば、ビデオを一時停止することは、ユーザによる興味を示すと解釈することができ、そして、あるセグメントを複数回再生することは、非常に大きな興味と解釈されてもよい。これに代えて、抽出された項目を選択することは、既に議論したとおり、さらに強い興味を示しているかもしれない。そのような興味についてのさまざまな表現が、ユーザがどのようにビデオとやり取りするかに基づいて関連する素材を強調するために使われてよい。

【0045】

（関連ビデオ提案プロセス−概要）
実施例によれば、関連するコンテンツ間のリンクの動的な生成により、ユーザがビデオの再生を見るに当たり、閲覧の提案を実現することができる。このような動的な生成は、ある同一の元ビデオの中の複数のビデオセグメントの関係を特定するという自動解析の目的で行われてよいし、さらに、異なる元ビデオのビデオセグメント間の関係を解析するという目的で行われてもよい。これは、ビデオを複数のユニット（セグメント）にセグメント分けすることによって実現される。セグメント分けのあと、コンテンツについて利用可能な特徴（例えば、テキストまたはオーディオの特徴、顔の特徴、あるいは、ビデオから抽出可能なオブジェクトの情報）だけでなく、そのビデオに関連付けられた利用可能なメタデータが収集され、インデックスの中で対応するセグメントに関連付けられてよい。関連セグメントは、コンテンツの特徴やメタデータのその対応する集合やインデックスを解析することによって特定され、そして、ユーザに対し再生中に提案される。

【0046】

図２は、少なくとも１つの実施例において、セグメントを提案するプロセスＳ２００ の例を示す。Ｓ２１０において、ビデオが１つまたは複数のセグメントに分割される。セグメント分けのプロセスの例は、下記で詳しく議論される。ビデオが１つまたは複数のセグメントに分割されると、各セグメントは、Ｓ２１５において、１つまたは複数のコンテンツ特徴を抽出するために解析される。セグメント解析のプロセスの例は下記で詳しく議論される。１つまたは複数のセグメントが、１つまたは複数のコンテンツ特徴を抽出するために解析された後に、１つまたは複数のセグメントのコンテンツ特徴のインデックスが、Ｓ２２０において生成される。Ｓ２２５において、ビデオの再生中に、現在再生中のセグメントが解析され、コンテンツ特徴が抽出される。Ｓ２３０において、Ｓ２２０において生成されたコンテンツ特徴のインデックスを使って、現在再生中のセグメントについて抽出された特徴に類似するコンテンツ特徴を有するセグメントが、再生のために提案される。この例示プロセスの複数のステップは下記にて詳しく議論される。

【0047】

（セグメント分け、コンテンツ特徴抽出、および、インデックスの生成 - ビデオ中のテキスト）
図３は、上記Ｓ２１０において行われたビデオを複数のユニットにセグメント分けすると共に、上記Ｓ２１５にて行われた、セグメントのそれぞれからコンテンツの特徴（例えば、テキストやオーディオの特徴、顔の特徴、興味ある部分領域の選択、あるいは、ビデオから抽出可能なオブジェクトの情報など）を抽出するアプローチのフローチャートを示す。ビデオのセグメント分けに関するこの実施例で、Ｓ３００において、初期のジャンルによるクラス分けがビデオに対して行われる。たとえば、ある実施例において、ビデオはプレゼンテーション・ビデオと非プレゼンテーションのビデオにクラス分けされてよい。このジャンルによるクラス分けによって、プレゼンテーション・ビデオを見ている間に動的にリンクを生成させることができる。インターネット上に分散しているプレゼンテーション・ビデオのための公知のサーチエンジン（特許文献１）は、あるビデオがプレゼンテーション・スライドを含んでいる可能性が高いかどうかを判断する自動分類機能を含む。そのような分類機能は、このプロセスの第１の段階（Ｓ３００）で使われてよい。

【0048】

ビデオが分類された後に、Ｓ３０５において、ビデオが予め指定された指標に合致するか（例えば、ビデオがプレゼンテーション・ビデオか）が判断され、そのＳ３０５における判断に基づいてＳ３０５に続いて、２つの内一方の処理経路が選択される。

【0049】

Ｓ３０５における判断でビデオがプレゼンテーション・スライドを含むプレゼンテーション・ビデオであると判断されると（例えば、Ｓ３０５において「YES」）、スライドに基づくセグメント分けプロセスがＳ３１０において適用され、そして、そのプレゼンテーションを複数のセグメントに分割するために使われる。例えば、プレゼンテーションは、それぞれが１つのスライドを含む複数のセグメントに分割されてよい。ある実施例において、スライドの移行、すなわち、複数のスライドを分割するためのスライドの変更を判断するための公知の技術を用いて、ビデオの中の動きが自動的に検出されてもよい。しかしながら、当業者にとって明らかなように、それに代えて、１つまたは複数の代替のセグメント分けプロセスが用いられてもよい。

【0050】

プレゼンテーションが複数のセグメントに分割されると、各セグメントは、Ｓ３１５において、コンテンツの特徴を抽出するために解析される。

【0051】

ある実施例は、ビデオレベルのメタデータだけでなく、さらに、セグメント・レベルのコンテンツ特徴を使って、関連ビデオの提案を行ってよい。インターネット上に分散されたビデオを説明するビデオレベルのメタデータの情報源としてよく使われるのは、ビデオのウェブ・ページに現れるテキストである。たとえば、多くのビデオは説明（例えば、タイトルや製作者）や要約を伴い、それらは、有用ではあるが限られたテキストをビデオレベルのインデックス付けのために提供する。提供され、または、類似するビデオは、そのビデオレベルのメタデータおよびユーザーログに基づいて利用可能になってもよい。ウェブ・ページ上で検出されたテキストは、ビデオ全体に対して大雑把な類似性を示すことができるが、個別セグメントやスライドの解析によって、単一ビデオ内の、あるいは、複数の互いに異なるビデオにわたる、ビデオセグメントの間のより確かな類似性が提供される。ビデオレベルのメタデータの例は、これに限定されないが、ビデオタイトル、ビデオの製作者、テキストによる要約文、あるいは、製作者によって提供されたキーワードを含んでよく、さらには、ビデオが地理的にどこで撮影されたかについての情報（全地球測位システム（ＧＰＳ）など）をさらに含んでよい。ユーザによって提供されたタグや分類（すなわち、ＹｏｕＴｕｂｅ（登録商標）などのウェブサイトから得られたもの）や、閲覧可能なコメントがさらに用いられてよい。ウェブ・ビデオに対しては、その他の、リンクに基づく情報がさらに用いられてよく、ビデオＵＲＬにおける任意のその他の情報が用いられてもよい。

【0052】

ある実施例においては、各セグメントについて、スライドに現れるテキストを収集するために、Ｓ３２０において、ＯＣＲ技術を用いてもよい。これに加えて、ある実施例では、声の情報を抽出するために、Ｓ３２０において、自動音声認識技術（ＡＳＲ）が採用されてもよい。さらに、スライドに現れるＵＲＬテキストが、光学文字認識技術を用いて、Ｓ３２０においてさらに検出されてよい。

【0053】

これに加えて、ある実施例では、テキスト以外のコンテンツのため、例えば、興味の対象がオブジェクトである場合のために、下記に議論されるように、オブジェクト認識技術や顔認識技術を用いて、スライドの画像を検出し、そして、各スライドセグメントを処理してよい。

【0054】

上述のセグメント分けおよび解析により、各プレゼンテーション・ビデオを自動的に検出したスライドに基づき時系列にセグメント分けすることができる。スライドに基づく各セグメントは、スライドテキストに対応付けられてもよいし、話されるテキストに対応付けられてもよいし、利用可能ならばＵＲＬのテキストに対応付けられてもよいし、さらに、検出された任意のスライド画像と対応付けられてもよく、これによって、リンクを生成し、そして関連ビデオを提案するために用いられる検索インデックスを作ることができる。光学文字認識、自動音声認識、あるいは、オブジェクト／顔認識技術といった当業者に知られた技術が採用されてよく、それらは、ここで述べられた具体的な技術に限定されるものではない。

【0055】

他の実施例において、ユーザは、興味あるテキストを指し示すために、興味あるテキストの周りに囲いの箱を作ってもよいし、タッチパッドにおいて選択のためのタッチを実行してもよいし、あるいは、スライドの領域の上にカーソルを重ねてもよい。ＯＣＲ技術がその検出された囲い箱の中に適用されてもよく、それにより、あるキーフレームの空間的な領域に、そのＯＣＲによって抽出された具体的なテキストを関連付けることができる。この情報を用いて、検索インデックスに対する語句のクエリ（複数のビデオにわたるものであっても、単一のビデオ内に対するものであっても）が自動的に表示されてよい。

【0056】

Ｓ３０５において、ビデオがプレゼンテーション・ビデオではないと判断されると(例えば、Ｓ３０５における「No」)、ビデオは、非プレゼンテーションのビデオに分類される。非プレゼンテーションのビデオは、スライドを含んでいなくてよく、そのため、一般の、場面セグメント分けプロセス、あるいは、一般の、場面セグメント分けアルゴリズムが、Ｓ３２５において適用される。例えば、特許文献２が、適用可能な場面セグメント分けアルゴリズムを説明する。これに代えて、当業者に知られている場面セグメント分けアルゴリズムが使われてもよい。

【0057】

ビデオがセグメント分けされると、コンテンツ特徴がＳ３３０において各セグメントから抽出される。そのようなビデオに対して、セグメント・レベルのメタデータの元として、上述したように、Ｓ３３５において自動音声認識技術を用いて抽出された話し言葉のテキストが用いられてよい。さらに、ある状況においては、ビデオが放送のコンテンツを含む場合などのように、話し言葉のテキストとして、字幕の情報が、セグメント・レベルのメタデータの元としてさらに使われてもよい。

【0058】

ユーザによって生成されたコンテンツのため、各セグメントをインデックス付けするため、他にも利用可能なものがある。たとえば、ある実施例においては、生物学的データ（例えば、顔の特徴）が、ユーザによって生成されたコンテンツにおいて検出されてよく、そして、そのような検出された顔は、Ｓ３３５ において、コンテンツを組織化するのに使われる。検出されたオブジェクトに関してセグメントを組織化するアプローチとしては、同様の他の技術をもちいることもできる。さらに、上述のように、ユーザは、カーソルを手作業で移動させ、または、タッチスクリーンにおいてタッチによる選択を実行し、あるいは、囲いの箱を生成することで興味のあるオブジェクトを特定してよく、そして、その後、類似の処理が採用されてよい。

【0059】

全てのビデオに対するメタデータの元として、さらに、ユーザが提供したブックマークを用いることもできる。例えば、ブックマークは、ユーザによってさまざまな箇所に作られることができる。これらのブックマークは、テキストによる注釈や、識別された顔やオブジェクトにリンク付けされてよく、このように、この情報は、ビデオセグメントをリンクでつなぐためのメタデータとしてたやすく組み込むことができる。さらに、ブックマークはそれ自体が他のビデオセグメントに対して直接にリンクすることができ、これによって、このシステムの性能がさらに影響を受けるかもしれない。

【0060】

非プレゼンテーションのビデオについて、テキストが出現する限りにおいて、一般の場面分けの結果に対してＯＣＲが再度適用されてもよい。例えば、放送されるニュースの映像に重ねて表示されるテキストを解析して、具体的な話題に関するセグメントを識別してもよい。これに加えて、フレームの下部に沿って表示されるバナーやティッカー（一行でニュースを表示するもの）はテキストであるかもしれないので、それらが解析されてもよい。しかしながら、非プレゼンテーションのビデオにおいて、信頼できるテキストが見つからないことがしばしばであって、したがって、ビデオの提案を行うためには各セグメントをＯＣＲで処理することは有用でないかもしれない。セグメント・レベルでのテキストの利用可能性は限られているが、この問題を緩和するためのいくつかの選択肢が存在する。テキストの存在可能性の低さを克服する１つの方法として提案されているのが、特許文献１である。これは、時系列的に長い期間（たとえば、複数のセグメントをカバーする期間）における全てのテキストを用いて、ある個別のセグメントからのテキストを、時系列的に近いセグメントからのテキストで補完する。代替の方法として、ビデオ（あるいはトピック）のレベル、および、セグメントのレベルの双方を組み合わせて、複数のレベルのインデックスを用いてもよい（特許文献１において議論されている。）。この代替策によって、階層的セグメント分けが可能になり、コンテンツに基づく類似性（即ちトピックセグメンテーション）に基づく不均一な時系列ウィンドウに対しテキストを加えてもよい。

【0061】

これらのいずれのアプローチも、現在のセグメント内の、あるいは、現在のセグメントと時間的に近くにおいて検出されるテキストを強調する重み付けの手段をさらに用いてもよい。さらに、これらを組み合わせたアプローチも、現在興味のあるセグメントを強調するような第２の重みを用いた、ビデオレベルの手動で作られたメタデータ（例えばビデオのＵＲＬから）を、そのビデオ自体から自動的に抽出されたテキストと重み付けをして組み合わせた手段を用いてよい。非プレゼンテーションのビデオのためには、当業者には明らかであるが、自動音声認識技術（ＡＳＲ）（あるいは、利用可能ならば字幕を用いてよい）から抽出されたテキストに、一般的なビデオ場面セグメント分け技術を組み合わせることによって、類似の処理が実現されてもよい。

【0062】

（セグメント分け、コンテンツ特徴の抽出、および、インデックス生成 - ビデオ内のオブジェクト）
テキストに基づいた特徴抽出に加えて、ある実施例においては、関連するビデオが、コンテンツにおける類似するオブジェクトの特徴に基づいて特定されてもよい。例えば、コピー機の修理のビデオは、同じコピー機を何度も表示する。この実施例において、関連するビデオへのリンクは、現在のビデオの中で選択されたオブジェクトに基づいて生成されてよく、それは、２次元の局所的な特徴（たとえば、選択したオブジェクトのＳＩＦＴのような）に基づいて決定されてよい。

【0063】

この実施例において、コレクション中の各ビデオは、上述のように、場面分けアルゴリズムを用いてセグメント分けされてよい。各セグメントの各フレーム中のオブジェクトは、前景／背景のセグメント分けを用いて検出され、セグメント全体にわたって追跡される。セグメント中の各オブジェクトへのインデックスは、その後、そのビデオセグメント中のオブジェクトの近傍における２次元の局所的特徴を計算することによって作られる。あるビデオセグメントに現れるオブジェクトの出現回数に基づいて、異なる特徴には異なる重み付けが与えられてもよい。さらに、局所的な特徴が類似する隣接したセグメント内のオブジェクトは統合されてもよい。インデックスが作られると、局所的な記述子が生成され、そして、ＡＮＮ(Approximate nearest neighbor)ツリーあるいはハッシュ表に挿入される。

【0064】

ある実施例において、ユーザが再生中のあるビデオのあるオブジェクトに興味がある場合、そのユーザは、そのフレームにおけるそのオブジェクトの領域を指し示してよい（一時停止がある実施例においては実行されてよいが、それは必須ではない）。その選択されたオブジェクトに対する２次元の局所的特徴量が、そのビデオシーケンスの中におけるそのオブジェクトの近傍においてその後計算されて、ＡＮＮツリーやハッシュ表の中で検索される。マッチすると、マッチした特徴についての幾何学的な検証が行われてもよい。それには、たとえば、局所的特徴の見かけとその幾何学的特徴に基づいたマッチを実現する、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムが用いられてよい。しかしながら、見かけのマッチングは、ＲＡＮＳＡＣアルゴリズムを用いたものに限定されず、したがって、見かけマッチングを得るためには、ＲＡＮＳＡＣアルゴリズムと組み合わせて、あるいは、これに代えた、代替の方法をとることもできることが、当業者に明らかである。

【0065】

（コンテンツの特徴抽出- ビデオ内の顔）
ある実施例において、ビデオ内に現れる人物の見かけは、当業者に明らかなように、豊富な情報を含んでいる。生物的情報の検出および診断は、オブジェクト検出の特別な領域と考えられている。生物学的情報の検出技術の一つの例は、顔認識および顔検出であってよい。図４は、ある実施例において、顔の特徴を検出し、そして顔の特徴に基づいてビデオのセグメントのインデックスを生成する処理の例を示す。顔認識と顔検出を組み合わせることで、ビデオに現れる顔は関連する（類似の）顔を含む他のメディアに対するリンクを作るために用いることができる。

【0066】

これを実現するため、ビデオにおける顔の見かけがビデオの中で特定されなければならない。これには、少なくとも１つのフレームの中で、（顔検出方法によって）顔の見かけを検出し、その後に、Ｓ４１０において、そのビデオの中で検出された顔の見かけおよび動きを追跡することで、顔の見かけの時系列的な様子を判断することが必要である。例えば、ビデオの全てのフレームにおいて顔検出機能が実行されてもよいし、そして、後続のフレームの同じ領域において検出された顔は、１つの見かけにグループ化されてもよい。ある実施例において、あるビデオの中の空間的時間的な顔の追跡には、ビデオの中の一般のオブジェクト追跡を設計する当業者にとって知られたアルゴリズムが用いられてもよい。

【0067】

ある実施例において、顔の追跡解析の結果は、個別の顔の見かけについての、時間および空間のリストになるであろう（Ｓ４１５）。この情報は、顔の見かけについての時間およびフレームの座標における完全な記述を含み（Ｓ４２０）、あるいは、ビデオの場面境界によるセグメント分けのような、その他のいくつかのセグメント分けと関連付けられてもよい。区別された見かけは、顔認識やその他の視覚的類似判断方法を用いてリンクされてもよい（Ｓ４２５）。このリンクは、特定の人物を明確に認識することと、認識された人物の名前を手続きにおけるビデオセグメントと関連付けることとを含む（Ｓ４３０）。この場合、顔に割り当てられた名前は、カテゴリとなり、そして、その名前は、類似のカテゴリに分類された他のメディアとリンクされてもよい。

【0068】

これに代えて、メディアの間のリンクは、同一人物についての個別の複数回の見かけを認識することによって作られてもよい（Ｓ４３５）。これは、つまり、問題となっている各顔を名前によって明示的にラベル付けすることなく、複数回の顔の出現の間で類似性を見積もるという、顔類似性の指標を用いて行われてもよい（Ｓ４４０）。これによって、似ているがラベル付けされていない顔をリンクすることができる。この種の類似性指標は、あるビデオにおけるさまざまな顔の出現を、同じ人物による出現を統合するクラスタ分けのために使われてもよい（Ｓ４４５）。これにより、ビデオは、顔の出現のリストが完全にクラスタ分けされずにおかれるのではなく、出演者のリストによってリンクされることになる。

【0069】

顔抽出、顔追跡、顔認識、そして、顔のクラスタリングについての、当業者にとって知られた技術が使われてよく、そして、さまざまな代替が当業者にとって明らかである。

【0070】

（再生中のコンテンツ特徴の分析およびセグメントの提案）
各セグメントから全てのコンテンツ特徴が抽出されると、検索インデックスが、その抽出されたコンテンツ特徴だけでなく、各セグメントについての利用可能なデータにも基づいて生成される。

【0071】

再生中に、その抽出されたコンテキスト特徴および再生中のセグメントのメタデータは、さまざまなテキストのカテゴリ分けおよび検出の技術を用いて、類似性を判断するために用いられてよい。例えば、現在再生中のセグメントに対応付けられたコンテンツについて抽出された特徴は、他のセグメントを含む検索インデックスへのクエリとして用いられてよい。クエリに基づいて、利用可能なセグメントは、インターフェイスに表示されるテキストに基づく類似性（例えばＴＦ/ＩＤＦ(Term Frequency/Inverse Document Frequency)）に基づいてランク付けられてよい。線形の単純な重み付けが、さまざまな属性、例えば、顔の出現／非出現、場所、および、イベントなどを組み合わせてセグメントをインタラクティブに並べるために用いられてよい。

【0072】

（コンピューティング・デバイスおよび環境の例）
図５は、発明を実施するための形態を実装するのに適したコンピューティング・デバイス（計算処理装置）の例を示す。コンピューティング環境（計算処理環境）５００の中のコンピューティング・デバイス５０５は、１つまたは複数の処理ユニット、処理コア、もしくは、プロセッサ５１０と、メモリ５１５（例えば、ＲＡＭやＲＯＭのようなもの）と、内部ストレージ５２０（例えば、磁気的、光学的、ソリッドステートのストレージ、および／または有機的なストレージ）と、Ｉ/Ｏインターフェイス５２５とを備え、それらの全ては通信メカニズム、例えばバス５３０に接続されて情報の通信を行う。

【0073】

コンピューティング・デバイス５０５は、入力／ユーザ・インターフェイス５３５および出力・デバイス／インターフェイス５４０に通信可能に接続されてもよい。入力／ユーザ・インターフェイス５３５および出力・デバイス／インターフェイス５４０の少なくとも一方は、有線あるいは無線のインターフェイスによって接続されてもよいし、取り外し可能であってもよい。入力／ユーザ・インターフェイス５３５は、入力機能を提供する如何なるデバイス、コンポーネント、センサー、あるいは、インターフェイスであってよく、それは、物理的なものでも仮想的なものでもよい（例えば、キーボード、ポインティング／カーソル装置（例えばマウス）、マイク、カメラ、点字キーボード、モーションセンサ、および／または、光学読み取り機のようなもの）。出力・デバイス／インターフェイス５４０は、ディスプレイ、モニタ、プリンタ、スピーカ、または点字プリンタのようなものであってよい。ある実施例では、入力／ユーザ・インターフェイス５３５および出力・デバイス／インターフェイス５４０は、コンピューティング・デバイス５０５に埋め込まれ、あるいは、物理的に接続されてよい(例えば、ボタンやタッチスクリーンの入力／ユーザ・インターフェイスを備えたモバイルデバイス、ディスプレイやプリンタ、テレビなど)。

【0074】

コンピューティング・デバイス５０５は、外部ストレージ５４５およびネットワーク５５０に接続され、同一または異なる設定を有する１つまたは複数のコンピューティング・デバイスを含む、如何なるネットワークコンポーネンツ、デバイス、および、システムと通信してもよい。コンピューティング・デバイス５０５や接続しているその他のデバイスは、サーバ、クライアント、シン・サーバ、汎用機、専用機、その他として機能し、それらのサービスを提供し、あるいは、それらとして参照されてよい。

【0075】

Ｉ/Ｏインターフェイス５２５は、有線または無線の、如何なる通信あるいはＩ/Ｏのプロトコルまたは規格（例えば、イーサネット（登録商標）、８０２．１１ｘ、ユニバーサル・シリアル・バス（ＵＳＢ）、ＷｉＭＡＸ、モデム、携帯電話ネットワークプロトコルなど）を用いて、コンピューティング環境５００に接続された全てのコンポーネント、デバイス、そして、ネットワークと相互に通信してよいが、これらに限定されない。ネットワーク５５０は、如何なるネットワークであってもよく、あるいは、ネットワークの組み合わせであってよい（たとえば、インターネット、局所ネットワーク、大域ネットワーク、電話のネットワーク、携帯電話のネットワーク、衛星通信のネットワークなど）。

【0076】

コンピューティング・デバイス５０５は、状態遷移が可能（一時的）あるいは不能（非一時的）なものを含む、コンピュータによって利用可能あるいは読み出し可能なメディアを用いてよく、または、これらを用いて通信してよい。状態遷移可能なメディアは、伝送媒体（例えば、金属ケーブルや光ファイバー）、信号、伝送波などであってよい。状態遷移が不能なメディアは、磁気メディア（例えばディスクやテープ）、光学メディア（例えばＣＤ ＲＯＭ、デジタルビデオディスク、ブルーレイ・ディスク）、ソリッド・ステートメディア（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステート・ストレージ）、および、その他の不揮発性のストレージやメモリであってよい。

【0077】

コンピューティング・デバイス５０５は、少なくとも１つの実施例、例えばここで説明された実施例を実装するための、技術、方法、アプリケーション、プロセス、あるいは、コンピュータにより実行可能な命令列を実装するために用いられてよい。コンピュータにより実行可能な命令列は、状態遷移が可能なメディアから読み出され、状態遷移が不能なメディアに格納され、そして、状態遷移が不能なメディアからさらに読み出されてよい。実行可能な命令列は、如何なるプログラム言語、スクリプト言語、機械語（例えば、Ｃ、Ｃ＋＋、Ｃ♯、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）、およびその他）から生成されてよい。

【0078】

プロセッサ５１０は、現実の、あるいは仮想的な環境において、如何なるオペレーティングシステム（ＯＳ）(不図示)の下で実行されてもよい。ここで説明した実施例を実装するために、ロジック・ユニット５６０、アプリケーション・プログラミング・インターフェイス（ＡＰＩ）・ユニット５６５、入力部５７０、出力部５７５、セグメント分け部５８０、コンテンツ抽出部５８５、インデックス部５９０、提案部５９９および、異なる構成要素が相互に、あるいは、ＯＳと、あるいは、さらに別のアプリケーション（不図示）と通信するための相互通信メカニズムを含む、１つまたは複数のアプリケーションが配置されてよい。例えば、セグメント分け部５８０、コンテンツ抽出部５８５、インデックス部５９０、および、提案部５９９は、図２、３および４にて示した１つまたは複数のプロセスを実装してよい。説明した部材や要素は、設計、機能、設定、あるいは、実装の上で異なってもよく、ここで説明したものには限定されない。

【0079】

本発明のある実施例は例えばコンピュータ上で動作するソフトウェアとして実装されてよいが、これに限定されるものではない。図６は、ある実施例のハードウェアによる実装の一例を示している。

【0080】

図６には、コンテンツ・リンクを生成するコンテンツ・リンク生成装置６００が示されている。コンテンツ・リンク生成装置６００は、コンテンツ特徴検出部６０５、インデックス検索部６１０、動的リンク生成部６１５、表示部６２０、および、表示制御部６２５を備え、これら全ては通信可能に接続されている。コンテンツ特徴検出部６０５は、上述のように、図２、３、および４の中で示された１つまたは複数のプロセッサを用いて、第１のデジタルファイル中のデジタルセグメントの再生中に、デジタルファイルの第１のデジタルファイルセグメントのコンテンツ特徴を検出するように制御されてよい。同様に、インデックス検索部６１０は、上述のように、図２、３、および４の中で示された１つまたは複数のプロセスを用いて、１つまたは複数のデジタルファイルの複数のセグメントのコンテンツ特徴を検索してよいし、動的リンク生成部６１５は、ファイルセグメントのコンテンツ特徴が相互に関連している場合に、デジタルファイルに基づくセグメント間にリンクを生成してよい。これに加えて、表示制御部６２５は、動的リンク生成部６１５によって生成されたリンクに基づいて１つまたは複数のビデオセグメントを表すキーフレームを表示部６２０に表示させるよう、制御してもよい。表示部６２０は、特に何かに限定されているわけではなく、ＬＣＤディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、そして、陰極線管（ＣＲＴ）ディスプレイなどを含んでよいが、これらに限定されるわけではないことが当業者にとって明らかであろう。

【0081】

これに加えて、コンテンツ・リンク生成装置６００は、ファイルセグメント分け部６３０を有してもよく、これにより、上述したように、図２〜４に示した１つまたは複数のプロセスを用いて、デジタルファイルを１つまたは複数のセグメントに分割することができる。コンテンツ・リンク生成装置６００は、他の実施例として、上述のように、デジタルファイルの複数のセグメントの内の１つから少なくとも１つのコンテンツ特徴を判断する（あるいは抽出する）、コンテンツ特徴判断部６３５をさらに含んでよい。さらに、コンテンツ・リンク生成装置６００は、他の例として、上述のプロセスを用いて、デジタルファイルの複数のセグメントから判断（あるいは抽出）されたコンテンツ特徴のインデックスを生成するインデックス生成部６４０をさらに含んでよい。さらに、他の実施例として、コンテンツ特徴判断部６３５は、上述のプロセスの内の１つを用いて、ユーザ６６０によって選択されたコンテンツ特徴６６５を受け取るコンテンツ特徴受け取り部６５５をさらに含んでよい。

【0082】

コンテンツ・リンク生成装置６００は、ある実施例においては、上述の図２〜４にて示した様に、既に議論したプロセスを用いてデジタルファイルを分類するデジタルファイル分類部６４５を含んでよいし、そのデジタルファイルの分類に基づいてデジタルファイルを複数のセグメントに分割するために用いられるセグメント分けプロセス（図２〜４にて示され、かつ上述されたプロセス）を選択する、セグメント分けプロセス選択部６５０を有してよい。

【0083】

いくつかの実施例が示され、説明されたが、これらの実施例は、ここで述べられた主題をこの分野に詳しい方々に説明するために提供されるものである。ここで説明された主題は、ここで説明された実施例に限定されること無くさまざまな形で実施化されうることが理解されるべきである。ここで述べられた主題は、これら具体的に定義された、あるいは、説明された事柄を伴わなくても実施化でき、あるいは、ここで述べられなかった他のあるいは異なる要素や事柄を伴って実施化されうる。この分野に詳しい方々には、そのような変更が、ここに添付されたクレームやその均等範囲によって定義され、ここで述べられた主題から逸脱することなく、この実施例の中で可能であることを理解しよう。

【0084】

この実施例に関連する複数の側面について、部分的には上述の説明の中で説明されてきており、部分的には上述の説明から明らかなはずであり、また、本発明の実施化から理解されうる。本実施例の複数の側面は、さまざまな要素や詳細な説明および添付のクレームにおいて特に指摘した側面の組み合わせから実現あるいは達成されてよく、さらに、さまざまな要素からなる方法によって、実現あるいは達成されてもよい。

【0085】

上述の説明は、例示あるいは説明のためだけであって、限定を意図したものではないことが理解されよう。

【符号の説明】

【0086】

５０５ コンピューティング・デバイス
６００ コンテンツ・リンク生成装置
６０５ コンテンツ特徴検出部
６１０ インデックス検索部
６１５ 動的リンク生成部
６２５ 表示制御部

【図2】

【図3】

【図4】

【図5】

【図1】

【図6】