特許 6268191 送信方法、受信方法、ビデオ装置およびデータベース・システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6268191

(24)【登録日】2018年1月5日

(45)【発行日】2018年1月24日

(54)【発明の名称】送信方法、受信方法、ビデオ装置およびデータベース・システム

(51)【国際特許分類】

   H04N 21/4725 20110101AFI20180115BHJP

   H04N 21/858 20110101ALI20180115BHJP

【ＦＩ】

   H04N21/4725

   H04N21/858

【請求項の数】15

【全頁数】18

(21)【出願番号】特願2015-553058(P2015-553058)

(86)(22)【出願日】2014年1月14日

(65)【公表番号】特表2016-507187(P2016-507187A)

(43)【公表日】2016年3月7日

(86)【国際出願番号】EP2014050593

(87)【国際公開番号】WO2014111377

(87)【国際公開日】20140724

【審査請求日】2017年1月12日

(31)【優先権主張番号】13305071.6

(32)【優先日】2013年1月21日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】シユモウカー，フイリツプ

(72)【発明者】

【氏名】オーラツク，イザベラ

(72)【発明者】

【氏名】ラナガン，ジエイムズ

【審査官】 久保 光宏

(56)【参考文献】

【文献】 米国特許出願公開第２０１２／０２３３２１８（ＵＳ，Ａ１）

【文献】 特開２０１１−２５９１８４（ＪＰ，Ａ）

【文献】 加井謙二郎（外１名），「動的リンク情報を伝送するデータ放送サービス」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２００１年１１月１５日，Vol.101, No.456，第３７〜４４頁，ISSN:0913-5685

【文献】 高野元（外２名），「ビデオデータ中に現れる物体をノードとするハイパーメディア構成方式」，第７回ヒューマン・インタフェース・シンポジウム論文集 和文編，日本，計測自動制御学会：ヒューマン・インタフェース部会，１９９１年１０月２５日，第３０１〜３０６頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ２１／００−２１／８５８

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

メタデータに関連付けられた視覚要素を含むデータベース・システムに接続されたビデオ装置における送信方法であって、
・ビデオ・コンテンツ内の第１の視覚要素が選択されたことを受信することと、
・前記ビデオ・コンテンツ内の第２の視覚要素が選択されたことを受信することと、
・前記第１および第２の視覚要素の一方に関連付けられた任意のメタデータが前記第１および第２の視覚要素の他方にさらに関連付けられるように、前記データベース・システムにおいて前記第１の視覚要素を前記第２の視覚要素にリンクする少なくとも１つの要求を前記データベース・システムに送信することと、
を含むことを特徴とする、前記送信方法。

【請求項2】

前記第１の視覚要素が選択されたことを受信した後に、前記第１の視覚要素が前記データベース・システム内に存在するかを調べる第１の要求を前記データベース・システムに送ることをさらに含む、請求項１に記載の送信方法。

【請求項3】

前記第２の視覚要素が選択されたことを受信した後に、前記第２の視覚要素が前記データベース・システム内に存在するかを調べる第２の要求を前記データベース・システムに送ることをさらに含む、請求項１または２に記載の送信方法。

【請求項4】

視覚要素が前記データベース・システム内に存在するかを調べる要求を前記データベース・システムに送ることには、該視覚要素から特定される少なくとも１つの図式的な特徴を送ることが含まれる、請求項２から３のうちいずれか一項に記載の送信方法。

【請求項5】

前記少なくとも１つの図式的な特徴は、前記視覚要素を小さいブロックに分割して、該ブロックの各々に対して色ヒストグラムを算出することによって特定された色ヒストグラムのセットである、請求項４に記載の送信方法。

【請求項6】

メタデータに関連付けられた視覚要素を含む、ビデオ装置に接続されたデータベース・システムにおける受信方法であって、
・第１の視覚要素を第２の視覚要素にリンクする少なくとも１つの要求を前記ビデオ装置から受信することと、
・前記要求を受信すると、前記第１および第２の視覚要素の一方に関連付けられた任意のメタデータが前記第１および第２の視覚要素の他方にさらに関連付けられるように、前記データベース・システムにおいて前記第１の視覚要素と前記第２の視覚要素とをリンクすることと、
を含むことを特徴とする、前記受信方法。

【請求項7】

前記第１の視覚要素が前記データベース・システム内に存在するかを調べる要求を前記ビデオ装置から受信することと、該要求の受信時に前記第１の視覚要素が前記データベース・システム内に存在するかを調べることと、前記第１の視覚要素が存在しない場合は該第１の視覚要素を前記データベース・システムに追加することとをさらに含む、請求項６に記載の受信方法。

【請求項8】

前記第２の視覚要素が前記データベース・システム内に存在するかを調べる要求を前記ビデオ装置から受信することと、該要求の受信時に、前記第２の視覚要素が前記データベース・システム内に存在するかを調べることと、前記第２の視覚要素が存在しない場合は該第２の視覚要素を前記データベース・システムに追加することとをさらに含む、請求項６または７に記載の受信方法。

【請求項9】

視覚要素が存在するかを調べる要求を受信することには、該視覚要素から特定される少なくとも１つの図式的な特徴を受信することを含む、請求項７または８に記載の受信方法。

【請求項10】

前記少なくとも１つの図式的な特徴は、前記視覚要素を小さいブロックに分割して、該ブロックの各々に対して色ヒストグラムを算出することによって特定された色ヒストグラムのセットである、請求項９に記載の受信方法。

【請求項11】

視覚要素が前記データベース・システム内に存在するかを調べることには、前記受信した少なくとも１つの図式的な特徴を前記データベース・システムに含まれる各視覚要素に関連付けられた各々の図式的な特徴と比較することが含まれる、請求項９または１０に記載の受信方法。

【請求項12】

メタデータに関連付けられた視覚要素を含むデータベースを有するデータベース・システムに接続されたビデオ装置であって、
・ビデオ・コンテンツ内の第１の視覚要素が選択されたことを受信する手段と、
・前記ビデオ・コンテンツ内の第２の視覚要素が選択されたことを受信する手段と、
・前記第１および第２の視覚要素の一方に関連付けられた任意のメタデータが前記第１および第２の視覚要素の他方にさらに関連付けられるように、前記データベース・システムにおいて前記第１の視覚要素を前記第２の視覚要素にリンクする少なくとも１つの要求を前記データベース・システムに送信する手段と、
を備えることを特徴とする、前記ビデオ装置。

【請求項13】

前記ビデオ装置が請求項１から５のうちいずれか一項に記載の前記送信方法の前記ステップを実行するように構成されている、請求項１２に記載のビデオ装置。

【請求項14】

メタデータに関連付けられた視覚要素を含む、ビデオ装置に接続されたデータベース・システムであって、
・第１の視覚要素と第２の視覚要素とをリンクする少なくとも１つの要求を前記ビデオ装置から受信する手段と、
・前記要求を受信すると、前記第１および第２の視覚要素の一方に関連付けられた任意のメタデータが前記第１および第２の視覚要素の他方にさらに関連付けられるように、前記データベース・システムにおいて前記第１の視覚要素と前記第２の視覚要素とをリンクする手段と、
を備えることを特徴とする、前記データベース・システム。

【請求項15】

前記データベース・システムが請求項６から１１のうちいずれか一項に記載の前記受信方法の前記ステップを実行するように構成されている、請求項１４に記載のデータベース・システム。

【発明の詳細な説明】

【技術分野】

【0001】

データベース・システムに接続されたビデオ装置における送信方法を開示する。データベース・システムは、メタデータと関連付けられ得る視覚要素を含むデータベースを有する。また、データベース・システムにおける受信方法も開示する。さらに、本発明は対応するビデオ装置および対応するデータベース・システムにも関する。

【背景技術】

【0002】

ビデオを見る際に、メタデータとして知られる付加的なデータによってビデオ・コンテンツを改良することが知られている。このメタデータは、ビデオ・セグメント（すなわち、連続するフレームのグループ）またはフレーム内のセグメント（すなわち、画素ブロックのような、隣接する画素で構成された領域）と関連付けられるデジタル・データおよびテキスト・データであり得る。通常、メタデータはビデオ・コンテンツ内の特定の視覚要素と関連付けられる。通常、ビデオ内のこのような視覚要素は、ある意味論的な意味を持つことができ、少なくとも２つの連続するフレーム上に現われるフレーム内のセグメントで構成されている。図１に示された例では、テニスの試合を見る際に、ユーザは、ビデオの画面内でプレーヤに対応する視覚要素を単に選択することによって、そのプレーヤのスコアについての情報にアクセスできる。さらに別の例では、ユーザは、スクリーン上に表示された映画内の製品に関する情報、例えば俳優が身につけたサングラスについての付加的な情報にアクセスできる。この目的のために、ユーザは、その映画のピクチャ内のサングラスに対応する視覚要素を選択する。視覚要素は、通常、ビデオ受信機に遠く離れて接続されたデータベース・システム内に、その視覚要素に関連付けられたメタデータと共に、記憶されている。ユーザが、ビデオ受信機側で、例えばタッチ・スクリーンを介して視覚要素を選択すると、要求信号がデータベース・システムに送られる。これに応じて、データベース・システムは、ビデオ受信機に選択された視覚要素に関連付けられたメタデータを送る。しかしながら、このようなシステムは柔軟性があまりない。例えばユーザは、テニスの試合を見ているときに図２に示されているようにプレーヤ自身ではなく、プレーヤの名前と共にスコアを表している視覚要素を選択することがある。この場合、視覚要素の「プレーヤ」に関連付けられたメタデータは表示されない。視覚要素の「スコア」に関連付けられたメタデータのみが表示される。

【発明の概要】

【0003】

本発明の目的は、従来技術の欠点の少なくとも１つを解消することである。視覚要素を含むデータベース・システムに接続されたビデオ装置における送信方法を開示する。この方法は、
・ビデオ・コンテンツ内の第１の視覚要素を選択することと、
・ビデオ・コンテンツ内の第２の視覚要素を選択することと、
・上記第１の視覚要素と上記第２の視覚要素との関連付けに関する少なくとも１つの情報をデータベース・システムに送信することと、
を含む。

【0004】

この方法は、上記第１および第２の視覚要素の一方が選択された場合に、上記第１および第２の視覚要素の他方に関連付けられたメタデータを受信することをさらに含む。

【0005】

特定の一実施形態によれば、この送信方法は、上記第１の視覚要素を選択した後、第１の視覚要素がデータベース・システム内に存在するかを調べる第１の要求をデータベース・システムに送信することをさらに含む。

【0006】

特定の一実施形態によれば、この送信方法は、上記第２の視覚要素を選択した後、第２の視覚要素がデータベース・システム内に存在するかを調べる第２の要求をデータベース・システムに送ることをさらに含む。

【0007】

有利には、上記第１の視覚要素を選択することには、第１の視覚要素を押圧して選択することを含む。

【0008】

本発明の特定の特徴によれば、第２の視覚要素を選択することには、第１の視覚要素を押圧して選択した後、第２の視覚要素に向かってドラッグして、押圧を解除して、そしてさらに第２の視覚要素を押圧して選択することを含む。

【0009】

本発明の一態様によれば、視覚要素がデータベース・システム内に存在するかを調べる要求をデータベース・システムに送ることには、該視覚要素から決定される少なくとも１つの図式的な特徴を送ることを含む。

【0010】

特定の特徴によれば、上記少なくとも１つの図式的な特徴は、視覚要素を小さいブロックに分割してそのブロックの各々に対して色ヒストグラムを算出することによって特定された色ヒストグラムのセットである。

【0011】

メタデータに関連付けられた視覚要素を含み、ビデオ装置に接続されたデータベース・システムにおける受信方法も開示する。この受信方法は、
・ビデオ装置から第１の視覚要素と第２の視覚要素との関連付けに関する情報を受信することと、
・上記情報の受信時に、データベース・システムにおいて第１の視覚要素と第２の視覚要素とをリンクすることと、
を含む。

【0012】

本発明の一態様によれば、上記第１の視覚要素と第２の視覚要素とをリンクすることには、その第１および第２の視覚要素の一方の任意のメタデータをその第１および第２の視覚要素の他方に関連付けることを含む。

【0013】

有利には、この受信方法は、上記第１の視覚要素が上記データベース・システム内に存在するかを調べる要求をビデオ装置から受信し、その要求の受信時にその第１の視覚要素がそのデータベース・システム内に存在するかを調べて、存在しない場合はその第１の視覚要素をそのデータベース・システムに追加することをさらに含む。

【0014】

有利には、この受信方法は、上記第２の視覚要素が上記データベース・システム内に存在するかを調べる要求をビデオ装置から受信し、その要求の受信時にその第２の視覚要素がそのデータベース・システム内に存在するかを調べて、存在しない場合は第２の視覚要素をそのデータベース・システムに追加することをさらに含む。

【0015】

本発明の一態様によれば、視覚要素が存在するかを調べる要求を受信することには、該視覚要素から決定される少なくとも１つの図式的な特徴を受信することを含む。

【0016】

特定の特徴によれば、上記少なくとも１つの図式的な特徴は、視覚要素を小さいブロックに分割してそのブロックの各々に対して色ヒストグラムを算出することによって特定された色ヒストグラムのセットである。

【0017】

特定の一実施形態によれば、上記視覚要素がデータベース・システム内に存在するかを調べることには、受信した少なくとも１つの図式的な特徴をそのデータベース・システムに含まれる各々の視覚要素に関連付けられた各々の図式的な特徴と比較することを含む。

【0018】

視覚要素を含むデータベースを有するデータベース・システムに接続されたビデオ装置を開示する。このビデオ装置は、
・ビデオ・コンテンツ内の第１の視覚要素を選択する手段と、
・上記ビデオ・コンテンツ内の第２の視覚要素を選択する手段と、
・上記第１の視覚要素と第２の視覚要素との関連付けに関する少なくとも１つの情報を上記データベース・システムに送信する手段と、
を含む。

【0019】

メタデータに関連付けられた視覚要素を含み、ビデオ装置に接続されたデータベース・システムも開示する。このデータベース・システムは、
・ビデオ装置から第１の視覚要素と第２の視覚要素との関連付けに関する情報を受信する手段と、
・上記情報の受信時に、データベース・システムにおいて上記第１の視覚要素と第２の視覚要素とをリンクする手段と、
を含む。

【0020】

少なくとも１つのビデオ装置に接続された、メタデータに関連付けられた視覚要素を含むデータベース・システムを有するビデオ・システムも開示する。

【図面の簡単な説明】

【0021】

下記の図面と関連付けて為される以下の本発明の一部の実施形態の説明によって、本発明のその他の特徴と利点が明らかになるであろう。

【図1】視覚要素である「テニス・プレーヤ」と、共に表示される関連づけられたメタデータを含むテニスの試合の画像である。

【図2】視覚要素の一方がプレーヤであり他方がそのスコアである２つの視覚要素を含むテニスの試合の画像である。

【図3】本発明の例示的な一実施形態に係るビデオ・システムを示す図である。

【図4】本発明の例示的な一実施形態に係る視覚要素を含むデータベース・システムに接続されたビデオ装置における送信方法のフローチャートを示す図である。

【図5】ブロック・ベースの図式的な特徴の原理を例示する図である。

【図6】本発明の例示的な一実施形態に係るメタデータに関連付けられた視覚要素を含むデータベース・システムにおける受信方法のフローチャートを示す図である。

【図7】本発明の例示的な一実施形態に係る二重リンク・チェーンとしてリンクされた視覚要素を記憶する原理を例示する図である。

【図8】視覚要素のピラミッド状構造を示す図である。

【図9】本発明の別の一実施形態に係る送信方法と受信方法の両方を同じフローチャート上で示す図である。

【図10】ユーザが第１の視覚要素「ＲＥＹ」を第２の視覚要素「プレーヤ」に関連付ける一例を示す図である。

【図11】メタデータによって規定されたビデオの部分がスクリーンのメイン部分に表示されている、ピクチャ・イン・ピクチャ（ＰｉＰ）モードで表示されているライブ番組を示す図である。

【図12】本発明の例示的な一実施形態に係るビデオ受信機を示す図である。

【発明を実施するための形態】

【0022】

図面に示されたボックスは純粋に機能的な要素であって必ずしも物理的な個別の要素に対応するわけではない。当業者であれば理解できるように、本原理の態様はシステムまたは方法またはコンピュータ読み取り可能媒体として実施できる。したがって、本原理の態様は、完全にハードウェアの実施形態、あるいは完全にソフトウェアの実施形態（ファームウェア、常駐型ソフトウェア、マイクロコードなどを含む）、あるいはソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形を取ることができ、ここでは、全て、概して「回路」または「モジュール」または「システム」と呼ぶことができる。さらに、本原理の態様はコンピュータ読み取り可能記憶媒体の形態を取ることができる。１つ以上のコンピュータ読み取り可能記憶媒体の任意の組み合わせも利用できる。

【0023】

図面内のフローチャートおよび／またはブロック図は、本発明の種々の実施形態によるシステムおよび方法およびコンピュータ・プログラム製品の可能な実施形態の構成および動作および機能を例示している。この点に関して、フローチャートまたはブロック図内の各ブロックは、特定の論理機能を実施するための１つ以上の実行可能な命令を含むコードのモジュールまたはセグメントまたは部分を表すことがある。なお、一部の代替の実施形態では、ブロック内に示された機能が図面に示された順序から外れて実施されることもある。例えば連続して示された２つのブロックが、実際、実質的に同時に実行されることもあり、あるいは時々逆の順序で実行されることもあり、あるいは関係する機能に従って選択的な順序で実行されることもある。また、例示のブロック図および／またはフローチャートの各ブロックと、例示のブロック図および／またはフローチャート内のブロックの組み合わせとは、特定の機能または動作を実施する特別目的のハードウェア・ベースのシステムによって実施でき、あるいは特別目的のハードウェアとコンピュータ命令との組み合わせによって実施できる。明示的に説明されていないが、本実施形態は任意に組み合わせて、あるいは、部分的に組み合わせて使用してもよい。

【0024】

図３を参照すると、本発明の例示的な一実施形態に係るビデオ・システムが開示されている。このビデオ・システムは、データベース・システム１０を含む。このデータベース・システム１０はデータベース管理システム（ＤＢＭＳ）１００とデータベース１１０を含む。ＤＢＭＳ１００はユーザとデータベースとの間のインタフェースを提供するコンピュータ・ソフトウェアのスイートである。ＤＢＭＳ１００は、データの維持管理を担っており、このため、既存のデータ構造に新たなデータを挿入し、既存のデータ構造内のデータを更新し、既存のデータ構造からデータを削除する。また、ＤＢＭＳ１００は、ユーザの要求に応じるデータ検索も担っており、さらに正確に述べると、アプリケーション・プログラムによる使用も担っている。さらにまた、ＤＢＭＳ１００は、データベース１１０に対するアクセスを制御する。データベース・システム１０は、複数のビデオ装置２０、３０、４０などに接続されている。メタデータに関連付けられた視覚要素が、データベース１１０に記憶されている。視覚要素は、例えば視覚オブジェクトであり、すなわち画像の一部分であり、意味論的な意味を持ち、少なくとも２つの連続するピクチャ上に現われる。メタデータは、例えばビデオ解析から抽出され、あるいは放送局によって提供され得る。関連付けられたメタデータは、数値データまたはテキスト・データでもよい。この関連付けられたメタデータは、表示のフォーマットを組み込んだプリフォーマットされたデータ（例えばＨＴＭＬコードまたはＸＭＬ表現）でもよく、あるいは表示されるビデオ内のある位置に挿入されるアルファ・チャンネルを有する一部のピクチャでもよい。一変形例によれば、データベース・システム１０はビデオ装置２０、３０、４０などのうちの１つの装置内に配置される。

【0025】

図４を参照すると、視覚要素を含むデータベース・システムに接続されたビデオ装置における送信方法が開示されている。図４において示されたボックスは、純粋に機能的な要素であり、必ずしも物理的な個別の要素に対応するわけではない。すなわち、これらは、ソフトウェアの形態で開発できるし、あるいは１つ以上の集積回路において実施できる。この送信方法は、コンピュータ可読媒体において実施されてもよく、コンピュータによって実行可能であってもよい。

【0026】

ステップ１２では、第１の視覚要素ＶＥ１がビデオ・コンテンツ内で選択される。具体的には、データベースに接続されたビデオ装置が第１の視覚要素ＶＥ１が選択されたことを受信する。その選択は例えばユーザが行ったものである。実際、選択はユーザによって開始され、ビデオ装置によって受信される。第１の視覚要素ＶＥ１は例えばマウスのクリックによって選択される。さらに正確には、ユーザがマウスのボタンを押圧して第１の視覚要素ＶＥ１を選択する。一変形例によれば、ユーザがタッチ・スクリーンを直接押して第１の視覚要素ＶＥ１を選択する。第１の視覚要素は音声命令またはジェスチャ命令によって選択されてもよい。ステップ１４では、第２の視覚要素ＶＥ２がビデオ・コンテンツ内で選択される。具体的には、ビデオ装置が第２の視覚要素ＶＥ２が選択されたことを受信する。その選択は例えばユーザが行ったものである。第２の視覚要素ＶＥ２は、第１の視覚要素と同じ方法で、すなわち、マウスのクリックによって、あるいはタッチ・スクリーンを直接タップすることによって、あるいは音声命令またはジェスチャ命令によって選択される。ステップ１２でＶＥ１上をクリックした後に、ＶＥ２の選択は、ＶＥ１の表現物またはカーソルをＶＥ２上にドラッグし次に押圧を解除し、あるいはＶＥ１の表現物またはカーソルをＶＥ２上にドラッグし次に押圧を解除し、最終的にＶＥ２上をクリック／タップしてその選択を確定することによって行ってもよい。この最後の場合では、選択を確定する最終的なクリック／タップが、押圧を解除した位置から遥かに遠くで、すなわち、閾値を上回る距離で、生じたならば処理工程全体がキャンセルされる。第２の視覚要素は、音声命令またはジェスチャ命令によって選択されてもよい。一変形例によれば、ステップ１２と１４との間の時間的遅延が所与の閾値を上回った場合には処理工程全体がキャンセルされる。

【0027】

ステップ１６では、第１の視覚要素ＶＥ１と第２の視覚要素ＶＥ２との関連付けに関する１つの情報項目がデータベース・システムに送信される。この情報項目は、例えばデータベース内で両視覚要素を関連付ける単純な要求である。

【0028】

改良された実施形態によれば、本送信方法は、第１の視覚要素が選択された後、ステップ１３では、データベース・システムに第１の視覚要素ＶＥ１が存在するかを調べる第１の要求をデータベース・システムに送信すること／送ることをさらに含む。実際、第１の視覚要素は、データベースにまだ記録されていない新しい視覚要素である可能性がある。ＶＥ１が存在しない場合、ＶＥ１は、後に識別されるその図式的な特徴と共にデータベースに追加される。同じく、本送信方法は、第２の視覚要素が選択された後、ステップ１５では、データベース・システムに第２の視覚要素が存在するかを調べる第２の要求を上記データベース・システムに送ることをさらに含む。本発明の特定の一実施形態によれば、データベース・システムに視覚要素、すなわち、第１または第２の視覚要素が存在するかを調べる要求をデータベース・システムに送ることには、その視覚要素から決定される少なくとも１つの図式的な特徴、あるいはもっと一般に説明的な特徴（例えばフレーム内の位置）を送ることが含まれる。図５に示された例では、図式的な特徴は、上記視覚要素を複数の画像ブロックに分割して各々の画像ブロックについての色ヒストグラムを算出することによって決定される色ヒストグラムのセットである。したがって、この色ヒストグラムは画像ブロック内の色の分布を表したものである。さらに正確には、色空間が複数の色領域に分割される。各色領域に対して、その色領域に属する色値を有する画素の数が算出される。色ヒストグラムが各々の画像ブロックに対して算出されるので、色ヒストグラムのセットが１つの視覚要素に対して算出される。送信される情報は、ブロック表現物、例えば色ヒストグラムのリストまたはアレイである。各ブロック表現物は、下記の表に示されたような＜色成分値、画素数＞のペアを含むリストであってもよい。

【0029】

第２の視覚要素ＶＥ２がデータベースに存在していない場合、第２の視覚要素ＶＥ２は新しい視覚要素であり、その図式的な特徴と共にデータベースに挿入される。ここでは、後にデータベースのエントリとして識別されるために十分に識別可能であり、さらに一般的な記述を得る必要がある。このような記述は例えば色ヒストグラムのセットである。

【0030】

一変形例によれば、ステップ１２と１４が最初に実行される。次に、ステップ１３、１５および１６が単一のステップに併合される。さらに正確に述べると、先ずＶＥ１が選択され、次にＶＥ２が選択される。最後に、データベースにＶＥ１とＶＥ２が存在するかを調べることと（もし必要であれば、その図式的な特徴を追加して）、ＶＥ１およびＶＥ２の両要素をリンクすることを含む単一の要求がデータベースに送信される／送られる。別の一変形例によれば、ステップ１５と１６のみが単一のステップに併合される、すなわち、データベースにＶＥ２が存在するかを調べることと（もし必要であれば、その図式的な特徴を追加して）、両要素をリンクすることとを含む単一の要求がデータベースに送信される。

【0031】

その後、ユーザが、データベース・システムに接続されたビデオ装置２０、３０および４０などの１つにおいて１つの視覚要素例えばＶＥ１を選択すると、そのユーザは、選択された視覚要素に関連付けられたメタデータと、データベース・システムにおいてその選択された視覚要素とリンクされた視覚要素のうちの任意の１つに関連付けられたメタデータとを受信する。

【0032】

データベース１１０において、メタデータおよび図式的な特徴およびリンクは、下記の３つの簡単なマップに記憶される。
・第１のマップは、視覚要素の識別子にメタデータをマッピングしている。
・第２のマップは、リンクされた要素の識別子と所与の視覚要素の識別子とをマッピングしている。
・第３のマップは、各々の視覚要素の識別子に図式的な特徴をマッピングしている。

【0033】

図６を参照すると、ビデオ装置に接続された、メタデータに関連付けられた視覚要素を含むデータベース・システムにおける受信方法が開示されている。図５において示された複数のボックスは、純粋に機能的な要素であって、必ずしも物理的な個別の要素に対応するわけではない。すなわち、これらは、ソフトウェアの形態で開発できるし、あるいは１つ以上の集積回路において実施できる。この受信方法は、コンピュータ可読媒体において実施されてもよく、コンピュータによって実行可能であってもよい。

【0034】

ステップ２２では、第１の視覚要素と第２の視覚要素との関連付けに関する情報項目（例えば両要素をリンクする要求）が、ビデオ装置からデータベース・システムによって受信される。

【0035】

ステップ２４では、データベースにおいて上記情報項目が受信されると、第１の視覚要素と第２の視覚要素がリンクされる。特定の一実施形態によれば、第１の視覚要素と第２の視覚要素とをリンクすることには、第１および第２の視覚要素の一方の任意のメタデータを第１および第２の要素の他方に関連付けることが含まれる。このリンクは、例えば表１内のような視覚要素識別子のペアのリストとして作成される。一変形例によれば、データベースにおける検索を容易にするために、各々のペアは、第１の成分と第２の成分とが逆にされて複製される。例えばペア(ID_1, ID_2)は、(ID_2, ID_1)としても記憶される。

【表1】

【0036】

一変形例によれば、リンクは、視覚要素識別子を相互に接続したマップすなわち辞書として作成される。このような辞書は、例えばハッシュ・マップ、例えば｛ＩＤ＿１：［ＩＤ＿２，ＩＤ＿５］，ＩＤ＿２：［ＩＤ＿１，ＩＤ＿５］，ＩＤ＿３：［ＩＤ＿４］，ＩＤ＿４：［ＩＤ＿３］，ＩＤ＿５：［ＩＤ＿１，ＩＤ＿２］｝であると定義される。

【0037】

さらに別の一変形例によれば、視覚要素の単一リンク・チェーンまたは二重リンク・チェーンがデータベースに記憶される。図７には、２つの二重リンク・チェーンが示されている。単一リンク・チェーンにおいてＩＤ１→ＩＤ２とＩＤ２→ＩＤ１は２つの要素を介してリンクされており、二重リンク・チェーンにおいてＩＤ１⇔ＩＤ２は単一の要素を介してリンクされている。

【0038】

改良された一実施形態によれば、本方法には、データベース・システムに第１の視覚要素が存在するかを調べる第１の要求をビデオ装置から受信することと、その要求を受信するとデータベース・システムに第１の視覚要素が存在するかを調べることと、もし存在しないならば、第１の視覚要素をその図式的な特徴と共に追加することと、が含まれる。同じく、本方法には、さらに、データベース・システムに第２の視覚要素が存在するかを調べる第２の要求をビデオ装置から受信することと、その要求を受信するとデータベース・システムに第２の視覚要素が存在するかを調べることと、もし存在しないならば、第２の視覚要素をその図式的な特徴と共に追加することと、が含まれる。一変形例によれば、第２の視覚要素が存在するかを調べてさらに両要素をリンクする単一の要求が、ビデオ装置からデータベース・システムによって受信される。さらに別の一変形例によれば、両方の視覚要素が存在するかを調べてさらに両要素をリンクする単一の要求が受信される。

【0039】

例えば視覚要素が存在するかを調べる要求を受信することには、その視覚要素から特定される少なくとも１つの図式的な特徴を受信することが含まれる。この図式的な特徴は、視覚要素の表現物であり、例えばその視覚要素を複数の画像ブロックに分割して各画像ブロックに対して色ヒストグラムを算出することによって特定される色ヒストグラムのセットで構成されている。別の図式的な特徴は、例えばカラーセグメンテーションによって得られる色領域のセットである。別の記述的な特徴は、フレーム内での視覚要素のサイズと位置である。

【0040】

ある視覚要素がデータベース・システム内に存在するかを調べることには、受信した図式的な特徴と、データベース・システムに含まれる各視覚要素に関連付けられたそれぞれの図式的な特徴とを比較することが含まれる。データベース・システムに含まれる各視覚要素に関連付けられた図式的な特徴は、その視覚要素およびそのメタデータと共にデータベースに記憶されていることが好ましい。そこで、ビデオ装置で選択された視覚要素がデータベースに既に記憶されているか否かを調べるために、ＤＭＢＳは、受信した図式的な特徴とデータベースに含まれる全ての視覚要素の図式的な特徴とを比較する。ＤＭＢＳが、データベース内に、ある距離の意味において、受信した図式的な特徴に距離が近いものの視覚要素を発見した場合、受信した視覚要素が既に記憶されていることになる。受信した図式的な特徴に近いものの視覚要素を発見しなかった場合は、新しい視覚要素が受信した図式的な特徴と共にデータベースに追加される。

【0041】

２つの色ヒストグラム相互間の距離は、例えば次の式に従って特定される。

ここで、（ｉ、ｊ）は、色ヒストグラムが比較されるブロックの座標である。この関数のコア（ｃｏｒｅ）であるｄ_i,jは、色相互間の距離であり、これについては、任意の周知の距離（Ｌ１、Ｌ２、ユークリッド幾何学（Ｅｕｃｌｉｄｉａｎ）、・・・）が使用できる。したがって、調べる対象である視覚要素の各々のヒストグラムは、データベース内の視覚要素の空間的に対応するヒストグラムと比較される。

【0042】

色ヒストグラム相互間の距離が各ブロックに対して算出されると、全体的な距離が両視覚要素間で下記の全てのブロックの距離の重み付けされた関数で算出される。

ここで、ｎとｍは、オブジェクトを記述するブロック（行と列）の数である。

【0043】

その全体的な距離が閾値を下まわる場合、視覚要素がデータベース内に記憶されていると認められる。

【0044】

有利には、重みＷ_ｉ,ｊは、ブロックが外側に在るほど小さくなる重みを有するように定められている。以下の表２には、そのような重みの一例が示されている。

【表2】

【0045】

一変形例によれば、視覚要素の表現物は、図８に示されているような色ヒストグラムのピラミッド状構造で構成されている。これまでに開示された処理工程は、ピラミッド状記述の任意のレベルで適用される。このピラミッド状記述が粗いほどデータベースにおける視覚要素の存在についての判定がより速く行われる。ピラミッド状記述の所与のレベルにおいて、ＤＢＭＳが、データベース内に、受信した図式的な特徴に距離が近いものの視覚要素を発見しない場合、その視覚要素はデータベース内に存在していないとされて、その図式的な特徴と共に追加される。距離が近い視覚要素が粗い記述レベルで発見された場合はいつでも、それよりも細かい記述レベルを用いて検出処理工程をさらに精密にすることができる。視覚要素は、最も細かいレベルの記述が処理に用いられる場合だけ、データベース・システム内に存在すると認められる。一変形例によれば、視覚要素は、距離が所与の閾値を下まわる場合にデータベース・システム内に存在すると認められる。

【0046】

その後、オプションのステップ２６では、データベース・システムは、選択された視覚要素に関連付けられたメタデータと、データベース・システム内の選択された視覚要素とリンクされた視覚要素のうちの任意の１つに関連付けられたメタデータとを送信し得る。視覚要素の選択は、ビデオ装置２０および３０および４０などのうちの任意の１つで行われる。

【0047】

図９には、本発明の別の実施形態に係る送信方法と受信方法の両方が、同じフローチャート上に示されている。したがって、この図においては、一部のステップがビデオ受信機内で実行される一方、他のステップがデータベース・システム内で実行される。

【0048】

ステップ３２では、ビデオ受信機において、ユーザが、例えば第１の視覚要素ＶＥ１上に圧力を（指又はマウス・ボタンで）加え続けることによって、第１の視覚要素ＶＥ１を選択する。具体的には、ビデオ受信機が、第１の視覚要素ＶＥ１が選択されたこと、すなわち、ユーザが選択をしたことを受信する。

【0049】

ステップ３３では、ビデオ受信機において、ＶＥ１の図式的な特徴（例えば色、形状、階調度など）が現在のフレームから抽出されて、第１の要求がデータベース・システムに送られる。

【0050】

ステップ３４では、データベース・システムにおいて、データベース内における視覚要素ＶＥ１の存在が、受信した図式的な特徴とデータベース内に記憶された視覚要素の図式的な特徴とを比較することによって調べられる。視覚要素ＶＥ１がデータベース内に存在していないことが判明すると、ＶＥ１はその図式的な特徴と共に新しいエントリとしてデータベース内に追加される。

【0051】

ステップ３５では、ビデオ受信機において、ユーザが、例えば第２の視覚要素ＶＥ２上をクリックすることによって、あるいはビデオ内のＶＥ１を連続的にＶＥ２上までドラッグして押圧を解除することによって、ＶＥ２を選択する。一変形例によれば、ビデオ内のＶＥ１を連続的にＶＥ２上までドラッグして押圧を解除し、次にＶＥ２上をクリックしてその選択を確定することによって、第２の要素ＶＥ２の選択が行われる。具体的には、ビデオ受信機が、第１の視覚要素ＶＥ１の選択、すなわち、ユーザによって為された選択を受信する。

【0052】

ステップ３６では、ビデオ受信機において、ＶＥ２の図式的な特徴（例えば色、形状、階調度など）が現在のフレームから抽出されて、第２の要求がデータベース・システムに送られる。

【0053】

ステップ３７では、データベース・システムにおいて、データベース内における視覚要素ＶＥ２の存在が、受信した図式的な特徴とデータベース内に記憶された視覚要素の図式的な特徴とを比較することによって調べられる。視覚要素ＶＥ２がデータベース内に存在していないことが判明すると、ＶＥ２はその図式的な特徴と共に新しいエントリとしてデータベース内に追加される。

【0054】

ステップ３８では、ビデオ受信機において、第１の視覚要素ＶＥ１と第２の視覚要素ＶＥ２との関連付けに関する１つの情報項目がデータベース・システムに送信される。一変形例によれば、ステップ３８は、ステップ３６とマージ併合される。この場合、ステップ３６において、ＶＥ２の図式的な特徴（例えば色、形状、階調度、位置など）が現在のフレームから抽出されて、視覚要素ＶＥ２がデータベース内に存在するかを調べてさらにＶＥ１とＶＥ２とをリンクする第２の要求がデータベース・システムに送信される／送られる。さらに別の一変形例によれば、ステップ３３および３６および３８が単一のステップに併合される。この場合、ＶＥ１とＶＥ２の図式的な特徴が現在のフレームから抽出され、視覚要素ＶＥ１とＶＥ２がデータベース内に存在するかを調べさらにＶＥ１とＶＥ２とをリンクする要求がデータベース・システムに送信される／送られる。

【0055】

ステップ３９では、データベース・システムにおいて、ＶＥ１とＶＥ２がリンクされる。

【0056】

その後、データベース・システムに接続された任意のビデオ受信機において、ユーザがメタデータを得るためにＶＥ１またはＶＥ２を選択すると、そのユーザは、その選択された視覚要素に関連付けられたメタデータと、その選択された視覚要素とは異なるがデータベース内でこれとリンクされた視覚要素に関連付けられた全てのメタデータとを受信する。図１０に示されているように、選択された視覚要素に関連付けられたメタデータを受信すると、ユーザは、これらのメタデータのうちの１つ、例えば選択されたプレーヤが前に勝った試合のベスト・ポイントを選択する。そうすると、選択されたメタデータに対応するビデオの部分が、ＰｉＰモードで表示されるか、あるいはライブのビデオがＰｉＰモードで表示されている間にスクリーンのメイン部分に表示される。

【0057】

図１１には、ユーザが第１の視覚要素「ＲＥＹ」を第２の視覚要素「プレーヤ」に関連付ける一例が示されている。ユーザは、「ＲＥＹ」上をクリックし、次に、この「ＲＥＹ」と名付けられたスコアの部分を第２の視覚要素（ここでは、プレーヤ）まで（符号「１ａ」から「１ｄ」まで）ドラッグして、次に、マウス・ボタンを離し、そして、そのリンクされるべき視覚要素（符号「２」）上をクリックする。そうすると、「ＲＥＹ」と目的とする視覚要素、すなわち、プレーヤ自身の表示画像とが、データベース内でリンクされる。その結果、ユーザが、その後、逆にその目的とする視覚要素を選択すると、「ＲＥＹ」に関連付けられたメタデータが入手可能になる。「ＲＥＹ」に関連付けられた任意のメタデータまたは情報、例えばプレーヤの名前、ここではＲｅｙｎｏｌｄｓが、目的とする視覚要素にも関連付けられる。

【0058】

図１２は、ビデオ装置４０の例示的な構成を表している。ビデオ装置４０には、データおよびアドレス・バス４４によって相互にリンクされた構成要素である、
・例えばＤＳＰ（すなわち、デジタル信号プロセッサ）であるマイクロプロセッサ４１（すなわち、ＣＰＵ）と、
・ＲＯＭ（すなわち、読出し専用メモリ）４２と、
・ＲＡＭ（すなわち、ランダム・アクセス・メモリ）４３と、
・ビデオ・コンテンツおよびメタデータを受信し、視覚要素の関連付けに関する要求情報を送信する入出力モジュール４５と、
・バッテリ４６と、
・ディスプレイ４７と、
・場合によっては、ユーザ・インタフェースと、
が含まれている。

【0059】

図１２のこれらの構成要素の各々は当業者に周知でありさらに説明はしない。上記メモリの各々について、本明細書で使用される「レジスタ」という用語は、小容量（数ビット）の領域にも、あるいは非常に大きい領域（例えば１つのプログラム全体、または、大量の受信したまたは復号化されたデータ）にも対応し得る。本発明の例示的な一実施形態に従う送信方法のアルゴリズムは、ＲＯＭ４２に記憶されている。ＣＰＵ４１は、電源が投入されると、そのプログラムをＲＡＭにアップロードして対応する命令を実行する。ＲＡＭ４３は、装置４０の電源投入後にアップロードされてＣＰＵ４１によって実行されるそのプログラムを１つのレジスタ内に含む。本発明の一変形例によれば、装置３０のデジタル部分は、純粋なハードウェア構成（例えば対応するメモリを有する幾つかのＦＰＧＡ、ＡＳＩＣまたはＶＬＳＩ）で、あるいはＶＬＳＩとＤＳＰの両方を使用した構成で、実施される。

【0060】

ビデオ装置２０と３０の構成は、装置４０について上述した構成と同じである。

【0061】

第１のユーザが２つの視覚要素を関連付けようとすると、データベース・システムはこの関連付けについての情報を受信し、それでその２つの要素をリンクする、つまり２つの要素間のリンクを作成する。視覚要素がデータベース内でリンクされると直ぐに、その要素のうちの一方に関連付けられた任意の情報／メタデータが他方の要素と直ちに関連付けられる。その結果、あるユーザ、すなわち、第１のユーザまたは別のユーザがその後その２つの要素のうちの任意の一方を選択すると、そのユーザは第１の視覚要素と第２の視覚要素の両方に関連付けられた全てのメタデータを受信する。したがって、第２のユーザが、第２の要素を選択すると、この第２の要素に関連付けられたメタデータの受信に限定されずに、第１の視覚要素に関連付けられたメタデータも受信する。

【0062】

次に、このようなリンクの小さいデータベースがオンザフライ方式で構成されて、さらに、連携して行動するユーザ間で共有される。このデータベースには、ユーザの選択時に作成された、メタデータに関連付けられた視覚要素と視覚要素間のリンクとが含まれている。

【0063】

このデータベースは、ビデオ・ドキュメントとの任意のインタラクション時にユーザにとって利用可能である。さらに、有利には、このデータベース・システムは連携して使用され、各々のユーザが友人たちまたはコミュニティーに接続されて、自己のリンクおよび関連付けられた情報を別の人と共有する。データベースの最小限の首尾一貫性を保証する何らかのポリシーが提案されてもよく、例えばコミュニティーに亘ってほぼ完全にリンクされた要素が最初に共有される。

【0064】

最後に、このデータベースは、表示されたドキュメントに関連付けられてもよく、任意の再生時に（例えばビデオ・オン・デマンド、キャッチアップ・テレビなど）提供されてもよい。ユーザのプロフィール、あるいは何らかのコミュニティーの記述に従って、データベース・バージョンを提供することが考えられる。コミュニティーは、ユーザのプロフィールと関心の的とに基づいて定められる。例えば、フットボール／テニスの試合に対して２つのコミュニティーが定められてもよく、例えば各チームに対して一つのコミュニティーが定められてもよい。それでユーザの体験が強化される。ユーザは残らず全体の課題に貢献し、他の人の貢献から利益を得る。
ここで例としていくつかの付記を記載する。
（付記１）
視覚要素を含むデータベース・システムに接続されたビデオ装置における送信方法であって、
・ビデオ・コンテンツ内の第１の視覚要素が選択されたことを受信すること（１２、３２）と、
・前記ビデオ・コンテンツ内の第２の視覚要素が選択されたことを受信すること（１４、３５）と、
・前記第１および第２の視覚要素の一方に関連付けられた任意のメタデータが前記第１および第２の視覚要素の他方にさらに関連付けられるように、前記データベース・システムにおいて前記第１の視覚要素を前記第２の視覚要素にリンクする少なくとも１つの要求を前記データベース・システムに送信すること（１６、３８）と、
を含むことを特徴とする、前記送信方法。
（付記２）
前記第１の視覚要素が選択されたことを受信した後に、前記第１の視覚要素が前記データベース・システム内に存在するかを調べる第１の要求を前記データベース・システムに送ること（１３、３３）をさらに含む、付記１に記載の送信方法。
（付記３）
前記第２の視覚要素が選択されたことを受信した後に、前記第２の視覚要素が前記データベース・システム内に存在するかを調べる第２の要求を前記データベース・システムに送ること（１５、３６）をさらに含む、付記１または２に記載の送信方法。
（付記４）
視覚要素が前記データベース・システム内に存在するかを調べる要求を前記データベース・システムに送ることには、該視覚要素から特定される少なくとも１つの図式的な特徴を送ることが含まれる、付記１から３のうちいずれか一項に記載の送信方法。
（付記５）
前記少なくとも１つの図式的な特徴は、前記視覚要素を小さいブロックに分割して、該ブロックの各々に対して色ヒストグラムを算出することによって特定された色ヒストグラムのセットである、付記４に記載の送信方法。
（付記６）
メタデータに関連付けられた視覚要素を含む、ビデオ装置に接続されたデータベース・システムにおける受信方法であって、
・第１の視覚要素を第２の視覚要素にリンクする少なくとも１つの要求を前記ビデオ装置から受信すること（２２、３４）と、
・前記要求を受信すると、前記第１および第２の視覚要素の一方に関連付けられた任意のメタデータが前記第１および第２の視覚要素の他方にさらに関連付けられるように、前記データベース・システムにおいて前記第１の視覚要素と前記第２の視覚要素とをリンクすること（２４）と、
を含むことを特徴とする、前記受信方法。
（付記７）
前記第１の視覚要素が前記データベース・システム内に存在するかを調べる要求を前記ビデオ装置から受信することと、該要求の受信時に前記第１の視覚要素が前記データベース・システム内に存在するかを調べることと（３４）、前記第１の視覚要素が存在しない場合は該第１の視覚要素を前記データベース・システムに追加することとをさらに含む、付記６に記載の受信方法。
（付記８）
前記第２の視覚要素が前記データベース・システム内に存在するかを調べる要求を前記ビデオ装置から受信することと、該要求の受信時に、前記第２の視覚要素が前記データベース・システム内に存在するかを調べることと（３７）、前記第２の視覚要素が存在しない場合は該第２の視覚要素を前記データベース・システムに追加することとをさらに含む、付記６または７に記載の受信方法。
（付記９）
視覚要素が存在するかを調べる要求を受信することには、該視覚要素から特定される少なくとも１つの図式的な特徴を受信することを含む、付記７または８に記載の受信方法。
（付記１０）
前記少なくとも１つの図式的な特徴は、前記視覚要素を小さいブロックに分割して、該ブロックの各々に対して色ヒストグラムを算出することによって特定された色ヒストグラムのセットである、付記９に記載の受信方法。
（付記１１）
視覚要素が前記データベース・システム内に存在するかを調べることには、前記受信した少なくとも１つの図式的な特徴を前記データベース・システムに含まれる各視覚要素に関連付けられた各々の図式的な特徴と比較することが含まれる、付記９または１０に記載の受信方法。
（付記１２）
視覚要素を含むデータベースを有するデータベース・システムに接続されたビデオ装置（４０）であって、
・前記ビデオ・コンテンツ内の第１の視覚要素が選択されたことを受信する手段（４１、４２、４３）と、
・前記ビデオ・コンテンツ内の第２の視覚要素が選択されたことを受信する手段（４１、４２、４３）と、
・前記第１および第２の視覚要素の一方に関連付けられた任意のメタデータが前記第１および第２の視覚要素の他方にさらに関連付けられるように、前記データベース・システムにおいて前記第１の視覚要素を前記第２の視覚要素にリンクする少なくとも１つの要求を前記データベース・システムに送信する手段（４５）と、
を備えることを特徴とする、前記ビデオ装置。
（付記１３）
メタデータに関連付けられた視覚要素を含む、ビデオ装置に接続されたデータベース・システムであって、
・第１の視覚要素と第２の視覚要素とをリンクする少なくとも１つの要求を前記ビデオ装置から受信する手段（１００）と、
・前記要求を受信すると、前記第１および第２の視覚要素の一方に関連付けられた任意のメタデータが前記第１および第２の視覚要素の他方にさらに関連付けられるように、前記データベース・システムにおいて前記第１の視覚要素と前記第２の視覚要素とをリンクする手段（１１０）と、
を備えることを特徴とする、前記データベース・システム。
（付記１４）
付記１２に記載の少なくとも１つのビデオ装置に接続された、付記１３に記載のメタデータに関連付けられた視覚要素を含むデータベース・システムを備えるビデオ・システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】