知財求人 - 知財ポータルサイト「IP Force」
▶ エルジー エレクトロニクス インコーポレイティドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6193993
(24)【登録日】2017年8月18日
(45)【発行日】2017年9月6日
(54)【発明の名称】デジタルサービス信号処理方法及び装置
(51)【国際特許分類】
H04N 21/462 20110101AFI20170828BHJP
H04N 21/435 20110101ALI20170828BHJP
H04N 21/44 20110101ALI20170828BHJP
H04N 21/8352 20110101ALI20170828BHJP
H04N 21/8358 20110101ALI20170828BHJP
G10L 19/018 20130101ALI20170828BHJP
H04H 20/28 20080101ALI20170828BHJP
H04H 20/93 20080101ALI20170828BHJP
H04H 60/82 20080101ALI20170828BHJP
【ＦＩ】
H04N21/462
H04N21/435
H04N21/44
H04N21/8352
H04N21/8358
G10L19/018
H04H20/28
H04H20/93
H04H60/82
【請求項の数】8
【全頁数】58
(21)【出願番号】特願2015-523006(P2015-523006)
(86)(22)【出願日】2013年7月16日
(65)【公表番号】特表2015-531189(P2015-531189A)
(43)【公表日】2015年10月29日
(86)【国際出願番号】KR2013006344
(87)【国際公開番号】WO2014014252
(87)【国際公開日】20140123
【審査請求日】2015年1月15日
(31)【優先権主張番号】61/671,807
(32)【優先日】2012年7月16日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100151459
【弁理士】
【氏名又は名称】中村 健一
(72)【発明者】
【氏名】オ セチン
(72)【発明者】
【氏名】キム チンピル
(72)【発明者】
【氏名】アン ソンチュ
(72)【発明者】
【氏名】キム キョンホ
(72)【発明者】
【氏名】ムン キョンス
【審査官】
富樫 明
(56)【参考文献】
【文献】
特表２００８−５０１２５５（ＪＰ，Ａ）
【文献】
特開２００９−１８８４７７（ＪＰ，Ａ）
【文献】
特開２０１２−０１４７１１（ＪＰ，Ａ）
【文献】
国際公開第２０１２／０９３４０７（ＷＯ，Ａ２）
【文献】
特開２０１１−２０３７９０（ＪＰ，Ａ）
【文献】
国際公開第２０１１／０３９７６３（ＷＯ，Ａ２）
【文献】
特開２００２−２４４９４６（ＪＰ，Ａ）
【文献】
特開２００２−２３２６８５（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ２１／００−２１／８５８
Ｇ１０Ｌ １９／０１８
Ｈ０４Ｈ ２０／２８
Ｈ０４Ｈ ２０／９３
Ｈ０４Ｈ ６０／８２
(57)【特許請求の範囲】
【請求項1】
放送サービスのコンテンツを受信する方法であって、
受信プロセッサが、少なくとも一つのウォーターマークを含む前記コンテンツを受信するステップであって、前記少なくとも一つのウォーターマークは前記コンテンツに関連した付加データの付加情報を伝える、ステップと、
前記付加情報は、前記コンテンツの識別情報及び前記コンテンツの時間情報の少なくとも一つを含み、
抽出プロセッサが、前記コンテンツから、前記少なくとも一つのウォーターマークを抽出するステップと、
前記付加情報の開始を示す開始タグは前記付加情報の最初に挿入され、前記付加情報の終了を示す終了タグは前記付加情報の最後に挿入され、
前記開始タグと前記終了タグを含む前記付加情報は少なくとも一つのサブ付加情報に分割され、
前記少なくとも一つのサブ付加情報を伝える前記少なくとも一つのウォーターマークは連続する順序のオーディオフレーム又はビデオフレームに挿入され、
取得プロセッサが、前記連続するオーディオフレーム又はビデオフレームの前記少なくとも一つのウォーターマークから前記少なくとも一つのサブ付加情報を取得するステップと、
結合プロセッサが、前記開始タグと前記終了タグを利用して、前記付加情報を生成するために前記少なくとも一つのサブ付加情報を結合するステップと、
前記取得プロセッサが、前記付加情報にしたがって前記付加データを取得するステップとを含む、方法。
受信プロセッサが、少なくとも一つのウォーターマークを含む前記コンテンツを受信するステップであって、前記少なくとも一つのウォーターマークは前記コンテンツに関連した付加データの付加情報を伝える、ステップと、
前記付加情報は、前記コンテンツの識別情報及び前記コンテンツの時間情報の少なくとも一つを含み、
抽出プロセッサが、前記コンテンツから、前記少なくとも一つのウォーターマークを抽出するステップと、
前記付加情報の開始を示す開始タグは前記付加情報の最初に挿入され、前記付加情報の終了を示す終了タグは前記付加情報の最後に挿入され、
前記開始タグと前記終了タグを含む前記付加情報は少なくとも一つのサブ付加情報に分割され、
前記少なくとも一つのサブ付加情報を伝える前記少なくとも一つのウォーターマークは連続する順序のオーディオフレーム又はビデオフレームに挿入され、
取得プロセッサが、前記連続するオーディオフレーム又はビデオフレームの前記少なくとも一つのウォーターマークから前記少なくとも一つのサブ付加情報を取得するステップと、
結合プロセッサが、前記開始タグと前記終了タグを利用して、前記付加情報を生成するために前記少なくとも一つのサブ付加情報を結合するステップと、
前記取得プロセッサが、前記付加情報にしたがって前記付加データを取得するステップとを含む、方法。
【請求項2】
前記コンテンツは、ロゴイメージとシンボルイメージを更に含み、前記ロゴイメージはコンテンツプロバイダを示し、前記シンボルイメージは前記ロゴイメージで示される前記コンテンツプロバイダに関連する前記コンテンツを示し、前記ロゴイメージと前記シンボルイメージは前記コンテンツのビデオフレームに含まれる、請求項１に記載の方法。
【請求項3】
前記抽出プロセッサが前記ウォーターマークを抽出するステップは、前記ロゴイメージ及び前記シンボルイメージを更に抽出し、
第１の比較プロセッサが、前記ロゴイメージの色、テキスト、アウトラインをロゴサーバーに記憶されたロゴイメージの色、テキスト、アウトラインと比較するステップであって、前記ロゴイメージはビデオフレームのそれぞれの特定固定領域に位置する、ステップと、
第２の比較プロセッサが、前記シンボルイメージの色、テキスト、アウトラインをシンボルサーバーに記憶されたシンボルイメージの色、テキスト、アウトラインと比較するステップであって、前記シンボルイメージは前記ビデオフレームのそれぞれの特定固定領域に位置する、ステップと、
前記取得プロセッサが、前記ロゴサーバーから前記コンテンツのプロバイダを識別するコンテンツプロバイダ識別子を取得するステップと、
前記取得プロセッサが、前記シンボルサーバーから前記コンテンツを識別するコンテンツ識別子を取得するステップとをさらに含む、請求項２に記載の方法。
第１の比較プロセッサが、前記ロゴイメージの色、テキスト、アウトラインをロゴサーバーに記憶されたロゴイメージの色、テキスト、アウトラインと比較するステップであって、前記ロゴイメージはビデオフレームのそれぞれの特定固定領域に位置する、ステップと、
第２の比較プロセッサが、前記シンボルイメージの色、テキスト、アウトラインをシンボルサーバーに記憶されたシンボルイメージの色、テキスト、アウトラインと比較するステップであって、前記シンボルイメージは前記ビデオフレームのそれぞれの特定固定領域に位置する、ステップと、
前記取得プロセッサが、前記ロゴサーバーから前記コンテンツのプロバイダを識別するコンテンツプロバイダ識別子を取得するステップと、
前記取得プロセッサが、前記シンボルサーバーから前記コンテンツを識別するコンテンツ識別子を取得するステップとをさらに含む、請求項２に記載の方法。
【請求項4】
放送サービスのコンテンツを受信する装置であって、
少なくとも一つのウォーターマークを含む前記コンテンツを受信する受信プロセッサであって、前記少なくとも一つのウォーターマークは前記コンテンツに関連する付加データの付加情報を伝える、受信プロセッサと、
前記付加情報は、前記コンテンツの識別情報及び前記コンテンツの時間情報の少なくとも一つを含み、
前記コンテンツから前記少なくとも一つのウォーターマークを抽出する抽出プロセッサと、
前記付加情報の開始を示す開始タグは前記付加情報の最初に挿入され、前記付加情報の終了を示す終了タグは前記付加情報の最後に挿入され、
前記開始タグと前記終了タグを含む前記付加情報は少なくとも一つのサブ付加情報に分割され、
前記少なくとも一つのサブ付加情報は連続する順序のオーディオフレーム又はビデオフレームに挿入され、
前記連続するオーディオフレーム又はビデオフレームの前記少なくとも一つのウォーターマークから前記少なくとも一つのサブ付加情報を取得する取得プロセッサと、
前記開始タグと前記終了タグを利用して、前記付加情報を生成するために前記少なくとも一つのサブ付加情報を結合する結合プロセッサとを備え、
前記結合プロセッサは、前記付加情報にしたがって前記付加データを取得する、装置。
少なくとも一つのウォーターマークを含む前記コンテンツを受信する受信プロセッサであって、前記少なくとも一つのウォーターマークは前記コンテンツに関連する付加データの付加情報を伝える、受信プロセッサと、
前記付加情報は、前記コンテンツの識別情報及び前記コンテンツの時間情報の少なくとも一つを含み、
前記コンテンツから前記少なくとも一つのウォーターマークを抽出する抽出プロセッサと、
前記付加情報の開始を示す開始タグは前記付加情報の最初に挿入され、前記付加情報の終了を示す終了タグは前記付加情報の最後に挿入され、
前記開始タグと前記終了タグを含む前記付加情報は少なくとも一つのサブ付加情報に分割され、
前記少なくとも一つのサブ付加情報は連続する順序のオーディオフレーム又はビデオフレームに挿入され、
前記連続するオーディオフレーム又はビデオフレームの前記少なくとも一つのウォーターマークから前記少なくとも一つのサブ付加情報を取得する取得プロセッサと、
前記開始タグと前記終了タグを利用して、前記付加情報を生成するために前記少なくとも一つのサブ付加情報を結合する結合プロセッサとを備え、
前記結合プロセッサは、前記付加情報にしたがって前記付加データを取得する、装置。
【請求項5】
前記コンテンツは、ロゴイメージとシンボルイメージを更に含み、前記ロゴイメージはコンテンツプロバイダを示し、前記シンボルイメージは前記ロゴイメージで示される前記コンテンツプロバイダに関連する前記コンテンツを示し、前記ロゴイメージと前記シンボルイメージは前記コンテンツのビデオフレームを含まれる、請求項４に記載の装置。
【請求項6】
前記抽出プロセッサは、前記ロゴイメージ及び前記シンボルイメージを更に抽出し、
前記ロゴイメージの色、テキスト、アウトラインをロゴサーバーに記憶されたロゴイメージの色、テキスト、アウトラインと比較する第１の比較プロセッサであって、前記ロゴイメージはビデオフレームのそれぞれの特定固定領域に位置する、第１の比較プロセッサと、
前記シンボルイメージの色、テキスト、アウトラインをシンボルサーバーに記憶されたシンボルイメージの色、テキスト、アウトラインと比較する第２の比較プロセッサであって、前記シンボルイメージはビデオフレームのそれぞれの特定固定領域に位置する、第２の比較プロセッサと、をさらに含み、
前記取得プロセッサは、前記ロゴサーバーから前記コンテンツのプロバイダを識別するコンテンツプロバイダ識別子及び、前記シンボルサーバーから前記コンテンツを識別するコンテンツ識別子を取得する、請求項５に記載の装置。
前記ロゴイメージの色、テキスト、アウトラインをロゴサーバーに記憶されたロゴイメージの色、テキスト、アウトラインと比較する第１の比較プロセッサであって、前記ロゴイメージはビデオフレームのそれぞれの特定固定領域に位置する、第１の比較プロセッサと、
前記シンボルイメージの色、テキスト、アウトラインをシンボルサーバーに記憶されたシンボルイメージの色、テキスト、アウトラインと比較する第２の比較プロセッサであって、前記シンボルイメージはビデオフレームのそれぞれの特定固定領域に位置する、第２の比較プロセッサと、をさらに含み、
前記取得プロセッサは、前記ロゴサーバーから前記コンテンツのプロバイダを識別するコンテンツプロバイダ識別子及び、前記シンボルサーバーから前記コンテンツを識別するコンテンツ識別子を取得する、請求項５に記載の装置。
【請求項7】
前記付加情報は前記付加データを取得するための位置情報を含み、
前記付加データは前記位置情報にしたがってＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを介して取得される、請求項１に記載の方法。
前記付加データは前記位置情報にしたがってＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを介して取得される、請求項１に記載の方法。
【請求項8】
前記付加情報は前記付加データを取得するための位置情報を含み、
前記付加データは前記位置情報にしたがってＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを介して取得される、請求項４に記載の装置。
前記付加データは前記位置情報にしたがってＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを介して取得される、請求項４に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、放送プログラムに関連した自動コンテンツ認識サービスを処理する方法及び装置に関し、特に、自動コンテンツ認識環境で放送コンテンツに関連した付加サービスを提供する方法及び装置に関する。
【背景技術】
【0002】
デジタル衛星放送の導入に伴って、デジタルデータ放送が新しい付加サービスとして現れた。代表的な双方向サービスである双方向データ放送は、様々な付加サービスを提供するために、データ信号だけでなく、既存放送信号も加入者に送信することができる。
【0003】
デジタルデータ放送は、仮想チャネルを用いた独立型サービスと、ＥＴＶ（ｅｎｈａｎｃｅｄ ｔｅｌｅｖｉｓｉｏｎ）を通した放送関連サービスとに大別できる。独立型サービスは、放送イメージ信号無しでテキストとグラフィックのみを含み、既存インターネットウェブページと類似のフォーマットで提供される。独立型サービスの代表的な例に、天気及び株式情報提供サービス、ＴＶ金融サービス、商取引サービスなどを挙げることができる。放送関連サービスは、放送イメージ信号の他、付加的なテキスト及びグラフィック情報も送信する。視聴者は、放送関連サービスから、視聴した放送プログラムに関連した情報を得ることができる。例えば、視聴者がドラマを視聴しながら、そのドラマの前のストーリーや撮影場所を確認できるようにするサービスがある。
【0004】
デジタルデータ放送の放送関連サービスでは、ＥＴＶサービスを自動コンテンツ認識技術に基づいて提供することができる。自動コンテンツ認識とは、装置がオーディオ／ビデオコンテンツを再生する時、コンテンツに隠された情報から自動でコンテンツを認識する技術のことをいう。
【0005】
自動コンテンツ認識技術を施行するとき、コンテンツに関する情報を得るために、ウォーターマーキング（ｗａｔｅｒｍａｒｋｉｎｇ）（透かし）やフィンガープリンティング（ｆｉｎｇｅｒ ｐｒｉｎｔｉｎｇ）方式を用いることができる。ウォーターマーキングとは、デジタルコンテンツプロバイダを示す情報をデジタルコンテンツに挿入する技術のことをいう。フィンガープリンティングとは、特定情報がデジタルコンテンツに挿入される点ではウォーターマーキングと同一であるが、コンテンツプロバイダに関する情報に代えてコンテンツ購買者に関する情報が挿入される点でウォーターマーキングと区別される。
【0006】
しかし、既存の自動コンテンツ認識機能を用いて双方向サービスを提供するシステムにはいくつかの制約がある。
【0007】
コンテンツプロバイダ（又は、放送局）が実時間サービスのためのコンテンツ及びＥＴＶサービスのためのエンハンスメントデータ（又は、付加データ）を送信し、ＴＶ受信機が当該実時間サービスのためのコンテンツ及びエンハンスメントデータを外部入力を通して受信すると、実時間サービスのためのコンテンツは受信できるが、エンハンスメントデータは受信できない。
【0008】
また、既存ＥＴＶサービスが自動コンテンツ認識システム上で提供されると、別途の自動コンテンツ認識サーバー（又は、自動コンテンツ認識ソリューションプロバイダ）の介在が必須となる。したがって、別途の自動コンテンツ認識サーバー無しで自動コンテンツ認識機能を実行する受信機が要求される。
【0009】
また、ＥＴＶサービスを提供するためのウォーターマーキング技術では、ウォーターマーク（透かし）に含まれた情報の量が多いと、ウォーターマークの埋め込まれたコンテンツの質が低下することがある。したがって、ウォーターマーキングの効率的な使用に制約がある。
【0010】
また、ＥＴＶサービスを提供するためのフィンガープリンティング技術では、コンテンツを認識するための外部自動コンテンツ認識サーバーがさらに必要であるだけでなく、コンテンツ認識結果がレファレンスセットの大きさに依存する。
【発明の概要】
【発明が解決しようとする課題】
【0011】
したがって、本発明は、従来技術の制約及び短所による一つ以上の問題点を実質的に除去するデジタルサービス信号処理方法及び装置を提供する。本発明の目的は、放送システムを用いて放送プログラムに関連した情報を確認し、確認された放送プログラムの付加情報を実時間で提供することにある。
【課題を解決するための手段】
【0012】
ここに含まれ、概略的に記述されるように、上記の目的及び他の利点を達成するために且つ本発明の目的によって、本発明に係るデジタルサービス信号処理方法は、コンテンツを含むデジタルサービス信号を受信するステップと、前記コンテンツの各ビデオフレームから、各ビデオフレームの特定領域に位置してコンテンツプロバイダを示すロゴデータを抽出するステップと、前記抽出されたロゴデータと記憶されたロゴデータとを比較して前記コンテンツのチャネル情報を取得するステップと、前記ロゴデータに関連したメタデータから前記コンテンツのチャネル情報を取得するステップと、前記取得したチャネル情報を用いて前記コンテンツに関連した付加データに関するＵＲＬ情報を取得するための要求を生成するステップと、前記生成された要求を用いてＵＲＬ情報を受信するステップと、前記ＵＲＬ情報によってインターネットプロトコルＩＰネットワークを通して前記付加データを取得するステップと、を含む。
【0013】
上記方法は、前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達するウォーターマークを、前記コンテンツのオーディオフレームから抽出するステップと、前記ウォーターマークから前記プログラム情報を取得するステップと、をさらに含むことができる。
【0014】
前記要求を生成するステップは、前記取得したプログラム情報をさらに用いて要求を生成することができる。
【0015】
前記ビデオフレームが前記コンテンツに関連したプログラムを示すためのシンボルイメージデータを含むと、上記方法は、前記コンテンツの各ビデオフレームから、前記各ビデオフレームの特定領域に位置している前記シンボルイメージデータを抽出するステップと、前記抽出されたシンボルイメージデータを処理し、前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を取得するステップと、前記プログラム情報を取得するステップと、をさらに含むことができる。
【0016】
前記要求を生成するステップは、前記取得したプログラム情報をさらに用いて要求を生成することができる。
【0017】
上記方法は、前記ロゴデータに関連したメタデータを周期的に更新するステップをさらに含むことができる。
【0018】
上記方法は、前記チャネル情報及び前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達するウォーターマークを、前記ビデオフレームの特定領域から抽出するステップをさらに含むことができる。
【0019】
本発明の他の側面において、デジタルサービス信号処理方法は、コンテンツを含むデジタルサービス信号を生成するステップと、コンテンツプロバイダを示すロゴデータを前記コンテンツの各ビデオフレームに挿入し、前記ロゴデータは前記各ビデオフレームの特定領域に位置するステップと、前記デジタルサービス信号を送信するステップと、を含み、前記ロゴデータは、前記コンテンツのチャネル情報を取得するためのものであり、前記チャネル情報は、前記コンテンツに関連した付加データに関するＵＲＬ情報を受信するためのものである。
【0020】
前記コンテンツは、オーディオフレームを含み、上記方法は、ウォーターマークを生成するステップと、前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達する前記生成されたウォーターマークを、前記コンテンツのオーディオフレームに挿入するステップと、をさらに含むことができる。
【0021】
上記方法は、ウォーターマークを生成するステップと、チャネル情報及び前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達する前記生成されたウォーターマークを、前記コンテンツのビデオフレームに挿入するステップと、をさらに含むことができる。上記方法は、前記オーディオフレーム又はビデオフレームをサブフレームに分離するステップと、前記分離されたサブフレームの中から特定サブフレームを検出して前記ウォーターマークを挿入するステップと、前記ウォーターマークを前記検出された特定サブフレームに挿入するステップと、前記分離されたサブフレームを前記オーディオフレーム又はビデオフレームとして構成するステップと、をさらに含むことができる。
【0022】
上記方法は、前記コンテンツに関連したプログラムを示すシンボルイメージデータを生成するステップと、前記生成されたシンボルイメージデータを前記コンテンツの各ビデオフレームに挿入するステップと、をさらに含み、前記挿入されたシンボルイメージデータは、前記各ビデオフレームの特定領域に位置する。
【発明の効果】
【0023】
本発明によれば、自動コンテンツ認識技術を用いて放送プログラムに関連した情報を実時間で確認することができる。
【0024】
本発明によれば、ＴＶ視聴経験の向上のために、自動コンテンツ認識機能を用いて放送プログラムに関連したエンハンスメントデータを受信することができる。
【0025】
本発明によれば、放送プログラムに関連した情報を認識し、ウォーターマーキング技術を用いてエンハンスメントデータを受信することによって、ＴＶ受信機は別途の自動コンテンツ認識サーバー無しで自動コンテンツ認識機能を実行することができる。
【0026】
本発明によれば、ウォーターマークに含まれた情報に基づいてウォーターマークをプロファイリングし、ウォーターマークに含まれた情報の量が多くても効率的にウォーターマーキングを活用することができる。
【0027】
本発明によれば、ウォーターマーキングとフィンガープリンティングを結合することによって、效率的に自動コンテンツ認識サービスを提供することができる。
【図面の簡単な説明】
【0028】
【図1】自動コンテンツ認識基盤ＥＴＶサービスシステムを示す図である。
【図2】本発明の一実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【図3】本発明の他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【図4】本発明の一実施例に係る受信機の構造を示す図である。
【図5】本発明の一実施例に係る自動コンテンツ認識サービス処理システムの構造を示す図である。
【図6】本発明の一実施例に係るＥＴＶサービス受信装置の構造を示す図である。
【図7】本発明の他の実施例に係るＥＴＶサービス受信装置の構造を示す図である。
【図8】本発明のさらに他の実施例に係るＥＴＶサービス受信装置の構造を示す図である。
【図9】本発明の一実施例に係るデジタルウォーターマーキング技術のフローを示す図である。
【図10】本発明の一実施例に係る自動コンテンツ認識クエリ結果フォーマットを示す図である。
【図11】本発明の一実施例に係るコンテンツＩＤ（ｉｄｅｎｔｉｆｉｅｒ）の構造を示す図である。
【図12】本発明の一実施例に係るウォーターマーキングを用いた受信機の動作を示す図である。
【図13】本発明の一実施例に係るウォーターマーク抽出過程を示す図である。
【図14】本発明の一実施例に係るウォーターマーク情報のプロファイリングを示す図である。
【図15】本発明の一実施例に係るウォーターマークをビデオフレームに埋め込む方法を示す図である。
【図16】本発明の他の実施例に係るウォーターマークをビデオフレームに埋め込む方法を示す図である。
【図17】本発明のさらに他の実施例に係るウォーターマークをビデオフレームに埋め込む方法を示す図である。
【図18】本発明の一実施例に係るウォーターマークをオーディオフレームに埋め込む方法を示す図である。
【図19】本発明の一実施例に係るプロファイリングされたウォーターマークを埋め込む方法を示す図である。
【図20】本発明の一実施例に係るウォーターマークを連続したフレームに埋め込む方法を示す図である。
【図21】本発明の一実施例に係る連続したフレームに挿入されたウォーターマークを抽出する方法を示す図である。
【図22】本発明の一実施例に係るウォーターマークを３次元ビデオフレームに埋め込む方法を示す図である。
【図23】本発明の一実施例に係る自動コンテンツ認識サービス提供システムの構造を示す図である。
【図24】本発明の一実施例に係る放送局ロゴを用いて自動コンテンツ認識サービスを提供する方法を示す図である。
【図25】本発明の一実施例に係る放送局ロゴを示す図である。
【図26】本発明の一実施例に係る放送局ロゴを用いた自動コンテンツ認識サービスを示す図である。
【図27】本発明の一実施例に係るロゴ及びウォーターマークを用いた自動コンテンツ認識サービス提供方法を示す図である。
【図28】本発明の他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【図29】本発明の一実施例に係るロゴ及び／又はウォーターマークを用いた自動コンテンツ認識サービス提供装置の動作の概念を示す図である。
【図30】本発明のさらに他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【図31】本発明のさらに他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【図32】本発明の一実施例に係る自動コンテンツ認識サービス受信装置を示す図である。
【図33】本発明の一実施例に係る自動コンテンツ認識サービス送信装置を示す図である。
【図34】本発明の一実施例に係る自動コンテンツ認識サービス受信過程を示す図である。
【図35】本発明の一実施例に係る自動コンテンツ認識サービス送信過程を示す図である。
【発明を実施するための形態】
【0029】
本発明を理解を助けるために提供され、本出願に含まれ、本出願の一部を構成する添付の図面は、本発明の原理を説明する詳細な説明と共に本発明の実施例を例示する。添付の図面は、上記の通りである。
【0030】
以下、添付の図面を参照して、本発明の好適な実施例について詳しく説明する。図面全体を通じて、同一又は類似の部分には可能な限り同一の参照番号を共通使用するものとする。
【0031】
本発明の好適な実施例について詳しく述べ、それらの例は添付の図面に示されている。本発明の好適な実施例について、添付の図面を参照して詳しく説明する。図面に示しており、後述される本発明の構成及び動作は、本発明の思想及び範囲を制限するものではなく、少なくとも一つの実施例で説明される。
【0032】
本発明で使われる用語は、一般に知られて使われている用語から選択されたものであるが、ここに使われた用語は、当業者の意図、技術慣行、新しい技術の登場などによって変更されてもよい。また、本発明の詳細な説明で使われた用語の一部は、出願人の裁量で選択したものもあり、その詳細な意味は、詳細な説明の関連部分で説明する。また、本発明で使われた用語は、単純に使われている辞典的な意味ではなく、各用語に内在された意味によって把握されなければならない。
【0033】
図１は、自動コンテンツ認識基盤ＥＴＶサービスシステムを示す図である。
【0034】
図１に示す自動コンテンツ認識基盤ＥＴＶサービスシステムは、放送局又はコンテンツプロバイダ１００、多チャネル放送事業者１０１、セットトップボックス１０２、デジタルＴＶ受信機などの受信機１０３、自動コンテンツ認識サーバー（又は、自動コンテンツ認識ソリューションプロバイダ）１０４を含むことができる。受信機１０３は、ＡＴＳＣ（ａｄｖａｎｃｅｄ ｔｅｌｅｖｉｓｉｏｎ ｓｙｓｔｅｍ ｃｏｍｍｉｔｔｅｅ）の定義によって動作でき、自動コンテンツ認識機能を支援できる。実時間放送サービス１１０は、オーディオ／ビデオコンテンツを含むことができる。
【0035】
デジタル放送サービスは、放送局１００から提供される地上波放送サービスと、多チャネル放送事業者１０１から提供されるケーブル放送又は衛星放送などの多チャネル放送サービスとに大別できる。放送局１００は、実時間放送サービス１１０及びエンハンスメントデータ（又は、付加データ）１２０を共に送信できる。この場合、図１に示すように、受信機１０３は、多チャネル放送事業者１０１及びセットトップボックス１０２を通して実時間放送サービス１１０は受信できるが、エンハンスメントデータ１２０は受信できないことがある。
【0036】
したがって、エンハンスメントデータ１２０を受信するために、受信機１０３は、オーディオ／ビデオコンテンツ出力を実時間放送サービス１１０として分析及び処理し、放送プログラム情報及び／又は放送プログラム関連メタデータを確認する。確認された放送プログラム情報及び／又は放送プログラム関連メタデータを用いて、受信機１０３は、放送局１００又は自動コンテンツ認識サーバー１０４からエンハンスメントデータを受信することができる（１４０）。この場合、エンハンスメントデータはインターネットプロトコルネットワーク１５０を通して送信されうる。
【0037】
エンハンスメントデータが別途の自動コンテンツ認識サーバー１０４から受信されると（１４０）、自動コンテンツ認識サーバー１０４と受信機１０３間のメカニズムにおいて、ＡＴＳＣ ２．０標準で定義したＴＤＯ（ｔｒｉｇｇｅｒｅｄ ｄｅｃｌａｒａｔｉｖｅ ｏｂｊｅｃｔ）モデルのうち、要求／応答モデルを自動コンテンツ認識サーバー１０４に適用することができる。ＴＤＯ及び要求／応答モデルについては後述する。
【0038】
ＴＤＯは、放送コンテンツに含まれた付加情報を表す。ＴＤＯは、放送コンテンツ内で付加情報を適時にトリガリングする役割を持つ。例えば、オーディオプログラムが放送されると、視聴者が好むオーディション参加者の現在順位が放送コンテンツと共に表示される。このとき、オーディション参加者の現在順位の付加情報はＴＤＯになり得る。このようなＴＤＯは視聴者との相互作用によって変更されてもよく、視聴者の意図によって提供されてもよい。
【0039】
標準ＡＴＳＣ ２．０の要求／応答自動コンテンツ認識モデルにおいて、デジタル放送受信機１０３は、周期的に（例えば、５秒ごとに）コンテンツのシグネチャー（ｓｉｇｎａｔｕｒｅ）を生成し、当該シグネチャーを含む要求を自動コンテンツ認識サーバー１０４に送信するようになっている。自動コンテンツ認識サーバー１０４は、デジタル放送受信機１０３から要求を受けると、応答をする。通信セッションは要求と応答間では開放されない。このモデルで、自動コンテンツ認識サーバー１０４は、クライアントに対するメッセージを開始することができない。
【0040】
しかし、前述したＥＴＶサービスシステムでは、別途の自動コンテンツ認識サーバーなしでは自動コンテンツ認識機能を提供することができない。そのため、別途の自動コンテンツ認識サーバー無しで受信機で自動コンテンツ認識機能を独立して行う方法が要求される。
【0041】
図２は、本発明の一実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【0042】
図２に示す自動コンテンツ認識サービス処理システムによれば、実時間放送に関連したエンハンスメントデータは、自動コンテンツ認識サーバーの介在無しでウォーターマーキングを用いて受信され、双方向サービスを提供することができる。
【0043】
図２に示す自動コンテンツ認識サービス処理システムは、デジタルサービス信号を生成して送信する送信機２００及び／又はデジタルサービス信号を受信して処理する受信機２１０を含むことができる。送信機２００はコンテンツプロバイダ又は放送局であり、受信機２１０は、デジタルＴＶ受信機のような受信機であってもよい。送信機２００は、生成モジュール２０１、挿入モジュール２０２、及び／又は送信モジュール２０３を含むことができる。受信機２１０は、受信モジュール２１１及び／又は抽出モジュール２１２を含むことができる。
【0044】
次に、図２に示す自動コンテンツ認識サービス処理システムの各モジュールの動作について説明する。
【0045】
まず、送信機２００の生成モジュール２０１は、ウォーターマークを生成し、送信されるオーディオ／ビデオコンテンツのフレームに挿入することができる。ウォーターマークは、ウォーターマークが挿入されるコンテンツのチャネルに関する情報及び／又はコンテンツのエンハンスメントデータのＵＲＬ（ｕｎｉｆｏｒｍ ｒｅｓｏｕｒｃｅ ｌｏｃａｔｏｒ）情報のようなコンテンツ情報（又は、メタデータ）を含むことができる。送信モジュール２０３は、ウォーターマークの挿入されたコンテンツを受信機２１０に送信することができる。
【0046】
受信機２１０の受信モジュール２１１は、ウォーターマークの挿入されたコンテンツを受信することができ、コンテンツを抽出モジュール２１２に伝達することができる。抽出モジュール２１２は、伝達されたコンテンツのオーディオ／ビデオフレームから、挿入されたウォーターマークを抽出することができる。
【0047】
図３は、本発明の他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【0048】
より詳しくは、図３は、自動コンテンツ認識基盤ＥＴＶサービスを支援する放送サービスの構成を示す。
【0049】
図３に示すように、自動コンテンツ認識サービス処理システムは、コンテンツプロバイダ又は放送局３００、多チャネル放送事業者３０２、セットトップボックス３０３、受信機３０４、アプリケーションＵＲＬルックアップサーバー３０６、アプリケーションサーバー３０７を含むことができる。コンテンツプロバイダ３００は、ウォーターマーク挿入器３０１を含むことができ、受信機３０４は、ウォーターマーク抽出器３０５を含むことができる。アプリケーションＵＲＬルックアップサーバー３０６及びアプリケーションサーバー３０７は物理的に一つのサーバーに従属している。
【0050】
図３に示す受信機３０４は、自動コンテンツ認識機能を有する。
【0051】
コンテンツプロバイダ３００は、エンハンスメントデータに関連したメタデータを、実時間で送信されるオーディオ／ビデオコンテンツにウォーターマークの形態で挿入する。オーディオ／ビデオコンテンツを多チャネル放送事業者３０２を通して受信する場合でも、エンハンスメントデータに関連したメタデータがウォーターマークの形態で挿入されたオーディオ／ビデオコンテンツは受信することができる。自動コンテンツ認識機能を持つ受信機３０４は、多チャネル放送事業者３０２を通して受信したオーディオ／ビデオコンテンツからウォーターマークを抽出し、実時間で放送されるプログラムに関連した情報とメタデータを認識することができる。受信機３０４は、インターネットプロトコルネットワークを通してエンハンスメントデータを受信することができる。
【0052】
次に、図３に示す各構成要素の動作について説明する。
【0053】
放送局３００は、コンテンツを識別するためのコンテンツＩＤのようなエンハンスメントデータと関連したメタデータをオーディオ／ビデオコンテンツにウォーターマークの形態で挿入する。より具体的に、ウォーターマーク挿入器３０１は、オーディオ／ビデオコンテンツにおいてウォーターマークが適切に挿入される領域を検索し、ウォーターマークを検索された領域に挿入する。
【0054】
自動コンテンツ認識機能を持つ受信機３０４は、ウォーターマークの挿入されたオーディオ／ビデオコンテンツを、多チャネル放送事業者３０２及びセットトップボックス３０３を通して受信し、オーディオ／ビデオコンテンツからウォーターマークを抽出し、エンハンスメントデータと関連したメタデータを取得することができる。より具体的に、受信機３０４のウォーターマーク抽出器３０５は、オーディオ／ビデオコンテンツからウォーターマークの挿入された領域を検索し、検索された領域に挿入されているウォーターマークを抽出する。
【0055】
受信機３０４は、抽出されたウォーターマークから取得したメタデータを用いて実時間放送プログラムに関連したエンハンスメントデータをダウンロードできる。より具体的に、受信機３０４は、インターネットプロトコルネットワークを通してアプリケーションＵＲＬルックアップサーバー３０６に接続し、クエリによる関連アプリケーションのＵＲＬを受信することができる。アプリケーションのＵＲＬによって、受信機３０４は、アプリケーションを管理するアプリケーションＵＲＬルックアップサーバー３０６に接続し、アプリケーションＵＲＬルックアップサーバー３０６から、アプリケーションに従属したエンハンスメントデータをダウンロードすることができる。
【0056】
図４は、本発明の一実施例に係る受信機の構造を示す図である。
【0057】
具体的に、図４は、ウォーターマーキングを用いて自動コンテンツ認識基盤ＥＴＶサービスを支援する受信機の構成の一例を示す。
【0058】
図４に示すように、本発明の一実施例に係る自動コンテンツ認識基盤ＥＴＶサービスを支援する受信機は、入力データプロセッサ、ＡＴＳＣメインサービスプロセッサ、ＡＴＳＣ ＭＨ（ｍｏｂｉｌｅ ｈａｎｄｈｅｌｄ）サービスプロセッサ、及び／又は自動コンテンツ認識サービスプロセッサを含むことができる。入力データプロセッサは、チューナー／復調器４００及び／又は残留側波帯デコーダ４０１を含むことができる。ＡＴＳＣメインサービスプロセッサは、トランスポートプロトコル（ＴＰ）デマルチプレクサ４０２、非実時間ガイド情報プロセッサ４０３、ＤＳＭ−ＣＣ（ｄｉｇｉｔａｌ ｓｔｏｒａｇｅ ｍｅｄｉａ ｃｏｍｍａｎｄａｎｄ ｃｏｎｔｒｏｌ）アドレス指定可能セクションパーサー４０４、ＩＰ／ＵＤＰ（ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｖｉｄｅｒ／ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ）パーサー４０５、ＦＬＵＴＥ（ｆｉｌｅ ｄｅｌｉｖｅｒｙ ｏｖｅｒ ｕｎｉｄｉｒｅｃｔｉｏｎａｌ ｔｒａｎｓｐｏｒｔ）パーサー４０６、メタデータモジュール４０７、ファイルモジュール４０８、ＥＳＧ（ｅｌｅｃｔｒｏｎｉｃ ｓｅｒｖｉｃｅ ｇｕｉｄｅ）／ＤＣＤ（ｄａｔａ ｃａｒｒｉｅｒ ｄｅｔｅｃｔ）ハンドラー４０９、記憶制御モジュール４１０、ファイル／トランスポートプロトコルスイッチ４１１、再生制御モジュール４１２、第１記憶装置４１３、インターネットプロトコルパケット記憶制御モジュール４１４、インターネット接続制御モジュール４１５、インターネットプロトコルインターフェース４１６、ライブレコーディングスイッチ４１７、ファイル（オブジェクト）デコーダ４１８、トランスポートプロトコル／ＰＥＳ（ｐａｃｋｅｔｉｚｅｄ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）デコーダ４２０、ＰＳＩ（ｐｒｏｇｒａｍ ｓｐｅｃｉｆｉｃ ｉｎｆｏｒｍａｔｉｏｎ）／ＰＳＩＰ（ｐｒｏｇｒａｍ ａｎｄ ｓｙｓｔｅｍ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｔｏｃｏｌ）デコーダ４２１、及び／又はＥＰＧ（ｅｌｅｃｔｒｏｎｉｃ ｐｒｏｇｒａｍｇ ｕｉｄｅ）ハンドラー４２２を含むことができる。ＡＴＳＣ ＭＨサービスプロセッサは、メイン／ＭＨ／非実時間スイッチ４１９、ＭＨベースバンドプロセッサ４２３、ＭＨ物理的適応プロセッサ４２４、インターネットプロトコルスタック４２５、ファイルハンドラー４２６、ＥＳＧハンドラー４２７、第２記憶装置４２８、及び／又はストリーミングハンドラー４２９を含むことができる。自動コンテンツ認識サービスプロセッサは、メイン／ＭＨ／非実時間スイッチ４１９、オーディオ／ビデオデコーダ４３０、オーディオ／ビデオ処理モジュール４３１、外部入力ハンドラー４３２、ウォーターマーク抽出器４３３、及び／又はアプリケーション４３４を含むことができる。
【0059】
次に、各プロセッサの各モジュールの動作について説明する。
【0060】
入力データプロセッサで、チューナー／復調器４００は、アンテナから受信した放送信号をチューニング及び復調することができる。この過程によって、残留側波帯シンボルを抽出することができる。残留側波帯デコーダ４０１は、チューナー／復調器４００によって抽出された残留側波帯シンボルをデコーティングすることができる。
【0061】
残留側波帯デコーダ４０１は、デコーティングによるＡＴＳＣメインサービスデータ及びＭＨサービスデータを出力することができる。ＡＴＳＣメインサービスデータはＡＴＳＣメインサービスプロセッサに伝達されて処理され、ＭＨサービスデータはＡＴＳＣ ＭＨサービスプロセッサに伝達されて処理されうる。
【0062】
ＡＴＳＣメインサービスプロセッサは、ＭＨ信号を除くメインサービスデータを自動コンテンツ認識サービスプロセッサに伝達するためにメインサービス信号を処理することができる。トランスポートプロトコルデマルチプレクサ４０２は、残留側波帯信号を介して送信されたＡＴＳＣメインサービスデータの送信パケットを逆多重化して他の処理モジュールに伝達することができる。すなわち、トランスポートプロトコルデマルチプレクサ４０２は、放送信号の要素がそれぞれ放送受信機のモジュールによって処理されるように、送信パケットに含まれた様々な情報を逆多重化して伝達することができる。逆多重化されたデータは、実時間ストリーム、ＤＳＭ−ＣＣアドレス指定可能セクション、及び／又は非実時間サービステーブル／Ａ／９０＆９２シグナリングテーブルを含むことができる。より具体的に、図４に示すように、トランスポートプロトコルデマルチプレクサ４０２は、実時間ストリームをライブレコーディングスイッチ４１７に出力でき、ＤＳＭ−ＣＣアドレス指定可能セクションをＤＳＭ−ＣＣアドレス指定可能セクションパーサー４０４に出力でき、非実時間サービステーブル／Ａ／９０＆９２シグナリングテーブルを非実時間ガイド情報プロセッサ４０３に出力することができる。
【0063】
非実時間ガイド情報プロセッサ４０３は、トランスポートプロトコルデマルチプレクサ４０２から非実時間サービステーブル／Ａ／９０＆９２シグナリングテーブルを受信し、ＦＬＵＴセッション情報を抽出してＤＳＭ−ＣＣアドレス指定可能セクションパーサー４０４に伝達することができる。ＤＳＭ−ＣＣアドレス指定可能セクションパーサー４０４は、トランスポートプロトコルデマルチプレクサ４０２からＤＳＭ−ＣＣアドレス指定可能セクションを受信し、非実時間ガイド情報プロセッサ４０３からＦＬＵＴセッション情報を受信し、ＤＳＭ−ＣＣアドレス指定可能セクションを処理することができる。ＩＰ／ＵＤＰパーサー４０５は、ＤＳＭ−ＣＣアドレス指定可能セクションパーサー４０４からデータ出力を受信し、ＩＰ／ＵＤＰによって送信されたＩＰデータグラムをパーシングすることができる。ＦＬＵＴＥパーサー４０６は、ＩＰ／ＵＤＰパーサー４０５から出力されたデータを受信し、ＡＬＣ（ａｓｙｎｃｈｒｏｎｏｕｓ ｌａｙｅｒｅｄ ｃｏｄｉｎｇ）オブジェクトの形態で送信されたデータサービスを送信するためのＦＬＵＴＥデータを処理することができる。メタデータモジュール４０７及びファイルモジュール４０８は、ＦＬＵＴＥパーサー４０６から出力されたデータを受信し、メタデータ及び復元されたファイルを処理することができる。ＥＳＧ／ＤＣＤハンドラー４０９は、メタデータモジュール４０７から出力されたデータを受信し、放送プログラムに関連した電子サービスガイド及び／又は下りリンクチャネル記述子を処理することができる。復旧されたファイルは、レファレンスフィンガープリント及びＡＴＳＣ ２．０コンテンツのようなファイルオブジェクトの形態で記憶制御モジュール４１０に伝達されうる。ファイルオブジェクトは、記憶制御モジュール４１０によって処理され、正常ファイル及びトランスポートプロトコルファイルに分離されて第１記憶装置４１３に記憶されうる。再生制御モジュール４１２は、記憶されたファイルオブジェクトを更新し、ファイルオブジェクトをファイル／トランスポートプロトコルスイッチ４１１に伝達して、正常ファイル及びトランスポートプロトコルファイルをデコーティングすることができる。ファイル／トランスポートプロトコルスイッチ４１１は、正常ファイル及びトランスポートプロトコルファイルが互いに異なる経路を通じてデコーティングされるように、正常ファイルはファイルデコーダ４１８に伝達し、トランスポートプロトコルファイルはライブレコーディングスイッチ４１７に伝達する。
【0064】
ファイルデコーダ４１８は、正常ファイルをデコーティングして自動コンテンツ認識サービスプロセッサに伝達することができる。デコーティングされた正常ファイルは、自動コンテンツ認識サービスプロセッサのメイン／ＭＨ／非実時間スイッチ４１９に伝達することができる。トランスポートプロトコルファイルは、ライブレコーディングスイッチ４１７の制御下に、トランスポートプロトコル／ＰＥＳデコーダ４２０に伝達することができる。トランスポートプロトコル／ＰＥＳデコーダ４２０は、トランスポートプロトコルファイルをデコーティングし、ＰＳＩ／ＰＳＩＰデコーダ４２１は、デコーティングされたトランスポートプロトコルファイルを再びデコーティングする。ＥＰＧハンドラー４２２は、デコーティングされたトランスポートプロトコルファイルを処理し、ＡＴＳＣによってＥＰＧサービスを処理することができる。
【0065】
ＡＴＳＣ ＭＨサービスプロセッサは、ＡＴＳＣ ＭＨサービスデータを自動コンテンツ認識サービスプロセッサに送信するためにＭＨ信号を処理することができる。より具体的に、ＭＨベースバンドプロセッサ４２３は、ＡＴＳＣ ＭＨサービスデータを送信に適したパルス波形に切り替えることができる。ＭＨ物理的適応プロセッサ４２４は、ＡＴＳＣ ＭＨサービスデータをＭＨ物理的階層に適した形態として処理することができる。
【0066】
インターネットプロトコルスタック４２５は、ＭＨ物理的適応プロセッサ４２４から出力されたデータを受信し、インターネット送信／受信のための通信プロトコルによって処理することができる。ファイルハンドラー４２６は、インターネットプロトコルスタック４２５から出力されたデータを受信し、応用階層のファイルを処理することができる。ＥＳＧハンドラー４２７は、ファイルハンドラー４２６から出力されたデータを受信し、モバイルＥＳＧを処理することができる。また、第２記憶装置４２８は、ファイルハンドラー４２６から出力されたデータを受信し、ファイルオブジェクトを記憶することができる。また、インターネットプロトコルスタックモジュール４２５から出力されたデータの一部は、ＡＴＳＣによるモバイルＥＳＧサービスの代わりに受信機の自動コンテンツ認識サービスのためのデータになり得る。この場合、ストリーミングハンドラー４２９は、ＲＴＰ（ｒｅａｌ−ｔｉｍｅ ｔｒａｎｓｐｏｒｔ ｐｒｏｔｏｃｏｌ）を通して受信されたリアルストリーミングを処理して自動コンテンツ認識サービスプロセッサに伝達することができる。
【0067】
自動コンテンツ認識サービスプロセッサのメイン／ＭＨ／非実時間スイッチ４１９は、ＡＴＳＣメインサービスプロセッサ及び／又はＡＴＳＣ ＭＨサービスプロセッサから出力された信号を受信することができる。オーディオ／ビデオデコーダ４３０はメイン／ＭＨ／非実時間スイッチ４１９から受信された圧縮オーディオ／ビデオデータをデコーティングすることができる。デコーティングされたオーディオ／ビデオデータは、オーディオ／ビデオ処理モジュール４３１に伝達できる。
【0068】
外部入力ハンドラー４３２は、外部入力を通して受信されたオーディオ／ビデオコンテンツを処理してオーディオ／ビデオ処理モジュール４３１に送信することができる。
【0069】
オーディオ／ビデオ処理モジュール４３１は、オーディオ／ビデオデコーダ４３０及び／又は外部入力ハンドラー４３２から受信されたオーディオ／ビデオデータを処理してスクリーンに表示することができる。この場合、ウォーターマーク抽出器４３３は、オーディオ／ビデオデータからウォーターマークの形態で挿入されたデータを抽出することができる。抽出されたウォーターマークデータは、アプリケーション４３４に伝達することができる。アプリケーション４３４は、自動コンテンツ認識機能に基づくエンハンスメントサービスを提供し、放送コンテンツを確認し、そこに関連したエンハンスメントデータを提供することができる。アプリケーション４３４がエンハンスメントデータをオーディオ／ビデオ処理モジュール４３１に伝達すると、オーディオ／ビデオ処理モジュール４３１は、受信したオーディオ／ビデオデータを処理して画面に表示することができる。
【0070】
図５は、本発明の一実施例に係る自動コンテンツ認識サービス処理システムの構造を示す図である。
【0071】
より具体的に、図５は、受信機５００がセットトップボックスのような外部装置の外部入力を通して地上波チャネルを受信すると、ウォーターマークを用いてプログラム情報を得るための動作を示す。
【0072】
図５に示す自動コンテンツ認識サービス処理システムは、受信機５００、ＣＥサーバー５０１、放送局又はコンテンツプロバイダ５０２、アプリケーションサーバー５０３を含むことができる。受信機５００は、オーディオ／ビデオプロセッサ５１０、ウォーターマーク抽出器５２０、応用モジュール５３０を含むことができる。オーディオ／ビデオプロセッサ５１０は、ウォーターマーキングマネジャー５１１を含むことができる。また、受信機５００は自動コンテンツ認識機能を持つことができる。
【0073】
オーディオ／ビデオプロセッサ５１０は、外部入力を通して受信したオーディオ／ビデオコンテンツをウォーターマーク抽出器５２０に伝達し、ウォーターマーク抽出器５２０は、オーディオ／ビデオコンテンツからウォーターマークの形態で挿入されたデータを抽出し、アプリケーションサーバー５０３に接続することができる。このとき、ＣＥサーバー５０１は、ウォーターマーキング関連モジュール及びマイクロコードを管理することができる。
【0074】
本発明の一実施例に係るマイクロコードとは、オーディオ／ビデオコンテンツに挿入されたウォーターマークを抽出するためのコードを指し、オーディオ／ビデオデコーダチップ及び／又は未加工データ処理チップによって動的にダウンロードすることができる。受信機は、必要によって、一つ又は複数のマイクロコードを圧縮及び記憶してもよく、ダウンロードインターフェースを介して一つ又は複数のマイクロコードをダウンロードしてもよい。ダウンロードインターフェースはチップ種類によって別々に具現されてもよい。
【0075】
次に、図５に示した各構成要素の動作について説明する。
【0076】
受信機５００のウォーターマーク抽出器５２０は、オーディオコンテンツ又はビデオコンテンツからウォーターマークを抽出したり、オーディオコンテンツ及びビデオコンテンツを用いてウォーターマークを抽出することができる。抽出されたウォーターマークは、チャネル情報及び／又はコンテンツ情報を含むことができる。コンテンツ情報は、ＡＴＳＣ ２．０サービスで使われるコンテンツに関する情報を含むことができる。
【0077】
応用モジュール５３０は、チャネルと関連したコンテンツ及び／又はウォーターマークから抽出されたチャネル情報及びコンテンツ情報に基づくメタデータを送信するためのチャネルに同調してコンテンツ情報を受信することができる。また、応用モジュール５３０は、インターネットプロトコルを通してチャネルと関連したコンテンツ及び／又はメタデータを受信することができる。本発明の一実施例によれば、チャネルは、ＡＴＳＣメッセージハンドラーチャネルを含むことができる。
【0078】
ＣＥサーバー５０１は、ウォーターマーキングと関連したマイクロコード及び／又はソフトウェアを管理及び更新することができる。すなわち、ＣＥサーバー５０１は、放送局５００のプロトコルに基づいて関連のマイクロコード及び／又はソフトウェアを続けて追加、削除、又は更新することができる。受信機５００から要求が受信されたり、又はＣＥサーバー５０１が更新されると、ＣＥサーバー５０１は受信機５００に、要求が受信されたりＣＥサーバー５０１が更新されたということを知らせ、新しいコードをダウンロードする。
【0079】
ウォーターマーク抽出器５２０は、受信機５００のチップ上で動作するマイクロコード又はソフトウェアモジュールとして具現することができる。新しいマイクロコード又はソフトウェアモジュールはＣＥサーバー５０１から続けてダウンロードすることができる。
【0081】
図６乃至図８は、ビデオデコーダ及び／又はオーディオデコーダのチップでマイクロコードに基づいて実時間でコンテンツに挿入されたウォーターマークを抽出し、ウォーターマークに基づいてコンテンツを認識する受信機の構造を示す。次に、本発明の実施例を、図６乃至図８を参照して説明する。
【0082】
図６は、本発明の一実施例に係るＥＴＶサービス受信装置の構造を示す図である。
【0083】
図６に示す本発明の一実施例に係るＥＴＶサービス受信装置は、リモコン６００、リモコン受信器６０１、ＵＩ（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）モジュール６０２、ネットワークインターフェース６０３、マイクロコードダウンローダ６０４、ウェブブラウザ６０５、トリガープロセッサ６０６、マイクロプロセッサ６０７、マイクロコードインターフェース６０８、オーディオデコーダ６０９、ビデオデコーダ６１０、グラフィックプロセッサ６１１、アプリケーション６１２、スピーカ６１３、ディスプレイモジュール６１４、アンテナ６１５、チューナー６１６、復調器６１７、及び／又はシステムデコーダ６１８を含むことができる。システムデコーダ６１８は、ＭＰＥＧ−２ ＴＳデコーダであってもよい。復調器６１７は、残留側波帯復調器又はＤＶＢ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｂｒｏａｄｃａｓｔｉｎｇ）復調器であってもよい。それぞれのオーディオデコーダ６０９及びビデオデコーダ６１０は、マイクロコードインターフェース６０８を含むことができる。
【0084】
図６に示すように、ＥＴＶサービス受信装置は、ビデオデコーダ又はオーディオデコーダのチップ上で実行されるマイクロコードを用いて、実時間で地上波を通して送信されるオーディオ／ビデオコンテンツからウォーターマークを抽出し、抽出されたウォーターマークをアプリケーションに送信し、エンハンスメントサービスを受信することができる。マイクロコードは、マイクロコードダウンローダ６０４を通して外部装置からダウンロードすることができる。マイクロコードは、マイクロコードインターフェース６０８を通してオーディオデコーダ６０９又はビデオデコーダ６１０のチップ上で動的にダウンロードできる。
【0085】
次に、図６に示すＥＴＶサービス受信装置の構成要素間の動作について説明する。
【0086】
リモコン受信器６０１は、リモコン６００から赤外線を介して視聴者の要求信号を受信し、キーコードを用いてＵＩモジュール６０２に信号を送信することができる。ＵＩモジュール６０２及び／又はリモコン受信器６０１は、ブラウザキーコードを用いてウェブブラウザ６０５に信号を伝達することができる。ＵＩモジュール６０２を通過した信号は、グラフィックプロセッサ６０１に伝達できる。
【0087】
チューナー６１６は、アンテナ６１５から受信した信号をチューニングし、復調器６１７は、チューニングされた信号の波形を復元することができる。デコーダ６１８は、復元された信号をデコーティングしてトリガープロセッサ６０６に伝達することができる。トリガープロセッサ６０６は、デコーティングされた信号をトリガーデータとしてウェブブラウザ６０５に送信することができる。
【0088】
ウェブブラウザ６０５に伝達された信号がマイクロコードダウンローダ６０４に伝達されると、マイクロコードがダウンロードされ、マイクロコードインターフェース６０８に伝達されうる。マイクロコードインターフェース６０８を通過するマイクロコード及びデコーティングされた信号はそれぞれ、オーディオデコーダ６０９及びビデオデコーダ６１０に伝達されるオーディオ信号及びビデオ信号に分離できる。オーディオデコーダ６０９及びビデオデコーダ６１０のマイクロコードインターフェース６０８は、マイクロコードを用いてオーディオ／ビデオコンテンツに挿入されたウォーターマークを抽出することができる。
【0089】
抽出されたウォーターマークはアプリケーション６１２に伝達でき、オーディオ信号はスピーカ６１３に伝達でき、ビデオ信号は、グラフィックプロセッサ６１１から受信されたグラフィック信号と共にディスプレイモジュール６１４に出力できる。
【0090】
図７は、本発明の他の実施例に係るＥＴＶサービス受信装置の構造を示す図である。
【0091】
図７に示す本発明の一実施例に係るＥＴＶサービス受信装置は、リモコン７００、リモコン受信器７０１、ＵＩモジュール７０２、ネットワークインターフェース７０３、マイクロコードダウンローダ７０４、ウェブブラウザ７０５、トリガープロセッサ７０６、マイクロプロセッサ７０７、マイクロコードインターフェース７０８、オーディオデコーダ７０９、ビデオデコーダ７１０、グラフィックプロセッサ７１１、アプリケーション７１２、スピーカ７１３、ディスプレイモジュール７１４、アンテナ７１５、チューナー７１６、復調器７１７、システムデコーダ７１８、オーディオ後処理プロセッサ＆増幅器７１９、及び／又はビデオディスプレイプロセッサ７２０を含むことができる。本発明の一実施例によれば、システムデコーダ７１８としては、ＭＰＥＧ−２ ＴＳデコーダを含むことができる。本発明の一実施例によれば、復調器７１７としては、残留側波帯復調器及び／又はＤＶＢ復調器を含むことができる。それぞれのオーディオ後処理プロセッサ＆増幅器７１９及びビデオディスプレイプロセッサ７２０は、マイクロコードインターフェース７０８を含むことができる。
【0092】
図７に示すように、ＥＴＶサービス受信装置は、オーディオデコーダやビデオデコーダのチップの代わりに後処理チップ上で実時間でマイクロコードを用いて、オーディオ／ビデオコンテンツに挿入されるウォーターマークを抽出することができる。本発明の一実施例によれば、後処理チップは、オーディオ後処理プロセッサ＆増幅器７１９及びビデオディスプレイプロセッサ７２０を含むことができる。ＥＴＶサービス受信装置は、抽出されたウォーターマークを用いてオーディオ／ビデオコンテンツを自動で認識することができる。ＥＴＶサービス受信装置は、マイクロコードダウンローダ７０４を通して外部装置からマイクロコードをダウンロードすることができる。また、ＥＴＶサービス受信装置のオーディオ又はビデオ後処理チップは、マイクロコードインターフェース７０８を通してマイクロコードをダウンロードすることができる。
【0093】
次に、図７に示すＥＴＶサービス受信装置の構成要素間の動作について説明する。
【0094】
リモコン受信器７０１は、リモコン７００から赤外線を介して視聴者の要求信号を受信し、キーコードを用いてＵＩモジュール７０２に、受信したた信号を送信することができる。ＵＩモジュール７０２及び／又はリモコン受信器７０１は、ブラウザキーコードを用いてウェブブラウザ７０５に信号を伝達することができる。ＵＩモジュール７０２を通過した信号は、グラフィックプロセッサ７１１に伝達できる。
【0095】
チューナー７１６は、アンテナ７１５から受信した信号をチューニングし、復調器７１７は、チューニングされた信号の波形を復元することができる。デコーダ７１８は、復元された信号をデコーティングしてトリガープロセッサ７０６に伝達することができる。トリガープロセッサ７０６は、デコーティングされた信号をトリガーデータとしてウェブブラウザ７０５に送信することができる。
【0096】
ウェブブラウザ７０５に伝達された信号がマイクロコードダウンローダ７０４に伝達されると、マイクロコードがダウンロードされ、オーディオ後処理プロセッサ＆増幅器７１８のマイクロコードインターフェース７０８に及び／又はマイクロコードインターフェース７０８を通してビデオディスプレイプロセッサ７２０に伝達されうる。
【0097】
デコーティングされた信号はそれぞれ、オーディオデコーダ７０９及びビデオデコーダ７１０に伝達されるオーディオ信号及びビデオ信号に分離できる。オーディオデコーダ７０９によってデコーティングされたオーディオ信号は、オーディオ後処理プロセッサ＆増幅器７１９に伝達できる。ビデオデコーダ７１０によってデコーティングされたビデオ信号は、ビデオディスプレイプロセッサ７２０に伝達できる。
【0098】
オーディオ後処理プロセッサ＆増幅器７１９のマイクロコードインターフェース７０８及び／又はビデオディスプレイプロセッサ７２０のマイクロコードインターフェース７０８を通してオーディオ信号及び／又はビデオ信号を受信すると、オーディオ及び／又はビデオコンテンツに挿入されたウォーターマークを、マイクロコードを用いて抽出することができる。
【0099】
抽出されたウォーターマークはアプリケーション７１２に伝達でき、オーディオ信号はスピーカ７１３に出力でき、ビデオ信号はディスプレイモジュール７１４に出力できる。
【0100】
図８は、本発明のさらに他の実施例に係るＥＴＶサービス受信装置の構造を示す図である。
【0101】
図８に示す本発明の一実施例に係るＥＴＶサービス受信装置は、リモコン８００、リモコン受信器８０１、ＵＩモジュール８０２、ネットワークインターフェース８０３、マイクロコードダウンローダ８０４、ウェブブラウザ８０５、トリガープロセッサ８０６、マイクロプロセッサ８０７、マイクロコードインターフェース８０８、オーディオデコーダ８０９、ビデオデコーダ８１０、グラフィックプロセッサ８１１、アプリケーション８１２、スピーカ８１３、ディスプレイモジュール８１４、オーディオ後処理プロセッサ＆増幅器８１５、セットトップボックス８１７、外部入力ハンドラー８１８を含むことができる。外部入力ハンドラー８１８は、ＨＤＭＩ（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ）を介して外部入力を受信することができる。
【0102】
図８に示すように、ＥＴＶサービス受信装置は、オーディオ／ビデオコンテンツが地上波を通して送信されず、セットトップボックス８１７のような外部装置を通して受信されても、マイクロコードを用いてオーディオ／ビデオコンテンツを自動で認識し、ＥＴＶサービスを受信することができる。すなわち、オーディオ／ビデオコンテンツが外部装置から受信されると、ＥＴＶサービス受信装置は実時間でマイクロコードを用いてオーディオ／ビデオコンテンツからウォーターマークを抽出することができる。このとき、ビデオ又はオーディオ後処理チップは、マイクロコードインターフェース８０８を通してマイクロコードをダウンロードすることができる。抽出されたウォーターマークはアプリケーション８１２に伝達され、受信機は、ウォーターマークに含まれたデータを用いてエンハンスメントデータを取得することができる。本発明の一実施例によれば、後処理チップは、オーディオ後処理プロセッサ＆増幅器８１５及び／又はビデオディスプレイプロセッサ８１６を含むことができる。
【0103】
次に、図８に示したＥＴＶサービス受信装置の構成要素間の動作について説明する。
【0104】
リモコン受信器８０１は、リモコン８００から赤外線を介して視聴者の要求信号を受信し、キーコードを用いてＵＩモジュール８０２に、受信された信号を送信することができる。ＵＩモジュール８０２及び／又はリモコン受信器８０１は、ブラウザキーコードを用いてウェブブラウザ８０５に信号を伝達することができる。ウェブブラウザ８０５に伝達された信号がマイクロコードダウンローダ８０４に伝達されると、ＥＴＶサービス受信装置は、マイクロコードをダウンロードしてマイクロコードインターフェース８０８に伝達することができる。ＵＩモジュール８０２を通過した信号は、グラフィックプロセッサ８１１に伝達できる。
【0105】
セットトップボックスを通して外部装置から受信された信号は、外部入力ハンドラー８１８を通してデコーティングされず、トリガープロセッサ８０６を通してトリガーデータとして処理され、ウェブブラウザ８０５に伝達できる。又は、外部入力ハンドラー８１８を通過した外部入力信号はそれぞれ、オーディオデコーダ８０９及びビデオデコーダ８１０に伝達されるオーディオ信号及びビデオ信号に分離できる。このとき、オーディオデコーダ８０９はオーディオ信号をデコーティングすることができる。
【0106】
デコーティングされたオーディオ信号は、オーディオ後処理プロセッサ＆増幅器８１５に伝達でき、デコーティングされたビデオ信号は、ビデオディスプレイプロセッサ８１６に伝達できる。オーディオ後処理プロセッサ＆増幅器８１９及びビデオディスプレイプロセッサ８１６のマイクロコードインターフェース８０８は、マイクロコードを用いて、オーディオ及び／又はビデオコンテンツに挿入されたウォーターマークを抽出することができる。
【0107】
抽出されたウォーターマークは、アプリケーション８１２に伝達でき、オーディオ信号はスピーカ８１３に出力でき、ビデオ信号はディスプレイモジュール８１４に出力できる。
【0108】
図９は、本発明の一実施例に係るデジタルウォーターマーキング技術のフローを示す図である。
【0109】
デジタルウォーターマーキングは、除去し難い方式でデジタル信号に情報を埋め込む過程である。例えば、信号は、音声、画面、又は映像でありうる。信号が複製されると、情報も複製された信号に乗せられる。一つの信号は同時に複数の異なったウォーターマークを乗せることができる。
【0110】
視覚的ウォーターマーキングで、情報は画面又は映像において可視的である。一般に、情報は、メディアの所有者を確認するテキストやロゴである。ＴＶ放送局が、送信される映像の隅部にロゴを追加すると、これもまた視覚的ウォーターマークである。
【0111】
視覚的ウォーターマーキングで、情報はデジタルデータとして音声、画面、又は映像に追加されるが、若干の情報が隠されているということを感知できても、その自体は認知されない。ウォーターマークは広く使われるためのものであるから、検索しやすくなっていてもよく、ある団体がデジタル信号に埋め込まれた秘密メッセージをやりとりするステガノグラフィの形態であってもよい。いずれの場合であれ、視覚的ウォーターマーキングと同様に、目的は、所有主や他の記述情報を除去し難い方式で信号に付けることである。隠された埋め込まれた情報を個人間の通信を切り替えるための手段として使用することもできる。
【0112】
ウォーターマーキングの一つの応用としては、デジタルメディアの非承認複製を防止又は阻止するための著作権保護システムがある。この用途では、複製装置が複製前に信号からウォーターマークを検索し、ウォーターマークのコンテンツによって複製をするか否かを決定する。他の応用としては、ソース追跡がある。ウォーターマークは配布の度にデジタル信号に埋め込まれる。著作物の複製物が後で発見されると、ウォーターマークが複製物から検索され、配布のソースが知らされる。報道によれば、この技術は、不正に複製された映画のソースを見つけるために用いられてきた。
【0113】
記述情報を持つデジタル写真のアノテーションは、視覚的ウォーターマーキングの更に他の応用である。
【0114】
デジタルメディアに対するファイル形式の一部がメタデータと呼ばれる付加情報を含むことができるのに対し、デジタルウォーターマーキングは、データが信号自体で伝達されるという点で異なる。
【0115】
一部の文脈でデジタルウォーターマークという語句がウォーターマーキングされた信号とカバー信号間の差異を意味することもあるが、埋め込まれる情報は、デジタルウォーターマークと呼ばれる。ウォーターマークが埋め込まれる信号は、ホスト信号と呼ばれる。
【0116】
ウォーターマーキングシステムは、主に、埋め込み９０１、攻撃９０２、検出又は抽出９０３の３つの別個の段階に区別される。
【0117】
埋め込み９０１で、アルゴリズムは、ホスト及び埋め込まれるデータを取り込み、ウォーターマーキングされた信号を生成する。
【0118】
ウォーターマーキングされた信号は送信又は記憶されるが、主に他の人に送信される。この人が変更を加えると、これは攻撃９０２と呼ばれる。変更が悪意的でないこともあるが、攻撃というものは、著作権侵害者が変更によってデジタルウォーターマークを除去しようとする著作権保護アプリケーションから発生する。色々な変更がありうる。例えば、データの非可逆圧縮、イメージ又は映像のクロッピング、又は意図的に加える雑音などがありうる。
【0119】
検出９０３は、攻撃された信号からウォーターマークを抽出するために、攻撃された信号に適用されるアルゴリズムである。信号が送信中に変更されなかった場合は、ウォーターマークは依然として存在し、抽出されることが可能である。堅固なウォーターマーキングアプリケーションでは、変更が強力であっても抽出アルゴリズムはウォーターマークを正しく生成できるはずである。脆弱なウォーターマーキングでは、信号にいかなる変更が加えられても抽出アルゴリズムは失敗するだろう。
【0120】
埋め込まれた情報が数回の変形によって低下してもマーキングされた信号から確実に検出されることが可能であれば、デジタルウォーターマークは変形に対して堅固であるという。典型的なイメージ低下は、ＪＰＥＧ圧縮、回転（ｒｏｔａｔｉｏｎ）、クロッピング、付加的な雑音及び量子化である。ビデオコンテンツにおいて、一時的変更及びＭＰＥＧ圧縮が主としてここに含まれる。ウォーターマーキングされたコンテンツが本来のウォーターマーキングされていないコンテンツと知覚的に同等であると、ウォーターマークは感知できないという。一般に、堅固なウォーターマークや感知できないウォーターマークは生成しやすいが、堅固で且つ感知できないウォーターマークは生成し難いと知られている。堅固で且つ感知できないウォーターマークは、デジタルコンテンツの保護のための道具、例えば、専門的なビデオコンテンツにおいて埋め込まれた「複製不許可」フラグとして提案された。
【0121】
デジタルウォーターマーキング技術は、いくつかの方式に分類できる。
【0122】
第一に、ウォーターマークは、若干の変形後に検出されないと脆弱であるという（堅固性）。脆弱なウォーターマークは通常、タンパー検出完全性立証のために使われる。明らかに明確な原著作物に加えた変形は、普通、ウォーターマークと呼ばれず、一般化したバーコードと呼ばれる。陽性変形には抵抗力があるが、悪性変形後には検出に失敗するウォーターマークは、やや脆弱であるという。やや脆弱なウォーターマークは、通常、悪性変形を検出するために使われる。指定された部類の変形に抵抗力があるウォーターマークは堅固であるという。堅固なウォーターマークは、複製物を伝達し、制御情報に接続するために、複製防止アプリケーションで用いることができる。
【0123】
第二に、元来のカバー信号とマーキングされた信号とが知覚的に区別されないと（区別され難いと）、ウォーターマークは感知できないという（知覚性）。マーキングされた信号での存在が明らかであるが、非侵害的であると、ウォーターマークは感知できるという。
【0124】
第三に、容量に関して、埋め込まれたメッセージの長さは、２種類の異なる主部類(main classes)のウォーターマーキング方式を決定する。
【0125】
メッセージは概念上０ビットの長さを有し、システムは、マーキングされたオブジェクトからウォーターマークの存在有無を検出するために設計される。この種のウォーターマーキング方式は、主に、イタリック０ビット又はイタリック存在ウォーターマーキング方式と呼ばれる。しばしばこの種のウォーターマーキング方式は、１がウォーターマークの存在を示すため（０は不在）、１ビットウォーターマークと呼ばれる。
【0126】
メッセージはｎビット長のストリーム（ｎ＝｜ｍ｜又はＭ＝｛０，１｝ｎ）であり、ウォーターマークで変調される。この種の方式は主に、多重ビットウォーターマーキング又は非零ビットウォーターマーキング方式と呼ばれる。
【0127】
第四に、埋め込み段階にはいくつかの方式がある。マーキングされた信号が付加的な変形によって得られると、ウォーターマーキング方法は帯域拡散と呼ばれる。帯域拡散ウォーターマークは適当に堅固であると知られているが、ホスト干渉によって低い情報容量を有すると知られている。マーキングされた信号が量子化によって得られると、ウォーターマーキング方法は、量子化タイプのものという。量子化ウォーターマークは低い堅固性を有するが、ホスト干渉の排除によって高い情報容量を有する。マーキングされた信号が帯域拡散法と類似の付加的な変形によって埋め込まれるが、特別に空間領域で埋め込まれると、ウォーターマーキング方法は振幅変調と呼ばれる。図１０は、本発明の一実施例に係る自動コンテンツ認識クエリ結果フォーマットを示す図である。
【0128】
既存の自動コンテンツ認識サービス処理システムによれば、放送局が実時間サービスのためのコンテンツとＥＴＶサービスのためのエンハンスメントデータを共に送信し、ＴＶ受信機がコンテンツとＥＴＶサービスを受信する場合、実時間サービスのためのコンテンツは受信できるが、エンハンスメントデータは受信できない。
【0129】
この場合、本発明の一実施例によれば、インターネットプロトコルネットワークを用いた独立したインターネットプロトコルシグナリングチャネルを用いて既存の自動コンテンツ認識処理システムの問題を解決することができる。すなわち、ＴＶ受信機は、多チャネル放送事業者を通して実時間サービスのためのコンテンツを受信することができ、独立したインターネットプロトコルシグナリングチャネルを通してエンハンスメントデータを受信することができる。
【0130】
この場合、本発明の一実施例によれば、インターネットプロトコルシグナリングチャネルは、ＰＳＩＰストリームがバイナリストリームの形態で伝達及び処理されるように構成される。このとき、インターネットプロトコルシグナリングチャネルは、プル（ｐｕｌｌ）方法やプッシュ（ｐｕｓｈ）方法を利用するように構成される。
【0131】
プル方法のインターネットプロトコルシグナリングチャネルは、ＨＴＴＰ要求／応答方法によって構成されうる。ＨＴＴＰ要求／応答方法によれば、ＰＳＩＰバイナリストリームは、ＨＴＴＰ要求信号に対するＨＴＴＰ応答信号に含まれ、ＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＵＲＬを通して送信されうる。この場合、ポーリングサイクルは、自動コンテンツ認識クエリ結果として伝達されたメタデータでＰｏｌｌｉｎｇ＿ｃｙｃｌｅによって周期的に要求されうる。また、更新される時間及び／又は周期に関する情報は、シグナリングチャネルに含まれて送信されうる。この場合、受信機は、インターネットプロトコルシグナリングチャネルから受信した更新時間及び／又は周期情報に基づいてサーバーにシグナリング情報を要求することができる。
【0132】
プッシュ方法のインターネットプロトコルシグナリングチャネルは、ＸＭＬＨＴＴＰＲｅｑｕｅｓｔアプリケーションプログラミングインターフェースを用いて構成されうる。ＸＭＬＨＴＴＰＲｅｑｕｅｓｔアプリケーションプログラミングインターフェースが用いられると、サーバーから非同期で最新情報を受信することができる。これは、受信機にとっては、ＸＭＬＨＴＴＰＲｅｑｕｅｓｔオブジェクトを通してサーバーに非周期的にシグナリング情報を要求する方法であり、サーバーにとっては、シグナリング情報が変更された場合は、要求に応答してこのチャネルを通してシグナリング情報を提供する方法である。セッションの待ち時間に制限があると、セッションタイムアウト応答が生成され、受信機はセッションタイムアウト応答を認識し、シグナリング情報を再び要求し、受信機とサーバー間でシグナリングチャネルを維持できる。
【0133】
インターネットプロトコルシグナリングチャネルを通してエンハンスメントデータを受信するために、受信機はウォーターマーキングとフィンガープリンティングを用いて動作することができる。フィンガープリンティングは、コンテンツ購買者に関する情報をコンテンツプロバイダの代わりにコンテンツに挿入する技術のことを指す。フィンガープリンティングが用いられると、受信機は、コンテンツを確認するために参照データベースを検索することができる。コンテンツを確認した結果は、自動コンテンツ認識クエリ結果と呼ばれる。自動コンテンツ認識クエリ結果は、ＴＶ視聴者に提供されたクエリを含み、自動コンテンツ認識機能を実行するためにクエリの情報に対して対応することができる。受信機は、自動コンテンツ認識クエリ結果に基づいてＥＴＶサービスを提供することができる。
【0134】
自動コンテンツ認識クエリ結果に関する情報は、ウォーターマーク基盤自動コンテンツ認識システム上でオーディオ／ビデオコンテンツに挿入／埋め込みされて送信されうる。受信機は、ウォーターマーク抽出器を通して自動コンテンツ認識クエリ結果情報を抽出及び取得した後、ＥＴＶサービスを提供することができる。この場合、ＥＴＶサービスを別途の自動コンテンツ認識サーバー無しで提供することができ、インターネットプロトコルネットワークを通したクエリは省略することができる。
【0135】
図１０は、本発明の一実施例に係る自動コンテンツ認識クエリ結果を示すＸＭＬ方式の図である。図１０に示すように、自動コンテンツ認識クエリ結果のＸＭＬフォーマットは、結果コード部１０１０を含むことができ、自動コンテンツ認識クエリ結果タイプ１０００は、コンテンツＩＤ部１００１、ＮＴＰ（ｎｅｔｗｏｒｋ ｔｉｍｅ ｐｒｏｔｏｃｏｌ）タイムスタンプ部１００２、シグナリングチャネル情報部１００３、サービス情報部１００４、その他識別子部１００５を含むことができる。シグナリングチャネル情報部１００３は、シグナリングチャネルＵＲＬ部１０１３、更新モード部１０２３、ポーリングサイクル部１０３３を含むことができ、サービス情報部１００４は、サービスネーム部１０１４、サービスロゴ部１０２４、サービス記述部１０３４を含むことができる。
【0136】
次に、図１０に示す自動コンテンツ認識クエリ結果のＸＭＬ方式の図面を詳しく説明し、ＸＭＬ方式の例を説明する。
【0137】
結果コード部１０１０は、自動コンテンツ認識クエリの結果値を示すことができる。これはクエリ成功又は失敗、クエリが失敗すると失敗理由をコード値の形態で示すことができる。例えば、結果コード部１０１０の値が２００であれば、これはクエリが成功し、それに該当するコンテンツ情報が返還されたということを示す。結果コード部１０１０の値が４０４であれば、これは、コンテンツが発見されなかったということを示す。
【0138】
コンテンツＩＤ部１００１は、全世界的に唯一にコンテンツを識別するための識別子を示し、サービスを識別するための識別子であるグローバルサービス識別子部を含むことができる。
【0139】
ＮＴＰタイムスタンプ部１００２は、自動コンテンツ認識クエリに用いられるサンプルフレーム間隔の特定時点がＮＴＰタイムスタンプの形態で提供されるということを示すことができる。ここで、特定時点は、サンプルフレームの始点又は終点であってもよい。ＮＴＰは、インターネットを通してコンピュータの時間をレファレンスクロックに合わせるためのプロトコルのことをいい、タイムサーバーとコンピューターネットワーク上に分配されたクライアント間の時間同期化のために用いることができる。ＮＴＰがＵＴＣ（ｕｎｉｖｅｒｓａｌ ｔｉｍｅ ｃｏｏｒｄｉｎａｔｅｄ）時間を使用し、１０ｍｓの正確度を保障することから、受信機はフレーム同期化動作を正確に処理することができる。
【0140】
シグナリングチャネル情報部１００３は、ＥＴＶサービスのためのインターネットプロトコルネットワーク上の独立したシグナリングチャネルのアクセス情報を示すことができる。
【0141】
より具体的に、シグナリングチャネル情報部１００３の下位部であるシグナリングチャネルＵＲＬ部１０１３は、シグナリングチャネルのＵＲＬ情報を示すことができる。シグナリングチャネルＵＲＬ部１０１３は、更新モード部１０２３及びポーリングサイクル部１０３３を下位部として含むことができる。更新モード部１０２３は、インターネットプロトコルシグナリングチャネルを通して情報を取得する方法を示す。例えば、プルモードで、受信機は情報を取得するためにプル方法によって周期的にポーリングを行うことができ、プッシュモードで、サーバーはプッシュ方法によって受信機に情報を送信することができる。ポーリングサイクル部１０３３は、更新モード部１０２３がプルモードであればプル方法によって受信機の基本ポーリングサイクル値を示すことができる。そして、受信機は基本ポーリングサイクル値を特定し、任意時間間隔で要求信号をサーバーに送信することで、サーバーが要求によって過負荷となることを防止することができる。
【0142】
サービス情報部１００４は、放送チャネルに関する情報を示すことができる。コンテンツＩＤ部１００１は、視聴者によって現在視聴されているサービスの識別子を示すことができ、サービス情報部１００４は、放送チャネルに関する具体的な情報を示すことができる。例えば、サービス情報部１００４が示す具体的な情報は、チャネル名、ロゴ、又はテキスト説明であってもよい。
【0143】
より具体的に、サービス情報部１００４の下位部であるサービスネーム部１０１４は、チャネル名を示すことができ、サービスロゴ部１０２４は、チャネルロゴを示すことができ、サービス記述部１０３４は、チャネルテキスト説明を示すことができる。
【0144】
次に、本発明の一実施例に係る図１０に示した自動コンテンツ認識クエリ結果の要素のＸＭＬ概要を示す。
【0145】
<xs:complexType name="ACR-ResultType"><xs:sequence>
<xs:element name="ContentID" type="xs:anyURI"/>
<xs:element name="NTPTimestamp" type="xs:unsignedLong"/>
<xs:element name="SignalingChannelInformation">
<xs:complexType>
<xs:sequence>
<xs:element name="SignalingChannelURL" maxOccurs="unbounded">
<xs:complexType>
<xs:simpleContent>
<xs:extension base="xs:anyURI">
<xs:attribute name="UpdateMode">
<xs:simpleType>
<xs:restriction base="xs:string">
<xs:enumeration value="Pull"/>
<xs:enumeration value="Push"/>
</xs:restriction>
</xs:simpleType>
</xs:attribute>
<xs:attribute name="PollingCycle" type="xs:unsignedInt"/>
</xs:extension>
</xs:simpleContent>
</xs:complexType>
</xs:element>
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:element name="ServiceInformation">
<xs:complexType>
<xs:sequence>
<xs:element name="ServiceName" type="xs:string"/>
<xs:element name="ServiceLogo" type="xs:anyURI" minOccurs="0"/>
<xs:element name="ServiceDescription" type="xs:string" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:any namespace="##other" processContents="skip" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
<xs:attribute name="ResultCode" type="xs:string" use="required"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
【0146】
図１１は、本発明の一実施例に係るコンテンツＩＤの構造を示す図である。
【0147】
図１１は、本発明の一実施例に係るＡＴＳＣ標準に基づくコンテンツＩＤの構文（ｓｙｎｔａｘ）構造を示す。ＡＴＳＣコンテンツＩＤは、受信機によって受信したコンテンツを識別するための識別子として用いることができる。
【0148】
ＡＴＳＣ Ｃｏｎｔｅｎｔ Ｉｄｅｎｔｉｆｉｅｒは唯一の周期を有し、ＴＳＩＤ（Ｔｒａｎｓｍｉｔｔｉｎｇ Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）及びハウスナンバーで構成された構造である。ハウスナンバーは、ここに制約された通り、ＴＳＩＤの保有者が所望するいずれかのナンバーである。ナンバーは、ＴＳＩＤのそれぞれの値に対して唯一である。ＡＴＳＣ Ｃｏｎｔｅｎｔ Ｉｄｅｎｔｉｆｉｅｒ構造の構文は、図１１に定義した通りである。
【0149】
１６ビットの符号無し整数フィールドであるＴＳＩＤは、ｔｒａｎｓｐｏｒｔ＿ｓｔｒｅａｍ＿ｉｄの値を含むだろう。米国においてこの値の割当権限はＦＣＣにある。メキシコ、カナダ、米国に対する範囲は、これら国家間の公式協約によって設定された。他の地域の値は任意の権限によって設定される。
【0150】
５ビットの符号無し整数であるｅｎｄ＿ｏｆ＿ｄａｙフィールドは、放送日が終了するＵＴＣでその日の時間と設定されるはずであり、暫くしてｃｏｎｔｅｎｔ＿ｉｄ値がｕｎｉｑｕｅ＿ｆｏｒによって再使用されうる。このフィールドの値は、０乃至２３の範囲にあるだろう。このとき、このフィールドの値は放送局ごとに固定されると予想される。
【0151】
９ビットの符号無し整数であるｕｎｉｑｕｅ＿ｆｏｒフィールドは、日数と設定され、最後桁の数が切り上げられ、ｃｏｎｔｅｎｔ＿ｉｄ値が他のコンテンツに再割当されないｅｎｄ＿ｏｆ＿ｄａｙが示す時間に関して測定される。その値は１乃至５１１の範囲にあるだろう。０は禁止されるだろう。５１１は「無期限」という特別な意味がある。このとき、このフィールドの値は、ハウスナンバリング方法が変更される時にのみ変更され、放送局ごとに本質的に固定されると予想される。また、デコーダは、ｕｎｉｑｕｅ＿ｆｏｒフィールドが満了するまで、記憶されたｃｏｎｔｅｎｔ＿ｖａｌｕｅｓを唯一のものと取扱うことができ、これは、記憶された全てのｕｎｉｑｕｅ＿ｆｏｒフィールドが０になるまで、ｅｎｄ＿ｏｆ＿ｄａｙに毎日１ずつ減少させることによって実行できる。
【0152】
可変長フィールドであるｃｏｎｔｅｎｔ＿ｉｄフィールドは、ハウスナンバーシステムやＴＳＩＤの値のためのシステムによって識別子の値に設定できる。このような各値は、ｅｎｄ＿ｏｆ＿ｄａｙ及びｕｎｉｑｕｅ＿ｆｏｒフィールドの値によって設定された唯一期間内で他のコンテンツに割り当てることができない。当該識別子は、人が読み取りでき、及び／又は２進である値のいずれかの組合せになることができ、２４２バイトを越えないようにハウスナンバーの形態と完全に一致する必要はない。
【0153】
図１２は、本発明の一実施例に係るウォーターマーキングを用いた受信機の動作を示す図である。
【0154】
本発明で、自動コンテンツ認識機能を支援するＥＴＶサービスを提供する方法として、ウォーターマーキングを用いた方法が提案される。図１２は、ウォーターマーキングを用いて自動コンテンツ認識機能を実行する受信機のモジュール間の動作を示す図である。
【0155】
図１２に示すように、ウォーターマーキングを用いた受信機は、Ｍ／Ｈ受信モジュール１２００、インターネットモジュール１２０１、記憶モジュール１２０２、外部入力モジュール１２０３、ウォーターマーク抽出モジュール１２０４、アプリケーションモジュール１２０５、オーディオ／ビデオ処理モジュール１２０６、表示モジュール１２０７を含むことができる。
【0156】
図１２に示すように、受信機は、ウォーターマークを用いてコンテンツプロバイダを認識し、認識されたコンテンツプロバイダによって提供されたエンハンスメントサービスを処理することができる。
【0157】
本発明の一実施例に係る受信機において、ウォーターマーク抽出モジュール１２０４は、外部入力を通してＭ／Ｈ受信モジュール１２００によって受信されたオーディオ／ビデオ信号からウォーターマークを抽出し、オーディオ／ビデオ信号に含まれたコンテンツ情報を取得することができる。本発明の一実施例に係るウォーターマークに含み得るコンテンツ情報については後述する。
【0158】
抽出されたコンテンツ情報は、アプリケーションモジュール１２０５を通して視聴者に表示することができ、視聴者は、表示されたコンテンツ情報を用いてＭ／Ｈ又はインターネットを通してエンハンスメントサービスのためのエンハンスメントデータを選択的に受信することができる。
【0159】
図１２には示していないが、受信されたエンハンスメントデータは、自動コンテンツ認識サービスのために用いられる記憶モジュール１２０２に記憶させることができる。この場合、コンテンツ情報及びメタデータは、記憶モジュール１２０２に記憶され、記憶されたコンテンツ情報及びメタデータは、オーディオ／ビデオ再生時に、関連したエンハンスメントデータを受信するために用いることができる。又は、受信機は、コンテンツプロバイダに接続したり、オーディオ／ビデオ再生時にＭ／Ｈチューニングを通して新しくエンハンスメントデータを受信することができる。
【0160】
次に、図１２に示した各モジュールの動作を説明した後、ウォーターマークから抽出できるコンテンツ情報について説明する。
【0161】
Ｍ／Ｈ受信モジュール１２００は、Ｍ／Ｈ信号を通してコンテンツプロバイダからエンハンスメント情報を受信することができる。
【0162】
インターネットモジュール１２０１は、インターネットを通してコンテンツプロバイダからエンハンスメント情報を受信することができる。
【0163】
記憶モジュール１２０１は、オーディオ／ビデオ情報を含むデータ及び／又はコンテンツプロバイダから受信したエンハンスメントデータを記憶することができる。ウォーターマーク抽出モジュール１２０４がウォーターマークを抽出すると、ウォーターマークは特別メタデータとして表示され、記憶装置に記憶されうる。
【0164】
外部入力モジュール１２０３は、外部入力を通してコンテンツプロバイダのオーディオ／ビデオ信号を受信することができる。
【0165】
ウォーターマーク抽出モジュール１２０４は、外部入力モジュール１２０３によって受信されたオーディオ／ビデオ信号からウォーターマークを抽出することができる。コンテンツがＴＶの記憶装置に記憶された後に再生されると、ウォーターマークは再生時に抽出されうる。
【0166】
アプリケーションモジュール１２０５は、オーディオ／ビデオ情報を含むデータ及び／又はコンテンツプロバイダから受信され、記憶モジュール１２０１に記憶されたエンハンスメントデータからウォーターマーク抽出モジュール１２０４によって抽出されたウォーターマークを受信し、ウォーターマークに関する情報を用いて、オーディオ／ビデオ情報を含むデータ及び／又はエンハンスメントデータを処理することができる。
【0167】
オーディオ／ビデオ処理モジュール１２０６は、オーディオデコーダ及び／又はビデオデコーダを介してオーディオ／ビデオ信号をデコーティングして、アプリケーションモジュール１２０５から受信されたデータを処理する。
【0168】
表示モジュール１２０７は、オーディオ／ビデオ処理モジュール１２０６によって処理されたデータをＯＳＤ（ｏｎ ｓｃｒｅｅｎ ｄｉｓｐｌａｙ）方式で受信機の画面に表示することができる。
【0169】
次に、本発明の一実施例に係るコンテンツ情報について説明する。
【0170】
ウォーターマークを用いて抽出されたコンテンツ情報は、コンテンツプロバイダに関する情報を含むことができる。より具体的に、コンテンツ情報は、コンテンツプロバイダ又は放送局のＩＤ情報、コンテンツのＩＤ情報、コンテンツの時間に関する情報、コンテンツライフサイクル情報、及び／又はエンハンスメントデータに関する情報を含むことができる。本発明の一実施例に係るフィンガープリンティングを用いた自動コンテンツ認識サービスで、自動コンテンツ認識クエリ結果は、自動コンテンツ認識機能によって得られたコンテンツのためのメタデータとして用いることができる。
【0171】
コンテンツプロバイダＩＤ情報は、コンテンツプロバイダ又は放送局を識別するための識別子を意味できる。本発明の一実施例によれば、コンテンツプロバイダＩＤ情報は一次識別子の役割を持つことができる。コンテンツプロバイダＩＤ情報は、製作者名及び製作者を識別するための一連番号及び／又は国家、地域、サービス特性（ジャンル）を識別するための一連番号の集合を含むことができる。本発明の一実施例によれば、ＡＴＳＣ ＰＳＩＰのために用いられるＴＳ−ｉｄは、コンテンツプロバイダＩＤ情報として用いることができる。
【0172】
コンテンツＩＤ情報は、コンテンツプロバイダの代わりにコンテンツを識別するための識別子を意味することもできる。より具体的に、コンテンツＩＤ情報は、コンテンツ名及びコンテンツを識別するための一連番号及びコンテンツ特性（ジャンル）を識別するための一連番号の集合を含むことができる。本発明の一実施例によれば、ＡＴＳＣ ＰＳＩＰのために用いられるｅｖｅｎｔ−ｉｄは、コンテンツＩＤ情報として用いることができる。
【0173】
コンテンツプロバイダＩＤ情報は、コンテンツＩＤ情報よりも高い頻度でウォーターマークに含まれ、より容易に抽出されるように構成すことができる。この場合、コンテンツプロバイダＩＤ情報は、より圧縮された情報又はより詳細な情報を含むことができる。
【0174】
時間情報は、コンテンツと関連した時間情報を示すことができる。より具体的に、時間情報は、開始時刻、持続時間、終了時刻、及び／又は総サービス再生時間を示すリードタイムを含むことができる。本発明の一実施例によれば、時間情報はＵＴＣやＧＰＳに基づくし、ＡＴＳＣ ＰＳＩＰのＳＴＴのような他のフォーマットで構成することができる。また、時間情報は、同期化したウィジェットのようなサービスが提供される際、表示過程で同期化のために用いられてもよい。また、時間情報は、ケーブルや衛星ＰＶＲ（ｐｅｒｓｏｎａｌ ｖｉｄｅｏ ｒｅｃｏｒｄｅｒ）セットトップボックスによって再スケジューリングされるコンテンツのために用いられる。
【0175】
コンテンツライフサイクル情報は、サービスが有効であるライフサイクルに関する情報を含む。
【0176】
エンハンスメントデータに関する情報は、エンハンスメントデータの存在有無、ウォーターマークの使用、及び／又はエンハンスメントデータを受信する経路に関する情報を含むことができる。より具体的に、エンハンスメントデータに関する情報は、コンテンツプロバイダによって提供されるエンハンスメントデータの存在に関する情報、ウォーターマークが不正複製又は配布を防止するためのライセンス、視聴率調査、又は付加サービスのためのコンテンツプロバイダ承認のために用いられるかを示す情報を含むことができる。エンハンスメントデータを受信する経路に関する情報は、インターネットプロトコルネットワークが用いられるか否か又はモバイル機器のような他の媒体が用いられるか否かを示す情報を含むことができる。より具体的に、エンハンスメントデータがインターネットプロトコルネットワークを通して受信されると、インターネットプロトコルアドレス及び／又はＵＲＬ情報を含むことができ、エンハンスメントデータがモバイル機器を通して受信されると、頻度情報、標準（ＡＴＳＣ ＭＨ、ＤＭＢ、Ｍｅｄｉａ Ｆｌｏｗ、ＤＶＢ−Ｈ、ＮＧＨなど）情報、及び／又はチャネル情報を含むことができる。
【0177】
図１３は、本発明の一実施例に係るウォーターマーク抽出過程を示す図である。
【0178】
一般的なデジタルＴＶ受信機のような受信機１３２０は、ＨＤＭＩ又はコンポーネント接続を通して受信機１３２０に装着されたケーブル又は衛星セットトップボックス１３１０からオーディオ／ビデオ信号を受信する。次に、図１３に示す本発明の一実施例によって、ウォーターマークを抽出しコンテンツプロバイダを認識する動作をセットトップボックス１３１０及び受信機１３２０において段階的に説明する。
【0179】
受信機１３２０の入力モードが外部入力モードに設定されると、受信機１３２０は、コンテンツプロバイダ又は放送局を識別するためのコンテンツプロバイダ識別子を検索することができる。セットトップボックス１３１０がオン状態になり、チャネルがチューニングされると、受信機１３２０は、コンテンツプロバイダ識別子を検出することができる。受信機１３２０は、検出されたコンテンツプロバイダによって提供されるコンテンツのコンテンツ識別子及び時間情報を検出することができる。セットトップボックス１３１０から受信されたサービスのチャネルが変更されると、セットトップボックス１３１０は、変更されたチャネルによるコンテンツプロバイダを識別するためのコンテンツプロバイダ識別子を新しく検索する。
【0180】
図１４は、本発明の一実施例に係るウォーターマーク情報のプロファイリングを示す図である。
【0181】
図１２及び１３を参照して説明した通り、本発明の一実施例に係る受信機は、オーディオ／ビデオコンテンツに含まれたコンテンツプロバイダ情報を送信するためのウォーターマークを用いてコンテンツプロバイダを認識する。この場合、ウォーターマークに記憶された情報の量が増加すると、ウォーターマークの挿入されたオーディオ／ビデオコンテンツの質が低下することがある。そこで、本発明では、このような問題を解決するために、ウォーターマークに記憶された情報の属性によってウォーターマークをプロファイリング及びレベリングし、レベリングされたウォーターマークをオーディオ／ビデオコンテンツに挿入する方法を提案する。この場合、レベリングされたウォーターマークは、記憶された情報の属性によって区別されてオーディオ／ビデオコンテンツに挿入されるために、挿入されたウォーターマークに関する情報の量は、コンテンツの質が低下することを防止するために調節することができる。
【0182】
したがって、本発明では、プロファイリングによってウォーターマークをレベリングするために、ウォーターマークを、ウォーターマークに記憶された情報の属性によって、基本プロファイルウォーターマークと拡張プロファイルウォーターマークとに区別できる。基本プロファイルウォーターマークは、自動コンテンツ認識機能を果たすために実時間放送プログラムを認識する上で基本的に必要な情報を含むことができる。拡張プロファイルウォーターマークは、自動コンテンツ認識機能を果たす上で基本的に必要な情報の代わりに付加情報を含むことができる。複数の拡張プロファイルウォーターマークが存在し、情報の属性によってさらにレベリングを行うことができる。この場合、基本プロファイルウォーターマークと拡張プロファイルウォーターマークは、互いに異なった周期でオーディオ／ビデオコンテンツに挿入できる。
【0183】
図１４は、前述したようにレベリングされたウォーターマークをオーディオ／ビデオコンテンツに挿入する過程を示す図である。
【0184】
前述したように、コンテンツプロバイダ１４００は、オーディオ／ビデオのような原信号１４１０を受信し、ウォーターマークが挿入される領域を検索し（１４０１）、提供されるコンテンツと関連したメタデータ１４２０をウォーターマークに埋め込むことができる（１４０２）。その後、コンテンツプロバイダ１４００は、ウォーターマーキングされた信号１４３０を受信機に送信することができる。ウォーターマーキングされた信号１４３０で、原信号１４１０及びメタデータ１４２０はウォーターマークの形態で記憶されうる。一実施例で、図１４のウォーターマークは、基本プロファイルウォーターマークＷ１１４４０、並びに第１及び第２拡張プロファイルウォーターマークＷ２及びＷ３１４５０及び１４６０を含むことができる。
【0185】
基本プロファイルウォーターマーク１４４０は、コンテンツプロバイダ識別子部と拡張指示子を含むことができる。
【0186】
コンテンツプロバイダ識別子部は、コンテンツを提供する放送局やコンテンツプロバイダを識別するための情報を示すことができる。
【0187】
拡張指示子部は、次のレベルのウォーターマーク、すなわち、第１拡張プロファイルウォーターマーク１４５０がさらに挿入されるかを示す。拡張指示子部の値が１であれば、次のレベルの第１拡張プロファイルウォーターマーク１４５０が挿入されるということを示す。
【0188】
第１拡張プロファイルウォーターマーク１４５０は、コンテンツ識別子部、タイムスタンプ部、拡張指示子部を含むことができる。
【0189】
コンテンツ識別子部は、コンテンツ名やコンテンツを識別するための一連番号情報を示すことができる。
【0190】
タイムスタンプ部は、コンテンツの時間情報を示す。
【0191】
拡張指示子部は、前述したように、次のレベルのウォーターマーク、すなわち、第２拡張プロファイルウォーターマーク１４６０がさらに挿入されるかを示すことができる。図１４に示すように、第２拡張プロファイルウォーターマーク１４６０は、ウォーターマーク挿入使用部、付加情報のＵＲＬ部、拡張指示子部を含むことができる。
【0192】
ウォーターマーク挿入使用部は、ウォーターマーク挿入使用に関する情報を示すことができる。
【0193】
付加情報のＵＲＬ部は、サービスを受けるための付加情報又はＵＲＬ情報を示すことができる。
【0194】
拡張指示子部は、次のレベルのウォーターマークが挿入されるかを示すことができる。
【0195】
図１４に示すように、コンテンツプロバイダや放送局は、レベリングされたウォーターマークがオーディオ／ビデオコンテンツに挿入されるとき、ウォーターマークプロファイリングによってオーディオ／ビデオコンテンツにウォーターマークを挿入する回数を区別することができる。例えば、基本プロファイルウォーターマーク１４４０が放送プログラムの重要な基本情報を含んでいるため、コンテンツプロバイダや放送局は、受信者ができるだけ迅速に情報を正確に認識するように基本プロファイルウォーターマークを挿入する回数を設定することができる。
【0196】
すなわち、コンテンツプロバイダや放送局は、ウォーターマーキングされた信号１４３０の送信周期の間に、第１及び第２拡張プロファイルウォーターマーク１４５０及び１４６０よりも基本プロファイルウォーターマーク１４４０を多く挿入することができる。したがって、受信機は、優先的に基本プロファイルウォーターマーク１４４０を抽出した後、必要によって、拡張プロファイルウォーターマーク１４５０及び１４６０を抽出することができる。この場合、受信機は、拡張指示子部の値によって拡張プロファイルウォーターマークの存在を確認し、拡張プロファイルウォーターマークを抽出することができる。すなわち、受信機は、ウォーターマークのプロファイルによって差別的に挿入されたウォーターマークを差別的に抽出し、ウォーターマークに含まれた情報を効率的に記憶及び管理することができる。
【0197】
以上、本発明の一実施例に係るウォーターマーキングを用いた自動コンテンツ認識サービスを提供する方法及びシステムについて説明した。以下では、本発明の一実施例によってコンテンツプロバイダ側でコンテンツにウォーターマークを埋め込む方法、及び受信機側でコンテンツからウォーターマークを抽出する方法について詳しく説明する。
【0198】
コンテンツプロバイダ側でビデオフレームにウォーターマークを埋め込む方法、及び受信機側でコンテンツからウォーターマークを抽出する方法を、図１５乃至１７を参照して説明し、コンテンツプロバイダ側でオーディオフレームにウォーターマークを埋め込む方法、及び受信機側でコンテンツからウォーターマークを抽出する方法を、図１８を参照して説明する。
【0199】
図１５は、本発明の一実施例に係るウォーターマークをビデオフレームに埋め込む方法を示す図である。
【0200】
コンテンツプロバイダは、まず、一つのビデオフレーム１５００をサブフレーム１５０１に細分化し、細分化されたサブフレーム１５０２を検索し、ウォーターマークが適切に埋め込まれる領域を決定する。ウォーターマークの埋め込まれるサブフレーム領域が決定されると、ウォーターマークがサブフレーム領域１５１０に埋め込まれ、サブフレームが結合して一つのビデオフレーム１５２０を再生成する。
【0201】
受信機側で一つのビデオフレームの全体領域に埋め込まれたビデオフレームからウォーターマークを抽出するために、まず、受信機は、一つのビデオフレームをサブフレームに細分化する。ウォーターマークが埋め込まれていてもよい領域は、細分化したサブフレームから検出される。ウォーターマークは、検出されたサブフレーム領域から抽出され、これらの抽出されたウォーターマークは最終的に一つのウォーターマークを決定するために比較される。エンハンスメントデータを、決定されたウォーターマークによるコンテンツ情報を用いてダウンロードできる。
【0202】
図１６は、本発明の他の実施例に係るウォーターマークをビデオフレームに埋め込む方法を示す図である。
【0203】
より具体的に、図１６は、本発明の一実施例によってウォーターマークをビデオフレームのバー（ｂａｒ）データ領域に埋め込む方法を示す。
【0204】
ウォーターマークが一つのビデオフレームの全体領域に埋め込まれると、ウォーターマーキング堅固性は向上するが、受信機側でウォーターマークを抽出するために必要な処理が増加することがある。したがって、ビデオフレームの一部領域にウォーターマークを埋め込むことによって、受信機側でウォーターマークを抽出するために必要な処理を減少させ、受信機の動作効率を向上させることができる。ビデオフレームの全体領域のうち、ウォーターマークが埋め込まれる一部領域は、送信機／受信機の規則によってあらかじめ定めることもできる。その後、本発明の一実施例によれば、コンテンツプロバイダは、ビデオフレームの全体領域の一部であるバーデータ領域にウォーターマークを埋め込むことができる。
【0205】
コンテンツプロバイダが受信機にコンテンツを送信する際、コンテンツの映像比（ｉｍａｇｅ ｒａｔｉｏ）が送信フォーマットと合わないと、バーデータ領域１６００がスクリーン上に生成されることがある。例えば、図１６に示すように、１６：９の画面比を有するビデオフレームを４：３の画面比に切り替える場合、スクリーンの左縁及び右縁を切り取らないために、４：３の画面比を有するスクリーンの上縁及び下縁に黒い帯を生成してもよい。黒い帯の領域が、レターボックス（ｌｅｔｔｅｒ ｂｏｘ）と呼ばれるバーデータ領域１６００となり得る。
【0206】
図１６に示すように、バーデータ領域１６００が存在するビデオフレームの場合は、ウォーターマークがバーデータ領域１６００に埋め込まれて送信されてもよい。ウォーターマークをバーデータ領域に埋め込む方法は、図１５を参照して説明したウォーターマークをビデオフレームに埋め込む過程と同一にすればよい。
【0207】
より具体的に、コンテンツプロバイダは、ウォーターマークの埋め込まれるビデオフレームのバーデータ領域１６００を検索し（１６１０）、ウォーターマークをバーデータ領域１６００に埋め込む（１６２０）。
【0208】
ビデオフレームの一部領域に埋め込まれたウォーターマークを抽出するために、まず、受信機は、一つのビデオフレームをサブフレームに細分化する。ウォーターマークが埋め込まれていてもよい領域は、細分化したサブフレームから検出される。図１６に示す本発明の一実施例によれば、受信機は、細分化したサブフレームからバーデータ領域を検出する。ウォーターマークは、検出されたサブフレーム領域から抽出され、これらの抽出されたウォーターマークは最終的に一つのウォーターマークを決定するために比較される。エンハンスメントデータは、決定されたウォーターマークによるコンテンツ情報を用いてダウンロードできる。
【0209】
図１７は、本発明のさらに他の実施例に係るウォーターマークをビデオフレームに埋め込む方法を示す図である。
【0210】
より具体的に、図１７は、他のコンテンツ情報（又は、メタデータ）を含む複数のウォーターマークを一つのビデオフレームの異なる領域に埋め込む方法を示す。
【0211】
例えば、図１７に示すように、コンテンツプロバイダ識別子情報を含むウォーターマークはスクリーンの右上側に位置しているロゴ領域１７００に埋め込み、コンテンツ識別子及びタイムスタンプ情報を含むウォーターマークは、同スクリーンの中央領域１７０１に埋め込むことができる。
【0212】
異なるコンテンツ情報を含む複数のウォーターマークを一つのビデオフレームに埋め込む方法は、本発明の一実施例によって、２種類の方法に大別できる。
【0213】
複数の異なるウォーターマークは、ビデオフレームの異なった領域１７００及び１７０１に埋め込むことができる。このとき、ウォーターマークが埋め込まれるビデオフレームの２以上の領域１７００及び１７０１は、送信機／受信機の規則によってあらかじめ定めることができる。
【0214】
又は、ビデオフレームの異なった領域１７００及び１７０１に関する情報を含む別途のウォーターマークがまず埋め込まれてもよい。コンテンツ情報を含むウォーターマークが埋め込まれる互いに異なる領域１７００及び１７０１は、別途のウォーターマークを用いて検出でき、それぞれのウォーターマークを領域１７００及び１７０１に埋め込むことができる。別途のウォーターマークは、ビデオフレームの特定領域又はロゴ部分に埋め込むことができ、送信機／受信機の規則によってあらかじめ定めることができる。
【0215】
受信されたビデオフレームが領域によって異なるコンテンツ情報を有するウォーターマークを含むと、受信機は、まず、他の経路を通して又は送信機／受信機の規則によって、ウォーターマークの埋め込まれる領域に関する情報を取得する。取得した情報を用いて、ウォーターマークはビデオフレームの各領域から抽出される。図１７に示す本発明の一実施例によれば、コンテンツプロバイダに関する情報を含むウォーターマークは、ロゴ領域１７００から抽出でき、コンテンツ識別子及び時間情報を含むウォーターマークはスクリーンの中央領域１７０１から抽出できる。又は、抽出されたウォーターマークから互いに異なるウォーターマークを抽出するための情報（例えば、ウォーターマークが埋め込まれた領域に関する情報）が含まれると、その情報を用いて互いに異なるウォーターマークを抽出することができる。
【0216】
図１８は、本発明の一実施例に係るウォーターマークをオーディオフレームに埋め込む方法を示す図である。
【0217】
より具体的に、一つのウォーターマークをオーディオフレームに埋め込む過程を示す。
【0218】
原オーディオ信号は一定の長さを有するフレームに分離され（１８００）、分離されたオーディオフレームはサブフレームに細分化する（１８０１）。細分化したサブフレームを用いて、ウォーターマークの埋め込まれる領域が検索される（１８０２）。例えば、人の耳に敏感な４ｋＨｚを越える周波数帯域が検索され、これをウォーターマーク埋め込み領域として決定することができる。ウォーターマークは、検索された領域に埋め込まれ（１８０３）、サブフレームが一つのオーディオ信号に再結合する（１８０３）。
【0219】
また、本発明の一実施例によれば、複数のウォーターマークが、図１８に示したウォーターマーク埋め込み過程に基づいてオーディオ信号に埋め込まれてもよい。埋め込み方法は、ウォーターマークを２つ以上の互いに異なる周波数帯域にそれぞれ埋め込み、サブフレームを一つのオーディオ信号に再結合する方法と、一つのウォーターマークを連続したオーディオフレームに埋め込み、残りのウォーターマークを互いに異なる周波数帯域に埋め込む方法と、を含むことができる。
【0220】
前述した本発明の実施例によれば、ウォーターマークの埋め込まれたオーディオ信号が受信されると、受信機は、オーディオ信号からウォーターマークを抽出するために、まず、オーディオ信号を一定の長さを有するフレームに分離できる。分離されたフレームはサブフレームに細分化でき、ウォーターマーク抽出領域をサブフレームから検出することができる。ウォーターマークは、検出された領域から抽出される。複数のウォーターマークがオーディオ信号に埋め込まれると、ウォーターマークを、送信機／受信機の規則によって定められた２つ以上の周波数帯域で受信されたオーディオ信号から抽出することができる。又は、一つのウォーターマークは、連続したオーディオフレームから抽出され、残りのウォーターマークは、送信機／受信機の規則によって定められた互いに異なる周波数帯域の信号から抽出されてもよい。また、図１５乃至１８を参照して説明したウォーターマークを埋め込む方法の本発明の一実施例によれば、ウォーターマークを、オーディオコンテンツとビデオコンテンツの両方に埋め込むことができる。
【0221】
同一のコンテンツ情報を含むウォーターマークをオーディオフレームとビデオフレームの両方に埋め込むことができれば、同一のウォーターマークを所定の周期でオーディオフレームとビデオフレームに反復して埋め込むことができる。このような方法によれば、受信機は、ウォーターマークの埋め込まれたビデオフレーム及びオーディオフレームから同一のウォーターマークを同時に抽出できるため、ウォーターマーク抽出結果の正確度を上げ、最終的に正確な結果を得るためにかかる時間を削減することができる。
【0222】
又は、ウォーターマークは、ウォーターマークに含まれたコンテンツ情報によって分離でき、分離されたウォーターマークは、ビデオフレームとオーディオフレームに埋め込むことができる。例えば、ウォーターマークに含まれたコンテンツ情報は、コンテンツプロバイダ識別子やコンテンツ識別子のような放送プログラムを認識するための必須情報と付加情報とに分離される。必須情報はビデオフレームに埋め込まれ、付加情報はオーディオフレームに埋め込まれる。逆に、必須情報はオーディオフレームに埋め込まれ、付加情報はビデオフレームに埋め込まてれもよい。一つのビデオフレーム又はオーディオフレームに埋め込まれる情報の量は制限されるため、このような方法を用いてウォーターマークが埋め込まれると、所定時間に埋め込まれるメタデータの量を増加させることができる。
【0223】
図１９は、本発明の一実施例に係るプロファイリングされたウォーターマークを埋め込む方法を示す図である。
【0224】
図１４を参照して説明した通り、ウォーターマークに記憶されたコンテンツ情報の量が増加するほどオーディオ／ビデオコンテンツの質が低下するため、ウォーターマークに記憶された情報の種類によってウォーターマークがレベリングされると、コンテンツの質を維持しながらウォーターマークを効率的に利用することができる。
【0225】
本発明の一実施例によれば、ウォーターマークに記憶された情報の属性によってウォーターマークがプロファイリングされると、所定周期の間にコンテンツフレームにウォーターマークを埋め込む回数を異なるように設定できる。
【0226】
例えば、ウォーターマークに記憶された情報は放送プログラムを認識するための必須情報と付加情報、又は短い変更周期を有する情報と長い変更周期を有する情報に区別できる。必須情報及び／又は短い変更周期を有する情報を含むウォーターマークを所定周期の間にフレームに埋め込む回数は増加させることができ、付加情報及び／又は長い変更周期を有する情報を含むウォーターマークを所定周期の間にフレームに埋め込む回数は減少させることができる。
【0227】
より具体的に、図１９に示すように、コンテンツプロバイダ識別子やコンテンツ識別子のようなプログラムを認識するために必要な情報を含むウォーターマークは、ロゴ領域１９００に埋め込むことができ、ＵＲＬ情報のような付加情報を含むウォーターマークは、フレームの他の特定領域１９０１に埋め込むことができる。この場合、ロゴ領域１９００のウォーターマークはプログラムを認識するために必要なデータであるから、全てのビデオフレーム１９１０，１９２０，１９３０に埋め込むことができ、付加情報を提供するためのフレームの特定領域１９０１のウォーターマークは、２つのフレーム１９１０，１９３０に１回埋め込むことができる。
【0229】
図２０は、本発明の一実施例に係るウォーターマークを連続したフレームに埋め込む方法を示す図である。
【0230】
図２１は、本発明の一実施例に係る連続したフレームに挿入されたウォーターマークを抽出する方法を示す図である。
【0231】
一つのオーディオ／ビデオフレームに埋め込み可能なコンテンツ情報の量は制約している。図２０及び図２１に示す本発明の一実施例によれば、ウォーターマークは多量のコンテンツ情報を含むことができる。
【0232】
図２０に示すように、コンテンツプロバイダは、コンテンツ情報を含むウォーターマークを連続したフレームに埋め込むことができる。コンテンツの情報の開始及び終了を示すために、コンテンツ情報の開始情報を示す開始タグ２００１及び終了タグ２００２をコンテンツ情報に埋め込んだ後、コンテンツ情報はサブコンテンツ情報２００３に分離される。サブコンテンツ情報２００３を含むウォーターマークはそれぞれ連続したオーディオ／ビデオフレーム２０００に埋め込むことができる。また、所定周期の間にウォーターマークを連続したオーディオ／ビデオフレーム２０００に反復して埋め込むと、受信機は、ウォーターマークを効率的に抽出することができる。
【0233】
図２１に示すように、受信機は、ウォーターマークの埋め込まれた連続したフレームからウォーターマークを抽出することができる。まず、受信機は、連続したオーディオ／ビデオフレームに埋め込まれたウォーターマークを抽出する。コンテンツ情報の開始タグ２１０１及び終了タグ２１０２は、抽出されたウォーターマークから検出することができる。コンテンツ情報の開始情報が開始タグ２１０１から取得されると、サブコンテンツ情報２１０３を得るために、開始タグ２１０１が検出された後、受信されたオーディオ／ビデオコンテンツからウォーターマークが抽出され、取得されたサブコンテンツ情報２１０３は結合される。コンテンツ情報の終了情報が終了タグ２１０２から取得されると、一つのコンテンツ情報を取得するためにサブコンテンツ情報２１０３を結合する過程が終わる。
【0234】
図２２は、本発明の一実施例に係るウォーターマークを３次元ビデオフレームに埋め込む方法を示す図である。
【0235】
フル３次元（ｆｕｌｌ ３Ｄ）ビデオ映像は、２つのカメラを用いて左映像と右映像を得、左眼が左映像を見るようにし、右眼が右映像を見るようにすることによって具現することができる。本発明では、３次元ビデオフレームにウォーターマークを埋め込み、３次元ビデオフレームからウォーターマークを抽出する方法が提案される。
【0236】
図２２に示すように、３次元ビデオフレームは、左フレーム２２００と右フレーム２２０１を含むことができる。コンテンツプロバイダは、コンテンツ情報（又は、メタデータ）２２０２を左フレーム２２００及び右フレーム２２０１に埋め込み、ウォーターマークが埋め込まれた左フレーム（以下、ウォーターマーキングされた左フレームという。）２２０３及びウォーターマークの埋め込まれた右フレーム（以下、ウォーターマーキングされた右フレームという。）２２０４を生成できる。
【0237】
標準画質又は高画質イメージを生成して送信することができる。
【0238】
第一に、コンテンツプロバイダは、ウォーターマークを左フレーム２２００又は右フレーム２２０１のいずれか一方にのみ埋め込み、ウォーターマーキングされた左フレーム及び右フレームを受信機に送信することができる。受信機は、ウォーターマーキングされた左フレーム２２０３又はウォーターマーキングされた右フレーム２２０４からウォーターマークを抽出することができる。この場合、図１５乃至１７を参照して説明した通り、ウォーターマークをビデオフレームに埋め込む方法及びウォーターマークをビデオフレームから抽出する方法を適用することができる。ウォーターマーキングされたビデオフレームは、送信機／受信機の規則によってあらかじめ定めることができる。
【0239】
第二に、コンテンツプロバイダは、同一のコンテンツ情報を含むウォーターマークを左フレーム２２００又は右フレーム２２０１に埋め込み、ウォーターマーキングされた左フレーム及び右フレームを受信機に送信することができる。受信機は、ウォーターマーキングされた左フレーム２２０３又はウォーターマーキングされた右フレーム２２０４からウォーターマークを抽出することができる。ウォーターマークが同一であるか、又はウォーターマーク間のズレが許容誤差範囲内にあると、抽出されたウォーターマークは比較されて修正されうる。この場合、図１５乃至図１７を参照して説明した方法は、ウォーターマークを左フレーム２２００又は右フレーム２２０１に埋め込む方法及び埋め込まれたウォーターマークを抽出する方法に適用することができる。ウォーターマークを、同一の方法又は異なる方法を用いて左フレーム２２００又は右フレーム２２０１に埋め込むことができる。このような方法は、受信機がウォーターマークを抽出する際に複雑度を増加させるが、ウォーターマーク抽出堅固性は増大することができる。
【0240】
第三に、コンテンツプロバイダは、互いに異なるウォーターマークを左フレーム２２００又は右フレーム２２０１に埋め込み、ウォーターマーキングされた左フレーム及び右フレームを受信機に送信することができる。受信機は、ウォーターマーキングされた左フレーム２２０３又はウォーターマーキングされた右フレーム２２０４からウォーターマークを抽出することができる。抽出されたウォーターマークは一つのコンテンツ情報を含むことができる。又は、抽出されたウォーターマークに含まれたコンテンツ情報は結合して一つの新しいコンテンツ情報を生成することができる。後者の場合、一つのビデオフレームを通して送信可能なコンテンツ情報の量よりも多いコンテンツ情報をビデオフレームに埋め込むことができる。又は、ビデオフレームに含み得るコンテンツ情報は分離されて左フレーム２２００又は右フレーム２２０１に埋め込まれてもよい。この場合、映像の質が低下する可能性を減らすことができる。
【0241】
図２３は、本発明の一実施例に係る自動コンテンツ認識サービス提供システムの構造を示す図である。
【0242】
より具体的に、図２３は、本発明の一実施例によってウォーターマーキング及びフィンガープリンティング技術の両方を用いて放送コンテンツを認識する自動コンテンツ認識サービス提供システムを示す。
【0243】
ウォーターマーキングでは、一つのフレームに埋め込まれたコンテンツの認識率は高いが、多量のコンテンツ情報がウォーターマークに埋め込まれるとコンテンツの質が低下することがある。すなわち、埋め込まれるメタデータの量に制約がある。
【0244】
フィンガープリンティングでは、コンテンツの質は影響を受けないが、コンテンツを認識するための自動コンテンツ認識サーバーが必要である。コンテンツを認識するためにかかる時間とコンテンツ認識結果がレファレンスセットの大きさに依存する。
【0245】
図２３に示す本発明の一実施例によれば、放送コンテンツがウォーターマーキング及びフィンガープリンティング技術の組合せによって認識されると、両技術の問題点を解決する一方で効率的に自動コンテンツ認識サービスを提供することができる。
【0246】
本発明は、両技術を用いて現在視聴中の放送プログラムを認識する方法を含む。コンテンツプロバイダ又は放送局の識別子のようなプログラムを認識するために用いられ、最も正確に認識される必要があるメタデータは、放送オーディオ／ビデオコンテンツに埋め込んで送信することができる。
【0247】
次に、図２３に示した自動コンテンツ認識サービス提供システムの構成要素間のメカニズムについて詳しく説明する。
【0248】
コンテンツプロバイダ２３００がウォーターマーキングされたオーディオ／ビデオコンテンツ及びエンハンスメントデータを多チャネル放送事業者２３０１に送信すると（２３１０及び２３３０）、受信機２３０３は、セットトップボックス２３０２を通してオーディオ／ビデオコンテンツは受信するが、エンハンスメントデータは受信できない（２３２０）。そのため、受信機２３０３が他の経路を通じてエンハンスメントデータを受信できるようにするために、コンテンツプロバイダ２３００は、オーディオ／ビデオコンテンツの付加情報を自動コンテンツ認識サーバー２３０４に送信し（２３４０）、エンハンスメントデータをアプリケーションサーバー２３０５に送信することができる（２３５０）。オーディオ／ビデオコンテンツの付加情報は、オーディオ／ビデオコンテンツと関連したエンハンスメントデータを受信機２３０３に伝達するための情報であってもよく、コンテンツ識別子、タイムスタンプ、ＵＲＬなどを含むことができる。
【0249】
受信機２３０３のウォーターマーク抽出器２３０６は、受信されたオーディオ／ビデオコンテンツからウォーターマークを抽出でき、同時にフィンガープリント抽出器２３０７はオーディオ／ビデオコンテンツからフィンガープリントシグネチャーを抽出することができる。受信機２３０３は、ウォーターマークに含まれたコンテンツ情報を含むクエリとフィンガープリントシグネチャーを自動コンテンツ認識サーバー２３０４に送信し（２３６０）、自動コンテンツ認識サーバー２３０４からオーディオ／ビデオコンテンツの付加情報を取得することができる（２３６０）。その後、受信機２３０３は、オーディオ／ビデオコンテンツの付加情報を用いてアプリケーションサーバー２３０５からエンハンスメントデータを受信することができる（２３８０）。ウォーターマーキング結果をクエリに含めることによって、自動コンテンツ認識サーバーでコンテンツを認識するためにかかる時間を減らすことができ、自動コンテンツ認識サーバーのコンテンツ認識正確度を向上させることができる。
【0250】
図２４は、本発明の一実施例に係る放送局ロゴを用いて自動コンテンツ認識サービスを提供する方法を示す図である。
【0251】
図２５は、本発明の一実施例に係る放送局ロゴを示す図である。
【0252】
図２６は、本発明の一実施例に係る放送局ロゴを用いた自動コンテンツ認識サービスを示す図である。
【0253】
コンテンツプロバイダ（又は、放送局）は、自身のロゴを表すコンテンツを有する。例えば、コンテンツプロバイダは、図２５に示すロゴを有することができる。放送局又はコンテンツプロバイダは、コンテンツを表示するために、図２６に示すスクリーンの右上側、左側上、右下側、又は左下側にロゴを挿入する。スクリーンに表示されたビデオシーン（ｖｉｄｅｏ ｓｃｅｎｅ）が変更されても、ロゴは変更されないまま表示し続けられる。本発明では、ロゴの特性を用いてスクリーンの特定部分に表示し続けられる情報を自動で認識する自動コンテンツ認識サービス方法を提案する。
【0254】
図２４に示すように、本発明の一実施例によれば、自動コンテンツ認識サービスを提供するためにウォーターマークをロゴに挿入できる。受信機はロゴを認識し、ロゴを表すコンテンツプロバイダ情報を取得し、サービスを受けるためにコンテンツプロバイダに接続できる。これで、自動コンテンツ認識サービスを提供することができる。その後、ロゴを用いて自動コンテンツ認識サービスを提供する方法について詳しく説明する。
【0255】
まず、受信機は、ロゴ認識段階２４０１及びロゴ比較段階２４０２によってロゴ情報を取得することができる。受信機は、コンテンツプロバイダ情報を比較結果として取得してコンテンツプロバイダを認識し（２４０３）、コンテンツプロバイダサーバーに接続する（２４０４）。コンテンツの付加情報をコンテンツプロバイダサーバーから受信し（２４０５）、付加サーバーに提供することができる（２４０６）。
【0256】
受信機のロゴ認識段階２４０１及びロゴ比較段階２４０２は、受信機によって認識されたロゴと受信機にあらかじめ記憶されたコンテンツプロバイダのロゴとを比較することによって実行できる。
【0257】
記憶されたロゴに関する情報は、インターネットプロトコルネットワークやＭＨを通して受信機で受信及び記憶された情報、又は受信機に記憶されたデフォルト情報である。ロゴの新しいバージョン情報を維持することができる。インターネットプロトコルネットワークやＭＨを通して受信された情報の場合、新しいロゴ情報はインターネットプロトコルネットワークやＭＨを通して連続してロゴ情報を受信することによって維持でき、デフォルト情報の場合、新しいロゴ情報は、連続した更新によって維持できる。
【0258】
ロゴ比較段階２４０２で認識されたロゴを受信機に記憶された全てのロゴ情報と比較すると、情報の量が多い。そのため、受信機に負担となる。本発明の一実施例によれば、抽出、記憶、比較をロゴの具体的な特性に基づいて実行できるため、このような制約を克服することができる。例えば、比較のために、ロゴ色、文字（ＳＢＳ、ＣＮＮなど）、輪郭のようなロゴの特性を認識することができる。輪郭を用いると、ロゴが表示される領域が座標によって区別され、座標特性を用いてロゴを認識することができる。
【0259】
図２７は、本発明の一実施例に係るロゴ及びウォーターマークを用いた自動コンテンツ認識サービス提供方法を示す図である。
【0260】
図２７に示すように、自動コンテンツ認識サービスで、受信機は、ロゴ情報２７０１又はウォーターマーク２７０２を抽出してコンテンツプロバイダに関する情報を得ることができ、インターネットプロトコルネットワークやＭＨを通してコンテンツプロバイダによって提供される付加サービスを受けることができる。
【0261】
前述したように、ウォーターマークがコンテンツに埋め込まれると、そのコンテンツのデータは変更されることがある。そこで、本発明では、コンテンツに含まれたロゴ領域にウォーターマークを埋め込む方法を提案する。
【0262】
次に、図２７に示す本発明の一実施例に係る自動コンテンツ認識サービスのために受信機側でロゴ情報及びウォーターマークを活用する方法について詳しく説明する。
【0263】
前述したように、本発明の一実施例に係る受信機は、コンテンツが再生される際、オーディオ／ビデオフレームデータの特定フィールドに挿入された特定アルゴリズムによって所定量のコンテンツ情報を含むウォーターマークを抽出及び活用することができる。例えば、秒当たり３０フレームを含むビデオコンテンツを受信する受信機は、Ｍフレームから各フレームの特定フィールド又は特定位置に該当するＮビットのデータを含むウォーターマークを抽出することができる。この場合、抽出されたウォーターマークデータの総量は、Ｎ＊Ｍビットとなり得る。ウォーターマーキングされたフレームの数が増加すると、抽出されるウォーターマークデータの量が増加する。そのため、受信機側でウォーターマークを抽出のためにかかる時間が増加し、受信機によって処理されるオーディオ／ビデオコンテンツの質が低下することがある。
【0264】
したがって、本発明では、ウォーターマークをビデオフレームに含まれたロゴ領域に埋め込む方法を提案する。全てのビデオフレームに含まれるロゴ領域は、再生スクリーンが変更されてもスクリーン上の同一位置で表示される。したがって、データの量が多くとも、ウォーターマークがロゴ領域に埋め込まれると、ウォーターマークを抽出のためにかかる時間を減らすことができ、オーディオ／ビデオコンテンツの質が低下する可能性を減らすことができる。
【0265】
次に、本発明の一実施例によってウォーターマークをロゴに埋め込む方法を説明する。本発明の一実施例によってウォーターマークをロゴに埋め込む方法は、バーコードデータをロゴの所定位置に埋め込む方法、ロゴ情報のメタデータパケットをウォーターマークとして活用する方法、ウォーターマークをロゴのイメージデータの一部に埋め込む方法を含むことができる。
【0266】
バーコードデータをロゴの所定位置に埋め込む方法では、受信機は、特定位置にあるバーコードデータをウォーターマークとして認識することができる。この場合、バーコードデータは表示されない。
【0267】
ロゴ情報のメタデータパケットをウォーターマークとして活用する方法では、ロゴのイメージデータの原形態は維持されながらロゴを表現するメタデータパケットはウォーターマークとして用いられる。この場合、メタデータパケットは、コンテンツプロバイダ識別子、コンテンツ識別子、時間情報などを含むことができる。
【0268】
ウォーターマークをロゴ情報に埋め込む方法では、Ｎ個のロゴフレームがロゴのイメージデータの一部のビットを用いて結合し、Ｎ個のウォーターマークビットがロゴイメージデータに埋め込まれる。この場合、ウォーターマークに含まれたコンテンツ情報又はメタデータは、前述した通りである。
【0269】
図２８は、本発明の他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【0270】
図２８は、ロゴ及びウォーターマークを用いて自動コンテンツ認識サービスを処理するシステムであって、図２７とは違い、ビデオコンテンツからロゴデータを抽出する方法を用いて、ロゴデータを認識し、ロゴデータが示すコンテンツプロバイダに関する情報を認識するシステムを示す。図２８の自動コンテンツ認識サービス処理システムは、セットトップボックス２８００、端末２８０１、ロゴサーバー２８０２、メタデータサーバー２８０３、アプリケーションルックアップサーバー２８０４、及び／又はアプリケーションサーバー２８０５を含むことができる。本発明の一実施例に係る受信機は、セットトップボックス２８００、端末２８０１、ロゴサーバー２８０２を含んだり、メタデータサーバー２８０３、アプリケーションルックアップサーバー２８０４、アプリケーションサーバー２８０５のうち少なくとも一つを含むことができるが、これは設計者の意図によって変更されてもよい。
【0271】
図２８に示すように、ロゴ及びウォーターマークを用いた自動コンテンツ認識サービス提供装置は、セットトップボックス２８００、端末２８０１、ロゴサーバー２８０２、メタデータサーバー２８０３、アプリケーションルックアップサーバー２８０４、及び／又はアプリケーションサーバー２８０５を含むことができる。ここで、ロゴサーバー２８０２、メタデータサーバー２８０３、アプリケーションルックアップサーバー２８０４、及び／又はアプリケーションサーバー２８０５は、端末に内部構成要素として内蔵されてもよく、又は端末と別個に提供されてもよい。
【0272】
本発明の一実施例に係る自動コンテンツ認識サービス受信装置（受信機）は、セットトップボックス２８００、端末２８０１、ロゴサーバー２８０２を含んだり、メタデータサーバー２８０３、アプリケーションルックアップサーバー２８０４、アプリケーションサーバー２８０５のうち少なくとも一つを含むことができるが、これは設計者の意図によって変更されてもよい。
【0273】
より具体的に、図２８は、本発明の一実施例に係る受信機がセットトップボックス２８００を通して放送コンテンツを受信すると、ロゴデータ及びウォーターマークを用いて、放送コンテンツと関連した付加データ（又は、エンハンスメントデータ）を受信する受信機の構成要素間の関係を示している。ロゴデータは、コンテンツプロバイダを示し、コンテンツの特定領域に表示される放送局エンブレム（ｅｍｂｌｅｍ）のようなロゴイメージに該当する。次に、図２８に示した構成要素を説明する。
【0274】
端末２８０１は、セットトップボックス２８００を通して受信した放送コンテンツの未加工データのビデオフレームからロゴデータを認識及び抽出することができる。本発明の一実施例に係るロゴデータは、コンテンツの特定領域に表示されるロゴイメージに該当する。端末２８０１は、抽出したロゴデータ及びチャネル情報検索信号をロゴサーバー２８０２に送信し、コンテンツが送信されるチャネルのチャネル情報を、ロゴサーバー２８０２から受信することができる。本発明の一実施例に係るチャネル情報検索信号は、抽出されたロゴデータに基づいて生成することができ、要求構文であってもよい。また、本発明の一実施例に係るチャネル情報は、ロゴデータが示すコンテンツプロバイダを示す情報を含むことができる。また、端末２８０１は、放送コンテンツのオーディオフレームからウォーターマークを抽出して放送コンテンツのプログラム情報を取得することができる。本発明の一実施例に係るプログラム情報は、コンテンツ識別子情報及び／又は時間情報を含むことができる。
【0275】
端末２８０１は、取得したチャネル情報及び／又はプログラム情報を用いてＵＲＬアドレス及び／又はインターネットプロトコルアドレスを取得するための要求を生成することができる。端末２８０１は、アプリケーションルックアップサーバー２８０４に要求を送ってＵＲＬアドレス及び／又はインターネットプロトコルアドレスを取得でき、取得したＵＲＬアドレス及び／又はインターネットプロトコルアドレスを用いてアプリケーションサーバー２８０５に接続し、コンテンツの付加データを受信することができる。
【0276】
ロゴサーバー２８０２は、メタデータサーバー２８０３からロゴデータに関連したメタデータを受信し、メタデータをデータベースに記憶させて管理することができる。メタデータは、ロゴデータが示しているコンテンツのチャネル情報を含むことができる。
【0277】
ロゴサーバー２８０２は、端末２８０１からロゴデータ及びチャネル情報検索信号を受信し、受信したロゴデータに関連したチャネル情報をデータベースから検索することができる。
【0278】
本発明の一実施例に係るロゴサーバー２８０２は、受信したロゴデータを、データベースにあらかじめ記憶されたロゴデータと比較し、受信したロゴデータが示すコンテンツプロバイダを確認することができる。より具体的に、ロゴサーバー２８０２は、受信したロゴデータが、データベースに記憶されたロゴデータと同一であるか否か判断できる。本発明の一実施例に係るロゴサーバー２８０２は、図２４を参照して説明した通り、ロゴデータに該当するロゴイメージ、ロゴイメージ色、テキスト、及び／又は輪郭を比較し、受信したロゴデータに該当するロゴイメージがデータベースに記憶されたロゴデータのロゴイメージと同一であるか否かを判断できる。
【0279】
受信したロゴデータがデータベースに記憶されたロゴデータと同一であれば、受信したロゴデータが示すコンテンツプロバイダは、データベースに記憶されたロゴデータが示すコンテンツプロバイダと同一である。したがって、ロゴサーバー２８０２は、同一のデータベースに記憶されたロゴデータに関連したメタデータを、データベースから受信したロゴデータとして取得することができる。前述したように、メタデータはチャネル情報を含むことができる。
【0280】
ロゴサーバー２８０２は、ロゴデータに関連したメタデータのチャネル情報を端末２８０１に送ることができる。チャネル情報がロゴサーバー２８０２のデータベースに存在しないと、ロゴサーバー２８０２は、メタデータサーバー２８０３からチャネル情報を受信することができる。
【0281】
メタデータサーバー２８０３は、ロゴデータに関連したメタデータを更新することができる。より具体的に、メタデータサーバー２８０３は、メタデータを追加、更新、及び／又は削除し、周期的に更新されたメタデータをロゴサーバー２８０２のデータベースに送ってロゴサーバー２８０２のデータベースを更新することができる。メタデータサーバー２８０３は、コンテンツプロバイダ（放送局又は第三者）によって管理され、端末２８０１は製造社（受信機メーカー）又はＳＤＰ（ｓｅｒｖｉｃｅ ｄｅｌｉｖｅｒｙ ｐｌａｔｆｏｒｍ）サーバーによって管理されるようにすることができるが、これは設計者の意図によって変更されてもよい。
【0282】
アプリケーションルックアップサーバー２８０４は、端末２８０１から受信した要求を分析し、要求に含まれたチャネル情報及び／又はプログラム情報を取得することができる。分析結果から、アプリケーションルックアップサーバー２８０４は、チャネル情報及び／又はプログラム情報に該当するコンテンツのためのアプリケーションが存在するか否かを判断することができる。コンテンツのためのアプリケーションが存在すると、アプリケーションルックアップサーバー２８０４は、アプリケーションサーバー２８０５のＵＲＬアドレス及び／又はインターネットプロトコルアドレスを端末２８０１に送ることができる。
【0283】
アプリケーションサーバー２８０５は、アプリケーションに関連したコンテンツ及び／又はデータのためのアプリケーションを管理することができる。
【0284】
前述した通り、端末２８０１は、ロゴデータ及びウォーターマークを用いて要求を生成し、生成された要求に応じて、アプリケーションルックアップサーバーからＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信することができる。その後、端末２８０１は、受信したＵＲＬアドレス及び／又はインターネットプロトコルアドレスを用いてアプリケーションサーバー２８０５に接続してアプリケーションをダウンロードすることができる。アプリケーションサーバー２８０５は、受信機によってダウンロードされたアプリケーションを管理することができる。その後、受信機は、アプリケーションを用いてコンテンツの付加データを受信することができる。
【0285】
受信機がオーディオ信号に接続できず、オーディオフレームに挿入されたウォーターマークを抽出できない場合は、本発明の一実施例に係る端末２８０１は、ビデオフレームから抽出されたロゴデータのみを用いて要求を生成することができる。より具体的に、本発明の一実施例に係る端末２８０１は、ロゴデータを通して取得したチャネル情報を含む要求をアプリケーションルックアップサーバー２８０４に送ることができる。本発明の一実施例に係る要求は、ＨＴＴＰプロトコルを用いることができる。アプリケーションルックアップサーバー２８０４は、ＨＴＴＰのヘッダーに含まれたデータフィールド値を用いて受信した要求の時間情報を確認することができる。その後、アプリケーションルックアップサーバー２８０４は、チャネル情報及び／又は時間情報を用いて端末２８０１によって接続可能なアプリケーションのＵＲＬアドレス及び／又はインターネットプロトコルアドレスを検索し、受信機に送ることができる。その後、受信機は、ＵＲＬアドレス及び／又はインターネットプロトコルアドレスを通して付加データを受信することができる。
【0286】
受信機がオーディオ信号に接続できず、オーディオフレームに挿入されたウォーターマークを抽出できない場合は、本発明の一実施例に係る端末２８０１は、ビデオフレームに含まれたシンボルデータを用いて要求を生成することができる。本発明の一実施例に係るシンボルデータは、スクリーン上に表示されるシンボルイメージに該当し、コンテンツに関連したプログラムを示すことができる。より具体的に、シンボルデータがビデオフレームに含まれると、端末２８０１はシンボルデータを抽出し、ロゴデータ及びシンボルデータを用いて要求を生成することができる。シンボルデータを用いる自動コンテンツ認識サービスシステムについては後述する。
【0287】
受信機がビデオ信号に接続できず、ビデオフレームに挿入されたウォーターマークを抽出できない場合は、本発明の一実施例に係る端末２８０１は、オーディオフレームから抽出されたウォーターマークのみを用いて要求を生成することができる。端末２８０１は、ウォーターマークから取得した情報を含む要求を生成してアプリケーションルックアップサーバー２８０４に送ることができる。その後、アプリケーションルックアップサーバー２８０４は、受信した要求を用いて、端末２８０１によって接続可能なアプリケーションのＵＲＬアドレス及び／又はインターネットプロトコルアドレスを検索し、受信機に送ることができる。その後、受信機は、ＵＲＬアドレス及び／又はインターネットプロトコルアドレスを通して付加データを受信することができる。
【0288】
図２９は、本発明の一実施例に係るロゴ及び／又はウォーターマークを用いた自動コンテンツ認識サービス提供装置の動作の概念を示す図である。
【0289】
図２９は、図２８を参照して説明したロゴ及びウォーターマークを用いて自動コンテンツ認識サービスを提供する自動コンテンツ認識サービス提供装置の動作、すなわち、端末２９０１、ロゴサーバー２９０２、メタデータサーバー２９０３、アプリケーションルックアップサーバー２９０４、アプリケーションサーバー２９０５間の動作の概念を示す。以下、構成要素間の動作について説明する。
【0290】
まず、端末２９０１は、ビデオフレームからロゴデータを抽出することができる。その後、端末２９０１は、前述したように、ロゴデータ及びチャネル情報検索信号をロゴサーバー２９０２に送ることができる。
【0291】
ロゴサーバー２９０２は、端末の要求信号に応じてチャネル情報を検索し、検索されたチャネル情報を端末２９０１に送信することができる。
【0292】
メタデータサーバー２９０３は、ロゴデータに関連したメタデータを周期的に更新し、更新されたメタデータをロゴサーバー２９０２に送ることができる。メタデータサーバー２９０３は、ロゴデータを受信する前又はロゴデータを受信した後にメタデータを更新することができる。
【0293】
また、端末２９０１は、オーディオフレームからウォーターマークを抽出し、ウォーターマークからプログラム情報を取得することができる。本発明の一実施例に係る端末２９０１は、ビデオフレームからロゴデータを抽出する過程及びオーディオデータからウォーターマークを抽出する過程を同時に又は順次に実行できるが、これは設計者の意図によって変更可能である。
【0294】
その後、端末２９０１は、ロゴデータから抽出されたチャネル情報及び／又はウォーターマークから抽出されたプログラム情報を用いて要求を生成することができる。端末２９０１は当該要求をＨＴＴＰプロトコルを用いてアプリケーションルックアップサーバー２９０４に送ることができる。
【0295】
アプリケーションルックアップサーバー２９０４は、受信した要求を分析し、チャネル及び／又はプログラムの付加データを提供可能なアプリケーションのＵＲＬアドレス及び／又はインターネットプロトコルアドレスを検索し、ＵＲＬアドレス及び／又はインターネットプロトコルアドレスを端末２９０１に送ることができる。
【0296】
端末２９０１は、受信したＵＲＬアドレス及び／又はインターネットプロトコルアドレスを通してアプリケーションサーバー２９０５に接続し、アプリケーションをダウンロードすることができる。ダウンロードされたアプリケーションは、アプリケーションサーバー２９０５で管理でき、付加データは、ダウンロードされたアプリケーションを通して端末２９０１に伝送できる。
【0297】
図３０は、本発明のさらに他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【0298】
図３０は、図２９を参照して説明した動作による自動コンテンツ認識サービス処理システムを示すもので、このシステムは、セットトップボックス、端末、ロゴサーバー、メタデータサーバー、アプリケーションルックアップサーバー、及び／又はアプリケーションサーバーを含むことができる。端末は、ロゴ抽出器３００１及び／又はウォーターマーク抽出器３００２をさらに含むことができる。図３０に示すように、ビデオフレームに含まれたロゴデータに該当するロゴイメージ３０００は、表示されたコンテンツの特定部分に含まれてもよい。図２８及び２９を参照して説明した通り、端末は、要求３００３をアプリケーションルックアップサーバーに送ることができる。図３０に示す基本構成要素は、図２８を参照して説明したそれと同一であり、図２８を参照して説明したものと同一の構成要素の動作については説明を省略する。
【0299】
図３０に示すように、端末は、独立した経路を通じてセットトップボックスから受信した放送信号に含まれたビデオ信号及びオーディオ信号を処理することができる。以下、端末に含まれたロゴ抽出器３００１及び／又はウォーターマーク抽出器３００２を中心に説明する。
【0300】
ロゴ抽出器３００１は、ビデオフレームから、ロゴイメージ３０００に該当するロゴデータを自動で認識及び抽出することができる。より具体的に、ロゴ抽出器３００１は、ビデオフレームの特定領域を認識し、特定領域に位置しているロゴデータを抽出することができる。ロゴ抽出器３００１は、イメージ処理によって抽出されたロゴデータに該当するロゴイメージ３０００を認識することができる。
【0301】
端末は、ロゴサーバーがロゴ抽出器３００１によって抽出されたロゴデータをロゴサーバーのデータベースに記憶されたロゴデータと比較するように、抽出されたロゴデータをロゴサーバーに送ることができる。その詳細な比較方法は、図２８を参照して説明した通りである。抽出されたロゴデータに該当するロゴイメージ３０００が、ロゴデータに記憶されたロゴイメージと同一であれば、ロゴサーバーは、ロゴデータのチャネル情報を検索して端末に送ることができる。本発明の一実施例によれば、チャネル情報は、「チャネル番号（主−副）」−「短縮番号」の形式で示すことができる。
【0302】
ロゴサーバーは、メタデータサーバーから更新されたロゴデータを周期的に受信し、ロゴサーバーのデータベースを続けて更新することができる。ロゴデータのチャネル情報がロゴサーバーのデータベースに現在存在していなければ、ロゴサーバーは、メタデータサーバーからチャネル情報を受信することができる。
【0303】
ウォーターマーク抽出器３００２は、オーディオフレームに挿入されたウォーターマークを認識及び抽出することができる。オーディオフレームに挿入されたウォーターマークは、コンテンツ識別子情報及び／又は時間情報を含むプログラム情報を含むことができ、図１２を参照して説明したコンテンツ識別子情報及びコンテンツライフサイクル情報をさらに含むことができるが、これは設計者の意図によって変更されてもよい。したがって、ウォーターマーク抽出器３００２は、抽出されたウォーターマークからプログラム情報を取得することができる。
【0304】
端末は、オーディオフレームのウォーターマークから抽出されたプログラム情報及びビデオフレームのロゴデータから抽出されたチャネル情報を用いて要求を生成し、アプリケーションルックアップサーバーに送ることができる。
【0305】
本発明の一実施例に係る要求３００３は、チャネル情報、プログラム情報、アプリケーションサーバーのＵＲＬアドレスの組合せで構成することができる。図３０では、本発明の一実施例に係る要求３００３である「ｈｔｔｐ：／／ｗｗｗ．ｏｈｔｖ．ｏｒｇ？ｃｈ＝７−１−ＫＢＳ２ＨＤ＆ＣｏｎｔｅｎｔＩＤ＝１２−２３４５＆．．．」を示している。
【0306】
図３０に示す要求は、チャネル情報及びプログラム情報をパラメータの形態で示す要求である。「ｈｔｔｐ：／／ｗｗｗ．ｏｈｔｖ．ｏｒｇ？」は、アプリケーションルックアップサーバー２９０４のＵＲＬアドレスを表すことができ、「ｃｈ＝７−１−ＫＢＳ２ＨＤ＆」は、チャネル情報を表すことができ、「ＣｏｎｔｅｎｔＩＤ＝１２−２３４５＆．．．」は、プログラム情報を表すことができる。
【0307】
アプリケーションルックアップサーバーは、端末から受信された要求のパラメータを用いて付加データを取得できるアプリケーションのＵＲＬアドレス及び／又はインターネットプロトコルアドレスを検索し、検索結果を端末に送ることができる。
【0308】
図３１は、本発明のさらに他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【0309】
図３１は、ロゴデータ及びシンボルデータを用いて生成された要求を用いて付加データを受信するための自動コンテンツ認識サービス処理システムを示す。図３１に示す自動コンテンツ認識サービス処理システムは、図３０と同様に、セットトップボックス、端末、ロゴサーバー、メタデータサーバー、アプリケーションルックアップサーバー、及び／又はアプリケーションサーバーを含むことができる。図３１の自動コンテンツ認識サービス処理システムは、シンボル抽出器３１０２及び／又はコンテンツメタデータサーバー３１０３をさらに含むことができる。
【0310】
図３１に示す基本構成は、図２８及び３０を参照して説明したそれと同一であり、それに関する説明は省略する。以下、シンボル抽出器３１０２及び／又はコンテンツメタデータサーバー３１０３を中心に説明する。
【0311】
図３１に示すように、シンボル抽出器３１０２を端末に内蔵することができる。コンテンツメタデータサーバー３１０３は、端末に内蔵されてもよく、端末と別個として位置してもよいが、これは設計者の意図によって変更可能である。図３１に示すように、シンボルイメージ３１００及び／又はロゴイメージ３１０１が、表示されたコンテンツの特定領域に含まれてもよい。
【0312】
図２８を参照して説明した通り、本発明の一実施例に係る受信機がオーディオ信号に接続すると、端末は、ビデオフレームに含まれたシンボルデータを取得し、ロゴデータ及びシンボルデータを用いて要求を生成することができる。
【0313】
より具体的に、図３１に示す端末のシンボル抽出器３１０８は、ビデオフレームからシンボルイメージ３１００に該当するシンボルデータを抽出し、イメージ処理方法を用いて抽出されたシンボルデータに該当するシンボルイメージ３１００を認識することができる。その後、端末は、認識されたシンボルイメージ３１００又はシンボルイメージ３１００に該当するシンボルデータをコンテンツメタデータサーバー３１０３に送ることができる。
【0314】
コンテンツメタデータサーバー３１０３は、シンボルイメージ３１００が示すプログラムのプログラム情報を取得して端末に送ることができる。コンテンツメタデータサーバー３１０３は、メタデータサーバーからシンボルイメージ３１００に関連したプログラム情報を含むメタデータを受信し、データベースに記憶、及び管理することができる。コンテンツメタデータサーバー３１０３は、プログラム情報を得るためにコンテンツメタデータサーバー３１０３のデータベースを通して検索し、プログラム情報がデータベースに存在しないと、メタデータサーバーからプログラム情報を受信することができる。前述したように、本発明の一実施例に係るプログラム情報は、コンテンツ識別子情報及び／又は時間情報を含むことができる。プログラム情報を含むメタデータは、メタデータサーバーによって追加、訂正、更新、及び／又は削除することができる。更新されたメタデータは、コンテンツメタデータサーバー３１０３のデータベースに周期的に送ることができる。
【0315】
図３１に示すように、端末は、ビデオフレームからロゴデータを抽出することができる。図３０を参照して説明した通り、端末に含まれたロゴ抽出器は、ビデオフレームからロゴイメージ３１０３に該当するロゴデータを抽出してロゴサーバーに送り、ロゴサーバーからロゴデータのチャネル情報を受信することができる。
【0316】
前述したロゴ抽出器及びシンボル抽出器３１０２の動作は、順次に又は同時に実行できるが、これは、設計者の意図によって変更されてもよい。端末は、シンボルデータを用いて取得したプログラム情報及び／又はロゴデータを用いて取得したチャネルプログラムを含む要求を生成することができる。生成された要求を用いて端末で付加データを受信する方法は、図２９を参照して説明した通りであり、その説明は省略する。
【0317】
図３２は、本発明の一実施例に係る自動コンテンツ認識サービス受信装置を示す図である。
【0318】
図３２に示すように、本発明の一実施例に係る自動コンテンツ認識サービス受信装置は、受信モジュール３２０１、抽出モジュール３２０２、比較モジュール３２０３、取得モジュール３２０４、及び／又は生成モジュール３２０５を含むことができる。
【0319】
図３２に示す受信モジュール３２０１、抽出モジュール３２０２、取得モジュール３２０４、及び／又は生成モジュール３２０５は、図２８乃至３１を参照して説明した端末２８０１に内蔵され、図３２に示す比較モジュール３２０３は、図２８乃至３１を参照して説明したロゴサーバー２８０２に内蔵されうるが、これは、設計者の意図によって変更されてもよい。次に、図３２のモジュールを説明する。
【0320】
受信モジュール３２０１は、コンテンツを含むデジタルサービス信号を受信することができる。また、受信モジュール３２０１は、コンテンツの付加データを受信するためのＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信することができる。ＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信する詳細な過程は、図２８乃至図３１を参照して説明した通りである。
【0321】
抽出モジュール３２０２は、受信したコンテンツの各ビデオフレームに含まれたロゴデータを抽出することができる。ロゴデータは、図２８乃至図３１を参照して説明した通り、ビデオフレームの特定領域に含まれ、コンテンツの特定領域に表示されたロゴイメージに該当する。抽出モジュール３２０２は、ビデオフレームの特定領域からウォーターマークを抽出することができる。本発明の一実施例で、ビデオフレームから抽出されたウォーターマークは、チャネル情報及び／又はプログラム情報を含むことができる。
【0322】
比較モジュール３２０３は、抽出モジュール３２０２によって抽出されたロゴデータを、自動コンテンツ認識サービス受信装置３２００に記憶されたロゴデータと比較することができる。抽出されたロゴデータを記憶されたロゴデータと比較する詳細な方法は、図２８乃至図３１を参照して説明した通りである。
【0323】
取得モジュール３２０４は、比較モジュール３２０３の比較結果を用いて、ロゴデータに関連したメタデータからチャネル情報を取得することができる。取得モジュール３２０４は、受信モジュール３２０１によって受信されたＵＲＬアドレス及び／又はインターネットプロトコルアドレスを用いてコンテンツの付加データを取得することができる。
【0324】
生成モジュール３２０５は、取得モジュール３２０４によって取得したチャネル情報を用いて要求を生成することができる。図２８乃至図３１を参照して説明した通り、生成モジュール３２０５は、取得したロゴデータのチャネル情報及び／又はオーディオフレームに含まれたウォーターマークのプログラム情報を用いて要求を生成することができる。オーディオフレームに接続できない場合は、生成モジュール３２０５は、ビデオフレームに含まれたシンボルデータ又は取得したロゴデータのチャネル情報のみを用いて要求を生成することができる。ビデオフレームに接続できない場合は、生成モジュール３２０５は、オーディオフレームに含まれたウォーターマークのプログラム情報のみを用いて要求を生成することができる。
【0325】
受信モジュール３２０１は、生成モジュール３２０５が生成した要求を用いてＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信することができる。取得モジュール３２０４は、受信モジュール３２０１によって受信されたＵＲＬアドレス及び／又はインターネットプロトコルアドレスによってインターネットプロトコルネットワークを通して付加データを取得することができる。
【0326】
図３２には示していないが、本発明の一実施例に係る自動コンテンツ認識サービス受信装置３２００は、ウォーターマーク抽出モジュール、プログラム情報取得モジュール、シンボル抽出モジュール、処理モジュール、及び／又は更新モジュールをさらに含むことができる。ウォーターマーク抽出モジュール、プログラム情報取得モジュール、及び／又はシンボル抽出モジュールは、図２８乃至図３１を参照して説明した端末２８０１に含めることができる。処理モジュールは、図２８乃至図３１を参照して説明した端末２８０１又はコンテンツメタデータサーバー３１０３に含めることができる。更新モジュールは、図２８乃至図３１を参照して説明した端末２８０１又はメタデータサーバー２８０３に含めることができる。但し、これは設計者の意図によって変更されてもよい。
【0327】
本発明の一実施例に係るウォーターマーク抽出モジュールは、受信モジュール３２０１によって受信されたコンテンツのオーディオフレームからウォーターマークを抽出することができる。その後、プログラム情報取得モジュールは、抽出されたウォーターマークに含まれたプログラム情報を取得することができる。図２８を参照して説明した通り、本発明の一実施例に係るプログラム情報は、コンテンツ識別子情報及び／又は時間情報を含むことができる。端末側でオーディオフレームからウォーターマークを抽出する詳細な方法は、図３０を参照して説明した通りである。
【0328】
シンボルデータがビデオフレームに含まれると、本発明の一実施例に係るシンボル抽出モジュールは、ビデオフレームからシンボルデータを抽出することができる。その後、本発明の一実施例に係るプログラム情報取得モジュールは、抽出されたウォーターマークからプログラム情報を取得することができる。シンボルデータは、各ビデオフレームの特定領域に含むことができる。シンボル抽出モジュール及び／又はプログラム情報取得モジュールの具体的な動作は、図３１を参照して説明した通りである。
【0329】
本発明の一実施例に係る更新モジュールは、ロゴデータに関連したメタデータを周期的に更新することができる。図２８乃至図３１を参照して説明した通り、メタデータサーバー２８０３は、メタデータルックアップサーバー２８０４に記憶されたロゴデータを続けて追加、更新、及び／又は削除することができる。
【0330】
図３３は、本発明の一実施例に係る自動コンテンツ認識サービス送信装置を示す図である。
【0331】
図３３に示すように、本発明の一実施例に係る自動コンテンツ認識サービス送信装置は、生成モジュール３３０１、挿入モジュール３３０２、及び／又は送信モジュール３３０３を含むことができる。
【0332】
生成モジュール３３０１は、コンテンツを含むデジタルサービス信号を生成することができる。より具体的に、本発明の一実施例によって生成されたコンテンツは、ビデオコンテンツとオーディオコンテンツの両方を含むことができる。生成モジュール３３０１は、オーディオフレーム及び／又はビデオフレームに挿入されるウォーターマークを生成することができる。生成モジュール３３０１は、コンテンツのプログラムを示すシンボルデータを生成することができる。
【0333】
挿入モジュール３３０２は、ロゴデータをコンテンツの各ビデオフレームに挿入できる。より具体的に、ロゴデータは、各ビデオフレームの同一の特定領域に挿入され、コンテンツの特定領域に表示されたロゴイメージに該当する。
【0334】
また、挿入モジュール３３０２は、ウォーターマークをオーディオフレーム及び／又はビデオフレームに挿入できる。より具体的に、挿入モジュール３３０２は、オーディオフレーム及び／又はビデオフレームをサブフレームに分離し、分離されたサブフレームから、ウォーターマークの挿入される特定サブフレームを検出することができる。その後、挿入モジュール３３０２は、ウォーターマークを特定サブフレームに挿入し、サブフレームを結合してオーディオフレーム及び／又はビデオフレームを生成することができる。
【0335】
挿入モジュール３３０２は、生成モジュール３３０１によって生成されたシンボルデータをコンテンツの各ビデオフレームの特定領域に挿入することができる。
【0336】
送信モジュール３３０３は、挿入モジュール３３０２でロゴデータ及び／又はウォーターマークが挿入されたコンテンツを含むデジタルサービス信号を、図３２を参照して説明した自動コンテンツ認識サービス受信装置３２００に送信することができる。本発明の一実施例に係るロゴデータは、図３２を参照して説明した取得モジュール３２０４でチャネル情報を受信するために用いることができる。本発明の一実施例に係るチャネル情報は、図３２を参照して説明した受信モジュール３２０１でＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信するために用いることができる。
【0337】
図３４は、本発明の一実施例に係る自動コンテンツ認識サービス受信過程を示す図である。
【0338】
本発明の一実施例に係る受信モジュール３２０１は、コンテンツを含むデジタルサービス信号を受信することができる（Ｓ３４０１）。前述したように、受信モジュール３２０１は、図２８乃至図３２を参照して説明した端末２８０１に含まれうる。より具体的に、図２８を参照して説明した通り、端末２８０１は、セットトップボックス２８００を通して受信した放送コンテンツの未加工データのビデオフレームからロゴデータを認識することができる。
【0339】
本発明の一実施例に係る抽出モジュール３２０２は、受信したコンテンツの各ビデオフレームの特定領域からロゴデータを抽出できる（Ｓ３４０２）。前述したように、抽出モジュール３２０２は、図２８乃至図３２を参照して説明した端末２８０１に内蔵されうる。
【0340】
より具体的に、図３０を参照して説明した通り、端末のロゴ抽出器３００１は、イメージ処理によってビデオフレームからロゴデータを抽出することができる。ロゴデータは、図２８乃至図３１を参照して説明した通り、ビデオフレームの特定領域に含まれ、コンテンツの特定領域に表示されたロゴイメージに該当し得る。
【0341】
本発明の一実施例に係る端末２８０１は、オーディオフレームでウォーターマークを抽出し、抽出されたウォーターマークを用いてプログラム情報を取得することができる。抽出されたウォーターマークは、プログラム情報を含むことができる。図２８を参照して説明した通り、本発明の一実施例に係るプログラム情報は、コンテンツ識別子情報及び／又は時間情報を含むことができる。端末側でオーディオフレームからウォーターマークを抽出する具体的な方法は、図３０を参照して説明した通りである。
【0342】
本発明の一実施例に係る端末２８０１は、各ビデオフレームの特定領域からシンボルデータを抽出することができる。その後、端末２８０１は、抽出されたシンボルデータを処理してプログラム情報を取得することができる。シンボルデータは、図３１を参照して詳細に説明したプログラム情報を含むことができる。
【0343】
図２８乃至図３１を参照して説明した通り、本発明の一実施例に係る端末２８０１は、各ビデオフレームの特定領域からシンボルデータを抽出することができる。本発明の一実施例でビデオフレームから抽出されたウォーターマークは、チャネル情報及び／又はプログラム情報を含む。
【0344】
本発明の一実施例に係る比較モジュール３２０３は、抽出されたロゴデータを、ロゴサーバー２８０２のデータベースに記憶されたロゴデータと比較する（Ｓ３４０３）。前述した通り、比較モジュール３２０３は、図２８乃至図３２を参照して説明した端末に内蔵されうる。抽出されたロゴデータを記憶されたロゴデータと比較する詳細な方法は、図２８乃至図３１を参照して説明した通りである。
【0345】
本発明の一実施例に係る取得モジュール３２０４は、ロゴデータに関連したメタデータからチャネル情報を取得することができる（Ｓ３４０４）。前述したように、取得モジュール３２０４は、図２８乃至図３１を参照して説明した端末２８０１に内蔵されうる。
【0346】
より具体的に、図２８乃至図３０を参照して説明した通り、抽出されたロゴデータのイメージと記憶されたロゴデータのイメージが同一であれば、ロゴサーバーは、データベースからロゴデータのチャネル情報を検索して端末に送ることができる。
【0347】
また、本発明の一実施例に係る更新モジュールは、ロゴデータに関連したメタデータを周期的に更新することができる。図３２を参照して説明した通り、更新モジュールは、端末又はメタデータサーバーに内蔵されうる。本発明の一実施例に係るメタデータサーバーは、ロゴサーバーのデータベースに記憶されたメタデータを周期的に更新することができる。
【0348】
本発明の一実施例に係る生成モジュール３２０５は、チャネル情報を用いて要求を生成することができる（Ｓ３４０５）。前述したように、生成モジュール３２０５は、図２８乃至図３２を参照して説明した端末２８０１に内蔵されうる。
【0349】
より具体的に、図３０を参照して説明した通り、端末は、ロゴサーバーから受信したチャネル情報を用いて要求を生成することができる。図２９を参照して説明した通り、端末は、生成された要求をＨＴＴＰプロトコルを通してアプリケーションルックアップサーバー２９０４に送ることができる。
【0350】
図２８乃至図３１を参照して説明した通り、生成モジュール３２０５は、取得したロゴデータのチャネル情報及びオーディオフレームに含まれたウォーターマークのプログラム情報を用いて要求を生成することができる。また、オーディオフレームに接続できない場合は、生成モジュール３２０５は、取得したロゴデータのチャネル情報のみを用いて又はビデオフレームに含まれたシンボルデータを用いて要求を生成することができる。ビデオフレームに接続できない場合は、生成モジュール３２０５は、オーディオフレームに含まれたウォーターマークのプログラム情報のみを用いて要求を生成することができる。
【0351】
本発明の一実施例に係る受信モジュール３２０１は、要求に用いてＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信することができる（Ｓ３４０６）。前述したように、受信モジュール３２０１は、図２８乃至図３２を参照して説明した端末２８０１に内蔵されうる。
【0352】
より具体的に、図２９を参照して説明した通り、端末２９０１は、アプリケーションルックアップサーバー２９０４で要求を用いて検索したアプリケーションのＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信することができる。ＵＲＬアドレス及び／又はインターネットプロトコルアドレスの具体的な過程は、図２８乃至図３１を参照して説明した通りである。
【0353】
本発明の一実施例に係る取得モジュール３２０４は、ＵＲＬアドレス及び／又はインターネットプロトコルアドレスによってインターネットプロトコルネットワークを通して付加データを取得することができる（Ｓ３４０７）。前述したように、取得モジュール３２０４は、図２８乃至図３２を参照して説明した端末２８０１に内蔵されうる。
【0354】
より具体的に、図２９を参照して説明した通り、端末２９０１は、ＵＲＬアドレス及び／又はインターネットプロトコルアドレスを通してアプリケーションサーバー２９０５に接続し、アプリケーションをダウンロードすることができる。ダウンロードされたアプリケーションは、アプリケーションサーバー２９０５によって管理され、付加データは、ダウンロードされたアプリケーションを通して端末２９０１に送信されうるが、これは、図２８乃至図３１を参照して説明した通りである。
【0355】
図３５は、本発明の一実施例に係る自動コンテンツ認識サービス送信過程を示す図である。
【0356】
本発明の一実施例に係る生成モジュール３３０１は、コンテンツを含むデジタルサービス信号を生成することができる（Ｓ３５０１）。より具体的に、本発明の一実施例によって生成されたコンテンツは、ビデオコンテンツとオーディオコンテンツの両方を含むことができる。
【0357】
生成モジュール３３０１は、オーディオフレーム及び／又はビデオフレームに挿入されるウォーターマークを生成することができる。また、生成モジュール３３０１は、コンテンツのプログラムを示すシンボルデータを生成することができる。
【0358】
本発明の一実施例に係る挿入モジュール３３０２は、ロゴデータをコンテンツの各ビデオフレームに挿入することができる（Ｓ３５０２）。より具体的に、ロゴデータは、各ビデオフレームの同一の特定領域に挿入され、コンテンツの特定領域に表示されたロゴイメージに該当し得る。
【0359】
挿入モジュール３３０２は、ウォーターマークをオーディオフレーム及び／又はビデオフレームに挿入することができる。より具体的に、挿入モジュール３３０２は、オーディオフレーム及び／又はビデオフレームをサブフレームに区分し、区分されたサブフレームからウォーターマークの挿入される特定サブフレームを検出することができる。その後、挿入モジュール３３０２は、ウォーターマークを特定サブフレームに挿入し、サブフレームを結合してオーディオフレーム及び／又はビデオフレームを生成することができる。
【0360】
また、挿入モジュール３３０２は、シンボルデータをコンテンツの各ビデオフレームの特定領域に挿入できるが、これは図３１を参照して詳細に説明した通りである。
【0361】
本発明の一実施例に係る送信モジュール３３０３は、デジタルサービス信号を送信することができる（Ｓ３５０３）。送信モジュール３３０３は、ウォーターマーク及び／又はロゴデータが挿入モジュール３３０２で挿入されたコンテンツを含むデジタルサービス信号を、図３２を参照して説明した自動コンテンツ認識サービス受信装置３２００に送信することができる。本発明の一実施例に係るロゴデータは、図３２を参照して説明した取得モジュール３２０４でチャネル情報を受信するために用いることができる。本発明の一実施例に係るチャネル情報は、図３２を参照して説明した受信モジュール３２０１でＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信するために用いることができる。〔実施例〕
【0362】
発明の実施例は、前述した通り、発明を実施するための形態で詳述された。
【0363】
本発明の思想や範囲から逸脱することなく当業者にとって本発明の様々な変形及び変更が可能であることは明らかである。したがって、本発明は、添付の特許請求の範囲及びその同等範囲内にある本発明の変形及び変更を含むように意図される。
【産業上の利用可能性】
【0364】
前述した通り、本発明は、デュアルディスプレイのための装置に全体的に又は部分的に適用可能である。