特許 7362154 クライアント側フォレンジックウォーターマーク装置、システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-06

(45)【発行日】2023-10-17

(54)【発明の名称】クライアント側フォレンジックウォーターマーク装置、システム及び方法

(51)【国際特許分類】

   H04N 21/431 20110101AFI20231010BHJP

   H04N 21/435 20110101ALI20231010BHJP

   H04N 21/8358 20110101ALI20231010BHJP

【ＦＩ】

H04N21/431

H04N21/435

H04N21/8358

【請求項の数】 10

(21)【出願番号】P 2021571406

(86)(22)【出願日】2020-11-12

(65)【公表番号】

(43)【公表日】2022-08-02

(86)【国際出願番号】 KR2020015908

(87)【国際公開番号】W WO2021101170

(87)【国際公開日】2021-05-27

【審査請求日】2021-11-30

(31)【優先権主張番号】10-2019-0151243

(32)【優先日】2019-11-22

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】516046972

【氏名又は名称】インカ・エントワークス・インコーポレイテッド

【氏名又は名称原語表記】ＩＮＫＡ ＥＮＴＷＯＲＫＳ， ＩＮＣ．

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100219542

【弁理士】

【氏名又は名称】大宅 郁治

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】パク、ビョンソン

(72)【発明者】

【氏名】パク、サンホ

(72)【発明者】

【氏名】ユン、ソンジュ

【審査官】鈴木 順三

(56)【参考文献】

【文献】韓国公開特許第１０－２０１１－０００７７８９（ＫＲ，Ａ）

【文献】韓国公開特許第１０－２０１３－０１１６３０７（ＫＲ，Ａ）

【文献】韓国公開特許第１０－２０１８－０００４７４１（ＫＲ，Ａ）

【文献】特表２０１６－５２２４３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

映像コンテンツからウォーターマークマスクを表示するウォーターマークマスク領域を選定し、前記ウォーターマークマスク領域に対するウォーターマーク領域情報を蓄積部に蓄積するコンテンツサーバーと通信することができるフォレンジックウォーターマーク装置であって、
前記コンテンツサーバーに、再生したい前記映像コンテンツを要請し、前記コンテンツサーバーから前記映像コンテンツ及び前記ウォーターマーク領域情報を受信するダウンロード部と、
前記ダウンロード部から入力された前記ウォーターマーク領域情報を利用し、前記ウォーターマークマスクを出力するウォーターマークマスク生成部と、
前記ダウンロード部から入力された前記映像コンテンツの前記ウォーターマークマスク領域に、前記ウォーターマークマスク生成部から入力された前記ウォーターマークマスクを重ね合わせるオーバーレイ部と、を含み、
前記ウォーターマークマスク生成部は、前記ウォーターマークマスクを含むマスクフレームをさらに生成し、
前記オーバーレイ部は、前記ダウンロード部から入力された前記映像コンテンツのうち、前記ウォーターマークマスク領域を含む映像フレーム上に、前記マスクフレームを重ね合わせ、
前記マスクフレームは、背景と前景とに区分し、非可視性のために、透明の程度を示すアルファ値を前記背景と前記前景とにそれぞれ異ならせて付与することを特徴とするフォレンジックウォーターマーク装置。

【請求項2】

前記ダウンロード部は、前記コンテンツサーバーからクライアントセッションＩＤをさらに受信し、
前記ウォーターマークマスク生成部は、前記ダウンロード部から入力された前記クライアントセッションＩＤを利用し、前記ウォーターマークマスクを生成して出力することを特徴とする、請求項１に記載のフォレンジックウォーターマーク装置。

【請求項3】

前記マスクフレームが、前記映像コンテンツのうち、前記ウォーターマークマスク領域を含む映像フレーム上に重なり合うように、前記映像フレームに前記マスクフレームを同期化する同期管理部をさらに含むことを特徴とする、請求項１に記載のフォレンジックウォーターマーク装置。

【請求項4】

前記同期管理部は、前記ウォーターマークマスク領域を含む映像フレームに連続する映像フレームに変化がないことを示す重なり継続区間が受信されると、前記重なり継続区間の間、前記映像フレームに前記マスクフレームを重ね合わせるように、前記映像フレームに前記マスクフレームを同期化することを特徴とする、請求項３に記載のフォレンジックウォーターマーク装置。

【請求項5】

前記ウォーターマークマスクと関連し、前記コンテンツサーバーから受信されたクライアントセッションＩＤが有効であるか、前記同期管理部が前記重なり継続区間に基づいて動作しているか、または前記オーバーレイ部の動作が除去され、前記映像コンテンツのみが表示されるかをモニタリングする攻撃防御部をさらに含むことを特徴とする、請求項４に記載のフォレンジックウォーターマーク装置。

【請求項6】

フォレンジックウォーターマークシステムであって、
映像コンテンツから、ウォーターマークマスクを表示するウォーターマークマスク領域を選定し、前記ウォーターマークマスク領域に対するウォーターマーク領域情報を蓄積するコンテンツサーバーと、
請求項１に記載のフォレンジックウォーターマーク装置とを含み、
前記コンテンツサーバーは、前記ダウンロード部から、再生したい前記映像コンテンツの要請と共にクライアントメタデータを受信すると、前記映像コンテンツのクライアントを特定できるクライアントセッションＩＤを生成して、前記クライアントメタデータと共に前記クライアントセッションＩＤを前記蓄積部に蓄積することを特徴とする、フォレンジックウォーターマークシステム。

【請求項7】

前記コンテンツサーバーは、前記映像コンテンツのＧＯＰコンテンツのうち、所定のフレームのブロックを分析して、前記ウォーターマークマスクを表示するブロックに対する位置情報を前記ウォーターマーク領域情報として蓄積することを特徴とする、請求項６に記載のフォレンジックウォーターマークシステム。

【請求項8】

映像コンテンツからウォーターマークマスクを表示するウォーターマークマスク領域を選定し、前記ウォーターマークマスク領域に対するウォーターマーク領域情報を蓄積部に蓄積するコンテンツサーバーと通信できるフォレンジックウォーターマーク装置によって行われるフォレンジックウォーターマーク方法であって、
前記コンテンツサーバーに、再生したい前記映像コンテンツを要請し、前記コンテンツサーバーから前記映像コンテンツ及び前記ウォーターマーク領域情報を受信する段階と、
前記受信する段階で受信した前記ウォーターマーク領域情報を用いて、前記ウォーターマークマスクを出力する段階と、
前記受信する段階で受信された前記映像コンテンツの前記ウォーターマークマスク領域に、前記出力する段階で出力された前記ウォーターマークマスクを重ね合わせる段階と、を含み、
前記出力する段階は、前記ウォーターマークマスクを含むマスクフレームを生成することを含み、
前記重ね合わせる段階は、前記マスクフレームを、前記映像コンテンツのうち、前記ウォーターマークマスク領域を含む映像フレームに同期化させることにより、前記映像フレーム上に、前記マスクフレームを重ね合わせ、
前記マスクフレームは、背景と前景とに区分し、非可視性のために、透明の程度を示すアルファ値を前記背景と前記前景とにそれぞれ異ならせて付与することを特徴とするフォレンジックウォーターマーク方法。

【請求項9】

前記受信する段階は、前記コンテンツサーバーからクライアントセッションＩＤをさらに受信して、
前記出力する段階は、前記受信する段階で受信された前記クライアントセッションＩＤを利用し、前記ウォーターマークマスクを生成して出力することを特徴とする、請求項８に記載のフォレンジックウォーターマーク方法。

【請求項10】

前記ウォーターマークマスクと関連し、前記コンテンツサーバーから受信した前記クライアントセッションＩＤが有効であるか、または前記重ね合わせる段階の動作が除去され、前記映像コンテンツのみが表示されるかをモニタリングする段階をさらに含めることを特徴とする、請求項９に記載のフォレンジックウォーターマーク方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、クライアント側フォレンジックウォーターマーク装置、システム及び方法に関し、ウォーターマークマスクを用いて、クライアント側でフォレンジックウォーターマークを表示することができるクライアント側フォレンジックウォーターマーク装置、システム及び方法に関する。

【背景技術】

【0002】

サーバー側でフォレンジックウォーターマークを埋め込む接近方式は、たくさんのサーバーリソースが必要となるだけでなく、実時間応答性に劣るという短所がある。したがって、サーバー側でフォレンジックウォーターマークを埋め込むためには、実時間にユーザー情報を埋め込まなければならないという問題を克服しなければならない。このような問題を克服するために、前処理過程を通じて、映像コンテンツにウォーターマーク０を埋め込んだ０コンテンツファイルと、映像コンテンツにウォーターマーク１を埋め込んだ１コンテンツファイルを生成した後、ユーザー情報に基づいて、実時間に前処理過程で生成された０コンテンツファイルと１コンテンツファイルとを組み合わせてフォレンジックウォーターマークを埋め込む方式が使用されている。しかしながら、この方式は、複数のユーザーがそれぞれ自分の持ったコンテンツの一部区間を混ぜて、容易にフォレンジックウォーターマークを無力化することができるという致命的な短所がある。例えば、２人のユーザーがそれぞれダウンロードしたコンテンツセクションを混ぜて、全く違うコンテンツファイルを作り出し、サービス提供者が埋め込んだ情報を無力化することができる。

【0003】

また、映像コンテンツにハードウェアＤＲＭ(Digital Rights Management)が適用されている場合、映像を操作する方式では、ウォーターマークを埋め込むことができない。従って、ハードウェアＤＲＭが適用されている映像コンテンツにも埋め込み可能なフォレンジックウォーターマークの表現方法が求められている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述の問題点を解決するために、本発明は、ウォーターマークマスクを用いて、クライアント側でフォレンジックウォーターマークを表示することができるクライアント側フォレンジックウォーターマーク装置、システム及び方法を提供することを目的とする。

【課題を解決するための手段】

【0005】

上述の目的を達成するために、本発明の一実施例による、映像コンテンツからウォーターマークマスクを表示するウォーターマークマスク領域を選定し、前記ウォーターマークマスク領域に対するウォーターマーク領域情報を蓄積部に蓄積するコンテンツサーバーと通信することができるフォレンジックウォーターマーク装置は、前記コンテンツサーバーに、再生したい前記映像コンテンツを要請し、前記コンテンツサーバーから前記映像コンテンツ及び前記ウォーターマーク領域情報を受信するダウンロード部と、前記ダウンロード部から入力された前記ウォーターマーク領域情報を利用し、前記ウォーターマークマスクを出力するウォーターマークマスク生成部と、前記ダウンロード部から入力された前記映像コンテンツの前記ウォーターマークマスク領域に、前記ウォーターマークマスク生成部から入力された前記ウォーターマークマスクを重ね合わせるオーバーレイ部と、を含む。

【0006】

前記ダウンロード部は、前記コンテンツサーバーからクライアントセッションＩＤ(Client-session-ID)をさらに受信することができて、前記ウォーターマークマスク生成部は、前記ダウンロード部から入力された前記クライアントセッションＩＤを利用し、前記ウォーターマークマスクを生成して出力することができる。

【0007】

前記ウォーターマークマスク生成部は、前記ウォーターマークマスクを含むマスクフレームを生成することができる。前記オーバーレイ部は、前記ダウンロード部から入力された前記映像コンテンツのうち、前記ウォーターマークマスク領域を含む映像フレーム上に、前記ウォーターマークマスク生成部から入力された前記マスクフレームを重ね合わせることができる。

【0008】

前記マスクフレームは、背景と前景とに区分され、非可視性のために、透明の程度を示すアルファ値を前記背景と前記前景とにそれぞれ異ならせて付与することができる。

【0009】

前記ウォーターマークマスク生成部は、前記ウォーターマーク領域情報から輝度値を抽出し、前記輝度値が所定の臨界値を基準に暗い値であれば、前記背景として暗いアルファ値を選択することができる。

【0010】

前記フォレンジックウォーターマーク装置は、前記マスクフレームが、前記映像コンテンツのうち、前記ウォーターマークマスク領域を含む映像フレーム上に重なり合うように、前記映像フレームに前記マスクフレームを同期化する同期管理部をさらに含むことができる。

【0011】

前記同期管理部は、前記ウォーターマークマスク領域を含む映像フレームに連続する映像フレームに変化がないことを示すオーバーレイ継続区間が受信されると、前記オーバーレイ継続区間(Overlay-duration)の間、前記映像フレームに前記マスクフレームを重ね合わせるように、前記映像フレームに前記マスクフレームを同期化することができる。

【0012】

前記フォレンジックウォーターマーク装置は、前記ウォーターマークマスクと関連し、前記コンテンツサーバーから受信された前記クライアントセッションＩＤが有効であるか、前記同期管理部が前記オーバーレイ継続期間に基づいて動作しているか、または前記オーバーレイ部の動作が除去され、前記映像コンテンツのみが表示されかをモニタリングする攻撃防御部をさらに含むことができる。

【0013】

本発明の他の実施例によるフォレンジックウォーターマークシステムは、映像コンテンツから、ウォーターマークマスクを表示するウォーターマークマスク領域を選定し、前記ウォーターマークマスク領域に対するウォーターマーク領域情報を蓄積するコンテンツサーバーと、上述のフォレンジックウォーターマーク装置とを含むことができ、前記コンテンツサーバーは、前記ダウンロード部から、再生したい前記映像コンテンツの要請と共にクライアントメタデータを受信すると、前記映像コンテンツのクライアントを特定できる前記クライアントセッションＩＤを生成して、前記クライアントメタデータと共に前記クライアントセッションＩＤを前記蓄積部に蓄積することにより、上述の目的を達成することができる。

【0014】

前記コンテンツサーバーは、前記映像コンテンツのＧＯＰコンテンツのうち、所定のフレームのブロックを分析して、前記ウォーターマークマスクを表示するブロックに対する位置情報を前記ウォーターマーク領域情報として蓄積することができる。

【0015】

本発明のまた他の実施例による、映像コンテンツからウォーターマークマスクを表示するウォーターマークマスク領域を選定し、前記ウォーターマークマスク領域に対するウォーターマーク領域情報を蓄積部に蓄積するコンテンツサーバーと通信できるフォレンジックウォーターマーク装置によって行われるフォレンジックウォーターマーク方法は、前記コンテンツサーバーに、再生したい前記映像コンテンツを要請し、前記コンテンツサーバーから前記映像コンテンツ及び前記ウォーターマーク領域情報を受信する段階と、前記受信する段階で受信した前記ウォーターマーク領域情報を用いて、前記ウォーターマークマスクを出力する段階と、前記受信する段階で受信された前記映像コンテンツの前記ウォーターマークマスク領域に、前記出力する段階で出力された前記ウォーターマークマスクを重ね合わせる段階と、を含むことにより、上述の目的を達成することができる。

【発明の効果】

【0016】

上述の構成により、本発明は、クライアント側でフォレンジックウォーターマークを表示することにより、共謀攻撃に対応することができる。

【0017】

また、本発明は、映像コンテンツにハードウェアＤＲＭ(Digital Rights Management)が適用されている場合でも、フォレンジックウォーターマークを表示することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施例によるフォレンジックウォーターマーク装置を示すブロック図である。

【図2】図１のブロック分析部で選択されたブロックの一例を示す。

【図3】図１のウォーターマークマスク生成部に生成されたウォーターマークマスクフレームの一例を示す。

【図4】図１の同期管理部で管理されるオーバーレイ継続区間の一例を示す。

【図5】図１のコンテンツオーバーレイ部で重ねられた映像の一例を示す。

【図6】本発明の他の実施例によるフォレンジックウォーターマーク方法を示す流れ図である。

【発明を実施するための形態】

【0019】

以下、添付の図面を参照し、本発明によるクライアント側フォレンジックウォーターマーク装置、システム及び方法の好ましい実施例を説明する。ちなみに、本発明を説明するにあたって、本発明の構成要素を指す用語は、それぞれの構成要素の機能を考慮して命名されたもので、本発明の技術的構成要素を限定する意味として理解されてはならない。

【0020】

図１は、本発明の一実施例によるフォレンジックウォーターマーク装置を示すブロック図であり、図２は、図１のブロック分析部で選択されたブロックの一例を示す図であって、図３は、図１のウォーターマークマスク生成部に生成されたウォーターマークマスクフレームの一例を示す図であり、図４は、図１の同期管理部で管理されるオーバーレイ継続区間の一例を示す図であって、図５は、図１のコンテンツオーバーレイ部で重ねられた映像の一例を示す図である。

【0021】

図１に示されたように、フォレンジックウォーターマークシステムは、コンテンツサーバー１１０及びフォレンジックウォーターマーク装置１２０を含む。

【0022】

コンテンツサーバー１１０は、フレーム抽出部１１２、ブロック分析部１１４、コンテンツ蓄積部１１６及びデータベース蓄積部１１８を含む。

【0023】

フレーム抽出部１１２は、映像コンテンツからイントラフレームを抽出する。 映像コンテンツは、複数のＧＯＰ(Group Of Pictures)を含むことができる。ここで、ＧＯＰは、フレーム内の符号化映像であるイントラフレーム(I frame)、フレーム間の順方向予測の符号化映像である予測フレーム(P frame)、及び双方向予測符号化映像である双方向予測フレーム(B frame)を含み、例えば、一つのＧＯＰは、Ｉ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂから構成できる。 ここで、フレーム抽出部１１４が抽出するフレームの例としてイントラフレームが用いられただけで、予測フレーム(P frame)と双方向予測フレーム(B frame)を排除するわけではない。

【0024】

ブロック分析部１１４は、フレーム抽出部１１２から抽出されて出力されたイントラフレームの入力を受けて、完全なウォーターマーク情報を表現できるブロックを分析し、フォレンジックウォーターマーク装置１２０でウォーターマークマスクが表示されるフレームを選択することができる。この場合、一つのフレーム内に全てのペイロードを表現できるブロックがあるかを分析し、そのフレームを選択することができる。

【0025】

ブロック分析部１１４は、符号化された映像のイントラフレームから所定大きさ以下のブロック、即ち、符号化された映像の最も小さいブロックを選択する。 ブロック分析部１１４は、例えば、イントラフレームから４×４の予測ブロックの輝度(luminance)信号を選択することができる。これにより、イントラフレームにおいて所定大きさより大きいブロックで符号化されたブロックは、ウォーターマーク情報を埋め込むブロック候補群から除外される。所定大きさより大きいブロックで符号化されたブロックを候補群から除く理由は、これらのブロックの映像が平坦な(smooth)映像に近いため、このようなブロックにウォーターマークが埋め込まれた場合、目立つ可能性が大きいからである。したがって、ＨＥＶＣ規格において、あるブロックが３２×３２、３２×１６、１６×３２及び１６×１６のブロックのいずれかによって符号化されている場合、このブロックは、平坦化映像に近いものと考慮され、ＡＶＣ規格において、あるブロックが１６×１６、８×１６及び１６×８のブロックのいずれかによって符号化されている場合、このブロックは、平坦化映像に近いものと考慮される。

【0026】

ブロック分析部１１４は、所定大きさ以下のブロックのみから構成されたマクロブロックを選択する。ブロック分析部１１４は、例えば、ＡＶＣ規格の場合、符号化された映像のイントラフレームから選択された４×４のサブブロックのみから構成された１６×１６のマクロブロックを選択することができる。

【0027】

ブロック分析部１１４は、選択されたマクロブロックの量子化係数の中で、０ではない量子化係数(nonzero quantized coefficients：NNZ)の数が所定の個数(Nt)より大きいかどうかを確認する。ＮＮＺの数が所定の個数(Nt)より大きい場合、ブロック分析部１１４は、当該ブロックを、ウォーターマーク情報の埋め込み可能なブロックとして選択する。ＮＮＺが小さい場合は、映像復号化過程で当該マクロブロックの元の情報をたくさん失ってしまい、同期化エラーが大きくなる可能性があるため、それらを考慮して所定の個数(Nt)を設定することが重要である。

【0028】

ブロック分析部１１４は、ウォーターマーク情報を埋め込めるマクロブロックの数が、ウォーターマーク情報をペイロードする数の所定個数、例えば６４個以上であれば、そのマクロブロックをウォーターマーク情報が表示されるフレームとして選択する。ブロック分析部１１４で分析した結果によるブロックの一例が図２に示されている。 図２において、フレームがそれぞれイントラフレームに該当するとすれば、第１ＧＯＰのイントラフレーム(Frame-１)及び第１ＧＯＰのイントラフレーム(Frame-３)が、フォレンジックウォーターマーク装置１２０でウォーターマークマスクが表示されるフレームとして選択されたことになる。

【0029】

一方、フォレンジックウォーターマーク装置１２０において、ウォーターマークマスクが重ねられた映像は、時間的フリッカー(temporal flicker)が生じ得る。 ブロック分析部１１４は、このような時間的フリッカーを防止または減少させるために、擬似動きベクター(pseudomotion vector)を計算し、ウォーターマークマスクが表示される最終マクロブロックを決定することができる。

【0030】

ブロック分析部１１４は、ウォーターマークマスクが表示される最終マクロブロックが決定されると、フレーム情報(Frame Number)及びフレーム内のブロックの位置情報(Block-Location)をデータベース蓄積部１１８に蓄積する。一方、ブロック分析部は、ウォーターマークマスクが表示される最終マクロブロックの輝度情報を蓄積することができる。

【0031】

コンテンツ蓄積部１１６は、映像コンテンツと完全に同一なコンテンツを蓄積することができ、装置によっては、ウォーターマークマスクが後からフレーム上に表示されるという情報がシーケンスヘッダに含まれたコンテンツを蓄積することができるが、映像フレーム自体に変形があるわけではないため、本発明では、このような全てのコンテンツを映像コンテンツとして統一して使用する。

【0032】

データベース蓄積部１１８には、ブロック分析部１１４で選択されたフレーム情報と、フレーム内のブロックの位置情報と、輝度情報とがウォーターマーク領域情報として蓄積される。このウォーターマーク領域情報は、後でフォレンジックウォーターマーク情報を表示するように、フォレンジックウォーターマーク装置１２０に送信される。フォレンジックウォーターマーク装置１２０から映像コンテンツが要請され、コンテンツ再生時点でフォレンジックウォーターマーク装置１２０またはユーザーなどを特定できるクライアントセッションＩＤ(Client-Session-ID)が生成された場合は、データベース蓄積部１１８にクライアントメタデータと共にこのクライアントセッションＩＤも蓄積される。

【0033】

フォレンジックウォーターマーク装置１２０は、ダウンロード部１２２、ウォーターマークマスク生成部１２４、同期管理部１２６、オーバーレイ部１２８、ディスプレイ部１３０、及び攻撃防御部１３２を含む。

【0034】

ダウンロード部１２２は、コンテンツサーバー１１０に視聴しようとするコンテンツを要請し、ダウンロードされたコンテンツを管理して再生する。ダウンロード部１２２は、コンテンツサーバー１１０から映像コンテンツだけではなく、クライアントセッションＩＤ、ウォーターマーク領域情報、及びオーバーレイ継続期間を受信する。

【0035】

ウォーターマークマスク生成部１２４は、ダウンロード部１２２からクライアントセッションＩＤ及びウォーターマーク領域情報を受信する。ウォーターマークマスク生成部１２４は、クライアントセッションＩＤを使用してウォーターマークマスクを生成し、ウォーターマーク領域情報を用いてマスクフレームのブロックにウォーターマークマスクを提供する。図１では、ウォーターマークマスクがフォレンジックウォーターマーク装置１２０で生成されるものとして説明されているが、ウォーターマークマスクは、コンテンツサーバー１１０からも受信することができる。

【0036】

ウォーターマークマスクは、映像コンテンツ上に半透明の形で重ねられる。 したがって、ウォーターマークマスクは、可視的に識別することができない。ウォーターマークマスク生成部１２４に生成されたウォーターマークマスクフレームの一例が図３に示されている。

【0037】

図３に示されたように、例えば、クライアントセッションＩＤがＡＢＣである場合、ウォーターマークマスクは、マスクフレーム内にＡＢＣと表示される。この場合、非可視性のために、透明度を表すアルファ(alpha)でウォーターマークを表示することができるが、完全透明は、０.０であって、完全不透明は、１.０である。本実施例では、このようなアルファの表示として、例えば、（１）背景(Background)：Black Alpha０.０及び前景(Foreground)：White Alpha０.１、（２）背景：Black Alpha０.１及び前景：White Alpha０.０、（３）背景：White Alpha０.０及び前景:Black Alpha０.１、（４）背景：White Alpha０.１及び前景：Black Alpha０.０を使用した。このようなアルファ値は、ウォーターマーク領域情報に含まれた輝度情報を利用して選択することができる。例えば、コンテンツ映像の輝度が暗いと、背景は、Black Alphaを選択し、輝度値によってBlack Alpha値を選択して、コンテンツ映像の輝度が明るいと、背景は、White Alphaを選択し、輝度値によってWhite Alpha値を選択する。ここで、実施例のアルファ値は例示であって、輝度情報によって変更できる。

【0038】

同期管理部１２６は、ウォーターマークマスクが映像コンテンツの適切な時点に重ね合わせられるように、コンテンツフレームとマスクフレームとを同期化させる。一つのウォーターマークマスクは、１つ以上のフレームにわたって、その上に重ね合わせられる。同期管理部１２６で管理されるオーバーレイ継続区間の一例が図４に示されている。図４に示されているように、ウォーターマークマスク１(Overlay-Mask-1)は、３つのフレームにわたって、その上に重なり合っており、ウォーターマーク２(Overlay-Mask-2)は、１つのフレームにのみ重なり合っている。

【0039】

図４では、ウォーターマークマスク１は、３つのフレームにわたって、その上に重なり合っているが、これは、例えば動画のＧＯＰにおいてＩフレームに連続した２つのフレームにウォーターマークマスク１を表示することを意味する。この場合、それはＩフレームに連続した２つのフレームの場面には、時間的変化がないことを意味し、このような情報は、コンテンツのＧＯＰヘッダ情報などから得ることができる。

【0040】

オーバーレイ部１２８は、マスクフレームを、再生されるコンテンツフレーム上に重ね合わせる。コンテンツオーバーレイ部１２８で重ね合わせられた映像の一例が図５に示されている。オーバーレイ部１２８は、必要に応じて、コンテンツフレームの色相及び濃度などを考慮し、マスクフレームの濃度などを変えてマスクフレームを重ね合わせることができる。

【0041】

ディスプレー部１３０は、オーバーレイ部１２８で重ね合わせられた動画を表示する。この場合、ディスプレー部１３０に表示された動画では、肉眼でウォーターマークマスクを認識することができない。

【0042】

攻撃防御部１３２は、ウォーターマークマスクを除去する外部攻撃があるかどうかをモニタリングする。攻撃防御部１３２は、オーバーレイ部１２８に提供されるウォーターマーク領域情報とクライアントセッションＩＤとが有効であるかをモニタリングし、同期管理部１２６がウォーターマーク領域情報とオーバーレイ継続期間情報とに基づいて動作しているかをモニタリングする。また、攻撃防御部１３２は、オーバーレイ部１２８の動作が除去されて、ディスプレイ部１３０に映像コンテンツのみが表示されているかなどをモニタリングする。モニタリング中に外部攻撃を検知すると、再生を停止し、ディスプレイ部１３０に映像コンテンツが表示されないようにする。

【0043】

図６は、本発明のまた一つの実施例によるフォレンジックウォーターマーク方法を示す流れ図である。

【0044】

フレーム抽出部１１２は、映像コンテンツから所定のフレーム、例えばイントラフレームを抽出する(Ｓ６０２)。ブロック分析部１１４は、フレーム抽出部１１２から抽出されて出力されたイントラフレームの入力を受けて、完全なウォーターマーク情報を表現できるブロックを分析し、フォレンジックウォーターマーク装置１２０でウォーターマークマスクが表示されるフレームを選択する(Ｓ６０４)。ブロック分析部１１４は、ウォーターマークマスクが表示されるマクロブロックが決定されると、フレーム情報及びフレーム内のブロックの位置情報をデータベース蓄積部に蓄積する(Ｓ６０６)。一方、ブロック分析部は、ウォーターマークマスクが表示されるマクロブロックの輝度情報をさらに蓄積することができる。

【0045】

コンテンツ蓄積部１１６には、オリジナルコンテンツ、即ち、映像コンテンツと完全に同一のコンテンツが蓄積される(Ｓ６０８)。コンテンツサーバー１１０によっては、ウォーターマークマスクが後からフレーム上に表示されるという情報がシーケンスヘッダに含まれたコンテンツがコンテンツ蓄積部１１６に蓄積されることができるが、映像フレーム自体に変形があるわけではないため、本発明では、このような全てのコンテンツをオリジナルコンテンツとして統一して使用する。

【0046】

フォレンジックウォーターマーク装置１２０から映像コンテンツが要請され、コンテンツ再生時点でフォレンジックウォーターマーク装置１２０またはユーザーなどを特定できるクライアントセッションＩＤが生成された場合は、データベース蓄積部１１８にクライアントメタデータと共に、該クライアントセッションＩＤを蓄積する(Ｓ６１０)。

【0047】

ダウンロード部１２２は、コンテンツサーバー１１０から映像コンテンツとウォーターマーク領域情報を受信するＳ６１２。ダウンロード部１２２は、ウォーターマーク領域情報の他に、クライアントセッションＩＤ及びオーバーレイ継続期間をさらに受信することができる。

【0048】

ウォーターマークマスク生成部１２４は、ダウンロード部１２２からクライアントセッションＩＤ及びウォーターマーク領域情報を受信する。ウォーターマークマスク生成部１２４は、クライアントセッションＩＤを使用してウォーターマークマスクを生成し、ウォーターマーク領域情報を用いてマスクフレームのブロックにウォーターマークマスクを提供し、マスクフレームを出力する(Ｓ６１４)。

【0049】

同期管理部１２６は、ウォーターマークマスクが映像コンテンツの適切な時点に重なり合うよう、コンテンツフレームとマスクフレームとを同期化させる(Ｓ６１６)。一つのウォーターマークマスクは、１つ以上のフレームにわたって、その上に重なり得る。

【0050】

オーバーレイ部１２８は、マスクフレームを、再生されるコンテンツフレーム上に重ね合わせる(Ｓ６１８)。コンテンツオーバーレイ部１２８で重ねられた映像の一例が図５に示されている。オーバーレイ部１２８は、必要で応じて、コンテンツフレームの色相及び濃度などを考慮し、マスクフレームの濃度などを変えてマスクフレームを重ね合わせることができる。

【0051】

ディスプレー部１３０は、オーバーレイ部１２８で重ね合わせられた動画を表示する(Ｓ６２０)。この場合、ディスプレー部１３０に表示された動画では、肉眼でウォーターマークマスクを認識することができない。

【0052】

本発明の実施例では、ブロックを分析して選択することを例示として説明したが、場合によっては、固定されたブロックを選択して利用することもできる。

【0053】

以上、説明した本発明の実施例は、本発明の技術思想を例示的に示したものに過ぎず、本発明の保護範囲は、以下の特許請求範囲によって解すべきである。また、本発明の属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性を逸脱することなく様々な変更や修正を加えることがき、本発明と同等の範囲内にある全ての技術思想は、本発明の権利範囲に含まれるものと解すべきである。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
［Ｃ１］
映像コンテンツからウォーターマークマスクを表示するウォーターマークマスク領域を選定し、前記ウォーターマークマスク領域に対するウォーターマーク領域情報を蓄積部に蓄積するコンテンツサーバーと通信することができるフォレンジックウォーターマーク装置であって、
前記コンテンツサーバーに、再生したい前記映像コンテンツを要請し、前記コンテンツサーバーから前記映像コンテンツ及び前記ウォーターマーク領域情報を受信するダウンロード部と、
前記ダウンロード部から入力された前記ウォーターマーク領域情報を利用し、前記ウォーターマークマスクを出力するウォーターマークマスク生成部と、
前記ダウンロード部から入力された前記映像コンテンツの前記ウォーターマークマスク領域に、前記ウォーターマークマスク生成部から入力された前記ウォーターマークマスクを重ね合わせるオーバーレイ部と、を含むことを特徴とするフォレンジックウォーターマーク装置。
［Ｃ２］
前記ダウンロード部は、前記コンテンツサーバーからクライアントセッションＩＤをさらに受信し、
前記ウォーターマークマスク生成部は、前記ダウンロード部から入力された前記クライアントセッションＩＤを利用し、前記ウォーターマークマスクを生成して出力することを特徴とする、Ｃ１に記載のフォレンジックウォーターマーク装置。
［Ｃ３］
前記ウォーターマークマスク生成部は、前記ウォーターマークマスクを含むマスクフレームを生成し、
前記オーバーレイ部は、前記ダウンロード部から入力された前記映像コンテンツのうち、前記ウォーターマークマスク領域を含む映像フレーム上に、前記ウォーターマークマスク生成部から入力された前記マスクフレームを重ね合わせることを特徴とする、Ｃ２に記載のフォレンジックウォーターマーク装置。
［Ｃ４］
前記マスクフレームは、背景と前景とに区分し、非可視性のために、透明の程度を示すアルファ値を前記背景と前記前景とにそれぞれ異ならせて付与することを特徴とする、Ｃ３に記載のフォレンジックウォーターマーク装置。
［Ｃ５］
前記ウォーターマークマスク生成部は、前記ウォーターマーク領域情報から輝度値を抽出し、前記輝度値が所定の臨界値を基準に暗い値であると、前記背景として暗いアルファ値を選択することを特徴とする、Ｃ４に記載のフォレンジックウォーターマーク装置。
［Ｃ６］
前記マスクフレームが、前記映像コンテンツのうち、前記ウォーターマークマスク領域を含む映像フレーム上に重なり合うように、前記映像フレームに前記マスクフレームを同期化する同期管理部をさらに含むことを特徴とする、Ｃ３に記載のフォレンジックウォーターマーク装置。
［Ｃ７］
前記同期管理部は、前記ウォーターマークマスク領域を含む映像フレームに連続する映像フレームに変化がないことを示す重なり継続区間が受信されると、前記オーバーレイ継続区間の間、前記映像フレームに前記マスクフレームを重ね合わせるように、前記映像フレームに前記マスクフレームを同期化することを特徴とする、Ｃ６に記載のフォレンジックウォーターマーク装置。
［Ｃ８］
前記ウォーターマークマスクと関連し、前記コンテンツサーバーから受信された前記クライアントセッションＩＤが有効であるか、前記同期管理部が前記オーバーレイ継続期間に基づいて動作しているか、または前記オーバーレイ部の動作が除去され、前記映像コンテンツのみが表示されかをモニタリングする攻撃防御部をさらに含むことを特徴とする、Ｃ７に記載のフォレンジックウォーターマーク装置。
［Ｃ９］
フォレンジックウォーターマークシステムであって、
映像コンテンツから、ウォーターマークマスクを表示するウォーターマークマスク領域を選定し、前記ウォーターマークマスク領域に対するウォーターマーク領域情報を蓄積するコンテンツサーバーと、
Ｃ１乃至Ｃ８のいずれかに記載のフォレンジックウォーターマーク装置とを含み、
前記コンテンツサーバーは、前記ダウンロード部から、再生したい前記映像コンテンツの要請と共にクライアントメタデータを受信すると、前記映像コンテンツのクライアントを特定できる前記クライアントセッションＩＤを生成して、前記クライアントメタデータと共に前記クライアントセッションＩＤを前記蓄積部に蓄積することを特徴とする、フォレンジックウォーターマークシステム。
［Ｃ１０］
前記コンテンツサーバーは、前記映像コンテンツのＧＯＰコンテンツのうち、所定のフレームのブロックを分析して、前記ウォーターマークマスクを表示するブロックに対する位置情報を前記ウォーターマーク領域情報として蓄積することを特徴とする、Ｃ９に記載のフォレンジックウォーターマークシステム。
［Ｃ１１］
映像コンテンツからウォーターマークマスクを表示するウォーターマークマスク領域を選定し、前記ウォーターマークマスク領域に対するウォーターマーク領域情報を蓄積部に蓄積するコンテンツサーバーと通信できるフォレンジックウォーターマーク装置によって行われるフォレンジックウォーターマーク方法であって、
前記コンテンツサーバーに、再生したい前記映像コンテンツを要請し、前記コンテンツサーバーから前記映像コンテンツ及び前記ウォーターマーク領域情報を受信する段階と、
前記受信する段階で受信した前記ウォーターマーク領域情報を用いて、前記ウォーターマークマスクを出力する段階と、
前記受信する段階で受信された前記映像コンテンツの前記ウォーターマークマスク領域に、前記出力する段階で出力された前記ウォーターマークマスクを重ね合わせる段階と、を含むことを特徴とするフォレンジックウォーターマーク方法。
［Ｃ１２］
前記受信する段階は、前記コンテンツサーバーからクライアントセッションＩＤをさらに受信して、
前記出力する段階は、前記受信する段階で受信された前記クライアントセッションＩＤを利用し、前記ウォーターマークマスクを生成して出力することを特徴とする、Ｃ１１に記載のフォレンジックウォーターマーク方法。
［Ｃ１３］
前記生成する段階は、前記ウォーターマークマスクを含むマスクフレームを生成することを含み、
前記重ね合わせる段階は、前記マスクフレームを、前記映像コンテンツのうち、前記ウォーターマークマスク領域を含む映像フレームに同期化させることにより、前記映像フレーム上に、前記生成する段階で生成した前記マスクフレームを重ね合わせることを特徴とする、Ｃ１１または１２に記載のフォレンジックウォーターマーク方法。
［Ｃ１４］
前記ウォーターマークマスクと関連し、前記コンテンツサーバーから受信した前記クライアントセッションＩＤが有効であるか、または前記重ね合わせる段階の動作が除去され、前記映像コンテンツのみが表示されるかをモニタリングする段階をさらに含めることを特徴とする、Ｃ１３に記載のフォレンジックウォーターマーク方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】