▶ ウキョン インフォメーション テクノロジー カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-24
(54)【発明の名称】並列フォレンジックマーキング装置及び方法
(51)【国際特許分類】
H04N 19/467 20140101AFI20220216BHJP
H04N 19/91 20140101ALI20220216BHJP
H04N 19/70 20140101ALI20220216BHJP
H04N 19/436 20140101ALI20220216BHJP
【ＦＩ】
H04N19/467
H04N19/91
H04N19/70
H04N19/436
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2020573541
(86)(22)【出願日】2020-11-26
(85)【翻訳文提出日】2020-12-28
(86)【国際出願番号】 KR2020016997
(87)【国際公開番号】W WO2021107651
(87)【国際公開日】2021-06-03
(31)【優先権主張番号】10-2019-0155718
(32)【優先日】2019-11-28
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】521001504
【氏名又は名称】ウキョン インフォメーション テクノロジー カンパニー リミテッド
(74)【代理人】
【識別番号】110001896
【氏名又は名称】特許業務法人朝日奈特許事務所
(72)【発明者】
【氏名】パク、ユンハ
(72)【発明者】
【氏名】キム、デス
(72)【発明者】
【氏名】ジョン、ジェヒョン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159KK13
5C159KK43
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159NN01
5C159TB06
5C159UA05
(57)【要約】
並列フォレンジックマーキング装置が提供される。前記並列フォレンジックマーキング装置は、設定方式で圧縮されたコンテンツの一つのフレームを複数の領域に分割する分割部と、分割された各領域を割り当ててもらって、エントロピーデコーディングする複数のデコーディング部と、複数の前記デコーディング部に入出力される各領域を同期化させて、前記フレームを完成させる同期化部とを含むことができる。
【特許請求の範囲】
【請求項1】
設定方式で圧縮されたコンテンツの一つのフレームを複数の領域に分割する分割部と、分割された各領域を割り当ててもらって、エントロピーデコーディングする複数のデコーディング部と、
複数の前記デコーディング部に入出力される各領域を同期化させて、前記フレームを完成させる同期化部と、
を含むフォレンジックマーキング装置。
【請求項2】
前記設定方式で圧縮されたコンテンツは、ＲＡＷコンテンツがＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）サイズとタイル（ｔｉｌｅ）サイズをパラメータにして、タイル方式でエンコーディングされたものであり、前記分割部は、前記タイル方式によって前記フレームを複数の領域に分割し、
複数のデコーディング部は、分割された領域をそれぞれ独立的にエントロピーデコーディングする、請求項１に記載のフォレンジックマーキング装置。
【請求項3】
前記設定方式は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｅｃ）であり、各領域に含まれたＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）の違いにより、各領域をエントロピーデコーディングする各デコーディング部の処理速度が異なり、
それぞれ異なる時点で、前記デコーディング部から出力される各領域を保存する保存部が設けられ、
前記同期化部は、前記保存部に保存された各領域を一つに集めて前記フレームを完成させる、請求項１に記載のフォレンジックマーキング装置。
【請求項4】
各領域には、それぞれ異なるタイル番号が付与され、前記同期化部は、前記タイル番号を用いて複数に分割され、エントロピーデコーディングされた各領域をマッチングさせて一つの前記フレームを組み立てる、請求項１に記載のフォレンジックマーキング装置。
【請求項5】
特定のフレームの各領域は、それぞれ異なる時点で各デコーディング部から出力され、前記特定のフレームの領域に対するエントロピーデコーディングが、別のデコーディング部で実行されている状態で、特定のデコーディング部がアイドル状態になると、同期化部は、次のフレームの一部の領域を前記特定のデコーディング部に入力する、請求項１に記載のフォレンジックマーキング装置。
【請求項6】
事前デコーディング過程を通じて、シンタックス構造（ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ）を把握するパーシングユニットが設けられ、前記同期化部は、前記シンタックス構造を用いて、複数の前記領域を同期化させる、請求項１に記載のフォレンジックマーキング装置。
【請求項7】
前記パーシングユニットは、前記事前デコーディングを、マルチメディアデータ処理とシンタックス関連処理とに区分し、前記パーシングユニットは、前記マルチメディアデータ処理は排除し、前記シンタックス関連処理のみを実行して、前記シンタックス構造の把握に必要なシンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を獲得する、請求項６に記載のフォレンジックマーキング装置。
【請求項8】
前記コンテンツにフォレンジックマークを挿入するマーキングユニットが設けられ、前記デコーディング部から出力されるコードの形式は、前記マーキングユニットで要求する第１入出力形式とは異なり、
前記シンタックス構造を用いて前記デコーディング部の出力コードを前記第１入出力形式に変換し、前記第１入出力形式に変換された前記出力コードを前記マーキングユニットに提供する変換ユニットが設けられた、請求項６に記載のフォレンジックマーキング装置。
【請求項9】
前記分割部及び前記同期化部は、コンピュータ装置のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）に形成され、前記デコーディング部は、前記コンピュータ装置のＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、グラフィック処理装置）に形成された、請求項１に記載のフォレンジックマーキング装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、圧縮されたコンテンツにフォレンジックマークを挿入するフォレンジックマーキング装置及び方法に関するものである。
【背景技術】
【0002】
フォレンジックマーキング技術は、マルチメディアコンテンツ（ｍｕｌｔｉｍｅｄｉａ ｃｏｎｔｅｎｔｓ）に販売者、著作権者、又は購買者の情報を挿入する技術であって、コンテンツの不法流通の際に、挿入された情報（フォレンジックマーク）を抽出して、流出者を特定することができる技術である。
【0003】
例えば、オンラインサービス提供者（ｏｎｌｉｎｅ ｓｅｒｖｉｃｅ ｐｒｏｖｉｄｅｒ：ＯＳＰ）がコンテンツを提供する際に、購買者情報をフォレンジックマーキング技術で挿入することになると、今後該当コンテンツの不法流出問題が生じた場合、流出されたコンテンツからフォレンジックマークを確認して、最初の流出者に責任を問うことができる。
【0004】
マルチメディアコンテンツにフォレンジックマークを挿入する過程は、該当コンテンツを復号化した上でフォレンジックマークを挿入し、再び符号化する段階を経らなければならないため、かなりの演算量と時間が必要となる。
【0005】
即ち、デジタルオーディオ音源やビデオなどのコンテンツに対して、リアルタイム・ダウンロード及びストリーミングサービスを提供するサーバーにおいて、同時に多数のサービス要求がある場合、上記のように多くの演算量と時間を必要とするコンテンツ別のフォレンジックマーキング処理は、サーバーに大きな負荷をかけるという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、圧縮されたコンテンツファイルにフォレンジックマークをリアルタイムで挿入することができるフォレンジックマーキング装置及び方法を提供するためのものである。
【課題を解決するための手段】
【0007】
本発明のフォレンジックマーキング装置は、設定方式で圧縮されたコンテンツをデコーディングする第１ユニットと、前記第１ユニットによってデコーディングされたコンテンツにフォレンジックマークを挿入するマーキングユニットと、前記フォレンジックマークが挿入されたコンテンツをエンコーディングする第２ユニットと、前記第１ユニットと前記マーキングユニットとの間の第１入出力形式を同期化させたり、前記第２ユニットと前記マーキングユニットとの間の第２入出力形式を同期化させる変換ユニットとを含むことができる。
【0008】
本発明のフォレンジックマーキング装置は、設定方式で圧縮されたコンテンツの一つのフレームを複数の領域に分割する分割部と、分割された各領域を割り当ててもらって、エントロピーデコーディングする複数のデコーディング部と、複数の前記デコーディング部に入出力される各領域を同期化させて、前記フレームを完成させる同期化部とを含むことができる。
【0009】
本発明のフォレンジックマーキング方法は、設定方式で圧縮されたコンテンツに対する事前デコーディングを通じて、エントロピーデコーディングとフォレンジックマークの挿入動作との間の第１入出力形式、及び前記挿入動作とエントロピーエンコーディングとの間の第２入出力形式を把握するパーシングステップと、前記コンテンツをエントロピーデコーディングし、エントロピーデコーディングされたコンテンツを前記第１入出力形式に合わせて変換するデコーディングステップと、前記第１入出力形式に変換されたコンテンツを入力してもらい、フォレンジックマークを挿入するマーキングステップと、前記フォレンジックマークが挿入されたコンテンツを、前記エントロピーエンコーディングで要求する第２入出力形式に変換し、前記第２入出力形式に変換されたコンテンツをエントロピーエンコーディングするエンコーディングステップとを含むことができる。
【発明の効果】
【0010】
本発明のフォレンジックマーキング装置及び方法によると、圧縮されたコンテンツをエントロピーデコーディングする部材とフォレンジックマーキング部材との間で実行される各種処理過程を省略することができる。又は、本発明のフォレンジックマーキング装置及び方法によると、フォレンジックマーキングされたコンテンツを、エントロピーエンコーディングする部材とフォレンジックマーキング部材との間で実行される各種処理過程を省略することができる。
【0011】
該当処理過程は、量子化、変換、動き推定、イントラ／インター予測などで、多くの処理時間を必要とする。本発明によると、該当処理過程の少なくとも一部が排除されるため、フォレンジックマークの挿入にかかる全体の時間を大幅に削減することができる。
【0012】
各種処理過程の排除により、エントロピーデコーディングされたコンテンツのコードをすぐにフォレンジックマーキング部材に提供することができる。このとき、エントロピーデコーディングされたコンテンツのコードは、形式の違いにより、フォレンジックマーキング部材に入力されにくい。コード形式を同期化させるために、変換ユニット、マーキングユニットが設けられてもよい。
【0013】
変換ユニットは、エントロピーデコーディングされたコンテンツのコード形式を、フォレンジックマーキング部材に入力され得る第１入出力形式に変換することができる。このとき、変換ユニットは、リファレンスに基づいてコード形式を変換するようになり、該当リファレンスは、マーキングユニットによって提供されてもよい。
【0014】
マーキングユニットは、エントロピーデコーディング部材とフォレンジックマーキング部材との間で実行されるべき各種処理過程のごく一部のみを実行することができる。例えば、各種処理過程には、マルチメディアデータを処理するプロセスとシンタックス構造に関連するプロセスが含まれてもよい。このとき、マーキングユニットは、シンタックス構造に関連するプロセスのみを実行してシンタックス構造を形成するシンタックスエレメントを獲得することができる。
【0015】
マーキングユニットは、シンタックスエレメントを用いてシンタックス構造を完成させた後、コード形式変換のリファレンスに該当するシンタックス構造を変換ユニットに提供することができる。
【0016】
一方、本発明は、複数のＧＰＵを用いて、エントロピーデコーディングとエントロピーエンコーディングを並列処理することができる。例えば、本発明は、フレームをタイル方式に分割し、分割された複数のタイルを複数のＧＰＵを用いて並列処理することができる。並列処理により、エントロピーデコーディングとエントロピーエンコーディングを含むコーデック処理時間を大幅に削減することができる。
【0017】
一つのフレームが複数の領域に分割されて並列処理されるとき、分割された各領域を正しい順序で再び一つに結合したり、他のフレームと混ざらないようにする必要がある。本発明は、同期化部を用いて、コーデック処理過程の前後に複数に分割された領域を、正常に一つのフレームに復元することができる。このとき、同期化部は、パーシングユニットによって把握されたシンタックス構造を用いて、フレームと領域との間の同期化を実行することができる。
【0018】
同期化部により、元フレームと分割領域との間の変換が正常に行われることができるので、複数のＧＰＵを使用して、様々なコーデック処理が可能である。
【0019】
本発明のフォレンジックコーディング装置及び方法は、ＨＥＶＣ方式で圧縮された大容量のコンテンツに対するリアルタイムでのフォレンジックマーキングが可能である。また、本発明は、ＨＥＶＣ方式の他にも、単一のコーデックを使用する様々な圧縮方式、圧縮アルゴリズムに適用することができる。
【図面の簡単な説明】
【0020】
【図1】本発明のフォレンジックマーキングシステムを示す概略図である。
【図2】本発明のフォレンジックマーキング装置を示すブロック図である。
【図3】パーシングユニットの動作を示す概略図である。
【図4】本発明のフォレンジックマーキング装置の動作を示す概略図である。
【図5】本発明のフォレンジックマーキング方法を示すフロー図である。
【図6】本発明の並列フォレンジックマーキング装置によって複数の領域に分割されたフレームを示す概略図である。
【図7】本発明の並列フォレンジックマーキング装置を示す概略図である。
【図8】本発明の実施例に係る、コンピューティング装置を示す図面である。
【発明を実施するための形態】
【0021】
以下では、添付した図面を参考にして、本発明の実施例について、本発明の属する技術分野における通常の知識を有する者が容易に実施できるように詳しく説明する。しかし、本発明は、種々の異なる形態で具現することが可能であり、ここで説明する実施例に限定されない。そして、図面で本発明を明確に説明するために、説明とは関係ない部分は省略しており、明細書全体において類似した部分については類似した図面の符号を付した。
【0022】
本明細書において、同一の構成要素については重複した説明を省略する。
【0023】
また、本明細書において、ある構成要素が別の構成要素に「連結されて」いるか、或いは「接続されて」いると言及された際には、その別の構成要素に直接連結されているか、又は接続されていることもあるが、その間に別の構成要素が存在することもあると理解するべきである。一方、本明細書において、ある構成要素が別の構成要素に「直接連結されて」いるか、或いは「直接接続されて」いると言及された際には、その間に別の構成要素が存在しないことと理解するべきである。
【0024】
また、本明細書で使用される用語は、単に特定の実施例を説明するために使用されるものであって、本発明を限定する意図で使用されるものではない。
【0025】
また、本明細書において、単数の表現は、文脈上明白に異なる意味を持たない限り、複数の表現を含むことができる。
【0026】
また、本明細書において、「含む」又は「有する」などの用語は、明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを指定するものであって、一つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものの存在又は付加の可能性を予め排除しないことと理解するべきである。
【0027】
また、本明細書において、「及び／又は」という用語は、複数の記載された項目の組み合わせ又は複数の記載された項目のうちいずれかの項目を含む。本明細書において、「Ａ又はＢ」は、「Ａ」、「Ｂ」、又は「ＡとＢ両方」を含むことができる。
【0028】
また、本明細書において、本発明の要旨を不明確にする虞のある公知の機能及び構成についての詳細な説明は省略する。
【0029】
図１は、本発明のフォレンジックマーキングシステムを示す概略図である。
【0030】
図１に示されたフォレンジックマーキングシステムは、コンテンツサーバー（５０）、フォレンジックマーキングサーバー（１００）、端末（９０）、フォレンジックサーバー（７０）を含むことができる。
【0031】
コンテンツサーバー（５０）は、映像、音響などのマルチメディアコンテンツを設定方式で圧縮して保存することができる。
【0032】
端末（９０）は、コンテンツサーバー（５０）に要求して、設定方式で圧縮されたコンテンツを有無線で提供してもらうことができる。端末（９０）には、フォレンジックマーク関連の処理時にフォレンジックサーバー（７０）と通信する通信モジュール（２００）が設けられてもよい。
【0033】
フォレンジックマーキングサーバー（１００）は、端末（９０）によってコンテンツが要求されれば、端末（９０）に提供されるコンテンツにフォレンジックマークを挿入することができる。
【0034】
フォレンジックサーバー（７０）は、端末（９０）からユーザー情報を獲得し、ユーザー情報が含まれたフォレンジックマークを生成することができる。フォレンジックサーバー（７０）は、フォレンジックマークをフォレンジックマーキングサーバー（１００）に提供することができる。
【0035】
フォレンジックマーキングサーバー（１００）は、フォレンジックサーバー（７０）から提供されたフォレンジックマークをコンテンツに挿入するために、コンテンツサーバー（５０）に保存されていた圧縮コンテンツを圧縮解除することができる。フォレンジックマーキングサーバー（１００）は、圧縮解除されたコンテンツにフォレンジックマークを挿入した後、再び該当コンテンツを圧縮した後、端末（９０）に向けてビットストリームなどの形で転送することができる。
【0036】
コンテンツにフォレンジックマークを挿入するマーキング過程のために、既圧縮されたコンテンツの圧縮を解除して再圧縮する過程により、フォレンジックサーバー（７０）には大きな負荷がかかる虞がある。負荷が大きいため、４ｋ解像度、８ｋ解像度などの大容量コンテンツをターゲットにする高圧縮方式では、フォレンジックマークの挿入が現実的に困難な場合がある。
【0037】
【0038】
フォレンジックマーキング装置は、第１ユニット（１１０）、マーキングユニット（１３０）、第２ユニット（１２０）、変換ユニット（１５０）を含むことができる。
【0039】
第１ユニット（１１０）は、設定方式で圧縮されたコンテンツをデコーディングすることができる。コンテンツのデコーディングは、エントロピーデコーディングを単独で含むか、或いはエントロピーデコーディングに加えて、逆量子化などの第１処理過程を含むことができる。
【0040】
コンテンツは、ＭＰＥＧ、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｅｃ，Ｈ．２６５）、ＶＰ９など、様々な方式で圧縮されたり、圧縮解除され得る。第１ユニット（１１０）で実行されるデコーディングによって、設定方式で圧縮されたコンテンツの圧縮が解除され得る。
【0041】
マーキングユニット（１３０）は、第１ユニット（１１０）によってデコーディングされたコンテンツに、フォレンジックマーク（Ｆｏｒｅｎｓｉｃ ｍａｒｋ）を挿入することができる。フォレンジックマークは、コンテンツの販売者、著作権者、購買者の情報を含むことができる。
【0042】
端末（９０）で要求するコンテンツは、設定方式で圧縮された圧縮版であってもよい。フォレンジックマークの挿入のために、該当圧縮版は、第１ユニット（１１０）によって圧縮解除された状態であってもよい。
【0043】
第２ユニット（１２０）は、フォレンジックマークが挿入されたコンテンツをエンコーディングすることができる。コンテンツのエンコーディングは、エントロピーエンコーディング過程を単独で含み、エントロピーエンコーディングに加えて、量子化などの第２処理過程を含むことができる。
【0044】
第２ユニット（１２０）のエンコーディング作業によって圧縮が解除され、フォレンジックマークが挿入された状態のコンテンツは、端末（９０）で要求する本来の圧縮版形式に変えることができる。第１ユニット（１１０）がフォレンジックマーキング装置の入力段になり、第２ユニット（１２０）がフォレンジックマーキング装置の出力段になれば、外形的にはコンテンツの圧縮版が入力されてから出力されるような形に見える。勿論、フォレンジックマーキング装置から出力された圧縮版には、既存の圧縮版とは違ってフォレンジックマークが挿入された状態であってもよい。以下では、設定方式で圧縮された状態で、第１ユニット（１１０）に入力されるコンテンツを第１圧縮版と定義する。そして、第２ユニット（１２０）によって圧縮され、出力されるコンテンツを第２圧縮版と定義する。第２圧縮版は、第１圧縮版にフォレンジックマークが挿入されたものであってもよい。
【0045】
第１ユニット（１１０）のデコーディング処理時間を短縮したり、第２ユニット（１２０）のエンコーディング処理時間を短縮するために、高速化部材（１０００）が用いられてもよい。
【0046】
高速化部材（１０００）には、変換ユニット（１５０）、パーシングユニット（１７０）が含まれてもよい。パーシングユニット（１７０）は、第１ユニットの前段に配置されるか、或いは第１ユニットに並列に連結されてもよい。
【0047】
変換ユニット（１５０）は、第１ユニット（１１０）とマーキングユニット（１３０）との間の第１入出力形式を同期化させることができる。又は、変換ユニット（１５０）は、第２ユニット（１２０）とマーキングユニット（１３０）との間の第２入出力形式を同期化させることができる。
【0048】
設定方式又は設定コーデックで圧縮されたコンテンツを圧縮解除するために、エントロピーデコーディング及び追加的な後処理過程が実行されてもよい。
【0049】
一例として、ＨＥＶＣ方式の場合、エントロピーデコーディング後に、逆量子化（ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ）、逆変換（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）、逆動き推定（ｉｎｖｅｒｓｅ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）、逆イントラ／インター予測（ｉｎｖｅｒｓｅ ｉｎｔｒａ／ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）作業を順番に実行することができる。このとき、マーキングユニット（１３０）は、逆イントラ／インター予測作業を通じて出力されるコードを入力してもらえるように形成されてもよい。
【0050】
逆イントラ／インター予測作業を通じて出力されるコードを入力してもらえるように形成されたマーキングユニット（１３０）は、エントロピーデコーディング、逆変換、逆動き推定のうちいずれか一つから出力されたコードを入力してもらうことができない。
【0051】
図２の変換ユニット（１５０）は、第１ユニット（１１０）とマーキングユニット（１３０）との間の第１入出力形式を同期化させることができる。一例として、変換ユニット（１５０）は、エントロピーデコーディング過程で出力されたコードの形式をマーキングユニット（１３０）で入力してもらえる第１入出力形式に変換することができる。一例として、変換ユニット（１５０）は、逆変換過程で出力されたコードの形式を第１入出力形式に変換することができる。変換ユニット（１５０）によると、エントロピーデコーディングで出力されたコード、逆変換で出力されたコード、逆動き推定で出力されたコードは、マーキングユニット（１３０）のすぐ前段の逆イントラ／インター予測を経ずに、すぐにマーキングユニット（１３０）に入力されてもよい。
【0052】
もし、エントロピーデコーディング過程で出力されたコードが、変換ユニット（１５０）によって第１入出力形式に変換された後、すぐにマーキングユニット（１３０）に入力されれば、第１ユニット（１１０）には、逆量子化、逆変換、逆動き推定、逆イントラ／インター予測を実行する第１手段が設けられる必要はない。該当第１手段は、既圧縮されたコンテンツの正常な再生のために不可欠なものとして要求することができる。しかし、本発明のフォレンジックマーキング装置は、コンテンツを再生することなく、コンテンツにフォレンジックマークを挿入することが目的であるため、該当第１手段が排除されてもよい。従って、変換ユニット（１５０）が備えられたフォレンジックマーキング装置によると、極端に別途の第１手段が排除された状態でも、既圧縮されたコンテンツにフォレンジックマークを挿入することができる。
【0053】
第１ユニット（１１０）には、コンテンツをエントロピーデコーディング（ｅｎｔｒｏｐｙ ｄｅｃｏｄｉｎｇ）するデコーディング部（１１１，１１２，１１３，１１４）が単独で設けられてもよい。又は、第１ユニット（１１０）には、コンテンツを第１処理する複数の手段の中での一部である第１手段が、デコーディング部とともに設けられてもよい。
【0054】
第２ユニット（１２０）には、フォレンジックマークが挿入されたコンテンツをエントロピーエンコーディング（ｅｎｔｒｏｐｙ ｅｎｃｏｄｉｎｇ）するエンコーディング部（１２１，１２２，１２３，１２４）が単独で設けられてもよい。又は、第２ユニット（１２０）には、フォレンジックマークが挿入されたコンテンツを第２処理する複数の手段の中での一部である第２手段が、エンコーディング部とともに設けられてもよい。
【0055】
【0056】
【0057】
【0058】
【0059】
【0060】
第１処理過程は、逆量子化（ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ）、逆変換（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）、逆動き推定（ｉｎｖｅｒｓｅ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）、逆イントラ／インター予測（ｉｎｖｅｒｓｅ ｉｎｔｒａ／ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）のうち少なくとも一つを含むことができる。第１処理過程は、一つ以上の第１処理手段によって実行されてもよい。
【0061】
【0062】
【0063】
第２処理過程は、イントラ／インター予測（ｉｎｔｒａ／ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）、動き推定（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）、変換（ｔｒａｎｓｆｏｒｍ）、量子化（ｑｕａｎｔｉｚａｔｉｏｎ）のうち少なくとも一つを含むことができる。第２処理過程は、一つ以上の第２処理手段によって実行されてもよい。
【0064】
【0065】
第１入出力形式を同期化させたり、第２入出力形式を同期化させるために、変換ユニット（１５０）は、変換アルゴリズム、変換ルーチンを使用することができる。このとき、変換アルゴリズム、変換ルーチンは、フレームごとに異なり得る。変換アルゴリズムなどが固定されず、時々刻々と変化する環境の中で、変換アルゴリズムをリアルタイムで確立するためのパーシングユニット（１７０）が設けられてもよい。
【0066】
パーシングユニット（１７０）は、第１入出力形式又は第２入出力形式を把握して、変換ユニット（１５０）に提供することができる。
【0067】
パーシングユニット（１７０）は、設定方式で圧縮されたコンテンツを圧縮解除する事前デコーディングを実行しながら、第１入出力形式を把握することができる。又は、パーシングユニット（１７０）は、事前デコーディングを通じて圧縮解除されたコンテンツを、設定方式で再圧縮しながら、第２入出力形式を把握することができる。
【0068】
パーシングユニット（１７０）は、設定方式で圧縮されたコンテンツと再生レベルのコンテンツとの間の実際のデコーディング又は実際のエンコーディングを予め実行することができる。コンテンツを再生レベルまでデコーディングするということは、実際に再生に必要な全ての処理過程を実行することを意味するといえる。ただし、実際のデコーディングと実際のエンコーディングを全部もれなく実行するとなると、パーシングユニット（１７０）の処理時間が、図３に示された比較実施例の時間の分だけかかる虞がある。
【0069】
処理時間の改善のために、パーシングユニット（１７０）は、実際のデコーディング又は実際のエンコーディングの各過程ごとにシンタックス構造（ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ）を形成するシンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を抽出したり、コード形式を変換させる変換コードを抽出することができる。このとき、映像や音響自体の処理過程は排除されてもよい。
【0070】
パーシングユニット（１７０）は、シンタックスエレメント又は変換コードを変換ユニット（１５０）に提供することができる。変換ユニット（１５０）は、シンタックスエレメント又は変換コードを用いて、第１入出力形式又は第２入出力形式を同期化させることができる。
【0071】
図３は、パーシングユニット（１７０）の動作を示す概略図である。図３において、比較実施例を例に挙げてパーシングユニット（１７０）の動作を説明する。図３において、パーシングユニット（１７０）が排除されれば、比較実施例になれる。
【0072】
第1圧縮版が入力されると、第１ユニット（１１０）は、第1圧縮版をエントロピーデコーディングすることができる。エントロピーデコーディングされた結果は、第ａ１形式で出力され得る。エントロピーデコーディングされた結果の値は、逆量子化手段（１１）、逆変換手段（１２）、逆動き推定手段（１３）、逆イントラ／インター予測手段（１４）を順番に経ることができる。
【0073】
逆量子化手段は、第ａ１形式のコードを入力してもらって、逆量子化、即ちデジタル情報をアナログ情報に変換することができる。逆量子化された結果は、第ａ２形式で出力され得る。パーシングユニット（１７０）は、逆量子化過程を逆量子化本来の過程と形式変換過程とに区分することができる。形式変換過程の抽出及び分析を通じて、第ａ１形式のコードを第ａ２形式に変換させるアルゴリズム又は変換コードｃ１２を獲得することができる。
【0074】
逆変換手段は、第ａ２形式のコードを入力してもらって、逆変換、即ち周波数逆変換することができる。逆変換された結果は、第ａ３形式で出力され得る。パーシングユニット（１７０）は、逆変換過程を逆変換本来の過程と形式変換過程とに区分することができる。形式変換過程の抽出及び分析を通じて、第ａ２形式のコードを第ａ３形式に変換させるアルゴリズム又は変換コードｃ２３を獲得することができる。
【0075】
逆動き推定手段は、第ａ３形式のコードを入力してもらって、逆動き推定を実行することができる。逆動き推定の結果は、第ａ４形式で出力され得る。パーシングユニット（１７０）は、逆動き推定過程を逆動き推定本来の過程と形式変換過程とに区分することができる。形式変換過程の抽出及び分析を通じて、第ａ３形式のコードを第ａ４形式に変換させるアルゴリズム又は変換コードｃ３４を獲得することができる。
【0076】
逆イントラ／インター予測手段は、第ａ４形式のコードを入力してもらって、逆イントラ／インター予測を実行することができる。逆イントラ／インター予測の結果は、第ａ５形式で出力され得る。パーシングユニット（１７０）は、逆イントラ／インター予測過程を逆イントラ／インター予測本来の過程と形式変換過程とに区分することができる。形式変換過程の抽出及び分析を通じて、第ａ４形式のコードを第ａ５形式に変換させるアルゴリズム又は変換コードｃ４５を獲得することができる。
【0077】
【0078】
マーキングユニット（１３０）でフォレンジックマークが挿入されたコンテンツは、第ｂ１形式で出力され得る。フォレンジックマークが挿入されたコンテンツは、イントラ／インター予測手段（１５）、動き推定手段（１６）、変換手段（１７）、量子化手段（１８）を順番に経ることができる。
【0079】
イントラ／インター予測手段は、第ｂ１形式のコードを入力してもらって、イントラ／インター予測を実行することができる。イントラ／インター予測の結果は、第ｂ２形式で出力され得る。パーシングユニット（１７０）は、イントラ／インター予測過程をイントラ／インター予測本来の過程と形式変換過程とに区分することができる。形式変換過程の抽出及び分析を通じて、第ｂ１形式のコードを第ｂ２形式に変換させるアルゴリズム又は変換コードｄ１２を獲得することができる。
【0080】
動き推定手段は、第ｂ２形式のコードを入力してもらって、動き推定を実行することができる。動き推定の結果は、第ｂ３形式で出力され得る。パーシングユニット（１７０）は、動き推定過程を動き推定本来の過程と形式変換過程とに区分することができる。形式変換過程の抽出及び分析を通じて、第ｂ２形式のコードを第ｂ３形式に変換させるアルゴリズム又は変換コードｄ２３を獲得することができる。
【0081】
変換手段は、第ｂ３形式のコードを入力してもらって、周波数変換を実行することができる。変換の結果は、第ｂ４形式で出力され得る。パーシングユニット（１７０）は、変換過程を変換本来の過程と形式変換過程とに区分することができる。形式変換過程の抽出及び分析を通じて、第ｂ３形式のコードを第ｂ４形式に変換させるアルゴリズム又は変換コードｄ３４を獲得することができる。
【0082】
量子化手段は、第ｂ４形式のコードを入力してもらって、量子化を実行することができる。量子化の結果は、第ｂ５形式で出力され得る。パーシングユニット（１７０）は、量子化過程を量子化本来の過程と形式変換過程とに区分することができる。形式変換過程の抽出及び分析を通じて、第ｂ４形式のコードを第ｂ５形式に変換させるアルゴリズム又は変換コードｄ４５を獲得することができる。
【0083】
【0084】
比較実施例の場合には、フォレンジックマークの挿入のために、パーシングユニット（１７０）を除いた各手段が順番に駆動しなければならないため、多くの時間がかかる可能性がある。
【0085】
図４は、本発明のフォレンジックマーキング装置の動作を示す概略図である。
【0086】
パーシングユニット（１７０）は、設定方式で圧縮されたコンテンツを事前デコーディングするか、或いは事前デコーディングされたコンテンツを事前エンコーディングすることができる。
【0087】
パーシングユニット（１７０）は、事前デコーディング過程の中で、もっぱら第１入出力形式の把握に必要なシンタックスエレメント又は変換コードが獲得される、一部の過程のみを実行することができる。又は、パーシングユニット（１７０）は、事前エンコーディング過程の中で、第２入出力形式の把握に必要なシンタックスエレメント又は変換コードが獲得される、一部の過程のみを実行することができる。
【0088】
一例として、パーシングユニット（１７０）は、図３で説明された逆量子化本来の過程、逆変換本来の過程、逆動き推定本来の過程、逆イントラ／インター予測本来の過程などを徹底的に排除し、形式変換過程のみを実行することができる。
【0089】
形式変換過程は、第１処理又は第２処理本来の過程に比べて処理時間が非常に短い。従って、パーシングユニット（１７０）によって実行される事前デコーディング過程又は事前エンコーディング過程にかかる時間も非常に短い。
【0090】
形式変換過程の実行を通じて、パーシングユニット（１７０）は、各変換コードｃ１２、ｃ２３、ｃ３４、ｃ４５、ｄ１２、ｄ２３、ｄ３４、ｄ４５を獲得することができ、これを基に、第１入出力形式又は第２入出力形式を同期化させる変換コードを生成することができる。
【0091】
パーシングユニット（１７０）は、設定方式で圧縮されたコンテンツを１次デコーディングすることができる。このとき、第１ユニット（１１０）は、設定方式で圧縮されたコンテンツを２次デコーディングすることができる。
【0092】
１次デコーディングは、設定方式で定義された各デコーディング過程で、第１入出力形式の把握に必要なシンタックスエレメントの抽出動作のみを実行することができる。このとき、シンタックスエレメントの抽出動作は、形式変換過程を示し得る。
【0093】
２次デコーディングは、設定方式で定義された全体のデコーディング過程の中で、設定方式のコーデックで提供するエントロピーデコーディングのみを実行し、残りのデコーディング過程を省略することができる。
【0094】
２次デコーディングされた結果は、第１入出力形式によって同期化された後、すぐにマーキングユニット（１３０）に入力され得る。
【0095】
図４の（ａ）は、固定入力されるか、或いは機械学習によって生成された変換コードを用いて、第１入出力形式を同期化したり、第２入出力形式を同期化する状態を示し得る。
【0096】
図４の（ｂ）は、リアルタイムで変わる変換コードに対応して、該当変換コードだけを収集して、全体の変換コードを設ける状態を示し得る。各変換コード又は全体の変換コードは、シンタックス構造の把握を通じて獲得することもできる。
【0097】
パーシングユニット（１７０）によって把握された各変換コードｃ１２、ｃ２３、ｃ３４、ｃ４５が順番に配置されれば、第１入出力形式を同期化することができる第１変換部（１５１）が形成され得る。
【0098】
パーシングユニット（１７０）によって把握された各変換コードｄ１２、ｄ２３、ｄ３４、ｄ４５が順番に配置されれば、第２入出力形式を同期化することができる第２変換部（１５２）が形成され得る。
【0099】
コンテンツが単一のコーデックを用いて圧縮される方式の場合、パーシングユニット（１７０）は、１次デコーディングされたコンテンツに対する１次エンコーディング過程を実行せず、シンタックスエレメントを用いて生成されたシンタックス構造の分析を通じて、第２入出力形式を把握することができる。
【0100】
フォレンジックマークが挿入されたコンテンツは、第２入出力形式によって同期化された後、すぐにエントロピーエンコーディングされ得る。即ち、単一のコーデック方式で圧縮されたコンテンツを対象とする場合、第１変換部（１５１）を逆に構成すれば、そのまま第２変換部（１５２）になれる。従って、単一のコーデックが適用された場合、第１エンコーディング過程を排除し、第１デコーディング過程のみを実行すれば十分である。
【0101】
図５は、本発明のフォレンジックマーキング方法を示すフロー図である。
【0102】
本発明のフォレンジックマーキング方法は、パーシングステップ（Ｓ５１０）、デコーディングステップ（Ｓ５２０）、マーキングステップ（Ｓ５３０）、エンコーディングステップ（Ｓ５４０）を含むことができる。各ステップは、図１に示されたフォレンジックマーキング装置によって実行されてもよい。
【0103】
パーシングステップ（Ｓ５１０）は、設定方式で圧縮されたコンテンツに対する事前デコーディングを通じて、エントロピーデコーディングとフォレンジックマークの挿入動作との間の第１入出力形式、及び挿入動作とエントロピーエンコーディングとの間の第２入出力形式を把握することができる。
【0104】
デコーディングステップ（Ｓ５２０）は、コンテンツをエントロピーデコーディングし、エントロピーデコーディングされたコンテンツを第１入出力形式に合わせて変換することができる。
【0105】
マーキングステップ（Ｓ５３０）は、第１入出力形式に変換されたコンテンツを入力してもらい、フォレンジックマークを挿入することができる。
【0106】
エンコーディングステップ（Ｓ５４０）は、フォレンジックマークが挿入されたコンテンツを、エントロピーエンコーディングで要求する第２入出力形式に変換し、第２入出力形式に変換されたコンテンツをエントロピーエンコーディングすることができる。
【0107】
本発明によると、デコーディングステップとマーキングステップとの間に、別途の第１処理過程が排除されてもよい。また、マーキングステップとエンコーディングステップとの間に、別途の第２処理過程が排除されてもよい。第１処理過程と第２処理過程の排除により、フォレンジックマーキングの速度を大幅に改善することができる。速度の改善により、８Ｋ解像度６０フレーム／秒以上の再生能力を有するマルチメディアコンテンツに対するフォレンジックマークのリアルタイム挿入が可能である。
【0108】
フォレンジックマークの挿入速度をさらに改善するために、並列処理方式が導入されてもよい。
【0109】
一例として、８Ｋ６０ｆｐｓコンテンツを対象にスムーズにフォレンジックマーキングするために、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を使用する並列処理が考慮されてもよい。ストリーミングのためのフォレンジックマーキングサービスを実行するために、コンテンツサーバー（５０）には、設定方式の圧縮技術で提案する規格のコンテンツが保存され得る。例えば、ＨＥＶＣ標準においては、原本のコンテンツに対する最初のエンコーディングの際、並列にエンコーディングされるのがよい。なぜなら、初期に並列にエンコーディングされない場合、各映像ごとに異なる条件のＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）の間に関連性を持つようになるので、並列処理が難しくなるからである。従って、コンテンツサーバー（５０）は、コンテンツの登録手続きにおいて、原本のＲＡＷコンテンツを登録してもらい、ＣＴＵサイズとタイルサイズをパラメータにして入力してもらって、タイルでエンコーディングすることができる。
【0110】
並列処理されてコンテンツサーバー（５０）に保存されたコンテンツが、本発明の並列フォレンジックマーキング装置に入手されてもよい。
【0111】
図６は、本発明の並列フォレンジックマーキング装置によって複数の領域に分割されたフレームを示す概略図である。図７は、本発明の並列フォレンジックマーキング装置を示す概略図である。図７に示された並列フォレンジックマーキング装置は、図１のフォレンジックマーキングサーバー（１００）に該当し得る。
【0112】
本発明の並列フォレンジックマーキング装置は、分割部（１８０）、複数のデコーディング部（１１１、１１２、１１３、１１４）、同期化部（１６０）を含むことができる。
【0113】
分割部（１８０）は、設定方式で圧縮されたコンテンツの一つのフレームを複数の領域に分割することができる。
【0114】
複数のデコーディング部は、分割された各領域を割り当ててもらって、エントロピーデコーディングすることができる。
【0115】
同期化部（１６０）は、複数のデコーディング部に入出力される各領域を同期化させて、フレームを完成させることができる。
【0116】
設定方式で圧縮されたコンテンツは、ＲＡＷコンテンツがＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）サイズとタイル（ｔｉｌｅ）サイズをパラメータにして、タイル方式でエンコーディングされたものであってもよい。分割部（１８０）は、タイル方式によって前記フレームを複数の領域に分割することができる。複数のデコーディング部は、分割された領域をそれぞれ独立的にエントロピーデコーディングすることができる。
【0117】
一例として、図６のように、一つの第１フレーム１ｓｔ ｆｒａｍｅは、分割部（１８０）によって４つの領域に分割することができる。分割部（１８０）は、分割された各領域にそれぞれ異なるタイル番号Ｆ０、Ｆ１、Ｆ２、Ｆ３を付与することができる。各タイルには、複数のＣＴＵが含まれてもよい。ＨＥＶＣ方式の場合、タイルのサイズとＣＴＵのサイズは固定され得るが、ＣＴＵに含まれたＣＵは、ＣＴＵ又はタイルごとに異なる可能性がある。
【0118】
コンテンツがＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｅｃ）方式で圧縮される際、各領域に含まれたＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）の違いにより、各領域をエントロピーデコーディングする各デコーディング部の処理速度が異なる可能性がある。処理速度の違いにより、一つの第１フレームが分割された複数のタイルＦ０、Ｆ１、Ｆ２、Ｆ３が同時に各デコーディング部に入力されても、デコーディング部から出力される時点はそれぞれ異なる可能性がある。
【0119】
例えば、タイルＦ０は、第１デコーディング部（１１１）に入力され得る。タイルＦ１は、第２デコーディング部（１１２）に入力され得る。タイルＦ２は、第３デコーディング部（１１３）に入力され得る。タイルＦ３は、第４デコーディング部（１１４）に入力され得る。このとき、入力時点が全て同一である場合でも、各デコーディング部から出力される時点は、それぞれ異なる可能性がある。
【0120】
同期化部（１６０）は、タイル番号を用いて複数に分割され、エントロピーデコーディングされた各領域をマッチングさせて一つのフレームを組み立てることができる。一例として、それぞれ異なる時点で、前記デコーディング部から出力される各領域を保存する保存部（１３９）が設けられてもよい。
【0121】
同期化部（１６０）は、保存部（１３９）に保存された各領域を一つに集めてフレームを完成させることができる。
【0122】
ＣＵなどの違いにより、特定のフレームの各領域は、それぞれ異なる時点で各デコーディング部から出力され得る。特定のフレームの領域に対するエントロピーエンコーディングが、別のデコーディング部で実行されている状態で、特定のデコーディング部がアイドル状態になると、同期化部（１６０）は、次のフレームの一部の領域をアイドル状態である特定のデコーディング部に入力することができる。
【0123】
一例として、第１デコーディング部がタイルＦ１を先に処理した場合、第１デコーディング部は、休んでいるアイドル状態になる可能性がある。このとき、同期化部（１６０）は、次のフレームのタイルを第１デコーディング部に入力することができる。全体のデコーディング部の処理速度のバランスを取るために、第１デコーディング部には、次のフレームの中で最も多くの処理時間がかかると予測されるタイルが入力されるのがよい。
【0124】
各タイルの処理時間を予測したり、各デコーディング部の処理速度、処理時間を均等に維持するためにパーシングユニット（１７０）が用いられてもよい。
【0125】
パーシングユニット（１７０）は、事前デコーディング過程を通じて、シンタックス構造（ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ）を把握することができる。
【0126】
同期化部（１６０）は、シンタックス構造を用いて、複数の領域を同期化させることができる。
【0127】
パーシングユニット（１７０）は、事前デコーディングを、マルチメディアデータ処理とシンタックス関連処理とに区分することができる。マルチメディアデータ処理は、先に説明された逆量子化本来の過程、逆変換本来の過程、逆動き推定本来の過程、逆イントラ／インター予測本来の過程などを含むことができる。シンタックス関連処理は、先に説明された形式変換過程を含むことができる。
【0128】
パーシングユニット（１７０）は、マルチメディアデータ処理は排除し、シンタックス関連処理のみを実行して、シンタックス構造の把握に必要なシンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を獲得することができる。
【0129】
パーシングユニット（１７０）からシンタックスエレメント又はシンタックス構造を入手した同期化部（１６０）は、デコーディング前のフレームに対して、各領域別のデコーディング時間を予測することができる。同期化部（１６０）は、予測時間に利用して、コンテンツ全体に対する各デコーディング部の総作業時間の違いを最小化する方向に、各フレームの分割領域を各デコーディング部に割り当てることができる。
【0130】
コンテンツにフォレンジックマークを挿入するマーキングユニット（１３０）が設けられる際、デコーディング部から出力されるコードの形式は、前記マーキングユニット（１３０）で要求する第１入出力形式とは異なる場合がある。
【0131】
シンタックス構造を用いてデコーディング部の出力コードを第１入出力形式に変換し、第１入出力形式に変換された出力コードをマーキングユニット（１３０）に提供する変換ユニット（１５０）が設けられてもよい。
【0132】
分割部（１８０）及び前記同期化部（１６０）は、コンピュータ装置のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）に形成されてもよい。デコーディング部は、コンピュータ装置のＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、グラフィック処理装置）に形成されてもよい。
【0133】
図８は、本発明の実施例に係る、コンピューティング装置を示す図面である。図８のコンピューティング装置（ＴＮ１００）は、本明細書で記述された装置（例えば、フォレンジックマーキング装置、並列フォレンジックマーキング装置など）であってもよい。
【0134】
図８の実施例において、コンピューティング装置（ＴＮ１００）は、少なくとも一つのプロセッサ（ＴＮ１１０）、送受信装置（ＴＮ１２０）、及びメモリ（ＴＮ１３０）を含むことができる。また、コンピューティング装置（ＴＮ１００）は、保存装置（ＴＮ１４０）、入力インターフェイス装置（ＴＮ１５０）、出力インターフェイス装置（ＴＮ１６０）などをさらに含むことができる。コンピューティング装置（ＴＮ１００）に含まれた構成要素は、バス（ｂｕｓ）（ＴＮ１７０）によって連結されて互いに通信を行うことができる。
【0135】
プロセッサ（ＴＮ１１０）は、メモリ（ＴＮ１３０）及び保存装置（ＴＮ１４０）のうち少なくとも一つに保存されたプログラム命令（ｐｒｏｇｒａｍ ｃｏｍｍａｎｄ）を実行することができる。プロセッサ（ＴＮ１１０）は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィック処理装置（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又は本発明の実施例による方法が実行される専用のプロセッサを意味するといえる。プロセッサ（ＴＮ１１０）は、本発明の実施例に関連して記述された手順、機能、及び方法などを具現するように構成されてもよい。プロセッサ（ＴＮ１１０）は、コンピューティング装置（ＴＮ１００）の各構成要素を制御することができる。
【0136】
メモリ（ＴＮ１３０）及び保存装置（ＴＮ１４０）それぞれは、プロセッサ（ＴＮ１１０）の動作に関連する様々な情報を保存することができる。メモリ（ＴＮ１３０）及び保存装置（ＴＮ１４０）それぞれは、揮発性保存媒体及び不揮発性保存媒体のうち、少なくとも一つで構成されてもよい。例えば、メモリ（ＴＮ１３０）は、読み出し専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）及びランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）のうち、少なくとも一つで構成されてもよい。
【0137】
送受信装置（ＴＮ１２０）は、有線信号又は無線信号を送信又は受信することができる。送受信装置（ＴＮ１２０）は、ネットワークに連結されて通信を行うことができる。
【0138】
一方、本発明の実施例は、これまで説明した装置及び／又は方法を通じてのみ具現されるものではなく、本発明の実施例の構成に対応する機能を実現するプログラム又はそのプログラムが記録された記録媒体を通じて具現されてもよく、これらの具現は、上述した実施例の記載から、本発明が属する技術分野の通常の技術者であれば、容易に具現できるものである。
【0139】
以上で、本発明の実施例について詳細に説明したが、本発明の権利範囲はこれに限定されるものではなく、次の特許請求の範囲で定義している本発明の基本概念を用いた通常の技術者の様々な変形及び改良形態も、本発明の権利範囲に属するものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】