(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-27
(45)【発行日】2023-11-07
(54)【発明の名称】複数のフレームを含む映像の指紋を抽出する方法および装置
(51)【国際特許分類】
H04N 21/8358 20110101AFI20231030BHJP
H04N 21/44 20110101ALI20231030BHJP
【ＦＩ】
H04N21/8358
H04N21/44
【請求項の数】
19
(21)【出願番号】P 2022129969
(22)【出願日】2022-08-17
(65)【公開番号】P2023029293
(43)【公開日】2023-03-03
【審査請求日】2022-08-17
(31)【優先権主張番号】10-2021-0109090
(32)【優先日】2021-08-18
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】505205812
【氏名又は名称】ネイバー コーポレーション
【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】シン ソンヒョン
(72)【発明者】
【氏名】ジョン ジス
(72)【発明者】
【氏名】キム デファン
(72)【発明者】
【氏名】パク ジョンウン
(72)【発明者】
【氏名】キム スンビン
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】米国特許出願公開第２０１３／０２０８９４２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００６／０１０７０５６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００３／０１８５４１７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１０／０１１１３５２（ＵＳ，Ａ１）
【文献】韓国公開特許第１０－２００５－０１０８５１５（ＫＲ，Ａ）
【文献】特開２００４－０２３６３３（ＪＰ，Ａ）
【文献】特表２０１１－５１１４８９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００－２１／８５８
(57)【特許請求の範囲】
【請求項1】
少なくとも一つのプロセッサによって実行される、複数のフレームを含む映像の指紋（ｆｉｎｇｅｒｐｒｉｎｔ）を抽出する方法において、前記複数のフレームそれぞれから２次元離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ；ＤＣＴ）係数を算出する段階；
前記２次元ＤＣＴ係数のうち基底（ｂａｓｉｓ）が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出する段階；および
前記抽出された係数に基づいて前記映像の指紋を算出する段階；を含む、映像の指紋を抽出する方法。
【請求項2】
前記２次元ＤＣＴ係数を算出する段階は、前記複数のフレームそれぞれから複数のピクセル値行列を獲得する段階；および
前記複数のピクセル値行列それぞれから２次元ＤＣＴ係数を算出する段階を含む、請求項１に記載の映像の指紋を抽出する方法。
【請求項3】
前記２次元ＤＣＴ係数を算出する段階は、前記複数のフレームそれぞれから２次元ＤＣＴ係数を算出する段階；および
前記２次元ＤＣＴ係数から基底の横方向の周波数が第１事前に定義された周波数以下であり、基底の縦方向の周波数が第２事前に定義された周波数以下である複数の低帯域係数を選択する段階を含む、請求項１に記載の映像の指紋を抽出する方法。
【請求項4】
前記基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出する段階は、前記２次元ＤＣＴ係数から基底の横方向の周波数が第１事前に定義された周波数以下であり、基底の縦方向の周波数が第２事前に定義された周波数以下である複数の低帯域係数を選択する段階；および
前記複数の低帯域係数のうち基底が上下対称または左右対称を満足する複数の係数を抽出する段階を含む、請求項１に記載の映像の指紋を抽出する方法。
【請求項5】
前記基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出する段階は、前記２次元ＤＣＴ係数から基底の横方向の周波数が第１事前に定義された周波数以下であり、基底の縦方向の周波数が第２事前に定義された周波数以下である複数の低帯域係数を選択する段階；および
前記複数の低帯域係数のうち基底が上下対称および左右対称を満足する複数の係数を抽出する段階を含む、請求項１に記載の映像の指紋を抽出する方法。
【請求項6】
前記基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出する段階は、前記２次元ＤＣＴ係数から基底の横方向の周波数および基底の縦方向の周波数がすべて０である係数を除く段階を含む、請求項１に記載の映像の指紋を抽出する方法。
【請求項7】
前記抽出された係数から前記映像の指紋を算出する段階は、前記抽出された係数から前記複数のフレームの時間上の変化による前記抽出された係数の変化量の平均を算出する段階を含む、請求項１に記載の映像の指紋を抽出する方法。
【請求項8】
前記抽出された係数の変化量の平均を算出する段階は、前記抽出された係数のうち基底が同一の係数の隣接フレーム間の変化量を算出する段階；および
前記算出された変化量の基底別平均を算出する段階を含む、請求項７に記載の映像の指紋を抽出する方法。
【請求項9】
少なくとも一つのプロセッサによって実行される、映像の変造の有無を識別する方法において、原本映像の指紋を獲得する段階；
請求項１に記載された方法により識別対象映像の指紋を抽出する段階；および
前記獲得された原本映像の指紋と前記抽出された指紋を比較して前記識別対象映像の変造の有無を決定する段階を含む、映像の変造の有無を識別する方法。
【請求項10】
請求項１～請求項９のいずれか一項に記載された方法をコンピュータで実行するためのコンピュータ読み取り可能なコンピュータプログラム。
【請求項11】
コンピューティング装置であって、メモリ；および
前記メモリと連結され、前記メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサを含み、
前記少なくとも一つのプログラムは、
映像に含まれた複数のフレームそれぞれから２次元ＤＣＴ係数を算出し、
前記２次元ＤＣＴ係数のうち基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出し、
前記抽出された係数に基づいて前記映像の指紋を算出するための命令語を含む、コンピューティング装置。
【請求項12】
前記２次元ＤＣＴ係数を算出することは、前記複数のフレームそれぞれから複数のピクセル値行列を獲得し、
前記複数のピクセル値行列それぞれから２次元ＤＣＴ係数を算出することを含む、請求項１１に記載のコンピューティング装置。
【請求項13】
前記２次元ＤＣＴ係数を算出することは、前記複数のフレームそれぞれから２次元ＤＣＴ係数を算出し、
前記２次元ＤＣＴ係数から基底の横方向の周波数が第１事前に定義された周波数以下であり、基底の縦方向の周波数が第２事前に定義された周波数以下である複数の低帯域係数を選択することを含む、請求項１１に記載のコンピューティング装置。
【請求項14】
前記基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出することは、前記２次元ＤＣＴ係数から基底の横方向の周波数が第１事前に定義された周波数以下であり、基底の縦方向の周波数が第２事前に定義された周波数以下である複数の低帯域係数を選択し、
前記複数の低帯域係数のうち基底が上下対称または左右対称を満足する複数の係数を抽出することを含む、請求項１１に記載のコンピューティング装置。
【請求項15】
前記基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出することは、前記２次元ＤＣＴ係数から基底の横方向の周波数が第１事前に定義された周波数以下であり、基底の縦方向の周波数が第２事前に定義された周波数以下である複数の低帯域係数を選択し、
前記複数の低帯域係数のうち基底が上下対称および左右対称を満足する複数の係数を抽出することを含む、請求項１１に記載のコンピューティング装置。
【請求項16】
前記基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出することは、前記２次元ＤＣＴ係数から基底の横方向の周波数および基底の縦方向の周波数がすべて０である係数を除くことを含む、請求項１１に記載のコンピューティング装置。
【請求項17】
前記抽出された係数から前記映像の指紋を算出することは、前記抽出された係数から前記複数のフレームの時間上の変化による前記抽出された係数の変化量の平均を算出することを含む、請求項１１に記載のコンピューティング装置。
【請求項18】
前記抽出された係数の変化量の平均を算出することは、前記抽出された係数のうち基底が同一の係数の隣接フレーム間の変化量を算出し、
前記算出された変化量の基底別平均を算出することを含む、請求項１７に記載のコンピューティング装置。
【請求項19】
コンピューティング装置であって、メモリ；および
前記メモリと連結され、前記メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサを含み、
前記少なくとも一つのプログラムは、
原本映像の指紋を獲得し、
請求項１～請求項８のいずれか一項に記載された方法により識別対象映像の指紋を抽出し、
前記獲得された原本映像の指紋と前記抽出された指紋を比較して前記識別対象映像の変造の有無を決定するための命令語を含む、コンピューティング装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は複数のフレームを含む映像の指紋を抽出する方法および装置に関し、具体的には、映像からＤＣＴ係数を算出し、算出されたＤＣＴ係数の中で基底が対称な係数を抽出して映像の指紋を抽出する方法および装置に関する。
【背景技術】
【0002】
最近映像コンテンツの消費が活発となり、多様な動画プラットホームが登場するにつれて、使用者が容易かつ簡便に映像コンテンツを製作、共有、視聴できる環境が造成されている。このような環境で、多様な使用者によって製作されて流通される映像コンテンツの数が増加するにつれて、映像を無断で複製して配信する場合も増加しており、映像に対する著作権の保護の必要性も増加している。
【0003】
動画プラットホームで共有または販売される動画コンテンツの違法配信の有無や違法配信者を追跡するために多様なコンテンツ検証方式が使われ得る。例えば、映像指紋抽出（ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ）方式を利用した動画検証システムでは、コンテンツ内に所有者情報などを挿入するウォーターマーク基盤のフィンガープリンティング方式とコンテンツで抽出された特徴点に基づいたフィンガープリンティング方式が使われ得る。特徴点基盤のフィンガープリンティング方式は、音楽、映像などのコンテンツで周波数成分、画面転換情報、位置情報などのような特徴点を抽出してデータベースに保存し、これを他のコンテンツで抽出された特徴点と比較して両コンテンツの同一または類似する有無を判別することができる。
【0004】
このような映像コンテンツ検証方式を使う場合、違法配信者が原本映像を同一に複製して配信する場合、原本映像と複製映像の同一または類似する有無が容易に識別され得る。しかし、このような映像コンテンツ検証方式の特徴を悪用して、無断配信者などは原本映像を複製した後複製映像に多様な変形を加えて既存検証方式を無力化させている。例えば、違法配信者が原本映像を複製した後に複製映像を左右反転または上下反転させて配信すると、既存の映像指紋抽出方法ではこのような変形が加えられた映像の違法配信の有無を容易に識別できないという問題点がある。
【先行技術文献】
【特許文献】
【0005】
【文献】韓国公開特許第２００９－００４８９９３号
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示は前記のような問題点を解決するための複数のフレームを含む映像の指紋を抽出する方法、コンピュータプログラムおよび装置（システム）を提供する。
【課題を解決するための手段】
【0007】
本開示は方法、装置（システム）またはコンピュータプログラムを含んだ多様な方式で具現され得る。
【0008】
本開示の一実施例によると、少なくとも一つのプロセッサによって実行される、複数のフレームを含む映像の指紋（ｆｉｎｇｅｒｐｒｉｎｔ）を抽出する方法は複数のフレームそれぞれから２次元離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ；ＤＣＴ）係数を算出する段階、２次元ＤＣＴ係数のうち基底（ｂａｓｉｓ）が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出する段階および抽出された係数に基づいて映像の指紋を算出する段階を含む。
【0009】
本開示の他の実施例によると、少なくとも一つのプロセッサによって実行される、映像の変造の有無を識別する方法は、原本映像の指紋を獲得する段階、本開示の一実施例に係る映像の指紋を抽出する方法により識別対象映像の指紋を抽出する段階および獲得された原本映像の指紋と抽出された指紋とを比較して識別対象映像の変造の有無を決定する段階を含む。
【0010】
本開示の一実施例に係る方法をコンピュータで実行するためのコンピュータプログラムが提供される。
【0011】
本開示の一実施例に係るコンピューティング装置は、メモリおよびメモリと連結され、メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサを含み、少なくとも一つのプログラムは、映像に含まれた複数のフレームそれぞれから２次元ＤＣＴ係数を算出し、２次元ＤＣＴ係数のうち基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出し、抽出された係数に基づいて映像の指紋を算出するための命令語を含む。
【0012】
本開示の他の実施例に係るコンピューティング装置は、メモリおよびメモリと連結され、メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサを含み、少なくとも一つのプログラムは、原本映像の指紋を獲得し、本開示の一実施例に係る映像の指紋を抽出する方法により識別対象映像の指紋を抽出し、獲得された原本映像の指紋と抽出された指紋とを比較して識別対象映像の変造の有無を決定するための命令語を含む。
【発明の効果】
【0013】
本開示の一部の実施例によると、上下対称または左右対称のうち少なくとも一つを満足する基底のＤＣＴ係数のみで映像の指紋を算出することによって、既存の方法では変造の有無を容易に識別できなかった左右反転または上下反転した映像を効果的に識別することができる。
【0014】
本開示の一部の実施例によると、ＤＣＴ係数のうち低帯域係数のみを選択することによって、映像に細部的な変形を加えた場合にも変造の有無を容易に識別することができ、ノイズが加えられた映像も容易に識別することができる。
【0015】
本開示の一部の実施例によると、映像に変形を加えてＤＣＴ係数が一部変わってもＤＣＴ係数の大きな変化パターンは類似し得るため、ＤＣＴ係数の変化量の平均を算出することによって、変造映像を効果的に識別することができる。
【0016】
本開示の一部の実施例によると、直流成分の係数を除くことによって、映像全体に一定の変形が加えられた変造映像も効果的に識別することができる。
【0017】
本開示の効果は以上で言及した効果に制限されず、言及されていない他の効果は特許請求の範囲の記載から本開示が属する技術分野で通常の知識を有する者（「通常の技術者」という）に明確に理解され得るであろう。
【図面の簡単な説明】
【0018】
本開示の実施例は、以下で説明する添付図面を参照して説明され、ここで類似する参照番号は類似する要素を示すが、これに限定されはしない。
【図1】本開示の一実施例に係るコンピューティング装置が映像の変造の有無を識別する方法の例示を示す図面である。
【図2】本開示の一実施例に係るコンピューティング装置の内部構成を示すブロック図である。
【図3】本開示の一実施例に係るプロセッサの内部構成を示すブロック図である。
【図4】複数のフレームそれぞれから２次元離散コサイン変換係数を算出し、低帯域係数を選択する方法の例示を示す図面である。
【図5】本開示の一実施例に係る２次元ＤＣＴ基底の例示を示す。
【図6】本開示の一実施例に係る２次元ＤＣＴ基底のうち一部を抽出する方法の例示を示す。
【図7】本開示の一実施例に係る低帯域係数のうち基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出する方法の例示を示す図面である。
【図8】本開示の一実施例に係る映像の指紋を算出する方法の例示を示す図面である。
【図9】本開示の原本映像および識別対象映像の例示を示す図面である。
【図10】本開示の一実施例に係る映像の指紋を抽出する方法の例示を示すフローチャートである。
【図11】本開示の一実施例に係る映像の変造の有無を識別する方法の例示を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、本開示の実施のための具体的な内容を添付された図面を参照して詳細に説明する。ただし、以下の説明では本開示の要旨を不要に曖昧にさせ得る恐れがある場合、広く知られている機能や構成に関する具体的な説明は省略することにする。
【0020】
添付された図面で、同一または対応する構成要素には同一の参照符号が付与されている。また、以下の実施例の説明において、同一または対応する構成要素を重複して記述することが省略され得る。しかし、構成要素に関する技術が省略されても、そのような構成要素がある実施例に含まれないものと意図されはしない。
【0021】
開示された実施例の利点および特徴、そしてそれらを達成する方法は添付される図面と共に後述されている実施例を参照すると明確になるであろう。しかし、本開示は以下で開示される実施例に限定されるものではなく、互いに異なる多様な形態で具現され得、ただし本実施例は本開示を完全なものとし、本開示が通常の技術者に発明の範疇を完全に知らせるために提供されるものに過ぎない。
【0022】
本明細書で使われる用語について簡略に説明し、開示された実施例について具体的に説明することにする。本明細書で使われる用語は本開示での機能を考慮しつつ、できる限り現在広く使われる一般的な用語を選択したが、これは関連分野に従事する技術者の意図または判例、新しい技術の出現などにより変わり得る。また、特定の場合は出願人が任意に選定した用語もあり、この場合、該当する発明の説明の部分で詳細にその意味を記載するであろう。したがって、本開示で使われる用語は単純な用語の名称ではなく、その用語が有する意味と本開示の全般にわたった内容に基づいて定義されるべきである。
【0023】
本明細書での単数の表現は文脈上明白に単数であると特定しない限り、複数の表現を含む。また、複数の表現は文脈上明白に複数であると特定しない限り、単数の表現を含む。明細書全体で或る部分が何らかの構成要素を含むとする時、これは特に反対の記載がない限り、他の構成要素を除くものではなく他の構成要素をさらに含み得ることを意味する。本開示で、「複数のＡのそれぞれ」または「複数のＡそれぞれ」は複数のＡに含まれたすべての構成要素のそれぞれを指称したり、複数のＡに含まれた一部の構成要素のそれぞれを指称し得る。
【0024】
また、明細書で使われる「モジュール」または「部」という用語はソフトウェアまたはハードウェア構成要素を意味し、「モジュール」または「部」は何らかの役割を遂行する。しかし、「モジュール」または「部」はソフトウェアまたはハードウェアに限定される意味ではない。「モジュール」または「部」はアドレッシングできる保存媒体にあるように構成されてもよく、一つまたはそれ以上のプロセッサを再生させるように構成されてもよい。したがって、一例として、「モジュール」または「部」はソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャー、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイまたは変数のうち少なくとも一つを含むことができる。構成要素と「モジュール」または「部」は中で提供される機能はさらに小さい数の構成要素および「モジュール」または「部」で結合されたり、追加的な構成要素と「モジュール」または「部」にさらに分離され得る。
【0025】
本開示の一実施例によると、「モジュール」または「部」はプロセッサおよびメモリで具現され得る。「プロセッサ」は汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、制御器、マイクロ制御器、状態マシンなどを含むように広く解釈されるべきである。いくつかの環境で、「プロセッサ」は特定用途向け半導体（ＡＳＩＣ）、プログラム可能ロジックデバイス（ＰＬＤ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）等を指称することもある。「プロセッサ」は、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰコアと結合した一つ以上のマイクロプロセッサの組み合わせ、または任意の他のそのような構成の組み合わせのような処理デバイスの組み合わせを指称してもよい。また、「メモリ」は電子情報を保存可能な任意の電子コンポーネントを含むように広く解釈されるべきである。「メモリ」は任意アクセスメモリ（ＲＡＭ）、読み取り－専用メモリ（ＲＯＭ）、不揮発性任意アクセスメモリ（ＮＶＲＡＭ）、プログラム可能読み取り－専用メモリ（ＰＲＯＭ）、消去－プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ保存装置、レジスタなどのようなプロセッサ－読み取り可能媒体の多様な類型を指称してもよい。プロセッサがメモリから情報を読み取り／読み取るか、メモリに情報を記録できるのであれば、メモリはプロセッサと電子通信状態にあると呼ばれる。プロセッサに集積されたメモリはプロセッサと電子通信状態にある。
【0026】
本開示で、「システム」はサーバー装置とクラウド装置のうち少なくとも一つの装置を含むことができるが、これに限定されるものではない。例えば、システムは一つ以上のサーバー装置で構成され得る。他の例として、システムは一つ以上のクラウド装置で構成され得る。さらに他の例として、システムはサーバー装置とクラウド装置が共に構成されて動作され得る。
【0027】
本開示で、「フレーム（ｆｒａｍｅｓ）」は映像または動画を構成する静止イメージを含むことができる。一実施例で、「フレーム」は「イメージ」と指称され得る。また、映像または動画は一定の時間間隔で被写体などを撮影した複数の静止イメージを含むフレームで構成され得る。
【0028】
本開示で、「離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ；ＤＣＴ）」はイメージまたはフレームを多様な周波数のコサイン関数の和に変換する動作または演算を指称し得る。ＤＣＴで多様な周波数のコサイン関数が基底（ｂａｓｉｓ）となり得、ＤＣＴ係数（ＤＣＴ ｃｏｅｆｆｉｃｉｅｎｔｓ）は各基底関数に適用される加重値を指称し得る。２次元ＤＣＴの場合、複数の基底および／または複数のＤＣＴ係数を２次元行列で表現することができる。一実施例で、離散コサイン変換を遂行することはイメージまたはフレームからＤＣＴ係数を算出することを含むことができる。
【0029】
図１は、本開示の一実施例に係るコンピューティング装置が映像の変造の有無を識別する方法の例示を示す図面である。一実施例によると、コンピューティング装置は原本映像１１０の指紋を獲得することができる。原本映像１１０の指紋は図示された通り、コンピューティング装置が原本映像１１０から原本映像の指紋を抽出（１２０）してデータベース１３０に保存したものであるか、または外部システムから受信したものであり得る。原本映像１１０の指紋は本開示の多様な実施例に係る映像の指紋を抽出する方法により抽出されたものであり得る。
【0030】
一実施例によると、コンピューティング装置は識別対象映像１４０から識別対象映像の指紋を抽出（１５０）することができる。識別対象映像１４０の指紋は本開示の多様な実施例に係る映像の指紋を抽出する方法により抽出ものであり得、原本映像の指紋を抽出（１２０）した方法と同一または類似する方法により抽出されたものであり得る。
【0031】
一実施例によると、コンピューティング装置は獲得された原本映像の指紋と抽出された識別対象映像の指紋を比較して、識別対象映像の変造の有無を決定（１７０）することができる。すなわち、コンピューティング装置は識別対象映像が原本映像から変造されたものであるかどうかを決定することができる。ここで変造とは、原本映像にノイズを加えること（例：ｇａｕｓｓｉａｎ ｎｏｉｓｅ）、原本映像の画質を落とすこと、原本映像をブラーリング（ｂｌｕｒｒｉｎｇ）すること（例：ｇａｕｓｓｉａｎ ｂｌｕｒ）、原本映像を回転させること（例：ｒｏｔａｔｅ）、原本映像の一部分または一部のフレームを削除すること（例：ｃｒｏｐ ｏｒ ｄｒｏｐ）、原本映像の明るさを調整すること、原本映像にガンマ補正をすること（例：ｇａｍｍａ ｃｏｒｒｅｃｔｉｏｎ）、原本映像を拡大、縮小または移動して、意味のない背景を挿入すること（例：ｚｏｏｍ ａｎｄ ｓｈｉｆｔ）、原本映像を左右反転または上下反転すること（例：ｆｌｉｐ）等のように原本映像に一定の変形を加えることを含むことができる。一実施例で、原本映像と同一の識別対象映像は原本映像から変造されたものと決定され得る。
【0032】
一実施例によると、コンピューティング装置は原本映像の指紋と識別対象映像の指紋をマッチングアルゴリズム１６０に入力して変造の有無を決定（１７０）することができる。マッチングアルゴリズム１６０は識別対象映像の指紋の少なくとも一部が原本映像の指紋の少なくとも一部と同一であったり、類似していたり、誤差範囲内である場合、識別対象映像が原本映像から変造されたものと決定することができる。例えば、原本映像の指紋が［ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ］で、識別対象映像の指紋が［ｃ、ｄ、ｅ、ｆ、ｇ］である場合、識別対象映像の指紋は原本映像の指紋の一部（原本映像の指紋の３番目の成分から７番目の成分まで）と同一であるので、マッチングアルゴリズム１６０は識別対象映像が原本映像から変造されたものと決定することができる。
【0033】
このような構成によって、著作権の侵害を回避するために原本映像から変造された映像を識別することができ、映像の著作権の保護を強化することができる。
【0034】
図２は、本開示の一実施例に係るコンピューティング装置２００の内部構成を示すブロック図である。コンピューティング装置２００はメモリ２１０、プロセッサ２２０、通信モジュール２３０および入出力インターフェース２４０を含むことができる。図２に図示された通り、コンピューティング装置２００は通信モジュール２３０を利用してネットワークを通じて情報および／またはデータを通信できるように構成され得る。
【0035】
メモリ２１０は非一過性の任意のコンピュータ読み取り可能な記録媒体を含むことができる。一実施例によると、メモリ２１０はＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などのような非消滅性大容量保存装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含むことができる。他の例として、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブなどのような非消滅性大容量保存装置はメモリとは区分される別途の永久保存装置としてコンピューティング装置２００に含まれ得る。また、メモリ２１０には運営体制と少なくとも一つのプログラムコード（例えば、コンピューティング装置２００に設置されて駆動される映像の指紋抽出、映像の変造の有無識別などのためのコード）が保存され得る。
【0036】
このようなソフトウェア構成要素はメモリ２１０とは別途のコンピュータで読み取り可能な記録媒体からローディングされ得る。このような別途のコンピュータで読み取り可能な記録媒体はこのようなコンピューティング装置２００に直接連結可能な記録媒体を含むことができるが、例えば、フロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含むことができる。他の例として、ソフトウェア構成要素はコンピュータで読み取り可能な記録媒体でない通信モジュール２３０を通じてメモリ２１０にローディングされてもよい。例えば、少なくとも一つのプログラムは、開発者またはアプリケーションの設置ファイルを配信するファイル配信システムが通信モジュール２３０を通じて提供するファイルによって設置されるコンピュータプログラム（例えば、映像の指紋抽出、映像の変造の有無識別などのためのプログラムなど）に基づいてメモリ２１０にローディングされ得る。
【0037】
プロセッサ２２０は基本的な算術、ロジックおよび入出力演算を遂行することによって、コンピュータプログラムの命令を処理するように構成され得る。命令はメモリ２１０または通信モジュール２３０により使用者端末（図示されず）または他の外部システムに提供され得る。例えば、プロセッサ２２０は映像に含まれた複数のフレームそれぞれから２次元離散コサイン変換係数を算出し、係数のうち基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出し、抽出された係数に基づいて映像の指紋を算出することができる。また、プロセッサ２２０は原本映像の指紋を獲得し、識別対象映像の指紋を抽出し、原本映像の指紋と識別対象映像の指紋を比較して識別対象映像の変造の有無を決定することができる。
【0038】
通信モジュール２３０はネットワークを通じて使用者端末（図示されず）とコンピューティング装置２００が互いに通信するための構成または機能を提供することができ、コンピューティング装置２００が外部システム（一例として別途のクラウドシステムなど）と通信するための構成または機能を提供することができる。一例として、コンピューティング装置２００のプロセッサ２２０の制御により提供される制御信号、命令、データなどが、通信モジュール２３０とネットワークを経て使用者端末および／または外部システムの通信モジュールを通じて使用者端末および／または外部システムに伝送され得る。例えば、コンピューティング装置によって識別された識別対象映像の変造の有無が外部システム（例：著作権管理システムなど）に伝送され得る。
【0039】
また、コンピューティング装置２００の入出力インターフェース２４０は、コンピューティング装置２００と連結されるか、コンピューティング装置２００が含むことができる入力または出力のための装置（図示されず）とのインターフェースのための手段であり得る。図２では入出力インターフェース２４０がプロセッサ２２０と別途に構成された要素として図示されたが、これに限定されず、入出力インターフェース２４０がプロセッサ２２０に含まれるように構成され得る。コンピューティング装置２００は図２の構成要素よりもさらに多くの構成要素を含むことができる。しかし、大部分の従来技術的構成要素を明確に図示する必要性はない。
【0040】
コンピューティング装置２００のプロセッサ２２０は複数の使用者端末および／または複数の外部システムから受信された情報および／またはデータを管理、処理および／または保存するように構成され得る。一実施例によると、プロセッサ２２０は使用者端末および／または外部システムから複数のフレームを含む映像を受信することができる。この場合、プロセッサは受信された映像に含まれた複数のフレームそれぞれから２次元離散コサイン変換係数を算出し、２次元離散コサイン変換係数のうち基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出し、抽出された係数に基づいて映像の指紋を算出することができる。
【0041】
図３は、本開示の一実施例に係るプロセッサ２２０の内部構成を示すブロック図である。図示された通り、プロセッサ２２０はフレーム抽出部３１０、ＤＣＴ係数算出部３２０、ＤＣＴ係数抽出部３３０、指紋算出部３４０、変造有無決定部３５０を含むことができる。フレーム抽出部３１０は映像から複数のフレームを抽出することができる。一実施例によると、フレーム抽出部３１０は映像に含まれた複数のフレームを抽出することができる。例えば、映像が総ｎ秒であり、複数のフレームが予め定義された時間間隔である１／３０秒ごとに生成されたものである場合、映像の０／３０秒、１／３０秒、２／３０秒、３／３０秒、…、ｎ／３０秒に対応する静止イメージ（フレーム）を抽出することができる。他の実施例で、映像が特定エンコーディングアルゴリズムによって圧縮された場合、フレーム抽出部３１０は映像にデコーディングアルゴリズムを適用することによって該当映像に含まれたフレームを抽出することができる。
【0042】
ＤＣＴ係数算出部３２０は複数のフレームそれぞれから２次元ＤＣＴ係数を算出することができる。一実施例によると、ＤＣＴ係数算出部３２０は複数のフレームそれぞれから複数のピクセル値行列を獲得し、複数のピクセル値行列それぞれに対して２次元離散コサイン変換を遂行して２次元ＤＣＴ係数を算出することができる。その次に、ＤＣＴ係数算出部３２０は算出された２次元ＤＣＴ係数のうち基底の周波数が予め定義された周波数以下である複数の低帯域係数を選択することができる。２次元ＤＣＴ基底は横方向のコサイン基底関数および縦方向のコサイン基底関数を含むことができるので、低帯域の基準となる「予め定義された周波数」は横方向の周波数基準および縦方向の周波数基準のうち少なくとも一つを含むことができる。一実施例で、ＤＣＴ係数のうち低帯域係数を選択する過程はＤＣＴ係数抽出部３３０により遂行され得る。ＤＣＴ係数算出部３２０が２次元ＤＣＴ係数を算出する過程の例示が図４を参照して詳しく後述される。
【0043】
ＤＣＴ係数抽出部３３０は２次元ＤＣＴ係数のうち基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出することができる。一実施例によると、ＤＣＴ係数抽出部３３０は低帯域係数のうち基底が上下対称または左右対称のうち少なくとも一つを満足する複数の係数を抽出することができる。上下対称または左右対称を満足する基底の係数に基づいて指紋を算出する場合、映像が左右反転または上下反転した場合にも映像の指紋が類似するように抽出され得るため、ＤＣＴ係数抽出部３３０は基底が左右対称または上下対称のうち少なくとも一つを満足する係数を抽出することができる。ここで、基底の横方向周波数および縦方向周波数がすべて０である直流成分の係数は除外され得る。係数抽出部３３０が２次元ＤＣＴ係数のうち基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出する過程の例示は、図５～図７を参照して詳しく後述される。
【0044】
指紋算出部３４０は、ＤＣＴ係数抽出部３３０により抽出された係数に基づいて映像の指紋を算出することができる。一実施例によると、指紋算出部３４０は抽出された係数から複数のフレームの時間上の変化による係数の変化量の平均を算出することができる。例えば、指紋算出部３４０は係数のうち基底が同一の係数の隣接フレーム間の変化量を算出し、算出された変化量の基底別平均を算出することができる。算出された変化量の基底別平均は映像の指紋として使われ得る。指紋算出部３４０が映像の指紋を算出する過程の例示は、図８を参照して詳しく後述される。
【0045】
変造有無決定部３５０は、原本映像の指紋と識別対象映像の指紋を比較して識別対象映像の変造の有無を決定することができる。一実施例によると、変造有無決定部３５０は原本映像の指紋と識別対象映像の指紋をマッチングアルゴリズムに入力して変造の有無を決定することができる。マッチングアルゴリズムは、識別対象映像の指紋の少なくとも一部が原本映像の指紋の少なくとも一部と同一であったり、類似していたり、誤差範囲内である場合、識別対象映像が原本映像から変造されたものと決定することができる。
【0046】
図３で図示したプロセッサ２２０の内部構成は例示に過ぎず、一部の実施例では図示した内部構成の他に他の構成を追加で含むことができ、一部の構成が省略されてもよく、一部の過程が他の構成または外部システムによって遂行され得る。例えば、フレーム抽出部３１０が省略される場合、複数のフレームを外部システムから受信することができる。他の例として、変造有無決定部３５０が省略される場合、プロセッサ２２０は映像の指紋を抽出する過程のみを遂行し、外部システムで変造の有無が決定され得る。また、図３でプロセッサ２２０の内部構成を機能別に区分して説明したが、これは内部構成が必ずしも物理的に区分されることを意味するものではない。
【0047】
図４は複数のフレーム４１０それぞれから２次元離散コサイン変換係数４２０を算出し、低帯域係数４３０を選択する方法の例示を示す図面である。一実施例によると、コンピューティング装置は映像に含まれた複数のフレーム４１０それぞれから２次元離散コサイン変換を遂行して２次元ＤＣＴ係数４２０を算出することができる。例えば、複数のフレーム４１０それぞれは２次元のピクセル値行列で表現され得る。このような複数の２次元ピクセル値行列それぞれに対して２次元離散コサイン変換を遂行することによって２次元ＤＣＴ係数行列４２０を算出することができる。複数のフレーム（または複数のピクセル値行列）４１０それぞれに対してＤＣＴを遂行するため、２次元ＤＣＴ係数行列４２０はフレーム４１０の個数だけ算出され得る。また、２次元ＤＣＴ行列の大きさは２次元ピクセル値行列の大きさ（すなわち、映像の解像度）と同一であってもよい。例えば、映像の解像度（ｈｅｉｇｈｔ×ｗｉｄｔｈ）が１４４×１７６であり、フレームの個数が１００，０００個である場合、大きさが１４４×１７６である２次元ＤＣＴ係数行列が１００，０００個算出され得る。
【0048】
一実施例によると、２次元ＤＣＴの基底は横方向の周波数（ｈｏｒｉｚｏｎｔａｌ ｆｒｅｑｕｅｎｃｙ）および縦方向の周波数（ｖｅｒｔｉｃａｌ ｆｒｅｑｕｅｎｃｙ）を含むことができる。２次元ＤＣＴ係数行列４２０で最も左側の列の係数の基底の横方向周波数は０であり得、右側に行くほど基底の横方向周波数が増加し得る。また、２次元ＤＣＴ係数行列４２０で最も上側の行の係数の基底の縦方向周波数は０であり得、下側に行くほど基底の縦方向周波数が増加し得る。すなわち、２次元ＤＣＴ係数行列４２０で横方向インデックス（ｉｎｄｅｘ）が大きいほど横方向周波数が大きい基底の係数であり得、縦方向インデックスが大きいほど縦方向周波数が大きい基底の係数であり得る。
【0049】
一実施例によると、コンピューティング装置は算出された２次元ＤＣＴ係数４２０から低帯域係数４３０を選択することができる。ＤＣＴを遂行すると、イメージに対する視覚的に重要な情報の大部分（例：イメージに含まれた客体の輪郭および変化の様相）が低帯域部分に集中され得る。したがって、コンピューティング装置はＤＣＴ係数４２０のうち低帯域係数４３０のみを選択することによって、多様な種類の変造に対応して原本映像の複製の有無を識別できる指紋を抽出することができる。低帯域係数４３０を選択するための低帯域条件は横方向周波数条件および縦方向周波数条件を含むことができる。例えば、コンピューティング装置は２次元ＤＣＴ係数４２０のうち横方向の周波数が第１事前に定義された周波数以下であり、２次元ＤＣＴ係数４２０のうち縦方向の周波数が第２事前に定義された周波数以下である係数を低帯域係数４３０として選択することができる。一実施例で、低帯域係数４３０を選択するための低帯域条件は映像の解像度を基準として決定され得る。例えば、コンピューティング装置は映像の解像度を基準として一定比率以下のインデックスを低帯域として決定することができる。
【0050】
一実施例によると、コンピューティング装置は２次元ＤＣＴ係数４２０から低帯域係数４３０を選択する時、複数のフレームすべてに対して同一の低帯域条件により低帯域係数を選択することができる。
【0051】
図５は、本開示の一実施例に係る２次元ＤＣＴ基底５１０の例示を示す。一実施例によると、２次元ＤＣＴ基底５１０は２次元の行列で表現され得る。図５には８×８行列の６４のＤＣＴ基底５１０の例示が図示されている。横軸は横方向コサイン波基底、縦軸は縦方向コサイン波基底を示すことができる。また、横方向周波数は０から始まって右側に行くほど増加し得、縦方向周波数は０から始まって下に行くほど増加し得る。
【0052】
２次元ＤＣＴ基底５１０は左右対称のみ満足する基底、上下対称のみ満足する基底、左右対称および上下対称を満足する基底５３０、すべて満足しない基底５２０を含むことができる。基底が左右対称を満足するかどうかは横方向コサイン波によって決定され得、上下対称を満足するかどうかは縦方向コサイン波によって決定され得る。すなわち、同一列の基底はすべてが左右対称であるかすべてが左右対称ではなくてもよく、同一行の基底はすべてが上下対称であるかすべてが上下対称ではなくてもよい。また、隣接列の基底は左右対称の有無が異なり得、隣接行の基底は上下対称の有無が異なり得る。
【0053】
図６は本開示の一実施例に係る２次元ＤＣＴ基底５１０のうち一部を抽出する例示を示す。一実施例によると、コンピューティング装置は算出された２次元ＤＣＴ係数または選択された低帯域係数のうち基底が上下対称を満足する複数の係数を抽出することができる。例えば、図示された２次元ＤＣＴ基底５１０のうち１列、３列、５列、７列の基底の係数を抽出することができる。他の実施例によると、コンピューティング装置は算出された２次元ＤＣＴ係数または選択された低帯域係数のうち基底が左右対称を満足する複数の係数を抽出することができる。例えば、図示された２次元ＤＣＴ基底５１０のうち１行、３行、５行、７行の基底の係数を抽出することができる。さらに他の実施例によると、コンピューティング装置は算出された２次元ＤＣＴ係数または選択された低帯域係数のうち基底が上下対称および左右対称をすべて満足する複数の係数を抽出することができる。例えば、図５に図示された通り、上下対称および左右対称をすべて満足する四角形で表示された基底の係数を抽出することができる。２次元ＤＣＴ係数行列のうち基底が上下対称および左右対称をすべて満足する係数を表示する場合、図示された通り、チェック模様の形態となり得る。
【0054】
このように、上下対称または左右対称のうち少なくとも一つを満足する基底の係数のみで指紋を算出することによって、映像が左右反転または上下反転した場合にも映像の指紋が原本映像の指紋と同一または類似するように抽出され得るため、映像の変造の有無を識別することができる。
【0055】
一実施例によると、基底の横方向の周波数および基底の縦方向の周波数がすべて０である係数（例：図５の２次元ＤＣＴ基底５１０のうち１行１列の基底の係数）は除外され得る。基底の横方向の周波数および基底の縦方向の周波数がすべて０である係数は直流成分の係数であり得る。イメージまたは映像全体に一定の変形を加える場合（例えば、映像全体の明るさを調整する場合）、直流成分のみ変わり得るため直流成分の係数は映像の指紋抽出から除外され得る。
【0056】
図７は、本開示の一実施例に係る低帯域係数４３０のうち、基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出する方法の例示を示す図面である。一実施例によると、コンピューティング装置は複数のフレームの２次元ＤＣＴ係数または複数のフレームの低帯域係数４３０のうち、基底が上下対称または左右対称のうち少なくとも一つを満足する係数のうち少なくとも一部を抽出することができる。例えば、図示された通り、複数のフレームの低帯域係数４３０のうち、基底が上下対称および左右対称を満足するすべての係数を抽出（７１０）することができる。このように基底が上下対称および左右対称を満足する係数をすべて抽出する場合、２次元ＤＣＴ係数行列でチェック模様の形態で係数が抽出され得る。一実施例で、直流成分の係数は除外され得る。
【0057】
一実施例によると、コンピューティング装置は複数のフレームそれぞれに対して同一基底の係数を抽出することができる。すなわち、すべてのフレームの低帯域係数４３０から同一基底の係数を抽出することができる。
【0058】
一実施例によると、複数のフレームの低帯域係数４３０から抽出された係数は行列（Ｆ）（７２０）で表現され得る。例えば、図示された通り、横軸はフレーム、縦軸は抽出された係数を示し、大きさが［フレーム当たり抽出された係数の数×フレームの数］である行列（Ｆ）（７２０）で表現され得る。行列（Ｆ）（７２０）で一つの行は複数のフレームから抽出された同一基底の係数で構成され得、一つの列は同一フレームから抽出された複数の基底の係数で構成され得る。図示された通り、インデックスが０から始まる場合、行列（７２０）の成分Ｓｍ［ｋ］はｍ＋１番目のフレームから抽出されたｋ＋１番目の基底の係数を示すことができる。
【0059】
図８は、本開示の一実施例に係る映像の指紋８４０を算出する方法の例示を示す図面である。コンピューティング装置は抽出された係数７２０に基づいて、映像の指紋を算出することができる。一実施例によると、コンピューティング装置は抽出された係数７２０から複数のフレームの時間上の変化による抽出された係数の変化量の平均を算出することによって、映像の指紋を算出することができる。
【0060】
具体的には、まず、コンピューティング装置は複数のフレームの時間上の変化による抽出された係数の変化量（８２０）を算出することができる。例えば、変化量（８２０）は抽出された係数７２０のうち、基底が同一の係数の隣接フレーム間の差を計算することによって算出され得る。図示された通り、Ｓｍ［ｋ］がｍ＋１番目のフレームから抽出されたｋ＋１番目の基底の係数である場合、変化量（８２０）Ｄｍ［ｋ］はＳｍ＋１［ｋ］－Ｓｍ［ｋ］で算出され得る。総フレームの数がＭ個である場合、各基底別隣接フレーム間の変化量はＭ－１個（Ｄ０［ｋ］、Ｄ１［ｋ］、…、ＤＭ－２［ｋ］）が算出され得る。
【0061】
その次に、コンピューティング装置は算出された変化量（８２０）の基底別平均（８３０）を算出することができる。例えば、ｋ＋１番目の基底の時間上の変化による係数の変化量の平均ＡｋはＤ０［ｋ］からＤＭ－２［ｋ］までの平均で算出され得る。各フレーム別に抽出された係数の数がＫ個である場合、各基底別平均（８３０）はＫ個（Ａ０、Ａ１、…、ＡＫ－１）が算出され得る。
【0062】
一実施例によると、コンピューティング装置は算出された基底別時間上の変化による係数の変化量の平均（８３０）を順に羅列して映像の指紋８４０を算出することができる。このように算出された指紋８４０は映像の変造の有無の識別に使われ得る。
【0063】
図９は、本開示の原本映像９１０および識別対象映像９２０の例示を示す図面である。著作権の侵害を回避するために、識別対象映像９２０は原本映像９１０から一定の変形が加えられたものであり得る。例えば、識別対象映像９２０は原本映像９１０にノイズを加えたもの（例：ｇａｕｓｓｉａｎ ｎｏｉｓｅ）、原本映像の画質を落としたもの、原本映像にブラーリング処理をしたもの（例：ｇａｕｓｓｉａｎ ｂｌｕｒ）、原本映像を回転させたもの（例：ｒｏｔａｔｅ）、原本映像の一部分または一部のフレームを削除したもの（例：ｃｒｏｐ ｏｒ ｄｒｏｐ）、原本映像の明るさを調整したもの、原本映像にガンマ補正をしたもの（例：ｇａｍｍａ ｃｏｒｒｅｃｔｉｏｎ）、原本映像を拡大、縮小または移動して、意味のない背景を挿入したもの（例：ｚｏｏｍ ａｎｄ ｓｈｉｆｔ）、原本映像を左右反転または上下反転したもの（例：ｆｌｉｐ）であり得る。
【0064】
イメージに対する視覚的に重要な情報の大部分がＤＣＴ係数のうち低帯域係数に集中する特徴があるので、複数のフレームからＤＣＴ係数を算出して低帯域係数のみを抽出しこれを利用して指紋を算出することによって、効果的に原本映像に対する変造の有無を識別することができる。また、映像に変形が加えられてＤＣＴ係数が変更されても、映像に対する視覚的に重要な情報の大部分が残っている場合、ＤＣＴ係数の概略的な変化の様相は類似するため、変造の有無を識別することができる。特に、原本映像を左右反転または上下反転した識別対象映像９２０の場合、低帯域係数のうち基底が上下対称または左右対称のうち少なくとも一つを満足する係数のみを抽出し指紋を算出することによって、変造の有無をさらに効果的に識別することができる。
【0065】
図１０は、本開示の一実施例に係る映像の指紋を抽出する方法（１０００）の例示を示すフローチャートである。方法（１０００）の各段階は少なくとも一つのプロセッサによって遂行され得る。一実施例によると、方法（１０００）はプロセッサが映像に含まれた複数のフレームそれぞれから２次元ＤＣＴ係数を算出することによって開始され得る（Ｓ１０１０）。例えば、プロセッサは複数のフレームそれぞれから複数のピクセル値行列を獲得し、複数のピクセル値行列それぞれから２次元ＤＣＴ係数を算出することができる。
【0066】
その次に、プロセッサは２次元ＤＣＴ係数のうち基底が上下対称または左右対称のうち少なくとも一つを満足する係数を抽出することができる（Ｓ１０２０）。一実施例によると、プロセッサは２次元ＤＣＴ係数のうち低帯域係数を選択し、低帯域係数のうち基底が上下対称または左右対称のうち少なくとも一つを満足する複数の係数を抽出することができる。ここで低帯域係数は基底の横方向の周波数が第１事前に定義された周波数以下であり、基底の縦方向の周波数が第２事前に定義された周波数以下である係数であり得る。また、基底の横方向の周波数および基底の縦方向の周波数がすべて０である係数（直流成分の係数）は除外され得る。低帯域係数を選択する過程および／または直流成分の係数を除く過程は段階（Ｓ１０１０）で遂行されてもよい。
【0067】
プロセッサは抽出された係数に基づいて、映像の指紋を算出することができる（Ｓ１０３０）。一実施例によると、プロセッサは抽出された係数から複数のフレームの時間上の変化による抽出された係数の変化量の平均を算出することによって、映像の指紋を算出することができる。例えば、プロセッサは抽出された係数のうち基底が同一の係数の隣接フレーム間の変化量を算出し、算出された変化量の基底別平均を算出することによって、映像の指紋を算出することができる。このように抽出された映像の指紋は映像の変造の有無の識別に使われ得る。
【0068】
図１１は、本開示の一実施例に係る映像の変造の有無を識別する方法（１１００）の例示を示すフローチャートである。一実施例によると、プロセッサは原本映像の指紋を獲得することができる（Ｓ１１１０）。例えば、データベースに保存された原本映像の指紋を受信したり、プロセッサが本開示の一実施例に係る映像の指紋を抽出する方法により原本映像の指紋を抽出することができる。
【0069】
一実施例によると、プロセッサは識別対象映像の指紋を抽出することができる（Ｓ１１２０）。プロセッサは本開示の多様な実施例に係る映像の指紋を抽出する方法により識別対象映像の指紋を抽出することができ、原本映像の指紋を抽出した方法と同一の方法により識別対象映像の指紋を抽出することができる。
【0070】
プロセッサは獲得された原本映像の指紋と抽出された識別対象映像の指紋を比較して、識別対象映像の変造の有無を決定することができる（Ｓ１１３０）。一実施例で、原本映像と同一の識別対象映像は原本映像から変造されたものと決定され得る。一実施例によると、プロセッサは原本映像の指紋と識別対象映像の指紋をマッチングアルゴリズムに入力して変造の有無を決定することができる。マッチングアルゴリズムは、識別対象映像の指紋の少なくとも一部が原本映像の指紋の少なくとも一部と同一であったり、類似していたり、誤差範囲内である場合、識別対象映像が原本映像から変造されたものと決定することができる。
【0071】
図１０および図１１で図示されたフローチャートは例示に過ぎず、一部の実施例では異なって具現され得る。例えば、一部の段階が追加または省略されたり、一部の段階の順序が変わったり、一部の段階が繰り返し遂行され得る。
【0072】
前述した方法は、コンピュータで実行するためにコンピュータ読み取り可能な記録媒体に保存されたコンピュータプログラムで提供され得る。媒体はコンピュータで実行可能なプログラムを継続して保存するか、実行またはダウンロードのために一時保存するものであってもよい。また、媒体は単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段であり得るが、あるコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散存在するものであってもよい。媒体の例示としては、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含んでプログラム命令語が保存されるように構成されたものがあり得る。また、他の媒体の例示として、アプリケーションを流通するアップストアやその他の多様なソフトウェアを供給乃至流通するサイト、サーバーなどで管理する記録媒体乃至保存媒体も挙げられる。
【0073】
本開示の方法、動作または技法は多様な手段によって具現されてもよい。例えば、このような技法はハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせで具現されてもよい。本願の開示と連係して説明された多様な例示的な論理的ブロック、モジュール、回路、およびアルゴリズム段階は、電子ハードウェア、コンピュータソフトウェア、または両者の組み合わせで具現されてもよいことを通常の技術者は理解できるであろう。ハードウェアおよびソフトウェアのこのような相互代替を明確に説明するために、多様な例示的な構成要素、ブロック、モジュール、回路、および段階がそれらの機能的観点で一般的に上で説明された。そのような機能がハードウェアとして具現されるのかまたはソフトウェアとして具現されるのかの可否は、特定アプリケーションおよび全体システムに賦課される設計要求事項により変わる。通常の技術者はそれぞれの特定アプリケーションのために多様な方式で説明された機能を具現してもよいが、そのような具現は本開示の範囲から逸脱させるものと解釈されてはならない。
【0074】
ハードウェアの具現において、技法の遂行に利用されるプロセッシングユニットは、一つ以上のＡＳＩＣ、ＤＳＰ、デジタル信号プロセッシングデバイス（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ；ＤＳＰＤ）、プログラム可能論理デバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ；ＰＬＤ）、フィールドプログラム可能ゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ；ＦＰＧＡ）、プロセッサ、制御器、マイクロ制御器、マイクロプロセッサ、電子デバイス、本開示に説明された機能を遂行するように設計された他の電子ユニット、コンピュータ、またはこれらの組み合わせ内で具現されてもよい。
【0075】
したがって、本開示と連係して説明された多様な例示的な論理ブロック、モジュール、および回路は汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡや他のプログラム可能論理デバイス、離散ゲートやトランジスタロジック、離散ハードウェアコンポーネント、または本願に説明された機能を遂行するように設計されたものなどの任意の組み合わせで具現されたり遂行されてもよい。汎用プロセッサはマイクロプロセッサであり得るが、代案として、プロセッサは任意の従来のプロセッサ、制御器、マイクロ制御器、または状態マシンであってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと連係した一つ以上のマイクロプロセッサ、または任意の他の構成の組み合わせで具現されてもよい。
【0076】
ファームウェアおよび／またはソフトウェアの具現において、技法はランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ；ＲＡＭ）、読み取り専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ；ＲＯＭ）、不揮発性ＲＡＭ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ；ＮＶＲＡＭ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュメモリ、コンパクトディスク（ｃｏｍｐａｃｔ ｄｉｓｃ；ＣＤ）、磁気または光学データストレージデバイスなどのようなコンピュータ読み取り可能媒体上に保存された命令で具現されてもよい。命令は一つ以上のプロセッサによって実行可能であってもよく、プロセッサ（ら）に本開示に説明された機能の特定様態を遂行させてもよい。
【0077】
以上で説明された実施例が一つ以上の独立型コンピュータシステムで現在開示された主題の様態を活用するものとして記述されたが、本開示はこれに限定されず、ネットワークや分散コンピューティング環境のような任意のコンピューティング環境と連係して具現されてもよい。ひいては、本開示で主題の様相は複数のプロセッシングチップや装置で具現されてもよく、ストレージは複数の装置に亘って類似するように影響を受けることになってもよい。このような装置はＰＣ、ネットワークサーバー、および携帯用装置を含んでもよい。
【0078】
本明細書では本開示が一部の実施例と関連して説明されたが、本開示の発明が属する技術分野の通常の技術者が理解できる本開示の範囲を逸脱しない範囲で多様な変形および変更がなされ得る。また、そのような変形および変更は本明細書に添付された特許請求の範囲内に属するものと考えられるべきである。
【符号の説明】
【0079】
１１０：原本映像
１２０：原本映像の指紋を抽出
１３０：データベース
１４０：識別対象映像
１５０：識別対象映像の指紋を抽出
１６０；マッチングアルゴリズム
１７０：変造の有無を決定
１２０：原本映像の指紋を抽出
１３０：データベース
１４０：識別対象映像
１５０：識別対象映像の指紋を抽出
１６０；マッチングアルゴリズム
１７０：変造の有無を決定
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
