(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6069788
(24)【登録日】2017年1月13日
(45)【発行日】2017年2月1日
(54)【発明の名称】情報処理装置及び情報処理プログラム
(51)【国際特許分類】
H04N 1/387 20060101AFI20170123BHJP
G06T 1/00 20060101ALI20170123BHJP
H04N 19/102 20140101ALI20170123BHJP
H04N 19/136 20140101ALI20170123BHJP
H04N 19/176 20140101ALI20170123BHJP
H04N 19/189 20140101ALI20170123BHJP
H04N 19/196 20140101ALI20170123BHJP
H04N 19/467 20140101ALI20170123BHJP
H04N 19/60 20140101ALI20170123BHJP
H04N 19/63 20140101ALI20170123BHJP
H04N 19/70 20140101ALI20170123BHJP
【FI】
H04N1/387
G06T1/00 500B
H04N19/102
H04N19/136
H04N19/176
H04N19/189
H04N19/196
H04N19/196 300
H04N19/467
H04N19/60
H04N19/63
H04N19/70
【請求項の数】7
【全頁数】23
(21)【出願番号】特願2013-46790(P2013-46790)
(22)【出願日】2013年3月8日
(65)【公開番号】特開2014-175852(P2014-175852A)
(43)【公開日】2014年9月22日
【審査請求日】2016年2月9日
【新規性喪失の例外の表示】特許法第30条第2項適用 平成24年度(第65回)電気関係学会九州支部連合大会論文集において公開、平成24年9月24日に「A watermarking scheme for image authentication and tamper detection using the dual−tree complex discrete wavelet transform and interval arithmetic」について口頭で発表、平成24年度(第5回)ウェーブレット変換およびその応用に関するワークショップ公演論文集において「二重ツリー複素数離散ウェーブレット変換と区間演算に基づく改ざん検知可能な電子透かし法」について公開
(73)【特許権者】
【識別番号】504209655
【氏名又は名称】国立大学法人佐賀大学
(74)【代理人】
【識別番号】100099634
【弁理士】
【氏名又は名称】平井 安雄
(72)【発明者】
【氏名】皆本 晃弥
【審査官】
石田 信行
(56)【参考文献】
【文献】
特開2003−169207(JP,A)
【文献】
Baolong GUO, Leida LI, Jeng-Shyang PAN, Liu YANG, Xiaoyue WU,Robust Image Watermarking Using Mean Quantization in DTCWT Domain,Intelligent Systems Design and Applications, 2008. ISDA '08. Eighth International Conference on,IEEE,2008年11月,Volume:2,p.19 - 22
(58)【調査した分野】(Int.Cl.,DB名)
H04N 1/387
G06T 1/00
H04N 19/102
H04N 19/136
H04N 19/176
H04N 19/189
H04N 19/196
H04N 19/467
H04N 19/60
H04N 19/63
H04N 19/70
(57)【特許請求の範囲】
【請求項1】
周波数分解が可能な処理対象情報に対して周波数変換を行う変換手段と、
生成された複数の高周波成分ごとに当該各成分を複数のブロックに区画し、区画された複数のブロック領域ごとにグループ化し、各グループにおいて所定の条件を満たすブロックを特定するブロック特定手段と、
特定された前記ブロックに所定の値を設定して透かし成分を生成する透かし生成手段と、
生成された前記透かし成分を前記周波数変換された任意の1又は複数の成分に埋め込む透かし埋込手段と、
前記変換手段の逆変換を行って前記透かし成分が埋め込まれた前記処理対象物を生成する逆変換手段とを備えることを特徴とする情報処理装置。
【請求項2】
請求項1に記載の情報処理装置において、
前記ブロック特定手段が、前記各グループにおける成分値が最大となるブロックを特定することを特徴とする情報処理装置。
【請求項3】
請求項1又は2に記載の情報処理装置において、
前記透かし成分が埋め込まれた処理対象物に対して周波数変換を行う第2変換手段と、
前記透かし成分が埋め込まれた成分から当該透かし成分を抽出する透かし抽出手段と、
前記第2変換手段により生成された複数の高周波成分ごとに当該各成分を複数のブロックに区画し、区画された複数のブロック領域ごとにグループ化し、各グループにおいて最大値となるブロックを特定する推定ブロック特定手段と、
特定された前記ブロックに所定の値を設定して推定透かし成分を生成する推定透かし生成手段と、
前記透かし抽出手段により抽出された前記透かし成分と、前記推定透かし生成手段により生成された前記推定透かし成分との差分を演算する差分演算手段と、
前記差分演算手段による演算結果に基づいて、前記処理対象情報の改竄を特定する改竄特定手段とを備えることを特徴とする情報処理装置。
【請求項4】
請求項1ないし3のいずれかに記載の情報処理装置において、
処理対象物に対して周波数変換を行う場合に、区間演算による周波数変換を行うことを特徴とする情報処理装置。
【請求項5】
請求項1ないし4のいずれかに記載の情報処理装置において、
前記周波数変換の処理が、二重ツリー複素ウェーブレット変換又はダイアディックウェーブレット変換であることを特徴とする情報処理装置。
【請求項6】
周波数分解が可能な処理対象情報に対して周波数変換を行う変換手段と、
生成された複数の高周波成分に、生成された低周波成分を所定の定数倍して加算する低周波成分加算手段と、
前記周波数変換された低周波成分、又は、前記低周波成分が加算された前記高周波成分のいずれか1又は複数の成分に透かしを埋め込む透かし埋込手段と、
前記変換手段の逆変換を行って前記透かしが埋め込まれた前記処理対象物を生成する逆変換手段とを備えることを特徴とする情報処理装置。
【請求項7】
周波数分解が可能な処理対象情報に対して周波数変換を行う変換手段、
生成された複数の高周波成分ごとに当該各成分を複数のブロックに区画し、区画された複数のブロック領域ごとにグループ化し、各グループにおいて最大値となるブロックを特定するブロック特定手段、
特定された前記ブロックに所定の値を設定して透かし成分を生成する透かし生成手段、
生成された前記透かし成分を前記周波数変換された任意の1又は複数の成分に埋め込む透かし埋込手段、
前記変換手段の逆変換を行って前記透かし成分が埋め込まれた前記処理対象物を生成する逆変換手段としてコンピュータを機能させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理対象情報に対して透かし成分を埋め込む情報処理装置等に関する。
【背景技術】
【0002】
近年、画像編集ツール等の普及により、誰でも簡単に画像編集が可能である。そのため、例えば、ドライブレコーダなどの記録メディアで保存されたデジタルコンテンツの証拠能力が疑問視されている。デジタルコンテンツの証拠能力を保証するために、デジタルコンテンツに対する改竄を検知する技術を開発する必要がある。
【0003】
電子透かし法に関する技術として、発明者らにより、例えば非特許文献1に示す技術が開示されている。非特許文献1に示す技術は、区間演算と二重ツリー複素数離散ウェーブレット変換に基づいた電子透かし法である。
【先行技術文献】
【特許文献】
【0004】
【非特許文献1】大浦龍二,皆本晃弥、”二重ツリー複素離散ウェーブレット変換と区間演算に基づく電子透かし法”、電気関係学会九州支部連合大会講演論文集、2011年9月16日、64巻、No.3−1A−10
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、非特許文献1に示す技術は、改竄を検知する具体的な手段が記載されておらず、改竄検知に関して不十分な技術であると共に、電子透かしを事前に別途用意しなければならず、透かしの埋め込み及び認証の際に煩わしい処理が必要となってしまうという課題を有する。また、仮に改竄の有無を検知することができたとしても、その位置を正確に特定することは難しく誤検知も多く発生してしまう。
【0006】
本発明は、電子透かしをオリジナルの処理対象情報から生成して利用することができると共に、処理対象情報への改竄を高精度に検知することができる情報処理装置等を提供する。
【課題を解決するための手段】
【0007】
本発明に係る情報処理装置は、周波数分解が可能な処理対象情報に対して周波数変換を行う変換手段と、生成された複数の高周波成分ごとに当該各成分を複数のブロックに区画し、区画された複数のブロック領域ごとにグループ化し、各グループにおいて最大値となるブロックを特定するブロック特定手段と、特定された前記ブロックに所定の値を設定して透かし成分を生成する透かし生成手段と、生成された前記透かし成分を前記周波数変換された任意の1又は複数の成分に埋め込む透かし埋込手段と、前記変換手段の逆変換を行って前記透かし成分が埋め込まれた前記処理対象物を生成する逆変換手段とを備えるものである。
【0008】
このように、本発明に係る情報処理装置においては、周波数変換されて得られた高周波成分から透かし成分を生成し、当該透かし成分をオリジナルの処理対象情報に埋め込むため、事前に電子透かしを用意する必要がなく、処理の手間を省くことができるという効果を奏する。
【0009】
また、オリジナルの処理対象情報に基づいて透かし成分が生成されるため、透かし成分がオリジナルに馴染み易く、オリジナルの情報を壊し難くなるという効果を奏する。
【0010】
本発明に係る情報処理装置は、前記ブロック特定手段が、前記各グループにおける成分値が最大となるブロックを特定するものである。
【0011】
このように、本発明に係る情報処理装置においては、各グループにおける成分値が最大となるブロックを特定して透かし成分が生成されるため、オリジナルの情報に馴染み易い透かしを生成することができるという効果を奏する。
【0012】
また、成分値が最大となるブロックを特定することで、改竄がされやすい箇所(例えば、画像の場合は空や海のような特徴がない平坦な箇所ではなく、特徴的な成分が多く含まれる箇所)に透かし成分が埋め込まれるため、改竄の検出精度を上げることができるという効果を奏する。
【0013】
本発明に係る情報処理装置は、前記透かし成分が埋め込まれた処理対象物に対して周波数変換を行う第2変換手段と、前記透かし成分が埋め込まれた成分から当該透かし成分を抽出する透かし抽出手段と、前記第2変換手段により生成された複数の高周波成分ごとに当該各成分を複数のブロックに区画し、区画された複数のブロック領域ごとにグループ化し、各グループにおいて最大値となるブロックを特定する推定ブロック特定手段と、特定された前記ブロックに所定の値を設定して推定透かし成分を生成する推定透かし生成手段と、前記透かし抽出手段により抽出された前記透かし成分と、前記推定透かし生成手段により生成された前記推定透かし成分との差分を演算する差分演算手段と、前記差分演算手段による演算結果に基づいて、前記処理対象情報の改竄を特定する改竄特定手段とを備えるものである。
【0014】
このように、本発明に係る情報処理装置においては、抽出した透かし成分と、埋め込みの際に生成した方法と同様の方法で得られた推定透かし成分とを比較し、その差分に応じて改竄を特定するため、事前に透かし画像等を用意することなく、確実に改竄を検知することができるという効果を奏する。
【0015】
本発明に係る情報処理装置は、処理対象物に対して周波数変換を行う場合に、区間演算による周波数変換を行うものである。
【0016】
このように、本発明に係る情報処理装置においては、処理対象物に対して周波数変換を行う場合に、区間演算による周波数変換を行うため、低周波成分を含む高周波成分を演算工程において自然に得ることができ、高画質を維持しつつ、ロバストな透かし成分の埋め込みが可能になるという効果を奏する。
【0017】
本発明に係る情報処理装置は、前記周波数変換の処理が、二重ツリー複素ウェーブレット変換又はダイアディックウェーブレット変換であるものである。
【0018】
このように、本発明に係る情報処理装置においては、二重ツリー複素ウェーブレット変換又はダイアディックウェーブレット変換を利用することで、回転やサイズ変更といった幾何学的な攻撃に対してもロバストな透かし成分の埋め込みが可能となり、改竄の有無と共に改竄箇所も正確に特定することができるという効果を奏する。
【0019】
本発明に係る情報処理装置は、周波数分解が可能な処理対象情報に対して周波数変換を行う変換手段と、生成された複数の高周波成分に、生成された低周波成分を所定の定数倍して加算する低周波成分加算手段と、前記周波数変換された低周波成分、又は、前記低周波成分が加算された前記高周波成分のいずれか1又は複数の成分に透かしを埋め込む透かし埋込手段と、前記変換手段の逆変換を行って前記透かしが埋め込まれた前記処理対象物を生成する逆変換手段とを備えるものである。
【0020】
このように、本発明に係る情報処理装置においては、高周波成分に低周波成分を加算することで、高周波成分に透かし成分を埋め込んだ場合であっても、高画質を維持し攻撃に対してロバストな埋め込み情報を得ることができるという効果を奏する。
【図面の簡単な説明】
【0021】
【
図2】IAに基づくDT−CDWTの処理結果の一例を示す図である。
【
図3】IAを用いた場合と用いない場合との画質を比較した結果を示す図である。
【
図4】DWTベースの透かし法とDT−CDWTベースの透かし法との比較結果を示す図である。
【
図5】第1の実施形態に係る情報処理装置における透かしの埋め込み処理に関する機能ブロック図である。
【
図6】第1の実施形態に係る情報処理装置における透かしの埋め込み処理に関する動作を示すフローチャートである。
【
図8】第1の実施形態に係る情報処理装置の認証処理に関する機能ブロック図である。
【
図9】第1の実施形態に係る情報処理装置の認証処理に関する動作を示すフローチャートである。
【
図10】実験に用いた画像サンプルを示す図である。
【
図11】圧縮を施した透かし入り画像から透かしを抽出した場合の赤、緑、青、輝度、青の色差、赤の色差の各成分に関する認証結果を示す図である。
【
図12】いかなる操作も施していない場合の認証結果を示す図である。
【
図13】コントラストを調整した場合の認証結果を示す図である。
【
図14】画像の一部が削除された場合の認証結果を示す第1の図である。
【
図15】画像の一部が削除された場合の認証結果を示す第2の図である。
【
図16】画像の一部が追加された場合の認証結果を示す図である。
【
図17】改竄領域が64ピクセル以下の場合の認証結果を示す図である。
【
図18】いかなる操作も施していない場合の認証結果及びコントラストを調整した場合の認証結果を示す図である。
【
図19】画像の一部が削除又は追加された場合の認証結果を示す図である。
【
図20】いかなる操作も施していない場合の認証結果を示す図である。
【
図21】コントラストを調整した場合の認証結果を示す図である。
【
図22】画像の一部が削除された場合の認証結果を示す図である。
【
図23】画像の一部が追加された場合の認証結果を示す図である。
【発明を実施するための最良の形態】
【0022】
以下、本発明の実施の形態を説明する。本実施形態の全体を通して同じ要素には同じ符号を付けている。
【0023】
(本発明の第1の実施形態)
本実施形態に係る情報処理装置について、
図1ないし
図9を用いて説明する。本実施形態においては、処理対象情報としてドライブレコーダで多く採用されているJPEG画像を用い、ドライブレコーダに対する改竄を検知する場合について説明する。また、周波数変換を区間演算(IA:Interval Arithmetic)に基づく二重ツリー複素離散ウェーブレット変換(DT−CDWT:Dual-Tree Complex Discrete Wavelet Transform)で行うものとする。
【0024】
近年、ドライブレコーダシステムを搭載した車両が増えている。ドライブレコーダシステムは、大きくシングルカメラシステムとダブルカメラシステムとに分類される。シングルカメラシステムは、ドライバの正面の光景のみを視覚的に記録するのに対して、ダブルカメラシステムは、車内のドライバや搭乗者も記録する。ここでは、より広く普及しているシングルカメラシステムの情報を用いるものとする。例えば、衝突事故の場合、ドライブレコーダは、法的手段や保険補償に関してドライバを保護するために利用される。これらの記録情報が現実的な証拠として認められるためには、情報が改竄されていないことを証明する確実な方法が必要である。
【0025】
なお、以下に詳細に説明する本発明に係る情報処理装置は、上記ドライブレコーダの記録情報以外にも、例えば著作権の保護や、その他デジタル情報の照合、認証に利用することが可能である。また、画像情報に限らず、周波数特定を示す音声情報等にも、本発明に係る情報処理装置を適用することができる。
【0026】
本実施形態において用いるDT−CDWTは、完全シフト不変性(PTI:Perfect Translation Invariance)を特徴とし、ウェーブレット係数のエネルギー分布が、空間領域における変化の影響を受けない。このため、改竄された部位を特定するのに有用である。また、多くのドライブレコーダシステムでは、動画を記録するのにモーションJPEG(M−JPEG)フォーマットを採用している。M−JPEGでは、それぞれのビデオフレームやデジタルビデオシーケンスのインターレース領域が個別にJPEG画像として圧縮される。すなわち、これらの動画は静止画の連続で成り立っていることとなる。したがって、本実施形態においては、静止画像への透かしの埋め込み及び認証について考慮すればよい。
【0027】
DT−CDWTについて説明する。対象のデジタル信号{f
l}は、実数及び虚数のスケーリング関数φ
R(t−k)及びφ
I(t−k)(ただしk∈
Z)を用いて、次式で表される。
【0028】
【数1】
【0029】
ここで、関数f(t)は、対象のデジタル信号{f
l}を補間する。すなわち、f
n=f(n)(ただし、n∈
Z)。( ̄φ(t))(上線の表現は、このように括弧書きで括る。以下同様。)はφ(t)の共役複素数、
Zは整数の集合を示す。ここで、DT−CDWTは次の分解アルゴリズムを用いて算出される。
【0030】
【数2】
【0031】
ここで、{a
nR}と{b
nR}は実数の分解シーケンス、{a
nI}と{b
nI}は虚数の分解シーケンスである。{a
nR}、{a
nI}は低域フィルタ、{b
nR}、{b
nI}は広域フィルタとして機能する。上記シーケンスを取りまとめると、
(1)シーケンス{c
j,kR}と{c
j,kI}は、それぞれレベルjの実数及び虚数のスケーリング係数である。
(2)シーケンス{d
j,kR}と{d
j,kI}は、それぞれレベルjの実数及び虚数のウェーブレット係数である。
(3)jの値は周波数に対応する。より具体的には、その成分の周波数は、対応するjの値が小さくなるにつれて大きくなる。この点から、j=0を設定し、それぞれの係数に対してレベル0と−1のみを考える。
(4)式(2.1)より、対象のデジタル信号{f
l}からレベル0の実数及び虚数のスケーリング係数{c
0,kR}、{c
0,kI}を求める。
(5)式(2.1)で求めた{c
0,kR}、{c
0,kI}を用いて、レベル−1の実数及び虚数のスケーリング係数{c
−1,kR}、{c
−1,kI}、式(2.2)の分解アルゴリズムを用いてレベル−1の実数及び虚数のウェーブレット係数{d
−1,kR}、{d
−1,kI}を求める。
(6)2次元のDT−CDWTであるため、演算がより複雑になり、式(2.2)に記載の入力シーケンスは必ずしも{c
0,kR}、{c
0,kI}にはならない。演算処理については、
図1を用いて後述する。
【0032】
DT−CDWTの逆変換は、次の再構成アルゴリズムによって算出される。
【0033】
【数3】
【0034】
ここで、{g
nR}と{h
nR}は、実数の再構成シーケンス、{g
nI}と{h
nI}は、虚数の再構成シーケンスである。式(2.3)、(2.1)及びn∈
Zにおけるfn=f(n)の関係から、元の離散的信号{f
n}が求められる。
【0035】
次に、IAについて説明する。区間Aは実数の集合
Rの連結部分集合である。[a
1,a
2]で示される閉区間は、{t|a
1≦t≦a
2,a
1,a
2∈
R}で得られる実数の組である。本実施形態においては、「区間」という言葉は閉区間を指すこととする。区間Aの下限及び上限をそれぞれinf(A)=a
1及びsup(A)=a
2で表し、いずれかの非空区間Aは、ω(A)=a
2−a
1で定義される。2つの区間A=[a
1,a
2]及びB=[b
1,b
2]について、基本的な四則演算は次のように定義される。
【0036】
【数4】
【0037】
特に、式(2.4)のγ=b
1=b
2を設定する際のスカラー乗法は次式で定義される。
【0038】
【数5】
【0039】
その成分が区間を構成する区間ベクトル及びマトリクスには、各成分にこれらの演算を当てはめる。
【0040】
ただし、一般に区間演算を数値的に厳密な方式で行うことは不可能である。特に、丸め誤差のせいで、式(2.4)に定義された区間を正確に生成することは不可能である。例えば、任意のAとBをA+B(/∈)(斜線の表現は、このように括弧書きで括る。以下同様。)fl(A+B)とするのは可能である。ここで、左辺は正確な合計、右辺は一般的な浮動小数点で数値的に算出したものである。数値的に算出された区間が実際の区間を含まないという状態を避けるために、計算する際に、区間の下端点を常に切り捨て、上端点を切り上げるという丸めルールを用いる。例えば、2つの区間を合わせるとき、num(A+B)=[▽(a
1+b
1),△(a
2+b
2)]として計算を行う。ただし、num(A+B)は数値的に算出された合計を表し、▽及び△は切り捨て及び切り上げの演算をそれぞれ表す。すなわち、A+B⊂num(A+B)の関係は常に満たされる。
【0041】
式(2.4)から式(2.5)に定義された演算によると、一般に、区間の幅は計算した数に比例して大きくなる。この現象は区間拡張と呼ばれ、コンピュータを利用して数学的に厳密な処理を行いたい場合には、極めて不都合な要素であるが、対照的に本実施形態においては、オリジナルの情報から余剰部分を作り出す有用なツールとして利用できる。
【0042】
IAに基づくDT−CDWTについて説明する。IAに基づくDT−CDWTを次式で定義する。
【0043】
【数6】
【0044】
ここで、I(Δ
k)=[1−Δ
k,1+Δ
k]、Δ
kは正の実数である。式(2.6)に含まれる全ての演算はIAを用いて行われるため、c
j−1,nR∈I(c
j−1,nR)、d
j−1,nR∈I(d
j−1,nR)、c
j−1,nI∈I(c
j−1,nI)、d
j−1,nI∈I(d
j−1,nI)が得られ、実際にその関係は、式(2.4)及び式(2.2)によって、
【0045】
【数7】
【0046】
となる。すなわち、IAに基づくDT−CDWTは、元のDT−CDWTを含んでいることとなる。つまり、IAに基づくDT−CDWTは、元の信号から余剰の信号を作り出している。画像の場合、式(2.2)及び式(2.6)を各方向、すなわち垂直方向及び水平方向に当てはめる。この手順を
図1に示す。
図1において、C、D、E及びFは、それぞれ垂直、水平、対角線方向の低周波成分及び高周波成分を示す。上付きの文字R及びIは、それぞれ「実数」及び「虚数」を示す。例えば、
図1のD
−1RIは、式(2.2)に記載の垂直方向の低域フィルタ{a
nR}(実数の分解シーケンス)で求めた係数の集合、及び、水平方向の広域フィルタ{b
nI}(虚数の分解シーケンス)で求めた係数の集合を示す。式(2.6)に基づくD
−1RIに相当する区間の成分は、I(D
−1RI)で示される。D
−1RI(m,n)(0≦m≦N
x/2, 0≦n≦N
y/2, m,n∈
Z)は、(m,n)位置の係数を表す。ここで、m、nはそれぞれ垂直、水平方向の位置、N
x、N
yはそれぞれ画像の垂直、水平方向のサイズを示す。
【0047】
デジタル画像透かし法は、透かし入り画像の堅牢性と画質とのトレードオフの関係がある。低周波成分は画像を表す重要な情報の大部分を含んでいるため、低周波成分に透かしを埋め込むと堅牢性が増すが、透かし入り画像を劣化させてしまう。画質を維持するためには、高周波成分に透かしを埋め込む必要があるが、画像の堅牢性が低減してしまう。IAに基づくDT−CDWTにより得られた高周波成分は、事実上低周波成分を含んでいることがわかる。この特性により、画像の重要な情報の大部分を含んでいる低周波成分を高周波成分のみから得ることができる。
【0048】
図2は、この状態を示している。
図2(A)はD
−1RI、
図2(B)はsup(I(D
−1RI))、
図2(C)はinf(I(D
−1RI))、
図2(D)はsup(I(D
−1RI))−inf(I(D
−1RI))である。また、
図2(E)はsup(I(D
−1RR))−inf(I(D
−1RR))、
図2(F)はsup(I(D
−1RI))−inf(I(D
−1RI))、
図2(G)はsup(I(D
−1IR))−inf(I(D
−1IR))、
図2(H)はsup(I(D
−1II))−inf(I(D
−1II))である。
図2に示すように、例えば、sup(I(D
−1RI))とinf(I(D
−1RI))は、どちらも少量の低周波成分を含んでおり、sup(I(D
−1RI))−inf(I(D
−1RI))の値を正規化することで、これらの低周波成分を抽出することができる。
【0049】
実際に、IAに基づくDT−CDWTを用いた透かし法は、画像圧縮に対してIAを用いないDT−CDWTに比べて堅牢である。
図3はこの状態を示している。
図3(A)は18.8%の圧縮率でJPEG圧縮した透かし入り画像及び抽出した透かし、
図3(B)は18.88%の圧縮率でJPEG圧縮した透かし入り画像及び抽出した透かしを示しており、
図3(A)はIAを用いないDT−CDWTベースの透かし法であり、
図3(B)はIAを用いたDT−CDWTベースの透かし法である。
図3(C)は12.65%の圧縮率でJPEG2000圧縮した透かし入り画像及び抽出した透かし、
図3(D)は12.61%の圧縮率でJPEG2000圧縮した透かし入り画像及び抽出した透かしを示しており、
図3(C)はIAを用いないDT−CDWTベースの透かし法であり、
図3(D)はIAを用いたDT−CDWTベースの透かし法である。
【0050】
図3で実証されているように、二値の透かしには「K」の文字が4つ表示されており、IAを用いた場合の透かしの画質は、IAを用いない場合の透かしの画質に比べて優れていることが明らかである。
【0051】
ここで、離散ウェーブレット変換(DWT:Discrete Wavelet transform)とDT−CDWTの相違について述べる。DWTに基づく透かし法は数多く提案されている。このアプローチの難点は、シフト不変性がないことである。この特性のせいで、DWTベースの透かし法は、回転やサイズ変更などの幾何学的な攻撃に対してロバストではない。これに対して、DT−CDWTはシフト不変であるため、幾何学的な攻撃に対してロバストである。
【0052】
図4に、DWTベースの透かし法とDT−CDWTベースの透かし法との比較を示す。
図4(A)は30度回転した場合の透かし入り画像から抽出した透かし、
図4(B)は0.9のスケーリングで縮小した場合の透かし入り画像から抽出した透かしであり、いずれもDWTベースの透かし法を用いている。
図4(C)は30度回転した場合の透かし入り画像から抽出した透かし、
図4(D)は0.9のスケーリングで縮小した場合の透かし入り画像から抽出した透かしであり、いずれもDT−CDWTベースの透かし法を用いている。DWTベースの透かし法の場合は、抽出した透かしが大きくダメージを受けており、透かしの存在をほとんど確認することができない。これに対して、DT−CDWTベースの透かし法の場合は、抽出した透かしが多少劣化しているものの、透かしの存在は一目で確認することができる。画像認証には改竄されたデータの区域を正確に検出できることが重要であるから、認証のための透かし法を開発する際には、DT−CDWTがDWTより優れている。
【0053】
次に、本実施形態に係る情報処理装置のアルゴリズムを説明する。まず、透かしの埋め込み処理について説明する。
図5は、本実施形態に係る情報処理装置の埋め込み処理に関する機能ブロック図である。情報処理装置1は、オリジナル画像を通常の方法でDT−CDWT演算を行う第1変換部10a、及び、オリジナル画像をIAを用いてDT−CDWT演算を行う第2変換部10bからなる変換処理部10と、第1変換部10aで生成された複数の高周波成分ごとに各成分を、例えば8×8ピクセルのブロックに分割し、分割された複数のブロック領域ごと(例えば、隣接する4ブロックごと)にグループ化し、各グループにおいて最大となるブロックを特定するブロック特定部11と、特定されたブロックに1又は−1を設定して二値の透かしを生成する透かし生成部12と、第2変換部10bで生成された16の区間成分のうち、1又は複数の区間成分に透かしを埋め込む透かし埋込部13と、逆DT−CDWTを行って画像を再構成する逆変換処理部14とを備える。
【0054】
次に埋め込み処理の動作について説明する。
図6は、本実施形態に係る情報処理装置の埋め込み処理に関する動作を示すフローチャートである。まず、第1変換部10aが、オリジナル画像に対して通常の方法でDT−CDWTを適用して、
図1に示す16の成分(C
−1RR,D
−1RR,・・・,F
−1II)を得る(S11)。ブロック特定部11が、S11で得られた各成分を8×8ピクセルのオーバーラップしないブロックに分割し、以下の演算によりWTMM(Wavelet Transform Modulus maxima)を求める。
【0055】
【数8】
【0056】
式(3.2)に示すように、平方根の項は12の高周波成分からなる。各ブロックのWTMM(m,n)の合計を算出し、
図7に示すように4つの隣接するブロック(非オーバーラップ)のうち、成分値が最大となるブロックを特定する(S12)。透かし生成部12が、特定されたブロックにW(m,n)=1又はW(m,n)=−1を設定して透かしWを生成する(S13)。第2変換部10bが、IAを用いたDT−CDWTをオリジナル画像に適用して、
図1のC
−1RR,D
−1RR,・・・,F
−1IIに相当する16の区間成分を求める(S14)。これらは、I(C
−1RR),I(D
−1RR),・・・,I(F
−1II)で表される。16の区間成分から、透かしを埋め込む1又は複数の成分を選び、I(S
i)(i=1,2,・・・,16, 1≦N≦16)とする(S15)。その量S’
iは、区間I(Si)内の点であればどこでもよいが、ここでは仮にS’
i=sup(I(S
i))で定義する。他の区間成分を浮動小数点に置き換える。サイズ(2K+1)×(2L+1)のブロック(ブロック形式のスライディング・ウインドウ)を用いて、以下の演算により平滑化を行う(S16)。
【0057】
【数9】
【0058】
ここで、K及びLは固定の自然数であり、sgn(a)は実数aの通常の符号関数である。以下の演算により、透かしを埋め込む(S17)。
【0059】
【数10】
【0060】
なお、0<α<1は、堅牢性を調整する因子となる。~Si及び浮動小数点に置き換えた成分を用いて、逆DT−CDWTにより画像を再構成し(S18)、透かし入り画像~C
0を得る。
【0061】
削除、追加、差し替えなどの悪意のある操作を検出できることは極めて重要である。また、JPEGやJPEG2000圧縮、コントラスト調整などの悪意のない操作を認証できることも必要である。全ての高周波成分には、形状や輪郭など画像の重要な特徴に関する情報を含んでいるため、本実施形態においては全ての高周波成分を用いて透かしを生成している。悪意のある操作は、高周波成分に対して変化を加えると考えられるため、本実施形態の透かしを用いて、それらを簡単に検出することが可能となる。
【0062】
本実施形態に係る情報処理装置では、認証において必要となる情報は透かしを埋め込んだ成分に関する情報だけである。この情報は、透かしを抽出するのに不可欠となる。以下、認証処理について説明する。
図8は、本実施形態に係る情報処理装置の認証処理に関する機能ブロック図である。情報処理装置1は、透かし入り画像を通常の方法でDT−CDWT演算を行う変換処理部10と、変換された成分から透かし画像を抽出する透かし抽出部21と、埋め込みの処理の場合と同様の方法で、ブロック分割及びグループ化を行って、最大となるブロックを特定する推定ブロック特定部22と、埋め込み処理の場合と同様の方法で、特定されたブロックに1又は−1を設定して推定透かしを生成する推定透かし生成部23と、抽出された透かしと推定透かしとを比較して差分を演算する差分演算部24と、差分が演算された結果に基づいて、改竄の部位を特定する改竄特定部25とを備える。
【0063】
次に認証処理の動作について説明する。
図9は、本実施形態に係る情報処理装置の認証処理に関する動作を示すフローチャートである。まず、変換処理部10が、透かし入り画像~C
0に対して通常の方法でDT−CDWTを適用して、
図1に示す16の成分(~C
−1RR,~D
−1RR,・・・,~F
−1II)を得る(S21)。透かし抽出部21が、透かしを入れた成分~S
iから、符号関数を用いて、~W
i=sgn(|~S
i|−|
~Si|)及び~W
e=Σ
i=1N~W
iを計算し、~W
eを閾値化して二値の透かし~Wを抽出する(S22)。推定ブロック特定部22が、S21で得られた各成分を8×8ピクセルのオーバーラップしないブロックに分割し、以下の演算によりWTMMを求める。
【0064】
【数11】
【0065】
各ブロックのWTMM’(m,n)の合計を算出し、4つの隣接するブロック(非オーバーラップ)のうち、成分値が最大となる推定ブロックを特定する(S23)。推定透かし生成部23が、特定された推定ブロックにW’(m,n)=1又はW’(m,n)=−1を設定して推定透かしW’を生成する(S24)。差分演算部24が、抽出した透かし~Wと推定透かしW’との差分を演算し(S25)、改竄特定部25が、選択したブロックにおいて、閾値γ及び前述の差分d=Σ
m,n|W’(m,n)−~W(m,n)|を用いて、改竄された部位を特定する(S26)。選択したブロックから透かしが抽出できない場合は、dの値が大きくなる傾向がある。そこで、選択したブロックを含む隣接したブロックの集合は改竄されたものであると判断する。
【0066】
このように、本実施形態に係る情報処理装置においては、オリジナル画像から透かし成分を生成し、当該透かし成分をオリジナル画像に埋め込むため、事前に透かしを用意する必要がなく、処理の手間を省くことができる。また、オリジナルの画像に基づいて透かし成分が生成されるため、透かし成分がオリジナルに馴染み易く、オリジナルの情報を壊し難くなる。さらに、各グループにおける成分値が最大となるブロックを特定して透かし成分が生成されるため、オリジナルの情報に馴染み易い透かしを生成することができる。さらにまた、成分値が最大となるブロックを特定することで、改竄がされやすい箇所(例えば、画像の場合は空や海のような特徴がない平坦な箇所ではなく、特徴的な成分が多く含まれる箇所)に透かし成分が埋め込まれるため、改竄の検出精度を上げることができる。
【0067】
(本発明の第2の実施形態)
本実施形態に係る情報処理装置について説明する。本実施形態におては、第1の実施形態で用いたDT−CDWTの代わりに、ダイアディックウェーブレット変換(DYWT:Dyadic Wavelet Transform)を用いるものである。
なお、本実施形態において前記第1の実施形態と重複する説明は省略する。
【0068】
IAに基づくDYWTについて説明する。C
0[m,n]をオリジナルの画像とする。次式で示すDYWTが一般的によく知られている。
【0069】
【数12】
【0070】
ここで、C
k,lj[m,n]=C
j[m+2
jk,n+2
jl],hは、ローパスフィルタ、gはハイパスフィルタである。より正確には、C
j[m,n],D
j[m,n],E
j[m,n],F
j[m,n]は、それぞれ低周波成分、水平方向の高周波成分、垂直方向の高周波成分、及び、両方向の高周波成分である。m及びnは、それぞれ水平方向、垂直方向の位置を示す。また、逆DYWTは、以下のアルゴリズムによって演算される。
【0071】
【数13】
ここで、
【0072】
【数14】
【0073】
であり、~hは双対ローパスフィルタで、~gが双対ハイパスフィルタである。式(4.1)及び式(4.2)を用いてオリジナルの画像C
0が得られる。次に、式(2.4)及び式(4.1)に基づいて、以下のように2次元のIAに基づくDYWTを定義付ける。
【0074】
【数15】
ここで、
【0075】
【数16】
【0076】
であり、δ
k,δ
lは正の実数である。演算は全てIAを用いて実行され、C
j+1⊂IC
j+1、D
j+1⊂ID
j+1、E
j+1⊂IE
j+1及びF
j+1⊂IF
j+1の関係が保たれる。すなわち、IAに基づくDYWTで得られた成分は、通常のDYWTで得られた成分を含む。
【0077】
次に、アルゴリズムについて説明する。アルゴリズムは基本的には、前記第1の実施形態と同じである。異なるのは、DT−CDWTに代わってDYWTを用いているため、分解される周波数成分が
図1に示すような16成分ではなく、上記に示したC、D、E及びFの4つの成分となる。すなわち、WTMMを求める際には、高周波成分であるD、E及びFの3つの項から求めることとなる。また、透かしを埋め込む成分もC、D、E及びFのうちの1又は複数の成分から選ばれることとなる。その他具体的な処理については、第1の実施形態におけるアルゴリズムと同じである。
【0078】
このように、本実施形態に係る情報処理装置においては、DYWTを用いて変換処理を行うため、オリジナルの画像サイズと分解後の画像サイズが同値となり、より細かい透かしの生成及び埋め込みが可能となる。すなわち、改竄箇所の検知をより細かい範囲で特定することが可能となり、ピンポイントに小さな改竄を特定することができる。
【0079】
なお、上記第1の実施形態及び第2の実施形態においては、IAを用いることで高周波成分に低周波成分が含まれるようにしたが、IAを用いずに、意図的に高周波成分に低周波成分の定数倍の成分を加算するようにしてもよい。そうすることで、IAによる弊害(区間拡張やオリジナル画像の劣化)等を防止して、高画質且つ堅牢性を維持しながら、簡単な処理で透かしの埋め込み及び認証を行うことが可能となる。
【0080】
また、上記第1の実施形態及び第2の実施形態に係る情報処理装置の処理は、ROMやRAM等のメモリに記憶されたプログラムをCPUが読み込んで実行することで実現される。また、情報処理装置1は、必要に応じてハードディスクやフラッシュメモリ等の大容量の記憶装置にデータを保存してもよい。さらに、情報処理装置1は、利用者からの操作情報等を入力したり、情報を出力するための入出力インターフェースを備えると共に、外部機器との通信を行うための通信インターフェースを備える構成としてもよい。
【実施例】
【0081】
本発明に係る情報処理装置の能力を評価するために、以下の実験を行った。本実験には、ドライブレコーダで記録した180×288ピクセルの24ビットカラー画像を採用した。周波数変換はIAを用いて行った。実験においては、透かしを4つの成分I(D
−1RR)、I(D
−1RI)、I(D
−1IR)、I(D
−1II)に埋め込んだ。
図10に、オリジナル画像(上段)、WTMM画像(中段)、生成した透かし(下段)を示す。RGB(Red:赤、Green:緑、Blue:青)モデルを採用し、透かしをG成分に埋め込んだ。
【0082】
本実験では、式(2.1)に示した手順は省略した。すなわち、式(2.1)を用いる代わりに、c
0,kR=f
k/2及びc
0,kI=f
k/2を設定し、元のフィルタ長は81だが、そのうち主要な36フィルタだけを用いて演算時間を短縮した。DT−CDWTは完全シフト不変性を持たないが、おおよそのシフト不変性を持っており、以下のような良好な結果を得ることができた。
【0083】
パラメータ値は、ピーク信号対雑音比(SN比:PSNR)の値が著しく低下しないように選択した。SN比は以下の式で求められる。
【0084】
【数17】
【0085】
ここで、N
x及びN
yは、それぞれ水平方向及び垂直方向の画像サイズであり、C
0(i,j,k)と~C
0(i,j,k)における変数kは、RGBの3成分に対応する数を表している。
【0086】
本実験では、35を上回るPSNRを必要とし、α及びΔ
kは、JPEG及びJPEG2000圧縮に対する堅牢性を最大化するため、できる限り大きくした。以下の表1〜4は、本実験で使用するパラメータを決めるための予備の実験結果を示す。表1〜4は、赤(R)、緑(G)、青(B)、輝度(Y)、青の色差(Cr)、赤の色差(Cb)の各成分に関するPSNRを示しており、表1はK=L=10、Δ
k=0.006、表2はK=L=5、Δ
k=0.006、表3はK=L=10、α=0.9、表4はK=L=10、α=0.7の場合の結果を示している。
【0087】
【表1】
【0088】
【表2】
【0089】
【表3】
【0090】
【表4】
【0091】
表1及び表2によると、K及びLはPSNRに目立った影響を及ぼさない。一方、表3及び表4から、Δ
k及びαがPSNRに強い影響を与えていることを示している。これらの結果にしたがって、Δ
k=0.006、K=L=10、α=0.9として実験を行った。
【0092】
次に、表1〜4によると、透かしをどの成分に埋め込んだとしてもPSNRはごく僅かしか変わらないことがわかる。また、
図11に、圧縮を施した透かし入り画像から透かしを抽出した場合の赤(R)、緑(G)、青(B)、輝度(Y)、青の色差(Cr)、赤の色差(Cb)の各成分に関する認証結果を示す。
図11(A)はJPEG圧縮(QF=60)、
図11(B)はJPEG2000圧縮(QF=7)の場合である。これらの結果から、圧縮攻撃に対する堅牢性を実現するために、G成分に透かしを埋め込むことで、JPEG圧縮及びJPEG2000圧縮(悪意のない通常の操作)が施された画像を通過させられることを示している。さらに、1つの8×8ピクセルのブロックが25%を超えて改竄されている場合に改竄された部位を特定できるように、閾値γ=32とした。
【0093】
図12にいかなる操作も施していない場合の認証結果、
図13にコントラストを調整した場合の認証結果を示す。それぞれの図において、
図12(A)及び
図13(A)は透かし入り画像、
図12(B)及び
図13(B)は抽出した透かし、
図12(C)及び
図13(C)は推定透かし、
図12(D)及び
図13(D)は差分画像、
図12(E)はいかなる操作も施していない場合の認証結果の画像、
図13(E)はコントラストを調整した場合の認証結果の画像を示している。これらはどの部分も改竄されていないことを示している。
図12及び
図13に示すように、コントラスト調整のような悪意のない操作については、差分画像に差異が表れず、認証を通過することが可能であることが示された。
【0094】
図14及び
図15に画像の一部が削除された場合の認証結果、
図16に画像の一部が追加された場合の認証結果を示す。
図14において、上段は交通標識が削除された場合、中段は建物が削除された場合、下段は人と自動車が削除された場合の認証結果を示しており、右側の画像の斜線部分は攻撃された部位の位置を示している。
図15において、上段は近づいてくる車両が削除された場合、中段は街灯が削除された場合、下段は道路脇の溝が削除された場合の認証結果を示しており、右側の画像の斜線部分は攻撃された部位の位置を示している。
図16において、上段は歩行者が追加された場合、中段は横断歩道が追加された場合、下段は歩行者が追加された場合の認証結果を示しており、右側の画像の斜線部分は攻撃された部位の位置を示している。
【0095】
図14ないし
図16で示されるように、本発明の情報処理装置では、悪意のある攻撃を確実に検出し、且つ、その攻撃部位を正確に特定できることが明らかである。
【0096】
図17に改竄領域が64ピクセル以下の場合の認証結果を示す。すなわち、本実験においては、改竄される部位が1ブロック8×8ピクセルより大きいことを想定してブロックを設定しているため、8×8ピクセルよりも小さいサイズの改竄について検討した。
図17において、上段は改竄領域が64ピクセル、中段は改竄領域が40ピクセル、下段は改竄領域が56ピクセルの場合を示す。
図17に示されるように、改竄領域が1ブロック未満のサイズであっても、改竄の有無及び改竄部位を正確に特定することができることが明らかとなった。
【0097】
なお、この1ブロックのサイズ設定は、使用態様に応じて任意に設定することができる。例えば、コンテンツの利用者に透かしの存在を認識させたい場合には、ブロックのサイズを大きく設定することで、透かしが入っていることを意識させることができる。また、逆に、透かしによる画質の劣化を防止したい場合には、ブロックサイズを小さく設定することで、透かしを意識することなくコンテンツを利用することができる。
【0098】
次に、DYWTを行った場合の実験結果を示す。表5ないし表7に本実験で使用するパラメータを決めるための予備の実験結果を示す。表5〜7は、赤(R)、緑(G)、青(B)の各成分に関するPSNRを示しており、表5はK=L=10、γ=3、表6はK=L=20、γ=3、表7はK=L=20、γ=2の場合の結果を示している。
【0099】
【表5】
【0100】
【表6】
【0101】
【表7】
【0102】
表5及び表6によると、K及びLはPSNRに目立った影響を及ぼさない。一方、表7は、δ
klがPSNRに影響を及ぼすことが示されている。これらの結果にしたがって、γ=3のときはδ=δ
k=δ
l=0.0200、K=L=20とし、γ=2のときはδ=δ
k=δ
l=0.0350、K=L=20とした。また、上記と同様の理由で、圧縮攻撃に対する堅牢性を実現するために、G成分に透かしを埋め込む。
【0103】
図18にいかなる操作も施していない場合の認証結果及びコントラストを調整した場合の認証結果を示す。
図18(A)、(E)は透かし入り画像、
図18(B)、(F)は抽出した透かし、
図18(C)、(G)は推定透かし、
図18(D)はいかなる操作も施していない場合の認証結果の画像、
図18(H)はコントラストを調整した場合の認証結果の画像を示している。
図18に示すように、コントラスト調整のような悪意のない操作については、認証を通過することが可能であることが示された。
【0104】
図19に画像の一部が削除又は追加された場合の認証結果を示す。
図19(A)、(E)は透かし入り画像、
図19(B)、(F)は抽出した透かし、
図19(C)、(G)は推定透かし、
図19(D)は街灯が削除された場合の認証結果の画像、
図19(H)は歩行者が追加された場合の認証結果の画像を示している。なお、右側の画像の斜線部分は攻撃された部位の位置を示している。これらの結果から、悪意のある改竄に対して、その改竄の有無及び改竄位置を正確に特定することが可能であることが示された。
【0105】
図20ないし
図23に、改竄がない場合とある場合との認証結果を示す。
図20にいかなる操作も施していない場合の認証結果、
図21にコントラストを調整した場合の認証結果を示す。それぞれの図において、上段は透かし入り画像、下段は抽出した透かしと推定透かしとの差分画像である。いずれの場合も、悪意のない操作で認証を通過することができる。
図22に標識を削除した場合の認証結果、
図23に横断歩道を追加した場合の認証結果を示す。それぞれの図において、上段は透かし入り画像、下段は抽出した透かしと推定透かしとの差分画像である。
図22及び
図23から、上記のDT−CDWTを用いた場合と比べて、全体的に改竄領域をより正確に細かく特定していることがわかる。DYWTによって得られた各周波数成分のサイズは、オリジナルの画像サイズと同じであるため、DT−CDWTと比べてより小さいサイズのブロックを用いることができる。すなわち、改竄領域をより正確に細かく特定することが可能となる。
【符号の説明】
【0106】
1 情報処理装置
10 変換処理部
10a 第1変換部
10b 第2変換部
11 ブロック特定部
12 透かし生成部
13 透かし埋込部
14 逆変換処理部
21 透かし抽出部
22 推定ブロック特定部
23 推定透かし生成部
24 差分演算部
25 改竄特定部