(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024088223
(43)【公開日】2024-07-02
(54)【発明の名称】電子透かしの埋め込み及び抽出方法
(51)【国際特許分類】
H04N 1/32 20060101AFI20240625BHJP
H04N 1/387 20060101ALI20240625BHJP
G06T 3/18 20240101ALI20240625BHJP
【FI】
H04N1/32 144
H04N1/387 110
H04N1/387
G06T3/00 770
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022203286
(22)【出願日】2022-12-20
(71)【出願人】
【識別番号】711001893
【氏名又は名称】河村 尚登
(72)【発明者】
【氏名】河村尚登
【テーマコード(参考)】
5B057
5C076
【Fターム(参考)】
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CD11
5B057DA07
5B057DB02
5B057DB06
5B057DB09
5B057DC25
5C076AA13
5C076AA23
5C076BA06
5C076CA06
5C076CA07
(57)【要約】
【課題】Annotation用途での電子透かしとして,画像非依存性,環境非依存性,プリント・スキャン耐性,汚れ・傷耐性,高セキュリティの他,高精度な補正画像の取得と高精度なブロック同期を得ることが課題である。
【解決手段】画像データをブロックに分割し,ブロック毎にグリーンノイズパターンを用いて透かし情報を埋め込む電子透かし法で,画像データの平滑化,適応的な埋め込み,マーカパターンの埋め込み,マーカの位置および色情報による補正画像の生成,適応的な透かし抽出などを組み合わせることで,画像非依存,環境非依存で,プリント・スキャン耐性,汚れ・傷耐性のある正答率の高い透かし抽出が可能となった。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像データI(x,y)をブロックに分割し,ブロック毎にそのスペクトル強度が高周波数域と低周波数域で低下したグリーンノイズ特性を示すグリーンノイズパターンpi(x,y)を用いて透かし情報を埋め込む電子透かし法において,
透かしの埋め込みは,ブロック毎に適応的な埋め込みを行い,同時に透かしの埋め込んだ画像の4端にマーカパターンを埋め込み,
埋め込まれた画像を印刷,あるいは表示し,カメラやスキャナで読み取った画像から,マーカの位置および色を検出して補正画像を生成し,
透かしの抽出は,補正画像をブロックに分割し,各ブロックから透かしを抽出する際,基準のブロック,およびx,y方向にずらしたブロックからの抽出情報から透かし情報を抽出する,
事を特徴とする電子透かし埋め込み及び抽出方法。
【請求項2】
前記透かしの適応的な埋め込みは,ブロックに透かしを埋め込んだ後,そのブロックの透かし情報と信頼度を抽出し,透かし情報が埋め込んだ時の透かし情報と異なるか信頼度が基準値よりも低い場合には,埋め込みの強度(gain)を一定量増加して再度埋め込むことを繰り返し,抽出された透かし情報が埋め込んだ時の透かし情報と一致し,かつ,信頼度が基準値以上になった段階で次のブロックの埋め込み操作を行うことを特徴とする請求項1に記載の電子透かしの埋め込み及び抽出方法。
【請求項3】
前記マーカパターンは,単色で上下左右対称の放射状パターンで,4端に埋め込むマーカパターンの色配列は画像サイズにより異なり,
マーカの位置検出は,マーカパターンと同じ放射状のマーカ検出パターンを用いて埋め込み画像をスキャンし,相関値の高い点をマーカ位置とし,その位置のマーカの色を検出し,
かかるマーカの位置および色情報から射影変換にて補正画像を生成することを特徴とする請求項1に記載の電子透かし埋め込み及び抽出方法。
【請求項4】
前記透かしの抽出において,基準ブロックおよび,基準ブロック位置からx,y方向に±Δ画素ずれた複数のブロックからの透かし情報と信頼度を抽出し,その中で最も信頼度の高いものを透かし情報として抽出することを特徴とする請求項2あるいは請求項3に記載の電子透かし埋め込み及び抽出方法。
【請求項5】
前記透かしの抽出において,基準ブロックで透かし情報及び信頼度を抽出し,その信頼度が一定の基準値より高い場合は,その透かし情報を抽出された透かし情報とし,信頼度が低い場合は,基準ブロックおよび基準ブロックの位置からx,y方向に±Δ画素ずれた複数のブロックからの透かし情報と信頼度を抽出し,その中で最も信頼度の高いものを抽出透かし情報とすることを特徴とする請求項2あるいは請求項3に記載の電子透かし埋め込み及び抽出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は,デジタル画像データに情報を埋め込む不可視の電子透かしの埋め込み及び抽出の方法に関するもので,特に、透かし情報を埋め込まれた印刷画像や表示画像をカメラやスキャナなどで読み取り,画像中に埋め込まれた透かし情報を正確に抽出出来,かつセキュリティの高い電子透かしの埋め込み及び抽出の方法に関するもので有る。
【背景技術】
【0002】
文書や画像の中に情報を埋め込み,埋め込まれた情報を後で読み取り,著作権保護や偽造防止を目的として用いたり,読み取った情報をメタデータや注釈としてアプリと連動するAnnotationなど,様々な活用をする電子透かし法が多く提案されている。なかでも,Annotationとしての応用は、関連する情報,例えば,URLなどを画像の中に埋め込み,カメラやスマートフォン,スキャナなどで読み取ることによりネットに誘導して特定のアプリと連動することで,画像とネットとの融合を可能とし,今最も注目されている技術である。
【0003】
ユーザをネットに誘導する現状の方式として、バーコード,二次元バーコードなどがある。ユーザはこれらのコードをスマートフォンなどで読み取ることにより、関連するホームページに誘導したり、様々な情報を得ることができる。特に,二次元バーコードは,白紙の上に白/黒の微小なコードパターンを二次元配列して情報を埋め込むため,高密度に埋め込むことが出来,高精度,高信頼度で高容量の埋め込みと識別が可能である。また,誤り訂正符号や同期用のパターンも組み込まれているため,傷や汚れにも強く,同期エラーの発生も抑えられるため,様々な環境下で用いることが出来る。このため,現在,最も多く利用されている。
【0004】
しかし,二次元バーコードはユーザにとっては意味のない無味乾燥なドットパターンで,そのパターンからは何のための情報化などの意味・内容が推測できず、興味を引くようなものではない。そのため,関連する文章や画像のそばに置かれ,余分なスペースが必要となる。
【0005】
また,二次元バーコードなどは可視の下地が無色のパターンで,かつ,ドットパターンの埋め込み方法は公開されているため,第三者が容易に改竄することが可能である。埋め込み情報が暗号化されていても,書き換えによリ情報をかく乱させることが可能で,セキュリティ上は無防備である。
【0006】
一方,電子透かしで関連する画像の中に情報を埋め込むAnnotationとしての応用は、関連する画像内に情報を埋め込み,二次元バーコードと同じように用いることが出来る。余分なスペースを必要とせず,どのような画像にでも埋め込むことが出来るため自由度が高く,デザイン的にも優れている。
【0007】
かかる電子透かしによるAnnotationとしての応用では,電子データのみならず,印刷物や,ディスプレイなどの表示画像からも情報抽出が出来,かつ高い正答率が必要である。また,どのような画像に対しても埋め込むことが出来,撮影時の照明環境にも影響されず,多少の傷や汚れに対しても耐性がなければならない。従って,著作権保護における電子透かしに対する要件とは異なり,より厳しいものとなる。
【0008】
つまり,Annotation用の電子透かしとして用いるためには,画像非依存性,環境非依存性,プリント・スキャン耐性,汚れ・傷耐性は必須の要件となる。そのうえで,第三者が勝手に書き換えることを阻止するセキュリティ対策が必要要件となる。
【0009】
また,用途によって必要な情報量が変わる。このため電子透かしとしてはブロック分割型の電子透かしが必要である。大きな情報を埋め込むためには画像サイズを大きくすればよいからである。
【0010】
このAnnotation用電子透かしとして,発明者はこれまでブロック分割型で印刷スキャン耐性のあるグリーンノイズ拡散型電子透かし方法を提案してきた。グリーンノイズ特性を示すドットパターンはそのスペクトルが高周波数域と低周波数域で低減した特性を示し,プリンタやスキャナでは解像するが人の目では視認され難い(解像できない)周波数帯に設定することで,高画質で,プリント・スキャン耐性を持つ電子透かしが可能となる。そして,ブロック型で埋め込み情報量にも自由度がある。
【0011】
しかしながら,ブロック分割型の電子透かしでは,抽出時,ブロックとの同期が抽出時の正答率を左右する大きな要因となる。つまり,埋め込み時と同じブロック分割が行われないと,抽出時に抽出エラーが生じ,正確な情報抽出が出来なくなる。
【0012】
透かしの埋め込まれた画像をカメラなどで撮影した場合,撮影時の位置や方向で台形ひずみが生じるため,補正画像処理が必要となる。この補正画像処理をされた画像をブロック分割し透かしの抽出を行うが,補正処理の精度,カメラの歪曲収差,被写体のたるみ等から,正確な補正画像を得ることは難しく,同期エラーが生じる原因となる。
【0013】
従って,Annotation用途での電子透かしに求められる要件は,画像非依存性,環境非依存性,プリント・スキャン耐性,汚れ・傷耐性,高セキュリティの他,高精度な補正画像の取得と高精度なブロック同期を得ることも重要である。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】特開2018-182471号公報
【特許文献2】特願2017-105128号公報
【特許文献3】特願2017-117460号公報
【特許文献4】特願2018-088962号公報
【特許文献5】特願2018-216362号公報
【特許文献6】特願2019-000178号公報
【特許文献7】特願2019-087181号公報
【発明の概要】
【発明が解決しようとする課題】
【0015】
Annotation用途での電子透かしとして,画像非依存性,環境非依存性,プリント・スキャン耐性,汚れ・傷耐性,高セキュリティの他,高精度な補正画像の取得と高精度なブロック同期を得ることが課題である。
【課題を解決するための手段】
【0016】
そのため,本発明は,画像データI(x,y)をブロックに分割し,ブロック毎にそのスペクトル強度が高周波数域と低周波数域で低下したグリーンノイズ特性を示すグリーンノイズパターンpi(x,y)を用いて透かし情報を埋め込む電子透かし法において,透かしの埋め込みは,ブロック毎に適応的な埋め込みを行い,同時に透かしの埋め込んだ画像の4端にマーカパターンを埋め込み,埋め込まれた画像を印刷,あるいは表示し,カメラやスキャナで読み取った画像から,マーカの位置および色を検出して補正画像を生成し,透かしの抽出は,補正画像をブロックに分割し,各ブロックから透かしを抽出する際,基準のブロック,およびx,y方向にずらしたブロックからの抽出情報から透かし情報を抽出する事を特徴とする。
【0017】
また,前記透かしの適応的な埋め込みは,ブロックに透かしを埋め込んだ後,そのブロックの透かし情報と信頼度を抽出し,透かし情報が埋め込んだ時の透かし情報と異なるか信頼度が基準値よりも低い場合には,埋め込みの強度(gain)を一定量増加して再度埋め込むことを繰り返し,抽出された透かし情報が埋め込んだ時の透かし情報と一致し,かつ,信頼度が基準値以上になった段階で次のブロックの埋め込み操作を行うことを特徴とする。
【0018】
また,前記マーカパターンは,単色で上下左右対称の放射状パターンで,4端に埋め込むマーカパターンの色配列は画像サイズにより異なり,マーカの位置検出は,マーカパターンと同じ放射状のマーカ検出パターンを用いて埋め込み画像をスキャンし,相関値の高い点をマーカ位置とし,その位置のマーカの色を検出し,かかるマーカの位置および色情報から射影変換にて補正画像を生成することを特徴とする。
【0019】
また,前記透かしの抽出において,基準ブロックおよび,基準ブロック位置からx,y方向に±Δ画素ずれた複数のブロックからの透かし情報と信頼度を抽出し,その中で最も信頼度の高いものを透かし情報として抽出することを特徴とする。
【0020】
また,前記透かしの抽出において,基準ブロックで透かし情報及び信頼度を抽出し,その信頼度が一定の基準値より高い場合は,その透かし情報を抽出された透かし情報とし,信頼度が低い場合は,基準ブロックおよび基準ブロックの位置からx,y方向に±Δ画素ずれた複数のブロックからの透かし情報と信頼度を抽出し,その中で最も信頼度の高いものを抽出透かし情報とすることを特徴とする。
【発明の効果】
【0021】
以上のようにすることにより,Annotation用途での電子透かしとして,どのような画像,どのような環境においても安定して高い透かし抽出の正答率を得ることが可能となる。また,ブロック型の電子透かし法でのブロック同期のエラーを回避し,抽出透かし情報の正答率が向上する。すなわち,画像非依存性,環境非依存性,プリント・スキャン耐性,汚れ・傷耐性,高セキュリティの他,高精度な補正画像の取得と高精度なブロック同期を得ることが可能となる。
【図面の簡単な説明】
【0022】
【
図1】本発明の透かしの埋め込みにおけるシステム構成を表す図
【
図2】本発明の透かし情報の埋め込み及び抽出の流れを示す図
【
図4】生成されたググリーンノイズ・ドットパターンとそのスペクトル分布を表す図
【
図10】適応的抽出処理でのブロックの変動を表す図
【
図13】本発明で用いられるニューラルネットワークの構成図
【
図15】透かし埋め込み画像にマーカパターンを付加した図
【
図16】各画像サイズにおける埋め込み文字数,マーカ色,印刷サイズの関係を示す図
【発明を実施するための形態】
【0023】
図1は透かしの埋め込みにおけるシステム構成を表すもので,パーソナルコンピュータ3に、埋め込用の画像(カバー画像)がメモリ5あるいは,ハードディスクなどのデータメモリ7に取り込まれる。透かし情報はキーボード9より入力し透かし埋め込みのための画像処理プログラムはプログラムメモリ6に保存され,CPU 11や,ROM 4,RAM 5などを用いて埋め込み処理が実行される。透かしの埋め込まれた画像は,モニター8に表示される。埋め込まれた画像はプリンタ2でプリントされたり,通信機能10を介して,ネットに配信を行う。
【0024】
図2は透かし情報の埋め込み及び抽出の流れを示す図で,透かし情報12を埋め込まれた埋め込み画像13は印刷(14),あるいはディスプレイなどで表示される(15)。この画像をスマートフォンのカメラなどの入力装置により撮影されて(16),スマートフォンなどに取り込まれ,透かし抽出の処理が行われる(17)。抽出情報は専用アプリと連携したり(18),ネットを介して特定のホームページへ導く(19)など,様々な展開が行われる。
【実施例0025】
以下,実施例に沿って説明する。まず,埋め込みに用いる分散ドットパターンの生成について説明する。
図3は分散ドットパターンとしてグリーンノイズ・ドットパターンの生成フローを示したものである。グリーンノイズ・ドットパターンは,以下のStepで生成する。
Step1: まず,初期値としてブロックサイズがR×Rの領域に(R^2)/2個のランダムドットを配置しpi(x, y)とする(20)。ここで添え字i は多値数を表す。例えば,二値の場合はi=0,1,四値の場合はi=0,1,2,3 となる。また,^はべき乗を表す。R=32の場合,512個の黒ドットと白ドットをランダムに配置する。初期値はホワイトノイズ特性を示す。
Step2: 次に,ドットパターンの二次元フーリエ変換を行い,Pi(fx,fy )を得る(21)。
Step3: Pi(fx,fy )に対して周波数fx,fyが,fx,min≦fx≦fx,max ,fy,min≦fy≦fy,max の帯域に制限するフィルタDi(fx,fy)を乗じて新たなスペクトル特性P‘i(fx,fy)を得る(22)。
Step4: P‘i(fx,fy)に逆フーリエ変換を行い,多値のドットパターンp’i(x,y)を得る(23)。
Step5: 誤差: e(x,y)=p‘i(x,y)-pi(x,y)
を求め,誤差の大きい順に白,黒反転する(24)。
Step2~5を繰り返し行い,誤差が一定の値Th以下になった時に終了し最終的なパターンを得る(25)。
【0026】
かかる方法で得られたドットパターンは,そのスペクトルが最大周波数fmaxおよび最小周波数fminの中間周波数帯域に分布する,いわゆるグリーンノイズ特性を示すクラスター型の分散ドットパターンとなる。かかる中間周波数帯域をうまく調整することにより,人の目では煮えにくいが,プリンタやカメラでは解像する(見える)ドットパターンが得られる。
【0027】
電子透かし用の埋め込みパターンとするためには,四値の場合,埋め込みビット“00”,“01”,“11”,“10”に対応させた4種類の異方性パターンを作成し,四値のグリーンノイズ・ドットパターンを得る。
図4に32画素x32画素のグリーンノイズ・ドットパターンおよびそのスペクトルを示す。4種類のパターンpi(x,y) (i=0, 1, 2, 3) はスペクトルが楕円形状で,それぞれ45°づつ回転したものとなっている。コードの割り振りはハミング距離が1のグレイコードとする。
【0028】
ここで,Step1において,初期値の乱数を異なるものにすることにより,得られるドットパターンは異なる。すなわち,疑似乱数発生器で乱数発生のSeed(種)値を変えることによりドットパターンを変えることが可能となる。RxRのブロックでは, R*R C (R*R/2) だけの異なるドットパターンが可能で,Rが大きければ,ほぼ無限にあるといえる(ここで,CはConbinationを表す)。しかし,スペクトル形状は変化しない。このため,後述の抽出用のソフトウェアは変更なしで共通に使える。
【0029】
次に,カモフラージュ・パターンについて説明する。カモフラージュ・パターンは,反転パターンと位相シフトパターンとから構成される。
図5にp1(x,y)に対する反転パターンを示す。反転パターンは以下の様にして作成される。
σ=0: pi (x,y)のパターン (基本パターン)
σ=1: pi (x,y)の上下反転パターン
σ=2: pi (x,y)の左右反転パターン
σ=3: pi (x,y)の上下左右反転パターン
σ=4: pi (x,y)のネガパターン
σ=5: pi (x,y)の上下反転のネガパターン
σ=6: pi (x,y)の左右反転のネガパターン
σ=7: pi (x,y)の上下左右反転のネガパターン
上下,左右の方向は,それぞれ楕円の長軸および短軸方向に対して行う。ネガパターンは白ドットと黒ドットを反転させたパターンで,白ドット数と黒ドット数は同数であるため,反転させても個数は変わらない。一つのpi(x,y)に対して合計8個の異なるドットパターンσj(j=0,1,2,…7)が生成され,すべて同じスペクトル特性を示す。
【0030】
ここで,ドットパターンpi(x,y)をσをパラメータとし,pi(σ, x, y)と3次元の配列で表記する。後述の様にσ(0≦σ≦7の整数値)を乱数で選ぶことによりランダムな反転パターンが得られる。
【0031】
次に,位相シフトパターンは,パターンの開始位置をずらしたパターンである。今,シフト量をr とすると,r はx方向とy方向の成分があり(X, Y) で表わすことにする。ここで,0≦X, Y≦Rー1である。かかる(X,Y)は乱数を発生させてランダムに決める。位相をシフトした位相シフトパターンは,位相シフトの無いパターン(基本パターン)から以下の式で表される。
pi(σ, x, y)の(X,Y)だけ位相をシフトしたパターン:
pi(σ, (x+X) mod R, (y+Y) mod R ) (2)
図6にp0のパターン(基本パターン)に対する位相シフトパターンの一例を示す。元来,グリーンノイズ・ドットパターンは,一様に分布したランダムなドット配置のため,並べて配置しても,その境界が識別できないし,位相シフトしても境界線は視認されない。位相シフトパターンは,一つの グリーンノイズパターンに対してR^2個の異なるパターンが生成可能で,また,全て同じスペクトル特性を示す。このため,反転パターン同様,抽出用のソフトウェアは変更なしで共通に使える。
【0032】
次に透かし情報の埋め込み方法について説明する。
透かし情報の埋め込みは,カラー画像データの輝度信号に埋め込む。これは印刷時,及びカメラやスキャナでの読み取り時,印刷インクや色分解フィルタの色分離性能が理想的なものではないので,各色間のクロストークが起き,透かし抽出精度が低下するのを防ぐためである。
【0033】
埋め込みは,映像データの各フレームの画像データI(x, y)を,R画素×R画素 のブロックに分割し,それぞれのブロックに対して透かしビット情報に対応したグリーンノイズパターンで順次埋め込むものとする。画像サイズをW画素xH画素とすると,1フレーム当たりのブロック数Nは,W/R」*H/R」となる(ここで」は小数以下切り捨てを示す)。
【0034】
続いて
図7のフローで,埋め込みの具体的処理を示す。まず,埋め込み操作を行う前に埋め込む透かし情報をビット列に展開し,かつ,誤り訂正符号を付加する(20)。続いて,埋め込まれる画像を微小な画像平滑を行う(21)。
【0035】
かかる画像平滑は,様々な画像に対する画像依存性を排除し,どのような画像でも高い正答率を得る画像安定性を得るものである。但し,平滑化が大きいと画像の鮮鋭度が失われるため微小の平滑化を行う。例えば,2画素の平滑化を行えば,平滑化後の画像の最高周波数は1/2となる。つまり,ブロック内の画像のナイキスト周波数は1/2となり,グリーンノイズスペクトルとのオーバーラップは減少し,正確な透かし抽出が出来るようになる。このため,画像安定性が向上する。また3画素の平滑化をGaussianフィルタで行っても良い。かかる平滑化は平滑化フィルタを画像に畳み込み(Convolution)操作することにより行われる。
【0036】
次に画像をR×Rのブロックに分割し(22),各ブロックに透かし情報を埋め込んでいく。ブロックサイズRは,通常32を使う。小さいブロックサイズ(例えばR=16)は,埋め込み情報量を増やすことが出来るが,スペクトル分布からの透かし抽出精度が低下する。逆に大きいブロックサイズ(例えばR=64)は,抽出精度は向上するが埋め込み情報量が減少する。スペクトル計算が高速に実行されるように,通常Rは2のべき乗のサイズを用いる。
【0037】
埋め込みは,まず最初のブロック番号n=1 から始める(23)。このブロックに,まず,埋め込み強度gで埋め込みを開始する(24)。各ブロックにおいて,反転パターンおよび位相シフトパターンに与える値(σ,X,Y) を乱数で与える。反転パターンの指標σに対してはSeed1を種とする乱数発生器で0~7のランダムな整数値列で生成し,位相シフト量X,Yに対してはSeed2による乱数発生器で0~R-1のランダムな整数値列で生成する。つまり,これらの値はブロック毎に異なる。また,Seed1,Seed2を画像毎に変えれば,画像間でも異なる。
埋め込みに用いられるパターンは以下の式で表される。
p‘i(σ,x, y)= pi(σ, (x + X) mod R, (y + Y) mod R)(3)
この反転および位相シフトによるパターンp‘i(σ,x, y)を用いて,次式のようにブロック毎に埋め込みを行う。
W(x, y)=I(x, y)+ g・ p‘i(σ,x, y) (4)
ただし,W(x, y)は透かしの埋め込まれた画像,I(x, y)は埋め込み前の画像,gは埋め込み強度を表す。以上の様にして,透かし情報が画像データに埋め込まれる。一つのブロック(n番目のブロック)の埋め込みが終わると,次のブロック(n+1番目のブロック)(31)に移り,全ブロックが終了した段階で(29),埋め込みが完了する。
【0038】
次に,適応的な埋め込みについて説明する。適応的な埋め込みは,一つのブロックの埋め込みが終了した段階で,埋め込まれた透かしが十分な信頼度で埋め込まれたかをチェックする。すなわち,
図8において,埋め込み強度gで埋め込み(24),すぐにそのブロックの画像を読み出し,FFTによりそのブロックのフーリエスペクトルを検出し(25),後述の識別器で透かし情報及び信頼度を抽出する(26)。抽出された透かし情報が埋め込み時のものと異なる場合,あるいは,同じ透かし情報であるが信頼度が基準値以下の場合(27)は,埋め込み強度をΔgだけ増加して(28),再び(24)にて埋め込み操作を行う。この操作を繰り返し行い,検出された透かし情報が埋め込み情報と同じで,かつ信頼度が基準値以上になったところで,そのブロックの埋め込みは終了し次のブロックへ移る。
【0039】
かかる適応的な埋め込みは,画像内に局所的に空間周波数が高い部分があるところ(例えば,細かなパターンがある場合)では,画像のスペクトルがグリーンノイズのスペクトルと重なりが大きくなり抽出エラーが生じるため,そのような箇所では強く埋め込むことで抽出エラー率を低下することが出来る。このため,画像依存性が減少し,常に安定した埋め込みが可能となる。
【0040】
しかしながら,適応的な埋め込みは埋め込み強度がブロック毎に変わるため,可逆型の電子透かしにするためには,各ブロックにおける埋め込み強度を記憶しておく必要がある。埋め込み強度を数段化にして,その「段階」を記憶しておくことで,記憶容量を少なくできる。例えば,埋め込み強度を3段階にして“0”,“1”,“2”の3値情報とすれば,ブロック毎にこの3値情報を記憶すればよい。
前述の画像平滑化を行って居れば,通常,“2”,“3”の領域は少なく大半が“0”であるので,圧縮データとすることで小容量で鍵のなかに記憶可能である。
【0041】
また,Annotationとしての応用では,透かしを除去し,新たな情報を書き込む機能はあまり必要としない。つまり,サービス業者が透かし埋め込み画像を提供し,ユーザはその画像から透かし情報を抽出し,サービス業者の提供するアプリを駆動できればよく,ユーザが直接透かしを除去し,書き換えることはない。従って,通常のAnnotation応用の電子透かしでは可逆性能は必須要件ではなく,適応的な埋め込みにおいて,ブロック毎の埋め込み強度を記憶しておく必要はない。
【0042】
次に透かしの抽出について説明する。
図9は透かし抽出の概要を表すブロック図である。透かし入りの画像データは,後述の補正画像として生成され,埋め込み時と同様,ブロックに分割し(31),ブロック毎に埋め込まれた情報を抽出する。まず先頭のブロック(ブロック番号 n=1)から始める(32)。このブロックの画像データをFFTによるフーリエスペクトルを求める(33)。続いて得られたフーリエスペクトルをヒストグラムイコライゼーション処理などにより濃度レベルを規格化し(34),後述のニューラルネット識別器によりスペクトル形状のパターン識別を行い埋め込み情報を抽出する(35)。続いて次のブロックに移り(38),同様の処理で透かし情報を抽出し,全ブロックが終了した段階で,抽出情報を誤り訂正のデコード処理を行い,得られたビット列を文字列に変換し埋め込まれた透かし情報を得る(39)。
【0043】
次に適応的な抽出について説明する。抽出時にブロック同期がずれた場合抽出エラーが生じ,かかる抽出エラーを少なくするため,適応的な処理を行う。
図10は適応的な抽出処理を行う時のブロックの微小な位置変動を示したものである。補正画像から切り出されたR×Rのブロック(31)を基準ブロックとし,x方向,およびy方向に微小量変動(Δx, Δy)したR×Rのブロック(31‘)を基準ブロックの周りに複数個設定し,かかるブロックからの透かし情報及び信頼度を抽出する。
【0044】
図11はこの適応的処理のフローを示すもので,n番目のブロックにおいて,まず,変動量Δx, Δyが共に0なる基準の位置(40)における基準ブロックからのフーリエスペクトルを求める(33)。続いて規格化し(34),識別器によりスペクトル形状のパターン識別を行い埋め込み情報及び信頼度を抽出する(35)。次に変動ブロック(31‘)からも,同様に埋め込み情報と信頼度を抽出する。変動ブロックは基準ブロックからΔx=0,+d,-d画素, Δy=0,+d,-d画素離れたものとすると(42),一つのブロックに対して基準ブッロクと8つの変動ブロックの合計9つのブロックからの埋め込み情報と信頼度を抽出することになる。これらの9つのブロックからの抽出が終わった段階で(41),この9つの埋め込み情報のうち,最も信頼度の高いものを選択して,このブロックの埋め込み情報n番目のブロックからの抽出透かし情報をとする(43)。かかる操作により,ブロック同期がずれた場合でも正確な情報を抽出することが可能となる。
【0045】
変動ブロックの取り方には様々な方法がある。変動量Δx=0,+d,+2d,-d,-2d画素, Δy=0,+d,+2d,-d,-2d画素の場合,25ブロックからの抽出,Δx=+d,-d,画素, Δy=+d,-d画素の場合は5ブロックからの抽出となる。ブロック数が多くなれば精度は向上するが,演算量が増え抽出時間がかかる。
【0046】
このため,演算時間を短縮するために,基準ブロックからの抽出した信頼度が,ある一定の基準値を以上である場合は,変動ブロックからの抽出は行わず,その基準ブロックからの情報を埋め込み情報として採用する。すなわち,まず基準のブロック位置で透かし情報及びその信頼度を求め,透かしの信頼度があらかじめ決められた基準値Tより大きければ,そのブロックからの透かし情報を採用し,次のブロックに移行する。もしTよりも低い場合は,x,y方向に±Δ画素ずれた複数ブロックでの透かし情報と信頼度を抽出し,最も信頼度の高いものを透かし情報として抽出する。この方法をとることにより,演算時間を短縮することが出来る。
【0047】
グリーンノイズ拡散型の電子透かし法では,元来,ブロック同期に対するトレランスは他の電子透かし法に比べればかなり広い。すなわち,ブロック同期が多少ずれても,ずれたブロックでのフーリエスペクトルは位相がシフトするのみで,スペクトルの強度分布は変わらないからである。通常,ブロックサイズの1/4までずれても,正確な抽出が可能である。すなわち面積比で56%以上の領域から埋め込み情報から抽出が可能である。しかし,隣のブロックからの影響があるため,マスクを設けてその影響をなくすことが出来る。
図12は,マスクをかけた抽出ブロックを表したもので,基準ブロックの両端aだけ覆うマスク45を用いて,その内部のみスペクトル抽出を行う。aの大きさとして,a=R/8程度あれば十分である。この覆われた部分での画像データは0にして(0 pudding)FFTを施す。以上の適応的透かし抽出をマスク処理により,ブロック同期がずれた場合でも,正確な透かし抽出が可能となる。
【0048】
かかる適応的な透かし抽出で,n番目のブロックにおいて,ある変動ブロックの信頼度が最も高くそのブロックからの透かし情報を選択した場合,その時の変動量を基準ブロックとして,次のブロック(n+1番目のブロック)に移ることにより,効率的に抽出することが可能となる。同期ずれは連続して起きることが多く,しかも同期ズレの変位方向,変動量はほぼ同一傾向にある。従って,前ブロックでの変動ブロックの変動量を,次のブロックでの初期のブロックとみなして,つまり基準ブロックとしてみなして抽出を行うことにより,無駄な計算が省け効率的に行うことが出来る。
【0049】
次に,スペクトル分布から透かし情報を抽出するためのパターンの識別器について説明する。
図13はパターンの識別器をニューラルネット(NN)により求めたものである。
機械学習を行うため,埋め込み済み画像から抽出した多数のブロックサイズのラベル付きスペクトルデータをデータセットとしてあらかじめ用意する(80)。かかるデータセットは,学習用データ,テスト用データに分けられ,NN法により学習を行う。識別すべき画像サイズは32×32で入力層(81)のニューロン数は各画素に対応して1024,隠れ層(中間層)(82)は50,出力層(84)は4(4値のグリーンノイズパターンの場合)で,活性化関数としてSigmoid関数を用い(83),最終段にSoftmaxにより出力(85)を得る。データセットは,画像に,カモフラージュパターンの透かしパターンを埋め込み,抽出したスペクトルを各パターン2000枚づつ計8000枚を用意し,8割をトレーニング用,2割をテスト用とした。誤差逆伝搬法を用いて機械学習を行った結果,ほぼ100%の正答率を得た。
【0050】
かかる機械学習によるネットワークパラメータをCSVデータとして透かし抽出プログラムに組み込むことにより,組み込み型のニューラルネットワークによる識別器が実装出来る。ネットワークパラメータは, W1,W2の2つのネットワークにバイアスbi, b2の合計4つの辞書型データで,W1[1024, 50], W2[50, 4],b1[50], b2[4]の配列データとして電子透かし抽出プログラムに組み込まれる。実装プログラムの処理時間は極めて短時間で,従来方法による識別方法と比較して格段に正答率の高いパターン識別が可能となった。
【0051】
かかるニューラルネットからの出力値は最終段のsoftmaxによる変換により,出力値の予測値(出現確率)を表す。従って,この値が1に近い程,目的とするパターンである確率が高いことを表すので,これを信頼度の指標とすることが出来る。すなわち,適応的な埋め込みにおいて,この予測値が信頼度の基準値(例えば,0.95)以上となるように埋め込み強度を制御すると,画像によらずすべてのブロックで信頼度が0.95以上という極めて高い確率で埋め込むことが出来,高い抽出の正答率を得ることが出来る埋め込みとなる。
【0052】
次に,誤り訂正について説明する。抽出誤りの要因としては,原画像の空間周波数特性,印刷物の汚れや傷,撮影時の外部光や影,カメラの内部歪曲収差,被写体のたわみや皺,補正画像の生成時の位置検出エラー,射影変換精度,同期ズレなど,様々なものがある。そのため誤り訂正符号が必要となる。
【0053】
そこで,誤り訂正符号としてリードソロモン(RS)符号を導入し、誤り訂正能力を持たせた状態で透かし情報の抽出を行う。2^8個の元で構成される拡大ガロア体GF(2^8)における既約多項式x^8+x^4+x^3+x+1 の関係式を用いて,16ワードで最大3ワードの誤り訂正可能となるRS(16,6)符号を組み込んだ。この時,生成多項式はx^6+a^166 x^5+a^0 x^4+a^134 x^3+a^5 x^2+a^176 x+a^15となる。かかるRS符号を用いた情報の埋め込みは、埋め込み可能な情報量は誤り訂正符号なしの場合に比べて10/16に減少するが,画像によらず100%に近い正答率を得ることが可能である。
【0054】
次にマーカーについて説明する。マーカは矩形の埋め込み画像の4端に書き込まれる位置決めのパターンで有る。
図14に示される単色の放射状のパターンである。マーカパターンとしては,以下の点が要請される。
(1)同じパターン同士で相関を取った時,はっきりした結果が出ること
(2)拡大・縮小しても効果が同じであること(相似形であること)
(3)90°回転しても同じパターンであること
(1)は,同じ放射状パターンを重ねて少しずつずらした時に,完全に重なった時に明瞭なピークが出ることを意味する。(2)は埋め込み画像が拡大縮小した場合,パターンも同じように拡大縮小されるが,その時でも同じように位置検出が出来ることである。(3)は撮影画像が水平/垂直方向にカメラを向けて撮った場合,画像が同じように水平/垂直方向になるので,その場合でも効果が同じである必要がある。このようなことから,放射状パターンで,上下左右対称なものを候補として選んだ。
図14の(A)は360°を8分割し,一つ置きに単色で塗りつぶした4本の放射状パターン,(B)は,360°を16分割し,一つ置きに単色で塗りつぶした8本の放射状パターン,(C)は360°を24分割し,一つ置きに単色で塗りつぶした12本の放射状パターン,(D)は,360°を32分割し,一つ置きに単色で塗りつぶした16本の放射状パターンである。本数が増えるほど検出精度は上がるが,回転した画像に対する検出が難しくなる。通常,カメラは水平あるいは垂直に構えて持つため,実用面から(B)のタイプを選んで実験を進めた。
【0055】
このパターンを,例えば,
図15に示す様に画像の4端に埋め込む。左上をC1とすると,時計回りにC1,C2,C3,C4というように埋め込まれる。Annotationとしての透かし埋め込みは,二次元バーコードと同じように画像サイズと埋め込み量があらかじめ決めておく。一例として,画像サイズと埋め込み量の文字数の関係を
図16に示す。例えば,埋め込みパターンが四値であるので,画素数が384画素x384画素の画像の場合,誤り訂正(ECC)後の埋め込み文字数は20文字となる。画素数が512画素x512画素の画像の場合,埋め込み文字数は30文字となる。画素数が640画素x640画素の画像の場合,埋め込み文字数は60文字となる。画像サイズを大きくすれば,埋め込み文字数も大きくなる。
【0056】
印刷サイズは自由に決められるが,小さいサイズで印刷すると,グリーンノイズ・ドットパターンがカメラやスキャナーで解像できなくなり,大きいサイズだとグリーンノイズ・ドットパターンが粗く目につくようになる。そのため150ppiで印刷すれば最適になるようにグリーンノイズ・ドットパターンの特性を生成時に調整する。この時,印刷サイズは,384×384の場合65mm×65mm, 512×512の場合 87mm×87mm, 640×640の場合 108mm×108mmとなる。
【0057】
マーカの色は画像の解像度(サイズ)に合わせてマーカの色の組み合わせを変える。例えば384x384の場合は,4つのマーカの色は左上を始点に右回りにRBBB(赤,青,青,青)の順に,512x512の場合はRGBB(赤,緑,青,青),640x640の場合は,RGYB(赤,緑,黄,青)のように埋め込む。つまり,左上がいつもR(赤)となり,右回りに異なる色で埋めていく。
【0058】
このように色分けする理由は,カメラでの撮影画像が縦向き(ポートレート)か横向き(ランドスケープ)のどちらで撮影されても,R(赤)のマーカパターンが常に左上に来るように補正画像を生成するためと,撮影画像から画像サイズをマーカの色順で検知することが出来るようにするためである。
【0059】
図17,
図18はマーカパターンの埋め込む位置を画像の外にはみ出るように配置したもので有る。埋め込む文字数は増えるが,マーカを含む画像サイズは大きくなるので,用途に合わせて決めればよい。
【0060】
次に,マーカの検出について説明する。カメラで撮影した画像は,カメラ位置により台形ひずみが生じる。また画像のサイズも拡大や縮小されている。このため,マーカ位置を検出して,射影変換により補正画像を生成する必要がある。
図19は,カメラで撮影された画像からマーカ位置を検出する方法を示すものである。カメラでのキャプチャー画像は,例えば,スマートフォンでの撮影は,二次元バーコードでの撮影の様に,マーカのついた画像が矩形のガイド内に収まるようにして撮影する。
【0061】
撮影された画像は
図19に示す様に,マーカC1, C2, C3, C4が4象限の各象限に入るように4分割する。続いて,
図20に示す様に,各象限ごとにマーカ検出パターンをスキャンしてマーカの位置検出を行う。マーカ検出パターン60は,マーカパターンC1と相似の放射状のパターンで,サイズがマーカパターンより小さい32×32のパターンである。32×32とする理由は,通常,キャプチャー画像は拡大あるいは縮小されて表示されているので,32×32のサイズで有れば,通常,埋め込まれた放射パターンよりは小さいからである。
【0062】
放射パターンを用いる理由は,拡大しても,拡大前の放射パターンを含むため,拡大画像からの検出に対して強靭であるからである。一方,縮小された画像に対してはマーカ検出パターンより小さくなると,検出精度が低下する。しかしながら,マーカパターンサイズは2R×2R(本実施例では64×64)で,マーカ検出パターンはR×R(本実施例では32×32)であるので,1/2までの縮小は問題ない。通常,透かしの検出はあまり縮小した画像では行わないため,あまり問題とならない。
【0063】
マーカの位置検出は,マーカ検出パターン60で画像をスキャンした時,その相関が最も高い位置を検出位置とする。すなわちマーカ検出パターンを走査し,以下の畳み込み演算を行う。
A(tx,ty)=ΣΣc(x-tx, y-ty)・I(x,y)
ここでc(x,y)は,マーカ検出パターン,I(x,y)はマーカの埋め込まれた画像で,Σはマーカ検出パターンサイズ,すなわち,x,y=0~R-1の累積和を表す。最大のAとなる(tx,ty)がマーカと一致した点,すなわち検出位置となる。以上の操作を4象限全て行う。
【0064】
続いて,マーカの色検出について説明する。前述のマーカの位置検出において,その周りの画素を抽出し,その色ヒストグラムを求める。例えば赤のマーカパターンの周りの色は赤の成分が圧倒的に多いので,そのパターンは赤であると認識される。しかしながら,印刷時の色分離性能,カメラ撮影時の外光の影響や色分離性能などにより,クロストークが生じ色純度が低下する。このため,マーカーパターンの色は,RGBの単色の中から選ばれると,色ヒストグラムのピークが常に一つのため判定誤差がすくない。しかし4端あるので,もう1色として黄色(Y)を用いる。黄色は赤(R)と緑(G)にピークを持つが,印刷インクやトナー,あるいはカメラのカラーフィルタ等の分光特性が比較的理想色に近いためクロストークは生じにくいためである。
【0065】
以上のようにして4端の色配列C1,C2,C3,C4が求まると,左上のマーカー色が赤(R)になるように画像回転を行う。また,マーカの色は画像サイズにより色配列が異なるため,色配列から画像サイズ(Width, Height)を求める。
【0066】
以上のようにして求まったマーカの中心位置および画像サイズ(Width, Height)から,画像の4端を求める。
図15に示すマーカパターンの埋め込みで説明する。
図21に示す様に,左上から時計回りに(x1,y1), (x2, y2), (x3, y3), (x4,y4)とすると矩形画像の4端の頂点(X1,Y1),(X2,Y2), (X3,Y3), (X4, Y4)は,以下の式で表される。
X1≒x1-R(x2-x1)/(Width-2R)Y1≒y1-R(y4-y1)/(Height-2R)
X2≒x2+R(x2-x1)/(Width-2R)Y2≒y2-R(y3-y2)/(Height-2R)
X3≒x3+R(x3-x4)/(Width-2R)Y3≒y3+R(y3-y2)/(Height-2R)
X4≒x4-R(x3-x4)/(Width-2R)Y4≒y1-R(y4-y1)/(Height-2R)
ここでRはブロックサイズ(今の場合は32)である。マーカーパターンの埋め込みが
図17や,
図18の場合は,それぞれマーカパターンの空間位置に合わせて補正すればよい。
【0067】
画像の4端の位置座標が求まったら,次の射影変換で台形歪を補正し,元の画像サイズになるように補正する。4つの対応点があるためHomography行列式を求めることが出来,射影行列が求まる。例えば,元の画像サイズが,
図16での640×640である場合,(X1,Y1)の対応点は(0,0),(X2,Y2)の対応点は(640,0), (X3,Y3)の対応点は(640,640), (X4, Y4)の対応点は(0,640)となる。かかる4つの対応点での8つのデータからHomography行列の8つの未知数が求まり,従って射影行列が求まる。射影変換は補正画像からカメラ画像への逆射影変換にて行う。つまり,Homography行列から求まる斜影変換行列の逆行列を求める。これは射影変換での画素抜けを防ぐためである。以上の操作で,補正画像が生成される。
【0068】
かかる補正画像から,画像をブロックサイズR×Rで分割し,透かしの抽出を行う。通常は,これでほぼ十分な正答率の透かし抽出が可能であるが,カメラで撮影した時の光学的歪曲収差や,被写体のたわみ,演算誤差などがあり,同期エラーが生じる場合がある。このため,前述の適応的な透かし抽出が必要になるわけである。
【0069】
次に,本発明による電子透かし法における安全性について説明する。
安全性を保つためには,鍵に含まれるグリーンノイズ・ドットパターンの盗難や不法な検出を阻止する必要がある。そこで,本発明では,画像毎にカモフラージュパターンを与える乱数のSeed値を異なる値にする。これにより,画像が異なると埋め込みパターンが異なり,鍵を紛失しても異なる画像から透かしを除去することは出来ない。さらに,グリーンノイズ・ドットパターンの生成時に,画像毎に異なるSeed値により発生させたパターンを用いることにより,分散ドットパターンが異なるため,鍵を紛失しても,その鍵で他の映像をアクセスすることは出来ない。すなわち,二重の安全性(画像毎にカモフラージュのSeed値を変えること,及び画像毎にグリーンノイズ・ドットパターンを変えること)を施しているため,安全性は高い。
【0070】
ここで,透かしを除去するための秘密鍵について説明する。
グリーンノイズ・ドットパターンは,前述の様に初期乱数のseed値を変えることにより,異なったドットパターンが得られる。このSeed値をSeed0とする。Seed0により生成されたグリーンノイズ・ドットパターンを基本パターンと呼ぶ。
鍵には,この基本パターン,埋め込みの強度(gain),およびカモフラージュパターン生成用のSeed値(Seed1,およびSeed2)が含まれる。Seed1は反転パターン生成用,Seed2は位相シフト量(X,Y)の生成に使われる。また,適応的な埋め込みを行った場合は,ブッロク毎の埋め込み強度も鍵に入れる必要がある。画像コンテンツごとに異なる秘密鍵を生成する。
【0071】
この鍵を用いることにより透かし情報の埋め込まれた電子データから透かしを除去し,更には新たに透かしを書き込むことが出来る。但し,埋め込む前に画像に平滑化を行った場合には,除去後の画像は平滑処理後の画像であるが,僅かな平滑処理で有るので実用上は問題ない。原画像が必要な場合は,平滑化処理の工程をやめ,多少埋め込み強度を大きくすれば,同程度の信頼度,正答率を得ることが可能である。
【0072】
次に,鍵の紛失に対しては,この1枚の画像だけ解錠されるが,他の画像は異なるグリーンノイズ・ドットパターンが使われるか,あるいは異なるSeed1,Seed2が使われているため解錠できない。従って,鍵なしで第三者が勝手に埋め込み透かし情報を書き換えることは極めて困難であるといえる。
【0073】
鍵は透かしの除去の時のみ必要となり,透かしの抽出には鍵を必要としない。すなわち,グリーンノイズ・ドットパターン,及びカモフラージュパターンを,どのように変えても,透かし抽出用のソフトウェアはすべて共通で,1種類のみでよい。
また,透かしの除去や書き換えが必要でなければ,鍵自他が不要である。Annotation応用で,ユーザは透かし情報の閲読,抽出だけで有れば鍵は不要である。
【0074】
次に,耐性について説明する。一般に,グリーンノイズ拡散法による電子透かしは,画像にランダムなドットパターンを拡散し重畳したもので,スペクトル拡散による電子透かし法の一種である。スペクトル拡散による電子透かし自体は,古くから提案されている手法で,高耐性であるといわれているが,通常,原画(埋め込み前の画像)を必要とするノンブラインド方式と呼ばれるものである。しかしながら,グリーンノイズ拡散法は,スペクトル分布が画像のスペクトル分布と重ならない中間帯域に分布するため,ブラインド方式が可能で,かつ高耐性を示す。
【0075】
また,グリーンノイズを拡散する透かし法では,透かしの抽出は,分散ドットの空間配置によるスペクトル分布特性から求まる。つまり,ブロック内のドット分布の統計量であり,特定の画素の画素データから決まるのではないので,外光の影響などの輝度変化や,空間的な位置変動などに対して鈍感なため,強い耐性を有す。このような特性があるため,編集加工に対する耐性,JPEG耐性が高い。さらに,誤り訂正符号を付加することで汚れや傷などの影響も対応可能となる。
【0076】
しかしながら,ブロック同期に対しては二次元バーコードのような同期用パターンが組み込まれていないため補正することが出来ない。二次元バーコードではタイミングパターンと呼ばれるものがドットサイズでの同期用パターンとして組み込まれている。電子透かしでそのようなパターンを入れることもできるが,デザイン的には歓迎されない。そのため,適応的な抽出でこの問題を解決している。
また,グリーンノイズ・ドットパターンは,人の目では明視の距離において応答強度が低いため,強く埋め込んでも気にはならないため,強靭な電子透かしにするためには,適応的な埋め込み時でも埋め込みの強度(gain)の初期値を大きくすることで耐性はさらに向上する。
【0077】
以上のようにして,Annotation用途での電子透かしとして,画像非依存性,環境非依存性,プリント・スキャン耐性,汚れ・傷耐性,高セキュリティの他,高精度な補正画像の取得と高精度なブロック同期を得ることが可能な電子透かし法を提供するものである。かかる,Annotation用の電子透かしは,著作権保護の電子透かしと違い,抽出時の正答率があらゆる場合でも100%であることが望まれる。すなわち埋め込まれている情報に価値があり,画像はその誘導体でしかない。もし抽出データに誤りがあれば,大きな社会問題を引き起こす可能性がある。従って,多少画質や機能などを犠牲にしても,正確に埋め込み情報が取得できることが重要である。
以上の様に,本発明は電子透かしを埋め込んだ画像をスマートフォンで読み取って,特定のアプリに誘導するAnnotaition応用の電子透かしとして有用で,二次元バーコードのような使い方が可能である。また,デザイン的に優れ自由度があり,かつ,悪意のある書き換え等に対しても耐性があるため,様々な分野で利用が可能であると思われる。
1はカメラやスキャナ、2はプリンタ,3はパーソナルコンピュータ(PC)、4はPC内のROM,5はRAM,6は電子透かし抽出プログラムなどを内蔵するプログラムメモリ,7はデータメモリ,8はモニタ,9はキーボード,10は通信機能,11はCPUを表す。12は透かし情報,13は埋め込み画像,14は印刷されたもの,14は表示画像,16はカメラ撮影画像,17は透かしの抽出,18はアプリソフトとの連携,19はホームページ(HP)への誘導をしめす。31は基準ブロック,31‘は変動後のブロック,45はマスク開口部である。