特許 6232392 動画像埋め込み装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6232392

(24)【登録日】2017年10月27日

(45)【発行日】2017年11月15日

(54)【発明の名称】動画像埋め込み装置、方法、及びプログラム

(51)【国際特許分類】

   H04N 19/467 20140101AFI20171106BHJP

   H04N 1/387 20060101ALI20171106BHJP

   G06T 1/00 20060101ALI20171106BHJP

【ＦＩ】

   H04N19/467

   H04N1/387

   G06T1/00 500B

【請求項の数】8

【全頁数】24

(21)【出願番号】特願2015-59584(P2015-59584)

(22)【出願日】2015年3月23日

(65)【公開番号】特開2016-181744(P2016-181744A)

(43)【公開日】2016年10月13日

【審査請求日】2016年7月29日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】安藤 慎吾

(72)【発明者】

【氏名】谷口 行信

(72)【発明者】

【氏名】筒口 けん

(72)【発明者】

【氏名】片山 淳

(72)【発明者】

【氏名】田中 秀典

【審査官】 赤穂 州一郎

(56)【参考文献】

【文献】 特開２００９−２５３８５４（ＪＰ，Ａ）

【文献】 特開２００４−０５６２２４（ＪＰ，Ａ）

【文献】 特開２０００−２７０２０４（ＪＰ，Ａ）

【文献】 特開２００３−１７９７４５（ＪＰ，Ａ）

【文献】 特開２０１４−０８２６７８（ＪＰ，Ａ）

【文献】 特開２００４−００７４６３（ＪＰ，Ａ）

【文献】 特開２０００−１５１９８７（ＪＰ，Ａ）

【文献】 特開平１１−０２７５０８（ＪＰ，Ａ）

【文献】 特開２０１５−０５３６１９（ＪＰ，Ａ）

【文献】 特開２００９−２６７８４８（ＪＰ，Ａ）

【文献】 国際公開第２００７／１１１０６９（ＷＯ，Ａ１）

【文献】 K.Janthawongwilai, T.Amornraksa，Improved Performance of Amplitude Modulation Based Digital Watermarking，Communications and Information Tecnology, 2004. ISCIT，IEEE，２００４年１０月２６日，３１８−３２３頁，ＵＲＬ，http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1412861

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／３８−１／３９３

(57)【特許請求の範囲】

【請求項1】

入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像を重畳した画像を出力する動画像埋め込み装置であって、
誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームの電子透かし画像について、前記電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成する電子透かし生成部と、
前記動画像の各フレームの画像に対して、前記電子透かし生成部によって各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、前記電子透かし画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて算出される混合度合いを用いて重畳する電子透かし重畳部と、
前記動画像の各フレームに対する、前記伸長済み電子透かし画像を重畳した画像を出力する埋め込み済み画像出力部と、
を含み、
む、動画像埋め込み装置。

【請求項2】

入力された動画像の各フレームの画像に対して、各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置であって、
誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、各フレームのマーカ画像について、前記マーカ画像の画素値の振幅を伸長した伸長済みマーカ画像を生成するマーカ生成部と、
前記動画像の各フレームの画像に対して、前記マーカ生成部によって各フレームのマーカ画像について生成された伸長済みマーカ画像を、前記マーカ画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて算出される混合度合いを用いて重畳するマーカ重畳部と、
前記動画像の各フレームに対する、前記伸長済みマーカ画像を重畳した画像を出力する埋め込み済み画像出力部と、
を含む、動画像埋め込み装置。

【請求項3】

入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像、及び各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置であって、
誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成する電子透かし生成部と、
誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成するマーカ生成部と、
各フレームの画像に対して、前記電子透かし生成部によって生成された前記電子透かし画像と、前記マーカ生成部によって生成された前記マーカ画像とを合成した合成画像を生成し、前記生成された各フレームの合成画像について、前記合成画像の画素値の振幅を伸長した伸長済み合成画像を生成する電子透かしマーカ合算部と、
前記動画像の各フレームの画像に対して、前記電子透かしマーカ合算部によって各フレームの画像について生成された前記伸長済み合成画像を、特定の混合度合いを用いて重畳する電子透かしマーカ重畳部と、
前記動画像の各フレームに対する、前記伸長済み合成画像を重畳した画像を出力する埋め込み済み画像出力部と、
を含み、
前記電子透かしマーカ合算部は、各フレームの画像に対して、前記電子透かし画像の画素値の振幅と前記マーカ画像の画素値の振幅との何れか大きい方と予め定められた値との積を、合成画像の画素値の振幅の最大値とするように、前記合成画像を生成する動画像埋め込み装置。

【請求項4】

前記電子透かしマーカ合算部は、前記電子透かし画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて算出される混合度合い、及び前記マーカ画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて算出される混合度合いのうち何れか大きい混合度合いを、前記特定の混合度合いとする請求項３記載の動画像埋め込み装置。

【請求項5】

電子透かし生成部と、電子透かし重畳部と、埋め込み済み画像出力部とを含む、入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像を重畳した画像を出力する動画像埋め込み装置における動画像埋め込み方法であって、
前記電子透かし生成部は、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームの電子透かし画像について、前記電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成し、
前記電子透かし重畳部は、前記動画像の各フレームの画像に対して、前記電子透かし生成部によって各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、前記電子透かし画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて算出される混合度合いを用いて重畳し、
前記埋め込み済み画像出力部は、前記動画像の各フレームに対する、前記伸長済み電子透かし画像を重畳した画像を出力する、
動画像埋め込み方法。

【請求項6】

マーカ生成部と、マーカ重畳部と、埋め込み済み画像出力部とを含む、入力された動画像の各フレームの画像に対して、各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置における動画像埋め込み方法であって、
前記マーカ生成部は、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、各フレームのマーカ画像について、前記マーカ画像の画素値の振幅を伸長した伸長済みマーカ画像を生成し、
前記マーカ重畳部は、前記動画像の各フレームの画像に対して、前記マーカ生成部によって各フレームのマーカ画像について生成された伸長済みマーカ画像を、前記マーカ画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて算出される混合度合いを用いて重畳し、
前記埋め込み済み画像出力部は、前記動画像の各フレームに対する、前記伸長済みマーカ画像を重畳した画像を出力する、
動画像埋め込み方法。

【請求項7】

電子透かし生成部と、マーカ生成部と、電子透かしマーカ合算部と、電子透かしマーカ重畳部と、埋め込み済み画像出力部とを含む、入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像、及び各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置における動画像埋め込み方法であって、
前記電子透かし生成部は、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、
前記マーカ生成部は、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、
前記電子透かしマーカ合算部は、各フレームの画像に対して、前記電子透かし生成部によって生成された前記電子透かし画像と、前記マーカ生成部によって生成された前記マーカ画像とを合成した合成画像を生成し、前記生成された各フレームの合成画像について、前記合成画像の画素値の振幅を伸長した伸長済み合成画像を生成し、
前記電子透かしマーカ重畳部は、前記動画像の各フレームの画像に対して、前記電子透かしマーカ合算部によって各フレームの画像について生成された前記伸長済み合成画像を、特定の混合度合いを用いて重畳し、
前記埋め込み済み画像出力部は、前記動画像の各フレームに対する、前記伸長済み合成画像を重畳した画像を出力することを含み、
前記電子透かしマーカ合算部により前記合成画像を生成する処理は、各フレームの画像に対して、前記電子透かし画像の画素値の振幅と前記マーカ画像の画素値の振幅との何れか大きい方と予め定められた値との積を、合成画像の画素値の振幅の最大値とするように、前記合成画像を生成する動画像埋め込み方法。

【請求項8】

コンピュータを、請求項１〜４の何れか１項記載の動画像埋め込み装置を構成する各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像に対して電子透かし情報、及びマーカの少なくとも一方を埋め込むための動画像埋め込み装置、方法、及びプログラムに関するものである。

【背景技術】

【0002】

画像、映像といったコンテンツの流通の際、コンテンツ識別・管理や著作権保護・管理、関連情報提供などの目的のため、人間の目に知覚されないようにコンテンツ内に別の情報を埋め込む電子透かし情報技術を用いる方法が知られている。

【0003】

特に、画像・映像コンテンツに対する電子透かし情報技術においては、画素値の微小変更に基づく方法が一般的である。具体的方法として、例えば、電子透かし情報を埋め込む際に、埋め込み対象成分位置情報に基づいて、複素行列の実数成分と虚数成分とを独立に変更するスペクトル拡散を行い、入力画像と独立に透かしパターンを生成し、実際の画像パターンの加算を行うことで埋め込み済み画像を生成し、実際の画像パターンの加算を行うことで埋め込み済み画像を生成し、電子透かし情報を検出する際には、検出対象成分位置情報に基づいて検出対象系列を生成し、オフセット情報を抽出し、検出対象系列を修正した後にスペクトル逆拡散を行い、切り出した画素ブロック内に埋め込まれている電子透かし情報を検出するような電子透かし情報方式がある（特許文献１）。

【0004】

また、電子透かし情報を検出する際に、カメラキャプチャ映像から電子透かし情報の存在する領域を特定し切り出して正規化する手段として、電子透かし情報とは別に、不可視なマーカ等を埋め込む方式もある（特許文献２）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００３−２１９１４８号公報

【特許文献2】特開２０１４−８２６７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

これまで、ライブ映像に電子透かし情報やマーカを埋め込むことをリアルタイムに実行するには、上記特許文献１及び特許文献２のような透かし埋め込みアルゴリズムやマーカ埋め込みアルゴリズムをハードウェア実装するアプローチが主流であった。

【0007】

しかし、近年注目されている４Ｋ／８Ｋ映像といった高精細な映像ともなると、電子透かし情報埋め込みおよび映像のエンコーディングにかかる時間が大幅に増加してしまうため、リアルタイム化は大変困難であるという問題がある。

【0008】

本発明では、上記問題点を解決するために成されたものであり、高解像度の動画像に電子透かし情報及び不可視マーカの少なくとも一方を埋め込むことができる動画像埋め込み装置、方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、第１の発明に係る動画像埋め込み装置は、入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像を重畳した画像を出力する動画像埋め込み装置であって、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームの電子透かし画像について、前記電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成する電子透かし生成部と、前記動画像の各フレームの画像に対して、前記電子透かし生成部によって各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、特定の混合度合いを用いて重畳する電子透かし重畳部と、前記動画像の各フレームに対する、前記伸長済み電子透かし画像を重畳した画像を出力する埋め込み済み画像出力部と、を含んで構成されている。

【0010】

第２の発明に係る動画像埋め込み方法は、電子透かし生成部と、電子透かし重畳部と、埋め込み済み画像出力部とを含む、入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像を重畳した画像を出力する動画像埋め込み装置における動画像埋め込み方法であって、前記電子透かし生成部は、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームの電子透かし画像について、前記電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成し、前記電子透かし重畳部は、前記動画像の各フレームの画像に対して、前記電子透かし生成部によって各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、特定の混合度合いを用いて重畳し、前記埋め込み済み画像出力部は、前記動画像の各フレームに対する、前記伸長済み電子透かし画像を重畳した画像を出力する。

【0011】

第１及び第２の発明によれば、電子透かし生成部により、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームの電子透かし画像について、電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成し、電子透かし重畳部により、動画像の各フレームの画像に対して、各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、特定の混合度合いを用いて重畳し、埋め込み済み画像出力部により、動画像の各フレームに対する、伸長済み電子透かし画像を重畳した画像を出力する。

【0012】

このように、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームの電子透かし画像について、電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成し、動画像の各フレームの画像に対して、各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、特定の混合度合いを用いて重畳し、動画像の各フレームに対する、伸長済み電子透かし画像を重畳した画像を出力することにより高解像度の動画像に電子透かし情報を埋め込むことができる。

【0013】

第３の発明に係る動画像埋め込み装置は、入力された動画像の各フレームの画像に対して、各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置であって、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、各フレームのマーカ画像について、前記マーカ画像の画素値の振幅を伸長した伸長済みマーカ画像を生成するマーカ生成部と、前記動画像の各フレームの画像に対して、前記マーカ生成部によって各フレームのマーカ画像について生成された伸長済みマーカ画像を、特定の混合度合いを用いて重畳するマーカ重畳部と、前記動画像の各フレームに対する、前記伸長済みマーカ画像を重畳した画像を出力する埋め込み済み画像出力部と、を含んで構成されている。

【0014】

第４の発明に係る動画像埋め込み方法は、マーカ生成部と、マーカ重畳部と、埋め込み済み画像出力部とを含む、入力された動画像の各フレームの画像に対して、各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置における動画像埋め込み方法であって、前記マーカ生成部は、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、各フレームのマーカ画像について、前記マーカ画像の画素値の振幅を伸長した伸長済みマーカ画像を生成し、前記マーカ重畳部は、前記動画像の各フレームの画像に対して、前記マーカ生成部によって各フレームのマーカ画像について生成された伸長済みマーカ画像を、特定の混合度合いを用いて重畳し、前記埋め込み済み画像出力部は、前記動画像の各フレームに対する、前記伸長済みマーカ画像を重畳した画像を出力する。

【0015】

第３及び第４の発明によれば、マーカ生成部により、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、各フレームのマーカ画像について、マーカ画像の画素値の振幅を伸長した伸長済みマーカ画像を生成し、マーカ重畳部により、動画像の各フレームの画像に対して、各フレームのマーカ画像について生成された伸長済みマーカ画像を、特定の混合度合いを用いて重畳し、動画像の各フレームに対する、伸長済みマーカ画像を重畳した画像を出力する。

【0016】

このように、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、各フレームのマーカ画像について、マーカ画像の画素値の振幅を伸長した伸長済みマーカ画像を生成し、動画像の各フレームの画像に対して、各フレームのマーカ画像について生成された伸長済みマーカ画像を、特定の混合度合いを用いて重畳し、動画像の各フレームに対する、伸長済みマーカ画像を重畳した画像を出力することにより高解像度の動画像に不可視マーカを埋め込むことができる。

【0017】

第５の発明に係る動画像埋め込み装置は、入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像、及び各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置であって、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成する電子透かし生成部と、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成するマーカ生成部と、各フレームの画像に対して、前記電子透かし生成部によって生成された前記電子透かし画像と、前記マーカ生成部によって生成された前記マーカ画像とを合成した合成画像を生成し、前記生成された各フレームの合成画像について、前記合成画像の画素値の振幅を伸長した伸長済み合成画像を生成する電子透かしマーカ合算部と、前記動画像の各フレームの画像に対して、前記電子透かしマーカ合算部によって各フレームの画像について生成された前記伸長済み合成画像を、特定の混合度合いを用いて重畳する電子透かしマーカ重畳部と、前記動画像の各フレームに対する、前記伸長済み合成画像を重畳した画像を出力する埋め込み済み画像出力部とを含んで構成されている。

【0018】

第６の発明に係る動画像埋め込み方法は、電子透かし生成部と、マーカ生成部と、電子透かしマーカ合算部と、電子透かしマーカ重畳部と、埋め込み済み画像出力部とを含む、入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像、及び各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置における動画像埋め込み方法であって、前記電子透かし生成部は、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、前記マーカ生成部は、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、前記電子透かしマーカ合算部は、各フレームの画像に対して、前記電子透かし生成部によって生成された前記電子透かし画像と、前記マーカ生成部によって生成された前記マーカ画像とを合成した合成画像を生成し、前記生成された各フレームの合成画像について、前記合成画像の画素値の振幅を伸長した伸長済み合成画像を生成し、前記電子透かしマーカ重畳部は、前記動画像の各フレームの画像に対して、前記電子透かしマーカ合算部によって各フレームの画像について生成された前記伸長済み合成画像を、特定の混合度合いを用いて重畳し、前記埋め込み済み画像出力部は、前記動画像の各フレームに対する、前記伸長済み合成画像を重畳した画像を出力する。

【0019】

第５及び第６の発明によれば、電子透かし生成部により、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、マーカ生成部により、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、電子透かしマーカ合算部により、各フレームの画像に対して、生成された電子透かし画像と、生成されたマーカ画像とを合成した合成画像を生成し、生成された各フレームの合成画像について、合成画像の画素値の振幅を伸長した伸長済み合成画像を生成し、電子透かしマーカ重畳部により、動画像の各フレームの画像に対して、各フレームの画像について生成された伸長済み合成画像を、特定の混合度合いを用いて重畳し、埋め込み済み画像出力部により、動画像の各フレームに対する、伸長済み合成画像を重畳した画像を出力する。

【0020】

このように、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームのマーカを表すマーカ画像を生成し、各フレームの画像に対して、生成された電子透かし画像と、生成されたマーカ画像とを合成した合成画像を生成し、生成された各フレームの合成画像について、合成画像の画素値の振幅を伸長した伸長済み合成画像を生成し、動画像の各フレームの画像に対して、各フレームの画像について生成された伸長済み合成画像を、特定の混合度合いを用いて重畳し、動画像の各フレームに対する、伸長済み合成画像を重畳した画像を出力することにより高解像度の動画像に電子透かし情報及び不可視マーカを埋め込むことができる。

【0021】

また、第５及び第６の発明に係る動画像埋め込み装置において、前記電子透かしマーカ合算部は、各フレームの画像に対して、前記電子透かし画像の画素値の振幅と前記マーカ画像の画素値の振幅との何れか大きい方と予め定められた値との積を、合成画像の画素値の振幅の最大値とするように、前記合成画像を生成してもよい。

【0022】

また、第５の発明に係る動画像埋め込み装置において、前記電子透かしマーカ合算部は、前記電子透かし画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて算出される混合度合い、及び前記マーカ画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて算出される混合度合いのうち何れか大きい混合度合いを、前記特定の混合度合いとしてもよい。

【0023】

また、本発明のプログラムは、コンピュータを、上記の動画像埋め込み装置を構成する各部として機能させるためのプログラムである。

【発明の効果】

【0024】

以上説明したように、本発明の動画像埋め込み装置、方法、及びプログラムによれば、高解像度の動画像に電子透かし情報及び不可視マーカの少なくとも一方を埋め込むことができる。

【図面の簡単な説明】

【0025】

【図1】画素値の振幅の伸長及び元に戻す例を示す図である。

【図2】電子透かし画像とマーカ画像との合成の例を示す図である。

【図3】本発明の第１の実施形態に係る動画像埋め込み装置の機能的構成を示すブロック図である。

【図4】本発明の第１の実施形態に係る動画像埋め込み装置における動画像埋め込み処理ルーチンを表すフローチャート図である。

【図5】本発明の第２の実施形態に係る動画像埋め込み装置の機能的構成を示すブロック図である。

【図6】本発明の第２の実施形態に係る動画像埋め込み装置における動画像埋め込み処理ルーチンを表すフローチャート図である。

【図7】本発明の第３の実施形態に係る動画像埋め込み装置の機能的構成を示すブロック図である。

【図8】本発明の第３の実施形態に係る動画像埋め込み装置における動画像埋め込み処理ルーチンを表すフローチャート図である。

【図9】本発明の第３の実施形態に係る動画像埋め込み装置における動画像埋め込み処理ルーチンを表すフローチャート図である。

【発明を実施するための形態】

【0026】

以下、図面を参照して本発明の実施形態を詳細に説明する。

【0027】

＜本発明の原理＞

【0028】

まず、本発明の実施形態に係る動画像埋め込み装置の原理について説明する。

【0029】

本実施形態においては、埋め込み対象となる映像とは別に、予め電子透かしパターンと不可視マーカパターンとを映像として生成しておくとともに、それぞれの埋め込みの強さ（パターンの振幅の大きさを表す）を別に生成しαチャネルとして付加する。

【0030】

そして、電子透かしパターン映像と不可視マーカパターンとを、それぞれの埋め込みの強さに基づいて合算し、新たに適切なαチャネルを付加し直すことで電子透かしマーカ合算映像を生成する。次に、例えば、ビデオスイッチャー等の機器を用いて、映像に対し電子透かし情報及びマーカを重畳する。

【0031】

ここで、ビデオスイッチャーは下記（１）式に従って、２つの映像をミックスさせる機能を具備している。

【0032】

【数1】

【0033】

ここで、「Ｉｎｐｕｔ１」は、埋め込み対象映像、「Ｉｎｐｕｔ２」は、電子透かしマーカ合算映像を表す。また、ｃは、０以上１以下で定義される、混合度合を示すパラメータである。なお、「Ｉｎｐｕｔ２」は、電子透かし情報とマーカとを合算していない場合には、電子透かし情報映像、又はマーカ映像を表す。

【0034】

そして、埋め込み後の映像をＨＤＭＩ（登録商標）等の映像端子に出力する。

【0035】

ここで、２つの映像をミックスさせるにあたり、２つの問題がある。１つ目は、誤差拡散の問題である。映像のビット深度を超えた信号成分を表現可能とする方法として、例えば、電子透かし生成部およびマーカ生成部で誤差拡散を行い、映像のビット深度を超えた信号成分も表現可能とする方法がある（特許文献３：特許第４２０５７３７号公報）。

【0036】

しかし、誤差拡散による細かなパターンが、ミックスした時点でつぶされてしまう可能性がある。そのため、本実施形態においては、誤差拡散の仕方を工夫する。具体的には、上記（１）式のパラメータｃを適切に設定するために、上述したαチャネルを利用する。

【0037】

そのため、本実施形態においては、電子透かしパターンおよびマーカパターンは、振幅最大になるよう生成する。ここで、電子透かしパターンおよびマーカパターンを、最終的にビデオスイッチャーでミックスした後の振幅と等しくなるよう生成し、誤差拡散もその生成の際に行うこととする。

【0038】

そして、図１中央に示すように、生成したパターンに対して振幅が最大になるように伸長させる。ここで、αチャネルは埋め込みの強さの情報を反映しているため、このαチャネルの情報をパラメータｃとして利用することで、元の埋め込みの強さを再現できる。すなわち、αチャネルを介することで、図１右に示すように、伸長させた分が元の強さに戻るため、誤差拡散情報はつぶれることがない。

【0039】

２つ目の問題は、電子透かしパターンとマーカパターンとを合算する際に、両者の最大振幅の和が合算後の最大振幅になるように正規化すると、ミックスさせた後の出力映像のコントラストが不必要に大きく損なわれるおそれがある。具体的には、感覚的に述べると、白っぽくぼやけた映像になる。そのため、本実施形態においては、コントラスト減少を最大限に抑える。

【0040】

本実施形態においては、「電子透かしパターンとマーカパターンとの合算信号の振幅は必ずしも両者の最大振幅の和まで必要としない」という一般的な事象を利用する。つまり、両者の振幅の大きい方×定数ｂ（ここで、ｂ≧１とする）を合算後の最大振幅として定義し、その最大振幅を超える値が生じた場合は最大振幅でサチュレーションさせる（最大振幅値で置き換える）。具体例を図２に示す。なお、図２の例においては、ｂは１であるものとする。

【0041】

また、本実施形態においては、αチャネルについても、両者の振幅の大きい方のαチャネルを適用する。これにより、電子透かし情報が検出及び、コントラスト減少を抑えることが両立できる。

【0042】

＜第１の実施形態に係る動画像埋め込み装置の構成＞
次に、本発明の第１の実施形態に係る動画像埋め込み装置の構成について説明する。図３に示すように、本発明の第１の実施形態に係る動画像埋め込み装置１００は、ＣＰＵと、ＲＡＭと、後述する動画像埋め込み処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この動画像埋め込み装置１００は、機能的には図３に示すように画像入力部１０と、演算部２０と、埋め込み済み画像出力部９０とを含んで構成されている。なお、第１の実施形態においては、映像信号の１チャネルあたりのビット深度を８ビットとする。

【0043】

第１の実施形態に係る動画像埋め込み装置１００は、埋め込まれる電子透かしパターンである電子透かし情報がマーカとしての役割も兼ねる電子透かし情報を埋め込むこととする。

【0044】

画像入力部１０は、ビデオカメラで撮影されたライブ映像、又は予め用意された映像コンテンツ（以後、動画像）をデジタルデータとして受け付ける。なお、動画像の時系列に連続する各フレーム画像として一枚ずつ受け付ける。

【0045】

演算部２０は、記憶部２２と、電子透かし生成部２４と、電子透かし重畳部２６とを含んで構成されている。

【0046】

記憶部２２には、予め定められた電子透かし情報の振幅ｎ_ｗ、及び映像に対応するＩＤ番号が記憶されている。

【0047】

電子透かし生成部２４は、画像入力部１０において受け付けた動画像のサイズと、記憶部２２に記憶されている電子透かし情報の振幅ｎ_ｗ及びＩＤ番号とに基づいて、画像入力部１０において受け付けた動画像の各フレーム画像について、誤差拡散法に従って、埋め込むＩＤ番号に対応する電子透かし情報を表す電子透かし画像の各々を生成する。

【0048】

具体的には、まず、電子透かし生成部２４は、画像入力部１０において受け付けた動画像の各フレーム画像について、例えば、上記特許文献１の電子透かし情報埋め込み方法等を用いて、フラットなグレー画像（当該画像の画素値が何れも中間値の１２８になっている画像）に対し、埋め込みＩＤ番号に対応する電子透かし情報を重畳することにより電子透かし画像を生成する。ここで、本実施形態においては、上記特許文献３の誤差拡散方式で電子透かし情報を画像に埋め込む。

【0049】

また、電子透かし生成部２４は、生成した電子透かし画像の各々の各画素のαチャネルへ透かし強度に関する情報を入力する。具体的には、電子透かし生成部２４は、混合度合いα_ｗを下記（２）式により算出し、電子透かし画像の各々の各画素のαチャネルを全て下記（２）式で算出された混合度合いα_ｗの値に置き換える。なお、画像入力部１０において受け付けた動画像のビット深度に従って、混合度合いα_ｗの正規化を行う必要がある。例えば、ビット深度が８ｂｉｔの場合、下位（２）式で算出された値を２５６倍した値をαチャネルの値として用いる。後述するαチャネルに関する説明においては、全てのαチャネルに関して正規化されているものとして、詳細な説明は省略する。

【0050】

【数2】

【0051】

ここで、ｎ_ｗは、電子透かし情報の振幅であり、Ｎ_ｗは、電子透かし画像が表現可能な最大振幅値（例えば、ビット深度が８ｂｉｔの場合、Ｎｗ＝２５６／２＝１２８となる）を表す。

【0052】

また、電子透かし生成部２４は、生成した電子透かし画像の各々の画素について、当該画素の画素値の振幅の範囲を±ｎ_ｗから±Ｎ_ｗまで伸長する。具体的には、図１左、及び図１中央に示すように、画素の各々について、当該画素の画素値の範囲±ｎ_ｗを、表現可能な範囲である±Ｎ_ｗまで伸長する。そして、電子透かし生成部２４は、αチャネルの値が置き換えられた伸長済みの電子透かし画像の各々を、電子透かし重畳部２６へ出力する。

【0053】

電子透かし重畳部２６は、画像入力部１０において受け付けた動画像の各フレームの画像に対して、電子透かし生成部２４から取得した各フレームの画像に対応する伸長済みの電子透かし画像を、当該伸長済み画像に設定されているαチャネルを用いて重畳し、埋め込み済み画像出力部９０に出力する。具体的には、電子透かし重畳部２６は、動画像のフレーム画像と電子透かし画像とを重畳するために、ビデオスイッチャーが持つ諸機能のうち、上記（１）式で２つの画像をミックスさせる機能（フェーダ機能、若しくは、キーヤ機能等）を利用する。なお、上記（１）式のｃの値は、電子透かし画像に埋め込まれているαチャネルの値を用いる。このように、動画像の各フレームの画像に、対応する電子透かし画像を重畳させることにより、画像入力部１０において受け付けた動画像に対し、電子透かし情報を重畳させることができる。

【0054】

埋め込み済み画像出力部９０は、電子透かし重畳部２６により取得した電子透かし情報が重畳されている動画像の各フレーム画像を、入力された順番となるように合成し、電子透かし情報が重畳された動画像を、ＨＤＭＩ（登録商標）やＳＤＩ等の映像信号として出力する。

【0055】

＜第１の実施形態に係る動画像埋め込み装置の作用＞
次に、第１の実施形態に係る動画像埋め込み装置１００の作用について説明する。画像入力部１０において、動画像について、時系列に連続する各フレーム画像を一枚ずつ受け付けると、動画像埋め込み装置１００によって、図４に示す動画像埋め込み処理ルーチンが実行される。

【0056】

まず、ステップＳ１００で、電子透かし生成部２４は、記憶部２２から、予め定められている振幅ｎ_ｗと、画像入力部１０において受け付けた動画像の各フレーム画像に対応するＩＤ番号が表す電子透かし情報を読み込む。

【0057】

次に、ステップＳ１０２で、電子透かし生成部２４は、画像入力部１０において受け付けた各フレームの画像のうち、処理対象となるフレーム画像を決定する。

【0058】

次に、ステップＳ１０４で、電子透かし生成部２４は、処理対象となるフレーム画像に対応する電子透かし画像を、ステップＳ１００において取得した振幅ｎ_ｗ及び電子透かし情報とに基づいて、誤差拡散法に従って、電子透かし画像を生成する。

【0059】

次に、ステップＳ１０６で、電子透かし生成部２４は、画像入力部１０において受け付けた動画像の各フレーム画像のビット深度から算出される最大振幅値Ｎ_ｗと、ステップＳ１００において取得した振幅ｎ_ｗとに基づいて、上記（２）式に従って、混合度合いα_ｗの値を算出する。

【0060】

次に、ステップＳ１０８で、電子透かし生成部２４は、ステップＳ１０４において取得した、処理対象となるフレーム画像に対応する電子透かし画像の各画素のαチャネルの値を、ステップＳ１０６で取得した混合度合いα_ｗの値に置き換える。

【0061】

次に、ステップＳ１１０で、電子透かし生成部２４は、ステップＳ１０４において取得した、処理対象となるフレーム画像に対応する電子透かし画像の各画素値を画素の振幅の範囲±ｎ_ｗから、ステップＳ１０６において取得した最大振幅値の範囲±Ｎ_ｗの範囲に伸長する。

【0062】

次に、ステップＳ１１６で、電子透かし重畳部２６は、処理対象となるフレーム画像と、ステップＳ１１０において取得した処理対象となるフレーム画像に対応する伸長済みの電子透かし画像とを、ステップＳ１０８において取得したαチャネルの値に基づいて、上記（１）式に従って、重畳する。

【0063】

次に、ステップＳ１１８で、電子透かし重畳部２６は、全てのフレーム画像について、ステップＳ１０４〜ステップＳ１１６の処理を終了したか否かを判定する。電子透かし重畳部２６が、全てのフレーム画像について、ステップＳ１０４〜ステップＳ１１６の処理を終了したと判定した場合には、動画像埋め込み処理は、ステップＳ１２０へ移行する。一方、電子透かし重畳部２６が、全てのフレーム画像について、ステップＳ１０４〜ステップＳ１１６の処理を終了していないと判定した場合には、動画像埋め込み処理は、ステップＳ１０２へ移行し、処理対象となるフレーム画像を決定し、ステップＳ１０４〜ステップＳ１１８までの処理を繰り返す。

【0064】

次に、ステップＳ１２０で、埋め込み済み画像出力部９０は、ステップＳ１１６において取得した、電子透かし情報が重畳された各フレーム画像を、画像入力部１０において受け付けた順番に結合し、動画像として出力して、動画像埋め込み処理ルーチンを終了する。

【0065】

以上説明したように、第１の実施形態に係る動画像埋め込み装置によれば、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、電子透かし画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて、混合度合いを設定し、各フレームの電子透かし画像について、電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成し、動画像の各フレームの画像に対して、各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、設定された混合度合いを用いて重畳し、動画像の各フレームに対する、伸長済み電子透かし画像を重畳した画像を出力することにより高解像度の動画像に電子透かし情報を埋め込むことができる。

【0066】

また、人間の目で知覚されることなく電子透かし情報を埋め込み可能であり、かつ、ライブ映像などに対してリアルタイムに電子透かし情報を埋め込む方法を提供できる。

【0067】

また、ビデオスイッチャーの機能であるミキサー機能によって、元映像と電子透かし情報映像をミックスさせることで、高解像度の映像に対してもリアルタイムに電子透かし情報を埋め込むことができる。

【0068】

また、αチャネルを介してミックスの割合を調整することで、伸長させた分は元の強さに戻り、誤差拡散情報をつぶさずに電子透かし情報を埋め込むことができる。

【0069】

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0070】

例えば、第１の実施形態においては、映像信号の１チャネルあたりのビット深度を８ビットとする場合について説明したが、これに限定されるものではなく、例えば、ビット深度を他のビットとしてもよい。

【0071】

また、第１の実施形態において、同じＩＤ番号に対応する電子透かし画像の画素値は一定である場合について説明したが、これに限定されるものではない。例えば、同じＩＤ番号に対応する各電子透かし画像の画素値を時間的に変動させてもよい。

【0072】

また、第１の実施形態においては、αチャネルの情報を画素の各々に埋め込む場合について説明したが、これに限定されるものではない。例えば、αチャネルのデータを、動画像と切り離して別ファイルとして保持してもよい。但し、当該場合においては、動画像同士の同期手段が必要となる。

【0073】

また、第１の実施形態においては、電子透かし情報が重畳された動画像を、ＨＤＭＩ（登録商標）やＳＤＩ等の映像信号として出力する場合について説明したが、これに限定されるものではない。例えば、ＨＤＤ等の電子媒体へ映像ファイルとして蓄積するようにしてもよい。

【0074】

また、第１の実施形態においては、電子透かし情報の埋め込み位置を動画像の各フレームに埋め込む場合について説明したが、これに限定されるものではない。例えば、動画像の特定のフレームに埋め込んでもよい。

【0075】

また、第１の実施形態においては、αチャネルの値を上記（２）式に従って、算出する場合について説明したが、これに限定されるものではない。例えば、αチャネルの値を一定値にできる場合には、数値をマニュアルで入力してもよい。

【0076】

次に、第２の実施形態に係る動画像埋め込み装置について説明する。

【0077】

第２の実施形態においては、マーカのみを埋め込む点が第１の実施形態と異なる。なお、第１の実施形態に係る動画像埋め込み装置と同様の構成及び作用については、同一の符号を付して説明を省略する。

【0078】

＜第２の実施形態に係る動画像埋め込み装置の構成＞
次に、本発明の第２の実施形態に係る動画像埋め込み装置の構成について説明する。図５に示すように、本発明の第２の実施形態に係る動画像埋め込み装置２００は、ＣＰＵと、ＲＡＭと、後述する動画像埋め込み処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この動画像埋め込み装置１００は、機能的には図５に示すように画像入力部１０と、演算部２２０と、埋め込み済み画像出力部２９０とを含んで構成されている。なお、第２の実施形態においては、映像信号の１チャネルあたりのビット深度を８ビットとする。

【0079】

第２の実施形態では、例えば、画像認識の前処理としてマーカを利用する場合等における、マーカのみが必要で、電子透かし情報が必要でない場合について説明する。

【0080】

演算部２２０は、記憶部２２２と、マーカ生成部２２４と、マーカ重畳部２２６とを含んで構成されている。

【0081】

記憶部２２２には、予め定められたマーカの振幅ｎ_ｍが記憶されている。

【0082】

マーカ生成部２２４は、画像入力部１０において受け付けた動画像のサイズと、記憶部２２２に記憶されているマーカの振幅ｎ_ｍとに基づいて、画像入力部１０において受け付けた動画像の各フレーム画像について、誤差拡散法に従って、マーカを表すマーカ画像の各々を生成する。

【0083】

具体的には、まず、マーカ生成部２２４は、画像入力部１０において受け付けた動画像の各フレーム画像について、例えば、上記特許文献２のマーカ埋め込み方法等を用いて、フラットなグレー画像（当該画像の画素値が何れも中間値の１２８になっている画像）に対し、マーカを重畳することによりマーカを表すマーカ画像を生成する。ここで、本実施形態においては、上記特許文献３の誤差拡散方式でマーカを画像に埋め込む。

【0084】

また、マーカ生成部２２４は、生成したマーカ画像の各々の各画素のαチャネルへマーカ強度に関する情報を入力する。具体的には、マーカ生成部２２４は、混合度合いα_ｍを下記（３）式により算出し、マーカ画像の各々の各画素のαチャネルを全て下記（３）式で算出された混合度合いα_ｍの値に置き換える。なお、画像入力部１０において受け付けた動画像のビット深度に従って、混合度合いα_ｍの正規化を行う必要がある。例えば、ビット深度が８ｂｉｔの場合、下位（３）式で算出された値を２５６倍した値をαチャネルの値として用いる。

【0085】

【数3】

【0086】

ここで、ｎ_ｍは、マーカの振幅であり、Ｎ_ｍは、マーカ画像が表現可能な最大振幅値（例えば、ビット深度が８ｂｉｔの場合、Ｎ_ｍ＝２５６／２＝１２８となる）を表す。

【0087】

また、マーカ生成部２２４は、生成したマーカ画像の各々の画素について、当該画素の画素値の振幅の範囲を±ｎ_ｍから±Ｎ_ｍまで伸長する。具体的には、図１左、及び図１中央に示すように、画素の各々について、当該画素の画素値の範囲±ｎ_ｍを表現できる範囲である±Ｎ_ｍまで伸長する。そして、マーカ生成部２２４は、αチャネルの値が置き換えられた伸長済みのマーカ画像の各々を、マーカ重畳部２２６へ出力する。

【0088】

マーカ重畳部２２６は、画像入力部１０において受け付けた動画像の各フレームの画像に対して、マーカ生成部２２４から取得した各フレームの画像に対応する伸長済みのマーカ画像を、当該伸長済み画像に設定されているαチャネルを用いて重畳し、埋め込み済み画像出力部２９０に出力する。具体的には、マーカ重畳部２２６は、動画像のフレーム画像とマーカ画像とを重畳するために、ビデオスイッチャーが持つ諸機能のうち、上記（１）式で２つの画像をミックスさせる機能（フェーダ機能、若しくは、キーヤ機能等）を利用する。なお、上記（１）式のｃの値は、マーカ画像に埋め込まれているαチャネルの値を用いる。このように、動画像の各フレームの画像に、対応するマーカ画像を重畳させることにより、画像入力部１０において受け付けた動画像に対し、マーカを重畳させることができる。

【0089】

埋め込み済み画像出力部２９０は、マーカ重畳部２２６により取得したマーカが重畳されている動画像の各フレーム画像を、入力された順番となるように合成し、マーカが重畳された動画像を、ＨＤＭＩ（登録商標）やＳＤＩ等の映像信号として出力する。

【0090】

＜第２の実施形態に係る動画像埋め込み装置の作用＞
次に、第２の実施形態に係るマーカ埋め込み装置２００の作用について説明する。画像入力部１０において、動画像について、時系列に連続する各フレーム画像を一枚ずつ受け付けると、動画像埋め込み装置２００によって、図６に示す動画像埋め込み処理ルーチンが実行される。

【0091】

まず、ステップＳ２００で、マーカ生成部２２４は、記憶部２２２から、予め定められている振幅ｎ_ｍを読み込む。

【0092】

次に、ステップＳ２０２で、マーカ生成部２２４は、画像入力部１０において受け付けた各フレームの画像のうち、処理対象となるフレーム画像を決定する。

【0093】

次に、ステップＳ２０４で、マーカ生成部２２４は、処理対象となるフレーム画像に対応するマーカ画像を、ステップＳ２００において取得した振幅ｎ_ｍに基づいて、誤差拡散法に従って、マーカ画像を生成する。

【0094】

次に、ステップＳ２０６で、マーカ生成部２２４は、画像入力部１０において受け付けた動画像の各フレーム画像のビット深度から算出される最大振幅値Ｎ_ｍと、ステップＳ２００において取得した振幅ｎ_ｍとに基づいて、上記（３）式に従って、混合度合いα_ｍの値を算出する。

【0095】

次に、ステップＳ２０８で、マーカ生成部２２４は、ステップＳ２０４において取得した、処理対象となるフレーム画像に対応するマーカ画像の各画素のαチャネルの値を、ステップＳ２０６で取得した混合度合いα_ｍの値に置き換える。

【0096】

次に、ステップＳ２１０で、マーカ生成部２２４は、ステップＳ２０４において取得した、処理対象となるフレーム画像に対応するマーカ画像の各画素値を画素の振幅の範囲±ｎ_ｍから、ステップＳ２０６において取得した最大振幅値の範囲±Ｎ_ｍの範囲に伸長する。

【0097】

次に、ステップＳ２１６で、マーカ重畳部２２６は、処理対象となるフレーム画像と、ステップＳ２１０において取得した処理対象となるフレーム画像に対応する伸長済みのマーカ画像とを、ステップＳ２０８において取得したαチャネルの値に基づいて、上記（１）式に従って、重畳する。

【0098】

次に、ステップＳ２１８で、マーカ重畳部２２６は、全てのフレーム画像について、ステップＳ２０４〜ステップＳ２１６の処理を終了したか否かを判定する。マーカ重畳部２２６が、全てのフレーム画像について、ステップＳ２０４〜ステップＳ２１６の処理を終了したと判定した場合には、動画像埋め込み処理は、ステップＳ２２０へ移行する。一方、マーカ重畳部２２６が、全てのフレーム画像について、ステップＳ２０４〜ステップＳ２１６の処理を終了していないと判定した場合には、動画像埋め込み処理は、ステップＳ２０２へ移行し、処理対象となるフレーム画像を決定し、ステップＳ２０４〜ステップＳ２１８までの処理を繰り返す。

【0099】

次に、ステップＳ２２０で、埋め込み済み画像出力部２９０は、ステップＳ２１６において取得した、マーカが重畳された各フレーム画像を、画像入力部１０において受け付けた順番に結合し、動画像として出力して、動画像埋め込み処理ルーチンを終了する。

【0100】

以上説明したように、第２の実施形態に係る動画像埋め込み装置によれば、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、マーカ画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて、混合度合いを設定し、各フレームのマーカ画像について、マーカ画像の画素値の振幅を伸長した伸長済みマーカ画像を生成し、動画像の各フレームの画像に対して、各フレームのマーカ画像について生成された伸長済みマーカ画像を、設定された混合度合いを用いて重畳し、動画像の各フレームに対する、伸長済みマーカ画像を重畳した画像を出力することにより高解像度の動画像に不可視マーカを埋め込むことができる。

【0101】

また、ビデオスイッチャーの機能であるミキサー機能によって、動画像とマーカ画像とをミックスさせることで、高解像度の映像に対してもリアルタイムにマーカを埋め込むことができる。

【0102】

また、αチャネルを介してミックスの割合を調整することで、伸長させた分は元の強さに戻り、誤差拡散情報をつぶさずにマーカを埋め込むことができる。

【0103】

また、人間の目で知覚されることなくマーカを埋め込み可能であり、かつ、ライブ映像などに対してリアルタイムにマーカを埋め込むことができる。

【0104】

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0105】

例えば、第２の実施形態において、マーカ画像の各々の画素値は一定である場合について説明したが、これに限定されるものではなく、各マーカ画像の画素値を時間的に変動させてもよい。

【0106】

また、第２の実施形態においては、マーカが重畳された動画像を、ＨＤＭＩ（登録商標）やＳＤＩ等の映像信号として出力する場合について説明したが、これに限定されるものではない。例えば、ＨＤＤ等の電子媒体へ映像ファイルとして蓄積するようにしてもよい。

【0107】

また、第２の実施形態においては、マーカの埋め込み位置を動画像の各フレームに埋め込む場合について説明したが、これに限定されるものではない。例えば、動画像の特定のフレームに埋め込んでもよい。

【0108】

また、第２の実施形態においては、αチャネルの値を上記（３）式に従って、算出する場合について説明したが、これに限定されるものではない。例えば、αチャネルの値を一定値にできる場合には、数値をマニュアルで入力してもよい。

【0109】

次に、第３の実施形態に係る動画像埋め込み装置について説明する。

【0110】

第３の実施形態においては、電子透かし情報、及びマーカを埋め込む点が第１及び第２の実施形態と異なる。なお、第１及び第２の実施形態に係る動画像埋め込み装置と同様の構成及び作用については、同一の符号を付して説明を省略する。

【0111】

＜第３の実施形態に係る動画像埋め込み装置の構成＞
次に、本発明の第３の実施形態に係る動画像埋め込み装置の構成について説明する。図７に示すように、本発明の第３の実施形態に係る動画像埋め込み装置３００は、ＣＰＵと、ＲＡＭと、後述する動画像埋め込み処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この動画像埋め込み装置３００は、機能的には図７に示すように画像入力部１０と、演算部３２０と、埋め込み済み画像出力部３９０とを含んで構成されている。なお、第３の実施形態においては、映像信号の１チャネルあたりのビット深度を８ビットとする。

【0112】

第３の実施形態では、動画像埋め込み装置３００が電子透かし情報及びマーカの双方を動画像に埋め込む場合について説明する。

【0113】

演算部３２０は、記憶部３２２と、電子透かし生成部３２３と、マーカ生成部３２４と、電子透かしマーカ合算部３２５と、電子透かしマーカ重畳部３２６とを含んで構成されている。

【0114】

記憶部３２２は、予め定められた電子透かし情報の振幅ｎ_ｗ及びマーカの振幅ｎ_ｍと、映像に対応するＩＤ番号と、予め定められたパラメータｂとが記憶されている。

【0115】

電子透かし生成部３２３は、画像入力部１０において受け付けた動画像のサイズと、記憶部３２２に記憶されている電子透かし情報の振幅ｎ_ｗ及びＩＤ番号とに基づいて、画像入力部１０において受け付けた動画像の各フレーム画像について、誤差拡散法に従って、埋め込むＩＤ番号に対応する電子透かし情報を表す電子透かし画像の各々を生成する。

【0116】

マーカ生成部３２４は、画像入力部１０において受け付けた動画像のサイズと、記憶部３２２に記憶されているマーカの振幅ｎ_ｍとに基づいて、画像入力部１０において受け付けた動画像の各フレーム画像について、誤差拡散法に従って、マーカを表すマーカ画像の各々を生成する。

【0117】

電子透かしマーカ合算部３２５は、記憶部３２２に記憶されているパラメータｂに基づいて、電子透かし生成部３２３において取得した電子透かし画像の各々と、当該電子画像に対応する、マーカ生成部３２４において取得したマーカ画像の各々とを合成した合成画像の各々を生成する。

【0118】

具体的には、まず、電子透かしマーカ合算部３２５は、記憶部３２２に記憶されている電子透かし情報の振幅ｎ_ｗと、マーカの振幅ｎ_ｍとに基づいて、下記（４）式、及び（５）式に従って、合成画像の振幅の範囲を算出する。

【0119】

【数4】

【0120】

【数5】

【0121】

次に、電子透かしマーカ合算部３２５は、電子透かし画像の各々について、処理対象となる電子透かし画像の画素毎に、当該画素の画素値と、対応するマーカ画像の画素の画素値との和を算出して、合成画像を生成する。次に、電子透かしマーカ合算部３２５は、算出された和が、上記（４）式で算出した値を超えている場合には、合成画像の対象となる画素の画素値を上記（４）式で算出したｎ_ｇの値に置き換える。一方、電子透かしマーカ合算部３２５は、算出された和が、上記（５）式で算出した値より下回っている場合には、合成画像の対象となる画素の画素値を上記（５）式で算出した−ｎ_ｇに置き換える。すなわち、±ｎ_ｇの値でサチュレーションさせる。上記のサチュレーションの処理を行うことにより、図２右に示すように、合成画像の画素値の振幅の範囲が、±ｎ_ｇの範囲内に収まることになる。

【0122】

次に、電子透かしマーカ合算部３２５は、サチュレーションされた合成画像の各々について、振幅を±ｎ_ｇから±Ｎ_ｇまで伸長する。ここで、Ｎ_ｇは、合成画像が表現可能な最大振幅値を表す。

【0123】

また、電子透かしマーカ合算部３２５は、伸長済みの合成画像の各画素のαチャネルを、下記（６）式で算出される混合度合いα_ｇの値に置き換え、αチャネルが置き換えられた伸長済みの合成画像の各々を、電子透かしマーカ重畳部３２６へ出力する。なお、下記（６）式で算出された混合度合いα_ｇは正規化されているものとして以後説明する。

【0124】

【数6】

【0125】

電子透かしマーカ重畳部３２６は、画像入力部１０において受け付けた動画像の各フレームの画像に対して、電子透かしマーカ合算部３２５から取得した各フレームの画像に対応する伸長済みの合成画像を、当該伸長済み合成画像に設定されているαチャネルを用いて重畳し、埋め込み済み画像出力部３９０に出力する。具体的には、電子透かしマーカ重畳部３２６は、動画像のフレーム画像と合成画像とを重畳するために、ビデオスイッチャーが持つ諸機能のうち、上記（１）式で２つの画像をミックスさせる機能（フェーダ機能、若しくは、キーヤ機能等）を利用する。なお、上記（１）式のｃの値は、合成画像に埋め込まれているαチャネルの値（混合度合いα_ｇ）を用いる。このように、動画像の各フレームの画像に、対応する合成画像を重畳させることにより、画像入力部１０において受け付けた動画像に対し、電子透かし情報、及びマーカを重畳させることができる。

【0126】

埋め込み済み画像出力部３９０は、電子透かしマーカ重畳部３２６により取得した電子透かし情報及びマーカが重畳されている動画像の各フレーム画像を、入力された順番となるように合成し、電子透かし情報及びマーカが重畳された動画像を、ＨＤＭＩ（登録商標）やＳＤＩ等の映像信号として出力する。

【0127】

＜第３の実施形態に係る動画像埋め込み装置の作用＞
次に、第３の実施形態に係る動画像埋め込み装置３００の作用について説明する。画像入力部１０において、動画像について、時系列に連続する各フレーム画像を一枚ずつ受け付けると、動画像埋め込み装置３００によって、図８、及び図９に示す動画像埋め込み処理ルーチンが実行される。

【0128】

まず、図８のステップＳ３００で、電子透かし生成部３２３は、記憶部３２２から予め定められた電子透かし情報の振幅ｎ_ｗ及びマーカの振幅ｎ_ｍと、映像に対応するＩＤ番号と、予め定められたパラメータｂとを読み込む。

【0129】

次に、ステップＳ３０２で、画像入力部１０において受け付けた各フレームから処理対象となるフレームを決定する。

【0130】

次に、ステップＳ３０６で、電子透かしマーカ合算部３２５は、ステップＳ３００において取得したｎ_ｍ、ｎ_ｗ、パラメータｂとに基づいて、上記（４）式に従って、ｎ_ｇを算出する。

【0131】

次に、ステップＳ３０８で、電子透かしマーカ合算部３２５は、ステップＳ３００において取得したｎ_ｍ、ｎ_ｗ、パラメータｂとに基づいて、上記（５）式に従って、−ｎ_ｇを算出する。

【0132】

次に、ステップＳ３１２で、電子透かしマーカ合算部３２５は、ステップＳ１０４において取得した電子透かし画像の処理対象となる画素を決定する。

【0133】

次に、ステップＳ３１４で、電子透かしマーカ合算部３２５は、ステップＳ１０４において取得した電子透かし画像の画素の画素値と、当該電子透かし画像の画素に対応する、ステップＳ２０４において取得したマーカ画像の画素の画素値との和を算出して、合成画像の当該画素の画素値とし、図９のステップＳ３１６へ移行する。

【0134】

次に、ステップＳ３１６で、電子透かしマーカ合算部３２５は、ステップＳ３１４において取得した画素値の和の値が、ステップＳ３０６及びステップＳ３０８において取得した±ｎ_ｇの範囲内にあるか否か判定する。電子透かしマーカ合算部３２５は、画素値の和の値が、±ｎ_ｇの範囲内にあると判定した場合には、当該画素値を合成画像の画素値として決定し、動画像埋め込み処理は、ステップＳ３２０へ移行する。一方、電子透かしマーカ合算部３２５が、画素値の和の値が、±ｎ_ｇの範囲内にないと判定した場合には、動画像埋め込み処理は、ステップＳ３１８へ移行する。

【0135】

ステップＳ３１８で、電子透かしマーカ合算部３２５は、処理対象の画素の画素値について、ステップＳ３０６、及びステップＳ３０８において取得した±ｎ_ｇの値と、ステップＳ３１４において取得した画素値の和の値とに基づいて、サチュレーション処理を行い、当該サチュレーション処理が行われた値を、合成画像の画素値として置き換え、動画像埋め込み処理は、ステップＳ３２０へ移行する。

【0136】

次に、ステップＳ３２０で、電子透かしマーカ合算部３２５は、ステップＳ１０４において取得した電子透かし画像の全ての画素について、ステップＳ３１２〜ステップＳ３１６又はステップＳ３１８までの処理を終了したか否かを判定する。電子透かしマーカ合算部３２５が、ステップＳ１０４において取得した電子透かし画像の全ての画素について、ステップＳ３１２〜ステップＳ３１６又はステップＳ３１８までの処理を終了したと判定した場合には、動画像埋め込み処理は、ステップＳ３２２へ移行する。一方、電子透かしマーカ合算部３２５が、ステップＳ１０４において取得した電子透かし画像の全ての画素について、ステップＳ３１２〜ステップＳ３１６又はステップＳ３１８までの処理を終了していないと判定した場合には、図８のステップＳ３１２へ移行し、処理対象となる画素を変更し、ステップＳ３１４〜ステップＳ３２０までの処理を繰り返す。

【0137】

次に、ステップＳ３２２で、電子透かしマーカ合算部３２５は、ステップＳ３１６、及びステップＳ３１８の少なくとも一方において取得した合成画像の画素の画素値の各々を、ステップＳ１０４において取得した電子透かし画像及びステップＳ２０４において取得したマーカ画像のうち、表現可能な最大振幅値の大きい値を最大振幅値Ｎ_ｇとして、最大振幅値Ｎ_ｇまで、伸長させる。

【0138】

次に、ステップＳ３２６で、電子透かしマーカ合算部３２５は、ステップＳ３０６において取得したｎ_ｇと、ステップＳ３２２において取得した最大振幅値のＮ_ｇとに基づいて、上記（６）式に従って、混合度合いα_ｇの値を算出する。

【0139】

次に、ステップＳ３２８で、電子透かしマーカ合算部３２５は、ステップＳ３２２において取得した伸長済みの合成画像の各々の画素のαチャネルの値を、ステップＳ３２６において取得した混合度合いα_ｇの値に置き換える。

【0140】

次に、ステップＳ３３２で、電子透かしマーカ重畳部３２６は、処理対象となるフレーム画像に、ステップＳ３２２において取得した、当該フレーム画像に対応する伸長済みの合成画像とを、ステップＳ３２８において取得したαチャネルの値に基づいて、上記（１）式に従って、重畳する。

【0141】

次に、ステップＳ３３４で、電子透かしマーカ重畳部３２６は、全てのフレーム画像について、ステップＳ１０４〜ステップＳ３３２までの処理を終了したか否かを判定する。電子透かしマーカ重畳部３２６が、全てのフレーム画像について、ステップＳ１０４〜ステップＳ３３２までの処理を終了したと判定した場合には、動画像埋め込み処理は、ステップＳ３３６へ移行する。一方、電子透かしマーカ重畳部３２６が、全てのフレーム画像について、ステップＳ１０４〜ステップＳ３３２までの処理を終了していないと判定した場合には、動画像埋め込み処理は、図８のステップＳ３０２へ移行し、処理対象となるフレーム画像を決定し、ステップＳ１０４〜ステップＳ３３４までの処理を繰り返す。

【0142】

次に、ステップＳ３３６で、埋め込み済み画像出力部３９０は、ステップＳ３３２において取得した、電子透かし情報、及びマーカが重畳された各フレーム画像を、画像入力部１０において受け付けた順番に結合し、動画像として出力して、動画像埋め込み処理ルーチンを終了する。

【0143】

以上説明したように、第３の実施形態に係る動画像埋め込み装置によれば、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームのマーカを表すマーカ画像を生成し、各フレームの画像に対して、合成画像を生成し、生成された合成画像について、画素値の振幅を伸長した伸長済み合成画像を生成し、混合度合いを設定し、動画像の各フレームの画像に対して、各フレームの画像について生成された伸長済み合成画像を、設定された混合度合いを用いて重畳し、動画像の各フレームに対する、伸長済み合成画像を重畳した画像を出力することにより高解像度の動画像に電子透かし情報及び不可視マーカを埋め込むことができる。

【0144】

また、ビデオスイッチャーの機能であるミキサー機能によって、動画像と電子透かし画像及びマーカ画像とをミックスさせることで、高解像度の映像に対してもリアルタイムにマーカを埋め込むことができる。

【0145】

また、αチャネルを介してミックスの割合を調整することで、伸長させた分は元の強さに戻り、誤差拡散情報をつぶさずに電子透かし情報、及びマーカを埋め込むことができる。

【0146】

また、人間の目で知覚されることなく電子透かし情報、及びマーカを埋め込み可能であり、かつ、ライブ映像などに対してリアルタイムに電子透かし情報、及びマーカを埋め込むことができる。

【0147】

また、電子透かし情報とマーカを合算する際に、両者の振幅の大きい方×定数ｂ（ここで、ｂ≧１とする）を合算後の最大振幅として定義し、その最大振幅を超える値が生じた場合は最大振幅でサチュレーションさせることで、電子透かし情報が検出できることと、コントラスト減少を抑えることが両立できる。

【0148】

また、４Ｋ／８Ｋのような高解像度のライブ映像に対し、ビデオスイッチャー等の映像関連機器を利用してリアルタイムに電子透かし情報や不可視マーカを埋め込むことができる

【0149】

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0150】

例えば、第３の実施形態において、電子透かし画像、及びマーカ画像の各々の画素値は一定である場合について説明したが、これに限定されるものではなく、各電子透かし画像、及び各マーカ画像の画素値を時間的に変動させてもよい

【0151】

また、第３の実施形態においては、電子透かし情報、及びマーカが重畳された動画像を、ＨＤＭＩ（登録商標）やＳＤＩ等の映像信号として出力する場合について説明したが、これに限定されるものではない。例えば、ＨＤＤ等の電子媒体へ映像ファイルとして蓄積するようにしてもよい。

【0152】

また、第３の実施形態においては、電子透かし情報、及びマーカの埋め込み位置を動画像の各フレームに埋め込む場合について説明したが、これに限定されるものではない。例えば、動画像の特定のフレームに埋め込んでもよい。

【0153】

また、第３の実施形態においては、αチャネルの値を上記（６）式に従って、算出する場合について説明したが、これに限定されるものではない。例えば、αチャネルの値を一定値にできる場合には、数値をマニュアルで入力してもよい。

【0154】

また、第３の実施形態においては、電子透かし画像の生成において、当該電子透かし画像の最大振幅値Ｎ_ｗを用いて電子透かし画像を伸長させず、かつ、αチャネルの置き換えを行わない場合について説明したが、これに限定されるものではない。例えば、第１の実施形態と同様に、電子透かし画像の生成において、当該電子透かし画像の最大振幅値Ｎｗを用いて電子透かし画像を伸長させ、当該電子透かし画像の画素の各々のαチャネルを算出した、混合度合いα_ｗで置き換えてもよい。この場合、マーカ画像との合成の際には、図１中央、及び右に示すように、当該電子透かし画像の各画素の振幅に混合度合いα_ｗをかけて電子透かし画像の画素の各々の画素値を、元の振幅の大きさに戻す必要がある。

【0155】

また、第３の実施形態においては、マーカ画像の生成において、当該マーカ画像の最大振幅値Ｎ_ｍを用いてマーカ画像を伸長させず、かつ、αチャネルの置き換えを行わない場合について説明したが、これに限定されるものではない。例えば、第２の実施形態と同様に、マーカ画像の生成において、当該マーカ画像の最大振幅値Ｎ_ｍを用いてマーカ画像を伸長させ、当該マーカ画像の画素の各々のαチャネルを算出した、混合度合いα_ｍで置き換えてもよい。この場合、電子透かし画像との合成の際には、図１中央、及び右に示すように、当該マーカ画像の各画素の振幅に混合度合いα_ｍをかけてマーカ画像の画素の各々の画素値を、元の振幅の大きさに戻す必要がある。

【0156】

また、第１〜第３の実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した第１〜第３の実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は上述した本発明を構成する。

【符号の説明】

【0157】

１０ 画像入力部
２０、２２０、３２０ 演算部
２２、２２２、３２２ 記憶部
２４、３２３ 電子透かし生成部
２６ 電子透かし重畳部
９０、２９０、３９０ 埋め込み済み画像出力部
１００、２００、３００ 動画像埋め込み装置
２２４、３２４ マーカ生成部
２２６ マーカ重畳部
３２５ 電子透かしマーカ合算部
３２６ 電子透かしマーカ重畳部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】