知財求人 - 知財ポータルサイト「IP Force」
▶ 日本放送協会の特許一覧 ▶ 株式会社Ｋ−ＷＩＬＬの特許一覧
特許7508040コンテンツ特徴量抽出装置およびそのプログラム、ならびに、監視装置およびそのプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-21
(45)【発行日】2024-07-01
(54)【発明の名称】コンテンツ特徴量抽出装置およびそのプログラム、ならびに、監視装置およびそのプログラム
(51)【国際特許分類】
H04N 17/00 20060101AFI20240624BHJP
G10L 25/60 20130101ALI20240624BHJP
H04N 19/89 20140101ALI20240624BHJP
【ＦＩ】
H04N17/00 A
G10L25/60
H04N19/89
【請求項の数】
6
(21)【出願番号】P 2020072195
(22)【出願日】2020-04-14
(65)【公開番号】P2021170700
(43)【公開日】2021-10-28
【審査請求日】2023-03-09
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(73)【特許権者】
【識別番号】599161292
【氏名又は名称】株式会社Ｋ－ＷＩＬＬ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】岩崎 俊雅
(72)【発明者】
【氏名】合田 貴仁
(72)【発明者】
【氏名】山田 彩香
(72)【発明者】
【氏名】小郷 直人
(72)【発明者】
【氏名】加藤 辰典
(72)【発明者】
【氏名】浜田 高宏
(72)【発明者】
【氏名】川村 琢磨
(72)【発明者】
【氏名】工藤 靖英
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特許第６２２２８５４（ＪＰ，Ｂ２）
【文献】特許第４９３２７４１（ＪＰ，Ｂ２）
【文献】国際公開第２０１１／０８９６８９（ＷＯ，Ａ１）
【文献】特開２０００－３５０２３８（ＪＰ，Ａ）
【文献】特開２００９－２００９５７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １７／００
Ｇ１０Ｌ ２５／６０
Ｈ０４Ｎ １９／８９
(57)【特許請求の範囲】
【請求項1】
映像信号を含むコンテンツの特徴量を抽出するコンテンツ特徴量抽出装置であって、前記映像信号のフレームを予め定めた大きさのブロックに分割する映像フレーム分割部と、
前記ブロックごとに、画素値の時間方向における２時点の微分値の絶対値がともに閾値以上となる画素を累計するブロック別変動画素累計部と、
前記ブロックごとの累計値を時間方向に二階微分することで、前記フレームにおける映像特徴量を算出するブロック別累計二階微分算出部と、
を備えることを特徴とするコンテンツ特徴量抽出装置。
【請求項2】
前記コンテンツは音声信号を含み、前記映像信号のフレーム区間ごとに、前記音声信号の予め定めた時間区間に含まれる音声信号の信号値の分散である音声ブロック分散を算出する音声ブロック分散算出部と、
前記音声ブロック分散を時間方向に二階微分した二階微分値を算出するブロック別分散二階微分算出部と、
前記フレーム区間において、前記二階微分値が予め定めた値以上の変動区間の前記二階微分値の絶対値和平均と、前記変動区間に隣接する区間の前記二階微分値の絶対値和平均とを、前記フレーム区間における音声特徴量として算出するフレーム内変動特徴量算出部と、
を備えることを特徴とする請求項１に記載のコンテンツ特徴量抽出装置。
【請求項3】
コンピュータを、請求項１または請求項２に記載のコンテンツ特徴量抽出装置として機能させるためのコンテンツ特徴量抽出プログラム。
【請求項4】
複数のコンテンツ特徴量抽出装置から異なるチャンネルで入力された映像信号を含むコンテンツの特徴量から、前記コンテンツの障害を監視する監視装置であって、前記映像信号のフレームの予め定めた大きさのブロックごとに、画素値の時間方向における２時点の微分値の絶対値がともに閾値以上となる画素を累計した累計値を時間方向に二階微分した、前記映像信号のフレームごとの映像特徴量である二階微分値の変動の大きさに基づいて、前記映像信号のフレームの障害を検出する映像障害フレーム検出部と、
前記二階微分値の変動の大きさを前記チャンネル間で比較し、障害が発生した映像信号の前記チャンネルを検出する映像障害チャンネル検出部と、
を備えることを特徴とする監視装置。
【請求項5】
前記映像信号のフレーム区間における音声信号の予め定めた時間区間の信号値の分散に対する時間方向の二階微分値が予め定めた値以上となる変動区間の前記二階微分値の絶対値和平均と、前記変動区間に隣接する区間の前記二階微分値の絶対値和平均とを、音声特徴量として前記コンテンツの特徴量に含み、前記変動区間の絶対値和平均と前記変動区間に隣接する区間の絶対値和平均との比に基づいて、前記フレーム区間における前記音声信号の障害を検出する音声障害フレーム検出部と、
前記変動区間の絶対値和平均を前記チャンネル間で比較し、障害が発生した音声信号の前記チャンネルを検出する音声障害チャンネル検出部と、
を備えることを特徴とする請求項４に記載の監視装置。
【請求項6】
コンピュータを、請求項４または請求項５に記載の監視装置として機能させるための監視プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツ特徴量抽出装置およびそのプログラム、ならびに、監視装置およびそのプログラムに関する。
【背景技術】
【0002】
従来、伝送路上のコンテンツ（映像信号、音声信号）の障害を監視するため、映像信号の特徴量や音声信号の特徴量の時間変化に基づいてエラーを検出する手法が存在する（特許文献１参照）。
また、伝送路上のコンテンツの障害を監視するため、伝送元のコンテンツの特徴量と、伝送後のコンテンツの特徴量とを比較して、エラーの発生の有無を監視する手法が存在する（特許文献２参照）。
これらの従来手法は、映像信号や音声信号のフレーム単位の信号の平均値、分散、パワー等の統計量を用いてエラーを検出している。
また、伝送路上のコンテンツの障害を監視するため、伝送元のコンテンツの特徴量と、伝送後のコンテンツの特徴量とを比較して、エラーの発生の有無を監視する手法が存在する（特許文献２参照）。
これらの従来手法は、映像信号や音声信号のフレーム単位の信号の平均値、分散、パワー等の統計量を用いてエラーを検出している。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６２２２８５４号公報
【文献】特許第４９３２７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来手法のように、コンテンツの特徴量として、映像信号や音声信号のフレーム単位の統計量を用いた場合、映像信号や音声信号のフレームの一部に、急激に画質や音質が劣化するデジタルクリフ（Digital Cliff）型のノイズが発生すると、統計量の中にノイズの特徴が積分され埋もれてしまうことがある。
そのため、従来手法は、デジタルクリフ型のノイズを検出することが困難であり、さらなるノイズ検出精度を高めた手法が望まれていた。
そのため、従来手法は、デジタルクリフ型のノイズを検出することが困難であり、さらなるノイズ検出精度を高めた手法が望まれていた。
【0005】
本発明は、このような要望に鑑みてなされたもので、デジタルクリフ型のノイズを精度よく検出することが可能なコンテンツ特徴量を抽出するコンテンツ特徴量抽出装置およびそのプログラム、ならびに、そのコンテンツ特徴量を用いて障害を検出することが可能な監視装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0006】
前記課題を解決するため、本発明に係るコンテンツ特徴量抽出装置は、映像信号を含むコンテンツの特徴量を抽出するコンテンツ特徴量抽出装置であって、映像フレーム分割部と、ブロック別変動画素累計部と、ブロック別累計二階微分算出部と、を備える構成とした。
【0007】
かかる構成において、コンテンツ特徴量抽出装置は、映像フレーム分割部によって、映像信号のフレーム（フィールド）を予め定めた大きさのブロックに分割する。
そして、コンテンツ特徴量抽出装置は、ブロック別変動画素累計部によって、ブロックごとに、画素値の時間方向における２時点の微分値の絶対値がともに閾値以上となる画素を累計する。これによって、ノイズが発生している画素をブロックごとに累計することができる。
そして、コンテンツ特徴量抽出装置は、ブロック別累計二階微分算出部によって、ブロックごとの累計値を時間方向に二階微分することで、フレームにおける映像特徴量をブロックごとに算出する。このように、二階微分値を用いることで、コンテンツ特徴量抽出装置は、画素値の変動において、動きの加速度を求めることになり、短時間で変動するデジタルクリフ型の特徴を抽出することができる。
このコンテンツ特徴量抽出装置は、コンピュータを、前記した各機能部として機能させるためのコンテンツ特徴量抽出プログラムで動作させることができる。
そして、コンテンツ特徴量抽出装置は、ブロック別変動画素累計部によって、ブロックごとに、画素値の時間方向における２時点の微分値の絶対値がともに閾値以上となる画素を累計する。これによって、ノイズが発生している画素をブロックごとに累計することができる。
そして、コンテンツ特徴量抽出装置は、ブロック別累計二階微分算出部によって、ブロックごとの累計値を時間方向に二階微分することで、フレームにおける映像特徴量をブロックごとに算出する。このように、二階微分値を用いることで、コンテンツ特徴量抽出装置は、画素値の変動において、動きの加速度を求めることになり、短時間で変動するデジタルクリフ型の特徴を抽出することができる。
このコンテンツ特徴量抽出装置は、コンピュータを、前記した各機能部として機能させるためのコンテンツ特徴量抽出プログラムで動作させることができる。
【0008】
また、前記課題を解決するため、本発明に係る監視装置は、複数のコンテンツ特徴量抽出装置から異なるチャンネルで入力された映像信号を含むコンテンツの特徴量から、前記コンテンツの障害を監視する監視装置であって、映像障害フレーム検出部と、映像障害チャンネル検出部と、を備える構成とした。
【0009】
かかる構成において、監視装置は、映像障害フレーム検出部によって、映像信号のフレームの予め定めた大きさのブロックごとに、画素値の時間方向における２時点の微分値の絶対値がともに閾値以上となる画素を累計した累計値を時間方向に二階微分した、映像信号のフレームごとの映像特徴量である二階微分値の変動の大きさに基づいて、映像信号のフレームの障害を検出する。この二階微分値を用いることで、１つの映像信号のみで、一重刺激方式による映像信号そのものの障害を検出することができる。
そして、監視装置は、映像障害チャンネル検出部によって、二階微分値の変動の大きさをチャンネル間で比較し、障害が発生した映像信号のチャンネルを検出する。これによって、二重刺激方式による映像信号のチャンネルの障害を検出することができる。
この監視装置は、コンピュータを、前記した各機能部として機能させるためのコンテンツ監視プログラムで動作させることができる。
そして、監視装置は、映像障害チャンネル検出部によって、二階微分値の変動の大きさをチャンネル間で比較し、障害が発生した映像信号のチャンネルを検出する。これによって、二重刺激方式による映像信号のチャンネルの障害を検出することができる。
この監視装置は、コンピュータを、前記した各機能部として機能させるためのコンテンツ監視プログラムで動作させることができる。
【発明の効果】
【0010】
本発明は、以下に示す優れた効果を奏するものである。
本発明のコンテンツ特徴量抽出装置によれば、コンテンツから、デジタルクリフ型のノイズを精度よく検出することが可能なコンテンツ特徴量を抽出することができる。
また、本発明の監視装置によれば、コンテンツ特徴量から、デジタルクリフ型のノイズを検出することができる。
本発明のコンテンツ特徴量抽出装置によれば、コンテンツから、デジタルクリフ型のノイズを精度よく検出することが可能なコンテンツ特徴量を抽出することができる。
また、本発明の監視装置によれば、コンテンツ特徴量から、デジタルクリフ型のノイズを検出することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態に係る監視システムの構成を示す構成図である。
【図2】本発明の実施形態に係るコンテンツ特徴量抽出装置の構成を示すブロック構成図である。
【図3】映像信号のフレームをブロックに分割する処理を説明するための説明図である。
【図4】画素値の微分処理を説明するための説明図である。
【図5】デジタルクリフ画素数の二階微分によって映像特徴量を算出する処理を説明するための説明図である。
【図6】音声信号のブロックを説明するための説明図である。
【図7】音声ブロックの分散の二階微分によりクリフ波形を抽出する処理を説明するための説明図である。
【図8】本発明の実施形態に係るコンテンツ特徴量抽出装置の動作を示すフローチャートである。
【図9】本発明の実施形態に係る監視装置の構成を示すブロック構成図である。
【図10】障害検出結果の表示画面を示す画面例である。
【図11】映像特徴量を用いた一重刺激方式によりフレーム障害を検出する動作を示すフローチャートである。
【図12】音声特徴量を用いた一重刺激方式によりフレーム障害を検出する動作を示すフローチャートである。
【図13】映像特徴量を用いた二重刺激方式によりフレーム障害のチャンネルを検出する動作を示すフローチャートである。
【図14】音声特徴量を用いた二重刺激方式によりフレーム障害のチャンネルを検出する動作を示すフローチャートである。
【図15】監視システムの変形例を説明するための説明図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について図面を参照して説明する。
［監視システム］
最初に、図１を参照して、本発明の実施形態に係るコンテンツ特徴量抽出装置１および監視装置２を含む監視システムＳＡの構成について説明する。
［監視システム］
最初に、図１を参照して、本発明の実施形態に係るコンテンツ特徴量抽出装置１および監視装置２を含む監視システムＳＡの構成について説明する。
【0013】
監視システムＳＡは、伝送路上のコンテンツを監視し、コンテンツの障害を検出するものである。
ここでは、監視システムＳＡとして、２地点（地点Ａ、地点Ｂ）を中継する伝送路上でコンテンツを監視するシステムの例で説明する。
監視システムＳＡは、複数のコンテンツ特徴量抽出装置１と、監視装置２とをＩＰネットワーク等のネットワークＮで接続して構成する。なお、監視装置２には、障害の検出結果を表示するための表示装置３を接続している。
また、ここでは、中継元（地点Ａ）から放送局（地点Ｂ）まで、カメラ４が撮影したコンテンツ（映像信号Ｖｓ、音声信号Ａｓ）を、通信衛星伝送（ＣＳ）で伝送する本線と、マイクロ波伝送（ＦＰＵ）で伝送する予備線とで、中継回線を二重化している。
ここでは、監視システムＳＡとして、２地点（地点Ａ、地点Ｂ）を中継する伝送路上でコンテンツを監視するシステムの例で説明する。
監視システムＳＡは、複数のコンテンツ特徴量抽出装置１と、監視装置２とをＩＰネットワーク等のネットワークＮで接続して構成する。なお、監視装置２には、障害の検出結果を表示するための表示装置３を接続している。
また、ここでは、中継元（地点Ａ）から放送局（地点Ｂ）まで、カメラ４が撮影したコンテンツ（映像信号Ｖｓ、音声信号Ａｓ）を、通信衛星伝送（ＣＳ）で伝送する本線と、マイクロ波伝送（ＦＰＵ）で伝送する予備線とで、中継回線を二重化している。
【0014】
コンテンツ特徴量抽出装置１は、コンテンツから、デジタルクリフ型のノイズ（以下、デジタルクリフという）を検出可能なコンテンツ特徴量を抽出し、監視装置２に出力するものである。
ここでは、監視システムＳＡは、４台のコンテンツ特徴量抽出装置１Ａ１，１Ａ２，１Ｂ１，１Ｂ２を備える。
ここでは、監視システムＳＡは、４台のコンテンツ特徴量抽出装置１Ａ１，１Ａ２，１Ｂ１，１Ｂ２を備える。
【0015】
コンテンツ特徴量抽出装置１Ａ１は、カメラ４と通信衛星伝送を行う中継車５との間の伝送路である本線ＡＭで伝送されるコンテンツから特徴量を抽出するものである。
コンテンツ特徴量抽出装置１Ａ２は、カメラ４とマイクロ波伝送を行う中継伝送装置７との間の伝送路である予備線ＡＳで伝送されるコンテンツの特徴量を抽出するものである。
コンテンツ特徴量抽出装置１Ａ２は、カメラ４とマイクロ波伝送を行う中継伝送装置７との間の伝送路である予備線ＡＳで伝送されるコンテンツの特徴量を抽出するものである。
【0016】
コンテンツ特徴量抽出装置１Ｂ１は、通信衛星伝送の受信装置６と放送局内の受信設備（不図示）との間の伝送路である本線ＢＭで伝送されるコンテンツから特徴量を抽出するものである。
コンテンツ特徴量抽出装置１Ｂ２は、マイクロ波伝送を行う中継伝送装置８と放送局内の受信設備（不図示）との間の伝送路である予備線ＢＳで伝送されるコンテンツから特徴量を抽出するものである。
コンテンツ特徴量抽出装置１Ａ１，１Ａ２，１Ｂ１，１Ｂ２は、コンテンツ（映像信号Ｖｓ、音声信号Ａｓ）から抽出したコンテンツ特徴量である映像特徴量Ｃと音声特徴量Ｚ，Ｚ′とを、ネットワークＮを介して監視装置２に送信する。
コンテンツ特徴量抽出装置１Ｂ２は、マイクロ波伝送を行う中継伝送装置８と放送局内の受信設備（不図示）との間の伝送路である予備線ＢＳで伝送されるコンテンツから特徴量を抽出するものである。
コンテンツ特徴量抽出装置１Ａ１，１Ａ２，１Ｂ１，１Ｂ２は、コンテンツ（映像信号Ｖｓ、音声信号Ａｓ）から抽出したコンテンツ特徴量である映像特徴量Ｃと音声特徴量Ｚ，Ｚ′とを、ネットワークＮを介して監視装置２に送信する。
【0017】
監視装置２は、複数のコンテンツ特徴量抽出装置１から異なるチャンネル（入手経路）で入力されたコンテンツ特徴量から、コンテンツの障害を監視するものである。
この監視装置２は、コンテンツ特徴量抽出装置１で抽出されたコンテンツ特徴量から、映像フレームの時間区間におけるデジタルクリフを検出し、各地点におけるコンテンツの障害を監視する。また、監視装置２は、コンテンツ特徴量抽出装置１が抽出するコンテンツ特徴量から、一重刺激障害方式および二重刺激方式により障害検出を行う。
一重刺激方式は、１つのコンテンツ特徴量抽出装置１が抽出するコンテンツ特徴量そのものから、デジタルクリフを検出する方式である。また、二重刺激方式は、２つのコンテンツ特徴量抽出装置１（例えば、１Ａ１，１Ａ２）が抽出するコンテンツ特徴量を比較することで、デジタルクリフを検出する方式である。
以下、コンテンツ特徴量抽出装置１および監視装置２の構成および動作について詳細に説明する。
この監視装置２は、コンテンツ特徴量抽出装置１で抽出されたコンテンツ特徴量から、映像フレームの時間区間におけるデジタルクリフを検出し、各地点におけるコンテンツの障害を監視する。また、監視装置２は、コンテンツ特徴量抽出装置１が抽出するコンテンツ特徴量から、一重刺激障害方式および二重刺激方式により障害検出を行う。
一重刺激方式は、１つのコンテンツ特徴量抽出装置１が抽出するコンテンツ特徴量そのものから、デジタルクリフを検出する方式である。また、二重刺激方式は、２つのコンテンツ特徴量抽出装置１（例えば、１Ａ１，１Ａ２）が抽出するコンテンツ特徴量を比較することで、デジタルクリフを検出する方式である。
以下、コンテンツ特徴量抽出装置１および監視装置２の構成および動作について詳細に説明する。
【0018】
［コンテンツ特徴量抽出装置の構成］
まず、図２を参照（適宜図１参照）して、コンテンツ特徴量抽出装置１の構成について説明する。
コンテンツ特徴量抽出装置１は、映像特徴量抽出部１０と、音声特徴量抽出部１１と、特徴量送出部１２と、を備える。
まず、図２を参照（適宜図１参照）して、コンテンツ特徴量抽出装置１の構成について説明する。
コンテンツ特徴量抽出装置１は、映像特徴量抽出部１０と、音声特徴量抽出部１１と、特徴量送出部１２と、を備える。
【0019】
映像特徴量抽出部１０は、コンテンツの映像信号Ｖｓから、映像特徴量を抽出するものである。
映像特徴量抽出部１０は、映像フレーム分割部１００と、ブロック別変動画素累計部１０１と、ブロック別累計二階微分算出部１０２と、を備える。
映像特徴量抽出部１０は、映像フレーム分割部１００と、ブロック別変動画素累計部１０１と、ブロック別累計二階微分算出部１０２と、を備える。
【0020】
映像フレーム分割部１００は、映像信号Ｖｓのフレームを予め定めた大きさのブロックに分割するものである。
ブロックの大きさは特に限定するものではないが、水平１６画素×垂直１６画素、水平３２画素×垂直３２画素等である。
映像フレーム分割部１００は、図３に示すように、時系列（…，ｔ－１，ｔ，ｔ＋１，…）に連続するフレームＦを、予め定めた大きさのブロックＢに分割するように、水平方向にＨ分割、垂直方向にＶ分割する。
なお、時刻ｔのフレームＦにおける分割された水平位置ｈ、垂直位置ｖのブロックＢ内の座標（ｘ，ｙ）の画素値をＳ（ｔ，ｘ，ｙ，ｖ，ｈ）とする。
映像フレーム分割部１００は、分割したブロックをフレームごとにブロック別変動画素累計部１０１に出力する。
ブロックの大きさは特に限定するものではないが、水平１６画素×垂直１６画素、水平３２画素×垂直３２画素等である。
映像フレーム分割部１００は、図３に示すように、時系列（…，ｔ－１，ｔ，ｔ＋１，…）に連続するフレームＦを、予め定めた大きさのブロックＢに分割するように、水平方向にＨ分割、垂直方向にＶ分割する。
なお、時刻ｔのフレームＦにおける分割された水平位置ｈ、垂直位置ｖのブロックＢ内の座標（ｘ，ｙ）の画素値をＳ（ｔ，ｘ，ｙ，ｖ，ｈ）とする。
映像フレーム分割部１００は、分割したブロックをフレームごとにブロック別変動画素累計部１０１に出力する。
【0021】
ブロック別変動画素累計部１０１は、映像フレーム分割部１００で分割されたブロックごとに、時間方向の画素値の微分値が予め定めた閾値以上に変動する画素を累計するものである。この閾値以上に変動する画素は、デジタルクリフが発生した画素とみなすことができる。
【0022】
ここで、図４を参照して、ブロック別変動画素累計部１０１が行う処理について詳細に説明する。
図４は、時系列（…，ｔ－１，ｔ，ｔ＋１，…）に連続するフレームＦとフレームＦ内の同一位置の画素Ｓを示している。
ブロック別変動画素累計部１０１は、画素Ｓの画素値Ｓ（ｔ，ｘ，ｙ，ｖ，ｈ）を用いて時間方向に微分処理を行う。
図４は、時系列（…，ｔ－１，ｔ，ｔ＋１，…）に連続するフレームＦとフレームＦ内の同一位置の画素Ｓを示している。
ブロック別変動画素累計部１０１は、画素Ｓの画素値Ｓ（ｔ，ｘ，ｙ，ｖ，ｈ）を用いて時間方向に微分処理を行う。
【0023】
デジタルクリフは、発生時にフレーム間で大きな画素値の変化（クリフ＝崖）が生じ、消失時に再びフレーム間で大きな画素値の変化が生じる現象である。そこで、ブロック別変動画素累計部１０１は、画素値Ｓ（ｔ，ｘ，ｙ，ｖ，ｈ）の時間方向の２時点の微分値の大きさがともに閾値以上となる画素をデジタルクリフが発生した画素と判定する。
そして、ブロック別変動画素累計部１０１は、ブロックごとにデジタルクリフが発生した画素を累計する。
具体的には、時刻ｔのフレームにおいてデジタルクリフが発生した画素を累計する場合、ブロック別変動画素累計部１０１は、連続する５フレーム（ｔ－２，ｔ－１，ｔ，ｔ＋１，ｔ＋２）を用いて、以下の式（１）～式（３）により、デジタルクリフの発生の判定と画素の累計とを行う。
そして、ブロック別変動画素累計部１０１は、ブロックごとにデジタルクリフが発生した画素を累計する。
具体的には、時刻ｔのフレームにおいてデジタルクリフが発生した画素を累計する場合、ブロック別変動画素累計部１０１は、連続する５フレーム（ｔ－２，ｔ－１，ｔ，ｔ＋１，ｔ＋２）を用いて、以下の式（１）～式（３）により、デジタルクリフの発生の判定と画素の累計とを行う。
【0024】
【数1】
【数2】
【数3】
【0025】
ｄＳ（ｔ，ｘ，ｙ，ｖ，ｈ）／ｄｔは、時刻ｔにおける位置（ｖ，ｈ）のブロックＢ内の座標（ｘ，ｙ）の画素Ｓにおける微分値を示す。具体的には、画素値の差分であって、Ｓ（ｔ－１，ｘ，ｙ，ｖ，ｈ）－Ｓ（ｔ，ｘ，ｙ，ｖ，ｈ）である。
ｄＳ（ｔ＋１，ｘ，ｙ，ｖ，ｈ）／ｄｔ、ｄＳ（ｔ＋２，ｘ，ｙ，ｖ，ｈ）／ｄｔ、ｄＳ（ｔ－１，ｘ，ｙ，ｖ，ｈ）／ｄｔも時刻が異なるだけで、ｄＳ（ｔ，ｘ，ｙ，ｖ，ｈ）／ｄｔと同様、画素Ｓにおける微分値である。
ｄＳ（ｔ＋１，ｘ，ｙ，ｖ，ｈ）／ｄｔ、ｄＳ（ｔ＋２，ｘ，ｙ，ｖ，ｈ）／ｄｔ、ｄＳ（ｔ－１，ｘ，ｙ，ｖ，ｈ）／ｄｔも時刻が異なるだけで、ｄＳ（ｔ，ｘ，ｙ，ｖ，ｈ）／ｄｔと同様、画素Ｓにおける微分値である。
【0026】
Ｂ（ｔ，ｖ，ｈ）は、時刻ｔにおける位置（ｖ，ｈ）のブロックＢのデジタルクリフが発生した画素数（累計値）を示す。なお、Ｂ（ｔ，ｖ，ｈ）の初期値は“０”とし、前記式（１）～式（３）のＡＮＤ（論理積）条件を満たす場合に、それぞれ加算される。
【0027】
前記式（１）は、図４の（Ａ）に示すように、時刻ｔ－１のフレームと時刻ｔのフレームとの画素値の差、および、時刻ｔのフレームと時刻ｔ＋１のフレームとの画素値の差を、デジタルクリフの発生の判定のために用いる。
これによって、時刻ｔのフレームにノイズが発生し、その前後で画素値の大きな（閾値“Ｔｈ１”以上）の変化が発生するデジタルクリフを検出することができる。
これによって、時刻ｔのフレームにノイズが発生し、その前後で画素値の大きな（閾値“Ｔｈ１”以上）の変化が発生するデジタルクリフを検出することができる。
【0028】
前記式（２）は、図４の（Ｂ）に示すように、時刻ｔ－１のフレームと時刻ｔのフレームとの画素値の差、および、時刻ｔ＋１のフレームと時刻ｔ＋２のフレームとの画素値の差を、デジタルクリフの発生の判定のために用いる。
これによって、時刻ｔ，ｔ＋１の２フレームにノイズが発生し、その前後で画素値の大きな（閾値“Ｔｈ１”以上）の変化が発生するデジタルクリフを検出することができる。
前記式（３）は、図４の（Ｃ）に示すように、時刻ｔ－２のフレームと時刻ｔ－１のフレームとの画素値の差、および、時刻ｔのフレームと時刻ｔ＋１のフレームとの画素値の差を、デジタルクリフの発生の判定のために用いる。
これによって、時刻ｔ－１，ｔの２フレーム連続するノイズが発生し、その前後で画素値の大きな（閾値“Ｔｈ１”以上）の変化が発生するデジタルクリフを検出することができる。
これによって、時刻ｔ，ｔ＋１の２フレームにノイズが発生し、その前後で画素値の大きな（閾値“Ｔｈ１”以上）の変化が発生するデジタルクリフを検出することができる。
前記式（３）は、図４の（Ｃ）に示すように、時刻ｔ－２のフレームと時刻ｔ－１のフレームとの画素値の差、および、時刻ｔのフレームと時刻ｔ＋１のフレームとの画素値の差を、デジタルクリフの発生の判定のために用いる。
これによって、時刻ｔ－１，ｔの２フレーム連続するノイズが発生し、その前後で画素値の大きな（閾値“Ｔｈ１”以上）の変化が発生するデジタルクリフを検出することができる。
【0029】
ここでは、１フレームまたは２フレーム連続でノイズが発生する場合におけるデジタルクリフの検出例を説明した。しかし、ノイズが発生する連続フレーム数が３フレーム以上でもデジタルクリフの検出を可能とするには、判定に使用するフレーム数を多くすればよい。その場合、ノイズが発生する連続フレームには必ず時刻ｔのフレームが含まれる。
例えば、ノイズが３フレームまで継続する場合、ブロック別変動画素累計部１０１は、図４の（Ｄ）に示すように、時刻ｔ－２のフレームと時刻ｔ－１のフレームとの差、および、時刻ｔ＋１のフレームと時刻ｔ＋２のフレームとの差、図４の（Ｅ）に示すように、時刻ｔ－１のフレームと時刻ｔのフレームとの差、および、時刻ｔ＋２のフレームと時刻ｔ＋３のフレームとの差、図４（Ｆ）に示すように、時刻ｔ－３のフレームと時刻ｔ－２のフレームとの差、および、時刻ｔのフレームと時刻ｔ＋１のフレームとの差を、さらに判定の条件に追加すればよい。
例えば、ノイズが３フレームまで継続する場合、ブロック別変動画素累計部１０１は、図４の（Ｄ）に示すように、時刻ｔ－２のフレームと時刻ｔ－１のフレームとの差、および、時刻ｔ＋１のフレームと時刻ｔ＋２のフレームとの差、図４の（Ｅ）に示すように、時刻ｔ－１のフレームと時刻ｔのフレームとの差、および、時刻ｔ＋２のフレームと時刻ｔ＋３のフレームとの差、図４（Ｆ）に示すように、時刻ｔ－３のフレームと時刻ｔ－２のフレームとの差、および、時刻ｔのフレームと時刻ｔ＋１のフレームとの差を、さらに判定の条件に追加すればよい。
【0030】
また、ノイズが４フレームまで継続する場合、ブロック別変動画素累計部１０１は、図４の（Ｇ）～（Ｊ）に示すように、時刻ｔのフレームを含んで連続する４フレームの前後におけるフレーム間の画素値の差を、判定の条件に追加すればよい。
もちろん、ノイズが５フレーム以上継続する場合を許容する場合も、同様にフレーム間隔を開けて、判定の条件に追加すればよい。
図２に戻って、コンテンツ特徴量抽出装置１の構成について説明を続ける。
もちろん、ノイズが５フレーム以上継続する場合を許容する場合も、同様にフレーム間隔を開けて、判定の条件に追加すればよい。
図２に戻って、コンテンツ特徴量抽出装置１の構成について説明を続ける。
【0031】
ブロック別変動画素累計部１０１は、累計したブロック別のデジタルクリフの画素数を、フレームごとにブロック別累計二階微分算出部１０２に出力する。
ここでは、ブロック別変動画素累計部１０１は、前記式（１）等によって累計されたＢ（ｔ，ｖ，ｈ）をブロック別累計二階微分算出部１０２に出力する。
ここでは、ブロック別変動画素累計部１０１は、前記式（１）等によって累計されたＢ（ｔ，ｖ，ｈ）をブロック別累計二階微分算出部１０２に出力する。
【0032】
ブロック別累計二階微分算出部１０２は、ブロック別変動画素累計部１０１で累計されたブロック別のデジタルクリフが発生した画素数（累計値）を、時間方向に二階微分することで、フレームにおけるブロック別の映像特徴量を算出するものである。
ブロック別のデジタルクリフが発生した画素数Ｂ（ｔ，ｖ，ｈ）は、図４で説明したように、複数のフレーム間でデジタルクリフの有無を判定し、その数を累計したものであるため、通常、ゼロではない値をとり、時間方向に滑らかに変化する。そのため、Ｂ（ｔ，ｖ，ｈ）を二階微分して、動きの加速度を求めると、ほぼ一定の値、あるいはゼロ近傍の値となる。
しかし、ブロックノイズのように、１フレームまたは２フレームという非常に短い時間間隔内に２回のデジタルクリフが存在する場合、Ｂ（ｔ，ｖ，ｈ）を二階微分すると、加速度の急激な上昇と下降というδ超関数、すなわち、パルス状の波形となる。
ブロック別のデジタルクリフが発生した画素数Ｂ（ｔ，ｖ，ｈ）は、図４で説明したように、複数のフレーム間でデジタルクリフの有無を判定し、その数を累計したものであるため、通常、ゼロではない値をとり、時間方向に滑らかに変化する。そのため、Ｂ（ｔ，ｖ，ｈ）を二階微分して、動きの加速度を求めると、ほぼ一定の値、あるいはゼロ近傍の値となる。
しかし、ブロックノイズのように、１フレームまたは２フレームという非常に短い時間間隔内に２回のデジタルクリフが存在する場合、Ｂ（ｔ，ｖ，ｈ）を二階微分すると、加速度の急激な上昇と下降というδ超関数、すなわち、パルス状の波形となる。
【0033】
ここで、図５を参照して、ブロック別累計二階微分算出部１０２が行う処理について詳細に説明する。
図５は、時系列（…，ｔ－１，ｔ，ｔ＋１，…）に連続するフレームＦとフレームＦ内の同一位置のブロックＢを示している。
ブロック別累計二階微分算出部１０２は、ブロックＢごとの画素数Ｂ（ｔ，ｖ，ｈ）を用いて時間方向に二階微分の演算を行う。
すなわち、ブロック別累計二階微分算出部１０２は、以下の式（４）により、ブロック別の映像特徴量Ｃ（ｔ，ｖ，ｈ）を算出する。
図５は、時系列（…，ｔ－１，ｔ，ｔ＋１，…）に連続するフレームＦとフレームＦ内の同一位置のブロックＢを示している。
ブロック別累計二階微分算出部１０２は、ブロックＢごとの画素数Ｂ（ｔ，ｖ，ｈ）を用いて時間方向に二階微分の演算を行う。
すなわち、ブロック別累計二階微分算出部１０２は、以下の式（４）により、ブロック別の映像特徴量Ｃ（ｔ，ｖ，ｈ）を算出する。
【0034】
【数4】
【0035】
このように算出された映像特徴量Ｃ（ｔ，ｖ，ｈ）は、１フレームまたは２フレームという非常に短い時間間隔内に２回のデジタルクリフが存在する場合、図５に示すように、δ超関数となり、デジタルクリフの特徴を表すことができる。
図２に戻って、コンテンツ特徴量抽出装置１の構成について説明を続ける。
図２に戻って、コンテンツ特徴量抽出装置１の構成について説明を続ける。
【0036】
ブロック別累計二階微分算出部１０２は、算出した時系列のフレームごとのブロック別の映像特徴量Ｃ（ｔ，ｖ，ｈ）を特徴量送出部１２に出力する。
このように、映像特徴量抽出部１０は、映像信号Ｖｓから、フレームごとに、デジタルクリフの特徴を表したブロック別の値を特徴量として抽出するため、映像信号に比べて少量のデータで特徴量を生成することができる。
このように、映像特徴量抽出部１０は、映像信号Ｖｓから、フレームごとに、デジタルクリフの特徴を表したブロック別の値を特徴量として抽出するため、映像信号に比べて少量のデータで特徴量を生成することができる。
【0037】
音声特徴量抽出部１１は、コンテンツの音声信号Ａｓから、音声特徴量を抽出するものである。
音声特徴量抽出部１１は、音声ブロック分散算出部１１０と、ブロック別分散二階微分算出部１１１と、フレーム内変動特徴量算出部１１２と、を備える。
音声特徴量抽出部１１は、音声ブロック分散算出部１１０と、ブロック別分散二階微分算出部１１１と、フレーム内変動特徴量算出部１１２と、を備える。
【0038】
音声ブロック分散算出部１１０は、映像信号Ｖｓのフレーム区間ごとに、音声信号Ａｓの予め定めた時間区間に含まれる音声信号の信号値（サンプル値）の分散である音声ブロック分散を算出するものである。
具体的には、音声ブロック分散算出部１１０は、図６に示すように、予め定めた時間区間のＮサンプルの音声信号の信号値ｘ（ｔ）～ｘ（ｔ＋Ｎ）から音声ブロック分散を算出する。
ここで、時間区間の時刻（例えば、先頭時刻）をＴとし、当該時間区間内の音声信号のサンプル数をＮとしたとき、音声ブロック分散算出部１１０は、以下の式（５）により、音声ブロック分散Ｐ（Ｔ）を算出する。
具体的には、音声ブロック分散算出部１１０は、図６に示すように、予め定めた時間区間のＮサンプルの音声信号の信号値ｘ（ｔ）～ｘ（ｔ＋Ｎ）から音声ブロック分散を算出する。
ここで、時間区間の時刻（例えば、先頭時刻）をＴとし、当該時間区間内の音声信号のサンプル数をＮとしたとき、音声ブロック分散算出部１１０は、以下の式（５）により、音声ブロック分散Ｐ（Ｔ）を算出する。
【0039】
【数5】
【0040】
なお、Ａ（ｔ）は、以下の式（６）で算出される信号値ｘ（ｔ）～ｘ（ｔ＋Ｎ）の平均値である。
【0041】
【数6】
【0042】
これによって、音声ブロック分散算出部１１０は、音声信号Ａｓを、Ｎ個のサンプルの信号値で区分した音声ブロックごとのデータに変換する。
図２に戻って、コンテンツ特徴量抽出装置１の構成について説明を続ける。
音声ブロック分散算出部１１０は、算出した音声ブロック分散をブロック別分散二階微分算出部１１１に出力する。
図２に戻って、コンテンツ特徴量抽出装置１の構成について説明を続ける。
音声ブロック分散算出部１１０は、算出した音声ブロック分散をブロック別分散二階微分算出部１１１に出力する。
【0043】
ブロック別分散二階微分算出部１１１は、映像信号のフレーム区間ごとに、音声ブロック分散算出部１１０で算出された時系列の音声ブロック分散を、時間方向に二階微分するものである。
このブロック別分散二階微分算出部１１１は、ブロック別累計二階微分算出部１０２と同様に、二階微分により動きの加速度を求める。
すなわち、ブロック別分散二階微分算出部１１１は、以下の式（７）により、音声ブロック分散Ｐ（Ｔ）の二階微分値Ｐ″（Ｔ）を算出する。
このブロック別分散二階微分算出部１１１は、ブロック別累計二階微分算出部１０２と同様に、二階微分により動きの加速度を求める。
すなわち、ブロック別分散二階微分算出部１１１は、以下の式（７）により、音声ブロック分散Ｐ（Ｔ）の二階微分値Ｐ″（Ｔ）を算出する。
【0044】
【数7】
【0045】
ブロック別分散二階微分算出部１１１は、算出した音声ブロック分散Ｐ（Ｔ）の二階微分値Ｐ″（Ｔ）を、フレーム内変動特徴量算出部１１２に出力する。
【0046】
フレーム内変動特徴量算出部１１２は、ブロック別分散二階微分算出部１１１で算出された二階微分値の時系列の変動から、映像信号のフレーム区間ごとに、デジタルクリフ型の変動の特徴を数値化した音声特徴量を算出するものである。
フレーム内変動特徴量算出部１１２は、時系列の音声ブロック分散の二階微分値から、閾値判定により、デジタルクリフ型の変動の波形（クリフ波形）を検出する。そして、フレーム内変動特徴量算出部１１２は、映像信号のフレーム区間ごとに、クリフ波形に含まれる二階微分値の絶対値加算平均と、クリフ波形の予め定めた周辺区間の波形（周辺波形）に含まれる二階微分値の絶対値加算平均とを、クリフ波形とその周辺波形との特徴を数値化した音声特徴量とする。
フレーム内変動特徴量算出部１１２は、時系列の音声ブロック分散の二階微分値から、閾値判定により、デジタルクリフ型の変動の波形（クリフ波形）を検出する。そして、フレーム内変動特徴量算出部１１２は、映像信号のフレーム区間ごとに、クリフ波形に含まれる二階微分値の絶対値加算平均と、クリフ波形の予め定めた周辺区間の波形（周辺波形）に含まれる二階微分値の絶対値加算平均とを、クリフ波形とその周辺波形との特徴を数値化した音声特徴量とする。
【0047】
具体的には、フレーム内変動特徴量算出部１１２は、音声ブロック分散の二階微分値の時系列の波形で、正から負、負から正に変動するゼロクロスポイントの中央および前後の二階微分値の大きさが予め定めた閾値以上で、かつ、周辺の二階微分値の大きさが予め定めた閾値以下の波形を構成する二階微分値を抽出する。
すなわち、フレーム内変動特徴量算出部１１２は、映像信号のフレーム区間において、以下の式（８）の条件を満たす二階微分値Ｐ″（Ｔ－ｍ），…，Ｐ″（Ｔ＋ｍ）を抽出する。
すなわち、フレーム内変動特徴量算出部１１２は、映像信号のフレーム区間において、以下の式（８）の条件を満たす二階微分値Ｐ″（Ｔ－ｍ），…，Ｐ″（Ｔ＋ｍ）を抽出する。
【0048】
【数8】
【0049】
この式（８）の条件は、（Ｔ－１）および（Ｔ＋１）における二階微分値が閾値“Ｔｈ２”以上、Ｔにおける二階微分値が閾値“－Ｔｈ２”以下で、（Ｔ－ｍ），…，（Ｔ－２），（Ｔ＋２），…，（Ｔ＋ｍ）における二階微分値の絶対値が閾値“Ｔｈ３”以下であるという条件である。
ここで、閾値“Ｔｈ２”は、デジタルクリフの発生を判定するための予め定めた値である。閾値“Ｔｈ３”は、デジタルクリフが発生していないことを判定するための、“Ｔｈ２”よりも小さい予め定めた値である。
これによって、フレーム内変動特徴量算出部１１２は、映像信号のフレーム区間において、デジタルクリフが発生した時点とその前後の区間の二階微分値を抽出する。
ここで、閾値“Ｔｈ２”は、デジタルクリフの発生を判定するための予め定めた値である。閾値“Ｔｈ３”は、デジタルクリフが発生していないことを判定するための、“Ｔｈ２”よりも小さい予め定めた値である。
これによって、フレーム内変動特徴量算出部１１２は、映像信号のフレーム区間において、デジタルクリフが発生した時点とその前後の区間の二階微分値を抽出する。
【0050】
なお、映像信号のフレーム区間において、デジタルクリフは複数発生する場合があるため、図７に示すように、抽出した二階微分値を、＃１，…，＃ｅ，…，＃Ｅとナンバリングして識別することとする。以下、＃ｅ番目の二階微分値を、Ｐ″（Ｔ，ｅ）とする。
そして、フレーム内変動特徴量算出部１１２は、以下の式（９）に示すように、デジタルクリフが発生した時点である“Ｔ－１”，“Ｔ”，“Ｔ＋１”の二階微分値の絶対値和平均を、フレームＦ（時刻ｔ）内のデジタルクリフの特徴を表す音声特徴量Ｚ（ｔ）として算出する。
そして、フレーム内変動特徴量算出部１１２は、以下の式（９）に示すように、デジタルクリフが発生した時点である“Ｔ－１”，“Ｔ”，“Ｔ＋１”の二階微分値の絶対値和平均を、フレームＦ（時刻ｔ）内のデジタルクリフの特徴を表す音声特徴量Ｚ（ｔ）として算出する。
【0051】
【数9】
【0052】
また、フレーム内変動特徴量算出部１１２は、以下の式（１０）に示すように、デジタルクリフが発生した時点の前後の区間である“Ｔ－ｍ”，…，“Ｔ－２”、および、“Ｔ＋２”，…，“Ｔ＋ｍ”の二階微分値の絶対値和平均を、フレームＦ内のデジタルクリフの前後の特徴を表す音声特徴量Ｚ′（Ｆ）として算出する。
【0053】
【数10】
【0054】
このように算出された音声特徴量Ｚ（ｔ），Ｚ′（ｔ）は、１フレームまたは２フレームという非常に短い時間間隔内に２回のデジタルクリフが存在する場合、音声特徴量Ｚ（ｔ）が音声特徴量Ｚ′（ｔ）と比較して大きな値を持つことになり、デジタルクリフの特徴を表すことができる。
【0055】
フレーム内変動特徴量算出部１１２は、算出した時系列のフレームごとの音声特徴量Ｚ（ｔ），Ｚ′（ｔ）を特徴量送出部１２に出力する。
このように、音声特徴量抽出部１１は、音声信号Ａｓから、映像信号Ｖｓのフレーム区間ごとに、デジタルクリフの特徴を表した値を特徴量として抽出するため、音声信号に比べて少量のデータで特徴量を生成することができる。
このように、音声特徴量抽出部１１は、音声信号Ａｓから、映像信号Ｖｓのフレーム区間ごとに、デジタルクリフの特徴を表した値を特徴量として抽出するため、音声信号に比べて少量のデータで特徴量を生成することができる。
【0056】
特徴量送出部１２は、映像特徴量抽出部１０で抽出されたフレームごとのブロック別の映像特徴量Ｃ（ｔ，ｖ，ｈ）と、音声特徴量抽出部１１で抽出されたフレーム区間に対応する音声特徴量Ｚ（ｔ），Ｚ′（ｔ）とを、コンテンツ特徴量として、ネットワークＮを介して、監視装置２に送出するものである。
この特徴量送出部１２は、１フレーム分の映像特徴量Ｃ（ｔ，ｖ，ｈ）と、フレーム区間に対応する音声特徴量Ｚ（Ｆ），Ｚ′（Ｆ）とを、予め定めた順番で連結した数値列として、フレームごとに監視装置２に送出する。
この特徴量送出部１２は、１フレーム分の映像特徴量Ｃ（ｔ，ｖ，ｈ）と、フレーム区間に対応する音声特徴量Ｚ（Ｆ），Ｚ′（Ｆ）とを、予め定めた順番で連結した数値列として、フレームごとに監視装置２に送出する。
【0057】
これによって、コンテンツ特徴量抽出装置１は、映像信号および音声信号から、映像信号および音声信号に比べて少ないデータ量で、デジタルクリフの特徴を表したコンテンツ特徴量を抽出することができる。
なお、コンテンツ特徴量抽出装置１は、コンピュータを、前記した各機能部とし機能させるためのプログラム（コンテンツ特徴量抽出プログラム）で動作させることができる。
なお、コンテンツ特徴量抽出装置１は、コンピュータを、前記した各機能部とし機能させるためのプログラム（コンテンツ特徴量抽出プログラム）で動作させることができる。
【0058】
［コンテンツ特徴量抽出装置の動作］
次に、図８を参照（構成については適宜図２参照）して、コンテンツ特徴量抽出装置１の動作について説明する。なお、図８は、映像信号の１フレーム分の動作を示し、順次、フレームごとにこの動作が繰り返される。
コンテンツ特徴量抽出装置１は、映像特徴量抽出部１０によるステップＳ１からＳ４までの動作と、音声特徴量抽出部１１によるステップＳ５からＳ８までの動作とを、映像のフレーム区間ごとに並列して行う。
次に、図８を参照（構成については適宜図２参照）して、コンテンツ特徴量抽出装置１の動作について説明する。なお、図８は、映像信号の１フレーム分の動作を示し、順次、フレームごとにこの動作が繰り返される。
コンテンツ特徴量抽出装置１は、映像特徴量抽出部１０によるステップＳ１からＳ４までの動作と、音声特徴量抽出部１１によるステップＳ５からＳ８までの動作とを、映像のフレーム区間ごとに並列して行う。
【0059】
ステップＳ１において、映像フレーム分割部１００は、映像信号Ｖｓを構成するフレームを、フレームごとに予め定めた大きさのブロックに分割する。
ステップＳ２において、ブロック別変動画素累計部１０１は、ステップＳ１で分割されたブロックごとに、画素値の時間方向の微分値を算出する。
ステップＳ３において、ブロック別変動画素累計部１０１は、ステップＳ２で算出された微分値が予め定めた閾値以上の画素をデジタルクリフが発生した画素としてブロックＢごとに累計する（前記式（１）～式（３）参照）。
ステップＳ４において、ブロック別累計二階微分算出部１０２は、ステップＳ３で累計されたブロック別のデジタルクリフが発生した画素数を、時間方向に二階微分して、ブロック別の映像特徴量Ｃを算出する（前記式（４）参照）。
このステップＳ１からＳ４までの動作によって、映像フレームのブロックごとの映像特徴量が生成される。
ステップＳ２において、ブロック別変動画素累計部１０１は、ステップＳ１で分割されたブロックごとに、画素値の時間方向の微分値を算出する。
ステップＳ３において、ブロック別変動画素累計部１０１は、ステップＳ２で算出された微分値が予め定めた閾値以上の画素をデジタルクリフが発生した画素としてブロックＢごとに累計する（前記式（１）～式（３）参照）。
ステップＳ４において、ブロック別累計二階微分算出部１０２は、ステップＳ３で累計されたブロック別のデジタルクリフが発生した画素数を、時間方向に二階微分して、ブロック別の映像特徴量Ｃを算出する（前記式（４）参照）。
このステップＳ１からＳ４までの動作によって、映像フレームのブロックごとの映像特徴量が生成される。
【0060】
ステップＳ５において、音声ブロック分散算出部１１０は、映像信号のフレーム区間ごとに、音声信号Ａｓの予め定めた時間区間に含まれる音声信号Ａｓの信号値の分散（音声ブロック分散）を算出する（前記式（５），式（６）参照）。
ステップＳ６において、ブロック別分散二階微分算出部１１１は、映像信号のフレーム区間ごとに、ステップＳ５で算出された時系列の音声ブロック分散を、時間方向に二階微分する（前記式（７）参照）。
ステップＳ７において、フレーム内変動特徴量算出部１１２は、ステップＳ６で算出された二階微分値の時系列の変動から、デジタルクリフが発生した時点とその前後の区間の二階微分値をクリフ波形および周辺波形として抽出する（前記式（８）参照）。
ステップＳ８において、フレーム内変動特徴量算出部１１２は、デジタルクリフが発生した時点（クリフ波形）の二階微分値の絶対値和平均Ｚと、デジタルクリフが発生した時点の前後の区間（周辺波形）の二階微分値の絶対値和平均Ｚ′とを、音声特徴量として算出する（前記式（９），式（１０）参照）。
このステップＳ５からＳ８までの動作によって、映像フレームの時間区間に対応した音声特徴量が生成される。
ステップＳ６において、ブロック別分散二階微分算出部１１１は、映像信号のフレーム区間ごとに、ステップＳ５で算出された時系列の音声ブロック分散を、時間方向に二階微分する（前記式（７）参照）。
ステップＳ７において、フレーム内変動特徴量算出部１１２は、ステップＳ６で算出された二階微分値の時系列の変動から、デジタルクリフが発生した時点とその前後の区間の二階微分値をクリフ波形および周辺波形として抽出する（前記式（８）参照）。
ステップＳ８において、フレーム内変動特徴量算出部１１２は、デジタルクリフが発生した時点（クリフ波形）の二階微分値の絶対値和平均Ｚと、デジタルクリフが発生した時点の前後の区間（周辺波形）の二階微分値の絶対値和平均Ｚ′とを、音声特徴量として算出する（前記式（９），式（１０）参照）。
このステップＳ５からＳ８までの動作によって、映像フレームの時間区間に対応した音声特徴量が生成される。
【0061】
ステップＳ９において、特徴量送出部１２は、ステップＳ４で算出された映像特徴量Ｃと、ステップＳ８で算出された音声特徴量Ｚ，Ｚ′とを、コンテンツ特徴量として、ネットワークＮを介して、監視装置２に送出する。
【0062】
［監視装置の構成］
次に、図９を参照（適宜図１参照）して、監視装置２の構成について説明する。
監視装置２は、特徴量受信部２０と、特徴量同期部２１と、特徴量記憶部２２と、一重刺激障害検出部２３と、二重刺激障害検出部２４と、監視画面表示部２５と、アラーム発報部２６と、アラームログ記憶部２７と、を備える。
次に、図９を参照（適宜図１参照）して、監視装置２の構成について説明する。
監視装置２は、特徴量受信部２０と、特徴量同期部２１と、特徴量記憶部２２と、一重刺激障害検出部２３と、二重刺激障害検出部２４と、監視画面表示部２５と、アラーム発報部２６と、アラームログ記憶部２７と、を備える。
【0063】
特徴量受信部２０は、コンテンツ特徴量抽出装置１で抽出されたコンテンツ特徴量（映像特徴量Ｃ、音声特徴量Ｚ，Ｚ′）を、ネットワークＮを介して受信するものである。
特徴量受信部２０は、受信したコンテンツ特徴量を特徴量同期部２１と、特徴量記憶部２２と、一重刺激障害検出部２３と、に出力する。
特徴量受信部２０は、受信したコンテンツ特徴量を特徴量同期部２１と、特徴量記憶部２２と、一重刺激障害検出部２３と、に出力する。
【0064】
特徴量同期部２１は、複数のコンテンツ特徴量抽出装置１から異なるチャンネルで受信したコンテンツ特徴量の同期を行うものである。
ここでは、特徴量同期部２１は、個々の地点のコンテンツ特徴量抽出装置１から受信したコンテンツ特徴量の相互相関を演算し、相関が最も高くなるようにコンテンツ特徴量の同期合わせを行う。
特徴量同期部２１は、同期合わせを行ったコンテンツ特徴量を二重刺激障害検出部２４に出力する。なお、特徴量同期部２１は、同期状態を監視画面表示部２５に通知することとしてもよい。
ここでは、特徴量同期部２１は、個々の地点のコンテンツ特徴量抽出装置１から受信したコンテンツ特徴量の相互相関を演算し、相関が最も高くなるようにコンテンツ特徴量の同期合わせを行う。
特徴量同期部２１は、同期合わせを行ったコンテンツ特徴量を二重刺激障害検出部２４に出力する。なお、特徴量同期部２１は、同期状態を監視画面表示部２５に通知することとしてもよい。
【0065】
特徴量記憶部２２は、特徴量受信部２０で受信したコンテンツ特徴量抽出装置１ごとのコンテンツ特徴量を記憶するものである。この特徴量記憶部２２は、ハードディスク等の一般的な記憶媒体で構成することができる。
特徴量記憶部２２にコンテンツ特徴量を記憶しておくことで、障害発生後に、障害発生時刻、障害発生時点等の解析が可能になる。
特徴量記憶部２２にコンテンツ特徴量を記憶しておくことで、障害発生後に、障害発生時刻、障害発生時点等の解析が可能になる。
【0066】
一重刺激障害検出部２３は、コンテンツ特徴量抽出装置１から受信したコンテンツ特徴量から、障害を検出するものである。この一重刺激障害検出部２３は、単独のコンテンツ特徴量を用いて障害検出を行う一重刺激方式の検出部である。この一重刺激障害検出部２３は、主に映像信号および音声信号そのものの評価を行う。
ここでは、一重刺激障害検出部２３は、映像障害フレーム検出部２３０と、音声障害フレーム検出部２３１と、を備える。
ここでは、一重刺激障害検出部２３は、映像障害フレーム検出部２３０と、音声障害フレーム検出部２３１と、を備える。
【0067】
映像障害フレーム検出部２３０は、映像特徴量から、フレームの障害（デジタルクリフ）を検出するものである。
具体的には、映像障害フレーム検出部２３０は、以下の式（１１）および式（１２）の条件を満たすブロックが予め定めた閾値以上であるフレームを障害フレームとして検出する。
具体的には、映像障害フレーム検出部２３０は、以下の式（１１）および式（１２）の条件を満たすブロックが予め定めた閾値以上であるフレームを障害フレームとして検出する。
【0068】
【数11】
【数12】
【0069】
式（１１）の条件は、時刻ｔ、位置（ｖ，ｈ）のブロックのデジタルクリフの特徴を示す映像特徴量Ｃ（ｔ，ｖ，ｈ）が、予め定めた閾値ＴｈＶ１以上であるという条件である。式（１２）の条件は、映像特徴量Ｃ（ｔ，ｖ，ｈ）が、時系列で前後のＴｓ（２以上の偶数）個のフレームにおける映像特徴量に対して、予め定めた閾値ＴｈＶ２以上の割合で大きいという条件である。
そして、映像障害フレーム検出部２３０は、フレーム内のすべて位置（ｖ，ｈ）において、前記式（１１）および式（１２）を満たすブロック数が予め定めた閾値ＴｈＶ３以上であるフレームを障害（デジタルクリフ）が発生したフレームと判定する。
そして、映像障害フレーム検出部２３０は、フレーム内のすべて位置（ｖ，ｈ）において、前記式（１１）および式（１２）を満たすブロック数が予め定めた閾値ＴｈＶ３以上であるフレームを障害（デジタルクリフ）が発生したフレームと判定する。
【0070】
映像障害フレーム検出部２３０は、各地点の映像特徴量とともに、検出結果（地点、時刻）を監視画面表示部２５に出力する。また、映像障害フレーム検出部２３０は、障害を検出した場合、検出結果（時刻、地点）をアラーム発報部２６に出力するとともに、アラームログ記憶部２７に記憶する。
【0071】
音声障害フレーム検出部２３１は、音声特徴量から、フレーム（映像フレームの区間）の障害（デジタルクリフ）を検出するものである。
具体的には、音声障害フレーム検出部２３１は、時刻ｔのフレームにおける音声特徴量Ｚ（ｔ）とＺ′（ｔ）との比（Ｚ（ｔ）／Ｚ′（ｔ））が予め定めた閾値ＴｈＡ１以上のフレームを、音声の障害（デジタルクリフ）が発生したフレームと判定する。
音声障害フレーム検出部２３１は、各地点の音声特徴量とともに、検出結果（地点、時刻）を監視画面表示部２５に出力する。また、音声障害フレーム検出部２３１は、障害を検出した場合、検出結果（時刻、地点）をアラーム発報部２６に出力するとともに、アラームログ記憶部２７に記憶する。
これによって、一重刺激障害検出部２３は、単独のコンテンツ特徴量から、フレームごとの障害を検出することができる。
具体的には、音声障害フレーム検出部２３１は、時刻ｔのフレームにおける音声特徴量Ｚ（ｔ）とＺ′（ｔ）との比（Ｚ（ｔ）／Ｚ′（ｔ））が予め定めた閾値ＴｈＡ１以上のフレームを、音声の障害（デジタルクリフ）が発生したフレームと判定する。
音声障害フレーム検出部２３１は、各地点の音声特徴量とともに、検出結果（地点、時刻）を監視画面表示部２５に出力する。また、音声障害フレーム検出部２３１は、障害を検出した場合、検出結果（時刻、地点）をアラーム発報部２６に出力するとともに、アラームログ記憶部２７に記憶する。
これによって、一重刺激障害検出部２３は、単独のコンテンツ特徴量から、フレームごとの障害を検出することができる。
【0072】
二重刺激障害検出部２４は、特徴量同期部２１で同期したコンテンツ特徴量を比較して、障害を検出するものである。この二重刺激障害検出部２４は、一対のコンテンツ特徴量抽出装置１から抽出されたコンテンツ特徴量を用いて障害検出を行う二重刺激方式の検出部である。この二重刺激障害検出部２４は、異なるチャンネルのコンテンツ特徴量を比較することで、処理系の評価を行う。
ここでは、二重刺激障害検出部２４は、映像障害チャンネル検出部２４０と、音声障害チャンネル検出部２４１と、を備える。
ここでは、二重刺激障害検出部２４は、映像障害チャンネル検出部２４０と、音声障害チャンネル検出部２４１と、を備える。
【0073】
映像障害チャンネル検出部２４０は、異なる一対のチャンネル（一方をチャンネルＡ、他方をチャンネルＢとする）ごとに、映像特徴量から、チャンネルの障害を検出するものである。なお、映像障害チャンネル検出部２４０は、すべてのチャンネルの組み合わせで障害の検出を行うこととする。
具体的には、映像障害チャンネル検出部２４０は、フレームごとに、チャンネルＡの映像特徴量ＣＡが予め定めた閾値以上、かつ、チャンネルＡの映像特徴量ＣＡとチャンネルＢの映像特徴量ＣＢとの差（ＣＡ－ＣＢ）が予め定めた閾値以上、かつ、チャンネルＡの映像特徴量ＣＡとチャンネルＢの映像特徴量ＣＢとの比（ＣＡ／ＣＢ）が予め定めた閾値以上のブロックをチャンネルＡにおいて累計する。チャンネルＢにおいてもチャンネルＡ，Ｂを入れ替えただけで同様に累計する。
そして、映像障害チャンネル検出部２４０は、その累計値が予め定めた閾値以上で、かつ、他方のチャンネルよりも多いチャンネルを、フレームの障害が発生したチャンネルと判定する。
具体的には、映像障害チャンネル検出部２４０は、フレームごとに、チャンネルＡの映像特徴量ＣＡが予め定めた閾値以上、かつ、チャンネルＡの映像特徴量ＣＡとチャンネルＢの映像特徴量ＣＢとの差（ＣＡ－ＣＢ）が予め定めた閾値以上、かつ、チャンネルＡの映像特徴量ＣＡとチャンネルＢの映像特徴量ＣＢとの比（ＣＡ／ＣＢ）が予め定めた閾値以上のブロックをチャンネルＡにおいて累計する。チャンネルＢにおいてもチャンネルＡ，Ｂを入れ替えただけで同様に累計する。
そして、映像障害チャンネル検出部２４０は、その累計値が予め定めた閾値以上で、かつ、他方のチャンネルよりも多いチャンネルを、フレームの障害が発生したチャンネルと判定する。
【0074】
映像障害チャンネル検出部２４０は、検出結果を監視画面表示部２５に出力する。また、映像障害チャンネル検出部２４０は、障害を検出した場合、検出結果（時刻、チャンネル）をアラーム発報部２６に出力するとともに、アラームログ記憶部２７に記憶する。
【0075】
音声障害チャンネル検出部２４１は、異なる一対のチャンネル（一方をチャンネルＡ、他方をチャンネルＢとする）ごとに、音声特徴量から、チャンネルの障害を検出するものである。
具体的には、音声障害チャンネル検出部２４１は、フレームごとに、チャンネルＡの音声特徴量ＺＡとチャンネルＢの音声特徴量ＺＢとの比（ＺＡ／ＺＢ）が予め定めた閾値以上、かつ、チャンネルＡの音声特徴量ＺＡとチャンネルＢの音声特徴量ＺＢとの差（ＺＡ－ＺＢ）が予め定めた閾値以上の場合、チャンネルＡをフレームの障害が発生したチャンネルと判定する。チャンネルＢにおいてもチャンネルＡ，Ｂを入れ替えただけで同様に判定する。
具体的には、音声障害チャンネル検出部２４１は、フレームごとに、チャンネルＡの音声特徴量ＺＡとチャンネルＢの音声特徴量ＺＢとの比（ＺＡ／ＺＢ）が予め定めた閾値以上、かつ、チャンネルＡの音声特徴量ＺＡとチャンネルＢの音声特徴量ＺＢとの差（ＺＡ－ＺＢ）が予め定めた閾値以上の場合、チャンネルＡをフレームの障害が発生したチャンネルと判定する。チャンネルＢにおいてもチャンネルＡ，Ｂを入れ替えただけで同様に判定する。
【0076】
音声障害チャンネル検出部２４１は、検出結果を監視画面表示部２５に出力する。また、音声障害チャンネル検出部２４１は、障害を検出した場合、検出結果（時刻、チャンネル）をアラーム発報部２６に出力するとともに、アラームログ記憶部２７に記憶する。
これによって、二重刺激障害検出部２４は、一対のチャンネルのコンテンツ特徴量から、チャンネルの障害を検出することができる。
これによって、二重刺激障害検出部２４は、一対のチャンネルのコンテンツ特徴量から、チャンネルの障害を検出することができる。
【0077】
監視画面表示部２５は、一重刺激障害検出部２３および二重刺激障害検出部２４から通知される検出結果に基づいて監視画面を生成し、表示装置３に表示するものである。
なお、監視画面表示部２５が表示する内容は、どのコンテンツ特徴量抽出装置１から入力したコンテンツ特徴量から障害が検出されたか否かを示す情報であればその形式は問わない。
なお、監視画面表示部２５が表示する内容は、どのコンテンツ特徴量抽出装置１から入力したコンテンツ特徴量から障害が検出されたか否かを示す情報であればその形式は問わない。
【0078】
図１０を参照（適宜図１参照）して、監視画面表示部２５が表示する監視画面３０の画面例について説明する。なお、ここでは、本線ＡＭをチャンネルＡ、予備線ＡＳをチャンネルＡ′、本線ＢＭをチャンネルＢ、予備線ＢＳをチャンネルＢ′とする。
【0079】
監視画面３０は、特徴量グラフ表示領域３１（３１Ａ１，３１Ａ２，３１Ｂ１，３１Ｂ２）と、特徴量差分グラフ表示領域３２（３２ＡＡ１，３２ＢＢ１，３２ＡＢ１，３２１ＡＢ２）と、警告表示領域３３と、特徴量取得状態表示領域３４と、監視判定表示領域３５と、障害検出状態表示領域３６と、を有している。
【0080】
特徴量グラフ表示領域３１は、コンテンツ特徴量をグラフ化して表示する領域である。「映像」は、例えば、フレームを構成するブロックの特徴量の総和をフレームごとに時系列に表示したグラフである。「音声」は、例えば、映像のフレームに対応した音声特徴量Ｚを時系列に表示したグラフである。なお、「音声１」および「音声２」は、音声チャンネルが２つある場合（例えば、主音声、副音声）のそれぞれの特徴量である。
特徴量グラフ表示領域３１Ａ１は、コンテンツ特徴量抽出装置１Ａ１が抽出したチャンネルＡの特徴量グラフである。
特徴量グラフ表示領域３１Ａ２は、コンテンツ特徴量抽出装置１Ａ２が抽出したチャンネルＡ′の特徴量グラフである。
特徴量グラフ表示領域３１Ｂ１は、コンテンツ特徴量抽出装置１Ｂ１が抽出したチャンネルＢの特徴量グラフである。
特徴量グラフ表示領域３１Ｂ２は、コンテンツ特徴量抽出装置１Ｂ２が抽出したチャンネルＢ′の特徴量グラフである。
特徴量グラフ表示領域３１Ａ１は、コンテンツ特徴量抽出装置１Ａ１が抽出したチャンネルＡの特徴量グラフである。
特徴量グラフ表示領域３１Ａ２は、コンテンツ特徴量抽出装置１Ａ２が抽出したチャンネルＡ′の特徴量グラフである。
特徴量グラフ表示領域３１Ｂ１は、コンテンツ特徴量抽出装置１Ｂ１が抽出したチャンネルＢの特徴量グラフである。
特徴量グラフ表示領域３１Ｂ２は、コンテンツ特徴量抽出装置１Ｂ２が抽出したチャンネルＢ′の特徴量グラフである。
【0081】
特徴量差分グラフ表示領域３２は、２つのチャンネルのコンテンツ特徴量の差分をグラフ化して表示する領域である。
特徴量差分グラフ表示領域３２ＡＡ１は、チャンネルＡとチャンネルＡ′とのコンテンツ特徴量の差分グラフである。
特徴量差分グラフ表示領域３２ＢＢ１は、チャンネルＢとチャンネルＢ′とのコンテンツ特徴量の差分グラフである。
特徴量差分グラフ表示領域３２ＡＢ１は、チャンネルＡとチャンネルＢとのコンテンツ特徴量の差分グラフである。
特徴量差分グラフ表示領域３２ＡＢ２は、チャンネルＡ′とチャンネルＢ′とのコンテンツ特徴量の差分グラフである。
特徴量差分グラフ表示領域３２ＡＡ１は、チャンネルＡとチャンネルＡ′とのコンテンツ特徴量の差分グラフである。
特徴量差分グラフ表示領域３２ＢＢ１は、チャンネルＢとチャンネルＢ′とのコンテンツ特徴量の差分グラフである。
特徴量差分グラフ表示領域３２ＡＢ１は、チャンネルＡとチャンネルＢとのコンテンツ特徴量の差分グラフである。
特徴量差分グラフ表示領域３２ＡＢ２は、チャンネルＡ′とチャンネルＢ′とのコンテンツ特徴量の差分グラフである。
【0082】
警告表示領域３３は、障害の発生状態を表示する領域である。ここでは、地点Ｂで障害が発生した状態を示している。なお、例えば、地点Ｂの障害とは、チャンネルＢまたはチャンネルＢ′のフレームにおいて一重刺激方式で障害が検出された状態、あるいは、チャンネルＡ，ＢまたはチャンネルＢ，Ｂ′のチャンネルＢにおいて二重刺激方式で障害が検出された状態である。
【0083】
特徴量取得状態表示領域３４は、各チャンネルにおけるコンテンツ特徴量の取得状態を示す領域である。ここでは、コンテンツ特徴量の取得状態としては、特徴量同期部２１（図９参照）から通知される同期状態を示している。
【0084】
監視判定表示領域３５は、一重刺激方式または二重刺激方式による障害判定の結果を表示する領域である。ここでは、地点Ｂを示すアイコンの色、パターン等によって、チャンネルＢのフレームにおいて一重刺激方式で障害が検出された状態を示している。また、矢印の色、パターン等によって、チャンネルＡ，Ｂにおいて二重刺激方式で障害が検出された状態、チャンネルＢ，Ｂ′において二重刺激方式で障害が検出された状態を示している。
【0085】
障害検出状態表示領域３６は、障害が検出された履歴を表示する領域である。ここでは、障害が発生した時刻と、障害内容とを対応付けて表示した状態を示している。
このように、監視画面表示部２５は、障害状態をリアルタイムで表示装置３の監視画面３０に表示することで、運用者が障害の地点や症状を素早く発見することができる。
図９に戻って、監視装置２の構成について説明を続ける。
このように、監視画面表示部２５は、障害状態をリアルタイムで表示装置３の監視画面３０に表示することで、運用者が障害の地点や症状を素早く発見することができる。
図９に戻って、監視装置２の構成について説明を続ける。
【0086】
アラーム発報部２６は、一重刺激障害検出部２３または二重刺激障害検出部２４から障害発生時の検出結果を入力し、アラームを発報するものである。
このアラーム発報部２６は、例えば、アラームメッセージとして、運用者の端末（不図示）にＳＮＭＰ（Simple Network Management Network）トラップで検出結果を送信することとしてもよい。
このアラーム発報部２６は、例えば、アラームメッセージとして、運用者の端末（不図示）にＳＮＭＰ（Simple Network Management Network）トラップで検出結果を送信することとしてもよい。
【0087】
アラームログ記憶部２７は、一重刺激障害検出部２３または二重刺激障害検出部２４が検出した障害のログ（アラームログ）を記憶するものである。このアラームログ記憶部２７は、ハードディスク等の一般的な記憶媒体で構成することができる。
アラームログ記憶部２７に、アラームログを記憶しておくことで、障害発生後に、障害発生時刻、障害発生時点等の解析が可能になる。
これによって、監視装置２は、複数のコンテンツ特徴量抽出装置１で抽出されたコンテンツ特徴量から、映像信号および音声信号におけるデジタルクリフ型のノイズを検出することができる。
なお、監視装置２は、コンピュータを、前記した各機能部とし機能させるためのプログラム（監視プログラム）で動作させることができる。
アラームログ記憶部２７に、アラームログを記憶しておくことで、障害発生後に、障害発生時刻、障害発生時点等の解析が可能になる。
これによって、監視装置２は、複数のコンテンツ特徴量抽出装置１で抽出されたコンテンツ特徴量から、映像信号および音声信号におけるデジタルクリフ型のノイズを検出することができる。
なお、監視装置２は、コンピュータを、前記した各機能部とし機能させるためのプログラム（監視プログラム）で動作させることができる。
【0088】
［監視装置の動作］
次に、図１１～図１４を参照（構成については適宜図９参照）して、監視装置２の動作について説明する。ここでは、一重刺激障害検出部２３および二重刺激障害検出部２４の動作について説明する。
次に、図１１～図１４を参照（構成については適宜図９参照）して、監視装置２の動作について説明する。ここでは、一重刺激障害検出部２３および二重刺激障害検出部２４の動作について説明する。
【0089】
まず、図１１を参照して、一重刺激障害検出部２３の映像障害フレーム検出部２３０の動作を説明する。なお、ここでは、映像信号の１フレームに対する動作のみを示し、時系列にフレームが入力されるたびに順次この動作が繰り返される。
【0090】
ステップＳ１０において、映像障害フレーム検出部２３０は、初期値設定として、時刻ｔのフレームのブロックの位置（ｖ，ｈ）を（１，１）に設定するとともに、カウンタｃｎｔ（ｔ）を“０”に設定する。
ステップＳ１１において、映像障害フレーム検出部２３０は、映像特徴量Ｃ（ｔ，ｖ,ｈ）を入力する。
ステップＳ１１において、映像障害フレーム検出部２３０は、映像特徴量Ｃ（ｔ，ｖ,ｈ）を入力する。
【0091】
ステップＳ１２において、映像障害フレーム検出部２３０は、映像特徴量Ｃ（ｔ，ｖ,ｈ）が予め定めた閾値ＴｈＶ１以上であるか否かを判定する。
ここで、映像特徴量Ｃ（ｔ，ｖ,ｈ）がＴｈＶ１未満の場合（Ｓ１２でＮｏ）、映像障害フレーム検出部２３０は、ブロックの位置（ｖ，ｈ）を更新して、ステップＳ１１に動作を戻す。一方、映像特徴量Ｃ（ｔ，ｖ,ｈ）がＴｈＶ１以上の場合（Ｓ１２でＹｅｓ）、映像障害フレーム検出部２３０は、ステップＳ１３に動作を進める。
ここで、映像特徴量Ｃ（ｔ，ｖ,ｈ）がＴｈＶ１未満の場合（Ｓ１２でＮｏ）、映像障害フレーム検出部２３０は、ブロックの位置（ｖ，ｈ）を更新して、ステップＳ１１に動作を戻す。一方、映像特徴量Ｃ（ｔ，ｖ,ｈ）がＴｈＶ１以上の場合（Ｓ１２でＹｅｓ）、映像障害フレーム検出部２３０は、ステップＳ１３に動作を進める。
【0092】
ステップＳ１３において、映像障害フレーム検出部２３０は、映像特徴量Ｃ（ｔ，ｖ，ｈ）が、時系列で前後の予め定めた数のフレームにおける映像特徴量に対して、予め定めた閾値ＴｈＶ２以上の割合で大きいか否かを判定する（前記式（１２）参照）。
ここで、映像特徴量Ｃ（ｔ，ｖ,ｈ）が時系列の前後の映像特徴量に対して、ＴｈＶ２倍未満の場合（Ｓ１３でＮｏ）、映像障害フレーム検出部２３０は、ブロックの位置（ｖ，ｈ）を更新して、ステップＳ１１に動作を戻す。一方、映像特徴量Ｃ（ｔ，ｖ,ｈ）が時系列の前後の映像特徴量に対して、ＴｈＶ２倍以上の場合（Ｓ１３でＹｅｓ）、映像障害フレーム検出部２３０は、ステップＳ１４に動作を進める。
ステップＳ１４において、映像障害フレーム検出部２３０は、カウンタｃｎｔ（ｔ）に“１”を加算する。
ここで、映像特徴量Ｃ（ｔ，ｖ,ｈ）が時系列の前後の映像特徴量に対して、ＴｈＶ２倍未満の場合（Ｓ１３でＮｏ）、映像障害フレーム検出部２３０は、ブロックの位置（ｖ，ｈ）を更新して、ステップＳ１１に動作を戻す。一方、映像特徴量Ｃ（ｔ，ｖ,ｈ）が時系列の前後の映像特徴量に対して、ＴｈＶ２倍以上の場合（Ｓ１３でＹｅｓ）、映像障害フレーム検出部２３０は、ステップＳ１４に動作を進める。
ステップＳ１４において、映像障害フレーム検出部２３０は、カウンタｃｎｔ（ｔ）に“１”を加算する。
【0093】
ステップＳ１５において、映像障害フレーム検出部２３０は、フレーム内のすべての位置（ｖ，ｈ）の処理が完了したか否かを判定する。
ここで、すべての位置（ｖ，ｈ）の処理が完了していない場合（Ｓ１５でＮｏ）、映像障害フレーム検出部２３０は、ブロックの位置（ｖ，ｈ）を更新して、ステップＳ１１に動作を戻す。一方、すべての位置（ｖ，ｈ）の処理が完了した場合（Ｓ１５でＹｅｓ）、映像障害フレーム検出部２３０は、ステップＳ１６に動作を進める。
ここで、すべての位置（ｖ，ｈ）の処理が完了していない場合（Ｓ１５でＮｏ）、映像障害フレーム検出部２３０は、ブロックの位置（ｖ，ｈ）を更新して、ステップＳ１１に動作を戻す。一方、すべての位置（ｖ，ｈ）の処理が完了した場合（Ｓ１５でＹｅｓ）、映像障害フレーム検出部２３０は、ステップＳ１６に動作を進める。
【0094】
ステップＳ１６において、映像障害フレーム検出部２３０は、カウンタｃｎｔ（ｔ）が予め定めた閾値ＴｈＶ３以上であるか否かを判定する。
ここで、カウンタｃｎｔ（ｔ）が予め定めた閾値ＴｈＶ３以上の場合（Ｓ１６でＹｅｓ）、ステップＳ１７において、映像障害フレーム検出部２３０は、時刻ｔのフレームに障害が発生した旨の検出結果を監視画面表示部２５およびアラーム発報部２６に通知し、時刻ｔのフレームの処理を終了する。
ここで、カウンタｃｎｔ（ｔ）が予め定めた閾値ＴｈＶ３以上の場合（Ｓ１６でＹｅｓ）、ステップＳ１７において、映像障害フレーム検出部２３０は、時刻ｔのフレームに障害が発生した旨の検出結果を監視画面表示部２５およびアラーム発報部２６に通知し、時刻ｔのフレームの処理を終了する。
【0095】
一方、カウンタｃｎｔ（ｔ）が予め定めた閾値ＴｈＶ３未満の場合（Ｓ１６でＮｏ）、映像障害フレーム検出部２３０は、時刻ｔのフレームに障害が発生していないと判定し、時刻ｔのフレームの処理を終了する。
映像障害フレーム検出部２３０は、以上の動作を映像信号のフレームごとに順次繰り返し実行する。
映像障害フレーム検出部２３０は、以上の動作を映像信号のフレームごとに順次繰り返し実行する。
【0096】
次に、図１２を参照して、一重刺激障害検出部２３の音声障害フレーム検出部２３１の動作を説明する。なお、ここでは、映像信号の１フレーム区間に対する動作のみを示し、時系列にフレーム区間ごとに順次この動作が繰り返される。
【0097】
ステップＳ２０において、音声障害フレーム検出部２３１は、時刻ｔのフレーム区間に対応する音声特徴量Ｚ（ｔ），Ｚ′（ｔ）を入力する。
ステップＳ２１において、音声障害フレーム検出部２３１は、音声特徴量Ｚ（ｔ）とＺ′（ｔ）との比（Ｚ（ｔ）／Ｚ′（ｔ））が予め定めた閾値ＴｈＡ１以上であるか否かを判定する。
ステップＳ２１において、音声障害フレーム検出部２３１は、音声特徴量Ｚ（ｔ）とＺ′（ｔ）との比（Ｚ（ｔ）／Ｚ′（ｔ））が予め定めた閾値ＴｈＡ１以上であるか否かを判定する。
【0098】
ここで、Ｚ（ｔ）とＺ′（ｔ）との比が予め定めた閾値ＴｈＡ１以上の場合（Ｓ２１でＹｅｓ）、ステップＳ２２において、音声障害フレーム検出部２３１は、時刻ｔのフレーム区間の音声信号に障害が発生した旨の検出結果を監視画面表示部２５およびアラーム発報部２６に通知し、時刻ｔのフレーム区間の処理を終了する。
一方、Ｚ（ｔ）とＺ′（ｔ）との比が予め定めた閾値ＴｈＡ１未満の場合（Ｓ２１でＮｏ）、音声障害フレーム検出部２３１は、時刻ｔのフレーム区間の音声信号に障害が発生していないと判定し、時刻ｔのフレーム区間の処理を終了する。
音声障害フレーム検出部２３１は、以上の動作をフレーム区間ごとに順次繰り返し実行する。
一方、Ｚ（ｔ）とＺ′（ｔ）との比が予め定めた閾値ＴｈＡ１未満の場合（Ｓ２１でＮｏ）、音声障害フレーム検出部２３１は、時刻ｔのフレーム区間の音声信号に障害が発生していないと判定し、時刻ｔのフレーム区間の処理を終了する。
音声障害フレーム検出部２３１は、以上の動作をフレーム区間ごとに順次繰り返し実行する。
【0099】
次に、図１３を参照して、二重刺激障害検出部２４の映像障害チャンネル検出部２４０の動作を説明する。なお、ここでは、映像信号の１フレームに対する動作のみを示し、時系列に２チャンネル（Ａ，Ｂ）のフレームが入力されるたびに順次この動作が繰り返される。
【0100】
ステップＳ３０において、映像障害チャンネル検出部２４０は、初期値設定として、時刻ｔのフレームのブロックの位置（ｖ，ｈ）を（１，１）に設定するとともに、カウンタｃｎｔＡ（ｔ）およびｃｎｔＢ（ｔ）を“０”に設定する。
ステップＳ３１において、映像障害チャンネル検出部２４０は、チャンネルＡの映像特徴量ＣＡ（ｔ，ｖ,ｈ）およびチャンネルＢの映像特徴量ＣＢ（ｔ，ｖ,ｈ）を入力する。
以降、映像障害チャンネル検出部２４０は、チャンネルＡとチャンネルＢとで並列に処理を実行する。ただし、ステップＳ３５Ａ，Ｓ３５Ｂは、ステップＳ３４Ａ，Ｓ３４Ｂまでの両動作が完了した時点で実行される。なお、この並列処理は、チャンネルを相互に入れ替えた処理であるため、ここでは、チャンネルＡについてのみ説明し、チャンネルＢについては説明を省略する。
ステップＳ３１において、映像障害チャンネル検出部２４０は、チャンネルＡの映像特徴量ＣＡ（ｔ，ｖ,ｈ）およびチャンネルＢの映像特徴量ＣＢ（ｔ，ｖ,ｈ）を入力する。
以降、映像障害チャンネル検出部２４０は、チャンネルＡとチャンネルＢとで並列に処理を実行する。ただし、ステップＳ３５Ａ，Ｓ３５Ｂは、ステップＳ３４Ａ，Ｓ３４Ｂまでの両動作が完了した時点で実行される。なお、この並列処理は、チャンネルを相互に入れ替えた処理であるため、ここでは、チャンネルＡについてのみ説明し、チャンネルＢについては説明を省略する。
【0101】
ステップＳ３２Ａにおいて、映像障害チャンネル検出部２４０は、映像特徴量ＣＡが予め定めた閾値ＴｈＶ４以上、かつ、映像特徴量ＣＡと映像特徴量ＣＢとの差（ＣＡ－ＣＢ）が予め定めた閾値ＴｈＶ５以上、かつ、映像特徴量ＣＡと映像特徴量ＣＢとの比（ＣＡ／ＣＢ）が予め定めた閾値ＴｈＶ６以上であるか否かを判定する。
ここで、ステップＳ３２Ａの条件を満たさない場合（Ｓ３２ＡでＮｏ）、映像障害チャンネル検出部２４０は、ブロックの位置（ｖ，ｈ）を更新して、ステップＳ３１に動作を戻す。一方、ステップＳ３２Ａの条件を満たす場合（Ｓ３２ＡでＹｅｓ）、映像障害チャンネル検出部２４０は、ステップＳ３３Ａに動作を進める。
ステップＳ３３Ａにおいて、映像障害チャンネル検出部２４０は、カウンタｃｎｔＡ（ｔ）に“１”を加算する。
ここで、ステップＳ３２Ａの条件を満たさない場合（Ｓ３２ＡでＮｏ）、映像障害チャンネル検出部２４０は、ブロックの位置（ｖ，ｈ）を更新して、ステップＳ３１に動作を戻す。一方、ステップＳ３２Ａの条件を満たす場合（Ｓ３２ＡでＹｅｓ）、映像障害チャンネル検出部２４０は、ステップＳ３３Ａに動作を進める。
ステップＳ３３Ａにおいて、映像障害チャンネル検出部２４０は、カウンタｃｎｔＡ（ｔ）に“１”を加算する。
【0102】
ステップＳ３４Ａにおいて、映像障害チャンネル検出部２４０は、フレーム内のすべての位置（ｖ，ｈ）の処理が完了したか否かを判定する。
ここで、すべての位置（ｖ，ｈ）の処理が完了していない場合（Ｓ３４ＡでＮｏ）、映像障害チャンネル検出部２４０は、ブロックの位置（ｖ，ｈ）を更新して、ステップＳ３１に動作を戻す。一方、すべての位置（ｖ，ｈ）の処理が完了した場合（Ｓ３４ＡでＹｅｓ）、映像障害チャンネル検出部２４０は、ステップＳ３５Ａに動作を進める。
ここで、すべての位置（ｖ，ｈ）の処理が完了していない場合（Ｓ３４ＡでＮｏ）、映像障害チャンネル検出部２４０は、ブロックの位置（ｖ，ｈ）を更新して、ステップＳ３１に動作を戻す。一方、すべての位置（ｖ，ｈ）の処理が完了した場合（Ｓ３４ＡでＹｅｓ）、映像障害チャンネル検出部２４０は、ステップＳ３５Ａに動作を進める。
【0103】
ステップＳ３５Ａにおいて、映像障害チャンネル検出部２４０は、カウンタｃｎｔＡ（ｔ）が予め定めた閾値ＴｈＶ７以上、かつ、カウンタｃｎｔＡ（ｔ）がカウンタｃｎｔＢ（ｔ）よりも大きいか否かを判定する。
ここで、ステップＳ３５Ａの条件を満たす場合（Ｓ３５ＡでＹｅｓ）、ステップ３６Ａにおいて、映像障害チャンネル検出部２４０は、チャンネルＡにおいて時刻ｔのフレームに障害が発生した旨の検出結果を監視画面表示部２５およびアラーム発報部２６に通知し、時刻ｔのフレームの処理を終了する。
一方、ステップＳ３５Ａの条件を満たさない場合（Ｓ３５ＡでＮｏ）、映像障害チャンネル検出部２４０は、チャンネルＡにおいて時刻ｔのフレームに障害が発生していないと判定し、時刻ｔのフレームの処理を終了する。
ここで、ステップＳ３５Ａの条件を満たす場合（Ｓ３５ＡでＹｅｓ）、ステップ３６Ａにおいて、映像障害チャンネル検出部２４０は、チャンネルＡにおいて時刻ｔのフレームに障害が発生した旨の検出結果を監視画面表示部２５およびアラーム発報部２６に通知し、時刻ｔのフレームの処理を終了する。
一方、ステップＳ３５Ａの条件を満たさない場合（Ｓ３５ＡでＮｏ）、映像障害チャンネル検出部２４０は、チャンネルＡにおいて時刻ｔのフレームに障害が発生していないと判定し、時刻ｔのフレームの処理を終了する。
【0104】
映像障害チャンネル検出部２４０は、チャンネルＢについても、チャンネルＡと同様に障害の検出を行う。
映像障害チャンネル検出部２４０は、以上の動作を映像信号のフレームごとに順次繰り返し実行する。
映像障害チャンネル検出部２４０は、以上の動作を映像信号のフレームごとに順次繰り返し実行する。
【0105】
次に、図１４を参照して、二重刺激障害検出部２４の音声障害チャンネル検出部２４１の動作を説明する。なお、ここでは、映像信号の１フレーム区間に対する動作のみを示し、時系列にフレーム区間ごとに順次この動作が繰り返される。
【0106】
ステップＳ４０において、音声障害チャンネル検出部２４１は、初期値設定として、時刻ｔのフレーム区間に対応するチャンネルＡの音声特徴量ＺＡ（ｔ）およびチャンネルＢの音声特徴量ＺＢ（ｔ）を入力する。
以降、音声障害チャンネル検出部２４１は、チャンネルＡとチャンネルＢとで並列に処理を実行する。なお、この並列処理は、チャンネルを相互に入れ替えた処理であるため、ここでは、チャンネルＡについてのみ説明し、チャンネルＢについては説明を省略する。
以降、音声障害チャンネル検出部２４１は、チャンネルＡとチャンネルＢとで並列に処理を実行する。なお、この並列処理は、チャンネルを相互に入れ替えた処理であるため、ここでは、チャンネルＡについてのみ説明し、チャンネルＢについては説明を省略する。
【0107】
ステップＳ４１Ａにおいて、音声障害チャンネル検出部２４１は、音声特徴量ＺＡ（ｔ）と音声特徴ＺＢ（ｔ）との比（ＺＡ（ｔ）／ＺＢ（ｔ））が予め定めた閾値ＴｈＡ２以上、かつ、音声特徴量ＺＡ（ｔ）と音声特徴量ＺＢ（ｔ）との差（ＺＡ（ｔ）－ＺＢ（ｔ））が予め定めた閾値ＴｈＡ３以上であるか否かを判定する。
ここで、ステップＳ４１Ａの条件を満たす場合（Ｓ４１ＡでＹｅｓ）、ステップ４２Ａにおいて、音声障害チャンネル検出部２４１は、チャンネルＡにおいて時刻ｔのフレーム区間の音声信号に障害が発生した旨の検出結果を監視画面表示部２５およびアラーム発報部２６に通知し、時刻ｔのフレーム区間の処理を終了する。
一方、ステップＳ４１Ａの条件を満たさない場合（Ｓ４１ＡでＮｏ）、音声障害チャンネル検出部２４１は、チャンネルＡにおいて時刻ｔのフレーム区間の音声信号に障害が発生していないと判定し、時刻ｔのフレーム区間の処理を終了する。
ここで、ステップＳ４１Ａの条件を満たす場合（Ｓ４１ＡでＹｅｓ）、ステップ４２Ａにおいて、音声障害チャンネル検出部２４１は、チャンネルＡにおいて時刻ｔのフレーム区間の音声信号に障害が発生した旨の検出結果を監視画面表示部２５およびアラーム発報部２６に通知し、時刻ｔのフレーム区間の処理を終了する。
一方、ステップＳ４１Ａの条件を満たさない場合（Ｓ４１ＡでＮｏ）、音声障害チャンネル検出部２４１は、チャンネルＡにおいて時刻ｔのフレーム区間の音声信号に障害が発生していないと判定し、時刻ｔのフレーム区間の処理を終了する。
【0108】
音声障害チャンネル検出部２４１は、チャンネルＢについても、チャンネルＡと同様に障害の検出を行う。
音声障害チャンネル検出部２４１は、以上の動作をフレーム区間ごとに順次繰り返し実行する。
音声障害チャンネル検出部２４１は、以上の動作をフレーム区間ごとに順次繰り返し実行する。
【0109】
以上、本発明の実施形態に係るコンテンツ特徴量抽出装置１および監視装置２を備えた監視システムＳＡの構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
ここでは、監視システムＳＡを、２地点間の中継伝送の監視システムの例で説明した。しかし、これは一例であって、例えば、図１５の監視システムＳＢに示すように、コンテンツプロバイダＣＰ、放送局ＢＣ、通信事業者ＮＴ、視聴者ＶＷへと順次配信される、コンテンツのバリューチェーンの各ポイントにコンテンツ特徴量抽出装置１を配置して、大規模な映像配信サービスを監視装置２が監視することも可能である。
ここでは、監視システムＳＡを、２地点間の中継伝送の監視システムの例で説明した。しかし、これは一例であって、例えば、図１５の監視システムＳＢに示すように、コンテンツプロバイダＣＰ、放送局ＢＣ、通信事業者ＮＴ、視聴者ＶＷへと順次配信される、コンテンツのバリューチェーンの各ポイントにコンテンツ特徴量抽出装置１を配置して、大規模な映像配信サービスを監視装置２が監視することも可能である。
【符号の説明】
【0110】
１ コンテンツ特徴量抽出装置
１０ 映像特徴量抽出部
１００ 映像フレーム分割部
１０１ ブロック別変動画素累計部
１０２ ブロック別累計二階微分算出部
１１ 音声特徴量抽出部
１１０ 音声ブロック分散算出部
１１１ ブロック別分散二階微分算出部
１１２ フレーム内変動特徴量算出部
１２ 特徴量送出部
２ 監視装置
２０ 特徴量受信部
２１ 特徴量同期部
２２ 特徴量記憶部
２３ 一重刺激障害検出部
２３０ 映像障害フレーム検出部
２３１ 音声障害フレーム検出部
２４ 二重刺激障害検出部
２４０ 映像障害チャンネル検出部
２４１ 音声障害チャンネル検出部
２５ 監視画面表示部
２６ アラーム発報部
２７ アラームログ記憶部
３ 表示装置
ＳＡ，ＳＢ 監視システム
１０ 映像特徴量抽出部
１００ 映像フレーム分割部
１０１ ブロック別変動画素累計部
１０２ ブロック別累計二階微分算出部
１１ 音声特徴量抽出部
１１０ 音声ブロック分散算出部
１１１ ブロック別分散二階微分算出部
１１２ フレーム内変動特徴量算出部
１２ 特徴量送出部
２ 監視装置
２０ 特徴量受信部
２１ 特徴量同期部
２２ 特徴量記憶部
２３ 一重刺激障害検出部
２３０ 映像障害フレーム検出部
２３１ 音声障害フレーム検出部
２４ 二重刺激障害検出部
２４０ 映像障害チャンネル検出部
２４１ 音声障害チャンネル検出部
２５ 監視画面表示部
２６ アラーム発報部
２７ アラームログ記憶部
３ 表示装置
ＳＡ，ＳＢ 監視システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】