特許 6222854 映像検査方法及び音声検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6222854

(24)【登録日】2017年10月13日

(45)【発行日】2017年11月1日

(54)【発明の名称】映像検査方法及び音声検査方法

(51)【国際特許分類】

   H04N 21/442 20110101AFI20171023BHJP

   H04N 19/89 20140101ALI20171023BHJP

【ＦＩ】

   H04N21/442

   H04N19/89

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2015-543639(P2015-543639)

(86)(22)【出願日】2013年10月23日

(86)【国際出願番号】JP2013078660

(87)【国際公開番号】WO2015059782

(87)【国際公開日】20150430

【審査請求日】2016年7月22日

(73)【特許権者】

【識別番号】599161292

【氏名又は名称】株式会社Ｋ−ＷＩＬＬ

(74)【代理人】

【識別番号】100107272

【弁理士】

【氏名又は名称】田村 敬二郎

(74)【代理人】

【識別番号】100109140

【弁理士】

【氏名又は名称】小林 研一

(72)【発明者】

【氏名】浜田 高宏

【審査官】 松元 伸次

(56)【参考文献】

【文献】 特表平０９−５０３８９０（ＪＰ，Ａ）

【文献】 特開２０１１−２０３５００（ＪＰ，Ａ）

【文献】 特開２００９−０９４８９２（ＪＰ，Ａ）

【文献】 特開平０９−０３７２４４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ７／１０−７／１７３

７／２０−７／５６

１９／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

連続するデジタル映像信号を２０ｍｓｅｃ以下で区切ってサンプリングし、サンプリングした信号から高周波成分を抽出して、抽出された高周波成分に基づいて、映像に生じたエラーを検出し、
前記エラーは映像の乱れであり、前記抽出された高周波成分は、前記デジタル映像信号のブロック単位の分散値の平均であるアクティビティであり、
前記アクティビティ（Ｖｎ（ｔ））を時間（ｔ）に対して２階微分してｄ²Ｖｎ（ｔ）／ｄｔ²を得たときに、加速度（ｄ²Ｖｎ（ｔ）／ｄｔ²）／Ｖｎ（ｔ−１）が、時間軸にそって、正、負、正又は負、正、負と並んでいたときは、映像の乱れが発生したと判定することを特徴とする映像検査方法。

【請求項2】

前記デジタル映像信号の１フレームを複数の領域に分割し、前記エラーの検出を各領域毎に行うことを特徴とする請求項１に記載の映像検査方法。

【請求項3】

連続するデジタル音声信号を５ｍｓｅｃ以下で区切ってサンプリングし、サンプリングした信号から高周波成分を抽出して、抽出された高周波成分に基づいて、音声に生じたエラーを検出し、
時間軸に沿って時刻ｔでサンプリングを行って、前記サンプリングした信号に対して周波数変換を行い、それぞれｎ個のパワー値Ｐ_n（ｔ）と、所定の帯域内における総合パワー値Ｐ（ｔ）を求めた場合において、
［１］該総合パワー値Ｐ（ｔ）が第１の閾値を超えていた場合、及び
［２］該総合パワー値Ｐ（ｔ）を、それ以前の時刻（ｔ−Ｔ）での総合パワー値Ｐ（ｔ−Ｔ）で除した値（Ｐ（ｔ）／Ｐ（ｔ−Ｔ））と、該総合パワー値Ｐ（ｔ）を、それ以降の時刻（ｔ＋Ｔ）での総合パワー値Ｐ（ｔ＋Ｔ）で除した値（Ｐ（ｔ）／Ｐ（ｔ＋Ｔ））が、それぞれ第２の閾値を超えていた場合、及び
［３］個々のパワー値Ｐ_n（ｔ）を、総合パワー値Ｐ（Ｔ）で除した値（Ｐ_n（ｔ）／Ｐ（Ｔ））が第３の閾値を超えていたときは、エラーが発生したと判定することを特徴とする音声検査方法。

【請求項4】

前記デジタル音声信号が複数チャンネルに記録されているときは、前記エラーの検出を各チャンネル毎に行うことを特徴とする請求項３に記載の音声検査方法。

【請求項5】

時間軸に沿った３つのパワー値を比較したときに、１番目のパワー値Ｐ_n（ｔ―Ｔ５）と３番目のパワー値Ｐ_n（ｔ＋Ｔ＋Ｔ５）が第４の閾値を上回り、２番目のパワー値の列Ｐ_n（ｔ）、・・・、Ｐ_n（ｔ＋Ｔ）が第５の閾値を下回ったときは、音飛びが発生したと判定することを特徴とする請求項３又は４に記載の音声検査方法。

【請求項6】

時間軸に沿った３つのパワー値Ｐ_n（ｔ）を比較したときに、１番目のパワー値Ｐ_n（ｔ―Ｔ５）と３番目のパワー値Ｐ_n（ｔ＋Ｔ＋Ｔ５）が第６の閾値を下回り、２番目のパワー値の列Ｐ_n（ｔ）、・・・、Ｐ_n（ｔ＋Ｔ）が第７の閾値を上回ったときは、ノイズが発生したと判定することを特徴とする請求項３〜５のいずれかに記載の音声検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタル映像音声信号に含まれた映像や音声のエラーを検出できる映像検査方法及び音声検査方法に関する。

【背景技術】

【0002】

通信回線等のインフラが整備された現在では、海外からデジタル映像音声信号が伝送されるようになり、海外のコンテンツを国内で手軽に視聴できるようになってきた。しかるに、国内の通信設備と海外の通信設備とでは方式が異なる場合があり、デジタル映像音声信号を変換する際にノイズが混入することを完全に回避するのは困難である。このようなノイズが映像信号に混入すると、映像の乱れやブロックノイズ等のエラーを発生させる場合がある。又、ノイズが音声信号に混入すると、いわゆる「プツ」音（Audio Pop Noise）などのエラーとして認識される場合がある。このようなエラーの発生により、視聴者が違和感を覚える恐れがあるので、予め検査者がコンテンツを実際に視聴してエラーを発見するコンテンツ検査が行われている。ところが、コンテンツ検査は人間の目と耳を使い長時間の視聴を行うために、体調に応じて或いは個人差により検査結果が大きくばらつくという問題がある。また、検査のための設備も大きな負担となる。そこで、人間の代わりに機械で検査できないかという要望がある。

【0003】

これに対し、特許文献１には、所定の矩形ブロック単位で画素の微分を行ってブロックノイズを機械的に検出する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】２００１−１１９６９５号公報

【特許文献2】２０１３−８１０７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１、２は、圧縮伸張処理された映像信号にのみ適用されるものであり、通信回線の不具合、VTRの不具合エラー、その他の障害など、すべてのノイズに起因したエラーを検出する方法は未だ実現していない。加えて、音声信号における、ノイズに起因した「プツ」音なども、精度良く検査する技術は実現していない。

【0006】

本発明の目的の１つは、デジタル映像信号において種々の原因により発生するノイズに起因した映像のエラーを検出する映像検査方法を提供することにある。又、本発明の別の目的は、デジタル音声信号において種々の原因により発生するノイズに起因した音声のエラーを検出する音声検査方法を提供することにある。

【課題を解決するための手段】

【0007】

第１の本発明の映像検査方法は、連続するデジタル映像信号を２０ｍｓｅｃ以下で区切ってサンプリングし、サンプリングした信号から高周波成分を抽出して、抽出された高周波成分に基づいて、映像に生じたエラーを検出することを特徴とする。

【0008】

本発明によれば、連続するデジタル映像信号を２０ｍｓｅｃ以下の非常に短い時間で区切ってサンプリングし、サンプリングした信号から高周波成分を抽出して、抽出された高周波成分に基づいて、実際のコンテンツと区別して映像の乱れやブロックノイズを精度良く検出できる。

【0009】

前記デジタル映像信号の１フレームを複数の領域に分割し、前記エラーの検出を各領域毎に行うと好ましい。

【0010】

前記エラーは映像の乱れであり、前記抽出された高周波成分は、前記デジタル映像信号のブロック単位の分散値の平均であるアクティビティであると好ましい。

【0011】

前記アクティビティ（Ｖｎ（ｔ））を時間（ｔ）に対して２階微分してｄ²Ｖｎ（ｔ）／ｄｔ²を得たときに、加速度（ｄ²Ｖｎ（ｔ）／ｄｔ²）／Ｖｎ（ｔ−１）が、時間軸にそって、正、負、正又は負、正、負と並んでいたときは、映像の乱れが発生したと判定すると好ましい。

【0012】

前記エラーはブロックノイズであり、前記映像信号の検査ブロック内の画素値に対して直交変換を行い、その変換係数が所定の条件を満たしたときは、ブロックノイズが発生したと判定すると好ましい。

【0013】

前記変換係数が前記所定の条件を満たしたときは、前記映像信号により表示されるコンテンツに角が生じたと判定すると好ましい。

【0014】

前記角の数と偏りから、前記角を、ブロックノイズに起因するものと、コンテンツに起因するものとに区別すると好ましい。

【0015】

第２の本発明の音声検査方法は、連続するデジタル音声信号を５ｍｓｅｃ以下で区切ってサンプリングし、サンプリングした信号から高周波成分を抽出して、抽出された高周波成分に基づいて、音声に生じたエラーを検出することを特徴とする。

【0016】

本発明によれば、連続するデジタル音声信号を５ｍｓｅｃ以下と非常に短い時間で区切ってサンプリングし、サンプリングした信号から高周波成分を抽出して、抽出された高周波成分に基づいて、実際のコンテンツと区別して音声のノイズを精度良く検出できる。

【0017】

前記デジタル音声信号が複数チャンネルに記録されているときは、前記エラーの検出を各チャンネル毎に行うと好ましい。

【0018】

時間軸に沿って時刻ｔでサンプリングを行って、前記サンプリングした信号に対して周波数変換を行い、それぞれｎ個のパワー値Ｐ_n（ｔ）と、所定の帯域内における総合パワー値Ｐ（ｔ）を求めた場合において、
［１］該総合パワー値Ｐ（ｔ）が第１の閾値を超えていた場合、及び
［２］該総合パワー値Ｐ（ｔ）を、それ以前の時刻（ｔ−Ｔ）での総合パワー値Ｐ（ｔ−Ｔ）で除した値（Ｐ（ｔ）／Ｐ（ｔ−Ｔ））と、該総合パワー値Ｐ（ｔ）を、それ以降の時刻（ｔ＋Ｔ）での総合パワー値Ｐ（ｔ＋Ｔ）で除した値（Ｐ（ｔ）／Ｐ（ｔ＋Ｔ））が、それぞれ第２の閾値を超えていた場合、及び
［３］個々のパワー値Ｐ_n（ｔ）を、総合パワー値Ｐ（Ｔ）で除した値（Ｐ_n（ｔ）／Ｐ（Ｔ））が第３の閾値を超えていたときは、エラーが発生したと判定すると好ましい。

【0019】

時間軸に沿った３つのパワー値を比較したときに、１番目のパワー値Ｐ_n（ｔ―Ｔ５）と３番目のパワー値Ｐ_n（ｔ＋Ｔ＋Ｔ５）が第４の閾値を上回り、２番目のパワー値の列Ｐ_n（ｔ）、・・・、Ｐ_n（ｔ＋Ｔ）が第５の閾値を下回ったときは、音飛びが発生したと判定すると好ましい。

【0020】

時間軸に沿った３つのパワー値Ｐ_n（ｔ）を比較したときに、１番目のパワー値Ｐ_n（ｔ―Ｔ５）と３番目のパワー値Ｐ_n（ｔ＋Ｔ＋Ｔ５）が第６の閾値を下回り、２番目のパワー値の列Ｐ_n（ｔ）、・・・、Ｐ_n（ｔ＋Ｔ）が第７の閾値を上回ったときは、ノイズが発生したと判定すると好ましい。

【発明の効果】

【0021】

本発明によれば、デジタル映像信号において種々の原因により発生するノイズに起因した映像のエラーを検出する映像検査方法を提供することができ、又、デジタル音声信号において種々の原因により発生するノイズに起因した音声のエラーを検出する音声検査方法を提供することができる。

【図面の簡単な説明】

【0022】

【図1】映像・音声検査装置１０のブロック図である。

【図2】（ａ）映像の乱れを検出する対象となるフレームを示す図である。（ｂ）分割した領域を示す図である。

【図3】時間軸に沿って、時刻（ｔ−２）、（ｔ−１）、ｔ、（ｔ＋１）、（ｔ＋２）における加速度ＡＣを矢印で示した一例を示す図である。

【図4】（ａ）映像のブロックノイズを検出する対象となるフレームを示す図である。（ｂ）検査ブロックとブロックノイズの関係を示す図である。

【図5】コンテンツを表示するフレームの一例である。

【図6】デジタル音声を時間軸に沿って１ｍｓｅｃで区切り、４８個の音声データをサンプリングすることを示す図である。

【図7】時間軸を横軸としてパワーＰ_n（ｔ）の変化を示す図である

【図8】時間軸を横軸としてパワーＰ_n（ｔ）の変化を示す図である

【発明を実施するための形態】

【0023】

本実施の形態にかかる映像検査方法及び音声検査方法を実現できる映像・音声検査装置を，図面を参照して説明する。図１は、映像・音声検査装置１０のブロック図である。映像・音声検査装置１０は、デジタル映像・音声信号を入力する入力部１１と、入力したデジタル映像・音声信号から高周波成分を抽出し、演算を行う抽出部１２と、抽出部１２の抽出結果に基づいて閾値との比較を行い、映像や音声にエラーが発生したか否かを判定する比較・判定部１３と、比較・判定部１３に対して閾値等の設定を行う制御部１４と、比較・判定部１３の判定結果に応じてアラームを出力する出力部１５とを有する。

【0024】

（映像の乱れ検出）
「映像の乱れ」とは、コンテンツの像がフレーム間で瞬間的に消失後復帰したり、シフトするような現象をいう。ここでは、一般社団法人電波産業会ＡＲＩＢが規格化した1125/60方式の高精細度テレビジョン放送HDTV（High-definition television）向けのBTAS-001B規格による映像・音声信号を例にとり説明する。このような映像信号は、輝度信号Ｙと、色差信号Ｐｂ，Ｐｒとを含んでいる。

【0025】

入力部１１から映像・音声信号が入力されたとき、抽出部１２は、図２（ａ）に示すように、１フレームにおいて、ラインＶ１〜Ｖ２、画像Ｈ１〜Ｈ２の範囲内を、４フィールド（領域）Ａ，Ｂ，Ｃ，Ｄに分割し、各領域毎に演算を行う。具体的には、フィールド毎に、ビデオレベル（Video Level）、ビデオアクティビティ（Video Activity）を演算する。ここで、Video Levelとは、画像フレームに含まれる画素の値の平均値であり、輝度信号のレベルともいう。又は色差信号のレベルを用いても良い。更に、Video Activityとしては、画像に含まれる小ブロックごとに分散を求めたとき、この分散のフレーム内の画素の平均値を用いても良いし、単純に画像フレームに含まれる画素のフレーム内での分散値を用いても良い。

【0026】

より具体的には、フレーム端からＨ１，Ｈ２までを８画素、フレーム端からＶ１，Ｖ２までを８ラインとすると、検査対象フレームを水平方向にＨ２＝１８６４画素、垂直方向にＶ２＝５３６ラインとできるので、これを４分割した１フィールドが９２８画素、２６４ラインとなる。ここで、図２（ｂ）に示すように、１フィールド内にｍライン、ｎ画素の小ブロックを形成する。つまり小ブロック内の各画素の輝度値はＹ（ｍ、ｎ）で表せる。ここで、輝度信号Ｙは１６画素×８ラインで小ブロックに分けると好ましい。輝度信号Ｙを用いる場合、１フィールドの小ブロック数は１９１４になる。尚、色差信号Ｐｂ，Ｐｒを用いる場合、８画素×８ラインで小ブロックに分けると好ましい

【0027】

更に、各小ブロック毎に、直流成分として信号の平均、交流成分として分散を求める。すなわち、ビデオアクティビティとしての分散を求めることは、高周波成分を抽出することとなる。（１）式は、小ブロック＃ｋ内の輝度信号Ｙについての平均Ａ（ｋ）を求める式であり、（２）式は、小ブロック＃ｋ内の輝度信号Ｙについての分散Ｖ（ｋ）を求める式である。これにより、フィールドＡ〜Ｄでは、それぞれブロック数に応じて平均Ａ（ｋ）と分散Ｖ（ｋ）が求まる（ｋ＝１〜１９１４）。

【0028】

【数1】

【0029】

更に、（１），（２）式に従って求めた平均Ａ（ｋ）と分散Ｖ（ｋ）を、１フィールド毎に平均化する。（３）式は、各フィールドのビデオアベレージＦｋＡ＝Ｌ₁₁，Ｌ₂₁，Ｌ₁₂，Ｌ₂₂を求める式であり、（４）式は、各フィールドのアクティビティアベレージＶｋＡ＝Ｓ₁₁，Ｓ₂₁，Ｓ₁₂，Ｓ₂₂を求める式である。

【0030】

【数2】

【0031】

ここで、１フィールド内のｎ番目のブロック＃ｎにおける時刻ｔでのビデオアクティビティをＶｎ（ｔ）としたときに、その経時変化に注目する。時刻ｔを基準として、それ以前の時刻（ｔ−２）、（ｔ−１）と、それ以降の時刻（ｔ＋１）、（ｔ＋２）におけるビデオアクティビティＶｎ（ｔ−２）、Ｖｎ（ｔ−１）、Ｖｎ（ｔ＋１）、Ｖｎ（ｔ−１）をそれぞれ計算する。但し、（ｔ−２）、（ｔ−１）、ｔ、（ｔ＋１）、（ｔ＋２）の時間間隔は２０ｍｓｅｃ以下であって、単位時間とする。

【0032】

ここで、各時刻での一階微分値を求めると、以下のようになる。
ｄＶｎ（ｔ−１）／ｄｔ＝Ｖｎ（ｔ−１）−Ｖｎ（ｔ−２） （５）
ｄＶｎ（ｔ）／ｄｔ＝Ｖｎ（ｔ）−Ｖｎ（ｔ−１） （６）
ｄＶｎ（ｔ＋１）／ｄｔ＝Ｖｎ（ｔ＋１）−Ｖｎ（ｔ） （７）
ｄＶｎ（ｔ＋２）／ｄｔ＝Ｖｎ（ｔ＋２）−Ｖｎ（ｔ−１） （８）

【0033】

更に、各時刻での二階微分値を求めると、以下のようになる。
ｄ²Ｖｎ（ｔ）／ｄｔ²＝ｄＶｎ（ｔ）／ｄｔ−ｄＶｎ（ｔ−１）／ｄｔ （９）
ｄ²Ｖｎ（ｔ＋１）／ｄｔ²＝ｄＶｎ（ｔ＋１）／ｄｔ−ｄＶｎ（ｔ）／ｄｔ （１０）
ｄ²Ｖｎ（ｔ＋２）／ｄｔ²＝ｄＶｎ（ｔ＋２）／ｄｔ−ｄＶｎ（ｔ＋１）／ｄｔ （１１）

【0034】

ここで、（ｄ²Ｖｎ（ｔ）／ｄｔ²）／Ｖｎ（ｔ−１）を、時刻ｔにおけるコンテンツの加速度ＡＣと定義するが、これは正負の値をとりうる。加速度ＡＣは、抽出部１２から比較・判定部１３へと入力される。図３に、時間軸に沿って、時刻（ｔ−２）、（ｔ−１）、ｔ、（ｔ＋１）、（ｔ＋２）における加速度ＡＣを矢印で示した一例を示す。映像の乱れが生じた場合、コンテンツの加速度ＡＣが、実際の被写体の動きとは異なる異常な動きをするので、加速度ＡＣが大きく変化する。

【0035】

具体的には、比較・判定部１３が、時間軸に沿って連続する３つの加速度ＡＣを比較する。まず図３において、時刻（ｔ−２）、（ｔ−１）では、双方とも加速度ＡＣが正の値であって閾値Ｔｈ１を超えている。一方、時刻（ｔ）では、加速度ＡＣが負の値であって、閾値Ｔｈ２を下回っている。この場合、時刻（ｔ−２）、（ｔ−１）間では加速度ＡＣの向きが同じであるので、映像の乱れを生じていないと判断できる。一方、時刻ｔでは加速度ＡＣの向きが負となっているので、映像の乱れを生じている可能性がある。

【0036】

次いで、時刻（ｔ＋１）では加速度ＡＣの向きが再び正の値に戻り、閾値Ｔｈ１を超えている。従って、時刻（ｔ−１）、ｔ、（ｔ＋１）間では加速度ＡＣが閾値を超え，且つ正、負、正の並びとなっている。このように加速度ＡＣが大きく変化した場合、時刻ｔで領域＃ｎのブロック内で映像の乱れが生じたと判定できる。同様に、加速度ＡＣが閾値を超え，且つ負、正、負の並びとなっている場合も、映像の乱れが生じたと判定できる。

【0037】

更に、時刻（ｔ＋２）では加速度ＡＣの向きが再び負の値に戻ったが、閾値Ｔｈ２を下回っていない。よって、時刻ｔ、（ｔ＋１）、（ｔ＋２）間では加速度ＡＣが時間軸に沿って負、正、負の並びとなっているが、閾値を超えていないのでコンテンツの像の動きは正常の範囲内であるとして、時刻（ｔ＋１）では映像の乱れを生じていないと判断する。尚、閾値Ｔｈ１，Ｔｈ２の値は、装置制御部１４からの入力で任意に変更することが可能である。以上の演算及び比較を、全ての小ブロックで行う。

【0038】

比較・判定部１３が、映像の乱れが生じたと判定した場合、どのフィールドの、どの小ブロックで映像の乱れが生じたかを示す情報を、アラーム出力部１５に入力する。アラーム出力部１５は、入力された情報に基づいて、検査対象となる映像・音声を表示したモニタ（不図示）に、アラームを表示させる。このとき、モニタに表示される映像に重ねて、アラームを表示することが好ましく、例えば映像の乱れを検出したフィールドの縁が赤く光るようにすることができる。

【0039】

（映像のブロックノイズの検出）
「映像のブロックノイズ」とは、コンテンツの像が、ブロック状に別の像に変換されてしまう現象をいう。ここでも、HDTVの映像・音声信号を例にとり説明する。図４に示すように、入力されたデジタル映像信号を２０ｍｓｅｃ以下で区切ってサンプリングした際に、検査対象フレームを、水平方向に１９２０画素、垂直方向に５４０ラインで表すとする。ここで、ｍ画素、ｎラインの輝度信号の画素値をＹ（ｍ，ｎ）で表し、これを左上端として８画素×８ラインの画素ブロック（検査ブロック）を定義する。検査ブロックの範囲は、これに限られない。入力部１１から映像・音声信号が入力されたとき、抽出部１２は、検査ブロック内の画素値に対して、直交変換である２次元離散フーリエ変換を実行する。尚、直交変換としては，これ以外にも離散コサイン変換、ウェーブレット変換などがあり、いずれの直交変換を用いても同様の態様でブロックノイズの角を検出できる。

【0040】

このとき、検査ブロック内の６４個の画素値をＹ（０，０）・・・、Ｙ（７，７）で表し、フーリエ変換係数をＦ（ｕ、ｖ）＝Ｆ（０，０）・・・、Ｆ（７，７）で表すと、（１２）式の関係が成立する。このフーリエ変換により、高周波成分を抽出することとなる。

【0041】

【数3】

【0042】

比較・判定部１３は、抽出部１２で行ったフーリエ変換の結果、フーリエ変換係数が以下の条件１〜４のいずれかを満たす場合、その検査ブロックＤＢが、図４（ａ）に示すブロックノイズＢＮの四隅の角のいずれかに存在すると判定する。具体的には、以下の通りである。
［１］条件１が成立する場合、検査ブロックＤＢの画素Ｙ（６，６）、Ｙ（７，６）、Ｙ（６，７）、Ｙ（７，７）がブロックノイズ内にあることを示し、それ以外の画素がブロックノイズ外にあることを示すので、図４（ｂ）において示す検査ブロックＤＢ（１）が、ブロックノイズＢＮの左上にあることを意味する。
［２］条件２が成立する場合、検査ブロックＤＢの画素Ｙ（０，６）、Ｙ（１，６）、Ｙ（０，７）、Ｙ（１，７）がブロックノイズ内にあることを示し、それ以外の画素がブロックノイズ外にあることを示すので、図４（ｂ）において示す検査ブロックＤＢ（２）が、ブロックノイズＢＮの右上にあることを意味する。
［３］条件３が成立する場合、検査ブロックＤＢの画素Ｙ（６，０）、Ｙ（７，０）、Ｙ（６，１）、Ｙ（７，１）がブロックノイズ内にあることを示し、それ以外の画素がブロックノイズ外にあることを示すので、図４（ｂ）において示す検査ブロックＤＢ（３）が、ブロックノイズＢＮの左上にあることを意味する。
［４］条件４が成立する場合、検査ブロックＤＢの画素Ｙ（０，０）、Ｙ（１，０）、Ｙ（０，１）、Ｙ（１，１）がブロックノイズ内にあることを示し、それ以外の画素がブロックノイズ外にあることを示すので、図４（ｂ）において示す検査ブロックＤＢ（４）が、ブロックノイズＢＮの左上にあることを意味する。

【0043】

よって、図４（ａ）の矢印に示すように、検査ブロックＤＢをフレーム全体にわたって移動させることで、ブロックノイズが発生している場合には、その位置と大きさが分かる。検査対象フレームを例えば４つに分割して、各領域毎にブロックノイズが発生したか否かを検出しても良い。

【0044】

【数4】

但し、Ｗ_uvはＦ（ｕ，ｖ）の実数部（Ａ）と虚数部（Ｂ）の二乗和の平方根（√（Ａ²＋Ｂ²））である。

【0045】

ところで、上述した条件のみでは、コンテンツとしてのビルの窓や、映像に挿入された文字などがブロックノイズとして誤って検出される恐れがある。そこで、ブロックノイズと、窓や文字とを区別する必要がある。これは、以下のようにして比較・判定部１３が行う。

【0046】

より具体的に説明すると、図５に示すように、検査対象領域（又はフレーム）が、Ｎ個の画素（ｖ₁〜ｖ_N）×Ｍ本のライン（ｈ₁〜ｈ_M）から構成されているとした場合、コンテンツの窓や文字などの場合、同一垂直線もしくは同一水平線（図５では直線ＶＬ，ＨＬが相当）上に角が生じる可能性が高い。そこで、角の出現傾向を標準偏差で表すことで、ブロックノイズと、窓や文字とを区別することが可能になる。

【0047】

まず、検査対象領域内の総角数Ｎｃは、角が発生した画素の総数に等しく、また角が発生したラインの総数に等しいから、（１３）式で表せる。更に、検査対象領域内で水平方向に発生した角の標準偏差（Ｄｈ）²を、（１４）式で表し、垂直方向に発生した角の標準偏差（Ｄｖ）²を、（１５）式で表すものとする。

【0048】

【数5】

【0049】

ここで、角の標準偏差が小さければ、同一垂直線もしくは同一水平線上に角が乗っている傾向が強い。従って、検査対象領域内において、α＝Ｎ×Ｄｈ×Ｄｖを求めたとき、αの値が比較的小さければ、コンテンツに起因する角が多いと推定できる。そこで、比較・判定部１３は、検査対象領域内に角が発生していたと判断した場合、閾値Ｔｈ５に対してαがそれ以上か否かを判断し、α≧Ｔｈ５である場合に、検査対象領域内にブロックノイズが発生したと判定するのである。尚、閾値Ｔｈ３〜Ｔｈ５の値は、装置制御部１４からの入力で任意に変更することが可能である。

【0050】

比較・判定部１３が、映像のブロックノイズが生じたと判定した場合、角を示す位置情報等を含む情報をアラーム出力部１５に入力する。アラーム出力部１５は、入力された情報に基づいて、検査対象となる映像・音声を表示したモニタ（不図示）に、アラームを表示させる。このとき、モニタに表示される映像に重ねて、ブロックノイズの角の位置を表示することが好ましい。

【0051】

（音声のエラー検出）
本実施の形態で検出する音声のエラーの１つは、瞬間的に発生し消滅する、いわゆる「プツ」音である。デジタル音声は、例えば４チャンネルで入力されるので、個々のチャンネル毎のエラーを検出する。

【0052】

まず、抽出部１２が、図６に示すように、デジタル音声を時間軸に沿って１ｍｓｅｃで区切り、例えば４８個の音声データをサンプリングする。これ以上の細かいデータは、人間の可聴域を超えるため不要である。更に各音声データに対し、直交変換である離散フーリエ変換により周波数変換を実行する。ここでｘ（ｔ）は、時刻ｔにおける音声の振れ幅を示す音声レベルの値である。これにより時刻ｔにおいて、直流成分を除く２３のサンプルデータの高周波成分ｆｊ（ｔ）が、（１６）式に示すように抽出される。尚、サンプリングは、図６に示すように、例えば０．５ｍｓｅｃ毎にずらしながら採取する。

【0053】

【数6】

【0054】

（プツ音の検出）
比較・判定部１３が、時刻ｔにおける高周波成分ｆｊ（ｔ）から実数部と虚数部の二乗和を計算することで、パワーが得られる。よって全てのサンプルについてパワーを計算し、これをＰ_n（ｔ）、（但しｎ＝１〜２３）とする。

【0055】

プツ音のパワーは、サンプルデータ間で一様であることが分かっている。時刻ｔにおける、サンプルデータｍ１〜ｍ２までの総合パワーをＰ（ｔ）とすると、（１７）式で表せる。

【0056】

【数7】

【0057】

比較・判定部１３は、以下の（１８）〜（２０）式を満たすとき、プツ音が発生したと判定する。（１８）式の条件は、音声信号がゼロでないことを示し、（１９）式は、プツ音前後で比較的大きな音声の変化があることを示し、（２０）式は、サンプリング時間内でパワーが比較的一定であることを示す。尚、閾値Ｔｈ６〜Ｔｈ８、Ｔ，ｍ１，ｍ２，ｎ１，ｎ２の値は、装置制御部１４からの入力で任意に変更することが可能である。
Ｐ（ｔ）≧Ｔｈ６ （１８）
Ｐ（ｔ）／Ｐ（ｔ−Ｔ）≧Ｔｈ７ 且つ Ｐ（ｔ）／Ｐ（ｔ＋Ｔ）≧Ｔｈ７ （１９）
Ｐ_n（ｔ）／Ｐ（ｔ）≧Ｔｈ８ （但し、ｎはサンプルデータ＃１〜＃２３のうち任意の連番ｎ１〜ｎ２のサンプルデータ） （２０）

【0058】

（音飛びの検出）
図７は、時間軸を横軸としてパワーＰ_n（ｔ）の変化を示す図である。比較・判定部１３は、ｎ＝１〜２３全てにおいて、以下の（２１）〜（２３）式を満たすとき、時刻ｔで音飛びが発生したと判定する。これは時刻ｔより時間Ｔにわたって、音声のパワーが閾値Ｔｈ１０を下回っているが、その前後ではパワーが閾値Ｔｈ９を上回っていることを意味する。尚、閾値Ｔｈ９，Ｔｈ１０、Ｔ，Ｔ５の値は、装置制御部１４からの入力で任意に変更することが可能である。
Ｐ_n（ｔ−Ｔ５）≧Ｔｈ９ （２１）
Ｐ_n（ｔ）、Ｐ_n（ｔ＋１）、・・・Ｐ_n（ｔ＋Ｔ）≦Ｔｈ１０ （２２）
Ｐ_n（ｔ＋Ｔ−Ｔ５）≧Ｔｈ９ （２３）

【0059】

（ノイズ挿入の検出）
図７は、時間軸を横軸としてパワーＰ_n（ｔ）の変化を示す図である。比較・判定部１３は、ｎ＝１〜２３全てにおいて、以下の（２４）〜（２６）式を満たすとき、時刻ｔでノイズ挿入が発生したと判定する。これは時刻ｔより時間Ｔにわたって、音声のパワーが閾値Ｔｈ１１を上回っているが、その前後ではパワーが閾値Ｔｈ９を下回っていることを意味する。尚、閾値Ｔｈ１１，Ｔｈ１２、Ｔ，Ｔ５の値は、装置制御部１４からの入力で任意に変更することが可能である。
Ｐ_n（ｔ−Ｔ５）≦Ｔｈ１１ （２４）
Ｐ_n（ｔ）、Ｐ_n（ｔ＋１）、・・・Ｐ_n（ｔ＋Ｔ）≧Ｔｈ１２ （２５）
Ｐ_n（ｔ＋Ｔ−Ｔ５）≦Ｔｈ１１ （２６）

【0060】

比較・判定部１３が、音声のエラーが生じたと判定した場合、音声アラーム信号を、アラーム出力部１５に入力する。アラーム出力部１５は、検査対象となる映像・音声を表示したモニタ（不図示）に、アラームを表示させる。

【産業上の利用可能性】

【0061】

本発明により、体調や個人差により検査の精度が左右される検査者に頼ることなく、高精度に映像や音声のエラーを検出できる。

【符号の説明】

【0062】

１０ 映像・音声検査装置
１１ 入力部
１２ 抽出部
１３ 比較・判定部
１４ 制御部
１５ アラーム出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】