特許 7033797 映像監視装置の調整方法及び映像監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-03

(45)【発行日】2022-03-11

(54)【発明の名称】映像監視装置の調整方法及び映像監視装置

(51)【国際特許分類】

   H04N 17/00 20060101AFI20220304BHJP

【ＦＩ】

H04N17/00 A

【請求項の数】 8

(21)【出願番号】P 2019528202

(86)(22)【出願日】2017-07-03

(86)【国際出願番号】 JP2017024350

(87)【国際公開番号】W WO2019008635

(87)【国際公開日】2019-01-10

【審査請求日】2020-06-30

(73)【特許権者】

【識別番号】599161292

【氏名又は名称】株式会社Ｋ－ＷＩＬＬ

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(72)【発明者】

【氏名】浜田 高宏

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開平０９－０４６７３３（ＪＰ，Ａ）

【文献】特開２０１１－２２８９７５（ＪＰ，Ａ）

【文献】特開２００８－０４６３４６（ＪＰ，Ａ）

【文献】特開２００６－１０１２９６（ＪＰ，Ａ）

【文献】特開２００６－０６０３３５（ＪＰ，Ａ）

【文献】特開２００６－１８６７８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １７／００

Ｈ０４Ｎ １９／００

Ｈ０４Ｎ ２１／００

Ｈ０４Ｎ ５／６０

Ｇ０９Ｇ ５／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

監視対象である映像及び／又は音声に対応する映像信号を入力して、監視項目に対してエラーが発生したことを検出する映像監視装置の調整方法において、
前記映像監視装置は、前記監視項目毎のパラメータの全てが、前記監視項目に応じて決定された閾値を超えたときに、前記エラーが発生したと判定するようになっており、前記監視項目毎のパラメータのうち少なくとも２つが、相互に関連し合っていて、
前記監視項目毎のパラメータの閾値をそれぞれ決定して閾値群を複数組作成し、メモリに記憶し、
監視対象である映像及び／又は音声のコンテンツに応じて、前記メモリに記憶された前記閾値群のいずれかの組を選定することを特徴とする映像監視装置の調整方法。

【請求項2】

前記映像監視装置は、エラーを検出したときにアラームを発報するようになっており、
映像及び／又は音声の監視動作と並行した学習において、監視対象である映像及び／又は音声に対応する映像信号を入力させて、一定の時間間隔で、アラームを発報すべきエラーに対して前記アラームが発報された第１事象の件数と、アラームを発報すべきでないエラーに対して前記アラームが発報された第２事象の件数とをそれぞれカウントし、
更に、エラーの内容と発生箇所が既知である検査用の映像信号を前記映像監視装置に入力させて、アラームを発報すべきエラーに対して前記アラームが発報されなかった第３事象の件数をカウントし、
得られた前記第１事象の件数と、前記第２事象の件数と、前記第３事象の件数とを重み付けして演算することにより評価値を求め、求めた前記評価値に基づいて前記閾値群を更新することを特徴とする請求項１に記載の映像監視装置の調整方法。

【請求項3】

前記学習において、前記閾値群の閾値を個別に変化させながら、前記第１事象の件数と、前記第２事象の件数と、前記第３事象の件数をカウントすることを特徴とする請求項２に記載の映像監視装置の調整方法。

【請求項4】

監視対象である映像及び／又は音声に対応する映像信号を入力して、監視項目に対してエラーが発生したことを検出する映像監視装置において、
前記監視項目毎のパラメータのうち少なくとも２つが相互に関連し合ってなるパラメータの閾値を記憶する閾値記憶部と、
前記監視項目毎のパラメータの全てが前記監視項目に応じて決定された前記閾値を超えたときに、前記エラーが発生したと判定し、アラームを発報する判定部と、
映像及び／又は音声の監視動作と並行して学習を行う学習部と、
前記学習部における学習結果に基づいて前記閾値を更新する更新部と、
前記判定部が前記エラーの発生を検出したときは、前記エラーの発生前後の映像信号を記憶する映像記憶部と、を有し、
前記エラーの発報結果を解析することにより、前記学習部が学習し、
前記学習部は、監視対象である映像及び／又は音声に対応する映像信号を入力したときに、一定の時間間隔で、アラームを発報すべきエラーに対して前記アラームが発報された第１事象の件数と、アラームを発報すべきでないエラーに対して前記アラームが発報された第２事象の件数をカウントし、更に、エラーの内容と発生箇所が既知である検査用の映像信号を入力したときに、アラームを発報すべきエラーに対して前記アラームが発報されなかった第３事象の件数をカウントし、得られた前記第１事象の件数と、前記第２事象の件数と、前記第３事象の件数とを重み付けして演算することにより評価値を求め、求めた前記評価値に基づいて前記閾値を更新することを特徴とする映像監視装置。

【請求項5】

前記学習部は、前記監視項目の閾値を個別に変化させながら、前記第１事象の件数と、前記第２事象の件数と、前記第３事象の件数をカウントすることを特徴とする請求項４に記載の映像監視装置。

【請求項6】

前記学習部は、Ｍ個の映像信号のうちｍ番目の映像信号に対して、時刻ｔ１～ｔ２の間に、アラームを発報すべきエラーに対して前記アラームが発報された第１事象の件数をＴ（ｍ）とし、アラームを発報すべきでないエラーに対して前記アラームが発報された第２事象の件数をＦ（ｍ）とし、アラームを発報すべきエラーに対して前記アラームが発報されなかった第３事象の件数をＨ（ｍ）としたときに、以下の評価関数に従って評価値Ａ（ｍ）を求めることを特徴とする請求項５に記載の映像監視装置。
但し、

【数1】

Ｗｔ（ｍ）は前記第１事象の重み付け
Ｗｆ（ｍ）は前記第２事象の重み付け
Ｗｈ（ｍ）は前記第３事象の重み付け

【請求項7】

前記映像記憶部は、入力された映像信号を、所定のタイミングで所定の長さで切り出して記憶することを特徴とする請求項４～６のいずれかに記載の映像監視装置。

【請求項8】

前記学習部の学習結果を表示すると共に、前記エラーの発生前後の映像信号に基づいて映像及び／又は音声を再生する表示部を有することを特徴とする請求項４～７のいずれかに記載の映像監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタル映像信号に含まれた映像や音声のエラーを機械的に検出できる映像監視装置の調整方法及び映像監視装置に関する。

【背景技術】

【0002】

旧来のアナログテレビ放送時代には、その映像や音声の品質は、監視者が実際に映像や音声を視聴（監視）してエラーの検出を実行していた。これに対し、デジタルテレビ放送に移行した現代においては、映像信号の処理が容易になり機械的に映像や音声を監視する環境が整いつつあり、一部では既に機械監視が行われている。その一方で、機械監視はエラー検出の正確性において未だ人間の監視に劣ることが多いという評価もあり、旧来の監視者による監視も並行して行われているという実情がある。

【0003】

しかるに、今後はデジタル映像を送信する地上波の事業に加えて、コンテンツのネット配信事業や、ＩＰＴＶ（Internet Protocol Tele Vision）事業などの映像配信サービスが拡大すると予測されるところ、それに伴って配信されるコンテンツの数も劇的に増大することから、全てのコンテンツに対して監視者による監視を行うことは事実上困難になると考えられている。よって、機械監視におけるエラー検出の正確性を人間並みに向上させることは、全ての映像配信サービスにおいて喫緊の課題ともいえる。

【0004】

特許文献１には、デジタル映像信号において種々の原因により発生するノイズに起因した映像のエラーや、デジタル音声信号において種々の原因により発生するノイズに起因した音声のエラーを検出する音声検査方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】国際公開２０１５／０５９７８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１によれば、連続するデジタル音声信号を５ｍｓｅｃ以下で区切ってサンプリングし、サンプリングした信号から高周波成分を抽出して、抽出された高周波成分に基づく値を閾値と比較することで、音声に生じたエラーを機械的に検出することができる。

【0007】

しかるに、特許文献１のような技術では、音声信号の特性値（パラメータ）を閾値と比較することによってエラー検出が行われているが、その閾値をどのように設定すべきかという課題がある。すなわち、閾値を厳しめに設定すると、頻繁にエラー検出がなされる一方で、検出されたエラーの多くが視聴者にとって無視できる程度のものであったときは検出が無駄になる恐れがある。一方、閾値を緩く設定すると、エラー検出の頻度は下がるが、視聴者にとって無視できないエラーが見逃されてしまう恐れがある。これが、機械監視が人間の監視に劣る理由の１つとされる。特にパラメータが複数あって相互に関連している場合など、１つのパラメータを変更すると他のパラメータに影響が及ぶため、２つ以上のパラメータを同時に変更しなくてはならず、適切な閾値の設定は非常に困難である。

【0008】

本発明の目的の１つは、デジタル映像信号においてコンテンツに応じて発生する映像及び／又はエラーを適切に検出する映像監視装置の調整方法を提供することにある。

【0009】

又、本発明の別の目的は、デジタル映像信号において学習を通じて適切に映像及び／又はエラーを検出する映像監視装置を提供することにある。

【課題を解決するための手段】

【0010】

第１の本発明の映像監視装置の調整方法は、監視対象である映像及び／又は音声に対応する映像信号を入力して、監視項目に対してエラーが発生したことを検出する映像監視装置の調整方法において、
前記映像監視装置は、前記監視項目毎のパラメータの全てが、前記監視項目に応じて決定された閾値を超えたときに、前記エラーが発生したと判定するようになっており、前記監視項目毎のパラメータのうち少なくとも２つが、相互に関連し合っていて、
前記監視項目毎のパラメータの閾値をそれぞれ決定して閾値群を複数組作成し、メモリに記憶し、
監視対象である映像及び／又は音声のコンテンツに応じて、前記メモリに記憶された前記閾値群のいずれかの組を選定することを特徴とする。

【0011】

本発明者は鋭意研究の結果、前記閾値群の適正値が、監視対象である映像及び／又は音声のコンテンツの内容（「映画」、「ドラマ」、「バラエティ」、「スポーツ」、「ドキュメンタリー」、「エンターテインメント」、「アニメ」等）に応じて偏在することを発見した。かかる発見に基づいて、本発明を導出したのである。すなわち、前記複数のパラメータの閾値をそれぞれ決定して前記閾値群を複数組作成し、メモリに記憶しておけば、監視対象である映像及び／又は音声のコンテンツに応じて前記メモリに記憶された前記閾値群のいずれかの組を選定することで、単一の閾値群を用いる場合に比べ、より監視に適正な閾値群を設定できるから、前記映像監視装置におけるエラーの誤検出を効果的に防止することができるのである。

【0013】

更に、前記映像監視装置は、エラーを検出したときにアラームを発報するようになっており、
映像及び／又は音声の監視動作と並行した学習において、監視対象である映像及び／又は音声に対応する映像信号を入力させて、一定の時間間隔で、アラームを発報すべきエラーに対して前記アラームが発報された第１事象の件数と、アラームを発報すべきでないエラーに対して前記アラームが発報された第２事象の件数とをそれぞれカウントし、
更に、エラーの内容と発生箇所が既知である検査用の映像信号を前記映像監視装置に入力させて、アラームを発報すべきエラーに対して前記アラームが発報されなかった第３事象の件数をカウントし、
得られた前記第１事象の件数と、前記第２事象の件数と、前記第３事象の件数とを重み付けして演算することにより評価値を求め、求めた前記評価値に基づいて前記閾値群を更新すると好ましい。

【0014】

前記学習において、前記閾値群の閾値を個別に変化させながら、前記第１事象の件数と、前記第２事象の件数と、前記第３事象の件数をカウントすると好ましい。

【0015】

第２の本発明の映像監視装置は、監視対象である映像及び／又は音声に対応する映像信号を入力して、監視項目に対してエラーが発生したことを検出する映像監視装置において、
前記監視項目毎のパラメータのうち少なくとも２つが相互に関連し合ってなるパラメータの閾値を記憶する閾値記憶部と、
前記監視項目毎のパラメータの全てが、前記監視項目に応じて決定された前記閾値を超えたときに、前記エラーが発生したと判定し、アラームを発報する判定部と、
映像及び／又は音声の監視動作と並行して学習を行う学習部と、
前記学習部における学習結果に基づいて前記閾値を更新する更新部と、
前記判定部が前記エラーの発生を検出したときは、前記エラーの発生前後の映像信号を記憶する映像記憶部と、を有し、
前記エラーの発報結果を解析することにより、前記学習部が学習し、
前記学習部は、監視対象である映像及び／又は音声に対応する映像信号を入力したときに、一定の時間間隔で、アラームを発報すべきエラーに対して前記アラームが発報された第１事象の件数と、アラームを発報すべきでないエラーに対して前記アラームが発報された第２事象の件数をカウントし、更に、エラーの内容と発生箇所が既知である検査用の映像信号を入力したときに、アラームを発報すべきエラーに対して前記アラームが発報されなかった第３事象の件数をカウントし、得られた前記第１事象の件数と、前記第２事象の件数と、前記第３事象の件数とを重み付けして演算することにより評価値を求め、求めた前記評価値に基づいて前記閾値群を更新することを特徴とする。

【0016】

本発明によれば、前記エラーの発報結果を解析し、例えば「正解アラーム」、「不要アラーム、「すり抜け」などに分類することにより、前記学習部が学習を行って、前記閾値をより適正な値に更新できるので、エラー検出の精度が高まる。

【0018】

更に、前記学習部は、前記監視項目の閾値を個別に変化させながら、前記第１事象の件数と、前記第２事象の件数と、前記第３事象の件数をカウントすると好ましい。

【0019】

更に、前記学習部は、Ｍ個の映像信号のうちｍ番目の映像信号に対して、時刻ｔ１～ｔ２の間に、アラームを発報すべきエラーに対して前記アラームが発報された第１事象の件数をＴ（ｍ）とし、アラームを発報すべきでないエラーに対して前記アラームが発報された第２事象の件数をＦ（ｍ）とし、アラームを発報すべきエラーに対して前記アラームが発報されなかった第３事象の件数をＨ（ｍ）としたときに、以下の評価関数に従って評価値Ａ（ｍ）を求めると好ましい。

但し、
Ｗｔ（ｍ）は前記第１事象の重み付け
Ｗｆ（ｍ）は前記第２事象の重み付け
Ｗｈ（ｍ）は前記第３事象の重み付け

【0020】

更に、前記映像記憶部は、入力された映像信号を、所定のタイミングで所定の長さで切り出して記憶すると好ましい。

【0021】

更に、前記学習部の学習結果を表示すると共に、前記エラーの発生前後の映像信号に基づいて映像及び／又は音声を再生する表示部を有すると好ましい。

【0023】

本明細書中、「音声」とは、人間や動物の声の他、音も含む。「映像信号」とは、映像信号及び音声信号のいずれか一方の場合を含む。「コンテンツ」とは、映像の内容のことである。具体的には、コンテンツの大分類として、「映画」、「ドラマ」、「バラエティ」、「スポーツ」、「ドキュメンタリー」、「エンターテインメント」、「アニメ」などがある。一方、コンテンツの小分類としては、「スポーツ」を例にとれば、「野球」、「サッカー」、「バレーボール」、「柔道」、「相撲」、「陸上競技」などがある。「学習」は、リアルタイムで流れる映像及び／又は音声を監視者が視聴した監視結果を、同じ映像及び／又は音声に対応する映像信号を映像監視装置で監視した結果と対応付け、それを閾値にフィードバックすることを含む。「相互に関連する」とは、一方のパラメータを調整すると、他方のパラメータに影響が及ぶことをいう。「閾値を超える」とは、閾値を上回ること、及び閾値を下回ることの双方の場合を含む。

【発明の効果】

【0024】

本発明によれば、デジタル映像信号においてコンテンツに応じて発生する映像及び／又はエラーを適切に検出する映像監視装置の調整方法を提供することができる。又、本発明によれば、デジタル映像信号において学習を通じて適切に映像及び／又はエラーを検出する映像監視装置を提供することができる。

【図面の簡単な説明】

【0025】

【図1】映像監視装置１００を示すブロック図である。

【図2】表示部１０７に表示される映像・音声監視部１０３における検査項目の例を示す図である。

【図3】表示部１０７に表示されるアラーム情報の例を示す図である。

【図4】表示部１０７に表示される監視項目毎のパラメータの例を示す図である。

【図5】同じ閾値を用いてエラー検出を行った際に発生した正解アラーム、不要アラーム、すり抜けを、監視項目とコンテンツ毎にまとめた例を示す図である。

【図6】あるコンテンツに関する検査項目フリーズにおいて、このような更新を複数回行った際の閾値の複数群の例（（ａ）更新前、（ｂ）更新後）のリストを示す図である。

【発明を実施するための形態】

【0026】

本実施の形態にかかる映像監視装置及びその調整方法を、図面を参照して説明する。図１は、映像監視装置１００を示すブロック図である。図１において、映像監視装置１００は、監視対象となる映像及び／又は音声に対応する映像信号（以下、検査対象映像信号という）を入力する主入力部１０１と、検査用の映像信号を入力する副入力部１０２と、閾値を記憶するメモリを内蔵する映像・音声監視部（判定部）１０３と、映像・音声クリップ蓄積部（映像記憶部）１０４と、アラーム出力部１０５と、内蔵メモリ（閾値記憶部）１０６ａを含むパラメータ最適化用学習部（学習部兼更新部）１０６と、監視者ＭＮが表示された情報を視認可能なディスプレイ等の表示部１０７と、監視者ＭＮが情報を入力可能なキーボード等の監視者入力部１０８とを有している。

【0027】

映像監視装置１００の監視動作について説明する。図２は、表示部１０７に表示される映像・音声監視部１０３における検査項目の例を示す図である。監視対象となる映像信号は、ＳＤＩ信号、ファイル、ＩＰ形式、ＨＤＭＩ（登録商標）等全てのフォーマットの映像信号を対象とする。監視者ＭＮは、表示部１０７に表示された監視項目を見ながら、監視者入力部１０８を介して、監視項目それぞれに対応するボックス内を変化させ、監視項目毎に「検査」又は「オフ」のいずれかを選択することができる。監視者が「検査」を選択した検査項目は、映像監視装置１００が監視することになるが、「オフ」を選択した検査項目は監視されない。

【0028】

映像に関する監視項目としては、「フリーズ」、「ブラックアウト」、「遮断フリーズ」、「遮断ブラックアウト」、「ブロックノイズ」、「赤色点滅」、「輝度点滅」、「場面転換」、「映像反転」、「ラインノイズ」、「カット点異常」、「タイムコード不連続」がある。一方、音声に関する監視項目としては、「ミュート」、「遮断ミュート」、「プツ音（Audio Pop Noise）」、「音飛び」、「音声ノイズ」、「ラウドネス」、「トゥルーピーク」がある。尚、検査項目がこれらに限られることはない。

【0029】

監視動作の前提として、映像・音声監視部１０３には、監視項目毎に複数の閾値（閾値群という、詳細は後述）が設定されているものとする。図１を参照して、映像監視装置１００は、主入力部１０１から検査対象映像信号を入力すると、入力された検査対象映像信号は、画像フレーム、画素データ、音声サンプリングデータが抽出されて、映像・音声監視部１０３に送信され、ここで監視アルゴリズムに適用できる各種感度調整や継続時間等に対応したパラメータを算出する。

【0030】

映像・音声監視部１０３は、監視アルゴリズムに従って、求めた複数のパラメータを監視項目に対応する閾値と比較し、全てのパラメータが閾値を超えた場合には監視項目に対応するエラーを検出したものと判定して、当該監視項目と対応づけたアラーム信号をアラーム出力部１０５に出力する。アラーム出力部１０５は、入力したアラーム信号に応じて、エラー発生時刻と、検出したエラーの内容と、その深刻度とを含むアラーム情報を表示部１０７に入力するので、表示部１０７はアラーム情報を表示し、それを監視者ＭＮが視認することができる。又、映像・音声監視部１０３は、パラメータが閾値を超えた前後の映像信号を切り出して、映像・音声クリップ蓄積部１０４に記憶するようになっている。

【0031】

図３は、表示部１０７に表示されるアラーム情報の例を示す図である。図３において、画面下段には検出されたエラー及び内容が時系列で表示されると共に、画面上段にはエラーが映像又は音声であることを示す「カテゴリー」、エラーのレベルが普通又は重篤を示す「クラス」、エラーの種別を示す「検査項目」、及びエラーの「発生回数」がまとめて表示される。監視者ＭＮが、監視者入力部１０８を介して、いずれかのエラーを選択すると、それに応じて映像・音声クリップ蓄積部１０４から、対応するエラー前後の映像信号が読み出され、表示部１０７に入力される。これによりエラー前後における映像及び／又は音声が表示部１０７から出力されるので、監視者ＭＮはエラーの内容を実際に視認でき、或いは聴取することができる。

【0032】

ところで、表示部１０７に表示された検出エラーの内容と、実際の映像及び／又は音声を監視者ＭＮが見比べることで、アラームを発報すべきエラーに対してアラームが発報された場合（正解アラームという）と、アラームを発報すべきでないエラーに対してアラームが発報された場合（不要アラームという）と、アラームを発報すべきエラーに対してアラームが発報されなかった場合（すり抜けという）とをそれぞれ認識できる。本来的には、映像監視装置１００がエラー検出時に発報するアラームが全て正解アラームであることが理想であるが、実際には不要アラームやすり抜けが生じてしまう。これは、映像・音声監視部１０３の機械監視によるエラー検出基準が、監視者ＭＮの監視によるエラー検出基準と厳密に一致しないことから生じるものである。よって、機械監視によるエラー検出を人間の監視によるエラー検出に近づけない限り、映像監視装置１００単独での監視が困難となる。

【0033】

そこで、映像・音声監視部１０３の機械監視によるエラー検出基準を、監視者ＭＮの監視によるエラー検出基準に近づけるために、監視項目毎に設定されたパラメータの閾値を変えることとする。これを閾値のチューニングという。ここで、監視項目がｍ個あったとき、そのパラメータの個数をＩ（ｍ）とすると、チューニングすべき閾値の数は、１・Ｉ（１）＋２・Ｉ（２）＋・・・＋ｍ・Ｉ（ｍ）となって、監視項目が増えるにつれて増大することがわかる。

【0034】

図４は、表示部１０７に表示される監視項目毎のパラメータの例を示す図である。監視者ＭＮは、表示部１０７に表示されたパラメータを見ながら、監視者入力部１０８を介して、パラメータに対応するボックス内に、パラメータ毎に任意の数値を入力することができるようになっている。

【0035】

一例を挙げると、検査項目「フリーズ」に対応して、パラメータとして「感度閾値（アクティビティ）」、「感度閾値（ノイズ）」、「時間閾値（開始）」、「時間閾値（終了）」の４つがある。「グラフスケール」は表示用のグラフの縮尺を表すもので、ここではパラメータではない。つまり、エラーとしての映像フリーズを検出する為には、４つのパラメータの閾値（閾値群）を各々適切に設定しなければならない。しかるに、「感度閾値（アクティビティ）」と「感度閾値（ノイズ）」とは、パラメータとして映像１フレームに含まれる小ブロックごとに分散をとった値の上限値及び下限値であり、相互に関連し合っているといえる。このようなパラメータは、国際公開第２０１５－０５９７８２号に詳細が開示されている。又、「時間閾値（開始）」と「時間閾値（終了）」は、映像がフレーズしたと判断する期間の長さを示したものであり、相互に関係し合っている。よって、いずれか一方の閾値を調整した場合、他方の閾値も併せて変更しなければ、適切にフリーズを検出できないこととなる。

【0036】

ここで、全ての検査項目に対して適切な閾値を入力しないと、エラー検出時の不要アラームやすり抜けを招いてしまうが、図４に示すように検査項目の数が多い場合、全ての検査項目に対して適正な閾値を決定することは困難である。そこで、デフォルトの閾値（初期値）を予め決定しておくことが望ましい。このようなデフォルトの閾値は、例えば映像・音声監視部１０３の内蔵メモリに記憶して用いることができる。しかるに、本発明者の検討結果によれば、全てのコンテンツに対して同じ閾値を用いた場合において、あるコンテンツでは不要アラームやすり抜けが低減されるが、別なコンテンツでは不要アラームやすり抜けが生じることが分かった。

【0037】

図５は、同じ閾値を用いてエラー検出を行った際に発生した正解アラーム、不要アラーム、すり抜けを、監視項目とコンテンツ毎にまとめた例を示す図である。図５の例から、コンテンツ毎に正解アラーム、不要アラーム、すり抜けの発生頻度が異なることがわかる。この検討結果に基づいて、本発明者は、コンテンツの内容に応じてデフォルトの閾値を決定すればよいことを見出したのである。このようなデフォルトの閾値は、シミュレーションや積み重ねられた経験から求めることができる。

【0038】

一方、コンテンツの内容に応じてデフォルトの閾値を決定すれば、ある程度不要アラームやすり抜けを減らせる可能性はあるが、常に最適とは限らない。コンテンツの内容が同じだとしても、受信状態等によっては、不要アラームやすり抜けの頻度が変化することがある。そこで、監視動作と並行して、現在入力している映像信号に関して映像監視装置１００に学習させることで、デフォルトの閾値が適切か否かを判断し、適切でなければ更に更新することが好ましいといえる。これにより、正解アラームを増大させて、不要アラームやすり抜けの頻度を低下させることができる。更新された閾値は、新たに当該コンテンツのデフォルトの閾値とすることができる。

【0039】

（学習態様）
以下、映像監視装置１００の学習機能について説明する。以下の学習例では、デフォルトの閾値に対して、変更すべき閾値候補がある場合について、いずれが優れているか判定できる。図１の映像監視装置１００において、映像及び／又は音声の監視動作を実際に行っている間に、監視者ＭＮが監視者入力部１０８から所定の学習期間を設定する。すると、映像監視装置１００は、この学習期間の間、学習を行うことができる。

【0040】

具体的には、同一種のコンテンツでＭ個の映像信号において、１つの監視項目についてデフォルトの閾値を用いて監視動作を行う。まず学習期間（時刻ｔ１～ｔ２、例えば時間、日、週間、月などの時間単位で良い）の間、映像監視装置１００が検出したエラーが、図３に示すように表示部１０７に表示される。図３のように表示されたエラーには、不適切なものも含まれている可能性があるため、学習のためにはエラーの適否のチェックを行う必要がある。

【0041】

ここで、監視者ＭＮは、図３に表示されたエラーのいずれかをワンクリックで指定することにより、映像・音声クリップ蓄積部１０４に記憶された当該エラー前後の映像信号を読み出して、対応する映像及び／又は音声を表示部１０７で視聴することができる。その結果、監視者ＭＮは、時刻ｔ１～ｔ２の間に生じた正解アラームの件数と不要アラームの件数とをカウントすることが出来る。映像・音声クリップ蓄積部１０４に記憶された各エラー前後の映像信号は、長さが３秒程度であるから視聴に時間はかからず、このチェックは短時間で終了するため、監視者ＭＮの負担が少ない。

【0042】

但し、上述のチェックでは、すり抜けの件数をカウントすることができない。そこで、予め準備しておいた、エラーの内容と発生箇所（時間）が既知である検査用の映像信号を、副入力部１０２を介して映像・音声監視部１０３に入力し、上述と同じ閾値を用いて映像・音声監視部１０３でエラーの検出を行う。これにより図３に示すものと同様なアラーム情報が得られたとき、監視者ＭＮは、既知であるエラーの内容と発生箇所を照合することで、正解アラームの件数と、すり抜けの件数とを求めることができる。ここではすり抜けの件数を抽出して用いる。検査用の映像信号は、コンテンツ毎に数十分程度の視聴時間に相当する長さであるため、検査の手間がかからない。以上のようにしてＭ個の映像信号に対してそれぞれ求めた正解アラームの件数と、不要アラームの件数と、すり抜けの件数とを、監視者ＭＮが監視者入力部１０８から、パラメータ最適化用学習部１０６に入力する。

【0043】

ここで、ｍ番目の映像信号における正解アラーム（第１事象）の数をＴ（ｍ）とし、不要アラーム（第２事象）の数をＦ（ｍ）とし、すり抜け（第３事象）の数をＨ（ｍ）とすると、パラメータ最適化用学習部１０６は、以下の評価関数に従って，評価値Ａ（ｍ）を求める。

但し、
Ｗｔ（ｍ）は正解アラームの重み付け
Ｗｆ（ｍ）は不要アラームの重み付け
Ｗｈ（ｍ）はすり抜けの重み付け

【0044】

エラー検出において、一般的に正解アラーム数は多い方が好ましく、不要アラーム数は少ない方が好ましく、更にすり抜けは極力なくすることが好ましい。よって、メモリ１０６ａに記憶された重み付けとして、Ｗｔ（ｍ）＞０＞Ｗｆ（ｍ）＞Ｗｈ（ｍ）と設定することが好ましく、例えばＷｔ（ｍ）＝＋３とし、Ｗｆ（ｍ）＝－１とし、Ｗｈ（ｍ）＝－５とする。但し、重み付けは同一種のコンテンツでは固定するとよい。この評価関数によれば、得られた評価値Ａ（ｍ）が高いほどエラー検出が正確であり、その値が低いほどエラー検出が不正確となる。

【0045】

次いで、監視者ＭＮが監視者入力部１０８を介して、デフォルトの閾値から、変更を希望する閾値へと置換を行って、同じコンテンツの映像信号を用いて、以上と同様な監視動作を実行して評価値を求める。デフォルトの閾値を用いた監視動作の評価値が、変更を希望する閾値を用いた監視動作の評価値以上であれば、パラメータ最適化用学習部１０６は、当該コンテンツにおいてはデフォルトの閾値を使い続けるものとして、記憶したデフォルトの閾値を変更しない。これに対し、デフォルトの閾値を用いた監視動作の評価値が、変更を希望する閾値を用いた監視動作の評価値より低ければ、パラメータ最適化用学習部１０６は、当該コンテンツにおいてはデフォルトの閾値の変更が必要と判断し、変更を希望する閾値と置換し、すなわち学習を行う。これにより、エラー検出の精度を一層高めることができる。

【0046】

図６は、あるコンテンツに関する検査項目：フリーズにおいて、このような更新を複数回行った際の閾値の複数群の例（（ａ）更新前、（ｂ）更新後）のリストを示す図である。図６に示す複数組の閾値群がリストアップされて、内蔵メモリ１０６ａに記憶されており、必要に応じて表示部１０７に表示され、監視者ＭＮが確認できるようになっている。

【0047】

図６（ａ）の更新前リストによれば、現在、デフォルトの閾値群が優先順位１として最上位にリストアップされているが、その評価値Ａ（ｍ）は「８５」である。一方、新たに第１候補として評価された閾値群の評価値Ａ（ｍ）は「９２」であり、新たに第２候補として評価された閾値群の評価値Ａ（ｍ）は「８１」であったとする。

【0048】

かかる場合、第１候補の閾値群の評価値Ａ（ｍ）-「９２」は、今までのデフォルトの閾値群の評価値Ａ（ｍ）「８５」よりも高いので、パラメータ最適化学習部１０６が、図６（ｂ）に示すように、更新により優先順位１とすることで新たなデフォルトの閾値群として置き換え、監視のために映像・音声監視部１０３に送信する。これにより、今までのデフォルトの閾値群は、優先順位２に繰り下がることとなる。

【0049】

これに対し、第２候補の閾値群の評価値Ａ（ｍ）「８１」は、置換されたデフォルトの閾値群の評価値Ａ（ｍ）「８５」よりも低いため、パラメータ最適化学習部１０６が、更新により優先順位３とすることで、より下位にリストアップすることとなる。かかるリストは、パラメータ最適化用学習部１０６のメモリ１０６ａに記憶されて用いられる。これにより、当該コンテンツに関して、常に高い評価値Ａ（ｍ）の閾値群をデフォルトの閾値群とできる。但し、コンテンツが異なれば同じ値を用いた閾値群であっても、優先順位が異なることはあり得る。尚、このような閾値群の更新は、パラメータ最適化学習部１０６が自動的に行っても良いし、監視者ＭＮの許可を待ってから行うこともできる。或いは、評価値Ａ（ｍ）の値にかかわらず、監視者入力部１０８を介して監視者ＭＮが指定した閾値を、デフォルトの閾値とすることもできる。

【0050】

尚、第１候補、第２候補、・・・の決め方であるが、監視者ＭＮが任意の値を監視者入力部１０８からパラメータ最適化用学習部１０６に入力することで、その都度、正解アラームの数と、不要アラームの数と、すり抜けの数を求めた上で、評価値を演算しても良い。或いは、パラメータ最適化用学習部１０６が、デフォルトの閾値群に対して、個別に閾値を＋５％又は－５％ずつ変化させて、その都度、正解アラームの数と、不要アラームの数と、すり抜けの数を求めた上で、評価値を演算するようにしても良い。その他の監視項目においても、同様に評価値を求めることができる。

【0051】

尚、検査用の映像信号の入力は、監視対象映像信号の入力の合間に行うこともできるし、監視対象映像信号の入力と並行して行って、バックグラウンドで検査を行うこともできる。それにより同じ閾値を用いてエラー検出を実行できる。更に、映像・音声蓄積クリップ部１０４は、主入力部１０１から入力された監視対象映像信号を、所定の長さに渡って所定のタイミングで切り取り、監視者ＭＮが行った監視結果に対応づけて、不図示のメモリに検査用映像信号として記憶しても良い。記憶された検査用映像信号は、必要なタイミングで副入力部１０２から入力されて、上述のように閾値更新に用いられることとなる。

【産業上の利用可能性】

【0052】

本発明により、デジタル映像信号においてコンテンツに応じて発生する映像及び／又はエラーを適切に検出する映像監視装置の調整方法を提供することができ、デジタル映像信号において学習を通じて適切に映像及び／又はエラーを検出する映像監視装置を提供することができる。

【符号の説明】

【0053】

１００ 映像監視装置
１０１ 主入力部
１０２ 副入力部
１０３ 映像・音声監視部
１０４ 映像・音声クリップ蓄積部
１０５ アラーム出力部
１０６ パラメータ最適化用学習部
１０６ａ 内蔵メモリ
１０７ 表示部
１０８ 監視者入力部
ＭＮ 監視者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】