特許 6343430 ビデオ検出装置及び欠落ビデオ・フレーム検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6343430

(24)【登録日】2018年5月25日

(45)【発行日】2018年6月13日

(54)【発明の名称】ビデオ検出装置及び欠落ビデオ・フレーム検出方法

(51)【国際特許分類】

   G06T 7/254 20170101AFI20180604BHJP

   H04N 7/01 20060101ALI20180604BHJP

【ＦＩ】

   G06T7/254 A

   H04N7/01 Z

【請求項の数】4

【全頁数】11

(21)【出願番号】特願2013-112013(P2013-112013)

(22)【出願日】2013年5月28日

(65)【公開番号】特開2013-246836(P2013-246836A)

(43)【公開日】2013年12月9日

【審査請求日】2016年5月2日

(31)【優先権主張番号】1594/MUM/2012

(32)【優先日】2012年5月28日

(33)【優先権主張国】IN

(73)【特許権者】

【識別番号】391002340

【氏名又は名称】テクトロニクス・インコーポレイテッド

【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．

(74)【代理人】

【識別番号】110001209

【氏名又は名称】特許業務法人山口国際特許事務所

(72)【発明者】

【氏名】クリシュナ・セシャドリ・ラマスワミー

(72)【発明者】

【氏名】マラテシュゴウダ・ヴィ・カレゴウダー

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特表２０１１−５１０５６２（ＪＰ，Ａ）

【文献】 特開２００７−１０４４５４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０１８８７０４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｈ０４Ｎ ７／００

Ｈ０４Ｎ １７／００

(57)【特許請求の範囲】

【請求項1】

多数の別々のブロックから夫々構成される連続する別々のフレームを多数含むビデオ中の欠落フレームを検出するビデオ検出装置であって、
上記ビデオを受ける入力部と、
現在フレームと先のフレームの間の変化の品質評価基準を生成する品質測定部と、
上記現在フレーム内の別々の上記ブロックの比較に基づいて、上記現在フレーム内の別々の上記ブロック間の類似性のレベルを示すしきい値を生成するよう構成されるダイナミックしきい値生成部と、
上記品質評価基準と上記しきい値との間の比較に基づいて、欠落フレームを有するビデオを示すよう構成される特定部と
を具えるビデオ検出装置。

【請求項2】

上記ダイナミックしきい値生成部は、上記現在フレームの別々の上記ブロックのブロック品質評価基準を、比較される上記ブロックに関する類似性評価基準又は非類似性評価基準に対して比較するよう構成されることを特徴とする請求項１記載のビデオ検出装置。

【請求項3】

複数のビデオ・フレームからなるストリーム中の欠落ビデオ・フレームを検出する方法であって、
ビデオ中の先のフレームから現在フレームへの変化の品質評価基準を求める処理と、
上記現在フレーム内の別々のブロックの比較に基づいて、上記現在フレーム内の別々の上記ブロック間の類似性のレベルを示すしきい値差分レベルを生成する処理と、
上記品質評価基準をしきい値差分レベルに対して比較する処理と、
上記品質評価基準がしきい値差分レベルと等しいか又は超える場合に、複数のビデオ・フレームからなる上記ストリーム中に欠落フレームがあることを示す処理と
を具える欠落ビデオ・フレーム検出方法。

【請求項4】

上記しきい値差分レベルを生成する処理が、上記現在フレームの別々の上記ブロックのブロック品質評価基準を、比較される上記ブロックに関する類似性評価基準又は非類似性評価基準に対して比較する処理を有する請求項３記載の欠落ビデオ・フレーム検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオの分析に関し、特に、ビデオ・ストリーム中のビデオ・フレームがいつ欠落したかを検出することに関する。

【背景技術】

【0002】

ビデオ又はビデオ・ストリームは、連続的な複数の画像フレームの集合体である。時折、複数存在する要因の内の何かが原因で、ビデオの送信中にフレームがいくつか欠落することがあり、結果として得られるビデオの品質が低下することがある。例えば、送信チャンネルの狭い帯域幅、エンコーディングの過度の複雑性、テープ・ベースの映像処理からファイル・ベースの映像処理への変換などの結果として、フレームの欠落が起こることがある。

【0003】

ビデオ品質を測定する基準の１つに、ＱｏＥ（Quality of Experience：ユーザの感じるサービス品質）と呼ばれるものがあり、これは、そのビデオ又はそのビデオの一部分に起因する数値で示される。例えば、フレームが欠落するとＱｏＥが低下するが、これは、フレームがいつくか欠落したビデオを見ることは、ユーザにとってはいらいらするものであり、不愉快な視聴体験となるからである。

【0004】

図１は、フレームが欠落する典型的な状況を示している。フレーム１、２、３がビデオ中に存在するが、フレーム４〜７は欠落してしまっている。ビデオは、フレーム８から続いている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９−８１６２２号明細書

【非特許文献】

【0006】

【非特許文献1】「Image Quality Assessment: From Error Visibility to Structural Similarity（画像品質評価：エラーの見え方から構造的な類似性まで）」IEEE Transactions on Image Processing、２００４年４月、Vol. 13、No. 4、600〜612頁

【非特許文献2】ＳＳＩＭの公式ページ（インターネット、２０１３年５月２７日検索）https://ece.uwaterloo.ca/~z70wang/research/ssim/#test

【非特許文献3】Wikipedia英語版のＳＳＩＭに関する記述（インターネット、２０１３年５月２７日検索）http://en.wikipedia.org/wiki/Structural_similarity

【発明の概要】

【発明が解決しようとする課題】

【0007】

欠落フレームの自動検出は、非常に多数の要因があるために、本質的に解決の難しい問題である。例えば、これら要因としては、ビデオ中の動きの量、ビデオ・コンテンツの性質、ビデオ中の光の点滅などが原因の輝度の大きな変動、知覚されるジャーキネス（jerkiness：映像再生時のフレームレートが、映像撮影時のシャッタースピードよりも遅いために、各フレームで再生できる情報が飛び飛びになり、動きの滑らかさが失われる現象）の主観的な特性、映像源におけるキャプチャ・フレーム・レート、欠落するフレームの個数それ自身など、がある。

【0008】

欠落フレーム自動検出の問題を解決しようとする試みが、２００９年１月の「Proceedings of the Fourth International Workshop on video Processing and Quality Metrics for Consumer Electronics」に掲載されたスティーブン・ウルフ氏による論文「A no-reference (NR) and reduced reference (RR) metric for detecting dropped video frames」に記載されている。報告された方法では、ビデオ・シーケンスのＮフレームに渡る「モーション・エネルギーの時間履歴」を利用する。そして、この方法では、この情報をビデオ・フレームが欠落したどうかを判断するしきい値を生成するのに利用する。この方法の潜在的な欠点は、これがビデオ・フレームの輝度の変動にのみ依存し、可能性のある他の歪みを無視していることである。また、この方法は、「モーション・エネルギーの時間履歴」を計算するとき、グローバル・フレーム・レベルでのみ機能する。

【0009】

本発明の実施形態は、従来技術のこうした限界を解決しようとするものである。

【課題を解決するための手段】

【0010】

本発明の実施形態は、ビデオ・ストリーム中の欠落フレームを検出する従来技術の問題を解決しようとするものである。本発明の実施形態によるビデオ検出装置は、ビデオ中の欠落フレームを検出するもので、
現在のフレームと先のフレーム間の変化（transition：遷移、場面転換）の品質評価基準を生成するよう構成された品質測定部と、
現在のフレーム内の複数ブロックの比較に基づいて、しきい値を生成するよう構成されたダイナミックしきい値生成部と、
品質評価基準（フレーム間差分値）としきい値との間の比較に基づいて、欠落フレームを有するビデオを示すよう構成される特定部とを含んでいても良い。

【0011】

更に、本発明の実施形態は、ビデオ・ストリーム中の欠落フレームを検出するのに利用される方法を含んでいても良い。例としては、この方法は、最初に、現在のフレームと先のフレーム間の変化の品質評価基準を求め、次に、この品質評価基準をしきい値差分レベルに対して比較する。そして、この方法は、品質評価基準がしきい値差分レベルと合致するか又は超えたときに、ビデオ・フレームのストリーム中に欠落フレームがあることを示す。

【0012】

より具体的には、本発明の概念１は、多数の別々のブロックから夫々構成される連続する別々のフレームを多数含むビデオ中の欠落フレームを検出するビデオ検出装置であって、
上記ビデオを受ける入力部と、
現在フレームと先のフレームの間の変化の品質評価基準を生成する品質測定部と、
上記現在フレーム内の複数ブロックの比較に基づいて、しきい値を生成するよう構成されるダイナミックしきい値生成部と、
上記品質評価基準（フレーム間差分値）と上記しきい値との間の比較に基づいて、欠落フレームを有するビデオを示すよう構成される特定部とを具えている。

【0013】

本発明の概念２は、欠陥フレームを検出する上記概念１によるビデオ検出装置であって、品質測定部は、ＳＳＩＭ（Structural Similarity Index Metric）計算装置であることを特徴としている。このとき、ＳＳＩＭは、現在フレームと先のフレームと間の類似性を評価するための評価基準（measure：評価尺度）として利用される。

【0014】

本発明の概念３は、欠陥フレームを検出する上記概念１によるビデオ検出装置であって、上記ダイナミックしきい値生成部は、上記現在フレームのサブ・フレーム・ブロックのＳＳＩＭを、比較される上記サブ・フレーム・ブロックに関する類似性評価基準に対して比較するよう構成されることを特徴としている。

【0015】

本発明の概念４は、欠陥フレームを検出する上記概念３によるビデオ検出装置であって、上記ダイナミックしきい値生成部は、更に、上記現在フレームの上記サブ・フレーム・ブロックの上記ＳＳＩＭを、比較される上記サブ・フレーム・ブロックに関する非類似性評価基準に対して比較するよう構成されることを特徴としている。

【0016】

本発明の概念５は、欠陥フレームを検出する上記概念４によるビデオ検出装置であって、このとき、上記類似性評価基準及び上記非類似性評価基準は、経験的に求められることを特徴としている。

【0017】

本発明の概念６は、欠陥フレームを検出する上記概念１によるビデオ検出装置であって、第１フレームと第２フレームの間にシーン変化があるかどうか判断するよう構成されるシーン変化検出部を更に具えている。

【0018】

本発明の概念７は、欠陥フレームを検出する上記概念６によるビデオ検出装置であって、上記シーン変化検出部が上記第１フレームと上記第２フレームの間にシーン変化があると判断した場合に、上記ビデオ検出装置は、上記品質測定部及び上記ダイナミックしきい値生成部が上記現在フレームに関する上記値（品質評価基準としきい値）を生成させないように構成されることを特徴としている。

【0019】

本発明の概念８は、複数のビデオ・フレームからなるストリーム中の欠落ビデオ・フレームを検出する方法であって、
ビデオ中の先のフレームから現在フレームへの変化の品質評価基準を求める処理と、
上記品質評価基準をしきい値差分レベルに対して比較する処理と、
上記品質評価基準がしきい値差分レベルと等しいか又は超える場合に、複数のビデオ・フレームからなる上記ストリーム中に欠落フレームがあることを示す処理と
を具えている。

【0020】

本発明の概念９は、複数のビデオ・フレームからなるストリーム中の欠落ビデオ・フレームを検出する上記概念８による方法であって、変化の品質評価基準を求める処理は、ＳＳＩＭ（Structural Similarity Index Metric：構造的類似性指数評価基準）を生成する処理を含むことを特徴としている。

【0021】

本発明の概念１０は、複数のビデオ・フレームからなるストリーム中の欠落ビデオ・フレームを検出する上記概念８による方法であって、
上記現在フレームと上記先のフレームの間にシーン変化があるかどうか判断する処理を更に具えている。

【0022】

本発明の概念１１は、複数のビデオ・フレームからなるストリーム中の欠落ビデオ・フレームを検出する上記概念８による方法であって、
上記しきい値差分レベルを生成する処理を更に具えている。

【0023】

本発明の概念１２は、複数のビデオ・フレームからなるストリーム中の欠落ビデオ・フレームを検出する上記概念１１による方法であって、
上記しきい値差分レベルを生成する処理は、ダイナミックしきい値レベルを生成する処理を含むことを特徴としている。

【0024】

本発明の概念１３は、複数のビデオ・フレームからなるストリーム中の欠落ビデオ・フレームを検出する上記概念１２による方法であって、
上記ダイナミックしきい値レベルを生成する処理は、上記現在フレームの複数のサブ・フレーム・ブロックのＳＳＩＭを、比較される上記サブ・フレーム・ブロックに関する類似性評価基準に対して比較する処理を含むことを特徴としている。

【0025】

本発明の概念１４は、複数のビデオ・フレームからなるストリーム中の欠落ビデオ・フレームを検出する上記概念１３による方法であって、
上記ダイナミックしきい値レベルを生成する処理は、上記現在フレームの複数の上記サブ・フレーム・ブロックの上記ＳＳＩＭを、比較される上記サブ・フレーム・ブロックに関する非類似性評価基準に対して比較する処理を更に含むことを特徴としている。

【0026】

欠落フレームを検出するビデオ検出装置及び方法の他の変形例については、以下で更に説明する。

【図面の簡単な説明】

【0027】

【図1】図１は、ビデオ中の単一のシーンからなるビデオ・フレームのシリーズを示しており、本発明の実施形態によって欠落フレームがあると判断可能な例である。

【図2】図２は、欠落フレームによって時間的な差分が生じている本発明の実施形態で用いる例を示している。

【図3】図３は、ビデオ中の２つのシーンからなるビデオ・フレームのシリーズを示しており、本発明の実施形態では欠落フレームがあると判断できない例である。

【図4】図４は、ビデオ中の欠落フレームを検出する方法の例を示す本発明の実施形態によるフローチャートである。

【図5】図５は、ダイナミックしきい値を求める方法の本発明の実施形態による例を示すフローチャートである。

【図6】図６は、ビデオの欠落フレームを特定するように構成されたビデオ検出装置の構成要素を示す本発明の実施形態によるブロック図である。

【発明を実施するための形態】

【0028】

ＳＳＩＭ（Structural Similarity Index Metric：構造的類似性指標基準）は、ビデオを評価するための客観的な品質測定基準であり、IEEE Transactions on Image Processing の２００４年４月、Vol. 13, No. 4に掲載されたZ. Wang等による「Image Quality Assessment: From Error Visibility to Structural Similarity（画像品質評価：エラーの見え方から構造的な類似性まで）」と題する論文に、その概要が記述されている。

【0029】

ＳＳＩＭは、劣化を伴うビデオ圧縮技術を適用した後の圧縮フレームと、その対応するオリジナル・フレームとの間の歪みを評価するための品質測定基準としてだけ利用されてきた。しかし、本発明の実施形態では、ＳＳＩＭのコンセプトをフレーム間の変化にまで拡張し、対象としているビデオ中においてフレームが欠落したかどうか判断するのを容易にするために、生成されたＳＳＩＭの品質を検査する。

【0030】

ＳＳＩＭは、人間の視覚システム（HVS：human visual system）をモデルにしたものであることが知られており、２つのビデオ・フレームを評価するにあたり、輝度（Ｌ）、コントラス（Ｃ）及び構造（Ｓ）を考慮するようになっている。Ｌ、Ｃ及びＳの各要素は、次のように定義される。

【0031】

数式１
Ｌ＝（２＊Ｕｘ＊Ｕｙ＋Ｃ１）／（（Ｕｘ）²＋（Ｕｙ）²＋Ｃ１）

【0032】

数式２
Ｃ＝（２＊σｘ＊σｙ）＋Ｃ２）／（（σｘ）²＋（σｙ）²＋Ｃ２）

【0033】

数式３
Ｓ＝（σｘｙ＋Ｃ３）／（（σｘ＊σｙ）＋Ｃ３）

【0034】

ＳＳＩＭの全体は、こうした要素の積であり、次のように定義される。

【0035】

数式４
ＳＳＩＭ（ｘ，ｙ）＝（２＊Ｕｘ＊Ｕｙ＋Ｃ１）＊（２＊σｘｙ＋Ｃ２）／（（（Ｕｘ）²＋（Ｕｙ）²＋Ｃ１）＊（（σｘ）²＋（σｙ）²＋Ｃ２））

【0036】

ここで、各要素は、次の通りである。
・ｘ、ｙは、フレーム内で移動する小さな重複ウィンドウを特定する
・Ｕｘ＝ブロックｘの平均
・Ｕｙ＝ブロックｙの平均
・（σｘ）²＝ブロックｘの分散
・（σｙ）²＝ブロックｙの分散
・（σｘ）＝ブロックｘの標準偏差
・（σｙ）＝ブロックｙの標準偏差
・σｘｙ＝ブロックｘとｙの共分散
・Ｃ１＝（ｋ１ Ｌ）²で定義される定数（ｋ１−０．０１）
・Ｃ２＝（ｋ２ Ｌ）²で定義される定数（ｋ２−０．０３）
・Ｃ３＝Ｃ２／２
・Ｌ＝画素のダイナミック・レンジ（２^{画素当たりのビット数}−１）

【0037】

本発明の実施形態は、あるビデオ・フレームが２つの連続するフレーム間で欠落したら、その２つのフレームは、それらの間の時間的な距離によって、本質的に「非類似」になる傾向があるという原理を利用している。それらの間の欠落フレームの個数が多いほど、時間的距離は大きくなる。そして、結果として、非類似性が大きくなる。これが、図２に示されている。この原理に基づいて、２つの連続するフレーム間のＳＳＩＭが計算される。また、１フレーム当たりを基準とするダイナミックしきい値が求められるが、これは、現在フレームＮ中の小ブロック全ての局所的な分散が考慮される。これについては、図５を参照して以下で説明する。最後に、しきい値とＳＳＩＭ間の最終的な比較によって、フレームＮ及びフレーム（Ｎ−１）の間でフレームの欠落があったかどうかが判断される。これについては、図４を参照して説明する。

【0038】

図３に示すように、フレームの欠落を検出する際に考慮すべき点として、ビデオ・シーケンス中の「シーン変化」がある。通常、ビデオ・シーケンスにおいては、図３に示すような、あるシーンから別のシーンへと急激に場面が変化するポイントが複数あるだろう。図３では、第１シーンはフレーム１及び２から構成され、第２シーンはフレーム３、４及び５から構成される。もちろん、これらシーンは、通常は、２又は３フレームよりも長いが、この図は、単に考えた方を示すためのものである。フレーム３は、フレーム２とは全く異なるものであるかもしれないが、こうしたシーン変化は、フレームの欠落として考えるべきでない。このため、後述する方法よりも先に、一定のフレームについて、最初にシーン変化の検出が行われる。もし新しい「シーン」の最初が確実に検出されたのなら、更なる処理は必要でなく、シーケンス中のその次のフレームは、フレームの欠落に関して評価される。

【0039】

どのようなシーン変化検出技術を用いても良いが、例えば、２００５年６月のAnnual International Symposium on Computer Architecture（コンピュータ・アキテクチャ年次国際シンポジウム）に掲載されたジャオクアン・イー（Xiaoquan Yi）及びナム・リン（Nam Ling）による論文「Fast pixel-based video scene change detection（高速画素ベースのビデオ・シーン変化検出）」に記述された技術などがある。

【0040】

図４は、複数のビデオ・フレームからなるストリーム中の欠落ビデオ・フレームを検出する方法の例を示す。図４では、例示の方法１００は、処理１１０で始まるが、これは、複数のフレームのシリーズから構成されるビデオ・ストリーム中の最初のフレーム（フレーム番号Ｎ＝１）で始まる。この例の方法は、フレーム間のＳＳＩＭを計算するので、処理１１０の後すぐに、方法１００は、処理１１５からＡの方向へと抜けて、処理１５５において単純にビデオ中の次のフレームへと進む。次に、処理１６０は、シーケンスの最後に達したかどうかを判断する。この場合、最後には達していないので、処理１６０はＢの方向へ抜けて、処理１１５に戻る。

【0041】

２回目及び後続の回では、処理１１５を通って、方法１００は、処理１２０へと抜ける。処理１２０では、現在のフレームと、その直前のフレームの間でシーン変化があったかどうかを判断する。もしシーン変化があったら、処理１２５は、フレームの欠落（Drop）はなかった（FrameDrop(N) = FALSE）と判断し、方法１００は直ぐに処理１５５へと進み、これによって方法１００は次のフレームへと進む。そうではなく、もし処理１２０において、シーン変化がなかったら、例えば、上述したような技術を用いて、処理１３０において、現在フレームと先のフレームとに基づき、現在フレームに関して平均ＳＳＩＭ（SSIM_Mean(N)）が計算される。

【0042】

次に、ダイナミック・フレーム欠落しきい値（FrameDropThreshold(N)）が、処理１３５において計算される。ダイナミック・フレーム欠落しきい値の計算の詳細については、図５を参照して説明するが、大雑把に言えば、現在フレームを構成する複数のサブ・フレーム（フレーム全体よりも小さい部分：小フレーム）が互いに似ているか、又は、互いに別個なものかどうかを判断することで計算される。

【0043】

現在フレームに関するダイナミック・フレーム欠落しきい値を計算した後、処理１３０で計算された、そのフレームに関する平均ＳＳＩＭは、処理１３５で計算されたダイナミック・フレーム欠落しきい値と比較される。もし平均ＳＳＩＭが、計算されたダイナミック・フレーム欠落しきい値以下なら、処理１５０において、そのストリームは、欠落フレームを含むとしてラベルが付される（FrameDrop(N) = TRUE）。そうではなく、もし平均ＳＳＩＭがダイナミック・フレーム欠落しきい値より上なら、処理１４５が、そのストリームは、現在フレームと先のフレーム間に欠落フレームがない（FrameDrop(N) = FALSE）と判断する。

【0044】

処理１５５ではストリーム中の次のフレームへと進み、そして、処理１１５に戻って、次のフレームを分析する。これに代えて、もし処理１６０が、シーケンスは終了したと判断すれば、方法は１００は、処理１６５において、その処理を終了する。

【0045】

このように、本発明の実施形態は、ビデオ中の先のフレームから現在フレームへの変化の品質評価基準を最初に求めることによって、複数のビデオ・フレームからなるストリーム中の欠落ビデオ・フレームを検出する。上述のように、この評価基準は、現在フレームに関してＳＳＩＭを計算することによって求めても良い。次に、この品質評価基準は、しきい値差分レベルと比較される。最後に、本発明の実施形態は、品質評価基準がしきい値差分レベル以上の場合に、欠落フレームがあることを示す。

【0046】

実施形態によっては、追加で、現在フレームと先のフレームの間にシーン変化があったかどうか判断し、もしそうなら、現在フレームに関する処理を省略する。

【0047】

実施形態によっては、ダイナミックしきい値レベルを生成することによって、しきい値差分レベルを計算する。これは、現在フレームの複数のサブ・フレーム・ブロックのＳＳＩＭを、比較されるサブ・フレーム・ブロックに関する類似性評価基準に対して比較する処理を含んでいても良い。他の実施形態では、複数のサブ・フレーム・ブロックのＳＳＩＭを、非類似性評価基準に対して比較する。

【0048】

図５は、ダイナミックしきい値レベルを計算するための例示の方法２００を示している。方法２００は、ＳＳＩＭの標準偏差のような、現在フレーム内の複数のサブ・フレーム・ブロック（フレーム全体よりも小さい部分：小フレームのブロック）に関する評価基準を計算する処理２１０で始まる。時間的なフレーム欠落しきい値の合計が、処理２２０において初期化される。

【0049】

処理２３０では、現在のサブ・フレーム・ブロックのＳＳＩＭが、類似性しきい値に対して比較される。類似性しきい値は、経験に基づいて定めても良く、また、種々の応用例に応じて調整しても良い。現在のサブ・フレーム・ブロックのＳＳＩＭが類似性しきい値以上なら、処理２３５において、その標準偏差が、現在のサブ・フレーム・ブロックのＳＳＩＭから引き算される。これは、フレーム欠落しきい値を低下させることによって、類似のブロックに効果的に「報いる（reward：報酬を与える）」ことになる。

【0050】

次に、処理２４０では、現在のサブ・フレーム・ブロックのＳＳＩＭを非類似性しきい値に対して比較する。非類似性しきい値は、同様にして、経験に基づいて定めても良い。もし現在のサブ・フレーム・ブロックのＳＳＩＭが非類似性しきい値以下のときは、処理２４５において、現在のサブ・フレーム・ブロックのＳＳＩＭに、その標準偏差が加えられる。これは、フレーム欠落しきい値を増加させることによって、非類似ブロックを効果的に「処罰する（punish）」ことになる。

【0051】

処理２５０では、現在のサブ・フレーム・ブロックに関するＳＳＩＭ（処理２３５又は２４５で調整されたものか又は非調整のもの）を、時間的なフレーム欠落の合計に加算する。もし現在のブロックが、そのフレームにおける最後のサブ・フレーム・ブロックなら、方法２００は処理２６０をＹｅｓの方向に抜けて、処理２７０において、平均フレーム欠落しきい値を生成することによって、最終的なダイナミック・フレーム欠落しきい値を決定する。そうではなくて、もし計算すべきサブ・フレーム・ブロックが更にあるなら、処理２６５において、次のブロックへと１つ上がり、方法２００は、更なる処理のために処理２３０へと戻る。

【0052】

この方法は、例えば、特定用途向けＩＣ（ＡＳＩＣ）、デジタル・シグナル・プロセッサ（ＤＳＰ）などのような専用ハードウェアで実行するようにしても良い。その他、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）などによる専用回路を用いても良い。更に、専用のコンピュータ・プロセッサや、１つ以上の専用にプログラムされた汎用プロセッサで実行しても良い。

【0053】

本発明の実施形態によるビデオ検出装置が図６に示されており、これは、ビデオ中の欠落フレームを検出するビデオ検出装置３００を示している。ビデオ検出装置３００への入力信号は、多数のフレームから構成されるビデオ信号である。これらフレームは、多数のサブ・フレーム・ブロックから構成されるとしても良い。品質測定部３１０は、ビデオ信号の現在フレームと先のフレームとの間の変化（Transition：遷移、場面転換）の品質評価基準を生成するよう構成される。ダイナミックしきい値生成部３２０は、図５を参照して説明した方法２００と同じ又は同様な技術を用いるなどして、現在フレーム内の複数のブロックの比較に基づき、しきい値を生成するように構成される。ビデオ検出装置３００には、特定部（identifier：識別部）３３０があり、これは、差分値としきい値との比較に基いて、欠落フレームを有するビデオを示す（例えば、図示しない表示画面上で欠落フレームがある旨を文字等により表示する）ように構成される。実施形態によっては、品質測定部３１０は、構造的類似性指数測定基準（ＳＳＩＭ）計算装置である。

【0054】

ダイナミックしきい値生成部３２０は、類似性しきい値３２２及び非類似性しきい値３２４を入力として受けても良く、これらは、どちらも経験に基づいて定めても良い。

【0055】

ビデオ検出装置３００は、現在フレームと先のフレームの間でシーン変化があったかどうか判断するように構成されたシーン変化検出部３４０を含んでいても良い。

【0056】

種々の実施形態において説明してきたように、本発明の種々の要素は、ハードウェア、ソフトウェア、又は、これら２つの組み合わせで実現されても良く、また、汎用マイクロプロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）などから構成されるようにしても良い。

【0057】

上述の説明から明らかなように、本発明は、ビデオ検出において、大きな進歩をもたらすものである。本発明の具体的な実施形態を図示及び説明してきたが、本発明の精神と範囲から逸脱することなく、多様な変形が可能なことは明らかであろう。

【符号の説明】

【0058】

３００ ビデオ検出部
３１０ 品質測定部
３２０ ダイナミックしきい値生成部
３２２ 類似性しきい値
３２４ 非類似性しきい値
３３０ 特定部
３４０ シーン変化検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】