特許 5662023 ディジタル・ビデオ・コンテンツにおけるバンディング・アーチファクトを検出する方法と、装置と、アプリケーション・プログラムを有するプログラム記憶装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5662023

(24)【登録日】2014年12月12日

(45)【発行日】2015年1月28日

(54)【発明の名称】ディジタル・ビデオ・コンテンツにおけるバンディング・アーチファクトを検出する方法と、装置と、アプリケーション・プログラムを有するプログラム記憶装置

(51)【国際特許分類】

   H04N 19/86 20140101AFI20150108BHJP

   H04N 19/154 20140101ALI20150108BHJP

【ＦＩ】

   H04N19/86

   H04N19/154

【請求項の数】12

【全頁数】17

(21)【出願番号】特願2009-544040(P2009-544040)

(86)(22)【出願日】2007年12月19日

(65)【公表番号】特表2010-515361(P2010-515361A)

(43)【公表日】2010年5月6日

(86)【国際出願番号】US2007026035

(87)【国際公開番号】WO2008085377

(87)【国際公開日】20080717

【審査請求日】2010年11月18日

(31)【優先権主張番号】60/877,561

(32)【優先日】2006年12月28日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(72)【発明者】

【氏名】クムウィレイサク，ウィッティポン

(72)【発明者】

【氏名】デーン，ゴース

(72)【発明者】

【氏名】ゴミラ，クリスティーナ

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特開平０７−０４６５９４（ＪＰ，Ａ）

【文献】 特開平０６−１６９２５９（ＪＰ，Ａ）

【文献】 特開２００６−０３９１７２（ＪＰ，Ａ）

【文献】 特開２００４−３４８１１９（ＪＰ，Ａ）

【文献】 JI WON LEE,BO RA LIM,RAE-HONG PARK，Two-Stage False Contour Detection Using Directional Contrast Features and Its Application to Adaptive False Contour Reduction，IEEE TRANSACTIONS ON CONSUMER ELECTRONICS，米国，IEEE SERVICE CENTER，２００６年 ２月 １日，Vol.52 No.1，P179-188，XP002476825 ISSN:0098-3063

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

ディジタル・ビデオ・コンテンツにおけるバンディング・アーチファクトを検出する方法であって、
前記ディジタル・ビデオ・コンテンツからのビデオ・ピクチャの少なくとも１つの領域をブロックに分割する工程と、
前記ブロックそれぞれの平均画素値を計算する工程と、
前記計算された平均画素値を備えた層を形成する工程であって、層要素は、前記計算された平均画素値それぞれに対応する工程と、
前記形成された層の層要素のグラディエントを計算する工程と、
前記層要素の前記グラディエントの平均及び分散を計算する工程と、
前記グラディエントの前記平均及び前記分散をそれぞれの閾値と比較することにより、前記少なくとも１つの領域が、テクスチャ領域、平滑な領域、及び緩徐な変化の領域のうちの１つであるか否かを判定する工程と、
前記ビデオ・ピクチャの前記少なくとも１つの領域は、前記少なくとも１つの領域が前記平滑な領域又は前記緩徐な変化の領域としてカテゴリ化されている場合にのみ、バンディング・アーチファクトを有するか否かを検出する工程と
を含む方法。

【請求項2】

請求項１記載の方法であって、前記少なくとも１つの領域が前記平滑な領域又は前記緩徐な変化の領域としてカテゴリ化されている場合にのみ、前記少なくとも１つの領域を非線形スケーリングする工程を含む方法。

【請求項3】

請求項１記載の方法であって、
前記ビデオ・ピクチャの前記少なくとも１つの領域を、前記バンディング・アーチファクトを有するものとしてカテゴリ化する工程を含む方法。

【請求項4】

請求項１記載の方法であって、
前記平均及び分散が前記それぞれの閾値よりも大きい場合に前記少なくとも１つの領域をテクスチャ領域としてマーキングする工程、及び
前記平均の値及び前記分散の値の一方が前記それぞれの閾値よりも小さい場合に、平滑な領域及び緩徐な変化の領域のうちの一方として前記少なくとも１つの領域をマーキングする工程
のうちの少なくとも一方を行う工程と
を更に含む方法。

【請求項5】

請求項１記載の方法であって、前記検出する工程は、
局所グラディエントを求めるよう、画素ベースのグラディエント計算を施す工程を更に含み、前記検出する工程は、前記局所グラディエントを使用して、前記ビデオ・ピクチャの前記少なくとも１つの領域がバンディング・アーチファクトを有するか否かを示す方法。

【請求項6】

ディジタル・ビデオ・コンテンツにおけるバンディング・アーチファクトを検出する装置であって、
前記ディジタル・ビデオ・コンテンツからのビデオ・ピクチャの少なくとも１つの領域をブロックに分割し、
前記ブロックそれぞれの平均画素値を計算し、
前記平均画素値を備えた層を形成し、層要素は前記平均画素値それぞれに対応し、
前記形成された層の層要素のグラディエントを計算し、
前記層要素の前記グラディエントの平均及び分散を計算し、
前記グラディエントの前記平均及び前記分散をそれぞれの閾値と比較することにより、前記少なくとも１つの領域が、テクスチャ領域、平滑な領域、及び緩徐な変化の領域のうちの１つであるか否かを判定し、
前記少なくとも１つの領域は、前記少なくとも１つの領域が前記平滑な領域又は前記緩徐な変化の領域としてカテゴリ化されている場合にのみ、前記バンディング・アーチファクトの存在を示す局所グラディエントを備えたバンディング・アーチファクトを有しているかを検出する
よう構成されたバンディング・アーチファクト検出器
を備える装置。

【請求項7】

ディジタル・ビデオ・コンテンツにおけるバンディング・アーチファクトを検出するためのアプリケーション・プログラムを有形に実施させたプログラム記憶装置であって、前記アプリケーション・プログラムは、ビデオ・ピクチャ系列からのビデオ・ピクチャに対して、少なくとも、
前記ディジタル・ビデオ・コンテンツからの前記ビデオ・ピクチャの画像領域をブロックに分割する機能と、
前記ブロックそれぞれの平均画素値を計算する機能と、
前記計算された平均画素値を備えた層を形成する機能であって、層要素は、前記計算された平均画素値それぞれに対応する機能と、
前記形成された層の層要素のグラディエントを計算する機能と、
前記層要素の前記グラディエントの平均及び分散を計算する機能と、
前記グラディエントの前記平均及び前記分散をそれぞれの閾値と比較することにより、前記画像領域が、テクスチャ領域、平滑な領域、及び緩徐な変化の領域のうちの１つであるか否かを判定する機能と、
前記画像領域が前記平滑な領域又は前記緩徐な変化の領域としてカテゴリ化されている場合にのみ、バンディング・アーチファクトを検出する機能と
を行うための命令を含むプログラム記憶装置。

【請求項8】

請求項７記載のプログラム記憶装置であって、前記アプリケーション・プログラムは更に、少なくとも、
前記画像領域がバンディング・アーチファクトを含んでいるか否かを判定するために前記画像領域をカテゴリ化する機能を行うための命令を含むプログラム記憶装置。

【請求項9】

請求項７記載のプログラム記憶装置であって、前記プログラム記憶装置は更に、少なくとも、
前記平均及び前記分散が前記それぞれの閾値よりも大きい場合に前記画像領域をテクスチャ領域としてマーキングする機能と、
平均値及び分散値の少なくとも一方が前記それぞれの閾値よりも小さい場合、平滑な領域、及び緩徐な変化の領域のうちの少なくとも一方であるとして前記画像領域をマーキングする機能と
を行うための命令を含む方法。

【請求項10】

請求項９記載のプログラム記憶装置であって、前記アプリケーション・プログラムは、前記ビデオ・ピクチャを表す再構成ビデオ・ピクチャ、及び処理されたビデオ情報の少なくとも一方に画素修正を施すための命令を更に含むプログラム記憶装置。

【請求項11】

請求項１０記載のプログラム記憶装置であって、前記アプリケーション・プログラムは、少なくとも、
局所グラディエントを求めるよう画素ベースのグラディエントの計算を施す機能を行うための命令を更に含み、前記検出する機能は前記局所グラディエントを使用して、前記ビデオ・ピクチャの前記画像領域がバンディング・アーチファクトを有するか否かを示すプログラム記憶装置。

【請求項12】

請求項８記載のプログラム記憶装置であって、前記アプリケーション・プログラムは、少なくとも、
前記ビデオ・ピクチャのうちのどの領域がバンディング・アーチファクトを有するかの表示をユーザに供給する機能を行うための命令を更に含むプログラム記憶装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、西暦２００６年１２月２８日付で出願され、その内容を本明細書及び特許請求の範囲に援用する米国仮特許出願第６０／８７７５６１号の優先権を米国特許法第１１９条第（ｅ）項の下で主張する。

【0002】

本発明の原理は、ディジタル・ビデオ内に存在し得るバンディング・アーチファクトに関する。

【背景技術】

【0003】

ディジタル・ビデオは通常、高ビット深度（動画コンテンツの場合、成分毎に１６ビット）で捕捉又は生成される。しかし、現在のビデオ符号化器及び表示装置は、成分毎８ビット以下で信号を圧縮するよう設計されている。より高いビット深度から、より低いビット深度へのビット深度変換は、バンディング・アーチファクトを容易にもたらし得る。すなわち、バンディング・アーチファクトは、緩やかな色遷移であるべきものにおいて、明確に区別できる色の帯として認識される。

【0004】

同様に、バンディング・アーチファクトは、圧縮の処理によっても、もたらされ得る。ビデオ圧縮手法は、ディジタル・ビデオの効率的な符号化表現を求めることを狙いとしている。これは、ビデオ・コンテンツの空間領域及び時間領域におけるインターリダンダンシ（ｉｎｔｅｒ−ｒｅｄｕｎｄａｎｃｙ）を除去することによって行うことが可能である。人間の視覚系はビデオの高周波数成分に対して感度がより低いので、高周波成分の情報は量子化処理によって削減される。冗長度（リダンダンシ）の除去により、高圧縮比がもたらされるが、視覚ビデオ品質は、伸張されたピクチャにおけるアーチファクトの挿入によって低下する。バンディング・アーチファクトはこの処理においても挿入され得る。バンディング・アーチファクトは、量子化処理が、フィルム・グレインを抑制するか、又は元のコンテンツを歪ませると生じ、その場合、輪郭に似たアーチファクトが形成される。これは多くの場合、フィルム・グレインが平滑であり、グラディエントの変化が平滑なフィルム・コンテンツ及び動画コンテンツにおいて出現する。

【0005】

ディジタル多用途ディスク（ＤＶＤ）のオーサリングなどの非リアルタイム符号化アプリケーションでは、視覚品質は最も重要な目標である。更に、高品位形式及び高分解能ディスプレイの導入により、バンディング・アーチファクトは、視聴者の目によりよく見えるようになってきている。バンディング・アーチファクトを軽減又は除去するために、バンディング・アーチファクトの場所を突き止め、評価しなければならない。人間の労力を使用して検出作業を行うことは、多くの時間及びエネルギを消費するので望ましくない。更に、バンディング・アーチファクトの人間による検出は、人間の誤りを被りやすく、その結果、既存のアーチファクトの欠落が生じる。

【0006】

その結果、再構成されたビデオ・コンテンツにおけるバンディング・アーチファクトの存在を自動的に検出し、評価することが可能な方法等に対する大きな必要性が存在している。前述の発明の概念は、アーチファクトの評価に費やされる時間を劇的に削減し、圧縮ビデオの品質を向上させることが可能である。

【0007】

ビデオ・コンテンツにおけるバンディング・アーチファクトの検出及び補正を考慮に入れたものとして存在する解決策は多くない。既知の一手法では、再量子化及び指向性コントラストの特徴を備えた２段階の輪郭検出手法が提案されている。前述の手法はまず、平滑な領域を除去し、次いで、特徴ベースのフィルタリングを施して偽輪郭を分離する。しかし、前述の手法は、バンディング・アーチファクトを求めるために、元のビデオ・コンテンツを考慮に入れるものでない。したがって、前述の手法は、ビデオ製作者によって意図されたバンディング効果をバンディング・アーチファクトとして誤って表し得る。その場合、前述の意図されたバンディングを除去するためにフィルタを施すことにより、符号化ビデオの品質は悪い影響を受ける（前述の品質が低下する）。

【発明の概要】

【発明が解決しようとする課題】

【0008】

その結果、既知の手法の欠点を解消する、バンディング・アーチファクトを検出するための効果的な、新たな方法に対する必要性が存在している。

【課題を解決するための手段】

【0009】

一実現形態によれば、ディジタル・ビデオ・コンテンツをビデオ処理する方法は、大局的なグラディエントの変化に基づいてマスク画像を生成して、バンディング・アーチファクトを含む潜在的な領域を検出する工程と、グラディエント演算子を使用して局所グラディエントに基づいてバンディング・アーチファクトを検出する工程とを含む。

【0010】

別の実現形態によれば、ビデオ処理の方法は、ビデオ・ピクチャ系列からのビデオ・ピクチャを特定の長さ及び特定の高さのブロックに分割する工程と、ブロックに関連付けられた属性を使用してグラディエント・フィールドを生成する工程と、グラディエント・フィールドからの要素から複数のブラブを生成する工程であって、ブラブの長さ及び高さがブロックの長さ及び高さよりも大きい工程と、複数のブラブからのブラブに対応するピクチャの領域が、バンディング・アーチファクトを含む領域であるか否かを確認する工程とを含む。

【0011】

本願の原理のビデオ符号化器は、参照ピクチャ・バッファの出力に入力を接続させたバンディング・アーチファクト検出器を含む。検出器は、大局的なグラディエントの変化に基づいて、ビデオ・ピクチャ系列からビデオ・ピクチャのマスク画像を生成して、バンディング・アーチファクトを含む潜在的な領域を検出し、バンディング・アーチファクトの検出を可能にするようマスク画像の値をスケーリングするよう構成される。

【図面の簡単な説明】

【0012】

【図1】本願の原理の一局面による、バンディング・アーチファクト検出器を実現する例示的なビデオ符号化器のブロック図である。

【図2】本願の原理の別の局面による、バンディング・アーチファクト検出器を実現する例示的なビデオ符号化器のブロック図である。

【図3a】本願の原理の一局面による、バンディング・アーチファクト検出器を実現する例示的なマルチパス・ビデオ符号化器の簡略ブロック図である。

【図3b】本願の原理の別の局面による、バンディング・アーチファクト検出器を実現する例示的なマルチパス・ビデオ符号化器の簡略ブロック図である。

【図4a】本願の原理の実現形態による、バンディング・アーチファクトを検出する方法のブロック図である。

【図4b】方法のブロック図である。

【図5】本願の原理の一局面によるバンディング・アーチファクト検出方法のフロー図である。

【図6】本願の原理の別の局面によるバンディング・アーチファクト検出方法のフロー図である。

【図7】本願の原理の別の局面によるバンディング・アーチファクト検出方法のフロー図である。

【図8】本願の原理の更に別の原理によるバンディング・アーチファクト検出方法のフロー図である。

【図9】本願の原理の一局面によるバンディング・アーチファクトを検出する方法のフロー図である。

【図10】本願の原理の一局面による領域カテゴリ化処理のフロー図である。

【図11】本願の原理の一局面による、平均画素値の取得の略図である。

【図12】本願の原理の一局面による、画素値の非線形スケーリングのフロー図である。

【発明を実施するための形態】

【0013】

図面では、同じ参照符号は、図を通して同じ構成部分を表す。

【実施例】

【0014】

本発明の明細書及び特許請求の範囲では、バイナリ・ラージ・オブジェクト又はブラブ（ｂｌｏｂ）の語は、画素などのビデオ・ピクチャ要素が接触しており、同じ論理状態を有する、ビデオ・ピクチャの領域を表すために使用される。ブラブ解析の同様な使用は、色、色相等などの要素に共通の特性に基づいた、連続領域を形成するビデオ・ピクチャの要素の識別を必要とする。ブラブ及びブラブ解析という語の前述の例は、本明細書及び特許請求の範囲記載の例に限定されず、本発明の原理と一貫して施すものとする。

【0015】

更に、本明細書及び特許請求の範囲記載のビデオ・ピクチャの語は、動くビデオ・ピクチャの系列からのビデオ情報を表すものとする。ビデオ・ピクチャにおけるバンディング・アーチファクトを識別するための、本明細書及び特許請求の範囲記載の種々の手法はビデオ・フレームに適用することが可能である。ビデオ・フレーム、ビデオ・ピクチャ及びビデオ画像は、別々のビデオ符号化標準に対して特有の意味を有し得るが、ビデオ・フレーム、ビデオ・ピクチャ及びビデオ画像の語は本明細書中、同義で使用されているからである。

【0016】

図１は、バンディング・アーチファクト検出器１５０を一体化した、本願の原理とともに使用することが可能な例示的なビデオ符号化器１００を示す。前述の符号化器の仕組みの説明は、当業者に知られており、ここでは反復して説明しないものとする。この例では、バンディング・アーチファクト検出器１５０は、入力ビデオ源及び参照ピクチャ・バッファ１５２からの入力を受け取る。

【0017】

図２は、バンディング・アーチファクト検出器２５０が、バンディング・アーチファクト検出処理の参照として元のビデオ源を使用しないか、又は前述の元のビデオ源へのアクセスを有せず、参照ピクチャ・バッファ１５２にのみ接続される別の例示的なビデオ符号化器２００を示す。

【0018】

マルチパス・ビデオ符号化器の場合、本願の原理のバンディング・アーチファクト検出方法を使用して、先行符号化パスによってもたらされたバンディング・アーチファクトを検出することが可能である。図３ａ及び図３ｂは、マルチパス・ビデオ符号化器３００及び３５０それぞれの例示的な実施例を開示している。ここで、バンディング・アーチファクト検出器３２０は、参照ビデオ情報として元のビデオ源のコンテンツを使用するか、又は使用しない。図３ａは、元のビデオ源が、利用可能であり、バンディング・アーチファクト検出３２０への参照として使用されるシナリオを示し、図３ｂは、元のビデオ源が、利用可能でなく、前述のビデオ情報は参照として使用することが可能でない場合を示す。

【0019】

本発明の原理の実現形態によれば、バンディング・アーチファクト検出の入力は、ビット深度の削減などの特定の処理後のビデオ・コンテンツ、圧縮後の再構成ビデオ・コンテンツ等を含む。前述の通り、元のビデオ・コンテンツが利用可能な場合、前述の情報を、ビデオ処理動作の参照として使用することが可能である。しかし、元のビデオ源コンテンツが利用可能でなくても、本発明の原理は、元のビデオ源コンテンツにおいてバンディング・アーチファクトが存在しないという前提でなお動作し得る。

【0020】

本発明の原理の一部は、バンディング・アーチファクトの場所を表す出力をもたらす。本発明の原理の各種実現形態によれば、バンディング・アーチファクトの前述の出力場所を規定するための代替案がいくつか存在する。例えば、バンディング・アーチファクトは、マクロブロック位置又は画素位置に位置し得る。あるいは、アーチファクトの空間的場所についての更なる詳細を提供することなく、どのピクチャがバンディング・アーチファクトによって影響を受けているかについての表示を提供することが可能である。

【0021】

本発明の他の局面によれば、バンディング・アーチファクトが検出された、ビデオ処理動作の結果として生じる出力ビデオの領域にマーキングすることが可能である。前述のマーキングはメタデータとして保存し、バンディング・アーチファクトを除去するために手作業の再符号化処理を行うために操作者によって使用することが可能である。前述のマーキング・データは、ビデオ・データ・ビットストリームにおいて伝えられず、復号化器によって影響を受けず、又は、復号化器によって使用されない。最終的には、前述のマーキング情報を補助拡充情報として伝えて、表示装置が、ある特定の後処理を行うことを可能にすることができる。

【0022】

本願の原理の方法及び装置をビデオ・データの輝度成分及び色成分に適用することが可能であるということを当業者は認識するであろう。しかし、以下の例示的な説明では、本願の原理の方法は、輝度成分にのみ、適用される。

【0023】

図４ａに示すバンディング・アーチファクト検出方法４００ａの一実現形態によれば、３つの主工程が存在している。

【0024】

１）マスク画像（４０２）を生成して、バンディング・アーチファクトを含む潜在的な領域を検出する。例示的な実現形態では、大局的なグラディエントの変化に基づいてマスク画像を生成することが可能である。

【0025】

２）マスク画像（４０４）のスケーリング。この工程は、スケーリング値が１に等しい場合、任意である。１と異なるスケーリング値を使用して検出を容易にすることが可能である。

【0026】

３）バンディング・アーチファクト（４０６）の検出。例示的な実現形態では、この検出工程は、局所グラディエントの計算に依拠する。

【0027】

この例示的な実施例から始めて、マスク画像が作成される（４０２）。この作成は、バンディング・アーチファクトを含む潜在的な領域を検出するために、求められた大局的なグラディエントの変化に基づく。前述の通り、平滑であるか、又は緩徐なグラディエントの変化の領域においてバンディング・アーチファクトが生じる傾向にあり、非常に目立つ。前述の領域が、本願の原理の範囲から逸脱しない限り、（正則又は非正則の多角形等などの）何れの形状を有していてもよいということを当業者は認識することになるというものであっても、本発明の本願の原理は、前述の領域が、（例えば、矩形又は方形の）画素のブロックを有しているとみなす。マスク画像が作成されると、マスク画像に関連付けられた値がスケーリングされ（４０４）、それにより、バンディング・アーチファクトが次いで検出される（４０６）。図４ａに示す一実現形態によれば、どの領域がバンディング効果を有しているかについての表示をユーザ及び／又は別のアプリケーションに提供する（４０７）。

【0028】

図４ｂに示す別の実現形態によれば、マスク画像を作成する（４０２）前に、ビデオ・ストリーム（又はビデオ・ピクチャ系列）から得られたビデオ・ピクチャをブロックに分割すること（４０１）が可能である。本願の原理の別の実現形態による方法の更に詳細なフロー図を図４ｃに示す。図４ｃは、本願の原理の方法４００ｃの修正された実現形態を示す。ここで、ブロックへのビデオ・ピクチャの分割／セグメント化（４０１）の後、グラディエント・フィールドが、ブロックに関連付けられた属性を使用して生成される（４１０）。前述のグラディエント・フィールドが生成されると、複数のブラブが、グラディエント・フィールド内の要素から生成される（４１２）。ブラブが生成されると、工程４１４は、ブラブに対応するピクチャの領域が、バンディング・アーチファクトを含む領域にあるか否かを確認する。

【0029】

図５乃至図８は、ビデオ・ピクチャ系列に対応する元のビデオ・コンテンツが参照として利用可能である場合に、ビット深度削減及びビデオ圧縮のアプリケーションにおけるバンディング・アーチファクト検出方法のブロック図を示す。例として、図５は、元のビデオ源がビット深度削減回路５０２及び仮想画素修正回路５０８に入力される方法５００を示す。ビット深度が削減されたビデオ源は、大局的なグラディエント計算５０４、テクスチャ検出５０６及び仮想画素修正５０８を経る。仮想画素修正ブロックの出力は、修正されたビット深度削減ビデオ源及び修正されたビデオ源である。前述の２つの入力は、画素ベースのグラディエント計算回路５１０によって受信され、その出力を使用してバンディング・アーチファクト５１２を求める。出力は、識別されたバンディング・アーチファクトの場所を提供する。

【0030】

図６は、図５に示す方法５００の修正された方法６００を示す。この実現形態では、元のビデオ源は仮想画素修正６０８に供給されない。そういうものとして、画素ベースのグラディエント計算６１０は、仮想画素修正回路６０８の単一の入力（すなわち、修正されたビット深度削減ビデオ源）のみを使用してグラディエントを計算する。前述の通り、バンディング・アーチファクト検出６１２は、元のビデオ源コンテンツにおいてバンディング・アーチファクトがないという前提で動作する。

【0031】

図７及び図８は更なる修正方法７００及び８００を示す。前述の方法では、ビット深度削減の代わりに、ビデオ源はまず、ビデオ圧縮回路（７０２、８０２）によって圧縮され、再構成ビデオが大局的なグラディエント計算回路（７０４、８０４）に入力される。図５及び図６に示す例と同様に、図７は、やはり、仮想画素修正回路７０８に入力されるビデオ源情報の使用を示す。図８は、元のビデオ源情報が仮想画素修正回路８０８の参照として供給されないシナリオを示す。

【0032】

マスク画像の生成
図９及び図１０を参照すれば、マスク画像（４０２）を生成するために、新たなビデオ・ピクチャ／フレーム（９０２）及びアルゴリズム設定（９０４）の開始後に、特定のピクチャの画像領域は、前述の領域がバンディング・アーチファクトを含むか否かについてカテゴリ化される。この目的で、画素値の大局的なグラディエントが計算される（９０６）。

【0033】

画像領域カテゴリ化処理の例は、図１０に示す方法１０００によって示す。画素値の大局的なグラディエントの変化を追跡するために、例として、画像全体の４×４の画素ブロック・サイドが形成される（１００２）。小さな画素ブロックの画素値の平均が計算される（１００４）。更に一般的な場合、ｋ_１×ｋ_２のブロック・サイズからの平均画素値が計算される（図１１を参照されたい）。平均値は、単に、画素を平均化するか、又は、離散コサイン変換（ＤＣＴ）などのブロック変換のＤＣ値を得ることによって取得することが可能である。ｋ_１及びｋ_２の値は、変動し得、互いに等しくなくてよい。この例では、ｋ_１＝ｋ_２＝４である。ｋ_１×ｋ_２ブロックそれぞれの平均画素値で、平均画素値の平面（層）を、図１１に示すように、形成する（１００６）ことが可能である。平均画素値の平面は「ＤＣ平面」として表される。ＤＣ平面は、そのｋ_１×ｋ_２ブロックに対して同じ位置を有する平均画素値の組として定義される。例えば、第１のｋ_１×ｋ_２ブロックの平均画素値は、ＤＣ平面の位置（１，１）になる。ビデオ・フレームが、１９２０画素及び１０８０画素それぞれに等しい、輝度（Ｙ）成分の幅及び長さを有すると仮定する。その場合、
ＤＣ平面のサイズは、１９２０／ｋ_１ × １０８０／ｋ_２に等しい。

【0034】

次に、ＤＣ平面における各要素のグラディエントが計算される（１００８）。前述の作業を行うための別々の方法が多く存在している。例として、ゼロ交差演算子や、Ｍａｒｒ−Ｈｉｌｄｒｅｔｈ演算子などの２次演算子、又は、Ｒｏｂｅｒｔｓ Ｃｒｏｓｓ、Ｐｒｅｗｉｔｔ、Ｓｏｂｅｌや、Ｃａｎｎｙなどの１次演算子を使用することが可能である。ここで、この概念はＳｏｂｅｌ演算子を使用して例証する。ここで、ｘ方向及びｙ方向における畳込みカーネルを（１）及び（２）それぞれにおいて示す。

【0035】

【数1】

【0036】

【数2】

ＤＣ平面における何れかの位置（ｉ，ｊ）におけるグラディエントのおおよその大きさは、

【数3】

として計算することが可能である。ここで、

【数4】

はＤＣ平面の位置（ｉ，ｊ）におけるグラディエント、ｘ方向のグラディエント、及びｙ方向のグラディエントのおおよその大きさである。

【0037】

次に、ＤＣ平面におけるブロックのＩ_１×Ｉ_２サンプルの平均及び分散が計算される。例示的な実施例では、この計算はブラブとして表す（１０１０）。

【0038】

この例では、Ｉ_１＝Ｉ_２＝１０である。ｋ_１×ｋ_２のブロック・サイズの画素がＤＣ平面の生成に使用される場合、ブラブ・サイズは幅がＩ_１×ｋ_１画素、及び高さがＩ_２×ｋ_２画素に対応する。すなわち、ブラブ・サイズは画素数で、この例では４０×４０に等しい。各ブラブにおけるグラディエントの平均及び分散が、算出され（１０１２）、画像領域のカテゴリ化を行うために使用される。画像のカテゴリ化における基準は、例示的な実現形態に応じて以下のように表すことが可能である。ブラブ・グラディエントの平均及び分散が、それぞれの閾値（Ｔｈ１，Ｔｈ２）よりも大きい場合、対応するブラブは、テクスチャ領域として表されるか、又はマーキングされる。

【0039】

閾値／値は、アプリケーション及び／又はコンテンツ・タイプに応じて、ユーザによって供給されるか、又はテーブルから読み出され得る。閾値の値における増加は、平滑な領域としてカテゴリ化された領域の数における増加になり、（アルゴリズムは、平滑な領域において走査するので）検出バンディング・アーチファクトの数における増加になる。さもなければ、ブラブは、（平滑な変化、又は平坦な領域などの）非テクスチャ領域として表されるか、又はマーキングされ（１０１８）、マーキングされた平滑な変化、又は平坦な領域はそれにより、バンディング・アーチファクトを含む潜在的な領域として示される。

【0040】

マスク画像の値のスケーリング
この第２の工程では、例示的な方法は、グラディエント演算子を使用してバンディング・アーチファクトの検出を可能にするようマスク画像の値をスケーリングする選択肢を導入する。この工程は、ビット深度削減又はビデオ圧縮が使用されるか否かに応じて、処理されたビデオ・ピクチャ／フレーム、又は再構成されたビデオ・ピクチャ／フレームに施される。このスケーリング工程は、元のビデオが参照として利用可能である（図５及び図７参照）場合、元のビデオ・ピクチャ／フレームに施すことも可能である。この処理は好ましいが、それは、バンディング・アーチファクト間の、画素値の差がわずかであり、さもなければ検出が難しいことがあり得るからである。本願の原理によれば、非線形スケーリング処理を使用して、平滑な領域における画素差を増加させる。前述の変換は、以下に説明するように、グラディエント演算子を使用してバンディング・アーチファクトを検出することを可能にする。

【0041】

図１２は、本発明の現在の原理の実現形態による画素値の非線形スケーリングの方法１２００の例を示す。当初、画像内部のブラブは全て、考慮に入れる（１２０２）ことが可能である。次いで、ブラブ領域がどのようにしてマーキングされるかに影響を及ぼす、テクスチャあり、又はテクスチャなしの領域をブラブが表すか否かについて判定が行われる（１２０４）。ブラブ領域がテクスチャ領域としてマーキングされている場合、領域内の画素は全て、一定の値（１２０６）に設定され、処理は終了する。ブラブ領域が非テクスチャ領域としてマーキングされている場合、画素は全て、次いで、正の値によってスケーリングされ（１２０８）、処理は終了する（１２１０）。その結果、この処理のうち、グラディエント演算子が、スケーリングされたビデオ・フレームに施された場合、テクスチャ領域におけるグラディエントはゼロに等しくなり、前述の領域は、バンディング・アーチファクトの検出の処理から自動的に排除されることになる。したがって、非テクスチャ領域における画素のスケーリングは、既存のバンディング・アーチファクトを更によく識別できるようにし、周囲画素に対して目立つ可能性が高くなるようにしている。

【0042】

局所グラディエントに基づいたバンディング・アーチファクトの検出。

【0043】

図９をもう一度参照すれば、画素レベルのグラディエント計算（９１６）は、再構成画像及び元の画像（前述の元の画像が利用可能な場合）の先行スケーリング・データに施される。前述の通り、Ｐｒｅｗｉｔｔ演算子、Ｃａｎｎｙ演算子やＳｏｂｅｌ演算子などの考えられるグラディエント検出演算子が多く存在している。本願の例では、上記（１）及び（２）に示すようなＳｏｂｅｌ演算子はグラディエント検出演算子として使用される。この時点で、元の画像データが利用可能な否かについての判定が行われる（９１８）。肯定の場合、グラディエント画像が元の画像と比較され（９２０）、結果が入力としてアーチファクト検出処理に供給される（９２２）。元のビデオ・コンテンツ・デ―タが利用可能でない場合、この工程におけるグラディエント検出演算子からの結果を閾値と比較して、画像領域がバンディング・アーチファクトを含んでいるかを判定する（９２２）。輪郭をバンディング・アーチファクトとしてマーキングすべきか否かを判定するために使用される閾値は、この工程前にユーザによって供給することが可能であるか、又はルックアップ・テーブルから読み出すことが可能である。閾値の増加は、アーチファクトの検出の減少になる。閾値の減少は、アーチファクトの検出の増加になる。特定の閾値の選択は、コンテンツ・タイプ及び／又は何れかの他の利用可能な情報に基づき得る。

【0044】

グラディエント検出演算子が所定の閾値を超える場合、対応する画素は、バンディング・アーチファクトの一部として表され、前述の領域は、そういうものとしてマーキングされる（９２４）。さもなければ、対応する領域は、バンディング・アーチファクトの一部でないとして識別され、そういうものとしてマーキングされる（９１０）。この時点で、この領域が、ビデオ・ピクチャ／フレームにおける最後の領域であるか否かについての判定が行われる（９２６）。肯定の場合、これが、ピクチャのビデオ系列の最後のピクチャ／フレームであるか否かについての別の判定が行われる（９２８）。工程９２６における結果が否定の場合、処理は、工程９０４で、始めからやり直す。工程９２８における結果が否定の場合、新たなピクチャが工程９０２で解析され、処理が繰り返される。ビデオ系列にもうピクチャが存在しない場合、処理は工程９３０で終了する。

【0045】

前述の通り、元のビデオ情報が利用可能な場合、前述の情報を参照として使用することが可能である。この処理は、元のビデオ情報の圧縮処理によってもたらされるアーチファクトを、元のビデオ・コンテンツの一部であるアーチファクトと区別することを可能にする。したがって、元々存在する輪郭を、ビデオ圧縮処理によって生じる輪郭と分離することが重要である。再構成されたもの及び元のものの画素レベルのグラディエントが比較される（工程９１８、９２０（図９））。本明細書及び特許請求の範囲では、「グラディエント歪み」は、再構成されたビデオ・データの画素のグラディエントが元のものに対して歪んでいるかを決定するための尺度として定義される。グラディエント歪み計算の例では、

【数5】

として計算することが可能である。ここで、Ｇ_{ｘ，ｐ．ｏｒｇ}（ｉ，ｊ）及びＧ_{ｙ，ｐ．ｏｒｇ}（ｉ，ｊ）は、位置（ｉ，ｊ）における元のビデオ・データのマスク画像からのｘ方向及びｙ方向それぞれの画素レベルにおけるグラディエントである。Ｇ_ｘ，ｐ（ｉ，ｊ）及びＧ_ｙ，ｐ（ｉ，ｊ）は、位置（ｉ，ｊ）における再構成ビデオ・データのマスク画像からのｘ方向及びｙ方向それぞれの画素レベルにおけるグラディエントである。Ｄ_Ｇ（ｉ，ｊ）が１に近い場合、処理されたか、又は再構成されたビデオ・フレームにおける位置（ｉ，ｊ）のグラディエントが、元のものと比較して、あまり変わらないということを前述の判定は意味する。Ｄ_Ｇ（ｉ，ｊ）は、ゼロに達すると、この値は、処理されたか、又は再構成されたビデオ・フレームと、元のビデオ・フレームとの間にかなりの差が存在していることを意味し、Ｄ_Ｇ（ｉ，ｊ）は閾値と比較される（９２２）。Ｄ_Ｇ（ｉ，ｊ）が閾値を超える場合、画素は、バンディング・アーチファクトの一部と表される。バンディング・アーチファクトの一部として表された画素を含む画像領域は、バンディング・アーチファクトを含む領域としてマーキングされる（９２４）。例として、バンディング・アーチファクトの一部として表された画素を含むマクロブロックは、検出領域としてマーキングされる。

【0046】

本明細書及び特許請求の範囲記載の実現形態は、例えば、方法若しくは処理、装置、又はソフトウェア・プログラムで実現することが可能である。単一の形式の実現形態の意味合いでしか（例えば、方法としてしか）記載されてない場合でも、記載された構成の実現形態は、他の形式（例えば、装置又はプログラム）で実現することも可能である。装置は例えば、適切なハードウェア、ソフトウェア及びファームウェアで実現することが可能である。方法は例えば、コンピュータ、マイクロプロセッサ、集積回路や、プログラマブ論理装置を含む、一般に処理装置を表す装置（例えば、プロセッサ）で実現することが可能である。処理装置は、エンドユーザ間の情報の通信を容易にする通信装置（例えば、コンピュータ、携帯電話機、ポータブル／パーソナル携帯情報端末（「ＰＤＡ」）や他の装置も含む。

【0047】

本明細書及び特許請求の範囲記載の種々の処理及び構成の実現形態は、例えば、各種機器又はアプリケーションにおいて、特に、データ送信及び受信に関連付けられた機器又はアプリケーションについて実施することが可能である。機器の例には、ビデオ符号化器、ビデオ復号化器、ビデオ・コデック、ウェブ・サーバ、セットトップ・ボックス、ラップトップ、パソコン、他の通信装置、及びモバイル装置が含まれる。

【0048】

更に、方法は、プロセッサによって行われる命令によって実現することが可能であり、前述の命令は、プロセッサ読み取り可能な媒体（例えば、集積回路、ソフトウェア担体や他の記憶装置（例えば、ハード・ディスク、コンパクト・ディスケット（登録商標）、ランダム・アクセス・メモリ（「ＲＡＭ」）やリードオンリー・メモリ「ＲＯＭ」））上に記憶することが可能である。命令は、プロセッサ読み取り可能な媒体上に有形に実施されたアプリケーション・プログラムを構成することが可能である。プロセッサは明らかに、例えば、処理を行うための命令を有するプロセッサ読み取り可能な媒体を含み得る。

【0049】

当業者に分かるように、実現形態は、例えば、記憶又は伝送することが可能な情報を搬送するようフォーマッティングされた信号を生成することも可能である。情報は例えば、前述の実現形態のうちの１つによって生成されるデータ、又は方法を行うための命令であり得る。前述の信号は例えば、電磁波（例えば、スペクトルの無線周波数部分を使用して）として、又はベースバンド信号としてフォーマッティングすることが可能である。フォーマッティングは例えば、データ・ストリームの符号化、符号化ストリームのパケット化、及びパケット化ストリームによる搬送波の変調を含み得る。信号が搬送する情報は例えば、アナログ情報又はディジタル情報であり得る。信号は、知られているように、各種有線リンク又は無線リンクを介して伝送することが可能である。

【0050】

いくつかの実現形態を説明してきた。しかし、種々の修正を行うことができることが理解されるであろう。例えば、種々の実現形態の構成要素を組合せ、補完し、修正し、又は除外して、他の実現形態をもたらすことが可能である。更に、他の構造及び処理を、開示されたものと置き換えることが可能であり、結果として生じる実現形態は少なくとも実質的に同じ機能を少なくとも実質的に同じやり方で行って、開示された実現形態と、少なくとも実質的に同じ結果を達成することを当業者は理解するであろう。よって、前述及び他の実現形態は、特許請求の範囲記載の範囲内に収まる。

【図1】

【図2】

【図3a】

【図3b】

【図4a】

【図4b】

【図4c】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】