特許 5751679 圧縮アーチファクトをマスクするためのフィルムグレインの利用

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5751679

(24)【登録日】2015年5月29日

(45)【発行日】2015年7月22日

(54)【発明の名称】圧縮アーチファクトをマスクするためのフィルムグレインの利用

(51)【国際特許分類】

   H04N 19/117 20140101AFI20150702BHJP

   H04N 19/167 20140101ALI20150702BHJP

   H04N 19/17 20140101ALI20150702BHJP

   H04N 19/86 20140101ALI20150702BHJP

【ＦＩ】

   H04N19/117

   H04N19/167

   H04N19/17

   H04N19/86

【請求項の数】24

【全頁数】12

(21)【出願番号】特願2012-549111(P2012-549111)

(86)(22)【出願日】2011年1月14日

(65)【公表番号】特表2013-517704(P2013-517704A)

(43)【公表日】2013年5月16日

(86)【国際出願番号】US2011021299

(87)【国際公開番号】WO2011088321

(87)【国際公開日】20110721

【審査請求日】2014年1月9日

(31)【優先権主張番号】61/295,340

(32)【優先日】2010年1月15日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】502188642

【氏名又は名称】マーベル ワールド トレード リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】ビスワズ、マイナク

(72)【発明者】

【氏名】バルラム、ニクヒル

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 特開２００７−１７４６６７（ＪＰ，Ａ）

【文献】 特開２００３−１９８８５０（ＪＰ，Ａ）

【文献】 特開２００２−２０４３５７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０１５２２９６（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００８／０２２６１６２（ＵＳ，Ａ１）

【文献】 Bernd Menser and Michael Brunig，Face detection and tracking for video coding applications，Conference Record of the Thirty-Fourth Asilomar Conference on Signals, Systems and Computers, 2000.，２０００年１０月２９日，Vol.1，pp.49-53

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

デジタルビデオストリームの画像内の顔の境界を少なくとも特定することで、前記デジタルビデオストリームを処理するビデオプロセッサと、
前記画像内の顔領域における、赤色、緑色及び青色の画素値に基づいて、デジタルフィルムグレインを動的に生成するフィルムグレイン生成器と、
前記顔の境界に基づいて前記画像内の前記顔領域に、前記生成されたデジタルフィルムグレインを選択的に適用する結合器と
を備えるデバイス。

【請求項2】

前記結合器は、前記デジタルフィルムグレインを、前記デジタルビデオストリームの赤色、緑色、および青色チャネルに適用する請求項１に記載のデバイス。

【請求項3】

前記結合器は、前記顔の境界外の領域には前記デジタルフィルムグレインを適用せずに、前記顔の境界内の画素値と前記デジタルフィルムグレインとを組み合わせることで、前記画像を修正する請求項１又は２に記載のデバイス。

【請求項4】

前記フィルムグレイン生成器は、前記デジタルフィルムグレインを、１画素幅を超えるサイズで生成する請求項１から３のいずれか一項に記載のデバイス。

【請求項5】

前記ビデオプロセッサは、
顔領域に関する顔の部分を特定するべく、前記画像内の画素から肌色値を判断する肌色検知器と、
前記顔領域の境界であり、前記肌色値に少なくとも一部基づいて調節される前記顔の境界を決定する顔検知器と
を有する請求項１から４のいずれか一項に記載のデバイス。

【請求項6】

前記顔検知器は、目、耳および口のうち少なくとも一つの顔の特徴に基づいて、前記顔の境界を確定する境界ボックスを生成し、頭のサイズから予想される顔の特徴に基づいて前記境界ボックスを拡張する請求項５に記載のデバイス。

【請求項7】

前記肌色検知器は、前記境界ボックス内の肌色に対応する画素値を特定すべく画素値の比較を行い、前記境界ボックスの端部を修正する請求項６に記載のデバイス。

【請求項8】

ビデオデータストリームの画像内の顔領域における、赤色、緑色及び青色の画素値に基づいて、デジタルフィルムグレインを動的に生成するフィルムグレイン生成器と、
前記ビデオデータストリームを受信して、前記ビデオデータストリームにおける画像から前記顔領域を判断する顔検知器と、
前記ビデオデータストリームの前記画像内の前記顔領域に前記生成されたデジタルフィルムグレインを適用する結合器と
を備える装置。

【請求項9】

前記フィルムグレインを、前記ビデオデータストリーム内の赤色、緑色、および青色チャネルに適用する請求項８に記載の装置。

【請求項10】

前記フィルムグレイン生成器は、前記ビデオデータストリームの画素値に関連性を有するノイズ値のマスクを生成し、前記マスクは、前記デジタルフィルムグレインを表す請求項８又は９に記載の装置。

【請求項11】

前記顔検知器は、画像内の前記顔領域の境界を表す境界ボックスを生成し、
前記結合器は、前記境界ボックスに基づいて前記デジタルフィルムグレインを適用する請求項８から１０のいずれか一項に記載の装置。

【請求項12】

前記顔検知器は、目、耳および口のうち少なくとも一つの顔の特徴に基づいて、前記境界ボックスを生成し、頭のサイズから予想される顔の特徴に基づいて前記境界ボックスを拡張する請求項１１に記載の装置。

【請求項13】

前記顔検知器は、
顔の複数の部分を特定するべく、前記画像内の画素から肌色値を判断する肌色検知器を有し、
前記顔検知器は、前記肌色値に少なくとも一部基づいて調節される、前記顔領域の境界を判断する請求項８から１２のいずれか一項に記載の装置。

【請求項14】

前記肌色検知器は、前記顔検知器により生成された、前記顔領域の境界を表す境界ボックス内の肌色に対応する画素値を特定すべく画素値の比較を行い、前記境界ボックスの端部を修正する請求項１３に記載の装置。

【請求項15】

前記結合器は、前記顔領域外の領域には前記デジタルフィルムグレインを適用せずに、前記顔領域内の前記画像に前記デジタルフィルムグレインを適用する請求項８から１４のいずれか一項に記載の装置。

【請求項16】

非圧縮形式の前記ビデオデータストリームを受信して、少なくとも一種類の圧縮アーチファクトを低減させるように前記ビデオデータストリームを修正する圧縮アーチファクト低減器をさらに備え、
前記装置は、前記修正されたビデオストリームを前記フィルムグレイン生成器、前記顔検知器、および前記結合器にそれぞれ出力する信号経路を含む請求項８から１５のいずれか一項に記載の装置。

【請求項17】

デジタルビデオストリームの画像内の顔領域を少なくとも画定することで、前記デジタルビデオストリームを処理する段階と、
前記画像内の顔領域における、赤色、緑色及び青色の画素値に基づいて、デジタルフィルムグレインを動的に生成する段階と、
前記顔領域に少なくとも一部基づいて、前記生成されたデジタルフィルムグレインを適用することで、前記デジタルビデオストリームを修正する段階と
を備える方法。

【請求項18】

前記デジタルビデオストリームを処理する段階は、
目、耳および口のうち少なくとも一つの顔の特徴に基づいて、前記画像内の顔の境界を確定する境界ボックスを生成する段階と、
頭のサイズから予想される顔の特徴に基づいて前記境界ボックスを拡張する段階と
を含む、請求項１７に記載の方法。

【請求項19】

前記デジタルビデオストリームを処理する段階は、
前記境界ボックス内の肌色に対応する画素値を特定すべく画素値の比較を行い、前記境界ボックスの端部を修正する段階を含む、請求項１８に記載の方法。

【請求項20】

前記デジタルフィルムグレインは、前記デジタルビデオストリームの赤色、緑色、および青色チャネルに適用される色の値を持つ請求項１７から１９のいずれか一項に記載の方法。

【請求項21】

前記顔領域内のビデオデータストリームからの画素値からの肌色値を利用して、前記デジタルフィルムグレインを生成する段階をさらに備える請求項１７から２０のいずれか一項に記載の方法。

【請求項22】

前記デジタルフィルムグレインは、前記顔領域外の領域には適用されず、前記顔領域内の画像に適用される請求項１７から２１のいずれか一項に記載の方法。

【請求項23】

肌色値から前記デジタルフィルムグレインを生成する段階をさらに備える請求項１７から２２のいずれか一項に記載の方法。

【請求項24】

前記顔領域を画定する段階は、
顔の複数の部分を特定するべく、前記画像内の画素から肌色値を判断する段階と、
前記肌色値に少なくとも一部基づいて、前記顔領域の境界を調節する段階と
を有する請求項１７から２３のいずれか一項に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

本願は、２０１０年１月１５日提出の米国仮特許出願第６１／２９５，３４０号明細書の恩恵を請求しており、この全体を参照としてここに組み込む。

【0002】

格納デバイスおよび／または通信チャネルにおける帯域幅制限によって、ビデオデータを圧縮する必要がある。ビデオデータを圧縮することで、画像の詳細およびテクスチャが失われることがある。圧縮率が高くなるにつれ、ビデオから失われる内容も多くなる。例えば、非圧縮の９０分の長さの映画の格納には９０ギガバイト程度のメモリ量が必要となる。しかし、ＤＶＤ媒体の通常の容量は４．７ギガバイトである。従って、単一のＤＶＤに映画の全体を格納するためには、２０：１のオーダの高い圧縮率が必要となる。同じ格納媒体に音声を格納するためにはさらにデータ圧縮が必要となる。例えばＭＰＥＧ２圧縮規格を利用すると、比較的高い圧縮率を達成することができる。しかし映画を復号して再生すると、ブロックノイズおよびモスキートノイズ等の圧縮アーチファクトが現れる場合がある。変換圧縮されたデジタルビデオ（ＭＰＥＧ−２、ＭＰＥＧ−４、ＶＣ−１、ＷＭ９、ＤＩＶＸ等）は、数多くの種類の空間アーチファクトおよび時間アーチファクトが顕著であるという特徴を有する。アーチファクトには、コンツアーリング（contouring）（特に輝度およびクロミナンスがスムーズな領域で顕著である）、ブロックノイズ、モスキートノイズ、動き補償および予測アーチファクト、時間的ビーティング（temporal beating）、および、リンギングアーチファクトが含まれる。

【0003】

伸長した後で、一定の復号ブロックの出力により、周囲の画素も共に平均化されて、より大きなブロックに見える。表示デバイスおよびテレビ受像機が大きくなると、ブロッキングその他のアーチファクトもまた目立ちやすくなる。

【発明の概要】

【0004】

一実施形態では、デバイスは、デジタルビデオストリームの画像内の顔の境界を少なくとも特定することで、デジタルビデオストリームを処理するビデオプロセッサを含む。デバイスはさらに、顔の境界に基づいて画像にデジタルフィルムグレインを選択的に適用する結合器を含む。

【0005】

一実施形態では、装置は、デジタルフィルムグレインを生成するフィルムグレイン生成器を含む。顔検知器は、ビデオデータストリームを受信して、ビデオデータストリームにおける画像から顔領域を判断する。結合器は、顔領域内のビデオデータストリーム内の画像にデジタルフィルムグレインを適用する。

【0006】

別の実施形態では、方法は、デジタルビデオストリームの画像内の顔領域を少なくとも画定することで、デジタルビデオストリームを処理する段階と、顔領域に少なくとも一部基づいてデジタルフィルムグレインを適用することで、デジタルビデオストリームを修正する段階を備える。

【0007】

添付図面は、明細書の一部として組み込まれ、明細書の一部を構成し、本開示の様々なシステム、方法、その他の実施形態を例示している。図示されているエレメントの境界（例えばボックス、ボックス群、またはその他の形状）は、境界の例である。一部の例では、１つのエレメントを複数のエレメントとして指定してもよく、複数のエレメントを１つのエレメントとして指定してもよい。一部の実施形態では、別のエレメントの内部にあるコンポーネントとして示されているエレメントを、外部コンポーネントとして実装することもできる。さらに、エレメントは実際の縮尺で描かれていない場合もある。

【図面の簡単な説明】

【0008】

【図1】デジタルビデオデータの処理に関する装置の一実施形態である。

【0009】

【図2】図１の装置の別の実施形態を示す。

【0010】

【図3】デジタルビデオデータの処理に関する方法の一実施形態である。

【発明を実施するための形態】

【0011】

ビデオ圧縮、伸長、および圧縮アーチファクトの除去といったプロセスの結果、ビデオストリームが、自然に見えなくなり、つぎはぎしたように見えてしまうことがある。一定量のフィルムグレイン（例えばノイズ）を追加することで、ビデオストリームは、人の目に、より自然で見やすくなる。フィルムグレインを追加することで、さらには、つぎはぎに見える領域に、テクスチャの多い外観を提供することもできる。ビデオストリームが大幅に圧縮されると、人間の顔といったテクスチャが必要となる箇所の詳細を失うことがある。通常は、圧縮プロセスにより、顔領域の画像は、平らで不自然に見える場合が多い。フィルムグレインを顔領域に適用することで、あまり不自然に見えないようにすることができる。

【0012】

図１は、ビデオ信号を処理するときのフィルムグレインの利用に関する装置１００の一実施形態を示す。大まかにいうと、装置１００は、デジタルビデオストリーム（ビデオ入力）を処理するビデオプロセッサ１０５を含む。この例では、ビデオストリームは、ビデオプロセッサに到着する前に圧縮、伸長されていることが想定されている。顔検知器１１０は、ビデオストリームを分析して、ビデオの画像内の顔領域を特定する。例えば、顔領域は、人間の顔に対応する、画像内の領域である。顔領域の周囲を画定する、顔の境界も決定されてよい。一実施形態では、周囲は、顔領域の端部に沿って位置する画素群により確定されてよい。次いで、結合器１１５が、顔領域に基づいて、ビデオストリームにフィルムグレインを選択的に適用する。言い換えると、フィルムグレインは、顔の境界内の画素に対して適用される（例えば、顔領域内の画素に適用される）。フィルムグレインを追加すると、顔領域は、圧縮アーチファクトによる不自然に平坦な外観から、より自然に見えるようになる。一実施形態では、特定された顔の境界／領域により決定される他の領域にフィルムグレインを適用しないように、顔領域のみを対象として、フィルムグレインを選択的に適用することができる。

【0013】

一部の実施形態では、装置１００は、テレビ受像機、ブルーレイプレーヤ、その他のビデオディスプレイデバイスにおいて利用することができるビデオフォーマットコンバータ内に実装することができる。装置１００はさらに、ネットワークからダウンロードされたビデオを見るために、コンピューティングデバイスにおいてビデオを再生するためのビデオデコーダの一部として実装することもできる。一部の実施形態では、装置１００は、集積回路として実装される。

【0014】

図２を参照すると、ビデオプロセッサ１０５を含む装置２００の別の実施形態が示されている。入力ビデオストリームは先ず、圧縮アーチファクト低減器２１０による処理を受けて、ビデオ画像に現れる圧縮アーチファクトを低減させる。前述したように、ビデオストリームは、予め圧縮、伸長されているものとして想定する。ビデオストリームは、信号経路２１１、２１２、および２１３を通り、ビデオプロセッサ１０５、結合器１１５、および、フィルムグレイン生成器２１５にそれぞれ出力される。上述したように、ビデオプロセッサ１０５が生成する顔の境界により、フィルムグレイン生成器２１５からのフィルムグレインを、顔の境界内のビデオストリームの領域に対して適用するよう、結合器１１５を制御することができる。もちろん、複数の顔を含む複数の画像に対しては、複数の顔の領域を特定することができる。

【0015】

一実施形態の圧縮アーチファクト低減器２１０は、非圧縮状態のビデオデータストリームを受信して、このビデオデータストリームを修正して、少なくとも一種類の圧縮アーチファクトを低減するようにする。例えば、一定のインループおよび後処理アルゴリズムを利用して、ブロックノイズ、モスキートノイズ、および／または、その他の種類の圧縮アーチファクトを低減することができる。ブロックアーチファクトは、圧縮ビデオ信号において異常に大きな画素ブロックとして見える歪みのことを指す。「マクロブロック」と称されることもあり、ビデオエンコーダが割り当てられている帯域幅についていけないときに生じうる。通常は、動きの速いシーケンスまたはシーンがすばやく変わるときに見える。ＪＰＥＧ圧縮された画像等で利用されるような、ブロックごとに量子化して符号化する場合には、複数の種類のアーチファクト（例えばリンギング、コンツアーリング、曲線端部沿いの階段状のノイズ、「ビジーな」領域におけるブロックノイズ（キルティングまたは市松模様（quilting or checkerboarding））とも称される）等が見える場合がある。従って１以上のアーチファクト低減アルゴリズムを実装することができる。圧縮アーチファクト低減器２１０とともに実装されるアーチファクト低減アルゴリズムの具体的な詳細は、本開示の範囲外なので、省略する。

【0016】

図２を引き続き参照すると、ビデオプロセッサ１０５は、顔検知器１１０とともに肌色検知器２２０を含む。一般的には、顔検知器１１０は、人間の顔に関する領域を特定するよう構成されている。例えば、可能であれば、目、耳、および／または口等の特定の顔の特徴を発見できると、顔の領域の特定に役立つ。顔があるはずの、顔の境界を画定する境界ボックスを生成する。一実施形態では、予め選択される公差を利用して、通常の人間の頭のサイズから予想される、特定された顔の特徴から、境界ボックスを一定の距離だけ拡張することができる。境界ボックスは、必ずしもボックス形状である必要はなく、多角形、円形、楕円形等であってよく、その他、端部が曲線であっても角度をもっていてもよい。

【0017】

肌色検知器２２０は、境界ボックス内の肌色に似た画素値を特定するべく画素値を比較する。例えば、既知の肌色値に関する予め選択された色度および彩度の値（hue and saturation values）を利用して、肌境界ボックスの領域内またはその周りの肌色を特定することができる。一実施形態では、境界ボックスの周辺に画素値比較を複数回繰り返すことで、より正確に顔の境界を発見するために端部を修正することができる。従って肌色検知器２２０の結果を、顔検知器１１０の結果と組み合わせて、顔の領域の境界ボックスを修正／調節することができる。組み合わせられた結果により、画像内で顔があるべき箇所のより良い分類器（classifier）を提供することができる。

【0018】

一実施形態では、結合器１１５が、顔境界ボックスが画定する領域内のビデオストリームにデジタルフィルムグレインを利用する。例えば、結合器１１５は、顔の境界ボックス内の画素値と組み合わせられたフィルムグレインを利用してマスク値を生成する。一実施形態では、結合器１１５は、ビデオデータストリームの赤色、緑色、および青色のチャネルに、デジタルフィルムグレインを適用する。顔の境界ボックス外の領域はバイパスすることができる（例えば、フィルムグレインを適用しない）。このようにして、ビデオにおける顔の見え方がより自然で、テクスチャが豊富にみえるようになる。

【0019】

図２を引き続き参照すると、フィルムグレイン生成器２１５は、ビデオストリームに適用するためのデジタルフィルムグレインを生成する。一実施形態では、顔の領域に見つかる現在の画素値に基づいて、フィルムグレインを動的に（オンザフライで）生成することもできる。フィルムグレインは、顔の領域の内容と関連性があり、カラーである（例えば肌色フィルムグレイン）。例えば、フィルムグレインは、顔の領域から赤色、緑色、および青色（ＲＧＢ）パラメータを利用して生成され、その後で、ノイズ値を生成するべく修正、調節、および／またはスケーリングが行われる。

【0020】

一実施形態では、フィルムグレイン生成器２１５は、追加する粒径とフィルムグレイン量とを制御するよう構成されている。例えば、２以上の画素幅を持ち、特定の色の値を有するデジタルフィルムグレインを生成する。色の値は正の値であっても負の値であってもよい。一般には、フィルムグレイン生成器２１５は、肌色値のノイズを表し、顔領域内のビデオデータストリームに適用するための値を生成する。

【0021】

別の実施形態では、フィルムグレインは、ビデオデータストリームからは独立して（無作為に）生成されてよい（例えば、ビデオストリームの現在の画素値に依存せずに生成されてよい）。例えば、予め生成された肌色値をノイズとして利用したりフィルムグレインに適用したりすることができる。

【0022】

一実施形態では、フィルムグレインをノイズとして生成して、ビデオアーチファクトを目に見えないようマスクする（または隠す）ことができる。この場合には、ノイズは、顔検知器１１０が決定する顔境界ボックスの制御のもとで、画像の顔領域に利用される。一定の種類のノイズを表示用ビデオに加えるのは、デジタル符号化アーチファクトをマスクすること、および／または、フィルムグレインを、芸術的効果を生じさせるために表示すること、という２つの理由が考えられる。

【0023】

フィルムグレインノイズは、デジタルビデオの特徴である構造化されたノイズに比較して、構造化の度合いが低い。一定量のフィルムグレインノイズを加えることで、デジタルビデオは、観察者にとって、より自然で見やすくなる。デジタルフィルムグレインを利用して、デジタルビデオの、不自然にスムーズなアーチファクトをマスクすることができる。

【0024】

図３を参照すると、上述したビデオデータ処理に関する方法３００の一実施形態が示されている。３０５で、方法３００はデジタルストリームを処理する。３１０で、ビデオから１以上の顔領域を判断する。一実施形態では、１または複数の画像内の各顔について顔の境界を特定して画定して、対応する顔領域を画定する。３１５では、画定された顔領域（または境界）に少なくとも一部基づいて、ビデオデータにフィルムグレインを適用することで、デジタルビデオストリームを修正する。例えば、顔領域および／または特定された顔の境界を入力として利用して、顔領域内の画素値にフィルムグレインを利用する。前述したように、フィルムグレイン、そのサイズ、および色を生成するためには様々な方法がある。別の実施形態では、これも前述したように肌色分析を行って、顔の境界を調節する。このようにすることで、顔領域を画定する領域をフィルムグレインで調節することができる。

【0025】

このようにして、ここで記載したシステムおよび方法は、フィルムグレインの視覚特性を有するノイズ値を利用して、このノイズをデジタルビデオの顔領域に適用することができる。ノイズにより、圧縮ビデオで見えてしまいかねない「ブロックノイズ」および「コンツアーリング」等の不自然にスムーズなアーチファクトがマスクされる。一般的な従来のフィルムは、非常に高い解像度のデジタルセンサーを利用した場合であっても、デジタルビデオよりも美しく見やすい外観を呈していた。この「フィルムのような外観」は、デジタルビデオの、よりきつく、平坦な見え方と比較して、「クリーミーで柔和」等の表現をされる場合がある。この、フィルムが持つ美しく見やすい外観は（少なくとも一部には）、デジタルセンサーの固定された画素格子と比較して、より無作為に生じ、継続して動く、高い周波数のフィルムグレインのおかげで生じている。

【0026】

以下に、ここで利用された用語の一部の定義を述べる。定義には、その用語の範囲内であり、実装に利用可能なコンポーネントの様々な例および／または形態が含まれている。これら例は限定を意図していない。用語の単数形および複数形が両方とも定義の範囲内である。

【0027】

「一実施形態」「１つの実施形態」「一例」「１つの例」といった言い回しは、これら実施形態または例が、特定の特徴、構造、特性、特徴、エレメント、または限定を含むことができることを示してはいるが、必ずしも全ての実施形態または例がこれらの特徴、構造、特性、特徴、エレメント、または限定を含まねばならないというわけではない。さらに、「一実施形態」等のフレーズが繰り返し利用されていても、これらが必ずしも同じ実施形態を示していないが、示している場合もある。

【0028】

ここで利用する「論理」という用語は、持続性の媒体に格納され、または、機械上で実行中であるハードウェア、ファームウェア、命令、および／またはこれらそれぞれの組み合わせを含むがこれらに限定はされず、機能または動作を実行させたり、および／または、別の論理、方法、および／または、システムから機能または動作を実行させたりする。論理は、ソフトウェア制御されたマイクロプロセッサ、離散論理（例えば、ＡＳＩＣ）、アナログ回路、デジタル回路、プログラミングされた論理デバイス、命令を含むメモリデバイス等を含んでよい。論理は、１以上のゲート、ゲートの組み合わせ、または、その他の回路コンポーネントを含んでよい。複数の論理が記述されている場合には、これら複数の論理を１つの物理論理に組み込むこともできる。同様に、１つの論理が記載されている場合であっても、この１つの論理を複数の論理間に分散させることもできる。ここで記載するコンポーネントおよび機能の１以上は、１以上の論理エレメントを用いて実装することができる。

【0029】

例示を簡潔にしようという意図から、図示された方法は、一連のブロックとして図示、例示されている。しかし方法は、ブロックの順序に限定されず、ブロックの一部が異なる順序であっても、および／または、図示、例示されているものとは異なるブロックと同時に起こってもよい。さらに、例示されているブロックが全て、方法例を実施するために利用されなくてもよい。ブロックは、複数のコンポーネントに組み合わせられたり、複数のコンポーネントに分割されたりすることができる。さらに、追加として設けられる方法および／または別の代替方法であれば、例示されていない、追加ブロックを利用することもできる。

【0030】

「含む」という用語の明細書または請求項における範囲は、請求項で従来から利用されている「備える」に関する意味と同じ、包括的な意味合いで捉えられるべきである。

【0031】

例を示してシステム、方法例を示してきた。例にはかなり詳しい詳細が述べられているが、出願人は、添付請求項の範囲をこのように限定する意図はない。ここで記載するシステム、方法を説明するために、思いつく限り全てのコンポーネントまたは方法の組み合わせを記載することは無理である点は理解されよう。従って、開示は、特定の詳細、代表的な装置、および例示および図示された例に限定はされない。このように本願は、添付請求項の範囲内の変更例、修正例、および、変形例を含むことを意図している。
［項目１］
デジタルビデオストリームの画像内の顔の境界を少なくとも特定することで、前記デジタルビデオストリームを処理するビデオプロセッサと、
前記顔の境界に基づいて前記画像にデジタルフィルムグレインを選択的に適用する結合器と、
を備えるデバイス。
［項目２］
前記結合器は、前記デジタルフィルムグレインを、前記デジタルビデオストリームの赤色、緑色、および青色チャネルに適用する項目１に記載のデバイス。
［項目３］
前記顔の境界内の画素値の色に関連性を有する前記デジタルフィルムグレインを生成するフィルムグレイン生成器をさらに備える項目１に記載のデバイス。
［項目４］
前記結合器は、前記顔の境界外の領域には前記デジタルフィルムグレインを適用せずに、前記顔の境界内の画素値と前記デジタルフィルムグレインとを組み合わせることで、前記画像を修正する項目１に記載のデバイス。
［項目５］
前記デジタルフィルムグレインを、１画素幅を超えるサイズで生成するフィルムグレイン生成器をさらに備える項目１に記載のデバイス。
［項目６］
前記ビデオプロセッサは、
顔領域に関する顔の部分を特定するべく、前記画像内の画素から肌色値を判断する肌色検知器と、
前記顔領域の境界であり、前記肌色値に少なくとも一部基づいて調節される前記顔の境界を決定する顔検知器と、
を有する項目１に記載のデバイス。
［項目７］
デジタルフィルムグレインを生成するフィルムグレイン生成器と、
ビデオデータストリームを受信して、前記ビデオデータストリームにおける画像から顔領域を判断する顔検知器と、
前記顔領域内の前記ビデオデータストリーム内の前記画像に前記デジタルフィルムグレインを適用する結合器と、
を備える装置。
［項目８］
前記フィルムグレインを、前記ビデオデータストリーム内の赤色、緑色、および青色チャネルに適用する項目７に記載の装置。
［項目９］
前記フィルムグレイン生成器は、前記ビデオデータストリームからの、赤色、緑色、および青色パラメータを利用して前記デジタルフィルムグレインを生成する項目７に記載の装置。
［項目１０］
前記フィルムグレイン生成器は、前記ビデオデータストリームの画素値に関連性を有するノイズ値のマスクを生成し、前記マスクは、前記デジタルフィルムグレインを表す項目７に記載の装置。
［項目１１］
前記顔検知器は、画像内の前記顔領域の境界を表す境界ボックスを生成し、
前記結合器は、前記境界ボックスに基づいて前記デジタルフィルムグレインを適用する項目７に記載の装置。
［項目１２］
前記顔検知器は、
顔の複数の部分を特定するべく、前記画像内の画素から肌色値を判断する肌色検知器を有し、
前記顔検知器は、前記肌色値に少なくとも一部基づいて調節される、前記顔領域の境界を判断する項目７に記載の装置。
［項目１３］
前記結合器は、前記顔領域外の領域には前記デジタルフィルムグレインを適用せずに、前記顔領域内の前記画像に前記デジタルフィルムグレインを適用する項目７に記載の装置。
［項目１４］
非圧縮形式の前記ビデオデータストリームを受信して、少なくとも一種類の圧縮アーチファクトを低減させるように前記ビデオデータストリームを修正する圧縮アーチファクト低減器をさらに備え、
前記装置は、前記修正されたビデオストリームを前記フィルムグレイン生成器、前記顔検知器、および前記結合器にそれぞれ出力する信号経路を含む項目７に記載の装置。
［項目１５］
デジタルビデオストリームの画像内の顔領域を少なくとも画定することで、前記デジタルビデオストリームを処理する段階と、
前記顔領域に少なくとも一部基づいてデジタルフィルムグレインを適用することで、前記デジタルビデオストリームを修正する段階と、
を備える方法。
［項目１６］
前記デジタルフィルムグレインは、前記デジタルビデオストリームの赤色、緑色、および青色チャネルに適用される色の値を持つ項目１５に記載の方法。
［項目１７］
前記顔領域内のビデオデータストリームからの画素値からの肌色値を利用して、前記デジタルフィルムグレインを生成する段階をさらに備える項目１５に記載の方法。
［項目１８］
前記デジタルフィルムグレインは、前記顔領域外の領域には適用されず、前記顔領域内の画像に適用される項目１５に記載の方法。
［項目１９］
肌色値から前記デジタルフィルムグレインを生成する段階をさらに備える項目１５に記載の方法。
［項目２０］
前記顔領域を画定する段階は、
顔の複数の部分を特定するべく、前記画像内の画素から肌色値を判断する段階と、
前記肌色値に少なくとも一部基づいて、前記顔領域の境界を調節する段階と、
を有する項目１５に記載の方法。

【図1】

【図2】

【図3】