特許 7646739 スクリーントーンルック生成器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-07

(45)【発行日】2025-03-17

(54)【発明の名称】スクリーントーンルック生成器

(51)【国際特許分類】

   G06T 11/80 20060101AFI20250310BHJP

   G06T 5/00 20240101ALI20250310BHJP

【ＦＩ】

G06T11/80 A

G06T5/00

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2023094640

(22)【出願日】2023-06-08

(62)【分割の表示】P 2021528379の分割

【原出願日】2019-12-05

(65)【公開番号】P2023126774

(43)【公開日】2023-09-12

【審査請求日】2023-07-10

(31)【優先権主張番号】62/775,842

(32)【優先日】2018-12-05

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/655,008

(32)【優先日】2019-10-16

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(73)【特許権者】

【識別番号】596102126

【氏名又は名称】ソニー ピクチャーズ エンターテインメント インコーポレイテッド

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【氏名又は名称】上杉 浩

(72)【発明者】

【氏名】セント クレア ブレット

(72)【発明者】

【氏名】レクアイ マルコ

【審査官】渡部 幸和

(56)【参考文献】

【文献】特開２０１７－１１１７１９（ＪＰ，Ａ）

【文献】特開２００３－２５６８６５（ＪＰ，Ａ）

【文献】特開２００４－１７８５８９（ＪＰ，Ａ）

【文献】特開２００８－２１７４９４（ＪＰ，Ａ）

【文献】特開２００７－１０８９２８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／００

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

カメラによってキャプチャされたビデオにおけるキャラクタためのスクリーントーンルック画像を生成する方法であって、
滑らかなグラデーションのレンダリング画像と、前記レンダリング画像内の画素の位置情報とをレンダラーから受け取るステップと、
前記画素の前記位置情報を使用して前記レンダリング画像内の各画素のパターンを生成するステップであって、生成されたパターンには、キャラクタがカメラに近づくとドットが大きくなり、キャラクタがカメラから離れるとドットが小さくなるように、キャラクタのエッジに沿って広がるドットが含まれるステップと、
前記レンダリング画像の各画素を輝度によって定められた固定数の区分に分割して、個別に操作できる一連の連続帯を含む輝度勾配画像を生成するステップと、
前記輝度勾配画像の各画素の前記固定数の区分のうち、相対的に明るい区分に前記生成されたパターンを適用し、相対的に暗い区分に他のパターンを適用するステップと、
を含むことを特徴とする方法。

【請求項2】

前記固定数の区分は、それぞれが個別に操作される一連の連続帯を含む、
請求項１に記載の方法。

【請求項3】

位置、幅、遷移幅、遷移パターン及び最終的色補正を相互作用的に制御するステップをさらに含む、
請求項１に記載の方法。

【請求項4】

パターンを生成するステップは、ドット、線及びグリッドパターンを含む、印刷アーティファクトをシミュレートするパターンを生成するステップを含む、
請求項１に記載の方法。

【請求項5】

パターンの位置、配向及び頻度を調整するステップをさらに含む、
請求項１に記載の方法。

【請求項6】

前記パターンを前記ビデオのシーン内のオブジェクト上に投影するステップをさらに含む、
請求項１に記載の方法。

【請求項7】

前記パターンが配置された時点で、前記パターンの各パターンの見た目を編集するステップをさらに含む、
請求項１に記載の方法。

【請求項8】

前記輝度から色を抽出するステップをさらに含む、
請求項１に記載の方法。

【請求項9】

前記抽出された色を前記輝度勾配画像に適用するステップと、
前記輝度勾配画像を新たな色として出力するステップと、
をさらに含む、請求項８に記載の方法。

【請求項10】

前記固定数の区分に前記パターンを適用するステップは、相対的に明るい区分にドットを適用し、相対的に陰の多い区分に線を適用するステップを含む、
請求項１に記載の方法。

【請求項11】

カメラによってキャプチャされたビデオにおけるキャラクタためのスクリーントーンルック画像を生成するスクリーントーンルック生成システムであって、
レンダラーから滑らかなグラデーションのレンダリング画像と画素の位置情報とを受け取り、前記画素の前記位置情報を使用して前記レンダリング画像の各画素のパターンを生成するように構成されたハッチャと、ここで、生成されたパターンには、キャラクタがカメラに近づくとドットが大きくなり、キャラクタがカメラから離れるとドットが小さくなるように、キャラクタのエッジに沿って広がるドットが含まれ、
前記レンダリング画像の各画素を輝度によって定められた固定数の区分に分割して、個別に操作できる一連の連続帯を含む輝度勾配画像を生成し、前記輝度勾配画像の前記固定数の区分のうち、相対的に明るい区分に前記生成されたパターンを適用し、相対的に暗い区分に他のパターンを適用するように構成されたスレッシャと、
を備えることを特徴とするシステム。

【請求項12】

前記パターンは、印刷アーティファクトをシミュレートする、
請求項１１に記載のシステム。

【請求項13】

前記パターンは、ドット、線及びグリッドを含む、
請求項１１に記載のシステム。

【請求項14】

前記固定数の区分は、一連の連続帯を含む、
請求項１１に記載のシステム。

【請求項15】

前記ビデオのシーン内のオブジェクト上に前記パターンを投影するように構成されたプロジェクタをさらに備える、
請求項１１に記載のシステム。

【請求項16】

前記輝度から色を抽出するように構成されたエクストラクタをさらに備える、
請求項１１に記載のシステム。

【請求項17】

前記抽出された色を前記輝度勾配画像に適用し、前記輝度勾配画像を新たな色として出力するように構成されたアプリケータをさらに備える、
請求項１６に記載のシステム。

【請求項18】

カメラによってキャプチャされたビデオにおけるキャラクタのためのスクリーントーンルック画像を生成する装置であって、
滑らかなグラデーションのレンダリング画像と、前記レンダリング画像内の画素の位置情報とをレンダラーから受け取る手段と、
前記画素の前記位置情報を使用して前記レンダリング画像内の各画素のパターンを生成する手段と、ここで、生成されたパターンには、キャラクタがカメラに近づくとドットが大きくなり、キャラクタがカメラから離れるとドットが小さくなるように、キャラクタのエッジに沿って広がるドットが含まれ、
前記レンダリング画像の各画素を輝度によって定められた固定数の区分に分割して、個別に操作できる一連の連続帯を含む輝度勾配画像を生成する手段と、
前記輝度勾配画像の各画素の前記固定数の区分のうち、相対的に明るい区分に前記生成されたパターンを適用し、相対的に暗い部分に他のパターンを適用する手段と、
を備えることを特徴とする装置。

【請求項19】

前記ビデオのシーン内のオブジェクト上に前記パターンを投影する手段をさらに備える、
請求項１８に記載の装置。

【請求項20】

前記抽出された色を前記輝度勾配画像に適用し、前記輝度勾配画像を新たな色として出力する手段をさらに備える、
請求項１８に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照〕
本出願は、２０１８年１２月５日に出願された「スレッシャ及びハッチャツール：スクリーントーンルックの生成（Ｔｈｒｅｓｈｅｒ ａｎｄ Ｈａｔｃｈｅｒ ｔｏｏｌｓ：Ｔｈｅ Ｃｒｅａｔｉｏｎ ｏｆ ａ Ｓｃｒｅｅｎｔｏｎｅ Ｌｏｏｋ）」という名称の同時係属中の米国仮特許出願第６２／７７５，８４２号の米国特許法第１１９条に基づく優先権の利益を主張するものである。上記出願の開示は、引用により本明細書に組み入れられる。

【0002】

本開示はＣＧアニメ映画に関し、具体的にはＣＧアニメ映画の「コミック本」の見た目を生成することに関する。

【背景技術】

【0003】

コンピュータグラフィックス（ＣＧ）アニメ映画の「絵の見た目」の基本原則は、一般に（１）シェーディングのための滑らかなグラデーションをレンダリングし、（２）題材の実際の表面特性を模倣し、（３）実生活で見られる模様の物理的詳細をエミュレートすることを含む。しかしながら、ＣＧアニメ映画内の生命体に「コミック本」の見た目をもたらすにはこれらの基本原則を改変する必要がある。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示は、レンダラーから受け取られたレンダーの滑らかな陰影を量子化して網点及び斜線をレンダリング画像に統合することを含む、ＣＧアニメ映画のスクリーントーンルック（ｓｃｒｅｅｎ－ｔｏｎｅ ｌｏｏｋ）の生成を可能にするものである。

【0005】

１つの実装では、ビデオのためのスクリーントーンルック画像を生成する方法を開示する。この方法は、滑らかなグラデーションのレンダリング画像と、レンダリング画像内の画素の位置情報とを受け取るステップと、位置情報を使用してレンダリング画像内の画素の各画素のパターンを生成するステップと、レンダリング画像を輝度によって定められた固定数の区分に分割して輝度勾配画像を生成するステップと、輝度勾配画像の固定数の区分にパターンを適用するステップと、を含む。

【0006】

１つの実装では、固定数の区分が、それぞれが個別に操作される一連の連続帯を含む。１つの実装では、方法が、位置、幅、遷移幅、遷移パターン及び最終的色補正を相互作用的に制御するステップをさらに含む。１つの実装では、パターンを生成するステップが、ドット、線及びグリッドパターンなどを含む、印刷アーティファクトをシミュレートするパターンを生成するステップを含む。１つの実装では、方法が、パターンの位置、配向及び頻度を調整するステップをさらに含む。１つの実装では、方法が、パターンをビデオのシーン内のオブジェクト上に投影するステップをさらに含む。１つの実装では、方法が、パターンが配置された時点で、パターンの各パターンの見た目を編集するステップをさらに含む。１つの実装では、方法が、輝度から色を抽出するステップをさらに含む。１つの実装では、方法が、抽出された色を輝度勾配画像に適用するステップと、輝度勾配画像を新たな色として出力するステップとをさらに含む。１つの実装では、固定数の区分にパターンを適用するステップが、相対的に明るい区分にドットを適用し、相対的に陰の多い区分に線を適用するステップを含む。

【0007】

別の実装では、スクリーントーンルック生成システムを開示する。このシステムは、レンダラーから滑らかなグラデーションのレンダリング画像と各画素の位置情報とを受け取り、位置情報を使用してレンダリング画像パターンを生成するように構成されたハッチャと、レンダリング画像を輝度によって定められた固定数の区分に分割して輝度勾配画像を生成し、輝度勾配画像の固定数の区分にパターンを適用するように構成されたスレッシャと、を含む。

【0008】

１つの実装では、パターンが、印刷アーティファクトをシミュレートする。１つの実装では、パターンが、ドット、線及びグリッドを含む。１つの実装では、固定数の区分が、一連の連続帯を含む。１つの実装では、システムが、ビデオのシーン内のオブジェクト上にパターンを投影するように構成されたプロジェクタをさらに含む。１つの実装では、システムが、輝度から色を抽出するように構成されたエクストラクタをさらに含む。１つの実装では、システムが、抽出された色を輝度勾配画像に適用し、輝度勾配画像を新たな色として出力するように構成されたアプリケータをさらに含む。

【0009】

別の実装では、ビデオのためのスクリーントーンルック画像を生成する装置を開示する。この装置は、滑らかなグラデーションのレンダリング画像と、レンダリング画像内の画素の位置情報とを受け取る手段と、位置情報を使用してレンダリング画像内の画素の各画素のパターンを生成する手段と、レンダリング画像を輝度によって定められた固定数の区分に分割して輝度勾配画像を生成する手段と、輝度勾配画像の固定数の区分にパターンを適用する手段と、を含む。

【0010】

１つの実装では、装置が、ビデオのシーン内のオブジェクト上にパターンを投影する手段をさらに含む。１つの実装では、装置が、抽出された色を輝度勾配画像に適用し、輝度勾配画像を新たな色として出力する手段をさらに含む。

【0011】

本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。

【0012】

同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。

【図面の簡単な説明】

【0013】

【図1】本開示の１つの実装による、スクリーントーンルック生成器のブロック図である。

【図2A】本開示の１つの実装による、スクリーントーン画像を生成する進行例である。

【図2B】本開示の１つの実装による、滑らかなグラデーションの画像にスクリーントーンルック生成器を適用した結果を示す図である。

【図2C】本開示の１つの実装による、滑らかなグラデーションの画像にスクリーントーンルック生成器を適用した結果を示す図である。

【図2D】本開示の１つの実装による、滑らかなグラデーションの画像にスクリーントーンルック生成器を適用した結果を示す図である。

【図2E】本開示の別の実装による、滑らかなグラデーションの画像にスクリーントーンルック生成器を適用した結果を示す図である。

【図2F】本開示の別の実装による、滑らかなグラデーションの画像にスクリーントーンルック生成器を適用した結果を示す図である。

【図2G】本開示の別の実装による、滑らかなグラデーションの画像にスクリーントーンルック生成器を適用した結果を示す図である。

【図2H】本開示の別の実装による、滑らかなグラデーションの画像にスクリーントーンルック生成器を適用した結果を示す図である。

【図2J】本開示の別の実装による、滑らかなグラデーションの画像にスクリーントーンルック生成器を適用した結果を示す図である。

【図3】本開示の１つの実装による、スクリーントーンルック画像を生成するプロセスのフロー図である。

【図4A】本開示の実装による、コンピュータシステム及びユーザの表現である。

【図4B】本開示の実装による、スクリーントーンルックアプリケーションをホストするコンピュータシステムを示す機能ブロック図である。

【図5】本開示の１つの実装による、ビデオのためのスクリーントーンルック画像を生成する装置のブロック図である。

【発明を実施するための形態】

【0014】

本開示のいくつかの実装は、レンダラー（例えば、レイトレーサ）から受け取られたレンダーの滑らかな陰影を量子化して網点及び斜線をレンダーに統合することを含む、ＣＧアニメ映画の「スクリーントーン」ルックの生成を可能にする。これらの説明を読んだ後には、様々な実装及び応用における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は一例として示すものにすぎず、限定ではないと理解されたい。従って、この様々な実装の詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。

【0015】

上述したように、スクリーントーンルックを生成することによって生命体に「コミック本」の見た目をもたらすには、ＣＧアニメ映画の「絵の見た目」の基本原則を改変する必要がある。これらの問題点の１つとしては、印刷された手書きの芸術作品を模倣するように照明及びレンダリングモデルを再構築することが挙げられる。ＣＧアニメ映画の絵の見た目の基本原則の他の問題点としては、パターン投影問題、パターングラデーション問題、印刷技術問題、及び量子化問題が挙げられる。

【0016】

パターン投影問題に関して言えば、時には網掛けパターンが３－Ｄ形態の判定指標となるが、通常、印刷ページ上のスクリーントーン及び網掛けパターンは画像の空間内に存在し、実際の３－Ｄ空間内に移動又は存在する必要がない。しかしながら、画像は静止していない（すなわち、物体及びカメラは動く）ので、印刷技術であれば無視できる多くの問題に対処する必要がある。例えば、対処する必要がある１つの問題として、ドットパターンがシーン内に単純に投影されてシーン内のキャラクタが向きを変えた時のドットパターンの配列が挙げられる。キャラクタがパターンをかき分けて進む場合、パターンがキャラクタに張り付いているが潜在的に伸張する場合、又はさらなるパターンが充填される場合に問題が生じる。対処する必要がある他の問題としては、極端なカメラ移動に対する応答方法、及び同じオブジェクトのわずかにオフセットしたビューを含む立体出力の取扱方法が挙げられる。

【0017】

パターングラデーション問題に関して言えば、スクリーントーンは、単純にオン又はオフのいずれかのドットではない場合もある。すなわち、印刷をシミュレートするには、各トーングラデーション（ｔｏｎａｌ ｇｒａｄｉｅｎｔ）に関する全ての画素の位置を知る必要がある。

【0018】

印刷技術問題に関して言えば、通常、印刷パターン内のあらゆるドット又は線の太さは、単一のトーン範囲に沿ったその領域の明るさを反映する。しかしながら、動きが導入されると、特にパターンが目などの重要な特徴を横切る場合に、これらのパターンが邪魔になることがある。従って、複雑な移動表面上でスクリーン印刷の感触を再現しながら、値勾配内のどこかに存在し得る特徴を明確に保護する方法が必要である。この解決策は、柔軟かつ相互作用的である必要もある。

【0019】

量子化問題に関して言えば、滑らかなグラデーションの単純化を均一な値の領域に一致させることが必要である。

【0020】

従って、上述した問題に対処するために、コミック本アート及びコンセプトペインティングの研究から導出されたルールをアプリケーションに組み込む。１つの実装では、本開示は、レイトレーサの滑らかな陰影を量子化して網点及び斜線（まとめて「スクリーントーン」と呼ぶ）をレンダリング画像に統合するハッチャ及びスレッシャアプリケーションを提供する。ハッチャ及びスレッシャアプリケーションは、ＣＧアニメ映画の全てのフレーム上で使用できるので、これらのアプリケーションは、映画全体のニーズに対処できるほど高速かつロバストである必要もある。

【0021】

図１は、本開示の１つの実装によるスクリーントーンルック生成器１００のブロック図である。図１に示す実装では、スクリーントーンルック生成器１００がハッチャ１２０及びスレッシャ１３０を含む。

【0022】

１つの実装では、レンダラー１１０（例えば、レイトレーサ）がレンダリングモデルの滑らかな陰影を生成し、レンダリング画像とレンダリング画像の各画素の位置情報とをスクリーントーンルック生成器１００に送信する。ハッチャ１２０は、レンダラー１１０からの位置情報を使用して、レンダリング画像の各画素のパターンを生成する。例えば、ハッチャ１２０は、キャラクタのエッジに沿って広がるドットを、キャラクタがカメラに近づくとドットが大きくなり、キャラクタがカメラから離れるとドットが小さくなるように生成する。

【0023】

１つの実装では、ハッチャ１２０が、印刷アーティファクト（ｐｒｉｎｔｅｄ ａｒｔｉｆａｃｔｓ）をシミュレートするパターンを生成する。例えば、ハッチャ１２０は、（２－Ｄ及び３－Ｄ実装の両方のための）レンダリングモデルからスクリーントーンドット、線及びグリッドパターンを生成する。ハッチャ１２０は、レンダリングモデルの点の位置（Ｐ）、基準位置（Ｐｒｅｆ）、その点における表面法線（Ｎ）及びＵＶグローバル変数を使用してシーン内のオブジェクト上にパターンを投影するプロジェクタ１２２を含む。

【0024】

１つの実装では、ハッチャ１２０が、オブジェクト空間及び境界ボックス中心（ｂｏｕｎｄｉｎｇ ｂｏｘ ｃｅｎｔｅｒ）も使用する。投影モードを、（１）ＵＶ空間、（２）画面空間、（３）単軸、又は（４）トライプレーナ（ｔｒｉ－ｐｌａｎａｒ）のうちの１つであるように選択する。次に、投影変換を修正して、位置、配向、及びパターンの頻度を所与のショットのニーズに合わせて調整する。トライプレーナ投影が全ての軸について有効なわけではない場合（例えば、カメラが非常に広角である場合、或いはオブジェクト形状又は短縮遠近法（ｆｏｒｅｓｈｏｒｔｅｎｉｎｇ）の結果として望ましくない圧縮又は伸張が生じる場合）には、軸毎の変換を調整するように制御を行う。オブジェクト空間又は境界ボックス中心が含まれる場合には、必要に応じて形状の位置までのパターン追跡及びパターンスケールが正規化されるように投影をロックする。

【0025】

また、別の実装では、ハッチャ１２０が、ハッチャノードの軸入力を使用して、オブジェクトの変換及び回転に合致するようにアニメ軸（ａｎｉｍａｔｅｄ ａｘｉｓ）を添付する。従って、この実装では、パターンが配置されると、アーティストは各パターンの見た目を編集することができる。すなわち、アーティストは、スケール、配向、間隔及び硬度を制御することができる。ツールの３－Ｄ実装は、導関数を使用してパターンスケールを正規化する任意の分岐モードも提供した（すなわち、パターンが大きくなりすぎた場合には、線又はドットを分割する）。

【0026】

１つの実装では、スレッシャ１３０が、レンダリング画像を輝度によって定められる固定数の区分（又は勾配）に分割する。すなわち、スレッシャ１３０は、輝度勾配を、個別に操作できる一連の連続帯に分割する。従って、スレッシャ１３０は、再分割すべき勾配の範囲及び終了条件（すなわち、範囲外の値の配列）の包括的高速制御を行う。スレッシャ１３０は、結果として得られた帯毎に、輝度帯の位置及び幅、帯間の遷移幅、各遷移にわたって適用すべきパターン、及び最終的な色補正を相互作用的に制御する。これにより、ユーザは、（関連するパターンを有する帯を配置することによって）素早くパターンを配置して、パターンが最も邪魔しない又は最も有用な値領域（ｖａｌｕｅ ｒｅｇｉｏｎｓ）にパターンを限定することができる。

【0027】

別の実装では、スレッシャ１３０が、新たに生成された勾配を第２の画像の輝度抽出色（ｌｕｍｉｎａｎｃｅ ｅｘｔｒａｃｔｅｄ ｃｏｌｏｒ）に適用し、新たなＲＧＢ色として結果を出力するアプリケータ１３４を含む。スレッシャ１３０は、輝度から色を抽出することによって機能するエクストラクタ１３２も含む。輝度は、所与の画素における入力スクリーントーン勾配チャネル（ｉｎｃｏｍｉｎｇ ｓｃｒｅｅｎ－ｔｏｎｅ ｇｒａｄｉｅｎｔ ｃｈａｎｎｅｌ）に対するその値に基づいてリマップされる。その後、これらの値は、画素を暗くする必要があるか、それとも明るくする必要があるかに応じて１を上回る又は下回る値を有する新たな勾配である「増倍（ｍｕｌｔｉｐｌｉｅｒ）」層として記憶される。輝度が変換されると、標準的乗算（ｓｔａｎｄａｒｄ ｍｕｌｔｉｐｌｙ）を使用してあらゆる画像にスクリーントーンを適用することができる。従って、別の実装では、新たに生成された勾配をグラフ内の他の場所で使用して、この新たな位置の輝度にかかわらず、上流で定められたスクリーントーン分布を適用することができる。別の実装では、アニメ的な見た目（ａｎｉｍｅ ｌｏｏｋ）を達成するためにスレッシャ１３０を使用することができるが、均一な濃淡値（ｕｎｉｆｏｒｍ ｇｒｅｙ ｖａｌｕｅ）をスクリーントーンの代用とすることができる。これによって勾配の各帯が同じ値でステップするように強制されることにより、スクリーントーン勾配を単純な輪郭に単純化することができる。

【0028】

１つの実装では、スレッシャ１３０が、ハッチャ１２０によって生成されたパターンも受け取って、このパターンを量子化区分に適用する。例えば、スレッシャ１３０は、画像を４つの輝度区分に量子化するように設定されている場合、２つの最も明るい区分にドットを適用して２つの暗い区分に斜線を適用するように設定することができる。従って、この実装では、スレッシャ１３０が、レンダリング画像を輝度によって定められた区分（又は勾配）に分割して、選択されたパターンを定められた区分のエッジ上に統合する。

【0029】

図２Ａは、本開示の１つの実装による、スクリーントーン画像を生成する進行例２００である。図２Ａに示す実装では、滑らかなグラデーションの画像２１０を量子化画像２２０に量子化し、ハッチャ１２０によって生成されたパターン２４０を勾配帯間の遷移に統合することによって、滑らかなグラデーションの画像２１０を「スクリーントーン」画像２３０に処理する。

【0030】

図２Ｂ、図２Ｃ及び図２Ｄには、本開示の１つの実装による、滑らかなグラデーションの画像にスクリーントーンルック生成器を適用した結果を示す。図２Ｂは、滑らかなグラデーションの画像の例である。図２Ｃは、パターンを有する画像の例である。図２Ｄは、スクリーントーン画像の例である。

【0031】

図２Ｅ、図２Ｆ、図２Ｇ、図２Ｈ及び図２Ｊには、本開示の別の実装による、滑らかなグラデーションの画像にスクリーントーンルック生成器を適用した結果を示す。図２Ｅは、滑らかなグラデーションの画像の例である。図２Ｆ及び図２Ｇは、図２Ｅにハッチャプロセスを適用することによって得られるパターンの例である。図２Ｈは、スレッシャプロセスを介して図２Ｅのグレースケール輝度勾配に適用されるパターンの例である。図２Ｊは、図２Ｅの入力された滑らかなグラデーションの画像に図２Ｅのスレッシャ処理した輝度を適用することによって得られる最終的なスクリーントーン画像の例である。

【0032】

図３は、本開示の１つの実装による、スクリーントーンルック画像を生成するプロセス３００のフロー図である。１つの実装では、方法３００が、ハッチャアプリケーション及びスレッシャアプリケーションに分割できるアプリケーションとして実装される。

【0033】

１つの実装では、ブロック３１０において、ハッチャアプリケーションが、レンダラーからレンダリング画像の滑らかな陰影と位置情報とを受け取る。ブロック３１２において、ハッチャアプリケーションは、位置情報を使用してレンダリング画像の各画素のパターンを生成する。例えば、ハッチャアプリケーションは、キャラクタのエッジに沿って広がるドットを、キャラクタがカメラに近づくとドットが大きくなり、キャラクタがカメラから離れるとドットが小さくなるように生成する。ハッチャアプリケーションは、スクリーントーンドット、線及びグリッドパターンなどの、印刷アーティファクトをシミュレートするパターンを生成する。ブロック３１４において、ハッチャアプリケーションは、レンダリング画像の点の位置（Ｐ）、基準位置（Ｐｒｅｆ）、その点における表面法線（Ｎ）及びＵＶグローバル変数を使用して、シーン内のオブジェクト上にパターンを投影する。

【0034】

１つの実装では、ハッチャアプリケーションが、オブジェクト空間及び境界ボックス中心も使用する。投影モードを、（１）ＵＶ空間、（２）画面空間、（３）単軸、又は（４）トライプレーナ（ｔｒｉ－ｐｌａｎａｒ）のうちの１つであるように選択する。次に、投影変換を修正して、位置、配向、及びパターンの頻度を所与のショットのニーズに合わせて調整する。トライプレーナ投影が全ての軸について有効なわけではない場合（例えば、カメラが非常に広角である場合、或いはオブジェクト形状又は短縮遠近法の結果として望ましくない圧縮又は伸張が生じる場合）には、軸毎の変換を調整するように制御を行う。オブジェクト空間又は境界ボックス中心が含まれる場合には、必要に応じて形状の位置までのパターン追跡及びパターンスケールが正規化されるように投影をロックする。

【0035】

また、別の実装では、ハッチャアプリケーションが、ハッチャノードの軸入力を使用して、オブジェクトの変換及び回転に合致するようにアニメ軸を添付する。従って、この実装では、パターンが配置されると、アーティストは各パターンの見た目を編集することができる。すなわち、アーティストは、スケール、配向、間隔及び硬度を制御することができる。ツールの３－Ｄ実装は、導関数を使用してパターンスケールを正規化する任意の分岐モードも提供した（すなわち、パターンが大きくなりすぎた場合には、線又はドットを分割する）。

【0036】

１つの実装では、ブロック３２０において、スレッシャアプリケーションが、レンダリング画像を輝度によって定められる区分（又は勾配）に分割する。すなわち、スレッシャアプリケーションは、輝度勾配を、個別に操作できる一連の連続帯に分割する。従って、スレッシャアプリケーションは、再分割すべき勾配の範囲及び終了条件（すなわち、範囲外の値の配列）の包括的高速制御を行う。スレッシャアプリケーションは、結果として得られた帯毎に、輝度帯の位置及び幅、帯間の遷移幅、各遷移にわたって適用すべきパターン、及び最終的な色補正を相互作用的に制御する。これにより、ユーザは、（関連するパターンを有する帯を配置することによって）素早くパターンを配置して、パターンが最も邪魔しない又は最も有用な値領域（ｖａｌｕｅ ｒｅｇｉｏｎｓ）にパターンを限定することができる。

【0037】

別の実装では、ブロック３３０において、スレッシャアプリケーションが、所与の画素における入力スクリーントーン勾配チャネルに対するその値に基づいてリマップされた輝度から色を抽出する。次に、ブロック３３２において、これらの値を、画素を暗くする必要があるか、それとも明るくする必要があるかに応じて１を上回る又は下回る値を有する新たな勾配である「増倍」層として記憶する。輝度が変換されると、ブロック３３４において、標準的乗算を使用してあらゆる画像にスクリーントーンを適用する。従って、別の実装では、新たに生成された勾配をグラフ内の他の場所で使用して、この新たな位置の輝度にかかわらず、上流で定められたスクリーントーン分布を適用することができる。次に、ブロック３３６において、スレッシャアプリケーションは、修正された輝度勾配に抽出された色を適用し、新たなＲＧＢ色として結果を出力する。別の実装では、アニメ的な見た目を達成するためにスレッシャアプリケーションを使用することができるが、均一な濃淡値をスクリーントーンの代用とすることができる。これによって勾配の各帯が同じ値でステップするように強制されることにより、スクリーントーン勾配を単純な輪郭に単純化することができる。

【0038】

１つの実装では、ブロック３４０において、スレッシャアプリケーションが、ハッチャアプリケーションによって生成されたパターンを受け取り、量子化又は区分化画像にこのパターンを適用する。例えば、相対的に明るい区分ではスレッシャアプリケーションがドットを適用するのに対し、相対的に暗い又は陰の多い区分ではスレッシャアプリケーションが線を適用する。従って、この実装では、スレッシャアプリケーションが、レンダリング画像を輝度によって定められた区分（又は勾配）に分割して、選択されたパターンを定められた区分のエッジ上に統合する。

【0039】

図４Ａは、本開示の実装による、コンピュータシステム４００及びユーザ４０２の表現である。ユーザ４０２は、コンピュータシステム４００を使用して、図１に示すブロック図のスクリーントーンルック生成器１００及び図３に示すプロセス３００に関して図示し説明したようにスクリーントーンルックアプリケーション４９０を実行する。

【0040】

コンピュータシステム４００は、図４Ｂのスクリーントーンルックアプリケーション４９０を記憶して実行する。また、コンピュータシステム４００は、ソフトウェアプログラム４０４と通信することもできる。ソフトウェアプログラム４０４は、スクリーントーンルックアプリケーションのためのソフトウェアコードを含むことができる。以下でさらに説明するように、ソフトウェアプログラム４０４は、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。

【0041】

さらに、コンピュータシステム４００は、ネットワーク４８０に接続することができる。ネットワーク４８０は、例えばクライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ又はその他のタイプのアーキテクチャなどの様々な異なるアーキテクチャで接続することができる。例えば、ネットワーク４８０は、スクリーントーンルックアプリケーション４９０内で使用されるエンジン及びデータを協調させるサーバ４８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることもできる。例えば、ネットワーク４８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークのいずれかの変形形態、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はイーサネット、又は無線ネットワークとすることができる。

【0042】

図４Ｂは、本開示の実装による、スクリーントーンルックアプリケーション４９０をホストするコンピュータシステム４００を示す機能ブロック図である。コントローラ４１０はプログラマブルプロセッサであり、コンピュータシステム４００及びそのコンポーネントの動作を制御する。コントローラ４１０は、メモリ４２０又は埋め込みコントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形態の）命令をロードし、これらの命令を実行してシステムを制御する。コントローラ４１０は、その実行中に、スクリーントーンルックアプリケーション４９０内のエンジン及びデータ抽出器の生成及び構成を可能にするようなソフトウェアシステムをスクリーントーンルックアプリケーション４９０に提供する。或いは、このサービスは、コントローラ４１０内又はコンピュータシステム４００内の独立ハードウェアコンポーネントとして実装することもできる。

【0043】

メモリ４２０は、コンピュータシステム４００の他のコンポーネントが使用するデータを一時的に記憶する。１つの実装では、メモリ４２０がＲＡＭとして実装される。１つの実装では、メモリ４２０が、フラッシュメモリ及び／又はＲＯＭなどの長期的又は永続的メモリも含む。

【0044】

ストレージ４３０は、コンピュータシステム４００の他のコンポーネントが使用するデータを一時的に又は長期にわたって記憶する。例えば、ストレージ４３０は、スクリーントーンルックアプリケーション４９０が使用するデータを記憶する。１つの実装では、ストレージ４３０がハードディスクドライブである。

【0045】

媒体装置４４０は、取り外し可能媒体を受け取って、挿入された媒体に対するデータの読み取り及び／又は書き込みを行う。１つの実装では、例えば媒体装置４４０が光ディスクドライブである。

【0046】

ユーザインターフェイス４５０は、コンピュータシステム４００のユーザからのユーザ入力を受け入れてユーザ４０２に情報を提示するためのコンポーネントを含む。１つの実装では、ユーザインターフェイス４５０が、キーボード、マウス、オーディオスピーカ及びディスプレイを含む。コントローラ４１０は、ユーザ４０２からの入力を使用してコンピュータシステム４００の動作を調整する。

【0047】

Ｉ／Ｏインターフェイス４６０は、外部ストレージ又は補助装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏ装置に接続するための１又は２以上のＩ／Ｏポートを含む。１つの実装では、Ｉ／Ｏインターフェイス４６０のポートが、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート及び／又はパラレルポートなどのポートを含む。別の実装では、Ｉ／Ｏインターフェイス４６０が、外部装置と無線で通信するための無線インターフェイスを含む。

【0048】

ネットワークインターフェイス４７０は、イーサネット接続をサポートするＲＪ－４５又は（限定するわけではないが８０２．１１を含む）「Ｗｉ－Ｆｉ」インターフェイスなどの有線及び／又は無線ネットワーク接続を含む。

【0049】

コンピュータシステム４００は、コンピュータシステムに典型的なさらなるハードウェア及びソフトウェア（例えば、電力システム、冷却システム、オペレーティングシステム）も含むが、これらのコンポーネントは、単純化のために図４Ｂには具体的に示していない。他の実装では、コンピュータシステムの異なる構成（例えば、異なるバス又はストレージ構成、又はマルチプロセッサ構成）を使用することもできる。

【0050】

図５は、本開示の１つの実装による、ビデオのためのスクリーントーンルック画像を生成する装置５００のブロック図である。図５に示す実装では、装置５００が、受信手段５１０と、生成手段５２０と、分割手段５３０と、適用手段５４０とを含む。

【0051】

受信手段５１０は、滑らかなグラデーションのレンダリング画像と、レンダリング画像内の画素の位置情報とを（例えば、レンダラーから）受け取るように構成される。生成手段５２０は、位置情報を使用してレンダリング画像内の画素の各画素のパターンを生成するように構成される。分割手段５３０は、レンダリング画像を輝度によって定められた固定数の区分に分割して輝度勾配画像を生成するように構成される。適用手段５４０は、輝度勾配画像の固定数の区分にパターンを適用するように構成される。

【0052】

１つの実装では、スクリーントーンルック生成システム１００が、１又は２以上のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート／ロジックアレイ（ＦＰＧＡ）、又はその他の同等の統合又は個別論理回路を含むハードウェアで完全に構成されたシステムである。別の実装では、スクリーントーンルック生成システム１００が、ハードウェアとソフトウェアとの組み合わせで構成される。例えば、ハッチャ１２０及びスレッシャ１３０はハードウェアで構成され、レンダラーの機能は、独立プロセッサ内に常駐するソフトウェアとして構成される。

【0053】

本明細書に開示した実装の説明は、本発明をあらゆる当業者が実施又は利用できるように行ったものである。当業者には、これらの実装の数多くの修正が容易に明らかになると思われ、また本明細書で定める原理は、本発明の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。従って、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書に開示する原理及び新規の特徴と一致する最も広い範囲を許容すべきものである。

【0054】

本開示の様々な実装は、電子ハードウェア、コンピュータソフトウェア、又はこれらの技術の組み合わせで実現される。いくつかの実装は、１又は２以上のコンピュータ装置によって実行される１又は２以上のコンピュータプログラムを含む。一般に、コンピュータ装置は、１又は２以上のプロセッサ、１又は２以上のデータストレージコンポーネント（例えば、揮発性又は不揮発性メモリモジュール、並びにハードディスクドライブ及びフロッピーディスクドライブ、ＣＤ－ＲＯＭドライブ及び磁気テープドライブなどの永続的光学及び磁気記憶装置）、１又は２以上の入力装置（例えば、ゲームコントローラ、マウス及びキーボード）、並びに１又は２以上の出力装置（例えば、ディスプレイ装置）を含む。

【0055】

コンピュータプログラムは、通常はコンピュータ可読記憶媒体に記憶されて実行時にメモリにコピーされる実行可能コードを含む。このコードは、少なくとも１つのプロセッサがメモリから所定の順序でプログラム命令を読み出すことによって実行される。プログラムコードを実行する場合、コンピュータは、入力装置及び／又は記憶装置からデータを受け取り、データに対して処理を実行し、結果として得られたデータを出力装置及び／又は記憶装置に提供する。

【0056】

当業者であれば、本明細書で説明した様々な例示的なモジュール及び方法ステップは、電子ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせとして実装することができると理解するであろう。このハードウェアとソフトウェアとの互換性を明確に説明するために、本明細書では様々な例示的なモジュール及び方法ステップを一般にこれらの機能の面で説明した。このような機能がハードウェアとして実装されるか、それともソフトウェアとして実装されるかは、システム全体に課せられる特定の用途及び設計制約に依存する。当業者であれば、説明した機能を特定の用途毎に様々な方法で実装することができるが、このような実装決定は、本発明の範囲からの逸脱を引き起こすものとして解釈すべきではない。また、モジュール又はステップ内の機能をグループ化しているのは、説明を容易にするためである。本開示から逸脱することなく、特定の機能を１つのモジュール又はステップから別のモジュール又はステップに移行させることもできる。

【0057】

本開示の特定の実装では、必ずしも上述した各実施例の全ての特徴が必要なわけではない。さらに、本明細書に示す説明及び図面は、本発明によって幅広く検討される主題を表すものであると理解されたい。さらに、本開示の範囲は、当業者に明らかになると考えられる他の実装を完全に含み、従って添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。

【符号の説明】

【0058】

３００ プロセス
３１０ レンダリング画像の滑らかな陰影と位置情報とを受信
３１２ 位置情報を使用してレンダリング画像の各画素のパターンを生成
３１４ シーン内のオブジェクト上にパターンを投影
３２０ レンダリング画像を輝度によって定められる区分又は勾配に分割
３３０ 輝度から色値を抽出
３３２ 色値を増倍層として記憶
３３４ 標準的乗算を使用してあらゆる画像にスクリーントーンを適用
３３６ 修正された輝度勾配に抽出された色を適用し、新たなＲＧＢ色として結果を出力
３４０ 量子化画像にパターンを適用

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図2G】

【図2H】

【図2J】

【図3】

【図4A】

【図4B】

【図5】