特表 2022-508159 ＣＧアニメーションにおける手描き線のエミュレート

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-19

(54)【発明の名称】ＣＧアニメーションにおける手描き線のエミュレート

(51)【国際特許分類】

   G06T 13/40 20110101AFI20220112BHJP

   G06N 20/00 20190101ALI20220112BHJP

【ＦＩ】

G06T13/40

G06N20/00

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021528382

(86)(22)【出願日】2019-12-05

(85)【翻訳文提出日】2021-05-20

(86)【国際出願番号】 US2019064696

(87)【国際公開番号】W WO2020118062

(87)【国際公開日】2020-06-11

(31)【優先権主張番号】62/775,843

(32)【優先日】2018-12-05

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/655,023

(32)【優先日】2019-10-16

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】596102126

【氏名又は名称】ソニー ピクチャーズ エンターテインメント インコーポレイテッド

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】グロコーラ パーヴェル

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA08

5B050BA09

5B050BA12

5B050CA07

5B050DA09

5B050EA07

5B050EA13

5B050EA18

5B050EA19

5B050EA24

5B050EA27

5B050EA28

5B050FA02

5B050FA09

5B050GA08

(57)【要約】

ＣＧアニメーションにおいて芸術的な手描き線をエミュレートすることは、前記ＣＧアニメーションのキャラクタ上に直接描かれるインク線を貼り付ける第１の貼り付けステップ；アーティストがナッジを使用して前記インク線を修正して描画を生成できるようにする第１の実現ステップ；前記描画をＵＶ空間内に移動させて、第１のパストレーニングデータを生成する第１の移動ステップ；前記ＣＧアニメーションの前記キャラクタ上に前記インク線を貼り付ける第２の貼り付けステップ；前記アーティストが前記インク線を修正できるようにする第２の実現ステップ；前記描画を前記ＵＶ空間内に移動させて、第２のパストレーニングデータを生成する第２の移動ステップ；前記第１のパストレーニングデータと前記第２のパストレーニングデータとを結合して、結合データを生成するステップ；及び前記結合データを使用して第２の生成機械学習を作成して出力するステップを含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

ＣＧアニメーションにおいて芸術的な手描き線をエミュレートするための方法であって、前記方法は、
前記ＣＧアニメーションのキャラクタ上に直接描かれるインク線を貼り付ける第１の貼り付けステップと、
アーティストがナッジを使用して前記インク線を修正して描画を生成できるようにする第１の実現ステップと、
前記描画をＵＶ空間内に移動させて、第１のパストレーニングデータを生成する第１の移動ステップと、
前記ＣＧアニメーションの前記キャラクタ上に前記インク線を貼り付ける第２の貼り付けステップと、
前記アーティストが前記インク線を修正できるようにする第２の実現ステップと、
前記描画を前記ＵＶ空間内に移動させて、第２のパストレーニングデータを生成する第２の移動ステップと、
前記第１のパストレーニングデータと前記第２のパストレーニングデータとを結合して、結合データを生成するステップと、
前記結合データを使用して第２の生成機械学習を作成して出力するステップと、
を含むことを特徴とする方法。

【請求項2】

前記キャラクタは、前記ＣＧアニメーションのフレーム内に存在することを特徴とする、請求項１に記載の方法。

【請求項3】

前記キャラクタ上に直接描かれる前記インク線は、前記キャラクタの特定のポーズに適正なインク線を提供することを特徴とする、請求項１に記載の方法。

【請求項4】

前記ナッジは、ナッジングブラシを使用して作成されることを特徴とする、請求項１に記載の方法。

【請求項5】

更に、
前記インク線を前記キャラクタ上に直接投影することによって、前記ナッジをキー操作して補間するステップ、
を含むことを特徴とする、請求項１に記載の方法。

【請求項6】

更に、キーフレームを生成して、前記キーフレーム間を補間するステップを含むことを特徴とする、請求項１に記載の方法。

【請求項7】

前記キャラクタは、３－Ｄジオメトリにおいて形成されることを特徴とする、請求項１に記載の方法。

【請求項8】

前記描画を前記ＵＶ空間内に移動させる第１の移動ステップは、前記アーティストが２－Ｄ画面空間内で前記キャラクタの前記３－Ｄジオメトリに対して作業できるようにすることを特徴とする、請求項７に記載の方法。

【請求項9】

更に、
前記２－Ｄ画面空間内で行われた前記作業を、前記３－Ｄジオメトリに逆変換するステップ、
を含むことを特徴とする、請求項８に記載の方法。

【請求項10】

ＣＧアニメーションにおいて、アーティストによって手描きされる線をエミュレートして描画を生成するためのシステムであって、前記システムは、
カメラアングル及び表現を含むショットデータと第２の生成機械学習モデルとを受け取って、前記描画の予測を生成するように構成される予測モジュールと、
前記予測を受け取って、アニメーション化されたキャラクタの３－Ｄジオメトリ上にインク線を貼り付けるように構成される接着モジュールと、
前記アーティストがナッジングブラシを使用してナッジを生成して前記インク線を修正して前記描画をＵＶ空間に移動させることができるようにするように構成されるナッジングモジュールと、
を含むことを特徴とするシステム。

【請求項11】

前記予測モジュールのためのトレーニングデータが、対応する表現変化の組を有するアングルの組に対して作成されるアニメーション化された曲線を使用することを特徴とする、請求項１０に記載のシステム。

【請求項12】

ＣＧアニメーションにおいて芸術的な手描き線をエミュレートして描画を生成するための装置であって、前記装置は、
アーティストが前記描画においてアニメーション化されたキャラクタ上にインク線を直接描くことができるようにするための第１の実現手段と、
前記アニメーション化されたキャラクタ上に前記描かれたインク線を直接貼り付けるための貼り付け手段と、
前記アーティストがナッジを使用して前記インク線を修正できるようにするための第２の実現手段と、
前記描画をＵＶ空間に移動させて、前記アーティストが２－Ｄ画面空間内で作業できるようにするための移動手段であって、前記移動手段は、パスが第１のパスである場合に、第１のパストレーニングデータを生成し、一方、前記移動手段は、前記パスが前記第１のパスではない場合に、第２のパストレーニングデータを生成する、移動手段と、
第１の生成機械学習モデルを作成して、第２のパスのための前記貼り付け手段に送るための第１の作成手段と、
前記第１のパストレーニングデータと前記第２のパストレーニングデータとを結合して、結合データを生成するための結合手段と、
前記結合データを使用して第２の生成機械学習モデルを作成するための第２の作成手段と、
を含むことを特徴とする装置。

【請求項13】

前記第１の実現手段は、タブレット又はパッド型のデバイスと、電子ペンとを含むことを特徴とする、請求項１２に記載の装置。

【請求項14】

前記タブレット又はパッド型のデバイスは、前記ＣＧアニメーションをフレーム単位で表示することができる少なくとも１つのアプリケーションを含むことを特徴とする、請求項１２に記載の装置。

【請求項15】

前記貼り付け手段は、前記アーティストによる前記貼り付け手段への入力を処理して、前記入力を前記ＣＧアニメーション上に統合することができる少なくとも１つのアプリケーションを含むことを特徴とする、請求項１２に記載の装置。

【請求項16】

前記第２の実現手段は、前記アーティストがナッジングブラシを使用してナッジを作成できるようにすることを特徴とする、請求項１２に記載の装置。

【請求項17】

前記移動手段は、前記ナッジを使用して、キーフレームを作成して前記キーフレーム間を補間することを特徴とする、請求項１２に記載の装置。

【請求項18】

前記移動手段は、前記キーフレーム間の全てのフレームを自動的に合成することによって、前記キーフレーム間を補間することを特徴とする、請求項１７に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願の相互参照〕
[0001] 本出願は、２０１８年１２月５日に出願された「手描き線をエミュレートするためのインク線及び機械学習（Ｉｎｋ Ｌｉｎｅｓ ａｎｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｅｍｕｌａｔｉｎｇ Ｈａｎｄ Ｄｒａｗｎ Ｌｉｎｅｓ）」という名称の同時係属中の米国仮特許出願第６２／７７５，８４３号の米国特許法第１１９条（ｅ）に基づく優先権の利益を主張するものである。上記関連出願の開示は、引用により本明細書に組み入れられる。

【0002】

[0002] 本開示は、ＣＧアニメーションに関し、具体的には、ＣＧアニメーションにおいて芸術的な手描き線をエミュレートすることに関する。

【背景技術】

【0003】

[0003] コンピュータグラフィックス（ＣＧ）アニメーションにおいて、目標は、手描きされたキャラクタの感じと見た目を与えるレンダリングされたキャラクタを作成することを含む場合がある。手続き的「ルール」に基づく（例えば、トゥーンシェーダー（Ｔｏｏｎ Ｓｈａｄｅｒ）を使用する）「線作業／インク線」からなる手法は、満足のいく結果を達成するのに効果的でないと判断された。主な問題は、アーティストが限定されたルールセットに基づいて描画しないことであった。芸術的に見える手描き線作業を作成することの問題に対するもっとロバストな解決法が必要とされた。更に、作成された線作業は、（必要な場合には）調整して既存のＣＧアニメーションに組み入れる必要があった。

【発明の概要】

【発明が解決しようとする課題】

【0004】

[0004] 本開示は、ＣＧアニメーションにおいて芸術的な手描き線をエミュレートすることを提供するものである。

【課題を解決するための手段】

【0005】

[0005] 一実装形態では、ＣＧアニメーションにおいて芸術的な手描き線をエミュレートするための方法を開示する。前記方法は、前記ＣＧアニメーションのキャラクタ上に直接描かれるインク線を貼り付ける第１の貼り付けステップと、アーティストがナッジを使用して前記インク線を修正して描画を生成できるようにする第１の実現ステップと、前記描画をＵＶ空間内に移動させて、第１のパストレーニングデータを生成する第１の移動ステップと、前記ＣＧアニメーションの前記キャラクタ上に前記インク線を貼り付ける第２の貼り付けステップと、前記アーティストが前記インク線を修正できるようにする第２の実現ステップと、前記描画を前記ＵＶ空間内に移動させて、第２のパストレーニングデータを生成する第２の移動ステップと、前記第１のパストレーニングデータと前記第２のパストレーニングデータとを結合して、結合データを生成するステップと、前記結合データを使用して第２の生成機械学習を作成して出力するステップと、を含む。

【0006】

[0006] 一実装形態では、前記キャラクタは、前記ＣＧアニメーションのフレーム内に存在する。一実装形態では、前記キャラクタ上に直接描かれる前記インク線は、前記キャラクタの特定のポーズに適正なインク線を提供する。一実装形態では、前記ナッジは、ナッジングブラシを使用して作成される。一実装形態では、前記方法は、更に、前記インク線を前記キャラクタ上に直接投影することによって、前記ナッジをキー操作して補間するステップを含む。一実装形態では、前記方法は、更に、キーフレームを生成して、前記キーフレーム間を補間するステップを含む。一実装形態では、前記キャラクタは、３－Ｄジオメトリにおいて形成される。一実装形態では、前記描画を前記ＵＶ空間内に移動させる第１の移動ステップは、前記アーティストが２－Ｄ画面空間内で前記キャラクタの前記３－Ｄジオメトリに対して作業できるようにする。一実装形態では、前記方法は、更に、前記２－Ｄ画面空間内で行われた前記作業を、前記３－Ｄジオメトリに逆変換するステップを含む。

【0007】

[0007] 別の実装形態では、ＣＧアニメーションにおいて、アーティストによって手描きされる線をエミュレートして描画を生成するためのシステムを開示する。前記システムは、カメラアングル及び表現を含むショットデータと第２の生成機械学習モデルとを受け取って、前記描画の予測を生成するように構成される予測モジュールと、前記予測を受け取って、アニメーション化されたキャラクタの３－Ｄジオメトリ上にインク線を貼り付けるように構成される接着モジュールと、前記アーティストがナッジングブラシを使用してナッジを生成して前記インク線を修正して前記描画をＵＶ空間に移動させることができるようにするように構成されるナッジングモジュールと、を含む。

【0008】

[0008] 一実装形態では、前記予測モジュールのためのトレーニングデータが、対応する表現変化の組を有するアングルの組に対して作成されるアニメーション化された曲線を使用する。

【0009】

[0009] 別の実装形態では、ＣＧアニメーションにおいて芸術的な手描き線をエミュレートして描画を生成するための装置を開示する。前記装置は、アーティストが前記描画においてアニメーション化されたキャラクタ上にインク線を直接描くことができるようにするための第１の実現手段と、前記アニメーション化されたキャラクタ上に前記描かれたインク線を直接貼り付けるための貼り付け手段と、前記アーティストがナッジを使用して前記インク線を修正できるようにするための第２の実現手段と、前記描画をＵＶ空間に移動させて、前記アーティストが２－Ｄ画面空間内で作業できるようにするための移動手段であって、前記移動手段は、パスが第１のパスである場合に、第１のパストレーニングデータを生成し、一方、前記移動手段は、前記パスが前記第１のパスではない場合に、第２のパストレーニングデータを生成する、移動手段と、第１の生成機械学習モデルを作成して、第２のパスのための前記貼り付け手段に送るための第１の作成手段と、前記第１のパストレーニングデータと前記第２のパストレーニングデータとを結合して、結合データを生成するための結合手段と、前記結合データを使用して第２の生成機械学習モデルを作成するための第２の作成手段と、を含む。

【0010】

[0010] 一実装形態では、前記第１の実現手段は、タブレット又はパッド型のデバイスと、電子ペンとを含む。一実装形態では、前記タブレット又はパッド型のデバイスは、前記ＣＧアニメーションをフレーム単位で表示することができる少なくとも１つのアプリケーションを含む。一実装形態では、前記貼り付け手段は、前記アーティストによる前記貼り付け手段への入力を処理して、前記入力を前記ＣＧアニメーション上に統合することができる少なくとも１つのアプリケーションを含む。一実装形態では、前記第２の実現手段は、前記アーティストがナッジングブラシを使用してナッジを作成できるようにする。一実装形態では、前記移動手段は、前記ナッジを使用して、キーフレームを作成して前記キーフレーム間を補間する。一実装形態では、前記移動手段は、前記キーフレーム間の全てのフレームを自動的に合成することによって、前記キーフレーム間を補間する。

【0011】

[0011] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。

【0012】

[0012] 同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。

【図面の簡単な説明】

【0013】

【図1】本開示の一実装形態による、ＣＧアニメーションにおいて芸術的な手描き線をエミュレートするためのプロセスのフロー図である。

【図2】本開示の一実装形態による、ＣＧアニメーションにおいて芸術的な手描き線をエミュレートするためのシステムのブロック図である。

【図3】本開示の一実装形態による、ＣＧアニメーションにおいて芸術的な手描き線をエミュレートするための装置のブロック図である。

【図4A】本開示の一実装形態による、コンピュータシステム及びユーザの図である。

【図4B】本開示の一実装形態による、エミュレーションアプリケーションをホストするコンピュータシステムを示す機能ブロック図である。

【図5】エミュレーションシステム、プロセス及び装置の中間結果の例を示す図である。

【図6】エミュレーションシステム、プロセス及び装置の中間結果の例を示す図である。

【図7】エミュレーションシステム、プロセス及び装置の中間結果の例を示す図である。

【図8】エミュレーションシステム、プロセス及び装置の中間結果の例を示す図である。

【発明を実施するための形態】

【0014】

[0019] 上記のように、芸術的に見える手描き線作業を作成することの問題に対するもっとロバストな解決法が必要とされた。更に、作成された線作業は、接着し、（必要な場合には）調整して、既存のＣＧアニメーションに組み入れる必要があった。本開示のいくつかの実装形態は、ＣＧアニメーションにおいて芸術的な手描き線をエミュレートすることを提供するものである。これらの説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。

【0015】

[0020] 一実装形態では、２つのモードを有する強化されたインク線アプリケーションを実装して、リアルな手描きのインク線の組を生成した。第１のモードは「接着モード」であり、第２のモードは「調整モード」であった。強化されたインク線アプリケーションの接着モードは、ＣＧアニメーションの３－Ｄジオメトリ上にインク線（例えば、曲線ジオメトリ）を接着する又は貼り付けることを目的とする。したがって、接着モードでは、アプリケーションは、アーティストが容易な制御で描画を調整して適正な２－Ｄ着想設計を維持できるようにする。例えば、一実装形態では、アプリケーションは、アーティストが電子ペンを使用してＣＧアニメーションのフレームの上に描画できるようにする。これにより、フレームの描画が、標準テクスチャマップではなく、動的描画のように現れることができる。強化されたインク線アプリケーションの調整モードは、アーティストによってインク線に対して行われる貼り付けを取り込んでカタログ化して、機械学習を用いてワークフローの速度を向上させることを目的とする。

【0016】

[0021] 一実装形態では、強化されたインク線アプリケーションの接着モードは、アーティストが描画においてキャラクタ（及び／又はオブジェクト）上に直接描画して、キャラクタの特定のポーズに適正な線を提供できるようにする。インク線が描かれると、アプリケーションは、アーティストがナッジング「ブラシ」を使用して描画を迅速かつ容易に調整できるようにする。一実装形態では、調整モードでの機械学習の調整がスクラッチからのショットの取得よりも遅い場合に、最も複雑なショットに対して接着モードを使用する。

【0017】

[0022] 一実装形態では、ナッジングブラシによって作成されるナッジを、アプリケーションによって自動的にキー操作して補間する。一実装形態では、キー操作及び補間は、インク線をジオメトリ上に直接投影して、画面空間内又は任意のＵＶ空間内でナッジを補間することを含む。強化されたインク線アプリケーションは、アーティストが２－Ｄ画面空間内で作業できるようにして、最も直観的な空間を提供することによって、アーティストが描画及びナッジして所望の結果を生成できるようにする。３－Ｄ空間への逆変換が、アーティストの介入なしに自動的に行われる。

【0018】

[0023] 一実装形態では、キー操作及び補間は、ナッジングを使用して、キーフレームを作成して、キーフレーム間を補間する。例えば、アーティストは、フレーム１内の描画のインク線をナッジして、次に、フレーム１０内の描画のインク線に対してナッジングを実行して、２つのキーフレーム１及び１０を作成する。次に、強化されたインク線アプリケーションの接着モードは、２つのキーフレームの間の全てのフレームを自動的に合成することによって、キーフレーム間を補間する。

【0019】

[0024] 一実装形態では、ＵＶ空間内の曲線位置は、キャラクタが最終的に３－Ｄ空間内のどこに位置するかを制御する。描画がナッジされるときに、これらの編集をＵＶ空間にシフトすることができる。したがって、視角に対するＵＶ空間内の曲線の位置と、キャラクタの表現との間に複雑な関係がある。十分な例を用いて、機械学習は、ＵＶ空間内の曲線の形状とキャラクタの視角及び表現との間のパターンを見出すことができる。したがって、機械学習はこの関係をマッピングする。

【0020】

[0025] 一実装形態では、強化されたインク線アプリケーションの調整モードは、（１）機械学習を用いてキャラクタ上にインク線を作成して、初期予測結果を生成する第１のパス予測と、（２）アーティストが「ナッジングブラシ」を使用して修正することと、（３）アーティストがナッジブラシを使用して初期予測を補正した後に、調整をＵＶ空間にシフトすることと、を含む。次に、データをエクスポートして、初期データと結合する。次に、結合データを使用して、機械学習モデルを「再トレーニング」する。したがって、「再トレーニング」は、モデルの精度を向上させる。

【0021】

[0026] 一実装形態では、第１のパス予測のためのトレーニングデータが、表現変化を有する異なるアングルから作成される「ターンテーブル」アニメーションを使用する。次に、強化されたインク線アプリケーションの接着モードを使用して、これらのアングル及び表現に対するアニメーション化された曲線（すなわち、描画）を作成する。次に、アニメーション化された曲線をＵＶ空間内にシフトして、機械学習トレーニングを行うようにする。これは、トレーニングデータの第１の生成の組（キャラクタ毎に約６００フレーム）の「ターゲット」になる。「特徴」は、相対的なカメラアングル及び表現変化である。したがって、トレーニングデータが生成されると、機械学習アルゴリズムをトレーニングして、描画位置と「特徴」との間の関係を見出す。

【0022】

[0027] 一実装形態では、機械学習アルゴリズムをトレーニングして関係を見出した後に、別のアニメーションデータの組に対して予測を実行する。次に、アーティストがナッジブラシを使用して、これらの初期予測を調整（又は「補正」）する。次に、これらの補正された調整をＵＶ空間に移動させて、更なるトレーニングデータとしてエクスポートする。次に、これらの補正と初期トレーニングデータとの結合トレーニングデータを使用して、機械学習モデルを再トレーニングする。

【0023】

[0028] 図１は、本開示の一実装形態による、ＣＧアニメーションにおいて芸術的な手描き線をエミュレートするためのプロセス１００のフロー図である。一実装形態では、プロセス１００は、アーティストが容易な制御で描画を調整して適正な２－Ｄ着想設計を維持できるようにする。例えば、一実装形態では、プロセス１００は、アーティストが電子ペンを使用してＣＧアニメーションのフレームの上に描画できるようにする。これにより、フレームの描画が、標準テクスチャマップではなく、動的描画のように現れることができる。

【0024】

[0029] 図１に示す実装形態では、ブロック１１０において、プロセス１００は、アーティストが描画においてキャラクタ上にインク線を直接描いて、キャラクタの特定のポーズに適正な線を提供できるようにする。一実装形態では、キャラクタは、ＣＧアニメーションのフレーム内に存在する。一実装形態では、キャラクタ上に直接描かれるインク線は、キャラクタの特定のポーズに適正なインク線を提供する。次に、ブロック１１２において、アニメーション化されたキャラクタ上に（すなわち、３－Ｄジオメトリ上に）インク線を貼り付ける。インク線が描かれて貼り付けられると、ブロック１１４において、プロセス１００は、アーティストがナッジング「ブラシ」を使用して描画を調整できるようにする。次に、ブロック１１６において、描画をＵＶ空間に移動させて、トレーニングデータを生成する。プロセス１００は、アーティストが２－Ｄ画面空間内で作業できるようにして、最も直観的な空間を提供することによって、アーティストが描画及びナッジして所望の結果を生成できるようにする。３－Ｄ空間への逆変換が、アーティストの介入なしに自動的に行われる。

【0025】

[0030] 一実装形態では、ナッジングがキーフレームを作成して、キーフレーム間を補間する。例えば、アーティストは、フレーム１内の描画のインク線をナッジして、次に、フレーム１０内の描画のインク線に対してナッジングを実行して、２つのキーフレーム１及び１０を作成する。次に、プロセス１００は、２つのキーフレームの間の全てのフレームを自動的に合成することによって、キーフレーム間を補間する。

【0026】

[0031] 一実装形態では、描画をＵＶ空間に移動させてトレーニングデータを生成すると、ブロック１１８において、プロセス１００は、第１の生成機械学習モデルを作成して、ブロック１２０において、第１の生成機械学習モデルを呼び出す。ブロック１２２において、再び、アニメーション化されたキャラクタ上にインク線を貼り付けて、ブロック１２４において、アーティストが「ナッジングブラシ」を使用してインク線の予測を修正できるようにする。次に、ブロック１２６において、描画をＵＶ空間に移動させて、トレーニングデータを再び生成する。ブロック１２８において、（ブロック１１６で生成された）第１のパストレーニングデータと、（ブロック１２６で生成された）第２のパストレーニングデータとを結合する。したがって、トレーニングデータを結合すると、ブロック１３０において、プロセス１００は、第２の生成機械学習モデルを作成する。

【0027】

[0032] 一実装形態では、第１のパス予測のためのトレーニングデータが、表現変化を有する異なるアングルから作成される「ターンテーブル」アニメーションを使用する。次に、プロセス１００によって、これらのアングル及び表現に対するアニメーション化された曲線を作成する。次に、アニメーション化された曲線をＵＶ空間に変換して、機械学習トレーニングを行うようにする。これは、トレーニングデータの第１の生成の組（キャラクタ毎に約６００フレーム）の「ターゲット」になる。「特徴」は、相対的なカメラアングル及び表現変化である。したがって、トレーニングデータが生成されると、機械学習アルゴリズムをトレーニングして、描画位置と「特徴」との間の関係を見出す。

【0028】

[0033] 図２は、本開示の一実装形態による、ＣＧアニメーションにおいて芸術的な手描き線をエミュレートするためのシステム２００のブロック図である。図２に示す実装形態では、システム２００は、予測モジュール２３０と、接着モジュール２４０と、ナッジングモジュール２５０とを含む。

【0029】

[0034] 一実装形態では、予測モジュール２３０は、ショットデータ２１０と、図１のブロック１３０で作成された第２の生成機械学習「モデル」２２０とを受け取って、予測を作成する。ショットデータ２１０は、相対的なカメラアングル及び相対的な表現を含む。

【0030】

[0035] 一実装形態では、接着モジュール２４０は、予測モジュール２３０から予測を受け取って、アニメーション化されたキャラクタ上にインク線（例えば、曲線ジオメトリ）を接着する又は貼り付けることを目的とする接着モードを実装するように構成される。したがって、接着モジュール２４０は、アーティストが容易な制御で描画を調整して適正な２－Ｄ着想設計を維持できるようにする。例えば、一実装形態では、接着モジュール２４０は、アーティストが電子ペンを使用してＣＧアニメーションのフレームの上に描画できるようにする。

【0031】

[0037] 一実装形態では、インク線が描かれて貼り付けられると、ナッジングモジュール２５０は、アーティストがナッジング「ブラシ」を使用して描画を調整してＵＶ空間に移動させることができるようにする。したがって、ナッジングモジュール２５０は、アーティストが２－Ｄ画面空間内で作業できるようにして、最も直観的な空間を提供することによって、アーティストが描画及びナッジして所望の結果を生成できるようにする。ナッジングモジュール２５０は、３－Ｄ空間への逆変換を、アーティストの介入なしに実行する。ライティングのために、ナッジングモジュール２５０によって出力される描画２６０をエクスポートする。

【0032】

[0038] 図３は、本開示の一実装形態による、ＣＧアニメーションにおいて芸術的な手描き線をエミュレートするための装置３００のブロック図である。図３に示す実装形態では、装置３００は、アーティストがインク線を描くことができるようにするための手段３１０と、インク線を貼り付けるための手段３２０と、アーティストがインク線を修正できるようにするための手段３３０と、描画をＵＶ空間に移動させるための手段３４０と、第１の生成機械学習モデルを作成するための手段３６０と、トレーニングデータを結合するための手段３８０と、第２の生成機械学習モデルを作成するための手段３９０と、を含む。

【0033】

[0039] アーティストがインク線を描くことができるようにするための手段３１０は、アーティストが描画においてキャラクタ上にインク線を直接描いて、キャラクタの特定のポーズに適正な線を提供できるようにする。一実装形態では、手段３１０は、タブレット又はパッド型のデバイスと、電子ペンとを含む。一実装形態では、タブレットデバイスは、ＣＧアニメーションをフレーム単位で表示することができる少なくとも１つのアプリケーションを含む。

【0034】

[0040] インク線を貼り付けるための手段３２０は、ＣＧアニメーションのキャラクタ上に直接描かれるインク線を貼り付ける。一実装形態では、手段３２０は、アーティストによる手段３１０への入力を処理して、該入力をＣＧアニメーション上に統合することができる少なくとも１つのアプリケーションを含む。

【0035】

[0041] アーティストがインク線を修正できるようにするための手段３３０は、アーティストがナッジング「ブラシ」を使用して描画を調整できるようにする。一実装形態では、手段３３０は、タブレット又はパッド型のデバイスと、ナッジングブラシとして使用される電子ペンとを含む。一実装形態では、タブレットデバイスは、ＣＧアニメーションをフレーム単位で表示することができる少なくとも１つのアプリケーションを含む。アーティストがインク線を修正できるようにするための手段３３０は、また、アーティストがインク線の予測を修正できるようにする。

【0036】

[0042] 描画をＵＶ空間に移動させるための手段３４０は、描画をＵＶ空間に移動させて、アーティストが２－Ｄ画面空間内で作業できるようにして、最も直観的な空間を提供することによって、アーティストが描画及びナッジして所望の結果を生成できるようにする。一実装形態では、描画をＵＶ空間に移動させるための手段３４０は、ナッジングを使用して、キーフレームを作成して、キーフレーム間を補間する。例えば、アーティストは、フレーム１内の描画のインク線をナッジして、次に、フレーム１０内の描画のインク線に対してナッジングを実行して、２つのキーフレーム１及び１０を作成する。次に、手段３４０は、２つのキーフレームの間の全てのフレームを自動的に合成することによって、キーフレーム間を補間する。描画をＵＶ空間に移動させるための手段３４０は、パスが第１のパスである場合に、第１のパストレーニングデータ３５０を生成し、一方、描画をＵＶ空間に移動させるための手段３４０は、パスが第１のパスではない場合（すなわち、第２のパス）に、第２のパストレーニングデータ３７０を生成する。

【0037】

[0043] 第１の生成機械学習モデルを作成するための手段３６０は、第１の生成機械学習モデルを作成して、第２のパスのためのインク線を貼り付けるための手段３２０に送る。

【0038】

[0044] 第２のパスでは、トレーニングデータを結合するための手段３８０は、第１のパストレーニングデータ３５０と第２のパストレーニングデータ３７０とを結合する。第２の生成機械学習モデルを作成するための手段３９０は、結合トレーニングデータを使用して第２の生成機械学習モデルを作成する。

【0039】

[0045] 図４Ａは、本開示の一実装形態による、コンピュータシステム４００及びユーザ４０２の図である。ユーザ４０２は、コンピュータシステム４００を使用して、図１に示すＣＧアニメーションにおいて芸術的な手描き線をエミュレートするためのプロセス１００及び図２に示すブロック図のエミュレータ２００に関して図示及び説明されるようなＣＧアニメーションにおいて芸術的な手描き線をエミュレートするためのエミュレーションアプリケーション４９０を実装する。

【0040】

[0046] コンピュータシステム４００は、図４Ｂのエミュレーションアプリケーション４９０を記憶して実行する。更に、コンピュータシステム４００は、ソフトウェアプログラム４０４と通信することができる。ソフトウェアプログラム４０４は、スクリーントーンルックアプリケーションのためのソフトウェアコードを含むことができる。ソフトウェアプログラム４０４は、以下で更に説明するように、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。

【0041】

[0047] 更に、コンピュータシステム４００は、ネットワーク４８０に接続することができる。ネットワーク４８０は、様々な異なるアーキテクチャ、例えば、クライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク４８０は、エミュレーションアプリケーション４９０内で使用されるエンジン及びデータを協調させるサーバ４８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク４８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。

【0042】

[0048] 図４Ｂは、本開示の一実装形態による、エミュレーションアプリケーション４９０をホストするコンピュータシステム４００を示す機能ブロック図である。コントローラ４１０はプログラマブルプロセッサであり、コンピュータシステム４００及びそのコンポーネントの動作を制御する。コントローラ４１０は、メモリ４２０又は内蔵コントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形で）命令をロードして、これらの命令を実行してシステムを制御する。その実行において、コントローラ４１０は、エミュレーションアプリケーション４９０にソフトウェアシステムを提供して、例えば、エミュレーションアプリケーション４９０内のエンジン及びデータ抽出部の作成及び構成を可能にする。代替的に、このサービスは、コントローラ４１０又はコンピュータシステム４００において別個のハードウェアコンポーネントとして実装することができる。

【0043】

[0049] メモリ４２０は、コンピュータシステム４００の他のコンポーネントによって使用するためにデータを一時的に記憶する。一実装形態では、メモリ４２０はＲＡＭとして実装される。一実装形態では、メモリ４２０は、また、フラッシュメモリ及び／又はＲＯＭなどの長期又は永久メモリを含む。

【0044】

[0050] ストレージ４３０は、コンピュータシステム４００の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ４３０は、エミュレーションアプリケーション４９０によって使用されるデータを記憶する。一実装形態では、ストレージ４３０は、ハードディスクドライブである。

【0045】

[0051] メディアデバイス４４０は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び／又は書き込みを行う。一実装形態では、例えば、メディアデバイス４４０は、光ディスクドライブである。

【0046】

[0052] ユーザインターフェイス４５０は、コンピュータシステム４００のユーザからユーザ入力を受け取ってユーザ４０２に情報を提示するためのコンポーネントを含む。一実装形態では、ユーザインターフェイス４５０は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ４１０は、ユーザ４０２からの入力を使用して、コンピュータシステム４００の動作を調整する。

【0047】

[0053] Ｉ／Ｏインターフェイス４６０は、１又は２以上のＩ／Ｏポートを含み、外部記憶又は補足装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏデバイスに接続する。一実装形態では、Ｉ／Ｏインターフェイス４６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートなどのポートを含む。別の実装形態では、Ｉ／Ｏインターフェイス４６０は、外部装置と無線で通信するための無線インターフェイスを含む。

【0048】

[0054] ネットワークインターフェイス４７０は、イーサネット接続をサポートするＲＪ－４５又は「Ｗｉ－Ｆｉ」インターフェイス（８０２．１１を含むが、これに限定されるわけではない）などの有線及び／又は無線ネットワーク接続を含む。

【0049】

[0055] コンピュータシステム４００は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア（例えば、電力、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、簡略化のために、図４Ｂに具体的に示されていない。他の実装形態では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成）。

【0050】

[0056] 図５、図６、図７及び図８は、エミュレーションシステム、プロセス及び装置の中間結果の例を示す。

【0051】

[0057] 一実装形態では、エミュレーションシステム２００は、１又は２以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート／ロジックアレイ（ＦＰＧＡ）、又はその他の等価集積又はディスクリート論理回路を含むハードウェアで全体が構成されるシステムである。別の実装形態では、エミュレーションシステム２００は、ハードウェアとソフトウェアの組み合わせで構成される。

【0052】

[0058] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。したがって、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書で開示した原理及び新規の特徴と一致する最も広い範囲が与えられるべきである。

【0053】

[0059] 本開示の様々な実装は、電子ハードウェア、コンピュータソフトウェア、又はこれらの技術の組み合わせの形で実現される。いくつかの実装は、１又は２以上のコンピュータ装置により実行される１又は２以上のコンピュータプログラムを含む。一般に、コンピュータ装置は、１又は２以上のプロセッサ、１又は２以上のデータ記憶構成要素（例えば、ハードディスクドライブ及びフロッピーディスクドライブ、ＣＤ－ＲＯＭドライブ、及び磁気テープドライブなどの揮発性又は不揮発性メモリモジュール及び持続的な光学及び磁気記憶装置）、１又は２以上の入力装置（例えば、ゲームコントローラ、マウス及びキーボード）、及び１又は２以上の出力装置（例えば、ディスプレイ装置）を含む。

【0054】

[0060] コンピュータプログラムは、通常、持続的な記憶媒体に記憶され、実行時にメモリにコピーされる実行可能なコードを含む。少なくとも１つのプロセッサが、所定の順序でメモリからプログラム命令を取り出すことによって、コードを実行する。プログラムコードの実行中には、コンピュータは、入力及び／又は記憶装置からデータを受け取り、データに対して処理を実行し、これにより得られたデータを出力及び／又は記憶装置に供給する。

【0055】

[0061] 当業者であれば、本明細書で説明した様々な例示的なモジュール及び方法ステップを電子ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせとして実装することができると理解するであろう。このハードウェアとソフトウェアの互換性を明確に示すために、本明細書では、様々な例示的なモジュール及び方法ステップについて、一般にこれらの機能面から説明した。このような機能をハードウェア又はソフトウェアのいずれとして実装するかは、特定の用途及びシステム全体に課せられる設計制約に依存する。当業者であれば、説明した機能を各特定の用途のために様々な方法で実装することができるが、このような実装の決定を、本開示の範囲からの逸脱を引き起こすものとして解釈すべきではない。また、モジュール又はステップ内の機能のグループ化は、説明を容易にするためのものである。本開示から逸脱することなく、特定の機能を１つのモジュール又はステップから別のモジュール又はステップへ移すことができる。

【0056】

[0062] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。

【符号の説明】

【0057】

１００ ＣＧアニメーションにおいて芸術的な手描き線をエミュレートするためのプロセス
１１０ アーティストが描画においてキャラクタ上にインク線を直接描くことができるようにする
１１２ アニメーション化されたキャラクタの３－Ｄジオメトリ上にインク線を貼り付ける
１１４ アーティストがナッジングブラシを使用してインク線を修正できるようにする
１１６ 描画をＵＶ空間に移動させて、トレーニングデータを生成する
１１８ 第１の生成機械学習モデルを作成
１２０ 第１の生成機械学習モデルを呼び出して、予測を生成する
１２２ アニメーション化されたキャラクタの３－Ｄジオメトリ上にインク線を貼り付ける
１２４ アーティストがナッジングブラシを使用してインク線を修正できるようにする
１２６ 描画をＵＶ空間に移動させて、トレーニングデータを生成する
１２８ データを結合
１３０ 第２の生成機械学習モデルを作成
２００ ＣＧアニメーションにおいて芸術的な手描き線をエミュレートするためのシステム／エミュレータ
２１０ ショットデータ
２２０ 第２の生成機械学習モデル
２３０ 予測モジュール
２４０ 接着モジュール
２５０ ナッジングモジュール
２６０ 描画
３００ ＣＧアニメーションにおいて芸術的な手描き線をエミュレートするための装置
３１０ アーティストがインク線を描くことができるようにするための手段
３２０ インク線を貼り付けるための手段
３３０ アーティストがインク線を修正できるようにするための手段
３４０ 描画をＵＶ空間に移動させるための手段
３５０ 第１のパストレーニングデータ
３６０ 第１の生成機械学習モデルを作成するための手段
３７０ 第２のパストレーニングデータ
３８０ トレーニングデータを結合するための手段
３９０ 第２の生成機械学習モデルを作成するための手段
４００ コンピュータシステム
４０２ ユーザ
４０４ ソフトウェアプログラム
４１０ コントローラ
４２０ メモリ
４３０ ストレージ
４４０ メディアデバイス
４５０ ユーザインターフェイス
４６０ Ｉ／Ｏインターフェイス
４７０ ネットワークインターフェイス
４８０ ネットワーク
４８５ サーバ
４９０ エミュレーションアプリケーション

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】