特許 7615337 動画生成方法、装置、機器及び可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-07

(45)【発行日】2025-01-16

(54)【発明の名称】動画生成方法、装置、機器及び可読記憶媒体

(51)【国際特許分類】

   G06T 1/00 20060101AFI20250108BHJP

【ＦＩ】

G06T1/00 500A

【請求項の数】 12

(21)【出願番号】P 2023547370

(86)(22)【出願日】2022-01-29

(65)【公表番号】

(43)【公表日】2024-02-08

(86)【国際出願番号】 CN2022075037

(87)【国際公開番号】W WO2022166896

(87)【国際公開日】2022-08-11

【審査請求日】2023-08-04

(31)【優先権主張番号】202110163139.8

(32)【優先日】2021-02-05

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521431088

【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｚｉｔｉａｏ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】０２０７， ２／Ｆ， Ｂｕｉｌｄｉｎｇ ４， Ｚｉｊｉｎ Ｄｉｇｉｔａｌ Ｐａｒｋ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ，Ｐ． Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ワン，シュイ

(72)【発明者】

【氏名】リウ，カイ

【審査官】菊池 伸郎

(56)【参考文献】

【文献】米国特許出願公開第２０１２／０１６９７５９（ＵＳ，Ａ１）

【文献】特開平１１－２２４３２９（ＪＰ，Ａ）

【文献】特開２０１１－２４８７２７（ＪＰ，Ａ）

【文献】特開２０１３－０９８９２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ １１／００

Ｇ０６Ｔ １１／２０

(57)【特許請求の範囲】

【請求項1】

動画生成方法であって、
ソース画像を取得するステップと、
前記ソース画像に基づいて複数のスケッチ画像を生成するステップであって、前記複数のスケッチ画像は異なる色濃度での前記ソース画像のスケッチ画像にそれぞれ対応するステップと、
目標スケッチ画像に基づいて前記目標スケッチ画像の複数のサブ画像を生成するステップであって、前記複数のサブ画像は、異なる描画完成度での前記目標スケッチ画像のスケッチ画像にそれぞれ対応し、前記目標スケッチ画像は前記複数のスケッチ画像のうちのいずれかのスケッチ画像であるステップと、
前記複数のスケッチ画像のうち各々のスケッチ画像の各サブ画像をスケッチ描画動画の動画フレームとして、色濃度の薄い順及び描画完成度の低い順に従って前記動画フレームの順序を設定し、前記スケッチ描画動画を生成するステップと、を含み、
前記色濃度の薄い順及び描画完成度の低い順に従って前記動画フレームの順序を設定し、前記スケッチ描画動画を生成するステップは、
前記描画完成度の低い順に従って前記目標スケッチ画像の各サブ画像の順序を設定し、前記スケッチ描画動画のサブ動画を得て、前記色濃度の薄い順に従って各サブ動画の順序を設定して、各サブ動画を合成し、前記スケッチ描画動画を生成するステップと、を含む、
ことを特徴とする動画生成方法。

【請求項2】

目標スケッチ画像に基づいて前記目標スケッチ画像の複数のサブ画像を生成するステップは、
第１のマスクの画素のマスク値の成長順序を決定するステップであって、前記第１のマスクの画素の初期マスク値は０であり、前記第１のマスクの画素の成長は、前記画素のマスク値が０から１へと変更することを指示するために用いられ、前記第１のマスクは、前記目標スケッチ画像の背景が前記成長順序に従って前記目標スケッチ画像へと徐々に変化するようにさせるために用いられるステップと、
前記成長順序、前記目標スケッチ画像、及び前記目標スケッチ画像の背景に基づいて、前記複数のサブ画像を生成するステップであって、前記成長順序の各成長と前記複数のサブ画像の各々のサブ画像は1対1に対応するステップと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記成長順序、前記目標スケッチ画像、及び前記目標スケッチ画像の背景に基づいて前記複数のサブ画像を生成するステップは、
前記成長順序の各成長に対して、前記第１のマスクから前記成長に対応する第１の画素セットを決定するステップと、
前記第１の画素セットに基づいて前記目標スケッチ画像から第２の画素セットを決定するとともに、前記背景から第３の画素セットを決定するステップであって、前記第１の画素セット、前記第２の画素セット、及び前記第３の画素セットにおける画素は1対1に対応するステップと、
前記第１の画素セットにおける第１の画素のマスク値、前記第２の画素セットにおける第２の画素の画素値、及び前記第３の画素セットにおける第３の画素の画素値に基づき、第４の画素の画素値を決定するステップであって、前記第４の画素の画素値＝前記第１の画素のマスク値×前記第２の画素の画素値＋前記第３の画素の画素値×（１－前記第１の画素のマスク値）とするステップと、
前記背景の前記第３の画素を前記第４の画素に更新し、前記成長に対応するサブ画像を得るステップと、を含む、ことを特徴とする請求項２に記載の方法。

【請求項4】

前記目標スケッチ画像は前記複数のスケッチ画像のうち最も薄い色のスケッチ画像ではない場合、前記背景は前記複数のスケッチ画像のうち前記成長順序に従って前記目標スケッチ画像に隣接し、且つ前記目標スケッチ画像よりも前に位置するスケッチ画像であり、
前記目標スケッチ画像は前記複数のスケッチ画像のうち最も薄い色のスケッチ画像である場合、前記背景は前記目標スケッチ画像と同じサイズの白い画像である、ことを特徴とする請求項２又は３に記載の方法。

【請求項5】

前記ソース画像には人物が含まれ、前記成長順序は前記ソース画像の中の人物の顔輪郭の成長順序を含み、第１のマスクの画素のマスク値の成長順序を決定するステップは、
前記ソース画像の中の顔のキーポイントを抽出してキーポイントセットを得るステップと、
前記ソース画像に基づいて前記ソース画像の中の人物の髪領域の第２のマスクを決定するステップと、
前記キーポイントセットに基づいて前記人物の顔の第１の凸包領域を決定するステップと、
前記第１の凸包領域と前記第２のマスクとの共通部分に基づいて前記第２のマスクから第２の凸包領域を決定するステップと、
前記第２の凸包領域において筆触速度に従って前記キーポイントセットにおける顔輪郭キーポイントを順次接続し、前記ソース画像の中の人物の顔輪郭の成長順序を得るステップであって、前記筆触速度は動画の時間の長さに基づいて決定されるものであるステップと、を含む、ことを特徴とする請求項２～４のいずれか１項に記載の方法。

【請求項6】

前記第２の凸包領域において筆触速度に従って前記キーポイントセットにおける顔輪郭キーポイントを順次接続し、前記ソース画像の中の人物の顔輪郭の成長順序を得るステップの後、
前記キーポイントセットから前記顔の異なる領域のキーポイントを決定するステップと、
各領域のキーポイントに基づいて前記顔の各領域を補間するステップと、
補間された領域に基づいて、前記第２の凸包領域において筆触速度に従って、前記ソース画像の中の人物の顔の対応する領域の成長順序を決定するステップと、をさらに含む、ことを特徴とする請求項５に記載の方法。

【請求項7】

各領域のキーポイントに基づいて前記顔の各領域を補間するステップは、
前記顔における眉領域に対しては、前記眉領域のキーポイントに基づいて横方向に複数の曲線を補間するステップと、
前記顔における眼球領域に対しては、前記眼球領域のキーポイントに基づいて円形領域で前記眼球領域を補間するステップと、
前記顔における口領域に対しては、前記口領域のキーポイントに基づいて複数の曲線を縦方向に補間するステップと、を含む、ことを特徴とする請求項６に記載の方法。

【請求項8】

前記ソース画像に基づいて複数のスケッチ画像を生成するステップは、
前記ソース画像に基づいてグレースケール画像を生成するステップと、
複数のガウスカーネルを決定するステップであって、前記複数のガウスカーネルのうちのガウスカーネルと前記複数のスケッチ画像のうちのスケッチ画像は1対1に対応し、濃い色のスケッチ画像の対応するガウスカーネルは薄い色のスケッチ画像の対応するガウスカーネルよりもサイズが大きいステップと、
前記複数のガウスカーネルに基づいて、前記グレースケール画像のそれぞれに対してガウスぼかしを行い、前記複数のガウスカーネルのうちの各ガウスカーネルに対応するガウスぼかし画像を得るステップと、
前記複数のガウスカーネルのうちの各ガウスカーネルに対応するガウスぼかし画像と前記グレースケール画像に基づいて前記複数のスケッチ画像を生成するステップと、を含む、ことを特徴とする請求項１～７のいずれか１項に記載の方法。

【請求項9】

動画生成装置であって、
ソース画像を取得するために用いられる取得ユニットと、
前記ソース画像に基づいて複数のスケッチ画像を生成するために用いられる第１の生成ユニットであって、前記複数のスケッチ画像は異なる色濃度での前記ソース画像のスケッチ画像にそれぞれ対応する第１の生成ユニットと、
目標スケッチ画像に基づいて前記目標スケッチ画像の複数のサブ画像を生成するために用いられる第２の生成ユニットであって、前記複数のサブ画像は、異なる描画完成度での前記目標スケッチ画像のスケッチ画像にそれぞれ対応し、前記目標スケッチ画像は前記複数のスケッチ画像のうちのいずれかのスケッチ画像である第２の生成ユニットと、
前記複数のスケッチ画像のうち各々のスケッチ画像の各サブ画像をスケッチ描画動画の動画フレームとして、色濃度の薄い順及び描画完成度の低い順に従って前記動画フレームの順序を設定し、前記スケッチ描画動画を生成するために用いられる第３の生成ユニットと、を含む、ことを特徴とする動画生成装置。

【請求項10】

少なくとも１つのプロセッサとメモリとを含む電子機器であって、
前記メモリにはコンピュータ実行命令が記憶されており、
前記少なくとも１つのプロセッサが前記メモリに記憶されているコンピュータ実行命令を実行すると、前記少なくとも１つのプロセッサが請求項１～８のいずれか１項に記載の動画生成方法を実行する、ことを特徴とする電子機器。

【請求項11】

コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にはコンピュータ実行命令が記憶されており、プロセッサが前記コンピュータ実行命令を実行すると、請求項１～８のいずれか１項に記載の動画生成方法が実現される、ことを特徴とするコンピュータ可読記憶媒体。

【請求項12】

コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されるとき、請求項１～８のいずれか１項に記載の動画生成方法が実現される、ことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施例は、画像処理の技術分野に関し、特に、動画生成方法、装置、機器及び可読記憶媒体に関する。

【背景技術】

【0002】

スケッチは画像のスタイルの１種であり、現実では、スケッチは鉛筆を媒介にして、景物や人物を線で表現する芸術形式である。スケッチは、線構造のデッサンと細かく描画する写実的なスケッチとの２種類に分けられる。手描きのスケッチは、作者にある程度の画力が必要である。

【0003】

端末機器のスマート化に伴い、ユーザは端末機器を利用してスケッチ画像などを得ることができる。端末機器は、スケッチ画像を取得する過程において、ユーザが選定したソース画像に対してスタイル変換処理を行うことにより、１枚のスケッチ画像を得る。動画などの発展に伴い、ユーザは、静止画の取得に満足せず、スケッチ画像を一筆一筆で描画するという画家が絵を描く過程を模擬する動く動画を取得することができるようになることを期待している。

【0004】

しかしながら、従来の動画のうち、ほとんどは画力のある画家が現場で絵を描いて録画したリアルな動画であり、一般のユーザにとっては、難易度が高く、ほぼ実現不可能である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示の実施例は、動画生成方法、装置、機器及び可読記憶媒体を提供し、画像に基づいて、画家が一筆一筆でスケッチ画像を作成することを模擬する動画を生成し、そのプロセスが簡単である。

【課題を解決するための手段】

【0006】

第１の態様では、本開示の実施例は、動画生成方法を提供し、前記方法は、
ソース画像を取得するステップと、
前記ソース画像に基づいて複数のスケッチ画像を生成するステップであって、前記複数のスケッチ画像は異なる色濃度での前記ソース画像のスケッチ画像にそれぞれ対応するステップと、
目標スケッチ画像に基づいて前記目標スケッチ画像の複数のサブ画像を生成するステップであって、前記複数のサブ画像は、異なる描画完成度での前記目標スケッチ画像のスケッチ画像にそれぞれ対応し、前記目標スケッチ画像は前記複数のスケッチ画像のうちのいずれかのスケッチ画像であるステップと、
前記複数のスケッチ画像のうち各々のスケッチ画像の各サブ画像をスケッチ描画動画の動画フレームとして、色濃度の薄い順及び描画完成度の低い順に従って前記動画フレームの順序を設定し、前記スケッチ描画動画を生成するステップと、を含む。

【0007】

第２の態様では、本開示は、動画生成装置を提供し、前記装置は、
ソース画像を取得するために用いられる取得ユニットと、
前記ソース画像に基づいて複数のスケッチ画像を生成するために用いられる第１の生成ユニットであって、前記複数のスケッチ画像は異なる色濃度での前記ソース画像のスケッチ画像にそれぞれ対応する第１の生成ユニットと、
目標スケッチ画像に基づいて前記目標スケッチ画像の複数のサブ画像を生成するために用いられる第２の生成ユニットであって、前記複数のサブ画像は、異なる描画完成度での前記目標スケッチ画像のスケッチ画像にそれぞれ対応し、前記目標スケッチ画像は前記複数のスケッチ画像のうちのいずれかのスケッチ画像である第２の生成ユニットと、
前記複数のスケッチ画像のうち各々のスケッチ画像の各サブ画像をスケッチ描画動画の動画フレームとして、色濃度の薄い順及び描画完成度の低い順に従って前記動画フレームの順序を設定し、前記スケッチ描画動画を生成するために用いられる第３の生成ユニットと、を含む。

【0008】

第３の態様では、本開示の１つ又は複数の実施例によれば、少なくとも１つのプロセッサとメモリとを含む電子機器を提供し、
前記メモリにはコンピュータ実行命令が記憶されており、
前記少なくとも１つのプロセッサが前記メモリに記憶されているコンピュータ実行命令を実行すると、前記少なくとも１つのプロセッサが上記の第１の態様及び第１の態様の様々な可能な設計に記載されている動画生成方法を実行する。

【0009】

第４の態様では、本開示の１つ又は複数の実施例によれば、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体にはコンピュータ実行命令が記憶されており、プロセッサが前記コンピュータ実行命令を実行すると、上記の第１の態様及び第１の態様の様々な可能な設計に記載されている動画生成方法が実現される。

【0010】

第５の態様では、本開示の実施例は、コンピュータプログラムを含む、コンピュータプログラム製品を提供し、前記コンピュータプログラムは可読記憶媒体に記憶されており、電子機器の少なくとも１つのプロセッサは前記可読記憶媒体から前記コンピュータプログラムを読み取り、前記少なくとも１つのプロセッサが前記コンピュータプログラムを実行すると、電子機器が上記の第１の態様及び第１の態様の様々な可能な設計に記載されている動画生成方法を実行する。

【0011】

第６の態様では、本開示の実施例は、コンピュータプログラムを提供し、当該コンピュータプログラムがプロセッサにより実行されるとき、上記の第１の態様及び第１の態様の様々な可能な設計に記載されている動画生成方法が実現される。

【発明の効果】

【0012】

本開示の実施例により提供される動画生成方法、装置、機器及び可読記憶媒体によれば、電子機器は、ソース画像を取得した後、ソース画像に基づき、色の薄い順に従って、画家が目標スケッチを描画することを模擬する過程の異なる段階のスケッチ画像を生成し、目標スケッチ画像ごとに、描画完成度の低い順に従って、画家が当該スケッチ画像を描画することを模擬する過程での複数のサブ画像を生成し、そして複数のスケッチ画像のうち各々のスケッチ画像の各サブ画像をスケッチ描画動画の動画フレームとして、色濃度の薄い順及び描画完成度の低い順に従って動画フレームの順序を設定し、スケッチ描画動画を生成する。当該過程では、画像処理を利用して、画家がスケッチ画像を作成する各段階を模擬し、そのプロセスが簡単でかつ深層学習のプロセスが不要であり、効率が高い。

【図面の簡単な説明】

【0013】

以下、本開示の実施例や従来の技術における解決手段をより明瞭に説明するために、実施例又は従来の技術の記述において使用する必要がある図面を簡単に説明する。当然ながら、以下、記載する図面は本開示のいくつかの実施例であり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面を想到しうる。

【図1】本開示の実施例により提供される動画生成方法のネットワークアーキテクチャ概略図である。

【図2】本願の実施例により提供される動画生成方法のフローチャートである。

【図3】本開示の実施例により提供される複数のスケッチ画像の概略図である。

【図4】本開示の実施例により提供される複数のサブ画像の概略図である。

【図5】本開示により提供される動画生成方法におけるサブ画像描画のプロセス概略図である。

【図6】本開示により提供される動画生成方法のプロセス概略図である。

【図7】本開示により提供される動画生成方法における顔のキーポイントの概略図である。

【図8】本開示により提供される動画生成方法における髪領域の第２のマスクの概略図である。

【図9】本開示により提供される動画生成方法における第１の凸包領域及び第２の凸包領域の概略図である。

【図10】本開示の実施例により提供される動画生成装置の構造概略図である。

【図11】本開示の実施例を実現するための電子機器の構造概略図である。

【発明を実施するための形態】

【0014】

以下、本開示の実施例の目的、技術的解決手段及び利点をより明瞭にするために、本開示の実施例に係る図面を参照しながら、その技術的解決手段について明瞭、且つ完全に説明し、当然ながら、記載される実施例は本開示の実施例の一部にすぎず、そのすべての実施例ではない。当業者は、本開示における実施例に基づいて創造的な労働をすることなく、獲得されたその他のすべての実施例は、いずれも本開示の保護範囲に属する。

【0015】

現在、鉛筆画をスケッチする過程を撮るショート動画は、ユーザの人気を集めており、この種の動画は、プロの画家が現場で鉛筆画のスケッチを作成する過程を撮影して得られたものである。しかし、一般のユーザには画力がないため、現場で撮影してショート動画を録画する上記の手段は一般のユーザに適しないことが明らかである。

【0016】

したがって、本開示は、ソース画像及び目標スケッチに基づき、画家が一筆一筆で絵を描くことを模擬する動画を生成する解決手段を提案し、そのプロセスが簡単であり、多くの一般のユーザの需要を満たす。

【0017】

図１は、本開示の実施例により提供される動画生成方法のネットワークアーキテクチャ概略図である。図１を参照すると、当該ネットワークアーキテクチャは、端末機器１、サーバ２、及びネットワーク３を含み、端末機器１とサーバ２はネットワーク３を介してネットワーク接続を確立する。ネットワーク３は、有線や、無線通信リンク、光ファイバケーブルなど、さまざまなネットワーク接続タイプを含む。

【0018】

ユーザは端末機器１を利用してネットワーク３を介してサーバ２とインタラクションし、メッセージなどを送受信する。端末機器１には、動画再生系アプリケーション、ショッピング系アプリケーション、検索系アプリケーション、インスタントメッセンジャー、メールボックスクライアント端末、ソーシャルプラットフォームソフトウェアなど、さまざまな通信クライアント端末アプリケーションがインストールされている。

【0019】

端末機器１は、ハードウェアであってもよいし、ソフトウェアであってもよい。端末機器１はハードウェアである場合、端末機器１は例えば、携帯電話、タブレットコンピュータ、電子書籍リーダー、ラップトップ携帯型コンピュータ、デスクトップコンピュータなどである。端末機器１はソフトウェアである場合、上記列記したハードウェアデバイスにインストールされることができ、この場合、端末機器１は例えば、複数のソフトウェアモジュール又は単一のソフトウェアモジュールなどであり、本開示の実施例はそれを限定しない。

【0020】

サーバ２は、複数のサービスを提供できるサーバであり、端末機器から送信されたソース画像を受信し、ソース画像に基づき、画家が一筆一筆でスケッチ画像を作成することを模擬する動画を生成するために用いられる。

【0021】

サーバ２は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ２はハードウェアである場合、当該サーバ２は単一のサーバ又は複数のサーバからなる分散サーバクラスタである。サーバ２はソフトウェアである場合、複数のソフトウェアモジュール又は単一のソフトウェアモジュールなどであってもよく、本開示の実施例はそれを限定しない。

【0022】

なお、図１の端末機器１、サーバ２、及びネットワーク３の数は単に例示的なものである。実際に実現する際に、実際の必要に応じて任意の数の電子機器１、サーバ２、及びネットワーク３を配置する。

【0023】

また、本開示に係る動画生成方法は、端末機器１により実行される場合、ネットワークに接続する必要がないため、上記の図１のサーバ２及びネットワーク３は存在しなくてもよい。

【0024】

以下、図１に示されるネットワークアーキテクチャに基づき、本願の実施例に記載される動画生成方法を詳細に説明する。例示的に、図２を参照する。

【0025】

図２は、本願の実施例により提供される動画生成方法のフローチャートである。本実施例の実行主体は電子機器であり、当該電子機器は例えば、上記の図１の端末機器又はサーバである。本実施例は、以下のステップを含む。

【0026】

１０１では、ソース画像を取得する。

【0027】

例示的に、電子機器はローカルからソース画像を取得するか、または、インターネットからソース画像を取得する。ソース画像は（ｉｍａｇｅ＿ｓｒｃ）とも呼ばれる。ソース画像は、赤緑青（ｒｅｄ ｇｒｅｅｎ ｂｌｕｅ、ＲＧＢ）画像や白黒写真などであり、本開示の実施例はそれを限定しない。

【0028】

１０２では、前記ソース画像に基づいて複数のスケッチ画像を生成する。

【0029】

前記複数のスケッチ画像は異なる色濃度での前記ソース画像のスケッチ画像にそれぞれ対応する。

【0030】

例示的に、プロの画家がスケッチ画像を作成する過程は段階的な過程であり、作品全体の視覚的な感じは色が薄いものから濃いものまで変化することである。本ステップでは、電子機器は、ソース画像に基づいて、複数のスケッチ画像を生成し、これらのスケッチ画像は色が徐々に濃くなっていく。例示的に、図３を参照する。

【0031】

図３は、本開示の実施例により提供される複数のスケッチ画像の概略図である。図３を参照すると、最左端はソース画像であり、当該画像は色付きのＲＧＢ画像又は白黒写真などであってもよく、（1）～（4）は異なるスケッチ画像である。実際に作成する過程では、１つの作品の実際の生成過程は（1）から（4）までのようになっている。したがって、電子機器は、画像処理アルゴリズムを利用してソース画像を処理することにより、ソース画像に基づき、スケッチ画像（1）～（4）を得る。スケッチ画像（4）は例えば、最終的な製品であり、プロの画家が作成した完成品に相当する。

【0032】

なお、上記のスケッチ画像（1）～（4）は、単に異なるスケッチ画像を例示的に説明するためのものであり、必ずしも４つのスケッチ画像であるとは限らない。実際に実現するとき、色が薄いものから濃いものまでのスケッチ画像の数は４未満であってもよいし、４を超えてもよい。

【0033】

１０３では、目標スケッチ画像に基づいて前記目標スケッチ画像の複数のサブ画像を生成する。

【0034】

前記複数のサブ画像は、異なる描画完成度での前記目標スケッチ画像のスケッチ画像にそれぞれ対応し、前記目標スケッチ画像は前記複数のスケッチ画像のうちのいずれかのスケッチ画像である。

【0035】

例示的に、上記の複数のスケッチ画像のうちのいずれかのスケッチ画像は、以降、目標スケッチ画像と呼ばれ、プロの画家は当該目標スケッチ画像を作成するとき、一筆書きでできるわけではなく、何段階に分けて複数回描画して完成される。電子機器は、当該過程を模擬するために、目標スケッチ画像に対して、以降、サブ画像と呼ばれる異なる描画完成度でのスケッチ画像を生成する。隣接する第１のサブ画像と第２のサブ画像について、第２のサブ画像に含まれる筆触領域が第１のサブ画像に含まれる筆触領域より多い。例えば、描画完成度は口を描いてから眼を描くように指示する場合、第１のサブ画像には、描画済みの口が含まれ、第２のサブ画像には、描画済みの口のほかに、描画済みの眼も含まれる。

【0036】

また、同一の部位であっても、描画を完成させるには複数のストロークが必要である場合がある。例えば、第１のサブ画像には描画済みの口の輪郭が含まれ、第２のサブ画像には描画済みの口の輪郭のほかに、口への充填なども含まれる。

【0037】

以下、顔輪郭を例にして、複数のサブ画像を詳細に説明する。例示的に、図４を参照すると、図４は、本開示の実施例により提供される複数のサブ画像の概略図である。

【0038】

図４を参照すると、動画の長さは１５秒で、１秒間に３０フレーム、合計４５０フレームの画像が含まれることを仮定する。当該４５０フレームの画像のうちの３０フレームは顔輪郭の描画に用いられると、３０個のサブ画像があることに相当し、当該３０フレームの画像は、プロの画家が３０ストロークで顔輪郭を完成することを模擬することに相当する。複数のサブ画像における筆触領域は多くなる。筆触領域は顔輪郭となり、図４に示すように、３０フレームの画像のうち、第１のフレームの画像における顔輪郭が最も少なく、第２のフレームの画像における顔輪郭が多くなり、第３０フレームの画像においては、顔全体の輪郭が描画されるようになった。

【0039】

１０４では、前記複数のスケッチ画像のうち各々のスケッチ画像の各サブ画像をスケッチ描画動画の動画フレームとして、色濃度の薄い順及び描画完成度の低い順に従って前記動画フレームの順序を設定し、前記スケッチ描画動画を生成する。

【0040】

例示的に、電子機器は複数のスケッチ画像のうち各々のスケッチ画像のサブ画像を生成した後、すべてのサブ画像を動画フレームとする。そして、描画完成度の低い順に従って、目標スケッチ画像の各サブ画像の順序を設定すると、目標スケッチ画像の作成を模擬したサブ動画は得られ、さらに、色の薄い順に従って、各サブ動画の順序を設定してこれらのサブ動画を合成すると、スケッチ描画動画は得られる。

【0041】

電子機器はサーバである場合、電子機器は、スケッチ描画動画を携帯電話などの移動端末に送信して、スケッチ描画動画を携帯電話などの移動端末で再生する。または、電子機器は携帯電話などの移動端末である場合、当該スケッチ描画動画を直接に再生するか、または当該スケッチ描画動画をローカルなどに記憶する。

【0042】

本開示の実施例により提供される動画生成方法によれば、電子機器は、ソース画像を取得した後、ソース画像に基づき、色の薄い順に従って、画家が目標スケッチを描画することを模擬する過程の異なる段階のスケッチ画像を生成し、各目標スケッチ画像に対して、描画完成度の低い順に従って、画家が当該スケッチ画像を描画することを模擬する過程での複数のサブ画像を生成し、そして複数のスケッチ画像のうち各々のスケッチ画像の各サブ画像をスケッチ描画動画の動画フレームとして、色濃度の薄い順及び描画完成度の低い順に従って動画フレームの順序を設定し、スケッチ描画動画を生成する。当該過程では、画像処理を利用して画家がスケッチ画像を作成する各段階を模擬し、そのプロセスが簡単でかつ深層学習のプロセスが不要であり、効率が高い。

【0043】

上記の実施例では、電子機器は、目標スケッチ画像に基づいて前記目標スケッチ画像の複数のサブ画像を生成する際、第１のマスクの画素のマスク値の成長順序を決定し、前記第１のマスクの画素の初期マスク値は０であり、前記第１のマスクの画素の成長は、前記画素のマスク値が０から１へと変更することを指示するために用いられ、前記第１のマスクは、前記目標スケッチ画像の背景が前記成長順序に従って前記目標スケッチ画像へと徐々に変化するようにさせるために用いられる。そして、前記成長順序、前記目標スケッチ画像、及び前記目標スケッチ画像の背景に基づき、前記複数のサブ画像を生成し、前記成長順序の各成長は、前記複数のサブ画像のうちの各々のサブ画像に1対1に対応する。

【0044】

例示的に、複数のスケッチ画像のうちのいずれかのスケッチ画像は、以降、目標スケッチ画像と呼ばれ、電子機器は、当該目標スケッチ画像のために第１のマスク（ｍａｓｋ）を設定し、第１のマスク上の画素の初期マスク値はいずれも０である。そして、電子機器は第１のマスクの画素の成長順序を決定し、１つの成長順序はマスク値が０から１へと変化する画素がどの画素であるかを指示するために用いられ、成長ごとに、プロの画家が絵を描く過程での１つ又は複数のストロークに対応する。例えば、上唇輪郭の画素点のマスク値が０から１へと変化することを指示する成長があると、当該成長に応じて上唇輪郭を描画することができる。

【0045】

当該手段を用いて、鉛筆画スケッチを描画する過程の異なる段階のサブ画像を生成することにより、画家がスケッチ画像を描画することを精確に模擬する目的を達成する。

【0046】

上記の実施例では、電子機器は、前記成長順序、前記目標スケッチ画像、及び前記目標スケッチ画像の背景に基づき、前記複数のサブ画像を生成する際、まず、前記成長順序の各成長に対して、前記第１のマスクから前記成長に対応する第１の画素セットを決定する。

【0047】

例示的に、色が薄いものから濃いものまでの複数のスケッチ画像のうち、隣接する２つのスケッチ画像について、実際の作成過程では、後者のスケッチ画像が実際に、前者のスケッチ画像に基づいて引き続き描画して得られたものである。

【0048】

したがって、目標スケッチ画像の作成過程は実際に、目標スケッチ画像の背景上で描画し、背景を目標スケッチ画像に変換する過程である。当該過程を実現するために、第１のマスクの画素のマスク値の変化を制御する必要がある。例えば、初期時に、第１のマスクの各画素のマスク値はいずれも０であり、このとき、背景には何の変化もない。電子機器は、成長するたびに、当該成長に応じて、第１のマスクから第１の画素セットを決定する。例えば、１つの成長時に、上唇輪郭を表す第１のマスクの画素のマスク値は１に変化する場合、上唇輪郭を表す画素を第１の画素セットとする。

【0049】

そして、前記第１の画素セットに基づいて、前記目標スケッチ画像から第２の画素セットを決定するとともに、前記背景から第３の画素セットを決定し、前記第１の画素セット、前記第２の画素セット、及び前記第３の画素セットにおける画素は1対1に対応する。

【0050】

例示的に、目標スケッチ画像、第１のマスク、及び背景の画素は1対1に対応するため、電子機器は、第１のマスクから第１の画素セットを決定すると、目標スケッチ画像から第２の画素セットを決定するとともに、背景から第３の画素セットを決定することができる。

【0051】

そして、電子機器は、前記第１の画素セットにおける第１の画素のマスク値、前記第２の画素セットにおける第２の画素の画素値、及び前記第３の画素セットにおける第３の画素の画素値に基づき、第４の画素の画素値を決定し、前記第４の画素の画素値＝前記第１の画素のマスク値×前記第２の画素の画素値＋前記第３の画素の画素値×（１－前記第１の画素のマスク値）とする。背景の中の第３の画素を第４の画素に更新し、前記成長に対応するサブ画像を得る。

【0052】

例示的に、図５を参照すると、図５は、本開示により提供される動画生成方法におけるサブ画像描画のプロセス概略図である。図５を参照すると、背景上の各画素の画素値は２５５であり、つまり、背景は純白な背景である。第１のマスクの１つの成長に対応する画素はマスク値が１である６個の画素であることを仮定すると、最終的に、当該６個の画素が含まれる折れ線を背景上に描画し、当該６個の画素のグレースケール値はそれぞれ、９０、０、２３、２３、２５５、８９である。

【0053】

当該手段を用いて、各サブ画像を背景上に描画する過程を模擬することにより、画家がスケッチ画像を描画することを精確に模擬する目的を達成する。

【0054】

上記の実施例では、前記目標スケッチ画像は前記複数のスケッチ画像のうち最も薄い色のスケッチ画像でない場合、前記背景は前記複数のスケッチ画像のうち前記目標スケッチ画像に隣接し、且つ前記目標スケッチ画像よりも前に位置するスケッチ画像であるが、前記目標スケッチ画像は前記複数のスケッチ画像のうち最も薄い色のスケッチ画像である場合、前記背景は前記目標スケッチ画像と同じサイズの白い画像である。

【0055】

例示的に、再び図３を参照すると、スケッチ画像（2）は、スケッチ画像（1）を引き続き描画して得られたものであり、スケッチ画像（3）は、スケッチ画像（2）に基づいて得られたものである。スケッチ画像（1）は、実際に白い背景上で描画して得られたものである。つまり、スケッチ画像（1）の背景は白い背景であり、当該白い背景の各画素の画素値は２５５であり、スケッチ画像（2）の背景はスケッチ画像（1）であり、その他はこれによって類推する。

【0056】

当該手段を用いて、異なる段階のスケッチ画像は異なる背景に対応し、画家がスケッチ画像を描画することを精確に模擬する目的を達成する。

【0057】

上記の実施例では、第１のマスクの成長順序の各成長は複数のサブ画像のうちの各々のサブ画像に1対1に対応し、成長順序は前記ソース画像の中の人物の顔輪郭の成長順序を含む。ソース画像には人物が含まれる場合、電子機器は、第１のマスクの画素のマスク値の成長順序を決定するとき、まず、前記ソース画像の中の顔のキーポイントを抽出してキーポイントセットを得る。そして、電子機器は、前記ソース画像に基づいて前記ソース画像の中の人物の髪領域の第２のマスクを決定する。そして、電子機器は、前記キーポイントセットに基づいて前記人物の顔の第１の凸包領域を決定するとともに、前記第１の凸包領域と前記第２のマスクとの共通部分に基づいて前記第２のマスクから第２の凸包領域を決定する。最後に、電子機器は、前記第２の凸包領域において筆触速度に従って前記キーポイントセットにおける顔輪郭キーポイントを順次接続し、前記ソース画像の中の人物の顔輪郭の成長順序を得て、前記筆触速度は前記動画の時間の長さに基づいて決定されるものである。

【0058】

例示的に、図６を参照すると、図６は、本開示により提供される動画生成方法のプロセス概略図である。図６を参照すると、電子機器は、ソース画像を取得した後、顔のキーポイント検出モデルを利用して顔立ちキーポイントと顔輪郭キーポイントとを抽出するとともに、髪分割モデルを利用して人物の髪領域の第２のマスクを決定する。

【0059】

図７は、本開示により提供される動画生成方法における顔のキーポイントの概略図である。図７を参照すると、顔のキーポイントは、左眉、右眉、左眼、右眼、鼻、口及び顔輪郭という７つのキーポイントを含む。図のキーポイントの横の数字はキーポイントの番号を表し、例えば、顔輪郭は３４個のキーポイントがある場合、番号１～番号３４の各々が表すキーポイントは顔輪郭のキーポイントである。

【0060】

図８は、本開示により提供される動画生成方法における髪領域の第２のマスクの概略図であり、図８を参照すると、髪領域の第２のマスクは、絵を描くことを模擬する過程での順序混乱の問題を回避するために用いられ、例えば、実際に絵を描くとき、髪は最初に描かれるのではなく、まず、顔輪郭を描画して、次に、眉毛を描画し、そして、眼を描画し、最後に髪を補填するようになっている。したがって、第２のマスクを利用すると、髪領域を覆い隠すことができ、それによって、絵を描くことを模擬する過程で髪が最初に描かれ、模擬過程全体が不自然になることは回避される。

【0061】

顔輪郭を描画するとき、まず、第１のマスクの中の顔輪郭の成長順序を決定する。決定する過程において、電子機器は、キーポイントセットに基づいて第１のマスクから第１の凸包領域を決定する。例えば、電子機器は、顔輪郭キーポイント、左眉キーポイント、及び右眉キーポイントを順に接続すれば、第１の凸包領域を得ることができる。そして、電子機器は、第１の凸包領域と図８示される第２のマスクとの共通部分を決定すれば、第２の凸包領域を決定することができる。

【0062】

図９は、本開示により提供される動画生成方法における第１の凸包領域及び第２の凸包領域の概略図であり、図９を参照すると、第１の凸包領域には髪により覆われる領域が存在しているので、描画を模擬する過程では髪が最初に描かれるという問題を回避するために、第１の凸包領域のうち髪により覆われている領域を除去する必要があり、このようにして第２の凸包領域を得る。第２の凸包領域に基づいて背景において顔の位置を決定することができる。そして、背景の中で顔の位置において顔輪郭及び顔立ちなどを描画する必要があり、そして、目標スケッチ画像が背景上にすこしずつ現れるように、髪と人物以外の領域を描画し、目標スケッチ画像を描画する過程を模擬する。

【0063】

顔輪郭を描画する過程は、実際に、第１のマスクの中に顔輪郭を表す画素のマスク値が０から１へと変化する過程、すなわち、第１のマスクの中に顔輪郭を表す画素の成長過程である。当該成長過程は成長順序及び筆触速度を含み、成長順序は顔輪郭キーポイントを順次接続する過程であり、例えば、１～３４番目の顔輪郭キーポイントを順次接続することにより、顔輪郭の成長順序を得る。成長速度は動画の長さに基づいて決定されるものである。例えば、１つの４５０フレームの動画では、顔輪郭を３ストロークで描き終わることを望む場合、第１のマスクが顔輪郭の描画中に３回成長し、１回に約１１個の画素を成長することに相当し、視覚的には、画家が顔輪郭の描画を３ストロークで完成させることを模擬することに相当し、３つのサブ画像、すなわち、３つの画像フレームに対応する。また、例えば、顔輪郭を１秒で描画することを望む場合、第１のマスクが３０回成長することに相当し、画家が顔輪郭を３０ストロークで描き終わる過程を模擬することに相当する。

【0064】

顔輪郭を描画した後、第１のｍａｓｋの中に顔輪郭位置のマスク値は１となる。この後の顔立ちの描画中に、顔輪郭のマスク値は継続的に１のままである。

【0065】

当該手段を用いて、画家が顔輪郭を描画する過程を精確に模擬することを実現する。

【0066】

再び図６を参照すると、電子機器は、顔輪郭の成長順序を決定した後、各顔立ち領域の成長順序を決定する必要もある。電子機器は、決定中に、前記キーポイントセットから前記顔の異なる領域のキーポイントを決定し、各領域のキーポイントに基づいて前記顔の各領域を補間し、補間された領域に基づいて、前記第２の凸包領域において筆触速度に従って、前記ソース画像の中の人物の顔の対応する領域の成長順序を決定する。

【0067】

例示的に、顔輪郭は比較的簡単なものであるため、顔のキーポイントを順次接続して得られる折れ線でもって顔輪郭を表すことができる。しかし、顔立ち領域の場合では、顔立ち領域のキーポイントを順次接続して得られる画像は写実的なスケッチ画像の要件を満たすことができず、例えば、図７を参照すると、左眉の２行のキーポイントを順次接続すると、中央に空白部分があるため、スケッチ画像としての要件を満たすことができないことは明らかである。また、各行のキーポイントを順次接続して左眉を２ストロークで描画する効果も明らかに不合理なものであるため、顔立ち領域の場合では、キーポイントを順次接続するだけでは不十分であり、この場合では、異なる顔立ち領域に応じて、異なる手段を用いて補間する必要があり、補間された領域に基づいて、背景の第２の凸包の領域内に筆触速度に従って顔立ち領域に対応する成長順序を決定し、この後に異なる手段を講じながら顔立ちを描画することのために下ごしらえをする。

【0068】

上記手段を用いて、異なる顔立ち領域に応じて異なる補間アルゴリズムを利用して、画家が顔立ちを描画する過程を精確に模擬することを実現する。

【0069】

上記の実施例では、電子機器は、前記顔の異なる領域に対して、前記領域のキーポイントに基づいて補間を行うとき、顔の眉領域に対して、前記眉領域のキーポイントに基づいて横方向に複数の曲線を補間する。

【0070】

例示的に、再び図７を参照すると、左眉領域を例にすると、左眉のキーポイントは２行のキーポイントがあり、上側の行のキーポイントと下側の行のキーポイントは1対1に対応し、電子機器は、各グループのキーポイントに対してその平均値を決定し、左眉領域のキーポイントを３行のキーポイントに補間する。さらに、電子機器は、左眉領域のキーポイントを４行又は５行のものに補間してもよく、本開示の実施例はそれを限定せず、行数は精度と関係付けられている。左眉は、補間後に、７～８ストロークで描画できるようになるため、画家が絵を描く過程をより合理的に模擬することができる。

【0071】

前記顔領域における眼球領域に対しては、前記眼球領域のキーポイントに基づいて、円形領域で前記眼球領域を補間する。

【0072】

例示的に、眼球は丸いので、瞳孔を横線で描画することができない。したがって、眼球領域に対しては、円補間を利用して、まず、眼球を表す円を描き、そして、小さな円を１つずつ補間して、空洞のない円が形成されるまで行う。補間中に、眼球の円心及び円周上の点の平均値を決定し、当該平均値を半径として、眼球の円心を中心に１つの円を補間する。第１のマスクの角度から見ると、第１のマスクは成長するたびに、成長する画素が形成する画像は折れ線ではなく、１つ又は複数の円となる。

【0073】

前記顔領域における口領域に対しては、前記口領域のキーポイントに基づいて複数の曲線を縦方向に補間する。

【0074】

例示的に、口領域のキーポイントだけで口輪郭しか描画できないため、口輪郭を完成させた後、充填時に縦線で補間する。第１のマスクの角度から見ると、第１のマスクは口輪郭の成長が完了した後、唇部分では、毎回成長する画素が形成する画像は複数の縦線となる。

【0075】

上記手段を用いて、顔立ち領域に応じて異なる補間アルゴリズムを利用して、画家が顔立ちを描画する過程を精確に模擬することを実現する。

【0076】

上記の実施例では、電子機器は、顔輪郭及び顔立ちを描画した後、最後のいくつかのフレームの画像で髪と人物以外の背景領域を補完する。例えば、４５０フレームの動画では、９０フレームは、図３のスケッチ画像（1）の生成のために用いられ、当該９０フレームの最初の８８フレームは顔輪郭及び顔立ちの描画のために用いられ、第８９のフレームは髪の追加のために用いられ、第９０のフレームは、人物以外の背景領域の追加のために用いられる。

【0077】

上記の実施例では、電子機器は、前記ソース画像に基づいて複数のスケッチ画像を生成するとき、まず、前記ソース画像に基づいてグレースケール画像を生成する。そして、電子機器は複数のガウスカーネルを決定し、前記複数のガウスカーネルのうちのガウスカーネルと前記複数のスケッチ画像のうちのスケッチ画像は1対1に対応し、濃い色のスケッチ画像の対応するガウスカーネルのサイズは、薄い色のスケッチ画像の対応するガウスカーネルよりも大きい。次に、電子機器は、前記複数のガウスカーネルに基づいて、前記グレースケール画像のそれぞれに対してガウスぼかしを行い、前記複数のガウスカーネルのうちの各ガウスカーネルに対応するガウスぼかし画像を得る。最後に、電子機器は、前記複数のガウスカーネルのうちの各ガウスカーネルに対応するガウスぼかし画像と前記グレースケール画像に基づいて、前記複数のスケッチ画像を生成する。

【0078】

例示的に、電子機器は、ソース画像を取得した後、ソース画像に対してメディアンフィルタなどのノイズリダクション処理を行う。そして、電子機器は、ソース画像の各々の画素に対してグレースケール処理を行い、これによりソース画像をグレースケール画像に変換する。電子機器は、グレースケール画像を得た後、ガウス畳み込みなどに基づいてガウスぼかしに対応するガウスカーネル（ｋｅｒｎｅｌ）を決定し、当該ガウスｋｅｒｎｅｌを用いてグレースケール画像に対してガウスぼかしを行い、ガウスぼかし画像を得る。ガウスカーネルのサイズは大きいほど、当該ガウスカーネルを用いてグレースケール画像に対してガウスぼかしを行うことにより得られるガウスぼかし画像は色が濃くなる。

【0079】

電子機器は、複数のスケッチ画像のうちの各スケッチ画像の対応するガウスぼかし画像を得た後、ガウスぼかし画像とグレースケール画像とを素材として用いて、白黒スケッチ画像を生成する。例えば、電子機器は、ガウスぼかし画像の画素とグレースケール画像の対応する画素とに対して融合処理を行うことにより、スケッチ画像を生成する。融合中に、ソース画像、グレースケール画像、ガウスぼかし画像、及びスケッチ画像は、サイズが同じで、画素が1対1に対応する。したがって、電子機器は、グレースケール画像とガウスぼかし画像との画素の画素値に基づいて、白黒スケッチ画像の対応する画素の画素値を決定し、それによってスケッチ画像を得ることができる。例えば、電子機器は、ガウスぼかし画像を生成した後、ドッジ（ｄｏｄｇｅ）モードで、すなわち、下記の式（１）を用いて効果抽出を行う。
ｉｍａｇｅ＿ｔａｒｇｅｔ＝(ｉｍａｇｅ＿ｇｒａｙ／ｇｒａｙ＿ｂｌｕｒ)×２５５
式（１）
ここで、ｉｍａｇｅ＿ｔａｒｇｅｔはスケッチ画像の画素の画素値を表し、ｉｍａｇｅ＿ｇｒａｙはグレースケール画像の画素の画素値を表し、ｇｒａｙ＿ｂｌｕｒ１はガウスぼかし画像の画素の画素値を表す。

【0080】

上記手段を用いて、異なるガウスｋｅｒｎｅｌのｄｏｄｇｅに基づいて異なる段階のスケッチ画像を得ることができる。

【0081】

上記した実施例に係る動画生成方法に対応し、図１０は、本開示の実施例により提供される動画生成装置の構造概略図である。説明の便宜上、本開示の実施例に関連する部分のみを示している。図１０を参照すると、前記装置は、取得ユニット１１、第１の生成ユニット１２、第２の生成ユニット１３、及び第３の生成ユニット１４を含む。

【0082】

取得ユニット１１は、ソース画像を取得するために用いられる。

【0083】

第１の生成ユニット１２は、前記ソース画像に基づいて複数のスケッチ画像を生成するために用いられ、前記複数のスケッチ画像は異なる色濃度での前記ソース画像のスケッチ画像にそれぞれ対応する。

【0084】

第２の生成ユニット１３は、目標スケッチ画像に基づいて前記目標スケッチ画像の複数のサブ画像を生成するために用いられ、前記複数のサブ画像は、異なる描画完成度での前記目標スケッチ画像のスケッチ画像にそれぞれ対応し、前記目標スケッチ画像は前記複数のスケッチ画像のうちのいずれかのスケッチ画像である。

【0085】

第３の生成ユニット１４は、前記複数のスケッチ画像のうち各々のスケッチ画像の各サブ画像をスケッチ描画動画の動画フレームとして、色濃度の薄い順及び描画完成度の低い順に従って前記動画フレームの順序を設定し、前記スケッチ描画動画を生成するために用いられる。

【0086】

本開示の１つの実施例では、前記第２の生成ユニット１３は、第１のマスクの画素のマスク値の成長順序を決定し、前記第１のマスクの画素の初期マスク値は０であり、前記第１のマスクの画素の成長は、前記画素のマスク値が０から１へと変更することを指示するために用いられ、前記第１のマスクは、前記目標スケッチ画像の背景が前記成長順序に従って前記目標スケッチ画像へと徐々に変化するようにさせるために用いられること、及び、前記成長順序、前記目標スケッチ画像、及び前記目標スケッチ画像の背景に基づいて前記複数のサブ画像を生成し、前記成長順序の各成長と前記複数のサブ画像の各々のサブ画像は1対1に対応すること、に用いられる。

【0087】

本開示の１つの実施例では、前記第２の生成ユニット１３は、前記成長順序、前記目標スケッチ画像、及び前記目標スケッチ画像の背景に基づいて前記複数のサブ画像を生成するとき、前記成長順序の各成長に対して、前記第１のマスクから前記成長に対応する第１の画素セットを決定すること、前記第１の画素セットに基づいて前記目標スケッチ画像から第２の画素セットを決定するとともに、前記背景から第３の画素セットを決定し、前記第１の画素セット、前記第２の画素セット、及び前記第３の画素セットにおける画素は1対1に対応すること、前記第１の画素セットにおける第１の画素のマスク値、前記第２の画素セットにおける第２の画素の画素値、及び前記第３の画素セットにおける第３の画素の画素値に基づき、第４の画素の画素値を決定し、前記第４の画素の画素値＝前記第１の画素のマスク値×前記第２の画素の画素値＋前記第３の画素の画素値×（１－前記第１の画素のマスク値）とすること、及び、前記背景の前記第３の画素を前記第４の画素に更新し、前記成長に対応するサブ画像を得ること、に用いられる。

【0088】

本開示の１つの実施例では、前記目標スケッチ画像は前記複数のスケッチ画像のうち最も薄い色のスケッチ画像ではない場合、前記背景は前記複数のスケッチ画像のうち前記目標スケッチ画像に隣接し、且つ前記目標スケッチ画像よりも前に位置するスケッチ画像であるが、前記目標スケッチ画像は前記複数のスケッチ画像のうち最も薄い色のスケッチ画像である場合、前記背景は前記目標スケッチ画像と同じサイズの白い画像である。

【0089】

本開示の１つの実施例では、前記ソース画像には人物が含まれ、前記成長順序は前記ソース画像の中の人物の顔輪郭の成長順序を含み、前記第２の生成ユニット１３は、第１のマスクの画素のマスク値の成長順序を決定するとき、前記ソース画像の中の顔のキーポイントを抽出してキーポイントセットを得ること、前記ソース画像に基づいて前記ソース画像の中の人物の髪領域の第２のマスクを決定すること、前記キーポイントセットに基づいて前記人物の顔の第１の凸包領域を決定すること、前記第１の凸包領域と前記第２のマスクとの共通部分に基づいて前記第２のマスクから第２の凸包領域を決定すること、及び、前記第２の凸包領域において筆触速度に従って前記キーポイントセットにおける顔輪郭キーポイントを順次接続し、前記ソース画像の中の人物の顔輪郭の成長順序を得て、前記筆触速度は前記動画の時間の長さに基づいて決定されるものであること、に用いられる。

【0090】

本開示の１つの実施例では、前記第２の生成ユニット１３は、前記第２の凸包領域において筆触速度に従って前記キーポイントセットにおける顔輪郭キーポイントを順次接続し、前記ソース画像の中の人物の顔輪郭の成長順序を得た後、さらに、前記キーポイントセットから前記顔の異なる領域のキーポイントを決定すること、各領域のキーポイントに基づいて前記顔の各領域を補間すること、及び、補間された領域に基づいて、前記第２の凸包領域において筆触速度に従って、前記ソース画像の中の人物の顔の対応する領域の成長順序を決定すること、に用いられる。

【0091】

本開示の１つの実施例では、前記第２の生成ユニット１３は、前記顔の異なる領域に対して、前記領域のキーポイントに基づいて補間を行うとき、前記顔における眉領域に対しては、前記眉領域のキーポイントに基づいて横方向に複数の曲線を補間すること、前記顔領域における眼球領域に対しては、前記眼球領域のキーポイントに基づいて円形領域で前記眼球領域を補間すること、及び、前記顔領域における口領域に対しては、前記口領域のキーポイントに基づいて複数の曲線を縦方向に補間すること、に用いられる。

【0092】

本開示の１つの実施例では、前記第１の生成ユニット１２は、前記ソース画像に基づいてグレースケール画像を生成すること、複数のガウスカーネルを決定し、前記複数のガウスカーネルのうちのガウスカーネルと前記複数のスケッチ画像のうちのスケッチ画像は1対1に対応し、濃い色のスケッチ画像の対応するガウスカーネルは薄い色のスケッチ画像の対応するガウスカーネルよりもサイズが大きいこと、前記複数のガウスカーネルに基づいて、前記グレースケール画像のそれぞれに対してガウスぼかしを行い、前記複数のガウスカーネルのうちの各ガウスカーネルに対応するガウスぼかし画像を得ること、及び、前記複数のガウスカーネルのうちの各ガウスカーネルに対応するガウスぼかし画像と前記グレースケール画像に基づいて前記複数のスケッチ画像を生成すること、に用いられる。

【0093】

本実施例により提供される装置は、上記の方法の実施例に係る解決手段を実行するために使用されることができ、その実現原理及び技術的効果が類似するため、本実施例はここで繰り返して説明しない。

【0094】

図１１は、本開示の実施例を実現するために用いられる電子機器の構造概略図であり、当該電子機器２００は、端末機器又はサーバにすることができる。端末機器は、携帯電話、ノートブックコンピュータ、デジタル放送受信機、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡと略称）、タブレットコンピュータ（Ｐｏｒｔａｂｌｅ Ａｎｄｒｏｉｄ Ｄｅｖｉｃｅ、ＰＡＤと略称）、携帯型マルチメディアプレーヤー（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ、ＰＭＰと略称）、車載端末（例えば、車載ナビゲーション端末）などのモバイル端末、及びデジタルＴＶ、デスクトップコンピュータなどの固定端末を含むことができるが、それらに限定されない。図１１に示される電子機器は単なる一例であり、本開示の実施例の機能及び使用範囲にいかなる制限も課すべきでない。

【0095】

図１１に示すように、電子機器２００は、処理装置（中央処理装置やグラフィックプロセッサなど）２０１を含むことができ、当該処理装置は、読み取り専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭと略称）２０２に記憶されたプログラムまたは記憶装置２０８からランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭと略称）２０３にロードされたプログラムに従って、さまざまな適切な動作及び処理を実行することができる。ＲＡＭ２０３には、電子機器２００の操作に必要なさまざまなプログラム及びデータも記憶されている。処理装置２０１、ＲＯＭ２０２及びＲＡＭ２０３は、バス２０４を介して互いに接続されている。入力／出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、Ｉ／Ｏと略称）インタフェース２０５もバス２０４に接続されている。

【0096】

通常、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力装置２０６と、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤと略称）、スピーカー、バイブレータなどを含む出力装置２０７と、磁気テープやハードディスクなどを含む記憶装置２０８と、通信装置２０９とは、Ｉ／Ｏインタフェース２０５に接続されることができる。通信装置２０９は、電子機器２００が他のデバイスと無線又は有線で通信してデータを交換することを可能にし得る。図１１は、さまざまなデバイスを備える電子機器２００を示すが、図示されたデバイスのすべてが実施又は配置される必要があるわけではないことを理解すべきである。代替的に、より多くの又は少ないデバイスが実施又は配置され得る。

【0097】

特に、本開示の実施例によれば、フローチャートを参照して説明されている上記のプロセスは、コンピュータソフトウェアプログラムとして実施されることができる。例えば、本開示の実施例は、コンピュータ可読媒体に搭載されているコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムがフローチャートに示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信装置２０９を介してネットワークからダウンロード及びインストールされるか、または記憶装置２０８からインストールされるか、またはＲＯＭ２０２からインストールされることができる。当該コンピュータプログラムは、処理装置２０１により実行されると、本開示の実施例に係る方法で限定されている上記の機能は実行される。

【0098】

なお、本開示に記載されたコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体又は上記２つの任意の組み合わせであり得る。コンピュータ可読記憶媒体は、例えば、電気的、磁気的、光学的、電磁的、赤外線、又は半導体のシステム、装置又はデバイス、あるいは上記の任意の組み合わせにすることができるが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例として、１本又は複数のワイヤを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ又はフラッシュメモリと略称）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭと略称）、光ストレージデバイス、磁気メモリコンポーネント、または上記の任意の適切な組み合わせを含み得るが、それらに限定されない。本開示では、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって使用されるか、またはそれらに組み合わせて使用できるプログラムを含む又は記憶する任意の有形媒体であり得る。本開示では、コンピュータ可読信号媒体は、ベースバンドで、または搬送波の一部として伝播されるデータ信号を含むことができ、その中にコンピュータ可読プログラムコードが搭載されている。このような伝播されたデータ信号は、電磁信号、光信号、または上記の任意の適切な組み合わせを含むがそれらに限定されない多くの形をとることができる。コンピュータ可読信号媒体は、さらに、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体にすることができ、当該コンピュータ可読信号媒体は、命令実行システム、装置、またはデバイスによって使用されるか、またはそれらに組み合わせて使用するためのプログラムを送信、伝播、または伝送することができる。コンピュータ可読媒体に含まれたプログラムコードは、電線、光ファイバケーブル、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦと略称）などを含むがそれらに限定されない任意の適切な媒体、または上記の任意の適切な組み合わせを使用して伝送することができる。

【0099】

上記のコンピュータ可読媒体は、上記の電子機器に含まれていてもよく、または当該電子機器に組み立てられずに単独で存在していてもよい。

【0100】

上記のコンピュータ可読媒体には、１つ又は複数のコンピュータプログラムが搭載されており、上記の１つ又は複数のコンピュータプログラムは当該電子機器により実行されると、当該電子機器は、上記の実施例に示される方法を実行する。

【0101】

本開示の操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」言語又はそれに類似するプログラミング言語などの従来の手続き型プログラミング言語と、を含む１つ又は複数のプログラミング言語、あるいはそれらの組み合わせで書くことができる。プログラムコードは、完全にユーザのコンピュータ上で、一部はユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、一部はユーザのコンピュータ上で、一部はリモートコンピュータ上で、または完全にリモートコンピュータ又はサーバ上で実行できる。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク(Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮと略称)やワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮと略称)など、あらゆる種類のネットワークを介してユーザのコンピュータに接続されることができ、もしくは、外部コンピュータに接続されることもできる（例えば、インターネットサービスプロバイダーを使用してインターネット経由で接続する）。

【0102】

図面のフローチャート及びブロック図は、本開示の様々な実施例によるシステム、方法、及びコンピュータプログラム製品によって実現可能なアーキテクチャ、機能、及び操作を示している。これに関して、フローチャート又はブロック図の各ブロックは、指定される論理的機能を実現するための１つ又は複数の実行可能な命令を含むモジュール、グログラムセグメント、又はコードの一部を表すことができる。いくつかの代替の実現では、ブロックに示されている機能は、図に示されている順序と異なる順序で実行できることにも注意すべきである。例えば、連結して表示される２つのブロックは、実際には、基本的に並行して実行できるが、または、関連する機能に応じて、ブロックが逆の順序で実行される場合もある。なお、ブロック図及び／又はフローチャートの各ブロック、及びブロック図及び／又はフローチャートのブロックの組み合わせは、指定される機能又は操作を実行する専用のハードウェアベースのシステムを使用して実現することができ、または、専用のハードウェアとコンピュータ命令の組み合わせを使用して実現することもできる。

【0103】

本開示の実施例に記載されたユニットは、ソフトウェアで実現することができ、またはハードウェアで実現することもできる。これらのユニットの名称は、特定の状況下でのユニット自体を制限する目的ではない場合があり、例えば、第１の取得ユニットは、「少なくとも２つのインターネットプロトコルアドレスを取得するユニット」と記載してもよい。

【0104】

本明細書で上記に説明された機能は、少なくとも部分的に、１つ又は複数のハードウェアロジックコンポーネントによって実行され得る。例えば、使用できるハードウェアロジックコンポーネントの例示的なタイプとして、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡと略称）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣと略称）、特定用途向け標準部品（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｔ、ＡＳＳＰと略称）、システムオンチップ（Ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ、ＳＯＣと略称）、複雑なプログラマブルロジックデバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＣＰＬＤと略称）などを含むことができるが、それらに限定されない。

【0105】

本開示のコンテキストでは、コンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって使用されるか、またはそれらに組み合わせて使用できるプログラムを含む又は記憶する有形媒体であり得る。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であり得る。コンピュータ可読媒体は、電気的、磁気的、光学的、電磁的、赤外線、又は半導体のシステム、装置又はデバイス、あるいは上記の任意の組み合わせにすることができるが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例として、１本又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光ストレージデバイス、磁気メモリコンポーネント、または上記の任意の適切な組み合わせを含み得る。

【0106】

第１の態様では、本開示の１つ又は複数の実施例によれば、動画生成方法を提供し、前記方法は、ソース画像を取得するステップと、前記ソース画像に基づいて複数のスケッチ画像を生成するステップであって、前記複数のスケッチ画像は異なる色濃度での前記ソース画像のスケッチ画像にそれぞれ対応するステップと、目標スケッチ画像に基づいて前記目標スケッチ画像の複数のサブ画像を生成するステップであって、前記複数のサブ画像は、異なる描画完成度での前記目標スケッチ画像のスケッチ画像にそれぞれ対応し、前記目標スケッチ画像は前記複数のスケッチ画像のうちのいずれかのスケッチ画像であるステップと、前記複数のスケッチ画像のうち各々のスケッチ画像の各サブ画像をスケッチ描画動画の動画フレームとして、色濃度の薄い順及び描画完成度の低い順に従って前記動画フレームの順序を設定し、前記スケッチ描画動画を生成するステップと、を含む。

【0107】

本開示の１つ又は複数の実施例によれば、目標スケッチ画像に基づいて前記目標スケッチ画像の複数のサブ画像を生成するステップは、第１のマスクの画素のマスク値の成長順序を決定するステップであって、前記第１のマスクの画素の初期マスク値は０であり、前記第１のマスクの画素の成長は、前記画素のマスク値が０から１へと変更することを指示するために用いられ、前記第１のマスクは、前記目標スケッチ画像の背景が前記成長順序に従って前記目標スケッチ画像へと徐々に変化するようにさせるために用いられるステップと、前記成長順序、前記目標スケッチ画像、及び前記目標スケッチ画像の背景に基づいて前記複数のサブ画像を生成するステップであって、前記成長順序の各成長と前記複数のサブ画像の各々のサブ画像は1対1に対応するステップと、を含む。

【0108】

本開示の１つ又は複数の実施例によれば、前記成長順序、前記目標スケッチ画像、及び前記目標スケッチ画像の背景に基づいて前記複数のサブ画像を生成するステップは、前記成長順序の各成長に対して、前記第１のマスクから前記成長に対応する第１の画素セットを決定するステップと、前記第１の画素セットに基づいて前記目標スケッチ画像から第２の画素セットを決定するとともに、前記背景から第３の画素セットを決定するステップであって、前記第１の画素セット、前記第２の画素セット、及び前記第３の画素セットにおける画素は1対1に対応するステップと、前記第１の画素セットにおける第１の画素のマスク値、前記第２の画素セットにおける第２の画素の画素値、及び前記第３の画素セットにおける第３の画素の画素値に基づき、第４の画素の画素値を決定するステップであって、前記第４の画素の画素値＝前記第１の画素のマスク値×前記第２の画素の画素値＋前記第３の画素の画素値×（１－前記第１の画素のマスク値）とするステップと、前記背景の前記第３の画素を前記第４の画素に更新し、前記成長に対応するサブ画像を得るステップと、を含む。

【0109】

本開示の１つ又は複数の実施例によれば、前記目標スケッチ画像は前記複数のスケッチ画像のうち最も薄い色のスケッチ画像ではない場合、前記背景は前記複数のスケッチ画像のうち前記目標スケッチ画像に隣接し、且つ前記目標スケッチ画像よりも前に位置するスケッチ画像であるが、前記目標スケッチ画像は前記複数のスケッチ画像のうち最も薄い色のスケッチ画像である場合、前記背景は前記目標スケッチ画像と同じサイズの白い画像である。

【0110】

本開示の１つ又は複数の実施例によれば、前記ソース画像には人物が含まれ、前記成長順序は前記ソース画像の中の人物の顔輪郭の成長順序を含み、第１のマスクの画素のマスク値の成長順序を決定するステップは、前記ソース画像の中の顔のキーポイントを抽出してキーポイントセットを得るステップと、前記ソース画像に基づいて前記ソース画像の中の人物の髪領域の第２のマスクを決定するステップと、前記キーポイントセットに基づいて前記人物の顔の第１の凸包領域を決定するステップと、前記第１の凸包領域と前記第２のマスクとの共通部分に基づいて前記第２のマスクから第２の凸包領域を決定するステップと、前記第２の凸包領域において筆触速度に従って前記キーポイントセットにおける顔輪郭キーポイントを順次接続し、前記ソース画像の中の人物の顔輪郭の成長順序を得るステップであって、前記筆触速度は前記動画の時間の長さに基づいて決定されるものであるステップと、を含む。

【0111】

本開示の１つ又は複数の実施例によれば、前記第２の凸包領域において筆触速度に従って前記キーポイントセットにおける顔輪郭キーポイントを順次接続し、前記ソース画像の中の人物の顔輪郭の成長順序を得るステップの後、前記方法は、さらに、前記キーポイントセットから前記顔の異なる領域のキーポイントを決定するステップと、各領域のキーポイントに基づいて前記顔の各領域を補間するステップと、補間された領域に基づいて、前記第２の凸包領域において筆触速度に従って、前記ソース画像の中の人物の顔の対応する領域の成長順序を決定するステップと、を含む。

【0112】

本開示の１つ又は複数の実施例によれば、前記顔の異なる領域に対して、前記領域のキーポイントに基づいて補間を行うステップは、前記顔における眉領域に対しては、前記眉領域のキーポイントに基づいて横方向に複数の曲線を補間するステップと、前記顔における眼球領域に対しては、前記眼球領域のキーポイントに基づいて円形領域で前記眼球領域を補間するステップと、前記顔における口領域に対しては、前記口領域のキーポイントに基づいて複数の曲線を縦方向に補間するステップと、を含む。

【0113】

本開示の１つ又は複数の実施例によれば、前記ソース画像に基づいて複数のスケッチ画像を生成するステップは、前記ソース画像に基づいてグレースケール画像を生成するステップと、複数のガウスカーネルを決定するステップであって、前記複数のガウスカーネルのうちのガウスカーネルと前記複数のスケッチ画像のうちのスケッチ画像は1対1に対応し、濃い色のスケッチ画像の対応するガウスカーネルは薄い色のスケッチ画像の対応するガウスカーネルよりもサイズが大きいステップと、前記複数のガウスカーネルに基づいて、前記グレースケール画像のそれぞれに対してガウスぼかしを行い、前記複数のガウスカーネルのうちの各ガウスカーネルに対応するガウスぼかし画像を得るステップと、前記複数のガウスカーネルのうちの各ガウスカーネルに対応するガウスぼかし画像と前記グレースケール画像に基づいて、前記複数のスケッチ画像を生成するステップと、を含む。

【0114】

第２の態様では、本開示の１つ又は複数の実施例によれば、動画生成装置を提供し、前記装置は、
ソース画像を取得するために用いられる取得ユニットと、
前記ソース画像に基づいて複数のスケッチ画像を生成するために用いられる第１の生成ユニットであって、前記複数のスケッチ画像は異なる色濃度での前記ソース画像のスケッチ画像にそれぞれ対応する第１の生成ユニットと、
目標スケッチ画像に基づいて前記目標スケッチ画像の複数のサブ画像を生成するために用いられる第２の生成ユニットであって、前記複数のサブ画像は、異なる描画完成度での前記目標スケッチ画像のスケッチ画像にそれぞれ対応し、前記目標スケッチ画像は前記複数のスケッチ画像のうちのいずれかのスケッチ画像である第２の生成ユニットと、
前記複数のスケッチ画像のうち各々のスケッチ画像の各サブ画像をスケッチ描画動画の動画フレームとして、色濃度の薄い順及び描画完成度の低い順に従って前記動画フレームの順序を設定し、前記スケッチ描画動画を生成するために用いられる第３の生成ユニットと、を含む。

【0115】

本開示の１つ又は複数の実施例によれば、前記第２の生成ユニットは、第１のマスクの画素のマスク値の成長順序を決定し、前記第１のマスクの画素の初期マスク値は０であり、前記第１のマスクの画素の成長は、前記画素のマスク値が０から１へと変更することを指示するために用いられ、前記第１のマスクは、前記目標スケッチ画像の背景が前記成長順序に従って前記目標スケッチ画像へと徐々に変化するようにさせるために用いられること、及び、前記成長順序、前記目標スケッチ画像、及び前記目標スケッチ画像の背景に基づいて、前記複数のサブ画像を生成し、前記成長順序の各成長と前記複数のサブ画像の各々のサブ画像は1対1に対応すること、に用いられる。

【0116】

本開示の１つ又は複数の実施例によれば、前記第２の生成ユニットは、前記成長順序、前記目標スケッチ画像、及び前記目標スケッチ画像の背景に基づいて前記複数のサブ画像を生成するとき、前記成長順序の各成長に対して、前記第１のマスクから前記成長に対応する第１の画素セットを決定すること、前記第１の画素セットに基づいて前記目標スケッチ画像から第２の画素セットを決定するとともに、前記背景から第３の画素セットを決定し、前記第１の画素セット、前記第２の画素セット、及び前記第３の画素セットにおける画素は1対1に対応すること、前記第１の画素セットにおける第１の画素のマスク値、前記第２の画素セットにおける第２の画素の画素値、及び前記第３の画素セットにおける第３の画素の画素値に基づき、第４の画素の画素値を決定し、前記第４の画素の画素値＝前記第１の画素のマスク値×前記第２の画素の画素値＋前記第３の画素の画素値×（１－前記第１の画素のマスク値）とすること、及び、前記背景の前記第３の画素を前記第４の画素に更新し、前記成長に対応するサブ画像を得ること、に用いられる。

【0117】

本開示の１つ又は複数の実施例によれば、前記目標スケッチ画像は前記複数のスケッチ画像のうち最も薄い色のスケッチ画像ではない場合、前記背景は前記複数のスケッチ画像のうち前記目標スケッチ画像に隣接し、且つ前記目標スケッチ画像よりも前に位置するスケッチ画像であるが、前記目標スケッチ画像は前記複数のスケッチ画像のうち最も薄い色のスケッチ画像である場合、前記背景は前記目標スケッチ画像と同じサイズの白い画像である。

【0118】

本開示の１つ又は複数の実施例によれば、前記ソース画像には人物が含まれ、前記成長順序は前記ソース画像の中の人物の顔輪郭の成長順序を含み、前記第２の生成ユニットは、第１のマスクの画素のマスク値の成長順序を決定するとき、前記ソース画像の中の顔のキーポイントを抽出してキーポイントセットを得ること、前記ソース画像に基づいて前記ソース画像の中の人物の髪領域の第２のマスクを決定すること、前記キーポイントセットに基づいて前記人物の顔の第１の凸包領域を決定すること、前記第１の凸包領域と前記第２のマスクとの共通部分に基づいて前記第２のマスクから第２の凸包領域を決定すること、及び、前記第２の凸包領域において筆触速度に従って前記キーポイントセットにおける顔輪郭キーポイントを順次接続し、前記ソース画像の中の人物の顔輪郭の成長順序を得て、前記筆触速度は前記動画の時間の長さに基づいて決定されるものであること、に用いられる。

【0119】

本開示の１つ又は複数の実施例によれば、前記第２の生成ユニットは、前記第２の凸包領域において筆触速度に従って前記キーポイントセットにおける顔輪郭キーポイントを順次接続し、前記ソース画像の中の人物の顔輪郭の成長順序を得た後、さらに、前記キーポイントセットから前記顔の異なる領域のキーポイントを決定すること、各領域のキーポイントに基づいて前記顔の各領域を補間すること、及び、補間された領域に基づいて、前記第２の凸包領域において筆触速度に従って、前記ソース画像の中の人物の顔の対応する領域の成長順序を決定すること、に用いられる。

【0120】

本開示の１つ又は複数の実施例によれば、前記第２の生成ユニットは、前記顔の異なる領域に対して、前記領域のキーポイントに基づいて補間を行うとき、前記顔における眉領域に対しては、前記眉領域のキーポイントに基づいて横方向に複数の曲線を補間すること、前記顔における眼球領域に対しては、前記眼球領域のキーポイントに基づいて円形領域で前記眼球領域を補間すること、及び、前記顔における口領域に対しては、前記口領域のキーポイントに基づいて複数の曲線を縦方向に補間すること、に用いられる。

【0121】

本開示の１つ又は複数の実施例によれば、前記第１の生成ユニットは、前記ソース画像に基づいてグレースケール画像を生成すること、
複数のガウスカーネルを決定し、前記複数のガウスカーネルのうちのガウスカーネルと前記複数のスケッチ画像のうちのスケッチ画像は1対1に対応し、濃い色のスケッチ画像の対応するガウスカーネルは薄い色のスケッチ画像の対応するガウスカーネルよりもサイズが大きいこと、
前記複数のガウスカーネルに基づいて、前記グレースケール画像のそれぞれに対してガウスぼかしを行い、前記複数のガウスカーネルのうちの各ガウスカーネルに対応するガウスぼかし画像を得ること、及び、前記複数のガウスカーネルのうちの各ガウスカーネルに対応するガウスぼかし画像と前記グレースケール画像に基づいて前記複数のスケッチ画像を生成すること、に用いられる。

【0122】

第３の態様では、本開示の１つ又は複数の実施例によれば、少なくとも１つのプロセッサとメモリとを含む電子機器を提供し、
前記メモリにはコンピュータ実行命令が記憶されており、
前記少なくとも１つのプロセッサが前記メモリに記憶されているコンピュータ実行命令を実行すると、前記少なくとも１つのプロセッサが上記の第１の態様及び第１の態様の様々な可能な設計に記載されている動画生成方法を実行する。

【0123】

第４の態様では、本開示の１つ又は複数の実施例によれば、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体にはコンピュータ実行命令が記憶されており、プロセッサが前記コンピュータ実行命令を実行するとき、上記の第１の態様及び第１の態様の様々な可能な設計に記載されている動画生成方法が実現される。

【0124】

第５の態様では、本開示の１つ又は複数の実施例によれば、コンピュータプログラムを含む、コンピュータプログラム製品を提供し、当該コンピュータプログラムは可読記憶媒体に記憶されており、電子機器の少なくとも１つのプロセッサが当該可読記憶媒体から当該コンピュータプログラムを読み取り、当該少なくとも１つのプロセッサが当該コンピュータプログラムを実行すると、電子機器が上記の第１の態様及び第１の態様の様々な可能な設計に記載されている動画生成方法を実行する。

【0125】

第６の態様では、本開示の１つ又は複数の実施例によれば、コンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサにより実行されるとき、上記の第１の態様及び第１の態様の様々な可能な設計に記載されている動画生成方法が実現される。

【0126】

上記した説明は、本開示のいくつかの好ましい実施例に関する説明、及び適用される技術的原理に関する説明にすぎない。当業者は、本開示の実施例に係る発明範囲は、上記の技術的特徴の特定の組み合わせによって形成される解決手段に限定されず、上記の発明構想から逸脱することなく、上記の技術的特徴又はそれらの同等の特徴の任意の組み合わせによって形成される他の解決手段、例えば、上記特徴を、本開示で開示される（ただしこれに限定されない）同様の機能を有する技術的特徴に置き換えることによって形成される解決手段もカバーすべきであることを理解すべきである。

【0127】

なお、特定の順序で各操作について説明したが、これらの操作は示されている特定の順序又は順番に実行されることを要求するものと理解されるべきではない。マルチタスクや並列処理は、一定の環境下では有利である場合がある。同様に、上記の説明にはいくつかの具体的な実現の詳細が含まれるが、これらは本開示の範囲を限定するものとして解釈されるべきではない。個々の実施例のコンテキストにおいて説明される特定の特徴は、単一の実施例において組み合わせて実現されてもよい。逆に、単一の実施例のコンテキストにおいて説明される様々な特徴は、複数の実施例において、単独で又は任意の適切なサブ組合せで実現されてもよい。

【0128】

本主題は、構造的特徴及び／又は方法的論理動作に固有の言語を用いて説明されてきたが、添付の特許請求の範囲に限定される主題は、必ずしも上記の特定の特徴又は動作に限定されないことが理解されるべきである。逆に、上記の特定の特徴及び動作は、特許請求の範囲を実施するための例示的な形態にすぎない。

【0129】

本願は２０２１年０２月０５日に中国特許局に提出された、出願番号が２０２１１０１６３１３９．８で、発明の名称が「動画生成方法、装置、機器及び可読記憶媒体」という中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み合わせられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】