特許 7471510 ピクチャのビデオへの変換の方法、装置、機器および記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-11

(45)【発行日】2024-04-19

(54)【発明の名称】ピクチャのビデオへの変換の方法、装置、機器および記憶媒体

(51)【国際特許分類】

   H04N 5/262 20060101AFI20240412BHJP

   H04N 21/854 20110101ALI20240412BHJP

   G06T 1/00 20060101ALI20240412BHJP

   H04N 1/60 20060101ALI20240412BHJP

【ＦＩ】

H04N5/262 050

H04N21/854

G06T1/00 510

H04N1/60

【請求項の数】 13

(21)【出願番号】P 2023507403

(86)(22)【出願日】2021-09-18

(65)【公表番号】

(43)【公表日】2023-09-12

(86)【国際出願番号】 CN2021119409

(87)【国際公開番号】W WO2022068631

(87)【国際公開日】2022-04-07

【審査請求日】2023-02-02

(31)【優先権主張番号】202011052771.7

(32)【優先日】2020-09-29

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521431088

【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｚｉｔｉａｏ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】０２０７， ２／Ｆ， Ｂｕｉｌｄｉｎｇ ４， Ｚｉｊｉｎ Ｄｉｇｉｔａｌ Ｐａｒｋ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ，Ｐ． Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】張樹鵬

(72)【発明者】

【氏名】甘小鋭

(72)【発明者】

【氏名】文傑

(72)【発明者】

【氏名】王一同

(72)【発明者】

【氏名】潘景祥

【審査官】三沢 岳志

(56)【参考文献】

【文献】特開２０１７－１１２５５０（ＪＰ，Ａ）

【文献】特開２００９－１４１６７８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２００２７９（ＵＳ，Ａ１）

【文献】特表２０２０－５０４５３７（ＪＰ，Ａ）

【文献】特開２００１－２９２３３３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０２２１１６５（ＵＳ，Ａ１）

【文献】特開２０１０－０９２０９４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１４１４３９（ＵＳ，Ａ１）

【文献】特開２０１２－０６８７１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２６２

Ｈ０４Ｎ ２１／８５４

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／６０

(57)【特許請求の範囲】

【請求項1】

元ピクチャに対して退色処理を行い、モノクロ画像を取得することと、
前記モノクロ画像の前景領域および背景領域を決定することと、
前記前景領域および前記背景領域の処理順序に基づいて、前記モノクロ画像における画素点に対して色の反復復元を行うとともに、毎回復元して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得ることと、
前記マルチフレーム画像をスティッチングし、目標ビデオを取得することと、を含む、
ピクチャのビデオへの変換の方法。

【請求項2】

前記モノクロ画像は、モノクロピクチャ層と、元ピクチャ層とを含み、
元ピクチャに対して退色処理を行い、モノクロ画像を取得することは、
前記元ピクチャに対して２値化処理を行い、モノクロピクチャを取得することと、
前記モノクロピクチャを前記元ピクチャに重畳し、前記モノクロ画像を取得することと、を含む、
請求項１に記載の方法。

【請求項3】

前記モノクロ画像の前景領域および背景領域を決定することは、
前記元ピクチャをサーバに送信して、サーバにより前記元ピクチャに対して前景切り出しを行い、前景分割領域を取得することと、
前記サーバにより返送された前記前景分割領域を受信することと、
前記前景分割領域に応じて前記モノクロ画像の前記前景領域および前記背景領域を決定することと、を含む、
請求項２に記載の方法。

【請求項4】

前記前景領域および前記背景領域の処理順序に基づいて、前記モノクロ画像における画素点に対して色の反復復元を行うことは、
前記処理順序が先に前記前景領域に対して処理を行ってから前記背景領域に対して処理を行うようになる場合、前記モノクロピクチャ層の前景領域における画素点に対して第１の方向に沿い反復マスクフィルタリングを行い、前記モノクロピクチャ層の背景領域における画素点に対して第２の方向に沿い反復マスクフィルタリングを行う、ことを含む、
請求項３に記載の方法。

【請求項5】

前記前景領域および前記背景領域の処理順序に基づいて、前記モノクロ画像における画素点に対して色の反復復元を行うことは、
前記処理順序が先に前記背景領域に対して処理を行ってから前記前景領域に対して処理を行うようになる場合、前記モノクロピクチャ層の背景領域における画素点に対して第３の方向に沿い反復マスクフィルタリングを行い、前記モノクロピクチャ層の前景領域における画素点に対して第４の方向に沿い反復マスクフィルタリングを行う、ことを含む、
請求項３に記載の方法。

【請求項6】

前記モノクロ画像における画素点に対して色の反復復元を行うことは、
前記元ピクチャにおける画素点の第１の色値を取得することと、
前記第１の色値に応じて前記モノクロ画像における画素点に対して色の反復復元を行うことと、を含む、
請求項１に記載の方法。

【請求項7】

前記第１の色値に応じて前記モノクロ画像における画素点に対して色の反復復元を行うことは、
前記モノクロ画像における画素点の第２の色値を前記第１の色値に反復置換する、ことを含む、
請求項６に記載の方法。

【請求項8】

前記モノクロ画像における画素点に対して色の反復復元を行うことは、
前記モノクロ画像における画素点に対して設定数または設定比率の進度で色の反復復元を行う、ことを含む、
請求項４に記載の方法。

【請求項9】

前記マルチフレーム画像をスティッチングし、目標ビデオを取得することは、
隣り合う画像間に設定トランジションエフェクトを追加する方式を採用して前記マルチフレーム画像をスティッチングすることと、
スティッチング後の前記マルチフレーム画像に対してレンダリングし、前記目標ビデオを取得することと、を含む、
請求項１に記載の方法。

【請求項10】

前記前景領域は、人物像領域を含む、
請求項１に記載の方法。

【請求項11】

元ピクチャに対して退色処理を行い、モノクロ画像を取得するように構成されるモノクロ画像取得モジュールと、
前記モノクロ画像の前景領域および背景領域を決定するように構成される画像領域決定モジュールと、
前記前景領域および前記背景領域の処理順序に基づいて、前記モノクロ画像における画素点に対して色の反復復元を行うとともに、毎回復元して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得るように構成される色復元モジュールと、
前記マルチフレーム画像をスティッチングし、目標ビデオを取得するように構成される目標ビデオ取得モジュールと、を備える、
ピクチャのビデオへの変換の装置。

【請求項12】

少なくとも１つの処理装置と、
少なくとも１つの命令を記憶するように構成される記憶装置と、
を備える電子機器であって、
前記少なくとも１つの命令が前記少なくとも１つの処理装置により実行されると、請求項１～１０のいずれか１項に記載のピクチャのビデオへの変換の方法を、前記少なくとも１つの処理装置に実現させる、
電子機器。

【請求項13】

コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムが処理装置により実行されると、請求項１～１０のいずれか１項に記載のピクチャのビデオへの変換の方法を実現する、
コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願への相互参照］
本願は、２０２０年０９月２９日に中国国家知識産権局に提出された出願番号が２０２０１１０５２７７１．７である中国特許出願に対して優先権を主張するものであり、該出願の全ての内容を引用により本願に援用する。

【0002】

［技術分野］
本開示は、ピクチャ処理の技術分野に関し、例えばピクチャのビデオへの変換の方法、装置、機器および記憶媒体に関する。

【背景技術】

【0003】

スマートデバイスの普及に伴い、写真撮影機能は、既に携帯電話に不可欠な機能となっている。携帯電話で撮られた写真は、静的ピクチャに過ぎず、面白みに欠けている。

【発明の概要】

【0004】

本開示は、静的ピクチャを動的ビデオに変換することができ、前景領域色保留アルバムの自動作成を実現し、手動でビデオを作成する必要がなく、アルバム作成の利便性を向上させることができる、ピクチャのビデオへの変換の方法、装置、機器および記憶媒体を提供する。

【0005】

本開示は、
元ピクチャに対して退色処理を行い、モノクロ画像を取得することと、
前記モノクロ画像の前景領域および背景領域を決定することと、
前記前景領域と前記背景領域の処理順序に基づいて、前記モノクロ画像における画素点に対して色の反復復元を行うとともに、毎回復元して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得ることと、
前記マルチフレーム画像をスティッチングし、目標ビデオを取得することと、を含む、
ピクチャのビデオへの変換の方法を提供する。

【0006】

本開示は、
元ピクチャに対して退色処理を行い、モノクロ画像を取得するように構成されるモノクロ画像取得モジュールと、
前記モノクロ画像の前景領域および背景領域を決定するように構成される画像領域決定モジュールと、
前記前景領域および前記背景領域の処理順序に基づいて、前記モノクロ画像における画素点に対して色の反復復元を行うとともに、毎回復元して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得るように構成される色復元モジュールと、
前記マルチフレーム画像をスティッチングし、目標ビデオを取得するように構成される目標ビデオ取得モジュールと、を備える、
ピクチャのビデオ変換の装置を更に提供する。

【0007】

本開示は、
１つまたは複数の処理装置と、
１つまたは複数の命令を記憶するように構成される記憶装置と、
を備える電子機器であって、
前記１つまたは複数の命令が前記１つまたは複数の処理装置により実行されると、上記したピクチャのビデオへの変換の方法を、前記１つまたは複数の処理装置に実現させる、
電子機器を更に提供する。

【0008】

本開示は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、該コンピュータプログラムが処理装置により実行されると、上記したピクチャのビデオへの変換の方法を実現するコンピュータ可読記憶媒体を更に提供する。

【図面の簡単な説明】

【0009】

【図1】本開示の実施例に係るピクチャのビデオへの変換の方法のフローチャートである。

【図2】本開示の実施例に係るピクチャのビデオへの変換の装置の構造模式図である。

【図3】本開示の実施例に係る電子機器の構造模式図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら本開示の実施例について説明する。図面に本開示のいくつかの実施例が示されるが、本開示は、様々な形式で実現でき、ここで記述される実施例に限られるものと解釈されるべきではなく、本開示をより明瞭にかつ完全に理解するために、これらの実施例を提供する。

【0011】

本開示の方法の実施形態に記載される複数のステップは、異なる順序で実行されてもよいし、および／または並行して実行されてもよい。また、方法実施形態は、追加のステップおよび／または実行が省略されて示されたステップを含んでもよい。本開示の範囲は、この点で限られない。

【0012】

本発明で使用される「含む」という用語およびその変形は、非限定的な包含であり、即ち、「含むが、これらに限定されない」という意味である。「基づく」という用語は、「少なくとも部分的に基づく」という意味である。「１つの実施例」という用語は、「少なくとも１つの実施例」を表す。「別の実施例」という用語は、「少なくとも１つの別の実施例」を表す。「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を表す。他の用語の関連定義は、以下の記述で与えられる。

【0013】

本開示に言及される「第１」、「第２」等の概念は、異なる装置、モジュールまたはユニットを区別するためのものに過ぎず、これらの装置、モジュールまたはユニットが実行する機能の順序または相互依存関係を限定するためのものではない。

【0014】

本開示に言及される「１つ」、「複数」という修飾は、例示的なものでああって、限定的なものではなく、文脈で明確に例外を示さない限り、「１つまたは複数」として理解されるべきである。

【0015】

本開示の実施形態における複数の装置間でインタラクションされるメッセージまたは情報の名称は、説明するためのものに過ぎず、これらのメッセージまたは情報の範囲を限定するためのものではない。

【0016】

図１は、本開示の実施例に係るピクチャのビデオへの変換の方法のフローチャートであり、本実施例は、静的ピクチャを動的ビデオに変換する場合に適用可能であり、該方法は、ピクチャのビデオへの変換の装置により実行されることができ、該装置は、ハードウェアおよび／またはソフトウェアにより構成されることができ、且つ一般的にはピクチャのビデオ変換機能を有する機器に組み込むことが可能であり、該機器は、モバイル端末、サーバまたはサーバクラスタ等の電子機器であってもよい。図１に示すように、該方法は、以下のようなステップを含む。

【0017】

ステップ１１０において、元ピクチャに対して退色処理を行い、モノクロ画像を取得する。

【0018】

モノクロ画像は、単一のモノクロピクチャにより構成されてもよいし、モノクロピクチャをカラーピクチャに重畳して形成されてもよい。

【0019】

好ましくは、モノクロ画像は、モノクロピクチャ層と、元ピクチャ層とを含み、元ピクチャに対して退色処理を行い、モノクロ画像を取得する過程は、元ピクチャに対して２値化処理を行い、モノクロピクチャを取得し、モノクロピクチャを元ピクチャに重畳し、モノクロ画像を取得することであってもよい。本開示の実施例では、モノクロピクチャ層は、元ピクチャ層の上方に位置する。

【0020】

ステップ１２０において、モノクロ画像の前景領域および背景領域を決定する。

【0021】

前景領域は、人物像領域、動物領域および建築物領域等の、認識されようとする目標領域であってもよく、背景領域は、前景領域以外の領域である。本実施例では、予め切り出された前景分割領域または背景分割領域をマスク（ｍａｓｋ）として使用することで、モノクロ画像の前景領域および背景領域を決定することができる。

【0022】

モノクロ画像の前景領域および背景領域を決定する方式は、元ピクチャをサーバに送信して、サーバにより元ピクチャに対して前景切り出しを行い、前景分割領域を取得し、サーバにより返送された前景分割領域を受信し、前景分割領域に応じてモノクロ画像の前景領域および背景領域を決定する、ことであってもよい。

【0023】

サーバが元ピクチャに対して前景切り出しを行う方式は、まず、元ピクチャにおける前景画像を認識し、その後、前景画像が所在する領域を切り出し、前景分割領域および背景分割領域を取得する、ことであってもよい。本開示の実施例では、認識モデルを採用して元ピクチャにおける前景画像を認識することができ、例えば、前景画像が人物像であると仮定する場合、人物像認識モデルを採用して認識を行い、前景画像が動物であると仮定する場合、動物認識モデルを採用して認識を行う。本実施例は、認識の目標種類について限定しない。

【0024】

本開示の実施例では、サーバは、ｍａｓｋとして用いモノクロ画像における前景領域および背景領域を分離させるために、前景分割領域をモバイル端末に返送してもよいし、背景分割領域をモバイル端末に返送してもよい。

【0025】

ステップ１３０において、前景領域および背景領域の処理順序に基づいて、モノクロ画像における画素点に対して色の反復復元を行うとともに、毎回復元して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得る。

【0026】

処理順序は、先に前景領域に対して処理を行ってから背景領域に対して処理を行うことを含んでもよいし、先に背景領域に対して処理を行ってから前景領域に対して処理を行うことを含んでもよい。色復元は、モノクロ画像における画素点の色を元ピクチャの色に復元することであると理解されることができる。モノクロ画像における画素点の色を元ピクチャの色に復元する方式は、モノクロ画像における画素点の色値を元ピクチャにおける画素点の色値に直接置換することであってもよいし、マスクフィルタリングの方式を採用してモノクロ画像に対して色の復元を行うことであってもよい。

【0027】

好ましくは、モノクロ画像における画素点に対して色の反復復元を行う方式は、モノクロ画像における画素点に対して設定数または設定比率の進度で色の反復復元を行う、ことであってもよい。

【0028】

設定比率は、モノクロ画像に含まれる全ての画素点の比率、または現在領域に含まれる全ての画素点の比率であると理解されることができる。例示的に、毎回１００個の画素点を復元する進度で色の反復復元を行う、または毎回総画素点の５％を復元する進度で色の反復復元を行う、または前景領域を復元するときに、毎回前景領域における総画素点の１０％を復元する進度で反復復元を行い、背景領域を復元するときに、毎回背景領域における総画素点の１０％を復元する進度で反復復元を行う。

【0029】

前景領域と背景領域の処理順序に基づいて、モノクロ画像における画素点に対して色の反復復元を行う過程は、以下の通りであってもよい。処理順序が先に前景領域に対して処理を行ってから背景領域に対して処理を行うようになる場合、モノクロピクチャ層の前景領域における画素点に対して第１の方向に沿い反復マスクフィルタリングを行い、モノクロピクチャ層の背景領域における画素点に対して第２の方向に沿い反復マスクフィルタリングを行う。処理順序が先に背景領域に対して処理を行ってから前景領域に対して処理を行うようになる場合、モノクロピクチャ層の背景領域における画素点に対して第３の方向に沿い反復マスクフィルタリングを行い、モノクロピクチャ層の前景領域における画素点に対して第４の方向に沿い反復マスクフィルタリングを行う。

【0030】

第１の方向、第２の方向、第３の方向および第４の方向は、上から下へ、下から上へ、左から右へ、右から左へ、左上隅から右下隅へ、右上隅から左下隅へ、左下隅から右上隅へ、または右下隅から左上隅へ等であってもよい。第２の方向は、上から下へ、下から上へ、左から右へ、右から左へ、左上隅から右下隅へ、右上隅から左下隅へ、左下隅から右上隅へ、または右下隅から左上隅へ等であってもよい。第１の方向と第２の方向は、同じであってもよいし、異なってもよく、第３の方向と第４の方向は、同じであってもよいし、異なってもよい。本実施例では、さらに、モノクロピクチャ層の前景領域における画素点に対してランダムに反復マスクフィルタリングを行い、モノクロピクチャ層の背景領域における画素点に対してランダムに反復マスクフィルタリングを行うこともできる。ここでは限定しない。

【0031】

マスク処理の過程は、モノクロピクチャ層における画素点を消去する過程であると理解されることができ、これにより、モノクロピクチャ層の下に位置する元ピクチャ層を表示させる。

【0032】

モノクロ画像における画素点に対して色の反復復元を行う方式は、元ピクチャにおける画素点の第１の色値を取得し、第１の色値に応じてモノクロ画像における画素点に対して色の反復復元を行う、ことであってもよい。

【0033】

本実施例では、モノクロ画像は、単一のモノクロピクチャにより構成される。元ピクチャにおける画素点の色値を予め読み取り且つ記憶し、色反復復元を行うときに、モノクロ画像における画素点の色値を元画像における画素点の色値に置換することができる。

【0034】

処理順序が先に前景領域に対して処理を行ってから背景領域に対して処理を行うようになる場合、先にモノクロ画像における前景領域の画素点の色値を、プリセット方向およびプリセット進捗で元ピクチャにおける前景領域の画素点の色値に反復置換し、その後、モノクロ画像における背景領域の画素点の色値を、プリセット方向およびプリセット進捗で元ピクチャにおける背景領域の画素点の色値に反復置換する。

【0035】

処理順序が先に背景領域に対して処理を行ってから前景領域に対して処理を行うようになる場合、先にモノクロ画像における背景領域の画素点の色値を、プリセット方向およびプリセット進捗で元ピクチャにおける背景領域の画素点の色値に反復置換し、その後、モノクロ画像における前景領域の画素点の色値を、プリセット方向およびプリセット進捗で元ピクチャにおける前景領域の画素点の色値に反復置換する。

【0036】

ステップ１４０において、マルチフレーム画像をスティッチングし、目標ビデオを取得する。

【0037】

マルチフレーム画像をスティッチングする方式は、マルチフレーム画像のタイムスタンプに従いスティッチングすることができる。目標ビデオは、１つの前景色保留アルバムである。

【0038】

マルチフレーム画像をスティッチングし、目標ビデオを取得する方式は、隣り合う画像間に設定トランジションエフェクトを追加する方式を採用してマルチフレーム画像をスティッチングし、スティッチング後のマルチフレーム画像に対してレンダリングし、目標ビデオを取得する、ことであってもよい。

【0039】

隣り合う画像間の設定トランジションエフェクトは、同じであってもよいし、異なってもよい。設定トランジションエフェクトは、予め設定されたエフェクトであってもよいし、任意に選択されたエフェクトであってもよい。

【0040】

本開示の実施例の技術案では、まず、元ピクチャに対して退色処理を行い、モノクロ画像を取得し、その後、モノクロ画像の前景領域および背景領域を決定し、さらにその後、前景領域と背景領域の処理順序に基づいて、モノクロ画像における画素点に対して色の反復復元を行うとともに、毎回復元して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得、最終的に、マルチフレーム画像をスティッチングし、目標ビデオを取得する。本開示の実施例に係るピクチャのビデオ変換方法は、モノクロ画像における画素点に対して色の反復復元を行うとともに、毎回復元して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得、マルチフレーム画像をスティッチングし、目標ビデオを取得し、静的ピクチャを動的ビデオに変換することができ、前景領域色保留アルバムの自動作成を実現し、手動でビデオを作成する必要がなく、アルバム作成の利便性を向上させることができる。

【0041】

本開示の実施例に係るピクチャのビデオ変換の方法は、ビデオアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ、ＡＰＰ）の１つの機能としてオンラインにすることができ、該機能は、ビデオの自動編集、創作および共有を実現可能である。本アプリケーションシーンでは、ユーザは、ビデオＡＰＰにおけるピクチャのビデオ変換の機能を選択するとともに、ビデオに変換する必要のあるピクチャを選択し、クライアントは、ピクチャをサービスエンドにアップロードし、サービスエンドは、クライアントによりアップロードされたピクチャを取得し、アルゴリズムに応じてピクチャの人物像分割のｍａｓｋ領域を生成し、生成された結果をクライアントに返送し、クライアントは、該結果をダウンロードし、マスクアニメーションの実現を完成させるとともに遮蔽・表示領域の内容をレンダリングし、トランジションエフェクトを加えた後にビデオを生成し、該ビデオに対して自動再生のプレビューを行い、ユーザは、該ビデオを共有または公開することができる。本願の方案では、ユーザは手動でビデオを作成する必要がなく、ピクチャをアップロードするだけで済み、ピクチャからビデオへの生成のコストを大幅に低減させる。

【0042】

図２は、本開示の実施例に係るピクチャのビデオへの変換の装置の構造模式図である。図２に示すように、該装置は、モノクロ画像取得モジュール２１０、画像領域決定モジュール２２０、色復元モジュール２３０、および目標ビデオ取得モジュール２４０を備える。

【0043】

モノクロ画像取得モジュール２１０は、元ピクチャに対して退色処理を行い、モノクロ画像を取得するように構成される。画像領域決定モジュール２２０は、モノクロ画像の前景領域および背景領域を決定するように構成される。色復元モジュール２３０は、前景領域および背景領域の処理順序に基づいて、モノクロ画像における画素点に対して色の反復復元を行うとともに、毎回復元して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得るように構成される。目標ビデオ取得モジュール２４０は、マルチフレーム画像をスティッチングし、目標ビデオを取得するように構成される。

【0044】

好ましくは、モノクロ画像は、モノクロピクチャ層と、元ピクチャ層とを含み、モノクロ画像取得モジュール２１０は、
元ピクチャに対して２値化処理を行い、モノクロピクチャを取得し、モノクロピクチャを元ピクチャに重畳し、モノクロ画像を取得するように構成される。

【0045】

好ましくは、画像領域決定モジュール２２０は、
元ピクチャをサーバに送信して、サーバにより元ピクチャに対して前景切り出しを行い、前景分割領域を取得し、サーバにより返送された前景分割領域を受信し、前景分割領域に応じてモノクロ画像の前景領域および背景領域を決定するように構成される。

【0046】

好ましくは、色復元モジュール２３０は、以下のような方式により、前記前景領域と前記背景領域の処理順序に基づいて、前記モノクロ画像における画素点に対して色の反復復元を行うように構成される。

【0047】

処理順序が先に前景領域に対して処理を行ってから背景領域に対して処理を行うようになる場合、モノクロピクチャ層の前景領域における画素点に対して第１の方向に沿い反復マスクフィルタリングを行い、モノクロピクチャ層の背景領域における画素点に対して第２の方向に沿い反復マスクフィルタリングを行う。

【0048】

好ましくは、色復元モジュール２３０は、以下のような方式により、前記前景領域と前記背景領域の処理順序に基づいて、前記モノクロ画像における画素点に対して色の反復復元を行うように構成される。

【0049】

処理順序が先に背景領域に対して処理を行ってから前景領域に対して処理を行うようになる場合、モノクロピクチャ層の背景領域における画素点に対して第３の方向に沿い反復マスクフィルタリングを行い、モノクロピクチャ層の前景領域における画素点に対して第４の方向に沿い反復マスクフィルタリングを行う。

【0050】

好ましくは、色復元モジュール２３０は、以下のような方式により、前記モノクロ画像における画素点に対して色の反復復元を行うように構成される。

【0051】

元ピクチャにおける画素点の第１の色値を取得し、第１の色値に応じてモノクロ画像における画素点に対して色の反復復元を行う。

【0052】

好ましくは、色復元モジュール２３０は、以下のような方式により、第１の色値に応じてモノクロ画像における画素点に対して色の反復復元を行うように構成される。

【0053】

モノクロ画像における画素点の第２の色値を第１の色値に反復置換する。

【0054】

好ましくは、色復元モジュール２３０は、以下のような方式により、前記モノクロ画像における画素点に対して色の反復復元を行うように構成される。

【0055】

モノクロ画像における画素点に対して設定数または設定比率の進度で色の反復復元を行う。

【0056】

好ましくは、目標ビデオ取得モジュール２４０は、
隣り合う画像間に設定トランジションエフェクトを追加する方式を採用してマルチフレーム画像をスティッチングし、スティッチング後のマルチフレーム画像に対してレンダリングし、目標ビデオを取得するように構成される。

【0057】

好ましくは、前景領域は、人物像領域を含む。

【0058】

上記装置は、本開示に記載された全ての実施例に係る方法を実行でき、上記方法を実行するのに対応する機能モジュールおよび効果を備える。本実施例で詳しく説明されていない技術詳細は、上記した全ての実施例に係る方法を参照することができる。

【0059】

以下、図３を参照し、本開示の実施例を実現するのに適した電子機器３００の構造模式図を示す。本開示の実施例における電子機器は、例えば携帯電話機、ノートパソコン、デジタル放送受信機、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、タブレットコンピュータ（ＰＡＤ）、ポータブルマルチメディアプレイヤー（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ、ＰＭＰ）、車載端末（例えば、車載ナビゲーション端末）等のようなモバイル端末、および例えばデジタルＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）、デスクトップ型コンピュータ等のような固定端末、または様々な形式のサーバ、例えば独立サーバまたはサーバクラスタ、を含むことができるが、これらに限定されない。図３に示す電子機器は一例に過ぎず、本開示の実施例の機能および使用範囲に何かの制限を与えるものではない。

【0060】

図３に示すように、電子機器３００は、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）３０２に記憶されたプログラム、または記憶装置３０８からランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）３０３にロードされたプログラムに基づき、様々な適切な動作および処理を実行可能な処理装置（例えば中央プロセッサ、グラフィックプロセッサ等）３０１を備えてもよい。ＲＡＭ３０３には、電子機器３００の操作に必要な様々なプログラムおよびデータが更に記憶されている。処理装置３０１、ＲＯＭ３０２およびＲＡＭ３０３は、バス３０４を介して互いに接続されている。入力／出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、Ｉ／Ｏ）インタフェース３０５もバス３０４に接続されている。

【0061】

通常、例えば、タッチパネル、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープ等を含む入力装置３０６、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、スピーカ、バイブレータ等が含まれる出力装置３０７、例えば磁気テープ、ハードディスク等が含まれる記憶装置３０８、および通信装置３０９は、Ｉ／Ｏインタフェース３０５に接続されることができる。通信装置３０９は、電子機器３００が他の機器と無線または有線通信してデータを交換することを可能にする。図３は、様々な装置を備える電子機器３００を示したが、全ての示された装置を実施または具備することが必要ではないことが理解されるべきである。代わりに、より多いまたはより少ない装置を実施または具備してもよい。

【0062】

本開示の実施例によれば、上記フローチャートを参照して記述した過程は、コンピュータソフトウェアプログラムとして実現され得る。例えば、本開示の実施例は、コンピュータ可読媒体に担持されたコンピュータプログラムが含まれるコンピュータプログラム製品を含み、該コンピュータプログラムは、ピクチャのビデオへの変換の方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは、通信装置３０９によりネットワークからダウンロードされてインストールされてもよいし、記憶装置３０８からインストールされてもよいし、ＲＯＭ３０２からインストールされてもよい。該コンピュータプログラムが処理装置３０１により実行されると、本開示の実施例の方法で限定される上記機能を実行する。

【0063】

本開示に記載されたコンピュータ可読媒体は、コンピュータ可読信号媒体であってもよいし、コンピュータ可読記憶媒体であってもよいし、上記両者の任意の組合せであってもよい。コンピュータ可読記憶媒体は、例えば、電気の、磁気の、光の、電磁気の、赤外線の、または半導体のシステム、装置またはデバイス、或いは上記の任意の組合せであってもよいが、これらに限定されない。コンピュータ可読記憶媒体の例には、１つまたは複数のリード線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ＲＡＭ、ＲＯＭ、消去可能プログラマブル読み出し専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記内容の任意の適切な組合せを含んでもよいが、これらに限定されない。本開示において、コンピュータ可読記憶媒体は、命令実行システム、装置またはデバイスに使用され得る、またはデバイスと合わせて使用され得るプログラムを含有または記憶する任意の有形的な媒体であってもよい。また本開示において、コンピュータ可読信号媒体は、ベースバンドまたは搬送波の一部として伝搬されるデータ信号を含んでもよく、その中にコンピュータ可読プログラムコードが担持されている。このように伝搬されるデータ信号は、様々な形式を採用することができ、電磁信号、光信号または上記内容の任意の適切な組合せを含んでもよいが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該コンピュータ可読信号媒体は、命令実行システム、装置またはデバイスにより使用される、またはそれらと合わせて使用されるプログラムを送信、伝搬または伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、任意の適当な媒体で伝送でき、電線、光ケーブル、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）等、または上記内容の任意の適切な組合せを含んでもよいが、これらに限定されない。

【0064】

いくつかの実施形態において、クライアント、サーバは、ハイパーテキストトランスファープロトコル（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ＨＴＴＰ）のような、任意の現在知られているまたは将来開発されるネットワークプロトコルを利用して通信することができ、且つ、任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続できる。通信ネットワークの例は、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、ネットワークオフネットワーク（例えば、インターネット）およびピアツーピアネットワーク（例えば、ａｄ ｈｏｃピアツーピアネットワーク）、および任意の現在知られているまたは将来開発されるネットワークを含む。

【0065】

上記コンピュータ可読媒体は、上記電子機器に含まれるものであってもよいし、単独で存在して該電子機器に取り付けられていないものであってもよい。

【0066】

上記コンピュータ可読媒体に１つまたは複数のプログラムが担持され、上記１つまたは複数のプログラムが該電子機器により実行されると、該電子機器は、元ピクチャに対して退色処理を行い、モノクロ画像を取得し、前記モノクロ画像の前景領域および背景領域を決定し、前記前景領域および前記背景領域の処理順序に基づいて、前記モノクロ画像における画素点に対して色の反復復元を行うとともに、毎回復元して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得、前記マルチフレーム画像をスティッチングし、目標ビデオを取得する。

【0067】

１つまたは複数のプログラミング言語またはその組合せにより、本開示の操作を実行するためのコンピュータプログラムコードを作成することができ、上記プログラミング言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋のようなオブジェクト指向のプログラミング言語を含んでもよいが、これらに限定されず、「Ｃ」言語のような通常の手続型プログラミング言語、または類似するプログラミング言語を更に含む。プログラムコードは、完全にユーザのコンピュータで実行されてもよいし、部分的にユーザのコンピュータで実行されてもよいし、１つの独立したソフトウェアパッケージとして実行されてもよいし、部分的にユーザのコンピュータで部分的にリモートコンピュータで実行されてもよいし、完全にリモートコンピュータまたはサーバで実行されてもよい。リモートコンピュータに関わる場合には、リモートコンピュータは、ＬＡＮまたはＷＡＮを含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、または、外部コンピュータに接続することができる（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する）。

【0068】

図面におけるフローチャートおよびブロック図は、本開示の様々な実施例によるシステム、方法およびコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を示している。この点では、フローチャートまたはブロック図における各ブロックは、１つのモジュール、プログラムセグメント、またはコードの一部を表すことができ、該モジュール、プログラム、またはコードの一部には、設定のロジック機能を実現するための１つまたは複数の実行可能な命令を含む。なお、代替としてのいくつかの実現において、ブロックに記載された機能は、図面に記載された順序と異なる順序で発生してもよい。例えば、接続されているように示された２つのブロックは、関する機能によって、実際にほぼ並行して実行されてもよいし、逆の順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、並びにブロック図および／またはフローチャートにおけるブロックの組合せは、設定の機能または操作を実行する専用のハードウェアに基づくシステムで実現してもよいし、専用のハードウェアとコンピュータ命令との組合せで実現してもよい。

【0069】

本開示の実施例に係るユニットは、ソフトウェアの方式で実現されてもよいし、ハードウェアの方式で実現されてもよい。ここで、ユニットの名称は、ある場合、該ユニット自体を限定するものではない。

【0070】

本明細書に記載された機能は、少なくとも部分的に１つまたは複数のハードウェアロジックコンポーネントにより実行されることができる。例えば、非制限的に、使用可能な例示的なタイプのハードウェアロジックコンポーネントは、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、特定用途向け標準パーツ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐａｒｔｓ、ＡＳＳＰ）、システムオンチップのシステム（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ、ＳＯＣ）、複合プログラマブルロジックデバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＣＰＬＤ）等を含む。

【0071】

本開示の明細書において、機械可読媒体は、命令実行システム、装置またはデバイスに使用される、または命令実行システム、装置または機器と合わせて使用されるプログラムを含有または記憶できる有形的な媒体であってもよい。機械可読媒体は、機械可読信号媒体または機械可読格納媒体であってもよい。機械可読媒体は、電子の、磁気の、光の、電磁気の、赤外線の、または半導体のシステム、装置またはデバイス、或いは上記内容の任意の適切な組合せを含んでもよいが、これらに限定されない。機械可読記憶媒体の例は、１つまたは複数の線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭまたはフラッシュメモリ、光ファイバ、ＣＤ－ＲＯＭ、光記憶デバイス、磁気記憶デバイス、または上記内容の任意の適切な組合せを含む。

【0072】

本開示の実施例の１つまたは複数の実施例によれば、本開示の実施例は、
元ピクチャに対して退色処理を行い、モノクロ画像を取得することと、
前記モノクロ画像の前景領域および背景領域を決定することと、
前記前景領域および前記背景領域の処理順序に基づいて、前記モノクロ画像における画素点に対して色の反復復元を行うとともに、毎回復元して得られた画像を画面フレームとして記憶し、マルチフレーム画像を得ることと、
前記マルチフレーム画像をスティッチングし、目標ビデオを取得することと、を含む、
ピクチャのビデオへの変換の方法を開示する。

【0073】

前記モノクロ画像は、モノクロピクチャ層と、元ピクチャ層とを含み、元ピクチャに対して退色処理を行い、モノクロ画像を取得することは、
前記元ピクチャに対して２値化処理を行い、モノクロピクチャを取得することと、
前記モノクロピクチャを前記元ピクチャに重畳し、前記モノクロ画像を取得することと、を含む。

【0074】

前記モノクロ画像の前景領域および背景領域を決定することは、
前記元ピクチャをサーバに送信して、サーバにより前記元ピクチャに対して前景切り出しを行い、前景分割領域を取得することと、
前記サーバにより返送された前記前景分割領域を受信することと、
前記前景分割領域に応じて前記モノクロ画像の前記前景領域および前記背景領域を決定することと、を含む。

【0075】

前記前景領域および前記背景領域の処理順序に基づいて、前記モノクロ画像における画素点に対して色の反復復元を行うことは、
前記処理順序が先に前記前景領域に対して処理を行ってから前記背景領域に対して処理を行うようになる場合、前記モノクロピクチャ層の前景領域における画素点に対して第１の方向に沿い反復マスクフィルタリングを行い、前記モノクロピクチャ層の背景領域における画素点に対して第２の方向に沿い反復マスクフィルタリングを行う、ことを含む。

【0076】

前記した、前記前景領域および前記背景領域の処理順序に基づいて、前記モノクロ画像における画素点に対して色の反復復元を行うことは、
前記処理順序が先に前記背景領域に対して処理を行ってから前記前景領域に対して処理を行うようになる場合、前記モノクロピクチャ層の背景領域における画素点に対して第３の方向に沿い反復マスクフィルタリングを行い、前記モノクロピクチャ層の前景領域における画素点に対して第４の方向に沿い反復マスクフィルタリングを行う、ことを含む。

【0077】

前記モノクロ画像における画素点に対して色の反復復元を行うことは、
前記元ピクチャにおける画素点の第１の色値を取得することと、
前記第１の色値に応じて前記モノクロ画像における画素点に対して色の反復復元を行うことと、を含む。

【0078】

前記第１の色値に応じて前記モノクロ画像における画素点に対して色の反復復元を行うことは、
前記モノクロ画像における画素点の第２の色値を前記第１の色値に反復置換する、ことを含む。

【0079】

前記モノクロ画像における画素点に対して色の反復復元を行うことは、
前記モノクロ画像における画素点に対して設定数または設定比率の進度で色の反復復元を行う、ことを含む。

【0080】

前記マルチフレーム画像をスティッチングし、目標ビデオを取得することは、
隣り合う画像間に設定トランジションエフェクトを追加する方式を採用して前記マルチフレーム画像をスティッチングすることと、
スティッチング後の前記マルチフレーム画像に対してレンダリングし、前記目標ビデオを取得することと、を含む。

【0081】

前記前景領域は、人物像領域を含む。

【図1】

【図2】

【図3】